Fotoğrafları Hem Videoya Dönüştürüp Hem de Seslendirebilen Yapay Zekâ Aracı EMO Tanıtıldı
EMO adında olan yeni bir yapay zekâ aracı tanıtıldı. Bu vasıta, fotoğrafları videoya dönüştürebiliyor. Dahası, fotoğraftaki kişileri arzu ettiğiniz sese uygun şekilde konuşturup şarkı bile söyletebiliyor.
Alibaba Group’un Akıllı Bilgisayar Enstitüsü‘nden araştırmacılar Linrui Tian, Qi Wang, Bang Zhang ve Liefeng Bo, yapay zekânın seçili metinleri okuyabilmelerini, okudukları metinlere gore de yüz ifadelerini akıcı şekilde değiştirebilmelerini elde eden bir yapay zekâ olan EMO’yu tanıttı.
Ağız hareketleri, laflara uygun olarak değişiyor
EMO’nun en dikkat çeken yanı, bir fotoğrafı ya da görseli konuşturması değil, bunu icra eden başka oldukça sayıda uygulama görmüştük. Bu yapay zekâ aracının en mühim farkı, öncesinden hazırlanmış konfigürasyonun haricinde seslere gore de görselleri canlandırabilmesi. Ek olarak ağız hareketleri de laflara uygun olacak şekilde değişiyor. Kısaca görsel, tam anlamıyla sese uygun olarak videoya dönüştürülüyor.
Bir öteki dikkat çekici özellik ise yapay zekâ aracının, ses kaynağına gore temposunu ayarlayabilmesi. Sakin sakin konuşma ile rap yapma arasındaki farkı anlayabilen yapay zekâ, animasyonlarda da jest ve mimiklerin, ağız hareketlerinin temposunu buna gore ayarlıyor. Üstelik yapay zekâ, animasyon karakterlerini, yapay zekânın oluşturduğu görselleri ya da anime karakterlerini de konuşturmayı başarabiliyor.
Peki iyi mi çalışıyor?
Araştırmacılar, yapay zekâ modelinin özünde iki kısımdan oluştuğunu belirtiyor. Bunlardan biri, görseli tanımlayıp referans görselden yola çıkarak hareketli kareleri oluşturuyor. Diğeri ise ses dosyasını tanımlayarak anahtar noktaları belirliyor. Sonrasında da anahtar noktalar ile görseller eşleştiriliyor. Yapay zekânın iki de denetim modülü bulunuyor. Bunlardan biri, görseldeki karakterin değişmeden kaldığına güvenli olurken diğeri ise sesi denetim ediyor. Her iki taraftan gelen sonuçlar ondan sonra birleştiriliyor.
