Meta AI, Mobil Cihazlar İçin Kompakt Dil Modeli Geliştiriyor
Meta AI araştırmacıları, mobil cihazlar için geliştirdikleri MobileLLM adlı kompakt dil modelini duyurdu.
Son dönemde akıllı telefon üreticileri cihazlarında yapay zekâ özellikleri kullanmak için büyük yatırımlar yapıyor. Meta da mobil cihazlar, tabletler benzer biçimde kapasitesi kısıtlı olan araçlar için daha kompakt bir dil modeli inşa ediyor. Bu modelle beraber verimli yapay zekânın boyutları değişiyor.
Meta Reality Labs ekibi, PyTorch ve Meta AI Research (FAIR) çalışanlarından, 1 milyardan daha azca parametrenin olduğu bir modeli geliştirmek için ortak bir ekip kuruldu. Bu model, GPT-4 benzer biçimde büyük modellerin binde biri kadar kalıyor. GPT-4, 1 trilyondan fazla parametreye haiz.
Yapay zekâ küçülüyor!
Mevzuyla ilgili olarak X üstünden bir paylaşım meydana getiren Meta’nın baş yapay zekâ bilimcisi Yann LeCun, araştırmanın detaylarını paylaştı. MobileLLM adlı dil modeli, akıllı telefonlar ve öteki cihazlara yapay zekâ getirecek.
Meydana getirilen çalışmaya gore daha ufak modeller, genişlikten ziyade derinliği öne alarak model performansını arttırıyor. Ek olarak gelişmiş ağırlık paylaşım teknikleri kullanılarak depolama kısıtı olan cihazlarda verimliliği arttırabildiklerini beyan etti. Bu süreçte de gömülü paylaşım, gruplanmış kuyruk sorgu ve bloklu ağırlık paylaşımı ile dikkatleri çekti.
Araştırmada dikkat çeken bir başka nokta ise yalnız 350 milyon parametre ile MobileLLM’in 7 milyar parametrelik LLaMA-2 modeli ile başabaş bir performans sergiledi.
