Suni zekâ teknolojileri hızla gelişirken, maliyet ve verimlilik arasındaki denge işletmeler için tehlikeli sonuç hâle geliyor. Değişik model türleri, aynı görevleri yerine getirirken bile işlem gücü ve kaynak tüketimi açısından büyük farklılıklar gösterebiliyor. Son araştırmalar, bu farkların uzun vadeli maliyet hesaplarında mühim rol oynayabileceğini ortaya koyuyor.
Açık kaynaklı suni zekâ modelleri, ilk bakışta uygun maliyetli bir seçenek şeklinde görünse de uzun solukta beklenenden daha pahalıya mal olabilir. Yeni bir araştırmaya gore, bu modeller aynı görevleri yerine getirirken kapalı kaynaklı modellere kıyasla daha çok işlem gücü ve token tüketiyor. Kısaca başlangıçta cazip görünen maliyet pozitif yanları, zaman içinde yerini artan giderlere bırakabiliyor.
Nous Research tarafınca piyasaya sürülen çalışmada Google ve OpenAI’ın kapalı modelleri ile DeepSeek ve Magistral’in açık kaynaklı modelleri dahil olmak suretiyle fazlaca sayıda suni zekâ sistemi kontrol edildi. Modeller, rahat informasyon soruları, matematik problemleri ve mantık bulmacaları şeklinde görevlerde kıyaslandı.
Açık modeller rahat sorularda 10 kata kadar daha çok token tüketiyor
Elde edilmiş sonuçlara gore, açık ağırlıklı modeller kapalı modellere gore 1,5 ila 4 kat daha çok token kullanıyor. Rahat informasyon sorularında bu fark 10 kata kadar çıkarken, matematik ve mantık sorularında daha düşük seviyelerde kaldı.
Araştırmacılar, token sayısının artmasının yalnızca maliyet değil, hem de cevap sürelerini ve gecikmeyi de etkilediğini belirtiyor. Çalışmada, OpenAI ve Grok-4 şeklinde kapalı modellerin daha azca token kullanacak şekilde optimize edilmiş olduğu, açık modellerin ise bazı durumlarda daha çok token kullanarak mantık yürütmeyi güçlendirmeyi hedeflediği ifade edildi. Açık kaynak modeller içinde llama-3.3-nemotron-super-49b-v1 en verimli seçenek olurken, Magistral modelleri en fazla kaynak tüketenler içinde yer aldı.
Araştırma, açık kaynaklı suni zekâ modellerinin barındırma maliyeti düşük olsa da, fazla token kullanımı yüzünden toplam maliyetin yükselebileceğini ortaya koyuyor. Bu da şirketlerin model seçerken yalnız lisans tutarına değil, hem de işlem verimliliğine de dikkat etmesi icap ettiğini gösteriyor.
