Küçük modeller daha uzun düşündüğünde matematikte büyükleri yakalıyor

Meridian Research, küçük dil modellerinin yanıt vermeden önce daha fazla “düşünmesine” izin verildiğinde nasıl performans gösterdiğini ölçtü. Çalışmada 1, 3 ve 8 milyar parametreli üç model, lise ve üniversite düzeyindeki matematik sorularında sınandı.

3 milyarlık model, soru başına harcanan hesaplama 30 katına çıkarıldığında 70 milyarlık bir modelin puanına ulaştı. Ancak bu noktada yanıt başına maliyet de büyük modelden yüksek. Araştırmacılar, küçük modelin avantajının ancak cihaz üzerinde çalıştırıldığında, yani sunucu maliyeti olmadığında ortaya çıktığını yazıyor.

Kazanç her alanda aynı değil. Ek hesaplama matematik ve mantık sorularında belirgin fark yaratırken genel kültür sorularında neredeyse hiç işe yaramadı: Model bilmediği bir bilgiyi düşünerek bulamıyor.