Bir yıl önce en iyi açık ağırlıklı model, kapalı rakiplerinin altı ay önceki seviyesindeydi. Commons-70B bu farkı, yaygın kullanılan testlerin çoğunda üç aya indiriyor.
Farkın daralmasının en büyük nedeni eğitim için gereken hesaplamanın ucuzlaması. Lattice Commons, modelini kiraladığı yaklaşık 4.000 hızlandırıcıyla iki ayda eğitti. Bu, iki yıl önce yalnızca birkaç şirketin karşılayabileceği bir bütçeydi.
Kalan fark nerede
Testlerde geride kalınan alanlar dikkat çekici biçimde aynı: uzun görevler, araç kullanımı ve talimatları ince ayrıntısına kadar izlemek. Bunlar ham bilgiyle değil, eğitimin son aşamasında modele verilen örneklerle şekilleniyor.
Kapalı laboratuvarlar bu aşamada milyonlarca gerçek kullanıcı etkileşiminden yararlanıyor. Açık projelerin böyle bir veri kaynağı yok; sentetik veriyle bu açığı kapatmaya çalışıyorlar. Commons-70B’nin ajan testlerindeki zayıflığı da buradan geliyor.
Kısacası açık modeller artık hesaplama yarışında geride değil. Asıl yarış, kullanım verisine kimin sahip olduğu üzerinden sürüyor.