Yeni test: Kod ajanları dört saati aşan görevlerin yalnızca beşte birini bitirebiliyor

Halden Enstitüsü, kod ajanlarını gerçek projelerden alınmış 220 uzun görevde sınayan LongHaul adlı bir test seti yayımladı. Görevlerin her biri deneyimli bir geliştiricinin dört ila on saatte tamamlayabileceği işlerden seçildi.

Test edilen yedi ajanın en iyisi görevlerin yüzde 21’ini tamamlayabildi. Bir saatin altındaki görevlerde aynı ajanın başarı oranı yüzde 74’tü.

Araştırmacılar başarısız denemelerin yüzde 60’ında hatanın ilk bir saat içinde yapıldığını söylüyor. Ajanlar genellikle yanlış bir tasarım kararı veriyor, sonra saatlerce o karara göre kod yazıyor. Görevin ortasında yaklaşımını değiştiren ajan sayısı çok az.

Test setinin tamamı açık. Enstitü, sonuçları her üç ayda bir güncelleyeceğini açıkladı.