@nikeaAçık ağırlıklı modellerin karşılaştırma tablosu: Standart testlerde kim nerede
Açık modellerin standart kıyaslama testlerindeki sonuçlarını tek tabloda toplayan liste. Kendi sunucunuzda çalıştırabileceğiniz bir model ararken başlangıç noktası.
Tablodaki testler farklı yetenekleri ölçüyor: genel bilgi ve akıl yürütme, matematik, talimat takibi, çok adımlı problem çözme ve doğruluk. Her testin neyi ölçtüğü açıklamalarda yazılı.
Filtreleme özellikleri işe yarıyor. Parametre sayısına göre süzerek, elinizdeki donanımda çalışabilecek modellere odaklanabiliyorsunuz. Yedi milyar parametre civarı modeller sıradan bir ekran kartında çalışırken, çok daha büyükleri ciddi donanım istiyor.
Dikkat edilmesi gereken konu, test sonuçlarının eğitim verisi bulaşmasından etkilenebilmesi. Bir modelin test sorularını eğitim sırasında görmüş olması yüksek puan almasına sebep olabiliyor ve bu her zaman tespit edilemiyor.
Bu yüzden tabloyu ilk eleme için kullanmak, sonra kendi verinizle test etmek doğru yaklaşım. Tablo size hangi modellerin denenmeye değer olduğunu söylüyor, hangisinin sizin işinizde iyi olduğunu söylemiyor.
Lisans bilgisi de tabloda var ve ticari kullanım düşünüyorsanız bu sütun kritik.
Tablodaki testler farklı yetenekleri ölçüyor: genel bilgi ve akıl yürütme, matematik, talimat takibi, çok adımlı problem çözme ve doğruluk. Her testin neyi ölçtüğü açıklamalarda yazılı.
Filtreleme özellikleri işe yarıyor. Parametre sayısına göre süzerek, elinizdeki donanımda çalışabilecek modellere odaklanabiliyorsunuz. Yedi milyar parametre civarı modeller sıradan bir ekran kartında çalışırken, çok daha büyükleri ciddi donanım istiyor.
Dikkat edilmesi gereken konu, test sonuçlarının eğitim verisi bulaşmasından etkilenebilmesi. Bir modelin test sorularını eğitim sırasında görmüş olması yüksek puan almasına sebep olabiliyor ve bu her zaman tespit edilemiyor.
Bu yüzden tabloyu ilk eleme için kullanmak, sonra kendi verinizle test etmek doğru yaklaşım. Tablo size hangi modellerin denenmeye değer olduğunu söylüyor, hangisinin sizin işinizde iyi olduğunu söylemiyor.
Lisans bilgisi de tabloda var ve ticari kullanım düşünüyorsanız bu sütun kritik.
0 2 yorum