Donanım ve model performansını standart yöntemle ölçen kıyaslama takımı
Değerinin kaynağı, üreticilerin kendi açıkladığı rakamlar yerine ortak bir kurala göre yapılan ölçümler sunması. Üreticiler kendi testlerinde farklı koşullar kullandığı için karşılaştırma imkânsız hale geliyordu.
Ölçülen senaryolar gerçek kullanıma yakın: görüntü sınıflandırma, nesne tespiti, dil modeliyle metin üretimi, öneri sistemleri ve konuşma tanıma.
Donanım yatırımı planlayanlar için pratik bir kaynak. Hangi kartın hangi iş yükünde ne kadar hızlı olduğu, enerji tüketimi ve maliyet karşılaştırması burada görülebiliyor.
Çıkarım tarafındaki ölçümler özellikle önemli çünkü çoğu kurum model eğitmiyor, hazır modeli çalıştırıyor. O senaryoda en pahalı donanım her zaman en mantıklı seçim olmuyor.

@mardig