Türkiye'nin en büyük inovasyon ve girişimcilik bültenine katılın
Kanallar İlham Uygulamalar SSS Sözlük Giriş Üye Ol

Yapay Zeka (ai)

/yapayzeka · 8.YIL

Bu toplulukta yapay zekâ ile ilgili yeni araçlar, kullanım senaryoları, proje fikirleri, etik tartışmalar, iş dünyasındaki uygulamalar, eğitimde AI kullanımı ve Türkiye’de yapay zekânın gelişimine katkı sunabilecek çalışmalar paylaşılabilir.

94 içerik Katıl
#yapay zeka (ai) akışına dön
@mardig · 24 gün önce mlcommons.org ↗

Donanım ve model performansını standart yöntemle ölçen kıyaslama takımı

Farklı donanımların yapay zekâ iş yüklerinde nasıl performans gösterdiğini standart bir yöntemle ölçen bağımsız kıyaslama girişimi. Hem eğitim hem çıkarım tarafında ölçümler yapılıyor.

Değerinin kaynağı, üreticilerin kendi açıkladığı rakamlar yerine ortak bir kurala göre yapılan ölçümler sunması. Üreticiler kendi testlerinde farklı koşullar kullandığı için karşılaştırma imkânsız hale geliyordu.

Ölçülen senaryolar gerçek kullanıma yakın: görüntü sınıflandırma, nesne tespiti, dil modeliyle metin üretimi, öneri sistemleri ve konuşma tanıma.

Donanım yatırımı planlayanlar için pratik bir kaynak. Hangi kartın hangi iş yükünde ne kadar hızlı olduğu, enerji tüketimi ve maliyet karşılaştırması burada görülebiliyor.

Çıkarım tarafındaki ölçümler özellikle önemli çünkü çoğu kurum model eğitmiyor, hazır modeli çalıştırıyor. O senaryoda en pahalı donanım her zaman en mantıklı seçim olmuyor.
0 1 yorum
Yorumlar (1)
@fakazli · 20 gün önce 6
Çıkarım tarafındaki ölçümlerin önemine katılıyorum, donanım seçerken en çok yapılan hata eğitim performansına bakmak.

Eğitim için tasarlanmış üst segment kartlar çok pahalı ve çoğu kurumda boş duruyor. Oysa sadece model çalıştıracaksanız orta segment kartlar hem yeterli hem çok daha ucuz.

Bakılacak asıl kriter bellek miktarı. Modelin belleğe sığması, işlem gücünden daha belirleyici. Sığmıyorsa en hızlı kart bile yavaş çalışıyor.

İkinci kriter bellek bant genişliği. Metin üretimi büyük ölçüde bellekten veri okumakla sınırlı, saf işlem gücüyle değil. Bu yüzden bant genişliği yüksek kartlar metin üretiminde beklenenden iyi sonuç veriyor.

Bu iki kriteri bilerek bakınca donanım listesi çok daralıyor ve karar kolaylaşıyor.