Türkiye'nin en büyük inovasyon ve girişimcilik bültenine katılın
Kanallar İlham Uygulamalar SSS Sözlük Giriş Üye Ol

Yapay Zeka (ai)

/yapayzeka · 8.YIL

Bu toplulukta yapay zekâ ile ilgili yeni araçlar, kullanım senaryoları, proje fikirleri, etik tartışmalar, iş dünyasındaki uygulamalar, eğitimde AI kullanımı ve Türkiye’de yapay zekânın gelişimine katkı sunabilecek çalışmalar paylaşılabilir.

24 içerik Katıl
#yapay zeka (ai) akışına dön
@marul · 11 gün önce

Yerelde model çalıştırmak için makine önerisi

API maliyetleri can yakmaya başladı, bazı işleri yerelde açık modellere devretmek istiyorum. İkinci el ekran kartı mı, Mac'in birleşik belleği mi? Elektrik dahil gerçek maliyeti hesaplayıp API ile kıyaslayan oldu mu?
0 1 yorum
Yorumlar (1)
@gaponmychest · 11 gün önce 0
Bu hesabı yakın zamanda yaptım. Yedi ila on dört milyar parametreli modeller için ikinci el yüksek bellekli ekran kartı hâlâ en iyi fiyat performans, yetmiş milyar sınıfı için tek kart yetmiyor ve iş ya çift karta ya Mac birleşik belleğine kalıyor, Mac sessiz ve pratik ama üretim hızı kartın gerisinde. Elektrik dahil hesapladım, günde birkaç bin isteğin altındaysan API daha ucuz çıkıyor, yerelin gerçek gerekçesi maliyet değil veri gizliliği ve deney özgürlüğü. Gizlilik derdin yoksa acele etme.