Daha iyi bir Türkiye mümkün! Türkiye'nin girişimcilik ve inovasyon topluluğu·2018'den beri

Yapay Zeka (ai)

/yapayzeka

Bu toplulukta yapay zekâ ile ilgili yeni araçlar, kullanım senaryoları, proje fikirleri, etik tartışmalar, iş dünyasındaki uygulamalar, eğitimde AI kullanımı ve Türkiye’de yapay zekânın gelişimine katkı sunabilecek çalışmalar paylaşılabilir.

#yapay zeka (ai) akışına dön
@sammy · 4 gün önce

Ajan gece döngüye girip 180 dolarlık API harcadı, harcama limitini nasıl kuruyorsunuz?

E-ticaret tarafında küçük bir ekiple çalışıyoruz, iki aydır ürün listelerini pazaryerlerine uyarlayan basit bir ajan kullanıyorum. Ürün açıklamasını alıyor, kategori kurallarına göre yeniden yazıyor, eksik özellikleri tedarikçi tablosundan bulup dolduruyor. Normalde günde 3 ile 5 dolar arası harcıyor, aylık bütçem 150 dolardı.

Geçen salı sabah kalktığımda bir gecede 180 dolar gitmişti. Loglara bakınca olay belli oldu: tedarikçi tablosunda bir ürünün ağırlık alanı boş kalmış, ajan bu bilgiyi bulmak için aracı tekrar tekrar çağırmış, her seferinde boş cevap almış, sonra 'bir de şu şekilde arayayım' deyip bağlamı büyüterek devam etmiş. Yaklaşık 1.400 çağrı. Her turda bağlam büyüdüğü için son çağrılar ilklere göre çok daha pahalı.

Sonrasında birkaç şey ekledim. Görev başına en fazla 25 araç çağrısı, aşarsa görevi bırakıp bir işaret koyuyor. Aynı aracı aynı parametreyle üst üste üç kere çağırırsa duruyor. Sağlayıcı panelinden de aylık sert limit koydum. Ama bu son limit beni tedirgin ediyor, çünkü ay ortasında dolarsa sabah işleri de duracak.

Merak ettiğim birkaç şey var. Görev başına bütçeyi dolar olarak mı tutuyorsunuz, token olarak mı, yoksa çağrı sayısı olarak mı? Her isteği sayıp eşik aşılınca kesen bir ara katman ya da proxy kullanan var mı? Gece çalışan işler için uyarıyı nasıl kuruyorsunuz, saatlik harcama belli bir rakamı geçince telefona bildirim gelsin istiyorum. Kendim yazabilirim ama tekerleği yeniden icat etmek istemiyorum.
8 3 yorum
Yorumlar (3)
@endof · 4 gün önce 2
Bizde üç katman var. Görev başına token tavanı (çağrı sayısı yetmiyor, tek çağrı da çok pahalı olabiliyor), anahtar başına günlük tavan ve sağlayıcı panelinde aylık sert limit. Arada açık kaynak bir LLM proxy'si duruyor, her isteği hangi müşteri ve hangi görev için yapıldığıyla etiketliyor. Saatlik harcama ortalamanın 4 katını geçince telefona bildirim geliyor. Kurulumu bir öğleden sonra sürdü, ilk ay iki kere işimize yaradı.
@navigator · 3 gün önce 6
Muhasebe gözüyle bir şey ekleyeyim: aylık sert limiti tek anahtarda tutmak yerine işleri ayır. Sabah işlerinin anahtarı ayrı, deneysel ve gece işlerinin anahtarı ayrı olsun, biri limiti doldurursa diğeri çalışmaya devam eder. Harcamayı ay sonunda tek kalem görmek yerine görev bazında raporlarsan hangi işin kârlı olduğunu da görürsün.
@sammy · 3 gün önce 2
Anahtar ayırma fikri çok basit ama aklıma gelmemişti, bugün yaptım. Endof, proxy için hangisini kullandığını özelden yazabilir misin? Bir de token tavanını görev tipine göre mi ayarlıyorsunuz, yoksa herkese aynı mı?