@turkishpowerYerelde model çalıştırmak mı, API mi? Dört aylık fatura, donanım maliyeti ve nerede hangisi kazandı
Ekipte dört aydır ikisini paralel kullanıyoruz ve sonunda net bir ayrım kuralı oluştu. Rakamları ve kuralı paylaşayım, çünkü bu tartışma genelde ideolojik yürüyor, oysa tamamen hesap işi.
Durum şu: bir belge işleme ürünümüz var. Günde ortalama 9.000 belge geliyor, her belge için sınıflandırma, alan çıkarma ve kısa bir özet üretiliyor. Yani üç ayrı çağrı.
API tarafında dört aylık ortalama faturamız aylık 1.100 dolar civarında seyretti. Trafik arttıkça doğrusal arttı, tahmin edilebilirdi. Buna karşılık sıfır bakım, sıfır donanım, model güncellemesi kendiliğinden geliyor.
Yerel taraf için ikinci el bir iş istasyonu aldık, üzerinde 24 GB bellekli bir kart var. Toplam donanım maliyeti 95 bin lira civarı. Elektrik tüketimi tam yükte ciddi, aylık faturaya belirgin bir ek geldi. Buna bir de kurulum ve bakım için harcanan insan saatini eklemek gerekiyor; ilk ay neredeyse yarı zamanlı bir kişi bu işe baktı.
Dört ayın sonunda çıkardığımız ayrım şöyle:
Sınıflandırma işini yerele taşıdık. Girdi kısa, çıktı tek kelime, kalite farkı ölçülebilecek düzeyde değil ve hacim çok yüksek. Bu tek iş API faturamızın yaklaşık yarısıydı ve yerelde neredeyse bedava çalışıyor.
Alan çıkarma işi de yerelde, ama daha büyük bir modelle ve iki aşamalı. Önce küçük model deniyor, güven skoru düşükse API'ye devrediyor. Bu devir oranı yüzde 12 civarında ve tablo böyle çok iyi çalışıyor.
Özet üretimi API'de kaldı. Burada kalite farkı müşteri tarafından fark ediliyor, çünkü özet doğrudan kullanıcıya gösteriliyor. Yerel modelin özetleri anlaşılır ama cümleler tekdüze ve ara sıra uydurma detay giriyor. Bu riski almadık.
Üç pratik not. Birincisi, yerel kurulumda asıl darboğaz kart belleği değil, eşzamanlı istek yönetimi oldu. Tek tek istek atınca iyi, yük binince kuyruk şişiyor. Toplu işleme geçince durum düzeldi. İkincisi, model değiştirme maliyeti yerelde yüksek: yeni sürüm çıktığında test etmek, karşılaştırmak ve geçmek iki günümüzü alıyor. API tarafında bu iş sağlayıcıda. Üçüncüsü, veri hassasiyeti varsa bu hesap zaten anlamsız, yerel tek seçenek oluyor.
Basit kural olarak şunu söyleyebilirim: hacim yüksek ve çıktı kısaysa yerel, çıktı kullanıcıya doğrudan gidiyorsa ve kalite farkı görünüyorsa API. İkisini birbirinin alternatifi değil, aynı hattın iki şeridi gibi düşünmek bizi rahatlattı.
Benzer bir ayrım kuran var mı, sizde devir oranı nasıl çalışıyor?
Durum şu: bir belge işleme ürünümüz var. Günde ortalama 9.000 belge geliyor, her belge için sınıflandırma, alan çıkarma ve kısa bir özet üretiliyor. Yani üç ayrı çağrı.
API tarafında dört aylık ortalama faturamız aylık 1.100 dolar civarında seyretti. Trafik arttıkça doğrusal arttı, tahmin edilebilirdi. Buna karşılık sıfır bakım, sıfır donanım, model güncellemesi kendiliğinden geliyor.
Yerel taraf için ikinci el bir iş istasyonu aldık, üzerinde 24 GB bellekli bir kart var. Toplam donanım maliyeti 95 bin lira civarı. Elektrik tüketimi tam yükte ciddi, aylık faturaya belirgin bir ek geldi. Buna bir de kurulum ve bakım için harcanan insan saatini eklemek gerekiyor; ilk ay neredeyse yarı zamanlı bir kişi bu işe baktı.
Dört ayın sonunda çıkardığımız ayrım şöyle:
Sınıflandırma işini yerele taşıdık. Girdi kısa, çıktı tek kelime, kalite farkı ölçülebilecek düzeyde değil ve hacim çok yüksek. Bu tek iş API faturamızın yaklaşık yarısıydı ve yerelde neredeyse bedava çalışıyor.
Alan çıkarma işi de yerelde, ama daha büyük bir modelle ve iki aşamalı. Önce küçük model deniyor, güven skoru düşükse API'ye devrediyor. Bu devir oranı yüzde 12 civarında ve tablo böyle çok iyi çalışıyor.
Özet üretimi API'de kaldı. Burada kalite farkı müşteri tarafından fark ediliyor, çünkü özet doğrudan kullanıcıya gösteriliyor. Yerel modelin özetleri anlaşılır ama cümleler tekdüze ve ara sıra uydurma detay giriyor. Bu riski almadık.
Üç pratik not. Birincisi, yerel kurulumda asıl darboğaz kart belleği değil, eşzamanlı istek yönetimi oldu. Tek tek istek atınca iyi, yük binince kuyruk şişiyor. Toplu işleme geçince durum düzeldi. İkincisi, model değiştirme maliyeti yerelde yüksek: yeni sürüm çıktığında test etmek, karşılaştırmak ve geçmek iki günümüzü alıyor. API tarafında bu iş sağlayıcıda. Üçüncüsü, veri hassasiyeti varsa bu hesap zaten anlamsız, yerel tek seçenek oluyor.
Basit kural olarak şunu söyleyebilirim: hacim yüksek ve çıktı kısaysa yerel, çıktı kullanıcıya doğrudan gidiyorsa ve kalite farkı görünüyorsa API. İkisini birbirinin alternatifi değil, aynı hattın iki şeridi gibi düşünmek bizi rahatlattı.
Benzer bir ayrım kuran var mı, sizde devir oranı nasıl çalışıyor?
4 6 yorum
