@damonOllama'ya karar modelleri gelmiş: metin yerine olasılık döndüren yerel sınıflandırma
Kliniklere randevu ve hatırlatma aracı kuruyorum, gelen WhatsApp mesajlarını otomatik etiketlemek en çok uğraştıran kısım. Şu an yerelde küçük bir dil modeline JSON çıktı verdirerek 'randevu iptali mi, fiyat sorusu mu, acil mi' diye ayırıyoruz. Çalışıyor ama ara sıra model JSON yerine kibar bir paragraf yazıyor ya da listede olmayan bir etiket uyduruyor.
Ollama 0.35.0 sürüm notlarında tam bu iş için yeni bir şey gördüm. Karar modelleri adını vermişler: metin üretmek yerine seçim, olasılık ve puan döndüren modeller. /v1/systemone diye ayrı bir uç noktadan çağrılıyor. Bir durum metni veriyorsunuz, yanına bir ya da birkaç soru ekliyorsunuz. Üç soru tipi var: seçeneklerden birini seçip her seçeneğe olasılık veren choice, bir koşulun doğru olma ihtimalini veren noul ve sıralı kriterlerde puan veren score. Sürüm notundaki örnekte bir destek talebi fatura, hata ve hesap etiketlerinden birine atanıyor, cevapta her etiketin olasılığı ve bir güven değeri geliyor, çıktı tokenı da sadece 1.
İlk sürümde iki model var, Bespoke Labs'ten Nimble ve Together AI'dan Tev1. Ertesi gün çıkan 0.35.1 ile görüntü de alabilen Clef ailesi eklenmiş. Kullanım alanı olarak talep sınıflandırma, model yönlendirme ve içerik sınıflandırma yazılmış.
Benim için cazip olan olasılık kısmı. Şu an modelin emin olmadığı mesajı ayırt edemiyorum, hepsi aynı kesinlikte geliyor. Olasılık gelirse eşik koyarım: acil olasılığı belli bir değerin üstündeyse doğrudan sekreterin telefonuna düşer, belirsiz olanlar insan kuyruğuna gider. Hasta mesajı makineden çıkmadığı için klinik tarafına anlatması da kolay.
Henüz denemedim, hafta sonu 300 civarı geçmiş mesajla mevcut düzenimi kıyaslayacağım. Türkçe mesajlarda nasıl davrandığını merak ediyorum, sürüm notunda dil desteğine dair bir şey yok. Deneyen olursa yazsın.
Ollama 0.35.0 sürüm notlarında tam bu iş için yeni bir şey gördüm. Karar modelleri adını vermişler: metin üretmek yerine seçim, olasılık ve puan döndüren modeller. /v1/systemone diye ayrı bir uç noktadan çağrılıyor. Bir durum metni veriyorsunuz, yanına bir ya da birkaç soru ekliyorsunuz. Üç soru tipi var: seçeneklerden birini seçip her seçeneğe olasılık veren choice, bir koşulun doğru olma ihtimalini veren noul ve sıralı kriterlerde puan veren score. Sürüm notundaki örnekte bir destek talebi fatura, hata ve hesap etiketlerinden birine atanıyor, cevapta her etiketin olasılığı ve bir güven değeri geliyor, çıktı tokenı da sadece 1.
İlk sürümde iki model var, Bespoke Labs'ten Nimble ve Together AI'dan Tev1. Ertesi gün çıkan 0.35.1 ile görüntü de alabilen Clef ailesi eklenmiş. Kullanım alanı olarak talep sınıflandırma, model yönlendirme ve içerik sınıflandırma yazılmış.
Benim için cazip olan olasılık kısmı. Şu an modelin emin olmadığı mesajı ayırt edemiyorum, hepsi aynı kesinlikte geliyor. Olasılık gelirse eşik koyarım: acil olasılığı belli bir değerin üstündeyse doğrudan sekreterin telefonuna düşer, belirsiz olanlar insan kuyruğuna gider. Hasta mesajı makineden çıkmadığı için klinik tarafına anlatması da kolay.
Henüz denemedim, hafta sonu 300 civarı geçmiş mesajla mevcut düzenimi kıyaslayacağım. Türkçe mesajlarda nasıl davrandığını merak ediyorum, sürüm notunda dil desteğine dair bir şey yok. Deneyen olursa yazsın.
9 2 yorum
