@abdullahkurucay · 4 gün önce
Veri kalitesi model seçiminden önemli: Projelerde başarıyı belirleyen görünmez katman
Yapay zekâ projelerinde konuşulan şey genelde model seçimi oluyor. Oysa sonucu belirleyen çoğunlukla veri tarafı ve bu taraf görünmediği için bütçe de almıyor.
Veri tarafında sık karşılaşılan sorunlar:
Etiket tutarsızlığı. Aynı durumu farklı kişiler farklı etiketlemiş. Model çelişkili örnekler gördüğünde tutarlı davranış öğrenemiyor. Çözüm, etiketleme kılavuzu yazmak ve örnek üzerinden uzlaşmak.
Eksik ve boş alanlar. Gerçek dünya verisi düzensiz. Eksikliğin rastgele mi yoksa sistematik mi olduğu önemli. Sistematikse model yanlı öğreniyor.
Temsil sorunu. Eğitim verisi gerçek kullanımı temsil etmiyorsa model sahada başarısız oluyor. Örneğin sadece belirli bir bölgeden veri toplanmışsa, diğer bölgelerde performans düşüyor.
Zaman kayması. Veri belirli bir dönemde toplanmış, dünya değişmiş. Model eski örüntüleri öğrenmiş oluyor.
Veri sızıntısı. Eğitim verisinde, gerçek kullanımda mevcut olmayacak bir bilgi bulunması. Model bu bilgiyi kullanarak testte harika sonuç veriyor, sahada çuvallıyor. En sinsi sorun bu.
Yapılması gerekenler:
Veriye bakmak. Rastgele yüz örneği açıp gözle incelemek, hiçbir otomatik analizin vermeyeceği bilgiyi veriyor.
Etiketleme kılavuzu yazmak ve sınırda kalan örnekleri karara bağlamak.
Eğitim, doğrulama ve test ayrımını zaman temelli yapmak. Rastgele bölmek çoğu iş probleminde sızıntı yaratıyor.
Veri sürümlemek. Hangi modelin hangi veriyle eğitildiğini bilmek, sorun çıktığında tek çıkış yolu.
Dil modelleri çağında da bu geçerli. Belge tabanlı bir sistemde sonucun kalitesi, belgelerin kalitesiyle sınırlı. Dağınık ve çelişkili dokümantasyondan iyi cevap çıkmıyor.
Veri tarafında sık karşılaşılan sorunlar:
Etiket tutarsızlığı. Aynı durumu farklı kişiler farklı etiketlemiş. Model çelişkili örnekler gördüğünde tutarlı davranış öğrenemiyor. Çözüm, etiketleme kılavuzu yazmak ve örnek üzerinden uzlaşmak.
Eksik ve boş alanlar. Gerçek dünya verisi düzensiz. Eksikliğin rastgele mi yoksa sistematik mi olduğu önemli. Sistematikse model yanlı öğreniyor.
Temsil sorunu. Eğitim verisi gerçek kullanımı temsil etmiyorsa model sahada başarısız oluyor. Örneğin sadece belirli bir bölgeden veri toplanmışsa, diğer bölgelerde performans düşüyor.
Zaman kayması. Veri belirli bir dönemde toplanmış, dünya değişmiş. Model eski örüntüleri öğrenmiş oluyor.
Veri sızıntısı. Eğitim verisinde, gerçek kullanımda mevcut olmayacak bir bilgi bulunması. Model bu bilgiyi kullanarak testte harika sonuç veriyor, sahada çuvallıyor. En sinsi sorun bu.
Yapılması gerekenler:
Veriye bakmak. Rastgele yüz örneği açıp gözle incelemek, hiçbir otomatik analizin vermeyeceği bilgiyi veriyor.
Etiketleme kılavuzu yazmak ve sınırda kalan örnekleri karara bağlamak.
Eğitim, doğrulama ve test ayrımını zaman temelli yapmak. Rastgele bölmek çoğu iş probleminde sızıntı yaratıyor.
Veri sürümlemek. Hangi modelin hangi veriyle eğitildiğini bilmek, sorun çıktığında tek çıkış yolu.
Dil modelleri çağında da bu geçerli. Belge tabanlı bir sistemde sonucun kalitesi, belgelerin kalitesiyle sınırlı. Dağınık ve çelişkili dokümantasyondan iyi cevap çıkmıyor.
0 2 yorum