@meanRAG kurduk ama cevaplar yanlış kaynağı gösteriyor: parçalama ve yeniden sıralama ayarlarıyla üç haftalık deney
Şirket içi doküman arama için bir soru cevap sistemi kurduk. 4.200 sayfalık bir arşiv var: prosedürler, teknik şartnameler, eski teklif dosyaları. İlk sürüm iki günde ayağa kalktı ve herkes etkilendi. Üçüncü hafta kullanım düştü, çünkü sistem doğru cümleyi söyleyip yanlış belgeyi kaynak gösteriyordu. Kullanıcı kaynağa tıklayıp orada o bilgiyi bulamayınca sisteme güvenmeyi bıraktı. Üç haftayı bunu düzeltmekle geçirdim, not aldıklarımı paylaşayım.
Birinci bulgu: sorun modelde değil parçalamadaydı. Belgeleri sabit 1.000 karakterlik parçalara bölmüştük. Bu yöntem, bir tablonun ortasından, bir maddenin yarısından kesiyor. Parçanın tek başına anlamı olmayınca arama onu yanlış soruya eşliyor. Başlık yapısına göre bölmeye geçtik: her parça bir başlık altındaki metin, çok uzunsa alt başlıklara iniyor. Parça sayısı azaldı, isabet belirgin biçimde arttı.
İkinci bulgu: her parçanın başına bağlam satırı eklemek. Parçanın içine, ait olduğu belgenin adını, bölüm başlığını ve tarihini yazdık. Yani arama sırasında kullanılan metin sadece paragraf değil, "Satınalma Prosedürü, Bölüm 4, Teklif Değerlendirme, 2025 revizyonu" bilgisini de taşıyor. Bu küçük ek, özellikle benzer içerikli farklı revizyonlar arasında ayırt etmeyi sağladı. Bizim arşivde aynı prosedürün üç revizyonu vardı ve sistem sürekli eskisini getiriyordu.
Üçüncü bulgu: tek aşamalı arama yetmiyor. Önce geniş bir aday kümesi çekiyoruz, sonra bir yeniden sıralama adımıyla bu adayları soruyla ilişkisine göre yeniden puanlıyoruz. İlk aşamada 40 parça çekip ikinci aşamada 6 taneye indirmek, doğrudan 6 parça çekmekten çok daha iyi sonuç verdi. Maliyeti var ama arama başına eklenen süre kabul edilebilir seviyede kaldı.
Dördüncü bulgu: anahtar kelime aramasını atmayın. Sadece anlamsal arama kullanınca ürün kodları, standart numaraları ve kısaltmalar kayboluyor. "TS EN 13501" gibi bir ifade anlamsal aramada hiçbir şey ifade etmiyor. Klasik kelime aramasıyla anlamsal aramayı birleştirip skorları harmanlayınca bu tip sorgularda isabet çok arttı.
Beşinci bulgu, en önemlisi: kaynak göstermeyi modele bırakmayın. Model cevabı yazarken kaynak uydurabiliyor. Biz şöyle yaptık: cevabın her cümlesi için, o cümlenin hangi parçadan geldiğini ayrı bir doğrulama adımıyla kontrol ediyoruz. Eşleşmeyen cümleler için kaynak gösterilmiyor ve kullanıcıya "bu kısım belgelerde doğrudan geçmiyor" uyarısı çıkıyor. Kullanıcı güveni asıl bundan sonra geri geldi.
Rakamlar: kendi hazırladığımız 120 soruluk test setinde doğru belge getirme oranı yüzde 54'ten yüzde 89'a çıktı. Cevap kalitesinde de düzelme var ama asıl kazanç kaynak doğruluğunda oldu, çünkü kullanıcı için ölçüt oydu.
Yapılacaklar listemde hala duran iki şey var: tablolardan çıkarılan metnin hala kötü olması ve taranmış eski belgelerin okunamaması. Tablo tarafında ne kullanıyorsunuz, ayrı bir çözüm mü koştuyorsunuz?
Birinci bulgu: sorun modelde değil parçalamadaydı. Belgeleri sabit 1.000 karakterlik parçalara bölmüştük. Bu yöntem, bir tablonun ortasından, bir maddenin yarısından kesiyor. Parçanın tek başına anlamı olmayınca arama onu yanlış soruya eşliyor. Başlık yapısına göre bölmeye geçtik: her parça bir başlık altındaki metin, çok uzunsa alt başlıklara iniyor. Parça sayısı azaldı, isabet belirgin biçimde arttı.
İkinci bulgu: her parçanın başına bağlam satırı eklemek. Parçanın içine, ait olduğu belgenin adını, bölüm başlığını ve tarihini yazdık. Yani arama sırasında kullanılan metin sadece paragraf değil, "Satınalma Prosedürü, Bölüm 4, Teklif Değerlendirme, 2025 revizyonu" bilgisini de taşıyor. Bu küçük ek, özellikle benzer içerikli farklı revizyonlar arasında ayırt etmeyi sağladı. Bizim arşivde aynı prosedürün üç revizyonu vardı ve sistem sürekli eskisini getiriyordu.
Üçüncü bulgu: tek aşamalı arama yetmiyor. Önce geniş bir aday kümesi çekiyoruz, sonra bir yeniden sıralama adımıyla bu adayları soruyla ilişkisine göre yeniden puanlıyoruz. İlk aşamada 40 parça çekip ikinci aşamada 6 taneye indirmek, doğrudan 6 parça çekmekten çok daha iyi sonuç verdi. Maliyeti var ama arama başına eklenen süre kabul edilebilir seviyede kaldı.
Dördüncü bulgu: anahtar kelime aramasını atmayın. Sadece anlamsal arama kullanınca ürün kodları, standart numaraları ve kısaltmalar kayboluyor. "TS EN 13501" gibi bir ifade anlamsal aramada hiçbir şey ifade etmiyor. Klasik kelime aramasıyla anlamsal aramayı birleştirip skorları harmanlayınca bu tip sorgularda isabet çok arttı.
Beşinci bulgu, en önemlisi: kaynak göstermeyi modele bırakmayın. Model cevabı yazarken kaynak uydurabiliyor. Biz şöyle yaptık: cevabın her cümlesi için, o cümlenin hangi parçadan geldiğini ayrı bir doğrulama adımıyla kontrol ediyoruz. Eşleşmeyen cümleler için kaynak gösterilmiyor ve kullanıcıya "bu kısım belgelerde doğrudan geçmiyor" uyarısı çıkıyor. Kullanıcı güveni asıl bundan sonra geri geldi.
Rakamlar: kendi hazırladığımız 120 soruluk test setinde doğru belge getirme oranı yüzde 54'ten yüzde 89'a çıktı. Cevap kalitesinde de düzelme var ama asıl kazanç kaynak doğruluğunda oldu, çünkü kullanıcı için ölçüt oydu.
Yapılacaklar listemde hala duran iki şey var: tablolardan çıkarılan metnin hala kötü olması ve taranmış eski belgelerin okunamaması. Tablo tarafında ne kullanıyorsunuz, ayrı bir çözüm mü koştuyorsunuz?
2 5 yorum
