@fakazliDönüştürücü mimarisini tanıtan makale: Bugünkü modellerin tamamının dayandığı fikir
Bugün kullandığımız dil modellerinin neredeyse tamamı bu makalede tanıtılan mimariye dayanıyor. Alanı anlamak isteyen herkesin bir kez göz atması gereken metin.
Makalenin getirdiği temel fikir, sıralı işlemeyi bırakıp dikkat mekanizmasını merkeze almak. Önceki yaklaşımlar metni kelime kelime, sırayla işliyordu ve bu hem paralelleştirmeyi engelliyor hem uzak bağlantıları zayıflatıyordu. Dikkat mekanizması ise her kelimenin cümledeki diğer bütün kelimelerle ilişkisini aynı anda hesaplıyor.
Bunun pratik iki sonucu oldu. Birincisi eğitim paralelleştirilebilir hale geldi, yani daha büyük modeller daha kısa sürede eğitilebildi. İkincisi uzun metinlerde bağlam korunabildi.
Makale teknik ama giriş ve mimari bölümleri matematiksel derinliğe girmeden de takip edilebiliyor. Şekil 1'deki mimari şeması tek başına çok şey anlatıyor.
Dikkat mekanizmasının maliyeti metin uzunluğunun karesiyle arttığı için, uzun bağlam konusundaki bütün sonraki çalışmalar bu maliyeti düşürmeye odaklandı. Bugün konuşulan uzun bağlam pencereleri, o çalışmaların ürünü.
Makalenin getirdiği temel fikir, sıralı işlemeyi bırakıp dikkat mekanizmasını merkeze almak. Önceki yaklaşımlar metni kelime kelime, sırayla işliyordu ve bu hem paralelleştirmeyi engelliyor hem uzak bağlantıları zayıflatıyordu. Dikkat mekanizması ise her kelimenin cümledeki diğer bütün kelimelerle ilişkisini aynı anda hesaplıyor.
Bunun pratik iki sonucu oldu. Birincisi eğitim paralelleştirilebilir hale geldi, yani daha büyük modeller daha kısa sürede eğitilebildi. İkincisi uzun metinlerde bağlam korunabildi.
Makale teknik ama giriş ve mimari bölümleri matematiksel derinliğe girmeden de takip edilebiliyor. Şekil 1'deki mimari şeması tek başına çok şey anlatıyor.
Dikkat mekanizmasının maliyeti metin uzunluğunun karesiyle arttığı için, uzun bağlam konusundaki bütün sonraki çalışmalar bu maliyeti düşürmeye odaklandı. Bugün konuşulan uzun bağlam pencereleri, o çalışmaların ürünü.
0 1 yorum