token

büyük dil modellerinin metni işlerken kullandığı en küçük birim. model kelimeleri değil, kelime parçalarını (token) görür; ingilizce'de kabaca 4 karakter bir token'a denk gelirken türkçe gibi eklemeli dillerde aynı cümle daha fazla token tutar — bu da türkçe kullanımın api maliyetini yapısal olarak artırır.

pratikte önemi şurada: büyük dil modeli api fiyatlandırmaları token başına yapılır, bağlam penceresi (context window) token cinsinden ölçülür. dolayısıyla bağlam mühendisliği dediğimiz şey, aslında sınırlı bir token bütçesini en verimli şekilde harcama sanatıdır.