Token nedir?
Kısa cevap
Token, yapay zeka modellerinin metni işlerken kullandığı küçük parçadır; bir kelime, kelimenin bir bölümü ya da bir noktalama işareti olabilir.
Dil modelleri metni harf harf ya da kelime kelime değil, token denen parçalar halinde okur ve yazar. Örneğin "yapay zeka harika" cümlesi modele göre 4-6 token arasında bir yere bölünebilir. Türkçe gibi eklerle uzayan dillerde bir kelime çoğu zaman birden fazla token olur.
Token neden önemlidir?
- Ücretlendirme: Yapay zeka hizmetlerinin çoğu, işlenen token sayısına göre ücret alır.
- Bağlam sınırı: Her modelin bir seferde okuyabileceği en fazla token sayısı vardır (buna bağlam penceresi denir). Çok uzun bir belge verirsen model başını "unutabilir".
- Hız: Ne kadar çok token üretilirse cevap o kadar uzun sürer.
Kabaca bir fikir vermek gerekirse İngilizcede 1 token ortalama 4 karakterdir; Türkçede bu oran genelde daha düşüktür, yani aynı metin daha fazla token tutar.