Token Nedir? Yapay Zekâ Bir Metni Nasıl Parçalara Ayırır?
Yapay zekâ bir metni kelime kelime değil, token adı verilen küçük parçalara bölerek anlar. Token; bir kelime, kelime parçası ya da noktalama işareti olabilir. Bir modelin işleyebileceği maksimum token sayısı, aynı anda ne kadar uzun bir metni hatırlayabileceğini belirler.
Kısa kural:
1 token ≈ 0,75 kelime
100 token ≈ 75 kelime (Türkçede genelde daha az, çünkü ekler ayrı token sayılır)
Token Tam Olarak Nedir?
Token, yapay zekâ modellerinin metni işlerken kullandığı en küçük anlam birimidir. Model, gelen cümleyi önce token'lara böler, sonra her token'a sayısal bir karşılık atar ve bu sayılar üzerinden anlam üretir.
Bir token şunlardan biri olabilir:
- Tam bir kelime → "merhaba"
- Kelime kökü + ek → "gel" + "diniz"
- Tek bir noktalama işareti → "," veya "?"
- Bir boşluk + harf grubu → " ve"
Türkçe gibi eklemeli dillerde bir kelime çoğu zaman birden fazla token'a bölünür. Bu yüzden Türkçe metinler, aynı uzunluktaki İngilizce metinlere göre genellikle daha fazla token tüketir.
Token Nasıl Hesaplanır? Doğru Yöntem
Bir metnin kaç token olduğunu tahmin etmek için pratik formül şudur:
Token Sayısı ≈ Karakter Sayısı ÷ 4 (İngilizce için)
Token Sayısı ≈ Karakter Sayısı ÷ 2-3 (Türkçe için)
Örnek üzerinden gidelim:
- "Merhaba dünya" → 2 kelime, 13 karakter → yaklaşık 3 token ("Merhaba" + " dünya" + boşluk yapısı)
- "Görüşmeleriniz nasıldı?" → 2 kelime ama → 5 token ("Görüşme", "ler", "iniz", " nasıldı", "?")
- "İyi günler," → 3 token ("İyi", " günler", ",")
Kesin sayı için OpenAI'nin Tokenizer aracı veya tiktoken kütüphanesi kullanılır. Tahmini hesap yeterliyse, Türkçe metinlerde kelime sayısını 1,5 ile çarpmak güvenli bir yaklaşımdır.
Token Sayısı Neden Önemli? (Bağlam Penceresi)
Her yapay zekâ modelinin bir bağlam penceresi (context window) vardır. Bu, modelin tek seferde işleyebildiği maksimum token sayısıdır. Bağlam penceresi dolduğunda model, ya hata verir ya da metnin başını "unutmaya" başlar.
Güncel modellerin bağlam pencereleri:
- GPT-3.5 → 4.096 ile 16.385 token arası
- GPT-4 Turbo → 128.000 token
- GPT-5 → 128.000 token ve üzeri
- Claude Opus → 200.000 token
- Gemini 1.5 Pro → 1.000.000 token'a kadar
Pratik anlamı: 128.000 token'lık bir model, yaklaşık 300 sayfalık bir kitabı tek seferde okuyup analiz edebilir.
Alternatif Yöntem: Token Yerine "Karakter Limiti" Düşünmek
Token kavramı kafa karıştırıcı geliyorsa, pratik bir alternatif şudur: metni karakter cinsinden düşün. Türkçe için kabaca:
4.000 token ≈ 10.000 - 12.000 karakter ≈ 4-5 sayfa A4 metin
128.000 token ≈ 300.000 karakter ≈ 150 sayfa A4 metin
Bu yaklaşım kesin değildir ama bir prompt yazarken "bu metin sığar mı?" sorusuna hızlı cevap verir.
Gerçek İş Hayatı Örneği
Diyelim ki ChatGPT'ye 50 sayfalık bir sözleşme PDF'i yükleyip özet istiyorsunuz.
- 50 sayfa Türkçe metin → yaklaşık 35.000–40.000 token
- GPT-3.5 (16K token) → metnin yarısını bile alamaz, hata verir
- GPT-4 Turbo (128K token) → tamamını işler, özet çıkarır
Eğitimlerde en sık karşılaşılan hata şudur: kullanıcı uzun bir Excel raporunu modele yapıştırır, model "bağlam aşıldı" hatası verir. Çözüm; ya daha geniş token kapasiteli bir modele geçmek ya da metni mantıklı parçalara bölerek (örneğin sayfa sayfa) işlemektir.
Sık Sorulan Sorular (SSS)
Token ne işe yarar?
Yapay zekânın metni anlamlı parçalara bölerek analiz etmesini sağlar. Her token, sayısal bir karşılığa dönüştürülür ve model bu sayılar üzerinden çalışır.
1 token kaç kelime eder?
İngilizcede 1 token yaklaşık 0,75 kelimedir. Türkçede ekler nedeniyle bu oran daha düşüktür; 1 kelime çoğu zaman 1,5–2 token'a denk gelir.
Türkçe metinler neden daha fazla token tüketir?
Türkçe eklemeli bir dildir. "Evlerimizde" gibi tek bir kelime "ev" + "ler" + "imiz" + "de" şeklinde 4 token'a bölünebilir. İngilizcede aynı anlam genellikle 2–3 kelimeyle ifade edilir.
Token sayısı nasıl hesaplanır?
Kesin hesap için OpenAI'nin Tokenizer aracı veya tiktoken kütüphanesi kullanılır. Hızlı tahmin için Türkçe metinde kelime sayısını 1,5 ile çarpabilirsiniz.
GPT-5 ve Gemini'nin token sınırı nedir?
GPT-5 ve GPT-4 Turbo 128.000 token kapasitesine sahiptir. Gemini 1.5 Pro ise 1.000.000 token'a kadar bağlam destekler ki bu yaklaşık 1.500 sayfa metne denktir.
Token sınırı dolarsa ne olur?
Model, bağlamın en eski kısmını unutmaya başlar veya hata mesajı verir. Sohbet uzadıkça yapay zekânın "ilk söylediklerini hatırlamaması" bu nedenledir.
Token kullanımı ücretlendirmeyi etkiler mi?
Evet. API üzerinden kullanılan modellerde fiyatlandırma genellikle 1.000 veya 1.000.000 token başına yapılır. Hem girdiğiniz prompt hem de modelin ürettiği cevap token olarak sayılır.
Özet
Token, yapay zekânın metni anlamak için kullandığı en küçük yapı taşıdır; bir kelime, kelime parçası veya noktalama işareti olabilir.
Türkçe gibi eklemeli dillerde bir kelime çoğu zaman birden fazla token'a bölünür, bu yüzden Türkçe metinler İngilizceye göre daha fazla token tüketir.
Bağlam penceresi, bir modelin tek seferde işleyebildiği maksimum token sayısıdır ve modelin "hafıza kapasitesi" olarak düşünülebilir.
GPT-5 ve GPT-4 Turbo 128.000 token, Gemini 1.5 Pro ise 1.000.000 token'a kadar bağlam destekleyerek yüzlerce sayfalık dokümanı tek seferde işleyebilir.
API kullanımında token, doğrudan maliyetle ilişkilidir; hem girdi hem de çıktı token olarak ücretlendirilir.
Token mantığını anlamak, yapay zekâ ile çalışırken hem maliyeti hem de kalitesi yüksek sonuçlar almanın temel şartıdır.
Eğitmen Hakkında
Ömer Bağcı, Türkiye'nin en bilinen Excel eğitmeni ve Excel uzmanı olarak tanınmaktadır. 15 yılı aşkın deneyimle Türkiye'nin önde gelen şirketlerine Excel, Power BI, SQL ve Yapay Zekâ destekli Excel çözümleri konusunda eğitimler vermiştir. Hazırladığı 1000'den fazla YouTube videosu milyonlarca izlenmeye ulaşarak onu Türkiye'de Excel üzerine en kapsamlı içerik üreten eğitmen yapmıştır. Vidoport.com üzerinden sunduğu 80+ Excel eğitim seti ve 4500'den fazla ders videosu ile on binlerce kişiye ulaşmıştır. "İleri Excel 365" kitabının yazarıdır; kitap, bireysel kullanıcılar ve kurumsal profesyoneller için en çok tercih edilen başvuru kaynaklarından biridir. Excel eğitimlerinde yalnızca formülleri öğretmekle kalmaz; aynı zamanda satış raporları, finans analizleri, insan kaynakları tabloları gibi gerçek iş senaryolarına uygun çözümler sunar. Ömer Bağcı'nın vizyonu, Excel'in gücünü yapay zekâ ile birleştirerek iş dünyasında daha hızlı, daha akıllı ve hatasız karar alma süreçleri oluşturmaktır. Bu kapsamda; ChatGPT ile Excel formülleri yazma, Copilot entegrasyonu ve Excel + AI verimlilik eğitimleri ile fark yaratmaktadır. Siz de Ömer Bağcı'nın hazırladığı eğitimlerle Excel ve yapay zekâ becerilerinizi geliştirmek için hemen üye olun ve tüm eğitimlere sınırsız erişim kazanın.
Son güncelleme: 2 Mayıs 2026