Top-p ve Top-k Ayarları Nedir, Ne Zaman Kullanılır?

Büyük dil modellerinde (LLM) metin üretimini denetleyen Top-p ve Top-k parametreleri, yapay zekanın yaratıcılık ve tutarlılık dengesini belirleyen temel ayarlardır.

Top-p ve Top-k Ayarları Nedir, Ne Zaman Kullanılır? sorusu, kurumsal yapay zeka projelerinde model çıktılarının deterministik, güvenilir ve amaca uygun olmasını hedefleyen karar vericiler ve mühendisler için kritik bir optimizasyon eşiğidir. Büyük dil modelleri bir sonraki kelimeyi veya kelime parçasını (token) tahmin ederken devasa bir olasılık havuzu oluşturur; Top-k bu havuzu sabit bir kelime adediyle sınırlandırırken, Top-p (çekirdek örnekleme / nucleus sampling) kümülatif olasılık eşiğine göre dinamik bir seçim alanı belirler. Bu rehberde, parametrelerin çalışma matematiğini, Temperature (sıcaklık) ayarıyla etkileşimini, sektörel iş senaryolarına göre optimizasyon stratejilerini ve insan denetimi (human-in-the-loop) prensiplerini derinlemesine inceleyebilirsiniz.

LLM Metin Üretiminde Temel Kavramlar: Token ve Olasılık Dağılımı

Büyük dil modelleri (LLM), insan dilini doğrudan harf veya kelime düzeyinde değil, "token" adı verilen anlamsal yapı taşları üzerinden işler. Bir model kullanıcıdan bir prompt (girdi) aldığında, girdi metni öncelikle tokenlaştırma (tokenization) işlemine tabi tutularak sayısal vektörlere dönüştürülür. Modelin temel görevi, bu vektör dizisini analiz ederek mevcut bağlamdan sonra gelebilecek en mantıklı bir sonraki token'ı öngörmektir. Bu süreç, girdi metninin sonuna her seferinde tek bir token eklenerek yinelenen otoregresif (autoregressive) bir döngü halinde çalışır.

Token Nedir ve LLM'ler Nasıl İşler?

Token kavramı, dildeki bir heceye, bir kelimenin köküne, bir noktalama işaretine veya tam bir kelimeye karşılık gelebilen matematiksel birimdir. Örneğin Türkçe veya İngilizce bir cümlede ortalama 1 token, yaklaşık 0.75 kelimeye ya da 4 karaktere tekabül eder. Model mimarisi, kelime dağarcığındaki (vocabulary) on binlerce farklı token arasından mevcut cümlenin devamı olmaya aday her bir token için bir ham skor (logit) hesaplar. Logit değerleri, modelin derin sinir ağı katmanlarından geçen matris çarpımlarının ham sonucudur ve doğrudan olasılık ifade etmez.

Ham logit değerleri, Softmax aktivasyon fonksiyonu kullanılarak 0 ile 1 arasında normalize edilmiş bir olasılık dağılımına dönüştürülür. Bu dönüşüm sonucunda kelime dağarcığındaki tüm token'ların olasılık değerlerinin toplamı tam olarak 1.0 (yani %100) olur. Örneğin "Türkiye'nin başkenti..." ifadesinden sonra gelecek token için "Ankara" %88 olasılık alırken, "İstanbul" %7, "şehridir" %3 ve alakasız bir kelime %0.0001 olasılık alabilir. Modelin bu dağılım içerisinden hangi token'ı seçeceği ise örnekleme (sampling) stratejileriyle belirlenir.

Bir Sonraki Token'ın Tahmini: Olasılık Dağılımının Rolü

Açgözlü arama (Greedy Search) adı verilen en basit örnekleme yönteminde model, her adımda istisnasız en yüksek olasılığa sahip birinci token'ı seçer. Bu yaklaşım teorik olarak en güvenli yol gibi görünse de pratikte ciddi kısıtlar barındırır. Açgözlü arama, modelin kendisini sürekli tekrarlayan döngülere girmesine, mekanik ve monoton metinler üretmesine yol açar. Dilin doğal akışı ve yaratıcılık unsuru, bazen en yüksek olasılıklı kelime yerine ikinci veya üçüncü sıradaki alternatiflerin seçilmesini gerektirir.

Buna karşılık rastgele örnekleme (Random Sampling) uygulandığında, olasılık havuzundaki en düşük ihtimalli, bağlam dışı ve anlamsız token'ların da seçilme riski doğar. Uzun kuyruk (long tail) olarak adlandırılan düşük olasılıklı binlerce token arasından yanlışlıkla bir kelime seçilmesi, modelin dil bilgisini bozmasına ve halüsinasyon üretmesine neden olur. İşte Top-k ve Top-p algoritmaları, bu iki uç nokta arasında bir güvenlik bariyeri oluşturarak hem tekdüzeliği engellemek hem de saçma çıktıların önüne geçmek amacıyla olasılık havuzunu filtreler.

Top-k Ayarı (Top-k Sampling) Nedir?

Top-k örnekleme, büyük dil modellerinde bir sonraki token seçilirken kelime dağarcığındaki aday sayısını en yüksek olasılığa sahip $k$ adet token ile sınırlandıran statik bir filtreleme yöntemidir. Bu mekanizma, modelin Softmax çıktısı sonrasında ürettiği on binlerce adaylık olasılık listesini büyükten küçüğe sıralar ve listenin yalnızca ilk $k$ elemanını seçim havuzunda tutar. Geriye kalan tüm düşük olasılıklı token'lar derhal elenir.

Top-k Parametresinin Çalışma Mantığı ve Matematiksel Mantığı

Top-k algoritması devreye girdiğinde, belirlenen $k$ sayısı dışındaki token'ların olasılığı sıfıra eşitlenir. Ardından geriye kalan $k$ adet token'ın olasılıkları kendi aralarında yeniden normalize edilir (toplamları 1.0 olacak şekilde yeniden ölçeklenir). Model, bu yeni ve daraltılmış olasılık dağılımı içerisinden rastgele bir seçim yapar. Bu sayede modelin kelime dağarcığının kuyruk kısmında yer alan absürt veya bağlam dışı token'ları seçme olasılığı matematiksel olarak sıfırlanmış olur.

Örneğin, bir LLM'e $k = 40$ parametresi verildiğinde, model her üretim adımında en yüksek puana sahip ilk 40 adayı belirler. Bu 40 aday arasındaki olasılık dağılımı ne olursa olsun (birinci adayın olasılığı %90 veya %5 olsa dahi), 41. sıradaki token elenir. Bu yöntem, modelin çok uçuk ve mantıksız kelimelere sapmasını engelleyen katı ve güvenilir bir tavan-taban mekanizması kurar.

Düşük ve Yüksek Top-k Değerlerinin Model Performansına Etkisi

Top-k değerinin seçimi, modelin çıktı karakteristiğini doğrudan dönüştürür. Çok düşük bir $k$ değeri ($k = 1$ ile $k = 5$ arası), açgözlü aramaya yakın bir davranış sergiler. Model neredeyse tamamen deterministik hale gelir, her çalıştırmada benzer cümle kalıpları kurar ve güvenli limandan ayrılmaz. Bu durum veri çıkarma, kod yazımı ve SQL sorgusu üretme gibi teknik görevlerde avantaj sağlarken; pazarlama, hikaye anlatımı veya diyalog simülasyonlarında metnin aşırı robotik hissedilmesine yol açar.

Aksine yüksek bir $k$ değeri ($k = 100$ veya daha üzeri) seçildiğinde, modelin kelime haznesi çeşitlenir ve çıktıların varyasyonu artar. Ancak genişletilmiş havuz, bağlama tam oturmayan kelimelerin seçilme riskini de beraberinde getirir. Özellikle teknik terminoloji gerektiren alanlarda yüksek $k$ kullanımı, modelin kavramları karıştırmasına veya uydurma terimler üretmesine zemin hazırlayabilir. Dolayısıyla Top-k ayarı yapılırken görevin doğruluk toleransı temel rehber olmalıdır.

Top-p Ayarı (Nucleus Sampling / Çekirdek Örnekleme) Nedir?

Top-p örnekleme ya da literatürdeki adıyla Çekirdek Örnekleme (Nucleus Sampling), token havuzunu sabit bir sayı yerine kümülatif (kümülatif toplam) olasılık eşiğine göre dinamik olarak belirleyen gelişmiş bir parametredir. 2019 yılında Holtzman ve ekibi tarafından geliştirilen bu yaklaşım, dil modellerinin bağlam kesinliğine göre esneklik göstermesini sağlar. Parametre değeri 0.0 ile 1.0 arasında bir katsayı olarak tanımlanır.

Top-p Parametresinin Çalışma Mantığı ve Dinamik Token Seçimi

Top-p algoritması çalışırken, Softmax çıktısındaki token'lar en yüksek olasılıktan en düşüğe doğru sıralanır. Algoritma, listedeki token'ların olasılıklarını yukarıdan aşağıya doğru toplar. Bu kümülatif toplam, kullanıcının belirlediği $p$ değerine (örneğin $0.90$) ulaştığı veya bu değeri aştığı anda havuz kapatılır; altta kalan diğer tüm token'lar filtrelenerek elenir. Seçilen çekirdek kümedeki token'lar yeniden normalize edilir ve nihai seçim bu dinamik küme içinden yapılır.

Top-p'nin en büyük üstünlüğü, bağlamın netliğine göre havuz boyutunu kendiliğinden ayarlayabilmesidir. Örneğin model "Güneş doğudan..." cümlesini tamamlarken, "doğar" token'ının olasılığı tek başına %95 olabilir. Bu senaryoda $p = 0.90$ eşiği yalnızca 1 token ile aşılır ve havuz boyutu anında 1'e iner; model kesinlikle doğru olan kelimeyi seçer. Ancak "Gelecek yıl en popüler sektör..." gibi ucu açık bir cümlede, en olası 10 farklı token'ın her biri %8-9 olasılığa sahip olabilir. Bu durumda $p = 0.90$ eşiğine ulaşmak için havuz kendiliğinden 12 token'a genişler.

Top-p Ayarının Halüsinasyon Riskini Azaltmadaki Rolü

Dinamik havuz yönetimi, modelin güven seviyesinin yüksek olduğu durumlarda risk almasını engellerken, yaratıcılık gereken açık uçlu durumlarda doğal bir çeşitlilik alanı sunar. Bu mekanizma, kurumsal yapay zeka entegrasyonlarında halüsinasyon riskini doğrudan sınırlayan en etkili parametrik araçlardan biridir. Modelin kendinden emin olduğu olgusal verilerde gereksiz alternatifler elenirken, düşük $p$ değerleri ($p = 0.1$ - $0.3$) modeli neredeyse tamamen gerçek odaklı çalışmaya zorlar.

Nucleus sampling, özellikle Retrieval-Augmented Generation (RAG) mimarilerinde bilgi tabanından çekilen bağlamın sadakatle aktarılmasında kilit rol oynar. Doğru yapılandırılmış bir Top-p filtresi, modelin bilgi tabanında bulunmayan spekülatif kelimeleri olasılık havuzuna dahil etmesini engeller. Bu durum müşteri destek botları, yasal metin analizleri ve finansal raporlama sistemlerinde hata payını minimum seviyede tutmayı sağlar.

Top-k ve Top-p Arasındaki Temel Farklar Nelerdir?

Top-k ve Top-p parametreleri temelde aynı amaca (düşük olasılıklı token'ları filtrelemek) hizmet etse de bunu gerçekleştirme yöntemleri ve matematiksel kurguları taban tabana zıttır. Top-k adede odaklanan "statik" bir filtreyken, Top-p kümülatif olasılığa odaklanan "dinamik ve bağlam duyarlı" bir filtredir.

Sınırlandırma Yöntemleri ve Karşılaştırmaları

Top-k filtrelemesinin en zayıf noktası, olasılık dağılımının şeklinden bağımsız olarak her zaman aynı sayıda adayı havuzda tutmasıdır. Örneğin, modelin bir sonraki kelimeden %99 oranında emin olduğu bir durumda bile $k = 50$ ise, geri kalan %1'lik dilime ait 49 farklı zayıf aday havuzda kalmaya devam eder. Bu durum, çok nadir de olsa modelin tamamen alakasız bir kelimeyi seçmesine yol açabilir.

Top-p ise bu sorunu tamamen ortadan kaldırır. Eğer ilk aday %95 olasılığa sahipse ve parametre $p = 0.90$ olarak belirlenmişse, algoritma diğer tüm adayları derhal sistemden atar. Tersine, olasılıkların 50 farklı kelimeye %2'şer oranla eşit dağıldığı belirsiz bir bağlamda, Top-p tüm bu 50 kelimeyi havuzda tutarak cümlenin anlamsal zenginliğini korur. Top-k bu esnekliği sağlayamaz.

Bağlam Esnekliği ve Dinamik Havuz Avantajı

Dinamik havuz yapısı, özellikle çok dilli modellerde ve karmaşık kurumsal iş akışlarında Top-p'yi açık ara öne çıkarır. Teknik terimlerin, şirket içi kısaltmaların veya mevzuat maddelerinin geçtiği yerlerde modelin yanılma payı sıfıra yaklaşmalıdır. Top-p, metnin bu teknik kısımlarında havuzu kendiliğinden daraltarak hatasız aktarım sağlar; yorum ve açıklama gerektiren kısımlarda ise havuzu genişleterek akıcı bir üslup üretir.

Modern LLM servis sağlayıcıları (OpenAI GPT serisi, Anthropic Claude, Google Gemini, Cohere Command), Top-p parametresini birincil örnekleme aracı olarak konumlandırır. Top-k ise genellikle yerel açık kaynaklı modellerin (Llama, Mistral) inferans motorlarında (vLLM, Ollama, Hugging Face TGI) ön filtreleme katmanı olarak tercih edilir.

Sıcaklık (Temperature) ve Top-p/Top-k Parametrelerinin Birlikte Kullanımı

Büyük dil modellerinde metin çıktısını şekillendiren en popüler parametre Temperature (Sıcaklık) olsa da bu ayar Top-p ve Top-k'den tamamen farklı bir aşamada çalışır. Temperature, bir filtreleme algoritması değildir; modelin hesapladığı ham logit skorlarının Softmax fonksiyonuna girmeden önceki olasılık eğrisini büken bir ölçekleme katsayısıdır.

Temperature Parametresinin Olasılık Dağılımına Etkisi

Temperature formülünde ham logit değerleri belirlenen $T$ sıcaklık katsayısına bölünür:

• Düşük Sıcaklık ($T \to 0$): Logit değerleri arasındaki farklar katlanarak büyür. Yüksek olasılıklı token'ların şansı %99'un üzerine çıkarken, diğer adayların olasılığı sıfıra yaklaşır. Dağılım son derece dik (peaked) hale gelir. Model deterministik ve kuralcı davranır.

• Yüksek Sıcaklık ($T > 1.0$): Logit değerleri birbirine yaklaşır, dağılım düzleşir (flattened). En olası kelime ile düşük ihtimalli kelimeler arasındaki makas kapanır. Model şaşırtıcı, sıra dışı ve öngörülemez kelimeler seçmeye başlar.

Sıcaklık ayarı tamamlandıktan sonra ortaya çıkan yeni olasılık eğrisi, ardından Top-k ve Top-p filtreleme katmanlarına iletilir. Bu sıralama kritik bir teknik gerçektir: Önce Temperature olasılıkları dönüştürür, ardından Top-k/Top-p bu dönüştürülmüş dağılım üzerinden aday havuzunu keser.

Birlikte Kullanım İçin En İyi Uygulama Kuralları

API entegrasyonu yapan geliştiricilerin en sık düştüğü hatalardan biri, Temperature ve Top-p parametrelerini aynı anda aşırı uç değerlere çekmektir. İki parametrenin aynı anda değiştirilmesi, modelin davranışını öngörülemez hale getirebilir ve optimizasyon sürecinde hangi ayarın hangi etkiyi yarattığını tespit etmeyi imkansız kılar.

OpenAI ve Anthropic dokümantasyonlarında yer alan temel resmi öneri; Temperature veya Top-p parametrelerinden yalnızca birinin değiştirilmesi, diğerinin ise varsayılan değerinde (genellikle 1.0) bırakılmasıdır. Eğer Temperature ile genel yaratıcılık seviyesi ayarlanıyorsa Top-p $1.0$ tutulmalı; eğer Top-p ile kesin bir çekirdek sınırlandırması yapılıyorsa Temperature $1.0$ veya $0.7$ gibi nötr bir seviyede sabitlenmelidir. Yerel inferans motorlarında ise genellikle önce geniş bir Top-k ($k = 50$), ardından dinamik bir Top-p ($p = 0.90$) ve son olarak dengeli bir Temperature ($T = 0.7$) zinciri uygulanır.

İş Senaryolarına Göre LLM Parametre Optimizasyonu

Kurumsal bir yapay zeka uygulamasında tek bir evrensel parametre seti bulunmaz. Şirket içi bilgi tabanından veri çeken bir RAG botu ile pazarlama ekibine reklam metni üreten bir üretken yapay zeka aracının parametre gereksinimleri tamamen zıttır. İşletmelerin hedeflerine göre parametre kombinasyonlarını ayrıştırması gerekir.

Yüksek Tutarlılık Gerektiren Görevler (Raporlama, Kod Analizi, Soru-Cevap)

Bu kategorideki görevlerde modelden beklenen temel kriter sıfır hata, mutlak doğruluk ve tekrarlanabilirliktir (determinizm). Finansal bilanço analizi, JSON formatında çıktı üretimi, SQL sorgusu yazımı, mevzuat taraması veya RAG tabanlı kurumsal iç arama sistemlerinde modelin yaratıcı olmasına kesinlikle ihtiyaç yoktur.

• Önerilen Değerler: Temperature: 0.0 - 0.2 | Top-p: 0.1 - 0.3 | Top-k: 1 - 20

• Operasyonel Amaç: Modelin spekülasyon yapmasını engellemek, yalnızca verilen bağlama veya en kesin olgusal bilgiye sadık kalmasını sağlamak. Bu ayarlar, API çıktısının yapısal bütünlüğünü (örneğin bozuk JSON üretilmemesini) garanti altına alır.

Yaratıcı ve Doğal Dil Odaklı Görevler (Pazarlama Metinleri, Beyin Fırtınası)

Pazarlama sloganları, sosyal medya içerik planları, reklam metinleri varyasyonları ve ürün konumlandırma fikirleri gibi görevlerde aynı cümlenin tekrar tekrar üretilmesi istenmez. Burada aranan özellik dilin zenginliği, sıra dışı çağrışımlar ve farklı perspektiflerdir.

• Önerilen Değerler: Temperature: 0.7 - 0.9 | Top-p: 0.85 - 0.95 | Top-k: 40 - 80

• Operasyonel Amaç: Olasılık dağılımının kuyruk kısımlarından makul düzeyde token seçilmesine izin vererek metne orijinallik katmak. Çok uçuk ve anlamsız kelimeleri ise $p = 0.90$ eşiğinde keserek marka güvenliğini korumak.

Müşteri İlişkileri ve Chatbot Entegrasyonları (Dengeli Yaklaşım)

Düşük vs Yüksek Parametre Değerleri

LLM üretiminde katı ve serbest parametrelerin karşılaştırması.