Direct Preference Optimization (DPO) Nedir ve Nasıl Çalışır?

Direct Preference Optimization (DPO), büyük dil modellerini (LLM) insan veya kurum tercihlerine göre hizalamak için karmaşık takviyeli öğrenme (RLHF) döngüleri yerine doğrudan ikili tercih verilerini kullanan optimize edilmiş bir fine-tuning yöntemidir.

Büyük dil modellerinin kurum içi süreçlere entegrasyonunda en kritik aşama, modelin yalnızca dil bilgisine hakim olması değil; şirket politikalarına, doğruluk standartlarına ve güvenlik kurallarına uygun çıktılar üretmesidir. Bu noktada geliştiricilerin ve teknik karar vericilerin sıklıkla karşılaştığı Direct Preference Optimization (DPO) Nedir ve Nasıl Çalışır? sorusu, geleneksel pekiştirmeli öğrenme mimarilerinin getirdiği yüksek işlem maliyeti, eğitim kararsızlığı ve karmaşık altyapı ihtiyaçlarına pratik bir çözüm arayışını temsil eder. DPO, ödül modeli (reward model) eğitme ve politika gradyanı (PPO) optimizasyonu adımlarını devreden çıkararak hizalama sürecini doğrudan tek bir analitik kayıp fonksiyonu (loss function) üzerinden çözer.

LLM Hizalama (Alignment) Problemi ve Geleneksel RLHF'in Sınırları

Büyük Dil Modelleri (LLM), milyarlarca web sayfası, kitap ve kod tabanı üzerinde denetimsiz (unsupervised) olarak önceden eğitildiğinde (pre-training), temelde yalnızca bir sonraki token'ı tahmin etme yeteneği kazanır. Bu ham model; zararlı talimatları yerine getirme, halüsinasyon üretme, kurumsal tondan sapma veya taraflı (biased) içerik oluşturma eğilimindedir. Modelin yalnızca "metin tamamlayan" bir istatistiksel araç olmaktan çıkarılıp "faydalı, dürüst ve zararsız" (Helpful, Honest, Harmless - 3H prensibi) bir kurumsal asistana dönüştürülmesi sürecine Alignment (Hizalama) adı verilir.

Hizalama sürecinin standart yöntemi uzun süre boyunca İnsan Geri Bildirimiyle Takviyeli Öğrenme (Reinforcement Learning from Human Feedback - RLHF) olmuştur. RLHF sürecinde, öncelikle denetimli ince ayar (Supervised Fine-Tuning - SFT) görmüş bir modelden alınan yanıtlar insan etiketleyiciler tarafından sıralanır. Bu sıralamalara göre bağımsız bir Reward Model (Ödül Modeli) eğitilir. Son aşamada ise ana model, Proximal Policy Optimization (PPO) gibi pekiştirmeli öğrenme algoritmaları aracılığıyla bu ödül modelinden en yüksek puanı alacak şekilde güncellenir.

RLHF teoride başarılı çıktılar üretse de kurumsal ölçekte uygulanması son derece zor ve kaynak tüketen bir iş akışıdır. RLHF uygulayan mühendislik ekipleri, eğitim esnasında aynı anda en az dört farklı modeli GPU belleğinde tutmak zorundadır: aktif eğitilen aktör model (actor), referans model (reference policy), ödül modeli (reward model) ve değer modeli (critic/value model). Bu durum, kurumsal projelerin Ar-Ge bütçelerini aşırı derecede şişirmekte ve donanım darboğazlarına yol açmaktadır.

Geleneksel RLHF Yönteminin Maliyet ve Operasyonel Zorlukları

Geleneksel RLHF mimarisinin işletmeler için en büyük engeli hesaplama maliyeti (compute cost) ve algoritmik kararsızlıktır (algorithmic instability). PPO tabanlı optimizasyon süreçleri, hiperparametre ayarlarına (öğrenme oranı, KL divergence katsayısı, clip range) aşırı derecede duyarlıdır. Yanlış seçilen tek bir hiperparametre, modelin çökmesine (policy collapse) veya ödül modelini manipüle ederek anlamsız ancak yüksek puan alan çıktılar üretmesine (reward hacking) neden olur.

Operasyonel açıdan incelendiğinde, RLHF döngüsü şu kritik darboğazları barındırır:

• Çoklu Model Bellek Yükü: 70 milyar parametreli bir modelin RLHF ile eğitilmesi, her bir GPU düğümünde devasa VRAM gereksinimi yaratır ve birden fazla GPU kümesinin (cluster) senkronize çalışmasını zorunlu kılar.

• Ödül Modeli Sapması: Ayrı bir ödül modelinin eğitilmesi, ek bir hata payı katmanı demektir. Ödül modelindeki en ufak bir yanlılık veya eksiklik, ana üretim modeline katlanarak yansır.

• Eğitim Süresi ve İterasyon Yavaşlığı: Örnekleme (rollout), puanlama (scoring) ve politika güncelleme (policy update) adımlarının ardışık yapısı, model eğitim döngülerini günler hatta haftalarca uzatır.

Direct Preference Optimization (DPO) Nedir?

Direct Preference Optimization (DPO), Stanford Üniversitesi araştırmacıları (Rafailov ve ark.) tarafından 2023 yılında geliştirilen ve dil modellerini insan tercihlerine göre hizalamak için ödül modeli ihtiyacını tamamen ortadan kaldıran yenilikçi bir optimizasyon tekniğidir. DPO, takviyeli öğrenme problemini matematiksel bir dönüşümle standart bir çapraz entropi (cross-entropy) benzeri sınıflandırma kaybı problemine indirger.

DPO'nun getirdiği temel paradigma değişimi şudur: Takviyeli öğrenmede amaçlanan "ödül fonksiyonunu maksimize ederken temel modelden çok uzaklaşmama" hedefi, kapalı formda (closed-form) çözülebilir. Bu analitik çıkarım sayesinde, ödül fonksiyonu doğrudan modelin kendi olasılık dağılımı (token log-probabilities) cinsinden ifade edilir. Sonuç olarak sistem, harici bir ödül modeli eğitmeden ve PPO ile örnekleme yapmadan, doğrudan insan tercih verileri üzerinden optimize edilir.

İşletmeler ve teknik karar vericiler için DPO; daha az GPU altyapısı, sıfır takviyeli öğrenme kararsızlığı, daha kısa eğitim döngüleri ve tamamen tekrarlanabilir (deterministic) fine-tuning iş akışları anlamına gelir. 2026 yılı itibarıyla açık kaynaklı ve kurumsal birçok gelişmiş modelin (Llama, Mistral, Gemma serileri vb.) hizalama aşamasında birincil yöntem olarak DPO tercih edilmektedir.

Ödül Modeli Olmadan Hizalama: DPO'nun Temel Felsefesi

Geleneksel RLHF'te kullanılan Bradley-Terry tercih modeline göre, bir $x$ girdisi (prompt) karşısında $y_w$ (tercih edilen / kazanan yanıt) ve $y_l$ (reddedilen / kaybeden yanıt) ikilisinin tercih edilme olasılığı, bu yanıtlara atanan örtük ödüllerin farkına dayanır:

Burada $\sigma$ lojistik sigmoid fonksiyonunu, $r(x, y)$ ise örtük ödül fonksiyonunu temsil eder. RLHF bu $r(x, y)$ fonksiyonunu öğrenmek için ayrı bir sinir ağı (Reward Model) eğitir.

DPO'nun kuramsal keşfi, optimal politika $\pi_\theta$ ile referans politika $\pi_{ref}$ arasındaki ilişkinin matematiksel olarak tersine çevrilebilmesidir:

Bu eşitlik, ödül fonksiyonunun aslında modelin çıktı üretme olasılıklarının referans modele oranından başka bir şey olmadığını kanıtlar ($Z(x)$ normalizasyon sabitidir). Bu sayede bağımsız bir ödül modeline gerek kalmaz; modelin kendi olasılıkları doğrudan ödül metriği olarak işlev görür.

DPO Nasıl Çalışır? Adım Adım Matematiksel Mantık

DPO algoritmasının operasyonel mantığı, modelin tercih edilen yanıtlara ($y_w$) atadığı olasılığı artırırken, reddedilen yanıtlara ($y_l$) atadığı olasılığı düşürmeye dayanır. Bu süreçte referans model ($\pi_{ref}$), modelin orijinal dil yeteneklerini kaybetmesini (catastrophic forgetting) ve anlamsız uç noktalara kaymasını engelleyen bir düzenleyici (regularizer) olarak çalışır.

DPO'nun kayıp fonksiyonu (loss function) şu şekilde formüle edilir:

Bu matematiksel yapının adımları şu operasyonel akışla işler:

1. İkili Veri Besleme: Girdi prompt'u ($x$), tercih edilen yanıt ($y_w$) ve reddedilen yanıt ($y_l$) veri setinden alınır.

2. Log-Olasılık Hesaplama: Aktif model ($\pi_\theta$) ve dondurulmuş referans model ($\pi_{ref}$) üzerinden hem $y_w$ hem de $y_l$ için token bazlı log-olasılıklar hesaplanır.

3. Örtük Ödül Farkı: Aktif modelin referans modele kıyasla $y_w$'ye verdiği log-olasılık artışı ile $y_l$'ye verdiği log-olasılık artışı arasındaki fark çıkarılır.

4. Gradyan Güncellemesi: Model parametreleri ($\theta$), tercih edilen yanıtın göreceli olasılığını maksimize edecek, reddedilen yanıtınkini minimize edecek yönde tek bir geriye yayılım (backpropagation) adımıyla güncellenir.

5. $\beta$ Parametresi Kontrolü: $\beta$ (tipik olarak 0.1 ile 0.5 arasında seçilir), modelin referans modele ne kadar sıkı bağlı kalacağını belirler. Düşük $\beta$ modeli daha serbest bırakırken, yüksek $\beta$ referans politikanın dışına çıkılmasını sert şekilde cezalandırır.

DPO ve RLHF Karşılaştırması: Hangisini Seçmelisiniz?

Kurumsal bir yapay zeka projesinde model hizalama stratejisi belirlenirken, mühendislik kaynakları, mevcut GPU altyapısı, zaman kısıtları ve veri seti hacmi gibi değişkenler doğrudan karar mekanizmasını etkiler. DPO ve RLHF arasındaki temel fark, birinin analitik ve kararlı bir sınıflandırma yaklaşımı benimsemesi, diğerinin ise dinamik ancak karmaşık bir pekiştirmeli öğrenme simülasyonu yürütmesidir.

Her iki metodolojinin pratik çıktılarını, operasyonel zorluklarını ve sistem gereksinimlerini derinlemesine incelemek, doğru teknoloji yatırımı yapmak için şarttır.

Hesaplama ve Zaman Maliyetleri

Geleneksel RLHF/PPO boru hattında, modelin eğitim esnasında sürekli olarak yeni yanıtlar üretmesi (online sampling) gerekir. Bu generation adımı, GPU hesaplama zamanının yaklaşık %70'ini tüketir. Üretilen yanıtlar ödül modeli tarafından puanlanır ve ardından PPO gradyanları hesaplanır. Bu durum, eğitim süresini dramatik şekilde uzatır.

DPO ise çevrimdışı (offline) bir yöntemdir. Eğitim esnasında modelden yeni token üretimi istenmez; veri setinde halihazırda bulunan $y_w$ ve $y_l$ metinlerinin log-olasılıkları doğrudan forward-pass ile hesaplanır. Forward-pass işlemi, ardışık token üretimine kıyasla donanım üzerinde katbekat daha hızlı paralel hale getirilebilir.

Algoritmik Kararlılık ve Hiperparametre Optimizasyonu

PPO tabanlı RLHF süreçlerinde karşılaşılan en büyük mühendislik riski, politikanın beklenmedik şekillerde yerel minimumlara sapması veya değer ağının (critic network) ödül tahminlerini yanlış öğrenmesidir. PPO'da öğrenme oranının ($lr$) çok az yüksek tutulması bile modelin anlaşılır dil üretme yeteneğini tamamen kaybetmesine yol açabilir.

DPO'da ise kayıp fonksiyonu kesin ve türetilebilir bir analitik yapıya sahiptir. Model, tercih edilen yanıttaki token'ların olasılık kütlesini artırırken reddedileninkini düşürdüğü için eğitim eğrisi (loss curve) standart bir denetimli fine-tuning sürecindeki gibi pürüzsüz ve tahmin edilebilir şekilde ilerler. Optimize edilmesi gereken temel hiperparametre sayısı neredeyse sadece öğrenme oranı ve $\beta$ düzenleme katsayısından ibarettir.

Karar Matrisi: Hangi Senaryoda DPO, Hangi Senaryoda RLHF?

İşletmelerin mevcut projelerinde hangi yöntemi seçecekleri, aşağıdaki operasyonel kriterlere göre belirlenmelidir:

• DPO Seçilmesi Gereken Durumlar:

• Sabit bir insan veya uzman tercih veri setine (prompt, iyi yanıt, kötü yanıt) sahip olunduğunda.

• GPU bütçesi ve mühendislik süresi kısıtlı olduğunda (örneğin tek bir GPU sunucusunda LoRA veya QLoRA ile hizalama yapılırken).

• Kurumsal chatbot'ların şirket kültürüne, üslubuna veya belirli dokümantasyon kurallarına uyarlanması hedeflendiğinde.

• Hızlı iterasyon ve tekrarlanabilir model sürümleri gerektiğinde.

• RLHF / PPO Seçilmesi Gereken Durumlar:

• Modelin ortamla sürekli etkileşime girerek dinamik ödüller aldığı oyun, simülasyon veya interaktif ajan (agentic) senaryolarında.

• Matematiksel ispat veya derleyiciden (compiler) dönen kesin geri bildirimler gibi kural tabanlı, deterministik dış ödül fonksiyonlarının bulunduğu durumlarda (Reinforcement Learning from Compiler Feedback vb.).

• Veri setinin statik ikililerden ziyade anlık arama (search) ve araç kullanımı (tool-use) ile güncellendiği devasa çok adımlı sistemlerde.

Kurumsal Projelerde DPO Entegrasyonu ve Kullanım Alanları

Kurumlar kendi özel verileriyle eğittikleri LLM'leri canlı sistemlere alırken, modelin genel dünya bilgisinden ziyade şirketin çalışma prensiplerine sadık kalmasını ister. DPO, şirket içi konu uzmanlarının (Subject Matter Experts - SME) sağladığı geri bildirimleri doğrudan model ağırlıklarına işlemek için en verimli köprüdür.

Müşteri destek sistemlerinden teknik dokümantasyon üreticilerine, regülasyon uyum analizcilerinden dahili kodlama asistanlarına kadar birçok kurumsal kullanım senaryosu, DPO'nun ikili tercih optimizasyonu ile doğrudan hedefe ulaştırılır.

Müşteri Deneyimi ve Sohbet Robotlarının (Chatbot) Kişiselleştirilmesi

E-ticaret, telekomünikasyon veya finans sektörlerinde müşteriyle temas eden chatbot'ların en büyük riski, gereksiz uzun, teknik jargona boğulmuş veya müşteriyi yanlış yönlendiren yanıtlar üretmesidir. SFT tek başına modelin doğru üslupta konuşmasını sağlamakta yetersiz kalabilir; çünkü SFT modele yalnızca "ne söylemesi gerektiğini" öğretir, "neyi söylememesi gerektiğini" net biçimde cezalandıramaz.

DPO bu noktada kritik bir rol oynar. Şirket içi kıdemli müşteri temsilcilerinin onayladığı yanıtlar $y_w$ (tercih edilen), müşteriyi cevapsız bırakan veya hatalı bilgi veren alternatif yanıtlar ise $y_l$ (reddedilen) olarak etiketlenir. DPO fine-tuning uygulandığında model:

• Müşteri sorununa doğrudan ve net çözümler sunmayı öğrenir.

• Şirketin iade, garanti ve hizmet politikalarındaki sınırları net çizer.

• Yanıltıcı veya spekülatif vaatlerde bulunmaktan kaçınır.

Güvenli ve Etik AI Çıktıları Elde Etme

Kurumsal yapay zeka modelleri; siber güvenlik zafiyetleri yaratabilecek kod önerileri, gizli ticari sırların ifşası veya nefret söylemi barındıran metinler üretmemelidir (Red Teaming gereksinimleri). DPO, güvenlik testlerinde (safety alignment) yaygın olarak kullanılan birincil araçtır.

Güvenlik ekipleri, modele potansiyel tehlike barındıran prompt'lar gönderir (örneğin SQL injection kodu yazma veya yetkisiz veri tabanına erişim talepleri). Modelin verdiği zararlı yanıt $y_l$, güvenli bir şekilde talebi reddeden ve alternatif yasal kaynak öneren yanıt ise $y_w$ olarak atanır. DPO, modelin bu tarz manipülasyonlara (jailbreak girişimleri) karşı bağışıklık kazanmasını sağlar.

Kurumsal Kimliğe ve Marka Tonuna Uygun İçerik Üretimi

Pazarlama, kurumsal iletişim ve insan kaynakları birimleri için içerik üreten modellerin belirli bir marka sesine (tone of voice) sahip olması gerekir. Kimi şirketler samimi ve enerjik bir dil hedeflerken, kimi kurumlar resmi, mesafeli ve hukuki açıdan risksiz bir üslup tercih eder.

DPO ile marka tonu hizalaması yapılırken:

• Kurumsal kimliğe uygun stil kılavuzları baz alınarak tercih çiftleri oluşturulur.

• Modelin aşırı klişe, abartılı veya bağlam dışı sıfatlar kullanması engellenir.

• Çok dilli kurumsal iletişimde kültürel adaptasyon ve yerelleştirme kuralları modelin temel refleksine dönüştürülür.

DPO Uygulamalarında Sınırlar, Riskler ve İnsan Denetimi

Direct Preference Optimization güçlü bir matematiksel altyapıya sahip olsa da mucizevi ve kusursuz bir çözüm değildir. DPO'nun başarısı, doğrudan girdi olarak verilen tercih verilerinin kalitesine, tutarlılığına ve temsil yeteneğine göbekten bağlıdır. Yanlış tasarlanmış bir DPO boru hattı, modelin performansını artırmak yerine halüsinasyon riskini tırmandırabilir veya kurumu yasal sorumluluklarla karşı karşıya bırakabilir.

Teknik liderlerin ve karar vericilerin, DPO projelerine başlamadan önce bu metodolojinin getirdiği sınırları ve risk faktörlerini objektif bir biçimde değerlendirmesi gerekir.

Veri Kalitesi Bağımlılığı ve Yanlılık (Bias) Riski

DPO'da harici bir ödül modeli bulunmadığı için model, verilen tercih çiftlerindeki her türlü tutarsızlığı doğrudan kendi parametrelerine yansıtır. Eğer veri setinde $y_w$ ve $y_l$ etiketleri birbiriyle çelişiyorsa (örneğin bir etiketleyici A yanıtını beğenirken diğeri aynı yanıta düşük puan vermişse), DPO optimizasyonu kararsız hale gelir ve modelin çıktı kalitesi bozulur.

Bunun yanı sıra yüzeysel yanlılıklar (superficial biases) en yaygın DPO tuzaklarından biridir:

• Uzunluk Yanlılığı (Length Bias): İnsan etiketleyiciler genellikle daha uzun ve detaylı görünen yanıtları, bilgi içeriği düşük olsa bile tercih etme eğilimindedir. DPO bu verilerle eğitildiğinde, model gereksiz yere lafı uzatan (verbose) çıktılar vermeye başlar.

• Biçim Yanlılığı (Formatting Bias): Bol emojili veya madde işaretli yanıtların her zaman daha kaliteli olduğu yanılgısı, modelin teknik derinliğini kaybetmesine yol açabilir.

• Onaylama Yanlılığı (Sycophancy): Modelin kullanıcının hatalı önermelerini düzeltmek yerine sürekli kullanıcıyı haklı çıkarma eğilimi, tercih verilerinde doğru filtrelenmezse pekişebilir.

İnsan Denetimi (Human-in-the-Loop) Neden Kritik?

Hiçbir DPO süreci tamamen otonom ve denetimsiz bırakılmamalıdır. Modelin ürettiği sentetik tercih verileri (AI Feedback - RLAIF/DPO with AI feedback) kullanılsa dahi, bu verilerin kritik bir yüzdesi alanında uzman insan denetçiler tarafından doğrulanmalıdır.

İnsan denetimi (Human-in-the-Loop) şu aşamalarda devreye girmelidir:

• Taksonomi Belirleme: Hangi yanıtların "iyi", hangilerinin "kötü" olduğunu tanımlayan net rubriklerin (değerlendirme kriterlerinin) insanlar tarafından hazırlanması.

• Uç Senaryo (Edge-Case) Validasyonu: Siber güvenlik, tıp, hukuk veya finans gibi hata payı olmayan alanlardaki yanıt çiftlerinin uzmanlarca onaylanması.

• Eğitim Sonrası Kör Testler (Blind A/B Testing): Model canlıya alınmadan önce, insan değerlendiricilerin model sürümlerini körleme olarak test etmesi.

Veri Gizliliği ve Güvenlik Protokolleri

Hizalama sürecinde kullanılan insan tercih verileri, çalışanların veya müşterilerin kişisel verilerini (PII) içerebilir. KVKK, GDPR ve kurumsal gizlilik regülasyonları gereği, tercih veri setleri şu standartlara tabi tutulmalıdır:

• Anonimleştirme: Prompt ve yanıtlarda geçen isim, telefon, e-posta, şirket içi IP veya müşteri kimlik bilgileri otomatik veri maskeleme araçlarıyla temizlenmelidir.

• Veri İzolasyonu: Tercih verileri ve referans model ağırlıkları, üçüncü taraf genel bulut servislerine açık olmadan, kurumun kendi güvenli VPC'sinde veya yerel (on-premise) GPU sunucularında tutulmalıdır.

• Model Çıktı Kayıtları (Audit Logging): Modelin tercih verilerinden kaynaklı olarak telif hakkı ihlali veya gizlilik ihlali yapıp yapmadığı düzenli güvenlik denetimleriyle (audit) izlenmelidir.

Uygulamalı AI Danışmanının Tavsiyeleri: DPO'ya Başlarken Dikkat Edilmesi Gerekenler

Kurumsal bir yapay zeka ekibinin DPO uygulamasına geçerken izlemesi gereken strateji, rastgele denemeler yapmak yerine iyi tanımlanmış bir mühendislik disiplinine dayanmalıdır. DPO'dan maksimum verim alabilmek için model seçimi, veri kalitesi, hiperparametre kalibrasyonu ve değerlendirme metrikleri titizlikle planlanmalıdır.

Aşağıdaki prensipler, canlı üretim ortamlarına DPO tabanlı LLM entegre eden mühendislik ve ürün ekiplerine rehberlik edecek şekilde yapılandırılmıştır.

Model Seçimi ve Veri Seti Mimarisinin Kurgulanması

1. Güçlü Bir SFT Temeli ile Başlayın: DPO, temel dil yeteneklerini veya yeni bilgileri sıfırdan öğretmek için uygun değildir. Modelin öncelikle alanınıza özgü yüksek kaliteli bir Denetimli İnce Ayar (SFT) aşamasından geçmiş olması şarttır. SFT görmemiş ham bir base model üzerinde doğrudan DPO uygulamak verimsiz sonuçlar doğurur.

2. Tercih Veri Setinde Kaliteyi Hacme Tercih Edin: 100.000 adet gürültülü ve otomatik üretilmiş tercih çifti yerine, konu uzmanları tarafından dikkatle hazırlanmış 2.000 - 5.000 adet yüksek kaliteli ikili tercih verisi model üzerinde çok daha dramatik ve olumlu bir hizalama etkisi yaratır.

3. Zor Negatifler (Hard Negatives) Kullanın: Modelin reddedilen yanıtı ($y_l$) bariz saçmalıklardan oluşmamalıdır. $y_l$, ilk bakışta mantıklı görünen ancak kritik bir bilgi hatası, hafif bir üslup kusuru veya güvenlik açığı barındıran "nüanslı" metinlerden seçilmelidir. Bu, modelin ayırt etme hassasiyetini artırır.

Fine-Tuning ve Dağıtım Sürecinde Doğrulama Metrikleri

DPO eğitimi esnasında standart loss değerini izlemek tek başına yeterli değildir. Ekipler şu metrikleri anlık olarak takip etmelidir:

• Ödül Doğruluğu (Reward Accuracy): Aktif modelin $y_w$'ye atadığı örtük ödülün, $y_l$'ye atadığı ödülden yüksek olma yüzdesidir. Sağlıklı bir eğitimde bu değerin %75-%90 bandına kademeli olarak yükselmesi beklenir.

• KL Divergence Sapması: Modelin referans modelden ne kadar uzaklaştığını gösterir. Eğer KL değeri aşırı yükseliyorsa, $\beta$ katsayısı artırılmalı veya öğrenme oranı düşürülmelidir.

• MT-Bench ve AlpacaEval Skorları: Modelin genel muhakeme ve talimat takip etme yeteneklerinin hizalama esnasında gerileyip gerilemediği (alignment tax) standart benchmark testleriyle periyodik olarak doğrulanmalıdır.