Yapay Zeka İşlem Gücü Nasıl Hesaplanır?

Yapay zeka işlem gücü, modelin parametre sayısı, eğitilecek token miktarı ve donanımın FLOPS değeri üzerinden matematiksel formüllerle hesaplanır.

Büyük dil modelleri (LLM) ve derin öğrenme sistemlerinin şirket operasyonlarına entegre edilmesi, öngörülebilir bir donanım bütçesi ve doğru kapasite planlaması gerektirir. Bir yapay zeka projesinde Yapay Zeka İşlem Gücü Nasıl Hesaplanır? sorusunun yanıtı; projenin eğitim (training), ince ayar (fine-tuning) veya canlı sistem çıkarımı (inference) fazında olmasına göre değişen matematiksel modellerde saklıdır. Bu rehber; teknik karar vericiler, mühendislik yöneticileri ve işletme sahipleri için model parametrelerinden VRAM sınırlarına, Chinchilla ölçekleme yasalarından saniye başına token maliyetlerine kadar tüm hesaplama parametrelerini operasyonel adımlarla ele almaktadır.

Yapay Zeka İşlem Gücünü Belirleyen 3 Temel Değişken

Yapay zeka mimarilerinin ihtiyaç duyduğu işlem gücünü doğru tayin etmek, rastgele GPU kiralamanın veya aşırı kaynak tahsis etmenin önüne geçer. Hesaplama altyapısının temelini üç ana metrik oluşturur: modelin yapısal ağırlığı, işlenecek verinin hacmi ve bu yükü sırtlayacak silikon çiplerin ham hesaplama kapasitesi.

1. Model Parametre Sayısı (Size of the Model)

Model parametre sayısı ($P$), bir yapay sinir ağının eğitim sürecinde öğrendiği ağırlıkların (weights) ve sapmaların (biases) toplamıdır. Milyar (Billion - B) ölçeğinde ifade edilen bu değer, modelin temsil yeteneğini belirlerken doğrudan bellek ve hesaplama maliyetini dikte eder. Örneğin, 7 milyar parametreli (7B) bir model ile 70 milyar parametreli (70B) bir modelin işlem gücü gereksinimi doğrusal değil, matris çarpımlarının karmaşıklığı nedeniyle katlanarak artar.

Parametrelerin hesaplama sırasındaki hassasiyeti (precision) de donanım yükünü belirler:

• FP32 (Tekli Duyarlılık): Parametre başına 4 bayt bellek harcar. Geleneksel bilimsel hesaplamalarda standarttır ancak modern LLM eğitiminde yerini daha hafif formatlara bırakmıştır.

• FP16 / BF16 (Yarım Duyarlılık): Parametre başına 2 bayt bellek harcar. BFloat16, geniş dinamik aralığı sayesinde eğitim kararlılığını koruyarak modern GPU mimarilerinde endüstri standardı haline gelmiştir.

• FP8 / INT8 / INT4 (Kuantalama Formatları): Parametre başına 1 bayt veya 0.5 bayt harcar. Genellikle canlı çıkarım (inference) aşamasında bellek darboğazını aşmak için tercih edilir.

2. Eğitilecek ve İşlenecek Token Miktarı

Doğal dil işleme modellerinde veri büyüklüğü bayt cinsinden değil, token cinsinden ölçülür. Bir token, kabaca 0.75 İngilizce kelimeye veya yaklaşık 4 karaktere karşılık gelir. Türkçe gibi eklemeli dillerde ise hece ve ek yapısından ötürü bir kelime 1.5 ila 3 token arasında parçalanabilir.

Eğitim sürecinde bir modelin gördüğü toplam veri miktarı ($D$), veri setindeki toplam token sayısıdır. Güncel temel modeller (foundation models) 2 trilyon ile 15 trilyon token arasında değişen devasa korpuslarla eğitilmektedir. Çıkarım aşamasında ise token miktarı; sisteme verilen girdi (prompt) tokenları ile modelin ürettiği çıktı (generation) tokenlarının toplamı üzerinden anlık hesaplama yükünü belirler.

3. Donanımın Performans Değeri (FLOPS/TFLOPS)

Yapay zeka hesaplamalarında hız birimi FLOPS (Floating Point Operations Per Second - Saniyedeki Kayan Nokta İşlem Sayısı) ile ölçülür. Donanımların teorik kapasiteleri şu alt kırılımlarla sınıflandırılır:

• TFLOPS (TeraFLOPS): Saniyede $10^{12}$ işlem ($1$ Trilyon işlem).

• PFLOPS (PetaFLOPS): Saniyede $10^{15}$ işlem ($1.000$ TFLOPS).

• EFLOPS (ExaFLOPS): Saniyede $10^{18}$ işlem ($1.000.000$ TFLOPS).

Donanım üreticileri (NVIDIA, AMD, Google TPU) veri sayfalarında teorik tepe (peak) FLOPS değerlerini yayımlar. Ancak donanım mimarisi, tensör çekirdeklerinin verimliliği, bellek bant genişliği ve matris çarpım optimizasyonları nedeniyle gerçek dünya senaryolarında bu tepe değerlerin tamamına ulaşılamaz. Bu durum hesaplama formüllerine bir verimlilik katsayısı olarak eklenir.

Yapay Zeka Eğitim (Training) İşlem Gücü Hesaplama Formülü

Sıfırdan bir yapay zeka modeli eğitmek veya kapsamlı bir temel modeli milyarlarca token ile ön eğitime (pre-training) tabi tutmak, öngörülebilir bir matematiksel formülle hesaplanır. Derin öğrenme literatüründe bu hesaplama, standart matris çarpımlarının ileri (forward) ve geri (backward) yayılım adımlarına dayanır.

Teorik FLOP Hesaplama Formülü (6PD Kuralı)

Bir Transformer tabanlı dil modelinin eğitiminde tek bir token için harcanan işlem gücü standart olarak kabul edilir:

• İleri Yayılım (Forward Pass): Parametre başına yaklaşık $2$ FLOP işlem gerektirir ($2P$).

• Geri Yayılım (Backward Pass - Gradyan Hesaplama): İleri yayılımın iki katı işlem gücü gerektirir ($4P$).

• Toplam: Tek bir token'ın eğitimi için parametre başına toplam $6P$ FLOP harcanır.

Bu doğrultuda, $P$ parametreli bir modelin $D$ token ile eğitilmesi için gereken toplam teorik hesaplama gücü ($C$) şu formülle hesaplanır:

Örnek bir hesaplama yapalım: 7 milyar ($7 \times 10^9$) parametreli bir modeli, 2 trilyon ($2 \times 10^{12}$) token içeren bir veri setiyle eğitmek istediğimizi varsayalım:

Bu teorik işlem hacminin kaç adet GPU ile ne kadar sürede tamamlanacağını hesaplamak için donanım verimliliği (MFU - Model FLOPs Utilization) denkleme dahil edilir. Dağıtık eğitim kümelerinde iletişim gecikmeleri ve bellek transferleri nedeniyle MFU değeri genellikle $\%35$ ile $\%50$ arasında seyreder.

Eğitim süresi formülü ($T$ saniye cinsinden):

Örneğin, FP16/BF16 Tensör işlem gücü $1.979 \text{ TFLOPS}$ ($1.979 \times 10^{12} \text{ FLOPS}$) olan $64$ adet NVIDIA H100 GPU kümesi ve $\%40$ MFU verimliliği ile yukarıdaki 7B modelin eğitim süresi:

Chinchilla Ölçekleme Yasaları (Optimum Kaynak Kullanımı)

DeepMind araştırmacıları tarafından ortaya konan Chinchilla Ölçekleme Yasaları (Hoffmann et al., 2022), sabit bir hesaplama bütçesiyle en yüksek doğruluğu elde etmek için parametre sayısı ile eğitim verisi boyutu arasındaki optimum dengeyi tanımlar.

Eski yaklaşımlar (Kaplan et al.) modellerin parametre sayısını büyütmeyi öncelerken, Chinchilla modeli veri setinin de parametre sayısıyla eş orantılı büyümesi gerektiğini kanıtlamıştır:

Yani, Chinchilla-optimal bir model elde etmek için her 1 parametre başına en az 20 token eğitilmelidir:

• 7B Parametre: En az 140 Milyar Token

• 13B Parametre: En az 260 Milyar Token

• 70B Parametre: En az 1.4 Trilyon Token

Günümüzde Llama ve Mistral gibi modern açık kaynaklı mimariler "aşırı eğitim" (over-training) stratejisi uygulamaktadır. Çıkarım maliyetlerini düşürmek amacıyla 7B veya 8B modeller Chinchilla sınırının çok üzerinde (15 trilyon token gibi) eğitilerek, küçük model boyutunda maksimum zeka yoğunluğu elde edilir.

Canlı Sistemlerde Çıkarım (Inference) İşlem Gücü Nasıl Hesaplanır?

Yapay zeka bütçelerinin büyük çoğunluğu eğitimden ziyade canlı sistemlerdeki çıkarım (inference) operasyonlarında harcanır. Çıkarım aşamasındaki işlem matematiği eğitimden farklı dinamiklere sahiptir. Model parametreleri güncellenmediği için geriye yayılım (backward pass) adımı yoktur; sadece ileri yayılım gerçekleşir.

Çıkarımda tek bir token üretmek için gereken ham işlem gücü teorik olarak:

Ancak çıkarım aşamasında asıl kısıtlayıcı faktör ham hesaplama gücü (TFLOPS) değil, Bellek Bant Genişliği (Memory Bandwidth) ve VRAM Kapasitesidir.

Bellek Bant Genişliği ve VRAM İhtiyacı

Bir modelin belleğe yüklenmesi ve sorguları yanıtlaması için minimum iki bileşen VRAM'de yer kaplar:

1. Model Ağırlıkları (Weights):

• $\text{VRAM}_{\text{ağırlık}} = P \times \text{Hassasiyet Bayt Değeri} \times 1.20$ (Yaklaşık $\%20$ CUDA ve framework ek yükü eklenir)

• FP16 (16-bit): 7B model $\approx 14 \text{ GB} + 2.8 \text{ GB} \approx 16.8 \text{ GB}$ VRAM

• INT8 (8-bit): 7B model $\approx 7 \text{ GB} + 1.4 \text{ GB} \approx 8.4 \text{ GB}$ VRAM

• INT4 (4-bit): 7B model $\approx 3.5 \text{ GB} + 0.7 \text{ GB} \approx 4.2 \text{ GB}$ VRAM

1. KV Cache (Key-Value Belleği):

Transformer mimarisi, önceki bağlamı her yeni token üretiminde tekrar hesaplamamak için dikkat (attention) matrislerinin Key ve Value tensörlerini bellekte tutar. KV Cache boyutu; eşzamanlı kullanıcı sayısı, bağlam penceresi uzunluğu ve model katmanlarıyla doğru orantılı olarak büyür:

Uzun bağlam pencerelerinde (32k, 128k token), KV Cache boyutu modelin kendi ağırlıklarını dahi aşarak ciddi bir VRAM darboğazına yol açabilir.

Saniye Başına Token (Token per Second) ve Sunucu Ölçekleme

Canlı sistemlerde kullanıcı deneyimini iki ana metrik belirler:

• TTFT (Time to First Token): İlk token'ın üretilmesine kadar geçen süre. Girdi (prompt) işleme aşamasıdır ve işlem gücüne (Compute-bound) bağlıdır.

• TPOT (Time Per Output Token): Çıktı üretilirken her bir token arasındaki süre. Bellek transfer hızına (Memory-bandwidth bound) bağlıdır.

Tek bir GPU'nun saniyede üretebileceği teorik maksimum token hızı, bellek bant genişliğinin model ağırlığına bölünmesiyle hesaplanır:

Örneğin, NVIDIA A100 SXM (2.039 GB/s bellek bant genişliği) üzerinde FP16 formatında 70B bir model ($140 \text{ GB}$ ağırlık):

Bu hızı artırmak ve binlerce eşzamanlı kullanıcıya hizmet verebilmek için modeller birden fazla GPU üzerine Tensör Paralelliği (Tensor Parallelism) ile bölünür (vLLM, TensorRT-LLM, TGI gibi çıkarım motorları kullanılarak).

Donanım ve Altyapı Seçimi: GPU, TPU ve Bulut Karşılaştırması

Hesaplanan işlem gücü gereksiniminin ardından gelen en kritik adım, bu yükü çalıştıracak fiziksel veya sanallaştırılmış donanım platformuna karar vermektir. Kurumsal altyapı seçimlerinde GPU (NVIDIA, AMD), TPU (Google Cloud) ve bulut sağlayıcıları arasında teknik ve maliyet odaklı bir analiz yapılmalıdır.

NVIDIA A100, H100 ve Yeni Nesil GPU Altyapıları

Modern AI veri merkezlerinde pazar standardını NVIDIA mimarileri belirlemektedir. İşlem gücü ve mimari nesiller arasındaki farklar şunlardır:

• NVIDIA A100 (Ampere): 40 GB veya 80 GB HBM2e bellek. BF16/FP16 Tensör çekirdekleri ile $312 \text{ TFLOPS}$ işlem gücü sunar. Orta ölçekli fine-tuning ve genel çıkarım iş yükleri için maliyet-etkin bir seçenektir.

• NVIDIA H100 (Hopper): 80 GB HBM3 bellek ve $3.35 \text{ TB/s}$ bant genişliği. Transformer Engine modülü ile FP8 desteği sunarak $1.979 \text{ TFLOPS}$ (FP8 modunda $3.958 \text{ TFLOPS}$) işlem gücüne ulaşır. A100'e kıyasla eğitimde $3\times$ ile $4\times$, çıkarımda $6\times$ hızlanma sağlar.

• Google TPU v4 / v5p: Google Cloud ekosisteminde özellikle JAX ve TensorFlow ile geliştirilen büyük ölçekli modeller için optimize edilmiştir. TPU v5p, pod başına devasa optik ara bağlantı (interconnect) bant genişliği sunarak büyük model eğitimlerinde maliyet avantajı sağlar.

Bulut Altyapısı mı Şirket İçi (On-Premises) Yatırım mı?

Yapay zeka altyapısı kurarken karar vericilerin önündeki en büyük ikilem Toplam Sahip Olma Maliyeti (TCO) analizidir.

1. Bulut (Cloud / IaaS / Serverless API):

• Avantajlar: Sıfır peşin yatırım maliyeti (CAPEX), anında ölçeklenebilirlik, en son donanımlara anında erişim, operasyonel bakım yükünün olmaması.

• Dezavantajlar: Uzun vadede yüksek kiralama giderleri (OPEX), veri transfer (egress) maliyetleri, bölgesel kapasite ve kota sınırlamaları.

• Uygunluk: Değişken iş yükleri, Ar-Ge projeleri, çıkarım odaklı API tüketimi ve kısa süreli model ince ayarları.

1. Şirket İçi Donanım (On-Premises Veri Merkezi):

• Avantajlar: Sabit maliyet öngörülebilirliği, tam veri egemenliği ve gizliliği (GDPR/KVKK uyumu), kesintisiz $\%100$ donanım kullanımında buluta göre 2-3 yıllık vadede daha düşük birim maliyet.

• Dezavantajlar: Yüksek başlangıç yatırımı (8x H100 sunucu maliyeti yüz binlerce dolar seviyesindedir), enerji tüketimi, sıvı soğutma altyapısı ihtiyacı ve donanımın 3-4 yılda bir demode olma riski.

• Uygunluk: 7/24 kesintisiz eğitim çalıştıran büyük teknoloji ekipleri, finans/sağlık gibi hassas regülasyona tabi kurumlar.

İşlem Gücü Planlamasında Riskler, Sınırlar ve Maliyet Yönetimi

Yapay zeka projelerinde bütçe aşımlarının temel nedeni, ham hesaplama gücünün verimsiz kullanılması ve risk faktörlerinin baştan hesaba katılmamasıdır. Donanım maliyetlerini rasyonel seviyelerde tutmak için optimizasyon stratejileri ve insan denetimi mekanizmaları birlikte kurgulanmalıdır.

Donanım Kıtlığı ve Hızlı Demode Olma Riski

Küresel yarı iletken tedarik zincirindeki dalgalanmalar, üst düzey AI çiplerine (özellikle H100, B200 serisi) erişimde uzun teslimat sürelerine (lead time) neden olabilmektedir. Şirketlerin on-premises donanım yatırımı yaparken çipin yaşam döngüsünü (3-4 yıl) ve yıllık değer kaybını (amortisman) hesaplaması gerekir. Bir model mimarisi değiştiğinde (örneğin Transformer'lardan State Space Modellerine / Mamba mimarisine geçiş gibi), optimize edilen donanım mimarisi verimliliğini yitirebilir.

Model Optimizasyonu ve Maliyet Düşürme Stratejileri

İşlem gücü ihtiyacını donanım artırarak çözmek yerine, yazılımsal optimizasyonlarla hesaplama yükü $\%50$ ila $\%80$ oranında düşürülebilir:

1. İnce Ayar Optimizasyonları (LoRA ve QLoRA):

Modelin tüm parametrelerini eğitmek (Full Fine-Tuning) yerine, sadece düşük dereceli adaptasyon matrislerini eğiterek (LoRA) VRAM ihtiyacı $\%70$ azaltılır. QLoRA (Quantized LoRA) ile ana model 4-bit'e sıkıştırılarak tek bir tüketici sınıfı GPU'da dahi 70B modeller eğitilebilir.

1. Geri Getirme Destekli Üretim (RAG - Retrieval-Augmented Generation):

Her yeni kurumsal veriyi modele öğretmek için sürekli fine-tuning yapmak yerine, harici bir vektör veritabanı kullanarak ilgili bağlamı sorgu anında modele iletmek işlem gücü maliyetlerini radikal şekilde düşürür. RAG, model eğitim döngüsünü ortadan kaldırarak sadece hafif bir çıkarım maliyeti bırakır.

1. Spekülatif Kod Çözme (Speculative Decoding):

Büyük bir hedef modeli çalıştırmadan önce, küçük ve hızlı bir taslak model (draft model) ile token dizisi üretilir ve büyük model bu diziyi tek bir ileri yayılım adımında doğrular. Bu teknik çıkarım gecikmesini 2-3 kat azaltır.

Doğruluk Seviyesi ve İnsan Denetimi (Human-in-the-Loop) Dengesi

Yapay zeka modelleri yapısı gereği olasılıksal sistemlerdir ve halüsinasyon (yanıltıcı/hatalı bilgi üretme) riski taşırlar. İşlem gücünü artırmak veya modeli büyütmek halüsinasyon riskini sıfırlamaz.

Kritik kurumsal iş süreçlerinde (finansal analiz, hukuki sözleşmeler, tıbbi teşhis):

• Üretilen çıktılar doğrudan son kullanıcıya veya otomasyona verilmemelidir.

• Human-in-the-loop (İnsan Denetimi) iş akışları kurularak, sistemin güven eşiği altında kalan çıktılar uzman onayına yönlendirilmelidir.

• Hassas kurumsal veriler genel amaçlı tüketici odaklı AI araçlarına girilmemeli, kurumsal veri gizliliği sözleşmeleri (GDPR/KVKK uyumlu private tenant mimarileri) tercih edilmelidir.