İki Sistem Arası Veri Eşleme (Data Mapping) Nasıl Yapılır?

Veri eşleme (data mapping), farklı veri tabanları veya yazılımlar arasında bilgi alışverişi yapılmasını sağlayan, iki sistem arası veri eşleme (data mapping) nasıl yapılır sorusunun teknik cevabıdır. Kurumsal mimarilerde sistemlerin birbiriyle konuşması, müşteri verilerinin, siparişlerin veya finansal kayıtların doğruluğunu kaybetmeden aktarılması kritik bir gereksinimdir. Veri bütünlüğünü sağlamak amacıyla gerçekleştirilen bu süreç, kaynak analizi ve teknik şema eşleşmesi adımlarının titizlikle uygulanmasını gerektirir. Bu rehberde, işletme yöneticileri ve teknik karar vericiler için veri eşleme sürecini, mimari gereksinimleri ve risk yönetimini somut örneklerle ele alacağız.

Veri Eşleme (Data Mapping) Nedir ve Neden Önemlidir?

Veri Eşlemenin Temel Tanımı

Veri eşleme, farklı veri tabanları, API'ler veya dosya biçimleri (XML, JSON, CSV) arasında aktarılan verilerin, kaynak sistemdeki alanlar ile hedef sistemdeki alanlar arasında kurulan teknik köprüdür. Her yazılım, mimarisine uygun olarak kendine has bir veri yapısı ve depolama şeması kullanır. Örneğin, bir CRM (Müşteri İlişkileri Yönetimi) yazılımı müşteri isimlerini "ad" ve "soyad" şeklinde iki ayrı kolonda tutarken, bir faturalandırma yazılımı bu bilgiyi tek bir "müşteritamadi" alanında talep edebilir. Veri eşleme süreci, bu iki farklı mimarideki alanların hangi mantıksal kurallarla birleştirileceğini veya ayrıştırılacağını tanımlayan bir kılavuzdur.

Bu süreç yalnızca statik alan eşleştirmelerinden ibaret değildir. Çoğu zaman verinin dönüştürülmesi, formatının değiştirilmesi veya belirli bir hesaplamadan geçirilmesi gerekir. Modern entegrasyon senaryolarında veri eşleme, veri entegrasyonu projelerinin temel taşı olarak kabul edilir. Bu işlem düzgün yapılmadığında, sistemler arasında veri aktarımı gerçekleşse dahi veriler bozulabilir, anlamsızlaşabilir ya da hedef sisteme yazılırken teknik hatalara yol açabilir.

Sistemler Arası Veri Bütünlüğünü Sağlamanın Rolü

Sistemler arasındaki senkronizasyonu sürdürmek, işletmelerin operasyonel doğruluğu açısından en kritik süreçlerden biridir. Yanlış tasarlanmış bir veri eşleme şeması; mükerrer müşteri kayıtlarına, kayıp sipariş bilgilerine ve yanlış finansal raporlamalara neden olur. Özellikle büyük ölçekli veri taşıma işlemlerinde veya sürekli çalışan API entegrasyonlarında veri bütünlüğü, sistemlerin tutarlılığını doğrudan belirler. ETL (Extract, Transform, Load) süreçleri kapsamında gerçekleştirilen her adım, veri bütünlüğünün korunması hedefine hizmet eder.

Özellikle e-ticaret siteleri ile ERP sistemlerinin entegrasyonunda API veri eşleme düzgün kurgulanmadığında ciddi operasyonel aksaklıklar yaşanır. Örneğin, kaynak sistemdeki para birimi formatının hedef sisteme yanlış kuralla aktarılması, fatura tutarlarının sıfır olarak işlenmesine veya kur farklarının hatalı hesaplanmasına yol açabilir. Bu tür sorunları engellemek için, eşleme esnasında veri kalitesi ve validasyon kuralları her iki sistemin limitlerine ve doğrulama mekanizmalarına göre oluşturulmalıdır.

Veri Eşleme Sürecine Başlamadan Önce Yapılması Gerekenler

Kaynak Sistem Analizi ve Veri Keşfi

Eşleme işlemine başlamadan önce kaynak sistemin veri yapısı derinlemesine analiz edilmelidir. Veri keşfi aşaması olarak adlandırılan bu süreçte; verinin nerede depolandığı, hangi formatta olduğu (örneğin SQL veri tabanı, NoSQL mimarisi, REST API JSON çıktısı) ve verilerin doluluk oranları incelenir. Kaynak sistemde yer alan ancak pratikte kullanılmayan veya boş (null) bırakılan alanların tespiti, hedef sisteme aktarılacak verinin filtrelenmesi açısından kritik önem taşır.

Kaynak analizi sırasında veri tiplerinin (string, integer, float, datetime, boolean) detaylı dökümü çıkarılır. Örneğin, kaynak veri tabanında bir telefon numarasının karakter sınırlaması olmadan bir metin (string) olarak saklanıp saklanmadığı kontrol edilir. Bu analiz, entegrasyon sırasında veri kaybını veya hatalı veri akışını engellemenin en güvenli yoludur.

Hedef Sistem Şemasının İncelenmesi

Kaynak verilerin aktarılacağı hedef şema, kendine özgü kısıtlama, indeks ve doğrulama kurallarına sahiptir. Hedef sistemin veri tabanı veya API yapısı analiz edilerek zorunlu alanlar (required fields), benzersiz anahtarlar (unique keys) ve alan uzunluğu limitleri belirlenmelidir. Eğer hedef sistemde "E-posta" alanı benzersiz (unique) bir indeks olarak tanımlanmışsa, kaynak sistemden gelecek aynı e-posta adresine sahip mükerrer kayıtlar hata üretecektir.

Ayrıca hedef sistemin null (boş) değerleri kabul edip etmediği incelenmelidir. Bazı eski ERP veya muhasebe sistemleri, belirli metin alanlarında boş değer yerine varsayılan boşluk karakterleri veya özel karakterler talep edebilir. Bu tür yapısal kuralların önceden incelenmesi, yazılacak veri dönüşüm kuralları için doğrudan girdi sağlar.

Olası Veri Uyumsuzluklarının Önceden Tespiti

Veri tipi uyuşmazlıkları, iki sistem arasındaki en yaygın hata kaynağıdır. Örneğin, kaynak sistemde tarih verisi "GG/AA/YYYY" formatında tutulurken, hedef sistem "YYYY-AA-GG" (ISO 8601) formatında bir tarih bilgisi bekleyebilir. Benzer şekilde, kaynak sistemde sayısal veriler nokta ayracı ile (ör. 1250.50) tutulurken, hedef sistem virgül ayracı (ör. 1250,50) ile veri kabul ediyor olabilir.

Uyumsuzlukların önceden tespiti aşamasında, her iki sistemdeki veri şemaları yan yana getirilerek bir fark analizi (gap analysis) tablosu oluşturulur. Bu fark tablosu, dönüşüm aşamasında hangi veri üzerinde hangi fonksiyonların (String split, Date parsing, Regex replace vb.) çalıştırılacağını belirler. Bu önleyici yaklaşım, veritabanı migrasyonu süreçlerinin kesintisiz tamamlanmasını sağlar.

Adım Adım İki Sistem Arası Veri Eşleme Nasıl Yapılır?

Adım 1: Kaynak ve Hedef Alanların Eşleştirilmesi (Field Mapping)

Veri eşleme sürecinin ilk pratik adımı, kaynak ve hedef alanların birebir, birden çoğa veya çoktan bire mantıksal eşleşmelerinin yapılmasıdır. Bu adımda, kaynak tablodaki veya JSON nesnesindeki her bir anahtarın hedefteki karşılığı net olarak atanır.

Örnek bir müşteri veri tabanı eşleme tablosu şu şekilde kurgulanabilir:

Bu tabloda görüldüğü gibi, doğrudan eşleşen alanlar dışında veri tiplerinin de birbirine dönüştürülmesi gerekmektedir. Eşleştirme tablosu, yazılım geliştiriciler veya entegrasyon uzmanları için teknik bir şartname görevi görür.

Adım 2: Veri Dönüşüm ve Format Kurallarının Tanımlanması

Alan eşleştirmeleri tamamlandıktan sonra, verinin hedef sisteme uyumlu hale getirilmesi için uygulanacak veri dönüşüm kuralları yazılır. Bu kurallar basit bir tip dönüşümünden (type casting), karmaşık koşullu mantıklara kadar değişebilir. Örneğin, bir pazaryeri entegrasyonunda kaynak sistemden gelen ürün durum kodu "10" ise hedef sistemde bu değer "Stokta Var" metnine dönüştürülmelidir.

Veri dönüşümü sırasında şu fonksiyonel işlemler sıklıkla uygulanır:

• String Manipülasyonu: Boşlukların temizlenmesi (trim), harf büyüklüğünün ayarlanması (lowercase/uppercase), telefon numaralarından parantez ve boşlukların kaldırılması.

• Koşullu Dönüşümler (Conditional Mapping): Belirli koşullara bağlı olarak verinin manipüle edilmesi. Örneğin; fatura ülkesi "Türkiye" ise vergi oranının otomatik olarak "%20" (veya güncel mevzuata göre belirlenen oran) atanması.

• Matematiksel Dönüşümler: Kaynak sistemdeki KDV hariç fiyatın, hedef sisteme KDV dahil fiyata dönüştürülerek yazılması.

Adım 3: Veri Temizleme ve Validasyon Adımları

Kaynak sistemden gelen her veri temiz veya doğru değildir. E-posta alanında "@" işareti eksik olan kayıtlar, telefon numarası kısmına harf yazılmış veriler veya eksik adres bilgileri entegrasyonun durmasına sebep olabilir. Bu nedenle eşleme motorunun içine veri kalitesi ve validasyon kuralları entegre edilmelidir.

Doğrulama (validasyon) kuralları, veriler hedef sisteme yazılmadan önce bir filtre görevi görür. Hatalı veriler akıştan ayıklanmalı, loglanmalı ve teknik ekibe bildirilmelidir. Geçersiz verilerin hedef sisteme girmesi engellenerek hedef veri tabanındaki veri kalitesi korunmuş olur.

Adım 4: Test Ortamında Pilot Çalışma Gerçekleştirilmesi

Gerçek verileri canlı sistemler arasında taşımaya başlamadan önce mutlaka bir test (Sandbox/Staging) ortamında pilot çalışma yapılmalıdır. Pilot test sürecinde, gerçek verilerin küçük bir örneği (örneğin 100-500 satırlık bir veri kümesi) kullanılarak süreç uçtan uca simüle edilir.

Bu aşamada şu soruların yanıtları aranır:

• Veri tipleri dönüşürken veri kaybı (truncation) yaşandı mı?

• Özel Türkçe veya lokal karakterler (ş, ı, ğ, ç, ö, ü) hedef sistemde düzgün görüntülenebiliyor mu?

• API çağrılarında sunucu kaynaklı bir gecikme (timeout) veya hız limiti aşımı (rate limit) hatası alındı mı?

• Dönüşüm kuralları beklenen çıktıyı tam olarak üretti mi?

Veri Eşleme Sürecinde Dikkat Edilmesi Gereken Kritik Riskler

Veri Kaybı ve Eksik Alan Hataları

Sistemler arasındaki veri aktarımında en sık karşılaşılan sorunlardan biri, hedef sistemdeki alan karakter sınırının kaynak sisteme göre daha dar olmasıdır. Örneğin, kaynak veri tabanında 255 karakterlik bir metin alanı (varchar), hedef sistemde 50 karakterlik bir alana eşlenirse, verinin son kısmı kesilir (truncation). Bu durum, özellikle adres bilgileri veya ürün açıklamaları gibi serbest metin alanlarında kritik veri kayıplarına yol açar.

Bu riski minimize etmek için eşleme kurallarında karakter uzunluğu kontrolleri yapılmalıdır. Karakter sınırı aşıldığında sistem veriyi kesmek yerine hata fırlatmalı ya da otomatik olarak kısaltma yaparken teknik yöneticilere uyarı logu göndermelidir.

Zaman Damgası ve Saat Dilimi Uyumsuzlukları

Çok uluslu operasyonlarda veya bulut tabanlı farklı platformların entegrasyonunda saat dilimi (timezone) farkları ciddi bir karmaşaya sebep olur. Örneğin, bir AWS sunucusunda çalışan kaynak sistem verileri UTC formatında kaydederken, hedef sistem Türkiye saat dilimine (GMT+3) göre çalışıyor olabilir. Eşleme sırasında saat dilimi dönüşümü yapılmazsa, siparişler veya sistem işlem kayıtları 3 saat geriden ya da ileriden gelecektir.

Bu durum mali raporlamalarda gün kaymalarına neden olabilir. Dolayısıyla, zaman damgaları (timestamps) eşlenirken standart olarak ISO 8601 formatının kullanılması ve her iki sistemin saat dilimi dönüşüm ayarlarının veri dönüşüm kuralları içinde açıkça belirtilmesi kritik bir teknik zorunluluktur.

Güvenlik ve Gizlilik Standartlarına Uyum

İki sistem arasında veri aktarımı yapılırken kişisel verilerin korunması kanunları (KVKK ve GDPR) göz ardı edilemez. Müşteri adı, soyadı, T.C. kimlik numarası, e-posta adresi ve telefon numarası gibi kişisel verilerin (PII - Personally Identifiable Information) eşlenmesi ve taşınması sırasında siber güvenlik standartlarına tam uyum sağlanmalıdır.

Verilerin aktarım sırasında (data in transit) TLS/SSL protokolleri ile şifrelenmesi gerekmektedir. Ayrıca, test ortamlarında gerçek müşteri verilerinin kullanılması KVKK/GDPR ihlallerine yol açabileceğinden, test aşamasında verilerin maskelenmesi (masking) veya anonimleştirilmesi (anonymization) şarttır. ISO 27001 Bilgi Güvenliği Yönetim Sistemi standartlarına uygun entegrasyon kanalları tercih edilmelidir.

Veri Eşlemede Kullanılan Başlıca Yöntemler ve Araçlar

Otomatik Veri Eşleme Araçları

Orta ve büyük ölçekli işletmeler, veri eşleme süreçlerini hızlandırmak ve bakım maliyetlerini düşürmek için görsel ve sürükle-bırak destekli entegrasyon platformlarını (iPaaS) tercih ederler. Bu araçlar, popüler CRM, ERP ve e-ticaret altyapıları için hazır bağlayıcılar (connectors) sunarak süreci oldukça kolaylaştırır.

Bu kategoride öne çıkan başlıca platformlar ve çözümler şunlardır:

• MuleSoft Anypoint Platform: Büyük kurumsal şirketler için tasarlanmış, gelişmiş API yönetimi ve veri dönüşüm araçlarına (DataWeave) sahip lider bir platformdur.

• Talend Data Integration: Özellikle büyük veri (Big Data) entegrasyonlarında ve veri ambarı projelerinde tercih edilen açık kaynaklı ve kurumsal sürümleri bulunan güçlü bir ETL aracıdır.

• Make (Integromat) & Zapier: Kodsuz (No-code) veya az kodlu (Low-code) yaklaşımla çalışan, KOBİ'ler ve hızlı prototip geliştirmek isteyen ekipler için uygun maliyetli bulut entegrasyon araçlarıdır.

Kod Tabanlı Özel Çözümler (Python, SQL, API)

Eğer sistemlerin veri yapıları standart dışıysa ya da çok yüksek hacimli saniyede on binlerce işlem içeren veri akışları söz konusuysa, ticari araçlar lisans maliyetleri ve performans limitleri nedeniyle yetersiz kalabilir. Bu durumlarda yazılım ekipleri tamamen özel kod tabanlı veri eşleme çözümleri geliştirirler.

Özel kod tabanlı yaklaşımlarda en sık kullanılan teknolojiler:

• Python (Pandas & PySpark): Büyük veri setlerini manipüle etmek, temizlemek ve eşlemek için sektör standardıdır. PySpark, dağıtık sistemlerde terabaytlarca verinin eşlenmesini sağlar.

• SQL (Stored Procedures / dbt): Veri tabanı seviyesindeki eşlemelerde, veri ambarı dönüşümlerinde (ELT süreçleri) SQL sorguları doğrudan en hızlı çözümü sunar.

• REST/GraphQL API ve Webhooks: Gerçek zamanlı entegrasyonlarda, bir sistemdeki tetikleyici (trigger) sonrası diğer sisteme API çağrıları üzerinden veri aktarılırken JSON nesneleri kod seviyesinde yeniden yapılandırılır.

Sonuç ve En İyi Uygulamalar Özet Listesi

Başarılı bir veri eşleme süreci, yalnızca sistemlerin devreye alındığı gün değil, sistemler yaşadığı sürece sorunsuz çalışmalıdır. Entegrasyon projelerinde uzun vadeli kararlılık elde etmek için teknik ekiplerin ve karar vericilerin uygulaması gereken en iyi pratikler şunlardır:

• Eşleme Haritalarının Sürüm Kontrolü (Version Control): Yazılan SQL şemaları, Python betikleri veya iPaaS konfigürasyonları mutlaka Git tabanlı sürüm kontrol sistemlerinde saklanmalıdır. Sistemlerden birinde şema değiştiğinde geçmişe dönük izlenebilirlik sağlanmalıdır.

• Gelişmiş Loglama ve İzleme (Monitoring): Entegrasyon köprüsünden geçen her verinin durumu izlenmelidir. Başarısız olan aktarımlar için anlık Slack, e-posta veya SMS bildirimleri kurulmalıdır. Hatalı kayıtların izole edildiği bir "Dead Letter Queue" (DLQ) mekanizması tasarlanmalıdır.

• Periyodik Veri Mutabakat Testleri (Reconciliation): Günlük veya haftalık olarak, her iki sistemdeki toplam kayıt sayıları, toplam işlem tutarları gibi makro veriler otomatik sorgularla karşılaştırılmalıdır. Sistemler arasında bakiye veya adet farkı oluştuğunda sistem otomatik alarm vermelidir.

• Veri Sözlüğü ve Dokümantasyon: Hangi alanın neden o şekilde dönüştürüldüğünü açıklayan güncel bir teknik döküman (data dictionary) tutulmalıdır. Bu dökümantasyon, ekibe yeni katılan yazılımcıların sistemi anlamasını kolaylaştırır ve bakım maliyetlerini düşürür.