Yapay Zeka Çeviri Kalitesi: Makine Çevirilerinin %60'ında Neden Halüsinasyon Riski Var?

Yapay Zeka Çeviri Kalitesi: Makine Çevirilerinin %60'ında Neden Halüsinasyon Riski Var?

Yapay zeka, çeviriye yaklaşımımızı köklü bir şekilde dönüştürdü. Google Translate, DeepL ve GPT tabanlı modeller gibi nöral makine çeviri (NMT) sistemleri artık düzinelerce dilde akıcı, doğal seslenen metinler üretebiliyor. Benimsenme hızla artıyor: küresel makine çeviri pazarının 2027 yılına kadar 4,2 milyar dolara ulaşması öngörülüyor ve yapay zeka destekli çözümler bu büyümenin lokomotifi konumunda.

Ancak yüzeyin altında gizlenen bir sorun var. Etkileyici akıcılığa rağmen, makine çevirilerinin önemli bir kısmı araştırmacıların "halüsinasyon" dediği durumları içeriyor — doğru görünen ancak anlamı ince bir şekilde çarpıtan, eksik bırakan veya uyduran çıktılar. Sektör analizlerine ve akademik araştırmalara göre, makine çevirisi yapılmış içeriğin yaklaşık %60'ı küçük anlam kaymalarından tehlikeli olgusal hatalara kadar uzanan çeşitli düzeylerde halüsinasyon riski taşıyor.

Yazılımı küresel kullanıcılara ulaştıran ekipler için bu akademik bir endişe değil. Ödeme akışınızdaki, tıbbi arayüzünüzdeki veya hukuki belgelerinizdeki halüsinasyonlu bir çeviri gerçek maliyetlere yol açabilir, kullanıcı güvenini sarsabilir veya sorumluluk doğurabilir. Bu makale, yapay zeka çevirilerinin neden halüsinasyon ürettiğini, bu hataların nasıl tespit edileceğini ve sorunu gerçekten çözen iş akışlarını inceliyor.

%60 Halüsinasyon Problemi

Çeviri Halüsinasyonları Nedir?

Çeviri halüsinasyonları, bir makine çeviri sisteminin kaynak metne akıcı ancak sadakatsiz çıktı üretmesi durumunda ortaya çıkar. Belirgin hatalardan (bozuk sözdizimi, çevrilmemiş kelimeler) farklı olarak, halüsinasyonlar tam da doğru göründükleri için tehlikelidir.

Araştırmacılar çeviri halüsinasyonlarını üç türe ayırıyor:

1. Anlamsal Kayma Çeviri yavaş yavaş anlam kaymasına uğrar ve dilbilgisel olarak doğru ancak kaynak metinden farklı bir şey söyleyen bir cümle üretir.

• Kaynak (EN): "The update improves battery performance by 20%."
• Halüsinasyonlu (DE): "Das Update verbessert die Akkuleistung um 30%." (%20 yerine %30 diyor)

2. Eksiltme Halüsinasyonları Model, kaynak metindeki önemli bilgileri sessizce düşürür.

• Kaynak (EN): "Cancel within 14 days for a full refund. Terms and conditions apply."
• Halüsinasyonlu (FR): "Annulez sous 14 jours pour un remboursement complet." ("Şartlar ve koşullar geçerlidir" kısmını düşürüyor)

3. Uydurma Halüsinasyonları Model, kaynak metinde bulunmayan bilgiler ekler.

• Kaynak (EN): "Our platform supports 40+ languages."
• Halüsinasyonlu (JA): "当社のプラットフォームは40以上の言語をサポートし、リアルタイム翻訳を提供します。" ("ve gerçek zamanlı çeviri sağlar" ifadesini ekliyor — var olmayabilecek bir özellik)

Neden %60 Doğru Bir Rakam?

%60 rakamı, birden fazla çalışma ve sektör raporunun bulgularının bir araya getirilmesiyle elde edilmiştir:

• Maryland Üniversitesi (2023): LLM tabanlı sistemlerden yapılan çevirilerin %70'ine kadarının, düşük kaynaklı dil çiftlerinde en az bir tür halüsinasyon içerdiğini tespit etti.
• GALA Sektör Raporu (2024): 500'den fazla yerelleştirme uzmanıyla yapılan ankette, %58'i son 12 ay içinde üretim çevirilerinde yapay zeka halüsinasyonlarıyla karşılaştığını bildirdi.
• Meta AI Research (2023): NMT sistemlerindeki halüsinasyonlar üzerine yaptıkları çalışmada, yüksek kaynaklı dil çiftlerinin (EN-DE, EN-FR) bile %15-25 halüsinasyon oranı sergilediğini, düşük kaynaklı çiftlerin ise %60'ı aştığını buldu.
• Intento State of MT (2025): 15 MT motorunu 30 dil çiftinde kıyasladı; insan dilbilimciler tarafından değerlendirildiğinde segmentlerin %62'sinde en az bir kalite sorunu bulunduğunu tespit etti.

Oran şunlara göre önemli ölçüde değişiyor:

• Dil çifti: Yüksek kaynaklı çiftler (EN-DE) düşük kaynaklı çiftlere (EN-Svahilice) göre daha düşük oranlara sahip
• Alan: Genel içerik, uzmanlaşmış alanlara (hukuk, tıp, teknik) göre daha düşük oranlara sahip
• İçerik türü: Yapılandırılmış kullanıcı arayüzü metinleri, uzun metinlere göre daha az halüsinasyon üretiyor
• Model mimarisi: Özel NMT modelleri, çeviri için kullanılan genel amaçlı LLM'lere göre daha az halüsinasyon üretiyor

Gerçek Dünyadan Hatalı Çeviri Örnekleri

Üretime Giden Kullanıcı Arayüzü Hataları

Bu örnekler, çeviri halüsinasyonlarının gerçek kullanıcıya yönelik sorunları nasıl oluşturduğunu gösteriyor:

Örnek 1: E-ticaret Ödeme Sayfası (EN'den PT-BR'ye)

Son örnek felaket niteliğinde: halüsinasyon anlamı tersine çevirdi, politika iade yapılamayacağını söylerken kullanıcılara 24 saat içinde iade alabileceklerini söylüyor.

Örnek 2: SaaS Ayarlar Paneli (EN'den KO'ya)

• Kaynak: "Delete all data permanently"
• Beklenen: "모든 데이터를 영구적으로 삭제"
• Halüsinasyonlu: "모든 데이터를 초기화" ("Tüm verileri sıfırla" anlamına geliyor — çok farklı bir işlem)

"Sıfırla"ya tıklayan kullanıcılar varsayılanları geri yüklemeyi bekler; "kalıcı olarak sil"e tıklayan kullanıcılar verinin yok edilmesini bekler. Bu halüsinasyon veri kaybına veya tam tersine, kullanıcıların verileri silinmiş sanmasına yol açabilir.

Örnek 3: Sağlık Uygulaması (EN'den AR'ye)

• Kaynak: "Take 2 tablets every 8 hours"
• Beklenen: "تناول قرصين كل 8 ساعات"
• Halüsinasyonlu: "تناول قرصين كل 8 أيام" ("her 8 saat" yerine "her 8 gün" diyor)

Tıbbi bağlamlarda bu tür bir halüsinasyon sadece bir hata değil — güvenlik tehlikesidir.

Pazarlama İçeriklerinde Anlamsal Kayma

Uzun metinler, çevirinin kaynak anlamdan giderek uzaklaştığı anlamsal kaymaya özellikle yatkındır:

Kaynak (EN):

"Our free plan includes 5,000 translation keys, unlimited languages, and community support. Upgrade to Pro for priority support and advanced analytics."

Halüsinasyonlu (DE):

"Unser kostenloser Plan umfasst 5.000 Uebersetzungsschluessel, unbegrenzte Sprachen und Premium-Support. Wechseln Sie zu Pro fuer erweiterte Analysen und API-Zugang."

Bir paragrafta üç halüsinasyon:

1. "community support" ifadesi "Premium-Support" oldu (yükseltme)
2. "priority support" tamamen düşürüldü
3. "API-Zugang" (API erişimi) uyduruldu

Çözüm Olarak İnsan Denetimli Süreç

Yapay zeka çeviri kalitesine en etkili yaklaşım, makine çevirisini terk etmek değil — yapay zeka hızını insan muhakemesiyle birleştirmektir. Bu, insan denetimli (HITL) modeldir.

Tam Otomasyon Neden Başarısız Oluyor?

Tamamen otomatik çeviri süreçleri (kaynak metin girer, yayınlanmış çeviri çıkar) şu nedenlerle başarısız olur:

1. Kalite kapısı yok: Halüsinasyonlar fark edilmeden geçer
2. Bağlam farkındalığı yok: Makineler çevirileri ürün bilgisi, marka sesi veya düzenleyici gereksinimlere karşı doğrulayamaz
3. Hesap verebilirlik yok: Hatalar üretime ulaştığında neyin yanlış gittiğini anlamak için inceleme izi yoktur
4. Biriken hatalar: Sözlükteki tek bir halüsinasyonlu terim binlerce çeviriye yayılır

HITL İş Akışı

İyi tasarlanmış bir insan denetimli iş akışı dört aşamadan oluşur:

Kaynak Metin
    |
    v
[Yapay Zeka Çevirisi] --- taslak çeviriler üretir
    |
    v
[Kalite Puanlama] --- otomatik kontroller potansiyel sorunları işaretler
    |
    v
[İnsan İncelemesi] --- dilbilimciler işaretlenen segmentleri doğrular
    |
    v
[Yayınlama] --- onaylanan çeviriler yayına alınır

Aşama 1: Yapay Zeka Çevirisi Makine çevirisi ilk taslakları üretir. Yapay zekanın en çok değer kattığı yer burasıdır — saatler yerine saniyeler içinde bir ilk geçiş üretmek.

Aşama 2: Kalite Puanlama Otomatik kalite kontrolleri potansiyel sorunları tespit eder:

• Sözlüklere karşı terminoloji tutarlılığı
• Sayı ve tarih formatı doğrulama
• Kullanıcı arayüzü öğeleri için uzunluk kısıtlamaları
• Resmiyet düzeyi eşleştirme
• Bilinen halüsinasyon kalıplarının tespiti

Aşama 3: İnsan İncelemesi Profesyonel dilbilimciler veya iki dilli ekip üyeleri işaretlenen segmentleri inceler. Temel içgörü: insanların her şeyi incelemesi gerekmez — yalnızca otomatik kontrollerin riskli olarak işaretlediği segmentleri.

Aşama 4: Yayınlama Yalnızca hem otomatik hem de insan inceleme kapılarını geçen çeviriler üretime yayınlanır.

HITL Ekonomisi

İnsan denetimli sürece yapılan yaygın itiraz maliyettir. Ancak matematik aslında HITL'den yanadır:

HITL, tamamen insan çevirisine göre %70-80 daha düşük maliyetle insana yakın kalite elde ederken, tam otomasyondan çok daha güvenilirdir.

Better i18n'in Yaklaşımı: Yapay Zeka Önerisi + İnsan İncelemesi + Kalite Puanlama

Better i18n, HITL modelini platformun birinci sınıf bir özelliği olarak uygular, sonradan eklenen bir iş akışı olarak değil. İşte nasıl çalıştığı:

Yapay Zeka Destekli Çeviri Önerileri

Yeni bir çeviri anahtarı oluşturduğunuzda veya eksik diller için çeviri talep ettiğinizde, Better i18n yapay zeka destekli öneriler üretebilir:

Geliştirici (MCP aracılığıyla): "'checkout.success_message' için Almanca,
                                Fransızca ve Japonca çeviriler ekle"

Better i18n:
  - EN (kaynak): "Your order has been confirmed!"
  - DE (öneri): "Ihre Bestellung wurde bestaetigt!"
  - FR (öneri): "Votre commande a ete confirmee !"
  - JA (öneri): "ご注文が確定しました！"
  Durum: pending_review

Öneriler taslak olarak kaydedilir, asla doğrudan yayınlanmaz. İnsan incelemecilerin onaylayabileceği, düzenleyebileceği veya reddedebileceği inceleme kuyruğuna girer.

Kalite Puanlama Paneli

Better i18n'deki her çeviri, birden fazla otomatik kontrole dayalı bir kalite puanı alır:

• Terminoloji tutarlılığı: Çeviri onaylanmış sözlük terimlerini kullanıyor mu?
• Yer tutucu bütünlüğü: Tüm {variables} kaynaktan korunmuş mu?
• Uzunluk oranı: Çeviri, dil için beklenen uzunluk sınırları içinde mi?
• Resmiyet eşleştirme: Resmiyet düzeyi proje ayarıyla uyumlu mu?
• Tamlık: Kaynak segmentlerden herhangi biri atlanmış mı?
• Bilinen kalıplar: Çeviri bilinen halüsinasyon kalıplarıyla eşleşiyor mu?

Puanlar anahtar başına ve dil başına gösterilir, böylece incelemeciler zamanlarını en düşük puanlı çevirilere öncelik vererek kullanabilir.

İnceleme İş Akışı

Better i18n'in inceleme iş akışı birden fazla onay düzeyini destekler:

1. Öz inceleme: Çevirmen kendi çalışmasını incelenmiş olarak işaretler
2. Eş inceleme: Başka bir ekip üyesi çeviriyi doğrular
3. Uzman inceleme: Bir alan uzmanı alana özgü terminolojiyi doğrular
4. Otomatik onay: Güvenilir kaynaklardan gelen yüksek puanlı çeviriler, yapılandırılabilir eşik değerlerine göre otomatik onaylanabilir

İnceleme için MCP Entegrasyonu

Tüm inceleme iş akışına MCP araçları üzerinden erişilebilir, bu sayede yapay zeka ajanları inceleme sürecine katılabilir (ancak atlayamaz):

Geliştirici: "80'in altında puan alan bekleyen Almanca çevirileri göster"

Ajan (MCP aracılığıyla): Kalite eşiğinin altında 7 Almanca çeviri bulundu:
  1. checkout.terms_disclaimer (puan: 45) — uzunluk uyumsuzluğu
  2. auth.mfa.setup_instructions (puan: 62) — eksik yer tutucu
  3. settings.danger_zone.delete_warning (puan: 58) — duygu tersine çevirme tespit edildi
  ...

Ajan sorunları yüzeye çıkarır, ancak son kararı insan verir.

Kalite Metrikleri: BLEU, TER ve İnsan Değerlendirmesi

Çeviri kalitesi metriklerini anlamak, yapay zeka çeviri iş akışlarını uygulayan ekipler için vazgeçilmezdir. İşte temel metrikler ve her birinin ne zaman kullanılacağı:

BLEU (Bilingual Evaluation Understudy)

Ne ölçer: Bir makine çevirisinin, n-gram örtüşmesine dayalı olarak bir veya daha fazla insan referans çevirisine ne kadar yakın olduğunu ölçer.

Ölçek: 0 ile 100 arası (yüksek olan daha iyi)

Güçlü yönleri:

• Hızlı ve otomatik
• MT sistemlerini birbirleriyle karşılaştırmak için iyi
• Köklü bir kıyaslama (2002'den beri MT araştırmalarında kullanılıyor)

Zayıf yönleri:

• Referans çeviriler gerektirir (oluşturması pahalı)
• Geçerli alternatif çevirileri cezalandırır
• Anlamsal doğruluğu iyi yakalayamaz
• Referansa benzer kelimeler kullanan bir halüsinasyon yüksek puan alabilir

Ne zaman kullanılmalı: Dil çiftleri arasında MT motoru performansını karşılaştırırken, zaman içindeki kalite eğilimlerini takip ederken.

TER (Translation Edit Rate)

Ne ölçer: MT çıktısını referans çeviriye dönüştürmek için gereken minimum düzenleme sayısı (ekleme, silme, değiştirme, kaydırma).

Ölçek: 0'dan sonsuza (düşük olan daha iyi; 0 mükemmel eşleşme anlamına gelir)

Güçlü yönleri:

• Sezgisel — doğrudan düzenleme çabasını ölçer
• Sözcük sırası sorunlarını BLEU'dan daha iyi yakalar
• Düzenleme sonrası maliyetini tahmin etmek için kullanışlı

Zayıf yönleri:

• Referans çeviriler de gerektirir
• Referans çeviri stiline duyarlı
• Hata ciddiyetini hesaba katmaz

Ne zaman kullanılmalı: Düzenleme sonrası maliyetlerini tahmin ederken, MT'den kaynaklanan çevirmen üretkenlik artışını ölçerken.

İnsan Değerlendirmesi: MQM (Multidimensional Quality Metrics)

Ne ölçer: İnsan değerlendiriciler, standartlaştırılmış bir sınıflandırma kullanarak hataları tür ve ciddiyete göre işaretler.

Hata kategorileri:

• Doğruluk: yanlış çeviri, eksiltme, ekleme, çevrilmemiş metin
• Akıcılık: dilbilgisi, yazım, noktalama, üslup
• Terminoloji: yanlış terimler, tutarsız terminoloji
• Stil: garip ifadeler, doğal olmayan kelime seçimi
• Yerel düzen kuralları: tarih formatları, sayı formatları, para birimi

Ciddiyet düzeyleri:

• Kritik: Anlamı zarara yol açabilecek şekilde değiştirir (örn. tıbbi dozaj hatası)
• Büyük: Anlamı değiştirir ancak zarara yol açması olası değildir
• Küçük: Fark edilebilir sorun ancak anlamı etkilemez
• Nötr: Üslup tercihi, hata değil

Ne zaman kullanılmalı: Lansmandan önce son kalite güvencesi, bir MT sisteminin belirli bir alan için üretime hazır olup olmadığını değerlendirirken.

Doğru Metriği Seçmek

Hiçbir tek metrik, çeviri kalitesinin tüm yönlerini yakalayamaz. En sağlam yaklaşım, ölçekleme için otomatik metrikleri doğruluk için periyodik insan değerlendirmesiyle birleştirir.

Güvenli Yapay Zeka Çevirisi Kullanımı İçin En İyi Uygulamalar

Yukarıdaki araştırma ve gerçek dünya örneklerine dayalı olarak, üretimde yapay zeka çevirisi kullanan ekipler için uygulanabilir pratikler:

1. Yapay Zeka Çevirilerini Asla Otomatik Yayınlamayın

Bu en önemli kuraldır. Her yapay zeka tarafından üretilen çeviri, kullanıcılara ulaşmadan önce en az bir insan inceleme adımından geçmelidir.

Uygulama: TMS'nizi, yapay zeka çevirilerini varsayılan olarak "inceleme bekliyor" durumunda kaydetmeye ayarlayın. Yapay zeka tarafından üretilen içerik için "otomatik onay" süreçlerini devre dışı bırakın.

2. Risk Düzeyine Göre Segmentleyin

Tüm içerikler eşit risk taşımaz. Çeviri içeriğinizi kategorize edin:

3. Çeviri Sözlüğü Oluşturun

Sözlükler, terminoloji halüsinasyonlarına karşı en güçlü savunmanızdır. Yapay zeka modelleri, alana özgü terimlerle rehberlik olmadan karşılaştığında halüsinasyon üretme olasılığı daha yüksektir.

Tutulması gereken temel sözlük maddeleri:

• Ürüne özgü terimler (özellik adları, plan adları)
• Hassas çevirileri olan sektör jargonu
• Çevrilmemesi gereken terimler (marka adları, teknik tanımlayıcılar)
• Birden fazla geçerli çevirisi olan terimler (birini seçin ve tutarlılığı sağlayın)

4. Kalite Eşikleri Kullanın

Çevirileri uygun inceleme kuyruğuna yönlendiren otomatik kalite eşikleri belirleyin:

Puan 90-100: Otomatik onay (güvenilir kaynak + yüksek kalite metrikleri)
Puan 70-89:  Öz inceleme kuyruğu (çevirmen onaylar)
Puan 50-69:  Eş inceleme kuyruğu (ikinci incelemeci gerekli)
Puan 0-49:   Uzman inceleme kuyruğu (alan uzmanı gerekli)

5. Halüsinasyon Kalıplarını İzleyin

Hangi dil çiftlerinin, içerik türlerinin ve MT motorlarının en fazla halüsinasyon ürettiğini takip edin. Bu verileri şunlar için kullanın:

• Dil çiftine göre kalite eşiklerini ayarlama
• Yüksek riskli çiftleri daha titiz incelemeye yönlendirme
• Sorunlu dil çiftleri için MT motorunu değiştirme
• Regresyon testi için hedeflenmiş test setleri oluşturma

6. Regresyon Testi Uygulayın

Kritik içerik için bir dizi "altın" çeviri — insan tarafından doğrulanmış, yüksek kaliteli referans çeviriler — oluşturun. Bunları periyodik olarak MT süreciniz aracılığıyla yeniden çevirin ve sonuçları karşılaştırın:

• Kalite puanları sabit mi yoksa düşüyor mu?
• Yeni halüsinasyon kalıpları ortaya çıkıyor mu?
• Bir MT motoru güncellemesi regresyonlara neden oldu mu?

7. İncelemecilerinizi Eğitin

İnsan incelemeciler son savunma hattıdır. Onları eğitmek için yatırım yapın:

• Yaygın halüsinasyon kalıplarını tanıma (özellikle uydurma ve anlamsal tersine çevirme)
• Kalite puanlama araçlarını etkili kullanma
• İncelemeleri risk düzeyine ve kalite puanına göre önceliklendirme
• Yeni halüsinasyon kalıplarını belgeleme ve raporlama

8. İş Akışı Otomasyonu için MCP Kullanın

MCP destekli iş akışları, insan denetimini korurken çeviri yönetiminin mekanik kısımlarını otomatikleştirebilir:

Yapay Zeka Ajanı iş akışı:
  1. Kod tabanındaki yeni anahtarları tespit et (otomatik)
  2. Çeviri önerileri üret (yapay zeka)
  3. Kalite kontrollerini çalıştır (otomatik)
  4. Uygun inceleme kuyruğuna yönlendir (otomatik)
  5. İnsan inceler ve onaylar (insan)
  6. Onaylanan çevirileri yayınla (MCP aracılığıyla otomatik)

1-4 ve 6. adımlar otomatiktir. 5. adım insandır. Bu, verimlilik ve kalitenin tatlı noktasıdır.

Better i18n'in Yapay Zeka Destekli Çeviri İş Akışını Deneyin

Çeviri sektörünün hız sorunu yok — modern MT motorları yeterince hızlı. Sektörün bir güven sorunu var. Ekipler, kaliteyi ölçekli olarak doğrulayacak araçlardan yoksun oldukları için yapay zeka tarafından üretilen çevirileri güvenle gönderemiyorlar.

Better i18n, insan denetimli iş akışlarını zahmetsiz hale getirerek bunu çözüyor:

• Yapay zeka önerileri saniyeler içinde taslak çeviriler üretir
• Kalite puanlama potansiyel halüsinasyonları otomatik olarak işaretler
• İnceleme iş akışları darboğazlar yaratmadan insan denetimini sağlar
• MCP entegrasyonu yapay zeka ajanlarının mekanik işleri yönetmesini sağlarken insanlar kalite kararlarına odaklanır

Çeviri Kalitenizi İyileştirmeye Başlayın

1. Better i18n'e kaydolun — ücretsiz plan kalite puanlamasını içerir
2. MCP entegrasyonunu kurun — çeviri iş akışınızı otomatikleştirin
3. Kalite özelliklerini keşfedin — puanlama panelini ve inceleme araçlarını görün
4. Toplulukla bağlantı kurun — diğer i18n ekipleriyle en iyi uygulamaları paylaşın

Kullanıcılarınız güvenebilecekleri çevirileri hak ediyor. Yapay zeka hızı ve insan muhakemesinin doğru kombinasyonuyla, ödün vermeden hem kalite hem de hız sunabilirsiniz.

Uygulamanızdaki çeviri kalitesi konusunda endişeli misiniz? Better i18n'in kalite puanlama paneli, her dilde her çeviriye görünürlük sağlar. Ücretsiz başlayın ve çeviri sağlık puanınızı dakikalar içinde görün.