Kelime hata oranı (WER)

Kelime hata oranı (word error rate, WER), konuşma tanıma (STT) modellerini karşılaştırmanın en yaygın ölçüsüdür. Modelin çıktısı, bir insanın kaydı dinleyerek yazdığı doğru metinle (referans) karşılaştırılır ve aradaki farklar sayılır. Oran ne kadar düşükse döküm o kadar doğrudur. Tek bir sayı olduğu için kullanışlıdır, ama hangi kelimelerin yanlış anlaşıldığını ve bu hataların ne kadar önemli olduğunu söylemez.

Nasıl çalışır

Formül: (yanlış yazılan + atlanan + fazladan eklenen kelime sayısı) ÷ referans metindeki kelime sayısı. Hesaplamadan önce iki metin aynı biçime getirilir: büyük-küçük harf, noktalama ve sayıların yazımı ("15" ile "on beş") eşitlenir. Bu normalleştirme kuralları sonucu ciddi biçimde değiştirdiği için farklı kaynaklarda yayımlanan değerler doğrudan karşılaştırılamaz. Türkçe gibi eklemeli dillerde tek bir ek hatası bütün kelimeyi yanlış saydırır; bu yüzden harf düzeyinde ölçen karakter hata oranı (CER) da birlikte raporlanabilir.

Neden önemli

Yayımlanan değerler çoğunlukla temiz, yüksek kaliteli kayıtlarla ölçülür. Telefon hattı, arka plan gürültüsü, aksan ve sektöre özgü terimler (ilaç adları, ürün kodları, sokak adları) gerçek görüşmelerde hata oranını yükseltir. Bir ses ajanı ya da çağrı dökümü çözümü seçerken kendi aramalarınıza benzeyen kayıtlarla test yapın ve genel orandan çok kritik bilgilere bakın: isim, tarih, telefon numarası ve tutar doğru anlaşıldı mı? Pratik bir deneme planı için Türkçe AI telefon asistanı test kontrol listemize bakabilirsiniz.