Türkçe AI Telefon Asistanı Nasıl Test Edilir? 20 Madde

Türkçe bir yapay zekâ telefon asistanını test etmenin en güvenilir yolu, demo kaydı dinlemek değil; kendi arama nedenlerinizle hazırlanmış senaryoları gerçek bir telefon hattından, farklı arayan profilleriyle denemek ve sonuçları önceden belirlenmiş ölçütlerle puanlamaktır. Bu yazıda o ölçütleri 20 maddelik bir kontrol listesine, ağırlıklı bir puanlama şablonuna ve iki haftalık bir pilot planına dönüştürdük. Listeyi hangi tedarikçiyi değerlendirdiğinizden bağımsız olarak kullanabilirsiniz.

Ses ajanının nasıl çalıştığını henüz okumadıysanız yapay zekâ ses ajanı nedir yazımızla başlamanızı öneririz; burada doğrudan teste odaklanıyoruz.

Teste başlamadan önce: hazırlık

İyi bir test, iyi bir senaryo setiyle başlar. Pilotu başlatmadan önce şunları hazırlayın:

• Gerçek arama nedenleri: Son haftaların aramalarını nedenlerine göre sınıflandırın ve en sık gelen 10–15 nedeni seçin. Testleri bu listeye göre yazın.
• Arayan profilleri: Farklı yaşlardan, bölgelerden ve konuşma hızlarından en az birkaç kişiyi test ekibine alın. Senaryoyu bilmeyen kişiler daha gerçekçi aramalar yapar.
• Kanallar ve ortamlar: Aramaları sabit hattan, cep telefonundan, araç içinden ve gürültülü bir ortamdan yapın.
• Beklenen davranış: Her senaryo için “doğru sonuç”u önceden yazın: ajan randevuyu almalı mı, devretmeli mi, yoksa bilgi verip kapatmalı mı?

20 maddelik kontrol listesi

Her maddeyi en az birkaç farklı arayanla deneyin ve sonucu aşağıdaki puanlama şablonuna işleyin.

Anlama ve okuma

1. Aksan ve şive. Farklı bölgelerden ve yaşlardan arayanlarla aynı senaryoyu deneyin. Ajan kelimeleri doğru anlıyor mu, yoksa belirli ağızlarda sürekli tekrar mı istiyor?
2. Gürültülü ortam. Trafik, kafe uğultusu, hoparlörde konuşma ve araç içi aramaları deneyin. Arka plandaki sesler ajanın sözünü kesmemeli ya da yanlış metne dönüşmemeli.
3. Sayılar ve tutarlar. “İki yüz elli”, “bin iki yüz elli lira”, “üç buçuk” gibi ifadeleri söyleyin; ajanın tutarları hem doğru anlayıp hem de doğru seslendirdiğini kontrol edin.
4. Tarih ve saat. “Haftaya salı”, “öbür gün öğleden sonra”, “üçü çeyrek geçe”, “akşam yedi gibi” ifadelerinin doğru güne ve saate çevrildiğini, ajanın anladığı tarihi tekrar edip onay aldığını doğrulayın.
5. TC kimlik ve uzun rakam dizileri. On bir haneli kimlik numarası, telefon ve sipariş numarası gibi dizileri farklı gruplamalarla söyleyin. Ajan diziyi tekrar ederek teyit etmeli. Bu bilgiyi sesle almanız gerçekten gerekli mi, ayrıca düşünün; gerekiyorsa tuşlamayla (DTMF) almak daha güvenli olabilir.
6. Adres ve özel isimler. Mahalle, sokak, site ve apartman adları, kişi adları ve marka isimleriyle deneyin. Sık geçen özel isimleri bilgi bankasına eklemek hatayı azaltır.
7. Plaka. “34 ABC 123” gibi plakaları hem harf harf hem de “Adana’nın A’sı” gibi Türkçede yaygın kodlamayla söyleyin. Oto servis gibi sektörlerde bu madde kritik hâle gelir.

Konuşma akışı

8. Söze girme. Ajan konuşurken araya girin, bir bilgiyi düzeltin. Ajan susup yeni söyleneni dinlemeli; ama “hı hı”, “tamam” gibi kısa onaylarla da her seferinde durmamalı (söze girme).
9. Sessizlik ve duraksama. Numara söylerken duraksayın, “bir dakika, bakayım” deyip birkaç saniye susun. Ajan sözünüzü erken kesmemeli; uzun sessizlikte ise kibarca hatta olup olmadığınızı sormalı. Bu dengeyi konuşma sonu tespiti belirler.
10. Yanıt hızı. Ajanın yanıtları doğal bir diyalog hızında mı geliyor, yoksa arayan hattın koptuğunu düşünecek kadar bekliyor mu? Bunu ölçüm aracı yerine farklı test arayanlarının izlenimiyle değerlendirin (gecikme).
11. Konu dışı sorular. Hava durumunu, bir rakibi ya da işletmenizle ilgisiz bir konuyu sorun. Ajan kibarca konuya dönmeli, alakasız sohbete sürüklenmemeli.

Sınırlar ve hata davranışı

12. İnsana devir. “Bir yetkiliyle görüşmek istiyorum” deyin, öfkeli bir arayanı canlandırın, ajanın anlayamayacağı bir talep iletin. Arama doğru ekibe, konuşmanın özetiyle birlikte geçmeli; operatör yoksa geri arama kaydı oluşmalı. Devrin nasıl tasarlanacağını sıcak devir rehberimizde anlattık.
13. Yetki sınırı. Tıbbi tavsiye, indirim, iade onayı gibi ajanın vermemesi gereken kararları isteyin. Ajan bunları reddetmeli ve doğru kişiye yönlendirmeli.
14. Hata davranışı. Takvim ya da bağlı sistem yanıt vermediğinde, arayan aynı şeyi üçüncü kez anlatmak zorunda kaldığında ne oluyor? Arama sessizce düşmemeli; ajan durumu açıklayıp talebi kaydetmeli ya da devretmeli. Bilinmeyen bir soruya uydurma cevap vermesi de bu maddede başarısızlıktır (halüsinasyon).

Uyum ve kayıt

15. KVKK aydınlatma anonsu. Görüşme kaydediliyorsa arayan kayıt başlamadan bilgilendirilmeli. Anonsun metnini, sırasını ve her dalda çaldığını kontrol edin. Ayrıntılar için KVKK rehberimize bakın. Arayana bir yapay zekâ asistanıyla konuştuğunu baştan söylemek de güveni artırır; bunun sizin için yasal bir yükümlülük olup olmadığını hukuk danışmanınıza sorun.
16. Kayıt ve döküm kalitesi. Görüşme dökümlerinde isimler, rakamlar ve tarihler doğru mu? Özet, operatörün aramayı baştan dinlemeden devralabileceği kadar net mi?

Operasyon

17. Numara bağlama. Testi demo numarasıyla değil, gerçek işletme numaranızın bağlı olduğu kurulumla yapın. Farklı operatörlerden arandığında arama ajana ulaşıyor ve arayan numarası görünüyor mu? Seçenekleri numara bağlama rehberimizde anlattık.
18. Mesai dışı. Mesai bitiminde, hafta sonu ve resmî tatilde arayın. Doğru karşılama çalıyor, talepler kaydediliyor mu? Hazır metinler için karşılama ve mesai dışı anons şablonlarımıza bakabilirsiniz.
19. Eşzamanlı çağrı. Birkaç kişi aynı anda arasın. Hiçbir arama meşgul sesine düşmemeli, kalite bozulmamalı (eşzamanlı çağrı).
20. Raporlama. Pilotun sonunda hangi aramanın sonuçlandığını, hangisinin devredildiğini ve neden devredildiğini rapordan görebiliyor musunuz? Rapor yoksa pilotu değerlendiremezsiniz.

Puanlama şablonu

Her maddeye 0 (başarısız), 1 (kısmen) veya 2 (başarılı) puan verin ve ağırlığıyla çarpın. Ağırlığı 3 olan maddeler kritiktir: bunlardan birinde 0 alan çözüm, toplam puanı ne olursa olsun canlıya alınmamalıdır. Ağırlıkları sektörünüze göre değiştirin; örneğin oto serviste plaka maddesi 3 olmalıdır.

Bu ağırlıklarla en yüksek puan 84’tür. Toplam puanı tek başına karar ölçütü yapmayın; kritik maddelerin durumu ve dökümlerde gördüğünüz hata türleri en az puan kadar önemlidir.

Düşük puanlı bir maddeyi değerlendirirken hatanın kaynağını ayırın. Eksik bir bilgi bankası, belirsiz bir devir kuralı ya da fazla hassas bir söze girme ayarı birkaç saatte düzeltilebilir; bunlar yapılandırma hatasıdır. Buna karşılık aynı aksanı ya da aynı türden rakam dizisini düzeltmelere rağmen sürekli yanlış anlayan bir sistem, yapısal bir sınıra işaret eder. Pilot raporunda iki türü ayrı listeleyin; karar verirken asıl ağırlığı yapısal sorunlara verin.

İki haftalık pilot planı

Gerçek arayan aşamasında operatörlerinizin devredilen aramaları nasıl karşıladığını da not edin. Pilotun amacı yalnızca asistanı değil, asistan ile ekibin birlikte nasıl çalıştığını görmektir.

Testte sık yapılan hatalar

Aynı kontrol listesi, uygulanış biçimine göre çok farklı sonuçlar verebilir. Sık yapılan hatalar şunlar:

• Yalnızca kurulumu yapan kişinin araması. Senaryoyu yazan kişi, ajanın anlayacağı cümleleri bilinçsizce seçer. Test ekibine senaryoyu bilmeyen kişileri mutlaka katın.
• Sessiz bir odadan, iyi bir kulaklıkla aramak. Müşterileriniz sokaktan, arabadan ve kalabalık bir mağazadan arar. Test koşulları da öyle olmalı.
• Yalnızca mutlu yolu denemek. Randevunun sorunsuz alındığı akış önemlidir, ama asıl farkı arayanın fikrini değiştirdiği, yanlış bilgi verip düzelttiği ya da yarıda kapattığı durumlar yaratır.
• Dökümleri okumadan puan vermek. Arama “başarılı” görünse bile dökümde yanlış yazılmış bir isim ya da yanlış anlaşılmış bir saat olabilir. Puanı dökümle birlikte verin.
• Düzeltmeden sonra eski maddeleri yeniden denememek. Söze girme ayarını değiştirmek gürültü maddesini, talimatları değiştirmek devir maddesini etkileyebilir. Her değişiklikten sonra kritik maddeleri yeniden test edin.
• Tek seferlik deneme. Bir maddeyi tek bir aramayla geçmiş saymayın; aynı senaryoyu farklı arayanlarla tekrarlayın.

Speakline’da pilot nasıl yürür?

Speakline’ı Türkiye’de, Türkçe öncelikli olarak geliştiriyoruz; yukarıdaki listeyi kendi ürünümüzü değerlendirirken de kullanabilirsiniz. Ses ajanınızı yayına almadan önce test ederek nasıl konuştuğunu dinleyebilir, söze girmeye izin verilip verilmeyeceğini ajan ayarlarından seçebilirsiniz. Mevcut numaranızı taşıyabilir ya da operatörünüzdeki hattı SIP ile bağlayabilir (BYOC), pilotu çağrı akışında yalnızca mesai dışı aramalarla sınırlayabilirsiniz.

Pilot boyunca görüşmeler kaydedilebilir ve Türkçe dökümleriyle saklanır; çağrı akışında kayıt yapılan bir adımdan önce KVKK aydınlatma anonsu yoksa tasarımcı sizi uyarır. Devredilen aramalar görüşme özetiyle çağrı merkezindeki kuyruğa geçer, süpervizörler görüşmeleri canlı izleyebilir ve sonuçları raporlardan takip edebilir. Pilotu kendi senaryolarınızla planlamak isterseniz bize yazın.