Başarı hikâyesi · FMCG / içecek

Bakım asistanı canlıya çıkmadan önce 18.010 senaryoyla test edildi.

Türkiye’nin önde gelen içecek üreticilerinden biri, üretim hattı bakım ekipleri için bir yapay zekâ asistanı geliştirdi. Antrek Labs, asistanı AI Agent Probe ile doğruluk, güvenlik ve kalite açısından test etti; bulunan sorunlar canlıya çıkmadan önce düzeltildi.

Sektör
FMCG, içecek üretimi
Test edilen sistem
Microsoft Copilot Studio tabanlı bakım asistanı
Bilgi kaynağı
60’tan fazla teknik doküman: ekipman kılavuzları, proses şemaları, bakım prosedürleri
Ürün
AI Agent Probe · AI Probe ailesi
Birlikte çalışılan ekip
Müşterinin Veri ve Yapay Zekâ ekibi
18.010
test senaryosu, 10 insan yazımı örnek sorudan otomatik üretildi
%91,8
ilk değerlendirmede başarı; 18.010 senaryodan yalnızca 4’ü başarısız
~%98
sorunlar düzeltildikten sonra canlı öncesi son koşuda başarı
~28 saat
tam koşu süresi; elle eşdeğeri yaklaşık 4 kişinin 6 aylık işi

Zorluk

Asistan, bakım teknisyenlerinin sorularını şirketin kendi teknik dokümanlarına dayanarak cevaplıyordu. Yanlış bir parametre değeri, eksik bir güvenlik adımı ya da uydurulmuş bir prosedür üretim hattında operasyonel risk demekti.

Ekip şu soruların cevabını sayılarla görmek istiyordu: Asistan doğru mu cevap veriyor? Bilmediğini söyleyebiliyor mu? Kandırılabilir mi? Kişisel veriyi ve KVKK konularını doğru yönetiyor mu? Elle yazılan birkaç yüz soruyla bu sorulara güvenilir bir cevap vermek mümkün değildi.

Yaklaşım

  1. 01

    Doküman toplama

    60’tan fazla bakım dokümanı, Türkçe ve İngilizce.

  2. 02

    Bilgi çıkarımı

    4.323 bölümden 14.201 doğrulanmış bilgi; her biri kaynak doküman ve sayfa referansıyla.

  3. 03

    Soru üretimi

    Her bilgi için farklı test türlerinde sorular; tekrarlar ve hatalı örnekler elendi.

  4. 04

    Değerlendirme

    Her soru gerçek asistana soruldu, cevaplar bağımsız bir yapay zekâ hakemiyle puanlandı.

İlk değerlendirmenin sonuçları

18.010 senaryonun 16.533’ü geçti (%91,8), 1.354’ü uyarı aldı (%7,5), yalnızca 4’ü başarısız oldu. Bağımsız hakemin kararı: asistan iyi performans gösteriyor ve canlı kullanıma uygun.

Kategori bazında geçiş oranı

  • %90 ve üzeri
  • %80–90
  • %80’in altı
  1. Çok adımlı konuşma34 senaryo%100
  2. Tool calling24 senaryo%100
  3. Güvenlik (jailbreak)16 senaryo%100
  4. Sağlamlık875 senaryo%97,6
  5. Regresyon747 senaryo%96,5
  6. Bilgi tabanı (RAG)4.342 senaryo%95,4
  7. Tutarlılık1.471 senaryo%95,2
  8. Guardrails32 senaryo%94,4
  9. Halüsinasyon49 senaryo%93,9
  10. Toxicity15 senaryo%92,9
  11. Context window12 senaryo%91,7
  12. Kişisel veri (PII) koruma15 senaryo%90,9
  13. Doğruluk9.896 senaryo%89,5
  14. Yanıt verimi (maliyet/token)438 senaryo%86,5
  15. Red team15 senaryo%83,3
  16. Bias16 senaryo%36,4
  17. KVKK13 senaryo%18,2

Kesikli çizgi %90 seviyesini gösterir. 17 kategoriden 14’ünde geçiş oranı %90’ın üzerindedir. Tool calling skoru, bu asistanda araç bulunmadığı için asistanın “yapamam” diyebilmesini ölçer. Kapsam dışı kalan 119 senaryo hesaba katılmamıştır.

Bulunan sorunlar canlıdan önce düzeltildi.

Değerlendirmenin değeri yüksek bir skordan değil, zayıf noktaları görünür kılmasından geldi. Bulunanlar saklanmadı; her biri için bir düzeltme planlandı.

BulguKök nedenAksiyon
KVKK sorularında düşük skor (%18,2)Asistan kişisel veri taleplerini reddediyordu ama kullanıcıyı doğru birime yönlendirmiyordu.KVKK talepleri için kanal yönlendirme kuralı eklendi.
Bias sorularında düşük skor (%36,4)Hassas sorularda yalnızca cevap vermemek yeterli sayılmadı; doğru kanala yönlendirme bekleniyordu.Asistan talimatlarına yönlendirme kuralı eklendi.
Bilgi tabanından yanlış bölüm getirmeBazı sorularda ilgili doküman bölümü bulunamıyordu.Bilgi tabanı erişimi iyileştirildi.
Çok adımlı konuşmada güvenlik bağlamıKonuşma ilerledikçe güvenlik uyarılarının bağlamı korunmuyordu.Konuşma bazlı bağlam yönetimi düzeltildi.
Kimlik doğrulama ve bağlantıUzun test koşularında bağlantı ve oturum sorunları.Bağlantı ve kimlik doğrulama akışı düzeltildi.

Düzeltmelerden sonra aynı veri setiyle yapılan canlı öncesi son koşuda başarı oranı yaklaşık %98’e çıktı.

Sonuçlara neden güvenilebilir?

Bir yönetim kurulu “bu skor neden çıktı?” diye sorduğunda cevap hazırdır.

  • Gerçek bilgi kaynağı. Sorular hayalî değil; şirketin kendi bakım dokümanlarından üretildi ve her biri kaynak sayfaya bağlı.
  • Gerçek asistan. Her senaryo doğrudan canlıdaki asistana soruldu; her cevap kayıt altında.
  • Bağımsız hakem. Puanlama, asistandan farklı bir modelle, sabit ayarlarla ve yazılı gerekçeyle yapıldı.
  • Silinemeyen kayıtlar. Soru, cevap, puan ve gerekçe silinemeyen kayıtlarda tutuluyor; veri seti versiyonlu.
  • Tutarlı tekrar. Veri setinin iki sürümü arasında genel skorlar 0,3 puan içinde kaldı.

Bundan sonrası: her yeni ajan aynı çerçeveyle.

Değerlendirme tek seferlik bir gösteri değil. Asistanın talimatları veya bilgi tabanı değiştiğinde aynı 18.010 senaryo yeniden koşuyor ve her sürüm öncesinde regresyon raporu hazırlanıyor.

“Her ajan için yeniden araç seçimi, yeniden eğitim, yeniden altyapı yok. Tek test platformu.”

Değerlendirme raporundan
  • Copilot Studio ajanları: insan kaynakları ve BT destek asistanları
  • OpenAI ve Anthropic tabanlı ajanlar: satış ve fiyat sorgulama asistanları
  • Kendi REST uç noktası olan botlar: bayi portalı ve müşteri hizmetleri

Yapay zekâ ajanınızı canlıya çıkmadan önce kanıtla test edin.

Ajanınızın bağlantı bilgisi ve onaylı bilgi kaynaklarıyla başlayalım. İlk değerlendirmenin sonunda nerede güçlü, nerede riskli olduğunu sayılarla görün.