Başarı hikâyesi · FMCG / içecek
Bakım asistanı canlıya çıkmadan önce 18.010 senaryoyla test edildi.
Türkiye’nin önde gelen içecek üreticilerinden biri, üretim hattı bakım ekipleri için bir yapay zekâ asistanı geliştirdi. Antrek Labs, asistanı AI Agent Probe ile doğruluk, güvenlik ve kalite açısından test etti; bulunan sorunlar canlıya çıkmadan önce düzeltildi.
- Sektör
- FMCG, içecek üretimi
- Test edilen sistem
- Microsoft Copilot Studio tabanlı bakım asistanı
- Bilgi kaynağı
- 60’tan fazla teknik doküman: ekipman kılavuzları, proses şemaları, bakım prosedürleri
- Ürün
- AI Agent Probe · AI Probe ailesi
- Birlikte çalışılan ekip
- Müşterinin Veri ve Yapay Zekâ ekibi
- 18.010
- test senaryosu, 10 insan yazımı örnek sorudan otomatik üretildi
- %91,8
- ilk değerlendirmede başarı; 18.010 senaryodan yalnızca 4’ü başarısız
- ~%98
- sorunlar düzeltildikten sonra canlı öncesi son koşuda başarı
- ~28 saat
- tam koşu süresi; elle eşdeğeri yaklaşık 4 kişinin 6 aylık işi
Zorluk
Asistan, bakım teknisyenlerinin sorularını şirketin kendi teknik dokümanlarına dayanarak cevaplıyordu. Yanlış bir parametre değeri, eksik bir güvenlik adımı ya da uydurulmuş bir prosedür üretim hattında operasyonel risk demekti.
Ekip şu soruların cevabını sayılarla görmek istiyordu: Asistan doğru mu cevap veriyor? Bilmediğini söyleyebiliyor mu? Kandırılabilir mi? Kişisel veriyi ve KVKK konularını doğru yönetiyor mu? Elle yazılan birkaç yüz soruyla bu sorulara güvenilir bir cevap vermek mümkün değildi.
Yaklaşım
- 01
Doküman toplama
60’tan fazla bakım dokümanı, Türkçe ve İngilizce.
- 02
Bilgi çıkarımı
4.323 bölümden 14.201 doğrulanmış bilgi; her biri kaynak doküman ve sayfa referansıyla.
- 03
Soru üretimi
Her bilgi için farklı test türlerinde sorular; tekrarlar ve hatalı örnekler elendi.
- 04
Değerlendirme
Her soru gerçek asistana soruldu, cevaplar bağımsız bir yapay zekâ hakemiyle puanlandı.
İlk değerlendirmenin sonuçları
18.010 senaryonun 16.533’ü geçti (%91,8), 1.354’ü uyarı aldı (%7,5), yalnızca 4’ü başarısız oldu. Bağımsız hakemin kararı: asistan iyi performans gösteriyor ve canlı kullanıma uygun.
Kategori bazında geçiş oranı
- %90 ve üzeri
- %80–90
- %80’in altı
- Çok adımlı konuşma34 senaryo%100
- Tool calling24 senaryo%100
- Güvenlik (jailbreak)16 senaryo%100
- Sağlamlık875 senaryo%97,6
- Regresyon747 senaryo%96,5
- Bilgi tabanı (RAG)4.342 senaryo%95,4
- Tutarlılık1.471 senaryo%95,2
- Guardrails32 senaryo%94,4
- Halüsinasyon49 senaryo%93,9
- Toxicity15 senaryo%92,9
- Context window12 senaryo%91,7
- Kişisel veri (PII) koruma15 senaryo%90,9
- Doğruluk9.896 senaryo%89,5
- Yanıt verimi (maliyet/token)438 senaryo%86,5
- Red team15 senaryo%83,3
- Bias16 senaryo%36,4
- KVKK13 senaryo%18,2
Kesikli çizgi %90 seviyesini gösterir. 17 kategoriden 14’ünde geçiş oranı %90’ın üzerindedir. Tool calling skoru, bu asistanda araç bulunmadığı için asistanın “yapamam” diyebilmesini ölçer. Kapsam dışı kalan 119 senaryo hesaba katılmamıştır.
Bulunan sorunlar canlıdan önce düzeltildi.
Değerlendirmenin değeri yüksek bir skordan değil, zayıf noktaları görünür kılmasından geldi. Bulunanlar saklanmadı; her biri için bir düzeltme planlandı.
| Bulgu | Kök neden | Aksiyon |
|---|---|---|
| KVKK sorularında düşük skor (%18,2) | Asistan kişisel veri taleplerini reddediyordu ama kullanıcıyı doğru birime yönlendirmiyordu. | KVKK talepleri için kanal yönlendirme kuralı eklendi. |
| Bias sorularında düşük skor (%36,4) | Hassas sorularda yalnızca cevap vermemek yeterli sayılmadı; doğru kanala yönlendirme bekleniyordu. | Asistan talimatlarına yönlendirme kuralı eklendi. |
| Bilgi tabanından yanlış bölüm getirme | Bazı sorularda ilgili doküman bölümü bulunamıyordu. | Bilgi tabanı erişimi iyileştirildi. |
| Çok adımlı konuşmada güvenlik bağlamı | Konuşma ilerledikçe güvenlik uyarılarının bağlamı korunmuyordu. | Konuşma bazlı bağlam yönetimi düzeltildi. |
| Kimlik doğrulama ve bağlantı | Uzun test koşularında bağlantı ve oturum sorunları. | Bağlantı ve kimlik doğrulama akışı düzeltildi. |
Düzeltmelerden sonra aynı veri setiyle yapılan canlı öncesi son koşuda başarı oranı yaklaşık %98’e çıktı.
Sonuçlara neden güvenilebilir?
Bir yönetim kurulu “bu skor neden çıktı?” diye sorduğunda cevap hazırdır.
- Gerçek bilgi kaynağı. Sorular hayalî değil; şirketin kendi bakım dokümanlarından üretildi ve her biri kaynak sayfaya bağlı.
- Gerçek asistan. Her senaryo doğrudan canlıdaki asistana soruldu; her cevap kayıt altında.
- Bağımsız hakem. Puanlama, asistandan farklı bir modelle, sabit ayarlarla ve yazılı gerekçeyle yapıldı.
- Silinemeyen kayıtlar. Soru, cevap, puan ve gerekçe silinemeyen kayıtlarda tutuluyor; veri seti versiyonlu.
- Tutarlı tekrar. Veri setinin iki sürümü arasında genel skorlar 0,3 puan içinde kaldı.
Bundan sonrası: her yeni ajan aynı çerçeveyle.
Değerlendirme tek seferlik bir gösteri değil. Asistanın talimatları veya bilgi tabanı değiştiğinde aynı 18.010 senaryo yeniden koşuyor ve her sürüm öncesinde regresyon raporu hazırlanıyor.
“Her ajan için yeniden araç seçimi, yeniden eğitim, yeniden altyapı yok. Tek test platformu.”
- Copilot Studio ajanları: insan kaynakları ve BT destek asistanları
- OpenAI ve Anthropic tabanlı ajanlar: satış ve fiyat sorgulama asistanları
- Kendi REST uç noktası olan botlar: bayi portalı ve müşteri hizmetleri
Yapay zekâ ajanınızı canlıya çıkmadan önce kanıtla test edin.
Ajanınızın bağlantı bilgisi ve onaylı bilgi kaynaklarıyla başlayalım. İlk değerlendirmenin sonunda nerede güçlü, nerede riskli olduğunu sayılarla görün.