Bir AI Probe ürünü
AI Agent Probe
Yapay zekâ ajanınız canlıda yanlış cevap vermeden önce bilin.
AI Agent Probe; sohbet botlarını ve yapay zekâ ajanlarını kendi dokümanlarınızdan üretilen binlerce senaryoyla doğruluk, güvenlik ve kalite açısından test eder ve her sonucu gerekçesiyle raporlar.
AI Agent Probe · bakım asistanı · v4 koşusu
- Bilgi tabanı (RAG)%95,4
- Sağlamlık%97,6
- Güvenlik (jailbreak)%100
- Halüsinasyon%93,9
- Doğruluk%89,5
- KVKK%18,2
18.010 senaryo · 17 kategori%91,8
Elle denenen birkaç yüz soru riski ölçmez.
Yapay zekâ ajanları kurumsal bilgiyle cevap verir. Yanlış bir bakım talimatı, sızan bir kişisel veri ya da kandırılabilen bir kural gerçek iş riski yaratır. Ajan güncellendikçe dünkü doğru cevap bugün bozulabilir.
1. Değerlendirmeyi hazırlar
- 01
Kaynak dokümanlar
Ajanın kullandığı onaylı bilgi: kılavuzlar, prosedürler, politikalar.
- 02
Altın test seti
Dokümanlardan doğrulanmış bilgiler çıkarılır; her biri için farklı türlerde sorular üretilir.
- 03
Ajan bağlantısı
Copilot Studio (Direct Line), OpenAI veya Anthropic tabanlı ajanlar ya da kendi REST uç noktası olan her bot.
- 04
Hedef ajan
Her soru gerçek ajana sorulur; her cevap kayıt altına alınır.
2. Üç katmanda değerlendirir ve raporlar
17 test türü, ajanın neyi doğru yaptığını ve nerede risk taşıdığını ayrı ayrı gösterir.
Doğruluk
Ajan doğru ve kaynağa dayalı cevap veriyor mu?
- Doğruluk
- Halüsinasyon
- Tutarlılık
- Regresyon
- Sağlamlık
- Bilgi tabanı (RAG)
Güvenlik
Ajan kandırılabiliyor, veri sızdırıyor ya da mevzuata aykırı davranıyor mu?
- Jailbreak
- Kişisel veri (PII)
- KVKK
- Toxicity
- Bias
- Red team
- Guardrails
Kalite
Ajan gerçek kullanım koşullarında verimli ve tutarlı çalışıyor mu?
- Tool calling
- Çok adımlı konuşma
- Context window
- Maliyet ve token
- Bağımsız hakem. Cevaplar, ajandan farklı bir modelle, sabit ayarlarla ve kategoriye özel kriterlerle puanlanır. Hakem insan etiketleriyle kalibre edilir.
- Gerekçeli skor. Her puanın yanında yazılı gerekçesi vardır. “Bu skor neden çıktı?” sorusunun cevabı hazırdır.
- Hata kümeleme. Başarısız cevaplar kök nedene göre gruplanır; ekip tek tek değil, sorun sınıfı bazında düzeltir.
- Tekrar üretilebilirlik. Veri seti versiyonludur, sonuçlar silinemeyen kayıtlara yazılır. Aynı test her sürümde yeniden koşar.
- Canlı ortamda kontrol. Canlı testler değişiklik onayı, sentetik kimlikler, istek sınırları ve acil durdurma ile çalışır.
- Yeni ajan, aynı çerçeve. Bir uç nokta adresi ve yetki bilgisiyle yeni bir ajan aynı test piramidine, aynı panoya bağlanır.
Desteklenen ajan türleri
Ajanınızın hangi platformda çalıştığı fark etmez; aynı test piramidi, aynı hakem ve aynı rapor.
- Microsoft Copilot Studio
- Direct Line ile bağlanan ajanlar: bakım, insan kaynakları, BT destek asistanları
- OpenAI ve Anthropic
- Doğrudan model entegrasyonuyla çalışan ajanlar: satış ve fiyat sorgulama asistanları
- Kendi REST uç noktası olan botlar
- Bayi portalı, müşteri hizmetleri ve diğer kurumsal botlar
Sahada kanıtlandı: içecek sektöründe bir bakım asistanı.
Üretim hattı bakım dokümanlarıyla çalışan bir yapay zekâ ajanı, canlıya çıkmadan önce AI Agent Probe ile test edildi.
- 18.010
- test senaryosu, 60’tan fazla teknik dokümandan otomatik üretildi
- 17
- test kategorisi; doğruluk, güvenlik ve kalite katmanlarında
- %91,8
- ilk değerlendirmede başarı; ajan canlıya uygun bulundu
- ~%98
- bulunan sorunlar düzeltildikten sonra canlı öncesi son koşuda
Yapay zekâ ajanınızı canlıya çıkmadan önce kanıtla test edin.
Ajanınızın bağlantı bilgisi ve onaylı bilgi kaynaklarıyla başlayalım. İlk değerlendirmenin sonunda nerede güçlü, nerede riskli olduğunu sayılarla görün.