Yazılım dünyasında test uzun yıllar boyunca daha çok şu soruya odaklandı:
Kod doğru çalışıyor mu?
Bu soru hâlâ önemli.
Unit test, integration test, functional test, performance test, security test, UAT… Bunların hiçbiri önemini kaybetmedi.
Ama AI-native ve agentic sistemlerde artık bu soru tek başına yeterli değil.
Çünkü sistemin içinde sadece klasik kod yok.
Artık prompt var.
Context var.
RAG var.
Tool calling var.
Memory var.
Agent workflow var.
İnsan onayı gereken karar noktaları var.
Bu yüzden yeni soru şu hale geliyor:
AI doğru bağlamda, doğru aracı, doğru sınırlar içinde kullandı mı?
İşte Evaluation-Driven Development burada devreye giriyor.
Evaluation-Driven Development nedir?
Evaluation-Driven Development, AI destekli veya agentic sistemlerde çıktının sadece çalışıp çalışmadığını değil; doğru, güvenilir, izlenebilir ve beklenen davranışa uygun olup olmadığını değerlendirme yaklaşımıdır.
Klasik test genelde şunu sorar:
Fonksiyon beklenen sonucu verdi mi?
Evaluation ise daha geniş bakar:
AI bu sonuca nasıl ulaştı?
Doğru bağlamı kullandı mı?
Kaynakları doğru yorumladı mı?
Gerekli yerde durup insana sordu mu?
Yanlış aracı çağırdı mı?
Uydurma bilgi üretti mi?
Güvenlik veya politika sınırını aştı mı?
Yani AI-native sistemlerde test, sadece kodun davranışını değil, AI’ın karar ve aksiyon sürecini de kapsar.
Neden şimdi önemli?
Çünkü AI çıktıları çoğu zaman ikna edici görünür.
Cümleler düzgün olabilir.
Kod çalışıyor olabilir.
Test yazılmış olabilir.
Dokümantasyon profesyonel durabilir.
Analiz mantıklı görünebilir.
Ama görünüm güvenilirlik değildir.
AI yanlış context kullanabilir.
Eksik bilgiyle karar önerebilir.
RAG sonucunu yanlış yorumlayabilir.
Yanlış tool çağırabilir.
İnsan onayı gereken yerde otomatik ilerleyebilir.
Hallucination üretebilir.
Güvenlik veya gizlilik sınırını aşabilir.
Bu yüzden AI-native SDLC’de sadece “test geçti mi?” demek yeterli olmaz.
Şunu da sormak gerekir:
AI davranışı değerlendirildi mi?
Artık sadece output değil, süreç de test edilmeli
Klasik yazılımda çoğu zaman sonuca bakarız.
Fonksiyon beklenen sonucu verdi mi?
API doğru response döndü mü?
UI beklenen davranışı gösterdi mi?
AI sistemlerinde sonuç kadar, o sonuca nasıl ulaşıldığı da önemlidir.
Çünkü AI doğru cevaba yanlış yoldan ulaşabilir.
Yanlış kaynağı kullanıp doğru görünen cevap verebilir.
Yanlış tool çağırıp sonucu şans eseri doğru yorumlayabilir.
İnsan onayı gereken yerde durmadan ilerleyebilir.
Eksik context ile fazla özgüvenli bir çıktı üretebilir.
Bu yüzden AI-native sistemlerde testin kapsamı genişler.
Sadece çıktı değil, süreç de değerlendirilmelidir.
Neleri evaluate etmeliyiz?
Evaluation-Driven Development içinde birkaç temel alan öne çıkar.
1. Output Evaluation
İlk bakılacak şey AI çıktısının kendisidir.
Şu sorular sorulur:
- Çıktı doğru mu?
- Beklenen formatta mı?
- Eksik bilgi var mı?
- Uydurma bilgi içeriyor mu?
- Kullanıcı ihtiyacına gerçekten cevap veriyor mu?
- Gereksiz özgüvenli veya yanıltıcı mı?
Bu özellikle dokümantasyon, analiz, özet, kod açıklaması ve karar önerilerinde önemlidir.
Çünkü AI çıktısı düzgün görünse bile yanlış olabilir.
2. Context Evaluation
AI’ın kalitesi büyük ölçüde kullandığı context’e bağlıdır.
Yanlış context, yanlış sonuç üretir.
Bu yüzden şu sorular önemlidir:
- AI doğru dokümanları kullandı mı?
- Güncel bilgiye mi dayandı?
- Eski veya geçersiz bilgiyi mi kullandı?
- Gereksiz context sonucu bozdu mu?
- Kritik bağlam eksik miydi?
AI-native sistemlerde context yönetimi test edilmeden güvenilirlik sağlanamaz.
Çünkü çoğu hata modelden değil, yanlış veya eksik context’ten gelir.
3. RAG Evaluation
RAG kullanılan sistemlerde evaluation daha da önemlidir.
Çünkü cevap sadece modelden değil, getirilen kaynaklardan da etkilenir.
RAG için şu sorular sorulur:
- Doğru kaynaklar getirildi mi?
- Getirilen kaynaklar güncel mi?
- Cevap kaynaklara dayanıyor mu?
- Kaynakta olmayan bilgi uyduruldu mu?
- Benzer ama yanlış doküman kullanıldı mı?
- Kritik kaynak kaçırıldı mı?
RAG sistemlerinde başarı sadece “cevap güzel mi?” değildir.
Başarı, cevabın doğru kaynağa dayanmasıdır.
4. Tool Calling Evaluation
Agentic sistemlerde AI sadece cevap üretmez.
Araç da çağırır.
Kod çalıştırabilir.
API çağırabilir.
Veritabanı sorgulayabilir.
Dosya okuyabilir.
Ticket açabilir.
Deployment başlatabilir.
Bu yüzden tool calling mutlaka değerlendirilmelidir.
Şu sorular sorulmalıdır:
- Doğru araç çağrıldı mı?
- Araç doğru parametrelerle kullanıldı mı?
- Gereksiz tool call yapıldı mı?
- Tool sonucu doğru yorumlandı mı?
- Hata durumunda doğru davrandı mı?
- Yetkisi olmayan bir aksiyon almaya çalıştı mı?
Agentic sistemlerde tool calling kontrol edilmezse, AI sadece yanlış cevap üretmez; yanlış aksiyon da alabilir.
5. Agent Workflow Evaluation
Birden fazla adımı olan agentic sistemlerde sadece sonuç değil, akış da önemlidir.
Ajan doğru sırayla mı ilerledi?
Doğru noktada durdu mu?
Gerekli kontrolü yaptı mı?
İnsan onayı gereken yerde bekledi mi?
Quality gate’i atladı mı?
Hatalı adımdan geri dönebildi mi?
Bu yüzden agent workflow test edilmelidir.
Özellikle yazılım geliştirme ajanlarında bu çok kritiktir.
Çünkü bir ajan gereksinimi yanlış yorumlarsa, diğer ajan kodu da yanlış yazabilir, test de yanlış senaryoyu doğrulayabilir.
Hata zincir boyunca büyür.
6. Human Decision Evaluation
AI-native SDLC’de insan tamamen devreden çıkmaz.
Ama insan her adımda da olmamalıdır.
Önemli olan insanın doğru karar noktasında devreye girmesidir.
Bu yüzden şu sorular test edilmelidir:
- İnsan onayı gereken yerde sistem duruyor mu?
- Düşük riskli durumda otomasyon ilerleyebiliyor mu?
- Yüksek riskli durumda approval istiyor mu?
- AI riskli bir kararı kendi vermeye çalışıyor mu?
- Onay geçmişi kayıt altına alınıyor mu?
Bu yaklaşımı şöyle özetleyebiliriz:
Human-in-the-loop değil, human-at-the-decision-point.
Yani insan her adımda süreci yavaşlatan kişi değil, kritik karar noktasında devreye giren kişidir.
Evaluation sadece manuel yapılmaz
Evaluation deyince her şeyi insanın tek tek kontrol etmesi anlaşılmamalı.
Bazı değerlendirmeler otomatik olabilir:
- output format kontrolü,
- test sonucu,
- güvenlik scan sonucu,
- policy check,
- regression eval,
- golden dataset karşılaştırması,
- hallucination kontrolü,
- tool call doğrulaması,
- RAG kaynak uygunluğu,
- metrik bazlı kalite kontrolü.
Bazı değerlendirmeler ise insan kararı gerektirir:
- risk kabulü,
- mimari istisna,
- ürün kararı,
- müşteri etkisi,
- etik veya hukuki hassasiyet,
- production release onayı.
Yani evaluation, otomasyon ve insan kararının birlikte tasarlandığı bir kalite yaklaşımıdır.
Evaluation-Driven Development ve Quality Gates ilişkisi
Bir önceki yazıda quality gates konusunu konuşmuştuk.
Evaluation-Driven Development, bu quality gate’lerin AI-native dünyadaki karşılığıdır.
Klasik quality gate şunu sorar:
Testler geçti mi?
AI-native quality gate ise şunu da sorar:
AI çıktısı güvenilir mi?
AI doğru context kullandı mı?
Ajan doğru aracı çağırdı mı?
İnsan onayı gereken yerde durdu mu?
Cevap kaynaklara dayanıyor mu?
Süreç sonradan denetlenebilir mi?
Bu yüzden evaluation, AI-native SDLC’nin merkezinde olmalıdır.
Çünkü AI ile üretim hızlandıkça, değerlendirme disiplini zayıf kalırsa risk büyür.
Evaluation nasıl uygulanabilir?
Evaluation-Driven Development bir anda büyük ve karmaşık bir sistem kurmak zorunda değildir.
Küçük başlanabilir.
Örneğin:
- AI çıktıları için beklenen format kuralları belirlenebilir.
- Kritik prompt’lar için test veri setleri hazırlanabilir.
- RAG cevapları için kaynak doğruluğu kontrol edilebilir.
- Tool calling senaryoları için başarılı ve başarısız akışlar test edilebilir.
- İnsan onayı gereken karar noktaları netleştirilebilir.
- Agent workflow logları izlenebilir hale getirilebilir.
- Kritik senaryolar için regression eval setleri oluşturulabilir.
Buradaki amaç, AI’ı yavaşlatmak değildir.
Amaç, AI’ın hızlı üretimini güvenilir hale getirmektir.
Sonuç
AI-native sistemlerde test artık sadece kod testi değildir.
Kod hâlâ test edilmelidir.
Ama bunun yanında AI çıktısı, context, RAG, tool calling, agent workflow, insan karar noktaları ve audit evidence da değerlendirilmelidir.
Çünkü AI sadece metin üretmez.
Karar önerir.
Aksiyon alır.
Araç kullanır.
Süreçleri tetikler.
Teslimat zincirine dahil olur.
Bu yüzden yeni dönemde yazılım kalitesi iki soruyla ölçülecek:
Sistem doğru çalışıyor mu?
ve
AI doğru davrandı mı?
Bence Evaluation-Driven Development’ın özü burada.
Ve yine aynı dengeye geliyoruz:
AI üretir.
Sistem değerlendirir.
İnsan kritik kararı verir.
Serinin devamı
Bu yazı, Agentic Software Development serisinin altıncı yazısıdır.
Serinin önceki yazısı:
Quality Gates: AI Çıktısı Nasıl Teslimata Dönüşür?
Serinin sonraki yazısı:
AI Kötü Süreçleri Düzeltmez, Büyütür