Güvenli ve Güvenilir Ajan Tabanlı Yapay Zekâ: Yönetişim, Kimlik ve Kırmızı Ekibin (Red-Teaming) Eğitimi

Temeller: Ajan Tabanlı Yapay Zekâ İçin Tehdit Modelleri

• Ajan tabanlı tehdit türleri: Kötüye kullanım, yetki yükseltme, veri sızıntısı ve tedarik zinciri riskleri
• Özerk ajanlara özgü saldırgan profilleri ve saldırgan yetenekleri
• Ajanlar için varlıkların, güven sınırlarının ve kritik kontrol noktalarının haritalandırılması

Yönetişim, Politika ve Risk Yönetimi

• Ajan tabanlı sistemler için yönetişim çerçeveleri (roller, sorumluluklar, onay kapıları)
• Politika tasarımı: Kabul edilebilir kullanım, eskalasyon kuralları, veri işleme ve denetlenebilirlik
• Uyumluluk hususları ve denetimler için kanıt toplama

Ajanlar İçin İnsan Dışı Kimlik ve Kimlik Doğrulama

• Ajanlar için kimlik tasarımı: Hizmet hesapları, JWT'ler ve kısa ömürlü kimlik bilgileri
• En az yetki (least-privilege) erişim kalıpları ve anında (just-in-time) kimlik bilgisi yönetimi
• Kimlik yaşam döngüsü, rotasyon, devir ve iptal stratejileri

Erişim Kontrolleri, Gizli Bilgiler (Secrets) ve Veri Koruma

• Ajanlar için ince taneli erişim kontrol modelleri ve yetenek tabanlı (capability-based) kalıplar
• Gizli bilgi yönetimi, aktarım sırasında ve depolamada şifreleme, veri minimizasyonu
• Duyarlı bilgi kaynaklarını ve kişisel verileri (PII) yetkisiz ajan erişiminden koruma

Gözlemlenebilirlik, Denetim ve Olay Yanıtı

• Ajan davranışı için telemetri tasarımı: Niyet izleme (intent tracing), komut günlükleri ve menşe (provenance)
• SIEM entegrasyonu, uyarı eşikleri ve adli hazırlık (forensic readiness)
• Ajanla ilgili olaylar ve sınırlama (containment) için çalışma kitapları (runbooks) ve oyun kitapları (playbooks)

Ajan Tabanlı Sistemlerde Kırmızı Ekibin (Red-Teaming) Uygulanması

• Kırmızı ekibin egzersizlerini planlama: Kapsam, müdahale kuralları ve güvenli devre dışı bırakma (failover)
• Düşmanca teknikler: İstifçe enjeksiyonu (prompt injection), aracı kötüye kullanımı, düşünce zinciri manipülasyonu (chain-of-thought) ve API istismarı
• Kontrol altında saldırılar yürütmek ve maruziyeti ve etkiyi ölçmek

Sağlamlaştırma ve Azaltma Önlemleri

• Mühendislik kontrolleri: Yanıt boğulması (throttling), yetenek kapıları (capability gating) ve kum havuzu (sandboxing)
• Politika ve orkestrasyon kontrolleri: Onay akışları, insan döngüde (human-in-the-loop) ve yönetişim kanca noktaları (hooks)
• Model ve istifçe düzeyinde savunmalar: Girdi doğrulama, normalize etme (canonicalization) ve çıktı filtreleri

Güvenli Ajan Dağıtımlarının İşletilebilir Hale Getirilmesi

• Dağıtım kalıpları: Ajanlar için kademeli (staging), kanarya (canary) ve kademeli açılış (progressive rollout)
• Değişiklik kontrolü, test hatları ve dağıtım öncesi güvenlik kontrolleri
• Fonksiyonlar arası yönetişim: Güvenlik, hukuk, ürün ve operasyonlar için oyun kitapları (playbooks)

Zirve (Capstone): Kırmızı Ekibin / Mavi Ekibin Egzersizi

• Kum havuzunda (sandboxed) bir ajan ortamına karşı simüle edilmiş bir kırmızı ekibin saldırısı yürütmek
• Kontrolleri ve telemetriyi kullanarak mavi ekibin (blue team) rolünde savunma, tespit ve iyileştirme yapmak
• Bulguları, iyileştirme planını ve politika güncellemelerini sunmak

Özet ve Sonraki Adımlar