Eğitim İçeriği
Modül 1 — AI Uygulamaları Nasıl Kırılır
Lab: Yok — mimari gezintisi ve tartışma
Hücum yüzeyi (attack surface) üzerine bir geliştiricinin zihinsel modeli.
Konular:
- Güdülenin (builder) perspektifinden LLM, RAG ve ajan mimarileri
- Bir AI özelliğinin istek/yanıt yaşam döngüsü
- prompt akışı: sistem, geliştirici, kullanıcı ve araç mesajları
- Güvensiz verinin modele nasıl girdiği (ve tekrar girdiği) noktası
- Güdülenin sahip olduğu vs. devraldığı güven sınırları
- Neden AI saldırıları semantik, sentaktik değil?
- OWASP LLM Top 10'un yazdığınız koda haritalanması
Temel çıkarım: Güvensiz metin modele ulaştığı veya model çıktısı kodunuza ulaştığı her yer, sizin sahiplendiğiniz bir sınırdır.
Modül 2 — Geliştiriciler İçin Prompt Enjeksiyonu
Lab: Lab 01 — 01-Prompt-Injection
AI için "SQL enjeksiyonu anı" — ancak ondan tamamen kurtulamazsınız.
Konular:
- doğrudan vs. dolaylı prompt enjeksiyonu
- dokümanlardaki, web sayfalarındaki ve araç çıktılarındaki gizli talimatlar
- jailbreak ve rol karıştırma
- talimat/veri ayrımının önemi
- savunmacı prompt tasarımı (ayırt ediciler, yapı, asgari yetki)
- neden koruma kısmi — kısıtlanma için tasarım yapın
Egzersiz:
- kendi sohbet botunuza saldırı düzenleyin
- basit bir filtreyi bypass edin
- patlama yarıçapını küçültmek için prompt'u yeniden yapılandırın
Modül 3 — Model Çıktısını Güvensiz Olarak Ele Alma
Lab: Lab 02 — 02-Output-Handling
Geliştiricilerin en çok hafife aldığı hata sınıflarından biri.
Konular:
- uygulamanın geri kalanı için model çıktısının güvensiz bir girdi olarak ele alınması
- güvensiz çıktı işleme (LLM02): aşağı akışta XSS, SSRF, komut/SQL enjeksiyonu
- ham model çıktısını asla eval/exec/render etmeyin
- yapılandırılmış çıktılar ve şema doğrulaması
- çıktı kodlama ve beyaz listeler
- web/UI bağlamlarında güvenli render
Egzersiz:
- güvensiz çıktı işleme güvenlik açığını bulun ve düzeltin
- model yanıtları için JSON şemasını zorlayın
Modül 4 — RAG Güvenliği
Lab: Lab 03 — 03-RAG-Security
En büyük yeni hücum yüzeylerinden biri — ve onu siz inşa ediyorsunuz.
Konular:
- vektör veritabanı ve alıntı tehditleri
- giriş sanitizasyonu
- doküman menşei ve güven puanlaması
- alıntı kapsamlandırma ve metadata izole etme
- alınan içerikteki gizli talimatlar (dolaylı enjeksiyon)
- alıntı yoluyla veri ihbarı (data exfiltration)
Egzersiz: kötü amaçlı bir dokümanla RAG boru hattını zehirlenleştirin - onu savunmak için giriş sanitizasyonu ve alıntı kapsamlandırması ekleyin
Modül 5 — Ajan & Araç Güvenliği
Lab: Lab 04 — 04-Agent-Safety
Bir hatanın bir aksiyona dönüştüğü yer.
Konular:
- fazla yetki (LLM06) ve araç suiçkullanımı
- ajanlar için asgari yetki
- araç beyaz listeleri ve argüman doğrulaması
- onay kapıları ve insani müdahale
- araç yürütme için sandboxing
- ajanlar için kapsamlandırılmış, kısa ömürlü kimlik bilgileri
- otonom döngülerin ve zincirleme işlemlerin sınırlanması
Egzersiz:
- aşırı yetkili bir ajanı kilitleyin
- tehlikeli bir araca beyaz liste + onay kapısı ekleyin
Modül 6 — Gizli Bilgiler, Kimlik & Maliyet
Lab: Lab 05 — 05-Secrets-and-Cost
En hızlı şekilde zarar veren operasyonel hatalar.
Konular:
- API anahtarı ve gizli bilgi yönetimi (promptlarda, kodda veya günlüklere asla yerleştirilmemeli)
- AI özellikleri için kullanıcı bazlı kimlik doğrulama ve yetkilendirme
- kimliği araçlara ve alıntılara aktarma
- cüzdan reddi: sınırsız token/maliyet tüketimi
- hız sınırları, token bütçeleri ve zaman aşımı
- gizli bilgileri veya Kişisel Verilerin İhlali (PII) yapmadan günlük tutma
Egzersiz:
- gizli bilgileri prompt/kod yolundan çıkarın
- kullanıcı bazlı hız sınırları ve bir token/maliyet bütçesi ekleyin
Modül 7 — Koruyucu Katman Kütüphaneleri
Lab: Lab 06 — 06-Guardrails
Girdi/çıktı güvenliği için satın al vs. inşa et
Konular:
- koruyucu çerçevelerin neler yapıp (ve yapmayıp) ne işe yaradığı
- girdi koruyucuları: enjeksiyon/PII/konu sınıflandırıcıları
- çıktı koruyucuları: doğrulama, filtreleme, yerleştirme kontrolü (grounding checks)
- bir koruyucu katmanın uygun olup olmadığı vs. kendi belirleyici kontrolünüz
- koruyucu katmanların önceki modüllerdeki kontrollerle birbirini tamamlaması
- performans, yanlış pozitifler ve başarısızlık senaryoları
Egzersiz:
- Bir AI özelliğine girdi/çıktı koruyucu katmanı ekleyin
- ne kadarını yakalayıp ne kadarını kaçırıldığını ölçün
Modül 8 — Kendi Uygulamanıza Kırmızı Takım Testi Yapma
Lab: Lab 07 — 07-Red-Teaming
Sanki bir saldırgan zaten elindeymiş gibi teslim edin.
Konular:
- AI özellikleri için suiçkullanım/test paketi oluşturma
- otomatik prompt-enjeksiyonu ve jailbreak testleri
- koruyucu katmanları ve politikaları regresyon testi
- CI'da AI güvenlik kontrolleri çalıştırma
- model ve bağımlılık tedarik zinciri (menşei, sabitleme)
- AI özellikleri için teslim öncesi güvenlik kontrol listesi
Egzersiz:
- Bir AI özelliği için otomatik kırmızı takım testleri yazın
- bunları bir CI kontrolüne bağlayın
Modül 9 — AI Güvenliğini Puanlama: SAIS-100 Çerçevesi
Lab: Yok — puanlama alıştırması (Final projesi uygulamasını kullanır)
Yaptıklarınızı tekrarlanabilir bir puana dönüştürün.
Konular:
- AI Güvenlik Altıgen: "güvenli mi?" yerine altı soru
- puanlanan altı kategori (Veri, Prompt, Ajan, Tedarik Zinciri, Tespit, Yönetişim)
- 100 puanlık değerlendirme kriterleri ve ağırlıklandırmaları
- verdict bantları ve tek-kategori geçersiz kılma kuralı
- Markalı, tekrar çalıştırılabilir bir çerçeve olarak Filan Ölçek AI Güvenlik Puanlaması (SAIS-100)
- sertleştirme öncesi/sonrası puanlama bir metrik olarak
Egzersiz:
- Puanı 100 puanlık ölçek üzerinde puanlayın
- puanı en çok artıracak tek değişikliği belirleyin
Temel çıkarım: En yüksek ağırlığa sahip üç kategori, bir geliştiricinin sahip olduğu güven sınırlarını eşleştirir — bu nedenle puan, bu kursun tam olarak ne öğrettiğini ölçer.
Final Projesi (Capstone)
Öğrenciler kasıtlı olarak zafiyetli bir AI uygulamasını uçtan uca güvenli hale getirir.
Başlangıç uygulaması şunları içerir:
- enjekte edilebilir bir prompt
- güvensiz çıktı işleme
- kapsamlandırılmamış bir RAG boru hattı
- aşırı yetkili bir ajan
- prompt yolunda gizli bilgiler
- maliyet sınırları yok
Öğrenciler kurs uygulamalarını:
- kısıtlanma için prompt'ları yeniden yapılandırır
- model çıktısını doğrular ve kodlar
- alıntıyı sanitize eder ve kapsamlandırır
- ajana asgari yetki ve onay kapıları uygular
- gizli bilgileri çıkarır ve maliyet/hız sınırları ekler
- koruyucu katmanlar ve otomatik kırmızı takım testleri ekler
Teslim Edilecek: Sertleştirilmiş bir uygulama ve kısa bir OWASP LLM Top 10 öz-değerlendirmesi.
Modül - Lab Eşleştirmesi
Labler lab sırasına göre çalışır ki bu da modül sırasını takip eder. Kursun 9 modülü ve 7 labi vardır: Modül 1 bir mimari gezinti/tartışma ve Modül 9 bir puanlama alıştırmasıdır, bu nedenle hiçbirinin kendi lab klasörü yoktur.
- Lab 01 - 01-Prompt-Injection: Sohbet botunuza saldırı düzenleyin & kısıtlanma için tasarlayın (Modül 2)
- Lab 02 - 02-Output-Handling: Güvensiz çıktı işleme hatasını düzeltin (Modül 3)
- Lab 03 - 03-RAG-Security: Bir RAG boru hattını zehirlendirin sonra savunun (Modül 4)
- Lab 04 - 04-Agent-Safety: Aşırı yetkili bir ajanı kilitleyin (Modül 5)
- Lab 05 - 05-Secrets-and-Cost: Anahtarları güvenliğine kavuşturun + maliyet koruyucuları ekleyin (Modül 6)
- Lab 06 - 06-Guardrails: Bir girdi/çıktı koruyucu katmanı ekleyin (Modül 7)
- Lab 07 - 07-Red-Teaming: CI'da otomatik kırmızı takım testleri (Modül 8)
Modül 1 (AI Uygulamaları Nasıl Kırılır) laboratuvarı yoktur — mimari bir gezinti ve tartışma olarak çalışır. Modül 9 (AI Güvenliğini Puanlama) lab klasörü yoktur — Final Projesi uygulamasına karşı yapılan bir puanlama alıştırması olarak çalışır.
Kurs İçin Gerekli Önbilgiler
- Beceri seviyesi Orta düzey.
- Öğrencilerin şu konularda rahat olması gerekir: REST API'leri oluşturma ve tüketme, bir komut dosyası dili (lab uygulamaları Python kullanır), temel uygulama kimlik doğrulaması, git ve CLI kullanımı
- Makine öğrenimi geçmişi gerekmez — bu, LLM'leri eğitmemesi, ancak onlarla çalışması gereken kişiler için bir uygulama güvenliği kursudur.
Hedef Kitle
- LLM özellikleri geliştiren yazılım / arka uç mühendisleri
- Tam yığın (Full-stack) ve API geliştiricileri
- AI/ML uygulama mühendisleri
- Koyarcı (copilot) ve ajanlar dağıtan platform mühendisleri
- AI özelliklerinden sorumlu teknik liderler ve kıdemli mühendisler
Danışanlarımızın Yorumları (2)
AI saldırıları ve güvenlik testlerinde aktif olarak kullanılmak üzere mevcut araçlar hakkında bilgi edinmekten büyük keyif aldım. Dersin sonunda, başlangıçta sahip olmadığım birçok bilgi edindim ve ders, benim beklentilerimi karşıladı. Eğitimden benim için en faydalı olan kısım Comet Browser'dı ve yapabilecekleri şaşkınlıkla karşıladım. Kesinlikle daha fazla inceleyeceğim bir konu. Genel olarak harika bir ders oldu ve tüm OWASP GenAI Top 10'ı öğrenmekten keyif aldım.
Patrick Collins - Optum
Eğitim - OWASP GenAI Security
Yapay Zeka Çevirisi
Profesyonel bilgi ve bize sunduğu şekli
Miroslav Nachev - PUBLIC COURSE
Eğitim - Cybersecurity in AI Systems
Yapay Zeka Çevirisi
