Eğitim İçeriği
Gün 1: Temel ve Temel Tehditler
Bölüm 1: OWASP GenAI Güvenlik Projesine Giriş (1 saat)
Oğrenme Hedefleri:
- OWASP Top 10'dan GenAI spesifik güvenlik zorluklarına evrimi anlama
- OWASP GenAI Güvenlik Projesi ekosistemini ve kaynaklarını araştırmak
- Geleneksel uygulama güvenliği ile AI güvenliği arasındaki temel farkları belirlemek
Kapsamlı Konular:
- OWASP GenAI Güvenlik Projesi misyonu ve kapsamının genel bakışı
- Threat Defense COMPASS çerçevesine giriş
- AI güvenliği sahnesini ve düzenleyici gereksinimleri anlama
- AI saldırı yüzeyleri ile geleneksel web uygulaması açıkları karşılaştırması
Elden Geçirme Alıştırması: OWASP Threat Defense COMPASS aracı kurulumu ve başlangıç tehdit değerlendirmesi yapılması
Bölüm 2: OWASP Top 10 için LLM'ler - Bölüm 1 (2.5 saat)
Oğrenme Hedefleri:
- İlk beş kritik LLM açığını master etmek
- Saldırı vektörlerini ve kötüye kullanma tekniklerini anlamak
- Pratik azaltma stratejileri uygulamak
Kapsamlı Konular:
LLM01: Prompt Injection
- Doğrudan ve dolaylı prompt injection teknikleri
- Gizli komut saldırıları ve cross-prompt kontaminasyonu
- Pratik örnekler: Chatbotlarda ceza kapısı açma ve güvenlik önlemlerini atlatma
- Savunma stratejileri: Girdi temizlemesi, prompt filtrelemesi, farklılık gizliliği
LLM02: Hassas Bilgi Açığını:
- Eğitim veri kümesinin çıkarması ve sistem promptunun sızması
- Hassas bilgi maruziyetini model davranış analizi ile belirleme
- Gizlilik etkileri ve düzenleyici uyumluluk dikkate alınması
- Azaltma: Çıktı filtrelemesi, erişim kontrolleri, veri anonimleştirme
LLM03: Tedarik Zinciri Açıkları
- Üçüncü taraf model bağımlılıkları ve eklenti güvenliği
- Compromised eğitim veri kümeleri ve model zehirlenmesi
- AI bileşenleri için tedarikçi risk değerlendirmesi
- Güvenli model dağıtım ve doğrulama uygulamaları
Elden Geçirme Alıştırması: Kötüye kullanım prompt injection saldırıları yapan açığa açık LLM uygulamalarını gösteren ve savunma önlemlerini uygulayan elden geçirme laboratuvarı
Bölüm 3: OWASP Top 10 için LLM'ler - Bölüm 2 (2 saat)
Kapsamlı Konular:
LLM04: Veri ve Model Zehirlenmesi
- Eğitim veri kümesi manipülasyon teknikleri
- Zehirli girişler aracılığıyla model davranışını değiştirme
- Backdoor saldırıları ve veri bütünlüğü doğrulaması
- Önleme: Veri doğrulama hattı, kaynak izlendirme
LLM05: Yetersiz Çıktı İşlemi
- Güvensiz LLM üretilen içeriği işleme
- AI üretilen çıkışlar aracılığıyla kod enjeksiyonu
- Cross-site scripting AI yanıtları aracılığıyla
- Çıktı doğrulama ve temizleme çerçeveleri
Elden Geçirme Alıştırması: Veri zehirlenme saldırılarını benzetmek ve sağlam çıktı doğrulama mekanizmalarını uygulamak
Bölüm 4: Gelişmiş LLM Tehditleri (1.5 saat)
Kapsamlı Konular:
LLM06: Aşırı Ajanslık
- Otonom karar alma riskleri ve sınır ihlalleri
- Ajans yetkisi ve izin yönetimi
- Beklenmedik sistem etkileşimleri ve ayrıcalık yükseltme
- Koruma çubukları uygulaması ve insan gözetim kontrolleri
LLM07: Sistem Promptu Sızması
- Sistem talimatı maruziyet açıkları
- Prompts aracılığıyla kimlik bilgisi ve mantık sızması
- Sistem promptsunun çıkarılması için saldırı teknikleri
- Sistem talimatlarını ve dış yapılandırmayı güvence altına alma
Elden Geçirme Alıştırması: Uygun erişim kontrolleri ve izleme ile güvenli ajans mimarileri tasarlama
Gün 2: Gelişmiş Tehditler ve Uygulama
Bölüm 5: Yeni AI Tehditleri (2 saat)
Oğrenme Hedefleri:
- Keskin AI güvenlik tehditlerini anlamak
- Gelişmiş tespit ve önleme tekniklerini uygulamak
- Sophistike saldırılar karşıtı dayanıklı AI sistemleri tasarlama
Kapsamlı Konular:
LLM08: Vector ve Embedding Zayıflıkları
- RAG sistem açıkları ve vector veritabanı güvenliği
- Embedding zehirlenmesi ve benzerlik manipülasyon saldırıları
- Semantik aramadaki aversif örnekler
- Vector depoları güvence altına alma ve anomali tespiti uygulaması
LLM09: Yanlış Bilgi ve Model Güvenilirliği
- Hallucination tespiti ve azaltımı
- Bias kuvvetlendirme ve adillik dikkate alınması
- Fact-checking ve kaynak doğrulama mekanizmaları
- İçerik doğrulaması ve insan gözetim entegrasyonu
LLM10: Sınırsız Tüketim
- Kaynak tükenmesi ve hizmet reddi saldırıları
- Oran sınırlamaları ve kaynak yönetimi stratejileri
- Maliyet iyileştirmesi ve bütçe kontrolleri
- Performans izleme ve uyarı sistemleri
Elden Geçirme Alıştırması: Vector veritabanı korumasıyla ve hallucination tespitiyle güvenli RAG hattı oluşturma
Bölüm 6: Agentic AI Güvenliği (2 saat)
Oğrenme Hedefleri:
- Otonom AI ajanslarının benzersiz güvenlik zorluklarını anlamak
- OWASP Agentic AI taksonomisini gerçek dünya sistemlerine uygulamak
- Çok ajanslı ortamlar için güvenlik kontrolleri uygulamak
Kapsamlı Konular:
- Agentic AI ve otonom sistemlere giriş
- OWASP Agentic AI Tehdit Taksonomisi: Ajans Tasarımı, Hafıza, Planlama, Araç Kullanımı, Dağıtım
- Çok ajanslı sistem güvenliği ve koordinasyon riskleri
- Tool kötüye kullanımı, hafıza zehirlenmesi ve hedef kaçırmaları saldırıları
- Ajans iletişimini ve karar alma süreçlerini güvence altına alma
Elden Geçirme Alıştırması: OWASP Agentic AI taksonomisi kullanarak çok ajanslı müşteri hizmetleri sistemi üzerinde tehdit modelleme alıştırmaları
Bölüm 7: OWASP Threat Defense COMPASS Uygulaması (2 saat)
Oğrenme Hedefleri:
- Threat Defense COMPASS'ın pratik uygulamasını master etmek
- AI tehdit değerlendirmesini organizasyonel güvenlik programlarına entegre etmek
- kapsamlı AI risk yönetimi stratejileri geliştirmek
Kapsamlı Konular:
- Threat Defense COMPASS metodolojisine derinlemesine bakış
- OODA Döngüsü entegrasyonu: Gözlem, Yönlendirme, Karar Verme, Eylem
- Tehditleri MITRE ATT&CK ve ATLAS çerçevelerine eşleme
- AI Tehdit Dayanıklılığı Strateji Panoları oluşturma
- Var olan güvenlik araçları ve süreçleriyle entegrasyon
Elden Geçirme Alıştırması: Microsoft Copilot dağıtım senaryosu için COMPASS kullanarak tam tehdit değerlendirmesi
Bölüm 8: Pratik Uygulama ve En İyi Uygulamalar (2.5 saat)
Oğrenme Hedefleri:
- Güvenli AI mimarileri sıfırdan tasarlama
- AI sistemleri için izleme ve olay yanıtını uygulama
- AI güvenliği için yönetim çerçeveleri oluşturma
Kapsamlı Konular:
Güvenli AI Geliştirme Hayat Döngüsü:
- AI uygulamaları için security-by-design ilkeleri
- LLM entegrasyonları için kod inceleme uygulamaları
- Test metodolojileri ve açığa çıkma taraması
- Dağıtım güvenliği ve üretim sertifikasyonu
İzleme ve Tespit:
- AI sistemleri için özel izleme ve günlüğe kaydetme gereksinimleri
- AI sistemleri için anomali tespiti
- AI güvenlik olayları için olay yanıt prosedürleri
- Forensik ve araştırma teknikleri
İdare ve Uyumluluk:
- AI risk yönetimi çerçeveleri ve politikaları
- Düzenleyici uyumluluk dikkate alınması (GDPR, AI Act vb.)
- AI tedarikçileri için üçüncü taraf risk değerlendirmesi
- AI geliştirme ekipleri için güvenlik farkındalık eğitimi
Elden Geçirme Alıştırması: İzleme, idare ve olay yanıt prosedürlerini de içeren bir kurumsal AI sohbet botu için tam güvenlik mimarisi tasarlamak
Bölüm 9: Araçlar ve Teknolojiler (1 saat)
Oğrenme Hedefleri:
- AI güvenlik araçlarını değerlendirme ve uygulama
- Mevcut AI güvenlik çözümleri sahnesini anlamak
- Pratik tespit ve önleme yeteneklerini oluşturma
Kapsamlı Konular:
- AI güvenlik araç eko sistemini ve tedarikçi sahnesini anlama
- Açık kaynak güvenlik araçları: Garak, PyRIT, Giskard
- AI güvenliği ve izleme için ticari çözümler
- Entegrasyon desenleri ve dağıtım stratejileri
- Araç seçim kriterleri ve değerlendirme çerçeveleri
Elden Geçirme Alıştırması: AI güvenlik test araçlarının elden geçirme gösterimi ve uygulama planlaması
Bölüm 10: Gelecek Trenleri ve Özet (1 saat)
Oğrenme Hedefleri:
- Yeni tehditler ve gelecekteki güvenlik zorluklarını anlamak
- Sürekli öğrenme ve iyileştirme stratejileri geliştirmek
- Organizasyonel AI güvenlik programları için eylem planları oluşturma
Kapsamlı Konular:
- Yeni tehditler: Derinfake'lar, ileri düzey prompt injection, model ters çevirme
- Gelecekteki OWASP GenAI projesi gelişmeleri ve rota haritası
- AI güvenlik toplulukları oluşturma ve bilgi paylaşımı
- Sürekli iyileştirme ve tehdit zekası entegrasyonu
Eylem Planlama Alıştırmaları: Katılımcıların organizasyonlarında OWASP GenAI güvenlik uygulamalarını uygulama için 90 günlük eylem planı geliştirmek
Kurs İçin Gerekli Önbilgiler
- Web uygulama güvenliği ilkelerine genel bir anlayış
- AI/ML kavramlarına temel bir tanıma
- Güvenlik çerçevelerine veya risk değerlendirme metodolojilerine deneyim sahibi olmak tercih edilir
Hedef Kitle
- Cybersecurity profesyonelleri
- AI geliştiricileri
- Sistem mimarları
- Uyumluluk memurları
- Güvenlik uzmanları