Eğitim İçeriği
Gün 1: Temel ve Temel Tehditler
Bölüm 1: OWASP GenAI Güvenlik Projesine Giriş (1 saat)
Oğrenme Hedefleri:
- OWASP Top 10'dan GenAI spesifik güvenlik zorluklarına evrimi anlama
- OWASP GenAI Güvenlik Projesi ekosistemini ve kaynaklarını araştırmak
- Geleneksel uygulama güvenliği ile AI güvenliği arasındaki temel farkları belirlemek
Kapsamlı Konular:
- OWASP GenAI Güvenlik Projesi misyonu ve kapsamının genel bakışı
- Threat Defense COMPASS çerçevesine giriş
- AI güvenliği sahnesini ve düzenleyici gereksinimleri anlama
- AI saldırı yüzeyleri ile geleneksel web uygulaması açıkları karşılaştırması
Elden Geçirme Alıştırması: OWASP Threat Defense COMPASS aracı kurulumu ve başlangıç tehdit değerlendirmesi yapılması
Bölüm 2: OWASP Top 10 için LLM'ler - Bölüm 1 (2.5 saat)
Oğrenme Hedefleri:
- İlk beş kritik LLM açığını master etmek
- Saldırı vektörlerini ve kötüye kullanma tekniklerini anlamak
- Pratik azaltma stratejileri uygulamak
Kapsamlı Konular:
LLM01: Prompt Injection
- Doğrudan ve dolaylı prompt injection teknikleri
- Gizli komut saldırıları ve cross-prompt kontaminasyonu
- Pratik örnekler: Chatbotlarda ceza kapısı açma ve güvenlik önlemlerini atlatma
- Savunma stratejileri: Girdi temizlemesi, prompt filtrelemesi, farklılık gizliliği
LLM02: Hassas Bilgi Açığını：
- Eğitim veri kümesinin çıkarması ve sistem promptunun sızması
- Hassas bilgi maruziyetini model davranış analizi ile belirleme
- Gizlilik etkileri ve düzenleyici uyumluluk dikkate alınması
- Azaltma: Çıktı filtrelemesi, erişim kontrolleri, veri anonimleştirme
LLM03: Tedarik Zinciri Açıkları
- Üçüncü taraf model bağımlılıkları ve eklenti güvenliği
- Compromised eğitim veri kümeleri ve model zehirlenmesi
- AI bileşenleri için tedarikçi risk değerlendirmesi
- Güvenli model dağıtım ve doğrulama uygulamaları
Elden Geçirme Alıştırması: Kötüye kullanım prompt injection saldırıları yapan açığa açık LLM uygulamalarını gösteren ve savunma önlemlerini uygulayan elden geçirme laboratuvarı
Bölüm 3: OWASP Top 10 için LLM'ler - Bölüm 2 (2 saat)
Kapsamlı Konular:
LLM04: Veri ve Model Zehirlenmesi
- Eğitim veri kümesi manipülasyon teknikleri
- Zehirli girişler aracılığıyla model davranışını değiştirme
- Backdoor saldırıları ve veri bütünlüğü doğrulaması
- Önleme: Veri doğrulama hattı, kaynak izlendirme
LLM05: Yetersiz Çıktı İşlemi
- Güvensiz LLM üretilen içeriği işleme
- AI üretilen çıkışlar aracılığıyla kod enjeksiyonu
- Cross-site scripting AI yanıtları aracılığıyla
- Çıktı doğrulama ve temizleme çerçeveleri
Elden Geçirme Alıştırması: Veri zehirlenme saldırılarını benzetmek ve sağlam çıktı doğrulama mekanizmalarını uygulamak
Bölüm 4: Gelişmiş LLM Tehditleri (1.5 saat)
Kapsamlı Konular:
LLM06: Aşırı Ajanslık
- Otonom karar alma riskleri ve sınır ihlalleri
- Ajans yetkisi ve izin yönetimi
- Beklenmedik sistem etkileşimleri ve ayrıcalık yükseltme
- Koruma çubukları uygulaması ve insan gözetim kontrolleri
LLM07: Sistem Promptu Sızması
- Sistem talimatı maruziyet açıkları
- Prompts aracılığıyla kimlik bilgisi ve mantık sızması
- Sistem promptsunun çıkarılması için saldırı teknikleri
- Sistem talimatlarını ve dış yapılandırmayı güvence altına alma
Elden Geçirme Alıştırması: Uygun erişim kontrolleri ve izleme ile güvenli ajans mimarileri tasarlama
Gün 2: Gelişmiş Tehditler ve Uygulama
Bölüm 5: Yeni AI Tehditleri (2 saat)
Oğrenme Hedefleri:
- Keskin AI güvenlik tehditlerini anlamak
- Gelişmiş tespit ve önleme tekniklerini uygulamak
- Sophistike saldırılar karşıtı dayanıklı AI sistemleri tasarlama
Kapsamlı Konular:
LLM08: Vector ve Embedding Zayıflıkları
- RAG sistem açıkları ve vector veritabanı güvenliği
- Embedding zehirlenmesi ve benzerlik manipülasyon saldırıları
- Semantik aramadaki aversif örnekler
- Vector depoları güvence altına alma ve anomali tespiti uygulaması
LLM09: Yanlış Bilgi ve Model Güvenilirliği
- Hallucination tespiti ve azaltımı
- Bias kuvvetlendirme ve adillik dikkate alınması
- Fact-checking ve kaynak doğrulama mekanizmaları
- İçerik doğrulaması ve insan gözetim entegrasyonu
LLM10: Sınırsız Tüketim
- Kaynak tükenmesi ve hizmet reddi saldırıları
- Oran sınırlamaları ve kaynak yönetimi stratejileri
- Maliyet iyileştirmesi ve bütçe kontrolleri
- Performans izleme ve uyarı sistemleri
Elden Geçirme Alıştırması: Vector veritabanı korumasıyla ve hallucination tespitiyle güvenli RAG hattı oluşturma
Bölüm 6: Agentic AI Güvenliği (2 saat)
Oğrenme Hedefleri:
- Otonom AI ajanslarının benzersiz güvenlik zorluklarını anlamak
- OWASP Agentic AI taksonomisini gerçek dünya sistemlerine uygulamak
- Çok ajanslı ortamlar için güvenlik kontrolleri uygulamak
Kapsamlı Konular:
- Agentic AI ve otonom sistemlere giriş
- OWASP Agentic AI Tehdit Taksonomisi: Ajans Tasarımı, Hafıza, Planlama, Araç Kullanımı, Dağıtım
- Çok ajanslı sistem güvenliği ve koordinasyon riskleri
- Tool kötüye kullanımı, hafıza zehirlenmesi ve hedef kaçırmaları saldırıları
- Ajans iletişimini ve karar alma süreçlerini güvence altına alma
Elden Geçirme Alıştırması: OWASP Agentic AI taksonomisi kullanarak çok ajanslı müşteri hizmetleri sistemi üzerinde tehdit modelleme alıştırmaları
Bölüm 7: OWASP Threat Defense COMPASS Uygulaması (2 saat)
Oğrenme Hedefleri:
- Threat Defense COMPASS'ın pratik uygulamasını master etmek
- AI tehdit değerlendirmesini organizasyonel güvenlik programlarına entegre etmek
- kapsamlı AI risk yönetimi stratejileri geliştirmek
Kapsamlı Konular:
- Threat Defense COMPASS metodolojisine derinlemesine bakış
- OODA Döngüsü entegrasyonu: Gözlem, Yönlendirme, Karar Verme, Eylem
- Tehditleri MITRE ATT&CK ve ATLAS çerçevelerine eşleme
- AI Tehdit Dayanıklılığı Strateji Panoları oluşturma
- Var olan güvenlik araçları ve süreçleriyle entegrasyon
Elden Geçirme Alıştırması: Microsoft Copilot dağıtım senaryosu için COMPASS kullanarak tam tehdit değerlendirmesi
Bölüm 8: Pratik Uygulama ve En İyi Uygulamalar (2.5 saat)
Oğrenme Hedefleri:
- Güvenli AI mimarileri sıfırdan tasarlama
- AI sistemleri için izleme ve olay yanıtını uygulama
- AI güvenliği için yönetim çerçeveleri oluşturma
Kapsamlı Konular:
Güvenli AI Geliştirme Hayat Döngüsü:
- AI uygulamaları için security-by-design ilkeleri
- LLM entegrasyonları için kod inceleme uygulamaları
- Test metodolojileri ve açığa çıkma taraması
- Dağıtım güvenliği ve üretim sertifikasyonu
İzleme ve Tespit:
- AI sistemleri için özel izleme ve günlüğe kaydetme gereksinimleri
- AI sistemleri için anomali tespiti
- AI güvenlik olayları için olay yanıt prosedürleri
- Forensik ve araştırma teknikleri
İdare ve Uyumluluk:
- AI risk yönetimi çerçeveleri ve politikaları
- Düzenleyici uyumluluk dikkate alınması (GDPR, AI Act vb.)
- AI tedarikçileri için üçüncü taraf risk değerlendirmesi
- AI geliştirme ekipleri için güvenlik farkındalık eğitimi
Elden Geçirme Alıştırması: İzleme, idare ve olay yanıt prosedürlerini de içeren bir kurumsal AI sohbet botu için tam güvenlik mimarisi tasarlamak
Bölüm 9: Araçlar ve Teknolojiler (1 saat)
Oğrenme Hedefleri:
- AI güvenlik araçlarını değerlendirme ve uygulama
- Mevcut AI güvenlik çözümleri sahnesini anlamak
- Pratik tespit ve önleme yeteneklerini oluşturma
Kapsamlı Konular:
- AI güvenlik araç eko sistemini ve tedarikçi sahnesini anlama
- Açık kaynak güvenlik araçları: Garak, PyRIT, Giskard
- AI güvenliği ve izleme için ticari çözümler
- Entegrasyon desenleri ve dağıtım stratejileri
- Araç seçim kriterleri ve değerlendirme çerçeveleri
Elden Geçirme Alıştırması: AI güvenlik test araçlarının elden geçirme gösterimi ve uygulama planlaması
Bölüm 10: Gelecek Trenleri ve Özet (1 saat)
Oğrenme Hedefleri:
- Yeni tehditler ve gelecekteki güvenlik zorluklarını anlamak
- Sürekli öğrenme ve iyileştirme stratejileri geliştirmek
- Organizasyonel AI güvenlik programları için eylem planları oluşturma
Kapsamlı Konular:
- Yeni tehditler: Derinfake'lar, ileri düzey prompt injection, model ters çevirme
- Gelecekteki OWASP GenAI projesi gelişmeleri ve rota haritası
- AI güvenlik toplulukları oluşturma ve bilgi paylaşımı
- Sürekli iyileştirme ve tehdit zekası entegrasyonu
Eylem Planlama Alıştırmaları: Katılımcıların organizasyonlarında OWASP GenAI güvenlik uygulamalarını uygulama için 90 günlük eylem planı geliştirmek
Kurs İçin Gerekli Önbilgiler
- Web uygulama güvenliği ilkelerine genel bir anlayış
- AI/ML kavramlarına temel bir tanıma
- Güvenlik çerçevelerine veya risk değerlendirme metodolojilerine deneyim sahibi olmak tercih edilir
Hedef Kitle
- Cybersecurity profesyonelleri
- AI geliştiricileri
- Sistem mimarları
- Uyumluluk memurları
- Güvenlik uzmanları
Danışanlarımızın Yorumları (1)
AI saldırıları ve güvenlik testlerinde aktif olarak kullanılmak üzere mevcut araçlar hakkında bilgi edinmekten büyük keyif aldım. Dersin sonunda, başlangıçta sahip olmadığım birçok bilgi edindim ve ders, benim beklentilerimi karşıladı. Eğitimden benim için en faydalı olan kısım Comet Browser'dı ve yapabilecekleri şaşkınlıkla karşıladım. Kesinlikle daha fazla inceleyeceğim bir konu. Genel olarak harika bir ders oldu ve tüm OWASP GenAI Top 10'ı öğrenmekten keyif aldım.
Patrick Collins - Optum
Eğitim - OWASP GenAI Security
Yapay Zeka Çevirisi
