OWASP GenAI Güvenliği Eğitimi

Gün 1: Temeller ve Çekirdek Tehditler

Modül 1: OWASP GenAI Güvenlik Projesine Giriş (1 saat)

Öğrenme Hedefleri:

• OWASP Top 10'dan Jeneratif AI'ye özgü güvenlik zorluklarına evrimi anlamak.
• OWASP GenAI Güvenlik Projesi ekosistemi ve kaynaklarını keşfetmek.
• Geleneksel uygulama güvenliği ile AI güvenliği arasındaki temel farklılıkları belirlemek.

Kapsanan Konular:

• OWASP GenAI Güvenlik Projesi misyonu ve kapsamı genel bakışı.
• Tehdit Savunması COMPASS çerçevesine giriş.
• AI güvenlik manzarası ve düzenleyici gereklilikleri anlayışı.
• Geleneksel web uygulaması zafiyetlerine karşı AI saldırı yüzeyleri.

Pratik Alıştırma: OWASP Tehdit Savunması COMPASS aracını kurmak ve ilk tehdit değerlendirmesini yapmak.

Modül 2: LLM'ler için OWASP Top 10 - Bölüm 1 (2.5 saat)

Öğrenme Hedefleri:

• İlk beş kritik LLM zafiyetine hakim olmak.
• Saldırı vektörlerini ve istismar tekniklerini anlamak.
• Pratik azaltma stratejilerini uygulamak.

Kapsanan Konular:

LLM01: İstem Enjeksiyonu (Prompt Injection)

• Dolaylı ve doğrudan istem enjeksiyon teknikleri.
• Gizli talimat saldırıları ve çapraz istem kirlenmesi.
• Pratik örnekler: Sohbet botlarının jailbreak'leme ve güvenlik önlemlerini atlama.
• Savunma stratejileri: Girdi temizleme, istem filtreleme, farklılık özelliği (differential privacy).

LLM02: Hassas Bilgi Açıklanması

• Eğitim verisi çıkarma ve sistem istemi sızıntısı.
• Hassas bilgi açıklaması için model davranış analizi.
• Gizlilik etkileri ve düzenleyici uyumluluk açısından değerlendirme.
• Azaltma: Çıktı filtreleme, erişim kontrolleri, veri anonimizasyonu.

LLM03: Tedarik Zinciri Zafiyetleri

• Üçüncü taraf model bağımlılıkları ve eklenti güvenliği.
• Kompromize olmuş eğitim veri setleri ve model zehirlenmesi.
• AI bileşenleri için tedarikçi risk değerlendirme.
• Güvenli model konuşlandırma ve doğrulama uygulamaları.

Pratik Alıştırma: Zayıf LLM uygulamalarına yönelik istem enjeksiyon saldırılarını gösteren ve savunma önlemleri uygulayan uygulama bazlı lab.

Modül 3: LLM'ler için OWASP Top 10 - Bölüm 2 (2 saat)

Kapsanan Konular:

LLM04: Veri ve Model Zehirlenmesi

• Eğitim verisi manipülasyon teknikleri.
• Zehirlenmiş girdiler yoluyla model davranış modifikasyonu.
• Arkaporta saldırıları ve veri bütünlüğü doğrulama.
• Önleme: Veri doğrulama hatları, kaynak izleme.

LLM05: Yanlış Çıktı İşleme

• LLM tarafından oluşturulan içeriklerin güvensiz işlenmesi.
• AI tarafından oluşturulan çıktılar aracılığıyla kod enjeksiyonu.
• AI yanıtları aracılığıyla site arası komut dosyası çalıştırma (XSS).
• Çıktı doğrulama ve temizleme çerçeveleri.

Pratik Alıştırma: Veri zehirlenme saldırılarını simüle etme ve sağlam çıktı doğrulama mekanizmaları uygulama.

Modül 4: Gelişmiş LLM Tehditleri (1.5 saat)

Kapsanan Konular:

LLM06: Aşırı Ajanslık (Excessive Agency)

• Otonom karar verme riskleri ve sınırların ihlali.
• Ajan yetkisi ve izin yönetimi.
• İstenmeyen sistem etkileşimleri ve ayrıcalık yükseltme.
• Koruyucu önlemler ve insan gözetim kontrolleri uygulama.

LLM07: Sistem İstemi Sızıntısı

• Sistem talimatı açığa çıkma zafiyetleri.
• Talimatlar aracılığıyla kimlik bilgisi ve mantık açıklanması.
• Sistem istemlerini çıkarma için saldırı teknikleri.
• Sistem talimatlarının ve harici yapılandırmanın güvence altına alınması.

Pratik Alıştırma: Uygun erişim kontrolleri ve izleme ile güvenli ajan mimarileri tasarlamak.

Gün 2: Gelişmiş Tehditler ve Uygulama

Modül 5: Yükselen AI Tehditleri (2 saat)

Öğrenme Hedefleri:

• Keskin uçlu AI güvenlik tehditlerini anlamak.
• Gelişmiş tespit ve önleme teknikleri uygulamak.
• Karmaşık saldırılara karşı dayanıklı AI sistemleri tasarlamak.

Kapsanan Konular:

LLM08: Vektör ve Gömme Zafiyetleri

• RAG sistemi zafiyetleri ve vektör veritabanı güvenliği.
• Gömme zehirlenmesi ve benzerlik manipülasyon saldırıları.
• Semantik arama içindeki adversarial örnekler.
• Vektör depolarının güvence altına alınması ve anormallik tespiti uygulama.

LLM09: Yanlış Bilgi ve Model Güvenilirliği

• Halüsinasyon tespiti ve azaltma.
• Yanlıştırılma güçlendirme ve adalet açısından değerlendirme.
• Gerçek kontrol ve kaynak doğrulama mekanizmaları.
• İçerik doğrulama ve insan gözetim entegrasyonu.

LLM10: Sınırsız Tüketim

• Kaynak tükenmesi ve hizmet reddi (DoS) saldırıları.
• Hız sınırlama ve kaynak yönetimi stratejileri.
• Maliyet optimizasyonu ve bütçe kontrolleri.
• Performans izleme ve uyarı sistemleri.

Pratik Alıştırma: Vektör veritabanı koruması ve halüsinasyon tespiti ile güvenli bir RAG boru hattı oluşturma.

Modül 6: Ajanlık AI Güvenliği (2 saat)

Öğrenme Hedefleri:

• Otonom AI ajanlarının benzersiz güvenlik zorluklarını anlamak.
• OWASP Ajanlık AI taksonomisini gerçek dünya sistemlerine uygulamak.
• Çoklu ajan ortamları için güvenlik kontrolleri uygulamak.

Kapsanan Konular:

• Ajanlık AI ve otonom sistemlere giriş.
• OWASP Ajanlık AI Tehdit Taksonomisi: Ajan Tasarımı, Hafıza, Planlama, Araç Kullanımı, Dağıtım.
• Çoklu ajan sistemi güvenliği ve koordinasyon riskleri.
• Araç istismarı, hafıza zehirlenmesi ve hedef ele geçirme saldırıları.
• Ajan iletişiminin ve karar verme süreçlerinin güvence altına alınması.

Pratik Alıştırma: Çoklu ajan müşteri hizmetleri sistemi üzerinde OWASP Ajanlık AI taksonomisini kullanarak tehdit modelleme alıştırması.

Modül 7: OWASP Tehdit Savunması COMPASS Uygulaması (2 saat)

Öğrenme Hedefleri:

• Tehdit Savunması COMPASS'ın pratik uygulamasına hakim olmak.
• AI tehdit değerlendirmesini organizasyonel güvenlik programlarına entegre etmek.
• Kapsamlı AI risk yönetim stratejileri geliştirmek.

Kapsanan Konular:

• Tehdit Savunması COMPASS metodolojisine derin dalış.
• OODA Döngüsü entegrasyonu: Gözlem, Yönlendirme, Karar Verme, Eylem.
• Tehditleri MITRE ATT&CK ve ATLAS çerçevelerine eşleme.
• AI Tehdit Dayanıklılık Stratejisi Panoları oluşturma.
• Mevcut güvenlik araçları ve süreçleriyle entegrasyon.

Pratik Alıştırma: Microsoft Copilot konuşlandırma senaryosu için COMPASS kullanarak tam tehdit değerlendirmesi.

Modül 8: Pratik Uygulama ve En İyi Uygulamalar (2.5 saat)

Öğrenme Hedefleri:

• Sıfırdan güvenli AI mimarileri tasarlamak.
• AI sistemleri için izleme ve olay müdahale uygulama.
• AI güvenliği için yönetim çerçeveleri oluşturmak.

Kapsanan Konular:

Güvenli AI Geliştirme Yaşam Döngüsü:

• AI uygulamaları için tasarım aşamasında güvenlik ilkeleri.
• LLM entegrasyonları için kod inceleme uygulamaları.
• Test metodolojileri ve zafiyet tarama.
• Konuşlandırma güvenliği ve üretim güçlendirme.

İzleme ve Tespit:

• AI'ye özgü günlük kaydetme ve izleme gereklilikleri.
• AI sistemleri için anormallik tespiti.
• AI güvenlik olayları için olay müdahale prosedürleri.
• Bilişsel incelemeler ve soruşturma teknikleri.

Yönetişim ve Uyum:

• AI risk yönetim çerçeveleri ve politikaları.
• Düzenleyici uyumluluk açısından değerlendirme (GDPR, AI Kanunu vb.).
• AI tedarikçileri için üçüncü taraf risk değerlendirme.
• AI geliştirme ekipleri için güvenlik farkındalık eğitimi.

Pratik Alıştırma: İzleme, yönetişim ve olay müdahale prosedürlerini içeren kurumsal bir AI sohbet botu için tam bir güvenlik mimarisi tasarlamak.

Modül 9: Araçlar ve Teknolojiler (1 saat)

Öğrenme Hedefleri:

• AI güvenlik araçlarını değerlendirmek ve uygulamak.
• Güncel AI güvenlik çözümleri manzarasını anlamak.
• Pratik tespit ve önleme yetenekleri oluşturmak.

Kapsanan Konular:

• AI güvenlik araç ekosistemi ve tedarikçi manzarası.
• Açık kaynak güvenlik araçları: Garak, PyRIT, Giskard.
• AI güvenliği ve izleme için ticari çözümler.
• Entegrasyon desenleri ve konuşlandırma stratejileri.
• Araç seçim kriterleri ve değerlendirme çerçeveleri.

Pratik Alıştırma: AI güvenlik test araçlarının uygulama bazlı demonstrasyonu ve planlama uygulaması.

Modül 10: Gelecek Trendler ve Özet (1 saat)

Öğrenme Hedefleri:

• Yükselen tehditler ve geleceğin güvenlik zorluklarını anlamak.
• Sürekli öğrenme ve iyileştirme stratejileri geliştirmek.
• Organizasyonel AI güvenlik programları için eylem planları oluşturmak.

Kapsanan Konular:

• Yükselen tehditler: Deepfakes, gelişmiş istem enjeksiyonu, model tersine mühendisliği.
• Gelecek OWASP GenAI proje gelişmeleri ve yol haritası.
• AI güvenlik toplulukları oluşturma ve bilgi paylaşımı.
• Sürekli iyileştirme ve tehdit istihbarat entegrasyonu.

Eylem Planlama Alıştırması: Katılımcıların organizasyonlarında OWASP GenAI güvenlik uygulamalarını uygulamak için 90 günlük bir eylem planı geliştirmek.