OWASP GenAI Güvenliği Eğitimi

1. Gün: Temeller ve Temel Tehditler

Modül 1: OWASP GenAI Güvenlik Projesine Giriş (1 saat)

Öğrenme Hedefleri:

• OWASP Top 10'dan GenAI'ye özgü güvenlik zorluklarına geçişi anlamak
• OWASP GenAI Güvenlik Projesi ekosistemini ve kaynaklarını keşfetmek
• Geleneksel uygulama güvenliği ile yapay zeka güvenliği arasındaki temel farkları belirlemek

Kapsanan Konular:

• OWASP GenAI Güvenlik Projesi misyon ve kapsamının genel bakış
• Threat Defense COMPASS çerçevesine giriş
• Yapay zeka güvenlik manzarası ve düzenleyici gereksinimleri anlamak
• Yapay zeka saldırı yüzeyleri vs geleneksel web uygulama açıklıkları

Uygulamalı Egzersiz: OWASP Threat Defense COMPASS aracını kurma ve başlangıç tehdit değerlendirmesi yapma

Modül 2: LLM'ler için OWASP Top 10 - 1. Bölüm (2.5 saat)

Öğrenme Hedefleri:

• İlk beş kritik LLM açıklığını kavramak
• Saldırı vektörlerini ve exploit tekniklerini anlamak
• Pratik azaltma stratejilerini uygulamak

Kapsanan Konular:

LLM01: Prompt Injection (Prompt Enjeksiyonu)

• Doğrudan ve dolaylı prompt injection teknikleri
• Gizli talimat saldırıları ve arası prompt bulaşması
• Pratik örnekler: Chatbot'ları jailbreak etme ve güvenlik önlemlerini aşma
• Savunma stratejileri: Girdi arındırma, prompt filtreleme, diferansiyel gizlilik

LLM02: Hassas Bilgi Sızıntısı

• Eğitim verisi çıkarımı ve sistem prompt'larının sızması
• Hassas bilgi ifşası için model davranışı analizi
• Gizlilik etkileri ve uyumluluk gereksinimleri
• Azaltma: Çıktı filtreleme, erişim kontrolleri, veri anonimleştirme

LLM03: Tedarik Zinciri Açıklıkları

• Üçüncü taraf model bağımlılıkları ve eklenti güvenliği
• Ele geçirilmiş eğitim veri setleri ve model zehirlenmesi
• Yapay zeka bileşenleri için tedarikçi risk değerlendirmesi
• Güvenli model dağıtımı ve doğrulama uygulamaları

Uygulamalı Egzersiz: Kırılgan LLM uygulamalarına karşı prompt injection saldırılarını simüle etme ve savunma önlemleri uygulama lab'ı

Modül 3: LLM'ler için OWASP Top 10 - 2. Bölüm (2 saat)

Kapsanan Konular:

LLM04: Veri ve Model Zehirlenmesi

• Eğitim verisi manipülasyonu teknikleri
• Zehirlenmiş girdilerle model davranış değişikliği
• Arka kapı saldırıları ve veri bütünlüğü doğrulaması
• Önleme: Veri doğrulama hatları, köken izleme

LLM05: Uyumsuz Çıktı İşleme

• LLM tarafından üretilen içeriğin güvensiz işlenmesi
• Yapay zeka tarafından üretilen çıktılardan kod enjeksiyonu
• Yapay zeka yanıtları üzerinden cross-site scripting (XSS)
• Çıktı doğrulama ve arındırma çerçeveleri

Uygulamalı Egzersiz: Veri zehirlenmesi saldırılarını simüle etme ve güçlü çıktı doğrulama mekanizmaları uygulama

Modül 4: Gelişmiş LLM Tehditleri (1.5 saat)

Kapsanan Konular:

LLM06: Aşırı Yetki (Excessive Agency)

• Otonom karar alma riskleri ve sınır ihlalleri
• Ajan yetkisi ve izin yönetimi
• Kasıtsız sistem etkileşimleri ve yetki yükseltme
• Güvencelerin ve insan denetim kontrollerinin uygulanması

LLM07: Sistem Prompt Sızıntısı

• Sistem talimatı ifşası açıklıkları
• Prompt'lar üzerinden kimlik bilgisi ve mantık ifşası
• Sistem prompt'larını çıkarma saldırı teknikleri
• Sistem talimatlarının ve harici yapılandırmanın güvence altına alınması

Uygulamalı Egzersiz: Uygun erişim kontrolleri ve izleme ile güvenli ajan mimarileri tasarlamak

2. Gün: Gelişmiş Tehditler ve Uygulama

Modül 5: Ortaya Çıkan Yapay Zeka Tehditleri (2 saat)

Öğrenme Hedefleri:

• Ön saflardaki yapay zeka güvenlik tehditlerini anlamak
• Gelişmiş tespit ve önleme tekniklerini uygulamak
• İleri düzey saldırılara karşı dayanıklı yapay zeka sistemleri tasarlamak

Kapsanan Konular:

LLM08: Vektör ve Gömme Zayıflıkları

• RAG sistem açıklıkları ve vektör veritabanı güvenliği
• Gömme zehirlenmesi ve benzerlik manipülasyonu saldırıları
• Anlamsal aramada advers örnekler
• Vektör depolarının güvenliği ve anomali tespiti uygulamaları

LLM09: Yanlış Bilgi ve Model Güvenilirliği

• Hallucination (halüsinasyon) tespiti ve azaltması
• Yansımaların büyümesi ve adil düşünülmesi
• Fakt kontrol ve kaynak doğrulama mekanizmaları
• İçerik doğrulama ve insan gözetimi entegrasyonu

LLM10: Sınırsız Tüketim

• Kaynak tükenmesi ve hizmet kesintisi (DoS) saldırıları
• Hız sınırlama ve kaynak yönetim stratejileri
• Maliyet optimizasyonu ve bütçe kontrolleri
• Performans izleme ve uyarı sistemleri

Uygulamalı Egzersiz: Vektör veritabanı koruması ve halüsinasyon tespiti ile güvenli bir RAG hattı kurmak

Modül 6: Agentic Yapay Zeka Güvenliği (2 saat)

Öğrenme Hedefleri:

• Otonom yapay zeka ajanlarının benzersiz güvenlik zorluklarını anlamak
• OWASP Agentic Yapay Zeka sınıflandırmasını gerçek dünya sistemlerine uygulamak
• Çoklu ajan ortamları için güvenlik kontrolleri uygulamak

Kapsanan Konular:

• Agentic Yapay Zeka ve otonom sistemlere giriş
• OWASP Agentic Yapay Zeka Tehdit Sınıflandırması: Ajan Tasarımı, Bellek, Planlama, Araç Kullanımı, Dağıtım
• Çoklu ajan sistemi güvenliği ve koordinasyon riskleri
• Araç kötüye kullanımı, bellek zehirlenmesi ve hedef kaçırma saldırıları
• Ajan iletişiminin ve karar verme süreçlerinin güvenliği

Uygulamalı Egzersiz: OWASP Agentic Yapay Zeka sınıflandırmasını kullanarak çoklu ajan müşteri hizmetleri sistemi üzerinde tehdit modelleme

Modül 7: OWASP Threat Defense COMPASS Uygulaması (2 saat)

Öğrenme Hedefleri:

• Threat Defense COMPASS'ın pratik uygulamasını ustalaşmak
• Yapay zeka tehdit değerlendirmesini kurumsal güvenlik programlarına entegre etmek
• Kapsamlı yapay zeka risk yönetim stratejileri geliştirmek

Kapsanan Konular:

• Threat Defense COMPASS metodolojisinin derinlemesine incelenmesi
• OODA Döngüsü entegrasyonu: Gözlemle, Yön Belirle, Karar Ver, Eyleme Geç
• Tehditlerin MITRE ATT&CK ve ATLAS çerçevelerine eşleştirilmesi
• Yapay Zeka Tehdit Dayanıklılık Strateji Panoları oluşturma
• Mevcut güvenlik araçları ve süreçlerle entegrasyon

Uygulamalı Egzersiz: Microsoft Copilot dağıtım senaryosu için COMPASS kullanarak tam tehdit değerlendirmesi

Modül 8: Pratik Uygulama ve En İyi Uygulamalar (2.5 saat)

Öğrenme Hedefleri:

• Sıfırdan güvenli yapay zeka mimarileri tasarlamak
• Yapay zeka sistemleri için izleme ve olay müdahalesi uygulamak
• Yapay zeka güvenliği için yönetim çerçeveleri oluşturmak

Kapsanan Konular:

Güvenli Yapay Zeka Geliştirme Yaşam Döngüsü:

• Yapay zeka uygulamaları için güvenlik tasarım ilkeleri
• LLM entegrasyonları için kod inceleme uygulamaları
• Test metodolojileri ve açıklık tarama
• Dağıtım güvenliği ve üretim sertleştirme

İzleme ve Tespit:

• Yapay zekaya özgü günlük kaydı ve izleme gereksinimleri
• Yapay zeka sistemleri için anomali tespiti
• Yapay zeka güvenlik olayları için olay müdahale prosedürleri
• Adli bilişim ve soruşturma teknikleri

Yönetişim ve Uyum:

• Yapay zeka risk yönetim çerçeveleri ve politikaları
• Düzenleyici uyumluluk gereksinimleri (KVKK, AI Act vb.)
• Yapay zeka tedarikçileri için üçüncü taraf risk değerlendirmesi
• Yapay zeka geliştirme ekipleri için güvenlik farkındalık eğitimi

Uygulamalı Egzersiz: İzleme, yönetişim ve olay müdahale prosedürlerini içeren kurumsal bir yapay zeka chatbot için tam bir güvenlik mimarisi tasarlamak

Modül 9: Araçlar ve Teknolojiler (1 saat)

Öğrenme Hedefleri:

• Yapay zeka güvenlik araçlarını değerlendirmek ve uygulamak
• Mevcut yapay zeka güvenlik çözümleri manzarasını anlamak
• Pratik tespit ve önleme yetkinlikleri oluşturmak

Kapsanan Konular:

• Yapay zeka güvenlik araç ekosistemi ve tedarikçi manzarası
• Açık kaynak güvenlik araçları: Garak, PyRIT, Giskard
• Yapay zeka güvenliği ve izleme için ticari çözümler
• Entegrasyon kalıpları ve dağıtım stratejileri
• Araç seçim kriterleri ve değerlendirme çerçeveleri

Uygulamalı Egzersiz: Yapay zeka güvenlik test araçlarının uygulamalı gösterimi ve uygulama planlaması

Modül 10: Gelecek Trendleri ve Özet (1 saat)

Öğrenme Hedefleri:

• Ortaya çıkan tehditleri ve geleceğin güvenlik zorluklarını anlamak
• Sürekli öğrenme ve iyileştirme stratejileri geliştirmek
• Kurumsal yapay zeka güvenlik programları için eylem planları oluşturmak

Kapsanan Konular:

• Ortaya çıkan tehditler: Deepfake, gelişmiş prompt injection, model tersine mühendisliği
• OWASP GenAI projesi gelecekteki gelişmeleri ve yol haritası
• Yapay zeka güvenlik toplulukları ve bilgi paylaşımı oluşturma
• Sürekli iyileştirme ve tehdit istihbaratı entegrasyonu

Eylem Planlama Egzersizi: Katılımcıların kuruluşlarında OWASP GenAI güvenlik uygulamalarını hayata geçirmek için 90 günlük bir eylem planı geliştirmek