Bizi tercih ettiğiniz için teşekkür ederiz. Ekip üyelerimiz en kısa sürede sizlerle iletişime geçecektir.
Rezervasyonunuzu gönderdiğiniz için teşekkür ederiz! Ekibimizden bir yetkili kısa süre içinde sizinle iletişime geçecektir.
Süre 14 Saat
Eğitim İçeriği
Yapay Zeka Egemenliği ve LLM Yerel Dağıtımı
- Bulut LLM'lerinin riskleri: veri saklama, girdiler üzerinde eğitim, yabancı yargı yetkisi.
- Ollama mimarisi: model sunucusu, kayıt defteri ve OpenAI ile uyumlu API.
- vLLM, llama.cpp ve Text Generation Inference ile karşılaştırma.
- Model lisanslama: Llama, Mistral, Qwen ve Gemma şartları.
Kurulum ve Donanım Ayarları
- Linux üzerinde CUDA ve ROCm desteğiyle Ollama kurulumu.
- Sadece CPU kullanılan yedek (fallback) çözüm ve AVX/AVX2 optimizasyonu.
- Docker dağıtımı ve kalıcı hacim (persistent volume) eşlemesi.
- Çoklu GPU kurulumu ve VRAM tahsis stratejileri.
Model Yönetimi
- Ollama kayıt defterinden model çekme: ollama pull llama3.
- HuggingFace ve TheBloke'ten GGUF modellerinin içe aktarılması.
- Özetleme (Quantization) seviyeleri: Q4_K_M, Q5_K_M, Q8_0 ödünleşimleri.
- Model değiştirme ve eşzamanlı model yükleme sınırları.
Özel Modelfile'lar
- Modelfile sözdizimi yazma: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Sıcaklık (temperature), top_p ve repeat_penalty ayarlaması.
- Rol-odaklı davranış için sistem istemi (system prompt) mühendisliği.
- Yerel kayıt defterine özel modellerin oluşturulması ve yayımlanması.
API Entegrasyonu
- OpenAI ile uyumlu /v1/chat/completions uç noktası.
- Akışkan (streaming) yanıtlar ve JSON modu.
- LangChain, LlamaIndex ve özel uygulamalarla entegrasyon.
- Ters vekil (reverse proxy) ile kimlik doğrulama ve hız sınırlaması.
Performans Optimizasyonu
- Bağlam penceresi boyutlandırma ve KV önbellek (KV cache) yönetimi.
- Toplu çıkarım (batch inference) ve paralel istek işleme.
- CPU iş parçacığı (thread) tahsisi ve NUMA farkındalığı.
- GPU kullanımının ve bellek baskısının izlenmesi.
Güvenlik ve Uyum
- Model sunum uç noktaları için ağ yalıtımı.
- Girdi filtreleme ve çıktı denetim hatları (pipelines).
- İstemlerin (prompts) ve tamamlamaların (completions) denetim günlüğü.
- Model menşei ve özet (hash) doğrulama.
Kurs İçin Gerekli Önbilgiler
- Orta seviye Linux ve konteyner yönetimi bilgisi.
- Makine öğrenimi ve dönüştürücü (transformer) modellerin yüksek seviyede anlaşılması.
- REST API'leri ve JSON ile aşinalık.
Hedef Kitle
- Bulut LLM API'lerini değiştiren yapay zeka mühendisleri ve geliştiricileri.
- Veri hassasiyeti nedeniyle bulut modeli kullanımını engelleyen kuruluşlar.
- Hava-yalıtımlı (air-gapped) dil modelleri gerektiren hükümet ve savunma ekipleri.
