Bizi tercih ettiğiniz için teşekkür ederiz. Ekip üyelerimiz en kısa sürede sizlerle iletişime geçecektir.
Rezervasyonunuzu gönderdiğiniz için teşekkür ederiz! Ekibimizden bir yetkili kısa süre içinde sizinle iletişime geçecektir.
Eğitim İçeriği
AI Egemenliği ve LLM Yerel Dağıtımı
- Bulut LLM'lerinin riskleri: veri saklama, girişlerde eğitme, yabancı yargı yetkisi.
- Ollama mimarisi: model sunucusu, kayıt defteri ve OpenAI uyumlu API.
- vLLM, llama.cpp ve Text Generation Inference ile karşılaştırma.
- Model lisanslaması: Llama, Mistral, Qwen ve Gemma şartları.
Kurulum ve Donanım Ayarı
- CUDA ve ROCm desteğiyle Linux üzerine Ollama kurulumu.
- Yalnızca CPU'lu yedekleme ve AVX/AVX2 optimizasyonu.
- Docker dağıtımı ve kalıcı hacim eşleştirmesi.
- Çoklu GPU kurulumu ve VRAM tahsis stratejileri.
Model Yönetimi
- Ollama kaydından modelleri çekme: ollama pull llama3.
- HuggingFace ve TheBloke'ten GGUF modellerini içe aktarma.
- Kvantizasyon düzeyleri: Q4_K_M, Q5_K_M, Q8_0 arasındaki ticari dengelemeler.
- Model değiştirme ve eşzamanlı model yükleme sınırlamaları.
Özel Modelfile'lar
- Modelfile sözdizimi yazma: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Sıcaklık (temperature), top_p ve repeat_penalty ayarı.
- Rol bazlı davranış için sistem istemi mühendisliği.
- Özel modelleri yerel kayıt defterine oluşturma ve yayınlama.
API Entegrasyonu
- OpenAI uyumlu /v1/chat/completions uç noktası.
- Akış yanıtları ve JSON modu.
- LangChain, LlamaIndex ve özel uygulamalarla entegrasyon.
- Ters vekil sunucu ile kimlik doğrulama ve hız sınırlama.
Performans Optimizasyonu
- Bağlam penceresi boyutlandırma ve KV önbellek yönetimi.
- Toplu çıkarım ve paralel istek işleme.
- CPU iş parçacığı tahsisi ve NUMA farkındalığı.
- GPU kullanımını ve bellek baskısını izleme.
Güvenlik ve Uyumluluk
- Model sunum uç noktaları için ağ izolasyonu.
- Giriş filtreleme ve çıktı moderasyon boruhatları.
- İstemlerin ve tamamlamaların denetim günlüğü.
- Model kökeni ve hash doğrulaması.
Kurs İçin Gerekli Önbilgiler
- Orta düzey Linux ve kapsayıcı yönetimi.
- Makine öğrenimi ve transformer modelleri konusunda yüksek seviyede anlayış.
- REST API'leri ve JSON'da aşinalık.
Hedef Kitle
- Bulut LLM API'lerini değiştiren AI mühendisleri ve geliştiriciler.
- Veri gizliliği nedeniyle bulut modeli kullanımına izin vermeyen organizasyonlar.
- Hava boşluklu (air-gapped) dil modellerine ihtiyaç duyan hükümet ve savunma ekipleri.
14 Saatler
