Bizi tercih ettiğiniz için teşekkür ederiz. Ekip üyelerimiz en kısa sürede sizlerle iletişime geçecektir.
Rezervasyonunuzu gönderdiğiniz için teşekkür ederiz! Ekibimizden bir yetkili kısa süre içinde sizinle iletişime geçecektir.
Eğitim İçeriği
Yapay Zeka Egemenliği ve Büyük Dil Modeli Yerel Dağıtımı
- Bulut tabanlı büyük dil modellerinin riskleri: veri depolama, girişlerin eğitilmesine dahil edilme, yabancı yargı yetkisi.
- Ollama mimarisi: model sunucusu, registry ve OpenAI ile uyumlu API.
- vLLM, llama.cpp ve Text Generation Inference ile karşılaştırma.
- Model lisansları: Llama, Mistral, Qwen ve Gemma şartları.
Yükleme ve Donanım Kurulumu
- CUDA ve ROCm desteği ile Linux üzerinde Ollama yükleme.
- Yalnızca CPU destekli yedekleme ve AVX/AVX2 optimizasyonu.
- Docker dağıtımı ve kalıcı hacim eşleme.
- Çoklu GPU kurulumu ve VRAM tahsis stratejileri.
Model Yönetimi
- Ollama registry'sinden modelleri çekme: ollama pull llama3.
- HuggingFace ve TheBloke'ten GGUF modelleri içe aktarma.
- Sıkıştırma seviyeleri: Q4_K_M, Q5_K_M, Q8_0 arasındaki dengeler.
- Model değiştirme ve eşzamanlı model yükleme sınırları.
Özel Modelfile'lar
- Modelfile sözdizimi yazma: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Sıcaklık (temperature), top_p ve repeat_penalty ayarlamaları.
- Rol bazlı davranış için sistem istemi mühendisliği.
- Yerel registry'ye özel modeller oluşturma ve yayınlama.
API Entegrasyonu
- OpenAI ile uyumlu /v1/chat/completions endpointi.
- Akış yanıtı (streaming) ve JSON modu.
- LangChain, LlamaIndex ve özel uygulamalarla entegrasyon.
- Ters proxy ile kimlik doğrulama ve oran sınırlama.
Performans Optimizasyonu
- Bağlam penceresi boyutlandırma ve KV önbellek yönetimi.
- Toplu çıkarım ve paralel istek işleme.
- CPU iş parçacığı tahsisi ve NUMA farkındalığı.
- GPU kullanımının izlenmesi ve bellek baskısının takibi.
Güvenlik ve Uyumluluk
- Model sunma uç noktaları için ağ izoleme.
- Giriş filtreleme ve çıktı moderasyon boruhatları.
- İstemlerin ve tamamlamaların denetim günlüğe kaydı.
- Model kökeni ve hash doğrulama.
Kurs İçin Gerekli Önbilgiler
- Ara düzey Linux ve konteyner yönetimi bilgisi.
- Makine öğrenimi ve transformer modellerine ilişkin genel düzeyde anlayış.
- REST API'leri ve JSON'a aşinalık.
Hedef Kitle
- Buluttaki büyük dil modeli API'lerini değiştirmek isteyen yapay zeka mühendisleri ve geliştiriciler.
- Veri hassasiyeti nedeniyle bulut model kullanımını engelleyen organizasyonlar.
- Ağdan izole (air-gapped) dil modelleri gerektiren hükümet ve savunma ekipleri.
14 Saatler
