Bize Ulaşın

Eğitim İçeriği

AI Egemenliği ve LLM Yerel Dağıtımı

  • Bulut LLM'lerinin riskleri: veri saklama, girişlerde eğitme, yabancı yargı yetkisi.
  • Ollama mimarisi: model sunucusu, kayıt defteri ve OpenAI uyumlu API.
  • vLLM, llama.cpp ve Text Generation Inference ile karşılaştırma.
  • Model lisanslaması: Llama, Mistral, Qwen ve Gemma şartları.

Kurulum ve Donanım Ayarı

  • CUDA ve ROCm desteğiyle Linux üzerine Ollama kurulumu.
  • Yalnızca CPU'lu yedekleme ve AVX/AVX2 optimizasyonu.
  • Docker dağıtımı ve kalıcı hacim eşleştirmesi.
  • Çoklu GPU kurulumu ve VRAM tahsis stratejileri.

Model Yönetimi

  • Ollama kaydından modelleri çekme: ollama pull llama3.
  • HuggingFace ve TheBloke'ten GGUF modellerini içe aktarma.
  • Kvantizasyon düzeyleri: Q4_K_M, Q5_K_M, Q8_0 arasındaki ticari dengelemeler.
  • Model değiştirme ve eşzamanlı model yükleme sınırlamaları.

Özel Modelfile'lar

  • Modelfile sözdizimi yazma: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Sıcaklık (temperature), top_p ve repeat_penalty ayarı.
  • Rol bazlı davranış için sistem istemi mühendisliği.
  • Özel modelleri yerel kayıt defterine oluşturma ve yayınlama.

API Entegrasyonu

  • OpenAI uyumlu /v1/chat/completions uç noktası.
  • Akış yanıtları ve JSON modu.
  • LangChain, LlamaIndex ve özel uygulamalarla entegrasyon.
  • Ters vekil sunucu ile kimlik doğrulama ve hız sınırlama.

Performans Optimizasyonu

  • Bağlam penceresi boyutlandırma ve KV önbellek yönetimi.
  • Toplu çıkarım ve paralel istek işleme.
  • CPU iş parçacığı tahsisi ve NUMA farkındalığı.
  • GPU kullanımını ve bellek baskısını izleme.

Güvenlik ve Uyumluluk

  • Model sunum uç noktaları için ağ izolasyonu.
  • Giriş filtreleme ve çıktı moderasyon boruhatları.
  • İstemlerin ve tamamlamaların denetim günlüğü.
  • Model kökeni ve hash doğrulaması.

Kurs İçin Gerekli Önbilgiler

  • Orta düzey Linux ve kapsayıcı yönetimi.
  • Makine öğrenimi ve transformer modelleri konusunda yüksek seviyede anlayış.
  • REST API'leri ve JSON'da aşinalık.

Hedef Kitle

  • Bulut LLM API'lerini değiştiren AI mühendisleri ve geliştiriciler.
  • Veri gizliliği nedeniyle bulut modeli kullanımına izin vermeyen organizasyonlar.
  • Hava boşluklu (air-gapped) dil modellerine ihtiyaç duyan hükümet ve savunma ekipleri.
 14 Saatler

Katılımcı Sayısı


Katılımcı başına fiyat

Yaklaşan Etkinlikler

İlgili Kategoriler