Eğitim İçeriği

Ollama Ölçeklendirme Giriş

  • Ollama mimarisi ve ölçekleme düşünceleri
  • Bir çok kullanıcıda yaygın engeller
  • Altyapı hazır olması için en iyi uygulamalar

Kaynak Taşınımı ve GPU Optimizasyonu

  • Verimli CPU/GPU kullanım stratejileri
  • Bellek ve bant genişliği düşünceleri
  • Konteyner düzeyinde kaynak kısıtlamaları

Konteynerler ve Kubernetes ile Dağıtım

  • Docker ile Ollama'yi konteynerleştirme
  • Ollama'yı Kubernetes klütorlarında çalıştırma
  • Yük dengeleme ve hizmet keşfi

Oto Ölçeklendirme ve Toplama

  • Ollama için oto ölçeklendirme politikaları tasarımı
  • Aşırı aktarım optimizasyonu için toplu çıkarım teknikleri
  • Gecikme süresi vs. aşırı aktarım değişimleri

Gecikme Süresi Optimizasyonu

  • Çıkarma performansını profilleme
  • Önbellekleme stratejileri ve model ısınma
  • G/Ç ve iletişim ağırlığını azaltma

İzleme ve Gözlemlenbilirlik

  • Metrikler için Prometheus entegrasyonu
  • Grafana ile panolar oluşturma
  • Ollama altyapısı için uyarılar ve olay yanıt verme

Maliyet Yönetimi ve Ölçeklendirme Stratejileri

  • Maliyet bilinci GPU ataması
  • Bölgesel vs. şirket içi dağıtım düşünceleri
  • Yatable ölçekleme stratejileri

Özet ve Sonraki Adımlar

Kurs İçin Gerekli Önbilgiler

  • Linux sistem yönetimi deneyimi
  • Kapsayıcılar ve orkestrasyonun anlayışı
  • Makine öğrenme modeliployment ile verimli çalışma

Hedef Kitle

  • DevOps mühendisleri
  • ML altyapı ekibi
  • Sitelerin güvenilirlik mühendisleri
 21 Saat

Katılımcı Sayısı


Kişi Başına Fiyat

Yaklaşan Etkinlikler

İlgili Kategoriler