Bize Ulaşın
 Süre 21 Saat

Eğitim İçeriği

Ollama Ölçeklendirmesine Giriş

  • Ollama'nın mimarisi ve ölçeklendirme hususları
  • Çok kullanıcılı dağıtımlarda yaygın darboğazlar
  • Altyapı hazırlığı için en iyi uygulamalar

Kaynak Tahsisi ve GPU Optimizasyonu

  • Verimli CPU/GPU kullanım stratejileri
  • Bellek ve bant genişliği hususları
  • Conteyner düzeyindeki kaynak kısıtlamaları

Conteyner ve Kubernetes ile Dağıtım

  • Docker ile Ollama'nın conteynerize edilmesi
  • Kubernetes kümelerinde Ollama çalıştırma
  • Yük dengeleme ve servis keşfi

Otomatik Ölçeklendirme ve Toplu İşlem

  • Ollama için otomatik ölçeklendirme politikalarının tasarlanması
  • Hacim optimizasyonu için toplu çıkarım teknikleri
  • Gecikme ile hacim arasındaki ödünleşimler

Gecikme Optimizasyonu

  • Çıkarım performansının profillenmesi
  • Önbellekleme stratejileri ve model ısıtma
  • I/O ve iletişim yükünün azaltılması

İzleme ve Gözlemlenebilirlik

  • Metrikler için Prometheus entegrasyonu
  • Grafana ile gösterge paneli oluşturma
  • Ollama altyapısı için uyarı ve olay yanıtı

Maliyet Yönetimi ve Ölçeklendirme Stratejileri

  • Maliyet duyarlı GPU tahsisi
  • Bulut ile yerinde dağıtım hususları
  • Sürdürülebilir ölçeklendirme stratejileri

Özet ve Sonraki Adımlar

Kurs İçin Gerekli Önbilgiler

  • Linux sistem yönetimi deneyimi
  • Conteynerizasyon ve orkestrasyon hakkında anlayış
  • Makine öğrenimi modeli dağıtımıyla aşinalık

Hedef Kitle

  • DevOps mühendisleri
  • ML altyapı ekipleri
  • Alan güvenilirliği mühendisleri

Katılımcı Sayısı


Katılımcı başına fiyat

Yaklaşan Etkinlikler

İlgili Kategoriler