Bize Ulaşın

Eğitim İçeriği

EXO Altyapı Olarak Kod

  • EXO dağıtım kalıplarına genel bakış: tek düğüm, çoklu düğüm ve RDMA kümeleri
  • Yapılandırma yönetimi ile bağımlılık kurulumunu otomatikleştirme (Xcode, uv, Node.js, Rust)
  • Yeniden üretilebilir EXO derlemeleri ve geliştirici ortamları için Nix flakes kullanımı
  • Otوماتik küme tahsisi için Ansible playbook'ları veya kabuk komut dosyaları yazma

Yeniden Üretilebilir Derlemeler ve CI Entegrasyonu

  • Bağımlılıkları sabitleme ve CI süreçlerinde dashboard'u oluşturma
  • GitHub Actions veya GitLab CI çalıştırıcılarında EXO duman testi çalıştırma
  • macOS ve Linux VM'ler için altın görüntüler ve anlık görüntüye dayalı geri alma iş akışları oluşturma
  • Kişiselleştirilmiş model kartlarını uygulama koduyla birlikte sürümleme

Küme Keşfi ve Ağ Otomasyonu

  • Güvenilir libp2p düğüm keşfi için mDNS ve statik DNS yapılandırma
  • macOS'ta ağ profili oluşturma ve Thunderbolt köprü yönetimini otomatikleştirme
  • Geliştirme, ön üretim ve üretim kümelerini ayırmak için özel ad alanlarını (EXO_LIBP2P_NAMESPACE) kullanma
  • Çok kiracılı ortamlar için güvenlik duvarı kuralları ve ağ segmentasyonu

Depolama ve Model Yaşam Döngüsü Yönetimi

  • EXO_MODELS_DIRS ve EXO_MODELS_READ_ONLY_DIRS stratejilerini tasarım
  • Hızlı tahsis için NFS veya SAN paylaşımlarını salt okunur model havuzları olarak bağlama
  • Eski önbelleklerin çöp toplama ve sürümlü ağırlık tutma politikaları
  • Döngüsel güncellemelerden önce model öncesi indirmelerini ve sağlık kontrollerini otomatikleştirme

İzleme ve Uyarı

  • EXO günlüklerini merkezi günlüklemeye (ELK, Loki veya Splunk) gönderme
  • EXO_TRACING_ENABLED çıktısından Grafana panoları oluşturma
  • Küme üyelik değişiklikleri, OOM olayları ve çıkarım gecikmesi artışları konusunda uyarı verme
  • macmon donanım telemetrisini model performans regresyonlarıyla ilişkilendirme

Güncelleme, Geri Alma ve Felaket Kurtarma

  • Donanım genelinde dağıtım öncesi bir canary düğümünde EXO ikili güncellemelerini hazırlama
  • Model seviyesinde geri alma: yeniden indirmeden nicemleştirilmiş sürümler arasında geçiş
  • Küme durumunu, özel ad alanlarını ve önbelleğe alınmış ağırlıkları yedekleme ve geri yükleme
  • Tam küme yeniden inşası senaryoları için kurtarma kılavuzlarını belgelendirme

Güvenlik Sertleştirme ve Uyumluluk

  • Dashboard ve API için ters vekil katmanında (nginx, traefik) TLS uygulama
  • EXO uç noktaları için API hız sınırlama ve IP beyaz listeleme uygulama
  • Kümeleri VLAN'lar ve sıfır-güvenlik ağ politikaları ile izole etme
  • Erişimi denetleme ve dağıtılan modellerin ve sürümlerin envanterini tutma

Kurs İçin Gerekli Önbilgiler

  • DevOps uygulamaları hakkında deneyim (CI/CD, IaC, konteyner orkestrasyonu)
  • macOS veya Linux sistem yönetimi ve paket yönetimi hakkında bilgi
  • Ağ, DNS ve depolama kavramlarının anlaşılması

Hedef Kitle

  • DevOps mühendisleri
  • Altyapı mimarları
  • Kendi içi (on-premise) AI yükleri için sorumlu SRE'ler
 21 Saatler

Katılımcı Sayısı


Katılımcı başına fiyat

Danışanlarımızın Yorumları (2)

Yaklaşan Etkinlikler

İlgili Kategoriler