Bize Ulaşın

Eğitim İçeriği

EXO ve Yerel Yapay Zeka Kümeleme Tanıtımı

  • EXO çerçevesi ve exo-explore ekosisteminin genel görünümü.
  • K merkezi bulut çıkarımı ile dağıtık yerel çıkarım arasındaki karşılaştırma.
  • Mimari: libp2p cihaz keşfi, MLX backend, yönetim paneli ve API katmanları.
  • Gereksinimler: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, paylaşımlı depolama.

macOS üzerine EXO kurulumu

  • Xcode, Metal Araç Zinciri ve macOS öncü gereksinimlerinin hazırlanması.
  • uv, Node.js, Rust nightly araç zincirinin kurulumu.
  • Apple Silicon izleme için kilitlenmiş macmon çatalının (fork) yüklenmesi.
  • Depo klonlama ve npm ile yönetim panelinin oluşturulması.
  • EXO'yu kaynak koddan çalıştırma ve localhost:52415 yönetim panelinin doğrulanması.

Linux üzerine EXO kurulumu

  • Linux üzerinde apt veya Homebrew aracılığıyla bağımlılıkların kurulumu.
  • uv, Node.js 18+ ve Rust nightly yapılandırması.
  • Yönetim panelinin oluşturulması ve EXO'nun yalnızca CPU modunda çalıştırılması.
  • Dizin düzeni: yapılandırma, veri, önbellek ve günlükler için XDG Temel Dizin yolları.

Otomatik Cihaz Keşfi ve Küme Oluşturma

  • Yerel ağlar üzerinden libp2p tabanlı otomatik keşfi anlama.
  • Küme izolasyonu için EXO_LIBP2P_NAMESPACE ile özel ad alanlarının yapılandırılması.
  • Yönetim paneli küme görünümünde düüm üyeliğinin doğrulanması.
  • Keşif hatalarını ve ağ segmentasyonu sorunlarını ele alma.

Thunderbolt 5 Üzerinden RDMA Etkinleştirme

  • RDMA mimarisi ve %99 gecikme süresi azaltımı iddiası.
  • rdma_ctl kullanılarak macOS Kurtarma Modu'nda RDMA'nın etkinleştirilmesi.
  • Mac Studio'daki kablo gereksinimleri ve bağlantı noktası topolojisi kısıtlamaları.
  • Tüm küme düğümleri arasında macOS sürümlerinin eşitlenmesi.
  • RDMA keşfi ve DHCP yapılandırması ile ilgili sorun giderme.

İleri Düzey Modellerin Dağıtımı

  • Yönetim panelini kullanarak DeepSeek v3.1, Qwen3-235B ve Llama ailesi modellerini yükleme ve parçalama.
  • /instance/previews API uç noktası ile örnek yerleşimlerini önizleme.
  • İşlem hattı veya tensör-paralel parçalama ile model örnekleri oluşturma.
  • HuggingFace hub'dan özel model kartlarının yapılandırılması.

İzleme ve Sorun Giderme

  • EXO günlüklerinin okunması ve dağıtık izlemenin anlaşılması.
  • Yönetim paneli küme görünümünde küme sağlığının yorumlanması.
  • Çalışan düğüm hatalarının ve yeniden bağlanma davranışının tanılanması.
  • Performans darboğazı analizi için EXO_TRACING_ENABLED kullanımı.

Küme Bakımı ve Güncellemeler

  • EXO ikili dosyalarının güncellenmesi ve yönetim panelinin yeniden oluşturulma prosedürleri.
  • Model önbelleklerinin taşınması ve NFS üzerinden önceden indirilen modellerin yönetimi.
  • Düğümlerin zarifçe çıkarılması ve iş yüklerinin yeniden dengeleme.

Kurs İçin Gerekli Önbilgiler

  • Ağ temelleri (IP, ağ altı ayırma, güvenlik duvarları) hakkında anlayış.
  • macOS veya Linux komut satırı yönetimi deneyimi.
  • Python paket yönetimi (pip/uv) ve Node.js araç takımlarına aşinalık.

Hedef Kitle

  • Sistem yöneticileri.
  • DevOps mühendisleri.
  • Yerel (on-premise) LLM dağıtımından sorumlu yapay zeka altyapı mimarları.
 21 Saatler

Katılımcı Sayısı


Katılımcı başına fiyat

Yaklaşan Etkinlikler

İlgili Kategoriler