Bize Ulaşın

Eğitim İçeriği

EXO ve Yerel AI Kümeleme Tanıtımı

  • EXO çerçevesi ve exo-explore ekosistmine genel bakış
  • Merkezi bulut çıkarımı vs dağıtık yerel çıkarım karşılaştırması
  • Mimari: libp2p cihaz keşfi, MLX arka ucu, dashboard ve API katmanları
  • Donanım gereksinimleri: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, paylaşımlı depolama

macOS Üzerine EXO Yüklemesi

  • Xcode, Metal ToolChain ve macOS ön gereksinimlerinin kurulumu
  • uv, Node.js ve Rust nightly araç zincirinin yüklenmesi
  • Apple Silicon izleme için sabitlenmiş macmon fork'unun kurulması
  • Depoyu klonlama ve npm ile dashboard inşası
  • EXO'yu kaynaktan çalıştırma ve localhost:52415 dashboard doğrulaması

Linux Üzerine EXO Yüklemesi

  • apt veya Homebrew aracılığıyla bağımlılıkların yüklenmesi (Linux'ta)
  • uv, Node.js 18+ ve Rust nightly'in yapılandırılması
  • Dashboarın inşası ve EXO'yu yalnızca CPU modunda çalıştırma
  • Dizin yapısı: Yapılandırma, veri, önbellek ve günlükler için XDG Temel Dizin yolları

Otomatik Cihaz Keşfi ve Küme Oluşturma

  • Yerel ağlar üzerinden libp2p tabanlı otomatik keşif mantığını anlama
  • Küme izolasyonu için EXO_LIBP2P_NAMESPACE ile özel ad alanları yapılandırma
  • Dashboar küme görünümünde düüm üyeliğini doğrulama
  • Keşif hataları ve ağ segmentasyon sorunlarının çözümü

Thunderbolt 5 Üzerinde RDMA Etkinleştirme

  • RDMA mimarisi ve %99 gecikme süresi azaltma iddiası
  • macOS Kurtarma modunda rdma_ctl ile RDMA etkinleştirme
  • Kablo gereksinimleri ve Mac Studio'daki bağlantı noktası topolojisi kısıtlamaları
  • Tüm küme düğümleri üzerinde macOS sürümlerinin eşleştirilmesi
  • RDMA keşfi ve DHCP yapılandırması sorunlarını giderme

Önde Gelen Modellerin Dağıtımı

  • Dashboar kullanılarak DeepSeek v3.1, Qwen3-235B ve Llama ailesi modellerinin yüklenip parçalara ayrılması (sharding)
  • \/instance\/previews API uç noktası ile örnek yerleşimlerinin önizlenmesi
  • Pipeline veya tensör-paralel sharding ile model örnekleri oluşturma
  • HuggingFace hub'dan özel model kartları yapılandırma

İzleme ve Sorun Giderme

  • EXO günlüklerini okuma ve dağıtık izlemeyi anlama
  • Dashboar küme görünümündeki küme sağlığını yorumlama
  • Çalışan düğüm hatalarını ve yeniden bağlanma davranışlarını tanımlama
  • Performans darboğazı analizi için EXO_TRACING_ENABLED kullanımı

Küme Bakımı ve Güncellemeler

  • EXO ikili dosyalarının güncellenmesi ve dashboard yeniden inşası prosedürleri
  • Model önbelleklerinin taşınması ve NFS üzerinden önceden indirilmiş modellerin yönetimi
  • Düğümlerin zarifçe kaldırılması ve yük dengeleme

Kurs İçin Gerekli Önbilgiler

  • Ağ temelleri (IP, subnetting, güvenlik duvarları) hakkında anlayış
  • macOS veya Linux komut satırı yönetimi deneyimi
  • Python paket yönetimi (pip/uv) ve Node.js araç setine aşinalık

Hedef Kitle

  • Sistem yöneticileri
  • DevOps mühendisleri
  • Yerel LLM dağıtımından sorumlu AI altyapı mimarları
 21 Saatler

Katılımcı Sayısı


Katılımcı başına fiyat

Yaklaşan Etkinlikler

İlgili Kategoriler