EXO: Uçtan Uca Yerel AI Küme Dağıtımı Eğitimi

EXO ve Yerel AI Kümeleme Tanıtımı

• EXO çerçevesi ve exo-explore ekosistmine genel bakış
• Merkezi bulut çıkarımı vs dağıtık yerel çıkarım karşılaştırması
• Mimari: libp2p cihaz keşfi, MLX arka ucu, dashboard ve API katmanları
• Donanım gereksinimleri: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, paylaşımlı depolama

macOS Üzerine EXO Yüklemesi

• Xcode, Metal ToolChain ve macOS ön gereksinimlerinin kurulumu
• uv, Node.js ve Rust nightly araç zincirinin yüklenmesi
• Apple Silicon izleme için sabitlenmiş macmon fork'unun kurulması
• Depoyu klonlama ve npm ile dashboard inşası
• EXO'yu kaynaktan çalıştırma ve localhost:52415 dashboard doğrulaması

Linux Üzerine EXO Yüklemesi

• apt veya Homebrew aracılığıyla bağımlılıkların yüklenmesi (Linux'ta)
• uv, Node.js 18+ ve Rust nightly'in yapılandırılması
• Dashboarın inşası ve EXO'yu yalnızca CPU modunda çalıştırma
• Dizin yapısı: Yapılandırma, veri, önbellek ve günlükler için XDG Temel Dizin yolları

Otomatik Cihaz Keşfi ve Küme Oluşturma

• Yerel ağlar üzerinden libp2p tabanlı otomatik keşif mantığını anlama
• Küme izolasyonu için EXO_LIBP2P_NAMESPACE ile özel ad alanları yapılandırma
• Dashboar küme görünümünde düüm üyeliğini doğrulama
• Keşif hataları ve ağ segmentasyon sorunlarının çözümü

Thunderbolt 5 Üzerinde RDMA Etkinleştirme

• RDMA mimarisi ve %99 gecikme süresi azaltma iddiası
• macOS Kurtarma modunda rdma_ctl ile RDMA etkinleştirme
• Kablo gereksinimleri ve Mac Studio'daki bağlantı noktası topolojisi kısıtlamaları
• Tüm küme düğümleri üzerinde macOS sürümlerinin eşleştirilmesi
• RDMA keşfi ve DHCP yapılandırması sorunlarını giderme

Önde Gelen Modellerin Dağıtımı

• Dashboar kullanılarak DeepSeek v3.1, Qwen3-235B ve Llama ailesi modellerinin yüklenip parçalara ayrılması (sharding)
• \/instance\/previews API uç noktası ile örnek yerleşimlerinin önizlenmesi
• Pipeline veya tensör-paralel sharding ile model örnekleri oluşturma
• HuggingFace hub'dan özel model kartları yapılandırma

İzleme ve Sorun Giderme

• EXO günlüklerini okuma ve dağıtık izlemeyi anlama
• Dashboar küme görünümündeki küme sağlığını yorumlama
• Çalışan düğüm hatalarını ve yeniden bağlanma davranışlarını tanımlama
• Performans darboğazı analizi için EXO_TRACING_ENABLED kullanımı

Küme Bakımı ve Güncellemeler

• EXO ikili dosyalarının güncellenmesi ve dashboard yeniden inşası prosedürleri
• Model önbelleklerinin taşınması ve NFS üzerinden önceden indirilmiş modellerin yönetimi
• Düğümlerin zarifçe kaldırılması ve yük dengeleme