Eğitim İçeriği

Giriş ve Tanıtlama Temelleri

  • LLM sistemlerindeki hata modları ve yaygın Ollama belirli sorunlarla ilgili genel bir bakış
  • Yinelenebilir deneyleri ve kontrol edilmiş ortamları oluşturma
  • Hata ayıklama araç seti: yerel günlükler, istek/yanıt kayıtları ve sandboxing

Hataların Tekrarlanması ve Izolasyonu

  • Minimum hata örneği ve çekirdekleri oluşturma teknikleri
  • Durumsal vs durumsuz etkileşimler: bağlamla ilgili hataları izole etme
  • Teyit, rastgelelik ve belirsiz davranışları kontrol etme

İşlem Değerlendirmesi ve Ölçümler

  • Sayısal ölçüm: doğruluk, ROUGE/BLEU variantları, kalibrasyon ve perpleksite proxileri
  • Kişiye dayalı değerlendirme: insan dahil puanlama ve değerlendirme kılavuz tasarımı
  • Görev özel tutarlılık kontrolü ve kabul kriterleri

Otomatik Test ve Gerileme

  • Sorbular ve bileşenler için birim testleri, senaryo ve uçtan uca testleri
  • Gerileme paketlerini oluşturma ve altın örnek referansları
  • Ollama model güncellemeleri ve otomatik doğrulama kaplamaları için CI/CD entegrasyonu

Gözlemlenebilirlik ve İzleme

  • Yapılandırılmış günlükler, dağıtılmış izlemeler ve korelasyon kimlikleri
  • Kilit operasyonel ölçüm: gecikme süresi, belirtke kullanım, hata oranları ve kalite sinyalleri
  • Uyarılar, panolar ve model destekli hizmetler için SLIs/SLOs (İşlevsel Performans Hedefleri)

Gelişmiş Kök Sebep Analizi

  • Çizelgeler üzerinden izleme, araç çağrıları ve çok adımlı akışlar
  • Karşılaştırmalı A/B tanı断句并翻译剩下的部分...

    Safety, Robustness, and Remediation Strategies

    • Mitigations: filtering, grounding, retrieval augmentation, and prompt scaffolding
    • Rollback, canary, and phased rollout patterns for model updates
    • Post-mortems, lessons learned, and continuous improvement loops

    Summary and Next Steps

    Güvenlik, Dayanıklılık ve Düzeltme Stratejileri

    • Daraltma stratejileri: filtreleme, yerleştirme, veri alma artırma ve soru支架的翻译从"Mitigations"开始:

      Güvenlik, Dayanıklılık ve Düzeltme Stratejileri

      • Daraltma stratejileri: filtreleme, yerleştirme, veri alma artırma ve soru yapısı dayatma
      • Model güncellemeleri için geri alım, kanarya ve aşamalı sunum desenleri
      • Otomatyik analizler, öğrendiklerimiz ve sürekli iyileştirme döngüleri

      Özet ve Gelecek Adımlar

Kurs İçin Gerekli Önbilgiler

  • Güçlü LLM uygulamaları oluşturma ve dağıtma deneyimi
  • Ollama iş akışlarıyla ve model barındırmasıyla ilgili bilgi
  • Python, Docker ve temel gözlem araçları ile rahatlık

Hedef Kitle

  • AI mühendisleri
  • ML Ops profesyonelleri
  • Üretim LLM sistemleri için sorumlu QA ekibi
 35 Saat

Katılımcı Sayısı


Kişi Başına Fiyat

Yaklaşan Etkinlikler

İlgili Kategoriler