Eğitim İçeriği

Giriş ve Tanılama Temelleri

  • LLM sistemlerindeki başarısızlık modlarına genel bakış ve Ollama spesifik sorunları
  • Tekrarlanabilir deneyler ve kontrol edilen ortamlar oluşturma
  • Hata ayıklama araç takımı: yerel günlükler, istek/yanıt yakalama ve kumbara kullanımı

Başarısızlıkların Tekrarlanması ve yalıtılması

  • Minimum hatalı örnekler ve tohumlar oluşturma teknikleri
  • Durumlu vs. durumsuz etkileşimler: bağlamla ilgili hataların yalıtılması
  • Belirginlik, rasgelelik ve belirsiz davranışların kontrolü

Davranışsal Değerlendirme ve Metrikler

  • Nicel metrikler: doğruluk, ROUGE/BLEU varyantları, kalibrasyon ve perplexity vekilleri
  • Nitel değerlendirmeler: insan-döngüsü içi puanlama ve rubrik tasarımı
  • Görev-spesifik doğruluk kontrolü ve kabul kriterleri

Otomatik Test ve Geri Dönüş

  • Promptlar ve bileşenler için birim testleri, senaryo ve uçtan uca testler
  • Regresssion suit'leri oluşturma ve altın örnek bazları
  • Ollama model güncellemeleri ve otomatik doğrulama kapıları için CI/CD entegrasyonu

Gözlem Yeteneği ve İzleme

  • Yapılandırılmış günlükler, dağıtılmış izler ve korelasyon kimlikleri
  • Ana operasyonel metrikler: gecikme süresi, token kullanımı, hata oranları ve kalite sinyalleri
  • Hızlı uyarılar, panolar ve model destekli hizmetler için SLI/SLO'lar

Gelişmiş Kök Sebep Analizi

  • Graphed promptlar, araç çağrıları ve çok turlu akışlarda izleme
  • Karşılaştırmalı A/B tanı ve ablasyon çalışmaları
  • Data kaynakları, dataset hata ayıklaması ve dataset nedeniyle oluşan başarısızlıkların giderilmesi

Güvenlik, Dayanıklılık ve Giderme Stratejileri

  • Mitigasyonlar: filtreleme, zeminlendirme, arama artışı ve prompt desteklemeleri
  • Rollback, canary ve adımlı yayım desenleri model güncellemeleri için
  • Post-mortem, öğrenilen dersler ve sürekli iyileştirme döngüleri

Özet ve Sonraki Adımlar

Kurs İçin Gerekli Önbilgiler

  • Güçlü deneyim, LLM uygulamalarını oluşturma ve dağıtma
  • Ollama iş akışlarıyla ve model barındırma ile aşina olmak
  • Python, Docker ve temel gözlem araçları konusunda rahat hissetmek

Hedef Kitle

  • AI mühendisleri
  • ML Ops profesyonelleri
  • Üretim LLM sistemlerinden sorumlu QA takımları
 35 Saat

Katılımcı Sayısı


Kişi Başına Fiyat

Yaklaşan Etkinlikler

İlgili Kategoriler