Bizi tercih ettiğiniz için teşekkür ederiz. Ekip üyelerimiz en kısa sürede sizlerle iletişime geçecektir.
Rezervasyonunuzu gönderdiğiniz için teşekkür ederiz! Ekibimizden bir yetkili kısa süre içinde sizinle iletişime geçecektir.
Eğitim İçeriği
Giriş ve Tanılama Temelleri
- LLM sistemlerindeki başarısızlık modlarına genel bakış ve Ollama spesifik sorunları
- Tekrarlanabilir deneyler ve kontrol edilen ortamlar oluşturma
- Hata ayıklama araç takımı: yerel günlükler, istek/yanıt yakalama ve kumbara kullanımı
Başarısızlıkların Tekrarlanması ve yalıtılması
- Minimum hatalı örnekler ve tohumlar oluşturma teknikleri
- Durumlu vs. durumsuz etkileşimler: bağlamla ilgili hataların yalıtılması
- Belirginlik, rasgelelik ve belirsiz davranışların kontrolü
Davranışsal Değerlendirme ve Metrikler
- Nicel metrikler: doğruluk, ROUGE/BLEU varyantları, kalibrasyon ve perplexity vekilleri
- Nitel değerlendirmeler: insan-döngüsü içi puanlama ve rubrik tasarımı
- Görev-spesifik doğruluk kontrolü ve kabul kriterleri
Otomatik Test ve Geri Dönüş
- Promptlar ve bileşenler için birim testleri, senaryo ve uçtan uca testler
- Regresssion suit'leri oluşturma ve altın örnek bazları
- Ollama model güncellemeleri ve otomatik doğrulama kapıları için CI/CD entegrasyonu
Gözlem Yeteneği ve İzleme
- Yapılandırılmış günlükler, dağıtılmış izler ve korelasyon kimlikleri
- Ana operasyonel metrikler: gecikme süresi, token kullanımı, hata oranları ve kalite sinyalleri
- Hızlı uyarılar, panolar ve model destekli hizmetler için SLI/SLO'lar
Gelişmiş Kök Sebep Analizi
- Graphed promptlar, araç çağrıları ve çok turlu akışlarda izleme
- Karşılaştırmalı A/B tanı ve ablasyon çalışmaları
- Data kaynakları, dataset hata ayıklaması ve dataset nedeniyle oluşan başarısızlıkların giderilmesi
Güvenlik, Dayanıklılık ve Giderme Stratejileri
- Mitigasyonlar: filtreleme, zeminlendirme, arama artışı ve prompt desteklemeleri
- Rollback, canary ve adımlı yayım desenleri model güncellemeleri için
- Post-mortem, öğrenilen dersler ve sürekli iyileştirme döngüleri
Özet ve Sonraki Adımlar
Kurs İçin Gerekli Önbilgiler
- Güçlü deneyim, LLM uygulamalarını oluşturma ve dağıtma
- Ollama iş akışlarıyla ve model barındırma ile aşina olmak
- Python, Docker ve temel gözlem araçları konusunda rahat hissetmek
Hedef Kitle
- AI mühendisleri
- ML Ops profesyonelleri
- Üretim LLM sistemlerinden sorumlu QA takımları
35 Saat