Bize Ulaşın

Eğitim İçeriği

LLMOps'e Giriş

  • LLMOps vs MLOps: LLM'lerin işletilmesine özgü zorluklar
  • LLM uygulama yaşam döngüsü: isteği, değerlendir, dağıt, izle
  • GenAI uygulamaları için üretim hazırlığı kontrol listesi

İsteme Yönetimi ve Sürümleştirme

  • İsteği şabonlama sistemleri ve değişken enjeksiyonu
  • Otomatik regresyon testi ile istekler için semantik sürümleştirme
  • İstek kayıt defterleri ve işbirliği iş akışları

Ölçeklemede LLM Değerlendirme

  • Değerlendirme boyutları: doğruluk, uygunluk, güvenlik, temellendirilmişlik
  • LLM-yargıç metriklari ve insan değerlendirme hatları
  • Otomatik eval çerçeveleri: RAGAS, DeepEval ve özel değerlendireiciler
  • LLM dağıtımları için CI/CD'deki kalite kapıları

Güvenlik Önlemleri ve İçerik Yönetimi

  • Giriş ve çıkış güvenlik önlemleri: NeMo Guardrails ve Guardrails AI
  • Özel veri (PII) tespiti, toksisite filtreleme ve konu sınırları
  • Zincir kırma ve isteğe enjeksiyonu savunma stratejileri
  • Güvenlik güvencesi için LLM uygulamalarının kırmızı takıma karşı testi (red-teaming)

LLM Gözlemlenebilirliği ve İzleme

  • Telemetri: token kullanımı, gecikme süresi, maliyet ve kalite metriklari
  • LLM çıktılarında ve gömme uzaylarında sapma tespiti
  • Çoklu dönüş ajan konuşmaları için oturum düzeyinde izleme
  • LangSmith, Arize ve OpenTelemetry ile panolar ve uyarılar

AI Ağ Geçidi ve Model Orchestration

  • LiteLLM ve Portkey ile çok sağlayıcı yönlendirme
  • Yedekleme (fallback) stratejileri, yeniden deneme mantığı ve devre kesiciler
  • Maliyet bilinciyle model seçimi ve yük dengesi
  • Oran sınırlama, kota yönetimi ve API anahtar yönetimi

Performans Optimizasyonu

  • Vektör depoları ve tam eşleşme stratejileri ile semantik önbellekleme
  • Kısıtlı kodlama ile yapılandırılmış çıktı zorlaması
  • Toplu işleme, akış (streaming) ve eşzamanlılık desenleri
  • Model sağlayıcıları arasında gecikme optimizasyonu

Yönetim, Uyumluluk ve Denetim

  • LLM denetim izleri: istek günlükleri, yanıt günlükleri ve karar kökeni
  • LLM API'leri için veri yerleşimi ve gizlilik hususları
  • Kurumlar içindeki LLM kullanımı için politika olarak kod (Policy-as-code)
  • Dahili bir LLM operasyonları uygulama kılavuzu oluşturma

Kurs İçin Gerekli Önbilgiler

  • LLM destekli uygulamalar geliştirme veya entegre etme deneyimi.
  • Python ve REST API'larına aşinalık.
  • İsteğe mühendisliği kavramlarına temel düzeyde anlayış.

Hedef Kitle

  • LLM operasyonlarına geçiş yapan ML mühendisleri ve MLOps uygulayıcıları.
  • LLM altyapısından sorumlu platform mühendisleri.
  • Üretim ortamındaki GenAI dağıtımlarını yöneten teknik liderler.
 14 Saatler

Katılımcı Sayısı


Katılımcı başına fiyat

Danışanlarımızın Yorumları (2)

Yaklaşan Etkinlikler

İlgili Kategoriler