Eğitim İçeriği

Apache Airflow'e Giriş

  • Workflow orchestration nedir?
  • Apache Airflow'un temel özellikleri ve avantajları
  • Airflow 2.x iyileştirmeleri ve ekosistemine genel bakış

Mimari ve Temel Kavramlar

  • Planlayıcı, web sunucusu ve çalışan süreçler
  • DAG'lar (Directed Acyclic Graphs), görevler ve operatörler
  • Executor'lar ve arka uçlar (Local, Celery, Kubernetes)

Kurulum ve Ayarlama

  • Yerel ve bulut ortamlarında Airflow'u kurma
  • Farklı executor'larla Airflow'u yapılandırma
  • Meta veri veritabanları ve bağlantıları ayarlama

Airflow Kullanıcı Arayüzü ve CLI'yi Navigasyon

  • Airflow web arayüzünü keşfetme
  • DAG çalıştırma, görevler ve günlükleri izleme
  • Yönetimi için Airflow CLI'yi kullanma

DAG'lara Yazar ve Yönetirken Dikkat Edilecek Noktalar

  • TaskFlow API ile DAG oluşturmak
  • Operatörler, sensörler ve kancaları kullanma
  • Bağımlılıkları yönetme ve zamanlama aralıklarını belirleme

Airflow'u Veri ve Bulut Hizmetleri ile Entegre Etme

  • Veritabanlarına, API'lerine ve mesaj kuyruklarına bağlanma
  • Airflow ile ETL (Extract, Transform, Load) işlem hattlarını çalıştırma
  • AWS, GCP, Azure operatörleriyle bulut entegrasyonları

İzleme ve Gözlemleyebilirlik

  • Görev günlükleri ve gerçek zamanlı izleme
  • Prometheus ve Grafana ile metrikler
  • E-posta veya Slack ile uyarılar ve bildirimler

Apache Airflow'u Güvenli Hale Getirme

  • Rol bazlı erişim kontrolü (RBAC)
  • LDAP, OAuth ve SSO ile kimlik doğrulama
  • Vault ve bulut gizli mağazaları ile sırlar yönetimi

Apache Airflow'u Ölçeklendirme

  • Paralellik, eşzamanlılık ve görev kuyrukları
  • CeleryExecutor ve KubernetesExecutor'ı kullanma
  • Helm ile Kubernetes üzerinde Airflow'u dağıtma

Üretim İçin En İyi Uygulamalar

  • DAG'lar için sürüm kontrolü ve CI/CD (Continuous Integration/Continuous Deployment)
  • DAG'ları test etme ve hata ayıklama
  • Ölçeklendirme esnasında güvenilirliği ve performansı koruma

Sorun Giderme ve Optimizasyon

  • Hata veren DAG'ları ve görevleri hata ayıklama
  • DAG performansını optimizet etme
  • Sıkça karşılaşılan sorunlar ve bunları nasıl önleyeceğiniz

Özet ve Sonraki Adımlar

Kurs İçin Gerekli Önbilgiler

  • Python programlaması deneyimi
  • Veri mühendisliği veya DevOps kavramlarına aşinalık
  • ETL veya iş akışı orchesteasyonu anlayışı

Hedef Kitle

  • Veri bilimcileri
  • Veri mühendisleri
  • DevOps ve altyapı mühendisleri
  • Yazılım geliştiricileri
 21 Saat

Katılımcı Sayısı


Kişi Başına Fiyat

Danışanlarımızın Yorumları (7)

Yaklaşan Etkinlikler

İlgili Kategoriler