Eğitim İçeriği
Apache Airflow'e Giriş
- Workflow orchestration nedir?
- Apache Airflow'un temel özellikleri ve avantajları
- Airflow 2.x iyileştirmeleri ve ekosistemine genel bakış
Mimari ve Temel Kavramlar
- Planlayıcı, web sunucusu ve çalışan süreçler
- DAG'lar (Directed Acyclic Graphs), görevler ve operatörler
- Executor'lar ve arka uçlar (Local, Celery, Kubernetes)
Kurulum ve Ayarlama
- Yerel ve bulut ortamlarında Airflow'u kurma
- Farklı executor'larla Airflow'u yapılandırma
- Meta veri veritabanları ve bağlantıları ayarlama
Airflow Kullanıcı Arayüzü ve CLI'yi Navigasyon
- Airflow web arayüzünü keşfetme
- DAG çalıştırma, görevler ve günlükleri izleme
- Yönetimi için Airflow CLI'yi kullanma
DAG'lara Yazar ve Yönetirken Dikkat Edilecek Noktalar
- TaskFlow API ile DAG oluşturmak
- Operatörler, sensörler ve kancaları kullanma
- Bağımlılıkları yönetme ve zamanlama aralıklarını belirleme
Airflow'u Veri ve Bulut Hizmetleri ile Entegre Etme
- Veritabanlarına, API'lerine ve mesaj kuyruklarına bağlanma
- Airflow ile ETL (Extract, Transform, Load) işlem hattlarını çalıştırma
- AWS, GCP, Azure operatörleriyle bulut entegrasyonları
İzleme ve Gözlemleyebilirlik
- Görev günlükleri ve gerçek zamanlı izleme
- Prometheus ve Grafana ile metrikler
- E-posta veya Slack ile uyarılar ve bildirimler
Apache Airflow'u Güvenli Hale Getirme
- Rol bazlı erişim kontrolü (RBAC)
- LDAP, OAuth ve SSO ile kimlik doğrulama
- Vault ve bulut gizli mağazaları ile sırlar yönetimi
Apache Airflow'u Ölçeklendirme
- Paralellik, eşzamanlılık ve görev kuyrukları
- CeleryExecutor ve KubernetesExecutor'ı kullanma
- Helm ile Kubernetes üzerinde Airflow'u dağıtma
Üretim İçin En İyi Uygulamalar
- DAG'lar için sürüm kontrolü ve CI/CD (Continuous Integration/Continuous Deployment)
- DAG'ları test etme ve hata ayıklama
- Ölçeklendirme esnasında güvenilirliği ve performansı koruma
Sorun Giderme ve Optimizasyon
- Hata veren DAG'ları ve görevleri hata ayıklama
- DAG performansını optimizet etme
- Sıkça karşılaşılan sorunlar ve bunları nasıl önleyeceğiniz
Özet ve Sonraki Adımlar
Kurs İçin Gerekli Önbilgiler
- Python programlaması deneyimi
- Veri mühendisliği veya DevOps kavramlarına aşinalık
- ETL veya iş akışı orchesteasyonu anlayışı
Hedef Kitle
- Veri bilimcileri
- Veri mühendisleri
- DevOps ve altyapı mühendisleri
- Yazılım geliştiricileri
Danışanlarımızın Yorumları (7)
The training was spot on. Very useful theory and exercices.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.