Eğitim İçeriği
Apache Airflow'a Giriş
- İş akışı orkestrasyonu nedir
- Apache Airflow'un temel özellikleri ve avantajları
- Airflow 2.x iyileştirmeleri ve ekosistem genel bakış
Mimari ve Temel Kavramlar
- Scheduler, web sunucusu ve işçi süreçleri
- DAG'lar, görevler ve operatörler
- Executor'lar ve backend'ler (Local, Celery, Kubernetes)
Kurulum ve Ayar
- Airflow'un yerel ve bulut ortamlarında kurulumu
- Airflow'un farklı executor'larla yapılandırılması
- Metadata veritabanları ve bağlantıların ayarlanması
Airflow Arayüzünü ve Komut Satırı Arayüzünü (CLI) Kullanma
- Airflow web arayüzünün keşfi
- DAG çalıştırmalarının, görevlerin ve logların izlenmesi
- Yönetim için Airflow CLI'ın kullanımı
DAG Oluşturma ve Yönetimi
- TaskFlow API ile DAG oluşturma
- Operatörler, sensörler ve hook'ların kullanımı
- Bağımlılıkların ve zamanlama aralıklarının yönetimi
Airflow'un Veri ve Bulut Hizmetleriyle Entegrasyonu
- Veritabanları, API'ler ve mesaj kuyruklarıyla bağlantı
- Airflow ile ETL boru hatlarının çalıştırılması
- Bulut entegrasyonları: AWS, GCP, Azure operatörleri
İzleme ve Gözlemlenebilirlik
- Görev logları ve gerçek zamanlı izleme
- Prometheus ve Grafana ile metrikler
- E-posta veya Slack ile uyarı ve bildirimler
Apache Airflow'u Güvenli Hale Getirme
- Rol tabanlı erişim denetimi (RBAC)
- LDAP, OAuth ve SSO ile kimlik doğrulama
- Vault ve bulut gizli veri deposu ile gizli verilerin yönetimi
Apache Airflow'u Ölçeklendirme
- Paralellik, eşzamanlılık ve görev kuyrukları
- CeleryExecutor ve KubernetesExecutor'un kullanımı
- Helm ile Kubernetes üzerinde Airflow dağıtımı
Üretim İçin En İyi Uygulamalar
- DAG'lar için sürüm kontrolü ve CI/CD
- DAG'ların test ve hata ayıklanması
- Ölçekli güvenilirlik ve performansın sürdürülmesi
Sorun Giderme ve Optimize Etme
- Başarısız DAG'ların ve görevlerin hata ayıklanması
- DAG performansının optimize edilmesi
- Yaygın tuzaklar ve bunlardan kaçınma yolları
Özet ve Bir Sonraki Adımlar
Kurs İçin Gerekli Önbilgiler
- Python programlama deneyimi
- Veri mühendisliği veya DevOps kavramları hakkında bilgi
- ETL veya iş akışı orkestrasyonu hakkında anlayış
Hedef Kitle
- Veri bilimciler
- Veri mühendisleri
- DevOps ve altyapı mühendisleri
- Yazılım geliştiriciler
Danışanlarımızın Yorumları (7)
Eğitmen, eğitimi katılımcıların düzeyine uyarladı ve tüm sorulara cevap verdi. Çok iletişim kurucuydu ve onunla etkileşime geçmek kolaydı. Eğitimin formatını, birçok pratik alıştırma içermesini gerçekten takdir ettim. Genel olarak, çok etkileşimli ve iyi organize edilmiş bir oturum oldu.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Eğitim - Apache Airflow: Building and Managing Data Pipelines
Yapay Zeka Çevirisi
Eğitim çok uygun oldu. Çok faydalı teoriler ve alıştırmalar vardı.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim her yönden çok doğruydı. Faydalı teorik yönler ve alıştırmalar içeriyordu.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim her yönden mükemmel oldu. Faydalı teorik yönleri ve alıştırmaları vardı.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim tüm yönleriyle mükemmel oldu. Faydalı teorik konular ve uygulamalar içindi.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim her bakımdan çok iyi oldu. Faydalı teorik konular ve alıştırmalar içermekteydi.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim tüm yönleriyle tam isabetliydi. Faydalı teorik konular ve alıştırmalar içeriyordu.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
