Eğitim İçeriği
Apache Airflow'e Giriş
- Workflow orchestration nedir?
- Apache Airflow'un temel özellikleri ve avantajları
- Airflow 2.x iyileştirmeleri ve ekosistemine genel bakış
Mimari ve Temel Kavramlar
- Planlayıcı, web sunucusu ve çalışan süreçler
- DAG'lar (Directed Acyclic Graphs), görevler ve operatörler
- Executor'lar ve arka uçlar (Local, Celery, Kubernetes)
Kurulum ve Ayarlama
- Yerel ve bulut ortamlarında Airflow'u kurma
- Farklı executor'larla Airflow'u yapılandırma
- Meta veri veritabanları ve bağlantıları ayarlama
Airflow Kullanıcı Arayüzü ve CLI'yi Navigasyon
- Airflow web arayüzünü keşfetme
- DAG çalıştırma, görevler ve günlükleri izleme
- Yönetimi için Airflow CLI'yi kullanma
DAG'lara Yazar ve Yönetirken Dikkat Edilecek Noktalar
- TaskFlow API ile DAG oluşturmak
- Operatörler, sensörler ve kancaları kullanma
- Bağımlılıkları yönetme ve zamanlama aralıklarını belirleme
Airflow'u Veri ve Bulut Hizmetleri ile Entegre Etme
- Veritabanlarına, API'lerine ve mesaj kuyruklarına bağlanma
- Airflow ile ETL (Extract, Transform, Load) işlem hattlarını çalıştırma
- AWS, GCP, Azure operatörleriyle bulut entegrasyonları
İzleme ve Gözlemleyebilirlik
- Görev günlükleri ve gerçek zamanlı izleme
- Prometheus ve Grafana ile metrikler
- E-posta veya Slack ile uyarılar ve bildirimler
Apache Airflow'u Güvenli Hale Getirme
- Rol bazlı erişim kontrolü (RBAC)
- LDAP, OAuth ve SSO ile kimlik doğrulama
- Vault ve bulut gizli mağazaları ile sırlar yönetimi
Apache Airflow'u Ölçeklendirme
- Paralellik, eşzamanlılık ve görev kuyrukları
- CeleryExecutor ve KubernetesExecutor'ı kullanma
- Helm ile Kubernetes üzerinde Airflow'u dağıtma
Üretim İçin En İyi Uygulamalar
- DAG'lar için sürüm kontrolü ve CI/CD (Continuous Integration/Continuous Deployment)
- DAG'ları test etme ve hata ayıklama
- Ölçeklendirme esnasında güvenilirliği ve performansı koruma
Sorun Giderme ve Optimizasyon
- Hata veren DAG'ları ve görevleri hata ayıklama
- DAG performansını optimizet etme
- Sıkça karşılaşılan sorunlar ve bunları nasıl önleyeceğiniz
Özet ve Sonraki Adımlar
Kurs İçin Gerekli Önbilgiler
- Python programlaması deneyimi
- Veri mühendisliği veya DevOps kavramlarına aşinalık
- ETL veya iş akışı orchesteasyonu anlayışı
Hedef Kitle
- Veri bilimcileri
- Veri mühendisleri
- DevOps ve altyapı mühendisleri
- Yazılım geliştiricileri
Danışanlarımızın Yorumları (7)
Eğitmen, eğitimi katılımcıların düzeyine uyarladı ve tüm sorulara cevap verdi. Çok iletişim kurucuydu ve onunla etkileşime geçmek kolaydı. Eğitimin formatını, birçok pratik alıştırma içermesini gerçekten takdir ettim. Genel olarak, çok etkileşimli ve iyi organize edilmiş bir oturum oldu.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Eğitim - Apache Airflow: Building and Managing Data Pipelines
Yapay Zeka Çevirisi
Eğitim çok uygun oldu. Çok faydalı teoriler ve alıştırmalar vardı.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim her yönden çok doğruydı. Faydalı teorik yönler ve alıştırmalar içeriyordu.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim her yönden mükemmel oldu. Faydalı teorik yönleri ve alıştırmaları vardı.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim tüm yönleriyle mükemmel oldu. Faydalı teorik konular ve uygulamalar içindi.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim her bakımdan çok iyi oldu. Faydalı teorik konular ve alıştırmalar içermekteydi.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi
Eğitim tüm yönleriyle tam isabetliydi. Faydalı teorik konular ve alıştırmalar içeriyordu.
Vladimir - PUBLIC COURSE
Eğitim - Apache Airflow
Yapay Zeka Çevirisi