Intensive Databricks Data Engineering Immersive Eğitimi

Hafta 1 — Veri Mühendisliğine Giriş

• Veri mühendisliği temelleri ve modern veri yığınları
• Veri alım desenleri ve kaynakları
• Toplu işleme ve akış kavramları ile kullanım senaryoları
• El ile laboratuvar: örnek veriyi bulut depolamaya aktarma

Hafta 2 — Databricks Lakehouse Foundation Badge

• Databricks platformu temelleri ve çalışma alanı gezinme
• Delta Lake kavramları: ACID, zaman seyahati ve şema evrimi
• Çalışma alanı güvenliği, erişim kontrolleri ve Unity Catalog temelleri
• El ile laboratuvar: Delta tablo oluşturma ve yönetimi

Hafta 3 — Databricks'te Gelişmiş SQL

• Ölçeklendirilebilir gelişmiş SQL yapıları ve pencere fonksiyonları
• Sorgu optimizasyonu, açık planlar ve maliyet bilincili desenler
• Maddileşmiş görünümler, önbellekleme ve performans ayarlaması
• El ile laboratuvar: büyük veri kümelerinde analitik sorguları optimizasyonu

Hafta 4 — Databricks Certified Developer for Apache Spark (Hazırlık)

• Spark mimarisi, RDD'ler, DataFrames ve Datasets'in detaylı incelemesi
• Anahtar Spark dönüşümleri ve eylemleri; performans dikkatleri
• Spark akış temelleri ve yapılandırılmış akış desenleri
• Uygulama sınavı alıştırmaları ve el ile test soruları

Hafta 5 — Veri Modellemeye Giriş

• Kavramlar: boyut modellemesi, yıldız/şema tasarımı ve normalleştirme
• Lakehouse modelleme vs geleneksel ambar yaklaşımları
• Analitik hazır veri kümeleri için tasarım desenleri
• El ile laboratuvar: tüketim hazır tablolar ve görünümler oluşturma

Hafta 6 — Veri Alım Araçlarına Giriş & Veri Alım Otomasyonu

• Databricks için bağlayıcılar ve alım araçları (AWS Glue, Data Factory, Kafka)
• Akış alım desenleri ve mikro-toplu tasarımlar
• Veri doğrulama, kalite kontrolleri ve şema zorlaması
• El ile laboratuvar: dayanıklı alım hattları oluşturma

Hafta 7 — Veri Mühendisliği için Git Flow ve CI/CD'e Giriş

• Git Flow dal stratejileri ve depo organizasyonu
• Notebook'lar, işler ve kod olarak altyapı için CI/CD hattı
• Veri kodu için test, linting ve dağıtım otomasyonu
• El ile laboratuvar: Git tabanlı akış uygulama ve otomatikleştirilmiş iş dağıtımı

Hafta 8 — Databricks Certified Data Engineer Associate (Hazırlık) & Veri Mühendisliği Desenleri

• Sertifika konuları gözden geçirme ve pratik alıştırmalar
• Mimari desenler: bronz/gümüş/altın, CDC, yavaş değişen boyutlar
• Operasyonel desenler: izleme, uyarılar ve kaynak izi
• El ile laboratuvar: mühendislik desenleri uygulayan sondan başa hattı

Hafta 9 — Airflow ve Astronomer'e Giriş; Betik Yazma

• Airflow kavramları: DAG'lar, görevler, operatörler ve zamanlama
• Astronomer platformu genel bakış ve orchesteasyon en iyi uygulamaları
• Otomasyon için betik yazma: veri görevleri için Python betik desenleri
• El ile laboratuvar: Airflow DAG'ları kullanarak Databricks işlerini orchesteasyon

Hafta 10 — Veri Görselleştirme, Tableau ve Özel Son Proje

• Tableau'nun Databricks'e bağlanması ve BI katmanları için en iyi uygulamalar
• Kontrol paneli tasarım ilkeleri ve performans bilincili görselleştirmeler
• Son proje: özelleştirilmiş son proje kapsamı, uygulaması ve sunumu
• Son sunumlar, eş değerlendirme ve eğitmen geri bildirimi

Özet ve Sonraki Adımlar