Databricks Migrasyon Atölyesi: Depolanan Prosedürlerden Lakehouse'a (5 Günlük Yoğunlaştırılmış Eğitim) Eğitimi

Giriş, Hedefler ve Migrasyon Stratejisi

• Ders hedefleri, katılımcı profili uyumu ve başarı kriterleri
• Yüksek düzeyde migrasyon yaklaşımları ve risk değerlendirmeleri
• Çalışma alanlarının, depoların ve laboratuvar veri kümelerinin kurulması

1. Gün — Migrasyon Temelleri ve Mimari

• Lakehouse kavramları, Delta Lake özeti ve Databricks mimarisi
• SMP ile MPP arasındaki farklar ve migrasyon üzerindeki etkileri
• Medalyon (Bronze→Silver→Gold) tasarımı ve Unity Catalog özeti

1. Gün Laboratuvar — Depolanan Prosedürün Dönüştürülmesi

• Örnek bir depolanan prosedürün notebook'a el-yetenliğiyle migrasyonu
• Geçici tabloların ve imleçlerin (cursor) DataFrame dönüşümlerine eşlenmesi
• Doğrulama ve orijinal çıktıyla karşılaştırma

2. Gün — Gelişmiş Delta Lake & Artımlı Yükleme

• ACID işlemleri, commit logları, sürümleme ve zaman yolculuğu (time travel)
• Auto Loader, MERGE INTO desenleri, upsert işlemleri ve şema evrimi
• OPTIMIZE, VACUUM, Z-ORDER, bölümleme (partitioning) ve depolama ayarları

2. Gün Laboratuvar — Artımlı Veri Alımı & Optimizasyon

• Auto Loader veri alımı ve MERGE iş akışlarının uygulanması
• OPTIMIZE, Z-ORDER ve VACUUM komutlarının uygulanması; sonuçların doğrulanması
• Okuma/yazma performans iyileştirmelerinin ölçülmesi

3. Gün — Databricks'te SQL, Performans & Hata Ayıklama

• Analitik SQL özellikleri: pencere işlevleri (window functions), yüksek sıralı işlevler, JSON/dizi işleme
• Spark UI, DAG'lar, karıştırmalar (shuffles), aşamalar (stages), görevler (tasks) ve darboğaz teşhisinin okunması
• Sorgu ayarlama desenleri: yayın birleşmeleri (broadcast joins), ipuçları (hints), önbelleğe alma ve taşma (spill) azaltma

3. Gün Laboratuvar — SQL Yeniden Yapılandırma & Performans Ayarlama

• Ağır bir SQL sürecinin optimize edilmiş Spark SQL'e yeniden yapılandırılması
• Spark UI izlerini kullanarak eğrilik (skew) ve karıştırma (shuffle) sorunlarının tespit edilmesi ve giderilmesi
• Önce/sonra karşılaştırmalı ölçüm (benchmark) yapılması ve ayarlama adımlarının belgelemesi

4. Gün — Taktiksel PySpark: Prosedürel Mantığın Yerine Geçme

• Spark yürütme modeli: sürücü (driver), yürütücüler (executors), tembel değerlendirme (lazy evaluation) ve bölümleme stratejileri
• Döngülerin ve imleçlerin vektörleştirilmiş DataFrame işlemlerine dönüştürülmesi
• Modülerleştirme, UDF'ler/pandas UDF'leri, widget'lar ve yeniden kullanılabilir kütüphaneler

4. Gün Laboratuvar — Prosedürel Betiklerin Yeniden Yapılandırılması

• Prosedürel bir ETL betiğinin modüler PySpark notebook'larına yeniden yapılandırılması
• Parametrelerin tanıtılması, birim tarzında testler ve yeniden kullanılabilir işlevler
• Kod incelemesi ve en iyi uygulama kontrol listesinin uygulanması

5. Gün — Orkestrasyon, Uçtan Uca Boru Hattı & En İyi Uygulamalar

• Databricks Workflows: iş tasarımı, görev bağımlılıkları, tetikleyiciler ve hata yönetimi
• Kalite kuralları ve şema doğrulama içeren artımlı Medalyon boru hatlarının tasarlanması
• Git (GitHub/Azure DevOps) entegrasyonu, CI ve PySpark mantığı için test stratejileri

5. Gün Laboratuvar — Tam Bir Uçtan Uca Boru Hattı İnşa Etme

• Workflows ile orkestrasyonlanan Bronze→Silver→Gold boru hattının birleştirilmesi
• Günlük tutma (logging), denetim, yeniden denemeler (retries) ve otomatik doğrulamaların uygulanması
• Tam boru hattının çalıştırılması, çıktıların doğrulanması ve dağıtım notlarının hazırlanması

Operasyonelleştirme, Yönetim ve Üretime Hazırlık

• Unity Catalog yönetimi, veri soy kütüğü (lineage) ve erişim kontrolü en iyi uygulamaları
• Maliyet, küme boyutlandırma, otomatik ölçekleme ve iş eşzamanlılığı desenleri
• Dağıtım kontrol listeleri, geri alma (rollback) stratejileri ve çalışma el kitabı (runbook) oluşturma

Son İnceleme, Bilgi Transferi ve Sonraki Adımlar

• Katılımcıların migrasyon işi ve edinilen derslerin sunumu
• Açık analizi, önerilen takip etkinlikleri ve eğitim materyallerinin devri
• Referanslar, ileri öğrenme yolları ve destek seçenekleri