Databricks Göç Atölyesi: Depolanan Prosedürlerden Lakehouse’a (5 Günlük Yoğun Eğitim) Eğitimi

Giriş, Hedefler ve Göç Stratejisi

• Eğitim hedefleri, katılımcı profili hizalaması ve başarı kriterleri
• Genel düzeyde göç yaklaşımları ve risk değerlendirmeleri
• Çalışma alanı (workspace), depo ve laboratuvar veri setlerinin kurulması

1. Gün — Göç Temelleri ve Mimari

• Lakehouse kavramları, Delta Lake genel bakış ve Databricks mimarisi
• SMP ile MPP arasındaki farklar ve göç için taşıdıkları anlamlar
• Medalyon (Bronz→Gümüş→Altın) tasarımı ve Unity Catalog genel bakış

1. Gün Laboratuvar — Bir Depolanan Prosedürün Dönüştürülmesi

• Örnek bir depolanan prosedürün deftere (notebook) uygulamalı olarak taşınması
• Geçici tabloların ve imleçlerin (cursor) DataFrame dönüşümlerine eşlenmesi
• Orijinal çıktı ile karşılaştırma ve doğrulama

2. Gün — Gelişmiş Delta Lake & Artımlı Yükleme

• ACID işlemleri, commit günlükleri, sürümleme ve zaman yolculuğu (time travel)
• Auto Loader, MERGE INTO desenleri, upsert işlemleri ve şema evrimi
• OPTIMIZE, VACUUM, Z-ORDER, bölmeler (partitioning) ve depolama ayarlaması

2. Gün Laboratuvar — Artımlı Veri Alımı & Optimizasyon

• Auto Loader alımı ve MERGE iş akışlarının uygulanması
• OPTIMIZE, Z-ORDER ve VACUUM uygulanması; sonuçların doğrulanması
• Okuma/yazma performans iyileştirmelerinin ölçülmesi

3. Gün — Databricks’ta SQL, Performans & Hata Ayıklama

• Analitik SQL özellikleri: pencere işlevleri (window functions), yüksek sıralı işlevler, JSON/dizi işleme
• Spark UI okuma, DAG’lar, karıştırmalar (shuffle), aşamalar, görevler ve darboğaz teşhisi
• Sorgu ayarlaması desenleri: yaygınlaştırılmış birleştirmeler (broadcast joins), ipuçları (hints), önbellekleme ve taşma (spill) azaltma

3. Gün Laboratuvar — SQL Yeniden Yapılandırma & Performans Ayarlaması

• Ağır bir SQL işleminin optimize edilmiş Spark SQL’e yeniden yapılandırılması
• Spark UI izlerini (traces) kullanarak eğim (skew) ve karıştırma (shuffle) sorunlarının tespit edilip giderilmesi
• Önce/sonra kıyaslaması (benchmark) ve ayarlama adımlarının dokümante edilmesi

4. Gün — Taktiksel PySpark: Prosedürel Mantığın Yerine Geçme

• Spark yürütme modeli: sürücü (driver), yürütücüler (executors), tembel değerlendirme (lazy evaluation) ve bölme (partitioning) stratejileri
• Döngülerin ve imleçlerin vektörize DataFrame işlemlerine dönüştürülmesi
• Modülerlik, UDF’ler/pandas UDF’leri, widget’lar ve yeniden kullanılabilir kütüphaneler

4. Gün Laboratuvar — Prosedürel Betiklerin Yeniden Yapılandırılması

• Bir prosedürel ETL betiğinin modüler PySpark defterlerine yeniden yapılandırılması
• Parametreleştirme, birim test tarzı testler ve yeniden kullanılabilir işlevlerin tanıtılması
• Kod inceleme ve iyi uygulama kontrol listesinin uygulanması

5. Gün — Orkestrasyon, Uçtan Uca Boru Hattı & İyi Uygulamalar

• Databricks Workflows: görev tasarımı, görev bağımlılıkları, tetikleyiciler ve hata yönetimi
• Kalite kuralları ve şema doğrulaması ile artımlı Medalyon boru hatlarının tasarlanması
• Git (GitHub/Azure DevOps) ile entegrasyon, CI ve PySpark mantığı için test stratejileri

5. Gün Laboratuvar — Tam Uçtan Uca Boru Hattı Oluşturma

• Workflows ile orkestrasyon edilen Bronz→Gümüş→Altın boru hattının toplanması
• Kayıt tutma (logging), denetim (auditing), yeniden denemeler ve otomatik doğrulamaların uygulanması
• Tam boru hattının çalıştırılması, çıktının doğrulanması ve dağıtım notlarının hazırlanması

İşletim, Yönetişim ve Üretim Hazırlığı

• Unity Catalog yönetişimi, soy (lineage) ve erişim kontrolleri iyi uygulamaları
• Maliyet, küme boyutlandırma, otomatik ölçekleme ve görev eşzamanlılık desenleri
• Dağıtım kontrol listeleri, geri alma (rollback) stratejileri ve çalışma kitabı (runbook) oluşturma

Son Değerlendirme, Bilgi Transferi ve Sonraki Adımlar

• Katılımcıların göç çalışmalarını ve öğrenilen dersleri sunumu
• Boşluk analizi, önerilen takip faaliyetleri ve eğitim materyallerinin teslimi
• Başvurular, ileri öğrenme yolları ve destek seçenekleri