Stream Processing with Kafka Streams Eğitimi

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye – çevrimiçi veya yerinde) geliştiricilerin, işleme, analiz vb. amacıyla Apache Kafka’u mevcut veritabanları ve uygulamalarla entegre etmeyi amaçlamaktadır.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Kafka Connect kullanarak bir veritabanından büyük miktarda veriyi Kafka konularına almak.
• Uygulama sunucuları tarafından oluşturulan log verilerini Kafka konularına almak.
• Make toplanan herhangi bir veriyi akış işleme için kullanılabilir hale getirmek.
• Kafka konularından veriyi depolama ve analiz için ikincil sistemlere aktarmak.

Apache Beam, paralel veri işleme hatlarını tanımlamak ve yürütmek için birleşik bir programlama modelidir. Gücü, hem toplu hem de akış hatlarını çalıştırabilme yeteneğinde yatar; yürütme, Beam'in desteklediği dağıtılmış işleme arka uçlarından biri tarafından gerçekleştirilir: Apache Apex, Apache Flink, Apache Spark ve Google Cloud Dataflow. Apache Beam, verileri farklı depolama ortamları ve veri kaynakları arasında taşımak, verileri daha arzu edilen bir formata dönüştürmek ve verileri yeni bir sisteme yüklemek gibi ETL (Çıkar, Dönüştür ve Yükle) görevleri için kullanışlıdır.

Bu eğitmen liderliğindeki, canlı eğitimde (yerinde veya uzaktan), katılımcılar, büyük bir veri kümesini bağımsız, paralel işleme için daha küçük parçalara ayıracak bir veri işleme hattı tanımlayan bir Java veya Python uygulamasında Apache Beam SDK'larını nasıl uygulayacaklarını öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Apache Beam'ü kurmak ve yapılandırmak.
• Tek bir programlama modeli kullanarak Java veya Python uygulamaları içinden hem toplu hem de akış işleme gerçekleştirmek.
• Hattı birden fazla ortamda yürütmek.

Kurs Formatı

• Kısmen ders anlatımı, kısmen tartışma, egzersizler ve yoğun uygulamalı çalışma

Not

• Bu kurs gelecekte Scala olarak sunulacaktır. Lütfen düzenlemek için bizimle iletişime geçin.

Bu eğitmen liderliğindeki, canlı eğitim (çevrimiçi veya yerinde), uygulamaları için gerçek zamanlı veri işleme platformu oluşturmak ve yönetmek için Confluent'i (Kafka'nın bir dağıtımı) kullanmak isteyen mühendislere yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Confluent Platform'u kurma ve yapılandırma.
• Kafka'yı daha kolay çalıştırmak için Confluent yönetim araçlarını ve hizmetlerini kullanma.
• Gelen akış verilerinin depolanması ve işleme.
• Kafka kümelerinin optimize edilmesi ve yönetimi.
• Veri akışlarının güvenliği.

Kurs Formatı

• Etkileşimli ders anlatımı ve tartışma.
• Birçok alıştırma ve uygulama.
• Canlı-lab ortamında el ile uygulama.

Kurs Özelleştirme Seçenekleri

• Bu kurs, Confluent'in açık kaynak sürümüne dayanmaktadır: Confluent Open Source.
• Bu kurs için özel bir eğitim talep etmek istiyorsanız, lütfen bize ulaşarak düzenleme yapın.

Apache Kafka, dağıtık bir yayın platformudur. Fiilen veri işlem hatları oluşturmak için bir standarttır ve veri işleme ile ilgili birçok farklı kullanım durumunu çözer: mesaj kuyruğu, dağıtık günlük, akış işlemcisi vb. olarak kullanılabilir.

Öncelikle genel olarak veri işlem hatlarının teorisiyle başlayacak, ardından Kafka'nın temel kavramlarına devam edeceğiz. Ayrıca Kafka Streams ve Kafka Connect gibi önemli bileşenleri keşfedeceğiz.

Bu eğitmen liderliğindeki, canlı eğitimde Türkiye (çevrimiçi veya yerinde), dağıtılmış akış ve toplu veri işleme prensipleri ve yaklaşımları tanıtılır ve katılımcılar Apache Flink içinde gerçek zamanlı, veri akışı uygulaması oluşturma konusunda yönlendirilir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Veri analizi uygulamaları geliştirmek için bir ortam kurmak.
• Apache Flink'nin grafik işleme kütüphanesi (Gelly) nasıl çalıştığını anlamak.
• Hata toleranslı, Flink tabanlı, veri akışı uygulamalarını paketlemek, çalıştırmak ve izlemek.
• Çeşitli iş yüklerini yönetmek.
• Gelişmiş analizler yapmak.
• Çok düğümlü bir Flink kümesi kurmak.
• Performansı ölçmek ve optimize etmek.
• Flink'i farklı Big Data sistemleriyle entegre etmek.
• Flink yeteneklerini diğer büyük veri işleme çerçevelerinin yetenekleriyle karşılaştırmak.

Bu eğitmen liderliğindeki, canlı eğitimde (Türkiye yerinde veya uzaktan), katılımcılar farklı Stream Processing çerçevelerini mevcut büyük veri depolama sistemleri ve ilgili yazılım uygulamaları ve mikro hizmetlerle nasıl kuracaklarını ve entegre edeceklerini öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Farklı Stream Processing çerçevelerini, örneğin Spark Streaming ve Kafka Streaming'i kurmak ve yapılandırmak.
• İş için en uygun çerçeveyi anlamak ve seçmek.
• Veriyi sürekli, eşzamanlı ve kayıt bazında işlemek.
• Stream Processing çözümlerini mevcut veritabanları, veri ambarları, veri gölleri vb. ile entegre etmek.
• En uygun akış işleme kütüphanesini kurumsal uygulamalar ve mikro hizmetlerle entegre etmek.

Bu kurs, kurumsal mimarlar, geliştiriciler, sistem yöneticileri ve yüksek verimli dağıtık mesajlaşma sistemlerini anlamak ve kullanmak isteyen herkes içindir. Daha özel gereksinimleriniz varsa (örneğin, yalnızca sistem yönetimi tarafı), bu kurs ihtiyaçlarınıza daha iyi uyacak şekilde özelleştirilebilir.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), kurumsal düzeyde bir Kafka kümesi kurmak, dağıtmak, yönetmek ve optimize etmek isteyen sistem yöneticilerine yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Bir Kafka Kümesi kurmak ve yönetmek.
• Kafka'yı şirket içinde dağıtmanın ve bulutta dağıtmanın avantaj ve dezavantajlarını değerlendirmek.
• Çeşitli şirket içi ve bulut ortamı araçlarını kullanarak Kafka'yı dağıtmak ve izlemek.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), veri mühendisleri, veri bilimcileri ve Python ile veri akışında Apache Kafka özelliklerini kullanmak isteyen programcılar için tasarlanmıştır.

Bu eğitimin sonunda katılımcılar, Python programlamayı kullanarak sürekli veri akışlarındaki koşulları izlemek ve yönetmek için Apache Kafka'ü kullanabilecektir.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), kod yazmadan Apache Kafka akış işlemeyi uygulamak isteyen geliştiricilere yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Confluent KSQL'i kurmak ve yapılandırmak.
• Yalnızca SQL komutlarını kullanarak bir akış işleme hattı kurmak (ne Java ne de Python kodlama).
• Veri filtreleme, dönüştürme, toplama, birleştirme, pencereleme ve oturumlaştırma işlemlerini tamamen SQL içinde gerçekleştirmek.
• Akış ETL ve gerçek zamanlı analiz için etkileşimli, sürekli sorgular tasarlamak ve dağıtmak.

Bu eğitmen liderliğindeki, canlı eğitimde (Türkiye yerinde veya uzaktan), katılımcılar Apache NiFi'ü canlı bir laboratuvar ortamında nasıl dağıtacaklarını ve yöneteceklerini öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Apachi NiFi'yi kurun ve yapılandırın.
• Veritabanları ve büyük veri gölleri de dahil olmak üzere farklı, dağıtılmış veri kaynaklarından veri alın, dönüştürün ve yönetin.
• Veri akışlarını otomatikleştirin.
• Akış analitiğini etkinleştirin.
• Veri alımı için çeşitli yaklaşımlar uygulayın.
• Big Data ve verilerini iş içgörülerini dönüştürün.

Bu eğitmen liderliğindeki canlı eğitimde Türkiye'da, katılımcılar Apache NiFi kullanarak bir dizi demo uzantısı, bileşen ve işlemci geliştirirken akış tabanlı programlamanın temellerini öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• NiFi'nin mimarisini ve veri akışı kavramlarını anlayabilecektir.
• NiFi ve üçüncü taraf API'lerini kullanarak uzantılar geliştirebilecektir.
• Kendi Apache Nifi işlemcilerini özel olarak geliştirebilecektir.
• Çeşitli ve alışılmadık dosya formatlarından ve veri kaynaklarından gerçek zamanlı verileri alıp işleyebilecektir.

Bu eğitmen liderliğindeki, canlı eğitim (online veya yerinde), gerçek zamanlı verileri işleme ve analiz etmede Spark Streaming özelliklerini kullanmak isteyen veri mühendisleri, veri bilimcileri ve programcılar için tasarlanmıştır.

Bu eğitimin sonunda katılımcılar, veritabanlarında, dosya sistemlerinde ve canlı gösterge panolarında kullanılmak üzere canlı veri akışlarını işlemek için Spark Streaming'yi kullanabilecektir.