Apache Iceberg Temel Kavramlar Eğitimi

Bu eğitmen yönetilen canlı eğitim (Türkiye çevrimiçi veya yerel) ortamında, büyük veri işleme ve analizi için Google Colab ve Apache Spark'yi kullanmak isteyen orta düzeyli veri bilimcileri ve mühendislerine yönelik olacak.

Bu eğitim sonunda katılımcılar aşağıdaki becerileri kazanabilecekler:

• Google Colab ve Spark kullanarak büyük veri ortamını kurma.
• Apache Spark ile büyük veri kümelerini etkili bir şekilde işlemek ve analiz etme.
• Kooperatif bir ortamda büyük veriyi görselleştirme.
• Apache Spark'yi bulut tabanlı araçlarla entegre etme.

Apache Hadoop, sunucu kümelerinde Büyük Veri işleme için en popüler çerçevedir. Bu üç (opsiyonel olarak dört) günlük kursun katılımcıları, Hadoop ve ekosistemi için iş faydaları ve kullanım senaryolarını öğrenecekler, küme dağıtımını ve büyümesini planlamayı, Hadoop'ı yüklemeyi, bakımını yapmayı, izlemeyi, sorun gidermeyi ve optimize etmeyi öğrenecekler. Ayrıca, toplu veri yükleme pratiği yapacaklar, çeşitli Hadoop dağıtımları ile tanışacaklar ve Hadoop ekosistemi araçlarını yükleyip yönetme konusunda pratik yapacaklardır. Kurs, Kerberos kullanarak kümenin güvenliğini sağlama tartışmasıyla sona erecektir.

“…Materiyaller çok iyi hazırlanmış ve kapsamlı bir şekilde ele alınmıştı. Laboratuvar Çok yardımcı ve iyi organize edilmişti.”
— Andrew Nguyen, Microsoft Online Advertising Principal Integration DW Mühendisi

Hedef Kitle

Hadoop yöneticileri

Format

Sözlü açıklamalar ve elden deneme laboratuvarları, yaklaşık olarak 60% sözlü açıklama, 40% laboratuvar.

Apache NiFi, açık kaynaklı, akış tabanlı veri entegrasyonu ve olay işleme platformudur. Farklı sistemler arasında otomatik, gerçek zamanlı veri yönlendirmesi, dönüştürmesi ve sistem aracılaması sağlar. Web tabanlı kullanıcı arayüzü ve detaylı kontrol imkanları sunar.

Bu eğitmen yönlendirilmiş, canlı eğitim (yerinde veya uzaktan), orta düzeydeki yöneticiler ve mühendisler için düzenlenmiştir. Bu kişilerin üretim ortamlarında NiFi veri akışlarını dağıtmayı, yönetmeyi, güvemli hale getirmeyi ve optimize etmeyi öğrenmek istiyor olabilir.

Bu eğitim sonunda katılımcılar şu becerilere sahip olacaklardır:

• Apache NiFi kümelerini kurma, yapılandırma ve bakım yapma.
• Farklı kaynaklardan ve havalardan veri akışları tasarlamayı ve yönetmeyi.
• Akış otomasyonunu, yönlendirmesini ve dönüştürme mantığını uygulama.
• Performansı optimize etme, işlemlerini izleme ve sorunları giderme.

Eğitim Formatı

• Günlük mimari tartışmalarını içeren etkileşimli ders.
• Akışları oluşturma, dağıtım ve yönetme konusunda elden deneyimler.
• Canlı-lab ortamında senaryo tabanlı alıştırmalar.

Eğitim Özelleştirme Seçenekleri

• Bu eğitimin özelleştirilmiş bir sürümünü talep etmek için lütfen bizimle iletişime geçin.

Bu eğitmen liderliğindeki canlı eğitimde Türkiye'da, katılımcılar Apache NiFi kullanarak bir dizi demo uzantısı, bileşen ve işlemci geliştirirken akış tabanlı programlamanın temellerini öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• NiFi'nin mimarisini ve veri akışı kavramlarını anlayabilecektir.
• NiFi ve üçüncü taraf API'lerini kullanarak uzantılar geliştirebilecektir.
• Kendi Apache Nifi işlemcilerini özel olarak geliştirebilecektir.
• Çeşitli ve alışılmadık dosya formatlarından ve veri kaynaklarından gerçek zamanlı verileri alıp işleyebilecektir.

Bu eğitim, PySpark kullanılarak ölçeklenebilir veri işleme ve Makine Öğrenimi iş akışlarının oluşturulmasına yönelik pratik bir giriş niteliğindedir. Katılımcılar, Apache Spark'ın modern Büyük Veri ekosistemleri içinde nasıl çalıştığını ve dağıtık hesaplama ilkelerini kullanarak büyük veri kümelerini nasıl verimli bir şekilde işleyebileceklerini öğrenir.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), çok büyük miktarda veriyi işlemek için Apache Spark sistemini kurmak ve dağıtmak isteyen mühendislere yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Apache Spark'ü kurun ve yapılandırın.
• Çok büyük veri kümelerini hızlı bir şekilde işleyin ve analiz edin.
• Apache Spark ve Hadoop MapReduce arasındaki farkı anlayın ve hangisini ne zaman kullanacağınızı bilin.
• Apache Spark'ü diğer makine öğrenimi araçlarıyla entegre edin.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), Spark kümelerini dağıtmak, sürdürmek ve optimize etmek isteyen başlangıç ​​seviyesi ile orta seviye sistem yöneticilerine yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Çeşitli ortamlarda Apache Spark'yi kurmak ve yapılandırmak.
• Küme kaynaklarını yönetmek ve Spark uygulamalarını izlemek.
• Spark kümelerinin performansını optimize etmek.
• Güvenlik önlemleri uygulamak ve yüksek kullanılabilirlik sağlamak.
• Yaygın Spark sorunlarını ayıklamak ve gidermek.

Apache Spark'nin öğrenme eğrisi başlangıçta yavaş yükselir ve ilk sonuçları elde etmek için çok çaba gerektirir. Bu kursun amacı, bu zorlu başlangıcı atlatmanıza yardımcı olmaktır. Bu kursu tamamlayan katılımcılar, Apache Spark'ün temellerini anlayacak, RDD ile DataFrame arasındaki farkı net bir şekilde ayırt edebilecek, Python ve Scala API'lerini öğrenecek, yürütücüler ve görevler hakkında bilgi sahibi olacaklardır. Ayrıca en iyi uygulamaları takip ederek, bu kurs bulut dağıtımı, Databricks ve AWS'ye güçlü bir şekilde odaklanmaktadır. Öğrenciler ayrıca AWS EMR ve AWS Glue arasındaki farkları, AWS'nin en son Spark hizmetlerinden birini anlayacaklardır.

HEDEF KİTLE:

Veri Mühendisi, DevOps, Veri Bilimcisi

AMAÇ:

Bu kurs, Apache Spark'i tanıtacaktır. Öğrenciler, Spark'ın Big Data ekosistemine nasıl uyduğunu ve Spark'ı veri analizi için nasıl kullanacaklarını öğreneceklerdir. Kurs, etkileşimli veri analizi için Spark kabuğunu, Spark iç yapılarını, Spark API'lerini, Spark SQL'i, Spark akışını, makine öğrenimi ve GraphX'i kapsamaktadır.

HEDEF KİTLE:

Geliştiriciler / Veri Analistleri

Türkiye dilindeki bu eğitmen liderliğindeki canlı eğitim (çevrimiçi veya yerinde), Apache Spark üzerine kurulu Spark NLP'u kullanarak doğal dil metin işleme modelleri ve hatları geliştirmek, uygulamak ve ölçeklemek isteyen veri bilimcileri ve geliştiricilere yöneliktir.

Bu eğitimin sonunda katılımcılar;

• Spark NLP ile NLP boru hatlarının inşasına başlamak için gerekli geliştirme ortamını kurun.
• Spark NLP'un özelliklerini, mimarisini ve kullanım avantajlarını anlayın.
• Metin işlemeyi uygulamak için Spark NLP'da bulunan önceden eğitilmiş modelleri kullanın.
• Üretim düzeyindeki projeler için Spark NLP modellerin nasıl oluşturulacağını, eğitileceğini ve ölçeklendirileceğini öğrenin.
• Sınıflandırma, çıkarım ve duygu analizini gerçek dünya kullanım durumlarına (klinik veriler, müşteri davranışı içgörüleri vb.) uygulayın.

Bu eğitmen liderliğindeki, canlı eğitimde Türkiye, katılımcılar büyük verileri analiz etmek için Python ve Spark'ı birlikte nasıl kullanacaklarını uygulamalı egzersizler yaparak öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Python ile Spark'ı kullanarak Big Data analiz etmeyi öğreneceklerdir.
• Gerçek dünya senaryolarını taklit eden egzersizler üzerinde çalışacaklardır.
• PySpark kullanarak büyük veri analizi için farklı araç ve teknikleri kullanacaklardır.

Bu eğitmen liderliğindeki, canlı eğitim (Türkiye çevrimiçi veya yerinde), büyük ve karmaşık veri kümelerini işlemek, analiz etmek ve dönüştürmek için Spark, Hadoop ve Python'yı kullanmak ve entegre etmek isteyen geliştiricilere yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Spark, Hadoop ve Python ile büyük veri işlemeye başlamak için gerekli ortamı kurmak.
• Spark ve Hadoop'in özelliklerini, temel bileşenlerini ve mimarisini anlamak.
• Büyük veri işleme için Spark, Hadoop ve Python'yı nasıl entegre edeceğini öğrenmek.
• Spark ekosistemindeki araçları (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka ve Flume) keşfetmek.
• Netflix, YouTube, Amazon, Spotify ve Google gibi işbirlikçi filtreleme öneri sistemleri oluşturmak.
• Apache Mahout'u kullanarak makine öğrenimi algoritmalarını ölçeklendirmek.

Spark SQL, Apache Spark'nin yapılandırılmış ve yapılandırılmamış verilerle çalışmak için kullandığı modüldür. Spark SQL, verilerin yapısı ve gerçekleştirilen işlem hakkında bilgi sağlar. Bu bilgiler optimizasyonlar yapmak için kullanılabilir. Spark SQL'in iki yaygın kullanım amacı şunlardır:
- SQL sorgularını yürütmek.
- mevcut bir Hive kurulumundan veri okumak.

Bu eğitmen liderliğindeki, canlı eğitimde (yerinde veya uzaktan), katılımcılar Spark SQL kullanarak çeşitli veri kümelerini analiz etmeyi öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Spark SQL'i kurmak ve yapılandırmak.
• Spark SQL kullanarak veri analizi yapmak.
• Farklı formatlardaki veri kümelerini sorgulamak.
• Verileri ve sorgu sonuçlarını görselleştirmek.

Kurs Formatı

• İnteraktif ders ve tartışma.
• Çok sayıda alıştırma ve uygulama.
• Canlı laboratuvar ortamında uygulamalı uygulama.

Kurs Özelleştirme Seçenekleri

• Bu kurs için özelleştirilmiş bir eğitim talep etmek için lütfen bizimle iletişime geçin.

Stratio, büyük veri, yapay zeka ve yönetim alanlarını tek bir çözümde entegre eden, veri odaklı bir platformdur. Rocket ve Intelligence modüllerinin yardımıyla, kurumsal ortamlarda hızlı veri keşfi, dönüştürme ve gelişmiş analitik işlemler gerçekleştirilebilir.

Bu eğitmen rehberli canlı eğitim (çevrimiçi veya yerinde) PySpark'i döngü yapıları, kullanıcı tanımlı fonksiyonlar ve gelişmiş veri mantığı üzerinde odaklanarak Stratio'daki Rocket ve Intelligence modüllerini etkili şekilde kullanmayı öğrenmek isteyen orta seviye veri profesyonellerine yöneliktir.

Bu eğitimden sonra katılımcılar şunları yapabilecekler:

• Rocket ve Intelligence modüllerini kullanarak Stratio platformunda gezinme ve çalışma.
• Veri alımı, dönüştürme ve analiz bağlamında PySpark'ı uygulama.
• Veri iş akışlarını ve özellik mühendisliği görevlerini kontrol etmek için döngüler ve koşullu mantık kullanma.
• PySpark'ta tekrar kullanılabilir veri işlemleri için kullanıcı tanımlı fonksiyonlar (UDFs) oluşturma ve yönetme.

Eğitim Biçimi

• Etkileşimli ders ve tartışma.
• Birçok alıştırma ve uygulama.
• Canlı-lab ortamında el ile uygulama.

Eğitim Özelleştirme Seçenekleri

• Bu eğitimin özelleştirilmiş bir sürümünü talep etmek için lütfen bizimle iletişime geçin.