Istanbul Merkezli Apache Spark Eğitimleri

Bu eğitmen yönetilen canlı eğitim (Istanbul çevrimiçi veya yerel) ortamında, büyük veri işleme ve analizi için Google Colab ve Apache Spark'yi kullanmak isteyen orta düzeyli veri bilimcileri ve mühendislerine yönelik olacak.

Bu eğitim sonunda katılımcılar aşağıdaki becerileri kazanabilecekler:

• Google Colab ve Spark kullanarak büyük veri ortamını kurma.
• Apache Spark ile büyük veri kümelerini etkili bir şekilde işlemek ve analiz etme.
• Kooperatif bir ortamda büyük veriyi görselleştirme.
• Apache Spark'yi bulut tabanlı araçlarla entegre etme.

Stratio, büyük veri, yapay zeka ve yönetimini tek bir çözümde entegre eden bir veri odaklı platformdur. Rocket ve Intelligence modülleri, işletmelerde hızlı veri keşfi, dönüştürme ve ileri analizler sağlar.

Bu eğitmen yönetimi altında yapılan canlı eğitim (çevrimiçi veya yerel) orta seviye veri profesyonellerine yönelik olup, Stratio'daki Rocket ve Intelligence modüllerini etkili bir şekilde kullanmayı amaçlar. Eğitim PySpark konusunda döngü yapısı, kullanıcı tanımlı fonksiyonlar ve ileri düzey veri mantığına odaklanır.

Bu eğitim sonunda katılımcılar şunları başarabilecekler:

• Stratio platformunda Rocket ve Intelligence modüllerini kullanarak gezinme ve çalışma.
• Veri alımı, dönüştürme ve analiz bağlamında PySpark'yi uygulama.
• Döngüler ve koşullu mantığı kullanarak veri akışlarını ve özellik mühendisliği görevlerini kontrol etme.
• PySpark'da yeniden kullanılabilir veri işlemlerine yönelik kullanıcı tanımlı fonksiyonlar (UDF) oluşturma ve yönetme.

Eğitim Formatı

• Etkileşimli ders anlatımı ve tartışma.
• Çok sayıda alıştırma ve uygulama.
• Canlı laboratuvar ortamında el ile uygulama.

Eğitim özelleştirme seçenekleri

• Bu eğitim için özel bir eğitim talep etmek isterseniz, bizimle iletişime geçerek düzenleme yapabilirsiniz.

Bu eğitmen liderliğindeki, canlı eğitim (Istanbul çevrimiçi veya yerinde), büyük ve karmaşık veri kümelerini işlemek, analiz etmek ve dönüştürmek için Spark, Hadoop ve Python'yı kullanmak ve entegre etmek isteyen geliştiricilere yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Spark, Hadoop ve Python ile büyük veri işlemeye başlamak için gerekli ortamı kurmak.
• Spark ve Hadoop'in özelliklerini, temel bileşenlerini ve mimarisini anlamak.
• Büyük veri işleme için Spark, Hadoop ve Python'yı nasıl entegre edeceğini öğrenmek.
• Spark ekosistemindeki araçları (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka ve Flume) keşfetmek.
• Netflix, YouTube, Amazon, Spotify ve Google gibi işbirlikçi filtreleme öneri sistemleri oluşturmak.
• Apache Mahout'u kullanarak makine öğrenimi algoritmalarını ölçeklendirmek.

Bu eğitmen liderliğindeki, canlı eğitim (Istanbul çevrimiçi veya yerinde), Spark kümelerini dağıtmak, sürdürmek ve optimize etmek isteyen başlangıç ​​seviyesi ile orta seviye sistem yöneticilerine yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Çeşitli ortamlarda Apache Spark'yi kurmak ve yapılandırmak.
• Küme kaynaklarını yönetmek ve Spark uygulamalarını izlemek.
• Spark kümelerinin performansını optimize etmek.
• Güvenlik önlemleri uygulamak ve yüksek kullanılabilirlik sağlamak.
• Yaygın Spark sorunlarını ayıklamak ve gidermek.

Bu eğitmen liderliğindeki, canlı eğitimde Istanbul, katılımcılar büyük verileri analiz etmek için Python ve Spark'ı birlikte nasıl kullanacaklarını uygulamalı egzersizler yaparak öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Python ile Spark'ı kullanarak Big Data analiz etmeyi öğreneceklerdir.
• Gerçek dünya senaryolarını taklit eden egzersizler üzerinde çalışacaklardır.
• PySpark kullanarak büyük veri analizi için farklı araç ve teknikleri kullanacaklardır.

Bu kurs, uygulamalarında yapay zeka'yı anlamak ve uygulamak isteyen geliştiricilere ve veri bilimcilerine yöneliktedir. Özellikle veri analizi, dağıtılmış yapay zeka ve doğal dil işleme üzerine odaklanmaktadır.

Büyük veri analitiği, korelasyonları, gizli kalıpları ve diğer faydalı bilgileri ortaya çıkarmak amacıyla büyük ve çeşitli veri kümelerinin incelenmesi sürecini içerir.

Sağlık sektörü, karmaşık ve heterojen tıbbi ve klinik verilerin büyük miktarlarına sahiptir. Sağlık verileri üzerinde büyük veri analitiği uygulamak, sağlık hizmetlerinin sunumunu iyileştirmek için öngörüler elde etme konusunda büyük bir potansiyel sunar. Ancak, bu veri kümelerinin büyüklüğü, analizlerde ve klinik ortamlara pratik uygulamalarda büyük zorluklar oluşturur.

Bu eğitmen liderliğindeki, canlı (uzaktan) eğitimde katılımcılar, bir dizi uygulamalı canlı laboratuvar egzersiziyle sağlık alanında büyük veri analitiği yapmayı öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Hadoop MapReduce ve Spark gibi büyük veri analitiği araçlarını kurmak ve yapılandırmak
• Tıbbi verilerin özelliklerini anlamak
• Tıbbi verilerle başa çıkmak için büyük veri tekniklerini uygulamak
• Sağlık uygulamaları bağlamında büyük veri sistemlerini ve algoritmalarını incelemek

Hedef Kitle

• Geliştiriciler
• Veri Bilimciler

Kurs Formatı

• Kısmen ders anlatımı, kısmen tartışma, egzersizler ve yoğun uygulamalı pratik.

Not

• Bu kurs için özelleştirilmiş bir eğitim talep etmek için lütfen bizimle iletişime geçerek düzenleme yapınız.

Bu eğitmen liderliğindeki canlı eğitimde, katılımcılar grafik verileri işleme teknolojilerini ve uygulama yaklaşımlarını Istanbul bölgesinde öğreneceklerdir. Amaç, gerçek dünyadaki nesneleri, özelliklerini ve ilişkilerini belirlemek, ardından bu ilişkileri modellemek ve Graph Computing (aynı zamanda Grafik Analitiği olarak da bilinir) yaklaşımını kullanarak bunları veri olarak işlemektir. Geniş bir genel bakışla başlayıp bir dizi vaka çalışması, uygulamalı alıştırma ve canlı dağıtım aracılığıyla belirli araçlara odaklanacağız.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Grafik verilerin nasıl kalıcı hale getirildiğini ve gezildiğini anlayabilmek.
• Belirli bir görev için en iyi çerçeveyi seçebilmek (grafik veritabanlarından toplu işleme çerçevelerine kadar).
• Hadoop, Spark, GraphX ve Pregel'i birçok makinede paralel olarak grafik hesaplaması yapmak için uygulayabilmek.
• Gerçek dünya büyük veri sorunlarını grafikler, süreçler ve geçişler açısından görebilmek.

Bu eğitmen liderliğindeki, canlı eğitim (Istanbul çevrimiçi veya yerinde), kuruluşları içindeki Hadoop kümelerini kurmak, dağıtmak ve yönetmek isteyen sistem yöneticilerine yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Apache Hadoop'i kurun ve yapılandırın.
• Hadoop ekosistemindeki dört ana bileşeni anlayın: HDFS, MapReduce, YARN ve Hadoop Common.
• Hadoop Dağıtılmış Dosya Sistemi'ni (HDFS) kullanarak bir kümeyi yüzlerce veya binlerce düğüme ölçeklendirin.
• HDFS'yi, şirket içi Spark dağıtımları için depolama motoru olarak ayarlayın.
• Spark'ın Amazon S3 gibi alternatif depolama çözümlerine ve Redis, Elasticsearch, Couchbase, Aerospike vb. gibi NoSQL veritabanı sistemlerine erişmesini sağlayın.
• Bir Apache Hadoop kümesini sağlama, yönetme, izleme ve güvenliğini sağlama gibi yönetimsel görevleri yerine getirin.

Bu eğitmen liderliğindeki, canlı eğitimde Istanbul (çevrimiçi veya yerinde) Hortonworks Data Platform (HDP) tanıtılacak ve katılımcılar Spark + Hadoop çözümünün dağıtımı konusunda yönlendirilecektir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Hortonworks'ü kullanarak Hadoop'u büyük ölçekte güvenilir bir şekilde çalıştırmak.
• Hadoop'un güvenlik, yönetişim ve operasyon yeteneklerini Spark'ın çevik analitik iş akışlarıyla birleştirmek.
• Hortonworks'ü kullanarak bir Spark projesindeki her bir bileşeni araştırmak, doğrulamak, onaylamak ve desteklemek.
• Yapılandırılmış, yapılandırılmamış, hareket halindeki ve hareketsiz veriler dahil olmak üzere farklı veri türlerini işlemek.

Bu eğitmen liderliğindeki, canlı eğitimde (Istanbul yerinde veya uzaktan), katılımcılar farklı Stream Processing çerçevelerini mevcut büyük veri depolama sistemleri ve ilgili yazılım uygulamaları ve mikro hizmetlerle nasıl kuracaklarını ve entegre edeceklerini öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Farklı Stream Processing çerçevelerini, örneğin Spark Streaming ve Kafka Streaming'i kurmak ve yapılandırmak.
• İş için en uygun çerçeveyi anlamak ve seçmek.
• Veriyi sürekli, eşzamanlı ve kayıt bazında işlemek.
• Stream Processing çözümlerini mevcut veritabanları, veri ambarları, veri gölleri vb. ile entegre etmek.
• En uygun akış işleme kütüphanesini kurumsal uygulamalar ve mikro hizmetlerle entegre etmek.

Bu eğitmen liderliğindeki, canlı eğitim (Istanbul çevrimiçi veya yerinde), büyük veri çözümleri için veri işleme platformları oluşturmak için S MAC K yığınını kullanmak isteyen veri bilimcilerine yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Büyük verileri işlemek için bir veri hattı mimarisi uygulayın.
• Apache Mesos ve Docker ile bir küme altyapısı geliştirin.
• Spark ve Scala ile verileri analiz edin.
• Apache Cassandra ile yapılandırılmamış verileri yönetin.

Bu eğitmen liderliğindeki, canlı eğitim (Istanbul çevrimiçi veya yerinde), çok büyük miktarda veriyi işlemek için Apache Spark sistemini kurmak ve dağıtmak isteyen mühendislere yöneliktir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Apache Spark'ü kurun ve yapılandırın.
• Çok büyük veri kümelerini hızlı bir şekilde işleyin ve analiz edin.
• Apache Spark ve Hadoop MapReduce arasındaki farkı anlayın ve hangisini ne zaman kullanacağınızı bilin.
• Apache Spark'ü diğer makine öğrenimi araçlarıyla entegre edin.

Apache Spark'nin öğrenme eğrisi başlangıçta yavaş yükselir ve ilk sonuçları elde etmek için çok çaba gerektirir. Bu kursun amacı, bu zorlu başlangıcı atlatmanıza yardımcı olmaktır. Bu kursu tamamlayan katılımcılar, Apache Spark'ün temellerini anlayacak, RDD ile DataFrame arasındaki farkı net bir şekilde ayırt edebilecek, Python ve Scala API'lerini öğrenecek, yürütücüler ve görevler hakkında bilgi sahibi olacaklardır. Ayrıca en iyi uygulamaları takip ederek, bu kurs bulut dağıtımı, Databricks ve AWS'ye güçlü bir şekilde odaklanmaktadır. Öğrenciler ayrıca AWS EMR ve AWS Glue arasındaki farkları, AWS'nin en son Spark hizmetlerinden birini anlayacaklardır.

HEDEF KİTLE:

Veri Mühendisi, DevOps, Veri Bilimcisi

AMAÇ:

Bu kurs, Apache Spark'i tanıtacaktır. Öğrenciler, Spark'ın Big Data ekosistemine nasıl uyduğunu ve Spark'ı veri analizi için nasıl kullanacaklarını öğreneceklerdir. Kurs, etkileşimli veri analizi için Spark kabuğunu, Spark iç yapılarını, Spark API'lerini, Spark SQL'i, Spark akışını, makine öğrenimi ve GraphX'i kapsamaktadır.

HEDEF KİTLE:

Geliştiriciler / Veri Analistleri

Istanbul dilindeki bu eğitmen liderliğindeki canlı eğitim (çevrimiçi veya yerinde), Apache Spark üzerine kurulu Spark NLP'u kullanarak doğal dil metin işleme modelleri ve hatları geliştirmek, uygulamak ve ölçeklemek isteyen veri bilimcileri ve geliştiricilere yöneliktir.

Bu eğitimin sonunda katılımcılar;

• Spark NLP ile NLP boru hatlarının inşasına başlamak için gerekli geliştirme ortamını kurun.
• Spark NLP'un özelliklerini, mimarisini ve kullanım avantajlarını anlayın.
• Metin işlemeyi uygulamak için Spark NLP'da bulunan önceden eğitilmiş modelleri kullanın.
• Üretim düzeyindeki projeler için Spark NLP modellerin nasıl oluşturulacağını, eğitileceğini ve ölçeklendirileceğini öğrenin.
• Sınıflandırma, çıkarım ve duygu analizini gerçek dünya kullanım durumlarına (klinik veriler, müşteri davranışı içgörüleri vb.) uygulayın.

Spark SQL, Apache Spark'nin yapılandırılmış ve yapılandırılmamış verilerle çalışmak için kullandığı modüldür. Spark SQL, verilerin yapısı ve gerçekleştirilen işlem hakkında bilgi sağlar. Bu bilgiler optimizasyonlar yapmak için kullanılabilir. Spark SQL'in iki yaygın kullanım amacı şunlardır:
- SQL sorgularını yürütmek.
- mevcut bir Hive kurulumundan veri okumak.

Bu eğitmen liderliğindeki, canlı eğitimde (yerinde veya uzaktan), katılımcılar Spark SQL kullanarak çeşitli veri kümelerini analiz etmeyi öğreneceklerdir.

Bu eğitimin sonunda katılımcılar şunları yapabilecektir:

• Spark SQL'i kurmak ve yapılandırmak.
• Spark SQL kullanarak veri analizi yapmak.
• Farklı formatlardaki veri kümelerini sorgulamak.
• Verileri ve sorgu sonuçlarını görselleştirmek.

Kurs Formatı

• İnteraktif ders ve tartışma.
• Çok sayıda alıştırma ve uygulama.
• Canlı laboratuvar ortamında uygulamalı uygulama.

Kurs Özelleştirme Seçenekleri

• Bu kurs için özelleştirilmiş bir eğitim talep etmek için lütfen bizimle iletişime geçin.

MLlib, Spark’ın makine öğrenimi (ML) kütüphanesidir. Amacı, pratik makine öğrenimini ölçeklenebilir ve kolay hale getirmektir. Sınıflandırma, regresyon, kümeleme, işbirlikçi filtreleme, boyut azaltma gibi yaygın öğrenme algoritmaları ve yardımcı programlarının yanı sıra daha düşük seviyeli optimizasyon öncülleri ve daha yüksek seviyeli pipeline API’lerinden oluşur.

İki pakete ayrılır:

• spark.mllib, RDD’ler üzerine inşa edilmiş orijinal API’yi içerir.

• spark.ml, ML pipeline’ları oluşturmak için DataFrames üzerine inşa edilmiş daha yüksek seviyeli bir API sağlar.

Hedef Kitle

Bu kurs, Apache Spark için yerleşik bir Makine Öğrenimi Kütüphanesini kullanmak isteyen mühendisler ve geliştiricilere yöneliktir.