Eğitim İçeriği
- Giriş
- Hadoop tarih, kavramlar
- Ekosistem
- Dağıtımlar
- Yüksek düzey mimari
- Hadoop mitler
- Hadoop zorluklar (donanım / yazılım)
- Laboratuvarlar: projelerinizi ve sorunlarınızı tartışın
- Planlama ve yükleme
- Yazılımı seçme, Hadoop dağıtımları
- Kümenin boyutlandırma, büyüme için planlama
- Donanım ve ağ seçimleri
- Raftopoloji
- Yükleme
- Çok kiracılık
- Klasör yapısı, günlükler
- Performans testi
- Laboratuvarlar: küme yüklemesi, performans testleri çalıştırma
- HDFS işlemler
- Kavramlar (yatay ölçeklendirme, kopyalama, veri yerelleştirme, raftan bilgi alma)
- Düğümler ve daemon'lar (NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
- Sağlık izleme
- Komut satırı ve tarayıcı tabanlı yönetim
- Depolama ekleme, hasarlı sürücülerin更换为:
- Depolama ekleme, hasarlı sürücüleri değiştirme
- Laboratuvarlar: HDFS komut satırıyla tanışma
- Veri alımı
- Flume ile günlük ve diğer verilerin HDFS'e aktarılması
- Sqoop ile veritabanından HDFS'e içe aktarma ve geri dışa aktarma
- Hadoop veri ambarı ile Hive
- Küme arası veri kopyalama (distcp)
- S3'ün HDFS'e yardımcı olarak kullanımı
- Veri alımı en iyi uygulamaları ve mimarileri
- Laboratuvarlar: Flume kurulumu ve kullanımı, aynı şekilde Sqoop için
- MapReduce işlemler ve yönetimi
- MapReduce'dan önce paralel hesaplama: HPC vs Hadoop yönetim karşılaştırması
- MapReduce küme yükleri
- Düğümler ve Daemon'lar (JobTracker, TaskTracker)
- MapReduce Kullanıcı Arayüzü gezintisi
- MapReduce yapılandırması
- İş yapılandırma
- MapReduce iyileştirme
- MR'yi güvenli hale getirme: programcılarına ne anlatmanız gerektiğini bilmek
- Laboratuvarlar: MapReduce örneklerini çalıştırma
- YARN: yeni mimari ve yeni yetenekler
- YARN tasarım hedefleri ve uygulama mimarisine göre
- Yeni aktörler: ResourceManager, NodeManager, Uygulama Yöneticisi
- YARN yükleme
- YARN'daki iş planlama
- Laboratuvarlar: iş planlamasını araştırmak
- İleri konular
- Donanım izleme
- Küme izleme
- Sunucuları eklemek ve kaldırmak, Hadoop yükseltme
- Yedekleme, kurtarma ve iş sürekliliği planlaması
- Oozie iş akışları
- Hadoop yüksek mevcudiyet (HA)
- Hadoop Federasyon
- Kümenizi Kerberos ile güvenli hale getirme
- Laboratuvarlar: izleme kurulumu yapma
- Seçmeli izler
- Cloudera Manager, küme yönetimi, izleme ve rutin görevler için; yükleme ve kullanım. Bu izde tüm egzersizler ve laboratuvarlar Cloudera dağıtım ortamında (CDH5) gerçekleştirilir.
- Ambari, küme yönetimi, izleme ve rutin görevler için; yükleme ve kullanım. Bu izde tüm egzersizler ve laboratuvarlar Ambari küme yöneticisi ve Hortonworks Data Platform (HDP 2.0)'da gerçekleştirilir.
Kurs İçin Gerekli Önbilgiler
- temel Linux sistem yönetimi konusunda rahatlıkla işlemeyi bilmek
- temel betikleme becerileri
Hadoop ve Dağıtılmış Hesaplama bilgisi gerekli değildir, ancak kurs kapsamında tanıtılacak ve açıklanacaktır.
Lab ortamı
Sıfır Kurulum : Öğrencilerin makinelere hadoop yazılımını kurmalarına gerek yok! Öğrencilere bir işlevsel hadoop klütürü sağlanacak.
Öğrencilerin aşağıdaki ihtiyaçları olacaktır
- bir SSH istemcisi (Linux ve Mac zaten SSH istemciyi içerir, Windows için Putty önerilir)
- klütere erişmek için bir tarayıcı. Firefox tarayıcısıyla FoxyProxy eklentisini kurmayı öneriyoruz.
Danışanlarımızın Yorumları (5)
Canlı örnekler
Ahmet Bolat - Accenture Industrial SS
Eğitim - Python, Spark, and Hadoop for Big Data
Yapay Zeka Çevirisi
Egzersizler sırasında James, kilitlendiğim her adımda daha detaylı açıklamalar yaptı. Ben NIFI'ye tamamen yeniydim. O, NIFI'nin gerçek amacını, açık kaynak gibi temel konuları bile anlattı. James, beni NIFI'nin kavramlarını Başlangıç Seviyesinden Geliştirici Seviyesine kadar kapsayacak şekilde yönlendirdi.
Firdous Hashim Ali - MOD A BLOCK
Eğitim - Apache NiFi for Administrators
Yapay Zeka Çevirisi
Eğitmenin hazırlığı ve organizasyonu, sertaat.github.io'da sağlanan materyallerin kalitesi.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Eğitim - Impala for Business Intelligence
Yapay Zeka Çevirisi
Translate this From: en To: tr İlk olarak bunun elimde olduğunu.
Peter Scales - CACI Ltd
Eğitim - Apache NiFi for Developers
Yapay Zeka Çevirisi
pratik şeylerin yapılmasına ilavideori iyi bir şekilde Ajay tarafından sunuldu
Dominik Mazur - Capgemini Polska Sp. z o.o.
Eğitim - Hadoop Administration on MapR
Yapay Zeka Çevirisi