Derin Sinir Ağları Anlama Eğitimi

Bölüm 1 – Derin Öğrenim ve DNN Kavramları

AI, Makine Öğrenimi & Derin Öğrenim Tanıtımı

• Yapay zeka alanının tarihi, temel kavramları ve yaygın uygulamaları - bu alandaki hayalperest fantezilerden uzak.
• Toplu Zeka: birçok sanal ajanın paylaştığı bilgileri birleştirmek.
• Genetik Algoritmalar: bir popülasyonu seçim yoluyla evrimlendirmek.
• Yaygın Makine Öğrenimi: tanım.
• Görev türleri: gözetimli öğrenme, gözetimsiz öğrenme, takviyeli öğrenme
• Eylem türleri: sınıflandırma, regresyon, kümeleme, yoğunluk tahmini, boyut indirgeme
• Makine Öğrenimi algoritmaları örnekleri: Doğrusal regresyon, Naive Bayes, Rastgele Ağaç
• Makine Öğrenimi VS Derin Öğrenim: Makine Öğreniminin hala en iyi olan (Rastgele Ormanlar & XGBoosts) sorunlar.

Bir Sinir Ağı Temel Kavramları (Uygulama: çok katmanlı algılayıcı)

• Matematiksel temellere hatırlatma.
• Nöron ağı tanımı: klasik mimari, aktivasyon ve
• Önceki aktivasyonların ağırlandırılması, ağın derinliği
• Nöron ağı öğrenimi tanımı: maliyet fonksiyonları, geri yayılım, stokastik gradiyent inişi, maksimum olabilirlik.
• Bir nöral ağın modellemesi: sorun türüne (regresyon, sınıflandırma...) göre giriş ve çıkış verilerinin modellemesi. Boyut laneti.
• Çok özellikli veri ve sinyal arasındaki farklar. Verilere göre maliyet fonksiyonu seçimi.
• Bir nöral ağ tarafından bir fonksiyonun yaklanması: tanıtım ve örnekler
• Bir nöral ağ tarafından dağılımın tahmini: tanıtım ve örnekler
• Veri artırma: bir veri kümesini dengellemenin yolları
• Bir nöral ağın sonuçlarının genelleştirilmesi.
• Bir nöral ağı başlatma ve düzenleme: L1 / L2 düzenlemesi, toplu normalleştirme
• Optimizasyon ve yakınsama algoritmaları

Standart ML / DL Araçları

Avantajlar, dezavantajlar, ekosistemdeki konumu ve kullanımı hakkında basit bir tanıtım planlanmıştır.

• Veri yönetimi araçları: Apache Spark, Apache Hadoop Araçları
• Makine Öğrenimi: Numpy, Scipy, Sci-kit
• Yüksek seviye DL karekodları: PyTorch, Keras, Lasagne
• Düşük seviye DL karekodları: Theano, Torch, Caffe, TensorFlow

Convolutional Neural Networks (CNN).

• CNN'lerin tanıtımı: temel ilkeler ve uygulamalar
• Bir CNN'nin temel işlemi: konvolüsyon katmanı, bir çekirdeğin kullanımı,
• Padding & stride, özellik haritası oluşturma, havuzlama katmanları. 1D, 2D ve 3D uzantıları.
• Sınıflandırma konusunda en iyi duruma getiren farklı CNN mimarilerinin tanıtımı
• Görseller: LeNet, VGG Ağları, Network in Network, Inception, Resnet. Her bir mimarinin getirdiği yenilikler ve daha genel uygulamalarının (1x1 konvolüsyon veya kalan bağlantılar) tanıtımı.
• Bir dikkat modelinin kullanımı.
• Ortak bir sınıflandırma durumuna (metin veya görüntü) uygulama
• Üretim için CNN'ler: süper çözünürlük, piksel-piksel segmentasyon. Ana stratejilerin tanıtımı.
• Görüntü üretimi için özellik haritasını artırmak için ana stratejilerin tanıtımı.

Recurrent Neural Networks (RNN).

• RNN'lerin tanıtımı: temel ilkeler ve uygulamalar.
• Bir RNN'nin temel işlemi: gizli aktivasyon, zaman boyunca geri yayılım, açılan versiyon.
• Gated Recurrent Units (GRUs) ve LSTM (Long Short Term Memory) ile evrimler.
• Bu mimarilerin getirdiği farklı durumlar ve evrimlerin tanıtımı
• Yakınsama ve kaybolan gradyan sorunları
• Klasik mimariler: zaman serisi tahmini, sınıflandırma ...
• RNN Encoder Decoder tipi mimari. Bir dikkat modelinin kullanımı.
• NLP uygulamaları: kelime / karakter kodlaması, çeviri.
• Video Uygulamaları: bir video dizisinin son üretilen görüntüsünü tahmin etme.

Üretimsel modeller: Variational AutoEncoder (VAE) ve Generative Adversarial Networks (GAN).

• Üretimsel modellerin tanıtımı, CNN'lerle bağlantısı
• Auto-encoder: boyut indirgeme ve sınırlı üretim
• Variational Auto-encoder: üretimsel model ve verilen dağılımın tahmini. Latent uzayın tanımı ve kullanımı. Reparametrizasyon trick'i. Uygulamalar ve gözlenen sınırlar
• Generative Adversarial Networks: Temel ilkeler.
• Çift Ağı Mimarisi (Üretici ve ayırt edici) alternatif öğrenim, mevcut maliyet fonksiyonları.
• Bir GAN'ın yakınsaması ve karşılaşılan zorluklar.
• Yakınsamanın iyileştirilmesi: Wasserstein GAN, Began. Earth Moving Distance.
• Görüntülerin veya fotoğrafların, metnin üretimi, süper çözünürlük gibi uygulamalar.

Derin Takviye Öğrenimi.

• Takviye öğreniminin tanıtımı: tanımlı bir ortamda ajanın kontrolü
• Bir durum ve mümkün eylemler tarafından
• Nöral ağın durum fonksiyonunu yaklaşık olarak hesaplamasının kullanımı
• Derin Q Öğrenimi: deney geri oynatma ve bir video oyununun kontrolüne uygulama.
• Öğrenim politikasının optimizasyonu. On-policy && off-policy. Aktör eleştirmen mimarisi. A3C.
• Uygulamalar: tek bir video oyununun veya dijital sistemin kontrolü.

Bölüm 2 – Theano için Derin Öğrenim

Theano Temelleri

• Tanıtım
• Kurulum ve Yapılandırma

Theano Fonksiyonları

• girdiler, çıktılar, güncellemeler, verilenler

Theano ile bir nöral ağın eğitimi ve optimizasyonu

• Nöral Ağ Modellemesi
• Lojistik Regresyon
• Gizli Katmanlar
• Bir ağın eğitimi
• Hesaplama ve Sınıflandırma
• Optimizasyon
• Log Loss

Modelin Testi

Bölüm 3 – TensorFlow kullanarak DNN

TensorFlow Temelleri

• TensorFlow değişkenlerinin oluşturulması, başlatılması, kaydedilmesi ve geri yüklenebilirliği
• TensorFlow verisinin beslenmesi, okunması ve önceden yüklenmesi
• TensorFlow altyapısını kullanarak ölçeklendirilmiş modelleri eğitme
• Modellerin görselleştirilmesi ve değerlendirilmesi için TensorBoard kullanımı

TensorFlow Mekanikleri

• Veriyi Hazırlama
• İndirme
• Girdiler ve Yer tutucular
• Grafları Oluşturma
  • İfade
  • Kayıp
  • Eğitim
• Modeli Eğitme
  • Grafik
  • Oturum
  • Eğitim Döngüsü
• Modeli Değerlendirme
  • Değerlendirme Grafiğini Oluşturma
  • Değerlendirme Çıktısı

Perceptron

• Aktivasyon fonksiyonları
• Perceptron öğrenme algoritması
• Perceptron ile ikili sınıflandırma
• Metin sınıflandırması için perceptron
• Perceptron'un sınırlamaları

Perceptron'dan Support Vector Machines'a

• Çekirdekler ve çekirdek triği
• Maksimum margin sınıflandırması ve destek vektörleri

Yapay Nöral Ağlar

• Doğrusal olmayan karar sınırları
• İleri ve geri besleme yapay nöral ağları
• Çok katmanlı perceptronlar
• Maliyet fonksiyonunun minimize edilmesi
• İleri yayılım
• Geri yayılım
• Nöral ağların öğrenmesinin geliştirilmesi

Convolutional Neural Networks

• Hedefler
• Model Mimarisi
• İlkeler
• Kod Organizasyonu
• Modeli Başlatma ve Eğitme
• Model Değerlendirmesi

Aşağıdaki modüller için temel tanıtımlar (zaman uygunluğuna göre kısa bir tanıtım sağlanacak):

TensorFlow - Gelişmiş Kullanım

• İstemciler ve Sırasızlar
• Dağıtık TensorFlow
• Dokümantasyon Yazma ve Modelinizi Paylaşma
• Veri Okuyucularını Özelleştirme
• TensorFlow Model Dosyalarını Manipülasyonu

TensorFlow Serving

• Tanıtım
• Temel Hizmet Tutorialı
• Gelişmiş Hizmet Tutorialı
• Inception Modeli Hizmet Tutorialı