Derin Sinir Ağlarını Anlama Eğitimi

Bölüm 1 – Derin Öğrenme ve DNN Kavramları

Yapay Zeka, Makine Öğrenmesi ve Derin Öğrenme Girişimi

• Yapay zekânın tarihi, temel kavramları ve bu alanın taşıdığı hayallerin ötesindeki yaygın uygulamaları
• Kolektif Zeka: birçok sanal ajanın paylaştığı bilginin toplanması
• Genetik algoritmalar: seçilim yoluyla sanal ajan popülasyonlarının evrilmesi
• Yaygın Makine Öğrenmesi: tanım.
• Görev türleri: denetimli öğrenme, denetimsiz öğrenme, pekiştirmeli öğrenme
• Aksiyon türleri: sınıflandırma, regresyon, kümeleme, yoğunluk tahmini, boyut indirgeme
• Makine Öğrenmesi algoritması örnekleri: Doğrusal regresyon, Naive Bayes, Random Tree
• Makine Öğrenmesi VS Derin Öğrenme: Makine Öğrenmesi'nin bugün hâlâ son teknoloji olduğu sorunlar (Random Forests & XGBoosts)

Yapay Sinir Ağı Temel Kavramları (Uygulama: Çok katmanlı algılayıcı)

• Matematiksel temellerin hatırlatılması.
• Nöron ağı tanımı: klasik mimari, aktivasyon ve
• Önceki aktivasyonların ağırlıklandırılması, ağ derinliği
• Nöron ağı öğrenmesinin tanımı: maliyet fonksiyonları, geri yayılım, Stokastik gradyan inişi, en büyük olasılık.
• Yapay sinir ağı modellemesi: sorun türüne (regresyon, sınıflandırma ...) göre giriş ve çıkış verilerinin modellenmesi. Boyutun laneti.
• Çok özellikli veriler ve sinyal arasındaki ayrım. Verilere göre maliyet fonksiyonu seçimi.
• Bir fonksiyonun nöron ağı tarafından yaklaşık olarak modellenmesi: sunum ve örnekler
• Bir dağılımın nöron ağı tarafından yaklaşık olarak modellenmesi: sunum ve örnekler
• Veri Artırma (Data Augmentation): bir veri setinin nasıl dengeleneceği
• Nöron ağı sonuçlarının genelleştirilmesi.
• Yapay sinir ağı başlatma ve düzensizleştirme (regularization): L1 / L2 düzensizleştirme, Batch Normalization
• Optimizasyon ve yakınsama algoritmaları

Standart ML / DL Araçları

Avantajları, dezavantajları, ekosistemdeki konumu ve kullanımıyla ilgili basit bir sunum planlanmıştır.

• Veri yönetim araçları: Apache Spark, Apache Hadoop Tools
• Makine Öğrenmesi: Numpy, Scipy, Sci-kit
• DL yüksek seviye çerçeveleri: PyTorch, Keras, Lasagne
• DL düşük seviye çerçeveleri: Theano, Torch, Caffe, Tensorflow

Konvolüsyonel Sinir Ağları (CNN).

• CNN'lerin sunumu: temel ilkeler ve uygulamalar
• Bir CNN'nin temel işleyişi: konvolüsyon katmanı, çekirdek kullanımı,
• Padding & stride, özellik haritası üretimi, havuzlama (pooling) katmanları. 1D, 2D ve 3D genişletmeler.
• Sınıflandırmada son teknolojiyi getiren farklı CNN mimarilerinin sunumu
• Görseller: LeNet, VGG Networks, Network in Network, Inception, Resnet. Her mimarinin getirdiği yeniliklerin ve daha genel uygulamalarının sunumu (1x1 Konvolüsyon veya kalan bağlantılar)
• Bir dikkat modelinin kullanımı.
• Ortak bir sınıflandırma vakasına uygulama (metin veya görsel)
• Üretim için CNN'ler: süper çözünürlük, piksel-piksel segmentasyonu. Sunumu
• Görsel üretimi için özellik haritalarını artıran ana stratejiler.

Tekrarlayan Sinir Ağları (RNN).

• RNN'lerin sunumu: temel ilkeler ve uygulamalar.
• RNN'nin temel işleyişi: gizli aktivasyon, zamanda geri yayılım (back propagation through time), Açılmış versiyon.
• Kapılı Tekrarlayan Birimler (GRU) ve LSTM (Uzun Kısa Vadeli Bellek) yönündeki evrimler.
• Farklı durumların ve bu mimarilerin getirdiği evrimlerin sunumu
• Yakınsama ve kaybolan gradyan (vanishing gradient) sorunları
• Klasik mimariler: Zaman serisi tahmini, sınıflandırma ...
• RNN Encoder Decoder tipi mimari. Bir dikkat modelinin kullanımı.
• NLP uygulamaları: kelime / karakter kodlaması, çeviri.
• Video Uygulamaları: bir video dizisinin bir sonraki oluşturulan görselinin tahmini.

Üretken modeller: Variational AutoEncoder (VAE) ve Generative Adversarial Networks (GAN).

• Üretken modellerin sunumu, CNN'lerle bağlantısı
• Oto-encoder: boyut indirgeme ve sınırlı üretim
• Varyasyonel Oto-encoder: üretken model ve verilen bir dağılımın yaklaşık değeri. Gizli uzayın (latent space) tanımı ve kullanımı. Reparameterization hilesi (trick). Gözlemlenen uygulamalar ve sınırlılıklar
• Generative Adversarial Networks (GAN): Temeller.
• Sıralı öğrenme, maliyet fonksiyonları ile Çift Ağ Mimarisi (Üretici ve Ayırt Edici).
• Bir GAN'ın yakınsaması ve karşılaşılan zorluklar.
• İyileştirilmiş yakınsama: Wasserstein GAN, Began. Earth Moving Distance.
• Görsel veya fotoğraf üretimi, metin üretimi, süper çözünürlük uygulamaları.

Derin Pekiştirmeli Öğrenme.

• Pekiştirmeli öğrenmenin sunumu: tanımlanmış bir ortamda bir ajanın kontrolü
• By a state and possible actions
• Durum fonksiyonunu yaklaşık etmek için bir sinir ağı kullanımı
• Derin Q Öğrenimi: deneyim tekrarı (experience replay) ve bir video oyununun kontrolüne uygulama.
• Öğrenme politikasının optimizasyonu. On-policy && off-policy. Actor critic mimarisi. A3C.
• Uygulamalar: tek bir video oyunu veya dijital sistemin kontrolü.

Bölüm 2 – Derin Öğrenme için Theano

Theano Temelleri

• Giriş
• Kurulum ve Yapılandırma

TheanoFonksiyonları

• girdiler (inputs), çıktılar (outputs), güncellemeler (updates), verilenler (givens)

Theano kullanarak bir sinir ağı eğitimi ve optimizasyonu

• Sinir Ağı Modellemesi
• Lojistik Regresyon
• Gizli Katmanlar
• Bir ağın eğitimi
• Hesaplama ve Sınıflandırma
• Optimizasyon
• Log Loss

Modelin test edilmesi

Bölüm 3 – Tensorflow ile DNN

TensorFlow Temelleri

• TensorFlow değişkenlerinin oluşturulması, başlatılması, kaydedilmesi ve geri yüklenmesi
• TensorFlow Verilerinin Beslenmesi, Okunması ve Ön Yükleme
• TensorFlow altyapısını kullanarak ölçekli model eğitme
• TensorBoard ile modelleri görselleştirme ve değerlendirme

TensorFlow Mekanizmaları

• Verilerin Hazırlanması
• İndirme
• Girdiler ve Placeholders
• Grafiğin İnşa Edilmesi (Build the GraphS)
  • Çıkarım (Inference)
  • Kayıp (Loss)
  • Eğitim
• Modelin Eğitilmesi
  • Grafik
  • Oturum
  • Eğitim Döngüsü
• Modelin Değerlendirilmesi
  • Değerlendirme Grafiğinin İnşa Edilmesi
  • Değerlendirme Çıkışı

Algılayıcı (The Perceptron)

• Aktivasyon fonksiyonları
• Algılayıcı öğrenme algoritması
• Algılayıcı ile ikili sınıflandırma
• Algılayıcı ile belge sınıflandırması
• Algılayıcının sınırlılıkları

Algılayıcıdan Destektir Vektör Makinelerine

• Çekirdekler ve çekirdek hilesi (kernel trick)
• Maksimum marj sınıflandırması ve destek vektörleri

Yapay Sinir Ağları

• Doğrusal olmayan karar sınırları
• Feedforward ve feedback yapay sinir ağları
• Çok katmanlı algılayıcılar
• Maliyet fonksiyonunun minimize edilmesi
• İleri yayılım (Forward propagation)
• Geri yayılım (Back propagation)
• Sinir ağlarının öğrenme yolunun iyileştirilmesi

Konvolüsyonel Sinir Ağları

• Hedefler
• Model Mimarisi
• İlkeler
• Kod Düzenleme
• Modelin Başlatılması ve Eğitilmesi
• Bir Modelin Değerlendirilmesi

Aşağıdaki modüllere verilecek temel girişimler (Mevcut zamana dayalı olarak kısa bir giriş sağlanacaktır):

Tensorflow - Gelişmiş Kullanım

• Çok iş parçacıklılığı (Threading) ve Kuyruklar (Queues)
• Dağıtık TensorFlow
• Belge Yazımı ve Modelinizi Paylaşma
• Veri Okuyucularını Özelleştirme
• TensorFlow Model Dosyalarını İşleme

TensorFlow Sunumu (Serving)

• Giriş
• Temel Sunum Dersliği
• Gelişmiş Sunum Dersliği
• Inception Modeli Sunumu Dersliği