Eğitim İçeriği
Gün 01
Büyü Veri İşletme Zekası ve Suç Intelijansı Analizi Genel Bakış
- Hukuk Uygulamasından Örnekler - Tahminleyici Polislik
- Hukuk Uygulama Kurumlarında Büyük Veri benimsemesi oranı ve gelecekteki operasyonlarını Büyük Veri Tahminleyici Analiz etrafında nasıl hizaladıkları
- Şehir gürültüsü sensörleri, gözetleme videosu ve sosyal medya gibi ortaya çıkan teknoloji çözümleri
- Büyük Veri teknolojisini bilgi aşırılığını azaltmak için nasıl kullanabileceğiniz
- Eski veriyi Büyük Veri ile entegre etme
- Tahminleyici analizdeki etkin teknolojilerin temel anlayışı
- Veri Entegrasyonu ve Panoda Gösterim
- Dolandırıcılık yönetimi
- İş kuralları ve dolandırıcılık tespiti
- Tehdit tespiti ve profil oluşturma
- Büyük Veri uygulaması için Maliyet-Fayda analizi
Büyük Veriye Giriş
- Büyük Veri'nin temel özellikleri -- Hacim, Çeşitlilik, Hız ve Doğruluk.
- MPP (Çoklu Paralel İşleme) mimarisi
- Veri Depoları – statik şema, yavaş evrili veri seti
- MPP Veritabanları: Greenplum, Exadata, Teradata, Netezza, Vertica vb.
- Hadoop Tabanlı Çözümler – veri kümesinin yapısı üzerinde herhangi bir koşul yok.
- Tipik desen : HDFS, MapReduce (işleme), HDFS'den alma
- Apache Spark akış işleme için
- Analitik/etkileşim dışı uygundur - toplu işlem
- Hacim : CEP akış verisi
- Tipik seçenekler – CEP ürünler (örn. Infostreams, Apama, MarkLogic vb.)
- Daha az üretim hazır hali – Storm/S4
- NoSQL Veritabanları – (sütunlu ve anahtar-değer): Veri deposu/veritabanına analitik yan ek olarak en uygundur
NoSQL çözümleri
- KV Depolama - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- KV Depolama - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
- KV Depolama (Hiyerarşik) - GT.m, Cache
- KV Depolama (Sıralı) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- KV Önbellek - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Tuple Depolama - Gigaspaces, Coord, Apache River
- Nesne Veritabanı - ZopeDB, DB40, Shoal
- Belge Depolama - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Veritabanları, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Geniş Sütunlu Depolama - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Büyük Veri'deki Farklılık: Büyük Verideki Veri Temizleme Sorunlarına Giriş
- RDBMS – statik yapı/şema, çevik ve keşfici ortamı teşvik etmez.
- NoSQL – yarı yapılandırılmış, verinin depolanmadan önce tam bir şemaya sahip olmama olanağı
- Veri temizleme sorunları
Hadoop
- Bir ne zaman Hadoop'u seçmek gerekir?
- YAPISAL - Kurumsal veri depoları/veritabanları büyük veriyi (maliyetli) depolayabilir, ancak yapı koyar (etkileşimli keşif için iyi değildir)
- YARIM YAPILANDIRILMIŞ veri – geleneksel çözümlerle (DW/DB) zorlanır
- Veriyi ambarlama = ÇOK büyük çaba ve uygulama sonrası bile statik
- Farklılık & hacim için, düşük maliyetli donanımda işlem - HADOOP
- Bir Hadoop Kümesi oluşturmak için düşük maliyetli H/W gerekir
Map Reduce /HDFS'ye Giriş
- MapReduce – birden fazla sunucu üzerinde dağıtık işlem
- HDFS – veriyi yerel olarak (yedekleme ile birlikte) işlem süreci için kullanılabilir hale getirme
- Veri – yapılandırılmamış/şemasız olabilir (RDBMS'ye göre)
- Geliştiricinin verinin anlamını çıkarması sorumluluğundadır
- MapReduce programlama = Java ile çalışma (avantajlar/dezavantajlar), manuel olarak HDFS'e veri yükleme
Gün 02
Büyük Veri Ekosistemi -- Büyük Veri ETL (Çekme, Dönüşüm, Yükle) Oluşturma -- Hangi Büyük Veri Araçlarını ve Ne Zaman Kullanmak Gerekir?
- Hadoop vs. Diğer NoSQL çözümleri
- Etkileşimli, rastgele erişim için veri
- Hadoop'un üzerinde Hbase (sütun yönelimli veritabanı)
- Rastgele veriye erişim ancak uygulanmış kısıtlamalar (maksimum 1 PB)
- Ad-hoc analiz için uygun değil, günlük kaydedme, sayım, zaman serisi için iyi
- Sqoop - Veritabanlarından Hive veya HDFS'ye veri aktarımı (JDBC/ODBC erişimi)
- Flume – akış verisini (örn. log verileri) HDFS'ye aktarma
Büyük Veri Yönetim Sistemi
- Hareketli parçalar, hesaplama düğüm başlangıcı/başarısızlığı :ZooKeeper - Yapılandırma/koordinasyon/adlandırma hizmetleri
- Karmaşık işlem/iş akışı: Oozie – iş akışını, bağımlılıkları ve zincirleme yönetme
- Dağıtım, yapılandırma, kümeleri yönetim, yükseltme vb. (sistem yöneticisi) :Ambari
- Bulutta: Whirr
Tahminleyici Analiz -- Temel Teknikler ve Makine Öğrenimi Tabanlı İşletme Zekası
- Makine öğrenimine giriş
- Sınıflandırma teknikleri öğrenimi
- Bayesci Tahmin -- bir eğitim dosyası hazırlama
- Destek Vektör Makinesi
- KNN p-Ağaç Cebiri & dikey madencilik
- Sinir Ağları
- Büyük Veri büyük değişken problemi -- Rastgele Orman (RF)
- Büyük Veri Otomasyonu sorunu – Çok model birleşim RF
- Otomasyon Soft10-M ile
- Metin analiz aracı-Treeminer
- Keskin öğrenme
- Ajans tabanlı öğrenme
- Dağıtık öğrenme
- Tahminleyici analiz için açık kaynaklı araçlar giriş : R, Python, Rapidminer, Mahut
Tahminleyici Analiz Ekosistemi ve Suç Intelijansı Analizinde Uygulanması
- Teknoloji ve soruşturma süreci
- Görüş analizi
- Görselleştirme analitiği
- Yapılandırılmış tahminleyici analiz
- Yapısız tahminleyici analiz
- Tehdit/dolandırıcılıkstar/tedarikçi profil oluşturma
- Öneri Motoru
- Desen tespiti
- Kural/Senaryo keşfi – başarısızlık, dolandırıcılık, iyileştirme
- Kök neden keşfi
- Duygu analizi
- Müşteri İlişkileri Yönetimi (CRM) analitiği
- Ağ analitiği
- Metin analitiği, sözlü ifadelerden, tanık beyanlarından, internet sohbetlerinden faydalanmak için
- Teknoloji destekli inceleme
- Dolandırıcılık analitiği
- Gerçek Zamanlı Analiz
Gün 03
Hadoop Üzerinde Gerçek Zamanlı ve Ölçeklenebilir Analitikler
- Neden yaygın analitik algoritmalar Hadoop/HDFS'de başarısız olur?
- Apache Hama - Toplu Senkron dağıtık işlem için
- Apache SPARK - kümelerde işlem ve gerçek zamanlı analiz için
- CMU Graphics Lab2 - Dağıtık işleme için grafik temelli asenkron yaklaşım
- KNN p -- Treeminer'den operasyon maliyetini azaltmak için cebirsel yaklaşım
eKeşif ve Forensik İçin Araçlar
- Büyük Veri üzerinde eKeşif vs. Eski veri - maliyet ve performans karşılaştırması
- Tahminleyici kodlama ve Teknoloji Yardımlı Inceleme (TAR)
- vMiner'in TAR'ın daha hızlı incelemeyi nasıl sağladığını anlamak için canlı demo
- HDFS aracılığıyla daha hızlı indeksleme - verinin hızı
- NLP (Doğal Dil İşleme) - açık kaynaklı ürünler ve teknikler
- Yabancı dillerde eKeşif - yabancı dil işleme için teknoloji
Küresel Güvenlikte Büyük Veri BI -- 360 derecelik görünüm, hızlı veri toplama ve tehdit tespiti
- Güvenlik analizinin temellerini anlamak - saldırı yüzeyi, güvenlik yanlış yapılandırması, ana bilgisayar savunmaları
- Ağ altyapısı / Büyük veri borusu / Gerçek zamanlı analiz için yanıt ETL
- Önceden belirlenmiş vs tahminleyici - sabit kural tabanlı vs meta veriden tehdit kurallarının otomatik keşfi
Suç Intelijansı Analizi için Farklı Verilerin Toplanması
- Veri toplama için IoT (Nesnelerin İnterneti) sensörlerini kullanımı
- Yerel gözetleme için Uydu Görüntüsü
- Gözetleme ve görüntü verisini suçluların kimliğini tespit etmek için kullanma
- Başka veri toplama teknolojileri -- drone'lar, vücut kameraları, GPS etiketleme sistemleri ve termal görüntüleme teknolojisi
- Otomatik veri alımı ile bilgilere dayanan, sorgulamadan, araştırmadan ve bilgi toplamdan elde edilen verinin birleştirilmesi
- Suç faaliyetlerini tahminleme
Gün 04
Büyük Veride Dolandırıcılık Analitiği için Sahte BI
- Dolandırıcılık Analitikleri temel sınıflandırması -- kural tabanlı vs tahminleyici analiz
- Denetimli vs denetimsiz makine öğrenimi için dolandırıcılık deseni tespiti
- Kurumsal kurumlardaki dolandırıcılık, tıbbi taleplerde dolandırıcılık, sigortada dolandırıcılık, vergi kaçağı ve para aklama
Sosyal Medya Analitiği -- Intelijans toplama ve analiz
- Kriminallerin organizasyonunu, rencana dahil etmeyi ve planlamayı düzenlemek için Sosyal Medyanın nasıl kullandıkları
- Büyük Veri ETL API'si sosyal medya verisini çıkarmak için
- Metin, görüntü, meta veri ve video
- Sosyal medya beslemesinden duygu analizi
- Sosyal medya beslemesinin bağlamsal ve bağlam dışı süzgeçleme
- Farklı sosyal medyanın entegrasyonu için Sosyal Medya Panosu
- Sosyal medya profilin otomatik oluşturma
- Her analitik için canlı demo Treeminer Aracı aracılığıyla verilecektir
Büyük Veri'deki Görüntü İşleme ve Video Beslemelerinde Analitikler
- Görüntü Depolama Teknikleri Büyük Veride -- petabyte'ı aşan veriler için depolama çözümü
- LTFS (Linear Tape File System) ve LTO (Linear Tape Open)
- GPFS-LTFS (General Parallel File System - Linear Tape File System) -- Büyük görüntü verisi için katmanlı depolama çözümü
- Görüntü analitiklerinin temelleri
- Nesne tanıma
- Görüntü segmentasyonu
- Hareket izi
- 3-B görüntü yeniden oluşturma
Biyometri, DNA ve Yeni Nesil Kimlik Programları
- Dijital işaretler ve yüz tanıma ötesinde
- Konuşma tanma, klavye (kullanıcının yazma desenini analiz etme) ve CODIS (birleştirilmiş DNA İndeks Sistemi)
- DNA eşleştirmenin ötesinde: bir yüzü DNA örneklerinden oluşturmak için forensik DNA fenotiplendirme kullanımı
Birçok farklı verinin hızlı erişimi ve gösterimi için Büyük Veri Panosu :
- Mevcut uygulama platformunun Büyük Veri Pano ile entegrasyonu
- Büyük Veri yönetimi
- Büyük Veri Pano Hakkında Durum Çalışması: Tableau ve Pentaho
- Yerel hizmetlerin devlette kullanılmasını başlatan Büyük Veri uygulaması
- Takip sistemi ve yönetimi
Gün 05
Bir kuruluş içinde Büyük Veri BI uygulamasının nasıl gerekçelendirileceği:
- Büyük Veri'nin uygulanması için ROI (Yatırım Getiri Oranı) tanımlama
- Veri toplama ve hazırlamada Analist Zamanı tasarrufu için durum örnekleri - üretiviyetin artırılması
- Veritabanı lisans maliyetlerinin düşmesinden elde edilen gelir
- Yerel hizmetlere dayalı hizmetlerden elde edilen gelir
- Dolandırıcılık önlemeden kaynaklanan maliyet tasarrufu
- Büyük Veri uygulamasından yaklaşık giderleri ve geliri/tasarrufu hesaplamak için entegre bir elektronik tablo yaklaşımı.
Eski bir veri sisteminin Büyük Veri Sistemi ile değiştirilmesi için adım adım prosedür
- Büyük Veri Migrasyon Rotalaması
- Bir Büyük Veri sistemi tasarlanmadan önce kritik hangi bilgilerin gerektiğini/li>
- Verinin hacmi, hızı, çeşitliliği ve doğruluğunun hesaplanması için farklı yollar
- Veri büyümesini nasıl tahmin edebiliriz?
- Durum örnekleri
Büyük Veri Tedarikçilerinin ve ürünlerinin incelemesi.
- Accenture
- APTEAN (Eski CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (Eski 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (EMC'in bir parçası)
Soru-Cevap Oturumu
Kurs İçin Gerekli Önbilgiler
- Hukuk uygulama süreçleri ve veri sistemlerine bilgi sahibi olmak
- SQL/Oracle veya ilişkisel veritabanı konusunda temel anlayış
- İstatistik konusunda temel anlayış (Elektronik Tablo seviyesinde)
Hedef Kitle
- Teknik bir arka plana sahip hukuk uygulama uzmanları
Danışanlarımızın Yorumları (3)
Zor konular basit ve kullanıcı dostu bir şekilde sunulmuştur
Marcin - GE Medical Systems Polska Sp. z o.o.
Eğitim - Introduction to Predictive AI
Yapay Zeka Çevirisi
Deepthi, ihtiyaçlarıma oldukça duyarlıydı, karmaşıklık katması gerektiğinde ve daha yapısal bir yaklaşım benimsemesi gerekip gerekmediğini anlayabiliyordu. Deepthi gerçekten benim hızımda çalıştı ve yeni fonksiyonları / araçları kendi başıma kullanabileceğimi sağlamak için önce gösterdi, sonra da bana kendim tarafından yeniden oluşturmayı bıraktı. Bu eğitimdeki sonuçlar ve Deepthi'nin uzmanlık düzeyi konusunda mutluluk duymamak mümkün değil!
Deepthi - Invest Northern Ireland
Eğitim - IBM Cognos Analytics
Yapay Zeka Çevirisi
Çok açık ve net şekilde ifade edildi
Harshit Arora - PwC South East Asia Consulting
Eğitim - Alteryx for Developers
Yapay Zeka Çevirisi