Szkoła Big Data

Naucz się jak korzystać z narzędzi obszaru big data. Dowiedz się jakie są najlepsze praktyki instalacji klastra oraz jak korzystać z Hortonworks Data Platform 3 (Cloudera). Wiele z tych informacji możesz wykorzystać nietylko w tej konkretnej dystrybucji. Użyjesz jej również na wszystkich tych środowiskach, na których występuje ekosystem big data. W ramach kursu zdobędziesz wiedzę z obszarów takich jak:

Moduł ZERO
1. Dostępne dystrybucje Hadoop na rynku.
2. Czym tak na prawdę jest big data?
3. Usługi chmurowe i big data.
4. Dostępne metody uruchomienia klastra.
5. Przygotowanie z obszaru Linuxa przed następnymi modułami.
6 [BONUS] – Planowanie architektury klastra Hadoop.

Moduł 1
1. Architektura klastra Hadoop.
2. Usługi wysokiej dostępności klastra.
3. Planowanie architektury klastra.

Moduł 2
1. Zasada działania komponentu YARN.
2. Omówieie architektury HDFS.
3. Architektura NameNode i DataNode.
4. Pliki konfiguracyjne w HDP.
5. Hadoop CLI.

Moduł 3
1. Wymagania do instalacji klastra HDP 3.
2. Wybór środowiska do instalacji.
3. Instalacja klastra HDP 3.
4. Rozwiązywanie problemów po instalacji.

Moduł 4
1. Rozproszone przetwarzanie w MapReduce.
2. Wstęp do Apache Spark.
3. Architektura Spark.
4. Ekosystem Hadoop vs Spark.
5. Twoja pierwsza aplikacja w Sparku.
6. Wstęp do Spark SQL.
7. Architektura Spark SQL.
8. Przetwarzanie danych z wykorzystaniem DataFrame.

Moduł 5
1. Wstęp do Apache Hive.
2. Architektura Hive.
3. Tworzenie tabel, typy danych, formaty danych.
4. Dynamiczne partycjonowanie w Hive.
5. Interfejsy do wykonywania zapytań w Hive.

Moduł 6
1. Wstęp do baz NoSQL.
2. Przegląd narzędzia HBase.
3. Architektura HBase.
4. Apache Sqoop.
5. Import, export danych w Sqoop.
6. Dodatkowe ćwiczenia.

Moduł 7
1. Apache Kafka.
2. Architektura Apache Kafka.
3. Przepływ danych z użyciem Kafka.
4. Producer i Consumer – dane z Twittera.

Każdy z modułów jest uwalniany raz w tygodniu. Podczas przygotowywania klastra Hadoop wykorzystujemy środowisko wirtualne z użyciem jednej z dostępnych na rynku chmur lub maszyn wirtualnych na własnym sprzęcie.