Projekt Big Data Hadoop i Spark dla absolutnie początkujących
Cena: $29.99
Ten kurs przygotuje Cię do roli inżyniera danych w świecie rzeczywistym !
Szybko rozpocznij pracę z Big Data, wykorzystując bezpłatny klaster w chmurze i rozwiązując rzeczywisty przypadek użycia! Naucz się Hadoopa, Ul , Iskra (zarówno Pythona, jak i Scali) od zera!
Naucz się kodować Spark Scala & PySpark jak prawdziwy programista. Zapoznaj się z najlepszymi praktykami kodowania w świecie rzeczywistym, Logowanie, obsługa błędów , zarządzanie konfiguracją przy użyciu zarówno Scali, jak i Pythona.
Projekt
Bank wprowadza na rynek nową kartę kredytową i chce zidentyfikować potencjalnych klientów, na których może kierować kampanię marketingową.
Otrzymała dane dotyczące potencjalnych klientów z różnych źródeł wewnętrznych i zewnętrznych. Dane mają różne problemy, takie jak brakujące lub nieznane wartości w niektórych polach. Dane muszą zostać oczyszczone przed wykonaniem jakiejkolwiek analizy.
Ponieważ dane są w ogromnej ilości z miliardami rekordów, bank poprosił Cię o użycie technologii Big Data Hadoop i Spark do czyszczenia, przekształcać i analizować te dane.
Czego się nauczysz :
-
Big Data, Koncepcje Hadoopa
-
Jak stworzyć darmowy klaster Hadoop i Spark za pomocą Google Dataproc
-
Praktyczny Hadoop – HDFS, Ul
-
Podstawy Pythona
-
PySpark RDD – REST API korzystające ze Spring Data REST
-
PySpark SQL, Ramka danych – REST API korzystające ze Spring Data REST
-
Praca projektowa z wykorzystaniem PySpark i Hive
-
Podstawy Scali
-
Spark Scala DataFrame
-
Praca projektowa w Spark Scala
-
Spark Scala Ramy kodowania i programowanie w świecie rzeczywistym przy użyciu Winutil, Mavena i IntelliJ.
-
Platforma kodowania Python Spark Hadoop Hive i programowanie przy użyciu PyCharm
-
Budowanie potoku danych przy użyciu Hive , PostgreSQL, Iskra
-
Logowanie , obsługa błędów i testy jednostkowe aplikacji PySpark i Spark Scala
-
Strumieniowe przesyłanie strumieniowe Spark Scala
-
Stosowanie transformacji iskrowej na danych przechowywanych w AWS S3 za pomocą Glue i przeglądanie danych za pomocą Atheny
Warunki wstępne :
-
Kilka podstawowych umiejętności programowania
-
Pewna znajomość zapytań SQL
Zostaw odpowiedź
Musisz Zaloguj sie lub Zarejestruj się dodać nowy komentarz .