Zarejestruj się teraz

Zaloguj sie

Zgubione hasło

Zgubiłeś swoje hasło? Wprowadź swój adres e-mail. Otrzymasz link i utworzysz nowe hasło e-mailem.

Dodaj post

Musisz się zalogować, aby dodać post .

Dodaj pytanie

Aby zadać pytanie, musisz się zalogować.

Zaloguj sie

Zarejestruj się teraz

Witamy na stronie Scholarsark.com! Twoja rejestracja zapewni Ci dostęp do większej liczby funkcji tej platformy. Możesz zadawać pytania, wnosić wkład lub udzielać odpowiedzi, przeglądaj profile innych użytkowników i wiele więcej. Zarejestruj się teraz!

Projekt Big Data Hadoop i Spark dla absolutnie początkujących

Projekt Big Data Hadoop i Spark dla absolutnie początkujących

Cena: $29.99

Ten kurs przygotuje Cię do roli inżyniera danych w świecie rzeczywistym !

Szybko rozpocznij pracę z Big Data, wykorzystując bezpłatny klaster w chmurze i rozwiązując rzeczywisty przypadek użycia! Naucz się Hadoopa, Ul , Iskra (zarówno Pythona, jak i Scali) od zera!

Naucz się kodować Spark Scala & PySpark jak prawdziwy programista. Zapoznaj się z najlepszymi praktykami kodowania w świecie rzeczywistym, Logowanie, obsługa błędów , zarządzanie konfiguracją przy użyciu zarówno Scali, jak i Pythona.

Projekt

Bank wprowadza na rynek nową kartę kredytową i chce zidentyfikować potencjalnych klientów, na których może kierować kampanię marketingową.

Otrzymała dane dotyczące potencjalnych klientów z różnych źródeł wewnętrznych i zewnętrznych. Dane mają różne problemy, takie jak brakujące lub nieznane wartości w niektórych polach. Dane muszą zostać oczyszczone przed wykonaniem jakiejkolwiek analizy.

Ponieważ dane są w ogromnej ilości z miliardami rekordów, bank poprosił Cię o użycie technologii Big Data Hadoop i Spark do czyszczenia, przekształcać i analizować te dane.

Czego się nauczysz :

  • Big Data, Koncepcje Hadoopa

  • Jak stworzyć darmowy klaster Hadoop i Spark za pomocą Google Dataproc

  • Praktyczny Hadoop – HDFS, Ul

  • Podstawy Pythona

  • PySpark RDD – REST API korzystające ze Spring Data REST

  • PySpark SQL, Ramka danych – REST API korzystające ze Spring Data REST

  • Praca projektowa z wykorzystaniem PySpark i Hive

  • Podstawy Scali

  • Spark Scala DataFrame

  • Praca projektowa w Spark Scala

  • Spark Scala Ramy kodowania i programowanie w świecie rzeczywistym przy użyciu Winutil, Mavena i IntelliJ.

  • Platforma kodowania Python Spark Hadoop Hive i programowanie przy użyciu PyCharm

  • Budowanie potoku danych przy użyciu Hive , PostgreSQL, Iskra

  • Logowanie , obsługa błędów i testy jednostkowe aplikacji PySpark i Spark Scala

  • Strumieniowe przesyłanie strumieniowe Spark Scala

  • Stosowanie transformacji iskrowej na danych przechowywanych w AWS S3 za pomocą Glue i przeglądanie danych za pomocą Atheny

Warunki wstępne :

  • Kilka podstawowych umiejętności programowania

  • Pewna znajomość zapytań SQL

Zostaw odpowiedź