Een Big Data Hadoop- en Spark-project voor absolute beginners
Prijs: $29.99
Deze cursus bereidt je voor op een echte rol als Data Engineer !
Ga snel aan de slag met Big Data, maak gebruik van een gratis cloudcluster en los een praktijkvoorbeeld op! Leer Hadoop, Bijenkorf , Vonk (zowel Python als Scala) helemaal opnieuw!
Leer Spark Scala coderen & PySpark als een echte ontwikkelaar. Begrijp best practices voor coderen in de echte wereld, loggen, foutafhandeling , configuratiebeheer met behulp van zowel Scala als Python.
Project
Een bank lanceert een nieuwe creditcard en wil potentiële klanten identificeren waarop zij zich in haar marketingcampagne kan richten.
Het heeft prospectgegevens ontvangen van verschillende interne bronnen en bronnen van derden. De gegevens vertonen verschillende problemen, zoals ontbrekende of onbekende waarden in bepaalde velden. De gegevens moeten worden opgeschoond voordat enige vorm van analyse kan worden uitgevoerd.
Omdat de gegevens een enorm volume hebben met miljarden records, de bank heeft u gevraagd om Big Data Hadoop- en Spark-technologie te gebruiken om op te schonen, transformeer en analyseer deze gegevens.
Wat ga je leren? :
-
Grote gegevens, Hadoop-concepten
-
Hoe u een gratis Hadoop- en Spark-cluster kunt maken met Google Dataproc
-
Hadoop hands-on – HDFS, Bijenkorf
-
De basis van Python
-
PySpark RDD – hands-on
-
PySpark-SQL, Gegevensframe – hands-on
-
Projectwerk met behulp van PySpark en Hive
-
Scala-basisprincipes
-
Spark Scala-dataframe
-
Projectmatig werken met Spark Scala
-
Spark Scala Real-world coderingsframework en ontwikkeling met behulp van Winutil, Maven en IntelliJ.
-
Python Spark Hadoop Hive-coderingsframework en ontwikkeling met behulp van PyCharm
-
Een gegevenspijplijn bouwen met Hive , PostgreSQL, Vonk
-
Loggen , foutafhandeling en unit-testen van PySpark- en Spark Scala-applicaties
-
Spark Scala gestructureerde streaming
-
Spark-transformatie toepassen op gegevens die zijn opgeslagen in AWS S3 met behulp van Glue en gegevens bekijken met Athena
Vereisten :
-
Enkele basisprogrammeervaardigheden
-
Enige kennis van SQL-query's
Laat een antwoord achter
Je moet Log in of registreren om een nieuwe opmerking toe te voegen .