Un projet Big Data Hadoop et Spark pour les débutants absolus

Acheter maintenant

Prix: $29.99

Ce cours vous préparera à un rôle d'ingénieur de données dans le monde réel !

Démarrez avec le Big Data en tirant rapidement parti d'un cluster cloud gratuit et en résolvant un cas d'utilisation réel! Apprendre Hadoop, Ruche , Étincelle (à la fois Python et Scala) de zéro!

Apprendre à coder Spark Scala & PySpark comme un développeur du monde réel. Comprendre les meilleures pratiques de codage dans le monde réel, enregistrement, la gestion des erreurs , gestion de la configuration en utilisant à la fois Scala et Python.

Projet

Une banque lance une nouvelle carte de crédit et souhaite identifier des prospects à cibler dans sa campagne marketing.

Il a reçu des données sur les prospects de diverses sources internes et tierces. Les données présentent divers problèmes tels que des valeurs manquantes ou inconnues dans certains champs. Les données doivent être nettoyées avant qu'une quelconque analyse puisse être effectuée.

Étant donné que les données sont en volume énorme avec des milliards d'enregistrements, la banque vous a demandé d'utiliser la technologie Big Data Hadoop et Spark pour nettoyer, transformer et analyser ces données.

Ce que vous apprendrez :

• Big Data, Notions Hadoop

• Comment créer un cluster Hadoop et Spark gratuit à l'aide de Google Dataproc

• Hadoop pratique – HDFS, Ruche

• Les bases de Python

• RDD PySpark – pratique

• SQL PySpark, Trame de données – pratique

• Travail de projet avec PySpark et Hive

• Les bases de Scala

• Étincelle Scala DataFrame

• Travail de projet avec Spark Scala

• Spark Scala Cadre de codage du monde réel et développement à l'aide de Winutil, Maven et IntelliJ.

• Framework de codage Python Spark Hadoop Hive et développement à l'aide de PyCharm

• Construire un pipeline de données à l'aide de Hive , PostgreSQL, Étincelle

• Cybersécurité et gestion des risques informatiques , gestion des erreurs et tests unitaires des applications PySpark et Spark Scala

• Spark Scala Streaming structuré

• Application de la transformation Spark aux données stockées dans AWS S3 à l'aide de Glue et affichage des données à l'aide d'Athena

Conditions préalables :

• Quelques compétences de base en programmation

• Quelques connaissances des requêtes SQL