Um projeto Big Data Hadoop e Spark para iniciantes absolutos
Preço: $29.99
Este curso irá prepará-lo para uma função de Engenheiro de Dados no mundo real !
Comece a usar Big Data rapidamente, aproveitando o cluster de nuvem gratuito e resolvendo um caso de uso do mundo real! Aprenda Hadoop, Colmeia , Fagulha (tanto Python quanto Scala) do princípio!
Aprenda a codificar o Spark Scala & PySpark como um desenvolvedor do mundo real. Entenda as melhores práticas de codificação do mundo real, exploração madeireira, Manipulação de erros , gerenciamento de configuração usando Scala e Python.
Projeto
Um banco está lançando um novo cartão de crédito e deseja identificar clientes em potencial que possa segmentar em sua campanha de marketing.
Recebeu dados de clientes potenciais de várias fontes internas e de terceiros. Os dados têm vários problemas, como valores ausentes ou desconhecidos em determinados campos. Os dados precisam ser limpos antes que qualquer tipo de análise possa ser feita.
Como os dados estão em grande volume com bilhões de registros, o banco pediu para você usar a tecnologia Big Data Hadoop e Spark para limpar, transformar e analisar esses dados.
O que você vai aprender :
-
Big Data, Conceitos do Hadoop
-
Como criar um cluster Hadoop e Spark gratuito usando o Google Dataproc
-
Hadoop prático – HDFS, Colmeia
-
Noções básicas de Python
-
PySpark RDD – vamos escrever um projeto Arduino completo
-
PySpark SQL, Quadro de dados – vamos escrever um projeto Arduino completo
-
Trabalho de projeto usando PySpark e Hive
-
Noções básicas de escala
-
Spark Scala DataFrame
-
Trabalho de projeto usando o Spark Scala
-
Estrutura e desenvolvimento de codificação do mundo real Spark Scala usando Winutil, Maven e IntelliJ.
-
Estrutura e desenvolvimento de codificação Python Spark Hadoop Hive usando PyCharm
-
Construindo um pipeline de dados usando o Hive , PostgreSQL, Fagulha
-
Exploração madeireira , tratamento de erros e teste de unidade de aplicativos PySpark e Spark Scala
-
Streaming estruturado Spark Scala
-
Aplicando a transformação spark em dados armazenados no AWS S3 usando Glue e visualizando dados usando Athena
Pré-requisitos :
-
Algumas habilidades básicas de programação
-
Algum conhecimento de consultas SQL
Deixe uma resposta
Você deve Conecte-se ou registro para adicionar um novo comentário .