Registrar agora

Entrar

Senha perdida

Perdeu sua senha? Por favor, indique o seu endereço de e-mail. Você receberá um link e vai criar uma nova senha via e-mail.

Adicionar pós

Você deve entrar para adicionar pós .

Adicionar pergunta

Você deve fazer login para fazer uma pergunta.

Entrar

Registrar agora

Bem-vindo ao Scholarsark.com! O seu registo irá conceder-lhe o acesso ao uso de mais recursos desta plataforma. Você pode fazer perguntas, fazer contribuições ou fornecer respostas, ver perfis de outros usuários e muito mais. Registrar agora!

Um projeto Big Data Hadoop e Spark para iniciantes absolutos

Um projeto Big Data Hadoop e Spark para iniciantes absolutos

Preço: $29.99

Este curso irá prepará-lo para uma função de Engenheiro de Dados no mundo real !

Comece a usar Big Data rapidamente, aproveitando o cluster de nuvem gratuito e resolvendo um caso de uso do mundo real! Aprenda Hadoop, Colmeia , Fagulha (tanto Python quanto Scala) do princípio!

Aprenda a codificar o Spark Scala & PySpark como um desenvolvedor do mundo real. Entenda as melhores práticas de codificação do mundo real, exploração madeireira, Manipulação de erros , gerenciamento de configuração usando Scala e Python.

Projeto

Um banco está lançando um novo cartão de crédito e deseja identificar clientes em potencial que possa segmentar em sua campanha de marketing.

Recebeu dados de clientes potenciais de várias fontes internas e de terceiros. Os dados têm vários problemas, como valores ausentes ou desconhecidos em determinados campos. Os dados precisam ser limpos antes que qualquer tipo de análise possa ser feita.

Como os dados estão em grande volume com bilhões de registros, o banco pediu para você usar a tecnologia Big Data Hadoop e Spark para limpar, transformar e analisar esses dados.

O que você vai aprender :

  • Big Data, Conceitos do Hadoop

  • Como criar um cluster Hadoop e Spark gratuito usando o Google Dataproc

  • Hadoop prático – HDFS, Colmeia

  • Noções básicas de Python

  • PySpark RDD – vamos escrever um projeto Arduino completo

  • PySpark SQL, Quadro de dados – vamos escrever um projeto Arduino completo

  • Trabalho de projeto usando PySpark e Hive

  • Noções básicas de escala

  • Spark Scala DataFrame

  • Trabalho de projeto usando o Spark Scala

  • Estrutura e desenvolvimento de codificação do mundo real Spark Scala usando Winutil, Maven e IntelliJ.

  • Estrutura e desenvolvimento de codificação Python Spark Hadoop Hive usando PyCharm

  • Construindo um pipeline de dados usando o Hive , PostgreSQL, Fagulha

  • Exploração madeireira , tratamento de erros e teste de unidade de aplicativos PySpark e Spark Scala

  • Streaming estruturado Spark Scala

  • Aplicando a transformação spark em dados armazenados no AWS S3 usando Glue e visualizando dados usando Athena

Pré-requisitos :

  • Algumas habilidades básicas de programação

  • Algum conhecimento de consultas SQL

Sobre arkadmin

Deixe uma resposta