Azure Data Factory para engenheiros de dados – Projeto sobre Covid19

Compre Agora

Preço: $34.99

Receber!

Estou ansioso para ajudá-lo a aprender uma das ferramentas de engenharia de dados sob demanda na nuvem, Descrever cargas de trabalho analíticas · descrever cargas de trabalho transacionais · descrever a diferença entre uma carga de trabalho transacional e analítica · descrever a diferença entre lote e tempo real · descrever cargas de trabalho de data warehouse · determinar quando uma solução de data warehouse é necessária Descrever os componentes de um data warehouse moderno · descrever os serviços de dados do Azure para data warehousing moderno, como o Azure Data Lake (ADF)! Este curso foi ministrado com a implementação de uma solução de engenharia de dados usando o Azure Data Factory (ADF) para um problema do mundo real de relatar as tendências do Covid-19 e prever a propagação desse vírus.

Este é diferente de qualquer outro curso na Udemy para Azure Data Factory ou Data Engineering Technologies. Depois de concluir o curso, incluindo todas as tarefas, Acredito fortemente que você estará em posição de iniciar um projeto de engenharia de dados do mundo real por conta própria e também proficiente no Azure Data Factory (ADF).

Também incluí lições sobre as soluções de armazenamento, como Azure Data Lake Storage, Armazenamento de Blob do Azure, Banco de Dados SQL do Azure, etc.. Além disso, há lições sobre Azure HDInsight e Azure Databricks. Incluí até lições sobre como criar relatórios usando o Power BI nos dados processados ​​pelos pipelines de dados do Azure Data Factory. Eu considerei os modelos de aprendizado de máquina fora do escopo. Você pode usar esses dados para construir seus próprios modelos e prever a propagação.

O curso segue uma progressão lógica da implementação do projeto do mundo real com conceitos técnicos sendo explicados e os pipelines de dados no Azure Data Factory (ADF) sendo construído ao mesmo tempo. Mesmo que este curso não tenha sido projetado especificamente para ensinar a você as habilidades necessárias para passar nos exames de Certificação Associado de Engenheiro de Dados do Azure DP200 & DP203, pode ajudá-lo muito a obter a maioria das habilidades necessárias para o exame.

Eu valorizo ​​o seu tempo tanto quanto valorizo ​​o meu. assim, Eu desenvolvi este curso para ser rápido e direto ao ponto. Além disso, o curso foi ministrado com inglês simples e sem jargões. Eu começo o curso desde a base e ao final do curso você será proficiente nas tecnologias utilizadas.

Atualmente, o curso ensina o seguinte

Descrever cargas de trabalho analíticas · descrever cargas de trabalho transacionais · descrever a diferença entre uma carga de trabalho transacional e analítica · descrever a diferença entre lote e tempo real · descrever cargas de trabalho de data warehouse · determinar quando uma solução de data warehouse é necessária Descrever os componentes de um data warehouse moderno · descrever os serviços de dados do Azure para data warehousing moderno, como o Azure Data Lake

• Construindo uma arquitetura de solução para uma solução de engenharia de dados usando tecnologias de Engenharia de Dados do Azure, como o Azure Data Factory (ADF), Azure Data Lake Gen2, Armazenamento de Blob do Azure, Banco de Dados SQL do Azure, Descrever cargas de trabalho analíticas · descrever cargas de trabalho transacionais · descrever a diferença entre uma carga de trabalho transacional e analítica · descrever a diferença entre lote e tempo real · descrever cargas de trabalho de data warehouse · determinar quando uma solução de data warehouse é necessária Descrever os componentes de um data warehouse moderno · descrever os serviços de dados do Azure para data warehousing moderno, como o Azure Data Lake, Azure HDInsight e Microsoft PowerBI.

• Integrando dados de clientes HTTP, Armazenamento de Blobs do Azure e Azure Data Lake Gen2 usando o Azure Data Factory.

• Atividades de ramificação e encadeamento no Azure Data Factory (ADF) Pipelines usando atividades de fluxo de controle, como obter metadados. Se Condição, Para cada, Excluir, validação etc.

• Usando parâmetros e variáveis ​​em pipelines, Conjuntos de dados e LinkedServices para criar pipelines controlados por metadados no Azure Data Factory (ADF)

• Depurando os pipelines de dados e resolvendo problemas.

• Agendamento de pipelines usando gatilhos como o gatilho de evento, Agendar gatilho e gatilho de janela em cascata no Azure Data Factory (ADF)

• Criando fluxos de dados de mapeamento para criar lógica de transformação. O curso cobre todas as etapas de transformação, como Source, Filtro, Selecione, Pivô, Olho para cima, Divisão Condicional, Coluna Derivada, Agregar, Transformação Join and Sink.

• Depurando fluxos de dados, investigando problemas, corrigindo falhas etc

• Implementando pipelines do Azure Data Factory para invocar fluxos de dados de mapeamento e executá-los.

• Criação de pipelines ADF para executar atividades HDInsight e realizar transformações de dados.

• Criando pipelines ADF para executar atividades do Databricks Notebook para realizar transformações.

• Criação de dependência entre pipelines para orquestrar o fluxo de dados

• Criando dependência entre gatilhos para orquestrar o fluxo de dados

• Como monitorar pipelines de dados, criando alertas, relatórios de métricas do Azure Data Factory Monitor.

• Monitoramento de pipelines do Data Factory usando o Azure Monitor e definindo a configuração de diagnóstico a ser encaminhada para a conta de armazenamento do Azure ou o espaço de trabalho do Log Analytics.

• Criando o espaço de trabalho do Log Analytics, criando pastas de trabalho e gráficos de análise de log nos pipelines do Azure Data Factory

• Implementando a ferramenta de monitoramento Azure Data Factory Analytics e como estender ainda mais a capacidade.

Soluções de armazenamento do Azure

• Criando conta de armazenamento do Azure, Criando contêineres, Carregando dados, Controle de acesso (EU SOU), Usando o explorador de armazenamento do Azure para interagir com a conta de armazenamento

• Criando o Azure Data Lake Gen2, Criando contêineres, Carregando dados, Controle de acesso (EU SOU), Usando o explorador de armazenamento do Azure para interagir com a conta de armazenamento

• Criando banco de dados SQL do Azure, Níveis de preços, Criando usuário administrador, Criando Tabelas, Carregando dados e consultando o banco de dados.

Azure HDInsight & Databricks

• Criando Clusters HDInsight, Interagindo com a IU, Usando Ambari, Criando tabelas Hive, Invocando atividades do HDInsight do Azure Data Factory

• Criando espaço de trabalho do Azure Databricks, Criando clusters de Databricks, Montando contas de armazenamento, Criando blocos de anotações do Databricks, realizando transformações usando notebooks Databricks, Invocando notebooks Databricks do Azure Data Factory.