Programa Master Azure Databricks [cenários em tempo real + Labs]

O que é Azure Databricks

Desafios para soluções com Azure Databricks

História dos Databricks do Azure

Arquitetura do Azure Databricks

Arquitetura de fluxo de dados do Azure Databricks

Processamento de dados em lote com Azure Databricks

Stream de processamento de dados com Azure Databricks

Machine Learning em dados em lote com Azure Databricks

Interface

Área de trabalho

Gestão de dados

Gerenciamento de Computação

Gerenciamento de modelo

Autenticação e autorização

Como fazer login no portal do Azure

Como criar Azure Databricks

Painel

Casa

Área de trabalho

Recente

Gestão de dados

Gerenciamento de Computação

Gerenciamento de modelo

Gerenciamento de Trabalho

Procurar

Criando e configurando clusters no Azure Databricks

Como criar um caderno Python

Como criar um caderno Scala

Como criar caderno SQL

Como criar um notebook R

Como fazer login no portal do Azure

Como criar Azure Databricks

Criando e configurando clusters no Azure Databricks

Como criar um caderno

Como desconectar e anexar notebook a outro cluster

Como exportar notebook em diferentes formatos

Como importar notebook de diferentes formatos

Como clonar o Notebook

Como mover o Caderno

Como alterar o idioma padrão do Notebook

Como mover células

Como criar e excluir células

Como usar atalhos para executar células

Como comentar o código no notebook

Todas as opções disponíveis no Notebook

Como criar um novo banco de dados no Azure Databricks

Como descrever o banco de dados no Azure Databricks

Como descartar banco de dados no Azure Databricks

Como descartar banco de dados não vazio no Azure Databricks

Como criar tabela com UI

Como criar tabela com Notebook

Diferença entre mesa com UI e mesa com notebook

Como criar tabela no banco de dados especificado com UI

Como criar tabela em banco de dados especificado com Notebook

Como criar uma tabela vazia

Como criar tabela de partição com Notebook

Como anexar ou substituir partições na tabela

Como descrever a tabela no Azure Databricks

Como descartar tabela no Azure Databricks

Como fazer upload de dados para o sistema de arquivos Databricks

Comando para criar diretório em dbfs

Comando para criar arquivo e gravar dados nele

Comando para exibir o conteúdo do arquivo

Comando para listar o conteúdo de um diretório

Comando para mover arquivos de um diretório para outro diretório

Comando para copiar arquivo de um diretório para outro diretório

Comando para remover arquivos e diretórios

Comando para montar e desmontar o sistema de arquivos

Comando para listar a montagem

Comando para atualizar pontos de montagem

Comando para instalar os pacotes

Comando para encontrar o caminho atual do notebook/da UI

Comando para executar um notebook de outro notebook

Comando para sair da execução do notebook

Comando para listar escopos secretos

O que é widget e tipos

Como criar widget para passar valores dinâmicos para notebook Python

Como ler valores de parâmetros dinâmicos no notebook Python

Como remover o widget do notebook python

Como criar widget para passar valores dinâmicos para notebook Scala

Como ler valores de parâmetros dinâmicos no notebook Scala

Como remover widget do notebook scala

Como executar o notebook sempre que alteramos os valores dos parâmetros dinâmicos

Configurações do painel de widgets

Pré-requisitos para instalar databricks cli

Como instalar databricks cli

Como autenticar no espaço de trabalho do databricks a partir do cli

Como criar cluster

Como encerrar o cluster

Como iniciar o cluster

Como reiniciar o cluster

Como obter uma lista de clusters

Como obter lista de notebook

Como importar notebook para databricks do local

Como exportar notebook

Como remover notebook

Como criar pastas

Como obter lista de pastas em dbfs

Como criar uma pasta no dbfs

Como copiar arquivos de local para dbfs

Como mover arquivo de uma pasta para outra pasta

Como remover arquivos do dbfs

Como remover pastas do dbfs

Como instalar bibliotecas

Como desinstalar bibliotecas

Como criar emprego

Como executar o trabalho

1. PySpark Leia o arquivo CSV no DataFrame

Ler arquivo único

Leia todos os arquivos CSV em um diretório

2. Opções ao ler o arquivo CSV

delimitador

InferSchema

cabeçalho

3. Leia arquivos CSV com um esquema especificado pelo usuário