Azure Data Factory pour les ingénieurs de données – Projet sur le Covid19

Acheter maintenant

Prix: $34.99

Bienvenue!

Je suis impatient de vous aider à apprendre l'un des outils d'ingénierie de données les plus demandés dans le cloud, Usine de données Azure (Chargeur automatique de documents)! Ce cours a été enseigné avec la mise en œuvre d'une solution d'ingénierie de données à l'aide d'Azure Data Factory (Chargeur automatique de documents) pour un problème mondial réel de signalement des tendances de Covid-19 et de prédiction de la propagation de ce virus.

Ceci ne ressemble à aucun autre cours dans Udemy pour Azure Data Factory ou Data Engineering Technologies. Une fois que vous avez terminé le cours, y compris tous les devoirs, Je crois fermement que vous serez en mesure de démarrer par vous-même un projet d'ingénierie des données dans le monde réel et que vous maîtriserez également Azure Data Factory. (Chargeur automatique de documents).

J'ai également inclus des leçons sur les solutions de stockage telles que Azure Data Lake Storage, Stockage d'objets blob Azure, Base de données Azure SQL, etc.. Également, il y a des leçons sur Azure HDInsight et Azure Databricks. J'ai même inclus des leçons sur la création de rapports à l'aide de Power BI sur les données traitées par les pipelines de données Azure Data Factory. J'ai considéré que les modèles d'apprentissage automatique étaient hors de portée. Vous pouvez utiliser ces données pour construire vos propres modèles et prédire la propagation.

Le cours suit une progression logique de la mise en œuvre de projets dans le monde réel avec des concepts techniques expliqués et les pipelines de données dans Azure Data Factory (Chargeur automatique de documents) construit en même temps. Même si ce cours n'est pas spécifiquement conçu pour vous enseigner les compétences requises pour réussir les examens de certification Azure Data Engineer Associate DP200 & DP203, cela peut grandement vous aider à acquérir la plupart des compétences nécessaires requises pour l'examen.

J'apprécie votre temps autant que le mien. Alors, J'ai conçu ce cours pour qu'il soit rapide et précis. Également, le cours a été enseigné avec un anglais simple et sans jargon. Je commence le cours de base et à la fin du cours, vous maîtriserez les technologies utilisées.

Actuellement, le cours vous enseigne ce qui suit

Usine de données Azure

• Construire une architecture de solution pour une solution d'ingénierie de données à l'aide des technologies Azure Data Engineering telles qu'Azure Data Factory (Chargeur automatique de documents), Azure Data Lake Gen2, Stockage d'objets blob Azure, Base de données SQL Azure, Azure Databricks, Azure HDInsight et Microsoft PowerBI.

• Intégration des données des clients HTTP, Stockage Blob Azure et Azure Data Lake Gen2 à l'aide d'Azure Data Factory.

• Activités de branchement et de chaînage dans Azure Data Factory (Chargeur automatique de documents) Pipelines utilisant des activités de flux de contrôle telles que Get Metadata. Si état, Pour chaque, Effacer, Validation etc..

• Utilisation de paramètres et de variables dans les pipelines, Ensembles de données et LinkedServices pour créer des pipelines pilotés par les métadonnées dans Azure Data Factory (Chargeur automatique de documents)

• Déboguer les pipelines de données et résoudre les problèmes.

• Planification de pipelines à l'aide de déclencheurs tels que Event Trigger, Déclencheur de planification et déclencheur de fenêtre culbutante dans Azure Data Factory (Chargeur automatique de documents)

• Création de flux de données de mappage pour créer une logique de transformation. Le cours couvre toutes les étapes de transformation telles que Source, Filtre, Sélectionner, Pivot, Chercher, Fractionnement conditionnel, Colonne dérivée, Agrégat, Rejoindre et couler la transformation.

• Débogage des flux de données, enquêter sur les problèmes, réparer les pannes, etc.

• Implémentation des pipelines Azure Data Factory pour appeler les flux de données de mappage et les exécuter.

• Création de pipelines ADF pour exécuter des activités HDInsight et effectuer des transformations de données.

• Création de pipelines ADF pour exécuter les activités Databricks Notebook pour effectuer des transformations.

• Créer une dépendance entre les pipelines pour orchestrer le flux de données

• Créer une dépendance entre les déclencheurs pour orchestrer le flux de données

• Surveillance des pipelines de données, création d'alertes, création de rapports sur les métriques d'Azure Data Factory Monitor.

• Surveillance des pipelines Data Factory à l'aide d'Azure Monitor et définition des paramètres de diagnostic à transmettre au compte de stockage Azure ou à l'espace de travail Log Analytics.

• Création de l'espace de travail Log Analytics, créer des classeurs et des graphiques à partir d'analyses de journaux sur les pipelines Azure Data Factory

• Implémentation de l'outil de surveillance Azure Data Factory Analytics et comment étendre davantage la capacité.

Solutions de stockage Azure

• Création d'un compte de stockage Azure, Création de conteneurs, Téléchargement de données, Contrôle d'accès (JE SUIS), Utilisation de l'explorateur de stockage Azure pour interagir avec le compte de stockage

• Création d'Azure Data Lake Gen2, Création de conteneurs, Téléchargement de données, Contrôle d'accès (JE SUIS), Utilisation de l'explorateur de stockage Azure pour interagir avec le compte de stockage

• Création d'une base de données Azure SQL, Niveaux de tarification, Création d'un utilisateur administrateur, Création de tableaux, Chargement des données et interrogation de la base de données.

Azure HD Insight & Les briques de données

• Création de clusters HDInsight, Interagir avec l'interface utilisateur, Utiliser Ambari, Création de tables Hive, Appel des activités HDInsight depuis Azure Data Factory

• Création d'un espace de travail Azure Databricks, Création de clusters Databricks, Monter des comptes de stockage, Créer des blocs-notes Databricks, effectuer des transformations à l'aide des blocs-notes Databricks, Appel des blocs-notes Databricks à partir d'Azure Data Factory.