GCP200CDF
Intégration de données avec Cloud Data Fusion
Ce cours de 2 jours présente aux apprenants la capacité d'intégration de données de Google Cloud à l'aide de Cloud Data Fusion. Dans ce cours, nous discutons des défis liés à l'intégration de données et de la nécessité d'une plateforme d'intégration de données (middleware). Nous discutons ensuite de la manière dont Cloud Data Fusion peut aider à intégrer efficacement les données provenant d'une variété de sources et de formats et à générer des informations. Nous examinons les principaux composants de Cloud Data Fusion et leur fonctionnement, comment traiter les données par lots et les données en streaming en temps réel avec une conception de pipeline visuelle, un suivi riche des métadonnées et de la lignée des données, et comment déployer des pipelines de données sur divers moteurs d'exécution.
Ce que vous allez apprendre
- Identifier le besoin d'intégration de données
- Comprendre les capacités que Cloud Data Fusion fournit en tant que plateforme d'intégration de données
- Identifier des cas d'utilisation pour une mise en œuvre possible avec Cloud Data Fusion
- Lister les composants principaux de Cloud Data Fusion
- Concevoir et exécuter des pipelines de traitement de données par lots et en temps réel
- Travailler avec Wrangler pour construire des transformations de données
- Utiliser des connecteurs pour intégrer des données de diverses sources et formats
- Configurer l'environnement d'exécution ; surveiller et dépanner l'exécution du pipeline
- Comprendre la relation entre les métadonnées et la lignée des données
Prérequis
- Avoir terminé la formation "Introduction à l'ingénierie des données"
Public cible
- Ingénieur de données, Analystes de données
Programme de la Formation
9 modules pour maîtriser les fondamentaux
Objectifs
- Présenter les objectifs du cours
Sujets abordés
- →Introduction au cours
Objectifs
- Comprendre le besoin d'intégration de données
- Lister les situations/cas où l'intégration de données peut aider les entreprises
- Lister les plateformes et outils d'intégration de données disponibles
- Identifier les défis de l'intégration de données
- Comprendre l'utilisation de Cloud Data Fusion comme plateforme d'intégration de données
- Créer une instance Cloud Data Fusion
- Se familiariser avec le framework de base et les principaux composants de Cloud Data Fusion
Sujets abordés
- →Intégration de données : quoi, pourquoi, défis
- →Outils d'intégration de données utilisés dans l'industrie
- →Personas utilisateurs
- →Introduction à Cloud Data Fusion
- →Capacités critiques d'intégration de données
- →Composants de l'interface utilisateur de Cloud Data Fusion
Activités
Labo noté
quiz
activité de discussion
Objectifs
- Comprendre l'architecture de Cloud Data Fusion
- Définir ce qu'est un pipeline de données
- Comprendre la représentation DAG d'un pipeline de données
- Apprendre à utiliser Pipeline Studio et ses composants
- Concevoir un pipeline simple à l'aide de Pipeline Studio
- Déployer et exécuter un pipeline
Sujets abordés
- →Architecture de Cloud Data Fusion
- →Concepts de base
- →Pipelines de données et graphes orientés acycliques (DAG)
- →Cycle de vie d'un pipeline
- →Conception de pipelines dans Pipeline Studio
Activités
Labo noté et quiz
Objectifs
- Effectuer des opérations de branchement, de fusion et de jonction
- Exécuter un pipeline avec des arguments d'exécution en utilisant des macros
- Travailler avec des gestionnaires d'erreurs
- Exécuter des actions pré et post-pipeline à l'aide d'actions et de notifications
- Planifier l'exécution des pipelines
- Importer et exporter des pipelines existants
Sujets abordés
- →Branchement, Fusion et Jonction
- →Actions et Notifications
- →Gestion des erreurs et Macros
- →Configurations de pipeline, Planification, Importation et Exportation
Activités
Labos notés et quiz
Objectifs
- Comprendre la composition d'un environnement d'exécution
- Configurer l'environnement d'exécution, la journalisation et les métriques de votre pipeline. Comprendre des concepts comme le profil de calcul et le provisionneur
- Créer un profil de calcul
- Créer des alertes de pipeline
- Surveiller le pipeline en cours d'exécution
Sujets abordés
- →Planifications et déclencheurs
- →Environnement d'exécution : Profil de calcul et provisionneurs
- →Surveillance des pipelines
Activités
Quiz
Objectifs
- Comprendre l'utilisation de Wrangler et de ses principaux composants
- Transformer des données à l'aide de l'interface utilisateur de Wrangler
- Transformer des données à l'aide de directives/méthodes CLI
- Créer et utiliser des directives définies par l'utilisateur
Sujets abordés
- →Wrangler
- →Directives
- →Directives définies par l'utilisateur
Activités
Labo noté et quiz
Objectifs
- Comprendre l'architecture d'intégration de données
- Lister divers connecteurs
- Utiliser l'API de prévention de la perte de données (DLP) du Cloud
- Comprendre l'architecture de référence des pipelines de streaming
- Construire et exécuter un pipeline de streaming
Sujets abordés
- →Connecteurs
- →DLP
- →Architecture de référence pour les applications de streaming
- →Construction de pipelines de streaming
Activités
Labo noté
quiz
activité de discussion
Objectifs
- Lister les types de métadonnées
- Différencier les métadonnées métier, techniques et opérationnelles
- Comprendre ce qu'est la lignée des données
- Comprendre l'importance de maintenir la lignée des données
- Différencier les métadonnées et la lignée des données
Sujets abordés
- →Métadonnées
- →Lignée des données
Activités
Labo noté et quiz
Objectifs
- Passer en revue les objectifs et les concepts du cours
Sujets abordés
- →Résumé du cours
Processus Qualité
L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité
Méthodes pédagogiques mobilisées
- Lectures / Apports théoriques (Slides) — Présentation de concepts via des supports visuels (PowerPoint, PDF).
- Démonstration technique (Démos) — Le formateur réalise une manipulation ou une procédure devant les apprenants.
- Laboratoires dirigés (Labs) — Mise en pratique guidée sur logiciel, machine ou environnement technique.
- Quiz / QCM — Test rapide de connaissances (format papier ou numérique type Kahoot/Klaxoon).
Dispositif d'évaluation et de suivi
L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :
- Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
- Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
- Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.
Prochaines sessions
11 février 2026
Distanciel • Français
12 mai 2026
Distanciel • Français
12 août 2026
Distanciel • Français
16 novembre 2026
Distanciel • Français
Former plusieurs collaborateurs
- Tarifs dégressifs (plusieurs places)
- Session privée ou sur-mesure
- En présentiel ou à distance