GCP200COMPOSER

Orchestration de Workflow avec Cloud Composer

Cloud Composer est un service d'orchestration de workflow entièrement géré, basé sur Apache Airflow. Composer vous permet de créer, planifier, surveiller et gérer des pipelines de workflow qui s'étendent sur plusieurs clouds et centres de données sur site. Dans ce cours, vous découvrirez Apache Airflow et son implémentation via Cloud Composer. Vous apprendrez à provisionner des instances Composer, à créer et gérer des DAGs Airflow sur Composer, et à effectuer des tâches telles que le test, le débogage et la surveillance des DAGs Airflow.

Google Cloud
Formation officielle Google CloudNiveau Intermédiaire⏱️ 1 jour (7h)

Ce que vous allez apprendre

  • Explorer Apache Airflow et Cloud Composer en tant que solutions d'orchestration de workflow.
  • Créer et gérer des DAGs Airflow en suivant les meilleures pratiques.
  • Tester et déboguer des DAGs Airflow.
  • Surveiller et observer des DAGs Airflow sur Cloud Composer.

Prérequis

  • Avoir suivi la formation "Building Batch Data Pipelines on Google Cloud" ou posséder des connaissances équivalentes en analyse de données et en ingénierie sur Google Cloud.

Public cible

  • Clients

Programme de la Formation

3 modules pour maîtriser les fondamentaux

Objectifs
  • Explorer Apache Airflow et Cloud Composer.
  • Provisionner des instances Cloud Composer.
  • Explorer les interfaces utilisateur d'Airflow et de Composer.
Sujets abordés
  • Le besoin de l'ingénieur de données en matière d'orchestration de workflow
  • Introduction à Apache Airflow
  • Cloud Composer
  • Configuration de l'environnement
  • Utilisation de Composer et d'Airflow
Activités

Lab : Provisionnement de Cloud Composer

Objectifs
  • Écrire des DAGs.
  • Explorer les opérateurs courants d'Airflow.
  • Gérer les déclencheurs, les dépendances et le contrôle de flux.
  • Intégrer Airflow avec les services Google Cloud.
Sujets abordés
  • Structure des DAGs et meilleures pratiques
  • Opérateurs courants
  • Dépendances, règles de déclenchement et contrôle de flux
  • Intégration d'Airflow et des services Google Cloud
Activités

Lab : Assemblage d'un workflow de traitement de données

Objectifs
  • Tirer parti des fonctionnalités avancées d'Airflow.
  • Déboguer des DAGs.
  • Observer et surveiller vos DAGs en cours d'exécution.
Sujets abordés
  • Fonctionnalités avancées d'Airflow
  • Débogage des DAGs
  • Performance et scalabilité
  • Sécurité et contrôle d'accès
  • Observabilité et surveillance
Activités

Lab : Extension et surveillance des DAGs

Formations associées

SFEIR Institute
Best

dbt

Apprenez à transformer vos données avec dbt, l'outil de référence du Modern Data Stack. Vous commencerez par comprendre l'évolution des architectures data et la différence entre ETL et ELT. Vous installerez dbt, créerez votre premier projet et le connecterez à vos sources de données. Vous apprendrez ensuite à construire des modèles de données structurés, à choisir les bonnes options de matérialisation (table, view, incremental) et à organiser vos métadonnées avec les tags. Vous découvrirez comment référencer vos sources et gérer les dépendances entre modèles. Vous explorerez les fonctionnalités avancées : seeds pour initialiser vos données de référence, snapshots pour suivre l'historique et gérer les dimensions à évolution lente, macros Jinja et variables pour automatiser vos transformations. Enfin, vous mettrez en place des tests automatisés pour garantir la qualité de vos données, documenterez vos modèles avec le lineage, et découvrirez les packages de la communauté dbt. Formation pratique avec 60% de labs.

2 j
Fondamental
Google Cloud

Introduction à l'Analyse de Données sur Google Cloud

Ce cours est une introduction à l'analyse de données sur Google Cloud. Il est conçu pour les apprenants qui n'ont aucune expérience préalable de l'analyse de données ou de Google Cloud. Le cours couvre les bases de l'analyse de données, y compris la collecte, le stockage, l'exploration, la visualisation et le partage. Il présente également aux apprenants les outils et services d'analyse de données de Google Cloud. À travers des conférences vidéo, des démos, des quiz et des travaux pratiques, le cours montre comment passer des données brutes à des visualisations et des tableaux de bord percutants.

1 j
Fondamental

Prochaines sessions

5 mai 2026
Distanciel • Français
S'inscrire
11 août 2026
Distanciel • Français
S'inscrire
26 novembre 2026
Distanciel • Français
S'inscrire

Processus Qualité

L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité

Méthodes pédagogiques mobilisées
  • Lectures / Apports théoriques (Slides)Présentation de concepts via des supports visuels (PowerPoint, PDF).
  • Démonstration technique (Démos)Le formateur réalise une manipulation ou une procédure devant les apprenants.
  • Laboratoires dirigés (Labs)Mise en pratique guidée sur logiciel, machine ou environnement technique.
  • Quiz / QCMTest rapide de connaissances (format papier ou numérique type Kahoot/Klaxoon).
Dispositif d'évaluation et de suivi

L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :

  • Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
  • Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
  • Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.

790€ HT

par apprenant