Orchestration de Workflow avec Cloud Composer
Cloud Composer est un service d'orchestration de workflow entièrement géré, basé sur Apache Airflow. Composer vous permet de créer, planifier, surveiller et gérer des pipelines de workflow qui s'étendent sur plusieurs clouds et centres de données sur site. Dans ce cours, vous découvrirez Apache Airflow et son implémentation via Cloud Composer. Vous apprendrez à provisionner des instances Composer, à créer et gérer des DAGs Airflow sur Composer, et à effectuer des tâches telles que le test, le débogage et la surveillance des DAGs Airflow.
Ce que vous allez apprendre
- Explorer Apache Airflow et Cloud Composer en tant que solutions d'orchestration de workflow.
- Créer et gérer des DAGs Airflow en suivant les meilleures pratiques.
- Tester et déboguer des DAGs Airflow.
- Surveiller et observer des DAGs Airflow sur Cloud Composer.
Prérequis
- Avoir suivi la formation "Building Batch Data Pipelines on Google Cloud" ou posséder des connaissances équivalentes en analyse de données et en ingénierie sur Google Cloud.
Public cible
- Clients
Programme de la Formation
3 modules pour maîtriser les fondamentaux
Objectifs
- Explorer Apache Airflow et Cloud Composer.
- Provisionner des instances Cloud Composer.
- Explorer les interfaces utilisateur d'Airflow et de Composer.
Sujets abordés
- →Le besoin de l'ingénieur de données en matière d'orchestration de workflow
- →Introduction à Apache Airflow
- →Cloud Composer
- →Configuration de l'environnement
- →Utilisation de Composer et d'Airflow
Activités
Lab : Provisionnement de Cloud Composer
Objectifs
- Écrire des DAGs.
- Explorer les opérateurs courants d'Airflow.
- Gérer les déclencheurs, les dépendances et le contrôle de flux.
- Intégrer Airflow avec les services Google Cloud.
Sujets abordés
- →Structure des DAGs et meilleures pratiques
- →Opérateurs courants
- →Dépendances, règles de déclenchement et contrôle de flux
- →Intégration d'Airflow et des services Google Cloud
Activités
Lab : Assemblage d'un workflow de traitement de données
Objectifs
- Tirer parti des fonctionnalités avancées d'Airflow.
- DĂ©boguer des DAGs.
- Observer et surveiller vos DAGs en cours d'exécution.
Sujets abordés
- →Fonctionnalités avancées d'Airflow
- →Débogage des DAGs
- →Performance et scalabilité
- →Sécurité et contrôle d'accès
- →Observabilité et surveillance
Activités
Lab : Extension et surveillance des DAGs
Processus Qualité
L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité
- Lectures / Apports théoriques (Slides) — Présentation de concepts via des supports visuels (PowerPoint, PDF).
- Démonstration technique (Démos) — Le formateur réalise une manipulation ou une procédure devant les apprenants.
- Laboratoires dirigés (Labs) — Mise en pratique guidée sur logiciel, machine ou environnement technique.
- Quiz / QCM — Test rapide de connaissances (format papier ou numérique type Kahoot/Klaxoon).
L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :
- Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
- Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
- Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.
Prochaines sessions
Former plusieurs collaborateurs
- Tarifs dégressifs (plusieurs places)
- Session privée ou sur-mesure
- En présentiel ou à distance