GCP200DESTREAMING
Construire des pipelines de données streaming sur Google Cloud
Dans ce cours, vous mettrez les mains dans le cambouis pour relever les défis du monde réel rencontrés lors de la construction de pipelines de données streaming. L'accent principal est mis sur la gestion de données continues et non bornées avec les produits Google Cloud.
Vous apprendrez les applications et les patterns architecturaux communs pour le traitement de données en temps réel à travers des scénarios clés : Streaming ETL, Streaming AI/ML, Streaming Application et Reverse ETL.
Ce que vous allez apprendre
- Ingérer et gérer des données streaming avec Pub/Sub et Managed Service for Apache Kafka.
- Construire et déployer des pipelines de données streaming avec Dataflow.
- Implémenter des solutions de données streaming pour l'analytique temps réel et le service applicatif avec BigQuery et Bigtable.
Prérequis
- Maîtrise d'un langage de programmation courant comme Python
- Une solide compréhension de SQL
- Fondamentaux des données comme la modélisation de données, les formats et les processus ETL/ELT
- Familiarité avec Google Cloud Platform (GCP)
Public cible
- Ingénieurs Data, Analystes Data, Architectes Data
Programme de la Formation
4 modules pour maîtriser les fondamentaux
Objectifs
- Présenter les objectifs d'apprentissage du cours et le scénario qui sera utilisé pour l'apprentissage pratique de la construction de pipelines de données streaming
- Décrire le concept de pipelines de données streaming, les défis associés et le rôle de ces pipelines dans le processus d'ingénierie des données
Sujets abordés
- →Fondamentaux de la construction de pipelines de données streaming sur Google Cloud
- →Objectifs d'apprentissage du cours et scénario pratique
Objectifs
- Apprendre les différents cas d'usage du streaming et leurs applications, incluant Streaming ETL, Streaming AI/ML, Streaming Application et Reverse ETL
- Identifier et décrire les architectures d'exemple communes pour les données streaming
Sujets abordés
- →Cas d'usage et applications des données streaming
- →Patterns architecturaux communs pour le traitement de données temps réel
- →Streaming ETL
- →Streaming AI/ML
- →Streaming Application
- →Reverse ETL
Objectifs
- Définir les concepts de messagerie
- Utiliser la console pour créer divers éléments Pub/Sub et Kafka
- Savoir quand utiliser Pub/Sub ou Managed Service for Apache Kafka
- Décrire le service Dataflow et les défis avec les données streaming
- Construire et déployer un pipeline streaming
- Explorer les différentes méthodes d'ingestion de données dans BigQuery
- Apprendre les requêtes continues BigQuery et l'utilisation de BigQuery ETL et reverse ETL
- Configurer le streaming Pub/Sub vers BigQuery
- Architecturer BigQuery dans vos pipelines streaming
- Établir un pipeline streaming de Dataflow vers Bigtable
- Analyser le flux de données continu Bigtable pour les tendances avec BigQuery
- Synchroniser l'analyse des tendances vers l'application utilisateur
Sujets abordés
- →Concepts de messagerie avec Pub/Sub et Managed Service for Apache Kafka
- →Service Dataflow et défis avec les données streaming
- →Construction et déploiement de pipelines streaming
- →Méthodes d'ingestion de données dans BigQuery
- →Requêtes continues BigQuery et ETL/reverse ETL
- →Configuration du streaming Pub/Sub vers BigQuery
- →Architecturer BigQuery dans les pipelines streaming
- →Pipeline streaming de Dataflow vers Bigtable
- →Analyse des flux de données continus pour les tendances
- →Synchronisation de l'analyse des tendances vers les applications utilisateur
Activités
4 labs pratiques
Objectifs
- Résumer le cours et ce que vous avez appris sur les différents produits Google
- Comprendre ce que vous êtes capable de faire après avoir terminé le cours
Sujets abordés
- →Récapitulatif complet des concepts clés
- →Construction de pipelines de données streaming résilients et robustes
Processus Qualité
L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité
Méthodes pédagogiques mobilisées
- Lectures / Apports théoriques (Slides) — Présentation de concepts via des supports visuels (PowerPoint, PDF).
- Démonstration technique (Démos) — Le formateur réalise une manipulation ou une procédure devant les apprenants.
- Laboratoires dirigés (Labs) — Mise en pratique guidée sur logiciel, machine ou environnement technique.
Dispositif d'évaluation et de suivi
L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :
- Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
- Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
- Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.
Prochaines sessions
Aucune date ne vous convient ?
Nous organisons régulièrement de nouvelles sessions. Contactez-nous pour connaître les prochaines dates disponibles ou pour organiser une session à la date de votre choix.
S'inscrire à une date personnaliséeFormer plusieurs collaborateurs
- Tarifs dégressifs (plusieurs places)
- Session privée ou sur-mesure
- En présentiel ou à distance