Construire des Data Lakes et Data Warehouses avec Google Cloud
Dans ce cours, vous apprendrez à différencier les architectures de données et à implémenter les concepts de data lakehouse et de pipeline sur Google Cloud. Vous comparerez les architectures data lake, data warehouse et data lakehouse, et évaluerez les avantages de l'approche moderne du lakehouse.
Obtenez une expérience pratique en construisant un data lakehouse avec Cloud Storage, des formats ouverts comme Apache Iceberg, et BigQuery comme moteur de traitement central. Découvrez la gouvernance des données, la sécurité et les patterns d'analytique avancée pour votre plateforme de données unifiée.
Ce que vous allez apprendre
- Comparer et contraster les architectures data lake, data warehouse et data lakehouse.
- Évaluer les avantages de l'approche lakehouse et choisir la bonne architecture.
- Construire un data lakehouse avec Cloud Storage, des formats ouverts et BigQuery.
- Moderniser les data warehouses avec BigQuery et BigLake.
- Implémenter des pratiques de gouvernance et de sécurité des données sur une plateforme de données unifiée.
Prérequis
- Compréhension des principes d'ingénierie des données, incluant les processus ETL/ELT, la modélisation de données et les formats de données courants (Avro, Parquet, JSON)
- Familiarité avec les concepts d'architecture de données, spécifiquement les Data Warehouses et Data Lakes
- Maîtrise de SQL pour l'interrogation de données
- Maîtrise d'un langage de programmation courant (Python recommandé)
- Familiarité avec les concepts et services de base de Google Cloud
Public cible
- Ingénieurs Data, Analystes Data, Architectes Data
Programme de la Formation
5 modules pour maîtriser les fondamentaux
Objectifs
- Comparer et contraster les architectures data lake, data warehouse et data lakehouse
- Évaluer les avantages de l'approche lakehouse
Sujets abordés
- →Les classiques : Data lakes et data warehouses
- →L'approche moderne : Data lakehouse
- →Choisir la bonne architecture
Activités
Quiz
Objectifs
- Discuter des options de stockage de données, incluant Cloud Storage pour les fichiers, les formats de table ouverts comme Apache Iceberg, BigQuery pour les données analytiques et AlloyDB pour les données opérationnelles
- Comprendre le rôle d'AlloyDB pour les cas d'usage de données opérationnelles
Sujets abordés
- →Construire les fondations d'un data lake
- →Introduction au format de table ouvert Apache Iceberg
- →BigQuery comme moteur de traitement central
- →Combiner les données opérationnelles dans AlloyDB
- →Combiner les données opérationnelles et analytiques avec les requêtes fédérées
- →Cas d'usage réel
Activités
Quiz
Lab: Requête fédérée avec BigQuery
Objectifs
- Expliquer pourquoi BigQuery est une solution de data warehousing évolutive sur Google Cloud
- Discuter des concepts fondamentaux de BigQuery
- Comprendre le rôle de BigLake dans la création d'une architecture lakehouse unifiée et son intégration avec BigQuery pour les données externes
- Apprendre comment BigQuery interagit nativement avec les tables Apache Iceberg via BigLake
Sujets abordés
- →Fondamentaux de BigQuery
- →Partitionnement et clustering dans BigQuery
- →Introduction à BigLake et aux tables externes
Activités
Quiz
Lab: Interroger des données externes et des tables Iceberg
Objectifs
- Implémenter des pratiques robustes de gouvernance et de sécurité des données sur la plateforme de données unifiée, incluant la protection des données sensibles et la gestion des métadonnées
- Explorer l'analytique avancée et le machine learning directement sur les données du lakehouse
Sujets abordés
- →Gouvernance et sécurité des données dans une plateforme unifiée
- →Démo: Data Loss Prevention
- →Analytique et machine learning sur le lakehouse
- →Architectures lakehouse réelles et stratégies de migration
Activités
Quiz
Objectifs
- Renforcer les principes fondamentaux de la plateforme de données Google Cloud
Sujets abordés
- →Révision
- →Bonnes pratiques
Activités
Lab: Démarrer avec BigQuery ML
Lab: Recherche vectorielle avec BigQuery
Processus Qualité
L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité
- Lectures / Apports théoriques (Slides) — Présentation de concepts via des supports visuels (PowerPoint, PDF).
- Démonstration technique (Démos) — Le formateur réalise une manipulation ou une procédure devant les apprenants.
- Laboratoires dirigés (Labs) — Mise en pratique guidée sur logiciel, machine ou environnement technique.
- Quiz / QCM — Test rapide de connaissances (format papier ou numérique type Kahoot/Klaxoon).
L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :
- Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
- Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
- Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.
Prochaines sessions
Aucune date ne vous convient ?
Nous organisons régulièrement de nouvelles sessions. Contactez-nous pour connaître les prochaines dates disponibles ou pour organiser une session à la date de votre choix.
S'inscrire à une date personnaliséeFormer plusieurs collaborateurs
- Tarifs dégressifs (plusieurs places)
- Session privée ou sur-mesure
- En présentiel ou à distance