GCP200DEDLAKES

Construire des Data Lakes et Data Warehouses avec Google Cloud

Dans ce cours, vous apprendrez à différencier les architectures de données et à implémenter les concepts de data lakehouse et de pipeline sur Google Cloud. Vous comparerez les architectures data lake, data warehouse et data lakehouse, et évaluerez les avantages de l'approche moderne du lakehouse.

Obtenez une expérience pratique en construisant un data lakehouse avec Cloud Storage, des formats ouverts comme Apache Iceberg, et BigQuery comme moteur de traitement central. Découvrez la gouvernance des données, la sécurité et les patterns d'analytique avancée pour votre plateforme de données unifiée.

Google Cloud
Formation officielle Google CloudNiveau Intermédiaire⏱️ 1 jour (7h)

Ce que vous allez apprendre

  • Comparer et contraster les architectures data lake, data warehouse et data lakehouse.
  • Évaluer les avantages de l'approche lakehouse et choisir la bonne architecture.
  • Construire un data lakehouse avec Cloud Storage, des formats ouverts et BigQuery.
  • Moderniser les data warehouses avec BigQuery et BigLake.
  • Implémenter des pratiques de gouvernance et de sécurité des données sur une plateforme de données unifiée.

Prérequis

  • Compréhension des principes d'ingénierie des données, incluant les processus ETL/ELT, la modélisation de données et les formats de données courants (Avro, Parquet, JSON)
  • Familiarité avec les concepts d'architecture de données, spécifiquement les Data Warehouses et Data Lakes
  • Maîtrise de SQL pour l'interrogation de données
  • Maîtrise d'un langage de programmation courant (Python recommandé)
  • Familiarité avec les concepts et services de base de Google Cloud

Public cible

  • Ingénieurs Data, Analystes Data, Architectes Data

Programme de la Formation

5 modules pour maîtriser les fondamentaux

Objectifs
  • Comparer et contraster les architectures data lake, data warehouse et data lakehouse
  • Évaluer les avantages de l'approche lakehouse
Sujets abordés
  • Les classiques : Data lakes et data warehouses
  • L'approche moderne : Data lakehouse
  • Choisir la bonne architecture
Activités

Quiz

Objectifs
  • Discuter des options de stockage de données, incluant Cloud Storage pour les fichiers, les formats de table ouverts comme Apache Iceberg, BigQuery pour les données analytiques et AlloyDB pour les données opérationnelles
  • Comprendre le rôle d'AlloyDB pour les cas d'usage de données opérationnelles
Sujets abordés
  • Construire les fondations d'un data lake
  • Introduction au format de table ouvert Apache Iceberg
  • BigQuery comme moteur de traitement central
  • Combiner les données opérationnelles dans AlloyDB
  • Combiner les données opérationnelles et analytiques avec les requêtes fédérées
  • Cas d'usage réel
Activités

Quiz

Lab: Requête fédérée avec BigQuery

Objectifs
  • Expliquer pourquoi BigQuery est une solution de data warehousing évolutive sur Google Cloud
  • Discuter des concepts fondamentaux de BigQuery
  • Comprendre le rôle de BigLake dans la création d'une architecture lakehouse unifiée et son intégration avec BigQuery pour les données externes
  • Apprendre comment BigQuery interagit nativement avec les tables Apache Iceberg via BigLake
Sujets abordés
  • Fondamentaux de BigQuery
  • Partitionnement et clustering dans BigQuery
  • Introduction à BigLake et aux tables externes
Activités

Quiz

Lab: Interroger des données externes et des tables Iceberg

Objectifs
  • Implémenter des pratiques robustes de gouvernance et de sécurité des données sur la plateforme de données unifiée, incluant la protection des données sensibles et la gestion des métadonnées
  • Explorer l'analytique avancée et le machine learning directement sur les données du lakehouse
Sujets abordés
  • Gouvernance et sécurité des données dans une plateforme unifiée
  • Démo: Data Loss Prevention
  • Analytique et machine learning sur le lakehouse
  • Architectures lakehouse réelles et stratégies de migration
Activités

Quiz

Objectifs
  • Renforcer les principes fondamentaux de la plateforme de données Google Cloud
Sujets abordés
  • Révision
  • Bonnes pratiques
Activités

Lab: Démarrer avec BigQuery ML

Lab: Recherche vectorielle avec BigQuery

Formations associées

AWS

Architecture Avancée sur AWS

Dans ce cours, chaque module présente un scénario avec un défi architectural à résoudre. Vous examinerez les services et fonctionnalités AWS disponibles comme solutions au problème. Vous acquerrez des connaissances en participant à des discussions basées sur des problèmes et en découvrant les services AWS que vous pourriez appliquer pour relever les défis. Sur 3 jours, le cours va au-delà des bases d'une infrastructure cloud et couvre des sujets pour répondre à une variété de besoins pour les clients AWS. Les modules de cours se concentrent sur la gestion de plusieurs comptes AWS, la connectivité hybride et les appareils, la mise en réseau avec un accent sur la connectivité AWS Transit Gateway, les services de conteneurs, les outils d'automatisation pour l'intégration/livraison continue (CI/CD), la sécurité et la protection contre les attaques par déni de service distribué (DDoS), les lacs de données et les magasins de données, les services en périphérie, les options de migration et la gestion des coûts. Le cours se termine en vous présentant des scénarios et en vous mettant au défi d'identifier les meilleures solutions.

3 j
Avancé
AWS
Best

Architecturer sur AWS

Architecturer sur AWS s'adresse aux architectes de solutions, aux ingénieurs de conception de solutions et aux développeurs cherchant à comprendre l'architecture AWS. Dans ce cours, vous apprendrez à identifier les services et les fonctionnalités pour créer des solutions informatiques résilientes, sécurisées et hautement disponibles sur le Cloud AWS. Les solutions architecturales diffèrent en fonction du secteur, des types d'applications et de la taille de l'entreprise. Les instructeurs agréés par AWS mettent l'accent sur les meilleures pratiques en utilisant le Cadre AWS Well-Architected et vous guident dans le processus de conception de solutions informatiques optimales basées sur des scénarios réels. Les modules se concentrent sur la sécurité des comptes, la mise en réseau, le calcul, le stockage, les bases de données, la surveillance, l'automatisation, les conteneurs, l'architecture sans serveur, les services de périphérie, ainsi que la sauvegarde et la récupération. À la fin du cours, vous mettrez en pratique la création d'une solution et appliquerez ce que vous avez appris.

3 j
Intermédiaire

Prochaines sessions

Aucune date ne vous convient ?

Nous organisons régulièrement de nouvelles sessions. Contactez-nous pour connaître les prochaines dates disponibles ou pour organiser une session à la date de votre choix.

S'inscrire à une date personnalisée

Processus Qualité

L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité

Méthodes pédagogiques mobilisées
  • Lectures / Apports théoriques (Slides)Présentation de concepts via des supports visuels (PowerPoint, PDF).
  • Démonstration technique (Démos)Le formateur réalise une manipulation ou une procédure devant les apprenants.
  • Laboratoires dirigés (Labs)Mise en pratique guidée sur logiciel, machine ou environnement technique.
  • Quiz / QCMTest rapide de connaissances (format papier ou numérique type Kahoot/Klaxoon).
Dispositif d'évaluation et de suivi

L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :

  • Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
  • Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
  • Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.

790€ HT

par apprenant