GCP200DATAFORM

Orchestrer les charges de travail BigQuery avec Dataform

Dataform est un service destiné aux analystes de données pour développer, tester, versionner et planifier des flux de travail SQL complexes pour la transformation de données dans BigQuery. Dans ce cours, vous explorerez les composants principaux de Dataform, apprendrez à définir des tables et des dépendances en SQLX, à documenter les tables et les vues BigQuery, à comprendre les paramètres de sécurité de BigQuery et comment les gérer avec Dataform, à écrire des assertions, à exécuter des flux de travail SQL et à explorer des cas d'utilisation avancés supplémentaires.

Google Cloud
✓ Formation officielle Google CloudNiveau Intermédiaire⏱️ 1 jour (7h)

Ce que vous allez apprendre

  • Documenter les tables et les vues de BigQuery.
  • Comprendre les paramètres de sĂ©curitĂ© de BigQuery en utilisant Dataform.
  • Utiliser des assertions pour valider les donnĂ©es dans les flux de travail Dataform.
  • ExĂ©cuter les flux de travail SQL de Dataform de manière automatisĂ©e.

Prérequis

  • Connaissance de l'analyse de donnĂ©es SQL et de BigQuery, comme abordĂ© dans le cours BigQuery for Data Analysis.

Public cible

  • Clients

Programme de la Formation

7 modules pour maîtriser les fondamentaux

Objectifs
  • Comprendre les composants principaux de Dataform.
Sujets abordés
  • →Flux de travail SQL
  • →DĂ©pĂ´ts et espaces de travail
  • →Fichiers et dossiers par dĂ©faut
  • →Graphes compilĂ©s
Objectifs
  • CrĂ©er des tables et des vues dans BigQuery en utilisant Dataform.
Sujets abordés
  • →DĂ©clarer une source de donnĂ©es.
  • →CrĂ©er une table.
  • →CrĂ©er une table incrĂ©mentielle.
  • →DĂ©finir les options de partitionnement et de clustering.
  • →CrĂ©er une table vide.
  • →CrĂ©er une table BigLake externe.
  • →CrĂ©er des vues et des vues matĂ©rialisĂ©es.
  • →DĂ©finir les dĂ©pendances.
Objectifs
  • Documenter les tables et les vues de BigQuery.
Sujets abordés
  • →Utiliser des descriptions de colonnes.
  • →Utiliser des constantes JavaScript dĂ©finies globalement.
  • →Ajouter des Ă©tiquettes.
Activités

Lab : Créer des flux de travail SQL avec des dépendances dans Dataform

Objectifs
  • Comprendre les paramètres de sĂ©curitĂ© de BigQuery en utilisant Dataform.
Sujets abordés
  • →Accès aux ensembles de donnĂ©es et aux tables/vues IAM
  • →SĂ©curitĂ© au niveau des colonnes
  • →SĂ©curitĂ© au niveau des lignes
Objectifs
  • Utiliser des assertions pour valider les donnĂ©es dans les flux de travail Dataform.
Sujets abordés
  • →Utiliser les assertions intĂ©grĂ©es.
  • →CrĂ©er des assertions manuelles.
Activités

Lab : Travailler avec les assertions et les paramètres de sécurité de BigQuery dans Dataform

Objectifs
  • ExĂ©cuter les flux de travail SQL de Dataform de manière automatisĂ©e.
Sujets abordés
  • →Cycle de vie du code Dataform.
  • →Ce qui se passe pendant la compilation.
  • →Personnaliser et planifier les rĂ©sultats de compilation.
  • →ExĂ©cuter les flux de travail (UI, Cloud Scheduler, Cloud Composer).
  • →Journalisation et surveillance.
Activités

Lab : Automatiser et surveiller les exécutions de flux de travail SQL dans Dataform

Objectifs
  • Explorer des cas d'utilisation supplĂ©mentaires pour Dataform.
Sujets abordés
  • →CrĂ©er une table BigLake après le tĂ©lĂ©versement d'un fichier Ă  l'aide des fonctions Cloud Run.
  • →Construire un pipeline de Machine Learning avec BigQuery ML.
  • →Travailler avec les dimensions Ă  variation lente de type 2.
Activités

Lab : Créer une table BigLake avec Dataform en utilisant les fonctions Cloud Run

Formations associées

Google Cloud

Entreposage de données avec BigQuery : Conception du stockage, optimisation des requêtes et administration

Dans ce cours, vous découvrirez les composants internes de BigQuery et les meilleures pratiques pour la conception, l'optimisation et l'administration de votre entrepôt de données. Grâce à une combinaison de conférences, de démonstrations et de travaux pratiques, vous découvrirez l'architecture de BigQuery et comment concevoir un stockage et des schémas optimaux pour l'ingestion et les modifications de données. Ensuite, vous apprendrez des techniques pour améliorer les performances de lecture, optimiser les requêtes, gérer les charges de travail et utiliser les outils de journalisation et de surveillance. Vous découvrirez également les différents modèles de tarification. Enfin, vous apprendrez diverses méthodes pour sécuriser les données, automatiser les charges de travail et créer des modèles d'apprentissage automatique avec BigQuery ML.

3 j
Intermédiaire
Google Cloud

Construire des Data Lakes et Data Warehouses avec Google Cloud

Dans ce cours, vous apprendrez à différencier les architectures de données et à implémenter les concepts de data lakehouse et de pipeline sur Google Cloud. Vous comparerez les architectures data lake, data warehouse et data lakehouse, et évaluerez les avantages de l'approche moderne du lakehouse. Obtenez une expérience pratique en construisant un data lakehouse avec Cloud Storage, des formats ouverts comme Apache Iceberg, et BigQuery comme moteur de traitement central. Découvrez la gouvernance des données, la sécurité et les patterns d'analytique avancée pour votre plateforme de données unifiée.

1 j
Intermédiaire
Google Cloud

Gemini dans BigQuery pour les praticiens des données

Ce cours montre comment utiliser des modèles d'IA/ML pour des tâches d'IA générative dans BigQuery. À travers un cas d'usage concret portant sur la gestion de la relation client, vous apprenez le déroulement de la résolution d'un problème métier à l'aide des modèles Gemini. Pour faciliter la compréhension, le cours propose également un accompagnement pas à pas des solutions de code, en s'appuyant à la fois sur des requêtes SQL et des notebooks Python.

1 j
Intermédiaire

Prochaines sessions

Aucune date ne vous convient ?

Nous organisons régulièrement de nouvelles sessions. Contactez-nous pour connaître les prochaines dates disponibles ou pour organiser une session à la date de votre choix.

S'inscrire à une date personnalisée

Processus Qualité

L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité

Méthodes pédagogiques mobilisées
  • Lectures / Apports thĂ©oriques (Slides) — PrĂ©sentation de concepts via des supports visuels (PowerPoint, PDF).
  • DĂ©monstration technique (DĂ©mos) — Le formateur rĂ©alise une manipulation ou une procĂ©dure devant les apprenants.
  • Laboratoires dirigĂ©s (Labs) — Mise en pratique guidĂ©e sur logiciel, machine ou environnement technique.
  • Quiz / QCM — Test rapide de connaissances (format papier ou numĂ©rique type Kahoot/Klaxoon).
Dispositif d'évaluation et de suivi

L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :

  • Évaluation continue des acquis : VĂ©rification des connaissances tout au long de la formation via des mĂ©thodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
  • Mesure de la progression : Dispositif d'auto-Ă©valuation comparatif comprenant un diagnostic initial pour situer le niveau de dĂ©part, suivi d'une Ă©valuation finale pour valider l'Ă©volution des compĂ©tences.
  • Évaluation de la qualitĂ© : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacitĂ© de la formation ressentie par les participants.

790€ € HT

par apprenant