Orchestrer les charges de travail BigQuery avec Dataform
Dataform est un service destiné aux analystes de données pour développer, tester, versionner et planifier des flux de travail SQL complexes pour la transformation de données dans BigQuery. Dans ce cours, vous explorerez les composants principaux de Dataform, apprendrez à définir des tables et des dépendances en SQLX, à documenter les tables et les vues BigQuery, à comprendre les paramètres de sécurité de BigQuery et comment les gérer avec Dataform, à écrire des assertions, à exécuter des flux de travail SQL et à explorer des cas d'utilisation avancés supplémentaires.
Ce que vous allez apprendre
- Comprendre les composants principaux de Dataform.
- Créer des tables et des vues dans BigQuery en utilisant Dataform.
- Documenter les tables et les vues de BigQuery.
- Comprendre les paramètres de sécurité de BigQuery en utilisant Dataform.
- Utiliser des assertions pour valider les données dans les flux de travail Dataform.
- Exécuter les flux de travail SQL de Dataform de manière automatisée.
Prérequis
- Connaissance de l'analyse de données SQL et de BigQuery, comme abordé dans le cours BigQuery for Data Analysis.
Public cible
- Clients
Programme de la Formation
7 modules pour maîtriser les fondamentaux
Objectifs
- Comprendre les composants principaux de Dataform.
Sujets abordés
- →Flux de travail SQL
- →Dépôts et espaces de travail
- →Fichiers et dossiers par défaut
- →Graphes compilés
Objectifs
- Créer des tables et des vues dans BigQuery en utilisant Dataform.
Sujets abordés
- →Déclarer une source de données.
- →Créer une table.
- →Créer une table incrémentielle.
- →Définir les options de partitionnement et de clustering.
- →Créer une table vide.
- →Créer une table BigLake externe.
- →Créer des vues et des vues matérialisées.
- →Définir les dépendances.
Objectifs
- Documenter les tables et les vues de BigQuery.
Sujets abordés
- →Utiliser des descriptions de colonnes.
- →Utiliser des constantes JavaScript définies globalement.
- →Ajouter des étiquettes.
Activités
Lab : Créer des flux de travail SQL avec des dépendances dans Dataform
Objectifs
- Comprendre les paramètres de sécurité de BigQuery en utilisant Dataform.
Sujets abordés
- →Accès aux ensembles de données et aux tables/vues IAM
- →Sécurité au niveau des colonnes
- →Sécurité au niveau des lignes
Objectifs
- Utiliser des assertions pour valider les données dans les flux de travail Dataform.
Sujets abordés
- →Utiliser les assertions intégrées.
- →Créer des assertions manuelles.
Activités
Lab : Travailler avec les assertions et les paramètres de sécurité de BigQuery dans Dataform
Objectifs
- Exécuter les flux de travail SQL de Dataform de manière automatisée.
Sujets abordés
- →Cycle de vie du code Dataform.
- →Ce qui se passe pendant la compilation.
- →Personnaliser et planifier les résultats de compilation.
- →Exécuter les flux de travail (UI, Cloud Scheduler, Cloud Composer).
- →Journalisation et surveillance.
Activités
Lab : Automatiser et surveiller les exécutions de flux de travail SQL dans Dataform
Objectifs
- Explorer des cas d'utilisation supplémentaires pour Dataform.
Sujets abordés
- →Créer une table BigLake après le téléversement d'un fichier à l'aide des fonctions Cloud Run.
- →Construire un pipeline de Machine Learning avec BigQuery ML.
- →Travailler avec les dimensions à variation lente de type 2.
Activités
Lab : Créer une table BigLake avec Dataform en utilisant les fonctions Cloud Run
Processus Qualité
L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité
- Lectures / Apports théoriques (Slides) — Présentation de concepts via des supports visuels (PowerPoint, PDF).
- Démonstration technique (Démos) — Le formateur réalise une manipulation ou une procédure devant les apprenants.
- Laboratoires dirigés (Labs) — Mise en pratique guidée sur logiciel, machine ou environnement technique.
- Quiz / QCM — Test rapide de connaissances (format papier ou numérique type Kahoot/Klaxoon).
L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :
- Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
- Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
- Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.
Prochaines sessions
Former plusieurs collaborateurs
- Tarifs dégressifs (plusieurs places)
- Session privée ou sur-mesure
- En présentiel ou à distance