Orchestrer les charges de travail BigQuery avec Dataform
Dataform est un service destiné aux analystes de données pour développer, tester, versionner et planifier des flux de travail SQL complexes pour la transformation de données dans BigQuery. Dans ce cours, vous explorerez les composants principaux de Dataform, apprendrez à définir des tables et des dépendances en SQLX, à documenter les tables et les vues BigQuery, à comprendre les paramètres de sécurité de BigQuery et comment les gérer avec Dataform, à écrire des assertions, à exécuter des flux de travail SQL et à explorer des cas d'utilisation avancés supplémentaires.
Ce que vous allez apprendre
- Comprendre les composants principaux de Dataform.
- Créer des tables et des vues dans BigQuery en utilisant Dataform.
- Documenter les tables et les vues de BigQuery.
- Comprendre les paramètres de sécurité de BigQuery en utilisant Dataform.
- Utiliser des assertions pour valider les données dans les flux de travail Dataform.
- Exécuter les flux de travail SQL de Dataform de manière automatisée.
Prérequis
- Connaissance de l'analyse de données SQL et de BigQuery, comme abordé dans le cours BigQuery for Data Analysis.
Public cible
- Clients
Programme de la Formation
7 modules pour maîtriser les fondamentaux
Objectifs
- Comprendre les composants principaux de Dataform.
Sujets abordés
- →Flux de travail SQL
- →Dépôts et espaces de travail
- →Fichiers et dossiers par défaut
- →Graphes compilés
Processus Qualité
L'engagement de SFEIR Institute : une démarche d'excellence pour garantir la qualité et la réussite de toutes nos formations. En savoir plus sur notre démarche qualité
- Lectures / Apports théoriques (Slides) — Présentation de concepts via des supports visuels (PowerPoint, PDF).
- Démonstration technique (Démos) — Le formateur réalise une manipulation ou une procédure devant les apprenants.
- Laboratoires dirigés (Labs) — Mise en pratique guidée sur logiciel, machine ou environnement technique.
- Quiz / QCM — Test rapide de connaissances (format papier ou numérique type Kahoot/Klaxoon).
L'atteinte des objectifs de la formation est évaluée à plusieurs niveaux pour garantir la qualité de la prestation :
- Évaluation continue des acquis : Vérification des connaissances tout au long de la formation via des méthodes participatives (en fonction de la formation: quiz, exercices pratiques, mises en situation) sous la supervision du formateur.
- Mesure de la progression : Dispositif d'auto-évaluation comparatif comprenant un diagnostic initial pour situer le niveau de départ, suivi d'une évaluation finale pour valider l'évolution des compétences.
- Évaluation de la qualité : Questionnaire de satisfaction en fin de session pour mesurer la pertinence et l'efficacité de la formation ressentie par les participants.
Prochaines sessions
Former plusieurs collaborateurs
- Tarifs dégressifs (plusieurs places)
- Session privée ou sur-mesure
- En présentiel ou à distance