Data Engineering - Concevez des pipelines de données efficaces - BC01 Automatiser la collecte et le traitement des données
LE WAGON
Objectifs de la formation
Devenez Data Engineer en quelques semaines
Apprenez à créer des data pipelines et des architectures de données à la pointe pour développer votre carrière dans la data.
Construisez tous les éléments d'une Data Stack moderne
Maîtrisez les dernières techniques de conteneurisation, traitez des données de tous types et de toutes tailles,
et faites évoluer l'organisation de vos données pour répondre aux besoins des entreprises.
Processus de Gestion des Données
Concevoir un processus de collecte de données
Evaluer et choisir des outils adaptés pour faciliter l'accessibilité, la sécurité et l'intégrité des données centralisées, tout en respectant la réglementation en vigueur, notamment le RGPD.
Créer un système automatisé de collecte de données
Intégrer des solutions ETL, comme Fivetran ou Stitch, et/ou développer des scripts en Python ou SQL pour permettre une agrégation rapide et exacte des données, répondant aux besoins métier.
Développer des stratégies de nettoyage de données
Analyser le contexte spécifique des données pour concevoir des stratégies de traitement approprié et sécurisé. Ces stratégies doivent garantir que les données sont conformes aux besoins métier de l'entreprise.
Programme
Formation Data Engineering - Le Wagon
La formation Data Engineering du Wagon est concue pour repondre a la demande croissante en experts capables de structurer des architectures de donnees. Ce bootcamp vous forme aux pratiques avancees pour construire des pipelines et des infrastructures robustes, tout en manipulant des technologies modernes.
Rythme adapte a vos besoins
- Temps plein (5 semaines) :Une immersion acceleree en presentiel ou en ligne.
- Temps partiel (7 mois) :Pour ceux qui souhaitent equilibrer apprentissage et activite professionnelle.
Un programme complet en cinq modules
- Introduction au Data Engineering :Initiez-vous aux bases de la collecte et du traitement des donnees avec Python, Docker et CI/CD.
- Gestion des bases de donnees :Apprenez a configurer des bases SQL avancees et des Data Warehouses avec BigQuery et Postgres.
- Stockage et pipelines :Construisez des pipelines de donnees avec Airflow et DBT, et explorez Kubernetes pour l'orchestration.
- Industrialisation des processus :Maitrisez des outils comme Kafka et PySpark pour gerer des flux de donnees en temps reel.
- Phase de projet :Creez un pipeline de donnees de bout en bout en integrant des outils de la Modern Data Stack.
Service Carriere personnalise
- Acces a une communaute de plus de 25 000 alumni et 1 000 entreprises partenaires.
- Sessions de coaching adaptees a vos ambitions.
Cette formation vous offre une expertise technique avancee tout en vous integrant a un reseau professionnel dynamique.
Résultats attendus
Evaluation et Certification
Evaluation par blocs
Le candidat recoit un jeu de donnees associe a une problematique metier. Il doit, pour :
- Bloc 1 :Realiser un traitement de cette donnee et son transfert automatique.
Session d'information
Une session dediee a la certification est organisee pendant la formation. Elle couvre :
- Le deroulement de l'examen
- Les dates et inscriptions
Les slides et le replay de cette session sont partages rapidement avec les apprenants.
Evaluations en ligne
Les evaluations se font entierement a distance. Les dates et liens d'inscription sont communiques durant la formation. Une convocation officielle est envoyee par mail apres l'inscription.
Les points forts
Apprenez à créer des pipelines configurer des data warehouses et déployer des solutions cloud Une approche immersive validée par des experts pour répondre aux défis des environnements Big Data
La certification
Concepteur développeur en intelligence artificielle et analyse big data
- TypeTitre RNCP
- Niveau de sortieBAC+3 ou 4 : licence, master 1, maîtrise (NIVEAU 6)
- Spécialité (NSF)Informatique, traitement de l'information, réseaux de transmission
- DomaineAnalyse de données
- Métier viséChargé / Chargée d'études socio-économiques
RNCP 38616 RS -1 CertifInfo 116296 Organisme & lieu
- OrganismeLE WAGON
- Région