Développeur en intelligence artificielle - Data Engineering
IQ FACTORY
Objectifs de la formation
L'activité professionnelle visée à travers cette formation se rapporte principalement au domaine du Data Engineering, où le rôle consiste à concevoir, développer et maintenir des infrastructures de données performantes permettant l'analyse de données à grande échelle. Les tâches incluent la gestion des flux de données, l'optimisation des processus de traitement, la création de pipelines de données, et la mise en place de systèmes permettant le traitement en temps réel de données massives (streaming et batch).
Les professionnels formés dans ce domaine peuvent occuper des postes tels que :
- Data Engineer
- Big Data Engineer
- Data Architect
- Machine Learning Engineer (en lien avec le Data Engineering)
- DevOps Engineer pour les environnements de production des pipelines de données
Ils seront responsables de l'optimisation des performances des systèmes distribués, de la mise à l'échelle des systèmes, et de l'architecture des solutions de traitement de données.
> RAPPEL DES OBJECTIFS EN COMPÉTENCES : Les objectifs de la formation Data Engineering sont les suivants :
- Maîtriser les technologies de traitement de données massives : L'objectif est d'acquérir une expertise dans des technologies comme Apache Spark, Kafka, Docker, Kubernetes et d'autres outils permettant de traiter et d'analyser des données à grande échelle.
- Concevoir des pipelines de données performants et scalables : Les participants apprendront à concevoir, mettre en place et gérer des pipelines de données pour l'ingestion, la transformation et l'analyse des données en temps réel et en batch.
- Optimisation des performances : La formation met l'accent sur l'optimisation des processus pour garantir que les systèmes et les applications sont capables de traiter des volumes massifs de données de manière fluide et efficace.
- Déployer des systèmes et gérer la montée en charge : Les participants apprendront à mettre à l'échelle les systèmes et à déployer des solutions dans des environnements de production avec une attention particulière à la montée en charge et à la gestion des ressources.
- Prendre en charge les aspects de la gestion des flux de données : Le traitement des données en temps réel via le streaming (ex: Spark Streaming, Kafka) sera une composante centrale pour des cas d'usage nécessitant une réactivité et une gestion efficace des données en continu.
Programme
Soft Eng Best Practices
- Setup & Terminal COPILOT SETUP & Benchmark : utilisation du terminal pour la gestion des environnements de travail, comprendre les principes de configuration d'un projet et d'automatisation des processus dans des systèmes distribués.
- Python : pour créer des outils d'analyse, manipuler des jeux de données et résoudre des problèmes de traitement de données.
- Github & CI/CD : Acquérir les compétences nécessaires pour utiliser GitHub efficacement, comprendre et mettre en œuvre des pipelines CI/CD pour automatiser le développement et la mise en production.
- Big Data and Machine Learning : Acquérir des compétences pour travailler sur des systèmes distribués pour Big Data et appliquer des techniques de machine learning sur des grands volumes de données.
- Module : Docker & Deployment : Apprendre à utiliser Docker pour containeriser des applications et modèles, maîtriser le déploiement des solutions en environnement cloud et local.
Data Handling
- SQL-Beginner : acquérir les bases du langage SQL, de comprendre la structure des bases de données relationnelles et de manipuler les données de manière efficace.
- SQL-CRUD & Optimisation : Apprendre à optimiser les requêtes SQL pour des bases de données volumineuses et améliorer les performances des systèmes en gestion de données relationnelles.
- GenAI : Initier les participants à l'IA générative et à son application dans différents domaines pour créer des solutions d'automatisation et de génération de contenu.
- Database Backend & Management : Fournir les compétences nécessaires pour gérer efficacement les bases de données backend, sécuriser les données et optimiser les performances dans un environnement de gestion de bases de données.
- Docker Compose : utiliser Docker Compose pour simplifier le déploiement d'applications multi-conteneurs et orchestrer des environnements de développement et de production.
Data Pipelines
- ETL.Airflow-Basics : comprendre le fonctionnement d'Airflow pour la gestion de pipelines de données et leur automatisation, et les rendre capables de créer, déployer et surveiller des pipelines ETL.
- ELT DBT : configurer et utiliser DBT dans le cadre d'un processus ELT, et automatiser efficacement les transformations de données.
- Apprendre à concevoir, déployer, et maintenir des pipelines de données efficaces, automatiser l'ingestion et le traitement des données à grande échelle, et optimiser les performances de ces processus.
- Kubernetes : maîtriser Kubernetes pour orchestrer et déployer des applications conteneurisée
- Spark Beginner : maîtriser les bases du traitement de données massives avec Apache Spark, et d'appliquer les principes de base pour résoudre des problèmes analytiques de données.
- Spark Advanced : gérer et d'optimiser les processus de traitement de données à grande échelle en utilisant Spark, et de les aider à concevoir des applications plus complexes de traitement en temps
- Data Streaming, Stream Processing, Scaling Up Request
Résultats attendus
Certification RNCP Simplon RNCP37827 Développeur en intelligence artificielle - BC01 Réaliser la collecte, le stockage et la mise à disposition des données d'un projet en intelligence artificielle
Les points forts
Artefact School of Data est au coeur du leader de services Data et IA Europe, Artefact. Les apprenants sont formés sur le terrain des salariés Artefact (Data Analyst pour les plus grandes entreprises en France et à l'international)
La certification
Développeur en intelligence artificielle
- TypeTitre RNCP
- Niveau de sortieBAC+3 ou 4 : licence, master 1, maîtrise (NIVEAU 6)
- Spécialité (NSF)Informatique, traitement de l'information, réseaux de transmission
- DomaineIntelligence artificielle
- Métier viséDéveloppeur / Développeuse informatique
RNCP 37827 RS -1 CertifInfo 115157 Organisme & lieu
- OrganismeIQ FACTORY
- Région