Prérequis
Bases solides en programmation (Python ou Java) et SQL. Expérience en analyse de données recommandee.
Étape 1 : SQL et modélisation avances (1-2 mois)
- PostgreSQL avance (window functions, CTE, optimisation)
- Modélisation dimensionnelle (star schéma, snowflake)
- Data warehouse vs data lake vs lakehouse
Étape 2 : Python pour le data engineering (1-2 mois)
- Programmation orientee objet
- Gestion de fichiers (CSV, JSON, Parquet, Avro)
- APIs et web scraping
- Tests unitaires et qualité de code
Étape 3 : Big Data (2-3 mois)
- Apache Spark (PySpark)
- Concepts distribues (partitionnement, shuffle)
- Delta Lake / Iceberg
- Streaming : Kafka, Spark Streaming
Étape 4 : Orchestration (1 mois)
- Apache Airflow (DAGs, operators, XCom)
- Scheduling et monitoring
- Alternatives : Prefect, Dagster
Étape 5 : Cloud (2 mois)
- AWS : S3, Glue, Redshift, Athena, Lambda
- OU GCP : BigQuery, Dataflow, Cloud Storage, Pub/Sub
- Infrastructure as Code (Terraform)
- Sécurité et IAM
Étape 6 : DevOps pour la data (1 mois)
- Docker et conteneurisation
- CI/CD pour les pipelines
- Monitoring et alerting
- Data quality (Great Expectations, dbt tests)
Timeline
9-15 mois pour un profil avec des bases en dev ou data.