Définition
Un data lake (lac de données) est un système de stockage centralise qui contient des données brutes dans leur format natif — structurees (CSV, Parquet), semi-structurees (JSON, XML), et non structurees (images, logs, vidéos) — jusqu'à ce qu'elles soient nécessaires pour l'analyse.
Contrairement au data warehouse qui impose un schéma avant le chargement, le data lake stocke les données telles quelles et le schéma est applique à la lecture (schema-on-read).
Architecture
Sources → Ingestion → Raw Zone → Curated Zone → Consumption Zone
↓ ↓ ↓ ↓
Airbyte/Kafka S3/GCS Spark/dbt BI/ML/API
(brut) (brut) (nettoye) (exploite)
Zones du data lake
- Raw (Bronze) : données brutes, telles qu'elles arrivent
- Curated (Silver) : données nettoyées, deduplicquees, validees
- Consumption (Gold) : données agregees, pretes pour l'analyse et le ML
Technologies de stockage
- AWS S3 : le standard, ~0.023$/Go/mois
- Google Cloud Storage : equivalent GCP
- Azure Data Lake Storage : equivalent Azure
- MinIO : alternative open source S3-compatible
Formats de fichiers
| Format | Type | Usage |
|---|---|---|
| Parquet | Colonnaire, binaire | Standard analytique |
| Delta Lake | Parquet + ACID | Lakehouse (Databricks) |
| Iceberg | Parquet + ACID | Lakehouse (open source) |
| Avro | Ligne, binaire | Streaming (Kafka) |
| CSV/JSON | Texte | Échange, import simple |
Le problème du "data swamp"
Un data lake mal gere devient un "data swamp" (marecage) : des données inexploitables car non documentees, non cataloguees, de qualité inconnue.
Prévention :
- Data Catalog : inventorier et documenter chaque dataset (AWS Glue Catalog, DataHub)
- Data Quality : vérifier la qualité à chaque étape (Great Expectations, dbt tests)
- Data Governance : controles d'accès, lineage, retention policies
- Metadata : qui a cree la donnée, quand, d'ou vient-elle
Évolution : le Lakehouse
Le Lakehouse combine data lake (stockage flexible, coût faible) et data warehouse (ACID, SQL, performance) :
- Delta Lake (Databricks) : transactions ACID sur Parquet
- Apache Iceberg : tables versionnees, time travel
- Apache Hudi : upserts, incremental processing