AWS Data Engineer Associate : les pipelines de données sur AWS
La certification AWS Certified Data Engineer - Associate est la plus récente du programme AWS. Elle valide les compétences pour concevoir, construire et maintenir des pipelines de données sur AWS.
Domaines de l'examen
Ingestion et transformation des données (34%) : le domaine le plus important. Concevoir des pipelines d'ingestion batch et streaming. Services : AWS Glue (ETL), Kinesis (Data Streams, Firehose, Analytics), Lambda, Step Functions, EMR (Apache Spark), Athena.
Stockage et gestion des données (26%) : choisir le bon service de stockage selon le cas d'usage. S3 (lifecycle policies, partitioning), Redshift, DynamoDB, RDS/Aurora, Lake Formation (gouvernance du data lake). Gestion du catalogue de données avec Glue Data Catalog.
Opérations des pipelines de données (22%) : automatiser, monitorer et dépanner les pipelines. CloudWatch, EventBridge, SNS pour les alertes. Orchestration avec Step Functions et MWAA (Managed Apache Airflow). Logging et audit.
Sécurité et gouvernance des données (18%) : IAM, Lake Formation (permissions fine-grained au niveau table/colonne/ligne), chiffrement KMS, VPC endpoints, masquage des données sensibles. Conformité RGPD, retention et suppression des données.
Services AWS pour l'ingénierie de données
Ingestion :
- Kinesis Data Streams : ingestion de données en streaming temps réel
- Kinesis Data Firehose : livraison de données en streaming vers S3, Redshift, OpenSearch
- AWS DMS : migration de bases de données avec réplication continue (CDC)
- AWS AppFlow : intégration de données SaaS (Salesforce, Slack, SAP)
Transformation :
- AWS Glue : ETL serverless avec Spark, crawlers pour la découverte de schéma
- Amazon EMR : clusters Spark/Hive/Presto pour le big data
- Amazon Athena : requêtes SQL serverless sur S3
Stockage :
- Amazon S3 : stockage objet pour le data lake (Parquet, ORC, JSON, CSV)
- Amazon Redshift : entrepot de données analytique (columnstore, distribution, sort keys)
- Amazon DynamoDB : NoSQL pour les accès a faible latence
Orchestration :
- AWS Step Functions : orchestration visuelle de workflows
- Amazon MWAA : Apache Airflow gere pour les DAGs complexes
Architecture Data Lake sur AWS
L'examen teste votre compréhension de l'architecture data lake moderne :
- Raw zone (Bronze) : données brutes dans S3, format original
- Curated zone (Silver) : données nettoyées, dedupliquees, format Parquet
- Consumption zone (Gold) : données aggregees, prêt pour l'analytique et le ML
- Gouvernance : Lake Formation pour les permissions, Glue Data Catalog pour les métadonnées
Préparation
- AWS Skill Builder : cours officiels gratuits pour le Data Engineer Associate
- Labs pratiques : construisez un pipeline complet (ingestion S3, transformation Glue, requêtes Athena, visualisation QuickSight)
- Glue et Kinesis : ce sont les services les plus testes, maitrisez-les en profondeur
- Examens blancs : Tutorials Dojo et examens pratiques AWS
- Documentation : les best practices AWS pour les data lakes et les pipelines de données