Este repositório reúne uma sequência de projetos práticos desenvolvidos com o objetivo de evoluir competências na área de Data Engineering.
A evolução é incremental, começando por um processo ETL simples em Python e avançando para pipelines mais estruturados e, posteriormente, para a sua orquestração com Apache Airflow.
Cada projeto introduz novos conceitos e tecnologias, aproveitando a base construída no projeto anterior.
🎯 Objetivo
O objetivo destes projetos é construir, de forma prática, uma base sólida em:
- Processos ETL (Extract, Transform, Load)
- Python aplicado a Data Engineering
- Pandas para manipulação e transformação de dados
- SQL e PostgreSQL
- Data Validation
- Staging Tables
- Logging
- Control Tables
- Orquestração de pipelines
- Apache Airflow
- Docker e Docker Compose
- XComs
- Redis e Celery
- Arquitetura de pipelines de dados
📚 Projetos
- 01 - ETL Básico - Python, Pandas, SQLAlchemy, PostgreSQL
- 02 - ETL Estruturado - Python, Pandas, PostgreSQL, Staging, Logging
- 03 - Orquestração de Pipelines - Apache Airflow, Docker, PostgreSQL, Redis, Celery