Data Engineer
Funciones Principales:
- Ingesta y replicación de datos con AWS DMS (CDC y batch) desde fuentes on-premise y cloud.
- Procesamiento distribuido con PySpark en EMR/Glue, optimizando rendimiento y costos.
- Orquestación de ETL/ELT con Airflow o Step Functions.
- Flujos de datos serverless con Lambda, SQS y EventBridge en casi tiempo real y batch.
- Gestión de arquitectura backend de Databricks sobre AWS
Conocimientos y Certificaciones Indispensables:
- Experiencia en Databricks sobre AWS
- Terraform
- PySpark en EMR/Glue
- Step Functions / Orquestación de workflows
- AWS Lambda
- SQL avanzado (modelado y optimización de consultas)
- Arquitecturas Data Lake / Lakehouse
- Procesamiento batch y near real time
Conocimientos y Certificaciones Deseables:
- Especialización en Data Engineering, Big Data o Cloud Computing
- Databricks Data Engineer Associate
- Data Engineer Associate AWS
Habilidades Blandas:
- Trabajo con equipos multidisciplinarios
- Pensamiento analitico con enfoque a resolucion de problemas