Data Engineer Ssr Nube - Azure

Fundada en 1998 , DWConsulware es líder en soluciones para la administración del desempeño corporativo (CPM).Nuestros productos y servicios permiten que las organizaciones alcancen un alto desempeño planificando , presupuestando y pronosticando , monitoreando con alertas y tableros de control , y analizando con inteligencia de negocios

Requisitos:

- Egresado, titulado en la carrera de Ingeniería de Sistemas de Información, Ingeniería de Sistemas, Software, Ciencia de la Computación o afines.
- Experiencia mínima de 03 años a más analizando y procesando grandes volúmenes de datos, Python, Databricks, Datafactory, Spark, PySpark, Pipelines de datos, SQL/PLSQL, Hadoop (deseable), Procesos Real Time con kafka (deseable).
- Deseable contar con Certificaciones Microsoft (Fundamentals, Databricks o Datafactory)

Herramientas:

Lenguajes:

- PLSQL(mandatorio)
- PySpark (mandatorio)
- SparkSQL/Spark Dataframes (mandatorio)
- SQL (mandatorio)
- Python (mandatorio)
- Tuning y optimización de procesos distribuidos (mandatorio)
- Shell Scripting (mandatorio)
- Comandos Linux/Unix (mandatorio)
- JCL (Job Control Language) (deseable)
- Web Scrapping (deseable)
- Scala (deseable)
- NoSQL (documentos) ( deseable)
- Spark Structured Streaming (deseable)

Consumo / Almacenamiento:

- DBFS/ADLS (mandatorio)
- Oracle (mandatorio)

Cloud - Azure - Procesamiento batch (mandatorio):

- Servicios de data - Cloud Computing (Suscripcion, RG, IAM, Service Principal, Servicios IaaS, PaaS, SaaS)
- Databricks (Notebooks, Repos, Data Explorer, Cluster Managment, Workflows (Jobs, DLTs), Unit Catalog, DBFS,Manejo de Delta Lake (ScheMás, Tables, Permissions, Versioning, Optimizing, Vacuuming, Cloning, Streaming Live)
- Data Factory - Pipelines, Triggers, Actitivies, Linked Services, Datasets, DataFlow, Integration Runtime
- ADLS Gen2 - Containers, ACLs
- Azure SQL / Azure Cosmos DB (SQL, MongoDB)
- Azure Key Vault

Cloud - Azure - Procesamiento Real Time (deseable):

- Kafka Confluent / EventHubs (deseable)
- Azure Function (deseable)
- Cost Managment (deseable)
- Logic Apps (deseable)
- Azure Monitor/Azure Log Analytics (deseable)

Otras nubes: AWS, GCP, OCI, entre otras (deseable).

Formatos de Datos:

- Delta (capa de datos)
- CSV
- Parquet
- JSON
- Avro

Herramientas / Componentes:

- Despliegues de soluciones con herramientas IC (Jira, Jenkins, Github)
- Mainframe: TSO IBM
- Pycharm / VsCode/Notebooks Databricks
- Dockers deseable
- AzCopy deseable
- XCOM / Stearling (deseable)
- Power BI deseable

Generales:

- Arquitecturas BigData, Cloud, Lakehouse
- Pipeline de datos, ETL/ELT
- Data Quality
- Testing/CodeReview
- Metodologías SCRUM/Agile
- Visualización: Power BI (Deseable)


Requisitos: