Cloud Data Engineer (Azure)

¡Un lugar para ti!

INDRA es una de las principales compañías globales de tecnología y consultoría y el socio tecnológico para las operaciones clave de los negocios de sus clientes en todo el mundo. Es un proveedor líder mundial de soluciones propias en segmentos específicos de los mercados de Transporte y Defensa, y la empresa líder en consultoría de transformación digital y Tecnologías de la Información en España y Latinoamérica. Con cerca de 48.000 empleados, presencia local en 46 países y operaciones comerciales en más de 140 países.

Buscamos Cloud Data Engineer con ganas de trabajar en nuestros equipos.

Requisitos:

- Formación universitaria o técnica en Ingeniería de Sistemas, Ingeniería Informática, Computación o carreras afines.
- Experiencia mínima de 1 año (Junior) / 3 años (Medium) / 5 años (Senior) en implementación de soluciones con las tecnologías requeridas.
- Lenguajes: SQL, Python, Scala, PySpark, SparkSQL/Dataframes, NoSQL (documentos), Shell Scripting, Linux/Unix comandos, JCL - Job Control Language (deseable).
- Optimización: Procesos distribuidos, Spark Structured Streaming.
- Cloud - Azure: Servicios de datos y Cloud Computing (Suscripción, RG, IAM, Service Principal, IaaS, PaaS, SaaS), Databricks (Notebooks, Repos, Data Explorer, Cluster Management, Workflows, Unity Catalog, DBFS, Delta Lake), Data Factory (Pipelines, Triggers, Activities, Linked Services, Datasets, DataFlow, Integration Runtime), ADLS Gen2 (Containers, ACLs), Kafka Confluent/EventHubs, Azure Function, Azure SQL/Azure Cosmos DB (SQL, MongoDB), Azure Key Vault, Cost Management (deseable), Logic Apps (deseable), Azure Monitor/Log Analytics (deseable) ? Formatos de Datos: Delta, CSV, Parquet, JSON, Avro.
- Herramientas/Componentes: CI tools (Jira, Jenkins, Bitbucket, Git), Mainframe (TSO IBM), Docker (deseable), AzCopy (deseable), XCOM (deseable), Power BI (deseable).
- Generales: Big Data, Cloud, Lakehouse arquitecturas, Pipelines de datos ETL/ELT, Calidad de datos, Testing/Code Review, SCRUM/Agile metodologías.
- Experiencia en análisis y desarrollo de flujos de Ingesta y transformación de datos en Data lake o Lake House mediante los servicios de Cloud.
- Experiencia en análisis y desarrollo utilizando procesamiento distribuido en Spark usando PySpark y Scala (Batch y Realtime).
- Experiencia en despliegue soluciones en producción haciendo uso de herramientas de integración y despliegue continuo (DevSecOps).
- Experiencia en desarrollo de soluciones transversales para la mejora continua del framework de desarrollo y despliegue de soluciones.
- Experiencia en desarrollo de buenas practicas, frameworks y estandares de desarrollo en plataformas Cloud.
- Experiencia en consultoria y asesoría técnica en la estrategia de implementación de soluciones en plataformas Cloud.
- Desable contar con las siguientes certificaciones: - Databricks: Databricks Certified Associate Developer for Apache Spark, Databricks Certified Data Engineer Associate y Data Engineer Professional (Deseable) - Azure: Azure Data Engineer Associate - Metodología ágil (en proyectos).
- Experiencia trabajando en al menos 3 de los siguientes Proyectos en Cloud: - Analizando y procesando grandes volúmenes de datos. - Construyendo Pipelines de datos, ETL , ELT. - Desplegando soluciones escalables en producción, de preferencia en entidades bancarias. - Migración de procesos hacia plataformas Cloud. - Optimización de procesos utilizando procesamiento distribuido.

Funciones:

- Diseñar, desarrollar y desplegar soluciones de datos de calidad, optimos (en tiempo y costos), seguras y escalables (batch y/o realtime) en el Lakehouse Cloud.
- Desarrollar soluciones utilizando las buenas practicas, frameworks, componentes y herramientas estandarizadas por el COE de Data.
- Realizar el congelamiento y pase de producción de las soluciones de datos, desarrollando los entregables del proceso con calidad, manteniendo saludable los indicadores de rechazos y reversiones.
- Desarrollar los entregables y documentación, definidos en el proceso de Data, correspondiente a la solución de datos.
- Plantear estrategias de implementación eficientes y eficaces de las soluciones de acuerdo a la arquitectura unificada de datos.
- Implementar automatizaciones y componentes reutilizables que permita estandarizar las practicas de desarrollo y construcción de soluciones.
- Co-crear lineamientos, buenas practicas, estándares de desarrollo y asesoría técnica de las soluciones.
- Resolver temas complejos de ingenieria de datos, referidos a servicios en nube, la programación de las soluciones y procesamiento de datos, en el Lakehouse Cloud.

Beneficios:

- Trabajo híbrido. (2 veces por semana de manera presencial)
- EPS 100% para el colaborador.
- Acceso a la plataforma Udemy 100% gratuita.
- Convenios corporativos