Data Engineer


La necesidad de dotar a nuestros clientes de las capacidades necesarias para afrontar los restos asociados a extraer el máximo valor de sus datos, ha llevado a Grupo AIA ha formar una unidad de negocio especializada en Big Data.

Grupo AIA está actualmente buscando Arquitecto y desarrollador Big Data para continuar con el crecimiento de esta unidad:

http://aia.es/aia/big-data/

Como Data Engineer en Grupo AIA tus responsabilidades consistirán en:

  • Interactuar con el cliente final para comprender sus necesidades y entorno tecnológico, proponer la metodología adecuada y alinear las soluciones propuestas.
  • Definir la arquitectura de soluciones avanzadas en entornos Big Data para resolver problemas complejos de negocio que aporten valor añadido a nuestros clientes y ayuda en la toma las decisiones.
  • Colaborar con los equipos de Data Scientists para definir las soluciones más adecuadas a cada caso de uso, desde el punto de vista tecnológico.
  • Dar soporte a la implantación de las soluciones en los entornos del cliente.
  • Instalación y gestión de entornos Big Data internos para permitir al desarrollo y test, en caso de ser necesario, imitando la infraestructura del cliente.
  • Soporte al equipo de Data Scientists para proveer de las herramientas de análisis necesarias, así como para el tunning del código desarrollado.
  • Trabajar en equipo dentro de la unidad de Big Data compartiendo conocimiento con el resto de miembros.

 

Perfil Senior

Habilidades requeridas

  • Grado en Ingeniería Informática.
  • Al menos 1 año de experiencia demostrada como arquitecto de soluciones para entornos Big Data (principalmente Hadoop, Cloudera) y con tecnologías Big data: MapReduce, Hive, Spark 2, Impala, Sqoop…
  • Al menos 2 años de experiencia demostrada en desarrollo de soluciones para entornos Big Data (principalmente Hadoop, Cloudera) y con tecnologías Big data: MapReduce, Hive, Spark 2, Impala, Sqoop…
  • Experiencia demostrable en el tunning de código y parámetros de ejecución de procesos PySpark para conseguir una mayor eficiencia en la ejecución en base a las características del cluster (tamaño del cluster, memoria, procesadores, etc…) y de los datos a procesar (volumen, tipología, etc…).
  • Experiencia demostrable en la instalación y gestión de un entorno Cloudera, así como de la configuración básica del mismo: tunning de los parámetros principales para el mejor aprovechamiento de los recursos del cluster en base a los recursos de espacio HDFS, número de nodos, memoria y CPUs total, así como gestión de usuarios en Hue e instalación y configuración de diferentes herramientas para permitir al equipo de Data Scientists el uso del mismo (instalación de librerías Python, instalación y configuración de Livy y Hue Notebooks, entre otros).
  • Al menos 3 años de experiencia demostrada con sistemas SQL DB Systems como MySQL, Oracle, SQL Server…
  • Conocimiento de soluciones NoSQL (MongoDB, Cassandra, HBase)
  • Al menos 4 años de experiencia demostrada en programación y conocimiento avanzado de Python, R, Java y/o C++.
  • Habilidad para pensar de forma analítica, cuantitativa y creativa.
  • Experiencia trabajando directamente con clientes.
  • Habilidades para comunicar ideas complejas.
  • Nivel avanzado de Español e Inglés.

Habilidades/experiencia altamente valoradas

  • Doctorado en formación científica. Master en Data Science, Big Data, AI, Modelización o similares.
  • Conocimiento de herramientas de procesado de lenguaje natural.
  • Conocimiento en las áreas de data mining, técnicas estadísticas y modelización, Machine Learning y visualización de datos.
  • Conocimiento de herramientas de analítica Web (Google Analytics, SiteCatalyst, Coremetrics, etc.) y de creación/aprovechamiento de APIs y Marketing Web.

Para aplicar accede aquí: Trabaja con nosotros