Quality Engineering en Hydrolix Innovations Lab

Abstract

El presente informe surge a partir de la oportunidad de trabajo ofrecida por la empresa de consultoría de software Clarolab, con sede en Junín, Buenos Aires. Clarolab se dedica a brindar servicios de consultoría a empresas y organizaciones desde su fundación en 2008. Una de las compañías que se beneficia de sus servicios es Hydrolix, una empresa dedicada al desarrollo de una plataforma de base de datos en la nube. El principal objetivo de Hydrolix es actuar como un streaming data lake, simplificando el uso y transformando la gestión de grandes volúmenes de datos a altas velocidades, reduciendo significativamente los costos asociados a su manejo. Dentro de Hydrolix, el área de ingeniería está compuesta por varios equipos: Intake, encargado de la ingesta de datos; Core, que procesa y retorna los resultados de consultas; Config, responsable de la API y la actualización de la interfaz de usuario; Control Plane, encargado de la infraestructura; y Innovation Lab, el equipo más reciente, creado en 2024, cuyo principal objetivo es incrementar el ecosistema de Hydrolix, especialmente en áreas relacionadas con la inteligencia artificial y mejorar la compatibilidad del producto con espacios de data science. En el equipo de Innovation Lab, se desarrollaron las tareas que conforman la práctica profesional detallada en este informe. El rol desempeñado dentro de este equipo fue en el área de Quality Engineering (QE), donde se tuvo como responsabilidad principal asegurar que los procesos de desarrollo de software mantuvieran un estándar de calidad alto, facilitando iteraciones rápidas y sin errores. Además, como Team Leader de QE en Innovation Lab, también se asumieron tareas de gestión y organización del equipo, asignación de tareas y creación de soluciones de automatización. Esta práctica profesional supervisada se enmarca dentro del trabajo full-time que, desde junio de 2024, se realiza en la empresa Hydrolix, particularmente en el equipo de Innovations Lab. Durante mayo de ese mismo año, se llevó a cabo un período de entrenamiento y colaboración en tareas iniciales junto a distintos equipos de la organización. A grandes rasgos, las actividades desarrolladas durante la práctica se centraron en: ● Organización del ecosistema Jira + GitLab. ● Gestión de tareas del equipo y onboarding de nuevos miembros ● Administración de clusters e infraestructura. ● Migración y recuperación de datos. ● Desarrollo de un framework de testing automatizado para los conectores de Splunk y Spark. A lo largo del tiempo en el equipo de Innovation Lab, una parte crucial del trabajo consistió en la organización del ecosistema Jira + GitLab, lo cual resultó fundamental para mantener un control preciso y prolijo de todas las tareas del equipo, asegurando que el flujo de trabajo se desarrollara de manera eficiente y sin contratiempos. También se asumieron tareas de gestión, organizando y asignando las tareas del equipo, mientras se entrenaba y capacitaba a los nuevos miembros de QE y desarrollo, explicando el funcionamiento de los productos y el flujo de trabajo de desarrollo. Además, debido a la diferencia horaria con el jefe y los equipos internacionales (como los de Ucrania trabajando con Spark, los equipos de Customer Success de Europa y los de Documentación), se estuvo involucrado en la resolución diaria de cuestiones urgentes y en la coordinación de actividades a través de distintos husos horarios. En cuanto a las tareas de infraestructura, se asumió la responsabilidad del mantenimiento de clusters y también se participó en tareas de migración y restauración de datos, asegurando que los datos se gestionaran adecuadamente en todos los entornos de trabajo. Asimismo, en el área de testing manual, se supervisaron los procesos y herramientas de prueba para garantizar su correcta ejecución antes de cualquier despliegue. Finalmente, la contribución más destacada fue el desarrollo de un framework de testing automatizado para los conectores de Splunk y Spark. Splunk es una plataforma utilizada para el análisis y monitoreo de datos en tiempo real, mientras que Apache Spark es un motor de procesamiento distribuido ampliamente empleado en ciencia de datos y análisis de grandes volúmenes de información. Los conectores de Hydrolix para estas herramientas tienen como objetivo permitir que los usuarios puedan consultar y procesar datos directamente desde Hydrolix, integrando sus flujos de trabajo habituales sin necesidad de modificar sus entornos. Ésta framework de testing automatizado permitió mejorar significativamente la eficiencia, detectar errores en etapas tempranas y elevar la calidad general del ciclo de desarrollo y del producto en sí.