Los equipos de datos, les toca trabajar con lo que hay y no con lo que necesitan

“Los equipos de datos, no son desarrolladores de software. A estos les toca trabajar con lo que hay y no con lo que necesitan” 🤷‍♂️

👉 Me gusta mantenerme informado e identificar tendencias en este mundo de los datos, por lo que recientemente he visto un incremento en posiciones de CDO -Chief Data Officer- en organizaciones con alto nivel de madurez en datos.

Entre otros roles consecuentes como: Data VP, head of data, director of data, etc.

💡 El decidir abrir una posición ejecutiva nivel C, habla de la conciencia más allá del “data literacy”, habla del valor tangible a nivel negocio que generan para la organización.

¿Si data es parte de tecnología, por qué no se cubre esta necesidad bajo el mismo paraguas, el mismo “approach”?

El verdadero problema que tienen los equipos de datos

Queremos resolver bajo el mismo paradigma las necesidades de los equipos de datos, desde la experiencia previa en desarrollo de software.

Los equipos de datos:
🔵 Usan tecnologías diferentes que en software

Por ejemplo: DWH, Spark, MapReduce, TensorFlow, Notebooks en igual de IDE’s, etc.

🔵 El flujo de trabajo -datos- desde que se genera hasta que se entrega al cliente final y aporta valor son diferentes

Por ejemplo: desde la generación del dato, almacenamiento, limpieza & transformación, etc… No todo son Microservicios, API’s o entregas de features en Web.

🔵 Tienen necesidades de infraestructura diferentes “Tech Stack” para trabajar

Necesitamos un DataOps en nuestro equipos de datos

⚙️ DevOps – Development & Operations, deja de fuera las necesidades del equipo de datos y es por eso que argumento:
“A los equipos de datos les toca trabajar con lo que hay y no con lo que necesitan”

¿Será que DataOps aún está en pañales? 🤔

La limpieza es cool, pero no soluciona el problema de raíz de los sistemas que producen data basura.
¿Llegaremos a ver pronto en la industria un DRE -Data Reliability Engineer- como equivalente al SRE que existe en software?

Es decir: un DRE quién tenga a su disposición sistemas de observabilidad para detectar inconsistencias en los datos desde su generación 🤔

❌ Esto no es un US vs THEM.
Es un trabajo en equipo donde ambos equipos necesitan estar sincronizados en el COMO nos pasaremos la estafeta -DATA-.

🏃‍♂️ Puedes pensarlo como un triatlón en equipo donde uno corre, otro nada & otro va en bicicleta.

🏊 Es ilógico pensar que un buen corredor será un buen nadador o que el nadador necesitará el mismo equipamiento -Tech Stack- y entrenamiento -Skills- que andando en bicicleta. 🚴

Sígueme para más consejos:

IVAN CHAVEZ

Hi there! If you’re into the data world like me, then you’re in the right place.

In this website, we’re going to dive into the exciting world of DataOps & Analytics. From the latest trends and innovations to practical tips and tricks, I got everything you need to stay on top of the game.
So grab a cup of coffee (or your beverage of choice), get comfortable, and let’s get started!

-IC