En la era digital, las organizaciones recopilan y almacenan una cantidad masiva de datos de diferentes fuentes. Sin embargo, el acúmulo de información sin clasificar y sin gestionar adecuadamente puede convertirse en un problema y dificultar la recuperación y el análisis de datos importantes. Este problema se conoce como Data Swamp o pantano/ciénaga de datos.
¿Qué es un Data Swamp?
Un Data Swamp es un sistema de almacenamiento de datos ineficiente y sin estructura que se encuentra sobrecargado con grandes cantidades de información sin clasificar y sin gestionar adecuadamente. La falta de un plan o procesos efectivos de gestión de datos puede resultar en un acúmulo de información sin valor que es difícil de recuperar y analizar.
Data Lake vs Data Swamp
| Data Lake | Data Swamp |
|---|---|
| Los datos están identificados con sus propiedades, relaciones y significado. Se gestiona activamente la metadata en base a reglas y controles. | No hay gestión de la metadata. |
| La ingesta de datos está engrasada y monitorizada. | Problemas en la ingesta de datos, lo que provoca pérdida de información y rastreo de los datos. |
| Los datos están organizados y jerarquizados para facilitar su acceso. | No hay organización, surgen silos de datos y se obstaculiza la exploración. |
| Garantiza la disponibilidad, en cualquier momento se pueden consumir los datos ya que están listos para su explotación. | Consumir los datos requiere tiempo de identificación y construir los mecanismos para disponobilizarlos. |
| Facilita la escalabilidad del sistema al gozar de controles y organización de los datos. | Se dificulta la escalabilidad al tener una estructura fragmentada y rígida. Favorece el surgimiento de silos y datos aislados. |
| Permite establecer controles de calidad que garantizan el valor de los mismos para su consumo. | No hay controles de calidad, los datos están incompletos o son opacos (invisibles o de difícil acceso). |
Cómo surgen los Data Swamps
Los Data Swamps surgen cuando una organización recopila y almacena grandes cantidades de datos sin un plan o procesos efectivos de gestión y clasificación. La falta de estructura y organización puede hacer que los datos se acumulen de manera descontrolada y se conviertan en un problema, ya que no sólo no responden a su cometido: dar respuestas, si no que además, dificulta su explotación y comprensión.
Un data swamp surge cuando se abusa de un data lake
Las organizaciones a menudo se enfocan en recopilar y almacenar la mayor cantidad de datos posible sin preocuparse por su calidad y valor (¡hay que historificar todo! ¡debemos ingestar cualquier dato que se genere!). Esto puede resultar en que se guarden de datos duplicados, incompletos o sin valor que contribuyen al crecimiento del Data Swamp y que además de que nunca vayan a ser utilizados, dificultan encontrar y trabajar con los datos que realmente sí son valiosos.
Cómo evitar los Data Swamps
Para evitar el surgimiento de un Data Swamp, es importante implementar una estructura y procesos efectivos de gestión de datos. Algunos de los pasos que puede tomar una organización para evitarlos incluyen:
- Implementar una estrategia de gestión de datos: Definir una estrategia clara para la recopilación, almacenamiento y análisis de datos, así como los objetivos y metas a alcanzar ¿es necesario guardar todos los datos de un origen? ¿debemos historificar toda la información? Priorizar qué datos son los realmente valiosos y por tanto, deben almacenarse. Es cierto que la respuesta a esta pregunta es el ahora y no sabemos si en el futuro necesitaremos datos que a día de hoy no se explotan. El ejercicio por tanto sería analizar y priorizar los datos que estamos seguros necesitamos o podremos necesitar en un futuro cercano.
- Catálogo de metadatos: los metadatos es información sobre los propios datos. Es un mecanismo para clasificar e identificar la información, clave para mantener un Data Lake. Si no sabemos qué tenemos, qué significa, de dónde viene o para que se usa, lo que hemos construido es un data swamp.
- Fomentar una cultura de datos: Asegurarse de que los empleados comprendan la importancia de los datos y cómo pueden ser utilizados para mejorar la toma de decisiones. En nuestra organización se cuida la cultura del dato mediante un programa denominado Data Fluency cuyo objetivo es evangelizar alrededor del concepto de qué son los datos desde el punto de vista de IT.
- Adoptar tecnologías efectivas de gestión de datos: Invertir en tecnologías que permitan una gestión eficiente de los datos, incluyendo herramientas de integración, limpieza y análisis de datos. Aunque esto entraría más en procesos ETL o ELT posteriores, en realidad deberían implementarse controles en la ingesta de datos en el data lake.
- Definir políticas y procedimientos claros: Establecer políticas y procedimientos claros para la gestión de datos, incluyendo la seguridad, privacidad y cumplimiento de regulaciones. Especialmente en compliance y controles RGPD con la conservación de datos.
- Evaluar regularmente la eficacia de la gestión de datos: Realizar periódicamente auditorías y evaluaciones para determinar si se están cumpliendo los objetivos y si se requiere mejorar la estrategia de gestión de datos.
- Involucrar a todos los departamentos: Asegurarse de que todos los departamentos de la organización estén involucrados en la gestión de datos y que comprendan su importancia. En línea con el punto nº2.
