Data solution architect | Data Engineer
Data solution architect | Data Engineer
Data Fabric es una arquitectura de datos que proporciona una plataforma unificada – o capa de abstracción – flexible para acceder, procesar y gestionar datos en diferentes formatos, estructuras y localizaciones. Permite conectar diferentes fuentes de datos y ofrecer una…
A partir de Marzo de 2023 asistir a una sesión de Microsoft Virtual Training ya no otorgará el voucher para realizar gratis un examen de certificación Azure Fundamentals. Con este paso, sólo queda pasar por caja para obtener estas certificaciones…
Continuando con el bootcamp para Data Engineers, en esta segunda semana hemos trabajado en la orquestación del flujo de datos con Prefect (similar a Apache Airflow pero basado en Python). Hemos creado dos ETLs en Python, la primera exporta un…
Un KPI típico en el mundo de datos es ver cómo cambia un valor a lo largo del tiempo. En nuestro ejemplo, lo que buscamos es qué valor tenía una dimensión el mes anterior. En el siguiente artículo os comparto…
Durante la primera semana del bootcamp para Data Engineers que comenté hace unos días hemos practicado contenerización con docker creando imágenes para desplegar Postgresql. Mediante Python y la librería pandas hemos ingestado un dataset para realizar los ejercicios. Finalmente, hemos…
El próximo día 16 de Enero de 2023 arranca el bootcamp Data Engineering gratuito organizado por Data Talks Club. Organizado a lo largo de 10 semanas, se trata de hacer un proyecto end-to-end de data desde la ingesta (streaming con…
Git es una herramienta para mantener repositorios de código en un sistema de control de versiones y facilitar el trabajo colaborativo en los equipos. Github explota esta funcionalidad y la ofrece desde la nube, lo que nos facilita acceder desde…
La forma más rápida para detectar duplicados en SQL es utilizando la función de ordenación rank(). La descripción en la documentación oficial de SQL Server indica: Devuelve el rango de cada fila en la partición de un conjunto de resultados.…
Recientemente nos ha surgido una incidencia en un job de IBM DataStage en el que un Transformer divide dos valores decimales con 20 dígitos de precisión y el resultado de la operación sólo muestra los primeros 10, los otros 10…