Conceptos Esenciales de Curación y Gestión de Datos para Profesionales

Curación de Datos: Definición y Actividades Clave

¿Qué es la Curación de Datos?

La curación de datos es un proceso fundamental que transforma un origen de datos crudos en información organizada y estructurada, lista para su uso posterior.

Actividades Esenciales en la Curación de Datos

Las actividades más importantes en la curación de datos incluyen:

• Corrección de Datos: Identificación y rectificación de errores.
• Transformación e Integración: Unificación de datos provenientes de diversas fuentes.

Ciclo de Vida de los Datos: Captura, Acceso y Almacenamiento

Actividades Asociadas a la Captura de Datos

Durante la fase de captura de datos, es crucial realizar las siguientes actividades:

• Verificar que los datos provengan de fuentes confiables.
• Comprobar la legalidad de acceso a la información.
• Buscar y registrar la información de identificación de los datos.

Actividades Asociadas al Acceso de los Datos

Para garantizar un acceso eficiente y seguro a los datos, se deben llevar a cabo:

• La creación de un índice informativo que facilite su localización.
• El establecimiento de restricciones de acceso para los usuarios, según sus permisos.

Actividades de Almacenamiento para Uso Posterior

El almacenamiento de datos para su uso futuro implica:

• Un almacenamiento seguro y garantizado de la información.
• La gestión de versiones para mantener un historial de cambios y asegurar la integridad.

Tipos y Formatos de Datos Esenciales

Diferencias entre Información Primaria y Secundaria

• La información primaria se genera y recopila en el momento de su uso, siendo original y específica para un propósito actual.
• La información secundaria ha sido previamente elaborada y almacenada, estando disponible para su acceso y reutilización posterior.

Datos Estructurados vs. No Estructurados

La distinción entre datos estructurados y no estructurados es fundamental:

• Los datos estructurados poseen un formato predefinido con campos fijos, lo que facilita su organización y consulta. Ejemplos incluyen bases de datos relacionales, hojas de cálculo y ficheros secuenciales.
• Los datos no estructurados carecen de un formato fijo y pueden presentarse en diversas formas, como documentos de texto, correos electrónicos, mensajes de redes sociales, fotos o videos.

Formatos Abiertos de Intercambio de Datos

Los formatos abiertos de intercambio de datos más relevantes son:

• CSV (Comma Separated Values)
• XML (Extensible Markup Language)
• JSON (JavaScript Object Notation)

Formato CSV (Comma Separated Values)

El formato CSV es ampliamente utilizado para representar datos tabulares. Consiste en un archivo de texto donde cada línea representa una fila de datos y los campos están separados por comas. Es común que la primera línea contenga las cabeceras de las columnas, también separadas por comas. Por ejemplo:

Cabecera1,Cabecera3,Cabecera3
Dato1,Dato2,Dato3
DatoA,DatoB,DatoC

Formato JSON (JavaScript Object Notation)

JSON es un formato ligero de intercambio de datos, basado en la sintaxis de objetos de JavaScript. Se caracteriza por delimitar sus estructuras de datos (objetos y arrays) con llaves {} y corchetes [] respectivamente. Permite representar estructuras de datos jerárquicas o en árbol, incluyendo tablas anidadas.

Formato XML (Extensible Markup Language)

XML es un lenguaje de marcado diseñado para describir modelos de datos. Su principal uso es el intercambio de estructuras de datos complejas entre diferentes aplicaciones y sistemas, garantizando la interoperabilidad.

Repositorios de Datos y Conceptos de Datos Abiertos

Repositorio Abierto vs. Data Lake (Lago de Datos)

Existen diferencias clave entre un repositorio abierto y un Data Lake:

• Un repositorio abierto ofrece acceso libre a los datos, a menudo alojados en la nube, con una búsqueda sencilla a través de páginas indexadas.
• Un Data Lake (o Lago de Datos) suele tener acceso restringido y permite la búsqueda de datos mediante consultas (queries) complejas, almacenando datos en su formato original.

Proveedor Cloud Líder para Data Lakes

Actualmente, Amazon AWS es reconocido como uno de los proveedores de servicios en la nube más importantes para la implementación y gestión de Data Lakes.

Características de los Datos Abiertos

Los datos abiertos se definen por las siguientes características esenciales:

• Libre Acceso: Disponibles para cualquier persona sin restricciones.
• Disponibilidad en Formato Abierto: Publicados en formatos que permiten su procesamiento automático y descarga sencilla desde internet.
• Posible Modificación y Reutilización: Permiten su adaptación, combinación y uso para nuevos propósitos, fomentando la innovación.

Problemas Comunes en la Calidad de Datos y su Corrección

Principales Problemas a Corregir en los Datos

Para asegurar la calidad de los datos, es fundamental identificar y corregir problemas como:

• Presencia de caracteres extraños o inválidos.
• Líneas de datos duplicadas, que generan redundancia.
• Líneas de datos en blanco o incompletas.
• Valores de datos incorrectos o fuera de los rangos esperados.
• Celdas en blanco o nulas, que indican información faltante.