Cambiando de instancia…
DataXplora Rule Ops
Automatización masiva de reglas de calidad de datos en IBM CP4D
Herramienta interna para generar y publicar cientos de reglas de Data Quality en IBM Cloud Pak for Data a partir de un archivo Excel de metadatos. Elimina el trabajo manual de configuración regla por regla en la plataforma.
¿Qué necesitas hacer?
Elige la situación que se parece a la tuya. Cada una abre el módulo que le corresponde.
El proyecto está vacío y hay que crear sus reglas desde cero
¿Cuándo uso esto? El proyecto de CP4D ya tiene sus tablas, su conexión de salida y sus tablas de referencia, pero todavía no tiene definiciones de calidad ni reglas.
El paso del medio no es opcional: crear las definiciones no las incorpora al mapeo, y sin descubrir después, Generar payloads falla porque no encuentra la definición.
Las reglas están bien, pero escriben en una conexión de salida rota
¿Cuándo uso esto? La conexión de salida se recreó o se cayó, y hay que apuntar las reglas que ya existen a la conexión buena. No cambia nada más de la regla.
No hace falta el Excel: sin él se repunta solo la conexión, en el sitio, sin tocar el resto de la regla.
Cambió la tabla que las reglas leen
¿Cuándo uso esto? La tabla de entrada se renombró, o se reemplazó por otra que se llama igual, y las reglas siguen apuntando a la vieja.
Aquí sí hace falta el Excel: cuando cambia el activo, las reglas se regeneran completas. Los nombres de regla no cambian, así que se actualizan las mismas.
Cambiaron la conexión de salida y la tabla de entrada a la vez
¿Cuándo uso esto? Hay que mover las dos cosas en la misma pasada, sin publicar las reglas dos veces.
Los dos cambios viven en el mismo mapeo, así que un único envío empuja conexión y tabla juntas.
¿Cómo funciona?
Carga tus archivos
Sube el Excel de metadata con la configuración de campos y reglas por entidad. La configuración de IDs CP4D se gestiona una sola vez en el módulo Configuración.
Genera los payloads
El motor lee cada hoja del Excel, itera por campo × entidad × tipo de regla y construye los JSON de la API CP4D. Muestra un resumen con totales y errores.
Publica en CP4D
Selecciona las entidades, previsualiza qué se crearía o actualizaría —sin escribir nada— y recién ahí envía. Cada regla se publica con progreso en vivo y registro de errores.
Archivos requeridos
Metadata_v2.xlsx
Formato multi-hoja v2
- • Una hoja por tabla de datos
- • Hojas con prefijo
_se ignoran - • Columna por entidad: marcar con
X - • Columnas de peso por tipo de regla
¿Listo para empezar?
Ve a Crear → Solo Reglas en el menú lateral y carga tu archivo (los identificadores de CP4D los resuelve Configuración → 3 Descubrir).
¿Cuándo uso esto? Cuando las definiciones de calidad ya están publicadas y descubiertas, y lo que falta es crear —o volver a publicar— las reglas de un Excel de metadata.
Archivos de entrada
Módulo: Crear Reglas DQ
Metadata Excel
multi-hoja, formato v2
Clic o arrastra el .xlsx
Configuración CP4D
IDs gestionados globalmente
✓ Configuración activa
⚠ Falta descubrir en CP4D
Declara tus entidades y su proyecto en Configuración, y ejecuta Descubrir y guardar. Los identificadores se resuelven ahí; no se escribe ninguno a mano.
Generar Payloads
Módulo: Crear Reglas DQ
Las reglas se crean sin destino de escritura: no producen tabla de resultados hasta que se les agregue. Para agregárselo después, regenera con esta opción apagada y ejecuta en modo Upsert o Solo actualizar existentes.
Las hojas cuya pk_column tiene dos columnas no generan su regla automática de
unicidad compuesta en esta corrida. No se guarda en el Excel: si exportas y vuelves a subir
el archivo, la regla vuelve a generarse y hay que marcar esto de nuevo. Una celda
w_* que nombra Compuesta_PK2 a mano se genera igual.
Columnas de la tabla de salida
Qué escribe cada regla en su tabla de resultados, y en qué orden: la lista de abajo es el orden de las columnas que CP4D va a crear. Arrancan todas marcadas — el juego completo es lo que se viene usando.
+ Agregar una columna
Las de la lista están verificadas contra CP4D. Si la que buscas no está, «otra…» deja escribirla — pero un identificador que CP4D no reconoce falla al publicar, no al generar.
0
Payloads generados
0
Errores
0
Warnings
Errores encontrados:
Warnings (no bloqueantes) — 0 · clic para ver
Resumen por Entidad / Tabla
Enviar a CP4D
Módulo: Crear Reglas DQ
Configuración de envío
Endpoint y credenciales configurados en el servidor (variables de entorno seguras).
Entidades a enviar
Las entidades aparecen aquí tras generar los payloads.
Operación
Flujo en dos pasos: Previsualizar lee CP4D y muestra qué se crearía/actualizaría (sin escribir nada); al terminar se habilita Enviar a CP4D.
⚠ El Excel se reemplazó después de esta previsualización. Lo que envíes sale del archivo nuevo, no del que simulaste. Previsualiza otra vez si quieres verlo antes de escribir en CP4D.
Progreso por entidad
Resultados
| # | Regla | Entidad | Acción | Campos / Mensaje |
|---|
Crear Definiciones DQ
Publica las definiciones DQ en todos los proyectos configurados
¿Cuándo uso esto? Cuando el proyecto todavía no tiene definiciones de calidad. Es el primer paso de un proyecto nuevo (caso 1 del inicio); después hay que ir a Configuración › Descubrir para que el mapeo las incorpore.
_DEFINITIONS
del Excel cargado; si no hay Excel en la sesión, usa el catálogo estándar embebido.
Los DQDs que ya existen son omitidos automáticamente — es seguro re-ejecutar.
Las credenciales CP4D se gestionan en el servidor de forma segura.
Publicar DQDs
⚠ El Excel se reemplazó después de esta previsualización. Lo que envíes sale del archivo nuevo, no del que simulaste. Previsualiza otra vez si quieres verlo antes de escribir en CP4D.
Catálogo: hoja _DEFINITIONS del Excel o estándar embebido · se omiten los existentes · dry run simula sin publicar
Crear Definiciones + Reglas DQ
Flujo end-to-end: publica DQDs en CP4D y genera las reglas desde el Excel
¿Cuándo uso esto? Cuando quieres hacer el caso 1 completo en una sola pantalla: publicar las definiciones y crear las reglas seguido. Si el proyecto ya tiene sus definiciones, usa Crear › Solo Reglas.
Conexión a CP4D
Credenciales gestionadas en el servidor — el token CP4D se genera y renueva automáticamente.
Subir Metadata Excel
Arrastra el Excel o haz click
Crear Definiciones DQ
⚠ El Excel se reemplazó después de esta previsualización. Lo que envíes sale del archivo nuevo, no del que simulaste. Previsualiza otra vez si quieres verlo antes de escribir en CP4D.
Publica las definiciones de la hoja _DEFINITIONS del Excel que acabas de subir; si esa hoja no está, usa el catálogo estándar embebido. Las que ya existen se omiten, así que es seguro re-ejecutar.
Generar Reglas
Sin destino de escritura. El bloque se agrega después regenerando con esto apagado y ejecutando en modo update/upsert.
Vale para esta corrida: no se guarda en el Excel, así que tras exportar y volver a subir el archivo hay que marcarla de nuevo.
Ejecutar en CP4D
Operación
Entidades
⚠ El Excel se reemplazó después de esta previsualización. Lo que envíes sale del archivo nuevo, no del que simulaste. Previsualiza otra vez si quieres verlo antes de escribir en CP4D.
Resultados
| # | Regla | Entidad | Acción | Mensaje |
|---|
Plantilla Excel
Descarga, rellena y sube la plantilla para generar reglas masivas en CP4D.
¿Cuándo uso esto? Cuando necesitas el Excel de metadata en blanco —la primera vez, o al sumar una tabla nueva— y cuando quieres ver qué columna significa qué. Es el único archivo que la app pide.
DataXplora_Metadata_Template.xlsx
Plantilla con hojas de ejemplo, encabezados listos y hoja _README con instrucciones.
Cómo usar la plantilla
-
1
Descarga la plantilla
Contiene dos hojas de ejemplo (CLIENTE y CUENTA) y una hoja
_READMEcon instrucciones detalladas. Los nombres de las hojas y los ejemplos siguen el perfil de naming que definiste en Configuración → 1 Convención de nombres: con un placeholder de entidad salen comoPAIS_CLIENTE; sin convención, comoCLIENTE. -
2
Agrega tus tablas y campos
Cada hoja = una tabla. Renombra las hojas de ejemplo o agrega nuevas. Rellena
campo,atributoy marca con X las entidades y reglas que apliquen. -
3
Declara tus entidades y descubre en CP4D
En Configuración, declara cada entidad con su proyecto (tarjeta 2) y ejecuta Descubrir y guardar (tarjeta 3): resuelve los identificadores de proyectos, activos, tablas de referencia y conexiones de salida — ninguno se escribe a mano.
-
4
Sube el Excel en "Crear Reglas DQ"
Ve al módulo Crear Reglas DQ → Paso 1, sube el Excel, luego genera y envía.
Referencia de columnas por hoja
Cada hoja de datos debe contener estas columnas en el encabezado (fila 1).
| Columna | Tipo | Descripción |
|---|---|---|
| campo | Obligatorio | Nombre del campo en la tabla (ej: CEDULA, ID_CLIENTE). Siempre en mayúsculas. |
| atributo | Recomendado | Descripción legible del campo. Se usa en la descripción de la regla generada. |
| output_table | Opcional | Tabla de salida en CP4D. Si está vacío se acuña con la plantilla de Tabla de salida del perfil de naming (por defecto DQO_{ENTIDAD}_{TABLA_CORTA}). Si lo llenas, ese valor manda sobre el perfil. |
| ENT1 / ENT2 / ... | Por entidad | Escribe X en las entidades donde debe generarse la regla para este campo. Deja vacío para omitir. |
| w_unicidad | Regla | Unicidad del valor en el campo. |
| w_completitud | Regla | Completitud (no nulos / no vacíos). |
| w_referencia | Regla | Validez por integridad referencial (in_reference_column). Requiere ref_tbr y ref_column en la misma fila; la variable del DQD la resuelve el discovery. |
| w_rango | Regla | Rango de valores permitidos (ej: edades entre 0 y 120). |
| w_formato | Regla | Formato o patrón del valor (ej: formato de cédula, email). |
| ref_tbr | Referencia | Tabla de referencia (TBR) para reglas w_referencia. Con la sección Tabla de referencia en Patrón, el placeholder de entidad se sustituye (ej: TBR.PAIS.BCO.PROVINCIAS.csv → TBR.CRI.BCO.PROVINCIAS.csv); en Literal se busca con el nombre exacto que escribas. Si w_referencia lleva varias DQD (el par natural/jurídica, por ejemplo), acepta una lista separada por comas alineada por posición — una TBR por DQD; con una sola TBR se aplica a todas. Una cantidad que no sea 1 ni el número de DQD rechaza la fila entera. |
| ref_column | Referencia | Columna de la TBR con los valores válidos (ej: CODIGO o DESCRIPCION, según si el dato trae el código o el literal). La variable del DQD se auto-descubre. Acepta la misma sintaxis de lista que ref_tbr, validada por separado: puede llevar N valores mientras ref_tbr lleva 1, o al revés. |
| dqd_vars | Condicional | Solo si el DQD declara variables además de atributo. Un DQD condicional como IF TipoPersona = 2 AND … THEN … IN_REFERENCE_COLUMN Ref_Genero necesita saber qué columna es TipoPersona: se declara aquí como TipoPersona=TIPO_CLIENTE. Varias se separan con ; (nunca con coma: esa separa DQDs en las celdas w_*). Vale para toda la fila, así el par natural/jurídica —dos DQD en la misma celda w_referencia— comparte la columna. Si el nombre no es uno de los que declara el DQD, la fila se rechaza diciendo cuál es. |
Configuración CP4D
Convención de nombres, entidades y descubrimiento — compartido por todas las sesiones
¿Cuándo uso esto? Una vez al principio, y después solo cuando cambia algo del lado de CP4D: una entidad nueva, definiciones recién publicadas, o un activo que se renombró. Aquí se pregunta únicamente lo que la app no puede deducir del Excel ni de la convención de nombres.
Estado del sistema
Estado actual
Cargando...
Convención de nombres
Cargando…
Un proyecto puede sobrescribir solo las secciones que necesite; el resto hereda del perfil global.
Ajustes generales
El placeholder de entidad es el texto que se reemplaza por el código de la entidad dentro de los nombres que escribes (hojas, TBR). Déjalo vacío si el proyecto no tiene convención: nada se sustituye ni se recorta.
Naming por tipo de objeto
La vista previa se calcula en el backend con una entidad y una tabla reales de tu configuración.
Entidades
La unidad por la que se separan las reglas: país, empresa o área, según el cliente. Cada una tiene su proyecto en CP4D y su columna en el Excel.
El código se declara una sola vez y
tiene que ser idéntico al encabezado de su columna en el Excel. Se usa para nombrar las
corridas y los archivos generados, así que admite letras, números,
_ y
- (hasta 64 caracteres).
Proyecto de CP4D por entidad
Se elige de la lista que devuelve CP4D; cuando dos proyectos se llaman igual se muestra un identificador corto para distinguirlos.
Declara una entidad arriba y su fila aparece aquí.
Descubrir en CP4D
Resuelve los identificadores internos de los activos, las tablas de referencia, las definiciones DQ y la conexión de salida de cada entidad. No se escribe ninguno a mano.
Excel de metadata
Sus hojas son las tablas a resolver, y su
columna pk_column es la PK de cada una.
Clic o arrastra el .xlsx
Mantener reglas
Cambia la conexión de salida y/o la tabla/asset de entrada de reglas ya creadas — siempre por nombre (los IDs se resuelven en el backend, ADR 0011) — y propaga el cambio a CP4D en un solo flujo.
¿Cuándo uso esto? Cuando las reglas ya existen en CP4D y cambió su entorno: la conexión de salida (caso 2), la tabla de entrada (caso 3) o las dos (caso 4). Para crear reglas nuevas, el módulo es Crear.
1. ¿Qué quieres cambiar?
Re-resuelve por nombre los activos de los proyectos marcados (Op A). Úsalo cuando se recreó/renombró una tabla de entrada. Requiere subir el Excel (paso 2) para regenerar las reglas.
2. Excel de metadata (opcional)
Con Excel: regenera las reglas completas desde la metadata — necesario para cambios de tabla/asset. Sin Excel: solo se repunta la conexión de salida en las reglas que ya existen (in-place, sin tocar el resto).
ningún archivo — modo "solo conexión"3. Entidades a propagar
Operación
Solo actualizar existentes. Mantener no crea reglas nuevas — propaga cambios (conexión / tabla) a las reglas que ya existen en CP4D. Para crear reglas, usa el módulo Crear.
Flujo en dos pasos: Previsualizar lee CP4D y muestra qué se actualizaría (sin tocar las reglas); al terminar se habilita Enviar a CP4D. (Los ajustes del mapping —conexión/re-descubrir— se aplican en ambos pasos; lo que el dry-run simula es la escritura de reglas en CP4D.)
⚠ El Excel se reemplazó después de esta previsualización. Lo que envíes sale del archivo nuevo, no del que simulaste. Previsualiza otra vez si quieres verlo antes de escribir en CP4D.
Progreso por entidad
Resultados
| # | Regla | Entidad | Acción | Campos / Mensaje |
|---|
Reconfigurar muestreo → todas las filas
Cierre de tanda: quita el muestreo de desarrollo de las reglas ya creadas para que corran contra todas las filas. Regenera desde el Excel (sin sampling) y actualiza solo el alcance elegido. Requiere el Excel de la tanda cargado (paso 2).
Exportar estado actual (round-trip)
Descarga un Excel que refleja el estado real de tus reglas en CP4D, con una columna estado por fila (creada / sin cambios / modificada) y una hoja _REGLAS con la expresión que valida cada regla. Edítalo (agrega filas/entidades, o escribe omitir para saltar una fila) y vuelve a subirlo: upsert reconcilia sin duplicar. Requiere haber generado payloads (paso 2) y cargado las reglas existentes (Previsualizar arriba, que ejecuta el Fetch).
Historial de ejecuciones
Registro persistente de todas las operaciones enviadas a CP4D
¿Cuándo uso esto? Cuando necesitas saber qué se envió a CP4D, cuándo, por quién y con qué resultado — para revisar una corrida que falló o para dar cuenta de un cambio.
0
Ejecuciones totales
0
Reglas exitosas
0
Errores totales
—
Última ejecución
Todavía no publicaste nada
El historial se llena solo, con cada envío a CP4D. El paso que falta es el último de Crear › Solo Reglas: subir el Excel, generar los payloads y Enviar a CP4D.
| Fecha / Hora | Request ID | Operación | Archivo Excel | Entidades | Total | OK | Err | Sin cambio | Duración | Estado | Autor |
|---|
Detalle por entidad
Buscar reglas
| Entidad | Tabla | Campo | Regla | Nombre | Estado | Fecha |
|---|
Reportería Rule Ops
Estado de CP4D, valor del discovery y evolución del proyecto — todo por nombre.
¿Cuándo uso esto? Cuando necesitas la foto del proyecto —cuántas reglas hay, qué cubren, cómo evolucionó— en vez del detalle de una corrida puntual, que vive en Historial.
Estado actual (datos reales)
reglas gestionadas en la instancia activaReglas por entidad
Total de reglas gestionadas hoy en CP4D, por entidad.
Composición por dimensión
Reglas por dimensión de calidad.
Consistencia Excel ↔ CP4D
| Entidad | Regla | Hallazgo |
|---|
Definiciones de calidad (DQDs)
| Definición | Alcance | Entidades | Reglas |
|---|
Sin reglas en CP4D para desglosar.
Cobertura por activo
las tablas de referencia (TBR) no cuentan como activo vigilado| Entidad | Activo | Reglas | Columnas | Hallazgo |
|---|
No hay activos en el mapeo. El paso que falta es Configuración › 3 Descubrir y guardar.
Reglas inválidas
existen en CP4D, pero CP4D las marca rotasCrecimiento del catálogo
reglas incorporadas en el tiempo — cada regla cuenta una sola vez, el día que la app la vio por primera vez (datos reales)Actividad por día
creadas / actualizadas / sin cambio — qué hizo la app cada día, incluye reglas ya existentes reprocesadas (últimos 30 días, datos reales)Panel de administración
Quién entra, qué pasó y qué datos se conservan.
¿Cuándo uso esto? Para autorizar o dar de baja a un operador, revisar quién hizo qué, o borrar a mano datos antiguos de la base y de las sesiones de trabajo.
| Usuario | Correo | Roles | Instancias | Estado | Último ingreso | Acciones |
|---|
Autorizar operador
La persona debe existir ya en el tenant de Microsoft Entra ID — esto solo le da un rol en esta app. Lo más seguro es pegar su Object ID (Entra → Users → la persona → Object ID): queda vinculada de inmediato. Si lo dejas vacío se autoriza por correo y el vínculo se crea en su primer inicio de sesión.
Autorizar un correo que ya está en la tabla reemplaza esa fila: rol e instancias quedan como los dejes aquí. Dar de baja a alguien le revoca el acceso a todas sus instancias, así que volver a autorizarlo exige otorgárselo de nuevo.
Instancias de CP4D a las que entra (opcional — se le puede otorgar después)
Auditoría (datos reales)
quién hizo qué y cuándo · más recientes primero · instancia activa; inicios de sesión, usuarios y purgas: todasSin eventos de auditoría registrados aún.
Purga manual
borrado definitivo de datos antiguosEl borrado es irreversible y alcanza a todas las instancias de CP4D y a todos los operadores: la fecha de corte no distingue de quién es cada fila. Marca solo lo que quieres purgar. Los eventos que registran una purga nunca se borran, ni por esta vía ni por la automática.
Mínimo 90 días: la auditoría conserva al menos tres meses de registro de quién hizo qué.