A veces, la replicación sigue en curso. El estado del proceso es verde. El destino sigue disponible. Pero la cola de tareas pendientes está creciendo.
El objetivo se está quedando obsoleto. Y con cada minuto que el proceso se retrasa, las opciones de recuperación se vuelven más limitadas. La pregunta no es simplemente: "¿Está funcionando la replicación?", sino: "¿Está la replicación al día?".
Y si no lo es: "¿Cuánto tiempo tenemos antes de que esto se convierta en un problema de recuperación?"
El sistema de monitoreo más eficaz de los CDC no solo informa a los operadores si un proceso está funcionando correctamente o no, sino que también les ayuda a reconocer cuándo un oleoducto aparentemente saludable se está deteriorando gradualmente y será más difícil recuperarse posteriormente.
Un buen sistema de monitoreo ayuda a los equipos a responder:
El objetivo no es predecir todos los fallos, sino reconocer los problemas incipientes con la suficiente antelación para que el equipo aún tenga opciones.
Dependiendo de la plataforma de origen y replicación, la monitorización eficaz de CDC puede incluir métricas y conceptos como el retraso de replicación, el crecimiento de la cola de cambios, el retraso de aplicación en origen y destino, el estado de reinicio, la posición del registro, el historial de cambios retenidos, los registros archivados, la progresión de RBA/LRSN, el comportamiento de recuperación y la exposición de datos posteriores. La terminología exacta varía, pero el objetivo siempre es el mismo: comprender si la replicación se mantiene al día y si la recuperación sigue siendo sencilla en caso de que las condiciones se deterioren.
Un proceso puede estar en funcionamiento mientras aumenta la latencia, crece la acumulación de tareas pendientes y los datos posteriores se vuelven obsoletos.
Las métricas y los umbrales de alerta exactos dependen del origen, el destino, la plataforma de replicación, la carga de trabajo, los requisitos de recuperación y el caso de uso posterior. No existe un número universal de minutos, registros o espacio de registro que defina una emergencia de los CDC.
Un oleoducto puede indicar "En funcionamiento" y aun así estar encaminándose hacia un problema de recuperación.
1. ¿El flujo de proyectos se encuentra en buen estado actualmente?
Esta es la pregunta operativa inmediata. ¿Es la replicación:
El estado del proceso es parte de la respuesta. No es la respuesta completa.
2. ¿Estamos perdiendo opciones de recuperación a medida que aumenta el retraso?
Esta es la pregunta más difícil. Un oleoducto puede seguir activo mientras:
La pregunta más importante es: "¿Si la situación empeora a partir de ahora, seguiremos entendiendo cómo podríamos recuperarnos?"
El retraso en la replicación indica cuánto se ha quedado el destino con respecto a la actividad actual de la fuente. Sin embargo, una cifra simple no siempre es suficiente. Un retraso de 100 000 cambios puede ser insignificante en un entorno y significativo en otro. Lo que los operadores suelen necesitar comprender es: "¿Qué significa este retraso en términos de tiempo e impacto en el negocio?" .
Las distintas plataformas muestran el retraso y el progreso de forma diferente. Dependiendo de la fuente, el destino y la tecnología de replicación, la monitorización útil puede incluir:
Los nombres exactos de las métricas importan menos que si los operadores pueden responder:
Preguntar
Un objetivo con un retraso de cinco minutos puede ser aceptable para una carga de trabajo e inaceptable para otra. La métrica técnica debe interpretarse en el contexto de los datos utilizados.
El equipo operativo puede decir: “Estamos aproximadamente a esta distancia de retraso, y esto es lo que eso significa para los sistemas que utilizan los datos”.
No se trata simplemente de: “La tarea sigue en curso”.
La dirección del retraso puede ser tan importante como su magnitud. Un proceso que está significativamente atrasado pero que se está recuperando rápidamente presenta una situación diferente a la de un proceso con un retraso menor que está perdiendo terreno de forma constante. Los profesionales suelen describirlo de forma muy sencilla: "¿Se está incendiando?".
Preguntar
Cuando la plataforma expone las métricas adecuadas, comparar los cambios que ingresan al flujo de replicación con los que se procesan en el destino puede ayudar a determinar si el entorno está mejorando o empeorando. Las mediciones específicas varían según la plataforma. El principio es sencillo: si durante un período prolongado llega trabajo nuevo a un ritmo mayor del que la canalización puede procesarlo, la acumulación de trabajo pendiente seguirá creciendo aunque el proceso no se haya detenido.
Los operadores pueden distinguir rápidamente: quedarse atrás → mantenerse estable → ponerse al día
El panel de control muestra el retraso actual, pero no si la situación está mejorando.
En algunos entornos CDC basados en registros, la recuperación o la puesta al día pueden depender de que el historial de cambios de origen relevante siga estando disponible. Esto plantea otra pregunta importante: «Si necesitáramos reanudar o ponernos al día desde donde estamos ahora, ¿seguiría disponible la información que necesitamos?».
Dependiendo de la fuente y la plataforma, esa información puede incluir:
En entornos Db2 para z/OS, los equipos pueden encontrar coordenadas de recuperación como las siguientes:
Otras plataformas utilizan una terminología diferente, pero la pregunta fundamental sigue siendo la misma: "¿Podemos recuperarnos de la situación actual?".
No siempre es tan sencillo como decir: "Te quedan cuatro horas".
La recuperación puede depender de múltiples condiciones, entre ellas:
El principio de monitorización es el siguiente: comprender la relación entre el estado actual del proceso y la información de origen de la que depende la ruta de recuperación compatible.
Preguntar
El equipo sabe de qué depende la recuperación. antes Una interrupción plantea la pregunta.
NOTA: Un error común en la preparación para la recuperación de los CDC: muchos equipos supervisan el retraso de la replicación, pero no el historial de origen del que depende su proceso de recuperación. La recuperación suele complicarse no porque la replicación se haya detenido, sino porque la información necesaria para la recuperación ya no está disponible.
Nadie pregunta si el historial de origen necesario está disponible hasta que el proceso se ha detenido.
La actividad del sistema central no es constante. El volumen de registros y cambios puede variar en:
Esto significa que la cantidad de actividad de origen representada por un período de tiempo determinado puede variar. Si los registros archivados u otro historial conservado forman parte del enfoque de recuperación, su disponibilidad y el proceso de recuperación también pueden ser importantes. Evite basarse únicamente en una suposición estática como: «Normalmente disponemos de X horas».
Una pregunta más útil sería: "¿En las condiciones actuales, de qué información dependería nuestra ruta de recuperación con apoyo?"
Un proceso puede seguir activo sin que los datos avancen de forma significativa.
Eso convierte la evidencia de una actividad de procesamiento exitosa en una importante prueba de coherencia.
Dependiendo de la plataforma, los equipos pueden considerar lo siguiente:
Preguntar
¿Ha habido algún avance real?
Y luego:
¿Está avanzando al ritmo que cabría esperar para esta fuente y carga de trabajo?
La respuesta debe tener en cuenta el patrón de actividad normal del sistema.
Un entorno transaccional de alto volumen suele cambiar de forma continua.
Otra fuente puede tener períodos legítimos de poca o ninguna actividad.
Esto ayuda a identificar el estado incómodo en el que:
“Dice que está funcionando, pero no se mueve nada.”
El entorno de monitorización ayuda a distinguir:
La fuente es naturalmente silenciosa.
de
La replicación ha dejado de progresar.
La única comprobación de estado es si existe el proceso de replicación.
Muchos problemas de los CDC comienzan como problemas técnicos y luego se convierten en problemas comerciales:
Es posible que la fuente siga funcionando correctamente. Es posible que el destino siga disponible. Es posible que la replicación siga en marcha. Sin embargo, es posible que los informes, los paneles de control, las API, los sistemas operativos y los entornos de análisis ya estén trabajando con datos cada vez más obsoletos.
Eso crea uno de los modos de fallo más peligrosos de los CDC: las pantallas están instaladas, pero los datos se están quedando obsoletos.
Preguntar
Varias cosas muy diferentes pueden ser ciertas al mismo tiempo:
Eso puede dificultar la detección de la exposición a datos obsoletos en comparación con una interrupción limpia del servicio.
El equipo puede responder:
“Esto demuestra lo desactualizados que están los datos, estos son los consumidores afectados y estas personas conocen la situación actual.”
No todas las advertencias son una crisis.
Y las alertas que se generan con cada mensaje pueden crear tanto ruido que los operadores dejen de confiar en el sistema de monitorización.
El objetivo es identificar los acontecimientos relevantes en tu entorno e interpretarlos en su contexto.
Las señales útiles pueden incluir:
Un cambio en el comportamiento de replicación que coincide con:
Puede que deba interpretarse de forma diferente a un evento de replicación aislado.
Esto no significa que el evento de origen haya sido necesariamente la causa del problema de los CDC.
Esto significa que los operadores deberían poder ver suficiente contexto para investigar la relación.
El equipo sabe:
Cualquiera de los dos extremos:
Cada advertencia despierta a alguien.
or
Las advertencias se ignoran hasta que se detiene el proceso.
¿Cuánto retraso por parte de los CDC es demasiado?
No existe un umbral universal que funcione en todos los entornos CDC de mainframe.
Un umbral de alerta útil debería reflejar factores como:
En lugar de copiar una regla genérica como por ejemplo:
“Alerta tras 30 minutos de retraso.”
preguntar:
“¿En qué momento esta situación comienza a amenazar la vigencia de los datos, los requisitos operativos o de recuperación que tenemos?”
Ese es el umbral que merece la pena tener en cuenta al diseñar.
Una alerta útil debería ayudar a alguien a decidir qué hacer a continuación.
Un modelo sencillo es:
Algo se ha movido fuera del rango esperado del entorno.
Algunos ejemplos pueden ser:
La tarea inmediata es comprender el porqué.
Esta situación afecta de manera significativa a un requisito operativo o aumenta la complejidad de la recuperación.
Las acciones pueden incluir:
El problema ha excedido la autoridad operativa normal del equipo técnico o ha comenzado a afectar decisiones más amplias de negocio, riesgo o servicio.
Eso puede requerir la participación de:
Los umbrales serán diferentes.
El proceso de decisión ya debería existir antes de que se active la alerta.
Un panel de control no es valioso por mostrar métricas, sino porque ayuda a los operadores a tomar decisiones. Prueba esto: ¿Puede un operador normal responder las siguientes cinco preguntas en menos de dos minutos sin consultar a un especialista de la plataforma?
Esto concuerda con las directrices operativas más amplias de Google Site Reliability Engineering, que considera la monitorización como una forma de evaluar el estado del servicio, diagnosticar problemas, identificar tendencias y comparar el comportamiento a lo largo del tiempo, y no simplemente recopilar o mostrar métricas.*
1. ¿Cuánto retraso llevamos?
¿Puede el operador identificar el retraso o la acumulación de tareas pendientes actual?
2. ¿Está mejorando o empeorando?
¿Pueden determinar si la acumulación de trabajo está creciendo, se mantiene estable o está disminuyendo drásticamente?
3. ¿El procesamiento realmente se está moviendo?
¿Pueden identificar la actividad reciente exitosa en lugar de basarse en un estado genérico de "En ejecución"?
4. Si esto se convierte en un evento de recuperación, ¿entendemos de qué depende la recuperación?
¿Pueden determinar qué historial de fuentes, estado u otra información sería relevante?
5. ¿Quiénes ya se ven afectados?
¿Pueden identificar qué sistemas o equipos posteriores podrían estar utilizando datos obsoletos?
Si el operador no puede responder a esas cinco preguntas en aproximadamente dos minutos, pregunte:
La persona que responda al incidente debe ser capaz de comprender la situación con la suficiente rapidez para poder actuar.
Un sistema de monitorización que solo un especialista en la plataforma puede interpretar no es suficiente para una cadena de producción crítica desde el punto de vista operativo.
¿Cómo saber si los CDC realmente se están poniendo al día? El monitoreo no se detiene una vez que se reinicia el proceso. Durante la fase de recuperación, pregunte:
La distinción importante es:
Corriendo de nuevo
versus
alcanzado
versus
recuperado y validado.
No son necesariamente el mismo estado.
Los patrones de carga de trabajo de los sistemas centrales pueden cambiar lo que se considera "normal".
Los entornos de mainframe suelen tener períodos operativos diferenciados:
Un desfase que es normal en un período puede indicar un problema en otro.
Evite definir "saludable" a partir de un único número promedio.
Supervise el proceso en función de la carga de trabajo que soporta.
Cuando el sistema de monitorización detecta un problema: ¿Qué debería ocurrir primero?
La monitorización proporciona a los equipos algo que, tarde o temprano, se agota en cualquier esfuerzo de recuperación: tiempo.
Cuanto antes se identifique un problema incipiente, mayor será el número de opciones de recuperación disponibles.
Confirma lo que realmente está sucediendo.
¿La afección es transitoria o permanente?
¿En qué punto de la ruta de replicación se ralentiza o se detiene el progreso?
Establecer el cronograma
¿Desde cuándo ocurre esto?
¿Cuándo se confirmó la última actividad exitosa?
Comprender el atraso
¿Cuánto te has quedado atrás?
¿Está creciendo o se está quemando?
Identificar la exposición aguas abajo
¿Quiénes ya confían en el objetivo?
¿Necesitan saber que los datos pueden estar desactualizados?
Conservar el estado actual
Capture el estado relevante, los errores, las marcas de tiempo, los diagnósticos y demás evidencia antes de realizar cambios importantes.
Decida si esto sigue siendo un asunto de seguimiento o se ha convertido en una decisión de recuperación.
Si el oleoducto se detiene o la situación se deteriora lo suficiente como para que se estén considerando medidas de recuperación, se debe pasar a un proceso de recuperación estructurado en lugar de improvisar.
El retraso por sí solo no significa que se hayan perdido datos.
Y un aumento en la acumulación de tareas pendientes no significa automáticamente que sea necesario recargar la batería por completo.
Pero el retraso puede convertirse en un problema de recuperación cuando el equipo no puede responder con seguridad a preguntas como:
En ese punto, la pregunta útil cambia de:
“¿Se está ejecutando la replicación?”
a:
“¿Aún comprendemos cómo podríamos recuperarnos de la situación actual?”
Rocket Data Replicate & Sync (RDRS) proporciona capacidades de monitorización operativa y diagnóstico que pueden ayudar a los equipos a comprender el estado de los entornos de replicación compatibles.
La validación técnica de RDRS identifica capacidades que incluyen:
Las métricas exactas que ve el operador, las coordenadas de reinicio, las alertas y el comportamiento de monitorización pueden variar según el origen, el destino, la versión, la topología y la configuración.
Por lo tanto, los equipos que evalúen RDRS deberían solicitar a Rocket que demuestre la experiencia de monitorización en su entorno específico.
Algunas preguntas útiles son:
Las afirmaciones sobre el impacto en la producción también deben evaluarse utilizando evidencia específica de la fuente, tanto en condiciones normales de carga de trabajo como en periodos de recuperación.
El estándar útil no es:
“¿El sistema RDRS cuenta con sistemas de monitoreo?”
Es:
“¿Nuestro operador habitual puede darse cuenta de lo que está sucediendo con la suficiente rapidez como para tomar la decisión correcta?”
Antes de confiar en una canalización CDC de mainframe para datos importantes posteriores, pregúntese:
Si varias respuestas son no, es posible que tenga datos de monitoreo.
Es posible que aún no disponga de suficiente visibilidad operativa.
La mayoría de los problemas de recuperación de los CDC no comienzan con una interrupción total. Comienzan con un proceso que se está quedando atrás, un retraso acumulado sin explicación y un objetivo que se está volviendo cada vez más obsoleto, mientras que el proceso aún parece funcionar correctamente.
Un buen sistema de monitoreo ayuda a los equipos a responder:
El objetivo no es recopilar más métricas.
Se trata de detectar un problema incipiente con la suficiente antelación para que los operadores puedan responder, mientras que la recuperación sigue siendo sencilla.
Si el oleoducto se detiene, o si el retraso ha progresado hasta el punto de que se estén considerando medidas de recuperación, se debe pasar de la monitorización a una decisión de recuperación estructurada.
Antes de reiniciar una canalización CDC fallida: 7 preguntas que debe responder.
Analice dónde se detuvo la replicación, dónde puede reanudarse, qué sucedió durante el lapso, si puede ser necesario ponerse al día o una resincronización más amplia, y cómo demostrará posteriormente que el objetivo es confiable.
Antes de reiniciar, ¿sabe qué consecuencias tuvo el fallo?
El error más peligroso de los CDC en la recuperación ocurre después del fracaso.
El proceso se ha reanudado. ¿Puede confiar en los datos?
¿Cuándo deja de ser un problema de recuperación de los CDC un problema de plataforma?
¿Cómo saber si las reclamaciones de recuperación de un proveedor de los CDC se sostendrán?
Cómo elaborar un plan de negocios para la inversión en recuperación de los CDC
