Parfois, la réplication est toujours en cours. Le statut du processus est vert. La cible est toujours disponible. Mais la liste d'attente s'allonge.
La cible devient de plus en plus obsolète. Et chaque minute qui passe en retard sur le pipeline réduit les options de récupération. La question n'est pas simplement: « La réplication est-elle en cours ? » mais: « La réplication suit-elle le rythme ? »
Et si ce n'est pas le cas: « De combien de temps disposons-nous avant que cela ne devienne un problème de rétablissement ? »
La surveillance CDC la plus efficace ne se contente pas d'indiquer aux opérateurs si un processus est en marche ou à l'arrêt. Elle les aide à déceler les signes avant-coureurs d'une situation qui, bien qu'apparemment saine, se dégrade insidieusement et dont la reprise sera plus difficile.
Un bon suivi aide les équipes à répondre à:
L'objectif n'est pas de prédire tous les échecs, mais de repérer les problèmes naissants suffisamment tôt pour que l'équipe ait encore des solutions.
Selon les plateformes source et de réplication, une surveillance efficace des données modifiées (CDC) peut impliquer des indicateurs et des concepts tels que le délai de réplication, la croissance du backlog, le délai d'application des données source et cible, l'état de redémarrage, la position du journal, l'historique des modifications conservées, les journaux archivés, la progression RBA/LRSN, le comportement de rattrapage et l'exposition des données en aval. La terminologie exacte varie, mais l'objectif reste le même: comprendre si la réplication suit le rythme et si la récupération demeure simple en cas de dégradation de la situation.
Un pipeline peut fonctionner pendant que le délai augmente, que le retard s'accumule et que les données en aval deviennent obsolètes.
Les indicateurs et seuils d'alerte précis dépendent de la source, de la cible, de la plateforme de réplication, de la charge de travail, des exigences de récupération et du cas d'utilisation en aval. Il n'existe pas de nombre universel de minutes, d'enregistrements ou d'espace de journalisation définissant une situation d'urgence CDC.
Un pipeline peut afficher « En fonctionnement » tout en se dirigeant vers un problème de récupération.
1. Le pipeline est-il en bonne santé actuellement ?
Voici la question opérationnelle immédiate: la réplication ?
L'état d'avancement du processus fait partie de la réponse. Ce n'est pas la réponse complète.
2. Perdons-nous des options de récupération à mesure que le délai augmente ?
Voici la question plus complexe. Un pipeline peut rester actif pendant que:
La question la plus importante est: « Si la situation s'aggrave, savons-nous encore comment nous en remettre ? »
Le délai de réplication indique l'écart entre l'activité cible et l'activité source actuelle. Cependant, un chiffre brut ne suffit pas toujours. Un retard de 100 000 modifications peut être négligeable dans un environnement et significatif dans un autre. Ce que les opérateurs doivent généralement comprendre, c'est: « Quel est l'impact de ce délai sur le temps et l'activité ? »
Les différentes plateformes affichent différemment les délais et la progression. Selon la source, la cible et la technologie de réplication, une surveillance utile peut inclure:
L'appellation exacte des indicateurs importe moins que la capacité des opérateurs à répondre:
Demander
Un objectif retardé de cinq minutes peut être acceptable pour une charge de travail et inacceptable pour une autre. L'indicateur technique doit être interprété en fonction des données utilisées.
L'équipe opérationnelle peut dire: « Nous avons environ tant de retard, et voici ce que cela signifie pour les systèmes qui utilisent ces données. »
Pas simplement: « La tâche est toujours en cours d'exécution. »
Le sens du retard est aussi important que son ampleur. Un pipeline fortement en retard mais qui rattrape rapidement son retard présente une situation différente d'un pipeline avec un retard plus faible mais qui perd progressivement du terrain. Les professionnels décrivent souvent cela très simplement: « Est-ce qu'il est en train de s'effondrer ? »
Demander
Lorsque la plateforme propose des indicateurs pertinents, la comparaison des modifications entrant dans le flux de réplication avec celles en cours de traitement sur la cible permet d'évaluer l'évolution de l'environnement. Les mesures spécifiques varient selon la plateforme. Le principe est simple: si, pendant une période prolongée, le volume de nouvelles tâches arrive plus rapidement que la capacité de traitement du pipeline, le backlog continuera de croître, même si le processus n'est pas interrompu.
Les opérateurs peuvent rapidement faire la distinction: prendre du retard → maintenir le cap → rattraper son retard
Le tableau de bord indique le délai actuel, mais pas si la situation s'améliore.
Dans certains environnements CDC basés sur les journaux, la reprise ou la mise à jour des données peut dépendre de la disponibilité de l'historique des modifications pertinentes. Cela soulève une autre question importante: « Si nous devions reprendre ou rattraper notre retard, les informations nécessaires seraient-elles toujours disponibles ? »
Selon la source et la plateforme, ces informations peuvent inclure:
Dans les environnements Db2 pour z/OS, les équipes peuvent rencontrer des coordonnées de récupération telles que:
D'autres plateformes utilisent une terminologie différente, mais la question opérationnelle reste la même: « Pouvons-nous encore nous remettre de la situation actuelle ? »
Il n'y a pas toujours une réponse aussi simple que: « Il vous reste quatre heures. »
La guérison peut dépendre de plusieurs facteurs, notamment:
Le principe de surveillance est le suivant: comprendre la relation entre l’état actuel du pipeline et les informations sources dont dépend le chemin de récupération pris en charge.
Demander
L'équipe sait de quoi dépend la récupération. avant Une interruption force la question.
REMARQUE: Erreur fréquente lors de la préparation à la reprise après sinistre: de nombreuses équipes surveillent le délai de réplication, mais pas l’historique source dont dépend leur processus de reprise. La reprise se complique souvent non pas parce que la réplication s’est arrêtée, mais parce que les informations nécessaires à la reprise ne sont plus disponibles.
Personne ne se demande si l'historique source requis est disponible avant que le processus ne soit arrêté.
L'activité du mainframe n'est pas constante. Le volume de journalisation et de modifications peut varier selon les cas:
Cela signifie que le volume d'activité source représenté par une période donnée peut varier. Si des journaux d'archivage ou d'autres historiques conservés font partie de la stratégie de récupération, leur disponibilité et leur processus de récupération peuvent également avoir leur importance. Évitez de vous fier uniquement à une hypothèse statique telle que: « Nous avons normalement X heures. »
Une question plus pertinente serait: « Dans les conditions actuelles, de quelles informations dépendrait notre plan de reprise d'activité ? »
Un processus peut être actif sans pour autant faire progresser significativement les données.
Cela fait de la preuve d' une activité de traitement réussie un contrôle de cohérence important.
Selon la plateforme, les équipes peuvent examiner:
Demander
Y a-t-il eu des progrès concrets ?
Et puis:
Le développement progresse-t-il au rythme attendu compte tenu de cette source et de cette charge de travail ?
La réponse doit tenir compte du mode d'activité normal du système.
Un environnement transactionnel à volume élevé peut normalement évoluer en permanence.
Une autre source peut présenter des périodes légitimes de faible ou d'inactivité.
Cela permet d'identifier l'état inconfortable dans lequel:
« Il indique qu'il fonctionne, mais rien ne bouge. »
L'environnement de surveillance permet de distinguer:
la source est naturellement calme
depuis
La réplication a cessé de progresser.
Le seul contrôle d'intégrité consiste à vérifier si le processus de réplication existe.
De nombreux problèmes liés au CDC commencent par des problèmes techniques et deviennent ensuite des problèmes commerciaux:
La source peut encore être fonctionnelle. La cible peut encore être disponible. La réplication peut encore être en cours. Cependant, les rapports, tableaux de bord, API, systèmes opérationnels et environnements analytiques peuvent déjà fonctionner avec des données de plus en plus obsolètes.
Cela crée l'un des modes de défaillance les plus dangereux pour les CDC: les écrans sont installés, mais les données vieillissent.
Demander
Plusieurs choses très différentes peuvent être vraies en même temps:
Cela peut rendre la détection d'une exposition à des données obsolètes plus difficile que celle d'une panne nette.
L'équipe peut répondre:
« Voilà à quel point les données sont obsolètes, voici les consommateurs concernés, et ces personnes connaissent la situation actuelle. »
Tous les avertissements ne sont pas synonymes de crise.
Et le fait de recevoir une alerte pour chaque message peut générer suffisamment de bruit pour que les opérateurs cessent de faire confiance au système de surveillance.
L'objectif est d'identifier les événements importants dans votre environnement et de les interpréter dans leur contexte.
Les signaux utiles peuvent inclure
Un changement de comportement de réplication qui coïncide avec:
Il pourrait être nécessaire d'interpréter cela différemment d'un événement de réplication isolé.
Cela ne signifie pas nécessairement que l'événement source a causé le problème CDC.
Cela signifie que les opérateurs doivent pouvoir disposer de suffisamment de contexte pour analyser la relation.
L'équipe sait:
L'un ou l'autre extrême:
Chaque avertissement réveille quelqu'un
or
Les avertissements sont ignorés jusqu'à l'arrêt du pipeline.
Quel est le délai de réponse excessif du CDC ?
Il n'existe pas de seuil universel applicable à tous les environnements CDC mainframe.
Un seuil d'alerte utile doit tenir compte de facteurs tels que:
Au lieu de copier une règle générique telle que:
«Alerte après 30 minutes de délai.»
demander:
« À quel moment cette situation commence-t-elle à menacer les exigences réelles en matière de données, d'actualisation, d'exploitation ou de récupération ? »
Voilà le seuil autour duquel il vaut mieux concevoir le projet.
Une alerte utile devrait permettre à quelqu'un de décider de la suite des événements.
Un modèle simple est:
Un élément s'est déplacé hors des limites prévues par l'environnement.
Exemples:
La tâche immédiate consiste à comprendre pourquoi.
Cette situation affecte sensiblement une exigence opérationnelle ou accroît la complexité du processus de récupération.
Les actions peuvent inclure:
Le problème a dépassé le cadre des compétences opérationnelles normales de l'équipe technique ou a commencé à affecter des décisions plus générales en matière d'activité, de risques ou de services.
Cela peut nécessiter l'implication de:
Les seuils différeront.
Le processus de décision doit déjà exister avant le déclenchement de l'alerte.
Un tableau de bord de supervision n'est pas précieux parce qu'il affiche des indicateurs. Il est précieux parce qu'il aide les opérateurs à prendre des décisions. Faites ce test: un opérateur lambda peut-il répondre aux cinq questions suivantes en moins de deux minutes sans faire appel à un spécialiste de la plateforme ?
Cela correspond aux directives opérationnelles plus générales de Google Site Reliability Engineering, qui considèrent la surveillance comme un moyen d'évaluer l'état du service, de diagnostiquer les problèmes, d'identifier les tendances et de comparer le comportement au fil du temps, et non pas simplement de collecter ou d'afficher des indicateurs.*
1. Quel est notre retard ?
L'opérateur peut-il identifier le retard ou l'arriéré actuel ?
2. La situation s'améliore-t-elle ou s'aggrave-t-elle ?
Peuvent-ils déterminer si le carnet de commandes est en augmentation, stable ou en train de se remplir ?
3. Le traitement est-il réellement en cours ?
Peuvent-ils identifier les activités récentes réussies plutôt que de se fier à un statut générique « En cours » ?
4. Si cela devient un événement de rétablissement, comprenons-nous de quoi dépend le rétablissement ?
Peuvent-ils déterminer quelles sources historiques, étatiques ou autres informations seraient pertinentes ?
5. Qui est déjà touché ?
Peuvent-ils identifier les systèmes ou équipes en aval qui pourraient utiliser des données obsolètes ?
Si l'opérateur ne peut pas répondre à ces cinq questions en deux minutes environ, demandez:
La personne intervenant sur les lieux doit être en mesure de comprendre la situation suffisamment rapidement pour pouvoir agir.
Un système de surveillance que seul un spécialiste de la plateforme peut interpréter ne suffit pas pour un pipeline opérationnel critique.
Comment savoir si le CDC rattrape effectivement son retard ? La surveillance ne s’arrête pas une fois le processus redémarré. Pendant la phase de rattrapage, posez-vous les questions suivantes:
La distinction importante est la suivante:
courir à nouveau
contre
rattrapé
contre
récupéré et validé.
Il ne s'agit pas nécessairement du même état.
Les modèles de charge de travail des mainframes peuvent modifier ce qui ressemble à la « normalité ».
Les environnements mainframe ont souvent des périodes de fonctionnement distinctes:
Un décalage temporel normal à un moment donné peut signaler un problème à un autre.
Évitez de définir ce qui est « sain » à partir d'une seule moyenne.
Surveillez le pipeline en fonction de la charge de travail qu'il prend en charge.
Lorsque le système de surveillance détecte un problème: que doit-il se passer en premier ?
Le suivi offre aux équipes quelque chose qui finit toujours par manquer lors des efforts de récupération: du temps.
Plus tôt un problème naissant est identifié, plus les options de réparation restent nombreuses.
Confirmez ce qui se passe réellement.
Cet état est-il transitoire ou persistant ?
À quelle étape du processus de réplication la progression ralentit-elle ou s'arrête-t-elle ?
Établir le calendrier
Depuis combien de temps cela dure-t-il ?
Quand a eu lieu la dernière activité réussie confirmée ?
Comprendre le backlog
Quel est votre retard ?
Est-ce que ça grandit ou est-ce que ça brûle ?
Identifier l'exposition en aval
Qui compte déjà sur cette cible ?
Ont-ils besoin de savoir que les données peuvent être obsolètes ?
Préserver l'état actuel
Consignez l'état pertinent, les erreurs, les horodatages, les diagnostics et autres preuves avant d'apporter des modifications importantes.
Déterminez s'il s'agit toujours d'un problème de surveillance ou s'il s'agit d'une décision de rétablissement
Si le pipeline s'arrête ou si la situation se détériore suffisamment pour que des mesures de récupération soient envisagées, il convient de mettre en œuvre un processus de récupération structuré plutôt que d'improviser.
Un décalage temporel ne signifie pas en soi que des données ont été perdues.
Et un arriéré croissant ne signifie pas automatiquement qu'une refonte complète sera nécessaire.
Mais le décalage peut devenir un problème de récupération lorsque l'équipe ne peut pas répondre avec assurance à des questions telles que:
À ce stade, la question utile passe de:
« La réplication est-elle en cours ? »
à:
« Sommes-nous encore en mesure de nous remettre de la situation actuelle ? »
Rocket Data Replicate & Sync (RDRS) fournit des capacités de surveillance opérationnelle et de diagnostic qui peuvent aider les équipes à comprendre l'état des environnements de réplication pris en charge.
La validation technique du RDRS identifie des capacités telles que:
Les indicateurs précis destinés à l'opérateur, les coordonnées de redémarrage, les alertes et le comportement de surveillance peuvent varier en fonction de la source, de la cible, de la version, de la topologie et de la configuration.
Les équipes qui évaluent RDRS devraient donc demander à Rocket de leur démontrer son expérience de surveillance en fonction de leur environnement spécifique.
Voici quelques questions utiles:
Les allégations relatives à l'impact sur la production doivent également être évaluées à l'aide de preuves spécifiques à la source, tant dans le cadre d'une charge de travail normale que d'une charge de travail de rattrapage.
La norme utile n'est pas:
« Le système RDRS dispose-t-il d'un système de surveillance ? »
C'est:
« Notre opérateur habituel peut-il identifier la situation suffisamment rapidement pour prendre la bonne décision ? »
Avant de vous fier à un pipeline CDC mainframe pour des données aval importantes, posez-vous les questions suivantes:
Si plusieurs réponses sont non, vous disposez peut-être de données de surveillance.
Vous n'avez peut-être pas encore une visibilité opérationnelle suffisante.
La plupart des problèmes de reprise d'activité du CDC ne commencent pas par une panne totale. Ils commencent par un processus qui prend du retard, un arriéré inexpliqué et un objectif qui devient de plus en plus obsolète alors que le processus semble encore fonctionner correctement.
Un bon suivi aide les équipes à répondre à:
L'objectif n'est pas de collecter davantage de données.
Il s'agit de détecter un problème naissant suffisamment tôt pour que les opérateurs puissent réagir et que la récupération reste simple.
Si le pipeline s'arrête — ou si le retard a progressé au point où une action de récupération est envisagée —, passez de la surveillance à une décision de récupération structurée.
Avant de redémarrer un pipeline CDC défaillant: 7 questions à se poser
Analysez où la réplication s'est arrêtée, où elle peut reprendre, ce qui s'est passé pendant l'interruption, si un rattrapage ou une resynchronisation plus large est nécessaire, et comment vous prouverez par la suite que la cible est fiable.
Avant de redémarrer, savez-vous ce que la panne a affecté ?
L’erreur la plus dangereuse du CDC en matière de reprise après incident survient après l’échec.
Le pipeline fonctionne à nouveau. Peut-on se fier aux données ?
Quand un problème de récupération CDC devient-il un problème de plateforme ?
Comment savoir si les affirmations de recouvrement d'un fournisseur du CDC seront justifiées ?
Comment élaborer un argumentaire commercial pour un investissement dans la relance du CDC
