Wenn eine CDC-Pipeline ausfällt, besteht der Druck, die Replikation schnellstmöglich wiederherzustellen. Bevor das Team jedoch einen Wiederherstellungspfad wählt, muss es verstehen, was sich während des Ausfalls der Pipeline geändert hat.
Die Quelle verarbeitet möglicherweise weiterhin Daten. Das Zielsystem ist möglicherweise zunehmend veraltet. Nachgelagerte Anwendungen laufen möglicherweise weiter, wurden vollständig gestoppt oder haben Ausgleichsmaßnahmen ergriffen. Der erforderliche Quellverlauf ist möglicherweise noch verfügbar, oder der normale Wiederherstellungspfad ändert sich bereits.
Die Frage lautet nicht nur: Wie starten wir neu?
Die Frage lautet: Welche Auswirkungen hatte dieses Versagen, und was bedeutet das für die Wiederherstellung?
Die FEMA-Leitlinien zur Aufrechterhaltung des Geschäftsbetriebs beschreiben die Geschäftsprozessanalyse als die Abbildung der Arbeitsabläufe, Aktivitäten, des Fachwissens des Personals, der Systeme, Daten und Einrichtungen, die zur Erfüllung einer wesentlichen Funktion erforderlich sind. Dieselbe Denkweise der Abhängigkeiten ist hilfreich, um die Auswirkungen einer Unterbrechung des CDC-Betriebs zu bewerten.*
Eine vom CDC durchgeführte Bewertung der Auswirkungen eines Vorfalls hilft dabei, Folgendes festzustellen:
Ziel ist es nicht, die Wiederherstellung zu verzögern. Es geht vielmehr darum, die Wahl eines Wiederherstellungsweges auf der Grundlage eines unvollständigen Bildes zu vermeiden.
Bevor Sie über die Wiederherstellungsstrategie entscheiden, ermitteln Sie, was betroffen war. Eine Folgenabschätzung des CDC (Centers for Disease Control and Prevention) hilft dabei, den betroffenen Wiederherstellungszeitraum, die betroffenen Daten und nachgelagerten Nutzer, das Ausmaß und die Bedeutung der entstandenen Datenlücke, die Einschränkungen der verfügbaren Wiederherstellungswege sowie die Fragen und Risiken zu bestimmen, die vor dem weiteren Vorgehen geklärt werden müssen.
Nur dann kann das Team einen auf Fakten und nicht auf Annahmen basierenden Wiederherstellungsweg wählen.
Eine praxisorientierte Folgenabschätzung des CDC sollte fünf Fragen beantworten:
Die folgenden Abschnitte beschreiben den Prozess zur Beantwortung dieser Fragen. Ziel ist es nicht, eine Checkliste abzuarbeiten, sondern genügend Beweise zu sammeln, um einen geeigneten Genesungsweg zu wählen und die Grundlage für die Validierung nach der Genesung zu schaffen.
Der Umfang der Bewertung sollte dem Ausmaß und dem Risiko des Vorfalls entsprechen. Eine begrenzte Unterbrechung erfordert möglicherweise nur eine kurze Überprüfung, während ein komplexer Ausfall mit kritischen Daten, manuellen Eingriffen oder erheblichen Auswirkungen auf nachgelagerte Systeme eine eingehendere Untersuchung erfordert.
Bevor die Auswirkungen gemessen werden, muss der zuverlässigste Zeitpunkt vor dem Vorfall ermittelt werden, an dem sich Replikation und Zielsystem nachweislich im erwarteten Zustand befanden. Je nach Quelle und Replikationsplattform kann dieser Zeitpunkt wie folgt dargestellt werden:
Diese Begriffe hängen zwar zusammen, sind aber nicht unbedingt austauschbar. Gehen Sie nicht davon aus, dass der zuletzt gelesene Quelldatensatz mit der letzten erfolgreich im Zielsystem gespeicherten Änderung übereinstimmt. Ermitteln Sie die zuverlässigste verfügbare Verarbeitungsgrenze für die jeweilige Quelle, das Zielsystem und die Replikationsplattform.
Aufzeichnen:
Ziel ist es nicht, eine allgemein „sichere“ Sequenznummer zu finden. Vielmehr geht es darum, eine vertretbare Ausgangsgrenze für die Bewertung des Vorfalls festzulegen.
Ohne einen vereinbarten Ausgangspunkt berechnen die Teams möglicherweise unterschiedliche Zeiträume, untersuchen unterschiedliche Transaktionen und treffen unterschiedliche Annahmen darüber, was wiederhergestellt werden muss.
Die praktische Frage lautet: Von welchem verlässlichen Standpunkt aus messen wir die Auswirkungen dieser Unterbrechung?
Sobald der letzte vertrauenswürdige Verarbeitungspunkt festgelegt ist, definieren Sie den Zeitraum, den die Bewertung abdecken muss. Das Vorfallfenster erstreckt sich üblicherweise vom letzten bekannten vertrauenswürdigen Verarbeitungspunkt über die Unterbrechung bis zum aktuellen Ziel- oder Wiederherstellungszustand. Je nach Vorfall kann das Fenster Folgendes umfassen:
Gehen Sie nicht davon aus, dass der Zeitpunkt, zu dem jemand den Fehler bemerkt hat, auch der Zeitpunkt ist, zu dem der Fehler begonnen hat.
Fragen:
Eine sofort erkannte fünfminütige Unterbrechung unterscheidet sich von einer fünfminütigen Unterbrechung, die erst Stunden später entdeckt wird, nachdem nachgelagerte Systeme weiterhin veraltete Daten verwendet haben. Das Zeitfenster des Vorfalls legt fest, was das Team untersuchen muss. Es dient außerdem als Grundlage für die Wahl des Wiederherstellungspfads und die anschließende Datenvalidierung.
Nicht jede Tabelle, Datei, jedes Dataset oder jede Datendomäne innerhalb eines Replikationsstroms birgt das gleiche Risiko. Ermitteln Sie zunächst, was betroffen war, als die Replikation verlangsamt oder gestoppt wurde. Bestimmen Sie anschließend, was sich während des Vorfalls tatsächlich geändert hat. Berücksichtigen Sie für jedes betroffene Objekt oder jede betroffene Datendomäne Folgendes:
Aktivität ändern
Geschäftliche Bedeutung
Datenbeziehungen
Zielseitige Aktivität
Wo zusammengehörige Objekte konsistent bleiben müssen, gruppieren Sie sie entsprechend ihren Abhängigkeiten. Wiederherstellung und Validierung sollten die für die Anwendung oder den Geschäftsprozess relevanten Beziehungen widerspiegeln, nicht nur die alphabetische Reihenfolge oder die Anzahl der Zeilen.
Die praktische Frage, die sich in jeder Situation stellen sollte: „Welche Daten sind bei diesem Vorfall am wichtigsten, und welche Beziehungen müssen während der Wiederherstellung erhalten bleiben?“
Wenn man für jede Tabelle die gleiche Vorgehensweise anwendet, kann das zu Zeitverschwendung bei Daten mit geringem Risiko führen, während gleichzeitig eine kleine Anzahl kritischer Abhängigkeiten übersehen wird.
Ein Ausfall des CDC beeinträchtigt nicht nur den Replikationsprozess. Solange die Quelle in Betrieb bleibt, können nachgelagerte Anwendungen zwar weiterhin verfügbar sein, ihre Daten veralten jedoch zunehmend. Andere Verbraucher stellen ihren Betrieb möglicherweise vollständig ein. Einige verarbeiten unter Umständen weiterhin unvollständige oder inkonsistente Informationen. Dokumentieren Sie für jeden nachgelagerten Verbraucher Folgendes:
Was der Verbraucher erlebte
Ob Ausgleichsmaßnahmen ergriffen wurden. Während einer längeren Unterbrechung können Teams Folgendes tun:
Diese Aktionen sind wichtig, weil sie das Ziel verändern oder Konflikte mit Änderungen hervorrufen können, die später durch Replikation übertragen werden.
Manche nachgelagerte Systeme können verzögerte Änderungen ohne Nebenwirkungen akzeptieren. Andere initiieren Geschäftslogik, sobald ein Ereignis eintritt.
Je nach Anwendung kann das Wiedergeben akkumulierter Änderungen Folgendes auslösen:
In vielen Umgebungen handelt es sich im Grunde um eine Frage der Idempotenz: Kann der Verbraucher ein wiederholtes Ereignis sicher verarbeiten, ohne unbeabsichtigte geschäftliche Folgen hervorzurufen?
Eine technisch wiederherstellbare Pipeline kann dennoch ein umfassenderes Geschäftsproblem verursachen. Die Quelle mag intakt sein. Das Ziel mag verfügbar sein. Doch nachgelagerte Benutzer treffen möglicherweise Entscheidungen auf Basis veralteter oder unvollständiger Daten, und Wiederherstellungsmaßnahmen können Folgen außerhalb der Replikationsplattform auslösen.
Sobald der Zeitraum des Vorfalls und der betroffene Bereich bekannt sind, beschreiben Sie die Lücke in einer für technische und geschäftliche Stakeholder gleichermaßen verständlichen Weise.
Technische Maßnahmen können Folgendes umfassen:
Die geschätzte Wiederherstellungszeit sollte nicht als Garantie betrachtet werden. Die tatsächliche Aufholleistung kann je nach Quellaktivität, Netzwerkkapazität, Zielauslastung, Infrastrukturkonflikten, Änderungsvolumen und konkurrierender Arbeitslast variieren.
Geschäftliche Maßnahmen können Folgendes umfassen:
Technische Rohdaten helfen dem Betriebsteam, den Umfang der Wiederherstellung abzuschätzen. Kennzahlen zur Geschäftsauswirkung helfen den Beteiligten zu verstehen, warum der Vorfall relevant ist und wie die Wiederherstellung priorisiert werden sollte.
Ein Rückstand von 100.000 Änderungen kann in einer Umgebung Routine sein, in einer anderen hingegen geschäftskritisch. Die Größe der Diskrepanz ist entscheidend. Ebenso wichtig ist, was die Diskrepanz beinhaltet und wer davon abhängig ist.
Eine Lücke kann messbar sein, während der geeignete Wiederherstellungsweg noch unklar ist. Bevor Sie sich für einen Neustart, eine Aufholphase, eine gezielte Resynchronisierung oder einen umfassenderen Neuladen entscheiden, dokumentieren Sie die Bedingungen, die die verfügbaren Optionen beeinflussen.
Verfügbarkeit des Quellverlaufs: Ermitteln Sie, von welchen Quellinformationen der unterstützte Wiederherstellungspfad abhängt. Diese Informationen können Folgendes umfassen:
Steht der benötigte Quellverlauf nicht mehr unmittelbar zur Verfügung, prüfen Sie, ob archivierte Protokolle oder andere gespeicherte Verlaufsdaten über einen unterstützten Wiederherstellungspfad abgerufen und verarbeitet werden können. Ist der erforderliche Verlauf nicht verfügbar, können die Wiederherstellungsoptionen eingeschränkt sein.
Gehen Sie nicht davon aus, dass das Vorhandensein archivierter Protokolle automatisch bedeutet, dass ein bestimmter Wiederherstellungspfad unterstützt wird. Prüfen Sie, wie die Plattform diese Historie für die jeweilige Quelle, das Ziel und die Konfiguration nutzt.
Prüfen Sie, ob sich das Ziel weiterhin in einem Zustand befindet, der eine weitere Erholung ermöglicht.
Fragen:
Verbraucher-Replay-Verhalten: Für Verbraucher, die eine Aktion auslösen, wenn Daten eintreffen, wird ermittelt, ob verzögerte oder wiederholte Ereignisse sicher verarbeitet werden können.
Fragen:
Wiederherstellungsziele: Vergleichen Sie die geschätzte Aufhol- bzw. Wiederherstellungszeit mit den für die betroffenen Systeme festgelegten Zielen.
Fragen:
Die Kenntnis der Größe der Lücke allein reicht nicht aus, um dem Team die Vorgehensweise zur Behebung des Problems zu erklären. Das Team muss außerdem verstehen, welche Anforderungen der unterstützte Wiederherstellungspfad stellt, ob diese Bedingungen noch bestehen und welche Risiken die Wiederherstellung selbst mit sich bringen kann.
Eine Folgenabschätzung sollte Unsicherheiten sichtbar machen, nicht verbergen. Dokumentieren Sie Fragen wie:
Offene Fragen sollten entsprechend dem von ihnen ausgehenden Risiko zugeordnet und bewertet werden. Einige können die Wiederherstellung behindern. Andere können als explizite Ausnahmen mit definierten Verantwortlichen, Kontrollmechanismen und Folgemaßnahmen behandelt werden.
Ziel ist es nicht, künstliche Gewissheit zu schaffen. Vielmehr soll sichergestellt werden, dass die Entscheidung über die Bergung das widerspiegelt, was bekannt ist, was noch unbekannt ist und welche Annahmen das Team trifft.
Die Bewertung sollte mit einer prägnanten schriftlichen Zusammenfassung abschließen, die als Grundlage für die Wiederherstellungsentscheidung und als Basis für die Validierung nach der Wiederherstellung dient. Folgende Punkte sind zu berücksichtigen:
Vorfallfenster
Betroffene Daten
Exposition stromabwärts
Datenlückenanalyse
Wiederherstellungsbeschränkungen
Offene Fragen
Empfohlene nächste Entscheidung
Die Folgenabschätzung sollte nicht automatisch einen bestimmten Wiederherstellungspfad vorschreiben. Sie sollte dem Team genügend Informationen liefern, um zu entscheiden, ob:
Das folgende Beispiel dient der Veranschaulichung. Die Namen, Werte, Arbeitslast und Wiederherstellungsüberlegungen sind fiktiv und stellen keine empfohlene Schwelle, Architektur oder Wiederherstellungsprozedur dar.
Zusammenfassung des Vorfalls
Pipeline: Replikationsstream von Aufträgen an das Lager
Letzter vertrauenswürdiger Verarbeitungspunkt: Bestätigter Zielprüfpunkt entsprechend 2:14 Uhr
Fehler festgestellt: 2:17 Uhr
Bewertung abgeschlossen: 4:00 Uhr
Aktueller Abstand: Ungefähr 1 Stunde und 46 Minuten
Betroffene Daten
| Datendomäne | Aktivität während der Lücke | Schlüsselabhängigkeit | Aktionen auf der Zielseite |
| Bestellungen | Hoch | Auftragskopf und -details müssen ausgerichtet bleiben. | Keine identifiziert |
| Inventar | Mäßig | Bestandsaktualisierungen beeinflussen die Auftragsverfügbarkeit | Manuelle Aktualisierungen durchgeführt |
| Kundendatensätze | Niedrig | Wird von Benachrichtigungs- und Serviceprozessen verwendet | Keine identifiziert |
Exposition stromabwärts
| Verbraucher | Aktueller Zustand | Ausgleichsmaßnahme | Berücksichtigung der Wiederherstellung |
| Lagerabwicklung | Verarbeitung angehalten | Keiner | Verzögerte Bestellungen erfordern Nachholarbeiten. |
| Inventar-Dashboard | Verfügbar mit veralteten Daten | Manuelle Bestandsaktualisierungen | Manuelle Aktualisierungen müssen abgeglichen werden. |
| Kundenbenachrichtigungen | Neue Ereignisse nicht empfangen | Keiner | Das Aufholen könnte zu verzögerten Benachrichtigungen führen. |
Wiederherstellungsbeschränkungen
Offene Fragen
Der verfügbare Neustartstatus und der gespeicherte Quellcodeverlauf ermöglichen die weitere Bewertung eines möglichen Wiederherstellungspfads. Bevor die Wiederherstellung fortgesetzt werden kann, muss sich das Team auf das Vorgehen bei manuellen Zielaktualisierungen und verzögerten Benachrichtigungen einigen.
Die Folgenabschätzung beweist nicht, dass die Sanierung gelingen wird. Sie legt die Bedingungen fest, die bei der Sanierungsentscheidung berücksichtigt werden müssen.
Pipeline-Status als Ereignisgrenze behandeln: Ein fehlerhafter oder beeinträchtigter Prozess kann einen Betriebszustand melden, der nicht der letzten erfolgreich am Zielsystem vorgenommenen Änderung entspricht. Verwenden Sie die zuverlässigsten verfügbaren Datenquellen, Plattformen und Zielinformationen, um die Bewertungsgrenze festzulegen.
Die alleinige Messung der Ausfallzeit reicht nicht aus, um zu verstehen, wie stark sich das Zielsystem im Vergleich zum Quellsystem verändert hat, welche Daten betroffen waren oder welche nachgelagerten Systeme weiterhin funktionierten. Messen Sie daher sowohl die technische Verzögerung als auch die Auswirkungen auf nachgelagerte Systeme.
Unter der Annahme, dass das Änderungsvolumen der Wiederherstellungszeit entspricht: Das Änderungsvolumen ist nur ein Faktor. Der beobachtete Durchsatz, die Datensatzgröße, die Quellaktivität, die Ziellatenz, die Infrastrukturauslastung, die Transformationskomplexität und konkurrierende Workloads beeinflussen ebenfalls die Aufholzeit.
Eine rein technische Betrachtungsweise ist unzureichend: Eine Bewertung, die zwar den Rückstand und die Position in der Warteschlange dokumentiert, aber nachgelagerte Anwender außer Acht lässt, ist ungenügend. Die geschäftlichen Konsequenzen bestimmen Dringlichkeit, Reihenfolge, Kommunikation und akzeptables Risiko.
Ignorieren von Kompensationsmaßnahmen: Manuelle Patches, alternative Ladevorgänge, Workarounds und direkte Zielschreibvorgänge können die Wiederherstellungsannahmen verändern. Dokumentieren Sie diese, bevor die Replikation mit der Übertragung der akkumulierten Änderungen beginnt.
Unsicherheit verbergen: Offene Fragen verschwinden nicht mit Beginn der Wiederherstellungsmaßnahmen. Dokumentieren Sie, was weiterhin unbekannt ist, ermitteln Sie, welche Unsicherheiten Maßnahmen blockieren, und behandeln Sie die übrigen als explizite Ausnahmen.
Die Folgenabschätzung des Vorfalls durch die CDC findet zwischen der Erkennung und der Durchführung der Wiederherstellungsmaßnahmen statt.
Es unterstützt:
Die Neustartentscheidung: Die Bewertung ermittelt den Fehlerumfang, den verfügbaren Verarbeitungszustand, die Abhängigkeiten zwischen Quell- und Verlauf, den Zielzustand und die nachgelagerten Überlegungen, die für die Auswahl eines unterstützten Wiederherstellungspfads erforderlich sind.
Weiterlesen: Der gefährlichste Fehler der CDC bei der Wiederherstellung des Gesundheitssystems passiert nach dem Scheitern.
Überwachung des Aufholprozesses: Der erwartete Rückstand, die Quellaktivität, die nachgelagerte Toleranz und die im Rahmen der Bewertung dokumentierten Aufholbedingungen helfen dem Team, den Wiederherstellungsfortschritt zu interpretieren.
Lesen Sie mehr: Ihre CDC-Pipeline ist nicht ausgefallen. Sind Sie sicher, dass sie einwandfrei funktioniert?
Validierung nach der Wiederherstellung: Das Ereignisfenster, die betroffenen Daten, Abhängigkeiten und kompensierenden Maßnahmen, die in der Bewertung identifiziert wurden, definieren, was nach der Aufholung validiert werden muss.
Weiterlesen: Die Pipeline läuft wieder. Kann man den Daten trauen?
Weiterführende Kommunikation: Die Verbraucherkarte und die Zusammenfassung der Auswirkungen verdeutlichen, wer Aktualisierungen benötigt, welche Daten weiterhin eingeschränkt sind und welche Nachweise die endgültige Entwarnung unterstützen. Die Bewertung wandelt einen undefinierten Fehler in einen abgegrenzten Vorfall mit bekanntem Umfang, expliziten Einschränkungen und einem klareren Weg zur Wiederherstellung um.
Die Folgenabschätzung sollte nicht mit Beginn der Wiederherstellung entfallen. Nachdem das Zielsystem validiert und wieder in Betrieb genommen wurde, sollte die Abschätzung erneut durchgeführt werden, um festzustellen, welche Änderungen vor der nächsten Unterbrechung erforderlich sind.
Ein einzelner Vorfall kann eine Prozesslücke aufdecken. Wiederholte Vorfälle können auf ein größeres Problem im Bereich Überwachung, Betriebsmodell, Schulung oder Plattformfähigkeit hinweisen.
Ziel ist es nicht nur, sich von dieser Unterbrechung zu erholen. Es geht darum, die nächste Reaktion schneller, klarer und leichter zu verteidigen zu gestalten.
Bevor Sie einen Wiederherstellungsweg wählen, vergewissern Sie sich, dass das Team Folgendes festgelegt hat:
Die Bewertung kann als Grundlage für die Entscheidung über die Wiederherstellung dienen, sobald das Team erklären kann, was passiert ist, was betroffen war, wovon die Wiederherstellung abhängt, was noch ungewiss ist und was erfüllt sein muss, bevor Maßnahmen ergriffen werden können.
Ein Ausfall des CDC definiert sich nicht allein durch die Dauer der fehlenden Replikation. Er definiert sich vielmehr durch die Änderungen während dieser Unterbrechung, die Betroffenen, die verbleibenden Wiederherstellungsoptionen und die Risiken, die die Wiederherstellung selbst mit sich bringen kann.
Die entscheidende Frage lautet nicht einfach: Wie bringen wir die Replikation wieder in Gang?
Die Frage ist: Verstehen wir die Auswirkungen gut genug, um den richtigen Weg zur Erholung zu wählen?
Eine gute Folgenabschätzung vermittelt dem Team ein gemeinsames Verständnis von:
Das ist der Unterschied zwischen einem Neustart auf der Grundlage von Annahmen und der Bewältigung eines Problems, das das Team tatsächlich versteht.
FEMA: Geschäftsprozessanalyse und Geschäftsauswirkungsanalyse
Ihre CDC-Pipeline ist nicht ausgefallen. Sind Sie sicher, dass sie einwandfrei funktioniert?
Der gefährlichste Fehler der CDC bei der Wiederherstellung des Gesundheitszustands passiert nach dem Scheitern.
Die Pipeline läuft wieder. Kann man den Daten trauen?
Wann wird ein Problem bei der CDC-Wiederherstellung zu einem Plattformproblem?
Woran erkennt man, dass die Erstattungsansprüche eines CDC-Anbieters Bestand haben?
Wie man einen Business Case für CDC-Wiederaufbauinvestitionen erstellt
