Anfang November meldete sich ein Kunde bei uns: In seinem Kundenportal, das wir betreuen, wurden an diesem Freitagmorgen keine Bilder mehr angezeigt, Anhänge ließen sich nicht herunterladen. Am Tag davor hatte alles funktioniert. Und dann stand in der Mail noch ein Halbsatz: Das trete „regelmäßig im November“ auf.
Dieser Halbsatz war der wichtigste Hinweis. Ein Fehler, der jedes Jahr zur selben Zeit kommt, hat selten mit dem Tag zu tun, an dem er auftritt. Meistens läuft etwas ab. Hier war es ein Datum, das in keinem Kalender stand.
Drei Schritte bis zum Ausfall
Am Donnerstag um 17:35 Uhr lief ein Zertifikat ab, mit dem sich die Bausteine des Servers intern gegenseitig ausweisen. Zu sehen war davon nichts: Das Portal lief weiter, und das Zertifikat der Website, das Schloss im Browser, war gültig. Das interne Zertifikat gilt 365 Tage und wird beim Neustart des Servers erneuert, allerdings erst, wenn es weniger als 90 Tage Restlaufzeit hat. Beim letzten Neustart im Juni war es dafür noch zu frisch.
Am Freitag um 7:00 Uhr startete ein Hintergrundjob, der täglich das aktuelle Website-Zertifikat an den Dateispeicher weitergibt. Weil der Server ihn wegen des abgelaufenen Zertifikats abwies, bekam er keine Daten. Geschrieben hat er trotzdem, und zwar zwei leere Dateien.
Der Dateispeicher startete damit nicht mehr, und ohne ihn fehlten im Portal alle Bilder und Anhänge. Um 10:07 Uhr lief er wieder.
Warum so ein Fehler wiederkommt
Was einmal im Jahr passiert, ist nach der Reparatur schnell vergessen. Bis es so weit ist, sind zwölf Monate vergangen, andere Themen waren wichtiger, und im Protokoll steht bestenfalls, dass ein Neustart geholfen hat.
Dazu kommt, was überhaupt beobachtet wird. Die Website-Zertifikate unserer Kundensysteme prüfen wir täglich von außen. Abgelaufen ist hier aber etwas, das man von außen nicht sehen kann.
Was sich seitdem geändert hat
Die Reparatur allein hätte das Problem nur um ein Jahr verschoben. Deshalb haben wir an drei Stellen nachgearbeitet:
- Erst prüfen, dann schreiben. Der Job ersetzt die Dateien nur noch, wenn die neuen vollständig und gültig sind. Andernfalls bleiben die alten stehen, und der Dateispeicher läuft weiter.
- Ein täglicher Bericht. Der Server meldet jeden Tag, wie es dem Dateispeicher geht und welches interne Zertifikat als Nächstes abläuft.
- Alarm mit Vorlauf. Hat ein Zertifikat weniger als 60 Tage Restlaufzeit, bekommen wir eine Meldung. Ebenso, wenn der Bericht länger als 26 Stunden ausbleibt, denn auch ein Wächter kann ausfallen.
Eine weitere Kundenumgebung gleicher Bauart haben wir im selben Zug angeschlossen.
Was Sie selbst tun können
Sie brauchen dafür keine Server. Fast jedes Unternehmen hat Dinge, die irgendwann still ablaufen. Schreiben Sie sie auf eine Liste:
- Domains
- Website-Zertifikate
- interne Zertifikate von Servern und VPN-Zugängen
- API-Schlüssel und Zugänge, mit denen Programme miteinander sprechen, etwa Shop und Buchhaltung
- Lizenzen und Wartungsverträge
- hinterlegte Kreditkarten bei Online-Diensten
Schreiben Sie neben jeden Eintrag das Datum und, wer die Erinnerung bekommt. Ein Gruppenpostfach ist dafür besser als eine einzelne Person, die vielleicht gerade im Urlaub ist oder das Unternehmen verlassen hat.
Fragen Sie außerdem Ihre IT oder Ihren Dienstleister: Welches Ablaufdatum gibt es bei uns, das man von außen nicht sieht?
Und hören Sie hin, wenn jemand sagt: „Das haben wir immer um diese Zeit.“ Solche Sätze klingen nach Gewohnheit und sind oft die beste Spur, die Sie bekommen können.
Und bei Ihnen?
Was läuft in Ihrem Unternehmen einmal im Jahr ab – und wer erfährt es, bevor es so weit ist? Wenn Ihnen dabei niemand einfällt, lohnt sich ein Gespräch. Wie wir Server und Portale betreiben, steht auf unserer Seite zum Hosting. Oder sprechen Sie uns direkt an.