Hitzebedingter Server-Kollaps bei Schweizer Firma Proton – das wissen wir
Proton-Chef Andy Yen hat sich auf der Social-Media-Plattform X und bei Reddit zu einem schweren Vorfall geäussert. Demnach stieg in einem Rechenzentrum in Frankfurt am Main die Raumtemperatur kurzfristig auf bis zu 60 Grad Celsius an und drohte die Server-Hardware zu zerstören.
Hier sind die wichtigsten Informationen und bislang bekannten technischen Hintergründe.
Was ist passiert?
In der Nacht auf Donnerstag, kurz nach Mitternacht, mussten in einem Rechenzentrum in Frankfurt am Main die Proton-Server notfallmässig heruntergefahren werden. In der Folge standen die Cloud-Dienste des Schweizer Unternehmens während geraumer Zeit nicht zur Verfügung.
Auf der Status-Webseite des Unternehmens wurde als Ursache ein kritischer Ausfall der Kühlung («Critical Cooling Failure») angegeben. Der Totalausfall des redundanten Kühlsystems liess gemäss Andy Yen die Lufttemperatur in der Anlage rapide auf 50 bis 60 Grad ansteigen.
Auf der X-Plattform kommentierte er:
Die Hitze nahm derart extreme Ausmasse an, dass das technische Personal vor Ort den Serverraum nicht mehr betreten konnte, ohne die Gesundheit zu gefährden.
Yen betonte, dass eine Temperatur von 60 Grad ausreichen würde, um millionenschwere Server-Schränke mit ihren leistungsstarken Prozessoren zu zerstören – die Folgen wären vergleichbar mit denen eines tatsächlichen Brandes.
CEO ist überraschend ehrlich
Die vollständige Wiederherstellung der Dienste dauerte über eine Stunde – laut Andy Yen viel zu lang.
Als ein User auf X die Reaktionszeit der Proton-Techniker lobte, widersprach der Proton-Chef: «Um ehrlich zu sein, das war es nicht.» Er räumte ein, dass die Panne hätte schneller behoben müssen. So habe man die den Kunden vertraglich zugesicherten Verfügbarkeiten deutlich verfehlt.
Was war mit dem Backup?
Ein Backup-Rechenzentrum stand bereit, aber das automatische Umschalten – «Failover» genannt – erfolgte nicht. Der Proton-Chef liefert die Erklärung: Da die Hitze die Server nicht alle gleichzeitig, sondern nacheinander und zufällig in die Notabschaltung zwang, hätten die Überwachungssysteme nur ein «teilweise totes» Rechenzentrum gemeldet.
Die Techniker vor Ort waren also im Dilemma und mussten letztlich die Systeme notabschalten, um die teure Hardware (CPUs und GPUs) vor dem «Hitzetod» zu bewahren.
Warum war Proton nicht besser vorbereitet?
Andy Yen gibt unumwunden zu, dass Proton dieses spezifische Ausfallszenario zwar auf dem Radar hatte. Wegen der als äusserst gering eingeschätzten Eintrittswahrscheinlichkeit seien entsprechende Gegenmassnahmen jedoch nicht priorisiert worden. «Murphys Gesetz hat zugeschlagen», resümierte der Proton-Chef. Man arbeite nun unter Hochdruck an Anpassungen, um eine Wiederholung auszuschliessen.
«Wir haben es vermasselt und werden es künftig besser machen», gelobt der Proton-Chef. Und hat aber auch noch einen Profi-Tipp für die User parat: Die Browser-Erweiterungen sowie die Desktop- und Mobile-Apps von Proton verfügten über einen Offline-Modus. Wer diesen nutzt, habe auch bei netzwerkseitigen Totalausfällen weiterhin Zugriff auf die bereits lokal synchronisierten E-Mails und Daten.
Proton legt grössten Wert darauf, keine Drittanbieter-Clouds (wie Amazon Web Services oder Microsoft Azure) zu nutzen. Das Unternehmen besitzt gemäss eigenen Angaben die gesamte Server-Infrastruktur, die Festplatten und die Netzwerk-Hardware wie Router und Switches. Hingegen betreibt das Unternehmen in der Schweiz, Deutschland und Norwegen keine eigenen Rechenzentren, sondern mietet bei spezialisierten Rechenzentrums-Betreibern abgesicherte Räume. Dort liegt auch die Verantwortung für die Kühlung und Stromversorgung solcher «Colocation»-Anlagen.
Wie geht es weiter?
Auf der Status-Webseite zu den Proton-Diensten hat das Unternehmen angekündigt, einen detaillierten «Post-Mortem»-Bericht zu veröffentlichen, sobald die Aufräumarbeiten nach dem Vorfall vollständig abgeschlossen seien.
Update: Auf Anfrage erklärte Proton am Donnerstag:
Die weltweit bekannten Proton-Dienste, allen voran das mit Ende-zu-Ende-Verschlüsselung geschützte Cloud-Webmail, werden von der Proton AG betrieben. Deren Hauptaktionärin ist die gemeinnützige Proton Foundation in Genf.
Alles Cloud oder was?
On-Premise-Infrastruktur (oft auch «on prem» oder «On-premises IT» genannt) meint Hardware und Software, die von einem Unternehmen selbst betrieben wird, respektive im eigenen Rechenzentrum läuft. Die Server befinden sich auf Gelände im eigenen Verantwortungsbereich und werden von eigenem Personal gewartet.
Hingegen bieten Hyperscaler wie Amazon Web Services (AWS) oder Microsoft ihre massive Infrastruktur als Public-Cloud-Dienste an, die für jeden zugänglich sind. Dazu betreiben sie weltweit verteilt Rechenzentren (mitsamt eigenen Datennetzen). Gegen Bezahlung können sich Dritte einmieten und je nach Bedarf Server-Leistung sowie Speicherplatz und Softwarepakete beziehen.
Eine Private Cloud kombiniert die Vorteile einer Public Cloud mit der Sicherheit und Kontrollierbarkeit der Infrastruktur vor Ort. Die Software kann innerhalb des eigenen Rechenzentrums eines Unternehmens, in einer Dritteinrichtung oder über einen Private-Cloud-Anbieter «gehostet», also dort betrieben werden.
Colocation (auch Server Housing genannt) bedeutet, dass ein Unternehmen seine eigenen Server in einem externen Rechenzentrum auf einer angemieteten Fläche betreibt. Strom, Kühlung, Netzwerk und physische Sicherheit gibt es durch den Vertragspartner, für die Server-Hardware ist man aber selbst verantwortlich.
Quellen
- status.proton.me: Status-Seite der Proton-Dienste
- x.com: Thread von Andy Yen
- reddit.com: Thread zum Thema
- In der Recherche-Phase wurde KI verwendet
