«On a merdé»: Proton a frôlé la catastrophe
Le patron de Proton, Andy Yen, s'est exprimé sur la plateforme X ainsi que sur Reddit au sujet d'un grave incident technique. Selon lui, la température d'une salle, dans un centre de données situé à Francfort-sur-le-Main, en Allemagne, est brièvement montée jusqu'à 60°C, menaçant de détruire le matériel des serveurs.
Voici les informations principales et les éléments techniques connus à ce jour:
Que s'est-il passé?
Dans la nuit de mercredi à jeudi, peu après minuit, les serveurs de Proton ont dû être arrêtés en urgence dans un centre de données situé à Francfort-sur-le-Main. Les services cloud de l'entreprise suisse ont, par conséquent, été indisponibles pendant un certain temps.
Sur la page de statut de l'entreprise, la cause officiellement indiquée est une panne critique du système de refroidissement («Critical Cooling Failure»). La défaillance a ainsi fait grimper rapidement la température de l'air dans l'installation entre 50 et 60 degrés, selon Andy Yen.
Sur la plateforme X, il a commenté:
Andy Yen a souligné que la chaleur ainsi générée aurait suffi à détruire des armoires de serveurs valant des millions, équipées de processeurs très puissants. Les conséquences auraient été comparables à celles d'un véritable incendie.
La chaleur a atteint une ampleur si extrême que le personnel technique sur place ne pouvait plus pénétrer dans la salle des serveurs sans mettre sa santé en danger.
Le rétablissement complet des services a duré plus d'une heure. Bien trop long, selon Andy Yen.
Lorsqu'un utilisateur, sur X, a salué la rapidité de réaction des techniciens de Proton, le patron de Proton l'a contredit: «Pour être honnête, ce n'était pas le cas.» Il a ouvertement reconnu que la panne aurait dû être résolue plus rapidement. L'entreprise aurait, de fait, nettement manqué aux niveaux de disponibilité contractuellement garantis à ses clients.
Qu'en était-il du système de secours?
Un centre de données de secours était prêt à prendre le relais, mais la bascule automatique, appelée «failover», ne s'est pas produite. Le patron de Proton fournit là aussi une explication détaillée.
Comme la chaleur n'a pas forcé tous les serveurs à s'arrêter d'urgence en même temps, mais les uns après les autres et de manière aléatoire, les systèmes de surveillance n'ont signalé qu'un centre de données «partiellement mort».
Les techniciens présents sur place se sont donc retrouvés face à un dilemme et ont finalement dû procéder à l'arrêt d'urgence des systèmes afin de préserver le matériel coûteux (CPU et GPU) d'une «mort par surchauffe».
Pourquoi ce manque de préparation?
Andy Yen reconnaît sans détour que ce scénario de panne spécifique figurait bel et bien sur le radar de Proton. Mais, en raison d'une probabilité d'occurrence jugée extrêmement faible, les mesures de prévention correspondantes n'avaient pas été priorisées. Le patron de Proton a résumé:
L'entreprise travaillerait désormais activement à des ajustements afin d'exclure toute répétition d'un tel incident. Andy Yen poursuit:
Il a par ailleurs donné un conseil à l'intention des utilisateurs: les extensions de navigateur ainsi que les applications de bureau et mobiles de Proton disposent d'un mode hors ligne. Les personnes qui les utilisent conservent ainsi leur accès aux e-mails et aux données déjà synchronisés localement, même en cas de panne totale côté réseau.
Proton met un point d'honneur à ne pas recourir à des clouds de fournisseurs tiers (comme Amazon Web Services ou Microsoft Azure). Selon ses propres indications, l'entreprise possède l'intégralité de son infrastructure de serveurs, de ses disques durs, ainsi que du matériel réseau tel que les routeurs et les commutateurs (switches). En revanche, l'entreprise n'exploite pas ses propres centres de données en Suisse, en Allemagne et en Norvège: elle loue des espaces sécurisés auprès d'exploitants spécialisés de centres de données.
C'est également à ces derniers qu'incombe la responsabilité du refroidissement et de l'alimentation électrique de ces installations dites de «colocation».
Et la suite?
Sur la page de «statut» consacrée aux services de Proton, l'entreprise a annoncé qu'elle publierait un rapport «post-mortem» détaillé dès que les travaux de remise en état consécutifs à l'incident seraient entièrement terminés.
Les services de Proton, connus dans le monde entier (à commencer par le webmail cloud protégé par un chiffrement de bout en bout) sont exploités par Proton AG. Son actionnaire principal est la fondation à but non lucratif Proton Foundation, basée à Genève. (trad. ysc)