2025年5月12日、ECSO CLOUDでは、ケルンにある当社の主要データセンターに影響を及ぼす大規模なネットワーク障害が発生しました。この障害は、外部での建設工事により、当社の主要光ファイバーバックボーンが完全に切断されたことが原因でした。冗長化プロトコルは整備されていましたが、予備経路への極端なトラフィック負荷により、完全な復旧が遅れました。 本報告書では、タイムライン、直面した技術的課題、およびサービス復旧のために講じた措置について概説します。
インシデントの概要
中央ヨーロッパ時間(CET)19時08分、当社の監視システムが、ケルン・ハブにおける接続の完全な喪失をネットワーク運用センター(NOC)に通知しました。原因は、当社の主要な100 TB容量の光ファイバー回線の物理的損傷であることが直ちに特定されました。 この損傷は、当社のインフラ周辺でドイツ鉄道(Deutsche Bahn)が実施していた拡張工事中に発生しました。
事象の経緯
5月12日 19:08 ケルンで最初のネットワーク障害が発生。
5月12日 19:11 顧客への通知を送信 - 緊急対応チームを
派遣。
5月12日 19:15 シカゴおよび東京のバックアップ回線への自動フェイルオーバーが
が開始された。
5月12日 20:33 二次バックアップ回線を介した手動バイパスが完了。サービスが
順次復旧し始めた。
5月13日 12:34 プライマリ光ファイバー回線の物理的な修復が完了し、テストが行われた。
技術的分析と対応
通常の運用状況下では、当社のグローバルメッシュネットワークは、シカゴおよび東京にある国際ノードを経由してトラフィックを迂回させるよう設計されています。しかし、この特定の時間帯において、これらのバックアップ経路の利用率が前例のないほど急増し、輻輳が発生したため、ケルンからのトラフィックを完全に吸収することができませんでした。
この問題を緩和するため、現地のエンジニアが追加のローカルバックアップ回線の導入と設定に取り組みました。20:33までにこの回線が稼働し、サービスは徐々に安定し、大多数のユーザーにおいてオンライン状態が回復しました。
今後の取り組み
ECSO CLOUDは、最高水準の信頼性を確保することに全力を尽くしています。 現在、プライマリ回線が完全にダウンした場合でも、パフォーマンスの低下を招くことなく、国際ノードによって地域ごとのトラフィックを完全に維持できるよう、セカンダリ回線の容量見直しを進めています。物理的な修復作業は5月13日12時34分に完了し、現在すべてのシステムが100%の容量で稼働しています。
今回の障害によりご不便をおかけしましたことを心よりお詫び申し上げますとともに、復旧作業中にお客様にご理解とご協力いただきましたことに深く感謝申し上げます。
執筆者
Luke Barwanietz
人事・業務担当最高責任者