2026年5月8日、ECSO CLOUDでは今年に入って初めての大規模なサービス障害が発生しました。影響を受けたホストシステム「col1-compute-amd-101」で重大な障害が発生し、複数の第1世代クラウドサーバーに影響が及びました。 本報告書では、本インシデントの詳細な技術的分析、当社の対応、および再発防止のために講じた措置について説明します。
システム概要
ホスト 101 は、ケルンに設置されている当社のコンピューティングリソースの一つです。AMD CPU、512 GB の RAM、および 8 TB の NVMe ストレージを搭載しています。インシデント発生当時、このシステムでは 50 以上のアクティブな顧客環境が稼働していました。
2026年5月8日：インシデントの発見と初期対応
10:58 – ホスト101上の顧客インスタンスに接続できなくなった。ホストのプライマリIPは応答しており、リソース割り当ても正常に見えたため、初期の監視ではアラートは発動しなかった。
13:11 – キーアカウントマネージャーを通じて、最初の手動による報告を受けた。技術的な調査を開始するため、顧客に対し正式なチケットを開くよう助言した。
13:42 – 2件目の正式なチケットが受理され、より広範囲な問題であることが確認された。
13:46 – 第1レベルサポートが初期診断を完了した。NoVNC接続の確立に失敗したため、このケースは第2レベルサポートにエスカレーションされた。
14:52 – 第2レベルサポートが根本的なシステムエラーを特定した。SSHアクセスに失敗したため、ハードリブートを試みた。しかし、システムはGrubブートローダーでフリーズした。
15:02 – 現場調査のため、第3レベルサポートが動員された。
15:21 – 根本原因を特定：重大なカーネル競合（Debian v6.12.63）により、RAIDコントローラがNVMeドライブを認識できなくなっていました。これは、DE-NIC（.deレジストリ）で以前に発生した障害によって引き起こされたものでした。 DNSの障害により、自動更新プロセスが実行途中で失敗し、システムが互換性のないカーネルバージョンを用いて自己修復を試みたことが原因でした。
16:13 – 有効な災害復旧プランを保有するすべてのお客様を代替ホストシステムへ正常に移行し、サービスを復旧させました。
2026年5月9日：復旧とトラブルシューティング
01:51 – 技術チームはカーネルバージョンのロールバックとレガシーアーティファクトの削除に成功しました。システムは起動しましたが、ネットワーク接続を確立できませんでした。6時間にわたる集中的な作業の後、チームは予定通りの休憩に入りました。
14:53 – 第3レベルサポートがネットワークスタックのトラブルシューティングを再開しました。
23:28 – 包括的なハードウェア監査（CPUおよびRAM）の結果、エラーは検出されなかった。しかし、ストレージ層においてビットレベルの不整合が発見された。これは、システムの突然の停止と互換性のないドライバが組み合わさったことが原因である可能性が高い。これらは、システム全体のバックアップを行った後に修正された。
2026年5月10日：最終的な解決
15:42 – IT ディレクターが最終的なボトルネックを特定しました。OSV データベース内のブリッジ設定の不一致が、systemd の起動シーケンス中にシステムをハングさせていたのです。ブリッジをクリアして再初期化した後、RAID およびパーティションに異常がないことが確認されました。
16:19 – 最終確認：内部テストにより完全な安定性が確認された。16:23に公式ステータスが「解決済み」に更新された。
得られた教訓と今後の再発防止策
このインシデントは、現在のインフラストラクチャおよび内部ワークフローにおけるいくつかの脆弱性を浮き彫りにしました：
1. 監視の不備：従来の監視体制は、ゲストレベルの健全性ではなく、ホストの可用性に重点を置いていました。現在は、すべてのサービスにNetdataを完全に統合し、同様の障害を即座に検出できる、きめ細かなリアルタイムの洞察を提供しています。
2. 内部連携：第2レベルサポートと第3レベルサポート間の引き継ぎにおいて、より適切な診断プロトコルの必要性が明らかになりました。 今後は、即座の「試行錯誤」による復旧作業よりも、根本原因の分析を優先して進めていきます。
3. コミュニケーション：この期間中の当社のコミュニケーションが不十分であったことを認識しています。スタッフが技術的な調査に全力を注いだため、状況報告が遅れてしまいました。 調査の負荷にかかわらず、お客様にリアルタイムで情報を提供できるよう、インシデント対応に関するコミュニケーション方針を見直しています。
ご迷惑をおかけしましたことを心よりお詫び申し上げます。この経験を活かし、より強靭なECSO CLOUDを構築することに尽力してまいります。 
