障害報告

2024/11/30 9:00頃 ～ 2024/11/30 11:20

筆者が運営しているサイト

で画像が見られない事象が発生しました。

原因

Wasabiクラウドストレージの全リージョンのネットワークトラブル。

原因追及の切り分け

「Webサイトにアクセスできるのに画像が表示されない」でした。

WebArena にs3プロトコルでwasabiクラウドストレージにマウントしており、

df -h

を行ってもマウント情報が見られなかったためです。

念のため

sudo umount /mnt/wasabi && sudo mount -a

を実行しましたがマウントされず。

次に、Webコンソールにログインを試み、何か情報があるかを確認。

→ ログインそのものができませんでした。

そこで思ったことは

  • 何らかの理由でWasabiクラウドストレージに障害が発生
  • 自分のアカウントが無効化された

の2つ。情報を見るためTwitterで検索をしたら、自分と同じような状況に陥っているアカウントを見つけて、前者であると判断。

そこから30分後。

https://status.wasabi.com

で全域での障害を確認しました。

後は復旧を待つだけという状態。

復旧後の確認

sudo umount /mnt/wasabi && sudo mount -a
df -h

でマウントされていることを確認。

念のため

sudo systemctl restart apache2.service

を行って冒頭の2サイトにアクセス。

画像が見られることを確認しました。

サーバ全体のストレージを安価なクラウドストレージにしていることが災いしました。

オフラインバックアップなどを考慮したいところです。