時系列

さやまめ(予備2) (@Sayabeans)

障害対応

• 23:06 スタッフ(anatawa12)が Misskey を 2024.3.1-kinel.3 に更新
• 23:09 までに障害発生、直後にスタッフ(anatawa12,さやまめ)が認知し原因調査開始
• 23:19 スタッフ(anatawa12)が Misskey を 2024.3.1-kine.2 にロールバックするも回復せず
• 23:36 システム管理者(@nirila / kokekokko )が障害を確認し対応開始。Misskeyへのコネクションが失われたことを確認
• ~ 23:50 各種サービスの疎通確認。原因の切り分け。
• 23:50 内部システム(Nginx)とMisskey間に原因を推定
• ~24:00 ログ収集
• 24:03 内部システム(Nginx)設定変更。コネクション復旧。
• 24:08 Misskey を 2024.3.1-kinel.3 に再度更新。障害対応終わり。

なお、本障害はネットワークに起因するものであり、Misskey並びに各種サービスにおけるデータ損失はありません。

原因

• 内部システム(Nginx)の設定をMisskey向けに修正したため。
  • システム主管理者のみアクセス出来ていた為、レビューが出来ず、被害が発生した可能性がある。

対処

• 設定変更前の状態にロールバック。

今後の対処

• [ ] Misskey向け設定の再確認
  • [ ] 設定値の原因切り分け
  • [ ] 内部システム(Nginx)へ反映