読者です 読者をやめる 読者になる 読者になる

せーブログ

買物する際にお得かどうか調べちゃうくせに後で同じ事を調べ直してばっかり。なので記録を残す事に。似た状況の人の轍になれれば

ファーストサーバのデータ消失に巻き込まれた

三郎G  クライアントからの電話が鳴り止まないwwwwwwファーストサーバの障害に鯖管理者が阿鼻叫喚の嵐

弊社メンテナンス作業において用いる特定の管理プログラムにバグがあり、お客様データが消失したことが判明いたしました。


お知らせ:【重要】弊社一部サーバーの障害に関するお知らせ ファーストサーバ サポートWEB

ウチの会社がメインで使ってるWebサーバです・・・。SubversionRedmineはさくらVPSを使っているから影響なかったんだけど

  1. 自社ホームページ
  2. 社内wiki
  3. メール
  4. サイボウズ
  5. MySQL
  6. 顧客PDF

あたりがごっそり消えました。

この「RECOVERED_FILES」ディレクトリが存在する場合、障害前のデータが部分的にバックアップ、保存されています。


お知らせ:【重要】サーバーをお使いいただく手順について ファーストサーバ サポートWEB

要は「サーバ初期化してバックアップぽいものをうpっといたから後はよろしく!」って事かー!


バックアップ取ってなかったです・・・。いや確かに全面的に信用するのはどうかと思うけど

「RAID1+バックアップ」で高信頼なサーバー環境をご提供!


シリーズ32 - レンタルサーバーの【ファーストサーバ】

ってなってたらトラブル発生してもまあ戻るかな?って思っちゃうじゃないですか・・・。今回のトラブルは人災でRAIDまったく役に立ってないし・・・。さらに1日に1回のバックアップでもまあ良いだろうと思っていたのですがそれもダメだった・・・。福島原発の全電源喪失を連想せずにはいられない個別アクシデントのコンボです・・・。女川原発であって欲しかった!


バックアップは1日1回あれば多少損失あっても何とかしようって事で選んだ。あとは月額。もっと安いレンタルサーバは他にあるけれど信頼度で月に3万円近くを払う事にしたわけです。それなのに!


バックアップぽいものは既にアップされていたので復旧作業に入ったのですが所詮ぽいもの。足りない足りない。サイボウズは量が多いのでまだ終わってないけどwikiなんてレイアウト崩れまくり。この分だとサイボウズの惨状は免れない・・・。


で、さらに悩ましいのがディザスタリカバリ費用の今後東日本大震災でもそうだったんだけど1000年に1度でも起こってしまったら対策費用は削りにくいんですよね。1000年に1度が起こったなら向こう1000年は起こらないんじゃね?なんて冗談を言える雰囲気なんて皆無です。


ただ、ひとつ忘れていけないのは「今までは当リスクをほぼ起こらないものとして過ごして来ましたよね?」という事です。災害対策費用なんて際限なく計上する事だって出来るけど発生確率と発生後の対処費用だとか色々考えてトレードオフした結果で決まっているのであって単にケチってるケースというのはそんなに無いと思うんです。でもこの状況でそんなこと言っても次回トラブル発生時の戦犯要員にしかならないよなあ・・・。

【送料無料】失敗学のすすめ

失敗学のすすめ
価格:560円(税込、送料別)

【送料無料】ディザスタリカバリ入門

ディザスタリカバリ入門
価格:4,200円(税込、送料別)

こういうまとめ↓は確かに読んでみたいですね。本に載ってるのかな?

こういったデータセンターでの障害事例をまとめたサイトはないでしょうか?
doblog のデータ消失で、サービス停止、クラウド9のサービス停止などもかなり大規模なものだけでもよいです。障害の原因究明をできるだけきちんとしているのがいいです。


ファーストサーバ障害で、データ消失した模様です。 こういった.. - 人力検索はてな

あ、サポートには電話したよ。ものすごい時間待たされて「ここまで待たされた人はどう考えても憤ってるだろうし、ハッ!この待ち時間はもう出ませんよの証!」とか思ってたらちゃんと出ました。ものすごく低姿勢で。結論としては

  1. 今あるバックアップが現状出来る全てだよ
  2. サルベージ業者と調整してるからもしかしたらもっとマシなバックアップ渡せるかもよ
  3. あくまで可能性だし日数はそれなりにかかるから期待はしないでね

って事でした。1日や2日なら待つ勢いだったけどさすがに何日も待てないから復旧開始してます。おなかすいた。