masahirorの気まま記録簿

個人的な出来事や意見、生活などの記録を思うままにブログに記録

サーバトラブル発生

会社のサーバが調子悪い。いつも動かしている登録スクリプトを実行すると、エラーが返ってくる。
「おかしいなぁ」と思い、色々チェックして再起動をかけたら・・・起動しなくなった
Kernel Panicだってさ・・・
という訳で、急いで復旧させることになった。
ちなみにこのサーバ、社外から社内のメールを閲覧するためのWebメールサーバ。メールサーバ自体は別に存在しているのでメールが消えていないことが唯一の救い。また、リプレース前のサーバを初期化せずに残していたので、DNSやらIPアドレスやらホスト名やらを変更して、とりあえず古いサーバを使ってのWebメール利用はすぐに提供できた。
さて問題はここから。メールデータはWebメールサーバに残ってないとしても、個人が設定したアドレス帳やら署名などはWebメールサーバに残っている。まずはこれを取り出さなければ。
ファイル復元ツール・パーティション操作ツール・パーティション修復ツール、色々試してみたがLinuxフォーマットを前にうまく復元できない。

試行錯誤すること9時間、時間はもう21時を回っていた。
予備機はない状態で、迫られた選択肢は2つ。

  • 夜を徹して、出来るかどうか分からないファイル復元を試みる→復元できればいいが、出来なければ復旧が遅れる
  • 復元をあきらめて、再構築に取りかかる→消失したデータは謝るしかない

予備機がないため、システムが壊れた筐体でしか再構築できない。しかし、再構築を開始してしまうとファイル復元は不可能となる。このジレンマに悩まされ上司に相談。出た結論は・・・再構築。



ただ、まだあきらめきれなかったので、古いハードをとりあえずの予備機として活用し、再構築。それと平行して本番機のデータ復元試行を続行。予備機の構築で再構築手順を確認しながら行ったので、本番機再構築の予行練習にもなった。この時点で22時。
壊れた原因がハード故障にあるのか、OS異常にあるのか、コマンド操作ミスなのか不明なため、もしかしたらこの予備機が本番気になるかも知れないし・・・(スペックはかなり古い)


24時まで粘った結果、

  • 予備機では再構築を完了。同時に再構築手順書を残した。
  • 本番機は結局復元できず。泣く泣くあきらめた。

という結末に。



明日は休みの予定だったが、出てきて続きをやらないとな・・・