masahirorの気まま記録簿

個人的な出来事や意見、生活などの記録を思うままにブログに記録

サーバトラブルにつき、遅いお帰りで・・・

今日は、僕の中で月曜日だ!(世間一般でもそうです、はい)
月曜日は何かと苦手。土日で狂った時間感覚を、平日モードに戻さなければならない。うつ病→休職2年→復帰→あれから4年たった自分にとっても、いまだに苦手だ。
せめて土日は仕事から離れ、ゆっくりしたいものだが、今週の土日は会社が年に1度の法令点検で停電になり、仕事が社内の全社サーバを管理している関係で土日それぞれに出勤してシャットダウン&電源入れなおしに対応した。
なので、今週は土日に仕事から離れることができず、疲労感がいつもより高い。それに加え時間感覚が狂ったこともあり、昨夜は0時には床についたものの、ずっと横になってて眠りにつくことができたのは実に朝の5時であった。


そんな中迎えた月曜日は非常にしんどく、申し訳ないながらも午前休をいただくことにした。
ゆっくり休んでいたわけだが、始業開始時間から30分後、1本の電話が。
「サーバが見えませんとの問い合わせが来てますが・・・」
よくよく聞いてみると、社内は複数のネットワークがあり、メインのネットワークからはサーバへ繋がるが、特定のネットワークからサーバへ繋がらないらしい。後で分かったことだが、この特定のネットワークからサーバへアクセスする際はルータ経由でNATをかけて接続しているため、そのルータが不調だったようだ。
停電の際にネットワーク機器やサーバが不調になることは多々ある。普段24時間稼働させているものをいったん電源落とすわけだから、主に電源周りに不具合が出やすい。


そんなわけで、しんどいながらも極力早く行き、復旧作業へ。
調べた結果、ルータのOSとも呼べるものが吹っ飛んでいたことが判明。そのOSをコピーし直すことで直るのだが、OSは製品登録ユーザしか入手できず、設置から7年以上たっており当時の担当者がいないため、入手がしづらい状態に。より詳しい方の協力を得ながらなんとか入手できたのだが、その頃には就業時間終了間際。


たまっている仕事もいっぱいあったのだが「今日はこれで1日終わってしまったな・・・」と思っていたら、今度は別のサーバで障害発生。
こちらも調べてみると、普通のWindowsサーバ機なのだが、Cドライブ以外に切っているパーティションがすべて消失しているというもの。Cドライブは残っておりかろうじて稼働しているようだが、Windowsの重要なファイルやプログラムが消失しており、再起動するとブルースクリーンで起動しなくなった。RAID構成なのに。
パーティションごと消えた領域には社員が利用する大事なファイルが存在。「これはやばい・・・」と思ったが、幸いにもファイルのバックアップはあった。しかし、数日前の状態。さらに、一番大変なのはWindowsのアカウント情報が残っていないこと。アカウントだけなら名簿から取りなおせるが、ユーザが設定した最新のパスワードは当然分からない。
復旧するには、代替機を構築して同じ環境を再現させ、再度アカウント作って初期パスワードを全社員に配布し直さなければならない。これをやるだけでも数時間かかる・・・


代替機の構築と平行してパーティションの復元を試みることに。
「TestDisk」という消失したパーティションの復元を試みるフリーのツールで壊れたHDDを調査したら、消えたパーティションを見つかり、見える形に修復してくれた。その結果、Cドライブ以外のパーティションを復活させることができた。

【TestDisk】について
http://lets-go.hp.infoseek.co.jp/testdisk1.html

しかし、Cドライブはパーティションが見えているがいくつかのファイルが消えている状態で、ファイルを復元するツールを調べるもほとんどがWindows上でしか動作しないものだったため、こちらは断念。その代わり、修復セットアップが可能だったため、これにより以前の設定のままWindowsが復活。アカウントやパスワード情報も無事残っていた。パーティションを戻したことで、ファイルの共有設定やアクセス権などの情報も復帰。社員が利用するファイルも、停止時の段階のものに。
ただ、追加で入れていた、いくつかのサーバ機能はCドライブのファイル消失で動作しなくなっていたため入れ直す必要が。それでも、ひとまず通常の利用はできる状態に。


結果的には本来のサーバを復活することができた。翌朝には稼働していないといけないプレッシャーと、復旧できるかの不安からかなりの冷や汗ものだったが、一安心。
2つの復旧方法を試みながらやり、さらにデータ復旧の方は失敗がゆるされないため慎重に行ったことで、終わったのが実に夜中の3時。ただでさえ辛い今週、月曜からこれじゃ1週間が思いやられる。