昨日のActive Directory障害から1日。昨日は予定外の出社を余儀なくされ、旅の疲れもとれず精神的に参ってしまったので、盆明けそうそうでしかも障害中で申し訳ない中、午前中お休みをいただいた。
そして午後。昨日見た限り、今回のActive Directory障害の復旧はかなり難題になりそうだと感じ、気が重い中での出社。
現状把握するため、上司に昨日の作業の結果と、午前中の様子を聞いたところ・・・障害が起きたサーバがさらに1台増えていた！
昨日はActive Directoryが3台障害。これは変わらず。その影響で、全社のファイルサーバ（仮にA）の認証が通らなくなったため、利用不可の状態。これは、ADさえ復旧すれば何とかなりそう。
問題は、もう一つの全社ファイルサーバ（仮にB）。こちらはADの認証を利用していないので直接的な関係はないのだが、なぜかファイルサーバ用のパーティションが消失。そして念のため再起動すると、システムディレクトリの消失でOSが起動せず。
なんでこうも立て続けにサーバ障害が発生するんだ・・・しかも盆明けに。
ファイルサーバBの方はほかの方に復旧を依頼して、自分はActive Directoryの復旧に。いろいろ調べてもらうと、ドメインのAdministratorでログインできなくなっても、パスワードを強制的に変更する方法があるらしい。それは他の方に調べてもらって、ログインまで出来る状態にしてもらったのだが、一番大事なアカウント情報が、半分以上消失している。
これでもう諦めがついた。ログインできるようになったとしても、アカウント情報が一部しか残っていないのなら意味をなさない。相変わらずEvent Logサービスが、何度有効にして再起動しても「無効」になっていしまう不具合も直らないし。こりゃAD再構築だなと腹をくくった。
そんな感じで3つのサーバ（自分の担当は1つ）の障害がほぼ同時に発生し、障害への対処と上司への状況説明・今後の進め方など協議していた。
そんな最中、なんとさらに障害が発生。東京支社に設置しているメールサーバへのアクセス不可。現地の人に再起動を依頼すると、システム起動に必要なファイルが消失しており起動できない状態。これで、東京支社のメールサーバを利用してたユーザはメール利用不可に。
ホントになんでこんなにトラブルが重なるんだ。ありえん。
この障害は、とりあえず「メール送受信できること」を第一に考え、それに向けて復旧することに。具体的には、本社にもメールサーバがあるので、東京支社メールサーバのアカウントをすべて本社に作成し、そちらに配信されるようにした。これは割とスムーズに完了。未受信のメールは壊れた東京支社メールサーバに残ったままだが、このデータの復旧はとりあえず後回し。
その後、Active Directoryを再構築。元々3台構成だったが、応急処置ということで1台のみ復旧させた。
ここまでやって、やっと障害対応も一段落。あとは、ドメインがなくなったのでファイルサーバAを再度ドメインに登録し、アクセス権など再設定する必要がある。また、ファイルサーバBも、バックアップからデータの復旧は出来たが、コピーに数時間かかるということなので深夜にコピー処理だけ仕掛けて、アクセス権等は明日設定することに。
いろんな障害が起こったおかげで、暫定的に使える状態まで戻す作業で、帰宅は深夜2時過ぎとなった。
まだ暫定だし、細かい設定は残ってるから、明日も朝一からちゃんと出社して再設定作業に従事しないとな。
明日は明日で、いろいろ問い合わせや苦情がくるんだろうなー。辛いなぁ。
