masahirorの気まま記録簿

個人的な出来事や意見、生活などの記録を思うままにブログに記録

メールサーバダウン

今日もいつも通り仕事をしていたら、急にメールの受信が出来なくなった。
「出来ない」と言っても、メールが不着ではなく、メールサーバに接続しようとすると接続エラーが表示される状態。
嫌な予感。メールサーバにSSH接続して状態を見よう・・・SSHの接続が拒否される!コンソールもキー入力を受け付けない。


仕方なく、強制再起動を実施すると、ブートエラーが。


何度やっても、起動中の処理で転けて起動しきらない。これは非常にまずい。発生したのが午前中で、今日の業務時間はまだまだ残っている。
とりあえず、サーバに異常があり、社員がメールを使用できなくなったのは事実だ。問い合わせの電話もばんばんかかってくる。メールサーバが停止したら、停止の案内もメールで出せないのが辛い。


上司と協議して、早急に復旧を行うことに。


まずはOSの状態を確認。起動時にエラーを起こす。原因を調べようと、knoppixでブートさせ、内蔵HDDの状態を見てみると、「/var」やら「/usr」のディスク使用量が極端に小さい。どうやら、システム関連のファイルがいくつも消失しており、これが原因で起動しきらない様子。
なぜこんなことに・・・気になることといえばこの前の日曜日、停電復旧からの電源再投入時、BIOSが正常に起動しなくなったため、HDDとRAIDカード以外を使用しなくなった同機種の筐体に載せ替えたこと。もしかしたら、これが原因でHDDのデータ書き込みに異常が発生したのか。


根本原因は分からないが、こうなってしまえば、現OSの復旧は諦め、新たにメールサーバを構築することにした。同じ筐体では、せっかくセットアップしても再発する危険があったため、社内を当たって余っているサーバを譲ってもらい、これに再構築することに。


しかし、自分自身一からLinuxメールサーバを構築するのは初めて。少しどころかかなり不安だったので、故障したサーバを構築したときの担当者を(すでに別の場所で働いているが)急遽呼んでもらい、一緒に構築していくことになった。




まずは、可能な限りデータの取り出し。CDブートのパーティションコピーツールで、故障したサーバからUSB HDDにコピーを実施。筐体が古く、USB1.1だったので、予想完了時間は8時間に・・・とりあえずこちらは放置。knoppixで見た限り、個人のメールデータが保存された「/home」パーティションは無事のようだ。


平行して、新サーバ立ち上げのためOSのインストール。RedHat EL4を難なくインストール。この時点でパーティションの割り振りは、よく分からなかったので「自動」を選択。
そして、メールデーモン「qmail」やら、メーリングリストデーモン「ezmlm」などを、Webサイトで情報収集しながらインストール。


ここまで問題なくできたのだが、最後に問題になったのはquotaの設定。個人毎のメールボックス容量制限をかけていたため、Webサイトを参考にquotaを設定していくことに。そこで衝撃の事実を知ることとなった。


「ブートパーティションはquotaの設定が出来ません」



はい、インストール時にパーティションの割り振りを「自動」にしてしまうと、全てのディレクトリが1つのパーティションになってしまうようです。なので、quota設定不可。
泣く泣く、OSインストールからやり直しました・・・設定した3時間が無駄になったな。



深夜1時を過ぎて、ようやく新サーバのセットアップが完了。
故障したサーバからのデータコピーはもう少しかかりそうなので、このまま放置して帰宅することに。深夜には完了して、翌朝来たら終わっていることでしょう。


ということで、とりあえず1日目の復旧作業は終了。本当は今日中に終わらせたかったが、仕方がない。休日出勤確定。