
■ インターネット停止
内線電話で、メーカーのシステムに繋がらないと問合せを受けました。見ると、プロキシサーバーが云々とメッセージが表示されています。
ん?これってメーカーの話じゃないのでは?
と思って他のサイトに繋げようとしても繋がらない。パソコンの設定を確認しても、勤め先の標準構成になっている。
嫌な予感を感じながら自分のパソコンでインターネットに接続しようとすると、同じエラーが表示されました。
・・・うわぁ、これって全社的な問題じゃないか!
(なお、私の勤め先のインターネット接続は、本社一極集中)
■ 初動
しっかし、背筋が寒いです。
実は、プロキシサーバーってメールリレーサーバーにもなっていて、こいつで問題が起こった場合、インターネットと同時にメールも止まります。
真っ白になりそうな頭を回転させて、システム構成をイメージしながらプロキシサーバーにPingを実行。これは通る。
今度は、telnetで接続(プロキシサーバーはLinux)。これも接続できる。さらにサービスの停止&起動をするも、これも綺麗に停止&起動できる。
・・・あれ?
実は、過去に同様のトラブルがあった時はプロキシサーバーが原因(最初はログのパンク、2回目はハード障害)だったので疑ったのですが、どうも違う気配。
障害対応用に、一部のパソコンからはプロキシサーバーを経由せずにインターネットに抜けれるようにしていたので、こいつでインターネットにつなぐと接続出来る。
パソコンのインターネット接続設定は、自動構成スクリプトを使っているのですが、これを解除して直接プロキシサーバーを見るように変更したところ、接続出来ました。
■ Webフィルタリングサーバー
実は、パソコンとプロキシサーバーの間に、Webフィルタリングサーバーが存在しています。自動構成スクリプトは、そっちを見るようにしていたのです。
Webフィルタリングサーバーは、Hyper-Vで仮想化したゲストOS上で動いています。最近、ホスト側の調子が悪いので、どっちが問題か疑ったのですが、WebフィルタリングサーバーにPingが通るので、どうやらホストは大丈夫そう。
リモートデスクトップでWebフィルタリングサーバーに接続。これも問題なくログインできます。
OSは動いているみたいだけど、いったい何が悪いんだ?と思いながらコンピュータを開くと、Dドライブの空き容量が0。
・・・あぁ、お前か。
■ 対応
緊急対応として、Dドライブに残っていたセットアップファイルとかをデスクトップ(Cドライブ)に移動して、さらにOS(Windwos)を再起動。これで、復旧しました。
ただ、根本的な原因が分からない。Webフィルタリングサーバーのログかとも思ったのですが、保持期間30日で全体で30GB程度。これが原因じゃなさそうです。
実は、Webフィルタリングサーバーについては主担当じゃないので手元に情報が少ないのです(いざとなったら、どうとでもするけどさ)。そして、主担当は外出中という良くあるパターン。
ってことで、Webフィルタリングサーバーのソフト側が問題だったらお手上げだったのですが、一安心です。
■ 後書き
本当は、全サーバーのディスク容量の監視(閾値を下回ったらアラートを上げるなど)をした方が良いのでしょうが、ちと監視コストが高くなるので現在はやってません。
十分な戦力が手元にあれば手を出したいとは思うのですが、なかなか思うようにならないものです。
最新の記事:http://harikofu.blog.fc2.com/
投稿記事の一覧:http://harikofu.web.fc2.com/
--- blog end ---
スポンサードリンク


