年に一度の年次処理、今年は無事に完了・・・出来なかったよ（泣）

■　年次処理

2014年4月4日は、勤め先の３月度の締め日でした。って事で、お守りをしている基幹システムでも夜間に年次処理が実行される訳です。

実は、ここ３年程、年次処理が異常終了を続けている（SQL遅延で夜間処理が異常終了！）ので、今年はずっと張り付く事にしました。要は徹夜になるわけでして、流石に辛いので勤務時間をずらして夕方（18時）に出社させて貰いました。

昨日、平日なのに午前中に記事を投稿できたのは、そういう事情（まぁ、そんなことは誰も気にしてないと思いますが）。

ってことで、今回は年次処理の対応で起こった事をダラダラと書いてきます。つまらないと思うので、飽きたらそっとご退場下さい。

■　事前準備

ただ張り付いていてもしょうがないので、事前に出来る事はやっておきます。

まずは、作業内容（チェックリスト）の作成です。

年次処理実行前のバックアップの取得、重要なファイル（仕様書とか）の年次バックアップ、プログラムリリース計画（今年の消費税率の変更の影響で、年次処理が終了したタイミングでリリースしないといけないプログラムがある）、問題発生時の対応方法、そんな感じでチェックリストを作ります。

次に、夜間処理で実行される処理の終了時間想定表を作成します。

ここ数年、夜間処理（年次処理に限らない）で発生している障害は、SQLの遅延が最も多いです。なので、想定される処理時間と、実際の処理時間を比較できるような一覧を作っておいて、実行時間が適正か判断出来るようにしておきます。

まぁ、根を詰めてもしょうがないので、この辺りで終了です。

■　当日（出勤前）

当日は、英気を養います。

まずは朝ご飯。


見ての通り、たこ焼き（銀だこ）です。


本当はすき屋にする予定だったのですが、お店（すき屋と言っても、店舗じゃなくイオンのフードコート）にいっても店員が見当たらないので、銀だこに変更したのです。電気も付いていたし、営業していると思うんだけどなぁ。

後は、買い物とかの雑用をこなして、少し時間が余ったのでタイヤ交換（冬タイヤ→夏タイヤ）に交換。

丁度、お昼くらいになったので、ブログを投稿しておやすみなさいです。

■　出勤

ゆっくり休めたので出勤します。

いつもは徒歩か自転車なのですが、この日は車にしました。今にして思えば、これは失敗でした。

■　当日（深夜）

さて、事前に準備してチェックリストに従って作業を行い、想定時間表を見比べながら処理を監視します。

・・・・・・・・・・・・無事、終了です。

まぁ、実際には処理全体が想定より時間がかかったせいで、関連する別のジョブの開始時間をずらしたりとか、それなりに作業は発生したのですが、例年のように異常終了とかはせずに済みました。

事件があるとすれば、年次処理よりも外の風景です。


あれ？雪ですか？昨日まで何もなかったのに？夏タイヤに替えちゃったのに？

■　当日（明け方）

年次処理が終わったので作業は終了なのですが、ちょっとだけ数値チェクをすることにしました。

・・・あれ、合わない？・・・・・・・・・・・・・・・・・・って、ちょっと待て、今年もなのか？。

DWHに蓄積しているデータと、本番環境のデータの合計額がなにやら一致しません。DWHと言っても、本番環境のデータをほぼそのまま流し込んでいるだけなので、ずれる事は無い筈なのですが、これは一体どうしたことでしょう。

まぁ、ある程度の予想はついてるんですがね。

DWHと本番環境の数値チェクなんて面倒なことをやっている時点で察する方もいるかも知れませんが、コレ、過去にも発生した事がある障害でして、内容は本番環境のデータが何かの切っ掛けで消えてしまうというモノです。んで、数値を見ると、本番環境の合計額の方が少ないので、同じ障害と考えられます。

前回の障害発生時には、障害発生点が掴みきれずに放置（データの修復はした）したのですが、今回は訳が違います。タイミング的に年次処理で何か問題が発生していると考えるのが自然です。幸い、年次処理直前のバックアップはあるので、そいつで再現テストですね。

ちなみに、夜間処理前のバックアップは日々取得しているのですが、データベースが入っているストレージの機能を使用したバックアップなので、開発環境にデータを移すとかいう作業には使い勝手が悪いのです。そこで、別の手段（Oracleのexpdp）でもバックアップを取得しておいた訳です。

ストレージバックアップ、バックアップもリストアも早いのは体したものですが、小回りが利かないのが難点ですね。

■　後処理

多少の問題はありましたが、確認すると決算に影響するような問題ではなさそうなので、今日はここまでにして帰宅します。そろそろ眠くなってきましたし。

外は雪、車は夏タイヤ、とは言え置いて帰る訳にも行かなかったので運転して帰ったのですが、とっても怖かったです。雪と言ってもガチガチに凍っている訳でもないので、やたらと足を取られるし、滑るし、空回りするし、酷い目に遭いました。

いつもタイヤ交換は早めにしていたので気付かなかったのですが、冬タイヤって凄いものだったんですね。

投稿記事の一覧：http://harikofu.web.fc2.com/

--- blog end ---