JP5263384B2 - 情報処理装置における障害再現装置及び障害再現方法並びに障害再現プログラム - Google Patents

Description

この発明は、情報処理装置において発生する障害を再現する障害再現装置及び障害再現方法並びに障害再現プログラムに関する。

図１９は、従来の情報処理装置としてのサーバシステム１０の構成を示す図である。図１９に示すように、このサーバシステムは、ＯＳ（Operating System）が稼動する複数のサーバユニット１２ａ〜１２ｄと、サーバユニット１２ａ〜１２ｄを監視・制御する管理ユニット１１とを有する。

システム管理装置としてのサービスプロセッサ（SerVice Processor：ＳＶＰ）等の管理ユニット１１は、各サーバユニット１２ａ〜１２ｄの情報をユーザ１からの要求に応じてＨＴＭＬ（Hyper Text Markup Language）形式で表示する。サーバユニット１２ａ（１２ｂ〜１２ｄも同様）上にはシステム管理ソフト１３があり、システム管理ソフト１３は、サーバユニット１２ａ内部の情報を取得したり、ハードウェア（ドライバ）１５の電源制御を行う。

システム管理ソフト１３は、例えば、ＯＳ１４から情報を取得した場合に、取得した情報を管理ユニット１１からの要求に応じて通知したり、必要に応じて新たに情報を取得し直したりする。なお、ユーザ１がサーバユニット１２ａ〜１２ｄ上のハードウェア制御を行う場合には、システム管理ソフト１３に直接要求を出し、システム管理ソフト１３は、ＯＳ１４を通してハードウェア１５の電源制御を行う。

システム管理ソフト１３は、一連の処理をメモリである記憶装置１６のログファイルに保存し、異常が発生した際にはこのログファイルを解析することによって、発生した異常の原因を究明することが可能となる。ログファイルは、処理の内容や処理を実行した時間の情報等が含まれる。

ところで、図１９に示したサーバシステムでは、ハードウェア制御の処理によって、システム管理ソフト１３の情報取得に影響がでる可能性がある。図２０は、ハードウェア制御による情報取得の影響を説明するための図である。

図２０に示す例では、ユーザ１が電源ＯＦＦ操作を行うと共に、画面表示操作を行った場合について示す。ユーザ１が電源ＯＦＦ操作を行うと（ステップＳ１０）、システム管理ソフト１３が、電源ＯＦＦ要求をＯＳ１４に対して行う（ステップＳ１１）。

ＯＳ１４は、各サーバユニットが有するハードウェア資源としてのデバイスの存在チェックを行い、処理対象となるデバイスが存在する場合に、処理を開始する（ステップＳ１２）。ハードウェア１５は、電源ＯＦＦを開始し（ステップＳ１３）、電源ＯＦＦを完了し（ステップＳ１４）、電源ＯＦＦの完了通知をＯＳ１４に対して行う（ステップＳ１５）。

ＯＳ１４は、電源ＯＦＦの完了通知を取得した場合に、デバイスが削除された旨の情報をログファイルに記録し、電源ＯＦＦの完了通知をシステム管理ソフト１３に対して行う（ステップＳ１６）。システム管理ソフト１３は、電源ＯＦＦの完了通知を取得した場合に、電源ＯＦＦの完了通知を行い（ステップＳ１７）、ユーザ１が処理完了を受信する（ステップＳ１８）。

一方、ユーザ１が、電源ＯＦＦ操作を行うほぼ同じタイミングで、画面表示操作を行うと（ステップＳ２０）、管理ユニット１１が情報取得要求をシステム管理ソフト１３に対して行い（ステップＳ２１）、システム管理ソフト１３が情報取得要求をＯＳ１４に対して行う（ステップＳ２２）。

ＯＳ１４が、システム管理ソフト１３から情報取得要求を取得した時点において、ハードウェア１５は既に電源ＯＦＦとなっているが、ハードウェア１５からの電源ＯＦＦ完了通知をＯＳ１４が取得していないため、ＯＳ１４は、情報取得の処理を開始する（ステップＳ２３）。したがって、このような場合には、処理のすれ違いが発生する。

このような場合、ハードウェア１５は電源ＯＦＦのため、情報取得に失敗し（ステップＳ２４）、ＯＳ１４は情報取得を失敗した旨の失敗通知をシステム管理装置１３に対して行う（ステップＳ２５）。システム管理ソフト１３は、エラー応答を管理ユニット１１に対して行い（ステップＳ２６）、管理ユニット１１は、情報取得を失敗した旨の画面表示を行い（ステップＳ２７）、ユーザ１は表示確認を行う（ステップＳ２８）。

図２０において説明したように、処理のタイミングに依存する障害が発生した場合、原因究明のため、障害が発生した処理および処理の実行タイミング等による障害を再現するための試験（以下、障害再現試験）が行われる。再現試験では、図１に示したユーザの操作を障害再現装置に置き換え、かかる障害再現装置が、サーバシステム１０に対して処理のタイミングや処理の内容を変更しながら各種処理を繰り返し実行することで、障害が発生した環境を実現するとともに、障害が生じた処理および処理のタイミングを特定する。しかしながら、障害再現装置は、サーバユニット内で実行される処理のタイミングを意図したタイミングに調整することは困難であった。

例えば、障害再現装置が、図１に示した情報取得要求と、ハードウェア制御の処理要求をサーバシステムに行い、障害が発生する処理のタイミングを再現する場合について説明する。障害再現装置が、サーバシステム１０に対して出力する情報取得要求は、管理ユニット１１を通してシステム管理ソフト１３に伝わり、ハードウェア制御は、システム管理ソフト１３に伝わる。

このため、システム管理ソフト１３の処理開始タイミングは、管理ユニット１１による処理遅延の影響を受けるため、障害再現装置が、情報取得要求と、ハードウェア制御とを同時に行ったとしても、情報取得要求およびハードウェア制御に対する処理がシステム管理ソフト１３によって、厳密には同時に行われることはない。また、非同期で動作するそれぞれの処理は、割り込み処理やプロセスの優先順位またはＯＳ１４の負荷の影響などにより、各処理を一定間隔で実行しても少しずつずれが生じてくる。

従って、障害再現装置は、情報取得要求を行うタイミングと、ハードウェア制御をおこなうタイミングとを手当たり次第変更し、エラーが発生したか否かによって、エラーを引き起こす処理のタイミングを特定していた。図２１は、従来の障害再現試験の処理のタイミングを説明するための図である。図２１に示すように、障害再現装置は、各処理の処理間隔を一定にして、処理を繰り返すことで、エラーを再現する手法（図２１上段）や、各処理の処理間隔をランダムに変更して、処理を繰り返すことで、エラーを再現する方法（図２１下段）を用いている。

なお、障害再現試験を実行するその他の従来技術として、電子計算機システム上のユーザの操作履歴を記録しておき、記録した操作履歴と同じ処理を実行して障害再現試験を実行することで障害の原因を解析する技術も知られている。また、かかる従来技術では、被試験装置としての情報処理装置の環境情報の変更、動作アプリケーションの組合せを変えて試験を実施するなど、動作の条件を複数変えて障害の再現を試みている。

また、非試験装置としての情報処理装置に記録されたログ情報を基にして、障害発生時の複数の各処理の実行開始時間の相対関係を求め、開始時刻を変化させながら、再現試験を実行するという技術も知られている。

特開平８−５０５５５号公報 特開平６−１３９０９３号公報

しかしながら、上述した従来の技術では、エラーを引き起こす処理のタイミングを特定する場合に、障害再現装置が各処理を様々なタイミングで闇雲に実施しているため、非常に効率が悪いという問題があった。

また、ユーザの操作履歴を記録しておき、記録した操作履歴の通りに処理を実行して再現試験を行うことで障害の原因を解析する技術では、図１９に示した管理ユニット１１のような操作遅延の要因を想定していない。従って、管理ユニット１１のような操作遅延の要因となる経路が存在すると、操作にタイムラグ、すなわち遅延時間が生じてしまうため、操作履歴に記録された処理のタイミングが必ずしもエラーを引き起こす処理のタイミングにならず、結局は、同じ環境で繰り返し処理を実行させなければ、エラーを再現させることができなかった。

また、ログ情報を参照して、障害が発生した処理のタイミングを計算し、計算したタイミングで集中的に障害再現試験を行うことも考えられるが、問題の起きたタイミングパターンをログ情報から解析し、障害再現装置に組み込む必要が生じるため、余分な手間がかかってしまう。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、効率よく再現試験を実行することができる情報処理装置における障害再現装置及び障害再現方法並びに障害再現プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、この障害再現装置は、情報処理装置に接続されるともに、前記情報処理装置に発生する障害を再現する障害再現装置において、前記情報処理装置に障害が発生した場合に、前記障害を発生した第１及び第２の処理を抽出し、前記第１の処理を前記情報処理装置が実行した第１の実行時と前記第２の処理を前記情報処理装置が実行した第２の実行時との時間差である目標時間を算出する目標時間算出部と、前記第１の処理を実行する第１の実行命令と前記第２の処理を実行する第２の実効命令を、前記情報処理装置に対してそれぞれ出力し、前記情報処理装置が前記第１の処理を実行した第１の実行時と前記情報処理装置が前記第２の処理を実行した第２の実行時を含む履歴情報を取得する履歴情報取得部と、前記第１の実行命令を出力した第１の出力時と前記第２の実行命令を出力した第２の出力時と前記履歴情報に含まれる前記第１及び第２の実行時に基づいて、前記第１の出力時と前記第１の処理時の時間差である第１の遅延時間と前記第２の出力時と前記第２の処理時の時間差である第２の遅延時間を算出する遅延時間算出部と、前記目標時間と前記第１の遅延時間に基づいて、前記第１及び第２の実行命令を前記情報処理装置に出力するタイミングを調整する調整部を有することを要件とする。

障害再現装置によれば、被試験装置内に発生し得るタイムラグを考慮して再現試験を実行するので、効率よく障害の発生する処理を再現することが出来る。

図１は、本実施例にかかる障害再現装置の概要を説明するための図（１）である。 図２は、本実施例にかかる障害再現装置の概要を説明するための図（２）である。 図３は、本実施例にかかる障害再現装置の構成を示す機能ブロック図である。 図４は、ログテーブルのデータ構造の一例を示す図である。 図５は、再現試験ログテーブルのデータ構造の一例を示す図である。 図６は、検出対象ログテーブルのデータ構造の一例を示す図である。 図７は、処理対応テーブルのデータ構造の一例を示す図である。 図８は、処理組合せテーブルのデータ構造の一例を示す図である。 図９は、目標値テーブルのデータ構造の一例を示す図である。 図１０は、実行済み時刻情報のデータ構造の一例を示す図である。 図１１は、実行タイミングテーブルのデータ構造の一例を示す図である。 図１２は、タイムラグ履歴情報のデータ構造の一例を示す図である。 図１３は、目標値算出部の処理を説明するための図である。 図１４は、テーブル管理部の処理を説明するための図である。 図１５は、障害が発生したログデータを判定する処理手順を示すフローチャートである。 図１６は、再現試験の処理手順を示すフローチャートである。 図１７は、障害再現判定処理の処理手順を示すフローチャートである。 図１８は、実施例にかかる障害再現装置を構成するコンピュータのハードウェア構成を示す図である。 図１９は、従来のサーバシステムの構成を示す図である。 図２０は、ハードウェア制御による情報取得の影響を説明するための図である。 図２１は、従来の再現試験の処理のタイミングを説明するための図である。

符号の説明

１０ サーバシステム
１１ 管理ユニット
１２ａ，１２ｂ，１２ｃ，１２ｄ サーバユニット
１３ システム管理ソフト
１４ ＯＳ
１５ ハードウェア
１６ 記憶装置
１６ａ ログテーブル記憶部
１６ｂ 再現試験ログテーブル記憶部
３０ コンピュータ
３１ 入力装置
３２ モニタ
３３ ＲＡＭ
３３ａ，３８ａ 各種データ
３４ ＲＯＭ
３５ 通信制御装置
３６ 媒体読取装置
３７ ＣＰＵ
３７ａ 再現試験実行プロセス
３８ ＨＤＤ
３８ｂ 再現試験実行プログラム
３９ バス
１００ 障害再現装置
１０１ 検出対象ログテーブル記憶部
１０２ 処理対応テーブル記憶部
１０３ 処理組合せテーブル記憶部
１０４ 目標値記憶部
１０５ 実行済み時刻記憶部
１０６ 実行タイミングテーブル記憶部
１０７ タイムラグ履歴記憶部
１０８ ログ解析部
１０９ 目標値算出部
１１０ テーブル管理部
１１１ タイムラグ算出部
１１２ 実行制御部

以下に添付図面を参照して、実施形態の一例に係る情報処理装置における障害再現装置及び障害再現方法並びに障害再現プログラムの実施例を詳細に説明する。

まず、本実施例にかかる障害再現装置の概要について説明する。図１および図２は、本実施例にかかる障害再現装置の概要を説明するための図である。このサーバシステム１０は、ＯＳ（Operating System）が稼動する複数のサーバユニット１２ａ〜１２ｄと、サーバユニット１２ａ〜１２ｄを監視・制御する管理ユニット１１とを有する。

システム管理装置としてのサービスプロセッサ（SerVice Processor：ＳＶＰ）等の管理ユニット１１は、各サーバユニット１２ａ〜１２ｄの情報をユーザ１からの要求に応じてＨＴＭＬ（Hyper Text Markup Language）形式で表示する。サーバユニット１２ａ（１２ｂ〜１２ｄも同様）上にはシステム管理ソフト１３があり、システム管理ソフト１３は、サーバユニット１２ａ内部の情報を取得したり、ハードウェア（ドライバ）１５の電源制御を行う。

システム管理ソフト１３は、例えば、ＯＳ１４から情報を取得した場合に、取得した情報を管理ユニット１１からの要求に応じて通知したり、必要に応じて新たに情報を取得し直したりする。なお、ユーザ１がサーバユニット１２ａ〜１２ｄ上のハードウェア制御を行う場合には、システム管理ソフト１３に直接要求を出し、システム管理ソフト１３は、ＯＳ１４を通してハードウェア１５の電源制御を行う。

システム管理ソフト１３は、一連の処理をメモリである記憶装置１６のログファイルに保存し、異常が発生した際にはこのログファイルを解析することによって、発生した異常の原因を究明することが可能となる。ログファイルは、処理の内容や処理を実行した時間の情報等が含まれる。

本実施例にかかる障害再現装置１００は、サーバシステム１０に障害が発生した場合に、障害を引き起こした第１の処理および第２の処理を抽出する。例えば、図２０において説明したような障害が発生した場合には、第１の処理はハードウェアが行う制御となり、第２の処理は情報取得要求となる。

続いて、障害再現装置１００は、第１、２の処理の実行命令をサーバシステム１０に出力し、サーバシステム１０からシステム管理ソフト１３が第１の処理および第２の処理を実際に実行した時間（実行を開始した時間）を含む履歴情報を取得する。障害再現装置１００は、実行命令を出力した時間および履歴情報を基にして、実行命令が出力されてから第１及び第２の処理が実行されるまでのタイムラグを算出する。

また、障害再現装置１００は、サーバシステム１０に障害が発生した時点における第１の処理が実際に実行された時間と第２の処理が実際に実行された時間（実行を開始した時間）との差分を目標値として算出する（図２の１段目参照）。障害再現装置１００は、算出した目標値とタイムラグとしての遅延時間とを基にして、第１の処理および第２の処理の実行命令をサーバシステム１０に出力するタイミングを調整し、サーバシステム１０に発生した障害を再現する。

例えば、障害再現装置１００が、上記遅延時間を考慮せず、上記算出した目標値に従って、第１の処理および第２の処理の実行要求をサーバシステム１０に出力すると、システム管理ソフト１３の遅延時間の影響を受け、意図したタイミングで第１の処理および第２の処理をサーバシステム１０に実行させることができない（図２の２段目参照）。

一方、本実施例にかかる障害再現装置１００のように、目標値とタイムラグとしての遅延時間とを基にして、第１の処理および第２の処理の実行命令をサーバシステム１０に出力するタイミングを調整すると、意図したタイミング（第１の処理が実行される時間と第２の処理が実行される時間との差分が目標値と同じになるタイミング）で第１の処理および第２の処理をサーバシステム１０に実行させることができ（図２の３段目参照）、再現試験の効率を向上させることが出来る。

また、本実施例にかかる障害再現装置１００は、障害再現試験を実行するたびに、各処理の実行履歴を実行タイミングテーブルに順次登録していく。かかる実行タイミングテーブルは、障害再現試験を重ねる程に増えていき、最終的にどの様な処理をどれだけ実施し、どれだけ障害を再現できたかを統計的に処理できる情報となる。

次に、本実施例にかかる障害再現装置１００の構成について説明する。図３は、本実施例にかかる障害再現装置１００の構成を示す機能ブロック図である。図３に示すように、この障害再現装置１００は、検出対象ログテーブル記憶部１０１、処理対応テーブル記憶部１０２、処理組合せテーブル記憶部１０３、目標値記憶部１０４、実行済み時刻記憶部１０５、実行タイミングテーブル記憶部１０６、タイムラグ履歴記憶部１０７、ログ解析部１０８、目標値算出部１０９、テーブル管理部１１０、タイムラグ算出部１１１、実行制御部１１２を有する。

また、障害再現装置１００は、サーバシステム１０に接続される。サーバシステム１０の構成は、図１９に示したサーバシステム１０の構成と同様である。なお、記憶装置１６は、ログテーブル記憶部１６ａおよび再現試験ログテーブル記憶部１６ｂを有する。

ここで、ログテーブル記憶部１６ａは、サーバシステム１０が実行した処理の履歴（ログテーブル）を記憶する記憶部である。図４は、ログテーブルのデータ構造の一例を示す図である。同図に示すように、このログテーブルは、処理を実行した日時と、処理とを対応付けて記憶する。

再現試験ログテーブル記憶部１６ｂは、サーバシステム１０が障害再現試験を実行した際の処理の履歴（再現試験ログテーブル）を記憶する。図５は、再現試験ログテーブルのデータ構造の一例を示す図である。同図に示すように、処理（障害再現試験の処理）を実行した日時等の実行時刻と、処理（障害再現試験の処理）と、処理完了時間とを対応付けて記憶している。ここで、処理完了時間は、処理を開始してから当該処理が完了するまでの時間を示す。

サーバシステム１０は、例えば、システム管理ソフト１３（図１参照）がシステム管理に関する処理を実行するたびに、ログテーブル記憶部１６ａのログテーブル、再現試験ログテーブル記憶部１６ｂの再現試験ログテーブルを更新する。図４および図５に示したログテーブル、再現試験ログテーブルは、障害再現装置１００によって読み出され、目標値、タイムラグとしての遅延時間等の算出に利用される。

障害再現装置１００の構成の説明に戻ると、検出対象ログテーブル記憶部１０１は、障害と判定するログの一覧（検出対象ログテーブル）を記憶する記憶部である。

図６は、検出対象ログテーブルのデータ構造の一例を示す図である。図６に示すように、この検出対象ログテーブルは、障害と判定するログのフォーマットを記憶している。

処理対応テーブル記憶部１０２は、障害と判定するログに関連するログの一覧（処理対応テーブル）を記憶する記憶部である。

図７は、処理対応テーブルのデータ構造の一例を示す図である。図７に示すように、この処理対応テーブルは、ユーザ操作とシステム管理ソフトの処理とを対応付けて記憶している。

処理組合せテーブル記憶部１０３は、障害の発生し得る処理の組合せの一覧（処理組合せテーブル）を記憶する記憶部である。

図８は、処理組合せテーブルのデータ構造の一例を示す図である。図８に示すように、この処理組合せテーブルは、障害の発生し得る処理の組合せ（処理１と処理２との組合せ）を記憶する。

目標値記憶部１０４は、各処理の開始時間の差分となる目標値の一覧（目標値テーブル）を記憶する記憶部である。

図９は、目標値テーブルのデータ構造の一例を示す図である。図９に示すように、この目標値テーブルは、処理１と、処理２と、目標値とを対応付けて記憶する。

実行済み時刻記憶部１０５は、実行制御部１１２がサーバシステム１０に対して処理要求を行った場合の処理の内容と処理要求を行った時刻とを対応付けた情報（実行済み時刻情報）を記憶する記憶部である。

図１０は、実行済み時刻情報のデータ構造の一例を示す図である。図１０に示すように、この実行済み時刻情報は、処理の内容と処理要求を行った日時とを対応付けて記憶する。ここで、実効性魚部１１２は、例えば演算処理装置としてのＣＰＵ(Central Processing Unit)又はＭＰＵ(Micro Processing Unit)若しくはコントローラ等であり、ファームウェア等のプログラム等によって制御されても良い。

実行タイミングテーブル記憶部１０６は、再現試験の実行履歴を記憶する一覧（実行タイミングテーブル）を記憶する記憶部である。

図１１は、実行タイミングテーブルのデータ構造の一例を示す図である。ここでは一例として、再現試験により実行される処理１，２をそれぞれ、ハードウェア制御、情報取得要求として実行タイミングテーブルの説明を行う。図１１に示すように、この実行タイミングテーブルは、処理１完了時間と、遅延時間と、処理２完了時間と、実施回数と、障害発生回数とを対応付けて記憶する。

ここで、処理１完了時間は、サーバシステム１０がハードウェア制御を開始してから完了するまでの時間を示す。遅延時間は、サーバシステム１０がハードウェア制御を開始してから、情報取得要求を開始するまでの時間を示す。

処理２完了時間は、サーバシステム１０が情報取得要求を開始してから完了するまでの時間を示す。実施回数は、処理１完了時間、遅延時間、処理２完了時間の組合せによる再現試験の実施回数を示し、障害発生回数は、かかる組合せにより障害が実際に発生した回数を示す。

タイムラグ履歴記憶部１０７は、各処理のタイムラグの履歴（タイムラグ履歴情報）を記憶する記憶部である。

図１２は、タイムラグ履歴情報のデータ構造の一例を示す図である。図１２に示すように、このタイムラグ履歴情報は、処理１と、処理２と、実行制御部１１２が行った処理１の実行時刻および処理２の実行時刻と、タイムラグとを対応付けて記憶する。

例えば、図１２の１段目では、「2008/09/02 10:52:09」に行った処理１「device A turn off start」、「2008/09/02 10:52:24」に行った処理２「get device info start」の組み合わせで処理を実行した場合のタイムラグが「０．１ｍｓ」となっている。すなわち、障害再現装置１００が、目標値にあわせて処理１、処理２の順に処理要求をサーバシステム１０に出力した場合に、想定よりも処理２の処理が「０．１ｍｓ」だけ遅れてサーバシステム１０に実行された旨が示されている。

図３の説明に戻ると、ログ解析部１０８は、サーバシステム１０から取得するログデータを解析し、障害の発生する処理の組合せや、再現試験により障害が再現されたか否かを判定する処理部である。ここでは、ログ解析部１０８が、障害の発生する処理の組合せを抽出する処理について説明した後に、再現試験の試験結果を判定する処理について説明する。

まず、ログ解析部１０８が、障害の発生する処理の組合せを抽出する処理について説明する。ログ解析部１０８は、サーバシステム１０からログテーブル記憶部１６ａに記憶されたログデータを取得する。ここで、ログデータには、処理を実行した日時と処理内容とが含まれている。ログ解析部１０８は、ログデータの処理内容と検出対象ログテーブル（図６参照）とを比較して、ログデータが検出対象のエラーログであるか否かを判定する。

例えば、ログデータの処理内容が「device A off start」の場合には、検出対象ログテーブルの「device * turn off start」にヒットするので、かかるログデータを検出対象のログデータであると判定する。一方、ログデータの処理内容が、検出対象ログテーブルにヒットしない場合には、取得したログデータを検出対象のログデータではないと判定する。

ログ解析部１０８が、取得したログデータを検出対象のログデータではないと判定した場合には、次のログデータをログテーブル記憶部１６ａから取得し、取得したログデータが、検出対象のログデータであるか否かを判定する。

ところで、ログ解析部１０８は、取得したログデータを検出対象のログデータであると判定した場合には、取得したログデータを内部メモリ（図示略）に保持し、当該ログデータよりも以前にログテーブル記憶部１６ａに記憶されたログデータを順次取得する。

ログ解析部１０８は、検出対象のログデータよりも以前にログテーブル記憶部１６ａに記憶されたログデータと、処理対応テーブル（図７参照）とを比較して、ログデータがエラーと判定したログデータと関連するか否かを判定する。

例えば、ログデータの処理内容が「get device info start」の場合には、処理対応テーブルの１段目の「get device info start」にヒットするので、かかるログデータを関連する（障害と判定するログデータに関連する）ログデータであると判定し、判定したログデータを内部メモリ１０８ａに記憶する。

続いて、ログ解析部１０８は、内部メモリ１０８ａに記憶されたログデータの処理内容を２つのログデータ毎に組合せ、組合せた処理内容と同じ組合せが処理組合せテーブル（図８参照）に存在するか否かを判定する。同じ組合せが処理組合せテーブルに存在する場合には、ログ解析部１０８は、該当するログデータを目標値算出部１０９に出力する。

例えば、内部メモリ１０８ａに処理内容「get device info start」を有するログデータと、処理内容「device A turn off start」を有するログデータとが記憶されている場合には、「get device info start」と「device A turn off start」とが組み合わされる。ここで、組み合わされた処理と、処理組合せテーブルとを比較すると、組み合わされた処理は、処理組合せテーブルの１段目にヒットする。この場合には、ログ解析部１０８は、処理内容「get device info start」を有するログデータと、処理内容「device A turn off start」を有するログデータとを目標値算出部１０９に出力する。

次に、ログ解析部１０８が、再現試験の試験結果を判定する処理について説明する。ログ解析部１０８は、サーバシステム１０から再現試験ログテーブル記憶部１６ｂ（図５参照）に記憶されたログデータ（以下、再現試験ログデータ）を取得する。ここで、再現試験ログデータには、処理を実行した日時、処理内容、処理完了時間が含まれている。ログ解析部１０８は、再現試験ログデータの処理内容と検出対象ログテーブルとを比較して、再現試験ログデータが検出対象のエラーログであるか否かを判定する。

ログ解析部１０８は、再現試験ログデータが検出対象のエラーログであると判定した場合には、再現試験により障害が再現されたと判定する。ログ解析部１０８は、障害が再現されたと判定した場合には、障害の発生した再現試験ログデータをテーブル管理部１１０に出力する。

一方、ログ解析部１０８は、再現試験ログデータが検出対象のエラーログでないと判定した場合には、再現試験ログデータと処理対応テーブルとを比較して、障害の発生したエラーに関連するログデータ（再現試験ログデータ）であるか否かを判定する。

ログ解析部１０８は、障害の発生したログデータに関連する再現試験ログデータであると判定した場合には、判定した再現試験ログデータをテーブル管理部１１０、タイムラグ算出部１１１に出力する。

目標値算出部１０９は、サーバシステム１０に障害が発生した時点における第１の処理（例えば、ハードウェア制御）が実際に実行された時間と第２の処理（情報取得要求）が実際に実行された時間との差分を示す目標値を算出する処理部である。

目標値算出部１０９は、ログ解析部１０８からログデータの組を取得し、取得したログデータに含まれる日時に基づいて目標値を算出する。

図１３は、目標値算出部１０９の処理を説明するための図である。ここでは一例として、処理の内容をハードウェア制御、情報取得要求とし、ハードウェア制御が実行された実行時に係る日時を「２００８／９／２ １０：５２：１３」、情報取得要求が実行された実行時に係る日時を「２００８／９／２ １０：５２：２４」とする。

図１３に示すように、先に実行されたハードウェア制御を基準とすると、ハードウェア制御と比較して、情報取得要求は、１１秒おくれて実行されているので、目標値算出部１０９は、目標値を１１秒として算出し、各処理と対応付けて算出結果を目標値記録部１０４に登録する（図９の１段目参照）。

テーブル管理部１１０は、ログ解析部１０８から出力される再現試験の試験結果に基づいて、実行タイミングテーブル（図１１参照）を更新する処理部である。具体的に、テーブル管理部１１０は、ログ解析部１０８から、障害を再現した再現試験ログデータと、障害の発生したログデータに関連した再現試験ログデータとを取得し、取得した処理の組合せを実行タイミングテーブルに登録する。

テーブル管理部１１０は、処理の組合せが既に実行タイミングテーブルに登録されている場合には、実行回数に１を加算し、未だ登録されていない場合には、かかる処理の組合せを実行タイミングテーブルに登録する。なお、図１１に示すように、処理の内容が同一であっても、処理完了時間毎または遅延時間毎に処理の組合せを実行タイミングテーブルに登録しても良い。また、実際に障害が発生したか否かに基づいて、実施回数に加えて障害発生回数も実行タイミングテーブルに登録しても良い。

図１４は、テーブル管理部１１０の処理を説明するための図である。図１４の１段目に示すように、未実施のパターン（例えば、各処理の内容、遅延時間からなるパターン）がログ解析部１０８から出力された場合には、新規のパターンを実行タイミングテーブルに登録する。一方、実施済みのパターンがログ解析部１０８から出力された場合には、一致するパターンに対応する実施回数に１を加算する。

タイムラグ算出部１１１は、実行制御部１１２が処理の実行命令をサーバシステム１０に出力した時点から、当該実行命令に対応した処理がサーバシステム１０で実際に実行されるまでの時間、すなわち、タイムラグを算出する処理部である。タイムラグ算出部１１１は、算出結果を各処理内容と対応付けてタイムラグ履歴記憶部１０７（図１２参照）に登録する。

具体的に、タイムラグ算出部１１１は、ログ解析部１０８から再現試験ログデータを取得した場合に、取得した再現試験ログデータの処理内容と同一の処理内容となる処理の日時を実行済み時刻記憶部１０５（図１０参照）から検出する。例えば、再現試験ログデータの処理内容が「device A turn off start」の場合には、タイムラグ算出部１１１は、実行済み時刻記憶部１０５から時刻「２００８／０９／０２／ １０：５２：０９」が抽出される。

そして、タイムラグ算出部１１１は、再現試験ログデータに含まれる日時と、実行済み時刻記憶部１０５から検出した日時との差分をとることで、タイムラグを算出する。タイムラグ算出部１１１は、処理の組合せと対応付けて、順次タイムラグをタイムラグ履歴記憶部１０７に登録していく。

実行制御部１１２は、目標値記憶部１０４に記憶された目標値と、タイムラグ履歴記憶部１０７に記憶されたタイムラグとを基にしてタイミングを調整した後に、再現試験にかかる各処理の実行命令をサーバシステム１０に出力する処理部である。

実行制御部１１２の具体的な処理の一例を以下に説明する。また、ここでは、再現試験の各処理をハードウェア制御（device A turn off start）と情報取得要求（get device info start）とし、ハードウェア制御は情報取得要求よりも先にサーバシステム１０に出力されるものとする。

まず、実行制御部１１２は、ハードウェア制御と情報取得要求との組合せに対応する目標値を目標値記憶部１０４から取得する。図９を参照すると、ハードウェア制御と情報取得要求との組合せに対応する目標値は、「１１（秒）」となる。

続いて、実行制御部１１２は、ハードウェア制御と情報取得要求との組合せに対応するタイムラグをタイムラグ履歴記憶部１０７から取得する。図１２を参照すると、ハードウェア制御と情報取得要求との組合せに対応するタイムラグは、複数（０．１ｍｓ、０．０７ｍｓ、１．５ｍｓ）存在する。複数のタイムラグが存在する場合には、例えば、実行制御部１１２は、各タイムラグの平均値を算出し、算出した平均値をタイムラグとして利用する。

実行制御部１１２は、再現試験を実行する際に、ハードウェア制御の実行命令を出力した後に、目標値にタイムラグを加算しただけの時間経過した時点で、情報取得要求の実行命令を出力する。

このように、実行制御部１１２は、再現試験を実行する場合に、目標値だけでなく、サーバシステム１０に発生するタイムラグも考慮して、各処理の実行命令の出力タイミングを調整するので、効率よく再現試験を行うことができる。

なお、ここでは一例として、実行制御部１１２がタイムラグを算出する場合に、タイムラグの平均値を求めていたが、これに限定されるものではない。例えば、実行制御部１１２は、タイムラグ算出部１１１に記憶されたタイムラグの内、最後に登録されたタイムラグを用いてもよい。または、タイムラグが最後に登録された時刻を起点として所定時間内に登録されたタイムラグを取得し、取得したタイムラグの数を重みとして、タイムラグの平均値などを補正しても良い。

次に、障害再現装置１００の処理手順について説明する。図１５は、障害の発生したログデータを判定する処理手順を示すフローチャートである。図１５に示すように、障害再現装置１００は、ログ解析部１０８がログテーブルからログデータを取得し（ステップＳ１０１）、取得したログデータが検出対象ログテーブル中に存在するか否かを判定する（ステップＳ１０２）。

ログデータが検出対象ログテーブル中に存在しない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０１に移行する。一方、ログデータが検出対象ログテーブル中に存在する場合には（ステップＳ１０３，Ｙｅｓ）、ログ解析部１０８が、ログテーブルから逆時間方向にログデータを取得する（ステップＳ１０４）。

ログ解析部１０８は、取得したログデータが処理対応テーブルに存在するか否かを判定し（ステップＳ１０５）、存在しない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０４に移行する。一方、存在する場合には（ステップＳ１０６，Ｙｅｓ）、ログデータを一時的に内部メモリに保持する（ステップＳ１０７）。

ログ解析部１０８は、処理組合せテーブルの処理の組合せと等しい組合せを、内部メモリに保持しているログデータで作成可能か否かを判定し（ステップＳ１０８）、作成が不可能の場合には（ステップＳ１０９，Ｎｏ）、ステップＳ１０４に移行する。

一方、処理組合せテーブルの処理の組合せと等しい組合せを、内部メモリに保持するログデータで作成可能である場合には（ステップＳ１０９，Ｙｅｓ）、ログ解析部１０８は、処理の組合せを目標値算出部１０９に出力する（ステップＳ１１０）。

図１６は、再現試験の処理手順を示すフローチャートである。同図に示すように、障害再現装置１００は、目標値算出部１０９がログ解析部１０８から問題のある処理の組合せ（ログデータの組合せ）を取得したか否かを判定し（ステップＳ２０１）、取得していない場合には（ステップＳ２０２，Ｎｏ）、処理を終了する。

一方、目標値算出部１０９がログ解析部１０８から問題のある処理の組合せを取得した場合には（ステップＳ２０２，Ｙｅｓ）、目標値を算出し（ステップＳ２０３）、テーブル管理部１１０が実行タイミングテーブルを作成する（ステップＳ２０４）。

障害再現装置１００は、再現試験の最大実施時間を超過したか否かを判定し（ステップＳ２０５）、超過した場合には（ステップＳ２０６，Ｙｅｓ）、処理を終了する。一方、再現試験の最大実施時間を超過していない場合には（ステップＳ２０６，Ｎｏ）、実行制御部１１２は、タイムラグ履歴から予想タイムラグを特定する（ステップＳ２０７）。

実行制御部１１２は、目標値および予想タイムラグにあわせて実行する処理をスケジュールし（ステップＳ２０８）、スケジュールに従って処理を実行し（ステップＳ２０９）、障害再現判定処理を実行する（ステップＳ２１０）。

障害再現判定処理の判定結果により、障害が再現されなかった場合には（ステップＳ２１１，Ｎｏ）、テーブル管理部１１０が、再現試験により行った処理は、実行済みの処理の組合せと一致したか否かを判定する（ステップＳ２１２）。

実行済みの処理の組合せと一致した場合には（ステップＳ２１３，Ｙｅｓ）、テーブル管理部１１０は、実行タイミングテーブル上の、一致した処理の組み合わせの実施回数に１を加算し（ステップＳ２１４）、ステップＳ２１６に移行する。

一方、実行済みの処理の組合せと一致していない場合には（ステップＳ２１３，Ｎｏ）、テーブル管理部１１０は、実行タイミングテーブルを拡張して、再現試験の処理を登録し（ステップＳ２１５）、タイムラグ算出部１１１がタイムラグを算出し（ステップＳ２１６）、タイムラグ履歴にタイムラグを記録し（ステップＳ２１７）、ステップＳ２０５に移行する。

ところで、障害再現装置１００は、ステップＳ２１１において、障害が再現されていると判定した場合には（ステップＳ２１１，Ｙｅｓ）、処理を継続するか否かを判定し（ステップＳ２１８）、継続する場合には（ステップＳ２１９，Ｙｅｓ）、ステップＳ２１２に移行し、継続しない場合には（ステップＳ２１９，Ｎｏ）、処理を終了する。

次に、図１６のステップＳ２１０に示した障害再現判定処理の処理手順について説明する。図１７は、障害再現判定処理の処理手順を示すフローチャートである。図１７に示すように、障害再現装置１００は、ログ解析部１０８が、再現試験ログテーブルから再現試験ログデータを取得し（ステップＳ３０１）、取得した再現試験ログデータは、検出対象ログテーブル中のログデータと同じ内容であるか否かを判定する（ステップＳ３０２）。

同じ内容の場合には（ステップＳ３０３，Ｙｅｓ）、ログ解析部１０８は、障害が再現されたと判定し、判定結果をテーブル管理部１１０に出力し（ステップＳ３０４）、障害再現判定処理を終了する。

一方、同じ内容が検出対象ログテーブル中に存在しない場合には（ステップＳ３０３，Ｎｏ）、ログ解析部１０８は、再現試験ログデータが処理対応テーブルに存在するか否かを判定する（ステップＳ３０５）。存在する場合には（ステップＳ３０６，Ｙｅｓ）、再現試験ログデータに対する処理の実行時を判定し（ステップＳ３０７）、ステップＳ３０８に移行する。

一方、再現試験ログデータが処理対応テーブルに存在しない場合には（ステップＳ３０６，Ｎｏ）、ログ解析部１０８は、再現試験ログテーブルに未取得の再現試験ログデータが存在するか否かを判定する（ステップＳ３０８）。

未取得の再現試験ログデータが存在する場合には（ステップＳ３０９，Ｙｅｓ）、ステップＳ３０１に移行する。一方、未取得の再現試験ログデータが存在しない場合には（ステップＳ３０９，Ｎｏ）、再現試験ログデータをタイムラグ算出部１１１に出力し（ステップＳ３１０）、障害再現判定処理を終了する。

上述してきたように、本実施例にかかる障害再現装置１００は、サーバシステムに障害が発生した場合に、ログ解析部１０８が障害を引き起こした処理を抽出し、目標値算出部１０９が各処理の実行時間に基づいて目標値を算出すると共に、タイムラグ算出部１１１がタイムラグを算出する。そして、実行制御部１１２が、目標値とタイムラグとを基にして、各処理の実行命令をサーバシステム１０に出力するタイミングを調整し、再現試験を実行するので、サーバシステム内にタイムラグが発生しても、障害発生にかかる処理の再現効率を向上させることが出来る。

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１８は、実施例にかかる障害再現装置を構成するコンピュータ３０のハードウェア構成を示す図である。図１８に示すように、このコンピュータ（障害再現装置）３０は、入力装置３１、モニタ３２、ＲＡＭ（Random Access Memory）３３、ＲＯＭ（Read Only Memory）３４、被試験装置（例えば、サーバシステム１０）との間におけるデータ通信を制御する通信制御装置３５、記憶媒体から情報を読み取る媒体読取装置３６、ＣＰＵ（Central Processing Unit）３７、ＨＤＤ（Hard Disk Drive）３８をバス３９で接続されている。

そして、ＨＤＤ３８には、上述した障害再現装置１００の機能と同様の機能を発揮する再現試験実行プログラム３８ｂが記憶されている。ＣＰＵ３７が、再現試験実行プログラム３８ｂを読み出して実行することにより、再現試験実行プロセス３７ａが起動される。ここで、再現試験実行プロセス３７ａは、図３に示したログ解析部１０８、目標値算出部１０９、テーブル管理部１１０、タイムラグ算出部１１１、実行制御部１１２に対応する。

なお、ＨＤＤ３８には、図３に示した検出対象ログテーブル記憶部１０１、処理対応テーブル記憶部１０２、処理組合せテーブル記憶部１０３、目標値記憶部１０４、実行済み時刻記憶部１０５、実行タイミングテーブル記憶部１０６、タイムラグ履歴記憶部１０７に記憶されるデータに対応した各種データ３８ａを記憶する。ＣＰＵ３７は、ＨＤＤ３８に記憶された各種データ３８ａをＲＡＭ３３に読み出し、各種データ３３ａおよび通信制御装置３５から入力される被試験装置のログデータを基にして目標値、タイムラグを算出し、再現試験を実行する。

ところで、図１８に示した再現試験実行プログラム３８ｂは、必ずしも最初からＨＤＤ３８に記憶させておく必要はない。たとえば、情報処置装置としてのコンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の記憶媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の記憶媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などに再現試験実行プログラム３８ｂを記憶しておき、コンピュータがこれらから再現試験実行プログラム３８ｂを読み出して実行するようにしてもよい。

Claims (9)

1. 情報処理装置に接続されるともに、前記情報処理装置に発生する障害を再現する障害再現装置において、
   前記情報処理装置に障害が発生した場合に、前記障害を発生した第１及び第２の処理を抽出し、前記第１の処理を前記情報処理装置が実行した第１の実行時と前記第２の処理を前記情報処理装置が実行した第２の実行時との時間差である目標時間を算出する目標時間算出部と、
   前記第１の処理を実行する第１の実行命令と前記第２の処理を実行する第２の実行命令を、前記情報処理装置に対してそれぞれ出力し、前記情報処理装置が前記第１の処理を実行した第１の実行時と前記情報処理装置が前記第２の処理を実行した第２の実行時を含む履歴情報を取得する履歴情報取得部と、
   前記第１の実行命令を出力した第１の出力時と前記第２の実行命令を出力した第２の出力時と前記履歴情報に含まれる前記第１及び第２の実行時に基づいて、前記第１の出力時と前記第１の実行時の時間差である第１の遅延時間と前記第２の出力時と前記第２の実行時の時間差である第２の遅延時間を算出する遅延時間算出部と、
   前記目標時間と前記第１の遅延時間と前記第２の遅延時間とに基づいて、前記第１及び第２の実行命令を前記情報処理装置に出力するタイミングを調整する調整部を有することを特徴とする障害再現装置。
2. 前記障害再現装置において、
   前記調整部は、前記目標時間に前記第１の遅延時間を加算した結果に基づいて、前記第１の実行命令を前記情報処理装置に出力するタイミングを調整する請求項１記載の障害再現装置。
3. 前記障害再現装置は、
   前記調整部により障害が再現されたか否かを判定するとともに、前記判定した結果を記憶する判定結果記憶部を更に有することを特徴とする請求項１又は２記載の障害再現装置。
4. 情報処理装置に接続されるともに、前記情報処理装置に発生する障害を再現する障害再現装置の障害再現方法において、
   前記障害再現装置が有する目標時間算出部が、前記情報処理装置に障害が発生した場合に、前記障害を発生した第１及び第２の処理を抽出し、前記第１の処理を前記情報処理装置が実行した第１の実行時と前記第２の処理を前記情報処理装置が実行した第２の実行時との時間差である目標時間を算出するステップと、
   前記障害再現装置が有する履歴情報取得部が、前記第１の処理を実行する第１の実行命令と前記第２の処理を実行する第２の実行命令を、前記情報処理装置に対してそれぞれ出力し、前記情報処理装置が前記第１の処理を実行した第１の実行時と前記情報処理装置が前記第２の処理を実行した第２の実行時を含む履歴情報を取得するステップと、
   前記障害再現装置が有する遅延時間算出部が、前記第１の実行命令を出力した第１の出力時と前記第２の実行命令を出力した第２の出力時と前記履歴情報に含まれる前記第１及び第２の実行時に基づいて、前記第１の出力時と前記第１の実行時の時間差である第１の遅延時間と前記第２の出力時と前記第２の実行時の時間差である第２の遅延時間を算出するステップと、
   前記障害再現装置が有する調整部が、前記目標時間と前記第１の遅延時間と前記第２の遅延時間とに基づいて、前記第１及び第２の実行命令を前記情報処理装置に出力するタイミングを調整するステップを有することを特徴とする障害再現方法。
5. 前記障害再現装置において、
   前記調整部が、前記目標時間と前記第１の遅延時間に基づいて、前記第１及び第２の実行命令を前記情報処理装置に出力するタイミングを調整するステップは、前記目標時間に前記第１の遅延時間を加算した結果に基づいて、前記第１の実行命令を前記情報処理装置に出力するタイミングを調整するステップであることを特徴とする請求項４記載の障害再現方法。
6. 前記障害再現方法は、
   前記障害再現装置が有する判定結果記憶部が、前記調整部により障害が再現されたか否かを判定するとともに、前記判定した結果を記憶するステップを更に有することを特徴とする請求項４又は５記載の障害再現方法。
7. 情報処理装置に接続され、演算処理装置を有するとともに、前記情報処理装置に発生する障害を再現する障害再現装置の障害再現プログラムにおいて、
   前記演算処理装置に、
   前記障害再現装置が有する目標時間算出部が、前記情報処理装置に障害が発生した場合に、前記障害を発生した第１及び第２の処理を抽出し、前記第１の処理を前記情報処理装置が実行した第１の実行時と前記第２の処理を前記情報処理装置が実行した第２の実行時との時間差である目標時間を算出するステップと、
   前記障害再現装置が有する履歴情報取得部が、前記第１の処理を実行する第１の実行命令と前記第２の処理を実行する第２の実行命令を、前記情報処理装置に対してそれぞれ出力し、前記情報処理装置が前記第１の処理を実行した第１の実行時と前記情報処理装置が前記第２の処理を実行した第２の実行時を含む履歴情報を取得するステップと、
   前記障害再現装置が有する遅延時間算出部が、前記第１の実行命令を出力した第１の出力時と前記第２の実行命令を出力した第２の出力時と前記履歴情報に含まれる前記第１及び第２の実行時に基づいて、前記第１の出力時と前記第１の実行時の時間差である第１の遅延時間と前記第２の出力時と前記第２の実行時の時間差である第２の遅延時間を算出するステップと、
   前記障害再現装置が有する調整部が、前記目標時間と前記第１の遅延時間と前記第２の遅延時間とに基づいて、前記第１及び第２の実行命令を前記情報処理装置に出力するタイミングを調整するステップを実行させることを特徴とする障害再現プログラム。
8. 前記障害再現プログラムにおいて、
   前記調整部が、前記目標時間と前記第１の遅延時間に基づいて、前記第１及び第２の実行命令を前記情報処理装置に出力するタイミングを調整するステップは、前記目標時間に前記第１の遅延時間を加算した結果に基づいて、前記第１の実行命令を前記情報処理装置に出力するタイミングを調整するステップであることを特徴とする請求項７記載の障害再現プログラム。
9. 前記障害再現プログラムは、
   前記障害再現装置が有する判定結果記憶部が、前記調整部により障害が再現されたか否かを判定するとともに、前記判定した結果を記憶するステップを更に有することを特徴とする請求項７又は８記載の障害再現プログラム。

Images