JPWO2012026035A1 - 障害処理方法,障害処理システム,障害処理装置及び障害処理プログラム - Google Patents

障害処理方法,障害処理システム,障害処理装置及び障害処理プログラム Download PDF

Info

Publication number
JPWO2012026035A1
JPWO2012026035A1 JP2012530495A JP2012530495A JPWO2012026035A1 JP WO2012026035 A1 JPWO2012026035 A1 JP WO2012026035A1 JP 2012530495 A JP2012530495 A JP 2012530495A JP 2012530495 A JP2012530495 A JP 2012530495A JP WO2012026035 A1 JPWO2012026035 A1 JP WO2012026035A1
Authority
JP
Japan
Prior art keywords
information
failure
fault
reproduction
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012530495A
Other languages
English (en)
Other versions
JP5459405B2 (ja
Inventor
憲司 岡野
憲司 岡野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2012026035A1 publication Critical patent/JPWO2012026035A1/ja
Application granted granted Critical
Publication of JP5459405B2 publication Critical patent/JP5459405B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2294Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing by remote test
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0721Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment within a central processing unit [CPU]
    • G06F11/0724Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment within a central processing unit [CPU] in a multiprocessor or a multi-core unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0748Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a remote unit communicating with a single-box computer node experiencing an error/fault

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

障害発生部品(24)の記憶部(241)から障害発生時に生成された障害情報の格納位置を表す格納位置情報を取得する格納位置情報取得部(31)と、格納位置情報に基づいて、情報処理装置(20)及び障害処理装置(30)と通信可能に接続されデータを格納可能な記憶装置(11)から、障害発生時に情報処理装置(20)において生成された障害に関する障害情報を取得する障害情報取得部(32)と、取得した障害情報に基づいて、情報処理装置(20)に合わせて障害処理装置(30)の構成を変更する構成制御部(34)とをそなえることにより、情報処理装置において発生する障害を容易に再現できるようにすることにより、再現試験を効率よく行なう。

Description

本件は、障害処理方法,障害処理システム,障害処理装置及び障害処理プログラムに関する。
例えば、フィールドにおいて顧客が使用するサーバシステム等の情報処理装置に障害が発生した場合に、情報処理装置のメーカーが、障害の原因となる故障部品を工場に引き取り、障害の再現試験を行なう場合がある。
従来の障害処理手法においては、故障部品は、ユーザから報告された障害報告内容とともにメーカーの工場等に送付される。そして、この工場において、障害報告内容に基づき、再現試験環境が構築され、この再現試験環境下において障害を再現させて原因究明や対処方法の検討等が行なわれる。
なお、障害報告内容は、例えば、フィールドにて修理担当者が顧客等から情報収集したり、サービスセンタにおいてオペレータが顧客から聴取することにより取得され、データとして入力もしくは伝票等に記載され故障部品に添付される。
特開平10−133739号公報
しかしながら、このような従来の障害処理手法によれば、工場において障害の再現を行なおうとしても、フィールドから取り寄せられる障害報告内容では、再現試験環境を構築するには不十分な場合が多い。
従って、工場において、再現試験環境を構築することが困難となり、再現試験の作業効率が悪いという課題があり、又、これに伴い障害原因の特定も非効率であるという課題もある。
本件の目的の一つは、このような課題に鑑み創案されたもので、情報処理装置において発生する障害を容易に再現できるようにすることにより、再現試験を効率よく行なうことを目的とする。
なお、前記目的に限らず、後述する発明を実施するための最良の形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
上記の目的を達成するために、この障害処理方法は、情報処理装置において発生する障害を再現装置において再現させる障害処理方法であって、該情報処理装置において、障害発生時に、障害に関する障害情報を生成する障害情報生成ステップと、該障害情報生成ステップにおいて生成した該障害情報を、該情報処理装置及び該再現装置と通信可能に接続されデータを格納可能な記憶装置に格納する格納処理ステップと、該記憶装置における該障害情報の格納位置を表す格納位置情報を、障害発生部品の記憶部に格納する位置情報格納処理ステップと、該再現装置において、該障害発生部品の該記憶部から格納位置情報を取得する格納位置情報取得ステップと、該格納位置情報に基づいて、該記憶装置から該障害情報を取得する障害情報取得ステップと、該障害情報取得ステップにおいて取得した該障害情報に基づいて、該情報処理装置に合わせて当該再現装置の構成を変更する構成制御ステップとをそなえる。
また、この障害処理システムは、情報処理装置において発生する障害を再現装置において再現させる障害処理システムであって、該情報処理装置及び該再現装置と通信可能に接続され、データを格納可能な記憶装置をそなえるとともに、該情報処理装置において、障害発生時に、障害に関する障害情報を生成する障害情報生成部と、該障害情報生成部が生成した該障害情報を該記憶装置に格納する格納処理部と、該記憶装置における該障害情報の格納位置を表す格納位置情報を、障害発生部品の記憶部に格納する位置情報格納処理部とをそなえ、該再現装置において、該障害発生部品の該記憶部から格納位置情報を取得する格納位置情報取得部と、該格納位置情報に基づいて、該記憶装置から該障害情報を取得する障害情報取得部と、該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該再現装置の構成を変更する構成制御部とをそなえる。
さらに、この障害処理装置は、情報処理装置の障害発生部品において発生する障害を再現させる障害処理装置であって、該障害発生部品の記憶部から、障害発生時に該情報処理装置によって生成された、障害に関する障害情報の格納位置を表す格納位置情報を取得する格納位置情報取得部と、該格納位置情報に基づいて、当該障害処理装置と通信可能に接続されデータを格納可能な記憶装置から、障害発生時に該情報処理装置において生成された障害に関する障害情報を取得する障害情報取得部と、該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該障害処理装置の構成を変更する構成制御部とをそなえる。
また、この障害処理プログラムは、情報処理装置の障害発生部品において発生する障害を再現させる障害再現機能をコンピュータに実行させるための障害処理プログラムであって、該障害発生部品の記憶部から、障害発生時に該情報処理装置によって生成された、障害に関する障害情報の格納位置を表す格納位置情報を取得し、該格納位置情報に基づいて、該情報処理装置及び当該障害処理装置と通信可能に接続されデータを格納可能な記憶装置から、障害発生時に該情報処理装置において生成された障害に関する障害情報を取得し、該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて該コンピュータの構成を変更する。
開示の技術によれば、以下の少なくともいずれか1つの効果ないし利点を奏する。
(1)障害情報のデータサイズを制限する必要がなく、例えば、大量のログ情報を再現装置に受け渡すことができ、障害の再現効率を向上させることができる。
(2)情報処理装置の製造コストを低減することができる。
(3)障害情報を確実に再現装置に受け渡すことができ、再現試験の効率を高めることができ、障害原因の特定までのプロセスを効率化することができる。
(4)再現試験を効率化することで障害原因特定までの時間を短縮し製品の品質を向上させることができる。
実施形態の一例としての障害処理システムの機能構成を模式的に示す図である。 実施形態の一例としての障害処理システムの顧客システムのハードウェア構成を例示する図である。 実施形態の一例としての障害処理システムにおける構成情報の例を示す図である。 実施形態の一例としての障害処理システムにおける構成情報の例を示す図である。 実施形態の一例としての障害処理システムにおけるログ情報の例を示す図である。 実施形態の一例としての障害処理システムにおける障害ログの例を示す図である。 実施形態の一例としての障害処理システムにおける格納処理部及び位置情報格納処理部による処理を例示する図である。 実施形態の一例としての障害処理システムの障害再現システムのハードウェア構成を例示する図である。 実施形態の一例としての障害処理システムの障害再現システムの機能構成を模式的に示す図である。 実施形態の一例としての障害処理システムにおける障害情報取得部による処理を例示する図である。 実施形態の一例としての障害処理システムにおける構成情報テーブルの例を示す図である。 実施形態の一例としての障害処理システムにおいて障害再現システムの一部のハードウェアエレメントを未実装状態にした例を示す図である。 実施形態の一例としての障害処理システムにおいて障害再現システムに顧客システムと同様のドメイン構成を設定した例を示す図である。 実施形態の一例としての障害処理システムにおける再現スクリプトイメージを例示する図である。 実施形態の一例としての障害処理システムにおける再現スクリプトを例示する図である。 実施形態の一例としての障害処理システムにおける障害調査部によるトレースレベルの自動設定手法を説明するための図である。 実施形態の一例としての障害処理システムのテストプログラムをテストプログラムリストとして例示する図である。 実施形態の一例としての障害処理システムにおける処理を説明するためのフローチャートである。
1 障害処理システム
10 管理サーバ
11 記憶装置
20 顧客システム(情報処理装置)
21 障害情報作成部
22 格納処理部
23 位置情報格納処理部
24 障害発生部品
30 障害再現システム(再現装置,障害処理装置)
31 格納位置情報取得部
32 障害情報取得部
33 障害調査部
34 構成制御部
35 スクリプト作成部
36 スクリプト実行部
37 テストプログラム取得部
38 記憶装置(スクリプト格納部,テストプログラム格納部)
42 テストプログラム実行部
51,52 ネットワーク
201,201−1〜201−3,201−5,301,301−0〜301−7 CPU
203,203−0〜203−2,303,303−0〜303−3 SB
204,304 SP
205,205−0〜205−15,205−20,205−21,305,305−0〜305−31 DIMM
241 EEPROM(記憶部)
2041,3041 ストレージ
2042,3042 構成情報格納領域
2043,3043 設定情報格納領域
2044,3044 ログ情報格納領域
T1 構成情報テーブル
以下、図面を参照して本発明の実施の形態を説明する。
図1は実施形態の一例としての障害処理システム1の機能構成を模式的に示す図、図2はその顧客システム20のハードウェア構成を例示する図である。
障害処理システム1は、情報処理装置において発生する障害を処理する。本実施形態の一例においては、例えば、メーカーが提供する情報処理装置(顧客システム20)を顧客(ユーザ)が使用し、この顧客システム20において生じた障害を処理する例について説明する。
本障害処理システム1は、図1に示すように、顧客システム20,管理サーバ10及び障害再現システム30をそなえている。
なお、本障害処理システム1においては、1以上の顧客システム20が接続されるが、本実施形態においては、便宜上、1つの顧客システム20についてのみ図示して説明するものとする。
管理サーバ10は、サーバ機能をそなえたサーバコンピュータであり、顧客システム20とネットワーク51を介して通信可能に接続されている。この管理サーバ10は、例えば、顧客からの問い合わせに対応するサポートセンター等にそなえられる。
この管理サーバ10は、記憶装置11をそなえ、後述する顧客システム20から、ネットワーク51を介して送信される障害情報(後述)を、この記憶装置11における所定の領域に格納する。この記憶装置11は例えば、HDD(Hard Disk Drive)等の大容量の記憶装置であり、多くの障害情報を格納・蓄積することができる。
また、管理サーバ10は、記憶装置11に障害情報を格納する際に、この障害情報の格納先を示す格納位置情報を、この障害情報を生成した顧客システム20に対して通知する。
格納位置情報は、例えば、管理サーバ10のIPアドレスやディレクトリ情報等のデータの格納位置を示す情報であり、本障害処理システム1においては、この格納位置情報を用いることにより、記憶装置11に格納された特定の障害情報にアクセスすることができる。なお、格納位置情報としては、これらのIPアドレスやディレクトリ情報に限定されるものではなく、ネットワーク上の特定のデータにアクセスするために用いられる既知の種々の手法を用いてもよい。
また、管理サーバ10は、ネットワーク52を介して障害再現システム30とも通信可能に接続されている。管理サーバ10は、後述する障害再現システム30の障害情報取得部32が、格納位置情報を参照して障害情報にアクセスしてきた場合に、この障害再現システム30に対して障害情報を受け渡す(送信する)。
なお、この管理サーバ10は既知のコンピュータシステムにより構成することができ、その構成の詳細な説明は省略する。
顧客システム20は、顧客が使用する情報処理装置であり、何らかの障害(故障)が発生しうる部品をそなえるとともに、前述した管理サーバ10とネットワーク51を介してデータを授受するための通信機能(図示省略)をそなえている。
また、本実施形態においては、顧客システム20が、サーバコンピュータシステム等の情報処理装置である例について説明するものとする。
図2に示す例においては、顧客システム20は、SB(System Board)203−0〜203−2やSP204、図示しないチップセット等のハードウェアエレメント等をそなえる。そして、SB203−0〜203−2やチップセット等のハードウェアエレメントが本体系装置を形成する。
SB203−0には、CPU(Central Processing Unit)201−0,201−1,メモリ205−0〜205−7がそなえられている。又、SB203−1には、CPU201−2,201−3,メモリ205−8〜205−15がそなえられている。同様に、SB203−2には、CPU201−5及びメモリ205−20,205−21がそなえられている。
メモリ205−0〜205−15,205−20,205−21は、種々のデータやプログラムを一時的に格納する記憶領域であって、その一例として、DIMM(Dual Inline Memory Module)が用いられる。本実施形態においては、メモリ205−0〜205−15,205−20,205−21としてDIMMを用いる例について示すものとし、以下、メモリ205−0〜205−15,205−20,205−21をDIMM205−0〜205−15,205−20,205−21と表す。又、以下DIMMを示す符号としては、複数のDIMMのうち1つを特定する必要があるときには符号205−0〜205−15,205−20,205−21を用いるが、任意のDIMMを指すときには符号205を用いる場合がある。
同様に、以下、SBを示す符号としては、複数のSBのうち1つを特定する必要があるときには符号203−0〜203−2を用いるが、任意のSBを指すときには符号203を用いる場合もある。又、以下、CPUを示す符号としては、複数のCPUのうち1つを特定する必要があるときには符号201−0〜201−7を用いるが、任意のCPUを指すときには符号201を用いる場合がある。
また、以下、SB203−0〜203−2をそれぞれ、SBに各符号の“−(ハイフン)”以下の数字(構成番号という場合がある)を付すことにより簡略して表す場合がある。例えば、SB203−0をSB0と表す場合があり、同様に、以下、SB203−1をSB1と表す場合がある。
本体系装置において、CPU201は種々の制御や演算を行なう処理装置であり、図示しないROM(Read Only Memory)等に格納されたプログラムを実行することにより、顧客システム20における種々の機能を実現する。
なお、以下、CPU201−0〜201−3,201−5を、CPUの後ろに、それぞれ“−”以下の構成番号を付すことにより簡略して表す場合がある。例えば、CPU201−0をCPU0と表す。
なお、以下、DIMM205−0〜205−15,205−20,205−21についても、DIMMの後ろに、それぞれ“−”以下の構成番号を付すことにより簡略して表す場合がある。例えば、DIMM205−0をDIMM0と表す。
また、顧客システム20においては、上述した複数のハードウェアエレメントを分割もしくは組み合わせることにより、1以上の独立したドメイン(Domain)を形成するパーティショニング機能をそなえている。そして、このように形成したドメインにおいて、OS(Operating System)やアプリケーションを動作させることができる。なお、このパーティショニング機能は既知の手法により実現できるものであり、便宜上、その詳細な説明は省略する。
図2に示す例においては、パーティショニング機能により、SB0上のCPU0,1及びDIMM0〜7とSB1上のCPU2及びDIMM8〜11とで一つのドメイン(Dom#0)が設定されている。同様に、SB1上のCPU3及びDIMM12〜15で一つのドメイン(Dom#1)が設定されており、SB2上のCPU5及びDIMM20,21で一つのドメイン(Dom#2)が設定されている。
また、顧客システム20において、上述したCPU201やDIMM205、図示しない他の電子部品のそれぞれが、何らかの障害が生じうるものであり、これらのCPU201やDIMM205、他の電子部品をハードウェアエレメント(ハードウェア構成要素)という。
また、顧客システム20において、これらのCPU201やDIMM205、他の電子部品のそれぞれにはメモリ(記憶部)241がそなえられている。各メモリ241は、電力供給がされていない状態でも格納されたデータを保持可能なデータ記憶装置であり、例えば、数KBの記憶容量をそなえている。
メモリ241は、既知の種々の手法を用いて実現することができ、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)やバッテリバックアップされたメモリを用いることができる。
本実施形態においては、このメモリ241の一例としてEEPROMを用いて説明するものとし、以下、メモリ241をEEPROM241と表す。
そして、顧客システム20におけるCPU201やDIMM205、他の電子部品のうち、何らかの障害が発生したハードウェアエレメントのことを障害発生部品24という。なお、本実施形態においては、顧客システム20から脱着可能なハードウェアエレメントが障害発生部品24である例について説明する。
SP204は、本体系装置の制御及び保守を行なう。このSP204は、CPU201やDIMM205に接続され、これらの動作の制御や監視を行なう。又、SP204は、図示しないディスプレイ上にこれらの各部の動作状態を表示する制御や、障害等の情報の収集も行なう。
また、SP204は、ストレージ2041をそなえている。このストレージ2041は、ハードディスクドライブ、SSD(Solid State Drive)等の記憶装置であって、種々のデータを格納するものである。
ストレージ2041には、図2に示すように、構成情報格納領域2042,設定情報格納領域2043及びログ情報格納領域2044がそなえられている。これらの構成情報格納領域2042,設定情報格納領域2043及びログ情報格納領域2044は、それぞれデータを格納可能な記憶領域であり、それぞれ数十MB程度の記憶容量をそなえる。
構成情報格納領域2042は構成情報を格納する。この構成情報は、顧客システム20におけるハードウェア構成及びソフトウェア構成を表す情報であり、ハードウェア構成を示すハードウェア構成情報とソフトウェア構成を示すソフトウェア構成情報とをそなえる。
ハードウェア構成情報は、例えば、顧客システム20にそなえられている各ハードウェアエレメントを特定する情報や数である。又、ソフトウェア構成情報は、例えば、OSの版数情報,ファームウェアの版数情報、ドメインの設定状態や構成を表す情報(ドメイン構成情報)である。
すなわち、構成情報には、顧客システム20のハードウェア構成を示すハードウェア構成情報や、顧客システム20のソフトウェア設定状態を示すソフトウェア設定情報が含まれている。
図3、図4は実施形態の一例としての障害処理システム1における構成情報の例を示す図であり、図3はそのハードウェア構成情報の例を示す図、図4はそのソフトウェア構成情報の例を示す図である。
図3に示すハードウェア構成情報は、ハードウェアエレメント(部品)に対して、搭載情報を関連付けて構成されている。具体的には、図2に示す顧客システム20のハードウェア構成として、搭載されているCPU,SB及びDIMM(メモリ)の各構成番号を示している。
また、図4に示すソフトウェア構成情報は、各ドメインに対して、含まれるハードウェアエレメントの構成番号を対応付けて構成されている。具体的には、図2に示す顧客システム20のドメイン構成を表すドメイン構成情報を示しており、各ドメインに対して、そのドメインに含まれるCPU201,SB203及びDIMM205の各構成番号を対応付けている。
設定情報格納領域2043は設定情報を格納する。この設定情報は、顧客システム20における各種設定値であり、例えば、OSの設定情報や各ハードウェアエレメントの設定情報(設定値等),SP204の設定情報(設定値)である。
ログ情報格納領域2044はログ情報を格納する。このログ情報は、顧客システム20における各種ログ(履歴情報)であり、例えば、顧客システム20において所定期間に行なわれた各種操作や処理のログや障害ログである。操作ログには、顧客システム20においてオペレータが行なったオペレーション内容の他、SP204において行なわれた各種処理の情報が含まれる。すなわち、ログ情報には、顧客システム20において障害発生前に行なわれた処理に関する処理履歴情報が含まれている。
図5は実施形態の一例としての障害処理システム1におけるログ情報の例を示す図である。この図5に示す例においては、ログ情報(オペレーションログ)として、顧客システム20の起動時にドメインに関して行なわれた処理が、その処理が実行された日時と関連付けられている。
なお、本実施形態においては、ストレージ2041に構成情報格納領域2042,設定情報格納領域2043及びログ情報格納領域2044が形成された例を示しているが、これに限定されるものではない。例えば、構成情報格納領域2042,設定情報格納領域2043及びログ情報格納領域2044の一部を他のストレージ装置にそなえてもよく、実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
図6は実施形態の一例としての障害処理システム1における障害ログの例を示す図である。この図6に示す例においては、障害ログには被疑部品,発生事象及び時刻が含まれる。又、この図6に示す例においては、CPU201のキャッシュ異常が発生した場合に生成される障害ログを示している。
被疑部品は、障害が発生したと判断される部品(障害発生箇所)を特定する情報であり、図6に示す例においては、CPU0において障害が発生していることを示す。発生事象は、障害の内容を示す情報である。この図3に示す例においては、CPU0のキャッシュメモリにおいて、訂正不能なデータエラーが発生したことを示している。時刻はその障害が発生した日時を示す。
また、SP204は、図示しないプロセッサ及びROMをそなえ、プロセッサがROMに格納されているプログラムを実行することにより、図1に示すような障害情報作成部21,格納処理部22及び位置情報格納処理部23として機能する。
なお、これら障害情報作成部21,格納処理部22及び位置情報格納処理部23としての機能を実現するためのプログラムは、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
障害情報作成部21,格納処理部22及び位置情報格納処理部23としての機能を実現する際には、内部記憶装置(本実施形態ではSP204のRAMやROM)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではSP204のCPU)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
障害情報作成部21は、顧客システム20における障害発生時に、その障害に関する障害情報を生成する。具体的には、障害情報作成部21は、上述した構成情報,設定情報及びログ情報を障害情報として作成する。
なお、これらの構成情報,設定情報及びログ情報は、それぞれ既知の手法により作成することができ、その収集方法や作成方法についての詳細な説明についても省略する。
格納処理部22は、障害情報生成部21が生成した障害情報を管理サーバ10の記憶装置11に格納するための制御を行なう。この格納処理部22は、障害情報生成部21によって作成された障害情報をネットワーク51を介して管理サーバ10に送信し、この管理サーバ10に対して、記憶装置11における所定の領域に格納させる。又、格納処理部22は、管理サーバ10の記憶装置11における障害情報の格納位置を表す格納位置情報を位置情報格納処理部23に通知する。
なお、記憶装置11における障害情報の格納先は、例えば、予め所定の領域を決めて格納処理部22に設定しておき、この格納処理部22から管理サーバ10に対して、その所定の格納先に障害情報格納させるよう指示してもよい。又、管理サーバ10が、格納処理部22から送信された障害情報を記憶装置11における任意の領域に格納し、管理サーバ10がその格納位置をネットワーク51を介して格納処理部22に通知してもよい。
位置情報格納処理部23は、記憶装置11における障害情報の格納位置を表す格納位置情報を、障害発生部品24のEEPROM241に格納する。具体的には、格納処理部22から通知された、もしくは予め設定された格納位置情報をURLに変換し、この作成したURLを格納位置情報として障害発生部品24のEEPROM241に格納する。
図7は実施形態の一例としての障害処理システム1における格納処理部22及び位置情報格納処理部23による処理を例示する図である。この図7に示す例においては、格納処理部22は、アドレス(IPアドレス)が192.168.11.2である管理サーバ10においてディレクトリ“/log/incident-uuid”として特定される位置に、障害情報を格納している。
ここで、uuidは事象(障害)を特定するユニークな識別情報(ID)であり、例えば、装置のシリアル番号や故障が発生した部品種別、部品シリアル番号、事象が発生した時刻等の情報を組み合わせることにより生成する。これにより、複数台のシステムで複数の障害が発生した場合においても、事象と障害情報とを一意に関連付けることが可能となる。
また、uuidの生成には、上述した情報の一部だけを用いてもよく、又、これら以外の情報を用いてもよく、実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
位置情報格納処理部23は、格納位置情報として障害情報を格納した管理サーバ10のURLを障害発生部品24のEEPROM241に書き込む。これにより障害発生部品24と管理サーバ10に格納した障害情報との関連付けを行なう。
また、この際、位置情報格納処理部23は、管理サーバ10に格納した障害情報へアクセスするためのアドレス情報と事象を一意に識別する情報(uuid)とを含むURLを生成して、EEPROM241に書き込む。
図7に示す例においては、位置情報格納処理部23は、URL“http://192.168.11.2/log/incident-uuid.tar.gz”を格納位置情報として生成し、EEPROM241に格納する。
EEPROM241に格納位置情報が格納された障害発生部品24は、何らかの移送手段により、障害再現システム30がそなえられた工場等に配送される。
図8は実施形態の一例としての障害処理システム1の障害再現システム30のハードウェア構成を例示する図、図9はその障害再現システム30の機能構成を模式的に示す図である。
障害再現システム30は、顧客システム20において生じた障害の再現試験を行なう情報処理装置(再現装置,障害処理装置)である。再現試験は、顧客システム20において生じた障害を再現して調査することにより、障害の原因を特定し、復旧方法や回避方法を見つけ出す。
この障害再現システム30は、顧客システム20と同じ機種の情報処理装置であって、その情報処理装置に物理的に搭載可能な全てのハードウェアエレメントをそなえている。すなわち、障害再現システム30においては、例えば、ハードウェアエレメントを取り付け可能な、全てのスロットに物理的に部品が搭載された、いわゆる最大構成となっている。つまり、顧客システム20と同等もしくはそれ以上のハードウェア部品を搭載している。
図5に示す例においては、障害再現システム30は、SB303−0〜303−3及びSP304をそなえ、これらのSB303−0〜303−3や、図示しないチップセット等のハードウェアエレメントが本体系装置を形成する。又、障害再現システム30は、SP304をそなえている。
また、SB0には、CPU301−0,301−1,DIMM305−0〜305−7がそなえられている。又、SB1には、CPU301−2,301−3,DIMM305−8〜305−15がそなえられている。同様に、SB2には、CPU301−4,301−5,DIMM305−16〜305−23が、又、SB3には、CPU301−6,301−7,DIMM305−24〜305−31がそなえられている。
すなわち、図5に示す例においては、障害再現システム30は、SB303×4,CPU301×8,DIMM305×32として構成されている。
なお、以下、SB303−0〜303−7をそれぞれ、SBに各符号の“−(ハイフン)”以下の数字(構成番号)を付すことにより、簡略して表す場合がある。例えば、SB303−0をSB0といい、同様に、以下、SB303−1をSB1という場合がある。
同様に、CPU301−0〜301−7やDIMM305−0〜305−31についても、CPUやDIMMの後ろに、それぞれ“−”以下の構成番号を付すことにより簡略して表す場合がある。例えば、CPU301−0をCPU0と、又、DIMM305−0をDIMM0と表す場合がある。
また、以下、SBを示す符号としては、複数のSBのうち1つを特定する必要があるときには符号303−0〜303−3を用いるが、任意のSBを指すときには符号303を用いる。
同様に、以下、CPUを示す符号としては、複数のCPUのうち1つを特定する必要があるときには符号301−0〜301−7を用いるが、任意のCPUを指すときには符号301を用いる。同様に、以下DIMMを示す符号としては、複数のDIMMのうち1つを特定する必要があるときには符号305−0〜305−31を用いるが、任意のDIMMを指すときには符号305を用いる。
また、この障害再現システム30における各CPU301は顧客システム20にそなえられたCPU201と同じもしくはほぼ同じものである。又、この障害再現システム30における各DIMM305は顧客システム20にそなえられたDIMM205と同じもしくはほぼ同じものである。
また、障害再現システム30においても、上述した複数のハードウェアエレメントを分割もしくは組み合わせることにより、1以上の独立したドメインを形成するパーティショニング機能をそなえている。そして、このように形成したドメインにおいて、OSやアプリケーションを動作させることができる。
本体系装置において、CPU301−0〜301−7は、それぞれ種々の制御や演算を行なう処理装置であり、ROM(図示省略)等に格納されたプログラムを実行することにより、障害再現システム30における種々の機能を実現する。
記憶装置38は、ハードディスクドライブ、SSD等の記憶装置であって、種々のデータを格納するものである。そして、この記憶装置38が、後述するスクリプトを格納するスクリプト格納部として機能するとともに、同じく後述するテストプログラムを格納するテストプログラム格納部として機能する。
DIMM305は、種々のデータやプログラムを一時的に格納する主記憶装置であって、CPU301がプログラムを実行する際に、データやプログラムを一時的に格納・展開して用いる。
また、CPU301は、ROMや記憶装置38に格納されたプログラムを実行することにより、後述するテストプログラム実行部42として機能する。
SP304は、本体系装置の制御及び保守を行なう。このSP304は、CPU301やDIMM305に接続され、これらの動作の制御や監視を行なう。又、SP304は、図示しないディスプレイ上にこれらの各部の動作状態を表示したり、障害等の情報を収集する。
また、SP304は、図示しないプロセッサをそなえ、このプロセッサが同じく図示しないROMや記憶装置38等に格納された障害処理プログラムを実行することにより、図1や図9に示すような、格納位置情報取得部31,障害情報取得部32,障害調査部33,構成制御部34,スクリプト作成部35,スクリプト実行部36,テストプログラム取得部37及びハードウェアエレメント特定部41としての機能をそなえる。
なお、これらの格納位置情報取得部31,障害情報取得部32,障害調査部33,構成制御部34,スクリプト作成部35,スクリプト実行部36,テストプログラム取得部37及びハードウェアエレメント特定部41としての機能を実現するためのプログラム(障害処理プログラム)は、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW等),磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
格納位置情報取得部31,障害情報取得部32,障害調査部33,構成制御部34,スクリプト作成部35,スクリプト実行部36,テストプログラム取得部37及びハードウェアエレメント特定部41としての機能を実現する際には、内部記憶装置(本実施形態ではSP304のRAMやROM)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではSP304のCPU)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
そして、この障害再現システム30においては、顧客システム20から取り外され発送されてきた障害発生部品24が、既に障害再現システム30に搭載されている対応する部品に換えて取り付けられる。
すなわち、例えば、障害発生部品24が顧客システム20のCPU0(CPU201−0)であった場合には、障害再現システム30におけるCPU0(301−0)が取り外され、障害再現システム30において、CPU301−0に代えて障害発生部品24であるCPU201−0が取り付けられる。
そして、これにより、障害発生部品24のEEPROM241に格納された格納位置情報を障害再現システム30から参照することができるようになる。
格納位置情報取得部31は、障害発生部品24のEEPROM241から、障害発生時に顧客システム20によって生成された格納位置情報を取得する。この格納位置情報取得部31は、顧客システム20から取り外されて配送され、障害再現システム30のハードウェアエレメントに換えて取り付けられた障害発生部品24から格納位置情報を取得する。例えば、格納位置情報を、予め規定された特定のファイル名でEEPROM241に格納したり、又、EEPROM241における予め規定された特定のアドレスに格納することにより、格納位置情報取得部31は容易且つ確実に格納位置情報を取得することができる。
障害情報取得部32は、格納位置情報取得部31によって取得された格納位置情報に基づいて、管理サーバ10の記憶装置11から障害情報を取得する。
障害情報取得部32は、障害情報の格納位置を示すURLを記録する障害発生部品24が搭載されたことを認識すると、そのEEPROM241からURLを取得し、この取得したURLにより、管理サーバ10に格納された障害情報にアクセスする。障害情報取得部32は、管理サーバ10から障害情報を取得(ダウンロード)し、SP304のメモリ(図示省略)上に展開する。
例えばURLがhttpのアドレスになっている場合、障害情報取得部32は、httpのプロトコルを使いてURLのアドレスにアクセスする。障害情報取得部32はアドレス先にある情報をSP304がそなえるストレージ装置3041上に保存する。
図10は実施形態の一例としての障害処理システム1における障害情報取得部32による処理を例示する図である。
この図10に示す例においては、障害情報取得部32は、EEPROM241から取得したURL“http//192.168.11.2/log/incident-uuid.tar.gz”により、ネットワーク52を介して管理サーバ10にアクセスし、障害情報を取得する。又、取得した障害情報はストレージ3041に格納する。
ストレージ3041には構成情報格納領域3042,設定情報格納領域3043及びログ情報格納領域3044がそなえられている。ストレージ3041は、ハードディスクドライブ、SSD等の記憶装置であって、種々のデータを格納するものである。
構成情報格納領域3042,設定情報格納領域3043及びログ情報格納領域3044は、それぞれデータを格納可能な記憶領域であり、例えば、それぞれ数十MB程度の記憶容量をそなえる。
そして、構成情報格納領域3042には、取得された障害情報の構成情報が格納される。同様に、設定情報格納領域3043には、取得された障害情報の設定情報が格納され、ログ情報格納領域3044には、取得された障害情報のログ情報が格納される。
構成制御部34は、障害情報取得部32によって取得した障害情報(構成情報,設定情報)に基づいて、顧客システム20に合わせて障害再現システム30のハードウェア構成及びソフトウェア構成のそれぞれについて構成変更を行なう。すなわち、構成制御部34は、取得した障害情報を参照して、障害再現システム30において、障害発生時の顧客システム20にできるだけ近い環境を自動的に作り出す。
構成制御部34は、障害情報に含まれる構成情報のうちハードウェア構成情報に基づいて、障害再現システム30のハードウェア構成を顧客システム20のハードウェア構成に合わせて変更する処理を行なう。
構成制御部34は、障害情報に含まれる構成情報を参照して顧客システム20のハードウェア構成を取得する。構成制御部34は、顧客システム20の構成情報を参照して、例えば、CPUやSB,DIMMの構成情報を取得する。
また、構成制御部34は、障害再現システム30のハードウェア構成を取得する。なお、障害再現システム30の構成は、ハードウェア構成及びソフトウェア構成のそれぞれについて、予め用意しておくことが望ましいが、現在の構成を逐次採取してもよい。
そして、構成制御部34は、顧客システム20のハードウェア構成と障害再現システム30のハードウェア構成との比較を行ない、これらの差異を確認する。
この比較の結果、障害再現システム30に顧客システム20にはないハードウェアエレメント(余剰ハードウェアエレメント)がそなえられている場合には、これらの余剰ハードウェアエレメントを論理的に未実装状態として扱う。
例えば、図2に示す顧客システム20には、SB2のCPU4やDIMM16〜19,22,23,SB3がそなえられてない点において、図8に示す障害再現システム30とハードウェア構成が異なっている。
このような場合に、構成制御部34は、障害再現システム30におけるSB2のCPU4,DIMM16〜19,22,23及びSB3を未実装状態として扱うことにより、障害再現システム30のハードウェア構成を顧客システム20のハードウェアに一致させる。
すなわち、構成制御部34は、障害再現システム30にそなえられるハードウェアエレメントのうち、顧客システム20の構成に含まれないハードウェアエレメント(余剰ハードウェアエレメント)を非使用状態にすることにより、障害再現システム30のハードウェア構成を顧客システム20のハードウェア構成に合わせる。
ここで、障害再現システム30の余剰ハードウェアエレメントを未実装状態にする手法について説明する。
構成制御部34は、構成に応じて各ハードウェアエレメント(部品)をシステムに組み込んだり、縮退したりする機能(以下、単に縮退機能という)をそなえており、各ハードウェアエレメントは縮退することにより論理的には搭載されていないものとみなされる。そして、構成制御部34は、この縮退機能を用いて、障害再現システム30の余剰ハードウェアエレメントを論理的に未実装状態に見せる。
縮退機能は、例えば、図11に示すようなハードウェアの構成を管理する構成情報テーブルT1を用いて実現する。
図11は実施形態の一例としての障害処理システム1における構成情報テーブルT1の例を示す図、図12は実施形態の一例としての障害処理システム1において障害再現システム30の一部のハードウェアエレメントを未実装状態にした例を示す図である。
構成情報テーブルT1は、障害再現システム30にそなえられている各ハードウェアエレメントのそれぞれに対して、実装状態(OK)もしくは非実装状態(NG)を表す情報を関係付けることにより構成されている。
そして、この構成情報テーブルT1において、OKが設定されているハードウェアエレメントが実装状態として取り扱われる。又、この構成管理テーブルT1においてNGが設定されているハードウェアエレメントは、未実装状態として取り扱われ、図12に示すように、障害再現システム30において認識されず、非搭載状態となる。
構成制御部34は、この縮退機能を用いて障害再現システム30のハードウェア構成を変更する。つまり、構成制御部34は、顧客システム20で未実装であるハードウェアエレメントを、障害再現システム30上では、その構成情報テーブルT1上で縮退状態(NG)と設定することで論理的に切り離すのである。
なお、障害再現システム30にそなえられていないハードウェアが顧客システム20にそなえられていることが判明した場合には、構成制御部34は、表示装置(図示省略)等にその旨のメッセージを表示させる等の手法により、オペレータ(試験担当者)に対して通知する。
例えば、周辺機器のように機能拡張のために追加で装備された部品等、再現試験に支障のあるハードウェアが顧客システム20にそなえられている場合である。オペレータは、必要に応じて、かかるハードウェアを調達し、障害再現システム30に搭載する。
また、構成制御部34は、障害情報に含まれる構成情報のうちソフトウェア構成情報に基づいて、障害再現システム30のソフトウェア構成を顧客システム20と同様の状態に設定する。
図13は実施形態の一例としての障害処理システム1において障害再現システム30に顧客システム20と同様のドメイン構成を設定した例を示す図である。
構成制御部34は、例えば、顧客システム20障害情報に含まれる構成情報からドメイン構成情報を参照し、図13に示すように、障害再現システム30のドメイン構成を顧客システム20のドメイン構成と同様に構成する。なお、ドメイン構成は既知のドメイン構成手順を用いることにより変更することができ、その詳細な説明は省略する。
また、構成制御部34は、顧客システム20の障害情報に含まれる構成情報から、顧客システム20にインストールされていたソフトウェアの種類やその版数情報を読み取り、この同版数のソフトウェアを障害再現システム30にインストールする。これにより、構成制御部34は、障害再現システム30のソフトウェア構成を顧客システム20に一致させる。
例えば、顧客システム20と障害再現システム30とで、インストールされているソフトウェアの版数に差異がある場合は、構成制御部34は、それにあった版数のイメージ(ディスクイメージ)を取得し、障害再現システム30に設定する。
このため、管理サーバ10や図示しないアプリケーションサーバ,記憶装置38等(以下、管理サーバ10等という)に、想定される種々のソフトウェアについて、新旧の全ての版数のソフトウェアのイメージを予め格納しておくことが望ましい。
そして、構成制御部34は、これらの記憶装置38やアプリケーションサーバから、必要な版数のソフトウェアのイメージをコピーやダウンロード等の手段により取得し、障害再現システム30に設定する。
なお、障害再現システム30のソフトウェア構成の設定に際して、構成制御部34は、管理サーバ10等からソフトウェア(含むOS)のインストーラを取得し、このインストーラを用いてインストールを行なってもよい。
この場合、障害再現システム30にインストールするソフトウェアが複数ある場合において、ソフトウェアを所定の順序でインストールしなければならない等、特定のルールがある場合がある。このような場合には、管理サーバ10等に、顧客システム20を特定する情報とともに、インストール手順等のルールを明確化したルール情報を格納しておくことが望ましい。構成制御部34は、ソフトウェアを障害再現システム30にインストールするに際して、ルール情報の有無を確認し、ルール情報が存在する場合には、このルール情報に従ってインストールを行なう。
また、構成制御部34は、SP304のファームについても同様に、顧客システム20と一致するファームを障害再現システム30に設定する。構成制御部34は、例えば、管理サーバ10等から顧客システム20のSP204のファームウェアと同じ版数のファームを取得し、この取得したファームウェアを自身に対して適用することにより、ファームウェアのアップデートを行なう。
スクリプト作成部35は、障害情報のログ情報に基づいて、顧客システム20における障害発生時に行なわれた処理を再現する再現スクリプトを作成する。
図14は実施形態の一例としての障害処理システム1における再現スクリプトイメージを例示する図、図15はその再現スクリプトを例示する図である。なお、図15に例示する再現スクリプトは、図5に示すログ情報に基づいて作成されたものであり、この再現スクリプトの作成過程において図14に例示する再現スクリプトイメージが作成される。
スクリプト作成部35は、ログ情報(例えば、図5参照)に含まれる処理内容から実行されているコマンドを抽出する。又、スクリプト作成部35は、図14に示すように、ログ情報における各コマンドの実行時刻を、最初のコマンドが実行された時刻(図5に示す例では2009/06/29 13:33:22)からの経過時間に換算して、再現スクリプトイメージを作成する。
そして、スクリプト作成部35は、再現スクリプトイメージに記載されている各処理を所定のプログラム言語の規則(文法)に従って書き換えることにより、再現スクリプト(シェルスクリプト)を作成する。この際、各処理の間に、各処理に対応する経過時間だけ実行を遅延させるコマンドを挿入する。図15に示す例では、コマンド“sleep”がこの遅延コマンドに相当する。
これらの遅延コマンドにより、再現スクリプトの実行時に、ログ情報に含まれる複数の処理が実行されたタイミングと同じタイミングで、ログ情報に含まれる各処理がそれぞれ実行される。
このように、スクリプト作成部35は、ログ情報に含まれる複数の処理の実行履歴を、各処理がそれぞれ実行された経過時間と同じタイミングで再現するスクリプト(再現スクリプト)を作成する。作成された再現スクリプトは、例えば、記憶装置38等に格納される。
障害再現システム30において、後述するスクリプト実行部36が、作成された再現スクリプト(例えば、図15参照)を実行することにより、顧客システム20において障害が発生した際に実行された複数の処理を、それらの処理が実行されたと同じタイミングで再現することができる。これにより、障害再現システム30における障害の再現度を向上させることができる。
スクリプト実行部36は、スクリプト作成部35によって作成された再現スクリプトを実行する。すなわち、生成された再現スクリプトがSP304上で実行される。これにより、障害再現システム30において再現試験が実現される。
障害調査部33は、障害情報の障害ログ(被疑箇所特定情報:例えば、図6参照)を参照し、この障害ログに基づいて被疑箇所に相当するハードウェアエレメント(被疑部品)を特定する。例えば、図6に示す障害ログにおいては被疑部品がCPU0であることがわかる。
また、障害調査部33は、障害再現システム30においてトレース情報の収集を行なう。トレース情報は、障害調査情報であり、例えば、特定のハードウェアエレメントについての処理に関して収集されるログ情報である。障害調査部33は、スクリプト実行部36による再現スクリプトの実行中に、このトレース情報の収集を行なう。なお、トレース情報の収集手法は既知の種々の手法を用いて実現することができ、その詳細な説明は省略する。
障害調査部33においては、採取するトレース情報のレベル(トレースレベル:情報採取レベル)を任意に設定できる。トレースレベルを高くすると非常に詳細な情報が多量に採取できる反面、採取できる時間が非常に短くなる。逆にトレースレベルを低くすると単位時間あたりの情報量は少なくなるが、長期間にわたって情報を採取することができる。
本障害処理システム1においては、処理単位ごとにトレースレベルを任意に設定できるものとする。又、顧客システム20のデフォルト設定(例えば、工場出荷時の設定)では、種々の処理について均一にトレース情報を収集するために、全ての処理単位において中間(Middle)のトレースレベルが設定されているものとする。
図16は実施形態の一例としての障害処理システム1における障害調査部33によるトレースレベルの自動設定手法を説明するための図である。
障害調査部33は、特定した被疑部品からトレースログを重点的に採取する部位を決定し、そのトレースレベルを上げる。これにより、障害発生の被疑部品に関して、詳細な情報が採取できる。又、障害調査部33は、これに伴い、被疑部品以外の処理に関してのトレースレベルを下げる。これにより、トレース情報全体としての容量を上昇を抑止することができる。
例えば、図6に例示するように、障害ログおいて被疑部品がCPU0であると判断した場合には、障害調査部33は、図16に示すように、CPU制御のトレースレベルを上げ、その他のトレースレベルを下げる。これにより、CPU制御に関する調査情報を詳細に採取することを可能にする。
また、障害調査部33は、スクリプト実行部35による再現スクリプトの実行に伴うログの採取を行ない、この採取したログと障害情報に含まれる障害ログとを比較する。障害調査部33は、この比較の結果、例えば、ログの内容がほぼ一致した場合や、特徴的な一致が見られた場合に、障害が再現されたと判断する。
また、障害調査部33は、特定した被疑部品としてのハードウェアエレメントを、テストプログラム取得部37に通知する。
テストプログラム取得部37は、記憶装置38から、障害通知部33によって特定された被疑部品のハードウェアエレメントに対応するテストプログラムを取得する。テストプログラムは、ハードウェアエレメントの動作や機能をテストするためのプログラムであり、ドメイン上で実行される。テストプログラムは、例えば、ハードウェアエレメントに対して所定の検査信号を出力し、その応答信号を期待値と比較することにより、ハードウェアエレメントの試験を行なう。
テストプログラムは、ハードウェアコンポーネント種別毎に用意され、例えば、記憶装置38には、予め、各ハードウェアエレメントに対応するテストプログラムを格納されている。
図17は実施形態の一例としての障害処理システム1のテストプログラムをテストプログラムリストとして例示する図である。
この図17に示す例においては、5種類のテストプログラムをハードウェアエレメントの種別(3種類)に応じて分類している。
すなわち、CPUに関しては、CPUコア(Core)に関する試験を行なうテストプログラムと、CPUキャッシュ(Cash)に関する試験を行なうテストプログラムとの2種類のテストプログラムをそなえている。
また、SBに関しては、ASIC(Application Specific Integrated Circuit)に関する試験を行なうテストプログラムと、I2C(Inter-Integrated Circuit)に関する試験を行なうテストプログラムとの2種類のテストプログラムをそなえている。更に、メモリ(DIMM)に関する試験を行なうテストプログラムもそなえている。
テストプログラム取得部37は、この図17に示すようなテストプログラムリストを参照し、記憶装置38に格納された複数のテストプログラムの中から、被疑部品のハードウェアエレメントに対応するテストプログラムを選択し、取得する。
具体的には、テストプログラム取得部37は、障害情報のログ情報に含まれる発生事象を参照し、この発生した事象に応じてテストする範囲の絞り込みを行なう。
例えば、図6に示す障害ログにおいては、被疑部品がCPU0であり、且つ、発生事象が“Cache Uncorrectable Error”であるので、障害としてCPUでキャッシュに関するエラーが生じたことがわかる。テストプログラム取得部37は、このような障害ログに関して、テストプログラムリストからCPUキャッシュ(Cache)の試験を行なうテストプログラムを選択する。
なお、テストプログラムは、例えば、管理サーバ10の記憶装置11等、記憶装置38以外の場所に格納してもよい。
また、SP304は、いずれかのドメインにログインし、このドメイン上で実行されるOSを操作可能なドメインコンソール機能をそなえている。SP304は、このドメインコンソール機能により、テストプログラム取得部37によって選択・取得されたテストプログラムをOS上で実行させる。
すなわち、SP304のドメインコンソール機能により、CPU301は、テストプログラム取得部37によって取得されたテストプログラムをドメイン上で実行するテストプログラム実行部42として機能する。
障害再現システム30においては、例えば、上述したスクリプト実行部36によるスクリプトの実行やテストプログラム実行部42によるテストプログラムの実行を、障害事象が再現されるまで繰り返し行なう。そして、顧客システム20において発生した障害事象と同一の事象が障害再現システム30で発生した時点で、再現試験は停止される。
上述の如く構成された実施形態の一例としての障害処理システム1における処理を、図18に示すフローチャート(ステップS10〜S70)に従って説明する。
顧客システム20において障害(故障)が発生すると(ステップS10)、顧客システム20のSP204において、障害情報作成部21が障害情報(構成情報,設定情報,ログ情報)を作成し、格納処理部22が、この障害情報を管理サーバ10に退避させる(ステップS20)。
また、顧客システム20において、位置情報格納処理部23が、障害情報の退避先(格納先)のURL(格納位置情報)を障害発生部品24のEEPROM241に書き込む(ステップS30)。障害発生部品24は、工場に戻され、この工場の障害再現システム30において、障害の再現試験が行なわれる(ステップS40)。
工場においては、オペレータが、障害発生部品24が障害再現システム30に搭載する(ステップ50)。障害再現システム30に障害発生部品24が取り付けられると、格納位置情報取得部31が、そのEEPROM241からURLを読み出す。
障害情報取得部32は、このURLを用いてネットワーク52を介して管理サーバ10にアクセスし、障害情報を取得する(ステップS60)。
そして、障害再現システム30において、構成制御部34が、この取得した障害情報に基づき、障害再現システム30のハードウェア構成及びソフトウェア構成を、顧客システム20に一致させる。
また、障害再現システム30において、スクリプト作成部35が、障害情報のログ情報に基づき、障害発生時に顧客システム20において行なわれた処理を再現するための再現スクリプトを作成する。又、テストプログラム取得部37が、障害情報に基づいて、障害発生の被疑部品のハードウェアエレメントを試験するためのテストプログラムを記憶装置38から取得する(ステップS70)。
そして、障害再現システム30において、スクリプト実行部35による再現スクリプトの実行と、テストプログラム実行部41によるテストプログラムの実行とが、顧客システム20において発生した障害が再現されるまで、繰り返し行なわれる。これらの試験結果は、定期的にオペレータに通知される。
また、例えば、障害調査部33は、スクリプト実行部35による再現スクリプトの実行に伴うログの採取を行ない、この採取したログと障害情報に含まれる障害ログとを比較する。この比較の結果、例えば、ログの内容がほぼ一致した場合や、特徴的な一致が見られた場合に、障害が再現されたと判断する。
この際、障害調査部33は、障害情報の障害ログに基づくトレースレベルの設定を行ない、この設定に従ってトレース情報の収集を行なう。
このように、実施形態の一例としての障害処理システム1によれば、格納処理部22が、障顧客システム20において生じた障害に関する障害情報をネットワーク1を介して管理サーバ10の記憶装置11に格納するので、障害情報のデータサイズを制限する必要がなく、例えば、大量のログ情報を障害再現システム30に受け渡すことができる。これにより、障害再現システム30において充分なログ情報を取得し、障害再現試験を実行するこができ、障害の再現効率を向上させることができる。
また、位置情報格納処理部23が、管理サーバ10における障害情報の格納位置を示す格納位置情報を障害発生部品24のEEPROM241に格納するので、EEPROM241としての容量の小さいものを用いることができ、ハードウェアエレメントひいては顧客システム20の製造コストを低減することができる。又、障害発生部品24と障害情報とを確実に関連付けることができ、例えば、障害発生部品24を工場に配送する際等に障害情報を無くしてしまうこと等なく、利便性が高い。
障害情報を確実に障害再現システム30に受け渡すことができ、障害再現システム30における再現試験の効率を高めることができ、障害原因の特定までのプロセスを効率化することができる。
再現試験を効率化することで障害原因特定までの時間を短縮し製品の品質を向上させることができる。
構成制御部34が、障害情報(構成情報,設定情報)に基づいて、顧客システム20に合わせて障害再現システム30のハードウェア構成及びソフトウェア構成のそれぞれについて障害発生時の顧客システム20にできるだけ近い環境を作り出す。これにより、再現試験を効率的に実施することができる。
構成制御部34が、縮退機能を用いて、障害再現システム30の余剰ハードウェアエレメントを論理的に未実装状態に見せることにより、障害再現システム30のハードウェア構成を容易且つ効率的に変更することができる。又、構成制御部34が、障害再現システム30のドメイン構成を顧客システム20のドメイン構成と同様に構成することにより、障害再現システム30のドメイン構成を容易且つ効率的に変更することができる。
スクリプト作成部35が、障害情報のログ情報に基づいて、顧客システム20における障害発生時に行なわれた処理を再現する再現スクリプトを作成し、スクリプト実行部36がこの再現スクリプトを実行する。これにより、顧客システム20において障害が発生した際に実行された複数の処理を、障害再現システム30において、それらの処理が実行されたと同じタイミングで再現することができる。すなわち、障害再現システム30における障害の再現度を向上させることができる。
また、予め各ハードウェアエレメントに対応するテストプログラムを用意しておき、テストプログラム取得部37が、障害に関する被疑部品のハードウェアエレメントに対応するテストプログラムを取得する。そして、テストプログラム実行部42が、この選択されたテストプログラムを実行することにより、被疑部品についてテストプログラムによる試験を迅速に行なうことができる。
なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。又、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、顧客システム20や障害再現システム30がコンピュータとしての機能を有しているのである。
そして、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態においては、便宜上、障害再現システム30のハードウェアエレメントとしてCPU及びDIMMについて例示し、これら以外のハードウェアエレメントの図示を省略している。しかしながら、これに限定されるものではなく、CPUやDIMM以外のハードウェアエレメントをそなえてもよく、実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
同様に、上述した実施形態においては、顧客システム20のCPU201やDIMM205が障害発生部品24となる例について示しているが、これに限定されるものではない。例えば、冷却用ファンや電源装置等の他のハードウェアエレメントが障害発生部品24となってもよく、実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。この場合、これらの冷却用ファンや電源装置等の他のハードウェアエレメントにもメモリ241が直接もしくは間接にそなえられることは言うまでもない。
なお、上述した実施形態が開示されていれば、本発明の障害処理方法,障害処理システム,障害処理方法及び障害処理プログラムを当業者によって実施・製造することが可能である。
図6は実施形態の一例としての障害処理システム1における障害ログの例を示す図である。この図6に示す例においては、障害ログには被疑部品,発生事象及び時刻が含まれる。又、この図6に示す例においては、CPU201のキャッシュ異常が発生した場合に生成される障害ログを示している。
被疑部品は、障害が発生したと判断される部品(障害発生箇所)を特定する情報であり、図6に示す例においては、CPU0において障害が発生していることを示す。発生事象は、障害の内容を示す情報である。この図に示す例においては、CPU0のキャッシュメモリにおいて、訂正不能なデータエラーが発生したことを示している。時刻はその障害が発生した日時を示す。
例えば、図6に例示するように、障害ログおいて被疑部品がCPU0であると判断した場合には、障害調査部33は、図16に示すように、CPU制御のトレースレベルを上げ、その他のトレースレベルを下げる。これにより、CPU制御に関する調査情報を詳細に採取することを可能にする。
また、障害調査部33は、スクリプト実行部3による再現スクリプトの実行に伴うログの採取を行ない、この採取したログと障害情報に含まれる障害ログとを比較する。障害調査部33は、この比較の結果、例えば、ログの内容がほぼ一致した場合や、特徴的な一致が見られた場合に、障害が再現されたと判断する。
そして、障害再現システム30において、スクリプト実行部3による再現スクリプトの実行と、テストプログラム実行部4によるテストプログラムの実行とが、顧客システム20において発生した障害が再現されるまで、繰り返し行なわれる。これらの試験結果は、定期的にオペレータに通知される。
また、例えば、障害調査部33は、スクリプト実行部3による再現スクリプトの実行に伴うログの採取を行ない、この採取したログと障害情報に含まれる障害ログとを比較する。この比較の結果、例えば、ログの内容がほぼ一致した場合や、特徴的な一致が見られた場合に、障害が再現されたと判断する。
同様に、上述した実施形態においては、顧客システム20のCPU201やDIMM205が障害発生部品24となる例について示しているが、これに限定されるものではない。例えば、冷却用ファンや電源装置等の他のハードウェアエレメントが障害発生部品24となってもよく、実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。この場合、これらの冷却用ファンや電源装置等の他のハードウェアエレメントにもEEPROM241が直接もしくは間接にそなえられることは言うまでもない。
なお、上述した実施形態が開示されていれば、本発明の障害処理方法,障害処理システム,障害処理方法及び障害処理プログラムを当業者によって実施・製造することが可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
情報処理装置において発生する障害を再現装置において再現させる障害処理方法であって、
該情報処理装置において、
障害発生時に、障害に関する障害情報を生成する障害情報生成ステップと、
該障害情報生成ステップにおいて生成した該障害情報を、該情報処理装置及び該再現装置と通信可能に接続されデータを格納可能な記憶装置に格納する格納処理ステップと、
該記憶装置における該障害情報の格納位置を表す格納位置情報を、障害発生部品の記憶部に格納する位置情報格納処理ステップと、
該再現装置において、
該障害発生部品の該記憶部から格納位置情報を取得する格納位置情報取得ステップと、
該格納位置情報に基づいて、該記憶装置から該障害情報を取得する障害情報取得ステップと、
該障害情報取得ステップにおいて取得した該障害情報に基づいて、該情報処理装置に合わせて当該再現装置の構成を変更する構成制御ステップとをそなえることを特徴とする、障害処理方法。
(付記2)
該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
該構成制御ステップにおいて、該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせることを特徴とする、付記1記載の障害処理方法。
(付記3)
該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
該構成制御ステップにおいて、該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定することを特徴とする、付記1又は付記2記載の障害処理方法。
(付記4)
該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえ、
該再現装置において、該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成するスクリプト作成ステップと、
該スクリプト作成ステップにおいて作成された該再現スクリプトを実行するスクリプト実行ステップとをそなえることを特徴とする、付記1〜付記3のいずれか1項に記載の障害処理方法。
(付記5)
該ハードウェア構成要素に対応するテストプログラムをテストプログラム格納部に格納するテストプログラム格納ステップをそなえるとともに、
該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえ、
該再現装置において、
該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定するハードウェア構成要素特定ステップと、
該テストプログラム格納部から、該ハードウェア構成要素特定ステップにおいて特定された該ハードウェア構成要素に対応する該テストプログラムを取得するテストプログラム取得ステップと、
該テストプログラム取得ステップにおいて取得された該テストプログラムを実行するテストプログラム実行ステップとをそなえることを特徴とする、付記1〜付記4のいずれか1項に記載の障害処理方法。
(付記6)
情報処理装置において発生する障害を再現装置において再現させる障害処理システムであって、
該情報処理装置及び該再現装置と通信可能に接続され、データを格納可能な記憶装置をそなえるとともに、
該情報処理装置において、
障害発生時に、障害に関する障害情報を生成する障害情報生成部と、
該障害情報生成部が生成した該障害情報を該記憶装置に格納する格納処理部と、
該記憶装置における該障害情報の格納位置を表す格納位置情報を、障害発生部品の記憶部に格納する位置情報格納処理部とをそなえ、
該再現装置において、
該障害発生部品の該記憶部から格納位置情報を取得する格納位置情報取得部と、
該格納位置情報に基づいて、該記憶装置から該障害情報を取得する障害情報取得部と、
該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該再現装置の構成を変更する構成制御部とをそなえることを特徴とする、障害処理システム。
(付記7)
該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
該構成制御部が、該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせることを特徴とする、付記6記載の障害処理システム。
(付記8)
該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
該構成制御部が、該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定することを特徴とする、付記6又は付記7記載の障害処理システム。
(付記9)
該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえ、
該再現装置において、該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成するスクリプト作成部と、
該スクリプト作成部によって作成された該再現スクリプトを実行するスクリプト実行部とをそなえることを特徴とする、付記6〜付記8のいずれか1項に記載の障害処理システム。
(付記10)
該ハードウェア構成要素に対応するテストプログラムを格納するテストプログラム格納部をそなえるとともに、
該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえ、
該再現装置において、
該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定するハードウェア構成要素特定部と、
該テストプログラム格納部から、該ハードウェア構成要素特定部によって特定された該ハードウェア構成要素に対応する該テストプログラムを取得するテストプログラム取得部と、
該テストプログラム取得部によって取得された該テストプログラムを実行するテストプログラム実行部とをそなえることを特徴とする、付記6〜付記9のいずれか1項に記載の障害処理システム。
(付記11)
情報処理装置の障害発生部品において発生する障害を再現させる障害処理装置であって、
該障害発生部品の記憶部から、障害発生時に該情報処理装置によって生成された、障害に関する障害情報の格納位置を表す格納位置情報を取得する格納位置情報取得部と、
該格納位置情報に基づいて、当該障害処理装置と通信可能に接続されデータを格納可能な記憶装置から、障害発生時に該情報処理装置において生成された障害に関する障害情報を取得する障害情報取得部と、
該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該障害処理装置の構成を変更する構成制御部とをそなえることを特徴とする、障害処理装置。
(付記12)
該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
該構成制御部が、該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせることを特徴とする、付記11記載の障害処理装置。
(付記13)
該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
該構成制御部が、該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定することを特徴とする、付記11又は付記12記載の障害処理装置。
(付記14)
該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえるとともに、
該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成するスクリプト作成部と、
該スクリプト作成部によって作成された該再現スクリプトを実行するスクリプト実行部とをそなえることを特徴とする、付記11〜付記13のいずれか1項に記載の障害処理装置。
(付記15)
該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえるとともに、
該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定するハードウェア構成要素特定部と、
ハードウェア構成要素に対応するテストプログラムを格納するテストプログラム格納部から、該ハードウェア構成要素特定部によって特定された該ハードウェア構成要素に対応する該テストプログラムを取得するテストプログラム取得部と、
該テストプログラム取得部によって取得された該テストプログラムを実行するテストプログラム実行部とをそなえることを特徴とする、付記11〜付記14のいずれか1項に記載の障害処理装置。
(付記16)
情報処理装置の障害発生部品において発生する障害を再現させる障害再現機能をコンピュータに実行させるための障害処理プログラムであって、
該障害発生部品の記憶部から、障害発生時に該情報処理装置によって生成された、障害に関する障害情報の格納位置を表す格納位置情報を取得し、
該格納位置情報に基づいて、該情報処理装置及び当該コンピュータと通信可能に接続されデータを格納可能な記憶装置から、障害発生時に該情報処理装置において生成された障害に関する障害情報を取得し、
該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該コンピュータの構成を変更するように、該コンピュータを機能させることを特徴とする、障害処理プログラム。
(付記17)
該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせるように、該コンピュータを機能させることを特徴とする、付記16記載の障害処理プログラム。
(付記18)
該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定するように、該コンピュータを機能させることを特徴とする、付記16又は付記17記載の障害処理プログラム。
(付記19)
該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえるとともに、
該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成し、
作成された該再現スクリプトを実行するように、該コンピュータを機能させるをそなえることを特徴とする、付記16〜付記18のいずれか1項に記載の障害処理プログラム。
(付記20)
該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえるとともに、
該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定し、
ハードウェア構成要素に対応するテストプログラムを格納するテストプログラム格納部から、該ハードウェア構成要素特定部によって特定された該ハードウェア構成要素に対応する該テストプログラムを取得し、
取得された該テストプログラムを実行するように該コンピュータを機能させることを特徴とする、付記16〜付記19のいずれか1項に記載の障害処理プログラム。

Claims (20)

  1. 情報処理装置において発生する障害を再現装置において再現させる障害処理方法であって、
    該情報処理装置において、
    障害発生時に、障害に関する障害情報を生成する障害情報生成ステップと、
    該障害情報生成ステップにおいて生成した該障害情報を、該情報処理装置及び該再現装置と通信可能に接続されデータを格納可能な記憶装置に格納する格納処理ステップと、
    該記憶装置における該障害情報の格納位置を表す格納位置情報を、障害発生部品の記憶部に格納する位置情報格納処理ステップと、
    該再現装置において、
    該障害発生部品の該記憶部から格納位置情報を取得する格納位置情報取得ステップと、
    該格納位置情報に基づいて、該記憶装置から該障害情報を取得する障害情報取得ステップと、
    該障害情報取得ステップにおいて取得した該障害情報に基づいて、該情報処理装置に合わせて当該再現装置の構成を変更する構成制御ステップとをそなえることを特徴とする、障害処理方法。
  2. 該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
    該構成制御ステップにおいて、該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせることを特徴とする、請求項1記載の障害処理方法。
  3. 該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
    該構成制御ステップにおいて、該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定することを特徴とする、請求項1又は請求項2記載の障害処理方法。
  4. 該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえ、
    該再現装置において、該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成するスクリプト作成ステップと、
    該スクリプト作成ステップにおいて作成された該再現スクリプトを実行するスクリプト実行ステップとをそなえることを特徴とする、請求項1〜請求項3のいずれか1項に記載の障害処理方法。
  5. 該ハードウェア構成要素に対応するテストプログラムをテストプログラム格納部に格納するテストプログラム格納ステップをそなえるとともに、
    該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえ、
    該再現装置において、
    該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定するハードウェア構成要素特定ステップと、
    該テストプログラム格納部から、該ハードウェア構成要素特定ステップにおいて特定された該ハードウェア構成要素に対応する該テストプログラムを取得するテストプログラム取得ステップと、
    該テストプログラム取得ステップにおいて取得された該テストプログラムを実行するテストプログラム実行ステップとをそなえることを特徴とする、請求項1〜請求項4のいずれか1項に記載の障害処理方法。
  6. 情報処理装置において発生する障害を再現装置において再現させる障害処理システムであって、
    該情報処理装置及び該再現装置と通信可能に接続され、データを格納可能な記憶装置をそなえるとともに、
    該情報処理装置において、
    障害発生時に、障害に関する障害情報を生成する障害情報生成部と、
    該障害情報生成部が生成した該障害情報を該記憶装置に格納する格納処理部と、
    該記憶装置における該障害情報の格納位置を表す格納位置情報を、障害発生部品の記憶部に格納する位置情報格納処理部とをそなえ、
    該再現装置において、
    該障害発生部品の該記憶部から格納位置情報を取得する格納位置情報取得部と、
    該格納位置情報に基づいて、該記憶装置から該障害情報を取得する障害情報取得部と、
    該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該再現装置の構成を変更する構成制御部とをそなえることを特徴とする、障害処理システム。
  7. 該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
    該構成制御部が、該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせることを特徴とする、請求項6記載の障害処理システム。
  8. 該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
    該構成制御部が、該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定することを特徴とする、請求項6又は請求項7記載の障害処理システム。
  9. 該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえ、
    該再現装置において、該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成するスクリプト作成部と、
    該スクリプト作成部によって作成された該再現スクリプトを実行するスクリプト実行部とをそなえることを特徴とする、請求項6〜請求項8のいずれか1項に記載の障害処理システム。
  10. 該ハードウェア構成要素に対応するテストプログラムを格納するテストプログラム格納部をそなえるとともに、
    該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえ、
    該再現装置において、
    該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定するハードウェア構成要素特定部と、
    該テストプログラム格納部から、該ハードウェア構成要素特定部によって特定された該ハードウェア構成要素に対応する該テストプログラムを取得するテストプログラム取得部と、
    該テストプログラム取得部によって取得された該テストプログラムを実行するテストプログラム実行部とをそなえることを特徴とする、請求項6〜請求項9のいずれか1項に記載の障害処理システム。
  11. 情報処理装置の障害発生部品において発生する障害を再現させる障害処理装置であって、
    該障害発生部品の記憶部から、障害発生時に該情報処理装置によって生成された、障害に関する障害情報の格納位置を表す格納位置情報を取得する格納位置情報取得部と、
    該格納位置情報に基づいて、当該障害処理装置と通信可能に接続されデータを格納可能な記憶装置から、障害発生時に該情報処理装置において生成された障害に関する障害情報を取得する障害情報取得部と、
    該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該障害処理装置の構成を変更する構成制御部とをそなえることを特徴とする、障害処理装置。
  12. 該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
    該構成制御部が、該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせることを特徴とする、請求項11記載の障害処理装置。
  13. 該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
    該構成制御部が、該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定することを特徴とする、請求項11又は請求項12記載の障害処理装置。
  14. 該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえるとともに、
    該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成するスクリプト作成部と、
    該スクリプト作成部によって作成された該再現スクリプトを実行するスクリプト実行部とをそなえることを特徴とする、請求項11〜請求項13のいずれか1項に記載の障害処理装置。
  15. 該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえるとともに、
    該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定するハードウェア構成要素特定部と、
    ハードウェア構成要素に対応するテストプログラムを格納するテストプログラム格納部から、該ハードウェア構成要素特定部によって特定された該ハードウェア構成要素に対応する該テストプログラムを取得するテストプログラム取得部と、
    該テストプログラム取得部によって取得された該テストプログラムを実行するテストプログラム実行部とをそなえることを特徴とする、請求項11〜請求項14のいずれか1項に記載の障害処理装置。
  16. 情報処理装置の障害発生部品において発生する障害を再現させる障害再現機能をコンピュータに実行させるための障害処理プログラムであって、
    該障害発生部品の記憶部から、障害発生時に該情報処理装置によって生成された、障害に関する障害情報の格納位置を表す格納位置情報を取得し、
    該格納位置情報に基づいて、該情報処理装置及び当該障害処理装置と通信可能に接続されデータを格納可能な記憶装置から、障害発生時に該情報処理装置において生成された障害に関する障害情報を取得し、
    該障害情報取得部によって取得した該障害情報に基づいて、該情報処理装置に合わせて当該コンピュータの構成を変更するように、該コンピュータを機能させることを特徴とする、障害処理プログラム。
  17. 該障害情報が該情報処理装置のハードウェア構成を示すハードウェア構成情報をそなえ、
    該ハードウェア構成情報に基づいて、該再現装置にそなえられるハードウェア構成要素のうち、該情報処理装置の構成に含まれない該ハードウェア構成要素を非使用状態にすることにより、該再現装置のハードウェア構成を該情報処理装置のハードウェア構成に合わせるように、該コンピュータを機能させることを特徴とする、請求項16記載の障害処理プログラム。
  18. 該障害情報が該情報処理装置のソフトウェア設定状態を示すソフトウェア設定情報をそなえ、
    該ソフトウェア設定情報に基づいて、該再現装置のソフトウェア設定を該情報処理装置と同様の状態に設定するように、該コンピュータを機能させることを特徴とする、請求項16又は請求項17記載の障害処理プログラム。
  19. 該障害情報が、該情報処理装置において障害発生前に行なわれた処理に関する処理履歴情報をそなえるとともに、
    該処理履歴情報に基づいて障害発生時に行なわれた処理を再現する再現スクリプトを作成し、
    作成された該再現スクリプトを実行するように、該コンピュータを機能させるをそなえることを特徴とする、請求項16〜請求項18のいずれか1項に記載の障害処理プログラム。
  20. 該障害情報が、該障害の原因となりうる被疑箇所を示す被疑箇所特定情報をそなえるとともに、
    該被疑箇所特定情報に基づいて被疑箇所に相当する該ハードウェア構成要素を特定し、
    ハードウェア構成要素に対応するテストプログラムを格納するテストプログラム格納部から、該ハードウェア構成要素特定部によって特定された該ハードウェア構成要素に対応する該テストプログラムを取得し、
    取得された該テストプログラムを実行するように該コンピュータを機能させるをそなえることを特徴とする、請求項16〜請求項19のいずれか1項に記載の障害処理プログラム。
JP2012530495A 2010-08-27 2010-08-27 障害処理方法,障害処理システム,障害処理装置及び障害処理プログラム Active JP5459405B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/064605 WO2012026035A1 (ja) 2010-08-27 2010-08-27 障害処理方法,障害処理システム,障害処理装置及び障害処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2012026035A1 true JPWO2012026035A1 (ja) 2013-10-28
JP5459405B2 JP5459405B2 (ja) 2014-04-02

Family

ID=45723062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012530495A Active JP5459405B2 (ja) 2010-08-27 2010-08-27 障害処理方法,障害処理システム,障害処理装置及び障害処理プログラム

Country Status (3)

Country Link
US (1) US20130173964A1 (ja)
JP (1) JP5459405B2 (ja)
WO (1) WO2012026035A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5300089B2 (ja) * 2010-12-13 2013-09-25 エヌイーシーコンピュータテクノ株式会社 情報処理装置、情報処理装置障害再現方法および情報処理装置障害再現プログラム
GB2504728A (en) 2012-08-08 2014-02-12 Ibm Second failure data capture in co-operating multi-image systems
WO2014118897A1 (ja) * 2013-01-29 2014-08-07 富士通株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP6102327B2 (ja) * 2013-02-21 2017-03-29 株式会社リコー 電子機器、情報処理システム及びプログラム
US20140331205A1 (en) * 2013-05-02 2014-11-06 Amazon Technologies, Inc. Program Testing Service
CN104615545A (zh) * 2013-11-05 2015-05-13 中兴通讯股份有限公司 单板信息的存储方法及单板
US9626265B2 (en) * 2015-06-29 2017-04-18 International Business Machines Corporation Efficiency of cycle-reproducible debug processes in a multi-core environment
CN105718354A (zh) * 2016-01-20 2016-06-29 上海斐讯数据通信技术有限公司 一种故障信息的重现方法和重现装置
JP6957936B2 (ja) * 2017-03-31 2021-11-02 日本電気株式会社 障害解析装置、障害解析方法および障害解析プログラム
US10725890B1 (en) 2017-07-12 2020-07-28 Amazon Technologies, Inc. Program testing service
US10152432B1 (en) 2017-07-26 2018-12-11 Dell Products L.P. Support information provisioning system
JP7073653B2 (ja) * 2017-09-08 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置
WO2019209306A1 (en) * 2018-04-26 2019-10-31 Google Llc Auto-form fill based website authentication
JP7134903B2 (ja) * 2019-03-05 2022-09-12 株式会社日立製作所 不具合再現支援システム、不具合再現支援方法
US11474930B2 (en) * 2019-12-19 2022-10-18 Vmware, Inc. Software bug reproduction
JP7254739B2 (ja) * 2020-03-19 2023-04-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ流通制御装置、方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01177642A (ja) * 1988-01-08 1989-07-13 Fujitsu Ltd 計算機システムにおける障害診断方式
JPH06139093A (ja) * 1992-10-29 1994-05-20 Fujitsu Ltd ハードウェア障害の再現試験方式
JP2001005697A (ja) * 1999-06-25 2001-01-12 Hitachi Ltd 障害発生部品への障害情報記録方式
JP3640187B2 (ja) * 2002-07-29 2005-04-20 日本電気株式会社 マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード
JP2004070859A (ja) * 2002-08-09 2004-03-04 Fujitsu Ltd 障害情報管理システム
US20050273653A1 (en) * 2004-05-19 2005-12-08 Honeywell International Inc. Single fault tolerance in an architecture with redundant systems
US7343521B2 (en) * 2004-05-28 2008-03-11 International Business Machines Corporation Method and apparatus to preserve trace data
JP4515314B2 (ja) * 2005-04-08 2010-07-28 株式会社日立製作所 計算機システムの構成再現方法
US7647527B2 (en) * 2006-01-11 2010-01-12 International Business Machines Corporation Apparatus and method for collecting and displaying data for remote diagnostics
DE602006020782D1 (de) * 2006-01-31 2011-04-28 Fujitsu Ltd Systemüberwachungseinrichtungssteuerverfahrren, programm und computersystem
US7743304B2 (en) * 2006-02-17 2010-06-22 Verigy (Singapore) Pte. Ltd. Test system and method for testing electronic devices using a pipelined testing architecture
JP2009020799A (ja) * 2007-07-13 2009-01-29 D & M Holdings Inc 障害解析システム及び家庭用機器
JP4897654B2 (ja) * 2007-12-05 2012-03-14 三菱電機株式会社 再現試験システム

Also Published As

Publication number Publication date
WO2012026035A1 (ja) 2012-03-01
US20130173964A1 (en) 2013-07-04
JP5459405B2 (ja) 2014-04-02

Similar Documents

Publication Publication Date Title
JP5459405B2 (ja) 障害処理方法,障害処理システム,障害処理装置及び障害処理プログラム
US6976197B2 (en) Apparatus and method for error logging on a memory module
US10037238B2 (en) System and method for encoding exception conditions included at a remediation database
US7168007B2 (en) Field replaceable unit (FRU) identification system tool
US20070168571A1 (en) System and method for automatic enforcement of firmware revisions in SCSI/SAS/FC systems
US7137020B2 (en) Method and apparatus for disabling defective components in a computer system
US20080184271A1 (en) Automated Diagnostic Service
US9058230B1 (en) Online expert system guided application installation
US20070028041A1 (en) Extended failure analysis in RAID environments
JP2006260568A (ja) アクティブ及び非アクティブ実行コアを有するマルチコアプロセッサ
JP4387968B2 (ja) 障害検出装置および障害検出方法
US11093321B1 (en) System and method for automatically updating an information handling system upon system crash
JP2017091077A (ja) 擬似故障の発生プログラム、発生方法、及び発生装置
WO2023226380A1 (zh) 一种磁盘处理方法、系统及电子设备
US7131030B2 (en) Method and system for storing field replaceable unit repair history information
US6973412B2 (en) Method and apparatus involving a hierarchy of field replaceable units containing stored data
GB2398405A (en) Consolidating data regarding a hierarchy of field replaceable units containing stored data
GB2342471A (en) Configuring system units
US8161324B2 (en) Analysis result stored on a field replaceable unit
US7707890B2 (en) Acoustic sensor for proactive fault monitoring in computer systems
US20030217247A1 (en) Method and system for storing field replaceable unit static and dynamic information
JP5419639B2 (ja) 計算機装置及び情報処理方法及びプログラム
Eldor Stability Issues in On-Premises Kafka Data Centers
JP3664466B2 (ja) メモリ・チェック・テスト実行方法及び記憶媒体
JP4894592B2 (ja) 情報通知装置、情報通知方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131230

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5459405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150