JP5750465B2

JP5750465B2 - 障害対応システム

Info

Publication number: JP5750465B2
Application number: JP2013034149A
Authority: JP
Inventors: 政則小池
Original assignee: Hitachi Systems Ltd
Current assignee: Hitachi Systems Ltd
Priority date: 2013-02-25
Filing date: 2013-02-25
Publication date: 2015-07-22
Anticipated expiration: 2033-02-25
Also published as: JP2014164457A

Description

本発明は、機器に障害が発生したとき、当該機器の応急措置、つまり障害対応を予め決められた手順、つまりワークアラウンド（以下Ｗ／Ａと言う）機能に従って行える障害対応システムに関する。

本技術分野の背景技術として、特開２００９−２７６９２９号公報（特許文献１）がある。この公報には、課題として、「システム上で障害が発生した場合でも迅速に障害を回避し、システムを停止させない、又は停止する時間を最小限に抑制するための自動障害対応システムを提供する」を挙げ、その解決手段として、「障害検知手段１１によって監視対象サーバ２の障害を監視する。障害を検知したら、資料採取手段１２は監視対象サーバ２から動作ログ等の資料３１を採取し、キーワード抽出手段１３により障害の原因となるログを特定し、キーワード３２を抽出する。類似事例抽出手段は当該キーワード３２に基づき事例ＤＢ２１から類似事例情報３３を抽出し、類似事例情報３３に含まれる障害の回避手順や必要な情報に基づき障害回避ファイル生成手段１５によって障害回避ファイル３４を生成し、障害回避ファイル適用手段１６によって監視対象サーバ２に障害回避ファイル３４を送信し、実行する。」と記載されている（要約参照）。

特開２００９−２７６９２９号公報

前記特許文献１には、機器の運用側の障害対応システムの仕組みが記載されている。しかし、特許文献１の障害対応システムは、機器の開発部門との連携についてまでは考慮されていない。換言すれば、機器の開発スキルが求められる場合、システムとして開発者側の支援を得ることができない環境にある。

一般的には、通常、機器の開発部門と運用部門とは、分離して運用している。すなわち、機器を開発し、当該開発機器を顧客（顧客システム側）に納入したあと、当該機器に障害が発生した場合、通常、運用管理部門（運用管理システム側）の専任のオペレータにより、運用マニュアル等を利用して、その障害対応、例えばワークアラウンド（以下、Ｗ／Ａと言う）を行っている。しかし、運用管理部門のオペレータにおいて、機器障害に対応できないような事態が発生した場合がある。例えば、オペレーション的には問題なくともセキュリティ面やデータ不正などの面における障害が生じた場合である。このような場合、開発部門（開発システム側）の開発者（エンジニア）に協力を得る必要が生じる。

従来は、運用管理部門のオペレータは、開発部門の開発者に対して、その状況を電話等の通信手段を介して説明し、開発者から当該障害に対する対策方法について説明、指示を受け、当該指示に基づいて障害機器の障害を是正する対応を行っていた。

しかし、このような方法であると、オペレータによる開発者への障害状況の正確な説明は、容易でなく、両者間の連携ミスを招く問題があった。そして、オペレータを介しての障害対応ができない場合には、開発者自身が、顧客側に出向いて機器に直接触れ、障害対応していたのが実情である。その結果として、障害対応に日数、時間を要すこととなり、顧客に多大な迷惑をかける課題があった。

そこで、本発明は、機器障害発生時において、当該開発者側から、開発と運用の分離を実現したリモートで障害対応（支援）することができる障害対応システムを提供する。

上記課題を是正するために、本発明は、機器に障害が発生した際の応急措置を可能とする、Ｗ／Ａ機能を有する運用管理システムにおいて、当該運用管理システム側にてＷ／Ａ機能による障害対応ができない場合、当該開発システム側に対して、エスカレーション（ｅｓｃａｌａｔｉｏｎ）措置対応支援要請を可能とし、当該開発システム側からのエスカレーション対応支援情報を受信し、当該支援情報をもって、当該障害機器のエスカレーション機能を可能とする手段を設ける。

例えば、本発明の障害対応システムは、
機器を含む顧客システムと、当該顧客システムの機器を運用管理する運用管理システムと、前記機器を開発した開発者の開発者用端末を含む開発システムと、を有し、
前記運用管理システムは、前記顧客システム側の機器をオペレートするオペレータ用装置を有し、
前記オペレータ装置は、前記顧客システム側と前記開発システム側との間で情報の授受を行うオペレータ用端末を有し、
前記オペレータ用端末は、前記顧客システム側から機器の障害情報を受信したとき、当該障害情報に対してワークアラウンド（Ｗ／Ａ）対応可否判定し、当該Ｗ／Ａ対応可の場合、前記機器に対してＷ／Ａ対応処理を行なう手段、当該Ｗ／Ａ対応不可の場合、前記開発システム側に対してエスカレーション措置対応支援要請を行い、かつ前記開発者用端末から、前記通信用端末を介して送信される支援情報を反映し、当該支援情報によるエスカレーション対応処理を行う手段、を有することを特徴とする。

前記Ｗ／Ａ対応処理を行なう手段は、前記顧客システム側から機器の障害情報を含むログ情報を受信し、かつ当該顧客システム側に対してＷ／Ａ対応及びエスカレーション対応処理のための情報を送信する情報送受信部、前記Ｗ／Ａ対応可否を判定する判定部、Ｗ／Ａ対応可の場合、前記情報送受信部を介してＷ／Ａ対応処理するＷ／Ａ対応処理部、を含み、
前記エスカレーション対応処理を行う手段は、Ｗ／Ａ対応不可の場合、前記開発システム側に対して、エスカレーション措置対応支援要請すると共に、前記障害情報を送信し、前記開発システム側の担当者用端末から送信される前記障害情報に対応する支援情報を受信する機能を有する通信部、当該通信部からの前記支援情報に基づき、前記情報送受信部を介してエスカレーション対応処理するエスカレーション対応処理部、を含むことを特徴とする。

本発明によれば、顧客システム側からの機器障害発生に伴う情報（データ）を開発システム側に反映することができ、また、当該開発システム側からの対策情報を顧客システム側に反映することができ、開発システム側のリモート支援をもって、機器障害の対応を運用システム側のオペレータの説明を受けることなく、迅速にかつ適確に実行することができる。
上述した課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

本発明の障害対応システムの構成を示す図である。本発明の運用管理システムのオペレータ用装置（オペレータ用端末／本番用端末）の構成を示す機能ブロック図である。本発明のオペレータ用装置の処理の一部を説明するフローチャートである。図３の本発明のオペレータ用装置の処理の続きの処理を説明するフローチャートである。

以下、実施例を、図面を用いて説明する。

図１は、本発明の障害対応システムの構成例を示す図であり、顧客システム、運用管理システム（オペレータシステム）、開発システムの関係を示すシステム構成図である。

同図において、障害対応システムは、顧客システム１０の機器（以下、本番機と言う）１０１の障害に対応するシステムであって、オペレータシステム２０、開発システム３０、からなる。

顧客システム１０側は、開発システム３０側の開発者が開発した機器（以下、本番機と言う）１０１を有する。

オペレータシステム２０側は、顧客システム１０側の本番機１０１の運用管理等を行なうオペレータ用装置２０１を有する。開発システム３０側には、顧客システム１０側の本番機１０１を開発した開発者の開発者用装置３０１、を有する。

本番機１０１は、例えばサーバなどの機器である。オペレータ用装置２０１は、例えば、オペレータ用端末（以下、本番用端末と言う）２０１１、通信用端末（以下、外部用端末と言う）２０１２、を含み、情報処理機能を有する例えばパーソナルコンピュータや携帯端末等からなる。開発者用装置３０１は、例えばタブレットを利用する。

本番機１０１とオペレータ用装置２０１の本番用端末２０１１とは、ネットワーク（ＶＰＮ）４０を介して接続し、通信用端末２０１２と開発者用装置３０１とは、ネットワーク（インターネット）５０を介して接続する。

本番機１０１は、本番用端末２０１１から送信されるＷ／Ａ対応情報を受信し、また開発者用端末３０１から本番用端末２０１１を介して送信されるエスカレーション対応情報を受信する。これにより、本番機１０１側では、これらのＷ／Ａ対応情報やエスカレーション対応情報に基づき応急措置対応、エスカレーション措置対応が可能となる。

オペレータ用装置２０１は、ネットワーク４０を介してオンサイトで本番機１０１を管理、運用する機能を有する。すなわち、顧客システム１０側で問題が発生した際、例えば、本番機１０１に障害が発生した場合、その障害情報を収集し、予め決められた対応手順をもって、障害発生時における当該障害に対する応急措置を可能とする機能、所謂ワークアラウンド機能を有する。また、後述するエスカレーション（escalation）機能を有する。エスカレーション機能には、本番機１０１からのコマンドリターン情報に本番機１０１に関連するユーザ情報など、つまり外部に出力するには不当なユーザデータなどが含まれているか否か判定し、また当該ユーザデータに対してはマスクや匿名化などの処理を施す機能を有する。

本番用端末２０１１は、ネットワーク、例えばＶＰＮを介して顧客システム１０に接続されるパーソナルコンピュータからなる。そして、本番機１０１の障害情報を含む障害通知、つまりＷ／Ａ対応可否要求をオンサイトで受信し、当該Ｗ／Ａ対応要求に対する対応の可否判定を行う。

そして、当該対応可否判定結果、対応可の場合には、当該障害情報に対応可能な応急措置用情報（以下、Ｗ／Ａ対応情報）を顧客システム１０側に対してネットワーク４０を介して送信する。

当該対応可否判定結果、対応否の場合には、開発システム３０の開発者用端末３０１に対して通信用端末２０１２を介してエスカレーション支援要請し、かつ本番機１０１の障害情報を送信する。

また、本番用端末２０１１は、開発者用端末３０１から前記通信用端末２０１２を介してエスカレーション支援用コマンドを受信し、かつ当該コマンドに基づくエスカレーション対応情報／エスカレーション支援情報を本番機１０１に送信する。

通信用端末２０１２は、開発システム３０側に対して、エスカレーション措置支援要請を行なうものであり、またオペレータ用装置２０１の本番用端末２０１１から本番機１０１の障害情報（応答データ等）を受け、当該障害情報を開発者用端末３０１に送信する機能を有する。また、開発者用端末３０１に入力され、当該端末から送信されるエスカレーション対応用コマンドを受信する機能を有する。

オペレータ用装置２０１の本番機用端末２０１１と通信用端末２０１２との接続は、本番機用端末２０１１が、Ｗ／Ａ対応不可の場合、例えば通信用端末２０１２を自動的に起動し、開発システム３０側に開発者用端末３０１に接続するように制御する構成とする。或いは、オペレータにより手動で行ってもよい。

本実施例では、本番用端末２０１１が、開発者用端末３０１間の情報の授受を、通信用端末２０１２を介して行う構成としているが、当該通信用端末を本番用端末に取り込み、通信機能を有する通信部とするように構成してもよい。

開発者用端末３０１は、上述したように本番機用端末２０１１からの前記エスカレーション支援要請を受けたとき、かつ前記障害情報に対応する前記エスカレーション支援用コマンドを、通信用端末２０１２を介して本番用端末２０１１に送信するものであるが、例えばタブレット端末を利用する。当該エスカレーション支援用コマンドは、開発者によって入力する。

図２は、オペレータシステム２０のオペレータ用装置２０１の一例を示す構成図である。同図において、オペレータ用装置２０１は、情報受信部２０１１１、Ｗ／Ａ対応可否判定部２０１１２、記憶部２０１１３、Ｗ／Ａ対応処理部２０１１４、通信部２０１１５（図１の通信用端末２０１２に相当）、エスカレーション対応処理部２０１１６、を有する。

情報受信部２０１１１は、本番機１０１との間で情報、つまり障害情報を含むログ情報の授受を行う。

Ｗ／Ａ対応可否判定部２０１１２は、本番機１０１からの障害情報をもってＷ／Ａ対応が可能か否か判定する。

記憶部２０１１３は、本番機１０１からのログ情報や開発者用端末３０１からのエスカレーション対応支援情報等を記憶する。

Ｗ／Ａ対応処理部２０１１４は、本番用端末２０１１が、Ｗ／Ａ対応可の場合、予め決められた手順に従ってＷ／Ａ対応する。当該手順は、ＤＢ等に格納しておく。

通信部２０１１５は、本番用端末２０１１が、Ｗ／Ａ対応否の場合、開発システム３０側の開発者用端末３０１を介して開発者にエスカレーション対応措置支援要請及び障害情報の送信を行なうと共に当該開発者用端末３０１から送られてくるエスカレーション対応支援情報（障害情報に対応するエスカレーション対応用コマンド等）を受信する。

エスカレーション対応処理部２０１１６は、開発者用端末３０１からのエスカレーション対応支援情報に基づき、エスカレーション対応処理を行う。

次に、本番機１０１、本番用端末２０１、開発者用端末３０１の動作について詳述する。
図３、図４は、本番機１０１、本番用端末２０１１、開発者用端末３０１間の処理シーケンスを示す図である。

同図において、まず、オペレーションシステム２０の本番用端末２０１１は、端末顧客システム１０側の機器（以下、本番機と言う）１０１に障害が発生したとき（ステップＳ１０１１）、当該本番機側から、障害情報を含む障害発生通知を受け（ステップＳ２０１０）、次いで、当該障害情報に対して、本番用端末２０１１のオペレータがシステム上で問題が発生した際の応急措置であるワークアラウンド（workaround；以下Ｗ／Ａと言う）対応が可能か否かを判定する（ステップＳ２０１１）。

当該判定結果、Ｗ／Ａ対応可の場合には、本番用端末２０１は、障害情報に対応する応急措置情報（以下、Ｗ／Ａ情報と言う）を本番機１０１側に対して通知し、Ｗ／Ａ対応を促す（ステップＳ２０１２）。

本番機１０１は、当該Ｗ／Ａ対応情報を受け、当該情報を元に障害を解消する応急措置対応を行い（ステップＳ１０１２）、終了する（ステップＳ１０１３）。

前記Ｗ／Ａ対応可否判定の結果、否の場合には、本番用端末２０１は、本番機１０１の開発元である開発システム３０の開発者用装置（以下、開発者用端末と言う）３０１に対してエスカレーション措置対応支援要請を行う（ステップＳ２０１３）。これは、本番用端末２０１１側のオペレータにより、発生した障害などに対処できない場合であり、より上位の存在である開発システム３０の開発者用端末３０１を介して開発者側に対して、支援要請するものである。

本番用端末２０１の上位にある開発者用端末３０１は、エスカレーション措置対応支援要請を受付け、当該要請に対する認証及び承認可否情報を本番用端末２０１に通知する（ステップＳ３０１１）。

本番用端末２０１は、当該開発者用端末３０１からのエスカレーション措置支援対応認証＆承諾要否情報を受け、当該要否を判定する（ステップＳ２０１４）。

要否判定結果、要の場合には、本番用端末２０１１は、本番機１０１の障害情報を開発者用端末３０１に対して電話やメール、等で送信し、状況確認を促す（ステップＳ２０１５）。

開発者用端末３０１は、本番用端末２０１１からの本番機１０１に関する障害情報を例えば電話やメール等にて受信する（ステップＳ３０１２）。これにより、開発者用端末側では、当該情報を元に本番機１０１の状況確認が可能となる。

また、開発者用端末３０１は、障害情報を元に開発者によって、入力される（Ｓ３０１３）コマンドを含むエスカレーション対応情報（対策支援情報）を受付け・表示し（Ｓ３０１４）、当該エスカレーション対応情報を本番用端末２０１に対して送信し、本番機１０１に送信するよう促す（ステップＳ３０１５）。

本番用端末２０１は、開発者用端末３０１からのエスカレーション対応情報を受信・表示し（Ｓ３０１６）、当該エスカレーション対応情報を本番機１０１に対して送信し、エスカレーション対応を促す（ステップＳ３０１６）。

本番機１０１は、本番用端末２０１からのエスカレーション対応情報を受信し、当該情報を元にエスカレーション対応する（ステップＳ１０１４）。

ここで、当該エスカレーション対応情報に基づき対応不可の場合には、本番機１０１側から入力されるエスカレーション対応可否を示すコマンドリターン要求有無を判定し（ステップＳ１０１５）、コマンドリターン要求が無ない場合には、終了する（ステップＳ１０１３）。
コマンドリターン要求が有る場合には、コマンドリターン情報に本番機１０１に関連するユーザ情報など、つまり外部に出力するには不当なユーザデータなどが含まれているか否か判定する（ステップＳ１０１６）。ユーザデータが含まれている場合には、当該ユーザデータをマスク処理する（ステップＳ１０１７）。このマスク処理に代えて、匿名化処理を施し、ユーザ（個人）が特定できないようにしてもよい。
しかるのち、コマンドリターン情報を本番用端末２０１に対して送信する（ステップＳ１０１８）。

本番用端末２０１１は、本番機１０１からのコマンドリターン情報を受信し（ステップＳ２０１８）、当該コマンドリターン情報を開発者用端末３０１に対して送信する（ステップＳ２０１９）。

開発者用端末３０１は、コマンドリターン情報を受信・表示し、開発者に対して、当該コマンドリターン情報に対応するコマンドの入力を促し（ステップＳ３０１４）、上述したエスカレーション対応ステップを繰返す。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０顧客システム
１０１本番機
２０オペレータシステム
２０１オペレータ用装置
２０１１本番用端末
２０１２通信端末（外部用端末）
３０開発システム
３０１開発者用装置（開発者用端末）

Claims

機器を含む顧客システムと、当該顧客システムの機器を運用管理する運用管理システムと、前記機器を開発した開発者の開発者用端末を含む開発システムと、を有し、
前記運用管理システムは、前記顧客システム側の機器をオペレートするオペレータ用装置を有し、
前記オペレータ用装置は、前記顧客システム側と前記開発システム側との間で情報の授受を行うオペレータ用端末、を有し、
前記オペレータ用端末は、
前記顧客システム側から機器の障害情報を受信したとき、当該障害情報に対してワークアラウンド（Ｗ／Ａ）対応可否判定し、当該Ｗ／Ａ対応可の場合、前記機器に対してＷ／Ａ対応処理を行なう手段、
当該Ｗ／Ａ対応不可の場合、前記開発システム側に対してエスカレーション措置対応支援要請を行う手段、
前記支援要請に対応して前記開発システム側から通信用端末を介して送信されるエスカレーション対応認証及び承諾要否を受けてエスカレーション対応認証及び承諾要否を判定する手段、
前記判定する手段により、エスカレーション対応認証及び承諾要と判定されたとき、前記機器の障害情報を前記開発者用端末に対して送信する手段、
前記障害情報に元に前記開発者用端末から入力されるコマンドを含むエスカレーション対応情報を、前記通信用端末を介して受信し、当該エスカレーション対応情報を前記顧客システム側に送信する手段、
前記エスカレーション対応情報に対応して前記顧客システムからコマンドリターンがあり、当該顧客システムから受信したコマンドリターン情報に前記顧客システムに関連するユーザ情報が含まれている場合、当該ユーザ情報をマスクまたは匿名化の処理を施した上で当該コマンドリターン情報を前記開発者用端末に送信する手段、
前記開発者用端末から、前記通信用端末を介して送信される支援情報を反映し、当該支援情報によるエスカレーション対応処理を行う手段、
を有することを特徴とする障害対応システム。
請求項１に記載の障害対応システムであって、
前記Ｗ／Ａ対応処理を行なう手段は、前記顧客システム側から機器の障害情報を含むログ情報を受信し、かつ当該顧客システム側に対してＷ／Ａ対応及びエスカレーション対応処理のための情報を送信する情報送受信部、前記Ｗ／Ａ対応可否を判定する判定部、Ｗ／Ａ対応可の場合、前記情報送受信部を介してＷ／Ａ対応処理するＷ／Ａ対応処理部、を含み、
前記エスカレーション対応処理を行う手段は、Ｗ／Ａ対応不可の場合、前記開発システム側に対して、エスカレーション措置対応支援要請すると共に、前記障害情報を送信し、
前記開発システム側の担当者用端末から送信される前記障害情報に対応する支援情報を受信する機能を有する通信部、当該通信部からの前記支援情報に基づき、前記情報送受信部を介してエスカレーション対応処理するエスカレーション対応処理部、を含むことを特徴とする障害対応システム。