JP6684243B2 - 障害復旧手順最適化システムおよび障害復旧手順最適化方法 - Google Patents

Description

本発明は、機械学習により、ネットワークの障害を復旧させる運用手順を作成しまたは作成した運用手順を修正する技術に関する。

従来から、機械学習を行なう場合、古い情報と新しい情報を同じ重みで学習させていた。学習に用いる情報において、時点を考慮して学習させることにより、時間変化に対応した学習を行なっている（特許文献１）。

特開２０１４−１６７７４４号公報

しかしながら、特許文献１では、時間に対する状況変化に対応できる一方で、状態が変化したことをトリガーとして修正を行なう等の処理はなされておらず、状態が変化した場合に即座に学習内容を修正したい場合に対応ができていない。

本発明は、このような事情に鑑みてなされたものであり、学習した内容の修正が必要となった場合に、ネットワークの状態の変化があったかどうかを測定し、そのネットワークの状態に対する最適な解を再作成させ、また、ネットワークの状態の変化がなかった場合においても、不要情報としてフィルタリングすることによって、復旧手順に修正内容を即時に反映する障害復旧手順最適化システムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の障害復旧手順最適化システムは、機械学習により、ネットワークの障害を復旧させる運用手順を作成しまたは作成した運用手順を修正し、作成または修正した運用手順を最適化する障害復旧手順最適化システムであって、各ネットワーク構成情報を取得し、前記取得したネットワーク構成情報を数値化および標準化し、特徴量を算出する特徴量算出部と、前記算出した特徴量と前記特徴量を有するネットワークで発生した障害アラーム種別の組合せ情報を取得し、前記取得した組合せ情報に対応する復旧手順を作成または更新する手順学習・作成部と、前記作成または更新した復旧手順を確からしい順に保管する手順情報保管部と、前記保管された復旧手順のうち、使用対象から除外する復旧手順を保管するフィルタリング保管部と、を備え、前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が、既存のいずれの特徴量とも異なる新しい特徴量であった場合、前記算出した新しい特徴量と障害アラーム種別の組合せ情報および前記組合せ情報に対する復旧手順を前記フィルタリング保管部に保管することを特徴とする。

このように、各ネットワーク構成情報を取得し、取得したネットワーク構成情報を数値化および標準化し、特徴量を算出し、算出した特徴量と特徴量を有するネットワークで発生した障害アラーム種別の組合せ情報を取得し、取得した組合せ情報に対応する復旧手順を作成または更新し、作成または更新した復旧手順を確からしい順に保管し、保管された復旧手順のうち、使用対象から除外する復旧手順を保管し、復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、ネットワークにおいて、算出した特徴量が、既存のいずれの特徴量とも異なる新しい特徴量であった場合、算出した新しい特徴量と障害アラーム種別の組合せ情報および組合せ情報に対する復旧手順をフィルタリング保管部に保管するので、ネットワークの状況に応じた障害の復旧手順を即時に反映させることが可能となる。

（２）また、本発明の障害復旧手順最適化システムは、前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が変化しなかった場合は、前記復旧手順を前記フィルタリング保管部に保管することを特徴とする。

このように、復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、ネットワークにおいて、算出した特徴量が変化しなかった場合は、復旧手順を前記フィルタリング保管部に保管するので、次回に同様の障害が起きた時には、今回修正が必要であると判断された復旧手順をフィルタリングすることで除外することが可能となる。

（３）また、本発明の障害復旧手順最適化システムにおいて、前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が変化し、既存のいずれかの特徴量と同一であった場合は、前記復旧手順を前記フィルタリング保管部に保管することを特徴とする。

このように、復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、ネットワークにおいて、算出した特徴量が変化し、既存のいずれかの特徴量と同一であった場合は、復旧手順をフィルタリング保管部に保管するので、次回に同様の障害が起きた時には、今回修正が必要であると判断された復旧手順をフィルタリングすることで除外することが可能となる。

（４）また、本発明の障害復旧手順最適化システムにおいて、前記算出した新しい特徴量と障害アラーム種別の組合せ情報および前記組合せ情報に対する復旧手順を前記フィルタリング保管部に保管した後、前記フィルタリング保管部に保管されていた従前の復旧手順を削除することを特徴とする。

このように、算出した新しい特徴量と障害アラーム種別の組合せ情報および組合せ情報に対する復旧手順をフィルタリング保管部に保管した後、フィルタリング保管部に保管されていた従前の復旧手順を削除するので、一度除外された復旧手順をその後のネットワークの状況変化に応じて、再度を実行対象とすることが可能となる。

（５）また、本発明の障害復旧手順最適化方法は、機械学習により、ネットワークの障害を復旧させる運用手順を作成しまたは作成した運用手順を修正し、作成または修正した運用手順を最適化する障害復旧手順最適化方法であって、特徴量算出部において、各ネットワーク構成情報を取得し、前記取得したネットワーク構成情報を数値化および標準化し、特徴量を算出するステップと、手順学習・作成部において、前記算出した特徴量と前記特徴量を有するネットワークで発生した障害アラーム種別の組合せ情報を取得し、前記取得した組合せ情報に対応する復旧手順を作成または更新するステップと、手順情報保管部において、前記作成または更新した復旧手順を確からしい順に保管するステップと、フィルタリング保管部において、前記保管された復旧手順のうち、使用対象から除外する復旧手順を保管するステップと、を少なくとも含み、前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が、既存のいずれの特徴量とも異なる新しい特徴量であった場合、前記算出した新しい特徴量と障害アラーム種別の組合せ情報および前記組合せ情報に対する復旧手順を前記フィルタリング保管部に保管することを特徴とする。

このように、特徴量算出部において、各ネットワーク構成情報を取得し、取得したネットワーク構成情報を数値化および標準化し、特徴量を算出し、手順学習・作成部において、算出した特徴量と特徴量を有するネットワークで発生した障害アラーム種別の組合せ情報を取得し、取得した組合せ情報に対応する復旧手順を作成または更新し、手順情報保管部において、作成または更新した復旧手順を確からしい順に保管し、フィルタリング保管部において、保管された復旧手順のうち、使用対象から除外する復旧手順を保管し、復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、ネットワークにおいて、算出した特徴量が、既存のいずれの特徴量とも異なる新しい特徴量であった場合、算出した新しい特徴量と障害アラーム種別の組合せ情報および組合せ情報に対する復旧手順をフィルタリング保管部に保管するので、ネットワークの状況に応じた障害の復旧手順を即時に反映させることが可能となる。

本発明によれば、学習した内容の修正が必要なった場合に、ネットワークの状態に変化があったか否かを測定し、そのネットワークの状態に対する最適な解を再作成させ、また、ネットワークの状態に変化がなかった場合においても、修正が必要となった復旧手順を不要情報としてフィルタリングすることによって、復旧手順に修正内容を即時に反映することができ、その結果、ネットワークの障害の内容に応じて、適切な復旧手順を提供することが可能となる。

本実施形態に係る障害復旧手順最適化システムの概略構成を示す図である。 ネットワーク情報保管部に保管された情報の一例を示す図である。 特徴量保管部に保管された情報の一例を示す図である。 手順情報保管部に保管された情報の一例を示す図である。 フィルタリング保管部に保管された情報の一例を示す図である。 障害復旧フェーズの動作を示すフローチャートである。 手順学習・修正フェーズの動作を示すフローチャートである。

本発明者らは、ネットワーク障害における復旧手順において、ネットワークのリソース等の状態が変化したことによる復旧手順の修正が即座に反映されないことに着目し、学習した内容の修正が必要なった場合に、ネットワークの状態の変化があったかどうかを測定し、そのネットワークの状態に対する最適な解を再作成させ、また、ネットワークの状態の変化がなかった場合においても、不要情報としてフィルタリングすることによって、復旧手順に修正内容を即時に反映することができ、その結果、ネットワークの障害の内容に応じて、適切な復旧手順を提供することができることを見出し、本発明に至った。

すなわち、本発明の障害復旧手順最適化システムは、機械学習により、ネットワークの障害を復旧させる運用手順を作成しまたは作成した運用手順を修正し、作成または修正した運用手順を最適化する障害復旧手順最適化システムであって、各ネットワーク構成情報を取得し、前記取得したネットワーク構成情報を数値化および標準化し、特徴量を算出する特徴量算出部と、前記算出した特徴量と前記特徴量を有するネットワークで発生した障害アラーム種別の組合せ情報を取得し、前記取得した組合せ情報に対応する復旧手順を作成または更新する手順学習・作成部と、前記作成または更新した復旧手順を確からしい順に保管する手順情報保管部と、前記保管された復旧手順のうち、使用対象から除外する復旧手順を保管するフィルタリング保管部と、を備え、前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が、既存のいずれの特徴量とも異なる新しい特徴量であった場合、前記算出した新しい特徴量と障害アラーム種別の組合せ情報および前記組合せ情報に対する復旧手順を前記フィルタリング保管部に保管することを特徴とする。

これにより、本発明者らは、ネットワークの状況に応じた障害の復旧手順を即時に反映させることが可能とした。以下、本発明の実施形態について、図面を参照しながら具体的に説明する。

図１は、本実施形態に係る障害復旧手順最適化システムの概略構成を示す図である。障害復旧手順最適化システム１は、ネットワーク情報保管部１１、監視部１３、特徴量算出部１５、特徴量保管部１７、入力値作成部２１、手順情報保管部２３、結果出力部２５、フィルタリング保管部２７、手順学習・作成部２９、手順結果確認部３１、を備えている。本実施形態に係る障害復旧手順最適化システム１の利用形態は、事前学習、障害復旧、手順学習・修正、およびフィルタ修正の４つのフェーズから成る。以下に、これら４つの利用形態について、順を追って説明しながら、各機能についても説明する。

［１．事前学習］
まず、ユーザは、ネットワーク名とネットワークに関連するＩＰアドレス情報を入力する。入力されたネットワーク名とネットワークに関連するＩＰアドレス情報は、ネットワーク情報保管部１１に保管される。図２は、ネットワーク情報保管部１１に保管された情報の一例を示す図である。

次に、監視部１３は、ネットワーク情報保管部１１に保管されたＩＰアドレス情報を参照し、各ネットワーク機器のリソース情報（ＣＰＵ使用率、メモリ使用率、トラフィック情報等）を取得し、特徴量算出部１５へ送信する。

次に、特徴量算出部１５は、ネットワークの状態を特徴量として算出する。ここでは、例えば、機械学習等を用いて、各ネットワークの特徴量を算出することを想定しており、ＳＯＭ（Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ）やＡｕｔｏ ｅｎｃｏｄｅｒ等の機械学習を利用すること等が考えられる。各ネットワークの特徴量を算出した後、特徴量保管部１７に各ネットワークおよび各ネットワークの特徴量に関する情報を保管する。図３は、特徴量保管部１７に保管された情報の一例を示す図である。

次に、入力値作成部２１は、各ネットワークの特徴量と各ネットワークで発生した障害のアラーム種別を組合せ、それを入力値として取得する。そして、入力値作成部２１は、その障害で用いた復旧手順を出力値、つまり入力値である特徴量とアラーム種別に対する解として、手順学習・作成部２９へ送信する。手順学習・作成部２９は、取得した入力値である特徴量とアラーム種別、および出力値である復旧手順をもとに、学習を実施（教師あり学習）し、その情報を手順情報保管部２３へ保管する。図４は、手順情報保管部２３に保管された情報の一例を示す図である。手順情報保管部２３は、ネットワークの特徴量およびアラーム種別の組合せ毎に、復旧手順を、確からしい順番で保管する。

［２．障害復旧］
図６は、障害復旧フェーズの動作を示すフローチャートである。ネットワークで障害が発生すると、障害が発生したネットワークから入力値作成部２１へ向かって障害アラームが発出され、障害を検知する（ステップＳ１０１）。入力値作成部２１は、手順情報保管部２３の情報を参照し、障害が発生したネットワークおよびネットワークの特徴量を確認する（ステップＳ１０２、Ｓ１０３）。確認の結果、これまでに発生したことがある障害か否かを判定する（ステップＳ１０４）。

ステップＳ１０４において、入力値作成部２１が、発生した障害は既に起きたことがある障害で、かつ復旧手順情報が存在する場合は、その旨を結果出力部２５へ通知する。結果出力部２５は、フィルタリング保管部２７と手順情報保管部２３の情報を参照し（ステップＳ１０７）、手順情報保管部２３に保管されている情報のうち、フィルタリング保管部２７に保管されている情報以外の該当する復旧手順を、ユーザへ出力する（ステップＳ１０８）。

一方、ステップＳ１０４において、入力値作成部２１が、発生した障害は初めて発生した障害であると判定した場合は、当該ネットワークの特徴量とアラームの組合せを入力値として手順学習・作成部２９へ送信する（ステップＳ１０５）。

次に、手順学習・作成部２９は、入力値作成部２１から取得した入力値から復旧手順を算出し、算出した復旧手順を入力値に対する出力値として、特徴量、ネットワーク名、アラーム種別等の情報とともに、手順情報保管部２３へ保管する（ステップＳ１０６）。その後、結果出力部２５を経由して、算出した復旧手順をユーザへ出力する（ステップＳ１０８）。

［３．手順学習・修正］
図７は、手順学習・修正フェーズの動作を示すフローチャートである。まず、ユーザは、結果出力部２５から出力された復旧手順を実行した後、その復旧手順を修正する必要があるか否かを確認し（ステップＳ２０１）、復旧手順を修正する必要があるか否かの判定を行なう（ステップＳ２０２）。ユーザは、判定結果を手順結果確認部３１へ入力する。

復旧手順に修正の必要がない場合は、手順学習・作成部２９に対し、ネットワークの特徴量とアラーム情報を入力値として、また実行した手順情報を出力値として、ネットワークの特徴量、アラーム情報および手順情報を送信し、学習を行なわせる（ステップＳ２０９）。学習結果を、手順情報保管部２３へ保管（更新）して終了する（ステップＳ２１０）。

ステップＳ２０２において、手順修正が必要であると判定した場合は、手順結果確認部３１は、監視部１３に再監視を行なうよう依頼する（ステップＳ２０３）。これは、ネットワークの状況が変化し、これまでの手順が利用できない可能性を探ることを目的としている。

監視部１３は、ネットワーク情報保管部１１を参照し、該当ネットワーク上に存在しているネットワーク機器のリソース情報を取得し、取得したリソース情報を特徴量算出部１５へ送信する。

次に、特徴量算出部１５は、取得したリソース情報をもとに特徴量を算出する（ステップＳ２０４）。特徴量を算出した結果、特徴量が変化しなかった場合（ステップＳ２０５）は、障害が起きたネットワークの特徴量におけるフィルタリングとして、今回実行した復旧手順をフィルタリング保管部２７へ保管（更新）し、次回は利用しないようにする（ステップＳ２０８）。

また、ステップＳ２０５において、特徴量を算出した結果、特徴量は変化したが、既に存在している特徴量になった場合（ステップＳ２０６）は、その特徴量におけるフィルタリングとして、今回利用した復旧手順をフィルタリング保管部２７へ新たに入力（更新）し、次回は利用しないようにする（ステップＳ２０８）。

また、ステップＳ２０６において、特徴量が変化し、さらにそれが初めての特徴量であった場合は、特徴量保管部１７にその情報を保管し、その特徴量におけるフィルタリングとして、今回利用した復旧手順とともに、フィルタリング保管部２７へ新たに入力（更新）し、次回は利用しないようにする（ステップＳ２０７）。

ステップＳ２０５〜Ｓ２０８の処理完了後、手順学習・作成部に対し、特徴量とアラーム情報を入力値として、また利用した復旧手順のうち手順修正の必要がない復旧手順または新たに作成した復旧手順を出力値として、学習させ（ステップＳ２０９）、手順情報保管部２３にその情報を保管（更新）する（ステップＳ２１０）。

［４．フィルタ修正］
手順学習・修正フェーズにおいて、学習が進み、フィルタリング保管部に保管されている手順が最も不要と判断された手順情報ではないと判断された場合には、その手順情報をフィルタリング保管部から削除する。例えば、図５において、特徴量「１」、アラーム種別「error」のように、２つの手順情報にフィルタリング（除外）対象としてフィルタリング保管部に保管されているが、復旧手順［4->5->6］がフィルタリング（除外）対象の復旧手順のうち１位ではなくなった場合、復旧手順［4->5->6］をフィルタリング保管部から削除する。ある復旧手順がフィルタリング保管部に保管されると、その復旧手順が使われることはなくなる。しかし、状況によっては除外対象第１位でない復旧手順が有効となる場合もあり得る。そこで、復旧手順がフィルタリング（除外）対象の復旧手順のうち１位ではなくなった場合、その復旧手順を削除することとした。

以上説明したように、本実施形態によれば、学習した内容の修正が必要となった場合に、ネットワークの状態に変化があったか否かを測定し、そのネットワークの状態に対する最適な解を再作成させ、また、ネットワークの状態に変化がなかった場合においても、修正が必要となった復旧手順を不要情報としてフィルタリングすることによって、復旧手順に修正内容を即時に反映することができ、その結果、ネットワークの障害の内容に応じて、適切な復旧手順を提供することが可能となる。

１ 障害復旧手順最適化システム
１１ ネットワーク情報保管部
１３ 監視部
１５ 特徴量算出部
１７ 特徴量保管部
２１ 入力値作成部
２３ 手順情報保管部
２５ 結果出力部
２７ フィルタリング保管部
２９ 手順学習・作成部
３１ 手順結果確認部

Claims (5)

1. ネットワークの障害を復旧させる運用手順を作成しまたは作成した運用手順を修正し、作成または修正した運用手順を最適化する障害復旧手順最適化システムであって、
   各ネットワーク構成情報を取得し、前記取得したネットワーク構成情報を数値化および標準化し、特徴量を算出する特徴量算出部と、
   前記算出した特徴量と前記特徴量を有するネットワークで発生した障害のアラーム種別の組合せ情報を入力値として取得し、前記入力値に対する解として、前記障害で用いた復旧手順を出力値として出力する入力値作成部と、
   前記特徴量とアラーム種別および復旧手順をもとに、前記特徴量とアラーム種別に対する復旧手順の教師あり学習を行う手順学習・作成部と、
   前記教師あり学習の学習結果を保管する手順情報保管部と、
   前記保管された復旧手順のうち、使用対象から除外する復旧手順を保管するフィルタリング保管部と、を備え、
   前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が、既存のいずれの特徴量とも異なる新しい特徴量であった場合、前記算出した新しい特徴量と障害アラーム種別の組合せ情報および前記組合せ情報に対する復旧手順を前記フィルタリング保管部に保管することを特徴とする障害復旧手順最適化システム。
2. 前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が変化しなかった場合は、前記復旧手順を前記フィルタリング保管部に保管することを特徴とする請求項１記載の障害復旧手順最適化システム。
3. 前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が変化し、既存のいずれかの特徴量と同一であった場合は、前記復旧手順を前記フィルタリング保管部に保管することを特徴とする請求項１または請求項２記載の障害復旧手順最適化システム。
4. 前記フィルタリング保管部に不要と判断された復旧手順が既に保管されており、さらに、前記算出した特徴量が初めての特徴量であった場合は、今回利用した復旧手順とともに前記フィルタリング保管部に保管し、学習が進んだ後、前記フィルタリング保管部に保管されていた複数の復旧手順のうち除外対象第１位でない復旧手順を削除することを特徴とする請求項１記載の障害復旧手順最適化システム。
5. ネットワークの障害を復旧させる運用手順を作成しまたは作成した運用手順を修正し、作成または修正した運用手順を最適化する障害復旧手順最適化方法であって、
   特徴量算出部において、各ネットワーク構成情報を取得し、前記取得したネットワーク構成情報を数値化および標準化し、特徴量を算出するステップと、
   入力値作成部において、前記算出した特徴量と前記特徴量を有するネットワークで発生した障害のアラーム種別の組合せ情報を入力値として取得し、前記入力値に対する解として、前記障害で用いた復旧手順を出力値として出力するステップと、
   手順学習・作成部において、前記特徴量とアラーム種別および復旧手順をもとに、前記特徴量とアラーム種別に対する復旧手順の教師あり学習を行うステップと、
   手順情報保管部において、前記教師あり学習の学習結果を保管するステップと、
   フィルタリング保管部において、前記保管された復旧手順のうち、使用対象から除外する復旧手順を保管するステップと、を少なくとも含み、
   前記復旧手順に対し、修正が必要であると判断された場合、ネットワーク構成情報を再度取得し、特徴量を算出した結果、前記ネットワークにおいて、前記算出した特徴量が、既存のいずれの特徴量とも異なる新しい特徴量であった場合、前記算出した新しい特徴量と障害のアラーム種別の組合せ情報および前記組合せ情報に対する復旧手順を前記フィルタリング保管部に保管することを特徴とする障害復旧手順最適化方法。

Images