JP5133941B2 - ネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラム - Google Patents

ネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラム Download PDF

Info

Publication number
JP5133941B2
JP5133941B2 JP2009118554A JP2009118554A JP5133941B2 JP 5133941 B2 JP5133941 B2 JP 5133941B2 JP 2009118554 A JP2009118554 A JP 2009118554A JP 2009118554 A JP2009118554 A JP 2009118554A JP 5133941 B2 JP5133941 B2 JP 5133941B2
Authority
JP
Japan
Prior art keywords
failure
network
determination
procedure
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009118554A
Other languages
English (en)
Other versions
JP2010268275A (ja
Inventor
達哉 松川
裕介 船越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009118554A priority Critical patent/JP5133941B2/ja
Publication of JP2010268275A publication Critical patent/JP2010268275A/ja
Application granted granted Critical
Publication of JP5133941B2 publication Critical patent/JP5133941B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、IP(インターネットプロトコル)に代表されるネットワークプロトコルによって実現される通信ネットワーク技術に関し、特に、ネットワークを構成する構成要素(IPパケット等のパケットを転送する装置、装置間を接続するリンクを構成するための伝送路や伝送路装置等のネットワーク設備に関する設備)の故障情報をもとに、ネットワークの物理的信頼度と故障に伴う故障時間(故障の継続時間)および影響規模(影響ユーザ数)の情報から故障の影響度を算出し、ネットワーク信頼度の良否を判定し、信頼度の低下に影響の大きい故障事例やネットワーク設備を選定することによって、信頼度の高い、あるいは所望する信頼度を有するネットワークの運用管理を自動的かつ精度よく実現することが可能なネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラムに関するものである。
通信ネットワークの社会インフラ化が進むに伴って、ネットワークの故障や障害がユーザのサービス利用に与える影響を軽減することが必要不可欠となっている。一方、IPネットワーク技術が進展するにつれて、市販技術や汎用製品を積極的に導入することを前提としてネットワークを構築するため、関連装置の開発期間やネットワークの構築期間は短縮化する傾向にある。
また、新規に開発され運用実績の少ない装置や多種の機能を有する装置など、各種ネットワーク装置が導入される機会が増加しており、経年劣化のみならず、構成部品の不良や設定条件の不適合など、装置停止の各種要因が混在し故障要因が混在化する危険性がある。
従来、通信ネットワークの信頼性は、対象ネットワークを構成する設備(例えばネットワーク装置やリンク等のネットワーク構成要素)と設備の構成(設備の接続構成や冗長構成)によって、当該の通信ネットワークに対する信頼性評価モデルを作成し、個々のネットワーク設備が有する故障確率(例えば、故障率や不稼動率)の積や和を用いて算出される。
そして、当該の通信ネットワークに対して求められている故障確率をもとに、個々のネットワーク設備に対して求められている故障確率を配分し、配分された故障確率と信頼性評価モデルをもとに算出された故障確率とを比較することよって評価されてきた。
従来のネットワーク信頼性の算出方法については、「NTT通信網を理解していただくために」(NTT通信網研究会、1994)“第8章 安定品質“、pp.314−329(非特許文献1)に記述されている。この文献に開示されている信頼性評価技術は、ネットワークの計画・設計・構築を実施する上で的確な判断を支援するための技術である。
また、信頼性を考慮した従来のネットワークの設計方法は、ネットワークの設計者が、ネットワーク設計の対象となっているネットワーク区間において、ネットワークを構成する個々のネットワーク設備(構成要素)の故障確率を算出し、算出した故障確率を足し合わせ、その合計値が所定の目標値を満たすように、故障確率の低いネットワーク設備を選定する、あるいは故障確率の低いネットワーク設備構成を選定する、あるいはネットワーク設備に収容する加入者数に制限を設けるといったことが実施されている。
ネットワーク信頼性の設計方法については、「信頼性ハンドブック」(日本信頼性学会、1997)“1.5.3 信頼性を考慮したネットワークの改善計画−故障時の迷惑度に着目した通信網の信頼性規定・設計法−”、pp.79−84(非特許文献2)に記述されている。
なお、IPネットワークにおける課題については、後述するように、「ネットワークのIP化に対応した安全・信頼性基準(案)」, 総務省情報通信審議会、情報通信技術分科会、IPネットワーク設備委員会、安全・信頼性作業班、2007年12月20日(非特許文献3)に開示されている。
「NTT通信網を理解していただくために」(NTT通信網研究会、1994)"第8章 安定品質"、pp.314−329 「信頼性ハンドブック」(日本信頼性学会、1997) "1.5.3 信頼性を考慮したネットワークの改善計画−故障時の迷惑度に着目した通信網の信頼性規定・設計法−"、pp.79−84 「ネットワークのIP化に対応した安全・信頼性基準(案)」, 総務省情報通信審議会、情報通信技術分科会、IPネットワーク設備委員会、安全・信頼性作業班、2007年12月20日)
(課題1)
上述した従来の技術(非特許文献1)および(非特許文献2)は、評価対象のネットワーク区間(例えば、ある特定キャリアに契約する複数のエンドユーザについて、エンドユーザに一番近いネットワーク設備から冗長構成を有さない複数のネットワーク設備を経由する通信区間)におけるネットワーク設備の配備構成(配備される設備の種別や配備される段数)が全て同一であり、ネットワークの特定装置(特定の機能や機種に属する装置)に対する加入者の収容数が同程度であることを前提としている。この前提においては、ネットワークの特定装置別に故障事例を集計し、各故障確率の平均値の和や積によって、故障がユーザに与える影響をネットワークの故障確率として算出することが可能である。
一方、IPネットワークに代表される通信ネットワークにおいては、加入者数の推移やサービス提供の計画に応じてネットワーク設備の配備構成が逐次変更されるため、ネットワーク設備の配備数は時間とともに変化している。また、特定装置においても加入者の収容数は装置によって大きく異なる。
よって、この場合、ネットワーク設備の配備構成や収容構成について、各種変化がある度に全ての構成についての故障確率を算出する必要があるため、計算量がその状況に応じて指数的に増加する。また、ネットワークの故障確率をネットワークの特定装置別に故障事例を集計し算出した故障確率の単純な和や積によって算出することができないため、従来の技術では、IPネットワークに代表される通信ネットワークにおいては、ネットワークの故障確率を適切に評価することができないという問題がある。
(課題2)
上述した従来の技術(非特許文献1)および(非特許文献2)は、評価対象のネットワーク区間におけるネットワーク設備について、故障率や故障に伴うサービスの中断時間の平均値を用いてネットワークの故障確率を算出し、ネットワークに求められる信頼性をもとに、個々のネットワーク設備に対して事前に評価の基準となる値を設定し、基準値との比較によって個々のネットワーク設備の故障確率を評価する方法である。
一方、IPネットワークに代表される通信ネットワークにおいては、市販品として提供されている複数の機種装置を組み合わせてネットワークを構成しているため、特定の機能に対しても複数機種のネットワーク設備(機種装置)を用い、ネットワークの運用開始以降においても逐次新規の機種装置が導入されている。
また、運用期間の異なる複数の機種装置が配備されるため、故障の発生件数(頻度)や発生率(時間当たりの発生頻度)の統計的特性は、大きなばらつきを有する。
同様に、ネットワーク設備の設備機種の多様化によって、設備の故障や停止事象の種別が増加し、故障要因の迅速な切り分けや故障箇所の特定が困難化しているため、故障に伴うサービスの中断時間が長引く可能性がある。
これらの課題については、上述した非特許文献3(ネットワークのIP化に対応した安全・信頼性基準(案), 総務省情報通信審議会、情報通信技術分科会、IPネットワーク設備委員会、安全・信頼性作業班、2007年12月20日)に記述されている。
よって、故障率や故障に伴うサービスの中断時間の平均値を用いてネットワークの故障確率を算出する場合には、影響度が大きく発生頻度の低い故障事例や影響度が小さく発生頻度の大きい故障事例がネットワークおよびネットワークを利用するユーザに及ぼす影響を適切に評価することができず、それらの影響を過小に、あるいは過大に評価してしまう危険性がある。
同時に、個々のネットワーク設備に対して、事前に基準値を設定することができないため、算出した故障確率を比較評価することができない。よって、従来の技術ではネットワークの故障確率を十分に適切に評価することができないという問題がある。
以上述べたように、ネットワークの信頼性を的確に評価できないことによって、信頼性の低下に影響の大きい故障事例や設備(装置機種等)が明らかにならない、あるいは信頼性向上に効果の高い故障事例や設備が明らかにならない。結果としてネットワークの信頼性向上を確実に実施することができないという問題がある。
そして、高い信頼性を有する、あるいはネットワーク運用管理者が所望する信頼性を有するネットワークを構成するための施策の選定や決定、設備、取替えや修理を要する設備、予備品を要する設備、回復措置手順の変更を要する設備や故障事例、故障要因を解析すべき設備や故障事例等の選定や決定が確実に実施できないことが、従来技術の大きな課題であった。
本発明の目的は、以上の課題を解決するために、評価対象のネットワーク区間におけるネットワーク設備の配備構成や収容構成が均一でないネットワークに適用可能であり、複数の機種装置が逐次配備されることに起因するネットワークの故障率のばらつきや故障発生時のサービス中断の長時間化によるユーザへの影響を考慮してネットワークの信頼性を評価することが可能なネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラムを提供することである。
本発明は、上記目的を達成するために、次のような構成を採用する。
(1)本発明は、上記課題(1)を解決するために、当該ネットワークから収集される故障履歴に関する情報において、故障した設備の機種や機能に関する情報に加えて、故障確率の算出に適した他の情報を用いることによって、ネットワークの故障確率を算出する。
ここで、故障確率の算出に適した情報として、本発明では、当該ネットワークにおいて発生した故障件数と、個々の故障事例における故障による影響規模、および故障発生時のサービス中断時間の情報を用いる。
これらの情報を用いることによって、評価対象のネットワーク区間におけるネットワーク設備の配備構成や収容構成が均一でないネットワークにおいてもネットワークの故障確率を算出することが可能となり、ネットワークの信頼性を評価する。
また、本発明は、上記課題(2)を解決するために、故障確率の平均的特性のみならず、故障の影響度に関する確率分布を推定し、ネットワークの信頼性を評価する。そこで、当該ネットワークから収集される故障履歴情報から、当該ネットワークにおいて発生した故障の総故障件数と個々の故障事例による故障の影響度をもとに、故障の影響度に関する確率(故障の発生確率)の分布を推定する。
故障の影響度は、故障による影響規模(例えば、故障発生時の影響ユーザ数)と故障発生時のサービス中断時間の積によって算出される。ここで、故障の影響度に関する確率分布をネットワーク信頼度と定義し推定することによって、故障がユーザに与える影響の確率分布として広がりを考慮して、ネットワークの信頼度の良否を判定することが可能となる。
また、当該ネットワークの故障履歴情報からネットワークの信頼度を推定する手順において、故障の影響度に対する故障確率を簡易に推定するために累積確率分布を算出する。そして、故障の影響度が極端に大きい事例の発生を考慮するために、上側累積確率分布を算出する。さらに、故障の影響度と対応する確率についての対数変換値を用いることによって確率分布を特徴付けるパラメータを簡易に算出し 、ネットワーク信頼度を推定する。
そして、ネットワーク信頼度の推定結果を用いることによって、個々のネットワーク設備に対する基準値を設定できない、あるいは、個々のネットワーク設備の故障確率を個別に評価できない場合においても、ネットワーク信頼度を判定可能とする。
よって、上記手段を実現するために以下の機能を有することを特徴とする。
(a)ネットワーク故障情報、判定対象情報、実行判定基準値、信頼度判定基準値の入力する機能(手順0)
(b)故障情報から当該ネットワークの総故障件数を算出する機能(手順1)
(c)算出した総故障件数をもとに以降の手順の実行の要否を判定する機能(手順2)
(d)各故障事例の故障時間、故障発生時の影響ユーザ数をもとに故障の影響度を算出する機能(手順3)
(e)算出した総故障件数と故障の影響度から故障の影響度に対する確率分布をネットワーク信頼度として推定する機能(手順4)
(f)ネットワーク信頼度の推定結果をもとにネットワーク信頼度の良否を判定する機能(手順5)
(g)判定結果を表示する機能(手順6)
以下、本発明のより具体的な構成を記す
(イ)本発明に係るネットワーク管理システムは、構成要素として複数の設備を有するネットワークを管理するネットワーク管理システムであって、前記設備毎の故障時間と影響ユーザ数を含むネットワーク故障情報を入力する第1の入力手段と、信頼度判定の実行の対象となる設備に関する判定対象情報を入力する第2の入力手段と、前記第1の入力手段により入力された前記ネットワーク故障情報を記憶する第1の記憶手段と、前記第2の入力手段により入力された前記判定対象情報を記憶する第2の記憶手段と、前記第1の記憶手段に記憶されたネットワーク故障情報のうち前記判定対象情報により信頼度判定の実行の対象とされる設備に対する故障情報を判定対象として設定する手段と、前記ネットワーク故障情報の故障時間と影響ユーザ数、あるいは、前記ネットワーク故障情報の正規化された故障時間と正規化された影響ユーザ数から判定対象とされる設備毎の故障の影響度を算出する第1の算出手段と、前記第1の算出手段により算出された故障の影響度に対する故障確率を算出し、該故障確率によりネットワーク信頼度を推定する推定手段と、前記推定手段により推定されたネットワーク信頼度を事前に入力されている判定基準値により判定する判定手段と、前記判定手段により判定された判定結果を表示する表示手段と、を具備することを特徴とする。
(ロ)また、上記ネットワーク管理システムにおいて、前記ネットワーク故障情報から判定対象とされた総故障件数を算出する第2の算出手段と、該第2の算出手段により算出された総故障件数と予め与えられた信頼度判定実行の要否の基準となる実行判定基準値とを比較する比較手段とを具備し、前記比較手段による比較の結果、前記総故障件数が前記実行判定基準値以上の場合に、前記推定手段の処理を実行し、前記総故障件数が前記実行判定基準値未満の場合に、前記推定手段の処理を実行しないようにしたことを特徴とする。
(ハ)また、上記ネットワーク管理システムにおいて、前記推定手段は、前記故障の影響度に対する故障確率として上側累積確率を用いることを特徴とする。
(ニ)また、上記ネットワーク管理システムにおいて、前記推定手段は、前記故障の影響度に対する上側累積確率を、前記故障の影響度と上側累積確率の対数値をもとに算出すること、あるいは、基準化した故障の影響度と上側累積確率の対数値をもとに算出することを特徴とする。
(ホ)また、上記ネットワーク管理システムにおいて、前記推定手段は、基準化した故障の影響度と上側累積確率の対数値に対して、線形回帰を実施した結果を用いること、あるいは、基準化パラメータの候補値において、線形回帰の相関係数が最も大きくなる基準化パラメータによって基準化した故障の影響度と上側累積確率の対数値を用いること、あるいは、線形回帰の回帰直線と故障の影響度に対する確率点との差分を用いること、あるいは、線形回帰直線と故障の影響度に対する確率点との差分が一定値以上となる点を判定の基準となる点に設定することを特徴とする。

本発明に係るプログラムは、コンピュータを、上記ネットワーク管理システムにおける各手段として機能させるためのプログラムである。
本発明に係るネットワーク管理方法は、構成要素として複数の設備を有するネットワークを管理するネットワーク管理方法であって、前記設備毎の故障時間と影響ユーザ数を含むネットワーク故障情報を入力する第1の入力手順と、信頼度判定の実行の対象となる設備に関する判定対象情報を入力する第2の入力手順と、前記第1の入力手順により入力されたネットワーク故障情報を記憶する第1の記憶手順と、前記第2の入力手段により入力された前記判定対象情報を記憶する第2の記憶手順と、前記第1の記憶手順に記憶されたネットワーク故障情報のうち前記判定対象情報により信頼度判定の実行の対象とされる設備に対する故障情報を判定対象として設定する手順と、前記ネットワーク故障情報の故障時間と影響ユーザ数、あるいは、前記ネットワーク故障情報の正規化された故障時間と正規化された影響ユーザ数から判定対象とされる設備毎の故障の影響度を算出する第1の算出手順と、前記第1の算出手順により算出された故障の影響度に対する故障確率を算出し、該故障確率によりネットワーク信頼度を推定する推定手順と、前記推定手順により推定されたネットワーク信頼度を事前に入力されている判定基準値により判定する判定手順と、前記判定手順により判定された判定結果を表示する表示手順と、を具備することを特徴とする。
本発明によれば、上記構成を採用することにより、評価ネットワーク設備の配備構成や収容構成、また、配備される装置機種に起因する故障率のばらつきや故障発生時のサービス中断時間の長時間化によるユーザへの影響を考慮することによって、ネットワークの信頼性を精度よく評価することが可能なネットワーク管理技術を実現することが可能になる。
また、実行判定基準値を設定しておき、実行判定基準値以上の場合にのみネットワーク信頼度の推定・判定を実行するようにしたことにより、精度の高い信頼度判定を行うことが可能になり、統計的に信頼性のない無駄な処理を省略することができる。
そして、ネットワークの信頼性の低下に影響の大きい故障事例やネットワーク設備を判定し、ネットワークの信頼性向上施策に影響の大きい事例や装置を選定することによって、信頼性の高い、あるいはネットワークの運用管理者が所望する信頼性を有するネットワークの管理を実施することが可能になる。
ここで、本発明では、ネットワーク設備の故障情報からネットワークの信頼度を推定する機能を有しているため、定量的な信頼性評価に基づき、ネットワークの信頼度の低下に影響の大きい装置や原因を明らかにすることが可能である。
また、ネットワークの信頼度を故障の影響度と故障確率として表すことによって、優先的に実施すべき対策や予防的に実施すべき対策を選定する、あるいは誤った判断を回避することが可能であり、ネットワークの信頼度の向上を確実に実施することが可能である。
さらに、ネットワークの信頼度の良否を定量的に判定することによって、ネットワークの運用管理に際して、故障発生時における迅速な復旧措置の決定や、ユーザへの影響を軽減する故障対策を事前に決定するための指標を与えることができる。
本発明に係るネットワーク管理システムの処理フロー(処理手順)の一例を示す図である。 本発明に係るネットワーク管理システムの構成とその処理の流れの一実施形態を示す図である。 本発明の実施形態において信頼度の判定を実施するフローチャートの一例および計算のステップの一例を示す図である。 本発明の実施形態における処理を説明するために用いるネットワーク故障情報の一例を示す図である。 本発明の実施形態における処理を説明するために用いるネットワーク故障データベース(DB)内の故障情報の一例を示す図である。 本発明の実施形態における処理を説明するために用いる故障の影響度の算出例を示す図である(故障時間と影響ユーザ数の積を故障の影響度と定義した場合)。 本発明の実施形態における処理を説明するために用いる昇順に並べた故障の影響度の例を示す図である(故障時間と影響ユーザ数の積を故障の影響度と定義した場合)。 本発明の実施形態における処理を説明するために用いる確率点の算出例を示す図である。 両対数グラフ上の確率点および回帰直線を示す図である。 本発明の実施形態における処理を説明するために用いるパラメータaおよび相関係数の算出例を示す図である。 本発明の実施対象となるネットワークの一例を示す図である。
(本発明の概要)
まず、本発明が対象とするネットワーク構成について説明する。
図11は、本発明が対象とするネットワーク構成を示す図であり、制御網100、コアネットワーク200、アクセスネットワーク300、エンドユーザ400から構成される。
エンドユーザ400がインターネットアクセスや各種IP(インターネット プロトコル)サービスを利用する状況を想定している。ネットワーク要素が冗長化されていない構成箇所における故障はサービス中断につながるため、ユーザのサービス利用に影響を及ぼす可能性が高く、単純な例として、例えばアクセスネットワーク300は、図に示すように、同様の機能を持つ設備あるいは設備内部のコンポーネント(装置A301、装置B302〜装置B303、装置C304〜装置C307)がツリー状に構成されるモデルとして記述できる。
コアネットワーク200など、冗長構成箇所における故障はサービスの中断につながる可能性は低いものの、切り替えに伴うサービスの瞬断や切り替え機能の不具合によるサービス中断が発生する場合がある。
よって、ネットワークとしての信頼性を評価するためには、サービスの中断となった全ての故障事例を検討対象とする必要があるが、時間とともに変化する大規模なネットワークから収集された膨大な故障履歴データを対象とする場合には、ここの故障箇所・要因の分類や比較評価は必ずしも容易でない。
そこで、本発明は、上記点を考慮し、全故障事例を横並びにした上で故障特性を把握し定量的な評価を実施するために、ネットワーク管理システムに入力および記録される故障件数,故障発生日時,故障復旧日時,故障時間(故障継続時間=故障復旧日時−故障発生日時),影響ユーザ数(故障が影響した範囲(人))などに基づいて、故障の影響度(=故障時間×影響ユーザ数)、故障の影響度に対する確率を推定することによってネットワークにおける故障特性を特徴付ける影響度に対する故障の起こりやすさや起こりにくさをネットワーク信頼度と定義することによってネットワークの信頼性を総合的に評価するようにしたものである。
(実施形態)
以下、図面を用いて、本発明に係るネットワーク管理システムの実施形態を詳細に説明する。
図1は、本発明に係るネットワーク管理システムの処理フロー(処理手順)の一例を示す図である。
同図に示すように、本発明における処理手順は、ネットワーク故障情報と判定対象情報を入力する手順(手順0)、総故障件数を算出する手順(手順1)、信頼度判定を実行するか否かを判定する手順(手順2)、故障の影響度を算出する手順(手順3)、ネットワーク信頼度を推定する手順(手順4)、ネットワーク信頼度を判定する手順(手順5)、および判定結果を表示する手順(手順6)からなる。
図2は、本発明に係るネットワーク管理システムの構成とその処理の流れの一実施形態を示す図であり、対応する図1における(手順0)〜(手順6)についても記載してある。
同図において、1は(手順0)においてネットワーク管理システムに入力されるネットワーク故障情報、10は本発明に係るネットワーク管理システム、11は受信部、12はネットワーク故障情報を格納するネットワーク故障情報DB(データベース)、13は手順1を実行する総故障件数算出部、14は(手順2)を実行する実行判定部、15は(手順3)を実行する影響度算出部、16は(手順4)を実行するネットワーク信頼度推定部、17はネットワーク信頼度推定値を記憶する記憶部、18は(手順5)を実行するネットワーク信頼度判定部、19は判定対象情報を記憶する記憶部、3は判定対象情報を入力する入力部(入力手段)、4は(手順6)を実行するための表示部(表示手段)であり、(手順5)で判定されたネットワーク信頼度判定結果を表示する。
本発明におけるネットワーク管理システム10の処理の実施のタイミングは事前に固定の期間を事前に設定する場合と、任意の期間を入力し実施する場合とがあり、いずれの場合においても、実施形態は同様になるため、以下において、本発明を固定期間ごとに繰り返して実施されるものとし、実施のタイミングが事前に設定されている場合を例として説明する。
以下、各手順における処理を、図3に示した本発明に係るネットワーク管理システムにおける処理のフローチャートの各ステップ(ステップS10)〜(ステップS50))に対応付けるとともに、図4に示すネットワーク故障情報の一例、図5に示すネットワーク故障データベース(DB)内の故障情報の一例、図6に示す故障の影響度の算出例、図7に示す昇順に並べた故障の影響度の例、図8に示す確率点の算出例、図9に示す両対数グラフ上の確率点および回帰直線の説明図、図10に示すパラメータaおよび相関係数の算出例を参照しながら詳細に説明する。
(手順0)<ネットワーク故障情報、判定対象情報の入力>
本手順は本ネットワーク管理システム10において自動的に実行される、あるいは事前にネットワークの運用管理者が実施するものであり、以降の手順(手順1〜手順6)とは別に記述する。
本ネットワーク管理システム10に対して外部からネットワーク故障情報1と判定対象情報を入力する。ネットワーク故障情報1は、該当システムの外部のデータベース(DB)(図示せず)に格納されており、ネットワーク管理システム10の受信部11に入力する。
ネットワーク故障情報1には、図4に示すように、故障設備すなわち故障装置(故障した装置機種)、故障発生日時、故障復旧日時、故障時間(分)、影響ユーザ数(人)、故障箇所/原因に関する情報が含まれる。
ここで、故障時間(分)は故障によって通信断となっている時間であり、故障発生日時から故障復旧日時までの差分(本実施例では分単位)で定義され、ネットワーク運用管理者が投入する。また、影響ユーザ数(人)は、故障装置の収容数によって定義され投入される。
受信部11に入力されたネットワーク故障情報1はネットワーク故障DB12に格納される。
また、信頼度判定の実行の対象となる設備(設備・装置を含めた総称)に関する情報を判定対象情報として、本ネットワーク管理システム10に入力手段3を介して入力する。入力手段3から入力された判定対象情報は記憶部19に一旦記憶される。
記憶部19に記憶された判定対象情報を参照し、ネットワーク故障情報DB12にて入力された故障情報に対して、判定対象となる設備の故障情報を判定対象情報として設定する。それ以外の故障情報については、以降の手続きの対象外の情報として除外する。
図5は、ネットワーク故障情報DB12に記憶されたネットワーク故障情報の一例を示す図である。同図に示すように、ネットワーク故障情報DB12内の故障情報は、故障設備すなわち故障装置(装置機種)毎の故障発生日時、故障復旧日時、故障時間(分)、影響ユーザ数(人)、故障箇所/原因の各項目からなる。故障時間(分)は(故障復旧日時)−(故障発生日時)によって算出される(単位は分)。
(手順1)<総故障件数算出部13の処理>
手順1では、総故障件数算出部13にて、判定対象として設定されている故障情報について、ネットワーク故障情報DB12内の事例数(レコード数)を総故障件数として算出する(図3のステップS10に対応)。ここで、総故障件数をN(総故障件数算出値)とする。
(手順2)<実行判定部14の処理(信頼度判定(以降の手順)の実行要否の判定)>
(手順2)では、総故障件数の算出結果をもとに、実行判定部14において、該総故障件数と所定の実行判定基準値を比較手段で比較することによって以降の処理の実行の要否を判定する(図3のステップS20に対応)。所定の実行判定基準値は、入力手段3からネットワーク運用管理者が事前に任意の値を入力するようにすればよい。統計的な優位さの観点から数十件程度の事例が必要であり、実行判定基準値の設定として、例えば50程度の値を設定すればよい。
上記(手順1)で算出された総故障件数と前記実行判定基準値を比較手段で比較し、(総故障件数)≧(実行判定基準値)であれば、統計的な観点からみて総故障件数は多いと判定され(図3のステップS20:Y)、以降の手順に進む。なお、(総故障件数)<(実行判定基準値)であれば(図3のステップS20:N)、統計的な観点からみて総故障件数は少ないと判定され、以降の(手順4)は実行せずにステップS10に戻る。
(手順3)<故障の影響度算出部15の処理>
実行判定部14(手順2)において、(総故障件数)≧(実行判定基準値)で信頼度判定の実行が必要と判定した場合(図3のステップS20:Y)、本(手順3)では、影響度算出部15において、故障の影響度を算出する(図3のステップS30)。
故障の影響度の算出方法として、以下の2つの方法がある。
(方法1)「故障時間と影響ユーザ数の積を故障の影響度と定義する場合」
故障発生日時の時系列の順に、故障事例に番号iを付与する。各故障事例の故障時間(分)をdi、故障による影響ユーザ数(人)をriとし、i番目の故障事例に関する故障の影響度(分×人)hiを故障時間(分)diと影響ユーザ数(人)riの積di×riとして算出する(hi=di×ri)。図6は、故障時間と影響ユーザ数の積を故障の影響度と定義した場合の故障の影響度の算出結果の一例を示す図である。
(方法2)「正規化された故障時間と正規化された影響ユーザ数の積を故障の影響度と定義する場合」
故障時間と影響ユーザ数について、それぞれの統計値にて正規化した値(正規化故障時間、および正規化影響ユーザ数)を用いて、上記と同様に、その積を故障の影響度として定義し算出する。
故障の影響度hi'は、正規化故障時間di'と正規化影響ユーザ数ri'を用いて、di'ri'として定義し算出する。このとき、正規化に用いる統計値としては、それぞれの平均値、中央値、最大値、最小値、分位値(四分位値等)等の候補がある。
通常、ネットワークの運用管理システムにおいては、故障時間の情報を分単位で収集し、影響ユーザ数の情報を人単位で収集するため、故障の影響度は〔分・人〕の単位で算出する。
以降の手順は、方法1および方法2のどちらの場合も共通であるため、方法1の記述・記号に従って記述する。
(手順4)<ネットワーク信頼度推定部16の処理(ネットワーク信頼度の推定)>
手順4では、ネットワーク信頼度推定部16において、手順2にて算出された総故障件数および手順3にて算出された故障の影響度をもとに、ネットワーク信頼度を推定する(図3のステップS40)。ネットワークの信頼度は、ネットワーク利用時において、設備故障によって影響を受ける度合いであり、故障の影響度に対する故障確率として定義する。
故障の影響度に関する故障確率の分布特性を推定する方法として、ここでは、上側累積分布(影響度が大きく確率の小さい領域を考慮するために、故障の影響度hとした場合、任意のhに対してhを超える確率を累積した確率分布)に関する推定を実施する。
(4−0)
ネットワーク信頼度を推定するために、故障の影響度を基準化するためのパラメータbjを導入する。故障の影響度を基準化することによって、妥当な推定結果を得ることができる。基準化パラメータbjとして適切な値を選定する必要があるため、候補値を設定し、その妥当性を評価する必要がある。
基準化パラメータbjの候補値を設定する手順を以下に示す。
設定方法として、以下の(a)および(b)の2つの方法がある。
(a)基準化パラメータbjの候補値の最大値をhkの平均値とし、基準化パラメータbjの候補値の最小値を1とし、最小値から最大値までの数列を基準化パラメータbjの候補値として設定する。
このとき、hkの平均値が整数とならない場合には、四捨五入し整数値を設定する。
最小値から最大値までの数列の設定方法としては、例えば、以下の(イ)〜(ハ)の3つの方法が考えられる。
(イ)最小値から最大値まで1ずつ数値を変化させる。
(ロ)最小値から最大値まで、最大値と最小値の差分の1/10を変化の幅として変化させる(この場合に基準化パラメータbjは10個となる)。
(ハ)最小値から最大値まで、最大値と最小値の差分の1/50を変化の幅として変化させる(この場合に基準化パラメータbjは50個となる)。
(b)bjの候補値の最大値をhkの分位値とし、 基準化パラメータbjの候補値の最小値を1とし、最小値から最大値までの数列を基準化パラメータbjの候補値として設定する。このとき、hkの分位値が整数とならない場合には、四捨五入し整数値を設定する。
また、分位値の候補としては、第3四分位値(75%値)や90%値を用いる。また、最小値から最大値までの数列の設定方法としては、上記(a)と同様である。
(4−1)
基準化パラメータbjの初期値bj=b0を設定する。
(4−2)
次に、故障の影響度を昇順に並べ、昇順に番号kを付与し、hk(k=1・・・N)とする。図7は、このようにして得られた故障の影響度の算出例を示す図である(故障の影響度(分×人)hk=故障時間(分)dk×影響ユーザ数(人)rk)。
(4−3)
上記hk、N、bj、kから、故障の影響度に対応する確率点K(1+hk/bj,(N−k+1)/N)をN個(k=1・・・N)算出する。図8は、このようにして得られた確率点K(1+hk/bj,(N−k+1)/N)の具体的な算出例を示す図であり、故障の影響度(分×人)hk、基準化した故障の影響度1+hk/bj、確率(N−k+1)/Nの具体例を示している(N=100、bj=100の場合)。
(4−4)
故障の影響度は、故障時間の長期化や影響ユーザ数の大規模化によって幅広く分布する可能性が高い。また、影響度の小さい故障が多く、影響度の大きい故障の発生は少ないため、故障の影響度に関する確率分布特性は対数分布の性質を持つ。
そこで、故障の影響度と対応する確率について対数変換を実施する。確率点K(1+hk/bj,(N−k+1)/N)を、図9に示すように、両対数グラフ上にプロットし、回帰直線を引く。ここで、対数の設定として、常用対数を用いる。
(4−5)
回帰直線の傾きの絶対値ajと直線の確率点に対する相関係数Rjを算出する。(回帰直線や相関係数については周知であるので詳細は省略する(図9参照))。
(4−6)
上記の手続きについて、jをj=1・・・Jまで変化させ、図10に示すように、基準化パラメータbjに対応する回帰直線の傾きの絶対値ajおよび直線の確率点に対する相関係数Rjを算出する。
(4−7)
回帰直線に対する相関係数の2乗値が1に近いほど、回帰直線の傾きの絶対値ajおよび基準化パラメータbjは推定値として妥当な値であることを示している。よって、相関係数の2乗値Rjが最大となるjおよび回帰直線の傾きの絶対値aj、基準化パラメータbjを選定する。図10の例の場合、相関係数Rjが最大となるjは3であり、そのときの基準化パラメータbjは101、回帰直線の傾きの絶対値ajは1.0、相関係数Rjは0.99であることがわかる。
このようにして得られた回帰直線の傾きの絶対値ajおよび基準化パラメータbjによって決定される直線が、故障の影響度に関する上側累積確率の推定結果であり、ネットワーク信頼度の推定結果である。
しかしながら、影響度の大きい領域においては、推定結果が(プロットした確率点)と乖離する場合があり、両対数グラフの横軸方向に進むにつれて、確率点列と直線とが乖離する可能性がある。
乖離度合いが大きい場合には、ネットワーク信頼度の推定結果として妥当ではなく、信頼度の判定において精度を低下させる可能性がある。そこで、ネットワーク信頼度の補正について、以降の手順に示す。(以降の(4−8)から(4−10)の手順は、実施を推奨する手順であるが、実施しない場合にも本発明に係るネットワーク管理システムを提供することは可能である。)
(4−8)
相関係数Rjが最大となる回帰直線の傾きの絶対値ajの値をaxとし、該axの値を用いて、k=1・・・Nに対して、|log(1−ax・hk’)-log{(N−k+1)/N}|を算出し、N個の数列とする。ここで、「|a|」はaの絶対値である。また、hk’=1+hk/bjである。
(4−9)
|log(1−ax・hk')-log{(N−k+1)/N)}|
について、kをk=1から順に更新し、以下の関係
|log(1−ax・hk)-log{(N−k+1)/N)}|>c
が最初に成り立つk(最も小さいk)を選定する。
ここで、cは事前に設定される固定値である。常用対数値の差分を評価しているため、cの値として、1あるいは0.5を設定すればよい。
上記の大小関係を満たすkが存在しない場合には、k=Nとして設定する(ネットワーク信頼度の推定結果を補正しないことを意味する)。
(4−10)
(4−9)のkに対応する確率点K(1+hk/bj,(N−k+1)/N )をxとし、x(1+hx/bj,px)とする。ここで、hk=hx,(N−k+1)/N=pxである。
このようにして算出したhx、pxの値を、補正済みのネットワーク信頼度の推定結果とする。
(手順5)<ネットワーク信頼度判定部18の処理(ネットワーク信頼度の判定)>
手順5では、ネットワーク信頼度推定部16から送信された信頼度の推定結果をもとに、ネットワーク信頼度判定部18においてネットワークの信頼度の判定を実施する(図3のステップS50)。
信頼度の判定方法としては、故障の影響度と対応する確率の組に対して判定を実施する方法(判定方法1)と、故障の影響度と確率の積によって算出された期待値に対して判定を実施する方法(判定方法2)の2つの方法がある。
(判定方法1)
故障の影響度と確率の組に対して判定を実施する場合、以下の4つの判定結果(a)〜(d)がある。
(a)
(hx)<(影響度の判定基準値)かつ
(px)<(確率の判定基準値)
(b)
(hx)≧(影響度の判定基準値)かつ
(px)≧(確率の判定基準値)
(c)
(hx)≧(影響度の判定基準値)かつ
(px)<(確率の判定基準値)
(d)
(hx)<(影響度の判定基準値)かつ
(px)≧(確率の判定基準値)
(判定方法2)
故障の影響度と確率の積によって算出された期待値:hx・(1−px)をもとに信頼度判定を実施するとき、以下の2つの判定結果(a)〜(b)がある。
(a)hx・(1−px)<(信頼度判定基準値)
(b)hx・(1−px)≧(信頼度判定基準値)
ここで、判定基準値は、ネットワークの運用管理者が、事前に任意の値を入力する。影響度の判定基準値の設定の例としては、例えば故障時間を分単位で測定する場合には、100000程度の値を設定する。また、確率の判定基準値の設定の例としては、0.01程度の値を設定する。同様に、信頼度の判定基準値の例としては、1000程度の値を設定する。
また、判定方法1において結果(b)(c)(d)が得られた場合、また判定方法2の結果(b)が得られた場合には、確率点xに該当する故障事例が信頼度低下に最も影響の大きい故障事例として判定する。
同様に、確率点xに対して左側に位置する確率点、すなわち hk<hxとなるkに該当する故障事例において、kが大きい順に影響度が大きい故障事例として判定する。
同様に、確率点xの右側に位置する確率点、すなわち hk>hxとなるkに対応する故障事例を特異な事例として判定する。
(手順6)<表示部4への判定結果の表示>
手順6では、上記(手順5)でネットワーク信頼度判定部18にて出力された判定結果を、表示部4に表示する。
表示部4に表示する評価結果としては、以下の(a)〜(e)に示す項目があり、これら全ての項目、あるいはいくつかの項目を組み合わせたもののいずれであってもよい。
(a)ネットワーク信頼度の組が基準値内か否かを表示する。
例えば、判定方法(1)の(a)の場合に○、判定方法(1)の(b)の場合に×、それ以外の場合に△と表示する。
(b)ネットワーク信頼度の期待値が基準値内か否かに関する情報を表示部4に表示する。
例えば、判定方法(2)の(a)の場合に○、判定方法(2)の(b)の場合に×と表示する。
(c)確率点x(hx, px)の値と該当する故障事例に関する情報(故障設備名、箇所名、故障発生日時、等の情報)を表示部4に表示する。
(d)確率点x (hx, px)の左側に位置するM個(例えば5個)の確率点(hk, pk)の値と該当する故障事例に関する情報(故障設備名、箇所名、故障発生日時、等の情報)を表示部4に表示する。
(e)確率点x(hx, px)の右側に位置する確率点(hk, pk)の値と該当する故障事例に関する情報(故障設備名、箇所名、故障発生日時、等の情報)を表示部4に表示する。
なお、図2に示したネットワーク管理システム10の各部(各手段)で行われる処理(図1における各手順、図3に示す各ステップの処理)や機能は、ネットワーク管理システム10を構成するコンピュータに内蔵されるCPUやメモリなどのハードウェア資源を用いて、各部(各手段)で実施される処理に対応するプログラムを実行することによって実現される。また、該プログラムは、FD,CD−ROM、DVDなどの記録媒体や、インターネットなどのネットワークを介して市場に流通させることができる。
1:ネットワーク故障情報
3:入力部(入力手段)
4:判定結果を表示する表示部(表示手段)
10:ネットワーク管理システム
11:受信部(受信手段)
12:ネットワーク故障情報DB(データベース)
13:総故障件数算出部(総故障件数算出手段)
14:実行判定部(実行判定手段)
15:影響度算出部(影響度算出手段)
16:ネットワーク信頼度推定部(ネットワーク信頼度推定手段)
17:ネットワーク信頼度推定値を記憶する記憶部
18:ネットワーク信頼度判定部(ネットワーク信頼度判定手段)
19:判定対象情報を記憶する記憶部
100:制御網
200:コアネットワーク
300:アクセスネットワーク
301:装置A
302〜303:装置B
304〜307:装置C

Claims (10)

  1. 構成要素として複数の設備を有するネットワークを管理するネットワーク管理システムであって、
    前記設備毎の故障時間と影響ユーザ数を含むネットワーク故障情報を入力する第1の入力手段と、
    信頼度判定の実行の対象となる設備に関する判定対象情報を入力する第2の入力手段と、
    前記第1の入力手段により入力された前記ネットワーク故障情報を記憶する第1の記憶手段と、
    前記第2の入力手段により入力された前記判定対象情報を記憶する第2の記憶手段と、
    前記第1の記憶手段に記憶されたネットワーク故障情報のうち前記判定対象情報により信頼度判定の実行の対象とされる設備に対する故障情報を判定対象として設定する手段と、
    前記ネットワーク故障情報の故障時間と影響ユーザ数、あるいは、前記ネットワーク故障情報の正規化された故障時間と正規化された影響ユーザ数から判定対象とされる設備毎の故障の影響度を算出する第1の算出手段と、
    前記第1の算出手段により算出された故障の影響度に対する故障確率を算出し、該故障確率によりネットワーク信頼度を推定する推定手段と、
    前記推定手段により推定されたネットワーク信頼度を事前に入力されている判定基準値により判定する判定手段と、
    前記判定手段により判定された判定結果を表示する表示手段と、
    を具備することを特徴とするネットワーク管理システム。
  2. 請求項1記載のネットワーク管理システムであって、
    前記ネットワーク故障情報から判定対象とされた総故障件数を算出する第2の算出手段と、
    該第2の算出手段により算出された総故障件数と予め与えられた信頼度判定実行の要否の基準となる実行判定基準値とを比較する比較手段と
    を具備し、
    前記比較手段による比較の結果、前記総故障件数が前記実行判定基準値以上の場合に、前記推定手段の処理を実行し、前記総故障件数が前記実行判定基準値未満の場合に、前記推定手段の処理を実行しないようにした
    ことを特徴とするネットワーク管理システム。
  3. 請求項1または2記載のネットワーク管理システムであって、
    前記推定手段は、前記故障の影響度に対する故障確率として上側累積確率を用いる
    ことを特徴とするネットワーク管理システム。
  4. 請求項3記載のネットワーク管理システムであって、
    前記推定手段は、前記故障の影響度に対する上側累積確率を、前記故障の影響度と上側累積確率の対数値をもとに算出する、あるいは、基準化した故障の影響度と上側累積確率の対数値をもとに算出する
    ことを特徴とするネットワーク管理システム。
  5. 請求項4記載のネットワーク管理システムであって、
    前記推定手段は、基準化した故障の影響度と上側累積確率の対数値に対して、線形回帰を実施した結果を用いる
    ことを特徴とするネットワーク管理システム。
  6. 請求項5記載のネットワーク管理システムであって、
    前記推定手段は、基準化パラメータの候補値において、線形回帰の相関係数が最も大きくなる基準化パラメータによって基準化した故障の影響度と上側累積確率の対数値を用いる
    ことを特徴とするネットワーク管理システム。
  7. 請求項5記載のネットワーク管理システムであって、
    前記推定手段は、線形回帰の回帰直線と故障の影響度に対する確率点との差分を用いる
    ことを特徴とするネットワーク管理システム。
  8. 請求項7記載のネットワーク管理システムであって、
    前記推定手段は、線形回帰直線と故障の影響度に対する確率点との差分が一定値以上となる点を判定の基準となる点に設定すること
    を特徴とするネットワーク管理システム。
  9. コンピュータを、請求項1から8のいずれかに記載のネットワーク管理システムにおける各手段として機能させるためのプログラム。
  10. 構成要素として複数の設備を有するネットワークを管理するネットワーク管理方法であって、
    前記設備毎の故障時間と影響ユーザ数を含むネットワーク故障情報を入力する第1の入力手順と、
    信頼度判定の実行の対象となる設備に関する判定対象情報を入力する第2の入力手順と、
    前記第1の入力手順により入力されたネットワーク故障情報を記憶する第1の記憶手順と、
    前記第2の入力手段により入力された前記判定対象情報を記憶する第2の記憶手順と、
    前記第1の記憶手順に記憶されたネットワーク故障情報のうち前記判定対象情報により信頼度判定の実行の対象とされる設備に対する故障情報を判定対象として設定する手順と、
    前記ネットワーク故障情報の故障時間と影響ユーザ数、あるいは、前記ネットワーク故障情報の正規化された故障時間と正規化された影響ユーザ数から判定対象とされる設備毎の故障の影響度を算出する第1の算出手順と、
    前記第1の算出手順により算出された故障の影響度に対する故障確率を算出し、該故障確率によりネットワーク信頼度を推定する推定手順と、
    前記推定手順により推定されたネットワーク信頼度を事前に入力されている判定基準値により判定する判定手順と、
    前記判定手順により判定された判定結果を表示する表示手順と、
    を具備することを特徴とするネットワーク管理方法。
JP2009118554A 2009-05-15 2009-05-15 ネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラム Expired - Fee Related JP5133941B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009118554A JP5133941B2 (ja) 2009-05-15 2009-05-15 ネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009118554A JP5133941B2 (ja) 2009-05-15 2009-05-15 ネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラム

Publications (2)

Publication Number Publication Date
JP2010268275A JP2010268275A (ja) 2010-11-25
JP5133941B2 true JP5133941B2 (ja) 2013-01-30

Family

ID=43364883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009118554A Expired - Fee Related JP5133941B2 (ja) 2009-05-15 2009-05-15 ネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラム

Country Status (1)

Country Link
JP (1) JP5133941B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101288535B1 (ko) * 2010-12-21 2013-07-22 주식회사 케이티 통신 시스템 모니터링 방법 및 이를 위한 장치
JP6085576B2 (ja) * 2014-02-20 2017-02-22 日本電信電話株式会社 ネットワーク評価装置及び方法及びプログラム
EP3584657B1 (en) * 2017-03-30 2021-09-22 TLV Co., Ltd. Risk assessment device, risk assessment method, and risk assessment program
CN112233420B (zh) * 2020-10-14 2023-12-15 腾讯科技(深圳)有限公司 一种智能交通控制系统的故障诊断的方法及装置
CN114337792A (zh) * 2022-01-17 2022-04-12 中国人民解放军61096部队 卫星通信信号故障诊断方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341050A (ja) * 2004-05-25 2005-12-08 Ntt Communications Kk ネットワーク信頼性評価方法、装置、およびプログラム
JP4637867B2 (ja) * 2007-02-28 2011-02-23 日本電信電話株式会社 ネットワーク評価システムおよびネットワーク評価方法ならびにそのためのプログラム

Also Published As

Publication number Publication date
JP2010268275A (ja) 2010-11-25

Similar Documents

Publication Publication Date Title
CN110880984B (zh) 基于模型的流量异常监测方法、装置、设备及存储介质
US10069684B2 (en) Core network analytics system
US8352867B2 (en) Predictive monitoring dashboard
US6973415B1 (en) System and method for monitoring and modeling system performance
JP5133941B2 (ja) ネットワーク管理システムおよびネットワーク管理方法、ならびにそのためのプログラム
US7873505B2 (en) Method and apparatus for predicting scheduled system downtime
CN107992410B (zh) 软件质量监测方法、装置、计算机设备和存储介质
US8015276B2 (en) Method to identify performance and capacity bottlenecks of complex systems
US8478629B2 (en) System and method for collaborative management of enterprise risk
US7369967B1 (en) System and method for monitoring and modeling system performance
CN116980278B (zh) 一种域控制器的自动化测试方法和系统
CN112380759B (zh) 基于深度学习和CoxPH模型的智能电表寿命预测方法
JP5697146B2 (ja) リスク管理装置
JP6085576B2 (ja) ネットワーク評価装置及び方法及びプログラム
CN117875710A (zh) 一种基于贝叶斯网络的变电站设备模型安全分析与风险评估方法
Okumoto Experience report: Practical software availability prediction in telecommunication industry
CN112162528B (zh) 一种数控机床的故障诊断方法、装置、设备和存储介质
US9123020B2 (en) Modeling, monitoring, and managing system dimensions for a service assurance system
JP6778032B2 (ja) 業務プロセス評価方法および装置
Okumoto Software defect prediction based on stability test data
JP2014203330A (ja) プロダクト品質評価装置及び方法
Anders et al. Risk assessment tool for maintenance selection
JP6326383B2 (ja) ネットワーク評価システム、ネットワーク評価方法、及びネットワーク評価プログラム
JP5068351B2 (ja) ネットワーク評価システム、ネットワーク評価方法、及びプログラム
Kimber et al. Modeling planned downtime

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110608

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110608

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110616

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110704

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111031

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5133941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees