JP5516192B2 - モデル作成装置、モデル作成プログラムおよびモデル作成方法 - Google Patents

モデル作成装置、モデル作成プログラムおよびモデル作成方法 Download PDF

Info

Publication number
JP5516192B2
JP5516192B2 JP2010169812A JP2010169812A JP5516192B2 JP 5516192 B2 JP5516192 B2 JP 5516192B2 JP 2010169812 A JP2010169812 A JP 2010169812A JP 2010169812 A JP2010169812 A JP 2010169812A JP 5516192 B2 JP5516192 B2 JP 5516192B2
Authority
JP
Japan
Prior art keywords
model
event
candidate
candidates
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010169812A
Other languages
English (en)
Other versions
JP2012032889A (ja
Inventor
智弘 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010169812A priority Critical patent/JP5516192B2/ja
Priority to US13/076,700 priority patent/US8533135B2/en
Publication of JP2012032889A publication Critical patent/JP2012032889A/ja
Application granted granted Critical
Publication of JP5516192B2 publication Critical patent/JP5516192B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/0636Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis based on a decision tree analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、モデル作成装置、モデル作成プログラムおよびモデル作成方法に関する。
従来、複数の情報処理装置が連携し、一つの処理を複数のイベントとして実行する技術が知られている。このような技術が適用されたシステムでは、ある情報処理装置によって実行されたイベントが他の情報処理装置によって実行されるイベントを引き起こす場合がある。このため、システム全体の性能や障害原因を各情報処理装置のプログラムから分析することが困難である。
ここで、イベントが他のイベントを引き起こす関係をモデル化することで、システム全体の性能や障害原因の分析を容易にするモデル作成装置の技術が知られている。例えば、図18に示す例では、モデル作成装置は、システムが有する情報処理装置同士の通信を観測し、各情報処理装置がイベントを実行した時間帯を示す情報を取得する。
そして、モデル作成装置は、取得した情報に基づいて、イベントが他のイベントを引き起こす関係の候補を推定し、推定された候補が有する規則性を利用して、イベントが他のイベントを引き起こす関係を示したモデルを特定する。その後、モデル作成装置は、情報処理装置同士の通信と作成したモデルとをマッチングすることによって、システム全体の性能や障害原因の分析を容易にする。なお、図18は、モデル作成装置を説明するための図である。
次に、図19、20を用いて、モデル作成装置が作成するモデルについて説明する。図19に示す例では、HTTP(HyperText Transfer Protocol)のイベントであるHTTP1の実行中に、IIOP(Internet Inter ORB Protocol)のイベントであるIIOP1が実行されている。このような例では、モデル作成装置は、HTTP1によってIIOP1が引き起こされたと推定し、HTTP1を親、IIOP1を子として関連付けた木構造のモデルを作成する。なお、図19は、モデルを説明するための図(1)である。
また、図20に示す例では、HTTP1の実行中にIIOP1とIIOP2が実行されている。このような例では、モデル作成装置は、HTTP1によってIIOP1およびIIOP2の2つの処理が引き起こされたと推定し、HTTP1を親、IIOP1およびIIOP2を子として関連づけた木構造のモデルを作成する。なお、図20は、モデルを説明するための図(2)である。
次に、図21を用いて、モデル作成装置がモデルをマッチングする処理について説明する。図21は、マッチング処理を説明するための図である。図21に示す例では、モデル作成装置は、HTTP1(H1)によってIIOP1(I1)が引き起こされたことを示すモデルとHTTP2(H2)によってIIOP2(I2)が引き起こされたことを示すモデルとを作成済みである。このような場合には、モデル作成装置は、推定したモデルの候補から作成済みのモデルと同一の関係を検出するマッチング処理を実行することで、システム全体の性能や障害原因の分析を容易にする。
特開2006−011683号公報
しかしながら、上述したモデル作成装置の技術では、同時に実行されたイベントの数が多い場合には、推定される候補が複雑になるため、モデルを作成する計算量が膨大になる結果、モデルを作成することができないという問題があった。
例えば、モデル作成装置は、図22の左側に示すように、ネットワークを流れる情報から推定されたモデルの候補が単純な場合には、有意な時間内でモデルを作成することができる。しかし、モデル作成装置は、同時に実行されたイベントの数が多い場合には、図22の右側に示すように、ネットワークを流れる情報から推定されたモデルの候補が複雑になるので、有意な時間内でモデルを作成することができない。なお、図22は、データ内に含まれる関係の量を説明するための図である。
一側面では、本願に開示の技術は、同時に実行されたイベントの数が多い場合にもモデルを作成する。
一つの側面では、モデル作成装置は、階層関係を有する複数のイベントを実行する複数の情報処理装置が接続されたネットワークに流れる情報を観測する。そして、モデル作成装置は、イベントの実行が開始された時刻とイベントの実行が終了した時刻とイベントの種別とをイベント情報として取得する。また、モデル作成装置は、取得されたイベント情報に基づいて、イベントが他のイベントを引き起こす関係を示したモデルの候補の組合せを推定する。また、モデル作成装置は、推定されたモデルの候補のうち、既知のモデルと合致する候補を検索する。そして、モデル作成装置は、検索したモデルの候補をモデルの候補の組合せから除外するとともに、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補をモデルの候補の組合せから除外することで、モデルの候補の組合せを更新する。その後、モデル作成装置は、更新されたモデルの候補の組合せに基づいて、新たなモデルを特定する。
一側面では、同時に実行されたイベントの数が多い場合にもモデルを作成することができる。
図1は、実施例1に係るモデル作成装置を説明するための図である。 図2は、実施例2に係るモデル作成装置を説明するための図である。 図3は、観測されたデータの一例を説明するための図である。 図4は、パケットから関係を取得する処理を説明するための図である。 図5は、モデル作成装置が実行する処理の方針を説明するための図である。 図6は、マッチング結果に基づいた候補の削除を説明するための図である。 図7は、極端に長いイベントを含むモデルの候補を説明するための図である。 図8は、既知のモデルに基づいて候補を削除した後のデータを説明するための図である。 図9は、誤ったマッチング処理を説明するための図である。 図10は、マッチング結果に基づき候補を削除する例を説明するための図である。 図11は、マッチング結果に基づき候補を削除した結果を説明するための図である。 図12は、マッチング結果に基づいて削除できない例を説明するための図である。 図13は、出現割合を考慮して候補を削除する例を説明するための図である。 図14は、削除後の候補を用いてモデルを特定する処理を説明するための図である。 図15は、出現割合を考慮せずに候補を削除する例を説明するための図である。 図16は、モデル作成処理の流れを説明するためのフローチャートである。 図17は、モデル作成プログラムを実行するコンピュータを説明するための図である。 図18は、モデル作成装置を説明するための図である。 図19は、モデルを説明するための図(1)である。 図20は、モデルを説明するための図(2)である。 図21は、マッチング処理を説明するための図である。 図22は、データ内に含まれる関係の量を説明するための図である。
以下に添付図面を参照して本願に係るモデル作成装置、モデル作成プログラムおよびモデル作成方法について説明する。
以下の実施例1では、図1を用いて、モデル作成装置の一例を説明する。図1は、実施例1に係るモデル作成装置を説明するための図である。
図1に示すように、モデル作成装置1は、階層関係を有する複数のイベントを実行する複数の情報処理装置が接続されたネットワークに接続される。また、モデル作成装置1は、取得部2、推定部3、検索部4、更新部5、作成部6を有する。
取得部2は、ネットワークに流れる情報を観測し、イベントの実行が開始された時刻とイベントの実行が終了した時刻とイベントの種別とをイベント情報として取得する。推定部3は、取得部2によって取得されたイベント情報に基づいて、イベントが他のイベントを引き起こす関係を示したモデルの候補の組合せを推定する。検索部4は、推定部3によって推定されたモデルの候補のうち、既知のモデルと合致する候補を検索する。更新部5は、検索部4によって検索されたモデルの候補を推定されたモデルの候補の組合せから除外するとともに、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外することで、モデルの候補の組合せを更新する。作成部6は、更新部によって更新されたモデルの候補の組合せに基づいて、新たなモデルを作成する。
上述したように、モデル作成装置1は、モデルの候補の組合せを推定し、推定されたモデルの候補のうち、既知のモデルと合致するモデルの候補を検索する。そして、モデル作成装置1は、既知のモデルと合致するモデルの候補をモデルの候補の組合せから除外するとともに、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外することで、モデルの候補の組合せを更新する。その後モデル作成装置1は、更新したモデルの候補の組合せを用いて、新たなモデルを作成する。つまり、モデル作成装置1は、モデルの候補のうち既知のモデルと合致するモデルの候補を、新たなモデルの候補から削除する。このため、モデル作成装置1は、同時に実行されたイベントの数が多く、推定されるモデルの候補の組合せが複雑な場合にも、候補を単純化することができる結果、モデルを作成することができる。
以下の実施例2では、モデル作成装置を説明する。
まず、図2を用いて、実施例2に係るモデル作成装置を説明する。図2は、実施例2に係るモデル作成装置を説明するための図である。図2に示す例では、モデル作成装置10は、観測データ記憶部11、モデルデータ記憶部12、モデル分類済データ記憶部13、入力部14、モデル作成部15、マッチング部16、出力部17を有する。
また、モデル作成装置10は、階層関係を有する複数のイベントを実行する複数の情報処理装置が接続されたネットワークに接続される。また、モデル作成装置10は、クライアント端末18と接続される。
観測データ記憶部11は、情報処理装置によって、イベントの実行が開始された時刻とイベントの実行が終了した時刻とイベントの種別とをイベント情報データとして記憶する。具体的には、観測データ記憶部11は、実行されたイベントを示す情報として、イベント名、ラベル、イベントを実行した情報処理装置のIPアドレス(以下、要求元IP)を対応付けたデータを記憶する。また、観測データ記憶部11は、実行したイベントによって引き起こされた他のイベントを実行する情報処理装置のIPアドレス(以下、要求先IP)、イベント開始時間、イベント終了時間を対応付けたデータを記憶する。ここで、ラベルとは、イベントの種別を示す情報である。
例えば、図3に示す例では、観測データ記憶部11は、イベント名「1」のデータとして、ラベル「H000001、HR000001」を記憶する。また、観測データ記憶部11は、データID「1」のデータとして、イベントを実行した情報処理装置のIPアドレス「10.25.210.10」を記憶する。
また、観測データ記憶部11は、イベント名「1」のデータとして、実行したイベントによって引き起こされた他のイベントを実行する情報処理装置のIPアドレス「10.25.214.105」を記憶する。また、観測データ記憶部11は、イベント名「1」のデータとして、イベント開始時間「00.00.00:100」とイベント終了時間「00.00.00:290」とを記憶する。
図2に戻って、モデルデータ記憶部12は、後述するモデル作成部15によって作成されたモデルを記憶する。例えば、モデルデータ記憶部12は、ラベル「H1」のイベントがラベル「I1」のイベントを引き起こすことを示すモデルを記憶する。なお、以下の説明では、他のイベントを引き起こすイベントを親イベント、他のイベントによって引き起こされるイベントを子イベントとする。
モデル分類済データ記憶部13は、既存のモデルと合致したモデルの候補に含まれるイベントを示すデータを記憶する。後述するように、マッチング部16は、既存のモデルとマッチした候補のうち、削除する候補に含まれるイベントを示すデータをモデル分類済データ記憶部13に格納する。つまり、モデル分類済データ記憶部13は、後述するマッチング部16によって削除されたイベントを示すデータを記憶する。
入力部14は、階層関係を有する複数のイベントを実行する複数の情報処理装置が接続されたネットワークに流れる情報を観測し、イベントの実行が開始された時刻とイベントの実行が終了した時刻とイベントの種別とをイベント情報として取得する。
具体的には、入力部14は、ネットワークに流れるパケットを観測し、観測されたパケットから各情報処理装置によって実行されたイベントの情報を取得する。そして、入力部14は、取得したイベントの情報を観測データ記憶部11に格納する。
ここで、図4を用いて、入力部14が実行する処理について説明する。図4は、パケットから関係を取得する処理を説明するための図である。図4に示す例では、入力部14は、複数のパケットから処理の実行要求「http://hogehoge.co.jp/poi.cgi?a=1&b=1」を復元する。そして、入力部14は、復元した実行要求からイベント名、ラベル、イベント要求元IP、イベント要求先IP、イベント開始時刻、イベント終了時刻を格納したデータを作成する。その後、入力部14は、作成したデータを観測データ記憶部11に格納する。
このように、入力部14は、実働しているネットワークに流れるパケットを観測し、観測されたパケットから、各情報処理装置が実行するイベントの情報を取得する。このため、モデル作成装置10は、ネットワークが提供するサービスを止めることなく、ネットワークの状態が正常な時に実行されたイベントの情報を取得することができる。
図2に戻って、モデル作成部15は、後述するマッチング部16によって更新されたモデルの候補の組合せに基づいて、新たなモデルを作成する。具体的には、モデル作成部15は、観測データ記憶部11に記憶されたデータを読み込んでモデルを作成する。また、モデル作成部15は、作成したモデルをモデルデータ記憶部12に格納する。また、モデル作成部15は、観測データ記憶部11から読み込んだデータのうち、モデル作成に使用したデータをモデル分類済データ記憶部13に格納する。また、モデル作成部15は、観測データ記憶部11から読み込んだデータのうち、モデル作成に使用されなかったデータを観測データ記憶部11に再度格納する。
マッチング部16は、観測データ記憶部11に記憶されたデータとモデルデータ記憶部12に記憶されたモデルとを読み込む。そして、マッチング部16は、読み込んだモデルと読み込んだデータとをマッチングする。その後、マッチング部16は、読み込んだモデルとマッチしたデータをモデル分類済データ記憶部13に格納し、読み込んだモデルとマッチしなかったデータを観測データ記憶部11に再度格納する。
以下、マッチング部16が実行する処理について具体的に説明する。まず、マッチング部16は、観測データ記憶部11に記憶されたデータとモデルデータ記憶部12に記憶されたモデルとを読み込む。そして、マッチング部16は、入力部14によって取得されたデータからモデルの候補の組合せを推定する。また、マッチング部16は、推定されたモデルの候補のうち、既知のモデルと合致する候補を検索する。
ここで、マッチング部16は、マッチした候補に含まれるイベントのうち、子イベントが他の候補である第二の候補に含まれているか否かを判別する。また、マッチング部16は、子イベントが第二の候補に含まれていると判別した場合には、第二の候補に含まれている親イベントを含む第三の候補を検索し、検索された第三の候補が既知のモデルとマッチするか否かを判別する。そして、マッチング部16は、検索された第三の候補が既知のモデルとマッチすると判別した場合には、第一の候補に含まれるイベントを削除可能と判断する。
つまり、マッチング部16は、検索されたモデルの候補をモデルの候補の組合せから除外し、かつ、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外する結果、モデルの候補から外れるイベントが発生するか否かを判別する。
一方、マッチング部16は、検索された第三の候補が既知のモデルとマッチしないと判別した場合には、第二の候補に含まれるイベントの種別の組合せと同じ組合せのイベントを含む候補を検出する。そして、マッチング部16は、検出された候補に親イベントとして含まれるイベントの数を計数する。また、マッチング部16は、計数されたイベントの数をマッチした候補に含まれる親イベントと同一種別のイベントが実行された回数で除算した値を計算する。その後、マッチング部16は、計算した値が所定の閾値よりも低いか否かを判別し、低いと判別した場合には、マッチした候補に含まれるイベントを削除可能と判断する。
つまり、マッチング部16は、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補がモデルとして成立する可能性を算出する。そして、マッチング部16は、算出された可能性が所定の閾値よりも低い場合には、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外できると判断する。
その後、マッチング部16は、削除可能と判断したイベントを示すデータをモデル分類済データ記憶部13に格納し、他のデータを観測データ記憶部11に格納する。つまり、マッチング部16は、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補と検索されたモデルの候補とを削除する。
なお、各情報処理装置は、エラー等が発生していない限り、既知のモデルに含まれるイベントと同様のイベントを実行すると考えられる。このため、マッチング部16は、既知のモデルとマッチした候補に含まれるイベントを削除する場合にも、新たなモデルとして特定されるであろうイベントの関係を削除することはない。結果として、モデル作成部15は、適切な候補を用いて新たなモデルを作成することができる。
また、マッチング部16は、推定された候補と既知のモデルとをマッチングする場合には、貪欲法などの公知のアルゴリズムを利用して、推定された候補全体から見て正しいと推測される可能性を最大にする方法でマッチングを実行するようにしてもよい。
出力部17は、モデルデータ記憶部12に記憶されたモデルをクライアント端末18に対して出力する。例えば、出力部17は、ラベル「H1」のイベントによってラベル「I1」のイベントが引き起こされたことを示すモデルを出力する。
[モデル作成装置が実行する処理]
以下、図を用いて、モデル作成装置10が実行する処理の具体例を説明する。まず、図5を用いて、モデル作成装置10が実行する処理の方針について説明する。なお、図5は、モデル作成装置が実行する処理の方針を説明するための図である。図5に示す例では、モデル作成装置10は、既知のモデルとして、ラベル「H1」のイベントがラベル「I1」のイベントを引き起こすことを示すモデルを記憶する。また、モデル作成装置10は、既知のモデルとして、ラベル「H2」のイベントがラベル「I2」のイベントを引き起こすことを示すモデルを記憶する。
また、モデル作成装置10は、図5に示ように、複雑なモデルの候補を推定する。このような例では、モデル作成装置10は、推定された候補のうち、既知のモデルと同様に、ラベル「H1」のイベントとラベル「I1」のイベントとを含む候補を検索する。また、モデル作成装置10は、ラベル「H2」のイベントとラベル「I2」のイベントとを含む候補を検索する。そして、モデル作成装置10は、検索された候補に含まれるイベントを示すデータを削除する。つまり、モデル作成装置10は、既知のモデルとモデルの候補とをマッチングし、既知のモデルとマッチした候補を削除する。
このような場合には、図5の既知モデル削除後のデータに示すように、単純化されたモデルの候補が残る。その後、モデル作成装置10は、残ったモデルの候補から新たなモデルを特定する。
次に、図6を用いて、マッチング結果に基づく候補の削除について説明する。図6は、マッチング結果に基づいた候補の削除を説明するための図である。図6に示す例では、推定された候補と既知のモデルとをマッチングすることによって、ラベル「H1」のイベントとラベル「I3」のイベントとを含む候補およびラベル「H1」のイベントとラベル「I4」とを含む候補が削除される。このため、図6に示すように、削除後の候補は削除前の候補と比較して、単純化される。
次に、図7および図8を用いて、既知のモデルとマッチした候補を削除する処理によって、候補を単純化する処理の有効な効果について説明する。図7は、極端に長いイベントを含むモデルの候補を説明するための図である。また、図8は、既知のモデルに基づいて候補を削除した後のデータを説明するための図である。
なお、以下の説明では、モデル作成装置10は、ラベル「H1」のイベントとラベル「I1」のイベントとを含むモデル、ラベル「H2」のイベントとラベル「I2」のイベントとを含むモデルを既知のモデルとして記憶する。また、モデル作成装置10は、ラベル「H3」のイベントとラベル「I3」のイベントとを含むモデルを既知のモデルとして記憶する。
図7に示す例では、極端に長いラベル「H10」のイベントが発生しているため、ラベル「H10」が引き起こすイベントがどのイベントなのか特定するのが困難である。しかし、モデル作成装置10は、図7中の点線で示すモデルの候補と記憶された既知のモデルとをマッチングすることによって、図8の点線で囲まれた候補を削除することができる。このため、モデル作成装置10は、ラベル「H10」のイベントによってラベル「I10」のイベントとラベル「I11」のイベントとが引き起こされたことを示すモデルを作成することができる。
次に、図9を用いて、誤ったマッチングについて説明する。図9は、誤ったマッチング処理を説明するための図である。図9に示す例では、本来、ラベル「H3」のイベントがラベル「I3」のイベントとラベル「I1」のイベントとを引き起こしているものとする。ここで、図9に示すように、モデル作成装置10は、既知のモデルとマッチした候補を単純に削除した場合には、ラベル「H1」のイベントがラベル「I1」のイベントを発生させたとして、候補に含まれるイベントを削除する。このため、モデル作成装置10は、既知のモデルとマッチした候補を単純に削除した場合には、ラベル「H3」のイベントがラベル「I3」のイベントを引き起こした可能性を削除してしまう。
このような誤りを回避するため、モデル作成装置10は、既存のモデルと推定された候補とがマッチした場合には、マッチした候補が所定の要件を満たすか否かを判別し、所定の要件を満たすと判別した場合には、候補に含まれるイベントを削除する。
具体的には、モデル作成装置10は、マッチした候補に含まれるイベントのうち、子イベントが他の候補である第二の候補に含まれているか否かを判別する。また、モデル作成装置10は、子イベントが第二の候補に含まれていると判別した場合には、第二の候補に含まれている親イベントを含む第三の候補を検索し、検索された第三の候補が既知のモデルとマッチするか否かを判別する。そして、モデル作成装置10は、検索された第三の候補が既知のモデルとマッチすると判別した場合には、第一の候補に含まれるイベントを削除する。
また、モデル作成装置10は、マッチした候補に含まれる子イベントが他の候補に含まれる親イベントによって引き起こされた可能性を計算する。そして、モデル作成装置10は、計算された可能性が所定の閾値よりも低い場合にのみ、マッチした候補に含まれるイベントを削除する。また、モデル作成装置10は、マッチした候補に含まれる子イベントが他の候補に含まれる親イベントによって引き起こされた可能性が所定の閾値よりも高い場合には、第一の候補に含まれるイベントを削除せず、マッチング処理を終了する。
例えば、図10に示す例では、モデル作成装置10は、モデルの候補と、ラベル「H1」のイベントによってラベル「I1」のイベントが引き起こされたことを示すモデルとをマッチングする。すると、モデル作成装置10は、図10中のαに示す第一の候補がマッチすると判定する。このため、モデル作成装置10は、丸印が付されたラベル「I1」のイベントを含む第二の候補を検索し、検索された第二の候補に含まれる親イベントを含む第三の候補が既知のモデルとマッチするか否かを判別する。なお、図10は、マッチング結果に基づき候補を削除する例を説明するための図である。
ここで、図10に示す例では、図10中βに示すラベル「H1」のイベントとラベル「I1」のイベントとを含む第三の候補が存在する。このため、モデル作成装置10は、図10中αに示す第一の候補に含まれるイベントを削除する。また、モデル作成装置10は、図10中βに示す候補についても同様の処理を実行する。
この結果、モデル作成装置10は、図10中αおよびβに示す候補に含まれたイベントを削除するため、図11に示す候補を取得することができる。また、モデル作成装置10は、第三の候補が既知のモデルとマッチしない場合には、第一の候補に含まれるイベントを削除しないので、イベントが他のイベントと関係をもたずにあぶれてしまうことを防ぐことができる。なお、図11は、マッチング結果に基づき候補を削除した結果を説明するための図である。
次に、図12を用いて、マッチング結果に基づいて候補を削除できない例について説明する。図12は、マッチング結果に基づいて削除できない例を説明するための図である。図12に示す例では、モデル作成装置10は、マッチングの結果、図12中γとδに示す候補がマッチしたと判別する。
ここで、図12中γに示す候補に含まれるラベル「H1」のイベントは、図12中の丸印で示すラベル「I1」のイベントを引き起こした可能性がある。しかし、図12中の丸印で示すラベル「I1」のイベントを含む候補は、いずれも既知のモデルとマッチしない。この結果、モデル作成装置10は、図12中γに示す候補に含まれるイベントを削除せず、図12中δに示す候補に含まれるイベントのみを削除する。
次に、図13を用いて、モデル作成装置10が実行する処理のうち、マッチした候補に含まれる子イベントが他の候補に含まれる割合が低い場合にのみ、マッチした候補に含まれるイベントを削除する処理について説明する。図13は、出現割合を考慮して候補を削除する例を説明するための図である。
図13に示す例では、モデル作成装置10は、取得済みのモデルとしてラベル「H1」のイベントがラベル「I1」のイベントを引き起こすことを示すモデルを既知のモデルとして記憶する。また、モデル作成装置10は、「H3」のイベントがラベル「I3」のイベントを3回引き起こすことを示すモデルを既知のモデルとして記憶する。
このような例では、モデル作成装置10は、図13中εに示す候補がモデルとマッチしたと判別する。ここで、図13中εに含まれる子ラベル「I1」のイベントは、ラベル「H2」のイベントを親イベントとする候補にも含まれる。また、図13に示す例では、ラベル「I2」のイベントを引き起こすと推定されるラベル「H2」のイベントの数をラベル「H2」のイベントの総数で除算した値が「0.9」であり、所定の閾値「0.5」よりも大きい。つまり、図13に示す例では、ラベル「H2」のイベントによってラベル「I1」のイベントが引き起こされる可能性が高い。このため、モデル作成装置10は、図13中εに含まれる候補を削除しない。
モデル作成装置10は、同様の処理を実行する結果、図13の除去可能と推定される候補の図に実線で示す候補に含まれるイベントのみを削除する。この結果、モデル作成装置10は、図14に示す削除後の候補を取得する。その後、モデル作成装置10は、取得した候補からモデルを作成することによって、ラベル「H2」のイベントからラベル「I1」のイベントとラベル「I2」のイベントとが引き起こされることを示すモデルを特定する。なお、図14は、削除後の候補を用いてモデルを特定する処理を説明するための図である。
ここで、図15を用いて、出現割合を考慮せずに候補の削除を行った場合の例について説明する。図15は、出現割合を考慮せずに候補を削除する例を説明するための図である。図15に示す例では、モデル作成装置10は、既知のモデルと候補とをマッチングし、マッチした候補に含まれるイベントを削除する。
このため、モデル作成装置10は、図15に示す例では、新たに得られるモデルとして、ラベル「H2」のイベントによりラベル「I1」のイベントおよびラベル「I2」のイベントが引き起こされたことを示すモデルを特定する。また、モデル作成装置10は、ラベル「H2」のイベントによりラベル「I2」のイベントおよびラベル「I1」のイベントが引き起こされたことを示すモデルを特定する。
しかし、通常の処理において、ラベル「H2」のイベントを実行する度に、ラベル「H2」のイベントが引き起こすイベントの順番が異なるとは考え難い。つまり、図15に示す例では、出現割合を考慮せずに候補を削除した場合には、誤ったモデルを特定してしまう。このため、モデル作成装置10は、マッチした候補に含まれる子イベントを含んだ候補の出現割合を考慮して候補を削減する。
[モデル作成装置の処理]
次に、図16を用いて、モデル作成装置10が実行する処理の流れについて説明する。図16は、モデル作成処理の流れを説明するためのフローチャートである。図16に示す例では、モデル作成装置10は、電源が入力されたことをトリガとして処理を開始する。
まず、モデル作成装置10は、取得されたデータのうち、同時に発生したイベントの数が少ない範囲のデータを用いて、モデルを作成する(ステップS101)。次に、モデル作成装置10は、モデル作成に使われなかったデータとステップS101において作成されたモデルとのマッチングを行う(ステップS102)。
また、モデル作成装置10は、モデルとマッチした候補に含まれる子イベントが、出現割合が閾値よりも低い候補に含まれる場合には、マッチした候補に含まれるイベントを示すデータを削除し、候補を更新する(ステップS103)。次に、モデル作成装置10は、候補を更新したか否かを判別する(ステップS104)。つまり、モデル作成装置10は、マッチした候補に含まれるイベントを示すデータを削除したか否かを判別する。そして、モデル作成装置10は、候補を更新したと判別した場合には(ステップS104肯定)、更新した候補関係から新たなモデルを特定する(ステップS101)。
一方、モデル作成装置10は、候補が更新されなかった場合には(ステップS104否定)、出現割合の最小値が閾値よりも大きいか否かを判別する(ステップS105)。そして、モデル作成装置10は、出現割合の最小値が閾値よりも大きいと判別した場合には(ステップS105肯定)、閾値に所定の値を加算し、(ステップS106)、再度モデルの特定を実行する(ステップS101)。一方、モデル作成装置10は、出現割合の最小値が閾値よりも小さいと判別した場合には(ステップS105否定)、特定されたモデルをクライアント端末18に表示させ(ステップS107)、その後処理を終了する。
[実施例2の効果]
上述したように、実施例2に係るモデル作成装置10は、各情報処理装置によってイベントが実行された時間帯を示す情報に基づいて、イベントが他のイベントを引き起こした関係を示すモデルの候補を推定する。そして、モデル作成装置10は、推定した候補と既知のモデルとをマッチングし、既知のモデルとマッチした候補に含まれるイベントを含む候補を削除する。その後、モデル作成装置10は、推定された候補のうち削除されなかった候補から新たなモデルを特定する。
このため、モデル作成装置10は、既知のモデルを用いて、推定された候補を単純化するので、同時に発生したイベントの数が多く、推定された候補が複雑な場合にも、モデルを作成することができる。
また、モデル作成装置10は、既知のモデルとマッチした候補に含まれる子イベントが他の候補にも含まれているか否かを判別する。そして、モデル作成装置10は、子イベントが他の候補にも含まれていると判別した場合には、子イベントが他の候補に含まれる親イベントによって引き起こされた可能性が所定の閾値よりも低いか否かを判別する。その後、モデル作成装置10は、子イベントが他の候補に含まれる親イベントによって引き起こされた可能性が所定の閾値よりも低いと判別した場合には、マッチした候補に含まれるイベントを削除する。このため、モデル作成装置10は、推定された候補を適切に単純化することができる。また、モデル作成装置10は、より正確なモデルを作成することができる。
また、モデル作成装置10は、既知のモデルとマッチした候補を削除できなかった場合には、所定の閾値に所定の値を加算した新たな閾値を算出する。そして、モデル作成装置10は、子イベントが他の候補に含まれる親イベントによって引き起こされた可能性が新たな閾値よりも低い場合には、マッチした候補に含まれるイベントを削除する。このため、モデル作成装置10は、特定されるモデルの信頼度を段階的に変更することができる。
また、モデル作成装置10は、マッチした候補に含まれるイベントのうち、子イベントが他の候補である第二の候補に含まれているか否かを判別する。また、モデル作成装置10は、子イベントが第二の候補に含まれていると判別した場合には、第二の候補に含まれている親イベントを含む第三の候補を検索し、検索された第三の候補が既知のモデルとマッチするか否かを判別する。そして、モデル作成装置10は、検索された第三の候補が既知のモデルとマッチすると判別した場合には、第一の候補に含まれるイベントを削除する。
このため、モデル作成装置10は、より適切なイベントの削除処理を行う事ができる。つまり、モデル作成装置10は、マッチした候補に含まれるイベントを単純に削除したことを原因として、他のイベントと関係が無いイベントが残ってしまうことを防ぐことができる。
これまで本発明の実施例について説明したが実施例は、上述した実施例以外にも様々な異なる形態にて実施されてよいものである。そこで、以下では実施例3として本発明に含まれる他の実施例を説明する。
(1)モデル作成装置が有する各部について
上述した実施例2に係るモデル作成装置10は、モデル作成部15とマッチング部16とを有し、観測データ記憶部11に記憶されたデータを他の記憶部12〜13に移し変えることによって、モデルの特定とマッチした候補に含まれるイベントの削除を実行した。しかし、実施例はこれに限定されるものではない。
例えば、実施例3に係るモデル作成装置10aは、観測データ記憶部11に記憶されたデータからモデルの候補を示す情報を作成し、作成されたモデルの候補と既知のモデルとをマッチングさせる。また、モデル作成装置10aは、既知のモデルとマッチした候補に含まれるイベントを示すデータを削除する。そして、モデル作成装置10aは、既知のモデルとマッチングした候補に含まれるイベントを示すデータを削除した後に、再度候補を作成し、再度作成した候補からモデルを特定してもよい。
(2)閾値について
上述した実施例2では、所定の閾値が「0.5」の場合について説明した。しかし、実施例はこれに限定されるものではない。例えば、モデル作成装置10aは、閾値の初期値を「0.1」とし、徐々に閾値を上昇させてもよい。このような場合には、モデル作成装置10aは、特定しうるモデルの中から最も信頼度が高いモデルを取得することができる。
つまり、モデル作成装置10aは、モデルの候補の組合せの更新が行われなかった場合には、新たな閾値を算出し、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補がモデルとして成立する可能性を算出する。そして、モデル作成装置10aは、算出された可能性が新たな閾値よりも高い場合には、モデルの候補と検索されたモデルの候補とを推定されたモデルの候補の組合せから除外しない。
また、例えば、モデル作成装置10aは、マッチした候補に含まれる子イベントが他の候補に含まれる親イベントによって引き起こされた可能性を計算する。そして、モデル作成装置10aは、計算された可能性の最小値をpとし、新たな閾値をp+(1−p)/nとしてもよい。ここで、nは任意の計数である。
(3)モデルについて
上述した実施例2では、モデル作成装置10は、親イベントと子イベントとからなる2階層のイベントについてモデルを作成した。しかし、実施例はこれに限定されるものではなく、例えば、Web3階層システムにおけるイベントのモデル化を行うこともできる。例えば、モデル作成装置10aは、Web3階層システムのうち上位2階層のイベントを一つのイベントとみなすことで、Web3階層システムにおいて実行されるイベントのモデル化を行う事ができる。
(4)プログラム
ところで、実施例1〜2に係るモデル作成装置は、ハードウェアを利用して各種の処理を実現する場合を説明した。しかし、実施例はこれに限定されるものではなく、あらかじめ用意されたプログラムをモデル作成装置、又は、モデル作成装置として動作するコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図17を用いて、実施例1に示したモデル作成装置と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図17は、モデル作成プログラムを実行するコンピュータを説明するための図である。
図17に例示されたコンピュータ100は、RAM(Random Access Memory)120、ROM(Read Only Memory)130、HDD(Hard Disk Drive)150がバス170で接続される。また、図17に例示されたコンピュータ100は、CPU(Central Processing Unit)140がバス170で接続される。さらにバス170には、ネットワークに流れる情報を取得するためのI/O(Input Output)160が接続される。
ROM130には、取得プログラム131、推定プログラム132、検索プログラム133、更新プログラム134、作成プログラム135があらかじめ保持される。CPU140が各プログラム131〜135をROM130から読み出して実行することによって、図17に示す例では、各プログラム131〜132は、取得プロセス141、推定プロセス142として機能するようになる。また、各プログラム133〜135は、検索プロセス143、更新プロセス144、作成プロセス145として機能するようになる。なお、各プロセス141〜145は、図1に示した各部2〜6と同様の機能を発揮する。また、各プロセス141〜145は、実施例2に係る各部と同等の機能を発揮するようにすることも可能である。
なお、本実施例で説明したモデル作成プログラムは、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM(Compact Disc Read Only Memory)、MO(Magneto Optical Disc)、DVD(Digital Versatile Disc)などのコンピュータで読取可能な記録媒体に記録される。また、このプログラムは、コンピュータによって記録媒体から読み出されることによって実行することもできる。
1 モデル作成装置
2 取得部
3 推定部
4 検索部
5 削除部
6 特定部
10 モデル作成装置
11 観測データ記憶部
12 モデルデータ記憶部
13 モデル分類済データ記憶部
14 入力部
15 モデル作成部
16 マッチング部
17 出力部
18 クライアント端末

Claims (6)

  1. 階層関係を有する複数のイベントを実行する複数の情報処理装置が接続されたネットワークに流れる情報を観測し、イベントの実行が開始された時刻と当該イベントの実行が終了した時刻と当該イベントの種別とをイベント情報として取得する取得部と、
    前記取得部によって取得されたイベント情報に基づいて、イベントが他のイベントを引き起こす関係を示したモデルの候補の組合せを推定する推定部と、
    前記推定部によって推定されたモデルの候補のうち、既知のモデルと合致する候補を検索する検索部と、
    前記検索部によって検索されたモデルの候補を前記モデルの候補の組合せから除外するとともに、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外することで、モデルの候補の組合せを更新する更新部と、
    前記更新部によって更新されたモデルの候補の組合せに基づいて、新たなモデルを作成する作成部と、
    を有することを特徴とするモデル作成装置。
  2. 前記更新部は、前記検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補がモデルとして成立する可能性を算出し、算出された可能性が所定の閾値よりも高い場合には、当該検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補と前記検索部によって検索されたモデルの候補とを前記推定部によって推定されたモデルの候補の組合せから除外しないことを特徴とする請求項1に記載のモデル作成装置。
  3. 前記更新部は、前記モデルの候補の組合せの更新が行われなかった場合には、新たな閾値を算出し、前記検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補がモデルとして成立する可能性を算出し、当該算出された可能性が該新たな閾値よりも高い場合には、該モデルの候補と前記検索部によって検索されたモデルの候補とを前記推定部によって推定されたモデルの候補の組合せから除外しないことを特徴とする請求項2に記載のモデル作成装置。
  4. 前記更新部は、前記検索部によって検索されたモデルの候補を前記モデルの候補の組合せから除外するとともに、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外する結果、モデルの候補から外れるイベントが発生する場合には、当該イベントを含むモデルの候補を除外しないことを特徴とする請求項1又は2に記載のモデル作成装置。
  5. 階層関係を有する複数のイベントを実行する複数の情報処理装置が接続されたネットワークに流れる情報を観測し、イベントが他のイベントを実行した関係を示すモデルを作成するコンピュータに、
    イベントの実行が開始された時刻と当該イベントの実行が終了した時刻と当該イベントの種別とをイベント情報として取得する取得手順と、
    前記取得手順によって取得されたイベント情報に基づいて、イベントが他のイベントを引き起こす関係を示したモデルの候補の組合せを推定する推定手順と、
    前記推定手順によって推定されたモデルの候補のうち、既知のモデルと合致する候補を検索する検索手順と、
    前記検索手順によって検索されたモデルの候補を前記モデルの候補の組合せから除外するとともに、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外することで、モデルの候補の組合せを更新する更新手順と、
    前記更新手順によって更新されたモデルの候補の組合せに基づいて、新たなモデルを作成する作成手順と、
    を実行させることを特徴とするモデル作成プログラム。
  6. 階層関係を有する複数のイベントを実行する複数の情報処理装置が接続されたネットワークに流れる情報を観測し、イベントが他のイベントを実行した関係を示すモデルを作成するモデル作成装置に、
    イベントの実行が開始された時刻と当該イベントの実行が終了した時刻と当該イベントの種別とをイベント情報として取得する取得ステップと、
    前記取得ステップによって取得されたイベント情報に基づいて、イベントが他のイベントを引き起こす関係を示したモデルの候補の組合せを推定する推定ステップと、
    前記推定ステップによって推定されたモデルの候補のうち、既知のモデルと合致する候補を検索する検索ステップと、
    前記検索ステップによって検索されたモデルの候補を前記モデルの候補の組合せから除外するとともに、検索結果であるモデルの候補の除外によってモデルの候補の組合せから外れる候補を除外することで、モデルの候補の組合せを更新する更新ステップと、
    前記更新ステップによって更新されたモデルの候補の組合せに基づいて、新たなモデルを作成する作成ステップと、
    を実行させることを特徴とするモデル作成方法。
JP2010169812A 2010-07-28 2010-07-28 モデル作成装置、モデル作成プログラムおよびモデル作成方法 Expired - Fee Related JP5516192B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010169812A JP5516192B2 (ja) 2010-07-28 2010-07-28 モデル作成装置、モデル作成プログラムおよびモデル作成方法
US13/076,700 US8533135B2 (en) 2010-07-28 2011-03-31 Model generating device and model generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010169812A JP5516192B2 (ja) 2010-07-28 2010-07-28 モデル作成装置、モデル作成プログラムおよびモデル作成方法

Publications (2)

Publication Number Publication Date
JP2012032889A JP2012032889A (ja) 2012-02-16
JP5516192B2 true JP5516192B2 (ja) 2014-06-11

Family

ID=45527756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010169812A Expired - Fee Related JP5516192B2 (ja) 2010-07-28 2010-07-28 モデル作成装置、モデル作成プログラムおよびモデル作成方法

Country Status (2)

Country Link
US (1) US8533135B2 (ja)
JP (1) JP5516192B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015120216A1 (en) 2014-02-07 2015-08-13 Gojo Industries, Inc. Compositions and methods with efficacy against spores and other organisms
JP6429755B2 (ja) * 2015-09-16 2018-11-28 Kddi株式会社 相互関連イベント抽出プログラム、装置及び方法
US10571923B2 (en) * 2017-09-20 2020-02-25 Tata Consultancy Services Limited System and method for steering control during autonomous vehicle driving

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3421608B2 (ja) * 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4093076B2 (ja) * 2003-02-19 2008-05-28 富士重工業株式会社 車両運動モデルの生成装置および車両運動モデルの生成方法
JP4267385B2 (ja) * 2003-06-30 2009-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 統計的言語モデル生成装置、音声認識装置、統計的言語モデル生成方法、音声認識方法、およびプログラム
JP4610240B2 (ja) 2004-06-24 2011-01-12 富士通株式会社 分析プログラム、分析方法及び分析装置
EP1727123A1 (en) * 2005-05-26 2006-11-29 Yamaha Corporation Sound signal processing apparatus, sound signal processing method and sound signal processing program
JP5128154B2 (ja) * 2006-04-10 2013-01-23 富士フイルム株式会社 レポート作成支援装置、レポート作成支援方法およびそのプログラム
JP5089912B2 (ja) * 2006-04-25 2012-12-05 豊田通商株式会社 編構造モデル生成プログラム、編構造モデル生成装置、及び編構造モデル生成方法
EP2363067B1 (en) * 2007-01-19 2016-01-06 Asahi Kasei Kabushiki Kaisha Arousal state classification model generating device, arousal state classifying device, and warning device
JP5119700B2 (ja) * 2007-03-20 2013-01-16 富士通株式会社 韻律修正装置、韻律修正方法、および、韻律修正プログラム

Also Published As

Publication number Publication date
JP2012032889A (ja) 2012-02-16
US20120030155A1 (en) 2012-02-02
US8533135B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
JP6134437B2 (ja) データ転送監視システム、データ転送監視方法、および拠点システム
JP5532150B2 (ja) 運用管理装置、運用管理方法、及びプログラム
JP6307453B2 (ja) リスク評価システムおよびリスク評価方法
US10229160B2 (en) Search results based on a search history
JP6215850B2 (ja) ユーザ認識および情報分配の方法および装置
JP6288244B2 (ja) 情報処理装置、影響過程抽出方法およびプログラム
JP2011007713A (ja) 多点対間最短経路探索方法およびシステム
US8521724B2 (en) Processing search queries using a data structure
US20130103671A1 (en) Processing Search Queries In A Network Of Interconnected Nodes
JP5516192B2 (ja) モデル作成装置、モデル作成プログラムおよびモデル作成方法
JP5845810B2 (ja) 分散コンピューティング環境におけるソフトウェアの解析の並列化のための効率的な部分計算
US8886506B2 (en) Path failure importance sampling
US11748226B2 (en) Service graph generator, service graph generation method, and program
JP5135275B2 (ja) 経路障害箇所推定装置及びコンピュータプログラム
CN109977693A (zh) 一种强制访问控制规则的生成方法及装置
CN109389271B (zh) 应用性能管理方法及系统
Schiller et al. Gtna 2.0-a framework for rapid prototyping and evaluation of routing algorithms
US20140149574A1 (en) Generating a generalized uniform resource identifier
US10229140B2 (en) Extensible indexing system evaluation and recommendation
JP6467365B2 (ja) 故障解析装置、故障解析プログラムおよび故障解析方法
WO2015154641A1 (zh) 一种业务并发性预测方法与预测系统
WO2017131745A1 (en) Extracting task flows from application usage records
CN108156020B (zh) 一种ip定位数据库优化方法及装置
CN109302297B (zh) 网络访问记录的处理方法、装置和计算机可读存储介质
JP2006031178A (ja) 負荷テスト実施装置、負荷テスト実施方法、負荷テスト実施プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140317

R150 Certificate of patent or registration of utility model

Ref document number: 5516192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees