JP3721735B2 - 因果関係検出装置 - Google Patents
因果関係検出装置 Download PDFInfo
- Publication number
- JP3721735B2 JP3721735B2 JP23643497A JP23643497A JP3721735B2 JP 3721735 B2 JP3721735 B2 JP 3721735B2 JP 23643497 A JP23643497 A JP 23643497A JP 23643497 A JP23643497 A JP 23643497A JP 3721735 B2 JP3721735 B2 JP 3721735B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- time
- processing unit
- list
- causal relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000001364 causal effect Effects 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Description
【産業上の利用分野】
本発明は、データベースから役に立つ情報を発見するデータマイニングにおける因果関係検出装置に関し、特に事象の履歴から原因となる事象と結果となる事象との組を自動的に検出するようにした因果関係検出装置に関する。本発明は、例えば、システムのログから障害原因を推定したり、障害を予測したりする障害管理や、販売促進等の分野において外的要因と各商品の売り上げ高との因果関係の推定に用いられる。
【0002】
【従来の技術】
事象の履歴を記録したデータベースから因果関係を発見する問題の基本となる技術として、R.Agrawal及びR.Srikantによる文献、「Fast algorithms for Mining Assosiation Rules」、20th VLDB、pp.487−499、1994で提案されている相関ルールの発見問題がある。
【0003】
この公知の相関ルール発見のアルゴリズムは、各トランザクションがいくつかのアイテムの集合で構成されているデータベースから、あらかじめ定められたしきい値(minsup)以上のサポートをもつアイテム集合をまず生成し、生成したアイテム集合の中からあらかじめ定められたしきい値(minconf)以上の確信度をもつ相関ルールを生成するものである。
【0004】
ここで、X及びYをアイテム集合としたときの相関ルールX⇒Yのサポート及び確信度は、以下のように定義される。
【0005】
以下にこのアイテム集合の生成のアルゴリズムを示す。
【0006】
このアルゴリズムは、しきい値minsup以上のサポートをもつアイテム集合を生成するアルゴリズムであり、ここでLk は、サポートのしきい値minsupを有するk個のアイテムのアイテム集合(k−itemsets)の集合を意味しており、Ck はk個のアイテムのアイテム集合候補(candidatek−itemsets)の集合を意味している。各集合における各アイテム集合は、アイテム集合とサポートとの2つのフィールドを備えている。
【0007】
上述したアルゴリズムでは、まず、全てのアイテムに対し、単一アイテムだけからなるアイテム集合をL1 として設定する。次に、以下のように順次kをインクリメントしながら、k個のアイテムからなるアイテム集合の候補の集合Ck を生成し、データベースD中の各トランザクションtrに対して、trの中に集合Ck 中の候補を含むような候補の集合Ctrを得て、集合Ctrに含まれる各候補cに対して、候補cの出現回数の記録をインクリメントする。そして、全てのトランザクションについての処理が終わったら、集合Ck の内出現回数の記録がしきい値minsup以上であるような候補の集合をLk として設定する。この集合Lk が空集合なら集合L1 から集合Lk の和集合が生成すべきアイテムの集合となる。
【0008】
次に示すアルゴリズムは、アイテム集合を生成する上述したアルゴリズムを用いて得たアイテム集合から、しきい値minconf以上の確信度をもつ相関ルールを生成するアルゴリズムである。
【0009】
【0010】
このアルゴリズムでは、生成した各アイテム集合Iに対しその部分集合Jをとりだし、相関ルール「I−J⇒J」の確信度がそのしきい値minconf以上であれば出力する。
【0011】
【発明が解決しようとする課題】
このような従来の相関ルール発見のアルゴリズムによれば、1つのトランザクション内でのアイテムの共起関係を検出することはできるが、異なるトランザクション間でのアイテムの共起関係を検出することができず、あるトランザクションに含まれる事象が別のトランザクションで発生する事象の原因となっていることを検出できない。
【0012】
事象同士の共起性を検出するためには事象対の頻度計算を行う必要があるが、異なるトランザクションに含まれる事象同士の共起性を検出するべく出現する全ての事象から事象対を構成して頻度計算を行うと、事象の組み合わせ数が爆発的に増大してしまう。
【0013】
また、従来のアルゴリズムでは、minconfというルールの信頼性に関わるしきい値の設定が必要である。このしきい値minconfは、実用的には、データベースの内容を考慮して経験的に設定する必要があり、そのためには経験を積んだオペレータが必要とされる。
【0014】
従って本発明は、従来検出できなかった、異なるトランザクション間の共起性から因果関係を検出可能な因果関係検出装置を提供することを目的としている。
【0015】
本発明の他の目的は、そのために必要な事象対の効率良い頻度計算が行え、しかも因果関係の信頼性に関わるしきい値を不要とする因果関係検出装置を提供することにある。
【0016】
【課題を解決するための手段】
本発明によれば、事象の履歴を格納したデータベースと、このデータベースに格納されているデータから因果関係を検出するコンピュータとを備えた因果関係検出装置において、コンピュータが、データベースに格納されている事象の時系列データを取り出し、発生時刻順に事象をソートした事象リストを生成するソート処理部と、ソート処理部から出力される事象リストを記憶する主記憶部と、主記憶部に記憶されている事象リストを読出し、第1の事象の集合X(={ex1,ex2,…,exn,…}、exnは事象を示し、nは自然数である)の発生時刻から、あらかじめ定めた時間(ウインドウサイズw)が経過するまでに第2の事象の集合Y(={ey1,ey2,…,eyn,…}、eynは事象を示し、nは自然数である)が起こるような共起関係を持つ事象集合対〈X、Y〉の出現回数、並びに第1の事象の集合X及び第2の事象の集合Yの出現回数を事象リストから求める頻度処理部と、頻度処理部から出力される事象集合対〈X、Y〉の出現回数及び各事象集合X、Yの出現回数を用いて、第1の事象の集合Xが原因となってウインドウサイズw内に第2の事象の集合Yが起こる因果関係の有意性を判定する因果性判定処理部とを有する因果関係検出装置が提供される。
【0017】
本発明によれば、さらに、事象の履歴を格納したデータベースと、このデータベースに格納されているデータから因果関係を検出するコンピュータとを備えた因果関係検出装置において、コンピュータが、データベースに格納されている事象の時系列データを取り出し、発生時刻順に事象をソートした事象リストを生成するソート処理部と、ソート処理部から出力される事象リストを記憶する主記憶部と、主記憶部に記憶されている事象リストを読出し、第1の事象ex の発生時刻から、あらかじめ定めた時間(ウインドウサイズw)が経過するまでに第2の事象eyが起こるような共起関係を持つ事象対〈ex,ey〉の出現回数、並びに第1の事象ex及び第2の事象eyの出現回数を事象リストから求める頻度処理部と、頻度処理部から出力される事象対〈ex,ey〉の出現回数及び各事象ex,eyの出現回数を用いて、第1の事象exが原因となってウインドウサイズw内に第2の事象eyが起こる因果関係の有意性を判定する因果性判定処理部とを有する因果関係検出装置が提供される。
【0020】
第1の事象の集合X又は第1の事象ex の発生した時刻と第2の事象の集合Y又は第2の事象ey の発生した時刻との中間の時刻において、第1及び第2の事象の集合X及びY又は第1及び第2の事象ex 及びey のいずれの事象も発生していない場合に、出現回数を求めるようにすることが好ましい。
【0021】
各事象集合対〈X、Y〉又は各事象対〈ex ,ey 〉に対し、因果関係があると仮定するモデルと因果関係がないとするモデルとの双方に対し、モデルの対数尤度及びモデルに使用するパラメータ数から求めた情報量基準の値をそれぞれ算出し、算出した情報量基準の値の比較から因果関係の有意性判定を行うことが好ましい。このように構成することによって、従来必要とされていた、因果関係ルールの信頼性の判定に必要なパラメータが不要となる。
【0022】
その場合、因果関係があると仮定した時の情報量基準の値が因果関係がないと仮定した時の情報量基準の値より小さい場合に、因果関係が有意であると判定することが望ましい。
【0023】
生成した事象リストの一部分であるローカルリストを求め、このローカルリストを時間的に逆順に順次更新して事象リストを提供することも好ましい。
【0024】
時刻ti (iは0以上の整数である)で発生する第1の事象集合X(={ex1,ex2,…,exn,…}、exnは事象を示し、nは自然数である)又は第1の事象ex と、時刻tk (ti <tk <ti +w、i,kは0以上の整数であり、wは前記あらかじめ定めた時間である) に発生する第2の事象集合Y(={ey1,ey2,…,eyn,…}、eynは事象を示し、nは自然数である)又は第2の事象ey とが、ti <tj <tk (jは0以上の整数である)を満たす任意の時刻tj で発生する第3の事象集合Z(={ez1,ez2,…,ezn,…}、eznは事象を示し、nは自然数である)又は第3の事象ez について、∀ex ∈X,ey ∈Y,ez ∈Z,ex ≠ez かつey ≠ez となる順序条件を満たしている事象集合対〈X,Y〉又は事象対〈ex ,ey 〉の事象リストにおける出現回数を求める際、事象リストの一部分であるローカルリスト(時刻tp ,tp+1 ,…,tm(p)(m(p)は自然数である)の事象のリスト、tm(p)<tp +w<tm(p)+1)を更新しながら、時刻tp+1 から時刻tq (p<q≦m(p))に発生する事象の集合NBq と、時刻tp+1の任意の事象と時刻tq (p<q<m(p))の第4の事象集合E′(={ee1,ee2,…,een,…}、eenは事象を示し、nは自然数である)又は第4の事象ee のうち上述の順序条件を満たす事象の集合Hq を更新することにより、事象集合対又は事象対の出現回数を求めることが好ましい。これによって、事象集合対又は事象対の出現回数を効率的に求めることができる。
【0025】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【0026】
初めに、全ての事象の集合をE、最後の事象の生じた時刻をTとする。ある時刻ti (0≦i≦T)、又は時刻ti の前後の一定時間内に起こった事象の集合Ei ={ei1,ei2,…}(Ei ⊆E)をトランザクションとする。ただし、トランザクションを構成する事象の発生時刻に幅があったとしても、異なるトランザクションでは事象の発生時刻が重ならないとする。
【0027】
原因が生じてから結果が生じるまでの経過時間の最大値(ウィンドウサイズ)をwとし、時刻ti に起こった事象ex と、時刻tk (ti <tk ≦ti +w)に起こった事象ey が、以下の条件を満たす時、ex からey への因果関係がある可能性があり、これをCw (ex ,ey )で表わす。
【0028】
Cw (ex ,ey )の条件:ti <tj <tk となる時刻tj の事象ez に対し、ex ≠ez であり、かつ、ey ≠ez である。
【0029】
「時刻ti に起こった事象ex が原因となって、時刻tk (ti <tk ≦ti +w)に事象ey が起こる」という因果関係ルールを以下の形式で表現することとする。
【0030】
【数1】
【0031】
この因果関係ルールの発見を行うために、本発明では、因果関係のありそうな全ての候補に対してその出現頻度を求めると共に、そのルールが正確かどうか統計的な判定手法を用いる。以下、Cw (ex ,ey )であるような事象対〈x,y〉の出現回数及び事象xの出現回数を、それぞれn1 (x,y)及びn(x)で表わす。このとき、xを本体、yを頭部と呼ぶ。
【0032】
図1は本発明の因果関係検出装置の基本的構成を表わすブロック図であり、図2はそのアルゴリズムを示すフローチャートである。以下、これらの図を用いて本発明による因果関係の検出動作を説明する。
【0033】
ソート処理部11では、データベース12に格納されている事象の時系列データからトランザクションを時間の順に並べた事象リストを生成する(ステップ101)。このソート処理部11は、一般的なデータベース制御機能等を用いて実現することができる。生成される事象リストは、例えば表1に示すように、時刻t1 〜tT における事象の集合E1 〜ET のリストである。
【0034】
【表1】
【0035】
この事象リストが巨大な場合、事象リスト全体をそのままコンピュータの主記憶部13に配置することは不可能となる。そこで、本発明では、事象リストの内、ある時刻tp からウィンドウサイズw内の時刻のトランザクションのみを時間順に並べたローカルリストを主記憶部13に記憶させる(ステップ102)。得られるローカルリストは、例えば表2に示すように、時刻tp 〜tp+m(p)における事象の集合Ep 〜Ep+m(p)のリストである。
【0036】
【表2】
【0037】
ローカルリストの先頭トランザクションの時刻と最終トランザクションの時刻とを更新しながら、事象リストの全データをスキャンする(ステップ103)。ここで重要な点は、ローカルリストの更新を、事象リストの最終時刻tT から時間の逆順に行うことである。
【0038】
頻度処理部14は、ローカルリストを更新しながら、表3及び表4に示す2種類の頻度表を更新する(ステップ104)。表3の頻度表は事象リスト中の各事象の出現回数を記録するためのもので、表4の頻度表は事象対の出現回数を記録するためのものである。
【0039】
【表3】
【0040】
【表4】
【0041】
頻度処理部14の頻度処理アルゴリズムは、以下のように表わされる。
【0042】
【0043】
ここで、NBq は、時刻tp+1 から時刻tq (q>p)までのトランザクションに現れる事象の集合を表わしており、「時刻tp の事象xを本体に、時刻tq の事象yを頭部とする場合、x∈NBp であれば、Cw (x,y)ではない」という性質を有している。Hq は、時刻tp+1 のある事象を本体に、時刻tq の事象を頭部とした場合、Cw (x,y)であるような事象yの集合を表わしており、「時刻tp の事象x′を本体に、時刻tq の事象y′を頭部とする場合、x′∈Hp −Ep であれば、Cw (x′,y)である」という性質を有している。また、m(p)は、ローカルリスト中のトランザクション数より1少ない数である。従って、ローカルリスト中で最後の時刻は、tp+m(p)である。
【0044】
上述したように、時間の逆順(p=T−1,T−2,…,0)にローカルリストを更新して計算することによって、時刻tp においては、NBq 及びHq が既知となっており、その分、計算が省略できるので、出現頻度を効率良く求めることができる。
【0045】
因果性判定処理部23では、表4の頻度表に現わる全事象対に対して、因果関係の有無を統計的に判定する。事象集合対〈x,y〉の判定には、以下のn1 、n2 、n3 及びn4 の4つのパラメータを使用する。
【0046】
n1 =Cw (x,y)となる事象xを含むトランザクションの数
n2 =事象xを含むトランザクションの内、Cw (x,y)となるべき事象yを含むトランザクションがないトランザクションの数
n3 =事象yを含むトランザクションの内、Cw (x,y)となるべき事象xを含むトランザクションがないトランザクションの数
n4 =事象xも事象yも含まないトランザクションの数
これらの数(n1 ,n2 ,n3 ,n4 )は、以下の式で計算する。ただし、n1 (x,y)は表4の頻度表より、n(x)は表3の頻度表より、全トランザクション数はデータベースの機能から又はローカルリストの更新時にカウントすることによりそれぞれ得る。
n1 =n1 (x,y)
n2 =n(x)−n1 (x,y)
n3 =n(y)−n1 (x,y)
n4 = (全トランザクション数) −(n1 ,n2 ,n3 ,n4 )
【0047】
因果関係の有無の統計的判定は、因果関係が有るとするモデルによる情報量基準量I1 と因果関係が無いと仮定するモデルの情報量基準量I2 とを求め、因果関係があるとするモデルの方が適切ならば、対象となっている事象対〈x,y〉を因果関係ありとする。
【0048】
情報量基準量の求め方としては、例えば赤池の情報量基準(AIC)やベイズの情報量基準(BIC)を用いて得ることできる。AICを用いた場合の判定アルゴリズムを以下に示す。
【0049】
【数2】
【0050】
因果関係を有りと仮定した時の対数尤度MLL1 から情報量基準量I1 を求め、因果関係無しと仮定した時の対数尤度MLL2 から情報量基準量I2 を求める。これら情報量基準量I1 と情報量基準量I2 とを求める式を以下に示す。
【0051】
【数3】
【0052】
因果関係有りとする場合、自由パラメータはn1 、n2 及びn3 の3つであり、因果関係無しの場合は、自由パラメータはn1 とn2 との比率及びn1 とn3 との比率の2つである。AICを用いた判定アルゴリズムに示したように、情報量基準量I1 が情報量基準量I2 より小さければ、因果関係有りと判定する。
【0053】
以下、この因果関係の有無の統計的判定手法をシミュレーションによって得た履歴データに適用した性能評価実験の結果について説明する。
【0054】
シミュレーションとしては、ポワソン過程に従う事象発生源から特定の事象(原因)が発生した場合、正規分布に従う経過時間後に関連する事象(結果)を発生するシミュレーションとして、図3に示すように、以下の性質を有する事象発生モデルを仮定した。
(1)系SYSA 及び系SYSB は、それぞれシンボル発生源A1 ,A2 ,…,AN 及びB1 ,B2 ,…,BN を有する(N=10000)。
(2)Ai が発生するシンボルをpi1,pi2,…、Bj が発生するシンボルをqj1,qj2,…とする。発生するシンボル数は2項分布B(n,p)に従うとする(n=10,p=0.7)。
(3)SYSA 中からc個のシンボル発生源をランダムに選び出す(c=1000)。選ばれた各シンボル発生源は、(2)で定めたシンボル以外にもシンボルを発生するとする。余分に発生するシンボルの数は2項分布B(c1 ,pc1)に従うとする(c1 =5,pc1=0.7)。
(4)Ai のシンボル発生間隔はポワソン分布P(λi )に従うとする。ただし、λi は正規分布N(μ,σ)に従う(μ=3600,σ=720)。SYSB の各シンボル発生源のシンボル発生間隔も同様にして定める。
(5)(3)で定めた余分に発生するシンボルがAj からpjuとして発生した時、SYSB の特定のシンボル発生源(Bl とする)から特定のシンボルqlvが発生するという因果関係を仮定する。pjuの発生からqlvが発生するまでの時間は正規分布N(10,1)に従うとする。
【0055】
シミュレータは、SYSA 及びSYSB から出力される記号の時系列を履歴データとして、pju及びqlv等の因果関係の相当するシンボル同士の対応表を検証用データとして出力する。履歴データでは、シンボルがどちらの系から発生したか明示されるが、どの情報源から発生したか及び因果関係に関わるかどうかは明示されない。
【0056】
一定期間内に生じる事象の組み合わせは非常に多くなる。そこで、膨大なルール候補を減少させることを目的として、因果関係無しの判定(棄却判定)を行っているのである。そこで、評価項目として以下の項目を測定する。
・棄却判定の対象となったルールの数
・棄却されずに残ったルールの数
棄却されずに残ったルールの質が良いことも重要であるため、残ったルールに対して以下の項目を測定する。
見逃し率:実際は因果関係があるのに因果関係ルールとならなかったものの数と全因果関係数との比
誤検出率:実際は因果関係が無いのに棄却されずに因果関係ルールとなった数の因果関係ルールの総数に対する割合
【0057】
棄却判定の対象となるルールの数及び棄却されなかったルールの数は、ウインドウサイズw及び履歴データの期間とに依存する。図4は履歴データの期間に対する判定対象ルールの数の関係、図5は履歴データの期間に対する残ったルールの数の関係をそれぞれ示している。これらの図より、本統計的判定手法によれば、非常に多くの候補を棄却できることが分かる。シミュレーションでは因果関係にある事象同士の時間間隔をN(10,1)に設定したため、平均間隔より4σ小さいw=6で正しいルールが発見されたり、w=12で発見されなかった正しいルールがw=15で発見されることはほとんど無いはずである。このため、適切な棄却手法によれば、w=6では全ルールが棄却され、w=12とw=15とにおける残ったルールの数が一致するはずである。図5にはこのような適切な特性が示されている。
【0058】
図6は履歴データの期間に対する見逃し率の関係を示している。同図においては、履歴の期間が長くなるにつれて見逃し率が単調減少している。これは、期間が長くなれば、発生頻度の低い共起関係が発見できることを反映したものとなっている。
【0059】
誤検出率については、常に0であった(因果関係の無い候補は全て棄却された)。このように、大量のルールを棄却できること、及び誤検出率が低いことから、因果関係有無のこの統計的判定手法は、正しく無いルールに対する適切な棄却能力を有すると評価できることとなる。
【0060】
本発明は、データベースから役に立つ情報を発見するデータマイニングにおける因果関係を検出する場合に適用可能であり、例えば、システムのログから障害原因を推定したり、障害を予測したりする障害管理や、販売促進の分野において外的要因と各商品の売り上げ高との因果関係の推定に用いられる。
【0061】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【0062】
【発明の効果】
以上詳細に説明したように本発明によれば、事象の履歴を記録したデータベースから因果関係を検出する場合に、発生時刻順に事象をソートした事象リストを生成し、第1の事象の集合X(={ex1,ex2,…,exn,…}、exnは事象を示し、nは自然数である)の発生時刻から、あらかじめ定めた時間(ウインドウサイズw)が経過するまでに第2の事象の集合Y(={ey1,ey2,…,eyn,…}、eynは事象を示し、nは自然数である)が起こるような共起関係を持つ事象集合対〈X、Y〉の出現回数、並びに第1の事象の集合X及び第2の事象の集合Yの出現回数を事象リストから求め、事象集合対〈X、Y〉の出現回数及び各事象集合X、Yの出現回数を用いて、第1の事象の集合Xが原因となってウインドウサイズw内に第2の事象の集合Yが起こる因果関係の有意性を判定するようにしているので、因果関係の信頼性に関わるしきい値を不要とし、異なるトランザクション間の事象の共起性から因果関係を効率的に検出できる。
【図面の簡単な説明】
【図1】本発明の因果関係検出装置の基本的構成を表わすブロック図である。
【図2】図1の装置における因果関係検出のアルゴリズムを示すフローチャートである。
【図3】本発明の統計的判定方法の性能評価を行うために用いる事象発生モデルを示す図である。
【図4】履歴データの期間に対する判定対象ルールの数の関係を示す図である。
【図5】履歴データの期間に対する残ったルールの数の関係を示す図である。
【図6】履歴データの期間に対する見逃し率の関係を示す図である。
【符号の説明】
11 ソート処理部
12 データベース
13 主記憶部
14 頻度処理部
15 因果関係判定処理部
Claims (12)
- 事象の履歴を格納したデータベースと、該データベースに格納されているデータから因果関係を検出するコンピュータとを備えた因果関係検出装置において、前記コンピュータが、
前記データベースに格納されている事象の時系列データを取り出し、発生時刻順に事象をソートした事象リストを生成するソート処理部と、
該ソート処理部から出力される事象リストを記憶する主記憶部と、
該主記憶部に記憶されている事象リストを読出し、第1の事象の集合の発生時刻から、あらかじめ定めた時間が経過するまでに第2の事象の集合が起こるような事象集合対の出現回数、並びに第1の事象の集合及び第2の事象の集合の出現回数を該事象リストから求める頻度処理部と、
該頻度処理部から出力される前記事象集合対の前記出現回数及び前記各事象集合の前記出現回数を用いて、第1の事象の集合が原因となって前記あらかじめ定めた時間内に第2の事象の集合が起こる因果関係の有意性を判定する因果性判定処理部とを有することを特徴とする因果関係検出装置。 - 前記頻度処理部は、前記第1の事象の集合の発生した時刻と第2の事象の集合の発生した時刻との中間の時刻において、該第1及び第2の事象の集合のいずれの事象も発生していない場合に、前記出現回数を求めるように構成されていることを特徴とする請求項1に記載の装置。
- 前記因果性判定処理部は、各事象集合対に対し、因果関係があると仮定するモデルと因果関係がないとするモデルとの双方に対し、モデルの対数尤度及びモデルに使用するパラメータ数から求めた情報量基準の値をそれぞれ算出し、該算出した情報量基準の値の比較から因果関係の有意性判定を行うように構成されていることを特徴とする請求項1又は2に記載の装置。
- 前記因果性判定処理部は、因果関係があると仮定した時の情報量基準の値が因果関係がないと仮定した時の情報量基準の値より小さい場合に、因果関係が有意であると判定するように構成されていることを特徴とする請求項1から3のいずれか1項に記載の装置。
- 前記ソート処理部は、生成した事象リストの一部分であるローカルリストを求め、該ローカルリストを時間的に逆順に順次更新して事象リストを提供するように構成されていることを特徴とする請求項1から4のいずれか1項に記載の装置。
- 前記頻度処理部は、時刻ti(iは0以上の整数である)で発生する第1の事象集合X(={ex1,ex2,…,exn,…}、exnは事象を示し、nは自然数である)と、時刻tk(ti<tk<ti+w、i,kは0以上の整数であり、wは前記あらかじめ定めた時間である) に発生する第2の事象集合Y(={ey1,ey2,…,eyn,…}、eynは事象を示し、nは自然数である)とが、ti<tj<tk(jは0以上の整数である)を満たす任意の時刻tjで発生する第3の事象集合Z(={ez1,ez2,…,ezn,…}、eznは事象を示し、nは自然数である)について、∀ex∈X,ey∈Y,ez∈Z,ex≠ezかつey≠ezとなる順序条件を満たしている事象集合対〈X,Y〉の事象リストにおける出現回数を求める際、前記ソート処理部によって更新された事象リストの一部分であるローカルリスト(時刻tp,tp+1,…,tm(p)(m(p)は自然数である)の事象のリスト、tm(p)<tp+w<tm(p)+1)を参照して、時刻tp+1から時刻tq(p<q≦m(p))に発生する事象の集合NBqと、時刻tp+1の任意の事象と時刻tq(p<q<m(p))の第4の事象集合E′(={ee1,ee2,…,een,…}、eenは事象を示し、nは自然数である)のうち前記順序条件を満たす事象の集合Hqを更新することにより、事象集合対の出現回数を求めることを特徴とする請求項1から5のいずれか1項に記載の装置。
- 事象の履歴を格納したデータベースと、該データベースに格納されているデータから因果関係を検出するコンピュータとを備えた因果関係検出装置において、前記コンピュータが、
前記データベースに格納されている事象の時系列データを取り出し、発生時刻順に事象をソートした事象リストを生成するソート処理部と、
該ソート処理部から出力される事象リストを記憶する主記憶部と、
該主記憶部に記憶されている事象リストを読出し、第1の事象の発生時刻から、あらかじめ定めた時間が経過するまでに第2の事象が起こるような事象対の出現回数、並びに第1の事象及び第2の事象の出現回数を該事象リストから求める頻度処理部と、
該頻度処理部から出力される前記事象対の前記出現回数及び前記各事象の前記出現回数を用いて、第1の事象が原因となって前記あらかじめ定めた時間内に第2の事象が起こる因果関係の有意性を判定する因果性判定処理部とを有することを特徴とする因果関係検出装置。 - 前記頻度処理部は、前記第1の事象の発生した時刻と第2の事象の発生した時刻との中間の時刻において、該第1及び第2のいずれの事象も発生していない場合に、前記出現回数を求めるように構成されていることを特徴とする請求項7に記載の装置。
- 前記因果性判定処理部は、各事象対に対し、因果関係があると仮定するモデルと因果関係がないとするモデルとの双方に対し、モデルの対数尤度及びモデルに使用するパラメータ数から求めた情報量基準の値をそれぞれ算出し、該算出した情報量基準の値の比較から因果関係の有意性判定を行うように構成されていることを特徴とする請求項7又は8に記載の装置。
- 前記因果性判定処理部は、因果関係があると仮定した時の情報量基準の値が因果関係がないと仮定した時の情報量基準の値より小さい場合に、因果関係が有意であると判定するように構成されていることを特徴とする請求項7から9のいずれか1項に記載の装置。
- 前記ソート処理部は、生成した事象リストの一部分であるローカルリストを求め、該ローカルリストを時間的に逆順に順次更新して事象リストを提供するように構成されていることを特徴とする請求項7から10のいずれか1項に記載の装置。
- 前記頻度処理部は、時刻ti(iは0以上の整数である)で発生する第1の事象exと、時刻tk(ti<tk<ti+w、i,kは0以上の整数であり、wは前記あらかじめ定めた時間である) に発生する第2の事象eyが、ti<tj<tk(jは0以上の整数である)を満たす任意の時刻tjで発生する第3の事象ezについて、ex≠ezかつey≠ezとなる順序条件を満たしているような前記第1の事象ex 及び前記第2の事象ey の事象対〈ex ,ey 〉の事象リストにおける出現回数を求める際、前記ソート処理部によって更新された事象リストの一部分であるローカルリスト(時刻tp,tp+1,…,tm(p)(m(p)は自然数である)の事象のリスト、tm(p)<tp+w<tm(p)+1)を参照して、時刻tp+1から時刻tq(p<q≦m(p))に発生する事象の集合NBqと、時刻tp+1の任意の事象と時刻tq(p<q<m(p))の第4の事象eeのうち前記順序条件を満たす事象の集合Hqを更新することにより、事象対の出現回数を求めることを特徴とする請求項7から11のいずれか1項に記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23643497A JP3721735B2 (ja) | 1996-08-30 | 1997-08-19 | 因果関係検出装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24680896 | 1996-08-30 | ||
JP8-246808 | 1996-08-30 | ||
JP23643497A JP3721735B2 (ja) | 1996-08-30 | 1997-08-19 | 因果関係検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10134086A JPH10134086A (ja) | 1998-05-22 |
JP3721735B2 true JP3721735B2 (ja) | 2005-11-30 |
Family
ID=26532673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23643497A Expired - Lifetime JP3721735B2 (ja) | 1996-08-30 | 1997-08-19 | 因果関係検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3721735B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10222493A (ja) * | 1997-02-06 | 1998-08-21 | Kokusai Denshin Denwa Co Ltd <Kdd> | 相互因果関係解析システム |
US6714893B2 (en) | 2002-02-15 | 2004-03-30 | International Business Machines Corporation | Enhanced concern indicator failure prediction system |
JP4746850B2 (ja) | 2004-06-21 | 2011-08-10 | 富士通株式会社 | パターン生成プログラム |
JP5178357B2 (ja) * | 2008-07-03 | 2013-04-10 | Kddi株式会社 | 単語スコア算出装置、文書ラベル判定システム、および単語スコア算出プログラム |
JP6070688B2 (ja) * | 2012-02-27 | 2017-02-01 | 日本電気株式会社 | イベント相関規則検出システム、イベント相関規則検出方法およびイベント相関規則検出用プログラム |
US20150058272A1 (en) * | 2012-03-26 | 2015-02-26 | Nec Corportion | Event correlation detection system |
-
1997
- 1997-08-19 JP JP23643497A patent/JP3721735B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10134086A (ja) | 1998-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Silverstein et al. | Scalable techniques for mining causal structures | |
JP3832281B2 (ja) | 外れ値ルール生成装置と外れ値検出装置、その外れ値ルール生成方法と外れ値検出方法及びそのプログラム | |
US8619084B2 (en) | Dynamic adaptive process discovery and compliance | |
US20050080806A1 (en) | Method and system for associating events | |
US8676818B2 (en) | Dynamic storage and retrieval of process graphs representative of business processes and extraction of formal process models therefrom | |
AU2017274576B2 (en) | Classification of log data | |
US7516368B2 (en) | Apparatus, method, and computer product for pattern detection | |
US20050278613A1 (en) | Topic analyzing method and apparatus and program therefor | |
CN112579728B (zh) | 基于海量数据全文检索的行为异常识别方法及装置 | |
WO2009010950A1 (en) | System and method for predicting a measure of anomalousness and similarity of records in relation to a set of reference records | |
CN112491872A (zh) | 一种基于设备画像的异常网络访问行为检测方法和系统 | |
JP3721735B2 (ja) | 因果関係検出装置 | |
CN112652351A (zh) | 硬件状态检测方法、装置、计算机设备及存储介质 | |
Hinder et al. | One or Two Things We know about Concept Drift--A Survey on Monitoring Evolving Environments | |
US20180107529A1 (en) | Structural event detection from log messages | |
US11550712B2 (en) | Optimizing garbage collection based on survivor lifetime prediction | |
Yang et al. | A multi-components approach to monitoring process structure and customer behaviour concept drift | |
CN107943850B (zh) | 数据关联方法、系统及计算机可读存储介质 | |
Wang et al. | A novel hash-based approach for mining frequent itemsets over data streams requiring less memory space | |
WO2023039973A1 (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
CN115269288A (zh) | 故障确定方法、装置、设备和存储介质 | |
JP2020038514A (ja) | 学習データ生成装置、学習データ生成方法、及びプログラム | |
JP6547341B2 (ja) | 情報処理装置、方法及びプログラム | |
CN113780597B (zh) | 影响传播关系模型构建和告警影响评估方法、计算机设备、存储介质 | |
CN115017019B (zh) | 一种基于日志的系统异常检测方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050905 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |