JPH113360A

JPH113360A - 大規模データ分析方法

Info

Publication number: JPH113360A
Application number: JP15333397A
Authority: JP
Inventors: Toyohisa Morita; 豊久森田; Akira Maeda; 章前田; Yukiyasu Ito; 幸康伊藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-06-11
Filing date: 1997-06-11
Publication date: 1999-01-06
Anticipated expiration: 2017-06-11
Also published as: JP4038255B2

Abstract

(57)【要約】【課題】複数回レコードを読むことによって回数を計数
し記憶するので、処理の途中で止めても、参照したレコ
ードに対応する結果がすべては得られない。【解決手段】カウンタ１０３にすべての生起条件に対応
する計数カウンタを置き、レコードの読み込みごとにカ
ウンタを更新し、最新レコードＩＤ記憶装置１０６の最
新レコードＩＤを更新する。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は、データ（特に大規
模な）の解析を行う技術分野に属する。その中でも特
に、データにおける因果関係やデータ中の規則性を求め
るデータマイニングの技術分野に属する。

【従来の技術】大規模なデータをもとに、そこから因果
関係や規則性を求めたりする場合に、データマイニング
と呼ばれる手法がある。この手法として、例えば、Rake
sh Agrawal, Ramakrishnan Srikant,"Fast Algorit
hms for Mining AssociationRules",Proceedings o
f the 20th VLDB Conference Santiago, Chile(1
994)（従来技術１）がある。ここでは、最大ｋ個までの
条件の組合せの同時生起を求めるために、まず、すべて
の条件について、それが生起する回数を全レコードを参
照して求め、さらに、そこで回数が予め定めた閾値より
大きかった条件の中から２個が同時に生起する回数を全
レコードを参照して求める、ということをｋ個の条件数
まで行なう。これにより、全レコードに占める回数の割
合が一定値以上であるｋ個までの条件の組合せを得るこ
とができる。

【発明が解決しようとする課題】上記従来技術１には以
下のような課題がある。従来技術１にあるように、この
手法は最大ｋ条件の同時生起を考慮するのに、ｋ回にわ
たって全レコードを読む必要がある。このため、第１
に、計算の途中で止めてみても、少ない条件数の結果が
得られるだけであり、例えば１００個のデータに関する
計算を全体の計算時間の半分で止めても、５０個分の完
全な答えが得られるわけではない。計算を途中で止めた
場合に、参照したレコード数に対応した完全な結果が欲
しい場合があるが、これは、そのような要求には応えら
れない。第２に、閾値以上の条件の種類自体がレコード
集合に対応しているので、レコードが追加されたり削除
されたりした場合には、追加・削除分だけの再計算では
済まず、もう一度すべてのレコードを読み直した上で、
閾値以上の条件の種類を見つける必要がある。つまりレ
コードが次々と更新されるような状況には対応できな
い。第３に、全レコードを読んで回数を求めるところを
並列化しようとすれば、配分が適切ではない場合、計算
終了時刻がそれぞれのプロセッサで異なることが起こり
得、待ち状態となるプロセッサが生じ、時間と計算資源
の無駄となる。第４に、回数の閾値は、条件を確定する
ために使われるため、計算が始まった後に変更ができな
い。閾値をより低く設定変更するときには、計算を全く
最初からやり直す必要が生じる。したがって、本発明の
第１の目的は、計算を途中で止めることができるように
することと、その際に、参照したレコード数に対応した
完全な出力結果を得られるようにすることである。ま
た、本発明の第２の目的は、レコードが次々と更新され
るようなときに、すべての計算をやり直さなくても、更
新されたデータの分だけ処理すれば、正確な結果が得ら
れるようにすることである。また、本発明の第３の目的
は、並列処理を行なう際に、適切なレコード配分を行な
うようにすることである。また、本発明の第４の目的
は、データマイニング処理に関わる閾値等のパラメータ
を変更しても、それが、レコードの読み直しの必要を生
じさせないようにすることである。

【課題を解決するための手段】本発明は、条件に対応す
る回数を算出するカウンタを持ち、レコードを１度読む
ことで対応するカウンタをすべて更新できるようにし
た。既に参照したレコードは、参照後は利用しないで済
むようにした。また、計算を途中でやめるように指示を
入力する手段を持ってもよい。また、どこまで計算して
止めたかわかるように、止めたレコードの位置がわかる
ようにしてもよい。また、本発明は、レコードが追加・
削除されたときに、対応するカウンタの値のみを更新す
る手段を提供してもよい。また、次々と入力されるレコ
ードに対して、最新のレコードから何個前から何個前ま
でを計算対象とするかを指定する手段を持ち、上述のカ
ウンタの値を更新する手段を用いて、計算対象のレコー
ドのみがカウントされている出力結果を常に得られるよ
うにしてもよい。また、上述の計算対象の区間を動的に
変化させられるようにしてもよい。また、本発明は、並
列処理を行なう際に、それぞれのプロセッサの処理能力
を表す数値から終了時刻が同時になるようにレコード数
を配分してもよい。また、早く終了したプロセッサが他
のプロセッサの担当のレコードを通信によって獲得し、
処理を肩代りすることによって全体の終了時刻を早めて
もよい。また、並列処理に関与するプロセッサと、それ
ぞれのプロセッサの処理能力と残りレコード数を管理す
るサーバを置くことによって、途中でプロセッサが増え
たときにも同時に計算が終了するようにしてもよい。ま
た、あるプロセッサが自らが算出したカウンタの値を、
足算をするサーバに送信し、残りのレコードを他のプロ
セッサに配分することによって処理を終了し、並列処理
から脱退することを可能にしてもよい。また、本発明
は、カウンタの値を用いた計算は、すべての回数の集計
を終了した後に行なうようにしてもよい。

【発明の実施の形態】以下、本発明の実施の形態の一例
を詳細に説明する。図１に本発明の実施の形態の構成図
を示す。本発明では、入力装置１００、レコード入力装
置１０１、カウンタ初期化装置１０２、カウンタ１０
３、カウンタ選択装置１０４、カウンタ更新装置１０
５、更新レコードＩＤ記憶装置１０６、終了指示入力装
置１０７、終了指示判定装置１０８、出力装置１０９
が、バス１１０を介して相互接続されている。また、レ
コード入力装置１０１は、通信線１１２を介してレコー
ドデータ記憶装置１１１と接続されている。以下、図２
に示すフローチャートを利用して、本発明の実施の形態
の一例を詳細に説明する。ステップ２０１では、レコー
ド入力装置のレコード読み出し位置を初期化する。これ
により、次にどのレコードをレコードデータ記憶装置１
１１から読み出せばよいかが決まる。ここでは、データ
の先頭レコードを指す。ここで、レコードは、図３に示
すような形式で表される。ステップ２０２では、カウン
タの初期化を行なう。カウンタ初期化装置１０２がカウ
ンタ１０３を初期化する。ここでは、必要なカウンタを
生成し、すべてのカウンタの内容を０にする。カウンタ
の例を図４に示す。ステップ２０３では、レコード入力
装置１０１が通信線１１２を介してレコードデータ記憶
装置１１１からレコードを１つ入力する。ステップ２０
４では、すべてのカウンタの中から、条件が該当するカ
ウンタをカウントアップする。カウンタ選択装置１０４
がカウンタ１０３の中から適切なカウンタを選択し、そ
のカウンタに対して、カウンタ更新装置１０５がカウン
タの値を更新する。この場合は１増やす。ステップ２０
５では、最新レコードＩＤ記憶装置にある最新レコード
ＩＤを現在の最新の値に更新する。レコードＩＤとして
は、タイムスタンプが実施可能である。ステップ２０６
では、終了指示判定装置１０８が、終了指示入力装置１
０７からの終了指示があるかどうかを判定し、指示があ
る場合には、ステップ２０８に移り、指示がない場合に
は、ステップ２０７に移る。図５に、終了指示入力装置
１０７の例を示す。ステップ２０７では、全レコードが
読み出されたかどうかをチェックし、読まれたときに
は、ステップ２０８に移り、まだ残りがある場合にはス
テップ２０３に移る。ステップ２０８では、結果を出力
する。ここでは、上位Ｎ個のカウンタの条件部とそのカ
ウンタの値と、最新レコードＩＤを出力する。ここで、
Ｎの値は予め定めておく。この実施の形態によれば、計
算を途中で止めることができ、さらに、その時点でのす
べての条件数における上位の条件が出力できる。また、
最新レコードＩＤのタイムスタンプを参照することで、
結果が現在でも最新のものか、であるとか、どのくらい
新しいまたは古いものかということを知ることができ
る。また、この実施の形態は以下のように変更して実施
することも可能である。第１に、ステップ２０３におけ
るレコードの読み込みは１レコードずつでなく、予め定
められた複数のレコードずつであってもよい。そのとき
には、ステップ２０４のカウントアップは複数のレコー
ドに対して行ない、ステップ２０５においては最新のレ
コードＩＤに更新するようにする。これにより、レコー
ドデータ記憶装置１１１から通信線１１２を介してレコ
ード入力装置１０１にレコードを入力する際の効率の調
整が行なえ、より速い処理が可能となる。第２に、ステ
ップ２０５における最新レコードＩＤは、タイムスタン
プではなく、レコードを一意に表すレコードＩＤでもよ
い。第３に、ステップ２０５における最新レコードＩＤ
は、単に、処理したレコードに通算でつけられた数でも
よい。この場合は、ステップ２０５での処理は、カウン
タを１増やす、という処理と等価になる。第４に、この
一連の処理は、初期値をカウンタ０から始めなくてもよ
い。すなわち、何度か過去に行なった途中結果を継続す
るような処理として実施することも可能である。ステッ
プ２０８における結果の出力では、最新レコードＩＤに
加えて、全条件のカウンタの値も出力する。この結果を
元に、ステップ１０１では、次のレコードを読みに行く
ように読み出し位置を設定し、ステップ１０２では、カ
ウンタを過去の結果に初期化する。これにより、途中で
終了した結果を用いて、それを継続することができる。
これは、時間を適当に区切って、そこまでの結果を出力
し、さらに、必要に応じてより多くのレコードを参照し
てその処理を継続する、ということを可能にする。第５
に、これまでの実施例は同時生起であったが、これを、
ある特徴を満たすときに特徴的な条件を見つける、とい
うように変更することも可能である。カウンタの構造を
図６にあるように、すべての条件に対して、その条件が
満たされていたときに、結論が満たされていた場合のカ
ウンタと、結論が満たされていなかった場合のカウンタ
の２種類を設ける。ステップ２０２のカウンタの初期化
では、このようなカウンタを生成し、初期化する。ま
た、ステップ２０４では、対応するカウンタについて、
結論が満たされている場合には「結論○」の方のカウン
タを増やし、結論が満たされていない場合には「結論
×」の方のカウンタを増やす。また、ステップ２０８で
は、単にカウンタの大きいものをとってくるだけではな
く、数１に示す式を用いて、その値が大きいものを出力
する。

【数１】以上によれば、ある特殊な条件を満たすときに特徴的な
条件が得られる。これは、その特殊な条件の起こる確率
が少なくても抽出できる。また、その特殊な条件の起こ
る確率に関わらず、その特殊な条件と同時に生起する条
件を定量的に抽出できる。第６に、ステップ２０８での
上位Ｎ個のＮは予め定めておかず、ステップ２０８にお
いて対話的に入力して、結果を出力するように変更でき
る。そのために、入力装置１００から対話的にＮを入力
して、それに対して出力を行なうようにすればよい。そ
のときに、必要なだけその処理を繰り返すこともでき
る。このようにすれば、パラメータを替えた解析結果を
レコードの読み直しなしに実現できる。第７に、第４の
変更例において再開するときに、得られた最新レコード
ＩＤのタイムスタンプによって、現在の最新のデータベ
ースとの差分データがジャーナルによってわかるので、
それを利用してデータを元に戻してデータマイニングを
再開することも実施可能である。次に、本発明の第２の
実施の形態について詳細に説明する。図７に本発明の実
施の形態の構成図を示す。本実施の形態では、入力装置
７００、レコード入力装置７０１、カウンタ初期化装置
７０２、カウンタ７０３、カウンタ選択装置７０４、カ
ウンタ更新装置７０５、区間変更装置７０６、区間デー
タ記憶装置７０７、終了指示入力装置７０８、終了指示
判定装置７０９、出力装置７１０がバス７１１を介して
相互接続されている。また、オンライン処理システム７
１５がネットワーク７１６に接続されている。また、オ
ンラインデータ記憶装置７１２が通信線Ａ７１３を介し
てレコード入力装置７０１に接続されており、さらに、
通信線Ｂ７１４を介してネットワーク７１６に接続され
ている。オンライン処理システム７１５はデータをオン
ラインに処理し、その結果をオンラインデータ記憶装置
７１２に記憶する。バス７１１及びそれにつながる装置
はオンラインデータ記憶装置７１２のデータをレコード
入力装置７０１を介してのみ利用できるようにしてあ
る。以下、図８に示すフローチャートを利用して、本発
明の実施の形態の一例を詳細に説明する。ステップ８０
１では、レコード入力装置のレコード読み出し位置を初
期化する。これにより、次にどのレコードをレコードデ
ータ記憶装置７１２から読み出せばよいかが決まる。こ
こでは、データの先頭レコードを指す。ステップ８０２
では、カウンタの初期化を行なう。カウンタ初期化装置
７０２がカウンタ７０３を初期化する。ここでは、必要
なカウンタを生成し、すべてのカウンタの内容を０にす
る。ステップ８０３では、レコード入力装置７０１が通
信線Ａ７１３を介してオンラインデータ記憶装置７１２
からレコードを入力する。ここで、入力されるレコード
は、区間データ記憶装置７０７に記憶された区間内にあ
って、かつ、まだ入力されていないレコードすべてであ
る。図９に示すように、時間軸において、区間データと
いうものが定義される。これはデータマイニングに利用
されるデータの時間区間を定義するものである。その区
間の現在に遠い方の端点を端点Ａとし、現在に近い方の
端点を端点Ｂとすると、入力すべきデータは、レコード
読み出し位置から端点Ｂまでの間のデータである。レコ
ード読み出し位置が区間内にないときは入力を見送る。
ステップ８０４では、すべてのカウンタの中から、必要
なカウンタを更新する。カウンタ選択装置７０４がカウ
ンタ７０３の中から適切なカウンタを選択し、そのカウ
ンタに対して、カウンタ更新装置７０５がカウンタの値
を更新する。ここでは、古いデータを捨て、新しいデー
タを取り込む処理を行なう。図１０に示すように、１回
前の端点Ａ、端点Ｂを保存しておき、それぞれ、ここで
は、端点Ａ’、端点Ｂ’と呼ぶことにすると、端点Ａ’
から端点Ａまでの間のデータが古くなり捨てられるデー
タであり、端点Ｂ’から端点Ｂまでの間のデータが新し
く採用されたデータとなる。参考までに、端点Ｂ’の１
個現在側のデータが読み出し位置となっていたデータで
ある。前者の古いデータに対しては、対応するデータを
再び読み出し、対応する条件のカウンタを選択してこれ
を１減らし、後者の新しいデータに対しては、対応する
条件のカウンタを選択してこれを１増やす処理を行な
う。また、次の処理のために、端点Ａを端点Ａ’とし
て、また、端点Ｂを端点Ｂ’として区間データ記憶装置
７０７に保存する。ステップ８０５では、区間変更装置
７０６から区間変更の指示があったかどうかを判定し、
区間変更の指示があった場合は、ステップ８０６に進
み、区間変更の指示がなかった場合は、ステップ８０７
に進む。区間変更の指示は、区間変更装置７０６で行な
う。ステップ８０６では、区間変更を行なう。区間変更
の内容は、区間変更装置において図１１にあるように画
面上の区間の位置をマウス等の入力装置で変更すること
によって指示する。これにより、端点Ａと端点Ｂを変更
して区間データ記憶装置７０７に記憶する。ステップ８
０７では、今まで読み込んだデータにおけるデータマイ
ニングの結果を出力する。結果は、予め上位Ｎ個のカウ
ンタを出力する、というように指定しておく。カウンタ
の条件部とカウンタの値を出力する。ステップ８０８で
は、終了指示が終了指示入力装置７０８から入力された
かどうかを終了指示判定装置７０９で判定して、終了が
指示されているときには、ステップ８０９に移り、指示
されていないときには、ステップ８０３に移る。終了指
示入力装置７０８は図１２のように、実現できる。ステ
ップ８０９では、結果を出力する。ここでは、区間デー
タ記憶装置７０７の区間データと、カウンタ７０３のカ
ウンタの値を出力する。この実施の形態によれば、デー
タを次々と追加・削除しながら、ある定められた時間区
間のデータを対象にデータマイニングを実行することが
できる。また、データマイニングの結果を逐次に得るこ
とができる。また、時間区間自体を動的に変更できる。
また、動的な時間区間の変更を利用すれば、カウンタの
内容が全くの０の状態から定常状態までのスタートアッ
プを全く同じこのアルゴリズムで実現できる。また、こ
の実施の形態は以下のように変更して実施することも可
能である。第１に、この一連の処理は、初期値をカウン
タ０から始めなくてもよい。すなわち、何度か過去に行
なった途中結果を継続するような処理として実施するこ
とも可能である。ステップ８０９における結果の出力で
は、カウンタの値と区間データを出力しているので、過
去の実行結果のこの出力から初期値をステップ８０１及
びステップ８０２で設定して再開することが可能であ
る。これにより、オンラインのデータマイニングの途中
での実行停止とその再開が可能となる。第２に、これま
での実施例は単なる同時生起であったが、これを、ある
特徴を満たすときに特徴的な条件を見つける、というよ
うに変更することも可能である。カウンタの構造を図６
にあるように、すべての条件に対して、その条件が満た
されていたときに、結論が満たされていた場合のカウン
タと、結論が満たされていなかった場合のカウンタの２
種類を設ける。ステップ８０２のカウンタの初期化で
は、このようなカウンタを生成し、初期化する。また、
ステップ８０４では、対応するカウンタについて、結論
が満たされている場合には「結論○」の方のカウンタを
更新し、結論が満たされていない場合には「結論×」の
方のカウンタを更新する。また、ステップ８０７では、
単にカウンタの大きいものをとってくるだけではなく、
数１に示す式を用いて、その値が大きいものを出力す
る。以上によれば、ある特殊な条件を満たすときに特徴
的な条件が得られる。これは、その特殊な条件の起こる
確率が少なくても抽出できる。また、その特殊な条件の
起こる確率に関わらず、その特殊な条件と同時に生起す
る条件を定量的に抽出できる。第３に、ステップ８０７
での上位Ｎ個のＮは予め定めておかず、ステップ８０７
において対話的に入力して、結果を出力するように変更
できる。そのために、入力装置７００から対話的にＮを
入力して、それに対して出力を行なうようにすればよ
い。そのときに、必要なだけその処理を繰り返すことも
できる。このようにすれば、パラメータを替えた解析結
果をレコードの読み直しなしに実現できる。第４に、ス
テップ８０７の結果の出力において、上位Ｎ個のカウン
タの条件部とカウントの値を出力するだけではなく、そ
れに加えて、任意の条件に対して、ヒストグラムを出力
し、それに、古いデータで捨てられたデータの度数、新
しく入ったデータの度数、それらの差し引きのデータの
度数がヒストグラムの形で重畳表示されるようにするこ
ともできる。図１３にそれを例示する。図中の横軸の変
数は入力装置７００によって変更が可能である。次に、
本発明の第３の実施の形態について詳細に説明する。図
１４に本発明の実施の形態の構成図を示す。ネットワー
ク１４０１に、管理サーバＡ１４０２、計算サーバＢ１
４０４、計算サーバＣ１４０６、計算サーバＤ１４０８
が接続されている。また、管理サーバＡ１４０２には、
レコードデータ記憶装置Ａ１４０３が接続されており、
計算サーバＢ１４０４には、レコードデータ記憶装置Ｂ
１４０５が接続されており、計算サーバＣ１４０６に
は、レコードデータ記憶装置Ｃ１４０７が接続されてお
り、計算サーバＤ１４０８には、レコードデータ記憶装
置Ｄ１４０９が接続されている。実際には、計算サーバ
とレコードデータ記憶装置の組は２個以上であればいく
つでも実施可能である。次に、管理サーバＡでのアルゴ
リズムの流れをフローチャートで図１５に示す。ステッ
プ１５０１では、管理サーバＡが計算サーバを決定す
る。図１４の例では、計算サーバは、計算サーバＢ１４
０４、計算サーバＣ１４０６、計算サーバＤ１４０８の
３つである。ステップ１５０２では、管理サーバＡが、
それぞれの計算サーバから、計算サーバの処理能力をネ
ットワーク１４０１を介した通信によって取得する。計
算サーバの処理能力は、単位時間あたりの処理レコード
数で表される。ステップ１５０３では、管理サーバＡ
が、それぞれの計算サーバに対してレコードデータを配
分する。配分は、レコード数が処理能力に比例するよう
にする。元々は管理サーバＡに接続されているレコード
データ記憶装置Ａに記憶されていたレコードをこの数に
したがって、それぞれの計算サーバに送り、それぞれの
計算サーバは自分に接続されているレコードデータ記憶
装置にそのレコードを保存する。管理サーバＡ１４０２
が保持している計算サーバに関するデータを図１６に示
す。図１６のように、計算サーバの一覧と、それぞれに
ついて、処理能力が数値で表されており、初期状態で
は、残りレコード数の値は、最初に送信したレコード数
となっている。この表形式で管理サーバＡは計算サーバ
の情報を記憶する。ステップ１５０４では、計算サーバ
から計算終了通知が来ているかどうかを判定する。来て
いる場合には、ステップ１５０５に移り、来ていない場
合には、ステップ１５０６に移る。ステップ１５０５で
は、すべての計算サーバから計算終了通知が来ているか
どうかを判定する。すべての計算サーバから計算終了通
知が来ている場合にはステップ１５０９に移り、少なく
とも一つでも計算終了通知が来ていない計算サーバがあ
るときにはステップ１５０８に移る。ステップ１５０６
では、計算サーバの追加・削除通知が来ているかどうか
判定する。来ている場合には、ステップ１５０７に移
り、来ていない場合には、ステップ１５０４に移る。ス
テップ１５０７では、計算サーバの追加・削除処理を行
なう。計算サーバの追加については、図１６で示した計
算サーバの表を垂直方向に増やす処理を行なう。計算サ
ーバ名には、計算サーバの名前を入れ、処理能力を入
れ、残りレコード数は０とする。計算サーバの削除につ
いては、残りレコードを任意の計算サーバに送信し、自
計算サーバのカウンタの内容をすべて管理サーバＡに送
信し、図１６で示す表の該当するサーバの欄を削除す
る。カウンタには図４に示すように、全ての条件に対応
するレコードデータの回数が記されている。ステップ１
５０８では、レコードデータの再配分を行なう。図１６
に示す表において、残りレコード数をすべての計算サー
バから通信によって取得し、最新の値に更新する。残り
レコード数の合計を計算し、それを処理能力に比例配分
した値を計算し、その値が残りレコード数より少ない場
合は、その分だけ、多いところにレコードデータを送信
し、その分の自らのレコードを削除する。逆に、その値
が残りレコード数より多い場合は、その分だけ、他から
レコードデータを取得し、自らのレコードに追加する。
図１６に示す表は最新の値に更新する。ステップ１５０
９では、図１６の表に示してある計算サーバすべてから
カウンタの内容を取得し、合計する。ステップ１５１０
では、カウンタの合計で上位Ｎ個の条件部とカウンタの
値を出力する。Ｎの値は予め定めておく。次に、それぞ
れの計算サーバでのアルゴリズムの流れをフローチャー
トで図１７に示す。ステップ１７０１では、ステップ１
５０３で管理サーバＡが送信したレコードを受信する。
受信したレコードは自らに接続されているレコードデー
タ記憶装置に記憶する。ステップ１７０２では、レコー
ドをレコードデータ記憶装置から計算サーバに入力す
る。ステップ１７０３では、対応する条件のカウンタの
値を更新する。カウンタは、図４のように、条件部に対
してその回数を記録できるようになっている。予めすべ
ての条件部のカウンタを用意しておく。ステップ１７０
４では、レコードデータ記憶装置のレコードをすべて参
照したかどうか判定する。すべて参照した場合には、ス
テップ１７０５に移り、残りがある場合にはステップ１
７０２に移る。ステップ１７０５では、計算終了通知を
管理サーバＡに送信する。ステップ１５０４では、ここ
で送信された計算終了通知を取得することになる。ステ
ップ１７０６では、レコード受信が起こったかどうかを
判定する。これは、ステップ１５０７、ステップ１５０
８の後で、他の計算サーバからレコードが送信されてく
る場合に、レコード受信が生ずることとなる。レコード
受信が起こった場合には、ステップ１７０２に戻り、起
こらなかった場合にはステップ１７０７に移る。ステッ
プ１７０７ではカウンタの内容を管理サーバＡに送信す
る。以上の実施の形態によれば、終了時刻が同時になる
ようにレコードをやりとりできる。また、先に計算が終
了した計算サーバが他のまだ終わっていない計算サーバ
のレコードデータを取得して計算を肩代りすることで、
全体の終了時刻を早めることができる。また、途中で計
算サーバの追加・削除が動的にできる。以上の実施の形
態は次のように変更して実施することも可能である。第
１に、この一連の処理は、初期値をカウンタ０から始め
なくてもよい。すなわち、何度か過去に行なった途中結
果を継続するような処理として実施することも可能であ
る。ステップ１５１０における結果の出力で、カウンタ
の値すべてを出力しているので、過去の実行結果のこの
出力から管理サーバＡのカウンタの初期値を設定してお
けば、新たなデータを追加してカウンタの計算を継続す
ることが可能である。これにより、データマイニングの
途中での実行停止とその再開が可能となる。第２に、こ
れまでの実施例は同時生起であったが、これを、ある特
徴を満たすときに特徴的な条件を見つける、というよう
に変更することも可能である。カウンタの構造を図６に
あるように、すべての条件に対して、その条件が満たさ
れていたときに、結論が満たされていた場合のカウンタ
と、結論が満たされていなかった場合のカウンタの２種
類を設ける。管理サーバＡとすべての計算サーバでは、
カウンタはこのような形式で持つようにする。また、ス
テップ１７０３では、対応するカウンタについて、結論
が満たされている場合には「結論○」の方のカウンタを
更新し、結論が満たされていない場合には「結論×」の
方のカウンタを更新する。また、ステップ１５１０で
は、単にカウンタの大きいものをとってくるだけではな
く、数１に示す式を用いて、その値が大きいものを出力
する。以上によれば、ある特殊な条件を満たすときに特
徴的な条件が得られる。これは、その特殊な条件の起こ
る確率が少なくても抽出できる。また、その特殊な条件
の起こる確率に関わらず、その特殊な条件と同時に生起
する条件を定量的に抽出できる。第３に、ステップ１５
１０での上位Ｎ個のＮは予め定めておかず、ステップ１
５１０において対話的に入力して、結果を出力するよう
に変更できる。このようにすれば、パラメータを替えた
解析結果をレコードの読み直しなしに実現できる。第４
に、ステップ１５０８において管理サーバＡはすべての
計算サーバから残りレコード数のみを取得するだけでは
なく、最近の処理能力の値も取得する。これにより、処
理能力が時間とともに変化するような場合にでも適切な
レコードの配分が行なえ、より早い計算の終了が期待で
きる。以上述べた３つの実施の形態のすべてに共通する
実施の変更例について述べる。第１に、図３に示したよ
うなテーブル形式のデータではなく、図１８で示すよう
なトランザクションデータが入力される場合にも対応が
可能である。前者が、集計データであるのに対して、後
者は、何らかのイベントに対応した情報だけが記述され
ている。図１８で示す例は、スーパのレジなどで用いら
れるＰＯＳにおいて、一人の客が買った商品が顧客ＩＤ
とともに記されている。商品の組合せを問題にするとき
に、顧客ＩＤとすべての商品の組合せについての条件の
組合せをカウンタとして生成しておく。そのカウンタの
例を図１９に示す。このようにすれば、テーブル形式の
データを持たなくても、トランザクションデータから直
接に、対応するカウンタの更新を行なえば、前述の３つ
の実施の形態をそのまま実施できる。第２に、上述の３
つの実施の形態はレコードを１パスで読んで処理するよ
うな手法であったが、一度１パスで処理を終了し、その
後に、条件を変えてさらに１パスの処理を繰り返すこと
により、得られる結果を詳細化することができる。その
処理を図２０で説明する。ステップ２００１にある処理
Ａは、これまで説明してきた３つの実施の形態での処理
が入る。すなわち、レコードが与えられて、一連のデー
タマイニング処理をして結果が出力されるまでを表す。
ステップ２００２では、これで処理を終了するかどうか
を判定し、終了するときはこれで処理を終了し、そうで
ないときにはステップ２００３に移る。ステップ２００
３では、条件の変更を行ない、ステップ２００１に移
る。ここで条件の変更について説明する。処理Ａが１度
終わると、有意な条件がいくつか出力される。この有意
な条件に限って、カテゴリ化の閾値を変更してより詳細
な条件を求める。ここでカテゴリ化とは、例えば、年齢
を１０代、２０代、３０代というような離散的なカテゴ
リに分ける処理のことである。また、カテゴリ化の閾値
を変更してより詳細な条件を求めるとは、例えば最初の
処理Ａで、２０代という年齢が条件として有意になった
とき、２回目では、これを２０代前半と２０代後半に分
けるようなことが考えられる。このようにすれば、何度
か処理Ａを繰り返すことにより、より詳細な結果出力が
期待できる。また、上述の実施の形態を次のように変更
もできる。条件の変更の際に、有意な条件を満たすレコ
ードのみをピックアップし、レコードの全体集合自体を
小さくする。そして小さくなったレコード集合に対し
て、処理Ａを繰り返すことにすると、まったく同じ結果
をより高速に得ることができる。第３に、上記で説明し
たすべての方法をコンピュータで読み取り可能なプログ
ラムに格納し、記憶した媒体とすることもできる。第４
に、上記で説明したすべての方法をコンピュータで読み
取り可能なプログラムに格納し、ネットワークを通じて
配布するシステムも実施可能である。

【発明の効果】以上述べたように、本発明によれば、デ
ータマイニングの計算を途中で止めることができる。ま
た、その際に、参照したレコード数に対応した完全な出
力結果が得られる。また、一度止めた計算を再開するこ
とができる。また、タイムスタンプを参照することで、
結果が新しいものかどうか、また、どれくらい新しいも
のかを知ることができる。また、本発明によれば、レコ
ードが次々と更新されるようなときに、すべての計算を
やり直さなくても、更新されたデータの分だけ処理すれ
ば、正確な結果が得られる。またデータマイニングの結
果を逐次に得ることができる。また、対象となっている
レコードの対象区間を計算の途中で動的に変更できる。
また、本発明によれば、並列処理を行なう際に、適切な
レコード配分を行うことで、全体の計算が早く終わる。
また、並列処理するプロセッサの計算の途中での追加や
削除が可能となる。また、本発明によれば、計算に関わ
るパラメータを、レコードの読み直しなしに変更でき
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成図である。

【図２】本発明の第１の実施の形態のフローチャートで
ある。

【図３】レコード形式の例を示す図である。

【図４】カウンタの第１の例を示す図である。

【図５】終了指示入力装置の表示例である。

【図６】カウンタの第２の例を示す図である。

【図７】本発明の第２の実施の形態の構成図である。

【図８】本発明の第２の実施の形態のフローチャートで
ある。

【図９】区間データを示す図である。

【図１０】区間データの更新を示す図である。

【図１１】区間変更装置の例を示す図である。

【図１２】終了指示入力装置の例を示す図である。

【図１３】差分データの重畳表示の例を示す図である。

【図１４】本発明の第３の実施の形態の構成図である。

【図１５】管理サーバＡのフローチャートである。

【図１６】計算サーバの表を例示する図である。

【図１７】計算サーバのフローチャートである。

【図１８】トランザクションデータの例を示す図であ
る。

【図１９】カウンタの例を示す図である。

【図２０】詳細化処理のフローチャートである。

【符号の説明】

１００…入力装置、１０１…レコード入力装置、１０２
…カウンタ初期化装置、１０３……カウンタ、１０４…
カウンタ選択装置、１０５…カウンタ更新装置、１０６
…最新レコードＩＤ記憶装置、１０７…終了指示入力装
置、１０８…終了指示判定装置、１０９…出力装置、１
１０…バス、１１１…レコードデータ記憶装置、１１２
…通信線

Claims

【特許請求の範囲】

【請求項１】複数の属性の値を記述したレコードを複数
集めたデータから、属性の組合せの生起回数を求める方
法であって、レコードを入力し、生起回数をカウンタに格納し、前記
カウンタを初期化し、前記カウンタを更新し、最後に参
照したレコードのＩＤを記憶し、処理終了の指示を入力
し、結果を出力することを特徴とするデータ分析方法。
【請求項２】複数の属性の値を記述したレコードを複数
集めたデータから、属性の組合せの生起回数を求める装
置であって、レコードを入力する手段と、生起回数を格納するカウン
タと、前記カウンタを初期化する手段と、カウンタを更
新する手段と、最後に参照したレコードのＩＤを記憶す
る手段と、処理終了の指示を入力する手段と、結果を出
力する手段とを持つことを特徴とするデータ分析装置。