JP4180540B2 - データマイニングシステム - Google Patents

Description

本発明は、時系列データに対するデータマイニングを支援するデータマイニングシステムに係り、データ抽出、前処理、データ変換処理の各フェーズの遷移と使用パラメータを管理し、自在に過去のフェーズからの処理を再開できるようにするシステムに関する。

図１５は、データマイニング操作の手順を示す図である。時系列データを収集し（Ｓ１５０１）、その中から処理対象のデータ群を抽出し（Ｓ１５０２）、前処理によりクリーンなデータに変換し（Ｓ１５０３）、データ変換によりデータを加工し（Ｓ１５０４）、データマイニングを行う（Ｓ１５０５）。

しかし、データマイニングで理想的な結果を得るには、試行錯誤により各フェーズをやり直すことになる。

現状のデータマイニングツールは、過去に実行したフェーズへ戻って、その状態から処理を再開することができない。

特開平１１−００３３６０は、データマイニング処理中における停止であって、データマイニングの事前の処理に係る制御ではない。
特開平１１−００３３６０号公報 特開２０００−２４２６５１号公報

本発明は、上記した従来技術の欠点を除くためになされたものであって、その目的とするところは、時系列データに対するデータマイニングを支援するデータマイニングシステムに係り、データ抽出、前処理、データ変換処理の各フェーズの遷移と使用パラメータを管理し、自在に過去のフェーズからの処理を再開できるようにすることである。

本発明に係るデータマイニングシステムは、
以下の要素を有することを特徴とする
（１）時系列データ群を記憶する時系列データ記憶部
（２）時系列データ記憶部から時系列データを抽出するデータ選択処理部
（３）抽出した時系列データに対して前処理する前処理部
（４）抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理部
（５）抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理部
（６）データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズについての遷移を木構造で関連付けて記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理データツリー記憶部
（７）操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御部
（８）再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御部に指示するリスタート処理部。

データマイニングシステムは、更に
操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させるチェックポイント処理部を有することを特徴とする。

データ選択処理部、前処理部、データ変換処理部、及びデータマイニング処理部は、自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させることを特徴とする。

本発明に係るプログラムは、
時系列データ群を記憶する時系列データ記憶部を有するデータマイニングシステムとなるコンピュータに、以下の手順を実行させるためのプログラムであることを特徴とする
（１）操作者の指示に応じて、時系列データ記憶部から時系列データを抽出する処理手順
（２）操作者の指示に応じて、抽出した時系列データに対してする前処理手順
（３）操作者の指示に応じて、抽出した時系列データ、あるいは前処理した時系列データを変換する処理手順
（４）操作者の指示に応じて、抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニングする処理手順
（５）操作者の指示があった場合に、当該指示の直前の処理について、データ選択の処理、前処理、データ変換の処理、及びデータマイニングの処理の各フェーズについての遷移を木構造で関連付けて記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理手順
（６）再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの処理の起動を指示する処理手順。

本発明に係るデータマイニング支援方法は、
時系列データ群を記憶する時系列データ記憶部を有するデータマイニングシステムによるデータマイニング支援方法であって、以下の要素を有することを特徴とする
（１）操作者の指示に応じて、時系列データ記憶部から時系列データを抽出する処理工程
（２）操作者の指示に応じて、抽出した時系列データに対してする前処理工程
（３）操作者の指示に応じて、抽出した時系列データ、あるいは前処理した時系列データを変換する処理工程
（４）操作者の指示に応じて、抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニングする処理工程
（５）操作者の指示があった場合に、当該指示の直前の処理について、データ選択の処理、前処理、データ変換の処理、及びデータマイニングの処理の各フェーズについての遷移を木構造で関連付けて記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理工程
（６）再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの処理の起動を指示する処理工程。

本発明においては、操作者の指示により、あるいは自動的に、直前の処理に係るフェーズの遷移を木構造で関連付けて記憶し、当該フェーズで使用したパラメータも対応付けて記憶し、後に再開するフェーズを指示された場合に、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズを起動するので、自在に過去のフェーズから処理を再開することができる。

実施の形態１．
以下本発明を図面に示す実施例に基づいて説明する。図１は、データマイニングシステムの構成を示す図である。データマイニング制御部１、データ選択処理部２、前処理部３、データ変換処理部４、データマイニング処理部５、チェックポイント処理部６、リスタート処理部７、処理データツリー記憶部８、実行フェーズ記憶部９、時系列データ記憶部１０、抽出済みデータ記憶部１１、前処理済みデータ記憶部１２、及びデータ変換済みデータ記憶部１３を有している。

図２は、全体処理フローを示す図である。全体処理は、データマイニング制御部１が制御している。データ選択処理部２によるデータ選択処理（Ｓ２０２）、前処理部３による前処理（Ｓ２０４）、データ変換処理部４によるデータ変換処理（Ｓ２０６）、データマイニング処理部５によるデータマイニング処理（Ｓ２０８）、チェックポイント処理部６によるチェックポイント処理（Ｓ２１０）、及びリスタート処理部７によるリスタート処理（Ｓ２１２）は、後述するようにそれぞれの画面を表示し、画面上での操作によるイベントを取得して、そのイベントに応じた処理を行うように構成されている。特に、取得したイベントが処理選択ボタンである場合には、その処理選択ボタンの種類をステータスとして返すように構成されている。そして、そのステータスにより次の処理へ分岐するように、データマイニング制御部１は制御している。

処理データツリー記憶部８、実行フェーズ記憶部９、時系列データ記憶部１０、抽出済みデータ記憶部１１、前処理済みデータ記憶部１２、及びデータ変換済みデータ記憶部１３は、各処理モジュール間のデータの受け渡しや状態の記憶のために用いられる。特に、処理データツリーは、操作の流れや履歴を管理するデータとして全体にかかわる。

図３は、処理データツリーの例を示す図である。

ユーザ名以外の表示（ＤｘｘｘやＳｘｘｘ）は、チェックポイント名を表示する。Ｄｘｘｘはユーザが明示的にチェックポイント処理を指定したものを表し、破線で示したＳｘｘｘは、システムが自動的にチェックポイントを採取したことを示す。システムが作成したチェックポイントは当該システム終了時に自動的に削除される。図中のＤ２１１とＤ２３１の間の前処理フェーズにチェックポイント名が表示されていないのは、以前の実行でシステムが自動的にチェックポイントを作成し、削除されたことを示す。したがって、チェックポイント名が表示されていない処理のリスタートはできない。このツリーはチェックポイント処理実行時に新たにエントリを作成する。リスタート処理はこのツリーの該当フェーズの該当データのボックスを左クリックすることにより実行される。各エントリの詳細情報（処理結果データ名、処理実行時パラメータ、処理実行時のコメント、処理実行後のコメント（解釈・評価））の表示や当該エントリの削除処理が可能である。当該ツリーから現在の処理フェーズが分かる（図では太線で表示）。

次に、一連の操作を想定して、各処理モジュールの動作について説明する。

この例では、車輌で測定した時系列データを収集して分析する。車輌から時系列データとして収集可能なデータは数百種類あり、その代表的なデータには、車速、エンジン回転数、ギア位置、車間距離、ハンドル角度などがある。

これらのデータは時系列データとして所定のサンプリング間隔で収集されるものとし、このサンプリング間隔は、任意に指定可能である。

車輌からの時系列データとして収集した各種センシングデータを分析するストーリを、図４から図１３に示す。なお、車輌から収集されたデータは、時系列データ記憶部１０に予め格納されているものとする。

初期状態では、図４に示すメインメニュー画面が表示されている。上部のバーには、処理選択ボタン群が表示されている。このボタンを押下すると、そのボタンの種類がステータスとなり、図２のフローに従って、所定の処理モジュールが起動される。

ここでは、「データ選択」のボタンを選択した場合を想定する。データ選択処理部２によるデータ選択処理（Ｓ２０２）では、まず図５に示すデータ選択画面を表示する。この画面で、収集されたデータの中から今回の分析用にデータを抽出する。その為に、データ抽出パラメータとして、車輌、データ収集期間、時間帯などを指定する。

具体的な処理について説明する。取得したイベントが、パラメータに係るものの場合には、そのパラメータを記憶し、「実行」を押下されると以下のように動作する。
（１）処理データツリー記憶部８から処理データツリーを入力し、新たなチェックポイントＩＤを採番する。
（２）記憶しているパラメータに基づいて、時系列データ記憶部１０からデータを抽出する。
（３）抽出データを抽出済みデータ記憶部１１へ保存する。
（４）ファイル名には、識別の為にユーザ名とチェックポイントＩＤを入れる。
（５）既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントＩＤを追加して、入力パラメータとともに、処理データツリー記憶部８に記録する。

次に、「前処理」のボタンを選択した場合を想定する。前処理部３による前処理（Ｓ２０４）では、図６に示す前処理画面を表示する。この処理では、データ補間を行う。例えば、抽出したデータのサンプリング間隔が異なっている場合には、サンプリング間隔を合わせる補間を行う。また、ノイズや異常値の除去なども行う。

具体的な処理について説明する。取得したイベントが、パラメータに係るものの場合には、そのパラメータを記憶し、「実行」を押下されると以下のように動作する。
（１）処理データツリーを入力し、直前に実行したデータ選択のチェックポイントＩＤにつながる新たなチェックポイントＩＤを採番する。仮に、データ選択のチェックポイントＩＤがない場合は、エラーとする。データを選択していない場合には、前処理はできないからである。
（２）データ選択のチェックポイントＩＤに対応する抽出済みデータ記憶部１１のデータに対して、記憶しているパラメータに従って補間処理を実行する。
（３）処理結果を前処理済みデータ記憶部１２に保存する。ファイル名には、識別の為にユーザ名とチェックポイントＩＤを入れる。
（４）既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントＩＤを追加して、入力パラメータとともに、処理データツリー記憶部８に記録する。

続いて、「チェックポイント」のボタンを選択した場合を想定する。チェックポイント処理部６によるチェックポイント処理（Ｓ２１０）では、直前の処理結果を保存する。その為に、処理データツリーに採番したチェックポイントＩＤを追加して、入力パラメータとともに、処理データツリー記憶部８に記録する。その間、図７に示すチェックポイントのウィンドウを表示する。

次に、「データマイニング」のボタンを選択した場合を想定する。データマイニング処理部５によるデータマイニング処理（Ｓ２０８）では、図８に示すデータマイニング画面を表示する。

取得したイベントが、パラメータ（分析ツールの選択）に係るものの場合には、その選択を記憶し、「実行」を押下されると以下のように動作する。
（１）処理データツリーを入力し、直前に実行したデータ変換処理、前処理またはデータ選択処理のいずれかを特定する。そして、その処理のチェックポイントＩＤにつながる新たなチェックポイントＩＤを採番する。前にデータ変換処理、前処理またはデータ選択処理のいずれも行っていない場合には、エラーとする。
（２）直前に実行した処理結果（抽出済みデータ記憶部１１、前処理済みデータ記憶部１２あるいはデータ変換済みデータ記憶部１３のファイル）を入力し、選択されている分析ツールを起動する。
（３）既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントＩＤを追加して、入力パラメータ（分析ツール名）とともに、処理データツリー記憶部８に記録する。

次に、この分析の結果、収集データから新たなデータ項目を算出して分析し直す必要があると判断した場合を想定する。その為、次に「データ選択」のボタンを選択したと想定する。

図９に示すデータ選択画面で、再度データの抽出を行う。この例では、抽出したデータはサンプリング間隔が同じものとし、前処理（データ補間等）はスキップする。

次に、「データ変換」のボタンを選択した場合を想定する。データ変換処理部４によるデータ変換処理（Ｓ２０６）では、まず図１０に示すデータ変換画面を表示する。抽出したデータから新たなデータ項目（馬力、トルクなど）を追加する。

取得したイベントが、パラメータに係るものの場合には、そのパラメータを記憶し、「追加」を押下されると以下のように動作する。
（１）処理データツリーを入力し、直前に実行した前処理またはデータ選択処理のいずれかを特定する。そして、その処理のチェックポイントＩＤにつながる新たなチェックポイントＩＤを採番する。前に前処理またはデータ選択処理のいずれも行っていない場合には、エラーとする。
（２）直前に実行した処理結果（抽出済みデータ記憶部１１あるいは前処理済みデータ記憶部１２のファイル）を入力し、処理を実行する。
（３）処理結果をデータ変換済みデータ記憶部１３へ保存する。ファイル名には、識別する為にユーザ名とチェックポイントＩＤを入れる。
（４）既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントＩＤを追加して、入力パラメータ（データ項目名など）とともに、処理データツリー記憶部８に記録する。

そして、「データマイニング」のボタンを選択した場合を想定する。図１１に示すデータマイニング画面で、データ変換済みデータ記憶部１３に記憶している前述の変換を行ったデータを使用してデータ分析を行う。

次に、「リスタート」のボタンを選択した場合を想定する。リスタート処理部７によるリスタート処理（Ｓ２１２）では、図１２に示すリスタート画面を表示する。リスタートでは、先に保存した状態に戻し、別の観点での分析を可能とする。
（１）処理データツリー記憶部８から処理データツリーを取得して表示する。
（２）取得したイベントがチェックポイントの選択の場合には、選択されたチェックポイントＩＤに対応付けて記憶しているパラメータを、処理データツリー記憶部８から取得する。
（３）パラメータを設定し（Ｓ２１３）、リスタートする処理のフェーズをステータスとして、データマイニング制御部１に当該処理の起動を指示する。

データマイニング制御部１は、リスタート処理で設定されたパラメータを用いて、指定された処理を起動する。

ここでは、「Ｄ２１１」を選択した場合を想定する。図１３は、Ｄ２１１クリック後の画面を示す図である。このように、再スタートが可能となる。

全体の処理を終了する場合には、処理データツリーを検索し、システムが作成したチェクポイントがあれば、当該チェックポイントで作成したファイルと当該チェックポイントの記録を削除する。

上述のデータマイニングシステムは、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。

図１４は、データマイニングシステムのハードウエア構成を示す図である。バスに、演算装置１４０１、データ記憶装置１４０２、メモリ１４０３が接続されている。データ記憶装置１４０２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスクである。メモリ１４０３は、通常ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

プログラムは、通常データ記憶装置１４０２に記憶されており、メモリ１４０３にロードされた状態で、順次演算装置１４０１に読み込まれ、処理を行う。

データマイニングシステムの構成を示す図である。 全体処理フローを示す図である。 処理データツリーの例を示す図である。 メインメニュー画面を示す図である。 データ選択画面を示す図である。 前処理画面を示す図である。 チェックポイントのウィンドウを示す図である。 データマイニング画面を示す図である。 データ選択画面を示す図である。 データ変換画面を示す図である。 データマイニング画面を示す図である。 リスタート画面を示す図である。 Ｄ２１１クリック後の画面を示す図である。 データマイニングシステムのハードウエア構成を示す図である。 データマイニング操作の手順を示す図である。

符号の説明

１ データマイニング制御部、２ データ選択処理部、３ 前処理部、４ データ変換処理部、５ データマイニング処理部、６ チェックポイント処理部、７ リスタート処理部、８ 処理データツリー記憶部、９ 実行フェーズ記憶部、１０ 時系列データ記憶部、１１ 抽出済みデータ記憶部、１２ 前処理済みデータ記憶部、１３ データ変換済みデータ記憶部。

Claims (3)

1. データマイニングシステムにおいて、
   （１）時系列データ群を記憶する時系列データ記憶部と、
   （２）時系列データ記憶部から時系列データを抽出するデータ選択処理部と、
   （３）抽出した時系列データに対して前処理する前処理部と、
   （４）抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理部と、
   （５）抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理部と、
   （６）データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズについての遷移をチェックポイントの木構造で関連付けた処理データツリーとして記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理データツリー記憶部と、
   （７）操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御部を有し、
   前記データ選択処理部、前記前処理部、前記データ変換処理部、及び前記データマイニング処理部は、自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに自動的なチェックポイントを追加し、
   データマイニングシステムは、更に、
   （８）操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに操作者指示のチェックポイントを追加するチェックポイント処理部と、
   （９）前記操作者指示のチェックポイントと前記自動的なチェックポイントを区別した処理データツリーを表示し、チェックポイントの選択による再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御部に指示するリスタート処理部を有し、
   前記データマイニング制御部は、全体の処理を終了する場合に、処理データツリーを検索し、前記自動的なチェックポイントがあれば、当該チェックポイントを削除することを特徴とするデータマイニングシステム。
2. 時系列データ群を記憶する時系列データ記憶部と、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズについての遷移をチェックポイントの木構造で関連付けた処理データツリーとして記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理データツリー記憶部を有するデータマイニングシステムとなるコンピュータに、以下の手順を実行させるためのプログラム
   （１）時系列データ記憶部から時系列データを抽出するデータ選択処理手順
   （２）抽出した時系列データに対して前処理する前処理手順
   （３）抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理手順
   （４）抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理手順
   （５）操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御手順
   （６）前記データ選択処理手順、前記前処理手順、前記データ変換処理手順、及び前記データマイニング処理手順の自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに自動的なチェックポイントを追加する処理手順
   （７）操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに操作者指示のチェックポイントを追加するチェックポイント処理手順
   （８）前記操作者指示のチェックポイントと前記自動的なチェックポイントを区別した処理データツリーを表示し、チェックポイントの選択による再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御手順に指示するリスタート処理手順
   （９）全体の処理を終了する場合に、処理データツリーを検索し、前記自動的なチェックポイントがあれば、当該チェックポイントを削除する処理手順。
3. 時系列データ群を記憶する時系列データ記憶部と、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズについての遷移をチェックポイントの木構造で関連付けた処理データツリーとして記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理データツリー記憶部を有するデータマイニングシステムによるデータマイニング支援方法であって、以下の要素を有することを特徴とするデータマイニング支援方法
   （１）データマイニングシステムのデータ選択処理部が、時系列データ記憶部から時系列データを抽出するデータ選択処理工程
   （２）データマイニングシステムの前処理部が、抽出した時系列データに対して前処理する前処理工程
   （３）データマイニングシステムのデータ変換処理部が、抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理工程
   （４）データマイニングシステムのデータマイニング処理部が、抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理工程
   （５）データマイニングシステムのデータマイニング制御部が、操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御工程
   （６）データマイニングシステムのデータ選択処理部、前処理部、データ変換処理部、及びデータマイニング処理部が、前記データ選択処理工程、前記前処理工程、前記データ変換処理工程、及び前記データマイニング処理工程の自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに自動的なチェックポイントを追加する処理工程
   （７）データマイニングシステムのチェックポイント処理部が、操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに操作者指示のチェックポイントを追加するチェックポイント処理工程
   （８）データマイニングシステムのリスタート処理部が、前記操作者指示のチェックポイントと前記自動的なチェックポイントを区別した処理データツリーを表示し、チェックポイントの選択による再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御工程に指示するリスタート処理工程
   （９）データマイニングシステムのデータマイニング制御部が、全体の処理を終了する場合に、処理データツリーを検索し、前記自動的なチェックポイントがあれば、当該チェックポイントを削除する処理工程。
   
   
   

Images