JP4180540B2 - Data mining system - Google Patents
Data mining system Download PDFInfo
- Publication number
- JP4180540B2 JP4180540B2 JP2004093971A JP2004093971A JP4180540B2 JP 4180540 B2 JP4180540 B2 JP 4180540B2 JP 2004093971 A JP2004093971 A JP 2004093971A JP 2004093971 A JP2004093971 A JP 2004093971A JP 4180540 B2 JP4180540 B2 JP 4180540B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- tree
- data mining
- checkpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007418 data mining Methods 0.000 title claims description 93
- 238000012545 processing Methods 0.000 claims description 182
- 238000000034 method Methods 0.000 claims description 77
- 238000007781 pre-processing Methods 0.000 claims description 40
- 238000013500 data storage Methods 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 230000007704 transition Effects 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、時系列データに対するデータマイニングを支援するデータマイニングシステムに係り、データ抽出、前処理、データ変換処理の各フェーズの遷移と使用パラメータを管理し、自在に過去のフェーズからの処理を再開できるようにするシステムに関する。 The present invention relates to a data mining system that supports data mining for time-series data, manages transitions and parameters used in each phase of data extraction, preprocessing, and data conversion processing, and freely resumes processing from past phases. It relates to a system that can do this.
図15は、データマイニング操作の手順を示す図である。時系列データを収集し(S1501)、その中から処理対象のデータ群を抽出し(S1502)、前処理によりクリーンなデータに変換し(S1503)、データ変換によりデータを加工し(S1504)、データマイニングを行う(S1505)。 FIG. 15 is a diagram illustrating a procedure of a data mining operation. Time-series data is collected (S1501), a data group to be processed is extracted from the time series (S1502), converted into clean data by preprocessing (S1503), processed by data conversion (S1504), and data Mining is performed (S1505).
しかし、データマイニングで理想的な結果を得るには、試行錯誤により各フェーズをやり直すことになる。 However, in order to obtain an ideal result by data mining, each phase is redone by trial and error.
現状のデータマイニングツールは、過去に実行したフェーズへ戻って、その状態から処理を再開することができない。 The current data mining tool cannot return to a previously executed phase and resume processing from that state.
特開平11−003360は、データマイニング処理中における停止であって、データマイニングの事前の処理に係る制御ではない。
本発明は、上記した従来技術の欠点を除くためになされたものであって、その目的とするところは、時系列データに対するデータマイニングを支援するデータマイニングシステムに係り、データ抽出、前処理、データ変換処理の各フェーズの遷移と使用パラメータを管理し、自在に過去のフェーズからの処理を再開できるようにすることである。 The present invention has been made in order to eliminate the above-described drawbacks of the prior art, and the object thereof is related to a data mining system that supports data mining for time-series data. Data extraction, preprocessing, data It is to manage the transition and use parameters of each phase of the conversion process so that the process from the past phase can be freely resumed.
本発明に係るデータマイニングシステムは、
以下の要素を有することを特徴とする
(1)時系列データ群を記憶する時系列データ記憶部
(2)時系列データ記憶部から時系列データを抽出するデータ選択処理部
(3)抽出した時系列データに対して前処理する前処理部
(4)抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理部
(5)抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理部
(6)データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズについての遷移を木構造で関連付けて記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理データツリー記憶部
(7)操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御部
(8)再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御部に指示するリスタート処理部。
The data mining system according to the present invention is:
(1) Time series data storage unit for storing time series data group (2) Data selection processing unit for extracting time series data from time series data storage unit (3) Extracted time Pre-processing unit for pre-processing series data (4) Extracted time-series data, or data conversion processing unit for converting pre-processed time-series data (5) Extracted time-series data, pre-processed time-series data Alternatively, a data mining processing unit (6) for performing data mining processing on the time-series data subjected to conversion processing (6) storing transitions associated with each phase of data selection processing, preprocessing, data conversion processing, and data mining processing in a tree structure, Further, a processing data tree storage unit (7) for storing the parameters used in the phase in association with each other, in accordance with an instruction from the operator, Data mining control unit that controls transition of each phase of processing, data conversion processing, and data mining processing (8) The operator is prompted to specify the phase to be resumed, the parameters used in the specified phase are read, and the read parameters And a restart processing unit that instructs the data mining control unit to start the specified phase.
データマイニングシステムは、更に
操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させるチェックポイント処理部を有することを特徴とする。
The data mining system further includes a checkpoint processing unit that stores the transition and the parameter in association with each other in the processing data tree storage unit for the processing immediately before the instruction when an instruction from the operator is given. And
データ選択処理部、前処理部、データ変換処理部、及びデータマイニング処理部は、自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させることを特徴とする。 The data selection processing unit, the preprocessing unit, the data conversion processing unit, and the data mining processing unit store the transition and the parameter in association with each other in the processing data tree storage unit.
本発明に係るプログラムは、
時系列データ群を記憶する時系列データ記憶部を有するデータマイニングシステムとなるコンピュータに、以下の手順を実行させるためのプログラムであることを特徴とする
(1)操作者の指示に応じて、時系列データ記憶部から時系列データを抽出する処理手順
(2)操作者の指示に応じて、抽出した時系列データに対してする前処理手順
(3)操作者の指示に応じて、抽出した時系列データ、あるいは前処理した時系列データを変換する処理手順
(4)操作者の指示に応じて、抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニングする処理手順
(5)操作者の指示があった場合に、当該指示の直前の処理について、データ選択の処理、前処理、データ変換の処理、及びデータマイニングの処理の各フェーズについての遷移を木構造で関連付けて記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理手順
(6)再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの処理の起動を指示する処理手順。
The program according to the present invention is:
It is a program for causing a computer to be a data mining system having a time series data storage unit for storing a time series data group to execute the following procedure. (1) According to an instruction from an operator, Processing procedure for extracting time-series data from the series-data storage unit (2) Pre-processing procedure for extracting time-series data in accordance with an instruction from the operator (3) When extracting in accordance with an instruction from the operator Processing procedure for converting series data or pre-processed time series data (4) Data mining of extracted time-series data, pre-processed time series data, or converted time-series data in accordance with an instruction from the operator Processing Procedure (5) When there is an instruction from the operator, the data selection processing, preprocessing, data conversion processing, and data mining are performed for the processing immediately before the instruction. The transition for each phase of the process is stored in association with a tree structure, and the parameters used in that phase are also stored in association with each other. (6) The operator is prompted to specify the phase to be restarted, and the specified phase A processing procedure for reading out the parameters used in the above, setting the read parameters, and instructing the start of processing in the specified phase.
本発明に係るデータマイニング支援方法は、
時系列データ群を記憶する時系列データ記憶部を有するデータマイニングシステムによるデータマイニング支援方法であって、以下の要素を有することを特徴とする
(1)操作者の指示に応じて、時系列データ記憶部から時系列データを抽出する処理工程
(2)操作者の指示に応じて、抽出した時系列データに対してする前処理工程
(3)操作者の指示に応じて、抽出した時系列データ、あるいは前処理した時系列データを変換する処理工程
(4)操作者の指示に応じて、抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニングする処理工程
(5)操作者の指示があった場合に、当該指示の直前の処理について、データ選択の処理、前処理、データ変換の処理、及びデータマイニングの処理の各フェーズについての遷移を木構造で関連付けて記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理工程
(6)再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの処理の起動を指示する処理工程。
The data mining support method according to the present invention includes:
A data mining support method by a data mining system having a time-series data storage unit for storing a time-series data group, and having the following elements: (1) Time-series data according to an operator's instruction Processing step for extracting time-series data from the storage unit (2) Pre-processing step for extracting time-series data in accordance with an instruction from the operator (3) Extracting time-series data in accordance with an instruction from the operator (4) Processing step for data mining extracted time-series data, pre-processed time-series data, or converted time-series data in accordance with an instruction from the operator (5) When there is an instruction from the operator, data selection processing, preprocessing, data conversion processing, and data mining processing are performed immediately before the instruction. The transition for each phase is stored in association with a tree structure, and the parameters used in that phase are also stored in association with each other. (6) The operator is prompted to specify the phase to be resumed and used in the specified phase. A processing step of reading parameters, setting the read parameters, and instructing start of processing of a specified phase.
本発明においては、操作者の指示により、あるいは自動的に、直前の処理に係るフェーズの遷移を木構造で関連付けて記憶し、当該フェーズで使用したパラメータも対応付けて記憶し、後に再開するフェーズを指示された場合に、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズを起動するので、自在に過去のフェーズから処理を再開することができる。 In the present invention, in accordance with an operator's instruction or automatically, a phase transition related to the immediately preceding process is stored in association with a tree structure, parameters used in the phase are also stored in association with each other, and a phase to be restarted later Is read, the parameters used in the designated phase are read, the read parameters are set, and the designated phase is activated, so that the processing can be freely restarted from the past phase.
実施の形態1.
以下本発明を図面に示す実施例に基づいて説明する。図1は、データマイニングシステムの構成を示す図である。データマイニング制御部1、データ選択処理部2、前処理部3、データ変換処理部4、データマイニング処理部5、チェックポイント処理部6、リスタート処理部7、処理データツリー記憶部8、実行フェーズ記憶部9、時系列データ記憶部10、抽出済みデータ記憶部11、前処理済みデータ記憶部12、及びデータ変換済みデータ記憶部13を有している。
Embodiment 1 FIG.
Hereinafter, the present invention will be described based on embodiments shown in the drawings. FIG. 1 is a diagram illustrating a configuration of a data mining system. Data mining control unit 1, data
図2は、全体処理フローを示す図である。全体処理は、データマイニング制御部1が制御している。データ選択処理部2によるデータ選択処理(S202)、前処理部3による前処理(S204)、データ変換処理部4によるデータ変換処理(S206)、データマイニング処理部5によるデータマイニング処理(S208)、チェックポイント処理部6によるチェックポイント処理(S210)、及びリスタート処理部7によるリスタート処理(S212)は、後述するようにそれぞれの画面を表示し、画面上での操作によるイベントを取得して、そのイベントに応じた処理を行うように構成されている。特に、取得したイベントが処理選択ボタンである場合には、その処理選択ボタンの種類をステータスとして返すように構成されている。そして、そのステータスにより次の処理へ分岐するように、データマイニング制御部1は制御している。
FIG. 2 is a diagram showing an overall processing flow. The entire process is controlled by the data mining control unit 1. Data selection processing by the data selection processing unit 2 (S202), preprocessing by the preprocessing unit 3 (S204), data conversion processing by the data conversion processing unit 4 (S206), data mining processing by the data mining processing unit 5 (S208), The checkpoint processing (S210) by the checkpoint processing unit 6 and the restart processing (S212) by the
処理データツリー記憶部8、実行フェーズ記憶部9、時系列データ記憶部10、抽出済みデータ記憶部11、前処理済みデータ記憶部12、及びデータ変換済みデータ記憶部13は、各処理モジュール間のデータの受け渡しや状態の記憶のために用いられる。特に、処理データツリーは、操作の流れや履歴を管理するデータとして全体にかかわる。
The processing data tree storage unit 8, the execution
図3は、処理データツリーの例を示す図である。 FIG. 3 is a diagram illustrating an example of a processing data tree.
ユーザ名以外の表示(DxxxやSxxx)は、チェックポイント名を表示する。Dxxxはユーザが明示的にチェックポイント処理を指定したものを表し、破線で示したSxxxは、システムが自動的にチェックポイントを採取したことを示す。システムが作成したチェックポイントは当該システム終了時に自動的に削除される。図中のD211とD231の間の前処理フェーズにチェックポイント名が表示されていないのは、以前の実行でシステムが自動的にチェックポイントを作成し、削除されたことを示す。したがって、チェックポイント名が表示されていない処理のリスタートはできない。このツリーはチェックポイント処理実行時に新たにエントリを作成する。リスタート処理はこのツリーの該当フェーズの該当データのボックスを左クリックすることにより実行される。各エントリの詳細情報(処理結果データ名、処理実行時パラメータ、処理実行時のコメント、処理実行後のコメント(解釈・評価))の表示や当該エントリの削除処理が可能である。当該ツリーから現在の処理フェーズが分かる(図では太線で表示)。 Display other than the user name (Dxxx or Sxxx) displays the checkpoint name. Dxxx indicates that the user has explicitly designated checkpoint processing, and Sxxx indicated by a broken line indicates that the system has automatically taken a checkpoint. Checkpoints created by the system are automatically deleted when the system is terminated. The fact that the checkpoint name is not displayed in the preprocessing phase between D211 and D231 in the figure indicates that the system automatically created and deleted the checkpoint in the previous execution. Therefore, it is not possible to restart a process in which the checkpoint name is not displayed. This tree creates a new entry when the checkpoint process is executed. The restart process is executed by left-clicking the corresponding data box in the corresponding phase of this tree. It is possible to display detailed information (processing result data name, process execution parameter, process execution comment, process execution comment (interpretation / evaluation)) of each entry and to delete the entry. The current processing phase can be seen from the tree (shown in bold in the figure).
次に、一連の操作を想定して、各処理モジュールの動作について説明する。 Next, the operation of each processing module will be described assuming a series of operations.
この例では、車輌で測定した時系列データを収集して分析する。車輌から時系列データとして収集可能なデータは数百種類あり、その代表的なデータには、車速、エンジン回転数、ギア位置、車間距離、ハンドル角度などがある。 In this example, time series data measured by a vehicle is collected and analyzed. There are hundreds of types of data that can be collected as time-series data from the vehicle, and representative data includes vehicle speed, engine speed, gear position, inter-vehicle distance, steering wheel angle, and the like.
これらのデータは時系列データとして所定のサンプリング間隔で収集されるものとし、このサンプリング間隔は、任意に指定可能である。 These data are collected as time-series data at a predetermined sampling interval, and this sampling interval can be arbitrarily specified.
車輌からの時系列データとして収集した各種センシングデータを分析するストーリを、図4から図13に示す。なお、車輌から収集されたデータは、時系列データ記憶部10に予め格納されているものとする。
A story for analyzing various sensing data collected as time series data from a vehicle is shown in FIGS. The data collected from the vehicle is assumed to be stored in advance in the time series
初期状態では、図4に示すメインメニュー画面が表示されている。上部のバーには、処理選択ボタン群が表示されている。このボタンを押下すると、そのボタンの種類がステータスとなり、図2のフローに従って、所定の処理モジュールが起動される。 In the initial state, the main menu screen shown in FIG. 4 is displayed. A processing selection button group is displayed on the upper bar. When this button is pressed, the type of the button becomes status, and a predetermined processing module is activated according to the flow of FIG.
ここでは、「データ選択」のボタンを選択した場合を想定する。データ選択処理部2によるデータ選択処理(S202)では、まず図5に示すデータ選択画面を表示する。この画面で、収集されたデータの中から今回の分析用にデータを抽出する。その為に、データ抽出パラメータとして、車輌、データ収集期間、時間帯などを指定する。
Here, it is assumed that the “data selection” button is selected. In the data selection process (S202) by the data
具体的な処理について説明する。取得したイベントが、パラメータに係るものの場合には、そのパラメータを記憶し、「実行」を押下されると以下のように動作する。
(1)処理データツリー記憶部8から処理データツリーを入力し、新たなチェックポイントIDを採番する。
(2)記憶しているパラメータに基づいて、時系列データ記憶部10からデータを抽出する。
(3)抽出データを抽出済みデータ記憶部11へ保存する。
(4)ファイル名には、識別の為にユーザ名とチェックポイントIDを入れる。
(5)既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントIDを追加して、入力パラメータとともに、処理データツリー記憶部8に記録する。
Specific processing will be described. When the acquired event relates to a parameter, the parameter is stored, and when “execute” is pressed, the following operation is performed.
(1) A processing data tree is input from the processing data tree storage unit 8, and a new checkpoint ID is assigned.
(2) Data is extracted from the time-series
(3) The extracted data is stored in the extracted
(4) The user name and checkpoint ID are entered in the file name for identification.
(5) The system automatically creates a checkpoint at this point unless it has already been checkpointed. The checkpoint ID assigned to the processing data tree is added and recorded in the processing data tree storage unit 8 together with the input parameters.
次に、「前処理」のボタンを選択した場合を想定する。前処理部3による前処理(S204)では、図6に示す前処理画面を表示する。この処理では、データ補間を行う。例えば、抽出したデータのサンプリング間隔が異なっている場合には、サンプリング間隔を合わせる補間を行う。また、ノイズや異常値の除去なども行う。 Next, it is assumed that the “preprocess” button is selected. In the preprocessing (S204) by the preprocessing unit 3, the preprocessing screen shown in FIG. 6 is displayed. In this process, data interpolation is performed. For example, when the sampling intervals of the extracted data are different, interpolation is performed to match the sampling intervals. It also removes noise and abnormal values.
具体的な処理について説明する。取得したイベントが、パラメータに係るものの場合には、そのパラメータを記憶し、「実行」を押下されると以下のように動作する。
(1)処理データツリーを入力し、直前に実行したデータ選択のチェックポイントIDにつながる新たなチェックポイントIDを採番する。仮に、データ選択のチェックポイントIDがない場合は、エラーとする。データを選択していない場合には、前処理はできないからである。
(2)データ選択のチェックポイントIDに対応する抽出済みデータ記憶部11のデータに対して、記憶しているパラメータに従って補間処理を実行する。
(3)処理結果を前処理済みデータ記憶部12に保存する。ファイル名には、識別の為にユーザ名とチェックポイントIDを入れる。
(4)既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントIDを追加して、入力パラメータとともに、処理データツリー記憶部8に記録する。
Specific processing will be described. When the acquired event relates to a parameter, the parameter is stored, and when “execute” is pressed, the following operation is performed.
(1) A processing data tree is input, and a new checkpoint ID connected to the checkpoint ID of the data selection executed immediately before is assigned. If there is no checkpoint ID for data selection, an error is assumed. This is because pre-processing cannot be performed when no data is selected.
(2) Interpolation processing is executed on the data in the extracted
(3) Save the processing result in the preprocessed
(4) The system automatically creates a checkpoint at this point unless it has already been checkpointed. The checkpoint ID assigned to the processing data tree is added and recorded in the processing data tree storage unit 8 together with the input parameters.
続いて、「チェックポイント」のボタンを選択した場合を想定する。チェックポイント処理部6によるチェックポイント処理(S210)では、直前の処理結果を保存する。その為に、処理データツリーに採番したチェックポイントIDを追加して、入力パラメータとともに、処理データツリー記憶部8に記録する。その間、図7に示すチェックポイントのウィンドウを表示する。 Next, assume that the “checkpoint” button is selected. In the checkpoint processing (S210) by the checkpoint processing unit 6, the previous processing result is saved. For this purpose, a checkpoint ID assigned to the processing data tree is added and recorded in the processing data tree storage unit 8 together with the input parameters. Meanwhile, a checkpoint window shown in FIG. 7 is displayed.
次に、「データマイニング」のボタンを選択した場合を想定する。データマイニング処理部5によるデータマイニング処理(S208)では、図8に示すデータマイニング画面を表示する。
Next, it is assumed that the “data mining” button is selected. In the data mining process (S208) by the data
取得したイベントが、パラメータ(分析ツールの選択)に係るものの場合には、その選択を記憶し、「実行」を押下されると以下のように動作する。
(1)処理データツリーを入力し、直前に実行したデータ変換処理、前処理またはデータ選択処理のいずれかを特定する。そして、その処理のチェックポイントIDにつながる新たなチェックポイントIDを採番する。前にデータ変換処理、前処理またはデータ選択処理のいずれも行っていない場合には、エラーとする。
(2)直前に実行した処理結果(抽出済みデータ記憶部11、前処理済みデータ記憶部12あるいはデータ変換済みデータ記憶部13のファイル)を入力し、選択されている分析ツールを起動する。
(3)既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントIDを追加して、入力パラメータ(分析ツール名)とともに、処理データツリー記憶部8に記録する。
If the acquired event relates to a parameter (selection of analysis tool), the selection is stored, and when “execute” is pressed, the following operation is performed.
(1) A processing data tree is input, and any of data conversion processing, preprocessing, or data selection processing executed immediately before is specified. Then, a new checkpoint ID connected to the checkpoint ID of the process is assigned. If no data conversion processing, preprocessing, or data selection processing has been performed previously, an error is assumed.
(2) The processing result (the file of the extracted
(3) The system automatically creates a checkpoint at this point unless it has already been checkpointed. The checkpoint ID assigned to the processing data tree is added and recorded in the processing data tree storage unit 8 together with the input parameter (analysis tool name).
次に、この分析の結果、収集データから新たなデータ項目を算出して分析し直す必要があると判断した場合を想定する。その為、次に「データ選択」のボタンを選択したと想定する。 Next, it is assumed that, as a result of this analysis, it is determined that a new data item needs to be calculated from the collected data and analyzed again. Therefore, it is assumed that the “data selection” button is selected next.
図9に示すデータ選択画面で、再度データの抽出を行う。この例では、抽出したデータはサンプリング間隔が同じものとし、前処理(データ補間等)はスキップする。 Data is extracted again on the data selection screen shown in FIG. In this example, the extracted data has the same sampling interval, and preprocessing (data interpolation, etc.) is skipped.
次に、「データ変換」のボタンを選択した場合を想定する。データ変換処理部4によるデータ変換処理(S206)では、まず図10に示すデータ変換画面を表示する。抽出したデータから新たなデータ項目(馬力、トルクなど)を追加する。 Next, it is assumed that the “data conversion” button is selected. In the data conversion process (S206) by the data conversion processing unit 4, first, the data conversion screen shown in FIG. 10 is displayed. New data items (horsepower, torque, etc.) are added from the extracted data.
取得したイベントが、パラメータに係るものの場合には、そのパラメータを記憶し、「追加」を押下されると以下のように動作する。
(1)処理データツリーを入力し、直前に実行した前処理またはデータ選択処理のいずれかを特定する。そして、その処理のチェックポイントIDにつながる新たなチェックポイントIDを採番する。前に前処理またはデータ選択処理のいずれも行っていない場合には、エラーとする。
(2)直前に実行した処理結果(抽出済みデータ記憶部11あるいは前処理済みデータ記憶部12のファイル)を入力し、処理を実行する。
(3)処理結果をデータ変換済みデータ記憶部13へ保存する。ファイル名には、識別する為にユーザ名とチェックポイントIDを入れる。
(4)既にチェックポイント済みでない限り、この時点でシステムが自動的にチェックポイントを作成する。処理データツリーに採番したチェックポイントIDを追加して、入力パラメータ(データ項目名など)とともに、処理データツリー記憶部8に記録する。
If the acquired event relates to a parameter, the parameter is stored, and when “Add” is pressed, the following operation is performed.
(1) A processing data tree is input, and either the preprocessing executed immediately before or the data selection processing is specified. Then, a new checkpoint ID connected to the checkpoint ID of the process is assigned. If neither preprocessing nor data selection processing has been performed previously, an error is assumed.
(2) The processing result executed immediately before (the file in the extracted
(3) Save the processing result in the data converted
(4) The system automatically creates a checkpoint at this point unless it has already been checkpointed. The checkpoint ID numbered in the processing data tree is added and recorded in the processing data tree storage unit 8 together with the input parameters (data item name, etc.).
そして、「データマイニング」のボタンを選択した場合を想定する。図11に示すデータマイニング画面で、データ変換済みデータ記憶部13に記憶している前述の変換を行ったデータを使用してデータ分析を行う。
Assume that the “data mining” button is selected. On the data mining screen shown in FIG. 11, data analysis is performed using the data subjected to the above-described conversion stored in the data converted
次に、「リスタート」のボタンを選択した場合を想定する。リスタート処理部7によるリスタート処理(S212)では、図12に示すリスタート画面を表示する。リスタートでは、先に保存した状態に戻し、別の観点での分析を可能とする。
(1)処理データツリー記憶部8から処理データツリーを取得して表示する。
(2)取得したイベントがチェックポイントの選択の場合には、選択されたチェックポイントIDに対応付けて記憶しているパラメータを、処理データツリー記憶部8から取得する。
(3)パラメータを設定し(S213)、リスタートする処理のフェーズをステータスとして、データマイニング制御部1に当該処理の起動を指示する。
Next, it is assumed that the “restart” button is selected. In the restart process (S212) by the
(1) A processing data tree is acquired from the processing data tree storage unit 8 and displayed.
(2) When the acquired event is a checkpoint selection, the parameter stored in association with the selected checkpoint ID is acquired from the processing data tree storage unit 8.
(3) A parameter is set (S213), the phase of the process to be restarted is set as a status, and the data mining control unit 1 is instructed to start the process.
データマイニング制御部1は、リスタート処理で設定されたパラメータを用いて、指定された処理を起動する。 The data mining control unit 1 starts the designated process using the parameters set in the restart process.
ここでは、「D211」を選択した場合を想定する。図13は、D211クリック後の画面を示す図である。このように、再スタートが可能となる。 Here, it is assumed that “D211” is selected. FIG. 13 is a diagram showing a screen after D211 is clicked. In this way, restart is possible.
全体の処理を終了する場合には、処理データツリーを検索し、システムが作成したチェクポイントがあれば、当該チェックポイントで作成したファイルと当該チェックポイントの記録を削除する。 When the entire process is terminated, the process data tree is searched, and if there is a checkpoint created by the system, the file created at the checkpoint and the record of the checkpoint are deleted.
上述のデータマイニングシステムは、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。 The data mining system described above is a computer, and each element can execute processing by a program. Further, the program can be stored in a storage medium so that the computer can read the program from the storage medium.
図14は、データマイニングシステムのハードウエア構成を示す図である。バスに、演算装置1401、データ記憶装置1402、メモリ1403が接続されている。データ記憶装置1402は、例えばROM(Read Only Memory)やハードディスクである。メモリ1403は、通常RAM(Random Access Memory)である。
FIG. 14 is a diagram illustrating a hardware configuration of the data mining system. An
プログラムは、通常データ記憶装置1402に記憶されており、メモリ1403にロードされた状態で、順次演算装置1401に読み込まれ、処理を行う。
The program is normally stored in the
1 データマイニング制御部、2 データ選択処理部、3 前処理部、4 データ変換処理部、5 データマイニング処理部、6 チェックポイント処理部、7 リスタート処理部、8 処理データツリー記憶部、9 実行フェーズ記憶部、10 時系列データ記憶部、11 抽出済みデータ記憶部、12 前処理済みデータ記憶部、13 データ変換済みデータ記憶部。 1 data mining control unit, 2 data selection processing unit, 3 preprocessing unit, 4 data conversion processing unit, 5 data mining processing unit, 6 checkpoint processing unit, 7 restart processing unit, 8 processing data tree storage unit, 9 execution Phase storage unit, 10 time-series data storage unit, 11 extracted data storage unit, 12 preprocessed data storage unit, 13 data converted data storage unit.
Claims (3)
(1)時系列データ群を記憶する時系列データ記憶部と、
(2)時系列データ記憶部から時系列データを抽出するデータ選択処理部と、
(3)抽出した時系列データに対して前処理する前処理部と、
(4)抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理部と、
(5)抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理部と、
(6)データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズについての遷移をチェックポイントの木構造で関連付けた処理データツリーとして記憶し、更に当該フェーズで使用したパラメータも対応付けて記憶する処理データツリー記憶部と、
(7)操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御部を有し、
前記データ選択処理部、前記前処理部、前記データ変換処理部、及び前記データマイニング処理部は、自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに自動的なチェックポイントを追加し、
データマイニングシステムは、更に、
(8)操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに操作者指示のチェックポイントを追加するチェックポイント処理部と、
(9)前記操作者指示のチェックポイントと前記自動的なチェックポイントを区別した処理データツリーを表示し、チェックポイントの選択による再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御部に指示するリスタート処理部を有し、
前記データマイニング制御部は、全体の処理を終了する場合に、処理データツリーを検索し、前記自動的なチェックポイントがあれば、当該チェックポイントを削除することを特徴とするデータマイニングシステム。 In the data mining system,
(1) a time series data storage unit for storing time series data groups ;
(2) a data selection processing unit for extracting time series data from the time series data storage unit ;
(3) a preprocessing unit for preprocessing the extracted time-series data ;
(4) a data conversion processing unit that converts the extracted time-series data or pre-processed time-series data ;
(5) a data mining processing unit that performs data mining processing on the extracted time-series data, pre-processed time-series data, or converted time-series data ;
(6) Transitions for each phase of data selection processing, preprocessing, data conversion processing, and data mining processing are stored as a processing data tree associated with a checkpoint tree structure, and parameters used in the phase are also associated A processing data tree storage unit for storing
(7) A data mining control unit that controls transition of each phase of the data selection process, the pre-process, the data conversion process, and the data mining process in accordance with an instruction from the operator ,
The data selection processing unit, the preprocessing unit, the data conversion processing unit, and the data mining processing unit store the processing data tree storage unit in association with the transition and the parameter for their processing, and process data Add automatic checkpoints to the tree,
The data mining system
(8) When there is an instruction from the operator, the process immediately before the instruction is stored in the processing data tree storage unit in association with the transition and the parameter, and the check point of the operator instruction is stored in the processing data tree. A checkpoint processor to add,
( 9 ) A processing data tree that distinguishes between the checkpoints specified by the operator and the automatic checkpoints is displayed , prompts the operator to specify the phase to resume by selecting the checkpoint , and used in the specified phase It has a restart processing unit that reads parameters, sets the read parameters, and instructs the data mining control unit to start the specified phase ,
The data mining control unit searches the processing data tree when the entire process is finished, and deletes the checkpoint if there is the automatic checkpoint .
(1)時系列データ記憶部から時系列データを抽出するデータ選択処理手順(1) Data selection processing procedure for extracting time series data from the time series data storage unit
(2)抽出した時系列データに対して前処理する前処理手順(2) Preprocessing procedure for preprocessing the extracted time series data
(3)抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理手順(3) Data conversion processing procedure for converting extracted time-series data or pre-processed time-series data
(4)抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理手順(4) Data mining processing procedure for data mining processing of extracted time series data, preprocessed time series data, or converted time series data
(5)操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御手順(5) Data mining control procedure for controlling transition of each phase of data selection processing, preprocessing, data conversion processing, and data mining processing in accordance with an operator's instruction
(6)前記データ選択処理手順、前記前処理手順、前記データ変換処理手順、及び前記データマイニング処理手順の自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに自動的なチェックポイントを追加する処理手順(6) For the processing of the data selection processing procedure, the preprocessing procedure, the data conversion processing procedure, and the data mining processing procedure, the transition and the parameter are associated with each other and stored in a processing data tree storage unit, Procedure for adding automatic checkpoints to the process data tree
(7)操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに操作者指示のチェックポイントを追加するチェックポイント処理手順(7) When there is an instruction from the operator, the process immediately before the instruction is stored in the processing data tree storage unit in association with the transition and the parameter, and the check point of the operator instruction is stored in the processing data tree. Checkpoint processing procedure to be added
(8)前記操作者指示のチェックポイントと前記自動的なチェックポイントを区別した処理データツリーを表示し、チェックポイントの選択による再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御手順に指示するリスタート処理手順(8) A processing data tree that distinguishes between the checkpoints specified by the operator and the automatic checkpoints is displayed, prompts the operator to specify the phase to resume by selecting the checkpoint, and used in the specified phase Restart processing procedure that reads the parameters, sets the read parameters, and instructs the data mining control procedure to start the specified phase
(9)全体の処理を終了する場合に、処理データツリーを検索し、前記自動的なチェックポイントがあれば、当該チェックポイントを削除する処理手順。(9) A processing procedure for searching a processing data tree and deleting the check point if there is the automatic check point when the entire processing is terminated.
(1)データマイニングシステムのデータ選択処理部が、時系列データ記憶部から時系列データを抽出するデータ選択処理工程(1) Data selection processing step in which the data selection processing unit of the data mining system extracts time-series data from the time-series data storage unit
(2)データマイニングシステムの前処理部が、抽出した時系列データに対して前処理する前処理工程(2) A preprocessing step in which the preprocessing unit of the data mining system preprocesses the extracted time-series data.
(3)データマイニングシステムのデータ変換処理部が、抽出した時系列データ、あるいは前処理した時系列データを変換処理するデータ変換処理工程(3) Data conversion processing step in which the data conversion processing unit of the data mining system converts the extracted time-series data or pre-processed time-series data.
(4)データマイニングシステムのデータマイニング処理部が、抽出した時系列データ、前処理した時系列データ、あるいは変換処理した時系列データをデータマイニング処理するデータマイニング処理工程(4) Data mining processing step in which the data mining processing unit of the data mining system performs data mining processing on the extracted time-series data, pre-processed time-series data, or converted time-series data.
(5)データマイニングシステムのデータマイニング制御部が、操作者の指示に応じて、データ選択処理、前処理、データ変換処理、及びデータマイニング処理の各フェーズの遷移を制御するデータマイニング制御工程(5) A data mining control process in which the data mining control unit of the data mining system controls the transition of each phase of the data selection process, the preprocess, the data conversion process, and the data mining process in accordance with an instruction from the operator.
(6)データマイニングシステムのデータ選択処理部、前処理部、データ変換処理部、及びデータマイニング処理部が、前記データ選択処理工程、前記前処理工程、前記データ変換処理工程、及び前記データマイニング処理工程の自らの処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに自動的なチェックポイントを追加する処理工程(6) The data selection processing unit, the preprocessing unit, the data conversion processing unit, and the data mining processing unit of the data mining system include the data selection processing step, the preprocessing step, the data conversion processing step, and the data mining processing. A process of adding an automatic checkpoint to the process data tree by storing the transition and the parameter in the process data tree storage unit in association with the process of the process itself
(7)データマイニングシステムのチェックポイント処理部が、操作者の指示があった場合に、当該指示の直前の処理について、前記遷移及び前記パラメータを対応付けて処理データツリー記憶部に記憶させ、処理データツリーに操作者指示のチェックポイントを追加するチェックポイント処理工程(7) When the checkpoint processing unit of the data mining system receives an instruction from the operator, the processing immediately before the instruction is associated with the transition and the parameter and stored in the processing data tree storage unit. Checkpoint processing step to add operator-directed checkpoints to the data tree
(8)データマイニングシステムのリスタート処理部が、前記操作者指示のチェックポイントと前記自動的なチェックポイントを区別した処理データツリーを表示し、チェックポイントの選択による再開するフェーズの指定を操作者に促し、指定されたフェーズで使用したパラメータを読み出し、読み出したパラメータを設定して、指定されたフェーズの起動をデータマイニング制御工程に指示するリスタート処理工程(8) The restart processing unit of the data mining system displays a processing data tree in which the checkpoint specified by the operator is distinguished from the automatic checkpoint, and the operator designates the phase to be restarted by selecting the checkpoint. Restart process step that reads the parameters used in the specified phase, sets the read parameters, and instructs the data mining control step to start the specified phase
(9)データマイニングシステムのデータマイニング制御部が、全体の処理を終了する場合に、処理データツリーを検索し、前記自動的なチェックポイントがあれば、当該チェックポイントを削除する処理工程。(9) A processing step of searching the processing data tree when the data mining control unit of the data mining system ends the entire processing, and deleting the checkpoint if there is the automatic checkpoint.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004093971A JP4180540B2 (en) | 2004-03-29 | 2004-03-29 | Data mining system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004093971A JP4180540B2 (en) | 2004-03-29 | 2004-03-29 | Data mining system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005284424A JP2005284424A (en) | 2005-10-13 |
JP4180540B2 true JP4180540B2 (en) | 2008-11-12 |
Family
ID=35182768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004093971A Expired - Fee Related JP4180540B2 (en) | 2004-03-29 | 2004-03-29 | Data mining system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4180540B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108431263B (en) * | 2015-12-17 | 2020-10-23 | 日立金属株式会社 | High-speed tool steel, tool material, and method for producing tool material |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009251874A (en) * | 2008-04-04 | 2009-10-29 | Nec Corp | Apparatus and method for storing time-series data |
JP7131827B2 (en) * | 2019-10-18 | 2022-09-06 | 株式会社MatrixFlow | Data processing method, data processing system, data processing program and data structure |
-
2004
- 2004-03-29 JP JP2004093971A patent/JP4180540B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108431263B (en) * | 2015-12-17 | 2020-10-23 | 日立金属株式会社 | High-speed tool steel, tool material, and method for producing tool material |
Also Published As
Publication number | Publication date |
---|---|
JP2005284424A (en) | 2005-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4369868B2 (en) | Acquisition and display of site visit path data | |
US8732199B2 (en) | System, method, and computer readable media for identifying a user-initiated log file record in a log file | |
JP6319271B2 (en) | Event analysis device, event analysis system, event analysis method, and event analysis program | |
EP2801943A1 (en) | A system and method for generating a chronological timesheet | |
US7849072B2 (en) | Local terminal search system, filtering method used for the same, and recording medium storing program for performing the method | |
JPH1069578A (en) | Data processing device | |
CN105144117A (en) | Automated correlation and analysis of callstack and context data | |
JP4180540B2 (en) | Data mining system | |
KR101395442B1 (en) | linkage application control system and method of controlling of application loading | |
CN113589767A (en) | Robot process automation RPA processing method and related device | |
US20100023483A1 (en) | Method and System for Post Processing Trace Data | |
US20040093324A1 (en) | System and method for data collection using subject records | |
CN114611995B (en) | Process scheduling method and system | |
JP2000056887A (en) | Misoperation suppression system for screen operation | |
JPH0887417A (en) | Compiler device | |
KR102386334B1 (en) | Method and apparatus for outputting process mining results | |
US20080152239A1 (en) | Image Compression System | |
JPH06222963A (en) | High-load resource evaluation system | |
JP2000066718A (en) | Data gathering and storing device | |
JPH07141187A (en) | Data analysis supporting system and its method | |
JP3466792B2 (en) | Drawing search method and apparatus | |
JP2705262B2 (en) | How to evaluate system performance | |
KR101849782B1 (en) | Apparatus and method of searching data for post-processing of satellite telemetry data | |
JP7380113B2 (en) | Document management device, document management system and program | |
CN109492147B (en) | Method and device for acquiring total number of data records |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080827 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140905 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |