JP6188588B2 - データ処理装置及びデータ処理方法及びプログラム - Google Patents

データ処理装置及びデータ処理方法及びプログラム Download PDF

Info

Publication number
JP6188588B2
JP6188588B2 JP2014005235A JP2014005235A JP6188588B2 JP 6188588 B2 JP6188588 B2 JP 6188588B2 JP 2014005235 A JP2014005235 A JP 2014005235A JP 2014005235 A JP2014005235 A JP 2014005235A JP 6188588 B2 JP6188588 B2 JP 6188588B2
Authority
JP
Japan
Prior art keywords
data
change
amount
data block
change amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014005235A
Other languages
English (en)
Other versions
JP2015133062A (ja
Inventor
雅司 立床
雅司 立床
加藤 守
守 加藤
幹人 菅野
幹人 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2014005235A priority Critical patent/JP6188588B2/ja
Publication of JP2015133062A publication Critical patent/JP2015133062A/ja
Application granted granted Critical
Publication of JP6188588B2 publication Critical patent/JP6188588B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データの検索を効率化する技術に関する。
以下では、プラントにおける温度等の計測値データを管理する場合を例にして説明を行う。
火力、鉄鋼等のプラントデータ管理では、異常時の原因究明等の目的のため、プラントデータの長期蓄積が行われている。
プラントデータの蓄積においては、蓄積に係るストレージの節約のため、データを圧縮する方法が開示されている(例えば特許文献1)。
プラントデータ管理において、あるセンサに着目し、急激な変化点時刻を取得するための検索が行われている。
圧縮されたデータに対して検索を行う場合、データ伸張に係る時間を削減するため、あらかじめ変化点を区間ごとに計算しておき、検索時の不要なデータ伸張を省略するための方法が開示されている(例えば特許文献2、3)。
特開2011−221799号公報 特開2004−198148号公報 特開2009−251874号公報
従来の変化点検索方式では、検索の条件とする変化量を事前に定義できる場合は事前に作成した索引を用いて高速に検索可能であったが、検索の条件とする変化量と時間幅が動的に変化する場合には索引を用いることが困難である。
本発明は、このような事情に鑑みたものであり、検索の条件とする変化量と時間幅が一定でない場合にも、効率的にデータを検索できる構成を得ることを主な目的とする。
本発明に係るデータ処理装置は、
一定の時間幅で刻まれる時刻と時刻ごとの数値とが記述されているデータを、記述されている時刻に基づきグルーピングして、共通の時間帯に属する時刻が記述されている複数のデータで構成されるデータブロックを複数生成するとともに、複数のデータブロックの中からいずれかのデータブロックを選択するデータ処理装置であって、
データブロックごとに、記述されている時刻が連続している2つのデータの単位で、2つのデータの間の数値の変化量を算出する変化量算出部と、
データブロックを選択するための選択条件として、時間幅数と、前記時間幅数での数値の変化量の閾値が定義されている条件情報を取得する条件情報取得部と、
データブロック別に、前記条件情報に定義されている時間幅数と同じ個数ずつ変化量を合算し、変化量の合算値と前記条件情報に定義されている変化量の閾値とを比較して、いずれかのデータブロックを選択するデータブロック選択部とを有することを特徴とする。
本発明では、データブロックごとに、記述されている時刻が連続している2つのデータの単位で、2つのデータの間の数値の変化量を算出しておき、データブロック別に、条件情報に定義されている時間幅数と同じ個数ずつ変化量を合算し、変化量の合算値と条件情報に定義されている変化量の閾値とを比較して、いずれかのデータブロックを選択する。
このため、検索の条件とする変化量と時間幅が一定でない場合にも、効率的にデータを検索することができる。
実施の形態1に係るデータ処理装置の構成例を示す図。 実施の形態1に係るシステム構成例を示す図。 実施の形態1に係るデータ処理装置のハードウェア構成例を示す図。 実施の形態1に係るデータ処理装置のデータ入力処理を示すフローチャート図。 実施の形態1に係るデータ処理装置のデータ検索処理を示すフローチャート図。 実施の形態1に係る温度センサAでの計測値の時間的変化を示す図。 実施の形態1に係る温度センサAのプラントデータ例を示す図。 実施の形態1に係る温度センサAの索引データ例を示す図。 実施の形態2に係るデータ処理装置の構成例を示す図。 実施の形態2に係るデータ処理装置のデータ入力処理を示すフローチャート図。 実施の形態2に係るデータ処理装置のデータ検索処理を示すフローチャート図。 実施の形態2に係るデータ処理装置のデータ検索処理の詳細を示すフローチャート図。 実施の形態2に係る予測値データの例を示す図。 実施の形態1に係るプラントデータの例を示す図。
実施の形態1.
本実施の形態及び以降の実施の形態では、プラントデータのロード時に圧縮過程で差分を算出し、検索時の伸張過程で差分を用いた変化量計算を行って、効率的にデータ検索を行うデータ処理装置を説明する。
図1は、本実施の形態に係るデータ処理装置101の構成例を示す。
データ処理装置101は、ロード実行部102、データ圧縮部103、特徴量抽出部104、検索実行部106、検索条件最適化部107、データ伸張部108、検索条件判定部109、変化量計算部110、データ格納領域111から構成される。
ロード実行部102は、データ収集アプリケーション141から入力データ143を取得する。
入力データ143は、一定の時間幅で刻まれる時刻と時刻ごとの数値とが記述されているデータである。
また、ロード実行部102は、入力データ143に記述されている時刻に基づき入力データ143をグルーピングして、共通の時間帯に属する時刻が記述されている複数の入力データ143で構成されるデータブロック(以下、単にブロックともいう)を複数生成する。
なお、データ収集アプリケーション141は、データ処理装置101へデータ入力を行う上位のアプリケーションプログラムである。
データ圧縮部103は、データブロックごとに、記述されている時刻が連続している2つのデータの単位で、2つのデータの間の数値の変化量を算出する。
更に、データ圧縮部103は、データブロックごとに、算出した変化量に対する圧縮処理を行う。
データ圧縮部103は、変化量算出部及び圧縮処理部の例に相当する。
特徴量抽出部104は、データブロックごとに、データブロックに含まれる入力データの数値のうちの最大値及び最小値を特徴量として抽出する。
データ格納領域111は、圧縮変化量121、122、索引データ130を記憶する。
圧縮変化量121、122は、データ圧縮部103により圧縮処理された後のデータブロックごとの変化量である。
圧縮変化量121は、ブロックID:0001のデータブロックの圧縮処理後の変化量である。・
圧縮変化量122は、ブロックID:0002のデータブロックの圧縮処理後の変化量である。
索引データ130には、ブロックIDごとに、特徴量抽出部104により抽出された特徴量が示される。
なお、圧縮変化量121、122、索引データ130の詳細は後述する。
データ格納領域111は、記憶部の例に相当する。
検索実行部106は、データ検索アプリケーション142から検索条件144を取得し、取得した検索条件144に合致するデータブロックを検索結果145としてデータ検索アプリケーション142に返却する。
検索条件144には、時間幅数と、当該時間幅数での数値の変化量の閾値が定義されている。
時間幅数の変化量の閾値は、2つの時間幅の間の変化量が5以上であるといった閾値である。
また、検索条件144には、圧縮変化量の伸張処理が行われるデータブロックの条件である伸張処理対象条件が定義されている。
伸張処理対象条件は、例えば、特定の種類の計測値データのデータブロックであるといった条件や、例えば、データブロック内の全ての数値が30以上であるといった条件である。
検索条件144は条件情報の例に相当する。
また、検索実行部106は条件情報取得部の例に相当する。
なお、データ検索アプリケーション142は、データ処理装置101に対してデータ検索を行う上位のアプリケーションプログラムである。
検索条件最適化部107は、複数のデータブロックのうち、検索条件144に定義されている伸張処理対象条件に合致するデータブロックを伸張処理の対象に指定する。
検索条件最適化部107は、伸張対象指定部の例に相当する。
データ伸張部108は、検索条件最適化部107により伸張対象の対象に指定されたデータブロックの圧縮変化量に対する伸張処理を行う。
データ伸張部108は、伸張処理部の例に相当する。
変化量計算部110は、データブロック別に、検索条件144に定義されている時間幅数と同じ個数ずつ、データ伸張部108により伸張された変化量を合算する。
変化量計算部110は、後述する検索条件判定部109とともにデータブロック選択部の例に相当する。
検索条件判定部109は、変化量計算部110により計算された変化量の合算値と、検索条件144に定義されている変化量の閾値とを比較して、いずれかのデータブロックを選択する。
検索条件判定部109により選択されたデータブロックは、検索結果145に含められる。
検索条件判定部109は、前述の変化量計算部110とともにデータブロック選択部の例に相当する。
図2は、データ処理装置101を用いたプラントデータ管理構成例を示す。
データ収集装置201は、データ収集アプリケーション141を備え、データ処理装置101にデータ入力するための入力データ143を保持する。
データ検索装置202は、データ検索アプリケーション142を備え、データ処理装置101からデータ検索するための検索条件144、データ処理装置101から受け取った検索結果145を保持する。
データ収集装置201、データ検索装置202は、1つでも複数でも構わない。
また、データ収集装置201、データ検索装置202がデータ処理装置101に内包されるような構成でもよい。
上述のデータ処理装置101はコンピュータであり、データ処理装置101の各構成要素はプログラムにより処理を実行できる。
また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。
図3は、データ処理装置101のハードウェア構成例を示す図である。
バス305に、演算装置301、外部記憶装置302、主記憶装置303、通信装置304が接続されている。
演算装置301は、プログラムを実行するCPU(Central Processing Unit)である。
外部記憶装置302は、例えばROM(Read Only Memory)やハードディスクである。
主記憶装置303は、通常RAM(Random Access Memory)である。
通信装置304は、通常イーサネット(登録商標)に対応した通信カードである。
プログラムは、通常は外部記憶装置302に記憶されており、主記憶装置303にロードされた状態で、順次演算装置301に読み込まれ処理を行う。
プログラムは、図1に示す「〜部」として説明している機能を実現するプログラムである。
また、図1に示すデータ格納領域111は、例えば、外部記憶装置302により実現される。
更に、外部記憶装置302にはオペレーティングシステム(OS)も記憶されており、OSの少なくとも一部が主記憶装置303にロードされ、演算装置301はOSを実行しながら、図1に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態1の説明において、処理の結果を示す情報やデータや信号値や変数値が主記憶装置303にファイルとして記憶されている。
なお、図3の構成は、あくまでもデータ処理装置101のハードウェア構成の一例を示すものであり、データ処理装置101のハードウェア構成は図3に記載の構成に限らず、他の構成であってもよい。
例えば、表示ディスプレイ等の出力装置や、マウス・キーボードといった入力装置がバス305に接続されていてもよい。
また、データ収集装置201やデータ検索装置202もコンピュータである。
データ処理装置101、データ収集装置201、データ検索装置202間の通信は通信装置304にて行う。
次に、データ格納領域111に格納される圧縮変化量121、122、索引データ130について説明する。
データ収集アプリケーション141からの入力データ143は、例えば、センサで計測された計測値データである。
入力データ143では、一定の時間幅(例えば、1秒)で刻まれる時刻と時刻ごとの数値(例えば、センサの計測値)とが記述されている。
本実施の形態では、複数のセンサの計測値データが入力データ143としてデータ処理装置101に集められるものとする。
データ処理装置101では、複数のセンサからの計測値は、センサごとに、近似する時刻でまとめられてデータブロックとして管理される。
図14を用いて、データブロックを説明する。
図14は、複数のセンサからの計測値を時刻ごとにテーブル形式で表したプラントデータである。
なお、図14のプラントデータ1400は説明のためのデータであり、データ処理装置101は図14のプラントデータ1400を記憶している訳ではない。
データ処理装置101は、時刻間の差分である変化量を圧縮した圧縮変化量121、122を記憶する。
図14において、S1(1402)、S2(1403)・・・Sn(1404)は、それぞれセンサのID(Identifier)である。
時刻1401は、各センサで計測が行われた時刻であり、入力データ143に記述されていた時刻である。
また、数値(30、33、40等)は、各センサで計測された計測値であり、入力データ143に時刻とともに記述されていた計測値である。
つまり、センサS1からは、入力データ143として、「2013/09/20 10:11:12」と「30」とが記述されたデータ、「2013/09/20 10:11:13」と「33」とが記述されたデータ、「2013/09/20 10:11:14」と「40」とが記述されたデータ等が、データ処理装置101に届く。
データブロックは、符号1405で示すように、センサごとに、共通の時間帯(例えば、1分単位、10分単位、1時間単位等)に属する時刻が記述されている複数の入力データで構成される。
そして、データ圧縮部103は、データブロックごとに、記述されている時刻が連続している2つのデータの単位で、2つのデータの間の数値の変化量を算出する。
図14の例では、センサS1の場合、データ圧縮部103は、「2013/09/20 10:11:12」と「2013/09/20 10:11:13」との間の数値の差をとって、33−30=3を変化量とする。
同様に、データ圧縮部103は、「2013/09/20 10:11:13」と「2013/09/20 10:11:14」との間の数値の差をとって、40−33=7を変化量とする。
更に、データ圧縮部103は、1つのデータブロックから抽出された変化量群に対して圧縮処理を行う。
データ圧縮部103の圧縮アルゴリズムは、どのようなものでもよい。
データ圧縮部103により圧縮処理が行われた後の変化量が圧縮変化量121、122としてデータ格納領域111に格納される。
また、各データブロックには、ロード実行部102によりブロックIDが設定される。
図1の例では、圧縮変化量121は、「ブロックID:0001」のデータブロックの圧縮変化量であり、圧縮変化量122は、「ブロックID:0002」のデータブロックの圧縮変化量である。
また、特徴量抽出部104は、データブロックごと(ブロックIDごと)に、データブロックに含まれる数値のうちの最大値と最小値とを抽出し、抽出した最大値と最小値を索引データ130にまとめる。
図1の索引データ130では、「ブロックID:0001」のデータブロックはセンサS1の計測値を対象としており、数値の最大値が「40」であり、最小値が「27」であったことが分かる。
なお、本実施の形態では、特徴量として最大値と最小値を用いる例を説明するが、特徴量は最大値と最小値に限らない。
特徴量は、例えば平均値、中央値、最頻値等でもよい。
次に、図4に示すフローチャートに基づいて、データ処理装置101におけるデータ収集アプリケーション141からのデータ入力処理について説明する。
ステップS101において、ロード実行部102がデータ収集アプリケーション141の入力データ143を受け付ける。
次に、ステップS102において、ロード実行部102が入力データ143をセンサID単位に分解する。
なお、ステップS101で、センサID単に分割された状態の入力データ143を取得している場合は、ステップS102は省略可能である。
次に、ステップS103において、ロード実行部102がセンサID単位に分解された入力データ143を、所定の時間幅ごとに、ブロック単位でまとめ、各ブロックにブロックIDを割り当てる。
ブロックの時間幅は、例えば、固定でもよいし、過去の圧縮状況から算出してもよい。
また、ロード実行部102は、ブロックごとに、ブロックに含まれる数値を特徴量抽出部104に出力する。
特徴量抽出部104が特徴量として最大値と最小値を抽出し、抽出した最大値と最小値をブロックID及びセンサIDとともに索引データ130に登録する。
次に、ステップS104において、ステップS103でまとめられたブロックのうち、圧縮されていないブロックがある場合は、データ圧縮部103が、圧縮されていないブロックの内1件を抽出し、ステップS105へ進む。
すべてのブロックが圧縮されている場合は、処理を終了する。
ステップS105では、データ圧縮部103が、連続する2つの時刻の単位で、数値の間の差分(変化量)を算出する。
次に、ステップS106において、データ圧縮部103が、ステップS105で算出された変化量を圧縮し、ロード実行部102に圧縮結果(圧縮変化量)を受け渡す。
最後に、ステップS108において、ロード実行部102がデータ格納領域111に圧縮データ(圧縮変化量)を格納する。
次に、図5に示すフローチャートに基づいて、データ処理装置101におけるデータ検索アプリケーション142からのデータ検索処理について説明する。
ステップS201において、検索実行部106がデータ検索アプリケーション142の検索条件144を受け付ける。
前述したように、検索条件144には、時間幅数と、当該時間幅数での数値の変化量の閾値が定義されている。
また、検索条件144には、圧縮変化量の伸張処理が行われるデータブロックの条件である伸張処理対象条件が定義されている。
次に、ステップS202において、検索条件最適化部107が検索処理の実行計画を作成する。
処理の実行計画は、複数検索条件を効率的な順序で実行するよう最適化する。
より具体的には、検索条件最適化部107は、検索条件144に定義されている伸張処理対象条件に合致するデータブロックのみを伸張処理の対象にするようにして、データ伸張処理量を抑制する。
例えば、センサS1及びセンサS2のみを対象とする旨の伸張処理対象条件が検索条件144に定義されている場合は、検索条件最適化部107は、センサS1及びセンサS2のブロックの圧縮変化量のみを伸張処理の対象とする実行計画を作成する。
次に、ステップS203において、検索条件最適化部107が索引データ130を参照し、ステップS204以降で読み出し、伸張が必要なブロックを判定するため、ブロックの数を把握する。
前述のように、センサS1及びセンサS2のみを対象とする旨の伸張処理対象条件が検索条件144に定義されている場合は、検索条件最適化部107は、索引データ130を参照して、センサS1のブロック数及びセンサS2のブロックの数を把握する。
次に、ステップS204において、検索条件最適化部107が索引データ130から、伸張処理対象条件に合致するブロックのブロックID131、センサID132、特徴量134の組(レコード)を1つ取り出し、ステップS205に進む。
伸張処理対象条件に合致するブロックのすべての組(レコード)を取り出している場合は、ステップS206に進む。
ステップS205において、検索条件最適化部107がステップS204で取り出した特徴量134と検索条件144の伸張処理対象条件とを比較する。
特徴量134と伸張処理対象条件との比較の結果、当該ブロックの読み出しが必要があると判断した場合は、検索条件最適化部107は、当該ブロックを読み出し対象ブロックリストに追加する。
例えば、特徴量134にブロック内の最大値、最小値が記述されている場合は、検索条件144の伸張処理対象条件と特徴量134の値の範囲に重なりがあれば、読み出し対象ブロックリストに追加する。
より具体的には、例えば、伸張処理対象条件として「27」以上が定義されていれば、図1の索引データ130から、「ブロックID:0001」のブロックと「ブロックID:0003」のブロックは、読み出し対象ブロックリストに追加されるが、「ブロックID:0002」のブロックは追加されない。
なお、読み出し対象ブロックリストに追加するための判定方法は、特徴量を用いるものであればどのような方法でも構わない。
ステップS206において、検索条件最適化部107が読み出し対象ブロックリストから1つのブロックを取り出し、当該ブロックの圧縮変化量をデータ格納領域111から読み出し、ステップS207に進む。
読み出し対象ブロックリスト内の全てのブロックの圧縮変化量を読み出している場合は、ステップS211に進む。
ステップS207では、データ伸張部108が、検索条件最適化部107から圧縮変化量を受け取り、受け取った圧縮変化量に対する伸張処理を行う。
ステップS208において、検索条件最適化部107が検索条件144を参照して変化量計算の必要性を判断する。
具体的には、検索条件144に時間幅数と変化量の閾値が記述されている場合は、変化量計算が必要である。
変化量計算が必要な場合は、ステップS209の変化量計算に進む。
変化量計算が不要な場合は、ステップS210の検索条件判定に進む。
ステップS209では、変化量計算部110がデータ伸張部108から伸張後の変化量を受け取り、また、検索条件最適化部107から検索条件144に記述されている時間幅数を受け取り、時間幅数ずつ変化量を合算し、時間幅数分の変化量の合算値を得る。
ステップS210では、検索条件判定部109が検索条件最適化部107から検索条件144を受け取り、検索条件144に合致するブロックを選択し、選択したブロックのデータを検索結果145に追加する。
S208でYESの場合は、検索条件判定部109は、変化量計算部110が計算した時間幅数分の変化量の合算値と、検索条件144の変化量の閾値とを比較して、ブロックを選択する。
最後に、ステップS211において、検索実行部106が検索結果145をデータ検索アプリケーション142に返却する。
次に、図6の温度センサAの計測値の例と図7のプラントデータの例と図8の索引データの例を用いて、実施の形態に係るデータ処理装置101の差分を用いた変化量の計算について説明する。
図6は、温度センサAの計測値の時間的変化を示す。
データ処理装置101は、温度センサAによる1秒ごとの計測値が示される入力データ143を取得する。
図6において、「ブロック0001」、「ブロック0002」、「ブロック0003」は、それぞれブロックIDを示す。
図7は、図6の計測値を、時刻721ごとに、温度センサAの計測値722、変化量723、変化量の合算値724にまとめたプラントデータ720である。
図7では、「ブロック0002」の「2013/09/20 10:11:12」、「2013/09/20 10:11:13」、「2013/09/20 10:11:14」について、温度センサAの計測値722、変化量723、変化量の合算値724を示している。
つまり、図6に示すように、「2013/09/20 10:11:12」での温度センサAの計測値は「30」であり、「2013/09/20 10:11:13」での温度センサAの計測値は「35」であり、「2013/09/20 10:11:14」での温度センサAの計測値は「40」である(計測値722)。
また、「2013/09/20 10:11:12」と「2013/09/20 10:11:13」との間の計測値の変化量(差分)は、「2013/09/20 10:11:12」の行の変化量723に記載の通り、「5」である。
また、「2013/09/20 10:11:13」と「2013/09/20 10:11:14」との間の計測値の変化量(差分)は、「2013/09/20 10:11:13」の行の変化量723に記載の通り、「5」である。
なお、「2013/09/20 10:11:13」の行の変化量723に記載の「7」は、「2013/09/20 10:11:14」と「2013/09/20 10:11:15」(図7に不図示)との間の計測値の変化量(差分)である。
また、後述では、検索条件144の時間幅数が「2」である例を説明するので、図7の変化量の合算値724では、時間幅数「2」での変化量の合算値を示している。
つまり、時間幅数「2」である「2013/09/20 10:11:12」と「2013/09/20 10:11:14」との間の変化量の合算値は、「2013/09/20 10:11:12」の行の変化量の合算値724に記載の通り、5+5=10である。
なお、「2013/09/20 10:11:13」の行の変化量の合算値724に記載の「7」は、「2013/09/20 10:11:13」と「2013/09/20 10:11:15」(図7に不図示)との間の変化量の合算値である。
また、「2013/09/20 10:11:14」の行の変化量の合算値724に記載の「7」は、「2013/09/20 10:11:14」と「2013/09/20 10:11:16」(図7に不図示)との間の変化量の合算値である。
図7のプラントデータ720は、説明のためのデータであり、データ処理装置101は図7のプラントデータ720を記憶している訳ではない。
前述の通り、データ処理装置101は、圧縮変化量を記憶する。
図8は、温度センサAの計測値についての索引データ830である。
図8の索引データ830は、図1の索引データ130と同様の構成であるため、説明を省略する。
ここでは、データ検索アプリケーション142が、伸張処理対象条件を計測値「27」以上とし、また、時間幅「2」の間の変化量の閾値を「10」以上とする検索条件144を指定しているとする。
まず、データ検索アプリケーション142がデータ処理装置101に対して前述の検索条件144を送信し、検索実行部106が検索条件144を受け付ける。
次に、検索条件最適化部107が検索条件から実行計画を作成し、図8に示す索引データ830を取得する。
検索条件最適化部107は、特徴量834と検索条件144の「27」以上の指定を比較し、重なりのあるブロックID0001、0002、0003を読み出し対象ブロックリストに追加する。
データ伸張部108は、ブロックID0001、0002、0003の圧縮変化量を伸張して、圧縮前の変化量を取得する。
変化量計算部110は、データ伸張部108により得られた変化量を検索条件144に記述されている時間幅数「2」ずつ合算して、変化量の合算値を得る。
ブロックID0002では、図7に示すように、「2013/09/20 10:11:12」と「2013/09/20 10:11:14」との間の変化量の合算値が「10」である。
このように、ブロックID0002は、最小値が「27」以上であり、変化量の合算値が「10」以上であるため、検索条件144に該当する。
従って、検索条件判定部109はブロックID0002を検索結果145に追加する。
以上のように、本実施の形態では、圧縮時に保存した差分を伸張時に抽出し、変化量計算に用いることで、時間幅がパラメータとして与えられる場合の変化量計算を実施する。
従来は、数値そのもの(図14の30、33、40等)を圧縮しているため、検索条件に時間幅数と変化量の閾値が規定されている場合は、(1)伸張処理により毎時刻の数値を得て、(2)時刻間の数値の変化量(差分)を計算し、(3)計算した変化量を時間幅数分合算し、(4)変化量の合算値と変化量の閾値とを比較する、という4段階の処理が必要である。
このため、検索処理に時間を要していた。
これに対して、本実施の形態では、事前に変化量を計算しているため、(1)伸張処理により変化量を得て、(2)変化量を時間幅数分合算し、(3)変化量の合算値と変化量の閾値とを比較する、という3段階の処理ですみ、検索処理の高速化が図れる。
実施の形態2.
実施の形態2では、読み出し対象ブロックリストの追加時に、変化量の合算値を予測し、予測値と検索条件で指定されている変化量の閾値とを比較して、読み出し対象のブロックを絞り込むデータ処理装置を実現する。
図9は、実施の形態2におけるデータ処理装置901の構成例を示す。
図9のデータ処理装置901では、図1のデータ処理装置101と比較して、選択変化量抽出部905と変化量予測部912が追加されている。
また、索引データ930に、選択変化量933の項目が追加されている。
これら以外の要素は、図1に示したものと同じであるため、説明を省略する。
なお、本実施の形態では、索引データ930は、変化量情報の例に相当する。
選択変化量抽出部905は、データ圧縮部903により算出された変化量のうち上位m個の変化量を選択変化量として抽出する。
なお、mの値は、検索条件144で指定される時間幅数の最大値である。
変化量予測部912は、選択変化量933と検索条件144で指定されている時間幅数を用いて、伸張対象のブロックIDを選択するために、変化量の合算値の予測値を導出する。
なお、本実施の形態では、変化量予測部912も、検索条件最適化部907とともに伸張対象指定部の例に相当する。
本実施の形態に係るデータ処理装置901のハードウェア構成も、図3に示したものと同様である。
次に、図10に示すフローチャートに基づいて、データ処理装置901におけるデータ収集アプリケーション141からのデータ入力処理について説明する。
なお、ステップS101〜S107は、図4に示したものと同じなので、以下では、図10において追加されたステップS151を説明する。
ステップS151では、選択変化量抽出部905が、ステップS105で算出された変化量(圧縮前)をデータ圧縮部903から受け取り、受け取った変化量のうち上位m個の変化量を選択し、選択変化量933として索引データ930に登録する。
次に、図11に示すフローチャートに基づいて、データ処理装置901におけるデータ検索アプリケーション142からのデータ検索処理について説明する。
なお、ステップS201〜S204、S206〜S211は、図5に示したものと同じなので、以下では、ステップS251及びS252を説明する。
ステップS251では、図5のステップS205と同様の処理が行われるが、以下の点が異なる。
ステップS205では、特徴量934と検索条件144の伸張処理対象条件との比較によって選択されたブロックは読み出し対象ブロックリストに追加されるが、ステップS251では、選択されたブロックは読み出し対象ブロック候補リストに追加される。
つまり、本実施の形態では、ステップS252の処理により選択されたブロックが最終的な読み出し対象ブロックリストに追加されるため、ステップS251の段階では、暫定的な読み出し対象ブロックリストである読み出し対象ブロック候補リストに追加される。
ステップS252では、検索条件最適化部907が、選択変化量933を索引データ930から読み出し、選択変化量933に基づく変化量の合算値の予測値と検索条件144の変化量の閾値を比較して、読み出し対象ブロックリストに追加するブロックを判定する。
より具体的には、S204で取り出されたブロックが、S251において読み出し対象ブロック候補リストに追加された場合に、検索条件最適化部907が、索引データ930から当該ブロックの選択変化量933を読み出す。
そして、検索条件最適化部907は、読み出した選択変化量933と検索条件144で指定されている時間幅数を変化量予測部912に出力する。
変化量予測部912は、選択変化量933の変化量のうち、検索条件144の時間幅数分の変化量を上位から合算して、変化量の合算値の予測値を算出する。
例えば、検索条件144で指定されている時間幅数がk個(k≧m)であれば、変化量予測部912は、選択変化量933のm個の変化量のうち上位k個の変化量を合算して、予測値を算出する。
変化量予測部912は、算出した予測値を検索条件最適化部907に通知する。
検索条件最適化部907は、変化量予測部912から通知された予測値と検索条件144の変化量の閾値とを比較し、予測値が閾値以上であれば、当該ブロックを最終的な読み出し対象ブロックリストに追加する。
S206以降の処理では、S252により読み出し対象ブロックリストに追加されたブロックに対するデータ伸張、変化量計算等が行われる。
以下、図12に示すフローチャートに基づいて、ステップS252の詳細な動作であるデータ処理装置901における変化量の予測値を用いた伸張対象となるブロックの絞り込みについて説明する。
ステップS401において、検索条件最適化部907が検索条件144から時間幅数を取得する。
ここでは、例えば、検索条件144の時間幅数がk個である場合を想定する。
また、検索条件最適化部907は、前述のように、索引データ930から選択変化量933を取得する。
そして、検索条件最適化部907は、選択変化量933と時間幅数kを変化量予測部912に出力する。
次に、ステップS402において、変化量予測部912が索引データ930の選択変化量933と時間幅数kを取得する。
次に、ステップS403において、変化量予測部912が選択変化量933のm個の変化量のうち上位からk個の変化量を抽出し、k個の変化量を合計し、合計値sを変化量の合算値の予測値として検索条件最適化部907に通知する。
次に、ステップS404において、検索条件最適化部907がステップS403で得られた合計値sと検索条件144で指定されている変化量の閾値とを比較し、合計値sが閾値以上であればステップS405に進み、合計値sが閾値未満であればステップS406へ進み処理を終了する。
ステップS405では、検索条件最適化部907が判定対象となっているブロックIDを読み出し対象ブロックリストに追加する。
本実施の形態の動作について、図6の温度センサAの計測値の例と図7のプラントデータ720の例と図9の索引データ930の例を用いて、変化量の合算値の予測値による読み出し対象の絞り込みについて説明する。
ここでは、データ検索アプリケーション142が、伸張処理対象条件を計測値「27」以上とし、時間幅「2」の間の変化量の閾値を「10」以上とする検索条件144を指定しているとする。
まず、データ検索アプリケーション142がデータ処理装置901に対して前述の検索条件144を送信し、検索実行部906が検索条件144を受け付ける。
次に、検索条件最適化部907が検索条件から実行計画を作成し、図9に示す索引データ930を取得する。
検索条件最適化部907は、特徴量934と検索条件144の「27」以上の指定を比較し、重なりのあるブロックID0001、0002、0003を読み出し対象ブロック候補リストに追加する。
変化量予測部912が、検索条件最適化部907から、検索条件144の時間幅数「2」を取得し、また、読み出し対象ブロック候補リストに追加されたブロックの選択変化量933を取得する。
変化量予測部912は、ブロックごとに、選択変化量933から上位2個の変化量を合計して、予測値1203(図13)を求める。
検索条件最適化部907は、予測値1203と検索条件144の変化量の閾値「10」とを比較し、予測値1203が閾値以上となるブロックID0002を読み出し対象ブロックリストに追加する。
以上のように、本実施の形態では、圧縮時に保存した選択変化量を用いて検索時に変化量の合算値の予測値を算出し、伸張するブロックの絞り込みを行う。
従来の変化量検索では、時間幅を固定することにより変化量の索引を構築しており、時間幅がパラメータとして与えられる検索条件においては、索引を用いることが困難であったが、本実施の形態を用いることで、動的な時間幅に対して選択変化量による予測値を活用し、圧縮されたデータを伸張することなく、不要なデータ伸張を回避する効果が得られる。
なお、以上では、選択変化量の個数であるmの値を、検索条件144で指定される時間幅数の最大値とする例を説明した。
これに対して、選択変化量の個数mを検索条件144で指定される時間幅数よりも少ない個数とすることも可能である(但し、m≧2)。
そして、検索条件144で指定された時間幅数が選択変化量の個数を上回る場合は、時間幅数を選択変化量の個数で除した除算値を選択変化量の合計値に乗算して、予測値を算出する。
例えば、選択変化量が「7、5」の2つであり、検索条件144で指定された時間幅数が「5」である場合は、変化量予測部912は、選択変化量の合計値「12」(7+5=12)に、時間幅数を選択変化量の個数で除した除算値「2.5」(5÷2=2.5)を乗算して、予測値「30」(12×2.5=30)を得ることができる。
101 データ処理装置、102 ロード実行部、103 データ圧縮部、104 特徴量抽出部、106 検索実行部、107 検索条件最適化部、108 データ伸張部、109 検索条件判定部、110 変化量計算部、111 データ格納領域、121 圧縮変化量、122 圧縮変化量、130 索引データ、141 データ収集アプリケーション、142 データ検索アプリケーション、143 入力データ、144 検索条件、145 検索結果、901 データ処理装置、902 ロード実行部、903 データ圧縮部、904 特徴量抽出部、905 選択変化量抽出部、906 検索実行部、907 検索条件最適化部、908 データ伸張部、909 検索条件判定部、910 変化量計算部、911 データ格納領域、912 変化量予測部、930 索引データ。

Claims (9)

  1. 一定の時間幅で刻まれる時刻と時刻ごとの数値とが記述されているデータを、記述されている時刻に基づきグルーピングして、共通の時間帯に属する時刻が記述されている複数のデータで構成されるデータブロックを複数生成するとともに、複数のデータブロックの中からいずれかのデータブロックを選択するデータ処理装置であって、
    データブロックごとに、記述されている時刻が連続している2つのデータの単位で、2つのデータの間の数値の変化量を算出する変化量算出部と、
    データブロックを選択するための選択条件として、時間幅数と、前記時間幅数での数値の変化量の閾値が定義されている条件情報を取得する条件情報取得部と、
    データブロック別に、前記条件情報に定義されている時間幅数と同じ個数ずつ変化量を合算し、変化量の合算値と前記条件情報に定義されている変化量の閾値とを比較して、いずれかのデータブロックを選択するデータブロック選択部とを有することを特徴とするデータ処理装置。
  2. 前記データ処理装置は、更に、
    データブロックごとに、前記変化量算出部により算出された変化量に対する圧縮処理を行う圧縮処理部と、
    データブロックごとに、前記圧縮処理部により圧縮処理された後の変化量を圧縮変化量として記憶する記憶部と、
    前記記憶部に記憶されている圧縮変化量に対する伸張処理を行う伸張処理部と、
    前記伸張処理部の伸張処理の対象にするデータブロックを指定する伸張対象指定部とを有し、
    前記条件情報取得部は、
    伸張処理の対象とするデータブロックの条件である伸張処理対象条件と、前記選択条件とが定義されている条件情報を取得し、
    前記伸張対象指定部は、
    前記複数のデータブロックのうち前記伸張処理対象条件に合致するデータブロックを伸張処理の対象に指定し、
    前記伸張処理部は、
    前記伸張対象指定部により伸張処理の対象に指定されたデータブロックの圧縮変化量に対してのみ伸張処理を行い、
    前記データブロック選択部は、
    前記伸張処理部により圧縮変化量に対する伸張処理が行われたデータブロックの中から、いずれかのデータブロックを選択することを特徴とする請求項1に記載のデータ処理装置。
  3. 前記データ処理装置は、更に、
    データブロックごとに、データブロックに含まれる複数のデータに記述されている数値の特徴量を抽出する特徴量抽出部を有し、
    前記条件情報取得部は、
    前記伸張処理対象条件として、特徴量の条件が定義されている条件情報を取得し、
    前記伸張対象指定部は、
    前記複数のデータブロックのうち、前記特徴量抽出部により抽出された特徴量が前記条件情報に定義されている特徴量の条件に合致するデータブロックを伸張処理の対象に指定することを特徴とする請求項2に記載のデータ処理装置。
  4. 前記記憶部は、
    データブロックごとに、前記変化量算出部により算出された変化量のうちの少なくとも上位2つの変化量が記述されている変化量情報を記憶しており、
    前記伸張対象指定部は、
    前記複数のデータブロックのうち前記伸張処理対象条件に合致するデータブロックを抽出するとともに、抽出したデータブロックに対して、データブロックごとに、前記変化量情報に記述されている変化量を合算し、変化量の合算値と前記条件情報に定義されている変化量の閾値とを比較して、伸張処理の対象にするデータブロックを指定することを特徴とする請求項3に記載のデータ処理装置。
  5. 前記記憶部は、
    データブロックごとに、前記変化量算出部により算出された変化量のうち、前記条件情報で定義される最大の時間幅数と同じ個数分の変化量が記述されている変化量情報を記憶しており、
    前記伸張対象指定部は、
    前記複数のデータブロックのうち前記伸張処理対象条件に合致するデータブロックを抽出するとともに、抽出したデータブロックに対して、データブロックごとに、前記条件情報に定義されている時間幅数と同じ個数だけ前記変化量情報に記述されている変化量を合算し、変化量の合算値と前記条件情報に定義されている変化量の閾値とを比較して、伸張処理の対象にするデータブロックを指定することを特徴とする請求項4に記載のデータ処理装置。
  6. 前記伸張対象指定部は、
    変化量の合算値が前記条件情報に定義されている変化量の閾値以上であるデータブロックを伸張処理の対象に指定することを特徴とする請求項4又は5に記載のデータ処理装置。
  7. 前記データブロック選択部は、
    変化量の合算値が前記条件情報に定義されている変化量の閾値以上であるデータブロックを選択することを特徴とする請求項1に記載のデータ処理装置。
  8. 一定の時間幅で刻まれる時刻と時刻ごとの数値とが記述されているデータを、記述されている時刻に基づきグルーピングして、共通の時間帯に属する時刻が記述されている複数のデータで構成されるデータブロックを複数生成するとともに、複数のデータブロックの中からいずれかのデータブロックを選択するコンピュータが行うデータ処理方法であって、
    前記コンピュータが、データブロックごとに、記述されている時刻が連続している2つのデータの単位で、2つのデータの間の数値の変化量を算出する変化量算出ステップと、
    前記コンピュータが、データブロックを選択するための選択条件として、時間幅数と、前記時間幅数での数値の変化量の閾値が定義されている条件情報を取得する条件情報取得ステップと、
    前記コンピュータが、データブロック別に、前記条件情報に定義されている時間幅数と同じ個数ずつ変化量を合算し、変化量の合算値と前記条件情報に定義されている変化量の閾値とを比較して、いずれかのデータブロックを選択するデータブロック選択ステップとを有することを特徴とするデータ処理方法。
  9. 一定の時間幅で刻まれる時刻と時刻ごとの数値とが記述されているデータを、記述されている時刻に基づきグルーピングして、共通の時間帯に属する時刻が記述されている複数のデータで構成されるデータブロックを複数生成するとともに、複数のデータブロックの中からいずれかのデータブロックを選択するコンピュータに、
    前記コンピュータが、データブロックごとに、記述されている時刻が連続している2つのデータの単位で、2つのデータの間の数値の変化量を算出する変化量算出ステップと、
    前記コンピュータが、データブロックを選択するための選択条件として、時間幅数と、前記時間幅数での数値の変化量の閾値が定義されている条件情報を取得する条件情報取得ステップと、
    前記コンピュータが、データブロック別に、前記条件情報に定義されている時間幅数と同じ個数ずつ変化量を合算し、変化量の合算値と前記条件情報に定義されている変化量の閾値とを比較して、いずれかのデータブロックを選択するデータブロック選択ステップとを実行させることを特徴とするプログラム。
JP2014005235A 2014-01-15 2014-01-15 データ処理装置及びデータ処理方法及びプログラム Active JP6188588B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014005235A JP6188588B2 (ja) 2014-01-15 2014-01-15 データ処理装置及びデータ処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014005235A JP6188588B2 (ja) 2014-01-15 2014-01-15 データ処理装置及びデータ処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015133062A JP2015133062A (ja) 2015-07-23
JP6188588B2 true JP6188588B2 (ja) 2017-08-30

Family

ID=53900185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014005235A Active JP6188588B2 (ja) 2014-01-15 2014-01-15 データ処理装置及びデータ処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6188588B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6242930B2 (ja) * 2016-03-17 2017-12-06 株式会社東芝 センサデータ管理装置、センサデータ管理方法およびプログラム
JP6794782B2 (ja) * 2016-11-02 2020-12-02 富士通株式会社 情報処理装置、情報処理プログラム、及び情報処理方法
CN112185575B (zh) * 2020-10-14 2024-01-16 北京嘉和美康信息技术有限公司 一种确定待比对医疗数据的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04290314A (ja) * 1991-03-19 1992-10-14 Fujitsu Ltd 情報量圧縮装置
JP5423553B2 (ja) * 2010-04-09 2014-02-19 株式会社日立製作所 データベース管理方法、計算機、センサネットワークシステム及びデータベース検索プログラム

Also Published As

Publication number Publication date
JP2015133062A (ja) 2015-07-23

Similar Documents

Publication Publication Date Title
US9753801B2 (en) Detection method and information processing device
KR101880628B1 (ko) 기계 학습 데이터셋에 대한 레이블링 방법 및 그 장치
JP6188588B2 (ja) データ処理装置及びデータ処理方法及びプログラム
JP6665784B2 (ja) ログ分析システム、ログ分析方法およびログ分析プログラム
US11030172B2 (en) Database archiving method and device for creating index information and method and device of retrieving archived database including index information
US11204935B2 (en) Similarity analyses in analytics workflows
WO2012153400A1 (ja) データ処理システム、データ処理方法、及び、プログラム
JP6242540B1 (ja) データ変換システム及びデータ変換方法
JP2017045080A (ja) 業務フロー仕様再生方法
US10459730B2 (en) Analysis system and analysis method for executing analysis process with at least portions of time series data and analysis data as input data
JP6345346B2 (ja) 分析装置及び分析方法及び分析プログラム
CN111159515B (zh) 数据处理方法、装置及电子设备
JP5668425B2 (ja) 障害検知装置、情報処理方法、およびプログラム
KR101035037B1 (ko) 동적 임계값이 적용된 유사문서 분류화 장치 및 방법
CN111552842A (zh) 一种数据处理的方法、装置和存储介质
JP5555238B2 (ja) ベイジアンネットワーク構造学習のための情報処理装置及びプログラム
JP6627258B2 (ja) システムモデル生成支援装置、システムモデル生成支援方法、及び、プログラム
JP6393411B2 (ja) データ分析支援システム及びデータ分析支援方法
Tseng et al. A novel complex-events analytical system using episode pattern mining techniques
Liu et al. In-advance data analytics for reducing time to discovery
WO2014168199A1 (ja) 論理演算方法および情報処理装置
WO2017145591A1 (ja) 分析装置、分析方法および分析プログラム
Meng et al. AAC: An anomaly aware time series compression algorithm towards green computing
CN111381768A (zh) 一种数据监控的方法和装置
WO2022239147A1 (ja) 抽出装置、抽出方法、および、抽出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170801

R150 Certificate of patent or registration of utility model

Ref document number: 6188588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250