WO2019225125A1 - データ処理装置およびデータ処理方法 - Google Patents
データ処理装置およびデータ処理方法 Download PDFInfo
- Publication number
- WO2019225125A1 WO2019225125A1 PCT/JP2019/010430 JP2019010430W WO2019225125A1 WO 2019225125 A1 WO2019225125 A1 WO 2019225125A1 JP 2019010430 W JP2019010430 W JP 2019010430W WO 2019225125 A1 WO2019225125 A1 WO 2019225125A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- relationship
- past
- real
- time
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/08—Railway vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Abstract
データの結合に係る項目の情報に基づいて、過去のセンサデータと業務データとを結合し、過去のセンサデータの項目と業務データの項目とに基づいて項目間のデータ関係を特定する過去関係特定部と、リアルタイムのセンサデータの項目間のデータ関係を特定するリアルタイム関係特定部と、過去関係特定部で特定されたデータ関係とリアルタイム関係特定部で特定されたデータ関係との類似度を算出する類似度算出部と、類似度算出部により算出された類似度がしきい値を超える過去関係特定部で特定されたデータ関係とリアルタイム関係特定部で特定されたデータ関係とを過去のセンサデータの項目とリアルタイムのセンサデータの項目とにより対応付けて出力する出力制御部と、を設けるようにした。
Description
本発明はデータ処理装置およびデータ処理方法に関し、例えばセンサデータを処理するデータ処理装置およびデータ処理方法に適用して好適なものである。
近年、業務システムが保有するデータを分析することにより、業務コストの削減、サービスの向上等への取り組みが進んでいる。また、センサ、ネットワークなどのIoT(Internet of Things)技術の進化により、あらゆるものがネットワークに接続し、リアルタイムにデータをセンシングできるようになりつつある。
近時、データを分析することにより、システムの異常検知、障害予測の精度向上に役立てたいというニーズがある。
例えば、複数のパラメータからなるパラメータ群毎に、各パラメータペアについて相関データ列を生成し、閾値を超える相関係数を含むパラメータペアが検出された場合に、そのパラメータ群の各パラメータペアの相関データ列間の距離を算出し、距離が最短となる2つの相関データ列に共通するパラメータを原因パラメータとして特定し、原因パラメータのデータ異常に起因する障害の発生を予測する技術が開示されている(特許文献1参照)。
また、例えば、管理対象のシステムの状態を示す複数の項目の値の、複数の単位期間内での時間変化を示す情報に基づいて、複数の単位期間それぞれについて、複数の項目間の値の時間変化の相関を示す相関情報を生成し、複数の単位期間それぞれの複数の相関情報の間の類似度を算出し、算出した類似度に基づいて複数の相関情報をクラスタリングすることにより、システムの異常状態の検出精度を向上させる技術が開示されている(特許文献2)。
上述した特許文献に記載の情報処理装置は、データ項目間の相関関係の変化に着目してデータ処理を行う方法を提供するものである。特に、データ項目が大量にある場合、1つ1つのデータ項目のデータ値の推移を把握するのはデータ分析者にとって負荷が大きいため、データ項目間の相関関係の変化に着目し、変化があった部分のみを提示する方法は有用である。
一方で、データ項目間の相関関係の変化のみでは、当該変化の原因を推察することが困難な場合がある。例えば、列車状態のリアルタイムモニタリングシステムの場合、列車に搭載された各種センサ(速度センサ、騒音センサ、振動センサなど)のデータ項目間の相関関係の変化から、通常時は速度センサと騒音センサの値は正の相関関係が強いが、ある時に速度センサの値に関係なく騒音センサの値が大きくなり相関関係が弱くなった場合に、当該変化を提示することはできる。しかしながら、何が原因で騒音センサの値が大きくなったかは、当該データ項目のみでは推察することが困難である。
本発明は以上の点を考慮してなされたもので、データ関係の変化の原因を推察し得るデータ処理装置、データ処理方法などを提案しようとするものである。
かかる課題を解決するため本発明においては、データの結合に係る項目の情報に基づいて、過去のセンサデータと業務データとを結合し、前記過去のセンサデータの項目と前記業務データの項目とに基づいて項目間のデータ関係を特定する過去関係特定部と、リアルタイムのセンサデータの項目間のデータ関係を特定するリアルタイム関係特定部と、前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係との類似度を算出する類似度算出部と、前記類似度算出部により算出された類似度がしきい値を超える前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係とを前記過去のセンサデータの項目と前記リアルタイムのセンサデータの項目とにより対応付けて出力する出力制御部と、を設けるようにした。
また本発明においては、過去関係特定部が、データの結合に係る項目の情報に基づいて、過去のセンサデータと業務データとを結合し、前記過去のセンサデータの項目と前記業務データの項目とに基づいて項目間のデータ関係を特定する第1のステップと、リアルタイム関係特定部が、リアルタイムのセンサデータの項目間のデータ関係を特定する第2のステップと、類似度算出部が、前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係との類似度を算出する第3のステップと、出力制御部が、前記類似度算出部により算出された類似度がしきい値を超える前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係とを前記過去のセンサデータの項目と前記リアルタイムのセンサデータの項目とにより対応付けて出力する第4のステップと、を設けるようにした。
上記構成によれば、例えば、過去のセンサデータと業務データとに基づいて特定された項目間のデータ関係と、リアルタイムのセンサデータに基づいて特定された項目間のデータ関係とが対応付けられて出力されるので、リアルタイムのセンサデータと業務データとの対応関係を把握することにより、データ関係の変化の原因を推察できるようになる。
本発明によれば、データ分析の信頼性を高めることができる。
以下図面について、本発明の一実施の形態を詳述する。本実施の形態では、列車の状態をリアルタイムにモニタリングするケースを例に挙げて説明する。
(1)第1の実施の形態
図1において、1は全体として第1の実施の形態によるデータ処理システムを示す。データ処理システム1では、センサ110は、自然現象、人工物の位置、振動、熱、音などの状態量を計測してデータを出力可能なセンサであり、一または複数設けられている。センサ110は、データ処理装置120と通信可能に接続される。例えば、センサ110は、データ処理装置120に直接接続されてもよいし、ネットワーク130を経由してデータ処理装置120に接続されてもよいし、赤外線通信、近距離無線通信などのパーソナルエリアネットワーク140を経由してエッジサーバ150に接続され、さらにネットワーク130を経由してデータ処理装置120に接続されてもよい。
図1において、1は全体として第1の実施の形態によるデータ処理システムを示す。データ処理システム1では、センサ110は、自然現象、人工物の位置、振動、熱、音などの状態量を計測してデータを出力可能なセンサであり、一または複数設けられている。センサ110は、データ処理装置120と通信可能に接続される。例えば、センサ110は、データ処理装置120に直接接続されてもよいし、ネットワーク130を経由してデータ処理装置120に接続されてもよいし、赤外線通信、近距離無線通信などのパーソナルエリアネットワーク140を経由してエッジサーバ150に接続され、さらにネットワーク130を経由してデータ処理装置120に接続されてもよい。
データ処理装置120は、センサ110により取得された状態量を示すデータ(センサデータ)、業務サーバ160により取得された各種の業務に係るデータ(業務データ)を入力としてデータ処理を行い、データ処理の結果を出力する。
エッジサーバ150は、センサ110間の通信処理、センサデータの一次処理などを行い、センサデータをデータ処理装置120に集約するためのネットワーク帯域を削減する。また、例えば、エッジサーバ150は、センサ110における負荷の高い処理を処理することで、センサ110の性能によらない高速な処理を実現し、データ処理装置120とのリアルタイムの通信を行う。エッジサーバ150は、センサ110と物理的に近い場所に設けられることが好適である。
業務サーバ160は、業務データを蓄積する。業務サーバ160は、一または複数設けられている。業務サーバ160は、データ処理装置120と通信可能に接続される。業務サーバ160は、例えば、ネットワーク130を経由してデータ処理装置120に接続される。
ここで、本実施の形態では、業務データをネットワーク130経由でデータ処理装置120に入力する構成を例に挙げて説明するが、これに限られるものではなく、ポータブルハードディスク、USB(Universal Serial Bus)メモリ、DVD(Digital Versatile Disc)等の記憶媒体を介してオフラインでデータ処理装置120に入力する構成であってもよい。
なお、データ処理装置120、エッジサーバ150、および業務サーバ160については、パーソナルコンピュータ、モバイルコンピュータ、ワークステーション、携帯電話、スマートフォンなどの計算機により実現することができる。
図2は、データ処理装置120に係る構成の一例を示す図である。データ処理装置120は、主制御部210、記憶部220、入力部230、出力部240、および通信部250を含んで構成される。主制御部210、記憶部220、入力部230、出力部240、および通信部250は、通信線260(内部バス)を介してデータの交換を行う。
主制御部210は、例えばCPU(Central Processing Unit)であり、ハードウェアの制御、プログラムの実行処理などを行う。記憶部220は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等であり、各種のプログラム(データ処理プログラム221、入出力プログラム222)、各種のデータ(業務データ定義テーブル223、取得データ項目定義テーブル224、過去データテーブル群225、ネットワークデータテーブル群226等)を記憶する。
データ処理装置120の機能(メイン制御部2211、データ取得部2212、過去関係特定部2213、リアルタイム関係特定部2214、類似度算出部2215、出力制御部2216など)は、例えば、CPUがROMに格納されたプログラムをRAMに読み出して実行すること(ソフトウェア)により実現されてもよいし、専用の回路などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、データ処理装置120の機能の一部は、データ処理装置120と通信可能な他の計算機(コンピュータ)により実現されてもよい。
メイン制御部2211は、データ分析者による各種の指示を入力部230を介して受け付けたり、データ処理の結果を出力部240に出力したりする。
データ取得部2212は、センサ110のセンサデータをリアルタイムに取得して記憶部220に記憶したり、記憶部220に記憶されている情報を読み込んだりする。
過去関係特定部2213は、データの結合に係る項目の情報(例えば、業務データ定義テーブル223)に基づいて、過去のセンサデータと業務データとを結合し、過去のセンサデータの項目と業務データの項目とに基づいて項目間のデータ関係を特定(例えば、後述の過去ネットワークデータを生成)する。
リアルタイム関係特定部2214は、リアルタイムのセンサデータの項目間のデータ関係を特定(例えば、後述のリアルタイムネットワークデータを生成)する。
類似度算出部2215は、過去関係特定部2213で特定されたデータ関係とリアルタイム関係特定部2214で特定されたデータ関係との類似度を算出する。
出力制御部2216は、類似度算出部2215により算出された類似度がしきい値を超える過去関係特定部2213で特定されたデータ関係とリアルタイム関係特定部2214で特定されたデータ関係とを過去のセンサデータの項目とリアルタイムのセンサデータの項目とにより対応付けて出力する(表示装置での表示、プリンタでの印刷、電子メールによる送信、ファイル出力、音声出力などするように、メイン制御部2211に指示を出す)。
入力部230は、キーボード、ポインティングデバイスなどであり、システム管理者、データ分析者等からのプログラムの実行の開始指示、中止指示等の入力を行う。出力部240は、ディスプレイ、スピーカ等であり、プログラムの実行状態等の出力を行う。なお、入力部230と出力部240とについては、入力部230と出力部240とが一体となった装置(例えば、タッチパネル)で実現してもよい。通信部250は、例えばNIC(Network Interface Card)から構成され、他の計算機とのデータ通信を行う。
次に、データ処理装置120でのデータ処理に用いられるデータについて図3~図6を用いて説明する。
図3は、業務データ定義テーブル223の一例を示す図である。業務データ定義テーブル223には、テーブル名、有効時間、および結合キーの情報が対応付けられて格納されている。
テーブル名は、業務データを格納するテーブル(業務データテーブル)の名称を示す。有効時間は、業務データテーブルと、過去のセンサデータ(過去センサデータ)が格納されるテーブル(過去センサデータテーブル)との結合に際して有効とする過去センサデータを規定するための時間の範囲(所定の時間幅)を示す。結合キーは、業務データテーブルと過去センサデータテーブルとの結合に用いられる項目を示す。
図4は、取得データ項目定義テーブル224の一例を示す図である。取得データ項目定義テーブル224には、項目名、種別、および期間の情報が対応付けられて格納されている。
項目名は、リアルタイムに取得されるセンサデータ(リアルタイムセンサデータ)または過去データ(過去センサデータおよび業務データ)の項目の名称を示す。種別は、リアルタイムセンサデータであるか、過去データであるかの種別を示す。期間は、データ分析者が分析を行うために必要な期間を示す。
なお、取得データ項目定義テーブル224には、例えば、過去データについての情報が格納されていなくてもよい。また、例えば、取得データ項目定義テーブル224において、過去データの項目名については、全てを分析の対象とし、期間だけが個別にまたは全体として1つ登録可能であってもよい。
図5は、過去データを格納する過去データテーブル群225の一例を示す図である。
過去データテーブル群225には、例えば、過去センサデータを格納する列車センサテーブル510と、業務データを格納する在線遅れ管理テーブル520および運行管理イベントテーブル530とが含まれる。
列車センサテーブル510には、日時、列番、速度、および振動の情報が対応付けられて格納されている。日時は、センサデータに係る日時(センサデータが取得された日時、センサデータが受信された日時、センサデータが記憶された日時など)を示す。列番は、列車の番号を示す。速度は、列車の速度を示す。振動は、列車の振動を示す。
在線遅れ管理テーブル520には、日時、列番、遅れ時分の情報が対応付けられて格納されている。日時は、業務データに係る日時(業務データが取得された日時、業務データが受信された日時、業務データが記憶された日時など)を示す。列番は、列車の番号を示す。遅れ時分は、列車が遅れた時間を示す。
運行管理イベントテーブル530には、日時およびイベントの情報が対応付けられて格納されている。イベントに係る日時(イベントの情報が取得された日時、イベントの情報が受信された日時、イベントの情報が記憶された日時など)を示す。イベントは、列車に係るイベントを示す。
図6は、ネットワークグラフを生成可能なネットワークデータを格納するネットワークデータテーブル群226の一例を示す図である。ネットワークデータテーブル群226には、例えば、ノード情報テーブル610とリンク情報テーブル620とが含まれる。
ネットワークグラフは、データの項目をノードとし、項目間の繋がりをリンクとして表現するグラフである。なお、ネットワークグラフの一例を図10に示す。
ノード情報テーブル610には、項目ID、項目名、種類、および値範囲の情報が対応付けられて格納されている。
項目IDは、ネットワークグラフのノードである項目を識別可能なIDを示す。項目名は、ネットワークグラフのノードである項目の名称を示す。種類は、ネットワークグラフのノードの種類(過去データの項目であるか、リアルタイムセンサデータの項目であるか)を示す。値範囲は、ノード間の繋がりが共起関係を表す場合に、共起関係が発生する値範囲を示す。なお、項目IDには、ノード毎にユニークなIDが採番されて登録される。
リンク情報テーブル620には、始点、終点、リンク種類、値の情報が対応付けられて格納されている。
始点は、リンクの始点となるノード(項目)の項目IDを示す。終点は、リンクの終点となるノード(項目)の項目IDを示す。リンク種類は、リンクの種類(共起関係であるか、相関関係であるか)を示す。値は、リンクの強さ(共起の値または相関の値)を示す。
次に、データ処理システム1で行われる処理について図7~図9を用いて説明する。
図7は、メイン処理に係る処理手順の一例を示す図である。メイン処理では、データ分析者により、所望の分析を行うための設定が行われたり、当該設定に基づくデータ処理が開始されてデータ処理の結果が出力されたりする。
メイン制御部2211は、データ処理に係る設定の入力を受け付けたり、データ処理の結果を表示したりするための画面(データ分析用画面)を出力部240に表示する(ステップS710)。
ここで、データ分析用画面について図10を用いて説明する。図10は、データ分析用画面の一例(以下では、データ分析用画面1000を例に挙げて説明する。)を示す図である。
データ分析用画面1000は、取得するリアルタイムセンサデータの項目および期間を設定(追加、削除など)するリアルタイムセンサデータ設定部1010と、当該リアルタイムセンサデータに対応付ける過去データの項目および期間を設定(追加、削除など)する過去データ設定部1020と、データ処理の開始、データ分析の終了などを指示するための指示部1030と、データ処理の結果を表示する結果表示部1040とを含んで構成される。
リアルタイムセンサデータ設定部1010では、対象となる項目のテキストボックス1011への入力が行われ、対象となる期間のリスト1012からの選択が行われ、追加ボタン1013が押下されることで、リアルタイムセンサデータの設定が更新され、設定された内容(設定内容)が設定内容リスト1014に表示される。また、設定内容リスト1014おいて削除したい設定内容が選択され、削除ボタン1015が押下されることで、リアルタイムセンサデータの設定が更新される。なお、更新された設定内容は、取得データ項目定義テーブル224に反映される。
過去データ設定部1020では、対象となる項目のテキストボックス1021への入力が行われ、対象となる期間のテキストボックス1022への入力が行われ、追加ボタン1023が押下されることで、過去データの設定が更新され、設定内容が設定内容リスト1024に表示される。また、設定内容リスト1024おいて削除したい設定内容が選択され、削除ボタン1025が押下されることで、過去データの設定が更新される。なお、更新された設定内容は、取得データ項目定義テーブル224に反映される。
指示部1030は、リアルタイムセンサデータと業務データとを対応付ける処理(データ対応付け処理)の開始を指示するための開始ボタン1031と、データ分析の終了を指示する(データ分析用画面1000を閉じる)ための終了ボタン1032とを含んで構成される。
対応付け処理の結果(対応付け結果)がネットワークグラフとして結果表示部1040により表示されることで、データ分析者は、リアルタイムセンサデータに対応する業務データを把握することができるので、分析作業を容易に行うことができるようになる。
続いて、メイン制御部2211は、データ分析者から設定の変更が指示されたか否か(項目の追加若しくは削除、または、期間の追加若しくは削除が指示されたか否か)を判定する(ステップS720)。メイン制御部2211は、設定の変更が指示されたと判定した場合、ステップS730に処理を移し、設定の変更が指示されていないと判定した場合、ステップS740に処理を移す。
ステップS730では、メイン制御部2211は、更新された設定内容で取得データ項目定義テーブル224を更新し、ステップS720に処理を移す。
ステップS740では、メイン制御部2211は、開始ボタン1031が押下中であるか否かを判定する。メイン制御部2211は、開始ボタン1031が押下中であると判定した場合、ステップS750に処理を移し、開始ボタン1031が押下中でないと判定した場合、ステップS760に処理を移す。
ステップS750では、データ対応付け処理が実行され、ステップS720に処理を移す。なお、データ対応付け処理については、図8を用いて後述する。
ステップS760では、メイン制御部2211は、終了ボタン1032が押下されたか否かを判定する。メイン制御部2211は、終了ボタン1032が押下されたと判定した場合、データ分析用画面1000を閉じて(消去して)メイン処理を終了し、終了ボタン1032が押下されていないと判定した場合、ステップS720処理を移す。
なお、メイン処理では、開始ボタン1031の押下中は、定期的(所定の時間毎)に繰り返しステップS750を実行し、リアルタイムセンサデータと業務データとの項目の関係を、継続的に表示することができる。前回の実行時と対応付く項目、リンクの強さ等が変化した場合には、当該変化をアニメーションで強調表示したり、アイコンの色、形状などを変えて強調表示したりしてもよい。かかる構成によれば、データ分析者は、前回の実行時と対応付く項目、リンクの強さ等の変化を迅速かつ的確に把握できるようになる。
次に、データ対応付け処理について図8を用いて説明する。図8は、データ対応付け処理に係る処理手順の一例を示す図である。
最初に、データ取得部2212は、取得データ項目定義テーブル224を読み込む(ステップS810)。
続いて、過去データに基づいて、過去ネットワークデータ生成処理が行われる(ステップS820)。過去ネットワークデータ生成処理では、過去ネットワークデータ(過去データに係る共起ネットワークグラフまたは相関ネットワークグラフを生成可能なデータ)が生成される。なお、過去ネットワークデータ生成処理については、図9を用いて後述する。
続いて、リアルタイム関係特定部2214は、データ取得部2212を介してリアルタイムセンサデータを取得し、リアルタイムネットワークデータを生成する(ステップS830)。データ処理の対象となるリアルタイムセンサデータは、取得データ項目定義テーブルの種別が「リアルタイム」の項目であり、期間に指定されたレコード分である。リアルタイムネットワークデータの生成方法は、後述のステップS960およびステップS970と同様であるので、その説明については省略する。
続いて、類似度算出部2215は、ステップS820で生成された一または複数の過去ネットワークデータと、ステップS830で生成された一または複数のリアルタイムネットワークデータとの類似度を算出する(ステップS840)。
ここで、共起関係の場合、類似度算出部2215は、過去ネットワークデータとリアルタイムネットワークデータとで、リンクの始点の項目(項目ID)とリンクの終点の項目(項目ID)とが同じもの(共通するもの)を探し、下記の式を用いてリンクの重みwを計算する。
例えば、ステップS820で算出した速度と振動との共起の値が「0.4」、速度の値範囲が「10-30km/h」、振動の値範囲が「50-70mm」であり、ステップS830で算出した速度と振動との共起の値が「0.6」、速度の値範囲が「10-30km/h」、振動の値範囲が「70-90mm」である場合、重みwは、「0.42」(1/(0.6-0.4+1))×(1/(0+1+1))となる(小数点以下第3位を四捨五入)。
同様に、類似度算出部2215は、リンクの始点の項目とリンクの終点の項目とが同じものについて全て重みを計算し、計算した重みの総和を類似度とする。
これにより、共起の値の差が小さいほど、類似度は大きくなり、値の範囲の差が小さいほど、類似度は大きくなる。また、過去関係特定部2213で生成された過去ネットワークデータの項目と、リアルタイム関係特定部2214で生成されたリアルタイムネットワークデータの項目とで共通する項目の項目間について重みを計算し、計算した重みの総和を類似度として算出することで、センサデータの項目数がリアルタイムセンサデータと過去データとで異なっている場合でも、類似度を計算することができる。
また、相関関係の場合、類似度算出部2215は、共起関係の場合と同様にリンクの始点の項目とリンクの終点の項目とが同じものを探し、重み(当該リンクの値の差+1の逆数)を計算する。例えば、ステップS820で速度と振動との値が「0.7」、ステップS830で速度と振動との値が「0.5」である場合、重みは、「0.83」(1/(0.7-0.5+1))となる(小数点以下第3位を四捨五入)。なお、相関関係の場合も、類似度算出部2215は、リンクの始点の項目とリンクの終点の項目とが同じものについて全て重みを計算し、計算した重みの総和を類似度とする。
これにより、相関の値の差が小さいほど、類似度は大きくなる。また、センサデータの項目数がリアルタイムセンサデータと過去データとで異なっている場合でも、類似度を計算することができる。
続いて、出力制御部2216は、類似度がしきい値以上のネットワークデータ(過去ネットワークデータとリアルタイムネットワークデータとの組合せ)があるか否かを調べる(ステップS850)。出力制御部2216は、類似度がしきい値以上のネットワークデータがあると判定した場合、ステップS860に処理を移し、類似度がしきい値以上のネットワークデータがないと判定した場合、データ対応付け処理を終了する。
ステップS860では、出力制御部2216は、リアルタイムセンサデータと業務データとが対応付けられたネットワークグラフ等を含むデータ処理の結果をデータ分析用画面1000の結果表示部1040に表示するようにメイン制御部2211に指示を出し、データ対応付け処理を終了する。
次に、過去ネットワークデータ生成処理について図9を用いて説明する。図9は、過去ネットワークデータ生成処理に係る処理手順の一例を示す図である。
最初に、データ取得部2212は、業務データ定義テーブル223を読み込む(ステップS910)。
続いて、過去関係特定部2213は、取得データ項目定義テーブル224において種別が「過去」として登録された項目名を含むテーブルを、過去データテーブル群225から検索する(ステップS920)。以下では、図11に示すように、過去センサデータに関して列車センサテーブル510が検索され、業務データに関して在線遅れ管理テーブル520および運行管理イベントテーブル530が検索されたケースを例に挙げて説明する。
続いて、過去関係特定部2213は、業務データ定義テーブル223を参照し、ステップS920で検索したテーブル名に該当するレコードが存在するか否か(結合キーが指定されているか否か)を判定する(ステップS930)。過去関係特定部2213は、結合キーが指定されていない(テーブル名に該当するレコードが存在しない)と判定した場合、テーブルを結合できないと判断し、ステップS940に処理を移し、結合キーが指定されていると判定した場合、ステップS950に処理を移す。
ステップS940では、過去関係特定部2213は、「指定された項目ではリアルタイムセンサデータと業務データのとの対応付けができません」というメッセージを画面表示するように出力制御部2216に指示し、過去ネットワークデータ生成処理を終了する。なお、出力制御部2216は、データ処理の結果として上記メッセージをデータ分析用画面1000の結果表示部1040に表示するようにメイン制御部2211に指示を出す。
ステップS950では、過去関係特定部2213は、結合キーを用いて、検索された過去センサデータテーブル(過去センサデータ)と業務データテーブル(業務データ)とを結合する。
例えば、図11のケースでは、過去関係特定部2213は、列車センサテーブル510と在線遅れ管理テーブルと520とを日時と列番とをキーとして結合し、列車センサテーブル510と運行管理イベントテーブル530とを日時をキーとして結合し、結合テーブル1100を生成する。
ここで、業務データの記録回数(記録頻度)は、一般にセンサデータのデータセンシング回数(センシング頻度)に比べて少なく、かつ、レコードの日時も一致しないことが多いため、そのままでは結合できるレコードが少ないことが考えられる。そこで、業務データ定義テーブル223の有効時間に指定された範囲内であれば、同一の時間とみなして、レコードを結合するように構成されている。
より具体的には、運行管理イベントテーブル530と列車センサテーブル510との結合キーである日時は「4/5 11:45」と「4/5 12:00」または「4/5 12:01」とで合っていないが、有効時間を30分と指定しているため、「4/5 11:45」から「4/5 12:15」までの日時の過去センサデータのレコードと結合するようにする。このように、予め定められた所定の時間幅にある時間の情報を同一の時間とみなして、過去センサデータと業務データとを結合することにより、業務データのデータ記録回数(記録頻度)が少なくても、センサデータと結合できるようになる。
続いて、過去関係特定部2213は、一定時間ごとのデータ関係(共起関係または相関関係)を計算する(ステップS960)。ここで、ステップS950にて結合したテーブルのレコードを、例えば、日時が所定の時間(例えば、2分)毎の複数のレコードグループに分割する。そして、各グループについて、項目間の共起関係または相関関係を計算する。例えば、過去関係特定部2213は、データ値を一定の範囲ごと(例えば、速度である場合、20km/hごとに、0-20km/h、21-40km/h、41-60km/h、61-80km/h、81km/h以上の5つの範囲レベル)に分割し、アソシエーション・ルール抽出の支持度(条件と結論とを同時に満たすトランザクションが全トランザクションに占める割合)を計算(共起関係を計算)する。また、例えば、データの項目がどちらも数値データである場合、過去関係特定部2213は、ピアソンの積率相関係数、スピアマンの順位相関係数などを計算(相関関係を計算)する。
図11のケースでは、過去関係特定部2213は、結合テーブル1100の項目数「6つ」についての総当たりの組合せ「15通り(n(n-1)/2。なお、nは、項目数を示す。」について、かつ、レコードグループ毎に、共起関係の計算を繰り返す。付言するならば、データの項目が全て数値データである場合、過去関係特定部2213は、相関関係の計算を繰り返す。
続いて、過去関係特定部2213は、ステップS960で計算した結果を項目間の共起関係または相関関係を示す過去ネットワークデータとしてネットワークデータテーブル群226に格納し(ステップS970)、過去ネットワークデータ生成処理を終了する。なお、ネットワークデータテーブル群226では、ステップS960のレコードグループ毎にそれぞれ過去ネットワークデータが格納される。
なお、上述したように、リアルタイム関係特定部2214も、ステップS960およびステップS970の処理を行う。この際、リアルタイム関係特定部2214は、日時については、過去データとリアルタイムセンサデータとでは当然に異なるので、リアルタイムネットワークデータの生成では、ノードとして設定しない。また、列番については、ノードとして設定する例を図6、図11等に示すが、ノードとして設定しなくてもよい。列番をノードとして設定しないことにより、列車が違っていても、所定の傾向(速度が大きいのに振動が大きい、騒音が大きい等の傾向)が同様の異なる列車を対象に処理できるようになる。
次に、対応付け結果の表示方法について図10を参照して説明する。
例えば、出力制御部2216は、ステップS850で選択されたしきい値以上の類似度のリアルタイムネットワークデータを表示し、当該類似度の算出対象とされた過去ネットワークデータを重ねて表示するようにメイン制御部2211に指示を出す。この際、リアルタイムセンサデータの項目と業務データの項目とは識別可能に出力部240に表示される。例えば、図10に示すように、リアルタイムセンサデータの項目と、業務データの項目とは、異なる種類のデータであることがわるように、アイコンの色、形状などの表示態様は、異なる態様で表示される。かかる表示態様によれば、データ分析者は、リアルタイムセンサデータの項目と業務データの項目とを迅速かつ的確に把握できるようになる。
また、出力制御部2216は、表示する情報が所定の数よりも多い場合、表示する情報が一の画面に収まらない場合などは、表示する情報を制限するようにしてもよい。
例えば、過去ネットワークデータについては、共起の値(または相関の値)が上位(例えば、上位10個)のリンクのノードを表示するようにしてもよい。これにより、関連性の高い情報をより迅速に把握できるようになる。
また、例えば、しきい値以上のものが複数ある場合には、類似度の高い順から一定数以内に限定して表示するようにしてもよい。
また、出力制御部2216は、項目間を繋ぐ線の色、形状、太さなどの表示態様を、データ関係(相関関係または共起関係)の強さに応じて異ならせて表示するようにしてもよい。このように、過去関係特定部2213により算出された項目間の繋がりの強さ(共起の値または相関の値)と、リアルタイム関係特定部2214により算出された項目間の繋がりの強さ(共起の値または相関の値)とに基づいて、項目間の繋がりを示すリンクの表示態様を異ならせて表示することにより、データ分析者は、データの関連性を迅速かつ的確に把握できるようになる。
ここで、共起関係の場合、同じ項目名であっても、リアルタイムセンサデータと過去センサデータとで値範囲が異なるものがある場合、当該項目と、当該項目にリンクが接続する業務データの項目との間のリンクの強さは、当該項目の過去センサデータと業務データのリンクの強さに、値の範囲レベルの差の逆数を掛けたものとしてもよい。これにより、値の範囲レベルの差が大きい程リンクの強さを弱くすることができる。
上述した構成によれば、リアルタイムセンサデータを用いたシステムにおいて、項目間のデータ関係(共起関係または相関関係)に変化が生じたときに、その原因を過去の業務データから容易に推察することができ、分析作業の効率を高めることができる。
なお、本実施の形態では、列車データの例で説明したが、これに限定されるものではなく、他の業務分野のデータに対して適用しても構わない。本発明は、パーソナルコンピュータ、ワークステーション、サーバ、モバイルコンピュータ、携帯電話、車載端末、ICカード、センサなどの情報処理装置を含んで構成されるシステムにおいて、データ処理を行う方法および装置に関するものであり、リアルタイムに取得可能なセンサデータ、および業務データを用いてデータ処理を行う全ての分野において利用可能である。
(2)他の実施の形態
なお上述の実施の形態においては、本発明をデータ処理システム1に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のデータ処理システム、データ処理装置、データ処理方法などに広く適用することができる。
なお上述の実施の形態においては、本発明をデータ処理システム1に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のデータ処理システム、データ処理装置、データ処理方法などに広く適用することができる。
また上述の実施の形態においては、列車の状態をリアルタイムにモニタリングするケースを例に挙げて述べたが、本発明はこれに限らず、工場の機器の状態をリアルタイムにモニタリングするケースに適用してもよいし、ストレージ装置の状態をリアルタイムにモニタリングするケースに適用してもよいし、他のケースに適用するようにしてもよい。本発明は、所定の対象の状態をリアルタイムにモニタリングするあらゆるケースに適用することができる。
また上述の実施の形態においては、説明の便宜上、XXテーブルを用いて各種のデータを説明したが、データ構造は限定されるものではなく、XX情報などと表現してもよい。
また、上記の説明において各機能を実現するプログラム、テーブル、データ等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
1……データ処理システム、110……センサ、120……データ処理装置、150……エッジサーバ、160……業務サーバ、2211……メイン制御部、2212……データ取得部、2213……過去関係特定部、2214……リアルタイム関係特定部、2215……類似度算出部、2216……出力制御部。
Claims (8)
- データの結合に係る項目の情報に基づいて、過去のセンサデータと業務データとを結合し、前記過去のセンサデータの項目と前記業務データの項目とに基づいて項目間のデータ関係を特定する過去関係特定部と、
リアルタイムのセンサデータの項目間のデータ関係を特定するリアルタイム関係特定部と、
前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係との類似度を算出する類似度算出部と、
前記類似度算出部により算出された類似度がしきい値を超える前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係とを前記過去のセンサデータの項目と前記リアルタイムのセンサデータの項目とにより対応付けて出力する出力制御部と、
を備えることを特徴とするデータ処理装置。 - 前記過去関係特定部は、予め定められた所定の時間幅にある時間の情報を同一の時間とみなして、前記過去のセンサデータと前記業務データとを結合する、
ことを特徴とする請求項1に記載のデータ処理装置。 - 前記類似度算出部は、前記過去関係特定部で特定されたデータ関係の項目と、前記リアルタイム関係特定部で特定されたデータ関係の項目とで共通する項目の項目間について重みを計算し、計算した重みの総和を類似度として算出する、
ことを特徴とする請求項1に記載のデータ処理装置。 - 前記過去関係特定部は、前記過去のセンサデータと前記業務データとに基づいて項目間の共起の値を算出し、
前記リアルタイム関係特定部は、前記リアルタイムのセンサデータに基づいて項目間の共起の値を算出し、
前記類似度算出部は、前記過去関係特定部により算出された共起の値および前記値の範囲を示す値範囲と、前記リアルタイム関係特定部により算出された共起の値と前記値の範囲を示す値範囲とに基づいて、類似度を算出する、
ことを特徴とする請求項3に記載のデータ処理装置。 - 前記出力制御部は、前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係とについて、前記業務データの項目と、前記リアルタイムのセンサデータの項目とを識別可能に表示装置に表示する、
ことを特徴とする請求項3に記載のデータ処理装置。 - 前記リアルタイムのセンサデータは、所定の時間毎に取得され、
前記出力制御部は、第1のリアルタイムのセンサデータと、前記第1のリアルタイムのセンサデータに続いて取得された第2のリアルタイムのセンサデータとで、表示する項目に係る情報が変化した場合、変化した情報を強調表示する、
ことを特徴とする請求項5に記載のデータ処理装置。 - 前記過去関係特定部は、前記過去のセンサデータと前記業務データとに基づいて、項目間の繋がりの強さを示す値を算出し、
前記リアルタイム関係特定部は、前記リアルタイムのセンサデータに基づいて、項目間の繋がりの強さを示す値を算出し、
前記出力制御部は、前記過去関係特定部により算出された項目間の繋がりの強さと、前記リアルタイム関係特定部により算出された項目間の繋がりの強さとに基づいて、項目間の繋がりを示すリンクの表示態様を異ならせて表示する、
ことを特徴とする請求項5に記載のデータ処理装置。 - 過去関係特定部が、データの結合に係る項目の情報に基づいて、過去のセンサデータと業務データとを結合し、前記過去のセンサデータの項目と前記業務データの項目とに基づいて項目間のデータ関係を特定する第1のステップと、
リアルタイム関係特定部が、リアルタイムのセンサデータの項目間のデータ関係を特定する第2のステップと、
類似度算出部が、前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係との類似度を算出する第3のステップと、
出力制御部が、前記類似度算出部により算出された類似度がしきい値を超える前記過去関係特定部で特定されたデータ関係と前記リアルタイム関係特定部で特定されたデータ関係とを前記過去のセンサデータの項目と前記リアルタイムのセンサデータの項目とにより対応付けて出力する第4のステップと、
を備えることを特徴とするデータ処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020207033496A KR102562115B1 (ko) | 2018-05-22 | 2019-03-13 | 데이터 처리 장치 및 데이터 처리 방법 |
US17/056,909 US11268883B2 (en) | 2018-05-22 | 2019-03-13 | Data processing device and data processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-098282 | 2018-05-22 | ||
JP2018098282A JP6906477B2 (ja) | 2018-05-22 | 2018-05-22 | データ処理装置およびデータ処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019225125A1 true WO2019225125A1 (ja) | 2019-11-28 |
Family
ID=68616290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/010430 WO2019225125A1 (ja) | 2018-05-22 | 2019-03-13 | データ処理装置およびデータ処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11268883B2 (ja) |
JP (1) | JP6906477B2 (ja) |
KR (1) | KR102562115B1 (ja) |
WO (1) | WO2019225125A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114489031A (zh) * | 2022-01-26 | 2022-05-13 | 上海联适导航技术股份有限公司 | 一种基于卫星平地整平作业过载控制系统及方法 |
WO2023210252A1 (ja) * | 2022-04-28 | 2023-11-02 | 株式会社シーズ | 情報処理システム、情報処理方法、及びプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7319911B2 (ja) | 2019-12-26 | 2023-08-02 | 株式会社東芝 | 列車情報管理装置 |
JP7022173B2 (ja) * | 2020-06-09 | 2022-02-17 | 株式会社日立製作所 | コンピューティングサービス管理装置、方法、およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006039786A (ja) * | 2004-07-23 | 2006-02-09 | Chugoku Electric Power Co Inc:The | プラントデータ評価システムと方法、復水器真空度監視方法、データマイニング方法、および、プログラム |
JP2009289221A (ja) * | 2008-06-02 | 2009-12-10 | Fujitsu Ltd | 監視対象システムの障害等の予兆を検出する監視装置及び監視方法 |
WO2016088230A1 (ja) * | 2014-12-04 | 2016-06-09 | 株式会社 日立製作所 | 因果関係分析装置、及び因果関係分析方法 |
WO2016136198A1 (ja) * | 2015-02-25 | 2016-09-01 | 日本電気株式会社 | システム監視装置、システム監視方法、及び、システム監視プログラムが記録された記録媒体 |
WO2018078971A1 (ja) * | 2016-10-25 | 2018-05-03 | 株式会社日立製作所 | データ分析支援装置及びデータ分析支援システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3213097B2 (ja) * | 1992-12-28 | 2001-09-25 | シスメックス株式会社 | 粒子分析装置及び方法 |
US7406199B2 (en) * | 2004-05-12 | 2008-07-29 | Northrop Grumman Corporation | Event capture and filtering system |
US7529991B2 (en) * | 2007-01-30 | 2009-05-05 | International Business Machines Corporation | Scoring method for correlation anomalies |
US7716012B2 (en) * | 2008-02-13 | 2010-05-11 | Bickel Jon A | Method for process monitoring in a utility system |
JP5794034B2 (ja) | 2011-08-18 | 2015-10-14 | 富士ゼロックス株式会社 | 障害予測システム及びプログラム |
JP6555061B2 (ja) | 2015-10-01 | 2019-08-07 | 富士通株式会社 | クラスタリングプログラム、クラスタリング方法、および情報処理装置 |
-
2018
- 2018-05-22 JP JP2018098282A patent/JP6906477B2/ja active Active
-
2019
- 2019-03-13 WO PCT/JP2019/010430 patent/WO2019225125A1/ja active Application Filing
- 2019-03-13 US US17/056,909 patent/US11268883B2/en active Active
- 2019-03-13 KR KR1020207033496A patent/KR102562115B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006039786A (ja) * | 2004-07-23 | 2006-02-09 | Chugoku Electric Power Co Inc:The | プラントデータ評価システムと方法、復水器真空度監視方法、データマイニング方法、および、プログラム |
JP2009289221A (ja) * | 2008-06-02 | 2009-12-10 | Fujitsu Ltd | 監視対象システムの障害等の予兆を検出する監視装置及び監視方法 |
WO2016088230A1 (ja) * | 2014-12-04 | 2016-06-09 | 株式会社 日立製作所 | 因果関係分析装置、及び因果関係分析方法 |
WO2016136198A1 (ja) * | 2015-02-25 | 2016-09-01 | 日本電気株式会社 | システム監視装置、システム監視方法、及び、システム監視プログラムが記録された記録媒体 |
WO2018078971A1 (ja) * | 2016-10-25 | 2018-05-03 | 株式会社日立製作所 | データ分析支援装置及びデータ分析支援システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114489031A (zh) * | 2022-01-26 | 2022-05-13 | 上海联适导航技术股份有限公司 | 一种基于卫星平地整平作业过载控制系统及方法 |
WO2023210252A1 (ja) * | 2022-04-28 | 2023-11-02 | 株式会社シーズ | 情報処理システム、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR102562115B1 (ko) | 2023-08-02 |
US20210302276A1 (en) | 2021-09-30 |
JP2019203759A (ja) | 2019-11-28 |
US11268883B2 (en) | 2022-03-08 |
JP6906477B2 (ja) | 2021-07-21 |
KR20210002594A (ko) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019225125A1 (ja) | データ処理装置およびデータ処理方法 | |
US11614856B2 (en) | Row-based event subset display based on field metrics | |
US10496816B2 (en) | Supplementary activity monitoring of a selected subset of network entities | |
US11798209B1 (en) | Systems and methods for rendering a third party visualization in response to events received from search queries | |
US11062016B2 (en) | Systems and methods for verifying user credentials for search | |
JP5020776B2 (ja) | 情報セキュリティ対策決定支援装置及び方法ならびにコンピュータプログラム | |
US11042539B2 (en) | Identifying field values based on user-selected extraction mode | |
JP2019203759A5 (ja) | ||
JP5373870B2 (ja) | 予測装置、予測方法、及び、プログラム | |
US11921737B2 (en) | ETL workflow recommendation device, ETL workflow recommendation method and ETL workflow recommendation system | |
JP6480991B2 (ja) | 検索装置、検索方法及び検索プログラム | |
JP2006201926A (ja) | 類似文書検索システム、類似文書検索方法、およびプログラム | |
JP5127553B2 (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP5515117B2 (ja) | データ処理装置 | |
JP5673391B2 (ja) | 情報処理装置、ログ処理方法、及びプログラム | |
JP7239628B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP2020102048A (ja) | ソフトウェア製品提案システム | |
KR20230114700A (ko) | 맞춤형 통계 분석 서비스를 제공하는 시스템 및 시스템의 동작 방법 | |
CN117743126A (zh) | 一种搜索引擎的搜索质量评估方法、装置、计算机设备 | |
JP2021012592A (ja) | データ処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19808101 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 20207033496 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19808101 Country of ref document: EP Kind code of ref document: A1 |