JP6833604B2 - データ処理装置およびデータ処理方法 - Google Patents

Description

本発明は、データ処理装置およびデータ処理方法に関するものであり、具体的には、業務システム間でのデータ不整合に適宜に対応して、精度良好なデータ分析を可能とする技術に関する。

近年、業務システムが保有するデータを分析し、その結果を業務コスト削減やサービス向上に活用する取り組みが進んでいる。一方、そうしたデータ分析に際しては、大量の業務データから不正・不要なデータを除去する処理や、対象データを分析に適した形式へ変換する処理など、いわゆるデータクレンジング処理が必要となる。

上述のデータクレンジング処理を実現する従来技術の一つとして、機械学習を用いてセンサー異常値を検知する方法がある（例えば非特許文献１参照）。本方法では、自動車のセンサーデータにおける代表的な４種類の異常値を対象とし、特徴量として「平均値」、「標準偏差」などの計１２種類の値を算出し、これらに関して機械学習技術を適用することで、異常値パターンの検出を行うことができる。

他方、データクレンジング処理の観点においては、複数の業務システムのデータを分析対象とするが故の課題が存在する。そこで、そうした課題を考慮してデータ処理を行う従来技術の一つとして、第一の業務を実行する第一の業務装置と、第二の業務を実行する第二の業務装置と、前記第一の業務装置と前記第二の業務装置による業務状況を管理する事業連携装置と、前記事業連携装置を介して前記第一の業務装置及び前記第二の業務装置に対してサービス提供を要求するサービス提供装置と、を有するデータ連携システムであって、前記事業連携装置は、前記第一の業務装置と前記第二の業務装置から逐次通知される業務ごとの業務状況を登録した業務状況管理表と、前記サービス提供装置からのサービス要求の種別と前記第一の業務装置と前記第二の業務装置が取り得る前記業務状況の組み合わせごとに、前記サービス要求に係るサービスが提供可能か否かを定義した処理対応表と、前記第一の業務装置と前記第二の業務装置のいずれが前記サービス要求に係るサービスを提供するかを定義したサービス管理表と、前記第一の業務装置と前記第二の業務装置による業務が取り得る業務状況ごとに当該業務状況によって影響を受けるサービスを定義した業務プロセス管理表と、前記サービス提供装置からサービス要求を受け付ける手段と、前記業務プロセス管理表から、前記サービス要求に係るサービスの提供に影響を与える業務を特定する手段と、前記業務状況管理表から、前記サービスの提供に影響を与える業務の現在の業務状況を取得する手段と、前記処理対応表に基づき、前記現在の業務状況において前記サービス要求に係るサービスが提供可能か否かを判断する手段と、前記サービスの提供が可能と判断した場合は、前記サービス管理表に基づき前記サービスの提供を行う業務装置が前記第一の業務装置と前記第二の業務装置のいずれであるか特定する手段と、前記サービスの提供を行う業務装置に対し前記サービスの実行要求を送信する手段と、前記サービスの提供を行う業務装置から前記サービスの実行要求に対する応答を受け付ける手段と、前記応答を前記サービス提供装置に通知する手段と、を有することを特徴とするデータ連携システム（特許文献１参照）などが提案されている。

上述の従来技術では、業務状況の組合せごとに、サービス要求に係るサービスが提供可能か否かを定義した処理対応表を用いることで、複数の業務システム間の業務状況の影響を考慮したサービスを提供することができる。

特開２０１３−５８１１６号公報

栗原慶典、根山亮、三宮千尋、那和一成、機械学習によるセンサー異常値検出、ＦＩＴ２０１５（第１４回情報科学技術フォーラム）、第２分冊ｐ１７９−１８２（第１８０頁）

しかしながらいずれの従来技術においても、複数の業務システムのデータを分析対象とする際の、業務システム間のデータ不整合を検知し、これに適宜に対処することは出来ない。

例えば、鉄道会社の線路の保守状況を管理する保線管理システムの計測データと、架線の保守状況を管理する架線管理システムの計測データとを分析対象データとし、線路摩耗と架線摩耗との相関関係を調べる分析を行うとする。

この状況に従来技術を適用しても、同じ場所に関する上述の各計測データ間でキロ程の不一致を生じているならば、これを検知できずに、そのまま異なる場所の相関を分析することとなってしまう。つまり、本来は同じ場所における線路摩耗と架線摩耗との相関を分析する必要があるにもかかわらず、それを実行出来ず、分析精度が大きく低下してしまうことにつながる。

本発明は上記課題を解決するためになされたもので、その目的は、業務システム間でのデータ不整合に適宜に対応して、精度良好なデータ分析を可能とする技術を提供することにある。

上記課題を解決する本発明のデータ処理装置は、複数の業務システム各々の業務データを格納した記憶管理部と、前記複数の業務システムを跨がって一意に認識されうるオブジェクトを前記業務データから特定する第１の処理、各業務システムの間での当該オブジェクトに関する業務データのずれに基づいて当該業務データ間の特徴を示す特徴量データを計算するに際し、当該オブジェクトが移動しない物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す位置情報のずれに基づいて前記特徴量データを計算する第２の処理、当該特徴量データに基づいて当該業務データに関するデータクレンジング処理の内容を特定する第３の処理、および、当該内容でのデータクレンジング処理を行う第４の処理、を実行する主制御部と、を有することを特徴とする。

また、本発明のデータ処理方法は、複数の業務システム各々の業務データを格納した記憶管理部を備えた情報処理装置が、前記複数の業務システムを跨がって一意に認識されうるオブジェクトを前記業務データから特定する第１の処理と、各業務システムの間での当該オブジェクトに関する業務データのずれに基づいて当該業務データ間の特徴を示す特徴量データを計算するに際し、当該オブジェクトが移動しない物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す位置情報のずれに基づいて前記特徴量データを計算する第２の処理、当該特徴量データに基づいて当該業務データに関するデータクレンジング処理の内容を特定する第３の処理と、当該内容でのデータクレンジング処理を行う第４の処理と、を実行することを特徴とする。

本発明によれば、業務システム間でのデータ不整合に適宜に対応して、精度良好なデータ分析が可能となる。

第１実施例におけるデータ処理装置を含むネットワーク構成例を示す図である。 第１実施例のデータ処理装置のハードウェア構成例を示す図である。 第１実施例におけるデータ処理方法のフロー例１を示す図である。 第１実施例の鉄道オブジェクト定義テーブルの構成例を示す図である。 第１実施例の特徴量計算プログラムが処理するデータ例を示す図である。 第１実施例におけるデータ処理方法のフロー例２を示す図である。 第１実施例のクレンジング処理定義テーブルの構成例を示す図である。 第１実施例のクレンジング処理結果画面の画面例を示す図である。 第１実施例のクレンジング処理結果ログのログデータ例を示す図である。 第２実施例におけるデータ処理方法のフロー例を示す図である。

−−−第１実施例−−−

以下、本発明の一実施形態を、図面を参照しながら詳細に説明する。図１は、本発明の第１実施例におけるデータ処理装置１０４０を含むネットワーク構成例を示す図である。

本実施例においてデータ処理装置１０４０が処理対象とする業務データは、複数の業務システムから得られるものとなる。よって、図１で例示するネットワークにおいては、データ処理装置１０４０が、ネットワーク１０３０を介して、業務システム端末１０１０および業務システム端末１０２０と通信可能に接続された構成となっている。

本構成は、例えば業務システム端末１０１０、１０２０、データ処理装置１０４０、および、データ分析処理端末１０６０を、パーソナルコンピュータやワークステーション等の計算機で、ネットワーク１０３０、１０５０をＥｔｈｅｒｎｅｔでそれぞれ構成することにより実現できる。

これら業務システム端末１０１０、１０２０は、それぞれの業務システムにおいて生じた業務データを蓄積している端末である。当該業務システム端末１０１０、１０２０らは、それぞれ業務システム自体であっても勿論よい。

一方、データ処理装置１０４０は、上述の業務システム端末１０１０、１０２０のそれぞれから、その業務データを取得し、これに対してデータ分析の前処理として必要なデータクレンジング処理を行うこととなる。また、データ処理装置１０４０は、当該データクレンジング処理を経たデータを、ネットワーク１０５０経由でデータ分析処理端末１０６０に出力可能である。

上述のデータ分析処理端末１０６０は、データ処理装置１０４０から得たデータクレンジング処理済みのデータを入力として、ユーザ等が予め指定した分析目的に応じた詳細分析（例えば相関分析やクラスタリング等）を行い、その分析結果データを出力する端末となる。

なお、本実施例においては、業務システム端末１０１０，１０２０が、業務データを、ネットワーク１０３０経由でデータ処理装置１０４０に入力している形態を想定したが、これに限定するものではない。例えば、業務データを格納したポータブルハードディスク、ＵＳＢメモリ、ＤＶＤ等の記憶媒体を、データ処理装置１０４０のインターフェイスに接続して読み取り動作を実行させ、いわゆるオフラインで業務データをデータ処理装置１０４０に入力する形態を採用しても良い。
また、本実施例ではデータ処理装置１０４０とデータ分析処理端末１０６０とを異なる
端末として構成したが、同一端末として構成しても良い。

また、上述のデータ処理装置１０４０のハードウェア構成は以下の如くとなる。図２は、第１実施例におけるデータ処理装置１０４０のハードウェア構成例を示す図である。本実施例におけるデータ処理装置１０４０は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な記憶素子で構成される記憶管理部２０５０、記憶管理部２０５０に保持される各種プログラムを実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵなどの主制御部２０１０、管理者からのプログラム実行開始指示や中止指示等の入力を受け付けるキーボードやマウスで実装される入力部２０２０、処理データの表示等を行うディスプレイ等の出力部２０３０、ネットワーク１０３０、１０５０と接続して他の装置（例：業務システム端末１０１０、１０２０やデータ分析処理端末１０６０）との通信処理を担うネットワークインターフェイス等の通信処理部２０４０、を備える。また、これらの各構成要素は、バスにより実装される通信部２０６０で互いに接続されている。

なお、記憶管理部２０５０内には、データ処理装置１０４０として必要な機能を実装する為の各種プログラム（特徴量計算プログラム２０７０、データ分類プログラム２０８０、データクレンジング処理プログラム２０９０に加えて、鉄道オブジェクト定義テーブル２１００、クレンジング処理定義テーブル２１１０、および、業務データ２１２０が少なくとも記憶されている。上述の鉄道オブジェクト定義テーブル２１００、クレンジング処理定義テーブル２１１０、および、業務データ２１２０の具体例については後述する。

以下、本実施形態におけるデータ処理方法の実際手順について図に基づき説明する。以下で説明するデータ処理方法に対応する各種動作は、データ処理装置１０４０が実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。

図３は、第１実施例におけるデータ処理方法のフロー例１を示す図である。具体的には、データ処理装置１０４０における特徴量計算プログラム２０７０の処理例を示すフローチャートである。この特徴量計算プログラム２０７０は、例えばデータ分析者からの指示に応じて実行したり、新しい業務データの取得時に実行したりするものとする。また、データ処理装置１０４０は、業務システム端末１０１０、１０２０らから、それぞれの業務データを予め取得し、記憶管理部２０５０にて業務データ２１２０として保持しているものとする。

この場合まず、データ処理装置１０４０の特徴量計算プログラム２０７０は、記憶管理部２０５０に格納している業務データ２１２０から、複数の業務システムを跨がって一意に認識されうるオブジェクトとして、鉄道オブジェクトを抽出する（ステップ３０１０）。

特徴量計算プログラム２０７０は、この抽出に際し、例えば業務データ２１２０の各カラム名や当該カラムの値を読取り、それらのうち、列車番号など予め形式等が判明している値に該当するものを、複数の業務システムを跨がって一意に認識されうるオブジェクト、この場合では鉄道オブジェクトに関する情報として特定する。勿論、業務データ２１２０中に複数の鉄道オブジェクトが含まれる場合、特徴量計算プログラム２０７０は、業務データ２１２０から全ての鉄道オブジェクトを抽出するものとする。

次に、特徴量計算プログラム２０７０は、記憶管理部２０５０の鉄道オブジェクト定義テーブル２１００を読み込む（ステップ３０２０）。図４に、第１実施例における鉄道オブジェクト定義テーブル２１００の構成例を示す。
この鉄道オブジェクト定義テーブル２１００は、オブジェクト名４０１０、移動可否４０２０、および、移動属性４０３０からなるレコードのリストである。
このうちオブジェクト名４０１０は、鉄道システムにおける、列車、駅、旅客、線路、架線、信号などの物体（すなわちオブジェクト）を示す値となる。

また、移動可否４０２０は、上述のオブジェクト名４０１０が示すオブジェクトの移動可否を示す値であって、例えばオブジェクトが「列車」であれば「可」、「駅」であれば「不可」といった値となる。

また、移動属性４０３０は、「位置判定基準および特徴算出方法」、「速度・方向判定基準および特徴算出方法」、および、「経路ルールおよび特徴算出方法」の各値からなる。

このうち位置判定基準は、キロ程、緯度経度など、当該オブジェクトの位置を算出するためのデータ項目名や単位を示す値である。また、速度・方向判定基準は、ダイヤデータ、緯度経度の時系列推移など、当該オブジェクトの移動速度や移動方向を算出するためのデータ項目名や単位を示す値である。

また、経路ルールは、例えば列車の始発駅、途中停車駅、終点駅を並べた配列や、交通ＩＣカード履歴データにおける入場履歴データに対応する出場履歴データといった、当該オブジェクトの移動経路を判別するためのルールを示す値である。

また、特徴算出方法は、業務データ２１２０から特徴量を算出する方法や計算式、業務システム間で業務データにずれがあると判別する閾値、などを示す値である。

なお、移動属性４０３０の値としては、１つのオブジェクトに対して、上述の、「位置判定基準および特徴算出方法」、「速度・方向判定基準および特徴算出方法」、および、「経路ルールおよび特徴算出方法」の各値のうち、最低１つ設定されていれば良い。

例えば、オブジェクトが「駅」の場合、駅は移動しないため、移動属性４０３０として「位置判定基準および特徴算出方法」は設定されているべきだが、「速度・方向判定基準および特徴算出方法」および「経路ルールおよび特徴算出方法」は設定がなくともよい。

次に、特徴量計算プログラム２０７０は、上述のステップ３０１０で抽出した鉄道オブジェクトについて１つずつ以下の処理を開始し（ステップ３０３０）、全てのオブジェクトに対して処理を行っていれば（ステップ３０３０：Ｎｏ）、処理を終了する。

他方、上述のステップ３０３０において、処理対象となる次オブジェクトが存在すると判定した場合（ステップ３０３０：Ｙｅｓ）、特徴量計算プログラム２０７０は、当該オブジェクトが移動可能であるか否か判定する（ステップ３０４０）。

当該ステップ３０４０における特徴量計算プログラム２０７０は、鉄道オブジェクト定義テーブル２１００中の当該オブジェクトの移動可否４０２０欄に定義された値を参照し、その値が「可」すなわち移動可であるか判定することになる。

上述の判定の結果、当該オブジェクトが移動可能でなければ（ステップ３０４０：Ｎｏ）、特徴量計算プログラム２０７０は、当該オブジェクトに関する業務データ２１２０の示す当該オブジェクトの位置情報が、業務システム間で同一であるか、すなわち同一オブジェクトが業務システムを跨がって同じ場所にあると認識されているか判定し、当該オブジェクトの位置情報が業務システム間で同じ場所を示すものでなければ、特徴量データと
して業務システム間での位置情報の差異を、場所のずれとして算出する（ステップ３０５０）。

ここで、上述の場所のずれの算出方法は、鉄道オブジェクト定義テーブル２１００中の「位置判定基準および特徴算出方法」の内容を参照して決定する。例えば当該オブジェクトが「駅」であれば、特徴量計算プログラム２０７０は、鉄道オブジェクト定義テーブル２１００の該当レコードで示すように、当該駅に関する「キロ程は緯度経度にデータ単位を変換し、球面三角法で距離を算出」し、業務システム間でその距離の差が「５ｋｍ以上」である場合、場所のずれがあると判定し、当該距離を特徴量データとする。なお、鉄道オブジェクト定義テーブル２１００において、当該オブジェクトに関して「位置判定基準および特徴算出方法」が設定されていなければ、特徴量計算プログラム２０７０は、本ステップをスキップする。

一方、上述のステップ３０４０にて当該オブジェクトが移動可能なオブジェクトと判定した場合（ステップ３０４０：Ｙｅｓ）、特徴量計算プログラム２０７０は、業務システムを跨がって、同一オブジェクトが同じ時間に同じ場所にあるか否か判定する（ステップ３０６０）。

ここで、上述の移動可能なオブジェクトに関する場所のずれの算出方法は、上述のステップ３０５０と同様であり、鉄道オブジェクト定義テーブル２１００中の「位置判定基準および特徴算出方法」の内容を参照して決定する。例えば当該オブジェクトが「列車」であれば、特徴量計算プログラム２０７０は、鉄道オブジェクト定義テーブル２１００の該当レコードで示すように、当該列車に関する「軌道回路番号は中央キロ程にデータ単位を変換」し、業務システム間でそのキロ程差分が「７ｋｍ以上」である場合、場所のずれがあると判定し、当該キロ程差分を特徴量データとする。

上述の判定の結果、同一オブジェクトが同じ時間に同じ場所になければ（ステップ３０６０：Ｎｏ）、特徴量計算プログラム２０７０は、特徴量データとして場所のずれを算出する（ステップ３０７０）。

他方、上述の判定の結果、同一オブジェクトが同じ時間に同じ場所にあれば（ステップ３０６０：Ｙｅｓ）、特徴量計算プログラム２０７０は、当該オブジェクトが同じ時間に同じ速度、同じ方向に移動しているか判定する（ステップ３０８０）。

上述の判定の結果、当該オブジェクトが同じ時間に同じ速度、同じ方向に移動していなければ（ステップ３０８０：Ｎｏ）、特徴量計算プログラム２０７０は、特徴量データとして、速度・方向のずれを算出する（ステップ３０９０）。

ここで、特徴量計算プログラム２０７０は、上述の速度・方向のずれの算出方法として、鉄道オブジェクト定義テーブル２１００中の「速度・方向判定基準および特徴算出方法」の内容を参照して決定するものとする。

例えば、当該オブジェクトが「列車」であれば、特徴量計算プログラム２０７０は、速度差として車両速度の差分を算出し、業務システム間で、当該算出した速度差が１０ｋｍ／ｈ以上であれば、ずれがあると判定し、当該速度差を特徴量データとする。また、特徴量計算プログラム２０７０は、方向に関して、業務システム間で、上り/下りや路線名が
異なっていれば、ずれがあると判定し、当該識別子（例：路線名は同一で上り/下りのみ
異なる場合は「１」、路線名が異なる場合は「２」）を特徴量データとする。

なお、当該オブジェクトに関して、「速度・方向判定基準および特徴算出方法」が鉄道
オブジェクト定義テーブル２１００にて設定されていなければ、特徴量計算プログラム２０７０は、本ステップをスキップする。

ここで、こうして車両速度の差分を算出する具体例について、図５に基づき説明する。図５は、第１実施例における特徴量計算プログラム２０７０が処理するデータ例を示す図である。

ここでは、業務データ２１２０として、業務システムのうち車両情報制御システムが蓄積する車両センサーデータ（列番、時刻、キロ程、速度からなる）と、他の業務システムである運行管理システムが蓄積する実績ダイヤデータ（列番、軌道回路番号、通過時刻からなる）とが、データ処理装置１０４０の特徴量計算プログラム２０７０に入力されたとする。

この場合、特徴量計算プログラム２０７０は、上述の業務データ２１２０を得て、当該業務システムを跨がって一意に特定される鉄道オブジェクトとして、列番「Ａ１Ａ００1
」の列車オブジェクトを抽出する。勿論、特徴量計算プログラム２０７０は、業務データ２１２０におけるカラムとして「列番」を含み、当該カラムに値が設定されている場合、当該業務データは、移動可能な鉄道オブジェクトたる「列車」の情報を含むと判定するルールを予め保持しているものとする。

上述の列車オブジェクトは移動可能なオブジェクトであるため、車両センサーデータおよび実績ダイヤデータの各業務データ２１２０にて、当該列車が同じ時間に同じ場所にあることを示すか判定し、更に、当該列車が同じ時間に同じ速度で移動しているか判定する。

ここで特徴量計算プログラム２０７０は、車両情報制御システムの業務データ２１２０からは、当該列車に関する時刻と速度を含むデータを抽出する。また、特徴量計算プログラム２０７０は、運行管理システムの業務データ２１２０からは、各軌道回路の着時刻を抽出し、この着時刻の間の時間長で当該軌道回路の間の距離（予め判明している）を除算することで、当該列車における時刻ごとの速度を計算する。

例えば、列番「Ａ１Ａ００１」なる列車に関して、軌道回路番号「Ｂ」なる軌道回路への着時刻が「１０：０２：００」、軌道回路番号「Ｃ」なる軌道回路への着時刻が「１０：０８：００」、軌道回路番号「Ｂ」および軌道回路番号「Ｃ」の各軌道回路の間の距離が「１０ｋｍ」であったとすると、特徴量計算プログラム２０７０は、当該軌道回路間の平均速度を、「１０：０８：００」と「１０：０２：００」の時刻の間の時間長たる「６分」で、距離「１０ｋｍ」を除算して、１０÷０．１＝「１００ｋｍ／ｈ」と算定し、これを時刻「１０：０８：００」における当該列車の速度とする。

一方、この時刻「１０：０８：００」における当該列車の速度として、車両センサーデータでは「１１０ｋｍ／ｈ」を示している。よって、当該業務システム間で、時刻「１０：０８：００」での当該列車「Ａ１Ａ００１」の速度を比較すると、「１００ｋｍ／ｈ」と「１１０ｋｍ／ｈ」とで１０ｋｍ／ｈ以上ずれているため、業務システム間で当該列車に関する速度は異なっている、すなわち同じ速度で動いていないと判定し、当該速度の差分を特徴量データとして算出する。

ここで、図３のフローの説明に戻る。他方、上述の判定の結果、当該オブジェクトが同じ時間に同じ速度、同じ方向に移動していれば（ステップ３０８０：Ｙｅｓ）、特徴量計算プログラム２０７０は、当該オブジェクトが同じ時間帯に同じ経路で移動しているか判定する（ステップ３１００）。

上述の判定の結果、当該オブジェクトが同じ時間帯に同じ経路で移動していなければ（ステップ３１００：Ｎｏ）、特徴量計算プログラム２０７０は、特徴量データとして経路のずれを算出する（ステップ３１１０）。

ここで経路のずれの算出に際し、特徴量計算プログラム２０７０は、鉄道オブジェクト定義テーブル２１００中の「経路ルールおよび特徴算出方法」の内容を参照して決定するものとする。例えば、当該オブジェクトが「列車」であれば、始発駅、途中停車駅、および終点駅の順番や数が、業務システム間で異なっていれば、ずれがあると判定し、当該順番の異なっている駅数を特徴量データとする。

なお、鉄道オブジェクト定義テーブル２１００にて、当該オブジェクトに関して「経路ルールおよび特徴算出方法」が登録されていなければ、特徴量計算プログラム２０７０は、本ステップをスキップする。

他方、上述の判定の結果、当該オブジェクトが同じ時間帯に同じ経路で移動していれば（ステップ３１００：Ｙｅｓ）、特徴量計算プログラム２０７０は、処理をステップ３０３０に戻し、次の処理対象たるオブジェクトがあればステップ３０４０以下の処理を繰り返し、全てのオブジェクトに対して処理を行っていれば（ステップ３０３０：Ｎｏ）、当該フローを終了する。

続いて、データ処理装置１０４０におけるデータ分類プログラム２０８０およびデータクレンジング処理プログラム２０９０の処理例を、図６のフローチャートを用いて説明する。図６に示すフローを実行するプログラム（データ分類プログラム２０８０およびデータクレンジング処理プログラム２０９０）は、例えばデータ分析者からの指示に応じて実行したり、特徴量計算プログラム２０７０の実行完了後に実行したりするものとする。

なお、データ分類プログラム２０８０およびデータクレンジング処理プログラム２０９０は、特徴量計算プログラム２０７０で算出した複数の特徴量データおよび当該特徴量データに対応するオブジェクト名を入力とする。
最初に、データ分類プログラム２０８０は、記憶管理部２０５０のクレンジング処理定義テーブル２１１０を読み込む（ステップ６０１０）。

図７に、第１実施例におけるクレンジング処理定義テーブル２１１０の構成例を示す。本テーブルは、オブジェクト名７０１０、特徴量の条件７０２０、および、処理内容７０３０からなるレコードのリストである。

このうちオブジェクト名７０１０は、列車、駅、旅客、線路、架線、信号などのオブジェクトの情報が設定されている。また、特徴量の条件７０２０は、例えば「特徴量データの平均値が２０以上５０以下で、標準偏差が１０以下」、「特徴量データの７割以上の値が１０以下」などの特徴量データに対する合致条件が設定されている。また、処理内容７０３０は、例えば「車両情報制御システムと運行管理システムの同列車・同時刻の速度差の平均値を求め、車両情報制御システムのデータの速度のデータ値から、該平均値を引く」、「運行管理システムの実績ダイヤでの駅到着から駅出発までの時間の間は、車両情報制御システムのデータの当該列車・当該時刻の速度のデータ値を０ｋｍ／ｈにする」などの処理ロジックが設定されている。

次に、データ分類プログラム２０８０は、本プログラム実行時に入力された複数の特徴量データおよび当該特徴量データに対応するオブジェクト名について、１つずつ以下の処理を開始し（ステップ６０２０）、全ての特徴量データおよびオブジェクトに対して処理
を行っていれば（ステップ６０２０：Ｎｏ）、処理をステップ６０５０に移る。

他方、上述のステップ６０２０において、処理対象たる次の特徴量データおよびオブジェクトが残っていれば（ステップ６０２０：Ｙｅｓ）、データ分類プログラム２０８０は、当該特徴量データおよびオブジェクトに関して、クレンジング処理定義テーブル２１１０中のオブジェクト名７０１０および特徴量の条件７０２０に合致するレコードがあるか否か判定する（ステップ６０３０）。

上述の判定の結果、合致するレコードがあれば（ステップ６０３０：Ｙｅｓ）、データ分類プログラム２０８０は、当該レコードの処理内容７０３０を、データクレンジング処理プログラム２０９０に渡し、データクレンジング処理プログラム２０９０による該当データクレンジング処理を、当該業務データに対して実行させ（ステップ６０４０）、ステップ６０２０に戻る。

他方、上述のステップ６０３０で合致するレコードが無い場合（ステップ６０３０：Ｎｏ）、データ分類プログラム２０８０は、処理をステップ６０２０に戻す。

一方、ステップ６０２０の判定の結果、全ての特徴量データおよびオブジェクトに対して処理を行っていれば（ステップ６０２０：Ｙｅｓ）、データクレンジング処理プログラム２０９０は、データクレンジング処理の実行結果を、データ分析処理端末１０６０に対して送信するか、或いは自身の出力部２０３０にて画面８００として表示するとともに、実行結果のログファイル９００を出力し（ステップ６０５０）、フローを終了する。

図８にて、データクレンジング処理の実行結果を示す画面８００の例を、また、図９にログファイル９００の例をそれぞれ示す。本画面８００やログファイル９００では、どの業務データ２１２０のファイル中のどの位置のデータに対して、どのようなデータ不整合が検出され、それに対してどのようにデータクレンジング処理を行ったかを出力することで、利用者が実行結果を確認できる。
−−−第２実施例−−−

本実施例では、データ分類プログラム２０８０がデータ分類を行う際に、機械学習や深層学習の技術を適用して分類を行うための方法について、図１０に基づき説明する。ここでは、上述の第１実施例の図６において示した、データ分類プログラム２０８０およびデータクレンジング処理プログラム２０９０のフローを変形して示すものとする。

最初に、データ分類プログラム２０８０は、クレンジング処理定義テーブル２１１０を読み込む（ステップ１００１０）。本実施例のクレンジング処理定義テーブル２１１０では、特徴量の条件７０２０の列に、機械学習プログラムで出力される分類の識別子が登録されているものとする。例えば、特徴量の条件７０２０に、識別子“Ｘ”が登録されている場合、「特徴量データの平均値が２０以上５０以下で、標準偏差が１０以下」、と機械学習プログラムが過去の特徴量データに基づいて特徴量データ間のずれに関して分類した内容、が対応し、識別子“Ｙ”が登録されている場合、「特徴量データの７割以上の値が１０以下」、と機械学習プログラムが過去の特徴量データに基づいて特徴量データ間のずれに関して分類した内容、が対応している。

次に、データ分類プログラム２０８０は、本プログラム実行時に入力された複数の特徴量データおよび当該特徴量データに対応するオブジェクト名について、１つずつ以下の処理を開始し（ステップ１００２０）、全ての特徴量データおよびオブジェクトに対して処理を行っていれば（ステップ１００２０：Ｎｏ）、ステップ１００７０に移る。

他方、上述のステップ１００２０において、処理対象たる特徴量データおよびオブジェクトが残っている場合（ステップ１００２０：Ｙｅｓ）、データ分類プログラム２０８０は、当該特徴量データのずれに関して、ｎ次元の特徴ベクトルに変換する（ステップ１００３０）。例えば特徴量データの平均値、最大値、最小値、ずれの標準偏差を算出して４次元の特徴量ベクトルとする。

次に、データ分類プログラム２０８０は、上述の特徴量ベクトルを機械学習プログラムや深層学習プログラムに入力し、出力として分類結果を得る（ステップ１００４０）。ここで機械学習プログラムや深層学習プログラムの実行時に、オブジェクト名に対応するモデル名を指定しても良い。

次に、データ分類プログラム２０８０は、クレンジング処理定義テーブル２１１０を参照し、当該オブジェクト名および分類結果に合致するレコードがあるか判定する（ステップ１００５０）。

上述の判定の結果、合致するレコードがあれば（ステップ１００５０：Ｙｅｓ）、データ分類プログラム２０８０は、当該レコードの処理内容のクレンジング処理を、データクレンジング処理プログラム２０９０に指示し、業務データに対するデータクレンジング処理を実行させ（ステップ１００６０）、ステップ１００２０に戻る。

他方、上述のステップ１００５０で合致するレコードが無い場合（ステップ１００５０：Ｎｏ）、データ分類プログラム２０８０は、処理をステップ１００２０に戻す。

一方、上述のステップ１００２０で全ての特徴量データおよびオブジェクトに対して処理を行っていれば（ステップ１００２０：Ｎｏ）、データクレンジング処理プログラム２０９０は、データクレンジング処理の実行結果を、データ分析処理端末１０６０に対して送信するか、或いは自身の出力部２０３０にて画面表示するとともに、実行結果のログファイルを出力し（ステップ１００７０）、フローを終了する。

以上、各実施例では鉄道分野におけるオブジェクトを例にあげて説明を行った。しかしながらオブジェクトの種類としてこれに限定されるものではなく、自動車、トラック、バス、航空、船舶などの他のモビリティ分野のオブジェクトに関して、その業務データの処理に適用しても良い。本発明はオブジェクト毎の移動可否および移動属性に着目して特徴量を算出するため、他のモビリティ分野でも同様な処理フローで実現できる。

また第１実施例および第２実施例では、２つの業務システムにおいて業務データを扱う場合の処理例について説明した。しかしながらこれに限定されるものではなく、３つ以上の業務システムの業務データを処理対象としても良い。例えばＡ、Ｂ、Ｃの３つの業務システムの業務データを扱う場合、ＡとＢ、ＢとＣ、ＣとＡについて其々特徴量算出やデータクレンジング処理を行っても良いし、ＡとＢとＣの３つの業務データを対象として特徴量算出やデータクレンジング処理を行っても良い。ＡとＢとＣの３つの業務データを対象として特徴量算出やデータクレンジング処理を行う場合は、鉄道オブジェクト定義テーブルに３つの業務データを対象とした特徴算出方法を登録し、かつクレンジング処理定義テーブルに３つの業務データを対象とした特徴量の条件や処理内容を登録しておくことで、同様な処理フローで実現できる。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、業務システム間でのデータ不整合に適宜に対応して、精度良好なデータ分析が可能となる。

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態のデータ処理装置において、前記主制御部は、前記第２の処理において、当該オブジェクトが移動しない物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す位置情報のずれに基づいて前記特徴量データを計算するものである、としてもよい。

これによれば、例えば、鉄道システムにおける駅などの移動しないオブジェクトに関して、その業務データのデータクレンジング処理を適宜に実行し、業務システム間でのデータ不整合に適宜に対応して精度良好なデータ分析が可能となる。

また、本実施形態のデータ処理装置において、前記主制御部は、前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時刻における位置情報のずれに基づいて前記特徴量データを計算するものである、としてもよい。

これによれば、例えば、鉄道システムにおける列車などの移動するオブジェクトに関して、その業務データにおける位置情報のずれに基づいた適宜なデータクレンジング処理を実行し、業務システム間でのデータ不整合に適宜に対応して精度良好なデータ分析が可能となる。

また、本実施形態のデータ処理装置において、前記主制御部は、前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時刻における速度情報のずれに基づいて前記特徴量データを計算するものである、としてもよい。

これによれば、例えば、鉄道システムにおける列車などの移動するオブジェクトに関して、その業務データにおける速度情報のずれに基づいた適宜なデータクレンジング処理を実行し、業務システム間でのデータ不整合に適宜に対応して精度良好なデータ分析が可能となる。

また、本実施形態のデータ処理装置において、前記主制御部は、前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時刻における移動方向の情報のずれに基づいて前記特徴量データを計算するものである、としてもよい。

これによれば、例えば、鉄道システムにおける列車などの移動するオブジェクトに関して、その業務データにおける移動方向の情報のずれに基づいた適宜なデータクレンジング処理を実行し、業務システム間でのデータ不整合に適宜に対応して精度良好なデータ分析が可能となる。

また、本実施形態のデータ処理装置において、前記主制御部は、前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時間帯における移動経路のずれに基づいて前記特徴量データを計算するものである、としてもよい。

これによれば、例えば、鉄道システムにおける列車などの移動するオブジェクトに関して、その業務データにおける移動経路の情報のずれに基づいた適宜なデータクレンジング処理を実行し、業務システム間でのデータ不整合に適宜に対応して精度良好なデータ分析が可能となる。

また、本実施形態のデータ処理装置において、前記主制御部は、前記第３の処理において、当該特徴量データに対して機械学習アルゴリズムを適用することで前記ずれを分類し、当該分類の結果に応じて前記データクレンジング処理の内容を特定するものである、としてもよい。

これによれば、業務システム間における（同一オブジェクトに関する）業務データのずれをその傾向等に基づき機械学習により効率的に分類し、ひいては、この分類結果に応じた好適なデータクレンジング処理の特定、実行が可能となる。

１０１０、１０２０ 業務システム端末
１０３０、１０５０ ネットワーク
１０４０ データ処理装置
１０６０ データ分析処理端末
２０１０ 主制御部
２０２０ 入力部
２０３０ 出力部
２０４０ 通信処理部
２０５０ 記憶管理部
２０６０ 通信部
２０７０ 特徴量計算プログラム
２０８０ データ分類プログラム
２０９０ データクレンジング処理プログラム
２１００ 鉄道オブジェクト定義テーブル
２１１０ クレンジング処理定義テーブル
２１２０ 業務データ

Claims (7)

1. 複数の業務システム各々の業務データを格納した記憶管理部と、
   前記複数の業務システムを跨がって一意に認識されうるオブジェクトを前記業務データから特定する第１の処理、各業務システムの間での当該オブジェクトに関する業務データのずれに基づいて当該業務データ間の特徴を示す特徴量データを計算するに際し、当該オブジェクトが移動しない物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す位置情報のずれに基づいて前記特徴量データを計算する第２の処理、当該特徴量データに基づいて当該業務データに関するデータクレンジング処理の内容を特定する第３の処理、および、当該内容でのデータクレンジング処理を行う第４の処理、を実行する主制御部と、
   を有することを特徴とするデータ処理装置。
2. 前記主制御部は、
   前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時刻における位置情報のずれに基づいて前記特徴量データを計算するものである、
   ことを特徴とする請求項１に記載のデータ処理装置。
3. 前記主制御部は、
   前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時刻における速度情報のずれに基づいて前記特徴量データを計算するものである、
   ことを特徴とする請求項１に記載のデータ処理装置。
4. 前記主制御部は、
   前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時刻における移動方向の情報のずれに基づいて前記特徴量データを計算するものである、
   ことを特徴とする請求項１に記載のデータ処理装置。
5. 前記主制御部は、
   前記第２の処理において、当該オブジェクトが移動する物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す、同時間帯における移動経路の情報のずれに基づいて前記特徴量データを計算するものである、
   ことを特徴とする請求項１に記載のデータ処理装置。
6. 前記主制御部は、
   前記第３の処理において、当該特徴量データに対して機械学習アルゴリズムを適用することで前記ずれを分類し、当該分類の結果に応じて前記データクレンジング処理の内容を特定するものである、
   ことを特徴とする請求項１に記載のデータ処理装置。
7. 複数の業務システム各々の業務データを格納した記憶管理部を備えた情報処理装置が、
   前記複数の業務システムを跨がって一意に認識されうるオブジェクトを前記業務データから特定する第１の処理と、
   各業務システムの間での当該オブジェクトに関する業務データのずれに基づいて当該業務データ間の特徴を示す特徴量データを計算するに際し、当該オブジェクトが移動しない物体である場合に、各業務システムの間での、当該オブジェクトに関する業務データが示す位置情報のずれに基づいて前記特徴量データを計算する第２の処理、
   当該特徴量データに基づいて当該業務データに関するデータクレンジング処理の内容を特定する第３の処理と、
   当該内容でのデータクレンジング処理を行う第４の処理と、
   を実行することを特徴とするデータ処理方法。

Images