JP7127439B2 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

Description

本発明は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。

特開２０１６－９１４２９号公報（特許文献１）は、情報処理システムを開示する。この情報処理システムにおいては、蓄積されている未加工のデータ群に基づいて、データ分析に適したデータ群が生成される。具体的には、この情報処理システムにおいては、ＥＴＬ（Extract/Transform/Load）という加工処理を各データに施すことによって、データ分析に適したデータ群が生成される（特許文献１参照）。

また、ＷＯ２０１４／０４１８２６（特許文献２）は、データ流通に適用可能なシステムを開示する。このシステムにおいては、たとえば、センシングデータが流通する。センシングデータには、センシングデータの属性を示すメタデータが対応付けられている。このシステムにおいては、メタデータを参照することによって、利用者の要求を満たすセンシングデータが探索される（特許文献２参照）。

特開２０１６－９１４２９号公報 ＷＯ２０１４／０４１８２６

上記特許文献１に開示されているようなＥＴＬを実行するシステムは、ＥＴＬツールとも呼ばれる。既存のＥＴＬツールは、実データ（たとえば、センシングデータ）の処理を対象としており、メタデータの処理を対象としていない場合が多い。したがって、既存のＥＴＬツールを使用する場合に、実データとメタデータとが対応付けられているときは、実データのみがＥＴＬツールに入力される。この場合に、実データのみに処理が施されると、実データとメタデータとの関係性に異常が生じる場合がある。

本発明は、このような問題を解決するためになされたものであって、その目的は、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することである。

本発明のある局面に従うデータ処理装置は、データ処理装置の外部に設けられたＥＴＬツールに入力された実データの属性を示すメタデータに処理を施すように構成されている。このデータ処理装置は、メモリと、プロセッサとを備える。メモリは、プログラムを記憶するように構成されている。プロセッサは、プログラムを実行するように構成されている。プログラムは、ＥＴＬツールにおいて実データに施された処理に応じた処理をメタデータに施すステップをプロセッサに実行させるように構成されている。

このデータ処理装置においては、ＥＴＬツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理装置によれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。

上記データ処理装置において、実データ及びメタデータの各々には、共通のＩＤ（identification）が含まれてもよく、プログラムは、ＥＴＬツールにおいて実データに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤを実データに含まれている変更後のＩＤに変更するステップをプロセッサに実行させるように構成されてもよい。

実データと、該実データの属性を示すメタデータとは、各々が共通のＩＤを含むことによって対応付けられている。したがって、ＥＴＬツールにおいて実データのＩＤが変更された場合に、メタデータのＩＤが変更されないと、実データとメタデータとの紐付けができなくなる。本発明に従うデータ処理装置においては、ＥＴＬツールにおいて実データに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤが実データに含まれている変更後のＩＤに変更される。したがって、このデータ処理装置によれば、ＥＴＬツールにおいて実データのＩＤが変更されたとしても、実データとメタデータとの紐付けを維持することができる。

上記データ処理装置において、実データには、ＩＤに対応付けられた値が含まれてもよく、メタデータには、ＩＤに対応付けられ、かつ、実データの属性を示す値が含まれてもよく、プログラムは、ＥＴＬツールにおいて実データに含まれている値が変更された場合に、メタデータに含まれている値を、実データに含まれている変更後の値と整合の取れる値に変更するステップをプロセッサに実行させるように構成されてもよい。

ＥＴＬツールにおいて実データの値が変更された場合に、メタデータの値が変更されないと、実データとメタデータとの整合が取れなくなる場合がある。たとえば、実データの値が「８」桁である場合に、メタデータのうち実データの桁数を示す値は「８」を示す。この場合に、ＥＴＬツールにおいて実データの値が５桁に加工され、メタデータの値に加工が施されないと（メタデータの値は「８」を示したまま）、実データとメタデータとの整合が取れなくなる。本発明に従うデータ処理装置においては、ＥＴＬツールにおいて実データに含まれている値が変更された場合に、メタデータに含まれている値が、実データに含まれている変更後の値と整合の取れる値に変更される。したがって、このデータ処理装置によれば、ＥＴＬツールにおいて実データの値が変更されたとしても、実データとメタデータとの整合を維持することができる。

上記データ処理装置において、実データは、センサによって生成されたセンシングデータであってもよい。

本発明の別の局面に従うデータ処理方法は、ＥＴＬツールに入力された実データの属性を示すメタデータに処理を施す。このデータ処理方法は、ＥＴＬツールにおいて実データに施された処理に応じた処理をメタデータに施すステップを含む。

このデータ処理方法においては、ＥＴＬツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理方法によれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。

本発明の別の局面に従うデータ処理プログラムは、ＥＴＬツールに入力された実データの属性を示すメタデータの処理をプロセッサに実行させる。このデータ処理プログラムは、ＥＴＬツールにおいて実データに施された処理に応じた処理をメタデータに施すステップをプロセッサに実行させるように構成されている。

このデータ処理プログラムがプロセッサによって実行されると、ＥＴＬツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理プログラムによれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。

本発明によれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することができる。

データ処理サーバの概要を説明するための図である。 データ処理サーバを含む分析用データ生成システムの構成の一例を示す図である。 センシングデータＤＢに記憶されているデータのデータ形式の種類を説明するための図である。 データ処理サーバのハードウェア構成の一例を示す図である。 データ処理サーバのソフトウェア構成の一例、及び、ＥＴＬサーバのソフトウェア構成の一例を示す図である。 データ形式変換部の詳細構成を示す図である。 データ形式変換部において実行されるデータ変換の内容を説明するための図である。 メタデータ変換部の詳細構成を示す図である。 値変換部におけるメタデータの変換の一例を示す図である。 データ形式変換部におけるデータ形式変換処理の手順の一例を示すフローチャートである。 メタデータ変換部におけるメタデータ変換処理の手順の一例を示すフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施の形態」とも称する。）について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、以下で説明する本実施の形態は、あらゆる点において本発明の例示にすぎない。本実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。

［１．概要］
図１は、本実施の形態に従うデータ処理装置（データ処理サーバ）１００の概要を説明するための図である。図１に示されるように、データ処理サーバ１００は、ネットワークを介してセンシングデータＤＢ（database）２００及びＥＴＬツール（ＥＴＬサーバ）４００に接続されている。センシングデータＤＢ２００には、種々のセンシングデータが蓄積されている。データ処理サーバ１００は、センシングデータＤＢ２００から入力されたセンシングデータに処理を施すことによって、出力データを生成する。

たとえば、センシングデータＤＢ２００に蓄積されているデータには、センサによって生成されたセンシングデータと、該センシングデータの属性を示すメタデータとが対応付けられているデータがある。一方、ＥＴＬサーバ４００（たとえば、既存のＥＴＬツール）は、センシングデータ（実データ）の処理を対象としており、メタデータの処理を対象としていない。したがって、センシングデータＤＢ２００に蓄積されているデータのうち、センシングデータのみがＥＴＬサーバ４００に送信される。この場合に、ＥＴＬサーバ４００においてセンシングデータのみに処理が施されると、センシングデータとメタデータとの関係性に異常が生じる（整合が取れなくなる）場合がある。

本実施の形態に従うデータ処理サーバ１００は、メタデータ変換部１０６を含んでいる。メタデータ変換部１０６は、ＥＴＬサーバ４００においてセンシングデータに施された処理に応じた処理をメタデータに施す。したがって、データ処理サーバ１００によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。以下、システム全体の構成、データ処理サーバ１００のハードウェア構成及びソフトウェア構成、並びに、データ処理サーバ１００の動作について順に説明する。

［２．システム構成］
図２は、本実施の形態に従うデータ処理サーバ１００を含む分析用データ生成システム１０の構成の一例を示す図である。分析用データ生成システム１０は、製造現場等に設置されたセンサが生成したセンシングデータに基づいて、データ分析担当者が利用する分析用データを生成するシステムである。

データ分析担当者の多くは、製造現場等の事情について詳しくない。したがって、データ分析担当者の多くは、センシングデータのみを参照したとしても、センシングデータが何を意味するのかを正確には把握できない。本実施の形態において、分析用データは、センシングデータ（実データ）と、データ分析担当者によるセンシングデータの理解を助けるためのメタデータとを含む。メタデータは、センシングデータの属性を示す。なお、メタデータは、製造現場等において生成されてもよいし、分析用データが生成される過程で生成されてもよい。

データ分析担当者は、センシングデータに対応付けられているメタデータを参照することによって、センシングデータを適切に扱うことができる。その結果、データ分析担当者は、適切なデータ分析を行なうことができる。

図２の例では、分析用データ生成システム１０は、データ処理サーバ１００と、センシングデータＤＢ２００と、分析用データＤＢ３００と、ＥＴＬサーバ４００と、ＩＤ管理サーバ５００とを含んでいる。

センシングデータＤＢ２００は、センサによって生成されたセンシングデータを記憶する。センシングデータＤＢ２００に記憶されているセンシングデータを生成するセンサとしては、たとえば、画像センサ（カメラ）、温度センサ、湿度センサ、照度センサ、力センサ、音センサ、ＲＦＩＤ（Radio Frequency IDentification）センサ、赤外線センサ、姿勢センサ、降雨センサ、放射能センサ及びガスセンサ等がある。また、センサは、必ずしも固設型である必要はなく、携帯電話、スマートフォン及びタブレット等の移動型であってもよい。また、センサは、必ずしも単一のセンシングデバイスで構成されている必要はなく、複数のセンシングデバイスによって構成されていてもよい。また、センサは、どのような目的で設置されていてもよく、たとえば、工場におけるＦＡ（Factory Automation）及び生産管理、都市交通制御、気象等の環境計測、ヘルスケア並びに防犯等のために設置されていてもよい。

このように、センシングデータＤＢ２００には、様々なセンサによって生成されたセンシングデータが記憶されている。したがって、センシングデータＤＢ２００に記憶されているデータの形式は、必ずしも統一されていない。たとえば、センシングデータＤＢ２００には、複数種類のデータ形式のデータが記憶されている。

図３は、センシングデータＤＢ２００に記憶されているデータのデータ形式の種類を説明するための図である。図３に示されるように、第１データ形式は、センシングデータ（実データ）を含む（メタデータを含まない）データ形式である。第１データ形式において、センシングデータは、センサによって生成された値Ｖ１１を含む。

第２データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータの各々が異なるデータ単位を構成するデータ形式である。第２データ形式において、センシングデータは、ＩＤ（identification）と、センサによって生成された値Ｖ２１とを含む。ＩＤがどのように決定されるかについては、後程詳しく説明する。メタデータは、ＩＤと、センシングデータの属性を示す値Ｖ２２とを含む。なお、センシングデータとメタデータとは、共通のＩＤ（identification）を含むことによって、互いに対応付けられている。

第３データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータが１つのデータ単位を構成するデータ形式である。第３データ形式においては、センサによって生成された値Ｖ３１が格納されるとともに、ヘッダ部にメタデータが格納される。

再び図２を参照して、ＥＴＬサーバ４００は、いわゆるＥＴＬツールを実現する。すなわち、ＥＴＬサーバ４００は、センシングデータＤＢ２００からデータを抽出し（Ｅ）、抽出されたデータを分析に適した状態に変換し（Ｔ）、変換後のデータを分析用データＤＢ３００へロードする（Ｌ）。ＥＴＬサーバ４００については、後程詳しく説明する。

データ処理サーバ１００は、ＥＴＬサーバ４００がセンシングデータＤＢ２００に送信を要求したセンシングデータに事前に処理を施す。データ処理サーバ１００は、センシングデータＤＢ２００から取得したセンシングデータ（実データ）をＥＴＬサーバ４００へ出力するとともに、該センシングデータに対応付けられているメタデータに処理を施す。データ処理サーバ１００は、処理後のメタデータを分析用データＤＢ３００へ出力する。データ処理サーバ１００については、後程詳しく説明する。

分析用データＤＢ３００は、ＥＴＬサーバ４００において処理が施されたセンシングデータと、データ処理サーバ１００において処理が施されたメタデータとを記憶する。分析用データＤＢ３００に記憶されているセンシングデータ及びメタデータの各々は、データ分析担当者が容易に分析できるように加工されている。

ＩＤ管理サーバ５００は、第２データ形式において、センシングデータ（実データ）及びメタデータの各々が含むＩＤを管理する。ＩＤ管理サーバ５００は、たとえば、データ処理サーバ１００及びＥＴＬサーバ４００からの要求を受けて、発行済みのＩＤと重複しないＩＤを生成する。ＩＤ管理サーバ５００は、たとえば、ＵＵＩＤ（Universally Unique Identifier）を生成する。また、ＩＤ管理サーバ５００は、各センシングデータ及び各メタデータに含まれるＩＤの変遷（履歴）を記憶する。すなわち、たとえば、あるセンシングデータに含まれているＩＤが変更された場合に、ＩＤ管理サーバ５００は、変更前のＩＤと、変更後のＩＤとを該センシングデータに対応付けて記憶する。したがって、たとえば、センシングデータの提供者は、ＩＤ管理サーバ５００にアクセスすることによって、自身が提供したセンシングデータがどのような使われ方をしているのかを確認することができる。

［３．ハードウェア構成］
図４は、データ処理サーバ１００のハードウェア構成の一例を示す図である。なお、本実施の形態において、データ処理サーバ１００は、たとえば、汎用コンピュータによって実現される。

図４の例では、データ処理サーバ１００は、制御部１７０と、通信Ｉ／Ｆ（interface）１９０と、記憶部１８０とを含み、各構成は、バス１９５を介して電気的に接続されている。

制御部１７０は、ＣＰＵ（Central Processing Unit）１７２、ＲＡＭ（Random Access Memory）１７４及びＲＯＭ（Read Only Memory）１７６等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。

通信Ｉ／Ｆ１９０は、インターネットを介して、データ処理サーバ１００の外部に設けられた外部装置（たとえば、センシングデータＤＢ２００、分析用データＤＢ３００、ＥＴＬサーバ４００及びＩＤ管理サーバ５００（図２））と通信するように構成されている。通信Ｉ／Ｆ１９０は、たとえば、有線ＬＡＮ（Local Area Network）モジュールや無線ＬＡＮモジュールで構成される。

記憶部１８０は、たとえば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部１８０は、たとえば、制御プログラム１８１を記憶するように構成されている。

制御プログラム１８１は、制御部１７０によって実行されるデータ処理サーバ１００の制御プログラムである。たとえば、制御部１７０が制御プログラム１８１を実行することによって、後述の各ソフトウェアモジュールが実現されてもよい。制御部１７０が制御プログラム１８１を実行する場合に、制御プログラム１８１は、ＲＡＭ１７４に展開される。そして、制御部１７０は、ＲＡＭ１７４に展開された制御プログラム１８１をＣＰＵ１７２によって解釈及び実行することにより、各構成要素を制御する。なお、ＥＴＬサーバ４００のハードウェア構成は、データ処理サーバ１００のハードウェア構成と同様とすることができる。

［４．ソフトウェア構成］
＜４－１．データ処理サーバ及びＥＴＬサーバのソフトウェア構成＞
図５は、データ処理サーバ１００のソフトウェア構成の一例、及び、ＥＴＬサーバ４００のソフトウェア構成の一例を示す図である。図５に示されるように、データ処理サーバ１００は、データ形式変換部１０２と、データ分離部１０４と、メタデータ変換部１０６と、メタデータ送信部１０８とを含んでいる。データ形式変換部１０２、データ分離部１０４、メタデータ変換部１０６及びメタデータ送信部１０８の各々は、制御部１７０（図４）が制御プログラム１８１を実行することよって実現されるソフトウェアモジュールである。

ＥＴＬサーバ４００は、データ抽出部４０２と、データ変換部４０４と、ロード部４０６とを含んでいる。データ抽出部４０２、データ変換部４０４及びロード部４０６の各々は、ＥＴＬサーバ４００に含まれる不図示の制御部（プロセッサ）が不図示の制御プログラムを実行することによって実現されるソフトウェアモジュールである。

これらのソフトウェアモジュールは、ＥＴＬサーバ４００に含まれるデータ抽出部４０２がセンシングデータＤＢ２００にデータの送信を要求することによって処理を開始する。すなわち、データ抽出部４０２がセンシングデータＤＢ２００にデータ送信を要求するＡＰＩ（Application Programming Interface）コマンドを送信することによって、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２へ送信される。これにより、処理が開始される。

データ形式変換部１０２は、入力データのデータ形式を上述の第２データ形式に統一するソフトウェアモジュールである。データ形式変換部１０２は、入力データのデータ形式を判定し、判定結果に応じてデータ形式の変換処理を行なう。データ形式変換部１０２によって生成されたデータは、データ分離部１０４へ出力される。データ形式変換部１０２については、後程詳しく説明する。

データ分離部１０４は、入力データをセンシングデータ（実データ）とメタデータとに分離するソフトウェアモジュールである。ＥＴＬサーバ４００は実データの処理のみを行なう場合が多いため、データ分離部１０４は、センシングデータをデータ抽出部４０２へ出力し、メタデータをメタデータ変換部１０６へ出力する。

データ抽出部４０２は、入力（抽出）されたセンシングデータをデータ変換部４０４へ出力する。

データ変換部４０４は、たとえばセンシングデータの種類毎に予め定められた変換ルールに従って、入力データに変換処理を施すソフトウェアモジュールである。たとえば、温度センサによって生成されたセンシングデータの値が電圧値（Ｖ）を示すとする。この場合に、変換ルールは、たとえば、電圧値（Ｖ）と温度（℃）との変換式を示す。データ変換部４０４は、たとえば、この変換式に従って、入力された電圧値（Ｖ）を温度（℃）に変換する。また、たとえば、センサによって生成されたセンシングデータの桁数が１０桁であったとする。この場合に、たとえば、変換ルールとして、センシングデータの桁数を５桁に統一するというルールが規定されているとする。この場合には、データ変換部４０４は、変換ルールに従って、入力されたセンシングデータの桁数を５桁に変換する。

また、データ変換部４０４は、センシングデータの値が変換（変更）されると、センシングデータに含まれるＩＤを変更する。ＩＤの変更を行なう場合に、データ変換部４０４は、ＩＤ管理サーバ５００へ新たなＩＤの発行を要求する。データ変換部４０４は、ＩＤ管理サーバ５００から新たなＩＤを受信すると、該ＩＤをセンシングデータに付与する。データ変換部４０４は、変換後のセンシングデータをロード部４０６へ出力する。

ロード部４０６は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、ロード部４０６から入力されたセンシングデータが記憶される。

メタデータ変換部１０６は、ＥＴＬサーバ４００においてセンシングデータに施された変換処理に応じて、メタデータに変換処理を施すソフトウェアモジュールである。変換処理が施されたメタデータは、メタデータ送信部１０８へ出力される。メタデータ変換部１０６については、後程詳しく説明する。

メタデータ送信部１０８は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、メタデータ送信部１０８から入力されたメタデータが記憶される。

＜４－２．データ形式変換部の詳細構成＞
図６は、データ形式変換部１０２の詳細構成を示す図である。図６に示されるように、データ形式変換部１０２は、データ形式判定部１１０と、第１変換部１１２と、第２変換部１１４とを含んでいる。

データ形式判定部１１０は、入力データのデータ形式を判定するソフトウェアモジュールである。データ形式判定部１１０は、入力データが上述の第１、第２及び第３データ形式のいずれのデータ形式であるかを判定する。具体的には、データ形式判定部１１０は、ｉ）入力データがメタデータを含んでいるか、及び、ｉｉ）センシングデータ（実データ）とメタデータとが同一のデータ単位を構成しているか否かを判定する。

データ形式判定部１１０は、入力データがメタデータを含んでいないと判定すると、入力データの形式が第１データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータの各々が異なるデータ単位を構成していると判定すると、入力データの形式が第２データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータが１つのデータ単位を構成していると判定すると、入力データの形式が第３データ形式であると判定する。

データ形式判定部１１０は、入力データが第１データ形式であると判定すると、データを第１変換部１１２へ出力する。データ形式判定部１１０は、入力データが第２データ形式であると判定すると、データをデータ分離部１０４へ出力する。データ形式判定部１１０は、入力データが第３データ形式であると判定すると、データを第２変換部１１４へ出力する。すなわち、入力データが第２データ形式であると判定された場合には、データ形式の変換処理は行なわれない。

第１変換部１１２は、第１データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。第２変換部１１４は、第３データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。

図７は、データ形式変換部１０２において実行されるデータ変換の内容を説明するための図である。図７を参照して、上述のように、第１変換部１１２は、第１データ形式のデータを第２データ形式へ変換する。具体的には、第１変換部１１２は、予め定められたデフォルト値を示すメタデータを生成する。さらに、第１変換部１１２は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。

また、上述のように、第２変換部１１４は、第３データ形式のデータを第２データ形式へ変換する。具体的には、第２変換部１１４は、センシングデータとメタデータとを異なるデータ単位に分離する。さらに、第２変換部１１４は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。

再び図６を参照して、第１変換部１１２によってデータ形式が変換されたデータ、及び、第２変換部１１４によってデータ形式が変換されたデータの各々は、データ分離部１０４へ出力される。

このように、データ形式変換部１０２においては、入力データの形式が第１及び第３データ形式であったとしても、第２データ形式の出力データが生成される。すなわち、データ形式変換部１０２においては、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、データ形式変換部１０２によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。

＜４－３．メタデータ変換部の詳細構成＞
図８は、メタデータ変換部１０６の詳細構成を示す図である。図８に示されるように、メタデータ変換部１０６は、問合せ部１２０と、ＩＤ変換部１２２と、値変換部１２４とを含んでいる。

問合せ部１２０は、ＥＴＬサーバ４００にセンシングデータへの処理内容を問い合わせるソフトウェアモジュールである。たとえば、問合せ部１２０は、ＥＴＬサーバ４００に、ｉ）センシングデータのＩＤ変更の有無、及び、変更後のＩＤ、並びに、ｉｉ）センシングデータの値の変換内容を問い合わせる。センシングデータの値の変換内容とは、たとえば、「単位の変換」や「桁数の変換」である。問合せ部１２０は、問合せに対する応答をＥＴＬサーバ４００から受信する。

問合せ部１２０は、ＥＴＬサーバ４００からの応答内容に応じて、ＩＤ変換部１２２及び値変換部１２４へ指示を出力する。すなわち、問合せ部１２０は、
ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合には、変更後のＩＤにメタデータのＩＤを変更するようにＩＤ変換部１２２へ指示を出力する。また、問合せ部１２０は、ＥＴＬサーバ４００においてセンシングデータの値が変更されている場合には、変更後の値と整合の取れる値にメタデータの値を変更するように値変換部１２４へ指示を出力する。

ＩＤ変換部１２２は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合に、センシングデータに含まれている変更後のＩＤにメタデータに含まれているＩＤを変更する。一方、ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されていない場合には、メタデータに含まれているＩＤを変更しない。すなわち、ＩＤ変換部１２２においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合にのみ、メタデータに含まれているＩＤが変更される。この構成によれば、ＩＤも有限であるところ、ＩＤを必要以上に発行する事態を回避することができる。

値変換部１２４は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。値変換部１２４は、たとえば、ＥＴＬサーバ４００においてセンシングデータの値が変換（変更）されている場合に、変更後の値と整合の取れる値にメタデータの値を変更する。

図９は、値変換部１２４におけるメタデータの変換の一例を示す図である。この一例においては、ＥＴＬサーバ４００において、センシングデータの単位が電圧（Ｖ）から温度（℃）に変更されるのに伴ないセンシングデータの値が変換されており、かつ、センシングデータの桁数が１０桁から５桁に変換されている。

図９に示されるように、このような場合には、メタデータに含まれる「単位」の項目が「Ｖ」から「℃」に変更され、メタデータに含まれる「桁数」の項目が「１０桁」から「５桁」に変更される。

再び図８を参照して、値変換部１２４によって生成されたメタデータは、メタデータ送信部１０８へ出力される。

このように、メタデータ変換部１０６においては、ＥＴＬサーバ４００（ＥＴＬツール）においてセンシングデータ（実データ）に施された処理に応じた処理がメタデータに施される。したがって、メタデータ変換部１０６によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。

また、本実施の形態において、センシングデータと、該センシングデータの属性を示すメタデータとは、各々が共通のＩＤを含むことによって対応付けられている。したがって、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更された場合に、メタデータのＩＤが変更されないと、センシングデータとメタデータとの紐付けができなくなる。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤがセンシングデータに含まれている変更後のＩＤに変更される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されたとしても、センシングデータとメタデータとの紐付けを維持することができる。

また、ＥＴＬサーバ４００においてセンシングデータの値が変更された場合に、メタデータの値が変更されないと、センシングデータとメタデータとの整合が取れなくなる場合がある。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれている値が変更された場合に、メタデータに含まれている値が、センシングデータに含まれている変更後の値と整合の取れる値に変更される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータの値が変更されたとしても、センシングデータとメタデータとの整合を維持することができる。

［５．動作］
＜５－１．データ形式変換処理＞
図１０は、データ形式変換部１０２におけるデータ形式変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２に入力された場合に制御部１７０（データ形式変換部１０２）によって開始される。

図１０を参照して、制御部１７０は、入力データのデータ形式が第２データ形式であるか否かを判定する（ステップＳ１００）。入力データのデータ形式が第２データ形式であると判定されると（ステップＳ１００においてＹＥＳ）、処理はステップＳ１４０へ移行する。

一方、入力データの形式が第２データ形式でないと判定されると（ステップＳ１００においてＮＯ）、制御部１７０は、入力データのデータ形式が第１データ形式であるか否かを判定する（ステップＳ１１０）。入力データの形式が第１データ形式であると判定されると（ステップＳ１１０においてＹＥＳ）、制御部１７０は、入力データの形式を第１データ形式から第２データ形式へ変換する（ステップＳ１２０）。

一方、入力データの形式が第１データ形式でないと判定されると（ステップＳ１１０においてＮＯ）、制御部１７０は、入力データの形式を第３データ形式から第２データ形式へ変換する（ステップＳ１３０）。その後、制御部１７０は、第２データ形式のデータを出力する（ステップＳ１４０）。これにより、データ形式変換部１０２の出力データの形式が第２データ形式へ統一される。

＜５－２．メタデータ変換処理＞
図１１は、メタデータ変換部１０６におけるメタデータ変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、メタデータ変換部１０６へメタデータが入力された場合に制御部１７０（メタデータ変換部１０６）によって開始される。

図１１を参照して、制御部１７０は、入力されたメタデータに含まれているＩＤと同一のＩＤを含むセンシングデータ（実データ）への処理内容をＥＴＬサーバ４００へ問い合わせる（ステップＳ２００）。制御部１７０は、ＥＴＬサーバ４００から回答を受信したか否かを判定する（ステップＳ２１０）。回答が受信されていないと判定されると（ステップＳ２１０においてＮＯ）、制御部１７０は、ステップＳ２１０の処理を繰り返す。

一方、回答が受信されたと判定されると（ステップＳ２１０においてＹＥＳ）、制御部１７０は、受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータのＩＤが変換されたか否かを判定する（ステップＳ２２０）。センシングデータのＩＤが変換されていないと判定されると（ステップＳ２２０においてＮＯ）、処理はステップＳ２４０へ移行する。

一方、センシングデータのＩＤが変換されたと判定されると（ステップＳ２２０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている変換後のＩＤにメタデータのＩＤを変換する（ステップＳ２３０）。

制御部１７０は、ステップＳ２１０において受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータの値が変換されたか否かを判定する（ステップＳ２４０）。センシングデータの値が変換されていないと判定されると（ステップＳ２４０においてＮＯ）、処理はステップＳ２６０へ移行する。

一方、センシングデータの値が変換されたと判定されると（ステップＳ２４０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている値と整合の取れる値にメタデータの値を変換する（ステップＳ２５０）。その後、制御部１７０は、変換後のメタデータを出力する（ステップＳ２６０）。これにより、ＥＴＬサーバ４００において処理が施されたセンシングデータと整合の取れたメタデータが生成される。

［６．特徴］
以上のように、本実施の形態に従うデータ処理サーバ１００において、制御部１７０は、ＥＴＬサーバ４００においてセンシングデータ（実データ）に施された処理に応じた処理をメタデータに施すように構成されている。したがって、データ処理サーバ１００によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。

なお、データ処理サーバ１００は、本発明の「データ処理装置」の一例であり、記憶部１８０は、本発明の「メモリ」の一例であり、制御部１７０は、本発明の「プロセッサ」の一例である。

［７．変形例］
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下、変形例について説明する。但し、以下の変形例は適宜組合せ可能である。

＜７－１＞
上記実施の形態においては、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータがセンシングデータであるとした。しかしながら、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータは、必ずしもセンシングデータである必要はない。たとえば、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータは、ショッピングサイトにおける各ユーザの購買履歴データや、ゲームサイトにおける各ユーザのスコアデータ等のセンシングデータ以外のデータであってもよい。

＜７－２＞
上記実施の形態においては、データ処理サーバ１００において生成されたメタデータが分析用データＤＢ３００へ出力された。しかしながら、データ処理サーバ１００において生成されたメタデータの出力先は、分析用データＤＢ３００に限定されない。たとえば、データ処理サーバ１００において生成されたメタデータは、ＥＴＬサーバ４００のロード部４０６へ出力されてもよい。この場合には、ロード部４０６がセンシングデータ及びメタデータを対応付けて、分析用データＤＢ３００へ出力する。

＜７－３＞
上記実施の形態において、メタデータ変換部１０６は、ＩＤ変換部１２２及び値変換部１２４の双方を含んだ。しかしながら、メタデータ変換部１０６は、必ずしもＩＤ変換部１２２及び値変換部１２４の双方を含む必要はない。たとえば、メタデータ変換部１０６は、ＩＤ変換部１２２及び値変換部１２４のいずれか一方のみを含んでもよい。

１０ 分析用データ生成システム、１００ データ処理サーバ、１０２ データ形式変換部、１０４ データ分離部、１０６ メタデータ変換部、１０８ メタデータ送信部、１１０ データ形式判定部、１１２ 第１変換部、１１４ 第２変換部、１２０ 問合せ部、１２２ ＩＤ変換部、１２４ 値変換部、１７０ 制御部、１７２ ＣＰＵ、１７４ ＲＡＭ、１７６ ＲＯＭ、１８０ 記憶部、１８１ 制御プログラム、１９０ 通信Ｉ／Ｆ、１９５ バス、２００ センシングデータＤＢ、３００ 分析用データＤＢ、４００ ＥＴＬサーバ、４０２ データ抽出部、４０４ データ変換部、４０６ ロード部、５００ ＩＤ管理サーバ。

Claims (5)

1. データ処理装置の外部に設けられたＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータに処理を施すように構成されたデータ処理装置であって、
   前記実データ及び前記メタデータの各々には、共通のＩＤ（identification）が含まれており、
   プログラムを記憶するように構成されたメモリと、
   前記プログラムを実行するように構成されたプロセッサとを備え、
   前記プログラムは、前記ＥＴＬツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップであって、前記ＥＴＬツールにおいて前記実データに含まれているＩＤが変更された場合に、前記メタデータに含まれているＩＤを前記実データに含まれている変更後のＩＤに変更するステップを前記プロセッサに実行させるように構成されている、データ処理装置。
2. 前記実データには、ＩＤ（identification）に対応付けられた値が含まれており、
   前記メタデータには、ＩＤに対応付けられ、かつ、前記実データの属性を示す値が含まれており、
   前記プログラムは、前記ＥＴＬツールにおいて前記実データに含まれている値が変更された場合に、前記メタデータに含まれている値を、前記実データに含まれている変更後の値と整合の取れる値に変更するステップを前記プロセッサに実行させるように構成されている、請求項１に記載のデータ処理装置。
3. 前記実データは、センサによって生成されたセンシングデータである、請求項１または２に記載のデータ処理装置。
4. コンピュータが、外部のＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータに処理を施すデータ処理方法であって、
   前記実データ及び前記メタデータの各々には、共通のＩＤ（identification）が含まれており、
   前記ＥＴＬツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップであって、前記ＥＴＬツールにおいて前記実データに含まれているＩＤが変更された場合に、前記メタデータに含まれているＩＤを前記実データに含まれている変更後のＩＤに変更するステップを含む、データ処理方法。
5. ＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータの処理を、前記ＥＴＬツールとは別のコンピュータが備えるプロセッサに実行させるデータ処理プログラムであって、
   前記実データ及び前記メタデータの各々には、共通のＩＤ（identification）が含まれており、
   前記ＥＴＬツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップであって、前記ＥＴＬツールにおいて前記実データに含まれているＩＤが変更された場合に、前記メタデータに含まれているＩＤを前記実データに含まれている変更後のＩＤに変更するステップを前記プロセッサに実行させるように構成されている、データ処理プログラム。
   
   
   

Images