JP6824915B2 - データ管理システムおよびデータ管理方法 - Google Patents

データ管理システムおよびデータ管理方法 Download PDF

Info

Publication number
JP6824915B2
JP6824915B2 JP2018000586A JP2018000586A JP6824915B2 JP 6824915 B2 JP6824915 B2 JP 6824915B2 JP 2018000586 A JP2018000586 A JP 2018000586A JP 2018000586 A JP2018000586 A JP 2018000586A JP 6824915 B2 JP6824915 B2 JP 6824915B2
Authority
JP
Japan
Prior art keywords
data
mart
information
new
data mart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018000586A
Other languages
English (en)
Other versions
JP2019121181A (ja
Inventor
雅文 露木
雅文 露木
幸徳 坂下
幸徳 坂下
洋司 小澤
洋司 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018000586A priority Critical patent/JP6824915B2/ja
Publication of JP2019121181A publication Critical patent/JP2019121181A/ja
Application granted granted Critical
Publication of JP6824915B2 publication Critical patent/JP6824915B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データ管理システムおよびデータ管理方法に関するものであり、具体的には、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みを効率的なものとする技術に関する。
工場における生産効率の分析や工作機械の故障予知のために、工場内に設置したセンサーや工作機械から所定のデータを収集し、利用するIoTプラットフォームの導入が進んでいる。一般に、IoTプラットフォームでは、データレイク、データマート、ETL (Extract Transform Load)、および、分析アプリケーションの4つが動作する。
このようなプログラム群が動作するIoTプラットフォームでは、上述の分析アプリケーションやETLの無駄な開発工程を回避するため、データマートに保存したデータの適宜な再利用を図っている。データの再利用に際しては、ETLや分析アプリが、データマートからデータを読みだして加工し、これを別途データマートへ保存する過程を繰り返す。このことで、データマートとETLや分析アプリケーションが論理的に多段接続されることになる。
上述のように、データマートに保存したデータの再利用等に関連した従来技術としては、例えば、定義済みのETLテンプレートを用いて、分析アプリケーションの開発者や利用者が必要とするデータを含むデータマートを自動生成する技術(特許文献1参照)などが提案されている。
US9519695B2
ところが、従来技術においては以下の課題が残されている。従来技術では、定義済みのETLテンプレートを用い、入力パラメータとして表現された要件(分析アプリケーションの開発者あるいは利用者の指定)に応じたデータマートを自動生成する。しかし実際には、そうした要件に適した定義済みのETLテンプレートが用意されていないケースが多い。
そのため、上述の要件を指定した分析アプリケーションの開発者あるいは利用者は、データマート中に保存されている膨大で多様なデータと既存の分析アプリケーションとの接続状態を逐一確認して、ETLテンプレートを自ら定義しなければならない。このことは、分析アプリケーションの開発者や利用者にとって大きな負担であり、該当者のスキルや知見によっては対応できないケースもありうる。
また、ETLだけでは複雑な分析処理を実行できないため、所定のメタ情報(例:データの収集条件や分析条件)によって分析結果を絞り込むことも困難である。具体的には、絞り込みの条件として分析アプリケーションの開発者から指定されるメタ情報の値が固定ではなく、絞り込みの要求ごとに変化しうる場合、データレイクやデータマートのデータを再利用できない状況に起因する。
例えば、特定種類の部品を生産する工作機械の故障率データを、データレイクから入力として取り出し、分析対象に再利用する場合を考える。上述の故障率データを分析する分析アプリケーションは、その分析結果に対し、当該工作機械の情報をメタ情報として付与し、所定のデータマートに格納することは一般的である。しかし、当該工作機械が生産する部品のメタ情報を付与することは一般的とは言えない。するとその後に、当該データマートを再利用するとしても、分析の絞り込みの条件として、上述の特定種類とは別の種類の部品が指定されていれば、そもそも当該データマートが別種の部品を生産する工作機械に関するデータを保持している故、分析対象として利用できず、分析自体も実行できないこととなる。
そこで本発明の目的は、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みを効率的なものとする技術を提供することにある。
上記課題を解決する本発明のデータ管理システムは、所定データを格納するデータレイクおよび前記所定データに対する所定の分析結果を格納するデータマートのそれぞれに関する情報を格納したデータストア情報と、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに対する分析処理を担うアルゴリズム、の一連の関係を示すデータパスの情報を格納したデータストア・アプリケーション接続情報と、を保持する記憶装置と、所定端末から受信した分析結果の絞り込み要求と前記データストア情報とに基づき、前記絞り込み要求の示す対象データマートに所定のメタ情報が含まれるか判定し、当該メタ情報が含まれていない場合、前記データストア情報および前記データストア・アプリケーション接続情報に基づき、前記対象データマートを含むデータパスにおいて、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択し、当該データマートに対して適用する前記アルゴリズムの一種たる前記メタ情報に関するフィルタ、当該フィルタの適用で得た新たなデータマート、および、当該新たなデータマートに適用する所定アルゴリズム、を含む新規データパスを所定ルールで生成し、当該新規データパスに従って前記選択したデータマートへの前記フィルタの適用および前記新たなデータマートへの所定アルゴリズムの適用を実行することで、前記絞り込み要求に対応した所定の分析結果を生成する演算装置と、を備えることを特徴とする。
また、本発明のデータ管理方法は、所定データを格納するデータレイクおよび前記所定データに対する所定の分析結果を格納するデータマートのそれぞれに関する情報を格納したデータストア情報と、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに対する分析処理を担うアルゴリズム、の一連の関係を示すデータパスの情報を格納したデータストア・アプリケーション接続情報と、を保持する記憶装置を備えた情報処理システムが、所定端末から受信した分析結果の絞り込み要求と前記データストア情報とに基づき、前記絞り込み要求の示す対象データマートに所定のメタ情報が含まれるか判定し、当該メタ情報が含まれていない場合、前記データストア情報および前記データストア・アプリケーション接続情報に基づき、前記対象データマートを含むデータパスにおいて、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択し、当該データマートに対して適用する前記アルゴリズムの一種たる前記メタ情報に関するフィルタ、当該フィルタの適用で得た新たなデータマート、および、当該新たなデータマートに適用する所定アルゴリズム、を含む新規データパスを所定ルールで生成し、当該新規データパスに従って前記選択したデータマートへの前記フィルタの適用および前記新たなデータマートへの所定アルゴリズムの適用を実行することで、前記絞り込み要求に対応した所定の分析結果を生成する、ことを特徴とす
る。
本発明によれば、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みを効率的なものとできる。
本実施形態のデータ管理システムを含むネットワーク構成例を示す図である。 本実施形態のデータ管理システムのハードウェア構成例を示す図である。 本実施形態のデータストア情報の構成例を示す図である。 本実施形態のデータストア・アプリ接続情報の構成例を示す図である。 本実施形態のアプリケーション情報の構成例を示す図である。 本実施形態におけるデータレイクの構成例を示す図である。 本実施形態における第1データマートの構成例を示す図である。 本実施形態における第2データマートの構成例を示す図である。 本実施形態のデータストアと分析アプリケーションの論理構成の一例を示す図である。 本実施形態の新規データパス作成後のデータストア情報の一例を示す図である。 本実施形態の新規データパス作成後のデータストア・アプリ接続情報の一例を示す図である。 本実施形態の新規データパス作成後のアプリケーション情報の一例を示す図である。 本実施形態の新規データパス作成後の第1’データマートの内容の一例を示す図である。 本実施形態の新規データパス作成後の第2’データマートの内容の一例を示す図である。 本実施形態の新規データパスの内容の一例を示す図である。 本実施形態の分析アプリ開発者端末における処理例を示すフロー図である。 本実施形態におけるデータ管理方法のフロー例1を示す図である。 本実施形態におけるデータ管理方法のフロー例2を示す図である。 本実施形態におけるデータ管理方法のフロー例3を示す図である。 本実施形態におけるデータ管理方法のフロー例4を示す図である。 本実施形態におけるデータ管理方法のフロー例5を示す図である。 本実施形態におけるデータ管理方法のフロー例6を示す図である。
−−−システム構成−−−
以下に本発明の実施形態について図面を用いて詳細に説明する。図1Aは、本実施形態のデータ管理システム10を含むネットワーク構成図である。図1Aに示すデータ管理システム10は、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みを効率的なものとするコンピュータシステムである。
また、こうしたデータ管理システム10は、一例として、データカタログ管理サーバ100およびIoT基盤実行サーバ200により構成されたものを想定できる。ただし、本実施形態のデータ管理システム10の最小構成としてデータカタログ管理サーバ100のみなど、単体の装置に必要な機能を実装する形態を想定するとしてもよい。
本実施形態のデータ管理システム10を運用する組織としては、例えば、或る工場にお
ける生産効率の分析や工作機械の故障予知を行う事業体を想定できる。この事業体が管理する工場では、当該工場に設置したセンサーや工作機械など工場設備002が、一定時間毎に監視データを発信し、これをIoT基盤実行サーバ200が収集する仕組みが形成、運用されているものとする。
よって、既に述べたように、IoT基盤実行サーバ200では、工場設備002から得た収集データを蓄積するデータレイク225、このデータレイク225や他のデータマート226を目的別に適宜に加工・分析して得たデータマート226、データレイク225やデータマート226に対してデータの抽出・変換等を行うETL(Extract Transform Load)、および、このETLにより用意されたデータマート226に対して分析処理を行う分析アプリケーション、の4つが動作することとなる。
このうちデータレイク225は、上述のセンサーや工作機械など工場設備002から収集したデータを、加工等の処理を経ずに保存するデータベースである。また、データマート226は、ETLや分析アプリケーションが加工したデータを保存するデータベースである。こうしたデータレイク225とデータマート226は、その総称としてデータストアと呼称されている。
またETLは、上述の分析アプリケーションが必要とするデータを用意することを目的とし、データレイク225またはデータマートか226らデータを抽出し、これを適宜に変換した結果をデータマート226へ保存するソフトウェアである。
また分析アプリケーションは、目的に応じてデータをデータマート226から読み出し、その分析結果をデータマート226へ保存するソフトウェアである。なお、こうした分析アプリケーションは、データマート226から読み出したデータあるいは分析結果を、所定のインターフェイスや外部端末等を介してユーザに表示する機能も含みうる。
このようなプログラム群が動作するIoT基盤実行サーバ200では、上述の分析アプリケーションやETLの再開発を避けるため、分析アプリケーションやETLがデータマート226に保存したデータを再利用する。このデータ再利用のために、データマート226から読みだしたデータをETLや分析アプリが加工し、別途のデータマート226へ保存する過程を繰り返すことで、データマート226とETLや分析アプリケーションとが論理的に多段接続されることになる。
こうした、データストア(データレイク225、データマート226)、分析アプリケーション、および、ETLが接続された構造をデータパスと呼ぶ。また、このデータパスにおいて、データレイク225に近づく方向を上流と呼び、データレイク225から遠ざかる方向を下流と定義する。
また、本実施形態のデータ管理システム10は、図1Aに示すごとく、適宜なネットワーク003を介して、上述の工場設備002や分析アプリケーション開発者・利用者端末001と、通信可能に接続されているものとする。
このうちデータカタログ管理サーバ100は、情報検索部110と、データパス作成部111と、フィルタ作成部112と、データストア情報作成部113と、データストア・アプリケーション接続情報作成部114の各機能部を有している。また、データカタログ管理サーバ100は、適宜な記憶装置において、データストア情報125、データストア・アプリケーション接続情報126、および、アプリケーション情報127を保持するものとする。
一方、IoT基盤実行サーバ200は、アプリケーション実行部210およびデータ収集部212の各機能部を有している。また、IoT基盤実行サーバ200は、適宜な記憶装置に実装したデータ記録部212に、上述のデータストア(データレイク225、データマート226)に保存されるデータを保存している。こうしたデータストアの実体は、データベースあるいはキーバリューストアあるいはデータベースのテーブルでも良い。
また、分析アプリケーション開発者・利用者端末001は、上述のIoT基盤実行サーバ200における分析アプリケーションの開発者あるいは利用者が操作する端末である。こうした開発者あるいは利用者は、分析アプリケーション開発者・利用者端末001を操作して、上述のデータストアを一意に示すIDであるデータストアIDと、メタ情報名(例:車種)と、当該メタ情報の値(例:A)とからなる絞り込み要求を、データカタログ管理サーバ100へ送信する。この絞り込み要求は、データマート226のデータを、所望のメタ情報(例:“車種”=“A”)を条件として絞り込む指示となる。
他方、データカタログ管理サーバ100は、上述の絞り込み要求を受けて、この絞り込み要求が含むデータストアIDに対応したデータストアよりも、データパスにおいて上流に位置するデータストアのうち、当該絞り込み要求に記載のメタ情報名のデータを含むデータストアを特定する。
また、データカタログ管理サーバ100は、上述のように特定したデータストアを含むデータパスにおいて、当該データストアから絞り込み要求に記載のデータストア(対象データマート)との間に位置する分析アプリケーション、ETL、データストアの各IDからなる新規データパス506を作成する。
また、データカタログ管理サーバ100は、上述の絞り込み要求に記載のメタ情報名およびメタ情報の値を用いて、上述のように特定したデータストア(分析アプリケーションによる分析結果を保持するデータマート226や、工場設備002から得た収集データを保持するデータレイク225)の格納データを絞り込むETLとして、フィルタを作成する。データカタログ管理サーバ100は、ここで作成したフィルタを、上述の新規データパス506の最上流(すなわち、既存のデータストアと新規データパスとの境界)に追加したうえで、新規データパス506に記載のフィルタ、データマート、ETL、および、分析アプリケーション、の新規配置および実行を、新規データパス作成要求としてIoT基盤実行サーバ200に指示する。
なお、IoT基盤実行サーバ200では、工場設備002に含まれる機械やセンサーから監視データ等を収集し、データ記録部211のデータレイク225に保存するほか、ETLや分析アプリケーションを実行した結果をデータマート226に保存する。
また、IoT基盤実行サーバ200は、上述のデータカタログ管理サーバ100から、新規データパスの作成要求を受信した場合、この作成要求に含まれる新規データパス506に従って、フィルタ、データマート、ETL、および、分析アプリケーションを配置した上で実行する。また、IoT基盤実行サーバ200は、こうして実行中の分析アプリケーションの情報すなわちアプリケーション情報127の更新指示を、データカタログ管理サーバ100へ送信する。また、IoT基盤実行サーバ200は、その内部で適宜に管理するETLとデータストアの各情報をそれぞれ更新する。
上述のような機能等を備えたデータカタログ管理サーバ100およびIoT基盤実行サーバ200の内部動作を以下で説明する。
このうちデータカタログ管理サーバ100の情報検索部110は、分析アプリケーション開発者・利用者端末001から絞り込み要求を受け付けた(B1)場合、データストア
情報125とデータストア・アプリケーション接続情報126とに記録されている各情報を取得(B2,B3,B4,B5)し、上述の新規データパス506を作成する。 また、データカタログ管理サーバ100は、上述のように作成した新規データパス506と、分析アプリケーション開発者・利用者端末001から受けた上述の絞り込み要求とを、データパス作成部111へ送信する(B6)。
この時、データカタログ管理サーバ100のデータパス作成部111は、情報検索部110から新規データパス506と絞り込み要求を受け付けて、当該新規データパス506と絞り込み要求とをデータストア情報作成部113へ送信する(B7)。また、データパス作成部111は、当該新規データパス506および絞り込み要求を、フィルタ作成部112へ送信する(B9)。
また、データカタログ管理サーバ100のデータストア情報作成部113は、任意の時刻に、IoT基盤実行サーバ200のデータ記録部211からデータストアID1201と当該データストアIDの示すデータストアに含まれるメタ情報名1202とデータ名1203と接続先情報1204とを取得し(A1)、これらをデータストア情報125に記録する(A2)。
また、データストア情報作成部113は、データパス作成部111から新規データパス506および絞り込み要求を受け付け(B7)たら、当該絞り込み要求に含まれるメタ情報名と当該メタ情報名の値と、新規データパス506に含まれる複製後オブジェクトID2033と複製元オブジェクトID2032とから、データストアIDに対応する絞り込み済みメタ情報1205と複製先データストアID1206を算出し、算出した絞り込み済みメタ情報1205と複製先データストアID1206をデータストア情報125に記録する(B8)。
また、データカタログ管理サーバ100のフィルタ作成部112は、上述の新規データパス506および絞り込み要求に従って、絞り込み用のフィルタを作成し、当該フィルタのIDと実行方法をアプリケーション情報127に記録する(B9)。これと同時に、フィルタ作成部112は、作成したフィルタのIDを新規データパス506に追記したうえで、当該フィルタと新規データパス506をデータパス作成部111へ送信する(B10)。
一方、データパス作成部111は、上述のフィルタ作成部112から、フィルタと新規データパス506を受け付けて、IoT基盤実行サーバ200内のアプリケーション実行部210へ、当該フィルタと新規データパス506を送信して、上述のフィルタと分析アプリケーションョンとETLとデータストアの作成を指示(B12)する。またデータパス作成部111は、新規データパス506の先頭要素であるデータストアIDを情報検索部110へ送信する(B15)。
一方、IoT基盤実行サーバ200のアプリケーション実行部210は、データパス作成部111から新規データパス506の要素を受け付け(B12)たら、この要素がETLや分析アプリケーションを指す場合は、分析アプリケーションの実行方法をアプリケーション情報127から取得(B13)し、これを実行する。
また、アプリケーション実行部210は、データパス作成部111から受け付けた新規データパス506の要素がデータストアを指すのであれば、データ記録部211にて、データストアを新規作成する(B14)。
なお、アプリケーション実行部210は、データパス作成部111からの入力の有無に
かかわらず、分析アプリケーションやETLを実行する、あるいはデータストアを新規作成したら、当該分析アプリケーション、あるいはETL、あるいはデータストアの1つ上流と1つ下流に位置する分析アプリケーション、あるいはETL、あるいはデータストアのIDを引数にデータストア・アプリケーション接続情報126を呼び出す(D1)。
また、データカタログ管理サーバ100の情報検索部110は、データパス作成部111からデータストアIDを受け付けたら、当該データストアIDに対応するデータストアの接続情報をデータストア情報125から取得し、取得したデータストアの接続情報を分析アプリケーション開発者・利用者端末へ応答する(B16)。
また、データカタログ管理サーバ100のデータストア・アプリケーション接続情報作成部114は、IoT基盤実行サーバ200のアプリケーション実行部210から、分析アプリケーションあるいは、ETLあるいは、データストアIDと、その1つ上流と1つ下流の分析アプリケーションあるいは、ETLあるいは、データストアIDと、を受け付け(D1)たら、データストア・アプリケーション接続情報126に記録する(D2)。
−−−ハードウェア構成−−−
また、本実施形態のデータ管理システム10を主として構成するデータカタログ管理サーバ100のハードウェア構成は図1Aに示す如くとなる。
本実施形態のデータカタログ管理サーバ100は、SSD(Solid State Drive)やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置101、RAMなど揮発性記憶素子で構成されるメモリ103、記憶装置101に保持されるプログラム102をメモリ103に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうCPUなどの演算装置104、ネットワーク003と接続し他装置との通信処理を担う通信装置105、を備える。
なお、記憶装置101内には、本実施形態のデータ管理システム10を構成するデータカタログ管理サーバ100として必要な機能を実装する為のプログラム102に加えて、データストア情報125、データストア・アプリケーション接続情報126、および、アプリケーション情報127が少なくとも記憶されている。これらの情報の詳細については後述する。
また、上述の演算装置104がプログラム102を実行することで、情報検索部110、データパス作成部111、フィルタ作成部112、データストア情報作成部113、および、データストア・アプリケーション接続情報作成部114が実装される。これら機能部の働きの詳細についても後述する。
−−−データ構造例−−−
続いて、本実施形態のデータ管理システム10を構成する、上述のデータカタログ管理サーバ100およびIoT基盤実行サーバ200らが用いるデータ類について説明する。
図2Aは、本実施形態におけるデータストア情報125の構成例を示す図である。このデータストア情報125は、データストアID1201、メタ情報名1202、データ名1203、接続先情報1204、絞り込み済みメタ情報1205、および、複製先データストアID1206、の各値を含むレコードの集合体となっている。
このうちデータストアID1201は、対応するデータストアのインスタンスを一意に指し示すために使うIDであり、数値あるいは文字列である。
また、メタ情報名1202は、データストアID1201で示されるデータストアに含まれているメタ情報名のリストである。
また、データ名1203は、データストアID1201で示されるデータストアに含まれているデータ名のリストである。
また、接続先情報1204は、データストアID1201で示されるデータストアにアクセスしてデータを取得するために必要となる接続先の情報である。
また、絞り込み済みメタ情報1205は、特定のメタ情報の値で絞り込んだデータストアの場合に、当該絞り込みに用いたメタ情報を示す情報である。
また、複製先データストアID1206は、データストアID1201で示されるデータストアを、特定のメタ情報の値で絞り込んで別のデータストアを複製した場合、その複製したデータストアを示す情報である。
なお、上述の絞り込み済みメタ情報1205と複製先データストアID1206の値は、データカタログ管理サーバ100により、データストアを複製した場合に記録されることとなる。
続いて図2Bは、本実施形態におけるデータストア・アプリケーション接続情報126の構成例を示す図である。このデータストア・アプリケーション接続情報126は、上流側オブジェクトID1211、および、下流側オブジェクトID1212、の各値を含むレコードの集合体となっている。
このうち上流側オブジェクトID1211は、下流側オブジェクトID1212で示されるオブジェクト(データレイク、データマート、分析アプリケーション、ETL、フィルタ)に対して、データパスにおいて1つ上流側に位置するオブジェクトのIDである。
一方、下流側オブジェクトID1212は、上述の上流側オブジェクトID1211で示されるオブジェクトに対して、データパスにおいて1つ下流側に位置するオブジェクトのIDである。
また図2Cは、本実施形態におけるアプリケーション情報127の構成例を示す図である。このアプリケーション情報127は、アプリケーションID1221およびインスタンス作成方法1222の各値を含むレコードの集合体となっている。
このうちアプリケーションID1221は、分析アプリケーションあるいはETLのインスタンスを一意に指し示すIDであり、数値あるいは文字列である。
一方、インスタンス作成方法1222は、IoT基盤実行サーバ200のアプリケーション実行部210において、上述のアプリケーションID1221で示される分析アプリケーションあるいはETLの実行に必要なコマンドと、引数のリストを記述した情報である。
また図3Aは、本実施形態におけるデータレイク225のデータ構成例を示す図である。このデータレイク225は、時刻1231、機器ID1232、製品種別1233、および、回転継続時間1234、の各値を含むレコードの集合体となっている。
このうち時刻1231は、回転継続時間1234の値の収集対象時刻を表すメタ情報である。
また、機器ID1232は、工場設備002において製品の生産に使われる機器を一意に示すメタ情報であり、数値あるいは文字列である。
また、製品種別1233は、上述の機器ID1232で示される機器が、時刻1231において生産していた製品の種類を表すメタ情報である。
また、回転継続時間1234は、上述の機器ID1232で示される機器の電源を時刻
1231に遮断してから、当該機器における所定の回転軸が停止するまでに要した時間の値である。
また図3Bは、本実施形態におけるデータマート226の1つである、第1データマート2261の構成例を示す図である。この第1データマート2261は、時刻1241、機器ID1242、製品種別1243、および、故障判定1244、の各値を含むレコードの集合体となっている。
このうち時刻1241は、故障判定1244の分析対象時刻を表すメタ情報である。
また機器ID1242は、工場設備002において製品の生産に使われる機器を一意に示すメタ情報であり、数値あるいは文字列である。
また製品種別1243は、機器ID1242で示される機器が、時刻1241において生産していた製品の種類を表すメタ情報である。
また、故障判定1244は、上述の時刻1241に相当する時刻1231の回転継続時間1234をデータレイク225から取得して行った分析で得られた、当該機器の故障状態に関する分析結果である。
また図3Cは、本実施形態におけるデータマート226の1つである、第2データマート2262の構成例を示す図である。この第2データマート2262は、時刻1251、および、故障率1252、各値を含むレコードの集合体となっている。
このうち時刻1251は、故障率1252の分析対象時刻を表すメタ情報である。
また故障率1252は、上述の第1データマート2261に保存されている故障判定1244から計算した故障判定の統計値を表す情報である。
−−−データパスの具体例−−−
図4は、本実施形態におけるIoT基盤実行サーバ200で実行済みの既存データパス505と、本実施形態のデータ管理方法を実行することで追加される新規データパス506とについて、それらの論理構造例を示す図である。
この場合、本実施形態におけるIoT基盤実行サーバ200のデータ収集部212が、工場設備002から機器等の監視データを収集し、これを収集データとしてデータレイク225に保存しているものとする。
ここで、IoT基盤実行サーバ200のアプリケーション実行部210は、上述のデータレイク225の収集データから回転収集時刻1234を取得して、これを入力として第1分析アプリケーション401(IoT基盤実行サーバ200が予め保持)を実行する。
この第1分析アプリケーション401は、当該回転収集時刻1234の値から、工場設備002における所定機器が故障しているか分析した結果として、故障判定1244の値を第1データマート2261に保存する。
続いて、上述のアプリケーション実行部210は、第1データマート2261から故障判定1244の値を取得して、これを入力として第2分析アプリケーション402(IoT基盤実行サーバ200が予め保持)を実行する。
この第2分析アプリケーション402は、上述の故障判定1244の値を該当機器における故障率として所定の統計的手法により集計し、その結果すなわち分析結果を第2データマート2262に保存する。
IoT実行基盤サーバ200が上記の状態にあるときに、データカタログ管理サーバ1
00に対し、分析アプリケーション開発者・利用者端末001から、分析結果の絞り込み要求が送信されたとする。この絞り込み要求は、対象データマートを上述の第2データマート2262とし、その格納情報たる分析結果を、メタ情報“製品種別”が“A”について絞り込む要求であるとする。
その場合のデータカタログ管理サーバ100は、上述のメタ情報“製品種別”が“A”の値を含むデータマートをデータストア・アプリケーション接続情報126で検索し、データレイク225からみて最も下流のデータストアの、第1データマート2261を特定したものとする。
そこでデータカタログ管理サーバ100は、この第1データマート2261から分岐した新規データパス506を作成する要求を、IoT基盤実行サーバへ送信する。
一方、IoT基盤実行サーバ200のアプリケーション実行部210は、データカタログ管理サーバ100から受け付けた新規データパス506の作成要求に基づいてフィルタ410を作成し、これを第1データマート2261に適用して第1’データマート2263(図6A)を生成する。
また、アプリケーション実行部210は、第2分析アプリケーション402に関してアプリケーション情報127から取得したインスタンス作成方法1222に記載のコマンドを実行し、第2’分析アプリケーション403、および、これに第1’データマートを入力として与えた第2’データマート2264(図6B)を生成する。
図6A、図6Bは、新規データパス506に配置された第1’データマート2263と第2’データマート2264に保存する内容の一例を示す説明図である。図6Aの第1’データマート2263は、第1データマート2261をメタ情報名「製品種別」の値「A」で絞り込んだデータマートであるため、メタ情報である「製品種別」が「A」のデータのみが格納される。
また図6Bの第2’データマート2264は、メタ情報である「製品種別」のカラムはないが、この第2’データマート2264を生成する第2’分析アプリケーション403の入力情報が上述の第1’データマート、すなわち、「製品種別」が「A」に関するデータのみであることにより、分析結果である故障率2022の値も、「製品種別」が「A」に関するもののみとなっている。したがって、既存の分析アプリケーションの処理をそのまま利用し、特定のメタ情報の値で絞り込んだ処理結果を得ることができる。
アプリケーション実行部210は、こうして得た、フィルタ410、第1’データマート2263、第2’分析アプリケーション403、および、第2’データマート2264、を論理的に接続し、新規データパス506とする。なお、アプリケーション実行部210は、上述の新規データパス506に従い、データストア情報125、データストア・アプリケーション接続情報126、および、アプリケーション情報127に、対応する新たなレコードを格納する。
図5A〜図5Cに、上述の新規データパス506に関してレコードを追加した場合の、データストア情報125、データストア・アプリケーション接続情報126、および、アプリケーション情報127の構成例を示す。
図5Aにおけるデータストア情報125の例では、データストア1およびデータストア2をそれぞれ複製元とした、複製先のデータストア1’、データストア2’の各レコードが追加された構成となっている。よって、該当レコードでは、複製先データストアID3
016の値が、それぞれ、“1’”、“2’”となる。なお、これらのレコードには、対応するデータマート、すなわち複製した第1’データマート’および第2’データマートのそれぞれ情報が追加されることとなる。
第1’データマートおよび第2’データマートは、メタ情報名「製品種別」の値「A」で、それぞれ第1データマートおよび第2データマートを絞り込んでいるものであるため、絞り込み済みメタ情報3016の値が「{メタ情報名:製品種別、メタ情報の値:A}」となる。図5Bでは、図4に記載のように、第1データマート2261から複製し、新規データパスを作成したため、新規に作成されたデータパスを示す下3行が追加される。図5Cでは、第2’アプリケーションを複製し、またフィルタ410を配置したため、新規に作成された第2’アプリケーションとフィルタ410を示す最終行が追加される。
こうして新規データパス506を得たアプリケーション実行部210は、第1データマート2261に保存されているデータとメタ情報を引数に、フィルタ410を実行することとなる。
上述のフィルタ410は、第1データマート2261から受け取ったデータとメタ情報の値のうち、メタ情報である製品種別1243の値が“A”であるときのデータの値のみに絞り込こんだ上で、第1’データマート2263へ保存するフィルタである。
また、第2’分析アプリケーション403は、第1’データマート2263から故障判定1264の値を取得し、第2分析アプリケーション402と同様の処理で故障判定1264を集計した故障率1272を第2’データマート2264に保存する。
データストア情報に第2’データマート2264の接続先情報が追加されたら、データカタログサーバ100は、第2’データマート2264の接続先情報を分析アプリケーション開発者・利用者端末001へ送信する。これにより、分析アプリケーションの開発者あるいは利用者は、第2’データマート2264へ接続することで、メタ情報の値で絞り込まれたデータを入手できるようになる。
なお、上述のように生成した新規データパス506の具体例を図7に示す。新規データパス506は、ユーザが分析アプリケーション開発者・利用者端末001からデータカタログ管理サーバ100に対し、データマート取得要求を行うたびに、データカタログ管理サーバ100ないしIoT基盤実行サーバ200のメモリ上に生成される。
新規データパス506の要素は、複製元オブジェクトID2033について重複無く生成される。リスト要素番号2031は、データパスの要素を一意に指し示す情報である。また、複製元オブジェクトID2032は、複製元オブジェクトを示すIDである。複製後オブジェクトID2033は、複製後オブジェクトを示すIDである。上流側オブジェクトID2034は、複製後オブジェクトの1つ上流のオブジェクトを示すIDである。下流側オブジェクトID2035は、複製後オブジェクトの1つ下流のオブジェクトを示すIDである。
−−−フロー例−−−
以下、本実施形態におけるデータ管理方法の実際手順について図に基づき説明する。以下で説明するデータ管理方法に対応する各種動作は、データ管理システム10を構成するデータカタログ管理サーバ100やIoT基盤実行サーバ200がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
図8は、本実施形態におけるデータ管理方法のフロー例1を示す図であり、具体的には、本実施形態の分析アプリケーション開発者・利用者端末001の動作を示すフローチャートである。
分析アプリケーションの開発者あるいは利用者が、特定のメタ情報の特定の値で絞り込んだ分析結果を必要とする状況を想定する。この場合、分析アプリケーションの開発者あるいは利用者は、当該分析結果を含むと推定しているデータストア(対象データマート)のID(例:1)と、絞り込みに使用するメタ情報名(例:製品種別)、絞り込むメタ情報の値(例:A)からなる絞り込み要求を分析アプリケーション開発者・利用者端末001に入力する。
一方、分析者アプリケーション開発者・利用者端末001は、上述の絞り込み要求を受け付ける(S101)。また、分析アプリケーション開発者・利用者端末001は、S101で受け付けた絞り込み要求を引数に、データカタログ管理サーバ100の情報検索部110を呼び出し(S102)、処理を終了する。
図9A、図9Bは、本実施形態におけるデータ管理方法のフロー例2を示す図であり、具体的には、データカタログ管理サーバ100における情報検索部110の動作を示すフローチャートである。このうち図9Aは、情報検索部110が分析アプリケーション開発者・利用者端末001から絞り込み要求を受信した時に開始される動作を示す。
この場合、情報検索部110は分析アプリケーション開発者・利用者端末001から絞り込み要求を受けつけ(S201)、データストアのID(例:1)を変数iに代入する(S202)。
次に、情報検索部110は、データストア情報125にて、S202で得ているデータストアのIDに関連するレコードを特定し、当該レコードそれぞれにおける、メタ情報名3012、絞り込み済みメタ情報3015、および、複製先データストアID3016、の各値を取得し、これをメモリ上に保存する(S203)。
その後、情報検索部110は、上述の変数iの値を例えば複製後オブジェクトID2033としたレコードを生成し、これを新たな新規データパス506の構成レコードとして追加する(S204)。ここで、新規データパス506(の一部)が生成された。
また、情報検索部110は、この変数iの値がデータストアIDであるか、データストア情報125にて該当値をデータストアIDとして含むレコードがあるか否かで、チェックする(S205)。
上述のチェックの結果、変数iの値が、データストアIDでなかった場合(S205:NO)、情報検索部110は、当該変数iの示すオブジェクトIDから1つ上流のオブジェクトIDをデータストア・アプリケーション接続情報から取得し(S209)、このオブジェクトIDを変数iに代入し(S210)、処理をS203に戻す。
一方、上述のチェックの結果、変数iの値が、データストアIDであった場合(S205:YES)、情報検索部110は、S203で取得した複製先データストアIDの値が空か判定する(S206)。
上述の判定の結果、複製先データストアIDの値が空であった場合(S206:YES)、情報検索部110は、続いて、S203で取得した絞り込み済みメタ情報の値が空か判定する(S207)。
上述の判定の結果、複製先データストアIDの値が空であった場合(S207:YES)、情報検索部110は、上述の絞り込み要求に含まれるメタ情報名(例:製品種別)が、S203で取得したメタ情報名に含まれるか判定する(S208)。
また、上述の判定の結果、絞り込み要求に含まれるメタ情報名が、S203で取得したメタ情報名に含まれていなかった場合(S208:NO)、情報検索部110は、処理をS209に戻し、当該S209以降の処理を繰り返すこととなる。
他方、上述の判定の結果、絞り込み要求に含まれるメタ情報名が、S203で取得したメタ情報名に含まれていた場合(S208:YES)、情報検索部110は、当該絞り込み要求と、上述のS204で生成した新規データパス506とを引数に、データパス作成部111を呼び出し(S220)、処理を終了する。
なお、上述のS206における判定の結果、複製先データストアIDの値が空ではなかった場合(S206:NO)、情報検索部110は、S203で取得した複製先データストアIDの値を使ってデータストア情報125を検索し、当該データストアIDの値をデータストアID3011として含むレコードから、メタ情報名3012および絞り込み済みメタ情報3015の各値を取得し、メモリ上で上書きする(S211)。
続いて、情報検索部110は、S211で取得した絞り込み済みメタ情報3015の値が空であるか調べ(S212)、空であった場合(S212:YES)、S207のステップに移って処理を継続する。
他方、S212の結果、絞り込み済みメタ情報3015の値が空でなかった場合(S212:NO)、情報検索部110は、上述の複製先データストアIDの値で、S204にて生成した新規データパス506のレコードにおける対応要素、すなわち複製元オブジェクトID2032の値を置換する(S213)。
また、情報検索部110は、S211で取得した絞り込み済みメタ情報3015の値が、絞り込み要求に含まれるメタ情報名および当該メタ情報の値に一致するか判定する(S214)。
上述の判定の結果、S211で取得した絞り込み済みメタ情報3015の値が、絞り込み要求に含まれるメタ情報名および当該メタ情報の値に一致しない場合(S214:NO)、情報検索部110は、絞り込み不可エラーを分析アプリケーション開発者・利用者端末001へ応答し(S215)、処理を終了する。
他方、上述の判定の結果、S211で取得した絞り込み済みメタ情報3015の値が、絞り込み要求に含まれるメタ情報名および当該メタ情報の値に一致した場合(S214:YES)、情報検索部110は、現在の新規データパス506の要素数が1か判定する(S216)。
上述の判定の結果、新規データパス506の要素数が1、すなわちレコードが1つであった場合(S216:YES)、情報検索部110は、新規データパス506の当該レコードにおける複製後オブジェクトID2033が示すデータストアの接続先情報を、データストア情報125にて取得する(S217)。
また、情報検索部110は、上述のS217で取得した接続先情報を、分析アプリケーション開発者・利用者端末へ応答し(S218)、処理を終了する。
一方、上述の判定の結果、新規データパス506の要素数が1ではなかった場合(S216:NO)、情報検索部110は、上述の絞り込み要求に含まれるメタ情報名とメタ情報の値を削除し(S219)、当該絞り込み要求と新規データパス506を引数にデータパス作成部を呼び出して(S220)、処理を終了する。
図9Bは、上述の情報検索部110が、接続先情報の応答要求を分析アプリケーション開発者・利用者端末001から受信した時に開始される動作を示すフローチャートである。
この場合の情報検索部110は、データパス作成部111から、データストアのID、例えば“a´”と共に、接続先情報の応答要求を受け付けて(S301)、データストア情報125から、データストア“a´”の接続先情報を取得する(S302)。
また、情報検索部110は、S302で取得したデータストア“a´”の接続先情報を、分析アプリケーション開発者・利用者端末001へ応答し(S303)、処理を終了する。
また図10は、本実施形態のデータパス作成部111の動作を示すフローチャートである。この場合のデータパス作成部111は、上述の情報検索部110から絞り込み要求と新規データパスを受け付けて(S401)、当該新規データパスおよび絞り込み要求を引数に、データストア情報作成部113を呼び出す(S402)。
また、データパス作成部111は、上述の絞り込み要求と、新規データパス506の末尾のデータストアIDとを引数に、フィルタ作成部112を呼び出し(S403)、処理を終了する。
一方、フィルタ作成部112は、図11のフローチャートに示す動作を実行する。この場合のフィルタ作成部112は、データパス作成部111から、上述の引数である絞り込み要求およびデータストアIDを受け付け(S501)、当該絞り込み要求のメタ情報名とメタ情報の値は空か調べる(S502)。
上述のS502において、当該絞り込み要求のメタ情報名とメタ情報の値が空でなかった場合(S502:NO)、フィルタ作成部112は、S501で得たデータストアIDに対応知るデータストアのデータを、上述の絞り込み要求が示すメタ情報名の値(例:“製品種別”)が、当該絞り込み要求が示すメタ情報の値(例:“A”)となるときの値のみに絞り込むフィルタを作成する(S503)。このフィルタの作成は、例えば、IoT基盤実行サーバ200において用意されている、データストアに対するデータ抽出アルゴリズムに対し、上述の絞り込み要求が示すメタ情報名の値(例:“製品種別”)が、当該絞り込み要求が示すメタ情報の値(例:“A”)であるとの抽出条件を設定する、処理などを想定できる(この場合、作成されるフィルタは、抽出条件が設定されたデータ抽出アルゴリズムとなる)。
次に、フィルタ作成部112は、S503で作成したフィルタについて、これを一意に示すフィルタIDを所定ルールにて作成し(S504)、当該フィルタIDと上述のフィルタのインスタンス作成方法(例:上述のごとく、データ抽出アルゴリズムに抽出条件を設定する記述)とをアプリケーション情報127に記録する(S505)。
最後に、フィルタ作成部112は、上述のフィルタとフィルタIDとを引数に、データパス作成部111を呼び出し(S506)、処理を終了する。なお、上述のS502の結果、絞り込み要求のメタ情報名とメタ情報の値は空であった場合(S502:YES)、
フィルタ作成部112は、データを絞り込まない空のフィルタを作成し(S507)、S504へ移って処理を継続する。
他方、上述のフィルタ作成部112により呼び出されたデータパス作成部111は、図12のフローチャートに示す動作を実行する。この場合のデータパス作成部111は、上述のフィルタ作成部112から、フィルタおよびフィルタIDを受け付け(S451)、当該フィルタが空か調べる(S452)。
上述のS452の結果、フィルタおよびフィルタIDが空でなかった場合(S452:NO)、データパス作成部111は、受け付けたフィルタIDを複製後オブジェクトIDにセットしたレコードを生成し、これを新規データパス506の末尾に追加する(S453)。
次に、データパス作成部111は、新規データパス506の末尾の要素を引数に、アプリケーション実行部210を呼び出し(S455)、新規データパス506の末尾の要素を新規データパス506から削除する(S455)。
上述のS455によって新規データパス506の要素数が1になっていない場合(S456:NO)、データパス作成部111は、処理をS454に戻し、以後のステップを繰り返す(S456)。
一方、上述のS456によって新規データパス506の要素数が1になった場合(S456:YES)、データパス作成部111は、新規データパス506の末尾の要素を引数に、IoT基盤実行サーバ200のアプリケーション実行部210を呼び出す(S457)。
また、データパス作成部111は、当該新規データパス506の先頭要素を引数に、情報検索部110を呼び出し(S458)、処理を終了する。
他方、上述のS452の結果、フィルタが空であった場合(S452:YES)、データパス作成部111は、処理をS455に遷移させて処理を継続する。
他方、上述のS457でデータパス作成部111から呼び出されたアプリケーション実行部210は、図13のフローチャートに示す動作を実行する。
この場合のアプリケーション実行部210は、上述のデータカタログ管理サーバ100のデータパス作成部111から、新規データパス506の末尾レコードが示す分析アプリケーションのアプリケーションID、例えばアプリケーションkの実行要求を受け付け(S601)、アプリケーション情報127から当該アプリケーションkのインスタンス作成方法を取得する(S602)。
次に、アプリケーション実行部210は、上述のS602で得た、上述のアプリケーションkのインスタンス作成方法を実行し(S603)、処理を終了する。
以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みを効率的なものとできる。
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態のデータ管理システムにおいて、前記演算装置は、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択するに際し、前記メタ情報を含むデータマートのうち前記対象データマートから最も近いデータマートを選択す
るものである、としてもよい。
これによれば、新規データパスに含まれて、絞り込み要求に対応した分析結果をえる際に用いる新たなデータマートの生成が無駄なく効率的なものとなる。ひいては、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みをより効率的なものとできる。
また、本実施形態のデータ管理システムにおいて、前記演算装置は、前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートについて、前記絞り込み要求で指定されたメタ情報の所定属性を、絞り込み済みメタ情報として前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と異なるものであれば、前記新たな絞り込み要求に対応する処理を回避するものである、としてもよい。
これによれば、例えば、特定の事象に関してフィルタの適用やアルゴリズム(分析アプリケーション)の適用を行って得た新たなデータマート、すなわち絞り込み済みのデータマートは、上述の事象とは異なる事象に関する値は含んでいないことを踏まえ、こうしたデータマートに関する絞り込み要求に応じた処理を回避可能となる。ひいては、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みをより効率的なものとできる。
また、本実施形態のデータ管理システムにおいて、前記演算装置は、前記対象データマートと前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートとを紐付ける情報を、前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と同じものであれば、前記新たな絞り込み要求に対して、前記新たなデータマートを前記対象データマートないしフィルタまたはアルゴリズムの適用対象として再利用するものである、としてもよい。
これによれば、例えば、特定の事象に関してフィルタの適用やアルゴリズム(分析アプリケーション)の適用を行って得た新たなデータマート、すなわち絞り込み済みのデータマートは、上述の事象と同じ事象に関する絞り込み要求にそのまま転用できることとなる。ひいては、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みをより効率的なものとできる。
また、本実施形態のデータ管理システムにおいて、前記演算装置は、所定装置に備わる前記データレイクおよび前記データマートから、前記データストア情報の各項目に対応する値を収集し、前記データレイクおよび前記データマートのそれぞれに対応したレコードを生成して前記データストア情報に格納する処理と、前記データレイクまたは前記データマートに対する前記アルゴリズムの適用イベントを監視して、前記データストア・アプリケーション接続情報の各項目に対応する値を収集し、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに適用するアルゴリズム、の一連の関係に対応したレコードを生成して前記データストア・アプリケーション接続情報に格納する処理と、を更に実行するものである、としてもよい。
これによれば、本実施形態のデータ管理方法を実行するごとに、データストア情報およびデータストア・アプリケーション接続情報を蓄積し、以後のデータ管理に利用可能とな
る。ひいては、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みをより効率的なものとできる。
また、本実施形態のデータ管理方法において、前記情報処理システムが、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択するに際し、前記メタ情報を含むデータマートのうち前記対象データマートから最も近いデータマートを選択する、としてもよい。
また、本実施形態のデータ管理方法において、前記情報処理システムが、前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートについて、前記絞り込み要求で指定されたメタ情報の所定属性を、絞り込み済みメタ情報として前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と異なるものであれば、前記新たな絞り込み要求に対応する処理を回避する、としてもよい。
また、本実施形態のデータ管理方法において、前記情報処理システムが、前記対象データマートと前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートとを紐付ける情報を、前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と同じものであれば、前記新たな絞り込み要求に対して、前記新たなデータマートを前記対象データマートないしフィルタまたはアルゴリズムの適用対象として再利用する、としてもよい。
また、本実施形態のデータ管理方法において、前記情報処理システムが、所定装置に備わる前記データレイクおよび前記データマートから、前記データストア情報の各項目に対応する値を収集し、前記データレイクおよび前記データマートのそれぞれに対応したレコードを生成して前記データストア情報に格納する処理と、前記データレイクまたは前記データマートに対する前記アルゴリズムの適用イベントを監視して、前記データストア・アプリケーション接続情報の各項目に対応する値を収集し、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに適用するアルゴリズム、の一連の関係に対応したレコードを生成して前記データストア・アプリケーション接続情報に格納する処理と、を更に実行する、としてもよい。
001 分析アプリケーション開発者・利用者端末
002 工場設備
003 ネットワーク
10 データ管理システム
100 データカタログ管理サーバ
101 記憶装置
102 プログラム
103 メモリ
104 演算装置
105 通信装置
110 情報検索部
111 データパス作成部
112 フィルタ作成部
113 データストア情報作成部
114 データストア・アプリケーション接続情報作成部
125 データストア情報
126 データストア・アプリケーション接続情報
127 アプリケーション情報
200 IoT基盤実行サーバ
210 アプリケーション実行部
211 データ記録部
212 データ収集部
225 データレイク
226 データマート
2261 第1データマート
2262 第2データマート
2263 第1’データマート
2264 第2’データマート

Claims (10)

  1. 所定データを格納するデータレイクおよび前記所定データに対する所定の分析結果を格納するデータマートのそれぞれに関する情報を格納したデータストア情報と、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに対する分析処理を担うアルゴリズム、の一連の関係を示すデータパスの情報を格納したデータストア・アプリケーション接続情報と、を保持する記憶装置と、
    所定端末から受信した分析結果の絞り込み要求と前記データストア情報とに基づき、前記絞り込み要求の示す対象データマートに所定のメタ情報が含まれるか判定し、当該メタ情報が含まれていない場合、前記データストア情報および前記データストア・アプリケーション接続情報に基づき、前記対象データマートを含むデータパスにおいて、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択し、当該データマートに対して適用する前記アルゴリズムの一種たる前記メタ情報に関するフィルタ、当該フィルタの適用で得た新たなデータマート、および、当該新たなデータマートに適用する所定アルゴリズム、を含む新規データパスを所定ルールで生成し、当該新規データパスに従って前記選択したデータマートへの前記フィルタの適用および前記新たなデータマートへの所定アルゴリズムの適用を実行することで、前記絞り込み要求に対応した所定の分析結果を生成する演算装置と、
    を備えることを特徴とするデータ管理システム。
  2. 前記演算装置は、
    前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択するに際し、前記メタ情報を含むデータマートのうち前記対象データマートから最も近いデータマートを選択するものである、
    ことを特徴とする請求項1に記載のデータ管理システム。
  3. 前記演算装置は、
    前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートについて、前記絞り込み要求で指定されたメタ情報の所定属性を、絞り込み済みメタ情報として前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と異なるものであれば、前記新たな絞り込み要求に対応する処理を回避するものである、
    ことを特徴とする請求項1に記載のデータ管理システム。
  4. 前記演算装置は、
    前記対象データマートと前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートとを紐付ける情報を、前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と同じものであれば、前記新たな絞り込み要求に対して、前記新たなデータマートを前記対象データマートないしフィルタまたはアルゴリズムの適用対象として再利用するものである、
    ことを特徴とする請求項3に記載のデータ管理システム。
  5. 前記演算装置は、
    所定装置に備わる前記データレイクおよび前記データマートから、前記データストア情報の各項目に対応する値を収集し、前記データレイクおよび前記データマートのそれぞれに対応したレコードを生成して前記データストア情報に格納する処理と、前記データレイ
    クまたは前記データマートに対する前記アルゴリズムの適用イベントを監視して、前記データストア・アプリケーション接続情報の各項目に対応する値を収集し、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに適用するアルゴリズム、の一連の関係に対応したレコードを生成して前記データストア・アプリケーション接続情報に格納する処理と、を更に実行するものである、
    ことを特徴とする請求項1に記載のデータ管理システム。
  6. 所定データを格納するデータレイクおよび前記所定データに対する所定の分析結果を格納するデータマートのそれぞれに関する情報を格納したデータストア情報と、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに対する分析処理を担うアルゴリズム、の一連の関係を示すデータパスの情報を格納したデータストア・アプリケーション接続情報と、を保持する記憶装置を備えた情報処理システムが、
    所定端末から受信した分析結果の絞り込み要求と前記データストア情報とに基づき、前記絞り込み要求の示す対象データマートに所定のメタ情報が含まれるか判定し、当該メタ情報が含まれていない場合、前記データストア情報および前記データストア・アプリケーション接続情報に基づき、前記対象データマートを含むデータパスにおいて、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択し、当該データマートに対して適用する前記アルゴリズムの一種たる前記メタ情報に関するフィルタ、当該フィルタの適用で得た新たなデータマート、および、当該新たなデータマートに適用する所定アルゴリズム、を含む新規データパスを所定ルールで生成し、当該新規データパスに従って前記選択したデータマートへの前記フィルタの適用および前記新たなデータマートへの所定アルゴリズムの適用を実行することで、前記絞り込み要求に対応した所定の分析結果を生成する、
    ことを特徴とするデータ管理方法。
  7. 前記情報処理システムが、
    前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択するに際し、前記メタ情報を含むデータマートのうち前記対象データマートから最も近いデータマートを選択する、
    ことを特徴とする請求項6に記載のデータ管理方法。
  8. 前記情報処理システムが、
    前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートについて、前記絞り込み要求で指定されたメタ情報の所定属性を、絞り込み済みメタ情報として前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と異なるものであれば、前記新たな絞り込み要求に対応する処理を回避する、
    ことを特徴とする請求項6に記載のデータ管理方法。
  9. 前記情報処理システムが、
    前記対象データマートと前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートとを紐付ける情報を、前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と同じものであれば、前記新たな絞り込み要求に対して、前記新たなデータマートを前記対象データマートないしフィルタまたはアルゴリズムの適用対象として再利用する、
    ことを特徴とする請求項8に記載のデータ管理方法。
  10. 前記情報処理システムが、
    所定装置に備わる前記データレイクおよび前記データマートから、前記データストア情報の各項目に対応する値を収集し、前記データレイクおよび前記データマートのそれぞれに対応したレコードを生成して前記データストア情報に格納する処理と、前記データレイクまたは前記データマートに対する前記アルゴリズムの適用イベントを監視して、前記データストア・アプリケーション接続情報の各項目に対応する値を収集し、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに適用するアルゴリズム、の一連の関係に対応したレコードを生成して前記データストア・アプリケーション接続情報に格納する処理と、を更に実行する、
    ことを特徴とする請求項6に記載のデータ管理方法。
JP2018000586A 2018-01-05 2018-01-05 データ管理システムおよびデータ管理方法 Expired - Fee Related JP6824915B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018000586A JP6824915B2 (ja) 2018-01-05 2018-01-05 データ管理システムおよびデータ管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018000586A JP6824915B2 (ja) 2018-01-05 2018-01-05 データ管理システムおよびデータ管理方法

Publications (2)

Publication Number Publication Date
JP2019121181A JP2019121181A (ja) 2019-07-22
JP6824915B2 true JP6824915B2 (ja) 2021-02-03

Family

ID=67306381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018000586A Expired - Fee Related JP6824915B2 (ja) 2018-01-05 2018-01-05 データ管理システムおよびデータ管理方法

Country Status (1)

Country Link
JP (1) JP6824915B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135766A (ja) * 2020-02-27 2021-09-13 三菱電機株式会社 IoTシステム向け時系列データ管理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366401A (ja) * 2001-06-06 2002-12-20 Nippon Yunishisu Kk 統合的データマート構築及び運用支援システム
US20120005151A1 (en) * 2010-07-01 2012-01-05 Vineetha Vasudevan Methods and systems of content development for a data warehouse
US10235439B2 (en) * 2010-07-09 2019-03-19 State Street Corporation Systems and methods for data warehousing in private cloud environment
JP5552449B2 (ja) * 2011-01-31 2014-07-16 日本電信電話株式会社 データ分析及び機械学習処理装置及び方法及びプログラム
JP2017010376A (ja) * 2015-06-24 2017-01-12 株式会社日立製作所 マートレス検証支援システムおよびマートレス検証支援方法

Also Published As

Publication number Publication date
JP2019121181A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
CN107958057B (zh) 一种用于异构数据库中数据迁移的代码生成方法及装置
US8438192B2 (en) System and method for retrieving and storing industrial data
US7418453B2 (en) Updating a data warehouse schema based on changes in an observation model
CN109643310B (zh) 用于数据库中数据重分布的系统和方法
CN107003935A (zh) 优化数据库去重
KR20060049000A (ko) 산업시스템을 자동 구성하는 시스템 및 방법
JP2008009809A (ja) データベース同期処理プログラム
CN108829505A (zh) 一种分布式调度系统及方法
JP6198224B2 (ja) 情報収集システム、情報収集方法、及び情報収集プログラム
CN118193488A (zh) 专病数据库的构建方法、装置、计算机设备及存储介质
JP6824915B2 (ja) データ管理システムおよびデータ管理方法
CN108073582A (zh) 一种计算框架选择方法和装置
CN103530369A (zh) 一种去重方法及系统
JP2011039884A (ja) 文書を収集するためのシステムおよびプログラム
WO2023063172A1 (ja) 業務情報管理システム及びデータ検索方法
JP6157420B2 (ja) 業務処理システムおよび業務処理方法
Thanekar et al. A study on MapReduce: Challenges and Trends
CN109684094B (zh) 云平台环境下海量文献并行挖掘的负载分配方法及系统
JP7381290B2 (ja) 計算機システム及びデータの管理方法
CN112836033A (zh) 业务模型的管理方法、装置、设备及存储介质
JP5901962B2 (ja) コマンド処理システム及び方法
CN107636652A (zh) Rdb系统
Ren et al. Application massive data processing platform for smart manufacturing based on optimization of data storage
US20230035836A1 (en) Data analysis device and model management method
JPS6284337A (ja) 仕様書情報解析方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R150 Certificate of patent or registration of utility model

Ref document number: 6824915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees