JP6824915B2 - データ管理システムおよびデータ管理方法 - Google Patents
データ管理システムおよびデータ管理方法 Download PDFInfo
- Publication number
- JP6824915B2 JP6824915B2 JP2018000586A JP2018000586A JP6824915B2 JP 6824915 B2 JP6824915 B2 JP 6824915B2 JP 2018000586 A JP2018000586 A JP 2018000586A JP 2018000586 A JP2018000586 A JP 2018000586A JP 6824915 B2 JP6824915 B2 JP 6824915B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- mart
- information
- new
- data mart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 68
- 238000013523 data management Methods 0.000 title claims description 52
- 238000004458 analytical method Methods 0.000 claims description 123
- 238000004422 calculation algorithm Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 16
- 230000010365 information processing Effects 0.000 claims description 10
- 238000007726 management method Methods 0.000 description 35
- 238000011144 upstream manufacturing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000010076 replication Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
る。
以下に本発明の実施形態について図面を用いて詳細に説明する。図1Aは、本実施形態のデータ管理システム10を含むネットワーク構成図である。図1Aに示すデータ管理システム10は、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みを効率的なものとするコンピュータシステムである。
ける生産効率の分析や工作機械の故障予知を行う事業体を想定できる。この事業体が管理する工場では、当該工場に設置したセンサーや工作機械など工場設備002が、一定時間毎に監視データを発信し、これをIoT基盤実行サーバ200が収集する仕組みが形成、運用されているものとする。
上述のような機能等を備えたデータカタログ管理サーバ100およびIoT基盤実行サーバ200の内部動作を以下で説明する。
情報125とデータストア・アプリケーション接続情報126とに記録されている各情報を取得(B2,B3,B4,B5)し、上述の新規データパス506を作成する。 また、データカタログ管理サーバ100は、上述のように作成した新規データパス506と、分析アプリケーション開発者・利用者端末001から受けた上述の絞り込み要求とを、データパス作成部111へ送信する(B6)。
かかわらず、分析アプリケーションやETLを実行する、あるいはデータストアを新規作成したら、当該分析アプリケーション、あるいはETL、あるいはデータストアの1つ上流と1つ下流に位置する分析アプリケーション、あるいはETL、あるいはデータストアのIDを引数にデータストア・アプリケーション接続情報126を呼び出す(D1)。
また、本実施形態のデータ管理システム10を主として構成するデータカタログ管理サーバ100のハードウェア構成は図1Aに示す如くとなる。
続いて、本実施形態のデータ管理システム10を構成する、上述のデータカタログ管理サーバ100およびIoT基盤実行サーバ200らが用いるデータ類について説明する。
このうちデータストアID1201は、対応するデータストアのインスタンスを一意に指し示すために使うIDであり、数値あるいは文字列である。
また、メタ情報名1202は、データストアID1201で示されるデータストアに含まれているメタ情報名のリストである。
また、データ名1203は、データストアID1201で示されるデータストアに含まれているデータ名のリストである。
また、接続先情報1204は、データストアID1201で示されるデータストアにアクセスしてデータを取得するために必要となる接続先の情報である。
また、絞り込み済みメタ情報1205は、特定のメタ情報の値で絞り込んだデータストアの場合に、当該絞り込みに用いたメタ情報を示す情報である。
このうちアプリケーションID1221は、分析アプリケーションあるいはETLのインスタンスを一意に指し示すIDであり、数値あるいは文字列である。
このうち時刻1231は、回転継続時間1234の値の収集対象時刻を表すメタ情報である。
また、機器ID1232は、工場設備002において製品の生産に使われる機器を一意に示すメタ情報であり、数値あるいは文字列である。
また、製品種別1233は、上述の機器ID1232で示される機器が、時刻1231において生産していた製品の種類を表すメタ情報である。
1231に遮断してから、当該機器における所定の回転軸が停止するまでに要した時間の値である。
このうち時刻1241は、故障判定1244の分析対象時刻を表すメタ情報である。
また機器ID1242は、工場設備002において製品の生産に使われる機器を一意に示すメタ情報であり、数値あるいは文字列である。
また製品種別1243は、機器ID1242で示される機器が、時刻1241において生産していた製品の種類を表すメタ情報である。
このうち時刻1251は、故障率1252の分析対象時刻を表すメタ情報である。
また故障率1252は、上述の第1データマート2261に保存されている故障判定1244から計算した故障判定の統計値を表す情報である。
図4は、本実施形態におけるIoT基盤実行サーバ200で実行済みの既存データパス505と、本実施形態のデータ管理方法を実行することで追加される新規データパス506とについて、それらの論理構造例を示す図である。
00に対し、分析アプリケーション開発者・利用者端末001から、分析結果の絞り込み要求が送信されたとする。この絞り込み要求は、対象データマートを上述の第2データマート2262とし、その格納情報たる分析結果を、メタ情報“製品種別”が“A”について絞り込む要求であるとする。
016の値が、それぞれ、“1’”、“2’”となる。なお、これらのレコードには、対応するデータマート、すなわち複製した第1’データマート’および第2’データマートのそれぞれ情報が追加されることとなる。
以下、本実施形態におけるデータ管理方法の実際手順について図に基づき説明する。以下で説明するデータ管理方法に対応する各種動作は、データ管理システム10を構成するデータカタログ管理サーバ100やIoT基盤実行サーバ200がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
また、情報検索部110は、上述のS217で取得した接続先情報を、分析アプリケーション開発者・利用者端末へ応答し(S218)、処理を終了する。
フィルタ作成部112は、データを絞り込まない空のフィルタを作成し(S507)、S504へ移って処理を継続する。
また、データパス作成部111は、当該新規データパス506の先頭要素を引数に、情報検索部110を呼び出し(S458)、処理を終了する。
他方、上述のS452の結果、フィルタが空であった場合(S452:YES)、データパス作成部111は、処理をS455に遷移させて処理を継続する。
他方、上述のS457でデータパス作成部111から呼び出されたアプリケーション実行部210は、図13のフローチャートに示す動作を実行する。
次に、アプリケーション実行部210は、上述のS602で得た、上述のアプリケーションkのインスタンス作成方法を実行し(S603)、処理を終了する。
るものである、としてもよい。
る。ひいては、ユーザの要求に対応してデータマートを柔軟に再利用し、当該データマートに関する分析結果の絞り込みをより効率的なものとできる。
002 工場設備
003 ネットワーク
10 データ管理システム
100 データカタログ管理サーバ
101 記憶装置
102 プログラム
103 メモリ
104 演算装置
105 通信装置
110 情報検索部
111 データパス作成部
112 フィルタ作成部
113 データストア情報作成部
114 データストア・アプリケーション接続情報作成部
125 データストア情報
126 データストア・アプリケーション接続情報
127 アプリケーション情報
200 IoT基盤実行サーバ
210 アプリケーション実行部
211 データ記録部
212 データ収集部
225 データレイク
226 データマート
2261 第1データマート
2262 第2データマート
2263 第1’データマート
2264 第2’データマート
Claims (10)
- 所定データを格納するデータレイクおよび前記所定データに対する所定の分析結果を格納するデータマートのそれぞれに関する情報を格納したデータストア情報と、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに対する分析処理を担うアルゴリズム、の一連の関係を示すデータパスの情報を格納したデータストア・アプリケーション接続情報と、を保持する記憶装置と、
所定端末から受信した分析結果の絞り込み要求と前記データストア情報とに基づき、前記絞り込み要求の示す対象データマートに所定のメタ情報が含まれるか判定し、当該メタ情報が含まれていない場合、前記データストア情報および前記データストア・アプリケーション接続情報に基づき、前記対象データマートを含むデータパスにおいて、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択し、当該データマートに対して適用する前記アルゴリズムの一種たる前記メタ情報に関するフィルタ、当該フィルタの適用で得た新たなデータマート、および、当該新たなデータマートに適用する所定アルゴリズム、を含む新規データパスを所定ルールで生成し、当該新規データパスに従って前記選択したデータマートへの前記フィルタの適用および前記新たなデータマートへの所定アルゴリズムの適用を実行することで、前記絞り込み要求に対応した所定の分析結果を生成する演算装置と、
を備えることを特徴とするデータ管理システム。 - 前記演算装置は、
前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択するに際し、前記メタ情報を含むデータマートのうち前記対象データマートから最も近いデータマートを選択するものである、
ことを特徴とする請求項1に記載のデータ管理システム。 - 前記演算装置は、
前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートについて、前記絞り込み要求で指定されたメタ情報の所定属性を、絞り込み済みメタ情報として前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と異なるものであれば、前記新たな絞り込み要求に対応する処理を回避するものである、
ことを特徴とする請求項1に記載のデータ管理システム。 - 前記演算装置は、
前記対象データマートと前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートとを紐付ける情報を、前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と同じものであれば、前記新たな絞り込み要求に対して、前記新たなデータマートを前記対象データマートないしフィルタまたはアルゴリズムの適用対象として再利用するものである、
ことを特徴とする請求項3に記載のデータ管理システム。 - 前記演算装置は、
所定装置に備わる前記データレイクおよび前記データマートから、前記データストア情報の各項目に対応する値を収集し、前記データレイクおよび前記データマートのそれぞれに対応したレコードを生成して前記データストア情報に格納する処理と、前記データレイ
クまたは前記データマートに対する前記アルゴリズムの適用イベントを監視して、前記データストア・アプリケーション接続情報の各項目に対応する値を収集し、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに適用するアルゴリズム、の一連の関係に対応したレコードを生成して前記データストア・アプリケーション接続情報に格納する処理と、を更に実行するものである、
ことを特徴とする請求項1に記載のデータ管理システム。 - 所定データを格納するデータレイクおよび前記所定データに対する所定の分析結果を格納するデータマートのそれぞれに関する情報を格納したデータストア情報と、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに対する分析処理を担うアルゴリズム、の一連の関係を示すデータパスの情報を格納したデータストア・アプリケーション接続情報と、を保持する記憶装置を備えた情報処理システムが、
所定端末から受信した分析結果の絞り込み要求と前記データストア情報とに基づき、前記絞り込み要求の示す対象データマートに所定のメタ情報が含まれるか判定し、当該メタ情報が含まれていない場合、前記データストア情報および前記データストア・アプリケーション接続情報に基づき、前記対象データマートを含むデータパスにおいて、前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択し、当該データマートに対して適用する前記アルゴリズムの一種たる前記メタ情報に関するフィルタ、当該フィルタの適用で得た新たなデータマート、および、当該新たなデータマートに適用する所定アルゴリズム、を含む新規データパスを所定ルールで生成し、当該新規データパスに従って前記選択したデータマートへの前記フィルタの適用および前記新たなデータマートへの所定アルゴリズムの適用を実行することで、前記絞り込み要求に対応した所定の分析結果を生成する、
ことを特徴とするデータ管理方法。 - 前記情報処理システムが、
前記対象データマートからデータレイクに至る間のデータマートのうち、前記メタ情報を含むものを選択するに際し、前記メタ情報を含むデータマートのうち前記対象データマートから最も近いデータマートを選択する、
ことを特徴とする請求項6に記載のデータ管理方法。 - 前記情報処理システムが、
前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートについて、前記絞り込み要求で指定されたメタ情報の所定属性を、絞り込み済みメタ情報として前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と異なるものであれば、前記新たな絞り込み要求に対応する処理を回避する、
ことを特徴とする請求項6に記載のデータ管理方法。 - 前記情報処理システムが、
前記対象データマートと前記フィルタの適用または前記所定アルゴリズムの適用で得た新たなデータマートとを紐付ける情報を、前記データストア情報に記録し、当該記録の後、新たな絞り込み要求に起因して、前記新たなデータマートが前記対象データマートないしフィルタまたはアルゴリズムの適用対象となった場合、当該新たな絞り込み要求が示すメタ情報が、前記新たなデータマートに関して記録された絞り込み済みメタ情報と同じものであれば、前記新たな絞り込み要求に対して、前記新たなデータマートを前記対象データマートないしフィルタまたはアルゴリズムの適用対象として再利用する、
ことを特徴とする請求項8に記載のデータ管理方法。 - 前記情報処理システムが、
所定装置に備わる前記データレイクおよび前記データマートから、前記データストア情報の各項目に対応する値を収集し、前記データレイクおよび前記データマートのそれぞれに対応したレコードを生成して前記データストア情報に格納する処理と、前記データレイクまたは前記データマートに対する前記アルゴリズムの適用イベントを監視して、前記データストア・アプリケーション接続情報の各項目に対応する値を収集し、前記データレイク、前記データマート、および、前記データレイクまたは前記データマートに適用するアルゴリズム、の一連の関係に対応したレコードを生成して前記データストア・アプリケーション接続情報に格納する処理と、を更に実行する、
ことを特徴とする請求項6に記載のデータ管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018000586A JP6824915B2 (ja) | 2018-01-05 | 2018-01-05 | データ管理システムおよびデータ管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018000586A JP6824915B2 (ja) | 2018-01-05 | 2018-01-05 | データ管理システムおよびデータ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121181A JP2019121181A (ja) | 2019-07-22 |
JP6824915B2 true JP6824915B2 (ja) | 2021-02-03 |
Family
ID=67306381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018000586A Expired - Fee Related JP6824915B2 (ja) | 2018-01-05 | 2018-01-05 | データ管理システムおよびデータ管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6824915B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021135766A (ja) * | 2020-02-27 | 2021-09-13 | 三菱電機株式会社 | IoTシステム向け時系列データ管理システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366401A (ja) * | 2001-06-06 | 2002-12-20 | Nippon Yunishisu Kk | 統合的データマート構築及び運用支援システム |
US20120005151A1 (en) * | 2010-07-01 | 2012-01-05 | Vineetha Vasudevan | Methods and systems of content development for a data warehouse |
US10235439B2 (en) * | 2010-07-09 | 2019-03-19 | State Street Corporation | Systems and methods for data warehousing in private cloud environment |
JP5552449B2 (ja) * | 2011-01-31 | 2014-07-16 | 日本電信電話株式会社 | データ分析及び機械学習処理装置及び方法及びプログラム |
JP2017010376A (ja) * | 2015-06-24 | 2017-01-12 | 株式会社日立製作所 | マートレス検証支援システムおよびマートレス検証支援方法 |
-
2018
- 2018-01-05 JP JP2018000586A patent/JP6824915B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2019121181A (ja) | 2019-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107958057B (zh) | 一种用于异构数据库中数据迁移的代码生成方法及装置 | |
US8438192B2 (en) | System and method for retrieving and storing industrial data | |
US7418453B2 (en) | Updating a data warehouse schema based on changes in an observation model | |
CN109643310B (zh) | 用于数据库中数据重分布的系统和方法 | |
CN107003935A (zh) | 优化数据库去重 | |
KR20060049000A (ko) | 산업시스템을 자동 구성하는 시스템 및 방법 | |
JP2008009809A (ja) | データベース同期処理プログラム | |
CN108829505A (zh) | 一种分布式调度系统及方法 | |
JP6198224B2 (ja) | 情報収集システム、情報収集方法、及び情報収集プログラム | |
CN118193488A (zh) | 专病数据库的构建方法、装置、计算机设备及存储介质 | |
JP6824915B2 (ja) | データ管理システムおよびデータ管理方法 | |
CN108073582A (zh) | 一种计算框架选择方法和装置 | |
CN103530369A (zh) | 一种去重方法及系统 | |
JP2011039884A (ja) | 文書を収集するためのシステムおよびプログラム | |
WO2023063172A1 (ja) | 業務情報管理システム及びデータ検索方法 | |
JP6157420B2 (ja) | 業務処理システムおよび業務処理方法 | |
Thanekar et al. | A study on MapReduce: Challenges and Trends | |
CN109684094B (zh) | 云平台环境下海量文献并行挖掘的负载分配方法及系统 | |
JP7381290B2 (ja) | 計算機システム及びデータの管理方法 | |
CN112836033A (zh) | 业务模型的管理方法、装置、设备及存储介质 | |
JP5901962B2 (ja) | コマンド処理システム及び方法 | |
CN107636652A (zh) | Rdb系统 | |
Ren et al. | Application massive data processing platform for smart manufacturing based on optimization of data storage | |
US20230035836A1 (en) | Data analysis device and model management method | |
JPS6284337A (ja) | 仕様書情報解析方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6824915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |