JP7022472B1 - データ管理システム、データ管理方法及びデータ管理プログラム - Google Patents
データ管理システム、データ管理方法及びデータ管理プログラム Download PDFInfo
- Publication number
- JP7022472B1 JP7022472B1 JP2021173529A JP2021173529A JP7022472B1 JP 7022472 B1 JP7022472 B1 JP 7022472B1 JP 2021173529 A JP2021173529 A JP 2021173529A JP 2021173529 A JP2021173529 A JP 2021173529A JP 7022472 B1 JP7022472 B1 JP 7022472B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- series
- node
- type
- data management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013523 data management Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000007726 management method Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims 2
- 230000015556 catabolic process Effects 0.000 claims 1
- 125000000524 functional group Chemical group 0.000 claims 1
- 208000018910 keratinopathic ichthyosis Diseases 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 27
- 238000012545 processing Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 27
- 238000004088 simulation Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
図1~図12を参照して、実施態様1に係るデータ管理システム、データ管理方法及びデータ管理プログラムについて説明する。
図1は、本開示の一態様に係るデータ管理システムのブロック図である。本実施形態のデータ管理システムは、ノード及び各ノードの関係を規定したエッジからなるグラフデータを扱うことができる。ノード及びエッジにはタグが付されている。タグはデータタイプに応じてスキーマが定義されているので、データタイプに適合したタグが付されることにより、データ管理がし易くなる。例えば、ファイルの種類がCSVファイルかINGファイルかに応じて、また、画像や動画については解像度やサイズに応じて、タグのスキーマは異なる。タグの必須情報としては、特に限定されるものではないが、例えば日時、データタイプ、担当者等の情報が含まれる。
ここで、本実施形態で使用する用語について説明する。
(1)ドキュメントについて
「ドキュメント」は、WordやExcel等のドキュメント形式だけでなく、MATLAB(登録商標)の入出力となるデータ等も含めたファイルで管理される単位のことを意味している。ドキュメントには「レポート」と「データ」の2つのタイプがある。「データ」は、計測、シミュレーション、予測等の結果を客観的事実として格納したものであり、画像やチャート一枚であることもあれば、それらを束ねたファイルであることもある。「レポート」は、これらのデータに基づいて客観的考察を含めて決定への思考プロセスや議論の内容を記述したものである。
レポートは、ウェブ画面で作成されることよりも、WordやExcel等を用いて作成されることが一般的である。WordやExcel等を用いて作成されたレポートについて、該レポートとデータとの関連を、ノードとエッジの関係として保持しておくことにより、後々データに遡ることを可能にしている。このため、少なくともレポートに含まれるデータを登録しておけるようにしてある。各レポートに登録されているデータを一覧表示するウェブUIにより、「関連レポートを探す」といった作業等が可能である。その上で、必要に応じてWordやExcel等を用いて作成されたレポートのファイルをダウンロードして閲覧することができる。レポートを各ビュー上で登録、編集を行うと、メタデータ記憶部20及びサブメタデータ記憶部25にノードデータとエッジデータが自動的に追加、変更される。レポートを表示する場合には、グラフデータの中から目標とするサブグラフを抽出し、グラフデータ分析クラウド18、例えばグラフィッククライアント(Oracle)による画面描画表示用のデータが作成される。レポートに用いられているデータの引用関係を表示することも可能である。さらに、オブジェクトIDから、直接データにアクセスすることも可能である。
推論エンジンにより、論理式を適用して論理的帰結(entailment)を導出する。例えば、
A => B, B => C ならば A => C
という論理的帰結を得られる。機械学習を用いて、過去データに基づいた訓練により学習モデルを生成し、これを適用することにより、推論エンジンの論理式を介さず結果を得ることができる。例えば、学習モデルによって、分類モデル、ベクトル距離、エッジ生成、レポート欠損値補間等の演算が得ることができる。
従来、レポート及びデータを検索し、再利用性を高めるためのデータベース化の際には、検索に求められる要件によって、データベースの粒度や正規化度合いは異なる。例えば、集計が必要か、全文検索で十分か等の要件により、データベース化の要件が異なる。本実施形態のデータ管理データは、レポート及びデータの間の柔軟な関連性のデータベース化が可能である。データベースの構造化として、全文検索(テキスト)、メタデータ(タグの付与)、グラフ(タグと関係性の付与)、構造化ドキュメント(XML/JSON)、リレーショナル(表)、セマンティクス(RDF)等が考慮される。
グラフDBに実ファイルをノードとして書き出し、メタ情報をプロパティとして保持する。また、サブメタ情報(エビデンス、ナレッジ、バージョン管理)をエッジとして書き出し、それによって各ノードを紐付ける。これにより、各データが繋がり、全てのデータを横断的に管理することが可能となる。
「ファイルラッパ」(33)は、横軸(横系統)を「時系列ツリー構造」とし、縦軸(縦系列)を「関連性ツリー構造」として、あたかもEXCELのような視覚的に分かりやすいファイル構造を提供する。従来のグラフデータは、天気データのように固定的で単純なデータ構造に対してのみ、自動的にエッジを作成できていた。天気データは、日にち、地域、気温、湿度等からなる単純な定型のデータである。天気データのような単純な、いわゆるビッグデータとして扱える範囲の定型データしか自動でのエッジ生成はできなかった。
学習によりエッジを貼るために、深層学習よりもシンプルな学習アルゴリズムが利用可能である。例えば、欠損値補間を利用した最短経路探索学習を行うことにより、ノードに対応するエッジを貼ることができる。別の学習の例としては、N次多項式ノンマルコフ定義(non-Markov process、非マルコフ過程)における強化学習を利用することにより、操作者が未入力の箇所を示唆することができる。例えば、「関連する前回のファイルには諸元値データとして、αが含まれているが、今回のファイルにはαをいれないでよいのでしょうか?」との修正の示唆を行う。
本実施形態のシステムは、例えば、横系統を時系列ツリー構造とし、縦系列を関連性ツリー構造として、視覚的に分かりやすいファイル構造としているため、実験、シミュレーションにまつわるデータの探索と参照を、これまでよりも効果的に実施することができる。データ一覧をリスト表示ではなくマップ表示(横系列と縦系列からなるマップ表示)し、データ間の関連を付けたうえで表示することで、視覚的に把握しやすい表示となっている。属性値の全文検索機能も併せてつけることで、使い慣れた検索エンジン、例えばEXCELを操作するような感覚でデータを探すことができる。
本実施形態のシステムでは、従来エクセルで作成、管理されていたレポートシステムをすべてWeb化するため、エクセルの代替えとなるレポート作成機能が追加されている。ユーザ端末45では、データベース上のデータを表示したり、ローカル上のデータやコンテンツをアップロードしたりすることが可能である。
(1)ファイルラッパ33によって、それぞれのユーザ管理システム30から中央処理システム10にデータが取り込まれ、データを抽出して必要なノード、エッジを生成し、API経由で中央処理システム10に送られる。
(2)新しいノードの作成については、新規でレポートを作成した際には、新しいレポートノードが自動生成される。
(3)コンテンツの追加については、レポートにユーザが作成した新規のコンテンツ(例えば画像)を追加すると、そのコンテンツがノードとして追加され、かつ、レポートとの間にエッジが自動生成される。
(4)既存データの引用については、他の系列から取得した既存のデータをレポートで引用(ユーザ端末45上で、既存のデータをdrag&dropすると、レポートと既存のデータに対応するノードとの間に、エッジが自動生成される。
(5)関連性をエッジで表現については、複数のデータノードから取得した既存のデータに基づくチャートをレポートに追加する場合、例えば同じチャートに2つのデータが使用された場合には、その2つのデータに対応するノード間に自動的にエッジが生成される。
図3は、レポート、データのマップ表示の説明図である。横系列が時系列ツリー、縦系列が関連性ツリーであり、見やすい表示形態となっている。画面最上部には、属性値絞り込み条件が表示されている。この属性値を持つノードだけが表示される。図3の例では、ユーザ情報に付与されたデフォルト値をもって、属性値絞り込み条件があらかじめ入力された状態にされているが、本実施形態はこれに限定されるものでは無く、例えばこの絞り込み条件はユーザ端末45から入力することも可能である。
本実施形態のデータ管理システムにおけるファイルの登録に関する内部動作を説明する。ファイル登録は、指定がなければ最後に登録されたノードに紐づく想定で登録される。ファイルやデータセットを選択した場合は、そのノードに紐づくノードとして生成される。同一属性を持つノードは時系列ベースで自動的に連結させる。データの内部を判別し、内部の絡む情報をばらして個別ノードとして生成することもできる。ユーザが持つ属性は、基本的にそのまま保持される。データを保持するファイルについては、基本的に個別のデータ(カラム)ごとに内部で分割したデータを示すポインタを持ち、それをデータポイントとしてグラフ表示して管理する。データポイント単位で操作することができるようになれば、個別のデータポイントごとに比較したり、レポートに表示したりすることができるようになる。また、ファイルデータの中身を精査して、個別のカラム事にアクセスするために、Parseの機能(データ構造の変換機能)やファイル切り出しの機能を設けている。
データセットノード中でもマスターノード(試験車/シミュレーションモデル)に関する情報は、データ登録時に厳密なバージョニングを行う。プロジェクト開始時のみ、連結ノードがない状態となる。その他のデータセットノードは必ずどれかのマスターノードに関連付けられた状態で登録される。その結果、マスターノードを介して必ず情報がつながる。
ある一定の属性値が同等、ないし同等に近いものを検索し、その類似度をスコアリングする。スコア値の高いものを自動で連結させる。
<スコアリングアルゴリズムの例>
属性値を下記a~dの4つに分類し、a)、c)、d)で合致する値であるか否か判断したうえで、b)をスコア(合致する数をカウント)としてエッジを自動生成する。
a)「完全同一が必須」(重要な文字列属性)イコールでヒットするかどうか
b)「必ずしも同じである必要はない」(重要ではない文字列属性)合致する数をカウント
c)「範囲内であれば同一とみなせる」(重要な数値属性)
d)範囲内に収まっているかどうか?
ユーザがあるノードから別のノードに移り、データを参照した、というログをすべて残す。どのノードからどのノードに飛んだかをログとして記録する。ある一定回数以上の記録があった場合に新たなエッジとして登録をする。
上記(1)~(3)によって張られたエッジをもとに、人手でGraph空間をブラウズし、人の判断で必要なところにエッジを張ることも可能である。なお、このように人手でエッジを張る場合には、通常は管理者のみが利用できる機能であるブラウジング機能が用いられる。
システム連携により取得することが望ましいデータとしては、社内担当者情報およびその担当プロジェクト、プロジェクト一覧、登録すべきデータセットの自動登録、写真に写る数値の画像読み取り、及び、そのデータ内容の判別等が挙げられる。
図13を参照して、実施態様2に係るデータ管理システム、データ管理方法及びデータ管理プログラムについて説明する。図13は、本実施形態に係るレポート、データのマップ表示の説明図である。図1~12と同様の構成には同一の番号を付し、その説明は省略する。
11…ログイン機能部
12…機械学習部
13…中央処理部
14…ユーザセッション管理部
15…グラフデータ管理部
16…外部SSO
17…クラウドストレージ
18…グラフデータ分析クラウド
20…メタデータ記憶部
21…ドキュメントノードテーブル
22…データノードテーブル
25…サブメタデータ
26…エッジテーブル
30…ユーザ管理システム
31…ユーザ情報管理部
32…マップビュア
33…ファイルラッパ
34…ファイルアップローダ
35…ユーザインターフェイス
36…BIツール
40…データマート
41…ユーザ属性管理テーブル
42…マスターテーブル
45…ユーザ端末
Claims (5)
- データをノードとして、該ノード間の関係をエッジとして規定し、複数のデータを管理するデータ管理システムであって、
前記ノードのグループをデータセットとして管理し、
前記データセットがユーザインターフェイスに、第1系列と該第1系列と交差する第2系列とを有するマトリックス状の構造として表示され、
前記第1系列及び前記第2系列が、各系列のタグの種類に応じたツリー構造であり、
前記第1系列及び前記第2系列それぞれのタグの種類が、時系列及び/又はデータタイプを少なくとも含むと共に、ユーザからの選択入力に応じて変更可能であり、
各系列が、選択されたタグの種類に応じて並び替え可能であることを特徴とするデータ管理システム。 - 前記エッジが前記データセット単位で付与され、
前記ノード及び前記エッジには、タグが付与されており、
前記ノードタグのスキーマは、データタイプに応じて定義されている、及び/又は、
前記ノードのタグとして、タイプ別の分類、及び/又は、ネスト構造となるような分類が定義されていることを特徴とする請求項1に記載のデータ管理システム。 - 前記データセットが、ユーザインターフェイスにエンティティとして表示され、
前記データセットが、前記ユーザインターフェイスの操作により、次の機能群の中のいずれか少なくとも1つの機能を使用して操作されることを特徴とする請求項1又は2に記載のデータ管理システム。
前記データセットに属するデータの表示ないし操作、
前記データセットに属するデータのダウンロード、
前記データセットのレポートの表示、作成又は編集、
前記データセットのレポート作成用フォーマットの読み出し、作成又は編集、
前記データセットへのデータの追加、
レポート、データセット又はデータの検索、
前記ノードの検索、
他のデータセットのデータの参照ないし引用、
新規データの登録、
新規のデータないし他のデータセットのデータをドラッグアンドドロップにより引用する操作、
前記エッジのタグの設定、
前記データセットのノードの表示切替、
前記データセットの下位のノードの表示切替、
前記データの持つKPIの管理、
前記データセットないし前記ノードの関連性の検索、表示又は分析、
表示絞り込み条件の設定、プルダウンメニューの選択操作、
前記エンティティの選択ないし操作メニューの選択、
前記エンティティからデータ単体のデータポイントのブレイクダウン操作ないし選択操作、
ログイン機能、
前記データセットについてのレポートを作成機能、
他のノードのデータないし新規のデータを引用する機能、又は、
レポートの欠損ないし誤記の修正アシスト機能、
からなる機能群。 - 少なくともメタデータ記憶部、サブメタデータ記憶部、及びユーザインターフェイスを備えるデータ管理システムにより、前記メタデータ記憶部に記憶されたデータをノードとして規定し、該ノード間の関係をエッジとして規定して前記サブメタデータ記憶部に記憶して、複数のデータを管理するデータ管理方法であって、
前記データ管理システムが、
前記ノードのグループをデータセットとして管理する管理ステップと、
前記データセットを前記ユーザインターフェイスに、タグの種類に応じたツリー構造である第1系列と、該第1系列と交差し、タグの種類に応じたツリー構造である第2系列とを有するマトリックス状の構造として表示するステップと、
前記第1系列及び前記第2系列それぞれのタグの種類の選択変更をユーザから前記ユーザインターフェイスを介して受け付けるステップと、
各系列を選択されたタグの種類に応じて並び替えて前記ユーザインターフェイスに表示するステップと、
を実行し、
前記第1系列及び前記第2系列それぞれのタグの種類が、時系列及び/又はデータタイプを少なくとも含むことを特徴とするデータ管理方法。 - 請求項4に記載のデータ管理方法をコンピュータに実行させることを特徴とするデータ管理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021173529A JP7022472B1 (ja) | 2021-10-22 | 2021-10-22 | データ管理システム、データ管理方法及びデータ管理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021173529A JP7022472B1 (ja) | 2021-10-22 | 2021-10-22 | データ管理システム、データ管理方法及びデータ管理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7022472B1 true JP7022472B1 (ja) | 2022-02-18 |
JP2023063180A JP2023063180A (ja) | 2023-05-09 |
Family
ID=81073879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021173529A Active JP7022472B1 (ja) | 2021-10-22 | 2021-10-22 | データ管理システム、データ管理方法及びデータ管理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7022472B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102643776B1 (ko) * | 2023-07-03 | 2024-03-07 | (주)유비디시전 | 전주기 전자문서 통합관리를 위한 SaaS 표준연계 플랫폼 서비스 제공 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004046796A (ja) * | 2002-07-15 | 2004-02-12 | Seiko Epson Corp | ディレクトリ管理プログラム、オブジェクト表示プログラム、ディレクトリ管理方法及びディレクトリ管理装置 |
JP2012252547A (ja) * | 2011-06-03 | 2012-12-20 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ管理システム、コンテンツ管理方法、コンテンツ管理プログラムおよびコンテンツ管理サーバ |
-
2021
- 2021-10-22 JP JP2021173529A patent/JP7022472B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004046796A (ja) * | 2002-07-15 | 2004-02-12 | Seiko Epson Corp | ディレクトリ管理プログラム、オブジェクト表示プログラム、ディレクトリ管理方法及びディレクトリ管理装置 |
JP2012252547A (ja) * | 2011-06-03 | 2012-12-20 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ管理システム、コンテンツ管理方法、コンテンツ管理プログラムおよびコンテンツ管理サーバ |
Also Published As
Publication number | Publication date |
---|---|
JP2023063180A (ja) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10853387B2 (en) | Data retrieval apparatus, program and recording medium | |
EP3513314B1 (en) | System for analysing data relationships to support query execution | |
CN108038222B (zh) | 用于信息系统建模和数据访问的实体-属性框架的系统 | |
US10354002B2 (en) | Interaction relationship building and explorer for dashboard | |
CN110168518A (zh) | 准备和整理用于后续分析的数据的用户界面 | |
WO2018051098A1 (en) | System for data management in a large scale data repository | |
KR102330547B1 (ko) | 보고 생성 방법 | |
JP6937556B2 (ja) | 複数のメディアソースからのコンテンツの組織化及び視覚化 | |
JP6492008B2 (ja) | コホート識別システム | |
CN108959353B (zh) | 一种对象数据的组织方法 | |
EP3232342B1 (en) | Methods and systems for bidirectional indexing summary | |
CN114090653A (zh) | 一种资源数据统计方法、装置、元平台设备及存储介质 | |
Müller et al. | Towards an open source stack to create a unified data source for software analysis and visualization | |
CN115080765A (zh) | 一种航天质量知识图谱构建方法、系统、介质和设备 | |
JP7022472B1 (ja) | データ管理システム、データ管理方法及びデータ管理プログラム | |
US20230070159A1 (en) | Database modification using a script component | |
Yang et al. | User story clustering in agile development: a framework and an empirical study | |
Chen et al. | DCTracVis: a system retrieving and visualizing traceability links between source code and documentation | |
Polášek et al. | Information and knowledge retrieval within software projects and their graphical representation for collaborative programming | |
US11216486B2 (en) | Data retrieval apparatus, program and recording medium | |
Ouaret et al. | AuMixDw: Towards an automated hybrid approach for building XML data warehouses | |
US20230143297A1 (en) | Production knowledge management system, production knowledge management method, and production knowledge management program | |
JP6775740B1 (ja) | 設計支援装置、設計支援方法及び設計支援プログラム | |
US10685313B2 (en) | Systems and/or methods for path finding on model structures | |
Helal et al. | Patent Mining by Extracting Functional Analysis Information Modelled As Graph Structure: A Patent Knowledge-base Collaborative Building Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211104 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7022472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |