JP6158623B2 - データベース分析装置及び方法 - Google Patents
データベース分析装置及び方法 Download PDFInfo
- Publication number
- JP6158623B2 JP6158623B2 JP2013154615A JP2013154615A JP6158623B2 JP 6158623 B2 JP6158623 B2 JP 6158623B2 JP 2013154615 A JP2013154615 A JP 2013154615A JP 2013154615 A JP2013154615 A JP 2013154615A JP 6158623 B2 JP6158623 B2 JP 6158623B2
- Authority
- JP
- Japan
- Prior art keywords
- rule
- correlation
- rules
- association
- correlation rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
データベースが保持する複数のテーブルのうち、テーブルを構成する2つ以上のテーブルカラムに着目し、各テーブルカラムが保持するデータの同時出現の傾向から、テーブルカラム間に存在する依存関係や制約条件、即ち、テーブルカラムのデータの同時発生の確率を分析するための相関ルール分析手段を有したデータベース分析装置であって、複数のテーブルカラムのデータ群から生成した相関ルールから、データ群のカテゴリ化方法を計算するデータカテゴリ計算手段と、前記カテゴリ化結果に基づき、相関ルールを再構成することにより、最適な粒度の相関ルールを生成する、即ち、同時発生の確率がほぼ100%となるようにルールを再構成する、相関ルール再構成手段を有する。
データベース分析装置100は、CPU101、メモリ102、入力装置103、出力装置104、外部記憶装置105を有する。外部記憶装置105は、テーブルデータ記憶部106、暫定相関ルール記憶部107、データカテゴリ記憶部108、高確信度相関ルール記憶部109を保持しており、さらに処理プログラム110を保持する。処理プログラム110は、相関ルール生成処理部111、データカテゴリ計算処理部112、相関ルール再構成処理部113、不要ルール除去処理部114、相関ルール視覚化処理部115を保持する。
ステップ201では、相関ルール生成処理部111が、テーブルデータ記憶部106から読み出したデータベースのデータを参照しながら、相関ルールを生成し、暫定相関ルール記憶部107に書き込む。
相関ルール再構成処理部113は、暫定相関ルール記憶部107から図6の相関ルール表400を読み出し、関連元401および関連先402の値を関連元1001および関連1002の値としてコピーする形で、相関ルール表1000を作成する。ただし、データカテゴリ記憶部108から読み出した属性値カテゴリ化方法900において、同一のカテゴリに含まれている属性値については、ひとつの相関ルールとして纏めるものとする。
Claims (11)
- データベースが保持する複数のテーブルのうち、テーブルを構成する2つ以上のテーブルカラムに着目し、各テーブルカラムが保持するデータの同時出現の傾向から、テーブルカラム間に存在する依存関係又は制約条件を、自動的に分析するためのデータベース分析装置であって、
複数のテーブルカラムのデータ群から生成した相関ルールから、データ群のカテゴリ化方法を計算するデータカテゴリ計算手段と、
前記データカテゴリ計算手段によるカテゴリ化結果に基づき、相関ルールを再構成する相関ルール再構成手段と
前記再構成した相関ルールから一部の相関ルールを抽出する不要ルール除去手段を有し、
前記データカテゴリ計算手段は、相関ルールを構成するテーブルカラムの一つを関連元、他の一つを関連先として、関連元と関連先が同一の値をとるレコード数を該当する関連元のレコード数で除算した値を、前記相関ルールの確信度とし、前記確信度の類似度が近い関連先のテーブルカラムの値を同一のデータカテゴリに含まれるとし、
前記相関ルール再構成手段は、同一のデータカテゴリに属する関連先を有する相関ルールを一つに纏めて、再構成した相関ルールとし、纏める前の相関ルールの有する確信度の和を前記再構成した相関ルールの確信度の和とし、
前記不要ルール除去手段は、ある閾値より高い確信度を有する相関ルールを抽出することを特徴とするデータベース分析装置。 - 前記データベース分析装置は、各データカテゴリの妥当性の指標を計算するデータカテゴリ妥当性計算手段を有することを特徴と請求項1に記載のデータベース分析装置。
- 前記データカテゴリ計算手段は、相関ルールを構成するテーブルカラムの一つを関連元、他の一つを関連先として、関連元と関連先が同一の値をとるレコード数を対象とする全レコード数で除算した値を、前記相関ルールの支持度とし、前記支持度を計算することを特徴とする請求項1に記載のデータベース分析装置。
- 前記データベース分析装置は、入力として用いる相関ルールが、全てのデータの組み合わせについて得られていないときに、得られていない相関ルールの前記確信度又は前記支持度を適切な値で補完する相関ルール補完手段を有することを特徴とする請求項3に記載のデータベース分析装置。
- 前記データベース分析装置は、
さらに、
前記不要ルール除去手段により抽出した相関ルールを、テーブルカラム間に存在する依存関係又は制約条件として視覚的に理解容易な形式に変換する相関ルール視覚化手段を有することを特徴とする請求項1に記載のデータベース分析装置。 - 計算機を用いて、データベースが保持する複数のテーブルのうち、テーブルを構成する2つ以上のテーブルカラムに着目し、各テーブルカラムが保持するデータの同時出現の傾向から、テーブルカラム間に存在する依存関係又は制約条件を、自動的に分析するデータベース分析方法であって、
複数のテーブルカラムのデータ群から生成した相関ルールから、データ群のカテゴリ化方法を計算するデータカテゴリ計算ステップと、
前記データカテゴリ計算ステップによるカテゴリ化結果に基づき、相関ルールを再構成する相関ルール再構成ステップと、
前記再構成した相関ルールから一部の相関ルールを抽出する不要ルール除去ステップを有し、
前記データカテゴリ計算ステップで、相関ルールを構成するテーブルカラムの一つを関連元、他の一つを関連先として、関連元と関連先が同一の値をとるレコード数を該当する関連元のレコード数で除算した値を、前記相関ルールの確信度とし、前記確信度の類似度が近い関連先のテーブルカラムの値を同一のデータカテゴリに含まれるとし、
前記相関ルール再構成ステップで、同一のデータカテゴリに属する関連先を有する相関ルールを一つに纏めて、再構成した相関ルールとし、纏める前の相関ルールの有する確信度の和を前記再構成した相関ルールの確信度の和とし、
前記不要ルール除去ステップで、ある閾値より高い確信度を有する相関ルールを抽出することを特徴とするデータベース分析方法。 - 前記データベース分析方法は、各データカテゴリの妥当性の指標を計算するデータカテゴリ妥当性計算ステップを有することを特徴と請求項6に記載のデータベース分析方法。
- 前記データカテゴリ計算ステップで、相関ルールを構成するテーブルカラムの一つを関連元、他の一つを関連先として、関連元と関連先が同一の値をとるレコード数を対象とする全レコード数で除算した値を、前記相関ルールの支持度とし、前記支持度を計算することを特徴とする請求項7に記載のデータベース分析方法。
- 前記データベース分析方法は、入力として用いる相関ルールが、全てのデータの組み合わせについて得られていないときに、得られていない相関ルールの前記確信度又は前記支持度を適切な値で補完する相関ルール補完ステップを有することを特徴とする請求項8に記載のデータベース分析方法。
- 前記データベース分析方法は、
さらに、
前記不要ルール除去ステップにより抽出した相関ルールを、テーブルカラム間に存在する依存関係又は制約条件として視覚的に理解容易な形式に変換する相関ルール視覚化ステップを有することを特徴とする請求項6に記載のデータベース分析方法。 - 計算機を用いて、データベースが保持する複数のテーブルのうち、テーブルを構成する2つ以上のテーブルカラムに着目し、各テーブルカラムが保持するデータの同時出現の傾向から、テーブルカラム間に存在する依存関係又は制約条件を、自動的に分析するデータベース分析方法を実行するためのプログラムであって、
前記分析方法は、
複数のテーブルカラムのデータ群から生成した相関ルールから、データ群のカテゴリ化方法を計算するデータカテゴリ計算ステップと、
前記データカテゴリ計算ステップによるカテゴリ化結果に基づき、相関ルールを再構成する相関ルール再構成ステップと、
前記データカテゴリ計算ステップで、相関ルールを構成するテーブルカラムの一つを関連元、他の一つを関連先として、関連元と関連先が同一の値をとるレコード数を該当する関連元のレコード数で除算した値を、前記相関ルールの確信度とし、前記確信度の類似度が近い関連先のテーブルカラムの値を同一のデータカテゴリに含まれるとし、
前記相関ルール再構成ステップで、同一のデータカテゴリに属する関連先を有する相関ルールを一つに纏めて、再構成した相関ルールとし、纏める前の相関ルールの有する確信度の和を前記再構成した相関ルールの確信度の和とし、
前記不要ルール除去ステップで、ある閾値より高い確信度を有する相関ルールを抽出することを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013154615A JP6158623B2 (ja) | 2013-07-25 | 2013-07-25 | データベース分析装置及び方法 |
CN201410264683.1A CN104346419B (zh) | 2013-07-25 | 2014-06-13 | 数据库分析装置及方法 |
US14/339,829 US20150032708A1 (en) | 2013-07-25 | 2014-07-24 | Database analysis apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013154615A JP6158623B2 (ja) | 2013-07-25 | 2013-07-25 | データベース分析装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015026188A JP2015026188A (ja) | 2015-02-05 |
JP2015026188A5 JP2015026188A5 (ja) | 2016-06-02 |
JP6158623B2 true JP6158623B2 (ja) | 2017-07-05 |
Family
ID=52391362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013154615A Active JP6158623B2 (ja) | 2013-07-25 | 2013-07-25 | データベース分析装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150032708A1 (ja) |
JP (1) | JP6158623B2 (ja) |
CN (1) | CN104346419B (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016157707A1 (ja) * | 2015-03-30 | 2016-10-06 | 日本電気株式会社 | 表操作システム、方法およびプログラム |
US20170060919A1 (en) * | 2015-08-31 | 2017-03-02 | Salesforce.Com, Inc. | Transforming columns from source files to target files |
JP6419667B2 (ja) * | 2015-09-28 | 2018-11-07 | 株式会社日立製作所 | テストdbデータ生成方法及び装置 |
JP2017091329A (ja) * | 2015-11-13 | 2017-05-25 | 株式会社日立製作所 | データベース分析装置およびデータベース分析方法 |
CN107291749B (zh) * | 2016-03-31 | 2020-11-10 | 菜鸟智能物流控股有限公司 | 一种数据指标关联关系的确定方法及装置 |
US11243938B2 (en) * | 2016-05-31 | 2022-02-08 | Micro Focus Llc | Identifying data constraints in applications and databases |
JP6736450B2 (ja) * | 2016-10-25 | 2020-08-05 | 株式会社日立製作所 | データ分析支援装置及びデータ分析支援システム |
JP6903595B2 (ja) * | 2018-01-22 | 2021-07-14 | 株式会社日立製作所 | データ分析支援システム及びデータ分析支援方法 |
WO2020152804A1 (ja) * | 2019-01-23 | 2020-07-30 | 日本電気株式会社 | 情報提供システム、方法およびプログラム |
JP7247060B2 (ja) * | 2019-09-02 | 2023-03-28 | 株式会社日立製作所 | データの利活用のためのデータ準備を支援するシステム、及び、その方法 |
CN111310113B (zh) * | 2020-02-13 | 2021-01-15 | 北京工业大数据创新中心有限公司 | 基于时序数据的专家规则系统的反例生成方法及装置 |
CN111506671B (zh) * | 2020-03-17 | 2021-02-12 | 北京捷通华声科技股份有限公司 | 处理实体对象的属性的方法、装置、设备及存储介质 |
CN112612671A (zh) * | 2020-12-16 | 2021-04-06 | 深圳前海微众银行股份有限公司 | 系统监控方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877010A (ja) * | 1994-09-07 | 1996-03-22 | Hitachi Ltd | データ分析方法および装置 |
US5790645A (en) * | 1996-08-01 | 1998-08-04 | Nynex Science & Technology, Inc. | Automatic design of fraud detection systems |
US6385301B1 (en) * | 1998-03-26 | 2002-05-07 | Bell Atlantic Services Network, Inc. | Data preparation for traffic track usage measurement |
US6762699B1 (en) * | 1999-12-17 | 2004-07-13 | The Directv Group, Inc. | Method for lossless data compression using greedy sequential grammar transform and sequential encoding |
US20020049720A1 (en) * | 2000-05-11 | 2002-04-25 | Chase Manhattan Bank | System and method of data mining |
US20020169735A1 (en) * | 2001-03-07 | 2002-11-14 | David Kil | Automatic mapping from data to preprocessing algorithms |
US6684206B2 (en) * | 2001-05-18 | 2004-01-27 | Hewlett-Packard Development Company, L.P. | OLAP-based web access analysis method and system |
US7426497B2 (en) * | 2004-08-31 | 2008-09-16 | Microsoft Corporation | Method and apparatus for analysis and decomposition of classifier data anomalies |
-
2013
- 2013-07-25 JP JP2013154615A patent/JP6158623B2/ja active Active
-
2014
- 2014-06-13 CN CN201410264683.1A patent/CN104346419B/zh active Active
- 2014-07-24 US US14/339,829 patent/US20150032708A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20150032708A1 (en) | 2015-01-29 |
CN104346419A (zh) | 2015-02-11 |
JP2015026188A (ja) | 2015-02-05 |
CN104346419B (zh) | 2018-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6158623B2 (ja) | データベース分析装置及び方法 | |
US7584189B2 (en) | Sentence classification device and method | |
US20160004757A1 (en) | Data management method, data management device and storage medium | |
US20150007120A1 (en) | Clustering using n-dimensional placement | |
CN113449187A (zh) | 基于双画像的产品推荐方法、装置、设备及存储介质 | |
JP2019503541A (ja) | 電子データ構造から属性を抽出するための注釈システム | |
US11120143B2 (en) | Data analysis server, data analysis system, and data analysis method | |
CN109710306B (zh) | 源代码解析装置、源代码解析方法、计算机可读记录介质 | |
Thomas et al. | Detecting symmetry in scalar fields using augmented extremum graphs | |
JP2022037955A (ja) | 学習モデルを選択するシステム | |
CN111492344A (zh) | 用于监测结构化查询语言(sql)查询的执行的系统和方法 | |
US9436713B2 (en) | Database analyzer and database analysis method | |
US11288266B2 (en) | Candidate projection enumeration based query response generation | |
CN115237410A (zh) | 一种用户界面的生成方法及装置 | |
JP6244274B2 (ja) | 相関ルール分析装置および相関ルール分析方法 | |
US20220051132A1 (en) | Identifying noise in verbal feedback using artificial text from non-textual parameters and transfer learning | |
US11113314B2 (en) | Similarity calculating device and method, and recording medium | |
JP2015130165A (ja) | ハイパーグラフソルバーのためのグラフ入力の自動編集 | |
JP7292235B2 (ja) | 分析支援装置及び分析支援方法 | |
JP6457290B2 (ja) | グラフを剪定する方法、前記グラフを剪定する方法をコンピュータに行なわせる命令を記録している非一時的なコンピュータ可読記憶媒体、及びグラフの剪定を行うためのコンピュータシステム | |
US10509808B2 (en) | Data analysis support system and data analysis support method | |
JP6123372B2 (ja) | 情報処理システム、名寄せ判定方法及びプログラム | |
JP5487078B2 (ja) | ソフトウェア資産整理方法及び装置 | |
JP5020274B2 (ja) | 意味ドリフトの発生評価方法及び装置 | |
JP2020166443A (ja) | データ加工方法レコメンドシステム、データ加工方法レコメンド方法、及びデータ加工方法レコメンドプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160411 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6158623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |