JP5601066B2 - 情報統合プログラム、装置及び方法 - Google Patents
情報統合プログラム、装置及び方法 Download PDFInfo
- Publication number
- JP5601066B2 JP5601066B2 JP2010165698A JP2010165698A JP5601066B2 JP 5601066 B2 JP5601066 B2 JP 5601066B2 JP 2010165698 A JP2010165698 A JP 2010165698A JP 2010165698 A JP2010165698 A JP 2010165698A JP 5601066 B2 JP5601066 B2 JP 5601066B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- data
- schema
- change
- data model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
情報源から抽出したデータを変換して格納先に登録するための情報統合プログラムであって、
前記情報源から取得した第1のスキーマ情報と、当該第1のスキーマ情報の変更前に前記情報源から取得した第2のスキーマ情報とを比較し、前記情報源のスキーマの変更を検出するステップと、
前記スキーマの変更に関連する項目の属性値で、スキーマ情報に含まれる属性値とデータモデルにおける項目情報とを対応付けて格納する対応表格納部を探索するステップと、
前記対応表格納部において前記スキーマの変更に関連する項目の属性値が検出された場合には、当該スキーマの変更に関連する項目の属性値に対応する項目情報を用いて、前記第2のスキーマ情報に対応するデータモデルである変更前データモデルを格納するメタ情報格納部に格納されている前記変更前データモデルを改修して変更後データモデルを生成し、記憶装置に格納するステップと、
前記記憶装置に格納された前記変更後データモデルを、前記格納先に対応するデータモデルに変換するための変更後統合ロジックを生成し、前記メタ情報格納部に格納するロジック改修ステップと、
を、コンピュータに実行させるための情報統合プログラム。
前記対応表格納部において前記スキーマの変更に関連する項目の属性値が検出されなかった場合には、当該スキーマの変更に関連する項目の属性値が前記第2のスキーマ情報に含まれるか判断するステップと、
前記スキーマの変更に関連する項目の属性値が前記第2のスキーマ情報に含まれると判断された場合には、当該第2のスキーマ情報から、前記スキーマの変更に関連する項目の属性値に対応する項目を特定するステップと、
特定された前記項目に対応する項目情報を前記変更前データモデルから抽出し、当該項目情報を用いて、前記変更前データモデルを改修して変更後データモデルを生成し、前記記憶装置に格納する抽出ステップと、
を、さらに実行させるための付記1記載の情報統合プログラム。
前記スキーマの変更に関連する項目の属性値と前記抽出ステップにおいて抽出された項目情報とを対応付けて前記対応表格納部に格納する新規ルール生成ステップ
を、さらに実行させるための付記2記載の情報統合プログラム。
前記メタ情報格納部には、前記変更前データモデルを前記格納先に対応するデータモデルに変換するための変更前統合ロジックがさらに格納されており、
前記ロジック改修ステップが、
前記記憶装置に格納されている前記変更後データモデルを、前記メタ情報格納部に格納されている前記変更前データモデルに変換するための仮変換ロジックを生成するステップと、
生成された前記仮変換ロジックと前記メタ情報格納部に格納されている前記変更前統合ロジックとに基づき、前記変更後データモデルを前記格納先に対応するデータモデルに変換するための変更後統合ロジックを生成する生成ステップと、
を含む、付記1乃至3のいずれか1つ記載の情報統合プログラム。
前記生成ステップが、
変換経路のデータと変換に要するコストとを対応付けて格納する変換経路表に格納されているデータを用いて、前記変更後データモデルから前記格納先に対応するデータモデルへの変換に要するコストが最小となる変換経路を特定し、特定された当該変換経路で変換を行うように前記変更後統合ロジックを生成するステップ
を含む、付記4記載の情報統合プログラム。
情報源から抽出したデータを変換して格納先に登録する情報統合装置であって、
スキーマ情報に含まれる属性値とデータモデルにおける項目情報とを対応付けて格納する対応表格納部と、
前記情報源から取得した第1のスキーマ情報に対応するデータモデルである変更前データモデルを格納するメタ情報格納部と、
前記第1のスキーマ情報と、当該第1のスキーマ情報の変更後に前記情報源から取得した第2のスキーマ情報とを比較し、前記情報源のスキーマの変更を検出するスキーマ収集部と、
前記スキーマの変更に関連する項目の属性値で前記対応表格納部を探索し、前記スキーマの変更に関連する項目の属性値が検出された場合には、当該スキーマの変更に関連する項目の属性値に対応する項目情報を用いて、前記メタ情報格納部に格納されている前記変更前データモデルを改修して変更後データモデルを生成するデータモデル改修部と、
生成された前記変更後データモデルを、前記格納先に対応するデータモデルに変換するための変更後統合ロジックを生成し、前記メタ情報格納部に格納する統合ロジック改修部と、
を有する情報統合装置。
情報源から抽出したデータを変換して格納先に登録するコンピュータにより実行される情報統合方法であって、
前記情報源から取得した第1のスキーマ情報と、当該第1のスキーマ情報の変更前に前記情報源から取得した第2のスキーマ情報とを比較し、前記情報源のスキーマの変更を検出するステップと、
前記スキーマの変更に関連する項目の属性値で、スキーマ情報に含まれる属性値とデータモデルにおける項目情報とを対応付けて格納する対応表格納部を探索するステップと、
前記対応表格納部において前記スキーマの変更に関連する項目の属性値が検出された場合には、当該スキーマの変更に関連する項目の属性値に対応する項目情報を用いて、前記第2のスキーマ情報に対応するデータモデルである変更前データモデルを格納するメタ情報格納部に格納されている前記変更前データモデルを改修して変更後データモデルを生成し、記憶装置に格納するステップと、
前記記憶装置に格納された前記変更後データモデルを、前記格納先に対応するデータモデルに変換するための変更後統合ロジックを生成し、前記メタ情報格納部に格納するロジック改修ステップと、
を含む情報統合方法。
100 統合処理実行部 101 抽出部
102 変換部 103 登録部
104 スキーマ収集部 105 スキーマ格納部
106 収集スキーマ格納部 107 データモデル・データ属性改修部
108 対応表格納部 109 変更後データ格納部
110 統合ロジック改修部 111 仮変換ロジック生成部
112 仮変換ロジック格納部 113 統合ロジック生成部
114 変換経路表格納部 115 メタ情報格納部
116 実行データ格納部 117 出力部
3 情報源システム 31,33 DB
5 格納先システム 51,53 DB
Claims (7)
- 情報源から抽出したデータを変換して格納先に記憶する情報統合プログラムであって、
前記情報源から取得した、第1のスキーマ情報に含まれるデータ項目と、当該第1のスキーマ情報の変更前のスキーマ情報である第2のスキーマ情報に含まれるデータ項目とに基づいて、前記第2のスキーマ情報に含まれるデータ項目について属性値と前記第2のスキーマ情報に対応する変更前データモデルにおけるデータ項目情報とを対応付けて記憶する第1記憶部に記憶された、前記第1のスキーマ情報に含まれる属性値を探索し、
探索の結果、前記第1のスキーマ情報に含まれる属性値が検出された場合、検出された該属性値に対応付けて前記第1記憶部に記憶されたデータ項目情報に基づいて、前記第1のスキーマ情報に対応する変更後データモデルを生成する処理
を、コンピュータに実行させる情報統合プログラム。 - 請求項1記載の情報統合プログラムであって、前記コンピュータに、
第2記憶部に記憶され且つ変換経路のデータと変換に要するコストとを対応付けた変換経路情報を参照して、前記変更後データモデルから前記格納先に対応するデータモデルへの変換に要するコストが最小となる変換経路を特定し、特定された当該変換経路で変換を行う統合ロジックを生成する、
ことをさらに実行させる情報統合プログラム。 - 前記探索の結果、前記第1のスキーマ情報に含まれる属性値が検出されなかった場合には、当該第1のスキーマ情報に含まれる属性値が前記第2のスキーマ情報に含まれるか判断し、
前記第1のスキーマ情報に含まれる属性値が前記第2のスキーマ情報に含まれると判断された場合には、当該第2のスキーマ情報から、前記第1のスキーマ情報に含まれる属性値に対応する項目を特定し、
特定された前記項目に対応するデータ項目情報を前記第2のスキーマ情報に対応するデータモデルである変更前データモデルから抽出し、当該データ項目情報を用いて、前記変更前データモデルを改修して変更後データモデルを生成する
処理を、さらに実行させる請求項1又は2記載の情報統合プログラム。 - 前記第1のスキーマ情報に含まれる属性値と前記変更前データモデルから抽出された前記データ項目情報とを対応付けて前記第1記憶部に格納する処理
を、さらに実行させる請求項3記載の情報統合プログラム。 - 前記統合ロジックを生成する処理が、
前記変更後データモデルを、前記第2のスキーマ情報に対応するデータモデルである変更前データモデルに変換するための仮変換ロジックを生成し、
生成された前記仮変換ロジックと前記変更前データモデルを前記格納先に対応するデータモデルに変換する変更前統合ロジックとに基づき、前記変更後データモデルを前記格納先に対応するデータモデルに変換する統合ロジックを生成する処理、
を含む、請求項2記載の情報統合プログラム。 - 情報源から抽出したデータを変換して格納先に記憶する情報統合装置であって、
前記情報源から取得した、第1のスキーマ情報に含まれるデータ項目と、当該第1のスキーマ情報の変更前のスキーマ情報である第2のスキーマ情報に含まれるデータ項目とに基づいて、前記第2のスキーマ情報に含まれるデータ項目について属性値と前記第2のスキーマ情報に対応する変更前データモデルにおけるデータ項目情報とを対応付けて記憶する第1記憶部に記憶された、前記第1のスキーマ情報に含まれる属性値を探索する手段と、
探索の結果、前記第1のスキーマ情報に含まれる属性値が検出された場合、検出された該属性値に対応付けて前記第1記憶部に記憶されたデータ項目情報に基づいて、前記第1のスキーマ情報に対応する変更後データモデルを生成する手段と
を有する情報統合装置。 - 情報源から抽出したデータを変換して格納先に記憶するコンピュータにより実行される情報統合方法であって、
前記情報源から取得した、第1のスキーマ情報に含まれるデータ項目と、当該第1のスキーマ情報の変更前のスキーマ情報である第2のスキーマ情報に含まれるデータ項目とに基づいて、前記第2のスキーマ情報に含まれるデータ項目について属性値と前記第2のスキーマ情報に対応する変更前データモデルにおけるデータ項目情報とを対応付けて記憶する第1記憶部に記憶された、前記第1のスキーマ情報に含まれる属性値を探索し、
探索の結果、前記第1のスキーマ情報に含まれる属性値が検出された場合、検出された該属性値に対応付けて前記第1記憶部に記憶されたデータ項目情報に基づいて、前記第1のスキーマ情報に対応する変更後データモデルを生成する処理
を含む情報統合方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010165698A JP5601066B2 (ja) | 2010-07-23 | 2010-07-23 | 情報統合プログラム、装置及び方法 |
US13/184,285 US8412670B2 (en) | 2010-07-23 | 2011-07-15 | Apparatus, method, and program for integrating information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010165698A JP5601066B2 (ja) | 2010-07-23 | 2010-07-23 | 情報統合プログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012027690A JP2012027690A (ja) | 2012-02-09 |
JP5601066B2 true JP5601066B2 (ja) | 2014-10-08 |
Family
ID=45780549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010165698A Expired - Fee Related JP5601066B2 (ja) | 2010-07-23 | 2010-07-23 | 情報統合プログラム、装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8412670B2 (ja) |
JP (1) | JP5601066B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011142026A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
US10216814B2 (en) | 2013-05-17 | 2019-02-26 | Oracle International Corporation | Supporting combination of flow based ETL and entity relationship based ETL |
US9507838B2 (en) * | 2013-05-17 | 2016-11-29 | Oracle International Corporation | Use of projector and selector component types for ETL map design |
WO2016004188A1 (en) * | 2014-07-03 | 2016-01-07 | FishEye Products, LLC | Realtime processing of streaming data |
GB201615748D0 (en) | 2016-09-15 | 2016-11-02 | Gb Gas Holdings Ltd | System for importing data into a data repository |
JP6723893B2 (ja) | 2016-10-07 | 2020-07-15 | 株式会社日立製作所 | データ統合装置およびデータ統合方法 |
JP6784612B2 (ja) * | 2017-03-02 | 2020-11-11 | 株式会社日立製作所 | 分析ソフトウェア管理システム及び分析ソフトウェア管理方法 |
WO2018183531A1 (en) * | 2017-03-28 | 2018-10-04 | Walmart Apollo, Llc | Systems and methods for computer assisted database change documentation |
JP7010364B2 (ja) * | 2018-03-14 | 2022-01-26 | 日本電気株式会社 | データ作成装置、データ分類装置、データ処理システム、データ作成方法、データ分類方法及びプログラム |
JP6773708B2 (ja) * | 2018-03-23 | 2020-10-21 | 株式会社日立製作所 | データ移行システム及びデータ移行サーバ |
JP7060797B2 (ja) * | 2018-05-28 | 2022-04-27 | 富士通株式会社 | テーブル生成方法、テーブル生成装置およびテーブル生成プログラム |
WO2020115864A1 (ja) * | 2018-12-06 | 2020-06-11 | 株式会社日立製作所 | データ管理方法、データ管理システム及びプログラム |
US11468058B1 (en) * | 2021-11-12 | 2022-10-11 | Siteimprove A/S | Schema aggregating and querying system |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161208A (ja) * | 1994-12-08 | 1996-06-21 | Fujitsu Ltd | オブジェクト構造変換装置 |
JP3577400B2 (ja) | 1997-07-08 | 2004-10-13 | 株式会社エヌ・ティ・ティ・データ | システム設計装置及びデータウエアハウス設計システム |
US6339775B1 (en) * | 1997-11-07 | 2002-01-15 | Informatica Corporation | Apparatus and method for performing data transformations in data warehousing |
US6014670A (en) | 1997-11-07 | 2000-01-11 | Informatica Corporation | Apparatus and method for performing data transformations in data warehousing |
JP2004030179A (ja) * | 2002-06-25 | 2004-01-29 | Nec System Technologies Ltd | スキーマ情報の参照装置 |
US7496571B2 (en) * | 2004-09-30 | 2009-02-24 | Alcatel-Lucent Usa Inc. | Method for performing information-preserving DTD schema embeddings |
US7596559B2 (en) * | 2004-10-28 | 2009-09-29 | International Business Machines Corporation | Constraint-based XML query rewriting for data integration |
US20060253476A1 (en) * | 2005-05-09 | 2006-11-09 | Roth Mary A | Technique for relationship discovery in schemas using semantic name indexing |
US20070055655A1 (en) * | 2005-09-08 | 2007-03-08 | Microsoft Corporation | Selective schema matching |
US7934207B2 (en) * | 2006-12-19 | 2011-04-26 | Microsoft Corporation | Data schemata in programming language contracts |
US8799299B2 (en) * | 2010-05-27 | 2014-08-05 | Microsoft Corporation | Schema contracts for data integration |
-
2010
- 2010-07-23 JP JP2010165698A patent/JP5601066B2/ja not_active Expired - Fee Related
-
2011
- 2011-07-15 US US13/184,285 patent/US8412670B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8412670B2 (en) | 2013-04-02 |
JP2012027690A (ja) | 2012-02-09 |
US20120185464A1 (en) | 2012-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5601066B2 (ja) | 情報統合プログラム、装置及び方法 | |
US11461294B2 (en) | System for importing data into a data repository | |
US11360950B2 (en) | System for analysing data relationships to support data query execution | |
US11409764B2 (en) | System for data management in a large scale data repository | |
US10963800B2 (en) | Service layer augmentation of response to semantically-informed query of arbitrary external data sources | |
JP6045706B2 (ja) | データ処理システム、データ処理方法およびデータ処理装置 | |
US8543539B2 (en) | Method and system for capturing change of data | |
JP4045399B2 (ja) | 構造化文書管理装置及び構造化文書管理方法 | |
US9116968B2 (en) | Methods and apparatus related to graph transformation and synchronization | |
JP6024559B2 (ja) | プログラムおよびバージョン管理方法 | |
JP6427592B2 (ja) | データ型に関連するデータプロファイリング操作の管理 | |
CN115543402B (zh) | 一种基于代码提交的软件知识图谱增量更新方法 | |
US20140372408A1 (en) | Sparql query optimization method | |
US20200012643A1 (en) | Method for managing and executing decoders and transformations using linked data and a service layer | |
JP4562749B2 (ja) | 文書の圧縮格納方法及び装置 | |
JP6588988B2 (ja) | 業務プログラム生成支援システムおよび業務プログラム生成支援方法 | |
JP2018109898A (ja) | データマイグレーションシステム | |
JP5685205B2 (ja) | プログラム、情報処理装置およびアクセス支援方法 | |
JP5189880B2 (ja) | クラス構造生成方法、クラス構造生成プログラムおよびクラス構造生成装置 | |
CN114089976B (zh) | 用于生成数据库操作语句的方法、设备和介质 | |
JP2015219672A (ja) | データ管理装置、データ管理方法、及び、そのプログラム | |
JP6628566B2 (ja) | データベース管理装置及びプログラム | |
JP4120879B2 (ja) | プログラム生成システム及び方法とそのプログラム | |
JP2016095723A (ja) | 対応情報生成プログラム、対応情報生成装置及び対応情報生成方法 | |
JP5542857B2 (ja) | クエリ発行装置、クエリ発行プログラム、クエリ発行方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5601066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |