JP6723893B2 - データ統合装置およびデータ統合方法 - Google Patents
データ統合装置およびデータ統合方法 Download PDFInfo
- Publication number
- JP6723893B2 JP6723893B2 JP2016198655A JP2016198655A JP6723893B2 JP 6723893 B2 JP6723893 B2 JP 6723893B2 JP 2016198655 A JP2016198655 A JP 2016198655A JP 2016198655 A JP2016198655 A JP 2016198655A JP 6723893 B2 JP6723893 B2 JP 6723893B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- predetermined
- data format
- similarity
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2205/00—Indexing scheme relating to group G06F5/00; Methods or arrangements for data conversion without changing the order or content of the data handled
- G06F2205/003—Reformatting, i.e. changing the format of data representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0661—Format or protocol conversion arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Human Computer Interaction (AREA)
Description
けるデータとの間で、上述したデータ項目同士の対応関係付けが定義済みのものである。従って、上述の所定システム等が必要とするデータ形式が、統合されたデータ形式と異なることは、上述の変換処理のために必要な定義等が未知の状態であることを意味する。
的には、列車運行状況の観測データと上述の列車ダイヤデータとを利用して、列車運行管理を行うシステム等を想定出来る。
−−−データ変換処理の概念−−−
−−−ハードウェア構成−−−
マイク等の装置である。また、表示装置205は、利用者にデータを表示する、ディスプレイ等の装置である。また、通信装置206は、配信元システム130や配信先システム140と専用回線150を介して通信し、データを送受信するネットワークカード等の装置である。
−−−詳細フロー例1−−−
データ統合装置100は、上述の処理を、マスタデータ形式の「列車」テーブルの各カラムと、「データ形式Z」の「列車・駅」テーブルの各カラムとの、全組合せに対して行う。
−−−詳細フロー例2−−−
106の変換元カラム1084と変換先カラム1085に、「再利用可能候補無し」の値を格納する(3036)。
最大値をとるカラムを抽出する。この場合、最大になるのは3+1=4で、「データ形式X」の「列車情報」テーブルの「列車番号」カラムと特定される。
−−−画面表示例−−−
ブル102の類似度算出重みの値の適用対象となったカラムに関する記載とする。
定テーブルと前記所定システムの所定テーブルとについて、前記一致判定にて一致が特定されカラムに関する、当該テーブルの間に関する前記変換処理定義の情報を記憶装置より読み出し、当該情報を再利用可能な変換処理部品候補の情報として所定装置に出力するものである、としてもよい。
101 データ格納部
102 類似度算出パラメータテーブル
103 類似度算出結果一時格納部
104 データ変換処理部品定義テーブル
105 類似度算出結果格納部
106 再利用可能部品抽出結果格納テーブル
107 データ構造定義テーブル
108 データ変換部品ライブラリ
109 マスタデータ格納部
110 配信元データ格納部
111 ユーザインターフェース部
112 データ構造類似度算出部
113 再利用可能データ変換部品抽出部
114 通信部
120 入力端末
130 配信元システム
131 データ構造定義情報
140 配信先システム
150 専用回線
201 CPU(演算装置)
202 HDD(記憶装置)
203 メモリ
204 入力装置
205 表示装置
206 通信装置
207 プログラム
Claims (8)
- 所定事象のデータに関して所定システムで用いる各テーブルのデータ形式、および、前記データの間で普遍的なデータ形式として所定テーブルごとに予め定めたマスタデータ形式、の各情報と、前記マスタデータ形式の所定テーブルと前記所定システムの所定データ形式の所定テーブルとの間でのデータの変換処理定義の情報と、を格納した記憶装置と、
前記記憶装置にデータ形式の情報が未格納である所定データに関するテーブルのデータ形式と、前記所定テーブルごとのマスタデータ形式との類似度たる第1類似度を算出し、当該第1類似度が所定基準を満たすマスタデータ形式の所定テーブルを特定する処理と、前記特定した所定テーブルのマスタデータ形式と、前記記憶装置に格納している前記所定システムの各テーブルのデータ形式との類似度たる第2類似度を算出し、当該第2類似度が所定基準を満たす所定システムの所定テーブルを特定する処理と、前記特定した、マスタデータ形式の所定テーブルと前記所定システムの所定テーブルとについて、当該テーブルの間に関する前記変換処理定義の情報を記憶装置より読み出し、当該情報を再利用可能な変換処理部品候補の情報として所定装置に出力する処理と、を実行する演算装置と、
を備えることを特徴するデータ統合装置。 - 前記演算装置は、
前記第1および第2の各類似度の算出に際し、対象とするテーブル間における各カラムの名およびデータ型のそれぞれの一致判定を行い、当該一致判定の結果を所定アルゴリズムに適用することで類似度を算出し、
前記再利用可能な変換処理部品候補の情報の出力に際し、前記特定した、マスタデータ形式の所定テーブルと前記所定システムの所定テーブルとについて、前記一致判定にて一致が特定されカラムに関する、当該テーブルの間に関する前記変換処理定義の情報を記憶装置より読み出し、当該情報を再利用可能な変換処理部品候補の情報として所定装置に出力するものである、
ことを特徴とする請求項1に記載のデータ統合装置。 - 前記演算装置は、
前記各類似度の算出に際し、類似度に対する影響の大きさに応じてカラムごとに定めた重み付け値を、前記一致判定の結果に適用した上で、前記所定アルゴリズムによる類似度の算出を行うものである、
ことを特徴とする請求項2に記載のデータ統合装置。 - 前記演算装置は、
前記再利用可能な変換処理部品候補の情報を出力するに際し、前記特定した、マスタデータ形式の所定テーブルと前記所定システムの所定テーブルとについて、前記一致判定にて一致が特定され、前記重み付け値の適用対象となったカラムに関する情報と、当該カラムに関して適用された前記重み付け値の変更用インターフェースとを更に出力し、前記変更用インターフェースにて受け付けた重み付け値の変更指示に応じて、前記各類似度の算出および当該算出に伴う各処理を再実行するものである、
ことを特徴とする請求項3に記載のデータ統合装置。 - 所定事象のデータに関して所定システムで用いる各テーブルのデータ形式、および、前記データの間で普遍的なデータ形式として所定テーブルごとに予め定めたマスタデータ形式、の各情報と、前記マスタデータ形式の所定テーブルと前記所定システムの所定データ形式の所定テーブルとの間でのデータの変換処理定義の情報と、を格納した記憶装置を備える情報処理装置が、
前記記憶装置にデータ形式の情報が未格納である所定データに関するテーブルのデータ形式と、前記所定テーブルごとのマスタデータ形式との類似度たる第1類似度を算出し、当該第1類似度が所定基準を満たすマスタデータ形式の所定テーブルを特定する処理と、
前記特定した所定テーブルのマスタデータ形式と、前記記憶装置に格納している前記所定システムの各テーブルのデータ形式との類似度たる第2類似度を算出し、当該第2類似度が所定基準を満たす所定システムの所定テーブルを特定する処理と、
前記特定した、マスタデータ形式の所定テーブルと前記所定システムの所定テーブルとについて、当該テーブルの間に関する前記変換処理定義の情報を記憶装置より読み出し、当該情報を再利用可能な変換処理部品候補の情報として所定装置に出力する処理と、
を実行することを特徴するデータ統合方法。 - 前記情報処理装置が、
前記第1および第2の各類似度の算出に際し、対象とするテーブル間における各カラムの名およびデータ型のそれぞれの一致判定を行い、当該一致判定の結果を所定アルゴリズムに適用することで類似度を算出し、
前記再利用可能な変換処理部品候補の情報の出力に際し、前記特定した、マスタデータ形式の所定テーブルと前記所定システムの所定テーブルとについて、前記一致判定にて一致が特定されカラムに関する、当該テーブルの間に関する前記変換処理定義の情報を記憶装置より読み出し、当該情報を再利用可能な変換処理部品候補の情報として所定装置に出力する、
ことを特徴とする請求項5に記載のデータ統合方法。 - 前記情報処理装置が、
前記各類似度の算出に際し、類似度に対する影響の大きさに応じてカラムごとに定めた重み付け値を、前記一致判定の結果に適用した上で、前記所定アルゴリズムによる類似度の算出を行う、
ことを特徴とする請求項6に記載のデータ統合方法。 - 前記情報処理装置が、
前記再利用可能な変換処理部品候補の情報を出力するに際し、前記特定した、マスタデータ形式の所定テーブルと前記所定システムの所定テーブルとについて、前記一致判定にて一致が特定され、前記重み付け値の適用対象となったカラムに関する情報と、当該カラムに関して適用された前記重み付け値の変更用インターフェースとを更に出力し、前記変更用インターフェースにて受け付けた重み付け値の変更指示に応じて、前記各類似度の算出および当該算出に伴う各処理を再実行する、
ことを特徴とする請求項7に記載のデータ統合方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016198655A JP6723893B2 (ja) | 2016-10-07 | 2016-10-07 | データ統合装置およびデータ統合方法 |
KR1020197003935A KR102243794B1 (ko) | 2016-10-07 | 2017-03-21 | 데이터 통합 장치 및 데이터 통합 방법 |
PCT/JP2017/011163 WO2018066152A1 (ja) | 2016-10-07 | 2017-03-21 | データ統合装置およびデータ統合方法 |
US16/330,397 US20200193343A1 (en) | 2016-10-07 | 2017-03-21 | Data integration apparatus and data integration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016198655A JP6723893B2 (ja) | 2016-10-07 | 2016-10-07 | データ統合装置およびデータ統合方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018060430A JP2018060430A (ja) | 2018-04-12 |
JP2018060430A5 JP2018060430A5 (ja) | 2019-04-25 |
JP6723893B2 true JP6723893B2 (ja) | 2020-07-15 |
Family
ID=61831657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016198655A Active JP6723893B2 (ja) | 2016-10-07 | 2016-10-07 | データ統合装置およびデータ統合方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200193343A1 (ja) |
JP (1) | JP6723893B2 (ja) |
KR (1) | KR102243794B1 (ja) |
WO (1) | WO2018066152A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11494688B2 (en) * | 2018-04-16 | 2022-11-08 | Oracle International Corporation | Learning ETL rules by example |
JP2022059247A (ja) * | 2020-10-01 | 2022-04-13 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
CN116724316A (zh) * | 2020-12-31 | 2023-09-08 | 华为技术有限公司 | 模型处理方法和装置 |
US20240296173A1 (en) * | 2021-01-25 | 2024-09-05 | Nec Corporation | Information processing device, control method, and storage medium |
KR102685789B1 (ko) * | 2023-11-02 | 2024-07-17 | 예스넷 주식회사 | 데이터 코드의 변환을 수행하는 시스템, 장치 및 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2007083371A1 (ja) * | 2006-01-18 | 2009-06-11 | 富士通株式会社 | データ統合装置、データ統合方法およびデータ統合プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4778500B2 (ja) | 2007-12-11 | 2011-09-21 | 株式会社日立情報システムズ | データべースシステム及びデータべースシステムの制御方法 |
JP5601066B2 (ja) | 2010-07-23 | 2014-10-08 | 富士通株式会社 | 情報統合プログラム、装置及び方法 |
JP6194575B2 (ja) | 2012-03-19 | 2017-09-13 | 株式会社リコー | 情報処理装置、情報処理方法、およびプログラム |
-
2016
- 2016-10-07 JP JP2016198655A patent/JP6723893B2/ja active Active
-
2017
- 2017-03-21 KR KR1020197003935A patent/KR102243794B1/ko active IP Right Grant
- 2017-03-21 WO PCT/JP2017/011163 patent/WO2018066152A1/ja active Application Filing
- 2017-03-21 US US16/330,397 patent/US20200193343A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2018066152A1 (ja) | 2018-04-12 |
KR20190028485A (ko) | 2019-03-18 |
US20200193343A1 (en) | 2020-06-18 |
KR102243794B1 (ko) | 2021-04-23 |
JP2018060430A (ja) | 2018-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6723893B2 (ja) | データ統合装置およびデータ統合方法 | |
US20190251471A1 (en) | Machine learning device | |
JP2017091329A (ja) | データベース分析装置およびデータベース分析方法 | |
JP7015319B2 (ja) | データ分析支援装置、データ分析支援方法およびデータ分析支援プログラム | |
JP2017041171A (ja) | テストシナリオ生成支援装置およびテストシナリオ生成支援方法 | |
CN102214091A (zh) | 一种定位软件开发中需求变更影响范围的方法和系统 | |
JP2018092344A (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
JP7015320B2 (ja) | データ分析支援装置、データ分析支援方法およびデータ分析支援プログラム | |
JP6900265B2 (ja) | データ分析システム、及びデータ分析方法 | |
JP5447054B2 (ja) | データ生成方法,データ生成装置,およびデータ生成プログラム | |
JP2019175236A (ja) | 情報処理装置及び情報処理方法 | |
JP5449438B2 (ja) | ソフトウェア資産再利用支援装置およびソフトウェア資産再利用支援プログラム | |
US20180293285A1 (en) | Information providing method, information providing device, and computer-readable recording medium | |
JP6320901B2 (ja) | データ連携支援システムおよびデータ連携支援方法 | |
JP6157166B2 (ja) | 部品生成システムおよび方法ならびにプログラム | |
JP5081889B2 (ja) | 入力支援装置、入力支援方法及び入力支援プログラム | |
JP5600826B1 (ja) | 非構造化データ処理システム、非構造化データ処理方法およびプログラム | |
JP2009205297A (ja) | 開発予算管理装置 | |
JP6431246B2 (ja) | サービス提供システム、サービス提供方法、及びサービス提供プログラム | |
JP2018092466A (ja) | 変更影響調査支援装置、変更影響調査支援方法および変更影響調査支援プログラム | |
WO2024047997A1 (ja) | 文書分析装置、及び文書分析用プログラム | |
EP4365730A1 (en) | Software component update system, and software component update method | |
JP6664306B2 (ja) | 類似文書抽出装置、類似文書抽出方法及び類似文書抽出プログラム | |
JP2009104562A (ja) | 業務支援システム及びそれに用いられるプログラム | |
JP6498588B2 (ja) | 情報配信システムおよび情報配信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200624 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6723893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |