JPWO2019204106A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2019204106A5 JPWO2019204106A5 JP2020545789A JP2020545789A JPWO2019204106A5 JP WO2019204106 A5 JPWO2019204106 A5 JP WO2019204106A5 JP 2020545789 A JP2020545789 A JP 2020545789A JP 2020545789 A JP2020545789 A JP 2020545789A JP WO2019204106 A5 JPWO2019204106 A5 JP WO2019204106A5
- Authority
- JP
- Japan
- Prior art keywords
- schema
- etl
- mapping
- source
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 claims 36
- 238000000034 method Methods 0.000 claims 15
- 230000006870 function Effects 0.000 claims 6
- 239000000284 extract Substances 0.000 claims 5
- 238000010801 machine learning Methods 0.000 claims 4
- 238000000605 extraction Methods 0.000 claims 2
Claims (14)
- 例によって抽出、変換、およびロード(ETL)マッピングを学習するための方法であって、前記方法は、
ソーススキーマおよびターゲットスキーマから複数の特徴を抽出するステップを含み、前記特徴は、前記ソーススキーマおよび前記ターゲットスキーマの複数のテーブルのカラムを少なくとも含み、前記方法はさらに、
例示的なETLマッピングを機械学習アルゴリズムに提供するステップを含み、前記例示的なETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための定義を含み、前記方法はさらに、
前記機械学習アルゴリズムを使用し、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、1つ以上のETLルールを予測するステップを含み、前記1つ以上のETLルールは、前記ソーススキーマからデータを抽出し、抽出された前記データを前記ターゲットスキーマにロードするためのロジックを定義し、前記方法はさらに、
予測された前記ETLルール、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、追加のETLマッピングを生成するステップを含み、前記追加のETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための追加の定義を提供する、方法。 - 前記例示的なETLマッピングおよび前記追加のETLマッピングは、ソーステーブルの1つ以上のソースカラムとターゲットテーブルのターゲットカラムとの間の関係を定義するマッピング式を含む、請求項1に記載の方法。
- 前記例示的なETLマッピングは、カラム名接尾辞またはカラム名接頭辞のうちの少なくとも1つを実装するマッピング式を含む、請求項1に記載の方法。
- 前記例示的なETLマッピングは、マッピング式のソースカラムに適用される1つ以上の関数を実装するマッピング式を含む、請求項1に記載の方法。
- 前記例示的なETLマッピングは、前記ターゲットスキーマの第1のカラムをロードするために前記ソーススキーマのカラムに適用される第1の型の関数を実装するマッピング式を含み、
前記追加のETLマッピングは、前記ターゲットスキーマの第2のカラムをロードするために前記ソーススキーマの前記カラムに適用される前記第1の型の関数を実装するマッピング式を含む、請求項4に記載の方法。 - 予測された前記ETLルールは、前記例示的なETLマッピングによって表わされるロジックを定義する、請求項1から5のいずれか1項に記載の方法。
- 前記例示的なETLマッピングは、前記ソーススキーマと前記ターゲットスキーマの第1の組のカラムとの間の関係を表わし、
予測された前記ETLルールは、前記ソーススキーマと前記ターゲットスキーマの第2の組のカラムとの間の関係についてのロジックを定義し、前記第2の組のカラムは前記第1の組のカラムとは異なっている、請求項6に記載の方法。 - 前記追加のETLマッピングは、予測された前記ETLルールに基づいた、前記ターゲットスキーマの前記第2の組のカラムについてのマッピング式を含む、請求項7に記載の方法。
- 前記複数の特徴は、前記ソーススキーマおよび前記ターゲットスキーマのテーブルについての外部キーを含む、請求項1から8のいずれか1項に記載の方法。
- 前記複数の特徴は、前記ソーススキーマのカラムについてのメタデータを含み、前記メタデータは、前記ソーススキーマのカラム間の関係を示す、請求項1から9のいずれか1項に記載の方法。
- 請求項1~10のいずれか1項に記載の方法をプロセッサに実行させるプログラム。
- システムであって、
メモリデバイスと通信している処理デバイスを含み、前記処理デバイスは、例によって抽出、変換、およびロード(ETL)マッピングを学習するように構成され、前記学習することは、
ソーススキーマおよびターゲットスキーマから複数の特徴を抽出することを含み、前記特徴は、前記ソーススキーマおよび前記ターゲットスキーマの複数のテーブルのカラムを少なくとも含み、前記学習することはさらに、
例示的なETLマッピングを機械学習アルゴリズムに提供することを含み、前記例示的なETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための定義を含み、前記学習することはさらに、
前記機械学習アルゴリズムを使用し、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、1つ以上のETLルールを予測することを含み、前記1つ以上のETLルールは、前記ソーススキーマからデータを抽出し、抽出された前記データを前記ターゲットスキーマにロードするためのロジックを定義し、前記学習することはさらに、
予測された前記ETLルール、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、追加のETLマッピングを生成することを含み、前記追加のETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための追加の定義を提供する、システム。 - 前記例示的なETLマッピングは、マッピング式のソースカラムに適用される1つ以上の関数を実装するマッピング式を含む、請求項12に記載のシステム。
- 前記例示的なETLマッピングは、前記ターゲットスキーマの第1のカラムをロードするために前記ソーススキーマのカラムに適用される第1の型の関数を実装するマッピング式を含み、
前記追加のETLマッピングは、前記ターゲットスキーマの第2のカラムをロードするために前記ソーススキーマの前記カラムに適用される前記第1の型の関数を実装するマッピング式を含む、請求項13に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/953,873 | 2018-04-16 | ||
US15/953,873 US11494688B2 (en) | 2018-04-16 | 2018-04-16 | Learning ETL rules by example |
PCT/US2019/026891 WO2019204106A1 (en) | 2018-04-16 | 2019-04-11 | Learning etl rules by example |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021519964A JP2021519964A (ja) | 2021-08-12 |
JPWO2019204106A5 true JPWO2019204106A5 (ja) | 2022-01-20 |
JP7419244B2 JP7419244B2 (ja) | 2024-01-22 |
Family
ID=66248868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545789A Active JP7419244B2 (ja) | 2018-04-16 | 2019-04-11 | 例によるetlルールの学習 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11494688B2 (ja) |
EP (1) | EP3782044A1 (ja) |
JP (1) | JP7419244B2 (ja) |
CN (1) | CN111712809A (ja) |
WO (1) | WO2019204106A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11704370B2 (en) | 2018-04-20 | 2023-07-18 | Microsoft Technology Licensing, Llc | Framework for managing features across environments |
WO2020142524A1 (en) * | 2018-12-31 | 2020-07-09 | Kobai, Inc. | Decision intelligence system and method |
US11487721B2 (en) | 2019-04-30 | 2022-11-01 | Sap Se | Matching metastructure for data modeling |
US20210012219A1 (en) * | 2019-07-10 | 2021-01-14 | Sap Se | Dynamic generation of rule and logic statements |
CN111338966B (zh) * | 2020-03-05 | 2023-09-19 | 中国银行股份有限公司 | 数据源表的大数据加工检测方法及装置 |
US11379478B2 (en) * | 2020-04-02 | 2022-07-05 | International Business Machines Corporation | Optimizing a join operation |
CN112035468A (zh) * | 2020-08-24 | 2020-12-04 | 杭州览众数据科技有限公司 | 基于内存计算、web可视化配置的多数据源ETL工具 |
US11372826B2 (en) | 2020-10-19 | 2022-06-28 | Oracle International Corporation | Dynamic inclusion of custom columns into a logical model |
US20220179833A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Metadata based mapping assist |
JPWO2022259336A1 (ja) * | 2021-06-07 | 2022-12-15 | ||
US11836120B2 (en) * | 2021-07-23 | 2023-12-05 | Oracle International Corporation | Machine learning techniques for schema mapping |
EP4180986A1 (en) * | 2021-11-13 | 2023-05-17 | Tata Consultancy Services Limited | System and method for learning-based synthesis of data transformation rules |
WO2023097521A1 (zh) * | 2021-11-30 | 2023-06-08 | 西门子股份公司 | 数据模型生成的方法和装置 |
US20230205746A1 (en) * | 2021-12-23 | 2023-06-29 | Microsoft Technology Licensing, Llc | Determination of recommended column types for columns in tabular data |
US20240020299A1 (en) * | 2022-07-14 | 2024-01-18 | International Business Machines Corporation | Api management for batch processing |
EP4357929A1 (en) * | 2022-10-21 | 2024-04-24 | Atos France | Data quality assurance for heterogenous data migration in clouds |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3648051B2 (ja) * | 1998-02-02 | 2005-05-18 | 富士通株式会社 | 関連情報検索装置及びプログラム記録媒体 |
JP2004086782A (ja) * | 2002-08-29 | 2004-03-18 | Hitachi Ltd | 異種データベース統合支援装置 |
JP4855080B2 (ja) * | 2006-01-13 | 2012-01-18 | 三菱電機株式会社 | スキーマ統合支援装置、スキーマ統合支援装置のスキーマ統合支援方法およびスキーマ統合支援プログラム |
CN101777073A (zh) * | 2010-02-01 | 2010-07-14 | 浪潮集团山东通用软件有限公司 | 一种基于xml格式的数据转换方法 |
US9298787B2 (en) * | 2011-11-09 | 2016-03-29 | International Business Machines Corporation | Star and snowflake schemas in extract, transform, load processes |
US9542412B2 (en) | 2014-03-28 | 2017-01-10 | Tamr, Inc. | Method and system for large scale data curation |
US10169378B2 (en) | 2014-09-11 | 2019-01-01 | Oracle International Corporation | Automatic generation of logical database schemas from physical database tables and metadata |
US10374905B2 (en) * | 2015-06-05 | 2019-08-06 | Oracle International Corporation | System and method for intelligently mapping a source element to a target element in an integration cloud service design time |
US20170061500A1 (en) * | 2015-09-02 | 2017-03-02 | Borodin Research Inc. | Systems and methods for data service platform |
US10095766B2 (en) * | 2015-10-23 | 2018-10-09 | Numerify, Inc. | Automated refinement and validation of data warehouse star schemas |
US20170220654A1 (en) * | 2016-02-03 | 2017-08-03 | Wipro Limited | Method for automatically generating extract transform load (etl) codes using a code generation device |
JP6723893B2 (ja) * | 2016-10-07 | 2020-07-15 | 株式会社日立製作所 | データ統合装置およびデータ統合方法 |
CN106682235A (zh) * | 2017-01-18 | 2017-05-17 | 济南浪潮高新科技投资发展有限公司 | 一种异构数据映射系统及方法 |
CN107798069A (zh) * | 2017-09-26 | 2018-03-13 | 恒生电子股份有限公司 | 用于数据加载的方法、装置及计算机可读介质 |
-
2018
- 2018-04-16 US US15/953,873 patent/US11494688B2/en active Active
-
2019
- 2019-04-11 JP JP2020545789A patent/JP7419244B2/ja active Active
- 2019-04-11 WO PCT/US2019/026891 patent/WO2019204106A1/en unknown
- 2019-04-11 CN CN201980013060.8A patent/CN111712809A/zh active Pending
- 2019-04-11 EP EP19719137.2A patent/EP3782044A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2019204106A5 (ja) | ||
RU2016137787A (ru) | Персонализированный поиск на основе явной подачи сигналов | |
JP2019535065A5 (ja) | ||
JP2019533245A5 (ja) | ||
JP2016502701A5 (ja) | ||
JP2021522570A5 (ja) | ||
US8275779B2 (en) | Data tranformations for applications supporting different data formats | |
WO2021179722A1 (zh) | Sql语句解析方法、系统、计算机设备和存储介质 | |
KR102309375B1 (ko) | 지식그래프 색인 방법 및 장치 | |
US20150227562A1 (en) | Database device | |
US8301647B2 (en) | Data tranformations for a source application and multiple target applications supporting different data formats | |
WO2018097022A1 (ja) | 自動翻訳パターン学習装置、自動翻訳の前処理装置、及びコンピュータプログラム | |
US20230153455A1 (en) | Query-based database redaction | |
Yoo | Visual-based emotional descriptor and feedback mechanism for image retrieval | |
US9594763B2 (en) | N-way Inode translation | |
Zhang et al. | Biomolecular event trigger detection using neighborhood hash features | |
Lara-Betancourt | The quest for modernity: a global/national approach to a history of design in Latin America | |
JP5162215B2 (ja) | データ処理装置、データ処理方法、および、プログラム | |
US10042957B2 (en) | Devices and methods for implementing dynamic collaborative workflow systems | |
CN112163082B (zh) | 一种意图识别方法、装置、电子设备及存储介质 | |
Coronado‐Barrientos et al. | AXC: A new format to perform the SpMV oriented to Intel Xeon Phi architecture in OpenCL | |
JP2021018520A5 (ja) | ||
KR102483584B1 (ko) | 표준 항목명을 이용한 데이터셋 관리 방법, 그리고 이를 구현하기 위한 장치 | |
JP2005092707A5 (ja) | ||
JP2018005822A (ja) | 仮想データベースシステム管理装置、管理方法及び管理プログラム |