JPWO2019204106A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2019204106A5
JPWO2019204106A5 JP2020545789A JP2020545789A JPWO2019204106A5 JP WO2019204106 A5 JPWO2019204106 A5 JP WO2019204106A5 JP 2020545789 A JP2020545789 A JP 2020545789A JP 2020545789 A JP2020545789 A JP 2020545789A JP WO2019204106 A5 JPWO2019204106 A5 JP WO2019204106A5
Authority
JP
Japan
Prior art keywords
schema
etl
mapping
source
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020545789A
Other languages
English (en)
Other versions
JP2021519964A (ja
JP7419244B2 (ja
Publication date
Priority claimed from US15/953,873 external-priority patent/US11494688B2/en
Application filed filed Critical
Publication of JP2021519964A publication Critical patent/JP2021519964A/ja
Publication of JPWO2019204106A5 publication Critical patent/JPWO2019204106A5/ja
Application granted granted Critical
Publication of JP7419244B2 publication Critical patent/JP7419244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (14)

  1. 例によって抽出、変換、およびロード(ETL)マッピングを学習するための方法であって、前記方法は、
    ソーススキーマおよびターゲットスキーマから複数の特徴を抽出するステップを含み、前記特徴は、前記ソーススキーマおよび前記ターゲットスキーマの複数のテーブルのカラムを少なくとも含み、前記方法はさらに、
    例示的なETLマッピングを機械学習アルゴリズムに提供するステップを含み、前記例示的なETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための定義を含み、前記方法はさらに、
    前記機械学習アルゴリズムを使用し、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、1つ以上のETLルールを予測するステップを含み、前記1つ以上のETLルールは、前記ソーススキーマからデータを抽出し、抽出された前記データを前記ターゲットスキーマにロードするためのロジックを定義し、前記方法はさらに、
    予測された前記ETLルール、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、追加のETLマッピングを生成するステップを含み、前記追加のETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための追加の定義を提供する、方法。
  2. 前記例示的なETLマッピングおよび前記追加のETLマッピングは、ソーステーブルの1つ以上のソースカラムとターゲットテーブルのターゲットカラムとの間の関係を定義するマッピング式を含む、請求項1に記載の方法。
  3. 前記例示的なETLマッピングは、カラム名接尾辞またはカラム名接頭辞のうちの少なくとも1つを実装するマッピング式を含む、請求項1に記載の方法。
  4. 前記例示的なETLマッピングは、マッピング式のソースカラムに適用される1つ以上の関数を実装するマッピング式を含む、請求項1に記載の方法。
  5. 前記例示的なETLマッピングは、前記ターゲットスキーマの第1のカラムをロードするために前記ソーススキーマのカラムに適用される第1の型の関数を実装するマッピング式を含み、
    前記追加のETLマッピングは、前記ターゲットスキーマの第2のカラムをロードするために前記ソーススキーマの前記カラムに適用される前記第1の型の関数を実装するマッピング式を含む、請求項4に記載の方法。
  6. 予測された前記ETLルールは、前記例示的なETLマッピングによって表わされるロジックを定義する、請求項1から5のいずれか1項に記載の方法。
  7. 前記例示的なETLマッピングは、前記ソーススキーマと前記ターゲットスキーマの第1の組のカラムとの間の関係を表わし、
    予測された前記ETLルールは、前記ソーススキーマと前記ターゲットスキーマの第2の組のカラムとの間の関係についてのロジックを定義し、前記第2の組のカラムは前記第1の組のカラムとは異なっている、請求項6に記載の方法。
  8. 前記追加のETLマッピングは、予測された前記ETLルールに基づいた、前記ターゲットスキーマの前記第2の組のカラムについてのマッピング式を含む、請求項7に記載の方法。
  9. 前記複数の特徴は、前記ソーススキーマおよび前記ターゲットスキーマのテーブルについての外部キーを含む、請求項1から8のいずれか1項に記載の方法。
  10. 前記複数の特徴は、前記ソーススキーマのカラムについてのメタデータを含み、前記メタデータは、前記ソーススキーマのカラム間の関係を示す、請求項1から9のいずれか1項に記載の方法。
  11. 請求項1~10のいずれか1項に記載の方法をプロセッサに実行させるプログラム。
  12. システムであって、
    メモリデバイスと通信している処理デバイスを含み、前記処理デバイスは、例によって抽出、変換、およびロード(ETL)マッピングを学習するように構成され、前記学習することは、
    ソーススキーマおよびターゲットスキーマから複数の特徴を抽出することを含み、前記特徴は、前記ソーススキーマおよび前記ターゲットスキーマの複数のテーブルのカラムを少なくとも含み、前記学習することはさらに、
    例示的なETLマッピングを機械学習アルゴリズムに提供することを含み、前記例示的なETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための定義を含み、前記学習することはさらに、
    前記機械学習アルゴリズムを使用し、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、1つ以上のETLルールを予測することを含み、前記1つ以上のETLルールは、前記ソーススキーマからデータを抽出し、抽出された前記データを前記ターゲットスキーマにロードするためのロジックを定義し、前記学習することはさらに、
    予測された前記ETLルール、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、追加のETLマッピングを生成することを含み、前記追加のETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための追加の定義を提供する、システム。
  13. 前記例示的なETLマッピングは、マッピング式のソースカラムに適用される1つ以上の関数を実装するマッピング式を含む、請求項12に記載のシステム。
  14. 前記例示的なETLマッピングは、前記ターゲットスキーマの第1のカラムをロードするために前記ソーススキーマのカラムに適用される第1の型の関数を実装するマッピング式を含み、
    前記追加のETLマッピングは、前記ターゲットスキーマの第2のカラムをロードするために前記ソーススキーマの前記カラムに適用される前記第1の型の関数を実装するマッピング式を含む、請求項13に記載のシステム。
JP2020545789A 2018-04-16 2019-04-11 例によるetlルールの学習 Active JP7419244B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/953,873 2018-04-16
US15/953,873 US11494688B2 (en) 2018-04-16 2018-04-16 Learning ETL rules by example
PCT/US2019/026891 WO2019204106A1 (en) 2018-04-16 2019-04-11 Learning etl rules by example

Publications (3)

Publication Number Publication Date
JP2021519964A JP2021519964A (ja) 2021-08-12
JPWO2019204106A5 true JPWO2019204106A5 (ja) 2022-01-20
JP7419244B2 JP7419244B2 (ja) 2024-01-22

Family

ID=66248868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020545789A Active JP7419244B2 (ja) 2018-04-16 2019-04-11 例によるetlルールの学習

Country Status (5)

Country Link
US (1) US11494688B2 (ja)
EP (1) EP3782044A1 (ja)
JP (1) JP7419244B2 (ja)
CN (1) CN111712809A (ja)
WO (1) WO2019204106A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704370B2 (en) 2018-04-20 2023-07-18 Microsoft Technology Licensing, Llc Framework for managing features across environments
WO2020142524A1 (en) * 2018-12-31 2020-07-09 Kobai, Inc. Decision intelligence system and method
US11487721B2 (en) 2019-04-30 2022-11-01 Sap Se Matching metastructure for data modeling
US20210012219A1 (en) * 2019-07-10 2021-01-14 Sap Se Dynamic generation of rule and logic statements
CN111338966B (zh) * 2020-03-05 2023-09-19 中国银行股份有限公司 数据源表的大数据加工检测方法及装置
US11379478B2 (en) * 2020-04-02 2022-07-05 International Business Machines Corporation Optimizing a join operation
CN112035468A (zh) * 2020-08-24 2020-12-04 杭州览众数据科技有限公司 基于内存计算、web可视化配置的多数据源ETL工具
US11372826B2 (en) 2020-10-19 2022-06-28 Oracle International Corporation Dynamic inclusion of custom columns into a logical model
US20220179833A1 (en) * 2020-12-03 2022-06-09 International Business Machines Corporation Metadata based mapping assist
JPWO2022259336A1 (ja) * 2021-06-07 2022-12-15
US11836120B2 (en) * 2021-07-23 2023-12-05 Oracle International Corporation Machine learning techniques for schema mapping
EP4180986A1 (en) * 2021-11-13 2023-05-17 Tata Consultancy Services Limited System and method for learning-based synthesis of data transformation rules
WO2023097521A1 (zh) * 2021-11-30 2023-06-08 西门子股份公司 数据模型生成的方法和装置
US20230205746A1 (en) * 2021-12-23 2023-06-29 Microsoft Technology Licensing, Llc Determination of recommended column types for columns in tabular data
US20240020299A1 (en) * 2022-07-14 2024-01-18 International Business Machines Corporation Api management for batch processing
EP4357929A1 (en) * 2022-10-21 2024-04-24 Atos France Data quality assurance for heterogenous data migration in clouds

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3648051B2 (ja) * 1998-02-02 2005-05-18 富士通株式会社 関連情報検索装置及びプログラム記録媒体
JP2004086782A (ja) * 2002-08-29 2004-03-18 Hitachi Ltd 異種データベース統合支援装置
JP4855080B2 (ja) * 2006-01-13 2012-01-18 三菱電機株式会社 スキーマ統合支援装置、スキーマ統合支援装置のスキーマ統合支援方法およびスキーマ統合支援プログラム
CN101777073A (zh) * 2010-02-01 2010-07-14 浪潮集团山东通用软件有限公司 一种基于xml格式的数据转换方法
US9298787B2 (en) * 2011-11-09 2016-03-29 International Business Machines Corporation Star and snowflake schemas in extract, transform, load processes
US9542412B2 (en) 2014-03-28 2017-01-10 Tamr, Inc. Method and system for large scale data curation
US10169378B2 (en) 2014-09-11 2019-01-01 Oracle International Corporation Automatic generation of logical database schemas from physical database tables and metadata
US10374905B2 (en) * 2015-06-05 2019-08-06 Oracle International Corporation System and method for intelligently mapping a source element to a target element in an integration cloud service design time
US20170061500A1 (en) * 2015-09-02 2017-03-02 Borodin Research Inc. Systems and methods for data service platform
US10095766B2 (en) * 2015-10-23 2018-10-09 Numerify, Inc. Automated refinement and validation of data warehouse star schemas
US20170220654A1 (en) * 2016-02-03 2017-08-03 Wipro Limited Method for automatically generating extract transform load (etl) codes using a code generation device
JP6723893B2 (ja) * 2016-10-07 2020-07-15 株式会社日立製作所 データ統合装置およびデータ統合方法
CN106682235A (zh) * 2017-01-18 2017-05-17 济南浪潮高新科技投资发展有限公司 一种异构数据映射系统及方法
CN107798069A (zh) * 2017-09-26 2018-03-13 恒生电子股份有限公司 用于数据加载的方法、装置及计算机可读介质

Similar Documents

Publication Publication Date Title
JPWO2019204106A5 (ja)
RU2016137787A (ru) Персонализированный поиск на основе явной подачи сигналов
JP2019535065A5 (ja)
JP2019533245A5 (ja)
JP2016502701A5 (ja)
JP2021522570A5 (ja)
US8275779B2 (en) Data tranformations for applications supporting different data formats
WO2021179722A1 (zh) Sql语句解析方法、系统、计算机设备和存储介质
KR102309375B1 (ko) 지식그래프 색인 방법 및 장치
US20150227562A1 (en) Database device
US8301647B2 (en) Data tranformations for a source application and multiple target applications supporting different data formats
WO2018097022A1 (ja) 自動翻訳パターン学習装置、自動翻訳の前処理装置、及びコンピュータプログラム
US20230153455A1 (en) Query-based database redaction
Yoo Visual-based emotional descriptor and feedback mechanism for image retrieval
US9594763B2 (en) N-way Inode translation
Zhang et al. Biomolecular event trigger detection using neighborhood hash features
Lara-Betancourt The quest for modernity: a global/national approach to a history of design in Latin America
JP5162215B2 (ja) データ処理装置、データ処理方法、および、プログラム
US10042957B2 (en) Devices and methods for implementing dynamic collaborative workflow systems
CN112163082B (zh) 一种意图识别方法、装置、电子设备及存储介质
Coronado‐Barrientos et al. AXC: A new format to perform the SpMV oriented to Intel Xeon Phi architecture in OpenCL
JP2021018520A5 (ja)
KR102483584B1 (ko) 표준 항목명을 이용한 데이터셋 관리 방법, 그리고 이를 구현하기 위한 장치
JP2005092707A5 (ja)
JP2018005822A (ja) 仮想データベースシステム管理装置、管理方法及び管理プログラム