JP7419244B2 - 例によるetlルールの学習 - Google Patents
例によるetlルールの学習 Download PDFInfo
- Publication number
- JP7419244B2 JP7419244B2 JP2020545789A JP2020545789A JP7419244B2 JP 7419244 B2 JP7419244 B2 JP 7419244B2 JP 2020545789 A JP2020545789 A JP 2020545789A JP 2020545789 A JP2020545789 A JP 2020545789A JP 7419244 B2 JP7419244 B2 JP 7419244B2
- Authority
- JP
- Japan
- Prior art keywords
- etl
- schema
- source
- mapping
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013016 learning Effects 0.000 title claims description 69
- 238000013507 mapping Methods 0.000 claims description 219
- 230000014509 gene expression Effects 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 39
- 238000010801 machine learning Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 description 23
- 238000013461 design Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 12
- 238000013508 migration Methods 0.000 description 11
- 230000005012 migration Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 241000533950 Leucojum Species 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
本願は、2018年4月16日に出願された米国特許出願第15/953,873号の優先権を主張する。当該出願の開示はここに引用により援用される。
本開示の実施形態は一般に、例による抽出、変換、およびロードマッピングの学習に関する。
コンピューティングデバイスおよび接続されたデバイスの急増は、管理を必要とする莫大な量のデータを生成してきた。データ科学者などの人間によってしばしば実行されるデータ管理の一局面は、抽出、変換、およびロード(extract, transform, and load:ETL)、または、抽出、ロード、および変換(extract, load, and transform:ELT)であり、それらは、この開示全体にわたって区別なく使用されるであろう。一般に、ETLは、データをソーススキーマからターゲットスキーマへ動かすより大きいデータ移行プロセスの1ステップである。この移行プロセスは、ほんの数例を挙げると、テーブル/カラムマッピング、抽出およびロードルール/マッピング(たとえば、結合条件、作業単位判断など)、移行後および/または移行前変換といった、複数の層を有することが多い。その結果、データ管理の他の局面は機敏で効率的になるものの、ETLは、今日の従来の手法を活用する際に扱いにくいプロセスになる場合がある。
本開示の実施形態は一般に、関連技術を実質的に改良する、例によって抽出、変換、およびロードマッピングを学習するためのシステムおよび方法に向けられる。
実施形態は、例によって抽出、変換、およびロードマッピングを学習する。ソーススキーマとターゲットスキーマとの間の関係は複雑であることが多く、このため、ETLのための機械学習アプリケーションを難しくする。実施形態は、改良された学習を可能にする、機械学習アルゴリズムに粒状レベルのデータ点を提供するソースデータスキーマおよびターゲットデータスキーマのための特徴抽出を活用する。また、ソースデータスキーマとターゲットデータスキーマとの間の例示的なマッピングが、ETLフレームワークに従って定義される機械学習アルゴリズムに提供される。その結果、機械学習アルゴリズムは、例においてターゲットスキーマとソーススキーマとの間に示された関係に基づいて、傾向を推定することができる。これらの推定された傾向は、スキーマに特有の粒状レベルで定義されるため、機械予測を助長する詳細なレベルで定義され得る。続いて、機械学習アルゴリズムは、ソースからターゲットへのデータの移行を達成するために使用され得る新たなETLルールを予測することができる。次に、ルールインタプリタが、予測された新たなETLルールに基づいてETLマッピングを生成するために活用され得る。
名前は、ソースをターゲットテーブル/カラム(列)にマッピングする際の決定源であり得る。例示的な特徴は、以下を含む:
・ソースおよびターゲットテーブル/カラム名が同一である
・フォルダ名が、接頭辞または接尾辞を有するソース/ターゲットテーブル名からなる
・マッピング名が、接頭辞または接尾辞を有するソースまたはターゲットテーブル名からなる
・マッピング名が、テーブル名の前、後、および間に固定された文字列を有するソースおよびターゲット名からなる
・マッピング名が、似た名前を有する他のカラムにおいて単調に増加する数を含む
・ソーステーブルおよびターゲットテーブルが、{1、2、3、4、それ以上}の類似性距離を有して類似している
・カラム名が文字列「UDF」で始まる
・テーブルが「_L」または「_F」で終わる
・カラム名が「EFFECTIVE_DT」である
抽出された特徴のうちのいくつかは、フレームワークの一部として定義されるであろう。また、特定のテーブルまたは接頭辞および接尾辞に関連するいくつかの特徴は、ソーススキーマおよびターゲットスキーマに基づいて作成され得る。
カラム型は、さまざまなETLルール/マッピングを作る決定において使用されてもよい。さまざまな実施形態に従った例示的なカラム特徴は、以下のとおりである:
・ソースおよびターゲットカラム型が同一である
・ソースはターゲット型の部分型である(たとえば、ソースはVARCHAR(20)であり、ターゲット型はVARCHAR(30)である)
・ターゲットカラム型は「Date」である
・カラムは主キーに属する
・カラムは外部キー制約に属する
・カラムは、このテーブルの外部キーに属する
・カラムは「非ヌル」制約を有する
・テーブルは、NUMBERという型のカラムを、他の型より2~3倍以上有する。
テーブル関係は、結合またはルックアップ条件、順序付け、およびテーブル識別を判断するために使用され得る。さまざまな実施形態に従った例示的なテーブル関係特徴は、以下のとおりである:
・テーブルは自己参照性である
・テーブルは入力外部キー制約を有する
・テーブルは出力外部キー制約を有する
・テーブルは、{1つ、2つ、それ以上の}出力外部キー制約を有する
・テーブルは、{1つ、2つ、それ以上の}入力外部キー制約を有する
・テーブルT1はテーブルT2を参照する
・テーブルT1は、T2に直接接続され、または、出力外部キーを通して間接的に接続される
・テーブルT1は、T2に直接接続され、または、X個未満の間接的関係を有して出力外部キーを通して間接的に接続される。
・メタデータ属性Xは、値Yを有する
・メタデータ属性Xが定義されない
・テーブルT1のメタデータ属性Xの値が、テーブルT2のメタデータ属性Xの値と同一である
・テーブルT1のメタデータ属性Xの値が、テーブルT2のメタデータ属性Xの値よりも{小さい、大きい}
・メタデータ属性Xは、{ソース、ターゲット}{テーブル、カラム}Yと同じ名前を有する。
・「ソーステーブル」は、1つまたは複数のソーステーブルを識別するために、ターゲットテーブルにおいて使用され得る。これは、不適切な命名規則による不整合といった曖昧さを解決するための状況で使用され得る;
・「パターン名」および「パターン参加者」は、ソーステーブルおよびターゲットテーブルのために使用され、使用されるパターン全体と、各テーブルがどの役割を果たすか(参加者)とを明確にすることができる。たとえば、これは、ETL使用事例で一般的な他の設計パターンに似た役割を果たすことができる;
・ソーステーブルおよびターゲットテーブルにおける「グループ」は、構造の範囲を定義するために使用され得る。たとえば、高度に接続されたデータベーススキーマでは、単位を定義するFK制約を通して関連したテーブルを判断することは、難易度が高い。これらの場合、グループ化を示すことは役に立つ;
・ターゲットスキーマテーブルにおける「フィルタ条件」は、情報の一部を定義するためのソーステーブルに対する条件を表わすために使用され得る。そのような条件は、ソースシステムにおけるドメイン特有の詳細によって駆動されることが多い。そのような情報を提供することは、学習アルゴリズムが条件を生成されたルールに含めることを可能にする。
・マッピングの定義
o マッピングの名前
o ETLソフトウェアツールに位置するフォルダの名前(たとえば、論理ファイル位置)
o ソーステーブル、ならびに、ソースをフィルタリング、ルックアップ、および結合する方法。さまざまな実施形態では、ソースは、ソーススキーマおよびターゲットスキーマに存在するかもしれない
o ターゲットテーブル
o パラメータを使用して構成された抽出(たとえば、構造化問合せ言語(structured query language:SQL)またはデータベースリンク)および挿入戦略(たとえば、インクリメント、マージ、アペンド)
o 定数を含み得る各ターゲットカラムについてのマッピング式、1つまたは複数のソースカラムを用いる1対1のカラムマッピングまたは式
・変数
o 変数名
o 変数型
o 変数定義
・シーケンス
o シーケンスの名前
o シーケンスの型(たとえばDBシーケンス)
o シーケンス定義
・ETLマッピングと他のETLプリミティブ(別名パッケージ)とをオーケストレーションする方法の定義
o パッケージ名
o ETLツールに位置するフォルダの名前
o マッピングの順次または並列実行
o 変数の初期化
o 手順の実行。
・ソーススキーマおよびターゲットスキーマの名前
・テーブル名およびカラム名
・カラムの型
・非ヌル制約、主キー制約、および外部キー制約
・一意インデックス。
テーブルレベルのETL設計は、どのソーステーブルおよびターゲットテーブルが作業単位に参加するかを考慮する。いくつかの一般的パターンが存在する:
・1対1のパターン:1つのソーステーブルが1つのターゲットテーブルにマッピングされる;
・多対1のパターン:複数のソーステーブルが1つのデータセットへと結合され、1つのターゲットテーブルにマッピングされる。これは、スタースキーマを用いて運用システムからのデータをデータウェアハウスにロードする際に一般的なシナリオである。たとえば、非正規化されたディメンションテーブルを生成するために、ディメンション階層を表わす複数のテーブルが結合される;
・1対多のパターン:1つのソーステーブルがレコードのすべてまたは一部を複数のターゲットテーブルにマッピングしてもよく、それらは、ソースカラムのすべてまたは一部を含む。この方法は、無関係なテーブル属性を別々のテーブルへと分離するために使用され得る;
・型-部分型パターン:1つのソーステーブルが複数のターゲットテーブルにマッピングされ、それらは、共通データを型テーブルへと分離し、特定の詳細を1つまたは複数の部分型テーブルへと分離する。これは、上述の1対多のパターンの特殊なケースである。型-部分型関係を有する複数のソーステーブルが1つのターゲットテーブルにマッピングされるという逆のケースも可能である;
・集計テーブルパターン:集計テーブルが典型的には、集計レベルを定義するために、測定値に対する集計関数および「group by」句を使用して、ターゲットスキーマ内で、よりきめ細かいデータを有するテーブルから導き出される。
カラムマッピングは、カラムの型、カラム型およびカラム名、ならびに利用可能なソースカラムに関連する多くの一般的変形を有する:
・テーブルの主キーに属しており、ソースからコピーされ、DBシーケンスを使用して作成され、またはルックアップ演算を使用して(たとえば、左外部結合を用いて)親テーブルからコピーされ得る、カラム;
・外部キーカラムは、1つの自然キーに基づいて外部キーカラムを検索するために、ルックアップが、参照されるテーブルを有するターゲットスキーマにおいて(たとえば、左外部結合を用いて)実行されることを示唆する;
・カラムは、ソーステーブルとターゲットテーブルとの間で単純に1対1でコピーされてもよい;
・カラムは、CASTなどの単純式を使用して、ターゲットカラムの型にマッピングされてもよい;
・あるシステムカラム(たとえば、データソースID、日付の更新、または挿入データ)は、一貫して命名されてもよく、同じ式を使用するであろう。
・主キーカラムのマッピング
・外部キーカラムのマッピング
・コードカラムのマッピング
・システムカラム
・他のカラム。
ソーステーブル:
Claims (14)
- 抽出、変換、およびロード(ETL)マッピングを学習するためのプロセッサが実施する方法であって、前記方法は、
ソーススキーマおよびターゲットスキーマから複数の特徴を抽出するステップを含み、前記特徴は、前記ソーススキーマおよび前記ターゲットスキーマの複数のテーブルのカラムを少なくとも含み、前記方法はさらに、
ETLマッピング例を機械学習アルゴリズムに提供するステップを含み、前記ETLマッピング例は、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための定義を含み、前記方法はさらに、
前記機械学習アルゴリズムを使用し、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、1つ以上のETLルールを予測するステップを含み、前記1つ以上のETLルールは、前記ソーススキーマからデータを抽出し、抽出された前記データを前記ターゲットスキーマにロードするためのロジックを定義し、前記方法はさらに、
予測された前記ETLルール、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、追加のETLマッピングを生成するステップを含み、前記追加のETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための追加の定義を提供する、方法。 - 前記ETLマッピング例および前記追加のETLマッピングは、ソーステーブルの1つ以上のソースカラムとターゲットテーブルのターゲットカラムとの間の関係を定義するマッピング式を含む、請求項1に記載の方法。
- 前記ETLマッピング例は、カラム名接尾辞またはカラム名接頭辞のうちの少なくとも1つを実装するマッピング式を含む、請求項1に記載の方法。
- 前記ETLマッピング例は、マッピング式のソースカラムに適用される1つ以上の関数を実装するマッピング式を含む、請求項1に記載の方法。
- 前記ETLマッピング例は、前記ターゲットスキーマの第1のカラムにデータをロードするために前記ソーススキーマのカラムのデータに適用される第1の型の関数を実装するマッピング式を含み、
前記追加のETLマッピングは、前記ターゲットスキーマの第2のカラムにデータをロードするために前記ソーススキーマの前記カラムのデータに適用される前記第1の型の関数を実装するマッピング式を含む、請求項4に記載の方法。 - 予測された前記ETLルールは、前記ETLマッピング例によって表わされるロジックを定義する、請求項1から5のいずれか1項に記載の方法。
- 前記ETLマッピング例は、前記ソーススキーマと前記ターゲットスキーマの第1の組のカラムとの間の関係を表わし、
予測された前記ETLルールは、前記ソーススキーマと前記ターゲットスキーマの第2の組のカラムとの間の関係についてのロジックを定義し、前記第2の組のカラムは前記第1の組のカラムとは異なっている、請求項6に記載の方法。 - 前記追加のETLマッピングは、予測された前記ETLルールに基づいた、前記ターゲットスキーマの前記第2の組のカラムについてのマッピング式を含む、請求項7に記載の方法。
- 前記複数の特徴は、前記ソーススキーマおよび前記ターゲットスキーマのテーブルについての外部キーを含む、請求項1から8のいずれか1項に記載の方法。
- 前記複数の特徴は、前記ソーススキーマのカラムについてのメタデータを含み、前記メタデータは、前記ソーススキーマのカラム間の関係を示す、請求項1から9のいずれか1項に記載の方法。
- 請求項1~10のいずれか1項に記載の方法をプロセッサに実行させるプログラム。
- システムであって、
メモリデバイスと通信している処理デバイスを含み、前記処理デバイスは、抽出、変換、およびロード(ETL)マッピングを学習するように構成され、前記学習することは、
ソーススキーマおよびターゲットスキーマから複数の特徴を抽出することを含み、前記特徴は、前記ソーススキーマおよび前記ターゲットスキーマの複数のテーブルのカラムを少なくとも含み、前記学習することはさらに、
ETLマッピング例を機械学習アルゴリズムに提供することを含み、前記ETLマッピング例は、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための定義を含み、前記学習することはさらに、
前記機械学習アルゴリズムを使用し、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、1つ以上のETLルールを予測することを含み、前記1つ以上のETLルールは、前記ソーススキーマからデータを抽出し、抽出された前記データを前記ターゲットスキーマにロードするためのロジックを定義し、前記学習することはさらに、
予測された前記ETLルール、前記ソーススキーマ、前記ターゲットスキーマ、および抽出された前記特徴に基づいて、追加のETLマッピングを生成することを含み、前記追加のETLマッピングは、前記ソーススキーマの1つ以上のテーブルからデータを抽出し、抽出された前記データを前記ターゲットスキーマの1つ以上のテーブルにロードするための追加の定義を提供する、システム。 - 前記ETLマッピング例は、マッピング式のソースカラムに適用される1つ以上の関数を実装するマッピング式を含む、請求項12に記載のシステム。
- 前記ETLマッピング例は、前記ターゲットスキーマの第1のカラムにデータをロードするために前記ソーススキーマのカラムのデータに適用される第1の型の関数を実装するマッピング式を含み、
前記追加のETLマッピングは、前記ターゲットスキーマの第2のカラムにデータをロードするために前記ソーススキーマの前記カラムのデータに適用される前記第1の型の関数を実装するマッピング式を含む、請求項13に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/953,873 US11494688B2 (en) | 2018-04-16 | 2018-04-16 | Learning ETL rules by example |
US15/953,873 | 2018-04-16 | ||
PCT/US2019/026891 WO2019204106A1 (en) | 2018-04-16 | 2019-04-11 | Learning etl rules by example |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021519964A JP2021519964A (ja) | 2021-08-12 |
JPWO2019204106A5 JPWO2019204106A5 (ja) | 2022-01-20 |
JP7419244B2 true JP7419244B2 (ja) | 2024-01-22 |
Family
ID=66248868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545789A Active JP7419244B2 (ja) | 2018-04-16 | 2019-04-11 | 例によるetlルールの学習 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11494688B2 (ja) |
EP (1) | EP3782044A1 (ja) |
JP (1) | JP7419244B2 (ja) |
CN (1) | CN111712809A (ja) |
WO (1) | WO2019204106A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11704370B2 (en) | 2018-04-20 | 2023-07-18 | Microsoft Technology Licensing, Llc | Framework for managing features across environments |
US20200210857A1 (en) * | 2018-12-31 | 2020-07-02 | Kobai, Inc. | Decision intelligence system and method |
US11487721B2 (en) | 2019-04-30 | 2022-11-01 | Sap Se | Matching metastructure for data modeling |
US20210012219A1 (en) * | 2019-07-10 | 2021-01-14 | Sap Se | Dynamic generation of rule and logic statements |
CN111338966B (zh) * | 2020-03-05 | 2023-09-19 | 中国银行股份有限公司 | 数据源表的大数据加工检测方法及装置 |
US11379478B2 (en) * | 2020-04-02 | 2022-07-05 | International Business Machines Corporation | Optimizing a join operation |
CN112035468B (zh) * | 2020-08-24 | 2024-06-14 | 杭州览众数据科技有限公司 | 基于内存计算、web可视化配置的多数据源ETL工具 |
CN111966394B (zh) * | 2020-08-28 | 2024-05-31 | 珠海格力电器股份有限公司 | 基于etl的数据分析方法、装置、设备和存储介质 |
US11372826B2 (en) | 2020-10-19 | 2022-06-28 | Oracle International Corporation | Dynamic inclusion of custom columns into a logical model |
US20220179833A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Metadata based mapping assist |
JPWO2022259336A1 (ja) * | 2021-06-07 | 2022-12-15 | ||
US11836120B2 (en) * | 2021-07-23 | 2023-12-05 | Oracle International Corporation | Machine learning techniques for schema mapping |
US11886396B2 (en) * | 2021-11-13 | 2024-01-30 | Tata Consultancy Services Limited | System and method for learning-based synthesis of data transformation rules |
WO2023097521A1 (zh) * | 2021-11-30 | 2023-06-08 | 西门子股份公司 | 数据模型生成的方法和装置 |
US20230205746A1 (en) * | 2021-12-23 | 2023-06-29 | Microsoft Technology Licensing, Llc | Determination of recommended column types for columns in tabular data |
US12061600B2 (en) * | 2022-07-14 | 2024-08-13 | International Business Machines Corporation | API management for batch processing |
US20240126729A1 (en) * | 2022-10-14 | 2024-04-18 | Oracle International Corporation | Natively supporting json duality view in a database management system |
EP4357929A1 (en) * | 2022-10-21 | 2024-04-24 | Atos France | Data quality assurance for heterogenous data migration in clouds |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086782A (ja) | 2002-08-29 | 2004-03-18 | Hitachi Ltd | 異種データベース統合支援装置 |
JP2007188343A (ja) | 2006-01-13 | 2007-07-26 | Mitsubishi Electric Corp | スキーマ統合支援装置、スキーマ統合支援方法およびスキーマ統合支援プログラム |
US20170061500A1 (en) | 2015-09-02 | 2017-03-02 | Borodin Research Inc. | Systems and methods for data service platform |
JP2018060430A (ja) | 2016-10-07 | 2018-04-12 | 株式会社日立製作所 | データ統合装置およびデータ統合方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3648051B2 (ja) * | 1998-02-02 | 2005-05-18 | 富士通株式会社 | 関連情報検索装置及びプログラム記録媒体 |
CN101777073A (zh) * | 2010-02-01 | 2010-07-14 | 浪潮集团山东通用软件有限公司 | 一种基于xml格式的数据转换方法 |
US9298787B2 (en) * | 2011-11-09 | 2016-03-29 | International Business Machines Corporation | Star and snowflake schemas in extract, transform, load processes |
US9542412B2 (en) | 2014-03-28 | 2017-01-10 | Tamr, Inc. | Method and system for large scale data curation |
US10169378B2 (en) | 2014-09-11 | 2019-01-01 | Oracle International Corporation | Automatic generation of logical database schemas from physical database tables and metadata |
US10374905B2 (en) * | 2015-06-05 | 2019-08-06 | Oracle International Corporation | System and method for intelligently mapping a source element to a target element in an integration cloud service design time |
US10095766B2 (en) * | 2015-10-23 | 2018-10-09 | Numerify, Inc. | Automated refinement and validation of data warehouse star schemas |
US20170220654A1 (en) * | 2016-02-03 | 2017-08-03 | Wipro Limited | Method for automatically generating extract transform load (etl) codes using a code generation device |
CN106682235A (zh) * | 2017-01-18 | 2017-05-17 | 济南浪潮高新科技投资发展有限公司 | 一种异构数据映射系统及方法 |
CN107798069A (zh) * | 2017-09-26 | 2018-03-13 | 恒生电子股份有限公司 | 用于数据加载的方法、装置及计算机可读介质 |
-
2018
- 2018-04-16 US US15/953,873 patent/US11494688B2/en active Active
-
2019
- 2019-04-11 JP JP2020545789A patent/JP7419244B2/ja active Active
- 2019-04-11 WO PCT/US2019/026891 patent/WO2019204106A1/en active Application Filing
- 2019-04-11 EP EP19719137.2A patent/EP3782044A1/en active Pending
- 2019-04-11 CN CN201980013060.8A patent/CN111712809A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086782A (ja) | 2002-08-29 | 2004-03-18 | Hitachi Ltd | 異種データベース統合支援装置 |
JP2007188343A (ja) | 2006-01-13 | 2007-07-26 | Mitsubishi Electric Corp | スキーマ統合支援装置、スキーマ統合支援方法およびスキーマ統合支援プログラム |
US20170061500A1 (en) | 2015-09-02 | 2017-03-02 | Borodin Research Inc. | Systems and methods for data service platform |
JP2018060430A (ja) | 2016-10-07 | 2018-04-12 | 株式会社日立製作所 | データ統合装置およびデータ統合方法 |
Non-Patent Citations (1)
Title |
---|
AnHai Doan, et al. ,Reconciling Schemas of Disparate Data Sources: A Machine-Learning Approach,ACM SIGMOD 2001,Volume 30, Issue 2,米国,ACM,2001年05月01日,pp. 509-520 |
Also Published As
Publication number | Publication date |
---|---|
JP2021519964A (ja) | 2021-08-12 |
CN111712809A (zh) | 2020-09-25 |
US20190318272A1 (en) | 2019-10-17 |
EP3782044A1 (en) | 2021-02-24 |
WO2019204106A1 (en) | 2019-10-24 |
US11494688B2 (en) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7419244B2 (ja) | 例によるetlルールの学習 | |
US11681702B2 (en) | Conversion of model views into relational models | |
Karnitis et al. | Migration of relational database to document-oriented database: structure denormalization and data transformation | |
US10528548B2 (en) | Enforcing referential integrity for object data documents | |
Gupta et al. | NoSQL databases: Critical analysis and comparison | |
US11921750B2 (en) | Database systems and applications for assigning records to chunks of a partition in a non-relational database system with auto-balancing | |
US10268645B2 (en) | In-database provisioning of data | |
US8180758B1 (en) | Data management system utilizing predicate logic | |
US9582526B2 (en) | Optimizing database definitions in an existing database | |
US20160055233A1 (en) | Pre-join tags for entity-relationship modeling of databases | |
US10296505B2 (en) | Framework for joining datasets | |
US20170371903A1 (en) | Dynamic modeling of data in relational databases | |
US10534797B2 (en) | Synchronized updates across multiple database partitions | |
US20170371922A1 (en) | Database Management for Mobile Devices | |
CN109947741B (zh) | 一种物项属性参数的建模和存储方法 | |
AU2017254893A1 (en) | Adapting database queries for data virtualization over combined database stores | |
US11726999B1 (en) | Obtaining inferences to perform access requests at a non-relational database system | |
Soumiya et al. | Converting UML class diagrams into temporal object relational database | |
Sreemathy et al. | Data validation in ETL using TALEND | |
US10311051B1 (en) | Storing modeling alternatives with unitized data | |
US12061579B2 (en) | Database gateway with machine learning model | |
US20190370242A1 (en) | Electronic database and method for forming same | |
US11928125B2 (en) | Cleaning and organizing schemaless semi-structured data for extract, transform, and load processing | |
Solanke et al. | Migration of relational database to MongoDB and Data Analytics using Naïve Bayes classifier based on Mapreduce approach | |
US20240086495A1 (en) | Auto-Triage Failures In A/B Testing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7419244 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |