JP6367444B2 - 関係データをトランスポートする方法 - Google Patents

関係データをトランスポートする方法 Download PDF

Info

Publication number
JP6367444B2
JP6367444B2 JP2017170594A JP2017170594A JP6367444B2 JP 6367444 B2 JP6367444 B2 JP 6367444B2 JP 2017170594 A JP2017170594 A JP 2017170594A JP 2017170594 A JP2017170594 A JP 2017170594A JP 6367444 B2 JP6367444 B2 JP 6367444B2
Authority
JP
Japan
Prior art keywords
data
row
export
identifier
referenced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017170594A
Other languages
English (en)
Other versions
JP2018014126A (ja
Inventor
セラース ブレイズ ドミニク
セラース ブレイズ ドミニク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IfWizard Corp
Original Assignee
IfWizard Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IfWizard Corp filed Critical IfWizard Corp
Publication of JP2018014126A publication Critical patent/JP2018014126A/ja
Application granted granted Critical
Publication of JP6367444B2 publication Critical patent/JP6367444B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

関連出願
本願は、2014年5月20に出願された米国特許出願第14/282,387号の優
先権を主張し、該出願の全体が参照により取り込まれる。
著作権表示
(c) 2015 IFWIZARD CORPORTION. 本特許文献の開示の一部は著作権保護を受ける客体を
含む。著作権者は、特許商標庁のファイル又は記録において表れる態様での、特許文献又
は特許開示の、何人による、複写的複製について何ら異議を持たないが、その余の場合に
関してはあらゆる著作権を全て留保している、37 CFR § 1.71 (d)。
データベース管理システム(DBMS、database management system)は、集中型の構
造化情報サービスをクライアントプログラムに提供する。DBMS内のデータは、データ
モデルと称される特定の基本的格納パターンに準拠して、定義、格納、及び、検索される
。例えば、階層データモデルを用いるDBMSでは、内部のデータエンティティはツリー
状の構造を介して関係づけられのであり、各エンティティは、単一の「親」エンティティ
と任意の個数の「子」エンティティとを有する(「ルート」エンティティの場合は親を持
たない)。この階層データモデルは、人気のあるXMLデータフォーマット及びXMLデ
ータベースに用いられている。
複雑なコンピュータ化情報に関しての最も一般的なDBMSデータモデルは関係データ
モデルであり、これはリレーショナルデータベース管理システム(RDBMS、relation
al database management system)で用いられている。関係データは、2次元的テーブル
の集合として理解することができ、行(ロウ)がデータエンティティを表し、縦列(カラ
ム)がエンティティ特性を表している。典型的には、行は、各々の行又はエンティティを
一意的に識別するキーカラムを有している。これらのキーは、殆どの場合は正の整数であ
り、後に挿入される行毎にインクリメントされるものである。テーブルの行はそれらのキ
ーのみで識別されることができるため、テーブルBからのキーを有するカラムを含めるこ
とによって、テーブルA内の行をテーブルB内の行に「関係づける」ことができる。
これらの行識別子をテーブル間関係に用いることによって、行の行識別子自体を除く全
てのデータについて、複製を行うことを要せず自己のカノニカルテーブル内のみに格納す
ることができる。例えば、顧客についてのテーブルは、住所情報を含み得る。例えば販売
注文リスト等においてある顧客に言及する場合、上述したように顧客行識別子のみが必要
とされ、販売注文の顧客部分内において顧客住所を複製することを要さない。これらの正
規化テーブル間関係の重要な利点の1つとしては、顧客テーブル内の情報を変えるだけで
顧客住所を変更することができる、という点が挙げられる。なぜならば、維持対象となる
(即ち、販売注文内での)顧客住所の重複的含有が生じていないからである。
典型的には、行識別子は、1,2,3,...等の単純にインクリメントする正数とし
てRDBMSによって自動的に生成される。これらの識別子シーケンスジェネレータがテ
ーブル自体とは異なるものであるため、仮に2つのデータベースが同じタイプのテーブル
とカラムとを共有する場合、同一の内容を有していても2つのデータベース間の行識別子
が異なり得る。これらの差異は、テーブルの行のオーダ、ナンバ及び削除履歴に起因し得
る。例えば、2つのデータベースにおいて、3人の顧客が逆の順序で追加された場合、デ
ータベース間では、おそらくゼロ個の、又は最大で1個の、行が同じ行識別子を有してい
ることになろう。
RDBMSは、削減された記憶サイズと向上したデータ一貫性と一部の操作に関しては
より高いクエリパフォーマンスとを利点として提供するが、そのデータモデルは行識別子
キーの正確かつ一貫した使用方法に極度に依存している。データ重複が削減又は排除さえ
されているため、行識別子を介して正しい行が関係づけられていない場合、含有される重
複データの確認によって正しい行を回復する方策がないことになる。例えば、販売注文は
顧客行識別子のみを含み、クロスレファレンシングを可能とする追加的な顧客カラムたる
顧客の氏名や住所を有さないものとされる。さらに、間違った行識別子は、別のテーブル
内に存在しない行を参照するだけではなく、実在するが正しくない行を参照する可能性が
高い。
典型的には、DBMSは単一の場所にある単一のサーバ上で実行されるが、より複雑な
亜種は幾つかの場所に透過的に分散されている場合がある。RDBMSは2つの主要部、
即ち(1)データ構造を記述及び定義するデータテーブル、及び、(2)そのように記述
されたモデルに準拠するデータ行、を含むため、同様にして、サーバは定義をもたらすコ
ンテナであると共にそうして内包される内容であるものと看做されることができる。全く
別個のデータベース間(即ち、テーブルと共にデータまでもが別個のものである場合)で
の相互作用は可能であるが、複数のRDBMSサーバが同じテーブル定義を伴って運用に
供せられている場合が幾つかあり得るのであり、この場合これらが格納しているデータは
同じものであるか異なるものであることができる。これらの同一定義シナリオでは、デー
タベースサーバ間でデータをトランスポートする必要があり得る。
このようなシナリオの1つとしては、多数のデータベースサーバを通じて多数のソフト
ウェアインスタレーションを表象する場合が挙げられる。例えば、複数の場所にある店舗
を考える。全店舗に同じ販売トラッキングソフトウェアがインストールされているが、各
店舗が自前のデータベースサーバを有して自己の現地売上データをトラッキングしている
場合があり得る。このケースでは、顧客データ等の一部のデータと、注文履歴等の関連レ
コードとを、あるインスタレーションから別のインスタレーションのサーバへと、移転し
たい場合がある。別のシナリオは、継続的な可用性とセキュリティを実現するために、場
合によっては異なる地域に配置された複数の異なるデータベースサーバ内に同一データを
複製することを伴う。第3のシナリオでは、1つのデータベースサーバ内のデータをテン
プレートとして用いて別のサーバに対して新規データ挿入を行う。このシナリオの亜種と
しては、元のデータベースサーバ内でそのようなテンプレートを用いる場合が考えられる
上述したリレーショナルデータベースに関しての詳細を前提とすると、タビュラー的に
同一なデータをRDBMS間で及びRDBMS内でトランスポートするに際しては、次の
4つの主たる困難性が見出されることになる。
(1) 既存の識別子との衝突及び関係の不足によって、トランスポートされたデータ行
識別子を新たなデータベースで安全に使用することができないこと。
(2) トランスポートされた行が必要とされている関係であるか、該行がトランスポー
トされるべき追加的な他の行と関係づけられる必要があるかもしれないこと。例えば、製
品行をトランスポートするには、供給者行(製品へ向かっての関係)又はサポート履歴行
(製品から派生する関係)が必要となり得る。
(3) 以前の行識別子を安全に使用することができないため、トランスポートの一環と
して新たな行識別子の割り当てを行わなければならないこと。
(4) これらの新たなかつ異なる行識別子を与えられると、プライマリ行と共にトラン
スポートされた全ての必要な関係データに対して、新たな行識別子を用いて再度の関係づ
けを行わなければならないこと。
これらの困難性故に、リレーショナルデータベース間でのトランスポートは、一般に次
の3つのシナリオに限定されており、これらはいずれも運用では限定的なものである。即
ち、3つの限定的シナリオは次のとおりである。
(1) データベースを完全に複製或いは「クローン」して第2のデータベースを得るこ
とができる。該プロセスは、破壊的なプロセスであり、第2のデータベース内に存在する
データを全て完全に消去することを要する。一般的には、データベースをバックアップ及
びリストアする場合に該手法を用いる。
(2) 必要とされる具体的な行を収集し、それらを第2のデータベース内に挿入する様
に構成されたカスタムプログラムを作成することができる。この手法はデータの部分的ト
ランスポートを可能とするが、データのセクション、データベース、及び意図された用途
に関して完全に特化したものである。なぜならば、トランスポートするデータのセクショ
ン毎に固有のプログラムが必要となり、また、テーブル定義又はインテンションに対する
変更に合致するように同時的に保守していかなければならないからである。
(3) 特定のケースでは、データをCSV形式等の中間フォーマットへエクスポートし
てから、再インポートすることができる。一般的には中間フォーマットが関係及びディペ
ンデンシーに関しての完全な表現方法を欠いているため、このシナリオは、関係元とも関
係先ともならない行等が登場する極めて単純なデータトランスポートの場合を除いて、限
定的な効用しか持たない。
これらのシナリオでは具体性、適用用途、又は適用範囲に関しての相当な制約が示され
るため、関係データのトランスポート、とりわけ、RDBMSの相互関連する部分的サブ
セットに関するトランスポートに関しての一般的ソリューションは、現在は存在していな
いといえる。
一部の特徴やコンテキストに関しての基礎的な理解を可能とするために、以下には本願
開示に関しての概要が示されている。この概要は、発明の要となる要素/重要な要素を特
定したり、本願発明の範囲を画定したりすることを意図はしていない。この概要の唯一の
目的は、より詳細な後述の詳細な説明との関係で序論としての役割を果たすことであり、
そのために本願開示の幾つかの概念を単純化した態様で提示する。
本願開示によれば、リレーショナルデータベース内でデータをトランスポートする一般
的方法が提供される。トランスポートされるべきデータは、任意の行識別子を有する任意
のテーブル内の任意の行であることができる。トランスポートされた行に依存している他
の全てのデータ及びトランスポートされた行が依存する他の全てのデータは、自動的に決
定されて所与の行と共にトランスポートされる。方法は、転送において無視されるべきテ
ーブルを随意的に特定することをさらに許容しており、これにより不必要なデータ又は他
の意味で機能的に必要とされていないデータを除外することができる。
また、本願発明によれば、トランスポートされたデータのための中間フォーマットも提
供され、該フォーマットは、付属する全ての関係を含めた上でのトランスポートされたデ
ータの完全な再構築を可能とする。このトランスポートフォーマットは、ランダムキー暗
号で一貫して代替させることによって、元の行識別子に対してのセキュアマスキングをサ
ポートする。そして、これらの一時的キーを、インポート時の後の再構築処理の最中に置
換する。
本願開示によれば、データを新たなデータベース及びストックにグラフト(graft、接
合)するに際して、元の内部関係同一性を保持するようなシーケンス及び態様で、中間フ
ォーマットの再構築が行われる。このインポートプロセスにおいて、本願方法は行−カラ
ム値に関しての具体的な代替処理を可能とするのであり、これによって、明示的な分析及
び再構築処理の変更を伴わずにして新たなデータについての複雑な統合処理を可能とする
本願発明はソフトウェア、即ち1以上のコンピュータプログラム、ルーチン、関数等、
で実装されることが意図されている。したがって、本願発明は、後述するような、少なく
とも1つのプロセッサとメモリへのアクセスとを有するコンピュータや他の装置等のマシ
ン上で最も良く活用され得る。したがって、本願明細書では、「コンポーネント」、「サ
ブシステム」、又は、「ルーチン」等の用語を時折用いるが、これらの各々は好適にはソ
フトウェアで実装されることができる。
本願発明の追加的な側面及び利点は、後述の好適実施形態に関する詳細な説明から明ら
かになるのであり、以下においては添付の図面について述べる。
本願開示に関わる、上述の及びその他の、利点及び特徴を得るための態様について説明
するために、本願に関する具体的な実施形態を参照するさらなる具体的説明が以下続くの
であり、これらは添付の図面によって図示される。これらの図面は一般的な実施形態のみ
を図示するものと理解されるのであり、それらの範囲を限定するものとして解されてはな
らない。本願発明は、添付の図面を参照して、さらなる具体性と詳細さとを伴って、形容
及び説明される。
本願開示による機能的コンポーネントに関するブロック図である。 図1のデータトランスポータの機能的サブコンポーネントに関するブロック図である。 図1におけるデータエクスポート段階の動作フローに関するフローチャートである。 データエクスポート中になされるデータのエンコーディングを示すフローチャートである。 データエクスポート中になされる依存データの決定プロセスを示すフローチャートである。 データエクスポート中になされる、ポータブルな行識別子の代替となるものの生成を示すフローチャートである。 エクスポートデータを再構築可能なシーケンスに配列する際の動作を示すフローチャートである。 図1におけるデータトランスポート段階で用いられる記憶フォーマットを示す概略図である。 データインポート中になされるデータ行のデコードと再構築を示すフローチャートである。
以下の詳細な説明は添付の図面を参照する。図面内では可能な限り同じ参照符号が用い
られ、以下の詳細な説明は同じ又は類似の要素について言及する。明確性及び簡潔性のた
め、実際的な実施形態の全ての特性が明細書中で説明されているわけではない。もっとも
、開発者の特定の目的を達成するための実際的な実施形態を開発するためには、実施形態
に固有な多くの決定を行う必要があるということに留意されたい。本願発明の幾つかの実
施形態が説明されているが、当業者であれば、本願発明の精神及び範囲から逸脱せずに変
更、改案、及び他の実施形態も可能であるということに気付くであろう。例えば、図中の
構成要素に対して置換、追加、又は変更を行うことができるのであり、また、開示される
方法に関して処理段階を置換、再配列、又は追加することによって本願開示の方法を変更
することができる。したがって、以下の詳細な説明は発明を限定するわけではない。むし
ろ、本願発明の真正な範囲は添付の特許請求の範囲によって画定される。
図1は、本願方法の実施形態の機能的コンポーネントを示す。データトランスポータコ
ンポーネント100は、ソースデータベース103とターゲットデータベース104との
間でのデータの移動性を提供するのであり、これらのデータベースは同一又は異なるマシ
ン上で実行されているRDBMSインスタンスである。ソースデータベース103から発
せられて、データトランスポータ100を経て行われるデータのエクスポートは、コンピ
ュータアプリケーション、プログラムライブラリルーチン、又は他のマシン若しくはシス
テムであることができるソースクライアント101によって開始及び指揮管制される。こ
のエクスポートされたデータの、ターゲットデータベース104へ向かってのインポート
は、ターゲットクライアント102によって開始及び指揮管制されるのであり、該ターゲ
ットクライアント102もコンピュータアプリケーション、プログラムライブラリルーチ
ン、又は他のマシン若しくはシステムであることができる。例示の実施形態では、データ
トランスポータ100は、ソースクライアント101及びターゲットクライアント102
等のコンピュータアプリケーションからアクセスできるのであり、該アクセスはアプリケ
ーションプログラミングインターフェース(API)ライブラリを経て行われることがで
き、共通データベース接続ライブラリを経由して様々なリレーショナルデータベースと共
に用いることができる。
図2は、図1に示したデータトランスポータ100の機能的コンポーネントを示す。ソ
ースクライアント101はエクスポートインタフェース200へのアクセスを有しており
、ソースデータベース接続情報103を含む必要なパラメータが特定される。ソースデー
タベース接続201はソースデータベース103との接続を確立することができ、エクス
ポート段階の大部分が営まれるエクスポートサブシステム202に対してこのアクセスを
提供することができる。
エクスポートサブシステム202によって生成された内部エクスポート表現を用いるこ
とによって、トランスポート入力出力(I/O)サブシステム203は、トランスポート
されたデータを表すデータファイルを、ソースクライアント101に提供することができ
る。このデータファイルは、ターゲットクライアント102によって、インポートインタ
フェース204を介してトランスポートI/Oサブシステム203へと内部表現への変換
のために提供される。
ターゲットクライアント102はインポートインタフェース204へのアクセスを有し
ており、ターゲットデータベース104を再構築するために必要なパラメータとトランス
ポートI/Oサブシステム203によって生成されたデータファイルとが特定される。タ
ーゲットデータベース接続205はターゲットデータベース104への接続を確立するの
であり、インポートサブシステム206は、トランスポートI/Oサブシステム203に
よって作成された、データファイルの内部表現を用いてデータをターゲットデータベース
104内へと再構築的にインポートして、グラフト点情報をターゲットクライアント10
2に返す。
図3は、データエクスポート段階における動作フローを示す。開始されると(300)
、エクスポートサブシステム202は、初期化し(301)、必要なデータ操作及び構成
可能な変数を全て格納するための内部構造を作成する。例示の実施形態では、初期化(3
01)は、メッセージダイジェストサービスと行エクスポート(303)中に用いるため
の一意なエンコーディングキーとの生成を伴う。初期化(301)の後、ソースクライア
ント101はパラメータ(302)を特定するのであり、該パラメータには初期行識別子
とエクスポートすべきテーブルと除外されたテーブルに関する随意的リストとが含まれる
。一般的にエクスポート段階はソースクライアント101の活動に応答して開始(300
)されるが、サービス或いはユーザアプリケーションとして動作する場合には適宜パラメ
ータ(302)を入力することによって能動的エクスポートはせずに持続的に利用可能と
されることができる。
エクスポートサブシステム202の中核的ループは、パラメータ(302)で特定され
る初期行をエクスポートすることによって開始(303)される。エクスポートプロセス
(303)がエクスポートを要する行がさらにある(304)と決定した場合、エクスポ
ートを要する行がなくなるまで追加の行に対して行エクスポート(303)が行われる。
全ての行がエクスポートされると、それら行をリストに配列するのであり(305)、該
リストは順次的再構築のためのシーケンスによるものとされる。
行リストが外部格納フォーマットに変換されると(306)、プロセスは終了する(3
07)。トランスポートI/Oサブシステム203を介したこの変換によって、データフ
ァイルをソースクライアント101に提供することができる。
図4は、エクスポートプロセス(303)の際のデータ行のエンコーディング処理を示
す。エンコーディングが開始されると(400)、行のテーブルと識別子(401)とが
パラメータとして用いられる。テーブルが無視される場合(402)、行のエクスポート
は省略される(403)。エンコードされた代替行識別子が作成されるのであり(404
)、これは一意であり、かつ、テーブル及び元の行識別子へとトレース可能である。この
エンコードされた識別子が既に格納されている場合(405)、行のエクスポートは省略
される(406)。
ソースデータベース103から行のカラムデータがフェッチされる(407)。行識別
子が存在しないものと認められた場合(408)、行のエクスポートは省略される(40
9)。その余の場合、カラムデータは、トランスポートI/Oサブシステム203のため
に準備(410)される内部表現に、加工される。
所与の行への関係及び所与の行からの関係は決定され(411)、エクスポート行によ
って参照される各行は分析される(412)。参照された行が無視されたテーブルに属す
る場合(413)、インポート時における後の検出のために内部表現内にダミー値が格納
される(414)。その余の場合、被参照行はエクスポートされ、結果としてもたらされ
るそのエンコードされた識別子(或いは、既にエクスポートされている場合には既存のエ
ンコードされた識別子)を、内部表現内に格納する。被参照行がさらにある場合(416
)、これらも分析される(412)。
被参照行に関するループが完了すると内部表現は、存在するエンコードされたデータと
エンコードされた識別子とからなる集合内へと格納される(417)。そして、エクスポ
ート行を参照する行が分析され(418)、エクスポートを要する参照する行がなくなる
まで(420)、そのような行の各々がエクスポートされる(419)。プロセスは終了
し(421)、エンコードされた識別子を返すのであり、これには被参照行の内部的エク
スポート時(415)においての使途がある。
図5は、データエクスポートプロセス(303)に際しての依存データ決定プロセスを
示す。プロセスが開始されると(500)、テーブル名がパラメータとして受信される(
501)。ソースデータベース103のメタデータがアクセスされて、行のテーブルによ
って参照されるテーブル全てについての関連性を有するカラムが検索される(502)。
被参照テーブルカラムは分析され(503)、テーブルがエクスポート行のそれと同じで
ある場合にはそれが省略され(504)、その余の場合には被参照テーブルカラムが依存
関係に含まれる(505)。この検定・包含プロセスは、各被参照テーブルカラムについ
て反復される(506)。
同様に、エクスポートテーブルを参照するカラムは、ソースデータベース103から検
索される(507)。各カラムは分析され(508)、エクスポート行と同じテーブルで
ある場合には省略され(509)、その余の場合には含められる(510)。残されたカ
ラムがなくなるまでこの処理が反復され(511)、プロセスは終了する(512)。
図6は、データエクスポートプロセス(303)に際してのポータブルな代替行識別子
の生成プロセスを示す。プロセスは開始され(600)、疑似乱数生成器(PRNG)と
現在タイムスタンプとを用いてランダムエンコーディングキーを生成する(601)。こ
のエンコーディングキーは、エクスポート段階に際しての全ての行のエクスポート処理中
においては持続的な状態に維持されるが、エクスポートされたファイルに保持されること
は決してなく、また、インポート段階へとその他の態様で伝達されることも決してない。
エンコードされるべき行のテーブル名と行識別子とを受信すると(602)、テーブル
名とエンコーディングキーと行識別子とが一緒に組み合わされる(603)。結果として
もたらされるテキスト文字列は、MD5等のメッセージダイジェストアルゴリズムのため
の入力として用いられて、バイナリメッセージダイジェストが作成される(604)。そ
して、Base64等のバイナリtoテキストエンコーダを用いてこのダイジェスト値を
ASCII形式に変換するのであり(605)、これによってキー生成が完了する(60
6)。
このプロセスによって、同じテーブル名と行識別子とを伴う一貫して同質なキーが生成
されるのであり、これにより機能的な比較が可能となる。もっとも、エンコーディングキ
ーを破棄すると、たとえ同時期にエクスポートされたキーからなる大規模なプールをもっ
てしても、元の識別子を決定することは極めて困難になる。
図7は、エクスポートデータを再構築可能なシーケンスに配列するプロセス(305)
を示す。それぞれのテーブルに従ってエクスポートされた行は蓄積されているが故に、プ
ロセスが開始されると(700)、エクスポートされた行を有するそのようなテーブルの
全てが、キューに追加される(701)。このキューは配列を行うループで削減され、テ
ーブルが含まれていない空の状態になっているか否かに関して判定される(702)。キ
ューが空ならば、配列プロセスは終了される(703)。
キューが空でない場合にはテーブルがキューから引かれ、それによって参照されている
全てのテーブルが新たなリストに追加される(704)。テーブルのリストがキュー内に
現存していないテーブルを含む場合、該テーブルはリストから取り除かれる(705)。
結果としてもたらされるリストが空でない場合706、リストに関しての判定は、キュー
内の次のテーブルへと進行する。しかし、リストが空である場合、キューからのテーブル
はキューから取り除かれて(707)、その行が結果リストにプリペンドされる(708
)。
図8は、図1のデータトランスポートに際して用いられる格納フォーマットを示す。デ
ータのトランスポート用表現はデータ行800によって提供され、これはプロパティとし
てエンコードされた行識別子801とテーブル名802とを含んでいる。追加的には、デ
ータ行800は、タプルのコレクションを3つ含むことができる。
このようなコレクションの第1のものはデータカラムタイプ803であり、これはテー
ブルカラム名804を「整数」等の記述的カラムタイプ805へとマッピングする。第2
のコレクションはデータカラム806であり、これはテーブルカラム名807を整数の値
そのもの等の生データ808へとマッピングする。最後たる第3のコレクションは参照カ
ラム809であり、これは、図6で示したように生成されたエンコードされた行識別子8
11へとマッピングされた、テーブルカラム名810を、含む。
これらのデータ行800はそれらのデータベーステーブルに従ってグルーピングされる
のであり、グルーピングは単純な記名リストでなされるのであり、これらリストはデータ
テーブル812と称される。図7にてアレンジされているこれらのデータテーブル812
の再構築可能なシーケンス(305)は、トランスポートI/Oサブシステム203にて
用いられるトランスポート可能なデータファイルの基礎となる。例示の実施形態では、こ
れらのデータテーブル812はバイナリXMLへとシリアライズされ、また、LZ77及
びハフマンコーディングによって圧縮される。インポートされる前にこれらのステップは
逆順で行われて、配列されたデータテーブル812が再生される
図9は、データインポート段階における動作フローを示す。開始されると(900)、
インポートサブシステム206は、インポート処理中において複数の「グラフト点」を付
着させるために用いられるべき随意的な代替カラム識別子(901)(テーブル/カラム
/IDのトリプレットとして格納されている)と、後のマッチングのためのグラフティン
グルートテーブルとを、受け取る。配列されたテーブルリスト812は抽出され(902
)、第1番目のテーブルが分析される(903)。テーブルの行が列挙され、そして、各
行が分析されて(904)、これによってターゲットデータベース104のための適切な
SQLデータベース命令を作る(905)。
各行カラムは、カラムがデータカラム806であるか否かについて分析され(906)
、検定されるのであり(907)、カラムタイプ805に従って生の値808がSQL操
作に組み込まれる。代わりにカラムが参照カラムである場合(809)、そのカラムは以
前提供された(901)代替識別子に合致するかについて検定され(909)、発見され
れば代替識別子がSQLコマンドに組み込まれる(911)。その余の場合には、エンコ
ードされた識別子はマッチング(デコード)されて、ターゲットデータベース104によ
って新規に生成された行識別子を探すのであり、この新たな識別子はSQLコマンドに組
み込まれる(910)。
カラムについてSQLを準備した後は、カラムがさらに残っている場合には、プロセス
が反復される(912)。全てのカラムについてのSQLが準備された後は、SQLステ
ートメントがターゲットデータベース104に対して実行され、結果としてもたらされる
新規に生成された行識別子は、それらの間の関係が指示(910)されているように記録
される(914)。データベースの行生成処理はテーブルの全ての行に関して反復される
のであり(915)、逐次的に連続して存在する各テーブルへと続いていき(916)、
これによって行識別子に関しての全く新たなセットを伴って、ソースデータベース103
内のデータを再構築する。901で与えられるルートテーブルのための新たな行識別子を
返すことによってプロセスは終了する(917)。
コンピュータプログラムの記憶
上述したように、本願発明は好適にはコンピュータソフトウェア(「コンピュータプロ
グラム」又は「コード」ともいう。以下、可換のものとして使用することもある。)とし
て実現又は具体化することができる。プログラム又はコードは、デジタルプロセッサによ
って読み込むことができるデジタルメモリに記憶されている場合に最も効用を発揮する。
「コンピュータ可読記憶媒体」(或いは「マシン可読記憶媒体」)等の用語は、上述した
全てのタイプのメモリを含むものとして使用しており、また、記憶された情報が適切なデ
ジタルプロセッサによって「読む」ことができるような態様で、少なくとも一時的に、コ
ンピュータプログラムや他のデータとしてのデジタル情報を記憶することができるのなら
ば、将来生じる新たな技術をも含むものとして使用している。「コンピュータ可読」との
用語を用いることによって、語句を「コンピュータ」の歴史的な文脈に制限して完全なメ
インフレーム、ミニコンピュータ、デスクトップ機、ラップトップ機を指し示そうと意図
はしていない。むしろ、該用語は、記憶媒体がデジタルプロセッサ又は任意のデジタルコ
ンピューティングシステムによって読み込まれることができる、ということを意味する。
このような媒体は、ローカル及び/又はリモートにおいてコンピュータ又はプロセッサに
よってアクセス可能な任意の利用可能媒体であることができ、また、揮発性/不揮発性の
媒体、及び脱着可能/脱着不可能の媒体のいずれをも含む。一部の場合、例えば単純なテ
キストドキュメント又は「フラットファイル」の場合では、デジタルコンピューティング
システムは次の態様でファイルを「読む」ことしかできない場合がある:該ファイルに関
しての、移動、コピー、削除、電子メール発信、ウイルススキャン等。換言すれば、その
特定のコンピューティングシステム上では、該ファイルが実行可能でないことがある(た
だし、別のプロセッサ又はコンピューティングシステム又はプラットフォーム上では、該
ファイルは実行可能であるかもしれない。)。
コンピュータプログラム製品
プログラムがコンピュータ可読記憶媒体内に格納されている場合、その記憶媒体をコン
ピュータプログラム製品と称する場合がある。例えば、可搬なデジタル記憶媒体は、コン
ピュータプログラムを記憶及び移送(引き渡し、販売、購入、ライセンス)するための便
利な手段として用いられることができる。過去においては、上記のようなことは、パッケ
ージド(「シュリンクラップされた」)プログラムの販売地点でのリテイル型引き渡しの
場面で行われてきた。このような記憶媒体の例には、CD−ROM等が含まれるが、これ
らには限定されない。記憶済みコンピュータプログラムを含んでいるこのようなCD−R
OMは、コンピュータプログラム製品の例である。
当業者にとっては、本願発明の基底にある原理から逸脱せずに上述した実施形態の詳細
に対して多くの変更を加えることができるということは、明白である。したがって、本願
発明の範囲は、添付の請求の範囲によってのみ画定されるべきである。

Claims (14)

  1. 不揮発性コンピュータ可読メモリであって、前記メモリと結合されたデジタルプロセッサにおいて実行可能な一連の命令を備、前記命令は前記プロセッサに
    エクスポートインタフェースモジュールであって、ソースクライアントプログラムとインタフェースして、関係データのサブセットについてのエクスポートであって、ソースリレーショナルデータベースからターゲットリレーショナルデータベースへのエクスポートの開始を前記ソースクライアントプログラムができるように構成された、エクスポートインタフェースモジュールと、
    前記エクスポートインタフェースモジュールと結合されたソースデータベース接続モジュールであって、前記ソースクライアントプログラムと関連づけられた前記ソースリレーショナルデータベースへと接続して、格納された前記関係データにアクセスするように構成された、ソースデータベース接続モジュールと、
    前記ソースデータベース接続モジュールと結合されたエクスポートサブシステムであって、エクスポートされるべきデータを表すデータファイルを生成するように構成された、エクスポートサブシステ
    とを実装させる不揮発性コンピュータ可読メモリであって、
    前記エクスポートサブシステムによって生成された前記データファイルでは各行識別子がポータブルな代替行識別子で置換されて、前記元の行識別子が前記ターゲットクライアントプログラム又は前記ターゲットリレーショナルデータベースに開示されることを回避し、
    前記エクスポートサブシステムは、前記ソースクライアントプログラムによって無視すべきものと指定されたテーブル内に格納されたデータを除いて、前記エクスポートすべきデータによって参照されるデータを、自動的に前記データファイルに含めるように構成されており
    前記命令は前記プロセッサに
    前記エクスポートサブシステムと結合されたトランスポートI/Oサブシステムであって、前記ソースクライアントプログラムとインタフェースして、前記データファイルを前記ソースクライアントプログラムに提供するように構成された、トランスポートI/Oサブシステムと、
    前記トランスポートI/Oサブシステムと結合されたインポートインタフェースモジュールであって、ターゲットクライアントプログラムとインタフェースするように構成された、インポートインタフェースモジュールと、
    前記インポートインタフェースモジュールと結合されたターゲットデータベース接続モジュールであって、前記ターゲットクライアントプログラムと関連付けられたターゲットリレーショナルデータベースへと接続して、前記データファイル内に格納された前記データに基づいて関係データを前記ターゲットリレーショナルデータベース内に格納するように構成された、ターゲットデータベース接続モジュール
    とを実装させる、不揮発性コンピュータ可読メモリ
  2. 前記エクスポートサブシステムは、テーブルID、行ID及び他のテーブルへの参照を、前記データファイル内のセキュアかつ一時的かつポータブルな識別子で置換するように構成されている、請求項に記載のメモリ
  3. 前記ターゲットクライアントプログラムは前記インポートインタフェースへのアクセスを有しており、また、前記ターゲットクライアントプログラムは、前記ターゲットデータベースにて行われる前記エクスポートされたデータの再構築に関しての選択されたパラメータを特定するように構成されている、請求項1に記載のメモリ
  4. 前記ターゲットクライアントプログラムによって特定される前記パラメータは、ターゲットテーブル名と後方マッチングカラムのためのグラフティングルートテーブルとを含む、請求項に記載のメモリ
  5. 前記ターゲットデータベース接続は前記ターゲットデータベースへの接続を確立し、前記インポートサブシステムは、前記トランスポートI/Oサブシステムを介して作成された前記データファイルの内部表現を用いて、前記データを前記ターゲットデータベース内へと再構築的にインポートして、前記ターゲットクライアントにグラフト点情報を返す、請求項1に記載のメモリ
  6. コンピュータ実施方法であって、該方法は、
    ソースRDBMS内のデータテーブルにアクセスするステップであって、前記データテーブルは少なくとも1つのデータカラムを含む行を少なくとも1つ含み前記行は元の識別子を有している、ステップと、
    前記テーブルの行の少なくとも1つエクスポートのために選択するステップと、
    前記行をエクスポートのためにエンコードするステッ
    とを含み、
    前記エンコードするステップは、
    前記行の依存データを決定するステップと、
    ポータブルな代替行識別子を生成して前記元の行識別子が前記ターゲットクライアントプログラム又は前記ターゲットリレーショナルデータベースに開示されることを回避するステップと、
    前記行データと前記行で参照された任意の依存データとを収集して、除外のため指定されたテーブル内に格納された依存データを除いて、エクスポートデータを形成するステップと、
    元の識別子の代わりに前記ポータブルな代替行識別子を活用して、前記エクスポートデータを再構築可能なシーケンスに配列するステップと、
    前記シーケンスに基づいて前記エクスポートデータをターゲットデータベース内へとインポートするステップ
    とを含む、方法。
  7. 前記再構築可能なシーケンスは、前記依存データを、前記依存データを参照するデータの前に配置することを伴う、請求項に記載の方法。
  8. 前記行をエクスポートのためにエンコードするステップは、
    前記エクスポートデータ内の前記元の識別子に対応するポータブルな識別子についての一意なセキュアリスティングを生成するステップと、
    ソースクライアントから、初期行識別子とエクスポートすべきテーブルとを含むパラメータを、受信するステップと、
    前記初期行識別子に対応する、テーブルの第1の行をエクスポートのためにエンコードするステップと、
    前記第1の行を参照する全ての行又は該第1の行によって参照される全ての行を含む追加の行をエクスポートのために反復してエンコードするステップと
    エクスポートされた前記行を、順次的再構築のためのシーケンスによるリストに配列するステップと、
    前記行のリストを、外部格納フォーマットに変換するステップ
    とを含む、請求項に記載の方法。
  9. 選択された行の依存データを決定するステップは、
    前記ソースデータベースのメタデータにアクセスするステップと、
    前記メタデータに基づいて、前記選択された行によって参照されるテーブルカラムを識別するステップと、
    前記参照されたテーブルカラムの第1のものを分析するステップと
    参照されたテーブルカラムが前記選択された行と同じテーブル内にない場合には前記参照されたテーブルカラムを前記依存データに含めて、その余の場合には省略する、ステップと、
    残余の参照されたテーブルカラムについて該テストを反復するステップと、
    前記メタデータに基づいて、前記参照するテーブルカラム、即ち前記選択された行を参照するカラム、を識別するステップと、
    前記参照するテーブルカラムの第1のものを分析するステップと、
    前記参照するテーブルカラムが前記選択された行と同じテーブル内にない場合には前記参照するテーブルカラムを前記依存データに含めて、その余の場合には省略する、ステップと、
    残余の参照するテーブルカラムについて該テストを反復するステップ
    とを含む、請求項に記載の方法。
  10. ポータブルな識別子についての一意なセキュアリスティングを生成するステップは、
    ランダムなエンコーディングキーを疑似乱数及び現在タイムスタンプに基づいて生成するステップと、
    前記選択された行のエクスポート時のみにおいて前記エンコーディングキーをメモリ内に保持するステップ
    とを含む、請求項に記載の方法
  11. テーブル名及びエクスポートのためにエンコードされるべき行識別子を受信するステップと
    記テーブル名、前記エンコーディングキー及び前記ポータブルな行識別子を一緒に組み合わせて、テキスト文字列を形成するステップと、
    前記テキスト文字列を用いてバイナリメッセージダイジェストを作成するステッ
    とをさらに含む、請求項10に記載の方法。
  12. 前記エンコーディングキーの生成を完了するために前記ダイジェストをASCIIテキスト形式に変換するステップを含む、請求項11に記載の方法。
  13. 前記バイナリメッセージダイジェストを作るためにハッシュ関数を用いるステップを含む、請求項11に記載の方法。
  14. コンピュータ実施方法であって、該方法は、
    ソースRDBMS内のデータテーブルにアクセスするステップであって、前記データテーブルは少なくとも1つのデータカラムを含む行を少なくとも1つ含み前記行は元の識別子を有している、ステップと、
    前記テーブルの行の少なくとも1つをエクスポートのために選択するステップと、
    前記行をエクスポートのためにエンコードするステップ
    とを含み、
    当該エンコードするステップは、
    前記行の依存データを決定するステップと、
    ポータブルな代替行識別子を生成するステップであって、前記代替行識別子は一意であり並びに前記テーブル及び前記元の行識別子へと追跡可能である、ステップと、
    前記行データと前記行で参照された任意の依存データとを収集して、除外のため指定されたテーブル内に格納された依存データを除いて、エクスポートデータを形成するステップと、
    元の行識別子の代わりに前記ポータブルな代替行識別子を活用して、前記エクスポートデータを再構築可能なシーケンスに配列するステップと、
    前記シーケンスに基づいて前記エクスポートデータをターゲットデータベース内へとインポートするステップとを含み、
    前記選択された行の依存データを決定するステップは、
    前記ソースデータベースのメタデータにアクセスするステップと、
    前記メタデータに基づいて、前記選択された行によって参照されるテーブルカラムを識別するステップと、
    前記参照されたテーブルカラムの第1のものを分析するステップと、
    前記参照されたテーブルカラムが前記選択された行と同じテーブル内にない場合には前記参照されたテーブルカラムを前記依存データに含めて、その余の場合には省略する、ステップと、
    残余の参照されたテーブルカラムについて該テストを反復するステップと、
    前記メタデータに基づいて、前記参照するテーブルカラム、即ち前記選択された行を参照するカラム、を識別するステップと、
    前記参照するテーブルカラムの第1のものを分析するステップと、
    前記参照するテーブルカラムが前記選択された行と同じテーブル内にない場合には前記参照するテーブルカラムを前記依存データに含めて、その余の場合には省略する、ステップと、
    残余の参照するテーブルカラムについて該テストを反復するステップとを含む、方法。
JP2017170594A 2014-05-20 2017-09-05 関係データをトランスポートする方法 Expired - Fee Related JP6367444B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/282,387 US9460174B2 (en) 2014-05-20 2014-05-20 Method for transporting relational data
US14/282,387 2014-05-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016576079A Division JP6208385B2 (ja) 2014-05-20 2015-02-26 関係データをトランスポートする方法

Publications (2)

Publication Number Publication Date
JP2018014126A JP2018014126A (ja) 2018-01-25
JP6367444B2 true JP6367444B2 (ja) 2018-08-01

Family

ID=54554477

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016576079A Expired - Fee Related JP6208385B2 (ja) 2014-05-20 2015-02-26 関係データをトランスポートする方法
JP2017170594A Expired - Fee Related JP6367444B2 (ja) 2014-05-20 2017-09-05 関係データをトランスポートする方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016576079A Expired - Fee Related JP6208385B2 (ja) 2014-05-20 2015-02-26 関係データをトランスポートする方法

Country Status (6)

Country Link
US (2) US9460174B2 (ja)
EP (1) EP3146436A4 (ja)
JP (2) JP6208385B2 (ja)
KR (1) KR101801865B1 (ja)
CA (1) CA2949482C (ja)
WO (1) WO2015178985A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460174B2 (en) 2014-05-20 2016-10-04 IfWizard Corporation Method for transporting relational data
CN109062883B (zh) * 2018-07-18 2022-07-26 平安科技(深圳)有限公司 数据表动态导出方法、装置、计算机设备及存储介质
KR102147528B1 (ko) 2019-10-31 2020-08-24 (주)케이아이티원 관계형 데이터베이스를 이용한 테이블, 속성, 관계의 동적 관리시스템 및 방법
KR102463665B1 (ko) * 2021-02-18 2022-11-09 (주)알투비솔루션 원격 dbms 테이블간 고성능 테이블 데이터 정합성 검증 시스템
CN113535962B (zh) * 2021-08-04 2024-02-02 城云科技(中国)有限公司 数据入库方法、装置、电子装置、程序产品及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729730A (en) 1995-03-28 1998-03-17 Dex Information Systems, Inc. Method and apparatus for improved information storage and retrieval system
US6240428B1 (en) * 1997-10-31 2001-05-29 Oracle Corporation Import/export and repartitioning of partitioned objects
US6651074B1 (en) * 1999-12-20 2003-11-18 Emc Corporation Method and apparatus for storage and retrieval of very large databases using a direct pipe
US6490598B1 (en) * 1999-12-20 2002-12-03 Emc Corporation System and method for external backup and restore for a computer data storage system
US6968456B1 (en) 2000-08-08 2005-11-22 Novell, Inc. Method and system for providing a tamper-proof storage of an audit trail in a database
US7548898B1 (en) * 2001-02-28 2009-06-16 Teradata Us, Inc. Parallel migration of data between systems
JP2002351903A (ja) * 2001-05-22 2002-12-06 Toshiba Corp データベース保守装置
WO2004092942A2 (en) 2003-04-09 2004-10-28 Netcell Corp. Method and apparatus for synchronizing data from asynchronous disk drive data transfers
JP2005050149A (ja) * 2003-07-29 2005-02-24 Nec Soft Ltd データベース表データの管理方式と方法、データベースシステムとサーバ、端末、及びプログラム
US9058370B2 (en) 2007-02-27 2015-06-16 International Business Machines Corporation Method, system and program product for defining imports into and exports out from a database system using spread sheets by use of a control language
US9087212B2 (en) 2012-01-25 2015-07-21 Massachusetts Institute Of Technology Methods and apparatus for securing a database
US20130268567A1 (en) * 2012-04-05 2013-10-10 Cover-All Technologies, Inc. System And Method For Updating Slowly Changing Dimensions
WO2013174452A1 (en) 2012-05-24 2013-11-28 Telefonaktiebolaget L M Ericsson (Publ) Meta model driven data export from a database and meta model driven data import to a database
US20140006342A1 (en) 2012-06-27 2014-01-02 Thomas Love Systems for the integrated design, operation and modification of databases and associated web applications
US9460174B2 (en) 2014-05-20 2016-10-04 IfWizard Corporation Method for transporting relational data

Also Published As

Publication number Publication date
US9852207B2 (en) 2017-12-26
KR20170015893A (ko) 2017-02-10
WO2015178985A1 (en) 2015-11-26
JP2018014126A (ja) 2018-01-25
KR101801865B1 (ko) 2017-11-27
US9460174B2 (en) 2016-10-04
EP3146436A4 (en) 2017-04-26
EP3146436A1 (en) 2017-03-29
CA2949482A1 (en) 2015-11-26
JP2017521782A (ja) 2017-08-03
US20160364386A1 (en) 2016-12-15
JP6208385B2 (ja) 2017-10-04
CA2949482C (en) 2017-09-05
US20150339362A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
JP6367444B2 (ja) 関係データをトランスポートする方法
US11475034B2 (en) Schemaless to relational representation conversion
KR101781416B1 (ko) 관련 데이터세트의 처리
CA2764390C (en) Generating test data
US8631052B1 (en) Efficient content meta-data collection and trace generation from deduplicated storage
US7689630B1 (en) Two-level bitmap structure for bit compression and data management
CN101405728B (zh) 具有动态加载能力的关系数据库架构
US20060235899A1 (en) Method of migrating legacy database systems
CN103733195A (zh) 管理用于基于范围的搜索的数据的存储
WO2013074665A1 (en) Data processing service
JPH10505440A (ja) プログラミング言語−具体的データファイルのsqlベースの操作を可能にするコンピュータベースの情報アクセス方法および装置
US10230390B2 (en) Compressively-accelerated read mapping framework for next-generation sequencing
WO2011126995A1 (en) Columnar storage representations of records
CN112988217A (zh) 用于快速全网代码溯源检测的代码库设计方法及检测方法
CN116452123A (zh) 清单项目特征值的生成方法、装置和计算机设备
CN101000621A (zh) 一种ims数据库互动式访问方法和工具
US20090241125A1 (en) Data manipulation command method and system
JP6631139B2 (ja) 検索制御プログラム、検索制御方法および検索サーバ装置
CN114816498A (zh) 资源文件管理方法、装置、设备、存储介质和程序产品
CN117349253A (zh) 多版本文件的去中心化存储系统、方法、设备及存储介质
CN109063510A (zh) 一种在区块链网络上进行验证的方法
CN116318618A (zh) 一种基于区块链的链下数据完整性校验方法及装置
CN114610809A (zh) 电网数据结构化处理方法及装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180704

R150 Certificate of patent or registration of utility model

Ref document number: 6367444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees