JP7481244B2 - データ同期システム、データ同期装置及びデータ同期方法 - Google Patents

Description

本発明は、データ同期システム、データ同期装置及びデータ同期方法に関する。

従来、複数の装置でデータを同期するため、特開２０１１－２３２８６６号公報（特許文献１）に記載の技術がある。この公報には、「第１データベース装置のデータを第２データベース装置に移行させるデータベース装置間のデータ移行方法において、前記第１データベース装置のデータのスナップショットデータ、及び前記第２データベース装置のデータのスナップショットデータを取得し、前記第１データベース装置のデータの前記スナップショットデータと前記第２データベース装置のデータのスナップショットデータとに基づいて、これらのスナップショットデータの差分データを取得し、前記差分データを前記第２データベース装置に書き込むようにしたことを特徴とする」という記載がある。

特開２０１１－２３２８６６号公報

特許文献１に代表される従来の技術のように差分データを取得して同期先の装置（特許文献１では第２データベース装置）に書き込みを行うことで、同期先の装置の負荷を減らすことができる。かかる同期において、差分データの取得などは、同期先の装置の外部で行うことで効率化を実現することが望ましい。また、同期元の装置の拘束時間についても短縮して効率化することが望まれている。

そこで、本発明では、データ同期を効率化することを目的とする。

上記目的を達成するために、代表的な本発明のデータ同期システム及びデータ同期装置の一つは、同期元となる第１の装置から同期対象として指定されたデータである同期対象データの全件を取得する全件取得部と、同期先である第２の装置が現に保持するデータを示す同期先データを予め格納するとともに、前記全件取得部により取得された同期対象データを格納する１又は複数の記憶部と、前記同期先データ及び前記同期対象データを用いて前記第２の装置に反映すべき差分を特定し、特定した差分を前記第２の装置に反映させ、該反映の後、前記同期対象データに基づいて前記同期先データを更新する差分取得部とを備えたことを特徴とする。
また、代表的な本発明のデータ同期方法の一つは、同期元となる第１の装置から同期対象として指定されたデータである同期対象データの全件を取得する全件取得ステップと、前記全件取得ステップにより取得された同期対象データを所定の記憶部に格納するステップと、同期先である第２の装置が現に保持するデータを示す同期先データと前記同期対象データとを用いて前記第２の装置に反映すべき差分を特定するステップと、特定した差分を前記第２の装置に反映させるステップと、前記反映の後、前記同期対象データに基づいて前記同期先データを更新するステップとを含むことを特徴とする。

本発明によれば、データ同期を効率化することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

実施例１のシステム構成図 データ転送装置の機能構成図 同期処理の手順の説明図 全件取得モジュールによる全件取得処理の処理手順を示すフローチャート 差分取得モジュールによる差分取得処理の処理手順を示すフローチャート データ転送装置の構成図 実施例２における差分取得処理の処理手順を示すフローチャート 実施例２の前回データについての説明図 実施例３における差分取得処理の処理手順を示すフローチャート 実施例３の前回データについての説明図 実施例４における差分取得処理の処理手順を示すフローチャート 実施例４のデータ転送装置の構成図 チャンクサイズ管理の説明図 実施例５における差分取得処理の処理手順を示すフローチャート 実施例５におけるチャンクサイズ管理の説明図 複数の装置を協働させてデータ転送装置としての機能を実現する構成 同期の設定画面の具体例

以下、実施例を図面を用いて説明する。

図１は、実施例１のシステム構成図である。図１に示したソース装置１０２は、基幹系データソースのデータをソースＤＢ（database）１０６に蓄積する装置である。ソース装置１０２は、データ転送装置２０３を介してシンク装置１０４に接続されており、シンク装置１０４のシンクＤＢ１０７は、ソースＤＢ１０６と同期する。シンクＤＢ１０７は、データの解析などのデータ利活用１０５に提供される。

すなわち、ソース装置１０２は、同期元となる第１の装置であり、シンク装置１０４は、同期先である第２の装置である。そして、ソース装置１０２からシンク装置１０４への同期は、データ転送装置２０３により行われる。

図２は、データ転送装置２０３の機能構成図である。図２に示すようにデータ転送装置２０３は、全件取得モジュール２３１、差分取得モジュール２３２、スケジューラモジュール２３３、今回データ領域２３４及び前回データ領域２３５を有する。

今回データ領域は２３４、今回の同期で同期対象として指定された同期対象データを格納する記憶領域である。同期対象データを以降、今回データという。前回データ領域２３５は、前回の同期の結果、同期先である第２の装置が現に保持しているデータを示す同期先データを格納する記憶領域である。同期先データを以降、前回データという。

全件取得モジュール２３１は、ソース装置１０２から今回データの全件を取得する全件取得部である。全件取得モジュール２３１は、取得した今回データを今回データ領域２３４に格納する。

差分取得モジュール２３２は、前回データ領域２３５に予め格納された前回データと、全件取得モジュール２３１により今回データ領域２３４に新たに格納された今回データとを用い、シンク装置１０４に反映すべき差分を特定する。差分取得モジュール２３２は、特定した差分をシンク装置１０４に反映させ、その後、前回データを今回データで更新する。すなわち、差分取得モジュール２３２は、特許請求の範囲における差分取得部として動作する。

スケジューラモジュール２３３は、データ同期の実行を管理する機能部である。スケジューラモジュール２３３は、データ同期を実行するタイミングや、データ同期の対象とするデータテーブルを設定することができ、設定された内容に従ってデータ同期を開始する。

図３は、同期処理の手順の説明図である。図３に示すように、まず、スケジューラモジュール２３３が設定されたタイミングで同期処理３０１を開始する。同期処理３０１を開始したスケジューラモジュール２３３は、全件取得モジュール２３１に全件取得開始を指示する（３０２）。

全件取得モジュール２３１は、スケジューラモジュール２３３からの指示を受けて全件取得処理３０３を開始する。全件取得処理３０３を開始した全件取得モジュール２３１は、ソース装置１０２にクエリを渡してクエリ結果を受信することで、ソース装置１０２から今回データの全件を取得する。ソース装置１０２では、クエリを受けてクエリ結果を返すまでの読出処理３０４の間が拘束時間となる。

全件取得モジュール２３１は、ソース装置１０２から取得した今回データの全件を今回データ領域２３４に保存する（３０５）。その後、全件取得モジュール２３１は、差分取得モジュール２３２に差分取得の開始を指示する（３０６）。

差分取得モジュール２３２は、全件取得モジュール２３１からの指示を受けて、差分取得処理３０７を開始する。差分取得処理３０７を開始した差分取得モジュール２３２は、前回データ領域２３５から前回データを読み出して今回データと前回データを比較して差分を特定する（３０８）。差分取得モジュール２３２は、特定した差分が追加や更新が発生であればシンク装置１０４に差分を転送し（３０９）、特定した差分が削除であればシンク装置１０４から差分を削除して（３１０）、差分をシンク装置１０４に反映させる。

差分取得モジュール２３２は、差分をシンク装置１０４に反映した後、今回データ領域２３４から今回データの全件を読み出し（３１１）、読み出した今回データの全件を新たな前回データとして前回データ領域２３５に保存することで前回データの更新を行う（３１２）。その後、差分取得モジュール２３２は、差分取得の終了をスケジューラモジュール２３３に通知する（３１２）。スケジューラモジュール２３３は、差分取得終了の通知を受けて同期処理３０１を終了する。

図４は、全件取得モジュール２３１による全件取得処理３０３の処理手順を示すフローチャートである。全件取得モジュール２３１は、全件取得処理３０３を開始すると、全件取得開始の指示（３０２）から、ソースＤＢの取得対象の表名と主キーとソート列名を受け取る（４０１）。

全件取得モジュール２３１は、受け取った表名とソート列名を用いてクエリを組み立てる（４０２）。その後、全件取得モジュール２３１は、ソースＤＢ１０６にクエリを渡し、クエリ結果を受信する（４０３）。

全件取得モジュール２３１は、ソース装置１０２の読出処理（３０４）に基づくクエリ結果を、受信した行から今回データ領域２３４に保存する（４０４）。全てのクエリ結果を保存した後、全件取得モジュール２３１は、差分取得モジュール２３２に対し、４０１で受け取った情報（ソースＤＢの取得対象の表名、主キー及びソート列名）と合わせて差分取得開始の依頼を行って（３０６）、全件取得処理を終了する。

図５は、差分取得モジュール２３２による差分取得処理３０７の処理手順を示すフローチャートである。差分取得モジュール２３２は、差分取得処理３０７を開始すると、今回データ領域２３４から対象表のデータを１行取得し（５０１）、前回データ領域２３５から主キー列及びソート列の値が等しい行を取得する（５０２）。

５０２の処理において、５０１で取得した行と主キー列及びソート列の値が等しい行が見つかり、かつ、５０１で取得した行と５０２で取得した行とが等しいならば（５０３；Ｙ）、差分取得モジュール２３２は、５０４の処理に移行する。

５０２の処理において、５０１で取得した行と主キー列及びソート列の値が等しい行が見つからない場合や、５０１で取得した行と５０２で取得した行とが等しくない場合（５０３；Ｎ）、差分取得モジュール２３２は、５０１で取得した行をシンク装置１０４に転送し（５３１）、その後、５０４の処理に移行する。

５０４の処理では、差分取得モジュール２３２は、今回データ領域の末尾であるか否か、すなわち、今回データから全ての行を取得済みであるか否かを判定する。未取得の行が残っていれば（５０４；Ｎ）、差分取得モジュール２３２は、５０１の処理に戻る。全ての行を処理済みであれば（５０４：Ｙ）、差分取得モジュール２３２は、５０５の処理に移行する。

５０５の処理では、差分取得モジュール２３２は、前回データ領域２３５から対象表のデータ１行取得する。その後、差分取得モジュール２３２は、取得した行と主キー列及びソート列の値が等しい行が今回データに含まれているか否かを取得する（５０６）。

５０６の処理において、５０５で取得した行と主キー列及びソート列の値が等しい行が今回データに含まれていれば、差分取得モジュール２３２は、５０７の処理に移行する。

５０６の処理において、５０５で取得した行と主キー列及びソート列の値が等しい行が今回データに含まれていなければ、差分取得モジュール２３２は、５０５で取得した行をシンク装置１０４から削除し（５６１）、その後、５０７の処理に移行する。

５０７の処理では、差分取得モジュール２３２は、前回データ領域の末尾であるか否か、すなわち、前回データから全ての行を取得済みであるか否かを判定する。未取得の行が残っていれば（５０７；Ｎ）、差分取得モジュール２３２は、５０５の処理に戻る。全ての行を処理済みであれば（５０７：Ｙ）、差分取得モジュール２３２は、５０８の処理に移行する。

５０８の処理では、差分取得モジュール２３２は、今回データ領域２３４から前回データ領域２３５に対象表を移動する。その後、差分取得モジュール２３２は、スケジューラモジュール２３３に差分取得終了を通知して（３１２）、差分取得処理３０７を終了する。

図６は、データ転送装置２０３の構成図である。図６に示すように、データ転送装置２０３は、ＣＰＵ（Central Processing Unit）６０１、主記憶６０２、二次記憶６０３及び通信インタフェース６０４をバス６０５で接続した構成を有するコンピュータである。

二次記憶６０３は、磁気記憶デバイスなどであり、全件取得モジュールプログラム６３１、差分取得モジュールプログラム６３２、スケジューラモジュールプログラム６３３を格納する。また、二次記憶６０３は、今回データ領域２３４及び前回データ領域２３５を有する。すなわち、二次記憶６０３は、特許請求の範囲における記憶部に対応する。

ＣＰＵ６０１は、全件取得モジュールプログラム６３１を二次記憶６０３から読み出して主記憶６０２に展開し、実行することで、全件取得モジュール２３１としての機能を実現する。同様に、ＣＰＵ６０１は、差分取得モジュールプログラム６３２を二次記憶６０３から読み出して主記憶６０２に展開し、実行することで、差分取得モジュール２３２としての機能を実現する。また、ＣＰＵ６０１は、スケジューラモジュールプログラム６３３を二次記憶６０３から読み出して主記憶６０２に展開し、実行することで、スケジューラモジュール２３３としての機能を実現する。

上述してきたように、本実施例１によれば、データ転送装置２０３は、同期元となるソース装置１０２から同期対象として指定された今回データの全件を取得して今回データ領域２３４に格納し、前回データ領域２３５に予め格納した前回データと今回データを比較して特定した差分をシンク装置１０４に反映させ、今回データで前回データの更新を行なう。

シンク装置１０４は、例えばリレーショナルデータベースであり、データ転送装置２０３の今回データ領域２３４と前回データ領域２３５は例えば単純で安価なストレージデバイスである。一般に、リレーショナルデータベースへの書込みはストレージへの書込みよりも低速であるため、本実施例１のように、ソース装置１０２から取得した今回データの全件を今回データ領域２３４に格納することとすれば、シンク装置１０４に今回データの全件を書き込むよりソース装置１０２の拘束時間を大きく短縮することができる。

また、シンク装置１０４が現に保持するデータと同一のデータをデータ転送装置２０３に保持しておき、データ転送装置２０３が差分の特定を担うことで、シンク装置１０４の負荷を軽減することができる。

なお、本実施例１の構成では、今回データ領域２３４と前回データ領域２３５にそれぞれ同期対象データと同等の容量が求められる。今回データ領域２３４と前回データ領域２３５は、１の記憶部に設ける必要はなく、１又は複数の記憶デバイスで必要な容量を賄えばよい。

本実施例１では、特定した差分をシンク装置１０４に反映した後、今回データ領域２３４に格納した今回データを新たな前回データとして前回データ領域２３５に書き込む場合を例示したが、本発明は、かかる構成に限定されるものではない。例えば、２つのデータ領域に「今回データ」と「前回データ」のいずれであるかを示すフラグを対応付けて管理してもよい。この場合には、特定した差分をシンク装置１０４に反映した後、フラグを切り替えるだけで今回データを新たな前回データとすることができる。

本実施例２では、前回データ領域２３５に格納する前回データは、シンク装置１０４が現に保持するテーブルデータ（対象表）の行ごとに生成したハッシュデータである。このようにハッシュデータを前回データとすることで、前回データの格納に必要な容量を大きく削減することができる。

以降、本実施例２について、実施例１との相違点を中心に説明を行う。
図７は、実施例２における差分取得処理３０７の処理手順を示すフローチャートである。実施例２において、差分取得モジュール２３２は、差分取得処理３０７を開始すると、今回データ領域２３４から対象表のデータを１行取得し、ハッシュを計算する（７０１）。その後、差分取得モジュール２３２は、前回データ領域２３５から主キー列及びソート列の値が等しい行のハッシュを取得する（７０２）。

７０２の処理において、７０１で取得した行と主キー列及びソート列の値が等しい行が見つかり、かつ、７０１で取得した行と７０２で取得した行のハッシュが等しいならば（７０３；Ｙ）、差分取得モジュール２３２は、７０４の処理に移行する。

７０２の処理において、７０１で取得した行と主キー列及びソート列の値が等しい行が見つからない場合や、７０１で取得した行と５０２で取得した行のハッシュが等しくない場合（７０３；Ｎ）、差分取得モジュール２３２は、７０１で取得した行をシンク装置１０４に転送し（５３１）、その後、５０４の処理に移行する。

５０４の処理では、差分取得モジュール２３２は、今回データ領域の末尾であるか否か、すなわち、今回データから全ての行を取得済みであるか否かを判定する。未取得の行が残っていれば（５０４；Ｎ）、差分取得モジュール２３２は、７０１の処理に戻る。全ての行を処理済みであれば（５０４：Ｙ）、差分取得モジュール２３２は、５０５の処理に移行する。

５０５の処理では、差分取得モジュール２３２は、前回データ領域２３５から対象表のデータ１行取得する。その後、差分取得モジュール２３２は、取得した行と主キー列及びソート列の値が等しい行が今回データに含まれているか否かを取得する（５０６）。

５０６の処理において、５０５で取得した行と主キー列及びソート列の値が等しい行が今回データに含まれていれば、差分取得モジュール２３２は、５０７の処理に移行する。

５０６の処理において、５０５で取得した行と主キー列及びソート列の値が等しい行が今回データに含まれていなければ、差分取得モジュール２３２は、５０５で取得した行をシンク装置１０４から削除し（５６１）、その後、５０７の処理に移行する。

５０７の処理では、差分取得モジュール２３２は、前回データ領域の末尾であるか否か、すなわち、前回データから全ての行を取得済みであるか否かを判定する。未取得の行が残っていれば（５０７；Ｎ）、差分取得モジュール２３２は、５０５の処理に戻る。全ての行を処理済みであれば（５０７：Ｙ）、差分取得モジュール２３２は、７０８の処理に移行する。

７０８の処理では、差分取得モジュール２３２は、今回データ領域２３４から今回データを読み出して各行のハッシュを求め、前回データ領域２３５に格納することで対象表を移動する。その後、差分取得モジュール２３２は、スケジューラモジュール２３３に差分取得終了を通知して（３１２）、差分取得処理３０７を終了する。

図８は、実施例２の前回データについての説明図である。実施例２の前回データは、行のソート列値８０１と、行の主キーの値８０２と、行のハッシュ値８０３の列を有するテーブルである。行の主キーの値８０２は、対象表において行を一意に特定可能することのできるユニークな値である。行のソート列値８０１は、対象表が有する列のうち、指定された特定の列の値である。行のハッシュ値は、対象表の行ごとに求めたものである。

行のソート列値８０１と行の主キーの値８０２は、組み合わせることで、今回データと前回データの同一行の識別に用いられる。行のハッシュ値は、同一行と識別された行の各列の値が完全に一致するか否かを判定するために用いられる。

本実施例２では、前回データは、シンク装置１０４が現に保持するデータから生成したハッシュデータであり、差分取得モジュール２３２は、差分をシンク装置１０４に反映させた後、今回データから生成したハッシュデータを新たな前回データとする。このため、実施例１と同様の効果に加え、前回データのサイズを削減することができる。

なお、本実施例２では、特定した差分をシンク装置１０４に反映した後、今回データからハッシュを求める構成を例示した。この場合には、反映直後から前回データの容量を圧縮することができる。特に、複数のデータテーブルを管理する場合には、データテーブルの数だけ容量削減の効果を得られることになる。

実施例２の変形例として、新たに今回データを取得するまでは前回データをハッシュ化せずに残しておき、新たに今回データを取得する直前に前回データをハッシュ化してもよい。この場合には、前回の同期と異なるソート列が変更されても対応することが可能である。特に、管理するデータテーブルが単一であれば、確保すべき記憶部の容量が大きくなるというデメリットも生じない。

本実施例３では、対象のデータテーブルに対して１又は複数の行を含むチャンクを設定し、チャンクに含まれる１又は複数の行から１のハッシュデータを生成して前回データとすることで、行ごとにハッシュを管理するよりもさらに前回データのサイズを削減する。
チャンクは、データテーブルのソート列の値の範囲（最大値と最小値）を指定することで設定し、チャンク番号を付与することで識別する。

以降、本実施例３について、実施例２との相違点を中心に説明を行う。
図９は、実施例３における差分取得処理３０７の処理手順を示すフローチャートである。実施例３において、差分取得モジュール２３２は、差分取得処理３０７を開始すると、前回データ領域２３５からｎ番目のチャンクを取得し（９０１）、取得したチャンクのソート列の値の最大値と最小値を取得する（９０２）。

その後、差分取得モジュール２３２は、今回データ領域２３４から、９０２の処理で取得した範囲のデータを取得して、ハッシュを計算する（９０３）。

差分取得モジュール２３２は、９０１の処理で取得したチャンクのハッシュと、９０３の処理で計算したハッシュとを比較する（９０４）。
比較の結果、ハッシュが一致すれば（９０４；Ｙ）、９０５の処理に移行する。
ハッシュが不一致であれば（９０４；Ｎ）、差分取得モジュール２３２は、チャンクに含まれる全ての行をシンク装置１０４に転送して（９４１）、チャンク内で発生した追加、更新、削除を反映させ、９０５の処理に移行する。

９０５の処理では、差分取得モジュール２３２は、前回データ領域の末尾であるか否か、すなわち、前回データから全てのチャンクを取得済みであるか否かを判定する。未取得のチャンクが残っていれば（９０５；Ｎ）、差分取得モジュール２３２は、９０１の処理に戻る。全てのチャンクを取得済みであれば（９０５：Ｙ）、差分取得モジュール２３２は、９０６の処理に移行する。

９０６の処理では、差分取得モジュール２３２は、今回データ領域２３４からソート列の値が前回データ領域の最小値よりも小さいものを取得する。その後の９０７の処理で、差分取得モジュール２３２は、今回データ領域２３４からソート列の値が前回データ領域の最大値よりも大きいものを取得する。

差分取得モジュール２３２は、９０６と９０７の処理で取得した行をシンク装置１０４に転送する（９０８）。この転送により、前回データの範囲を超えて追加された行がシンク装置１０４に反映されることになる。

９０８の処理の後、差分取得モジュール２３２は、今回データ領域２３４の今回データを用いて対象表のチャンクのハッシュを計算し、前回データ領域２３５に格納することで、前回データを更新する（９０９）。その後、差分取得モジュール２３２は、スケジューラモジュール２３３に差分取得終了を通知し（３１２）、差分取得処理を終了する。

図１０は、実施例３の前回データについての説明図である。実施例３の前回データは、チャンク番号１００１と、ソート列の最小値１００２と、ソート列の最大値１００３と、チャンクのハッシュ値１００４とを有する。具体的には、チャンク番号「１」のチャンクは、ソート列の値が「１」～「１１０」である行を含み、チャンクに含まれる全ての行から１つのハッシュ値が計算されている。同様に、チャンク番号「２」のチャンクは、ソート列の値が「１１１」～「２２０」である行を含み、チャンクに含まれる全ての行から１つのハッシュ値が計算されている。

チャンクをソート列値の範囲で設定しているため、各チャンクに含まれる行数は同一である必要はない。そして、あるチャンクに行の挿入や削除が発生しても、他のチャンクに影響が及ぶことはない。

本実施例３では、差分取得モジュール２３２は、シンク装置１０４が現に保持するテーブルデータに対して１又は複数のチャンクを設定し、チャンクに含まれる１又は複数の行から１のハッシュデータを生成して前回データとする。このため、実施例１と同様の効果に加え、前回データのサイズを削減することができる。
また、差分取得モジュール２３２は、テーブルデータの所定の列について、当該列の値である列値の範囲を指定することでチャンクを設定するので、行の追加や削除が他のチャンクに影響を及ぼす事態を回避し、チャンク単位の差分の反映を効率的に行うことができる。

本実施例４では、チャンクのサイズを動的に変更する構成を示す。
以降、本実施例４について、実施例３との相違点を中心に説明を行う。
図１１は、実施例４における差分取得処理３０７の処理手順を示すフローチャートである。９０１の処理から９０８の処理までは、実施例３と同様であるので、説明を省略する。

実施例４では、９０８の処理の後、１１０１の処理に移行する。
１１０１の処理において、差分取得モジュール２３２は、９４１の処理で行った転送の所要時間の中に、過去統計より＋１σ以上大きいものがあるか否かを判定する。
所要時間の中に過去統計より＋１σ以上大きいものがあるならば（１１０１；Ｙ）、１１０２に移行する。
所要時間の中に過去統計より＋１σ以上大きいものがなければ（１１０１；Ｎ）、差分取得モジュール２３２は、９４１の処理で行った転送の所要時間の中に、過去統計より－１σ以下の小さいものがあるか否かを判定する（１１１１）。
所要時間の中に過去統計より－１σ以下の小さいものがあるならば（１１１１；Ｙ）、１１１２に移行する。
所要時間の中に過去統計より－１σ以下の小さいものがなければ（１１１１；Ｎ）、差分取得モジュール２３２は、今回データ領域２３４の使用量が閾値以上であるか否かを判定する（１１１３）。
今回データ領域２３４の使用量が閾値以上であれば（１１１３；Ｙ）、１１１２の処理に移行し、今回データ領域２３４の使用量が閾値未満であれば（１１１３；Ｎ）、１１０４に移行する。

１１０２の処理では、差分取得モジュール２３２は、チャンクに含まれる行数が減るようにチャンクの範囲を変更し、１１０３の処理に移行する。
１１１２の処理では、差分取得モジュール２３２は、チャンクに含まれる行数が増えるようにチャンクの範囲を変更し、１１０３の処理に移行する。
一例として、チャンクの行数を増やすときは、チャンクの範囲を２５％ずつ増やし、チャンクの行数を減らすときは、チャンクの範囲を２５％ずつ減らす。
１１０３の処理では、所要時間の統計値をリセットし、１１０４に移行する。

１１０４の処理では、差分取得モジュール２３２は、今回の９４１の処理で行った転送の所要時間を用いて、統計を更新する。

１１０４の処理の後、差分取得モジュール２３２は、今回データ領域２３４の今回データを用いて対象表のチャンクのハッシュを計算し、前回データ領域２３５に格納することで、前回データを更新する（９０９）。その後、差分取得モジュール２３２は、スケジューラモジュール２３３に差分取得終了を通知し（３１２）、差分取得処理を終了する。

図１２は、実施例４のデータ転送装置２０３の構成図である。図１２に示すように、実施例４では、二次記憶６０３は、チャンクサイズ管理１２０１のデータをさらに保持している。このデータによりデータ転送装置２０３はチャンクのサイズを管理する。

図１３は、チャンクサイズ管理の説明図である。図１３に示すように、チャンクサイズの管理は、テーブルを特定する情報（ＤＢサーバ名１３０１、ＤＢ名１３０２、スキーマ名１３０３、テーブル名１３０４）に対し、チャンクサイズを対応付けることで行われる。チャンクサイズは、各チャンクにおいて、ソート列値の値の範囲を示すものである。

本実施例４では、差分取得モジュール２３２は、シンク装置１０４の負荷状況や、今回データ領域２３４の空き容量に応じてチャンクのサイズを変更することができる。なお、本実施例４では、シンク装置１０４の負荷状況として転送の所要時間を用いる場合を例示したが、シンク装置１０４の負荷を示す任意のデータを用いてチャンクのサイズを変更することができる。同様に、今回データ領域２３４の空き容量に限定されることなく、データ転送装置２０３の状態を示す任意のデータを用いてチャンクのサイズを変更可能である。また、ソース装置１０２やネットワークの状況などを用いてチャンクのサイズを変更してもよい。

実施例４では、テーブルデータの全ての行をいずれかのチャンクに含める場合を示したが、テーブルデータの一部をチャンクの設定対象から除外してもよい。
例えば、売上管理データが対象である場合、新たな売上のデータが順次追加されるが、データの追加の発生頻度に比して変更や削除の発生頻度は低くなる。そして、変更や削除が発生する場合にも、新しい売上に対する変更や削除が主であり、古い売上に対する変更や削除が発生することは少ない。
このような特性を有するテーブルでは、売上の日時をソート列とし、日時が新しい側の所定範囲についてはチャンクの設定対象から除外して、行単位で差分の特定を行う方が、データの同期を効率的に行うことができる。

本実施例５では、テーブルデータにおいて行の追加が見込まれる所定範囲をチャンクの設定対象から除外し、当該所定範囲においては行単位で差分の特定を行う構成を示す。
以降、本実施例５について、実施例４との相違点を中心に説明を行う。

図１４は、実施例５における差分取得処理３０７の処理手順を示すフローチャートである。実施例５において、差分取得モジュール２３２は、差分取得処理３０７を開始すると、前回チャンク数を取得する（１４０１）。前回チャンク数は、前回データに設定されたチャンクの数であり、実施例５ではチャンクサイズ管理１２０１のデータに含まれる。

１４０１の処理の後、差分取得モジュール２３２は、実施例４と同様に、９０１から９０４の処理と、９４１の処理を行う。

実施例５では、９０４の比較の結果、ハッシュが一致した場合（９０４；Ｙ）、もしくは９４１の処理が終了した場合に、１４０２の処理に移行する。
１４０２の処理では、差分取得モジュール２３２は、前回のチャンクを全て取得したか否かを判定する。
未取得のチャンクが残っていれば（１４０２；Ｎ）、差分取得モジュール２３２は、９０１の処理に戻る。全てのチャンクを取得済みであれば（１４０２；Ｙ）、差分取得モジュール２３２は、９０６の処理に進む。

９０６の処理では、差分取得モジュール２３２は、実施例３と同様に、今回データ領域２３４からソート列の値が前回データ領域の最小値よりも小さいものを取得する。その後、実施例３で示した９０７の処理は行わず、９０８の処理に進む。

９０８の処理で、差分取得モジュール２３２は、９０６の処理で取得した行をシンク装置１０４に転送する（９０８）。この転送により、前回データの範囲よりもソート列の値が小さい行がシンク装置１０４に反映されることになる。

９０８の処理の後、差分取得モジュール２３２は、７０１の処理に進む。７０１から７０３の処理、５３１の処理、５０４から５０７の処理、５６１の処理については、実施例２と同様である。

５０７の処理で前回データ領域の末尾となれば（５０７：Ｙ）、差分取得モジュール２３２は、１１０１の処理に移行する。１１０１から１１０４までの処理は、実施例４と同様である。

１１０４の処理の後、差分取得モジュール２３２は、今回データ領域のソート列の最大値から最小値を引いた値を、チャンクサイズで除算し、その商を新たなチャンク数として前回チャンク数を更新する（１４０３）。

１４０３の処理の後、差分取得モジュール２３２は、今回データ領域２３４の対象表に対し、ソート列値の小さい側から、１４０３の処理で求めたチャンク数分のチャンクを設定し、各チャンクのハッシュを求めて前回データ領域２３５に移動させる（１４０４）。
１４０４の処理の後、差分取得モジュール２３２は、チャンクの設定対象から除外された行、すなわち、ソート列値の大きい側の非チャンクの行について、行ごとのハッシュを計算し、前回データ領域２３５に移動させる（１４０５）。
１４０５の処理の後、差分取得モジュール２３２は、スケジューラモジュール２３３に差分取得終了を通知し（３１２）、差分取得処理を終了する。

図１５は、実施例５におけるチャンクサイズ管理の説明図である。図１５に示すように、実施例５のチャンクサイズの管理は、テーブルを特定する情報（ＤＢサーバ名１３０１、ＤＢ名１３０２、スキーマ名１３０３、テーブル名１３０４）に対し、チャンクサイズと前回チャンク数を対応付けることで行われる。チャンクサイズは、各チャンクにおいて、ソート列値の値の範囲を示すものであり、チャンク数は、前回データに設定したチャンクの数を示すものである。

本実施例５では、差分取得モジュール２３２は、テーブルデータにおいて行の追加が見込まれる所定範囲をチャンクの設定対象から除外し、当該所定範囲においては行単位で差分の特定を行うので、データの追加、変更、削除が所定範囲に集中する特性を有するデータテーブルの同期を効率的に行うことができる。

なお、本実施例５では、今回データ領域のソート列の最大値から最小値を引いた値を、チャンクサイズで除算し、除算の余を所定範囲とする場合を例示したが、所定範囲は任意に設定することができる。例えば、除算の余がゼロである場合には、チャンク数を１小さくしてもよい。もしくは、今回データ領域のソート列の最大値から最小値を減算するとともに、所定範囲の最低保証分をさらに減算したうえで、チャンクサイズで除算することとしてもよい。

（変形例）
上記実施例１～実施例５は、あくまで一例であり、本発明を限定するものではない。例えば、データ転送装置２０３は必ずしも一体に構成する必要はなく、複数の装置が協働してデータ転送装置２０３としての機能を実現してもよい。

図１６は、複数の装置を協働させてデータ転送装置としての機能を実現する場合の構成例である。図１６のシステムは、ソース装置１０２と通信接続するソース側転送装置としてのデータ転送装置Ａ１６０１と、シンク装置１０４と通信接続するシンク側転送装置としてのデータ転送装置Ｂ１６０２とを備える。

また、データ転送装置Ａ１６０１とデータ転送装置Ｂ１６０２とは、高遅延ネットワーク１６０３で接続されている。そして、データ転送装置Ａ１６０１は、全件取得モジュール２３１、差分取得モジュール２３２、今回データ領域２３４及び前回データ領域２３５を有し、データ転送装置Ｂ１６０２は、スケジューラモジュール２３３を有する。

かかる構成では、高遅延ネットワークを介在したとても、ソース装置１０２の拘束時間を短縮し、シンク装置１０４の負荷を軽減することが可能である。また、データ転送装置Ａ１６０１がネットワークに出すデータを減らすことができる。

図１７は、同期の設定画面の具体例である。図１７に示した設定画面１７０１は、データベースやユーザに関する項目に加え、更新設定項目１７０２、差分更新設定項目１７０３、主キー列名１７０４及びソート列名１７０５を有する。

更新設定項目１７０２は、表に対して既存データの更新（書き換え）が許可されているか否かを示す。差分更新設定項目１７０３は、同期の際に差分更新を行なうか否かを示す。

ここで、図１７では、更新設定項目１７０２が既存データの更新を許可し、差分更新を行なう設定となっている。従来の技術では、差分更新は、既存データの更新を許可しないことを条件に選択可能とされているが、本実施例に開示するシステムでは、データ転送装置２０３が今回データの全件を取得して差分の特定を行うので、既存データの更新が許可された表についても差分更新を行なうことができる。
主キー列名１７０４及びソート列名１７０５は、差分更新を行なう際に、どの列を用いて前回データと今回データの対応関係を識別するかを設定する項目である。

上述の実施例１～実施例５並びに変形例は、本発明を限定するものではなく、本発明には様々な変形例が含まれる。例えば、上記した実施例等は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

１０１：基幹系データソース、１０２：ソース装置、１０４：シンク装置、１０５：データ利活用、１０６：ソースＤＢ、１０７：シンクＤＢ、２０３：データ転送装置、２３１：全件取得モジュール、２３２：差分取得モジュール、２３３：スケジューラモジュール、２３４：今回データ領域、２３５：前回データ領域、６０１：ＣＰＵ、６０２：主記憶、６０３：二次記憶、６０４：通信Ｉ／Ｆ、６０５：バス

Claims (6)

1. 同期元となる第１の装置から同期対象として指定されたデータである同期対象データの全件を取得する全件取得部と、
   同期先である第２の装置が現に保持するデータを示す同期先データを予め格納するとともに、前記全件取得部により取得された同期対象データを格納する１又は複数の記憶部と、
   前記同期先データ及び前記同期対象データを用いて前記第２の装置に反映すべき差分を特定し、特定した差分を前記第２の装置に反映させ、該反映の後、前記同期対象データに基づいて前記同期先データを更新する差分取得部と
   を備え、
   前記差分取得部は、
   前記第２の装置が現に保持するテーブルデータに対して１又は複数のチャンクを設定し、前記チャンクに含まれる１又は複数の行から１のハッシュデータを生成して前記同期先データとし、
   前記差分を前記第２の装置に反映させた後、前記同期対象データから生成したハッシュデータを新たな同期先データとするものであり、
   前記差分取得部は、前記第２の装置の負荷状況に応じて、又は前記記憶部の空き容量に応じて、前記チャンクのサイズを変更することを特徴とするデータ同期システム。
2. 前記差分取得部は、前記テーブルデータの所定の列について、当該列の値である列値の範囲を指定することで前記チャンクを設定することを特徴とする請求項１に記載のデータ同期システム。
3. 前記差分取得部は、前記テーブルデータにおいて行の追加が見込まれる所定範囲を前記チャンクの設定対象から除外し、当該所定範囲においては行単位で差分の特定を行うことを特徴とする請求項２に記載のデータ同期システム。
4. 前記第１の装置と通信接続するソース側転送装置と、前記第２の装置と通信接続するシンク側転送装置とを備え、
   前記ソース側転送装置は、前記全件取得部及び前記記憶部を少なくとも有し、
   前記シンク側転送装置は、前記ソース側転送装置と所定のネットワークを介して接続されて、前記差分を前記第２の装置に反映する処理を実行する
   ことを特徴とする請求項１に記載のデータ同期システム。
5. 同期元となる第１の装置から同期対象として指定されたデータである同期対象データの全件を取得する全件取得部と、
   同期先である第２の装置が現に保持するデータを示す同期先データを予め格納するとともに、前記全件取得部により取得された同期対象データを格納する１又は複数の記憶部と、
   前記同期先データ及び前記同期対象データを用いて前記第２の装置に反映すべき差分を特定し、特定した差分を前記第２の装置に反映させ、該反映の後、前記同期対象データに基づいて前記同期先データを更新する差分取得部と
   を備え、
   前記差分取得部は、
   前記第２の装置が現に保持するテーブルデータに対して１又は複数のチャンクを設定し、前記チャンクに含まれる１又は複数の行から１のハッシュデータを生成して前記同期先データとし、
   前記差分を前記第２の装置に反映させた後、前記同期対象データから生成したハッシュデータを新たな同期先データとするものであり、
   前記差分取得部は、前記第２の装置の負荷状況に応じて、又は前記記憶部の空き容量に応じて、前記チャンクのサイズを変更することを特徴とするデータ同期装置。
6. データ同期装置が、
   同期元となる第１の装置から同期対象として指定されたデータである同期対象データの全件を取得する全件取得ステップと、
   前記全件取得ステップにより取得された同期対象データを所定の記憶部に格納するステップと、
   同期先である第２の装置が現に保持するデータを示す同期先データと前記同期対象データとを用いて前記第２の装置に反映すべき差分を特定するステップと、
   特定した差分を前記第２の装置に反映させるステップと、
   前記反映の後、前記同期対象データに基づいて前記同期先データを更新するステップと
   を含み、
   前記同期先データは、前記第２の装置が現に保持するテーブルデータに対して１又は複数のチャンクを設定し、前記チャンクに含まれる１又は複数の行から１のハッシュデータを生成したものであり、
   前記差分を前記第２の装置に反映させた後、前記チャンクのサイズを、前記第２の装置の負荷状況に応じて、又は前記記憶部の空き容量に応じて変更するステップと、前記同期対象データから生成したハッシュデータを新たな同期先データとするステップとをさらに含むことを特徴とするデータ同期方法。

Images