JP5836422B2 - データ一致化のための方法およびシステム - Google Patents

Description

本発明は、一般に、データ一致化のための技術に関し、さらに詳しくは、ソース・データベースと複製データベースとの間の高速なデータ一致化のための方法およびシステムに関する。

ソース・データベースと複製データベースとを備えてなるデータベース・システムでは、ソース・データベースと複製データベースとの間でのデータ一致化が重要である。

図４は、従来のデータ一致化方式を示す概念図である。

すなわち、図４（ａ）に示す方式によれば、ソース・データベースから、１件目のデータ・レコードが取得され、取得された１件目のデータ・レコードが、複製データベースに書き込まれる。このようにして複製データベースへの１件目のデータ・レコードの書き込みが終了すると、ソース・データベースから２件目のデータ・レコードが取得され、同様に、複製データベースに書き込まれる。

このような取出／書込処理が、最後のデータ・レコードの書き込みが完了するまで、データ・レコード１件ずつシーケンシャルに行われることによって、ソース・データベースと、複製データベースとの間でのデータ一致化が達成される。

しかしながら、このようなシーケンシャル方式では、データ・レコードを取得するためのソース・データベースへのアクセスと、データ・レコードを書き込むための複製データベースへのアクセスとが、データ・レコード数に等しい回数、繰り返しなされるので、最後のデータ・レコードが複製データベースに書き込まれるまでに、非常に時間がかかってしまうという問題があった。

このような問題を解決する１つの方法として、図４（ｂ）に示すようなバルク・コピー方式がある。この方式では、ソース・データベースから大量（例えば、１０万件ずつ）のデータ・レコードが一括して取得され、しかる後に、まとめて複製データベースに書き込まれる。この方式によれば、データ・レコードを取得するためのソース・データベースへのアクセスと、データ・レコードを書き込むための複製データベースへのアクセスとを、レコード数に等しい回数、繰り返し行う必要はないので、最後のデータ・レコードが複製データベースに書き込まれるまでに要する時間は、図４（ａ）に示す方式よりも大幅に短縮される。

一例として、１０万件のデータ・レコードを、ソース・データベースから複製データベースにコピーする場合、図４（ａ）に示すシーケンシャル・コピー方式では、取得と書込とを１０万回ループすることにより、約１０時間を要するのに対し、図４（ｂ）に示すバルク・コピー方式では、約３４分しか要しない。

なお、バルク・コピーに関しては、非特許文献１に示すように、Ｍｉｃｒｏｓｏｆｔ ＳＱＬ Ｓｅｒｖｅｒのテーブルに、サイズの大きなデータを高速で一括書き込みするＳｑｌＢｕｌｋＣｏｐｙという一般的な部品が用意されている。

また、非特許文献２には、Ｏｒａｃｌｅ Ｄａｔａｂａｓｅのテーブルに、サイズの大きなデータを高速で一括書き込みするＯｒａｃｌｅＢｕｌｋＣｏｐｙという一般的な部品が用意されている。

また、非特許文献３には、ＩＢＭ ＤＢ２ Ｄａｔａｂａｓｅのテーブルに、サイズの大きなデータを高速で一括書き込みするＤＢ２ＢｕｌｋＣｏｐｙという一般的な部品が用意されている。

Microsoft Developer Network ホームページ、http://msdn.microsoft.com/ja-jp/library/7ek5da1a(v=vs.110).aspx Oracle Data Provider for .NET開発者ガイド ホームページ、http://docs.oracle.com/cd/E16635_01/win.111/e06104/OracleBulkCopyClass.htm IBM DB2 Database for Linux, UNIX, and Windows インフォメーション・センター ホームページ、http://pic.dhe.ibm.com/infocenter/db2luw/v9r7/index.jsp?topic=%2Fcom.ibm.swg.im.dbclient.adonet.ref.doc%2Fdoc%2FDB2BulkCopyClass.html

しかしながら、このような従来のバルク・コピー方式では、以下のような問題がある。

すなわち、バルク・コピー方式では、前述したように、ソース・データベースから一度に大量（例えば、１０万件ずつ）のデータ・レコードが取得される。図５は、このようにして、ソース・データベース６０から、大量のデータ・レコードが、サーバ６２によって取得され、複製データベース７０へ書き込まれる処理を説明するための概念図である。

ソース・データベース６０および複製データベース７０に接続されたサーバ６２は、データ取得部６４と、メモリ６６と、データ書込部６８とを備えている。そして、ソース・データベース６０に格納されているデータ・レコードは、データ取得部６４によって取得され、データ取得部６４からメモリ６６に渡され、メモリ６６において保持される。データ取得部６４によって取得されたデータ・レコードがすべてメモリ６６に格納されると、メモリ６６に格納されたデータ・レコードがデータ書込部６８によって取り出され、複製データベース７０へと書き込まれる。

すなわち、ソース・データベース６０からどれだけの量のデータ・レコードを一度に取得することができるかは、メモリ６６の容量に依存する。

メモリ６６が十分な容量を有していれば、ソース・データベース６０から、すべてのデータ・レコードを一度で取得できるだろう。しかしながら、十分な容量のメモリ６６を準備することは、コスト・アップをもたらすという問題がある。また、現時点ではメモリ６６の容量が十分であったとしても、将来的に、ソース・データベース６０に格納されているデータ・サイズが増えれば、メモリの容量を増設する必要が生じうるという問題が常に付きまとう。

一方、メモリ６６が十分な容量を有していなければ、ソース・データベース６０に格納されているすべてのデータ・レコードを一度に保持しきることはできないので、ソース・データベース６０からのデータ・レコードの取得と、取得したデータ・レコードの複製データベース７０への書込とからなるプロセスを、何度か繰り返す必要がある。その場合、複製データベース７０へのすべてのデータ・レコードの書込が完了するまでの時間が長くなるという問題がある。

本発明はこのような事情に鑑みてなされたものであり、ソース・データベースに格納されたデータ・レコードを複製データベースにコピーする場合、ソース・データベースに格納されたデータ・レコードの数が増えても、メモリ容量を増設する必要なく、複製データベースへのコピーを高速で実施することが可能な、データ一致化のための方法およびシステムを提供することを目的とする。

上記の目的を達成するために、本発明では、以下のような手段を講じる。

すなわち、請求項１の発明は、ソース・データベースと複製データベースとの間のデータ一致化のためのシステムであって、ソース・データベースに格納された複数のデータ・レコードを順次取得しながら順次送出する取得手段と、取得手段によって順次送出されたデータ・レコードを順次受け取ってメモリに順次格納する格納手段と、メモリにデータ・レコードが格納されると、格納されたデータ・レコードを、後続するデータ・レコードがメモリに格納されている途中であっても、複製データベースに書き込み、書き込み終了後、このデータ・レコードを、メモリから削除する書込手段とを備えている。そして、書込手段が、メモリに格納されたデータ・レコードの複製データベースへの書き込みと、書き込み終了後のメモリからの削除とを、メモリに格納されたデータ・レコードが存在しなくなるまで繰り返すことによって、ソース・データベースに格納されたデータ・レコードと、複製データベースに格納されたデータ・レコードとの一致化を図るようにしている。
ここで、取得手段と格納手段とは通信ネットワークを介して接続され、取得手段が、Ｗｅｂサーバである。
また、ソース・データベースと書込手段とがダイレクトに接続しないように、ソース・データベースと書込手段との間に、Ｗｅｂサーバを設けるようにしている。

請求項２の発明は、取得手段および格納手段と、書込手段とは、独立して動作する、請求項１の発明のデータ一致化システムである。

請求項３の発明は、ソース・データベースと複製データベースとの間のデータ一致化のための方法であって、ソース・データベースに格納された複数のデータ・レコードをＷｅｂサーバが順次取得しながら順次送出し、順次送出されたデータ・レコードを順次受け取ってメモリに順次格納し、メモリにデータ・レコードが格納されると、格納されたデータ・レコードを、後続するデータ・レコードがメモリに格納されている途中であっても、複製データベースに書き込み、書き込み終了後、このデータ・レコードを、メモリから削除する。そして、メモリに格納されたデータ・レコードの複製データベースへの書き込みと、書き込み終了後のメモリからの削除とを、メモリに格納されたデータ・レコードが存在しなくなるまで繰り返すことによって、ソース・データベースに格納されたデータ・レコードと、複製データベースに格納されたデータ・レコードとの一致化を図る。
また、ソース・データベースとメモリとがダイレクトに接続しないように、ソース・データベースとメモリとの間に、Ｗｅｂサーバを設けるようにしている。

本発明に係るデータ一致化のための方法およびシステムによれば、ソース・データベースに格納されたデータ・レコードを複製データベースにコピーする場合、ソース・データベースに格納されたデータ・レコードの数が増えても、メモリ容量を増やす必要なく、高速で、複製データベースへのコピーを完了することが可能となる。

本発明の実施形態に係るデータ一致化方法が適用されたシステムの構成例を示す概念図である。 本発明の実施形態に係るシステムの動作を示すフローチャートである。 本発明の実施形態に係るシステムによるソース・データベースからのデータ・レコードの取得と、複製データベースへのデータ・レコードの書込とのタイミングを示す図である。 従来のデータ一致化方式を示す概念図である。 従来のバルク・コピー方式を説明するための概念図である。

以下に、本発明を実施するための最良の形態について図面を参照しながら説明する。

図１は、本発明の実施形態に係るデータ一致化方法が適用されたシステムの構成例を示す概念図である。

このシステム１０は、ソース・データベース１２と複製データベース１４との間のデータ一致化のためのシステムであって、ソース・データベース１２と複製データベース１４の他に、例えばＷｅｂサーバであるデータ取得部１６と、データ書込部１８とを備えている。そして、データ取得部１６とデータ書込部１８とは、例えばインターネットのような通信ネットワーク１９によって接続されている。

このような通信ネットワーク１９は、イーサネット（登録商標）等のＬＡＮ、あるいは公衆回線や専用回線を介して複数のＬＡＮが接続されるＷＡＮ等からなる。ＬＡＮの場合には、必要に応じてルータを介した多数のサブネットから構成される。また、ＷＡＮの場合には、公衆回線に接続するためのファイアウォール等を適宜備えているが、ここではその図示及び詳細説明を省略する。

データ取得部１６は、ソース・データベース１２に接続されており、ソース・データベース１２に格納された複数のデータ・レコードを順次取得しながら、通信ネットワーク１９を介してデータ書込部１８へ順次送出する。すなわち、データ取得部１６は、後続するデータ・レコードを取得している途中であっても、既に取得したデータ・レコードを、データ書込部１８へ順次送出する。

データ書込部１８は、受信部２０と、メモリ２２と、書込部２４と備えている。そして、データ取得部１６によって順次送出されたデータ・レコードを受信部２０が順次受信して、メモリ２２に順次格納する。書込部２４は、メモリ２２にデータ・レコード（例えば、データ・レコード＃１）が格納されると、後続するデータ・レコード（例えば、データ・レコード＃２，＃３，＃４・・・・）がメモリ２２に格納されている途中であっても、格納されたデータ・レコード（データ・レコード＃１）を複製データベース１４へ書き込む。そして、複製データベース１４にデータ・レコード（データ・レコード＃１）が書き込まれると、このデータ・レコード（データ・レコード＃１）を、メモリ２２から削除する。

書込部２４は、その後、次のデータ・レコード（例えば、データ・レコード＃２）に対しても同様なことを行う。書込部２４は、このような動作を、メモリ２２に格納された最後のデータ・レコードまで連続的に繰り返すことによって、メモリ２２に格納されたすべてのデータ・レコードを複製データベース１４に書き込む。

次に、以上のように構成した本発明の実施形態に係るシステムの動作を、図２のフローチャートを用いて説明する。

本実施形態に係るシステム１０では、ソース・データベース１２に格納された複数のデータ・レコードが、例えばＷｅｂサーバのようなデータ取得部１６によって順次取得され、データ書込部１８へ順次送出される（ステップＳ１）。

ステップＳ１で順次送出されたデータ・レコードが、データ書込部１８の受信部２０によって順次取得され、メモリ２２に順次格納される（ステップＳ２）。

メモリ２２へデータ・レコード（例えば、データ・レコード＃１）が格納されると、後続するデータ・レコード（例えば、データ・レコード＃２，＃３，＃４・・・・）がメモリ２２に格納されている途中であっても、格納されたデータ・レコード（データ・レコード＃１）は、書込部２４によって複製データベース１４へ書き込まれる（ステップＳ３）。

このようにして、複製データベース１４にデータ・レコード（データ・レコード＃１）が書き込まれると、このデータ・レコード（データ・レコード＃１）は、書込部２４によって、メモリ２２から削除される（ステップＳ４）。

その後、次のデータ・レコード（例えば、データ・レコード＃２）に対しても、書込部２４によって、ステップＳ３およびステップＳ４と同様な処理がなされる。このような動作が、メモリ２２に格納された最後のデータ・レコードまで連続的に繰り返される（ステップＳ５）ことによって、メモリ２２に格納されたすべてのデータ・レコードが複製データベース１４に書き込まれる。

図３は、本実施形態に係るシステム１０によるソース・データベース１２からのデータ・レコードの取得と、複製データベース１４へのデータ・レコードの書込とのタイミングを、従来技術と比較して示す図である。図３（ａ）は、図４（ａ）でも示したシーケンシャル・コピー方式であり、図３（ｂ）は、図４（ｂ）でも示したバルク・コピー方式である。

ステップＳ１およびステップＳ２が、図３（ｃ）におけるデータ・レコードの取得プロセスａに相当し、ステップＳ３およびステップＳ４が、図３（ｃ）におけるデータ・レコードの書込プロセスｂに相当する。図３（ｃ）に示すように、本実施形態に係るシステム１０では、メモリ２２に１件のデータ・レコードでも格納されると、このデータ・レコードの、複製データベース１４への書込が開始されるので、データ・レコードの取得プロセスａが完了していなくても、データ・レコードの書込プロセスｂが開始される。すなわち、ステップＳ２において、メモリ２２にデータ・レコードが格納されると、ステップＳ３の動作が開始され、その後は、ステップＳ１およびステップＳ２の動作と、ステップＳ３およびステップＳ４の動作とは、独立して実行される。

このような独立動作によって、ソース・データベース１２から最初のデータ・レコードが取得されてから、最後のデータ・レコードの複製データベース１４への書込が終了するまでに要する時間は、図３（ｂ）に示すバルク・コピー方式よりもさらに大幅に短縮される。

一例として、１０万件のデータ・レコードを、ソース・データベース１２から複製データベース１４にコピーする場合、図３（ａ）に示すシーケンシャル・コピー方式では、約１０時間を要するところ、図３（ｂ）に示すバルク・コピー方式では、約３４分しか要しないことを前述したが、図３（ｃ）に示す本実施形態に係るシステム１０では、約１８分しか要しない。すなわち、本実施形態に係るシステム１０によれば、従来のバルク・コピー方式で要していた処理時間が、さらに約半分に短縮される。しかも、ステップＳ４で説明したように、データ・レコードは、複製データベース１４に書き込まれると、順次、メモリ２２から削除されるので、メモリ２２は、さほど大きな容量を要しない。

このような動作は、前述したＳｑｌＢｕｌｋＣｏｐｙや、ＯｒａｃｌｅＢｕｌｋＣｏｐｙや、ＤＢ２ＢｕｌｋＣｏｐｙによっても実現可能である。例えば、ＳｑｌＢｕｌｋＣｏｐｙは、図５に示すように、ソース・データベース６０と複製データベース７０とにダイレクトに接続されたサーバ６２のデータ書込部６８において使用されることを想定している。しかし、ソース・データベース６０とサーバ６２の間に、ネットワーク等の制約や、テーブル間の単純コピーでなくデータ加工のプロセスが入っているなどの理由で、ソース・データベース６０とデータ書き込み部６８がダイレクトに接続できない場合は、データ書き込み部６８で使用するＳｑｌＢｕｌｋＣｏｐｙに読み込ませるために、データ取得部６４によりメモリ６６にデータを一時的に全てのデータを蓄積する必要がある。したがって、ＳｑｌＢｕｌｋＣｏｐｙをそのまま適用した場合、前述したように、ソース・データベース６０からの大量（例えば、１０万件ずつ）のデータ・レコードがメモリ６６に格納されるので、メモリ６６は十分な容量を有している必要がある。

しかしながら、図１に示すように、Ｗｅｂサーバのようなデータ取得部１６を設け、ソース・データベース１２とダイレクトに接続しないようにしたデータ書込部１８においてＳｑｌＢｕｌｋＣｏｐｙを適用すれば、メモリ２２にデータ・レコード（例えば、データ・レコード＃１）が格納されると、後続するデータ・レコード（例えば、データ・レコード＃２，＃３，＃４・・・・）がメモリ２２に格納されている途中であっても、格納されたデータ・レコード（データ・レコード＃１）が複製データベース１４へ書き込まれ、しかる後に、このデータ・レコード（データ・レコード＃１）が、メモリ２２から削除されるようになり、本実施形態に係るシステム１０が実現される。

上述したように、本実施形態に係るシステム１０においては、上記のような作用により、ソース・データベース１２に格納されたデータ・レコードを複製データベース１４にコピーする場合、ソース・データベース１２に格納されたデータ・レコードのサイズが増えても、メモリ２２の容量を増設する必要なく、高速で、複製データベース１４へのコピーを完了することが可能となる。

また、データ取得部１６およびデータ書込部のメモリの容量が十分にある場合には、並行して複数のバルク・コピーを実施しても良い。 以上、本発明を実施するための最良の形態について、添付図面を参照しながら説明したが、本発明はかかる構成に限定されない。特許請求の範囲の発明された技術的思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の技術的範囲に属するものと了解される。

例えば、本実施形態では、図１に示すように、データ取得部１６とデータ書込部１８とがインターネットのような通信ネットワーク１９を介して接続された構成例を説明したが、本発明に係るシステムおよび方法は、このような構成に限定されるものではなく、通信ネットワークを排して、データ取得部１６とデータ書込部１８とをダイレクトに接続するようにしても良い。

本発明に係るデータ一致化のためのシステムおよび方法は、ソース・データベースと複製データベースとを備えてなる、例えば、自治体の住民データ管理のためのデータベース・システムや、金融機関、証券会社、保険会社等のデータベース・システムにも好適に適用される。

１０ システム
１２ ソース・データベース
１４ 複製データベース
１６ データ取得部
１８ データ書込部
１９ 通信ネットワーク
２０ 受信部
２２ メモリ
２４ 書込部
６０ ソース・データベース
６２ サーバ
６４ データ取得部
６６ メモリ
６８ データ書込部
７０ 複製データベース

Claims (3)

1. バルクコピーを用いてソース・データベースと複製データベースとの間のデータ一致化を図るためのシステムであって、
   前記ソース・データベースに格納された複数のデータ・レコードを順次取得しながら順次送出する取得手段と、
   前記取得手段によって順次送出されたデータ・レコードを順次受け取ってメモリに順次格納する格納手段と、
   前記メモリにデータ・レコードが格納されると、前記格納されたデータ・レコードを、後続するデータ・レコードが前記メモリに格納されている途中であっても、前記複製データベースに書き込み、書き込み終了後、このデータ・レコードを、前記メモリから削除する書込手段とを備え、
   前記書込手段が、前記メモリに格納されたデータ・レコードの前記複製データベースへの書き込みと、書き込み終了後の前記メモリからの削除とを、前記メモリに格納されたデータ・レコードが存在しなくなるまで繰り返すことによって、前記ソース・データベースに格納されたデータ・レコードと、前記複製データベースに格納されたデータ・レコードとの一致化を図り、
   前記取得手段と、前記格納手段とが、通信ネットワークを介して接続され、前記取得手段が、Ｗｅｂサーバであり、
   前記ソース・データベースと前記書込手段とがダイレクトに接続しないように、前記ソース・データベースと前記書込手段との間に、前記Ｗｅｂサーバを設けるようにした、データ一致化システム。
2. 前記取得手段および前記格納手段と、前記書込手段とは、独立して動作する、請求項１に記載のデータ一致化システム。
3. バルクコピーを用いてソース・データベースと複製データベースとの間のデータ一致化を図るための方法であって、
   前記ソース・データベースに格納された複数のデータ・レコードをＷｅｂサーバが順次取得しながら順次送出し、
   前記順次送出されたデータ・レコードを順次受け取ってメモリに順次格納し、
   前記メモリにデータ・レコードが格納されると、前記格納されたデータ・レコードを、後続するデータ・レコードが前記メモリに格納されている途中であっても、前記複製データベースに書き込み、書き込み終了後、このデータ・レコードを、前記メモリから削除し、
   前記メモリに格納されたデータ・レコードの前記複製データベースへの書き込みと、書き込み終了後の前記メモリからの削除とを、前記メモリに格納されたデータ・レコードが存在しなくなるまで繰り返すことによって、前記ソース・データベースに格納されたデータ・レコードと、前記複製データベースに格納されたデータ・レコードとの一致化を図るようにし、
   前記ソース・データベースと前記メモリとがダイレクトに接続しないように、前記ソース・データベースと前記メモリとの間に、前記Ｗｅｂサーバを設けるようにした、データ一致化方法。

Images