JP3925328B2

JP3925328B2 - データ複製方式

Info

Publication number: JP3925328B2
Application number: JP2002188517A
Authority: JP
Inventors: 高生山下
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-06-27
Filing date: 2002-06-27
Publication date: 2007-06-06
Anticipated expiration: 2022-06-27
Also published as: JP2004030452A

Description

【０００１】
【発明の属する技術分野】
本発明はデータ複製方法に関し、特に電子商取引で用いられる数値データの複製方法に関する。
【０００２】
近年のインターネットの発展に伴い、ネットワークを通じて商品等の売買を行なう電子商取引が広く行なわれつつある。電子商取引では、通常の商取引と同様に、商品等の製造会社や販売会社が存在する場合や製造会社が直接顧客に販売する場合がある。インターネットのような、大規模分散環境において、電子商取引を実現するシステムでは、多くの顧客や販売会社からの要求を処理する処理能力の向上およびサーバやネットワークの故障に対する耐故障性の増大を実現するために、複数の同じ処理を行なうサーバに、商品等の在庫数や預金の残高などの電子商取引に必要なデータを複製して持たせる、データ複製という方法が用いられる。そして、これらの複製されたデータをもつサーバに対して、データの更新要求や参照要求を行ない、サーバは、これらの要求を処理する。
【０００３】
本方式は、このように、特に電子商取引で頻繁に用いられる数を表す数値データを複製して管理・利用するデータ複製システムに利用するものである。
【０００４】
【従来の技術】
従来の技術としては、以下の方法１、方法２、および方法３がある。
【０００５】
・（方法１）Write-One-Write-AllやQuorum Consensus（文献 P.A.Bernstein, V.Hadzilacos, N.Goodman著,“Concurrency Control and Recovery in Database Systems”, ADDISON-WESLEY PUBLISHING COMPANY, 1987年出版）
を用いた強一貫性を維持する方法。
【０００６】
・（方法２）lazy replication（文献 R.Ladin著,“Lazy replication: Exploiting the semantics if distributed services”, Proceedings of the Workshop on Management of Replicated Data, pp.31-34, 1990および、文献 R.Ladin著,“Providing high availability using lazy replication”, ACM Transaction on Computer Systems, Vol.10, pp.360-391, November 1992）やOptimistic replication法（A.A.Helal, A.A.Heddaya, B.B.Bhargava著,“REPLICATION TECHNIQUES IN DISTRIBUTED SYSTEMS”, KLUWER ACADEMIC PUBLISHERS, 1996年発行）を用いる方法。
【０００７】
・（方法３）商品分配戦略（U.Centintemel, B.Ozden, M.Franklin, V.Silberschats著,“Design and evaluation of redistribution strategies for wide-area commodity distribution”, in the proceedings of the IEEE International Conference on Distributed Computing Systems, pp.154-161, 2001）。
【０００８】
方法１は、Read-One-Write-AllやQuorum Consensus を用いてOne Copy Serializabilityという、あたかも一つのデータベースしか存在しないかのように、複製データを管理する方法である。この方法は、データの一貫性という面では、理想的であるが、更新要求や参照要求を処理するときに、一貫性を維持するため、いくつかのサーバ間で同期的に処理を行なうため、サーバ間での通信によるオーバヘッドが大きくなる。
【０００９】
方法２は、データの更新要求や参照要求を受け取ったサーバが、最初、そのサーバの持つ情報のみを用いて要求を処理する。次に、更新要求のように他のサーバに影響を与える処理については、非同期に他のサーバに伝達されて、各サーバでの処理を行なう。この方法の場合、更新および参照要求の処理能力を向上させることができる一方で、更新が次々にサーバを非同期に伝搬していくため、２つ以上の別々のサーバで最初行なわれた更新要求について、更新要求を受け取ったサーバでは、更新が成功しても、非同期に伝搬していく際に、これらの更新を同時に満足できない場合が発生する。このような場合には、同時に満足できない要求のうち、いくつかを成功させるために、他の要求を破棄する処理を行なう。
【００１０】
方法３は、データ複製を行なう方法ではなく、電子商取引において、ユーザからの購入依頼を受け付ける各サーバに、どのように商品の数を分配するかを決める戦略を規定した方法である。
【００１１】
【発明が解決しようとする課題】
上記の従来の技術を用いた場合、以下のような問題が発生する。
【００１２】
１.方法１を用いた場合、ある更新要求処理を行なうために、複製のサーバが同期的に処理を行なうため、耐故障性という面からは有効であるが、更新要求の処理能力の向上という面からは、特に、現在のインターネットのような大規模ネットワーク環境で、電子商取引を実現するには、十分な要求処理性能をもつシステムを構築することが難しい。
【００１３】
２.方法２を用いた場合、更新要求や参照要求を処理する時、サーバ間で非同期に処理を行なうため、要求処理性能を大幅に向上させることが可能である。しかし、電子商取引において、この方法を用いた場合、次のような問題が発生する。
【００１４】
これまで、商取引にデータ複製を行なったデータベースを用いる場合、データベースのエンドユーザは、販売員などである。通常このようなエンドユーザは、データベースを、その業務として使用しているため、エキスパートであることがほとんどである。よって、更新要求を出して、一度成功した更新要求が破棄されるような状況でも、他の代替策を事前および事後に打つことで、顧客に直接、影響を与えることを少なくすることができた。しかし、電子商取引においては、データ複製を行なったデータベースのエンドユーザは、実際の顧客など、データベースの専門家である場合は、ほとんどないと考えられる。よって、顧客に業務に関する多くの専門知識を要求することが難しく、円滑な電子商取引システムの構築が難しくなる。
【００１５】
方法３を用いた場合、
（ａ）この方法は、上記のようにデータ複製を行なう方法ではない。よって、例えば、ある顧客があるサーバに割り振られた商品を超えた数の商品の購入を考えた場合、顧客または、要求を受け付けたサーバが他のサーバに割り振られた商品を取得することで顧客の希望する商品数を揃えることができるかというように、全体量を必要とするような処理を行なうための判断が難しくなる。
（ｂ）この方法は、ある商品数があるときに、その商品を各サーバに分配する方法である。よって、商品の供給が時々刻々と行なわれ、且つ、エンドユーザによる商品購入も時々刻々と行なわれているときや、大量の商品の返却があり、これをすべてのサーバに再分配するといった、複雑なオペレーションを行なうことが難しい。
（ｃ）ある製造会社から供給される商品等を複数の販売会社が、顧客に提供する場合、販売会社間での公平性を維持する必要がある。しかし、方法３を用いた場合、製造会社と販売会社のように複数に分かれた組織でビジネスを展開しているような場合、ユーザからの要求に関連した情報を取得できないために、適用が困難である、
という問題が発生する。
【００１６】
本発明は上記問題点を解決し、電子商取引で複数の同じ処理を行なうサーバにおける新規なデータ複製方式を提供することを目的とする。
【００１７】
【課題を解決するための手段】
・方法１の同期的な更新・参照要求処理によって発生する、要求処理能力の向上が困難となる問題を生じさせず、耐故障性を向上させるために、更新および参照要求をサーバが処理する方法として非同期的な方法を採用する。
・数値データの更新について、全体として変更できる数値データの範囲を各サーバに分割・分配し、各サーバが優先的に変更できる範囲として用いることで、要求処理の成否を処理を実行した時点で判断することができる。
・上記の全体として変更できる数値データの範囲の分割・分配の際に、分配を方法３のような数値そのものの分配ではなく、全体として変更できる数値データの範囲およびその値に対する比率を各サーバに通知することによって行なう。
・方法３のように商品の数を減らす方向のみではなく、プラス側とマイナス側について対称な数値データ処理を行なう。
全体として変更できる数値データの範囲のうち、各サーバが優先的に変更できる範囲の変更を必要とするとき、「変更後にすべてのサーバが同じ量の増加または減少を必要とする」という意味の公平性を実現するように、各サーバが優先的に変更できる範囲を再分配する。
という方法によって、上記の問題を解決する。
【００１８】
【発明の実施の形態】
［各複製ノードの動作］
［システム構成］本方式を実現するシステムには、同一のデータを管理するデータベースをもつプロセスが複数存在する。このプロセスを複製ノードと呼ぶものとする。本システムでは、さらに、複製ノードは、物理的なネットワークに接続されており、この物理ネットワークを通じて互いに通信を行なう。また、各複製ノードは、仮想的なリンクによって結合され、図１に示すように仮想的なネットワークで構成している。
【００１９】
本システムでは、クライアントからの変更要求、参照要求が、一つの複製ノードに送られる。そして、この複製ノードで処理を行ない、成功・失敗および、参照要求時の値がクライアントに返答される。その後、変更要求が上記の仮想的なネットワークを通じて他のすべての複製ノードに通知される。
【００２０】
[数値データの特性] 本システムで扱うデータは、数値で表されるものとする。更に、この数値には、図２に示すように、当該データの正当性を表す範囲が属性として与えられる。すなわち、この範囲の上限以下かつ下限以上にデータの数値があるとき、データが正当性があると判断する。本システムでは、上記の上限値と数値データの現在の値との差をプラス側全体可変限界と呼び、現在の数値データの値と下限値との差をマイナス側全体可変限界と呼ぶものとする。
【００２１】
[複製ノードの動作に用いる変数] 複製ノードでは、各データ毎に以下の変数を保持し、数値データの処理に用いる。
【００２２】
全体累積可変限界全体累積可変限界には、プラス側およびマイナス側全体累積可変限界が存在する。プラス側およびマイナス側全体累積可変限界は、それぞれ当該プロセスが通知されて認識しているプラス側およびマイナス側全体可変限界を表す。
【００２３】
単体可変限界率単体可変限界率には、プラス側およびマイナス側単体可変限界率が存在する。プラス側およびマイナス側単体可変限界率は、それぞれ、当該プロセスが当該数値データに対して、プラス側およびマイナス側に変更可能な変位量の全体可変限界に対する割合を表す。
【００２４】
単体可変限界消費率単体可変限界消費率にはプラス側およびマイナス側単体可変限界消費率が存在する。プラス側およびマイナス側単体可変限界消費率の変更は、当該プロセスが実際に行なった数値データへの変更の結果生じる、それぞれ、プラス側およびマイナス側変位量のプラス側およびマイナス側全体累積可変限界と単体可変限界率の積に対する割合を表す。
【００２５】
[複製ノードの処理手順] 複製ノードｉのもつ上記変数を以下のように定める。
・プラス側全体累積可変限界：Ａ_＋ ^（ｉ）
・マイナス側全体累積可変限界：Ａ₋ ^（ｉ）
・プラス側単体可変限界率：ｌ_＋ ^（ｉ）
・マイナス側単体可変限界率：ｌ₋ ^（ｉ）
・プラス側単体可変限界消費率：ｒ_＋ ^（ｉ）
・マイナス側単体可変限界消費率：ｒ_＋ ^（ｉ）
【００２６】
プラス側の変更要求が来た時は、以下のように処理を行なう。まず、変更要求の変位量をｖ_＋とする。
【００２７】
１．以下を計算する
【数１４】

もし、条件を満たせば、処理できると判断し、変更要求をデータに反映させる。
【００２８】
２．以下のように、プラス側単体可変限界消費率を変更する。
【数１５】

【００２９】
３．マイナス側全体累積可変限界を変更する。
Ａ₋＝Ａ₋＋ｖ_＋（３）
【００３０】
４．マイナス側単体可変限界消費率を変更する。
【００３１】
【数１６】

【００３２】
マイナス側の変更要求が来た時は、以下のように処理を行なう。まず、変更要求の変位量を、ｖ₋とする。
【００３３】
１．以下を計算する。
【数１７】

もし、条件を満たせば、処理できると判断し、変更要求をデータに反映させる。
【００３４】
２．以下のように、マイナス側単体可変限界消費率を変更する。
【数１８】

【００３５】
３．プラス側全体累積可変限界を変更する。
Ａ_＋＝Ａ_＋＋ｖ₋ (７)
【００３６】
４．プラス側単体可変限界消費率を変更する。
【数１９】

【００３７】
複製ノードの上記動作フローチャートを図３に示す。
【００３８】
［公平性の定義］
本方式において、プラス側全体可変限界およびマイナス側全体可変限界を、各サーバに対して、それぞれプラス側単体可変限界およびマイナス側単体可変限界として分配する際、プラス側単体可変限界および、マイナス側単体可変限界をプラス側全体累積可変限界およびマイナス側全体累積可変限界に対する比率として定義する。このプラス側およびマイナス側の比率は、上記のように、それぞれプラス側およびマイナス側単体可変限界率と呼ぶ。更に、このとき、プラス側単体可変限界率およびマイナス側単体可変限界率の取り得る値を、離散的な値としてｄ₁，ｄ₂，ｄ₃，…，ｄ_ｎ（ｄ₁＜ｄ₂＜ｄ₃＜…＜ｄ_ｎ）とし、任意のｉ（ｉ＝１,２,３,…,ｎ−1）について、ｄ_ｉ＋１−ｄ_ｉが一定値とする。
【００３９】
各複製ノードがプラス側およびマイナス側単体可変限界率の変更を要求するとき、複製ノードｉの前記単体可変限界率に対する変更要求をｃ^（ｉ）と表すものとする。複製ノードｉは、単体可変限界率がｄ_ｂであり、変更後の単体可変限界率がｄ_ａのとき、ｃ^（ｉ）＝ａ−ｂである。
【００４０】
今、複製ノードｉのプラス側およびマイナス側単体可変限界率が、それぞれｌ_＋ ^（ｉ）＝ｄ_ｐおよびｌ₋ ^（ｉ）＝ｄ_ｑであるとき、プラス側およびマイナス側単体可変限界率のレベルがｐおよびｑであると呼ぶことにし、複製ノードｉのプラス側および、マイナス側単体可変限界率のレベルを、それぞれＬ_＋ ^（ｉ）およびＬ₋ ^（ｉ）とする。また、複製ノードｉのプラス側およびマイナス側単体可変限界率の変更後に必要なレベルを、それぞれ
【数２０】

および
【数２１】

とする。
【００４１】
変更後は、
【数２２】

および
【数２３】

とする。ただし、Ｍは、
【数２４】

または、
【数２５】

である。このようにすることで、各複製ノードの必要とする単体可変限界率のレベルは、変更後
【数２６】

または、
【数２７】

だけ減じられ、同じまたは最低の差となることで公平性を実現する。ここで、Ｎは、複製ノードの総数を表すものとする。
【００４２】
ただし、
【数２８】

はＡを上回らない最大の整数をあらわし、
【数２９】

はＡを下回らない最小の整数をあらわす。
【００４３】
［公平性実現の動作］
上記の公平性の定義を実現するために、各複製ノードｉは、プラス側およびマイナス側単体可変限界率について以下の処理を行なう。プラス側およびマイナス側の処理は、共通であるため、Ｌ_＋ ^（ｉ）およびＬ₋ ^（ｉ）をＬ^（ｉ）、また、
【数３０】

および
【数３１】

を
【数３２】

と以下で表す。
【００４４】
１．各複製ノードｉは、
【数３３】

を計算する。
【００４５】
２．あるセンターノードに対して、ｃ^（ｉ）をすべて集める。
【００４６】
３．
【数３４】

を計算する。
【００４７】
４．
【数３５】

のとき、ＧをＧ＝Ｎとして変更し、Ｇ個の複製ノードを選択し、その選択されたノードの集合をＳとする。
【００４８】
５．複製ノードｋについて、ｋ∈Ｓならば、
【数３６】

とする。
【００４９】
６．複製ノードｋについて、
【数３７】

ならば、
【数３８】

とする。
【００５０】
７．センターノードは、上記のＭを、各複製ノードに通知する。
【００５１】
８．各複製ノードで、
【数３９】

を計算して、変更後の単体可変限界率のレベルとする。
【００５２】
上記処理のフローチャートを図４に示す。
【００５３】
各複製ノードは、上記処理を行なった後、変更前および変更後の単体可変限界率をｌ^（ｉ）および
【数４０】

として計算して、プラス側単体可変限界消費率ｒ_＋ ^（ｉ）およびマイナス側単体可変限界消費率ｒ₋ ^（ｉ）を
【数４１】

および
【数４２】

に変更する。
【００５４】
【発明の効果】
本発明は以上述べたように、以下の課題について、
１．方法１における、更新および参照要求の処理能力向上に関する問題、
２．方法２における、更新要求処理時に、最終的な要求処理の成否判断の困難性の問題、
３．方法３における、全体量を用いた処理の実行の困難性の問題、
４．方法３における、数値データの増加および減少を同時に行なうような複雑なオペレーションを実行することの困難性の問題、
５．方法３における、複数の組織にわかれてビジネスを展開しているような場合の公平性実現の困難性の問題、
・課題１について、非同期的な更新・参照要求処理方法を採用し、
・課題２について数値データの全体として変更できる範囲を分割・分配し、優先処理できる範囲を割り当て、
・課題３について、上記優先処理できる範囲を全体として変更できる範囲に対する比率として各サーバに（複製ノード）通知し、
・課題４プラス側およびマイナス側について対称な数値データ処理を行ない、
・課題５について、公平性を定義し、前記公平性に基づいて、数値データの優先的に変更できる範囲を再分配する、
ことによって行なうことで、上記の課題を解決している。
【図面の簡単な説明】
【図１】本発明が対象とするシステム構成を示す。
【図２】数値データの特性を示す。
【図３】本発明による複製ノードにおける数値データの処理方法を示す。
【図４】本発明による複製ノード間の公平性の実現法を示す。

Claims

通信ネットワークに計算機が複数接続されており、各計算機上には、データを管理するプロセスが１つまたは複数動作しており、前記プロセスの管理するデータは数値データで表され、且つ、同一数値データをすべてのプロセスで複製して管理し、前記数値データを複製して管理するプロセスを複製ノードと呼び、数値データを管理する全てのプロセスがマスタ、すなわち管理するデータの更新を受付け、自プロセスのデータを変更して、他のプロセスに更新を伝搬していくプロセスであり、各プロセスが管理するデータの更新は、非同期に行われることによって、複数の複製ノード上の数値データがしだいに更新されていくデータ複製システムにおいて、
前記プロセスの管理する数値データに、当該数値データの上限および下限を割り当て、前記数値データが下限以上且つ上限以下にあるとき当該数値データが正当性があるとし、
用語と記号を次のように定義し、
プラス側全体可変限界；上限値と現在の数値データの値との差、
マイナス側全体可変限界；現在の数値データの値と下限値との差、
プラス側単体可変限界；プラス側全体可変限界を分割してプロセスに割当てる、
マイナス側単体可変限界；マイナス側全体可変限界を分割してプロセスに割当てる、
プラス側全体累積可変限界；プロセスが通知されて認識しているプラス側全体可変限界、
マイナス側全体累積可変限界；プロセスが通知されて認識しているマイナス側全体可変限界、
プラス側単体可変限界率；プロセスが数値データに対してプラス側に変更可能な変位量のプラス側全体可変限界に対する割合、
マイナス側単体可変限界率；プロセスが数値データに対してマイナス側に変更可能な変位量のマイナス側全体可変限界に対する割合、
プラス側単体可変限界消費率；プロセスが実際に行った数値データへのプラス側変位量のプラス側単体可変限界率とプラス側全体累積可変限界の積に対する割合、
マイナス側単体可変限界消費率；プロセスが実際に行った数値データへのマイナス側変位量のマイナス側単体可変限界率とマイナス側全体累積可変限界の積に対する割合、
プラス側変更；プロセスが数値データへの変更依頼を受け取ったとき、数値データを増加させるもの、
マイナス側変更；プロセスが数値データへの変更依頼を受け取ったとき、数値データを減少させるもの、
ｖ_＋；プラス側変更の変位量、
Ａ_＋；プラス側全体累積可変限界、
ｌ_＋；プラス側単体可変限界率、
ｒ_＋；プラス側単体可変限界消費率、
ｖ₋；マイナス側変更の変位量、
Ａ₋；マイナス側全体累積可変限界、
ｌ₋；マイナス側単体可変限界率、
ｒ₋；マイナス側単体可変限界消費率、
変位量ｖ_＋のプラス側変更を前記複製ノードが受け取った時、

のとき、前記プラス側変更の変更要求を受理して処理を行ない、数値データに対して要求された変位量ｖ_＋の変更を行ない、

とし、
マイナス側全体累積可変限界をＡ₋＝Ａ₋＋ｖ_＋として、前記変位量ｖ_＋だけ増加させ、
前記マイナス側全体累積可変限界の増加と供に、マイナス側単体可変限界消費率を、

として変更し、その後、前記変更依頼を他のノードに送信し、
変位量ｖ₋のマイナス側変更を前記複製ノードが受け取った時、

のとき、前記マイナス側変更の変更要求を受理して処理を行ない、数値データに対して要求された変位量ｖ₋の変更を行ない、

とし、
プラス側全体累積可変限界をＡ_＋＝Ａ_＋＋ｖ₋として、前記変位量ｖ₋だけ増加させ、
前記プラス側全体累積可変限界の増加と供に、プラス側単体可変限界消費率を、

として変更し、その後、前記変更依頼を他のノードに送信する、ことを特徴とするデータ複製方式。
複製ノードｊのプラス側またはマイナス側単体可変限界率をｌ^（ｊ）とし、前記プラス側およびマイナス側単体可変限界率の取り得る値を離散的な値、ｄ₁，ｄ₂，ｄ₃，…，＜ｄ_ｎ（ｄ₁＜ｄ₂＜ｄ₃＜…＜ｄ_ｎ）とし、任意のｉ（ｉ＝１,２,３,…,ｎ−1）について、ｄ_ｉ＋１−ｄ_ｉが一定値とし、前記ｉを単体可変限界率のレベルと呼び、
各複製ノードがプラス側およびマイナス側単体可変限界の変更を要求するとき、現在の単体可変限界率がｄ_ｂであり、変更後に必要とする単体可変限界率がｄ_ａのとき、ｄ_ａとｄ_ｂのレベルの差であるａ−ｂを要求し、
変更前および変更後に必要とする複製ノードｊの単体可変限界率のレベルをＬ^（ｊ）および

と表し、複製ノードｊの前記単体可変限界に対する変更要求を

とし、複製ノードの総数をＮとするとき、

を計算し、

が成立するときは、Ｇ＝Ｎとし、Ｓを、総ての複製ノードからランダムに選択したＧ個の複製ノードの集合とし、Ｓに含まれる複製ノードについては、

とし、それ以外の複製ノードについては、

とし、各ノードの変更後の単体可変限界率のレベルを、

とすることにより、単体可変限界を複製ノードの要求に応じて公平に分配することを特徴とする請求項１記載のデータ複製方式。