JP5698865B2 - データベースシステム、プログラムおよびデータ処理方法 - Google Patents
データベースシステム、プログラムおよびデータ処理方法 Download PDFInfo
- Publication number
- JP5698865B2 JP5698865B2 JP2014504113A JP2014504113A JP5698865B2 JP 5698865 B2 JP5698865 B2 JP 5698865B2 JP 2014504113 A JP2014504113 A JP 2014504113A JP 2014504113 A JP2014504113 A JP 2014504113A JP 5698865 B2 JP5698865 B2 JP 5698865B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- nodes
- unit
- backup
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2041—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with more than one idle spare processing component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Description
本発明の実施形態は、データベースシステム、プログラムおよびデータ処理方法に関する。
(シェアードナッシング型データベース)
従来より、シェアードナッシング型のデータベースシステムが知られている。シェアードナッシング型のデータベースシステムは、互いがネットワークで接続された複数のデータベースノードを備える。
従来より、シェアードナッシング型のデータベースシステムが知られている。シェアードナッシング型のデータベースシステムは、互いがネットワークで接続された複数のデータベースノードを備える。
複数のデータベースノードのそれぞれは、プロセッサ、メモリおよびストレージ等のリソースを個別に有するコンピュータである。シェアードナッシング型のデータベースシステムは、データベースノード毎にリソースが完全に分離されているので、データベースノード間でアクセス競合が発生しない。従って、シェアードナッシング型のデータベースシステムは、データベースノードを増やすことにより性能を線形に向上させることができる。すなわち、シェアードナッシング型のデータベースシステムは、データベースノードを追加するスケールアウトが効率良く実現できるシステムである。
(パーティショニング)
シェアードナッシング型のデータベースシステムでは、パーティショニングと呼ばれる技術を適用できる。パーティショニングは、データベースを複数に分割し、分割したそれぞれのデータ集合(パーティションと呼ばれる。)を複数のデータベースノードに分散して記憶させる技術である。パーティショニングを適用したシェアードナッシング型のデータベースシステムは、それぞれのデータベースノードに記憶させるデータ集合を小さくできるので、クライアントからのアクセスを複数のデータベースノードに分散させることができる。
シェアードナッシング型のデータベースシステムでは、パーティショニングと呼ばれる技術を適用できる。パーティショニングは、データベースを複数に分割し、分割したそれぞれのデータ集合(パーティションと呼ばれる。)を複数のデータベースノードに分散して記憶させる技術である。パーティショニングを適用したシェアードナッシング型のデータベースシステムは、それぞれのデータベースノードに記憶させるデータ集合を小さくできるので、クライアントからのアクセスを複数のデータベースノードに分散させることができる。
(シャーディング)
データベース技術の一つに、シャーディングと呼ばれる技術がある。シャーディングは、データをより小さなデータに分割し、複数のデータベースノードに自動的に分散して保存する技術である。シャーディングは、シェアードナッシング型のデータベースシステムのパーティショニングと類似した技術である。
データベース技術の一つに、シャーディングと呼ばれる技術がある。シャーディングは、データをより小さなデータに分割し、複数のデータベースノードに自動的に分散して保存する技術である。シャーディングは、シェアードナッシング型のデータベースシステムのパーティショニングと類似した技術である。
(分散キーバリュー型データベース)
また、キーバリュー型データベースが知られている。キーバリュー型データベースは、プログラミング言語の連想配列またはMapと同様にキーとバリューとのペアからなる単純なデータモデルに基づくデータベースである。また、キーバリュー型データベースをキーによりシャーディングすることで分散化した分散キーバリュー型データベースも知られている。
また、キーバリュー型データベースが知られている。キーバリュー型データベースは、プログラミング言語の連想配列またはMapと同様にキーとバリューとのペアからなる単純なデータモデルに基づくデータベースである。また、キーバリュー型データベースをキーによりシャーディングすることで分散化した分散キーバリュー型データベースも知られている。
キーバリュー型データベースは、データモデルが単純であるので、シャーディングおよびパーティショニングの処理が容易である。また、分散キーバリュー型データベースは、複数のキーバリュー型データベースノードを使って、単一のキーバリュー型データベースノードでは対応できないような大規模なデータ集合を処理することができる。従って、分散キーバリュー型データベースを、複数のデータベースノードを備えるシェアードナッシング型のデータベースシステムに適用することにより、スケールアウトが可能な大規模なデータベースシステムを実現することができる。
さらに、このような分散キーバリュー型データベースを適用したシェアードナッシング型のデータベースシステム(以下、スケールアウト型データベースシステムと呼ぶ)は、複数のデータベースノードに均等にデータを配置することにより、クライアントからのアクセスを分散させて、全体としてスループットおよびレスポンスを向上させることができる。
"MongoDB Manual Contents"、[Online]、10gen、[平成25年1月18日検索]、インターネット<URL:http://docs.mongodb.org/manual/contents/>
ところで、スケールアウト型データベースシステムでは、データの複製(レプリカ)を他のデータベースノードに記憶させるレプリケーションと呼ばれる技術が適用される。スケールアウト型データベースシステムは、レプリケーションを行うことで、あるデータベースノードに障害が生じたとしても、レプリカを記憶したデータベースノードを用いてサービスを継続することができる。データのレプリカを記憶するデータベースノードの個数を冗長度と呼ぶ。スケールアウト型データベースシステムでは、例えば冗長度として2個または3個が設定される。
ここで、スケールアウト型データベースシステムは、データベースノードに障害が発生し、障害が発生したデータベースノードを切り離すと、予め設定した値よりも冗長度が低下する。スケールアウト型データベースシステムは、冗長度が低下したまま長時間を稼動し続けると、更なるデータベースノードの障害が発生したときにシステム全体の動作停止または広範囲のデータ損失が発生する可能性が高くなる。このため、スケールアウト型データベースシステムでは、データベースノードに障害が発生した後に、新たなデーベースノードを追加し、追加されたデータベースノードにレプリカを記憶させて冗長度を元に戻す仕組みが必要である。
また、スケールアウト型データベースシステムでは、データの配置によっては、記憶するデータ量がデータベースノード間で不均衡となる場合がある。また、スケールアウト型データベースシステムでは、データの配置によっては、クライアントからのアクセス量がデータベースノード間で不均衡となる場合がある。
このようなデータ配置の不均衡が大きくなると、スケールアウト型データベースシステムでは、データ量の多いデータベースノードまたはクライアントからのアクセスのデータベースノードでの処理時間が相対的に長くなる。スケールアウト型データベースシステムは、クライアントからのアクセスを分散させることがメリットの一つであるので、このようなデータ配置の不均衡によりメリットが失われてしまう。
以上のような冗長度の低下およびデータ配置の不均衡を解決するために、スケールアウト型データベースシステムは、データ配置に不均衡が生じた時点で複数のデータベースノードへのデータの再配置処理をしなければならない。
しかしながら、従来のデータベースシステムでは、このような再配置処理を、サービスを停止した状態で実施しなければならなかった。また、従来のデータベースシステムでは、データの再配置処理の負荷が非常に高いので、効率良く処理を実行しなければ著しく処理効率を悪化させてしまっていた。
実施形態に係るデータベースシステムは、データベースを記憶する複数のノードと、複数のノードを管理する管理装置と、を備える。管理装置は、第1割当部と、第2割当部とを有する。第1割当部は、複数のノードのそれぞれの状況の変更に応じて、データ集合を記憶してデータ集合へのアクセス要求を受け付ける第1ノード、および、データ集合を記憶して第1ノードのバックアップとなる第2ノードを割り当てて、複数のノードのそれぞれに割り当てに応じた動作を指示する。第2割当部は、複数のノードの状況と、第1ノードおよび第2ノードの割り当て状況の変更に応じて、第1ノードまたは第2ノードの候補となる第3ノードを割り当てて、複数のノードのそれぞれに対して、第3ノードに第1ノードまたは第2ノードとして動作させるための準備を指示する。複数のノードのそれぞれは、第1ノードまたは第2ノードのデータ集合を、第3ノードに送信する転送部、を有する。
図1は、実施形態に係るデータベースシステム10のハードウェア構成を示す図である。データベースシステム10は、外部のコンピュータであるクライアントからデータベースに対するアクセス要求(例えば、参照、更新または登録)をネットワークを介して受信し、受信したアクセス要求に応じた処理を実行する。
データベースシステム10は、管理装置20と、複数のノード30とを備える。管理装置20および複数のノード30は、ネットワークを介して互いに接続される。なお、図1には2個のノード30が示されているが、データベースシステム10は、3個以上のノード30を備えてもよい。
データベースシステム10は、一例として、分散キーバリュー型データベースをシェアードナッシング型のデータベースに適用したスケールアウトが可能なデータベースシステムである。このようなデータベースシステム10は、複数のノード30にデータ集合が分散されているが、外部のコンピュータであるクライアントから巨大な一つのデータベースとしてアクセスされる。
管理装置20および複数のノード30のそれぞれは、互いにハードウェア的に独立したコンピュータである。複数のノード30のそれぞれは、クライアントからのアクセス要求を独立に受け付け、アクセス要求に応じた処理を独立にすることができる。
管理装置20および複数のノード30のそれぞれは、一例として、CPU(Central Processing Unit)12、メモリ13、通信I/F14およびストレージI/F15を有する。また、管理装置20および複数のノード30のそれぞれは、ストレージI/F15を介して外部記憶装置16に接続される。なお、外部記憶装置16は、ノード30の内部に設けられていてもよい。
また、データベースシステム10は、データベースを複数のパーティションに分割して記憶する。パーティションの数は、予め定められている。データベースを分割する方法は、予め定められた方法であれば、どのような方法であってもよい。
複数のノード30のそれぞれは、複数のパーティションのそれぞれ毎に、オーナーとしての役割を担うか、バックアップとしての役割を担うか、または、オーナーおよびバックアップの何れの役割も担わないかが割り当てられる。
オーナーは、対応するパーティションのデータ集合を記憶して、対応するパーティションのデータ集合へのクライアントからのアクセス要求を受け付けて処理する。また、バックアップは、対応するパーティションのデータ集合を記憶して、例えばオーナーに障害が発生したときに、代わってオーナーの役割を担えるように、オーナーをバックアップする。なお、オーナーおよびバックアップと呼ばずに、マスターおよびスレーブと呼ばれる場合もある。
管理装置20は、複数のノード30を管理する。管理装置20は、一例として、複数のパーティションのそれぞれ毎に、オーナーとするノード30およびバックアップとするノード30を割り当てる。
この場合において、管理装置20は、何れかのノード30の故障によっても可能な限りデータベースが復元されるように冗長度を予め定められた範囲で持たせるように、バックアップとするノード30を割り当てる。さらに、管理装置20は、データベースに含まれるデータ集合が複数のノード30に分散して配置されるように、オーナーおよびバックアップとするノード30を割り当てる。
なお、管理装置20は、何れかのノード30に設けられてもよい。また、管理装置20として機能するノード30は、任意のアルゴリズムにより選択されてもよい。また、管理装置20として機能するノード30に障害が発生した場合には、他のノード30が管理装置20として機能してもよい。
このようなデータベースシステム10は、複数のノード30のうち何れかのノード30に障害が発生した場合には、障害が発生したノード30を切り離すことができる。また、データベースシステム10は、新たにノード30を追加して、データベースの性能を向上させることができる。
図2は、実施形態に係るデータベースシステム10の機能構成を示す図である。
管理装置20は、表記憶部21と、第1割当部22と、第2割当部23と、クラスタ管理部24とを有する。第1割当部22、第2割当部23およびクラスタ管理部24は、管理装置20のCPU12がプログラムを実行することにより実現される。また、第1割当部22、第2割当部23およびクラスタ管理部24は、一部または全部がハードウェア回路で実現されてもよい。また、表記憶部21は、管理装置20のメモリ13または外部記憶装置16により実現される。
表記憶部21は、複数のパーティションのそれぞれに対する複数のノード30のそれぞれの役割を定めるための4つの表を記憶する。4つの表のそれぞれは、テーブル形式のデータであってもよいし、テーブル形式以外のデータであってもよい。
具体的には、表記憶部21は、データ保持表、現役割表、次役割表および目標役割表を記憶する。
データ保持表は、複数のパーティションのそれぞれに対する、複数のノード30のそれぞれのタイムスタンプを格納する。タイムスタンプは、対応するノード30が記憶している対応するパーティションのデータ集合の更新履歴を表す。タイムスタンプは、一例として、データ集合が更新される毎にインクリメントされる値である。従って、あるパーティションにおけるタイムスタンプの最も大きいノード30は、そのパーティションの最新のデータ集合を記憶しているノード30であることを意味する。
なお、データベースのサイズが時間とともに増加していく場合、データ保持表は、タイムスタンプに代えて、対応するノード30が記憶している対応するパーティションのデータ集合のサイズまたはデータ数等を格納してもよい。
データ保持表は、一例として、図3に示されるように、行によりノード30が特定され、列によりパーティションが特定される。この場合、データ保持表は、行および列が直交するそれぞれのセルに、その行により特定されるノード30が記憶している、その列により特定されるパーティションのデータ集合のタイムスタンプを格納する。
現役割表は、複数のパーティションのそれぞれに対する、複数のノード30のそれぞれに割り当てられたデータベースでの役割を格納する。具体的には、現役割表は、複数のパーティションのそれぞれに対して、複数のノード30のそれぞれがオーナーとして割り当てられているか、バックアップとして割り当てられているか、または、オーナーとしてもバックアップとしても割り当てられていないかを格納する。
現役割表は、一例として、図4に示されるように、行によりノード30が特定され、列によりパーティションが特定される。この場合、現役割表は、行および列が直交する位置のそれぞれのセルに、その列により特定されるパーティションに対する、その行により特定されるノード30に割り当てられた役割を格納する。なお、図面には、オーナーとしての役割が割り当てられていることを“OWNER”または“O”と記載し、バックアップとしての役割が割り当てられていることを“BACKUP”または“B”を記載し、オーナーにもバックアップにも割り当てられていないことを“None”または“N”を記載し若しくは空白とする。
次役割表は、複数のパーティションのそれぞれに対する、複数のノード30のそれぞれに次に割り当てられる役割を格納する。すなわち、次役割表は、複数のパーティションのそれぞれに対して、複数のノード30のそれぞれが、次に、オーナーとして割り当てられているか、バックアップとして割り当てられているか、または、オーナーとしてもバックアップとしても割り当てられていないかを格納する。次役割表は、例えばノード30に障害が発生したり新たなノード30が追加されたりした場合等に、現役割表と置き換えられる表である。
次役割表は、一例として、図5に示されるように、行によりノード30が特定され、列によりパーティションが特定される。この場合、次役割表は、行および列が直交する位置のそれぞれのセルに、その列により特定されるパーティションに対する、その行により特定されるノード30に割り当てられた次の役割を格納する。
目標役割表は、複数のパーティションのそれぞれに対する、複数のノード30のそれぞれに割り当てられたバックアップの候補としての役割を格納する。バックアップの候補は、将来、そのパーティションに対して、そのノード30がオーナーまたはバックアップとしての役割を担うための準備をする役割である。なお、本実施形態の説明では、役割の名称を「バックアップの候補」としているが、バックアップの候補に割り当てられたノード30が、将来、オーナーとなってもよい。
目標役割表は、一例として、図6に示されるように、行によりノード30が特定され、列によりパーティションが特定される。この場合、目標役割表は、行および列が直交する位置のそれぞれのセルに、その列により特定されるパーティションに対する、その行により特定されるノード30に割り当てられたバックアップの候補としての役割を格納する。なお、図面には、バックアップの候補としての役割が割り当てられている場合には“MID−BACKUP”または“M”を記載し、バックアップの候補として割り当てられていない場合には空白とする。
第1割当部22は、複数のノード30のそれぞれの状況の変更に応じて、複数のパーティションのそれぞれに対して、オーナーとなるノード30、および、バックアップとなるノード30を割り当てる。また、例えば、複数のノード30のうちの何れかのノード30で障害が発生した場合、第1割当部22は、障害が発生したノード30を除いてオーナーおよびバックアップとなるノード30を再度割り当てる。
また、新たなノード30が追加された場合、第1割当部22は、複数のパーティションのそれぞれに対して、新たなノード30を含めてオーナーおよびバックアップとなるノード30を再度割り当てる。また、バックアップの候補として割り当てられたノード30へのデータ集合の送信が完了したことによりオーナーまたはバックアップとなることができるノード30が新たに発生した場合、第1割当部22は、複数のパーティションのそれぞれに対してオーナーおよびバックアップとなるノード30を再度割り当てる。
ここで、第1割当部22は、複数のパーティションの全てに対して、少なくともオーナーが存在するように、オーナーおよびバックアップとなるノード30を割り当てる。これにより、第1割当部22は、少なくともデータベースを機能させることができる。
また、第1割当部22は、少なくともデータベースを機能させることを条件として、予め定められた範囲内の冗長度を有するように、複数のパーティションのそれぞれに対してオーナーおよびバックアップとなるノード30を割り当てる。これにより、第1割当部22は、何れかのノード30に障害が発生しても、少なくともデータベースを機能させることができる可能性を高くすることができる。
また、第1割当部22は、少なくともデータベースを機能させ且つ予め定められた範囲内の冗長度を有する条件として、オーナーおよびバックアップが複数のノード30のそれぞれに分散するように、複数のパーティションのそれぞれに対してオーナーおよびバックアップとなるノード30を割り当てる。これにより、第1割当部22は、複数のノード30のそれぞれの処理の負荷を均等とすることができる。
なお、本例においては、第1割当部22は、次役割表を計算することにより、オーナーおよびバックアップとなるノード30を割り当てる。第1割当部22による次役割表の算出方法の一例については、図13を参照して後で説明する。
第2割当部23は、複数のノード30の状況および現割当表により割り当てられるオーナーおよびバックアップの割り当て状況の変更に応じて、複数のパーティションのそれぞれに対して、バックアップの候補となるノード30を割り当てる。また、例えば複数のノード30のうちの何れかのノード30で障害が発生した場合、第2割当部23は、障害が発生したノード30を除いてバックアップの候補となるノード30を再度割り当てる。また、例えば、新たなノード30が追加された場合、第2割当部23は、複数のパーティションのそれぞれに対して、新たなノード30を含めてバックアップの候補となるノード30を再度割り当てる。
ここで、第2割当部23は、将来において予め定められた範囲内の冗長度を有するように、複数のパーティションのそれぞれに対してバックアップの候補となるノード30を割り当てる。これにより、第2割当部23は、将来において何れかのノード30に障害が発生しても、少なくともデータベースを機能させることができる可能性を高くすることができる。
また、第2割当部23は、将来においてオーナーおよびバックアップが複数のノード30のそれぞれに分散して割り当てられるように、複数のパーティションのそれぞれに対してバックアップの候補となるノード30を割り当てる。これにより、第2割当部23は、将来において複数のノード30のそれぞれの処理の負荷を均等とすることができる。
なお、本例においては、第2割当部23は、目標役割表を計算することにより、バックアップの候補となるノード30を割り当てる。第2割当部23による目標役割表の算出方法の一例については、図14を参照して後で説明する。
クラスタ管理部24は、複数のノード30のそれぞれとネットワークを介してメッセージをやり取りして、複数のノード30のそれぞれを管理する。例えば、クラスタ管理部24は、一定時間毎に、ハートビートと呼ばれるメッセージを複数のノード30のそれぞれとやり取りする。そして、クラスタ管理部24は、ハートビートの返信の有無によって、障害が発生したノード30を特定する。
また、クラスタ管理部24は、定期的に、複数のノード30のそれぞれからデータ保持表を受信する。そして、クラスタ管理部24は、全てのノード30から受信したデータ保持表をまとめて表記憶部21に記憶させる。また、クラスタ管理部24は、データ保持表が受信できたか否かによって、障害が発生したノード30を特定する。
また、クラスタ管理部24は、起動時に、第1割当部22に次役割表を算出させ、算出させた次役割表を複数のノード30のそれぞれに配布することにより複数のノード30のそれぞれに割り当てに応じた動作を指示する。また、クラスタ管理部24は、定期的に、第1割当部22に次役割表を算出させる。そして、クラスタ管理部24は、算出させた次役割表が現役割表から変化した場合、算出させた次役割表を複数のノード30のそれぞれに配布することにより複数のノード30のそれぞれに割り当てに応じた動作を指示する。そして、クラスタ管理部24は、次役割表を配布後、表記憶部21に記憶されている現役割表を、次役割表の内容に更新する。
例えば、何れかのノード30に障害が発生した場合、新たなノード30の追加があった場合、または、候補として割り当てられたノード30へのデータ集合の送信が完了してバックアップとして割り当て可能なノード30が発生した場合、第1割当部22は、算出した次役割表が現役割表から変化する。従って、クラスタ管理部24は、このような場合、次役割表を複数のノード30のそれぞれに配布する。
また、クラスタ管理部24は、定期的に、第2割当部23に目標役割表を算出させ、算出した目標役割表を複数のノード30のそれぞれに配布する。クラスタ管理部24は、目標役割表を配布することにより、複数のノード30のそれぞれに対して、候補として割り当てられたノード30にオーナーまたはバックアップとして動作させるための準備を指示する。なお、クラスタ管理部24は、次役割表と目標役割表とを異なる周期で算出させる。
複数のノード30のそれぞれは、データストア部31と、表記憶部32と、アクセス処理部33と、ノード管理部34と、転送部35とを有する。アクセス処理部33、ノード管理部34および転送部35は、ノード30のCPU12がプログラムを実行することにより実現される。また、アクセス処理部33、ノード管理部34および転送部35は、一部または全部がハードウェア回路で実現されてもよい。データストア部31および表記憶部32は、ノード30のメモリ13または外部記憶装置16により実現される。
データストア部31は、データベースを分割した複数のパーティションのうち、自ノードが現役割表によりオーナーまたはバックアップに割り当てられたパーティションのデータ集合を記憶する。例えば、図7に示されるように、3つに分割されたパーティション#1〜#3のうち、自ノードが、パーティション#1に対してオーナーに割り当てられ、パーティション#3に対してバックアップに割り当てられているとする。この場合、データストア部31は、パーティション#1およびパーティション#3のデータ集合を記憶する。
また、ノード30は、目標役割表によりバックアップの候補に割り当てられたパーティションについては、そのパーティションのオーナーに割り当てられたノード30からデータ集合を受信する。データストア部31は、自ノードが目標役割表によりバックアップの候補に割り当てられたパーティションのデータ集合における、オーナーのノード30から受信済みの一部または全部を記憶する。
表記憶部32は、データ保持表の自ノードに対応する部分を記憶する。また、表記憶部32は、現役割表、次役割表および目標役割表を記憶する。現役割表は、次役割表を受信した場合、次役割表の内容に書き換えられる。目標役割表は、定期的に受信する目標役割表が変化した場合には、変化後の内容に書き換えられる。
アクセス処理部33は、クライアントからのアクセス要求をネットワークを介して受信する。そして、アクセス処理部33は、複数のパーティションのそれぞれに対して、現役割表により自ノードに対して割り当てられた役割に応じた処理を実行する。
具体的には、アクセス処理部33は、現役割表によりオーナーとして割り当てられたパーティションに対するクライアントからのアクセス要求を受け付けて、そのアクセス要求に応じた処理を実行する。アクセス処理部33は、一例として、参照要求を受け付けた場合には、そのパーティションのデータ集合の中の対応するデータを読み出してクライアントに送信する。また、アクセス処理部33は、一例として、更新要求を受け付けた場合には、そのパーティションのデータ集合の対応するデータを更新する。また、アクセス処理部33は、一例として、登録要求を受け付けた場合には、そのパーティションのデータ集合に新たなデータを登録する。
なお、アクセス処理部33は、一連のアクセス要求を含むトランザクションを受け付けてもよい。この場合、アクセス処理部33は、クライアントからの一連のアクセス要求をトランザクション処理により実行する。
また、アクセス処理部33は、更新要求および登録要求を処理した場合には、現役割表によりそのパーティションについてバックアップに割り当てられたノード30との間でレプリケーション処理を実行する。レプリケーション処理とは、バックアップに割り当てられたノード30に、オーナーに割り当てられたノード30に記憶されているデータ集合のレプリカ(複製)を生成するための処理である。
具体的には、図8に示されるように、アクセス処理部33は、自ノードがオーナーに割り当てられたパーティションに対する更新または登録の要求を受け付けた場合、同一のアクセス要求をバックアップとして割り当てられた他のノード30へと送信する。そして、他のノード30のアクセス処理部33は、バックアップとして割り当てられたパーティションに対する、オーナーとして割り当てられたノード30から更新または登録の要求を受け付けて、その要求に応じた更新または登録の処理を実行する。
アクセス処理部33は、このようなレプリケーション処理をすることにより、オーナーとして割り当てられたノード30とバックアップとして割り当てられたノード30との間で、データ集合の同期を取ることができる。
なお、オーナーとして割り当てられたノード30のアクセス処理部33は、レプリケーション処理を実行する場合において、一連のアクセス要求を含むトランザクションを送信してもよい。この場合、バックアップとして割り当てられたノード30のアクセス処理部33は、レプリケーション処理をトランザクション処理により実行する。
また、アクセス処理部33は、更新要求および登録要求を処理した場合には、表記憶部32に記憶されたデータ保持表の対応するパーティションのタイムスタンプを更新する。
ノード管理部34は、管理装置20のクラスタ管理部24とネットワークを介してメッセージをやり取りする。ノード管理部34は、クラスタ管理部24からハートビートと呼ばれるメッセージを受信したことに応じて、自ノードに障害が発生していければ応答メッセージを送信する。また、ノード管理部34は、定期的に、表記憶部32に記憶されているデータ保持表をクラスタ管理部24へと送信する。
また、ノード管理部34は、クラスタ管理部24から次役割表を受信し、受信した次役割表を表記憶部32に記憶させる。そして、次役割表を受信した場合には、ノード管理部34は、図9に示されるように、次役割表により割り当てられた役割で複数のノード30のそれぞれを動作させるためにクライアントからのアクセス要求に応じた処理を一時的に中断して行う同期処理である、短期同期処理を実行する。
具体的には、ノード管理部34は、複数のパーティションのそれぞれに対して、次役割表により示された役割で複数のノード30のそれぞれを動作させるために、アクセス処理部33にレプリケーション処理と同様の処理を実行させる。これにより、ノード管理部34は、複数のパーティションのそれぞれに対して、オーナーとして割り当てられたノード30とバックアップとして割り当てられたノード30との間のデータ集合の同期を取ることができる。そして、データ集合の同期をとった後に、ノード管理部34は、アクセス処理部33に、現役割表を次役割表の内容に書き換えて、複数のパーティションのそれぞれに対する次役割表により割り当てられた新たな役割に応じた処理を実行させる。
そして、ノード管理部34は、短期同期処理が完了すると、現役割表の内容を次役割表の内容に更新する。以後、アクセス処理部33は、クライアントからのアクセス要求を受け付けることができる。
また、ノード管理部34は、クラスタ管理部24から目標役割表を定期的に受信し、受信した目標役割表を表記憶部32に記憶させる。
転送部35は、図10に示されるように、目標役割表により割り当てられた役割で複数のノード30のそれぞれを動作させるためにクライアントからのアクセス要求に対する処理を中断させずに行う同期処理である、長期同期処理を実行する。具体的には、転送部35は、自ノードが現役割表によりオーナーとして割り当てられたパーティションのデータ集合を、目標役割表によりバックアップの候補として割り当てられており且つ現役割表によりオーナーにもバックアップにも割り当てられていない他のノード30に、アクセス要求に対する処理を中断させずに送信する。また、転送部35は、自ノードが目標役割表によりバックアップの候補として割り当てられており且つ現役割表によりオーナーにもバックアップにも割り当てられていないパーティションのデータ集合を、現役割表によりオーナーとして割り当てられた他のノード30から、アクセス要求に対する処理を中断させずに受信する。
転送部35は、このような長期同期処理を実行することにより、オーナーに割り当てられたノード30に記憶されたデータ集合のレプリカを、オーナーまたはバックアップに割り当てられていないノード30に記憶させることができる。これにより、転送部35は、長期同期処理が完了した後において、オーナーまたはバックアップとなることができるノード30を新たに生成することができる。
ここで、長期同期処理を実行する場合において、転送部35は、オーナーに割り当てられたパーティションのデータ集合を、アクセス処理部33によるトランザクションの実行を妨害しないバックグラウンドで、バックアップの候補として割り当てられたノード30に送信する。また、転送部35は、バックアップの候補として割り当てられたパーティションのデータ集合を、バックグラウンドで、オーナーに割り当てられたノード30から受信する。なお、バックグラウンドでの処理とは、一例として、ノード30が複数のCPU12を備える場合にはトランザクション処理を実行していない一部のCPU12を用いて実行する処理である。また、バックグラウンドでの処理とは、一例として、CPU12が時分割処理をしている場合にはCPU12がトランザクション処理を実行していない一部の時間帯で実行する処理である。これにより、転送部35は、クライアントからのアクセス要求に対する応答速度等の低下を招くことなく、長期同期処理を実行することができる。
また、転送部35は、現役割表で自ノードがバックアップに割り当てられたパーティションのデータ集合を、目標役割表によりバックアップの候補に割り当てられており且つオーナーにもバックアップにも割り当てられていない他のノード30に対して送信してもよい。この場合、転送部35は、他のノード30から同一のデータ集合が送信されていないことを条件として処理をする。
図11は、ノード30に割り当てられる役割の遷移を示す図である。ノード30は、複数のパーティションのそれぞれに対して、“オーナー”、“バックアップ”または“バックアップの候補”が割り当てられた状態、または、何れの役割も割り当てられていない“無し”状態のいずれかに遷移する。
ノード30は、“無し”状態と“オーナー”状態との間を、短期同期処理により相互に遷移する。また、ノード30は、“オーナー”状態と“バックアップ”状態との間を、短期同期処理により相互に遷移する。また、ノード30は、“バックアップ”状態から“無し”状態へと、短期同期処理により遷移する。
また、ノード30は、“無し”状態と“バックアップの候補”状態との間を、長期同期処理により相互に遷移する。そして、ノード30は、“バックアップの候補”状態から“バックアップ”状態へと、短期同期処理により遷移する。
図12は、管理装置20のクラスタ管理部24の処理フローを示す図である。クラスタ管理部24は、以下のステップS111〜ステップS142の処理を実行する。
まず、ステップS111において、クラスタ管理部24は、データ保持表の受信イベント、第1の定周期イベントまたは第2の定周期イベントを検出する。データ保持表の受信イベントは、複数のノード30のそれぞれから送信されたデータ保持表をクラスタ管理部24が受信した場合に発生する。第1の定周期イベントおよび第2の定周期イベントは、それぞれ定期的に発生する。ただし、第1の定周期イベントと第2の定周期イベントとの発生間隔は、互いに異なる。
クラスタ管理部24は、データ保持表の受信イベントを検出した場合には、処理をステップS121に進める。クラスタ管理部24は、第1の定周期イベントを検出した場合には、処理をステップS131に進める。クラスタ管理部24は、第2の定周期イベントを検出した場合には、処理をステップS141に進める。
データ保持表の受信イベントを検出した場合、ステップS121において、クラスタ管理部24は、起動してから最初のデータ保持表の受信イベントであるか否かを判断する。
起動してから最初のデータ保持表の受信イベントである場合(ステップS121のYes)、クラスタ管理部24は、処理をステップS122に進める。ステップS122において、クラスタ管理部24は、受信したデータ保持表を表記憶部21に登録する。
続いて、ステップS123において、クラスタ管理部24は、次役割表を第1割当部22に算出させる。なお、第1割当部22による次役割表の算出処理については、図13を参照して説明する。
続いて、ステップS124において、クラスタ管理部24は、算出した次役割表を複数のノード30のそれぞれに配布する。そして、クラスタ管理部24は、ステップS124の処理を終えると、処理をステップS111に戻す。
また、起動してから最初のデータ保持表の受信イベントではない場合(ステップS121のNo)、ステップS125において、クラスタ管理部24は、表記憶部21のデータ保持表を更新する。そして、クラスタ管理部24は、ステップS125の処理を終えると、処理をステップS111に戻す。
一方、第1の定周期イベントを検出した場合、ステップS131において、クラスタ管理部24は、前回の第1の定周期イベントから今回の第1の定周期イベントまでの間に、複数のノード30の全てからデータ保持表が受信できたか否かを判断する。クラスタ管理部24は、複数のノード30の全てからデータ保持表を受信できた場合(ステップS131のYes)、処理をステップS134に進める。クラスタ管理部24は、何れかのノード30からデータ保持表を受信できなかった場合(ステップS131のNo)、処理をステップS132に進める。
ステップS132において、クラスタ管理部24は、データ保持表を受信できなかったノード30をデータベースシステム10から切り離す処理を行う。続いて、ステップS133において、クラスタ管理部24は、切り離したノード30の内容をデータ保持表から削除して、データ保持表を更新する。クラスタ管理部24は、ステップS133の処理を終えると、処理をステップS134に進める。
ステップS134において、クラスタ管理部24は、次役割表を第1割当部22に算出させる。なお、第1割当部22による次役割表の算出処理については、図13を参照して説明する。
続いて、ステップS135において、クラスタ管理部24は、次役割表が変化したか否かを判断する。例えば、障害が発生したノード30を切り離した場合、新たなノード30が追加された場合、または、長期同期処理が完了してバックアップとして割り当てられるノード30が変更する場合に、次役割表が変化する。
次役割表が変化していない場合(ステップS135のNo)、クラスタ管理部24は、処理をステップS111に戻す。次役割表が変化した場合(ステップS135のYes)、ステップS136において、クラスタ管理部24は、変化後の次役割表を複数のノード30のそれぞれに配布する。そして、クラスタ管理部24は、ステップS136の処理を終えると、処理をステップS111に戻す。
また、一方、第2の定周期イベントを検出した場合、ステップS141において、クラスタ管理部24は、目標役割表を第2割当部23に算出させる。なお、第2割当部23による目標役割表の算出処理については、図14を参照して説明する。
続いて、ステップS142において、クラスタ管理部24は、算出した目標役割表を複数のノード30のそれぞれに配布する。そして、クラスタ管理部24は、ステップS142の処理を終えると、処理をステップS111に戻す。
図13は、管理装置20の第1割当部22による次役割表の算出処理のフローを示す図である。第1割当部22は、図12のステップS123およびステップS134でクラスタ管理部24に呼び出されて、以下のステップS211〜ステップS220の処理を実行する。
まず、ステップS211において、第1割当部22は、次役割表を初期化する。このとき、第1割当部22は、次役割表の複数のノード30のそれぞれをデータ保持表のノード30に対応付ける。これにより、第1割当部22は、障害発生により切り離されたノード30および新たに追加されたノード30を、次役割表に反映することができる。
続いて、ステップS212とステップS220の間において、第1割当部22は、パーティション毎にループ処理を実行する。例えば、第1割当部22は、データベースを第1から第3のパーティションに分割する場合には、第1のパーティション、第2のパーティションおよび第3のパーティションのそれぞれを対象として、ステップS212からステップS220の処理を実行する。
パーティション毎のループ処理内では、まず、ステップS213において、第1割当部22は、対象のパーティションについて、データ保持表で最大のタイムスタンプを有するノード30の集合を選択する。本例において、タイムスタンプは、対象のパーティションのデータ集合が更新される毎に1ずつインクリメントされる値である。従って、ステップS213では、第1割当部22は、対象のパーティションについて、最新のデータ集合を記憶しているノード30の集合を選択することができる。
続いて、ステップS214において、第1割当部22は、ステップS213で選択したノード30の集合の中から、次役割表でオーナーおよびバックアップとして割り当てられたパーティションの数が最も少ない1つのノード30を選択して、選択したノード30をオーナーとして割り当てる。これにより、第1割当部22は、最新のデータ集合を記憶しているノード30の集合のうち負荷の最も小さいノード30をオーナーとして割り当てることができる。
なお、オーナーおよびバックアップとして割り当てられたパーティションの数が最も少ないノード30が複数個存在する場合には、第1割当部22は、演算能力の高いノード30を演算能力の低いノード30よりも優先的にオーナーとして割り当ててもよい。これに代えて、第1割当部22は、アクセス要求を受け付ける数が少ないノード30をアクセス要求を受け付ける数が多いノード30よりも優先的にオーナーとして割り当ててもよい。
続いて、ステップS215において、第1割当部22は、対象のパーティションについて、オーナーとして割り当てたノード30を除いて、最大のタイムスタンプからの差が一定の範囲内のタイムスタンプを有するノード30の集合を選択する。これにより、第1割当部22は、対象のパーティションについて、最新のデータ集合または最新のデータ集合に比較的近いデータ集合を記憶しているノード30の集合を選択することができる。
続いて、ステップS216とステップS219との間において、第1割当部22は、レプリケーションの数分、ループ処理を実行する。ここで、レプリケーションの数とは、オーナーに割り当てられたノード30との間でレプリケーション処理が可能な最大のノード30の数をいう。すなわち、レプリケーションの数は、割り当てが可能なバックアップの数と同一である。
レプリケーションの数分のループ処理内では、まず、ステップS217において、第1割当部22は、ステップS215で選択したノード30の集合の中に、バックアップとして割り当て可能なノード30が存在するか否かを判断する。バックアップとして割り当て可能なノード30が存在する場合(ステップS217のYes)、第1割当部22は、処理をステップS218に進める。
バックアップとして割り当て可能なノード30が無い場合(ステップS217のNo)、第1割当部22は、レプリケーションの数分のループ処理を強制的に抜けて、処理をステップS220に進める。すなわち、従って、第1割当部22は、バックアップが存在しなかったり、バックアップの数がレプリケーションの数未満であったりする次役割表を算出する場合もある。
ステップS218において、第1割当部22は、ステップS215で選択したノード30の集合の中から、次役割表でオーナーおよびバックアップとして割り当てられたパーティションの数が最も少ないノード30を、バックアップとして割り当てる。これにより、第1割当部22は、最新のデータ集合または最新のデータ集合に近いデータを記憶しているノード30の集合のうち負荷の小さい順にバックアップとするノード30を割り当てることができる。
なお、オーナーおよびバックアップとして割り当てられたパーティションの数が最も少ないノード30が複数個存在する場合には、第1割当部22は、演算能力の高いノード30を演算能力の低いノード30よりも優先的にバックアップとして割り当ててもよい。これに代えて、第1割当部22は、アクセス要求を受け付ける数が少ないノード30をアクセス要求を受け付ける数が多いノード30よりも優先的にバックアップとして割り当ててもよい。
そして、第1割当部22は、選択したノード30の集合からバックアップとして割り当てたノード30を除いて、処理をステップS219に進める。ステップS219において、第1割当部22は、ステップS216からステップS219までの処理回数が、レプリケーションの数より少ない場合には処理をステップS216に戻し、レプリケーションの数に一致した場合には処理をステップS220に進める。
続いて、ステップS220において、第1割当部22は、ステップS212からステップS220までの処理を全てのパーティションに対して実行していない場合には、処理をステップS216に戻す。そして、第1割当部22は、ステップS212からステップS220までの処理を全てのパーティションに対して実行した場合には、次役割表の算出を終了して本フローを抜ける。
以上のように第1割当部22によれば、複数のパーティションの全てに対してオーナーとなるノード30を割り当てることにより、少なくともデータベースを機能させることができる。これとともに、第1割当部22によれば、可能な限りバックアップとなるノード30を割り当てることによりデータベースの冗長度を担保することができる。さらに、第1割当部22によれば、より負荷の小さいノード30から順にオーナーおよびバックアップとなるノード30を割り当てることにより、複数のノード30のそれぞれの負荷を均等にすることができる。
図14は、管理装置20の第2割当部23による目標役割表の算出処理のフローを示す図である。第2割当部23は、図12のステップS141でクラスタ管理部24に呼び出されて、以下のステップS311〜ステップS324の処理を実行する。
まず、ステップS311において、第2割当部23は、目標役割表を初期化する。このとき、第2割当部23は、目標役割表の複数のノード30のそれぞれをデータ保持表のノード30に対応付ける。これにより、第2割当部23は、障害発生により切り離されたノード30および新たに追加されたノード30を、目標役割表に反映することができる。
続いて、ステップS312において、第2割当部23は、現役割表のパーティションを、割り当てられたオーナーおよびバックアップの合計数で昇順にソートする。これにより、第2割当部23は、バックアップとして割り当てられたノード30が少ないパーティションから順に、バックアップの候補を割り当てることができる。すなわち、第2割当部23は、現役割表において、冗長度の少ないパーティションから順に、バックアップの候補となるノード30を割り当てることができる。
続いて、ステップS313において、第2割当部23は、複数のノード30のそれぞれに対応する負荷値を初期化する。負荷値は、ノード30にバックアップの候補の役割を割り当てたことに応じて増加する値である。第2割当部23は、一例として、それぞれの負荷値を“0”に初期化する。
続いて、ステップS314とステップS324の間において、第2割当部23は、パーティション毎にループ処理を実行する。この場合において、第2割当部23は、ステップS312で並べ替えられた現役割表のパーティションの順で対象のパーティションを選択して、ループ処理を実行する。
パーティション毎のループ処理内では、まず、ステップS315において、第2割当部23は、対象のパーティションについて、データ保持表で最大のタイムスタンプのノード30を選択する。
続いて、ステップS316において、第2割当部23は、現役割表のノード30を、値Vで降順にソートする。ここで、値Vは、オーナーとして割り当てられたノード30については“+1”、バックアップとして割り当てられたノード30については“+1”、および、最大のタイムスタンプのノード30については“+1”とされる値である。従って、オーナーでも無く、バックアップでもなく且つタイムスタンプも最大でないノード30の値Vは、“0”となる。
これにより、第2割当部23は、オーナーおよびバックアップとして割り当てられたノード30または最新のデータ集合を記憶するノード30を先に、バックアップの候補となるノード30として割り当てることができる。
なお、値Vが同一のノード30が複数個並んでいる場合には、第2割当部23は、演算能力の高いノード30が先にバックアップの候補となるように上位に配置する。これにより、第2割当部23は、演算能力の高いノード30が演算能力の低いノード30よりも優先的にオーナーまたはバックアップとなるように、バックアップの候補となるノード30を割り当てることができる。これに代えて、第2割当部23は、アクセス要求を受け付ける数が少ないノード30が先にバックアップの候補となるように上位に配置してもよい。これにより、第2割当部23は、アクセス要求を受け付ける数が少ないノード30がアクセス要求を受け付ける数が多いノード30よりも優先的にオーナーまたはバックアップとなるように、バックアップの候補となるノード30を割り当てることができる。
続いて、ステップS317において、第2割当部23は、定数である上限重みMLOADを下記の式(1)により算出する。
MLOAD={パーティションの数×(レプリケーション数+1)+(ノード数−1)}÷ノード数 …(1)
MLOAD={パーティションの数×(レプリケーション数+1)+(ノード数−1)}÷ノード数 …(1)
ここで、(レプリケーション数+1)は、1つのパーティションに対して割り当てること可能な、オーナーおよびバックアップの最大数を表す。このような、上限重みMLOADは、1つのノード30にバックアップの候補として割り当てられることができる数の上限の基準を表す。
続いて、ステップS318とステップS323の間において、第2割当部23は、ノード30毎にループ処理を実行する。この場合において、第2割当部23は、ステップS316で並べ替えられた現役割表の順序で対象のノード30を選択して、ループ処理を実行する。
ノード30毎のループ処理内では、まず、ステップS319において、第2割当部23は、(レプリケーションの数+1)個分のノード30に、バックアップの候補となるノード30を割り当てたか否かを判断する。(レプリケーションの数+1)個分のノード30にバックアップの候補を割り当てた場合には(ステップS319のYes)、処理をステップS324に進める。この場合、第2割当部23は、対象のパーティションに対してバックアップの候補となるノード30を最大数割り当ている。
第2割当部23は、(レプリケーションの数+1)個分のノード30にバックアップの候補を割り当てていない場合には(ステップS319のNo)、処理をステップS320に進める。
ステップS320において、第2割当部23は、対象となるノード30の負荷値が、上限重みMLOADより小さいかを判断する。対象となるノード30の負荷値が上限重みMLOADより小さい場合には(ステップS320のYes)、第2割当部23は、処理をステップS321に進める。
対象となるノード30の負荷値が上限重みMLOAD以上の場合には(ステップS320のNo)、第2割当部23は、処理をステップS323に進める。これにより、第2割当部23は、ある一つのノード30にバックアップの候補としての役割を基準値以上割り当てた場合には、そのノード30をこれ以上バックアップの候補として割り当てることを回避することができる。この結果、第2割当部23は、複数のノード30にバックアップの候補としての役割を分散して割り当てることができる。
ステップS321において、第2割当部23は、対象のパーティションに対して対象のノード30をバックアップの候補として割り当てる。続いて、ステップS322において、第2割当部23は、対象のノード30の負荷値に“1”を加算することにより更新する。これにより、第2割当部23は、候補として割り当てられる毎にノード30の負荷値を1ずつ増加させることができる。第2割当部23は、ステップS322の処理を終えると、処理をステップS323に進める。
続いて、ステップS323において、第2割当部23は、ステップS318からステップS323までの処理を複数のノード30の全てに対して実行していない場合には、処理をステップS318に戻す。また、第2割当部23は、ステップS318からステップS223までの処理を複数のノード30の全てに対して実行した場合には、処理をステップS324に進める。
続いて、ステップS324において、第2割当部23は、ステップS314からステップS324までの処理を複数のパーティションの全てに対して実行していない場合には、処理をステップS314に戻す。そして、第2割当部23は、ステップS314からステップS324までの処理を複数のパーティションの全てに対して実行した場合には、目標役割表の算出を終了して本フローを抜ける。
以上のように第2割当部23によれば、冗長度の少ない(すなわち、割り当てられたバックアップの数が少ない)パーティションから順に、バックアップの候補を割り当てるので、効率良くデータベースの冗長度を確保することができる。さらに、第2割当部23によれば、割り当てたバックアップの候補の数が基準値以上となったノード30に対してさらにバックアップの候補を割り当てないので、複数のノード30に分散してバックアップの候補を割り当てることができる。
図15は、ノード30のアクセス処理部33の処理フローを示す図である。アクセス処理部33は、以下のステップS411〜ステップS433の処理を実行する。
まず、ステップS411において、アクセス処理部33は、クライアントからの要求受信イベントまたはレプリケーション処理による要求受信イベントを検出する。クライアントからの要求受信イベントは、データベースに対するアクセス要求をクライアントからネットワークを介して受信した場合に発生する。レプリケーション処理による要求受信イベントは、レプリケーション処理による更新要求または登録要求を、オーナーとなる他のノード30からネットワークを介して受信した場合に発生する。
アクセス処理部33は、クライアントからの要求受信イベントを検出した場合には、処理をステップS421に進める。アクセス処理部33は、レプリケーション処理による要求受信イベントを検出した場合には、処理をステップS431に進める。
クライアントからの要求受信イベントを検出した場合、ステップS421において、アクセス処理部33は、クライアントからのアクセス要求に示される要求先のパーティションの番号を例えば計算して取得する。続いて、ステップS422において、アクセス処理部33は、要求先のパーティションに対して自ノードがオーナーに割り当てられているか否かを現役割表を参照して判断する。
要求先のパーティションに対して自ノードがオーナーに割り当てられていない場合には(ステップS422のNo)、ステップS423において、アクセス処理部33は、クライアントにオーナーに割り当てられたノード30の番号を通知して、処理をステップS411に戻す。
要求先のパーティションに対して自ノードがオーナーに割り当てられている場合には(ステップS422のYes)、ステップS424において、アクセス処理部33は、アクセス要求のタイプが、参照であるか、更新または登録であるかを判断する。
アクセス要求のタイプが参照である場合には(ステップS424の参照)、ステップS425において、アクセス処理部33は、参照要求のあったデータをデータストア部31から読み出してクライアントに送信し、処理をステップS411に戻す。
アクセス要求のタイプが更新または登録である場合には(ステップS424の更新/登録)、ステップS426において、要求先のパーティションに対してバックアップとして割り当てられた他のノード30との間でレプリケーション処理を実行する。すなわち、アクセス処理部33は、クライアントから受信した更新または登録の要求と同一のアクセス要求をバックアップとして割り当てられたノード30へと送信する。
レプリケーション処理が完了すると、続いて、ステップS427において、アクセス処理部33は、クライアントから送信された更新または登録要求に従って、データストア部31に記憶されているデータの更新またはデータストア部31に新たなデータの登録をする。続いて、ステップS428において、アクセス処理部33は、データ保持表のタイムスタンプを1インクリメントすることにより更新し、処理をステップS411に戻す。
一方、アクセス処理部33は、レプリケーション処理による要求受信イベントを検出した場合、ステップS431において、オーナーとなるノード30から送信された更新または登録要求に従って、データストア部31に記憶されているデータの更新またはデータストア部31に新たなデータの登録をする。続いて、ステップS432において、アクセス処理部33は、データ保持表のタイムスタンプを1インクリメントすることにより更新する。続いて、ステップS433において、アクセス処理部33は、登録または更新が完了したことをオーナーに通知して、処理をステップS411に戻す。
なお、アクセス処理部33は、ステップS425およびステップS428において、一連のアクセス要求を含むトランザクションをクライアントから受け付けて、クライアントからのアクセス要求に応じたトランザクション処理を実行してもよい。また、アクセス処理部33は、ステップS426において、レプリケーション処理により更新または登録の要求を送信する場合、バックアップとして割り当てられたノード30に一連のアクセス要求を含むトランザクションを送信してもよい。また、アクセス処理部33は、ステップS431において、一連のアクセス要求を含むトランザクションをオーナーとなるノード30から受け付けて、オーナーとなるノード30からのアクセス要求に応じたトランザクション処理を実行してもよい。
図16は、ノード30のノード管理部34の処理フローを示す図である。ノード管理部34は、以下のステップS511〜ステップS541の処理を実行する。
まず、ステップS511において、ノード管理部34は、第3の定周期イベント、次役割表の受信イベントまたは目標役割表の受信イベントを検出する。第3の定周期イベントは、定期的に発生する。次役割表の受信イベントは、次役割表をノード管理部34が受信した場合に発生する。目標役割表の受信イベントは、目標役割表をノード管理部34が受信した場合に発生する。
ノード管理部34は、第3の定周期イベントを検出した場合には、処理をステップS521に進める。ノード管理部34は、次役割表の受信イベントを検出した場合には、処理をステップS531に進める。ノード管理部34は、目標役割表の受信イベントを検出した場合には、処理をステップS541に進める。
第3の定周期イベントを検出した場合、ステップS521において、ノード管理部34は、表記憶部32に記憶されているデータ保持表を管理装置20のクラスタ管理部24に送信する。そして、ノード管理部34は、処理をステップS511に戻す。
次役割表の受信イベントを検出した場合、ステップS531において、ノード管理部34は、アクセス処理部33がトランザクションを実行中であれば、処理を中断させる。続いて、ステップS532において、ノード管理部34は、受信した次役割表に従って、短期同期処理を実行する。
具体的には、ノード管理部34は、複数のパーティションのそれぞれに対して、オーナーとなるノード30とバックアップとなるノード30との間において記憶しているデータ集合に相違がある場合には、アクセス処理部33にレプリケーション処理と同様の処理を実行させる。これにより、ノード管理部34は、複数のパーティションのそれぞれに対して、オーナーとして割り当てられたノード30とバックアップとして割り当てられたノード30との間の同期を取ることができる。そして、ノード管理部34は、複数のパーティションのそれぞれに対して、次役割表により割り当てられた新たな役割(オーナーおよびバックアップ)に応じた処理をアクセス処理部33に実行させる。
短期同期処理が完了すると、続いて、ステップS533において、ノード管理部34は、現役割表を、次役割表の内容に書き換える。これにより、アクセス処理部33は、クライアントからのアクセス要求を受け付けることができる。
続いて、ステップS534において、ノード管理部34は、中断してトランザクションを再開させる。そして、ノード管理部34は、処理をステップS511に戻す。
目標役割表の受信イベントを検出した場合、ステップS541において、ノード管理部34は、表記憶部32に記憶されている目標役割表を更新する。そして、ノード管理部34は、処理をステップS511に戻す。
図17は、ノード30の転送部35の処理フローを示す図である。転送部35は、以下のステップS611〜ステップS618の処理、および、ステップS621〜ステップS622の処理を実行する。
まず、ステップS611において、転送部35は、CPU12の負荷が予め定められた基準値より大きいか否かを判断する。負荷が基準値より大きい場合(ステップS611のYes)、ステップS612において、転送部35は、一定時間スリープしてから、処理をステップS611に戻す。
負荷が基準値以下である場合(ステップS611のNo)、ステップS613において、転送部35は、現役割表と目標役割表との間の差を検出する。続いて、ステップS614において、転送部35は、現役割表と目標役割表との間に差があるか否かを判断する。
現役割表と目標役割表との間に差が無い場合(ステップS614のNo)、ステップS615において、転送部35は、現役割表、次役割表および目標役割表の何れにも自ノードに役割が割り当てられていないパーティションがあれば、そのデータ集合を消去する。そして、転送部35は、ステップS615の処理の後、処理をステップS611に戻す。
現役割表と目標役割表との間に差がある場合(ステップS614のYes)、ステップS616において、転送部35は、現役割表で自ノードがオーナーのパーティションについて、目標役割表ではバックアップの候補であり且つ現役割表ではオーナーでもバックアップでもない他のノード30を検出する。
続いて、ステップS617において、転送部35は、目標役割表ではバックアップの候補であり、現役割表ではオーナーでもバックアップでもない他のノード30が存在するか否かを判断する。存在しない場合(ステップS617のNo)、転送部35は、処理をステップS611に戻す。
存在する場合(ステップS617のYes)、ステップS618において、転送部35は、クライアントからのアクセス要求に対する処理を中断させずに、長期同期処理を開始する。具体的には、転送部35は、現役割表で自ノードがオーナーに割り当てられたパーティションについて、目標役割表によりバックアップの候補に割り当てられており且つ現役割表によりオーナーにもバックアップにも割り当てられていない他のノード30に対して、そのパーティションのデータ集合を送信する。この場合に、転送部35は、データ集合をアクセス処理部33によるトランザクションの実行を妨害しないバックグラウンドで送信する。これにより、転送部35は、クライアントからのアクセス要求に対する応答速度等の低下を招くことなく、長期同期処理を実行することができる。
そして、転送部35は、ステップS618の処理を終了すると、処理をステップS611に戻す。
一方、目標役割表によりバックアップの候補に割り当てられており且つ現役割表によりオーナーにもバックアップにも割り当てられていないパーティションを有する他のノード30の転送部35は、以下のステップS621およびステップS622の処理を実行する。
ステップS621において、転送部35は、クライアントからのアクセス要求に対する処理を中断させずに、長期同期処理を開始する。具体的には、転送部35は、目標役割表によりバックアップの候補に割り当てられており且つ現役割表によりオーナーにもバックアップにも割り当てられていないパーティションについて、オーナーに割り当てられたノード30からデータ集合を受信する。この場合に、転送部35は、データ集合をアクセス処理部33によるトランザクションの実行を妨害しないバックグラウンドで受信する。
続いて、ステップS622において、転送部35は、データ保持表を更新する。長期同期処理が完了すると、オーナーとなるノード30に記憶されているデータ集合のレプリカが記憶されるので、転送部35は、データ保持表を更新することにより、そのパーティションのタイムスタンプを、オーナーのデータ保持表のタイムスタンプと一致させることができる。そして、転送部35は、ステップS622の処理を終えると、転送部35は、本フローを終了する。
以上のように転送部35によれば、バックアップの候補として割り当てられたノード30にオーナーとして割り当てられたノード30のデータ集合のレプリカを生成するので、オーナーまたはバックアップとなることができるノード30を新たに発生させることができる。
図18〜図24を参照して、データベースシステム10の動作例を説明する。図18は、3つのパーティション#1〜#3のそれぞれに対して、オーナーおよびバックアップとなるノード30を割り当てた場合の、ノード30−Aからノード30−Cのそれぞれの状態を示す図である。
本例では、図18の現役割表に示されるように、パーティション#1に対して、オーナーにノード30−Aが割り当てられ、バックアップにノード30−Bが割り当てられる。また、パーティション#2に対して、オーナーにノード30−Bが割り当てられ、バックアップにノード30−Cが割り当てられる。また、パーティション#3に対して、オーナーにノード30−Cが割り当てられ、バックアップにノード30−Aが割り当てられる。
ノード30−Aおよびノード30−Bは、パーティション#1に対するレプリケーション処理をトランザクションにより実行している。この結果、図18のデータ保持表に示されるように、パーティション#1のタイムスタンプは、ノード30−Aおよびノード30−Bで同一値となる。
また、ノード30−Bおよびノード30−Cは、パーティション#2に対するレプリケーション処理をトランザクションにより実行している。この結果、図18のデータ保持表に示されるように、パーティション#2のタイムスタンプは、ノード30−Bおよびノード30−Cで同一値となる。
また、ノード30−Cおよびノード30−Aは、パーティション#3に対するレプリケーション処理をトランザクションにより実行している。この結果、図18のデータ保持表に示されるように、パーティション#3のタイムスタンプは、ノード30−Cおよびノード30−Aで同一値となる。
図19は、図18の状態からノード30−Cに障害が発生したことに応じて短期同期処理を実行した後の、ノード30−Aからノード30−Cのそれぞれの状態を示す図である。管理装置20のクラスタ管理部24は、図18の状態からノード30−Cからデータ保持表を検出することができず、ノード30−Cに障害が発生したことを検出したとする。
複数のノード30のうちの何れかのノード30で障害が発生した場合、管理装置20のクラスタ管理部24は、障害が発生したノード30を切り離すとともに、第1割当部22に次役割表を計算させる。
クラスタ管理部24からの呼び出しに応じて、第1割当部22は、障害の発生したノード30を除いてオーナーおよびバックアップとなるノード30を再度割り当てて、次役割表を生成する。この場合に、第1割当部22は、少なくともデータベースを機能させるべく、複数のパーティションのそれぞれに対して少なくともオーナーが存在するようにノード30を割り当てる。例えば、第1割当部22は、オーナーであったノード30に障害が発生した場合には、バックアップであったノード30をオーナーに割り当てる。さらに、第1割当部22は、よりデータベースの冗長度を高めるべく、複数のパーティションのそれぞれに対して可能な限りバックアップが存在するようにノード30を割り当てる。
本例では、再割り当ての結果、図19の次役割表に示されるように、パーティション#1に対して、オーナーにノード30−Aが割り当てられ、バックアップにノード30−Bが割り当てられる。また、パーティション#2に対して、オーナーにノード30−Bが割り当てられる。また、パーティション#3に対して、オーナーにノード30−Aが割り当てられる。
そして、クラスタ管理部24は、次役割表をノード30−Aおよびノード30−Bに配布する。ノード30−Aおよびノード30−Bのそれぞれのノード管理部34は、次役割表を受信すると短期同期処理を実行するとともに、現役割表の内容を次役割表の内容に書き換える。これにより、ノード30−Aおよびノード30−Bのそれぞれは、新たに割り当てられた役割に応じた処理を実行することができる。
図20は、図19の状態から実行される長期同期処理の一例を示す図である。また、管理装置20のクラスタ管理部24は、障害が発生したノード30−Cを切り離した場合、第2割当部23に目標役割表を計算させる。
クラスタ管理部24からの呼び出しに応じて、第2割当部23は、障害が発生したノード30を除いてバックアップの候補となるノード30を再度割り当てて、目標役割表を生成する。この場合に、第2割当部23は、データベースの冗長度を高めるべく、複数のパーティションのそれぞれに対して、少なくともオーナーおよびバックアップが存在するように候補となるノード30を割り当てる。
図19の状態では、パーティション#2およびパーティション#3に対するバックアップのノード30が存在しない。従って、第2割当部23は、パーティション#2に対するバックアップの候補としてノード30−Aを割り当て、パーティション#3に対するバックアップの候補としてノード30−Bを割り当てる。
なお、本例では、第2割当部23は、現役割表により既にオーナーおよびバックアップとして割り当てられているノード30も、バックアップの候補として割り当てる。このため、図20の目標役割表に示されるように、パーティション#1〜#3のそれぞれに対して、ノード30−Aおよびノード30−Bの両者がバックアップの候補として割り当てられる。
そして、クラスタ管理部24は、目標役割表をノード30−Aおよびノード30−Bに配布する。ノード30−Aおよびノード30−Bのそれぞれの転送部35は、現役割表と目標役割表の差の部分に対して長期同期処理を実行する。すなわち、ノード30−Bの転送部35は、パーティション#2のデータ集合をバックグラウンドでノード30−Aに送信する。また、ノード30−Aの転送部35は、パーティション#3のデータ集合をバックグラウンドでノード30−Bに送信する。
なお、このとき、転送部35は、クライアントからのアクセス要求に対する処理を中断させずに、長期同期処理を実行する。
長期同期処理が完了すると、ノード30−Aは、パーティション#2のデータ集合のレプリカを記憶することができる。さらに、図20のデータ保持表に示されるように、このときのパーティション#2のタイムスタンプは、ノード30−Aおよびノード30−Bで同一値となる。
また、ノード30−Bは、パーティション#3のデータ集合のレプリカを記憶することができる。さらに、図20のデータ保持表に示されるように、パーティション#3のタイムスタンプは、ノード30−Aおよびノード30−Bで同一値となる。
図21は、図20の長期同期処理が完了したことに応じて短期同期処理を実行した後の、ノード30−Aからノード30−Cのそれぞれの状態を示す図である。管理装置20のクラスタ管理部24は、定期的に第1割当部22を呼び出して次役割表を計算させる。
長期同期処理が完了した後にクラスタ管理部24から呼び出された場合、第1割当部22は、複数のパーティションのそれぞれに対して、長期同期処理により生成されたレプリカを利用してより冗長度が高まるように、オーナーおよびバックアップとなるノード30を再度割り当てる。
本例では、図21の次役割表に示されるように、パーティション#1に対して、オーナーとしてノード30−Aが割り当てられ、バックアップとしてノード30−Bが割り当てられる。また、パーティション#2に対して、オーナーとしてノード30−Bが割り当てられ、バックアップとしてノード30−Aが割り当てられる。また、パーティション#3に対して、オーナーとしてノード30−Aが割り当てられ、バックアップとしてノード30−Bが割り当てられる。
そして、クラスタ管理部24は、次役割表をノード30−Aおよびノード30−Bに配布する。ノード30−Aおよびノード30−Bのそれぞれのノード管理部34は、次役割表を受信すると短期同期処理を実行するとともに、現役割表の内容を次役割表の内容に書き換える。これにより、ノード30−Aおよびノード30−Bのそれぞれは、新たに割り当てられた役割に応じた処理を実行することができる。
図22は、図21の状態からノード30−Dを追加した場合の、ノード30−Aからノード30−Dのそれぞれの状態を示す図である。管理装置20のクラスタ管理部24は、例えば図21の状態からノード30−Dが新たに追加されたことを検出したとする。
クラスタ管理部24は、図22のデータ保持表に示されるように、ノード30−Dを追加したデータ保持表を生成する。第1割当部22は、データ保持表にノード30−Dが追加されたことに応じて、ノード30−Dが追加された次役割表を生成する。
もっとも、ノード30−Dは、データ集合を記憶していない。従って、第1割当部22は、ノード30−Dが追加された直後では、オーナーおよびバックアップの割り当てを変更しない。
図23は、図22の状態から実行される長期同期処理の一例を示す図である。新たなノード30が追加された場合、第2割当部23は、複数のパーティションのそれぞれに対して、新たなノード30を含めてバックアップの候補となるノード30を再度割り当てる。この場合、第2割当部23は、割り当てられたオーナーおよびバックアップの数の差がノード30間で予め定められた値の範囲内となるように、複数のパーティションのそれぞれに対して、バックアップの候補となるノード30を割り当てる。
本例では、再割り当ての結果、図23の目標役割表に示されるように、パーティション#1に対して、ノード30−Aおよびノード30−Bがバックアップの候補として割り当てられる。また、パーティション#2に対して、ノード30−Bおよびノード30−Dがバックアップの候補として割り当てられる。また、パーティション#3に対して、ノード30−Aおよびノード30−Dがバックアップの候補として割り当てられる。
そして、クラスタ管理部24は、目標役割表をノード30−A、ノード30−Bおよびノード30−Dに配布する。ノード30−A、ノード30−Bおよびノード30−Dのそれぞれの転送部35は、現役割表と目標役割表の差の部分に対して長期同期処理を実行する。
すなわち、ノード30−Bの転送部35は、パーティション#2のデータ集合をバックグラウンドでノード30−Dに送信する。また、ノード30−Aの転送部35は、パーティション#3のデータ集合をバックグラウンドでノード30−Dに送信する。なお、このとき、転送部35は、クライアントからのアクセス要求に対する処理を中断せずに長期同期処理を実行する。
この結果、ノード30−Dは、パーティション#2のデータ集合のレプリカを記憶することができる。さらに、図23のデータ保持表に示されるように、パーティション#2のタイムスタンプは、ノード30−Bおよびノード30−Dで同一値となる。
また、ノード30−Dは、パーティション#3のデータ集合のレプリカを記憶することができる。さらに、図23のデータ保持表に示されるように、パーティション#3のタイムスタンプは、ノード30−Aおよびノード30−Dで同一値となる。
図24は、図23の長期同期処理が完了したことに応じて短期同期処理を実行した後の、ノード30−Aからノード30−Dのそれぞれの状態を示す図である。長期同期処理が完了した後にクラスタ管理部24から呼び出された場合、第1割当部22は、複数のパーティションのそれぞれに対して、長期同期処理により生成されたレプリカを利用してよりノード30間の負荷が均等となるように、オーナーおよびバックアップとなるノード30を再度割り当てる。
本例では、再割り当ての結果、図24の次役割表に示されるように、パーティション#1に対して、オーナーとしてノード30−Aが割り当てられ、バックアップとしてノード30−Bが割り当てられる。また、パーティション#2に対して、オーナーとしてノード30−Bが割り当てられ、バックアップとしてノード30−Dが割り当てられる。また、パーティション#3に対して、オーナーとしてノード30−Aが割り当てられ、バックアップとしてノード30−Dが割り当てられる。
そして、クラスタ管理部24は、次役割表をノード30−A、ノード30−Bおよびノード30−Dに配布する。ノード30−A、ノード30−Bおよびノード30−Dのそれぞれのノード管理部34は、次役割表を受信すると短期同期処理を実行するとともに、現役割表の内容を次役割表の内容に書き換える。これにより、ノード30−A、ノード30−Bおよびノード30−Dのそれぞれは、新たに割り当てられた役割に応じた処理を実行することができる。
以上のように、本実施形態に係るデータベースシステム10によれば、バックアップの候補となるノード30を割り当ててオーナーとなるノード30から候補となるノード30へとデータ集合の転送をするので、データベースに冗長度を持たせ且つノード30の処理の負荷を均等することができる。さらに、データベースシステム10によれば、このような処理をクライアントからのアクセス要求に対する処理を中断させずに実行することができるので、ノード30を切り離したりノード30を新たに追加したりした場合にも、システムを停止させずにデータの再配置をすることができる。
また、本実施形態の管理装置20およびノード30で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の管理装置20およびノード30で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の管理装置20およびノード30で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、本実施形態の管理装置20およびノード30プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施形態の管理装置20で実行されるプログラムは、上述した各部(表記憶部21、第1割当部22、第2割当部23およびクラスタ管理部24)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、表記憶部21、第1割当部22、第2割当部23およびクラスタ管理部24が主記憶装置上に生成されるようになっている。
また、本実施形態のノード30で実行されるプログラムは、上述した各部(データストア部31、表記憶部32、アクセス処理部33、ノード管理部34および転送部35)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、データストア部31、表記憶部32、アクセス処理部33、ノード管理部34および転送部35が主記憶装置上に生成されるようになっている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
10 データベースシステム
12 CPU
13 メモリ
14 通信I/F
15 ストレージI/F
16 外部記憶装置
20 管理装置
21 表記憶部
22 第1割当部
23 第2割当部
24 クラスタ管理部
30 ノード
31 データストア部
32 表記憶部
33 アクセス処理部
34 ノード管理部
35 転送部
12 CPU
13 メモリ
14 通信I/F
15 ストレージI/F
16 外部記憶装置
20 管理装置
21 表記憶部
22 第1割当部
23 第2割当部
24 クラスタ管理部
30 ノード
31 データストア部
32 表記憶部
33 アクセス処理部
34 ノード管理部
35 転送部
Claims (16)
- データベースを記憶する複数のノードと、前記複数のノードを管理する管理装置と、を備えるデータベースシステムであって、
前記管理装置は、
前記複数のノードのそれぞれの状況の変更に応じて、データ集合を記憶して前記データ集合へのアクセス要求を受け付ける第1ノード、および、前記データ集合を記憶して前記第1ノードのバックアップとなる第2ノードを割り当てて、前記複数のノードのそれぞれに割り当てに応じた動作を指示する第1割当部と、
前記複数のノードの状況と、前記第1ノードおよび前記第2ノードの割り当て状況の変更に応じて、前記第1ノードまたは前記第2ノードの候補となる第3ノードを割り当てて、前記複数のノードのそれぞれに対して、前記第3ノードに前記第1ノードまたは前記第2ノードとして動作させるための準備を指示する第2割当部と、
を有し、
前記複数のノードのそれぞれは、
前記第1ノードまたは前記第2ノードのデータ集合を、前記第3ノードに送信する転送部、
を有する
データベースシステム。 - 前記複数のノードは、前記データベースを複数のパーティションに分割して記憶し、
前記第1割当部は、前記複数のパーティションのそれぞれに対して、前記第1ノードおよび前記第2ノードを割り当て、
前記第2割当部は、前記複数のパーティションのそれぞれに対して、前記第3ノードを割り当てる
請求項1に記載のデータベースシステム。 - 前記第1割当部は、複数のパーティションのそれぞれに対して、前記複数のノードのそれぞれが前記第1ノードか前記第2ノードかを示す第1テーブルを生成し、前記第1テーブルを前記複数のノードのそれぞれに配布することにより割り当てに応じた動作を指示し、
前記第2割当部は、複数のパーティションのそれぞれに対して、前記複数のノードのそれぞれが前記第3ノードかを示す第2テーブルを生成し、前記第2テーブルを前記複数のノードのそれぞれに配布することにより前記準備を指示する
請求項2に記載のデータベースシステム。 - 前記第1割当部は、前記第3ノードへのデータ集合の送信が完了した場合、前記複数のパーティションのそれぞれに対して前記第1ノードおよび前記第2ノードを再度割り当てる
請求項2に記載のデータベースシステム。 - 前記複数のノードのうちの何れかのノードで障害が発生した場合、
前記第1割当部は、前記障害が発生したノードを除いて、前記第1ノードおよび前記第2ノードを再度割り当て、
前記第2割当部は、前記障害が発生したノードを除いて、前記第3ノードを再度割り当てる
請求項4に記載のデータベースシステム。 - 前記第2割当部は、前記複数のパーティションのそれぞれに対して、少なくとも前記第1ノードおよび前記第2ノードが存在するように、前記第3ノードを割り当てる
請求項5に記載のデータベースシステム。 - 新たなノードが追加された場合、前記第2割当部は、前記複数のパーティションのそれぞれに対して、前記新たなノードを含めて前記第3ノードを再度割り当てる
請求項4に記載のデータベースシステム。 - 前記第2割当部は、割り当てられた前記第1ノードおよび前記第2ノードの数の差がノード間で予め定められた値の範囲内となるように、前記複数のパーティションのそれぞれに対して、前記第3ノードを割り当てる
請求項7に記載のデータベースシステム。 - 前記第2割当部は、演算能力の高いノードが演算能力の低いノードよりも優先的に前記第1ノードまたは前記第2ノードとなるように、前記第3ノードを割り当てる
請求項8に記載のデータベースシステム。 - 前記第2割当部は、前記アクセス要求を受け付ける数が少ないノードが前記アクセス要求を受け付ける数が多いノードよりも優先的に前記第1ノードまたは前記第2ノードとなるように、前記第3ノードを割り当てる
請求項8に記載のデータベースシステム。 - 前記複数のノードのそれぞれは、前記第1ノードのパーティションに対する一連のアクセス要求を含むトランザクションを受け付けてクライアントからのアクセス要求に応じた処理を実行し、前記パーティションのデータ集合の更新または登録のアクセス要求を実行する場合、前記第2ノードに一連のアクセス要求を含むトランザクションを送信して実行させるアクセス処理部をさらに有し、
前記転送部は、前記第1ノードまたは前記第2ノードの前記パーティションのデータ集合を、前記トランザクションの実行を妨害しないバックグラウンドで、前記第3ノードに送信する
請求項1に記載のデータベースシステム。 - データベースを記憶する複数のノードを管理する管理装置であって、
前記管理装置は、
前記複数のノードのそれぞれの状況の変更に応じて、データ集合を記憶して前記データ集合へのアクセス要求を受け付ける第1ノード、および、前記データ集合を記憶して前記第1ノードのバックアップとなる第2ノードを割り当てて、前記複数のノードのそれぞれに割り当てに応じた動作を指示する第1割当部と、
前記複数のノードの状況と、前記第1ノードおよび前記第2ノードの割り当て状況との変更に応じて、前記第1ノードまたは前記第2ノードの候補となる第3ノードを割り当てて、前記複数のノードのそれぞれに対して、前記第3ノードに前記第1ノードまたは前記第2ノードとして動作させるための準備を指示する第2割当部と、
を有し、
前記複数のノードのそれぞれは、
前記第1ノードまたは前記第2ノードのデータ集合を、前記第3ノードに送信する
管理装置。 - 請求項1に記載のデータベースシステムに備えられるノード。
- 請求項1に記載のデータベースシステムに備えられる管理装置としてコンピュータを機能させるためのプログラム。
- 請求項1に記載のデータベースシステムに備えられるノードとしてコンピュータを機能させるためのプログラム。
- データベースを記憶する複数のノードと、前記複数のノードを管理する管理装置と、を備えるデータベースシステムにおけるデータ処理方法であって、
前記管理装置が、
前記複数のノードのそれぞれの状況の変更に応じて、データ集合を記憶して前記データ集合へのアクセス要求を受け付ける第1ノード、および、前記データ集合を記憶して前記第1ノードのバックアップとなる第2ノードを割り当てて、前記複数のノードのそれぞれに割り当てに応じた動作を指示する第1割当ステップと、
前記複数のノードの状況と、前記第1ノードおよび前記第2ノードの割り当て状況の変更に応じて、前記第1ノードまたは前記第2ノードの候補となる第3ノードを割り当てて、前記複数のノードのそれぞれに対して、前記第3ノードに前記第1ノードまたは前記第2ノードとして動作させるための準備を指示する第2割当ステップと、
を実行し、
前記複数のノードのそれぞれが、
前記第1ノードまたは前記第2ノードのデータ集合を、前記第3ノードに送信する転送ステップ
を実行する
データ処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/056868 WO2014141393A1 (ja) | 2013-03-12 | 2013-03-12 | データベースシステム、プログラムおよびデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5698865B2 true JP5698865B2 (ja) | 2015-04-08 |
JPWO2014141393A1 JPWO2014141393A1 (ja) | 2017-02-16 |
Family
ID=51532972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014504113A Active JP5698865B2 (ja) | 2013-03-12 | 2013-03-12 | データベースシステム、プログラムおよびデータ処理方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US20140279902A1 (ja) |
EP (2) | EP2975523A4 (ja) |
JP (1) | JP5698865B2 (ja) |
CN (1) | CN104185841B (ja) |
AU (1) | AU2013381504B2 (ja) |
WO (1) | WO2014141393A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015025384A1 (ja) | 2013-08-21 | 2015-02-26 | 株式会社東芝 | データベースシステム、プログラムおよびデータ処理方法 |
JP6122126B2 (ja) | 2013-08-27 | 2017-04-26 | 株式会社東芝 | データベースシステム、プログラムおよびデータ処理方法 |
EP3035595A1 (en) * | 2014-12-17 | 2016-06-22 | Alcatel Lucent | Routable distributed database for managing a plurality of entities of a telecommunication network |
US10977276B2 (en) * | 2015-07-31 | 2021-04-13 | International Business Machines Corporation | Balanced partition placement in distributed databases |
US10303557B2 (en) * | 2016-03-09 | 2019-05-28 | Commvault Systems, Inc. | Data transfer to a distributed storage environment |
CN107800551A (zh) * | 2016-08-31 | 2018-03-13 | 北京优朋普乐科技有限公司 | Redis集群系统及其提高可靠性的方法、客户端 |
CN110300188B (zh) * | 2019-07-25 | 2022-03-22 | 中国工商银行股份有限公司 | 数据传输系统、方法和设备 |
CN111309805B (zh) * | 2019-12-13 | 2023-10-20 | 华为技术有限公司 | 数据库的数据读写方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0392942A (ja) * | 1989-09-06 | 1991-04-18 | Hitachi Ltd | ファイルの格納方法およびアクセス方法 |
JPH09146812A (ja) * | 1995-11-27 | 1997-06-06 | Sanyo Electric Co Ltd | データベース装置 |
JPH10247181A (ja) * | 1997-03-05 | 1998-09-14 | Mitsubishi Electric Corp | 拠点バックアップ計算機システム |
JPH11506556A (ja) * | 1995-05-26 | 1999-06-08 | クラストラ アクティーゼルスカブ | データベースフラグメントレプリカの共通部分が最小の複数のノードのグループを有する連続的に使用可能なデータベースサーバ |
JP2001508900A (ja) * | 1997-01-20 | 2001-07-03 | テレフオンアクチーボラゲツト エル エム エリクソン(パブル) | 分散データ処理システムにおけるデータの分配および複写 |
JP2002522845A (ja) * | 1998-08-11 | 2002-07-23 | テレフオンアクチーボラゲツト エル エム エリクソン(パブル) | フォールトトレラント・コンピュータシステム |
JP2003345640A (ja) * | 2002-05-28 | 2003-12-05 | Mitsubishi Electric Corp | データベースバックアップシステム |
JP2008027189A (ja) * | 2006-07-21 | 2008-02-07 | Internatl Business Mach Corp <Ibm> | トランザクション引継ぎシステム |
JP2009545788A (ja) * | 2006-08-04 | 2009-12-24 | ティーエスエックス インコーポレイテッド | フェイルオーバシステムおよび方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5884326A (en) * | 1996-11-18 | 1999-03-16 | Weinger; Ralph | Method and apparatus for data access |
CA2159269C (en) * | 1995-09-27 | 2000-11-21 | Chaitanya K. Baru | Method and apparatus for achieving uniform data distribution in a parallel database system |
US7013316B1 (en) * | 2000-07-13 | 2006-03-14 | Microsoft Corporation | System and method for synchronizing multiple database files |
US7809384B2 (en) * | 2002-11-05 | 2010-10-05 | Microsoft Corporation | User-input scheduling of synchronization operation on a mobile device based on user activity |
CN1317658C (zh) * | 2002-12-31 | 2007-05-23 | 联想(北京)有限公司 | 利用机群节点相互备份的容错方法 |
JP4374953B2 (ja) * | 2003-09-09 | 2009-12-02 | 株式会社日立製作所 | データ処理システム |
US20050144316A1 (en) * | 2003-12-06 | 2005-06-30 | William Loo | Method and system for service node redundancy |
JP2005196602A (ja) | 2004-01-09 | 2005-07-21 | Hitachi Ltd | 無共有型データベース管理システムにおけるシステム構成変更方法 |
US7120769B2 (en) * | 2004-03-08 | 2006-10-10 | Hitachi, Ltd. | Point in time remote copy for multiple sites |
US8266406B2 (en) * | 2004-04-30 | 2012-09-11 | Commvault Systems, Inc. | System and method for allocation of organizational resources |
US7490205B2 (en) * | 2005-03-14 | 2009-02-10 | International Business Machines Corporation | Method for providing a triad copy of storage data |
US8849746B2 (en) * | 2006-12-19 | 2014-09-30 | Teradata Us, Inc. | High-throughput extract-transform-load (ETL) of program events for subsequent analysis |
US20080288630A1 (en) * | 2007-05-18 | 2008-11-20 | Motorola, Inc. | Device management |
JP4386932B2 (ja) * | 2007-08-17 | 2009-12-16 | 富士通株式会社 | ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法 |
JP5192226B2 (ja) | 2007-12-27 | 2013-05-08 | 株式会社日立製作所 | 待機系計算機の追加方法、計算機及び計算機システム |
JP5222617B2 (ja) * | 2008-04-28 | 2013-06-26 | 株式会社日立製作所 | 情報システム及びi/o処理方法 |
JP4612715B2 (ja) * | 2008-09-05 | 2011-01-12 | 株式会社日立製作所 | 情報処理システム、データ更新方法およびデータ更新プログラム |
JP5359201B2 (ja) * | 2008-11-06 | 2013-12-04 | 富士通株式会社 | コンテンツの削除更新プログラム |
JP5381336B2 (ja) * | 2009-05-28 | 2014-01-08 | 富士通株式会社 | 管理プログラム、管理装置および管理方法 |
US8724449B2 (en) * | 2009-06-10 | 2014-05-13 | Cisco Technology, Inc. | Failure protection for access ring topology |
US9325802B2 (en) * | 2009-07-16 | 2016-04-26 | Microsoft Technology Licensing, Llc | Hierarchical scale unit values for storing instances of data among nodes of a distributed store |
US8495044B2 (en) * | 2009-09-02 | 2013-07-23 | Microsoft Corporation | File system node updates |
US20110283277A1 (en) * | 2010-05-11 | 2011-11-17 | International Business Machines Corporation | Virtualization and dynamic resource allocation aware storage level reordering |
US8595184B2 (en) * | 2010-05-19 | 2013-11-26 | Microsoft Corporation | Scaleable fault-tolerant metadata service |
US8515915B2 (en) * | 2010-09-24 | 2013-08-20 | Hitachi Data Systems Corporation | System and method for enhancing availability of a distributed object storage system during a partial database outage |
US8627024B2 (en) * | 2010-11-30 | 2014-01-07 | International Business Machines Corporation | Snapshot based replication |
US8572031B2 (en) * | 2010-12-23 | 2013-10-29 | Mongodb, Inc. | Method and apparatus for maintaining replica sets |
US8554730B2 (en) * | 2011-07-29 | 2013-10-08 | International Business Machines Corporation | Adding a key column to a table to be replicated |
US20130149678A1 (en) * | 2011-12-12 | 2013-06-13 | Yukie J. Tokuda | System and methods for virtual cooking with multi-course planning |
US8880565B2 (en) * | 2011-12-23 | 2014-11-04 | Sap Se | Table creation for partitioned tables |
-
2013
- 2013-03-12 AU AU2013381504A patent/AU2013381504B2/en active Active
- 2013-03-12 CN CN201380003048.1A patent/CN104185841B/zh active Active
- 2013-03-12 EP EP13834378.5A patent/EP2975523A4/en not_active Ceased
- 2013-03-12 JP JP2014504113A patent/JP5698865B2/ja active Active
- 2013-03-12 WO PCT/JP2013/056868 patent/WO2014141393A1/ja active Application Filing
- 2013-03-12 EP EP23152630.2A patent/EP4191431A1/en active Pending
-
2014
- 2014-03-12 US US14/206,819 patent/US20140279902A1/en not_active Abandoned
-
2023
- 2023-02-13 US US18/167,959 patent/US20230244694A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0392942A (ja) * | 1989-09-06 | 1991-04-18 | Hitachi Ltd | ファイルの格納方法およびアクセス方法 |
JPH11506556A (ja) * | 1995-05-26 | 1999-06-08 | クラストラ アクティーゼルスカブ | データベースフラグメントレプリカの共通部分が最小の複数のノードのグループを有する連続的に使用可能なデータベースサーバ |
JPH09146812A (ja) * | 1995-11-27 | 1997-06-06 | Sanyo Electric Co Ltd | データベース装置 |
JP2001508900A (ja) * | 1997-01-20 | 2001-07-03 | テレフオンアクチーボラゲツト エル エム エリクソン(パブル) | 分散データ処理システムにおけるデータの分配および複写 |
JPH10247181A (ja) * | 1997-03-05 | 1998-09-14 | Mitsubishi Electric Corp | 拠点バックアップ計算機システム |
JP2002522845A (ja) * | 1998-08-11 | 2002-07-23 | テレフオンアクチーボラゲツト エル エム エリクソン(パブル) | フォールトトレラント・コンピュータシステム |
JP2003345640A (ja) * | 2002-05-28 | 2003-12-05 | Mitsubishi Electric Corp | データベースバックアップシステム |
JP2008027189A (ja) * | 2006-07-21 | 2008-02-07 | Internatl Business Mach Corp <Ibm> | トランザクション引継ぎシステム |
JP2009545788A (ja) * | 2006-08-04 | 2009-12-24 | ティーエスエックス インコーポレイテッド | フェイルオーバシステムおよび方法 |
Non-Patent Citations (4)
Title |
---|
CSND199700556010; 'Oracle8徹底解剖 大規模システム対応を強化,小規模ではOracle7と性能は同等' 日経オープンシステム 第55号, 19971015, 216〜225, 日経BP社 * |
CSND199801127003; 中村 正弘: '複製ファイルの非同期更新が分散データベースの中心技術に' 日経エレクトロニクス 第609号, 19940606, 101〜110, 日経BP社 * |
JPN6015001392; 中村 正弘: '複製ファイルの非同期更新が分散データベースの中心技術に' 日経エレクトロニクス 第609号, 19940606, 101〜110, 日経BP社 * |
JPN6015001393; 'Oracle8徹底解剖 大規模システム対応を強化,小規模ではOracle7と性能は同等' 日経オープンシステム 第55号, 19971015, 216〜225, 日経BP社 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014141393A1 (ja) | 2017-02-16 |
AU2013381504B2 (en) | 2016-06-23 |
US20140279902A1 (en) | 2014-09-18 |
US20230244694A1 (en) | 2023-08-03 |
CN104185841B (zh) | 2018-08-17 |
EP2975523A1 (en) | 2016-01-20 |
CN104185841A (zh) | 2014-12-03 |
AU2013381504A1 (en) | 2015-02-12 |
WO2014141393A1 (ja) | 2014-09-18 |
EP4191431A1 (en) | 2023-06-07 |
EP2975523A4 (en) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6122126B2 (ja) | データベースシステム、プログラムおよびデータ処理方法 | |
JP6382819B2 (ja) | データベースシステム、ノード、管理装置、プログラムおよびデータ処理方法 | |
JP5698865B2 (ja) | データベースシステム、プログラムおよびデータ処理方法 | |
CN107005596B (zh) | 用于在集群重新配置后的工作负载平衡的复制型数据库分配 | |
CN107004033B (zh) | 大规模并行处理器数据库系统和方法 | |
EP3399426B1 (en) | Method and device for training model in distributed system | |
EP3764244B1 (en) | System and method for massively parallel processing database | |
KR101544480B1 (ko) | 복수 개의 프락시 서버를 포함하는 분산 저장 시스템 및 그 오브젝트 관리 방법 및 컴퓨터에 의하여 독출가능한 저장 매체 | |
EP2643771B1 (en) | Real time database system | |
Shalita et al. | Social hash: an assignment framework for optimizing distributed systems operations on social networks | |
WO2014047902A1 (zh) | 负载均衡方法、装置、系统及计算机可读介质 | |
US10437797B1 (en) | In-memory distributed database with a remote data store | |
US11321283B2 (en) | Table and index communications channels | |
CN108200211B (zh) | 集群中镜像文件下载的方法、节点和查询服务器 | |
CN117120993A (zh) | 地理上分散的混合云集群 | |
KR20150093979A (ko) | 가상화 클러스터 환경에서 네임 노드를 할당하는 방법 및 장치 | |
KR101681651B1 (ko) | 데이터베이스 관리 시스템 및 방법 | |
JP7412974B2 (ja) | コンピュータ、データベースシステム、計算システム、計算方法、プログラム、及び記憶媒体 | |
CN113225362B (zh) | 服务器集群系统和服务器集群系统的实现方法 | |
JPWO2019030883A1 (ja) | 計算機システムおよびデータ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5698865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |