JP6816072B2 - 分散データベースシステム、分散データベース管理方法、及び分散データベース管理プログラム - Google Patents

分散データベースシステム、分散データベース管理方法、及び分散データベース管理プログラム Download PDF

Info

Publication number
JP6816072B2
JP6816072B2 JP2018157983A JP2018157983A JP6816072B2 JP 6816072 B2 JP6816072 B2 JP 6816072B2 JP 2018157983 A JP2018157983 A JP 2018157983A JP 2018157983 A JP2018157983 A JP 2018157983A JP 6816072 B2 JP6816072 B2 JP 6816072B2
Authority
JP
Japan
Prior art keywords
node
storage
storage device
data
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018157983A
Other languages
English (en)
Other versions
JP2020034961A (ja
Inventor
水野　潤
潤 水野
貴志 爲重
貴志 爲重
聡一 高重
聡一 高重
晋広 牧
晋広 牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018157983A priority Critical patent/JP6816072B2/ja
Priority to US16/288,490 priority patent/US11204941B2/en
Publication of JP2020034961A publication Critical patent/JP2020034961A/ja
Application granted granted Critical
Publication of JP6816072B2 publication Critical patent/JP6816072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/085—Retrieval of network configuration; Tracking network configuration history
    • H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
    • H04L41/0856—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information by backing up or archiving configuration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mathematical Physics (AREA)

Description

本発明は、複数のノード計算機によって構成される分散データベースシステムを管理する技術に関する。
ＳｏＥ（System of Engagement）市場では、ＳｏＲ（System of Record）市場に比べてコスト意識が高く、高可用で高性能なだけでなく、低コストなシステムが求められる。
ＩＴシステムを構成するソフトウェアのうち、多種多様なデータを保持するためにデータベース管理ソフトが用いられる。ＳｏＥ向けのシステムでは、データ量の増減が予測困難なため、スケールアウトが容易な分散データベースが使われる。
分散データベースは、複数のノード計算機（ノードともいう）でクラスタを構成し、Ｗｒｉｔｅ（ライト）要求が発生した場合には、複数のノードで同一のデータ（レプリカ）を保持することで可用性を担保する。
一方、各ノードの応答性能は、データを保持するＩ／Ｏデバイス（ＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等の記憶装置）の性能に依存する。そのため、分散データベースの応答性能を高めるには、各ノードのＩ／Ｏデバイスを、例えばＳＳＤといった高性能なものにする必要があった。高性能なＩ／Ｏデバイスは、一般的に高価であり、高性能な分散データベースを低コストで構築することは難しい。
分散データベースを低コストで構築するため、分散データベースを構成する全てのノードでＳＳＤを使用するのではなく、一部のノードで安価なＨＤＤを使用することが行われている。
例えば、特許文献１には、マスタスレーブ型の分散データベースにおいて、スレーブのネットワークにデータが到達した時点でデータ複製成功と判断してクライアントへ書き込み完了を通知する技術が開示されている。
このようなマスタスレーブ型の分散データベースでは、最初にマスタノードにレプリカを作成し、次にスレーブノードにレプリカを作成する。そのため、特許文献１に開示された技術を用いれば、マスタノードにＳＳＤを使用し、スレーブノードにＨＤＤを使用することで、分散データベースの応答性能を高性能にすることができ、また、一部のノードでＨＤＤを使うことで、全てのノードでＳＳＤを使用する場合に比べて、低コスト化を実現することができる。
国際公開第２０１３／０４６３５２号
例えば、マスタスレーブ型の分散データベースは、マスタノードが単一障害点となり、可用性に問題がある。これを回避するものとして、Ｐ２Ｐ（Peer to Peer）型の分散データベースが存在する。Ｐ２Ｐ型の分散データベースは、全てのノードが同一の機能を持ち、複数のノードで同一のデータを保持することで可用性を担保する。特定のノードが特別な役割を持たないため、ノード障害が発生しても他のノードが代役をでき、サービスを継続できる。
しかしながら、Ｐ２Ｐ型の分散データベースでは、最初のレプリカを作成するノードは動的にランダムに選択されるため、ＳＳＤを使用するノードと、ＨＤＤを使用するノードとが混在している場合、特許文献１に開示された技術を用いたとしても、最初にレプリカを作成するノードとしてＨＤＤを使用するノードが選択されてしまうと、クライアントに対する分散データベースの応答性能が低下する。
本発明は、Ｐ２Ｐ型の分散データベースシステムにおける応答性能を向上することのできる技術を提供することにある。
上記目的を達成するため、一観点に係る分散データベースシステムは、クライアント計算機が利用する管理対象データを記憶装置に格納可能なノード計算機を複数備える分散データベースシステムであって、記憶装置には、入出力性能の高い第１種記憶装置と、入出力性能の低い第２種記憶装置とがあり、クライアント計算機からの管理対象データの読み出し要求に対して応答するために必要とされる同一の管理対象データを読み出すべきノード計算機の数を示す応答数情報を含む管理情報を記憶する管理情報記憶部と、クライアント計算機から新たな管理対象データの書き込み要求を受け取った場合に、複数のノード計算機から、応答数情報が示す数のノード計算機であって、第１種記憶装置に対して管理対象データを格納可能なノード計算機を、管理対象データの格納先として決定する格納先決定部と、決定されたノード計算機に対して、管理対象データを格納させる格納制御部と、を備える。
本発明によれば、Ｐ２Ｐ型の分散データベースシステムにおける応答性能を向上することができる。
図１は、実施例１に係る計算機システムの全体構成図である。 図２は、実施例１に係るクライアント計算機の構成図である。 図３は、実施例１に係るノード計算機の構成図である。 図４は、実施例１に係るデータ管理テーブルの構成図である。 図５は、実施例１に係るノード情報管理表の構成図である。 図６は、実施例１に係るＫｅｙＳｐａｃｅ管理表の構成図である。 図７は、実施例１に係る格納先管理表の構成図である。 図８は、実施例１に係るリクエスト対応処理のフローチャートである。 図９は、実施例１に係るデータ配分処理のフローチャートである。 図１０は、実施例１に係るライト処理のフローチャートである。 図１１は、実施例１に係るリード処理のフローチャートである。 図１２は、実施例１に係る設定変更処理のフローチャートである。 図１３は、実施例２に係るノード計算機の構成図である。 図１４は、実施例２に係るデバイス種別取得処理のフローチャートである。 図１５は、実施例２に係るデバイス種別更新処理のフローチャートである。 図１６は、実施例３に係る計算機システムの全体構成図である。 図１７は、実施例３に係るＳＤＳノードの構成図である。 図１８は、実施例３に係る論理ボリューム管理表の構成図である。 図１９は、実施例３に係る管理サーバの構成図である。 図２０は、実施例３に係るＳＤＳノード管理表の構成図である。 図２１は、実施例３に係る論理ボリューム情報管理表の構成図である。 図２２は、実施例３に係る論理ボリューム情報更新処理のフローチャートである。 図２３は、実施例３に係るデバイス種別取得処理のフローチャートである。 図２４は、実施例４に係る管理サーバの構成図である。 図２５は、実施例４に係る稼働情報管理表の構成図である。 図２６は、実施例４に係る性能劣化対処処理のフローチャートである。 図２７は、実施例５に係る管理サーバの構成図である。 図２８は、実施例５に係るネットワーク負荷管理表の構成図である。 図２９は、実施例５に係る冗長性確保方法判断処理のフローチャートである。
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
以下の説明では、「ＡＡＡテーブル」、「ＡＡＡ表」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」や「ＡＡＡ表」を「ＡＡＡ情報」と呼ぶことができる。
また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサである。１以上のプロセッサの各々は、シングルコアでもよいしマルチコアでもよい。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
また、以下の説明では、「プログラム」を動作の主体として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及びインターフェース部のうちの少なくとも１つを用いながら行うため、処理の動作主体が、プロセッサ部（或いは、プロセッサ部を有する計算機又は計算機システム）とされてもよい。プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。また、プログラムが実行されることによって実現される処理のうちの少なくとも一部が、ハードウェア回路（例えばＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array））によって実現されてもよい。
まず、本発明の実施例１に係る計算機システムについて説明する。
図１は、第１実施例に係る計算機システムの全体構成図である。
計算機システム１は、１以上のクライアント計算機１０１０と、複数のノード計算機１０２０とを含む。クライアント計算機１０１０と、複数のノード計算機１０２０は、業務ネットワーク１０３０を介して接続されている。また、複数のノード計算機１０２０は、クラスタネットワーク１０４０を介して接続されている。なお、業務ネットワーク１０３０と、クラスタネットワーク１０４０とは同一のネットワークであってもよい。
計算機システム１においては、複数のノード計算機１０２０により、分散データベースクラスタ（分散データベースシステム：単に分散データベースともいう）１０５０が構成されている。
クライアント計算機１０１０は、ユーザデータ（管理対象データ）を用いた各種処理を実行し、分散データベースクラスタ１０５０へユーザデータについてのＩ／Ｏ要求（Ｗｒｉｔｅ要求（ライト要求）やＲｅａｄ要求（リード要求））を送信し、その応答を受信する。
ノード計算機１０２０は、クライアント計算機１０１０で使用されるユーザデータを格納可能であり、クライアント計算機１０１０からのＩ／Ｏ要求に対応するＩ／Ｏ処理を実行する。
次に、クライアント計算機１０１０について詳細に説明する。
図２は、実施例１に係るクライアント計算機の構成図である。
クライアント計算機１０１０は、プロセッサの一例としてのＣＰＵ（Central Processing Unit）２０１０と、メモリ２０２０と、記憶装置２０３０と、入力装置２０４０と、出力装置２０５０と、通信ポート２０６０とを備える。
通信ポート２０６０は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、業務ネットワーク１０３０を介して各ノード計算機１０２０と通信する。
ＣＰＵ２０１０は、メモリ２０２０及び／又は記憶装置２０３０に格納されているプログラムに従って各種処理を実行する。
メモリ２０２０は、例えば、ＲＡＭ（Random Access Memory）であり、ＣＰＵ２０１０で実行されるプログラムや、必要な情報を記憶する。
記憶装置２０３０は、例えば、ハードディスクドライブやＳＳＤなどであり、ＣＰＵ２０１０で実行されるプログラムや、ＣＰＵ２０１０に利用されるデータを記憶する。
入力装置２０４０は、例えば、マウス、キーボード等のユーザによる操作入力を受け付ける装置である。出力装置２０５０は、例えば、ディスプレイ等の各種情報を表示出力する装置である。
次に、ノード計算機１０２０について説明する。
図３は、実施例１に係るノード計算機の構成図である。
ノード計算機１０２０は、プロセッサの一例としてのＣＰＵ３０１０と、メモリ３０２０と、管理情報記憶部の一例としての記憶装置３０３０と、入力装置３０４０と、出力装置３０５０と、通信ポート３０６０とを備える。
通信ポート３０６０は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、業務ネットワーク１０３０を介して各クライアント計算機１０１０と通信し、クラスタネットワーク１０４０を介して他のノード計算機１０２０と通信する。
ＣＰＵ３０１０は、メモリ３０２０及び／又は記憶装置３０３０に格納されているプログラムに従って各種処理を実行する。
メモリ３０２０は、例えば、ＲＡＭであり、ＣＰＵ３０１０で実行されるプログラムや、必要な情報を記憶する。本実施例では、メモリ３０２０は、データ管理テーブル３０２５を記憶する。データ管理テーブル３０２５は、分散データベース管理システムのＣａｓｓａｎｄｒａにおけるｍｅｍｔａｂｌｅに相当する。データ管理テーブル３０２５は、クライアント計算機１０１０からのＷｒｉｔｅ要求のあったデータを一時的に保持する。なお、データ管理テーブル３０２５の詳細については後述する。
記憶装置３０３０は、例えば、ＨＤＤやＳＳＤなどであり、ＣＰＵ３０１０で実行されるプログラムや、ＣＰＵ３０１０に利用されるデータや、クライアント計算機１０１０から送信されたユーザデータ等を記憶する。本実施例に係る計算機システム１では、記憶装置３０３０の種別がＳＳＤ（第１種記憶装置の一例）であるノード計算機１０２０と、記憶装置３０３０の種別がＨＤＤ（第２種記憶装置）であるノード計算機１０２０とが混在している。例えば、記憶装置３０３０の種別をＳＳＤにした場合には、ＨＤＤにした場合に比して、Ｉ／Ｏにおける応答速度の性能（Ｉ／Ｏ性能：入出力性能）が高い。一方、記憶装置３０３０の種別をＨＤＤにした場合には、ＳＳＤにした場合に比して、コストを低減することができる。
本実施例では、記憶装置３０３０は、ノード情報管理表３１１０と、ＫｅｙＳｐａｃｅ（キースペース）管理表３１２０と、格納先管理表３１２５と、を格納する。また、記憶装置３０３０は、ＣｏｍｍｉｔＬｏｇ（コミットログ）記憶領域３１３０と、データ記憶領域３１４０とを有する。また、記憶装置３０３０は、ＣＰＵ３０１０により実行されるプログラムとして、リクエスト受信プログラム３２１０と、データ配分プログラム３２２０と、Ｗｒｉｔｅ処理プログラム３２３０と、Ｒｅａｄ処理プログラム３２４０と、クラスタ通信プログラム３２５０とを記憶する。これらプログラムは、メモリ３０２０にロードされてＣＰＵ３０１０により実行される。ここで、ＣＰＵ３０１０がデータ配分プログラム３２２０を実行することにより、格納先決定部が構成される。また、ＣＰＵ３０１０がリクエスト受信プログラム３２１０を実行することにより、格納制御部が構成される。
入力装置３０４０は、例えば、マウス、キーボード等のユーザによる操作入力を受け付ける装置である。出力装置３０５０は、例えば、ディスプレイ等の各種情報を表示出力する装置である。
次に、メモリ３０２０に格納されているデータ管理テーブル３０２５について詳細に説明する。
図４は、実施例１に係るデータ管理テーブルの構成図である。
データ管理テーブル３０２５は、管理する所定の単位のデータ（単位データ）ごとに対応するエントリを格納する。データ管理テーブル３０２５のエントリは、ＫｅｙＳｐａｃｅ（キースペース）３０２５ａと、ＣｏｌｕｍｎＦａｍｉｌｙ（カラムファミリ）３０２５ｂと、Ｒｏｗ（ロウ）３０２５ｃと、Ｎａｍｅ（名称）３０２５ｄと、Ｖａｌｕｅ（値）３０２５ｅと、Ｔｉｍｅｓｔａｍｐ（タイムスタンプ）３０２５ｆとの欄（カラム）を有する。
ＫｅｙＳｐａｃｅ３０２５ａには、単位データを保持するＫｅｙＳｐａｃｅ（インスタンスに対応）を一意に識別する識別子（ＫｅｙＳｐａｃｅＩＤ）が格納される。ＣｏｌｕｍｎＦａｍｉｌｙ３０２５ｂには、単位データを保持するＣｏｌｕｍｎＦａｍｉｌｙ（テーブルに対応）を一意に識別する識別子（ＣｏｌｕｍｎＦａｍｉｌｙＩＤ）が格納される。Ｒｏｗ３０２５ｃには、単位データを格納するＲｏｗを一意に識別する識別子（ＲｏｗＩＤ）が格納される。Ｎａｍｅ３０２５ｄには、単位データを一意に識別するデータ名（Ｎａｍｅ）が格納される。Ｖａｌｕｅ３０２５ｅには、エントリに対応する単位データの内容（Ｖａｌｕｅ：値）が格納される。Ｔｉｍｅｓｔａｍｐ３０２５ｆには、エントリに対応する単位データが書き込まれた日時（タイムスタンプ）が格納される。
次に、ノード情報管理表３１１０について詳細に説明する。
図５は、実施例１に係るノード情報管理表の構成図である。
ノード情報管理表３１１０は、分散データベースクラスタ１０５０を構成するノード計算機ごとのエントリを格納する。ノード情報管理表３１１０のエントリは、ノードＩＤ３１１０ａと、ＤＣ（データセンタ）３１１０ｂと、Ｒａｃｋ３１１０ｃと、Ｉ／Ｏデバイス種別３１１０ｄとの欄を含む。
ノードＩＤ３１１０ａには、エントリに対応するノード計算機１０２０を一意に識別する識別子（ノードＩＤ）が格納される。ＤＣ３１１０ｂには、エントリに対応するノード計算機１０２０が配置されているデータセンタを一意に識別する識別子（ＤＣＩＤ）が格納される。Ｒａｃｋ３１１０ｃには、エントリに対応するノード計算機１０２０が配置されているラックを一意に識別する識別子（ＲａｃｋＩＤ）が格納される。Ｉ／Ｏデバイス種別３１１０ｄには、エントリに対応するノード計算機１０２０が使用しているＩ／Ｏデバイス（本実施例では、記憶装置３０３０）の種別（Ｉ／Ｏデバイス種別）が格納される。
次に、ＫｅｙＳｐａｃｅ管理表３１２０について詳細に説明する。
図６は、実施例１に係るＫｅｙＳｐａｃｅ管理表の構成図である。
ＫｅｙＳｐａｃｅ管理表３１２０は、分散データベースクラスタ１０５０で管理しているＫｅｙＳｐｅｃｅ毎のエントリを格納する。ＫｅｙＳｐａｃｅ管理表３１２０のエントリは、ＫｅｙＳｐａｃｅ３１２０ａと、冗長レベル３１２０ｂと、整合性レベル３１２０ｃとの欄を含む。
ＫｅｙＳｐａｃｅ３１２０ａには、エントリに対応するＫｅｙＳｐａｃｅのＫｅｙＳｐａｃｅＩＤが格納される。冗長レベル３１２０ｂには、エントリに対応するＫｅｙＳｐａｃｅにおいて、冗長性を確保するために必要なデータの複製（レプリカ）の数（基本的には、ノード計算機（Ｉ／Ｏデバイス）の数）を示す冗長レベル（冗長数情報）が格納される。整合性レベル３１２０ｃには、エントリに対応するＫｅｙＳｐａｃｅにおいて、整合性を確保するために必要なデータの複製（レプリカ）の数（ノード計算機（Ｉ／Ｏデバイス）の数）を示す整合性レベル（応答数情報）が格納される。具体的には、クライアント計算機１０１０からＲｅａｄ要求があった場合に、整合性レベルのノード計算機１０２０から読み出したデータが整合していることを確認した場合に、クライアント計算機１０１０にデータを応答する。
次に、格納先管理表３１２５について詳細に説明する。
図７は、実施例１に係る格納先管理表の構成図である。
格納先管理表３１２５は、単位データ毎のエントリが格納される。格納先管理表３１２５のエントリは、ＫｅｙＳｐａｃｅ３１２５ａと、ＣｏｌｕｍｎＦａｍｉｌｙ３１２５ｂと、Ｒｏｗ３１２５ｃと、Ｎａｍｅ３１２５ｄと、ノードＩＤ３１２５ｅとの欄を有する。
ＫｅｙＳｐａｃｅ３１２５ａには、エントリに対応する単位データを保持するＫｅｙＳｐａｃｅのＫｅｙＳｐａｃｅＩＤが格納される。ＣｏｌｕｍｎＦａｍｉｌｙ３１２５ｂには、単位データを保持するＣｏｌｕｍｎＦａｍｉｌｙのＣｏｌｕｍｎＦａｍｉｌｙＩＤが格納される。Ｒｏｗ３１２５ｃには、単位データを格納するＲｏｗのＲｏｗＩＤが格納される。Ｎａｍｅ３１２５ｄには、単位データのＮａｍｅが格納される。ノードＩＤ３１２５ｅには、エントリに対応する単位データを格納しているノード計算機を一意に識別する識別子（ノードＩＤ）が格納される。この格納先管理表３１２５によると、単位データがどのノード計算機１０２０に格納されているかを特定することができる。
ＣｏｍｍｉｔＬｏｇ記憶領域３１３０は、Ｗｒｉｔｅ要求があったデータの即時ログを記憶するための領域である。ＣｏｍｍｉｔＬｏｇ記憶領域３１３０には、Ｗｒｉｔｅ要求のたびに、Ｗｒｉｔｅ要求に対応するデータのＫｅｙＳｐａｃｅＩＤ、ＣｏｌｕｍｎＦａｍｉｌｙＩＤ、ＲｏｗＩＤ、Ｎａｍｅ、Ｖａｌｕｅ、ＴｉｍｅＳｔａｍｐが格納される。
データ記憶領域３１４０は、メモリ３０２０のデータ管理テーブル３０２５の内容のフラッシュ時の書き込み先となる領域である。データ記憶領域３１４０は、データ管理テーブル３０２５と同一のデータ形式で内容を保持する。
次に、分散データベースクラスタ１０５０の処理動作について説明する。
まず、リクエスト対応処理について説明する。
図８は、実施例１に係るリクエスト対応処理のフローチャートである。
リクエスト対応処理は、リクエスト受信プログラム３２１０をＣＰＵ３０１０が実行することにより実行される。リクエスト対応処理は、クライアント計算機１０１０からのリクエストを受信した場合に実行される。
クライアント計算機１０１０からリクエストを受信すると（Ｓ７０１）、リクエスト受信プログラム３２１０（正確には、リクエスト受信プログラム３２１０を実行するＣＰＵ３０１０）は、受信したリクエストが、Ｕｐｄａｔｅ（更新）、Ｒｅａｄ（読み出し）、Ｗｒｉｔｅ（書き込み）のいずれであるかを判定する（Ｓ７０２）。
この結果、リクエストがＵｐｄａｔｅの場合（Ｓ７０２：Ｕｐｄａｔｅ）には、リクエスト受信プログラム３２１０は、格納先管理表３１２５を参照して、Ｕｐｄａｔｅ対象のデータを保持する1以上のノード計算機１０２０を検索し（Ｓ７０３）、検索したノード計算機１０２０に対してＵｐｄａｔｅ対象のデータを書き込ませるＷｒｉｔｅ要求を転送し（Ｓ７０４）、処理をステップＳ７０９に進める。
また、リクエストがＲｅａｄの場合（Ｓ７０２：Ｒｅａｄ）には、リクエスト受信プログラム３２１０は、格納先管理表３１２５を参照して、Ｒｅａｄ対象のデータを保持する1以上のノード計算機１０２０を検索し（Ｓ７０５）、検索したノード計算機１０２０に対してＲｅａｄ要求を送信し（Ｓ７０６）、処理をステップＳ７０９に進める。
また、リクエストがＷｒｉｔｅ場合（Ｓ７０２：Ｗｒｉｔｅ）には、リクエスト受信プログラム３２１０は、データ分配プログラム３２２０に対して、データを分配して格納させるノード計算機１０２０を決定させる要求（ノード決定要求）を送信し、データ分配プログラム３２２０から分配させて格納させるノード計算機１０２０の決定結果を受信し（Ｓ７０７）、決定結果のノード計算機１０２０に対して、Ｗｒｉｔｅ要求を送信し（Ｓ７０８）、処理をステップＳ７０９に進める。
ステップＳ７０９では、リクエスト受信プログラム３２１０は、要求を送信した各ノード計算機１０２０からの応答を待ち、応答が返ってきたノード計算機１０２０の数が、ＫｅｙＳｐａｃｅ管理表３１２０のリクエスト対象のデータの属するＫｅｙＳｐａｃｅに対応する整合性レベルより少ないか否かを判定する（Ｓ７１０）。
この結果、応答が返ってきたノード計算機１０２０の数が整合性レベルよりも少ない場合（Ｓ７１０：Ｙｅｓ）には、整合性が確認されていないことを意味しているので、リクエスト受信プログラム３２１０は、処理をステップＳ７０９に進める。
一方、応答が返ってきたノード計算機１０２０の数が整合性レベルより少なくない、すなわち、整合性レベル以上となった場合（Ｓ７１０：Ｎｏ）には、整合性が確認されたことを意味しているので、リクエスト受信プログラム３２１０は、クライアント計算機１０１０に対して応答を返し（Ｓ７１１）、処理を終了する。
次に、データ分配処理について説明する。
図９は、実施例１に係るデータ配分処理のフローチャートである。
データ配分処理は、データ配分プログラム３２２０をＣＰＵ３０１０が実行することにより実行される。データ配分処理は、リクエスト受信プログラム３２１０からノード決定要求（図８のステップＳ７０７で送信）を受信した場合に実行される。
データ配分プログラム３２２０は、データ配分先のノード決定要求を受信すると、ノード決定要求に対応するＫｅｙＳｐａｃｅを確認し、ＫｅｙＳｐａｃｅ管理表３１２０を参照して、このＫｅｙＳｐａｃｅにおける冗長レベルと、整合性レベルとを取得する（Ｓ８０１）。
次に、データ配分プログラム３２２０は、ノード情報管理表３１１０を参照し、レプリカを作成する１つのノード計算機１０２０をＩ／Ｏデバイス種別がＳＳＤのノード計算機１０２０の中から選択する（Ｓ８０２）。
次に、データ配分プログラム３２２０は、選択済みのノード計算機１０２０の数が、ステップＳ８０１で取得した整合性レベルより少ないか否かを判定する（Ｓ８０３）。
この結果、選択済みのノード計算機１０２０の数が、ステップＳ８０１で取得した整合性レベルよりも少ない場合（Ｓ８０３：Ｙｅｓ）には、整合性の確保に必要な数のＳＳＤのノード計算機１０２０が選択されていないことを意味しているので、データ配分プログラム３２２０は、ノード情報管理表３１１０を参照し、レプリカを作成する別の１つのノード計算機１０２０をＩ／Ｏデバイス種別がＳＳＤのノード計算機１０２０の中から選択し（Ｓ８０４）、処理をステップＳ８０３に進める。
一方、選択済みのノード計算機１０２０の数が、整合性レベルよりも少なくない場合、すなわち、整合性レベル以上である場合（Ｓ８０３：Ｎｏ）には、整合性の確保に必要な数のＳＳＤのノード計算機１０２０が選択されていることを意味しているので、データ配分プログラム３２２０は、処理をステップＳ８０５に進める。
ステップＳ８０５では、データ配分プログラム３２２０は、選択済みのノード計算機１０２０の数が、ステップＳ８０１で取得した冗長レベルより少ないか否かを判定する（Ｓ８０５）。
この結果、選択済みのノード計算機１０２０の数が、ステップＳ８０１で取得した冗長レベルよりも少ない場合（Ｓ８０５：Ｙｅｓ）には、冗長性の確保に必要な数のノード計算機１０２０が選択されていないことを意味しているので、データ配分プログラム３２２０は、ノード情報管理表３１１０を参照し、レプリカを作成する別の１つのノード計算機１０２０をＩ／Ｏデバイス種別がＨＤＤのノード計算機１０２０の中から選択し（Ｓ８０６）、処理をステップＳ８０５に進める。
一方、選択済みのノード計算機１０２０の数が、冗長レベルよりも少なくない場合、すなわち、冗長レベル以上である場合（Ｓ８０５：Ｎｏ）には、冗長性の確保に必要な数のノード計算機１０２０が選択されていることを意味しているので、データ配分プログラム３２２０は、処理を終了する。
このデータ配分処理によると、データのレプリカを配分するノード計算機１０２０として、整合性レベルに対応する数のＳＳＤのノード計算機１０２０と、冗長レベルに不足している数（冗長レベル−整合性レベル）のＨＤＤのノード計算機１０２０とを適切に選択することができる。
次に、ライト処理について説明する。
図１０は、実施例１に係るライト処理のフローチャートである。
ライト処理は、Ｗｒｉｔｅ処理プログラム３２３０をＣＰＵ３０１０が実行することにより実行される。ライト処理は、Ｗｒｉｔｅ処理プログラム３２３０が、リクエスト受信プログラム３２１０からＷｒｉｔｅ要求（図８のステップＳ７０４、Ｓ７０８で送信）を受信した場合に実行される。
Ｗｒｉｔｅ処理プログラム３２３０は、Ｗｒｉｔｅ要求を受信すると（Ｓ９０１）、ＣｏｍｍｉｔＬｏｇ記憶領域３１３０に、ログとして、Ｗｒｉｔｅ要求に対応するデータのＫｅｙＳｐａｃｅＩＤ、ＣｏｌｕｍｎＦａｍｉｌｙＩＤ、ＲｏｗＩＤ、Ｎａｍｅ、及びＶａｌｕｅと、Ｗｒｉｔｅ要求に対応するＴｉｍｅｓｔａｍｐを格納し（Ｓ９０２）、メモリ３０２０のデータ管理テーブル３０２５に、Ｗｒｉｔｅ要求に対応するデータを反映させ（Ｓ９０３）、要求元に応答を返す（Ｓ９０４）。
次に、Ｗｒｉｔｅ処理プログラム３２３０は、データ管理テーブル３０２５のサイズが閾値以上であるか否かを判定し（Ｓ９０５）、データ管理テーブル３０２５のサイズが閾値以上でない場合（Ｓ９０５：Ｎｏ）には処理を終了する。
一方、データ管理テーブル３０２５のサイズが閾値以上である場合（Ｓ９０５：Ｙｅｓ）には、Ｗｒｉｔｅ処理プログラム３２３０は、データ管理テーブル３０２５の内容をフラッシュする、すなわち、データ管理テーブル３０２５の内容を記憶装置３０３０のデータ記憶領域３１４０に移動し（Ｓ９０６）、処理を終了する。
次に、リード処理について説明する。
図１１は、実施例１に係るリード処理のフローチャートである。
リード処理は、Ｒｅａｄ処理プログラム３２４０をＣＰＵ３０１０が実行することにより実行される。リード処理は、Ｒｅａｄ処理プログラム３２４０が、リクエスト受信プログラム３２１０からＲｅａｄ要求（図８のステップＳ７０５で送信）を受信した場合に実行される。
Ｒｅａｄ処理プログラム３２４０は、Ｒｅａｄ要求を受信すると（Ｓ１００１）、Ｒｅａｄ対象のデータ（この処理の説明において対象データという）がデータ管理テーブル３０２５に存在するか否かを判定する（Ｓ１００２）。この結果、対象データがデータ管理テーブル３０２５に存在する場合（Ｓ１００２：Ｙｅｓ）には、Ｒｅａｄ処理プログラム３２４０は、データ管理テーブル３０２５から対象データを読み込んで、読み込んだ対象データを含む応答を要求元に送信し（Ｓ１００５）、処理を終了する。
一方、対象データがデータ管理テーブル３０２５に存在しない場合（Ｓ１００２：Ｎｏ）には、Ｒｅａｄ処理プログラム３２４０は、データ記憶領域３１４０から対象データを読み込んで、読み込んだ対象データを含む応答を要求元に送信し（Ｓ１００５）、処理を終了する。
次に、設定変更処理について説明する。
図１２は、実施例１に係る設定変更処理のフローチャートである。
設定変更処理は、クラスタ通信プログラム３２５０をＣＰＵ３０１０が実行することにより実行される。設定変更処理は、クラスタ通信プログラム３２５０が、クライアント計算機１０１０から設定変更を受信した場合に実行される。
クラスタ通信プログラム３２５０は、クライアント計算機１０１０から設定変更を受信すると（Ｓ１１０１）、ノード情報管理表３１１０を参照し、分散データベースクラスタ１０５０を構成する全てのノード計算機１０２０に対して、受信した設定変更の内容（設定変更内容）を通知し、設定変更を自装置内のＫｅｙＳｐａｃｅ管理表３１２０に反映させ（Ｓ１１０３）、処理を終了する。なお、このノード計算機１０２０から設定変更内容の通知を受けた他のノード計算機１０２０のクラスタ通信プログラム３２５０は、設定変更を各装置内のＫｅｙＳｐａｃｅ管理表３１２０に反映させる。
以上説明したように、本実施例に係る分散データベースクラスタ１０５０においては、整合性レベルの数のＳＳＤを有するノード計算機１０２０と、冗長レベルに不足している数のＨＤＤを有するノード計算機１０２０とを用いて同一のデータを管理するようにしている。このため、Ｗｒｉｔｅ処理や、Ｒｅａｄ処理においては、ＳＳＤを有するノード計算機１０２０によって応答性を向上することができ、ＨＤＤを有するノード計算機１０２０を含む冗長レベルの数のノード計算機１０２０により、データの冗長度を確保することができる。これにより、分散データベースクラスタ１０５０において、高性能且つ低コストを実現できる。
次に、本発明の実施例２に係る計算機システムについて説明する。なお、実施例２に係る計算機システムについては、実施例１に係る計算機システムと異なる点を中心に説明する。
図１３は、実施例２に係るノード計算機の構成図である。
実施例２に係るノード計算機は、図３に示す実施例１に係るノード計算機に対して、記憶装置３０３０にＩ／Ｏデバイス種別取得プログラム１２０１０を新たに備えるようにするとともに、クラスタ通信プログラム３２５０の一部の処理を変更させたものである。ここで、ＣＰＵ３０１０がＩ／Ｏデバイス種別取得プログラム１２０１０を実行することにより、種別取得部が構成される。
次に、実施例２に係るノード計算機１０２０によるデバイス種別取得処理について説明する。
図１４は、実施例２に係るデバイス種別取得処理のフローチャートである。
デバイス種別取得処理は、Ｉ／Ｏデバイス種別取得プログラム１２０１０をＣＰＵ３０１０が実行することにより実行される。デバイス種別取得処理は、Ｉ／Ｏデバイス取得プログラム１２０１０が、ノード計算機１０２０の起動を検出した場合に実行される。
Ｉ／Ｏデバイス種別取得プログラム１２０１０は、ノード計算機１０２０が起動されると（Ｓ１３０１）、自ノード計算機１０２０におけるＣｏｍｍｉｔＬｏｇ記憶領域３１３０と、データ記憶領域３１４０とを構成するＩ／Ｏデバイスの種別を自ノード計算機１０２０上で動作するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を用いて取得する（Ｓ１３０２）。例えば、ＯＳがＬｉｎｕｘ（登録商標）である場合には、「lsblk -o name,rota」を実行した結果を取得し、ＲＯＴＡの値が０のＩ／ＯデバイスはＳＳＤであり、ＲＯＴＡの値が１のＩ／ＯデバイスはＨＤＤであると判別できる。また、Ｉ／Ｏベンチマーク技術により、ＣＰＵ３０１０が、Ｉ／Ｏデバイスの実際のＩ／Ｏ性能を計測して、その計測結果に応じて、Ｉ／Ｏデバイス種別を取得してもよい。この際のＣＰＵ３０１０により構成される機能部が、種別特定部に相当する。
次に、Ｉ／Ｏデバイス種別取得プログラム１２０１０は、ノード情報管理表３１１０の自ノード計算機１０２０のＩ／Ｏデバイス種別３１１０ｄの設定を確認し、ステップＳ１３０２で取得したＩ／Ｏデバイス種別が、保持する値と同一か否かを判定する（Ｓ１３０３）。この結果、取得したＩ／Ｏデバイス種別が、保持する値と同一である場合（Ｓ１３０３：Ｙｅｓ）には、Ｉ／Ｏデバイス種別取得プログラム１２０１０は、処理を終了する。
一方、取得したＩ／Ｏデバイス種別が、保持する値と同一でない場合（Ｓ１３０３：Ｎｏ）には、Ｉ／Ｏデバイス種別取得プログラム１２０１０は、クラスタ通信プログラム３２５０により、分散データベースクラスタ１０５０を構成する全ノード計算機１０２０に自ノード計算機１０２０のＩ／Ｏデバイス種別の変更通知を送信し（Ｓ１３０４）、処理を終了する。
次に、デバイス種別更新処理について説明する。
図１５は、実施例２に係るデバイス種別更新処理のフローチャートである。
デバイス種別更新処理は、クラスタ通信プログラム３２５０をＣＰＵ３０１０が実行することにより実行される。デバイス種別更新処理は、他のノード計算機１０２０からＩ／Ｏデバイス種別の変更通知を受信した場合に実行される。
クラスタ通信プログラム３２５０は、他のノード計算機１０２０からＩ／Ｏデバイス種別の変更通知を受信すると（Ｓ１４０１）、ノード情報管理表３１１０の送信元のノード計算機１０２０に対応するエントリのＩ／Ｏデバイス種別３１１０ｄの値を受信した変更種別におけるＩ／Ｏデバイス種別に更新し（Ｓ１４０２）、処理を終了する。これにより、各ノード計算機１０２０におけるノード情報管理表３１１０にある各ノード計算機１０２０のＩ／Ｏデバイスの種別を最新の状態に維持することができる。
本実施例に係る計算機システムによると、ユーザがノード計算機１０２０毎のＩ／Ｏデバイスの種別を確認して、ノード情報管理表３１１０へ設定する必要がなくなる。
次に、本発明の実施例３に係る計算機システムについて説明する。なお、実施例３に係る計算機システムについては、実施例２に係る計算機システムと異なる点を中心に説明する。
まず、実施例３に係る計算機システムについて説明する。
図１６は、実施例３に係る計算機システムの全体構成図である。
実施例３に係る計算機システムは、実施例２に係る計算機システムにおいて、新たに、１以上のストレージノードの一例としてのＳＤＳ（Software Defined Storage）ノード１５０１０と、管理サーバ１５０３０とを備える。ノード計算機１０２０と、ＳＤＳノード１５０１０とは、ストレージネットワーク１５０４０を介して接続されている。また、各ＳＤＳノード１５０１０は、ＳＤＳクラスタネットワーク１５０５０を介して接続されている。複数のＳＤＳノード１５０１０によって、ＳＤＳクラスタ１５０２０が構成されている。管理サーバ１５０３０と、ノード計算機１０２０と、ＳＤＳノード１５０１０とは、管理用ネットワーク１５０６０で接続される。
なお、業務ネットワーク１０３０と、クラスタネットワーク１０４０と、ストレージネットワーク１５０４０と、ＳＤＳクラスタネットワーク１５０５０と、管理用ネットワーク１５０６０とは、それぞれ別のネットワークでもよく、一部もしくは全部が同一のネットワークであってもよい。また、本実施例では、ＳＤＳノードとしているが、ＳＤＳノードに代えて、専用のハードウェアで構成されたストレージノードとしてもよい。なお、計算機システム１において、分散データベースクラスタ１０５０と、ＳＤＳクラスタ１５０２０と、管理サーバ１５０３０と、を組み合わせたものが分散データベースシステムに対応する。
実施例３に係るノード計算機１０２０は、実施例２に係るノード計算機１０２０とは、Ｉ／Ｏデバイス種別取得プログラム１２０１０の機能が異なっている。
次に、ＳＤＳノードについて説明する。
図１７は、実施例３に係るＳＤＳノードの構成図である。
ＳＤＳノード１５０１０は、例えば、汎用計算機を用いて構成されたストレージノードであり、コントローラ１６０１０と、メモリ１６０２０と、Ｉ／Ｏポート１６０３０と、管理ポート１６０４０と、１以上のＩ／Ｏデバイス１６０５０とを含む。
Ｉ／Ｏポート１６０３０は、通信用のインターフェースであり、ストレージネットワーク１５０４０を介して各ノード計算機１０２０と通信し、ＳＤＳクラスタネットワーク１５０５０を介して他のＳＤＳノード１５０１０と通信する。
管理ポート１６０４０は、通信用のインターフェースであり、管理用ネットワーク１５０６０を介して管理サーバ１５０３０と通信する。
コントローラ１６０１０は、メモリ１６０２０及び／又はＩ／Ｏデバイス１６０５０に格納されているプログラムに従って各種処理を実行する。
メモリ１６０２０は、例えば、ＲＡＭであり、コントローラ１６０１０で実行されるプログラムや、必要な情報を記憶する。本実施例では、メモリ１６０２０は、論理ボリューム管理表１６１１０を記憶する。
Ｉ／Ｏデバイス１６０５０は、例えば、ＨＤＤやＳＳＤなどであり、コントローラ１６０１０で実行されるプログラムや、コントローラ１６０１０に利用されるデータや、クライアント計算機１０１０で利用するユーザデータを格納する。例えば、Ｉ／Ｏデバイス１６０５０の種別をＳＳＤにした場合には、ＨＤＤにした場合に比して、Ｉ／Ｏにおける応答速度の性能（Ｉ／Ｏ性能）が高い。一方、Ｉ／Ｏデバイス１６０５０の種別をＨＤＤにした場合には、ＳＳＤにした場合に比して、コストを低減することができる。
本実施例では、Ｉ／Ｏデバイス１６０５０から切り出された記憶領域を論理ボリューム１６２１０としてノード計算機１０２０に提供する。論理ボリューム１６２１０は、複数のＩ／Ｏデバイス１６０５０で構成されるＲＡＩＤ（Redundant Array of Independent (or Inexpensive Disks）グループに基づく記憶領域で構成されてもよい。
次に、論理ボリューム管理表１６１１０について説明する。
図１８は、実施例３に係る論理ボリューム管理表の構成図である。
論理ボリューム管理表１６１１０は、ＳＤＳノード１５０１０において管理する論理ボリューム毎のエントリを格納する。論理ボリューム管理表１６１１０のエントリは、論理ボリュームＩＤ１６１１０ａと、接続先１６１１０ｂと、Ｉ／ＯデバイスＩＤ１６１１０ｃと、Ｉ／Ｏデバイス種別１６１１０ｄとの欄を含む。
論理ボリュームＩＤ１６１１０ａには、エントリに対応する論理ボリュームを一意に識別する識別子（論理ボリュームＩＤ）が格納される。接続先１６１１０ｂには、エントリに対応する論理ボリュームを使用するノード計算機１０２０のノードＩＤが格納される。Ｉ／ＯデバイスＩＤ１６１１０ｃには、論理ボリュームを構成するＩ／Ｏデバイスの識別子（Ｉ／ＯデバイスＩＤ）が格納される。Ｉ／Ｏデバイス種別１６１１０ｄには、エントリに対応する論理ボリュームを構成するＩ／Ｏデバイスの種別が格納される。なお、ＳＤＳノード１５０１０は、管理サーバ１５０３０から論理ボリューム管理表１６１１０の情報の要求を受けると、論理ボリューム管理表１６１１０の情報を応答として返す。
次に、管理サーバ１５０３０について説明する。
図１９は、実施例３に係る管理サーバの構成図である。
管理サーバ１５０３０は、プロセッサの一例としてのＣＰＵ１８０１０と、メモリ１８０２０と、記憶装置１８０３０と、入力装置１８０４０と、出力装置１８０５０と、通信ポート１８０６０とを備える。
通信ポート１８０６０は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、管理用ネットワーク１５０６０を介してそれぞれのノード計算機１０２０及びＳＤＳノード１５０１０と通信する。
ＣＰＵ１８０１０は、メモリ１８０２０及び／又は記憶装置１８０３０に格納されているプログラムに従って各種処理を実行する。
メモリ１８０２０は、例えば、ＲＡＭであり、ＣＰＵ１８０２０で実行されるプログラムや、必要な情報を記憶する。
記憶装置１８０３０は、例えば、ＨＤＤやＳＳＤなどであり、ＣＰＵ１８０１０で実行されるプログラムや、ＣＰＵ１８０１０に利用されるデータ等を記憶する。本実施例では、記憶装置１８０３０は、ＳＤＳノード管理表１８１１０と、論理ボリューム情報管理表１８１２０と、論理ボリューム情報収集プログラム１８２１０と、を格納する。論理ボリューム情報収集プログラム１８２１０は、メモリ１８０２０にロードされてＣＰＵ１８０１０により実行される。
入力装置１８０４０は、例えば、マウス、キーボード等のユーザによる操作入力を受け付ける装置である。出力装置１８０５０は、例えば、ディスプレイ等の各種情報を表示出力する装置である。
次に、ＳＤＳノード管理表１８１１０について説明する。
図２０は、実施例３に係るＳＤＳノード管理表の構成図である。
ＳＤＳノード管理表１８１１０は、ＳＤＳノード１５０１０が格納する論理ボリュームを管理するための表であり、エントリは、ＳＤＳノード１８１１０ａと、論理ボリュームＩＤ１８１１０ｂとの欄を含む。ＳＤＳノード１８１１０ａには、ＳＤＳクラスタ１５０２０を構成するＳＤＳノード１５０１０を一意に識別する識別子（ＳＤＳノードＩＤ）が格納される。論理ボリュームＩＤ１８１１０ｂには、エントリに対応するＳＤＳノード１５０１０で管理されている論理ボリュームを一意に識別する識別子（論理ボリュームＩＤ）が格納される。
次に、論理ボリューム情報管理表１８１２０について説明する。
図２１は、実施例３に係る論理ボリューム情報管理表の構成図である。
論理ボリューム情報管理表１８１２０は、論理ボリューム毎のエントリを格納する。論理ボリューム情報管理表１８１２０のエントリは、論理ボリュームＩＤ１８１２０ａと、ノード計算機１８１２０ｂと、Ｉ／Ｏデバイス種別１８１２０ｃとの欄を含む。論理ボリュームＩＤ１８１２０ａには、エントリに対応する論理ボリュームの論理ボリュームＩＤが格納される。ノード計算機１８１２０ｂには、エントリに対応する論理ボリュームに接続されているノード計算機１０２０のノードＩＤが格納される。Ｉ／Ｏデバイス種別１８１２０ｃには、エントリに対応する論理ボリュームを構成するＩ／Ｏデバイスの種別が格納される。
次に、管理サーバ１５０３０における論理ボリューム情報更新処理について説明する。
図２２は、実施例３に係る論理ボリューム情報更新処理のフローチャートである。
論理ボリューム情報更新処理は、論理ボリューム情報収集プログラム１８２１０を、ＣＰＵ１８０１０が実行することにより実行される。
論理ボリューム情報収集プログラム１８２１０は、ＳＤＳノード管理表１８１１０を参照し、ＳＤＳノード管理表１８１１０に登録されている全てのＳＤＳノード１５０１０に対し、論理ボリューム管理表１６１１０の情報を要求する（Ｓ２１０１）。この要求に対して、各ＳＤＳノード１５０１０は、論理ボリューム管理表１６１１０の各エントリの情報を応答することとなる。
次に、論理ボリューム情報収集プログラム１８２１０は、要求先のＳＤＳノード１５０１０から応答を受信すると、論理ボリューム情報管理表１８１２０の論理ボリュームＩＤ１８１２０ａに受信した論理ボリュームＩＤを格納し、ノード計算機１８１２０ｂに接続先のノード計算機１０２０のノードＩＤを格納し、Ｉ／Ｏデバイス種別１８１２０ｃにＩ／Ｏデバイスの種別の値を格納したエントリを追加し（Ｓ２１０２）、処理を終了する。
次に、ノード計算機１０２０のデバイス種別取得処理について説明する。
図２３は、実施例３に係るデバイス種別取得処理のフローチャートである。
デバイス種別取得処理は、ノード計算機１０２０のＩ／Ｏデバイス種別取得プログラム１２０１０をＣＰＵ３０１０が実行することにより実行される。
Ｉ／Ｏデバイス種別取得プログラム１２０１０は、管理サーバ１５０３０に論理ボリューム情報管理表１８１２０の情報を要求する（Ｓ２２０１）。この要求に対して、管理サーバ１５０３０は、論理ボリューム情報管理表１８１２０の各エントリの情報を応答することとなる。
Ｉ／Ｏデバイス種別取得プログラム１２０１０は、管理サーバ１５０３０から応答を受信すると、ノード情報管理表３１１０の応答中のノードＩＤに対応するエントリのＩ／Ｏデバイス種別３１１０ｄに応答中のＩ／Ｏデバイス種別を格納し、さらに、応答中のノードＩＤ及びＩ／Ｏデバイス種別をノード情報管理表３１１０に保持された各ノード計算機１０２０に送信し、処理を終了する。これに対して、ノードＩＤ及びＩ／Ｏデバイス種別を受信したノード計算機１０２０は、ノード情報管理表３１１０のノードＩＤに対応するエントリのＩ／Ｏデバイス種別３１１０ｄに受信したＩ／Ｏデバイス種別を保存する。
以上説明したように、本実施例に係る計算機システム１によると、ノード計算機１０２０がクライアント計算機１０１０に提供する記憶領域として、ＳＤＳノード１５０１０から提供される論理ボリュームを使用した場合においても、ユーザがノード計算機１０２０毎のＩ／Ｏデバイスの種別を確認して、ノード情報管理表３１１０へ設定する必要がない。
次に、本発明の実施例４に係る計算機システムについて説明する。なお、実施例４に係る計算機システムについては、実施例３に係る計算機システムと異なる点を中心に説明する。
図２４は、実施例４に係る管理サーバの構成図である。
実施例４に係る管理サーバは、実施例３に係る管理サーバにおいて、記憶装置１８０３０に、稼働情報管理表２３１１０と、稼働情報収集プログラム２３２１０と、分散データベース設定プログラム２３２２０と、ＳＤＳ設定プログラム２３２３０と、性能劣化対処プログラム２３２４０とをさらに格納する。ここで、ＣＰＵ１８０１０が性能劣化対処プログラム２３２４０を実行することにより、ノード状態判定部が構成される。また、ＣＰＵ１８０１０がＳＤＳ設定プログラム２３２３０を実行することにより、ボリューム設定部が構成される。また、ＣＰＵ１８０１０が分散データベース設定プログラム２３２２０を実行することにより、応答数調整部が構成される。
稼働情報収集プログラム２３２１０は、ＳＤＳクラスタ１５０２０を構成するＳＤＳノード１５０１０へポーリングを行い、ＩＯＰＳ（Input/Output Per Second）と、ＣＰＵ利用率と、Ｉ／Ｏデバイス種別と取得し、稼働情報管理表２３１１０へ保存する。
分散データベース設定プログラム２３２２０は、ノード計算機１０２０にＫｅｙＳｐａｃｅを指定して整合性レベルの変更を通知する。なお、ノード計算機１０２０は、整合性レベルの変更の通知を受信すると、ＫｅｙＳｐａｃｅ管理表３１２０の変更対象のＫｅｙＳｐａｃｅのエントリの整合性レベル３１２０ｃの設定を変更する。また、ノード計算機１０２０のクラスタ通信プログラム３２５０は、分散データベースクラスタ１０５０の他の全てのノード計算機１０２０に整合性レベルの変更を通知する。これにより、他の全てのノード計算機１０２０では、ＫｅｙＳｐａｃｅ管理表３１２０の変更対象のＫｅｙＳｐａｃｅのエントリの整合性レベル３１２０ｃの設定が変更される。
ＳＤＳ設定プログラム２３２３０は、ＳＤＳノード１５０１０にボリューム追加設定を通知する。ＳＤＳノード１５０１０は、ボリューム追加設定の通知を受信すると、新たに論理ボリューム１６２１０を作成し、ノード計算機１０２０が使用していた既存の論理ボリュームと新規論理ボリュームとを合わせた論理ボリュームを作成し、ノード計算機１０２０に利用させる。
次に、稼働情報管理表２３１１０について説明する。
図２５は、実施例４に係る稼働情報管理表の構成図である。
稼働情報管理表２３１１０は、ＳＤＳノード１５０１０毎のエントリを格納する。稼働情報管理表２３１１０のエントリは、ノード２３１１０ａと、ＩＯＰＳ２３１１０ｂと、ＣＰＵ利用率２３１１０ｃと、Ｉ／Ｏデバイス種別２３１１０ｄとの欄を含む。
ノード２３１１０ａには、エントリに対応するＳＤＳノード１５０１０のノードＩＤが格納される。ＩＯＰＳ２３１１０ｂには、エントリに対応するＳＤＳノード１５０１０におけるＩＯＰＳが格納される。ＣＰＵ利用率２３１１０ｃには、エントリに対応するＳＤＳノード１５０１０におけるコントローラ１６０１０のＣＰＵの利用率が格納される。Ｉ／Ｏデバイス種別２３１１０ｄには、エントリに対応するＳＤＳノード１５０１０が使用するＩ／Ｏデバイスの種別が格納される。
次に、管理サーバ１５０３０の性能劣化対処処理について説明する。
図２６は、実施例４に係る性能劣化対処処理のフローチャートである。
性能劣化対処処理は、性能劣化対処プログラム２３２４０をＣＰＵ１８０１０が実行することにより実行される。
性能劣化対処プログラム２３２４０（正確には、性能劣化対処プログラム２３２４０を実行するＣＰＵ１８０１０）は、各ノード計算機１０２０にポーリングし、分散データベースクラスタ１０５０のクライアント計算機１０１０に対するＩ／Ｏにおける応答時間を取得し、応答時間が予め定めた閾値を超過したか否か、すなわち、応答性能低下か否かを検知する（Ｓ２５０１）。
性能劣化対処プログラム２３２４０は、応答性能低下を検知すると（Ｓ２５０１：Ｙｅｓ）、稼働情報管理表２３１１０を参照し、ＳＤＳノード１５０１０に対応するエントリのＩＯＰＳ２３１１０ｂのＩＯＰＳが予め定めたＩＯＰＳ用の閾値を超過しているか否かを判定する（Ｓ２５０２）。
この結果、ＩＯＰＳが閾値を超過している場合（Ｓ２５０２：Ｙｅｓ）、性能劣化対処プログラム２３２４０は、対応するエントリのＣＰＵ利用率２３１１０ｃのＣＰＵ利用率が予め定めたＣＰＵ利用率用の閾値を超過しているか否かを確認する（Ｓ２５０３）。
この結果、ＣＰＵ利用率が閾値を超過している場合（Ｓ２５０３：Ｙｅｓ）、性能劣化対処プログラム２３２４０は、ＳＤＳノード１５０１０の追加を提案し（Ｓ２５０４）、処理を終了する。例えば、性能劣化対処プログラム２３２４０は、出力装置１８０５０に、ＳＤＳノード１５０１０の追加を提案する内容の画面を表示する。一方、ＣＰＵ利用率が閾値を超過していない場合（Ｓ２５０３：Ｎｏ）、性能劣化対処プログラム２３２４０は、ＳＤＳ設定プログラム２３２３０により、ＳＤＳノード１５０１０に、ボリュームの追加設定の通知を行い（Ｓ２５０５）、処理を終了する。
一方、ＩＯＰＳが閾値を超過していない場合（Ｓ２５０２：Ｎｏ）、性能劣化対処プログラム２３２４０は、対応するエントリのＣＰＵ利用率２３１１０ｃのＣＰＵ利用率が予め定めたＣＰＵ利用率用の閾値を超過しているか否かを確認する（Ｓ２５０６）。
この結果、ＣＰＵ利用率が閾値を超過している場合（Ｓ２５０６：Ｙｅｓ）、性能劣化対処プログラム２３２４０は、整合性レベルを下げられるか否かを判定する（Ｓ２５０７）。整合性レベルを下げられるか否かは、整合性レベルが２以上であるか否かにより判定できる。
この結果、整合性レベルを下げられる場合（Ｓ２５０７：Ｙｅｓ）、性能劣化対処プログラム２３２４０は、分散データベース設定プログラム２３２２０により、ノード計算機１０２０に整合性レベルを下げる指示を通知し（Ｓ２５０８）、処理を終了する。一方、整合性レベルを下げられない場合（Ｓ２５０７：Ｎｏ）、性能劣化対処プログラム２３２４０は、ＳＤＳノード１５０１０の追加を提案し（Ｓ２５０９）、処理を終了する。
一方、ＣＰＵ利用率が閾値を超過していない場合（Ｓ２５０６：Ｎｏ）、性能劣化対処プログラム２３２４０は、応答性能低下の原因が不明というアラートを発生し（Ｓ２５１０）、処理を終了する。
以上説明したように、本実施例に係る計算機システムによると、分散データベースクラスタ１０５０の応答性能が低下した場合に、適切な対処を実行することができる。
次に、本発明の実施例５に係る計算機システムについて説明する。なお、実施例５に係る計算機システムについては、実施例４に係る計算機システムと異なる点を中心に説明する。
図２７は、実施例５に係る管理サーバの構成図である。
実施例５に係る管理サーバは、実施例４に係る管理サーバにおいて、記憶装置１８０３０に、ネットワーク負荷管理表２６１１０と、ネットワーク負荷収集プログラム２６２１０と、冗長性確保方法判断プログラム２６２２０とをさらに格納する。ここで、ＣＰＵ１８０１０が冗長性確保方法判断プログラム２６２２０を実行することにより、帯域判定部及び冗長設定部が構成される。
ネットワーク負荷収集プログラム２６２１０は、ネットワーク（クラスタネットワーク１０４０、ＳＤＳクラスタネットワーク１５０５０）を構成する図示しないネットワークスイッチに帯域利用率の問い合わせを行い、応答として得た帯域利用率を、後述するネットワーク負荷管理表２６１１０の帯域利用率２６１１０ｂに保存する。
次に、ネットワーク負荷管理表２６１１０について説明する。
図２８は、実施例５に係るネットワーク負荷管理表の構成図である。
ネットワーク負荷管理表２６１１０は、各ネットワーク（クラスタネットワーク１０４０、ＳＤＳクラスタネットワーク１５０５０）毎のエントリを格納する。ネットワーク負荷管理表２６１１０のエントリは、ネットワーク２６１１０ａと、帯域利用率２６１１０ｂとの欄を含む。ネットワーク２６１１０ａには、ネットワークを示すネットワーク名が格納される。帯域利用率２６１１０ｂには、エントリに対応するネットワークにおける帯域利用率が格納される。
次に、管理サーバ１５０３０の冗長性確保方法判断処理について説明する。
図２９は、実施例５に係る冗長性確保方法判断処理のフローチャートである。
冗長性確保方法判断処理は、冗長性確保方法判断プログラム２６２２０をＣＰＵ１８０１０が実行することにより実行される。冗長性確保方法判断処理は、例えば、クライアント計算機１０１０等からＫｅｙＳｐａｃｅ作成要求を受信した場合に実行される。ＫｅｙＳｐａｃｅ作成要求には、例えば、作成するＫｅｙＳｐｅｃｅのＩＤや、冗長レベル、整合性レベルの指定が含まれている。
冗長性確保方法判断プログラム２６２２０は、ＫｅｙＳｐａｃｅ作成要求を受信すると（Ｓ２８０１）、ネットワーク負荷管理表２６１１０を参照し、クラスタネットワーク１０４０の帯域利用率が予め定めた閾値を超過しているか否かを判定する（Ｓ２８０２）。
この結果、帯域利用率が閾値を超過している場合（Ｓ２８０２：Ｙｅｓ）、冗長性確保方法判断プログラム２６２２０は、ＳＤＳクラスタネットワーク１５０５０の帯域利用率が予め定めた閾値を超過しているか否かを判定する（Ｓ２８０３）。
この結果、ＳＤＳクラスタネットワーク１５０５０の帯域利用率が閾値を超過している場合（Ｓ２８０３：Ｙｅｓ）、冗長性確保方法判断プログラム２６２２０は、ネットワーク負荷のアラートを発生し（Ｓ２８０４）、処理を終了する。
一方、ＳＤＳクラスタネットワーク１５０５０の帯域利用率が閾値を超過していない場合（Ｓ２８０３：Ｎｏ）、冗長性確保方法判断プログラム２６２２０は、ＫｅｙＳｐａｃｅ作成要求の冗長レベルと整合性レベルとを確認し、ＨＤＤを使ったノード計算機１０２０のグループ（ＨＤＤグループ）から２つ以上のレプリカを作成するノード計算機１０２０として選択するか否かを確認する（Ｓ２８０５）。具体的には、冗長レベルと整合性レベルとの差が２以上であるか否かにより確認することができる。
この結果、２以上のＨＤＤを使ったノード計算機１０２０を選択する場合、冗長性確保方法判断プログラム２６２２０は、指定された冗長レベルを１下げた値を冗長レベルとする設定変更をノード計算機１０２０に通知する（Ｓ２８０６）。これにより、分散データベースクラスタ１０５０においては、新たなＫｅｙＳｐａｃｅに対しては、指定された冗長レベルよりも一つ少ないノード計算機１０２０にレプリカが格納されることとなり、クラスタネットワーク１０４０での使用帯域を抑制することができる。
次いで、冗長性確保方法判断プログラム２６２２０は、ＳＤＳノード１５０１０に新ボリュームの作成を指示し（Ｓ２８０７）、ＳＤＳノード１５０１０に、１つのレプリカを格納するボリュームを新ボリュームにミラーリングさせる設定を指示し（Ｓ２８０８）、処理を終了する。これにより、ＳＤＳノード１５０１０のボリューム間で、レプリカを格納するボリュームのミラーリングが行われることとなるので、クラスタネットワーク１０４０の使用帯域を増加させずに、ＳＤＳクラスタネットワーク１５０５０を利用して、レプリカの複製を作成することができる。これにより、計算機システム全体としては、指定された冗長レベルと同じ数のレプリカを保持している状態とすることができる。
一方、クラスタネットワーク１０４０の帯域利用率が閾値を超過していない場合（Ｓ２８０２：Ｎｏ）、又は２以上のＨＤＤを使ったノード計算機１０２０を選択しない場合（Ｓ２８０５：Ｎｏ）には、冗長性確保方法判断プログラム２６２２０は、指定された冗長レベルでの設定変更をノード計算機１０２０に通知し（Ｓ２８０９）、処理を終了する。これにより、分散データベースクラスタ１０５０においては、新たなＫｅｙＳｐａｃｅに対しては、指定された冗長レベルのノード計算機１０２０にレプリカが格納されることとなる。
上記したように本実施例によると、分散データベースクラスタ１０５０において、ＳＤＳノードの機能（ミラーリング）を用いてレプリカの冗長性を確保でき、冗長性を確保するために使用するノード計算機１０２０の数を減らすことができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
また、上記した実施例では、種類の異なる記憶装置を備え、整合性レベルを満たすためのノード計算機が使用する記憶装置を入出力性能の高い記憶装置としていたが、本発明はこれに限られず、例えば、ノード計算機が使用する記憶装置の種類は同じもしくは同等のものとし、整合性レベルを満たすためのレプリカについては、非圧縮でノード計算機が使用する記憶装置に格納するようにし、冗長レベルに満たない分のレプリカについては、圧縮してノード計算機が使用する記憶装置に格納するようにしてもよい。このようにすると、非圧縮のレプリカに対する入出力を行うことにより応答性能を高くでき、一部のレプリカを圧縮して格納することよってビットコストを抑えることができる。このため、分散データベースクラスタ１０５０において、高性能且つ低コストを実現できる。
また、上記した各実施例では、第１種別記憶装置をＳＳＤとし、第２種別記憶装置をＨＤＤとする例を示していたが、本発明はこれに限られず、例えば、第１種別記憶装置を、ＳＳＤの中で高性能なＳＳＤとし、第２種別記憶装置を、ＳＳＤの中で低性能なＳＳＤとしてもよく、要は、入出力性能によって種類を分けることのできる記憶装置であればよい。
１…計算機システム、１０１０…クライアント計算機、１０２０…ノード計算機、１０３０…業務ネットワーク、１０４０…クラスタネットワーク、１０５０…分散データベースクラスタ、１５０１０…ＳＤＳノード、１５０２０…ＳＤＳクラスタ、１５０３０…管理サーバ、１５０４０…ストレージネットワーク、１５０５０…ＳＤＳクラスタネットワーク、１５０６０…管理用ネットワーク

Claims (12)

  1. クライアント計算機が利用する管理対象データを記憶装置に格納可能なノード計算機を複数備える分散データベースシステムであって、
    前記記憶装置には、入出力性能の高い第１種記憶装置と、入出力性能の低い第２種記憶装置とがあり、
    前記クライアント計算機からの管理対象データの読み出し要求に対して応答するために必要とされる同一の前記管理対象データを読み出すべきノード計算機の数を示す応答数情報を含む管理情報を記憶する管理情報記憶部と、
    前記クライアント計算機から新たな管理対象データの書き込み要求を受け取った場合に、前記複数のノード計算機から、前記応答数情報が示す数のノード計算機であって、前記第１種記憶装置に対して管理対象データを格納可能なノード計算機を、前記管理対象データの格納先として決定する格納先決定部と、
    決定された前記ノード計算機に対して、前記管理対象データを格納させる格納制御部と、
    を備える分散データベースシステム。
  2. 前記管理情報は、前記管理対象データの可用性を確保するために前記管理対象データを格納するために必要とされるノード計算機の数を示す冗長数情報をさらに含み、
    前記格納先決定部は、前記冗長数情報が示す数と前記応答数情報が示す数との差の数のノード計算機であって、前記第２種記憶装置に対して管理対象データを格納可能なノード計算機を、前記管理対象データの格納先に追加する
    請求項１に記載の分散データベースシステム。
  3. 前記記憶装置が前記第１種記憶装置であるか前記第２種記憶装置であるかを示す種別情報を取得する種別取得部をさらに有し、
    前記格納先決定部は、取得した種別情報に基づいて、前記ノード計算機が前記第１種記憶装置に対して管理対象データを格納可能か否かを識別する
    請求項１又は請求項２に記載の分散データベースシステム。
  4. 前記記憶装置が前記第１種記憶装置であるか前記第２種記憶装置であるかを、前記記憶装置に対する実際のデータの入出力の結果から特定する種別特定部をさらに有する
    請求項１又は請求項２に記載の分散データベースシステム。
  5. 前記記憶装置を備え、前記記憶装置の記憶領域を、前記管理対象データを格納する論理ボリュームとして前記ノード計算機に提供する１以上のストレージノードと、
    前記ストレージノードにおける前記記憶装置の論理ボリュームを提供するノード計算機と前記記憶装置の種類とを示す論理ボリューム情報を管理する管理サーバと、
    を備え、
    前記種別取得部は、前記管理サーバから、前記ノード計算機に提供される論理ボリュームを提供する記憶装置の種別を取得する
    請求項３に記載の分散データベースシステム。
  6. 前記ストレージノードの入出力処理が所定の閾値を超えているか否か、及び前記ストレージノードのプロセッサの利用率が所定の閾値を超えているか否かを判定するノード状態判定部と、
    前記ストレージノードの入出力処理が所定の閾値を超え、且つ前記ストレージノードのプロセッサの利用率が所定の閾値を超えていない場合に、前記ストレージノードに対してボリュームを追加する設定を行うボリューム設定部と
    をさらに備える
    請求項５に記載の分散データベースシステム。
  7. 前記ストレージノードの入出力処理が所定の閾値を超えているか否か、及び前記ストレージノードのプロセッサの利用率が所定の閾値を超えているか否かを判定するノード状態判定部と、
    前記ストレージノードの入出力処理が所定の閾値を超えておらず、且つ前記ストレージノードのプロセッサの利用率が所定の閾値を超えている場合に、応答数情報を低下させる応答数調整部と、
    をさらに備える
    請求項５に記載の分散データベースシステム。
  8. 前記ノード計算機同士を接続するクラスタネットワークにおける帯域利用率が所定の閾値を超過しているか否か、前記ストレージノード同士を接続するストレージノードクラスタネットワークにおける帯域利用率が所定の閾値を超過しているか否かを判定する帯域判定部と、
    前記クラスタネットワークにおける帯域利用率が閾値を超過し、且つ前記ストレージノードクラスタネットワークにおける帯域利用率が閾値を超過しない場合に、管理対象データにおける冗長数情報を下げ、前記ストレージノード間で前記管理対象データをミラーリングする設定を行う冗長設定部と、
    をさらに備える
    請求項５に記載の分散データベースシステム。
  9. 前記冗長設定部は、前記冗長数情報が示す数と前記応答数情報が示す数との差の数が２以上である場合に、前記冗長数情報を下げて、前記ストレージノード間で前記管理対象データをミラーリングする設定を行う
    請求項８に記載の分散データベースシステム。
  10. クライアント計算機が利用する管理対象データを記憶装置に格納可能なノード計算機を複数備える分散データベースシステムであって、
    前記クライアント計算機からの管理対象データの読み出し要求に対して応答するために必要とされる同一の前記管理対象データを読み出すべきノード計算機の数を示す応答数情報と、前記管理対象データの可用性を確保するために前記管理対象データを格納するために必要とされるノード計算機の数を示す冗長数情報とを含む管理情報を記憶する管理情報記憶部と、
    前記クライアント計算機から新たな管理対象データの書き込み要求を受け取った場合に、前記複数のノード計算機から、前記応答数情報が示す数のノード計算機に対して、前記管理対象データを非圧縮で格納させ、前記冗長数情報が示す数と前記応答数情報が示す数との差の数のノード計算機に対して、前記管理対象データを圧縮して格納させる圧縮格納制御部と、
    を備える分散データベースシステム。
  11. クライアント計算機が利用する管理対象データを記憶装置に格納可能なノード計算機を複数備える分散データベースシステムによる分散データベース管理方法であって、
    前記記憶装置には、入出力性能の高い第１種記憶装置と、入出力性能の低い第２種記憶装置とがあり、
    前記クライアント計算機からの管理対象データの読み出し要求に対して応答するために必要とされる同一の前記管理対象データを読み出すべきノード計算機の数を示す応答数情報を含む管理情報を記憶し、
    前記クライアント計算機から新たな管理対象データの書き込み要求を受け取った場合に、前記複数のノード計算機から、前記応答数情報が示す数のノード計算機であって、前記第１種記憶装置に対して管理対象データを格納可能なノード計算機を、前記管理対象データの格納先として決定し、
    決定された前記ノード計算機に対して、前記管理対象データを格納させる
    分散データベース管理方法。
  12. クライアント計算機が利用する管理対象データを記憶装置に格納可能なノード計算機を複数備える分散データベースシステムにおける前記ノード計算機に実行させるための分散データベース管理プログラムであって、
    前記記憶装置には、入出力性能の高い第１種記憶装置と、入出力性能の低い第２種記憶装置とがあり、
    前記ノード計算機には、
    前記クライアント計算機からの管理対象データの読み出し要求に対して応答するために必要とされる同一の前記管理対象データを読み出すべきノード計算機の数を示す応答数情報を含む管理情報が記憶され、
    前記ノード計算機を
    前記クライアント計算機から新たな管理対象データの書き込み要求を受け取った場合に、前記複数のノード計算機から、前記応答数情報が示す数のノード計算機であって、前記第１種記憶装置に対して管理対象データを格納可能なノード計算機を、前記管理対象データの格納先として決定する格納先決定部と、
    決定された前記ノード計算機に対して、前記管理対象データを格納させる格納制御部と、して機能させる分散データベース管理プログラム。


JP2018157983A 2018-08-27 2018-08-27 分散データベースシステム、分散データベース管理方法、及び分散データベース管理プログラム Active JP6816072B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018157983A JP6816072B2 (ja) 2018-08-27 2018-08-27 分散データベースシステム、分散データベース管理方法、及び分散データベース管理プログラム
US16/288,490 US11204941B2 (en) 2018-08-27 2019-02-28 Distributed database system, distributed database management method, and distributed database management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018157983A JP6816072B2 (ja) 2018-08-27 2018-08-27 分散データベースシステム、分散データベース管理方法、及び分散データベース管理プログラム

Publications (2)

Publication Number Publication Date
JP2020034961A JP2020034961A (ja) 2020-03-05
JP6816072B2 true JP6816072B2 (ja) 2021-01-20

Family

ID=69587070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018157983A Active JP6816072B2 (ja) 2018-08-27 2018-08-27 分散データベースシステム、分散データベース管理方法、及び分散データベース管理プログラム

Country Status (2)

Country Link
US (1) US11204941B2 (ja)
JP (1) JP6816072B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120082B2 (en) 2018-04-18 2021-09-14 Oracle International Corporation Efficient, in-memory, relational representation for heterogeneous graphs
US11687363B2 (en) * 2019-07-15 2023-06-27 Micron Technology, Inc. Internal management traffic regulation for memory sub-systems
KR102476271B1 (ko) * 2020-11-30 2022-12-13 한국전자통신연구원 자율 관리(semi-managed) DHT 구성 방법 및 시스템
CN112860694B (zh) * 2021-02-04 2024-05-17 京东科技控股股份有限公司 业务数据的处理方法、装置及设备
CN113377780A (zh) * 2021-07-07 2021-09-10 杭州网易云音乐科技有限公司 一种数据库分片方法、装置、电子设备和可读存储介质
CN115499449A (zh) * 2022-07-28 2022-12-20 阿里巴巴（中国）有限公司 镜像加速系统、方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571882B1 (en) * 2006-07-05 2013-10-29 Ronald J. Teitelbaum Peer to peer database
US20080235746A1 (en) * 2007-03-20 2008-09-25 Michael James Peters Methods and apparatus for content delivery and replacement in a network
US9448730B2 (en) * 2009-09-30 2016-09-20 International Business Machines Corporation Method and apparatus for dispersed storage data transfer
US8984027B1 (en) * 2011-07-28 2015-03-17 Symantec Corporation Systems and methods for migrating files to tiered storage systems
WO2013046352A1 (ja) 2011-09-28 2013-04-04 株式会社日立製作所 計算機システム、データ管理方法及びデータ管理プログラム
JP6131907B2 (ja) * 2014-04-24 2017-05-24 カシオ計算機株式会社 分散データベース、データ共有方法、プログラム、装置
US9454306B2 (en) * 2014-09-16 2016-09-27 Netapp, Inc. Capturing demand on storage capacity and performance capability
KR101661930B1 (ko) * 2015-08-03 2016-10-05 주식회사 코인플러그 블록체인을 기반으로 하는 공인인증서 발급시스템
US20180260190A1 (en) * 2017-03-10 2018-09-13 Microsoft Technology Licensing, Llc Split and merge graphs

Also Published As

Publication number Publication date
JP2020034961A (ja) 2020-03-05
US20200065316A1 (en) 2020-02-27
US11204941B2 (en) 2021-12-21

Similar Documents

Publication Publication Date Title
JP6816072B2 (ja) 分散データベースシステム、分散データベース管理方法、及び分散データベース管理プログラム
US10496669B2 (en) System and method for augmenting consensus election in a distributed database
US9977746B2 (en) Processing of incoming blocks in deduplicating storage system
US7506101B2 (en) Data migration method and system
WO2018001110A1 (zh) 一种基于纠删码的存储数据重构方法和装置、存储节点
US11119860B2 (en) Data profiler
US9984139B1 (en) Publish session framework for datastore operation records
Niazi et al. Size matters: Improving the performance of small files in hadoop
CN110908589A (zh) 数据文件的处理方法、装置、系统和存储介质
US20180107408A1 (en) Read and Write Load Sharing in a Storage Array Via Partitioned Ownership of Data Blocks
US9262289B2 (en) Storage apparatus and failover method
US10579433B2 (en) Storage system and information management method having a representative node and a plurality of general nodes including a plurality of resources
US20190020716A1 (en) Method and system for recovering data in distributed computing system
CN114253936A (zh) 分布式数据库的缩容方法、装置、设备和介质
WO2017168578A1 (ja) データ処理システム及びデータ処理方法
US10990313B2 (en) Multi-storage node system and capacity management method of multi-storage node system
US11579910B2 (en) Policy enforcement and performance monitoring at sub-LUN granularity
KR101980320B1 (ko) Gpu기반의 빅데이터 검색 질의 병렬 분산처리 방법
US10685046B2 (en) Data processing system and data processing method
CN110674099A (zh) 副本平衡方法、装置、存储介质及电子设备
JP7458610B2 (ja) データベースシステム、及びクエリ実行方法
US20230273728A1 (en) Storage control apparatus and method
US11861423B1 (en) Accelerating artificial intelligence (‘AI’) workflows
US20210223966A1 (en) Storage system and control method of storage system
Weng et al. The Integration of Shared Storages with the CephFS and Rados Gateway for Big Data Accessing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201223

R150 Certificate of patent or registration of utility model

Ref document number: 6816072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150