JPH06309284A

JPH06309284A - 問合せ処理負荷分散方法

Info

Publication number: JPH06309284A
Application number: JP5092738A
Authority: JP
Inventors: Konami Ichikawa; 湖菜美市川; Masashi Tsuchida; 正士土田; Shunichi Torii; 俊一鳥居
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-04-20
Filing date: 1993-04-20
Publication date: 1994-11-04

Abstract

(57)【要約】【構成】一つのノードの問合せ処理を第一のノード群に
分割する過程と、問合せ処理制限時間Ｑｔを与えたと
き、Ｑｔ以内に処理を終了するのに必要なノード数Ｐを
決定する過程と、第一のノード群から実際のデータベー
スをアクセスする第二のノード群にデータベース処理を
依頼するとき、第一のノード群の処理負荷を均等化する
処理依頼関係を決定する過程と、上記処理依頼関係でな
お第一のノード群の処理負荷に不均衡が生じる時、第二
のノード群をノードの中まで分割することによって、第
一のノード群の処理負荷をさらに均衡化する処理依頼関
係を決定する過程と、第二のノード群から返される処理
結果を第一のノード群がユーザに返す応答方法を決定す
る過程からなる。【効果】処理負荷を、複数ノードに分割し、処理の高速
化、円滑なパイプライン動作が可能。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データベース処理装置
に係り、特に、リレーショナルデータベース管理システ
ムに適した問合せの並列処理に好適な問合せ処理方法に
関する。

【０００２】

【従来の技術】ＣＰＵ性能、ディスク容量の延びを上回
るトランザクション量，データベース量増大に対応し
て、スケーラブルな並列データベースシステムへのユー
ザ要求が強まっている。データベースシステムに対する
ユーザの要求する性能要件として、数万を越える同時実
行ユーザ数への対応，テラバイト単位の検索トランザク
ションの出現，表サイズに比例しない応答時間の保証、
等がある。並列データベースシステムは、近年のハード
ウェアコストの低減と相まって、注目を浴びているデビ
ットデイエトアル“パラレルデータベースシステム
ズ”ザフューチャオブハイパフォーマンスデータ
ベースシステムズシーエイシーエムボリューム３
５ナンバー６１９９２(DeWitt,D.,et.al.：“Paral
lel DatabaseSystems: The Future of High Performanc
e Database Systems", CACM ,Vol.35,No.6, 1992.）。

【０００３】そのようなシステムでは密結合あるいは疎
結合にプロセッサを接続し、データベース処理を複数の
ノード（プロセッサあるいはプロセッサとディスク装置
との対）へ静的／動的に配分し、スケジュールする必要
がある。

【０００４】並列データベース処理では、各ノードにデ
ータベース演算が分割され、各ノードでのデータベース
演算が並列に、あるいは一つの操作の出力を他の操作の
入力に流すパイプライン的な動作をする（以下、パイプ
ライン動作と呼ぶ）。並列度を増すことによって応答性
能は向上することが予想されるが、問合せによる大量な
データ処理が必要な場合、ユーザから問合せ処理要求を
受け取るノード（以下、このノードをフロントエンドノ
ードと呼ぶ）が、実際のデータベースに対して検索・更
新等の操作、すなわちデータベース処理を行うノード
（以下、このノードをバックエンドノードと呼ぶ）に処
理を依頼し、全ての結果を受け取るまでの処理をしなけ
ればならない。このためフロントエンドノードの負荷が
大きくなり、応答性能が向上しないと考えられる。

【０００５】ここで、データベースとはユーザから２次
元のテーブル形式で見られる表とし、行（ロウ）から成
るものである。また、ロウは、一つ以上の属性（これを
カラムという）からなる。

【０００６】

【発明が解決しようとする課題】上記従来技術によれ
ば、並列データベース処理では、各ノードにデータベー
ス演算が分割され、各ノードでのデータベース演算が並
列に、あるいは一つの操作の出力を他の操作の入力に流
すパイプライン的な動作をし、並列度を増すことによっ
て応答性能は向上することが予想されるが、問合せによ
る大量なデータ処理が必要な場合、フロントエンドノー
ドはバックエンドノードに処理を依頼し、フロントエン
ドノードが全ての結果を受け取るまでの処理をしなけれ
ばならない。

【０００７】本発明の一つの目的は、クライアントから
フロントエンドノードに入ってきた負荷の大きい問合せ
処理を、他の複数ノード（以下、このノードを問合せ処
理ノードと呼ぶ）に分散して処理させることによって、
応答性能の向上を図ることである。

【０００８】本発明の他の目的は、問合せの分散方法で
ある。問合せ処理ノードは、実際にデータベースを持っ
ている複数バックエンドノードへデータベース処理を依
頼する。ここで、問合せ処理ノードの負荷は、そのノー
ドが依頼した複数のバックエンドノードから出力される
データの転送時間合計である。よって、問合せによる負
荷をあらかじめ予測し、各問合せ処理サーバの処理時間
が均等になるように配分することによって、応答性能の
向上を実現することにある。

【０００９】本発明の他の目的は、バックエンドノード
から返ってきた結果を問合せ処理ノードから直接クライ
アントに返すことによって、さらに応答性能の向上を実
現することにある。

【００１０】

【課題を解決するための手段】上記目的は、（１）問合
せを受けた一つのノードが、その問合せ処理の負荷を他
の複数のノードに分散させる方法であって、その問合せ
処理を第一のノード群に分割する過程と、（２）問合せ
を処理する第一のノード群の台数Ｐを決定する際に、ユ
ーザから問合せ処理制限時間Ｑｔを与えられると、時間
Ｑｔ以内に問合せ処理を終了するための必要ノード数Ｐ
を決定する過程と、（３）問合せを第一のノード群で処
理する時、第一のノード群から実際のデータベースをア
クセスする第二のノード群にデータベース処理を依頼す
るとき、第一のノード群のうちのどのノードが、第二の
ノード群のどのノードに処理を依頼すると第一のノード
群の処理負荷を均等化することができるか、その第一の
ノード群から第二のノード群へのノード単位での処理依
頼関係を決定する過程と、（４）問合せを処理する第一
のノード群から実際のデータベースをアクセスする第二
のノード群にデータベース処理を依頼する処理依頼関係
を決定したが、なお第一のノード群の処理負荷にアンバ
ランスが生じる時、第二のノード群をノードの中まで分
割することによって、第一のノード群の処理負荷を均衡
化する方法であって、その第一のノード群から第二のノ
ード群へノード単位で処理依頼関係を決定する過程と、
（５）実際のデータベースをアクセスする第二のノード
群から返ってくるデータベース処理の結果を、問合せを
処理する第一のノード群が受け取り、それぞれのノード
群がユーザに問合せを返す返し方を決定する過程を有す
る負荷分散方法により達成される。

【００１１】

【作用】本発明の問合せ処理負荷分散方式によれば、問
合せを受けたノードの問合せ処理負荷を、複数のノード
に均等に分割することができ、また、問合せを分散する
ノード数と、その問合せ処理ノードとバックエンドノー
ドとの対応関係を問合せ処理ノードの負荷が均等になる
ように決定することができる。また、問合せ処理の結果
を各問合せ処理ノードから直接クライアントに返すの
で、応答性能の向上を実現することができる。

【００１２】

【実施例】図２は、データベースシステムのブロック図
である。データベースシステムはユーザが作成したｎ個
のアプリケーションプログラム（以下、ＡＰと略記す
る）２０１，２０２と、問合せ処理等のデータベースシ
ステム全体の管理を行うデータベース管理システム（以
下、ＤＢＭＳと略記する）２０３と、データベース処理
対象であるデータを格納しているデータベース２１８と
から構成される。またDBMS203 は、他のデータベース管
理システムと接続されている。

【００１３】DBMS203 は、問合せの構文解析，意味解析
を行う問合せ解析２０６とデータベースのデータ取り出
し量を設定する静的最適化処理２０７によって構成され
る問合せ解析処理２２０と、静的最適化処理２０７をも
とに最適な処理方法を決定する動的最適化処理２０９，
動的最適化処理の解釈実行を行う実行部２１０によって
構成される問合せ実行処理２２１とから成る論理処理部
２０５と、DBMS203 で処理対象となるデータを格納する
データベースバッファ２１６と、アクセスしたデータの
条件判定，編集，レコード追加等を実現するデータアク
セス処理２１３，データベースレコードの読み書きを制
御するデータベースバッファ制御２１５、及びシステム
で共用するリソースの排他制御を実現する排他制御２１
２とから成るデータベースの物理処理を実行する物理処
理部２１１とから構成されている。

【００１４】図３は、本発明が適用されるハードウェア
構成の一例を示すブロック図で、プロセッサ及びディス
ク装置がノードを構成する並列プロセッサシステムでの
適用例である。図３は、プロセッサ３０１から３０５及
びディスク装置３０６から３１１が相互結合ネットワー
ク３１２で接続される。また、プロセッサ３０３は、他
のシステムとネットワーク３１３で接続されている。

【００１５】図１は、本発明が適用された並列データベ
ースシステムの処理例を示す。この例では、データベー
スに対する検索要求に並列処理を適用する。

【００１６】この処理のための問合せは、以下のように
なる。

【００１７】ＳＥＬＥＣＴＴ１．Ｃ１ＦＲＯＭＴ１いま、クライアント１００に入ってきた要求を処理する
ことを考える。この要求はフロントエンドノードである
ノード１０１がネットワーク３１３を介して受け取り１
１３、ノード１０２、ノード１０３はクライアント１０
０とネットワーク３１３で接続しており、検索する表Ｔ
１はノード１０４からノード１０８に格納されており、
ディクショナリノード１０８には条件カラムに関する情
報が格納されている。また、この例では、データベース
の分割方法としてキーレンジ分割で格納されているとし
て説明をし、ラウンドロビン分割の場合は、随時文章の
みで説明する。バックエンドノードでのデータ取り出し
処理と、問合せ処理ノードでのデータ受け取り処理は、
パイプライン動作させることができる。また要求とは、
問合せ、あるいは処理時間制限Ｑｔと問合せの二つを合
わせたもののうちのどちらかとなる。

【００１８】前者の場合、ディクショナリ情報から、最
大のデータ取り出し時間ＭＴ以内で全ての処理が終わる
ようにするために、問合せの処理制限時間ＱｔをＭＴと
し、処理の分割数Ｐを決定する。

【００１９】後者の場合、全てのデータの取り出し時間
Ｔ，データの転送時間ｔ，問合せの処理時間制限Ｑｔか
ら、処理の分割数Ｐを決定する。

【００２０】いま、処理の分割数Ｐを２とした時、クラ
イアントからフロントエンドノードであるノード１０１
に入ってきた問合せを、ディクショナリ情報からデータ
の転送時間を均等に２分割するように、クライアント１
００とネットワークで接続されているノード１０２，ノ
ード１０３に問合せ処理を依頼する。ここで、フロント
エンドノードは、図２の問合せ解析処理２２０の機能を
持つものとし、二つの問合せ処理ノードは、問合せ実行
処理２２１の機能を持つものとする。すなわち、ＡＰ１
０９がノード１０２のＡＰ１１０に、ＳＥＬＥＣＴＴ１．Ｃ１ＦＲＯＭＴ１ＷＨＥＲＥＡ≦Ｔ１．Ｃ１＜Ｇを、同じく、ノード１０３のＡＰ１１１にＳＥＬＥＣＴＴ１．Ｃ１ＦＲＯＭＴ１ＷＨＥＲＥＧ≦Ｔ１．Ｃ１の問合せ実行処理を依頼する（１２６）。また、この
時、クライアントにはノード２，３から問合せ結果が返
されるという情報を渡す（１２７）。よって、データの
転送時間を均等に２分割すると、ノード２はカラムＣ１
のキー範囲がＡ≦Ｃ１＜Ｇ、すなわち、バックエンドノ
ードであるノード１０４，ノード１０５の二つのノード
にデータ検索処理を依頼し(１１４，１１５)、ノード１
０３はカラムＣ１のキー範囲がＧ≦Ｃ１、すなわち、ノ
ード１０５，ノード１０６，ノード１０７の三つのノー
ドにデータ検索処理を依頼することになる（１１６，１
１７，１１８）。ここで、バックエンドノードは、図２
の物理処理部２１１の機能、データベースバッファ２１
６，データベース２１８を持っているノードとする。も
し、データがラウンドロビン分割で格納されている場合
は、転送データ量をノード単位で、処理負荷が均等にな
るように分割する。検索の結果はそれぞれノード１０
２，１０３に返され（１１９から１２３）、最終結果は
ノード１０２，１０３から直接クライアント１００に返
される（１２４，１２５）。

【００２１】図４は、図１での問合せ処理を実行した場
合のノード１０２から１０８８の処理時間を表す。ここ
で、ノードへの処理分割決定方法について説明する。デ
ィクショナリ情報より、検索する表Ｔ１がノード１０４
から１０８に格納されているという情報と、各ノードか
ら検索されるデータのデータ取り出し時間（４００から
４０４），データ転送時間（４０５から４０９）を取得
する。また、データ取り出し時間や、データ転送時間
は、データ取り出し量，ＣＰＵ性能，Ｉ／Ｏ回数，通信
性能等から算出できるものとする。この情報から問合せ
処理ノードをノード１０２，１０３と決定する。まず、
データベース処理時間が最大であるノード１０４（４０
０）をノード２に割り当てるとする。

【００２２】次に、まだ割り当てていない処理のうち最
大の負荷を持つノード、ここでは、ノード１０８（４０
４）を問合せ処理ノードのうち、割り当てられた処理の
負荷合計値が最小であるノード、ここではノード１０３
に割り当てる。こうして、全てのバックエンドノードを
最大の処理時間のものから割り当てることを繰り返す。
結果として、ノード１０２はノード１０４から１０６が
割り当てられ(４１０)、ノード１０３はノード１０７，
１０８が割り当てられる（４１１）。

【００２３】図５は、図１の実施例を実行した場合、問
合せ処理ノードの処理時間に差がある場合の解決案であ
る。ノード１０２と１０３の処理負荷を等しくするため
に、負荷の多いノード１０３の処理をノード１０２にも
負担させる。ここでは、ノード１０５の処理をノード１
０２，１０３の両方で受け持つことにする（５０１，５
０２）。

【００２４】図６は、図５の実施例を実行した場合のノ
ード１０２から１０８の処理時間を表す。ノード１０５
のデータベース処理をノード１０２，１０３の二つのノ
ードが受け持つことによって、負荷の不均衡を解決する
方法である。処理の分け方は、まず、図４で説明したよ
うに、ノード１０２の処理時間をノード１０４，105の
データ転送時間とし、ノード３の処理時間をノード１０
６，１０７，１０８のデータ転送時間とする場合、ノー
ド１０２の処理時間のほうが大きくなるため、負荷が均
等でないということを判断する。

【００２５】その場合、図４の方法で、バックエンドノ
ードの処理負荷(６００から６０５)を割り当て、問合せ
処理ノードの負荷が最大のデータ取り出し時間ＭＴを越
えた分（６０２）を他の問合せ処理ノードであるノード
３にに割り当てる。このノード１０６の処理の分け方
は、キーの範囲で分ける事とする。結果として、ノード
１０２はノード１０４，１０５と、ノード１０６に格納
されている表Ｔ１のうちのＧ≦Ｃ１＜Ｊの範囲を受け持
ち（６０６）、ノード１０３はノード１０７，１０８
と、Ｃ１ノード１０６に格納されている表Ｔ１のうちの
Ｊ≦Ｃ１＜Ｌの範囲を受け持つ（６０７）ことになり、
ノード１０２，１０３の問合せ処理ノードの処理負荷を
均等化することができる。ここで、データがラウンドロ
ビン分割で格納されている場合は、ノード１０６のデー
タをデータページ単位で二つのノードの処理負荷が均等
になるように分割し、キーレンジ分割の場合と同様の結
果を得るものとする。

【００２６】図７，図８，図９，図１０は、本発明を適
用したＤＢＭＳの処理のフローチャートである。ＤＢＭ
Ｓは、問合せ実行前に行われる問合せの解析処理（２０
６），静的最適化処理（２０７）を実現する問合せ解析
処理７００と、変数に定数を代入し、処理手順を選択す
る動的最適化処理(２０９)、問合せの実行（２１０）を
実現している問合せ実行処理７０１とからなる。

【００２７】各処理部概要について述べる。

【００２８】（ａ）問合せ解析処理７００問合せ解析２０６・・・入力された問合せ文の構文解
析，意味解析を実行静的最適化処理２０７・・・問合せで出現する条件式か
ら条件を満足するデータの割合を推定する（ｂ）問合せ実行処理７０１動的実行時最適化２０９・・・代入された定数と、問合
せ処理時間制限に基づき、各ノード群で実行する処理手
順を決定実行２１０・・・当処理手順を解釈，実行次に、各処理部の詳細な処理フローの説明を行う。

【００２９】静的最適化処理２０７では、問合せ条件式
に変数が出現するか否かチェックする（７０３）。変数
が出現すれば、当条件式にカラム値分布情報があるかチ
ェックする（７０６）。存在すれば終了する。存在しな
ければ、条件式の種別に応じてディフォルト値を設定し
（７０７）、終了する。変数が出現しなければ、当条件
式にカラム値分布情報があるかチェックする（７０
４）。存在しなければ、条件式の種別に応じてディフォ
ルト値を設定し（７０７）、終了する。存在すれば、カ
ラム値分布情報を用いて選択率を算出する（７０５）。

【００３０】動的最適化処理２０９では、データ取り出
し量を算出済みかどうかチェックする（９００）。もし
なければ、代入された定数を基にデータ取り出し量を算
出する（８０１）。存在すれば８０２へ。次に、ディク
ショナリより最適化情報を入力し（８０２）、全てのデ
ータ取り出し処理時間Ｔを算出する（８０３）。問合せ
処理時間Ｑｔの指定があるか、チェックする（８０
４）。もしなければ、ディクショナリ情報から、最大の
データ取り出し時間ＭＴ以内で全ての処理が終わるよう
にするために、問合せの処理制限時間ＱｔをＭＴとする
（８０５）。もしあれば、８０６へ。次に、問合せ処理
ノード数Ｐを決定し（８０６）、どの問合せ処理ノード
から結果が戻ってくるかをクライアントに報告する（８
０７）。決定した問合せ処理ノードに問合せ処理を割り
当てる（８０８）。そして、問合せ処理ノードの負荷が
均等であるかどうかをチェックする（８０９）。もし、
負荷が均等であれば、終了する。負荷が均等でなけれ
ば、Ｔ／Ｐを越える負荷を持つ問合せ処理サーバの負荷
を、負荷がＴ／Ｐに達しない問合せ処理ノードに、負荷
の越える分だけ割り当てる（８１０）。この場合、ノー
ドの中まで分割して割り当てる。そして、全ての問合せ
処理ノードの負荷が均等になるまで８１０を繰り返し、
負荷が均等になったら、終了する。

【００３１】実行部２１０では、動的最適化による処理
手順に従って、Ｐ台の問合せ処理ノードに割り当てられ
た問合せを実行する（１０００）。各問合せ処理ノード
は、問合せに必要なデータをもつバックエンドノードに
データベース処理を依頼する（１００１）。そして、問
合せ処理ノードは、各バックエンドノードから問合せ結
果を受け取り（１００２）、その結果をクライアントへ
返し（１００３）、終了する。

【００３２】図１，図５で問合せ結果を返す方法とし
て、バックエンドノードから直接クライアントに結果を
返すことが可能な場合、問合せ処理ノードを介さずにバ
ックエンドノードからクライアントに結果を返してもよ
い。また、フロントエンドノード，問合せ処理ノード，
バックエンドノードを同一ノードで適用してもよい。さ
らに、１つのフロントエンドノードが複数問合せを受け
取る場合や、複数フロントエンドノードが複数問合せを
受け取る場合に適用してもよい。

【００３３】以上、処理フローを説明した。本発明は、
密結合／疎結合マルチプロセッサシステム大型計算機の
ソフトウェアシステムを介して実現することも、また各
処理部のために専用プロセッサが用意された密結合／疎
結合複合プロセッサシステムを介して実現することも可
能である。

【００３４】

【発明の効果】本発明によれば、問合せを受けたノード
の問合せ処理負荷を、複数のノードに均等に分割するこ
とができるので、問合せ処理の高速化を実現することが
でき、円滑にパイプラインを動作させることが実現可能
となる。

【図面の簡単な説明】

【図１】問合せ処理負荷分散方式のブロック図。

【図２】データベースシステムのブロック図。

【図３】ハードウエアのブロック図。

【図４】問合せ処理負荷量比較図。

【図５】問合せ処理負荷分散方式ノード内分割概要のブ
ロック図。

【図６】問合せ処理負荷量比較説明図。

【図７】データベース管理システムのフローチャート。

【図８】データベース管理システムのフローチャート。

【図９】データベース管理システムのフローチャート。

【図１０】データベース管理システムのフローチャー
ト。

【符号の説明】

１００…クライアント、１０１，１０２，１０３，１０
４，１０５，１０６，１０７…ノード、１０８…ディク
ショナリノード、２０１，２０２…アプリケーションプ
ログラム、２０３…データベース管理システム、２０５
…論理処理部、２０６…問合せ解析、２０７…静的最適
化処理、２０９…動的最適化処理、210…実行部、２１
８…データベース、２１９…ディクショナリ、３１２…
相互結合ネットワーク。

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサノードがネットワークに
より接続され、各ノードは少なくとも１台のＣＰＵと少
なくとも１台のディスク装置とから構成され、各ノード
にはデータベースに対する問合せ要求を処理するための
プログラムが実装され、データベースに対するユーザか
らの問合せを解析して対応する処理手順を決定し、それ
を実行する並列データベースにおいて、ユーザから問合
せを受けた一つのノードが、その問合せに必要なデータ
ベースを持つ複数のノード群へデータベース処理を依頼
し、その結果を受け取り、ユーザへ返す処理で、問合せ
を受けた一つのノードが、その問合せ処理の負荷を他の
複数のノードに分散させる方法であって、実行時に問合
せの処理を前記複数のノード群に分割する過程を有する
ことを特徴とする問合せ処理負荷分散方法。
【請求項２】請求項１において、問合せを処理する前記
ノード群の台数を決定する際に、ユーザから問合せ制限
時間を与えられると、前記制限時間以内に問合せ処理を
終了するために必要な前記ノード群の台数を実行時に決
定する過程をもつ問合せ処理負荷分散方法。
【請求項３】請求項１において、問合せを前記ノード群
で処理する時、前記ノード群から実際のデータベースを
アクセスする第二のノード群にデータベース処理を依頼
するとき、前記ノード群のうちのどのノードが、前記第
二のノード群のどのノードに処理を依頼すると前記ノー
ド群の処理負荷を均等化することができるか、その前記
ノード群から前記第二ノード群へノード単位で処理依頼
関係を実行時に決定する過程をもつ問合せの処理負荷分
散方法。
【請求項４】請求項３において、問合せを処理する前記
ノード群から実際のデータベースをアクセスする前記第
二のノード群にデータベース処理を依頼する処理依頼関
係を決定したが、前記ノード群の処理負荷にアンバラン
スが生じる時、前記第二のノード群をノードの中まで分
割し、処理配分することによって、前記ノード群の処理
負荷を均衡化する方法であって、前記ノード群から前記
第二のノード群への処理依頼関係を実行時に決定する過
程をもつ問合せの処理負荷分散方法。
【請求項５】請求項１において、実際のデータベースを
アクセスする前記第二のノード群から返ってくるデータ
ベース処理の結果を、問合せを処理する前記ノード群が
受け取り、前記ノード群のそれぞれのノードがユーザに
問合せ結果を返す問合せの処理負荷分散方法。