JP3806609B2 - Parallel database system and distributed file system - Google Patents

Parallel database system and distributed file system Download PDF

Info

Publication number
JP3806609B2
JP3806609B2 JP2001130602A JP2001130602A JP3806609B2 JP 3806609 B2 JP3806609 B2 JP 3806609B2 JP 2001130602 A JP2001130602 A JP 2001130602A JP 2001130602 A JP2001130602 A JP 2001130602A JP 3806609 B2 JP3806609 B2 JP 3806609B2
Authority
JP
Japan
Prior art keywords
database
data
bes
server
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001130602A
Other languages
Japanese (ja)
Other versions
JP2002007365A (en
Inventor
正士 土田
一夫 正井
俊一 鳥居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001130602A priority Critical patent/JP3806609B2/en
Publication of JP2002007365A publication Critical patent/JP2002007365A/en
Application granted granted Critical
Publication of JP3806609B2 publication Critical patent/JP3806609B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、データベース分割管理方法および並列データベースシステムに関し、さらに詳しくは、データベース処理を行うプロセッサ数またはディスク数を負荷に合わせて最適にするデータベース分割管理方法および並列データベースシステムに関する。
【０００２】
【従来の技術】
例えば、「Ｄevid DeWitt and Jim Gray：Ｐarallel Database Systems：The Future of High Performance Database Systems，CACM，Vol.35，No.6，1992 」において、並列データベースシステムが提案されている。
この並列データベースシステムでは、密結合あるいは疎結合に複数のプロセッサを接続し、それら複数のプロセッサに対して、データベース処理を配分している。
【０００３】
【発明が解決しようとする課題】
従来の並列データベースシステムのシステム構成はユーザに任されており、且つ、固定的であった。
このため、システム構成が初めから負荷に不適合であったり、途中から不適合になる場合があり、期待する並列度が得られなかったり、高速な問い合せが実現できない問題点があった。
そこで、本発明の目的は、期待する並列度を得ることが出来ると共に、高速な問い合せを実現することが出来るデータベース分割管理方法および並列データベースシステムを提供することにある。
【０００４】
【課題を解決するための手段】
第１の観点では、本発明は、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能を持つＢＥＳノードと、ディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＩＯＳノードとをネットワークで接続してなる並列データベースシステムにおいて、データベース処理の負荷パターンに応じて、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＩＯＳノードに割当てるプロセッサ数と、ＩＯＳノードのディスク数と、ディスクの分割数とを決定することを特徴とするデータベース分割管理方法を提供する。
【０００５】
また、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能およびディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＢＥＳノードとをネットワークで接続してなる並列データベースシステムにおいて、データベース処理の負荷パターンに応じて、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＢＥＳノードのディスク数と、ディスクの分割数とを決定することを特徴とするデータベース分割管理方法を提供する。
【０００６】
上記第１の観点によるデータベース分割管理方法では、データベース処理の負荷パターン（一件検索処理，一件更新処理，データ取り出し処理など）に応じて、各ノードに割当てるプロセッサ数とディスク数とディスクの分割数とを決定する。そこで、システム構成が負荷に適合したものとなり、期待する並列度が得られると共に、高速な問い合せを実現できるようになる。
【０００７】
第２の観点では、本発明は、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能を持つＢＥＳノードと、ディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＩＯＳノードとをネットワークで接続してなる並列データベースシステムにおいて、データベースのスキャンに必要な時間を一定とする並列アクセス可能なページ数の上限を決め、そのページ数の上限に応じて、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＩＯＳノードに割当てるプロセッサ数と、ＩＯＳノードのディスク数と、ディスクの分割数とを決定することを特徴とするデータベース分割管理方法を提供する。
【０００８】
また、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能およびディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＢＥＳノードとをネットワークで接続してなる並列データベースシステムにおいて、データベースのスキャンに必要な時間を一定とする並列アクセス可能なページ数の上限を決め、そのページ数の上限に応じて、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＢＥＳノードのディスク数と、ディスクの分割数とを決定することを特徴とするデータベース分割管理方法を提供する。
【０００９】
上記第２の観点によるデータベース分割管理方法では、データベースのスキャンに必要な時間を一定とする並列アクセス可能なページ数の上限に応じて、各ノードに割当てるプロセッサ数とディスク数とディスクの分割数とを決定する。そこで、高速な問い合せを実現できるようになる。
【００１０】
第３の観点では、本発明は、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能を持つＢＥＳノードと、ディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＩＯＳノードとをネットワークで接続してなる並列データベースシステムにおいて、負荷パターンにより期待並列度ｐを算出し、その期待並列度ｐに応じて、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＩＯＳノードに割当てるプロセッサ数と、ＩＯＳノードのディスク数と、ディスクの分割数とを決定することを特徴とするデータベース分割管理方法を提供する。
【００１１】
また、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能およびディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＢＥＳノードとをネットワークで接続してなる並列データベースシステムにおいて、負荷パターンにより期待並列度ｐを算出し、その期待並列度ｐに応じて、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＢＥＳノードのディスク数と、ディスクの分割数とを決定することを特徴とするデータベース分割管理方法を提供する。
【００１２】
上記第３の観点によるデータベース分割管理方法では、負荷パターンにより算出した期待並列度ｐに応じて、各ノードに割当てるプロセッサ数とディスク数とディスクの分割数とを決定する。そこで、期待する並列度が得られるようになる。
【００１３】
第４の観点では、本発明は、上記構成のデータベース分割管理方法において、最適ページアクセス数ｍを算出し、キーレンジ分割がある場合には、サブキーレンジ単位の格納ページ数ｓ（＝ｍ／ｐ）を算出し、ｓページ単位でサブキーレンジ分割し、ディスクへデータ挿入を行うことを特徴とするデータベース分割管理方法を提供する。
上記第４の観点によるデータベース分割管理方法では、期待並列度ｐと最適ページアクセス数ｍとから算出したサブキーレンジ単位の格納ページ数ｓ（＝ｍ／ｐ）でサブキーレンジ分割して、ディスクへデータ挿入を行う。そこで、データを略均等に分割管理できるようになる。
【００１４】
第５の観点では、本発明は、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能を持つＢＥＳノードと、ディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＩＯＳノードとをネットワークで接続してなる並列データベースシステムにおいて、問合せ実行処理中に取得したアクセスページ数，ヒットロウ数，通信回数などの負荷情報を基にして負荷アンバランスを検出し、負荷アンバランスを解消する方向に、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＩＯＳノードに割当てるプロセッサ数と、ＩＯＳノードのディスク数とを変更することを特徴とするデータベース分割管理方法を提供する。
【００１５】
また、ユーザからの問合せの解析，最適化，処理手順作成を実行する機能を有するＦＥＳノードと、そのＦＥＳノードで作成された処理手順を基にしてデータベースをアクセスする機能およびディスクを備え且つそのディスクにデータベースを格納し管理する機能を持つＢＥＳノードとをネットワークで接続してなる並列データベースシステムにおいて、問合せ実行処理中に取得したアクセスページ数，ヒットロウ数，通信回数などの負荷情報を基にして負荷アンバランスを検出し、負荷アンバランスを解消する方向に、ＦＥＳノードに割当てるプロセッサ数と、ＢＥＳノードに割当てるプロセッサ数と、ＢＥＳノードのディスク数とを変更することを特徴とするデータベース分割管理方法を提供する。
【００１６】
上記第５の観点によるデータベース分割管理方法では、問合せ実行処理中に負荷アンバランスを検出し、その負荷アンバランスを解消する方向に、各ノードのプロセッサ数またはディスク数を変更する。そこで、負荷変動があってもシステム構成が常に負荷に適合したものとなり、期待する並列度が得られると共に、高速な問い合せを実現できるようになる。
【００１７】
第６の観点では、本発明は、上記構成のデータベース分割管理方法において、ＢＥＳノードに割当てるプロセッサ数またはＩＯＳノードに割当てるプロセッサ数またはディスク数を追加する場合、オンライン中であれば、追加対象となるプロセッサまたはディスクで管理されるデータベースの表のキーレンジ範囲を閉塞し、新たにプロセッサあるいはディスクを割り当て、ロック情報，ディレクトリ情報の引き継ぎを行い、ノード振り分け制御に必要なディクショナリ情報の書き換えを行い、その後、オンライン中であれば、前記閉塞を解除することを特徴とするデータベース分割管理方法を提供する。
また、上記構成のデータベース分割管理方法において、ＢＥＳノードに割当てるプロセッサ数またはディスク数を追加する場合、オンライン中であれば、追加対象となるプロセッサまたはディスクで管理されるデータベースの表のキーレンジ範囲を閉塞し、新たにプロセッサあるいはディスクを割り当て、ロック情報，ディレクトリ情報の引き継ぎを行い、ノード振り分け制御に必要なディクショナリ情報の書き換えを行い、追加対象となるディスク群から新たなディスク群へデータを移動し、その後、オンライン中であれば、前記閉塞を解除することを特徴とするデータベース分割管理方法を提供する。
【００１８】
上記第６の観点によるデータベース分割管理方法では、プロセッサ数またはディスク数を追加，削除する場合、オンライン中であれば、表のキーレンジ範囲を閉塞した後、引き継ぎ処理を行い、その後、前記閉塞を解除する。そこで、オーバヘッドを最小限にできる。また、ＩＯＳノードがあるシステム構成では、データを移動せずに引き継ぎできるようになる。
【００１９】
第７の観点では、本発明は、上記構成のデータベース分割管理方法において、ＢＥＳノードに割当てるプロセッサ数またはＩＯＳノードに割当てるプロセッサ数またはディスク数を削除する場合、オンライン中であれば、削除対象となるプロセッサまたはディスクで管理されるデータベースの表のキーレンジ範囲を閉塞し、削除するプロセッサまたはディスクを決定し、ロック情報，ディレクトリ情報の引き継ぎを行い、ノード振り分け制御に必要なディクショナリ情報の書き換えを行い、その後、オンライン中であれば、前記閉塞を解除することを特徴とするデータベース分割管理方法を提供する。
【００２０】
また、上記構成のデータベース分割管理方法において、ＢＥＳノードに割当てるプロセッサ数またはディスク数を削除する場合、オンライン中であれば、削除対象となるプロセッサまたはディスクで管理されるデータベースの表のキーレンジ範囲を閉塞し、削除するプロセッサまたはディスクを決定し、ロック情報，ディレクトリ情報の引き継ぎを行い、ノード振り分け制御に必要なディクショナリ情報の書き換えを行い、削除対象となるディスク群から引継ぐディスク群へデータを移動し、その後、オンライン中であれば、前記閉塞を解除することを特徴とするデータベース分割管理方法を提供する。
【００２１】
上記第７の観点によるデータベース分割管理方法では、プロセッサ数またはディスク数を追加，削除する場合、オンライン中であれば、表のキーレンジ範囲を閉塞した後、引き継ぎ処理を行い、その後、前記閉塞を解除する。そこで、オーバヘッドを最小限にできる。また、ＩＯＳノードがあるシステム構成では、データを移動せずに引き継ぎできるようになる。
【００２２】
第８の観点では、本発明は、上記構成のデータベース分割管理方法により、データベース処理を行うプロセッサ数またはディスク数を動的に変更することを特徴とする並列データベースシステムを提供する。
上記第８の観点による並列データベースシステムでは、上記第５の観点から第７の観点の作用により、スケーラブルな並列データベースシステムとなる。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、これにより本発明が限定されるものではない。
図１は、本発明の一実施形態の並列データベースシステム１を示す構成図である。
この並列データベースシステム１は、ＦＥＳ（フロントエンドサーバ）ノード，ＢＥＳ（バックエンドサーバ）ノード，ＩＯＳ（インプットアウトプットサーバ）ノード，ＤＳ（ディクショナリサーバ）ノードおよびＪＳ（ジャーナルサーバ）ノードを、ネットワーク９０により接続した構成である。各ノードは、他のシステムとも接続されている。
ＦＥＳノードは、ディスクを持たない少なくとも１台のプロセッサから構成されたＦＥＳ７５からなるノードであり、ユーザからの問合せの解析，最適化，処理手順作成を実行するフロントエンドサーバの機能を持っている。
ＢＥＳノードは、ディスクを持たない少なくとも１台のプロセッサから構成されたＢＥＳ７３からなるノードであり、前記ＦＥＳ７５で作成された処理手順を基にしてデータベースをアクセスする機能を持っている。
ＩＯＳノードは、少なくとも１台のプロセッサから構成されたＩＯＳ７０および少なくとも１台のディスク８０からなるノードであり、ディスク８０にデータベースを格納し管理する機能を持っている。なお、ＩＯＳノードの機能をＢＥＳノードに持たせれば、ＩＯＳノードを省略できる。この場合、ＢＥＳ７３にディスクを接続すると共に、ＢＥＳ７３がディスク８０にデータベースを格納し管理する機能を持つ。
【００２４】
データベースは、複数の表からなる。表は、２次元のテーブル形式であり、複数のロウ（行）からなる。１つのロウは、１つ以上のカラム（属性）からなる。この表は、所定数のロウからなる固定長のページ単位で物理的に分割されて、ディスク８０上に格納される。各ページのディスク８０上の格納位置は、ディレクトリ情報を用いて知ることが出来る。
ＤＳノードは、少なくとも１台のプロセッサから構成されたＤＳ７１および少なくとも１台のディスク８１からなるノードであり、データベースの定義情報を一括管理する機能を持っている。
ＪＳノードは、少なくとも１台のプロセッサから構成されたＪＳ７２および少なくとも１台のディスク８２からなるノードであり、各ノードで実行されるデータベース更新履歴情報を格納し、管理する機能を持っている。
【００２５】
図２は、上記並列データベースシステム１におけるＦＥＳ７５，ＢＥＳ７３，ＩＯＳ７０のプロセッサ数およびディスク数およびディスクの分割数を決める本発明のデータベース分割管理方法の概念図である。
まず、ユーザが指定するワークロードでデータベース処理の負荷パターンを決める。負荷パターンには、一件検索処理、一件更新処理、データ取り出し処理などがある。その負荷パターンに応じて、ＩＯＳ７０でディスク８０を何分割して管理するか決定する（ＩＯＳノードの機能をＢＥＳが持つ場合は、ＢＥＳ７３でディスクを何分割して管理するか決定する）。
【００２６】
すなわち、スキーマ定義時、表の分割方法（キー値範囲，範囲毎ロウ数（ページ数を換算）など）から、格納に必要なディスク数が判明し、閉塞および再編成の単位が決まれば、ＢＥＳ７３およびＩＯＳ７０の組み合わせ（閉塞あるいは再編成の単位がディスク，ＩＯＳ，ＢＥＳに依存する）が決まる。
これにより、ＢＥＳ７３，ＩＯＳ７０，ディスク８０の構成台数が決まる。即ち、次のようになる。
既分割数...全ＢＥＳで管理する並列アクセス可能なデータベース分割単位（動的なＢＥＳ追加，削除は、この分割単位で行う）
各分割毎ディスク数...各分割で割り当てられるディスク数
図２は、ディスク数が"８"、既分割数が"４"、各分割毎ディスク数が"２"の場合である。
なお、プロセッサ性能がｎ倍となれば、分割数を変えずに、各分割で利用するボリューム数をｎ倍とする（ただし、ＩＯＳ７０とディスク８０の間の総データ転送レートの制限があるため、ディスク数にも制限がある）。
また、ここでディスクとは、ディスク装置１台に対応させている。本発明では、必ずしも「ディスク」はディスク装置１台と１対１に対応させる必要はない。例えば、１ディスク装置に複数のディスク装置を含む場合（ディスクアレイ装置）、並列アクセス可能な入出力単位の数を「ディスク装置」として適用すればよい。
【００２７】
図２のようにＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：４：１：８であるが、初期データロード時には、ＦＥＳ，ＢＥＳは１台あればよく、ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：１：１：８となっている。そのため、ＢＥＳ７３１には、既分割＃１〜＃４のディスク８１１〜８４２に格納されるデータベースのディレクトリ情報を持つ。
ＢＥＳ７３の負荷が軽くて、ＢＥＳ７３１の１台だけでＩＯＳ７０および８台のディスク８１１〜８４２を処理可能な場合、ＢＥＳ７３１の１台だけで８台のディスク８１１〜８４２に格納されるデータベースをアクセスする。従って、ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：１：１：８のままである。
ＢＥＳ７３１の負荷が増加して利用率１００％の状態が続き負荷アンバランスが検出されると、ＢＥＳ７３２が追加される。既分割数が"４"であるので、２つのＢＥＳ７３１，７３２にそれぞれ２つの分割が対応付けられる。そのため、ＢＥＳ７３１には、既分割＃１〜＃２のディスク８１１〜８２２に格納されるデータベースのディレクトリ情報を持つ。また、ＢＥＳ７３２には、既分割＃３〜＃４のディスク８３１〜８４２に格納されるデータベースのディレクトリ情報を持つ。ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：２：１：８となる。
【００２８】
さらに、ＢＥＳ７３１，７３２の負荷が増加して利用率１００％の状態が続き負荷アンバランスが検出されると、ＢＥＳ７３１，７３２にそれぞれＢＥＳ７３３，７３４が追加される。既分割数が"４"であるので、４つのＢＥＳ７３１，７３２，７３３，７３４にそれぞれ１つの分割が対応付けられる。そのため、ＢＥＳ７３１には、既分割＃１のディスク８１１〜８１２に格納されるデータベースのディレクトリ情報を持つ。また、ＢＥＳ７３２には、既分割＃２のディスク８２１〜８２２に格納されるデータベースのディレクトリ情報を持つ。また、ＢＥＳ７３３には、既分割＃３のディスク８３１〜８３２に格納されるデータベースのディレクトリ情報を持つ。また、ＢＥＳ７３４には、既分割＃４のディスク８４１〜８４２に格納されるデータベースのディレクトリ情報を持つ。ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：４：１：８となる。
【００２９】
負荷が軽くなり、ＢＥＳ７３３，７３４の利用率が例えば５０％未満の状態が続くと、ＢＥＳ７３３，７３４に割り当ててあるノードを他の処理のために利用する方が有効である。そこで、利用率が５０％未満のＢＥＳ７３３，７３４を合わせる。すると、ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：２：１：８に縮退する。
【００３０】
以上のように、負荷に応じてＢＥＳを増減すれば、ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：１：１：８〜１：４：１：８の間でスケーラブルなシステムを実現できる。
ＩＯＳ７０は、ＢＥＳ７３とディスク８０の対応関係に依らず、並列にアクセス可能なディスク数分の並列なタスクが存在すればよい。このため、データの移動を行わず、ディレクトリ情報をＢＥＳ間で移動することで、ＢＥＳ７３とディスク８０の対応関係を変更でき、アクセスの分離および統合が容易に可能となる。
次に、負荷パターンが一件更新処理の場合とデータ取り出し処理の場合について、プロセッサ数，ディスク数，ディスクの分割数を、数値例で説明する。
前提条件は、以下のように仮定する。

Figure 0003806609
Ａ．一件更新処理（１ページアクセス）の場合
(１)ＩＯＳノードがあるシステム構成の場合
ＦＥＳ処理の３０［Kステップ］でプロセッサ性能１０［Mステップ／秒］を割ると、３３３回／秒まで受取処理が可能である。
【００３１】
また、ＦＥＳからの実行要求の受信処理６［Kステップ］＋ＢＥＳからのデータ取り出し要求の送信処理６［Kステップ］＋ＩＯＳからのデータ取り出し結果の受信処理１０［Kステップ］＋一件更新処理６０［Kステップ］＋ＦＥＳへの実行要求結果の送信処理６［Kステップ］＝８８［Kステップ］がＢＥＳでの一件更新処理で必要であるから、これでプロセッサ性能１０［Mステップ／秒］を割ると、１１４回／秒まで一件更新処理が可能である。
さらに、ＢＥＳからの入出力要求の受信処理６［Kステップ］＋入出力発行処理８［Kステップ］＋ＢＥＳへの入出力要求結果の送信処理６［Kステップ］＝２０［Kステップ］がＩＯＳのディスクへのアクセスに必要であるから、これでプロセッサ性能１０［Mステップ／秒］を割ると、５００回／秒までディスクへのアクセスが可能である。
【００３２】
また、１ページのランダム入出力で２０［ｍ秒］を要するので、１台のディスクには５０回／秒までアクセス可能となる。これで前記ＩＯＳでのディスクへのアクセス可能回数５００回／秒を割ると、ＩＯＳには１０台までのディスクを実装可能である。
また、前記ＢＥＳでの一件更新処理可能回数１１４回／秒で前記ＩＯＳでのディスクへのアクセス可能回数５００回／秒を割ると、１台のＩＯＳで４．３台のＢＥＳに対応可能である。
【００３３】
さらに、前記ＢＥＳでの一件更新処理可能回数１１４回／秒で前記ＦＥＳでの受取処理可能３３３回／秒を割ると、１台のＦＥＳで３台のＢＥＳに対応可能である。
以上から、ＦＥＳ：ＢＥＳ＝１：３、ＢＥＳ：ＩＯＳ＝４．３：１、ＩＯＳ：ディスク＝１：１０となる。そこで、総合的には、図３に示すように、ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：４：１：８とすると、ほぼバランスがとれた実装になる（ＦＥＳとディスクに多少のアンバランスが生じる）。
【００３４】
(２)ＩＯＳノードの機能をＢＥＳノードに持たせたシステム構成の場合
ＦＥＳ処理の３０［Kステップ］でプロセッサ性能１０［Mステップ／秒］を割ると、３３３回／秒まで受取処理が可能である。
また、ＦＥＳからの実行要求の受信処理６［Kステップ］＋入出力発行処理８［Kステップ］＋一件更新処理６０［Kステップ］＋ＦＥＳへの実行要求結果の送信処理６［Kステップ］＝８０［Kステップ］がＢＥＳでの一件更新処理で必要であるから、これでプロセッサ性能１０［Mステップ／秒］を割ると、１２５回／秒まで一件更新処理が可能である。
また、１ページのランダム入出力で２０［ｍ秒］を要するので、１台のディスクには５０回／秒までアクセス可能となる。これで前記ＢＥＳでの一件更新処理可能回数１２５回／秒を割ると、ＢＥＳには２．５台までのディスクを実装可能である。
さらに、前記ＢＥＳでの一件更新処理可能回数１２５回／秒で前記ＦＥＳでの受取処理可能３３３回／秒を割ると、１台のＦＥＳで２．６台のＢＥＳに対応可能である。
【００３５】
以上から、ＦＥＳ：ＢＥＳ＝１：２．６、ＢＥＳ：ディスク＝１：２．５となる。そこで、総合的には、図４に示すように、ＦＥＳ：ＢＥＳ：ディスク＝１：４：８とすると、ほぼバランスがとれた実装になる（ＦＥＳに多少のアンバランスが生じる）。
Ｂ．データ取り出し処理（10ページアクセス）の場合
(１)ＩＯＳノードがあるシステム構成の場合
ＦＥＳ処理の３０［Kステップ］でプロセッサ性能１０［Mステップ／秒］を割ると、３３３回／秒まで受取処理が可能である。
また、ＦＥＳからの実行要求の受信処理６［Kステップ］＋ＢＥＳからのデータ取り出し要求の送信処理６［Kステップ］＋ＩＯＳからのデータ取り出し結果の受信処理４６［Kステップ］＋データ取り出し処理２２０［Kステップ］＋ＦＥＳへの実行要求結果の送信処理６［Kステップ］＝２８４［Kステップ］がＢＥＳでのデータ取り出し処理で必要であるから、これでプロセッサ性能１０［Mステップ／秒］を割ると、３５回／秒までデータ取り出し処理が可能である。
さらに、ＢＥＳからの入出力要求の受信処理６［Kステップ］＋入出力発行処理４４［Kステップ］＋ＢＥＳへの入出力要求結果の送信処理６［Kステップ］＝５６［Kステップ］がＩＯＳのディスクへのアクセスに必要であるから、これでプロセッサ性能１０［Mステップ／秒］を割ると、１７９回／秒までディスクへのアクセスが可能である。
【００３６】
また、１０ページの一括入出力で３０［ｍ秒］を要するので、１台のディスクには３３回／秒までアクセス可能である。これで前記ＩＯＳでのディスクへのアクセス可能回数１７９回／秒を割ると、５．４台までのディスクを実装可能である。
また、前記ＢＥＳでのデータ取り出し処理可能回数３５回／秒で前記ＩＯＳでのディスクへのアクセス可能回数１７９回／秒を割ると、１台のＩＯＳで５．１台のＢＥＳに対応可能である。
さらに、前記ＢＥＳでのデータ取り出し処理可能回数３５回／秒で前記ＦＥＳでの受取処理可能３３３回／秒を割ると、１台のＦＥＳで９．５台のＢＥＳに対応可能である。
以上から、ＦＥＳ：ＢＥＳ＝１：９．５、ＢＥＳ：ＩＯＳ＝５．１：１、ＩＯＳ：ディスク＝１：５．４となる。そこで、総合的には、ＦＥＳ：ＢＥＳ：ＩＯＳ：ディスク＝１：１０：２：１０とすると、ほぼバランスがとれた実装になる（ディスクに多少のアンバランスが生じる）。
【００３７】
(２)ＩＯＳノードの機能をＢＥＳノードに持たせたシステム構成の場合
ＦＥＳ処理の３０［Kステップ］でプロセッサ性能１０［Mステップ／秒］を割ると、３３３回／秒まで受取処理が可能である。
また、ＦＥＳからの実行要求の受信処理６［Kステップ］＋入出力発行処理４４［Kステップ］＋データ取り出し処理２２０［Kステップ］＋ＦＥＳへの実行要求結果の送信処理６［Kステップ］＝２７６［Kステップ］がＢＥＳでのデータ取り出し処理で必要であるから、これでプロセッサ性能１０［Mステップ／秒］を割ると、３６回／秒までデータ取り出し処理が可能である。
また、１０ページの一括入出力で３０［ｍ秒］を要するので、１台のディスクには３３回／秒までアクセス可能である。これで前記ＢＥＳでのデータ取り出し処理可能回数３６回／秒を割ると、１台だけのディスクを実装可能である。
【００３８】
さらに、前記ＢＥＳでのデータ取り出し処理可能回数３６回／秒で前記ＦＥＳでの受取処理可能３３３回／秒を割ると、１台のＦＥＳで９．２台のＢＥＳに対応可能である。
以上から、ＦＥＳ：ＢＥＳ＝１：９．２、ＢＥＳ：ディスク＝１：１となる。そこで、総合的には、ＦＥＳ：ＢＥＳ：ディスク＝１：１０：１０とすると、ほぼバランスがとれた実装になる。
【００３９】
図５は、ＦＥＳ７５の構成図である。
ＦＥＳ７５は、ユーザが作成したアプリケーションプログラム１０〜１１と、問合せ処理やリソース管理などのデータベースシステム全体の管理を行う並列データベース管理システム２０と、データの読み書きなどの計算機システム全体の管理を受け持つオペレーティングシステム３０とを具備している。
【００４０】
上記並列データベース管理システム２０は、システム制御部２１と、論理処理部２２と、物理処理部２３と、処理対象となるデータを一時的に格納するデータベース／ディクショナリ２４とを具備している。また、上記並列データベース管理システム２０は、ネットワーク９０および他のシステムと接続されている。
【００４１】
上記システム制御部２１は、入出力の管理等を行う。また、データロード処理２１０と、動的負荷制御処理２１１とを具備している。
上記論理処理部２２は、問合せの構文解析や意味解析を行う問合せ解析２２０と、適切な処理手順候補を生成する静的最適化処理２２１と、処理手順候補に対応したコードの生成を行なうコード生成２２２とを具備している。また、処理手順候補から最適なものを選択する動的最適化処理２２３と、選択された処理手順候補のコードの解釈実行を行うコード解釈実行２２４とを具備している。
【００４２】
上記物理処理部２３は、アクセスしたデータの条件判定や編集やレコード追加などを実現するデータアクセス処理２３０と、データベースレコードの読み書き等を制御するデータベース／ディクショナリバッファ制御２３１と、システムで共用するリソースの排他制御を実現する排他制御２３３とを具備している。
【００４３】
図６は、ＢＥＳ７３の構成図である。
ＢＥＳ７３は、データベースシステム全体の管理を行う並列データベース管理システム２０と、計算機システム全体の管理を受け持つオペレーティングシステム３０とを具備して構成されている。なお、ＩＯＳノードの機能を持つときは、ディスクを有し、そのディスクにデータベース４０を格納し、管理する。
【００４４】
上記並列データベース管理システム２０は、システム制御部２１と、論理処理部２２と、物理処理部２３と、処理対象となるデータを一時的に格納するデータベースバッファ２４とを具備している。また、上記並列データベース管理システム２０は、ネットワーク９０および他のシステムと接続されている。
【００４５】
上記システム制御部２１は、入出力の管理等を行う。また、負荷配分を考慮したデータロードを行うためのデータロード処理２１０を具備している。
上記論理処理部２２は、コードの解釈実行を行うコード解釈実行２２４を具備している。
上記物理処理部２３は、アクセスしたデータの条件判定や編集やレコード追加などを実現するデータアクセス処理２３０と、データベースレコードの読み書き等を制御するデータベースバッファ制御２３１と、入出力対象となるデータの格納位置を管理するマッピング処理２３２と、システムで共用するリソースの排他制御を実現する排他制御２３３とを具備している。
【００４６】
図７は、ＩＯＳ７０とディスク８０の構成図である。
ＩＯＳ７０は、データベースシステム全体の管理を行う並列データベース管理システム２０と、計算機システム全体の管理を受け持つオペレーティングシステム３０とを具備して構成されている。
ディスク８０には、データベース４０が格納されている。
上記並列データベース管理システム２０は、システム制御部２１と、物理処理部２３と、処理対象となるデータを一時的に格納する入出力バッファ２４とを具備している。また、上記並列データベース管理システム２０は、ネットワーク９０および他のシステムと接続されている。
【００４７】
上記システム制御部２１は、入出力の管理等を行う。また、負荷配分を考慮したデータロードを行うためのデータロード処理２１０を具備している。
上記物理処理部２３は、アクセスしたデータの条件判定や編集やレコード追加などを実現するデータアクセス処理２３０と、データベースレコードの読み書き等を制御する入出力バッファ制御２３１とを具備している。
【００４８】
図８は、ＤＳ７１およびディスク８１の構成図である。
ＤＳ７１は、データベースシステム全体の管理を行う並列データベース管理システム２０と、計算機システム全体の管理を受け持つオペレーティングシステム３０とを具備して構成されている。
ディスク８１には、ディクショナリ５０が格納されている。
上記並列データベース管理システム２０は、システム制御部２１と、論理処理部２２と、物理処理部２３と、ディクショナリバッファ２４とを具備している。また、上記並列データベース管理システム２０は、ネットワーク９０および他のシステムと接続されている。
上記論理処理部２２は、コードの解釈実行を行うコード解釈実行２２４を具備している。
上記物理処理部２３は、アクセスしたデータの条件判定や編集やレコード追加などを実現するデータアクセス処理２３０と、ディクショナリレコードの読み書き等を制御するディクショナリバッファ制御２３１と、システムで共用するリソースの排他制御を実現する排他制御２３３とを具備している。
【００４９】
図９は、ＪＳ７２とディスク８２の構成図である。
ＪＳ７２は、データベースシステム全体の管理を行う並列データベース管理システム２０と、計算機システム全体の管理を受け持つオペレーティングシステム３０とを具備して構成されている。
ディスク８２には、ジャーナル６０が格納されている。
上記並列データベース管理システム２０は、システム制御部２１と、物理処理部２３と、ジャーナルバッファ２４とを具備している。また、上記並列データベース管理システム２０は、ネットワーク９０および他のシステムと接続されている。
上記物理処理部２３は、アクセスしたデータの条件判定や編集やレコード追加などを実現するデータアクセス処理２３０と、ジャーナルレコードの読み書き等を制御するジャーナルバッファ制御２３１とを具備している。
【００５０】
図１０は、ＦＥＳ７５におけるデータベース管理システム２０の処理を示すフローチャートである。システム制御部２１は、問合せ分析処理か否かチェックする（２１２）。問合せ分析処理であれば、問合せ分析処理４００を呼び出し、それを実行した後、終了する。問合せ分析処理でなければ、問合せ実行処理か否かチェックする（２１３）。問合せ実行処理であれば、問合せ実行処理４１０を呼び出し、それを実行した後、終了する。問合せ実行処理でなければ、データロード処理か否かチェックする（２１４）。データロード処理であれば、データロード処理２１０を呼び出し、それを実行した後、終了する。データロード処理でなければ、動的負荷制御処理か否かチェックする（２１４）。動的負荷制御処理であれば、動的負荷制御処理２１１を呼び出し、それを実行した後、終了する。動的負荷制御処理でなければ、終了する。
【００５１】
なお、ＢＥＳ７３におけるデータベース管理システム２０の処理のフローチャートは、図１０からステップ２１２，２１５，４００，２１１を省いたものとなる。また、ＩＯＳ７０におけるデータベース管理システム２０の処理のフローチャートは、図１０からステップ２１２，２１３，２１５，４００，４１０，２１１を省いたものとなる。
【００５２】
図１１は、問合せ分析処理４００のフローチャートである。
まず、問合せ解析２２０により、入力された問合せ文の構文解析，意味解析を実行する。
次に、静的最適化処理２２１により、問合せで出現する条件式から条件を満足するデータの割合を推定し、予め設定している規則を基に、有効なアクセスパス候補（特にインデクスを選出する）を作成し、処理手順の候補を作成する。
次に、コード生成２２２により、処理手順の候補を実行形式のコードに展開する。そして、処理を終了する。
【００５３】
図１２は、問合せ解析２２０のフローチャートである。
ステップ２２００では、入力された問合せ文の構文解析，意味解析を実行する。そして、処理を終了する。
【００５４】
図１３は、静的最適化処理２２１のフローチャートである。
まず、述語選択率推定２２１０により、問い合せに出現する条件式の述語の選択率を推定する。
次に、アクセスパス剪定２２１２により、インデクス等からなるアクセスパスを剪定する。
次に、処理手順候補生成２２１３により、アクセスパスを組み合わせた処理手順候補を生成する。
そして、処理を終了する。
【００５５】
図１４は、述語選択率推定２２１０のフローチャートである。
ステップ２２１０１では、問合せ条件式に変数が出現するか否かチェックする（２２１０１）。変数が出現しなければステップ２２１０２に進み、変数が出現すればステップ２２１０４に進む。
ステップ２２１０２では、当条件式にカラム値分布情報があるか否かチェックする。カラム値分布情報があればステップ２２１０３に進み、カラム値分布情報がなければステップ２２１０５に進む。
ステップ２２１０３では、カラム値分布情報を用いて選択率を算出し、終了する。
ステップ２２１０４では、当条件式にカラム値分布情報があるか否かチェックする。カラム値分布情報があれば終了し、カラム値分布情報がなければ、ステップ２２１０５に進む。
ステップ２２１０５では、条件式の種別に応じてディフォルト値を設定し（２２１０５）、終了する。
【００５６】
図１５は、アクセスパス剪定２２１２のフローチャートである。
ステップ２２１２０では、問合せ条件式で出現するカラムのインデクスをアクセスパス候補として登録する。
ステップ２２１２１では、問合せでアクセス対象となる表が複数ノードに分割格納されているかチェックする。分割格納されていなければステップ２２１２２に進み、分割格納されていればステップ２２１２３に進む。
ステップ２２１２２では、シーケンシャルスキャンをアクセスパス候補として登録する。
ステップ２２１２３では、パラレルスキャンをアクセスパス候補として登録する。
ステップ２２１２４では、各条件式の選択率が既に設定済みか否かチェックする。設定済みであればステップ２２１２５に進み、設定済みでなければステップ２２１２６に進む。
ステップ２２１２５では、各表に関して選択率が最小となる条件式のインデクスをアクセスパスの最優先度とする。
ステップ２２１２６では、各条件式の選択率の最大値および最小値を取得する。
ステップ２２１２７では、プロセッサ性能，ＩＯ性能等システム特性より各アクセスパスの選択基準を算出する。
ステップ２２１２８では、単一あるいは複数のインデクスを組合せたアクセスパスでの選択率が上記選択基準を下回るものだけアクセスパス候補として登録する。
【００５７】
図１６は、処理手順候補生成２２１３のフローチャートである。
ステップ２２１３０では、問合せでアクセス対象となる表が複数ノードに分割格納されているかチェックする。分割格納されていなければステップ２２１３１へ進み、分割格納されていればステップ２２１３５へ進む。
ステップ２２１３１では、処理手順候補にソート処理が含まれているか否かをチェックする。含まれていなければステップ２２１３２へ進み、含まれていればステップ２２１３５へ進む。
ステップ２２１３２では、問合せでアクセス対象となる表のアクセスパスが唯一であるかチェックする。唯一であればステップ２２１３３へ進み、唯一でなければステップ２２１３４へ進む。
ステップ２２１３３では、単一の処理手順を作成し、終了する。
ステップ２２１３４では、複数の処理手順を作成し、終了する。
ステップ２２１３５では、結合可能な２ウェイ結合へ問合せを分解する。
ステップ２２１３６では、分割格納される表の格納ノード群に対応して、データ読みだし／データ分配処理手順とスロットソート処理手順を候補として登録する。
ステップ２２１３７では、結合処理ノード群に対応して、スロットソート処理手順、Ｎウェイマージ処理手順および突き合わせ処理手順を候補として登録する。なお、スロットソート処理とは、ページ内の各ロウがページ先頭からのオフセットで位置付けされるスロットで管理され、データが格納されるページを対象とするページ内のソート処理を指し、スロット順に読みだせば昇順にロウがアクセス可能とする。また、Ｎウェイマージ処理とは、Ｎウェイのバッファを用いて、各マージ段でＮ本のソート連を入力にしてトーナメント法で最終的に１本のソート連を作成する処理をいう。
ステップ２２１３８では、要求データ出力ノードに要求データ出力処理手順を登録する。
ステップ２２１３９では、分解結果に対して評価がすべて終了したかチェックする。評価がすべて終了していなければ前記ステップ２２１３６に戻り、評価がすべて終了していれば処理を終了する。
【００５８】
図１７は、コード生成２２２のフローチャートである。
ステップ２２２０では、処理手順候補が唯一か否かをチェックする。唯一でなければステップ２２２１へ進み、唯一であればステップ２２２３へ進む。
ステップ２２２１では、カラム値分布情報等からなる最適化情報を処理手順に埋込む。
ステップ２２２２では、問合せ実行時に代入された定数に基づいて処理手順を選択するデータ構造を作成する。
ステップ２２２３では、処理手順を実行形式へ展開する。そして、処理を終了する。
【００５９】
図１８は、問合せ実行処理４１０のフローチャートである。
まず、動的実行時最適化２２３により、代入された定数に基づき、各ノード群で実行する処理手順を決定する。
次に、コード解釈実行２２４により、当処理手順を解釈し、実行する。そして、処理を終了する。
【００６０】
図１９は、動的最適化処理２２３のフローチャートである。
ステップ２２３００では、動的負荷制御処理を実行する（２２３００）。
ステップ２２３０１では、作成されている処理手順が単一か否かをチェックする。単一であれば、処理を終了する。単一でなければ、ステップ２２３０２へ進む。
ステップ２２３０２では、代入された定数を基に選択率を算出する。
ステップ２２３０３では、処理手順候補に並列な処理手順が含まれるか否かチェックする。含まれていればステップ２２３０４に進み、含まれていなければステップ２２３０８に進む。
ステップ２２３０４では、ディクショナリから最適化情報（結合カラムのカラム値分布情報，アクセス対象となる表のロウ数，ページ数等）を入力する。
ステップ２２３０５では、データ取り出し／データ分配のための処理時間を各システム特性を考慮し、算出する。
ステップ２２３０６では、当処理時間から結合処理に割当てるノード数ｐを決定する。
ステップ２２３０７では、データ分配情報を最適化情報を基に作成する。
ステップ２２３０８では、アクセスパスの選択基準に従って処理手順を選択し、終了する。
【００６１】
図２０は、コード解釈実行２２４のフローチャートである。
ステップ２２４００では、データ取り出し／データ分配処理か否かチェックする。データ取り出し／データ分配処理であればステップ２２４０１に進み、データ取り出し／データ分配処理でなければステップ２２４０５に進む。
ステップ２２４０１では、データベースをアクセスし条件式を評価する。
ステップ２２４０２では、データ分配情報を基に、各ノード毎のバッファへデータを設定する。
ステップ２２４０３では、当該ノードのバッファが満杯か否かチェックする。満杯であればステップ２２４０４へ進み、満杯でなければステップ２２４２０へ進む。
ステップ２２４０４では、ページ形式で対応するノードへデータを転送し、ステップ２２４２０へ進む。
ステップ２２４０５では、スロットソート処理か否かチェックする。スロットソート処理であればステップ２２４０６へ進み、スロットソート処理でなければステップ２２４０９へ進む。
ステップ２２４０６では、他ノードからのページ形式データの受け取りを行う。
ステップ２２４０７では、スロットソート処理を実行する。
ステップ２２４０８では、スロットソート処理結果を一時的に保存し、ステップ２２４２０へ進む。
ステップ２２４０９では、Ｎウェイマージ処理か否かチェックする。Ｎウェイマージ処理であればステップ２２４１０へ進み、Ｎウェイマージ処理でなければステップ２２４１２へ進む。
【００６２】
ステップ２２４１０では、Ｎウェイマージ処理を実行する。
ステップ２２４１１では、Ｎウェイマージ処理結果を一時的に保存し、ステップ２２４２０へ進む。
ステップ２２４１２では、突き合わせ処理か否かチェックする。突き合わせ処理であればステップ２２４１３へ進み、突き合わせ処理でなければステップ２２４１６へ進む。
ステップ２２４１３では、両ソートリストを突き合わせ、出力用バッファへデータを設定する。
ステップ２２４１４では、出力用バッファが満杯か否かチェックする。満杯であれば、ステップ２２４１５へ進む。満杯でなければ、ステップ２２４２０へ進む。
ステップ２２４１５では、ページ形式で要求データ出力ノードへデータを転送し、ステップ２２４２０へ進む。
ステップ２２４１６では、要求データ出力処理か否かチェックする。要求データ出力処理であればステップ２２４１７へ進み、要求データ出力処理でなければステップ２２４２０へ進む。
ステップ２２４１７では、他ノードからページ形式データの転送があるか否かチェックする。転送があればステップ２２４１８へ進み、転送がなければステップ２２４１９へ進む。
ステップ２２４１８では、他ノードからページ形式データを受け取る。
ステップ２２４１９では、アプリケーションプログラムへ問合せ処理結果を出力する。
ステップ２２４２０では、ＢＥＳで実行中か否かチェックする。ＢＥＳで実行中ならステップ２２４２１へ進み、ＢＥＳで実行中でないなら終了する。
ステップ２２４２１では、アクセスページ数，ヒットロウ数，通信回数等の処理負荷を推定するための情報をＦＥＳへ通知し、終了する。
【００６３】
図２１は、データロード処理２１０のフローチャートである。
各ステップを説明する前に概念を説明する。
データロード方法には、表全体のスキャンに必要な時間を一定時間内に抑える目標応答時間重視データ配置と、ｍページアクセスに最適化した期待並列度重視データ配置と、ボリューム分割を完全にユーザが指定したユーザ制御によるユーザ指定データ配置とがある。
目標応答時間重視データ配置では、まず、表全体のロウを格納するのに必要なページ数を求める。次に、並列アクセス可能な各分割のディスクに格納するページ数の上限を決める。アクセスには、必要となれば一括入力（例えば、１０ページ）を前提にする。ディスク台数，ＩＯＳ台数，ＢＥＳ台数の組み合わせに応じて負荷配分を決める。キーレンジ分割がある場合、上限ページ数でキーレンジ分割区間を再分割し、各分割のディスクへ各々格納する。このキーレンジ分割については、図２３を参照して後で詳述する。
期待並列度重視データ配置では、ｍのサイズに依存するが、かなり大であることな望ましい。キーレンジ分割がある場合、ｍのサイズと期待並列度ｐから各キーレンジ分割単位のサブキーレンジ格納ページ数ｓ（＝ｍ／ｐ）を決定し、ｓページ単位で各分割のディスクへ各々格納する。
【００６４】
期待並列度ｐの算出方法は、応答時間をノード毎のオーバヘッドで割った比の平方根で算出する。この比が、１０で期待並列度３、１００で期待並列度１０、１０００で期待並列度３２、１００００で期待並列度１００となる。算出された期待並列度ｐが、既分割数を上回る場合、既分割数を採用する（既分割数で処理できる最大ディスク数が決まるため）。逆の場合は、既分割数を上限に期待並列度ｐを分割数として採用する。
具体的に、１００ページアクセスに最適化したデータ配置を試算する。前提として、一括入力は１０ページとする。１回のＩ／Ｏ時間（１０ページアクセス）に３００ｍ秒、１回のＩ／Ｏオーバヘッドに５．６ｍ秒（１０ＭＩＰＳ性能で５６ｋｓが必要）であるので、期待並列度ｐが約７（＝√｛３００／５．６｝）となる。従って、ｓ＝１４（＝１００／７）ページ毎にサブキーレンジ分割を行う。
ユーザ指定データ配置は、従来のデータベース管理システムと同様のデータ配置であり、設定パラメタ通りに管理する。
【００６５】
さて、ステップ２１０００では、目標応答時間重視データ配置か否かをチェックする。目標応答時間重視データ配置でなければステップ２１００１に進み、目標応答時間重視データ配置であればステップ２１００３に進む。
ステップ２１００１では、期待並列度重視データ配置か否かチェックする。期待並列度重視データ配置でなければステップ２１００２に進み、期待並列度重視データ配置であればステップ２１０１０に進む。
ステップ２１００２では、ユーザ指定があるか否かをチェックする。ユーザ指定があればステップ２１０１６に進み、ユーザ指定がなければ終了する。
ステップ２１００３では、表全体のロウを格納するのに必要なページ数を求める。
ステップ２１００４では、表のスキャンに必要な時間を一定とする並列アクセス可能なディスクに格納するページ数の上限を決める。
ステップ２１００５では、上記要件を満たすＢＥＳ，ＩＯＳ，ディスク群を決定する。
ステップ２１００６では、キーレンジ分割があるか否かチェックする。キーレンジ分割があるならステップ２１００７へ進み、キーレンジ分割がないならステップ２１００９へ進む。
ステップ２１００７では、ある上限ページ数でキーレンジ分割区間を再分割しする。
ステップ２１００８では、キーレンジ分割区間に対応してデータ挿入を行い、終了する。
ステップ２１００９では、上限ページ数で区切ってデータ挿入を行い、終了する。
ステップ２１０１０では、推定ワークロードにより最適ページアクセス数ｍを算出する。
ステップ２１０１１では、期待並列度ｐを算出し、その期待並列度ｐに応じて、ＢＥＳ，ＩＯＳ，ディスク群を決定する。
ステップ２１０１２では、キーレンジ分割があるか否かチェックする。キーレンジ分割があるならステップ２１０１３へ進み、キーレンジ分割がないならステップ２１０１５へ進む。
ステップ２１０１３では、サブキーレンジ単位の格納ページ数ｓ（＝ｍ／ｐ）を算出する。
ステップ２１０１４では、ｓページ単位でサブキーレンジ分割し、各ディスクへデータ挿入を行い、終了する。
ステップ２１０１５では、ｓページ数で区切ってデータ挿入を行い、終了する。
ステップ２１０１６では、ユーザ指定のＩＯＳの管理するディスクへデータ挿入を行い、終了する。
【００６６】
図２２は、動的負荷制御処理２１１のフローチャートである。
ステップ２１１００では、負荷アンバランス（アクセス集中化／離散化）の有無を検出する。すなわち、ノード毎単位時間当たりに実行されたＤＢ処理負荷（処理ステップ数（ＤＢ処理分，Ｉ／Ｏ処理分，通信処理分）、プロセッサ性能（処理時間に換算する）、Ｉ／Ｏ回数（入出力時間に換算する））の分布からネックとなる資源（プロセッサ（ＢＥＳ，ＩＯＳ）、ディスク）を検出し、ＤＢ処理をＳＱＬ文に展開し、各資源へのアクセス状況を表単位に分類する。負荷アンバランスが検出されたらステップ２１１０１へ進み、負荷アンバランスが検出されなかったら処理を終了する。
【００６７】
ステップ２１１０１では、アクセス分布情報から、ＢＥＳを追加あるいは削除するか、ＩＯＳ，ディスク対を追加あるいは削除するかを判断する。追加または削除が必要ならステップ２１１０２に進み、必要ないなら終了する。
ステップ２１１０２では、追加か否かをチェックする。追加ならステップ２１１０３へ進み、追加でないならステップ２１１２へ進む。
ステップ２１１０３では、オンライン中かチェックする。オンライン中なら、ステップ２１１０４へ進む。オンライン中でないなら、ステップ２１１０５へ進む。
ステップ２１１０４では、対象となるＢＥＳ群で管理される表のキーレンジ範囲を閉塞する。
ステップ２１１０５では、新たにＢＥＳを割り当る。
ステップ２１１０６では、ロック情報およびディレクトリ情報の引き継ぎを行う。
ステップ２１１０７では、ノード振り分け制御に必要なディクショナリ情報の書き換えをＤＳ７１に指示する。
ステップ２１１０８では、ＩＯＳが存在するか否かをチェックする。存在しなければステップ２１１０９へ進み、存在すればステップ２１１１０へ進む。なお、このステップは、ＩＯＳが存在するシステム構成とＩＯＳが存在しないシステム構成の両方に同じソフトウエアで対応するために挿入されている。
ステップ２１１０９では、対象となるＢＥＳ群から新たなＢＥＳ群へデータを移動する。
ステップ２１１１０では、オンライン中かチェックする。オンライン中なら、ステップ２１１１１へ進む。オンライン中でないなら、処理を終了する。
ステップ２１１１１では、対象となるＢＥＳ群で管理される表のキーレンジ範囲の閉塞を解除し、終了する。
ステップ２１１１２では、オンライン中かチェックする。オンライン中なら、ステップ２１１１３へ進む。オンライン中でないなら、ステップ２１１１４へ進む。
ステップ２１１１３では、対象となるＢＥＳ群で管理される表のキーレンジ範囲を閉塞する。
ステップ２１１１４では、縮退するＢＥＳを決定する。
ステップ２１１１５では、ロック情報およびディレクトリ情報の引き継ぎを行う。
ステップ２１１１６では、ノード振り分け制御に必要なディクショナリ情報の書き換えをＤＳ７１に指示する。
ステップ２１１１７では、ＩＯＳが存在するか否かをチェックする。存在しなければステップ２１１１８へ進み、存在すればステップ２１１１９へ進む。
ステップ２１１１８では、縮退するＢＥＳ群からデータを追い出す。
ステップ２１１１９では、オンライン中かチェックする。オンライン中なら、ステップ２１１２０へ進む。オンライン中でないなら、処理を終了する。
ステップ２１１２０では、対象となるＢＥＳ群で管理される表のキーレンジ範囲の閉塞を解除し、終了する。
【００６８】
図２３は、キーレンジ分割を用いたデータロード処理の概念図である。
既分割数は"４"とする。また、データベースのカラム値ｖ１〜ｖ６は、図１１のような出現頻度を取るものとする。
初期データロード時、必要なＢＥＳは、７３１の１台でよい。格納するべきページ数を各分割８１０〜８４０のディスクにそれぞれページ数の上限まで対応付けると、カラム値ｖ１〜ｖ２は分割８１０のディスクに格納され、カラム値ｖ２〜ｖ３は分割８２０および８３０のディスクに格納され、カラム値ｖ３〜ｖ５は分割８４０のディスクに格納され、カラム値ｖ５〜ｖ６は他のディスク群に格納される。初期データロード時には、各ディスクに格納されたページの管理を行うために、ディスク毎のディレクトリ情報を作成する。
データベースアクセス時には、負荷に応じてＢＥＳ７３２〜７３４を用いる場合、各ＢＥＳに対応するディスク毎のディレクトリ情報を利用し、データベースをアクセスする。
上記各処理の実装に当たって、次の実施形態と組合せてもよい。
【００６９】
ロウのノード間移動を容易にするために、ロウ識別子にＢＥＳ等の位置情報を含めない。ＢＥＳでは、表の分割位置を特定するためのディレクトリ情報とロウ識別子とを組み合わせて、ロウの物理位置を特定する。ロウ移動に関しては、ディレクトリ情報の書き換えで対応する。再編成あるいはロウ移動に対応した構造にしておき、ＢＥＳが動的に追加されても、ディレクトリ情報およびロック情報の引き継ぎで処理の分割を可能とする。
また、データベースをレプリカ管理する場合、２倍の格納領域が必要となる。１次コピーとバックアップコピーが同一ＩＯＳ、ＢＥＳで管理されるか否かにかかわらず、ディスクへのアクセス負荷はほぼ２倍となるため、既分割数で管理する各分割毎ボリューム数を１／２とすればよい。
【００７０】
さらに、ディスク、ＩＯＳ、ＢＥＳ等の障害時、オンライン処理から切り離し、復旧後オンラインと接続する。各ノードに応じて閉塞管理方式が異なる。ディスク障害時、このディスクに格納されるキーレンジ範囲を閉塞する。バックアップコピーが存在すれば（同一ＩＯＳ（ミラーディスク）、別ＩＯＳ（データレプリカ）の管理下でバックアップコピーを取得する必要あり）、処理を振り分ける。ＩＯＳ障害時、このＩＯＳに格納されるキーレンジ範囲を閉塞する。バックアップコピーが存在すれば（別ＩＯＳ（データレプリカ）の管理下でバックアップコピーを取得する必要あり）、処理を振り分ける。ＢＥＳ障害時、このＢＥＳで管理されるキーレンジ範囲を閉塞する。ＩＯＳが存在すれば、新たにＢＥＳを割り当て、ロック情報引き継ぎ、ノード振り分け制御に必要なディクショナリ情報の書き換え後、処理を続行する。
【００７１】
本発明は、統計情報を用いた規則とコスト評価との併用に限らず、適当なデータベース参照特性情報を与える処理手順が得られるものであれば、例えばコスト評価のみ、規則利用のみ、コスト評価と規則利用の併用等の最適化処理を行うデータベース管理システムにも適用できる。
本発明は、密結合／疎結合マルチプロセッサシステム大型計算機のソフトウェアシステムを介して実現することも、また各処理部のために専用プロセッサが用意された密結合／疎結合複合プロセッサシステムを介して実現することも可能である。また、単一プロセッサシステムでも、各処理手順のために並列なプロセスを割当てていれば、適用可能である。
また、複数プロセッサが各々複数のディスクを互いに共用する構成にも適用可能である。
【００７２】
【発明の効果】
本発明のデータベース分割管理方法によれば、システム構成が負荷に適合したものとなり、期待する並列度が得られると共に、高速な問い合せを実現できるようになる。
本発明の並列データベースシステムによれば、負荷変動があってもシステム構成を常に負荷に適合したものに変更するスケーラブルな並列データベースシステムが得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態の並列データベースシステムを示す構成図である。
【図２】本発明のデータベース分割管理方法を示す概念図である。
【図３】本発明のデータベース分割管理方法による最適ノード配分（ＩＯＳがある場合）の概念図である。
【図４】本発明のデータベース分割管理方法による最適ノード配分（ＩＯＳがない場合）の概念図である。
【図５】ＦＥＳの構成図である。
【図６】ＢＥＳの構成図である。
【図７】ＩＯＳの構成図である。
【図８】ＤＳの構成図である。
【図９】ＪＳの構成図である。
【図１０】システム制御部の処理のフローチャートである。
【図１１】問合せ分析処理のフローチャートである。
【図１２】問合せ解析の処理のフローチャートである。
【図１３】静的最適化処理のフローチャートである。
【図１４】述語選択率推定の処理のフローチャートである。
【図１５】アクセスパス剪定の処理のフローチャートである。
【図１６】処理手順候補生成の処理のフローチャートである。
【図１７】コード生成の処理のフローチャートである。
【図１８】問合せ実行処理のフローチャートである。
【図１９】動的最適化の処理のフローチャートである。
【図２０】コード解釈実行の処理のフローチャートである。
【図２１】データロード処理のフローチャートである。
【図２２】動的負荷制御処理のフローチャートである。
【図２３】動的負荷制御の概念図である。
【符号の説明】
１...並列データベースシステム
１０、１１...アプリケーションプログラム、
２０...データベース管理システム
２１...システム制御部、
２１０...データロード処理、 ２１０...動的負荷制御処理
２２...論理処理部、
２２０...問合せ解析、２２１...静的最適化処理、２２２...コード生成、
２２３...動的最適化処理、２２４...コード解釈実行
３０...オペレーティングシステム、 ４０...データベース
７０...ＩＯＳ、 ７１...ＪＳ
７２...ＤＳ ７３...ＢＥＳ
７５...ＦＥＳ、 ８０、８１、８２...ディスク
９０...相互結合ネットワーク[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a database partition management method and a parallel database system, and more particularly to a database partition management method and a parallel database system that optimize the number of processors or disks that perform database processing in accordance with the load.
[0002]
[Prior art]
For example, a parallel database system has been proposed in “Devid DeWitt and Jim Gray: Parallel Database Systems: The Future of High Performance Database Systems, CACM, Vol. 35, No. 6, 1992”.
In this parallel database system, a plurality of processors are connected in tight coupling or loose coupling, and database processing is distributed to the plurality of processors.
[0003]
[Problems to be solved by the invention]
The system configuration of the conventional parallel database system is left to the user and is fixed.
For this reason, the system configuration may be incompatible with the load from the beginning or may become incompatible in the middle, and the expected parallelism cannot be obtained, or high-speed queries cannot be realized.
SUMMARY OF THE INVENTION An object of the present invention is to provide a database partition management method and a parallel database system that can obtain the expected degree of parallelism and realize high-speed queries.
[0004]
[Means for Solving the Problems]
In a first aspect, the present invention accesses a database on the basis of an FES node having a function of executing analysis, optimization, and processing procedure creation of a query from a user, and the processing procedure created by the FES node. In a parallel database system in which a BES node having a function and an IOS node having a disk and a function for storing and managing a database on the disk are connected via a network, the FES node is connected to the FES node according to the load pattern of database processing. Provided is a database partition management method characterized by determining the number of processors to be allocated, the number of processors to be allocated to a BES node, the number of processors to be allocated to an IOS node, the number of disks in an IOS node, and the number of disk partitions.
[0005]
Also provided is an FES node having a function of executing analysis, optimization and processing procedure creation of a query from a user, and a function and a disk for accessing a database based on the processing procedure created by the FES node. In a parallel database system in which a BES node having a function of storing and managing a database is connected via a network, the number of processors assigned to the FES node and the number of processors assigned to the BES node according to the load pattern of database processing, Provided is a database partition management method characterized by determining the number of disks of a BES node and the number of disk partitions.
[0006]
In the database partition management method according to the first aspect described above, the number of processors, the number of disks, and the number of disks allocated to each node according to the database processing load pattern (one record search process, one record update process, data fetch process, etc.) Determine the number. Therefore, the system configuration is adapted to the load, the expected parallelism can be obtained, and high-speed queries can be realized.
[0007]
In a second aspect, the present invention accesses a database on the basis of an FES node having a function of executing analysis, optimization, and processing procedure creation of a query from a user, and a processing procedure created by the FES node. In a parallel database system in which a BES node having a function and an IOS node having a disk and a function of storing and managing a database on the disk are connected by a network, the parallel time for which the time required for the database scan is constant Determine the upper limit of the number of accessible pages, and according to the upper limit of the number of pages, the number of processors assigned to the FES node, the number of processors assigned to the BES node, the number of processors assigned to the IOS node, the number of disks of the IOS node, A database characterized by determining the number of disk divisions To provide the split management method.
[0008]
Also provided is an FES node having a function of executing analysis, optimization and processing procedure creation of a query from a user, and a function and a disk for accessing a database based on the processing procedure created by the FES node. In a parallel database system in which a database is connected to a BES node having a function for storing and managing a database, an upper limit on the number of pages that can be accessed in parallel with a fixed time required for database scanning is determined. The database partition management method is characterized in that the number of processors to be allocated to the FES node, the number of processors to be allocated to the BES node, the number of disks in the BES node, and the number of disk partitions is determined according to the upper limit of the number of disks.
[0009]
In the database partition management method according to the second aspect, the number of processors, the number of disks, and the number of disk partitions allocated to each node are determined according to the upper limit of the number of pages that can be accessed in parallel with a constant time required for database scanning. To decide. Therefore, high-speed inquiries can be realized.
[0010]
In a third aspect, the present invention accesses a database on the basis of an FES node having a function of executing analysis, optimization and processing procedure creation of a query from a user, and the processing procedure created by the FES node. In a parallel database system in which a BES node having a function and an IOS node having a disk and a function of storing and managing a database on the disk are connected by a network, an expected parallelism p is calculated from a load pattern, and The number of processors assigned to the FES node, the number of processors assigned to the BES node, the number of processors assigned to the IOS node, the number of disks in the IOS node, and the number of disk divisions are determined according to the expected parallelism p. A database partition management method is provided.
[0011]
Also provided is an FES node having a function of executing analysis, optimization and processing procedure creation of a query from a user, and a function and a disk for accessing a database based on the processing procedure created by the FES node. In a parallel database system in which a BES node having a function of storing and managing a database is connected via a network, an expected parallelism p is calculated based on the load pattern, and the processor is assigned to the FES node according to the expected parallelism p The database partition management method is characterized in that the number, the number of processors assigned to the BES node, the number of disks in the BES node, and the number of disk partitions are determined.
[0012]
In the database partition management method according to the third aspect, the number of processors, the number of disks, and the number of disk partitions allocated to each node are determined according to the expected parallelism p calculated from the load pattern. Therefore, the expected degree of parallelism can be obtained.
[0013]
In a fourth aspect, the present invention calculates the optimum page access count m in the database partition management method with the above configuration, and if there is a key range partition, the stored page count s (= m / p) in subkey range units. ) Is calculated, subkey range is divided into s pages, and data is inserted into the disk.
In the database partition management method according to the fourth aspect, the subkey range is divided by the number of stored pages s (= m / p) in subkey range units calculated from the expected parallelism p and the optimum page access number m, and the data is transferred to the disk. Insert. Therefore, the data can be divided and managed substantially equally.
[0014]
In a fifth aspect, the present invention accesses a database on the basis of an FES node having a function of executing analysis, optimization, and processing procedure creation of a query from a user, and a processing procedure created by the FES node. In a parallel database system in which a BES node having a function and an IOS node having a disk and storing and managing a database on the disk are connected via a network, the number of access pages acquired during query execution processing, hit row The number of processors allocated to the FES node, the number of processors allocated to the BES node, and the number of processors allocated to the IOS node in the direction of detecting the load imbalance based on the load information such as the number and the number of communications. And changing the number of disks of the IOS node Providing a database division management how.
[0015]
Also provided is an FES node having a function of executing analysis, optimization and processing procedure creation of a query from a user, and a function and a disk for accessing a database based on the processing procedure created by the FES node. Load on the basis of load information such as the number of access pages, the number of hit rows, the number of communications, etc. acquired during query execution processing in a parallel database system in which BES nodes that store and manage databases are connected via a network A database partition management method characterized by detecting the unbalance and changing the number of processors assigned to the FES node, the number of processors assigned to the BES node, and the number of disks of the BES node in a direction to eliminate the load unbalance. provide.
[0016]
In the database partition management method according to the fifth aspect, the load imbalance is detected during the query execution process, and the number of processors or the number of disks in each node is changed so as to eliminate the load imbalance. Therefore, even if there is a load change, the system configuration is always adapted to the load, the expected parallelism can be obtained, and high-speed queries can be realized.
[0017]
In a sixth aspect, the present invention is an addition target if the number of processors allocated to a BES node, the number of processors allocated to an IOS node, or the number of disks is added in the database partition management method configured as described above if online. Block the key range of the database table managed by the processor or disk, allocate a new processor or disk, take over lock information and directory information, rewrite the dictionary information necessary for node allocation control, and then The database partition management method is characterized by releasing the blockage when online.
In addition, when adding the number of processors or disks allocated to the BES node in the database partition management method configured as described above, if online, the key range range of the database table managed by the processor or disk to be added is set. Shut down, assign a new processor or disk, take over lock information and directory information, rewrite the dictionary information necessary for node allocation control, and move data from the disk group to be added to the new disk group Then, the database partition management method is provided, wherein the blockage is released if online.
[0018]
In the database partition management method according to the sixth aspect, when adding or deleting the number of processors or the number of disks, if it is online, the key range range of the table is blocked, the takeover process is performed, and then the blocking is performed. To release. Thus, overhead can be minimized. In a system configuration with an IOS node, data can be transferred without moving.
[0019]
In a seventh aspect, the present invention is a deletion target if the number of processors allocated to a BES node, the number of processors allocated to an IOS node, or the number of disks is deleted in the database partition management method configured as described above, if it is online. Block the key range of the database table managed by the processor or disk, determine the processor or disk to be deleted, take over the lock information and directory information, rewrite the dictionary information required for node allocation control, Thereafter, the database partition management method is provided, wherein the blockage is released if online.
[0020]
In the database partition management method configured as described above, when deleting the number of processors or disks allocated to a BES node, if online, the key range range of the database table managed by the processor or disk to be deleted is set. Shut down, determine the processor or disk to be deleted, transfer lock information and directory information, rewrite the dictionary information necessary for node allocation control, and move data from the disk group to be deleted to the succeeding disk group Then, the database partition management method is provided, wherein the blockage is released if online.
[0021]
In the database partition management method according to the seventh aspect, when adding or deleting the number of processors or the number of disks, if online, the key range range of the table is blocked, the takeover process is performed, and then the blocking is performed. To release. Thus, overhead can be minimized. In a system configuration with an IOS node, data can be transferred without moving.
[0022]
In an eighth aspect, the present invention provides a parallel database system characterized by dynamically changing the number of processors or the number of disks that perform database processing by the database partition management method configured as described above.
The parallel database system according to the eighth aspect is a scalable parallel database system due to the actions of the fifth to seventh aspects.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited thereby.
FIG. 1 is a configuration diagram showing a parallel database system 1 according to an embodiment of the present invention.
In this parallel database system 1, an FES (front end server) node, a BES (back end server) node, an IOS (input output server) node, a DS (dictionary server) node, and a JS (journal server) node are connected by a network 90. This is the configuration. Each node is also connected to other systems.
The FES node is a node composed of an FES 75 composed of at least one processor not having a disk, and has a function of a front-end server that executes analysis, optimization, and processing procedure creation of a query from a user.
The BES node is a node composed of a BES 73 composed of at least one processor having no disk, and has a function of accessing a database based on the processing procedure created by the FES 75.
The IOS node is a node composed of an IOS 70 composed of at least one processor and at least one disk 80, and has a function of storing and managing a database on the disk 80. If the BES node has the function of the IOS node, the IOS node can be omitted. In this case, a disk is connected to the BES 73 and the BES 73 has a function of storing and managing a database on the disk 80.
[0024]
The database consists of a plurality of tables. The table is a two-dimensional table format and includes a plurality of rows. One row consists of one or more columns (attributes). This table is physically divided into fixed-length page units made up of a predetermined number of rows and stored on the disk 80. The storage position of each page on the disk 80 can be known using directory information.
The DS node is a node composed of a DS 71 composed of at least one processor and at least one disk 81, and has a function of collectively managing database definition information.
The JS node is a node including a JS 72 composed of at least one processor and at least one disk 82, and has a function of storing and managing database update history information executed in each node.
[0025]
FIG. 2 is a conceptual diagram of the database partition management method of the present invention that determines the number of processors, the number of disks, and the number of disk partitions of the FES 75, BES 73, and IOS 70 in the parallel database system 1 described above.
First, the database processing load pattern is determined by the workload specified by the user. The load pattern includes a single search process, a single update process, and a data fetch process. In accordance with the load pattern, the number of disks 80 to be managed by the IOS 70 is determined (if the BES has the function of an IOS node, the number of disks to be managed by the BES 73 is determined).
[0026]
That is, when the schema is defined, if the number of disks required for storage is determined from the table partitioning method (key value range, number of rows per range (converted page number), etc.) and the unit of blockage and reorganization is determined, BES73 And the combination of IOS 70 (the unit of blockage or reorganization depends on the disk, IOS, and BES) is determined.
Thereby, the number of constituents of the BES 73, the IOS 70, and the disk 80 is determined. That is, it is as follows.
Number of existing partitions ... Parallel accessible database partition unit managed by all BESs (dynamic BES addition / deletion is performed in this partition unit)
Number of disks for each division ... Number of disks allocated in each division FIG. 2 shows the case where the number of disks is "8", the number of already divided disks is "4", and the number of disks for each partition is "2".
If the processor performance is n times, the number of volumes used in each division is increased n times without changing the number of divisions (however, there is a limit on the total data transfer rate between the IOS 70 and the disk 80, There is also a limit on the number of disks).
Here, the disk corresponds to one disk device. In the present invention, the “disk” does not necessarily correspond to one disk device on a one-to-one basis. For example, when a single disk device includes a plurality of disk devices (disk array device), the number of input / output units that can be accessed in parallel may be applied as a “disk device”.
[0027]
As shown in FIG. 2, FES: BES: IOS: disk = 1: 4: 1: 8, but at the time of initial data loading, only one FES and BES is required, and FES: BES: IOS: disk = 1: 1. 1: 8. Therefore, the BES 731 has directory information of a database stored in the already-divided # 1 to # 4 disks 811 to 842.
When the load on the BES 73 is light and the IOS 70 and the eight disks 811 to 842 can be processed by only one BES 731, the database stored in the eight disks 811 to 842 is accessed by only one BES 731. Therefore, FES: BES: IOS: disk = 1: 1: 1: 8 remains unchanged.
When the load of the BES 731 increases and the state of 100% utilization continues and a load imbalance is detected, the BES 732 is added. Since the number of divisions is “4”, two divisions are associated with the two BESs 731 and 732, respectively. Therefore, the BES 731 has directory information of a database stored in the already-divided # 1 to # 2 disks 811 to 822. Further, the BES 732 has database directory information stored in the previously divided # 3 to # 4 disks 831 to 842. FES: BES: IOS: disk = 1: 2: 1: 8.
[0028]
Further, when the load of BES 731 and 732 increases and the state of 100% utilization continues and load imbalance is detected, BES 733 and 734 are added to BES 731 and 732, respectively. Since the number of divisions is “4”, one division is associated with each of the four BESs 731, 732, 733, and 734. Therefore, the BES 731 has directory information of a database stored in the already-divided # 1 disks 811 to 812. Further, the BES 732 has database directory information stored in the already divided # 2 disks 821 to 822. The BES 733 has database directory information stored in the already divided # 3 disks 831 to 832. Further, the BES 734 has database directory information stored in the already divided # 4 disks 841 to 842. FES: BES: IOS: disk = 1: 4: 1: 8.
[0029]
If the load becomes light and the utilization rate of the BES 733 and 734 continues to be less than 50%, for example, it is more effective to use the node assigned to the BES 733 and 734 for other processing. Therefore, BES733 and 734 having a utilization rate of less than 50% are combined. Then, it is degenerated to FES: BES: IOS: disk = 1: 2: 1: 8.
[0030]
As described above, if the BES is increased or decreased according to the load, a scalable system can be realized between FES: BES: IOS: disk = 1: 1: 1: 8 to 1: 4: 1: 8.
The IOS 70 may have as many parallel tasks as the number of disks that can be accessed in parallel, regardless of the correspondence between the BES 73 and the disks 80. Therefore, by moving the directory information between the BESs without moving the data, the correspondence between the BES 73 and the disk 80 can be changed, and access separation and integration can be easily performed.
Next, the number of processors, the number of disks, and the number of disk divisions will be described with numerical examples in the case where the load pattern is a one-case update process and the data extraction process.
The preconditions are assumed as follows.
Figure 0003806609
A. In case of single update process (1 page access)
(1) In the case of a system configuration with an IOS node When the processor performance of 10 [M steps / second] is divided by 30 [K steps] of FES processing, reception processing can be performed up to 333 times / second.
[0031]
Also, the execution request reception process 6 [K steps] from the FES + the data extraction request transmission process 6 [K steps] from the BES + the data extraction result reception process 10 [K steps] from the IOS + one item update process 60 [ K step] + FES execution request result transmission process 6 [K step] = 88 [K step] is necessary for one update process in BES, so this divides the processor performance 10 [M step / second]. One update process is possible up to 114 times / second.
Further, input / output request reception processing 6 [K steps] from BES + input / output issuance processing 8 [K steps] + input / output request result transmission processing 6 [K steps] = 20 [K steps] to BES Since it is necessary for accessing the disk, when the processor performance of 10 [M steps / second] is divided by this, the disk can be accessed up to 500 times / second.
[0032]
Further, since 20 [msec] is required for random input / output of one page, one disk can be accessed up to 50 times / second. If the number of times the IOS can access the disk is divided by 500 times / second, it is possible to mount up to 10 disks in the IOS.
Moreover, if the number of times the disk can be accessed by the IOS is divided by 500 times / second by the number of times that the BES can be updated by 114 times / second, then 4.3 BESs can be handled by one IOS. is there.
[0033]
Furthermore, if the BES can be received and processed 333 times / second by the BES one-time update processing possible number of 114 times / second, one FES can support three BESs.
From the above, FES: BES = 1: 3, BES: IOS = 4.3: 1, and IOS: disk = 1: 10. Therefore, generally, as shown in FIG. 3, when FES: BES: IOS: disk = 1: 4: 1: 8, the mounting is almost balanced (the FES and the disk have some unbalance). Occur).
[0034]
(2) In the case of a system configuration in which a BES node has the function of an IOS node: When the processor performance of 10 [M steps / second] is divided by 30 [K steps] of FES processing, reception processing can be performed up to 333 times / second. is there.
Also, the execution request reception process 6 [K steps] + input / output issue process 8 [K steps] + one update process 60 [K steps] + execution request result transmission process 6 [K steps] to FES = Since 80 [K steps] is necessary for one update process in BES, if the processor performance is 10 [M steps / second], the one update process can be performed up to 125 times / second.
Further, since 20 [msec] is required for random input / output of one page, one disk can be accessed up to 50 times / second. Thus, if the number of times of the one-time update process in the BES is divided by 125 times / second, up to 2.5 disks can be mounted on the BES.
Further, by dividing 333 times / second, which can be processed by the FES, by 125 times / second, the number of times that the one-time update process can be performed by the BES, 2.6 BESs can be handled by one FES.
[0035]
From the above, FES: BES = 1: 2.6 and BES: disk = 1: 2.5. Therefore, generally, as shown in FIG. 4, when FES: BES: disk = 1: 4: 8, the mounting is almost balanced (some unbalance is generated in FES).
B. For data retrieval (page 10 access)
(1) In the case of a system configuration with an IOS node When the processor performance of 10 [M steps / second] is divided by 30 [K steps] of FES processing, reception processing can be performed up to 333 times / second.
Also, reception processing 6 [K steps] of execution requests from FES + transmission processing 6 [K steps] of data retrieval requests from BES + reception processing 46 [K steps] + data retrieval processing 220 [K of data retrieval results from IOS Step] + FES execution request result transmission process 6 [K step] = 284 [K step] is necessary for the data extraction process in the BES. Therefore, when the processor performance 10 [M steps / second] is divided by this, Data extraction processing is possible up to 35 times / second.
Further, input / output request reception processing 6 [K steps] from BES + input / output issuance processing 44 [K steps] + input / output request result transmission processing 6 [K steps] = 56 [K steps] to BES Since it is necessary for accessing the disk, when the processor performance of 10 [M steps / second] is divided by this, the disk can be accessed up to 179 times / second.
[0036]
In addition, since 10 [10] batch input / output requires 30 [msec], one disk can be accessed up to 33 times / second. By dividing the disk access count of 179 times / second by the IOS, up to 5.4 disks can be mounted.
Further, if the number of times the data can be fetched by the BES is 35 times / second and the number of times the disk can be accessed by the IOS is 179 times / second, a single IOS can deal with 5.1 BESs. .
Further, when the BES data reception processing possible number of times 35 times / second is divided by the FES reception processing possible time 333 times / second, one FES can cope with 9.5 BESs.
From the above, FES: BES = 1: 9.5, BES: IOS = 5.1: 1, IOS: disk = 1: 5.4. Therefore, in general, when FES: BES: IOS: disk = 1: 10: 2: 10, the mounting is almost balanced (a little unbalance occurs in the disk).
[0037]
(2) In the case of a system configuration in which a BES node has the function of an IOS node: When the processor performance of 10 [M steps / second] is divided by 30 [K steps] of FES processing, reception processing can be performed up to 333 times / second. is there.
Also, the execution request reception processing 6 [K steps] + input / output issue processing 44 [K steps] + data extraction processing 220 [K steps] + FES execution request result transmission processing 6 [K steps] = 276. Since [K step] is necessary for the data extraction process at the BES, the data extraction process can be performed up to 36 times / second by dividing the processor performance of 10 [M steps / second].
In addition, since 10 [10] batch input / output requires 30 [msec], one disk can be accessed up to 33 times / second. Thus, when the BES data fetch processing possible count of 36 times / second is divided, only one disk can be mounted.
[0038]
Further, when the BES data receiving process possible number of times 36 times / second is divided by the FES receiving processable number 333 times / second, one FES can cope with 9.2 BESs.
From the above, FES: BES = 1: 9.2 and BES: disk = 1: 1. Therefore, in general, when FES: BES: disk = 1: 10: 10, the mounting is almost balanced.
[0039]
FIG. 5 is a configuration diagram of the FES 75.
The FES 75 includes application programs 10 to 11 created by a user, a parallel database management system 20 that manages the entire database system such as query processing and resource management, and an operating system 30 that manages the entire computer system such as data reading and writing. It is equipped with.
[0040]
The parallel database management system 20 includes a system control unit 21, a logical processing unit 22, a physical processing unit 23, and a database / dictionary 24 that temporarily stores data to be processed. The parallel database management system 20 is connected to the network 90 and other systems.
[0041]
The system control unit 21 performs input / output management and the like. In addition, a data load process 210 and a dynamic load control process 211 are provided.
The logic processing unit 22 includes a query analysis 220 that performs query syntax analysis and semantic analysis, a static optimization process 221 that generates an appropriate processing procedure candidate, and a code generation that generates code corresponding to the processing procedure candidate. 222. Further, a dynamic optimization process 223 for selecting an optimum process procedure candidate and a code interpretation execution 224 for interpreting and executing the code of the selected process procedure candidate are provided.
[0042]
The physical processing unit 23 includes a data access process 230 that realizes condition determination, editing, and record addition of accessed data, a database / dictionary buffer control 231 that controls reading / writing of database records, etc., and a resource shared by the system And exclusive control 233 for realizing exclusive control.
[0043]
FIG. 6 is a configuration diagram of the BES 73.
The BES 73 includes a parallel database management system 20 that manages the entire database system, and an operating system 30 that manages the entire computer system. When having the function of an IOS node, it has a disk, and the database 40 is stored and managed on the disk.
[0044]
The parallel database management system 20 includes a system control unit 21, a logical processing unit 22, a physical processing unit 23, and a database buffer 24 that temporarily stores data to be processed. The parallel database management system 20 is connected to the network 90 and other systems.
[0045]
The system control unit 21 performs input / output management and the like. In addition, a data load process 210 for performing data load in consideration of load distribution is provided.
The logic processing unit 22 includes a code interpretation execution 224 that performs code interpretation.
The physical processing unit 23 includes a data access process 230 that realizes condition determination, editing, and record addition of accessed data, a database buffer control 231 that controls reading and writing of database records, and storage of data to be input / output A mapping process 232 for managing the position and an exclusive control 233 for realizing exclusive control of resources shared by the system are provided.
[0046]
FIG. 7 is a configuration diagram of the IOS 70 and the disk 80.
The IOS 70 includes a parallel database management system 20 that manages the entire database system, and an operating system 30 that manages the entire computer system.
The disk 80 stores a database 40.
The parallel database management system 20 includes a system control unit 21, a physical processing unit 23, and an input / output buffer 24 that temporarily stores data to be processed. The parallel database management system 20 is connected to the network 90 and other systems.
[0047]
The system control unit 21 performs input / output management and the like. In addition, a data load process 210 for performing data load in consideration of load distribution is provided.
The physical processing unit 23 includes a data access process 230 that realizes condition determination, editing, and record addition of accessed data, and an input / output buffer control 231 that controls reading and writing of database records.
[0048]
FIG. 8 is a configuration diagram of the DS 71 and the disk 81.
The DS 71 includes a parallel database management system 20 that manages the entire database system, and an operating system 30 that manages the entire computer system.
The disk 81 stores a dictionary 50.
The parallel database management system 20 includes a system control unit 21, a logical processing unit 22, a physical processing unit 23, and a dictionary buffer 24. The parallel database management system 20 is connected to the network 90 and other systems.
The logic processing unit 22 includes a code interpretation execution 224 that performs code interpretation.
The physical processing unit 23 includes a data access process 230 that realizes condition determination, editing, and record addition of accessed data, a dictionary buffer control 231 that controls reading and writing of dictionary records, and an exclusive control of resources shared by the system. And exclusive control 233 for realizing the above.
[0049]
FIG. 9 is a configuration diagram of the JS 72 and the disk 82.
The JS 72 includes a parallel database management system 20 that manages the entire database system, and an operating system 30 that manages the entire computer system.
A journal 60 is stored in the disk 82.
The parallel database management system 20 includes a system control unit 21, a physical processing unit 23, and a journal buffer 24. The parallel database management system 20 is connected to the network 90 and other systems.
The physical processing unit 23 includes a data access process 230 that realizes condition determination, editing, and record addition of accessed data, and a journal buffer control 231 that controls reading and writing of journal records.
[0050]
FIG. 10 is a flowchart showing processing of the database management system 20 in the FES 75. The system control unit 21 checks whether it is a query analysis process (212). If it is a query analysis process, the query analysis process 400 is called, executed, and terminated. If it is not a query analysis process, it is checked whether it is a query execution process (213). If it is a query execution process, the query execution process 410 is called, executed, and then terminated. If it is not a query execution process, it is checked whether it is a data load process (214). If it is a data load process, the data load process 210 is called, executed, and terminated. If it is not a data load process, it is checked whether it is a dynamic load control process (214). If dynamic load control process calls the dynamic load control process 21 1, after running it ends. If it is not a dynamic load control process, the process ends.
[0051]
Note that the flowchart of the process of the database management system 20 in the BES 73 is obtained by omitting steps 212, 215, 400, and 211 from FIG. Further, the flowchart of the processing of the database management system 20 in the IOS 70 is obtained by omitting steps 212, 213, 215, 400, 410, 211 from FIG.
[0052]
FIG. 11 is a flowchart of the query analysis process 400.
First, the query analysis 220 executes syntax analysis and semantic analysis of the input query sentence.
Next, the static optimization process 221 estimates the ratio of data that satisfies the condition from the conditional expression that appears in the query, and selects an effective access path candidate (especially an index) based on a preset rule. ) To create processing procedure candidates.
Next, the code generation 222 expands processing procedure candidates into executable code. Then, the process ends.
[0053]
FIG. 12 is a flowchart of the query analysis 220.
In step 2200, syntax analysis and semantic analysis of the input query statement are executed. Then, the process ends.
[0054]
FIG. 13 is a flowchart of the static optimization process 221.
First, the predicate selection rate estimation 2210 estimates the selection rate of the predicate of the conditional expression that appears in the query.
Next, the access path consisting of an index or the like is pruned by the access path pruning 2212.
Next, a processing procedure candidate combining access paths is generated by processing procedure candidate generation 2213.
Then, the process ends.
[0055]
FIG. 14 is a flowchart of predicate selection rate estimation 2210.
In step 22101, it is checked whether or not a variable appears in the query conditional expression (22101). If no variable appears, the process proceeds to step 22102, and if a variable appears, the process proceeds to step 22104.
In step 22102, it is checked whether the conditional expression includes column value distribution information. If there is column value distribution information, the process proceeds to step 22103, and if there is no column value distribution information, the process proceeds to step 22105.
In step 22103, the selectivity is calculated using the column value distribution information, and the process ends.
In step 22104, it is checked whether the conditional expression includes column value distribution information. If there is column value distribution information, the process ends. If there is no column value distribution information, the process proceeds to step 22105.
In step 22105, a default value is set according to the type of conditional expression (22105), and the process ends.
[0056]
FIG. 15 is a flowchart of access path pruning 2212.
In step 22120, the index of the column that appears in the query conditional expression is registered as an access path candidate.
In step 22121, it is checked whether the table to be accessed by the query is divided and stored in a plurality of nodes. If it is not stored separately, the process proceeds to step 22122. If it is stored separately, the process proceeds to step 22123.
In step 22122, the sequential scan is registered as an access path candidate.
In step 22123, parallel scan is registered as an access path candidate.
In step 22124, it is checked whether the selection rate of each conditional expression has already been set. If it has been set, the process proceeds to step 22125. If it has not been set, the process proceeds to step 22126.
In step 22125, the index of the conditional expression that minimizes the selection rate for each table is set as the highest priority of the access path.
In step 22126, the maximum value and the minimum value of the selection rate of each conditional expression are acquired.
In step 22127, a selection criterion for each access path is calculated from system characteristics such as processor performance and IO performance.
In step 22128, only those having a selection rate in an access path combining a single index or a plurality of indexes below the selection criterion are registered as access path candidates.
[0057]
FIG. 16 is a flowchart of processing procedure candidate generation 2213.
In step 22130, it is checked whether the table to be accessed by the query is divided and stored in a plurality of nodes. If it is not stored separately, the process proceeds to step 22131. If it is stored separately, the process proceeds to step 22135.
In step 22131, it is checked whether or not the sorting procedure is included in the processing procedure candidate. If it is not included, the process proceeds to step 22132. If it is included, the process proceeds to step 22135.
In step 22132, it is checked whether the access path of the table to be accessed by the query is unique. If it is unique, the process proceeds to step 22133. If it is not unique, the process proceeds to step 22134.
In step 22133, a single processing procedure is created and the process ends.
In step 22134, a plurality of processing procedures are created and the process ends.
In step 22135, the query is broken down into two-way joins that can be joined.
In step 22136, the data reading / data distribution processing procedure and the slot sorting processing procedure are registered as candidates corresponding to the storage node group of the table to be divided and stored.
In step 22137, the slot sort process procedure, the N-way merge process procedure, and the matching process procedure are registered as candidates corresponding to the combination process node group. The slot sort process refers to a sort process in a page that is managed by a slot in which each row in the page is positioned at an offset from the top of the page and stores data, and can be read in the order of the slot. Rows can be accessed in ascending order. The N-way merge process is a process that uses an N-way buffer to input N sort sequences at each merge stage and finally create one sort sequence by the tournament method.
In step 22138, the request data output processing procedure is registered in the request data output node.
In step 22139, it is checked whether all evaluations have been completed for the decomposition result. If all the evaluations have not been completed, the process returns to step 22136, and if all the evaluations have been completed, the process ends.
[0058]
FIG. 17 is a flowchart of the code generation 222.
In step 2220, it is checked whether the processing procedure candidate is unique. If not unique, the process proceeds to step 2221; if unique, the process proceeds to step 2223.
In step 2221, optimization information including column value distribution information and the like is embedded in the processing procedure.
In step 2222, a data structure for selecting a processing procedure is created based on the constant assigned at the time of executing the query.
In step 2223, the processing procedure is expanded into an execution format. Then, the process ends.
[0059]
FIG. 18 is a flowchart of the query execution process 410.
First, the dynamic execution time optimization 223 determines a processing procedure to be executed in each node group based on the assigned constant.
Next, the code interpretation execution 224 interprets and executes the processing procedure. Then, the process ends.
[0060]
FIG. 19 is a flowchart of the dynamic optimization process 223.
In step 22300, a dynamic load control process is executed (22300).
In step 22301, it is checked whether the created processing procedure is single. If it is single, the process is terminated. If not, go to step 22302.
In step 22302, the selectivity is calculated based on the assigned constant.
In step 22303, it is checked whether or not parallel processing procedures are included in the processing procedure candidates. If it is included, the process proceeds to step 22304. If it is not included, the process proceeds to step 22308.
In step 22304, optimization information (column value distribution information of joined columns, number of rows in the table to be accessed, number of pages, etc.) is input from the dictionary.
In step 22305, the processing time for data retrieval / data distribution is calculated in consideration of each system characteristic.
In step 22306, the number of nodes p to be allocated to the joining process is determined from this processing time.
In step 22307, data distribution information is created based on the optimization information.
In step 22308, a processing procedure is selected according to the access path selection criteria, and the process ends.
[0061]
FIG. 20 is a flowchart of the code interpretation execution 224.
In step 22400, it is checked whether or not data extraction / data distribution processing is being performed. If it is a data retrieval / data distribution process, the process proceeds to step 22401. If it is not a data retrieval / data distribution process, the process proceeds to step 22405.
In step 22401, the database is accessed to evaluate the conditional expression.
In step 22402, data is set in the buffer for each node based on the data distribution information.
In step 22403, it is checked whether or not the buffer of the node is full. If it is full, the process proceeds to step 22404. If it is not full, the process proceeds to step 22420.
In step 22404, the data is transferred to the corresponding node in the page format, and the flow advances to step 22420.
In step 22405, it is checked whether or not slot sorting processing is performed. If it is the slot sort process, the process proceeds to step 22406, and if it is not the slot sort process, the process proceeds to step 22409.
In step 22406, page format data is received from another node.
In step 22407, slot sort processing is executed.
In step 22408, the slot sort processing result is temporarily saved, and the flow advances to step 22420.
In step 22409, it is checked whether or not an N-way merge process is performed. If it is an N-way merge process, the process proceeds to step 22410, and if it is not an N-way merge process, the process proceeds to step 22412.
[0062]
In step 22410, an N-way merge process is executed.
In step 22241, the N-way merge process result is temporarily saved, and the flow advances to step 22420.
In step 22412, it is checked whether or not the matching process is performed. If it is a matching process, it will progress to step 22413, and if it is not a matching process, it will progress to step 22416.
In step 22413, both sort lists are matched, and data is set in the output buffer.
In step 22414, it is checked whether the output buffer is full. If it is full, go to step 22415. If not full, step 22420 follows.
In step 22415, the data is transferred to the request data output node in the page format, and the process proceeds to step 22420.
In step 22416, it is checked whether or not the request data output process is being performed. If it is a request data output process, the process proceeds to step 22417, and if it is not a request data output process, the process proceeds to step 22420.
In step 22417, it is checked whether there is transfer of page format data from another node. If there is a transfer, the process proceeds to step 22418, and if there is no transfer, the process proceeds to step 22419.
In step 22418, page format data is received from another node.
In step 22419, the query processing result is output to the application program.
In Step 22420, it is checked whether or not the BES is being executed. If it is being executed by BES, the process proceeds to step 22421, and if it is not being executed by BES, the process is ended.
In step 22421, information for estimating the processing load such as the number of access pages, the number of hit rows, the number of communications, etc. is notified to the FES, and the process ends.
[0063]
FIG. 21 is a flowchart of the data load process 210.
Before explaining each step, the concept will be explained.
Data loading methods include target response time-oriented data placement that reduces the time required to scan the entire table within a fixed time, expected parallelism-oriented data placement optimized for m-page access, and volume partitioning completely by the user. There is user-specified data arrangement by specified user control.
In the target response time emphasis data arrangement, first, the number of pages necessary for storing the rows of the entire table is obtained. Next, the upper limit of the number of pages stored in each of the divided disks that can be accessed in parallel is determined. Access is premised on batch input (for example, 10 pages) if necessary. Load distribution is determined according to the combination of the number of disks, the number of IOS, and the number of BES. When there is a key range division, the key range division section is subdivided by the upper limit number of pages, and stored in each divided disk. This key range division will be described in detail later with reference to FIG.
In the data arrangement in which the expected parallelism is emphasized, it is desirable that the data arrangement is considerably large although it depends on the size of m. When there is a key range division, the number of sub key range storage pages s (= m / p) for each key range division unit is determined from the size of m and the expected parallelism p, and each s page is stored in each division disk. .
[0064]
The expected parallelism p is calculated by the square root of the ratio obtained by dividing the response time by the overhead for each node. This ratio is 10 when the expected parallelism is 3, 100 when the expected parallelism is 10, 1000 when the expected parallelism is 32, and 10000 when the expected parallelism is 100. When the calculated expected degree of parallelism p exceeds the number of divisions, the number of divisions is adopted (because the maximum number of disks that can be processed with the number of divisions is determined). In the opposite case, the expected parallelism p is adopted as the number of divisions with the number of already divided numbers as the upper limit.
Specifically, a data arrangement optimized for 100 page access is estimated. As a premise, the batch input is 10 pages. Since one I / O time (10 page access) is 300 msec and one I / O overhead is 5.6 msec (56 ks is required for 10 MIPS performance), the expected parallelism p is about 7 (= √ {300 / 5.6}). Accordingly, the sub key range is divided for every s = 14 (= 100/7) pages.
The user-specified data arrangement is the same data arrangement as the conventional database management system, and is managed according to the setting parameters.
[0065]
In step 21000, it is checked whether or not the target response time emphasis data is arranged. If it is not the target response time emphasis data arrangement, the process proceeds to step 21001, and if it is the target response time emphasis data arrangement, the process proceeds to step 21003.
In step 21001, it is checked whether the expected parallelism-oriented data arrangement is present. If it is not the expected parallelism-oriented data arrangement, the process proceeds to step 21002, and if it is the expected parallelism-oriented data arrangement, the process proceeds to step 21010.
In step 21002, it is checked whether or not there is a user designation. If there is a user designation, the process proceeds to step 21016, and if there is no user designation, the process ends.
In step 21003, the number of pages necessary to store the entire table row is obtained.
In step 21004, an upper limit of the number of pages to be stored in a disk that can be accessed in parallel with a fixed time required for table scanning is determined.
In step 21005, a BES, IOS, and disk group satisfying the above requirements are determined.
In step 21006, it is checked whether there is a key range division. If there is a key range division, the process proceeds to step 21007, and if there is no key range division, the process proceeds to step 21009.
In step 21007, the key range division section is subdivided by a certain upper limit page number.
In step 21008, data insertion is performed corresponding to the key range division section, and the process ends.
In step 21009, data is inserted by dividing by the upper limit number of pages, and the process ends.
In step 21010, the optimum page access number m is calculated based on the estimated workload.
In step 21011, the expected parallelism p is calculated, and the BES, IOS, and disk group are determined according to the expected parallelism p.
In step 21012, it is checked whether there is a key range division. If there is a key range division, the process proceeds to step 21013. If there is no key range division, the process proceeds to step 21015.
In step 21013, the number of stored pages s (= m / p) in subkey range units is calculated.
In step 21014, the sub key range is divided in units of s pages, data is inserted into each disk, and the process ends.
In step 21015, data is inserted by dividing by the number of s pages, and the process ends.
In step 21016, data is inserted into the disk managed by the user-specified IOS, and the process ends.
[0066]
FIG. 22 is a flowchart of the dynamic load control process 211.
In step 21100, the presence / absence of load imbalance (access concentration / discretization) is detected. That is, the DB processing load executed per unit time per node (number of processing steps (DB processing, I / O processing, communication processing), processor performance (converted to processing time), I / O count (input The resource (processor (BES, IOS), disk) that becomes a bottleneck is detected from the distribution of the output time)), the DB process is expanded into an SQL statement, and the access status to each resource is classified in a table unit. If a load imbalance is detected, the process proceeds to step 21101. If a load imbalance is not detected, the process ends.
[0067]
In step 21101, it is determined from the access distribution information whether to add or delete a BES, or to add or delete an IOS / disk pair. If addition or deletion is necessary, the process proceeds to step 21102, and if not necessary, the process ends.
In step 21102, it is checked whether or not it is added. If it is added, the process proceeds to step 21103. If it is not added, the process proceeds to step 2112.
In step 21103, it is checked whether online. If online, go to step 21104. If it is not online, the process proceeds to step 21105.
In step 21104, the key range range of the table managed by the target BES group is blocked.
In step 21105, a new BES is assigned.
In step 21106, lock information and directory information are taken over.
In step 21107, the DS 71 is instructed to rewrite dictionary information necessary for node allocation control.
In step 21108, it is checked whether IOS exists. If it does not exist, the process proceeds to step 21109, and if it exists, the process proceeds to step 21110. This step is inserted in order to cope with both the system configuration in which the IOS exists and the system configuration in which the IOS does not exist with the same software.
In step 21109, data is moved from the target BES group to a new BES group.
In step 21110, it is checked whether online. If online, go to step 21111. If it is not online, the process is terminated.
In step 21111, the block of the key range of the table managed by the target BES group is released, and the process ends.
In step 21112, it is checked whether online. If online, go to step 21113. If it is not online, the process proceeds to step 21114.
In step 21113, the key range range of the table managed by the target BES group is blocked.
In step 21114, the BES to be degenerated is determined.
In step 21115, lock information and directory information are taken over.
In step 21116, the DS 71 is instructed to rewrite dictionary information necessary for node allocation control.
In step 21117, it is checked whether IOS exists. If it does not exist, the process proceeds to step 21118, and if it exists, the process proceeds to step 21119.
In step 21118, data is expelled from the degenerate BES group.
In step 21119, it is checked whether online. If online, go to step 21120. If it is not online, the process is terminated.
In step 21120, the block of the key range of the table managed by the target BES group is released, and the process ends.
[0068]
FIG. 23 is a conceptual diagram of data loading processing using key range division.
The already divided number is “4”. In addition, the column values v1 to v6 in the database are assumed to appear as shown in FIG.
At the time of initial data loading, the required BES may be one of 731 units. When the number of pages to be stored is associated with each partition 810 to 840 disk up to the upper limit of the number of pages, the column values v1 to v2 are stored in the partition 810 disk, and the column values v2 to v3 are stored in the partitions 820 and 830 disks. The column values v3 to v5 are stored in the partition 840 disk, and the column values v5 to v6 are stored in other disk groups. When initial data is loaded, directory information for each disk is created in order to manage pages stored in each disk.
When accessing the database, if the BESs 732 to 734 are used according to the load, the directory information for each disk corresponding to each BES is used to access the database.
When implementing each of the above processes, it may be combined with the following embodiment.
[0069]
In order to facilitate the movement of a row between nodes, position information such as BES is not included in the row identifier. In BES, a physical position of a row is specified by combining directory information for specifying a table division position and a row identifier. Row movement is handled by rewriting directory information. A structure corresponding to reorganization or row movement is provided, and even if a BES is dynamically added, processing can be divided by taking over directory information and lock information.
In addition, in the case of replica management of a database, twice the storage area is required. Regardless of whether or not the primary copy and backup copy are managed by the same IOS and BES, the access load to the disk is almost doubled. Therefore, the number of volumes for each division managed by the existing number of divisions is halved. And it is sufficient.
[0070]
Furthermore, when a failure occurs in a disk, IOS, BES, etc., it is disconnected from the online processing and connected to online after recovery. The blocking management method differs depending on each node. When a disk failure occurs, the key range range stored on this disk is blocked. If a backup copy exists (the same IOS (mirror disk), it is necessary to acquire a backup copy under the management of another IOS (data replica)), the processing is distributed. When an IOS failure occurs, the key range range stored in the IOS is blocked. If a backup copy exists (the backup copy needs to be acquired under the management of another IOS (data replica)), the process is distributed. When a BES failure occurs, the key range managed by this BES is blocked. If IOS exists, BES is newly allocated, lock information is taken over, and the dictionary information necessary for node allocation control is rewritten, and then the process is continued.
[0071]
The present invention is not limited to the combination of the rule using the statistical information and the cost evaluation. For example, the cost evaluation only, the rule use only, the cost evaluation and the like can be used as long as a processing procedure that provides appropriate database reference characteristic information is obtained. It can also be applied to a database management system that performs optimization processing such as combined use of rules.
The present invention can be realized through a tightly coupled / loosely coupled multiprocessor system through a large computer software system, or through a tightly coupled / loosely coupled complex processor system in which a dedicated processor is prepared for each processing unit. It is also possible to do. Further, even a single processor system is applicable if a parallel process is assigned for each processing procedure.
The present invention can also be applied to a configuration in which a plurality of processors share a plurality of disks with each other.
[0072]
【The invention's effect】
According to the database partition management method of the present invention, the system configuration is adapted to the load, the expected parallelism can be obtained, and high-speed queries can be realized.
According to the parallel database system of the present invention, it is possible to obtain a scalable parallel database system in which the system configuration is always changed to one adapted to the load even when there is a load change.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a parallel database system according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating a database partition management method according to the present invention.
FIG. 3 is a conceptual diagram of optimum node allocation (when there is an IOS) by the database partition management method of the present invention.
FIG. 4 is a conceptual diagram of optimal node allocation (when there is no IOS) by the database partition management method of the present invention.
FIG. 5 is a configuration diagram of an FES.
FIG. 6 is a configuration diagram of a BES.
FIG. 7 is a configuration diagram of IOS.
FIG. 8 is a configuration diagram of a DS.
FIG. 9 is a configuration diagram of JS.
FIG. 10 is a flowchart of processing of a system control unit.
FIG. 11 is a flowchart of an inquiry analysis process.
FIG. 12 is a flowchart of query analysis processing;
FIG. 13 is a flowchart of static optimization processing.
FIG. 14 is a flowchart of predicate selection rate estimation processing;
FIG. 15 is a flowchart of access path pruning processing;
FIG. 16 is a flowchart of processing procedure candidate generation processing;
FIG. 17 is a flowchart of code generation processing;
FIG. 18 is a flowchart of query execution processing.
FIG. 19 is a flowchart of dynamic optimization processing.
FIG. 20 is a flowchart of a code interpretation execution process.
FIG. 21 is a flowchart of data loading processing.
FIG. 22 is a flowchart of a dynamic load control process.
FIG. 23 is a conceptual diagram of dynamic load control.
[Explanation of symbols]
1 ... parallel database system 10, 11 ... application program,
20 ... Database management system 21 ... System control unit,
210 ... Data load processing, 210 ... Dynamic load control processing 22 ... Logic processing section,
220 ... query analysis, 221 ... static optimization processing, 222 ... code generation,
223 ... Dynamic optimization processing, 224 ... Code interpretation execution 30 ... Operating system, 40 ... Database 70 ... IOS, 71 ... JS
72 ... DS 73 ... BES
75 ... FES, 80, 81, 82 ... disk 90 ... interconnection network

Claims (4)

データベース管理機能を有する複数のサーバと複数のデータベース格納手段とがネットワークで接続された並列データベースシステムは、
ひとつの前記データベース格納手段とある特定のひとつの前記サーバとを対応付けた対応関係を前記サーバに記憶する手段と、
複数の前記サーバにおけるデータベース処理の負荷変動に基づいて前記データベース格納手段を追加又は削除する場合に、前記データベース処理中であれば、前記追加又は削除するデータベース格納手段で管理されるデータベースのデータの書き込み又は読み出しを制限し、前記サーバと前記サーバからアクセスするデータベース格納手段との前記対応関係を変更し、少なくとも１つの前記データベース格納手段から他の少なくとも１つの前記データベース格納手段へデータを移し、前記制限を解除する手段とを有することを特徴とする並列データベースシステム。A parallel database system in which a plurality of servers having a database management function and a plurality of database storage means are connected via a network,
Means for storing, in the server, a correspondence relationship in which one database storage means is associated with one particular server;
When the database storage means is added or deleted based on the load fluctuation of the database processing in the plurality of servers , if the database processing is in progress, the database data managed by the database storage means to be added or deleted is written Or restricting reading, changing the correspondence between the server and database storage means accessed from the server , moving data from at least one database storage means to at least one other database storage means, and And a parallel database system. データベース管理機能を有する複数の第１のサーバと、複数のデータベース格納手段が接続され、データベース格納機能を有する少なくとも１つの第２のサーバとがネットワークで接続された並列データベースシステムは、
ひとつの前記第１のサーバとある特定のひとつの前記第２のサーバとを対応付けた対応関係を前記第１のサーバに記憶する手段と、
複数の前記第１のサーバにおけるデータベース処理の負荷変動に基づいて前記データベース格納手段を追加又は削除する場合に、前記データベース処理中であれば、前記追加又は削除するデータベース格納手段で管理されるデータベースのデータの書き込み又は読み出しを制限し、前記第１のサーバと前記第２のサーバとの対応関係を変更し、前記制限を解除する手段とを有することを特徴とする並列データベースシステム。A parallel database system in which a plurality of first servers having a database management function and a plurality of database storage means are connected and at least one second server having a database storage function is connected via a network.
Means for storing, in the first server, a correspondence relationship in which one first server is associated with one particular second server;
When the database storage means is added or deleted based on the load fluctuation of the database processing in the plurality of first servers , if the database processing is in progress, the database managed by the database storage means to be added or deleted A parallel database system comprising means for restricting data writing or reading, changing a correspondence relationship between the first server and the second server, and releasing the restriction. 区分けしたデータ管理機能を有する複数のサーバと、複数の区分けしたデータ格納手段とがネットワークで接続された区分けデータ管理システムは、
ひとつの前記区分けしたデータ格納手段とある特定のひとつの前記サーバとを対応付けた対応関係を前記サーバに記憶する手段と、
複数の前記サーバにおける区分けしたデータの処理の負荷変動に基づいて前記区分けしたデータ格納手段を追加又は削除する場合に、前記区分けしたデータの処理中であれば、前記追加又は削除する区分けしたデータ格納手段で管理される区分けしたデータのデータの書き込み又は読み出しを制限し、前記サーバと前記サーバからアクセスする区分けしたデータ格納手段との対応関係を変更し、少なくとも１つの前記区分けしたデータ格納手段から他の少なくとも１つの前記区分けしたデータ格納手段へデータを移し、前記制限を解除する手段とを有することを特徴とする区分けデータ管理システム。A partitioned data management system in which a plurality of servers having partitioned data management functions and a plurality of partitioned data storage means are connected via a network.
Means for storing in the server a correspondence relationship that associates one of the divided data storage means with one particular server;
When the divided data storage means is added or deleted based on the load fluctuation of the divided data processing in the plurality of servers, the divided data storage to be added or deleted if the divided data is being processed. Restricting the writing or reading of the data of the divided data managed by the means, changing the correspondence relationship between the server and the divided data storage means accessed from the server, and changing from at least one of the divided data storage means And a means for transferring the data to at least one of the classified data storage means and releasing the restriction. 区分けしたデータの管理機能を有する複数の第１のサーバと、少なくとも１つの区分けしたデータ格納手段が接続され、区分けしたデータ格納機能を有する少なくとも１つの第２のサーバとがネットワークで接続された区分けデータ管理システムは、
あるひとつの前記第１のサーバとある特定のひとつの前記第２のサーバとを対応付けた対応関係を前記第１のサーバに記憶する手段と、
複数の前記第１のサーバにおける区分けしたデータの処理の負荷変動に基づいて前記区分けしたデータ格納手段を追加又は削除する場合に、前記区分けしたデータの処理中であれば、前記追加又は削除する区分けしたデータ格納手段で管理される区分けしたデータのデータの書き込み又は読み出しを制限し、前記第１のサーバと前記第２のサーバとの対応関係を変更し、前記制限を解除する手段とを有することを特徴とする区分けデータ管理システム。A partition in which a plurality of first servers having a function of managing partitioned data and at least one partitioned data storage means are connected and at least one second server having a partitioned data storage function is connected via a network. Data management system
Means for storing, in the first server, a correspondence relationship in which one certain first server is associated with one certain second server;
When adding or deleting the classified data storage means based on the load fluctuation of the divided data processing in the plurality of first servers, if the classified data is being processed, the classification to be added or deleted Means for restricting the writing or reading of data of the classified data managed by the data storage means, changing the correspondence relationship between the first server and the second server, and releasing the restriction. A segmented data management system characterized by
JP2001130602A 2001-04-27 2001-04-27 Parallel database system and distributed file system Expired - Fee Related JP3806609B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001130602A JP3806609B2 (en) 2001-04-27 2001-04-27 Parallel database system and distributed file system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001130602A JP3806609B2 (en) 2001-04-27 2001-04-27 Parallel database system and distributed file system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000347725A Division JP3236999B2 (en) 2000-11-15 2000-11-15 Database management method and system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003196180A Division JP3599055B2 (en) 2003-07-14 2003-07-14 Storage device management method and system

Publications (2)

Publication Number Publication Date
JP2002007365A JP2002007365A (en) 2002-01-11
JP3806609B2 true JP3806609B2 (en) 2006-08-09

Family

ID=18978943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001130602A Expired - Fee Related JP3806609B2 (en) 2001-04-27 2001-04-27 Parallel database system and distributed file system

Country Status (1)

Country Link
JP (1) JP3806609B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031771A (en) 2003-07-08 2005-02-03 Hitachi Ltd Job scheduling management method, system, and program
JP4572581B2 (en) * 2004-05-28 2010-11-04 株式会社日立製作所 Database processing method and system, and processing program therefor
JP4716259B2 (en) * 2006-03-29 2011-07-06 日本電気株式会社 Sizing support system, method, and program
JP5071518B2 (en) * 2010-04-23 2012-11-14 株式会社日立製作所 Database processing method, database processing system, and database management program
US9875263B2 (en) * 2014-10-21 2018-01-23 Microsoft Technology Licensing, Llc Composite partition functions

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0228877A (en) * 1988-07-19 1990-01-30 Nec Corp Range division changing system
JP3023441B2 (en) * 1993-11-16 2000-03-21 株式会社日立製作所 Database division management method and parallel database system

Also Published As

Publication number Publication date
JP2002007365A (en) 2002-01-11

Similar Documents

Publication Publication Date Title
JP3023441B2 (en) Database division management method and parallel database system
US6101495A (en) Method of executing partition operations in a parallel database system
US6510428B2 (en) Method and system of database divisional management for parallel database system
US9767131B2 (en) Hierarchical tablespace space management
US6374238B1 (en) Routine executing method in database system
US20070100873A1 (en) Information retrieving system
CN117120998A (en) Method and device for reading data stored in tree data structure
KR101806394B1 (en) A data processing method having a structure of the cache index specified to the transaction in a mobile environment dbms
JP3367140B2 (en) Database management method
JP2006302307A (en) Storage device management method
JP3806609B2 (en) Parallel database system and distributed file system
JPH06309284A (en) Inquiry processing load distributing method
JP3838248B2 (en) Data storage method and data management system
JP4349463B2 (en) Storage device management method
CN112000666B (en) Database management system of facing array
JP3599055B2 (en) Storage device management method and system
JP3060225B2 (en) Database management method and system
JP3172793B1 (en) Database management method
JP3236999B2 (en) Database management method and system
JP3156199B2 (en) Database management method and system
JP3060223B2 (en) Database management method and system
JP3060222B2 (en) Database management method and system
JP3060224B2 (en) Database management method and system
JP3367510B2 (en) Database management method and system
JP3438699B2 (en) Database management method and system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060417

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060417

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060515

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees