JPH07334468A - 負荷分散方式 - Google Patents

Abstract

(57)【要約】 【目的】プロセッサ障害等によるプロセッサ間でのプロ
セス再配置が行われた際に、効率的に負荷分散を行うこ
とを可能とする負荷分散方式を提供する。 【構成】クライアント・プロセス５ａ〜５ｄ及びサーバ
・プロセス群１２ａ〜１２ｄがいずれのプロセッサ下に
配置されているのかを監視するプロセス監視部１１と、
上記クライアント・プロセス５ａ〜５ｄから要求された
手続きを所定のサーバ・プロセス群１２ａ〜１２ｄに分
配する手続き分配部６と、他のプロセッサ１ａの障害に
より複数のクライアント・プロセス５ａ〜５ｂ及びサー
バ・プロセス群１２ａ〜１２ｂが配置されているプロセ
ッサ１ｂを検出した場合に、この複数のクライアント・
プロセス５ａ〜５ｂから要求された手続きが一つのサー
バ・プロセス群１２ｂに分配されるように上記手続き分
配部６を制御する制御手段とを具備してなることを特徴
とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、フォールト・トレンラ
ンスを実現するマルチプロセッサ計算機に適用して好適
な負荷分散方式に係り、特にプロセッサ障害等によるプ
ロセッサ間でのプロセス再配置が行われた際に、効率的
な負荷分散を行うことを可能とする負荷分散方式に関す
る。

【０００２】

【従来の技術】従来のフォールト・トレラント計算機の
中には、あるプロセッサが障害を起こした場合に、その
プロセッサ下で実行していたプロセスを他のプロセッサ
下で継続して実行することのできる計算機がある。その
ような特徴を持つフォールト・トレラント計算機とし
て、例えば、文献「P.A.Bernstein,"Sequoia:A Fault-T
olerant Tightly Coupled Multiprocessor for Transac
tion Processing",IEEE COMPUTER,Vol.21,No.2,Feb.198
8" 」で述べられているようなノンライト・スルー・キ
ャッシュを用いたマルチプロセッサ計算機がある。この
ような計算機においてオンライン・トランザクション処
理を行う場合には、データベースにアクセスするサーバ
・プロセスを特定のプロセッサで実行するようなプロセ
ス構成を取る。それは以下のような理由による。

【０００３】ノンライト・スルー・キャッシュを採用す
るマルチプロセッサ計算機の場合には、キャッシュ内で
の共有データの書き換えがすぐにメモリへ反映されない
ために、他のプロセッサによる共有データへのアクセス
は、それがメモリへ書き戻されるのを待たなければなら
ない。この待ち時間はプロセッサの使用効率を低下させ
ることとなる。しかし、同じプロセッサ内で動作する他
のプロセスが共有データにアクセスする場合には、キャ
ッシュ・ヒットするために、メモリへの書き戻しを待つ
必要がない。従って、データベースにアクセスするサー
バ・プロセスのように、共有データにアクセスする複数
のプロセスはできる限り同じプロセッサで実行するのが
望ましいと言える。

【０００４】一方、オンライン・トランザクション処理
を実行する場合には、システムのスループットを最大限
引き出すために、プロセスを複数のプロセッサを並列に
動作させる必要がある。

【０００５】このような二つの相反する要件を満足する
ためには、グループ間でのデータの共有度ができる限り
低くなるようにプロセスをグループ化し、かつ、それぞ
れのグループを特定のプロセッサに割り付けるようにす
る。つまり、同じグループに属するプロセスは同じプロ
セッサ下で動作するので待ち時間が少なくなり、別のグ
ループに属するプロセス相互間ではデータの共有度が低
いので待ち状態になる場合が低くなるため、プロセッサ
を効率的に使用することができる。

【０００６】従来のオンライン・トランザクション処理
システムは、トランザクション・モニタと呼ばれるソフ
トウェアを用いて、トランザクションをクライアント・
サーバのプロセス構成で処理する。図６にトランザクシ
ョン・モニタを用いたプロセス構成を示す。

【０００７】クライアント・プロセス５ａ〜５ｄが実行
してほしい手続き８ａ〜８ｄをコールすると、トランザ
クション・モニタがその手続き８ａ〜８ｄを実行可能な
サーバ・プロセス群１２ａ〜１２ｄのキューに引き渡
す。サーバ・プロセス群１２ａ〜１２ｄはキューから要
求を取り出して指定された手続き８ａ〜８ｄを実行した
後、クライアント・プロセス５ａ〜５ｄへ応答する。

【０００８】このようなトランザクション・モニタを上
述のフォールト・トレラント計算機で動作させる場合、
以下の３つの方針に基づいて構成することにより、高性
能なシステムを構築できる。

【０００９】まず第一に、データベース・バッファを共
有するサーバ・プロセスを同じプロセッサに割り付け
る。この理由は上述の通りである。第二に、一つのプロ
セッサに割り付けられた全てのサーバ・プロセスに対し
て、一つのデータベース・バッファを共有させる。なぜ
ならば、異なるデータベース・バッファで同じデータを
共有する場合、データの一貫性を取るための制御が必要
であり、その制御はかなりオーバヘッドの高い処理とな
るからである。第三に、システムのスループットを最大
限に引き出すために、すべてのプロセッサにおいてほぼ
均一な負荷でサーバ・プロセスを動作させる。以上の方
針に基づいたフォールト・トレラント計算機におけるト
ランザクション・モニタの構成例を図６に示している。
なお、ここでは、一つのデータベース・バッファを共有
する複数のサーバ・プロセスをサーバ・プロセス群と呼
ぶこととする。

【００１０】

【発明が解決しようとする課題】図６に示すような構成
で、あるプロセッサに障害が起こった場合、フォールト
・トレラント計算機のリカバリ機能が働き、障害プロセ
ッサで実行していたサーバ・プロセスを自動的に他の特
定のプロセッサで実行させることになる。

【００１１】この結果、一つのプロセッサで複数のサー
バ・プロセス群を動作させることになり、また、障害プ
ロセッサの処理を引き継いだプロセッサの負荷が高くな
るためにプロセッサ間での負荷が不均等になる。そのた
めに上述の方針から外れた構成でトランザクション・モ
ニタを運用することになり、性能低下を招くことにな
る。

【００１２】いま、図６に示すプロセッサ１ａに障害が
発生したとすると、図７に示すようにクライアントプロ
セス５ａ及びサーバ・プロセス群１２ａは、プロセッサ
１ｂ下で動作することとなる。即ち、プロセッサ１ｂで
は２つのサーバ・プロセス群１２ａ〜１２ｂが動作する
ことになる。従って、２つのデータベース・バッファ１
３ａ〜１３ｂに重複してデータを持つ可能性があり、デ
ータの一貫性を保証するための制御にかかるオーバヘッ
ドが高くなる。また、プロセッサ１ｂでは２つのサーバ
・プロセス群１２ａ〜１２ｄを実行しなければならない
ので、プロセッサ１ｂが過負荷状態になる可能性があ
る。プロセッサ１ｃあるいは１ｄは、適切な負荷状態出
運用されているので、プロセッサ１ｂだけが過負荷にな
れば、負荷の不均等な状態が生じることになる。

【００１３】本発明は、上記実情に鑑みてなされたもの
であり、プロセッサ障害等によるプロセッサ間でのプロ
セス再配置が行われた際に、効率的な負荷分散を行うこ
とを可能とする負荷分散方式を提供することを目的とす
る。

【００１４】

【課題を解決するための手段】本発明は、複数のプロセ
ッサ各々の制御下に、クライアント・プロセスと、この
クライアント・プロセスから要求された手続きを所定の
メモリ領域を共有しながら実行する複数のプロセスから
なるサーバ・プロセス群とを配置し、いずれかのプロセ
ッサに障害が発生したときに、そのプロセッサ下に配置
されていた上記クライアント・プロセス及びサーバ・プ
ロセス群を他の特定のプロセッサ下に再配置させること
により処理を継続するマルチプロセッサ計算機におい
て、上記クライアント・プロセス及びサーバ・プロセス
群がいずれのプロセッサ下に配置されているのかを監視
するプロセス監視手段と、上記クライアント・プロセス
から要求された手続きを所定のサーバ・プロセス群に分
配する手続き分配手段と、上記プロセス監視手段の監視
結果により複数のクライアント・プロセス及びサーバ・
プロセス群が配置されているプロセッサを検出した場合
に、この複数のクライアント・プロセスから要求された
手続きが一つのサーバ・プロセス群に分配されるように
上記手続き分配手段を制御する制御手段とを具備してな
ることを特徴とする。

【００１５】また、本発明は、各プロセッサの負荷を測
定する負荷測定手段と、この負荷測定手段の測定結果に
よりプロセッサ間に負荷の偏りがあると判断した場合
に、負荷の高いプロセッサ下のサーバ・プロセス群に本
来分配されるべき手続きの一部を負荷の低い他のプロセ
ッサ下のサーバ・プロセス群へ分配されるように上記手
続き分配手段を制御する制御手段とを具備してなること
を特徴とする。

【００１６】

【作用】本発明によれば、図７に示したように一つのプ
ロセッサで複数のサーバ・プロセス群１２ａ〜１２ｂを
動作させている場合に、クライアント・プロセス５ａ〜
５ｂからの手続きを一つのサーバ・プロセス群、例えば
サーバ・プロセス群１２ｂのキューのみへ引き渡すよう
に分配制御する。これにより、一つのプロセッサ下では
一つのサーバ・プロセス群だけが動作することになり、
即ち、そのデータベース・バッファだけが使用されるこ
とになる。つまり、もう一方のデータベース・バッファ
は使用されていない状態なので、二つのバッファ間での
データの一貫性を保証する必要はなくなり、その処理に
必要なオーバヘッドをなくすことができる。

【００１７】また、障害を発生させたプロセッサ１ａ下
に配置されていたサーバ・プロセス群１２ａの実行を引
き継いだプロセッサ１ｂには、それまでに実行していた
サーバ・プロセス群１２ｂの負荷に加えて、新たに実行
するサーバ・プロセス群１２ａの負荷がかかる。したが
って、上述のようにプロセッサ１ｂ下で動作するサーバ
・プロセス群をサーバ・プロセス群１２ｂの一つだけに
限定したとしても、プロセッサ１ｂが過負荷状態になる
ことがある。

【００１８】本発明によれば、図７においてプロセッサ
１ｂが過負荷状態になった場合に、クライアント・プロ
セス５ａから要求された手続きの一部をプロセッサ１ｃ
〜１ｄのサーバ・プロセス群１２ｃ〜１２ｄのキューへ
割り振るようにする。これによりプロセッサ１ｂの負荷
を軽減させると共に、プロセッサ１ｃ〜１ｄの負荷を増
大させることになり、システム全体として負荷の均等化
を実現することができる。

【００１９】

【実施例】以下図面を参照して本発明の一実施例を説明
する。図１は同実施例に係るシステムの概略構成を示す
図である。同システムでは、それぞれのサーバ・プロセ
ス群１２ａ〜１２ｄが実行する手続きについて、他のす
べてのサーバ・プロセス群１２ａ〜１２ｄが相互に実行
できるようにするため、その手続きを内容は同じで名前
が異なるような構成として登録しておく。ここでは、説
明を簡単にするために、図１における手続き８ａ〜８ｄ
を名前は異なるが内容が等しい手続きであるとものとす
る。

【００２０】図１において、負荷測定部１０は、定期的
に、あるいは手続き分配部６からの指示により各プロセ
ッサ１ａ〜１ｄの負荷を測定し、その結果を共有メモリ
９へ書き込む。プロセッサ１ａ〜１ｄの負荷としては、
プロセッサ使用率やレディ・キューの長さ等を用いるこ
とが考えられる。ここではプロセッサ１ａ〜１ｄの使用
率をオペレーティング・システムが提供するコマンドに
より測定するものとする。

【００２１】プロセス監視部１１は、サーバ・プロセス
群１２ａ〜１２ｄが配置されているプロセッサがどれで
あるかを監視しており、一つのプロセッサで複数のサー
バ・プロセス群を実行していることを見つけた場合、手
続き分配部６にその旨を伝える。また、プロセス監視部
１１は、プロセッサ１ａ〜１ｄの障害等によりプロセッ
サ間でのプロセスの再配置が行われたときに起動され
る。

【００２２】手続き分配部６は、変換テーブル７を保持
し、この変換テーブル７に記述された内容にしたがって
手続きを変換し、その手続きを適切なサーバ・プロセス
群のキューへ割り振る。また、手続き分配部６は、プロ
セス監視部１１からの指示を受けて起動され、変換テー
ブル７を変更する。そして、変換テーブル７を変更した
後に、負荷測定部１０に各プロセッサ１ａ〜１ｄの負荷
を測定させる。その結果、プロセッサ１ａ〜１ｄの負荷
に偏りがある場合には、変換テーブル７を変更する。

【００２３】なお、ここでは、手続き分配部６をクライ
アント・プロセス５ａ〜５ｄとは別のプロセスとしてい
るが、クライアント・プロセス５ａ〜５ｄで実行される
プログラムの一部に手続き分配部６の動作を含めること
も可能である。

【００２４】図１において、プロセッサが全て正常な状
態のときは、サーバ・プロセス群１２ａ〜１２ｄはそれ
ぞれプロセッサ１ａ〜１ｄに割り付けられて、クライア
ント・プロセス５ａ〜５ｄから要求された手続き８ａ〜
８ｄをそれぞれ実行しているものとする。このときの手
続き分配部６の変換テーブル７は、図２に示す通りであ
る。また、負荷測定部１０は、各プロセッサ１ａ〜１ｄ
の使用率を定期的に測定して、その結果を共有メモリ９
へ記録する。この値は、負荷の再分散を行うときに用い
る。ここでは、各プロセッサ１ａ〜１ｄの使用率はすべ
て６０％程度であるとする。

【００２５】いま、プロセッサ１ａに障害が発生し、フ
ォールト・トレラント計算機のリカバリ機能によりクラ
イアント・プロセス５ａとサーバ・プロセス群１２ａと
がプロセッサ１ｂに再配置されたとする。プロセス監視
部１１は、サーバ・プロセス群１２ａ〜１２ｄが配置さ
れているプロセッサを調べ、プロセッサ１ｂ下でサーバ
・プロセス群１２ａ〜１２ｂの二つのサーバ・プロセス
群が配置されていることを検出して、手続き分配部６へ
プロセッサ１ｂ下で二つのサーバ・プロセス群が実行さ
れている旨を通知する。

【００２６】プロセス監視部１１からの通知を受けた手
続き分配部６は、変換テーブル７を図３に示すように変
更し、クライアント・プロセス５ａから要求された手続
き８ａをすべて手続き８ｂに変換してサーバ・プロセス
群１２ｂのキューへ割り当てるようにする。これによ
り、サーバ・プロセス群１２ａのデータベース・バッフ
ァ１３ａは使われなくなり、データベース・バッファ１
３ａ〜１３ｂ間でのデータの一貫性を保証する処理が必
要なくなる。

【００２７】ここで、プロセッサ１ｂ〜１ｄの負荷がほ
ぼ均一であれば問題ない。しかし、通常は全てのプロセ
ッサが正常に動作している場合を想定して負荷分散がな
されているので、プロセッサ１ａの負荷を引き継いだプ
ロセッサ１ｂの負荷が、他のプロセッサ１ｃ〜１ｄの負
荷よりも高くなる可能性が高いと考えられる。

【００２８】そこで、手続き分配部６は、負荷測定部１
０へ各プロセッサ１ｂ〜１ｄの使用率を測定することを
指示する。負荷測定部１０の測定の結果、プロセッサ１
ｂの負荷が他のプロセッサ１ｃ〜１ｄに比べて顕著に大
きいことが判明した場合に、手続きの分配部６が負荷の
再分散を行う。例えば、プロセッサ１ｂの使用率が１０
０％で、それ以外のプロセッサ１ｃ〜１ｄの使用率が６
０％程度であったとすると、プロセッサ１ｂの負荷をプ
ロセッサ１ｃ〜１ｄへ分散させるように、手続き分配部
６の変換テーブル７を変更する。例えば、正常時にプロ
セッサ１ｂ〜１ｄの使用率がほぼ等しかったとすると、
プロセッサ１ａにかかっていた負荷を三つのプロセッサ
１ｂ〜１ｄに均等に分散すればよいことになる。そこ
で、手続き分配部６は、変換テーブル７を図４に示すよ
うに変更する。

【００２９】ここで、プロセッサに障害が起こった場合
の動作を説明する。図５は、同実施例の動作を説明する
ためのフローチャートである。まず、各プロセッサ１ａ
〜１ｄが実行しているサーバ・プロセス群の数を調べる
（図５のステップＡ１）。サーバ・プロセス群１２ａ〜
１２ｄを特定のプロセッサ１ａ〜１ｄで実行するため
に、オペレーティング・システムに何らかの機構が用意
されているはずである。そして、この機構を用いること
によりサーバ・プロセス群１２ａ〜１２ｄがどのプロセ
ッサで実行されているかを知ることができる。

【００３０】次に、複数のサーバ・プロセス群を実行し
ているプロセッサがあるかどうかを判定する（図５のス
テップＡ２）。通常、すべてのプロセッサ１ａ〜１ｄで
サーバ・プロセス群１２ａ〜１２ｄのいずれかが実行さ
れているので、あるプロセッサが故障して、そのプロセ
ッサ下に配置されているサーバ・プロセス群が他のプロ
セッサへ再配置された場合には、そのプロセッサでは複
数のサーバ・プロセス群を実行していることになる。こ
のため、プロセッサ障害発生時には、ほとんどの場合こ
の条件に該当することとなる（図５のステップＡ２の
Ｙ）。

【００３１】複数のサーバ・プロセス群が実行されてい
るプロセッサが存在する場合（図５のステップＡ２の
Ｙ）、これまでそれぞれのサーバ・プロセス群へ割り当
てていた手続きを一つのサーバ・プロセス群へ割り当て
るように、手続き分配部６の変換テーブル７を変更する
（図５のステップＡ３）。

【００３２】次に、各プロセッサ１ａ〜１ｄの使用率を
調べ（図５のステップＡ４）、プロセッサの使用率に偏
りがないか調べる（図５のステップＡ５）。故障プロセ
ッサに対する負荷を引き継いだプロセッサの使用率は、
他のプロセッサ使用率に比べて高くなるので、ほとんど
の場合は該当することとなる（図５のステップＡ５の
Ｙ）。

【００３３】ここで、故障が起こる前の各プロセッサ１
ａ〜１ｄの使用率に基づいて、故障プロセッサの負荷を
どのように他のプロセッサへ分配するかを決定する（図
５のステップＡ６）。なお、本発明は、ここに示した実
施例に限定されるものではなく、その請求範囲を逸脱し
ない範囲で適宜変更可能である。

【００３４】

【発明の効果】上述したように本発明によれば、フォー
ルト・トレンランスを実現するプロセッサ計算機におい
てトランザクション処理を行う場合に、プロセッサが障
害を発生させたためにそのプロセッサで実行されていた
サーバ・プロセス群を他のプロセッサに引き継がれた時
の負荷分散を効率よく実現できる。

【００３５】サーバ・プロセス群の実行を引き継いだプ
ロセッサ下で複数のサーバ・プロセス群を実行すると、
複数のデータベース・バッファ間のデータの一貫性を保
証するための処理が必要となり、そのプロセッサの負荷
が高くなる。

【００３６】本発明では、複数のクライアント・プロセ
スからの手続きを一つのサーバ・プロセス群のキューの
みに割り振ることにより、この問題を解決している。ま
た、サーバ・プロセス群の実行を引き継いだプロセッサ
には、故障プロセッサにかかっていた負荷が追加される
ため、他のプロセッサに比べて負荷が高くなる。

【００３７】本発明では、負荷の高いプロセッサのサー
バ・プロセス群のキューへ割り振られていた手続きを他
のプロセッサのサーバ・プロセス群のキューへ割り振ら
れるように変更することにより、負荷の均等化を図るこ
とができる。

【図面の簡単な説明】

【図１】同実施例に係るシステムの概略構成を示す図。

【図２】プロセッサが正常な時の変換テーブルの例を示
す図。

【図３】障害プロセッサで実行していたサーバ・プロセ
ス群を別のプロセッサで動作させた後の変換テーブルの
例を示す図。

【図４】負荷を分散した後の変換テーブルの例を示す
図。

【図５】同実施例の動作を説明するためのフローチャー
ト。

【図６】従来のフォールト・トレラント計算機でトラン
ザクション・モニタを動作させた時のプロセス構成を示
す図。

【図７】従来のフォールト・トレラント計算機でプロセ
ッサに障害が起こったときのプロセスの配置を示す図。

【符号の説明】

１ａ〜１ｄ…プロセッサ、２…メモリ、３…ディスク、
４データベース、５ａ〜５ｄ…クライアント・プロセ
ス、６…手続き分配部、７…変換テーブル、８ａ〜８ｄ
…手続き、９…共有メモリ、１０…負荷測定部、１１…
プロセス監視部、１２ａ〜１２ｄ…サーバ・プロセス
群、１３ａ〜１３ｄ…データベースバッファ。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサ各々の制御下に、クラ
   イアント・プロセスと、このクライアント・プロセスか
   ら要求された手続きを所定のメモリ領域を共有しながら
   実行する複数のプロセスからなるサーバ・プロセス群と
   を配置し、いずれかのプロセッサに障害が発生したとき
   に、そのプロセッサ下に配置されていた上記クライアン
   ト・プロセス及びサーバ・プロセス群を他の特定のプロ
   セッサ下に再配置させることにより処理を継続するマル
   チプロセッサ計算機において、 上記クライアント・プロセス及びサーバ・プロセス群が
   いずれのプロセッサ下に配置されているのかを監視する
   プロセス監視手段と、上記クライアント・プロセスから
   要求された手続きを所定のサーバ・プロセス群に分配す
   る手続き分配手段と、上記プロセス監視手段の監視結果
   により複数のクライアント・プロセス及びサーバ・プロ
   セス群が配置されているプロセッサを検出した場合に、
   この複数のクライアント・プロセスから要求された手続
   きが一つのサーバ・プロセス群に分配されるように上記
   手続き分配手段を制御する制御手段とを具備してなるこ
   とを特徴とする負荷分散方式。
2. 【請求項２】 各プロセッサの負荷を測定する負荷測定
   手段と、この負荷測定手段の測定結果によりプロセッサ
   間に負荷の偏りがあると判断した場合に、負荷の高いプ
   ロセッサ下のサーバ・プロセス群に本来分配されるべき
   手続きの一部を負荷の低い他のプロセッサ下のサーバ・
   プロセス群へ分配されるように上記手続き分配手段を制
   御する制御手段とを具備してなることを特徴とする請求
   項１記載の負荷分散方式。