JP4548168B2 - Load balance device, server system and load balance method thereof - Google Patents
Load balance device, server system and load balance method thereof Download PDFInfo
- Publication number
- JP4548168B2 JP4548168B2 JP2005082120A JP2005082120A JP4548168B2 JP 4548168 B2 JP4548168 B2 JP 4548168B2 JP 2005082120 A JP2005082120 A JP 2005082120A JP 2005082120 A JP2005082120 A JP 2005082120A JP 4548168 B2 JP4548168 B2 JP 4548168B2
- Authority
- JP
- Japan
- Prior art keywords
- server
- load
- server system
- servers
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Computer And Data Communications (AREA)
Description
本発明は、複数の階層からなるサーバシステムに組み込まれるロードバランス装置、このロードバランス装置を備えた多階層のサーバシステム、及びそのロードバランス方法に関する。 The present invention relates to a load balance device incorporated in a server system composed of a plurality of hierarchies, a multi-tier server system including the load balance device, and a load balance method thereof.
従来より、複数の端末装置がサーバに接続して通信を行うウェブサーバシステムが使用されている。そして、複数のサーバを並列に動作させるサーバシステムにおいて、クライアントの端末装置が接続されるサーバ、即ち、フロントエンドサーバの負荷を管理するロードバランス装置を設ける技術が開示されている(例えば、特許文献1及び2参照。)。ロードバランス装置は、サーバシステム内に設けられた複数のフロントエンドサーバ間で負荷が均一になるように、処理を分散させるものである。例えば、応答時間が増大した場合に、予め設定されているポリシーに従って、処理能力の大小等のサーバの機差を考慮した最適サーバの選択、リクエストの投入抑止、予備サーバの追加等の方策を自動的に実施する。これにより、サーバシステム全体の処理速度を向上させ、例えばWWWトランザクションの応答時間を短縮することができる。 Conventionally, a web server system in which a plurality of terminal devices connect to a server and perform communication has been used. In a server system in which a plurality of servers are operated in parallel, a technique is disclosed in which a server to which a client terminal device is connected, that is, a load balancing device that manages the load on a front-end server is provided (for example, Patent Documents). 1 and 2). The load balancer distributes processing so that the load is uniform among a plurality of front-end servers provided in the server system. For example, when response time increases, automatic measures such as selection of the optimal server, suppression of request input, and addition of spare servers are taken into account according to preset policies, taking into account differences in server capacity such as processing capacity To implement. Thereby, the processing speed of the entire server system can be improved, and for example, the response time of a WWW transaction can be shortened.
一方、近時、サーバに接続する端末装置の増加及びサーバと端末装置との間の通信処理量の増大による通信速度の低下を防止するために、ウェブサーバシステムを3階層化する技術が開発されている(例えば、特許文献3参照。)。このような3階層のウェブサーバシステムにおいては、フロントエンド層、中間層及びバックエンド層が3層構造を構成している。フロントエンド層には、ネットワークを介して各ユーザの端末装置が接続される複数のフロントエンドサーバが設けられており、バックエンド層には、データベースが記憶されたストレージ(外部記憶装置)が設けられており、中間層には、端末装置からフロントエンドサーバを介して入力されたリクエストをストレージに伝達すると共に、ストレージから出力されたデータを、フロントエンドサーバを介して端末装置に伝達するデータベースサーバが設けられている。 On the other hand, recently, in order to prevent a decrease in communication speed due to an increase in the number of terminal devices connected to the server and an increase in the amount of communication processing between the server and the terminal device, a technology for developing a three-level web server system has been developed. (For example, refer to Patent Document 3). In such a three-layer web server system, the front end layer, the intermediate layer, and the back end layer form a three-layer structure. The front-end layer is provided with a plurality of front-end servers to which each user's terminal device is connected via a network, and the back-end layer is provided with a storage (external storage device) in which a database is stored. In the intermediate layer, there is a database server that transmits a request input from the terminal device via the front-end server to the storage and transmits data output from the storage to the terminal device via the front-end server. Is provided.
しかしながら、上述の従来の技術には以下に示すような問題点がある。即ち、特許文献3に記載されているような3階層のサーバシステムにおいては、ロードバランス装置を使用してフロントエンドサーバの負荷を管理しても、応答時間を短縮する効果が不十分である。
However, the conventional techniques described above have the following problems. That is, in the three-tier server system described in
本発明はかかる問題点に鑑みてなされたものであって、多階層のサーバシステムに設けられ、このサーバシステムの応答時間を短縮するロードバランス装置、このロードバランス装置を備えたサーバシステム及びそのロードバランス方法を提供することを目的とする。 The present invention has been made in view of such a problem, and is provided in a multi-tier server system and reduces the response time of the server system, a server system including the load balance apparatus, and a load thereof It aims to provide a balance method.
本発明に係るロードバランス装置は、複数の第1サーバを含む第1層及び第2乃至第n(nは2以上の整数)サーバを夫々含む第2乃至第n層によりn階層構造をなすサーバシステムに組み込まれ、前記複数の第1サーバに対して処理を分散するロードバランス装置において、前記サーバシステムの応答時間が基準範囲内にあるか否かを判定する判定手段と、前記判定手段が基準範囲内にないと判定した場合に、前記第2乃至第nサーバの負荷を評価する負荷評価手段と、前記サーバシステムに予備の前記第1サーバが存在し、且つ、前記負荷評価手段が、前記第2乃至第nサーバがいずれも過負荷状態にないと評価した場合に、前記予備の第1サーバを前記第1層に組み込んで駆動させ、前記第2乃至第nサーバのいずれかが過負荷状態であると評価した場合に、前記予備の第1サーバを前記第1層に組み込まない過負荷抑止手段と、を有することを特徴とする。 A load balancing device according to the present invention is a server having an n-layer structure with a first layer including a plurality of first servers and a second to nth layers including second to nth (n is an integer of 2 or more) servers. In a load balance apparatus that is incorporated in a system and distributes processing to the plurality of first servers, a determination unit that determines whether a response time of the server system is within a reference range, and the determination unit is a reference When it is determined that it is not within the range, there is a load evaluation unit that evaluates the load of the second to nth servers, a spare first server exists in the server system, and the load evaluation unit includes When it is evaluated that none of the second to n-th servers are in an overload state, the spare first server is driven by being incorporated in the first layer, and any of the second to n-th servers is overloaded. In state When assessed with that, and having a overload inhibiting means not incorporated the first server of the preliminary to the first layer.
本発明においては、過負荷抑止手段が、第2乃至第nサーバのいずれかが過負荷状態である場合に、予備の第1サーバを第1層に組み込まないことにより、過負荷状態にあるサーバの負荷を増大させることを防止し、サーバシステム全体の応答時間を短縮することができる。 In the present invention, when any of the second to n-th servers is in an overload state, the overload prevention means does not incorporate the spare first server in the first layer, thereby causing the server in an overload state. Can be prevented, and the response time of the entire server system can be shortened.
また、前記過負荷抑止手段は、前記サーバシステムに前記予備の第1サーバが存在しない場合、または前記負荷評価手段が前記第2乃至第nサーバのいずれかが過負荷状態であると評価した場合に、前記第1サーバに対するリクエストを抑止するものであることが好ましい。これにより、第2乃至第nサーバの負荷を軽減することができる。 Further, the overload inhibition means, when the first server of the preliminary to the server system does not exist, or the case where the load evaluation unit evaluates to any one of the second to n server is overloaded In addition, it is preferable to suppress requests to the first server. Thereby, the load of the 2nd thru | or nth server can be reduced.
更に、前記nが3であってもよい。このとき、第3サーバは、データベースが記憶されたストレージであり、第2サーバは、前記第1サーバと前記第3サーバとの間に接続され、前記第1サーバから入力されたリクエストを前記第3サーバに伝達すると共に、前記第3サーバから出力されたデータを前記第1サーバに伝達するデータベースサーバであってもよい。 Further, n may be 3. At this time, the third server is a storage in which a database is stored, the second server is connected between the first server and the third server, and a request input from the first server is sent to the first server. The database server may transmit the data output from the third server to the first server while transmitting the data to the three servers.
本発明に係るサーバシステムは、複数の第1サーバを有する第1層と、第2乃至第n(nは2以上の整数)サーバを夫々有し前記第1層と共にn階層構造をなす第2乃至第n層と、前記複数の第1サーバに対して処理を分散するロードバランス装置と、を有するサーバシステムであって、前記ロードバランス装置は、前記サーバシステムの応答時間が基準範囲内にあるか否かを判定する判定手段と、前記判定手段が基準範囲内にないと判定した場合に、前記第2乃至第nサーバの負荷を評価する負荷評価手段と、予備の前記第1サーバが存在し、且つ、前記負荷評価手段が、前記第2乃至第nサーバがいずれも過負荷状態にないと評価した場合に、前記予備の第1サーバを前記第1層に組み込んで駆動させ、前記第2乃至第nサーバのいずれかが過負荷状態であると評価した場合に、前記予備の第1サーバを前記第1層に組み込まない過負荷抑止手段と、を有することを特徴とする。 A server system according to the present invention includes a first layer having a plurality of first servers, and second to n-th (n is an integer of 2 or more) servers, and a second layer having an n-layer structure together with the first layer. Thru | or nth layer, The load balance apparatus which distributes a process with respect to these 1st servers, Comprising: The said load balance apparatus has the response time of the said server system in the reference | standard range A determination means for determining whether or not there is a load evaluation means for evaluating the load of the second to n-th servers when it is determined that the determination means is not within a reference range; and the spare first server And when the load evaluation unit evaluates that the second to n-th servers are not overloaded, the spare first server is incorporated into the first layer and driven, Any of 2nd to nth servers There when assessed to be overloaded, and having a overload inhibiting means not incorporated the first server of the preliminary to the first layer.
本発明に係るサーバシステムのロードバランス方法は、複数の第1サーバを含む第1層及び第2乃至第n(nは2以上の整数)サーバを夫々含む第2乃至第n層によりn階層構造をなすサーバシステムのロードバランス方法において、前記複数の第1サーバに対して処理を分散する負荷分散工程と、この負荷分散工程の結果、前記サーバシステムの応答時間が基準範囲内にあるか否かを判断する工程と、前記第2乃至第nサーバの負荷を評価する負荷評価工程と、前記応答時間が前記基準範囲内になく、予備の前記第1サーバが存在し、且つ前記負荷評価工程で前記第2乃至第nサーバがいずれも過負荷状態にないと評価された場合に、予備の前記第1サーバを前記第1層に組み込んで駆動させ、前記第2乃至第nサーバのいずれかが過負荷状態であると評価された場合に、前記予備の第1サーバを前記第1層に組み込まない過負荷抑止工程と、を有することを特徴とする。 The server system load balancing method according to the present invention includes a first layer including a plurality of first servers and a second layer to an nth layer including second to nth (n is an integer of 2 or more) servers. In the load balancing method for the server system, the load balancing step for distributing the processing to the plurality of first servers, and whether the response time of the server system is within a reference range as a result of the load balancing step A load evaluation step for evaluating the load of the second to n-th servers, a response time not within the reference range, a spare first server exists, and the load evaluation step When it is evaluated that none of the second to n-th servers are in an overload state, the spare first server is incorporated into the first tier and driven, and any of the second to n-th servers is Overload When it is evaluated to be state, and having a overload suppression process that does not incorporate a first server of the preliminary to the first layer.
本発明によれば、第2乃至第nサーバのいずれかが過負荷状態である場合に、予備の第1サーバを第1層に組み込まないことにより、過負荷状態にあるサーバの負荷を増大させることを防止し、サーバシステム全体の応答時間を短縮することができる。 According to the present invention, when any of the second to nth servers is in an overload state, the load of the server in the overload state is increased by not incorporating the spare first server in the first layer. And the response time of the entire server system can be shortened.
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。図1は、本実施形態に係るサーバシステムを示すブロック図であり、図2は、図1に示すロードバランス装置を示すブロック図である。図1に示すように、本実施形態に係るサーバシステム1は、3階層のサーバシステムである。
Hereinafter, embodiments of the present invention will be specifically described with reference to the accompanying drawings. FIG. 1 is a block diagram showing a server system according to the present embodiment, and FIG. 2 is a block diagram showing the load balance apparatus shown in FIG. As shown in FIG. 1, the
サーバシステム1のバックエンド層には、データベースが記憶されたストレージ(外部記憶装置)2が設けられている。ストレージ2は、例えばハードディスク等の大容量記憶装置を備えた装置である。また、データサーバ1のフロントエンド層には、複数のフロントエンドサーバ4が設けられている。フロントエンドサーバ4は、ネットワークを介して各ユーザの端末装置(図示せず)が接続されるものである。端末装置とは、例えばパーソナルコンピュータ等である。更に、サーバシステム1の中間層には、データベースサーバ3が設けられている。データベースサーバ3はストレージ2とフロントエンドサーバ4との間に接続されており、端末装置からフロントエンドサーバ4を介して入力されたリクエストをストレージ2に伝達すると共に、ストレージ2から出力されたデータをフロントエンドサーバ4を介して端末装置に伝達するものである。
In the back-end layer of the
更にまた、サーバシステム1には、ロードバランス装置5が設けられている。ロードバランス装置5は、ストレージ2、データベースサーバ3及び各フロントエンドサーバ4に接続されている。ロードバランス装置5は、ストレージ2、データベースサーバ3及びフロントエンドサーバ4の負荷を管理し、複数のフロントエンドサーバ4間で負荷が均一になるように処理を分散させると共に、ストレージ2、データベースサーバ3及びフロントエンドサーバ4の負荷が過剰となることを防止するために、リクエストの投入抑止及び予備サーバの追加等を行うものである。ロードバランス装置5は外部のネットワークにも接続可能となっている。
Furthermore, the
図2に示すように、ロードバランス装置5においては、ストレージ2及びデータベースサーバ3の負荷状況を評価する負荷評価手段11が設けられている。負荷評価手段11には、データベースサーバ3(以下、DBサーバ3ともいう)のCPU(Central Processing Unit:中央処理装置)の使用時間の測定を行うDBサーバCPU使用率測定手段12が設けられている。また、負荷評価手段11には、DBサーバ3がリクエストを処理し、その処理結果をフロントエンドサーバ4に返すまでの応答時間(レスポンスタイム)を測定するDBサーバレスポンスタイム測定手段13が設けられている。更に、負荷評価手段11には、ストレージ2がリクエストを処理し、その処理結果をDBサーバ3に返すまでの遅延時間(レイテンシ)を測定するストレージI/Oレイテンシ測定手段14が設けられている。更にまた、負荷評価手段11には、ストレージ2で処理待ちとなっているトランザクションの数を測定するストレージI/O待ち行列測定手段15が設けられている。
As shown in FIG. 2, the
更にまた、負荷評価手段11には、DBサーバCPU使用率測定手段12、DBサーバレスポンスタイム測定手段13、ストレージI/Oレイテンシ測定手段14及びストレージI/O待ち行列測定手段15に対して、決まった時間間隔で測定を指示し、その測定結果を集計する負荷状況集計手段16が設けられている。
Furthermore, the load evaluation unit 11 is determined for the DB server CPU usage
また、ロードバランス装置5には、管理ポリシー記憶手段17が設けられている。管理ポリシー記憶手段17には、ストレージ2及びDBサーバ3の負荷が過剰であるか否かを判断する際の判断基準である管理ポリシー18が記憶されている。
The
管理ポリシー18において、DBサーバ3の負荷が過剰であるとする基準は、例えば以下のとおりである。
(1)DBサーバCPU使用率測定手段12による測定の結果、DBサーバ3のCPU使用率が90%以上である場合。
(2)DBサーバレスポンスタイム測定手段13による測定の結果、DBサーバ3のレスポンスタイムが1秒以上である場合。
In the management policy 18, the criterion that the load on the
(1) When the CPU usage rate of the
(2) When the response time of the
また、管理ポリシー18において、ストレージ2の負荷が過剰であるとする基準は、例えば以下のとおりである。
(3)ストレージI/Oレイテンシ測定手段14による測定の結果、ストレージ2のレイテンシが15ms(ミリ秒)以上である場合。
(4)ストレージI/O待ち行列測定手段15による測定の結果、ストレージ2の待ち行列数が5以上である場合。
In the management policy 18, for example, the standard that the load on the storage 2 is excessive is as follows.
(3) The case where the storage I / O latency measurement means 14 has measured the latency of the storage 2 to be 15 ms (milliseconds) or more.
(4) When the number of queues in the storage 2 is 5 or more as a result of the measurement by the storage I / O queue measurement means 15.
更にまた、ロードバランス装置5には、負荷状況集計手段16の集計結果が入力され、管理ポリシー18に従ってストレージ2及びDBサーバ3の負荷が過剰であるか否かを判断する負荷状況判断手段19が設けられている。
Furthermore, the
一方、ロードバランス装置5においては、フロントエンドサーバ4の負荷状況を監視すると共に、複数のフロントエンドサーバ4間で負荷が均一になるように処理を分散させるフロントエンドサーバ負荷分散手段20が設けられている。フロントエンドサーバ負荷分散手段20は、各フロントエンドサーバ4に接続されており、また、ネットワークを介して端末装置(図示せず)に接続されるようになっている。
On the other hand, the
また、ロードバランス装置5には、負荷状況判断手段19からストレージ2及びDBサーバ3の負荷が過剰であるか否かの判断結果が入力されると共に、フロントエンドサーバ負荷分散手段20からフロントエンドサーバ4の監視結果が入力され、これらの結果に基づいて、ストレージ2、データベースサーバ3及びフロントエンドサーバ4の負荷が過剰となることを防止するために、リクエストの投入抑止及び予備サーバの追加等を行う過負荷抑止手段21が設けられている。
Further, the
なお、サーバシステム1におけるストレージ2、データベースサーバ3、フロントエンドサーバ4及びロードバランス装置5は、固定配線によって相互に接続されていてもよく、ネットワークを介して相互に接続されていてもよい。また、ロードバランス装置5において、管理ポリシー記憶手段17以外の各手段は、ハードウエアによって構成されていてもよく、ソフトウエアによって構成されていてもよい。
Note that the storage 2, the
次に、上述の如く構成された本実施形態に係るサーバシステムの動作、即ち、本実施形態に係るサーバシステムのロードバランス方法について、図1乃至図3を参照して説明する。図3は、本実施形態に係るサーバシステムの動作を示すフローチャート図である。サーバシステム1が動作しているときには、各ユーザの端末装置がネットワークを介してサーバシステム1のロードバランス装置5に接続される。そして、各端末装置から種々のリクエストがロードバランス装置5に入力され、ロードバランス装置5はフロントエンドサーバ4に対してこのリクエストを振り分ける。フロントエンドサーバ4は、必要に応じてDBサーバ3を介してストレージ2からデータベースの一部を読出し、リクエストに対応する処理を行う。そして、その処理結果を、ロードバランス装置5を介して端末装置に返答する。
Next, the operation of the server system according to the present embodiment configured as described above, that is, the load balancing method of the server system according to the present embodiment will be described with reference to FIGS. FIG. 3 is a flowchart showing the operation of the server system according to this embodiment. When the
このとき、図3のステップS1に示すように、ロードバランス装置5のフロントエンドサーバ負荷分散手段20は、複数のフロントエンドサーバ4間で負荷が分散されるように、リクエストを送るフロントエンドサーバ4を選択する。即ち、フロントエンドサーバ4に対するロードバランス施策を実施する。具体的には、下記(a)乃至(d)のいずれかの方式を実施して、リクエストの送付先を選択する。
(a)リクエストが来た順番に、各フロントエンドサーバ4を順々に選択するラウンドロビン方式。
(b)各フロントエンドサーバ4に対する端末装置の接続数を監視して、最も接続数が少ないフロントエンドサーバ4を選択する方式。
(c)測定用パケットを各フロントエンドサーバ4に送り、その応答時間を測定することによって各フロントエンドサーバ4の負荷の大きさを評価して、応答が速いフロントエンドサーバを選択する方式。
(d)フロントエンドサーバ4に優先順位を設定し、アクセス量に閾値(スレッショルド)を設け、優先順位がより上位のフロントエンドサーバのアクセス量がスレッショルドを超えたら、優先順位がそれより下位のフロントエンドサーバを選択する方式。
At this time, as shown in step S <b> 1 of FIG. 3, the front-end server
(A) A round robin method in which the front-end servers 4 are selected in order in the order in which requests are received.
(B) A method of monitoring the number of terminal devices connected to each front-end server 4 and selecting the front-end server 4 having the smallest number of connections.
(C) A method of selecting a front-end server that responds quickly by evaluating the magnitude of the load on each front-end server 4 by sending a measurement packet to each front-end server 4 and measuring its response time.
(D) A priority order is set for the front-end server 4 and a threshold value (threshold) is set for the access amount. A method for selecting an end server.
そして、ステップS2に示すように、フロントエンドサーバ負荷分散手段20が、ステップS1の施策によりサーバシステムの応答時間が基準範囲内にあるか否かを判定する。応答時間が基準範囲内にある場合には、ステップS1に戻り、ロードバランス施策を継続する。一方、応答時間が基準範囲よりも長くなった場合には、ステップS3に進む。 Then, as shown in step S2, the front-end server load distribution means 20 determines whether or not the response time of the server system is within the reference range by the measure of step S1. If the response time is within the reference range, the process returns to step S1 to continue the load balance measure. On the other hand, if the response time is longer than the reference range, the process proceeds to step S3.
ステップS3においては、追加投入する予備のフロントエンドサーバ(以下、予備サーバともいう)の有無を確認する。予備サーバが無い場合は、ステップS4に進み、過負荷抑止手段21が新たなリクエストの投入を抑止する。そして、ステップS1に戻り、ロードバランス施策を継続する。 In step S3, it is confirmed whether there is a spare front-end server (hereinafter also referred to as a spare server) to be additionally input. If there is no spare server, the process proceeds to step S4, where the overload suppression means 21 suppresses the input of a new request. And it returns to step S1 and continues a load balance measure.
一方、予備サーバが存在する場合は、ステップS5に進み、予備サーバを投入することによってサーバシステム全体の応答時間が短縮化されるか否かを調べる。図2に示すように、負荷状況集計手段16は、一定の時間間隔で、DBサーバCPU使用率測定手段12、DBサーバレスポンスタイム測定手段13、ストレージI/Oレイテンシ測定手段14、ストレージI/O待ち行列測定手段15に対して測定を指示する。これにより、負荷評価手段11におけるDBサーバCPU使用率測定手段12が、DBサーバ3のCPUの使用時間を測定する。また、DBサーバレスポンスタイム測定手段13が、DBサーバ3がリクエストを処理し、その処理結果をフロントエンドサーバ4に返すまでの応答時間(レスポンスタイム)を測定する。更に、ストレージI/Oレイテンシ測定手段14が、ストレージ2がリクエストを処理し、その処理結果をDBサーバ3に返すまでの遅延時間(レイテンシ)を測定する。更にまた、ストレージI/O待ち行列測定手段15が、ストレージ2で処理待ちとなっているトランザクションの数を測定する。そして、これらの測定結果を負荷状況集計手段16に対して出力する。
On the other hand, if there is a spare server, the process proceeds to step S5, and it is checked whether or not the response time of the entire server system is shortened by inserting the spare server. As shown in FIG. 2, the load
負荷状況集計手段16は、これらの測定結果を集計し、負荷状況判断手段19に対して出力する。負荷状況集計手段16は一定時間毎に前記測定結果を取得して集計しているため、負荷状況判断手段19は、一番最近に集計された結果に基づき、管理ポリシー記憶手段17から読み出した管理ポリシー18に従って、ストレージ2及びDBサーバ3が過負荷であるか否かを判断する。
The load
具体的には、以下のような場合に、DBサーバ3が過負荷であると判断する。
(1)DBサーバ3のCPU使用率が90%以上である場合。
(2)DBサーバ3のレスポンスタイムが1秒以上である場合。
また、以下のような場合に、ストレージ2が過負荷であると判断する。
(3)ストレージ2のレイテンシが15ms(ミリ秒)以上である場合。
(4)ストレージ2の待ち行列数が5以上である場合。
Specifically, it is determined that the
(1) The CPU usage rate of the
(2) When the response time of the
Further, it is determined that the storage 2 is overloaded in the following cases.
(3) When the latency of the storage 2 is 15 ms (milliseconds) or more.
(4) The number of queues in the storage 2 is 5 or more.
そして、図3のステップS6に示すように、ストレージ2及びDBサーバ3の双方が過負荷状況でない場合は、ステップS7に進み、予備サーバをフロントエンド層に組み込んで駆動させる。これにより、サーバシステム1におけるフロントエンドサーバ4の数が増加し、その分、フロントエンドサーバ4における1台当たりの負荷が減少し、各フロントエンドサーバ4の応答時間が短縮する。この結果、サーバシステム1全体の処理速度が向上し、応答時間が短縮される。その後、ステップS1に戻り、ロードバランス施策を継続する。一方、ストレージ2及びDBサーバ3の少なくとも一方が過負荷状況である場合は、ステップS7に進み、予備サーバをフロントエンド層に組み込むことなく、新たなリクエストの投入を抑止する。その後、ステップS1に戻り、ロードバランス施策を継続する。
Then, as shown in step S6 of FIG. 3, when both the storage 2 and the
次に、本実施形態における効果について説明する。例えば特許文献1及び2に記載されているような従来のロードバランス装置を、例えば特許文献3に記載されているような3階層のサーバシステムに適用した場合、ロードバランス装置は、フロントエンドサーバ間のみで負荷の分散を行う。即ち、ロードバランス装置は、フロントエンド層のみで閉じて負荷分散を実施する。そして、フロントエンドサーバ間における負荷分散によっても応答時間を短縮化できない場合は、予備サーバが存在する場合にはそれをサーバシステムに組み込み、予備サーバがない場合には新たなリクエストの投入を抑止する。
Next, the effect in this embodiment is demonstrated. For example, when a conventional load balance device as described in
しかしながら、サーバシステム全体の応答時間は、フロントエンドサーバの負荷管理だけでは改善できない場合がある。また、予備のフロントエンドサーバを組み込むことにより、かえってサーバシステム全体の応答時間が延びる場合もある。即ち、サーバシステム全体を見た場合、フロントエンドサーバの負荷よりも、DBサーバ又はストレージの負荷の方が高くなっていて、DBサーバ又はストレージが時間的なボトルネックになっている場合がある。このような場合は、予備サーバを投入してフロントエンドサーバの数を増やしても、サーバシステム全体の応答時間は改善されず、逆に、フロントエンドサーバの数を増やすことにより、DBサーバ及びストレージの負荷が更に高くなり、サーバシステム全体の応答時間が更に延びてしまう可能性が高い。 However, the response time of the entire server system may not be improved by load management of the front-end server alone. In addition, by incorporating a spare front-end server, the response time of the entire server system may be increased. That is, when looking at the entire server system, the load on the DB server or storage is higher than the load on the front-end server, and the DB server or storage may become a time bottleneck. In such a case, even if the number of front-end servers is increased by introducing spare servers, the response time of the entire server system is not improved. Conversely, by increasing the number of front-end servers, the DB server and storage There is a high possibility that the response time of the entire server system will further increase.
例えば、DBサーバのCPUの使用率が100%に近ければ、フロントエンドサーバを追加しても、DBサーバが処理しきれず、結果的にシステム応答時間を短縮できない。また、DBサーバのレスポンスタイムが長い場合は、DBサーバの負荷が高いことが示されており、フロントエンドサーバを追加しても、DBサーバが処理しきれず、結果的にシステム応答時間を短縮できない。更に、ストレージのレイテンシが長い場合は、ストレージの負荷が高いことが示されており、フロントエンドサーバを追加しても、ストレージが処理しきれず、結果的にシステム応答時間を短縮できない。更にまた、ストレージで処理待ちとなっているトランザクションの数が多い場合は、ストレージの負荷が高くなっており、フロントエンドサーバを追加しても、ストレージが処理しきれず、結果的にシステム応答時間を短縮できない。このように、従来のロードバランス装置では、3階層サーバシステムの応答時間を改善できないことがある。 For example, if the CPU usage rate of the DB server is close to 100%, even if a front-end server is added, the DB server cannot be processed, and as a result, the system response time cannot be shortened. In addition, when the response time of the DB server is long, it is indicated that the load on the DB server is high, and even if a front-end server is added, the DB server cannot be processed and consequently the system response time cannot be shortened. . Further, when the storage latency is long, it is indicated that the load on the storage is high, and even if a front-end server is added, the storage cannot be processed, and as a result, the system response time cannot be shortened. Furthermore, if there are a large number of transactions waiting to be processed in the storage, the storage load is high, and even if a front-end server is added, the storage cannot be processed, resulting in an increase in system response time. Cannot be shortened. As described above, the conventional load balancing apparatus may not be able to improve the response time of the three-tier server system.
これに対して、本実施形態においては、負荷評価手段11がストレージ2及びDBサーバ3の負荷を表す各種のパラメータを測定し、負荷状況集計手段16がこの測定結果を集計し、負荷状況判断手段19がこの集計結果に基づいてストレージ2及びDBサーバ3が過負荷状態であるか否かを判断し、過負荷抑止手段21が、ストレージ2及びDBサーバ3のうち少なくとも一方が過負荷状態にある場合は、予備サーバが存在する場合であっても、予備サーバをサーバシステム1に組み込まず、新たなリクエストの投入を抑止する。これにより、予備サーバを組み込むことにより、サーバシステム1全体の応答性がかえって低下することを防止できる。また、新たなリクエストの投入を抑止することにより、ストレージ2及びDBサーバ3における負荷を軽減することができる。
On the other hand, in the present embodiment, the load evaluation unit 11 measures various parameters representing the loads of the storage 2 and the
なお、本実施形態においては、管理ポリシー18としてストレージ2及びDBサーバ3に関する基準を設け、負荷状況判断手段19がこの管理ポリシー18を参照してストレージ2及びDBサーバ3の負荷状況を判断する例を示したが、本発明はこれに限定されない。負荷状況判断手段は、ストレージ2、DBサーバ3及びフロントエンドサーバ4の3者の負荷状況を加味して、予備サーバを追加するか否かを決定してもよい。
In the present embodiment, an example in which a standard regarding the storage 2 and the
また、本実施形態においては、サーバシステムとして3階層のサーバシステムを示したが、本発明はこれに限定されない。例えば、フロントエンドサーバ及びバックエンドサーバからなる2階層のサーバシステムにおいても、バックエンドサーバの負荷状態によって予備のフロントエンドサーバを投入するか否かを判断することで、サーバシステム全体の応答時間を短縮することができる。また、4階層以上のサーバシステムにおいても、フロントエンド層以外の階層の負荷状態を評価し、この評価結果に応じて、予備のフロントエンドサーバをフロントエンド層に組み込むか否かを判断することで、サーバシステム全体の応答時間を短縮することができる。 In the present embodiment, a three-tier server system is shown as the server system, but the present invention is not limited to this. For example, even in a two-tier server system composed of a front-end server and a back-end server, the response time of the entire server system can be reduced by determining whether or not a spare front-end server is to be inserted depending on the load state of the back-end server. It can be shortened. Also, in a server system with four or more layers, it is possible to evaluate the load state of the layers other than the front end layer and determine whether or not to install a spare front end server in the front end layer according to the evaluation result. The response time of the entire server system can be shortened.
更に、本実施形態においては、サーバシステムが複数のフロントエンドサーバを備える例を示したが、本発明はこれに限定されず、本発明は、セルベースマシン等、1台のマシンが複数のCPUを備え、これらのCPUを分割して動的にパーテション構成を変更することが可能な装置にも適用することができる。これにより、このようなマシンにおいて、動的に構成が変更されるパーテション間のロードバランスを的確に調整することができる。 Furthermore, in the present embodiment, an example in which the server system includes a plurality of front-end servers has been described. However, the present invention is not limited to this, and the present invention includes a cell-based machine, such as one machine having a plurality of CPUs. It can also be applied to an apparatus that can divide these CPUs and dynamically change the partition configuration. Thereby, in such a machine, it is possible to accurately adjust the load balance between partitions whose configuration is dynamically changed.
本発明は、多階層サーバシステムに好適に利用することができる。 The present invention can be suitably used for a multi-tier server system.
1;サーバシステム
2;ストレージ
3;データベースサーバ
4;フロントエンドサーバ
5;ロードバランス装置
11;負荷評価手段
12;DBサーバCPU使用率測定手段
13;DBサーバレスポンスタイム測定手段
14;ストレージI/Oレイテンシ測定手段
15;ストレージI/O待ち行列測定手段
16;負荷状況集計手段
17;管理ポリシー記憶手段
18;管理ポリシー
19;負荷状況判断手段
20;フロントエンドサーバ負荷分散手段
21;過負荷抑止手段
DESCRIPTION OF
Claims (30)
前記サーバシステムの応答時間が基準範囲内にあるか否かを判定する判定手段と、
前記判定手段が基準範囲内にないと判定した場合に、前記第2乃至第nサーバの負荷を評価する負荷評価手段と、
前記サーバシステムに予備の前記第1サーバが存在し、且つ、前記負荷評価手段が、前記第2乃至第nサーバがいずれも過負荷状態にないと評価した場合に、前記予備の第1サーバを前記第1層に組み込んで駆動させ、前記第2乃至第nサーバのいずれかが過負荷状態であると評価した場合に、前記予備の第1サーバを前記第1層に組み込まない過負荷抑止手段と、
を有することを特徴とするロードバランス装置。 The first layer including a plurality of first servers and the second to nth layers including second to n-th (n is an integer of 2 or more) servers are incorporated in a server system having an n-layer structure, In a load balancer that distributes processing to one server,
Determining means for determining whether or not the response time of the server system is within a reference range;
A load evaluation unit that evaluates a load of the second to n-th servers when the determination unit determines that it is not within a reference range;
When the spare first server exists in the server system, and the load evaluating means evaluates that the second to nth servers are not overloaded, the spare first server is Overload inhibiting means that does not incorporate the spare first server into the first layer when it is incorporated and driven in the first layer and it is evaluated that any of the second to nth servers is overloaded. When,
A load balance device comprising:
前記ロードバランス装置は、
前記サーバシステムの応答時間が基準範囲内にあるか否かを判定する判定手段と、
前記判定手段が基準範囲内にないと判定した場合に、前記第2乃至第nサーバの負荷を評価する負荷評価手段と、
予備の前記第1サーバが存在し、且つ、前記負荷評価手段が、前記第2乃至第nサーバがいずれも過負荷状態にないと評価した場合に、前記予備の第1サーバを前記第1層に組み込んで駆動させ、前記第2乃至第nサーバのいずれかが過負荷状態であると評価した場合に、前記予備の第1サーバを前記第1層に組み込まない過負荷抑止手段と、を有することを特徴とするサーバシステム。 A first layer having a plurality of first servers, a second layer to an nth layer each having second to nth (n is an integer of 2 or more) servers and having an n-layer structure with the first layer, and the plurality of layers A load balancer that distributes processing to the first server of the server system,
The load balance device is:
Determining means for determining whether or not the response time of the server system is within a reference range;
A load evaluation unit that evaluates a load of the second to n-th servers when the determination unit determines that it is not within a reference range;
When the spare first server exists and the load evaluation unit evaluates that the second to nth servers are not overloaded, the spare first server is designated as the first layer. An overload inhibiting means that does not incorporate the spare first server into the first layer when any of the second to n-th servers is evaluated as being overloaded. A server system characterized by that.
前記複数の第1サーバに対して処理を分散する負荷分散工程と、
この負荷分散工程の結果、前記サーバシステムの応答時間が基準範囲内にあるか否かを判断する工程と、
前記第2乃至第nサーバの負荷を評価する負荷評価工程と、
前記応答時間が前記基準範囲内になく、予備の前記第1サーバが存在し、且つ前記負荷評価工程で前記第2乃至第nサーバがいずれも過負荷状態にないと評価された場合に、予備の前記第1サーバを前記第1層に組み込んで駆動させ、前記第2乃至第nサーバのいずれかが過負荷状態であると評価された場合に、前記予備の第1サーバを前記第1層に組み込まない過負荷抑止工程と、
を有することを特徴とするサーバシステムのロードバランス方法。 In a load balancing method for a server system having an n-layer structure with a first layer including a plurality of first servers and a second to n-th layer including second to n-th (n is an integer of 2 or more) servers,
A load distribution step for distributing processing to the plurality of first servers;
A step of determining whether or not the response time of the server system is within a reference range as a result of the load distribution step;
A load evaluation step for evaluating a load of the second to n-th servers;
Not in said response time is the reference range, when the preliminary first server is present, and the at the load evaluation step second to n server evaluates not any overload, preliminary When the first server is incorporated into the first layer and driven, and any of the second to n-th servers is evaluated to be overloaded, the spare first server is replaced with the first layer. Overload suppression process not incorporated in
A load balancing method for a server system, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005082120A JP4548168B2 (en) | 2005-03-22 | 2005-03-22 | Load balance device, server system and load balance method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005082120A JP4548168B2 (en) | 2005-03-22 | 2005-03-22 | Load balance device, server system and load balance method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006268155A JP2006268155A (en) | 2006-10-05 |
JP4548168B2 true JP4548168B2 (en) | 2010-09-22 |
Family
ID=37204099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005082120A Expired - Fee Related JP4548168B2 (en) | 2005-03-22 | 2005-03-22 | Load balance device, server system and load balance method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4548168B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8060891B2 (en) * | 2007-06-29 | 2011-11-15 | Microsoft Corporation | Management of external hardware appliances in a distributed operating system |
JP5212091B2 (en) * | 2008-12-26 | 2013-06-19 | 日本電気株式会社 | Object holding device, load balancing access system, object holding method, load balancing access method, and program |
JP2011138202A (en) * | 2009-12-25 | 2011-07-14 | Fujitsu Ltd | Server device, server load distribution device, server load distribution method, and program |
JP6248560B2 (en) | 2013-11-13 | 2017-12-20 | 富士通株式会社 | Management program, management method, and management apparatus |
CN116880412B (en) * | 2023-08-10 | 2024-05-17 | 上海兴岩信息科技有限公司 | Visual production management platform based on cloud |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003124976A (en) * | 2001-10-10 | 2003-04-25 | Hitachi Ltd | Method of allotting computer resources |
JP2003178040A (en) * | 2001-12-10 | 2003-06-27 | Hitachi Information Systems Ltd | Web site constitution determination supporting method |
-
2005
- 2005-03-22 JP JP2005082120A patent/JP4548168B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003124976A (en) * | 2001-10-10 | 2003-04-25 | Hitachi Ltd | Method of allotting computer resources |
JP2003178040A (en) * | 2001-12-10 | 2003-06-27 | Hitachi Information Systems Ltd | Web site constitution determination supporting method |
Also Published As
Publication number | Publication date |
---|---|
JP2006268155A (en) | 2006-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11159406B2 (en) | Load balancing web service by rejecting connections | |
CN109218355B (en) | Load balancing engine, client, distributed computing system and load balancing method | |
EP1116082B1 (en) | Dynamic load balancer for multiple network servers | |
US7444459B2 (en) | Methods and systems for load balancing of virtual machines in clustered processors using storage related load information | |
JP4313336B2 (en) | Monitoring system and monitoring method | |
JP5336094B2 (en) | Multipurpose allocation of computing jobs in client / server or hosting environments | |
US10078533B2 (en) | Coordinated admission control for network-accessible block storage | |
US20050154576A1 (en) | Policy simulator for analyzing autonomic system management policy of a computer system | |
US10027760B2 (en) | Methods, systems, and computer readable media for short and long term policy and charging rules function (PCRF) load balancing | |
US20050055694A1 (en) | Dynamic load balancing resource allocation | |
US7925805B2 (en) | Critical resource management | |
JP4548168B2 (en) | Load balance device, server system and load balance method thereof | |
CN108139971A (en) | A kind of chip of expansible memory | |
WO2014022395A1 (en) | Priority driven channel allocation for packet transferring | |
US9900090B1 (en) | Inter-packet interval prediction learning algorithm | |
JPH09120389A (en) | Method and device for job scheduling of cluster type computer | |
JP2008271017A (en) | Fabric switch, buffer capacity control method and buffer capacity control | |
CN106533978B (en) | A kind of network load balancing method and system | |
CN108092908B (en) | Method for controlling flow and sending end equipment | |
US10250673B1 (en) | Storage workload management using redirected messages | |
KR20100138885A (en) | Routing workloads and method thereof | |
JP2018530845A (en) | Method and system for balancing stored data traffic in a converged network | |
CN109933431A (en) | A kind of intelligent client load equalization methods and system | |
US7873759B2 (en) | Information processing system and method of allocating I/O to paths in same | |
CN115729864A (en) | Storage device, electronic device, and method for operating electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100628 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |