JPH07152700A - Load balancing system for computer system - Google Patents
Load balancing system for computer systemInfo
- Publication number
- JPH07152700A JPH07152700A JP5300381A JP30038193A JPH07152700A JP H07152700 A JPH07152700 A JP H07152700A JP 5300381 A JP5300381 A JP 5300381A JP 30038193 A JP30038193 A JP 30038193A JP H07152700 A JPH07152700 A JP H07152700A
- Authority
- JP
- Japan
- Prior art keywords
- node
- call
- load
- threshold value
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Multi Processors (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、同一機能及び同一性能
を有する複数コンピュータシステム（以下、ノードと呼
ぶ）をネットワークで接続したコンピュータシステムに
おいて、システム全体の負荷を各ノードに均等に配分す
る負荷均衡化方式に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a computer system in which a plurality of computer systems (hereinafter referred to as nodes) having the same function and the same performance are connected by a network, and a load for evenly distributing the load of the entire system to each node. Regarding the balancing method.
【０００２】[0002]
【従来の技術】複数のコンピュータ（ノード）をネット
ワークで接続したコンピュータシステムは、呼の到着の
仕方によって集中到着型システムと分散到着型システム
とに分けられる。集中到着型システムは、全ての呼を単
一ノード（呼受け付けノードと呼ぶ）が受け付け、該呼
受け付けノードから各ノードへ分配するシステムであ
り、分散到着型システムは、システム内の各ノードに呼
が到着し、各のードが呼を受け付けるシステムである。2. Description of the Related Art A computer system in which a plurality of computers (nodes) are connected to each other by a network is classified into a central arrival type system and a distributed arrival type system according to the way calls arrive. The centralized arrival type system is a system that accepts all calls by a single node (called a call acceptance node) and distributes them from the call acceptance node to each node, and the distributed arrival type system calls each node in the system. Is a system in which each terminal receives a call.
【０００３】一方、負荷均衡化方式には、システム内の
１つのノードが負荷均衡化処理機構を有し、該負荷均衡
化処理機構を有するノード（制御ノードと呼ぶ）のみが
負荷均衡化処理を実行する集中制御方式と、システム内
の各ノードが負荷均衡化処理機構を有し、各ノードが負
荷均衡化処理を実行する分散制御方式とがある。集中制
御方式は、理想に近い負荷均衡化が可能であるが、制御
ノードが必要であり、コストが大きく信頼性が低い。逆
に、分散制御方式は、負荷均衡化精度は低いが、制御ノ
ードが不要であるため、集中制御方式に比べて低コスト
・高信頼である。On the other hand, in the load balancing method, one node in the system has a load balancing processing mechanism, and only the node having the load balancing processing mechanism (called a control node) performs the load balancing processing. There are a centralized control method to be executed and a distributed control method in which each node in the system has a load balancing processing mechanism and each node executes the load balancing processing. Although the centralized control method can achieve load balancing close to ideal, it requires a control node, is costly, and has low reliability. On the contrary, the distributed control method has a low load balancing accuracy, but does not require a control node, and thus has lower cost and higher reliability than the centralized control method.
【０００４】集中到着型システム及び分散到着型システ
ムそれぞれに、集中制御方式及び分散制御方式による負
荷均衡化法を適用した場合の利害・得失をまとめると、
図１３のようになる。Summarizing the advantages and disadvantages when the load balancing method by the centralized control method and the distributed control method is applied to the centralized arrival type system and the distributed arrival type system, respectively,
It becomes like FIG.
【０００５】[0005]
【発明が解決しようとする課題】本発明は、分散制御方
式による負荷均衡化法と同等以下のコスト及び分散制御
方式による負荷均衡化法と同等以上の信頼性を達成し、
且つ、集中制御方式による負荷均衡化法と同等以上の平
均応答時間短縮量を達成する、コンピュータシステムの
負荷均衡化方式を提供することにである。The present invention achieves a cost equal to or less than that of the load balancing method by the distributed control method and reliability equal to or more than that of the load balancing method by the distributed control method.
Another object of the present invention is to provide a load balancing method for a computer system that achieves an average response time reduction amount equal to or greater than that of the load balancing method using the centralized control method.
【０００６】[0006]
【課題を解決するための手段】本発明の負荷均衡化方式
は、呼を論理的に一方向にのみ伝達する論理的ループネ
ットワークにより各ノードを接続すると共に、各ノード
の呼処理部と論理的ループネットワークとの間に、自ノ
ードの負荷を推定する自ノード負荷推定手段と、システ
ム全体の負荷変動に応じて自ノードの負荷配分閾値（以
下、閾値と呼ぶ）を変更する閾値変更手段と、論理的ル
ープネットワークを周回する呼を入力し、自ノード負荷
推定値と閾値の大小関係を比較し、呼を呼処理部に渡す
かあるいは渡さずに再び論理的ループネットワークに送
出する制御を行う呼取り込み制御手段とからなる負荷均
衡化手段を配置することを特徴とするものである。According to the load balancing method of the present invention, each node is connected by a logical loop network that logically transfers a call only in one direction, and the call processing unit of each node is logically connected. A self-node load estimating means for estimating the load of the self-node between the loop network and a threshold changing means for changing a load distribution threshold (hereinafter, referred to as a threshold) of the self-node according to a load variation of the entire system; A call that inputs a call that goes around the logical loop network, compares the estimated value of the load on the local node with the threshold value, passes the call to the call processing unit, or sends the call again to the logical loop network. The present invention is characterized in that a load balancing means including an intake control means is arranged.
【０００７】[0007]
【作用】自ノード負荷推定手段は、自ノード内呼数や自
ノードの応答時間などを基に自ノード負荷の推定を行
う。The own node load estimating means estimates the own node load based on the number of calls in the own node, the response time of the own node, and the like.
【０００８】閾値変更手段は、ネットワークに投入され
てからどのノードにも処理されずにネットワークを１周
以上している呼（周回呼）の検出を契機として、あるい
は一定時間以内にネットワークを通過する呼の数の変化
に応じて、閾値を変更する。閾値は、自ノード負荷をノ
ード内待ち呼数から推定する場合には、ノード内待ち呼
数の上限値であり、自ノード負荷を応答時間から推定す
る場合には、応答時間上限値をノード内待ち呼数に換算
した値である。The threshold value changing means passes through the network upon detection of a call (circular call) that has been made one or more rounds of the network without being processed by any node since being input to the network. The threshold is changed according to the change in the number of calls. The threshold is the upper limit of the number of waiting calls in the node when estimating the own node load from the number of waiting calls in the node, and the upper limit of the response time in the node when estimating the own node load from the response time. It is a value converted into the number of waiting calls.
【０００９】呼取り込み制御手段は、ネットワークを周
回する呼を入力する度に、自ノード負荷推定値と閾値の
大小関係を比較して呼取り込み制御を行う。また、呼取
り込み制御手段では、自ノード負荷推定値と閾値の大小
関係の比較を、一定周期で、または閾値あるいは自ノー
ド負荷推定値が変更されることを契機として行ない、そ
の結果を記憶しておき、呼到着時には記憶してある比較
結果に基づいて呼の取り込み制御を行うようにしてもよ
い。The call acquisition control means compares the size of the estimated load value of its own node with the threshold value every time a call circulating in the network is input, and performs call acquisition control. In addition, the call intake control means performs a comparison of the magnitude relationship between the estimated load value of the own node and the threshold value at regular intervals or when the threshold value or the estimated load value of the own node is changed, and stores the result. Alternatively, when the call arrives, the call acquisition control may be performed based on the stored comparison result.
【００１０】このような自ノード負荷推定手段、閾値変
更手段及び呼取り込み制御手段からなる負荷均衡化手段
を、各ノードの呼処理部とネットワークとの間に設ける
ことにより、システム全体の負荷をシステム内の各ノー
ドに均等に配分することが可能になる。By providing the load balancing means including the self-node load estimating means, the threshold changing means and the call intake control means between the call processing section of each node and the network, the load of the entire system can be reduced. It becomes possible to evenly distribute to each node inside.
【００１１】[0011]
【実施例】以下、本発明の一実施例について図面により
説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.
【００１２】図１は本発明の負荷均衡化方式の一実施例
の構成図である。各ノードがネットワーク１０５に接続
されているが、該各ノードがネットワークから取込んだ
呼を処理する呼処理部１０４とネットワーク１０５との
間に、本発明の負荷均衡化手段１００を設ける。該負荷
均衡化手段１００は、自ノードの負荷を推定する自ノー
ド負荷推定手段１０１と、システム全体の負荷変動に応
じて自ノードの負荷配分閾値２０２を変更する閾値変更
手段１０２と、ネットワーク１０５を周回する呼を入力
し、自ノード負荷推定値２０１と閾値２０２の大小関係
を比較し、呼を呼処理部１０４に渡すかあるいは呼処理
部１０４に渡さずに再びネットワーク１０５に送出する
かの制御（呼取り込み制御）を行う呼取り込み制御手段
１０３とから構成される。FIG. 1 is a block diagram of an embodiment of the load balancing system of the present invention. Each node is connected to the network 105, and the load balancing unit 100 of the present invention is provided between the call processing unit 104 that processes a call taken in by the node and the network 105. The load balancing unit 100 includes a self-node load estimating unit 101 that estimates the load of the self-node, a threshold changing unit 102 that changes the load distribution threshold 202 of the self-node according to the load fluctuation of the entire system, and a network 105. Controlling whether a circulating call is input, the magnitude relation between the estimated load 201 of the own node and the threshold 202 is compared, and the call is passed to the call processing unit 104 or is not passed to the call processing unit 104 and is again sent to the network 105. It is composed of a call capture control means 103 for performing (call capture control).
【００１３】ネットワーク１０５は論理的ループネット
ワークを形成し、呼を論理的に１方向にのみ伝送する。
この結果、呼は、負荷均衡化手段１００の呼取り込み制
御手段１０３により当該ノード内の呼処理部１０４に渡
されるまで論理的ループネットワーク１０５を周回す
る。例えば、集中到着型システムの場合には、呼は呼受
け付けノードに到着したのちに、該呼受け付けノードに
よって論理的ループネットワーク１０５に投入され、論
理的ループネットワーク１０５を周回する。呼受け付け
ノードは、どのノードにも処理されずに論理ループネッ
トワーク１０５を１周以上してきた呼（周回呼と呼ぶ）
に印をつけたのち、再び論理的ループネットワーク１０
５に流し、各ノードが周回呼とそれ以外の呼とを区別で
きるようにする。分散到着型システムの場合には、集中
到着型システムにおいて呼受け付けノードが実行してい
た呼受付、呼の論理的ループネットワーク１０５への投
入及び周回呼への印付けを各ノードが行うようにする。The network 105 forms a logical loop network, logically transmitting calls in only one direction.
As a result, the call circulates in the logical loop network 105 until it is delivered to the call processing unit 104 in the node by the call intake control unit 103 of the load balancing unit 100. For example, in the case of a centralized arrival type system, after the call arrives at the call admission node, the call is put into the logical loop network 105 by the call admission node and goes around the logical loop network 105. The call accepting node is a call that has made one or more rounds of the logical loop network 105 without being processed by any node (called a loop call).
And then mark the logical loop network 10 again.
5 so that each node can distinguish between a circular call and other calls. In the case of the distributed arrival type system, each node performs the call acceptance executed by the call acceptance node in the centralized arrival type system, the injection of the call to the logical loop network 105, and the marking of the circular call. .
【００１４】自ノード負荷推定手段１０１は、呼処理部
１０４に渡す呼及び呼処理部１０４から渡される結果を
監視し、自ノードの負荷を推定する。閾値変更手段１０
２は、システム全体の負荷の変動量を推定し、システム
負荷変動量推定値をもとに閾値２０２を変化させる。呼
取り込み制御手段１０３は、論理的ループネットワーク
１０５を周回する呼を内部入力し、自ノード負荷推定手
段１０１により推定した自ノード負荷推定値２０１と、
閾値変更手段１０２により設定された閾値２０２とを比
較し、その大小関係に基づいて呼を呼処理部１０４に渡
すかあるいは呼処理部１０４に渡さずに再び論理的ルー
プネットワーク１０５に送出するか否かの制御（呼取り
込み制御）を行う。The self-node load estimating means 101 monitors the call delivered to the call processing unit 104 and the result delivered from the call processing unit 104, and estimates the load of the self-node. Threshold changing means 10
2 estimates the variation amount of the load of the entire system and changes the threshold value 202 based on the estimated value of the system load variation amount. The call acquisition control means 103 internally inputs a call circulating in the logical loop network 105, and the own node load estimated value 201 estimated by the own node load estimation means 101,
Whether the call is delivered to the call processing unit 104 or not to the call processing unit 104 again based on the magnitude relation, by comparing with the threshold 202 set by the threshold changing unit 102, and whether the call is sent to the logical loop network 105 again. Control (call up control).
【００１５】図２は、負荷均衡化手段１００の実現場所
の概念図を示したもので、（ａ）はノードと論理的ルー
プネットワーク１０５の間、即ち、ノード外にて実現す
る場合であり、（ｂ）はノード内にて実現する場合であ
る。なお、図２はいずれも集中到着型システムの場合に
ついてのものであるが、分散到着型システムの場合に
は、呼は各ノードを経由して論理的ループネットワーク
１０５に投入されることになる。FIG. 2 is a conceptual diagram of a realization place of the load balancing means 100. FIG. 2A shows a case where it is realized between the node and the logical loop network 105, that is, outside the node. (B) is a case where it is realized in the node. Although FIG. 2 shows the case of the centralized arrival type system, in the case of the distributed arrival type system, the call is input to the logical loop network 105 via each node.
【００１６】図３は、図１の負荷均衡化手段１００の全
体的動作を示す流れ図である。呼は、集中到着型システ
ムの場合には呼受け付けノードを経由して、分散到着型
システムの場合には各ノードを経由して、それぞれ論理
的ループネットワーク１０５へ投入され、論理的ループ
ネットワーク１０５を周回しているものとする。FIG. 3 is a flow chart showing the overall operation of the load balancing means 100 of FIG. The call is input to the logical loop network 105 via the call reception node in the case of the centralized arrival type system and via each node in the case of the distributed arrival type system, and the logical loop network 105 is connected. It is supposed to be orbiting.
【００１７】論理的ループネットワーク１０５から呼の
入力があると（３１１）、呼取り込み制御手段１０３は
その旨を閾値変更手段１０２に通知し、閾値変更手段１
０２はシステム全体の負荷の変動量を推定し、変動量に
応じて閾値２０２を変更する（３１２）。呼取り込み制
御手段１０３は、自ノード負荷推定値２０１と閾値２０
２とを比較し（３１３）、その大小関係によって、呼を
呼処理部１０４に渡すか（３１４）、あるいは呼処理部
１０４に渡さずに論理的ループネットワーク１０５に送
出する（３１６）。呼処理部１０４に呼を渡した場合に
は、呼取り込み制御手段１０３はその旨を自ノード負荷
推定手段１０１に通知し、自ノード負荷推定手段１０１
は自ノード負荷推定値２０１を更新する（３１５）。When a call is input from the logical loop network 105 (311), the call intake control means 103 notifies the threshold changing means 102 of that fact, and the threshold changing means 1
02 estimates the variation amount of the load of the entire system, and changes the threshold value 202 according to the variation amount (312). The call intake control means 103 uses the estimated load value 201 of the own node and the threshold value 20.
2 is compared (313), and the call is delivered to the call processing unit 104 (314) or is not delivered to the call processing unit 104 and is sent to the logical loop network 105 (316) depending on the magnitude relation. When the call is handed over to the call processing unit 104, the call acquisition control means 103 notifies the self-node load estimation means 101 of that fact, and the self-node load estimation means 101.
Updates the own node load estimated value 201 (315).
【００１８】また、呼処理部１０４からの結果の入力が
あると（３２１）、自ノード負荷推定手段１０１は自ノ
ード負荷推定値２０１を更新し（３２２）、結果を論理
的ループネットワーク１０５に送出する。ここで、呼と
は、呼処理部１０４が実行する処理の単位であり、結果
とは、呼処理部１０４に渡した呼に対し該呼処理部１０
４から返される応答である。When a result is input from the call processing unit 104 (321), the own node load estimation means 101 updates the own node load estimation value 201 (322) and sends the result to the logical loop network 105. To do. Here, the call is a unit of processing executed by the call processing unit 104, and the result is the call processing unit 10 for the call passed to the call processing unit 104.
It is a response returned from No. 4.
【００１９】以下に、各実施例について、自ノード負荷
推定手段１０１、閾値変更手段１０２、呼取り込み制御
手段１０３の動作を説明する。The operations of the self-node load estimating means 101, the threshold changing means 102, and the call acquisition control means 103 will be described below for each embodiment.
【００２０】＜実施例１＞ 自ノード負荷推定手段１０１；自ノード負荷推定手段１
０１は呼取り込み数カウンタを内蔵し、呼取り込み制御
手段１０３が呼を呼処理部１０４に渡した場合に呼取り
込み数カウンタを１増やし、結果を呼処理部１０４から
受け取った場合に呼取り込み数カウンタを１減らし、該
カウンタの値を自ノード負荷推定値２０１として、呼取
り込み制御手段１０３に伝える。図４は、このノード内
待ち呼数から自ノード負荷を推定する場合の自ノード負
荷推定手段１０１の動作流れ図である。<Example 1> Self-node load estimating means 101; Self-node load estimating means 1
Reference numeral 01 is a built-in call up number counter, which increments the call up number counter by 1 when the call up control means 103 passes the call to the call processing unit 104, and calls up number counter when the result is received from the call processing unit 104. Is decremented by 1 and the value of the counter is sent to the call acquisition control means 103 as the own node load estimated value 201. FIG. 4 is an operation flow chart of the own node load estimation means 101 when estimating the own node load from the number of waiting calls in the node.
【００２１】閾値変更手段１０２；閾値変更手段１０２
は、周回呼を検出した場合に、その呼を呼処理部１０４
に渡すと同時に閾値２０２を１ステップ上げる。ただ
し、周回呼検出時刻が前回の周回呼検出時刻に周回時間
（呼がどのノードにも処理されずに論理的ループネット
ワーク１０５を１周する時間）を加えた時刻以前である
場合には閾値２０２を上げない。また、周回呼を検出し
ない期間が周回時間よりも長くなった場合には、閾値を
１ステップ下げる。図５は、この周回呼検出を契機とし
て閾値２０２を変更する場合の閾値変更手段１０２の動
作流れ図である。Threshold changing means 102; Threshold changing means 102
When the circuit call is detected, the call processing unit 104
And the threshold value 202 is increased by one step. However, when the round-trip call detection time is before the round-trip call detection time plus the round-trip time (the time during which the call goes around the logical loop network 105 without being processed by any node), the threshold 202 Do not raise. In addition, when the period during which the loop call is not detected becomes longer than the loop time, the threshold value is lowered by one step. FIG. 5 is an operation flow chart of the threshold value changing means 102 when the threshold value 202 is changed upon the detection of the circular call.
【００２２】呼取り込み制御手段１０３；呼取り込み制
御手段１０３は、呼の到着ごとに自ノード負荷推定値２
０１と閾値２０２との比較を行い、自ノード負荷推定値
２０１が閾値２０２より小さい場合には周回呼・通常呼
ともに呼処理部１０４に渡すが、自ノード負荷推定値２
０１が閾値２０２と等しいか閾値２０２よりも大きい場
合は、周回呼のみを呼処理部１０４に渡し、周回呼以外
の呼は論理的ループネットワーク１０５に流す。Call up control means 103; call up control means 103 estimates the load of its own node 2 each time a call arrives.
01 and the threshold value 202 are compared, and when the own node load estimated value 201 is smaller than the threshold value 202, both the circular call and the normal call are passed to the call processing unit 104, but the own node load estimated value 2
When 01 is equal to or greater than the threshold 202, only the circular call is passed to the call processing unit 104, and the calls other than the circular call are passed to the logical loop network 105.
【００２３】図６は、この周回呼による閾値制御を行う
この場合の呼取り込み制御手段１０３の動作流れ図であ
る。FIG. 6 is an operation flow chart of the call intake control means 103 in this case for performing threshold control by the round-trip call.
【００２４】＜実施例２＞ 自ノード負荷推定手段１０１；自ノード負荷推定手段１
０１は、呼を呼処理部１０４に渡した時刻と各呼に対応
する結果を呼処理部１０４から受けとった時刻とから呼
の応答時間ＲＴを算出し、該ＲＴを無負荷時の応答時間
ＲＴ0で割った値を切り上げて整数化した値を自ノード
負荷推定値２０１とする。即ち、自ノード負荷推定値２
０１は次の数１で表わされる。<Second Embodiment> Self-node load estimating means 101; Self-node load estimating means 1
01 calculates a call response time RT from the time when the call is passed to the call processing unit 104 and the time when the result corresponding to each call is received from the call processing unit 104, and the RT is the response time RT under no load. A value obtained by rounding up the value divided by 0 and making it an integer is set as the own node load estimated value 201. That is, the own node load estimated value 2
01 is represented by the following formula 1.
【００２５】[0025]
【数１】 [Equation 1]
【００２６】図７は、この個々の呼の応答時間から自ノ
ード負荷を推定する場合の自ノード負荷推定手段１０１
の動作流れ図である。FIG. 7 shows the own node load estimating means 101 for estimating the own node load from the response time of each individual call.
FIG.
【００２７】閾値変更手段１０２；閾値変更手段１０２
は実施例１の場合と同じである（図５）。Threshold changing means 102; Threshold changing means 102
Is the same as that of the first embodiment (FIG. 5).
【００２８】呼取り込み制御手段１０３；呼取り込み制
御手段１０３も実施例１の場合と同じである（図６）。Call up control means 103; Call up control means 103 is also the same as in the first embodiment (FIG. 6).
【００２９】＜実施例３＞ 自ノード負荷推定手段１０１；自ノード負荷推定手段１
０１は、一定数の呼あるいは一定時間内に処理された呼
について応答時間ＲＴiを計測し、応答時間の平均値Ｒ
Ｔmean （平均応答時間と呼ぶ）ＲＴmeanを、 平均応答時間ＲＴmean＝（ΣＲＴi）／呼数 により算出し、該ＲＴmeanを無負荷時の応答時間Ｒ Ｔ
0で割った値を切り上げて整数化した値を自ノード負荷
推定値２０１とする。即ち、自ノード負荷推定値２０１
は次の数２で表わされる。<Embodiment 3> Own node load estimating means 101; Own node load estimating means 1
01 measures the response time RT i with respect to a fixed number of calls or a call processed within a fixed time, and calculates an average value R of the response times.
T mean (referred to as average response time) RT mean is calculated by the average response time RT mean = (ΣRT i ) / number of calls, and this RT mean is the response time RT under no load.
A value obtained by rounding up the value divided by 0 and making it an integer is set as the own node load estimated value 201. That is, the own node load estimated value 201
Is expressed by the following equation 2.
【００３０】[0030]
【数２】 [Equation 2]
【００３１】図８は、この平均応答時間から自ノード負
荷を推定する場合の自ノード負荷推定手段１０１の動作
流れ図である。FIG. 8 is an operation flow chart of the own node load estimating means 101 when estimating the own node load from the average response time.
【００３２】閾値変更手段１０２；閾値変更手段１０２
は実施例１の場合と同じである（図５）。Threshold changing means 102; Threshold changing means 102
Is the same as that of the first embodiment (FIG. 5).
【００３３】呼取り込み制御手段１０３；呼取り込み制
御手段１０３も実施例１の場合と同じである（図６）。Call up control means 103; Call up control means 103 is also the same as in the first embodiment (FIG. 6).
【００３４】＜実施例４＞ 自ノード負荷推定手段１０１；自ノード負荷推定手段１
０１は実施例１の場合と同じとする（図４）。<Embodiment 4> Own node load estimating means 101; Own node load estimating means 1
01 is the same as that in the first embodiment (FIG. 4).
【００３５】閾値変更手段１０２；閾値変更手段２０１
は、一定期間Ｔに論理的ループネットワーク１０５を通
過する呼数を計測し、その値の変化をもとにして閾値２
０２を変更する。この一定期間Ｔに論理的ループネット
ワーク１０５を通過した呼の数と直前の計測期間におけ
る通過呼数との比をシステム負荷変動量とする。自ノー
ド負荷推定値２０１が閾値２０２と等しいか閾値２０２
より大きい場合で、システム負荷変動量が１より大きい
場合には、システム負荷変動量の大きさに応じて閾値２
０２を上げる。ただし、閾値２０２が既に上限値に達し
ている場合には閾値２０２を上げない。一方、自ノード
負荷推定値２０１が閾値２０２より小さい場合で、シス
テム負荷変動量が１より小さい場合には、システム負荷
変動量の大きさに応じて閾値２０２を下げる。ただし、
閾値２０２が既に下限値に達している場合には閾値２０
２を下げない。なお、システム負荷変動量が微小な場合
には、閾値２０２を変更しない方がよい場合があるの
で、閾値２０２の変更の判定は、システム負荷変動量が
一定以上の場合に行う。即ち、αを定数として、 （1）１＋α＜システム負荷変動量では閾値２０２を上
げる。 （2）システム負荷変動量＜１−αでは閾値２０２を下
げる。 （3）１−α≦システム負荷変動量≦１＋αです閾値２
０２を変えない。 図２は、この通過呼数の変化からシステムの負該変動量
を推定して閾値を変更する場合の閾値変更手段１０２の
動作流れ図である。Threshold changing means 102; Threshold changing means 201
Measures the number of calls passing through the logical loop network 105 for a certain period T, and based on the change in the value, the threshold 2
Change 02. The ratio of the number of calls that have passed through the logical loop network 105 during this fixed period T and the number of calls that have passed in the immediately preceding measurement period is taken as the system load fluctuation amount. Is own node load estimated value 201 equal to threshold 202 or threshold 202
If the system load fluctuation amount is greater than 1, and the system load fluctuation amount is greater than 1, the threshold value 2 is set according to the magnitude of the system load fluctuation amount.
Raise 02. However, if the threshold 202 has already reached the upper limit, the threshold 202 is not raised. On the other hand, when the estimated load 201 of the own node is smaller than the threshold 202 and the system load variation is smaller than 1, the threshold 202 is lowered according to the magnitude of the system load variation. However,
If the threshold 202 has already reached the lower limit, the threshold 20
Do not lower 2. It should be noted that when the system load fluctuation amount is minute, it may be better not to change the threshold value 202. Therefore, the determination of the change of the threshold value 202 is performed when the system load fluctuation amount is equal to or more than a certain value. That is, with α as a constant, the threshold 202 is raised when (1) 1 + α <system load variation amount. (2) The threshold 202 is lowered when the system load variation amount is <1-α. (3) 1-α ≤ system load variation ≤ 1 + α Threshold 2
Do not change 02. FIG. 2 is an operation flow chart of the threshold value changing means 102 when changing the threshold value by estimating the negative variation amount of the system from the change in the number of passing calls.
【００３６】呼取り込み制御手段１０３；呼取り込み制
御手段１０３は、呼が到着するごとに、自ノード負荷推
定手段１０１により自ノード負荷推定値２０１と閾値変
更手段１０２により設定した閾値２０２とを比較し、そ
の大小関係によって呼を呼処理部１０４へ渡すか論理的
ループネットワーク１０５へ流すかを決定する。即ち、 （1）閾値２０２＞自ノード負荷推定値２０１では呼を
呼処理部１０４へ渡す。 （2）閾値２０２≦自ノード負荷推定値２０１では呼を
論理的ループネットワーク１０５へ渡す。 図１０は、この呼到着ごとに比較を行う場合（周回呼に
よらない閾値制御の場合）取り込みの呼取り込み制御手
段１０３の動作流れ図である。Call capture control means 103: The call capture control means 103 compares the estimated load 201 of its own node with the estimated load 201 of its own node and the threshold 202 set by the threshold changing means 102 every time a call arrives. , And whether the call is passed to the call processing unit 104 or to the logical loop network 105 is determined according to the size relation. That is, (1) When the threshold value 202> the own node load estimated value 201, the call is passed to the call processing unit 104. (2) When the threshold value 202 ≦ the own node load estimated value 201, the call is passed to the logical loop network 105. FIG. 10 is an operation flow chart of the call acquisition control means 103 for acquisition when a comparison is made for each arrival of a call (in the case of threshold control not based on a circular call).
【００３７】＜実施例５＞ 自ノード負荷推定手段１０１；自ノード負荷推定手段１
０１は実施例１の場合と同じとする（図４）。<Embodiment 5> Own node load estimating means 101; Own node load estimating means 1
01 is the same as that in the first embodiment (FIG. 4).
【００３８】閾値変更手段１０２；閾値変更手段１０２
も実施例１の場合と同じとする（図５）。Threshold changing means 102; Threshold changing means 102
The same applies to the case of the first embodiment (FIG. 5).
【００３９】呼取り込み制御手段１０３；呼取り込み制
御手段１０３は、一定周期で、または、閾値２０２ある
いは自ノード負荷推定値２０１の変更を契機として、自
ノード負荷推定値２０１と閾値２０２との比較を行い、
比較結果を呼引渡しフラグの値として設定・記憶してお
く。即ち、 （1）閾値２０２＞自ノード負荷推定値２０１では呼引
渡しフラグをオンとする。 （2）閾値２０２＝自ノード負荷推定値２０１では呼引
渡しフラグをオフとする。 呼到着時には自ノード負荷推定値２０１と閾値２０２と
の比較を行わず、呼引渡しフラグの値に従って呼取り込
み制御のみを行う。即ち、呼引渡しフラグがオンの場合
には、周回呼・通常呼ともに呼処理部１０４へ渡すが、
呼引渡しフラグがオフの場合には、周回呼のみ呼処理部
１０４へ渡し、周回呼以外の呼は論理的ループネットワ
ーク１０５に流す。図１１は、一定周期で自ノード負荷
推定値２０１と閾値２０２の比較を行う場合（周回呼に
よる閾値制御の場合）の呼取り込み制御手段１０３の動
作流れ図である。Call up control means 103; The call up control means 103 compares the estimated load value 201 of the own node with the threshold value 202 at regular intervals or when the threshold 202 or the estimated load value 201 of the own node is changed. Done,
The comparison result is set and stored as the value of the call delivery flag. That is, (1) When the threshold value 202> the own node load estimated value 201, the call delivery flag is turned on. (2) The threshold 202 = the own node load estimated value 201 turns off the call delivery flag. When the call arrives, the estimated load 201 of the own node is not compared with the threshold 202, and only the call acquisition control is performed according to the value of the call delivery flag. That is, when the call delivery flag is on, both the circuit call and the normal call are delivered to the call processing unit 104.
When the call delivery flag is off, only the circulating call is passed to the call processing unit 104, and the calls other than the circulating call are passed to the logical loop network 105. FIG. 11 is an operation flow chart of the call intake control means 103 in the case where the estimated load 201 of the own node and the threshold 202 are compared with each other in a constant cycle (in the case of threshold control by a loop call).
【００４０】＜実施例６＞ 自ノード負荷推定手段１０１；自ノード負荷推定手段１
０１は実施例１の場合と同じとする（図４）。<Embodiment 6> Own node load estimating means 101; Own node load estimating means 1
01 is the same as that in the first embodiment (FIG. 4).
【００４１】閾値変更手段１０２；閾値変更手段１０２
は実施例４の場合を適用する（図９）。Threshold changing means 102; Threshold changing means 102
Applies the case of Example 4 (FIG. 9).
【００４２】呼取り込み制御手段１０３；呼取り込み制
御手段１０３は実施例５の呼引渡しフラグを使用する。
本実施例場合、図１１中の周回呼判定は不要であるた
め、呼取り込み制御手段１０３の動作流れ図は図１２の
ようになる。Call up control means 103; The call up control means 103 uses the call delivery flag of the fifth embodiment.
In the present embodiment, since the circuit call determination in FIG. 11 is unnecessary, the operation flow chart of the call intake control means 103 is as shown in FIG.
【００４３】以上、種々の実施例を示したが、上記以外
の組合せでも同様の効果がある。また、上記実施例で
は、呼が呼処理部１０４に渡した順に処理され、結果は
呼が処理された順番と同じ順番で出力され、１つの呼に
対して１つの結果が返される場合を前提にしたが、識別
子等により呼と結果との対応をつけることにより、呼が
取り込まれた順番と異なる順番で結果が出力される場合
についても容易に実現可能である。また、結果の最後を
識別することにより、１つの呼に対して複数の結果が返
される場合についても容易に実現可能である。Although various embodiments have been described above, the same effect can be obtained with combinations other than the above. Further, in the above embodiment, it is assumed that the calls are processed in the order passed to the call processing unit 104, the results are output in the same order in which the calls are processed, and one result is returned for one call. However, by associating the call with the result by the identifier or the like, it is possible to easily realize the case where the result is output in the order different from the order in which the call is captured. Further, by identifying the end of the result, it is possible to easily realize a case where a plurality of results are returned for one call.
【００４４】[0044]
【発明の効果】以上説明したように、本発明では、論理
ループネットワークを各ノードの共通バッファとして利
用し、自ノード負荷推定手段により自ノード負荷推定値
を求め、閾値変更手段によりシステム全体の負荷変動量
を反映した閾値を求め、呼取り込み制御手段により自ノ
ード負荷推定値と閾値の大小関係を比較して呼取り込み
制御を行うので、次のような効果が得られる。 １．制御ノードが不要となるため、分散制御方式と同等
以上のコスト・信頼性、集中制御方式に比べて低コスト
・高信頼性を実現できる。 ２．集中制御方式よりも低く分散制御方式と同等の負荷
均衡化精度及び集中制御方式・分散制御方式よりも小さ
い負荷均衡化処理オーバヘッドにより、分散制御方式よ
りも大きく集中制御方式と同等以上の平均応答時間短縮
量を達成できる。 ３．特定ノードへの呼の集中到着があった場合に処理し
切れない呼を論理的ループネットワーク１０５に送出
し、他ノードに処理させるので、システムとしての負荷
耐力が大きい。 ４．各ノードの待ち呼数の上限を閾値により制限するの
で、平均応答時間規定値を守ることができる。 ５．システム全体の負荷変動に応じて各ノードの閾値を
変動させるので、システム全体の負荷変動に追従した負
荷均衡化が可能となる。As described above, according to the present invention, the logical loop network is used as a common buffer of each node, the own node load estimating means obtains the own node load estimated value, and the threshold changing means makes the load of the entire system. The following effects are obtained because the call up control means performs a call up control by comparing the estimated load value of the own node with the threshold value by the call up control means. 1. Since a control node is not required, cost and reliability equal to or higher than that of the distributed control method and lower cost and higher reliability than the centralized control method can be realized. 2. Lower than the centralized control method and equivalent to the distributed control method in load balancing accuracy and smaller than the centralized control method / centralized control method Due to the load balancing processing overhead, it is larger than the distributed control method and the average response time equal to or higher than the centralized control method The amount of shortening can be achieved. 3. When there is a concentrated arrival of calls to a specific node, calls that cannot be processed are sent to the logical loop network 105 and processed by other nodes, so the load bearing capacity of the system is large. 4. Since the upper limit of the number of waiting calls of each node is limited by the threshold value, the average response time specified value can be kept. 5. Since the threshold value of each node is changed according to the load change of the entire system, it is possible to balance the load according to the load change of the entire system.
【図１】本発明の負荷均衡化方式の一実施例の構成図で
ある。。FIG. 1 is a configuration diagram of an embodiment of a load balancing system of the present invention. .
【図２】本発明の負荷均衡化方式の概念図である。FIG. 2 is a conceptual diagram of a load balancing method of the present invention.
【図３】図１の負荷均衡化手段の全体的動作流れ図であ
る。3 is an overall operational flow chart of the load balancing means of FIG.
【図４】図１の自ノード負荷推定手段の動作流れ図の一
例である。FIG. 4 is an example of an operation flow chart of own node load estimation means of FIG.
【図５】図１の閾値変更手段の動作流れ図の一例であ
る。5 is an example of an operation flow chart of the threshold value changing means of FIG. 1. FIG.
【図６】図１の呼取り込み制御手段の動作流れ図の一例
である。FIG. 6 is an example of an operation flow chart of the call intake control means of FIG.
【図７】図１の自ノード負荷推定手段の動作流れ図の他
の一例である。7 is another example of an operation flow chart of the own node load estimating means of FIG. 1. FIG.
【図８】図１の自ノード負荷推定手段の動作流れ図の更
に他の一例である。8 is still another example of the operation flow chart of the own node load estimating means of FIG. 1. FIG.
【図９】図１の閾値変更手段の動作流れ図の他の一例で
ある。9 is another example of an operation flow chart of the threshold value changing means in FIG. 1. FIG.
【図１０】図１の呼取り込み制御手段の動作流れ図の他
の一例である。10 is another example of an operation flow chart of the call intake control means of FIG. 1. FIG.
【図１１】図１の呼取り込み制御手段の動作流れ図の更
に他の一例である。FIG. 11 is still another example of the operation flow chart of the call intake control means of FIG. 1.
【図１２】図１の呼取り込み制御手段の動作流れ図の更
に他の一例である。FIG. 12 is still another example of the operation flow chart of the call intake control means of FIG. 1.
【図１３】集中到着システム・分散到着システム及び集
中制御方式・分散制御方式の間の利害得失を示す図であ
る。FIG. 13 is a diagram showing advantages and disadvantages between a centralized arrival system / distributed arrival system and a centralized control system / distributed control system.
１００ 負荷均衡化手段 １０１ 自ノード負荷推定手段 １０２ 閾値変更手段 １０３ 呼取り込み制御手段 １０４ 呼処理部 １０５ ネットワーク 100 load balancing means 101 own node load estimation means 102 threshold value changing means 103 call intake control means 104 call processing unit 105 network
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山下 博之 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 山下 正秀 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Hiroyuki Yamashita 1-6, Uchisaiwaicho, Chiyoda-ku, Tokyo Nihon Telegraph and Telephone Corporation (72) Masahide Yamashita 1-6, Uchisaiwaicho, Chiyoda-ku, Tokyo Nippon Telegraph and Telephone Corporation
Claims (7)
ぶ）をネットワークで接続したコンピュータシステムに
おいて、システム全体の負を各ノードに均等に配分する
負荷均衡化方式であって、 呼を論理的に一方向にのみ伝達する論理的ループネット
ワークにより各ノードを接続すると共に、 各ノードの呼処理部と論理的ループネットワークとの間
に、自ノードの負荷を推定する自ノード負荷推定手段
と、システム全体の負荷変動に応じて自ノードの負荷配
分閾値（以下、閾値と呼ぶ）を変更する閾値変更手段
と、論理的ループネットワークを周回する呼を入力し、
自ノード負荷推定値と閾値の大小関係を比較し、呼を呼
処理部に渡すかあるいは渡さずに再び論理的ループネッ
トワークに送出する制御（以下、呼取り込み制御と呼
ぶ）を行う呼取り込み制御手段とからなる負荷均衡化手
段を配置する、 ことを特徴とするコンピュータシステムの負荷均衡化方
式。1. In a computer system in which a plurality of computers (hereinafter referred to as "nodes") are connected by a network, a load balancing method for evenly distributing the negative of the entire system to each node. Each node is connected by a logical loop network that transmits only in the direction, and between the call processing unit of each node and the logical loop network, its own node load estimating means for estimating the load of its own node, and the entire system A threshold changing means for changing a load distribution threshold (hereinafter, referred to as a threshold) of its own node according to a load change, and a call circulating in a logical loop network are input,
A call intake control means for comparing the estimated value of the own node load and the threshold value, and for transmitting the call to the logical loop network again or not without passing it to the call processing unit (hereinafter referred to as call intake control). A load balancing method for a computer system, characterized in that a load balancing means consisting of and is provided.
あって処理を待っている呼の数から自ノードの負荷を推
定することを特徴とする請求項１記載のコンピュータシ
ステムの負荷均衡化方式。2. The load balancing of the computer system according to claim 1, wherein the own node load estimating means estimates the load of the own node from the number of calls waiting for processing in the own node. method.
答時間あるいはその平均値を基に、自ノードの負荷を推
定することを特徴とする請求項１記載のコンピュータシ
ステムの負荷均衡化方式。3. The load balancing method for a computer system according to claim 1, wherein the own node load estimating means estimates the load of the own node based on the response time of the own node or an average value thereof.
投入されてからどのノードにも処理されずに該ネットワ
ークを１周以上している呼の検出を契機として閾値の変
更を行うことを特徴とする請求項１記載のコンピュータ
システムの負荷均衡化方式。4. The threshold value changing means changes the threshold value upon detection of a call that has made one or more rounds of the network without being processed by any node after being input to the logical network. The load balancing method for a computer system according to claim 1.
ークを通過する呼の数の変化に応じて自ノードの閾値を
変更することを特徴とする請求項１記載のコンピュータ
システムの負荷均衡化方式。5. The load balancing method for a computer system according to claim 1, wherein the threshold value changing means changes the threshold value of its own node according to a change in the number of calls passing through the network within a fixed time. .
ットワークを周回する呼を入力する度に、自ノード負荷
推定値と閾値の大小関係を比較し、呼取り込み制御を行
うことを特徴とする請求項１記載のコンピュータシステ
ムの負荷均衡化方式。6. The call take-in control means performs call take-in control by comparing the estimated value of the own node load value and the threshold value each time a call circulating in the logical loop network is input. Item 1. A load balancing method for a computer system according to item 1.
定値と閾値の大小関係の比較を、一定周期または閾値あ
るいは自ノード負荷推定値が変更されることを契機とし
て行い、その結果を記憶しておき、呼到着時には該記憶
してある比較結果に基づいて呼取り込み制御を行うこと
を特徴とする請求項１記載のコンピュータシステムの負
荷均衡化方式。7. The call intake control means compares the magnitude relationship between the estimated load value of the own node and the threshold value with a fixed period or when the threshold value or the estimated load value of the own node is changed, and stores the result. 2. The load balancing method for a computer system according to claim 1, wherein when a call arrives, call acquisition control is performed based on the stored comparison result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5300381A JP2774238B2 (en) | 1993-11-30 | 1993-11-30 | Computer system load balancing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5300381A JP2774238B2 (en) | 1993-11-30 | 1993-11-30 | Computer system load balancing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07152700A true JPH07152700A (en) | 1995-06-16 |
| JP2774238B2 JP2774238B2 (en) | 1998-07-09 |
Family
ID=17884105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5300381A Expired - Fee Related JP2774238B2 (en) | 1993-11-30 | 1993-11-30 | Computer system load balancing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2774238B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19630252A1 (en) * | 1996-07-26 | 1998-01-29 | Sel Alcatel Ag | Threshold set method for load distribution in telecommunication network |
| EP0822494A2 (en) * | 1996-07-30 | 1998-02-04 | Nippon Telegraph And Telephone Corporation | Load balancing method and apparatus |
| US7237242B2 (en) | 2002-12-31 | 2007-06-26 | International Business Machines Corporation | Dynamic thread pool tuning techniques |
| US7703101B2 (en) | 2004-02-13 | 2010-04-20 | International Business Machines Corporation | Autonomic workload classification using predictive assertion for wait queue and thread pool selection |
| US7986625B2 (en) | 2002-12-10 | 2011-07-26 | International Business Machines Corporation | Resource-aware system, method and program product for managing request traffic based on a management policy |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6346561A (en) * | 1986-08-14 | 1988-02-27 | Nippon Telegr & Teleph Corp <Ntt> | Load decentralizing device for decentralized processor |
| JPH05108585A (en) * | 1991-10-21 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | Load distribution control system for distributed processing system |
| JPH05216842A (en) * | 1992-02-05 | 1993-08-27 | Mitsubishi Electric Corp | Resources managing device |
-
1993
- 1993-11-30 JP JP5300381A patent/JP2774238B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6346561A (en) * | 1986-08-14 | 1988-02-27 | Nippon Telegr & Teleph Corp <Ntt> | Load decentralizing device for decentralized processor |
| JPH05108585A (en) * | 1991-10-21 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | Load distribution control system for distributed processing system |
| JPH05216842A (en) * | 1992-02-05 | 1993-08-27 | Mitsubishi Electric Corp | Resources managing device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19630252A1 (en) * | 1996-07-26 | 1998-01-29 | Sel Alcatel Ag | Threshold set method for load distribution in telecommunication network |
| EP0822494A2 (en) * | 1996-07-30 | 1998-02-04 | Nippon Telegraph And Telephone Corporation | Load balancing method and apparatus |
| US6026425A (en) * | 1996-07-30 | 2000-02-15 | Nippon Telegraph And Telephone Corporation | Non-uniform system load balance method and apparatus for updating threshold of tasks according to estimated load fluctuation |
| EP0822494A3 (en) * | 1996-07-30 | 2000-05-10 | Nippon Telegraph And Telephone Corporation | Load balancing method and apparatus |
| US7986625B2 (en) | 2002-12-10 | 2011-07-26 | International Business Machines Corporation | Resource-aware system, method and program product for managing request traffic based on a management policy |
| US9755989B2 (en) | 2002-12-10 | 2017-09-05 | International Business Machines Corporation | Resource-aware system, method and program product for managing request traffic based on a management policy |
| US7237242B2 (en) | 2002-12-31 | 2007-06-26 | International Business Machines Corporation | Dynamic thread pool tuning techniques |
| US7703101B2 (en) | 2004-02-13 | 2010-04-20 | International Business Machines Corporation | Autonomic workload classification using predictive assertion for wait queue and thread pool selection |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2774238B2 (en) | 1998-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0822494B1 (en) | Load balancing method and apparatus | |
| US5822301A (en) | Communication arrangement and method for the evaluation of at least tow multi-part communication connections between two parties to a communication in a multi-node network | |
| US5959991A (en) | Cell loss priority control method for ATM switch and ATM switch controlled by the method | |
| KR910008760B1 (en) | Method for routing traffics in common signal system | |
| US7139830B2 (en) | Communication apparatus and congestion regulation control method | |
| JPH07152700A (en) | Load balancing system for computer system | |
| Altman et al. | Stochastic scheduling games with Markov decision arrival processes | |
| CN111954031A (en) | Method and system for dynamically adjusting video stream extraction frame rate | |
| CA2226319C (en) | Weighted round-robin multiplexing of atm cells by updating weights with counter outputs | |
| US5550808A (en) | Window-based ATM cell stream regulator | |
| WO2021018058A1 (en) | System overload control method and device | |
| US20100110950A1 (en) | Method and apparatus for aligning power savings classes | |
| US5247514A (en) | Multiple channel transit call control apparatus | |
| EP3805924A1 (en) | Method of scheduling an additional new processing task to be executed by a processor, scheduler, and central processing unit | |
| JP3206544B2 (en) | Virtual Path Bandwidth Change System in Asynchronous Transfer Mode Switching Network | |
| JP3779039B2 (en) | Computer system load balancing method and apparatus | |
| JPS63102429A (en) | Dynamic optimum line selection system by throughput | |
| JPH07225746A (en) | Dynamic load distributing method | |
| Alanyali | Three management policies for a resource with partition constraints | |
| JP2852473B2 (en) | Cell traffic monitoring device | |
| JPH0628273A (en) | Input telegraphic message distribution system | |
| JP2905884B2 (en) | Cell traffic monitoring device | |
| FI87715C (en) | Process for processing the service request in data processing systems, such as in telephone exchanges and a distributed system applying the method | |
| JP3225585B2 (en) | Private branch exchange | |
| KR19980043199A (en) | Call channel distribution selection method of code division multiple access base station |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |