JP4080487B2 - データ中継装置、データ中継方法、データ中継プログラム、サービス選択装置、サービス選択方法、サービス選択プログラム - Google Patents

データ中継装置、データ中継方法、データ中継プログラム、サービス選択装置、サービス選択方法、サービス選択プログラム Download PDF

Info

Publication number
JP4080487B2
JP4080487B2 JP2004570860A JP2004570860A JP4080487B2 JP 4080487 B2 JP4080487 B2 JP 4080487B2 JP 2004570860 A JP2004570860 A JP 2004570860A JP 2004570860 A JP2004570860 A JP 2004570860A JP 4080487 B2 JP4080487 B2 JP 4080487B2
Authority
JP
Japan
Prior art keywords
server
route
information
data relay
remaining capacity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004570860A
Other languages
English (en)
Other versions
JPWO2004093394A1 (ja
Inventor
敏彦 栗田
廣和 岩倉
弘之 山島
英希 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2004093394A1 publication Critical patent/JPWO2004093394A1/ja
Application granted granted Critical
Publication of JP4080487B2 publication Critical patent/JP4080487B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/101Server selection for load balancing based on network conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Description

本発明は、サーバ・クライアントとネットワークの組み合わせからなる情報通信システムに適用されるデータ中継装置等に関し、特に、複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継するデータ中継装置、方法、及びプログラムに関する。また、本発明は、複数のサーバから少なくとも一つのサーバと共にそのサーバまでの経路を選択するサービス選択装置、方法、及びプログラムに関する。
近年の情報通信や情報サービスの高度化に伴い、これら情報通信システムや情報サービスシステムにおいては、それらの処理性能を向上させるために、同一の情報を複数のサーバに配備し、単一の情報アドレス(例えば仮想IP(VIP)アドレス)でアクセスされた接続要求(以下情報要求という)を、これら複数のサーバの1つに振分けるサーバ負荷分散制御が行われている。この負荷分散制御において、特に、システムが大規模化しユーザサイト・サーバサイトの地理的な分散が拡大しているシステムにおいては、広域に配備されたサーバやサーバサイト間での効率的な負荷振分けを行う必要がある。ここでは、複数のサーバと経路の候補から、ポリシや定期的に収集した負荷情報に基づいてサーバと経路を選択して割当てることで、資源の有効利用やサービス品質の維持を行うことが望まれている。
このような要求は、第20図に示すような、以下のシステムについて望まれている。
(a)企業情報システム
このシステムは、地域分散した情報システムサイト間を結合するシステムである。
(b)分散IDC(Internet Data Center)
このシステムは、地域IDC間、地域IDC−センタIDC間を結合するシステムである。
(c)キャリアシステム
このシステムは、IPキャリアのセンタ間を結合するシステムである。
第20図において、上述した広域サイト・サーバへの振分けは、第20図中のGW(Gateway;データ中継装置)が行うこととなる。
一方、上記のようなシステムを構築するための従来の技術としては、以下のようなものが知られている。
(ア) 広域負荷分散技術
この技術は、広域に配備されたサーバやサーバサイト間で負荷分散を行う技術である。一般に、DNS応答を複数のサーバ間で順番に回すことで振分けるDNSラウンドロビン方式や、サーバの負荷を定期的に収集して一番負荷の小さいところへ振分ける方式などが使われる。
DNSラウンドロビン方式では、サーバ負荷・経路負荷ともに考慮せず、単純に決められた順番でサーバへのDNS応答を返す。サーバ負荷方式では、経路負荷を考慮せず、サーバの負荷のみで振分け先サーバを判定する。またいずれの方式でも経路は選択できず、下記のIPルーティングで一意に決まる単一の経路のみを使う。
(イ)トラフィック・エンジニアリング
この技術は、ネットワークレベルで経路負荷をモニタし、輻輳状態になったことを判断すると、一部の負荷を代替経路に振分け、経路間の負荷分散を行う技術である。本技術は経路負荷のみを最適化する技術であり、サーバ状況や個別のフローを意識した制御は行わない。
(ウ)IPルーティング
この技術は、ルータ間で経路情報をやりとりし、単一の評価基準(ホップ数など)が最小となる経路のみを継続的に使う技術である。一般に、複数経路を考慮しない。
(エ)QOSPF
この技術は、QoS(サービス品質)に関する複数の評価基準に基づくルーティングプロトコルに関するものである。ネットワークに関する複数の評価基準を扱うが、どの経路を選択するかは、個々の評価基準が一定の条件を満たしているか(所定の範囲内にあるか)否かにより判断する。一般に解は一意に決まらず、それほど悪くないものを選ぶことになる。
しかしながら、上記従来の技術では、以下のような問題がある。上記(イ)のトラフィック・エンジニアリング、(ウ)のIPルーティングのように経路のみに基づいてサービスを選択する技術、あるいは(ア)のサーバ負荷方式のようにサーバの負荷情報のみでサービスを選択する技術においては、 経路負荷とサーバ負荷のいずれか一方のみに基づいてサービスが選択されるため、選択されたサービスにおいて経路負荷とサーバ負荷のいずれか他方の負荷が大きくなっている場合はサービスの品質劣化が生じることとなる。例えば、サーバ負荷情報だけでサービス(サーバおよび経路)を選択した場合、経路が輻輳してもそのサービスを使い続けるため、他に代替経路があったとしても振り替えは行われず、サービス品質の劣化が生じることとなる。従って、経路の負荷情報のみ或いはサーバの負荷情報のみでサービスを選択する技術では、資源の有効利用が行えない。
また、(エ)のQOSPFにおける複数の評価基準に基づくサービス選択では、個々の評価基準ごとに条件を満たしているか否かによりサービス選択を行うものであるが、複数の評価基準を統一的に扱う指針がない。従って、評価基準の組み合わせを単純に比較できないため、サービスを一意に決定することができない。また、個々の評価基準ごとに判断するので、分岐判断や計算量が多くなり、収束に時間がかかる。
さらに、上述した従来の技術においては、収集した負荷情報と、現在の状況にズレがある可能性がある。一般に、負荷情報収集の間隔は長い(数秒単位)ため、次に負荷情報を得るまでの中間時点では、負荷状態が変わってしまっている可能性があり、得られた負荷情報がその時の状態における正確な負荷情報とは言えない。
本発明は、上記問題点を解決するためになされたもので、サーバ及び経路に関する1つないし2つ以上の資源の負荷情報を収集した上で、これら複数の負荷情報を複合的に判断してサービス(サーバ及び経路)を選択し、資源の有効利用やサービス品質の維持を行うことができるデータ中継装置、データ中継方法、及びデータ中継プログラムを提供することを目的とする。
上述した課題を解決するため、本発明に係るデータ中継装置は、複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継するデータ中継装置であって、前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集部と、前記情報収集部により収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択部とを備えてなるものである。
このような構成によれば、サーバ及び経路に関する1つないし2つ以上の資源の負荷情報を収集した上で、これら複数の負荷情報を複合的に判断してサービス(サーバ及び経路)を選択し、資源の有効利用やサービス品質の維持を行うことができる。
また、本発明のデータ中継装置において、前記サービス選択部は、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算し、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出し、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択することを特徴とするものである。
このような構成によれば、サービス(サーバと経路)を選択するために、負荷情報に基づく複数の評価基準から単一の評価基準値(プリファレンス値)を導出することが可能となり、選択肢の比較評価を簡単に行うことができる。この基準値により、サーバや経路などの資源の利用率に基づいて選択肢を選ぶことが可能になり、各資源の利用率が均等になるようにサービスを割付けることができる。また、複数の評価基準を組み合わせたときの選択肢の優劣を、単一の基準値に基づいて、簡単に比較することができる。
また、本発明のデータ中継装置においては、前記サービス選択部は、単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を取得しておき、前記変化分と、既に取得されている負荷情報に基づく残り容量率と、接続要求数の変化分とに基づいて、前記クライアントからの接続要求があった場合の前記残り容量率を算出することを特徴とするものである。
このような構成によれば、負荷情報を収集するポイント間でのサーバと経路の負荷状態を予測することが可能になり、この予測値に基づいてサービス選択を行うことで、より正確なサービス割当てを実現し、資源の有効利用とサービス品質の維持を実現できる。
また、本発明のデータ中継装置において、前記サービス選択部は、接続要求を受け付ける前後における前記残り容量率の積演算値の差分を算出し、該差分値に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択することを特徴とするものである。
このような構成によれば、例えばサービスを割当てることで全資源の残り容量率の減少に一番影響の小さい選択肢、つまり余剰資源を一番多く持っている選択肢を抽出することが可能となる。この構成は各資源の利用率を均一にするように動作するのではなく、各資源間の絶対能力に差があった場合に、絶対的な余剰能力が一番高いものを選択するように動作し、資源の有効利用を図ることができる。
また、本発明のデータ中継装置において、前記サービス選択部は、第1の時点で収集した負荷情報とその時の接続要求数と、第2の時点で収集した負荷情報とその時の接続要求数とのそれぞれの差分に基づいて、前記単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を算出して取得することを特徴とするものである。
このような構成によれば、例えば1つの接続要求(情報要求)を受付けた時の各資源の残り容量率の減少分を、実測結果に基づくフィードバック制御によって算出することが可能となり、固定値で持った場合に比べて、より厳密な予測制御を実現できるようになる。
また、本発明のデータ中継装置において、前記サービス選択部は、前記残り容量率を算出する際に、前記負荷情報に関連付けられる資源利用率を取得し、該資源利用率をパラメータxiとする関数Fを導入して、前記資源利用率を重み付けし、残り容量率を1−F(xi)にて算出することを特徴とするものである。
このような構成によれば、各資源の利用率に重み付けして選択肢を判定することが可能となり、当該評価基準の他の評価基準に比べた時の影響度を大きくしたり小さくしたりすることができる。これにより、評価基準をすべて同等に扱うのではなく、選択肢を判定する時に優先させたい評価基準の影響を大きく見せたり、優先させたくない評価基準の影響を小さく見せたりすることが可能になる。
また、本発明のデータ中継装置は、サーバと経路の組み合わせに対する前記残り容量率の積演算値を監視し、該監視値が所定値を下回った場合は、当該の組み合わせの資源の中で輻輳が起きていると判断し、別経路へ通信コネクションの経路を切り替えることを特徴とするものである。
このような構成によれば、既に確立した通信コネクションに対し、他の通信コネクションの影響で輻輳を生じて経路負荷が増大した場合に、当該の通信コネクションの経路を輻輳を起こしていない代替経路に切り替えることで、サービス品質の維持を行うことが可能となる。このような自律的な制御を、複数の負荷情報(サーバ情報、経路情報)から算出した単一の基準値を元に容易に行うことができる。
また、本発明のデータ中継装置において、前記サービス選択部は、更にサービス割り当てについて規定されたポリシ情報に基づいて、サーバと該サーバまでの経路を選択することを特徴とするものである。
このような構成によれば、例えば、ポリシ情報を優先し、或いは定められたポリシの範囲においては負荷情報を優先して資源を選択するようにすることができ、ユーザの要望に柔軟に対応させることができる。
なお、本発明のデータ中継装置において、前記負荷情報には、サーバに関して、CPU負荷率、ディスク使用率、コネクション数のいずれか少なくとも一つが含まれ、経路に関して、使用帯域、経路遅延のいずれか少なくとも一つが含まれることを特徴とすることができ、また、前記サーバは、複数のアプリサーバから負荷情報を集約するサーバ負荷集約部を有するSLBサーバにより構成されることを特徴とすることができる。
また、本発明は、複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継するデータ中継方法であって、前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、前記情報収集ステップにより収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップとを備えてなるものである。
ここで、前記サービス選択ステップは、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算するステップと、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出するステップと、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択するステップとを備えることを特徴とすることができる。
また、前記サービス選択ステップは、単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を取得するステップと、前記変化分と、既に取得されている負荷情報に基づく残り容量率と、接続要求数の変化分とに基づいて、前記クライアントからの接続要求があった場合の前記残り容量率を算出するステップとを備えることを特徴とするものである。
また、前記サービス選択ステップは、接続要求を受け付ける前後における前記残り容量率の積演算値の差分を算出するステップと、該差分値に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するステップとを備えることを特徴とするものである。
また、本発明のデータ中継方法において、前記残り容量率の変化分を取得するステップは、第1の時点で負荷情報とその時の接続要求数とを収集するステップと、第2の時点で負荷情報とその時の接続要求数とを収集するステップと、第1の時点で収集した負荷情報及び接続要求数と、第2の時点で収集した負荷情報及び接続要求数とのそれぞれの差分に基づいて、前記単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を算出するステップとを備えることを特徴とする。
また、前記サービス選択ステップでは、前記残り容量率を算出する際に、前記負荷情報に関連付けられる資源利用率を取得し、該資源利用率をパラメータxiとする関数Fを導入して、前記資源利用率を重み付けし、残り容量率を1−F(xi)にて算出するステップを含むことを特徴とするものである。
また、本発明のデータ中継方法においては、サーバと経路の組み合わせに対する前記残り容量率の積演算値を監視するステップと、該監視値が所定値を下回った場合は、当該の組み合わせの資源の中で輻輳が起きていると判断し、別経路へ通信コネクションの経路を切り替えるステップとを備えることを特徴とするものである。
また、前記サービス選択ステップは、更にサービス割り当てについて規定されたポリシ情報に基づいて、サーバと該サーバまでの経路を選択するステップを備えることを特徴とするものである。
また、本発明は、複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継することをコンピュータに実行させるデータ中継プログラムであって、前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、前記情報収集ステップにより収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップとをコンピュータに実行させるものである。
また、本発明は、複数のサーバの内から少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択装置であって、前記複数のサーバと、前記複数のサーバへの経路とのそれぞれに関する負荷情報を収集する情報収集部と、前記情報収集部により収集された負荷情報に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択部とを備えてなるものである。なお、本発明の実施の形態においては、データ中継装置がサービス選択装置を構成している。
また、本発明は、複数のサーバの内から少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択方法であって、前記複数のサーバと、前記複数のサーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、前記情報収集部により収集された負荷情報に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップとを備えてなるものである。
また、本発明は、複数のサーバの内から少なくとも一つのサーバと該サーバまでの経路を選択することをコンピュータに実行させるサービス選択プログラムであって、前記複数のサーバと、前記複数のサーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、前記情報収集部により収集された負荷情報に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップとをコンピュータに実行させることを特徴とするものである。
以下、本発明の実施の形態を図面を用いて説明する。
まず、本発明の実施の形態における原理を第1図と第2図を用いて説明する。第1図は本発明の動作原理を示すフローチャート、第2図は本発明を適用するデータ中継装置の機能ブロック図を示す。第2図に示したデータ中継装置1は、サーバ負荷情報(以下サーバ情報という)と経路負荷情報(以下経路情報という)を収集する情報収集手段2と、収集されたサーバ負荷情報を格納するサーバ情報データベース3と、収集された経路負荷情報を格納する経路情報データベース4と、これら収集され、或いは格納された情報に基づいてサーバ及び経路をサービスとして選択するサービス選択手段5と、選択されたサービスを実行するためサーバの宛先アドレスの変換やルータの選択、ネットワークの指定などを行う資源(リソース)制御手段6と、図示しないクライアントやサーバとの間で送受信を行うデータ送受信部8を備えている。
このデータ中継装置1による動作は第1図に示される。即ち、データ中継装置1は、情報収集手段1がサーバ情報・経路情報を定期的に収集し(S1)、適宜サーバ情報データベース3と経路情報データベース4に格納する。次に、サービス選択手段5が収集された情報源から各資源(サーバ及び経路)の資源利用率を求め(S2)、情報要求に対し、可能な経路・サーバの組み合わせについて、各資源の残り容量率の積演算値(プリファレンス値)を計算し(S3)、プリファレンス値が最大となるサーバ・経路の組み合わせを選択(S4)する。そして資源制御手段6がそれらの組み合わせにおけるサービスが実行されるように資源を制御し(S5)、データ送受信部8よりその選択された経路に従って選択されたサーバに情報を送信し、また当該サーバから選択された経路に従って情報を受信する。
実施の形態1.
次に、本発明の実施の形態1について説明する。第3図は本システムの全体構成を示すブロック図である。本システムはユーザクライアント11と、各種サーバ12,13と、これらユーザクライアント11と各種サーバ12,13との間に設けられるデータ中継装置1と、これらを接続する複数の経路14,15,16を備えて構成される。データ中継装置1は、情報収集部2Aと、サーバ情報データベース3Aと、経路情報データベース4Aと、サービス選択部5Aと、資源制御部6Aと、情報要求に対してサービス選択のためのクラス分けを行うクラス分類部7Aと、クラス分けを行うためのポリシ情報を格納したポリシ情報データベース9Aと、データ送受信部8Aとを備えている。
情報収集部2Aでは、サーバ情報及び経路情報を定期的に収集する。サーバ情報としてはCPU使用率、メモリ使用率などが一例として挙げられ、経路情報としては帯域使用率、経路遅延に関する情報などが一例として挙げられる。
サービス選択部5Aでは、ポリシ情報データベースに格納され、或いは適宜入力されたポリシ情報(定義ポリシ)と、情報収集部2Aにより収集された状態情報(サーバ情報、経路情報)に基づいて、ユーザクライアント11からの情報要求(接続要求)に割付ける適切なサービス(サーバ、経路)を選択する。
資源制御部6Aは、選択(決定)されたサービス実行を実現するために、サーバおよび経路を選択する制御(選択制御)を行う。
経路の選択制御では、受け付けた情報要求をVLANやIP−VPNの経路に動的に対応付けするためのラベル付与や出力インタフェース選択を行う。
サーバの選択制御では、仮想IPから各サーバに対応した実IPへの変換を行う。
また、サーバ情報データベース3Aや経路情報データベース4Aはサーバ情報や経路情報を情報テーブルとして格納する。これら情報テーブルは、情報要求に対する振分け先のサーバ情報、およびそのサーバへ至る経路情報(各サーバに対して経路が複数ある場合はそれに対応して複数)を管理するために使用されるものであり、情報収集部2Aが各情報を収集して、これらデータベース3A,4Aの情報テーブルに書込み、サービス選択部5Aが情報要求に対する適用サービスを選択(決定)する時に参照する。
第4図はサーバ情報テーブルと経路情報テーブルの関係を示す図であり、第4図(a)は、サーバ情報テーブルを示し、第4図(b)は経路情報テーブルの構成を示す。また、第5図はサーバ情報テーブルの一例を示し、第6図は第5図のサーバ情報テーブルに対応する経路情報テーブルの一例を示す図である。また、第7図はサーバ情報テーブルの他の一例を示し、第8図は第7図のサーバ情報テーブルに対応する経路情報テーブルの一例を示す図である。
これらサーバ情報テーブルは、要求情報ごと(例えば要求情報に対する仮想IPアドレスごと)に存在し、要求された情報を持つサーバの一覧と、そのサーバの負荷情報を保持する。第5図では、CPU負荷率51、ディスク使用率52、コネクション数53の3種類の情報を収集することを表している。
経路情報テーブルは、第4図(b)に示されるようにサーバ情報テーブルの各エントリからポインタされ、そのサーバへ至る経路の一覧と、その経路の負荷情報を保持する。また経路情報テーブルを示す第6図では、使用帯域61、遅延62の2種類の情報を収集することを表している。本例では、BGP(Border Gateway Protocol)の経路探索を使って、サーバに至る複数経路を調べる。
第7図及び第8図のそれぞれに示されるサーバ情報テーブル、経路情報テーブルにおける、第5図及び第6図で示されるサーバ情報テーブル、経路情報テーブルのそれぞれとの違いは、CPU負荷率及びディスク使用率に関する情報として、単位要求当りの増分を定数値あるいは書替え可能な値として持つ点と、コネクション情報に関して負荷情報として直近の情報収集時からの情報要求の数の変化分を持つ点である。即ち、第7図に示すサーバ情報テーブルにおいては、変数の増分として、CPU負荷率の増分51a、ディスク使用率の増分52a、直近の情報収集時からの情報要求の数の変化分53aの3種類の情報を持ち、第8図に示す経路情報テーブルでは使用帯域の増分61a、経路の遅延の増分62a、及び直近の情報収集時からの情報要求の数の変化分63aの3種類の情報を持つ。
(第1の動作)
第9図は、第3図に示されたサービス選択部5Aの第1の動作を示すフローチャートである。本例では、第4図〜第6図のサーバ情報テーブル及び経路情報テーブルを使って動作する。データ送受信部8Aにおいてユーザクライアント11からの情報要求を受付ける都度、サービス選択部5Aは当該情報に関するサーバ情報テーブル、経路情報テーブルを検索する(S11)。サーバと経路の可能な組合せについて、各テーブルに含む負荷情報を、0〜1の間の値を取る資源の正規化利用率に変換する(S12)。第5図に示したサーバ負荷情報及び第6図に示した経路負荷情報に対しては、資源の正規化利用率(資源利用率)を以下のように定義して算出する。即ち、サーバ負荷情報について正規化利用率を算出するに際しては、CPU負荷率とディスク使用率とは、その値がそのまま正規化利用率として使用される。また、コネクション数は計測したコネクション数を最大許容コネクション数で除することにより求められる。但し、計測したコネクション数が最大許容コネクション数を超えた場合は1とする。
また、経路負荷情報について正規化利用率を算出するに際して、使用帯域は、計測した使用帯域をリンク速度で除することにより求められ、経路遅延は、計測した経路遅延を最大許容経路遅延で除することにより求められる。ただし計測した経路遅延が最大許容経路遅延を超えた場合は1とする。
サーバ負荷情報 正規化利用率
CPU負荷率 →そのまま使用
ディスク使用率 →そのまま使用
コネクション数 →計測したコネクション数/最大許容コネクション数
(ただし計測したコネクション数が最大許容コネクション数 を超えた場合は、本値は1とする)
経路負荷情報: 正規化利用率
使用帯域 →計測した使用帯域/リンク速度
経路遅延 →計測した経路遅延/最大許容経路遅延
(ただし計測した経路遅延が最大許容経路遅延を超えた場合 は、本値は1とする)
そして、サーバ及び経路の各組合せについて、各資源の残り容量率を、(1−正規化利用率)で算出する。次に、この組合せに対するプリファレンス値Pnを、全負荷情報の残り容量率の積として計算する。負荷情報iの正規化利用率をxiとすると、プリファレンス値Pnは以下の式で表される。
Pn= (1− x1) (1−x2) ・・・ (1−xk)
ここで、xiは負荷情報iの正規化利用率である。
そして、全ての(サーバ、経路)の組合せについてPnを比較し、値が最大となる組合せを、情報要求に対して割当てるサービスとして選択し、実際の資源を制御するために、第3図における資源制御部6Aに起動をかける。もし条件を満たす組合せがなければ、適切な資源は存在しないとして、情報要求を拒否する。
(第2の動作)
第10図は、第9図に示した動作と異なるサービス選択部の第2の動作を示すフローチャートである。本例では、第7図に示されたサーバ情報テーブル及び第8図に示された経路情報テーブルを使って動作する。
この場合、サービス選択部5Aは、クライアントからの情報要求を受付ける都度、当該情報に対するサーバ情報テーブル(第7図)、経路情報テーブル(第8図)を検索する(S21)。そして、サーバと経路の可能な組合せに関して、各テーブルに含む負荷情報(直近の情報収集時に取得したもの)についての資源の正規化利用率の予測値(0〜1の間の値)を、直近で収集した負荷情報および単位情報当りの負荷増分および情報要求の数の増分から算出する(S22)。負荷情報iに対するこれらの値を、xi、δxi、mとすると、新規の情報要求も含められたこの負荷情報の正規化利用率の予測値xi´は以下の式で表される。
なお、本例では、各負荷情報の単位情報要求数当りの増分(δxi)は、事前に実測などで定数値として算出し、第7図及び第8図のサーバ情報テーブル、経路情報テーブルに登録されているものとする。
xi´ =xi + (m+1)×δxi
上式の値を用いて、(サーバ、経路)の各組合せについて、各資源の残り容量率を、(1− 正規化利用率の予測値) で算出し、この組合せに対するプリファレンス値Pn´を、全負荷情報の残り容量率の積として計算する(S23)。負荷情報iの正規化利用率をxiとすると、プリファレンス値の予測値Pn´は以下の式で表される。
Pn´ = (1−x1´) (1−x2´) ・・・ (1−xk´)
ここで、xi´は負荷情報iの正規化利用率の予測値である。
そして、すべての(サーバ、経路)の組合せについてPn´を比較し、値が最大となる組合せを、情報要求に対して割当てるサービスとして選択し(S24)する。そして、実際の資源を制御するために、第3図における資源制御部6Aに起動をかける(S25Y,S26)。もし条件を満たす組合せがなければ、適切な資源は存在しないとして、情報要求を拒否する(S25N,S27)。
(第3の動作)
第11図は、第9図や第10図に示した動作と異なるサービス選択部の第3の動作を示すフローチャートである。本例では、第7図のサーバ情報テーブル及び第8図の経路情報テーブルを使って動作する。
この場合、サービス選択部5Aは、ユーザクライアントからの情報要求を受付ける都度、当該情報に対する第7図に示されたサーバ情報テーブル、第8図に示された経路情報テーブルを検索する(S31)。その後、第2の動作(第10図)で説明したように、すべての(サーバ、経路)の組合せについて、新規の情報要求も含めたプリファレンス値の予測値Pt(=Pn´)を算出する(S32)。次に、新規の情報要求を含まないプリファレンス値の予測値Pt-1を算出する(S33)。これらより、すべての(サーバ、経路)の組合せについて、プリファレンス値の予測値の減少分である、Pt-1−Ptを算出する(S34)。そして、この差分値が最小となる組合せを、情報要求に対して割当てるサービスとして選択し(S35)、実際の資源を制御するために、第3図における資源制御部6Aに起動をかける(S36Y,S37)。もし条件を満たす組合せがなければ、適切な資源は存在しないとして、情報要求を拒否する(S36N,S38)。
(第4の動作)
第12図は、第9図〜第11図に示した動作と異なるサービス選択部の第4の動作を示すフローチャートである。本例では、第7図のサーバ情報テーブル及び第8図の経路情報テーブルを使って動作する。
第4の動作では、各負荷情報の単位情報要求(接続要求)当りの増分(δxi)を、上述の第2の動作(第10図)で説明したように予め定数値として与えるのではなく、定期的に収集した負荷情報をもとに適応的に修正していく手順を規定する。
この動作においては、新しい負荷情報を収集する都度、当該情報に対する第7図に示されたサーバ情報テーブル、第8図に示された経路情報テーブルを検索する(S41)。次に、前回の負荷情報収集時からの、各負荷情報の残り容量率および情報要求数の増減を計算する(S42)。この値と情報要求数の増分より、単位要求当りの、各負荷情報の残り容量率の増減を計算する(S43)。例えばある負荷情報iについて、前回収集した負荷情報値、今回収集した負荷情報値、及び情報要求数の増分をそれぞれ、x(i−1)、x(i)、nとすれば、新しい増分δxiは次の式で表される。
δxi = (x(i) − x(i−1)) / n
上式で算出した値を、サーバ情報テーブル、経路情報テーブルに記録し(S44)、次に新たな負荷情報を収集するまで、この値を負荷情報の増分として利用する。
第13図は、上述した資源利用率を得る際に使用される重み付け関数を示す図である。すなわち、ここに示す曲線は、実際の資源利用率に替えてプリファレンス値の計算で使用する値を求めるための関数式を表す。負荷情報値xiは重み付け関数y=Fi(x)で変換された後、サービスの組合せにおけるプリファレンス値を算出する。つまり、プリファレンス値Pnは以下の式で表される。
Pn = (1−F1(x1))(1−F2(x2))・・・ (1−Fk(xk))
ここで、xiは負荷情報iの正規化利用率である。
第13図に示すのは、この重み付け関数Fの例である。通常は、y = x (つまり正規化利用率をそのまま)を使う。当該負荷情報の影響度を大きく反映させたい場合は、関数Fとして上に凸の関数であるy =X1/2を使うことで実現できる。当該負荷情報の影響度を小さく反映させたい場合は、関数Fとして下に凸の関数であるy=x2を使うことで実現できる。
(第5の動作)
第14図は、第9図〜第12図に示した動作と異なるサービス選択部の第5の動作を示すフローチャートである。本例では、第5図及び第6図に示されたサーバ情報及び経路情報テーブル又は第7図及び第8図に示されたサーバ情報テーブル及び経路情報テーブルを使って動作する。
この場合、サービス選択部5Aは、新しい負荷情報を収集する都度、当該情報に対するサーバ情報テーブル、経路情報テーブルを検索する(S51)。次に、サーバと経路の可能な組合せについて、上述した第1図の動作で示した手順で新しく収集した負荷情報に関する正規化利用率を算出し(S52)する。次に、残り容量率を算出すると共に、この組合せに対するプリファレンス値を算出する(S53)。そして、このプリファレンス値が予め定義した定義値以下であるかどうかを判定し(S54)、もし定義値以下の場合(S54Y)は、本サービスのどこかで輻輳が起きていると判断し、同一のサーバへ至る別経路(代替経路)へ既設定コネクションの一部の経路制御を切替える(ルーティングし直す)(S55)。なお、本経路制御の方法については、本特許では詳細に述べないが、当該の情報要求をVLANやIP-VPNの経路に動的に対応付けするために付与するラベルの変更や、選択する出力インタフェースの変更で実現する。
(実施例)
第15図は、本発明の一構成例を実施例としてより詳細に示す全体ブロック図である。第15図に示されるように、ユーザクライアント11を収容するアクセスネットワーク100(例えば、地域拠点網)は、データ中継装置1を介してインターネット200に接続される。一方、情報が提供可能に格納されている情報システムサイト300,400は、SLB(Session Load Balancer; サーバ負荷分散装置)サーバ312,413を介してインターネット200に接続され、内部的には複数のアプリサーバ301〜30mへのサーバ負荷分散を行う。情報が格納されている情報提供部は、データ中継装置1とSLBサーバ312,413の二段階で仮想化される。第15図中では、各IPアドレスが♯1〜♯17で示されている。そして、ユーザクライアント11からVIP(仮想IP)である♯2(192.168.1.1)宛に送られたパケットは、データ中継装置1にて振分けのためのIPアドレス変換を行い、振分け先のSLBサーバのVIP♯6(図中では、SLBサーバ312の192.168.3.5)に変換されて、経路指定の上、SLBサーバ312宛に送られる。これを受けて、SLBサーバ312では、VIPである♯6(192.168.3.5)より振分けのためのIPアドレス変換を行い、振分け先のアプリサーバの実IP(図中では、アプリサーバ301の♯7(192.168.5.7))に変換されて、アプリサーバ301宛に送られる。また、経路は次ホップIPを指定してパケットを送出することで制御する。データ中継装置1からSLBサーバ312に至る経路は、ルータ201(♯4:192.168.2.2)を経由するものと、ルータ202(♯13:192.168.2.3)を経由するものの2つが存在し、それぞれデータ中継装置から次ホップとして♯4(192.168.2.2)、あるいは♯13(192.168.2.3)に宛ててパケットを送出することで、通過する経路の切り分けを行う。またSLBサーバ413(♯17:192.168.4.6)に至る経路はルータ203(♯15:192.168.2.4)を経由するもののみである。
サーバ負荷情報の収集については、アプリサーバ301(♯7:192.168.5.7)〜30m(♯8:192.168.5.8),401(♯10:192.168.6.9)〜40n(♯11:192.168.6.10)の内部に、CPU負荷率やディスク使用率を定期的に計測する負荷計測エージェント301-a〜30m-a、401-a〜40n-aを配備する。これら負荷計測エージェントとしてはネットワーク管理の標準規格であるSNMP(Simple Network Management Protocol)のエージェントや、UNIX系OSの標準ツールであるsarで内部レジスタを読み出すプログラムなどで実現する。この各アプリサーバで定期的に計測したデータを、アプリサーバがSLBサーバへ定期的に報告する。これを受けて、SLBサーバでは、複数のアプリサーバから得た負荷情報をサイト全体を示すものへ集約(サーバ負荷集約手段による)した上で、データ中継装置へサイト全体を表す負荷情報として定期的に報告する。なお、集約の仕方としては、CPU負荷とディスク使用率については単純平均を用い、コネクション数については総和を用いる。
CPU負荷率 →単純平均
ディスク使用率 →単純平均
コネクション数 →総和
データ中継装置1では、情報収集部2Aとして、サーバ負荷収集部2A−1と経路負荷計測部2A−2を有し、サーバ負荷情報については、サーバ負荷収集部2A−1が各SLBサーバ312,413のサーバ負荷収集部312a,413aにより収集された情報(集約された負荷情報)をサーバサイト300,400の負荷情報として収集する。
また、経路負荷については、経路負荷計測部2A−2がテストパケット生成部2A−2aと応答観測部2A−2bを有し、テストパケット生成部2A−2aが経路を指定して(第15図中では、次ホップIPを指定する)、テストパケット(典型的にはICMP ECHO Requestパケット)を送出し、その応答(遅延やスループット)を応答観測部2A−2bが観測することで、指定経路の使用帯域や遅延を算出する。
第16図は、第15図に示された各経路で適用されるパケットフォーマットを示す図である。それぞれ宛先IP、送信元IP、次ホップIPで定義される。なお、次ホップIPは直接そのパケットを投げる装置のIPである。次ホップIPは、IPの下位のMAC(Media Access Control)層において、この次ホップIPに対するMACアドレス宛にMACパケットを送るために使われる。本パケットフォーマットは、上記の説明で記したデータのやりとりで使われるものである。なお、第16図において、第16図(a)はユーザクライアントからデータ中継装置への場合を示し、第16図(b)はデータ中継装置からルータ201への場合を示し、第16図(c)はルータ201からSLBサーバ312への場合を示し、第16図(d)はSLBサーバ312からアプリサーバ301への場合を示す。
第17図は、第15図のデータ中継装置1の内部の機能構成を示した図である。入力パケットは、クラス分類部7Aにより予め定義されたクラス分類ポリシに従い、複数のクラス(パケット・キュー)に分類される。サービス選択部5Aは各クラスのパケットについて、予め定義されたサービス割当てポリシと、収集された負荷情報(サーバ負荷、経路負荷)とに従い、サービス選択(サーバと経路の決定)を行う。資源制御部6Aは、サーバ制御部6A−1と経路制御部6A−2を有し、サーバ制御部6A−1では、送信された宛先IPを決定したサーバについての宛先IPに変換し、データ送受信部8AのNAT(機能部)8A−1に渡す。経路制御部6A−2では、経路選択において決定した経路に対応する次ホップIPを付与してルーティング・スタック(機能部)8A−2へ渡す。NAT8A−1やルーティング・スタック8A−2などの機能部は指定された動作を行う。
第18図は、第15図の構成に対応したサーバ情報テーブル、経路情報テーブルの第1の実際の構成例である。これらは、それぞれ第5図、第6図のフォーマットに対応している。
第19図は、第15図に対応したサーバ情報テーブル、経路情報テーブルの第2の実際の構成例を示す図である。これらは、それぞれ第7図、第8図のフォーマットに対応している。
以下、第15図に示した構成の動作について、第9図〜第12図及び第14図に示した第1の動作〜第5の動作に対応させて説明する。
(第1の対応動作)
まず、第9図を用いて説明した第1の動作に対応する動作(実施例動作1)について説明する。
データ中継装置へは、第16図(a)に示したフォーマットで情報要求が送られる。サービス選択部はこの情報(VIPとして♯2(192.168.1.1))に対し、第18図に示したサーバ情報テーブル、経路情報テーブルを検索する。
これより、当該情報に対する(サーバ、経路)の組合せ[以下これを、テーブル中の(SvrEntryID、RtEntryID)で表示する]として、
(1、1), (1、2), (2、3)
の3つがあることが分かる。ここで、サーバを示す「1」は、SLBサーバ312(♯6:192.168.3.5)を表し、サーバを示す「2」は、SLBサーバ413(♯17:192.168.4.6)を表し、経路を示す「1」は、パス−1(ルータ201:♯4)を表し、経路を示す「2」は、パス−2(ルータ202:♯13)を表し、経路を示す「3」はパス−3(ルータ203:♯15)を表している。
この3つの組合せに対して、サーバ負荷情報としてCPU負荷率(CpuLoad)/ディスク使用率(DiskLoad)/コネクション数(ConnNum)の3つを、経路負荷情報として使用帯域(Bandwidth)/経路遅延(RtDelay)の2つを、サービス決定で考慮するパラメータとし、各資源の正規化利用率を以下のように算出する。なお、最大許容コネクション数は30,000、最大許容遅延は100msとしている。
(例えば、CPU負荷率はCpuLoadの値そのまま、コネクション数はConnNum/(最大許容コネクション数)で算出する)
Figure 0004080487
上記の正規化利用率より、各資源に対する残り容量率、および全項目の積演算値(=プリファレンス値)を、各組合せで以下のように算出する。各資源の残り容量率は、1−(正規化利用率)、プリファレンス値は、各組合せでの全項目の残り容量率の積である。
Figure 0004080487
上記の演算結果より、プリファレンス値が最大となる(1、2)の組合せを選択する。このプリファレンス値は0ではないので、有効な選択肢としてこれを挙げ、リソース制御へ渡す。
(第2の対応動作)
次に、第10図を用いて説明した第2の動作に対応する動作(実施例動作2)について説明する。
データ中継装置へは、第16図(a)に示したフォーマットで情報要求が送られる。サービス選択部はこの情報(VIPとして♯2:192.168.1.1)に対し、第19図に示したサーバ情報テーブル、経路情報テーブルを検索する。
これより、当該情報に対する(サーバ、経路)の組合せとして、
(1、1), (1、2), (2、3)
の3つがあることが分かる。この3つの組合せに対して、サーバ負荷情報としてCPU負荷率(CpuLoad)/ディスク使用率(DiskLoad)/コネクション数(ConnNum)の3つを、経路負荷情報として使用帯域(Bandwidth)/経路遅延(RtDelay)の2つを、サービス決定で考慮するパラメータとし、各資源の正規化利用率の予測値(新規情報要求分を含む)を以下のように算出する。なお、最大許容コネクション数は30,000、最大許容遅延は100msとしている(例えば、CPU負荷率はCpuLoad+δCpuLoad×(ConnNum+ReqNum+1)、で算出する)。
Figure 0004080487
上記の正規化利用率の予測より、各資源に対する残り容量率の予測値、及び全項目の積演算値(=プリファレンス値)を、各組合せで以下のように算出する。
Figure 0004080487
上記の演算結果より、プリファレンス値が最大となる(1、2)の組合せを選択。このプリファレンス値は0ではないので、有効な選択肢としてこれを挙げ、リソース制御へ渡す。
(第3の対応動作)
次に、第11図を用いて説明した第3の動作に対応する動作(実施例動作3)について説明する。
データ中継装置へは、第16図(a)に示したフォーマットで情報要求が送られる。サービス選択部はこの情報(VIPとして♯2:192.168.1.1)に対し、第19図に示したサーバ情報テーブル、経路情報テーブルを検索する。
これより、当該情報に対する(サーバ、経路)の組合せとして、
(1、1), (1、2), (2、3)
の3つがあることが分かる。この3つの組合せに対して、サーバ負荷情報としてCPU負荷率(CpuLoad)/ディスク使用率(DiskLoad)/コネクション数(ConnNum)の3つを、経路負荷情報として使用帯域(Bandwidth)/経路遅延(RtDelay)の2つを、サービス決定で考慮するパラメータとし、新規情報要求を含むプリファレンス値の予測値Ptを、第2の対応動作で求めた手順の通り算出する。なお、最大許容コネクション数は30,000、最大許容遅延は100msとしている。
同様に、新規情報要求を含まないプリファレンス値の予測値Pt-1を算出する。
以上より、Pt-1-Ptを算出する。
以上のデータを、各組合せについて記すと、以下のようになる。
Figure 0004080487
上記の演算結果より、Pt-1−Ptが最小となる(2、3)の組合せを選択。このプリファレンス値は0ではないので、有効な選択肢としてこれを挙げ、リソース制御へ渡す。
(第4の対応動作)
次に、第12図を用いて説明した第4の動作に対応する動作(実施例動作4)について説明する。
定期的に負荷情報を収集するタイミングで、第19図に示すサーバ情報テーブル、経路情報テーブルを検索する。
ここで、新たに収集した負荷情報が、以下の通りであるとする。
Figure 0004080487
Figure 0004080487
Figure 0004080487
これより、前回の負荷収集時の負荷情報(第19図の値)からの増加分Δ(例
えば、CPU負荷ならΔCpuLoad' = CpuLoad' - CpuLoad)は以下のようになる。
Figure 0004080487
Figure 0004080487
Figure 0004080487
これより単位要求当りの各負荷情報の増加分δ(例えば、CPU負荷ならδCpuLoad' =ΔCpuLoad'/ΔConnNum')は以下のようになる。
Figure 0004080487
Figure 0004080487
Figure 0004080487
これらのδの値を新たな負荷情報の増分とし、第19図に示すサーバ情報テーブル、経路情報テーブルの、δCpuLoad、δDiskLoad、δBandwidth、δRtDelayにそれぞれ書き込む。
(第5の対応動作)
次に、第14図を用いて説明した第5の動作に対応する動作(実施例動作5)について説明する。
定期的に負荷情報を収集するタイミングで、第19図に示すサーバ情報テーブル、経路情報テーブルを検索する。
(サーバ、経路)の各組合せに対し、実施例動作2で説明した手順(ただし新規情報要求分はない)で、各資源の正規化利用率の予測値を算出する。
同様に実施例動作1で説明した手順により、正規化利用率より、残り容量率を出し、全項目の積演算値(=プリファレンス値)を各組合せで算出する。算出した結果を、以下に記す。
Figure 0004080487
ここで、経路のリソース調整を行うためのスレショルド値(第14図ステップS54中の定義値)を0.08とする。スレショルド値の意味は、プリファレンス値がこの値(スレショルド値)を下回ったら、本組合せのサービスのどこかで輻輳状態が起きていると判断するための値である。
上記のプリファレンス値とこのスレショルド値を比較した時、経路が2つある(1、1)と(1、2)について評価すると、(1、1)のプリファレンス値が定義スレショルド値を下回っている。つまり、サーバ312に至る経路(パス−1)の経路負荷を、サーバ312に至る経路(パス−2)に振り返る必要があると判定する。
(なお、(2、3)についてもプリファレンス値が定義スレショルド値を下回っているが、経路が1つしかないので指定経路の切替え処理は行わない)
以下、このための資源(リソース)制御を行うための動作を実施する。セッション単位で指定経路を経路(パス−2)に切替える動作を行う。
以上説明したように、本発明によれば、サーバと経路の負荷情報に応じて、これらを選択することができ、データ品質の劣化を有効に防止することができる。また、サービス(サーバと経路)を選択するために、負荷情報に基づく複数の評価基準から単一の評価基準値を導出することが可能となり、選択肢の比較評価を簡単に行うことができるようになる。また、収集した負荷情報と資源の利用予測値から、次の状態を予測して適切なサーバと経路を選択することが可能になり、予測制御を行うことができるようになる。従って、これらにより、資源の有効利用とサービス品質の維持を実現することが可能になる。
(付記1) 複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継するデータ中継装置であって、
前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集部と、
前記情報収集部により収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択部と
を備えてなるデータ中継装置。
(付記2) 付記1に記載のデータ中継装置において、
前記サービス選択部は、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算し、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出し、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択することを特徴とするデータ中継装置。
(付記3) 付記2に記載のデータ中継装置において、
前記サービス選択部は、単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を取得しておき、
前記変化分と、既に取得されている負荷情報に基づく残り容量率と、接続要求数の変化分とに基づいて、前記クライアントからの接続要求があった場合の前記残り容量率を算出することを特徴とするデータ中継装置。
(付記4) 付記3に記載のデータ中継装置において、
前記サービス選択部は、接続要求を受け付ける前後における前記残り容量率の積演算値の差分を算出し、該差分値に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択することを特徴とするデータ中継装置。
(付記5) 付記3に記載のデータ中継装置において、
前記サービス選択部は、第1の時点で収集した負荷情報とその時の接続要求数と、第2の時点で収集した負荷情報とその時の接続要求数とのそれぞれの差分に基づいて、前記単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を算出して取得することを特徴とするデータ中継装置。
(付記6) 付記2に記載のデータ中継装置において、
前記サービス選択部は、前記残り容量率を算出する際に、前記負荷情報に関連付けられる資源利用率を取得し、該資源利用率をパラメータxiとする関数Fを導入して、前記資源利用率を重み付けし、残り容量率を1−F(xi)にて算出することを特徴とするデータ中継装置。
(付記7) 付記1に記載のデータ中継装置において、
サーバと経路の組み合わせに対する前記残り容量率の積演算値を監視し、該監視値が所定値を下回った場合は、当該の組み合わせの資源の中で輻輳が起きていると判断し、別経路へ通信コネクションの経路を切り替えることを特徴とするデータ中継装置。
(付記8) 付記1に記載のデータ中継装置において、
前記サービス選択部は、更にサービス割り当てについて規定されたポリシ情報に基づいて、サーバと該サーバまでの経路を選択することを特徴とするデータ中継装置。
(付記9) 付記1に記載のデータ中継装置において、
前記負荷情報には、サーバに関して、CPU負荷率、ディスク使用率、コネクション数のいずれか少なくとも一つが含まれ、経路に関して、使用帯域、経路遅延のいずれか少なくとも一つが含まれることを特徴とするデータ中継装置。
(付記10) 付記1に記載のデータ中継装置において、
前記サーバは、複数のアプリサーバから負荷情報を集約するサーバ負荷集約部を有するSLBサーバにより構成されることを特徴とするデータ中継装置。
(付記11) 複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継するデータ中継方法であって、
前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、
前記情報収集ステップにより収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップと
を備えてなるデータ中継方法。
(付記12) 付記11に記載のデータ中継方法において、
前記サービス選択ステップは、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算するステップと、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出するステップと、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択するステップとを備えることを特徴とするデータ中継方法。
(付記13) 付記12に記載のデータ中継方法において、
前記サービス選択ステップは、単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を取得するステップと、
前記変化分と、既に取得されている負荷情報に基づく残り容量率と、接続要求数の変化分とに基づいて、前記クライアントからの接続要求があった場合の前記残り容量率を算出するステップとを備えることを特徴とするデータ中継方法。
(付記14) 付記13に記載のデータ中継方法において、
前記サービス選択ステップは、接続要求を受け付ける前後における前記残り容量率の積演算値の差分を算出するステップと、該差分値に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するステップとを備えることを特徴とするデータ中継方法。
(付記15) 付記13に記載のデータ中継方法において、
前記残り容量率の変化分を取得するステップは、第1の時点で負荷情報とその時の接続要求数とを収集するステップと、第2の時点で負荷情報とその時の接続要求数とを収集するステップと、第1の時点で収集した負荷情報及び接続要求数と、第2の時点で収集した負荷情報及び接続要求数とのそれぞれの差分に基づいて、前記単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を算出するステップとを備えることを特徴とするデータ中継方法。
(付記16) 付記12に記載のデータ中継方法において、
前記サービス選択ステップでは、前記残り容量率を算出する際に、前記負荷情報に関連付けられる資源利用率を取得し、該資源利用率をパラメータxiとする関数Fを導入して、前記資源利用率を重み付けし、残り容量率を1−F(xi)にて算出するステップを含むことを特徴とするデータ中継方法。
(付記17) 付記11に記載のデータ中継方法において、
サーバと経路の組み合わせに対する前記残り容量率の積演算値を監視するステップと、該監視値が所定値を下回った場合は、当該の組み合わせの資源の中で輻輳が起きていると判断し、別経路へ通信コネクションの経路を切り替えるステップとを備えることを特徴とするデータ中継方法。
(付記18) 付記11に記載のデータ中継方法において、
前記サービス選択ステップは、更にサービス割り当てについて規定されたポリシ情報に基づいて、サーバと該サーバまでの経路を選択するステップを備えることを特徴とするデータ中継方法。
(付記19) 複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継することをコンピュータに実行させるデータ中継プログラムであって、
前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、
前記情報収集ステップにより収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップと
をコンピュータに実行させるデータ中継プログラム。
(付記20) 付記19に記載のデータ中継プログラムにおいて、
前記サービス選択ステップは、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算するステップと、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出するステップと、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択するステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
(付記21) 付記20に記載のデータ中継プログラムにおいて、
前記サービス選択ステップは、単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を取得するステップと、
前記変化分と、既に取得されている負荷情報に基づく残り容量率と、接続要求数の変化分とに基づいて、前記クライアントからの接続要求があった場合の前記残り容量率を算出するステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
(付記22) 付記21に記載のデータ中継プログラムにおいて、
前記サービス選択ステップは、接続要求を受け付ける前後における前記残り容量率の積演算値の差分を算出するステップと、該差分値に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
(付記23) 付記21に記載のデータ中継プログラムにおいて、
前記残り容量率の変化分を取得するステップは、第1の時点で負荷情報とその時の接続要求数とを収集するステップと、第2の時点で負荷情報とその時の接続要求数とを収集するステップと、第1の時点で収集した負荷情報及び接続要求数と、第2の時点で収集した負荷情報及び接続要求数とのそれぞれの差分に基づいて、前記単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を算出するステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
(付記24) 付記20に記載のデータ中継プログラムにおいて、
前記サービス選択ステップでは、前記残り容量率を算出する際に、前記負荷情報に関連付けられる資源利用率を取得し、該資源利用率をパラメータxiとする関数Fを導入して、前記資源利用率を重み付けし、残り容量率を1−F(xi)にて算出するステップをコンピュータに実行させることを特徴とするデータ中継プログラム。
(付記25) 付記19に記載のデータ中継プログラムにおいて、
更に、サーバと経路の組み合わせに対する前記残り容量率の積演算値を監視するステップと、該監視値が所定値を下回った場合は、当該の組み合わせの資源の中で輻輳が起きていると判断し、別経路へ通信コネクションの経路を切り替えるステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
(付記26) 付記19に記載のデータ中継プログラムにおいて、
前記サービス選択ステップは、更にサービス割り当てについて規定されたポリシ情報に基づいて、サーバと該サーバまでの経路を選択するステップを備えて該ステップをコンピュータに実行させることを特徴とするデータ中継プログラム。
(付記27) 複数のサーバの内から少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択装置であって、
前記複数のサーバと、前記複数のサーバへの経路とのそれぞれに関する負荷情報を収集する情報収集部と、
前記情報収集部により収集された負荷情報に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択部と
を備えてなるサービス選択装置。
(付記28) 複数のサーバの内から少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択方法であって、
前記複数のサーバと、前記複数のサーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、
前記情報収集部により収集された負荷情報に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップと
を備えてなるサービス選択方法。
(付記29) 複数のサーバの内から少なくとも一つのサーバと該サーバまでの経路を選択することをコンピュータに実行させるサービス選択プログラムであって、
前記複数のサーバと、前記複数のサーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、
前記情報収集部により収集された負荷情報に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップと
をコンピュータに実行させることを特徴とするサービス選択プログラム。
第1図は本発明の動作原理を示すフローチャートである。 第2図は本発明を適用するデータ中継装置の機能ブロック図である。 第3図は実施の形態の全体構成を示すブロック図である。 第4図はサーバ情報テーブルと経路情報テーブルの関係を示す図であり、第4図(a)は、サーバ情報テーブルを示し、第4図(b)は経路情報テーブルの構成を示す図である。 第5図はサーバ情報テーブルの一例を示す図である。 第6図は第5図のサーバ情報テーブルに対応する経路情報テーブルの一例を示す図である。 第7図はサーバ情報テーブルの他の一例を示す図である。 第8図は第7図のサーバ情報テーブルに対応する経路情報テーブルの一例を示す図である。 第9図は、第3図に示されたサービス選択部5Aの第1の動作を示すフローチャートである。 第10図は、第9図に示した動作と異なるサービス選択部の第2の動作を示すフローチャートである。 第11図は、第9図や第10図に示した動作と異なるサービス選択部の第3の動作を示すフローチャートである。 第12図は、第9図〜第11図に示した動作と異なるサービス選択部の第4の動作を示すフローチャートである。 第13図は、上述した資源利用率を得る際に使用される重み付け関数を示す図である。 第14図は、第9図〜第12図に示した動作と異なるサービス選択部の第5の動作を示すフローチャートである。 第15図は、本発明の一構成例を実施例としてより詳細に示す全体ブロック図である。 第16図は、第15図に示された各経路で適用されるパケットフォーマットを示す図である。 第17図は、第15図のデータ中継装置1の内部の機能構成を示した図である。 第18図は、第15図の構成に対応したサーバ情報テーブル、経路情報テーブルの第1の具体例である。 第19図は、第15図に対応したサーバ情報テーブル、経路情報テーブルの第2の具体例を示す図である。 本発明の適用システムを示す図であり、第20図(a)は企業情報システムを示す図であり、第20図(b)は分散IDC(Internet Data Center)を示す図であり、第20図(c)はキャリアシステムを示す図である。

Claims (10)

  1. 複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継するデータ中継装置であって、
    前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集部と、
    前記情報収集部により収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択部とを備え、
    前記サービス選択部は、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算し、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出し、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択することを特徴とするデータ中継装置。
  2. 請求項1に記載のデータ中継装置において、
    前記サービス選択部は、単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を取得しておき、
    前記変化分と、既に取得されている負荷情報に基づく残り容量率と、接続要求数の変化分とに基づいて、前記クライアントからの接続要求があった場合の前記残り容量率を算出することを特徴とするデータ中継装置。
  3. 請求項1に記載のデータ中継装置において、
    前記サービス選択部は、前記残り容量率を算出する際に、前記負荷情報に関連付けられる資源利用率を取得し、該資源利用率をパラメータxiとする関数Fを導入して、前記資源利用率を重み付けし、残り容量率を1−F(xi)にて算出することを特徴とするデータ中継装置。
  4. 請求項1に記載のデータ中継装置において、
    サーバと経路の組み合わせに対する前記残り容量率の積演算値を監視し、該監視値が所定値を下回った場合は、当該の組み合わせの資源の中で輻輳が起きていると判断し、別経路へ通信コネクションの経路を切り替えることを特徴とするデータ中継装置。
  5. 複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継するデータ中継方法であって、
    前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、
    前記情報収集ステップにより収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップとを備え、
    前記サービス選択ステップは、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算するステップと、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出するステップと、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択するステップとを備えることを特徴とするデータ中継方法。
  6. 複数のサーバとクライアントとの間に設けられ、クライアントから前記サーバのいずれかへの接続要求を中継することをコンピュータに実行させるデータ中継プログラムであって、
    前記サーバと、前記データ中継装置から前記サーバへの経路とのそれぞれに関する負荷情報を収集する情報収集ステップと、
    前記情報収集ステップにより収集された負荷情報に基づいて、前記クライアントからの前記接続要求に対して、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択ステップとをコンピュータに実行させ、
    前記サービス選択ステップは、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算するステップと、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出するステップと、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択するステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
  7. 請求項6に記載のデータ中継プログラムにおいて、
    前記サービス選択ステップは、単位数の接続要求を受付けた場合における所定のサーバと該サーバまでの経路についての負荷情報又は残り容量率の変化分を取得するステップと、
    前記変化分と、既に取得されている負荷情報に基づく残り容量率と、接続要求数の変化分とに基づいて、前記クライアントからの接続要求があった場合の前記残り容量率を算出するステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
  8. 請求項6に記載のデータ中継プログラムにおいて、
    前記サービス選択ステップでは、前記残り容量率を算出する際に、前記負荷情報に関連付けられる資源利用率を取得し、該資源利用率をパラメータxiとする関数Fを導入して、前記資源利用率を重み付けし、残り容量率を1−F(xi)にて算出するステップをコンピュータに実行させることを特徴とするデータ中継プログラム。
  9. 請求項6に記載のデータ中継プログラムにおいて、
    更に、サーバと経路の組み合わせに対する前記残り容量率の積演算値を監視するステップと、該監視値が所定値を下回った場合は、当該の組み合わせの資源の中で輻輳が起きていると判断し、別経路へ通信コネクションの経路を切り替えるステップとをコンピュータに実行させることを特徴とするデータ中継プログラム。
  10. 複数のサーバの内から少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択装置であって、
    前記複数のサーバと、前記複数のサーバへの経路とのそれぞれに関する負荷情報を収集する情報収集部と、
    前記情報収集部により収集された負荷情報に基づいて、少なくとも一つのサーバと該サーバまでの経路を選択するサービス選択部とを備え、
    前記サービス選択部は、前記負荷情報に基づいて各サーバと各経路のそれぞれについての残り容量率を演算し、得られた残り容量率の積演算値を各サーバと各経路との複数の組み合わせについて算出し、算出された積演算値に基づいて、前記少なくとも一つのサーバと該サーバまでの経路を選択することを特徴とするサービス選択装置。
JP2004570860A 2003-04-14 2003-04-14 データ中継装置、データ中継方法、データ中継プログラム、サービス選択装置、サービス選択方法、サービス選択プログラム Expired - Fee Related JP4080487B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/004689 WO2004093394A1 (ja) 2003-04-14 2003-04-14 データ中継装置、データ中継方法、データ中継プログラム、サービス選択装置、サービス選択方法、及びサービス選択プログラム

Publications (2)

Publication Number Publication Date
JPWO2004093394A1 JPWO2004093394A1 (ja) 2006-07-06
JP4080487B2 true JP4080487B2 (ja) 2008-04-23

Family

ID=33193211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004570860A Expired - Fee Related JP4080487B2 (ja) 2003-04-14 2003-04-14 データ中継装置、データ中継方法、データ中継プログラム、サービス選択装置、サービス選択方法、サービス選択プログラム

Country Status (2)

Country Link
JP (1) JP4080487B2 (ja)
WO (1) WO2004093394A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482465B2 (ja) * 2005-02-09 2010-06-16 株式会社エヌ・ティ・ティ・ドコモ 中継装置、端末装置、通信システムおよび通信制御方法
JP4730261B2 (ja) * 2006-08-31 2011-07-20 富士ゼロックス株式会社 通信システム
JPWO2010106772A1 (ja) 2009-03-17 2012-09-20 日本電気株式会社 分散処理システム及び分散処理方法
JP5598688B2 (ja) * 2011-01-26 2014-10-01 日本電気株式会社 ネットワークシステム、制御装置、及び最適経路制御方法
JP6020088B2 (ja) * 2012-11-22 2016-11-02 日本電気株式会社 負荷分散制御方法およびシステム
JP6167587B2 (ja) * 2013-03-21 2017-07-26 富士通株式会社 通信装置、通信ネットワークシステム、通信装置におけるコンテンツサーバ選択方法
US20170019337A1 (en) * 2014-03-31 2017-01-19 Nec Corporation Communication system, communication method and control apparatus
JP6179492B2 (ja) 2014-09-11 2017-08-16 コニカミノルタ株式会社 通信中継装置、プログラム及び通信中継方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178419B2 (ja) * 1998-06-18 2001-06-18 日本電気株式会社 情報提供サーバ、情報提供クライアントおよび記録媒体
JP2000101628A (ja) * 1998-09-24 2000-04-07 Victor Co Of Japan Ltd ファイルデータ受信方法
JP4137264B2 (ja) * 1999-01-05 2008-08-20 株式会社日立製作所 データベース負荷分散処理方法及びその実施装置
JP2001007844A (ja) * 1999-06-24 2001-01-12 Canon Inc ネットワークステータスサーバ及び情報配信システム、及びその制御方法、及びその制御プログラムを格納した記憶媒体
JP2002305538A (ja) * 2001-04-03 2002-10-18 Hitachi Ltd 通信品質制御方法、サーバ及びネットワークシステム
JP3913508B2 (ja) * 2001-09-28 2007-05-09 株式会社東芝 データ転送装置およびデータ転送方法

Also Published As

Publication number Publication date
JPWO2004093394A1 (ja) 2006-07-06
WO2004093394A1 (ja) 2004-10-28

Similar Documents

Publication Publication Date Title
US20050169254A1 (en) Data relay apparatus, data relay method, data relay program, service selection apparatus, service selection method and service selection program
CN111181849B (zh) 回源路径确定方法、确定装置、计算机设备和存储介质
US9130861B2 (en) Traffic engineering and bandwidth management of bundled links
US6795858B1 (en) Method and apparatus for metric based server selection
US8503310B2 (en) Technique for policy conflict resolution using priority with variance
US6084858A (en) Distribution of communication load over multiple paths based upon link utilization
JP4213972B2 (ja) ネットワークのパス構成のための方法および装置
US7257634B2 (en) Method and apparatus for directing a flow of packets based on request and server attributes
JP5450227B2 (ja) トラヒック制御指示装置、トラヒック制御指示プログラム、トラヒック制御指示システム、及びトラヒック制御指示方法
US20050071469A1 (en) Method and system for controlling egress traffic load balancing between multiple service providers
JP4080487B2 (ja) データ中継装置、データ中継方法、データ中継プログラム、サービス選択装置、サービス選択方法、サービス選択プログラム
US20220124038A1 (en) Device and method for improved load balancing with limited forwarding rules in software defined networks
Prabakaran et al. Software defined network: load balancing algorithm design and analysis.
Bharanidharan et al. An enhanced framework for traffic load balancing and QoS provisioning in SDN
JP3897603B2 (ja) フロントエンドプロセッサ、ルーティング管理方法、およびルーティング管理プログラム
Farhoudi et al. Server load balancing in software-defined networks
Singh et al. A markov decision process based flow assignment framework for heterogeneous network access
JP7333876B2 (ja) ファクトリーオートメーション用の公衆網におけるマルチサイトオーケストレーションを提供する方法、オーケストレータ及び通信システム
Schmidt et al. Scalable bandwidth optimization in advance reservation networks
JP5542098B2 (ja) 経路制御装置、経路制御プログラム、経路制御方法及び経路制御システム
CN114745343B (zh) 基于QoS优先级的SDN的网络负载均衡路由方法、装置和设备
Tajedin et al. DTE: Dynamic traffic engineering in software defined data center networks
JP4312220B2 (ja) フロントエンドプロセッサ、ルーティング管理方法、ルーティング管理プログラム
Torres-Jr et al. Parente Ribeiro, E.(2020, marzo). Bartolomeu: An SDN rebalancing system across multiple interdomain paths. Computer Networks, 169, 107117.
WO2022071791A1 (en) A system and method for application data routing in an iot network

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140215

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees