JP3645852B2 - 負荷分散方法、コンテンツ配信システム及び負荷分散装置 - Google Patents
負荷分散方法、コンテンツ配信システム及び負荷分散装置 Download PDFInfo
- Publication number
- JP3645852B2 JP3645852B2 JP2001353787A JP2001353787A JP3645852B2 JP 3645852 B2 JP3645852 B2 JP 3645852B2 JP 2001353787 A JP2001353787 A JP 2001353787A JP 2001353787 A JP2001353787 A JP 2001353787A JP 3645852 B2 JP3645852 B2 JP 3645852B2
- Authority
- JP
- Japan
- Prior art keywords
- connection
- client
- mirror server
- mirror
- mac address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【発明の属する技術分野】
本発明は、クライアントからのインターネット経由のコネクションを各ミラーサーバに適切に分配することにより、各ミラーサーバにかかる負荷を分散する負荷分散方法、コンテンツ配信システム及び負荷分散装置に関する。
【0002】
【従来の技術】
今日のインターネットの普及に伴って、ユーザがクライアントからインターネットを介してサーバにアクセスして、サーバから様々なコンテンツを取得することが一般的に行われている。サーバの中には、非常に人気が高いためクライアントからのアクセス数が多く混雑するものがある。そのようなサーバでは、混雑を解消するために、元のサーバと同じ機能や情報を保持したいわゆるミラーサーバを複数台設置することにより、サーバにかかる負荷の分散が図られている。
【0003】
しかし、クライアントから複数のミラーサーバに対するアクセス頻度は、ミラーサーバ毎に異なり、複数のミラーサーバには、均等に負荷がかかっているわけではない。従って、複数のミラーサーバが効率的に活用されず、その結果、ユーザが高速にミラーサーバからコンテンツを取得することができない場合が生じ得る。そこで、ユーザが複数のミラーサーバの中から最適なミラーサーバを選択する方法が、例えば、特開2000−29813号公報や特開2001−256208号公報などに開示されている。
【0004】
特開2000−29813号公報に開示された方法(サーバ選択システム)は、プライマリサーバに用意されている複数のミラーサーバを認識し、複数のミラーサーバの状態を調べ、クライアントとのデータの送受信に適したミラーサーバを決定して接続するものである。
【0005】
また、特開2001−256208号公報に開示された方法(ミラーサーバ間におけるロードバランスを取る方法)は、Webページがクライアントからアクセスされたときに、Webページの他に所定スクリプトもクライアントに転送し、複数のミラーサーバそれぞれと接続を確立し、それらの応答時間を測定するため、クライアントでスクリプトを自動的に実行し、応答時間が最短のミラーサーバを選択するものである。
【0006】
【発明が解決しようとする課題】
しかし、上記したミラーサーバの選択方法は、クライアント側において負荷のかかっていない最適なミラーサーバを選択する方法であるため、クライアントに当該方法を実現する手段(以下、サーバ選択手段という)を設定または導入(インストール)しなければならない。従って、サーバ選択手段を設定または導入していないクライアントは、最適なミラーサーバの選択を行うことができず、また、クライアントにサーバ選択手段を設定または導入するにはユーザの手間もかかってしまう。
【0007】
一方、従来、サーバ側においては、クライアントからのミラーサーバに対するコネクションを複数のミラーサーバに均等に振り分けることができなかった。複数のミラーサーバが設置されている場合には、ミラーサーバ毎にIPアドレスが設定される。この場合、クライアントで指定されたIPアドレスに対応するミラーサーバに対してしか、クライアントからのコネクションが確立されない。すなわち、サーバ側では、クライアントで指定されたIPアドレスに対応しないミラーサーバ(IPアドレスの異なるミラーサーバ)に対しては、クライアントからのコネクションを確立するためのパケットを転送(ルーティング)しない。
【0008】
このように、サーバ側でクライアントからのコネクションを複数のミラーサーバに均等に振り分けることができなかったので、複数のミラーサーバにかかる負荷を均一にすることができず、複数のミラーサーバを効率的に活用することができなかった。その結果、複数のミラーサーバが設置されているにもかかわらず、ユーザにとっては、特定のミラーサーバが混雑しているために、高速にミラーサーバからコンテンツを取得できないことも生じ得るものであった。
【0009】
例えば、クライアントが、あるURL(Uniform Resource Locator)に存在するファイルをHTTP(Hyper Text Transfer Protocol)プロトコルで取得(GET)している最中に、別のクライアントから当該URLに存在するファイルを取得しようとしても、当該URLのミラーサーバが混雑しているため(ダウンロード中であるため)、ファイルの取得を待たされたりしてしまう。
【0010】
ミラーサーバのファイルの転送性能は、そのミラーサーバの外部記憶装置等のハードウェアに依存するため、いくら回線速度を高速化したとしても、クライアントのファイルの取得速度(転送処理時間)は制限される。
【0011】
尚、クライアント側のエッジルータやプロキシサーバにおけるキャッシュ機能を利用することにより、よく利用するサイトの情報などを一時的に保管し、トラフィックの軽減を図ることも行われているが、キャッシング容量には制限があり、また、サーバ側で複数のミラーサーバにかかる負荷を均一化するものではないので、本質的な解決にはならない。
【0012】
本発明は、上記のような課題を解決するためになされたものであり、サーバ側で複数のミラーサーバにかかる負荷を分散することにより、クライアント側でのコンテンツの転送処理時間を短縮することができる負荷分散方法、コンテンツ配信システム及び負荷分散装置を得ることを目的とする。
【0013】
【課題を解決するための手段】
以上の目的を達成するため、本発明の負荷分散方法は、クライアントからのコネクションが割り振られる権利を、複数のミラーサーバのうちの一のミラーサーバに割り当て、権利を割り当てたときに一のミラーサーバから送信される、ネットワーク接続装置のARPキャッシュの情報を一のミラーサーバのIPアドレスとMACアドレスに自動的に更新させる「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、一のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を保有している一のミラーサーバに転送し、一のクライアントと一のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させることを特徴とする。
【0014】
また、コネクションが確立されるときに一のミラーサーバから権利を返却させ、返却される権利を受け取ると、権利を他のミラーサーバに割り当てるとともに、他のミラーサーバから送信される「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、他のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を現に保有している他のミラーサーバに転送し、他のクライアントと他のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させるように構成されているのが好ましい。
【0015】
また、本発明のコンテンツ配信システムは、ネットワーク接続装置と複数のミラーサーバとの間に、クライアントからの通信ネットワーク経由のコネクションを各ミラーサーバに分配するコネクション分配装置が設けられ、当該コネクション分配装置が、クライアントからのコネクションが割り振られる権利を、複数のミラーサーバのうちの一のミラーサーバに割り当て、権利を割り当てたときに一のミラーサーバから送信される、ネットワーク接続装置のARPキャッシュの情報を一のミラーサーバのIPアドレスとMACアドレスに自動的に更新させる「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、一のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を保有している一のミラーサーバに転送し、一のクライアントと一のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させることを特徴とする。
【0016】
また、一のミラーサーバが、コネクションが確立されるときに権利をコネクション分配装置に返却し、当該コネクション分配装置が、返却される権利を受け取ると、権利を他のミラーサーバに割り当てるとともに、他のミラーサーバから送信される「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、他のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を現に保有している他のミラーサーバに転送し、他のクライアントと他のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させるように構成されているのが好ましい。
【0017】
また、コネクション分配装置は、権利を複数のミラーサーバのうちの一のミラーサーバに割り当てる権利割当処理部と、複数のミラーサーバのうちの所定のミラーサーバとの間で既にコネクションが確立されているクライアントのIPアドレス及びポート番号と当該コネクションが確立されている所定のミラーサーバのMACアドレスとの対応関係を記憶するテーブルと、クライアントと所定のミラーサーバとの間のコネクションの接続及び切断を常時監視し、コネクションが接続されたときにテーブルに対応関係を追加し、コネクションが切断されたときにテーブルから対応関係を削除するコネクション監視処理部と、ネットワーク接続装置から転送される、一のクライアントから現に権利を保有しているミラーサーバに対して送信されたパケットの宛先MACアドレスを、テーブルの対応関係に基づいて、現に権利を保有しているミラーサーバのMACアドレスから一のクライアントとの間でコネクションが確立されているミラーサーバのMACアドレスに変換するMACアドレス変換処理部と、パケットの宛先MACアドレスに基づいてスイッチングするとともに、一のミラーサーバから受信した「根拠のないARP要求」については他のミラーサーバに転送せず、ネットワーク接続装置に転送するスイッチング処理部とを備えていてもよい。
【0018】
また、本発明の負荷分散装置は、クライアントからのコネクションが割り振られる権利を、複数のミラーサーバのうちの一のミラーサーバに割り当て、権利を割り当てたときに一のミラーサーバから送信される、ネットワーク接続装置のARPキャッシュの情報を一のミラーサーバのIPアドレスとMACアドレスに自動的に更新させる「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、一のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を保有している一のミラーサーバに転送し、一のクライアントと一のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させることを特徴とする。
【0019】
また、負荷分散装置が、コネクションが確立されるときに一のミラーサーバから返却される権利を受け取ると、権利を他のミラーサーバに割り当てるとともに、他のミラーサーバから送信される「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、他のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を現に保有している他のミラーサーバに転送し、他のクライアントと他のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させるように構成されているのが好ましい。
【0020】
さらに、負荷分散装置は、権利を複数のミラーサーバのうちの一のミラーサーバに割り当てる権利割当処理部と、複数のミラーサーバのうちの所定のミラーサーバとの間で既にコネクションが確立されているクライアントのIPアドレス及びポート番号と当該コネクションが確立されている所定のミラーサーバのMACアドレスとの対応関係を記憶するテーブルと、クライアントと所定のミラーサーバとの間のコネクションの接続及び切断を常時監視し、コネクションが接続されたときにテーブルに対応関係を追加し、コネクションが切断されたときにテーブルから対応関係を削除するコネクション監視処理部と、ネットワーク接続装置から転送される、一のクライアントから現に権利を保有しているミラーサーバに対して送信されたパケットの宛先MACアドレスを、テーブルの対応関係に基づいて、現に権利を保有しているミラーサーバのMACアドレスから一のクライアントとの間でコネクションが確立されているミラーサーバのMACアドレスに変換するMACアドレス変換処理部と、パケットの宛先MACアドレスに基づいてスイッチングするとともに、一のミラーサーバから受信した「根拠のないARP要求」については他のミラーサーバに転送せず、ネットワーク接続装置に転送するスイッチング処理部とを備えていてもよい。
【0022】
【発明の実施の形態】
以下、本発明の実施の一形態を図面を参照して説明する。
実施の形態1.
図1は、本発明のコンテンツ配信システムが接続されるネットワーク構成を示す図である。本発明のコンテンツ配信システムは、負荷分散装置を実現するコネクション分配装置30及びコンテンツサーバ40から構成される。コンテンツサーバ40は、複数のミラーサーバ40−1〜40−4から構成されている。
【0023】
図1において、クライアント10は、ユーザが備えた、コンテンツサーバ40からコンテンツの提供を受ける側のパーソナルコンピュータなどである。クライアント10は、例えばモデムやターミナルアダプタなどを介してインターネット100に接続される。クライアント10には、IPアドレスとして「IP1」が割り当てられているものとする。
【0024】
ネットワーク接続装置としてのエッジルータ21は、外部のインターネット100と内部LAN(イーサーネット)との接続地点に設けられ、パケットのIPヘッダの中のIPアドレスなどを基に、パケットのルーティング(経路選択)を行う。エッジルータ21は、MACアドレスとIPアドレスの対応関係を格納するテーブルであるARPキャッシュ22を備えている。
【0025】
尚、一般にLANに接続された端末は、エッジルータ21と同様に、MACアドレスとIPアドレスの対応関係を認識してLAN通信を実現するために、ARPキャッシュを備えている。ARP(Address Resolution Protocol ;アドレス解決プロトコル)は、例えば最初の通信時(新規購入後のセットアップ完了後など)にARPキャッシュ内に情報がないためMACアドレスがわからないとき、全端末にIPアドレスを問い合わせ、該当端末からの返事のフレームでMACアドレスの情報を取得するプロトコルである。このARPにはARP要求とARP応答がある。
【0026】
尚、エッジルータ21には、LAN通信する場合に必要な端末の物理アドレスであるMACアドレスとして「MAC1」が割り付けられているものとする。
【0027】
コネクション分配装置30は、エッジルータ21とコンテンツサーバ40との間に設置され、コンテンツサーバ40を構成する各ミラーサーバ40−1〜40−4に対してクライアント10からのコネクションを適切に分配する装置である。
【0028】
コネクション分配装置30は、エッジルータ21に対しARPの一種である「根拠のないARP要求」(ARPについてはIETF(Internet Engineering Tas
k Force )文書RFC826参照)を使用して自身のMACアドレスを通知できるミラーサーバ40−1〜40−4の権利、すなわち、クライアント10からのコネクションが割り振られるというミラーサーバ40−1,40−2の権利であるトークン(Token)を、ある一つのミラーサーバ(例えばミラーサーバ40−1)に割り当てる機能を備えている。また、コネクション分配装置30は、トークンを保持しているミラーサーバ(例えばミラーサーバ40−1)に対してクライアント10からの新たなコネクションを割り振る機能を備えている。
【0029】
さらに、コネクション分配装置30は、クライアント10とミラーサーバのコネクションを同一のミラーサーバで終端させるため、すなわち、クライアント10とミラーサーバとの間で既に確立されたコネクションを維持させるため、クライアント10から例えばミラーサーバ40−1に送信されたパケットの宛先MACアドレスを、正当なミラーサーバ40−1のMACアドレスに変換する機能なども備えている。
【0030】
尚、コネクション分配装置30は、通常のMACスイッチに上記各機能などを追加することにより、クライアント10からのコネクションを各ミラーサーバ40−1〜40−4に適切に分配することを実現している。また、コネクション分配装置30には、トークンをミラーサーバ40−1〜40−4との間で受け渡しをするときに使用するMACアドレスとして「MAC6」が割り当てられている。コネクション分配装置30の具体的構成については後述する(図2参照)。
【0031】
コンテンツサーバ40は、クライアント10からの要求に対してコンテンツを提供するサーバである。上記したように、コンテンツサーバ40は、複数のミラーサーバ40−1〜40−4から構成されている。各ミラーサーバ40−1〜40−4は、同一のIPアドレス「IP2」と同一のコンテンツを具備している。従って、WAN側に接続されているエッジルータ21からは、各ミラーサーバ40−1〜40−4は意識されず、グローバルアドレスが付与された唯一つのコンテンツサーバ40があるかのように認識される。
【0032】
ミラーサーバ40−1には、MACアドレスとして「MAC2」が割り付けられ、ミラーサーバ40−2には、MACアドレスとして「MAC3」が割り付けられ、ミラーサーバ40−3には、MACアドレスとして「MAC4」が割り付けられ、また、ミラーサーバ40−4には、MACアドレスとして「MAC5」が割り付けられているものとする。
【0033】
尚、各ミラーサーバ40−1〜40−4は、同一のIPアドレスと同一のコンテンツを具備するとしていたが、全く同一のハードディスクイメージ(デッドコピー)を具備するものであってもよい。各ミラーサーバ40−1〜40−4の具体的構成については後述する(図4参照)。
【0034】
各ミラーサーバ40−1〜40−4は、コネクション分配装置30から送信されたトークンを受信して取得すると、「根拠のないARP要求」をエッジルータ21に対して送信する機能を備えている。
【0035】
ここで、「根拠のないARP要求」は、自端末(自ホスト)のIPアドレスとMACアドレスを他端末(他ホスト)に通知し、他端末のARPキャッシュのIPアドレスとMACアドレスを更新させるフレームである。「根拠のないARP要求」を受信した他端末は、そのARP要求の内容に従ってARPキャッシュ内に格納されたIPアドレスとMACアドレスの情報を更新しなければならないことになっている。尚、他端末が自端末に割り当てられているIPアドレスを使用していない限り、このARP要求に対して応答はしない(もし応答があるとすれば、IPアドレスが重複して割り当てられているという障害であり通常はありえない。
【0036】
また、各ミラーサーバ40−1〜40−4は、クライアント10との間でコネクションが張られたとき、すなわち、アプリケーション通信を開始するときに、自身が保有しているトークンをコネクション分配装置30に送信して返却する機能も備えている。
【0037】
尚、図1においては、コンテンツサーバ40は、4つのミラーサーバ40−1〜40−4から構成されているが、4つに限られるものではなく、複数のミラーサーバ40−1〜40−nで構成されていてもよい。
【0038】
図2は、コネクション分配装置の構成を示すブロック図である。尚、図1では、コネクション分配装置30には4つのミラーサーバ40−1〜40−4が接続されていたが、図2では、説明を簡略化するため、コネクション分配装置30に2つのミラーサーバ40−1,40−2を接続した構成としている。
【0039】
図2に示すように、コネクション分配装置30には、WAN側にエッジルータ21を接続する物理ポート31が設けられ、LAN側にミラーサーバ40−1,40−2をそれぞれ接続する物理ポート32,33が設けられている。尚、図2では、コネクション分配装置30は、WAN側に1つの物理ポート31を、LAN側には2つの物理ポート32,33を収容した構成としているが、これに限られるものではなく、WAN側にN個の物理ポートを、LAN側にもN個の物理ポートを収容することも可能である。
【0040】
トークン割当処理部34は、複数のミラーサーバ40−1,40−2の中から負荷がかかっていない適切なミラーサーバを選択し、その選択したミラーサーバにトークンを送信して割り当てる。コネクション監視処理部35は、クライアント10とミラーサーバ40−1,40−2との間のコネクションの接続及び切断を常時監視し、コネクションが接続されたときにコネクション対MACアドレス対応表36にエントリを追加し、コネクションが切断されたときにコネクション対MACアドレス対応表36からエントリを削除する。
【0041】
コネクション対MACアドレス対応表36は、複数のクライアント10とミラーサーバ40−1,40−2のアプリケーションの通信において、それぞれの通信におけるコネクションとミラーサーバ40−1,40−2のMACアドレスとの対応関係の情報を記憶するテーブルである。
【0042】
図3は、コネクション対MACアドレス対応表の一例を示す図である。図3においては、クライアント10とミラーサーバのアプリケーションが通信している場合における、パケットのクライアント10側のIPアドレスとクライアント10側のポート番号の組のことを「コネクション」といっている。また、コネクションとアプリケーション通信しているミラーサーバのMACアドレス(下りフレームの宛先MACアドレス)の対応関係の情報を「エントリ」という。エントリは、MACアドレス変換処理部37がコネクションを基にしてMACアドレスを効率よく検索できるように、コネクションをキーとする連想メモリ形式でコネクション対MACアドレス対応表36に記憶される。
【0043】
MACアドレス変換処理部37は、物理ポート31から入力したパケット(下りフレーム)内のコネクションがコネクション対MACアドレス対応表36に存在するか否かを検索し、そのコネクションがコネクション対MACアドレス対応表36に存在する場合に、コネクション対MACアドレス対応表36のエントリに従ってパケットの宛先MACアドレスをエントリのMACアドレスに変換する(書き換える)。また、MACアドレス変換処理部37は、物理ポート32または33から入力したパケット(上りフレーム)内のコネクションがコネクション対MACアドレス対応表36に存在するか否かを検索し、そのコネクションがコネクション対MACアドレス対応表36に存在する場合に、コネクション対MACアドレス対応表36のエントリに従ってパケットの発信元MACアドレスをエントリのMACアドレスに変換する。
【0044】
スイッチング処理部38は、物理ポート31から入力したパケットの宛先MACアドレスに基づいて、該当の物理ポート32または33に向けてパケットをスイッチングする。また、スイッチング処理部38は、物理ポート32または33から入力したパケットの宛先MACアドレスに基づいて、物理ポート31に向けてパケットをスイッチングする。尚、スイッチング処理部38は、物理ポート32または33から入力したパケットに対しては物理ポート31に向けてのみスイッチングする。すなわち、スイッチング処理部38は、物理ポート32から物理ポート33に向けて、また物理ポート33から物理ポート32に向けてはスイッチングしない。
【0045】
図4は、ミラーサーバの構成を示すブロック図である。尚、ミラーサーバ40−1及びミラーサーバ40−2は、上記したように、全く同一構成であるので、ミラーサーバ40−1についてのみ内部構成を示し、ミラーサーバ40−2については図示を省略している。
【0046】
図4において、通信部41は、コネクション分配装置30の物理ポート32と接続され、コネクション分配装置30との間でパケット(フレーム)の送受信を行う。記憶部42は、ミラーサーバ40−1の各種処理を制御するための制御プログラム42aや、HTTPやFTP(File Transfer Protocol)などのアプリケーションで転送されるファイルなどのコンテンツ42bなどを記憶(保存)する。ARPキャッシュ43は、MACアドレスとIPアドレスの対応関係を格納するテーブルである。
【0047】
制御部44は、記憶部42に格納された制御プログラム42aに従って、クライアント10に対してコンテンツ42bを提供する動作を制御する他に、本発明の負荷分散方法を実現するための次のような処理も行う。すなわち、制御部44は、通信部41においてコネクション分配装置30から送信されたトークンを受信すると、記憶部42の制御プログラム42aに従って、「根拠のないARP要求」をエッジルータ21に送信する処理を実行する。また、制御部44は、クライアント10との間でコネクションが張られるとき、記憶部42の制御プログラム42aに従って、保持しているトークンをコネクション分配装置30に送信して返却する処理を実行する。
【0048】
図5は、ミラーサーバが通信で使用するプロトコルスタックを示す図である。図5において、MAC/LLC(Media Access Control/Logical Link Control)は、データリンク層(レイヤ2)に対応しているプロトコルで、データをフレーム化して送受信し、そのフロー制御、伝送エラー制御などを行う。
【0049】
IP(Internet Protocol )は、ネットワーク層(レイヤ3)に対応しているプロトコルで、通信相手をIPアドレスで識別し、エンド−エンドの通信を実現する。ARPも、ネットワーク層に対応しているプロトコルで、上記したように、通信相手のIPアドレスからMACアドレスを求めるものである。トークン処理部は、トークンの受け渡し(送受信)に使用する新規のプロトコルであり、ネットワーク層に新たに定義されている。
【0050】
TCP/UDP(Transmission Control Protocol/User Datagram Protocol )は、トランスポート層(レイヤ4)に対応しているプロトコルで、コネクションの確立・解放、データ転送などを行う。アプリケーションは、セッション層(レイヤ5)からアプリケーション層(レイヤ7)に対応し、FTP、HTTPなどのプロトコルが利用される。
【0051】
図5に示すように、ミラーサーバ40−1,40−2とコネクション分配装置30との間で送受信されるフレームにはトークン処理部が設けられている。トークン処理部は、トークンの受け渡しをミラーサーバ40−1,40−2の制御部44に実行させる。制御部44は、コネクション分配装置30から送信されたトークンを受信すると、その直後に、フレームのARPを「根拠のないARP要求」に設定して送信させる。また、制御部44は、クライアント10からアプリケーションに対して通信が開始され、アプリケーションデータをクライアント10に送信する際に、トークンをコネクション分配装置30に返却する。
【0052】
図6は、「根拠のないARP要求」のフレーム構造(イーサーネットフレーム構造)を示す図である。図6に示すように、「宛先アドレス」としては、ブロードキャストアドレス(FF:FF:FF:FF:FF:FF)が格納され、「発信元アドレス」としては、自インターフェースに付与されているMACアドレスが格納される。フレームタイプはARPである。
【0053】
「送り手イーサーネットアドレス」としては、自インターフェースに付与されているMACアドレスが格納され、「送り手IPアドレス」としては、自ホストに割り当てられているIPアドレスが格納される。「ターゲットイーサーネットアドレス」としては、ブロードキャストアドレス(FF:FF:FF:FF:FF:FF)が格納され、「ターゲットIPアドレス」としては、自ホストに割り当てられているIPアドレスが格納される。
【0054】
尚、「根拠のないARP要求」が普通の「ARP要求」と違うのは、「ターゲットIPアドレス」が自ホスト(自分自身)に割り当てられているIPアドレスになっていることだけである。
【0055】
次に、本発明の負荷分散装置の動作について説明する。
図7は、本発明のコンテンツ配信システムにおけるトークン割り当て動作を説明するためのシーケンス図である。
【0056】
前提として、コネクション分配装置30がトークンを保持している状態であるものとする。この状態は、コネクション分配装置30の電源を立ち上げた初期状態、またはミラーサーバ40−1,40−2からトークンを返却された状態である(図9のステップST40参照)。
【0057】
コネクション分配装置30において、トークン割当処理部34は、トークンを割り当てる(与える)べきミラーサーバ40−1,40−2を任意のアルゴリズムで決定する(ステップST1)。このアルゴリズムとしては、例えば、各ミラーサーバ40−1,40−2に順番を付けておき、クライアント10からのコネクションの接続先をコネクション毎に順番に選択するラウンドロビン法や、各ミラーサーバ40−1,40−2に所定基準の重み付けをし、その重み付けを加味した優先順位により決定する優先順位法などがある。尚、本実施の形態においては、ラウンドロビン法を用いるものとして説明する。
【0058】
トークン割当処理部34は、ラウンドロビン法で決定したミラーサーバ(ここではミラーサーバ40−1としている)に対して物理ポート32を介してトークンを送信する(ステップST2)。この段階においては、コネクション分配装置30はミラーサーバ40−1のMACアドレスを知らないので、トークンを運ぶMACフレームの宛先MACアドレスはブロードキャストアドレスが使用され、発信元MACアドレスはコネクション分配装置30に割り当てられているMACアドレス(MAC6)が使用される。
【0059】
ミラーサーバ40−1では、制御部44は、コネクション分配装置30から送信されたトークンを通信部41を介して受信すると(ステップST3)、制御プログラム42aに従って、「根拠のないARP要求」を出力するよう制御する。すなわち、制御部44は、図6に示したように、ARPのフレーム(ARPパケット)の送り手IPアドレスとターゲットIPアドレスにコンテンツサーバ40として唯一つ提供されているIPアドレス(IP2)を付与し、そのように設定した「根拠のないARP要求」を通信部41を介して送信する(ステップST4)。
【0060】
コネクション分配装置30では、トークン割当処理部34は、ミラーサーバ40−1から送信された「根拠のないARP要求」を物理ポート32を介して受信すると、「根拠のないARP要求」の発信元アドレス(MAC2)を取り出してコネクション対MACアドレス対応表36に記憶するとともに、MACアドレス変換処理部37に通知する(ステップST5)。
【0061】
また、スイッチング処理部38は、ミラーサーバ40−1から送信された「根拠のないARP要求」を物理ポート32を介して受信すると、「根拠のないARP要求」をWAN側の物理ポート31に向けてそのままスイッチングする。これにより、「根拠のないARP要求」は、物理ポート31を介してエッジルータ21に転送される(ステップST6)。
【0062】
尚、図6に示したように、「根拠のないARP要求」の宛先アドレスには、ブロードキャストアドレスが格納されているので、本来なら、「根拠のないARP要求」は、LANに接続されている全ての端末に転送される。しかし、スイッチング処理部38は、LAN側の物理ポート32,33同士はスイッチングしないように構成されているため、ミラーサーバ40−1から送信された「根拠のないARP要求」をLAN側の物理ポート33にはスイッチングしない。従って、ミラーサーバ40−2には、「根拠のないARP要求」は転送されない。
【0063】
エッジルータ21は、コネクション分配装置30から転送された「根拠のないARP要求」を受信すると、「根拠のないARP要求」の内容に従って、ミラーサーバ40−1のIPアドレス(IP2)とMACアドレス(MAC2)をARPキャッシュ22に記憶して更新する(ステップST7)。その結果、クライアント10からのコネクションの接続先が、ミラーサーバ40−1に自動的に決定されることになる。
【0064】
図8は、本発明のコンテンツ配信システムにおけるコネクション割り振り動作を説明するためのシーケンス図である。
【0065】
ユーザは、コンテンツサーバ40がインターネット100上に提供しているコンテンツを取得しようとする場合、クライアント10でコンテンツサーバ40のIPアドレス(IP2)を指定し、コンテンツサーバ40にパケットを送信してアクセスする(ステップST10)。
【0066】
エッジルータ21は、クライアント10からのコンテンツサーバ40に対してアクセスするパケットを受信すると、ARPキャッシュ22に格納されている情報を参照することにより、パケットを転送すべきIPアドレス(IP2)に対応するMACアドレス(宛先MACアドレス)を直ちに解決する。このとき、ARPキャッシュ22に格納されているMACアドレスは「MAC2」であるので、エッジルータ21は、現在トークンを保有しているMAC2のミラーサーバ40−1に対してクライアント10からのパケットを転送する(ステップST11)。
【0067】
コネクション分配装置30では、コネクション監視処理部35は、エッジルータ21から転送されたパケットを物理ポート31を介して受信すると、図3に示すようにパケットのクライアント10側IPアドレス(IP1)及びポート番号(例えば23)の組をコネクションとし、そのコネクションとパケット(フレーム)の宛先MACアドレス(MAC2)とをエントリとしてコネクション対MACアドレス対応表36に追加する(ステップST12)。
【0068】
MACアドレス変換処理部37は、コネクション対MACアドレス対応表36にはパケットのコネクションに対応するエントリがなかったので、パケットのMACアドレスを変換せずに、パケットをスイッチング処理部38に送る。
【0069】
スイッチング処理部38は、パケットの宛先MACアドレス(MAC2)に従って、物理ポート32に向けてスイッチングする。これにより、パケットは、ミラーサーバ40−1に転送される(ステップST13)。
【0070】
ミラーサーバ40−1では、制御部44は、コネクション分配装置30から送信されたパケットを通信部41を介して受信すると(ステップST14)、制御プログラム42aに従って、アプリケーション処理を実行し、応答パケットを送信する(ステップST22)。
【0071】
但し、制御部44は、ARPキャッシュ43に情報が格納されていない場合には、応答パケットを送信することができないので、応答パケットを送信する前に、エッジルータ21のMACアドレスを解決するためにARP要求を送信(発信)する(ステップST15)。その後、制御部44は、アプリケーション処理を実行する(ステップST16)。
【0072】
コネクション分配装置30では、スイッチング処理部38は、ミラーサーバ40−1から送信されたARP要求を物理ポート32を介して受信すると、ARP要求を物理ポート31のみに向けてスイッチングする。これにより、ARP要求は、エッジルータ21にのみ転送される(ステップST17)。
【0073】
エッジルータ21は、コネクション分配装置30から転送されたARP要求を受けると、そのARP要求に対するARP応答を送信する(ステップST18)。そして、コネクション分配装置30は、スイッチング処理部38がARP応答を物理ポート32に向けてスイッチングすることにより、ARP応答をミラーサーバ40−1に転送する(ステップST19)。
【0074】
ミラーサーバ40−1では、制御部44は、コネクション分配装置30から転送されたARP応答を通信部41を介して受信すると(ステップST20)、ARP応答の内容に従って、ARPキャッシュ43にエッジルータ21のIPアドレスとMACアドレス(MAC1)を記憶する(ステップST21)。その後、制御部44は、クライアント10からのアクセスに対する応答パケットをクライアント10に対して送信する(ステップST22)。
【0075】
コネクション分配装置30では、スイッチング処理部38は、ミラーサーバ40−1から送信された応答パケットを物理ポート32を介して受信すると、応答パケットを物理ポート31に向けてスイッチングする。従って、応答パケットは、スイッチング処理部38からMACアドレス変換処理部37に送られる。
【0076】
MACアドレス変換処理部37は、コネクション対MACアドレス対応表36のエントリを参照することにより、応答パケットの発信元MACアドレス(MAC2)をトークンを保有しているミラーサーバ40−1のMACアドレス(MAC2)に書き換える(ステップST23)。このとき、パケットの発信元MACアドレスとトークンを保有しているミラーサーバ40−1のMACアドレスとは、いずれもMAC2であって同一の値であるので、MACアドレスは同一の値に上書きされることになる。
【0077】
応答パケットは、MACアドレス変換処理部37でMACアドレスの変換処理が行われた後、コネクション監視処理部35を通過して、物理ポート31を介してエッジルータ21に転送される(ステップST24)。
【0078】
エッジルータ21は、コネクション分配装置30から転送された応答パケットをミラーサーバ40−1からの応答パケットとして受信する。エッジルータ21は、応答パケットを受信すると、ルーティングを行って、クライアント10に対して応答パケットを転送する(ステップST25)。
【0079】
クライアント10は、エッジルータ21から送信された応答パケットをインターネット100を経由して受信すると、応答パケットに対するパケットを送信する(ステップST26)。エッジルータ21は、クライアント10から送信されたパケットを受信すると、ルーティングを行って、ミラーサーバ40−1に対して転送する(ステップST27)。
【0080】
コネクション分配装置30では、コネクション監視処理部35は、エッジルータ21から転送されたパケットを物理ポート31を介して受信すると、パケット内のコネクションと同じコネクションがコネクション対MACアドレス対応表36に存在するか否かを確認する。このとき、コネクション監視処理部35は、コネクション対MACアドレス対応表36に同じコネクションを発見するので、コネクション対MACアドレス対応表36には何もエントリを追加しない。コネクション監視処理部35を通過したパケットは、MACアドレス変換処理部37に送られる。
【0081】
MACアドレス変換処理部37は、パケットのコネクションと同一のコネクションがコネクション対MACアドレス対応表36の中に存在することを確認すると、パケットの宛先MACアドレス(MAC2)をコネクション対MACアドレス対応表36のエントリのMACアドレスに書き換える(ステップST28)。このとき、パケットの宛先MACアドレスとコネクション対MACアドレス対応表36中のエントリのMACアドレスとは、いずれもMAC2であって同一の値であるので、MACアドレスは上書きされることになる。
【0082】
パケットは、MACアドレス変換処理部37でMACアドレスの変換処理が行われた後、スイッチング処理部38に送られる。スイッチング処理部38は、パケットの宛先MACアドレスに従って、パケットを物理ポート32に向けてスイッチングする。これにより、パケットは、ミラーサーバ40−1に転送される(ステップST29)。ミラーサーバ40−1は、コネクション分配装置30から転送されたパケットを受信する(ステップST30)。
【0083】
その後、クライアント10とミラーサーバ40−1におけるアプリケーション通信でやり取りするパケットは、上記したステップST22からステップST30の処理が繰り返される。
【0084】
図9は、本発明のコンテンツ配信システムにおけるトークン返却後のトークン割り当て動作を説明するためのシーケンス図である。
【0085】
ミラーサーバ40−1の制御部44は、クライアント10との間でコネクションが張られるとき、すなわち、図8のステップST22の処理において応答パケットを送信した直後に、トークンをコネクション分配装置30に送信して返却する(ステップST40)。
【0086】
ミラーサーバ40−1がトークンを返却するのは、別のクライアント10’からのコンテンツサーバ40に対するコネクションがあったときに、そのコネクションの接続先を他のミラーサーバに引き渡すためである。
【0087】
コネクション分配装置30では、トークン割当処理部34は、ミラーサーバ40−1から送信されたトークンを物理ポート32を介して受信すると(ステップST41)、ラウンドロビン法に従って、次にトークンを割り当てるミラーサーバを決定し(ステップST42)、当該ミラーサーバにトークンを送信する(ステップST43)。ここで、トークン割当処理部34は、次のコネクションの接続先としてミラーサーバ40−2に決定し、トークンを送信したものとする。
【0088】
ミラーサーバ40−2では、制御部44は、コネクション分配装置30から送信されたトークンを通信部41を介して受信すると(ステップST44)、「根拠のないARP要求」を通信部41を介して送信する(ステップST45)。
【0089】
コネクション分配装置30では、トークン割当処理部34は、ミラーサーバ40−2から送信された「根拠のないARP要求」を物理ポート33を介して受信すると、「根拠のないARP要求」の発信元アドレス(MAC3)を取り出してコネクション対MACアドレス対応表36に記憶するとともに、MACアドレス変換処理部37に通知する(ステップST46)。
【0090】
また、スイッチング処理部38は、ミラーサーバ40−2から送信された「根拠のないARP要求」を物理ポート33を介して受信すると、「根拠のないARP要求」をWAN側の物理ポート31に向けてスイッチングする。これにより、「根拠のないARP要求」は、物理ポート31を介してエッジルータ21に転送される(ステップST47)。
【0091】
エッジルータ21は、コネクション分配装置30から転送された「根拠のないARP要求」を受信すると、「根拠のないARP要求」の内容に従って、ミラーサーバ40−2のIPアドレス(IP2)とMACアドレス(MAC3)をARPキャッシュ22に記憶して更新する(ステップST48)。その結果、クライアント10からの次のコネクションの接続先が、ミラーサーバ40−2に自動的に決定されることになる。
【0092】
図10は、本発明のコンテンツ配信システムにおける新たな別のコネクション割り振り動作を説明するためのシーケンス図である。
【0093】
図10においては、クライアント10とは別にクライアント10’からコンテンツサーバ40に対するコネクションがあるものとする。ユーザは、コンテンツサーバ40からコンテンツを取得しようとする場合、クライアント10’でコンテンツサーバ40のIPアドレス(IP2)を指定し、コンテンツサーバ40にパケットを送信してアクセスする(ステップST50)。
【0094】
エッジルータ21は、クライアント10’からのコンテンツサーバ40に対してアクセスするパケットを受信すると、ARPキャッシュ22に格納されている情報を参照することにより、ルーティングを行って、当該パケットを転送する(ステップST51)。ここで、ARPキャッシュ22に格納されているMACアドレスは「MAC3」であるので、エッジルータ21は、現在トークンを保有しているMAC3のミラーサーバ40−2に対してクライアント10’からのパケットを転送する(ステップST51)。
【0095】
コネクション分配装置30では、コネクション監視処理部35は、エッジルータ21から転送されたパケットを物理ポート31を介して受信すると、パケットのクライアント10’側IPアドレス及びポート番号の組をコネクションとし、そのコネクションとパケット(フレーム)の宛先MACアドレス(MAC3)とを新しいエントリとしてコネクション対MACアドレス対応表36に追加する(ステップST52)。
【0096】
MACアドレス変換処理部37は、コネクション対MACアドレス対応表36には新たなコネクションに対応するエントリがなかったので、パケットのMACアドレスを変換せずに、パケットをスイッチング処理部38に送る。
【0097】
スイッチング処理部38は、パケットの宛先MACアドレス(MAC3)に従って、物理ポート33に向けてスイッチングする。これにより、パケットは、ミラーサーバ40−2に転送される(ステップST53)。
【0098】
ミラーサーバ40−2では、制御部44は、コネクション分配装置30から送信されたパケットを通信部41を介して受信すると(ステップST54)、制御プログラム42aに従って、アプリケーション処理を実行し、応答パケットを送信する(ステップST55)。
【0099】
コネクション分配装置30では、スイッチング処理部38は、ミラーサーバ40−2から送信された応答パケットを物理ポート33を介して受信すると、応答パケットを物理ポート31に向けてスイッチングする。従って、応答パケットは、スイッチング処理部38からMACアドレス変換処理部37に送られる。
【0100】
MACアドレス変換処理部37は、コネクション対MACアドレス対応表36のエントリを参照することにより、応答パケットの発信元MACアドレス(MAC3)をトークンを保有しているミラーサーバ40−2のMACアドレス(MAC3)に書き換える(ステップST56)。このとき、パケットの発信元MACアドレスとトークンを保有しているミラーサーバ40−2のMACアドレスとは、いずれもMAC3であって同一の値であるので、MACアドレスは上書きされることになる。
【0101】
応答パケットは、MACアドレス変換処理部37でMACアドレスの変換処理が行われた後、コネクション監視処理部35を通過して、物理ポート31を介してエッジルータ21に転送される(ステップST57)。
【0102】
エッジルータ21は、コネクション分配装置30から転送された応答パケットをミラーサーバ40−2からの応答パケットとして受信する。エッジルータ21は、応答パケットを受信すると、ルーティングを行って、クライアント10’に対して応答パケットを転送する(ステップST58)。
【0103】
クライアント10’は、エッジルータ21から送信された応答パケットをインターネット100を経由して受信する(ステップST59)。その後、クライアント10’が応答パケットに対してパケットを送信する場合は、図8のステップST26からステップST30の処理が行われる。
【0104】
図11は、本発明のコンテンツ配信システムにおけるMACアドレス変換動作を説明するためのシーケンス図である。
【0105】
尚、図8に示したように、クライアント10とミラーサーバ40−1とが既にアプリケーション通信を行っており、また、図9に示したように、トークンがミラーサーバ40−2に引き渡され、ミラーサーバ40−2が現にトークンを保有している状態であるものとする。
【0106】
クライアント10からパケットが送信されると(ステップST60)、そのパケットは、エッジルータ21でルーティングされる。このとき、ミラーサーバ40−2がトークンを保有しており、ARPキャッシュ22にはミラーサーバ40−2のMACアドレス(MAC3)が格納されているので、エッジルータ21は、クライアント10からのパケットをミラーサーバ40−2に対して転送することになる(ステップST61)。
【0107】
コネクション分配装置30では、エッジルータ21から送信されたパケットを物理ポート31を介して受信すると、コネクション監視処理部35は、コネクション対MACアドレス対応表36の中にパケットのコネクションと同一のコネクションを発見するため、コネクション対MACアドレス対応表36に何もエントリを追加しない。
【0108】
MACアドレス変換処理部37は、パケットのコネクションと同一のコネクションがコネクション対MACアドレス対応表36の中に存在することを確認すると、パケットの宛先MACアドレス(MAC3)をコネクション対MACアドレス対応表36のコネクションに対応するミラーサーバ40−1のMACアドレス(MAC2)に書き換える(ステップST28)。
【0109】
パケットは、MACアドレス変換処理部37でMACアドレスの変換処理が行われた後、スイッチング処理部38に送られる。スイッチング処理部38は、パケットの宛先MACアドレス(MAC2)に従って、パケットを物理ポート32に向けてスイッチングする。これにより、パケットは、ミラーサーバ40−1に転送される(ステップST63)。
【0110】
ミラーサーバ40−1は、コネクション分配装置30から転送されたパケットを通信部41で受信すると(ステップST64)、制御部44は、アプリケーション処理に従って、通信部41からクライアント10に対して応答パケットを送信する(ステップST65)。
【0111】
コネクション分配装置30では、スイッチング処理部38は、ミラーサーバ40−1から送信された応答パケットを物理ポート32を介して受信すると、応答パケットを物理ポート31に向けてスイッチングする。従って、応答パケットは、スイッチング処理部38からMACアドレス変換処理部37に送られる。
【0112】
MACアドレス変換処理部37は、コネクション対MACアドレス対応表36に記憶されているトークンを保有しているミラーサーバ40−2のMACアドレスを参照し、応答パケットの発信元MACアドレス(MAC2)をトークンを保有しているミラーサーバ40−2のMACアドレス(MAC3)に書き換える(ステップST66)。
【0113】
応答パケットは、MACアドレス変換処理部37でMACアドレスの変換処理が行われた後、コネクション監視処理部35を通過して、物理ポート31を介してエッジルータ21に転送される(ステップST67)。
【0114】
エッジルータ21は、コネクション分配装置30から転送された応答パケットをミラーサーバ40−2からの応答パケットとして受信する。このように、エッジルータ21は、実際は、ミラーサーバ40−1から送信された応答パケットをミラーサーバ40−2からの応答パケットとして受信することになる。従って、エッジルータ21がパケットのルーティングを行う際において、ARPキャッシュ22に格納されている情報との整合性が保たれることになる。
【0115】
エッジルータ21は、受信した応答パケットをクライアント10に対して転送する(ステップST68)。クライアント10は、エッジルータ21から転送されたパケットをインターネット100を経由して受信する(ステップST69)。
【0116】
図12は、本発明のコンテンツ配信システムにおけるARP要求・ARP応答及びコネクション終了によるエントリ削除の動作を説明するためのシーケンス図である。
【0117】
一般的に、ARPキャッシュ22(ARPキャッシュ43も同様)に格納されているIPアドレスとMACアドレスの情報は、エージタイム(例えば10分)により自動的に消去(クリア)される(ステップST70)。
【0118】
従って、エッジルータ21では、ARPキャッシュ22のIPアドレスとMACアドレスがエージタイムにより消去された後に、クライアント10からパケットが送信された場合(ステップST71)は、ルーティングを行ってパケットを転送するためにARP要求を行う必要がある。エッジルータ21は、クライアント10から送信されたパケットを受信すると(ステップST72)、ARP要求を送信する(ステップST73)。
【0119】
コネクション分配装置30では、MACアドレス変換処理部37は、エッジルータ21から送信されたARP要求内のブロードキャストアドレスである宛先MACアドレスを、コネクション対MACアドレス対応表36に記憶されているトークンを保有しているミラーサーバ(例えば40−2)のMACアドレス(MAC3)に書き換える(ステップST74)。
【0120】
スイッチング処理部38は、MACアドレス変換処理部37によって書き換えられたユニキャストアドレスのMACアドレス(MAC3)を持つARP要求として、物理ポート33に向けてスイッチングする。これにより、ARP要求は、トークンを保有しているミラーサーバ40−2に対してのみ転送される(ステップST75)
【0121】
ミラーサーバ40−2では、制御部44は、通信部41を介してARP要求を受信すると、ARP応答を通信部41を介して送信する(ステップST76)。
【0122】
コネクション分配装置30では、スイッチング処理部38は、ミラーサーバ40−2から送信されたARP応答を物理ポート31に向けてスイッチングし、MACアドレス変換処理部37は、ARP応答の発信元MACアドレスをトークンを保有しているミラーサーバ40−2のMACアドレス(MAC3)に書き換え、すなわち上書し(ステップST77)、物理ポート31からエッジルータ21にARP応答を転送する(ステップST78)。
【0123】
エッジルータ21は、コネクション分配装置30から転送されたARP応答を受信すると、ARP応答の内容に従って、ARPキャッシュ22のIPアドレス(IP2)とMACアドレス(MAC3)の情報を記憶する(ステップST79)。その後、エッジルータ21は、クライアント10からのパケットをミラーサーバ40−2に対して転送する(ステップST80)。
【0124】
コネクション分配装置30では、コネクション監視処理部35は、パケットを受信すると、コネクション対MACアドレス対応表36にクライアント10からのコネクションに対応するエントリを追加し(ステップST81)、スイッチング処理部38は、パケットを物理ポート33に向けてスイッチングする。これにより、パケットがミラーサーバ40−2に転送される(ステップST82)。そして、ミラーサーバ40−2は、コネクション分配装置30からのパケットを受信する(ステップST83)。
【0125】
その後は、図8のステップST22からステップST30の処理が行われる。
【0126】
また、コネクション分配装置30のコネクション監視処理部35は、例えばクライアント10とミラーサーバ40−2との間のコネクションの終了(切断)を検出すると(ステップST90)、コネクション対MACアドレス対応表36に格納されている当該コネクションに対応するエントリを削除する(ステップST91)。これにより、コネクション対MACアドレス対応表36に格納される同一コネクションの重複したエントリが回避される。
【0127】
以上のように、この実施の形態1によれば、エッジルータ21とコンテンツサーバ40との間に設置されたコネクション分配装置30によって、コンテンツサーバ40を構成する複数のミラーサーバ40−1〜40−4に対するクライアント10からのコネクションを適切に分配するように構成されているので、複数のミラーサーバ40−1〜40−4にかかる負荷を均一となるように分散させることができ、クライアント10側でのコンテンツの転送処理時間を短縮することができる。その結果、インターネット100上におけるコンテンツサーバ40に対するレスポンスが一層改善されることになる。
【0128】
また、システム管理者は、本発明の負荷分散システムを設置するために、エッジルータ21に対して何ら特別な設定を行う必要がない。なぜなら、エッジルータ21は、グローバルアドレスが付与された1つのコンテンツサーバ40が接続されているのと同様に動作するからである。従って、本発明の負荷分散システムを設置するのに要するシステム管理者の負担は軽いものである。
【0129】
また、システム管理者、ミラーサーバ40−1〜40−4については、トークンを送受信するためのプロトコル(トークン処理部)を実行するソフトウェア(制御プログラム42a)をインストールするだけでよく、既存のアプリケーションに対しては何ら特別な設定を行う必要はない。従って、本発明の負荷分散システムを設置するための作業負担は、システム管理者にとって軽いものである。
【0130】
また、コンテンツサーバ40を構成する複数のミラーサーバ40−1〜40−4は、全く同一のコンテンツを備えているのみならず、同一のIPアドレス(グローバルアドレス)が付与される。従って、各ミラーサーバ40−1〜40−4は、元のサーバのデットコピーであってもよく、デットコピーを行う作業は簡単であるため、システム管理者の負担は一層軽減される。
【0131】
さらに、各ミラーサーバ40−1〜40−4にかかる負荷分散の度合いを高めたい場合には、コネクション分配装置30のLAN側の物理ポートを増設し、デットコピーのミラーサーバを接続するだけよく、システム管理者にとって素早い対応が可能となる。
【0132】
実施の形態2.
尚、コネクション分配装置30においては、WAN側の物理ポートを増設して複数のエッジルータを接続することも可能である。この場合、ミラーサーバ(例えば40−1)から送信された「根拠のないARP要求」は、全てのエッジルータに転送され、全てのエッジルータは、ARPキャッシュの情報を更新する。従って、上記実施の形態1で説明したのと同様に、エッジルータからは、唯一つのコンテンツサーバ40が接続されているものとして動作するので、上記実施の形態1と同様の効果を奏し得る。また、コネクション分配装置30が複数のエッジルータを接続可能とすることにより、様々な形態(トポロジ)のネットワークに対して適用することができるようになる。
【0133】
また、コネクション分配装置30は、WAN側の物理ポートにエッジルータ21のみならず通常のIP接続機器(例えばファイアーウォール、認証サーバなど)を複数接続しても、すなわち、エッジルータ21とコネクション分配装置30の間に通常のIP接続機器を接続したとしても、上記同様の効果が得られる。
【0134】
さらに、コネクションの接続先のミラーサーバの決定方法としては、ラウンドロビン法や優先順位法をあげていたが、これらの方法以外にも、例えば、ランダムにコネクションの接続先を選択するランダム法などであってもよい。
【0135】
【発明の効果】
以上のように、本発明によれば、クライアントが通信ネットワークおよびネットワーク接続装置を介して複数のミラーサーバのいずれかからコンテンツの転送を受けるシステムにおける負荷分散方法であって、クライアントからのコネクションが割り振られる権利を、複数のミラーサーバのうちの一のミラーサーバに割り当て、権利が割り当てられた一のミラーサーバからネットワーク接続装置に対して、宛先MACアドレスを一のミラーサーバのMACアドレスにさせる要求を送出させるようにした。これにより、複数のミラーサーバにかかる負荷を均一となるように分散させることができ、クライアント側でのコンテンツの転送処理時間を一層短縮することができる効果を奏する。
【0136】
また、本発明によれば、権利を割り当てたときに一のミラーサーバから送信される、ネットワーク接続装置のARPキャッシュの情報を一のミラーサーバのIPアドレスとMACアドレスに自動的に更新させる「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、クライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を保有している一のミラーサーバに転送し、一のクライアントと一のミラーサーバとの間でコネクションを張らせてアプリケーション通信を実行させるようにした。これにより、本発明の負荷分散方法を実現するために、ネットワーク接続装置に対して何ら特別な設定を行う必要がなく、システム管理者の負担も軽減される。
【0137】
また、本発明によれば、コネクションが張られる場合に一のミラーサーバから権利を返却させ、返却される権利を受け取ると、権利を他のミラーサーバに割り当てるとともに、他のミラーサーバから送信される「根拠のないARP要求」をネットワーク接続装置に転送し、ネットワーク接続装置から転送される、他のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを権利を現に保有している他のミラーサーバに転送し、他のクライアントと他のミラーサーバとの間でコネクションを張らせてアプリケーション通信を実行させるようにした。これにより、確実にクライアントからのコネクションを複数のミラーサーバに割り振ることができ、複数のミラーサーバにかかる負荷を確実に分散させることができる。
【0138】
また、本発明によれば、クライアントが通信ネットワークおよびネットワーク接続装置を介して複数のミラーサーバのいずれかからコンテンツの転送を受けるコンテンツ配信システムであって、ネットワーク接続装置と複数のミラーサーバとの間にコネクション分配装置が設けられ、ミラーサーバは、コネクションが割り振られる権利をコネクション分配装置から割り当てられると、「根拠のないARP要求」を送出し、コネクション分配装置は、複数のミラーサーバのうちの一のミラーサーバに権利を割り当て、権利を保有している一のミラーサーバに対してクライアントからの新たなコネクションを割り振るものである。このように構成したことにより、複数のミラーサーバにかかる負荷を均一となるように分散させることができ、クライアント側でのコンテンツの転送処理時間を一層短縮することができる効果を奏する。
【0139】
また、本発明によれば、コネクション分配装置を、権利を複数のミラーサーバのうちの一のミラーサーバに割り当てる権利割当処理部と、複数のミラーサーバのうちの一のミラーサーバとの間で既にコネクションを張っているクライアントのIPアドレス及びポート番号と当該コネクションが張られている一のミラーサーバのMACアドレスとの対応関係を記憶するテーブルと、クライアントと一のミラーサーバとの間のコネクションの接続及び切断を常時監視し、コネクションが接続されたときにテーブルに対応関係を追加し、コネクションが切断されたときにテーブルから対応関係を削除するコネクション監視処理部と、ネットワーク接続装置から転送される、クライアントから一のミラーサーバに対して送信されたパケットの宛先MACアドレスを、現に権利を保有している他のミラーサーバのMACアドレスから一のミラーサーバのMACアドレスに変換するMACアドレス変換処理部と、パケットの宛先MACアドレスに基づいてスイッチングするスイッチング処理部とから構成した。これにより、クライアントからのコネクションを適切に複数のミラーサーバに分配するコネクション分配装置を確実に構成することができ、上記効果を一層容易に達成することができる。
【0140】
また、本発明によれば、スイッチング処理部は、一のミラーサーバから受信した「根拠のないARP要求」を他のミラーサーバに転送せず、ネットワーク接続装置に転送するように構成したので、ネットワーク接続装置に対して権利を保有している一のミラーサーバを確実に認識させることができるとともに、一のミラーサーバから他のミラーサーバに対する不必要なフレーム転送を回避することができる。
【0141】
また、本発明によれば、権利を保有している一のミラーサーバは、クライアントへの応答パケットを送出すると権利を返却するように構成したので、確実に他のミラーサーバに権利を引き渡すことができ、その結果、クライアントからの新たなコネクションを確実に他のミラーサーバに分配することが可能となる。
【0142】
また、本発明によれば、クライアントが通信ネットワークおよびネットワーク接続装置を介して複数のミラーサーバのいずれかからコンテンツの転送を受けるシステムにおけるネットワーク接続装置と複数のミラーサーバとの間に配置される負荷分散装置であって、この負荷分散装置は、複数のミラーサーバのうちの一のミラーサーバに権利を割り当て、権利を保有している一のミラーサーバに対してクライアントからの新たなコネクションを割り振るように構成した。これにより、複数のミラーサーバにかかる負荷を均一となるように分散させることができ、クライアント側でのコンテンツの転送処理時間を一層短縮することができる効果を奏する。
【0143】
さらに、本発明によれば、負荷分散装置を、権利を複数のミラーサーバのうちの一のミラーサーバに割り当てる権利割当処理部と、複数のミラーサーバのうちの一のミラーサーバとの間で既にコネクションを張っているクライアントのIPアドレス及びポート番号と当該コネクションが張られている一のミラーサーバのMACアドレスとの対応関係を記憶するテーブルと、クライアントと一のミラーサーバとの間のコネクションの接続及び切断を常時監視し、コネクションが接続されたときにテーブルに対応関係を追加し、コネクションが切断されたときにテーブルから対応関係を削除するコネクション監視処理部と、ネットワーク接続装置から転送される、クライアントから一のミラーサーバに対して送信されたパケットの宛先MACアドレスを、現に権利を保有している他のミラーサーバのMACアドレスから一のミラーサーバのMACアドレスに変換するMACアドレス変換処理部と、パケットの宛先MACアドレスに基づいてスイッチングするスイッチング処理部とから構成した。これにより、複数のミラーサーバにかかる負荷を分散する負荷分散装置を確実に構成することができ、上記効果を一層容易に達成することができる。
【図面の簡単な説明】
【図1】 本発明のコンテンツ配信システムが接続されるネットワーク構成を示す図である。
【図2】 コネクション分配装置の構成を示すブロック図である。
【図3】 コネクション対MACアドレス対応表の一例を示す図である。
【図4】 ミラーサーバの構成を示すブロック図である。
【図5】 ミラーサーバが通信で使用するプロトコルスタックを示す図である。
【図6】 「根拠のないARP要求」のフレーム構造を示す図である。
【図7】 本発明のコンテンツ配信システムにおけるトークン割り当て動作を説明するためのシーケンス図である。
【図8】 本発明のコンテンツ配信システムにおけるコネクション割り振り動作を説明するためのシーケンス図である。
【図9】 本発明のコンテンツ配信システムにおけるトークン返却後のトークン割り当て動作を説明するためのシーケンス図である。
【図10】 本発明のコンテンツ配信システムにおける新たな別のコネクション割り振り動作を説明するためのシーケンス図である。
【図11】 本発明のコンテンツ配信システムにおけるMACアドレス変換動作を説明するためのシーケンス図である。
【図12】 本発明のコンテンツ配信システムにおけるARP要求・ARP応答及びコネクション終了によるエントリ削除の動作を説明するためのシーケンス図である。
【符合の説明】
10 クライアント
21 エッジルータ(ネットワーク接続装置)
22 ARPキャッシュ
30 コネクション分配装置(負荷分散装置)
34 トークン割当処理部
35 コネクション監視処理部
36 コネクション対MACアドレス対応表(テーブル)
37 MACアドレス変換処理部
38 スイッチング処理部
40 コンテンツサーバ
40−1〜40−4 ミラーサーバ
100 インターネット(通信ネットワーク)
Claims (8)
- クライアントが通信ネットワークおよびネットワーク接続装置を介して複数のミラーサーバのいずれかからコンテンツの転送を受ける際に、前記クライアントからの前記通信ネットワーク経由のコネクションを各ミラーサーバに分配することにより、各ミラーサーバにかかる負荷を分散する負荷分散方法であって、
前記クライアントからのコネクションが割り振られる権利を、前記複数のミラーサーバのうちの一のミラーサーバに割り当て、
前記権利を割り当てたときに一のミラーサーバから送信される、前記ネットワーク接続装置のARPキャッシュの情報を前記一のミラーサーバのIPアドレスとMACアドレスに自動的に更新させる「根拠のないARP要求」を前記ネットワーク接続装置に転送し、
前記ネットワーク接続装置から転送される、一のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを前記権利を保有している前記一のミラーサーバに転送し、前記一のクライアントと前記一のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させる
ことを特徴とする負荷分散方法。 - コネクションが確立されるときに一のミラーサーバから権利を返却させ、
返却される前記権利を受け取ると、前記権利を他のミラーサーバに割り当てるとともに、前記他のミラーサーバから送信される「根拠のないARP要求」を前記ネットワーク接続装置に転送し、
前記ネットワーク接続装置から転送される、他のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを前記権利を現に保有している前記他のミラーサーバに転送し、前記他のクライアントと前記他のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させる
請求項1記載の負荷分散方法。 - 通信ネットワークおよびネットワーク接続装置を介して複数のミラーサーバのいずれかからクライアントにコンテンツを配信するコンテンツ配信システムであって、
前記ネットワーク接続装置と前記複数のミラーサーバとの間に、前記クライアントからの前記通信ネットワーク経由のコネクションを各ミラーサーバに分配するコネクション分配装置が設けられ、
当該コネクション分配装置は、
前記クライアントからのコネクションが割り振られる権利を、前記複数のミラーサーバのうちの一のミラーサーバに割り当て、
前記権利を割り当てたときに一のミラーサーバから送信される、前記ネットワーク接続装置のARPキャッシュの情報を前記一のミラーサーバのIPアドレスとMACアドレスに自動的に更新させる「根拠のないARP要求」を前記ネットワーク接続装置に転送し、
前記ネットワーク接続装置から転送される、一のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを前記権利を保有している前記一のミラーサーバに転送し、前記一のクライアントと前記一のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させる
ことを特徴とするコンテンツ配信システム。 - 一のミラーサーバは、コネクションが確立されるときに権利をコネクション分配装置に返却し、
当該コネクション分配装置は、返却される前記権利を受け取ると、前記権利を他のミラーサーバに割り当てるとともに、前記他のミラーサーバから送信される「根拠のないARP要求」をネットワーク接続装置に転送し、
前記ネットワーク接続装置から転送される、他のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを前記権利を現に保有している前記他のミラーサーバに転送し、前記他のクライアントと前記他のミラーサーバとの間でコネクションを 確立させてアプリケーション通信を実行させる
請求項3記載のコンテンツ配信システム。 - コネクション分配装置は、
権利を複数のミラーサーバのうちの一のミラーサーバに割り当てる権利割当処理部と、
前記複数のミラーサーバのうちの所定のミラーサーバとの間で既にコネクションが確立されているクライアントのIPアドレス及びポート番号と当該コネクションが確立されている前記所定のミラーサーバのMACアドレスとの対応関係を記憶するテーブルと、
前記クライアントと前記所定のミラーサーバとの間のコネクションの接続及び切断を常時監視し、コネクションが接続されたときに前記テーブルに前記対応関係を追加し、コネクションが切断されたときに前記テーブルから前記対応関係を削除するコネクション監視処理部と、
前記ネットワーク接続装置から転送される、一のクライアントから現に前記権利を保有しているミラーサーバに対して送信されたパケットの宛先MACアドレスを、前記テーブルの前記対応関係に基づいて、現に前記権利を保有しているミラーサーバのMACアドレスから前記一のクライアントとの間でコネクションが確立されているミラーサーバのMACアドレスに変換するMACアドレス変換処理部と、
前記パケットの宛先MACアドレスに基づいてスイッチングするとともに、前記一のミラーサーバから受信した「根拠のないARP要求」については他のミラーサーバに転送せず、前記ネットワーク接続装置に転送するスイッチング処理部とを備えた
請求項3または請求項4記載のコンテンツ配信システム。 - ネットワーク接続装置とクライアントにコンテンツを配信する複数のミラーサーバとの間に配置され、前記クライアントからの前記通信ネットワーク経由のコネクションを各ミラーサーバに分配することにより、各ミラーサーバにかかる負荷を分散する負荷分散装置であって、
当該負荷分散装置は、
前記クライアントからのコネクションが割り振られる権利を、前記複数のミラーサーバのうちの一のミラーサーバに割り当て、
前記権利を割り当てたときに一のミラーサーバから送信される、前記ネットワーク接続装置のARPキャッシュの情報を前記一のミラーサーバのIPアドレスとMACアドレスに自動的に更新させる「根拠のないARP要求」を前記ネットワーク接続装置に転送し、
前記ネットワーク接続装置から転送される、一のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを前記権利を保有している前記一のミラーサーバに転送し、前記一のクライアントと前記一のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させる
ことを特徴とする負荷分散装置。 - 負荷分散装置は、コネクションが確立されるときに一のミラーサーバから返却される権利を受け取ると、前記権利を他のミラーサーバに割り当てるとともに、前記他のミラーサーバから送信される「根拠のないARP要求」をネットワーク接続装置に転送し、
前記ネットワーク接続装置から転送される、他のクライアントからの新たなコネクションのパケットを受信すると、当該パケットを前記権利を現に保有している前記他のミラーサーバに転送し、前記他のクライアントと前記他のミラーサーバとの間でコネクションを確立させてアプリケーション通信を実行させる
請求項6記載の負荷分散装置。 - 負荷分散装置は、
権利を複数のミラーサーバのうちの一のミラーサーバに割り当てる権利割当処理部と、
前記複数のミラーサーバのうちの所定のミラーサーバとの間で既にコネクションが確立されているクライアントのIPアドレス及びポート番号と当該コネクションが確立されている前記所定のミラーサーバのMACアドレスとの対応関係を記憶するテーブルと、
前記クライアントと前記所定のミラーサーバとの間のコネクションの接続及び切断を常 時監視し、コネクションが接続されたときに前記テーブルに前記対応関係を追加し、コネクションが切断されたときに前記テーブルから前記対応関係を削除するコネクション監視処理部と、
前記ネットワーク接続装置から転送される、一のクライアントから現に前記権利を保有しているミラーサーバに対して送信されたパケットの宛先MACアドレスを、前記テーブルの前記対応関係に基づいて、現に前記権利を保有しているミラーサーバのMACアドレスから前記一のクライアントとの間でコネクションが確立されているミラーサーバのMACアドレスに変換するMACアドレス変換処理部と、
前記パケットの宛先MACアドレスに基づいてスイッチングするとともに、前記一のミラーサーバから受信した「根拠のないARP要求」については他のミラーサーバに転送せず、前記ネットワーク接続装置に転送するスイッチング処理部とを備えた
請求項6または請求項7記載の負荷分散装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001353787A JP3645852B2 (ja) | 2001-11-19 | 2001-11-19 | 負荷分散方法、コンテンツ配信システム及び負荷分散装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001353787A JP3645852B2 (ja) | 2001-11-19 | 2001-11-19 | 負荷分散方法、コンテンツ配信システム及び負荷分散装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003152729A JP2003152729A (ja) | 2003-05-23 |
JP3645852B2 true JP3645852B2 (ja) | 2005-05-11 |
Family
ID=19165741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001353787A Expired - Lifetime JP3645852B2 (ja) | 2001-11-19 | 2001-11-19 | 負荷分散方法、コンテンツ配信システム及び負荷分散装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3645852B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7454503B2 (en) * | 2004-04-08 | 2008-11-18 | International Business Machines Corporation | Method to identify transactions and manage the capacity to support the transaction |
JP2005318121A (ja) * | 2004-04-27 | 2005-11-10 | Ntt Docomo Inc | セッション管理装置 |
JP4963794B2 (ja) * | 2005-03-10 | 2012-06-27 | 株式会社日立製作所 | 情報処理システム及び方法 |
JP4622754B2 (ja) * | 2005-09-08 | 2011-02-02 | ソニー株式会社 | 通信システム、通信方法、送信装置、送信方法、受信装置、受信方法、およびプログラム |
US10069903B2 (en) | 2013-04-16 | 2018-09-04 | Amazon Technologies, Inc. | Distributed load balancer |
US10038626B2 (en) | 2013-04-16 | 2018-07-31 | Amazon Technologies, Inc. | Multipath routing in a distributed load balancer |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3372455B2 (ja) * | 1997-07-03 | 2003-02-04 | 富士通株式会社 | パケット中継制御方法,パケット中継装置およびプログラム記憶媒体 |
JP2000155736A (ja) * | 1998-11-24 | 2000-06-06 | Nec Corp | サービス要求の振り分け方法及びアドレス変換装置 |
JP2000261485A (ja) * | 1999-03-09 | 2000-09-22 | Nec Eng Ltd | ネットワークアドレス変換方式 |
JP4001698B2 (ja) * | 1999-10-14 | 2007-10-31 | 富士通株式会社 | 負荷分散システム |
JP2001202318A (ja) * | 2000-01-24 | 2001-07-27 | Hitachi Kokusai Electric Inc | データ配信システム |
-
2001
- 2001-11-19 JP JP2001353787A patent/JP3645852B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003152729A (ja) | 2003-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Srisuresh et al. | Load sharing using IP network address translation (LSNAT) | |
US7328237B1 (en) | Technique for improving load balancing of traffic in a data network using source-side related information | |
Apostolopoulos et al. | Design, implementation and performance of a content-based switch | |
EP1535449B1 (en) | System and method for dynamic simultaneous connection to multiple service providers | |
US7406540B2 (en) | Method and apparatus for content-aware web switching | |
JP4000331B2 (ja) | ネットワークのポートマッピング用システム | |
US5581552A (en) | Multimedia server | |
JP4727126B2 (ja) | 近距離無線コンピューティング装置用のセキュア・ネットワーク・アクセスの提供 | |
US8130671B2 (en) | Method and system for establishing bidirectional tunnel | |
EP1368947B1 (en) | Addressing method and system for using an anycast address | |
US7739384B2 (en) | System and method for load balancing | |
JP2006086800A (ja) | ソースアドレスを選択する通信装置 | |
KR20120019462A (ko) | 계층-2 도메인에 걸친 로드 밸런싱 | |
EP1234246A2 (en) | System and method for network access without reconfiguration | |
US8321550B2 (en) | Media access control address based service selection | |
JP2004510394A (ja) | 仮想ipフレームワーク及びインターフェイス接続方法 | |
USH2065H1 (en) | Proxy server | |
US7564848B2 (en) | Method for the establishing of connections in a communication system | |
JP3645852B2 (ja) | 負荷分散方法、コンテンツ配信システム及び負荷分散装置 | |
EP1593230B1 (en) | Terminating a session in a network | |
EP1402654A2 (en) | Methods and apparatus for supporting session signaling and mobility management in a communications system | |
JP4015770B2 (ja) | クラスタシステム、サーバ計算機及び負荷分散方法 | |
JP3655575B2 (ja) | ゲートウェイ装置 | |
US7228562B2 (en) | Stream server apparatus, program, and NAS device | |
Gan et al. | LSMAC: An improved load sharing network service dispatcher |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3645852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 9 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |