JP4236303B2 - リンクレベルサーバ/スイッチトランキング方法 - Google Patents

リンクレベルサーバ/スイッチトランキング方法 Download PDF

Info

Publication number
JP4236303B2
JP4236303B2 JP19183798A JP19183798A JP4236303B2 JP 4236303 B2 JP4236303 B2 JP 4236303B2 JP 19183798 A JP19183798 A JP 19183798A JP 19183798 A JP19183798 A JP 19183798A JP 4236303 B2 JP4236303 B2 JP 4236303B2
Authority
JP
Japan
Prior art keywords
server
switch
port
nic
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19183798A
Other languages
English (en)
Other versions
JPH1174927A (ja
Inventor
ポール・ティー・コングドン
ブライアン・イー・クレル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH1174927A publication Critical patent/JPH1174927A/ja
Application granted granted Critical
Publication of JP4236303B2 publication Critical patent/JP4236303B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/55Prevention, detection or correction of errors
    • H04L49/557Error correction, e.g. fault recovery or fault tolerance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/25Routing or path finding in a switch fabric
    • H04L49/253Routing or path finding in a switch fabric using establishment or release of connections between ports
    • H04L49/254Centralised controller, i.e. arbitration or scheduling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/35Switches specially adapted for specific applications
    • H04L49/351Switches specially adapted for specific applications for local area network [LAN], e.g. Ethernet switches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14Multichannel or multilink protocols

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワークコンピュータシステムにおけるリンクレベルサーバ/スイッチトランキング方法及びそのシステムに関し、更に、詳細には、フェイルオーバシステムを有するスイッチとサーバの間の多重リンクをトランクするリンクレベルサーバ/スイッチトランキング方法及びそのシステムに関する。
【0002】
【従来の技術】
従来、ネットワークコンピュータシステムでは、そのデータ処理量の増加に伴って、ネットワーク上でトラヒックを処理するために帯域幅(伝送速度)を拡大する必要が生じている。例えば、この帯域幅が狭いと、クライアントとサーバとの間のパイプライン中でデータ伝送の遅延(ボトルネック)が生じて、ネットワークの伝送処理能力が著しく低下する。
【0003】
このようなネットワークにあってネットワークインターフェースカード(NIC)は、サーバ又は任意の計算装置をネットワーク上に接続するために用いる接続媒体である。このNICとしては、例えば、デスクトップコンピュータ又はサーバにプラグ接続するイーサネットカード又はトークンリングカードが有る。NICは、ネットワークに接続されたコンピュータのために物理的信号化(physical later signaling)及びメディアアクセス制御(MAC)を実行する。NICをコンピュータに追加(装着)すると、このコンピュータがネットワークに何度も効果的なデータ処理を実行するようになる。また、このNICの追加によって、ネットワーク中に帯域幅を増加することが出来るようになる。
【0004】
オーバロードになった通信ネットワーク(例えば、LAN)でのデータ伝送が遅延するボトルネックを低減するためにロードバランシング技術が適用される。このロードバランシングでは、複数のNICを通じてサーバとネットワークとの間のトラヒックのバランスを取っている。このロードバランシングのためには、通常ソフトウェア及びサーバとクライアントとの間にブリッジ、すなわち、イーサネットスイッチが必要となる。米国ニュージャージー州リンドハースト市のNetwork Specialists社のBALANCE.NLMや米国カリフォルニア州サニーベール市のKalpana社のSWITCH.NLMなどのロードバランシングソフトウェアが、ネットウェアロード可能モジュール(NLM)として入手可能である。このソフトウェアは、Novell社のネットウェアNOSソフトウェアを実行するサーバに使用される。
【0005】
また、ロードバランシングは、データリンク中に障害が発生した場合、サーバとネットワークとの間のデータ通信を維持するフォールトトレランスとなる。例えば、「フェイルオーバ」システムにおいては、主リンクに障害が発生した際に、副リンクがロードを代行して、その処理が連続するようにしている。
【0006】
図5は、従来技術によるフェイルオーバシステム10の概略構成を示すブロック図である。
このフェイルオーバシステム10は、データが総合(Generic)スイッチ24を通じてサーバ12とクライアント22との間で伝送される。多重リンク18,20がスイッチをサーバ12に接続する。ソフトウェアドライバ16が、このリンクを通じてサーバとの間のデータ伝送を制御する。例えば、NIC又はネットワークケーブルに障害が発生した場合は、サーバとネットワークとの間のトラヒックが、他の動作している接続処理に渡される。各NICは、NICがネットワーク上にパケットを受信するのに必要なMACアドレスを有している。図5では、多重リンク18,20のそれぞれのNICが、「A」及び「A'」という異なるMACアドレスを有している。ある時点では、このNIC中の一つのみがアクティブ状態である。クライアントは予備のNIC(A')に接続されない。したがって、主NIC(A)に障害が発生した場合、サーバプロトコル14によって予備のNICが、そのアドレスを引き受けて処理を継続する。
【0007】
図6は従来技術によるトランキングシステム28の概略構成を示すブロック図である。
「トランキング」は、サーバに対する帯域幅を拡大するための処理である。データが総合スイッチ24を通じてサーバとクライアント22との間で伝送される。トランキングは、複数のサーバ/ネットワークインターフェースと共に使用される。図6において、多重リンク18,26がスイッチをサーバにリンクする。「A」及び「B」を付与したMACアドレスは、多重リンク18,26に関連するNICのそれぞれごとに異なる。ソフトウェアドライバ16が、このリンクを通じてサーバとの間のデータ移動を制御する。この場合、複数ネットワークインターフェースを使用すると、複雑なシステム構成になる場合がある。トランキングは、ネットワーク中のクライアントに、サーバを単一エンティティとして示すことによって、この複雑化を最小に抑えることが出来る。理想的なトランキング構成では、サーバ中の複数のインターフェースも単一インターフェースとしてサーバに示される。
【0008】
サーバは、通常3レベルのアドレス指定を有する。この第1レベルは、名前、例えば、「サーバ1」などのASCII文字列(情報交換用米国標準コード)である。第2アドレス指定レベルは、ネットワークアドレス、例えば、「111.22.33.44」などのIP(インターネットプロトコル)アドレスである。第3レベルは、MACアドレスである。この異なるアドレスによってクライアント中の異なるレベルのソフトウェアがサーバを識別している。
【0009】
通常、高レベルのアドレスが、直下のレベルの単一インスタンスのアドレスにマップされる。例えば、名前が単一IPアドレスにマップされ、単一IPアドレスが単一MACアドレスにマップされる。トランキングを使用する適用例では、直下レベルへのアドレシングの複数インスタンスが実行される。この複数インスタンスは、単一の上位層アドレス中にマップする必要がある。このマッピング機能は、ネットワークプロトコル14によって実行される。例えば、クライアントは、接続されるサーバの名前を認識しているが、IPサーバのアドレスを認識していない場合、クライアントがアドレスレゾリューションプロトコルを呼び出して、サーバのIPアドレスを決定する。したがって、プロトコルの一つの機能は、一つ上の層にアドレスを付与し、かつ、下位層アドレスを得ることである。このプロトコルが、要求/応答のプロトコルである。
【0010】
トランキングは、マッピングが実行されて、単一サーバが複数ネットワークインターフェースを使用できるようにして、クライアントからサーバへの通信プロセスの一部分を識別するものである。このマッピングは、アドレスレゾリューションプロトコルを使用することによって、クライアントからサーバへの通信プロセス中の2点のいずれかで実行することが出来る。例えば、サーバ名からネットワークレベルアドレスへのマッピングは、ドメイン名前サービス(DNS)及びネットBIOS(Basic Input Output System)名のレゾリューションを含んでいる。ネットワークレベルアドレスからMACアドレスへのマッピングには、アドレスレゾリューションプロトコル(ARP)及び汎用サーバ照会/至近サーバ照会(GSQ/NSQ)を含んでいる。また、DNS及びARPは、インターネットプロトコルであり、GSQ/NSQは、Novell社のプロトコルである。
【0011】
下位レベルマッピングについて、NIC及びスイッチが、よりトランキング処理に関与する場合が多い。例えば、BALANCE.NLMトランキングは、いずれのサードパーティのNIC及びスイッチをもサポートしている。各NICごとに個々のメディアアクセスコントローラ(MAC)アドレスが、単一ネットワークアドレスに対して使用される。BALANCE.NLMは、高いソフトウェアオーバヘッドを必要とし、そのフォールトトレランス方式では高位層サポート又は分岐接続を利用している。
【0012】
BALANCE.NLMドライバは、「スプーフ」(spoofs)でのネットワークアドレスからMACアドレスへのマッピング処理中に生成された情報を収集する。なお、この「スプーフ」は、ある処理が実際には非標準方式で実行されたにもかかわらず、標準方式で実行されたように処理することである。BALANCE.NLMの場合、クライアントには、サーバのネットワークアドレスにマップされるMACアドレスを受信するように処理される。また、クライアントには、このMACアドレスのみの一つとなる。実際にはソフトウェアは、複数のMACアドレスを使用することによって、通常処理をスプーフで実行している。
【0013】
スイッチ/NIC調整方式では、サードパーティのNIC又はスイッチをサポートしない。アウトバウンド(送信)方向中のドライバには、低レベルのソフトウェアオーバヘッドが必要である。インバウンド(受信)方向でのドライバには、ソフトウェア処理が不必要である。サーバは、宛先アドレス上の単純機能を通じて出力リンクを選択する。スイッチはソースアドレス上の同じ機能に基づいてサーバへのトランクリンクを選択する。トランク中のリンクに障害が発生した場合に、リンク断とならない。この方式では、同一のMACアドレスが全てのNICに使用される。したがってNICドライバ/スイッチプロトコルは、自動的な構成が可能なように設計が出来る。
【0014】
他のトランキング方式は、スイッチをNICカードとして使用するか、又は、複数のNICカードを使用してソフトウェア中でスイッチする。このトランキング方式では、サーバがクライアントを識別するための単一MACアドレスがある。ネットワークオペレーティングシステムは、スイッチをNICで処理している。クライアントにトラヒックを引き渡すための正しい出力リンクが、スイッチカードによって得られる。この方式は、NICをスイッチすることを必要とし、又は、かなりのサーバオーバヘッドを必要とする。このトランキング方式では、フェイルオーバの場合にフォールトトレランスを実行するためにスパンニングツリー構成が使用される。スイッチアドレスマッピング方式を使用して、ソフトウェアオーバヘッドを低減することが出来る。この方式はサードパーティのNICをサポートする。スイッチとの間の通信を行うために、スイッチソフトウェアモジュールが必要になる。スイッチは、アドレスレゾリューションプロセスに対して能動的に動作し、ロードバランシングのためのアドレスを使用してクライアントの要求に応答することによってロードバランシングを実行する。その上で、サーバドライバはロード、すなわち、宛先アドレスに基づいてロードバランシングを実行する必要がある。
【0015】
【発明が解決しようとする課題】
しかしながら、上記従来例の複数NICをサーバに挿入する方法は、その設計が困難であり、複雑なソフトウェア及びハードウェア構成によって発生する種々の問題がある。例えば、BALANCE.NLMなどの高レベルマッピング方式では、高インテリジェンスレベルのドライバが必要となる。更に、BALANCE.NLMフォールトトレランス方式では、高位層サポート又は分岐接続が必要になると共に、BALANCE.NLMクライアントもスプーフとして処理される。この結果、実際に複数MACアドレスが使用される場合、クライアントは、サーバのネットワークアドレスにマップされるMACアドレスのみを受信しているようなり、クライアントに対してサーバの処理が混乱して正常に処理できない場合がある。
【0016】
通常、各NICは、複数NICを標準のNovell社又はMicrosoft社のNTサーバに配置する場合の個々のMACアドレスを有している。この個々のMACアドレスは、個々のIP又はIPX(インターネットパケット交換プロトコル)ネットワークアドレスにマップされ、更に、サーバ名にマップされる。二つのNICを有するサーバも、二つの名前及び二つのネットワークアドレスを有している。これらは複雑であり、ネットワーク管理者がその処理状態を正常に認識できないため混乱する場合がある。NICの一つに障害が発生した場合、このNICを通じてサーバに接続されている全てのクライアントが切り離される。クライアントは、接続を再確立するために、他のNICの名前及びネットワークアドレスが必要である。これは他方のNICへの異なるネットワーク経路を必要とし、更に、単一サーバに、この複数の名前及びアドレスを使用するため、フォールトトレランスを実行できない場合があり、又は、制限される場合があるためである。
【0017】
複数NICがサーバに配置される場合、複数のNICにサーバネットワークソフトウェアに対して単一NICを識別するために、特別なソフトウェアがサーバ中に必要になる。しかし、複数NICは、各NICが個々のMACアドレスを有しているため、クライアントは単一NICとして認識できない。このそれぞれのMACアドレスが、クライアント及びスイッチに付与される。
【0018】
スイッチをNICとして使用し、又は、ソフトウェア中でスイッチとして使用するためには、冗長プロトコル(例えば、スパンニングツリー)が必要になる。したがって、コストが嵩むことになる。スイッチマッピングサポートトランキング方式は、スイッチ中に高レベルのインテリジェンスが必要となる。更に、従来技術の方式はサーバ側で特別なハードウェアサポートを必要とし、かつ、高インテリジェンスレベルのサーバが必要となる。
【0019】
本発明は、このような従来の技術における課題を解決するものであり、サーバ中で複数のNICをサポ−トして、NICはクライアントと高位層の内部サーバソフトウェアのいずれにも単一NICとしての処理を実行し、また、フォールトトレランスをサポートする際に、サーバの再構成を必要とせずに帯域幅を増大化できるリンクレベルサーバ/スイッチトランキング方法及びそのシステムの提供を目的としている。
【0020】
【課題を解決するための手段】
上記目的を達成するために、本発明は、スイッチとサーバの間に多重リンクをトランクするためのリンクレベルサーバ/スイッチトランキング方法及びそのシステムを提供する。本発明と従来技術とを区別する一つの特徴は、スイッチハードウェア及びサーバドライバソフトウェアの組み合わせであり、ロードバランシング中にスイッチがサーバNICドライバと共に能動的に関与する。
【0021】
本発明では、追加のNIC又はマルチポートNICがサーバ中に配置される。サーバ中のドライバが、この追加のNICを認識し、各追加のNICを、サーバにすでに配置されているNICを含むグループをメンバとして自動的に構成(グループ構成)する。このNICを追加するために、サーバの追加の再構成は不必要である。「ドライバシム」と称される処理量が少ないソフトウェアが、このドライバをオーバレイして、ネットワークオペレーティングソフトウェア及びネットワーク中のクライエントに、この一群のNICを単一NICとして処理する。
【0022】
本発明は、異なるポート上に送出される同一MACアドレスを有する複数NICをサポートしている。グループ構成中のNICは、このグループ構成を単一論理ポート、すなわち、トランクと認識するスイッチに直接接続される。このグループ中のNICは、多重リンクとして機能し、クライアントに対するトラヒックロードのバランスを取っている。各NICは、ネットワークインターフェースが同一のMACアドレスを使用する。
【0023】
ドライバ及びスイッチは、リンクを選択するためにMACアドレスフィールドを調べる。クライアントからのトラヒックがサーバに到着すると、スイッチは、トラヒックを伝送するデータパケット上で決定用のアルゴリズムを実行する。パケットを受信すると、スイッチがアドレステーブル中の宛先アドレスを識別する。対応するエントリが、サーバに到達するために使用できるポートのリストと、トランクしたグループのポートを通じて、このサーバに到着できることを示すフラグを返送する。次に、スイッチはパケット中のソースアドレスに基づいて、このグループ中の、あるポートを選択する。アルゴリズムはパケット中のソースアドレスを調べて、グループ中のリンクの一つを選択する。
【0024】
サーバ中のドライバは、クライアントへのトランク上、かつ、宛先アドレスに対して同一の決定用のアルゴリズムを実行する。ドライバシムを含むサーバソフトウェアが、NICのグループに単一NIC状態を付与し、宛先アドレスに基づいたロードバランシングを実行する。本発明の代替実施形態では、ベンダのNICに特有のモノリシックドライバが、NICのグループに単一NICの状態を付与するために使用される。
【0025】
本発明の好適な実施形態は、フォールトトレランスをサポートする。本発明の好適な第1実施形態では、単一スイッチが多重NICリンクを通じてサーバに接続される。サーバへのリンクがトランクとして構成され、このトランク中でロードバランシングアルゴリズムがクライアントのソースアドレスを使用して、あるリンクを選択する。
【0026】
サーバ中の複数NICが、このMACアドレスを全てのインターフェース上で同一であるようにプログラム処理を実行する。したがって、サーバのソースアドレスとして使用される場合と同一のMACアドレスが、複数NICポートのスイッチに渡される。クライアントがハブを通じてサーバにパケットを送信する際に、スイッチがクライアントのMACアドレスを調べることによって多重ポートの一つを選択する。
【0027】
本発明の第2実施形態では、サーバは多重NICリンクを通じて複数のスイッチに接続される。スイッチ対スイッチリンクではスイッチが相互に直接接続される。クライアントは、ツリーのいずれかの経路を通じてサーバにパケットを送信する。なお、クライアントが特定のデータ通信に同一経路を使用するのが好適である。本発明では、これらをネットワーク及びサーバによってサポートされている任意数のスイッチ又はリンクを使用して実行することが出来る。
【0028】
従来技術のIEEE802.1Dブリッジでは、あるスイッチがアドレステーブル中で宛先MACアドレスを調べて、あるパケットに対する適当な出力ポートを識別する。このテーブルは、受信パケット中の送出元(source)のMACアドレスを調べる学習プロセスによって作成される。あるスイッチが特定のポート上でパケットを受信する場合、このパケットを送信したホストが、このポートからパケットを受信することが出来ると仮定する。スイッチは、受信されたパケットの入力ポートを記録し、次に、この情報を用いてアドレステーブルを更新する。
【0029】
アドレステーブルがソースMACアドレスのエントリをすでに含んでいる場合、アドレステーブル中のポートとパケットが受信されたポートとが同一である必要がある。このポートが同一でない場合、MACアドレスが移動したと想定される。この移動の指示が移動条件を生成してアドレステーブルを管理するソフトウェアによって識別される。アドレステーブルは、MACアドレスが移動したと想定される新しいポートによって更新される必要がある。
【0030】
トランキングをサポートするスイッチは、同一の送出元MACアドレスが、グループ中の任意数のポートから受信されたパケットについて識別する。移動条件を発生させること、又は、連続的にアドレステーブルを更新することは好ましい処理ではない。サーバ中の複数NICがネットワークに接続され、このNICが同一のMACアドレスを使用する場合、多数のポート上の送出元MACアドレスとして、このMACアドレスを有するパケットを受信することが可能である。したがって、本発明は、サーバからクライアントへ、このパケットが返送される際に、スイッチ対スイッチリンクの処理を適切化し、かつ、この要因で発生するサーバ中の割り込みを実質的に防止する処理を行う。
【0031】
この処理では、アドレスを調べたポートがトランクポートのグループ中にない場合でも、スイッチが移動割り込みを無視することが出来る。サーバのMACのフラグが、スイッチのアドレステーブル中に含まれている。このフラグは、いくつかのポート上に送出されるサーバのMACアドレスを調べることが受け入れ可能であることをスイッチに通知する。このスイッチには、アドレスが移動したことをシステムオペレータに通知しないように指示される。
【0032】
【発明の実施の形態】
次に、本発明のリンクレベルサーバ/スイッチトランキング方法及びそのシステムの実施の形態を添付図面を参照して詳細に説明する。
本発明は、スイッチとサーバの間に多重リンクをトランクとして処理し、本発明と従来技術とを区別する一つの特徴は、スイッチハードウェア及びサーバドライバソフトウェアの組み合わせである。また、本発明は、ロードバランシング中にスイッチがサーバNICドライバに能動的に関与している。
【0033】
図1は本発明の実施形態におけるスイッチでのトランキング/フェイルオーバシステム30の概略構成を示すブロック図である。
この例は、NIC又は多重ポートNICがサーバ32中に設けられ、更に、追加のリンク38,40が設けられている。マルチポートNICは、複数ネットワーク接続機構を有するNICである。システム中のNICの数は、サーバ中のスロットの数及びスイッチ上のポート数によって制限される。マルチポートNICは、より少数のネットワークに複数の接続処理を行うサーバベイスロットを使用する利点がある。このマルチポートNICを使用に対する追加のハードウェア又はソフトウェアは不要である。
【0034】
サーバ中のドライバ36は、追加のNICを認識し、この追加NICを、サーバ中にすでに配置しているNICを含むグループのメンバとして自動的に構成する。ドライバシム46と称されるソフトウェアがドライバ36をオーバレイする。ドライバシムは、NICのグループにネットワークオペレーティングシステム(NOS)に対する単一NICとなる。更に、このグループはネットワーク中のクライアント42で単一NICとして処理される。
【0035】
あるクライアントがサーバの単一ネットワークアドレスに対しMACアドレスを得る場合に、クライアントはどの方式でも常に同一のMACアドレスを受け取る。前記の従来技術の方式では、クライアントは異なるMACアドレスを受け取る場合がある。この異なるMACアドレスの一つを有するNICに障害が発生した場合、このNICを通じたサーバへの全てのクライアント接続に障害が発生する。次に、クライアントはMACアドレスマッピングに対するネットワークアドレスの再度の取得が必要となるが、本発明の実施形態では、同一のMACアドレスがNICの全てに使用されるため不必要である。
【0036】
このグループ中のNICは、このグループを単一論理ポート、すなわち、トランクとして扱う総合スイッチ44に直接接続されている。この構成では、サーバをスイッチに直接接続する必要がある。グループ中のNICは、多重リンクとして機能し、クライアントへのトラヒックロードのバランスを取っている。
【0037】
スイッチは、データパケットの宛先アドレスに基づいてスイッチングを決定する。なお、本発明の実施形態における各NICは、ネットワークインターフェースに同一のMACアドレスを使用する。MACインターフェースは、ネットワーク接続機構(NIC)とネットワーク上で情報を送受信するコンピュータとの間のインターフェースである。このMACは、コンピュータをネットワークに接続するプロトコルを実行する。MACインターフェースは、MACとの間で情報を転送するための処理をNICに対して処理する。MACインターフェースは、IEEEドキュメント802.2に記載されており、これらを参照することによって、より技術範囲が明確化される。
【0038】
本発明の実施形態では、同一のMACアドレスを有するが、異なるポート上における複数NICをサポートし、スイッチは、トランクリンク上のあるアドレスにパケットを転送し、下記の決定用のアルゴリズム(適宜、決定アルゴリズムと記載する)を実行する。クライアントがサーバにパケットを送信する場合のパケット中の宛先MACアドレスが、サーバのアドレスであり、ソースアドレスがクライアントのアドレスである。パケットを受信すると、スイッチがアドレステーブル中の宛先アドレスを調べる。宛先MACアドレスは、サーバのアドレスであるので、サーバのエントリはテーブル中に存在する。このエントリは、このサーバに到達するために使用するポートのリストと、このトランクによるグループのポートを通じてサーバに到達できることを示すフラグを返送する。次に、スイッチは、このグループ中のあるポートをパケット中のソースアドレスに基づいて選択する。
【0039】
このフラグはスイッチをテーブルのN個のエントリに割り当てる。ここで、Nは2の累乗であり、最大サイズはN=2M=248である。このテーブルは通常25のエントリを有している。パケットの送出元MACアドレスが、このテーブル中へのインデックスを計算するために使用される。送出元MACアドレスの最下位のM個のビットが、テーブル中へのエントリを計算するために使用される。2M=Nであり、最下位のM個のビットは、テーブル中への直接インデックスとして使用される。テーブル中のエントリは、パケットが転送されるポート番号である。
【0040】
一例として、テーブルが32個のエントリを含む場合、M=5である。4個のポートがある場合、(ポート1〜4)がサーバにトランクされ、32個のエントリのテーブルが、テーブル中のエントリとして均等に分配された番号1〜4を有する。この番号は、任意の受け入れ可能な方式でテーブル中のあらゆる位置に分配する。あるパケットが、ポートの一つから到達可能なサーバMACアドレスについて受信されると、クライアントのMACアドレス中の最下位の5ビットが、テーブル中に直接インデックスを付与するために使用される。テーブルインデックスで識別したポート番号が、パケットを転送するポートである。
【0041】
サーバ中のドライバ36が、宛先アドレスに対して、クライアントへのトランク上で同一の決定性アルゴリズムを実行する。サーバソフトウェアは、ドライバシムを含むNICのグループに単一NICを付与し、サーバプロトコル34に従った宛先アドレスに基づいたロードバランシングを実行する。
【0042】
このアルゴリズムは、サーバにアドレスされたパケットに対して、スイッチ内のトランクグループ中の一つのポートを選択するためにドライバシムによって実行される。宛先MACアドレス中の低位ビットが、テーブル中にインデックスを付与するために使用される。これはパケット伝送ための一つの重要な考慮すべき点である。パケットを受信する場合、サーバドライブはリンクの一つの上部で同報通信パケットを受け取るのみであり、グループ中の任意の他のNIC上で受信された同報通信パケットは廃棄される。
【0043】
ドライバ及びスイッチは、あるリンクを選択するために複雑なパケット解析を実行する必要はなく、ドライバ及びスイッチは、MACアドレスフィールドを調べる。このフィールドは、パケットの先頭からパケット内の固定オフセットに位置している。例えば、あるイーサネットパケットのフォーマットは、次の(表1)の内容のとおりである。
【0044】
【表1】
Figure 0004236303
【0045】
図2は、本発明における実施形態でのリンクレベルトランキングシステムを有するスイッチの処理を説明するための図である。
標準スイッチ70が、入力ポート75〜77上で受信されたパケットを適切な出力ポート71〜74に転送する。パケット80がスイッチによって受信されると、スイッチは、パケットを転送するためにパケット中のDA(Destination MAC Address) フィールド81を調べる。スイッチは、到達できるMACアドレス及びポートのリストを含むアドレステーブル79を保持する。スイッチは、アドレステーブル中のDAを検索して宛先出力ポートを調べる。DAを識別できない場合、スイッチはそのパケットを全ての出力ポートにフラグを立てる。DAが識別できない場合、スイッチはテーブル中にリストされているポートにのみパケットを送信する。
【0046】
本発明の実施形態では、また、アドレステーブルは、このDAが一つのポートではなく、複数出力ポートから到達可能であることを示すフラグをも含む。この複数出力ポートは、前記のトランクグループである。また、フラグは、スイッチを(前記の)N個のエントリのテーブルに向ける。スイッチはSA(Source MAC Address)82を調べてトランクテーブル78中にインデックスを識別し、このインデックスによって適切な出力ポートを選択する。
【0047】
特定の送出元MACアドレスと宛先MACアドレスとの組み合わせは、IEEE802.1D標準などのブリッジング標準に従ってグループ中の同一リンクを常時使用する。この標準では、パケットの順序がスイッチによって保持される必要がある。前記のSA/DAの組み合わせに対して同一のリンクを常に選択することによって、このパケットの順序が保証される。
【0048】
サーバ中に複数NICを配置するための従来技術の方法では、複雑なソフトウェア及びハードウェア構成が必要である。BALANCE.NLMなどの高レベルマッピング方式は、高インテリジェンスレベルのドライバを必要とする。複数NICアドレスの使用によって、クライアントに対してサーバの混乱させる場合があり、分岐接続の再確立が必要な場合、クライアントが他のNICの名前及びネットワークアドレスを有することを要求される場合がある。単一サーバに対するこの複数の名前及びアドレスの使用によって、フォールトトレランスを実行できない場合があり、又は、制限される場合がある。
【0049】
一方、本発明の実施形態では、スイッチの動作をサーバ中のソフトウェアと調整することによって、複数NICとネットワークアドレスの間のマッピングを実行している。NIC全てが同一のMACアドレスを有し、同時にネットワーク上で動作状態となる。これは、通常の従来技術で不可能な状態である。本発明の実施形態では、この状態にスイッチが対応しており、これに関連する問題をクライアントが処理できないようにするためである。
【0050】
例えば、サーバ中で二つのNICを使用する場合、本発明の実施形態では二つのネットワーク名前を生成し、二つのネットワークアドレスを使用する必要がなくなる。クライアントにとって、サーバは一つの名前及び一つのネットワークアドレスのみを有している。したがって、NIC中の一つに障害が発生した場合、サーバに新規の接続を再確立する必要がなくなる。スイッチはクライアントに対してネットワークでの障害発生を示さなくなる。
【0051】
本発明の実施形態では、名前からMACアドレス、更にネットワークアドレスへの単一マッピングを行うため、従来技術の高レベルのマッピング方式より有利である。更に、本発明で必要とされるサーバオーバヘッドが、より低くなる。
【0052】
また、本発明の実施形態は、NICとしてスイッチを使用し、又は、ソフトウェア中でスイッチを使用する従来技術の方式に対して有利である。例えば、スパンニングツリーなどの冗長性プロトコルを必要とせずに、このスイッチNICよりもコストが低下し、更に、スイッチ中に必要なインテリジェンスが、ハイブリッド処理よりも少なくて済むようになり、サーバ側で特別のハードウェアのサポートが不要になる。
【0053】
本発明の好適な実施形態は、フォールトトレランスの特徴をサポートしている。
図3は、本発明の好適な第1実施形態によるリンクレベルのサーバ/スイッチのトランキングシステムを概略構成を示すブロック図である。
図3では、単一スイッチ50が、多重リンク54を通じてサーバ52に接続されている。サ−バへのリンクは、トランクとして構成され、その中でロードバランシングアルゴリズムが、クライアント56のソースアドレスを使用してリンクを選択する。
【0054】
サーバ中の複数NICは、MACアドレスを全てのインターフェース上で同一としてプログラム処理する。したがって、サーバの送出元に対して使用される同一のMACアドレスが、多重ポート62に適用される。クライアントがハブ58,60を通じてサーバにパケットを送信する場合、スイッチがクライアントのMACアドレスを調べることによって多重ポートの一つを選択する。
【0055】
図4は、本発明の第2実施形態によるリンクレベルのサーバ/スイッチのトランキングシステムの概略構成を示すブロック図である。
この実施形態では、サーバ52が多重リンク54,74を通じてスイッチ64に、多重リンク70a,72を通じてスイッチ66に接続されている。また、スイッチ対スイッチリンク68が、スイッチ64及びスイッチ66を接続されている。スイッチ64は、ハブ60に接合され、かつ、スイッチ66がハブ58に接合されている。また、ハブはクライアント56に接続されている。図4は、二つのスイッチに接続されたサーバを示しているが、本発明がネットワーク及びサーバによってサポートされる任意数のスイッチ又は任意数のリンクを使用して実施できることを当業者なら容易に理解できるものである。
【0056】
最も近いスイッチを通じてサーバへ送出されるクライアントからのトラヒックを、前記のリンク選択方式を使用して正しいリンクに、その経路を指定できる。しかし、このシステムでは、サーバのソースアドレスを有するパケットが、スイッチ対スイッチリンクを交差する場合がある。このスイッチ対スイッチリンクは、サーバトランクグループ中には含まれない。
【0057】
トランキングをサポートするスイッチでは、グループ中の任意数のポートから受け取ったパケット上に同一の送出元MACアドレスを格納することが可能である。アドレス移動条件の生成、又は、アドレステーブルを連続的に更新する処理は好ましくない。サーバ中の複数NICがネットワークに接続され、このNICが同一のMACアドレスを使用している場合、このMACアドレスを有するパケットを多数のポート上の送出元MACアドレスとして受け取ることが可能である。したがって、本発明の実施形態では、サーバからクライアントへ、このパケットが返送される場合にスイッチ対スイッチリンクの処理を適切化し、この処理で発生するサーバの動作中の割り込みが防止される。
【0058】
この処理では、アドレスを送出するポートがトランクポートのグループ中にない場合でも、スイッチはアドレスの移動条件を無視することが出来る。サーバのMACに対するフラグがスイッチのアドレステーブル中に格納される。このフラグは、サーバのMACアドレスが、複数のポート上に送出される場合の受け入れが可能であることをスイッチに通知する。サーバは、このアドレスが移動したことをシステムオペレータに通知しないように指示される。他の方式、又は、前記の方式の組み合わせが、スイッチ対スイッチリンクを交差したトラヒックのサーバ対クライアント間の伝送を容易にするために実行できることを当業者なら容易に理解できるものである。
【0059】
以上、本発明の好適な実施形態を説明したが、本発明の技術思想及び技術的範囲から逸脱することなく、本明細書に記載した適用例に代えて他の適用例を利用できることを当業者なら容易に理解できるものである。
【0060】
サーバドライバ、ドライバシム及びプロトコルソフトウェアは、周知のプログラミング技術を適用して当業者が容易に作成できる。また、スイッチハードウェアは、当業者によって同様に構成できるものである。
【0061】
また、本発明は、ベンダ指定のモノリシックドライバと共に使用するように修正変更できる。このドライバは、ベンダのNICに特有なものである。本発明の代替実施形態では、を作成するように動作可能なモノリシックドライバ。
【0062】
したがって、本発明は前記の特許請求の範囲によってのみ限定されるものである。
【0063】
以下に本発明の実施の形態を要約する。
1.コンピュータネットワークにおけるスイッチとサーバとの間に多重リンクをトランクするリンクレベルサーバ/スイッチトランキング方法であって、
前記サーバが追加のネットワークインターフェースカード(NIC)又はサーバ中に配置された多重ポートNICの一方を有し、
前記追加のNIC又は多重ポートNICをグループ構成として認識するステップと、
前記サーバのオペレーティングシステム及びクライアントが前記グループ構成を、単一NICとして認識するステップと、
前記グループ構成を、多重ポートを備えるトランクとして処理するステップと、
前記スイッチで受信されるパケットのソースアドレスから、前記サーバに到達するための前記多重ポート中の一つを選択するステップと、
前記サーバから送信されるパケットの宛先アドレスから、前記クライアントに到達するための前記多重ポート中の一つを選択するステップと、
を有するリンクレベルサーバ/スイッチトランキング方法。
【0064】
2.前記グループ構成及び認識するステップが、サーバドライバによって実行される上記1記載のリンクレベルサーバ/スイッチトランキング方法。
【0065】
3.前記グループ構成を単一NICとして認識するステップが、前記サーバドライバの少なくとも一つをオーバレイするドライバシムの一つ、又は、モノリシックドライバとする上記2記載のリンクレベルサーバ/スイッチトランキング方法。
【0066】
4.前記サーバ中の複数NICが、この複数NICのMACアドレスを、全てのインターフェ−ス上で同一であるようにプログラム処理するステップを更に有する上記1記載のリンクレベルサーバ/スイッチトランキング方法。
【0067】
5.前記グループ構成をトランク処理するステップが、
前記グループ構成に接続されたスイッチによって実行される上記1記載のリンクレベルサーバ/スイッチトランキング方法。
【0068】
6.前記サーバに到達するための多重ポートを選択するステップに、前記スイッチが前記パケット上で決定のためのアルゴリズムを実行するステップを更に有する上記1記載のリンクレベルサーバ/スイッチトランキング方法。
【0069】
7.前記決定のためのアルゴリズムを実行する前記ステップは、
前記スイッチのアドレステーブル中で前記サーバパケットを決定するためのアドレスを調べるステップと、
前記サーバが前記多重ポートを通じて到達することを示すフラグを、前記スイッチに返送するステップと、
前記フラグが、前記スイッチに分配された前記各多重ポートの数を、この中にエントリとして含むテーブルに送出するステップと、
前記スイッチが、前記パケットの送出元MACアドレスの最下位Mビットをインデックスの計算に使用して、前記テーブル中にインデックス付与するステップと、
前記スイッチが、前記インデックスで識別した前記エントリに基づいて多重ポート中の一つを選択するステップと
を更に有する上記6記載のリンクレベルサーバ/スイッチトランキング方法。
【0070】
8.前記クライアントに到達するためのポートを選択する前記ステップに、
前記サーバドライバが、前記パケットの宛先MACアドレスの最下位Mビットをインデックスの計算に使用して、分配された前記多重ポートの数を、この中にエントリとして含む、テーブル中にインデックス付与するステップと、
前記サーバドライバが、前記インデックスで識別した前記エントリに基づいて前記多重ポート中の一つを選択するステップと
を更に有する上記1記載のリンクレベルサーバ/スイッチトランキング方法。
【0071】
9.前記多重ポートから受信したパケット上に同一の送出元MACアドレスを送出しないようにして、前記スイッチ中の割り込みを防止するステップを更に有する上記1記載のリンクレベルサーバ/スイッチトランキング方法。
【0072】
10.前記防止のステップが、
前記多重ポート上に送出される前記サーバの送出元MACアドレスを識別できることを前記スイッチに通知するステップと、
前記スイッチへの通知を外部に行わないように前記スイッチに指示するステップと
を有する上記9記載のリンクレベルサーバ/スイッチトランキング方法。
【0073】
11.フォールトトレランスを提供するステップを有する上記1記載のリンクレベルサーバ/スイッチトランキング方法。
【0074】
12.前記フォールトトレランスステップは、
前記スイッチが、複数NICの多重ポート上で前記サーバのソースとして使用される前記MACアドレスを調べるステップと、
前記スイッチが、記クライアントのMACアドレスを調べて多重ポート中の一つを選択するステップとを有し、
前記選択したポートへのリンク中で障害が発生した場合に、前記サーバと前記クライアントの間のデータ通信を保持する上記11記載のリンクレベルサーバ/スイッチトランキング方法。
【0075】
13.前記フォールトトレランスステップが、
集線ツリー構造となるように、前記サーバを複数NICリンクを通じて複数のスイッチに接続するステップと、
前記経路中のいずれかを通じてパケットの通信を行うように前記ツリー中に複数の経路を生成するために、前記スイッチをスイッチ対スイッチリンクと共に接続するステップとを有し、
前記ポートへの前記リンク中の一つに障害が発生した際に、前記サーバと前記クライアントとの間のデータ通信を保持する上記11記載のリンクレベルサーバ/スイッチトランキング方法。
【0076】
14.コンピュータネットワークにおけるスイッチとサーバとの間に多重リンクをトランクとして処理するためのリンクレベルサーバ/スイッチトランキング方法にあって、
前記サーバが追加のネットワークインターフェースカード(NIC)とサーバ中とに配置された多重ポートNICのいずれかを有し、
サーバドライバが前記追加のNIC又は多重ポートNICをグループ構成のメンバとして認識するステップと、
モノリシックドライバの一つ、又は前記サーバドライバ中の少なくとも一つをオーバレイするドライバシムを使用して、前記サーバのオペレーティングシステム及びクライアントに、前記グループ構成を単一NICと識別するステップと、前記グループ構成に接続されたスイッチが、前記グループ構成を多重ポートを備えるトランクとして処理するステップと、
フォールトトレランスを処理するステップと、
前記スイッチで受信したパケットのソースアドレスから、前記サーバに到達するための前記多重ポート中の一つを選択するステップと、
前記サーバが送信するパケットの宛先アドレスから、前記クライアントに到達するための前記多重ポート中の一つを選択するステップと、
前記多重ポートに送出される前記サーバの送出元MACアドレスの調べが出来ることを前記スイッチに通知するステップと、
前記スイッチへの通知を外部に通知しないように前記スイッチに指示するステップと、
を有するリンクレベルサーバ/スイッチトランキング方法。
【0077】
15.フォールトトレランスを提供する前記ステップは、
スイッチが、前記多重NICポート上で前記サーバの送出元として使用する前記MACアドレスを調べるステップと、
スイッチが、前記クライアントのMACアドレスを調べることによって前記複数ポート中の一つを選択するステップとを有し、
前記選択したポートのリンク中に障害が発生した際に、前記サーバと前記クライアントとの間のデータ通信を保持する上記14記載のリンクレベルサーバ/スイッチトランキング方法。
【0078】
16.フォールトトレランスを提供する前記ステップが、
集線ツリー構造になるように、前記サーバを多重NICリンクを通じて複数のスイッチに接続するステップと、
前記経路のいずれかを通じてパケットを通信を行うように前記ツリー中に複数の経路を生成するために前記スイッチをスイッチ対スイッチリンクと共に接続するステップとを有し、
前記多重ポートとリンク中の一つのリンクに障害が発生した場合に、前記サーバと前記クライアントとの間のデータ通信を保持する上記14記載のリンクレベルサーバ/スイッチトランキング方法。
【0079】
17.コンピュータネットワークにおけるスイッチとサーバの間の多重リンクをトランクとして処理するためのリンクレベルサーバ/スイッチトランキングシステムであって、
追加のネットワークインターフェースカード(NIC)と多重ポートNICとのいずれかをグループ構成として認識する手段と、
前記グループ構成を前記サーバのオペレーティングシステム及びクライアントが単一NICとして識別する手段と、
前記グループ構成を、多重ポートを備えるトランクとして処理する手段と、 前記スイッチで受信されたパケットのソースアドレスから、前記サーバに到達するための前記多重ポート中の一つを選択する手段と、
前記サーバから送信されたパケットの宛先アドレスから、前記クライアントに到達するための前記多重ポート中の一つを選択する手段と、
を備えるリンクレベルサーバ/スイッチトランキングシステム。
【0080】
18.前記グループ構成及び認識の手段が、
サーバドライバである上記17記載のリンクレベルサーバ/スイッチトランキングシステム。
【0081】
19.前記グループ構成を単一NICとして処理する手段が、
前記サーバドライバの少なくとも一つをオーバレイするドライバシムの一つ、又は、モノリシックドライバとする上記17記載のリンクレベルサーバ/スイッチトランキングシステム。
【0082】
20.前記MACアドレスが全てのインターフェ−ス上で同一となるようにプログラム処理する複数NICを、前記サーバ中に更に備える上記17記載のリンクレベルサーバ/スイッチトランキングシステム。
【0083】
21.前記グループ構成をトランク処理する手段及び前記サーバに到達するためのポートを選択する手段を、前記グループ構成中の複数NICを通じて前記サーバに接続される一つのスイッチとする上記17記載のシステム。
【0084】
22.前記グループ構成をトランク処理する手段及び前記サーバに到達するためのポートを選択する手段を、複数スイッチへの複数NICリンクとする上記17記載のリンクレベルサーバ/スイッチトランキングシステム。
【0085】
23.前記多重ポートから受信されたパケット上に同一の送出元MACアドレスが送出されて前記スイッチ中に発生する割り込みを防止する手段を更に備える上記17記載のリンクレベルサーバ/スイッチトランキングシステム。
【0086】
24.前記割り込みの防止の手段が、
前記多重ポート上に送出される前記サーバのMACアドレスの調べが出来ることを前記スイッチに通知する手段と、
前記スイッチの通知をネットワークシステムオペレータに行わないように前記スイッチに指示する手段と、
を有する上記23記載のリンクレベルサーバ/スイッチトランキングシステム。
【0087】
25.フォールトトレランスを提供する手段を更に備える上記17記載のリンクレベルサーバ/スイッチトランキングシステム。
【0088】
26.前記フォールトトレランス手段は、
前記スイッチが、前記複数NICポート上で前記サーバの送出元として使用される前記MACアドレスを調べる手段と、
前記スイッチが、前記クライアントのMACアドレスを調べて前記多重ポート中の一つを選択する手段とを備え、
前記ポートへの前記リンク中の一つに障害が発生した際に前記サーバと前記クライアントとの間のデータ通信を保持する上記25記載のリンクレベルサーバ/スイッチトランキングシステム。
【0089】
27.前記フォールトトレランス手段は、
集線ツリー構造となるように、前記サーバを複数のスイッチに接続するための多重NICリンクと、
前記経路のいずれかを通じてパケットを通信するように、前記ツリー中で複数の経路を生成するための、前記スイッチを共に接続する少なくとも一つのスイッチ対スイッチリンクとを備え、
前記ポートへの前記リンク中の一つのリンク中に障害が発生した場合に、前記サーバと前記クライアントとの間のデータ通信を保持する上記25記載のリンクレベルサーバ/スイッチトランキングシステム。
【0090】
【発明の効果】
以上の説明から明らかなように、本発明のリンクレベルサーバ/スイッチトランキング方法及びそのシステムによれば、サーバ中で複数のNICをサポ−トして、NICがクライアントと高位層の内部サーバソフトウェアのいずれにも単一NICとしての処理を実行している。この結果、フォールトトレランスをサポートする際に、サーバの再構成を必要とせずに帯域幅を増大化できるようなる。
【図面の簡単な説明】
【図1】図1は本発明の実施形態におけるスイッチでのトランキング/フェイルオーバシステムの概略構成を示すブロック図である。
【図2】本発明によるリンクレベルトランキングシステムを有するスイッチを説明するための図である。
【図3】本発明の好適な第1実施形態によるリンクレベルのサーバ/スイッチのトランキングシステムの概略構成を示すブロック図である。
【図4】本発明の第2実施形態によるリンクレベルのサーバ/スイッチのトランキングシステムの概略構成を示すブロック図である。
【図5】従来例におけるフェイルオーバシステムの概略構成を示すブロック図である。
【図6】従来例におけるトランキングシステムの概略構成を示すブロック図である。
【符号の説明】
30 トランキング/フェイルオーバシステム
32,52 サーバ
36 ドライバ
38,40 リンク
42,56 クライアント
46 ドライバシム
58,60 ハブ
50 単一スイッチ
54,74 多重リンク
62 多重ポート
64,66 スイッチ
68 スイッチ対スイッチリンク
70 標準スイッチ
70a,72 多重リンク
71〜74 出力ポート
75〜77 入力ポート
78 トランクテーブル
79 アドレステーブル
80 パケット
81 DAフィールド
82 SA

Claims (2)

  1. コンピュータネットワークにおいてスイッチとサーバとの間の多重リンクをトランクする方法であって、前記サーバが追加のネットワークインターフェースカード(NIC)又はサーバ中に配置された多重ポートNICを有している、方法において、
    サーバドライバが、前記追加のNIC又は多重ポートNICをグループのメンバとして認識し構成するステップと、
    前記サーバドライバの少なくとも一つをオーバレイするドライバシムの一つ、又は、モノリシックドライバが、前記グループが前記サーバのオペレーティングシステム及びクライアントに単一のNICとして認識されるようにするステップと、
    前記グループに接続されたスイッチが、前記グループを、多重ポートを有するトランクとして扱うステップと、
    前記スイッチが、前記スイッチで受信されるパケットのソースアドレスに基づき、前記スイッチのポートのなかから前記サーバに到達するポートを選択するステップと、
    前記サーバドライバが、前記サーバから送信されるパケットの宛先アドレスに基づき、前記サーバのポートのなかから前記クライアントに到達するポートを選択するステップと、
    を含み、
    前記サーバに到達するポートを選択するステップが、前記スイッチが前記パケットに対して決定用のアルゴリズムを実行するステップをさらに含み、
    前記決定用のアルゴリズムを実行するステップは、
    前記スイッチのアドレステーブルにある前記サーバパケットの宛先アドレスを調べるステップと、
    前記スイッチのポートを通じて前記サーバに到達しうることを示すフラグを前記スイッチに返すステップと、
    前記フラグが、エントリとして配分された前記スイッチの各ポートの番号を含むテーブルに前記スイッチを割り当てるステップと、
    前記スイッチが、前記パケットの送出元MACアドレスの最下位Mビットをインデックスの計算に用い、前記テーブルにインデックス付与するステップと、
    前記スイッチが、前記インデックスで識別した前記エントリに基づいて前記スイッチのポートのなかから一つのポートを選択するステップと、
    をさらに含む、
    ことを特徴とする方法。
  2. コンピュータネットワークにおいてスイッチとサーバとの間の多重リンクをトランクする方法であって、前記サーバが追加のネットワークインターフェースカード(NIC)又はサーバ中に配置された多重ポートNICを有している、方法において、
    サーバドライバが、前記追加のNIC又は多重ポートNICをグループのメンバとして認識し構成するステップと、
    前記サーバドライバの少なくとも一つをオーバレイするドライバシムの一つ、又は、モノリシックドライバが、前記グループが前記サーバのオペレーティングシステム及びクライアントに単一のNICとして認識されるようにするステップと、
    前記グループに接続されたスイッチが、前記グループを、多重ポートを有するトランクとして扱うステップと、
    前記スイッチが、前記スイッチで受信されるパケットのソースアドレスに基づき、前記スイッチのポートのなかから前記サーバに到達するポートを選択するステップと、
    前記サーバドライバが、前記サーバから送信されるパケットの宛先アドレスに基づき、前記サーバのポートのなかから前記クライアントに到達するポートを選択するステップと、
    を含み、
    前記クライアントに到達するポートを選択するステップは、
    前記サーバドライバが、前記パケットの宛先MACアドレスの最下位Mビットをインデックスの計算に使用して、エントリとして配分された前記サーバのポートの各ポートの番号を含むテーブルにインデックス付与するステップと、
    前記サーバドライバが、前記インデックスで識別した前記エントリに基づいて前記サーバのポートのうちの一つのポートを選択するステップと、
    をさらに含む、
    ことを特徴とする方法。
JP19183798A 1997-07-08 1998-07-07 リンクレベルサーバ/スイッチトランキング方法 Expired - Fee Related JP4236303B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/889,317 US6151297A (en) 1997-07-08 1997-07-08 Method and system for link level server/switch trunking
US08/889-317 1997-07-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008266109A Division JP4399508B2 (ja) 1997-07-08 2008-10-15 コンピュータネットワークにおいてスイッチとサーバの間の多重リンクをトランクするためのシステム

Publications (2)

Publication Number Publication Date
JPH1174927A JPH1174927A (ja) 1999-03-16
JP4236303B2 true JP4236303B2 (ja) 2009-03-11

Family

ID=25394897

Family Applications (2)

Application Number Title Priority Date Filing Date
JP19183798A Expired - Fee Related JP4236303B2 (ja) 1997-07-08 1998-07-07 リンクレベルサーバ/スイッチトランキング方法
JP2008266109A Expired - Fee Related JP4399508B2 (ja) 1997-07-08 2008-10-15 コンピュータネットワークにおいてスイッチとサーバの間の多重リンクをトランクするためのシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008266109A Expired - Fee Related JP4399508B2 (ja) 1997-07-08 2008-10-15 コンピュータネットワークにおいてスイッチとサーバの間の多重リンクをトランクするためのシステム

Country Status (4)

Country Link
US (2) US6151297A (ja)
EP (1) EP0891061B1 (ja)
JP (2) JP4236303B2 (ja)
DE (1) DE69827201T2 (ja)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151297A (en) * 1997-07-08 2000-11-21 Hewlett-Packard Company Method and system for link level server/switch trunking
US6816490B1 (en) * 1997-09-17 2004-11-09 Sony Corporation Statistical learning technique in a multi-port bridge for a local area network
US6687758B2 (en) * 2001-03-07 2004-02-03 Alacritech, Inc. Port aggregation for network connections that are offloaded to network interface devices
US6363077B1 (en) * 1998-02-13 2002-03-26 Broadcom Corporation Load balancing in link aggregation and trunking
US6359879B1 (en) * 1998-04-24 2002-03-19 Avici Systems Composite trunking
FI105978B (fi) * 1998-05-12 2000-10-31 Nokia Mobile Phones Ltd Menetelmä langattoman päätelaitteen kytkemiseksi tiedonsiirtoverkkoon ja langaton päätelaite
US6389024B1 (en) * 1998-06-08 2002-05-14 Excel Switching Corporation Flexible call routing system
US6496502B1 (en) * 1998-06-29 2002-12-17 Nortel Networks Limited Distributed multi-link trunking method and apparatus
US6148414A (en) * 1998-09-24 2000-11-14 Seek Systems, Inc. Methods and systems for implementing shared disk array management functions
FR2785694B1 (fr) * 1998-11-05 2001-01-12 Gemplus Card Int Systeme de personnalisation de cartes a puce
US6519231B1 (en) 1999-01-12 2003-02-11 Nortel Networks Limited Method and apparatus providing a spanning tree protocol for a data communications network having a multi-link trunk
US7266706B2 (en) * 1999-03-03 2007-09-04 Yottayotta, Inc. Methods and systems for implementing shared disk array management functions
US6490632B1 (en) * 1999-03-18 2002-12-03 3Com Corporation High performance load balancing and fail over support of internet protocol exchange traffic over multiple network interface cards
US6512774B1 (en) * 1999-03-18 2003-01-28 3Com Corporation Fail over with multiple network interface cards
US6590861B1 (en) * 1999-03-18 2003-07-08 3Com Corporation Combining virtual local area networks and load balancing with fault tolerance in a high performance protocol
US6820115B1 (en) * 1999-04-09 2004-11-16 Nortel Networks Limited Apparatus and method for mediating message transmission across a network
US6445709B1 (en) * 1999-05-13 2002-09-03 Advanced Micro Devices, Inc. Method and apparatus for finding a match entry using receive port number embedded in the port vector
EP1180285A1 (en) * 1999-05-24 2002-02-20 Advanced Micro Devices, Inc. Method and apparatus for trunking multiple ports in a network switch
US6731599B1 (en) * 1999-07-01 2004-05-04 Nortel Networks Limited Automatic load sharing-trunking
US6385197B1 (en) * 1999-07-09 2002-05-07 Allied Telesyn International Corp. Virtual port trunking method and apparatus
US6791969B1 (en) * 1999-09-15 2004-09-14 Lucent Technologies Inc. Multiple input/output switch
US7177952B1 (en) * 1999-10-01 2007-02-13 Nortel Networks Limited Method and system for switching between two network access technologies without interrupting active network applications
US6683882B1 (en) * 1999-11-09 2004-01-27 3Com Corporation Method and system for directing transmission of IPX control packets to influence reception of IPX data packets
JP3506327B2 (ja) 1999-11-16 2004-03-15 日本電気株式会社 高速/高信頼性イーサ伝送方式及びi/f装置
US6732184B1 (en) * 2000-01-31 2004-05-04 Advanced Micro Devices, Inc. Address table overflow management in a network switch
AU2001287250A1 (en) * 2000-03-22 2001-10-03 Yotta Yotta, Inc. Method and system for providing multimedia information on demand over wide area networks
US6807179B1 (en) * 2000-04-18 2004-10-19 Advanced Micro Devices, Inc. Trunking arrangement in a network switch
EP1168710B1 (en) * 2000-06-19 2005-11-23 Broadcom Corporation Method and device for frame forwarding in a switch fabric
US7392291B2 (en) * 2000-08-11 2008-06-24 Applied Micro Circuits Corporation Architecture for providing block-level storage access over a computer network
US6694382B1 (en) * 2000-08-21 2004-02-17 Rockwell Collins, Inc. Flexible I/O subsystem architecture and associated test capability
US7266079B2 (en) * 2000-09-18 2007-09-04 Broadcom Corporation Dynamic network load balancing over heterogeneous link speed
US7773631B2 (en) * 2001-02-15 2010-08-10 Broadcom Corporation Specialized data transfer in a wireless communication system
US7151774B1 (en) * 2001-06-13 2006-12-19 Advanced Micro Devices, Inc. Method and apparatus for trunking links having different transmission rates
EP1271896B1 (de) * 2001-06-18 2004-07-28 Swisscom Mobile AG Verfahren und System für mobile IP-Nodes in heterogenen Netzwerken
CN1402480B (zh) * 2001-08-07 2010-04-21 株式会社藤仓 介质访问控制桥路的地址管理方法和该桥路
CN100459465C (zh) * 2001-08-24 2009-02-04 朗米·S·冈达 可将sdh/sonet帧转换为以太网帧的方法和装置
US7787370B1 (en) * 2001-09-06 2010-08-31 Nortel Networks Limited Technique for adaptively load balancing connections in multi-link trunks
US7389332B1 (en) 2001-09-07 2008-06-17 Cisco Technology, Inc. Method and apparatus for supporting communications between nodes operating in a master-slave configuration
CA2461584C (en) 2001-09-24 2008-01-15 Rumi Sheryar Gonda Method for supporting ethernet mac circuits
DE10147419A1 (de) * 2001-09-26 2003-04-24 Siemens Ag Verfahren zur Erstellung einer dynamischen Adresstabelle für einen Koppelknoten in einem Datennetz und Verfahren zur Übertragung eines Datentelegramms
US7154899B2 (en) * 2002-02-01 2006-12-26 Corrigent Systems Ltd. Protecting the filtering database in virtual bridges
US7421478B1 (en) * 2002-03-07 2008-09-02 Cisco Technology, Inc. Method and apparatus for exchanging heartbeat messages and configuration information between nodes operating in a master-slave configuration
US7587465B1 (en) 2002-04-22 2009-09-08 Cisco Technology, Inc. Method and apparatus for configuring nodes as masters or slaves
US7415535B1 (en) 2002-04-22 2008-08-19 Cisco Technology, Inc. Virtual MAC address system and method
EP1398694B1 (en) 2002-07-26 2013-09-11 Canon Kabushiki Kaisha Information processing method
TW586709U (en) * 2003-02-18 2004-05-01 Channel Inc W Device for observing network packets
TW200418285A (en) * 2003-03-06 2004-09-16 Xnet Technology Corp Computer network management software system installing network management software in network interface card
CN100474833C (zh) * 2003-03-31 2009-04-01 富士通株式会社 数据通信负荷分散控制、负荷分散数据发送方法及装置
US20040213172A1 (en) * 2003-04-24 2004-10-28 Myers Robert L. Anti-spoofing system and method
US7451208B1 (en) * 2003-06-28 2008-11-11 Cisco Technology, Inc. Systems and methods for network address failover
JP4210168B2 (ja) 2003-07-09 2009-01-14 株式会社エヌ・ティ・ティ・ドコモ 移動端末、制御装置、ホームエージェント及びパケット通信方法
US7447203B2 (en) 2003-07-29 2008-11-04 At&T Intellectual Property I, L.P. Broadband access for virtual private networks
US8285881B2 (en) * 2003-09-10 2012-10-09 Broadcom Corporation System and method for load balancing and fail over
US8493839B2 (en) * 2003-11-20 2013-07-23 Hewlett-Packard Development Company, L.P. Method and system of teamed network adapters with offloaded connections
CN1324856C (zh) * 2004-01-05 2007-07-04 联想(北京)有限公司 一种基于多网卡的网络设备的数据传输方法和装置
US20050195851A1 (en) * 2004-02-12 2005-09-08 International Business Machines Corporation System, apparatus and method of aggregating TCP-offloaded adapters
US8891509B2 (en) * 2004-07-06 2014-11-18 Hewlett-Packard Development Company, L.P. Proxy networking device for a router
US7505399B2 (en) * 2004-08-13 2009-03-17 Hewlett-Packard Development Company, L.P. Receive load balancing on multiple network adapters
US7616653B1 (en) * 2004-09-02 2009-11-10 Sun Microsystems, Inc. Network interface card aggregation framework
US20060098573A1 (en) * 2004-11-08 2006-05-11 Beer John C System and method for the virtual aggregation of network links
US7974223B2 (en) 2004-11-19 2011-07-05 Corrigent Systems Ltd. Virtual private LAN service over ring networks
US7826481B2 (en) * 2004-11-30 2010-11-02 Broadcom Corporation Network for supporting advance features on legacy components
US8014390B2 (en) * 2004-11-30 2011-09-06 Broadcom Corporation Policy based routing using a fast filter processor
US8005084B2 (en) * 2004-11-30 2011-08-23 Broadcom Corporation Mirroring in a network device
US7715384B2 (en) * 2004-11-30 2010-05-11 Broadcom Corporation Unicast trunking in a network device
US7680107B2 (en) * 2004-11-30 2010-03-16 Broadcom Corporation High speed trunking in a network device
US7830892B2 (en) 2004-11-30 2010-11-09 Broadcom Corporation VLAN translation in a network device
CN100367723C (zh) * 2004-12-31 2008-02-06 技嘉科技股份有限公司 实体网络层状态的动态监控与运作方法
GB2424970A (en) * 2005-04-05 2006-10-11 Giga Byte Tech Co Ltd Method and Apparatus for dynamic physical network layer monitoring
US7570601B2 (en) * 2005-04-06 2009-08-04 Broadcom Corporation High speed autotrunking
US7974202B2 (en) 2005-05-06 2011-07-05 Corrigent Systems, Ltd. Tunnel provisioning with link aggregation
US7646708B2 (en) * 2005-08-01 2010-01-12 Hewlett-Packard Development Company, L.P. Network resource teaming combining receive load-balancing with redundant network connections
JPWO2007029297A1 (ja) * 2005-09-02 2009-03-26 富士通株式会社 ネットワークインタフェース制御プログラムおよびネットワークインタフェース制御装置
JP4736682B2 (ja) * 2005-10-04 2011-07-27 株式会社メガチップス ネットワークシステムおよびネットワークシステムの制御方法
CN100440800C (zh) * 2005-11-30 2008-12-03 中兴通讯股份有限公司 一种实现城域网wan端口trunk保护的方法
US8134928B1 (en) 2005-12-15 2012-03-13 Nvidia Corporation Technique for identifying a failed network interface card within a team of network interface cards
US7596088B2 (en) * 2006-01-24 2009-09-29 Corrigent Systems Ltd. Route selection with bandwidth sharing optimization over rings
JP4923628B2 (ja) * 2006-03-02 2012-04-25 日本電気株式会社 ネットワークカードセレクタ
US7545740B2 (en) * 2006-04-07 2009-06-09 Corrigent Systems Ltd. Two-way link aggregation
US7593400B2 (en) * 2006-05-19 2009-09-22 Corrigent Systems Ltd. MAC address learning in a distributed bridge
TWI324471B (en) * 2006-06-01 2010-05-01 Via Tech Inc Mac address management method
CN100461741C (zh) * 2006-06-09 2009-02-11 华为技术有限公司 防止以太网链路聚合逻辑端口报文丢失的方法及通信设备
EP1871039A1 (de) * 2006-06-21 2007-12-26 ads-tec AUTOMATION DATEN- UND SYSTEMTECHNIK GmbH Datenübertragungseinrichtung und Verfahren zur Datenübertragung zwischen einem Netzwerk und einer mobilen Datenübertragungseinheit
US7660303B2 (en) * 2006-08-22 2010-02-09 Corrigent Systems Ltd. Point-to-multipoint functionality in a bridged network
JP5019867B2 (ja) * 2006-12-26 2012-09-05 株式会社リコー サーバ装置、ネットワーク装置、データ提供場所提供方法、データ提供場所提供プログラム及び記録媒体
US9344356B2 (en) * 2007-02-28 2016-05-17 Hewlett Packard Enterprise Development Lp Transmitting a packet from a distributed trunk switch
US8213430B2 (en) * 2007-02-28 2012-07-03 Hewlett-Packard Development Company, L.P. Transmitting a packet from a distributed trunk switch
US7792018B2 (en) * 2007-05-18 2010-09-07 Nvidia Corporation Intelligent load balancing and failover of network traffic
US7760619B2 (en) * 2007-05-18 2010-07-20 Nvidia Corporation Intelligent failover in a load-balanced networking environment
US7756012B2 (en) * 2007-05-18 2010-07-13 Nvidia Corporation Intelligent failover in a load-balanced network environment
US8432788B2 (en) * 2007-05-18 2013-04-30 Nvidia Corporation Intelligent failback in a load-balanced networking environment
US7995465B2 (en) * 2007-05-18 2011-08-09 Nvidia Corporation Intelligent load balancing and failover of network traffic
US8300647B2 (en) * 2007-05-18 2012-10-30 Nvidia Corporation Intelligent load balancing and failover of network traffic
US8966075B1 (en) * 2007-07-02 2015-02-24 Pulse Secure, Llc Accessing a policy server from multiple layer two networks
US20090041460A1 (en) * 2007-08-10 2009-02-12 Bernard Marc R Method and apparatus to provide bonded optical network devices
JP4879212B2 (ja) * 2008-03-24 2012-02-22 株式会社エヌ・ティ・ティ・ドコモ 移動端末、制御装置及びパケット通信システム
US20100008322A1 (en) * 2008-07-14 2010-01-14 Ads-Tec Gmbh Data Transmission Device and Method for Data Transmission between a Network and a Mobile Data Transmission Unit
CN101902382B (zh) * 2009-06-01 2015-01-28 中兴通讯股份有限公司 一种以太单环网地址刷新方法及系统
CN102035711B (zh) * 2009-09-24 2014-02-05 中兴通讯股份有限公司 一种以太环网保护中防止地址表重复刷新的方法及系统
US20110085560A1 (en) * 2009-10-12 2011-04-14 Dell Products L.P. System and Method for Implementing a Virtual Switch
US8848508B2 (en) * 2009-11-16 2014-09-30 Cisco Technology, Inc. Method for the provision of gateway anycast virtual MAC reachability in extended subnets
CN102377636B (zh) 2010-08-06 2014-12-17 北京乾唐视联网络科技有限公司 一种接入网设备的服务通信方法及系统
US8990891B1 (en) 2011-04-19 2015-03-24 Pulse Secure, Llc Provisioning layer two network access for mobile devices
CN102413052B (zh) * 2011-11-30 2015-08-19 华为技术有限公司 一种接入网络的方法、装置及系统
US8726338B2 (en) 2012-02-02 2014-05-13 Juniper Networks, Inc. Dynamic threat protection in mobile networks
US9237093B2 (en) * 2013-03-14 2016-01-12 Silicon Graphics International Corp. Bandwidth on-demand adaptive routing
US10084718B1 (en) 2013-03-15 2018-09-25 Google Llc Bi-Connected hierarchical data center network based on multi-ported network interface controllers (NICs)
US8976666B2 (en) * 2013-07-25 2015-03-10 Iboss, Inc. Load balancing network adapter
US9705798B1 (en) 2014-01-07 2017-07-11 Google Inc. Systems and methods for routing data through data centers using an indirect generalized hypercube network
US10305816B1 (en) * 2015-03-31 2019-05-28 Cisco Technology, Inc. Adjustable bit mask for high-speed native load balancing on a switch
US10237198B2 (en) 2016-12-06 2019-03-19 Hewlett Packard Enterprise Development Lp Shared-credit arbitration circuit
US10944694B2 (en) 2016-12-06 2021-03-09 Hewlett Packard Enterprise Development Lp Predictive arbitration circuit
US10721185B2 (en) 2016-12-06 2020-07-21 Hewlett Packard Enterprise Development Lp Age-based arbitration circuit
US10452573B2 (en) 2016-12-06 2019-10-22 Hewlett Packard Enterprise Development Lp Scripted arbitration circuit
US10693811B2 (en) 2018-09-28 2020-06-23 Hewlett Packard Enterprise Development Lp Age class based arbitration

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703475A (en) * 1985-12-04 1987-10-27 American Telephone And Telegraph Company At&T Bell Laboratories Data communication method and apparatus using multiple physical data links
US5241677A (en) * 1986-12-19 1993-08-31 Nippon Telepgraph and Telehone Corporation Multiprocessor system and a method of load balancing thereof
US5025491A (en) * 1988-06-23 1991-06-18 The Mitre Corporation Dynamic address binding in communication networks
KR910008760B1 (ko) * 1989-03-11 1991-10-19 한국전기통신공사 공통선 신호장치의 개선된 내부망 트래픽 루팅방법
US5740157A (en) * 1992-05-21 1998-04-14 Alcatel Network Systems, Inc. Distributed control methodology and mechanism for implementing automatic protection switching
JPH066362A (ja) * 1992-06-23 1994-01-14 Hitachi Ltd Lanにおけるホストシステムのメッセージ処理負荷分散方式
JP3135094B2 (ja) * 1993-03-13 2001-02-13 株式会社リコー 統合ビジネス用ネットワークシステム
US5546549A (en) * 1994-06-01 1996-08-13 International Business Machines Corporation Multi-path channel (MPC) interface with user transparent, unbalanced, dynamically alterable computer input/output channels
US5918021A (en) * 1996-06-03 1999-06-29 Intel Corporation System and method for dynamic distribution of data packets through multiple channels
US5864535A (en) * 1996-09-18 1999-01-26 International Business Machines Corporation Network server having dynamic load balancing of messages in both inbound and outbound directions
US5968126A (en) * 1997-04-02 1999-10-19 Switchsoft Systems, Inc. User-based binding of network stations to broadcast domains
US6151297A (en) * 1997-07-08 2000-11-21 Hewlett-Packard Company Method and system for link level server/switch trunking
US5978951A (en) * 1997-09-11 1999-11-02 3Com Corporation High speed cache management unit for use in a bridge/router
US6590861B1 (en) * 1999-03-18 2003-07-08 3Com Corporation Combining virtual local area networks and load balancing with fault tolerance in a high performance protocol
US6490632B1 (en) * 1999-03-18 2002-12-03 3Com Corporation High performance load balancing and fail over support of internet protocol exchange traffic over multiple network interface cards
US6567377B1 (en) * 1999-03-18 2003-05-20 3Com Corporation High performance load balancing of outbound internet protocol traffic over multiple network interface cards

Also Published As

Publication number Publication date
DE69827201D1 (de) 2004-12-02
JP2009038829A (ja) 2009-02-19
EP0891061A2 (en) 1999-01-13
JP4399508B2 (ja) 2010-01-20
DE69827201T2 (de) 2006-03-09
EP0891061B1 (en) 2004-10-27
JPH1174927A (ja) 1999-03-16
EP0891061A3 (en) 1999-04-14
US6151297A (en) 2000-11-21
US6804233B1 (en) 2004-10-12

Similar Documents

Publication Publication Date Title
JP4236303B2 (ja) リンクレベルサーバ/スイッチトランキング方法
US7991914B2 (en) Technique for addressing a cluster of network servers
US6397260B1 (en) Automatic load sharing for network routers
EP1048145B1 (en) Cross-platform server clustering using a network flow switch
US7055173B1 (en) Firewall pooling in a network flowswitch
US7571470B2 (en) One arm data center topology with layer 4 and layer 7 services
JP4897927B2 (ja) 複数のアダプタにわたり複数の仮想ipアドレスを同時にサポートしているホストにおけるフェイルオーバのための方法、システム、およびプログラム
US6941384B1 (en) Methods, systems and computer program products for failure recovery for routed virtual internet protocol addresses
US6996617B1 (en) Methods, systems and computer program products for non-disruptively transferring a virtual internet protocol address between communication protocol stacks
US7855957B2 (en) Method and system of transmit load balancing across multiple physical ports
JPH06243103A (ja) パラレルコンピュータシステム
JP2006129446A (ja) フォールト・トレラント・ネットワーク・アーキテクチャ
JP2000311130A (ja) 広域ネットワークの負荷バランス方法、負荷バランスシステム、負荷バランスサーバー及び負荷バランスサーバーセレクタ
CN101263696A (zh) 对来自多宿主主机的数据分组进行路由
US8045566B2 (en) Automated router load balancing
US20030018741A1 (en) Storage subsystem
US7003581B1 (en) System and method for improved load balancing and high availability in a data processing system having an IP host with a MARP layer
JP2007081877A (ja) ネットワークシステム及びデータ転送方法
US6052736A (en) Adaptive message routing in a multiple network environment with a master router
EP1246425A1 (en) Packet switching networks
US20050050179A1 (en) Method, apparatus and computer program product for implementing enhanced proxy ARP for virtual IP addresses
Cisco Designing APPN Internetworks
Cisco Designing APPN Internetworks
Cisco Designing APPN Internetworks
Cisco Designing APPN Internetworks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees