本発明の実施の形態について、図面に基づき以下に詳述する。
図9は従来技術におけるスイッチスタックの構成例を示す図である。
スイッチスタック10は3台のスタッカブルスイッチ装置(以下スイッチ装置と呼称する)11〜13から構成され、スイッチ装置11のポート(ユーザのLANを収容するポートを以降ではユーザ用ポートと呼称する)P1からLAN1、スイッチ装置12のユーザ用ポートP4からLAN2、スイッチ装置13のユーザ用ポートP7からLAN3を収容し、各々のLANから仮想的に1台のスイッチ装置として見えるように動作する。
スイッチ装置11〜13は、3台とも収容条件が同一のスイッチ装置で、ポート(スタッカブル制御用ネットワークを収容するポートを以降ではスタックポートと呼称する)P2、P3、P5、P6、P8、P9とケーブル21、22、23で各々接続し、主にリング構成でのスタッカブル制御用ネットワークを構築する。従来の技術では、収容条件が同一である部品で構成されたスイッチ装置に限り複数台の接続が可能であった。
スイッチスタック10は仮想的な1台のスイッチ装置として動作するため、スイッチ装置11〜13は31〜33でお互いに情報を更新し、1台のマスタとそれ以外のメンバという役割を選出して動作する。マスタの役割はスイッチスタック10全体についてメンバ状態やそのポート状態、トラフィックの管理を行うことである。メンバは、状態が変化したのを契機に管理情報をマスタに通知する役目を担う。また、マスタの役割を担うスイッチ装置が内部障害によりダウン、もしくはマスタに接続されている回線の障害により他スイッチ装置からの通信ができなくなった場合、残りのスイッチ装置は再起動等により初期化を実施し、新たにマスタを選出し直す。このため、通信の中断が発生する。この通信中断時間を短くするためにバックアップという役割を予め決めておく。これによりマスタの役割を担うスイッチ装置が障害となり通信ができない場合が発生しても通信中断時間を短くできる。
図9ではスイッチスタック10の起動時、スイッチ装置同士で31〜33でお互いに情報を更新した結果、例えば最も小さいMACアドレスを持つスイッチ装置をマスタとして、次に低い値のMACアドレスを持つスイッチ装置をバックアップとする。この結果、スイッチ装置11の役割は41の“マスタ”で、同様にスイッチ装置12の役割は42の“バックアップ”が選出され、その結果、スイッチ装置13の役割は43の“メンバ”となる。
図1(a)は本実施形態におけるスイッチスタックの構成例を示す図である。
スイッチスタック110は4台のスタッカブルスイッチ装置(以下「スイッチ装置」とも呼称する)111〜114から構成され、スイッチ装置111のポート(ユーザのLANを収容するポートを以降では「ユーザ用ポート」とも呼称する)P11からLAN1、スイッチ装置112のユーザ用ポートP21からLAN2、スイッチ装置113のユーザ用ポートP31からLAN3、スイッチ装置114のユーザ用ポートP41からLAN4を収容し、各々のLANから仮想的に1台のスイッチ装置として見えるように動作する。
図9で説明した従来技術とは異なり、本実施形態におけるスイッチスタック110を構成するスイッチ装置111〜114は、少なくとも1台が他のスイッチ装置とは収容条件が異なっている。本実施形態では、スイッチ装置114が最も収容条件の大きいスイッチ装置であるものする。スイッチ装置111〜114は、ポート(スタッカブル制御用ネットワークを収容するポートを以降では「スタックポート」とも呼称する)P12、P13、P22、P23、P32、P33とケーブル121、122、123で各々接続し、主にリング構成でのスタッカブル制御用ネットワークを構築する。スイッチ装置111〜114は後述するスタッカブル管理用フレームを用いて情報交換を行う(131〜134)。なお、図9で説明した従来のスイッチ装置11〜13に対して新たに図1(a)のスイッチ装置114(収容条件の大きいスイッチ装置)を接続して新たにスイッチスタック110を構成することで、既存資産を効率的に利用する構成とすることも可能である。
スイッチ装置111〜114のスタックポートはスタッカブル機能として使うための専用ポートであるが、ユーザ用ポートにスタッカブル機能で使うことを示す旨のコンフィグレーションコマンドを投入することで、ユーザ用ポートをスタックポートとして使うことも可能である。ケーブルは光ファイバケーブルやツイストペアケーブルなどで実現され、ケーブルの種類は問わない。
図1(a)ではスイッチスタック110の起動時に各スイッチ装置111〜114がスタッカブル管理用フレーム131〜134を送受信してお互いに情報を交換し役割を決める。スイッチ装置114は、他の111〜113よりも大きい収容条件を持つため、役割として“マスタ”154に選出される。またスイッチ装置111〜113は同一の収容条件であるものとする。そこで、最も小さい値のMACアドレスを持つスイッチ装置111の役割が “バックアップ”151となり、スイッチ装置112と113の役割は“メンバ”152、153となる。なお、本実施形態ではバックアップを担う装置の選出条件として、収容条件がマスタと同じかマスタの次に大きいスイッチ装置を選出する。
本実施形態におけるマスタ及びバックアップを担う装置の選出条件をまとめると、2台以上の複数のスイッチ装置からなるスイッチスタックを構成する際、収容条件が最も大きいスイッチ装置をマスタに選出し、同時にマスタと同じか二番目に大きい収容条件を持つスイッチ装置をバックアップに選出し、マスタとのホットスタンバイで動作する。3台目以降のメンバは、マスタかバックアップのスイッチ装置が内部障害によりダウン、もしくはマスタやバックアップに接続されている回線障害により他スイッチ装置からの通信ができなくなった場合、新規にバックアップの役割を担うスイッチ装置を選出するが、メンバの中で収容条件が最も大きいスイッチ装置が選出される。これによりマスタの装置が内部障害等により通信できない状態になった際に、スイッチスタックとしての通信中断時間を短くし、また収容条件が大きいスイッチ装置がマスタの役割を引き継ぐことによって、スイッチスタックとして常に大きな収容条件を維持できる。
なお、マスタとバックアップの指定はコンフィグレーションコマンドにより予め設定することができ、同様に3台目以降のバックアップ候補のメンバもどのスイッチ装置から選出するのか、プライオリティにより順序を決めておくこともできる。
さらに本実施形態では、マスタの装置が内部障害等により通信できない状態になった際に、収容条件が大きいスイッチ装置114からバックアップであるスイッチ装置にマスタの役割を遷移させる際に次の2つの方式から選択できるようにする。
(方式1)マスタは収容条件が大きいスイッチ装置114とそれと同じ収容条件を持つスイッチ装置のみがバックアップの役割担うこととし、マスタ障害により、スイッチ装置114と同じ収容条件を持つスイッチ装置が1台も存在しなくなった場合は、スイッチスタックのダウンとする方式
(方式2)スイッチスタック全体の中で収容条件が小さいスイッチ装置に合わせてスイッチ装置114の収容条件を予め低く設定する方式
マスタのスタック装置が通信できない状態になった場合、マスタの役割をバックアップであるスタック装置に遷移させる必要があるため、マスタのスタック装置が保持していた経路情報を新たにマスタとなるスタック装置(バックアップであったスタック装置)に登録する必要がある。このため、マスタのスタック装置よりもバックアップのスタック装置の方が収容条件が小さい場合には、マスタの役割が遷移する際に、収容条件の違いから新たにマスタとなるスタック装置に登録できない経路情報がでてくる可能性がある。
しかし、上記の(方式1)を採用すれば、バックアップの役割を持つスイッチ装置はマスタのスイッチ装置と同じ収容条件を持つため、マスタの役割が遷移する場合であっても、新たにマスタとなったスタック装置に経路情報を全て登録することが可能となる。また、上記の(方式2)を採用した場合でも、収容条件が小さいスイッチ装置に合わせて予めマスタのスイッチ装置の収容条件を設定するため、マスタの役割が遷移する場合であっても、新たにマスタとなったスタック装置に経路情報を全て登録することが可能となる。
本実施形態においては、コンフィグレーションコマンドやMIB等でユーザに上記2つの方式を選択できるようにする。上述(方式1)をデフォルトとし、ユーザから何も設定されなければ、(方式1)の条件で動作する。なお、収容条件はデフォルトとして最大MACアドレスエントリ数を指す。後述する最大ARPエントリ数や最大経路エントリ数も収容条件として対象に含めるかどうかはコンフィグレーションコマンドやMIBで設定可能とする。
なお、スイッチ装置111〜114は後述するボックス型スイッチまたはシャーシ型スイッチのいずれであってもよい。
図2は本実施形態におけるスタッカブル機能を備えたボックス型スイッチ装置の構成図である。スイッチ装置201は、レイヤ2のフレーム転送を行うためのVLAN情報、レイヤ3のパケット転送を行うためのレイヤ3経路情報等を生成し、中継処理部203への設定を行う中継管理部202と、フレーム転送を行う中継処理部203とから構成される。
中継処理部203は、複数の物理ポート231〜234、検索処理部220と転送処理部221とを有する。物理ポート231,232はユーザ用ポートとしてLAN1と端末1、LAN2と端末2をそれぞれ収容し、物理ポート233、234はスタックポートとしてスイッチ装置1〜nと接続している。スタックする目的のみで使用する専用ポートをスタックポートとして用いる場合もあれば、ユーザ用ポートにスタッカブル機能で使うことを示す旨のコンフィグレーションコマンドを投入することにより、ユーザ用ポートをスタックポートとして使うことも可能であるため、ユーザ用ポートとスタックポートの構成数は問わない。
検索処理部220では複数の物理ポートをVLAN IDによって識別する論理ポートとして扱うようにVLANを定義し、その内容を管理テーブル222に保持することができる。VLANを定義された各々のポートから受信されるフレームを転送処理部221にて同一VLANの他ポートに制限して転送することもできる。ポート231〜234を介してフレームを受信すると、受信フレームの送信元アドレスの情報と受信ポート情報とを検索処理部220で学習することによって、送信するフレームの宛先アドレスと送信ポートとの対応関係を管理テーブル222にて保持し、フレーム転送時に参照しポートへの送信もしくはフレームの廃棄を行う。バッファ223はフレーム送受信時において、送信するフレームや受信したフレームを転送処理が行われるまでに一時的に格納するメモリ領域である。
中継管理部202はスタッカブル処理部210、フレーム送受信制御部217、ポート制御部218を有する。
フレーム送受信制御部217はスイッチ装置201で送受信するフレームの制御を行う。各ポートで受信したレイヤ2制御フレームは、フレーム送受信制御部217で機能単位の制御フレームに分別し、各々の機能モジュールへ振り分けられる。
スタッカブル機能を制御するためのスタッカブル管理用フレームを受信した場合は、スタッカブル処理部210のスタッカブルフレーム送受信制御部215へ通知される。スタッカブルフレーム送受信制御部215はスタッカブル処理部210で扱う送受信フレームを全て取り扱い、スタッカブル管理用フレームはスタッカブル制御部213へ通知される。スタッカブル制御部213では、スタッカブル管理用フレームの内容を確認する。ユーザから投入されたコマンドの応答内容であれば、コマンド制御部211へ通知しコマンド応答の情報をユーザに向けて表示する。マスタからバックアップやメンバへの生死チェックの応答の場合は、後述するスタッカブル情報管理テーブル制御部214の制御情報テーブル800へその結果を登録する。
ポート閉塞を行う場合は、閉塞するポートの情報をスタッカブル機能ポート制御部216経由で装置のポート制御部218へ通知する。ポート制御部218は、スイッチ装置201の全物理ポートについて閉塞する/しないといったポート制御を行う。スタッカブル機能ポート制御部216は図1(b)を例に後述する。
スタッカブル処理部210のコマンド制御部211は、スタッカブル機能に関してユーザによる初期設定や運用時のコマンドの制御を行い、スタッカブル制御部213へ通知する。スタッカブル機能に関してユーザによる初期設定や運用時の制御情報を受け取ったスタッカブル制御部213は、その情報をスタッカブル情報管理テーブル制御部214へ通知し保持する。
MIB制御部212は、ポート233、ポート234に接続されているスイッチ装置群よりスタックポートのアップ・ダウン通知を受けた場合やスタッカブル制御部213の管理下にあるスイッチ装置のダウンを検知した場合に、その情報をユーザや端末へ通知を行う制御をする。例えば、スタックポートのアップ・ダウンやスイッチ装置のダウンについての情報をMIBに設定しておき、ユーザから確認できるようにしておくことや、該当するポートのLEDに表示すること、スイッチ装置201に接続される端末の画面に表示させるように制御することなど、通知を行う手段は問わない。
以上がスイッチ装置201の構成である。
図1(b)は図1(a)の構成を基にしたスタッカブル制御用ネットワークのポート状態管理の説明図である。
図2のスタッカブル機能ポート制御部216がポート状態の管理を行い、主にリング状に接続されるスタッカブル制御用ネットワークについて通信が円滑に行われるようにしている。具体的にはスタッカブル制御用ネットワークでループ現象に陥らないようにするためスタックポートの状態管理を行う。
図1(b)ではVLAN4095とするスタッカブル制御用ネットワーク163を構築しているスタックポートとして、P12、P22、P23、P42、P43、P33、P32、P13の8つあり、これらでリング状のネットワークを構成している。この状態において、スイッチ装置111、112、113、114の中で最後に起動した装置が、例えばスタッカブル管理用フレームの一種であるマスタ選出用データのメッセージを送信すると、そのパケットはループしてしまう。このため、ループを発生させないように該当ポートに対し仮想的に閉塞(以降、「非運用状態(AdminDown)」とも呼称する)を行う。図1(b)は、最後に起動したスイッチ装置111がスタックポートP13から送信したマスタ選出用データのメッセージをスタックポートP12から受信したと想定し、P12を非運用状態にしたことを164で示している。また、マスタからみたスタックポートの全ポート状態を表160に示している。
これを図2で説明すると、各スイッチ装置は自身で送信したマスタ選出用データのメッセージを自身で受信した場合、スタッカブル制御部213よりスタッカブル機能ポート制御部216に通知され、マスタ選出用データのメッセージを受信した自装置のスタックポートを非運用状態にするようにポート制御部218に通知し、ポート制御部218は該当物理ポートの閉塞処理を実施する。その後、閉塞処理完了を受けたスタッカブル機能ポート制御部216は、スタッカブル制御部213に通知し、該当ポートを非運用状態にしたポート番号情報を設定したマスタ選出用データのメッセージを他のスイッチ装置へ送信する。
マスタ選出後は選出されたマスタのスイッチ装置が、非運用状態としたスタックポートを管理する。具体的には、ヘルスチェックや各スイッチ装置からの障害通知により、ポートやケーブル、スイッチ装置の障害を検出した場合、マスタへの通信路を確保するために非運用状態から解除してポートUP状態(運用状態)に戻す。
図8は本実施形態において図2のスタッカブル情報管理テーブル制御部214が持つ制御情報テーブル800の説明図である。制御情報テーブル800は、スタッカブル制御用ネットワークを構成する各スタック装置に関する情報を管理するためのテーブルであり、縦軸に各スタック装置を指し、横軸に管理する各データを指す。マスタ選出メッセージを受け取った際、そのマスタ選出メッセージに含まれる情報に基づいてMACアドレス801、宛先IPアドレス802、装置ID803、装置のプライオリティ804、インタフェース数805、ARPエントリ数806、MACアドレスエントリ数807、最大経路エントリ数808を格納し、基準値の合計を算出して基準値合計809とその役割811に各々格納する。また、装置状態810にはヘルスチェックの結果を格納する。さらにスタッカブル制御用ネットワークの状態としてポート番号とその生死状態を示すポート番号情報812を定義し、ヘルスチェック応答にあるポート番号情報についても結果を格納する。813はマスタが障害により通信ができない状態になった場合のマスタ遷移基準を指し、図7を使って後述する。
図3は本実施形態におけるスタッカブル機能を備えたシャーシ型スイッチ装置の構成図である。スイッチ装置301は、レイヤ2のフレーム転送を行うためのVLAN情報、レイヤ3のパケット転送を行うためのレイヤ3経路情報等を生成し、複数の中継処理部311〜313への設定を行う中継管理部302と、フレーム転送を行う複数の中継処理部311〜313とに分かれる。複数の中継処理部(1〜n)311〜313は、クロスバスイッチ319と接続されている。中継処理部の構成数は問わない。中継管理部302は前述の図2の中継管理部202と同じ構成であり、スタッカブル処理部310とフレーム送信制御部317とポート制御部318を有する。各制御部については、図2と同じ名称の制御部と同等の処理をし、複数の中継処理部への設定を行う。
中継処理部1 311は、複数の物理ポート331〜333、検索処理部320と転送処理部321とを有する。m個のポートを有し、各々P1−1〜P1−mとしている。同様にして中継処理部2 312が有するm個のポートをそれぞれ、P2−1、P2−2...P2−mとし、中継処理部n 313が有するm個のポートをそれぞれ、Pn−1、Pn−2...Pn−mとする。複数のポートは、同軸ケーブルや光ファイバなどの回線を介してネットワークに接続するためのインタフェースであり、ユーザ用ポートやスタックポート等の使用目的や構成数は問わない。
中継処理部2 312、中継処理部n 313も中継処理部1 311と同じ構成をもち、中継処理部自体の構成数は問わない。このため、以降は中継処理部1 311について詳述する。検索処理部320では複数の物理ポートをVLAN IDによって識別する論理ポートとして扱うようにVLANを定義し、その内容を管理テーブル322に保持することができる。VLANを定義された各々のポートから受信されるフレームを転送処理部321にて同一VLANの他ポートに制限して転送することもできる。ポート331〜333を介してフレームを受信すると、受信フレームの送信元アドレスの情報と受信ポート情報とを検索処理部320で学習することによって、送信するフレームの宛先アドレスと送信ポートとの対応関係を管理テーブル322にて保持する。バッファ323はフレーム送受信時において、送信するフレームや受信したフレームを転送処理が行われるまでに一時的に格納するメモリ領域である。
フレーム転送時はフレームを受信した転送処理部321から検索処理部320に通知し、検索処理部320は検索管理テーブル322を検索して当該フレームの転送先を示す検索結果情報を取得し転送処理部321に通知する。検索結果情報を受け取った転送処理部311は、検索結果情報と、バッファ323に蓄積しておいた受信フレームとを、クロスバスイッチ319に送信する。クロスバスイッチ319は、検索結果情報に従い、中継処理部311〜313のうちの適切な中継処理部の転送処理部321に対して、検索結果情報と受信フレームを送信する。例えば、受信ポートがポート1−1であり、送信ポートがポート2−1である受信フレームは、中継処理部1 311の転送処理部321から中継処理部2 312の転送処理部321へ、クロスバスイッチ319を介して送信され、中継処理部2 312の転送処理部321からポート2−1の先のネットワークに送信される。
以上がスイッチ装置301の構成である。
図4(a)、図4(b)、図4(c)はスタッカブル処理部210、310が送受信するスタッカブル管理用フレームのフォーマットの説明図である。スタッカブル管理用フレームはMACフレーム上に載せるデータとして、tagフレーム401a、untagフレーム401bのどちらを用いてもよい。また、スタッカブル管理用ユーザデータ部410は、MACフレーム上に限らず、TCP/IP上に載せるデータとしてもよいし、NAT越えを行うためにUDPデータ401c上に載せるデータとしてもよい。tagフレーム401a、untagフレーム401bを使ってスイッチ装置同士で情報を交換するか、TCPやUDPデータ401cで情報を交換するかはコンフィグレーションコマンド等でユーザから設定できるようにする。tagフレーム401aは、untagフレーム401bにVLAN TAGフィールド403を追加したものである。UDPデータ401cはtagフレーム401aやuntagフレーム401bのMACフレーム上にIPヘッダ、UDPヘッダがついたものであり、スタッカブルユーザデータ部410はtagフレーム401aやuntagフレーム401bのものと同じである。
スタッカブル管理用フレームの各フィールドの内容は図4(b)のテーブル450、図4(c)のテーブル451に示す。スタッカブル管理用フレームはレイヤ2制御フレームを使用し、MACヘッダの宛先MACアドレス401、405は、起動直後に複数あるスイッチ装置がマスタを決定する際に、接続されている宛先MACアドレスがわからないため、最初に該当装置がフレームを送信する際には予め予約した独自MACアドレスを使用する。全スイッチ装置は、その独自MACアドレスを宛先とするフレームを受信できるようにフィルタ情報を設定しておく。相手から独自MACアドレスを宛先とするフレームを受信した場合、受信フレームの送信元MACアドレスより通信相手のMACアドレスを認識できる。このため、通信相手認識後は、通信する相手に応じた宛先MACアドレスを付与する。MACヘッダの送信元MACアドレス402,406は、自装置のMACアドレスを使用する。
また、TCPやUDPデータ401cにおいてスイッチ装置同士で情報を交換する場合、送信元IPアドレス432は自装置のIPアドレスを設定し、宛先IPアドレス433は、マスタ選出前はマスタとなる装置のIPアドレスが不明であるため、スイッチ装置が接続されているサブネットブロードキャストアドレスを使用する。サブネットブロードキャストアドレスはコンフィグレーションコマンド等でユーザから指定される。マスタ選出後はマスタのIPアドレスを使用する。UDPヘッダの送信元ポート番号441は任意とし、宛先ポート番号442は次データがスタッカブル管理用ユーザデータ部410であることが特定できる様にユーザ独自のポート番号を設定する。
MACヘッダ部の送信元MACアドレス402,406は、自装置のMACアドレスを使用する。また、スタッカブル管理用ユーザデータ部には、スタッカブル管理用フレームのバージョン411と、該当スタッカブル管理用フレームがマスタ選出用フレームか後述するデータ要求用フレームかなどの種別を示すメッセージ種別412と、装置内の機能単位のモジュール識別子である送信元モジュールID414と、宛先モジュールID413と、スタッカブル管理用ユーザデータ部全体の長さを表す全メッセージのデータ長415が含まれる。送信元モジュールID414と宛先モジュールID413について通常はスタッカブル処理部210のモジュールIDを設定するが、マスタとバックアップでコンフィグレーション情報の同期を行う際や、メンバのあるモジュールから内部ログ情報をマスタの該当モジュールへ送る場合等、各用途に応じて設定する。
さらに、メッセージ種別412の値がマスタ選出データを示す1の場合は、マスタ選出用データ種別421、マスタ選出用データ長422、マスタ選出用データ423の3つのデータが更にセットされる。この3つのデータは、この単位で繰り返し複数個設定することができる。
マスタ選出用データ423は、ユーザからコンフィグレーションコマンドやMIBにより設定された該当スイッチ装置のプライオリティや、装置を識別するための装置IDなどが含まれる。プライオリティが0である場合はマスタになれないことを示す。1以上で数値がより高いものがより優先度が高くマスタになりやすい条件とし、ユーザによって何も設定されていない場合は、基準値(デフォルト値)が設定される。装置IDはマスタ選出の条件には含まれないがマスタ、バックアップ、メンバの各々が選出された場合、各スイッチ装置を識別するために用いられる。同様に図4(c)の表451に示すマスタ選出用データ423のポート番号情報やマスタ遷移基準もマスタ選出の条件には含まれないが、スタッカブル制御用ネットワークへの接続状態を把握するため必要となる。
また、マスタ選出の条件として、他にインタフェース数、最大ARPエントリ数や最大MACアドレスエントリ数等が上げられる。インタフェース数は該当スイッチ装置のインタフェース数を設定する。最大ARPエントリ数や最大MACアドレス数はある定義に基づいた基準値に照らし合わせ、該当する基準値を設定する。例えば、最大ARPエントリ数が5000未満の基準値が5、以降1000エントリずつ増えることに1ずつ加算する基準とすると、該当スイッチ装置のスイッチング容量が6Kエントリの場合は、基準値6を設定する。最大経路エントリ数も同様にある定義に基づいて基準値を設定する。
さらに、マスタ選出の付加的な条件として、装置冗長の有無などがあり、これらもある定義に基づいた基準値を設定する。例えば、冗長化運転が可能なスイッチ装置(装置冗長)の場合、基準値を3として設定し、冗長化運転が不可能なスイッチ装置の場合は、基準値を1として設定する。
マスタ選出時には、前述した内容の各基準値を掛け合わせ、最も高い合計値を持つスイッチ装置がマスタとなる。マスタ選出基準値の実施例を図7(a),図7(b)で後述する。
次に、図2と図4を用いて、スタッカブル管理用ユーザデータ部410にメッセージ種別412としてマスタ選出データ「1」を設定してスタッカブル管理用フレームを送受信する例について説明する。スタッカブル制御部213はコンフィグレーションコマンド等により設定された情報から装置のプライオリティ、装置ID、インタフェース数、最大MACアドレスエントリ数、最大ARPエントリ数、最大経路エントリ数、装置冗長有無、ポート番号情報、マスタ遷移基準を種別421、データ長422、データ423にあわせ設定する。メッセージデータ長415は前述の全てのデータ項目の長さを設定し、DID413、SID414は図2のスタッカブル処理部210を示すIDを設定する。メッセージ種別412は1:マスタ選出データとし、バージョン411は1を設定する。
スタッカブル制御部213はコンフィグレーションコマンド等によりスタックポートとして設定されている全ポートに対してデータを送信するよう、スタッカブルフレーム送受信制御部215にそのデータを通知する。スタッカブルフレーム送受信制御部215はスタッカブル機能ポート制御部216に全スタックポート情報を確認して、全スタックポートからデータを送信するようにフレーム送受信制御部217に通知する。フレーム送受信制御部217は、全スタックポートからマスタ選出用データが設定されたスタッカブル管理用フレームを送信する。
例えば、VLAN10が設定されていれば、DMAC401は独自MACアドレス、SMAC402は自装置のMACアドレス、VLANtag403はTPIDが0x8100、TCIは7、CFIは0、VLANIDは10、Ethertype404はスタッカブル管理用ユーザデータを示す独自のタイプに設定する。フレーム送受信制御部217はスタックポート233、234に対してフレームを送信する。
受信側のスイッチ装置は、スタックポート233で受信する。転送処理部221ではフレームの宛先を確認するため、検索処理部220に通知する。検索処理部220では管理テーブル222を確認し、そのフレームのDMAC405に独自MACアドレスが設定されているため、自宛フレームと判断し、フレーム送受信制御部217にデータを通知する。受信したフレーム送受信制御部217はDMAC405とDID413よりスタッカブル処理部210向けのフレームと判断し、スタッカブルフレーム送受信制御部215に通知する。スタッカブルフレーム送受信制御部215は、メッセージ種別412が1:マスタ選出データであることを確認し、スタッカブル制御部213に通知する。スタッカブル制御部213では、種別421、データ長422、データ423などを参照して受信したフレームからデータを取りだし、スタッカブル情報管理テーブル制御部214に通知し、制御情報テーブル800に登録する。
図5は収容条件が異なる複数のスイッチ装置が物理的に接続状態にある際のマスタ選出及びバックアップ選出のフローチャートである。収容条件が異なる複数のスイッチ装置が物理的に接続されている場合、マスタ選出およびバックアップ選出(ステップ501)は各スイッチ装置の起動時に行われる。各スイッチ装置が定められた一定時間、例えば20秒間の間に起動する(ステップ502)。
一定時間に起動した各スイッチ装置は、ステップ503にて、後述する図7(a),図7(b)で示す内容のマスタ選出用データを図4(a)、図4(b)、図4(c)におけるスタッカブル管理用ユーザデータ部410のメッセージ種別412の値を1(マスタ選出データ)に設定して宛先MACアドレスに独自MACアドレスを設定してスタックポートから他装置宛に送信する。TCPやUDPデータで送信する場合は、宛先IPアドレス433をスイッチ装置が接続されているサブネットブロードキャストアドレス宛に送信する。また、スタッカブル制御用ネットワークに複数ポートが接続されている場合はその複数ポート全てよりマスタ選出用のメッセージ(マスタ選出用データを格納したスタッカブル管理用フレーム)を送信する。そして各スイッチ装置はそのマスタ選出用データを受信する。この際、受信したデータはスタッカブル情報管理テーブル制御部214が持つ制御情報テーブル800に登録する。
次にステップ504にて、ステップ502で説明した一定時間が経過したかを短い周期、例えば7秒間で確認し、経過していなければ再度ステップ503を実施する。
一定時間経過した後(ステップ504のYES)、各スイッチ装置から受け取ったマスタ選出用データと自装置の基準値から合計値を各々計算し、自装置の役割(マスタかバックアップかメンバ)を認識する(ステップ505)。基準値からなる計算の例は図7(a)、図7(b)で後述する。
自装置の役割がマスタの場合は(ステップ506のYES)、図4(a)、図4(b)、図4(c)におけるスタッカブル管理用ユーザデータ部410のメッセージ種別412の値を2(マスタ通知)に設定したスタッカブル管理用フレームを生成して他の装置宛てに送信することで、自身の役割がマスタである旨を他装置に通知する(ステップ507)。この際、装置IDで重複している場合は、該当スイッチ装置に割り当てる重複しない装置IDも一緒に送付する。同様に、自装置の役割がバックアップの場合は(ステップ506のYES)、スタッカブル管理用ユーザデータ部410のメッセージ種別412の値を3(バックアップ通知)に設定したスタッカブル管理用フレームを生成して他の装置宛てに送信することで、自身の役割がバックアップである旨を他装置に通知する(ステップ507)。
ステップ507で送信されたマスタ通知を受信したバックアップの装置は、基準値の計算結果において2番目に高い計算結果を得て自装置の役割がバックアップと認識した場合にのみ、図4(a)、図4(b)、図4(c)におけるスタッカブル管理用ユーザデータ部410のメッセージ種別412の値を4(マスタ・バックアップ応答)に設定したスタッカブル管理用フレームを生成してマスタに送信することで、マスタとバックアップの主従関係が成立する(ステップ508)。
ステップ508で送信されたスタッカブル管理用フレームを受け取ったマスタは、これ以降バックアップと同期を行うため、お互いにデータ送受信を行う。例えばバックアップがマスタにデータを要求する場合は、スタッカブル管理用ユーザデータ部410のメッセージ種別412の値を11(データ要求)に設定し、要求すべきデータを全メッセージのデータ長415の後に設定したスタッカブル管理用フレームを生成してマスタに送信する。このスタッカブル管理用フレームを受け取ったマスタは、メッセージ種別412の値を12(データ応答)に設定し、要求されたデータを全メッセージのデータ長415の後に設定したスタッカブル管理用フレームを生成してバックアップに送信する。このデータ要求とデータ応答の例としてはマスタからバックアップや各メンバに対するヘルスチェック(生死確認)がある。
また、自発的にデータを通知する場合は、メッセージ種別412の値を21(データ通知)に設定し、自発的に通知するデータを全メッセージのデータ長415の後に設定したスタッカブル管理用フレームを生成して通知先の装置に送信する。このデータ通知の例としてはスイッチ装置のあるインタフェースのダウン通知をマスタに上げる場合などが考えられる。
メッセージ種別412の値が2(マスタ通知)、3(バックアップ通知)、4(マスタ・バックアップ応答)、11(データ要求)、12(データ応答)、21(データ通知)の場合は図8に示すアドレスを元にユニキャストでの送受信を行う。
次にステップ506で自装置の役割がメンバの場合(ステップ506のNO)、一定時間、ステップ507において送信されるマスタ通知メッセージの受信を待つ(ステップ509)。
マスタ通知メッセージを受信した場合は(ステップ509のYES)、基準値の計算結果において1番か2番目に高い計算結果を得られずに自装置の役割がメンバと認識し、かつ、マスタ通知メッセージを送信してきた装置と自身で行った計算結果が1番高かった装置とが合致した時にのみ、スタッカブル管理用ユーザデータ部410のメッセージ種別412の値を4(マスタ・バックアップ応答)に設定したスタッカブル管理用フレームを生成してマスタに送信することで、マスタと該当メンバとの主従関係が成立する(ステップ510)。
同様に一定時間、ステップ507において送信されるバックアップ通知メッセージの受信を待つ(ステップ511)。
バックアップ通知メッセージを受信した場合は(ステップ511のYES)、基準値の計算結果において1番か2番目に高い計算結果を得られずに自装置の役割がメンバと認識し、かつ、バックアップ通知メッセージを送信してきた装置と自身で行った計算結果が2番目に高かった装置とが合致した時にのみ、スタッカブル管理用ユーザデータ部410のメッセージ種別412の値を4(マスタ・バックアップ応答)に設定したスタッカブル管理用フレームを生成してバックアップに送信することで、バックアップと当該メンバとの関係が成立する(ステップ512)。
次に図6を説明する。図6は、図5のステップ509やステップ511において一定時間にマスタ通知メッセージ、バックアップ通知メッセージを受信できなかった場合や、マスタ・バックアップ応答メッセージを受信できずに他のスイッチ装置との接続関係が構築できなかった場合、また起動時の一定時間を越えて新規にスイッチ装置として新規にスタッカブル制御用ネットワークに参加した場合の処理について示したフローチャートである。このため、スタッカブル制御用ネットワークに新規に参加する場合には既にマスタ、バックアップのスイッチ装置は存在する前提となる。
最初に図5のステップ503と同様にマスタ選出用データを他装置宛に送信する(ステップ602)。これは、一定時間後に新規にスイッチ装置として既存のスイッチスタックに参加する場合は、起動直後にメッセージ送信することを示す。また、起動後に一定時間内にマスタ選出用データをメッセージ送信したにも関わらず、マスタ−バックアップ等の主従関係を構築できなかった場合を示す。
次にマスタ通知メッセージを受信したかを確認する(ステップ603)。スイッチスタックに新規参加する場合、ステップ602でマスタ選出用データを受信したマスタは、新規参加するスイッチ装置に対して、図5のステップ507と同様にただちにマスタ通知メッセージの送信を行う。
マスタからのマスタ通知メッセージを受信した場合(ステップ603のYES)、図5のステップ510と同様にマスタのスイッチ装置に対して応答フレームを送信する(ステップ604)。これにより、マスタとメンバの主従関係が構築できることになる。
次にステップ602でマスタ選出用データを受信したバックアップは、新規参加するスイッチ装置に対して、図5のステップ507と同様にただちにバックアップ通知メッセージの送信を行う。このバックアップからのバックアップ通知メッセージを受信した場合(ステップ605のYES)、図5のステップ512と同様にバックアップのスイッチ装置に対して応答フレームを送信する(ステップ606)。これにより、バックアップとメンバの関係が構築できることになり、自スイッチ装置はメンバとして動作を開始する(ステップ607)。
一方、ステップ603でマスタ通知メッセージを受信できない場合やステップ604でバックアップ通知メッセージを受信できない場合は、自スイッチ装置以外は存在しないと認識してマスタとして動作を開始する(ステップ608)。
次にマスタ選出基準値について説明する。図7(a)は図1(a)におけるマスタ選出基準値の例を示す説明図である。表710の縦軸にマスタ選出項目、横軸に図1(a)のスイッチ装置111からスイッチ装置114までの装置単位の設定値とその基準値を指す。
各々のマスタ選出項目を説明する。装置のプライオリティ(a)はコンフィグレーションコマンド等による設定値はないため、全てのスイッチ装置で同じデフォルトの基準値10とする。装置IDも同様に全てのスイッチ装置で設定されていないため、同じ装置IDを持たないようにMACアドレスの低い順に1から昇順で割り当てすることで、各スイッチ装置に装置IDを割り当てる。この値は基準値の計算には含まれない。次にインタフェース数(b)は各スイッチ装置でのポート数を設定値とし、基準値も同じとする。最大ARPエントリ数(c)は設定値で1Kエントリ単位に、基準値で1を加算するように定義する。最大MACアドレスエントリ数(d)は設定値で10Kエントリ単位に、基準値で1を加算するように定義する。最大経路エントリ数(e)は、設定値で1〜50Kエントリ未満で基準値1と定義し、50Kエントリ以上100Kエントリ未満で基準値2と定義というように50Kエントリ単位に基準値1ずつ加算とする。装置冗長有無(f)は冗長化運転が可能なスイッチ装置(装置冗長)の場合、基準値を3として設定し、冗長化運転が不可能なスイッチ装置の場合は、基準値を1として設定する。
各スイッチ装置は、図5のステップ505において他装置から受信したマスタ選出用データと自装置の設定情報に基づいて、(a)〜(f)までの合計値を計算し、最も高い値を持つスイッチ装置がマスタ、次に高い値を持つスイッチ装置がバックアップとし、それ以外はメンバの役割を担う。また、コンフィグレーションコマンド等により、ユーザに設定されたマスタ遷移基準についても確認を行う。各スイッチ装置はマスタ選出用データに含まれるマスタ遷移基準のデータより、収容条件が大きいスイッチ装置と同じ収容条件を持つスイッチのみ担うか、収容条件が大きくないスイッチ装置にあわせてスイッチスタックを構成するか確認する。前者の場合は、スイッチ装置114と同じ値を持つスイッチ装置が他にいないため、スイッチ装置114が内部障害等により、マスタの役割を担うことができない場合はスイッチスタックのダウンとする。後者の場合は、スイッチ装置114は、収容条件が大きくないスイッチ装置112、113の収容条件に合わせて動作する。この場合、各スイッチ装置において図2のスタッカブル制御部213が管理テーブル222への登録時にスイッチ装置112、113の収容条件にあわせて動作するようにガード設定を行う。
図7(b)は図7(a)においてプライオリティを変更した場合の例を示す説明図である。表720において、装置111で装置のプライオリティを2000に定義した結果、装置111がマスタとなり装置114がバックアップとして動作することになる。このように、装置毎に任意のプライオリティをユーザが設定することも可能である。
次にスイッチスタック110によるレイヤ2中継の例を図1(c)で説明する。図1(c)は図1(a)の構成を基にしたトランクポート機能を用いたレイヤ2中継の説明図で、スイッチスタック110のユーザ用ポートP11、P14、P31にVLAN10のネットワーク161、ユーザ用ポートP11、P41にVLAN30のネットワーク162を設定した状態である。このとき、収容条件の異なるスイッチ装置間でもレイヤ2中継を実現させるため、VLAN4095のスタッカブル制御用ネットワーク163を構成する全てのスタックポートは、ユーザが設定した全てのVLANに加入するトランクポートとする。図1(c)の場合はVLAN10、VLAN30のトランクポートとして設定する。なお、スタッカブル制御用ネットワーク163の各ポートを全てトランクポートとして設定してもP12のポートを非運用状態164として通信を遮断することにより、ループすることなく、VLAN10のレイヤ2通信165、VLAN30のレイヤ2通信166が、収容条件が異なるスイッチ装置間でも実現できる。
また、収容条件が少ないスイッチ装置では、収容条件が多いスイッチよりも最大ARPエントリ数や最大MACアドレスエントリ数が少ないため、パケットの転送時に該当パケットの宛先MACアドレスがハードウェアに学習されていない場合があるが、その場合は、同じVLAN内の各ポートからフラッディング処理を行う。
また、スタッカブル制御用ネットワーク163で通信障害が発生した場合でも、ポートP12の非運用状態164を解除させることで通信を復旧させることができる場合もある。例えば、ポートP13とポートP32間のケーブルが切断され通信障害が発生した場合、VLAN10のレイヤ2通信165、VLAN30のレイヤ2通信166も通信障害が発生するが、ポートP12の非運用状態164を解除させることで通信は復旧する。具体的には、VLAN10は、ポートP14またP11から、P12、P22、P23、P42、P43、P33、P31を経由することで通信でき、VLAN30は、ポートP11、P12、P22、P23、P42、P41を経由することで通信できる。
通信路を確保するため、VLAN単位で非運用状態にするポートの管理を図2のスタッカブル機能ポート制御部216で行う。
次にレイヤ2中継の第二の実施例を図1(d)で説明する。図1(d)は図1(a)の構成を基にしたVLANトンネリング機能を用いたレイヤ2中継の説明図で、スイッチスタック110のユーザ用ポートP11、P14、P31にVLAN10のネットワーク161、ユーザ用ポートP11、P41にVLAN30のネットワーク162を設定した状態である。図1(c)と同じで、収容条件の異なるスイッチ装置間でもレイヤ2中継を実現させるため、VLAN10、VLAN30の通信において、VLAN4095のスタッカブル制御用ネットワーク163を使ってトンネリングさせる設定を行う。具体的にはVLANが複数のポートで設定された場合、設定されたスイッチ装置を結ぶトンネルの設定をスタックポートで行う。図1(d)では170、171、172、173でトンネルを示している。
VLAN10、VLAN30の場合のトンネル設定についてまとめたものが表174である。VLAN10はスイッチ装置111と113で設定されるため、スイッチ装置111と113とを結ぶトンネルをポートP32とP13間、ポートP33とP12間で設定する。同様にVLAN30はスイッチ装置111と114で設定されるため、スイッチ装置111と114とを結ぶトンネルをポートP43とP13間、ポートP42とP12間に設定する。
図1(c)と同じで、P12のポートを非運用状態164にして通信を遮断することにより、収容条件が異なるスイッチ装置間でもループすることなく、VLAN10のレイヤ2通信165、VLAN30のレイヤ2通信166はレイヤ2中継を行う。
また、この時、通信経路は最短なものを選択するため、図2の検索処理部220や図3の検索処理部320において、複数あるトンネル設定のうち、どれを優先して使用するかプライオリティを設定できるようにし、レイヤ2中継時には複数あるトンネル設定の通信路が両方とも使える状態であれば、プライオリティの高いトンネルを使うように処理する。VLAN10で説明すると、ポートP32とP13間、ポートP33とP12間と2つのトンネル設定のうち、最短経路はでポートP32とP13間であるため、こちらのトンネルのプライオリティを高く設定する。
また、図1(c)と同様に、収容条件が少ないスイッチ装置では、収容条件が多いスイッチよりも最大ARPエントリ数や最大MACアドレスエントリ数が少ないため、パケットの転送時に該当パケットの宛先MACアドレスがハードウェアに学習されていない場合があるが、その場合は、同じVLAN内の各ポートへ向けてフラッディング処理を行う。
スタッカブル制御用ネットワーク163で通信障害が発生した場合でも、図1(c)と全く同様でポートP12の非運用状態164を解除させることで通信を復旧させることができる。
トンネル設定とポートの管理は図2のスタッカブル機能ポート制御部216で行う。
本実施形態では、収容条件が異なる様々なスイッチ装置が接続されスイッチスタックを構成するため、レイヤ2中継部分はスタッカブル制御用ネットワークの全ポートをトランクポートに設定する図1(c)の場合と、VLANトンネリングを設定する図1(d)等の様々な接続方法があるが、スイッチ装置によって存在する制限事項を回避しながら有効にスタッカブル制御用ネットワークを構築するため、コンフィグレーションコマンドやMIBを使ってユーザに選択させる。
次にレイヤ3中継の実施例を図1(e)で説明する。図1(e)は図1(a)の構成を基にしたトランクポート機能を用いたレイヤ3中継の説明図である。本実施形態において、収容条件が異なるスイッチ間でスイッチスタックを構成している場合でのレイヤ3中継は、マスタに選出された収容条件が大きいスイッチにて実施する。
図1(e)ではVLAN10から収容条件が大きいスイッチ装置114までレイヤ2中継による通信181を行い、スイッチ装置114でVLAN30へ処理を実施し、スイッチ装置114からスイッチ111のポートP11までレイヤ2中継による通信182を行う処理となる。レイヤ2中継部分はスタッカブル制御用ネットワークの全ポートをトランクポートに設定する図1(c)の場合と、VLANトンネリングを設定する図1(d)とでどちらを採用しても関係なくレイヤ3通信181,182は実現する。
スイッチ装置114でのレイヤ3中継処理について図2を使って説明する。マスタであるスイッチ装置114はルーティングプロトコル処理やスタティック経路設定で得たレイヤ3経路情報を管理テーブル222に設定すると同時にバックアップを担うスイッチ装置111にのみ経路情報を通知し、メンバであるスイッチ装置112、113には通知しない。バックアップのスイッチ装置111では経路情報を管理テーブル222には設定せずに、通知された経路情報を保持するのみで実際のレイヤ3中継動作は行わないようにする。したがって、スイッチ装置111、112、113はレイヤ2中継処理のみ行う。マスタのスイッチ装置114が障害により通信不可となった場合、バックアップのスイッチ装置111はマスタ遷移基準の情報を元にマスタの役割を引き継ぐか判断し、マスタの役割を引き継ぐ場合は、保持のみしていたレイヤ3経路情報を管理テーブル222に設定し、既にコンフィグレーションコマンド等で設定されているルーティングプロトコル処理を開始し、スタティック経路設定を実施し、レイヤ3中継処理を開始する。
レイヤ3中継を行うマスタのスイッチ装置が、VLAN10が設定されているレイヤ3パケットをスタックポート233で受信し、VLAN30が設定されたレイヤ3パケットをスタックポート234から送信する処理として説明する。スタックポート233で受信したデータは、レイヤ2のフレーム処理を実施するため、転送処理部221に通知する。転送処理部221ではレイヤ2フレームの宛先を確認するため、検索処理部220に通知する。検索処理部220では管理テーブル222を確認し、そのフレームの宛先MACアドレスとして自装置のMACアドレスが設定されていて、EthertypeよりIPヘッダが確認できると、IPヘッダに格納されている宛先IPアドレスに基づいて当該フレームがVLAN30のネットワーク向けのレイヤ3パケットであると確認する。転送処理部221によりVLAN30向けの送信データを設定し、スタックポート234から送信を行う。
次にスイッチスタック内でスイッチ装置を跨いだリンクアグリゲーションが設定されている場合の実施例を図1(f)で説明する。図1(f)のスイッチスタック110では、互いに収容条件が異なるスイッチ装置113とスイッチ装置114により、スイッチスタック110を構成しない他のスイッチ装置173を収容しており、スイッチ装置173には端末172が接続されている。スイッチ装置173とスイッチスタック110との間は2本のケーブルで接続されており、スイッチ装置113,114を跨いだリンクアグリゲーション190が設定されている。また、リンクアグリゲーションを構成するユーザ用ポートP31,P41にVLAN10 174が設定されている。
端末172がLAN1に接続されている端末171と通信する場合、リンクアグリゲーション190を構成するポートからパケットをスイッチスタック110へ送信する。スイッチスタック110では、リンクアグリゲーション190を構成するユーザ用ポートP31またはP41でパケットを受信する。スイッチ装置173とスイッチスタック110との間はリンクアグリゲーションが設定されているため、例えば、端末172がユーザ用ポートP31を介して端末171と通信していた際にユーザ用ポートP31がリンクダウンになった場合、端末172は即時にユーザ用ポートP41経由で端末171と継続して通信を行うことができる。
スイッチ装置113とスイッチ装置114のスタッカブル処理部210の動作について、図2を用いて説明する。マスタであるスイッチ装置114のスタッカブル処理部210では、図1(f)のユーザ用ポートP31とP41を同じリンクアグリゲーション190とするためのユーザによるコマンド設定をコマンド制御部211で受信し、スタッカブル制御部213へ通知する。マスタであるスイッチ装置114のスタッカブル制御部213は、スタッカブルフレーム送受信制御部215を用いて、図4(b)のメッセージ種別412の値を21(データ通知)に設定したスカッタブル管理用フレームを生成して、リンクアグリゲーション190を構成するユーザ用ポートP31を持つスイッチ装置113のスタッカブル制御部213に通知する。
スイッチ装置113と114のスタッカブル制御部213は、管理テーブル222にリンクアグリゲーション190の情報を設定する。この際、ユーザ用ポートP13とP14が同じリンクアグリゲーションの設定をされてリンクアップしたことが、ポート制御部218を経由してスタッカブル機能ポート制御部216、スタッカブル制御部213に通知される。また、スタッカブル情報管理テーブル制御部214にもリンクアグリゲーション190の情報が通知され保存される。
マスタであるスイッチ装置114のスタッカブル制御部213は、スタッカブルフレーム送受信制御部215を用いて、図4(b)のメッセージ種別412の値を21(データ通知)に設定したスタッカブル管理用フレームを生成して、マスタからメンバへの通知情報として、スイッチ装置111,112のスタッカブル制御部213にVLAN10 174が追加されたことを通知する。スイッチ装置114のスタッカブル制御部213を含めた、全てのスタッカブル制御部213はレイヤ3中継のために中継処理部203の検索処理部220の管理テーブル222にVLAN10 174に関する情報を設定する。
ここでリンクアグリゲーション190を構成するユーザ用ポートP31,P41のうち、一方がダウンした場合の処理について説明する。図1(f)のユーザ用ポートP31がリンクダウンした場合、スイッチ装置113のポート制御部218は、ユーザ用ポートP31がダウンしたことをスタッカブル制御部213に通知する。通知を受けたスタッカブル制御部213は管理テーブル222からユーザ用ポートP31に関するVLAN情報を削除する。さらに、スイッチ装置113のスタッカブル制御部213は、スタッカブルフレーム送受信制御部215を用いて、図4(b)のメッセージ種別412の値を21(データ通知)に設定したスタッカブル管理用フレームを生成して、マスタであるスイッチ装置114のスタッカブル制御部213に通知する。通知を受けたスイッチ装置114のスタッカブル制御部213は、端末172と端末171の通信を継続させるため、管理テーブル222の設定はそのままユーザ用ポートP41に関するVLAN情報を残しておき、スタッカブル情報管理テーブル制御部214へユーザ用ポートP31がダウンしたことを通知し保存しておく。この結果、端末171と端末172の通信はユーザ用ポートP41を経由して継続されることになる。
引き続いて、更にユーザ用ポートP41がリンクダウンした場合、スイッチ装置114のポート制御部218はユーザ用ポートP41がダウンしたことをスタッカブル制御部213に通知する。通知を受けたスタッカブル制御部213は管理テーブル222からユーザ用ポートP41に関するVLAN情報を削除する。さらに、スイッチ装置114のスタッカブル制御部213は、スタッカブル情報管理テーブル制御部214へユーザ用ポートP41がダウンしたことを通知し、ユーザ用ポートP31およびP41の両方がダウンしたことを保存する。さらに、スタッカブルフレーム送受信制御部215を用いて、図4(b)のメッセージ種別412の値を21(データ通知)に設定したスカッタブル管理用フレームを生成して、マスタからメンバへの通知情報として、スイッチ装置111,112,113のスタッカブル制御部213にVLAN10 174が削除されたことを通知する。通知された111,112,113のスタッカブル制御部213は管理テーブル222からVLAN10 174の情報を削除する。この結果、端末171と端末172の通信は中断されることになる。