JP4927784B2 - Network relay device and network relay system - Google Patents
Network relay device and network relay system Download PDFInfo
- Publication number
- JP4927784B2 JP4927784B2 JP2008137719A JP2008137719A JP4927784B2 JP 4927784 B2 JP4927784 B2 JP 4927784B2 JP 2008137719 A JP2008137719 A JP 2008137719A JP 2008137719 A JP2008137719 A JP 2008137719A JP 4927784 B2 JP4927784 B2 JP 4927784B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- network relay
- relay device
- processor
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012546 transfer Methods 0.000 claims description 173
- 230000015654 memory Effects 0.000 claims description 81
- 239000004065 semiconductor Substances 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 25
- 230000007704 transition Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 239000004744 fabric Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Description
本発明は、データ転送を行うネットワーク中継装置およびネットワーク中継システムに関し、特に当該ネットワーク中継装置およびネットワーク中継システムにおいて消費電力を低減する技術に関するものである。 The present invention relates to a network relay device and a network relay system that perform data transfer, and more particularly to a technique for reducing power consumption in the network relay device and the network relay system.
スイッチや、ルータを始めとするネットワーク中継装置は、ネットワークの構築において、重要なデバイスとなっている。近年、ネットワークの大規模化およびネットワークを介して伝送されるデータ量の増加に伴い、ネットワーク中継装置の高性能化、大容量化が著しい。例えば、ネットワーク中継装置の可用性を高めるため、ネットワーク中継装置のネットワークデータ転送処理を行う転送プレーンやネットワーク中継装置の制御を実施する制御プレーンにおいて冗長構成を持つネットワーク中継装置が知られている。一方で、高性能化、大容量化に伴って、ネットワーク中継装置の消費電力は、上昇する傾向にあり、システム維持コストや、環境保護の観点から、ネットワーク中継装置の消費電力の抑制が課題となっている。 Network relay devices such as switches and routers are important devices in network construction. In recent years, with the increase in the scale of networks and the increase in the amount of data transmitted through the networks, the performance enhancement and capacity increase of network relay devices are remarkable. For example, in order to increase the availability of a network relay device, a network relay device having a redundant configuration in a transfer plane that performs network data transfer processing of the network relay device and a control plane that controls the network relay device is known. On the other hand, with higher performance and larger capacity, the power consumption of network relay devices tends to increase. From the viewpoint of system maintenance costs and environmental protection, it is a challenge to reduce power consumption of network relay devices. It has become.
ここで、マルチプロセッサ構成を持つデータ処理システムにおいて、動作していないスレーブプロセッサのクロック供給を停止し、後に再開するときの初期化処理を高速に行う技術が知られている(特許文献1)。本技術では、マスタープロセッサが動作していてスレーブプロセッサが動作していない状態で、スレーブプロセッサに対してクロック供給を停止することで消費電力の低減化を図っている。スレーブプロセッサの動作再開時には、予め高速なローカルメモリに保存しておいた初期化プログラムを読み出すことにより、外部メモリにアクセスすることなく高速に正常動作可能状態に遷移する。 Here, in a data processing system having a multiprocessor configuration, a technique is known in which clock supply to a slave processor that is not operating is stopped, and initialization processing when restarting later is performed at high speed (Patent Document 1). In the present technology, the power consumption is reduced by stopping the clock supply to the slave processor while the master processor is operating and the slave processor is not operating. When the operation of the slave processor is resumed, the initialization program stored in the high-speed local memory is read in advance, so that a transition to a normal operation possible state is made at high speed without accessing the external memory.
しかし、この方式ではネットワーク中継装置に適用するには以下のような問題があった。冗長構成を実施するネットワーク中継装置では、待機系転送プレーンにおいても運用系転送プレーンと同等の情報を保持する必要があるため、情報を常に更新する必要がある。このため、特許文献1における初期化プログラムではクロック供給を停止した待機系転送プレーンを運用系転送プレーンと同等に動作させる為の情報としては十分ではないおそれがあった。ネットワーク中継装置では経路情報やFDB(Forwarding DataBase)の情報およびIEEE802.1dで定められたSTP(Spanning Tree Protocol)の状態情報の設定情報が常に更新されている為、待機系転送プレーンを運用系転送プレーンと同等に動作させる為にはこれらの情報を学習する必要がある。これらの情報を獲得するまでネットワークデータの中継が正常に行えず、フレーム廃棄を発生するおそれがあった。また、ネットワークプロセッサや半導体メモリにおいてクロック供給を停止しても電力は消費されるため、ネットワークプロセッサおよび半導体メモリにおける消費電力の低減化方式としては十分でない場合があった。これらは、冗長構成を実施するネットワーク中継装置に限らず、一部または全部の転送プレーンの動作を停止したり、再開したりするネットワーク中継装置に共通する課題であった。転送プレーンの動作の停止や再開は、例えば、時間帯やイベントのスケジュールに応じて、転送能力を調整するために行われ得る。 However, this method has the following problems when applied to a network relay device. In a network relay device that implements a redundant configuration, information in the standby transfer plane needs to be constantly updated because it is necessary to retain information equivalent to that in the active transfer plane. For this reason, the initialization program in Patent Document 1 may not be sufficient as information for operating the standby transfer plane, which has stopped the clock supply, in the same manner as the operational transfer plane. In the network relay device, route information, FDB (Forwarding DataBase) information, and STP (Spanning Tree Protocol) status information setting information defined by IEEE802.1d are constantly updated. In order to operate in the same way as a plane, it is necessary to learn this information. Until such information is acquired, the network data cannot be relayed normally, and there is a risk of frame discard. Further, since power is consumed even when the clock supply is stopped in the network processor or the semiconductor memory, there is a case where it is not sufficient as a method for reducing the power consumption in the network processor and the semiconductor memory. These problems are not limited to network relay devices that implement a redundant configuration, but are common to network relay devices that stop or restart the operation of some or all of the transfer planes. Stopping and resuming the operation of the transfer plane can be performed, for example, to adjust the transfer capability according to a time zone or an event schedule.
本発明は、上述の課題を解決するためになされたものであり、転送プレーンの動作の停止や再開が想定されるネットワーク中継装置において、フレーム廃棄を最小にし、消費電力を低減する技術を提供することを目的とする。 The present invention has been made to solve the above-described problem, and provides a technique for minimizing frame discard and reducing power consumption in a network relay device that is assumed to stop or restart operation of a transfer plane. For the purpose.
本発明は、上述の課題の少なくとも一部を解決するために以下の形態または適用例として実現することが可能である。 The present invention can be realized as the following forms or application examples in order to solve at least a part of the above-described problems.
[適用例1]ネットワーク中継装置であって、
受信したフレームデータを転送する転送処理を実行する複数のネットワークプロセッサを含む転送プレーンと、
前記ネットワーク中継装置の全体を制御し、前記ネットワークプロセッサと通信可能に接続された制御プレーンと、
前記転送プレーンと前記制御プレーンの各構成要素に対して電源を供給するための電源部と、
を備え、
前記電源部は、前記制御プレーンに対する電源の供給を維持しつつ、前記転送プレーンの複数のネットワークプロセッサのうちのいずれかに対する電源の供給を停止して非動作プロセッサとする制御が可能である、ネットワーク中継装置。
こうすれば、制御プレーンに影響を与えることなく、転送プレーンにおいて、転送処理を行わないネットワークプロセッサに電源を供給しないので、ネットワーク中継装置の消費電力を低減できる。
Application Example 1 A network relay device,
A transfer plane including a plurality of network processors for executing transfer processing for transferring received frame data;
A control plane that controls the entire network relay device and is communicably connected to the network processor;
A power supply unit for supplying power to each component of the transfer plane and the control plane;
With
The network is capable of controlling the power supply unit to be a non-operation processor by stopping power supply to any one of the plurality of network processors of the transfer plane while maintaining power supply to the control plane. Relay device.
In this way, since power is not supplied to the network processor that does not perform transfer processing in the transfer plane without affecting the control plane, the power consumption of the network relay device can be reduced.
[適用例2]適用例1に記載のネットワーク中継装置であって、
前記電源部は、前記非動作プロセッサに対して、前記制御プレーンの命令に基づいて、電源の供給を再開し、
前記制御プレーンは、電源の供給が再開された前記ネットワークプロセッサに対して、前記ネットワークプロセッサを運用可能にするための情報であって、最新の経路情報を含む運用状態情報を設定する、ネットワーク中継装置。
こうすれば、運用系のネットワークプロセッサに障害が発生した場合や、転送処理能力を増強する場合などに、電源を供給されていないネットワークプロセッサを運用可能状態に遷移できる。
[Application Example 2] The network relay device according to Application Example 1,
The power supply unit resumes power supply to the non-operation processor based on an instruction of the control plane,
The control plane is information for enabling the network processor to operate with respect to the network processor whose power supply has been resumed, and sets operation status information including the latest route information. .
In this way, when a failure occurs in the active network processor or when the transfer processing capacity is increased, a network processor to which power is not supplied can be changed to an operable state.
[適用例3]適用例2に記載のネットワーク中継装置であって、
前記制御プレーンは、
中央制御部と、前記中央制御部の制御に従って、または、自律的に前記ネットワークプロセッサに対する制御を行うプロセッサ制御部と、
前記プロセッサ制御部に接続され、非動作の前記ネットワークプロセッサが運用状態に遷移するときに前記ネットワークプロセッサに設定すべき前記運用状態情報を保存する制御データメモリと、
を有し、
前記プロセッサ制御部は、前記制御データメモリに保存された前記運用状態情報を、電源の供給が再開された前記ネットワークプロセッサに転送して設定する、ネットワーク中継装置。
こうすれば、電源供給を停止したネットワークプロセッサを正しい運用状態に遷移させるための遷移時間を短縮できる。
[Application Example 3] The network relay device according to Application Example 2,
The control plane is
A central control unit, and a processor control unit that controls the network processor autonomously according to the control of the central control unit, or
A control data memory connected to the processor control unit and storing the operation state information to be set in the network processor when the non-operating network processor transitions to an operation state;
Have
The network control device, wherein the processor control unit transfers and sets the operation state information stored in the control data memory to the network processor in which power supply has been resumed.
In this way, it is possible to shorten the transition time for transitioning the network processor that has stopped power supply to the correct operating state.
[適用例4]適用例3に記載のネットワーク中継装置であって、
前記ネットワークプロセッサに対する前記運用状態情報の転送は、プロセッサ制御部によるハードウェア処理によって実行される、ネットワーク中継装置。
こうすれば、ソフトウェア制御による場合と比較して、電源供給を停止したネットワークプロセッサを正しい運用状態に遷移させるための遷移時間をさらに短縮できる。
[Application Example 4] The network relay device according to Application Example 3,
The network relay device, wherein the operation status information is transferred to the network processor by hardware processing by a processor control unit.
In this way, the transition time for transitioning the network processor whose power supply is stopped to the correct operation state can be further shortened as compared with the case of software control.
[適用例5]適用例3または適用例4に記載のネットワーク中継装置であって、
前記制御データメモリに保存された運用状態情報は、前記ネットワークプロセッサの初期設定のプロセスを指示するコマンド情報を含み、
前記プロセッサ制御部は、前記コマンド情報に従って、前記ネットワークプロセッサの初期設定を行う、ネットワーク中継装置。
こうすれば、ネットワークプロセッサに初期設定を行うための時間を短縮できる。
[Application Example 5] The network relay device according to Application Example 3 or Application Example 4,
The operation status information stored in the control data memory includes command information for instructing an initial setting process of the network processor,
The network control device, wherein the processor control unit performs initial setting of the network processor according to the command information.
In this way, it is possible to shorten the time for performing the initial setting on the network processor.
[適用例6]適用例3ないし適用例5のいずれかに記載のネットワーク中継装置であって、
前記プロセッサ制御部は、動作中の前記ネットワークプロセッサにおける前記運用状態情報の更新を、前記制御データメモリに保存された前記運用状態情報に反映させることにより、前記非動作プロセッサが運用状態にされたときに設定されるべき前記運用状態情報の内容と、動作中の前記ネットワークプロセッサに設定されている運用状態情報とを同期させる、ネットワーク中継装置。
こうすれば、電源の供給を停止されているネットワークプロセッサおよび半導体メモリの動作を再開するとき、先に運用中のネットワークプロセッサおよび半導体メモリと同等の運用状態に速やかに遷移できる。
[Application Example 6] The network relay device according to any one of Application Example 3 to Application Example 5,
The processor control unit is configured to reflect the update of the operation state information in the operating network processor to the operation state information stored in the control data memory, thereby bringing the non-operation processor into an operation state. A network relay device that synchronizes the contents of the operational status information to be set to the operational status information set in the operating network processor.
In this way, when restarting the operation of the network processor and the semiconductor memory whose power supply has been stopped, it is possible to quickly transition to an operation state equivalent to that of the network processor and the semiconductor memory that are already in operation.
[適用例7]適用例6に記載のネットワーク中継装置であって、
前記ネットワークプロセッサごとに、前記プロセッサ制御部と、前記制御データメモリが設けられており、
前記非動作プロセッサ用の前記プロセッサ制御部は、前記ネットワークプロセッサのうち、電源が供給されている動作プロセッサにおける前記運用状態情報の更新を、前記非動作プロセッサ用の前記制御データメモリに保存された前記運用状態情報に反映させる、ネットワーク中継装置。
こうすれば、ネットワークプロセッサごとにプロセッサ制御と、制御データメモリが設けられているので、非動作プロセッサを速やかに遷移することができる。
[Application Example 7] The network relay device according to Application Example 6,
For each network processor, the processor control unit and the control data memory are provided,
The processor control unit for the non-operation processor stores the update of the operation state information in the operation processor to which power is supplied among the network processors, and is stored in the control data memory for the non-operation processor Network relay device to be reflected in the operation status information.
In this way, since the processor control and the control data memory are provided for each network processor, the non-operating processor can be quickly changed.
[適用例8]適用例4ないし適用例7のいずれかに記載のネットワーク中継装置であって、
前記ネットワークプロセッサにおいて前記運用状態情報が設定されるアドレス範囲と、前記制御データメモリにおいて前記運用状態情報が保存されるアドレス範囲とは、一対一にマッピングされている、ネットワーク中継装置。
こうすれば、一定の容量の制御データメモリにより、最新の制御データを常に保持することができる。
[Application Example 8] The network relay device according to any one of Application Example 4 to Application Example 7,
An address range in which the operation status information is set in the network processor and an address range in which the operation status information is stored in the control data memory are mapped on a one-to-one basis.
In this way, the latest control data can always be held by the control data memory having a certain capacity.
[適用例9]適用例8に記載のネットワーク中継装置であって、
前記一対一のマッピングは、前記ネットワークプロセッサにおいて前記運用状態情報が設定されるアドレスの上位ビットのみを変換することによって行われる。
こうすれば、ネットワークプロセッサにおいて運用状態情報が設定されるアドレス範囲と、制御データメモリにおいて運用状態情報が保存されるアドレス範囲とを、一対一にマッピングできる。
[Application Example 9] The network relay device according to Application Example 8,
The one-to-one mapping is performed by converting only the upper bits of the address in which the operation state information is set in the network processor.
In this way, the address range in which the operation state information is set in the network processor and the address range in which the operation state information is stored in the control data memory can be mapped on a one-to-one basis.
[適用例10]適用例3ないし適用例9のいずれかに記載のネットワーク中継装置であって、
前記ネットワークプロセッサは、前記転送処理を主とする通常動作モードと、前記運用状態情報の設定に関する設定処理に費やすリソースの前記転送処理に費やすリソースに対する比率を前記通常動作モードより大きくした高速設定動作モードとを有する、ネットワーク中継装置。
こうすれば、電源供給を停止したネットワークプロセッサを正しい運用状態に遷移させるための遷移時間を、さらに、短縮できる。
[Application Example 10] The network relay device according to any one of Application Example 3 to Application Example 9,
The network processor includes a normal operation mode mainly for the transfer process, and a high-speed setting operation mode in which a ratio of a resource spent for the setting process related to the setting of the operation state information to a resource spent for the transfer process is larger than the normal operation mode. A network relay device.
In this way, it is possible to further shorten the transition time for transitioning the network processor whose power supply has been stopped to the correct operating state.
[適用例11]適用例1ないし適用例10のいずれかに記載のネットワーク中継装置であって、
前記制御プレーンは、前記非動作プロセッサと、前記複数のネットワークプロセッサのうち、電源が供給されている動作プロセッサとの数を変更することにより、ネットワーク中継装置全体の前記転送処理の能力を変更する、ネットワーク中継装置。
こうすれば、ネットワーク中継装置の転送能力の適正化を非動作プロセッサと動作プロセッサの数を変更することにより柔軟に行うことができる。この結果、全体として消費電力を抑制することができる。
[Application Example 11] The network relay device according to any one of Application Examples 1 to 10,
The control plane changes the transfer processing capability of the entire network relay device by changing the number of the non-operation processors and the operation processors to which power is supplied among the plurality of network processors. Network relay device.
In this way, the transfer capability of the network relay device can be optimized by changing the number of non-operation processors and operation processors. As a result, power consumption can be suppressed as a whole.
[適用例12]適用例11に記載のネットワーク中継装置であって、
さらに、前記非動作プロセッサと前記動作プロセッサの数を変更するコマンドを発行する第1のコマンド発行部を備える、ネットワーク中継装置。
こうすれば、ネットワーク中継装置は、自律的に転送能力の適正化を行うことができる。
[Application Example 12] The network relay device according to Application Example 11,
And a first command issuing unit that issues a command for changing the number of the non-operation processors and the operation processors.
In this way, the network relay device can autonomously optimize the transfer capability.
[適用例13]適用例11に記載のネットワーク中継装置であって、
さらに、前記非動作プロセッサと前記動作プロセッサの数を変更するコマンドを外部機器から受け付ける第1のコマンド受付部を備える、ネットワーク中継装置。
こうすれば、ネットワーク中継装置は、外部機器からの指示に応じて、転送能力の適正化を行うことができる。
[Application Example 13] The network relay device according to Application Example 11,
Furthermore, a network relay device comprising a first command receiving unit that receives from the external device a command for changing the number of the non-operation processors and the operation processors.
In this way, the network relay device can optimize transfer capability in accordance with an instruction from an external device.
[適用例14]適用例1ないし適用例13のいずれかに記載のネットワーク中継装置であって、
前記転送プレーンは、さらに、前記ネットワークプロセッサに接続された1以上の半導体メモリを備え、
前記電源部は、さらに、前記制御プレーンに対する電源の供給を維持しつつ、前記1以上の半導体メモリの少なくとも一部に対する電源の供給を停止する制御が可能である、ネットワーク中継装置。
こうすれば、制御プレーンに影響を与えることなく、転送プレーンにおいて、転送処理に用いられない半導体メモリに電源を供給しないので、ネットワーク中継装置の消費電力を低減できる。
[Application Example 14] The network relay device according to any one of Application Examples 1 to 13,
The transfer plane further comprises one or more semiconductor memories connected to the network processor,
The network relay device further capable of controlling the power supply to stop supplying power to at least a part of the one or more semiconductor memories while maintaining power supply to the control plane.
In this way, power is not supplied to the semiconductor memory that is not used for transfer processing in the transfer plane without affecting the control plane, so that the power consumption of the network relay device can be reduced.
[適用例15]適用例1ないし適用例14のいずれかに記載のネットワーク中継装置を複数用いて冗長構成をとるネットワーク中継システムであって、
待機系となっている前記ネットワーク中継装置内の前記ネットワークプロセッサおよび前記半導体メモリの少なくとも一部に対する電源の供給を停止するネットワーク中継システム。
こうすれば、待機系のネットワーク中継装置の消費電力を抑制することができる。
Application Example 15 A network relay system having a redundant configuration using a plurality of network relay devices according to any one of Application Examples 1 to 14,
A network relay system for stopping power supply to at least a part of the network processor and the semiconductor memory in the network relay device serving as a standby system.
In this way, the power consumption of the standby network relay device can be suppressed.
[適用例16]適用例15に記載の前記ネットワーク中継システムであって、
前記ネットワーク中継装置の動作数で転送性能を変更可能であり、
システム内もしくはシステム外からの制御により動作数を変化することができる、ネットワーク中継システム。
こうすれば、ネットワーク中継システムは、自立的に、もしくは、外部機器からの指示に応じて、転送能力の適正化を行うことができる。この結果、システム全体として消費電力を抑制することができる。
[Application Example 16] The network relay system according to Application Example 15,
The transfer performance can be changed by the number of operations of the network relay device,
A network relay system that can change the number of operations by control from inside or outside the system.
In this way, the network relay system can optimize the transfer capability independently or in response to an instruction from an external device. As a result, power consumption can be suppressed as a whole system.
本発明は、種々の形態で実現することが可能であり、例えば、ネットワーク中継装置の制御方法、あるいは、ネットワーク中継システムの制御方法などの方法発明として実現することができる。また、本発明は、ネットワーク中継装置またはネットワーク中継システムの制御プログラム、当該制御プログラムを記録した記録媒体などの態様で実現することができる。 The present invention can be realized in various forms. For example, the present invention can be realized as a method invention such as a control method for a network relay device or a control method for a network relay system. The present invention can also be realized in the form of a control program for a network relay device or a network relay system, a recording medium on which the control program is recorded, and the like.
図1は、本発明の一実施形態としてネットワーク中継装置を概念的に説明するブロック図である。ネットワーク中継装置100は、制御プレーンと、転送プレーンを含んでいる。制御プレーンは、ネットワーク中継装置100全体を制御する1以上の制御部(本実施例では、2つ)103を含んでいる。転送プレーンは、1以上のNIF(Network Inter Fase)部101(本実施例では3つ)と、1以上のファブリック部102(本実施例では2つ)を含んでいる。NIF部101は図示しない複数の外部ネットワーク回線に接続されており、フレームデータを送受信するための電気信号の整形などの物理層の処理や回線の多重化(たとえば時分割や周波数分割)といった処理を実行する。また、NIF部101では、高度な機能として、階層的帯域制御を実施しネットワーク運用に付加価値を追加しても良い。
FIG. 1 is a block diagram conceptually illustrating a network relay device as an embodiment of the present invention. The
ファブリック部102は1つのNIF部101で受信したフレームデータを宛先となる出力ポートを持つ他のNIF部101に中継する。この時、2つのファブリック部102は共にフレームデータの転送処理を実施しても良く、あるいは、一方は待機系として動作させず、他方は運用系としてフレームデータの転送処理を実施しても良い。制御部103はネットワーク中継装置の全体を制御するものである。制御部103は、一方が運用系として動作し、他方が待機系として動作することで冗長構成をとっている。このようなネットワーク中継装置100を実現する具体的な構成を以下に説明していく。
The
A.第1実施例:
図2は、第1実施例におけるネットワーク中継装置の構成を示すブロック図である。図2に示すネットワーク中継装置300は、2つの制御転送部310、320と、4つのNIF部330を含んでいる。制御転送部310は、上述したファブリック部102に相当する構成と、制御部に相当する構成を、1つのボード上に一体化している。
A. First embodiment:
FIG. 2 is a block diagram showing the configuration of the network relay device in the first embodiment. The
制御転送部310は、中央制御部311と、プロセッサ制御部312と、ネットワークプロセッサ313と、半導体メモリ314と、電源部315を含んでいる。電源部315は、ネットワークデータ転送機能を実現する転送プレーンとネットワーク中継装置全体の動作管理を実現する制御プレーンにおいて論理的に独立した制御が可能である。電源部315は、中央制御部311の制御により、ネットワークプロセッサ313や半導体メモリ314といった転送プレーン部分のみの電源供給停止制御を実施し、中央制御部311やプロセッサ制御部312といった制御プレーンに干渉しない制御を実現する。従来のネットワーク中継装置においても、制御部から、ネットワークプロセッサや半導体メモリといった転送プレーンに対してクロック供給を停止する動作停止制御は実施可能である。本発明では、さらに、中央制御部311から、電源部315を介して動作停止中の転送プレーンに対する電力供給停止制御を実現することで、更なる消費電力の低減化を実現する。また、電源部315では論理的に内部機能を分割している為、転送プレーンに対する電力供給停止制御を実施しても、制御プレーンの動作に影響を与えないことが特徴である。もう一つの制御転送部320の構成は、上述した制御転送部310の構成と同一であるのでその説明を省略する。
The
図2に示すネットワーク中継装置300では、第1の制御転送部310を運用系とし、第2の制御転送部320は待機系とする。第1の制御転送部310は、NIF部330の受信フレームを転送する転送処理を実施し、第2の制御転送部320では、当該転送処理は実施しないものとする。ネットワーク中継装置300では第1の制御転送部310の中央制御部311の制御により、第2の制御転送部320の転送プレーン(例えば、ネットプロセッサ323および半導体メモリ324)に対する電力供給を停止したり、電力の供給を再開する制御を行うことができる。ただし、第2の制御転送部320の転送プレーンに対する電力供給停止制御および電力供給再開制御は第2の制御転送部320の中央制御部321により実行されても良い。ネットワーク中継装置300が企業ネットワーク内などといった環境で使用される場合、夜間のネットワーク使用率および緊急性の低いネットワーク中継装置では消費電力の低減方法として待機系である第2の制御転送部320の転送プレーンに対する電力供給を停止するという方法を選択できる。
In the
一方、企業ネットワーク内のネットワーク中継装置300などにおいてはネットワーク負荷が大きい時間帯に、ネットワーク中継装置300の性能向上のため、受信フレームの転送処理を両方の制御転送部310、320で実施しても良く、ネットワーク負荷が小さい時間帯には第2の制御転送部320を待機系として動作させず、第2の制御転送部320の転送プレーン(例えば、ネットワークプロセッサ323および/または半導体メモリ324)に対して電力供給停止制御を実施しても良いものとする。
On the other hand, in the
以上説明した第1実施例によれば、待機系など動作を停止している転送プレーンに対して、電源を供給しないので、ネットワーク中継装置300の消費電力を低減できる。
According to the first embodiment described above, since power is not supplied to a transfer plane that has stopped operation such as a standby system, the power consumption of the
B.第2実施例:
図3は、第2実施例におけるネットワーク中継装置の構成を示すブロック図である。第2実施例におけるネットワーク中継装置400が、第1実施例におけるネットワーク中継装置300と異なる点は、制御転送部410、420において、プロセッサ制御部412、422の制御下にある制御データメモリ416、426が追加されている点である。その他の構成については、図2と同一であるので、図3において、図2と同一の構成要素についえは、下2桁について図2と同一の符号を付し、その説明を省略する。
B. Second embodiment:
FIG. 3 is a block diagram showing the configuration of the network relay device in the second embodiment. The
ネットワーク中継装置400において、制御データメモリ416は、中央制御部411からプロセッサ制御部412を経由してネットワークプロセッサ413および半導体メモリ414へ発行されるレジスタアクセスデータやメモリアクセスデータといった制御データを保存する。同様に、制御データメモリ426は、中央制御部421からプロセッサ制御部422を経由してネットワークプロセッサ423および半導体メモリ424へ発行されるレジスタアクセスデータやメモリアクセスデータといった制御データを保存する。この制御データは、ネットワーク中継装置400の運用状態を設定する情報であるので、本明細書では、運用状態情報とも呼ぶ。
In the
第1の制御転送部410が運用系であり、第2の制御転送部420が待機系であるとして説明する。運用系である第1の制御転送部410では、転送処理を実行するためネットワークプロセッサ413および半導体メモリ414に対して、電源が供給されている。一方、待機系である第2の制御転送部420では、ネットワークプロセッサ423および
半導体メモリ424の少なくとも一方は、電源の供給が停止されている。
In the following description, it is assumed that the first control transfer unit 410 is an active system and the second control transfer unit 420 is a standby system. In the first control transfer unit 410 that is an active system, power is supplied to the
ここで、運用系の制御転送部410において、中央制御部411は、経路情報更新などの制御データを、プロセッサ制御部412を介して、ネットワークプロセッサ413および半導体メモリ414に対して発行する。その際に、中央制御部411は、専用線を介して、これらの制御データの発行を、第2の制御転送部420の中央制御部421に通知する。待機系制御転送部420においても、中央制御部421からの通知に応じて中央制御部421は、同様の制御データを、プロセッサ制御部422に対して発行する。プロセッサ制御部422は、発行された制御データを制御データメモリ426に保存するデータ形式に変換し制御データメモリ426に保存する。ただし、運用系である第1の制御転送部410の中央制御部411が、第2の制御転送部420のプロセッサ制御部422に対して直接に発行しても良いものとする。この結果、運用系の第1の制御転送部410において、ネットワークプロセッサ413および半導体メモリ414に設定されている設定内容に同期して、同等の設定内容が第2の制御転送部420において制御データメモリ426に保存される。
Here, in the active control transfer unit 410, the
また、第1の制御転送部410において、中央制御部411がプロセッサ制御部412に対して制御データを発行すると、プロセッサ制御部412は、発行された制御データをネットワークプロセッサ413および半導体メモリ414に設定すると共に、制御データメモリ416に保存しても良い。こうすれば、運用系と待機系とが、第1の制御転送部410と第2の制御転送部420との間で頻繁に切替わる場合においても、各制御転送部のネットワークプロセッサや半導体メモリで設定内容を同期することができる。しかし、電力消費をさらに低減したい場合は、運用系の第1の制御転送部410において、制御データメモリ416に制御データを保存しなくても良いものとする。
In the first control transfer unit 410, when the
このような状態で、待機系の第2の制御転送部420において、電源の供給を再開して第2の制御転送部420の動作を再開するとき、制御データメモリ426に保存された制御データの情報を用いる。この結果、動作を再開後の第2の制御転送部420の転送プレーン(ネットワークプロセッサ423および半導体メモリ424)に対して、運用系の第1の制御転送部410の転送プレーン(ネットワークプロセッサ413および半導体メモリ414)が持つ設定内容と同等のものを高速に設定できる。また、プロセッサ制御部422は、制御データメモリ426に保存された設定内容(制御データ)を、転送プレーンに対して、ハードウェア処理による高速処理により設定しても良い。こうすれば、中央制御部421がソフトウェア処理に応じて、プロセッサ制御部422が制御データメモリ426の内容を転送プレーンに設定する場合と比較して、高速に転送プレーンの設定を行うことができる。かかる場合には、中央制御部421は、プロセッサ制御部422に対して、高速設定の開始の指示のみを行うものとしても良い。
In this state, when the second control transfer unit 420 of the standby system restarts the supply of power and restarts the operation of the second control transfer unit 420, the control data stored in the
また、制御データメモリ426は、待機系の転送プレーンの動作再開時に待機系の転送プレーンの設定内容を、運用系の転送プレーンの設定内容に速やかに遷移するためだけでなく、転送プレーンの初期設定時にも利用することができる。例えば、制御データメモリ426に転送プレーンの初期設定のための複数のコマンドコードを保存しておいても良い。プロセッサ制御部422は、これらのコマンドコードを読み出し、コマンドコードに従って、ハードウェア処理による高速な初期設定を転送プレーンに対して行うことができる。コマンドコードは、例えば、ネットワークの経路情報やネットワークプロセッサに対する設定内容を反映するためのライトコマンド、既存の設定値に対して部分的に変更を加えるためのリードコマンドやリードモディファイライトコマンド、ネットワークプロセッサや半導体メモリ内のシーケンサ起動終了後のアクセスを実現するウェイトコマンドやバックグラウンドジョブコマンドなどを含む。また、初期設定実行時の初期診断やインピーダンス調整といった処理を実行する際には、ライトアクセス以外にリードアクセス実行結果の判定やリトライ処理などを実現する為、リード値と期待値を比較するリードコンペアチェックや一度実行した処理を再度実行するために指定したアドレスへ移動するGOTO文などのコマンドコードを用意しても良い。このようなコマンドコードを制御データメモリ426に保存することでネットワークプロセッサや半導体メモリの初期設定においてもプロセッサ制御部の高速設定機能を使用できるようになる。
In addition, the
以上のように、電源供給を停止した待機系の第2の制御転送部420の転送プレーンを運用系の第1の制御転送部410の転送プレーンと同等の状態に遷移するまでの時間が短縮できる。 As described above, it is possible to shorten the time until the transfer plane of the second control transfer unit 420 of the standby system that has stopped supplying power changes to a state equivalent to the transfer plane of the first control transfer unit 410 of the active system. .
図4は、制御データの一例を示す説明図である。図4(a)は、プロセッサ制御部412が、ネットワークプロセッサ413や半導体メモリ414に発行する制御データの通信内容を示している。この制御データは、命令の実行内容を示す8ビットのコマンドコード、制御の対象となる32ビットの対象アドレスと、設定値を表す32ビットのデータを含んでいる。図4(b)は、プロセッサ制御部422が図4(a)に示す制御データと同一内容の制御データとして、制御データメモリ426に保存する制御データの内容を示している。この制御データは、図4(a)に示す制御データに含まれる32ビットの対象アドレスのうち、上位16ビット分のアドレスのみを含んでいる。すなわち、プロセッサ制御部422は、制御データを、32ビットの対象アドレスのうち、上位16ビット分のアドレスを含む制御データに変換して、制御データメモリ426への保存用の制御データとする。
FIG. 4 is an explanatory diagram illustrating an example of control data. FIG. 4A shows communication contents of control data issued by the
図5は、転送プレーンの対象アドレスのアドレス空間と制御データメモリのアドレス空間とのマッピングについて説明する図である。プロセッサ制御部422は、制御データメモリ426への保存用制御データを保存する制御データメモリ426上のアドレスを決定する。制御データメモリ426上のアドレスの下位16ビットは、32ビットの対象アドレスの下位16ビットと同じにされる。制御データメモリ426上のアドレスの上位16ビットは、対象アドレスの上位16ビットとは異なる所定の16ビットのアドレスとされる。図5に示す例では、転送プレーン(ネットワークプロセッサ423および半導体メモリ424)に対する対象アドレスが0x1234_0FF3であるユーザ設定値情報に関する制御データは、制御データメモリ426において、0x0001_0FF3に保存される。また、転送プレーン(ネットワークプロセッサ423および半導体メモリ424)に対する対象アドレスが0x1235_0FE1であるFDB情報に関する制御データは、制御データメモリ426において、0x0002_0FE1に保存される。すなわち、対象アドレスのうちの一部(本実施例では下位16ビット)が制御データメモリ426における保存アドレスの一部(本実施例では下位16ビット)にマッピングされる。
FIG. 5 is a diagram for explaining the mapping between the address space of the target address of the transfer plane and the address space of the control data memory. The
このように制御データをマッピングすることにより、以下のような利点がある。プロセッサ制御部422が、制御データを、制御データ発行毎に、制御データメモリ426に順次に保存するとする。そうすると、制御データ毎に制御データメモリ426のアドレスを増加しながらデータ領域を使用するので、制御データメモリ426の容量に応じて保存できる制御データ数に制限ができる。しかし、上述のように転送プレーンの対象アドレスの一部を制御データメモリ426のアドレス空間にマッピングすると、同一の対象アドレスに対する制御データは、制御データメモリ426においても同一のアドレスに保存される。この結果、同一の対象アドレスに対する制御データは、最新の制御データのみが常に制御データメモリ426に保存され、最新でない制御データは削除される。なお、最新の制御データを制御データメモリ426に保存する時、制御データの一部あるいは全部を書き換えて保存するものとする。この結果、制御データの発行回数に制限を受けることなく、常に最新の制御データを、制御データメモリ426に保存しておくことができる。したがって、第1の制御転送部410における転送プレーンの設定内容と、第2の制御転送部420において制御データメモリ426に保存されている設定内容を、制御データの発行回数に制限を受けることなく同期させることができる。また、プロセッサ制御部422は、制御データメモリ426から制御データを読み出すとき、保存された制御データに保存された上位16ビットと、制御データが保存されている制御データメモリ426のアドレスの下位16ビットを、組み合わせて、容易に当該制御データの転送プレーンに対する32ビットの対象アドレスを認識することができる。
Mapping the control data in this way has the following advantages. Assume that the
ここで、転送処理が通常行われている場合、ネットワークプロセッサ423及び半導体メモリ424において、制御データに関するレジスタアクセスやメモリアクセスに用いられるリソースと、ネットワークデータ転送処理のためのレジスタアクセスやメモリアクセスに用いられるリソースとは、全リソースを時分割して定められる。したがって、プロセッサ制御部422が制御データメモリ426に格納された制御データを、ネットワークプロセッサ423及び半導体メモリ424に設定する実効速度は、動作周波数およびデータ転送のバス幅から単純に算出する理論速度に比べて小さな値となる。本実施例では、プロセッサ制御部422によるネットワークプロセッサ423および半導体メモリ424に対する制御データの設定に対して、通常の転送処理より優先的に、リソースを割り当てる高速設定モードを、通常の転送処理モードとは別に用意しても良い。こうすれば、プロセッサ制御部422による転送プレーンに対する設定作業の速度を向上することができる。例えば、ネットワークプロセッサ423は、高速設定モードでプロセッサ制御部422が制御データを設定している期間において、フレームデータの転送処理を実施しないこととしても良い。すなわち、高速設定モードでは、制御データ処理を優先するために、フレームデータ転送処理と制御データ処理の時分割制御を、制御データ処理のみに割当てても良い。
Here, when the transfer process is normally performed, the
C.第3実施例:
図6は、第3実施例におけるネットワーク中継装置600の構成を示すブロック図である。第3実施例では、第1および第2実施例における制御転送部の機能のうち、中央制御部と、それ以外とを別体で構成したものである。すなわち、ネットワーク中継装置600は、第2実施例における中央制御部411、421に相当する中央制御部601、602と、制御転送部310、320のそれ以外の機能に相当するとファブリック部610、620、630をそれぞれ別体として備えている。ファブリック部610の内部構成は、図3に示す中央制御部以外の構成と同一であるので、図6において、同一の構成要素については、図3と下一桁の符号を統一し、図3と同名を用い、その説明を省略する。
C. Third embodiment:
FIG. 6 is a block diagram showing the configuration of the
ネットワーク中継装置600では、NIF部650は、ファブリック部610〜630に対して負荷分散を行う。ファブリック部610〜630のネットワークプロセッサ613、623、633や半導体メモリ614、624、634の少なくとも一部の動作数によって、ネットワーク中継装置600全体の転送性能は変化する。ネットワーク中継装置600は、ネットワークトラフィックによる負荷に対して、転送性能の最適化を実施するためにネットワーク中継装置600の内部もしくは外部機器として図示しない管理サーバを持つ。管理サーバは、転送プレーンの動作数(すなわち、ネットワークプロセッサ613、623、633や半導体メモリ614、624、634のうち、転送処理を行うために動作する回路の数)を変動制御するコマンドを発行する。ネットワーク中継装置600は、これらの変動制御コマンドに応じて、転送プレーンの動作数を変更することにより転送性能を変更する。管理サーバがネットワーク中継装置外の外部機器として存在する時には、変動制御コマンドは、管理サーバからネットワーク中継装置への制御用フレームとして送信される。管理サーバは、ネットワーク中継装置600の負荷を計測し、最適性能を判定するものとする。判定方法としてはネットワーク中継装置600の内部の負荷計測結果を基にしたフィードバック制御や統計データや周波数解析に基づく予測制御、ネットワーク管理上既知となっているトラフィックが減少あるいは増加する時間帯を設定することによる予測制御などが考えられる。予測制御としては、例えば、サッカーのワールドカップやオリンピックなどといったネットワークトラフィックに変動を与えると考えられる事象のうち予め予測できる事象のスケジュールをイベントカレンダに記載して管理サーバ内にスケジュールとして設定しても良い。また、災害や事件、事故といった突発的に発生しネットワークトラフィックに変動を与えると考えられる事象のうち、予め予測できない事象に関しては、管理サーバのプログラムもしくは管理者のオペレーションによるインシデントトリガ発生処理としてネットワーク中継装置600に変動制御コマンドを発行することでネットワーク中継装置600の転送性能を制御しても良いものとする。ネットワーク中継装置600において、経路情報などが更新された時に発行する制御データは、待機系としてネットワークプロセッサと半導体メモリへの電源の供給が停止されているファブリック部においては、制御データメモリに保存するものとする。運用系のファブリック部においては、第2実施例におけるネットワーク中継装置400と同様に保存しても保存しなくても良いものとする。
In the
以上説明した第3実施例においても、第2実施例におけるネットワーク中継装置400と同様の作用・効果を生じる。すなわち、ネットワーク中継装置600の転送処理性能に応じて、消費電力を低く抑制できる。また、転送プレーンは、電源の供給が停止された状態から、運用可能な状態に速やかに遷移できる。
Also in the third embodiment described above, the same operations and effects as the
D.第4実施例:
図7は、第4実施例におけるネットワーク中継システムの構成を示すブロック図である。第4実施例におけるネットワーク中継システム700は、複数のネットワーク中継装置を用いて仮想的に一つの装置として動作させるシステムの一例である。ネットワーク中継システム700では、2台のネットワーク中継装置710、720を用いて冗長構成を実現する。ネットワーク中継装置710および720の具体的な構成は、上述した第1実施例におけるネットワーク中継装置300、第2実施例におけるネットワーク中継装置400、第3実施例におけるネットワーク中継装置600のいずれを用いても良い。
D. Fourth embodiment:
FIG. 7 is a block diagram showing the configuration of the network relay system in the fourth embodiment. The
ネットワーク中継システム700に接続する他のネットワーク中継装置740、750は回線を冗長で持ち、第1のネットワーク中継装置710と、第2のネットワーク中継装置720にそれぞれ接続している。第1のネットワーク中継装置710は装置の一部および全部を運用系として動作し、あるいは、装置の全部を待機系として動作することが可能であり、第2のネットワーク中継装置720においても同様である。第1のネットワーク中継装置710と第2のネットワーク中継装置720は制御プレーン同士で制御データを転送することが可能である。第1のネットワーク中継装置710の全部が待機系である場合、転送プレーンに対して電源供給を停止している為、制御用フレームを受信できない。このため、制御プレーン同士の制御データのみを転送する専用回線を設けて、この専用回線を用いて運用系の第2のネットワーク中継装置720と待機系の第1のネットワーク中継装置710の同期をとる。
Other
一方、第1のネットワーク中継装置710の転送プレーンの一部と、第2のネットワーク中継装置720の転送プレーンの一部が運用系とされ、第1のネットワーク中継装置710の転送プレーンの他の部分と、第2のネットワーク中継装置720の転送プレーンの他の部分が運用系とされている場合には、専用回線を設けなくても良い。例えば、ネットワーク中継装置710および720について、回線単位で処理性能を変化させている場合などである。この場合は、第1のネットワーク中継装置710の少なくとも一部の転送プレーンには、電源が供給され、第2のネットワーク中継装置720の少なくとも一部の転送プレーンには、電源が供給されている。つまり、第1のネットワーク中継装置710も第2のネットワーク中継装置720もフレームを受信可能である。しがたって、ネットワーク中継装置710、720は共に、ネットワークの経路情報やSTPの状態情報などを更新する制御データを含む制御フレームを受信したときは、制御プレーンにて制御データを転送プレーンに発行する。この時、待機系において受信された通常のデータフレームはネットワーク中継装置の仕様により廃棄しても転送しても良いものとする。
On the other hand, a part of the transfer plane of the first
第4実施例において、待機系とされている第1のネットワーク中継装置710を運用系の第2のネットワーク中継装置720と同等の状態に遷移する場合は、第2実施例と同様に処理するものとする。
In the fourth embodiment, when the first
また、第1のネットワーク中継装置710は一部を待機系とし、他の一部を運用系とすることもできる。すなわち、上述したようにネットワーク中継装置710、720が共に一部が運用系として動作する場合がある。この場合には、ネットワーク中継装置内の待機系部分に関して、第2実施例と同様に処理するものとする。
Further, a part of the first
以上説明した第4実施例においても第2実施例と同様の作用・効果を生じる。すなわち、ネットワーク中継システム700の転送処理性能に応じて、消費電力を低く抑制できる。また、ネットワーク中継システム700の転送プレーンは、電源の供給が停止された状態から、運用可能な状態に速やかに遷移できる。
In the fourth embodiment described above, the same operations and effects as in the second embodiment are produced. That is, the power consumption can be suppressed to a low level according to the transfer processing performance of the
E.第5実施例:
図8は、第5実施例におけるネットワーク中継システムの構成を示すブロック図である。第4実施例におけるネットワーク中継システム800は、複数のネットワーク中継装置を用いて仮想的に一つの装置として動作させるシステムの他の例である。ネットワーク中継システム800は、第1のネットワーク中継装置グループ810と、第2のネットワーク中継装置グループ820を含む。第1のネットワーク中継装置グループ810は、複数のネットワーク中継装置811〜813を含む。第2のネットワーク中継装置グループ820は、複数のネットワーク中継装置821〜823を含む。これらのネットワーク中継装置811〜813、821〜823の具体的な構成は、上述した第1実施例におけるネットワーク中継装置300、第2実施例におけるネットワーク中継装置400、第3実施例におけるネットワーク中継装置600のいずれを用いても良い。
E. Example 5:
FIG. 8 is a block diagram showing the configuration of the network relay system in the fifth embodiment. The
第1のネットワーク中継装置グループ810はファブリックノードとして機能し、第2のネットワーク中継装置グループ820は、回線ノードとして機能する。すなわち、第1のネットワーク中継装置グループ810をファブリック部と見なし、第2のネットワーク中継装置グループ820をNIF部と見なして考えると、第1のネットワーク中継装置グループ810は一部あるいは全部が運用系として動作することでこのネットワーク中継システム800は機能する。第2のネットワーク中継装置グループ820は、図示しない他のネットワーク中継装置と接続されている。
The first network
ネットワーク中継システム800についても、待機系としてのネットワーク中継装置の転送プレーンに対して、電源の供給を停止することにより、ネットワーク中継システム800全体の消費電力を低減することができる。また、待機系のネットワーク中継装置については、第2実施例と同様の仕組みを適用することにより、電源停止状態から運用状態へと速やかに遷移することができる。さらに、第1のネットワーク中継装置グループ810を構成するN個(Nは2以上の整数)のネットワーク中継装置のうち、M個(Mは2以上N以下の整数)は、図7に示す冗長構成を構築しても良い。
Also for the
なお、第4および第5実施例におけるネットワーク中継システム700、800を構成する各ネットワーク中継装置は、第1〜第3実施例ネットワーク中継装置と同様、装置内部の転送プレーン(ネットワークプロセッサ、半導体メモリ)の動作数を変更することにより転送性能を変更しても良い。例えば、ネットワーク中継システム700、800の最適性能にあわせて転送プレーンの動作数を変更しても良い。この場合は、第1〜第3実施例におけるネットワーク中継装置と同様に、動作をしない転送プレーンには電源の供給を停止することにより、消費電力を低減することができる。かかる場合には、ネットワーク中継システム700、800を構成するネットワーク中継装置のいずれかの内部、もしくは、外部機器として、管理サーバを持ち、管理サーバの転送プレーン動作数変動制御により転送性能を制御しても良い。
The network relay devices constituting the
F.第6実施例:
図9は、第6実施例におけるネットワーク中継装置900の構成を示すブロック図である。第6実施例におけるネットワーク中継装置900が、第3実施例におけるネットワーク中継装置600と異なる点は、 第3実施例ではファブリック部に備えられているネットワークプロセッサおよび半導体メモリが、本実施例では、NIF部に備えられている点である。すなわち、第3実施例におけるネットワーク中継装置600は、ファブリック部610〜630において、経路情報やSTPの状態情報を保持すると共に、経路探索やSTPのプロトコル処理を行っていたが、第6実施例におけるネットワーク中継装置600では、NIF部950、960において、経路情報やSTPの状態情報を保持すると共に、経路探索やSTPのプロトコル処理を行っている。
F. Example 6:
FIG. 9 is a block diagram illustrating a configuration of the
第6実施例におけるネットワーク中継装置900は、運用系中央制御部910と、待機系中央制御部920と、運用系ファブリック部930と、待機系ファブリック部940と、運用系NIF部950と、待機系NIF部960とを備えている。運用系NIF部950は、プロセッサ制御部952と、ネットワークプロセッサ953と、半導体メモリ954と、電源部955と、制御データメモリ956とを備える。待機系NIF部960も同様に、プロセッサ制御部962と、ネットワークプロセッサ963と、半導体メモリ964と、電源部965と、制御データメモリ966とを備える。電源部955は第1〜第3実施例と同様に、論理的に独立した構成をとっており、制御プレーンに影響を与えることなく、転送プレーンのみに対する電力の供給および供給停止の制御が実施でき、また電源供給の再開の制御が実施できる。したがって、動作をしていない待機系NIF部960の転送プレーン(例えば、ネットワークプロセッサ963および半導体メモリ964)に対する電源の供給を停止することにより、ネットワーク中継装置900全体の消費電力を低減できる。
The
また、第6実施例におけるネットワーク中継装置900では、待機系NIF部960のプロセッサ制御部962に対して、運用系中央制御部910から発行される制御データを制御データメモリ966に保存することで、待機系NIF部960においても運用系NIF部950と同等の情報を保持する。この結果、電源供給を停止した待機系NIF部960の転送プレーン(例えば、ネットワークプロセッサ963および半導体メモリ964)を、運用系NIF部950部の転送プレーン(例えば、ネットワークプロセッサ953および半導体メモリ954)と同等の状態に遷移するまでの時間を短縮できる。
In the
ところで、IEEE801.3adで定められたリンクアグリゲーション(Link Aggregation)では複数の回線を仮想的に一つの回線として動作させる。リンクアグリゲーションでは複数の回線を用いて回線速度を向上するが同時に回線単位で冗長構成が実現できる。よって、回線速度を必要としない環境においては運用系回線と待機系回線といった構成が実現される。ネットワーク中継装置900では、例えば、運用系回線を運用系NIF部950に接続し、待機系回線を待機系NIF部960に接続しても良い。
By the way, in link aggregation defined in IEEE801.3ad, a plurality of lines are virtually operated as one line. In link aggregation, the line speed is improved by using a plurality of lines, but at the same time, a redundant configuration can be realized in units of lines. Therefore, in an environment that does not require a line speed, a configuration such as an active line and a standby line is realized. In the
また、ネットワーク中継装置900を用いて、第4実施例のネットワーク中継システム700(図7)を構成することもできる。かかる場合、第4実施例における第1のネットワーク中継装置710と第2のネットワーク中継装置720の間でリンクアグリゲーションを用いて回線およびネットワーク中継装置の冗長構成を実現できる。この場合も第6実施例のネットワーク中継装置900を第4実施例におけるネットワーク中継システム700に適用することで待機系のネットワーク中継装置の待機系NIF部の転送プレーンを運用系のネットワーク中継装置の運用系NIF部の転送プレーンと同等の状態に遷移するまでの時間を短縮できる。
Also, the network relay system 700 (FIG. 7) of the fourth embodiment can be configured by using the
G.変形例:
・第1変形例:
上記各実施例では、ネットワークプロセッサに従属する半導体メモリを備えているが、ネットワークプロセッサに内蔵された内蔵メモリで十分な場合などは、半導体メモリを備えなくても良い。
G. Variations:
・ First modification:
In each of the above embodiments, a semiconductor memory subordinate to the network processor is provided. However, if the built-in memory built in the network processor is sufficient, the semiconductor memory may not be provided.
・第2変形例:
上記実施例では、動作の必要がない転送プレーンのうち、ネットワークプロセッサと半導体メモリに対して電源の供給を停止しているが、転送プレーンを構成する他の構成要素に対する電源の供給を停止しても良い。
・ Second modification:
In the above embodiment, the supply of power to the network processor and the semiconductor memory is stopped among the transfer planes that do not need to operate. However, the supply of power to the other components constituting the transfer plane is stopped. Also good.
・第3変形例:
上記第2実施例において、制御データの対象アドレスの下位16ビットを制御データメモリ426のアドレス空間の下位16ビットにマッピングすると共に、対象アドレスの上位16ビットを制御データの一部として制御データメモリ426に保存している。しかし、マッピングする下位のビット数と、制御データの一部として保存する上位のビット数は任意に設定することができる。例えば、対象アドレスの下位12ビットを制御データメモリ426のアドレス空間の下位12ビットにマッピングすると共に、対象アドレスの上位20ビットを制御データの一部として制御データメモリ426に保存しても良い。また、このようなマッピングのビット数は、制御データの種類に応じて異なっていても良い。
・ Third modification:
In the second embodiment, the lower 16 bits of the target address of the control data are mapped to the lower 16 bits of the address space of the
・第4変形例:
また、上記第2実施例において、制御データの対象アドレスと、制御データメモリ426のアドレス空間とは、1対1で対応することが好ましいが、1対1で対応させる手法は、第2実施例のように対象アドレスを部分的に制御データメモリ426のアドレス空間にマッピングすることによって行われているが、これに限られない。例えば、プロセッサ制御部422において、制御データの対象アドレスと、制御データメモリ426のアドレス空間との対応関係を示すテーブルを保持しても良い。
-Fourth modification:
In the second embodiment, it is preferable that the target address of the control data and the address space of the
・第5変形例:
上記実施例では、動作の必要がない転送プレーンのネットワークプロセッサと半導体メモリの両方について電源の供給を停止しているが、どちらか一方についてのみ電源の供給を停止しても良い。
-5th modification:
In the above embodiment, the supply of power is stopped for both the network processor and the semiconductor memory of the transfer plane that does not require operation, but the supply of power may be stopped for only one of them.
・第6変形例:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えてもよい。例えば、上記実施例において、中央制御部は、ASICにより構成しても良いし、汎用プロセッサとプログラムにより構成されても良い。
-6th modification:
In the above embodiment, a part of the configuration realized by hardware may be replaced by software, and conversely, a part of the configuration realized by software may be replaced by hardware. For example, in the above embodiment, the central control unit may be configured by an ASIC, or may be configured by a general-purpose processor and a program.
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。 As mentioned above, although this invention was demonstrated based on the Example and the modification, Embodiment mentioned above is for making an understanding of this invention easy, and does not limit this invention. The present invention can be changed and improved without departing from the spirit and scope of the claims, and equivalents thereof are included in the present invention.
100、300、400、600、900…ネットワーク中継装置
101、330、650、950…NIF部
102、610、620、630、930、940…ファブリック部
310、320、410、420…制御転送部
311、321、411、421、601、602…中央制御部
312、322、412、422、612、622、632…プロセッサ制御部
313、323、413、423、613、623、633…ネットワークプロセッサ
314、324、414、424、614、624、634…半導体メモリ
315、325、415、425、615、625、635…電源部
416、426、616、626、636…制御データメモリ
700、800…ネットワーク中継システム
100, 300, 400, 600, 900 ...
Claims (19)
受信したフレームデータを転送する転送処理を実行する複数のネットワークプロセッサを含む転送プレーンと、
前記ネットワーク中継装置の全体を制御し、前記ネットワークプロセッサと通信可能に接続された制御プレーンと、
前記転送プレーンと前記制御プレーンの各構成要素に対して電源を供給するための電源部と、
を備え、
前記電源部は、前記制御プレーンに対する電源の供給を維持しつつ、前記転送プレーンの複数のネットワークプロセッサのうちのいずれかに対する電源の供給を停止して非動作プロセッサとする制御が可能である、ネットワーク中継装置。 A network relay device,
A transfer plane including a plurality of network processors for executing transfer processing for transferring received frame data;
A control plane that controls the entire network relay device and is communicably connected to the network processor;
A power supply unit for supplying power to each component of the transfer plane and the control plane;
With
The network is capable of controlling the power supply unit to be a non-operation processor by stopping power supply to any one of the plurality of network processors of the transfer plane while maintaining power supply to the control plane. Relay device.
前記電源部は、前記非動作プロセッサに対して、前記制御プレーンの命令に基づいて、電源の供給を再開し、
前記制御プレーンは、電源の供給が再開された前記ネットワークプロセッサに対して、前記ネットワークプロセッサを運用可能にするための情報であって、最新の経路情報を含む運用状態情報を設定する、ネットワーク中継装置。 The network relay device according to claim 1,
The power supply unit resumes power supply to the non-operation processor based on an instruction of the control plane,
The control plane is information for enabling the network processor to operate with respect to the network processor whose power supply has been resumed, and sets operation status information including the latest route information. .
前記制御プレーンは、
中央制御部と、前記中央制御部の制御に従って、または、自律的に前記ネットワークプロセッサに対する制御を行うプロセッサ制御部と、
前記プロセッサ制御部に接続され、非動作の前記ネットワークプロセッサが運用状態に遷移するときに前記ネットワークプロセッサに設定すべき前記運用状態情報を保存する制御データメモリと、
を有し、
前記プロセッサ制御部は、前記制御データメモリに保存された前記運用状態情報を、電源の供給が再開された前記ネットワークプロセッサに転送して設定する、ネットワーク中継装置。 The network relay device according to claim 2,
The control plane is
A central control unit, and a processor control unit that controls the network processor autonomously according to the control of the central control unit, or
A control data memory connected to the processor control unit and storing the operation state information to be set in the network processor when the non-operating network processor transitions to an operation state;
Have
The network control device, wherein the processor control unit transfers and sets the operation state information stored in the control data memory to the network processor in which power supply has been resumed.
前記ネットワークプロセッサに対する前記運用状態情報の転送は、プロセッサ制御部によるハードウェア処理によって実行される、ネットワーク中継装置。 The network relay device according to claim 3,
The network relay device, wherein the operation status information is transferred to the network processor by hardware processing by a processor control unit.
前記制御データメモリに保存された運用状態情報は、前記ネットワークプロセッサの初期設定のプロセスを指示するコマンド情報を含み、
前記プロセッサ制御部は、前記コマンド情報に従って、前記ネットワークプロセッサの初期設定を行う、ネットワーク中継装置。 The network relay device according to claim 3 or 4, wherein
The operation status information stored in the control data memory includes command information for instructing an initial setting process of the network processor,
The network control device, wherein the processor control unit performs initial setting of the network processor according to the command information.
前記プロセッサ制御部は、動作中の前記ネットワークプロセッサにおける前記運用状態情報の更新を、前記制御データメモリに保存された前記運用状態情報に反映させることにより、前記非動作プロセッサが運用状態にされたときに設定されるべき前記運用状態情報の内容と、動作中の前記ネットワークプロセッサに設定されている運用状態情報とを同期させる、ネットワーク中継装置。 A network relay device according to any one of claims 3 to 5,
The processor control unit is configured to reflect the update of the operation state information in the operating network processor to the operation state information stored in the control data memory, thereby bringing the non-operation processor into an operation state. A network relay device that synchronizes the contents of the operational status information to be set to the operational status information set in the operating network processor.
前記ネットワークプロセッサごとに、前記プロセッサ制御部と、前記制御データメモリが設けられており、
前記非動作プロセッサ用の前記プロセッサ制御部は、前記ネットワークプロセッサのうち、電源が供給されている動作プロセッサにおける前記運用状態情報の更新を、前記非動作プロセッサ用の前記制御データメモリに保存された前記運用状態情報に反映させる、ネットワーク中継装置。 The network relay device according to claim 6,
For each network processor, the processor control unit and the control data memory are provided,
The processor control unit for the non-operation processor stores the update of the operation state information in the operation processor to which power is supplied among the network processors, and is stored in the control data memory for the non-operation processor Network relay device to be reflected in the operation status information.
前記ネットワークプロセッサにおいて前記運用状態情報が設定されるアドレス範囲と、前記制御データメモリにおいて前記運用状態情報が保存されるアドレス範囲とは、一対一にマッピングされている、ネットワーク中継装置。 A network relay device according to any one of claims 4 to 7,
An address range in which the operation status information is set in the network processor and an address range in which the operation status information is stored in the control data memory are mapped on a one-to-one basis.
前記一対一のマッピングは、前記ネットワークプロセッサにおいて前記運用状態情報が設定されるアドレスの上位ビットのみを変換することによって行われる、ネットワーク中継装置。 The network relay device according to claim 8,
The one-to-one mapping is performed by converting only the high-order bits of an address in which the operation state information is set in the network processor.
前記ネットワークプロセッサは、前記転送処理を主とする通常動作モードと、前記運用状態情報の設定に関する設定処理に費やすリソースの前記転送処理に費やすリソースに対する比率を前記通常動作モードより大きくした高速設定動作モードとを有する、ネットワーク中継装置。 A network relay device according to any one of claims 3 to 9,
The network processor includes a normal operation mode mainly for the transfer process, and a high-speed setting operation mode in which a ratio of a resource spent for the setting process related to the setting of the operation state information to a resource spent for the transfer process is larger than the normal operation mode. A network relay device.
前記制御プレーンは、前記非動作プロセッサと、前記複数のネットワークプロセッサのうち、電源が供給されている動作プロセッサとの数を変更することにより、ネットワーク中継装置全体の前記転送処理の能力を変更する、ネットワーク中継装置。 The network relay device according to any one of claims 1 to 10,
The control plane changes the transfer processing capability of the entire network relay device by changing the number of the non-operation processors and the operation processors to which power is supplied among the plurality of network processors. Network relay device.
さらに、前記非動作プロセッサと前記動作プロセッサの数を変更するコマンドを発行する第1のコマンド発行部を備える、ネットワーク中継装置。 The network relay device according to claim 11,
And a first command issuing unit that issues a command for changing the number of the non-operation processors and the operation processors.
さらに、前記非動作プロセッサと前記動作プロセッサの数を変更するコマンドを外部機器から受け付ける第1のコマンド受付部を備える、ネットワーク中継装置。 The network relay device according to claim 11,
Furthermore, a network relay device comprising a first command receiving unit that receives from the external device a command for changing the number of the non-operation processors and the operation processors.
前記転送プレーンは、さらに、前記ネットワークプロセッサに接続された1以上の半導体メモリを備え、
前記電源部は、さらに、前記制御プレーンに対する電源の供給を維持しつつ、前記1以上の半導体メモリの少なくとも一部に対する電源の供給を停止する制御が可能である、ネットワーク中継装置。 The network relay device according to any one of claims 1 to 13,
The transfer plane further comprises one or more semiconductor memories connected to the network processor,
The network relay device further capable of controlling the power supply to stop supplying power to at least a part of the one or more semiconductor memories while maintaining power supply to the control plane.
待機系となっている前記ネットワーク中継装置内の前記ネットワークプロセッサおよび前記半導体メモリの少なくとも一部に対する電源の供給を停止するネットワーク中継システム。 A network relay system having a redundant configuration using a plurality of network relay devices according to any one of claims 1 to 14,
A network relay system for stopping power supply to at least a part of the network processor and the semiconductor memory in the network relay device serving as a standby system.
前記ネットワーク中継装置の動作数で転送性能を変更可能であり、
システム内もしくはシステム外からの制御により動作数を変化することができる、ネットワーク中継システム。 The network relay system according to claim 15, wherein
The transfer performance can be changed by the number of operations of the network relay device,
A network relay system that can change the number of operations by control from inside or outside the system.
受信したフレームデータを転送する転送処理を実行する複数のLSIであって、パケット処理に特化したLSIを含む転送プレーンと、
前記ネットワーク中継装置の全体を制御し、前記LSIと通信可能に接続された制御プレーンと、
前記転送プレーンと前記制御プレーンの各構成要素に対して電源を供給するための電源部と、
を備え、
前記電源部は、前記制御プレーンに対する電源の供給を維持しつつ、前記転送プレーンの複数のLSIのうちのいずれかに対する電源の供給を停止して非動作LSIとする制御が可能である、ネットワーク中継装置。 A network relay device,
A plurality of LSIs for executing transfer processing for transferring received frame data, including a transfer plane including LSIs specialized for packet processing ;
A control plane that controls the entire network relay device and is communicably connected to the LSI;
A power supply unit for supplying power to each component of the transfer plane and the control plane;
With
The network relay is capable of controlling the power supply unit to be a non-operating LSI by stopping the power supply to any of a plurality of LSIs of the transfer plane while maintaining the power supply to the control plane apparatus.
前記電源部は、前記非動作LSIに対して、前記制御プレーンの命令に基づいて、電源の供給を再開し、 The power supply unit resumes power supply to the non-operating LSI based on a command of the control plane,
前記制御プレーンは、電源の供給が再開された前記LSIに対して、前記LSIを運用可能にするための情報であって、最新の経路情報を含む運用状態情報を設定する、ネットワーク中継装置。 The network relay device, wherein the control plane sets operation status information including the latest path information, which is information for enabling the LSI to operate with respect to the LSI for which power supply has been resumed.
前記制御プレーンは、 The control plane is
中央制御部と、前記中央制御部の制御に従って、または、自律的に前記LSIに対する制御を行うLSI制御部と、 A central control unit, an LSI control unit for controlling the LSI autonomously according to the control of the central control unit, or
前記LSI制御部に接続され、非動作の前記LSIが運用状態に遷移するときに前記LSIに設定すべき前記運用状態情報を保存する制御データメモリと、 A control data memory connected to the LSI control unit and storing the operation state information to be set in the LSI when the non-operating LSI makes a transition to the operation state;
を有し、 Have
前記LSI制御部は、前記制御データメモリに保存された前記運用状態情報を、電源の供給が再開された前記LSIに転送して設定する、ネットワーク中継装置。 The network control device, wherein the LSI control unit transfers and sets the operation state information stored in the control data memory to the LSI for which power supply has been resumed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008137719A JP4927784B2 (en) | 2008-05-27 | 2008-05-27 | Network relay device and network relay system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008137719A JP4927784B2 (en) | 2008-05-27 | 2008-05-27 | Network relay device and network relay system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012025800A Division JP5241931B2 (en) | 2012-02-09 | 2012-02-09 | Network relay device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009290271A JP2009290271A (en) | 2009-12-10 |
JP4927784B2 true JP4927784B2 (en) | 2012-05-09 |
Family
ID=41459102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008137719A Active JP4927784B2 (en) | 2008-05-27 | 2008-05-27 | Network relay device and network relay system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4927784B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8416805B2 (en) * | 2009-05-27 | 2013-04-09 | Pmc Sierra Ltd | Reporting mechanism for efficient upstream bandwidth utilization in a 10G EPON |
JP5380309B2 (en) * | 2010-01-05 | 2014-01-08 | アラクサラネットワークス株式会社 | Network system, communication device and communication device |
JP2011199412A (en) * | 2010-03-17 | 2011-10-06 | Toshiba Corp | Base station system and gateway device |
JP5411090B2 (en) * | 2010-08-20 | 2014-02-12 | 日本電信電話株式会社 | Buffer control method and buffer control apparatus |
US8737412B2 (en) | 2010-11-24 | 2014-05-27 | Hitachi Metals, Ltd. | Network relay system and method of automatically setting a network relay system |
US8724450B2 (en) | 2010-11-24 | 2014-05-13 | Hitachi Metals, Ltd. | Network relay system and method of controlling a network relay system |
JP5561620B2 (en) | 2011-05-27 | 2014-07-30 | 日立金属株式会社 | Network system and network system operation method |
JP5704035B2 (en) | 2011-09-27 | 2015-04-22 | 日立金属株式会社 | Network system |
JP2013098916A (en) | 2011-11-04 | 2013-05-20 | Denso Corp | Relay system, and relay device constituting the same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4786371B2 (en) * | 2006-02-27 | 2011-10-05 | アラクサラネットワークス株式会社 | Network relay device |
JP4643499B2 (en) * | 2006-06-09 | 2011-03-02 | アラクサラネットワークス株式会社 | Information processing device |
JP4823209B2 (en) * | 2007-12-13 | 2011-11-24 | アラクサラネットワークス株式会社 | Packet transfer device |
-
2008
- 2008-05-27 JP JP2008137719A patent/JP4927784B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009290271A (en) | 2009-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4927784B2 (en) | Network relay device and network relay system | |
US9935897B2 (en) | Network switching device | |
KR101099822B1 (en) | Redundant routing capabilities for a network node cluster | |
US7971029B2 (en) | Barrier synchronization method, device, and multi-core processor | |
US11138147B2 (en) | CPU and multi-CPU system management method | |
JP2006221381A (en) | Processor system and image forming device provided with this processor system | |
CN107147507A (en) | The control plane framework and control method of a kind of software defined network | |
CN110874261A (en) | Usability system, usability method, and storage medium storing program | |
JP5583046B2 (en) | Redundant controller | |
JP2009282917A (en) | Interserver communication mechanism and computer system | |
JP5241931B2 (en) | Network relay device | |
JP2006065471A (en) | Semiconductor integrated circuit, and its power saving control method and power saving control program | |
JP4868012B2 (en) | Computer system, computer system control method, and program | |
JP2016058835A (en) | Relay system and switch device | |
JP4156470B2 (en) | Node transfer device, node alternative device and program thereof | |
KR20240115575A (en) | Method for controlling clock of memory controller and storage system | |
JP5617315B2 (en) | Computer virtualization system, virtual computer dynamic migration method, virtual computer dynamic migration program | |
WO2012117445A1 (en) | Information processing system | |
JP6641991B2 (en) | Node and communication method | |
CN116431557A (en) | Method, device, chip, apparatus and storage medium for controlling interconnection device | |
CN118535351A (en) | Information processing method, information processing device, electronic equipment and storage medium | |
JPH11202906A (en) | Process control system and data gathering device, and its control method and storage medium | |
JPH07182191A (en) | Duplex system | |
JP2000184010A (en) | Communication controller and communication control method and recording medium | |
KR19990074420A (en) | Memory control method for implementing redundancy using specific signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4927784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |