JP4831473B2 - ネットワーク管理方法、プログラム及びシステム - Google Patents

ネットワーク管理方法、プログラム及びシステム Download PDF

Info

Publication number
JP4831473B2
JP4831473B2 JP2006065692A JP2006065692A JP4831473B2 JP 4831473 B2 JP4831473 B2 JP 4831473B2 JP 2006065692 A JP2006065692 A JP 2006065692A JP 2006065692 A JP2006065692 A JP 2006065692A JP 4831473 B2 JP4831473 B2 JP 4831473B2
Authority
JP
Japan
Prior art keywords
switch device
physical
line
power
turned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006065692A
Other languages
English (en)
Other versions
JP2007243791A (ja
Inventor
吉朗 池田
明弘 安尾
敦司 森
彰 安里
克彦 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006065692A priority Critical patent/JP4831473B2/ja
Priority to US11/476,650 priority patent/US7653738B2/en
Publication of JP2007243791A publication Critical patent/JP2007243791A/ja
Application granted granted Critical
Publication of JP4831473B2 publication Critical patent/JP4831473B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Small-Scale Networks (AREA)
  • Power Sources (AREA)
  • Communication Control (AREA)

Description

本発明は、複数の計算機をスイッチ装置により相互接続して並列計算機システムを構成する相互接続網を管理するネットワーク管理方法、プログラム及びシステムに関し、特にスイッチ装置間を繋ぐ複数の物理回線を束ねて1つの論理回線に見せることで回線伝送速度(帯域)を高める相互接続網のネットワーク管理方法、プログラム及びシステムに関する。
従来、多数の計算機をギガビットオーダーの回線伝送速度をもつスイッチ装置を介して相互に接続する相互接続網(インタコネクト)によりクラスタシステムなどの並列計算機システムが構築されている。
並列計算機システムを構築する計算機の数が多い場合、各計算機を繋ぐ相互接続網(インタコネクト)には多数のスイッチ装置が使用され、スイッチ装置間の回線伝送速度(ビットレートbps)がネックにならないように、スイッチ装置間に複数の回線を設けて論理的に1本の回線に見せることで回線伝送速度を高めることが多い。このように複数の物理回線を束ねて論理的に1本の回線にみせる手法をトランキングという(特許文献1)。
なお、ビットレート(bps)で定義される回線伝送速度は、回線の帯域の拡大に応じて増加する関係にあることから、回線伝送速度を回線の帯域と表現することが慣用的に行われ、例えば回線の帯域が拡張(拡大)するという表現は、回線伝送速度が高くなることを意味する。
また並列計算機システムにあっては、個々の計算機を構成するプロセッサ、メモリ、ハードディスクドライブ等の要素については多くの省電力手法が適用されている。一方で、複数の計算機を繋ぐネットワークを構成するスイッチ装置は常時通電状態とし、回線伝送速度で決まる最大データ伝送速度によるデータ伝送を常に提供できるような状態で動作している。
更に、ネットワークを構成するスイッチ装置の省電力化を行う方式としては、パケットの到着を監視することでポート機能部分の無効化と有効化を行う方式が提案されている(特許文献2)。
特開2002−232427号公報 特開2001−320415号公報
しかしながら、このような従来の複数の物理回線を束ねて1つの論理回線にみせるトランキングが行われた相互接続網にあっては、多くの場合、回線伝送速度に対応した最大データ伝送速度を必要とする時間は短時間であり、ほとんどの時間は回線伝送速度より低いデータ伝送速度の通信であり、必要とするデータ伝送速度に対し過剰な回線通信速度を提供している。
例えば特許文献1にあっては、スイッチ間に複数の物理回線を設けて回線伝送速度を高めているが、通信量が少ないときにも、その少ない通信量を複数の物理回線に均等に割り振ろうとするため、物理回線の回線伝送速度に対しデータ伝送速度が低くなって無駄が多く、それにも関わらず全てのポート部分を動作しているため省電力化も期待できない。
また特許文献2のパケットの到着を監視することでポート部分の無効化と有効化を行う方式は、ポート部分を無効化する場合、論理的に回線を完全に遮断してしまうため、ネットワーク形状が変化してしまい、システムに与える副作用が大きいという問題がある。
本発明は、スイッチ装置間を繋ぐ複数の物理回線を束ねて1つの論理回線に見せるトランキングが行われた相互接続網につき、スイッチ装置全体の電源オン又はオフにより、データ伝送速度に見合った回線伝送速度を動的に提供して消費電力を低減させるネットワーク管理方法、プログラム及びシステムを提供することを目的とする。
(方法)
本発明は、ネットワーク管理方法を提供する。本発明は、複数の計算機の各々に計算機用スイッチ装置を設け、計算機用スイッチ装置における所定数の物理回線を束ねて論理回線を構築し、論理回線を構成する物理回線を複数の中継用スイッチ装置を経由して他の計算機用スイッチ装置と相互接続する計算機システムの相互接続網を管理するネットワーク管理方法に於いて、
計算機の間で必要とするデータ伝送速度を取得するデータ伝送速度取得ステップと、
計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の物理回線数で決まる回線伝送速度を下回ることを判定した場合、判定した中継用スイッチ装置全体の電源をオフして相互接続網から切離すスイッチ切離ステップと、
切離し後に、データ伝送速度が切離中の中継用スイッチ装置の物理回線数で決まる回線伝送速度を上回ることを判定した場合、切離中の中継用スイッチ装置全体の電源オン制御を指示して相互接続網に復帰させるスイッチ復帰ステップと、
を備えたことを特徴とする。
ここで、相互接続網として、計算機用スイッチ装置の論理回線を構成する所定数の物理回線を半分に分割してそれぞれ中継用スイッチ装置を介して相互に接続した場合、
スイッチ切離しステップは、計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を下回ることを判定した場合、判定した中継用スイッチ装置全体の電源をオフして相互接続網から切離し、
スイッチ復帰ステップは、切離し後に計算機の間で必要なデータ伝送速度が複数の中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を上回ることを判定した場合、切離し中の中継用スイッチ装置全体の電源をオンして相互接続網に復帰させる。
また、相互接続網として、計算機に対応して設けたn台の計算機用スイッチ装置の論理回線を回線数mの物理回線で構成し、n台の計算機用スイッチ装置を、論理回線を構成する物理回線数mに一致するm台の中継用スイッチ装置を介して相互接続した場合、
スイッチ切離しステップは、計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、物理回線毎に設けたm台の中継用スイッチ装置全体の電源を優先順位に従ってオフして相互接続網から切離し、
スイッチ復帰ステップは、切離し後に前記計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の中継用スイッチ装置全体の電源を優先順位とは逆の順位に従ってオンして相互接続網に復帰させる。
また、相互接続網として、計算機に対応して設けた2台の計算機用スイッチ装置の論理回線を回線数4の物理回線で構成し、2台の計算機用スイッチ装置を、論理回線を構成する物理回線数4に一致する4台の中継用スイッチ装置を介して相互接続した場合、
スイッチ切離しステップは、計算機の間で必要なデータ伝送速度が、物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、物理回線毎に設けた4台の中継用スイッチ装置全体の電源を所定の優先順位に従ってオフして相互接続網から切離し、
スイッチ復帰ステップは、切離し後に計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の中継用スイッチ装置全体の電源を優先順位とは逆の順位に従ってオンして相互接続網に復帰させる。
更に、相互接続網として、計算機に対応して設けた8台の計算機用スイッチ装置の論理回線を回線数4の物理回線で構成し、8台の計算機用スイッチ装置を論理回線を構成する物理回線数4に一致する4台の中継用スイッチ装置を介して相互接続した場合、
スイッチ切離しステップは、前記計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、物理回線毎に設けた4台の中継用スイッチ装置全体の電源を所定の優先順位に従ってオフして相互接続網から切離し、
スイッチ復帰ステップは、切離後に前記計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の中継用スイッチ装置全体の電源を優先順位とは逆の順位に従ってオンして相互接続網に復帰させる。
スイッチ復帰ステップは、無効化している中継用スイッチ装置の内、次に電源をオンする中継用スイッチ装置について物理ポート部を除く共有部の電源を予備的にオンし、計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を上回ることを判定した際に、共有部の電源を予備的にオンしている中継用スイッチ装置の物理ポート部全体の電源をオンして相互接続網に復帰させる。
本発明のネットワーク管理方法は、更に、計算機用スイッチ装置の論理回線を構成る物理回線を接続している複数の物理ポート部を、個別的な電源オン又は電源オフにより有効化又は無効化して、計算機の間で必要なデータ伝送速度に対応した回線伝送速度に変更するポート電源制御ステップを設ける。
ポート電源制御ステップは、
計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、物理回線毎に設けた物理ポート部の電源を所定の優先順位に従ってオフして無効化するポート無効化ステップと、
計算機の間で必要なデータ伝送速度が物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、無効化している物理ポートの電源を優先順位とは逆の順位に従ってオンして有効化するポート有効化ステップと、
を備える。
データ伝送速度取得ステップは、計算機の間に必要なデータ伝送速度として、計算機用スイッチ装置の論理回線のデータ伝送速度を検出する。
データ伝送速度取得ステップは、計算機の間に必要なデータ伝送速度として、計算機用スイッチ装置の論理回線から検出したデータ伝送速度を記憶した通信履歴からデータ伝送速度の予測タイムスケジュールを生成して取得する。
(プログラム)
本発明はネットワーク管理プログラムを提供する。本発明は、複数の計算機の各々に計算機用スイッチ装置を設け、計算機用スイッチ装置における所定数の物理回線を束ねて論理回線を構築し、論理回線を構成する物理回線を複数の中継用スイッチ装置を経由して他の計算機用スイッチ装置と相互接続する並列計算機システムの相互接続網を管理するネットワーク管理装置のコンピュータに、
計算機の間で必要とするデータ伝送速度を取得するデータ伝送速度取得ステップと、
計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の物理回線数で決まる回線伝送速度を下回ることを判定した場合、判定した中継用スイッチ装置全体の電源をオフして相互接続網から切離すスイッチ切離ステップと、
切離し後に、データ伝送速度が切離中の中継用スイッチ装置の物理回線数で決まる回線伝送速度を上回ることを判定した場合、切離中の中継用スイッチ装置全体の電源をオンして相互接続網に復帰させるスイッチ復帰ステップと、
を実行させることを特徴とする。
(システム)
本発明はネットワーク管理システムを提供する。本発明のネットワーク管理システムは、
複数の計算機の各々に計算機用スイッチ装置を設け、計算機用スイッチ装置における所定数の物理回線を束ねて論理回線を構築し、論理回線を構成する物理回線を複数の中継用スイッチ装置を経由して他の計算機用スイッチ装置と相互接続する並列計算機システムの相互接続網と、
相互接続網を管理するネットワーク管理装置と、
を備え、
ネットワーク管理装置は、
計算機の間で必要とするデータ伝送速度を取得するデータ伝送速度取得部と、
計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の物理回線数で決まる回線伝送速度を下回ることを判定した場合、判定した中継用スイッチ装置全体の電源をオフして相互接続網から切離すスイッチ切離部と、
切離し後に、データ伝送速度が切離中の中継用スイッチ装置の物理回線数で決まる回線伝送速度を上回ることを判定した場合、切離中の中継用スイッチ装置全体の電源をオンして相互接続網に復帰させるスイッチ復帰部と、
を備えたことを特徴とする。
本発明によれば、複数の計算機の各々に設けた計算機用スイッチ装置を、複数の中継用スイッチ装置を経由して相互接続する並列計算機システムの相互接続網について、計算機の間で必要なデータ伝送速度が中継用スイッチ装置に接続している全物理回線の回線伝送速度の合計を下回ったことを判定した際に、判定した中継用スイッチ装置全体の電源をオフすることで回線伝送速度を下げて無駄をなくし、これによって消費電力を必要最小限に抑えることができる。
また、中継用スイッチ装置全体の電源をオフしても、計算機用スイッチ装置は論理回線を構成する残りの物理回線を接続した中継用スイッチ装置により接続されているため、論理回線が途切れることがなく、ネットワーク形状が変化する不都合は起きない。
また、必要なデータ伝送速度の減少に伴い、所定の優先順位に従って複数の中継用スイッチ装置全体の電源を順次オフして切離した場合、必要とするデータ伝送速度が増加した場合は、電源オフ時の優先順位とは逆の順位に従って中継用スイッチ装置全体の電源を順次オンするが、この場合に、次にオンする中継用スイッチ装置につき、物理ポート部を除く共有処理部につき予め電源をオンしておくことで、中継用スイッチ装置を相互接続網に復帰させる際のタイムラグを、物理ポート部のみの電源オンのタイムラグに押え、スイッチ装置全体の電源オンによる相互接続網への復帰に要する時間を必要最小限に抑えることができる。
例えば共用処理部を含むスイッチ装置全体の電源オンでは、スイッチ装置に内蔵しているプロセッサの起動を伴うことから10数秒要するが、物理ポート部だけであれば1マイクロ秒程度であり、これによってスイッチ装置全体としての電源オン、オフに伴う相互接続網への切離しと復帰を高速に行うことができる。
図1は本実施形態の一実施形態を示した並列計算機システムの説明図である。図1において、並列計算機システムを構成する相互接続網10は本実施形態にあっては2台の計算機12−1,12−2を相互に接続している。相互接続網10には計算機12−1,12−2に対応して計算機用スイッチ装置14−1,14−2が設けられ、計算機用スイッチ装置14−1,14−2の間を中継用スイッチ装置16−1,16−2で相互接続している。
ここで計算機12−1,12−2と計算機用スイッチ装置14−1,14−2の間は4本の物理回線をひとつにまとめた論理回線18−1,18−2で接続されている。一方、計算機用スイッチ装置14−1,14−2の間は中継用スイッチ装置16−1を経由して2本の物理回線を用いたハーフ論理回線20−1,20−2で接続し、また別の中継用スイッチ装置16−2を介して2本の物理回線を用いたハーフ論理回線22−1,22−2で接続している。
計算機用スイッチ装置14−1,14−2及び中継用スイッチ装置16−1,16−2の物理回線の回線速度は、各スイッチ装置で使用している送信クロックにより回線速度が一義的に決まっており、本実施形態にあっては説明を簡単にするため、物理回線1本あたりの回線伝送速度を1Gbpsとしている。
このため論理回線18−1,18−2は4本の物理回線で構成されることから、その回線伝送速度は4Gbpsである。また中継用スイッチ装置16−1,16−2を経由するハーフ論理回線20−1,20−2,22−1,22−2は2本の物理回線で構成されることから2Gbpsの回線伝送速度を持っている。
このように並列計算機用システムを構築する相互接続網10の各スイッチ装置に対してはネットワーク管理装置24が設けられている。ネットワーク管理装置24はLAN28で計算機12−1,12−2、計算機用スイッチ装置14−1,14−2及び中継用スイッチ装置16−1,16−2と接続されており、それぞれのスイッチ装置におけるデータパケット伝送に伴うデータ伝送速度を取得できるようにしている。
またネットワーク管理装置24から中継用スイッチ装置16−1,16−2に対しては電源ライン26が接続されており、ネットワーク管理装置24において中継用スイッチ装置16−1,16−2を装置全体として電源オフまたは電源オンを制御できるようにしている。
尚、計算機用スイッチ装置14−1,14−2に対しては個別に固定的に電源供給が行われており、ネットワーク管理装置24による電源のオンオフ制御は行わない。
ネットワーク管理装置24にはデータ伝送速度取得部30、スイッチ切離し部32、スイッチ復帰部34、スイッチ制御テーブル36及びポート電源制御部38が設けられている。
データ伝送速度取得部30は計算機12−1,12−2間で必要とするデータ伝送速度を取得する。具体的には計算機用スイッチ装置14−1,14−2において論理回線18−1,18−2で伝送されるデータパケットをカウンタでカウントし、このパケットカウント数に基づいて実際の伝送速度を取得することができる。
またデータ伝送速度の取得は実際のデータ伝送速度をパケットカウンタで取得する以外に、計算機用スイッチ装置14−1,14−2の論理回線18−1,18−2から得られたパケットカウントのデータ伝送速度を履歴テーブルに登録し、この履歴テーブルの通信履歴からデータ伝送速度の予測タイムスケジュールを生成し、予測タイムスケジュールから必要なデータ伝送速度を取得するようにしてもよい。
スイッチ切離し部32は、計算機12−1,12−2間で必要なデータ伝送速度が中継用スイッチ装置16−1,16−2の物理回線数で決まる回線伝送速度、本実施形態にあっては2本の物理回線を使用したハーフ論理回線20−1,20−2及び22−1,22−2で決まる2Gbpsの回線伝送速度を下回ることを判定した場合、2台の中継用スイッチ装置16−1,16−2のうち予め定めた優先順位に従っていずれか一方の中継用スイッチ装置16−1,16−2の装置全体の電源をオフして相互接続網10から切離す。
スイッチ復帰部34は、中継用スイッチ装置16−1,16−2のいずれか一方を切離した後にデータ伝送速度が切離し中の中継用スイッチ装置の物理回線数で決まる回線伝送速度、すなわち2Gbpsを上回ることを判定した場合、切離し中の中継用スイッチ装置全体の電源をオンして相互接続網10に復帰させる。
このようなスイッチ切離し部32及びスイッチ復帰部34による中継用スイッチ装置16−1,16−2の電源オフによる切離しまたは電源オンによる復帰はスイッチ制御テーブル36−1を参照して行われる。
図2は図1の実施形態で使用されるスイッチ制御テーブル36−1の説明図である。図2において、スイッチ制御テーブル36−1は計算機12−1,12−2間の必要データ伝送速度、中継用スイッチ装置及び計算機用スイッチ装置の項目で構成される。
必要データ伝送速度は計算機用スイッチ装置14−1,14−2と計算機12−1,12−2を接続している論理回線18−1を構成する物理回線の本数、すなわち4本の物理回線の本数を順次変化させた場合の回線伝送速度を閾値として次のモード1〜4に分類されている。
モード1:1Gbps未満
モード2:1Gbps以上2Gbps未満
モード3:2Gbps以上3Gbps未満
モード4:3Gbps以上
中継用スイッチ装置の欄には中継用スイッチ装置16−1,16−2が格納される。また計算機用スイッチ装置の欄には計算機用スイッチ装置14−1,14−2が格納される。中継用スイッチ装置の欄には必要データ伝送速度のモード1〜4に対応して○印で示す電源オンと×印で示す電源オフの電源制御パターンが登録されている。
電源制御パターンは必要伝送速度がモード1及びモード2の場合、すなわち2Gbps未満の場合には中継用スイッチ装置16−1が電源オン、中継用スイッチ装置16−2が電源オフに制御されている。
この状態にあっては図3に示すように、計算機12−1,12−2の論理回線18−1,18−2に必要なデータ伝送速度は2Gbps未満であり、4本の物理回線のうち2本の物理回線で対応することができる。この場合には、計算機用スイッチ装置14−1,14−2を接続する2台の中継用スイッチ装置16−1,16−2のうちの1台でカバーできることから、例えば中継用スイッチ装置16−2の電源をオフして相互接続網10から切離し、中継用スイッチ装置16−1の電源をオンして、2Gbpsの回線速度を確保する。
このように計算機12−1,12−2間で必要とするデータ伝送速度が低かった場合には、相互接続網10における一方の中継用スイッチ装置16−2を装置全体として電源オフすることで相互接続網10における消費電力を低減することができる。
中継用スイッチ装置16−2を電源オフとして切離した後にあっては、計算機12−1,12−2間のデータ伝送速度が図2のモード2の上限2Gbpsに近づいたことを判別して、中継用スイッチ装置16−2の電源をオンして相互接続網10に復帰させることになる。
再び図1を参照するに、ネットワーク管理装置24に設けたポート電源制御部38は、計算機用スイッチ装置14−1,14−2に設けた物理回線を接続している複数の物理ポート部を個別的に電源オン又はオフして有効化または無効化し、計算機12−1,12−2の間で必要なデータ伝送速度に対応した回線伝送速度に変更する電源制御を行う。
すなわち図3において、計算機12−1,12−2間のデータ伝送速度が2Gbps以下に低下し、これに伴い中継用スイッチ装置16−2が電源オフで切離された場合、ハーフ論理回線22−1,22−2を構成する2本の物理回線は点線のように無効化される。このため計算機用スイッチ装置14−1,14−2においても、論理回線18−1,18−2を構成する4本の物理回線のうち2本の物理回線による回線伝送速度は余分になる。
そこで中継用スイッチ装置16−2の電源オフに伴い計算機用スイッチ装置14−1,14−2にあっても、4本の物理回線で構成される論理回線につき不要となった2本の物理回線を接続している物理ポート部の電源をオフして無効化する。
図3にあっては、中継用スイッチ装置16−2の電源オフに伴い、計算機用スイッチ装置14−1,14−2においてもハーフ論理回線22−1,22−2及び計算機12−1,12−2側を接続している論理回線18−1,18−2の中の2本の物理回線を物理ポート部の電源オフで破線のように無効化し、計算機用スイッチ装置14−1,14−2における消費電力を同時に低減している。
このポート電源制御部38による計算機用スイッチ装置14−1,14−2内の物理ポート部の電源制御は、図2のスイッチ制御テーブル36−1の右側の計算機用スイッチ装置14−1,14−2に示している4つの物理ポート部、すなわちP01〜P04で必要データ伝送速度100のモード1〜モード4で決まる○印の電源オンと×印の電源オフで示すポート電源制御パターンを使用して物理回線の無効化と有効化が行われる。
図4は本実施形態のネットワーク管理装置24のプログラムが実行されるコンピュータのハードウェア環境のブロック図である。図4において、CPU54に対しては、バスを介してROM56、RAM58、ハードディスクドライブ60、キーボード64,マウス66及びディスプレイ68を接続したデバイスインタフェース62、更にネットワークアダプタ70が接続されている。
ハードディスクドライブ60には本実施形態のネットワーク管理プログラムが格納されており、コンピュータの起動によるブートアップ後のRAM56に対するOSの読出し展開後に、ネットワーク管理プログラムがハードディスクドライブ60から読み出されてRAM56に記憶され、CPU54により実行される。
図5は本実施形態によるスイッチ装置を取り出して示した説明図である。図5において、スイッチ装置15は半導体集積回路又は筐体組込みの回路ボードとして製造されており、共通処理部40に対し16個の物理ポート部42−1〜42−16を設け、物理ポート部42−1〜42−16に対しては、本実施形態にあっては光モジュールを外付けポート部42−1〜42−16として接続し、外付けポート部44−1〜44−16から引き出された光ファイバー線路が物理回線46−1〜46−16を構成している。
共通処理部40には、プロセッサ48、電源制御部50及び共有メモリ52が設けられている。プロセッサ48には、物理ポート部42−1〜42−16及び光モジュールを用いた外付けポート部44−1〜44−16を個別に制御可能なファームウエアが組み込まれている。
電源制御部50は、電源ライン45により物理ポート部42−1〜42−16及び外付けポート部44−1〜44−16に電源供給を行っており、各ポート部に対する電源供給を個別にオンオフ制御することができ、電源オンで物理回線を有効化し、電源オフで物理回線を無効化する。
共有メモリ52は、物理ポート部42−1〜42−16の相互間におけるデータ転送を、例えばFIFO機能を使用して実行する。共有メモリ52の機能はクロスバーにより代替することもできる。
図6は本実施形態のスイッチ装置における物理ポート部と物理回線の説明図であり、図1のスイッチ装置14−1,16−1の間のネットワーク接続を取り出している。
図6において、スイッチ装置14−1には物理ポート部42−11が設けられ、物理ポート部42−11にはエンコーダ72、ドライバ74、レシーバ84及びデコーダ86が設けられ、電源ライン45−1による電源供給のオン又はオフで有効化又は無効化される。
スイッチ装置16−2にも物理ポート部42−21が設けられ、物理ポート部42−21にはレシーバ76、デコーダ78、エンコーダ80及びドライバ82が設けられている。物理ポート部42−11のドライバ74は、平衡線路88−1によりスイッチ装置16−2のレシーバ76に接続される。またスイッチ装置16−2のドライバ82は、平衡線路88−2によりスイッチ装置14−1のレシーバ84に接続される。この2本の平衡線路88−1,88−2を通常レーンと呼び、1レーンで物理回線46を構成している。
物理ポート部42−11,42−21に設けているエンコーダ72,80は、パケット通信に伴って転送されてくるシリアルビット列を、例えば8ビット/10ビット変換している。またデコーダ78,86は、レシーバ76,84で受信したシリアルビットデータを10ビット/8ビット変換して元に戻している。
このような物理ポート部42−11,42−21による物理回線46の回線伝送信速度は、物理ポート部42−11,42−21を動作しているクロック速度により決まり、例えば1Gbpsの回線伝送速度(ビットレート)を得ている。
図7は外付けポート部を備えたスイッチ装置における物理ポート部と物理回線の説明図である。図7にあっては、図5のスイッチ装置14−1,16−1の物理ポート部42−11,42−21の外部に光モジュールからなる外付けポート部44−11,44−21を接続している。
外付けポート部44−11,44−21には発光部90,94と受光部92,96が設けられ、それぞれの間を光ファイバー線路98−1,98−2で接続しており、光ファイバー線路98−1,98−2によって物理回線46を構成している。
外付けポート部44−11,44−21に対しては、スイッチ装置14−1,16−1から電源ライン45−1,45−2が接続されており、物理ポート部42−11,42−21と同時に電源供給のオン、オフ制御が行われる。
図8は本実施形態におけるネットワーク管理処理のフローチャートであり、図1を参照して説明すると次のようになる。
図8において、ネットワーク管理装置24の電源を投入すると、ステップS1で初期化処理を行った後、ステップS2で計算機用スイッチ装置14−1,14−2の論理回線18−1,18−2の構築を行う。この論理回線18−1,18−2の構築は予め準備した物理回線を論理回線にまとめるためのテーブル情報を参照して行われる。
次にステップS3でデフォルトのデータ伝送速度に基づき、図2のスイッチ制御テーブル36−1にしたがって中継用スイッチ装置16−1,16−2の電源制御を行う。例えば、デフォルトデータ伝送速度としては論理回線18−1,18−2の回線伝送速度4Gbpsに近い値が設定されており、このため図3のモード4の電源制御パターンにより中継用スイッチ装置16−1,16−2の両方の電源投入を行った状態で相互接続網10の動作を確認する。
続いてステップS4でデータ伝送速度の変更イベントの有無をチェックし、変更イベントがあればステップS5で必要データ伝送速度を取得し、ステップS6で図2のスイッチ制御テーブル36−1を参照して中継用スイッチ装置16−1,16−2の電源制御パターンを取得し、ステップS7で現在の電源制御パターンと比較する。
この比較によりステップS8で電源制御パターンが変化した中継用スイッチ装置があった場合には、ステップS9で変化のあった中継用スイッチ装置に変化した電源パターンである電源オンまたは電源オフを指示する。続いてステップS10で計算機用スイッチ装置14−1,14−2のポート電源制御を行う。このようなステップS4〜S10の処理を停止指示があるまで繰り返す。
図9は図8のステップS10におけるポート電源制御処理の詳細を示したフローチャートである。図9において、ポート電源制御処理はステップS1で必要データ伝送速度を取得し、ステップS2で図2のスイッチ制御テーブル36−1におけるポート制御テーブルの部分,すなわち計算機用スイッチ装置104の部分を参照してそのときの必要データ伝送速度100に対応したモード1〜4のいずれかに対応した4つの物理ポートP01〜P04の電源制御パターンを取得する。
続いてステップS3で現在の物理ポートP01〜P04の電源制御パターンと比較し、ステップS4で電源制御パターンが変化した物理ポート部があるか否かチェックし、あった場合にはステップS5に進み計算機用スイッチ装置14−1,14−2の変化のあった物理ポートに対し電源オンまたは電源オフを指示する。なお、ステップ3,S4のパターン比較をせず、ステップS2で取得した電源制御パターンをそのままスイッチ装置に送って物理ポート部の電源を制御しても良い。
図10は本発明の他の実施形態を示した並列計算機システムの説明図である。図10の実施形態にあっては、相互接続網10として2台の計算機12−1,12−2間の相互接続網10として、計算機12−1,12−2に対応した計算機用スイッチ装置14−1,14−2を設け、その間を4本の物理回線を用いた論理回線18−1,18−2に接続している。
計算機用スイッチ装置14−1,14−2の間には4台の中継用スイッチ装置16−1〜16−4が設けられる。中継用スイッチ装置16−1〜16−4は、計算機用スイッチ装置14−1,14−2から引き出された1本の物理回線を接続する。即ち中継用スイッチ装置16−1は計算機用スイッチ装置14−1,14−2に対し、それぞれ物理回線106−1,106−2を接続し、中継用スイッチ装置16−2は物理回線106−3,106−4を接続し、中継用スイッチ装置16−3は物理回線106−5,106−6を接続し、更に中継用スイッチ装置16−4は物理回線106−7,106−8を接続している。
このような相互接続網10はクロス・スプレッダー・ネットワーク(Clos spreader network)と呼ばれ、計算機の台数は任意のn台とすることができ、この計算機の台数nに応じて計算機用スイッチ装置は同じくn台設けられ、これに対し中継用スイッチ装置は計算機用スイッチ装置と計算機の論理回線を構成する物理回線数mに対応したm台となる。
このような一般形としてのクロス・スプレッダー・ネットワークは図10の実施形態にあってはn=2,m=4とした場合である。
相互接続網10の計算機用スイッチ装置14−1,14−2及び中継用スイッチ装置16−1〜16−4に対してはネットワーク管理装置24が設けられ、ネットワーク管理装置24は図1の実施形態と同様、データ伝送速度取得部30、スイッチ切離し部32、スイッチ復帰部34、スイッチ制御テーブル36−2及びポート電源制御部38で構成され、スイッチ制御テーブル36−2が図10の相互接続網10に対応した内容を持つ以外は図1の実施形態と同じ処理機能を備える。
図11は図10の実施形態で使用するスイッチ制御テーブル36−2の説明図である。図11のスイッチ制御テーブル36−2は,必要データ伝送速度100、中継用スイッチ装置102及び計算機用スイッチ装置104で構成され、必要データ伝送速度100は論理回線18−1,18−2が4本の物理回線で構成され、物理回線1本当り回線伝送速度を1Gbpsとした場合を例にとっていることから、図2の場合と同様モード1〜モード4の速度範囲に分けられている。
このスイッチ制御テーブル36−2の中継用スイッチ装置16−1〜16−4の電源制御パターンに示すように、必要データ伝送速度が物理回線の本数に応じて順次増加するにつれて、中継用スイッチ装置16−1〜16−4の順番に順次電源をオンするようにしている。
逆に必要データ伝送速度が低下する場合には、増加する場合の順序とは逆の順序で中継用スイッチ装置16−1〜16−4を順次電源オフするようにしている。また、モード1〜4に対応して計算機用スイッチ装置14−1,14−2については、図2の場合と同様、4つの物理ポートP01〜P04、モード1〜モード4のポート電源制御パターンを設定している。
図12は図10の実施形態で中継用スイッチ装置を1台電源オフとした場合の説明図である。図12にあっては、計算機12−1,12−2の必要データ伝送速度が2Gbps以上3Gbps未満のモード3の場合であり、この場合には中継用スイッチ装置16−4の電源をオフして相互接続網10から切離し、計算機12−1,12−2間の回線伝送速度を物理回線3本分に相当する3Gbpsとしている。
もちろん計算機用スイッチ装置14−1,14−2は電源オフとした中継用スイッチ装置16−4と接続している物理回線106−7,106−8を接続している物理ポートに対する電源供給をオフとして無効化し、この無効化は計算機12−1,12−2側の物理回線1本の物理ポート部についても行われ、計算機用スイッチ装置14−1,14−2における物理ポート部の電源オフを中継用スイッチ装置16−4の電源オフに加えることで相互接続網10における消費電力を低減している。
図13は図10の実施形態で中継用スイッチ装置を2台電源オフとした場合の説明図であり、図11のスイッチ制御テーブル36−2におけるモード2の必要データ伝送速度が1Gbps以上で2Gbps未満の場合である。
図14は図10の実施形態で中継用スイッチ装置を3台電源オフとした場合の説明図であり、図11のモード1の必要データ伝送速度が1Gbps未満の場合である。
図15は本実施形態の他の実施形態を示した並列計算機システムの説明図であり、この実施形態にあっては図10と同じクロス・スプレッダー・ネットワークを構成する相互接続網10において、計算機台数nをn=8、論理回線を構成する物理回線数mをm=4とした場合である。
このため8台の計算機12−1〜12−8に対し、4本の物理回線で構成された論理回線18−1〜18−8により計算機用スイッチ装置14−1〜14−8が接続され、これらを相互接続する中継用スイッチ装置として4台の中継用スイッチ装置16−1〜16−4が配置され、8台の計算機用スイッチ装置14−1〜14−8と4台の中継用スイッチ装置16−1〜16−4の間でクロス・スプレッダー・ネットワークの接続構成を物理回線により実現している。
このような相互接続網10に対し、ネットワーク管理装置24が設けられ、ネットワーク管理装置24にはデータ伝送速度取得部30、スイッチ切離し部32、スイッチ復帰部34、スイッチ制御テーブル36−3及びポート電源制御部38の機能が設けられる。
またネットワーク管理装置24は中継用スイッチ装置16−1〜16−4に対し個別に電源をオン、オフする電源ライン26を接続し、更にLAN28により中継用スイッチ装置16−1〜16−4及び計算機用スイッチ装置14−1〜14−8を接続している。
ネットワーク管理装置24の機能は、スイッチ制御テーブル36−3が図15の相互接続網10に対応した以外は図1の実施形態と同じである。
図16は図15の実施形態で使用するスイッチ制御テーブル36−3の説明図である。スイッチ制御テーブル36−3は、図10の実施形態における図11のスイッチ制御テーブル36−2に、新たに増加した6台の計算機12−3〜12−8分の物理ポートP01〜P04のポート電源制御パターンを追加しており、それ以外は同じである。
ここで、図15は全て中継用スイッチ装置16−1〜16−4を電源オンとした場合に相当し、図16のスイッチ制御テーブル36−3におけるモード4の必要データ伝送速度が3Gbps以上の場合である。
図17は図15の実施形態で中継用スイッチ装置を1台電源オフとした場合の説明図であり、図16のスイッチ制御テーブル36−3におけるモード3の必要データ伝送速度が2Gbps以上で3Gbps未満の場合であり、この場合は中継用スイッチ装置16−4が電源オフにより相互接続網10から切離される。同時に計算機用スイッチ装置14−1〜14−8で電源オフにより切離された中継用スイッチ装置16−4と接続している物理回線に対応した物理ポート部の電源をオフしている。この1本の物理回線の物理ポート部の電源オフによる無効化は計算機12−1〜12−8と接続している論理回線についても同様に行われる。
図18は図15の実施形態で中継用スイッチ装置を2台電源オフとした場合の説明図であり、これは図16のスイッチ制御テーブル36−3で必要データ伝送速度がモード2の1Gbps以上2Gbps未満の場合であり、中継用スイッチ装置16−3,16−4が電源オフとなって相互接続網10から切離されている。
同時に計算機用スイッチ装置14−1〜14−8において電源オフにより切離された中継用スイッチ装置16−3,16−4と接続しているそれぞれ2本の物理回線の物理ポート部の電源オフによる無効化が行われる。この2本の物理回線の物理ポート部の電源オフによる無効化は計算機12−1〜12−8と接続している論理回線についても同様に行われる。
図19は図15の実施形態で中継用スイッチ装置を3台電源オフとした場合の説明図である。これは図16のスイッチ制御テーブル36−3において必要データ伝送速度をモード1の1Gbps未満とした場合であり、中継用スイッチ装置16−2,16−3,16−4の3台が電源オフにより相互接続網10から切離されている。
同時に計算機用スイッチ装置14−1〜14−8において電源オフにより切離された中継用スイッチ装置16−2,16−3,16−4の間の相互接続されている3本の物理回線に対応した物理ポート部の電源オフによる物理回線の無効化が行われ、この物理回線の無効化は計算機12−1〜12−8を接続している論理回線側でも同様に行われる。
ここで、図15、図17〜図19は必要データ伝送速度が順次低下する場合の中継用スイッチ装置の電源オフを示したものであるが、図19の3台の中継用スイッチ装置16−2〜16−4を切離した状態で必要データ伝送速度が増加している場合には、図18、図17及び図15の順番となるように、切離している中継用スイッチ装置を、電源オフの場合とは逆の順番で電源オンして復帰させることになる。
また本発明は並列計算機システムを構築する相互接続網10の監視を行うネットワーク管理装置24で実行されるプログラムを提供するものであり、このプログラムは図8及び図9のフローチャートに示した内容となる。
また本発明はネットワーク管理装置で実行されるプログラムを格納した記録媒体を提供するものであり、この記録媒体とはCD−ROM、フロッピー(R)ディスク、DVDディスク、光磁気ディスク、ICカードなどのカード型の記録媒体や、コンピュータシステムの内外に備えられたハードディスクドライブなどの記憶装置のほか回線を介してプログラムを保持するデータベースあるいは他のコンピュータシステムならびにデータベースや更には回線上の伝送媒体を含むものである。
尚、本発明は上記の実施形態に示した相互接続網のネットワーク構造に限定されず、複数の計算機の間をスイッチ装置を介して相互接続するネットワークであれば適宜のネットワーク構造に適用することができる。
また本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
ここで本発明の特徴をまとめて列挙すると次の付記のようになる。
(付記)

(付記1)
複数の計算機の各々に計算機用スイッチ装置を設け、前記計算機用スイッチ装置における所定数の物理回線を束ねて論理回線を構成し、前記論理回線を構成する物理回線を複数の中継用スイッチ装置を経由して他の計算機用スイッチ装置と相互接続する並列計算機システムの相互接続網を管理するネットワーク管理方法に於いて、
前記計算機の間で必要とするデータ伝送速度を取得するデータ伝送速度取得ステップと、
前記計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の物理回線数で決まる回線伝送速度を下回ることを判定した場合、前記判定した中継用スイッチ装置全体の電源をオフして前記相互接続網から切離すスイッチ切離ステップと、
前記切離し後に、前記データ伝送速度が切離中の中継用スイッチ装置の物理回線数で決まる回線伝送速度を上回ることを判定した場合、前記切離中の中継用スイッチ装置全体の電源をオンして前記相互接続網に復帰させるスイッチ復帰ステップと、
を備えたことを特徴とするネットワーク管理方法。(1)
(付記2)
付記1記載のネットワーク管理方法に於いて、
前記相互接続網は、前記計算機用スイッチ装置の論理回線を構成する所定数の物理回線を半分に分割してそれぞれ中継用スイッチ装置を介して相互に接続した場合、
前記スイッチ切離しステップは、前記計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を下回ることを判定した場合、前記判定した中継用スイッチ装置全体の電源をオフして前記相互接続網から切離し、
前記スイッチ復帰ステップは、前記切離後に前記計算機の間で必要なデータ伝送速度が前記複数の中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を上回ることを判定した場合、切離し中の前記中継用スイッチ装置全体の電源をオンして前記相互接続網に復帰させることを特徴とするネットワーク管理方法。(2)
(付記3)
付記1記載のネットワーク管理方法に於いて、
前記相互接続網は、計算機に対応して設けたn台の計算機用スイッチ装置の論理回線を回線数mの物理回線で構成し、n台の計算機用スイッチ装置を、前記論理回線を構成する物理回線数mに一致するm台の中継用スイッチ装置を介して相互接続した場合、
前記スイッチ切離しステップは、前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けたm台の前記中継用スイッチ装置全体の電源を所定の優先順位に従ってオフして前記相互接続網から切離し、
前記スイッチ復帰ステップは、前記切離し後に前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の前記中継用スイッチ装置全体の電源を前記優先順位とは逆の順位に従ってオンして前記相互接続網に復帰させることを特徴とするネットワーク管理方法。(3)
(付記4)
付記1記載のネットワーク管理方法に於いて、
前記相互接続網は、計算機に対応して設けた2台の計算機用スイッチ装置の論理回線を回線数4の物理回線で構成し、2台の計算機用スイッチ装置を、前記論理回線を構成する物理回線数4に一致する4台の中継用スイッチ装置を介して相互接続した場合、
前記スイッチ切離しステップは、前記計算機の間で必要なデータ伝送速度が、前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けた4台の前記中継用スイッチ装置全体の電源を所定の優先順位に従ってオフして前記相互接続網から切離し、
前記スイッチ復帰ステップは、前記切離後に前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の前記中継用スイッチ装置全体の電源を前記優先順位とは逆の順位に従ってオンして前記相互接続網に復帰させることを特徴とするネットワーク管理方法。(4)
(付記5)
付記1記載のネットワーク管理方法に於いて、
前記相互接続網は、計算機に対応して設けた8台の計算機用スイッチ装置の論理回線を回線数4の物理回線で構成し、8台の計算機用スイッチ装置を、前記論理回線を構成する物理回線数4に一致する4台の中継用スイッチ装置を介して相互接続した場合、
前記スイッチ切離しステップは、前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けた4台の前記中継用スイッチ装置全体の電源を所定の優先順位に従ってオフして前記相互接続網から切離し、
前記スイッチ復帰ステップは、前記切離後に前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の前記中継用スイッチ装置全体の電源を前記優先順位とは逆の順位に従ってオンして前記相互接続網に復帰させることを特徴とするネットワーク管理方法。(5)
(付記6)
付記3乃至5のいずれかに記載のネットワーク管理方法に於いて、前記スイッチ復帰ステップは、切離している中継用スイッチ装置の内、次に電源をオンする中継用スイッチ装置について物理ポート部を除く共有処理部の電源を予備的にオンし、前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定した際に、前記共有処理部の電源を予備的にオンしている前記中継用スイッチ装置の物理ポート部全体の電源をオンして前記相互接続網に復帰させることを特徴とするネットワーク管理方法。(6)
(付記7)
付記1記載のネットワーク管理方法に於いて、更に、前記計算機用スイッチ装置の論理回線を構成する物理回線を接続している複数の物理ポート部を、個別的な電源オン又は電源オフにより有効化又は無効化して、前記計算機の間で必要なデータ伝送速度に対応した回線伝送速度に変更するポート電源制御ステップを設けたことを特徴とするネットワーク管理方法。(7)
(付記8)
付記1記載のネットワーク管理方法に於いて、前記ポート電源制御ステップは、
前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けた物理ポート部の電源を所定の優先順位に従ってオフして無効化するポート無効化ステップと、
前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、無効化している前記物理ポートの電源を前記優先順位とは逆の順位に従ってオンして有効化するポート有効化ステップと、
を備えたことを特徴とするネットワーク管理方法。(8)
(付記9)
付記1記載のネットワーク管理方法に於いて、前記データ伝送速度取得ステップは、前記計算機の間に必要なデータ伝送速度として、前記計算機用スイッチ装置の論理回線のデータ伝送速度を検出することを特徴とするネットワーク管理方法。
(付記10)
付記1記載のネットワーク管理方法に於いて、前記データ伝送速度取得ステップは、前記計算機の間に必要なデータ伝送速度として、前記計算機用スイッチ装置の論理回線のデータ伝送速度を検出して記憶した通信履歴からデータ伝送速度の予測タイムスケジュールを生成して取得することを特徴とするネットワーク管理方法。
(付記11)
複数の計算機の各々に計算機用スイッチ装置を設け、前記計算機用スイッチ装置における所定数の物理回線を束ねて論理回線を構築し、前記論理回線を構成する物理回線を複数の中継用スイッチ装置を経由して他の計算機用スイッチ装置と相互接続する並列計算機システムの相互接続網を管理するネットワーク管理装置のコンピュータに、
前記計算機の間で必要とするデータ伝送速度を取得するデータ伝送速度取得ステップと、
前記計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の物理回線数で決まる回線伝送速度を下回ることを判定した場合、前記判定した中継用スイッチ装置全体の電源をオフして前記相互接続網から切離すスイッチ切離ステップと、
前記切離し後に、前記データ伝送速度が切離中の中継用スイッチ装置の物理回線数で決まる回線伝送速度を上回ることを判定した場合、前記切離中の中継用スイッチ装置全体の電源をオンして前記相互接続網に復帰させるスイッチ復帰ステップと、
を実行させることを特徴とするネットワーク管理プログラム。(6)
(付記12)
付記11記載のネットワーク管理プログラムに於いて、
前記相互接続網は、前記計算機用スイッチ装置の論理回線を構成する所定数の物理回線を半分に分割してそれぞれ中継用スイッチ装置を介して相互に接続した場合、
前記スイッチ切離しステップは、前記計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を下回ることを判定した場合、前記判定した中継用スイッチ装置全体の電源をオフして前記相互接続網から切離し、
前記スイッチ復帰ステップは、前記切離後に前記計算機の間で必要なデータ伝送速度が、前記複数の中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を上回ることを判定した場合、切離し中の前記中継用スイッチ装置全体の電源をオンして前記相互接続網に復帰させることを特徴とするネットワーク管理プログラム。
(付記13)
付記11記載のネットワーク管理プログラムに於いて、
前記相互接続網は、計算機に対応して設けたn台の計算機用スイッチ装置の論理回線を回線数mの物理回線で構成し、n台の計算機用スイッチ装置を、前記論理回線を構成する物理回線数mに一致するm台の中継用スイッチ装置を介して相互接続した場合、
前記スイッチ切離しステップは、前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けたm台の前記中継用スイッチ装置全体の電源を所定の優先順位に従ってオフして前記相互接続網から切離し、
前記スイッチ復帰ステップは、前記切離し後に前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の前記中継用スイッチ装置全体の電源を前記優先順位とは逆の順位に従ってオンして前記相互接続網に復帰させることを特徴とするネットワーク管理方法。
(付記14)
付記13記載のネットワーク管理プログラムに於いて、前記スイッチ復帰ステップは、無効化している中継用スイッチ装置の内、次に電源をオンする中継用スイッチ装置について物理ポート部を除く共有処理部の電源を予備的にオンし、前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定した際に、前記共有処理部の電源を予備的にオンしている前記中継用スイッチ装置の物理ポート部全体の電源をオンして前記相互接続網に復帰させることを特徴とするネットワーク管理プログラム。
(付記15)
付記11記載のネットワーク管理プログラムに於いて、更に、前記計算機用スイッチ装置の論理回線を構成する前記物理回線を接続している複数の物理ポート部を、個別的な電源オン又は電源オフにより有効化又は無効化して、前記計算機の間で必要なデータ伝送速度に対応した回線伝送速度に変更するポート電源制御ステップを設けたことを特徴とするネットワーク管理プログラム。
(付記16)
付記11記載のネットワーク管理プログラムに於いて、前記ポート電源制御ステップは、
前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けた物理ポート部の電源を所定の優先順位に従ってオフして無効化するポート無効化ステップと、
前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、無効化している前記物理ポートの電源を前記優先順位とは逆の順位に従ってオンして有効化するポート有効化ステップと、
を備えたことを特徴とするネットワーク管理プログラム。
(付記17)
複数の計算機毎の各々に計算機用スイッチ装置を設け、前記計算機用スイッチ装置における所定数の物理回線を束ねて論理回線を構築し、前記論理回線を構成する物理回線を複数の中継用スイッチ装置を経由して他の計算機用スイッチ装置と相互接続する並列計算機システムの相互接続網と、
前記相互接続網を管理するネットワーク管理装置と、
を備え、
前記ネットワーク管理装置は、
前記計算機の間で必要とするデータ伝送速度を取得するデータ伝送速度取得部と、
前記計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の物理回線数で決まる回線伝送速度を下回ることを判定した場合、前記判定した中継用スイッチ装置全体の電源をオフして前記相互接続網から切離すスイッチ切離部と、
前記切離し後に、前記データ伝送速度が切離中の中継用スイッチ装置の物理回線数で決まる回線伝送速度を上回ることを判定した場合、前記切離中の中継用スイッチ装置全体の電源をオンして前記相互接続網に復帰させるスイッチ復帰部と、
を備えたことを特徴とするネットワーク管理システム。(10)
(付記18)
付記17記載のネットワーク管理システムに於いて、
前記相互接続網は、前記計算機用スイッチ装置の論理回線を構成する所定数の物理回線を半分に分割してそれぞれ中継用スイッチ装置を介して相互に接続した場合、
前記スイッチ切離し部は、前記計算機の間で必要なデータ伝送速度が、いずれかの中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を下回ることを判定した場合、前記判定した中継用スイッチ装置全体の電源をオフして前記相互接続網から切離し、
前記スイッチ復帰部は、前記切離後に前記計算機の間で必要なデータ伝送速度が前記複数の中継用スイッチ装置の半分の物理回線数で決まる回線伝送速度を上回ることを判定した場合、切離し中の前記中継用スイッチ装置全体の電源をオンして前記相互接続網に復帰させることを特徴とするネットワーク管理システム。
(付記19)
付記17記載のネットワーク管理システムに於いて、
前記相互接続網は、計算機に対応して設けたn台の計算機用スイッチ装置の論理回線を回線数mの物理回線で構成し、n台の計算機用スイッチ装置を、前記論理回線を構成する物理回線数mに一致するm台の中継用スイッチ装置を介して相互接続した場合、
前記スイッチ切離し部は、前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けたm台の前記中継用スイッチ装置全体の電源を所定の優先順位に従ってオフして前記相互接続網から切離し、
前記スイッチ復帰部は、前記切離し後に前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、切離し中の前記中継用スイッチ装置全体の電源を前記優先順位とは逆の順位に従ってオンして前記相互接続網に復帰させることを特徴とするネットワーク管理システム。
(付記20)
付記18記載のネットワーク管理システムに於いて、前記スイッチ復帰部は、無効化している中継用スイッチ装置の内、次に電源をオンする中継用スイッチ装置について物理ポート部を除く共有処理部の電源を予備的にオンし、前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定した際に、前記共有処理部の電源を予備的にオンしている前記中継用スイッチ装置の物理ポート部全体の電源をオンして前記相互接続網に復帰させることを特徴とするネットワーク管理システム。
(付記21)
付記1記載のネットワーク管理システムに於いて、
更に、前記計算機用スイッチ装置の論理回線を構成する物理回線を接続している複数の物理ポート部を、個別的な電源オン又は電源オフにより有効化又は無効化して、前記計算機の間で必要なデータ伝送速度に対応した回線伝送速度に変更するポート電源制御部を設け、
前記ポート電源制御部は、
前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を下回ることを判定する毎に、前記物理回線毎に設けた物理ポート部の電源を所定の優先順位に従ってオフして無効化するポート無効化部と、
前記計算機の間で必要なデータ伝送速度が前記物理回線の1回線分の回線伝送速度を上回ることを判定する毎に、無効化している前記物理ポートの電源を前記優先順位とは逆の順位に従ってオンして有効化するポート有効化部と、
を備えたことを特徴とするネットワーク管理システム。
本発明の一実施形態を示した並列計算機システムの説明図 図1の実施形態で使用するスイッチ制御テーブルの説明図 必要データ伝送速度が低下した場合の本実施形態によるスイッチ装置の説明図 本実施形態のネットワーク管理装置のプログラムが実行されるコンピュータのハードウェア環境のブロック図 本実施形態における中継用スイッチ装置の回路構成のブロック図 図1の実施形態における中継用スイッチ装置の制御処理の説明図 外付けポート部を備えたスイッチ装置における物理ポート部と物理回線の説明図 本実施形態のネットワーク管理処理のフローチャート 図8のステップS10におけるポート電源制御処理の詳細を示したフローチャート 本発明の他の実施形態を示した並列計算機システムの説明図 図10の実施形態で使用するスイッチ制御テーブルの説明図 図10の実施形態で中継用スイッチ装置を1台電源オフとした場合の説明図 図10の実施形態で中継用スイッチ装置を2台電源オフとした場合の説明図 図10の実施形態で中継用スイッチ装置を3台電源オフとした場合の説明図 本発明の他の実施形態を示した並列計算機システムの説明図 図15の実施形態で使用するスイッチ制御テーブルの説明図 図15の実施形態で中継用スイッチ装置を1台電源オフとした場合の説明図 図15の実施形態で中継用スイッチ装置を2台電源オフとした場合の説明図 図15の実施形態で中継用スイッチ装置を3台電源オフとした場合の説明図
符号の説明
10:相互接続網
12−1〜12−8:計算機
14−1〜14−8:計算機用スイッチ装置
15:スイッチ装置
16−1〜16−4:中継用スイッチ装置
18−1〜18−8:論理回線
20−1,20−2,22−1,22−2:ハーフ論理回線
24:ネットワーク管理装置
26,45:電源ライン
28:LAN
30:データ伝送速度取得部
32:スイッチ切離し部
34:スイッチ復帰部
36−1〜36−3:スイッチ制御テーブル
38:ポート電源制御部
40:共通処理部
42−1〜42−16:物理ポート部
44−1〜44−16:外付けポート部
46−1〜46−16,106−1〜106−8:物理回線
48:プロセッサ
50:電源制御部
52:共有メモリ
54:CPU
56:RAM
58:ROM
60:ハードディスクドライブ
62:デバイスインタフェース
64:キーボード
66:マウス
68:ディスプレイ
70:ネットワークアダプタ
72,80:エンコーダ
74,82:ドライバ
76,84:レシーバ
78,86:デコーダ
88−1,88−2:平衡線路
90,94:発光部
92,96:受光部
98−1,98−2:光ファイバー線路

Claims (4)

  1. 第1スイッチ装置と第2スイッチ装置とに第3スイッチ装置が第1通信路を介してそれぞれ接続され、該第1スイッチ装置と該第2スイッチ装置とに第4スイッチ装置が第2通信路を介してそれぞれ接続され、該第1スイッチ装置と該第2スイッチ装置と該第3スイッチ装置と該第4スィッチ装置とに管理装置がそれぞれ接続されるシステムにおける、該管理装置に、
    前記第1スイッチ装置又は前記第2スイッチ装置で中継されるデータパケットのカウント数に基づいた単位時間当りのデータ伝送量を、前記第1スイッチ装置又は前記第2スイ
    ッチ装置から取得し、
    取得した単位時間当りのデータ伝送量と、前記第3スイッチ装置または前記第4スイッチ装置の物理回線の本数と一本当りの伝送速度とで決まる回線伝送速度との比較結果に応じて、前記第3スイッチ装置または前記第4スイッチ装置の何れかの電源をオフまたはオンにし、前記第1スイッチ装置の複数のポートのうち電源がオフまたはオンにされた前記第3スイッチ装置または前記第4スイッチ装置に接続されているポートの電源をオフまたはオンにする指示メッセージを前記第1スイッチ装置に送付し、前記第2スイッチ装置の複数のポートのうち電源がオフまたはオンにされた前記第3スイッチ装置または前記第4スイッチ装置に接続されているポートの電源をオフまたはオンにする指示メッセージを前記第2スイッチ装置に送付する処理を実行させる管理プログラム。
  2. 前記比較結果は、前記回線伝送速度に応じて、前記第3スイッチ装置または前記第4スイッチ装置のどちらの電源をオフまたはオンにするかを表し、前記回線伝送速度に応じて、電源をオフまたはオンにされた前記第3スイッチ装置または前記第4スイッチ装置に接続する前記第1スイッチ装置又は前記第2スイッチ装置の複数の物理ポートのうちどの物理ポートの電源をオフまたはオンにするかを表す、対応関係に基づいて比較結果を得る、請求項1記載の管理プログラム。
  3. 第1スイッチ装置と第2スイッチ装置とに第3スイッチ装置が第1通信路を介してそれぞれ接続され、該第1スイッチ装置と該第2スイッチ装置とに第4スイッチ装置が第2通信路を介してそれぞれ接続され、該第1スイッチ装置と該第2スイッチ装置と該第3スイッチ装置と該第4スィッチ装置とにそれぞれ接続される管理装置に於いて、
    前記第1スイッチ装置又は前記第2スイッチ装置で中継されるデータパケットのカウント数に基づいた単位時間当りのデータ伝送量を、前記第1スイッチ装置又は前記第2スイ
    ッチ装置から取得するデータ伝送速度取得部と、
    取得した単位時間当りのデータ伝送量と、前記第3スイッチ装置または前記第4スイッチ装置の物理回線の本数と一本当りの伝送速度とで決まる回線伝送速度との比較結果に応じて、前記第3スイッチ装置または前記第4スイッチ装置の何れかの電源をオフまたはオンにし、前記第1スイッチ装置の複数のポートのうち電源がオフまたはオンにされた前記第3スイッチ装置または前記第4スイッチ装置に接続されているポートの電源をオフまたはオンにする指示メッセージを前記第1スイッチ装置に送付し、前記第2スイッチ装置の複数のポートのうち電源がオフまたはオンにされた前記第3スイッチ装置または前記第4スイッチ装置に接続されているポートの電源をオフまたはオンにする指示メッセージを前記第2スイッチ装置に送付する処理を実行するスイッチ切離し部を有することを特徴とする管理装置。
  4. 第1スイッチ装置と第2スイッチ装置とに第3スイッチ装置が第1通信路を介してそれぞれ接続され、該第1スイッチ装置と該第2スイッチ装置とに第4スイッチ装置が第2通信路を介してそれぞれ接続され、該第1スイッチ装置と該第2スイッチ装置と該第3スイッチ装置と該第4スィッチ装置とに管理装置がそれぞれ接続されるシステムにおける、該管理装置のコンピュータが、
    前記第1スイッチ装置又は前記第2スイッチ装置で中継されるデータパケットのカウント数に基づいた単位時間当りのデータ伝送量を、前記第1スイッチ装置又は前記第2スイ
    ッチ装置から取得するデータ伝送速度取得ステップと、
    取得した単位時間当りのデータ伝送量と、前記第3スイッチ装置または前記第4スイッチ装置の物理回線の本数と一本当りの伝送速度とで決まる回線伝送速度との比較結果に応じて、前記第3スイッチ装置または前記第4スイッチ装置の何れかの電源をオフまたはオンにし、前記第1スイッチ装置の複数のポートのうち電源がオフまたはオンにされた前記第3スイッチ装置または前記第4スイッチ装置に接続されているポートの電源をオフまたはオンにする指示メッセージを前記第1スイッチ装置に送付し、前記第2スイッチ装置の複数のポートのうち電源がオフまたはオンにされた前記第3スイッチ装置または前記第4スイッチ装置に接続されているポートの電源をオフまたはオンにする指示メッセージを前記第2スイッチ装置に送付するスイッチ切離し処理を実行させることを特徴とする管理方法。
JP2006065692A 2006-03-10 2006-03-10 ネットワーク管理方法、プログラム及びシステム Expired - Fee Related JP4831473B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006065692A JP4831473B2 (ja) 2006-03-10 2006-03-10 ネットワーク管理方法、プログラム及びシステム
US11/476,650 US7653738B2 (en) 2006-03-10 2006-06-29 Network management method, program, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006065692A JP4831473B2 (ja) 2006-03-10 2006-03-10 ネットワーク管理方法、プログラム及びシステム

Publications (2)

Publication Number Publication Date
JP2007243791A JP2007243791A (ja) 2007-09-20
JP4831473B2 true JP4831473B2 (ja) 2011-12-07

Family

ID=38480230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006065692A Expired - Fee Related JP4831473B2 (ja) 2006-03-10 2006-03-10 ネットワーク管理方法、プログラム及びシステム

Country Status (2)

Country Link
US (1) US7653738B2 (ja)
JP (1) JP4831473B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8201205B2 (en) 2005-03-16 2012-06-12 Tvworks, Llc Upstream bandwidth management methods and apparatus
JP5025506B2 (ja) * 2008-01-25 2012-09-12 アラクサラネットワークス株式会社 中継装置と、ネットワークシステムと、ネットワークシステムの制御方法
JP4551947B2 (ja) * 2008-05-23 2010-09-29 株式会社日立製作所 ストレージシステムを構成する電子機器を管理する装置
EP2166777A1 (en) * 2008-09-22 2010-03-24 Nokia Siemens Networks OY A mechanism to reduce energy consumption of telecommunication equipment by using adaptive and automated energy aware traffic engineering
US20100111199A1 (en) * 2008-11-06 2010-05-06 Manu Sharma Device and Method for Communicating over Power Lines
US8279058B2 (en) * 2008-11-06 2012-10-02 Current Technologies International Gmbh System, device and method for communicating over power lines
US8188855B2 (en) * 2008-11-06 2012-05-29 Current Technologies International Gmbh System, device and method for communicating over power lines
JP5075990B2 (ja) * 2009-01-21 2012-11-21 株式会社日立製作所 省電力ネットワーク管理サーバ、ネットワークシステム及び電力供給判定方法
JP5464266B2 (ja) 2010-02-24 2014-04-09 日本電気株式会社 通信システムおよびネットワーク管理方法
JP5513342B2 (ja) * 2010-02-26 2014-06-04 アラクサラネットワークス株式会社 パケット中継装置
JP5517892B2 (ja) * 2010-11-17 2014-06-11 アラクサラネットワークス株式会社 パケット中継装置、省電力制御装置、およびネットワークシステム
US9363208B1 (en) * 2011-03-29 2016-06-07 Amazon Technologies, Inc. Logical switches
US11323337B2 (en) 2011-09-27 2022-05-03 Comcast Cable Communications, Llc Resource measurement and management
US9106557B2 (en) 2013-03-13 2015-08-11 Comcast Cable Communications, Llc Scheduled transmission of data
JP5986529B2 (ja) * 2013-03-21 2016-09-06 株式会社日立製作所 ネットワーク管理システム、管理計算機、及び管理方法
US9563261B2 (en) 2014-11-25 2017-02-07 International Business Machines Corporation Management of power consumption in large computing clusters
JP5975135B1 (ja) 2015-03-31 2016-08-23 ダイキン工業株式会社 制御システム
JP7020070B2 (ja) * 2017-11-16 2022-02-16 富士通株式会社 中継装置及びプログラム
US20220368595A1 (en) * 2019-07-01 2022-11-17 Nippon Telegraph And Telephone Corporation Exchange management apparatus, exchange management method, and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4494116A (en) 1980-09-04 1985-01-15 Honda Giken Kogyo Kabushiki Kaisha Apparatus for visually indicating a current travel route of a vehicle
JPH0627801B2 (ja) 1988-06-01 1994-04-13 古野電気株式会社 航跡表示装置
GB2267567B (en) 1991-10-04 1995-10-25 Furuno Electric Co Ship manoeuvring assistance system
JP3281015B2 (ja) 1992-02-18 2002-05-13 株式会社東芝 航空機位置監視システム
US5959968A (en) * 1997-07-30 1999-09-28 Cisco Systems, Inc. Port aggregation protocol
JP2001077840A (ja) * 1999-09-02 2001-03-23 Fujitsu Ltd 集線装置およびその低消費電力化方法
JP3570968B2 (ja) 2000-05-11 2004-09-29 Necアクセステクニカ株式会社 ルータ装置
JP4141106B2 (ja) * 2001-02-06 2008-08-27 富士通株式会社 帯域制御装置
US6542809B2 (en) 2001-02-26 2003-04-01 Honeywell International Inc. Method and system for displaying target vehicle position information
US20030152087A1 (en) * 2002-02-11 2003-08-14 Shahoumian Troy Alexander Excess-port switch
JP2005123715A (ja) * 2003-10-14 2005-05-12 Fujitsu Ltd ネットワーク中継装置
JP2006067413A (ja) * 2004-08-30 2006-03-09 Hitachi Communication Technologies Ltd 可変通信容量データ伝送装置
US7340620B2 (en) * 2005-05-10 2008-03-04 Hewlett-Packard Development Company, L.P. Rapid load reduction for power-over-LAN system using lower and higher priority states for ports
JP5046316B2 (ja) * 2006-03-10 2012-10-10 富士通株式会社 ネットワーク管理方法、プログラム及びシステム

Also Published As

Publication number Publication date
US20070214248A1 (en) 2007-09-13
JP2007243791A (ja) 2007-09-20
US7653738B2 (en) 2010-01-26

Similar Documents

Publication Publication Date Title
JP4831473B2 (ja) ネットワーク管理方法、プログラム及びシステム
US10205653B2 (en) Fabric discovery for a cluster of nodes
US9043526B2 (en) Versatile lane configuration using a PCIe PIe-8 interface
RU2502203C2 (ru) Узловое устройство и способ связи
US9477280B1 (en) Specification for automatic power management of network-on-chip and system-on-chip
CN101663863B (zh) Rstp处理方式
EP2415214B1 (en) Energy efficient ethernet network nodes and methods for use in ethernet network nodes
CN104899170B (zh) 分布式智能平台管理总线ipmb连接方法及atca机框
US9009372B2 (en) Processor and control method for processor
EP3214822B1 (en) Network on chip, communication control method and controller
JPH1049507A (ja) 並列計算機
US9384102B2 (en) Redundant, fault-tolerant management fabric for multipartition servers
KR20090067151A (ko) 클러스터 커플러, 네트워크 및 네트워크 통신 방법
US20160210255A1 (en) Inter-processor bus link and switch chip failure recovery
JP2010218364A (ja) 情報処理システム、通信制御装置および方法
US8285893B2 (en) System and method for adaptively setting connections to input/output hubs within an information handling system
US8594854B1 (en) Power sharing group formation
US20140177648A1 (en) Tagging and synchronization for fairness in noc interconnects
US7206889B2 (en) Systems and methods for enabling communications among devices in a multi-cache line size environment and disabling communications among devices of incompatible cache line sizes
US7990869B2 (en) Method for monitoring data congestion in a computer network with multiple nodes and method for controlling data transmission in the computer network
US6954810B2 (en) Transparent switch
US20180107599A1 (en) Computer cluster system
CN113346983B (zh) 具有镜像冗余的epa设备和epa系统
KR100560929B1 (ko) 이더넷 스위칭 보드 시스템 및 이중화 방법
US9916213B1 (en) Bus arbitration with routing and failover mechanism

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110908

R150 Certificate of patent or registration of utility model

Ref document number: 4831473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees