WO2015071973A1 - ネットワークシステム及びその負荷分散方法 - Google Patents

ネットワークシステム及びその負荷分散方法 Download PDF

Info

Publication number
WO2015071973A1
WO2015071973A1 PCT/JP2013/080666 JP2013080666W WO2015071973A1 WO 2015071973 A1 WO2015071973 A1 WO 2015071973A1 JP 2013080666 W JP2013080666 W JP 2013080666W WO 2015071973 A1 WO2015071973 A1 WO 2015071973A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication path
network
computer
communication
path
Prior art date
Application number
PCT/JP2013/080666
Other languages
English (en)
French (fr)
Inventor
和正 野村
祐介 大橋
賢 戸田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2013/080666 priority Critical patent/WO2015071973A1/ja
Priority to US14/769,338 priority patent/US20150381498A1/en
Publication of WO2015071973A1 publication Critical patent/WO2015071973A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/22—Alternate routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1034—Reaction to server failures by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/28—Routing or path finding of packets in data switching networks using route fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Definitions

  • a network composed of a plurality of network nodes, a plurality of first computers that transmit and receive data via the network, and the first computer connected via the network
  • the first computer has a working communication device for performing communication via the network and at least one spare communication device, and the working communication device.
  • the spare communication device is connected to a different network node in the network, and the first computer is configured to provide information on a current communication path and a spare communication path in the network, and And the route information of the acquired current communication route and the backup communication route.
  • the communication amount of the working communication path is transmitted to the second computer, and the second computer transmits the working communication path and the backup communication path transmitted from the first computer.
  • the edge router side port 3B of the switching hub 3 is partly set as active and the rest as spare.
  • the switching hub 3 normally executes relay processing on the working path via the working edge router side port 3B, while the used port is changed to the working edge router side port in response to an instruction from the business computer 2, for example.
  • 3B is switched to the spare edge router side port 3B, and the relay process on the spare path via the spare edge router side port 3B is executed.
  • the monitoring computer 8 comprehensively determines the load state of the entire internal network 5 when selecting the business computer 2 to which the communication path should be switched and the standby route for switching, and the business computer 2 and its spare route. Select. Specifically, the monitoring computer 8 changes the communication path from the working path to the backup path for each of the candidate business computers 2 (that is, the business computer 2 that uses a high-load network node as the working path). Estimate the load of each network node, and when the communication path is switched, the business computer 2 to which the communication path should be switched and the spare path to be switched are set so that each network node on the standby path of the switching destination does not become a high load. select.
  • the communication information management database 25 is a database for storing the communication route information of the current route and the backup route collected by the monitoring packet processing unit 22. As shown in FIG. 4, the communication information management database 25 is configured in a table format having a route column 25A, a route information column 25B, a response time column 25C, and a communication amount column 25D.
  • the name of the corresponding business computer 2 is stored.
  • the route column 45B, the route information column 45C, the response time column 45D, and the traffic volume column 45E are respectively based on the communication route information of the working computer 2 and the backup route of the business computer 2 transmitted from the business computer 2.
  • the same information as the information stored in the corresponding route column 25A, route information column 25B, response time column 25C or communication amount column 25D of the communication information management database 25 described above with reference to FIG. 4 is stored.
  • the business computer 2 starts the business computer side processing shown on the left side of FIG. 8, and first, the monitoring computer transmits the monitoring packet through each of the communication devices 14 (FIG. 2) on the active side and the backup side.
  • the route information and the response time for the working route and the backup route are acquired by transmitting to the route and the backup route, and the communication amount per unit time of the working route is acquired from the OS, and the acquired information is used as the communication route information.
  • Registration is made in the communication information management database 25 (FIG. 4) (SP1).
  • the process of step SP1 is executed by the monitoring packet processing unit 22 (FIG. 2) and the transmission / reception processing unit 21 (FIG. 2).
  • the business computer 2 transmits the communication route information of the individual working routes and backup routes acquired as described above to the monitoring computer 8 (SP2).
  • this processing is executed by the communication information transmission unit 23 (FIG. 2).
  • the communication information transmission unit 23 reads out the communication path information registered in the communication information management database 25 and transmits it to the monitoring computer 8.
  • the monitoring computer 8 transmits a path switching request to the effect that the communication path should be switched from the working path to the backup path to the business computer 2 selected in the path switching computer selection process (SP15).
  • the route switching request is transmitted by the route switching request transmission unit 43 (FIG. 3).
  • the transmission / reception processing unit 21 determines whether or not the monitoring packet has been transmitted via all the communication devices 14 included in the business computer 2 (SP23). When the transmission / reception processing unit 21 obtains a negative result in this determination, it returns to step SP21, and thereafter switches the communication device 14 selected in step SP21 to another communication device 14 that has not been processed, and performs the processing in steps SP21 to SP23. repeat.
  • the target is It is determined that the load on the candidate backup path is lower than that on the existing spare path.
  • the maximum value of the total traffic prediction ratio in the target backup path at that time is 75% and the maximum value of the total traffic prediction ratio in the backup candidate candidate path is 80% Then, it is determined that the load of the target spare path at that time is lower than that of the candidate candidate for switching.
  • the communication information data analysis processing unit 42 When the communication information data analysis processing unit 42 obtains a negative result in the determination at step SP55, the communication information data analysis processing unit 42 proceeds to step SP57. On the other hand, when the communication information data analysis processing unit 42 obtains a positive result in the determination at step SP55, it sets the target spare path of the business computer 2 that is the target at that time as a switching candidate (SP56).
  • the present invention is not limited to this.
  • the business computer 51 has three or more communication devices 14 that are connected to different switching hubs 52, respectively.
  • the present invention is also applied to a network system 50 having a plurality of spare paths and a network system 50 in which an internal network 54 is configured by connecting three or more network nodes such as the switching hub 52 and the edge routers 4 and 53. can do.
  • the present invention can be widely applied to various other network systems having other configurations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】　システム管理者の手間を要することなく、負荷分散された最適なネットワーク環境を動的に提供し得るネットワークシステム及びその負荷分散方法を提案する。 【解決手段】　ネットワークを介してデータを送受信し、現用及び予備の複数の通信経路を有する複数の第１の計算機と、ネットワークを介して第１の計算機と接続された第２の計算機とを有するネットワークシステムにおいて、第１の計算機が、ネットワークにおける現用及び予備の通信経路の経路情報と、現用の通信経路の通信量とを取得して第２の計算機に送信し、第２の計算機が、これらの情報に基づいて、通信経路を各予備の通信経路にそれぞれ切り替えた場合の各ネットワークノードの負荷をそれぞれ予測し、予測結果に基づいて、通信経路を切り替えるべき第１の計算機と、切替え先の予備の通信経路とを選択し、その第１の計算機に、その予備の通信経路に通信経路を切り替えるよう要求するようにした。

Description

ネットワークシステム及びその負荷分散方法
　本発明は、ネットワークシステム及びその負荷分散方法に関し、特に、通信経路が冗長化された計算機を含むネットワークシステムに適用して好適なものである。
　近年、ネットワークシステムにおいては、ネットワークを構成するスイッチングハブ及びエッジルータ等のネットワークノードの負荷を分散するため、これらのネットワークノードを多重化することが広く行われている。ネットワークノードを多重化することによって、ネットワークでの経路が複数存在することとなり、使用していた経路上のネットワークノードの負荷が高くなった場合に、迂回した経路を使用することでネットワークノードの負荷分散が可能となる。
　ネットワークノードの負荷分散方法としては、ネットワークノードの多重化が一般的ではあるが、そのネットワークを使用する計算機側において、当該計算機をネットワークに接続するためのＮＩＣ（Network　Interface　Card）等の通信装置を冗長化させて通信経路を冗長化させることでネットワークノードの負荷分散が可能となる。高信頼が求められるネットワークシステムでは、耐障害性を向上させるため、計算機に現用及び予備の複数の通信装置を搭載した通信経路の冗長化構成が組まれることが多い。
　ネットワークノードが多重化されたネットワークシステムにおいて、適切にネットワークノードの負荷分散を行うためには、高負荷なネットワークノードから低負荷のネットワークノードへと処理を分散させる必要がある。そのためには、高負荷なネットワークノードの検出が不可欠であり、システム管理者はネットワーク経由で各ネットワークノードの状態を監視することになる。
　ネットワークを構成するネットワークノードの状態を監視する方法として、ＳＮＭＰ（Simple　Network　Management　Protocol）が一般的に利用されている。ＳＮＭＰは、主にネットワークノードのポートが物理的にダウンした場合などの致命的な障害を検出するために利用される。
　ただし、ＳＮＭＰを利用したネットワーク経由でのネットワークノードの監視方法では、多重化されている経路のうち、計算機の現用の通信装置に接続された通信に使用される経路（以下、これを現用経路と呼ぶ）のみが監視対象となり、計算機の予備の通信装置に接続された通信に使用されない予備の経路（以下、これを予備経路と呼ぶ）については監視ができない。
　このため、あるネットワークノードの高負荷検出に伴い計算機側において使用する通信装置を予備の通信装置に切り替えた場合（つまり通信経路を現用経路から予備径路に切り替えた場合）に、もともと予備径路も高負荷であったために、ネットワーク性能がより一層と劣化することもあり得る。つまり、通信経路をどの予備径路に切り替えるのが最適か判断することはＳＮＭＰ監視などの従来技術では困難であり、ＳＮＭＰ監視がネットワークノードの負荷分散のために使用されるケースは少ない。
　なおネットワーク上の経路の二重化及びネットワークの監視に関する従来技術として、下記特許文献１及び２並びに下記非特許文献１及び２がある。
米国特許出願公開第２０１０／０１１５１７４号明細書 米国特許出願公開第２００４／０２１５８２１号明細書
Cisco　Systems社、［online］、"What　Is　VRRP　?"［平成２５年１０月１６日検索］、インターネット<URL：http://www.cisco.com/en/US/products/hw/vpndevc/ps2284/products_tech_note09186a0080094490.shtml> RFC1157、“A　Simple　Network　Management　Protocol　(SNMP)”、［平成２５年１０月１６日検索］、インターネット<URL：http://tools.ietf.org/html/rfc1157>
　上述のように、従来技術ではネットワーク上の冗長化された通信経路のうち、予備経路を監視できていない。このためシステム管理者が予備経路の負荷状況を確認するためには、業務計算機の予備経路をネットワーク構成を元に想定し、予備経路上のすべてのノードの負荷状況を確認する必要がある。
　しかしながら、近年クラウドの普及などによりネットワーク構成は複雑化しており、使用される経路も動的に変更される可能性がある。このためシステム管理者が予備経路を想定することは困難な状況である。
　本発明は以上の点を考慮してなされたもので、システム管理者の手間を要することなく、負荷分散された最適なネットワーク環境を動的に提供し得るネットワークシステム及びその負荷分散方法を提案しようとするものである。
　かかる課題を解決するため本発明においては、複数のネットワークノードから構成されるネットワークと、前記ネットワークを介してデータを送受信する複数の第１の計算機と、前記ネットワークを介して前記第１の計算機と接続された第２の計算機とを有するネットワークシステムにおける前記ネットワークノードの負荷を分散させる負荷分散方法において、前記第１の計算機は、前記ネットワークを介した通信を行うための現用の通信装置と、少なくとも１つの予備の通信装置とを有し、前記現用の通信装置及び前記予備の通信装置がそれぞれ前記ネットワーク内の異なる前記ネットワークノードと接続され、前記第１の計算機が、前記ネットワークにおける現用の通信経路及び予備の通信経路の経路情報と、前記現用の通信経路の通信量とを取得する第１のステップと、前記第１の計算機が、取得した前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とをそれぞれ前記第２の計算機に送信する第２のステップと、前記第２の計算機が、前記第１の計算機から送信される前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とに基づいて、前記ネットワークを構成する各前記ネットワークノードの中から高負荷となっている前記ネットワークノードを検索する第３のステップと、前記第２の計算機が、高負荷となっている前記ネットワークノードを検出した場合に、前記第１の計算機ごとに通信経路を個々の前記予備の通信経路にそれぞれ切り替えた場合の各前記ネットワークノードの負荷をそれぞれ予測し、予測結果に基づいて、通信経路を前記現用の通信経路から前記予備の通信経路に切り替えるべき前記第１の計算機と、当該第１の計算機における通信経路の切替え先とすべき前記予備の通信経路とを選択し、選択した前記第１の計算機に対して、通信経路を前記現用の通信経路から選択した前記予備の通信経路に切り替えるよう要求する第４のステップとを設けるようにした。
　また本発明においては、ネットワークシステムにおいて、複数のネットワークノードから構成されるネットワークと、前記ネットワークを介してデータを送受信する複数の第１の計算機と、前記ネットワークを介して前記第１の計算機と接続された第２の計算機とを備え、前記第１の計算機は、前記ネットワークを介した通信を行うための現用の通信装置と、少なくとも１つの予備の通信装置とを有し、前記現用の通信装置及び前記予備の通信装置がそれぞれ前記ネットワーク内の異なる前記ネットワークノードと接続され、前記第１の計算機は、前記ネットワークにおける現用の通信経路及び予備の通信経路の経路情報と、前記現用の通信経路の通信量とを取得し、取得した前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とをそれぞれ前記第２の計算機に送信し、前記第２の計算機は、前記第１の計算機から送信される前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とに基づいて、前記ネットワークを構成する各前記ネットワークノードの中から高負荷となっている前記ネットワークノードを検索し、高負荷となっている前記ネットワークノードを検出した場合に、前記第１の計算機ごとに通信経路を個々の前記予備の通信経路にそれぞれ切り替えた場合の各前記ネットワークノードの負荷をそれぞれ予測し、予測結果に基づいて、通信経路を前記現用の通信経路から前記予備の通信経路に切り替えるべき前記第１の計算機と、当該第１の計算機における通信経路の切替え先とすべき前記予備の通信経路とを選択し、選択した前記第１の計算機に対して、通信経路を前記現用の通信経路から選択した前記予備の通信経路に切り替えるよう要求するようにした。
　本発明によれば、システム管理者の手間を要することなく、負荷分散された最適なネットワーク環境を動的に提供し得るネットワークシステム及びその負荷分散方法を実現できる。
本実施の形態によるネットワークシステムの全体構成を示すブロック図である。 業務計算機の概略構成を示すブロック図である。 監視計算機の概略構成を示すブロック図である。 業務計算機が保持する通信情報管理用データベースの概略構成を示す概念図である。 監視計算機が保持する通信情報管理用データベースの概略構成を示す概念図である。 通信情報データベースの概略構成を示す概念図である。 統計情報の説明に供する概念図である。 業務計算機側処理及び監視計算機側処理の流れを示すフローチャートである。 監視パケット送信処理の処理手順を示すフローチャートである。 監視パケット受信処理の処理手順を示すフローチャートである。 高負荷ノード検索処理の処理手順を示すフローチャートである。 経路切替え計算機選択処理の処理手順を示すフローチャートである。 他の実施の形態によるネットワークシステムの全体構成を示すブロック図である。
　以下図面について、本発明の一実施の形態を詳述する。
（１）本実施の形態によるネットワークシステムの構成
　図１において、１は全体として本実施の形態によるネットワークシステムを示す。このネットワークシステム１は、複数の業務計算機２が、複数のスイッチングハブ３及び複数のエッジルータ４から構成される内部ネットワーク５と、外部ネットワーク６とを介してクライアント７と通信自在に接続されると共に、外部ネットワーク６に監視計算機８が接続されて構成されている。
　業務計算機２は、クライアント７に対して所定サービスの提供を行うサーバ装置であり、図２に示すように、ＣＰＵ（Central　Processing　Unit）１０、主記憶装置１１及び二次記憶装置１２を有する制御部１３と、通信装置１４とを備え、ＣＰＵ１０、主記憶装置１１、二次記憶装置１２及び通信装置１４が内部バス１５を介して接続されて構成されている。
　ＣＰＵ１０は、業務計算機２全体の動作制御を司るプロセッサである。また主記憶装置１１は、例えば揮発性の半導体メモリから構成され、ＣＰＵ１０のワークメモリとして利用される。主記憶装置１１には、業務計算機２が提供するサービスに関する各種処理を実行するプログラムでなる業務処理部２０と、通信装置１４を介したパケットの送受信処理を実行するプログラムである送受信処理部２１とが格納される。後述する監視パケット処理部２２、通信情報送信部２３及び経路切替え要求受信部２４もこの主記憶装置１１に格納されて保持される。
　二次記憶装置１２は、大容量の記憶装置であり、例えばハードディスク装置から構成される。上述の業務処理部２０、送受信処理部２１、監視パケット処理部２２、通信情報送信部２３及び経路切替え要求受信部２４は、業務計算機２の起動時等に二次記憶装置１２から読み出されて主記憶装置１１に格納される。この二次記憶装置１２には、後述する通信情報管理用データベース２５が格納されて保持される。
　通信装置１４は、例えばＮＩＣ（Network　Interface　Card）から構成され、内部ネットワーク５を介したクライアント７（図１）又は監視計算機８（図１）との通信時におけるプロトコル制御を行う。本実施の場合、業務計算機２においては通信装置１４が冗長化されており、複数設けられた通信装置１４のうちの１つが「現用」として通常時の通信に用いられ、残りが「予備」として現用の通信装置１４を介した通信が行えない場合や、内部ネットワーク５におけるネットワークノードの負荷分散のために用いられる。このため本実施の形態においては、図１に示すように、現用及び予備の各通信装置１４がそれぞれ異なるスイッチングハブ３に接続されている。なお図１においては通信装置１４を「ＮＩＣ」と表記しているが、通信装置１４としてはＮＩＣ以外の通信装置を適用することができる。これ以降も同様である。
　スイッチングハブ３は、内部ネットワーク５の一部を構成する中継器である。スイッチングハブ３は、複数の業務計算機側ポート３Ａと、複数のエッジルータ側ポート３Ｂとを備えて構成され、業務計算機側ポート３Ａがそれぞれ異なる業務計算機２と接続されると共に、エッジルータ側ポート３Ｂがそれぞれ異なるエッジルータ４と接続されている。
　スイッチングハブ３のエッジルータ側ポート３Ｂは、一部が現用、残りが予備として設定される。そしてスイッチングハブ３は、通常時、現用のエッジルータ側ポート３Ｂを経由した現用径路での中継処理を実行する一方、例えば業務計算機２からの指示に応じて、使用ポートを現用のエッジルータ側ポート３Ｂから予備のエッジルータ側ポート３Ｂに切り替え、当該予備のエッジルータ側ポート３Ｂを経由した予備径路での中継処理を実行する。
　エッジルータ４は、内部ネットワーク５の一部を構成し、当該内部ネットワーク５及び外部ネットワーク６を接続する中継器である。エッジルータ４は、複数のスイッチングハブ側ポート４Ａと、少なくとも１つの外部ネットワーク側ポート４Ｂとを備えて構成され、スイッチングハブ側ポート４Ａがそれぞれ異なるスイッチングハブ３のエッジルータ側ポート３Ｂと接続されると共に、外部ネットワーク側ポート４Ｂが外部ネットワーク６と接続されている。
　監視計算機８は、後述のように内部ネットワーク５を構成する各ネットワークノード（スイッチングハブ３及びエッジルータ４）の負荷を監視し、高負荷となっているネットワークノードを検出した場合に、そのネットワークノードを使用している業務計算機２に対して通信経路を予備径路に切り替えるよう要求する機能を有するコンピュータ装置である。この監視計算機８は、図３に示すように、ＣＰＵ３０、主記憶装置３１及び二次記憶装置３２を有する制御部３３と、通信装置３４とを備え、ＣＰＵ３０、主記憶装置３１、二次記憶装置３２及び通信装置３４が内部バス３５を介して接続されて構成されている。
　ＣＰＵ３０は、監視計算機８全体の動作制御を司るプロセッサである。また主記憶装置３１は、例えば揮発性の半導体メモリから構成され、ＣＰＵ３０のワークメモリとして利用される。主記憶装置３１には、通信装置１４を介したパケットの送受信処理を実行するプログラムでなる送受信処理部４０が格納される。後述する通信情報受信部４１、通信情報データ解析処理部４２及び経路切替え要求送信部４３を備える監視業務処理部４４もこの主記憶装置３１に格納されて保持される。
　二次記憶装置３２は、大容量の記憶装置であり、例えばハードディスク装置から構成される。上述の送受信処理部４０、通信情報受信部４１、通信情報データ解析処理部４２及び経路切替え要求送信部４３は、監視計算機８の起動時等に二次記憶装置３２から読み出されて主記憶装置３１に格納される。この二次記憶装置３２には、後述する通信情報管理用データベース４５、通信情報データベース４６及び統計情報４７が格納されて保持される。
　通信装置３４は、例えばＮＩＣから構成され、外部ネットワーク６を介した業務計算機２（図２）との通信時におけるプロトコル制御を行う。
　クライアント７は、業務計算機２が提供するサービスを利用するユーザが使用するコンピュータ装置である。クライアント７は、必要な情報の提供を外部ネットワーク６及び内部ネットワーク５を介して業務計算機２に要求し、業務計算機２は、要求された情報を内部ネットワーク５及び外部ネットワーク６を介してそのクライアント７に送信する。
（２）本実施の形態によるネットワーク負荷分散方式
　次に、本ネットワークシステム１において採用されているネットワーク負荷分散方式について説明する。
　本ネットワークシステム１の場合、各業務計算機２は、定期的に現用の通信装置１４及び予備の通信装置１４を介して監視用のパケット（以下、これを監視パケットと呼ぶ）をすべての現用経路及び予備径路にそれぞれ送信する。このとき業務計算機２が現用経路及び予備径路に送信する監視パケットは、pingで使用する単純なＩＣＭＰ（Internet　Control　Message　Protocol）パケットでなく、現用経路や予備径路が経由するネットワークノード（スイッチングハブ３やエッジルータ４）等を検出するための経路情報取得用のパケットである。従って、この監視パケットを受信した各ネットワークノードは、自己の識別情報及び受信時間等をその監視パケットに順次書き込んで次段のネットワークノードに送信する一方、この監視パケットのあて先となっているノードは、その監視パケットを受信すると当該監視パケットを送信元の業務計算機２に返信することになる。
　そして業務計算機２は、かかる監視パケットを利用して取得した現用経路や予備径路の経路情報（その現用経路又は予備径路上のネットワークノードや外部ネットワーク６及びそれらの順番に関する情報）及び応答時間（監視パケットを現用経路や予備径路に送信してから戻ってくるまでの時間）と、現用経路を利用した単位時間（例えば１秒）当たりの通信量とを通信経路情報として二次記憶装置１２（図２）に保存すると共に、二次記憶装置１２に保存している通信経路情報を定期的に監視計算機８に送信する。
　監視計算機８は、上述のように各業務計算機２からそれぞれ定期的に送信される通信経路情報をまとめて二次記憶装置３２（図３）に保存する。また監視計算機８は、二次記憶装置３２に保存している通信経路情報に基づいて、内部ネットワーク５を構成する各ネットワークノードの負荷状況を判定し、高負荷となっているネットワークノードが存在すると判定した場合には、そのネットワークノードを利用している業務計算機２の中から通信経路を切り替えるべき業務計算機２と、切替え先の予備径路とを選択する。そして監視計算機８は、このようにして選択した業務用計算機に対して、通信経路を現用経路から上述のように選択した予備径路に切り替えるべき旨の要求（以下、これを経路切替え要求と呼ぶ）を送信する。
　この場合において、監視計算機８は、通信経路を切り替えるべき業務計算機２及び切替え先の予備径路を選択する際、内部ネットワーク５全体の負荷状態を総合的に判断してその業務計算機２及びその予備径路を選択する。具体的に、監視計算機８は、候補となる業務計算機２（つまり高負荷のネットワークノードを現用経路として利用している業務計算機２）のそれぞれについて通信経路を現用経路から予備径路に切り替えたときの各ネットワークノードの負荷をそれぞれ予測し、通信経路を切り替えた場合に切替え先の予備径路上の各ネットワークノードが高負荷とならないように、通信経路を切り替えるべき業務計算機２及び切替え先の予備径路を選択する。
　以上のような本実施の形態によるネットワーク負荷分散方式を実現するための手段として、図２について上述したように、業務計算機２の主記憶装置１１には監視パケット処理部２２、通信情報送信部２３及び経路切替え要求受信部２４が格納されると共に、当該業務計算機２の二次記憶装置１２には通信情報管理用データベース２５が格納されている。
　監視パケット処理部２２は、その業務計算機２の現用経路及び予備径路の経路情報等を収集する機能を有するプログラムである。監視パケット処理部２２は、定期的に現用及び予備の各通信装置１４を介してすべての現用経路及び予備径路に監視パケットをそれぞれ送信することにより、これら現用経路及び予備径路の経路情報と、これら現用経路及び予備径路における応答時間とを収集する。また監視パケット処理部２２は、ＯＳ（Operating　System）が保持する通信ログを参照して、現用経路を利用した単位時間（例えば１秒）当たりの通信量を取得する。そして監視パケット処理部２２は、収集したこれらの情報を二次記憶装置１２に保存された通信情報管理用データベース２５に登録する。
　また通信情報送信部２３は、通信情報管理用データベース２５に登録されている現用経路及び予備径路の通信経路情報を定期的に読み出して監視計算機８に送信する機能を有するプログラムである。さらに経路切替え要求受信部２４は、監視計算機８からの要求（経路切替え要求）に応じて通信経路を現用経路から予備径路に切り替える機能を有するプログラムである。実際上、経路切替え要求受信部２４は、業務計算機２が監視計算機８から送信される経路切替え要求を受信した場合、通信に使用する通信装置１４を、現用の通信装置１４から当該経路切替え要求において指定された予備径路に対応する通信装置１４に切り替えるよう送受信処理部２１を制御する。
　通信情報管理用データベース２５は、監視パケット処理部２２により収集された現用経路及び予備径路の通信経路情報を蓄えておくためのデータベースである。この通信情報管理用データベース２５は、図４に示すように、経路欄２５Ａ、経路情報欄２５Ｂ、応答時間欄２５Ｃ及び通信量欄２５Ｄを有するテーブル形式で構成される。
　そして経路欄２５Ａには、対応する経路と接続された通信装置１４の識別情報及びその通信装置１４が現用及び予備のいずれであるかを表す情報が格納され、経路情報欄２５Ｂには、その通信装置１４と接続された通信経路の経路情報（経由するネットワークノード及びその順番を表す情報）が格納される。また応答時間欄２５Ｃには、その経路情報を取得したときの応答時間が格納され、通信量欄２５Ｄには、その経路情報を取得したときのその通信経路の通信量（ただし現用経路のみ）が格納される。
　従って、図４の場合、対応する業務計算機２は、通信経路として「ＮＩＣ１」という「現用」の通信装置１４と接続された通信経路と、「ＮＩＣ２」という「予備」の通信装置１４と接続された通信経路とを有し、「ＮＩＣ１」と接続された通信経路は、「スイッチングハブ１」及び「エッジルータ１」をこの順番に経由して「外部ネットワーク」と接続され経路であり、その通信経路の応答時間は「1.47ms」で、通信量は「700Mbyt」であったことが示されている。
　また、図３について上述したように、監視計算機８の主記憶装置３１には、通信情報受信部４１、通信情報データ解析処理部４２及び経路切替え要求送信部４３を備える監視業務処理部４４が格納され、当該監視計算機８の二次記憶装置３２には、通信情報管理用データベース４５、通信情報データベース４６及び統計情報４７が格納されている。
　通信情報受信部４１は、上述のように各業務計算機２からそれぞれ定期的に送信される現用経路及び予備径路の通信経路情報を受信し、受信した経路情報を通信情報管理用データベース４５に登録する機能を有するプログラムである。
　また通信情報データ解析処理部４２は、通信情報管理用データベース４５に基づいて、内部ネットワーク５上の高負荷となっているネットワークノードを検出する機能を有するプログラムである。通信情報データ解析処理部４２は、高負荷となっているネットワークノードを検出した場合、通信経路を切り替えるべき業務計算機２及び切替え先の予備径路を選択する。
　さらに経路切替え要求送信部４３は、通信情報データ解析処理部４２により選択された業務計算機２に対して上述の経路切替え要求を送信する機能を有するプログラムである。
　通信情報管理用データベース４５は、各業務計算機２からそれぞれ送信されるその業務計算機２の現用経路及び予備径路の通信経路情報をまとめて蓄えておくためのデータベースである。この通信情報管理用データベース４５は、図５に示すように、計算機名欄４５Ａ、経路欄４５Ｂ、経路情報欄４５Ｃ、応答時間欄４５Ｄ及び通信量欄４５Ｅを有するテーブル形式で構成される。
　そして計算機名欄４５Ａには、対応する業務計算機２の名称が格納される。また経路欄４５Ｂ、経路情報欄４５Ｃ、応答時間欄４５Ｄ及び通信量欄４５Ｅには、その業務計算機２から送信されてきたその業務計算機２の現用経路及び予備径路の通信経路情報に基づいて、それぞれ図４について上述した通信情報管理用データベース２５の対応する経路欄２５Ａ、経路情報欄２５Ｂ、応答時間欄２５Ｃ又は通信量欄２５Ｄに格納されている情報と同じ情報が格納される。
　従って、図５の場合、本ネットワークシステム１内には、「計算機１」、「計算機２」、……という名称の業務計算機２が存在し、例えば「計算機１」という業務計算機２については、通信経路として「ＮＩＣ１」という「現用」の通信装置１４（図２）と接続された通信経路と、「ＮＩＣ２」という「予備」の通信装置１４と接続された通信経路とを有し、「ＮＩＣ１」と接続された通信経路は、「スイッチングハブ１」及び「エッジルータ１」をこの順番に経由して「外部ネットワーク」と接続された経路であり、その通信経路の応答時間は「1.47ms」で、通信量は「700Mbyt」であったことが示されている。
　通信情報データベース４６は、通信情報管理用データベース４５に基づいて一時的に作成されるデータベースであり、通信経路を切り替えるべき業務計算機２を選択する際に利用される。この通信情報データベース４６は、図６に示すように、ノード名欄４６Ａ、使用計算機欄４６Ｂ、経路種別欄４６Ｃ及び総通信量欄４６Ｄを有するテーブル形式で構成される。
　そしてノード名欄４６Ａには、本ネットワークシステム１内に存在する各ノード（業務計算機２、スイッチングハブ３及びエッジルータ４）のノード名がそれぞれ格納され、使用計算機欄４６Ｂには、そのノードがネットワークノードである場合に、そのノードを現用経路又は予備径路として使用する業務計算機２の識別情報（計算機名）が格納される。さらに経路種別欄４６Ｃには、その業務計算機２がそのネットワークノードを使用する通信経路の種別（現用経路及び予備径路）が格納され、総通信量欄４６Ｄには、対応するノードにおける単位時間（例えば１秒）当たりの総通信量が格納される。
　従って、図６の場合、例えば「スイッチングハブ２」は、「計算機１」という業務計算機２には「予備径路」、「計算機３」という業務計算機２には「現用経路」として使用されており、当該「スイッチングハブ２」における単位時間当たりの総通信量は「400M」であることが示されている。
　さらに統計情報４７は、例えば図７に示すように、各ノードの所定時間（例えば10秒）ごとの通信量を所定期間分（例えば数分間分）収集した情報である。図７では、理解の容易化のために統計情報がグラフとして表記されているが、実際はこれらの情報が例えばテーブル上で管理される。なお図７では、グラフの複雑化を避けるため、「スイッチングハブ３」、「エッジルータ１」及び「エッジルータ２」については表示していない。
（３）本実施の形態によるネットワーク負荷分散方式に関する各種処理
　次に、かかる本実施の形態によるネットワーク負荷分散方式に関連して業務計算機２及び監視計算機８により実行される各種処理の処理内容について説明する。なお、以下においては、各種処理の処理主体を「業務計算機」、「監視計算機」又は「プログラム（……部）」として説明するが、実際上は、対応するプログラム又はそのプログラムに基づき、業務計算機２のＣＰＵ１０（図２）又は監視計算機８のＣＰＵ３０（図３）がその処理を実行することは言うまでもない。
（３－１）本ネットワーク負荷分散方式に基づくネットワーク負荷分散処理の流れ
　図８は、かかる本実施の形態によるネットワーク負荷分散方式に関連して業務計算機２において実行される業務計算機側処理（図８の左側のフローチャート）と、監視計算機８において実行される監視計算機側処理（図８の右側のフローチャート）との処理の流れを示す。
　業務計算機２は、例えば電源が投入されるとこの図８の左側に示す業務計算機側処理を開始し、まず、監視パケットを現用側及び予備側の各通信装置１４（図２）それぞれ介して現用経路及び予備径路に送信することにより現用経路及び予備径路についての経路情報及び応答時間を取得すると共に現用経路の単位時間当たりの通信量をＯＳから取得し、取得したこれらの情報を通信経路情報として通信情報管理用データベース２５（図４）に登録する（ＳＰ１）。このステップＳＰ１の処理は、監視パケット処理部２２（図２）及び送受信処理部２１（図２）により実行される。
　続いて、業務計算機２は、上述のようにして取得した個々の現用経路及び予備径路の通信経路情報を監視計算機８に送信する（ＳＰ２）。実際上、この処理は通信情報送信部２３（図２）により実行され、通信情報送信部２３は、通信情報管理用データベース２５に登録されたかかる通信経路情報を読み出して監視計算機８に送信する。
　この後、業務計算機２は、後述のように監視計算機８から経路切替え要求が送信され、又は、ステップＳＰ１の処理を開始してから一定時間が経過する（つまり次の通信経路情報を取得すべき時間となる）のを待ち受ける（ＳＰ３－ＳＰ５－ＳＰ３）。
　そして業務計算機２は、ステップＳＰ１の処理を開始してから一定時間が経過する前に監視計算機８から経路切替え要求が与えられると（ＳＰ３：ＹＥＳ）、この経路切替え要求に従って通信経路を指定された予備経路に切り替える（ＳＰ４）。実際上、この処理は経路切替え要求受信部２４（図２）により実行され、経路切替え要求受信部２４は、かかる経路切替え要求に従って、送受信処理部２１における現用の通信装置１４を、当該経路切替え要求において指定された予備の通信装置１４に切り替える。これにより、送受信処理部２１における通信装置１４の現用及び予備の設定を切り替える。
　そして業務計算機２は、やがてステップＳＰ１の処理を開始してから一定時間が経過すると（ＳＰ５：ＹＥＳ）、ステップＳＰ１に戻り、この後、ステップＳＰ１以降の処理を繰り返す。これにより業務計算機２において、ステップＳＰ１～ステップＳＰ５の処理が定期的に実行される。
　一方、監視計算機８は、例えば電源が投入されると、この図８の右側の監視計算機側処理を開始し、業務計算機２からの通信経路情報を送受信処理部４０（図３）が受信するのを待ち受ける（ＳＰ１０）。そして監視計算機８は、送受信処理部４０がかかる通信経路情報を受信すると、この通信経路情報を通信情報管理用データベース４５（図５）に登録する（ＳＰ１１）。この通信経路情報の通信情報管理用データベース４５への登録は、通信情報受信部４１（図３）により実行される。
　続いて、監視計算機８は、通信情報管理用データベース４５を利用して、一定期間高負荷となっているノードを検出する高負荷ノード検出処理を実行する（ＳＰ１２）。後述のようにこの高負荷ノード検出処理は通信情報データ解析処理部４２（図３）により実行される。
　そして監視計算機８は、この高負荷ノード検出処理において一定期間高負荷となっているネットワークノードを検出できなかった場合には（ＳＰ１３：ＮＯ）、ステップＳＰ１０に戻る。これに対して、監視計算機８は、この高負荷ノード検出処理において一定期間高負荷となっているネットワークノードを検出できた場合には（ＳＰ１３：ＹＥＳ）、そのネットワークノードを現用経路上で使用している業務計算機２の中から通信経路を予備径路に切り替えるべき業務計算機２を選択する経路切替え計算機選択処理を実行する（ＳＰ１４）。後述のようにこの処理も通信情報データ解析処理部４２により実行される。
　続いて、監視計算機８は、かかる経路切替え計算機選択処理において選択された業務計算機２に対して通信経路を現用経路から予備径路に切り替えるべき旨の経路切替え要求を送信する（ＳＰ１５）。この経路切替え要求の送信は、経路切替え要求送信部４３（図３）により実行される。
　そして監視計算機８は、ステップＳＰ１０に戻り、この後、ステップＳＰ１０以降の処理を繰り返す。これにより監視計算機８において、業務計算機２からの通信経路情報を受信するごとに、ステップＳＰ１０～ステップＳＰ１５の処理が繰り返される。
（３－２）経路状態情報取得処理
　図８のステップＳＰ１について上述した通信経路情報取得処理は、監視パケットを業務計算機２の各通信装置１４から現用経路及び予備径路に送信する監視パケット送信処理（図９）と、戻ってきた監視パケットから経路情報等を取得する監視パケット受信処理（図１０）とから構成される。
　図９の監視パケット送信処理では、まず、監視パケット処理部２２（図２）が監視パケットを生成する。この監視パケットは、例えば監視計算機８をあて先とすることができる。そして監視パケット処理部２２は、生成した監視パケットを送受信処理部２１に引き渡す（ＳＰ２０）。
　送受信処理部２１は、監視パケット処理部２２から監視パケットを受け取ると、その業務計算機２が有する通信装置１４のうち、未だ、監視パケットを送信していない通信装置１４を１つ選択し（ＳＰ２１）、その通信装置１４を介してかかる監視パケットを内部ネットワーク５に送信する（ＳＰ２２）。
　この後、送受信処理部２１は、その業務計算機２が有するすべての通信装置１４を介して監視パケットを送信し終えたか否かを判断する（ＳＰ２３）。そして送受信処理部２１は、この判断で否定結果を得るとステップＳＰ２１に戻り、この後ステップＳＰ２１において選択する通信装置１４を未処理の他の通信装置１４に切り替えながら、ステップＳＰ２１～ステップＳＰ２３の処理を繰り返す。
　そして送受信処理部２１は、やがてその業務計算機２が有するすべての通信装置１４を介して監視パケットを送信し終える（つまりすべての現用経路及び予備径路に監視パケットを送信し終える）ことによりステップＳＰ２３で肯定結果を得ると、この監視パケット送信処理を終了する。
　一方、図１０の監視パケット受信処理は、監視計算機８から戻ってきた監視パケットを送受信処理部２１が受信すると開始され、まず、送受信処理部２１が、受信した監視パケットを監視パケット処理部２２に引き渡す（ＳＰ３０）。
　そして監視パケット処理部２２は、かかる監視パケットを受け取ると、その監視パケットから経路情報を取得すると共に、その監視パケットを送信してから当該監視パケットが戻ってくるまでの時間を応答時間として取得する（ＳＰ３１）。また監視パケット処理部２２は、その監視パケットが往復した通信経路の通信量を、ＯＳから取得する（ＳＰ３２）。ただし、その監視パケットが往復した通信経路が現用経路でない場合には、その通信経路の通信量は「０」である。
　そして監視パケット処理部２２は、ステップＳＰ３１において取得した経路情報及び応答時間と、ステップＳＰ３２において取得した通信量とを通信情報管理用データベース２５（図２）に格納し（ＳＰ３３）、この監視パケット受信処理を終了する。
（３－３）高負荷ノード検索処理
　図１１は、図８について上述した監視計算機側処理のステップＳＰ１２において通信情報データ解析処理部４２（図３）により実行される高負荷ノード検出処理の具体的な処理内容を示す。
　通信情報データ解析処理部４２は、この高負荷ノード検出処理を開始すると、まず、通信情報管理用データベース４５に基づいて図６について上述した通信情報データベース４６を作成し（ＳＰ４０）、この後、作成した通信情報データベース４６と、図７について上述した統計情報４７とに基づいて、一定期間負荷が閾値を越えているネットワークノードを検索する（ＳＰ４１）。
　なお、ステップＳＰ４１における「閾値」は、ネットワークシステム１全体の負荷許容範囲に基づいてシステム管理者が設定する値である。ネットワークシステム１の負荷許容範囲の決定方法は、ＳＬＡ（Service　Level　Agreement）やＱｏＳ（Quality　of　Service）によって決定すべきである。例えば、「１分間あるネットワークノードの通信許容量の95％を越える通信が所定数回以上発生している」場合には、そのネットワークノードが高負荷であると判定するよう閾値を設定する。
　そして通信情報データ解析処理部４２は、ステップＳＰ４１の検索処理を完了すると、この高負荷ノード検索処理を終了する。
（３－４）経路切替え計算機選択処理
　図１２は、図８のステップＳＰ１４において通信情報データ解析処理部４２（図３）により実行される経路切替え計算機選択処理の具体的な処理内容を示す。
　通信情報データ解析処理部４２は、この経路切替え計算機選択処理を開始すると、まず、システム内の業務計算機２を１つ選択する（ＳＰ５０）。続いて、通信情報データ解析処理部４２は、通信情報管理用データベース４５（図５）を参照して、ステップＳＰ５０において選択した業務計算機２が上述の高負荷ノード検索処理（図１１）において検出した高負荷ノードを現用経路上で利用しているか否かを判断する（ＳＰ５１）。
　ここで、例えば図５及び図６の例において、ステップＳＰ５０で選択された業務計算機２が「計算機３」であり、高負荷ノード検索処理において検出された高負荷ノードが「スイッチングハブ１」であった場合、図５の通信情報管理用データベース４５を参照すると、「計算機３」は「スイッチングハブ１」を現用経路として利用していないことが分かる。かくして、この場合（ＳＰ５１：ＮＯ）、通信情報データ解析処理部４２は、ステップＳＰ５８に進む。
　これに対して、ステップＳＰ５０で選択された業務計算機２が「計算機２」であり、高負荷ノード検索処理において検出された高負荷ノードが「スイッチングハブ１」であった場合、通信情報管理用データベース４５を参照すると、「計算機２」は「スイッチングハブ１」を現用経路として利用していることが分かる。かくして、この場合（ＳＰ５１：ＹＥＳ）、通信情報データ解析処理部４２は、通信情報管理用データベース４５を参照して、ステップＳＰ５０において選択した業務計算機２の予備径路の中から１つの予備径路を選択する（ＳＰ５２）。
　次いで、通信情報データ解析処理部４２は、通信情報データベース４６を参照して、ステップＳＰ５２において選択した予備径路に通信経路を切り替えた場合の各ネットワークノードの負荷を予測する（ＳＰ５３）。具体的に、通信情報データ解析処理部４２は、各ネットワークノードの負荷を、ステップＳＰ５２において選択した予備径路に通信経路を切り替えた場合のそのネットワークノードの総通信量として予測する。
　例えば、上述の例において、「計算機２」の通信経路として「予備径路」を選択した場合、「計算機２」の通信経路を「予備径路」に切り替えたときの「スイッチングハブ１」の総通信量は、現在の総通信量である「900M」から「計算機２」の通信量である「200M」を差し引いた「700M」と予測され、「スイッチングハブ２」の総通信量は、現在の総通信量である「400M」から「計算機２」の通信量である「200M」を加えた「600M」と予測され、「スイッチングハブ３」の総通信量は、現在の総通信量と同じ「0M」と予測される。また「エッジルータ１」の総通信量は、現在の総通信量である「900M」から「計算機２」の通信量である「200M」を差し引いた「700M」と予測され、「エッジルータ２」の総通信量は、現在の総通信量である「400M」から「計算機２」の通信量である「200M」を加えた「600M」と予測される。
　続いて、通信情報データ解析処理部４２は、ステップＳＰ５３において予測した各ネットワークノードの負荷（総通信量）が、いずれもこれらのネットワークノードごとに予め定められた閾値以下であるか否かを判断する（ＳＰ５５）。なお、この閾値はシステム管理者が自由に設定できる値であるが、一例としてそのネットワークノードの通信許容量の80％以下の値を適用することができる。
　そして通信情報データ解析処理部４２は、この判断において否定結果を得るとステップＳＰ５７に進む。これに対して、通信情報データ解析処理部４２は、ステップＳＰ５４の判断で肯定結果を得ると、そのとき求めたネットワークノードの負荷が、そのとき切替え候補として設定されている予備径路におけるネットワークノードの負荷よりも低いか否かを判断する（ＳＰ５５）。
　なお、「切替え候補の予備径路」とは、後述のようにそれまでの処理によりネットワークノードの負荷が最も低いと判定された予備径路を指す。また予備径路同士のネットワークノードの負荷の高低の比較は、例えば、通信許容量に対するステップＳＰ５３で求めた総通信量の予測値の割合が最も高いネットワークノードの当該割合（以下、これを総通信量予測割合と呼ぶ）同士の比較により行うことができ、そのとき対象としている予備径路の総通信量予測割合が切替え候補の予備径路の総通信量予測割合よりも低い場合に、そのとき対象としている予備径路の負荷が切替え候補の予備径路の負荷よりも低いと判断することができる。
　例えば、そのとき対象としている予備径路における総通信量予測割合の最高値が80％であり、切替え候補の予備径路における総通信量予測割合の最高値が70％であった場合、そのとき対象としている予備径路よりも切替え候補の予備径路の方が負荷が低いと判断される。これに対して、例えば、そのとき対象としている予備径路における総通信量予測割合の最高値が75％であり、切替え候補の予備径路における総通信量予測割合の最高値が80％であった場合、切替え候補の予備径路よりもそのとき対象としている予備径路の方が負荷が低いと判断される。
　そして通信情報データ解析処理部４２は、ステップＳＰ５５の判断で否定結果を得るとステップＳＰ５７に進む。これに対して通信情報データ解析処理部４２は、ステップＳＰ５５の判断で肯定結果を得ると、そのとき対象としている業務計算機２のそのとき対象としている予備径路を切替え候補に設定する（ＳＰ５６）。
　続いて、通信情報データ解析処理部４２は、そのとき対象としている業務計算機２のすべての予備径路についてステップＳＰ５２～ステップＳＰ５６の処理を実行し終えたか否かを判断する（ＳＰ５７）。
　通信情報データ解析処理部４２は、この判断で否定結果を得るとステップＳＰ５２に戻り、この後、ステップＳＰ５２において選択する予備径路を未処理の他の予備径路に切り替えながら、ステップＳＰ５２～ステップＳＰ５７の処理を繰り返す。
　そして通信情報データ解析処理部４２は、やがてステップＳＰ５０において選択した業務計算機２のすべての予備径路についてステップＳＰ５２～ステップＳＰ５６の処理を実行し終えることによりステップＳＰ５７で肯定結果を得ると、システム内のすべての業務計算機２についてステップＳＰ５０～ステップＳＰ５７の処理を実行し終えたか否かを判断する（ＳＰ５８）。
　通信情報データ解析処理部４２は、この判断で否定結果を得るとステップＳＰ５０に戻り、この後、ステップＳＰ５０において選択する業務計算機２を未処理の他の業務計算機２に切り替えながら、ステップＳＰ５０～ステップＳＰ５８の処理を繰り返す。
　そして通信情報データ解析処理部４２は、やがてシステム内のすべての業務計算機２について実行し終えることによりステップＳＰ５８で肯定結果を得ると、そのとき切替え候補に設定されている予備径路及びその予備径路を有する業務計算機２を経路切替え要求送信部に通知する（ＳＰ５９）。この結果、図８のステップＳＰ１５について上述したように、経路切替え要求送信部４３が、その業務計算機２に対して、通信経路をその予備径路に切り替えるべき旨の経路切替え要求を送信する。そして通信情報データ解析処理部４２は、この後、この経路切替え計算機選択処理を終了する。
（４）本実施の形態の効果
　以上のように本実施の形態のネットワークシステム１では、各業務計算機２がそれぞれ現用経路及び予備径路の経路情報と、現用経路の単位時間当たりの通信量となどを取得し、取得したこれらの情報を通信経路情報として監視計算機８に送信すると共に、監視計算機８が各業務計算機２から送信される通信経路情報に基づいて高負荷となっているネットワークノードを検索し、当該検索により高負荷となっているネットワークノードを検出した場合には、業務計算機２ごとに通信経路を予備径路に切り替えた場合の各ネットワークノードの負荷を予測し、各ネットワークノードの負荷が最も低い予備径路を切替え対象の予備径路として選択し、当該予備径路を有する業務計算機２に通信経路を現用経路からその予備径路に切り替えるように経路切替え要求を送信する。
　従って、本ネットワークシステム１によれば、高負荷の予備径路に通信経路が切り替えられることがなく、高負荷となっているネットワークノードの負荷を適切に分散させることができる。また本ネットワークシステム１によれば、このような負荷分散をシステム管理者が介在することなく行うことができる。かくするにつき、本ネットワークシステム１によれば、システム管理者の手間を要することなく、負荷分散された最適なネットワーク環境を動的に提供することができる。
（５）他の実施の形態
　なお上述の実施の形態においては、本発明を図１のように構成されたネットワークシステム１に適用するようにした場合について述べたが、本発明はこれに限らず、例えば図１との対応部分に同一符号を付した図１３に示すように、業務計算機５１が３つ又はそれ以上の通信装置１４を有し、これらがそれぞれ異なるスイッチングハブ５２に接続されることにより複数の予備径路を有するネットワークシステム５０や、スイッチングハブ５２及びエッジルータ４，５３等のネットワークノードが３段以上接続されることにより内部ネットワーク５４が構成されたネットワークシステム５０にも本発明を適用することができる。また本発明は、これ以外の構成を有するこの他種々のネットワークシステムに広く適用することができる。
　また上述の実施の形態においては、図１２のステップＳＰ５５において予備径路同士のネットワークノードの負荷の高低の比較を、総通信量予測割合の最高値の比較により行うようにした場合について述べたが、本発明はこれに限らず、この他種々の方法を広く適用することができる。例えば、予備径路上の各ネットワークノードの総通信量予測割合の平均値により予備径路同士のネットワークノードの負荷の高低の比較するようにしても良い。
　さらに上述の実施の形態においては、業務計算機２から送信する監視パケットのあて先を監視計算機８とするようにした場合について述べたが、本発明はこれに限らず、要は、外部ネットワーク６に接続された計算機を監視パケットのあて先とするのであれば、監視計算機８以外のノードを監視パケットのあて先とするようにしても良い。
　さらに上述の実施の形態においては、各業務計算機２及び監視計算機８が図８の処理を定期的に実行するようにした場合について述べたが、本発明はこれに限らず、例えばシステム管理者の指示により不定期に実行するようにしても良い。ただし本実施の形態のように、各業務計算機２及び監視計算機８が図８の処理を定期的に実行することによって、システム管理者を完全に介在させることなく、本実施の形態によるネットワーク負荷分散方式による負荷分散を行うことができる。
　本発明は、通信経路が冗長化された計算機を含むネットワークシステムに広く適用することができる。
　１，５０……ネットワークシステム、２，５１……業務計算機、３，５２……スイッチングハブ、４，５３……エッジルータ、５，５４……内部ネットワーク、６……外部ネットワーク、７……クライアント、８……監視計算機、１０，３０……ＣＰＵ、１１，３１……主記憶装置、１２，３２……二次記憶装置、１３，３３……制御部、１４，３４……通信装置、２１，４０……送受信処理部、２２……監視パケット処理部、２３……通信情報送信部、２４……経路切替え要求受信部、２５，４５……通信情報管理用データベース、４１……通信情報受信部、４２……通信情報データ解析処理部、４３……経路切替え要求送信部、４６……通信情報データベース、４７……統計情報。

Claims (7)

  1. 　複数のネットワークノードから構成されるネットワークと、前記ネットワークを介してデータを送受信する複数の第１の計算機と、前記ネットワークを介して前記第１の計算機と接続された第２の計算機とを有するネットワークシステムにおける前記ネットワークノードの負荷を分散させる負荷分散方法において、
    　前記第１の計算機は、前記ネットワークを介した通信を行うための現用の通信装置と、少なくとも１つの予備の通信装置とを有し、前記現用の通信装置及び前記予備の通信装置がそれぞれ前記ネットワーク内の異なる前記ネットワークノードと接続され、
    　前記第１の計算機が、前記ネットワークにおける現用の通信経路及び予備の通信経路の経路情報と、前記現用の通信経路の通信量とを取得する第１のステップと、
    　前記第１の計算機が、取得した前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とをそれぞれ前記第２の計算機に送信する第２のステップと、
    　前記第２の計算機が、前記第１の計算機から送信される前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とに基づいて、前記ネットワークを構成する各前記ネットワークノードの中から高負荷となっている前記ネットワークノードを検索する第３のステップと、
    　前記第２の計算機が、高負荷となっている前記ネットワークノードを検出した場合に、前記第１の計算機ごとに通信経路を個々の前記予備の通信経路にそれぞれ切り替えた場合の各前記ネットワークノードの負荷をそれぞれ予測し、予測結果に基づいて、通信経路を前記現用の通信経路から前記予備の通信経路に切り替えるべき前記第１の計算機と、当該第１の計算機における通信経路の切替え先とすべき前記予備の通信経路とを選択し、選択した前記第１の計算機に対して、通信経路を前記現用の通信経路から選択した前記予備の通信経路に切り替えるよう要求する第４のステップと
    　を備えることを特徴とするネットワークシステムの負荷分散方法。
  2. 　前記第１のステップにおいて、前記第１の計算機は、
    　前記現用の通信装置及び前記予備の通信装置のそれぞれを介して監視パケットを前記ネットワークに送信することにより、前記ネットワークにおける前記現用の通信経路及び前記予備の通信経路の経路情報をそれぞれ取得する
    　ことを特徴とする請求項１に記載のネットワークシステムの負荷分散方法。
  3. 　前記第４のステップにおいて、前記第２の計算機は、
    　前記第１の計算機の通信経路を前記予備の通信経路に切り替えたときの各前記ネットワークノードの負荷を、通信経路を当該予備の通信経路に切り替えた場合における当該ネットワークノードの総通信量として予測する
    　ことを特徴とする請求項１に記載のネットワークシステムの負荷分散方法。
  4. 　前記第４のステップにおいて、前記第２の計算機は、
    　通信経路を切り替えた場合に前記ネットワークノードの負荷が最も低くなる前記予備の通信経路を、通信経路の切替え先とすべき前記予備の通信経路として選択し、当該予備の通信経路を有する前記第１の計算機を通信経路を切り替えるべき前記第１の計算機として選択する
    　ことを特徴とする請求項３に記載のネットワークシステムの負荷分散方法。
  5. 　前記第４のステップにおいて、前記第２の計算機は、
    　各前記第１の計算機の前記予備の通信経路ごとに当該予備の通信経路上の各前記ネットワークノードにおける通信許容量に対する前記総通信量の予測値の割合をそれぞれ算出し、前記予備の通信経路ごとの当該割合の最高値同士を比較し、当該割合の最高値が最も低い前記予備の通信経路を通信経路の切替え先とすべき前記予備の通信経路として選択する
    　ことを特徴とする請求項４に記載のネットワークシステムの負荷分散方法。
  6. 　前記第１乃至第４のステップの処理を定期的に実行する
    　ことを特徴とする請求項１に記載のネットワークシステムの負荷分散方法。
  7. 　複数のネットワークノードから構成されるネットワークと、
    　前記ネットワークを介してデータを送受信する複数の第１の計算機と、
    　前記ネットワークを介して前記第１の計算機と接続された第２の計算機と
    　を備え、
    　前記第１の計算機は、前記ネットワークを介した通信を行うための現用の通信装置と、少なくとも１つの予備の通信装置とを有し、前記現用の通信装置及び前記予備の通信装置がそれぞれ前記ネットワーク内の異なる前記ネットワークノードと接続され、
    　前記第１の計算機は、
    　前記ネットワークにおける現用の通信経路及び予備の通信経路の経路情報と、前記現用の通信経路の通信量とを取得し、
    　取得した前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とをそれぞれ前記第２の計算機に送信し、
    　前記第２の計算機は、
    　前記第１の計算機から送信される前記現用の通信経路及び前記予備の通信経路の前記経路情報と、前記現用の通信経路の前記通信量とに基づいて、前記ネットワークを構成する各前記ネットワークノードの中から高負荷となっている前記ネットワークノードを検索し、
    　高負荷となっている前記ネットワークノードを検出した場合に、前記第１の計算機ごとに通信経路を個々の前記予備の通信経路にそれぞれ切り替えた場合の各前記ネットワークノードの負荷をそれぞれ予測し、予測結果に基づいて、通信経路を前記現用の通信経路から前記予備の通信経路に切り替えるべき前記第１の計算機と、当該第１の計算機における通信経路の切替え先とすべき前記予備の通信経路とを選択し、選択した前記第１の計算機に対して、通信経路を前記現用の通信経路から選択した前記予備の通信経路に切り替えるよう要求する
    　ことを特徴とするネットワークシステム。
PCT/JP2013/080666 2013-11-13 2013-11-13 ネットワークシステム及びその負荷分散方法 WO2015071973A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2013/080666 WO2015071973A1 (ja) 2013-11-13 2013-11-13 ネットワークシステム及びその負荷分散方法
US14/769,338 US20150381498A1 (en) 2013-11-13 2013-11-13 Network system and its load distribution method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/080666 WO2015071973A1 (ja) 2013-11-13 2013-11-13 ネットワークシステム及びその負荷分散方法

Publications (1)

Publication Number Publication Date
WO2015071973A1 true WO2015071973A1 (ja) 2015-05-21

Family

ID=53056943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/080666 WO2015071973A1 (ja) 2013-11-13 2013-11-13 ネットワークシステム及びその負荷分散方法

Country Status (2)

Country Link
US (1) US20150381498A1 (ja)
WO (1) WO2015071973A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133730A (ja) * 2017-02-16 2018-08-23 Kddi株式会社 ネットワークシステム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237296B2 (en) * 2014-01-27 2019-03-19 Cronus Cyber Technologies Ltd Automated penetration testing device, method and system
US10986516B2 (en) * 2017-03-10 2021-04-20 Huawei Technologies Co., Ltd. System and method of network policy optimization
US20200036639A1 (en) * 2018-07-26 2020-01-30 Cable Television Laboratories, Inc. Methods for predicting future network traffic
US11678252B2 (en) 2018-10-05 2023-06-13 Huawei Technologies Co., Ltd. Quality of service information notification to user equipment, users, and application server
US11418594B1 (en) * 2021-10-20 2022-08-16 Dell Products L.P. Multi-path layer configured to provide link availability information to storage system for load rebalancing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243298A (ja) * 2011-05-18 2012-12-10 Hitachi Ltd サーバｉ／ｏマイグレーション管理方法及び装置
WO2013150691A1 (ja) * 2012-04-06 2013-10-10 株式会社日立製作所 管理サーバ、および、フロー処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070050520A1 (en) * 2004-03-11 2007-03-01 Hewlett-Packard Development Company, L.P. Systems and methods for multi-host extension of a hierarchical interconnect network
US7706281B2 (en) * 2006-01-06 2010-04-27 Cisco Technology, Inc. Selecting paths in multi-homed transport-layer network associations
JP5166373B2 (ja) * 2009-08-14 2013-03-21 株式会社日立製作所 トランスポート制御サーバ、トランスポート制御システム及び予備パス設定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243298A (ja) * 2011-05-18 2012-12-10 Hitachi Ltd サーバｉ／ｏマイグレーション管理方法及び装置
WO2013150691A1 (ja) * 2012-04-06 2013-10-10 株式会社日立製作所 管理サーバ、および、フロー処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133730A (ja) * 2017-02-16 2018-08-23 Kddi株式会社 ネットワークシステム

Also Published As

Publication number Publication date
US20150381498A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
US10791168B1 (en) Traffic aware network workload management system
WO2015071973A1 (ja) ネットワークシステム及びその負荷分散方法
CN109274707B (zh) 一种负载调度方法及装置
US9143452B2 (en) Data processing
US20180176154A1 (en) Method and system for managing workloads in a cluster
US9659075B2 (en) Providing high availability in an active/active appliance cluster
US9703608B2 (en) Variable configurations for workload distribution across multiple sites
US8015275B2 (en) Computer product, method, and apparatus for managing operations of servers
US7787383B2 (en) Method and apparatus for monitoring a connection in a peer-to-peer network
US20150372911A1 (en) Communication path management method
US20130007253A1 (en) Method, system and corresponding device for load balancing
US20150347246A1 (en) Automatic-fault-handling cache system, fault-handling processing method for cache server, and cache manager
US9264337B2 (en) Service monitoring system, service monitoring method, and non-transitory computer-readable recording medium
EP2939401B1 (en) Method for guaranteeing service continuity in a telecommunication network and system thereof
JP6272190B2 (ja) 計算機システム、計算機、負荷分散方法及びそのプログラム
WO2016048390A1 (en) Link aggregation configuration for a node in a software-defined network
WO2013146808A1 (ja) コンピュータシステム、及び通信経路変更方法
US20080285469A1 (en) Computer replacing redundant communication routes, and programs and method for the same
JP3646787B2 (ja) 負荷分散機能を有するネットワーク中継装置、ネットワーク中継装置の負荷分散方法、及びプログラム
JP4309321B2 (ja) ネットワークシステムの運用管理方法及びストレージ装置
JP2006235837A (ja) 負荷分散システム、負荷分散装置管理サーバ、負荷分散装置の切り替え方法及びプログラム
JP2006148376A (ja) ネットワーク監視システム、ネットワーク上位監視装置、ネットワーク下位監視装置及びネットワーク監視方法
WO2016164061A1 (en) Big data transfer
JP6179981B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
KR20190048324A (ko) 다중 네트워크 기반의 서비스를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13897412

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14769338

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13897412

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP