JP7120059B2 - 負荷分散システム及び負荷分散方法 - Google Patents

負荷分散システム及び負荷分散方法 Download PDF

Info

Publication number
JP7120059B2
JP7120059B2 JP2019019173A JP2019019173A JP7120059B2 JP 7120059 B2 JP7120059 B2 JP 7120059B2 JP 2019019173 A JP2019019173 A JP 2019019173A JP 2019019173 A JP2019019173 A JP 2019019173A JP 7120059 B2 JP7120059 B2 JP 7120059B2
Authority
JP
Japan
Prior art keywords
packets
new flow
load
packet
transfer device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019019173A
Other languages
English (en)
Other versions
JP2020127153A (ja
Inventor
明寛 木村
伸也 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019019173A priority Critical patent/JP7120059B2/ja
Priority to US17/427,689 priority patent/US11882040B2/en
Priority to PCT/JP2020/002192 priority patent/WO2020162185A1/ja
Publication of JP2020127153A publication Critical patent/JP2020127153A/ja
Application granted granted Critical
Publication of JP7120059B2 publication Critical patent/JP7120059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/83Admission control; Resource allocation based on usage prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/25Mapping addresses of the same type
    • H04L61/2503Translation of Internet protocol [IP] addresses
    • H04L61/2514Translation of Internet protocol [IP] addresses between local and global IP addresses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/25Mapping addresses of the same type
    • H04L61/2503Translation of Internet protocol [IP] addresses
    • H04L61/2517Translation of Internet protocol [IP] addresses using port numbers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、負荷分散システム及び負荷分散方法に関する。
ルータ等のパケット転送装置の負荷を分散させる技術が従来から知られている。例えば、パケットの転送先として複数のパケット転送装置と複数の転送経路とを用意し、それぞれの転送経路にトラヒックを均等に印加することで、パケット転送装置の負荷を分散する技術が知られている。また、このような負荷分散技術として、ECMP(Equal Cost Multi Path)又はECMPルーティングと呼ばれる技術も知られている。ECMPは、上述した複数の転送経路のうち、等コストとなる転送経路にトラヒックを均等に印加する負荷分散技術である。
ECMPを用いた負荷分散システムにおいて、パケット転送装置の出力物理ポートの出力バッファを監視し、この出力バッファの使用量又はパケット流量が閾値を超えた場合、転送経路を切り替える技術が知られている(例えば、特許文献1)。
パケット転送装置における転送容量の指標として、bps(bits per second)で表されるデータ量の転送容量と、pps(packets per second)で表されるパケット数の転送容量とがある。また、これらの転送容量には、パケット転送装置に固有の上限値がある。例えば、パケット転送装置をネットワーク仮想化技術により実現した場合、bpsは物理NIC(Network Interface Card)のラインレートに律速されることがあり、ppsはOS(Operating System)やアプリケーション等のソフトウェアのパケット処理速度に律速されることがある。
ECMPでは、フロー特性、すなわちロングパケット中心のフローかショートパケット中心のフローかを考慮していないため、パケット転送装置が転送するパケット長に偏りがある場合に、パケット転送装置の転送容量を最大限に活用することができないことがある。ここで、フローとは、フロー情報が同一のパケット(トラヒック)又はパケット群のことを言う。フロー情報は、パケットに含まれるヘッダ情報により特定され、例えば、5-tuple(送信元IP(Internet Protocol)アドレス、宛先IPアドレス、送信元ポート番号、宛先ポート番号、プロトコルタイプ)のことを言う。
例えば、動画等のトラヒックはロングパケットが多いという性質がある。このため、動画等のトラヒックが集中した場合、データ量の転送容量は枯渇する一方で、パケット数の転送容量には余裕がある状態となる。他方で、例えば、VoIP(Voice over Internet Protocol)やテレメトリング等のトラヒックはショートパケットが多いという性質がある。このため、VoIPやテレメトリング等のトラヒックが集中した場合、データ量の転送容量には余裕がある一方で、パケット数の転送容量が枯渇する状態となる。
そこで、フロー特性を考慮して負荷を分散する技術がある。図10は、フロー特性を考慮して負荷を分散する負荷分散システムの一例を示す図である(例えば、非特許文献1)。図10において、サーバ#1及びサーバ#2はサーバ91である。CPE#1及びCPE#2は宅内装置(Customer Premises Equipment:CPE)92である。Network#1~Network#3はネットワーク93である。
サーバ91は、CPE92の一部機能を仮想化するvCPE(Virtualized CPE)をホストする。Network#1からNetwork#3へ転送されるパケットは、CPE#1と、サーバ#1又はサーバ#2とを介して転送される。すなわち、パケットは、第1のパケット転送装置としてのCPE92と第2のパケット転送装置としてのサーバ91を介して転送される。
負荷監視装置94は、bpsとppsの観点でサーバ91の負荷を監視し(1)、サーバ91の負荷が所定の閾値を超えるとCPE92に負荷状態を通知する(2)。CPE92は、通知に基づいて各サーバ91の負荷状態を記憶する。そして、CPE92は、Network#1から新規フローのパケットを受信すると、新規フローのアプリケーションを識別し、識別したアプリケーションに基づいてパケット長を予測する。
そして、CPE92は、パケット長が長いと予測した場合には、bpsの観点で低負荷なサーバ91上のvCPEを選択し、パケット長が短いと予測した場合には、ppsの観点で低負荷なサーバ91上のvCPEを選択する。そして、CPE92は、選択したサーバ91にパケットを転送する(3)。
特開2004-350078号公報
木村 明寛、宮本 克真、河野 伸也、土屋 英雄、岡田 昭宏、「フロー特性に基づくvCPEサーバの負荷分散方式」、電子情報通信学会2018年総合大会講演論文集,Vol.2018年_通信(2),p.90 b-6-90
図10に示した負荷分散システムでは、第1のパケット転送装置が新規フローのアプリケーションを識別する。このため、図10に示した負荷分散システムには、第1のパケット転送装置のコストが増加する問題がある。
本発明の実施の形態は、上記の点に鑑みてなされたもので、第1のパケット転送装置による新規フローのアプリケーションの識別を不要とし、第1のパケット転送装置のコストの増加を防ぐことを目的とする。
上記目的を達成するため、本発明の実施の形態は、データ量又はパケット数において負荷が高い場合に新規フローのアプリケーションを識別する識別手段と、前記識別手段により識別されたアプリケーションのフロー特性とデータ量又はパケット数のいずれにおいて負荷が高いかと基づいて、前記新規フローの振り分けが必要であるか否かを判定する判定手段と、前記判定手段により前記新規フローの振り分けが必要であると判定された場合に振り分け先を決定する決定手段と、前記決定手段により決定された振り分け先を介して前記新規フローのパケットが転送されるように制御する制御手段と、を有することを特徴とする。
第1のパケット転送装置による新規フローのアプリケーションの識別を不要とし、第1のパケット転送装置のコストの増加を防ぐことを目的とする。
図1は、本発明の実施の形態における負荷分散システムの全体構成の一例を示す図である。 図2は、実施例1における第2のパケット転送装置が新規フローの振り分けが必要であると判定した場合の経路制御の一例を示す図である。 図3は、実施例1における負荷分散システムの機能構成の一例を示す図である。 図4は、実施例1における第2のパケット転送装置による振り分け処理の流れの一例を説明するための図である。 図5は、実施例1における第2のパケット転送装置による経路制御処理の流れの一例を説明するための図である。 図6は、実施例2における第2のパケット転送装置が新規フローの振り分けが必要であると判定した場合の経路制御の一例を示す図である。 図7は、実施例2における負荷分散システムの機能構成の一例を示す図である。 図8は、実施例2における経路制御処理のシーケンスの一例を説明するための図である。 図9は、コンピュータのハードウェア構成の一例を示す図である。 図10は、フロー特性を考慮して負荷を分散する負荷分散システムの一例を示す図である。
以下、本発明の実施の形態について説明する。なお、以降では、フロー特性には、ロングパケットが多いフローであることを示す「高bpsフロー」と、ショートパケットが多いフローであることを示す「高ppsフロー」とがあるものとする。
<全体構成>
まず、本発明の実施の形態における負荷分散システム1の全体構成について、図1を参照しながら説明する。図1は、本発明の実施の形態における負荷分散システム1の全体構成の一例を示す図である。
図1に示すように、本発明の実施の形態における負荷分散システム1には、負荷監視装置10と、第1のパケット転送装置20と、第2のパケット転送装置30とが含まれる。
負荷監視装置10は、例えばコンピュータ又はコンピュータシステム等であり、負荷分散対象である第2のパケット転送装置30のトラヒック流量を監視する。負荷監視装置10は、bpsとppsの観点で第2のパケット転送装置30の負荷を監視する。
第1のパケット転送装置20は、例えばルータ等であり、ネットワークN1側からのパケットを第2のパケット転送装置30に転送する。このとき、第1のパケット転送装置20は、負荷分散に用いられる所定のテーブルを参照して、複数の第2のパケット転送装置30のうちの1台の第2のパケット転送装置30に当該パケットを転送する。
第2のパケット転送装置30は、例えばルータ等であり、第1のパケット転送装置20から転送されたパケットをネットワークN2側に転送する。第2のパケット転送装置30は、データ量(bps)又はパケット数(pps)において負荷が高い場合に新規フローのアプリケーションを識別する。そして、第2のパケット転送装置30は、高負荷の種別と識別したアプリケーションのフロー特性とに基づいて、新規フローの振り分けが必要であるか否かを判定する。ここで、高負荷の種別とは、データ量の点で高負荷であるかパケット数の点で高負荷であるかを示す。
そして、第2のパケット転送装置30は、新規フローの振り分けが必要であると判定した場合に振り分け先の第2のパケット転送装置30を決定し、決定した第2のパケット転送装置30を介して新規フローのパケットが転送されるように経路制御する。
なお、以降では、複数の第2のパケット転送装置30の各々を区別する場合は、「第2のパケット転送装置#1」、「第2のパケット転送装置#2」等と表す。また、図1に示す負荷分散システム1の構成は一例であって、他の構成であっても良い。例えば、第1のパケット転送装置20及び第2のパケット転送装置30は、ネットワーク仮想化技術によってコンピュータ上等に構築された仮想的なルータ等であっても良い。また、第2のパケット転送装置30は、3台以上あっても良い。
(実施例1)
以降では、本発明の実施の形態における負荷分散システム1の実施例1について説明する。
<経路制御>
まず、実施例1における第2のパケット転送装置30が新規フローの振り分けが必要であると判定した場合の経路制御について図2を参照しながら説明する。図2は、実施例1における第2のパケット転送装置30が新規フローの振り分けが必要であると判定した場合の経路制御の一例を示す図である。図2に示すように、第2パケット転送装置#1は、負荷監視装置10から、第2のパケット転送装置#2の「NAT(Network Address Translation)の送信元IP(Internet Protocol)アドレス」を取得する(1)。
そして、第2のパケット転送装置#1は、フローの開始契機となるパケットをNATしてネットワークN2に転送する(2)が、このとき、送信元IPアドレスとして、(1)で取得したIPアドレスを用いる。これにより、応答パケットは第2のパケット転送装置#2に宛てて送信される。
そして、第2のパケット転送装置#1は、応答パケットが第2のパケット転送装置#2のフィルタに止められないよう、第2のパケット転送装置#1のフィルタの状態情報を第2のパケット転送装置#2と共有する(3)。フィルタの状態情報としては、例えばiptablesの状態情報がある。第2のパケット転送装置#2は、通常はESTABLISHED状態にないパケットはドロップする。
そして、第2のパケット転送装置#1は、第1のパケット転送装置20に対して、当該フローの転送用トンネルを第2のパケット転送装置#2宛トンネルとするよう指示する(4)。
このように、第2のパケット転送装置30は、NAT又はNAPT(Network Address Port Translation)の送信元IPアドレスを用いて経路制御を行うことで、新規フローを他の第2のパケット転送装置30に振り分けることができる。
<機能構成>
次に、実施例1における負荷分散システム1の機能構成について、図3を参照しながら説明する。図3は、実施例1における負荷分散システム1の機能構成の一例を示す図である。
図3に示すように、実施例1における負荷監視装置10は、流量監視部101と、低負荷リスト送信部102と、IPアドレス送信部103とを有する。
流量監視部101は、第2のパケット転送装置30の統計情報から、これらの第2のパケット転送装置30のトラヒック流量をデータ量及びパケット数それぞれの観点で監視する。すなわち、流量監視部101は、各第2のパケット転送装置30について、監視結果として、データ量及びパケット数を得る。
低負荷リスト送信部102は、第2のパケット転送装置30からの依頼に応答して、低負荷の第2のパケット転送装置30のリストを送信する。低負荷リスト送信部102は、観点として「データ量」を指定されて依頼された場合には、「データ量」の点で低負荷の第2のパケット転送装置30のリストを送信する。また、低負荷リスト送信部102は、観点として「パケット数」を指定されて依頼された場合には、「パケット数」の点で低負荷の第2のパケット転送装置30のリストを送信する。低負荷リスト送信部102は、例えば、負荷の低い順に第2のパケット転送装置30のリストを作成して送信する。
IPアドレス送信部103は、第2のパケット転送装置30からの依頼に応答して、依頼で指定された第2のパケット転送装置30のNATの送信元IPアドレスを送信する。
また、図3に示すように、実施例1における第2のパケット転送装置30は、識別部301と、判定部302と、決定部303と、制御部304とを有する。
識別部301は、データ量又はパケット数において負荷が高い場合に、新規フローのアプリケーションを識別し、当該新規フローのフロー特性を特定する。識別部301は、例えば、パケットの5-tupleやL7情報(L7のヘッダ情報等)を用いて新規フローのアプリケーションを識別する。
判定部302は、高負荷の種別と識別部301により特定されたフロー特性とに基づいて、新規フローの振り分けが必要か否かを判定する。判定部302は、データ量の点で負荷が高く、フロー特性が高bpsフローである場合に、新規フローの振り分けが必要と判定し、パケット数の点で負荷が高く、フロー特性が高ppsフローである場合に、新規フローの振り分けが必要と判定する。
決定部303は、判定部302により新規フローの振り分けが必要と判定された場合に、負荷監視装置10から低負荷の第2のパケット転送装置30のリストを取得する。決定部303は、新規フローのフロー特性が高bpsフローである場合には、観点として「データ量」を指定して負荷監視装置10に低負荷のリストを依頼する。決定部303は、新規フローのフロー特性が高ppsフローである場合には、観点として「パケット数」を指定して負荷監視装置10に低負荷のリストを依頼する。
そして、決定部303は、低負荷の第2のパケット転送装置30のリストの中から1つ第2のパケット転送装置30を選択し、選択した第2のパケット転送装置30を振り分け先として決定する。決定部303は、例えば、リストの先頭の第2のパケット転送装置30を振り分け先として決定する。
制御部304は、振り分け先として決定した第2のパケット転送装置30のNATの送信元IPアドレスを負荷監視装置10から取得し、取得した送信元IPアドレスを用いて、フローの開始契機となるパケットをNATしてネットワークN2に転送する。そして、制御部304は、自装置のフィルタの状態情報を振り分け先として決定した第2のパケット転送装置30と共有する。そして、制御部304は、第1のパケット転送装置20に対して、新規フローの転送用トンネルを、振り分け先として決定した第2のパケット転送装置30宛てトンネルとするように指示する。
<振り分け処理>
以降では、実施例1における第2のパケット転送装置30による振り分け処理について、図4を参照しながら説明する。図4は、実施例1における第2のパケット転送装置30による振り分け処理の流れの一例を説明するための図である。
まず、第2のパケット転送装置30は、パケットを受信し(ステップS101)、高負荷であるか否かを判定する(ステップS102)。ここで、第2のパケット転送装置30は、データ量の点で高負荷であるか否か、及び、パケット数の点で高負荷であるか否かをそれぞれ判定する。
次に、第2のパケット転送装置30は、データ量又はパケット数の点で高負荷である場合には、受信したパケットがフローの開始契機となるパケットか否かを判定する(ステップS103)。
次に、受信したパケットがフローの開始契機となるパケットの場合には、第2のパケット転送装置30は、当該フローのアプリケーションを識別する(ステップS104)。
次に、第2のパケット転送装置30は、識別したアプリケーションのフロー特性と高負荷の種別に基づいて、振り分け要か否かを判定する(ステップS105)。第2のパケット転送装置30は、データ量の点で負荷が高く、識別したアプリケーションのフロー特性が高bpsフローである場合に、振り分け要と判定する。また、第2のパケット転送装置30は、パケット数の点で負荷が高く、フロー特性が高ppsフローである場合に、振り分け要と判定する。
次に、第2のパケット転送装置30は、振り分け要と判定した場合には、負荷監視装置10から、識別したアプリケーションのフロー特性に基づいて、低負荷の第2のパケット転送装置30のリストを取得する(ステップS106)。
次に、第2のパケット転送装置30は、取得したリストに基づいて、振り分け先の第2のパケット転送装置30を決定し(ステップS107)、決定した第2のパケット転送装置30にフローが流れるように誘導する経路制御を行う(ステップS108)。
一方、ステップS105において振り分け不要と判定した場合、ステップS103においてフローの開始契機となるパケットでないと判定した場合、ステップS102において高負荷でないと判定した場合には、第2のパケット転送装置30は、パケットをネットワークN2へ送信する(ステップS109)。
このように、第2のパケット転送装置30が、新規フローのアプリケーションを識別し、識別したアプリケーションのフロー特性と高負荷の種別に基づいて、新規フローの振り分け要否を判定する。そして、第2のパケット転送装置30は、振り分け要と判定すると、振り分け先にパケットが送信されるよう経路制御する。したがって、負荷分散システム1は、第1のパケット転送装置20による新規フローのアプリケーションの識別を不要とすることができる。
<経路制御処理>
図5は、実施例1における第2のパケット転送装置30による経路制御処理の流れの一例を説明するための図である。図5に示す処理は、図4に示したステップS108に対応する処理である。まず、第2のパケット転送装置30の制御部304は、振り分け先の第2のパケット転送装置30のNATの送信元IPアドレスを取得する(ステップS201)。
次に、制御部304は、フローの開始契機となるパケットを、取得した送信元IPアドレスを用いてNATし、ネットワークN2へ転送する(ステップS202)。
次に、制御部304は、自装置のフィルタの状態情報を振り分け先の第2のパケット転送装置30と共有する(ステップS203)。
次に、制御部304は、第1のパケット転送装置20に対して、当該フローの転送先を振り分け先の第2のパケット転送装置30とするように指示する(ステップS204)。
このように、制御部304が振り分け先の第2のパケット転送装置30にフローが流れるように誘導する経路制御を行うので、第1のパケット転送装置20は、振り分け先の第2のパケット転送装置30にパケットを転送することができる。
以上のように、実施例1における負荷分散システム1は、高負荷になると、第2のパケット転送装置30の識別部301が、新規フローのアプリケーションを識別する。そして、判定部302が、アプリケーションのフロー特性と高負荷の種別とに基づいて新規フローの振り分けが必要か否かを判定する。そして、新規フローの振り分けが必要な場合、決定部303が、負荷監視装置10から低負荷の第2のパケット転送装置30のリストを取得して、振り分け先の第2のパケット転送装置30を決定する。そして、制御部304が、振り分け先の第2のパケット転送装置30にフローが流れるように誘導する経路制御を行う。これにより、第1のパケット転送装置20による新規フローのアプリケーションの識別を不要とすることができる。このため、第1のパケット転送装置20のコストの増加を防ぐことができる。
また、判定部302は、新規フローのアプリケーションのフロー特性が高bpsフローであり、データ量に関して負荷が高い場合に、振り分け要と判定する。また、判定部302は、新規フローのアプリケーションのフロー特性が高ppsフローであり、パケット数に関して負荷が高い場合に、振り分け要と判定する。このため、第2のパケット転送装置30は、新規フローのフロー特性に応じた振り分けを行うことができる。
また、制御部304は、振り分け先の第2のパケット転送装置30がNATで用いる送信元IPアドレスを負荷監視装置10から取得し、取得した送信元IPアドレスを用いてNATして新規フローの契機となるパケットをネットワークN2へ送信する。そして、制御部304は、振り分け先の第2のパケット転送装置30とフィルタの状態情報を共有し、第1のパケット転送装置20に対して、新規フローのパケットを振り分け先の第2のパケット転送装置30に送信するように指示する。このため、制御部304は、振り分け先の第2のパケット転送装置30に新規フローが流れるように誘導することができる。
(実施例2)
以降では、本発明の実施の形態における負荷分散システム1の実施例2について説明する。なお、実施例2では、主に、実施例1との相違点について説明し、実施例1と同様の構成要素については、適宜、その説明を省略する。
<経路制御>
まず、実施例2における第2のパケット転送装置30が新規フローの振り分けが必要であると判定した場合の経路制御について説明する。図6は、実施例2における第2のパケット転送装置30が新規フローの振り分けが必要であると判定した場合の経路制御の一例を示す図である。図6に示すように、第2パケット転送装置#1は、負荷監視装置10から、第2のパケット転送装置#2とのトンネル接続に必要な情報を取得する(1)。
そして、第2のパケット転送装置#1は、取得した情報に基づいて、第2のパケット転送装置#2とのトンネル接続を確立する(2)。そして、第2のパケット転送装置#1は、フローの開始契機となるパケットを、確立したトンネル接続を介して第2のパケット転送装置#2に転送する(3)。
第2のパケット転送装置#2は、フローの開始契機となるパケットを、自身のIPアドレスを用いてNATし、ネットワークN2に転送する(4)。これにより、応答パケットは、パケット転送装置#2に宛てて送信される。
そして、第2のパケット転送装置#1は、第1のパケット転送装置20に対して、当該フローの転送用トンネルを第2のパケット転送装置#2宛トンネルとするよう指示する(5)。
このように、実施例2における第2のパケット転送装置30は、振り分け先の第2のパケット転送装置30との間のトンネルを用いて経路制御を行うことで、新規フローを他の第2のパケット転送装置30に振り分けることができる。
<機能構成>
次に、実施例2における負荷分散システム1の機能構成について、図7を参照しながら説明する。図7は、実施例2における負荷分散システム1の機能構成の一例を示す図である。
図7に示すように、実施例2における負荷監視装置10は、流量監視部101と、接続情報送信部104とを有する。接続情報送信部104は、実施例2における第2のパケット転送装置30からの依頼に応答して、当該依頼で指定された第2のパケット転送装置30のトンネル接続に必要な情報を送信する。
また、実施例2における第2のパケット転送装置30は、識別部301と、判定部302と、決定部303と、制御部305とを有する。制御部305は、負荷監視装置10から、振り分け先の第2のパケット転送装置30とのトンネル接続に必要な情報を取得し、取得した情報に基づいて、振り分け先の第2のパケット転送装置30とのトンネル接続を確立する。そして、制御部305は、フローの開始契機となるパケットを、確立したトンネル接続を介して振り分け先の第2のパケット転送装置30に転送する。そして、制御部305は、第1のパケット転送装置20に対して、当該フローの転送用トンネルを、振り分け先の第2のパケット転送装置30宛トンネルとするよう指示する。
<経路制御処理>
図8は、実施例2における経路制御処理のシーケンスの一例を説明するための図である。まず、第2のパケット転送装置#1は、負荷監視装置10から、第2のパケット転送装置#2とのトンネル接続に必要な情報を取得し(ステップS301)、取得した情報に基づいて、第2のパケット転送装置#2とのトンネル接続を確立する(ステップS302)。
次に、第2のパケット転送装置#1は、フローの開始契機となるパケットを、確立したトンネル接続を介して第2のパケット転送装置#2に転送する(ステップS303)。
第2のパケット転送装置#2は、フローの開始契機となるパケットを、自身のIPアドレスを用いてNATし、ネットワークN2に転送する(ステップS304)。
次に、第2のパケット転送装置#1は、第1のパケット転送装置20に対して、当該フローの転送用トンネルを、振り分け先の第2のパケット転送装置30宛トンネルとするよう指示する(ステップS305)。
以上のように、実施例2における第2のパケット転送装置30は、新規フローを他の第2のパケット転送装置30に振り分ける場合に、振り分け先の第2のパケット転送装置30との間でトンネル接続を確立する。そして、実施例2における第2のパケット転送装置30は、振り分け先の第2のパケット転送装置30に、確立したトンネル接続を介して新規フローの契機となるパケットを送信する。そして、実施例2における第2のパケット転送装置30は、第1のパケット転送装置20に対して、新規フローの転送用トンネルを、振り分け先の第2のパケット転送装置30宛トンネルとするよう指示する。このため、実施例2における第2のパケット転送装置30は、振り分け先の第2のパケット転送装置30に新規フローが流れるように誘導することができる。
<ハードウェア構成>
最後に、本発明の実施の形態における負荷監視装置10、第1のパケット転送装置20及び第2のパケット転送装置30のハードウェア構成について説明する。本発明の実施の形態における負荷監視装置10、第1のパケット転送装置20及び第2のパケット転送装置30は、例えば図9に示すコンピュータ500を1台以上用いることにより実現される。図9は、コンピュータ500のハードウェア構成の一例を示す図である。
図9に示すコンピュータ500は、CPU(Central Processing Unit)501と、RAM(Random Access Memory)502と、ROM(Read Only Memory)503と、外部I/F504と、通信I/F505と、補助記憶装置506とを有する。これら各ハードウェアは、それぞれがバスBを介して通信可能に接続されている。
CPU501は、ROM503や補助記憶装置506等からプログラムやデータをRAM502上に読み出して処理を実行する演算装置である。
RAM502は、プログラムやデータを一時保持する揮発性の半導体メモリである。ROM503は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ROM503には、例えば、OS(Operating System)設定やネットワーク設定等が格納されている。
外部I/F504は、外部装置とのインタフェースである。外部装置には、記録媒体504a等がある。コンピュータ500は、外部I/F504を介して、記録媒体504a等の読み取りや書き込み等を行うことができる。
記録媒体504aには、例えば、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
通信I/F505は、他の装置と通信を行うためのインタフェースである。なお、第1のパケット転送装置20及び第2のパケット転送装置30は、複数の通信I/F505を有する。
補助記憶装置506は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置506に格納されているプログラムやデータには、例えば、OS、当該OS上において各種機能を実現するアプリケーションプログラム等がある。
本発明の実施の形態における負荷監視装置10、第1のパケット転送装置20及び第2のパケット転送装置30は、図9に示すコンピュータ500を1台以上用いることにより、上述した各種処理を実行することができる。例えば、負荷監視装置10が有する各機能部は、補助記憶装置506に格納された1以上のプログラムがCPU501等に実行させる処理により実現される。また、例えば、第2のパケット転送装置30が有する各機能部は、補助記憶装置506に格納された1以上のプログラムがCPU501等に実行させる処理や通信I/F505等により実現される。
なお、負荷監視装置10は、例えばディスプレイ等の表示装置と、例えばキーボードやマウス等の入力装置とのうちの少なくとも一方を有していても良い。
本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上記の実施の形態では、負荷分散を行うパケット転送装置を第1のパケット転送装置20、負荷分散の対象となるパケット転送装置を第2のパケット転送装置30としたが、これは、或るパケット転送装置が常に第1のパケット転送装置20又は第2のパケット転送装置30のいずれかとして機能することを意味するものではない。例えば、同一のパケット転送装置が第1のパケット転送装置20として機能し、かつ、第2のパケット転送装置30としても機能しても良い。
1 負荷分散システム
10、94 負荷監視装置
20 第1のパケット転送装置
30 第2のパケット転送装置
91 サーバ
92 CPE
93 ネットワーク
101 流量監視部
102 低負荷リスト送信部
103 IPアドレス送信部
104 接続情報送信部
301 識別部
302 判定部
303 決定部
304、305 制御部
N1、N2 ネットワーク

Claims (7)

  1. データ量又はパケット数において負荷が高い場合に新規フローのアプリケーションを識別する識別手段と、
    前記識別手段により識別されたアプリケーションのフロー特性とデータ量又はパケット数のいずれにおいて負荷が高いかと基づいて、前記新規フローの振り分けが必要であるか否かを判定する判定手段と、
    前記判定手段により前記新規フローの振り分けが必要であると判定された場合に振り分け先を決定する決定手段と、
    前記決定手段により決定された振り分け先を介して前記新規フローのパケットが転送されるように制御する制御手段と、
    有し、
    前記制御手段は、前記振り分け先がNATで用いる送信元IPアドレスを取得し、取得した送信元IPアドレスを用いてNATして前記新規フローの契機となるパケットを送信し、前記振り分け先とフィルタの状態情報を共有し、前記新規フローの契機となるパケットの送信元に前記新規フローのパケットを前記振り分け先に送信するように指示することを特徴とする負荷分散システム。
  2. データ量又はパケット数において負荷が高い場合に新規フローのアプリケーションを識別する識別手段と、
    前記識別手段により識別されたアプリケーションのフロー特性とデータ量又はパケット数のいずれにおいて負荷が高いかと基づいて、前記新規フローの振り分けが必要であるか否かを判定する判定手段と、
    前記判定手段により前記新規フローの振り分けが必要であると判定された場合に振り分け先を決定する決定手段と、
    前記決定手段により決定された振り分け先を介して前記新規フローのパケットが転送されるように制御する制御手段と、
    を有し、
    前記制御手段は、前記振り分け先との接続を確立し、前記確立した接続を介して前記新規フローの契機となるパケットを前記振り分け先に送信し、前記新規フローの契機となるパケットの送信元に前記新規フローのパケットを前記振り分け先に送信するように指示することを特徴とする負荷分散システム。
  3. データ量又はパケット数において負荷が高い場合に新規フローのアプリケーションを識別する識別手段と、
    前記識別手段により識別されたアプリケーションのフロー特性とデータ量又はパケット数のいずれにおいて負荷が高いかと基づいて、前記新規フローの振り分けが必要であるか否かを判定する判定手段と、
    前記判定手段により前記新規フローの振り分けが必要であると判定された場合に振り分け先を決定する決定手段と、
    前記決定手段により決定された振り分け先を介して前記新規フローのパケットが転送されるように制御する制御手段と、
    を有し、
    第1のネットワークからパケットを受信する第1のパケット転送装置と、前記第1のパケット転送装置から前記パケットを受信して第2のネットワークに送信する複数の第2のパケット転送装置を有し、
    各第2のパケット転送装置は、前記識別手段と、前記判定手段と、前記決定手段と、前記制御手段とを有し、
    前記振り分け先は、他の第2のパケット転送装置であり、
    前記制御手段は、前記第1のパケット転送装置に前記新規フローのパケットを前記振り分け先に送信するように指示することを特徴とする負荷分散システム。
  4. 前記判定手段は、前記識別手段により識別されたアプリケーションのフロー特性がロングパケットが多い高データ量フローであって、データ量において負荷が高い場合と、前記識別手段により識別されたアプリケーションのフロー特性がショートパケットが多い高パケット数フローであって、パケット数において負荷が高い場合に、前記新規フローの振り分けが必要であると判定することを特徴とする請求項1~3に記載の負荷分散システム。
  5. データ量又はパケット数において負荷が高い場合に新規フローのアプリケーションを識別する識別手順と、
    前記識別手順により識別されたアプリケーションのフロー特性とデータ量又はパケット数のいずれにおいて負荷が高いかと基づいて、前記新規フローの振り分けが必要であるか否かを判定する判定手順と、
    前記判定手順により前記新規フローの振り分けが必要であると判定された場合に振り分け先を決定する決定手順と、
    前記決定手順により決定された振り分け先を介して前記新規フローのパケットが転送されるように制御する制御手順と、
    を含み、
    前記制御手順は、前記振り分け先がNATで用いる送信元IPアドレスを取得し、取得した送信元IPアドレスを用いてNATして前記新規フローの契機となるパケットを送信し、前記振り分け先とフィルタの状態情報を共有し、前記新規フローの契機となるパケットの送信元に前記新規フローのパケットを前記振り分け先に送信するように指示することを特徴とする負荷分散方法。
  6. データ量又はパケット数において負荷が高い場合に新規フローのアプリケーションを識別する識別手順と、
    前記識別手順により識別されたアプリケーションのフロー特性とデータ量又はパケット数のいずれにおいて負荷が高いかと基づいて、前記新規フローの振り分けが必要であるか否かを判定する判定手順と、
    前記判定手順により前記新規フローの振り分けが必要であると判定された場合に振り分け先を決定する決定手順と、
    前記決定手順により決定された振り分け先を介して前記新規フローのパケットが転送されるように制御する制御手順と、
    を含み、
    前記制御手順は、前記振り分け先との接続を確立し、前記確立した接続を介して前記新規フローの契機となるパケットを前記振り分け先に送信し、前記新規フローの契機となるパケットの送信元に前記新規フローのパケットを前記振り分け先に送信するように指示することを特徴とする負荷分散方法。
  7. データ量又はパケット数において負荷が高い場合に新規フローのアプリケーションを識別する識別手順と、
    前記識別手順により識別されたアプリケーションのフロー特性とデータ量又はパケット数のいずれにおいて負荷が高いかと基づいて、前記新規フローの振り分けが必要であるか否かを判定する判定手順と、
    前記判定手順により前記新規フローの振り分けが必要であると判定された場合に振り分け先を決定する決定手順と、
    前記決定手順により決定された振り分け先を介して前記新規フローのパケットが転送されるように制御する制御手順と、
    を含み、
    第1のネットワークからパケットを受信する第1のパケット転送装置と、前記第1のパケット転送装置から前記パケットを受信して第2のネットワークに送信する複数の第2のパケット転送装置を有し、
    各第2のパケット転送装置は、前記識別手順と、前記判定手順と、前記決定手順と、前記制御手順とを有し、
    前記振り分け先は、他の第2のパケット転送装置であり、
    前記制御手順は、前記第1のパケット転送装置に前記新規フローのパケットを前記振り分け先に送信するように指示することを特徴とする負荷分散方法。
JP2019019173A 2019-02-05 2019-02-05 負荷分散システム及び負荷分散方法 Active JP7120059B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019019173A JP7120059B2 (ja) 2019-02-05 2019-02-05 負荷分散システム及び負荷分散方法
US17/427,689 US11882040B2 (en) 2019-02-05 2020-01-22 Load distribution system and load distribution method
PCT/JP2020/002192 WO2020162185A1 (ja) 2019-02-05 2020-01-22 負荷分散システム及び負荷分散方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019019173A JP7120059B2 (ja) 2019-02-05 2019-02-05 負荷分散システム及び負荷分散方法

Publications (2)

Publication Number Publication Date
JP2020127153A JP2020127153A (ja) 2020-08-20
JP7120059B2 true JP7120059B2 (ja) 2022-08-17

Family

ID=71947070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019019173A Active JP7120059B2 (ja) 2019-02-05 2019-02-05 負荷分散システム及び負荷分散方法

Country Status (3)

Country Link
US (1) US11882040B2 (ja)
JP (1) JP7120059B2 (ja)
WO (1) WO2020162185A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186649A (ja) 2011-03-04 2012-09-27 Nec Corp 通信切替システム、通信切替方法、及びプログラム
JP2016525846A (ja) 2013-07-31 2016-08-25 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ・パケットを処理するための方法、システム、およびコンピュータ・プログラム
JP2017011423A (ja) 2015-06-19 2017-01-12 富士通株式会社 データ処理システム及びデータ処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004350078A (ja) 2003-05-23 2004-12-09 Fujitsu Ltd 方路分散伝送システム
US8676980B2 (en) * 2011-03-22 2014-03-18 Cisco Technology, Inc. Distributed load balancer in a virtual machine environment
US9306840B2 (en) * 2012-09-26 2016-04-05 Alcatel Lucent Securing software defined networks via flow deflection
US9934059B2 (en) * 2013-04-12 2018-04-03 Wsou Investments, Llc Flow migration between virtual network appliances in a cloud computing network
WO2015052866A1 (ja) * 2013-10-11 2015-04-16 日本電気株式会社 端末装置、端末装置制御方法および端末装置制御プログラム
US9967199B2 (en) * 2013-12-09 2018-05-08 Nicira, Inc. Inspecting operations of a machine to detect elephant flows
US10116577B2 (en) * 2014-12-04 2018-10-30 Dell Products Lp Detecting path MTU mismatch at first-hop router
US10404791B2 (en) * 2015-12-04 2019-09-03 Microsoft Technology Licensing, Llc State-aware load balancing of application servers
US10849189B2 (en) * 2016-08-18 2020-11-24 Convida Wireless, Llc Network service exposure for service and session continuity
US10798005B2 (en) * 2018-09-13 2020-10-06 International Business Machines Corporation Optimizing application throughput

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186649A (ja) 2011-03-04 2012-09-27 Nec Corp 通信切替システム、通信切替方法、及びプログラム
JP2016525846A (ja) 2013-07-31 2016-08-25 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ・パケットを処理するための方法、システム、およびコンピュータ・プログラム
JP2017011423A (ja) 2015-06-19 2017-01-12 富士通株式会社 データ処理システム及びデータ処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
木村 明寛 Akihiro KIMURA,フロー特性に基づくvCPEサーバの負荷分散方式,電子情報通信学会2018年総合大会講演論文集 通信2 PROCEEDINGS OF THE 2018 IEICE GENERAL CONFERENCE,2018年03月06日,第90頁

Also Published As

Publication number Publication date
JP2020127153A (ja) 2020-08-20
WO2020162185A1 (ja) 2020-08-13
US11882040B2 (en) 2024-01-23
US20220131804A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US11381507B2 (en) Virtual network device and related method
US9509615B2 (en) Managing link aggregation traffic in a virtual environment
JP2023503063A (ja) 高性能コンピューティング環境においてプライベートファブリックにおける帯域幅輻輳制御を提供するためのシステムおよび方法
WO2011049135A1 (ja) ネットワークシステムとその制御方法、及びコントローラ
US10541928B2 (en) Policy aware framework for application input output management
US9350666B2 (en) Managing link aggregation traffic in a virtual environment
US9686178B2 (en) Configuring link aggregation groups to perform load balancing in a virtual environment
US11997024B2 (en) Mapping NVMe-over-fabric packets using virtual output queues
JP2015122680A (ja) 論理ネットワークの構築方法、および、ネットワークシステム
WO2021166250A1 (ja) ゲートウェイ装置、方法及びプログラム
US11128569B2 (en) Load distribution system and load distribution method
JP7120059B2 (ja) 負荷分散システム及び負荷分散方法
US9413654B2 (en) System, relay device, method, and medium
US11757779B2 (en) Load distribution system and load distribution method
JP7255675B2 (ja) 仮想マシン監視装置、仮想マシン監視方法およびプログラム
JP6829156B2 (ja) ネットワーク負荷分散装置および方法
US11632331B2 (en) Load distribution system and load distribution method
JP6965838B2 (ja) ネットワーク負荷分散装置および方法
US20240036904A1 (en) Offloading stateful services from guest machines to host resources
KR20220161728A (ko) 네트워크 부하 분산 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7120059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150