JP5105327B2 - オーバレイノード、該オーバレイノードを備えたオーバレイネットワークおよびオーバレイルーティング方法とそのためのプログラム - Google Patents

Description

本発明は、非常時の通信を確保するためのオーバレイネットワーク技術に係り、特に、低コストで、従来の膨大なコストをかけたネットワークと同様の耐性を持たせることを可能にするオーバレイノード（オーバレイルーティング装置）、該オーバレイノード（オーバレイルーティング装置）を備えたオーバレイネットワークおよびオーバレイルーティング方法とそのためのプログラムに関する。

従来は、情報ネットワークにリンク・ノード障害が発生し、単一機器や複数の機器を含むエリアが通信不可能になる場合に対応するために、機器やリンク、およびそれらを制御するソフトウェアを冗長化し、障害発生時に冗長系へ切り替えるようにした手法を採用していた。この手法において重要となるのは制御コストと性能のトレードオフであり、既存研究の多くはこの点に着目していた。

そのため、大規模災害やテロ、大規模停電などによって引き起こされる大規模なネットワーク障害に対しては、発生確率が小さいにもかかわらずコストが大幅に増大するため、対応が極めて困難となる（非特許文献１，２参照）。

また、従来のネットワークの高信頼化を目指した研究のほとんどは障害発生モデルとして単一障害を想定している。一方、大規模災害、テロ、ルータソフトウェア（ＯＳ）の不具合などによって発生すると考えられる、複数の構成要素が同時に故障するような大規模かつ面的なネットワーク障害に関する研究はほとんど行われていなかった。

また、ＩＰ（Internet Protocol）ネットワークに対する同種の研究も少ない。その理由として、ＩＰそのものが軽度の障害発生に対しては代替経路の発見が比較的短時間に行われることが挙げられる。しかし、インターネットのＡＳ（Autonomous System）間経路制御を行っているBorder Gateway Protocol（ＢＧＰ）は、障害が大規模である場合や、ある特定のトポロジ環境においては、障害発生時のネットワーク接続性が低下し、代替経路発見および経路の収束に非常に長い時間（数分〜数時間）を必要とすることが指摘されている（非特許文献３，４参照）。

そもそもＢＧＰには、経路収束にかかる時間の理論的上限は存在しない。そのため、ＢＧＰの経路収束時間を改善するための様々な手法が提案されている（例えば、非特許文献５，６参照）が、そのほとんどはＢＧＰやＴCＰ/ＩＰそのものの改変を必要とするため、導入には標準化作業が必要となり、現在のインターネットへの適用は困難であると考えられる。

また、ＡＳ（Autonomous System）間リンクには、トランジットリンクやピアリングリンクなどのコスト構造が異なるリンクが存在し、各ＩＳＰはそれらの経済的コストや政治的思惑を考慮してトラヒックの経路制御を行っている（非特許文献７，８参照）。そのため、結果として得られる経路はエンド間遅延時間などの性能指標の面では必ずしも最適ではない（非特許文献９，１０参照）。また、このことは、大規模ネットワーク障害の発生などの非常時におけるネットワーク接続性にも影響を与える。

ＩＰネットワーク上に論理ネットワークを構築するオーバレイネットワーク技術は現在様々なアプリケーション（ファイル交換、音声通話、ＩＰ−ＶＰＮ、コンテンツ配信など）で用いられ、サービスオーバレイネットワークと呼ばれている（非特許文献１１参照）。

ここでオーバレイルーティングについて説明する。
オーバレイネットワークとは、下位層ネットワークであるＩＰネットワークの上に独自の論理ネットワークを構築するものであり、例えばＰ２Ｐネットワーク、Gridネットワーク、ＩＰ−VＰNサービスなどが挙げられる。これらのアプリケーションは、ある特定のサービスを前提として論理ネットワークを構築する。

また、それぞれのアプリケーションのポリシーにしたがってアプリケーショントラヒックの制御を行う。例えば、Ｐ２Ｐのファイル交換ネットワークは、コンテンツの所在場所に応じてダウンロードホストや中継ホストを選択する。

さらに、特定のアプリケーションを前提とせず、トラヒックのルーティングそのものを目的（アプリケーション）とするオーバレイルーティングと呼ばれる技術も登場しつつある。例えばResilient Overlay Network（以下、単にＲＯＮという）では、参加ノード間の伝送遅延時間やパケット廃棄率などを計測し、あるノード間のデータ転送を直接行うのか、他のオーバレイノードを経由して行うのかを判断している（非特許文献１２参照）。これにより、ＩＰネットワークでのルーティングと比較して効率の良いデータ転送を実現し、またＩＰネットワークの障害をすばやく検知し、迂回経路を選択することが可能である。

この技術を非常時通信に適用し、ＲＯＮのノードを各ＩＳＰ（ＡＳ）に配置しオーバレイルーティングを行うことで、下位層のＩＰネットワークを変更することなく、ネットワーク障害発生時にすばやく経路切り替えを実現する手法を実現することができると考えられる。

しかし、ＲＯＮは参加しているノード間でフルメッシュに計測および情報交換を行うため、計測オーバヘッドが大きく、数十ノード程度しか参加できないとされている（非特許文献１３参照）。したがって、このまま非常時通信に適用すると、参加できるＩＳＰ（ＡＳ）数が限定されてしまう。また、迂回経路として２ホップ経路、すなわち、送信ノードと受信ノードの間に１つだけ中継ノードを挟む経路のみを考慮している。これは、エンド間遅延時間や空き帯域の観点では、３ホップ以上の経路を選択することによるメリットは大きくないためである。しかし、非常時通信において最も重要となるのは接続性そのものであるため、接続性を確保するために３ホップ以上の経路を用いることは重要である。

村田正幸 "サービスオーバレイによるネットワークの高信頼化"電子情報通信学会総合大会（BT-1-5）， Mar. 2005 亀井聡、"Interop Tokyo 2006 W02 インターネット計測技術の進展とその応用「６．オーバーレイネットワークへの計測技術の応用」"[online]、[平成１９年５月３０日検索]、インターネット＜URL:http://infonet.cse.kyutech.ac.jp/net_design_rc/interop06/W02_6_kamei.pdf＞ C. Labovitz, A. Ahuja, A. Abose, and F. Jahanian, "Delayed Internet routing convergence," in Proceedings of ACMSIGCOMM 2000, Aug. 2000. B. Zhang, D. Massey, and L. Zhang, "Destination reachability and ＢＧＰconvergence time," in Proceedings of GLOBECOM 2004, Apr. 2004. C. Labovitz, A. Ahuja, R. Wattenhofer, and S. Venkatachary, "The impact of Internet policy and topology on delayed routing convergence," in Proceedings of INFOCOM 2001, Dec. 2001. Dan Pei and Matt Azuma and Nam Nguyen and Jiwei Chen and Dan Massey and Lixia Zhang, "ＢＧＰ-RCN: Improving ＢＧＰconvergence through root cause notification," Tech. Rep. TR-030047, UCLA CSD, Oct. 2003. William Norton, "Internet service providers and peering." [online]、[平成１９年５月３０日検索]、インターネット＜http://www.equinix.com/pdf/whitepapers/PeeringWP.2.pdf.＞ William Norton, "A buisness case for peering." [online]、[平成１９年５月３０日検索]、インターネット＜http://www.equinix.com/pdf/whitepapers/Business_case.pdf.＞ Y.Zhu, C. Dovrolis, and M. Ammar, "Dynamic overlay routing based on available bandwidth estimation: A simulation study," Computer Networks Journal, vol. 50, pp. 739876, Apr. 2006. D. G. Andersen, A. C. Snoeren, and H. Balakrishnan, "Bestpath vs. multi-path overlay routing," in Proceedings of ACM SIGCOMM conference on Internet measurement, pp. 91100, Oct. 2003. Z. Duan, Z.-L. Zhang, and T. Hou, "Service overlay networks : SLAs, QoS and bandwidth provisioning," in Proceedings of IEEE ICNP 2002, Nov. 2002. D. G. Andersen, H. Balakrishnan, M. F. Kaashoek, and R. Morris, "Resilient overlay networks," in Proceedings of 18th ACM Symposium on Operating Systems Principles, Oct. 2001. A. Nakao, L. Peterson, and A. Bavier, "Scalable routing overlay networks," ACM SIGOPS Operating Systems Review, vol. 40, pp. 4961, Jan. 2006.

非常時通信における問題点
大規模災害、テロなどの発生によって、情報ネットワークにおいても障害が広範囲に渡って発生する。また、ルータを制御しているソフトウェア（ＯＳ）の不具合によって、同時に多数のルータ動作が不良となることも考えられる。このような非常時における通信において求められるのは、ネットワーク接続性のすばやい回復および重要通信の優先的処理である。

本発明において着目している前者に関しては、多くの研究が行われているが、それらのほとんどにおいては単一障害、すなわち、ネットワークの構成要素の障害は同時には１つしか発生しないことが前提とされている。つまり、発生し得る障害をあらかじめ想定し、想定した障害に対して効率の良い手法が検討されている。したがって、一般的にそれらの手法は大規模かつ面的に発生するネットワーク障害に対しては有効ではない。

また、障害発生時の対応を含むネットワーク制御においては、コストと性能のトレードオフが重要となる[１]。このとき、非常時通信は大規模ネットワーク障害という発生確率の小さい事象に対するために必要となるため、コストが非常に大きくなる。MＰLSネットワークにおいて装置故障が発生した際に早期にデータ転送を復旧するネットワークアーキテクチャも提案されているが、ネットワークを現用面と予備面の２つ用意する必要があり、その導入コストは非常に大きいと考えられる。そのため、低コストで運用可能なアーキテクチャが求められる。

一方、現在のインターネットにおいてＡＳ間の経路制御を司っているＢＧＰが、大規模な障害発生時やフルメッシュ構造などの特殊なトポロジ環境において不安定であることが近年指摘されている。この問題に対する改善案も多数提案されているが、それらはＢＧＰそのものやルータの改変を必要とするため、その導入には標準化作業が必要となり、非常に長い時間かかる。

さらに、ＩＳＰ（Internet Service Provider）間の接続性を提供するリンクには、上位ＩＳＰからインターネット全体への接続性の提供を受けるためのトランジットリンクや、同程度の規模のＩＳＰ間でトラヒックのやりとりを行うためのピアリングリンクなど、経済的コスト構造が異なるリンクが存在する。各ＩＳＰはそれらのコスト構造に加えて政治的思惑なども考慮し、ＢＧＰを用いることによって経路制御を行っている。

図６は、このことが、非常時におけるネットワーク接続性に影響を与える例を示す図である。

同図に示すように、ＩＳＰ２−ＩＳＰ４はＩＳＰ１との間にトランジットリンクを持ち、インターネット全体への接続性を確保している。さらにＩＳＰ２とＩＳＰ３間およびＩＳＰ３とＩＳＰ４間にはピアリングリンクが存在する。ピアリングリンクには、通常、接続されている２つのＩＳＰを始点および終点とするトラヒックのみが流れる。

すなわち、ＩＳＰ２からＩＳＰ４への通信はトランジットリンクおよびＩＳＰ１を経由して行われ、ＩＳＰ２からＩＳＰ３への通信はピアリングリンクを用いて行われる。

この時、ＩＳＰ１に障害が発生し、トランジットリンクの全てが利用できなくなる状況を考える。この時、ネットワークトポロジとしてはＩＳＰ１とＩＳＰ３間にピアリングリンクを２段経由する経路が存在するが、実際に用いることはできない。

これは、ＩＳＰ１とＩＳＰ２間のピアリングリンクは始点や終点がＩＳＰ３であるトラヒックは通過できず、さらにＩＳＰ２とＩＳＰ３間のピアリングリンクは始点や終点がＩＳＰ１であるトラヒックは通過できないためである。

この問題を解決し、非常時通信において接続性を向上させるためには、非常時にはルーティング設定を変更して複数のピアリングリンクを経由するような経路も利用可能にする必要がある。しかし、そのためにはＢＧＰ設定を注意深く行う必要があり、非常時の設定変更には通常ＩＳＰのオペレータ同士の折衝が必要となるため、実現は困難であると考えられる。

以上説明したように、大規模な災害・テロなどの非常時における情報通信網の耐性を高める方法としては、従来、ネットワーク機器や回線の冗長化を中心とした技術開発が進められているが、この方法は設置・維持コストが膨大になるという欠点を有している。

また、ＩＰ（Internet Protocol）ネットワークはネットワーク障害や構成変更に対して柔軟に対応する能力を有しているが、復旧に数分〜数十分以上必要となる場合が存在し、迅速な復旧が見込めない場合があるという欠点を有している。

さらに、オーバレイネットワークを利用して障害発生時に代替経路を発見する手法は従来も存在していたが、経路制御のために必要となる情報交換量が非常に多いため、２０−３０程度のノードしか参加できないのが現状である。

このように、従来技術においては、設置・維持コストが膨大になる、復旧に数分〜数十分以上必要となる場合が存在し、迅速な復旧が見込めない場合がある、膨大なノードに適用できない、などの問題がある。

そこで、本発明は、上記問題を解消し、非常に少ないコストで従来と同程度の耐性を可能にするオーバレイルーティング装置、該オーバレイルーティング装置を備えたオーバレイネットワークおよびオーバレイルーティング方法とそのためのプログラムを提供することである。

本発明は、上記目的を達成するために、次のような構成を採用している。以下、請求項毎の構成を記す。

ａ）請求項１記載のオーバレイノード（オーバレイルーティング装置）は、インターネットサービスプロバイダ（ＩＳＰ）の隣接するインターネットサービスプロバイダとの間に設けられる対外接続リンク毎に設置され、ネットワークに部分的障害が発生した場合に、障害以外の部分により対外接続を維持するようにルーティングすることを特徴としている。

ｂ）さらに、前記オーバレイノードが、パケット転送手段（実施例におけるパケット転送部に相当）と、オーバレイルーティングテーブル管理手段（実施例におけるオーバレイルーティングテーブル管理部に相当）と、ＮＷ障害判定手段（実施例におけるＮＷ障害判定部に相当）と、オーバレイＮＷ管理手段（実施例におけるオーバレイＮＷ管理部に相当）とを備え、前記パケット転送手段は、通過するパケットの宛先に応じて、前記オーバレイルーティングテーブル管理手段が管理するオーバレイルーティングテーブルに基づいて、転送先のノードを決定し、該決定したノードにパケットを転送する手段であり、前記オーバレイルーティングテーブル管理手段は、前記ＮＷ障害判定手段からネットワーク障害に関する情報を受け取り、オーバレイルーティングテーブルを作成／更新する手段であり、前記ＮＷ障害判定手段は、オーバレイネットワークに参加している他ノードの間で定期的に生死確認用のパケットを交換することによって、他ノードへの到達性（Connectivity）を把握し、ネットワークの一部に障害が発生し、他ノードへの到達性が失われた場合には、その旨の情報をオーバレイルーティングテーブル管理手段へ通知する手段であり、前記オーバレイＮＷ管理手段は、オーバレイネットワークに新たなノードの参加や離脱があった場合に、そのノードから情報を受け取り、参加しているノード全ての情報（ＩＰアドレス、設置ＩＳＰ）を管理するとともに、ノードの増減情報をオーバレイルーティングテーブル管理手段へ通知する手段であることを特徴としている。

ｃ）請求項２記載の発明は、前記設置されたノードのＮＷ障害判定手段が生死を確認する他ノードは、通常のＩＰルーティング時にパケットが装置を通過する宛先を持つノードに限定することを特徴とし、請求項３記載の発明は、前記オーバレイルーティングテーブルが、送信側ノード番号と受信側ノード番号間における到達性情報（Connectivity）とタイムスタンプ（Timestamp）を保持するテーブルであることを特徴としている。

ｄ）請求項４記載のオーバレイネットワークは、請求項１から３のいずれかに記載のオーバレイノードを具備することを特徴としている。

ｅ）請求項５記載の発明は、インターネットサービスプロバイダ（ＩＳＰ）の隣接するインターネットサービスプロバイダとの間に設けられる対外接続リンク毎に設置され、ネットワークに部分的障害が発生した場合に、障害以外の部分により対外接続を維持するための、パケット転送手段，オーバレイルーティングテーブル管理手段，ＮＷ障害判定手段およびオーバレイＮＷ管理手段からなるオーバレイノードを用いたオーバレイルーティング方法であって、前記ＮＷ障害判定手段が、他ノードとの間で定期的に生死確認用のパケットを交換することにより他ノードへの到達性を把握し、障害などにより他ノードへの到達性が失われた場合には、その旨の情報をオーバレイルーティングテーブル管理手段に通知するステップと、前記オーバレイルーティングテーブル管理手段が、前記ＮＷ障害判定手段からの情報によりオーバレイルーティングテーブルを作成／更新し、パケット通過時には適切な宛先ノードアドレスをパケット転送手段へ通知するステップと、前記パケット転送手段が、前記オーバレイルーティングテーブル管理手段から通知された宛先ノードアドレスを有するノードへパケットを転送するステップとからなることを特徴としている。

ｆ）請求項６記載の発明は、前記パケット転送手段へ通知される適切な宛先ノードアドレスとは、ルート上のノードに障害がなく直接到達可能の場合はそのままのノードアドレスであり、直接到達可能でなければ他のノードを経由することによって到達可能となるルートをオーバレイルーティングテーブルで探索し、該探索された該他のノードのノードアドレスであることを特徴としている。

ｇ）請求項７記載のプログラムは、コンピュータを、請求項１から３のいずれかに記載のオーバレイノードにおけるパケット転送手段，オーバレイルーティングテーブル管理手段，ＮＷ障害判定手段およびオーバレイＮＷ管理手段として機能させるためのプログラムである。

本発明によれば、対外接続リンク毎にオーバレイノードを設置することによって、ＩＳＰネットワークを分割して管理することになるため、部分的にＩＳＰネットワークに障害が発生した場合においても、残りのネットワークおよびノードを用いて通信を継続することが可能となる。

また、対外接続リンク毎にノードを設置し、生死確認を行なう他ノードを分担することによって、情報交換量を削減することが可能となり、これにより、ルーティングテーブルの更新に必要な、他ノードの生死確認のために送受信するパケット量を１/１０〜１/１００程度に削減することができる。

従来、膨大なコストをかけて冗長化を行い、ネットワーク障害への対応を行っている情報通信ネットワークに対して、本発明によれば、非常に少ないコストで同程度の耐性を持たせることが可能である。

また、本発明によれば、オーバレイノードは少ない台数から導入することが可能であり、台数が増えるたびにネットワーク障害に対する耐性が増加するため、いわゆるスモールスタートが可能である。

また、本発明によれば、インターネットへの適用で従来ネックとなっている標準化作業が必要なく、適切なレベルの非常時通信を実現することができる。

本発明によれば、インターネットを構成する複数のＡＳ（Autonomous System；自律システム：本発明のＩＳＰ）が本技術を用いたオーバレイノード（オーバレイルーティング装置）をそれぞれのネットワーク内に設置すると、参加したＡＳ（ＩＳＰ）間のトラヒックが、大規模なネットワーク障害の発生時にも通信可能となる可能性を格段に高めることが可能となる。

以下、本発明に係るオーバレイノード（オーバレイルーティング装置；単にノードともいう）の実施例を、図面を用いて詳細に説明する。

本発明における非常時オーバレイには、ＡＳやＩＳＰなどの単位に相当する、ある程度の大きさを持ったネットワーク単位で参加することを前提としている。以下の説明ではＩＳＰ単位で参加することを仮定する。また、本発明の核となるオーバレイノードは、ＩＳＰが他ＩＳＰとの間に持つ対外接続リンクが接続されているルータ上に設置される。

これは、図１−Ａに示すように、各ＩＳＰに１つずつオーバレイノードを設置すると、ＩＳＰがネットワーク障害によって部分的に通信不可能になりオーバレイノードがそれに含まれた場合に、残った部分も通信不可能（×印で示す）となってしまうためである。一方、図１−Ｂのように対外リンク毎にオーバレイノードを設置することによって、部分的障害が発生した場合においても、残った部分がオーバレイルーティングによって対外接続を維持することができる（○印で示す）。

図１−Ｃは、本発明に係るオーバレイノード（オーバレイルーティング装置）の設置場所を説明するために１つのリンクの部分を示した図である。同図において、１０は本発明に係るオーバレイノード（オーバレイルーティング装置）、２０は対外接続ルータを示している。

本発明に係るオーバレイノードは、図１−Ｃに示すように、各インターネットサービスプロバイダ（ＩＳＰ；Internet Service Provider）の隣接プロバイダへの対外接続リンク部分に設置される。

図２は、９つのＩＳＰから構成されるＩＰネットワークおよびオーバレイノード設置例を示す図である。本例では、各ＩＳＰの対外接続リンク部分に２６個のオーバレイノードが存在し、これらがフルメッシュにオーバレイリンクを設定し、オーバレイネットワークを構築している。

同図において、ＩＳＰ１〜ＩＳＰ９はインターネットサービスプロバイダであり、１−１〜９−３は本発明に係るオーバレイノード（オーバレイルーティング装置）である。一例を示すと、オーバレイノード１−１〜１−４はＩＳＰ１とＩＳＰ２、ＩＳＰ３、ＩＳＰ４、ＩＳＰ５への対外接続リンクとの間に設けられたオーバレイルーティング装置である。なお、同図において、異なるＩＳＰのオーバレイノード間の太い線はトランジットリンクを示し、細い線はピアリングリンクを示している。

設置された各オーバレイノードは、他ＩＳＰに設置されたオーバレイノードとの間で到達性を確認すると共にオーバレイルーティングテーブル（以下、単にＯＲＴ（Overlay Reachability Table）と表記することもある）の交換を行い、参加しているオーバレイノード間のフルメッシュ到達性情報を取得する。ネットワーク障害が発生した場合には、自身が保持しているＯＲＴに基づいてトラヒックを運ぶ経路を決定する。

図３は、本発明に係るオーバレイノード（オーバレイルーティング装置）の構成図である。

本発明に係るオーバレイノード（オーバレイルーティング装置）１０は、図３に示すように、パケット転送部１１、オーバレイルーティングテーブル管理部１２、ＮＷ（Network）障害判定部１３、オーバレイＮＷ（Network）管理部１４を具備しており、オーバレイルーティングテーブル管理部１２には、各ノード間における到達性を管理するためのオーバレイルーティングテーブル（ＯＲＴ）１２１を備えている。

次に、パケット転送部１１、オーバレイルーティングテーブル管理部１２、ＮＷ障害判定部１３、オーバレイＮＷ管理部１４のそれぞれの機能を説明する。

（１）パケット転送部１１の機能
パケット転送部１１は、通過するパケットの宛先に応じて、オーバレイルーティングテーブル管理部１２が管理するオーバレイルーティングテーブル１２１に基づいて、転送先のノードを決定し、該決定したノードにパケットを転送する。

（２）オーバレイルーティングテーブル管理部１２の機能
オーバレイルーティングテーブル管理部１２は、ＮＷ障害判定部１３からネットワーク障害に関する情報を受け取り、オーバレイルーティングテーブル１２１を作成／更新する。

図４は、オーバレイルーティングテーブル（ＯＲＴ）１２１の一実施例を示す図である。同図に示すように、オーバレイルーティングテーブル１２１は、送信側ノード番号と受信側ノード番号間における到達性情報（Connectivity）とタイムスタンプ（Timestamp）をＮＷ障害判定部１３からの到達性情報に基づいて作成／更新されるテーブルである。

テーブルのエントリ（ｉ，ｊ）には、オーバレイノードｉのＮＷ障害判定部１３が計測したオーバレイノードｊへの到達性情報と、計測した時刻あるいは送信側ノードが到達性を確認した時刻を表すタイムスタンプが含まれる。到達性情報は、一般的にはオーバレイノード間の計測によって得ることのできるパケット廃棄率、空き帯域、伝播遅延時間などが含まれるが、最も単純な場合は１ビットで表わされ、０＝到達可能、１＝到達不可能とすることができる。

したがって、エントリ（ｉ，ｊ）とエントリ（ｊ，ｉ）は共にオーバレイノードｉ，ｊ間の到達性情報を示すが、計測を行った主体が異なる。

本テーブルは、各オーバレイノードは非常時オーバレイに参加している全てのノード間の到達性情報を把握し、ネットワーク障害発生時に代替経路を発見するために用いる。そのためには、自ノード以外の全てのノードとの到達性情報を計測によって獲得するとともに、それを他ノードと交換することが必要となる。

オーバレイルーティングテーブル管理部１２は、パケット通過時には適切な宛先ノードのアドレスをパケット転送部１１へ通知する。すなわち、通過するパケットの宛先アドレスに対応する宛先ノードに到達可能である場合には、パケットをそのまま転送する。直接到達可能でない場合には、オーバレイルーティングテーブル１２１を探索し、他のノードを経由することによって到達可能となるノードを求め（一般的にオーバレイルーティングテーブルを用いて迂回可能なルートを求める方法は従来周知であるので説明は省略する）、該求めたノードへパケットを転送する。

（３）ＮＷ障害判定部１３の機能
オーバレイネットワークに参加している他ノードの間で定期的に生死確認用のパケットを交換することによって、他ノードへの到達性（Connectivity）を把握する。ネットワークの一部に障害が発生し、他ノードへの到達性が失われた場合には、その旨の情報をオーバレイルーティングテーブル管理部１２へ通知する。

設置されたノードが生死を確認する他ノードは、通常のＩＰルーティング時にパケットが装置を通過する宛先を持つノードに限定する。ＩＳＰは自身が持つ対外接続リンク全てにノードを設置することで、全ての他ノードの生死確認を行ない、自ＩＳＰに設置したノード間で定期的に情報を交換することで、自ＩＳＰ内の全てのノードが他ノードの生死情報を把握することが可能となる。

（４）オーバレイＮＷ管理部１４の機能
オーバレイネットワークに新たなノードの参加や離脱があった場合に、そのノードから情報を受け取り、参加しているノード全ての情報（ＩＰアドレス、設置ＩＳＰ）を管理する。またノードの増減情報はオーバレイルーティングテーブル管理部１２へ通知することによって、オーバレイルーティングテーブル１２１の更新を促す。

図５は、本実施例におけるオーバレイノードの処理の流れを示す図である。以下、図５を用いて、本実施例の処理、特にＮＷ障害判定部１３、オーバレイルーティングテーブル管理部１２、パケット転送部１１の処理を説明する。

まず、ＮＷ障害判定部１３は、他ノードとの間で定期的に生死確認用のパケットを交換することにより他ノードへの到達性を把握しており、障害などにより他ノードへの到達性が失われた場合には、その旨の情報をオーバレイルーティングテーブル管理部１２へ通知する（ステップＳ１０１）。

オーバレイルーティングテーブル管理部１２は、ＮＷ障害判定部１３からの情報によりオーバレイルーティングテーブル１２１（図４参照）を作成／更新し、パケット通過時には適切な宛先ノードアドレスをパケット転送部１１へ通知する（ステップＳ１０２）。

すなわち、ルート上のノードに障害がなく直接到達可能であればそのままのノードアドレスを宛先ノードアドレスとしてパケット転送部へ通知し、直接到達可能でなければ他のノードを経由することによって到達可能となるルートをオーバレイルーティングテーブル１２１で探索し、検索された該他のノードのノードアドレスを宛先ノードアドレスとしてパケット転送部１１へ通知する。

パケット転送部１１は、オーバレイルーティングテーブル管理部１２から通知された宛先ノードアドレスを有するノードへパケットを転送する（ステップＳ１０３）。

次に、到達性の計測とテーブル交換方法、経路探索手法、およびＩＳＰの参加および離脱方法について詳しく説明する。

まず、オーバレイノード間の到達性計測とテーブル交換について説明する。
前述のように、各ＩＳＰの対外接続リンクごとにオーバレイノードを設置すると、非常時オーバレイに参加するＩＳＰに比べてオーバレイノード数が増加するため、参加するＩＳＰ数に対するスケーラビリティが低下する。

特に、ＲＯＮと同様のフルメッシュ計測およびテーブル交換を行う場合、ＲＯＮが良好に動作する規模が５０ノード程度であることを考慮すると、非常時オーバレイに参加することのできるＩＳＰ数は１０程度に抑えられる。

そこで本実施例においては、計測およびテーブル交換を行う他ＩＳＰのオーバレイノード群を、ＩＳＰ内に設置された各オーバレイノードで分割することによって、オーバヘッドを削減し、より多くのＩＳＰが参加できるようにする。

具体的には、他ＩＳＰに設置されたオーバレイノードそれぞれに対して、自ＩＳＰからそのノードへのＩＰルーティング情報を参照し、自ＩＳＰが持つ対外接続リンクのうち、どのリンクから送出されるのかを調べ、そのリンクに設置されたオーバレイノードが担当するものとする。これは、自ＩＳＰ内に設置された複数のオーバレイノードを仮想的に１つのオーバレイノードとみなし、他ノードとの間の到達性の計測とテーブル交換を行うことに相当する。

ノード間の到達性確認は、ノード間にＴＣＰコネクションを確立することで行う。その際、確立したＴＣＰコネクションを用いてお互いが持つＯＲＴを送ることによって、テーブル交換を行う。

さらに、他ノードから獲得したＯＲＴと自身が持つＯＲＴの各エントリのタイムスタンプを比較し、新しいものがあれば自身のＯＲＴのエントリを更新する。

その後、自ＩＳＰ内のオーバレイノード同士でフルメッシュにＯＲＴの交換を行い、到達性情報の共有を行う。これにより、自ＩＳＰ内の全てのオーバレイノードが、他の全てのオーバレイノードへの到達性情報を持つことができる。

図２のＩＳＰ２を例にとると、ＩＳＰ２内のオーバレイノード２−１〜２−５は、それぞれ下記に示すノードとの間で到達性計測とテーブル交換を行う。

（ａ）オーバレイノード２−１⇔オーバレイノード１−１〜１−４，３−１〜３−４，４−１，４−２，５−１，５−２
（ｂ）オーバレイノード２−２⇔オーバレイノード８−１
（ｃ）オーバレイノード２−３⇔オーバレイノード７−１，７−２
（ｄ）オーバレイノード２−４⇔オーバレイノード６−１，６−２，６−３
（ｅ）オーバレイノード２−５⇔オーバレイノード９−１，９−２，９−３

この場合、ＩＳＰ２内のオーバレイノードが行う通信回数は３１回となる。一方、この分割を行わず全てのオーバレイノードがフルメッシュに到達性確認およびテーブル交換を行う場合は１２５回となる。

次に、経路探索について説明する。
各オーバレイノードは、上述した到達性確認およびテーブル交換によって得られた最新のＯＲＴに基づいて、周知のダイクストラ法に基づいて各ノードへの経路探索を行う。一般にダイクストラ法はノード数の２乗の計算時間がかかるが、障害が発生していない部分はフルメッシュにオーバレイリンクが存在するため、実際の計算量は小さいと考えられる。

この手法により、ＲＯＮと同様に、２ホップパス（送信ノードと受信ノードの間に１つの中継ノードを経由させる経路）は固定時間で見つけることができる。３ホップ以上のパスに関しては前述したテーブル交換の順序に依存するが、最悪の場合でも（ホップ数−１）と固定時間の積で発見可能である。ＢＧＰによるルーティング情報の伝播もホップ数に比例した時間が必要となるが、ＢＧＰは隣接ルータに更新情報を伝えるのに対して、提案手法はフルメッシュに張られたオーバレイパスを用いてテーブルを伝播させるため、ＢＧＰに比べて短時間でルーティング情報の伝播が可能となる。

さらに、本方式を用いることで、ネットワーク障害発生時に通常は取得できない情報を取得することができる。図２においてＩＳＰ２に部分的なネットワーク障害が発生し、ノード２−３、２−４および２−５が設置されている３本の対外リンクが不通になった場合を想定する。

この場合、ノード５−１からノード６−３およびノード７−１へは通常のＩＰルーティングでは到達不可能となるため、ノード６−３とノード７−１間の接続性に関する情報を直接獲得することができない。しかし、（１）ノード６−１とノード９−３の間のテーブル交換、（２）ＩＳＰ９内でのテーブル共有、（３）ノード９−１とノード３−３の間のテーブル交換、（４）ノード５−１とノード３−３の間のテーブル交換、というステップによって、ノード５−１はＩＳＰ７が持つ接続情報を獲得することができる。

また、上記（１）−（４）伝播経路は、そのままノード５−１とノード７−１が通信するための４ホップオーバレイパスとなる。この経路は３本のピアリングリンクを経由しており、通常のＢＧＰルーティングでは用いられることはない。このように、本発明の手法によって障害発生時のネットワーク接続性が向上することが期待される。

次に、ＩＳＰの参加および離脱について説明する。
新たなＩＳＰが非常時オーバレイに参加する場合の手続きは以下のようになる。

（ａ）新規ＩＳＰの作業
ａ１）既参加ＩＳＰから、参加ノード情報およびＯＲＴを取得し、自ＩＳＰ内に設置するオーバレイノード全てにコピーする。
ａ２）自ＩＳＰ内に設置するオーバレイノード間のフルメッシュ計測を設定する。
ａ３）他ノードに対する到達性計測およびテーブル交換の担当を、ＩＰルーティング情報に基づいて決定する。
ａ４）全ての既参加ＩＳＰへ自ＩＳＰの参加および設置したオーバレイノードに関する情報を通知する。

（ｂ）既存ＡＳの作業
ｂ１）新規ＩＳＰ内に設置されるオーバレイノードへのＩＰルーティング情報を基に、到達性計測およびテーブル交換を担当するノードを決定する。

一方、ＩＳＰが非常時オーバレイから離脱する場合は下記のようになる。
（ｃ）離脱ＩＳＰの作業
ｃ１）全ての他ノードに対して離脱を通知する。

（ｄ）既存ＩＳＰの作業
ｄ１）離脱通知を受けたノードのエントリをＯＲＴから削除する。
ｄ２）離脱ＡＳに対する到達性計測およびテーブル交換を担当していたノードはそのＡＳを対象から外す。

本発明によれば、到達性確認およびテーブル交換のために必要となる通信量を従来手法に比べて大幅に削減でき、また、大規模なネットワーク障害が発生した際に、代替経路をＢＧＰに比べて短時間で発見できるとともに、ネットワーク接続性を高く維持できることがわかった。

また、本発明によると、既存のＴＣＰ/ＩＰネットワークの上にルーティングを行うオーバレイネットワークを構築することで、大規模ネットワーク障害が発生した場合に短時間で代替経路を発見可能な非常時オーバレイネットワークを実現できる。本発明の手法は既存のオーバレイルーティング手法を基盤としているが、ノード間の到達性確認およびルーティング情報の交換をＩＳＰ内で分担して行うことで、オーバヘッドを１/１０−１/１０００程度に削減し、参加ＩＳＰ数に対するスケーラビリティを向上している。また、オーバレイルーティング技術を用いることで、従来のＢＧＰルーティングでは用いることができなかった経路が利用可能となり、ＢＧＰルーティングに比べてネットワーク接続性を最大で約９倍改善することができることが明らかとなった。

なお、図３に示すオーバレイノードはコンピュータ構成を有しており、パケット転送部１１、オーバレイルーティングテーブル管理部１２、ＮＷ（Network）障害判定部１３、オーバレイＮＷ（Network）管理部１４の機能（処理）は、これら各部に対応するプログラムと該プログラムを実効するＣＰＵなどのハードウェアによって実現されることはいうまでもない。これらのプログラムはＣＤ−ＲＯＭ、ＤＶＤ，ＦＤ、インターネットなどの媒体を介して市場に流通させることができる。

各ＩＳＰに１つずつオーバレイノードを設置した場合の構成例を示す図である。 対外リンク毎にオーバレイノード（オーバレイルーティング装置）を設置した場合の構成例を示す図である。 本発明に係るオーバレイノード（オーバレイルーティング装置）の設置場所を説明するために１つのリンクの部分を示す図である。 ９つのＩＳＰから構成されるＩＰネットワークおよびオーバレイノード設置例を示す図である。 本発明に係るオーバレイノード（オーバレイルーティング装置）の構成図である。 オーバレイルーティングテーブル（ＯＲＴ）の一実施例を示す図である。 本発明におけるオーバレイノードの処理の流れを示す図である。 非常時におけるネットワーク接続性に影響を与える例を示す図である。

符号の説明

１０：オーバレイルーティング装置（ノード）
１１：パケット転送部
１２：オーバレイルーティングテーブル管理部
１２１：オーバレイルーティングテーブル
１３：ＮＷ（ネットワーク）障害判定部
１４：オーバレイネットワーク（ＮＷ）管理部
２０：対外接続ルータ
ＩＳＰ１〜ＩＳＰ９：インターネットサービスプロバイダ（ＩＳＰ）
１−１〜９−３：オーバレイルーティング装置（ノード）

Claims (7)

1. インターネットサービスプロバイダ（ＩＳＰ）の隣接するインターネットサービスプロバイダとの間に設けられる対外接続リンク毎に設置され、ネットワークに部分的障害が発生した場合に、障害以外の部分により対外接続を維持するようにルーティングすることを特徴とするオーバレイノードであって、
   前記オーバレイノードは、パケット転送手段と、オーバレイルーティングテーブル管理手段と、ＮＷ障害判定手段と、オーバレイＮＷ管理手段とを備え、
   前記パケット転送手段は、通過するパケットの宛先に応じて、前記オーバレイルーティングテーブル管理手段が管理するオーバレイルーティングテーブルに基づいて、転送先のノードを決定し、該決定したノードにパケットを転送する手段であり、
   前記オーバレイルーティングテーブル管理手段は、前記ＮＷ障害判定手段からネットワーク障害に関する情報を受け取り、オーバレイルーティングテーブルを作成／更新する手段であり、
   前記ＮＷ障害判定手段は、オーバレイネットワークに参加している他ノードの間で定期的に生死確認用のパケットを交換することによって、他ノードへの到達性（Connectivity）を把握し、ネットワークの一部に障害が発生し、他ノードへの到達性が失われた場合には、その旨の情報をオーバレイルーティングテーブル管理手段へ通知する手段であり、
   前記オーバレイＮＷ管理手段は、オーバレイネットワークに新たなノードの参加や離脱があった場合に、そのノードから情報を受け取り、参加しているノード全ての情報（ＩＰアドレス、設置ＩＳＰ）を管理するとともに、ノードの増減情報をオーバレイルーティングテーブル管理手段へ通知する手段であることを特徴とするオーバレイノード。
2. 設置されたノードの前記ＮＷ障害判定手段が生死を確認する他ノードは、通常のＩＰルーティング時にパケットが装置を通過する宛先を持つノードに限定することを特徴とする請求項１記載のオーバレイノード。
3. 前記オーバレイルーティングテーブルは、送信側ノード番号と受信側ノード番号間における到達性情報（Connectivity）とタイムスタンプ（Timestamp）を保持するテーブルであることを特徴とする請求項１または２記載のオーバレイノード。
4. 請求項１から３のいずれかに記載のオーバレイノードを具備することを特徴とするオーバレイネットワーク。
5. インターネットサービスプロバイダ（ＩＳＰ）の隣接するインターネットサービスプロバイダとの間に設けられる対外接続リンク毎に設置され、ネットワークに部分的障害が発生した場合に、障害以外の部分により対外接続を維持するための、パケット転送手段，オーバレイルーティングテーブル管理手段，ＮＷ障害判定手段およびオーバレイＮＷ管理手段からなるオーバレイノードを用いたオーバレイルーティング方法であって、
   前記ＮＷ障害判定手段が、他ノードとの間で定期的に生死確認用のパケットを交換することにより他ノードへの到達性を把握し、障害などにより他ノードへの到達性が失われた場合には、その旨の情報をオーバレイルーティングテーブル管理手段に通知するステップと、
   前記オーバレイルーティングテーブル管理手段が、前記ＮＷ障害判定手段からの情報によりオーバレイルーティングテーブルを作成／更新し、パケット通過時には適切な宛先ノードアドレスをパケット転送手段へ通知するステップと、
   前記パケット転送手段が、前記オーバレイルーティングテーブル管理手段から通知された宛先ノードアドレスを有するノードへパケットを転送するステップとからなることを特徴とするオーバレイルーティング方法。
6. 前記パケット転送手段へ通知される適切な宛先ノードアドレスとは、ルート上のノードに障害がなく直接到達可能の場合はそのままのノードアドレスであり、直接到達可能でなければ他のノードを経由することによって到達可能となるルートをオーバレイルーティングテーブルで探索し、該探索された該他のノードのノードアドレスであることを特徴とする請求項５記載のオーバレイルーティング方法。
7. コンピュータを、請求項１から３のいずれかに記載のオーバレイノードにおけるパケット転送手段，オーバレイルーティングテーブル管理手段，ＮＷ障害判定手段およびオーバレイＮＷ管理手段として機能させるためのプログラム。

Images