JP4294821B2 - ネットワーク中継装置 - Google Patents
ネットワーク中継装置 Download PDFInfo
- Publication number
- JP4294821B2 JP4294821B2 JP2000016582A JP2000016582A JP4294821B2 JP 4294821 B2 JP4294821 B2 JP 4294821B2 JP 2000016582 A JP2000016582 A JP 2000016582A JP 2000016582 A JP2000016582 A JP 2000016582A JP 4294821 B2 JP4294821 B2 JP 4294821B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- transfer
- search
- unit
- packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/60—Router architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/30—Routing of multiclass traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/58—Association of routers
- H04L45/583—Stackable routers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワーク中継装置に係る。本発明は、特に、コンピュータネットワークシステムにおけるルータ、リピータ等のネットワーク中継装置において、入力されたパケットの転送先を高速に検索することができるネットワーク中継装置に関する。
【０００２】
【従来の技術】
一般にネットワークシステムにおいては、複数のネットワーク間を接続するためにルータやブリッジ等のネットワーク中継装置が用いられる。ルータは、接続されているネットワークから受け取ったパケットの宛先アドレスを調べてパケットの転送先を決定し、転送先のルータ又はホストが接続されたネットワークにパケットを転送する。
【０００３】
ルータは、ネットワークインターフェースボードからパケットを入力する毎にパケットのヘッダ情報に含まれるパケットの宛先情報からそのパケットをどのインターフェースに出力するかを決定し、さらに、出力するインターフェースに接続されるホスト又はルータの内、どのホストまたはルータに転送するかを決定して、パケットを転送する。さらに高機能のルータでは、パケットを転送するだけでなくパケットヘッダ条件に従いパケットの廃棄を行う機能(フィルタリング機能)、複数のパケットを転送するときにパケットの出力優先度を決定し、パケットの優先度の順にパケットを出力する機能(優先制御機能)、パケットヘッダ内の優先度情報(ＴｏＳ)を書き換える機能等を実行する。
【０００４】
さらに、一般にルータは統計機能を有しており、転送を行ったパケット数およびバイト数、ルータ内でフィルタリングやルータ内のパケットの輻輳により廃棄したパケット数、パケットの出力先の検索(経路検索)の結果、どこに出力するかが定義されていなかったパケットの数(経路無し)、ルータ自身に宛てたパケットの数や、フィルタリングの廃棄条件に一致したパケット数等を数えている。これらの統計情報は、ルータの操作や状態表示等の管理を行う端末に表示したり、ネットワーク内に存在するネットワーク管理装置に送られ、ネットワークの管理に使用される。
【０００５】
また、統計機能ではないが、パケットのデータ転送バイト数の測定が必要な場合として、ネットワーク業者がユーザからのパケットを受信する時にパケットのヘッダ条件に従いパケットを分類し（例えば、ソース・デスティネーションのサブネット、ＴＣＰ／ＩＰのポート番号、アドレス等）、この分類(以後フローと呼ぶ)毎にデータ転送速度の監視を行い、このフローのデータ転送速度がこのフローを流しているユーザとの間で契約している帯域以上のパケットを廃棄したり輻輳時に優先して廃棄するようにする機能(帯域監視機能)、または、ネットワークユーザがネットワーク業者のネットワークにパケットを送信する時にルータから各フローに属するパケットデータを出力する速度をネットワーク業者との間で契約している帯域以内に制限する機能(シェーピング機能)がある。帯域監視機能またはシェーピング機能を実現するためには、ルータを流れるパケットの一定時間毎のデータ転送バイト数(データ転送速度)を測定する必要がある。
【０００６】
ルータの処理内容には、ルータにパケットが入ってくる毎に行う必要がある上述のような処理と、ルータ間でネットワークシステム内の経路情報をやりとりしルータ内に経路テーブルを作成するという処理や、ネットワーク管理装置との間でのルータの統計情報のやり取りのようにルータにパケットが入ってくる毎には行う必要がない処理がある。
【０００７】
従来、上記ルータの処理はソフトウエア処理により行われており、ルータにパケットが入ってくる毎に必要となる処理の性能向上のため、この処理を行うユニット(ＲＰ： Routing Processor)をルータ内に複数設け、各ＲＰ毎にネットワークインターフェースボードを接続し、別々のＲＰの配下に繋がるネットワークインターフェースボード間でパケットを転送するためにRP間をバスまたはクロスバースイッチにより接続することにより高速化が図られていた。このようなルータの例として、例えば、池田、他の特開平５−１９９２３０号公報「インタネットワーク装置及び通信ネットワークシステム」等が挙げられる。
【０００８】
しかし、さらにネットワークを流れるトラフィックが増大しルータ処理を高速化する必要性が出てきた結果、ソフトウエア処理により実現されていたルータ処理をハードウエア処理で置き換えるということが行われるようになってきた。このようなルータの例として、日経エレクトロニクス１９９９年１１月２日号ｐｐ．３５−３６に示す日立製作所のルータ「ＧＲ２０００］等が挙げられる。
【０００９】
【発明が解決しようとする課題】
近年のネットワークを流れるトラフィックは、ＬＳＩ製造技術等のハードウエアの要素技術の進歩により実現できる処理能力の向上以上のペースで増大し続けており、ルータやブリッジがネットワークインターフェースボードからパケットを入力する毎に行う処理をハードウエア化するだけでは増大するネットワークトラフィックを処理しきれない。
【００１０】
本発明は、以上の点に鑑み、ルータの処理を行うハードウエアを並列化することにより、ＬＳＩ製造技術等のハードウエアの要素技術の進歩により実現できる処理能力の向上以上にルータのトータル性能を上げ、近年の増大し続けるネットワークトラフィックを十分に処理することができるルータ装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の特徴のひとつとしては、ルータ内にパケットの入出力のインターフェースを行うネットワークインターフェースボード(ＮＩＦ： Network Interface Board)、パケットのヘッダ情報からパケットの転送先を検索しパケットを転送するルーティングプロセッサ(ＲＰ： Routing Processor)、各ＲＰの制御およびルーティングプロトコル等の制御パケットの送受信を行うルーティングマネージャ(ＲＭ： Routing Manager)、および、各ＲＰおよびＲＭを接続しＲＰ間およびＲＭ、ＲＰ間のパケットの転送を行うクロスバスイッチ(ＣＳＷ： Cross bar Switch)を設け、パケットのヘッダ情報からパケットの宛先を検索しパケットを転送するという処理を実行するパケット転送ユニットを各ＲＰ内に複数個設け、ＮＩＦから入ってきたパケットおよびＣＳＷから入ってきたパケットを、パケット単位にパケット転送ユニットに振り分けるようにする。
【００１２】
パケット転送ユニットが行う処理を限定しパケット転送ユニットの構成を簡単化するためには、ＮＩＦから入ってきたパケットをＣＳＷに転送する処理を行うパケット転送ユニットと、ＣＳＷ経由で入ってきたパケットをＮＩＦに転送する処理を行うパケット転送ユニットを別々に設けるようにすればよい。また、パケット転送ユニットが処理を行わないアイドル時間を短くしパケット転送ユニット当りのルータの処理性能を向上させるためには、各パケット転送ユニットにＮＩＦからＣＳＷへの転送とＣＳＷからＮＩＦへの転送のどちらの転送処理も行わせるようにすればよい。
【００１３】
本発明の他の特徴のひとつとしては、各ＲＰがＮＩＦまたはＣＳＷから入ってきたパケットを各ＲＰ内の複数のパケット転送ユニットに振り分けるために、転送パケット振り分けユニットを設け、この転送パケット振り分けユニットは、パケットが入ってきた順にパケット転送ユニットに順番に振り分ける方法(ラウンドロビン法)か、空いているパケット転送ユニットに振り分ける方法(アウトオブオーダ法)か、パケットのヘッダ条件から振り分けるパケット転送ユニットを一意に決定する方法(ハッシュ法)によりパケットを振り分けるようにする。
【００１４】
ハッシュ法でパケットの転送先を決定する関数(ハッシュ関数)には、パケットの転送元から転送先に連続して送られる一連のパケットは全て同じパケット転送ユニットに振り分ける、という条件を設けることができる。さらに、各パケット転送ユニットにパケットができるだけ均等に振り分けられるように、ハッシュ関数としてパケットヘッダ条件から作成された擬似乱数を使用するようにすることができる。
【００１５】
また、本発明の他の特徴のひとつとして、各ＲＰ内に、ＲＰ内の複数のパケット転送ユニットが転送処理を行ったパケットを再び配列してＮＩＦまたはＣＳＷに送出する転送パケット再配列ユニットを設ける。
【００１６】
転送パケット振り分けユニットの振り分け法がラウンドロビン法またはアウトオブオーダ法の場合には、ＲＰ内の複数のパケット転送ユニットがパケット転送処理を終了する順番が、パケットの転送元から転送先に連続して送られる一連のパケットの間で逆転することが有り得るので、転送パケット再配列ユニットは、各パケット転送ユニットがパケット転送処理を終了したパケットをパケットが入ってきた順に並べ直す。転送パケット振り分けユニットの振り分け法がアウトオブオーダ法の場合には、転送パケット再配列ユニットがルータにパケットが入ってきた順番にパケットを再配列するために、転送パケット振り分けユニットがパケット転送ユニットにパケットを振り分ける時点で各パケットにシーケンス番号を付け、シーケンス番号とパケットとを一緒にパケット転送ユニットの中を持ち回り、転送パケット再配列ユニットはパケットに付けられたシーケンス番号の順にパケットを再配列してパケットを送出するようにする。
【００１７】
また、本発明のさらに他の特徴のひとつとしては各パケット転送ユニット内には、転送パケット振り分けユニットからパケットを受けてからパケット転送処理を開始するまでの間待つためのキューである転送パケット処理待ちキューと、パケット転送処理ユニットが処理を終了してから転送パケット再配列ユニットにパケットを送出するまでの間待つためのキューである転送パケット再配列処理待ちキューを設けるようにする。
【００１８】
パケット転送ユニットが行う処理の内、パケットヘッダの検索を並列化して高速化を図るためには、一つのパケット転送ユニット内にパケットヘッダの検索処理を行うパケット検索ユニットを複数個設けるようにすることができる。また、パケット転送ユニット内でパケットのヘッダの抽出を行うパケットヘッダ操作機構がパケットのヘッダ情報を抽出するようにし、抽出したパケットヘッダを各パケット検索ユニットに振り分ける検索パケット振り分けユニットを設け、各パケット検索ユニットはパケットのヘッダ情報に基づきパケットの転送先、パケットを廃棄するか転送するかの検索(フィルタリング検索)、および、パケットを出力するときの出力順の優先順位（通信品質検索）を行い、パケットの転送先、パケットを廃棄するか否かの情報、パケットの出力優先順位を返すようにし、各パケット検索ユニットの検索結果を再び配列してパケットヘッダ操作機構に渡す検索パケット再配列ユニットを設けるようにすることができる。
【００１９】
さらに高速化を図るためには、パケット転送ユニットの並列化とパケット検索ユニットの並列化を同時に実行することもできる。
【００２０】
さらに、本発明の他の特徴のひとつとしては、複数のパケット転送ユニットまたは複数のパケット検索ユニットにそれぞれ採取された統計情報を集計しルータ全体の統計情報として管理端末に表示する、あるいはネットワーク管理装置に送るために、ルータ全体を管理するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計するようにすることができる。あるいは、各ＲＰ毎にプロセッサを設け、このプロセッサ上で動作するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計するようにすることができる。
【００２１】
また、本発明のさらに他の特徴のひとつとしては、パケットのヘッダ条件毎にパケットを分類し、この分類(以後フローと呼ぶ)毎にデータ転送速度を測定し、データ転送速度に従いパケットを廃棄したり輻輳時にパケットを廃棄され易くするため、あるいはパケットの送出時にパケットの送出速度を制限するために、フローに番号を付け、各データ転送ユニットまたは各データ検索ユニットからフローの番号を出力し、転送パケット再配列ユニットまたは検索パケット再配列ユニット内で、フローの番号毎にフローのデータ転送速度を測定するようにすることができる。
【００２２】
【発明の実施の形態】
図１に、本発明のルータ装置が適用されるネットワークシステム全体の概念図を示す。図１において、パケットの送信元および受信先になり得るホスト１、２および３、パケットのヘッダ内に記述されている宛先アドレスに従いパケットを転送するルータ４および５、ホストおよびルータが直接接続され、ホストおよびルータ間のデータを伝送するサブネットワーク６、７および８が示される。ルータ４および５もパケットの送信元および受信先になり得る。
【００２３】
例えば、ホスト１からホスト２にパケットを転送する場合、ホスト１はインターフェース１０からサブネットワーク６を介して繋がるルータ４に向かってパケットを送出する。ルータ４はサブネットワーク６に繋がるインターフェース４０からパケットを受け取り、インターフェース４１からサブネットワーク７を介して繋がるルータ５に向かってパケットを転送する。同様にルータ５はインターフェース５０からパケットを受け取り、インターフェース５１からサブネットワーク８を介して繋がるホスト２に向かってパケットを転送する。ホスト２はインターフェース２０からパケットを受け取る。サブネットワーク 内の特定のルータまたはホストの特定のためにはサブネットワーク内のアドレスが使用される。
【００２４】
図２に、ルータ内部の全体ブロック図を示す。図２においてルータ４は、パケットの入出力のインターフェースを行うネットワークインターフェースボード(ＮＩＦ： Network Interface Board)４５０〜４５５、パケットのヘッダ情報からパケットの転送先を検索しパケットを転送するルーティングプロセッサ(ＲＰ： Routing Processor)４４０〜４４２、ルータ全体の管理、各ＲＰの制御、および、ルーティングプロトコル等の制御パケットの送受信を行い経路情報の管理等を行うルーティングマネージャ(ＲＭ： Routing Manager)４２、および、各ＲＰおよびＲＭを接続し、ＲＰ間およびＲＭ、ＲＰ間のパケットの転送を行うクロスバスイッチ(ＣＳＷ： Cross bar Switch)４３を備える。各ネットワークインターフェースボード（ＮＩＦ）４５０〜４５５からはネットワークインターフェース４００〜４０５が繋がる。図２のネットワークインターフェース４００〜４０５は、図１のネットワークインターフェース４０、４１に対応するものである。ネットワークインターフェースの種類には、イーサネット等のＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)、ＡＴＭ(Asynchronous Transfer Mode)等があり、各ＮＩＦ４５０〜４５５はインターフェースの種類毎に異なるハードウエアで構成される。
【００２５】
図３および図４にＲＰ ４４０の内部のブロック図を示す。図３および図４は、パケット転送ユニットを並列化した本発明のルーティングプロセッサ内部の構成の２つの例を表す構成図である。パケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）は、ＲＰ内でパケットのヘッダ情報からパケットの宛先を検索し、パケットを転送するという処理を実行するユニットであり、ＲＰ内には負荷分散のために複数個のパケット転送ユニットを設け、ＮＩＦから入ってきたパケットおよびＣＳＷから入ってきたパケットをパケット単位にパケット転送ユニットに振り分けるようにする。図３はＮＩＦから入ってきたパケットを転送するパケット転送ユニット４４００〜４４０３とＣＳＷから入ってきたパケットを転送するパケット転送ユニット４４０４〜４４０７を別々に設ける場合のＲＰの構成例であり、図４は各パケット転送ユニット４４１０〜４４１３がＮＩＦから入ってきたパケットとＣＳＷから入ってきたパケットのどちらの転送処理も行う場合のＲＰの構成例である。
【００２６】
転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）は、ＮＩＦまたはＣＳＷから入ってきたパケットを複数のパケット転送ユニットのいずれかに振り分けるという処理を行うユニットであり、パケットの振り分け方法として、パケットが入ってきた順にパケット転送ユニットに順番に振り分ける方法(ラウンドロビン法)と、空いているパケット転送ユニットに振り分ける方法(アウトオブオーダ法)と、パケットのヘッダ条件から振り分けるパケット転送ユニットを一意に決定する方法(ハッシュ法)等がある。図１１、図１２、図１３にそれぞれ、転送パケット振り分けユニットのパケット振り分け方法が、ラウンドロビン法、アウトオブオーダ法、ハッシュ法の場合の各パケット転送ユニットのパケット転送処理を表すタイムチャートを示す。図１１、１２、１３のタイムチャート内の番号はＲＰへのパケットの入力順を示し、各矩形は各パケット転送ユニットが各パケットを処理している時間を示す。図１１、１２、１３では、処理時間が長く掛かるパケットが奇数番目に入ってきて、処理時間が短いパケットが偶数番目に入ってきた場合の例について示す。
【００２７】
ハッシュ法でパケットの転送先を決定する関数(ハッシュ関数)には、例えば、パケットの転送元から転送先に連続して送られる一連のパケットは全て同じパケット転送ユニットに振り分ける、という条件を設ける。この条件により、パケット毎に転送処理に掛かる時間が異なった場合にパケット転送処理が終了した順にパケットを送出しても、パケットの転送元から転送先に連続して送られる一連のパケットの間で転送元からパケットを送った順に転送先に到着させることができる。
【００２８】
さらに、各パケット転送ユニットにパケットができるだけ均等に振り分けられるように、ハッシュ関数としてパケットヘッダ条件から作成された擬似乱数を使用することもできる。パケット転送ユニットの数が2個の場合のハッシュ関数の例として、32ビットのソースＩＰアドレスと32ビットのデスティネーションＩＰアドレスの全ビットの排他的論理和を取る、という方法がある。この場合、全ビットの排他的論理和により得られる1ビットにより2個の転送ユニットの内どちらに振り分けるかを決定する。パケット転送ユニットの数が4個の場合には1ビットでなく2ビットを出力するハッシュ関数を用いる。図１３では１、３番目のパケットがパケット検索ユニット４４１０に振り分けられ、２、４番目が４４１１に、５、７番目が４４１２に、６、８番目が４４１３にそれぞれ振り分けられた場合の例について示している。
【００２９】
転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）の振り分け法がラウンドロビン法またはアウトオブオーダ法の場合には、ＲＰ内の複数のパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）がパケット転送処理を終了する順番が、パケットの転送元から転送先に連続して送られる一連のパケットの間で逆転することが有り得るので、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）は、各パケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）がパケット転送処理を終了したパケットをパケットが入ってきた順に並べ直す。また、転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）の振り分け法がアウトオブオーダ法の場合には、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）がルータにパケットが入ってきた順番にパケットを再配列するために、転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）がパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）にパケットを振り分ける時点で各パケットにシーケンス番号を付け、シーケンス番号とパケットとを一緒にパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）の中を持ち回り、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）はパケットに付けられたシーケンス番号の順にパケットを再配列してパケットを送出する。
【００３０】
また、転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）の振り分け法がハッシュ法の場合には、各パケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）に送られたパケット間でパケットの出力順は前後して良く、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）はパケット転送処理の終了順にパケットを送出する。複数のパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）のパケット転送処理が終了していた場合には、パケット転送処理が終了した複数のパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）間で順番にパケットを送出する。
【００３１】
つぎに、図５に、本発明のパケット転送ユニットの内部構成図を示す。
パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）は、パケットの転送方向、即ちＮＩＦ４５０からＣＳＷ４３向きか、ＣＳＷ４３からＮＩＦ４５０向きかが異なるが内部の処理待ちのためのキューの持ち方は同じであり、図５は、代表してパケット転送ユニット４４００の内部の処理待ちのためのキューの持ち方を示すブロック図を表したものである。図５のパケット転送ユニット４４００内にはパケット転送処理を実行するパケット転送処理機構４４０００、転送パケット振り分けユニット４４２０等が各パケット転送ユニット４４００にパケットを振り分けた後、各パケット転送処理機構４４０００がパケット処理を開始するまで処理を待つためのキューである転送パケット処理待ちキュー４４００１と、各パケット転送処理機構４４０００が処理を終了後、転送パケット再配列ユニット４４２１等がパケットを再配列し出力するまで待つためのキューである転送パケット再配列処理待ちキュー４４００２を備える。
【００３２】
転送パケット処理待ちキュー４４００１および転送パケット再配列処理待ちキュー４４００２は、各パケット転送ユニット４４００等の各パケットの処理時間の長短、および、転送パケット振り分けユニット４４２０等の振り分け方がハッシュ法の場合に各パケット転送ユニット４４００等にパケットを振り分けるときの時間的偏りを吸収し、各パケット転送ユニット４４００等が処理をしていない時間を少なくするという効果がある。
【００３３】
次に、パケット転送ユニット４４００内でパケットの検索処理を行う部分だけを並列化して高速化を図る場合の実施の形態を示す。まず、図６に、パケットヘッダの検索処理を行うパケット検索ユニットを並列化しない場合のパケット転送ユニット４４００およびその内部のパケット転送処理機構４４０００の内部構成図を示す。また、図７に、パケット検索ユニットを並列化した場合のパケット転送ユニット４４００およびその内部のパケット転送処理機構４４０００の内部構成図を示す。
【００３４】
図６のパケット転送処理機構４４０００は、パケットヘッダ操作機構４４００００とパケット検索ユニット４４０００１を備える。パケットヘッダ操作機構４４００００は、パケットのヘッダ部分を抽出し、パケット検索ユニット４４０００１に渡す。パケット検索ユニット４４０００１はパケットヘッダ操作機構４４００００から渡されたパケットヘッダ情報に基づきパケットの転送先、パケットを廃棄するか転送するかの検索(フィルタリング検索)、および、パケットを出力するときの出力順の優先順位（通信品質検索）等を行い、パケットの転送先、パケットを廃棄するか否かの情報、パケットの出力優先順位等の情報をパケットヘッダ操作機構４４００００に渡す。パケットヘッダ操作機構４４００００はパケット検索ユニット４４０００１から渡されたパケットの転送先、パケットを廃棄するか転送するか等の情報に従い、パケットを転送、または廃棄する。
【００３５】
図７に、パケット検索ユニットを並列化した場合の、パケット転送ユニット４４００の構成を示す。このパケット転送ユニット４４００は、パケット転送処理機構４４０００、パケットヘッダ操作機構４４００００、図６のパケット検索ユニット４４０００１に対応するパケット検索ユニット４４０００１〜４４０００４、パケット転送処理機構４４０００が複数のパケット検索ユニット４４０００１〜４４０００４の一つにパケットヘッダの検索処理を振り分ける検索パケット振り分けユニット４４０００５、各パケット検索ユニット４４０００１〜４４０００４の検索結果を再配列する検索パケット再配列ユニット４４０００６を備える。
【００３６】
検索パケット振り分けユニット４４０００５のパケット検索ユニットの振り分け方法には、転送パケット振り分けユニット４４２０、４４２２（図３）、および４４３０、４４３２（図４）と同様、ラウンドロビン法とアウトオブオーダ法とハッシュ法を取り得て、それぞれの振り分け法の特徴も転送パケット振り分けユニットの場合と同様である。検索パケット再配列ユニット４４０００６の再配列方法も、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）の再配列方法と同様である。
【００３７】
ここで、図８に、本発明のパケット検索ユニットの内部構成図を示す。
図７のパケット検索ユニット４４０００１〜４４０００４は内部の処理待ちのためのキューの持ち方は同じであり、図８は、代表してパケット検索ユニット４４０００１の内部の処理待ちのためのキューの持ち方を示すブロック図を表したものである。図８のパケット検索ユニット４４０００１内にはパケット検索処理を実行するパケット検索処理機構４４０００１０、検索パケット振り分けユニット４４０００５が各パケット検索ユニット４４０００１等にパケットを振り分けた後、各パケット検索処理機構４４０００１０がパケット処理を開始するまで処理を待つためのキューである検索パケット処理待ちキュー４４０００１１と、各パケット検索処理機構が処理を終了後、検索パケット再配列ユニットがパケットを再配列し出力するまで待つためのキューである検索パケット再配列処理待ちキュー４４０００１２を備える。
【００３８】
検索パケット処理待ちキュー４４０００１１および検索パケット再配列処理待ちキュー４４０００１２は、各パケット検索ユニット４４０００１等の各パケットの処理時間の長短、および、検索パケット振り分けユニットの振り分け方がハッシュ法の場合に各パケット検索ユニットにパケットを振り分けるときの時間的偏りを吸収し、各パケット検索ユニットが処理をしていない時間を少なくするという効果がある。
【００３９】
次に、上記パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）またはパケット検索ユニット４４０００１〜４４０００４を並列化した場合の統計情報採取法について示す。例えばパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）内では転送を行ったパケット数およびバイト数、ルータ内でフィルタリングやルータ内のパケットの輻輳により廃棄したパケット数を数えており、また、パケット検索ユニット４４０００１〜４４０００４内ではパケットの出力先の検索(経路検索)の結果、どこに出力するかが定義されていなかったパケットの数(経路無し)、ルータ自身に宛てたパケットの数や、フィルタリングの廃棄条件に一致したパケット数等を数えている。
【００４０】
本発明ではパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）またはパケット検索ユニット４４０００１〜４４０００４を並列化しているので上記各統計を各パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各パケット検索ユニット４４０００１〜４４０００４内で採取するようにした場合には、図２に示したＲＭ４２上で動作しているソフトウエア、或いは図２に示したＲＰ４４０〜４４２内にプロセッサを搭載し、このプロセッサ上でソフトウエアを動作させ、これらのソフトウエアが各パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各パケット検索ユニット４４０００１〜４４０００４内に採取された統計情報を読み、並列化されている全パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または全パケット検索ユニット４４０００１〜４４０００４に取られた統計情報を足し合わせるようにする。
【００４１】
図９に、本発明のパケット検索ユニット内で採取した統計情報をルーティングプロセッサ内が読み出し集計するという処理を表す概念図を示す。
図９では、パケット転送処理機構４４０００内のパケット検索ユニット４４０００１〜４４０００４は、それぞれ統計カウンタ４４０００１３〜４４０００４３を備える。そして、パケット検索ユニット４４０００１〜４４０００４内で採取した統計カウンタ４４０００１３、４４０００２３、４４０００３３、４４０００４３の値をＲＰ ４４０内のプロセッサ４４５がレジスタバスを介して読み、集計する。図９ではパケットの収集に直接関係しない部分は省略してある。
【００４２】
また、統計機能ではないがパケットのデータ転送バイト数の測定が必要な場合として、ネットワーク業者がユーザからのパケットを受信する時にパケットのヘッダ条件に従いパケットを分類し、この分類(以後フローと呼ぶ)毎にデータ転送速度の監視を行い、このフローのデータ転送速度がこのフローを流しているユーザとの間で契約している帯域以上のパケットを廃棄したり輻輳時に優先して廃棄するようにする機能(帯域監視機能)、または、ネットワークユーザがネットワーク業者のネットワークにパケットを送信する時にルータから各フローに属するパケットデータを出力する速度をネットワーク業者との間で契約している帯域以内に制限する機能(シェーピング機能)がある。帯域監視機能またはシェーピング機能を実現するためには、ルータを流れるパケットの一定時間毎のデータ転送バイト数(データ転送速度)を測定する必要がある。
【００４３】
複数のパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または複数のパケット検索ユニット４４０００１〜４４０００４を並列化した場合には、一つのフローが複数のパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または複数のパケット検索ユニット４４０００１〜４４０００４に分散されて処理されるので、一つのフロー全体のデータ転送速度を求めるためには、各パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各パケット検索ユニット４４０００１〜４４０００４を流れるフローのデータ転送速度を共通の個所に採取する必要がある。一つのフローのデータ転送速度を共通の個所に採取するために、各フローに番号を付け、各データ転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各データ検索ユニット４４０００１〜４４０００４からパケットヘッダ検索結果の一つとしてフローの番号を出力し、転送パケット再配列ユニット４４２１、４４２３、４４３１、４４３３または検索パケット再配列ユニット４４０００６内で、フローの番号毎にフローのデータ転送速度を測定するようにし、帯域監視機能実現時にはフローのデータ転送速度に従い、（例えば、閾値以上になったら）パケットを廃棄したり、パケットを廃棄されやすくしたりする。さらに、フロー番号毎にトラフィック統計を求めることもできる。また、シェーピング機能実現時にはフローのデータ転送速度がネットワーク業者との間の契約帯域を超えないように出力を制限するようにする。
【００４４】
図１０に、本発明の複数のパケット検索ユニットが検索したフロー番号に従い検索パケット再配列ユニットがフロー毎の転送速度を測定する部分を抜粋したパケット転送処理機構の内部構成図を示す。検索パケット再配列ユニット４４０００６は、フロー番号に対応して、パケット数及びバイト数等のパケットデータ転送速度に関する情報を記憶したフロー毎の転送速度カウンタ４４０００６０を備える。パケット検索ユニット４４０００１〜４４０００４がパケット検索結果の一つとしてフロー番号を含む情報を出力し、検索パケット再配列ユニット４４０００６がフローの番号毎の転送速度カウンタ４４０００６０に各フローのパケットデータ転送速度を測定する。図１０ではフロー毎のパケットデータ転送速度の測定に直接関係しない部分は省略してある。
【００４５】
つぎに、フロー検索について説明する。図１４に、フロー検索テーブルの説明図を示す。
このフロー検索テーブルは、一例として、図示のように、比較フィールド１０１として、転送元ＩＰアドレス、宛先ＩＰアドレス、パケット長、ＩＰ優先度、ＩＰ上位プロトコル、送達確認フラグ、転送先ＴＣＰ／ＵＤＰポート、宛先ＴＣＰ／ＵＤＰポートを含む。また、アクションフィールド１０２としては、フィルタ（通過／廃棄）、トンネル（カプセル化する／しない）、ＱｏＳ（遅延クラス、廃棄クラス、帯域等）が記憶されている。
【００４６】
つぎに、ＱｏＳフロー検索の具体的方法を説明する。ここでは、一例としてＱｏＳフロー検索に注目して説明するが、各種フロー検索についても、同様に実施することができる。なお、アクションフィールド１０２には、これら各フローの制御情報が混在して記憶されていても良いし、また、各フロー毎にフロー検索テーブルが設けられるようにしても良い。
【００４７】
まず、リニアサーチ方式について説明する。アクションのひとつとしてのパケットのＱｏＳ制御情報を判定する際、予め設定されたエントリをエントリテーブルの上から順に読みだす。そして、パケットのヘッダ部等の値とエントリの比較フィールド１０１内の有効なフロー条件に全て一致したか否か判定する。なお、一致した場合にはエントリ内のアクションフィールド１０２内のＱｏＳ制御情報をパケットのＱｏＳ制御情報と判定し、ＱｏＳフロー検索を終了する。フロー条件に一致する場合が検索されると、アクションフィールド１０２内のＱｏＳ制御情報をＱｏＳ制御情報と決定し次のエントリの検索を実行せずフロー検索を終了する。
【００４８】
以上のようなリニアーサーチ方式では、大量のエントリが設定されるネットワークにおいては高速にＱｏＳ制御やフィルタリングを実行することが困難となる場合がある。そこで、大量のエントリが設定された場合でも、リニアサーチ方式と比較して高速にフロー検索を行うことができる、入力回線限定方式等を採用するとよい。以下、入力回線限定方式の概要を説明する。入力回線限定方式では、リニアーサーチ方式の比較フィールドを構成する入力回線番号に一致するエントリだけを検索し、高速化を図るようにする。
【００４９】
図１５に、第１の入力回線限定方式の説明図を示す。第１の入力回線限定方式においては、リニアーサーチ方式の比較フィールドから入力回線番号と入力回線番号有効ビットを削除したエントリ５１１−ｉを入力回線毎に設定しておく。フロー条件部５２１−ｉは、例えば、送信元あるいは宛先ユーザを識別する条件はSIPとDIPの上限値と下限値であるSIP上限値５０１、SIP下限値５０２、DIP上限値５０３、DIP下限値５０４と、SIPとDIPの上限値と下限値が有効であることを示すIP有効ビット５６２と、送信元ポートであるSPORT５０５と、宛先ポートであるDPORT５０６と、前記SPORT５０５とDPORT５０６が有効であることを示すポート有効ビット５６３等を含む。ＱｏＳ制御情報部５３０−ｉは、例えば、優先転送機能で使用するＱｏＳ制御情報であるＱｏＳ制御情報５０７を含む。フロー条件である入力回線番号が一致したエントリ５１１−ｉだけ検索するためエントリ５１１−ｉ内に入力回線番号は必要ない。フロー検索時には、パケットが入力した入力回線に割り当てられたエントリ５１１−ｉのみ検索する。
【００５０】
ここで、上述の第１の入力回線限定方式では、入力回線番号に関係ないエントリ５１１−ｉを設定する（例えば「全ての入力回線から入力されたＴｅｌｎｅｔのトラヒックは高優先」と設定する）場合、エントリ５１１−ｉを入力回線数（＝Ｎ）設定する必要があり、エントリテーブルを実現するメモリの効率が悪くなる場合がある。そこで、以下に、一層高速な入力回線限定方式について説明する。
【００５１】
図１６に、第２の入力回線限定方式の説明図を示す。第２の入力回線限定方式では、エントリテーブル７５０のアドレスであるリスト５４０を、入力回線毎にリストテーブル７６０に設定しておく。例えば、リストテーブルアドレスが”１”のリスト５４０−１１はエントリ５１１−１のアドレスであり、リストテーブルアドレスが”２”のリスト５４０−１２はエントリ５１１−Ｈのアドレスである。フロー検索時には、パケットが入力された入力回線に割り当てられたリスト５４０だけ読みだし、このリスト５４０がポイントするエントリ５１１−ｉを読み出す。ビット幅の小さなリスト５４０（例えば、１０２４エントリ持った時にも１０ｂｉｔ程度）を入力回線毎に所持し、ビット幅の大きなエントリ５１１−ｉを各入力回線で共有すれば、エントリテーブルを実現するメモリを有効に使用することができる。このため、高速化を実現しつつ、多数のエントリ５１１−ｉを設定することが可能となる。
【００５２】
フロー検出方式の他の実施例として出力回線限定方式がある。出力回線限定方式では、フロー条件である出力回線番号が一致するエントリ５１１−ｉのみを、上述の入力限定方式と同様に処理することで、フロー検出の高速化を実現する。また、フロー条件としてヘッダ情報内の入力回線番号の代わりにMAC(Media Access Control)レイヤーのソースアドレスである。SAMACを用いた際のSAMAC限定方式がある。SAMAC限定方式では、SAMACのグループであるSAMACグループを定義し、SAMACグループの識別子であるSAMAC識別子でエントリを限定することで、上述の入力限定方式と同様にフロー検索を実行することができる。
【００５３】
なお、図３、図４に示したパケット転送ユニットの並列化と図７に示したパケット検索ユニットの並列化を同時に実行することも可能であり、同時に実行した場合、各ＲＰ内のパケット検索ユニットの並列度は、パケット転送ユニットの並列度とパケット検索ユニットの並列度の掛け算になる。
【００５４】
【発明の効果】
本発明によると、パケットのヘッダ情報からパケットの宛先を検索しパケットを転送するという処理を実行するパケット転送ユニットを各ＲＰ内に複数個設け、ＮＩＦから入ってきたパケットおよびＣＳＷから入ってきたパケットを、パケット単位にパケット転送ユニットに振り分けることにより、パケットの転送処理ユニットの並列度に応じパケット転送処理を高速化できる。
【００５５】
本発明によると、ＮＩＦから入ってきたパケットをＣＳＷに転送する処理を行うパケット転送ユニットと、ＣＳＷ経由で入ってきたパケットをＮＩＦに転送する処理を行うパケット転送ユニットを別々に設けることにより、それぞれのパケット転送ユニットが行う処理が限定され、パケット転送ユニットの構成を簡単化できる。本発明によると、各パケット転送ユニットにＮＩＦからＣＳＷへの転送とＣＳＷからＮＩＦへの転送のどちらの転送処理も行わせるようにすることにより、各パケット転送ユニットが処理をしていない時間を少なくしパケット転送ユニット当りのルータの処理性能を向上できる。
【００５６】
本発明によると、転送パケット振り分けユニットのパケット振り分け方法として、パケットが入ってきた順にパケット転送ユニットに順番に振り分ける方法(ラウンドロビン法)を採用することにより、パケットの振り分け方法が簡単であり実現が容易とすることができる。また、本発明によると、空いているパケット転送ユニットに振り分ける方法(アウトオブオーダ法)を採用することにより、パケット転送ユニットのパケット処理時間がパケット毎にばらついた場合でも、パケット転送ユニットのアイドル時間を短くし、ルータのトータル性能として見たときのパケット転送ユニット当りのパケット転送処理性能を良くすることができる。さらに、本発明によると、パケットのヘッダ条件から振り分けるパケット転送ユニットを一意に決定する方法(ハッシュ法)を採用することにより、パケットの転送元から転送先に連続して送られる一連のパケットが全て同じパケット転送ユニットに振り分けるので、パケットを送出する前にパケットの順番を再配列しなくてもパケットの追い抜きが発生しないようにすることができる。さらに、ハッシュ法において、各パケット転送ユニットにパケットができるだけ均等に振り分けられるように、ハッシュ関数としてパケットヘッダ条件から作成された擬似乱数を使用することにより、パケット転送ユニット間での処理パケット数の時間的ばらつきを抑えることができる。
【００５７】
本発明によると、パケット再配列ユニットは、各パケット転送ユニットが出力したパケットをＲＰへのパケットの入力順に再配列するので、パケットの追い抜きが発生しないようにできる。また、パケットの振り分け法がアウトオブオーダ法の場合に、パケットの振り分け時にパケットにシーケンス番号を付け、パケット転送ユニット内をパケットと共に持ち回ることにより、パケット再配列ユニットがパケットの入力順を知ることができ、パケットを入力順に再配列するこができる。
【００５８】
本発明によると、各パケット転送ユニット内に転送パケット振り分けユニットからパケットを受けてからパケット転送処理を開始するまでの間待つためのキュー、および、パケット転送処理ユニットが処理を終了してから転送パケット再配列ユニットにパケットを送出するまでの間待つためのキューを設けることにより、各パケット転送ユニットの各パケットの処理時間の長短、および、転送パケット振り分けユニットの振り分け方がハッシュ法の場合に各パケット転送ユニットにパケットを振り分けるときの時間的偏りを吸収し、各パケット転送ユニットが処理をしていない時間を少なくしパケット転送ユニット当りのルータの処理性能を向上できる。
【００５９】
本発明によると、パケット転送ユニットでなく、パケット転送ユニットが行う処理の内、パケットヘッダの検索処理という限定された処理だけを行うパケット検索ユニットのみを並列化することにより、ハードウエアの増加を抑えつつ、パケット毎に必要となる処理の内複雑でボトルネックになり易い処理であるパケットヘッダ検索処理を高速化できる。
【００６０】
本発明によると、パケット転送ユニットの並列化とパケット検索ユニットの並列化を同時に実行することにより、ルータ内でパケット毎に必要となる処理の並列度を、パケット転送ユニットの並列度とパケット検索ユニットの並列度まで高めることができ、ルータのトータル性能をさらに上げることができる。
【００６１】
本発明によると、複数のパケット転送ユニットまたは複数のパケット検索ユニットのそれぞれに統計情報を採取し、ルータ全体を管理するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計するか、あるいは、各ＲＰ毎にプロセッサを設け、このプロセッサ上で動作するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計することにより、ルータ全体としての統計情報を得ることができる。
【００６２】
本発明によると、複数のパケット転送ユニットまたは複数のパケット検索ユニットのそれぞれが、パケットのヘッダ条件毎にパケットを分類し、この分類(以後フローと呼ぶ)に番号を付け、各データ転送ユニットまたは各データ検索ユニットからフローの番号を出力し、転送パケット再配列ユニットまたは検索パケット再配列ユニット内で、フローの番号毎にフローのデータ転送速度を測定することにより、全パケット転送ユニット、あるいは全パケット検索ユニットで処理したトータルとしてのフロー毎のデータ転送速度を測定でき、データ転送速度に従いパケットを廃棄したり輻輳時にパケットを廃棄され易くすること、あるいはパケットの送出時にパケットの送出速度を制限することができる。
【図面の簡単な説明】
【図１】本発明のルータが適用されるネットワークシステム全体図。
【図２】本発明のルータ全体の内部構成ブロック図。
【図３】パケット転送ユニットを並列化した本発明のルーティングプロセッサ内部ブロック図(転送方向によりパケット転送ユニットを独立に持つ場合のブロック図)。
【図４】パケット転送ユニットを並列化した本発明のルーティングプロセッサ内部ブロック図(一つのパケット転送ユニットが、両方向のパケット転送処理を行う場合のブロック図)。
【図５】本発明のパケット転送ユニットの内部ブロック図。
【図６】本発明のパケット検索ユニットを並列化しない場合のパケット転送ユニットとその内部のパケット転送処理機構の内部ブロック図。
【図７】本発明のパケット検索ユニットを並列化した場合のパケット転送ユニットとその内部のパケット転送処理機構の内部ブロック図。
【図８】本発明のパケット検索ユニットの内部ブロック図。
【図９】本発明のパケット検索ユニット内で採取した統計情報をルーティングプロセッサ内が読み出し集計するという処理を表す概念図。
【図１０】本発明の複数のパケット検索ユニットが検索したフロー番号に従い検索パケット再配列ユニットがフロー毎の転送速度を測定する部分を抜粋したパケット転送処理機構の内部ブロック図。
【図１１】本発明の転送パケット振り分けユニットの振り分け方法がラウンドロビン法の場合のパケット転送ユニットのパケット転送処理を表すタイムチャート。
【図１２】本発明の転送パケット振り分けユニットの振り分け方法がアウトオブオーダ法の場合のパケット転送ユニットのパケット転送処理を表すタイムチャート。
【図１３】本発明の転送パケット振り分けユニットの振り分け方法がハッシュ法の場合のパケット転送ユニットのパケット転送処理を表すタイムチャート。
【図１４】フロー検索テーブルの説明図。
【図１５】第１の入力回線限定方式の説明図。
【図１６】第２の入力回線限定方式の説明図。
【符号の説明】
１〜３ ホスト、４〜５ ルータ、６〜８ サブネットワーク、
４００〜４０５ ネットワークインターフェース、４２ ルータ制御部(ＲＭ)、
４３ クロスバスイッチ(ＣＳＷ)、４４０〜４４２ ルーティングプロセッサ、
４５０〜４５５ ネットワークインターフェースボード(ＮＩＦ)、
４４００〜４４０７ パケット転送ユニット、４４２０、４４２２ 転送パケット振り分けユニット、４４２１、４４２３ 転送パケット再配列ユニット、
４４１０〜４４１３ パケット転送ユニット、４４３０、４４３２ 転送パケット振り分けユニット、４４３１、４４３３ 転送パケット再配列ユニット、
４４０００ パケット転送処理機構、４４００１ 転送パケット処理待ちキュー、４４００２ 転送パケット再配列処理待ちキュー、
４４００００ パケットヘッダ操作機構、４４０００１〜４４０００４ パケット検索ユニット、４４０００５ 検索パケット振り分けユニット、４４０００６検索パケット再配列ユニット、
４４０００１０ パケット検索処理機構、４４０００１１ 検索パケット処理待ちキュー、４４０００１２ 検索パケット再配列処理待ちキュー、
４４０００１３、４４０００２３、４４０００３３、４４０００４３ 統計カウンタ、４４５ プロセッサ、
４４０００６０ フロー毎の転送速度カウンタ
【発明の属する技術分野】
本発明は、ネットワーク中継装置に係る。本発明は、特に、コンピュータネットワークシステムにおけるルータ、リピータ等のネットワーク中継装置において、入力されたパケットの転送先を高速に検索することができるネットワーク中継装置に関する。
【０００２】
【従来の技術】
一般にネットワークシステムにおいては、複数のネットワーク間を接続するためにルータやブリッジ等のネットワーク中継装置が用いられる。ルータは、接続されているネットワークから受け取ったパケットの宛先アドレスを調べてパケットの転送先を決定し、転送先のルータ又はホストが接続されたネットワークにパケットを転送する。
【０００３】
ルータは、ネットワークインターフェースボードからパケットを入力する毎にパケットのヘッダ情報に含まれるパケットの宛先情報からそのパケットをどのインターフェースに出力するかを決定し、さらに、出力するインターフェースに接続されるホスト又はルータの内、どのホストまたはルータに転送するかを決定して、パケットを転送する。さらに高機能のルータでは、パケットを転送するだけでなくパケットヘッダ条件に従いパケットの廃棄を行う機能(フィルタリング機能)、複数のパケットを転送するときにパケットの出力優先度を決定し、パケットの優先度の順にパケットを出力する機能(優先制御機能)、パケットヘッダ内の優先度情報(ＴｏＳ)を書き換える機能等を実行する。
【０００４】
さらに、一般にルータは統計機能を有しており、転送を行ったパケット数およびバイト数、ルータ内でフィルタリングやルータ内のパケットの輻輳により廃棄したパケット数、パケットの出力先の検索(経路検索)の結果、どこに出力するかが定義されていなかったパケットの数(経路無し)、ルータ自身に宛てたパケットの数や、フィルタリングの廃棄条件に一致したパケット数等を数えている。これらの統計情報は、ルータの操作や状態表示等の管理を行う端末に表示したり、ネットワーク内に存在するネットワーク管理装置に送られ、ネットワークの管理に使用される。
【０００５】
また、統計機能ではないが、パケットのデータ転送バイト数の測定が必要な場合として、ネットワーク業者がユーザからのパケットを受信する時にパケットのヘッダ条件に従いパケットを分類し（例えば、ソース・デスティネーションのサブネット、ＴＣＰ／ＩＰのポート番号、アドレス等）、この分類(以後フローと呼ぶ)毎にデータ転送速度の監視を行い、このフローのデータ転送速度がこのフローを流しているユーザとの間で契約している帯域以上のパケットを廃棄したり輻輳時に優先して廃棄するようにする機能(帯域監視機能)、または、ネットワークユーザがネットワーク業者のネットワークにパケットを送信する時にルータから各フローに属するパケットデータを出力する速度をネットワーク業者との間で契約している帯域以内に制限する機能(シェーピング機能)がある。帯域監視機能またはシェーピング機能を実現するためには、ルータを流れるパケットの一定時間毎のデータ転送バイト数(データ転送速度)を測定する必要がある。
【０００６】
ルータの処理内容には、ルータにパケットが入ってくる毎に行う必要がある上述のような処理と、ルータ間でネットワークシステム内の経路情報をやりとりしルータ内に経路テーブルを作成するという処理や、ネットワーク管理装置との間でのルータの統計情報のやり取りのようにルータにパケットが入ってくる毎には行う必要がない処理がある。
【０００７】
従来、上記ルータの処理はソフトウエア処理により行われており、ルータにパケットが入ってくる毎に必要となる処理の性能向上のため、この処理を行うユニット(ＲＰ： Routing Processor)をルータ内に複数設け、各ＲＰ毎にネットワークインターフェースボードを接続し、別々のＲＰの配下に繋がるネットワークインターフェースボード間でパケットを転送するためにRP間をバスまたはクロスバースイッチにより接続することにより高速化が図られていた。このようなルータの例として、例えば、池田、他の特開平５−１９９２３０号公報「インタネットワーク装置及び通信ネットワークシステム」等が挙げられる。
【０００８】
しかし、さらにネットワークを流れるトラフィックが増大しルータ処理を高速化する必要性が出てきた結果、ソフトウエア処理により実現されていたルータ処理をハードウエア処理で置き換えるということが行われるようになってきた。このようなルータの例として、日経エレクトロニクス１９９９年１１月２日号ｐｐ．３５−３６に示す日立製作所のルータ「ＧＲ２０００］等が挙げられる。
【０００９】
【発明が解決しようとする課題】
近年のネットワークを流れるトラフィックは、ＬＳＩ製造技術等のハードウエアの要素技術の進歩により実現できる処理能力の向上以上のペースで増大し続けており、ルータやブリッジがネットワークインターフェースボードからパケットを入力する毎に行う処理をハードウエア化するだけでは増大するネットワークトラフィックを処理しきれない。
【００１０】
本発明は、以上の点に鑑み、ルータの処理を行うハードウエアを並列化することにより、ＬＳＩ製造技術等のハードウエアの要素技術の進歩により実現できる処理能力の向上以上にルータのトータル性能を上げ、近年の増大し続けるネットワークトラフィックを十分に処理することができるルータ装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の特徴のひとつとしては、ルータ内にパケットの入出力のインターフェースを行うネットワークインターフェースボード(ＮＩＦ： Network Interface Board)、パケットのヘッダ情報からパケットの転送先を検索しパケットを転送するルーティングプロセッサ(ＲＰ： Routing Processor)、各ＲＰの制御およびルーティングプロトコル等の制御パケットの送受信を行うルーティングマネージャ(ＲＭ： Routing Manager)、および、各ＲＰおよびＲＭを接続しＲＰ間およびＲＭ、ＲＰ間のパケットの転送を行うクロスバスイッチ(ＣＳＷ： Cross bar Switch)を設け、パケットのヘッダ情報からパケットの宛先を検索しパケットを転送するという処理を実行するパケット転送ユニットを各ＲＰ内に複数個設け、ＮＩＦから入ってきたパケットおよびＣＳＷから入ってきたパケットを、パケット単位にパケット転送ユニットに振り分けるようにする。
【００１２】
パケット転送ユニットが行う処理を限定しパケット転送ユニットの構成を簡単化するためには、ＮＩＦから入ってきたパケットをＣＳＷに転送する処理を行うパケット転送ユニットと、ＣＳＷ経由で入ってきたパケットをＮＩＦに転送する処理を行うパケット転送ユニットを別々に設けるようにすればよい。また、パケット転送ユニットが処理を行わないアイドル時間を短くしパケット転送ユニット当りのルータの処理性能を向上させるためには、各パケット転送ユニットにＮＩＦからＣＳＷへの転送とＣＳＷからＮＩＦへの転送のどちらの転送処理も行わせるようにすればよい。
【００１３】
本発明の他の特徴のひとつとしては、各ＲＰがＮＩＦまたはＣＳＷから入ってきたパケットを各ＲＰ内の複数のパケット転送ユニットに振り分けるために、転送パケット振り分けユニットを設け、この転送パケット振り分けユニットは、パケットが入ってきた順にパケット転送ユニットに順番に振り分ける方法(ラウンドロビン法)か、空いているパケット転送ユニットに振り分ける方法(アウトオブオーダ法)か、パケットのヘッダ条件から振り分けるパケット転送ユニットを一意に決定する方法(ハッシュ法)によりパケットを振り分けるようにする。
【００１４】
ハッシュ法でパケットの転送先を決定する関数(ハッシュ関数)には、パケットの転送元から転送先に連続して送られる一連のパケットは全て同じパケット転送ユニットに振り分ける、という条件を設けることができる。さらに、各パケット転送ユニットにパケットができるだけ均等に振り分けられるように、ハッシュ関数としてパケットヘッダ条件から作成された擬似乱数を使用するようにすることができる。
【００１５】
また、本発明の他の特徴のひとつとして、各ＲＰ内に、ＲＰ内の複数のパケット転送ユニットが転送処理を行ったパケットを再び配列してＮＩＦまたはＣＳＷに送出する転送パケット再配列ユニットを設ける。
【００１６】
転送パケット振り分けユニットの振り分け法がラウンドロビン法またはアウトオブオーダ法の場合には、ＲＰ内の複数のパケット転送ユニットがパケット転送処理を終了する順番が、パケットの転送元から転送先に連続して送られる一連のパケットの間で逆転することが有り得るので、転送パケット再配列ユニットは、各パケット転送ユニットがパケット転送処理を終了したパケットをパケットが入ってきた順に並べ直す。転送パケット振り分けユニットの振り分け法がアウトオブオーダ法の場合には、転送パケット再配列ユニットがルータにパケットが入ってきた順番にパケットを再配列するために、転送パケット振り分けユニットがパケット転送ユニットにパケットを振り分ける時点で各パケットにシーケンス番号を付け、シーケンス番号とパケットとを一緒にパケット転送ユニットの中を持ち回り、転送パケット再配列ユニットはパケットに付けられたシーケンス番号の順にパケットを再配列してパケットを送出するようにする。
【００１７】
また、本発明のさらに他の特徴のひとつとしては各パケット転送ユニット内には、転送パケット振り分けユニットからパケットを受けてからパケット転送処理を開始するまでの間待つためのキューである転送パケット処理待ちキューと、パケット転送処理ユニットが処理を終了してから転送パケット再配列ユニットにパケットを送出するまでの間待つためのキューである転送パケット再配列処理待ちキューを設けるようにする。
【００１８】
パケット転送ユニットが行う処理の内、パケットヘッダの検索を並列化して高速化を図るためには、一つのパケット転送ユニット内にパケットヘッダの検索処理を行うパケット検索ユニットを複数個設けるようにすることができる。また、パケット転送ユニット内でパケットのヘッダの抽出を行うパケットヘッダ操作機構がパケットのヘッダ情報を抽出するようにし、抽出したパケットヘッダを各パケット検索ユニットに振り分ける検索パケット振り分けユニットを設け、各パケット検索ユニットはパケットのヘッダ情報に基づきパケットの転送先、パケットを廃棄するか転送するかの検索(フィルタリング検索)、および、パケットを出力するときの出力順の優先順位（通信品質検索）を行い、パケットの転送先、パケットを廃棄するか否かの情報、パケットの出力優先順位を返すようにし、各パケット検索ユニットの検索結果を再び配列してパケットヘッダ操作機構に渡す検索パケット再配列ユニットを設けるようにすることができる。
【００１９】
さらに高速化を図るためには、パケット転送ユニットの並列化とパケット検索ユニットの並列化を同時に実行することもできる。
【００２０】
さらに、本発明の他の特徴のひとつとしては、複数のパケット転送ユニットまたは複数のパケット検索ユニットにそれぞれ採取された統計情報を集計しルータ全体の統計情報として管理端末に表示する、あるいはネットワーク管理装置に送るために、ルータ全体を管理するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計するようにすることができる。あるいは、各ＲＰ毎にプロセッサを設け、このプロセッサ上で動作するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計するようにすることができる。
【００２１】
また、本発明のさらに他の特徴のひとつとしては、パケットのヘッダ条件毎にパケットを分類し、この分類(以後フローと呼ぶ)毎にデータ転送速度を測定し、データ転送速度に従いパケットを廃棄したり輻輳時にパケットを廃棄され易くするため、あるいはパケットの送出時にパケットの送出速度を制限するために、フローに番号を付け、各データ転送ユニットまたは各データ検索ユニットからフローの番号を出力し、転送パケット再配列ユニットまたは検索パケット再配列ユニット内で、フローの番号毎にフローのデータ転送速度を測定するようにすることができる。
【００２２】
【発明の実施の形態】
図１に、本発明のルータ装置が適用されるネットワークシステム全体の概念図を示す。図１において、パケットの送信元および受信先になり得るホスト１、２および３、パケットのヘッダ内に記述されている宛先アドレスに従いパケットを転送するルータ４および５、ホストおよびルータが直接接続され、ホストおよびルータ間のデータを伝送するサブネットワーク６、７および８が示される。ルータ４および５もパケットの送信元および受信先になり得る。
【００２３】
例えば、ホスト１からホスト２にパケットを転送する場合、ホスト１はインターフェース１０からサブネットワーク６を介して繋がるルータ４に向かってパケットを送出する。ルータ４はサブネットワーク６に繋がるインターフェース４０からパケットを受け取り、インターフェース４１からサブネットワーク７を介して繋がるルータ５に向かってパケットを転送する。同様にルータ５はインターフェース５０からパケットを受け取り、インターフェース５１からサブネットワーク８を介して繋がるホスト２に向かってパケットを転送する。ホスト２はインターフェース２０からパケットを受け取る。サブネットワーク 内の特定のルータまたはホストの特定のためにはサブネットワーク内のアドレスが使用される。
【００２４】
図２に、ルータ内部の全体ブロック図を示す。図２においてルータ４は、パケットの入出力のインターフェースを行うネットワークインターフェースボード(ＮＩＦ： Network Interface Board)４５０〜４５５、パケットのヘッダ情報からパケットの転送先を検索しパケットを転送するルーティングプロセッサ(ＲＰ： Routing Processor)４４０〜４４２、ルータ全体の管理、各ＲＰの制御、および、ルーティングプロトコル等の制御パケットの送受信を行い経路情報の管理等を行うルーティングマネージャ(ＲＭ： Routing Manager)４２、および、各ＲＰおよびＲＭを接続し、ＲＰ間およびＲＭ、ＲＰ間のパケットの転送を行うクロスバスイッチ(ＣＳＷ： Cross bar Switch)４３を備える。各ネットワークインターフェースボード（ＮＩＦ）４５０〜４５５からはネットワークインターフェース４００〜４０５が繋がる。図２のネットワークインターフェース４００〜４０５は、図１のネットワークインターフェース４０、４１に対応するものである。ネットワークインターフェースの種類には、イーサネット等のＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)、ＡＴＭ(Asynchronous Transfer Mode)等があり、各ＮＩＦ４５０〜４５５はインターフェースの種類毎に異なるハードウエアで構成される。
【００２５】
図３および図４にＲＰ ４４０の内部のブロック図を示す。図３および図４は、パケット転送ユニットを並列化した本発明のルーティングプロセッサ内部の構成の２つの例を表す構成図である。パケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）は、ＲＰ内でパケットのヘッダ情報からパケットの宛先を検索し、パケットを転送するという処理を実行するユニットであり、ＲＰ内には負荷分散のために複数個のパケット転送ユニットを設け、ＮＩＦから入ってきたパケットおよびＣＳＷから入ってきたパケットをパケット単位にパケット転送ユニットに振り分けるようにする。図３はＮＩＦから入ってきたパケットを転送するパケット転送ユニット４４００〜４４０３とＣＳＷから入ってきたパケットを転送するパケット転送ユニット４４０４〜４４０７を別々に設ける場合のＲＰの構成例であり、図４は各パケット転送ユニット４４１０〜４４１３がＮＩＦから入ってきたパケットとＣＳＷから入ってきたパケットのどちらの転送処理も行う場合のＲＰの構成例である。
【００２６】
転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）は、ＮＩＦまたはＣＳＷから入ってきたパケットを複数のパケット転送ユニットのいずれかに振り分けるという処理を行うユニットであり、パケットの振り分け方法として、パケットが入ってきた順にパケット転送ユニットに順番に振り分ける方法(ラウンドロビン法)と、空いているパケット転送ユニットに振り分ける方法(アウトオブオーダ法)と、パケットのヘッダ条件から振り分けるパケット転送ユニットを一意に決定する方法(ハッシュ法)等がある。図１１、図１２、図１３にそれぞれ、転送パケット振り分けユニットのパケット振り分け方法が、ラウンドロビン法、アウトオブオーダ法、ハッシュ法の場合の各パケット転送ユニットのパケット転送処理を表すタイムチャートを示す。図１１、１２、１３のタイムチャート内の番号はＲＰへのパケットの入力順を示し、各矩形は各パケット転送ユニットが各パケットを処理している時間を示す。図１１、１２、１３では、処理時間が長く掛かるパケットが奇数番目に入ってきて、処理時間が短いパケットが偶数番目に入ってきた場合の例について示す。
【００２７】
ハッシュ法でパケットの転送先を決定する関数(ハッシュ関数)には、例えば、パケットの転送元から転送先に連続して送られる一連のパケットは全て同じパケット転送ユニットに振り分ける、という条件を設ける。この条件により、パケット毎に転送処理に掛かる時間が異なった場合にパケット転送処理が終了した順にパケットを送出しても、パケットの転送元から転送先に連続して送られる一連のパケットの間で転送元からパケットを送った順に転送先に到着させることができる。
【００２８】
さらに、各パケット転送ユニットにパケットができるだけ均等に振り分けられるように、ハッシュ関数としてパケットヘッダ条件から作成された擬似乱数を使用することもできる。パケット転送ユニットの数が2個の場合のハッシュ関数の例として、32ビットのソースＩＰアドレスと32ビットのデスティネーションＩＰアドレスの全ビットの排他的論理和を取る、という方法がある。この場合、全ビットの排他的論理和により得られる1ビットにより2個の転送ユニットの内どちらに振り分けるかを決定する。パケット転送ユニットの数が4個の場合には1ビットでなく2ビットを出力するハッシュ関数を用いる。図１３では１、３番目のパケットがパケット検索ユニット４４１０に振り分けられ、２、４番目が４４１１に、５、７番目が４４１２に、６、８番目が４４１３にそれぞれ振り分けられた場合の例について示している。
【００２９】
転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）の振り分け法がラウンドロビン法またはアウトオブオーダ法の場合には、ＲＰ内の複数のパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）がパケット転送処理を終了する順番が、パケットの転送元から転送先に連続して送られる一連のパケットの間で逆転することが有り得るので、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）は、各パケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）がパケット転送処理を終了したパケットをパケットが入ってきた順に並べ直す。また、転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）の振り分け法がアウトオブオーダ法の場合には、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）がルータにパケットが入ってきた順番にパケットを再配列するために、転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）がパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）にパケットを振り分ける時点で各パケットにシーケンス番号を付け、シーケンス番号とパケットとを一緒にパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）の中を持ち回り、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）はパケットに付けられたシーケンス番号の順にパケットを再配列してパケットを送出する。
【００３０】
また、転送パケット振り分けユニット４４２０、４４２２（図３）および４４３０、４４３２（図４）の振り分け法がハッシュ法の場合には、各パケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）に送られたパケット間でパケットの出力順は前後して良く、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）はパケット転送処理の終了順にパケットを送出する。複数のパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）のパケット転送処理が終了していた場合には、パケット転送処理が終了した複数のパケット転送ユニット４４００〜４４０７（図３）および４４１０〜４４１３（図４）間で順番にパケットを送出する。
【００３１】
つぎに、図５に、本発明のパケット転送ユニットの内部構成図を示す。
パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）は、パケットの転送方向、即ちＮＩＦ４５０からＣＳＷ４３向きか、ＣＳＷ４３からＮＩＦ４５０向きかが異なるが内部の処理待ちのためのキューの持ち方は同じであり、図５は、代表してパケット転送ユニット４４００の内部の処理待ちのためのキューの持ち方を示すブロック図を表したものである。図５のパケット転送ユニット４４００内にはパケット転送処理を実行するパケット転送処理機構４４０００、転送パケット振り分けユニット４４２０等が各パケット転送ユニット４４００にパケットを振り分けた後、各パケット転送処理機構４４０００がパケット処理を開始するまで処理を待つためのキューである転送パケット処理待ちキュー４４００１と、各パケット転送処理機構４４０００が処理を終了後、転送パケット再配列ユニット４４２１等がパケットを再配列し出力するまで待つためのキューである転送パケット再配列処理待ちキュー４４００２を備える。
【００３２】
転送パケット処理待ちキュー４４００１および転送パケット再配列処理待ちキュー４４００２は、各パケット転送ユニット４４００等の各パケットの処理時間の長短、および、転送パケット振り分けユニット４４２０等の振り分け方がハッシュ法の場合に各パケット転送ユニット４４００等にパケットを振り分けるときの時間的偏りを吸収し、各パケット転送ユニット４４００等が処理をしていない時間を少なくするという効果がある。
【００３３】
次に、パケット転送ユニット４４００内でパケットの検索処理を行う部分だけを並列化して高速化を図る場合の実施の形態を示す。まず、図６に、パケットヘッダの検索処理を行うパケット検索ユニットを並列化しない場合のパケット転送ユニット４４００およびその内部のパケット転送処理機構４４０００の内部構成図を示す。また、図７に、パケット検索ユニットを並列化した場合のパケット転送ユニット４４００およびその内部のパケット転送処理機構４４０００の内部構成図を示す。
【００３４】
図６のパケット転送処理機構４４０００は、パケットヘッダ操作機構４４００００とパケット検索ユニット４４０００１を備える。パケットヘッダ操作機構４４００００は、パケットのヘッダ部分を抽出し、パケット検索ユニット４４０００１に渡す。パケット検索ユニット４４０００１はパケットヘッダ操作機構４４００００から渡されたパケットヘッダ情報に基づきパケットの転送先、パケットを廃棄するか転送するかの検索(フィルタリング検索)、および、パケットを出力するときの出力順の優先順位（通信品質検索）等を行い、パケットの転送先、パケットを廃棄するか否かの情報、パケットの出力優先順位等の情報をパケットヘッダ操作機構４４００００に渡す。パケットヘッダ操作機構４４００００はパケット検索ユニット４４０００１から渡されたパケットの転送先、パケットを廃棄するか転送するか等の情報に従い、パケットを転送、または廃棄する。
【００３５】
図７に、パケット検索ユニットを並列化した場合の、パケット転送ユニット４４００の構成を示す。このパケット転送ユニット４４００は、パケット転送処理機構４４０００、パケットヘッダ操作機構４４００００、図６のパケット検索ユニット４４０００１に対応するパケット検索ユニット４４０００１〜４４０００４、パケット転送処理機構４４０００が複数のパケット検索ユニット４４０００１〜４４０００４の一つにパケットヘッダの検索処理を振り分ける検索パケット振り分けユニット４４０００５、各パケット検索ユニット４４０００１〜４４０００４の検索結果を再配列する検索パケット再配列ユニット４４０００６を備える。
【００３６】
検索パケット振り分けユニット４４０００５のパケット検索ユニットの振り分け方法には、転送パケット振り分けユニット４４２０、４４２２（図３）、および４４３０、４４３２（図４）と同様、ラウンドロビン法とアウトオブオーダ法とハッシュ法を取り得て、それぞれの振り分け法の特徴も転送パケット振り分けユニットの場合と同様である。検索パケット再配列ユニット４４０００６の再配列方法も、転送パケット再配列ユニット４４２１、４４２３（図３）および４４３１、４４３３（図４）の再配列方法と同様である。
【００３７】
ここで、図８に、本発明のパケット検索ユニットの内部構成図を示す。
図７のパケット検索ユニット４４０００１〜４４０００４は内部の処理待ちのためのキューの持ち方は同じであり、図８は、代表してパケット検索ユニット４４０００１の内部の処理待ちのためのキューの持ち方を示すブロック図を表したものである。図８のパケット検索ユニット４４０００１内にはパケット検索処理を実行するパケット検索処理機構４４０００１０、検索パケット振り分けユニット４４０００５が各パケット検索ユニット４４０００１等にパケットを振り分けた後、各パケット検索処理機構４４０００１０がパケット処理を開始するまで処理を待つためのキューである検索パケット処理待ちキュー４４０００１１と、各パケット検索処理機構が処理を終了後、検索パケット再配列ユニットがパケットを再配列し出力するまで待つためのキューである検索パケット再配列処理待ちキュー４４０００１２を備える。
【００３８】
検索パケット処理待ちキュー４４０００１１および検索パケット再配列処理待ちキュー４４０００１２は、各パケット検索ユニット４４０００１等の各パケットの処理時間の長短、および、検索パケット振り分けユニットの振り分け方がハッシュ法の場合に各パケット検索ユニットにパケットを振り分けるときの時間的偏りを吸収し、各パケット検索ユニットが処理をしていない時間を少なくするという効果がある。
【００３９】
次に、上記パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）またはパケット検索ユニット４４０００１〜４４０００４を並列化した場合の統計情報採取法について示す。例えばパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）内では転送を行ったパケット数およびバイト数、ルータ内でフィルタリングやルータ内のパケットの輻輳により廃棄したパケット数を数えており、また、パケット検索ユニット４４０００１〜４４０００４内ではパケットの出力先の検索(経路検索)の結果、どこに出力するかが定義されていなかったパケットの数(経路無し)、ルータ自身に宛てたパケットの数や、フィルタリングの廃棄条件に一致したパケット数等を数えている。
【００４０】
本発明ではパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）またはパケット検索ユニット４４０００１〜４４０００４を並列化しているので上記各統計を各パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各パケット検索ユニット４４０００１〜４４０００４内で採取するようにした場合には、図２に示したＲＭ４２上で動作しているソフトウエア、或いは図２に示したＲＰ４４０〜４４２内にプロセッサを搭載し、このプロセッサ上でソフトウエアを動作させ、これらのソフトウエアが各パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各パケット検索ユニット４４０００１〜４４０００４内に採取された統計情報を読み、並列化されている全パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または全パケット検索ユニット４４０００１〜４４０００４に取られた統計情報を足し合わせるようにする。
【００４１】
図９に、本発明のパケット検索ユニット内で採取した統計情報をルーティングプロセッサ内が読み出し集計するという処理を表す概念図を示す。
図９では、パケット転送処理機構４４０００内のパケット検索ユニット４４０００１〜４４０００４は、それぞれ統計カウンタ４４０００１３〜４４０００４３を備える。そして、パケット検索ユニット４４０００１〜４４０００４内で採取した統計カウンタ４４０００１３、４４０００２３、４４０００３３、４４０００４３の値をＲＰ ４４０内のプロセッサ４４５がレジスタバスを介して読み、集計する。図９ではパケットの収集に直接関係しない部分は省略してある。
【００４２】
また、統計機能ではないがパケットのデータ転送バイト数の測定が必要な場合として、ネットワーク業者がユーザからのパケットを受信する時にパケットのヘッダ条件に従いパケットを分類し、この分類(以後フローと呼ぶ)毎にデータ転送速度の監視を行い、このフローのデータ転送速度がこのフローを流しているユーザとの間で契約している帯域以上のパケットを廃棄したり輻輳時に優先して廃棄するようにする機能(帯域監視機能)、または、ネットワークユーザがネットワーク業者のネットワークにパケットを送信する時にルータから各フローに属するパケットデータを出力する速度をネットワーク業者との間で契約している帯域以内に制限する機能(シェーピング機能)がある。帯域監視機能またはシェーピング機能を実現するためには、ルータを流れるパケットの一定時間毎のデータ転送バイト数(データ転送速度)を測定する必要がある。
【００４３】
複数のパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または複数のパケット検索ユニット４４０００１〜４４０００４を並列化した場合には、一つのフローが複数のパケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または複数のパケット検索ユニット４４０００１〜４４０００４に分散されて処理されるので、一つのフロー全体のデータ転送速度を求めるためには、各パケット転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各パケット検索ユニット４４０００１〜４４０００４を流れるフローのデータ転送速度を共通の個所に採取する必要がある。一つのフローのデータ転送速度を共通の個所に採取するために、各フローに番号を付け、各データ転送ユニット４４００〜４４０７（図３）、４４１０〜４４１３（図４）または各データ検索ユニット４４０００１〜４４０００４からパケットヘッダ検索結果の一つとしてフローの番号を出力し、転送パケット再配列ユニット４４２１、４４２３、４４３１、４４３３または検索パケット再配列ユニット４４０００６内で、フローの番号毎にフローのデータ転送速度を測定するようにし、帯域監視機能実現時にはフローのデータ転送速度に従い、（例えば、閾値以上になったら）パケットを廃棄したり、パケットを廃棄されやすくしたりする。さらに、フロー番号毎にトラフィック統計を求めることもできる。また、シェーピング機能実現時にはフローのデータ転送速度がネットワーク業者との間の契約帯域を超えないように出力を制限するようにする。
【００４４】
図１０に、本発明の複数のパケット検索ユニットが検索したフロー番号に従い検索パケット再配列ユニットがフロー毎の転送速度を測定する部分を抜粋したパケット転送処理機構の内部構成図を示す。検索パケット再配列ユニット４４０００６は、フロー番号に対応して、パケット数及びバイト数等のパケットデータ転送速度に関する情報を記憶したフロー毎の転送速度カウンタ４４０００６０を備える。パケット検索ユニット４４０００１〜４４０００４がパケット検索結果の一つとしてフロー番号を含む情報を出力し、検索パケット再配列ユニット４４０００６がフローの番号毎の転送速度カウンタ４４０００６０に各フローのパケットデータ転送速度を測定する。図１０ではフロー毎のパケットデータ転送速度の測定に直接関係しない部分は省略してある。
【００４５】
つぎに、フロー検索について説明する。図１４に、フロー検索テーブルの説明図を示す。
このフロー検索テーブルは、一例として、図示のように、比較フィールド１０１として、転送元ＩＰアドレス、宛先ＩＰアドレス、パケット長、ＩＰ優先度、ＩＰ上位プロトコル、送達確認フラグ、転送先ＴＣＰ／ＵＤＰポート、宛先ＴＣＰ／ＵＤＰポートを含む。また、アクションフィールド１０２としては、フィルタ（通過／廃棄）、トンネル（カプセル化する／しない）、ＱｏＳ（遅延クラス、廃棄クラス、帯域等）が記憶されている。
【００４６】
つぎに、ＱｏＳフロー検索の具体的方法を説明する。ここでは、一例としてＱｏＳフロー検索に注目して説明するが、各種フロー検索についても、同様に実施することができる。なお、アクションフィールド１０２には、これら各フローの制御情報が混在して記憶されていても良いし、また、各フロー毎にフロー検索テーブルが設けられるようにしても良い。
【００４７】
まず、リニアサーチ方式について説明する。アクションのひとつとしてのパケットのＱｏＳ制御情報を判定する際、予め設定されたエントリをエントリテーブルの上から順に読みだす。そして、パケットのヘッダ部等の値とエントリの比較フィールド１０１内の有効なフロー条件に全て一致したか否か判定する。なお、一致した場合にはエントリ内のアクションフィールド１０２内のＱｏＳ制御情報をパケットのＱｏＳ制御情報と判定し、ＱｏＳフロー検索を終了する。フロー条件に一致する場合が検索されると、アクションフィールド１０２内のＱｏＳ制御情報をＱｏＳ制御情報と決定し次のエントリの検索を実行せずフロー検索を終了する。
【００４８】
以上のようなリニアーサーチ方式では、大量のエントリが設定されるネットワークにおいては高速にＱｏＳ制御やフィルタリングを実行することが困難となる場合がある。そこで、大量のエントリが設定された場合でも、リニアサーチ方式と比較して高速にフロー検索を行うことができる、入力回線限定方式等を採用するとよい。以下、入力回線限定方式の概要を説明する。入力回線限定方式では、リニアーサーチ方式の比較フィールドを構成する入力回線番号に一致するエントリだけを検索し、高速化を図るようにする。
【００４９】
図１５に、第１の入力回線限定方式の説明図を示す。第１の入力回線限定方式においては、リニアーサーチ方式の比較フィールドから入力回線番号と入力回線番号有効ビットを削除したエントリ５１１−ｉを入力回線毎に設定しておく。フロー条件部５２１−ｉは、例えば、送信元あるいは宛先ユーザを識別する条件はSIPとDIPの上限値と下限値であるSIP上限値５０１、SIP下限値５０２、DIP上限値５０３、DIP下限値５０４と、SIPとDIPの上限値と下限値が有効であることを示すIP有効ビット５６２と、送信元ポートであるSPORT５０５と、宛先ポートであるDPORT５０６と、前記SPORT５０５とDPORT５０６が有効であることを示すポート有効ビット５６３等を含む。ＱｏＳ制御情報部５３０−ｉは、例えば、優先転送機能で使用するＱｏＳ制御情報であるＱｏＳ制御情報５０７を含む。フロー条件である入力回線番号が一致したエントリ５１１−ｉだけ検索するためエントリ５１１−ｉ内に入力回線番号は必要ない。フロー検索時には、パケットが入力した入力回線に割り当てられたエントリ５１１−ｉのみ検索する。
【００５０】
ここで、上述の第１の入力回線限定方式では、入力回線番号に関係ないエントリ５１１−ｉを設定する（例えば「全ての入力回線から入力されたＴｅｌｎｅｔのトラヒックは高優先」と設定する）場合、エントリ５１１−ｉを入力回線数（＝Ｎ）設定する必要があり、エントリテーブルを実現するメモリの効率が悪くなる場合がある。そこで、以下に、一層高速な入力回線限定方式について説明する。
【００５１】
図１６に、第２の入力回線限定方式の説明図を示す。第２の入力回線限定方式では、エントリテーブル７５０のアドレスであるリスト５４０を、入力回線毎にリストテーブル７６０に設定しておく。例えば、リストテーブルアドレスが”１”のリスト５４０−１１はエントリ５１１−１のアドレスであり、リストテーブルアドレスが”２”のリスト５４０−１２はエントリ５１１−Ｈのアドレスである。フロー検索時には、パケットが入力された入力回線に割り当てられたリスト５４０だけ読みだし、このリスト５４０がポイントするエントリ５１１−ｉを読み出す。ビット幅の小さなリスト５４０（例えば、１０２４エントリ持った時にも１０ｂｉｔ程度）を入力回線毎に所持し、ビット幅の大きなエントリ５１１−ｉを各入力回線で共有すれば、エントリテーブルを実現するメモリを有効に使用することができる。このため、高速化を実現しつつ、多数のエントリ５１１−ｉを設定することが可能となる。
【００５２】
フロー検出方式の他の実施例として出力回線限定方式がある。出力回線限定方式では、フロー条件である出力回線番号が一致するエントリ５１１−ｉのみを、上述の入力限定方式と同様に処理することで、フロー検出の高速化を実現する。また、フロー条件としてヘッダ情報内の入力回線番号の代わりにMAC(Media Access Control)レイヤーのソースアドレスである。SAMACを用いた際のSAMAC限定方式がある。SAMAC限定方式では、SAMACのグループであるSAMACグループを定義し、SAMACグループの識別子であるSAMAC識別子でエントリを限定することで、上述の入力限定方式と同様にフロー検索を実行することができる。
【００５３】
なお、図３、図４に示したパケット転送ユニットの並列化と図７に示したパケット検索ユニットの並列化を同時に実行することも可能であり、同時に実行した場合、各ＲＰ内のパケット検索ユニットの並列度は、パケット転送ユニットの並列度とパケット検索ユニットの並列度の掛け算になる。
【００５４】
【発明の効果】
本発明によると、パケットのヘッダ情報からパケットの宛先を検索しパケットを転送するという処理を実行するパケット転送ユニットを各ＲＰ内に複数個設け、ＮＩＦから入ってきたパケットおよびＣＳＷから入ってきたパケットを、パケット単位にパケット転送ユニットに振り分けることにより、パケットの転送処理ユニットの並列度に応じパケット転送処理を高速化できる。
【００５５】
本発明によると、ＮＩＦから入ってきたパケットをＣＳＷに転送する処理を行うパケット転送ユニットと、ＣＳＷ経由で入ってきたパケットをＮＩＦに転送する処理を行うパケット転送ユニットを別々に設けることにより、それぞれのパケット転送ユニットが行う処理が限定され、パケット転送ユニットの構成を簡単化できる。本発明によると、各パケット転送ユニットにＮＩＦからＣＳＷへの転送とＣＳＷからＮＩＦへの転送のどちらの転送処理も行わせるようにすることにより、各パケット転送ユニットが処理をしていない時間を少なくしパケット転送ユニット当りのルータの処理性能を向上できる。
【００５６】
本発明によると、転送パケット振り分けユニットのパケット振り分け方法として、パケットが入ってきた順にパケット転送ユニットに順番に振り分ける方法(ラウンドロビン法)を採用することにより、パケットの振り分け方法が簡単であり実現が容易とすることができる。また、本発明によると、空いているパケット転送ユニットに振り分ける方法(アウトオブオーダ法)を採用することにより、パケット転送ユニットのパケット処理時間がパケット毎にばらついた場合でも、パケット転送ユニットのアイドル時間を短くし、ルータのトータル性能として見たときのパケット転送ユニット当りのパケット転送処理性能を良くすることができる。さらに、本発明によると、パケットのヘッダ条件から振り分けるパケット転送ユニットを一意に決定する方法(ハッシュ法)を採用することにより、パケットの転送元から転送先に連続して送られる一連のパケットが全て同じパケット転送ユニットに振り分けるので、パケットを送出する前にパケットの順番を再配列しなくてもパケットの追い抜きが発生しないようにすることができる。さらに、ハッシュ法において、各パケット転送ユニットにパケットができるだけ均等に振り分けられるように、ハッシュ関数としてパケットヘッダ条件から作成された擬似乱数を使用することにより、パケット転送ユニット間での処理パケット数の時間的ばらつきを抑えることができる。
【００５７】
本発明によると、パケット再配列ユニットは、各パケット転送ユニットが出力したパケットをＲＰへのパケットの入力順に再配列するので、パケットの追い抜きが発生しないようにできる。また、パケットの振り分け法がアウトオブオーダ法の場合に、パケットの振り分け時にパケットにシーケンス番号を付け、パケット転送ユニット内をパケットと共に持ち回ることにより、パケット再配列ユニットがパケットの入力順を知ることができ、パケットを入力順に再配列するこができる。
【００５８】
本発明によると、各パケット転送ユニット内に転送パケット振り分けユニットからパケットを受けてからパケット転送処理を開始するまでの間待つためのキュー、および、パケット転送処理ユニットが処理を終了してから転送パケット再配列ユニットにパケットを送出するまでの間待つためのキューを設けることにより、各パケット転送ユニットの各パケットの処理時間の長短、および、転送パケット振り分けユニットの振り分け方がハッシュ法の場合に各パケット転送ユニットにパケットを振り分けるときの時間的偏りを吸収し、各パケット転送ユニットが処理をしていない時間を少なくしパケット転送ユニット当りのルータの処理性能を向上できる。
【００５９】
本発明によると、パケット転送ユニットでなく、パケット転送ユニットが行う処理の内、パケットヘッダの検索処理という限定された処理だけを行うパケット検索ユニットのみを並列化することにより、ハードウエアの増加を抑えつつ、パケット毎に必要となる処理の内複雑でボトルネックになり易い処理であるパケットヘッダ検索処理を高速化できる。
【００６０】
本発明によると、パケット転送ユニットの並列化とパケット検索ユニットの並列化を同時に実行することにより、ルータ内でパケット毎に必要となる処理の並列度を、パケット転送ユニットの並列度とパケット検索ユニットの並列度まで高めることができ、ルータのトータル性能をさらに上げることができる。
【００６１】
本発明によると、複数のパケット転送ユニットまたは複数のパケット検索ユニットのそれぞれに統計情報を採取し、ルータ全体を管理するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計するか、あるいは、各ＲＰ毎にプロセッサを設け、このプロセッサ上で動作するソフトウエアが各パケット転送ユニットまたはパケット検索ユニット内の統計情報を読み、ソフトウエア処理により集計することにより、ルータ全体としての統計情報を得ることができる。
【００６２】
本発明によると、複数のパケット転送ユニットまたは複数のパケット検索ユニットのそれぞれが、パケットのヘッダ条件毎にパケットを分類し、この分類(以後フローと呼ぶ)に番号を付け、各データ転送ユニットまたは各データ検索ユニットからフローの番号を出力し、転送パケット再配列ユニットまたは検索パケット再配列ユニット内で、フローの番号毎にフローのデータ転送速度を測定することにより、全パケット転送ユニット、あるいは全パケット検索ユニットで処理したトータルとしてのフロー毎のデータ転送速度を測定でき、データ転送速度に従いパケットを廃棄したり輻輳時にパケットを廃棄され易くすること、あるいはパケットの送出時にパケットの送出速度を制限することができる。
【図面の簡単な説明】
【図１】本発明のルータが適用されるネットワークシステム全体図。
【図２】本発明のルータ全体の内部構成ブロック図。
【図３】パケット転送ユニットを並列化した本発明のルーティングプロセッサ内部ブロック図(転送方向によりパケット転送ユニットを独立に持つ場合のブロック図)。
【図４】パケット転送ユニットを並列化した本発明のルーティングプロセッサ内部ブロック図(一つのパケット転送ユニットが、両方向のパケット転送処理を行う場合のブロック図)。
【図５】本発明のパケット転送ユニットの内部ブロック図。
【図６】本発明のパケット検索ユニットを並列化しない場合のパケット転送ユニットとその内部のパケット転送処理機構の内部ブロック図。
【図７】本発明のパケット検索ユニットを並列化した場合のパケット転送ユニットとその内部のパケット転送処理機構の内部ブロック図。
【図８】本発明のパケット検索ユニットの内部ブロック図。
【図９】本発明のパケット検索ユニット内で採取した統計情報をルーティングプロセッサ内が読み出し集計するという処理を表す概念図。
【図１０】本発明の複数のパケット検索ユニットが検索したフロー番号に従い検索パケット再配列ユニットがフロー毎の転送速度を測定する部分を抜粋したパケット転送処理機構の内部ブロック図。
【図１１】本発明の転送パケット振り分けユニットの振り分け方法がラウンドロビン法の場合のパケット転送ユニットのパケット転送処理を表すタイムチャート。
【図１２】本発明の転送パケット振り分けユニットの振り分け方法がアウトオブオーダ法の場合のパケット転送ユニットのパケット転送処理を表すタイムチャート。
【図１３】本発明の転送パケット振り分けユニットの振り分け方法がハッシュ法の場合のパケット転送ユニットのパケット転送処理を表すタイムチャート。
【図１４】フロー検索テーブルの説明図。
【図１５】第１の入力回線限定方式の説明図。
【図１６】第２の入力回線限定方式の説明図。
【符号の説明】
１〜３ ホスト、４〜５ ルータ、６〜８ サブネットワーク、
４００〜４０５ ネットワークインターフェース、４２ ルータ制御部(ＲＭ)、
４３ クロスバスイッチ(ＣＳＷ)、４４０〜４４２ ルーティングプロセッサ、
４５０〜４５５ ネットワークインターフェースボード(ＮＩＦ)、
４４００〜４４０７ パケット転送ユニット、４４２０、４４２２ 転送パケット振り分けユニット、４４２１、４４２３ 転送パケット再配列ユニット、
４４１０〜４４１３ パケット転送ユニット、４４３０、４４３２ 転送パケット振り分けユニット、４４３１、４４３３ 転送パケット再配列ユニット、
４４０００ パケット転送処理機構、４４００１ 転送パケット処理待ちキュー、４４００２ 転送パケット再配列処理待ちキュー、
４４００００ パケットヘッダ操作機構、４４０００１〜４４０００４ パケット検索ユニット、４４０００５ 検索パケット振り分けユニット、４４０００６検索パケット再配列ユニット、
４４０００１０ パケット検索処理機構、４４０００１１ 検索パケット処理待ちキュー、４４０００１２ 検索パケット再配列処理待ちキュー、
４４０００１３、４４０００２３、４４０００３３、４４０００４３ 統計カウンタ、４４５ プロセッサ、
４４０００６０ フロー毎の転送速度カウンタ
Claims (1)
- ネットワーク内でパケットのヘッダ情報に従いパケットの中継先を決定しパケットを中継するネットワーク中継装置であり、
入力パケットの転送処理を行う複数個のパケット転送ユニットと、
前記ネットワーク中継装置のインターフェースから入力したパケットを各前記パケット転送ユニットに振り分けるパケット振り分けユニットと、
各前記パケット転送ユニットがパケット転送処理を行ったパケットを、パケットの入力順に再配列するパケット再配列ユニットを備え、
前記パケット転送ユニットは、
前記パケット振り分けユニットからの前記入力パケットのパケットヘッダを抽出し、および、該パケットヘッダによる検索結果を入力して該検索結果に従い前記入力パケットのパケットヘッダを書き換えて前記パケット再配列ユニットに出力するパケットヘッダ操作機構と、
前記パケットヘッダ操作機構が抽出したパケットヘッダをキーとして少なくとも転送先の検索を含む検索処理を行う複数個のパケット検索ユニットと、
前記パケットヘッダ操作機構が抽出したパケットヘッダを複数の前記パケット検索ユニットに振り分ける検索パケット振り分け機構と、
複数の前記パケット検索ユニットが出力する検索結果を再配列して前記パケットヘッダ操作機構に出力する検索パケット再配列ユニット
を備えたネットワーク中継装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000016582A JP4294821B2 (ja) | 2000-01-26 | 2000-01-26 | ネットワーク中継装置 |
| US09/767,707 US7088716B2 (en) | 2000-01-26 | 2001-01-24 | Network routing apparatus |
| US10/989,362 US7085272B2 (en) | 2000-01-26 | 2004-11-17 | Network routing apparatus |
| US11/454,937 US20060233156A1 (en) | 2000-01-26 | 2006-06-19 | Network routing apparatus |
| US12/202,779 US8139576B2 (en) | 2000-01-26 | 2008-09-02 | Network routing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000016582A JP4294821B2 (ja) | 2000-01-26 | 2000-01-26 | ネットワーク中継装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009057670A Division JP4676541B2 (ja) | 2009-03-11 | 2009-03-11 | ネットワーク中継装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001211203A JP2001211203A (ja) | 2001-08-03 |
| JP4294821B2 true JP4294821B2 (ja) | 2009-07-15 |
Family
ID=18543697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000016582A Expired - Lifetime JP4294821B2 (ja) | 2000-01-26 | 2000-01-26 | ネットワーク中継装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US7088716B2 (ja) |
| JP (1) | JP4294821B2 (ja) |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6775235B2 (en) * | 2000-12-29 | 2004-08-10 | Ragula Systems | Tools and techniques for directing packets over disparate networks |
| JP3558044B2 (ja) * | 2001-02-09 | 2004-08-25 | 日本電気株式会社 | パケット転送レート監視制御装置、方法、及びプログラム |
| US7512780B1 (en) * | 2001-08-31 | 2009-03-31 | Verizon Corporate Services Group, Inc. | Packet-parallel high performance cryptography systems and methods |
| US7447197B2 (en) | 2001-10-18 | 2008-11-04 | Qlogic, Corporation | System and method of providing network node services |
| US7200144B2 (en) * | 2001-10-18 | 2007-04-03 | Qlogic, Corp. | Router and methods using network addresses for virtualization |
| US8189591B2 (en) * | 2001-10-30 | 2012-05-29 | Exar Corporation | Methods, systems and computer program products for packet ordering for parallel packet transform processing |
| US7385970B1 (en) * | 2001-12-07 | 2008-06-10 | Redback Networks, Inc. | Method and apparatus for balancing bandwidth among multiple ports of a network element |
| US20030108063A1 (en) * | 2001-12-07 | 2003-06-12 | Joseph Moses S. | System and method for aggregating multiple information channels across a network |
| US7593373B2 (en) * | 2001-12-12 | 2009-09-22 | At&T Intelectual Property Ii, Lp | Snoop-and-shortcut routing method for better mobility support on networks |
| US7349398B1 (en) * | 2001-12-31 | 2008-03-25 | Redback Networks, Inc. | Method and apparatus for out-of-order processing of packets |
| US7953094B1 (en) * | 2002-02-06 | 2011-05-31 | Juniper Networks, Inc. | Systems and methods for order preserving data |
| DE10221425A1 (de) * | 2002-05-14 | 2003-12-04 | Siemens Ag | Datennetzschnittstelle und Kommunikationseinrichtungen mit Datennetzschnittstelle |
| US8117333B1 (en) | 2002-05-22 | 2012-02-14 | Juniper Networks, Inc. | Systems and methods for distributed data forwarding |
| US7263091B1 (en) * | 2002-05-23 | 2007-08-28 | Juniper Networks, Inc. | Scalable routing system |
| EP1511229A4 (en) * | 2002-05-31 | 2007-03-21 | Fujitsu Ltd | PACKET REPEATING INSTALLATION, NETWORK CONNECTION DEVICE, PACKET REPEATING PROCEDURE, RECORDING MEDIUM, PROGRAM |
| US7272150B2 (en) * | 2002-08-19 | 2007-09-18 | World Wide Packets, Inc. | System and method for shaping traffic from a plurality of data streams using hierarchical queuing |
| US7272149B2 (en) * | 2002-08-19 | 2007-09-18 | World Wide Packets, Inc. | Bandwidth allocation systems and methods |
| US7277389B2 (en) * | 2002-08-29 | 2007-10-02 | World Wide Packets, Inc. | Systems and methods for grouping of bandwidth allocations |
| US7349399B1 (en) * | 2002-09-20 | 2008-03-25 | Redback Networks, Inc. | Method and apparatus for out-of-order processing of packets using linked lists |
| JP4154213B2 (ja) | 2002-11-01 | 2008-09-24 | 富士通株式会社 | パケット処理装置 |
| US7269180B2 (en) * | 2002-11-04 | 2007-09-11 | World Wide Packets, Inc. | System and method for prioritizing and queuing traffic |
| US7269348B1 (en) | 2002-11-18 | 2007-09-11 | At&T Corp. | Router having dual propagation paths for packets |
| US7626986B1 (en) * | 2002-11-18 | 2009-12-01 | At&T Corp. | Method for operating a router having multiple processing paths |
| US7200114B1 (en) * | 2002-11-18 | 2007-04-03 | At&T Corp. | Method for reconfiguring a router |
| US7330468B1 (en) * | 2002-11-18 | 2008-02-12 | At&T Corp. | Scalable, reconfigurable routers |
| KR100518813B1 (ko) * | 2003-02-15 | 2005-10-05 | 삼성전자주식회사 | 패킷 메모리 관리 장치를 가지는 패킷 포워딩 시스템 및 그의 동작방법 |
| JP2004260365A (ja) | 2003-02-25 | 2004-09-16 | Hitachi Ltd | 高速高ポート密度なネットワーク中継装置 |
| US7289508B1 (en) | 2003-03-12 | 2007-10-30 | Juniper Networks, Inc. | Systems and methods for processing any-to-any transmissions |
| JP4157403B2 (ja) | 2003-03-19 | 2008-10-01 | 株式会社日立製作所 | パケット通信装置 |
| US7586917B1 (en) * | 2003-09-30 | 2009-09-08 | Juniper Networks, Inc. | Systems and methods for re-ordering data in distributed data forwarding |
| FI114599B (fi) * | 2003-10-14 | 2004-11-15 | Tellabs Oy | Menetelmä ja laitteisto aggregaattiosuuskohtaisen vuonmuokkauksen tekemiseksi pakettikytkentäisessä tietoliikenteessä |
| JP3720345B2 (ja) * | 2004-02-17 | 2005-11-24 | シャープ株式会社 | 伝送装置 |
| US7639682B2 (en) * | 2004-03-05 | 2009-12-29 | Nec Corporation | Communication quality management and apparatus |
| US7813263B2 (en) | 2004-06-30 | 2010-10-12 | Conexant Systems, Inc. | Method and apparatus providing rapid end-to-end failover in a packet switched communications network |
| US7760719B2 (en) | 2004-06-30 | 2010-07-20 | Conexant Systems, Inc. | Combined pipelined classification and address search method and apparatus for switching environments |
| US20060013258A1 (en) * | 2004-07-13 | 2006-01-19 | International Business Machines Corporation | System, apparatus and method of improving network data traffic between interconnected high-speed switches |
| US20060245358A1 (en) * | 2005-04-29 | 2006-11-02 | Beverly Harlan T | Acceleration of data packet transmission |
| WO2007035655A2 (en) * | 2005-09-16 | 2007-03-29 | The Trustees Of Columbia University In The City Of New York | Using overlay networks to counter denial-of-service attacks |
| TWI280015B (en) * | 2005-09-28 | 2007-04-21 | Realtek Semiconductor Corp | Packet forwarding apparatus and method thereof |
| JP4607003B2 (ja) * | 2005-12-15 | 2011-01-05 | 三菱電機株式会社 | パケット処理装置 |
| US7733776B1 (en) * | 2006-09-21 | 2010-06-08 | World Wide Packets, Inc. | Altering switch behavior based on statistical data |
| US8320371B2 (en) * | 2007-10-26 | 2012-11-27 | Cisco Technology, Inc. | Statistics based forwarding information base repopulation |
| JP4957604B2 (ja) * | 2008-03-24 | 2012-06-20 | 沖電気工業株式会社 | 通信制御装置 |
| US7944844B2 (en) | 2008-07-10 | 2011-05-17 | At&T Intellectual Property I, L.P. | Methods and apparatus to monitor network layer functionalities |
| JP5028431B2 (ja) | 2009-01-07 | 2012-09-19 | 株式会社日立製作所 | ネットワーク中継装置およびパケット振り分け方法 |
| JP5100672B2 (ja) * | 2009-01-28 | 2012-12-19 | 株式会社エヌ・ティ・ティ・ドコモ | ルータ装置 |
| US8130754B2 (en) * | 2009-07-10 | 2012-03-06 | Hewlett-Packard Development Company, L.P. | On-chip and chip-to-chip routing using a processor element/router combination |
| US8014295B2 (en) * | 2009-07-14 | 2011-09-06 | Ixia | Parallel packet processor with session active checker |
| JP2011034190A (ja) * | 2009-07-30 | 2011-02-17 | Renesas Electronics Corp | データ処理装置 |
| US8553646B2 (en) | 2009-08-10 | 2013-10-08 | At&T Intellectual Property I, L.P. | Employing physical location geo-spatial co-ordinate of communication device as part of internet protocol |
| US8693470B1 (en) * | 2010-05-03 | 2014-04-08 | Cisco Technology, Inc. | Distributed routing with centralized quality of service |
| US8699484B2 (en) | 2010-05-24 | 2014-04-15 | At&T Intellectual Property I, L.P. | Methods and apparatus to route packets in a network |
| US9491085B2 (en) | 2010-05-24 | 2016-11-08 | At&T Intellectual Property I, L.P. | Methods and apparatus to route control packets based on address partitioning |
| JP2012050052A (ja) * | 2010-07-28 | 2012-03-08 | Oki Networks Co Ltd | パケット処理装置及び方法、並びに通信装置 |
| CN103238302B (zh) * | 2011-03-28 | 2016-07-06 | 松下知识产权经营株式会社 | 中继器、中继器的控制方法 |
| JP6044637B2 (ja) * | 2011-09-21 | 2016-12-14 | 日本電気株式会社 | 通信装置、通信システム、通信制御方法及びプログラム |
| WO2013122042A1 (ja) * | 2012-02-13 | 2013-08-22 | 日本電信電話株式会社 | フレーム検索処理装置および方法 |
| EP2817761A2 (en) | 2012-02-24 | 2014-12-31 | Missing Link Electronics Inc. | Partitioning systems operating in multiple domains |
| JP5735711B2 (ja) * | 2012-06-26 | 2015-06-17 | 東芝三菱電機産業システム株式会社 | データ収集装置及びデータ収集プログラム |
| US20150012679A1 (en) * | 2013-07-03 | 2015-01-08 | Iii Holdings 2, Llc | Implementing remote transaction functionalities between data processing nodes of a switched interconnect fabric |
| JP6060050B2 (ja) * | 2013-08-02 | 2017-01-11 | 株式会社日立製作所 | 通信装置、及び、パケット処理方法 |
| CN107409095B (zh) * | 2015-03-28 | 2020-12-08 | 英特尔公司 | 从交换机的输入端口向输出端口路由分组的方法、系统、介质和交换机 |
| JP6506624B2 (ja) * | 2015-05-29 | 2019-04-24 | 株式会社デンソー | 車両の運転支援装置、及び運転支援方法 |
| JP2017147662A (ja) | 2016-02-18 | 2017-08-24 | 株式会社オートネットワーク技術研究所 | 中継装置 |
| EP4183117A4 (en) * | 2020-07-15 | 2024-04-10 | Ericsson Telefon Ab L M | NETWORK NODE UNIT, RECEIVING ELEMENT AND METHODS THEREIN FOR MANAGING PACKET AND PACKET PROCESSING |
| US11442703B2 (en) * | 2020-09-22 | 2022-09-13 | Cisco Technology, Inc. | Domain-specific language for serverless network functions |
| US11625230B2 (en) | 2020-09-22 | 2023-04-11 | Cisco Technology, Inc. | Identifying execution environments for deploying network functions |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01132246A (ja) * | 1987-08-31 | 1989-05-24 | Toshiba Corp | トラヒックの片寄りを無くすことができるデータ伝送システム |
| US5434863A (en) | 1991-08-30 | 1995-07-18 | Hitachi, Ltd. | Internetworking apparatus for connecting plural network systems and communication network system composed of plural network systems mutually connected |
| US5383181A (en) | 1991-10-31 | 1995-01-17 | Nec Corporation | Packet switching system capable of reducing a delay time for each packet |
| JPH066370A (ja) | 1992-06-18 | 1994-01-14 | Hitachi Ltd | パケットスイッチングシステム |
| JPH06197111A (ja) | 1992-10-26 | 1994-07-15 | Hitachi Ltd | インタネットワーク装置 |
| JPH0775353B2 (ja) | 1993-02-23 | 1995-08-09 | 日本電気株式会社 | パケット交換方式 |
| EP0720324B1 (en) * | 1994-12-28 | 2006-04-19 | Canon Kabushiki Kaisha | Device for switching control in a communication network and corresponding network |
| US6493347B2 (en) * | 1996-12-16 | 2002-12-10 | Juniper Networks, Inc. | Memory organization in a switching device |
| US6539000B1 (en) * | 1998-07-21 | 2003-03-25 | Kabushiki Kaisha Toshiba | Multicast communication method and apparatus |
| US6744762B1 (en) * | 1998-09-01 | 2004-06-01 | Canon Kabushiki Kaisha | Node device, communication network having a plurality of node devices, and control method therefor |
| US6370579B1 (en) * | 1998-10-21 | 2002-04-09 | Genuity Inc. | Method and apparatus for striping packets over parallel communication links |
| US6633560B1 (en) * | 1999-07-02 | 2003-10-14 | Cisco Technology, Inc. | Distribution of network services among multiple service managers without client involvement |
| US7274691B2 (en) * | 1999-12-23 | 2007-09-25 | Avaya Technology Corp. | Network switch with packet scheduling |
| US6569706B2 (en) * | 2001-09-19 | 2003-05-27 | Osram Opto Semiconductors Gmbh | Fabrication of organic light emitting diode using selective printing of conducting polymer layers |
| US7894343B2 (en) * | 2003-06-19 | 2011-02-22 | Polytechnic University | Packet sequence maintenance with load balancing, and head-of-line blocking avoidance in a switch |
| US7362754B2 (en) * | 2003-09-04 | 2008-04-22 | Samsung Electronics Co., Ltd. | Apparatus and method for maintaining packet sequencing in a parallel router |
-
2000
- 2000-01-26 JP JP2000016582A patent/JP4294821B2/ja not_active Expired - Lifetime
-
2001
- 2001-01-24 US US09/767,707 patent/US7088716B2/en not_active Expired - Fee Related
-
2004
- 2004-11-17 US US10/989,362 patent/US7085272B2/en not_active Expired - Lifetime
-
2006
- 2006-06-19 US US11/454,937 patent/US20060233156A1/en not_active Abandoned
-
2008
- 2008-09-02 US US12/202,779 patent/US8139576B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US8139576B2 (en) | 2012-03-20 |
| US20060233156A1 (en) | 2006-10-19 |
| US20050089038A1 (en) | 2005-04-28 |
| US20020027917A1 (en) | 2002-03-07 |
| US7085272B2 (en) | 2006-08-01 |
| US20090010262A1 (en) | 2009-01-08 |
| US7088716B2 (en) | 2006-08-08 |
| JP2001211203A (ja) | 2001-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4294821B2 (ja) | ネットワーク中継装置 | |
| US9485155B2 (en) | Traffic analysis of data flows | |
| US7787442B2 (en) | Communication statistic information collection apparatus | |
| US7130903B2 (en) | Multi-layer class identifying communication apparatus with priority control | |
| US7706271B2 (en) | Method of transmitting packets and apparatus of transmitting packets | |
| US7644157B2 (en) | Statistical information collecting system and apparatus thereof | |
| JP4341413B2 (ja) | 統計収集装置を備えたパケット転送装置および統計収集方法 | |
| US6650642B1 (en) | Network relaying apparatus and network relaying method capable of high-speed routing and packet transfer | |
| US7130272B1 (en) | Method and apparatus for performing high-speed traffic shaping | |
| US6683885B1 (en) | Network relaying apparatus and network relaying method | |
| EP1662722B1 (en) | Packet communication network system | |
| US20040100977A1 (en) | Packet processing apparatus | |
| CN1638361A (zh) | 网络交换设备的并行数据链路层控制器 | |
| US6526066B1 (en) | Apparatus for classifying a packet within a data stream in a computer network | |
| US10924374B2 (en) | Telemetry event aggregation | |
| US7719990B2 (en) | Communications network traffic monitor system | |
| JPWO2008108403A1 (ja) | ノード装置、ノードシステム、該ノード装置に用いられる統計情報管理テーブルの入替え方法及びプログラム | |
| JP4676541B2 (ja) | ネットワーク中継装置 | |
| CN113132179A (zh) | 测量分组驻留和传播时间 | |
| CN112825507A (zh) | 网络设备中的流监测 | |
| JP2000312225A (ja) | パケット中継装置 | |
| JP4410432B2 (ja) | フロー検索方法 | |
| JP3159251B2 (ja) | データ交換装置 | |
| JPH1013472A (ja) | ブリッジング機能を有するネットワーク接続装置における、Ｄｅｌａｙ−Ｅｘｃｅｅｄｅｄ−Ｄｉｓｃａｒｄ処理方式 | |
| US20030169764A1 (en) | Network device for sampling a packet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050705 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090311 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090409 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4294821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |