JP6114386B2 - 大規模コンピュータネットワークにおける最適な時間制御経路を構築するための方法 - Google Patents

Description

本発明は、複数のコンピュータノード、配信モジュール、および通信チャネルから構成され、全ての配信モジュールがグローバル時間ベースにアクセスできる、大規模コンピュータネットワークにおけるＴＴ経路の動的生成のための方法に関する。

本発明はコンピュータ工学の分野に存する。本発明によれば、大規模コンピュータネットワーク、例えばインターネットにおいて、保証された時間挙動でメッセージをトランスポートするために、所与の前提条件下で最適な時間制御通信経路を構築するための革新的方法が開示される。

多くの技術的用途において、空間的分散システムの状態に関する現在の情報が中央制御ステーションで必要とされる。例えば、配電網（スマートグリッド）の制御の場合、遠く離れたセンサおよびアクチュエータ（しばしば数百キロメートル離れた）の状態に関する情報を制御ステーションで電圧周期（すなわち２０ミリ秒）未満以内に確実に入手することができれば有利である。

接続されたコンピュータの間でデータを交換する可能性を提供する既存のインフラストラクチャ、すなわちインターネットは現在、この用途で要求される短周期のメッセージトランスポートを保証することができない。

米国特許US7,839,868、発明者：Kopetz,H.、発明の名称：Communication method and system for the transmission of time‐driven and event‐driven Ethernet messages、登録日：2010年11月23日 米特許公開US20100220744、発明者：Ungerman,J.、Intelligent Star Coupler for time‐triggered communication protocol and method for communicating between nodes with a network using a time triggered protocol、公開日：2010年9月2日 米特許公開US20060242252、発明者：Jiang,S.、Extensible Scheduling of Messages on Time‐Triggered Busses、公開日：2006年10月26日 米特許公開US20110066854、発明者：Poledna,S.、Method for Secure Dynamic Bandwidth Allocation in TT Ethernet.、2011年3月17日公開 米特許公開US20110032833、発明者：Zhang et al.、Optimizing of Traffic Routing for Data Center Services、公開日：2011年2月10日 オーストリア特許公開A474/2012、出願人：FTS Computertechnik、発明の名称：Selbstorganisierendes Verfahren zum Aufbau von deterministischen Routen in einem grosen Computernetzwerk (Self‐organising method for constructing deterministic routes in a large computer network)、公開日：2012年4月19日、

著者：Kopetz,H.、タイトル：Real‐Time Systems, Design Principles for Distributed Embedded Applications、出版社：Springer publishing house、出版日：2011年

本発明の目的は、大規模ネットワークにおいて時間制御経路を構築することであり、前記経路は、スマートグリッドのような用途がインターネットを介して通信することができるように、保証された応答時間挙動を有する。

大規模コンピュータネットワークは一般的に、ネットワーク全体を制御する中央局(central instance)が無いネットワークを意味すると理解されている。大規模コンピュータネットワークの例はインターネットである。

上記目的は、本発明に従って、コンピュータノード（ＳＲＫ）を送信してから既存の仮想接続に沿ってコンピュータノードを受信するまでの特定の経路時間特性を持つ時間制御経路を確立することを目的とするスケジューリング局は、最初に要求メッセージによって、仮想接続に配置された各配信モジュールから前記配信モジュールによって既に確認された全てのＴＴ経路記述子リスト（ＴＴＰＤＬ）を要求し、次いで特定の経路時間特性および全ての確認されたＴＴＰＤＬを動的スケジューラに送信し、動的スケジューラは仮想接続に配置された各配信モジュールに対し新しいＴＴＰＤＬを作成し、影響される配信モジュールの既存の予約済みＴＴＰＤＬは変化せず、対応する新しいＴＴＰＤＬは仮想接続に配置された各配信モジュールに送信され、仮想接続に配置された各配信モジュールは要求されたＴＴ経路を予約し、かつ確認メッセージによってスケジューリング局に予約の成功を確認するという点において、導入部に示したタイプの方法により達成される。

既存のインターネットプロトコルでは、２つのエンドシステム間またはこれらのエンドシステムに接続された配信モジュール間の仮想接続の構築は既に提供されている。仮想接続は、送信コンピュータノード（ＳＲＫ）から１つ以上の受信コンピュータノードへの経路を確立し、経路は種々の通信チャネルを介して相互接続された複数の配信モジュールを介してつながる。本発明では、時間制御接続はそのような既存の経路上に、メッセージをＳＲＫから受信機へ最小限のトランスポート時間でトランスポートすることができるように、構築される。

ポイントツーポイントチャネルに沿ったメッセージの伝送の最小期間は、伝搬遅延およびチャネルの帯域幅によって決定される［７］。配信モジュール間の多くのポイントツーポイントチャネルから構成される経路に沿ったメッセージの最小トランスポート時間が達成されるのは、既存の経路に沿ったメッセージの送信の位相が、経路に沿った配信モジュールにおけるメッセージの不要の中間格納の必要が無いような方法で同期化される時である。これを達成するために、先験的に経路に沿った各配信モジュールに対し本発明に従ってスケジュールが作成され、この配信モジュールから伝達されるべき全ての時間制御メッセージの競合の無い伝達および転送を可能にする。これは影響される全ての配信モジュールがグローバル時間にアクセスできることを前提とする［７］。そのようなグローバル時間は、例えば世界中で入手可能なＧＰＳ信号を介する同期化によって提供することができる。

インターネットのような大規模コンピュータネットワークでは、中央局が存在せず、システム全体の状態を全体的に俯瞰することがないので、スケーラブルな非集中的解決が本書に開示する方法によって提案される。出発点は、時間制御経路が予め定められた仮想接続に沿って確立される［６］の場合と同じである。［６］とは対照的に、（ＴＴ経路の）時間制御経路のスケジューリングは配信モジュールによってではなく、スケジューラによって実行され、スケジューラには経路に沿って配置された確認済み予約配信モジュール（スイッチ）に関する全ての情報、および希望する時間制御経路のパラメータについても提供される。スケジューラはしたがって、既存の時間制御接続の所与の限界条件下で最適なＴＴ経路を見つけるために必要な全ての情報を有する。

特許文献［１〜５］にも学術上の文献にも、インターネットのような大規模コンピュータネットワークにおける時間制御経路の動的構築に関する提案は見当たらなかった。

本発明は、インターネットのような大規模コンピュータネットワークにおいて、既存の仮想接続に沿って最適な時間制御チャネルを構築するための方法を開示する。前記チャネルは、先験的にスケジュールされた時間制御メッセージの競合の無い慎重な転送を可能にする。

本発明はまた、上述した方法で使用されるスケジューリング局にも関する。

スケジューリング局は好ましくは、区別される配信モジュールとして、システム管理者として、または別の選択されたコンピュータノードとして構成され、あるいはその機能は、送信コンピュータノード、区別される配信モジュール、システム管理者、または別の選択されたコンピュータノードによって実行される。

本発明はさらに、上述した方法で使用されるスケジューラに関する。

スケジューラは、本発明の一実施形態では、共通ハードウェアにスケジューリング局と共に設けることができる。

スケジューラはスケジューリング局とは別個に有利に形成することができる。

ここで、スケジューラまたはその機能がコンピュータネットワークのクラウドに設けられると、有利である。この実施形態では、スケジューラの機能性は、ネットワークを介してアドレス指定されるコンピュータセンタによって提供される（「クラウドコンピューティング」）。

最後に、本発明はまた、複数のコンピュータノード、配信モジュール、および通信チャネルから構成され、上述した方法を実行するために全ての配信モジュールがグローバル時間ベースにアクセスすることのできるコンピュータネットワーク、特に大規模コンピュータネットワークにも関する。

本発明のさらなる有利な実施形態を以下の通り記載する。それらは相互に追加的に、代替的に、または任意の組み合わせで設けることができる。ここにそれらを掲げる。
＊）配信モジュールにおけるＴＴ経路の予約は、特定の始点および終点を持つ将来の予約区間に対して実行される。
＊）所与の時点の配信モジュールにおけるＴＴ経路の予約は能動または受動とすることができ、受動状態から能動状態への切替えおよびその逆の切替えは、影響される配信モジュールへの起動メッセージによってトリガされる。
＊）確認された全てのＴＴＰＤＬをスケジューリング局に送信するように配信モジュールに要求した後、配信モジュールで予約タイムアウト時間が開始され、その間このタイプのさらなる要求は処理されない。
＊）配信モジュールの障害は、配信モジュールによって周期的に送信されるアライブメッセージの不在によって識別される。
＊）特定の回復区間中の配信モジュールの一時的障害および再起動の後、配信モジュールは新しい予約を実行せず、全てのスケジューリング局は、影響される配信モジュールに、それらの確認された能動および受動予約を回復区間より小さい周期で周期的に送信する。
＊）時間制御経路の構築は、ＳＲＫに直接接続された配信モジュールによって実行される。
＊）スケジューリング局と配信モジュールとの間の通信は、暗号化方法によって保護される。

本発明を以下の図面に関連して詳細に説明する。

実時間の経過のサイクル図である。 大規模ネットワークの小部分の構造および２つのエンドシステム間に設けられた経路を示す。

図１は実時間の経過サイクルを示す。この図では、実時間の経過は周期および位相の形で示される。図１では、時間は時計回りの方向１１１０に進む。周期の開始は、時点１００でグローバル時間と同期化される。周期中に発生する事象（例えば事象１０１）は、周期の開始１００と事象１０１との間の角度、すなわち位相の特定によって特徴付けられる。時間が一周期全体、すなわち３６０度の角度を経過すると、次の周期が開始する。次の周期中に、時間制御動作は前の周期と同一の位相を有する。実時間の経過のサイクル画像は、時間制御実時間システムで生じる周期的プロセスを表すのに特によく適している。

図２は大規模コンピュータネットワークの小部分を示す。図２には、５つのエンドシステム２１０、２１１、２１２、２１３、２１４、および４つの配信モジュール２２０、２２１、２２２、２２３が示されている。さらに、図２には、エンドシステム２１０、すなわち送信コンピュータノード（ＳＲＫ）から、配信モジュール（スイッチ）２２０、２２１、２２２、および２２３を介してエンドシステム２１３までの経路２３０が示されている。

経路２３０に沿ったメッセージ伝達の経時的な経過が図１に示されている。時点１０１で、エンドシステム２１０、すなわち送信コンピュータノード（ＳＲＫ）は、メッセージを送信し始める。時点１０２で、このメッセージの第１ビットが配信モジュール２２０に到着する。メッセージの第１ビットが配信モジュール２２１の方向に配信モジュール２２０を離れる時点１０３まで、メッセージは配信モジュールに存在する。時点１０４で、メッセージの第１ビットは配信モジュール２２１に到着する。記載したプロセスは、メッセージが受信エンドシステム２１３の直前の配信モジュール２２３に到着する時点１０８まで繰り返される。メッセージの送信は時点１１１、すなわちメッセージの最後のビットがエンドシステム２１３に到着する時点で完了する。区間（１１０、１１１）はエンドレイテンシ（end latency）と呼ばれる。

以下で、本書で使用するさらなる用語について説明する。２つのエンドシステム間の時間制御経路は、予約区間（すなわち時間制御接続が要求される区間）、経路の始点の位相および周期、経路の終点の位相および周期、ならびに時間制御されるメッセージの長さ［ビット］の正確な特定によって特徴付けられる。これらのパラメータは時間制御経路の実時間特性を決定する。

仮想接続２３０に沿ったエンドシステム２１０がデータストリームのための時間制御経路を確立しようとする場合、次の方法が実行される。

最初に、スケジューリング局(scheduling instance)は、経路に沿って配置された全ての配信モジュールに、すなわち図２における配信モジュール２２０、２２１、２２２、および２２３に要求メッセージを送信し、スケジュールされた将来の予約区間のために、過去に確認された時間制御経路の全ての能動および受動予約をスケジューリング局に伝達するように要求する。スケジューリング局は、送信コンピュータノードＳＲＫ、特殊配信モジュール、システム管理者、または別の選択されたコンピュータノードとすることができる。

配信モジュールにおける時間制御経路の予約は、ＴＴ経路記述子リスト（ＴＴＰＤＬ）で決定される。ＴＴＰＤＬに含まれるものは次の通りである。
＊予約区間、すなわち時間制御メッセージが伝達される区間。
＊配信モジュールの入力ポートにおける時間制御メッセージの予想到着の時点（周期、位相）。
＊配信モジュールの出力ポートからの送出メッセージの送信の時点（周期、位相）。
＊予約区間が能動かそれとも受動かの特定。

時間制御メッセージがこの区間中に予想される場合には、予約区間中ＴＴＰＤＬは能動である。予約が行われかつ確認されたが、現在予想される時間制御メッセージが無い場合には、予約区間中ＴＴＰＤＬは受動である。受動ＴＴＰＤＬは、スケジューリング局から影響される配信モジュールへの起動メッセージによって起動することができる。受動ＴＴＰＤＬは、例えば配信モジュールの障害発生後に新しい時間制御接続を非常に迅速に利用可能にするために、以前にスケジュールされた時間制御経路の迅速な起動を可能にする。ＴＴＰＤＬが受動であることを前提として、利用可能な帯域幅は事象制御メッセージに使用することができる。

受動ＴＴＰＤＬの概念は、１つ以上の配信モジュールで事前に時間制御チャネルを構成しておき、必要な場合に、これらのチャネルを起動メッセージによって即座に起動させることができるようにするためにも使用することができる。時間制御システムの設置および拡張はこうして著しく簡素化することができる。

要求位相の完了後に、スケジューリング局は、所望の経路に沿った時間制御メッセージのための確認された予約に関する全ての情報を含む。この情報は、所望の新しい時間制御経路の特定の経路特性（予約区間、周期、位相、メッセージ長）と共にスケジューラに送信され、スケジューラは、所与の予約条件下で、影響される全ての配信モジュールのための最適なスケジュールを計算する。ここで、スケジューラは確認された予約を変更しない場合がある。確認された予約はこうして、新しいスケジュールの計算のための限界条件を構成する。［６］とは対照的に、スケジューラは、最適なスケジュールの作成を可能にするための全ての必要な情報を有する。

スケジューラは典型的には、スケジューリング局とは別個に形成される。例として、スケジューラはスケジューリング局とは別のハードウェア上で実行される。

しかし、スケジューラは、スケジューリング局の一部とすることもでき、例えばスケジューリング局を提供するハードウェア、またはスケジューリング局として動作するハードウェアが、スケジューラとしても動作する。この場合、請求項１の表現は、スケジューリング局がスケジューラに「特定された経路時間特性および全ての確認されたＴＴＰＤＬを送信」すること、およびスケジューリング局がこれらの特性およびＴＴＰＤＬをスケジューラに送信することを意味する。

スケジューラによるスケジュールの作成および所望の接続のための新しいＴＴＰＤＬの決定の後、スケジューラまたはスケジューリング局は、予約を確定するために、影響される配信モジュールにこれらの新しいＴＴＰＤＬを送信する。影響される配信モジュールは、新しい時間制御経路の確認をスケジューリング局に伝達するために、確認メッセージで応答する。

以前に決定された予約タイムアウト時間中に、所望の経路に沿って配置された配信モジュールのいずれも、さらなる予約要求に肯定的に応答しない場合がある。ひとたび予約タイムアウト時間が経過すると、さらなる要求の遮断が引き起こされるので、新しいＴＴＰＤＬは、影響される配信モジュールに予約タイムアウト時間内に伝達されなければならない。

時間制御経路に沿って配置された配信モジュールに障害が生じた場合、スケジューリング局は、新しい時間制御接続を迅速に提供するために、代替的経路に沿って既にスケジュールされている受動ＴＴＰＤＬを起動することができる。

配信モジュールの障害はメンバシッププロトコルを介して識別され［７］、それにより時間制御経路に関係するいずれかの配信モジュールは、以前に決定された周期またはメンバシップレイテンシで、アライブメッセージをスケジューリング局に周期的に送信する。アライブメッセージが不在の場合、配信モジュールの障害がこうして想定される。

経験から、配信モジュールの障害は大抵の場合一過性であり、換言すると、配信モジュールのリセット後に、配信モジュールの機能は復旧する。リセット後に、配信モジュールに格納されていた全てのＴＴＰＤＬは失われるので、配信モジュールの再起動は、以下の革新的方法によって支援される。障害の生じた配信モジュールの再起動直後に、回復タイムアウト時間が起動する。回復タイムアウト時間中に、再び作動するようになった配信モジュールは新しい予約を受け入れない場合がある。本発明によると、全てのスケジューリング局は、影響を受ける全ての配信モジュールに対し、前記スケジューリング局に影響するＴＴＰＤＬを周期的メッセージで送信し、ここでその周期は回復タイムアウト時間より短い。こうして、再び作動するようになった配信モジュールは、その失われた内部状態を回復タイムアウト時間後に復元することが確実になる。

特殊な実現では、ＳＲＫに直接接続された配信モジュールが、スケジューリング局の記載されたタスクを実行することが可能である。時間制御接続の構築はこれにより、コンピュータネットワークにシフトされるので、ネットワークに接続されたコンピュータノードは、最小限の努力により時間制御ネットワークに統合することができる。

侵入者が時間制御接続の構築を妨害するのを防止するために、スケジューリング局と配信モジュールとの間のトラヒックは、先行技術に相応する暗号化方法によって保護することができる。

ＦＰＧＡおよびＡＳＩＣの使用により、記載した方法の一部分を直接ハードウェアに提供することが可能である。

本発明はこのように、インターネットのような大規模コンピュータネットワークにおいて、既存の仮想接続に沿って、最適な時間制御チャネルを構築するための方法を開示する。前記チャネルは先験的にスケジュールされた時間制御メッセージの競合の無い伝達および即時の転送を可能にする。

Claims (15)

1. 複数のコンピュータノード、配信モジュール、および通信チャネルから構成され、全ての配信モジュールがグローバル時間ベースにアクセスできるようにした大規模コンピュータネットワークにおいてＴＴ経路を動的に形成するための方法であって、
   送信コンピュータノード（ＳＲＫ）から既存の仮想接続に沿って受信コンピュータノードまで特定の経路時間特性を持つ時間制御経路を確立することを目的とするスケジューリング局は、最初に、要求メッセージによって、前記仮想接続に配置された各配信モジュールから、前記配信モジュールによって既に確認された全てのＴＴ経路記述子リスト（ＴＴＰＤＬ）を要求し、次いで特定の経路時間特性および全ての確認されたＴＴＰＤＬを動的スケジューラに送信し、前記動的スケジューラは、前記仮想接続に配置された各配信モジュールのために新しいＴＴＰＤＬを作成し、影響される配信モジュールの既存の予約されたＴＴＰＤＬは変化せず、前記対応する新しいＴＴＰＤＬは、前記仮想接続に配置された各配信モジュールに送信され、前記仮想接続に配置された各配信モジュールは、要求されたＴＴ経路を予約し、かつ予約の成功を確認メッセージによって前記スケジューリング局に確認することを特徴とする方法。
2. 配信モジュールにおけるＴＴ経路の予約が、特定の始点および終点を持つ将来の予約区間に対して実行されることを特徴とする、請求項１に記載の方法。
3. 所与の時点の配信モジュールにおけるＴＴ経路の予約は能動または受動とすることができ、受動状態から能動状態への切替えおよびその逆の切替えは、前記影響される配信モジュールへの起動メッセージによってトリガされることを特徴とする、請求項１または２に記載の方法。
4. 確認された全てのＴＴＰＤＬをスケジューリング局に送信するように配信モジュールに要求した後、配信モジュールで予約タイムアウト時間が開始され、その間はこのタイプのさらなる要求が処理されないことを特徴とする、請求項１ないし３の一項に記載の方法。
5. 配信モジュールの障害は、配信モジュールによって周期的に送信されるアライブメッセージの不在によって識別されることを特徴とする、請求項１ないし４の一項に記載の方法。
6. 特定の回復区間中の配信モジュールの一時的障害および再起動の後、配信モジュールは新しい予約を実行せず、全てのスケジューリング局は前記影響される配信モジュールに、それらの確認された能動および受動予約を前記回復区間より小さい周期で周期的に送信することを特徴とする、請求項１ないし５の一項に記載の方法。
7. 時間制御経路の構築は、前記ＳＲＫに直接接続された配信モジュールによって実行されることを特徴とする請求項１ないし６の一項に記載の方法。
8. 前記スケジューリング局と前記配信モジュールとの間の通信は、暗号化方法によって保護されることを特徴とする請求項１ないし７の一項に記載の方法。
9. 請求項１ないし８の一項に記載の方法で使用するためのスケジューリング局。
10. 送信コンピュータノードとして、区別される配信モジュールとして、システム管理者として、または別の選択されたコンピュータノードとして構成されることを特徴とし、あるいはその機能が送信コンピュータノード、区別される配信モジュール、システム管理者、または別の選択されたコンピュータノードによって実行されることを特徴とする、請求項９に記載のスケジューリング局。
11. 請求項１ないし８の一項に記載の方法で使用するためのスケジューラ。
12. スケジューラおよび請求項９または１０に記載のスケジューリング局が共通ハードウェアに設けられることを特徴とする、請求項１１に記載のスケジューラ。
13. スケジューラがスケジューリング局とは別個に形成されることを特徴とする、請求項１１に記載のスケジューラ。
14. その機能がコンピュータネットワークのクラウドに設けられることを特徴とする、請求項１３に記載のスケジューラ。
15. 複数のコンピュータノード、配信モジュール、および通信チャネルから構成され、請求項１ないし８の一項に記載の方法を実行するために全ての配信モジュールがグローバル時間ベースにアクセスできるようにした、コンピュータネットワーク、特に大規模コンピュータネットワーク。

Images