JP5738812B2 - マルチプロセッシングシステムにおけるオブジェクト間通信装置 - Google Patents

Description

本発明は、マルチプロセッシングシステムにおけるオブジェクト間通信装置に係り、特に、非対称型のマルチプロセッシングシステムに用いて好適なオブジェクト間通信装置関する。

リーク電流及び消費電力の増大によるシングルコアプロセッサ単体での性能向上の限界を打破するため、マルチコアプロセッサやマルチプロセッサが用いられている。

組込みシステムでは、コストパフォーマンス向上及び低消費電力化のため、非対称型マルチプロセッシング（AMP）システムが用いられている。ＡＭＰシステムでは、システムに応じて、プロセッサコア毎に機能が定められ、それぞれのプロセッサコアで固有のプログラムが実行される。

この際、マルチコアプロセッサ内のプロセッサコア間は、マルチコア通信ＡＰＩ（MCAPI（登録商標）:Multicore Communications Application Program Interface）とＯＳ（オペレーティングシステム）（ＯＳを介さない場合もある）とミドルウェアとを介して通信が行われ、プロセッサ間は、それらを接続するＰＣＩｅxpress（PCIe）のデバイスドライバとＯＳとを介して通信が行なわれている。

特開２００９−２５８９３７号公報

このため、プロセッサコア間のユーザノード（アプリケーション内のオブジェクト）間通信においては、ハードウェア構成に応じて異なる通信方式を選択しなければならず、プログラミング上煩雑である。

また、システム改良においてマルチプロセッシングシステムの構成が異なったものになると、ユーザノード間通信のソフトウェア構成もこれに応じて変更する必要が生ずる。

さらに、例えば第１のプロセッサコアが第２のプロセッサコアを介して第３のプロセッサコアに接続されている場合、ソフトウェア上、第１のプロセッサコアと第３のプロセッサコアとの間で直接、通信を行うことができない。

本発明の目的は、このような問題点に鑑み、マルチプロセッシングシステムにおいて通信方式や通信経路やなどのハードウェアを意識することなくオブジェクト間通信を行うことが可能なオブジェクト間通信装置を提供することにある。

本発明の第１態様は、複数のプロセッサコアのそれぞれに結合されたメモリ空間内のアプリケーション層のオブジェクトであるユーザノードを子ノードとする親ノードのオブジェクトを第１ノードとして、同じメモリ空間毎にミドルウェア層に配置され、これら第１ノードを子ノードとする親ノードのオブジェクトを第２ノードとして、いずれかの第１ノードのメモリ空間内のミドルウェア層に配置され、これらユーザノード、第１ノード及び第２ノードを含むツリーの各ノードに、値により親子関係を区別可能なアドレスが設定されるとともに、送信先アドレス及び送信元アドレスをヘッダに含むパケットを該ツリーの親子ノード間でルーティングするパケットルーティング手段が備えられた、マルチプロセッシングシステムにおけるオブジェクト間通信装置であって、該パケットルーティング手段は、該ヘッダの送信先アドレスが自ノードアドレスと一致すれば該パケットを自ノード宛パケットとして保存し、該ヘッダの送信先アドレスが自ノードの子ノード側を示していれば該パケットを子ノードへ転送し、その他の場合には該パケットを該自ノードの親ノードへ転送する。

本発明による、マルチプロセッシングシステムにおけるオブジェクト間通信装置の第２態様では、第１態様において、該第２ノードは、ルートノードである。

本発明による、マルチプロセッシングシステムにおけるオブジェクト間通信装置の第３態様では、第１態様において、該第２ノードは、プロセッサ毎に配置され、該ツリーはさらに、各第２ノードを子ノードとする親ノードのオブジェクトをルートノードとして備え、該ルートノードは、いずれかの第２ノードのメモリ空間内のミドルウェア層に配置されている。

本発明による、マルチプロセッシングシステムにおけるオブジェクト間通信装置の第４態様では、第１乃至３態様のいずれか１つにおいて、各ノードは、自ノードアドレスと、該自ノードの全ての子ノードのアドレスと、該自ノードが配置されたメモリ空間とは異なるメモリ空間内のノードである次ノードへのパケット転送については、該次ノードへのパケット送信方式と、該パケット送信方式で該次ノードへパケット転送するための属性とが登録されたルーティングテーブルを備え、各ルーティング手段は、該自ノードのルーティングテーブルを参照して該パケットをルーティングする。

本発明によるマルチプロセッシングシステムにおけるオブジェクト間通信装置の第５態様では、第２又は３態様において、該ルートノードは、該複数のプロセッサコアのそれぞれに結合されたメモリ空間内に配置され、該ルートノードに結合された各ノードのルーティング手段は、該パケットを親ノードへ転送する場合、自ノードと同じメモリ空間内の該ルートノードへ転送する。

本発明によるマルチプロセッシングシステムにおけるオブジェクト間通信装置の第６態様では、第１乃至５態様のいずれか１つにおいて、該ルーティング手段は、自ノードと同じメモリ空間内のノードへ該パケットを転送する場合、該パケットの参照のみ該ノードへ転送する。

上記第１態様の構成によれば、マルチプロセッシングシステム全体で通信オブジェクトノードのツリーを構成してユーザノード以外はミドルウェア層に配置し、該ツリーの各ノードに、値により親子関係を区別可能なアドレスが設定されるとともに、送信先アドレス及び送信元アドレスをヘッダに含むパケットを該ツリーの親子ノード間でルーティングするので、様々な構成のマルチプロセッシングシステムにおいて、比較的簡単な構成で、通信方式や通信経路やなどのハードウェアを意識することなくユーザノード間通信を行うことができるという効果を奏する。

また、各ノードのパケットルーティング手段が、該ヘッダの送信先アドレスが自ノードアドレスと一致すれば該パケットを自ノード宛パケットとして保存し、該ヘッダの送信先アドレスが自ノードの子ノード側を示していれば該パケットを子ノードへ転送し、その他の場合には該パケットを該自ノードの親ノードへ転送するので、ルーティングを統一でき、様々な態様のユーザノード間通信に適用できるという効果を奏する。

上記第２態様の構成によれば、第２ノードがルートノードであるので、ツリー構造が簡単になるという効果を奏する。

上記第３態様の構成によれば、各第２ノードを子ノードとする親ノードのオブジェクトをルートノードとして備えているので、ルートノードでのパケット混雑を抑制することができるという効果を奏する。

上記第５態様の構成によれば、ルートノードが、複数のプロセッサコアのそれぞれに結合されたメモリ空間内に配置され、パケットを親ノードへ転送する場合、自ノードと同じメモリ空間内のルートノードへ転送するので、ルートノードでの処理が複数のプロセッサコアのそれぞれに分散されるとともに、パケット転送を効率よく行うことができるという効果を奏する。

上記第６態様の構成によれば、自ノードと同じメモリ空間内のノードへパケットを転送する場合、該パケットの参照のみ該ノードへ転送するので、処理を高速化できるという効果を奏する。

本発明の他の目的、特徴的な構成及び効果は、以下の説明を特許請求の範囲及び図面の記載と関係づけて読むことにより明らかになる。

本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信装置が適用される実施例１のマルチプロセッシングシステムを示す概略構成図である。 アプリケーション層からハードウェア層までの概略階層構造図である。 本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信装置の実施例１に係るユーザノード間通信オブジェクトであるノードのツリー図である。 ユーザノード間通信での送信対象パケットのフォーマット概略図である。 データのパケット化処理を示す概略フローチャートである。 リーフノード以外の任意のノードが、その転送バッファ内のパケットを次ノードへ転送するルーティング処理を示す概略フローチャートである。 （Ａ）及び（Ｂ）はそれぞれ、図３のノードＮ１０及びノードＮ００のルーティングテーブルを示す図である。 本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信装置の実施例２に係る通信オブジェクトノードツリー図である。 本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信装置の実施例３が適用されるマルチプロセッシングシステムを示す概略構成図である。 図９に対応した通信オブジェクトノードツリー図である。 本発明の実施例４の通信オブジェクトノードツリー図である。 リーフノード以外の任意のノードが、その転送バッファ内のパケットを次ノードへ転送するルーティング処理を示す概略フローチャートである。 （Ａ）〜（Ｃ）はそれぞれ、図１１のノードＮ１１０、Ｎ１００及びＮ０００のルーティングテーブル概略構成図である。 転送パケット記憶部の概略説明図である。 転送パケット記憶部の概略説明図である。 同じメモリ空間内に配置されたノードＮ１０及びＮ００に関するパケット送受信の機能ブロック図である。

図１は、本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信装置が適用される実施例１のマルチプロセッシングシステムを示す概略図である。

このシステムでは、マルチコアプロセッサ０１とシングルコアプロセッサ０２との間が、ＰＣＩｅで結合されている。マルチコアプロセッサ０１は、プロセッサコア１０とプロセッサコア２０とを備え、それらの間が不図示の内部バスで結合されている。シングルコアプロセッサ０２のプロセッサコア３０は、マルチコアプロセッサ０１の該内部バスと、ＰＣＩｅで結合されている。

図２は、アプリケーション層からハードウェア層までの概略階層構造を示している。

ＯＳ層以下においては、従来と同様に、プロセッサコア１０と２０との間の通信は上述のＭＣＡＰＩで行われ、プロセッサコア１０とプロセッサコア３０との間及びプロセッサコア２０とプロセッサコア３０との間の通信は、ＰＣＩｅで行われる。

本実施例１では、後述のオブジェクト間通信装置を備えることにより、ユーザノード（ユーザアプリケーション内のオブジェクトであるノード）間通信において、ＭＣＡＰＩとＰＣＩｅの通信方式の選択をすることなく、すなわち通信相手のハードウェア上の位置を考慮することなく、統一的な通信を行えるようしている。
図８は、本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信装置の実施例２に係る通信オブジェクトノードツリーを示す。

図３において、リーフノードであるユーザノードＮ１１及びＮ１２はいずれも、プロセッサコア１０に結合された（でアクセス可能な）メモリ空間内に配置されているアプリケーション層内のオブジェクトである。これらオブジェクトは、互いに異なるアプリケーションに属していても、同一アプリケーションに属していてもよい。この点は、以下においても同様である。

同様に、リーフノードであるユーザノードＮ２１及びＮ２２はそれぞれ、プロセッサコア２０に結合されたメモリ空間内に配置されているアプリケーション層内のオブジェクトである。また、リーフノードであるユーザノードＮ３１及びＮ３２はそれぞれ、プロセッサコア３０に結合されたメモリ空間内に配置されているアプリケーション層内のオブジェクトである。

これら６個のオブジェクト間の通信経路は、６Ｘ５／２＝１５通り有り、通信オブジェクト数が増えるとその通信経路数が増大する。また、メモリ空間が互いに異なるアプリケーション層内のオブジェクト間で直接通信を行おうとすると、その構成の一般化が容易でない。

そこで、図３に示すようなツリー構造のノード間通信を組み合わせることにより、任意のリーフノード間通信を行う。すなわち、エッジで結合された親子ノード間でバケットを順次転送することにより、アプリケーション層のユーザノード間で通信を行う。エッジで結合されたノード間は、互いに相手の存在を知っていて、これらノード間でデータを送信可能であることを示している。

ノードＮ１０、Ｎ２０及びＮ３０はそれぞれ、図１のプロセッサコア１０、２０及び３０に結合されたメモリ空間内に配置されているミドルウェア層内の通信オブジェクトである。また、ルートノードＮ００は、仮想ノードであり、プロセッサコア１０、２０及び３０のいずれか１つ（好ましくはこれらのうち最もプロセッサ間通信量が多いと想定されるプロセッサコア）に結合されたメモリ空間内に配置されているミドルウェア層内の通信オブジェクトである。

同一メモリ空間内に配置されたアプリケーション層内オブジェクト間は、容易に直接通信を行うことができるが、将来のシステム変更により異なるメモリ空間内に配置されることも有り得るので、オブジェクトが同一メモリ空間内に配置されているか否かを問わず、統一的に図３のツリー構造を用いた通信を行うようにしてもよい。

リーフノード（転送元及び転送先ノード）は、その親ノードのみに接続されているので、転送先は必ず親ノードとなる。リーフノード以外以外のノード（中間ノード）では、ルーティングテーブルを参照して、自ノードアドレスと転送先アドレスとから、次に転送すべき、エッジを介し隣り合うノードの１つを決定する。この際、アドレス値からノードの親子関係やリーフノードであるか否か、ルートノードであるか否かを判定できるという条件を満たすように、ノードアドレスを決定すれば、ルーティングテーブル参照回数が低減するので、処理を高速化することができる。

図３中のノードＮｉｊのアドレスを［ｉ，ｊ］とすると、前記条件を満たすように、ｉｊを定めている。すなわち、ノードＮｉｊは、ｉ≠０、ｊ≠０のとき、深さ２のリーフノードであり、その親ノードはｊ＝０としたものであり、さらなる親ノードはｉ＝０としたルートノードＮ００である。ルートノードには、親ノードがない。ルートノード以外は、親ノードは１つ（上に登るエッジは１つ）であるので、親ノードを選択することはない。

ノードアドレス［ｉ，ｊ］は、例えば、ｉ、ｊをそれぞれ４ビットで表すと、８ビットであり、最大２５６個のノードを表すことができる。

次に、リーフノード間データ送信例を説明する。以下では、自ノードアドレスを［ｉ，ｊ］、転送先アドレスを［ｉ２，ｊ２］とする。

例えばノードＮ１１からＮ１２へデータを送信する場合、リーフノードＮ１１には子ノードが存在しないので、ノードＮ１１からｊ＝０とした親ノードＮ１０へデータを送信する。ノードＮ１０は、その子ノードである転送先ノードＮ１２と結合されているので、このデータをノードＮ１２へ転送する。

次に、ノードＮ１１からＮ３２へデータを送信する場合、ノードＮ１１には子ノードが存在しないので、ノードＮ１１からｊ＝０とした親ノードＮ１０へデータを送信する。ｉ≠ｉ２であり、ノードＮ１０の子ノードには転送先ノードＮ３２が存在しないので、ｉ＝０とした親ノードであるルートノードＮ００へデータを転送する。ルートノードＮ００から、転送先ノードＮ３２のｊ２を０にしたノードＮ３０へ、データを転送する。次いでｊ＝２とした子ノードＮ３２へデータを転送する。

一般に、自ノードＮｉｊにおいて、送信先ノードノードＮｉ２ｊ２のパケットを以下の規則でルーティングする。

（１）ｉ＝ｉ２、ｊ＝ｊ２であれば自ノード宛へのデータとして受信する。

（２）自ノードがルートノード（ｉ＝０、ｊ＝０）のとき、ルーティングテーブル上に子ノードアドレスＣＡ＝［ｉ２，０］が存在すれば、この子ノードへデータを転送する。自ノードが深さ１のノード（ｉ≠０、ｊ＝０）のとき、ルーティングテーブル上に転送先の子ノードアドレスＣＡ＝［ｉ２，ｊ２］が存在すれば、この子ノードへデータを転送する。

（３）その他の場合には、親ノードが存在すれば、すなわち自ノードがルートノードでなければ、親ノードのアドレスＰＡへ、すなわち自ノードがリーフノード（ｉ≠０、ｊ≠０）であればＰＡ＝［ｉ，０］へ、自ノードが深さ１のノード（ｉ≠０、ｊ＝０）であれば、親ノードアドレスＰＡ＝［０，０］のルートノードへ、データを転送する。

１つの転送先へ複数のリーフノードからデータを並列して転送した場合、転送先においてそれらを区別する必要がある。そこで、送信対象データのヘッダには、送信先ノードアドレスのみならず、送信元ノードアドレスを含める。また、ハードウェア上又はソフトウェア上の理由による各ノードでの１回の送信可能最大データサイズのうちの最小値をＤＳmaxとすると、ＤＳmaxを越えるサイズのデータを送信する場合、ヘッダを含めたデータサイズがＤＳmaxを超えないようにデータを分割して、それぞれにヘッダを付加するというパケット化処理を行う。この場合、パケット間のつながりを判定できるようにするため、ＩＰプロトコルと同様のパケットシーケンス番号（次のパケットシーケンス番号＝現在のパケットシーケンス番号＋現在のパケットのペイロードのバイト数）をヘッダに付加する。

図４は、このシステムで使用されるパケットのフォーマットを示しており、ペイロードに、ヘッダとして送信先及び送信元のノードアドレスと、パッケトシーケンス番号とを付加したものを、パケットとする。

パケット化及びデパケット化は、アプリケーション層のリーフノードのみで行われる。

図５は、データのパケット化処理を示す概略フローチャートである。以下、括弧内は図中のステップ識別符号である。

（Ｓ０）ＤＳ＝（転送対象データのデータサイズ）＋（ヘッダのデータサイズ）がＤＳ＞ＤＳmaxであれば、ステップＳ１へ進み、そうでなければステップＳ２へ進む。

（Ｓ１）分割後の各データがＤＳ≦ＤＳmaxとなるように、データを分割する。

（Ｓ２）分割され又はされていないデータのそれぞれに、図４に示すようなヘッダを付加して、パケット化する。

（Ｓ３）これらのパケットを、転送バッファに格納する。

図６は、任意のノードが、その転送バッファ内のパケットを次ノードへ転送するルーティング処理を示す概略フローチャートである。図３中の各ノード（オブジェクト）は、この処理のプログラムを備えている。

各ノードは、転送キューを備えており、この処理は、転送キューが、空の状態から要素が１個追加された状態になったときに発生するイベントに応答して、開始される。

この受信キューから先頭要素を取り出す毎に、ステップＳ１０〜Ｓ１８の処理を行う。

（Ｓ１０）パケットヘッダから、転送先アドレスＤＡ及び自ノードアドレスＳＡを取得する。

（Ｓ１１）転送先アドレスＤＡが自ノードアドレスＳＡに等しければ（ｉ＝ｉ２、ｊ＝ｊ２であれば）、ステップＳ１２へ進み、そうでなければステップＳ１３へ進む。

（Ｓ１２）自ノード宛受信バッファにこのパケットを格納し、ステップＳ１９へ進む。

（Ｓ１３）転送先アドレスＤＡの値から論理的に、転送先アドレスＤＡが自ノードアドレスＳＡの子孫ノードアドレス（ｉ＝０、０＜ｉ２、又は、ｉ＝ｉ２、ｊ＝０、０＜ｊ２）であるか否かを判定する。肯定判定した場合にはステップＳ１４へ進み、そうでなければステップＳ１６へ進む。

（Ｓ１４）ステップＳ１３の子孫ノードを含む、自ノードの子ノードのアドレスＣＡ（ＣＡ＝［ｉ２，０］又はＣＡ＝［ｉ２，ｊ２］）が、自ノードのルーティングテーブル上に子ノードアドレスとして存在すれば、ステップＳ１５へ進み、そうでなければステップＳ１８へ進む。

（Ｓ１５）ステップＳ１４で存在すると判定した子ノードのアドレスＣＡへパケットを転送し、ステップＳ１９へ進む。

（Ｓ１６）親ノードが存在すれば、すなわち自ノードアドレスＳＡがルートノードでなければ、ステップＳ１７へ進み、そうでなければステップＳ１８へ進む。

（Ｓ１７）親ノードのアドレスＰＡ（ｉ≠０、ｊ≠０であればＰＡ＝［ｉ，０］、ｉ≠０、ｊ＝０であればＰＡ＝［０，０］）へパケットを転送し、ステップＳ１９へ進む。

（Ｓ１８）ＯＳに例外エラーの発生を通知し、このパケットを破棄する。アプリケーション側でこのエラーに対する処理をしていなければ、アプリケーションは停止し、この処理でエラーを無視していればステップＳ１０へ戻る。

（Ｓ１９）上記転送キューに先頭要素が存在すれば、ステップＳ１０へ戻り、そうでなければ、図６の処理を終了する。

ステップＳ１５又はステップＳ１７においては、ルーティングテーブルを参照して、通信インターフェイス方式を選択し、それに応じて転送先アドレスを変換し、転送する。すなわち、この処理をミドルウェア層で行うことにより、アプリケーション層ではアドレス［ｉ，ｊ］のみ使用すればよい。

図７（Ａ）及び（Ｂ）はそれぞれ、図３のノードＮ１０及びＮ００のルーティングテーブルを示す。各テーブルにおいて、ＮＵＬＬは値が存在しないことを示す。また、子ノードインターフェイス（Ｉ／Ｆ）方式及び親ノードインターフェイス方式はそれぞれ、自ノードから子ノードへ及び自ノードから親ノードへのインターフェイス方式を示しており、値が０のとき、同一メモリ空間内でのパケット転送（パケット又はその参照の移動）、値が１のとき、同一プロセッサ内のプロセッサコア間のＭＣＡＰＩによるパケット転送、値が２のとき、異なるプロセッサ間のＰＣＩｅによるパケット転送を示している。子ノードが複数ある場合にはそれぞれの子ノードインターフェイス方式を区切り記号／で区切って記述している。子ノード及び親ノードのインターフェイス属性は、上記方式での通信で必要な属性値であり、この値がＮＵＬＬのときには既定の方法でパケットが転送されることを示している。また、親ノード／子ノードインターフェイス方式の値がＮＵＬＬのとき、その親ノード／子ノードが存在しないことを示している。

図７（Ｂ）では、インターフェイス方式が１又は２のときそれぞれ、インターフェイス属性がＸ１又はＹ１と記載されている。これらＸ１及びＹ１は、参照値であって、それぞれで参照されるデータブロック（構造体）に属性が記述されている。

ルーティングテーブルは、例えば、プログラムがプロセッサに対し対話的に設定させて、ＸＭＬファイルに変換させることにより、作成される。

本実施例１によれば、マルチプロセッシングシステム全体で通信オブジェクトノードのツリーを構成して、アプリケーション層内のリーフノード以外はミドルウェア層に配置し、ツリー上のノードを辿ってパケット通信を行うので、様々な構成のマルチプロセッシングシステムにおいて、比較的簡単な構成で、通信方式や通信経路やなどのハードウェアを意識することなくユーザノード間通信を行うことができるという効果を奏する。

図８は、本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信メカニズムの実施例２に係る通信オブジェクトノードツリーを示す。

このツリーでは、図３の深さ２と３のノード間に、アプリケーション層のリーフノードとの間の通信手順を簡単化するためのインターフェイスノードを挿入している。一般に、ノードツリーの深さをｎとすると、アドレスの桁数（［］内の"，"で区切られた数字の個数）はｎとなり、この場合、ｎ＝３である。実施例１と同様に、ノードＮｉｊｋのアドレスは、［ｉ，ｊ，ｋ］である。

深さ０及び１のノードルートノードＮ０００、Ｎ１００、Ｎ２００及びＮ３００はそれぞれ、図３のルートノードＮ００、Ｎ１０、Ｎ２０及びＮ３０と、アドレスのみ異なる。

一般に、自ノードＮｉｊｋにおいて、送信先ノードノードＮｉ２ｊ２ｋ２のパケットを以下の規則に従ってルーティングする。

（１ａ）ｉ＝ｉ２、ｊ＝ｊ２、ｋ＝ｋ２であれば、自ノード宛へのデータとして受信する。

（２ａ）自ノードがルートノード（ｉ＝０、ｊ＝０、ｊ＝０）のとき、ルーティングテーブル上に子ノードアドレスＣＡ＝［ｉ２，０、０］が存在すれば、この子ノードへデータを転送する。自ノードが深さ１のノード（ｉ≠０、ｊ＝０、ｊ＝０）のとき、ルーティングテーブル上に子ノードアドレスＣＡ＝［ｉ２，ｊ２、０］が存在すれば、この子ノードへデータを転送する。自ノードが深さ２のノード（ｉ≠０、ｊ≠０、ｊ＝０）のとき、ルーティングテーブル上に子ノードアドレスＣＡ＝［ｉ２，ｊ２、ｋ２］が存在すれば、この子ノードへデータを転送する。

（３ａ）その他の場合には、親ノードが存在すれば、すなわち自ノードがルートノードでなければ、親ノードのアドレスＰＡへ、すなわち自ノードがリーフノード（ｉ≠０、ｊ≠０、ｋ≠０）であれば親ノードアドレスＰＡ＝［ｉ，ｊ，０］へ、自ノードが深さ２のノード（ｉ≠０、ｊ≠０、ｋ＝０）であれば親ノードアドレスＰＡ＝［ｉ，０，０］へ、自ノードが深さ１のノード（ｉ≠０、ｊ＝０、ｋ＝０）であれば親ノードアドレスＰＡ＝［０，０，０］のルートノードへ、データを転送する。

図６のルーティング処理は、上記（１ａ）〜（１ｃ）の規則を考慮すれば容易に理解できるので、その説明を省略する。

パケット化及びデパケット化は、上記インターフェイスノードで行われる。このインターフェイスノードも、図６のルーティング処理を行う。

他の点は、上記実施例１と同様である。

図９は、本発明の、マルチプロセッシングシステムにおけるオブジェクト間通信装置の実施例３が適用されるマルチプロセッシングシステムを示す概略図である。

このシステムでは、４つのマルチコアプロセッサ１００、２００、３００及び４００を備えている。マルチコアプロセッサ１００は、プロセッサコア１１０、１２０、１３０及び１４０の間が内部バスで結合され、マルチコアプロセッサ２００は、プロセッサコア２１０、２２０、２３０及び２４０の間が内部バスで結合され、マルチコアプロセッサ３００は、プロセッサコア３１０、３２０、３３０及び３４０の間が内部バスで結合され、マルチコアプロセッサ４００は、プロセッサコア４１０、４２０、４３０及び４４０の間が内部バスで結合されている。マルチコアプロセッサ１００、２００、３００及び４００の間はＰＣＩｅで結合されている。

上記同様に、各プロセッサ内のプロセッサコア間では、ＭＣＡＰＩで通信が行われ、異なるプロセッサ間では、ＰＣＩｅによる通信が行われる。

図１０は、図９に対応した通信オブジェクトノードツリーを示す。

ノードＮｉｊｋのアドレスは、［ｉ，ｊ，ｋ］である。全ノードＮｉｊｋのうち、ｉｊｋが図９中の要素の符号と一致するものは、その要素に対応したノードである。また、例えばノードＮ１１０とプロセッサコア１１０のように、ｉｊｋが図９中のプロセッサコアの符号と一致するノードは、実施例１と同様に、プロセッサコアｉｊｋに結合されたメモリ空間内に配置されているミドルウェア層内の通信オブジェクトである。

このツリーでは、深さ１のノードをプロセッサに対応した仮想ノードとして配置しており、このノードは、プロセッサ毎のサブツリーのルートノードとなっている。この深さ１のノードは、ルートノードＮ０００でのエッジ数を低減して、ルートノードＮ０００でパケットが混雑するのを避けるとともに、各プロセッサでルーティングを並列処理している。すなわち、この深さ１のノードは、この目的のためのインターフェイスノードである。

各仮想ノードは、その子ノードのいずれか１つと同じメモリ空間内に配置されているミドルウェア層内の通信オブジェクトである。例えば、ノードＮ０００及びＮ１００はノードＮ１１０と同じメモリ空間内に配置されているミドルウェア層内の通信オブジェクトである。

深さ３のリーフノードは、図３の場合と同様に、ユーザノードである。

他の点は、実施例１と同様である。

ＡＭＰでは、コストパフォーマンスを向上をさせると共に消費電力を低減するために、様々な構成のマルチプロセッシングシステムが用いられ、また、システムの改良の際にその構成も変化していく。しかし、以上の実施例１〜３から容易に理解できるように、本発明のマルチプロセッシングシステムにおけるオブジェクト間通信装置は、システムの構成によらず統一した方式で、ハードウェア構成やＯＳの種類によらずユーザノード間で通信を行うことができる。

図１１は、本発明の実施例４の通信オブジェクトノードツリーを示す。

ハードウェア構成は、図９と同一である。このツリーでは、深さ２のノードにおいて、同一プロセッサ内の任意の２つのプロセッサコアに対応したノードの間をエッジで結合して、これらの間で直接通信可能にしている点が、図１０のツリーと異なっている。

図１２は、任意のノードが、その転送バッファ内のパケットを次ノードへ転送するルーティング処理を示す概略フローチャートである。図１１中の各ノードは、それぞれ独立にこの処理のプログラムを備えている。

各ノードは、転送キューを備えており、この処理は、転送キューが、空の状態から要素が１個追加された状態になったときに発生するイベントに応答して、開始される。

この受信キューから先頭要素を取り出す毎に、ステップＳ１０〜Ｓ１８の処理を行う。

図１２の処理が図６のそれと異なる点は、兄弟ノードへのパケット転送に対応して、ステップＳ１１とステップＳ１３との間にステップＳ２０を追加し、さらに、これに関係したステップＳ２１及びステップＳ２２を追加している点である。次に、この差分を説明する。

ステップＳ１１で否定判定されるとステップＳ２０へ進む。

（Ｓ２０）転送先アドレスＤＡの値から論理的に、転送先アドレスＤＡが自ノードアドレスＳＡと兄弟ノードの子孫ノード（転送先ノードの祖先ノードが自ノードアドレスＳＡと兄弟ノード）のアドレスＢＡと判定すれば、ステップＳ２１へ進み、そうでなければステップＳ１３へ進む。より具体的には、転送先アドレスＤＡが自ノードアドレスＳＡと兄弟ノードの子孫ノードであるか否かの判定は、次のようにして行う。すなわち、自ノードが深さ１のノード（ｉ≠０、ｊ＝０、ｊ＝０）のとき、ルーティングテーブル上に兄弟ノードアドレスＢＡ＝［ｉ２，０，０］が存在すれば、この兄弟ノードへデータを転送する。自ノードが深さ２のノード（ｉ≠０、ｊ≠０、ｊ＝０）のとき、ルーティングテーブル上に兄弟ノードアドレスＢＡ＝［ｉ２，ｊ２、０］が存在すれば、この兄弟ノードへデータを転送する。

（Ｓ２１）自ノードのルーティングテーブルに兄弟ノードアドレスＢＡが含まれていればステップＳ２２へ進み、そうでなければステップＳ１３へ進む。

（Ｓ２２）自ノードのルーティングテーブルを参照して転送方式を決定し、転送先アドレスをその方式のアドレスに変換して、兄弟ノードアドレスＢＡへパケットを転送し、ステップＳ１９へ進む。

図１３（Ａ）〜（Ｃ）はそれぞれ、図１１のノードＮ１１０、ノードＮ１００及びルートノードＮ０００のルーティングテーブルを示す。このテーブルの構成は、兄弟ノードについて ノードに結合された兄弟ノードのアドレス、そのノードへの通信のインターフェイス方式及びインターフェイス属性を、図７のルーティングテーブルに追加したものとなっている。

実施例５では、図１０のツリーにおいて、仮想ノードの複数の子ノードのそれぞれが配置されたメモリ空間内に、該仮想ノードを配置することにより、同じメモリ空間内で任意のノードからルートノードまで登れるようにしている。すなわち、仮想ノードＮ０００を、各プロセッサコアに結合されたメモリ空間のそれぞれに配置し、深さ１のそれぞれの仮想ノードを、該ノードのそれぞれの子ノードが配置されたメモリ空間と同じメモリ空間のそれぞれに配置することにより、任意のノードからルートノードまで登る場合に、同じメモリ空間内にそれらのノードが存在（転送バッファも、このノードと同じメモリ空間内に存在）するようにしている。各仮想ノードは、アドレスが互いに同一であっても、その位置によって転送方式が異なるので、独自のルーティングテーブルを持っている。

ルートノードからの下りは、その子ノード（仮想ノード）へパケットを転送するときに、同一アドレスを持つ複数の子ノードのうち、送信先ノードが配置されているメモリ空間内の子ノードへパケットを転送し（このようになるようにルーティングテーブルを定めている。）、その後は、このメモリ空間内のみのノードを辿って、送信先ノードまでパケットを転送しながら下っていく。

これにより、同じメモリ空間内でのパケット転送処理の割合が大きくなるので、転送処理を高速化することができる。

本実施例５によれば、図１１のように同一プロセッサ内のプロセッサコア間を兄弟ノードとして結合することなく、より簡単で統一的な構成により、図１１とほぼ同様に、パケットを転送することが可能となる。

なお、上記実施例１、２及び４においても、本実施例と同様に構成することができる。

同一メモリ空間内でのパケット転送は、共有メモリ内にパケットを配置することにより、パケットを実際に転送せずに、パケットの参照のみを、ノードの転送キューから次ノードの受信キューへ移動させればよい。

例えば図１４に示すように、この共有メモリ内にアプリケーション１１用の送信バッファ１１Ｓを割り当てる。そして、同一メモリ空間内の各ノード、例えば、図３のノードＮ１１に、図１４の転送キューＮ１１−１４を備え、図３のルートノードＮ１０に、図１４の転送キューＮ１０−１４を備える。

各キュー内の要素は、送信バッファ１１Ｓ内の１つのパケットの先頭アドレスとバイト数とを、参照として保持している。転送キューＮ１１−１４の先頭要素ＥＡを取り出して、これに対応した送信バッファ１１Ｓ内のパケットＡをノードＮ１０へ転送する場合、実際にはパケットを転送せずに、この要素ＥＡを、図６のステップＳ１７において、図１５に示すように、転送キューＮ１０−１４の末尾に加える(移動させる)。これにより、ノードＮ１１からノードＮ１０へパケットが論理的に転送されたことになる。

図１６は、同じメモリ空間１０Ｍ内に配置されたノードＮ１１、Ｎ１０及びＮ００に関するパケット送受信の機能ブロック図である。メモリ空間１０Ｍは、図１のプロセッサコア１０に結合されている。図１６では、各ノードの互いに対応するノードを同一符号で示しており、以下、ノードＮｉｊの要素ｐｑをＮｉｊ−ｐｑと表記する。

ノードＮ１１は、アプリケーション１１内のオブジェクトであり、そのパケット化部１３は、送信バッファ１１Ｓに格納されたデータを、図５のフローチャートに従ってパケット化し、そのパケットの参照ＥＡを、上記のように転送キューＮ１１−１４の末尾に追加する。

転送キューＮ１１−１４が空の状態から１つの要素が追加された状態になると、そのイベントの発生に応答して、パケット送受信制御部Ｎ１１−１５は、図６の処理を介しする。上記ステップＳ１７において、パケット送受信制御部Ｎ１１−１５は転送キューＮ１１−１４の先頭要素を取り出し、これを転送キューＮ１０−１４の末尾に追加させる。同様に、転送キューＮ１０−１４が空の状態から１つの要素が追加された状態になると、そのイベントの発生に応答して、パケット送受信制御部Ｎ１０−１５は、図６の処理を介しし、転送キューＮ１０−１４の先頭要素を取り出し、上記ステップＳ１７において、これを転送キューＮ００−１４の末尾に追加させる。

転送キューＮ００−１４が空の状態から１つの要素が追加された状態になると、そのイベントの発生に応答して、パケット送受信制御部Ｎ００−１５は、図６の処理を介しし、転送キューＮ００−１４の先頭要素を取り出し、ステップＳ１５において、ルーティングテーブル１６を参照し、転送インターフェイス方式の値が１又は２であればそれに対応するインターフェイス方式の属性値に基づいてアドレスを変換し、通信部１９を介し他のプロセッサコアへパケットを転送させる。この通信部１９は、図２のＯＳ層、ドライバ層及びハードウェア層で構成されている。

一方、図３のノードＮ２０又はＮ３０からノードＮ００宛のパケットを、ドライバを介しＯＳが受信して受信バッファ１１Ｒ０に格納し、その旨をパケット送受信制御部Ｎ００−１５に通知する。パケット送受信制御部Ｎ００−１５はこれに応答して、図６の処理を介しし、ステップＳ１５において、前記格納したパケットの参照を転送キューＮ１０−１４の末尾に追加する。同様に、パケット送受信制御部Ｎ１０−１５は、上記イベントの発生に応答して、図６の処理を介しし、転送キューＮ１０−１４の先頭要素を取り出し、ステップＳ１５で、これを転送キューＮ１１−１４の末尾に追加させる。パケット送受信制御部Ｎ１１−１５は、上記イベントの発生に応答して、図６の処理を介しし、転送キューＮ１１−１４の先頭要素を取り出し、図６のステップＳ１２で、パケット再配列・デパケット化部１８を介し、そのパケットを、受信バッファ１１Ｒに格納させる。この際、パケット再配列・デパケット化部１８は、パケットの参照で指定された受信バッファ１１Ｒ０内の複数の受信パケットを読み出し、送信元アドレス毎に分け、さらにパケットをパケットシーケンス番号順に再配列し、各パケットのヘッダを削除してペイロード間を連結させ、その一連のデータを、受信バッファ１１Ｒに格納させる。

他の点は上記実施例１と同一である。

以上において、本発明の好適な実施例を説明したが、本発明には他にも種々の変形例が含まれ、上記実施例で述べた各構成要素の機能を実現する他の構成を用いたもの、当業者であればこれらの構成又は機能から想到するであろう他の構成も、本発明に含まれる。

例えば、図１４の送信バッファ１１Ｓは、複数のプロセッサコア間での共有メモリであってもよく、この場合、これら複数のプロセッサコアのそれぞれで動作するユーザノードの間の通信についても、パケットの参照のみを転送すればよい。

パケット化及びデパケット化は、アプリケーション層のリーフノードと直接結合されるミドルウェア層のノードのみで行うようにしてもよい。すなわち、送信側リーフノードで送信先及び送信元のアドレス指定して、高さ１のノードにデータを送信し、受信側リーフノードで、ヘッダが削除されペイロードが結合されたデータを受信するようにしてもよい。この場合、ユーザノードではパケットを意識する必要がない。

また、図６において、ステップＳ１１及びＳ１２はリーフノードのみに備え、ステップＳ１６及びＳ１７はルートノードに備えない構成であってもよい。この点は、図１２についても同様であり、図１２ではさらに、ステップＳ２０、Ｓ２１及びＳ２２を、兄弟ノード間がエッジで接続されている深さのノードのみに備えた構成であってもよい。

上記各実施例ではマルチコアプロセッサ内のプロセッサコア間通信としてMCAPIを使用する場合を説明したが、複数のプロセッサコアから参照できるキャッシュメモリ上の領域を介してプロセッサコア間通信を行う構成であっても、複数の通信方式の１つを選択的に使用する構成であってもよい。

また、上記実施例５は、上記実施例２〜４にも同様に適用してもよい。

さらに、本発明は非対称型のみならず対称型マルチプロセッシングシステムに適用してもよい。

０１、１００、２００、３００、４００ マルチコアプロセッサ
０２ シングルコアプロセッサ
１０、２０、３０、１１０、１２０、１３０、１４０、２１０、２２０、２３０、２４０、３１０、３２０、３３０、３４０、４１０、４２０、４３０、４４０ プロセッサコア
１１、１２ アプリケーション
１１Ｒ 受信バッファ
１１Ｓ 送信バッファ
１３ パケット化部
１４、１７ 転送キュー
１５ パケット送受信制御部
１６ ルーティングテーブル
１８ パケット再配列・デパケット化部
１９ 通信部
Ｎ００、Ｎ０００ ルートノード
Ｎ１０〜Ｎ１２、Ｎ２０〜Ｎ２２、Ｎ３０〜Ｎ３２、Ｎ１００、Ｎ１１０〜Ｎ１１２、Ｎ２００、Ｎ２１０、Ｎ２１１、Ｎ２２０、Ｎ２２１、Ｎ３００、Ｎ３１０、Ｎ３１１、Ｎ３１２、Ｎ４００、Ｎ４１０、Ｎ４１１、Ｎ４２０、Ｎ４２１、Ｎ４３０、Ｎ４３１、Ｎ４４０、Ｎ４４１、Ｎｉｊ、Ｎｉ１ｊ１、Ｎｉ２ｊ２、Ｎｉｊｋ、Ｎｉ１ｊ１ｋ１、Ｎｉ２ｊ２ｋ２ ノード
ＤＡ 転送先アドレス
ＳＡ 自ノードアドレス
ＣＡ 子ノードアドレス
ＰＡ 親ノードアドレス
ＢＡ 兄弟ノードアドレス

Claims (6)

1. 複数のプロセッサコアのそれぞれに結合されたメモリ空間内のアプリケーション層のオブジェクトであるユーザノードを子ノードとする親ノードのオブジェクトを第１ノードとして、同じメモリ空間毎にミドルウェア層に配置され、これら第１ノードを子ノードとする親ノードのオブジェクトを第２ノードとして、いずれかの第１ノードのメモリ空間内のミドルウェア層に配置され、これらユーザノード、第１ノード及び第２ノードを含むツリーの各ノードに、値により親子関係を区別可能なアドレスが設定されるとともに、送信先アドレス及び送信元アドレスをヘッダに含むパケットを該ツリーの親子ノード間でルーティングするパケットルーティング手段が備えられた、マルチプロセッシングシステムにおけるオブジェクト間通信装置であって、
   該パケットルーティング手段は、
   該ヘッダの送信先アドレスが自ノードアドレスと一致すれば該パケットを自ノード宛パケットとして保存し、該ヘッダの送信先アドレスが自ノードの子ノード側を示していれば該パケットを子ノードへ転送し、その他の場合には該パケットを該自ノードの親ノードへ転送する、
   ことを特徴とする、マルチプロセッシングシステムにおけるオブジェクト間通信装置。
2. 該第２ノードは、ルートノードである、
   ことを特徴とする請求項１に記載の、マルチプロセッシングシステムにおけるオブジェクト間通信装置。
3. 該第２ノードは、プロセッサ毎に配置され、
   該ツリーはさらに、各第２ノードを子ノードとする親ノードのオブジェクトをルートノードとして備え、該ルートノードは、いずれかの第２ノードのメモリ空間内のミドルウェア層に配置されている、
   ことを特徴とする請求項１に記載の、マルチプロセッシングシステムにおけるオブジェクト間通信装置。
4. 各ノードは、自ノードアドレスと、該自ノードの全ての子ノードのアドレスと、該自ノードが配置されたメモリ空間とは異なるメモリ空間内のノードである次ノードへのパケット転送については、該次ノードへのパケット送信方式と、該パケット送信方式で該次ノードへパケット転送するための属性とが登録されたルーティングテーブルを備え、
   各ルーティング手段は、該自ノードのルーティングテーブルを参照して該パケットをルーティングする、
   ことを特徴とする請求項１乃至３のいずれか１つに記載の、マルチプロセッシングシステムにおけるオブジェクト間通信装置。
5. 該ルートノードは、該複数のプロセッサコアのそれぞれに結合されたメモリ空間内に配置され、
   該ルートノードに結合された各ノードのルーティング手段は、該パケットを親ノードへ転送する場合、自ノードと同じメモリ空間内の該ルートノードへ転送する、
   ことを特徴とする請求項２又は３に記載の、マルチプロセッシングシステムにおけるオブジェクト間通信装置。
6. 該ルーティング手段は、自ノードと同じメモリ空間内のノードへ該パケットを転送する場合、該パケットの参照のみ該ノードへ転送する、
   ことを特徴とする請求項１乃至５のいずれか１つに記載の、マルチプロセッシングシステムにおけるオブジェクト間通信装置。

Images