JP3211694B2 - マルチプロセッサ接続方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチプロセッサ
接続方式に関し、特に、分散アービトレーション方式、
及びスプリット転送方式のバスを使用し、バスのノード
番号を割込み先として指定するメッセージパッシングに
より、Ｉ／Ｏ割込みやプロセッサ間割込みを行うマルチ
プロセッサ接続方式において、予め定めたプロセッサノ
ード、Ｉ／Ｏノード、メモリノードの合計ノード数を超
えてプロセッサを接続する場合に用いて好適なマルチプ
ロセッサ接続方式に関する。

【０００２】

【従来の技術】バス上に複数のプロセッサを接続する、
従来のマルチプロセッサ接続方式としては、例えば特開
平４−１７８７５４号公報の記載されるように、バスア
ービトレーション装置を各バス使用装置にそれぞれ個別
に一台ずつ接続する分散アービトレーションを用いてバ
ス使用権の調停を行う方式や、例えば特開平６−１４９
７３０号公報の記載されるように、リードアクセスの起
動サイクルと応答データサイクルが分割可能なスプリッ
ト転送を用いてバスのスループットを向上させる方式が
知られている。

【０００３】ここで、分散アービトレーションを用いて
バス使用権の調停を行い、且つスプリット転送方式のバ
スによるマルチプロセッサ接続方式を考えた場合、スプ
リット転送を行うためには、リードアクセスのリクエス
ト（要求）アドレス送出時と、リードリプライデータ
（読み出し応答データ）送出時と、の各々で、バス使用
権の調停を行う必要があり、プロセッサ、メモリ、Ｉ／
Ｏ（入出力）の全ノードがバス使用権調停に参加するた
め、分散アービトレーションの仕組みにより、バスに接
続可能なプロセッサ、メモリ、Ｉ／Ｏの全ノード数の合
計が決定される。

【０００４】更に、Ｉ／Ｏ割込みやプロセッサ間割込み
に、バスのノード番号を割込み先として指定するメッセ
ージパッシングを使用していることから、各プロセッサ
ノードには、各々１台ずつしかプロセッサを接続できな
い。

【０００５】このため、バスに接続可能なノード数の合
計から、メモリノードの数とＩ／Ｏノードの数とを差し
引いた数を超える台数のプロセッサを何としても接続す
る必要が生じた場合には、ノード番号の最大数を大きく
して、これに対応した分散アービトレーションやメッセ
ージパッシングに作り変えることになる。

【０００６】

【発明が解決しようとする課題】このように上記した分
散アービトレーション及びスプリット転送方式のマルチ
プロセッサ接続方式は下記記載の問題点を有している。

【０００７】第１の問題点は、プロセッサを追加したい
というだけで、プロセッサノードだけでなく、メモリノ
ードやＩ／Ｏノードも作り直しを行うことが必要とされ
る、ということである。

【０００８】その理由は、全ノードが共通に有している
分散アービトレーション回路を変更する、からである。
すなわち、ノード番号の最大数を変更した場合、例えば
分散アービトレーション回路のレジスタ等のビット幅の
変更が生じる場合がある。また、プロセッサノードやＩ
／Ｏノードでは、メッセージパッシング発行の際の割込
み先ノード番号の拡大も必要であることによる。

【０００９】第２の問題点は、ソフトウェアを変更する
必要がある、ということである。

【００１０】その理由は、バスの最大ノード番号が大き
くなるからである。通常、プロセッサノード、メモリノ
ード、Ｉ／Ｏノードのどれがどのノード番号になるかは
自由であるが、最大のノード番号はソフトウェアによっ
ても制限される。

【００１１】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、分散アービトレ
ーション方式かつスプリット転送方式のバスを使用し、
バスのノード番号を割込み先として指定するメッセージ
パッシングにより割込みやプロセッサ間割込みを行うマ
ルチプロセッサ接続方式において、予め定められたバス
上の合計ノード数からメモリノードの数とＩ／Ｏノード
の数とを差引いた数を超える台数のプロセッサの接続を
可能とし、その際、ハードウェア、及びソフトウェアへ
の影響を極力縮減して実現する、マルチプロセッサ接続
方式を提供することにある。

【００１２】

【課題を解決するための手段】前記目的を達成するた
め、本発明のマルチプロセッサ接続方式は、１つ１つの
プロセッサノードに各々複数のプロセッサを接続し、各
プロセッサノードに接続された２つ目以降のプロセッサ
にはバス上メモリノードやＩ／Ｏノードに割当てられて
いるノード番号でかつ他のプロセッサノードに接続され
た２つ目以降のプロセッサには割当てられていないノー
ド番号（以下「仮ノード番号」という）を割当て、各プ
ロセッサノードに接続されたプロセッサのうち１つ目の
プロセッサに関しては該プロセッサノードのバス上のノ
ード番号を、２つ目のプロセッサに関しては前記仮ノー
ド番号を各々のプロセッサ固有のノード番号としてソフ
トウェアに認識させる手段と、前記バスに接続された各
ノードがバスを使用するためのバス使用権の調停には各
ノードに割当てられているノード番号を使用し、プロセ
ッサノードやＩ／Ｏノードから別のプロセッサノードへ
の割込みを行う時の割込み先ノード番号には前記仮ノー
ド番号を使用する手段とを含む。

【００１３】また本発明は、更に、各プロセッサがその
プロセッサを含むプロセッサノード内の何番目のプロセ
ッサであるかをソフトウェアが読出す手段と、前記仮ノ
ード番号をソフトウェアから設定する手段とを含む。

【００１４】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。本発明は、その好ま
しい実施の形態において、複数のプロセッサノード（図
１の４、５）とメモリノード（図１の２）と、Ｉ／Ｏノ
ード（図１の３）と、を分散アービトレーション方式及
びスプリット転送方式のバス（図１の１）で結合し、
（ａ）プロセッサノードやＩ／Ｏノードからメモリリー
ド／ライト、（ｂ）プロセッサノードからＩ／Ｏノード
へのＰＩＯ（プロセッサ制御によるＩ／Ｏ）転送、
（ｃ）プロセッサノードやＩ／Ｏノードから別のプロセ
ッサノードへのメッセージパッシングによる割込みを行
うマルチプロセッサ方式において、プロセッサノード
（図１の４、５）の各々に複数のプロセッサ（図１の
６、７、８、９）を接続し、各プロセッサノード（図１
の４、５）に接続された２番目以降のプロセッサ（図１
の７、９）には、バス上で、メモリノード（図１の２）
やＩ／Ｏノード（図１の３）に割当てられているノード
番号で、他のプロセッサノード（図１の５、４）に接続
された２番目以降のプロセッサ（図１の９、７）には割
当てられていないノード番号（これを「仮ノード番号」
という）を割当て、各プロセッサノードに接続されたプ
ロセッサのうち１番目のプロセッサ（図１の６、８）に
ついては、それぞれ当該プロセッサが接続するプロセッ
サノード（図１の４、５）のバス上のノード番号を、２
つ目以降のプロセッサについては、上記した仮ノード番
号を、プロセッサ固有のノード番号として、ソフトウェ
アに認識させる（図１のノード番号レジスタ４０３、４
０４、５０３、５０４等）。

【００１５】バス（図１の１）に接続された各ノード
は、バスを使用するためのバス使用権の調停には、各ノ
ードに割当てられているノード番号を使用し、プロセッ
サノードやＩ／Ｏノードから別のプロセッサノードへの
割込みを行う時の割込み先ノード番号には、仮ノード番
号を使用する。

【００１６】このように、本発明の実施の形態において
は、各プロセッサ上で動作するソフトウェアに、自プロ
セッサのノード番号として仮ノード番号を見せる手段を
有することにより、ソフトウェアは、プロセッサ間割込
みの割込み元、及び割込み先として、仮ノード番号を使
用することになり、またＩ／Ｏの割込み要因毎にＩ／Ｏ
ノードへ設定する割込み先ノード番号にも、仮ノード番
号を使用する。

【００１７】プロセッサノードにおいては、メッセージ
パッシングを受取る際に、仮ノード番号による割込み先
ノード番号を認識して、対応するプロセッサへの割込み
を行うことができる。なお、Ｉ／Ｏノードやメモリノー
ドは、元々割込みを受信する必要がないので、割込み先
ノード番号によらずメッセージパッシングを受取らず無
視する。

【００１８】この時、メッセージパッシング以外の転送
動作、すなわちメモリリード／ライトのＰＩＯ転送（プ
ロセッサ制御によるＩ／Ｏ転送を「ＰＩＯ転送」とい
う）は、リクエストアドレスのみによって相手先ノード
を決定するため、ノード番号は使用しない。

【００１９】また、本発明は、第２の実施の形態におい
て、好ましくは、装置の電源投入時にのみ作動する最下
層のソフトウェアが各プロセッサノードに、実際に何台
のプロセッサが接続されているかを読み取って、仮ノー
ド番号を設定するので、より構成の自由度が増すことに
なる。

【００２０】

【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の一実施例について図面を参照
して以下に説明する。図１は、本発明の一実施例の構成
を示す図である。

【００２１】図１を参照すると、本発明の一実施例は、
最大４ノード接続可能なバス１に、ノード番号が‘０’
のメモリノード２と、ノード番号が‘１’のＩ／Ｏノー
ド３と、ノード番号がそれぞれ‘２’、及び‘３’であ
るプロセッサノード４、及び５が接続され、更に、プロ
セッサノード４には、プロセッサ６及び７が、またプロ
セッサノード５には、プロセッサ８及び９が接続されて
いる。

【００２２】また各プロセッサノード４、５は、それぞ
れ、ノード番号入力信号４０１、５０１に接続された第
１のノード番号レジスタ４０３、５０３と、仮ノード番
号入力信号４０２、５０２に接続された第２のノード番
号レジスタ（「仮ノード番号レジスタ」ともいう）４０
４、５０４と、割込み発行レジスタ４０７、４０８、５
０７、５０８と、割込み受信レジスタ４０９、４１０、
５０９、５１０と、バスインタフェース４１１、５１１
と、を備えて構成され、プロセッサ６、７とバスインタ
フェース４１１との間はアドレス／データパス４０５、
４０６で接続され、プロセッサ８、９とバスインタフェ
ース５１１との間は、アドレス／データパス５０５、５
０６で接続されている。

【００２３】次に、本発明の一実施例の動作について図
１を参照して詳細に説明する。

【００２４】プロセッサ６、７上のソフトウェアは、そ
れぞれ、第１、第２のノード番号レジスタ４０３、４０
４を読み出し、またプロセッサ８、９は第１、第２のノ
ード番号レジスタ５０３、５０４を読み出すことによ
り、自プロセッサのノード番号を知り、また互いにメモ
リ上のテーブルを通じて、他のプロセッサのノード番号
を知る。

【００２５】ここで、プロセッサノード４、５の第１の
ノード番号レジスタ４０３、５０３には、それぞれ、プ
ロセッサノード４、５に与えられたバス上のノード番号
である‘２’、‘３’が格納されているが、プロセッサ
ノード４、５の第２のノード番号レジスタ４０４、４０
５には、それぞれ、本来、メモリノード、及びＩ／Ｏノ
ードのノード番号である‘０’、‘１’が仮ノード番号
として格納されている。

【００２６】各プロセッサ６、７、８、９が、メモリノ
ード２へのメモリリード／ライトやＩ／Ｏノード３への
ＰＩＯ転送を行う場合、アドレス／データパス４０５、
４０６、５０５、５０６を介しバスインタフェース４１
１、５１１へアドレスを送り、またデータを授受する。

【００２７】このとき、プロセッサノード４、５の各バ
スインタフェース４１１、５１１は、まずプロセッサ
６、７またはプロセッサ８、９からの要求を選択したう
えで、ノード番号（入力信号）４０１、５０１を用い
て、他のプロセッサノード５、４と、メモリノード２
と、Ｉ／Ｏノード３と、の間で、バス１の分散アービト
レーションを行い、バス１の使用権を獲得できれば、バ
ス１にリクエストアドレスを発行する。またライトであ
れば、引き続きライトデータを出力するが、リードであ
れば、スプリット転送方式であることから、一旦、バス
１を解放し、後刻、メモリノード２（メモリリードの場
合）またはＩ／Ｏノード３（ＰＩＯリードの場合）がバ
ス１の使用権を獲得して、リードリプライデータを返送
してくれるのを待つことになる。

【００２８】メモリノードやＩ／Ｏノードが複数ある場
合、リクエストアドレスの値によってリプライ（応答）
すべきノードが何れであるか一意に決定される。

【００２９】割込みは、メッセージパッシングによって
行われる。メッセージパッシングは、バスプロトコル上
アドレス送出のみであるが、その時に送出されるのは、
実際には、割込み先ノード番号（Ｄ）と、割込みコード
（Ｃ）である。

【００３０】プロセッサ間割込みは、プロセッサ６、
７、８、９が、各々、割込み発行レジスタ４０７、４０
８、５０７、５０８に対して、割込み先ノード番号
（Ｄ）と割込みコード（Ｃ）とを格納し、バスインタフ
ェース４１１、５１１へそれぞれ送出する。

【００３１】この時、各プロセッサ６、７、８、９が格
納する割込み先ノード番号は、各プロセッサに関してソ
フトウェアが唯一知っているノード番号、すなわちプロ
セッサ６、８については、プロセッサノード４、５のノ
ード番号、またプロセッサ７、９については仮ノード番
号である。

【００３２】プロセッサノード４、５のバスインタフェ
ース４１１、５１１は、メモリリード／ライトやＰＩＯ
転送時と同様、バス１の使用権を獲得し、リクエストア
ドレスとして、割込み先ノード番号と割込みコードとを
送出する。

【００３３】メッセージパッシング発行ノードでないプ
ロセッサノード５、４は、バスインタフェース５１１、
４１１を介して、割込み受付けレジスタ５０９、５１
０、４０９、４１０に、割込み先ノード番号（Ｄ）と割
込みコード（Ｃ）とが格納され、このうち、割込み先ノ
ード番号（Ｄ）が第１のノード番号レジスタ５０３、４
０３、あるいは第２のノード番号レジスタ５０４、４０
４と一致したもののみ、接続先のプロセッサに割込みを
行うことになる。

【００３４】割込み先プロセッサでは、ソフトウェアが
割込みコードを参照して、割込み元、割込み要因を判別
する。

【００３５】以上がプロセッサ間割込みであるが、Ｉ／
Ｏ割込みにおいては、Ｉ／Ｏノード３に割込み要因が通
知された時に、その割込み要因に応じた割込みコード及
び割込み先ノード番号にて、メッセージパッシングが発
行される。

【００３６】この割込みコードや割込み先ノード番号
は、ソフトウェアが予めＩ／Ｏ割込み要因毎にＩ／Ｏノ
ード３内のレジスタに設定する。この時、ソフトウェア
が設定する割込み先ノード番号は、各プロセッサに関し
てソフトウェアが唯一知っているノード番号、すなわち
プロセッサ６、８についてはプロセッサノード４、５の
ノード番号、プロセッサ７、９については仮ノード番号
である。

【００３７】次に、本発明の第２の実施例について説明
する。図２は、本発明の第２の実施例の構成を示す図で
ある。

【００３８】図２を参照すると、本発明の第２の実施例
は、図１を参照して説明した前記実施例と比較して、自
プロセッサが、自プロセッサが接続するプロセッサノー
ド４、５内の何番目のプロセッサであるかを表示するノ
ード内プロセッサ番号レジスタ４１２、４１３、５１
２、５１３が新たに追加されており、また図１の仮ノー
ド番号入力信号線４０２、４０３が廃され、その代わり
に、プロセッサから設定可能な仮ノード番号レジスタ４
１４、５１４の出力が、各々のプロセッサノード４、５
にそれぞれ接続された２番目のプロセッサ７、９のノー
ド番号を表示するレジスタ４０４、５０４に与えられて
いる。

【００３９】装置の電源投入直後、電源投入直後にのみ
動作する最下層の初期設定専用ソフトウェア（例えばフ
ァームウェア）が、まずノード内のプロセッサ番号レジ
スタ４１２、４１３、５１２、５１３を読み出し、読み
出した値が‘２’以上、即ちプロセッサが接続するプロ
セッサノード内の１番目のプロセッサでない場合には、
自プロセッサに対応する仮ノード番号レジスタ４１４、
５１４に相当な値を格納し、この値が当該プロセッサ固
有のノード番号となる。

【００４０】この時、仮ノード番号レジスタに格納する
値は、装置の各ノードの構成を鑑みて、ダイナミックに
決定するようにすることが好ましい。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
下記記載の効果を奏する。

【００４２】本発明の第１の効果は、プロセッサノード
以外のハードウェアには手を加えることなく、予め定め
られたバスの最大のノード数までプロセッサを接続する
ことができる、ということである。

【００４３】その理由は、本発明においては、予め定め
られたバスの最大ノード数を変更していず、また割込み
先ノード番号についても、従来のままのソフトウェアが
仮ノード番号を設定する、ことによる。

【００４４】本発明の第２の効果は、ソフトウェアを変
更することなく、予め定められたバスの最大ノード数ま
でプロセッサを接続することができる、ということであ
る。

【００４５】その理由は、本発明においては、予め定め
られたバスの最大ノード番号を変更していず、ソフトウ
ェアを改変しなくても、仮ノード番号を従来通りバスの
ノード番号と同様に扱って矛盾が生じない、ように構成
したことによる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明の別の実施例の構成を示すブロック図で
ある。

【符号の説明】

１ バス ２ メモリノード ３ Ｉ／Ｏノード ４、５ プロセッサノード ６、７、８、９ プロセッサ ４０１、５０１ プロセッサノードのノード番号入力信
号 ４０２、５０２ 仮ノード番号入力信号 ４０３、５０３ 各ノードの１番目のプロセッサ用ノー
ド番号レジスタ ４０４、５０４ 各ノードの２番目のプロセッサ用ノー
ド番号レジスタ ４０５、４０６、５０５、５０６ アドレス／データパ
ス ４０７、４０８、５０７、５０８ 割込み発行レジスタ ４０９、４１０、５０９、５１０ 割込み受付けレジス
タ ４１１、５１１ バスインタフェース ４１２、４１３、５１２、５１３ ノード内プロセッサ
番号レジスタ ４１４、５１４ 仮ノード番号設定レジスタ

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】複数のプロセッサノードと、１又は複数の
   メモリノードと、１又は複数のＩ／Ｏノードと、を分散
   アービトレーション方式及びスプリット転送方式のバス
   で結合し、 前記プロセッサノードや前記Ｉ／Ｏノードからメモリリ
   ード／ライト、 前記プロセッサノードから前記Ｉ／ＯノードへのＰＩＯ
   転送、 前記プロセッサノードや前記Ｉ／Ｏノードから別の前記
   プロセッサノードへのメッセージパッシングによる割込
   みを行うマルチプロセッサ方式において、 前記プロセッサノードの各々に複数のプロセッサを接続
   し、 前記各プロセッサノードに接続された２つ目以降のプロ
   セッサには前記バス上前記メモリノードや前記Ｉ／Ｏノ
   ードに割当てられているノード番号で、かつ他のプロセ
   ッサノードに接続された２つ目以降のプロセッサには割
   当てられていないノード番号（以下「仮ノード番号」）
   を割当て、 前記各プロセッサノードに接続されたプロセッサのうち
   １つ目のプロセッサについては該プロセッサノードの前
   記バス上のノード番号を、２つ目以降のプロセッサにつ
   いては前記仮ノード番号を、各々のプロセッサ固有のノ
   ード番号としてソフトウェアに認識させる手段と、 前記バスに接続された各ノードが、前記バスを使用する
   ためのバス使用権の調停には、各ノードに割当てられて
   いるノード番号を使用し、 前記プロセッサノードや前記Ｉ／Ｏノードから別の前記
   プロセッサノードへの割込みを行う時の割込み先ノード
   番号には、前記仮ノード番号を使用する手段と、 を有することを特徴とするマルチプロセッサ接続方式。
2. 【請求項２】前記各プロセッサが、該プロセッサを含む
   プロセッサノード内の何番目のプロセッサであるかをソ
   フトウェアが読出す手段と、 前記仮ノード番号をソフトウェアから設定する手段と、 を含む、ことを特徴とする請求項１のマルチプロセッサ
   接続方式。
3. 【請求項３】複数のプロセッサノードと、１又は複数の
   メモリノードと、１又は複数のＩ／Ｏノードと、を分散
   アービトレーション方式のバスで結合し、 前記プロセッサノードに対する割込みがメッセージパッ
   シング方式で行われるマルチプロセッサ方式において、 前記プロセッサノードに複数のプロセッサが接続される
   構成の場合、１つ目のプロセッサについては該プロセッ
   サが接続される前記プロセッサノードの前記バス上のノ
   ード番号を割り当て、２つ目以降のプロセッサには、前
   記バス上前記メモリノード及び／又は前記Ｉ／Ｏノード
   に割当てられているノード番号を仮ノード番号として前
   記複数のプロセッサノードに接続されるプロセッサ間で
   一意的となるように割当て、 前記２つ目以降のプロセッサに対する割込みにおける割
   込み先ノード番号として前記仮ノード番号が用いられ
   る、ことを特徴とするマルチプロセッサ接続方式。