JP2984594B2 - マルチクラスタ情報処理システム - Google Patents

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は、複数のクラスター
を含む情報処理システムに関し、特に、クラスター間の
データ転送を制御する手段を含む情報処理システムに関
する。

【従来の技術】複数のクラスターを含む情報処理システ
ムの従来技術の一例は、カイ・ワン著、１９９３年マグ
ロウ・ヒル社刊行「アドバンスド・コンピュータ・アー
キテクチャ」（Kai Hwang, "Advanced Computer Archit
ecture", 1993, McGraw-Hill Inc, New York）第３３６
頁第７．４図に開示されている（以下従来技術１）。こ
の従来技術では、１つのクラスターは、複数のプロセッ
サーＰと、１つのメインメモリＭＭと、これらを接続す
るクラスターバスを含む。１つの情報処理システムは、
複数のクラスターを含む。各クラスターのクラスターバ
スは、グローバルバスで接続されている。

【０００１】このような情報処理システムにおける、１
つのクラスタから他の複数のクラスタへのデータ転送
は、以下のステップにより実現される。この例では、情
報処理システムは、クラスタ＃０〜クラスタ＃（Ｎ−
１）を有する。クラスタ＃０は、メインメモリＭＭ＃
０、および、プロセッサ＃０−０〜プロセッサ０−ｎを
有する。プロセッサ＃０−０の要求により、メインメモ
リＭＭ＃０内のデータＤが、クラスタ＃１〜クラスタ＃
（Ｎ−１）へ転送される。

【０００２】第１のステップにおいて、プロセッサ＃０
−０は、メインメモリＭＭ＃０から、データＤを読み出
す。第１のステップに要する時間は、Ｔａである。

【０００３】第２のステップにおいて、プロセッサ＃０
−０は、クラスタバスおよびグローバルバスを介して、
データＤをクラスタ＃１に送信する。プロセッサ＃０−
０は、クラスタ＃１からの受信終了通知を待つ。第２の
ステップに要する時間は、Ｔｂである。

【０００４】図１を参照すると、第１および第２のステ
ップを繰り返すことにより、クラスタ＃２〜クラスタ＃
（Ｎ−１）へデータＤが転送される。データの転送に要
する時間の合計Ｔは、Ｔ＝（Ｔａ＋Ｔｂ）×（Ｎ−１）
である。

【０００５】上述の従来技術の他にも、次のような技術
が知られている。

【０００６】１９９３年８月２日発行の「アイトリプル
イー（ＩＥＥＥ）１６９６ ９２−アイトリプルイー・
スタンダード・フォー・スケーラブル・コーヒレント・
インターフェイス（ＩＥＥＥ Ｓｔａｎｄａｒｄ ｆｏ
ｒ Ｓｃａｌａｂｌｅ Ｃｏｈｅｒｅｎｔ Ｉｎｔｅｒ
ｆａｃｅ）」第２３、２４、および、７１頁には、リン
グレット（ｒｉｎｇｌｅｔ）タイプの伝送経路を有する
情報処理システムにおけるブロードキャスト技術が開示
されている（以下「従来技術２」）。この技術でも、Ｎ
−１個のクラスタにデータを転送するのに要する時間
は、（Ｔａ＋Ｔｂ）×（Ｎ−１）である。

【０００７】特開平４−２８７１５３号公報には、クラ
スタ間ネットワークとは別に放送（ブロードキャスト）
型通信バスを設ける技術が記載されている（以下「従来
技術３」）。

【発明が解決しようとする課題】上述の従来技術では、
以下のような問題があった。

【０００８】従来技術１では、転送データがメインメモ
リから繰り返し読み出されるため、データ転送に長時間
を要する。

【０００９】従来技術２では、転送先クラスタへのデー
タ転送路中に他のクラスタが介在するため、転送速度が
遅い。

【００１０】従来技術３では、放送（ブロードキャス
ト）型通信バスを別に設けるため、ハードウェア量が増
大する。

【００１１】さらに、プロセッサが直接データを受け取
るシステムでは、データ転送のたびにプロセッサの処理
が中断されるという問題があった。

【００１２】このような問題に鑑み、本発明の目的の１
つは、短時間でデータを複数のクラスタにブロードキャ
ストすることにある。

【００１３】本発明の他の目的は、ブロードキャストに
伴うメインメモリからのデータの読み出しの回数を減ら
すことにある。

【００１４】本発明の他の目的は、複数のクラスタに同
時にデータを転送することにある。

【００１５】本発明の他の目的は、他のクラスタを介さ
ずに、転送先クラスタにデータを転送することにある。

【００１６】本発明の他の目的は、ハードウエア量の増
大を伴うことなく、上述の目的を達成することにある。

【課題を解決するための手段】以上の問題に鑑み、本発
明のマルチクラスタ情報処理システムは、複数のクラス
タとこれら複数のクラスタを接続するクラスタ間接続手
段とを含むマルチクラスタ情報処理システムにおいて、
前記複数のクラスタの各々が、複数のプロセッサと、前
記複数のプロセッサからアクセスされる共有メモリと、
前記複数のプロセッサと前記共有メモリとを接続するク
ラスタ内接続手段と、他のクラスタへ転送されるべき転
送データを保持するデータ保持手段と、前記複数のプロ
セッサの少なくとも１つが複数の転送先クラスタへのデ
ータ転送を要求しているときに前記共有メモリから転送
データを読み出して前記データ保持手段に格納する転送
データ読出手段と、前記データ保持手段に格納されたデ
ータを前記クロスバネットワークを介して前記複数の転
送先クラスタの各々に順次転送するデータ転送手段とを
含む。

【００１７】別の実施態様では、本発明のマルチクラス
タ情報処理システムは、複数のクラスタとこれら複数の
クラスタを接続するクラスタ間接続手段とを含むマルチ
クラスタ情報処理システムにおいて、前記クラスタ間接
続手段が、前記複数のクラスタの１つから受信した転送
データを格納するデータ保持格納手段と、前記転送デー
タを複数の転送先クラスタに同時に送出するデータ転送
手段とを含む。

【００１８】

【発明の実施の形態】次に、本発明の第１の実施例につ
いて図面を参照して説明する。

【００１９】図２を参照すると、本実施例による情報処
理システムは、クラスタ＃１〜クラスタ＃３と、これら
のクラスタを接続するクラスタ間クロスバネットワーク
６０とを含む。クラスタ＃１は、Ｎ個の演算処理装置２
１〜２Ｎと、これらの全ての演算処理装置２１〜２Ｎに
より共有される共有メモリ３と、クラスタ間のデータ転
送を制御するデータ転送制御装置５とを含む。演算処理
装置２１〜２Ｎ、共有メモリ３、および、データ転送制
御装置５は、ローカルネットワーク４で接続される。

【００２０】図２を参照すると、データ転送制御装置５
は、命令解読手段５１と、転送制御手段５２と、共有メ
モリアクセス手段５３と、データ転送制御手段５４とを
含む。共有メモリアクセス手段５３は、ローカルネット
ワーク４を介して、共有メモリ３への読み出しおよび書
き込みを実行する。命令解読手段５１は、演算処理装置
２１〜２Ｎが発行した命令を解読する。この命令がブロ
ードキャスト命令であったとき、命令解読手段５１は、
転送制御手段５２に対してブロードキャスト転送の実行
を指示する。データ転送制御手段５４は、他のクラスタ
へのデータ転送を実行する。データ転送制御手段５４
は、データ保持手段５４１を含む。データ保持手段５４
１は、共有メモリ３から読み出されたデータを一時的に
保持する。データ保持手段５４１が一時的にデータを保
持するため、共有メモリ３からのデータの読み出しは、
一度で済む。

【００２１】転送制御手段５２は、命令解読手段５１、
共有メモリアクセス手段５３、および、データ転送制御
手段５４を制御する。

【００２２】図３を参照すると、データ転送制御手段５
４は、データ保持手段５４１と、パラメータ保持手段５
４２と、制御手段５４３と、データ転送手段５４４と、
ブロードキャスト終了監視手段５４５と、共有メモリア
クセス終了監視手段５４６と、命令解読手段５４７と、
データ格納手段５４８とを含む。共有メモリアクセス終
了監視手段５４６は、共有メモリ３へのアクセスが終了
したか否かを検知する。パラメータ保持手段５４２は、
ブロードキャストを行うときに必要なパラメータを格納
する。データ転送手段５４４は、データ保持手段５４１
およびパラメータ保持手段５４２に格納された情報を、
クロスバネットワーク６０を介して他のクラスタに転送
する。データ格納手段５４８は、クロスバネットワーク
６０から取り込まれた情報を格納する。命令解読手段５
４７は、データ格納手段５４８に格納された情報が、ブ
ロードキャスト命令を指示しているか否かを判定する。
ブロードキャスト終了監視手段５４５は、全てのクラス
タから終了報告を受けたか否かを判定する。

【００２３】図４を参照すると、パラメータは、Ｖ、
Ｆ、Ｒ／Ｗ、ＬＣ＃、ＲＣ＃、ＡＤＤ、ＬＥＮＧＴＨの
７つのフィールドを含む。Ｖフィールドは、有効ビット
である。Ｒ／Ｗフィールドは、転送先クラスタのリード
／ライト指定を示す情報を格納する。ＬＣ＃フィールド
は、転送元クラスタ番号を格納する。ＲＣ＃フィールド
は、転送先クラスタ番号を格納する。Ｆフィールドは、
対応するデータが最後のデータであることを示す情報を
格納する。ＡＤＤフィールドは、転送先クラスタの仮想
アドレスを格納する。ＡＤＤフィールドで示されるアド
レスから、転送データが格納される。ＬＥＮＧＴＨフィ
ールドは、転送されるデータの長さと、一度に転送でき
るデータの長さを格納する。

【００２４】図５を参照すると、パラメータ保持手段５
４２は、セレクタ５４２０、レジスタ５４２１、パラメ
ータバッファ５４２２、更新手段５４２３、および、ア
ドレスポインタ５４２４を含む。セレクタ５４２０は、
制御手段５４３から受信したパラメータと、更新手段５
４２３が出力したパラメータのうちの一方を選択する。
選択されたパラメータは、レジスタ５４２１に格納され
る。レジスタ５４２１に格納されたパラメータは、パラ
メータバッファ５４２２に格納される。パラメータバッ
ファ５４２２は、複数のパラメータを格納する。パラメ
ータバッファ５４２２中のパラメータのうち、アドレス
ポインタ５４２４で指定されたものがパラメータバッフ
ァ５４２２から出力される。パラメータバッファ５４２
２から出力されたパラメータは、データ保持手段５４１
および更新手段５４２３に供給される。複数のクラスタ
にデータが送出されるときは、送出先のクラスタの各々
に対応した複数のパラメータが生成される。

【００２５】更新手段５４２３は、パラメータの内容を
更新する。更新されたパラメータは、セレクタ５４２
０、および、レジスタ５４２１を介して、再びパラメー
タバッファ５４２２に格納される。更新手段５４２３
は、転送データが複数のデータブロックに分割されたと
きに、各々のデータブロックに対するパラメータを生成
する。長いデータが転送されるとき、所定のデータ長を
有する複数のデータブロックに分割される。この所定の
データ長は、パラメータのＬＥＮＧＴＨフィールドに格
納されている。データブロックは、１つづつ、クロスバ
ネットワーク６０に送出される。更新手段５４２３は、
パラメータのＡＤＤフィールドにこの所定のデータ長を
加算することにより、次のデータブロックに対応するパ
ラメータを生成する。最後のデータブロックに対応する
パラメータのＦフィールドには、”１”が設定される。

【００２６】図６を参照すると、データ保持手段５４１
は、レジスタ５４１１、データバッファ５４１２、セレ
クタ５４１３、レジスタ５４１４、および、アドレスポ
インタ５４１５を含む。データ保持手段５４１は、複数
のデータバッファ５４１２を含んでも良い。複数のデー
タバッファ５４１２を用意することにより、データ保持
手段５４１へのデータの格納と、データ保持手段５４１
からのデータの読み出しを同時に行うことができる。本
実施例では、データ保持手段５４１は、３つのデータバ
ッファ５４１２を含む。

【００２７】制御手段５４３から受信したデータは、レ
ジスタ５４１１を介してデータバッファ５４１２に格納
される。データバッファ５４１２内のデータのうち、ア
ドレスポインタ５４１５で指定されるものがレジスタ５
４１４に格納される。レジスタ５４１４に格納されたデ
ータは、データ転送手段５４４に出力される。また、パ
ラメータ保持手段５４２から受信したパラメータも、デ
ータ転送手段５４４に出力される。

【００２８】次に、本実施例の動作について図面を参照
して説明する。なお、以下の動作のうち、ステップ１〜
１０および１９〜２４はクラスタ＃１が、ステップ１１
はクロスバネットワーク６０が、ステップ１２〜１８は
クラスタ＃２が、それぞれ実行する。

【００２９】図７および図８を参照すると、ステップ１
において、クラスタ＃１の演算処理装置２１がブロード
キャスト命令を発行する。

【００３０】ステップ２において、この命令がブロード
キャスト命令か否かを、命令解読手段５１が判定する。
発行された命令がブロードキャスト命令の時、ステップ
３が実行される。

【００３１】ステップ３において、転送制御手段５２が
共有メモリアクセス手段５３に対して、パラメータの取
得を指示する。共有メモリアクセス手段５３は、共有メ
モリ３および演算処理装置２１から、パラメータの生成
に必要な情報を取得する。共有メモリアクセス手段５３
は、取得した情報を基にパラメータを生成する。

【００３２】ステップ４において、共有メモリアクセス
手段５３は、生成したパラメータを、パラメータ保持手
段５４２に格納する。

【００３３】ステップ５において、転送制御手段５２
は、全てのパラメータがパラメータ保持手段５４２に設
定されたか否かを判定する。パラメータ保持手段５４２
には、転送先のクラスタの各々に対応したパラメータが
設定されなくてはならない。本実施例では、クラスタ＃
２およびクラスタ＃３に対応する２つのパラメータが設
定される。全てのパラメータの設定が終了した時には、
ステップ６が実行される。それ以外の時には、ステップ
３〜４が再び実行される。

【００３４】ステップ６において、転送制御手段５２
は、共有メモリアクセス手段５３に対し、転送されるべ
きデータの取得を指示する。この指示に応じて、共有メ
モリアクセス手段５３は、共有メモリ３から転送される
べきデータを取得する。

【００３５】ステップ７において、共有メモリアクセス
手段５３は、取得したデータをデータ保持手段５４１に
格納する。

【００３６】ステップ８において、転送制御手段５２
は、全てのデータの格納が終了したか否かを判定する。
全てのデータの格納が終了したとき、ステップ９が実行
される。それ以外の時、ステップ６および７が再び実行
される。

【００３７】ステップ６〜８は、１回のブロードキャス
トに対して１回しか実行されない。

【００３８】ステップ９において、制御手段５４３が、
送信すべきパラメータおよびデータを、パラメータ保持
手段５４２およびパラメータ保持手段５４２から、それ
ぞれ読み出す。読み出されたデータは、データ転送手段
５４４に送出される。

【００３９】図７および図９を参照すると、ステップ１
０において、データ転送手段５４４が、パラメータおよ
びデータをクロスバネットワーク６０に送出する。さら
に、データが複数のデータブロックに分割されていると
きは、更新手段５４２３は、上述の手続きに従って、次
に送信されるべきデータブロックのパラメータを生成す
る。生成されたパラメータは、パラメータバッファ５４
２２に設定される。

【００４０】ステップ１１において、クロスバネットワ
ーク６０が、パラメータ中のＲＣ＃フィールドで指定さ
れるクラスタに、パラメータとデータを送出する。ここ
では、パラメータおよびデータは、まずクラスタ＃２に
送出されるとする。その後、パラメータおよびデータ
は、クラスタ＃３に送出される。

【００４１】ステップ１２において、クラスタ＃２のデ
ータ格納手段５４８が、パラメータおよびデータを受信
し、この中に格納する。

【００４２】ステップ１３において、命令解読手段５４
７が、受信したパラメータのＲ／Ｗフィールドの内容を
判定する。Ｒ／Ｗフィールドが格納を指示していると
き、ステップ１４が実行される。

【００４３】ステップ１４において、制御手段５４３
が、転送制御手段５２に対して、データの格納を指示す
る。この指示に応じて、転送制御手段５２は、データ格
納手段５４８内のデータを共有メモリ３に格納する。格
納位置は、パラメータのＡＤＤフィールドで示されるア
ドレスである。

【００４４】ステップ１５において、共有メモリアクセ
ス終了監視手段５４６が、パラメータのＦフィールドお
よびＬＣ＃フィールドの内容を保持する。

【００４５】ステップ１６において、転送制御手段５２
が、データの格納の終了を共有メモリアクセス終了監視
手段５４６に通知する。

【００４６】ステップ１７において、共有メモリアクセ
ス終了監視手段５４６が、データ転送の終了を判定す
る。ステップ１３および１４で格納されたデータブロッ
クに対応するパラメータのＦフィールドが”１”に設定
されているとき、ステップ１８が実行される。これ以外
とき、ステップ１２〜１６が、後続のデータブロックに
対して実行される。

【００４７】ステップ１８において、共有メモリアクセ
ス終了監視手段５４６が転送元クラスターに対して、デ
ータ転送の終了を報告する。転送元クラスターは、パラ
メータのＬＣ＃フィールドで示される。この場合、転送
元クラスタは、クラスタ＃１である。

【００４８】ステップ１９において、クラスタ＃２から
送出された終了通知情報は、クロスバネットワーク６０
を介して、クラスタ＃１のデータ格納手段５４８の中へ
格納される。

【００４９】図７および図１０を参照すると、ステップ
２０において、命令解読手段５４７が、データ格納手段
５４８内の情報が終了通知情報か否かを判定する。これ
が終了通知情報のとき、ステップ２１が実行される。

【００５０】ステップ２１において、命令解読手段５４
７は、ブロードキャスト終了監視手段５４５に、クラス
タ＃２へのデータ転送が終了したことを通知する。

【００５１】ステップ２２において、転送が終了したク
ラスタに対応するパラメータがパラメータ保持手段５４
２から削除される。

【００５２】ステップ２３において、ブロードキャスト
終了監視手段５４５は、全てのクラスタへの転送が終了
したか否かを判定する。具体的には、全てのクラスタか
ら終了報告を受けたか否かを判定する。全てのクラスタ
への転送が終了したとき、ステップ２４が実行される。
それ以外のとき、未だデータが転送されていないクラス
タに対して、ステップ９〜２３が繰り返し実行される。
このとき、ステップ３〜８は、繰り返されない。これ
は、共有メモリ３からのデータの読み出しが、１回しか
行われないことを意味する。

【００５３】ステップ２４において、制御手段５４３
は、データ保持手段５４１を解放する。さらに、制御手
段５４３は、演算処理装置２１に対しブロードキャスト
の終了を通知する。

【００５４】このように、第１の実施例では、ブロード
キャストされるべきデータは、共有メモリ３から読み出
されて、データ保持手段５４１に格納される。このデー
タを複数のクラスタへ送出するときには、共有メモリ３
の代わりに、データ保持手段５４１からデータが読み出
される。共有メモリ３からのデータの読み出しは、１回
のみに限られる。

【００５５】図１１を参照すると、Ｎ−１個の転送先ク
ラスタに対しブロードキャスト命令を実行した際に要す
る全時間をＴ１とし、共有メモリ３からデータを読み出
すのに要する時間をＴａ１、読み出された転送データが
ある１つのクラスタ内の共有メモリに書き込まれるまで
に要する時間をＴｂ１とすると、Ｔ１ ＝Ｔａ１＋Ｔｂ
１×（Ｎ−１）である。時間Ｔａ１は、クラスタ＃１へ
の転送のときに、一度要するだけである。他のクラスタ
への転送ではデータ保持手段５４１に格納されたデータ
が送出されるので、時間Ｔａ１はかからない。このよう
に、第１の実施例によると、従来の情報処理システムよ
りも短い時間で、データをブロードキャストできる。

【００５６】なお、上述の実施例において、パラメータ
に転送の種別を示すフィールドを設けても良い。転送の
種別として、少なくとも、２点間転送およびブロードキ
ャスト転送がある。

【００５７】次に、本発明の第２の実施例について図面
を参照して説明する。

【００５８】図１２を参照すると、本発明の第２の実施
例では、第１の実施例のデータ転送制御装置５に代わ
り、データ転送制御装置７が各クラスタ内に設けられて
いる。さらに、ブロードキャスト手段８がクロスバネッ
トワーク６０に設けられている。

【００５９】図１３を参照すると、データ転送制御装置
７は、命令解読手段７１と、転送制御手段７２と、共有
メモリアクセス手段７３と、データ転送制御手段７４と
を含む。共有メモリアクセス手段７３は、ローカルネッ
トワーク４を介して、ローカルネットワーク４を介し
て、供給メモリ３への読み出しおよび書き込みを実行す
る。命令解読手段７１は、演算処理装置２１〜２Ｎが発
行した命令をローカルネットワーク４を介して受信し、
これを解読する。この命令がブロードキャスト命令であ
ったとき、命令解読手段７１は、転送制御手段７２に対
してブロードキャストの実行を指示する。データ転送制
御手段７４は、他のクラスタへデータを転送する。転送
制御手段７２は、命令解読手段７１、共有メモリアクセ
ス手段７３、および、データ転送制御手段７４の動作を
制御する。

【００６０】データ転送制御手段７４は、制御手段７４
３と、データ転送手段７４４と、共有メモリアクセス終
了監視手段７４６と、命令解読手段７４７と、データ格
納手段７４８とを含む。共有メモリアクセス終了監視手
段７４６は、共有メモリ３へのアクセスが完了したこと
を検知する。命令解読手段７４７は、データ格納手段７
４８に格納された情報の種別を判定する。データ格納手
段７４８は、クロスバネットワーク６０からデータを取
得し、格納する。データ転送手段７４４は、共有メモリ
３から読み出されたデータをクロスバネットワーク６０
に送出する。

【００６１】図１４を参照すると、ブロードキャスト手
段８は、データ転送制御装置８１〜８３を含む。データ
転送制御装置８１〜８３は、クラスタ＃１〜クラスタ＃
３に、それぞれ対応する。ブロードキャスト手段８は、
さらに、調停手段８４および転送手段８５を含む。調停
手段８４は、クラスタ＃１〜クラスタ＃３からの競合す
る複数の転送要求を調停する。転送手段８５は、調停手
段８４で選択された転送要求に応じて、データを転送先
のクラスタに送出する。

【００６２】データ転送制御装置８１は、データ格納手
段８１１と、命令解読手段８１２と、制御手段８１３
と、データ転送手段８１４とを含む。データ格納手段８
１１は、ブロードキャストされるべきデータを一時保持
する。このデータは、対応するクラスタから受信する。
命令解読手段８１２は、対応するクラスタから受信した
情報の種別を判定する。情報の種別として、少なくと
も、パラメータとデータとがある。データ転送手段８１
４は、対応するクラスタから受信したデータを送信先の
クラスタに転送する。制御手段８１３は、データ格納手
段８１１、命令解読手段８１２、および、データ転送手
段８１４の動作を制御する。

【００６３】データ転送手段８１４は、ブロードキャス
ト制御手段８１４１、ブロードキャスト終了監視手段８
１４２、データ保持手段８１４３、および、パラメータ
保持手段８１４４を含む。データ保持手段８１４３は、
対応するクラスタから受信したデータを保持する。パラ
メータ保持手段８１４４は、対応するクラスタから受信
したパラメータを保持する。ブロードキャスト終了監視
手段８１４２は、ブロードキャストの終了を監視し、ブ
ロードキャストが終了したときに、終了通知を対応する
クラスタに送出する。

【００６４】図１５を参照すると、パラメータ保持手段
８１４４は、パラメータ保持手段８１４５および８１４
６を含む。パラメータ保持手段８１４５および８１４６
は、クラスタ＃２およびクラスタ＃３に対応するパラメ
ータを格納する。パラメータ保持手段８１４５およびパ
ラメータ保持手段８１４６の構造は、図５に示されるパ
ラメータ保持手段５４２のものと実質的に同じである。
データ保持手段８１４３の構造は、図６に示されるデー
タ保持手段５４１のものと実質的に同じである。

【００６５】図１６を参照すると、調停手段８４は、第
１の調停手段８４１、第２の調停手段８４２、第３の調
停手段８４３、および、許可信号生成手段８４４を含
む。第１の調停手段８４１は、２点間通信（ポイント・
ツー・ポイント通信）間を調停する。

【００６６】第１の調停手段８４１は、クラスタ＃１〜
クラスタ＃３から２点間通信の要求および転送先を受信
する。第１の調停手段８４１は、あらかじめ定められた
優先度に従い、これらの要求のうち１つを選択する。選
択された要求は、許可信号生成手段８４４に通知され
る。

【００６７】第２の調停手段８４２は、２点間通信とブ
ロードキャスト通信要求間を調停する。第２の調停手段
８４２は、クラスタ＃１〜＃３から、２点間通信要求お
よびブロードキャスト要求を受信する。第２の調停手段
８４２は、あらかじめ定められた優先度に従って、これ
らの要求のうち１つを選択する。２点間通信とブロード
キャスト通信のいずれを優先させるかは、設計者の自由
である。調停の結果は、許可信号生成手段８４４に通知
される。

【００６８】第３の調停手段８４３は、ブロードキャス
ト通信要求間を調停する。第３の調停手段８４３は、ク
ラスタ＃１〜クラスタ＃３からのブロードキャスト通信
要求を受信する。第３の調停手段８４３は、あらかじめ
定められた優先度に従い、これらの要求のうち１つを選
択する。調停の結果は、許可信号生成手段８４４に通知
される。

【００６９】許可信号生成手段８４４は、第１〜第３の
調停手段８４１〜８４３から通知された情報に基づい
て、データ転送が許可されたクラスタに許可信号を送出
する。

【００７０】次に、第２の実施例の動作について図面を
参照して説明する。この動作例では、クラスタ＃１の演
算処理装置２１が、クラスタ＃２およびクラスタ＃３へ
のブロードキャストを要求する。

【００７１】図１７および図２１を参照すると、ステッ
プ１において、クラスタ＃１の演算処理装置２１が、ブ
ロードキャスト命令を発行する。

【００７２】ステップ２において、命令解読手段７１
が、演算処理装置２１が発行した命令を解読する。この
命令が、ブロードキャスト命令のとき、ステップ３が実
行される。

【００７３】ステップ３において、転送制御手段７２
が、共有メモリアクセス手段７３に、ブロードキャスト
すべきデータのパラメータの取得を指示する。この指示
に応じて、共有メモリアクセス手段７３は、共有メモリ
３および演算処理装置２１から情報を取得する。この情
報に基づいて、共有メモリアクセス手段７３は、パラメ
ータを生成する。生成されたパラメータは、データ転送
手段７４４により、クロスバネットワーク６０に送出さ
れる。パラメータは、転送先のクラスタごとに生成され
る。本動作例では、クラスタ＃２およびクラスタ＃３に
対応した２つのパラメータが生成される。

【００７４】図１８を参照すると、ステップ３において
送出されるパラメータは、Ｖ、ＣＭＤ、ＬＣ＃、ＲＣ
＃、ＡＤＤ、ＬＥＮＧＴＨの６つのフィールドを含む。
Ｖフィールドは、有効ビットである。ＣＭＤフィールド
は、転送の種別を示す情報を格納する。転送の種別とし
て、少なくとも、２点間転送およびブロードキャスト転
送がある。ＬＣ＃フィールドは、転送元クラスタ番号を
示す情報を格納する。ＲＣ＃フィールドは、転送先クラ
スタ番号を示す情報を格納する。ＡＤＤフィールドは、
転送先クラスタの仮想アドレスを格納する。ＡＤＤフィ
ールドで示されるアドレスから、転送データが格納され
る。ＬＥＮＧＨフィールドは、転送データの長さと、一
回に転送できるデータの長さを格納する。

【００７５】再び図１７および図２１を参照すると、ス
テップ４において、全てのパラメータの送出が完了する
まで、ステップ３が繰り返される。

【００７６】ステップ５において、クラスタ＃１からの
パラメータを、データ転送制御装置８１が受信する。受
信されたデータは、データ格納手段８１１に格納され
る。

【００７７】ステップ６において、命令解読手段８１２
が、データ格納手段８１１に格納された情報がパラメー
タであるか否かを判定する。この情報がパラメータであ
るとき、ステップ７が実行されるステップ７において、
データ格納手段８１１内のパラメータがパラメータ保持
手段に格納される。このとき、クラスタ＃２に対応する
パラメータは、パラメータ保持手段８１４５に、クラス
タ＃３に対応するパラメータはパラメータ保持手段８１
４６に、それぞれ、格納される。

【００７８】図２０を参照すると、ステップ７におい
て、パラメータにはＦフィールドが付加される。

【００７９】ステップ８において、転送制御手段７２
が、共有メモリアクセス手段７３に、ブロードキャスト
すべきデータの取得を指示する。この指示に応じて、共
有メモリアクセス手段７３は、共有メモリ３からデータ
を読み出す。読み出されたデータは、クロスバネットワ
ーク６０に送出される。

【００８０】ステップ９において、全てのデータの送出
が完了するまで、ステップ８が繰り返される。

【００８１】図１７および図２２を参照すると、ステッ
プ１０において、ステップ９で送出されたデータが、デ
ータ転送制御装置８１により受信される。受信されたデ
ータは、データ格納手段８１１に格納される。

【００８２】ステップ１１において、命令解読手段８１
２が、データ格納手段８１１に格納された情報がデータ
か否かを判定する。情報がデータのとき、ステップ１２
が実行される。

【００８３】ステップ１２において、データ格納手段８
１１内のデータがデータ保持手段８１４３に移送され
る。

【００８４】ステップ１３において、ブロードキャスト
制御手段８１４１が、調停手段８４に対してブロードキ
ャスト転送要求を送出する。

【００８５】ステップ１４において、データ転送制御装
置８１は、調停手段８４からの許可信号を待つ。許可信
号を受信したとき、データ転送制御装置８１はステップ
１５を実行する。

【００８６】ステップ１５において、ブロードキャスト
制御手段８１４１は、パラメータ保持手段およびデータ
保持手段８１４３から、パラメータおよびデータを取得
する。取得されたパラメータおよびデータは、転送手段
８５に送出される。データが複数のブロックに分割され
るときは、データブロックの転送の後に、次に転送され
るデータブロックのパラメータが生成される。この処理
は、第１の実施例のものと実質的に同じである。データ
ブロックは、パラメータのＦフィールドが”１”になる
まで、順次、転送手段８５に送出される。

【００８７】ステップ１６において、転送手段８５は、
パラメータの＃ＲＣフィールドで示される転送先クラス
タにデータおよびパラメータを送出する。転送手段８５
は、クロスバネットワークを含むので、データは複数の
クラスタへ同時に転送される。この場合、クラスタ＃２
およびクラスタ＃３にデータが同時に転送される。

【００８８】図２０を参照すると、ステップ１６で送出
されるパラメータの形式は、パラメータ保持手段に格納
されるものと同じである。

【００８９】再び図１７および図２２を参照すると、ス
テップ１７において、転送先クラスタがパラメータおよ
びデータを受信する。以後、これらパラメータおよびデ
ータを受信した後の、クラスタ＃２の動作について説明
する。クラスタ＃３の動作は、実質的にクラスタ＃２の
ものと同じである。クラスタ＃２のデータ格納手段７４
８は、転送手段８５から受信したデータを格納する。

【００９０】ステップ１８において、命令解読手段７４
７は、データ格納手段７４８に格納されたパラメータの
内容を解読する。パラメータがクラスタ＃２へのデータ
格納を指示しているとき、ステップ１９が実行される。

【００９１】ステップ１９において、制御手段７４３
が、共有メモリアクセス手段７３に対して、データ格納
手段７４８内のデータの格納を指示する。この指示に応
じて、共有メモリアクセス手段７３は、データ格納手段
７４８内のデータを共有メモリ３に格納する。データ
は、パラメータのＡＤＤフィールドにより示されるアド
レスに格納される。

【００９２】図２３を参照すると、ステップ２０におい
て、パラメータの内のＣＭＤ、Ｆ、ＬＣ＃フィールドの
内容が保持される。

【００９３】ステップ２１において、共有メモリアクセ
ス手段７３が、共有メモリアクセス終了監視手段７４６
に対して、データの格納の完了を通知する。

【００９４】ステップ２２において、共有メモリアクセ
ス終了監視手段７４６が、データ転送の終了を判定す
る。この判定は、転送されたデータのＦフィールドの内
容に基づいて行われる。全てのデータブロックの転送が
終了したとき、ステップ２３が実行される。それ以外の
時、ステップ１７〜２１が繰り返される。

【００９５】図１７および図２３を参照すると、ステッ
プ２３において、共有メモリアクセス終了監視手段７４
６が、データ転送手段７４４およびクロスバネットワー
ク６０を介して、クラスタ＃１にデータ転送の終了を通
知する。

【００９６】ステップ２４において、クラスタ＃２が送
出した終了通知情報が、クラスタ＃２に対応するデータ
転送制御装置８２に受信される。受信された終了通知情
報は、データ転送制御装置８２のデータ格納手段８１１
に格納される。

【００９７】ステップ２５において、データ転送制御装
置８２の命令解読手段８１２が、データ格納手段８１１
に格納された情報の内容を判別する。情報が終了通知情
報であったとき、ステップ２６が実行される。

【００９８】ステップ２６において、終了通知情報がブ
ロードキャスト転送の終了を通知しているときは、制御
手段８１３は、調停手段８４を介して、データ転送制御
装置８１のブロードキャスト終了監視手段８１４２に、
終了通知情報を送出する。終了通知情報が２点間転送の
終了を通知しているときは、制御手段８１３は、転送手
段８５を介して、転送元クラスタへ、終了通知情報を送
出する。

【００９９】ステップ２７において、データ転送制御装
置８１のブロードキャスト終了監視手段８１４２が、終
了通知情報を受信する。パラメータ保持手段８１４４中
の、終了通知情報に対応するパラメータが削除される。

【０１００】ステップ２８において、全ての転送先クラ
スターから終了通知情報を受信したか否かを、ブロード
キャスト終了監視手段８１４２が判定する。全ての転送
先クラスタから終了通知情報を受信したとき、ステップ
２９が実行される。

【０１０１】ステップ２９において、ブロードキャスト
終了監視手段８１４２が、クラスタ＃１にブロードキャ
ストの終了を通知する。

【０１０２】このように、第２の実施例では、複数のク
ラスタに対してデータ同時に転送することができる。

【０１０３】図２４を参照すると、第２の実施例におい
てブロードキャストに要する時間をＴ２、共有メモリ３
からデータを読み出すまでの時間をＴａ２、読み出され
た転送データがある１つのクラスタ内の共有メモリ３に
書き込まれるまでに要する時間をＴｂ２と、それぞれす
ると、Ｔ２ ＝ Ｔａ２＋Ｔｂ２である。

【発明の効果】以上説明したように本発明の情報処理シ
ステムでは、１回のブロードキャストの実行にあたり、
メインメモリからのデータの読み出しは１回しか行われ
ない。このため、短時間でデータをブロードキャストで
きる。

【０１０４】また、本発明の情報処理システムでは、転
送先クラスタへの転送経路中に他のクラスタが介在しな
いので、高速にデータを転送できる。

【０１０５】さらに、本発明の情報処理システムでは、
ブロードキャスト専用のバスが不要なので、ハードウエ
ア量が増大しない。

【０１０６】さらに、本発明の情報処理システムでは、
演算処理装置に代わってデータ転送制御装置５がデータ
を転送する。このため、データ転送が行われても、演算
処理装置の処理が中断することはない。

【図面の簡単な説明】

【図１】従来のブロードキャスト転送に要する時間を説
明する図。

【図２】本発明の第１の実施例の構造を示すブロック
図。

【図３】データ転送手段５４の詳細な構造を示すブロッ
ク図。

【図４】本発明の第１の実施例のパラメータのフォーマ
ットを示す図。

【図５】パラメータ保持手段５４２の詳細な構造を示す
ブロック図。

【図６】データ保持手段５４１の詳細な構造を示すブロ
ック図。

【図７】本発明の第１の実施例の動作を説明する図。

【図８】本発明の第１の実施例の動作を説明するフロー
チャート。

【図９】本発明の第１の実施例の動作を説明するフロー
チャート。

【図１０】本発明の第１の実施例の動作を説明するフロ
ーチャート。

【図１１】本発明の第１の実施例において、ブロードキ
ャスト転送に要する時間を説明する図。

【図１２】本発明の第２の実施例の構造を示すブロック
図。

【図１３】データ転送制御手段７４の詳細な構造を示す
ブロック図。

【図１４】ブロードキャスト手段８の詳細な構造を示す
ブロック図。

【図１５】パラメータ保持手段の詳細な構造を示すブロ
ック図。

【図１６】調停手段８４の詳細な構造を示すブロック
図。

【図１７】本発明の第２の実施例の動作を説明する図。

【図１８】本発明の第２の実施例における、パラメータ
のフォーマットを示す図。

【図１９】本発明の第２の実施例における、パラメータ
のフォーマットを示す図。

【図２０】本発明の第２の実施例における、パラメータ
のフォーマットを示す図。

【図２１】本発明の第２の実施例の動作を説明するフロ
ーチャート。

【図２２】本発明の第２の実施例の動作を説明するフロ
ーチャート。

【図２３】本発明の第２の実施例の動作を説明するフロ
ーチャート。

【図２４】本発明の第２の実施例において、ブロードキ
ャスト転送に要する時間を説明す

【符号の説明】

２１〜２Ｎ 演算処理装置 ３ 共有メモリ ４ ローカルネットワーク ５ データ転送制御装置 ５１ 命令解読手段 ５２ 転送制御手段 ５３ 共有メモリアクセス手段 ５４ データ転送手段 ５４１ データ保持手段 ５４２ パラメータ保持手段 ５４３ 制御手段 ５４４ データ転送手段 ５４５ ブロードキャスト終了監視手段 ５４６ 共有メモリアクセス終了監視手段 ５４７ 命令解読手段 ５４８ データ格納手段 ５４２０ セレクタ ５４２１ レジスタ ５４２２ パラメータバッファ ５４２３ 更新手段 ５４２４ アドレスポインタ ５４１１ レジスタ ５４１２ データバッファ ５４１３ セレクタ ５４１４ レジスタ ５４１５ アドレスポインタ ６０ クロスバネットワーク ７ データ転送制御装置 ７１ 命令解読手段 ７２ 転送制御手段 ７３ 共有メモリアクセス手段 ７４ データ転送手段 ７４３ 制御手段 ７４４ データ転送手段 ７４６ 共有メモリアクセス終了監視手段 ７４７ 命令解読手段 ７４８ データ格納手段 ８ ブロードキャスト手段 ８１〜８３ データ転送制御装置 ８１１ データ格納手段 ８１２ 命令解読手段 ８１３ 制御手段 ８１４ データ転送手段 ８１４１ ブロードキャスト制御手段 ８１４２ ブロードキャスト終了監視手段 ８１４３ データ保持手段 ８１４４ パラメータ保持手段 ８１４５ パラメータ保持手段 ８１４６ パラメータ保持手段 ８４ 調停手段 ８４１ 第１の調停手段 ８４２ 第２の調停手段 ８４３ 第３の調停手段 ８４４ 許可信号生成手段 ８５ 転送手段

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 複数のクラスタとこれら複数のクラスタ
   を接続するクラスタ間接続手段とを含むマルチクラスタ
   情報処理システムにおいて、 前記クラスタ間接続手段が、 前記複数のクラスタの１つから受信した転送データを格
   納するデータ保持格納手段と、 転送元クラスタから受信した転送先クラスタを示す情報
   と転送データが格納されるべきアドレスとを含むパラメ
   ータを転送先クラスタ毎にそれぞれ格納するパラメータ
   保持手段と、前記転送先クラスタ毎に格納された各 パラメータと前記
   データ保持手段に格納されたデータとの組を、前記各パ
   ラメータの示す転送先クラスタに対して同時に送出する
   データ転送手段とを含むことを特徴とするマルチクラス
   タ情報処理システム。
2. 【請求項２】 前記データ転送手段が、転送データを複
   数のデータブロックに分割して転送し、前記クラスタ間
   接続手段が、前記パラメータ内の前記アドレスに前記デ
   ータブロックのデータ長を順次加算することにより、前
   記複数のデータブロックに対応するパラメータを順次生
   成するパラメータ更新手段を含むことを特徴とする請求
   項１記載のマルチクラスタ情報処理システム。
3. 【請求項３】 前記クラスタ間接続手段が、全ての転送
   先クラスタから受信終了通知を受け取ったことを判定
   し、これを転送元クラスタに通知する終了監視手段を含
   むことを特徴とする請求項１記載のマルチクラスタ情報
   処理システム。
4. 【請求項４】 前記クラスタ間接続手段が、クラスタ間
   のデータ転送を調停する調停手段を有することを特徴と
   する請求項１記載のマルチクラスタ情報処理システム。