JPH10214259A

JPH10214259A - 並列計算機

Info

Publication number: JPH10214259A
Application number: JP9029722A
Authority: JP
Inventors: Keimei Fujii; 啓明藤井; Yoshiko Yasuda; 淑子保田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-01-29
Filing date: 1997-01-29
Publication date: 1998-08-11
Anticipated expiration: 2017-01-29
Also published as: JP3877186B2

Abstract

(57)【要約】【課題】分散メモリ方式の並列計算機において、主記
憶内容の共有機構を低コストで実現し、要素プロセッサ
間の連携処理の効率向上等を可能とする。【解決手段】要素プロセッサ間で主記憶内容を共有す
るミラーグループを定義し、そのグループｉｄに対応す
るミラーページを各要素プロセッサの主記憶１１８上に
用意する。また、ストレージコントローラ１０２に該ミ
ラーページの先頭アドレスとグループｉｄを登録するミ
ラーテーブル１０５を設け、該テーブル１０５を参照し
てミラーページへの主記憶書き込み要求をアドレス解析
部１０４が検出し、該書き込み要求を主記憶１１８に伝
えるとともに、相互結合網２０２を介してミラーグルー
プの全要素プロセッサに伝える機構を設ける。該機構に
よって、ミラーグループの各要素プロセッサに同じ主記
憶内容を持つページを存在させ、主記憶内容の共有を擬
似的に実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、分散メモリ方式の
並列計算機のメモリ機構に係わり、特に、並列計算機を
構成する各要素プロセッサ間での主記憶内容の共有を実
現するためのメモリ機構に関する。

【０００２】

【従来の技術】計算機に対する高速処理性能への要求
は、演算プロセッサを複数台連携して使用する並列計算
機の登場を促した。科学技術計算などのいわゆるスーパ
ーコンピューティング分野への適用を目的とする並列計
算機は、数百から数千台の演算プロセッサを有し、その
演算プロセッサが相互結合網で接続されるという形態を
とる。また、この形態の並列計算機は、各演算プロセッ
サがそれぞれ主記憶を有し、それを管理するという構成
方式（一般に分散メモリ方式と呼ぶ）をとる。分散メモ
リ方式の並列計算機では、各演算プロセッサが他の演算
プロセッサが管理する主記憶上のデータを参照したい場
合に、演算プロセッサ間の相互結合網を介したデータ転
送によってこれを実現する。

【０００３】分散メモリ方式の並列計算機は、このデー
タ転送の実現方法の違いによって、分散共有メモリ型と
メッセージパッシング型の２種類に分類される。分散共
有メモリ型の並列計算機では、他演算プロセッサの主記
憶領域を指すアドレスへのロード／ストア命令（機械語
命令）の実行によって自動的にデータ転送が発生する。
この時のデータ転送量は、ロード／ストア命令が対象と
するワード（方式によっては数十ワード）程度である。
一方、メッセージパッシング型の並列計算機では、プロ
グラム上の手続き（関数）により明示的にデータ転送機
構を動作させてデータ転送を実現する。この時のデータ
転送量は、ハードウェア的な限界があるものの、その限
界までの範囲内で任意であり、数キロワード以上といっ
た多量のデータ転送も実現できる。

【０００４】上述のとおり、分散共有メモリ型とメッセ
ージパッシング型では、データ転送起動のメカニズムや
転送データ量に相違があるが、さらに演算プロセッサが
キャッシュメモリを有する場合の制御機構が大幅に異な
る。分散共有メモリ型の並列計算機では、バス結合のマ
ルチプロセッサ（シンメトリックマルチプロセッサ：Ｓ
ＭＰ）と同様に、データ転送にともなって、キャッシュ
メモリと主記憶との内容一致制御（コヒーレンス制御）
をハードウェアによって自動的に行う。例えば、米国Ｓ
ｔａｎｆｏｒｄ大学のＤａｓｈという分散共有メモリ型
の並列計算機では、ディレクトリ方式という方式でコヒ
ーレンス制御を実現している。しかし、このような制御
機構を実現するのは、ハードウェアコストの面からは不
利である。

【０００５】

【発明が解決しようとする課題】主記憶内容の共有に関
しては、科学技術計算のような定型的な処理ではそれほ
ど要求がなかった。しかし、並列計算機の適用分野を広
げるという面では、主記憶内容の共有が必要となる応用
も考えられる。また、並列計算機のＯＳは、基本的に各
要素プロセッサ上で個別に動作し、個々の要素プロセッ
サの資源や状態を管理しており、システム全体の資源や
状態に関する情報が必要な時には、各要素プロセッサ上
のＯＳ間で相互に情報を交換してデータベースを構築
し、その情報を元に資源の割り当てやプロセス（ジョ
ブ）のスケジューリングを行う。例えば、ＩＢＭの並列
計算機であるＳＰ２のＯＳは、ロードレベラーという機
能を提供し、各要素プロセッサの負荷状況を示すデータ
ベースを構築し、その情報に基づいた負荷分散によって
要素プロセッサ毎の負荷の均等化を実現する。このよう
な処理では、各要素プロセッサ上のＯＳ間で多量の通信
が発生するため、処理オーバヘッドが大きい。この問題
に対しても主記憶内容の共有が可能であれば、その共有
領域にデータベースを構築することで上記のＯＳ間通信
による処理オーバヘッドが削減できる。上記の主記憶内
容の共有機構を、先述の米国Ｓｔａｎｆｏｒｄ大学のＤ
ａｓｈに代表されるような従来の分散共有メモリ機構ほ
どのハードウェアコストをかけずに実現するというのが
本発明が解決しようとする課題である。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、相互結合網で接続される複数の要素プロ
セッサを有し、該各要素プロセッサが個別に主記憶を所
有し、これを管理する分散メモリ方式をとる並列計算機
において、該要素プロセッサの記憶制御装置が、特定の
アドレス領域への主記憶書き込み要求を検出する機構を
持ち、該要素プロセッサの該記憶制御装置が、該特定ア
ドレス領域への主記憶書き込み要求を検出した際に、該
書き込み要求を主記憶に送出すると同時に、相互結合網
へのインタフェース装置を介して、該書き込み要求を該
要素プロセッサから相互結合網に送出する機構を備える
ようにしている。さらに、前記要素プロセッサの記憶制
御装置が、前記特定アドレス領域への主記憶書き込み要
求を検出するための該特定アドレス領域の先頭アドレス
値を登録した参照表を備えるようにしている。さらに、
前記参照表は複数のエントリからなり、各エントリは、
エントリの有効／無効を示すフィールドと、前記特定ア
ドレス領域の先頭アドレス値を示すフィールドと、該特
定アドレス領域に対応する識別名を示すフィールドを有
し、該識別名は、システム全体で一元的に管理され、同
じ識別名を有する特定アドレス領域を所有する該要素プ
ロセッサは、同グループとして定義され、該グループの
同じ識別名を有する特定アドレス領域は、該各要素プロ
セッサの主記憶上での存在するアドレスが異なっていて
も、該識別名によって一意に認識され、該要素プロセッ
サの記憶制御装置が前記特定アドレス領域への主記憶書
き込み要求を検出し、前記相互結合網へのインタフェー
ス装置を介して該書き込み要求を要素プロセッサ外に伝
える機構によって、該グループの同じ該識別名を有する
全該特定アドレス領域が同じ内容を維持するように制御
されるようにしている。

【０００７】また、前記要素プロセッサの記憶制御装置
が前記特定アドレス領域への主記憶書き込み要求を検出
し、前記相互結合網へのインタフェース装置を介して該
書き込み要求を要素プロセッサから相互結合網に送出す
る際に、該相互結合網に接続される全該要素プロセッサ
を対象として放送メッセージ機能を使用するようにして
いる。さらに、前記放送メッセージ機能を使用する際
に、通常の放送メッセージ機能と区別するために、該放
送メッセージのメッセージ形式の中に特殊モードビット
フィールドを設け、前記要素プロセッサの記憶制御装置
が前記特定アドレス領域への主記憶書き込み要求を検出
し、前記相互結合網へのインタフェース装置を介して該
書き込み要求を該要素プロセッサから該相互結合網へ送
出する際には、該メッセージの該特殊モードビットフィ
ールドを有効化し、該メッセージに主記憶への書き込み
バイト位置を示す情報、書き込み先領域での相対アドレ
ス、前記識別名、書き込みデータ、および、書き込みデ
ータ長を登録するようにしている。さらに、前記相互結
合網へのインタフェース装置は、複数のエントリからな
り、各エントリはエントリの有効／無効を示すフィール
ドと、前記特定アドレス領域の先頭アドレス値を示すフ
ィールドと、該特定アドレス領域に対応する識別名を示
すフィールドを持つ参照表を有し、前記特殊モードの放
送メッセージを受信した際に、該メッセージ中の識別名
情報を取り出し、該参照表から該識別名が一致するエン
トリを探索し、一致するエントリが存在しなければ、該
メッセージを破棄し、一致するエントリが存在すれば、
該エントリから該特定アドレス領域の先頭アドレス値を
読み取り、該メッセージ中の該書き込み先領域での相対
アドレス情報と組み合わせて書き込みアドレスを作成
し、その他、該メッセージ中の書き込みデータ、書き込
みデータ長、書き込みバイト位置を示す情報を組み合わ
せて主記憶アクセス要求を作成し、これを前記記憶制御
装置に送出する機構を有するようにしている。さらに、
前記相互結合網へのインタフェース装置は、前記特殊モ
ードの放送メッセージを受信した際に、該メッセージか
ら主記憶への書き込みバイト位置を示す情報、前記書き
込み先領域での相対アドレス、前記識別名、書き込みデ
ータ、および、書き込みデータ長といった情報を取り出
し、これらを外部からの該特定アドレス領域への書き込
み要求として前記記憶制御装置に送出する機構を有し、
前記記憶制御装置は、該外部からの特定アドレス領域へ
の書き込み要求を前記相互結合網へのインタフェース装
置から受け取ると、該要求中の識別名情報を取り出し、
該記憶制御装置が有する参照表から該識別名が一致する
エントリを探索し、一致するエントリが存在しなけれ
ば、該要求を破棄し、一致するエントリが存在すれば、
該エントリから該特定アドレス領域の先頭アドレス値を
読み取り、該要求中の書き込み先領域での相対アドレス
情報と組み合わせて書き込みアドレスを作成し、その
他、該要求中の書き込みデータ、書き込みデータ長、書
き込みバイト位置を示す情報を組み合わせて主記憶アク
セス要求を作成し、これを該主記憶に送出する機構を有
するようにしている。

【０００８】また、前記要素プロセッサの記憶制御装置
が前記特定アドレス領域への主記憶書き込み要求を検出
し、前記相互結合網へのインタフェース装置を介して該
書き込み要求を要素プロセッサから該相互結合網へ送出
する際に、特定のグループとして定義された複数の要素
プロセッサの総てを対象とした放送メッセージの転送を
行うグループ内放送メッセージ機能を使用するようにし
ている。さらに、該グループ内放送メッセージ機能を使
用する際に、通常のグループ内放送メッセージ機能と区
別するために、該グループ内放送メッセージのメッセー
ジ形式の中に特殊モードビットフィールドを設け、該要
素プロセッサの該記憶制御装置が前記特定アドレス領域
への主記憶書き込み要求を検出し、前記相互結合網への
インタフェース装置を介して該書き込み要求を該要素プ
ロセッサから該相互結合網へ送出する際には、該メッセ
ージの該特殊モードビットフィールドを有効化し、該メ
ッセージに主記憶への書き込みバイト位置を示す情報、
書き込み先領域での相対アドレス、前記識別名、書き込
みデータ、および、書き込みデータ長を登録するように
している。さらに、前記相互結合網へのインタフェース
装置は、複数のエントリからなり、各エントリはエント
リの有効／無効を示すフィールドと、前記特定アドレス
領域の先頭アドレス値を示すフィールドと、該特定アド
レス領域に対応する識別名を示すフィールドを持つ参照
表を有し、前記特殊モードのグループ内放送メッセージ
を受信した際に、該メッセージ中の識別名情報を取り出
し、該参照表から該識別名が一致するエントリを探索
し、一致するエントリが存在しなければ、該メッセージ
を破棄し、一致するエントリが存在すれば、該エントリ
から該特定アドレス領域の先頭アドレス値を読み取り、
該メッセージ中の該書き込み先領域での相対アドレス情
報と組み合わせて書き込みアドレスを作成し、その他、
該メッセージ中の書き込みデータ、書き込みデータ長、
書き込みバイト位置を示す情報を組み合わせて主記憶ア
クセス要求を作成し、これを前記記憶制御装置に送出す
る機構を有するようにしている。さらに、前記相互結合
網へのインタフェース装置は、前記特殊モードの放送メ
ッセージを受信した際に、該メッセージから主記憶への
書き込みバイト位置を示す情報、前記書き込み先領域で
の相対アドレス、前記識別名、書き込みデータ、およ
び、書き込みデータ長といった情報を取り出し、これら
を外部からの該特定アドレス領域への書き込み要求とし
て前記記憶制御装置に送出する機構を有し、前記記憶制
御装置は、該外部からの特定アドレス領域への書き込み
要求を前記相互結合網へのインタフェース装置から受け
取ると、該要求中の識別名情報を取り出し、該記憶制御
装置が有する参照表から該識別名が一致するエントリを
探索し、一致するエントリが存在しなければ、該要求を
破棄し、一致するエントリが存在すれば、該エントリか
ら該特定アドレス領域の先頭アドレス値を読み取り、該
要求中の書き込み先領域での相対アドレス情報と組み合
わせて書き込みアドレスを作成し、その他、該要求中の
書き込みデータ、書き込みデータ長、書き込みバイト位
置を示す情報を組み合わせて主記憶アクセス要求を作成
し、これを該主記憶に送出する機構を有するようにして
いる。

【０００９】また、それぞれが主記憶を有する複数のプ
ロセッサと、該複数のプロセッサを相互接続する相互結
合網とを有する並列計算機において、該プロセッサの記
憶装置は、特定領域への主記憶書き込み要求を検出する
機構と、該特定領域への主記憶書き込み要求を検出した
際に、該書き込み要求を主記憶および該相互結合網へ送
出する機構と、該書き込み要求を該相互結合網から伝え
られた際に、該伝えられた書き込み要求に従って、該書
き込み要求を伝えられたプロセッサの主記憶の特定領域
を、該書き込み要求を送信したプロセッサの主記憶の特
定領域と同じ内容にする機構とを有するようにしてい
る。さらに、前記並列計算機は、前記特定領域と対応す
る識別子を有し、前記記憶制御装置は、該識別子を参照
して、前記書き込み要求の送信側の主記憶の特定領域の
内容と該書き込み要求の受信側の主記憶の特定領域の内
容を同じにし、前記各プロセッサの主記憶上での該特定
領域は任意の主記憶のアドレスであるようにしている。

【００１０】

【発明の実施の形態】

（実施の形態１）本発明の実施の形態を図を用いながら
説明する。図２は、並列計算機の概略構成を示してい
る。並列計算機は、数十から数百、数千といった台数の
要素プロセッサ２０１で構成され、要素プロセッサ２０
１各々は、相互結合網２０２に接続し、その相互結合網
２０２を介して他の要素プロセッサ２０１とデータの授
受を行う。相互結合網２０２の構成方法は様々である
が、本発明ではこの相互結合網２０２の構成方法を特に
限定しない。また、本発明が対象とする並列計算機は、
先述のメッセージパッシング型を基本とする。

【００１１】要素プロセッサ２０１の構成方法もまた多
種多様になるが、その一例を図３で概略的に示す。要素
プロセッサ２０１の主な構成要素は、命令プロセッサ１
０１、命令プロセッサ１０１に付随するキャッシュメモ
リ（単にキャッシュと呼ぶ場合もある）３０２、命令プ
ロセッサ１０１や後述のネットワークインタフェース１
０８およびＩ／Ｏインタフェース３０３から発行される
データアクセス要求にしたがって適当な記憶デバイスに
アクセスを行うストレージコントローラ１０２、ストレ
ージコントローラ１０２で制御される主記憶１１８、相
互結合網２０２に接続しデータ転送を制御するネットワ
ークインタフェース１０８、および、ストレージコント
ローラ１０２からの要求によってＩ／Ｏ装置にアクセス
を行うＩ／Ｏインタフェース３０３などである。なお、
Ｉ／Ｏインタフェース３０３は構成によっては存在しな
いケースも考えられる。

【００１２】要素プロセッサ２０１中、命令プロセッサ
１０１は、プログラム処理を行うユニットであり、ネッ
トワークインタフェース１０８は、命令プロセッサ１０
１からの指令にしたがって、メッセージパッシング型の
並列計算機の特徴であるデータ転送（メッセージパッシ
ング）を命令プロセッサ１０１のプログラム処理とは独
立に行うユニットである。命令プロセッサ１０１とネッ
トワークインタフェース１０８が独立に動作するため、
ストレージコントローラ１０２は、命令プロセッサ１０
１からの主記憶１１８のアクセスを処理すると同時に、
ネットワークインタフェース１０８からのデータ転送に
ともなう主記憶１１８へのアクセスも処理する。本発明
は、上記ストレージコントローラ１０２およびネットワ
ークインタフェース１０８内に実現する機構に係わる。
本実施の形態では、ストレージコントローラ１０２およ
びネットワークインタフェース１０８内で実現する主記
憶内容の共有機構について図１に基づき説明する。な
お、以降の記述において、Ｉ／Ｏインタフェース３０３
がらみの動作は特に主題とする内容とは関係が無いため
省略する。また、図１についてもＩ／Ｏインタフェース
３０３がらみの処理要素については記述を省略した。

【００１３】本発明に係わるストレージコントローラ１
０２の主要構成要素は、命令プロセッサインタフェース
１０３、アドレス解析部１０４、ミラーテーブル１０
５、主記憶アクセスインタフェース１０６、および、デ
ータ転送インタフェース１０７である。命令プロセッサ
インタフェース１０３は、命令プロセッサ１０１からの
主記憶アクセスやネットワークインタフェース１０８へ
のコマンド発行（通常、ネットワークインタフェース１
０８内の制御レジスタへのアクセスという形で実現す
る。制御レジスタとして、複数本のレジスタが設けられ
ており、該レジスタをアクセスすることにより、データ
転送を起動するとか、ステータスを確認するなどの処理
が行われる。）というトランザクションをＬ１０１より
受け取り、トランザクションへの返答（例えば主記憶読
み出し結果など）や、ストレージコントローラ１０２や
ネットワークインタフェース１０８で検出した割り込み
要因、および、データ転送に係わるキャッシュ制御コマ
ンドなどをL１０２を介して命令プロセッサ１０１に伝
える。

【００１４】アドレス解析部１０４は、命令プロセッサ
インタフェース１０３から伝えられた主記憶アクセス要
求や、ネットワークインタフェース１０８へのコマンド
（形式は主記憶アクセスと同様）を受け取り、そのアク
セス先アドレスを解析して、主記憶アクセスはL１０４
を介して主記憶アクセスインタフェース１０６へ伝え、
ネットワークインタフェース１０８へのコマンドはL１
０７を介してデータ転送インタフェース１０７へ伝え
る。また、アドレス解析部１０４は、本発明の主記憶内
容の共有機構（以降、ミラーページ機構と呼ぶ）を実現
するための機能を持つ。ミラーテーブル１０５は、アド
レス解析部１０４がミラーページ機構サポート機能を実
現する際に参照されるテーブルである。

【００１５】主記憶アクセスインタフェース１０６は、
アドレス解析部１０４からの主記憶アクセスをL１０４
を介して受理し、これをL１０５を介して主記憶１１８
に伝える。アクセスタイプが主記憶読み出しであった時
には、読み出し結果がL１０６を介して主記憶１１８か
ら伝えられる。主記憶アクセスインタフェース１０６
は、この読み出し結果を受け取り、L１０８を介して命
令プロセッサインタフェース１０３に読み出し結果を伝
える。この読み出し結果は、L１０２を介して命令プロ
セッサ１０１に伝わる。

【００１６】さらに、主記憶インタフェース１０６は、
データ転送に係わる主記憶アクセスも処理する。データ
転送に係わる主記憶アクセスは、データ転送インタフェ
ース１０７からL１１０を介して伝えられる。主記憶ア
クセスインタフェース１０６は、アドレス解析部１０４
から主記憶アクセス要求が伝えられた時と同様に主記憶
アクセスを主記憶１１８に対して発行し、読み出しアク
セスに対しては、読み出し結果をL１１１を介してデー
タ転送インタフェース１０７に返送する。

【００１７】データ転送インタフェース１０７は、アド
レス解析部１０４からL１０７を介して伝えられるネッ
トワークインタフェース１０８へのコマンドを受け取
り、これをL１１２を介してネットワークインタフェー
ス１０８に伝える。ネットワークインタフェース１０８
からは、L１１３を介して前記コマンドに対する返答
や、データ転送に係わる主記憶アクセス要求が伝わる。
データ転送インタフェース１０７は、前記コマンドに対
する返答については、L１０９を介して命令プロセッサ
インタフェース１０３に伝え（さらにこれがL１０２を
介して命令プロセッサ１０１に伝えられる）、主記憶ア
クセス要求については、L１１０を介して主記憶アクセ
スインタフェース１０６に伝える。主記憶読み出し結果
は、L１１１を介してデータ転送インタフェース１０７
に伝わるので、データ転送インタフェース１０７は、こ
れをL１１２を介してネットワークインタフェース１０
８に伝える。また、データ転送インタフェース１０７
は、ネットワークインタフェース１０８内で発生した割
り込み伝達要求を受ける場合もある。この場合、その割
り込み伝達要求は、L１０９を介して命令プロセッサイ
ンタフェース１０３に伝わり、そこから命令プロセッサ
１０１に伝えられる。

【００１８】ストレージコントローラ１０２の中で、ミ
ラーページ機構を実現する主な要素は、アドレス解析部
１０４、ミラーテーブル１０５、およびデータ転送イン
タフェース１０７である。これらの連携動作を説明する
前に、本発明による主記憶内容の共有方式を説明する。
本発明では、共有主記憶（分散共有メモリ）を提供する
ことで主記憶内容の共有を実現するというアプローチは
採らない。本発明では、同じ記憶内容を持つ主記憶ペー
ジ（本ページをミラーページと呼ぶ）を主記憶内容の共
有を行いたい全プロセッサ（この全プロセッサをミラー
グループとして定義し、それぞれのグループをｉｄで識
別する）に用意する。個々のプロセッサ内での当該ミラ
ーページに対する書き込みは、自らの主記憶に対して反
映されると同時に、相互結合網２０２を介して前記ミラ
ーグループ内の全プロセッサに対してブロードキャスト
され、ミラーグループ内全プロセッサにおける各ミラー
ページに同じ書き込みとして反映される。これによっ
て、ミラーグループ内全プロセッサにおけるミラーペー
ジとして定義された主記憶領域が常に同じ内容をとるよ
うになり、結果として記憶内容を共有しているのと同じ
効果が得られる。各ミラーページのページ先頭物理アド
レスは、各要素プロセッサ毎に異なっていてもよい。ミ
ラーページの特定は、上記グループｉｄによって行われ
る。

【００１９】ストレージコントローラ１０２内の上記ミ
ラーページ機構を実現するためのアドレス解析部１０
４、ミラーテーブル１０５、およびデータ転送インタフ
ェース１０７の連携動作を以下に示す。まず、ミラーテ
ーブル１０５の構造を説明する。ミラーテーブル１０５
は、例えば図４に示す構造をとる。本テーブルの主要フ
ィールドは、有効ビットフィールド４０１、アドレスフ
ィールド４０２、および、ｉｄフィールド４０３であ
る。有効ビットフィールド４０１は、当該テーブルエン
トリが有効な情報を持つことを示す。アドレスフィール
ド４０２は、ミラーページとして定義した主記憶ページ
の先頭アドレスを示す。ｉｄフィールド４０３は、同列
のアドレスフィールド４０２が示すページが属するミラ
ーグループのグループｉｄを示す。

【００２０】アドレス解析部１０４は、命令プロセッサ
インタフェース１０３から主記憶書き込み要求を受け取
ると、そのアクセス先アドレスに関して、ミラーテーブ
ル１０５の有効エントリ（有効ビットフィールド４０１
が「有効」を示しているエントリ）のアドレスフィール
ド４０２を検査し、ミラーページ領域に対するアクセス
でないかどうかを調べる。その検査結果に係わらず、主
記憶書き込み要求は、主記憶アクセスインタフェース１
０６に対して発行される。

【００２１】一方、検査の結果、当該主記憶書き込み要
求がミラーページ領域に対するアクセスであった場合、
アドレス解析部１０４は、アドレス領域が一致したミラ
ーテーブル１０５のエントリのｉｄフィールド４０３の
内容を取り出し、当該書き込み要求とそのｉｄ情報を組
とし、これをミラー要求としてデータ転送インタフェー
ス１０７に伝える。ミラー要求を受け取ったデータ転送
インタフェース１０７は、これをミラー要求コマンドと
してネットワークインタフェース１０８に伝える。この
時、伝えられる内容は、ミラー要求コマンド、書き込み
データ、書き込みデータ長および書き込みバイトマーク
（例えば、単位書き込み長が８バイトであった場合に、
８バイトのどのバイト位置に書き込みを反映させるかを
示す情報）、主記憶書き込み要求の指定アドレスのうち
のページ内アドレス（ページの先頭からの相対アドレ
ス）、および、ｉｄ情報（ミラーグループｉｄ）であ
る。書き込み先ページの先頭アドレスは、各要素プロセ
ッサ毎にｉｄ情報に基づいて決定されるため、伝達する
必要がない。

【００２２】次に、本発明に係わるネットワークインタ
フェース１０８の構成を説明する。本発明に係わるネッ
トワークインタフェース１０８の主要な構成要素は、コ
マンド受信部１０９、コマンド送出部１１０、ミラー要
求作成部１１１、メッセージ送信・コマンド処理部１１
２、メッセージ受信部１１３、ミラー処理部１１４、ミ
ラーテーブル１１５、パケット送信部１１６、および、
パケット受信部１１７である。コマンド受信部１０９
は、ストレージコントローラ１０２からL１１２を介し
て、ネットワークインタフェース１０８内の制御レジス
タへのアクセス、ミラー要求コマンド、および、ネット
ワークインタフェース１０８から要求した主記憶読み出
し結果などを受け取る。主記憶読み出し結果は、L１１
５を介してメッセージ送信・コマンド処理部１１２に伝
えられ、ネットワークインタフェース１０８の動作制御
用データとしてネットワークインタフェース１０８内の
制御レジスタにセットされたり、メッセージ送信のため
のパケット作成データあるいは転送データそのものとし
て使用される。ネットワークインタフェース１０８内の
制御レジスタへのアクセスは、L１１５を介してメッセ
ージ送信・コマンド処理部１１２に伝えられる。そのア
クセスが読み出しであった場合には、読み出し結果をL
１１６を介してコマンド送出部１１０に伝える（この読
み出し結果は、L１１３を介してストレージコントロー
ラ１０２に伝わり、さらに、命令プロセッサ１０１に伝
えられる）。

【００２３】アクセスが書き込みであった場合には、そ
の書き込みはメッセージ送信・コマンド処理部１１２で
処理される。メッセージ送信を起動するための書き込み
コマンドも存在する。そのようなコマンドを受け取った
メッセージ送信・コマンド処理部１１２は、メッセージ
送信処理を開始する。また、ミラー要求コマンドは、L
１１４を介してミラー要求作成部１１１に伝わる。メッ
セージ送信・コマンド処理部１１２は、コマンド受信部
１０９から要求のあるネットワークインタフェース１０
８内の制御レジスタへのアクセスと、メッセージ送信処
理を行う。制御レジスタ読み出しアクセスを受けた場
合、メッセージ送信・コマンド処理部１１２は、読み出
し結果をL１１６を介してコマンド送出部１１０に伝え
る。レジスタ書き込みアクセスを受けた場合、メッセー
ジ送信・コマンド処理部１１２は、その書き込みを実行
する。また、メッセージ送信・コマンド処理部１１２
は、メッセージ送信処理を行う。

【００２４】メッセージ送信処理は、上記レジスタ書き
込みアクセスがメッセージ送信起動用の制御レジスタを
対象にした際に始まる。メッセージ送信処理では、メッ
セージのヘッダを作成するための情報および転送データ
そのものを得るために主記憶アクセス要求が発生する。
この主記憶アクセス要求はL１１６を介してコマンド送
出部１１０に伝わる。主記憶読み出し結果は、コマンド
受信部１０９を介してストレージコントローラ１０２か
ら受け取る。メッセージ送信・コマンド処理部１１２
は、主記憶読み出し結果から作成したメッセージのヘッ
ダや転送データをL１２０を介してパケット送信部１１
６に伝える。

【００２５】ミラー要求作成部１１１は、ミラー要求コ
マンドを受け取ると、コマンドのパラメータとして引き
渡される書き込みデータ、書き込みデータ長、書き込み
バイトマーク、書き込み先ページ内相対アドレス、およ
び、ｉｄ情報（ミラーグループｉｄ）を元にして、ミラ
ー用ブロードキャストメッセージを作成する。このミラ
ー用ブロードキャストメッセージは、分散メモリ型並列
計算機に一般的に提供されるブロードキャストメッセー
ジと基本的には同形であり、その１タイプとして実装す
る。具体的には、メッセージヘッダ中に、「ミラー用」
を示す情報フィールドを追加し、ミラー用ブロードキャ
ストメッセージの場合には、この「ミラー用」フィール
ドを有効化する。そして、通常のブロードキャストメッ
セージでは書き込み先アドレスが指定されているフィー
ルドに、書き込みバイトマーク、書き込み先ページ内相
対アドレスやミラーグループｉｄといったミラー用ブロ
ードキャストメッセージ固有の情報を指定する。書き込
みデータ、および、書き込みデータ長は本来のブロード
キャストメッセージと同様に指定する。作成したミラー
用ブロードキャストメッセージは、Ｌ１１９を介してパ
ケット送信部１１６に伝える。

【００２６】ここで、上記ブロードキャスト機能につい
て、さらに説明を加える。本実施例において想定してい
るブロードキャスト機能は、並列計算機を構成する全要
素プロセッサを対象とするものである。これに対して、
あらかじめグループ化した要素プロセッサ群のみを対象
としてブロードキャストを実行する部分ブロードキャス
ト（あるいはグループ内ブロードキャスト）というハー
ドウェア機能を持つ並列計算機も存在する。例えば、日
立のＳＲ２２０１という並列計算機は、分割運転機能の
一機能としてこの機能をサポートしている。本実施例に
関しては、上記ミラーグループと、グループ内ブロード
キャストのグループを一致させれば、ミラーページ機能
が効率良く実装できる。全要素プロセッサを対象とする
ブロードキャスト機能を利用した場合の非効率な点は、
ミラーグループ以外の要素プロセッサにもミラー用ブロ
ードキャストメッセージが届いてしまい、これをその要
素プロセッサが破棄する（詳細は後述するが、ネットワ
ークインタフェース１０８内のミラーテーブル１１５を
用いて、ｉｄを照合することで実現する）必要がある点
である。グループ内ブロードキャスト機能を利用すれ
ば、このような非効率な動作をする要素プロセッサを減
らす（場合によっては無くす）ことができる。グループ
内ブロードキャスト機能を利用する場合のミラー用ブロ
ードキャストメッセージの実装方法も、上記ブロードキ
ャスト機能を利用する場合と同様である（グループ内ブ
ロードキャストメッセージのフォーマットを上記と同様
に変更する）。

【００２７】次に、パケット送信部１１６について説明
する。パケット送信部１１６は、メッセージ送信・コマ
ンド処理部１１２およびミラー要求作成部１１１からの
メッセージ送信要求を受けて、伝えられたメッセージを
Ｌ１２３を介して相互結合網２０２に送出する。送出さ
れたメッセージは、相互結合網２０２を介し、メッセー
ジのヘッダ情報に基づいて宛先に転送される。メッセー
ジ送信・コマンド処理部１１２およびミラー要求作成部
１１１からの要求は、それぞれの起動要求（コマンド）
がネットワークインタフェース１０８に届いた順序にシ
リアライズされて処理される。

【００２８】パケット受信部１１７は、Ｌ１２４を介し
て相互結合網２０２からメッセージを受け取る。パケッ
ト受信部１１７は、受け取ったメッセージのヘッダを解
析し、そのメッセージの種類に応じてメッセージ受信部
１１３またはミラー処理部１１４にメッセージを引き渡
す。メッセージの種類が通常のメッセージ（上記メッセ
ージ送信・コマンド処理部１１２によって作成されたメ
ッセージ）であれば、そのメッセージはL１２１を介し
てメッセージ受信部１１３に伝わる。一方、メッセージ
の種類がミラー用ブロードキャストメッセージであれ
ば、そのメッセージはL１２２を介してミラー処理部１
１４に伝わる。

【００２９】メッセージ受信部１１３は、受信したメッ
セージの主記憶１１８への書き込み要求を発行する。本
処理部は、先述の日立ＳＲ２２０１などのメッセージパ
ッシング型の分散メモリ方式並列計算機で一般に採用さ
れている公知の技術によって実現可能であるため、本実
施例では詳細な構成および動作説明を省略する。メッセ
ージ受信部１１３は、発行した主記憶書き込み要求をL
１１７を介してコマンド送出部１１０に伝える。

【００３０】ミラー処理部１１４は、その処理において
ミラーテーブル１１５を参照する。ミラーテーブル１１
５は、先に説明したストレージコントローラ１０２内の
ミラーテーブル１０５と同じ構造であり、同じ要素プロ
セッサ２０１内のストレージコントローラ１０２内ミラ
ーテーブル１０５とネットワークインタフェース１０８
内ミラーテーブル１１５は同じ内容となる。ミラー処理
部１１４は、ミラー用ブロードキャストメッセージを受
け取ると、メッセージヘッダからミラーグループｉｄ情
報を取り出し、このｉｄ情報とミラーテーブル１１５の
有効な（有効ビットフィールド４０１が「有効」を示し
ている）エントリのｉｄフィールド４０３の値を照合す
る。ｉｄが一致するエントリが存在しなかった場合、そ
のミラー用ブロードキャストメッセージは当該要素プロ
セッサ２０１を対象としたものでないと判断し、破棄す
る。ｉｄが一致するエントリが存在した場合、ミラー処
理部１１４は、そのエントリのアドレスフィールド４０
２からミラーページの先頭アドレスを取り出し、ミラー
用ブロードキャストメッセージ中の書き込み先ページ内
相対アドレスと組み合わせて主記憶書き込み要求のター
ゲットアドレスを決定し、その他、ミラー用ブロードキ
ャストメッセージ中の書き込みデータ、書き込みデータ
長、書き込みバイトマークの各情報と組み合わせてスト
レージコントローラ１０２への主記憶書き込み要求を生
成し、これをＬ１１８を介してコマンド送出部１１０に
伝える。この主記憶書き込み要求は、メッセージ受信部
１１３で発行される要求と同形式である。

【００３１】コマンド送出部１１０は、Ｌ１１６を介し
て伝わるネットワークインタフェース１０８内の制御レ
ジスタ読み出し結果、ネットワークインタフェース１０
８の動作制御に係わる情報の主記憶１１８からの読み出
し要求、および、メッセージ送信処理に伴う主記憶１１
８の読み出し要求、Ｌ１１７およびＬ１１８を介して伝
わる主記憶１１８への書き込み要求、さらには、ネット
ワークインタフェース１０８内で発生した割り込み要求
をL１１３を介してストレージコントローラ１０２に伝
える（ストレージコントローラ１０２に要求が伝わって
からの処理は既に説明したとおりである）。以上が本発
明に係わる構成要素についての説明である。

【００３２】続いて、本発明のミラーページ機構に関す
る基本的な動作のフローを説明する。まず、本機構を使
用するにあたってのソフトウェア的な準備手続きについ
て説明する。第一に、主記憶内容を共有したい要素プロ
セッサ２０１間で、ミラーグループを定義する。ミラー
グループは、ミラーグループｉｄによって認識される
が、このミラーグループｉｄの割り当ては、並列計算機
全体でＯＳ（特定のサーバ）が一元的に管理する。ミラ
ーグループを形成すべくミラーグループｉｄを取得した
各要素プロセッサ２０１のＯＳは、それぞれミラーペー
ジとして使用させる主記憶１１８上のページを用意し、
これを初期化する。そしてそのページの先頭アドレスを
ミラーグループｉｄとともにミラーテーブル１０５およ
び１１５の空きエントリに登録する。このミラーテーブ
ル１０５および１１５への登録にあたっては、ページの
先頭アドレスをアドレスフィールド４０２に、ミラーグ
ループｉｄをｉｄフィールド４０３にそれぞれ登録し、
当該エントリの有効ビットフィールド４０１を「有効」
を示す内容にセットする。以上でミラーページが定義で
きたことになる。各要素プロセッサ２０１上の同じミラ
ーグループで定義されるミラーページの主記憶１１８上
の先頭アドレスは、各要素プロセッサ２０１毎に異なっ
ていても構わない。これらは、ミラーグループｉｄによ
って同じミラーページとして認識される。

【００３３】次に、ハードウェアの動作を説明する。本
機構が動作を開始するトリガとなるのが、要素プロセッ
サ２０１におけるミラーページを対象とした主記憶書き
込み要求の発生である。この主記憶書き込み要求は、命
令プロセッサ１０１からL１０１を介して、ストレージ
コントローラ１０２内の命令プロセッサインタフェース
１０３に伝わり、そこからL１０３を介してアドレス解
析部１０４に到達する。アドレス解析部１０４は、受け
取った主記憶書き込み要求をL１０４を介して主記憶ア
クセスインタフェース１０６に伝える（その後、本要求
はL１０５を介して主記憶１１８に伝えられ、書き込み
が反映される）と同時に、受け取った主記憶書き込み要
求のターゲットアドレスに関して、ミラーテーブル１０
５を検査する。検査の結果、主記憶書き込み要求のター
ゲットアドレスと一致する（ページ境界アドレスで比較
する）値のアドレスフィールド４０２を持つエントリが
存在すれば（このエントリの有効ビットフィールド４０
１は、「有効」を示す）、そのエントリのｉｄフィール
ド４０３の値（ミラーグループｉｄ）を取り出す。さら
に、主記憶書き込み要求のターゲットアドレスを元にペ
ージ境界アドレスからの相対アドレスを求め、このミラ
ーグループｉｄ、相対アドレス、さらに、主記憶書き込
み要求の書き込みデータ、書き込みデータ長、書き込み
バイトマークを組としてミラー要求コマンドを生成す
る。

【００３４】ミラー要求コマンドは、L１０７を介して
データ転送インタフェース１０７に伝えられ、さらにL
１１２を介してネットワークインタフェース１０８内の
コマンド受信部１０９に伝えられる。コマンド受信部１
０９では、コマンドタイプがミラー要求コマンドである
ことを認識すると、L１１４を介してミラー要求作成部
１１１にそのコマンドを伝達する。ミラー要求作成部１
１１では、ミラー要求コマンドを受け取ると、そのコマ
ンドのパラメータであるミラーグループｉｄ、相対アド
レス、主記憶書き込み要求の書き込みデータ、書き込み
データ長、および書き込みバイトマークを用いてミラー
用ブロードキャストメッセージを生成し、これをL１１
９を介してパケット送信部１１６に伝える。パケット送
信部１１６は、L１２３を介してミラー用ブロードキャ
ストメッセージを相互結合網２０２に送出する。相互結
合網２０２は、ブロードキャスト機能（あるいはグルー
プ内ブロードキャスト機能）を使用して、全要素プロセ
ッサ２０１（グループ内ブロードキャスト機能を用いた
場合にはグループ内全要素プロセッサ２０１）に対して
ミラー用ブロードキャストメッセージを配布する。

【００３５】各要素プロセッサ２０１は、L１２４を介
してネットワークインタフェース１０８内のパケット受
信部１１７で上記ミラー用ブロードキャストメッセージ
を受け取り、パケット受信部１１７は、これをミラー処
理部１１４に伝える。ミラー処理部１１４は、ミラー用
ブロードキャストメッセージを受け取ると、メッセージ
ヘッダからミラーグループｉｄ情報を取り出し、このｉ
ｄ情報とミラーテーブル１１５の有効な（有効ビットフ
ィールド４０１が「有効」を示している）エントリのｉ
ｄフィールド４０３の値を照合する。ｉｄが一致するエ
ントリが存在しなかった場合、そのミラー用ブロードキ
ャストメッセージは当該要素プロセッサ２０１を対象と
したものでないと判断し、破棄する。ｉｄが一致するエ
ントリが存在した場合、ミラー処理部１１４は、そのエ
ントリのアドレスフィールド４０２からミラーページの
先頭アドレスを取り出し、ミラー用ブロードキャストメ
ッセージ中の書き込み先ページ内相対アドレスと組み合
わせて主記憶書き込み要求のターゲットアドレスを決定
し、その他、ミラー用ブロードキャストメッセージ中の
書き込みデータ、書き込みデータ長、書き込みバイトマ
ークの各情報と組み合わせてストレージコントローラ１
０２へのミラーページ処理に係わる主記憶書き込み要求
を生成し、これをＬ１１８を介してコマンド送出部１１
０に伝える。コマンド送出部１１０は、Ｌ１１８を介し
て伝わる主記憶１１８への書き込み要求をL１１３を介
してストレージコントローラ１０２内のデータ転送イン
タフェース１０７に伝える。

【００３６】データ転送インタフェース１０７は、受理
したミラーページ処理に係わる主記憶書き込み要求をL
１１０を介して主記憶アクセスインタフェース１０６に
伝える。その後、この要求は、L１０５を介して主記憶
１１８に伝わり、主記憶１１８のミラーページに対して
書き込みが反映される。以上の一連の動作によって、ミ
ラーグループで定義したミラーページに対するミラーグ
ループ内の任意の要素プロセッサ２０１での主記憶１１
８への書き込み処理が、その書き込み処理が発生した要
素プロセッサ２０１の主記憶１１８だけでなく、ミラー
グループ内全要素プロセッサ２０１の主記憶１１８のミ
ラーページに対して反映され、これによって、論理的な
主記憶内容の共有が実現できる。

【００３７】説明の都合上、最後の記述となったが、本
発明では、命令プロセッサ１０１に付随するキャッシュ
メモリ３０２の制御に関して２つの想定をしている。１
つ目の想定は、命令プロセッサ１０１内でのキャッシュ
メモリ３０２への書き込みを同時に主記憶１１８にも反
映させるストアスルー方式をとる点である。これまでに
説明したとおり、本発明のミラーページ機構は、ミラー
ページを対象とした主記憶書き込み要求がストレージコ
ントローラ１０２に伝わってはじめて動作を開始する。
したがって、主記憶１１８への書き込みがキャッシュメ
モリ３０２のみに反映され、キャッシュメモリ３０２か
らそのアドレス領域が追い出されるまでその書き込み内
容が主記憶１１８に反映されないストアイン方式では、
ミラーページアクセスに関する処理効率および使い勝手
が低下する。ストアイン方式を採る場合、主記憶１１８
のミラーページへの書き込みが発生する度（あるいは一
定のタイミング毎）に、ソフトウェア手段によってキャ
ッシュメモリ３０２の内容を主記憶１１８に反映させる
コマンドを発行することで、本発明のミラーページ機構
を活用できる。

【００３８】次に、２つ目の想定について説明する。ネ
ットワークインタフェース１０８からの主記憶書き込み
要求は、命令プロセッサ１０１の動作とは独立に行われ
る。したがって、ネットワークインタフェース１０８か
らの主記憶書き込み要求が対象とするアドレス領域が、
命令プロセッサ１０１に付随するキャッシュメモリ３０
２に存在した場合、通常、命令プロセッサ１０１では、
このネットワークインタフェース１０８からの主記憶書
き込みを知ることができず、古い情報を参照し続けるこ
とになる。この問題は、従来のメッセージパッシングに
おけるメッセージ受信に関しても存在した。例えば、日
立の並列計算機ＳＲ２２０１では、ストレージコントロ
ーラ１０２内のデータ転送インタフェース１０７に相当
する部分で、メッセージ受信に伴う主記憶書き込み要求
に対して、対象とするアドレス領域に関して自動的にキ
ャッシュ制御コマンドを命令プロセッサ１０１に対して
発行する機構を実現してこの問題を解消している
（（社）電子情報通信学会・信学技報ＣＰＳＹ９６−４
７「並列計算機ＳＲ２２０１の方式と評価」参照）。本
発明においても、同様の機構をデータ転送インタフェー
ス１０７が有し、ミラーページへの書き込み要求も含め
て、主記憶１１８への書き込み要求を受け付けると、命
令プロセッサ１０１に対して、書き込み要求が対象とす
るアドレス領域に関するキャッシュ制御コマンドを発行
することを想定した。ただし、この２点目の想定も、１
点目の想定同様、効率を気にしなければソフトウェア手
段で回避可能である。以上が、本発明に関わる実施の形
態である。

【００３９】（実施の形態１の変形例１）本発明の実施
の形態１では、同じ要素プロセッサ２０１のストレージ
コントローラ１０２とネットワークインタフェース１０
８の中に同じ構造でかつ同じ内容のミラーテーブル１０
５および１１５を有していた。本変形例１では、この２
つのミラーテーブルのうちネットワークインタフェース
１０８中のミラーテーブル１１５を用意しない場合の実
施の形態を述べる。図５を用いて本実施の形態を説明す
る。本実施の形態において、図１で説明した実施の形態
１と異なる部分は、ネットワークインタフェース１０８
内のミラー処理部５１４およびコマンド送出部５１０
と、ストレージコントローラ１０２内のデータ転送イン
タフェース５０７のみである。これ以外の部分は、実施
の形態１と全く同じである。動作的には、ミラー用ブロ
ードキャストメッセージをミラー処理部５１４が受理し
てから、ミラーページ処理に係わる主記憶１１８への書
き込み要求がデータ転送インタフェース５０７から発行
されるまでの動作および各動作ユニット間のインタフェ
ースが異なっている。本実施の形態では、以上の相違点
についてのみ記述する。

【００４０】ミラー処理部５１４は、ミラー用ブロード
キャストメッセージを受け取ると、ミラーグループｉ
ｄ、書き込み先ページ内相対アドレス、書き込みデー
タ、書き込みデータ長、書き込みバイトマークといった
情報をメッセージから取り出し、これらを組としてミラ
ー書き込み要求コマンドを生成する。ミラー書き込み要
求コマンドは、L５１８を介してコマンド送出部５１０
に伝わる。コマンド送出部５１０は、実施の形態１には
存在しなかったミラー書き込み要求コマンドを受け取
り、これをL５１３を介してストレージコントローラ１
０２内のデータ転送インタフェース５０７に伝える。こ
の点を除くと、コマンド送出部５１０の構成および動作
は、実施の形態１と同じである。データ転送インタフェ
ース５０７は、ミラー書き込み要求コマンドを受け取る
と、そのコマンドのパラメータであるミラーグループｉ
ｄ情報を取り出し、このｉｄ情報とミラーテーブル１０
５の有効な（有効ビットフィールド４０１が「有効」を
示している）エントリのｉｄフィールド４０３の値を照
合する。ｉｄが一致するエントリが存在しなかった場
合、そのミラー書き込み要求コマンドは当該要素プロセ
ッサ２０１を対象としたものでないと判断し、破棄す
る。ｉｄが一致するエントリが存在した場合、データ転
送インタフェース５０７は、そのエントリのアドレスフ
ィールド４０２からミラーページの先頭アドレスを取り
出し、ミラー書き込み要求コマンドのパラメータである
書き込み先ページ内相対アドレスと組み合わせて主記憶
書き込み要求のターゲットアドレスを決定し、このアド
レスとミラー書き込み要求コマンドのその他のパラメー
タである、書き込みデータ、書き込みデータ長、書き込
みバイトマークの各情報とを組み合わせて主記憶書き込
み要求を生成し、これをＬ１１０を介して主記憶アクセ
スインタフェース１０６に伝える。データ転送インタフ
ェース５０７の上記以外の構成および動作については実
施の形態１と同じである。ミラーページ機構に関する動
作フローについても、上記のとおり、ミラー用ブロード
キャストメッセージをミラー処理部５１４が受理してか
ら、ミラーページ処理に係わる主記憶１１８への書き込
み要求がデータ転送インタフェース５０７から発行され
るまでの部分が実施の形態１と異なるだけである。以上
が、本発明に関わる実施の形態１に対する変形例１であ
る。

【００４１】

【発明の効果】本発明によれば、分散メモリ方式の並列
計算機において、主記憶内容の共有を低コストで実現で
きる。また、主記憶内容の共有機構を提供したことで、
要素プロセッサ間の連携処理の効率向上や、適用アプリ
ケーションの拡大が可能となる。

【図面の簡単な説明】

【図１】本発明に係わるストレージコントローラおよび
ネットワークインタフェースの構成を示す図である。

【図２】本発明に係わるメッセージパッシング型の分散
メモリ方式並列計算機の概略構成を示す図である。

【図３】本発明に係わる要素プロセッサの概略構成を示
す図である。

【図４】本発明に係わるミラーテーブルの構成を示す図
である。

【図５】本発明に係わるストレージコントローラおよび
ネットワークインタフェースの他の構成を示す図であ
る。

【符号の説明】

１０１命令プロセッサ１０２ストレージコントローラ１０３命令プロセッサインタフェース１０４アドレス解析部１０５、１１５ミラーテーブル１０６主記憶アクセスインタフェース１０７、５０７データ転送インタフェース１０８ネットワークインタフェース１０９コマンド受信部１１０、５１０コマンド送信部１１１ミラー要求作成部１１２メッセージ送信・コマンド処理部１１３メッセージ受信部１１４、５１４ミラー処理部１１６パケット送信部１１７パケット受信部１１８主記憶２０１ａ〜２０１ｎ要素プロセッサ２０２相互結合網３０２キャッシュメモリ

Claims

【特許請求の範囲】

【請求項１】相互結合網で接続される複数の要素プロ
セッサを有し、該各要素プロセッサが個別に主記憶を所
有し、これを管理する分散メモリ方式をとる並列計算機
において、該要素プロセッサの記憶制御装置が、特定のアドレス領
域への主記憶書き込み要求を検出する機構を持ち、該要
素プロセッサの該記憶制御装置が、該特定アドレス領域
への主記憶書き込み要求を検出した際に、該書き込み要
求を主記憶に送出すると同時に、相互結合網へのインタ
フェース装置を介して、該書き込み要求を該要素プロセ
ッサから相互結合網に送出する機構を備えることを特徴
とする並列計算機。
【請求項２】請求項１記載の並列計算機において、前記要素プロセッサの記憶制御装置が、前記特定アドレ
ス領域への主記憶書き込み要求を検出するための該特定
アドレス領域の先頭アドレス値を登録した参照表を備え
ることを特徴とする並列計算機。
【請求項３】請求項２記載の並列計算機において、前記参照表は複数のエントリからなり、各エントリは、エントリの有効／無効を示すフィールド
と、前記特定アドレス領域の先頭アドレス値を示すフィ
ールドと、該特定アドレス領域に対応する識別名を示す
フィールドを有し、該識別名は、システム全体で一元的に管理され、同じ識
別名を有する特定アドレス領域を所有する該要素プロセ
ッサは、同グループとして定義され、該グループの同じ
識別名を有する特定アドレス領域は、該各要素プロセッ
サの主記憶上での存在するアドレスが異なっていても、
該識別名によって一意に認識され、該要素プロセッサの
記憶制御装置が前記特定アドレス領域への主記憶書き込
み要求を検出し、前記相互結合網へのインタフェース装
置を介して該書き込み要求を要素プロセッサ外に伝える
機構によって、該グループの同じ該識別名を有する全該
特定アドレス領域が同じ内容を維持するように制御され
ることを特徴とする並列計算機。
【請求項４】請求項１乃至請求項３のいずれかの請求
項記載の並列計算機において、前記要素プロセッサの記憶制御装置が前記特定アドレス
領域への主記憶書き込み要求を検出し、前記相互結合網
へのインタフェース装置を介して該書き込み要求を要素
プロセッサから相互結合網に送出する際に、該相互結合
網に接続される全該要素プロセッサを対象として放送メ
ッセージ機能を使用することを特徴とする並列計算機。
【請求項５】請求項４記載の並列計算機において、前記放送メッセージ機能を使用する際に、通常の放送メ
ッセージ機能と区別するために、該放送メッセージのメ
ッセージ形式の中に特殊モードビットフィールドを設
け、前記要素プロセッサの記憶制御装置が前記特定アドレス
領域への主記憶書き込み要求を検出し、前記相互結合網
へのインタフェース装置を介して該書き込み要求を該要
素プロセッサから該相互結合網へ送出する際には、該メ
ッセージの該特殊モードビットフィールドを有効化し、
該メッセージに主記憶への書き込みバイト位置を示す情
報、書き込み先領域での相対アドレス、前記識別名、書
き込みデータ、および、書き込みデータ長を登録するこ
とを特徴とする並列計算機。
【請求項６】請求項５記載の並列計算機において、前記相互結合網へのインタフェース装置は、複数のエントリからなり、各エントリはエントリの有効
／無効を示すフィールドと、前記特定アドレス領域の先
頭アドレス値を示すフィールドと、該特定アドレス領域
に対応する識別名を示すフィールドを持つ参照表を有
し、前記特殊モードの放送メッセージを受信した際に、該メ
ッセージ中の識別名情報を取り出し、該参照表から該識
別名が一致するエントリを探索し、一致するエントリが
存在しなければ、該メッセージを破棄し、一致するエン
トリが存在すれば、該エントリから該特定アドレス領域
の先頭アドレス値を読み取り、該メッセージ中の該書き
込み先領域での相対アドレス情報と組み合わせて書き込
みアドレスを作成し、その他、該メッセージ中の書き込
みデータ、書き込みデータ長、書き込みバイト位置を示
す情報を組み合わせて主記憶アクセス要求を作成し、こ
れを前記記憶制御装置に送出する機構を有することを特
徴とする並列計算機。
【請求項７】請求項５記載の並列計算機において、前記相互結合網へのインタフェース装置は、前記特殊モ
ードの放送メッセージを受信した際に、該メッセージか
ら主記憶への書き込みバイト位置を示す情報、前記書き
込み先領域での相対アドレス、前記識別名、書き込みデ
ータ、および、書き込みデータ長といった情報を取り出
し、これらを外部からの該特定アドレス領域への書き込
み要求として前記記憶制御装置に送出する機構を有し、前記記憶制御装置は、該外部からの特定アドレス領域へ
の書き込み要求を前記相互結合網へのインタフェース装
置から受け取ると、該要求中の識別名情報を取り出し、
該記憶制御装置が有する参照表から該識別名が一致する
エントリを探索し、一致するエントリが存在しなけれ
ば、該要求を破棄し、一致するエントリが存在すれば、
該エントリから該特定アドレス領域の先頭アドレス値を
読み取り、該要求中の書き込み先領域での相対アドレス
情報と組み合わせて書き込みアドレスを作成し、その
他、該要求中の書き込みデータ、書き込みデータ長、書
き込みバイト位置を示す情報を組み合わせて主記憶アク
セス要求を作成し、これを該主記憶に送出する機構を有
することを特徴とする並列計算機。
【請求項８】請求項１乃至請求項３のいずれかの請求
項記載の並列計算機において、前記要素プロセッサの記憶制御装置が前記特定アドレス
領域への主記憶書き込み要求を検出し、前記相互結合網
へのインタフェース装置を介して該書き込み要求を要素
プロセッサから該相互結合網へ送出する際に、特定のグ
ループとして定義された複数の要素プロセッサの総てを
対象とした放送メッセージの転送を行うグループ内放送
メッセージ機能を使用することを特徴とする並列計算
機。
【請求項９】請求項８記載の並列計算機において、該グループ内放送メッセージ機能を使用する際に、通常
のグループ内放送メッセージ機能と区別するために、該
グループ内放送メッセージのメッセージ形式の中に特殊
モードビットフィールドを設け、該要素プロセッサの該記憶制御装置が前記特定アドレス
領域への主記憶書き込み要求を検出し、前記相互結合網
へのインタフェース装置を介して該書き込み要求を該要
素プロセッサから該相互結合網へ送出する際には、該メ
ッセージの該特殊モードビットフィールドを有効化し、
該メッセージに主記憶への書き込みバイト位置を示す情
報、書き込み先領域での相対アドレス、前記識別名、書
き込みデータ、および、書き込みデータ長を登録するこ
とを特徴とする並列計算機。
【請求項１０】請求項９記載の並列計算機において、前記相互結合網へのインタフェース装置は、複数のエントリからなり、各エントリはエントリの有効
／無効を示すフィールドと、前記特定アドレス領域の先
頭アドレス値を示すフィールドと、該特定アドレス領域
に対応する識別名を示すフィールドを持つ参照表を有
し、前記特殊モードのグループ内放送メッセージを受信した
際に、該メッセージ中の識別名情報を取り出し、該参照
表から該識別名が一致するエントリを探索し、一致する
エントリが存在しなければ、該メッセージを破棄し、一
致するエントリが存在すれば、該エントリから該特定ア
ドレス領域の先頭アドレス値を読み取り、該メッセージ
中の該書き込み先領域での相対アドレス情報と組み合わ
せて書き込みアドレスを作成し、その他、該メッセージ
中の書き込みデータ、書き込みデータ長、書き込みバイ
ト位置を示す情報を組み合わせて主記憶アクセス要求を
作成し、これを前記記憶制御装置に送出する機構を有す
ることを特徴とする並列計算機。
【請求項１１】請求項９記載の並列計算機において、前記相互結合網へのインタフェース装置は、前記特殊モ
ードの放送メッセージを受信した際に、該メッセージか
ら主記憶への書き込みバイト位置を示す情報、前記書き
込み先領域での相対アドレス、前記識別名、書き込みデ
ータ、および、書き込みデータ長といった情報を取り出
し、これらを外部からの該特定アドレス領域への書き込
み要求として前記記憶制御装置に送出する機構を有し、前記記憶制御装置は、該外部からの特定アドレス領域へ
の書き込み要求を前記相互結合網へのインタフェース装
置から受け取ると、該要求中の識別名情報を取り出し、
該記憶制御装置が有する参照表から該識別名が一致する
エントリを探索し、一致するエントリが存在しなけれ
ば、該要求を破棄し、一致するエントリが存在すれば、
該エントリから該特定アドレス領域の先頭アドレス値を
読み取り、該要求中の書き込み先領域での相対アドレス
情報と組み合わせて書き込みアドレスを作成し、その
他、該要求中の書き込みデータ、書き込みデータ長、書
き込みバイト位置を示す情報を組み合わせて主記憶アク
セス要求を作成し、これを該主記憶に送出する機構を有
することを特徴とする並列計算機。
【請求項１２】それぞれが主記憶を有する複数のプロ
セッサと、該複数のプロセッサを相互接続する相互結合
網とを有する並列計算機において、該プロセッサの記憶装置は、特定領域への主記憶書き込み要求を検出する機構と、該特定領域への主記憶書き込み要求を検出した際に、該
書き込み要求を主記憶および該相互結合網へ送出する機
構と、該書き込み要求を該相互結合網から伝えられた際に、該
伝えられた書き込み要求に従って、該書き込み要求を伝
えられたプロセッサの主記憶の特定領域を、該書き込み
要求を送信したプロセッサの主記憶の特定領域と同じ内
容にする機構とを有することを特徴とする並列計算機。
【請求項１３】請求項１２記載の並列計算機におい
て、前記並列計算機は、前記特定領域と対応する識別子
を有し、前記記憶制御装置は、該識別子を参照して、前記書き込
み要求の送信側の主記憶の特定領域の内容と該書き込み
要求の受信側の主記憶の特定領域の内容を同じにし、前記各プロセッサの主記憶上での該特定領域は任意の主
記憶のアドレスであることを特徴とする並列計算機。