JP3200757B2 - 並列計算機の記憶制御方法および並列計算機 - Google Patents

並列計算機の記憶制御方法および並列計算機

Info

Publication number
JP3200757B2
JP3200757B2 JP28740393A JP28740393A JP3200757B2 JP 3200757 B2 JP3200757 B2 JP 3200757B2 JP 28740393 A JP28740393 A JP 28740393A JP 28740393 A JP28740393 A JP 28740393A JP 3200757 B2 JP3200757 B2 JP 3200757B2
Authority
JP
Japan
Prior art keywords
cache
data
line
directory
main memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28740393A
Other languages
English (en)
Other versions
JPH07121493A (ja
Inventor
俊明 垂井
直伸 助川
啓明 藤井
克佳 北井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP28740393A priority Critical patent/JP3200757B2/ja
Priority to US08/328,759 priority patent/US5606686A/en
Publication of JPH07121493A publication Critical patent/JPH07121493A/ja
Application granted granted Critical
Publication of JP3200757B2 publication Critical patent/JP3200757B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0813—Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17356—Indirect interconnection networks
    • G06F15/17368—Indirect interconnection networks non hierarchical topologies
    • G06F15/17393—Indirect interconnection networks non hierarchical topologies having multistage networks, e.g. broadcasting scattering, gathering, hot spot contention, combining/decombining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/25—Using a specific main memory architecture
    • G06F2212/254—Distributed memory
    • G06F2212/2542—Non-uniform memory access [NUMA] architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Multi Processors (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は多数台のプロセッシング
・ユニットからなる並列計算機に係り、特に、主記憶を
各プロセッシング・ユニットに分散配置した並列計算機
の記憶制御方法および並列計算機に関する。
【０００２】
【従来の技術】計算機性能の飛躍的向上に関して、多数
台のプロセッシング・ユニットを並列動作させる、並列
計算機が有望視されている。以下ではプロセッシング・
ユニットを略してＰＵと呼ぶ。こうした並列計算機で
は、複数のＰＵ間でデータを共有するためにプロセッサ
間で共有メモリをもつ。さらに、データのアクセスを高
速化するために、各ＰＵには共有データをキャッシング
するためのキャッシュを設ける。そこで、ＰＵ間でキャ
ッシュの一貫性を保つための回路が必要になる。並列Ｐ
Ｕ間でキャッシュの一貫性を保つために、従来広く用い
られた方法としては、ＰＵ間を共有バスにより結合し
た、ＴＣＭＰ（Ｔｉｇｈｔｌｙ−Ｃｏｕｐｌｅｄ Ｍｕ
ｌｔｉ−Ｐｒｏｃｅｓｓｏｒｓ）方式が有る。共有バス
上にキャッシュの一貫性を取るためのコマンドをブロー
ドキャストすることにより、システム全体のキャッシュ
を容易にコントロールすることができる。例えば共有さ
れたデータが変更された場合は、データが変更されたこ
とをバスを通じてすぐに全ＰＵに通知することができ
る。しかし、同方式では、接続可能なＰＵの数が共有バ
スのスループットにより制限されるため、拡張性に乏し
く、高々２０台程度のＰＵしか接続することが出来な
い。
【０００３】上記の問題を解決し、拡張性に富んだ共有
メモリシステムを実現するするために、特開平５ー８９
０５６等において物理分散論理共有メモリ（以下では分
散共有メモリもしくはＤＳＭと略す）が提案されてい
る。ＤＳＭにおいては主記憶は各ＰＵに分散しておか
れ、また、ＰＵ間を共有バスではなく多段結合網などの
ネットワークにより結合することにより、ＰＵ数に見合
ったネットワークスループットを提供し、接続可能なＰ
Ｕ数の制限をなくす事が出来る。しかし、ＰＵ間をネッ
トワークにより結合したため、全ＰＵにキャッシュ一貫
性のためのコマンドをブロードキャストをすることは、
多大な手間がかかるばかりか、ネットワークトラフィッ
クの無用な増大を招くため得策ではない。従って、キャ
ッシュ一貫性を保持するためのコマンドを、全てのＰＵ
にブロードキャストするのではなく、実際に必要とする
ＰＵにのみ送付する機能が必須である。従来提案された
並列計算機のＤＳＭによる主記憶制御装置は「Ｔｈｅ
Ｓｔａｎｆｏｒｄ Ｄａｓｈ Ｍｕｌｔｉｐｒｏｃｅｓ
ｓｏｒ，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ，Ｍａｒｃｈ １
９９２ ｐｐ６３〜７８」に示されるように、各ＰＵに
おかれた主記憶装置の各ラインに対応し、そのラインが
どのＰＵにキャッシングされているか（どのＰＵがキャ
ッシュ上にコピーを持っているか）を示す為の専用のメ
モリ（ディレクトリ）を設ける。図２に従来のディレク
トリタイプのＤＳＭの構成を示す。図では１６ＰＵのシ
ステムにおいて、主記憶の各ライン毎にキャッシングし
ているＰＵを１６ビットのビットパターンで記憶する。
共有データが変更された場合など、キャッシュ一貫性を
保持するためのコマンドを送出することが必要になった
場合は、コマンドは一旦主記憶に送られる。その後、主
記憶の制御回路は、主記憶に付随するディレクトリが指
し示すＰＵに対して当該コマンドを送付する。同時に、
ディレクトリの内容の更新も行われる。あるデータに対
して書き込みが起ったときにはディレクトリのビットが
１となっているＰＵ全てに無効化コマンドが出される。
その結果、キャッシュ上のコピーは全て消去される。例
えば図２の０番地に書き込みが起った場合は、ＰＵ１，
７，１３に無効化コマンドが送られる。また、キャッシ
ングされているデータに対して読み出しが起った場合
は、読み出しコマンドはディレクトリが指し示すＰＵへ
送られ、そのＰＵのキャッシュからデータが供給され
る。ディレクトリを用いてキャッシュを管理することに
より、キャッシュ一貫性を保持するためのコマンドは、
当該ラインをキャッシングしているＰＵのみに送られ、
そのほかの無関係なＰＵには送る必要はないため、全Ｐ
Ｕへのブロードキャストは不要である。従って、ＤＳＭ
のにおけるネットワークで接続されたＰＵの間でのキャ
ッシュの一貫性の管理を効率的に行うことが出来る。
【０００４】
【発明が解決しようとする課題】上記従来技術では、主
記憶装置の各ライン毎に、そのラインをどのＰＵがキャ
ッシングしているかを示すディレクトリを置かなければ
ならないが、ディレクトリのために使用されるメモリー
量が多いという問題点が有る。例えば上記の従来例では
１６台のＰＵそれぞれについて、キャッシングの有無を
ビットパターンで記憶している。その場合、１ワード８
バイト、１ライン４ワードのマシンの場合、キャッシュ
１ライン（４×８×８＝２５６ビット）毎に１６ビット
のディレクトリが必要であるため、全体では主記憶容量
の１／１６のディレクトリが必要と成り、ハードウェア
コストの増加につながる。ＰＵの台数が多い計算機の場
合はディレクトリのコストの問題はさらに大きくなる。
例えば２５６ＰＵを持った計算機の場合、上記のように
ディレクトリをビットパターンで持った場合、キャッシ
ュ１ライン毎に２５６ビットものディレクトリが必要と
なる。これは、主記憶の容量に匹敵する。この問題をあ
る程度解決するためにキャッシングしているＰＵ番号を
ビットパターンで覚えるのではなく、ＰＵ番号の配列の
形で覚える方法が提案されている。この方式では、ＰＵ
番号の配列は８要素程度に制限する。この方式をリミテ
ッドポインタ方式（以下では単にポインタ方式）と呼
ぶ。一般に１ラインを共有するＰＵの数はそれほど多く
ないので、高々８個程度のポインタを持てばほとんどの
場合十分ではある。ただしこの方法だと、用意されてい
たポインタを全て使い切ってしまった場合、 （１）ポインタの最大値を越えないように一番昔にキャ
ッシングしたものから順に無効化する。 （２）ディレクトリ管理をやめ、全ＰＵへのブロードキ
ャストを行う。 等の対策が必要になり、性能低下を招く。ポインタ方式
の場合でも、２５６ＰＵで８個のポインタを持った場
合、８×８＝６４ビットのポインタが必要であり、更に
ポインタの使用／不使用を表すビットが８ビット必要で
あるため、合計７２ビットものポインタが必要である。
これはビットパターンで持った場合の２５６ビットより
は小さいが、ラインサイズに対して無視できない値であ
る。以上のように従来のディレクトリ方式によりＤＳＭ
を実装する場合、ディレクトリとして使用されるメモリ
量が、主記憶のデータを記憶するメモリ量と同程度必要
となり、ハードウェアコストの著しい増大を招く。本発
明の目的は、ディレクトリのためのメモリ量の増大無し
に、ディレクトリ方式によるＤＳＭを実現することにあ
る。
【０００５】
【課題を解決するための手段】各プロセッシングユニッ
トの主記憶の各々のデータラインに対応し、該ラインが
自または他の何れかのプロセッシングユニットのキャッ
シュに登録されているか否かを示す情報を付与し、ライ
ンのデータがいずれかのプロセッシングユニットのキャ
ッシュに登録された場合には、上記情報を登録状態と
し、該ラインのデータが記憶されていた主記憶領域にデ
ータに代えて該ラインのデータがどのプロセッシングユ
ニットのキャッシュに登録されているかを示すディレク
トリ情報を記憶させる。そして、該ラインのデータをキ
ャッシュに登録しているプロセッシングユニットの組み
合せが変更された場合には、該主記憶上に記憶されたデ
ィレクトリ情報を現在該ラインのデータをキャッシュに
登録しているプロセッシングユニットを示すディレクト
リ情報に変更する。また、該ラインのデータをどのプロ
セッシングユニットもキャッシュに登録しなくなった場
合には、ディレクトリ情報に代えてキャッシュ上に登録
されたデータを主記憶に書き戻すようにしている。ま
た、キャッシュに登録したラインが、キャッシュの空き
領域が無くなったことによりリプレースされた場合もし
くはプロセッサから明示的な命令等によりキャッシュか
ら追い出される場合に、キャッシュの該ラインのアドレ
スとキャッシュ上に登録されていたデータを主記憶に送
付し、主記憶に記憶された該ラインに相当するディレク
トリを読み出し、該ディレクトリを調べて、該ラインの
データをキャッシュ上に登録していたプロセッシングユ
ニットが２以上有った場合にはディレクトリの内容のみ
を更新し、１のみであった場合にはキャッシュから送ら
れてきたデータをディレクトリに代えて主記憶に書き戻
すようにしている。また、各プロセッシングユニットの
主記憶の各々のデータラインに対応し、該ラインが読み
出し専用であるか否かを示す情報を付与し、読み出し専
用でないラインのデータがキャッシュ上に登録された場
合にはディレクトリ情報を作成して該ラインのデータが
記憶されていた主記憶領域にデータに代えてディレクト
リ情報を記憶させ、読み出し専用であるラインのデータ
がキャッシュ上に登録された場合にはディレクトリ情報
の作成を行わないようにしている。
【０００６】
【作用】上記の手段により、主記憶上のデータラインを
キャッシングしているプロセシングユニットを示すディ
レクトリが主記憶にデータに代えて記憶されるため、デ
ィレクトリ用に新たにメモリを用意する必要は無い。従
って、ディレクトリのハードウェアコストの問題を回避
することが出来る。ライトバック型のキャッシュの場
合、最新のデータは常にキャッシュ上に置かれ、主記憶
上にはキャッシングされる前の古い値しか入っていない
ため、通常は主記憶に残っているデータは不要である。
従って、データがキャッシングされた場合、主記憶に残
っているデータを消去し、ディレクトリとして使用する
ことが出来る。データの読み出しが行われた場合にはキ
ャッシングしているプロセシングユニットが最新のデー
タを供給することになる。キャッシングされているプロ
セシングユニット組合せが変更された場合には、各キャ
ッシュから主記憶に変更が通知され、主記憶上のディレ
クトリが常に最新のキャッシュの状態を反映するように
変更される。その結果キャッシングしているプロセシン
グユニットが残り１つの場合にキャッシュ上のデータが
追い出される場合には、キャッシュから主記憶へデータ
の書き戻しが行われ、主記憶上のデータが復旧される。
以上の制御によりデータがキャッシングされている間の
み、主記憶をディレクトリとして用いることが出来る。
主記憶上にディレクトリを作成する場合、主記憶上のデ
ータは消されてしまう。その結果、もともと主記憶にあ
ったデータに変更がない場合にも、キャッシュから主記
憶への書き戻しが必要になる。特に、主記憶上のデータ
が読み出し専用であった場合には、以上述べたキャッシ
ングによるディレクトリの作成や、データの書き戻しな
どの処理は無駄である。従って、主記憶の各データライ
ンに対応し、そのデータラインが読み出し専用であるこ
とを示すビットを設け、読み出し専用ビットが立ってい
るデータラインがキャッシングされた場合には、主記憶
上のディレクトリの作成は行わず、主記憶上のデータを
残したままキャッシングを行う。これにより、書き込み
が行われない、すなわち読み出し専用であるデータライ
ンに対する無駄なディレクトリ管理のオーバヘッドを削
減することができる。
【０００７】
【実施例】図１、図３〜１９に本発明の一実施例を示
す。図１は２５６台のＰＵからなる並列マシンである。
図において１００、１１０はＰＵ、８００はＰＵ間を結
ぶネットワークである、ネットワークの形状は任意であ
り、多段結合網、メッシュなど一般のネットワークを使
用できる。ここではＰＵ０のみについて内部の詳細を記
す。他のＰＵも同一の内部構成を持つ。ＰＵ０の内部で
１０はＣＰＵ、３０はキャッシュ、２０はキャッシュ制
御回路、４０が主記憶装置、５０が主記憶制御回路、６
０がネットワーク入出力回路である。ＣＰＵからはアド
レスバス２３、コマンド１１、データバス２４がキャッ
シュ制御回路に入力され、ＣＰＵのメモリアクセスをキ
ャッシュ制御回路に伝える。キャッシュ３０内にはデー
タのラインを記憶するためのデータアレイ３５、キャッ
シュに登録されたラインの上位アドレスを記憶するため
のアドレスアレイ３１、各ラインのキャッシュ状態を記
憶するための状態アレイ３２、３３、３４を持つ。キャ
ッシュ内の各メモリは、それぞれコラムアドレス２３ａ
を用いてアクセスされる。キャッシュはダイレクトマッ
プ型のキャッシュである。キャッシュ制御回路２０の内
部では、２１がキャッシュ動作決定回路、２３がアドレ
スバス、２４がデータバス、２２は自ＰＵのＰＵ番号を
記憶するためのレジスタ、２５がキャッシュがネットワ
ークに出すコマンドの送信先を選択するためのセレクタ
である。２１のキャッシュ動作決定回路の内部は複雑で
あるので図３に詳細を記す。
【０００８】主記憶装置４０の中では、４１はデータを
記憶するためのメモリ、４２、４３は主記憶のライン毎
に該当するラインの状態を表すための主記憶状態ビット
である。主記憶のメモリは、４２、４３で表される主記
憶の状態に応じて、データに代えてディレクトリ情報を
格納するために用いられる場合もある。主記憶制御回路
５０はネットワーク等からのコマンドを受け、主記憶を
アクセス、管理するための回路であり、アドレスバス５
３、データバス５４、ディレクトリ情報をメンテナンス
するためのディレクトリ操作回路５２、及び主記憶動作
決定回路５１、主記憶がネットワークに出すコマンドの
宛先を選択するためのセレクタ５５より構成される。主
記憶動作決定回路５１、ディレクトリ操作回路５２の内
部は複雑であるため、図７、図８に詳細を記す。ネット
ワーク入出力回路は、キャッシュ制御回路２０、主記憶
制御回路５０の入出力する信号と、ネットワークコマン
ドとの間でのフォーマット変換、及び実際のパケット入
出力を行うための回路であり、キャッシュ向きのコマン
ドパケット分解回路６１、キャッシュからのコマンドパ
ケット組立回路６２、主記憶向きのコマンドパケット分
解回路６３、主記憶からのコマンドパケット組立回路６
４、及び、ネットワークへのパケット送信回路６６、受
信回路６５から構成される。コマンドの組立／分解回路
が主記憶向け、キャッシュ向けと別々に用意されている
理由は主記憶、キャッシュが独立に動作するためであ
る。また、パケット送信回路６６と受信回路６５の間に
は、ＰＵ内の主記憶とキャッシュの間のコマンドをネッ
トワークを介さずに転送するためのバイパス回路６６ｂ
がおかれる。
【０００９】図３はキャッシュ動作決定回路２１の詳細
図である。図３において、２１０はキャッシュアドレス
アレイ３１からのキャッシュアドレス３１ａと、アクセ
スアドレスの上位アドレス２３ｂを比較し、キャッシュ
ヒットを判定するための比較器である。２１１はヒット
信号２１０ａ、キャッシュ状態３２ａ、３３ａ、３４ａ
及びＣＰＵコマンド１１に基づきリプレース時のキャッ
シュの書き戻しの必要性を判断する回路である。２１１
により書き戻しが必要となった場合は２１４のＦＬコマ
ンド発生回路により書き戻しが行われる。２１２は上記
の条件から主記憶アクセス等のためのコマンドを発生す
るための回路、２１３はキャッシュの次状態を決定する
ための回路である。ラッチ２１５、２１６はキャッシュ
が外部へのデータ読み出しの返答を待ち合わせているこ
とを示すラッチであり、それぞれＦコマンドＦＩコマン
ドの返答を待ち合わせていることを示す。回路、２１１
〜２１３は組合せ回路で構成されており、入力と出力の
関係はそれぞれ図４〜図６で規定される。図３のキャッ
シュ動作決定回路２１の動作は詳細に後述する。
【００１０】図７は主記憶動作決定回路５１の詳細図で
ある。図７において、５１０はディレクトリ操作回路５
２から出力されたアクセスＰＵ数５２ａをデコードする
ためのデコーダ、５１２はコマンドパケット分解回路６
３より出力される外部からのアクセスコマンド６３ａの
デコーダである。ゲート５１１ａ〜５１１ｄ、５１３ａ
〜５１３ｉは、外部コマンドのデコード結果５１２ａ〜
５１２ｄ、アクセスＰＵ数のデコード結果５１０ａ〜５
１０ｃ及び主記憶の状態ビット４３ａ、４２ａより、主
記憶の動作条件５１３ｊ〜５１３ｒを判定するためのゲ
ートである。上記の各条件における、主記憶の実際の動
作は、条件判断を伴う繰返し等を含むため、純粋な組合
せ回路により実現するのは困難であると考えられる。従
って、この実施例においては主記憶の動作は主記憶制御
プロセッサ５１４により行われる。図９〜図１４に主記
憶制御プロセッサ５１４のフローチャートを示す。図７
の主記憶動作決定回路５１の動作の詳細は後述する。
【００１１】図８はディレクトリ操作回路５２の詳細図
である。図８において、５２３はディレクトリ情報の記
憶、演算を行うためのワークレジスタ（ＷＲＥＧ）であ
る。ワークレジスタはデータバスを介し、主記憶上のメ
モリと１ライン分のディレクトリ情報をやり取りする。
５２１、５２２はワークレジスタのビットセット／ビッ
トクリアを行うための回路、５２４は前記のビット演算
を行うビット位置を指定するためのデコーダ、５２５は
ワークレジスタの１が立っているビット位置を示すため
のプライオリティエンコーダである。５２５において、
複数のビットが立っていた場合はＬＳＢの方が優先して
出力される。プライオリティエンコーダの出力は主記憶
がディレクトリ操作のためのコマンドを出力する際のア
クセス先ＰＵ番号５２ｃとして用いられる。５２６はワ
ークレジスタがオール０であることを判定するための回
路である。５２６の出力ワークレジスタ０信号５２ｂ
は、主記憶制御プロセッサ５１４の分岐条件として使わ
れる。５２０はデータバス上の１であるビットの数を数
え、ディレクトリ上のキャッシングしているＰＵの数を
表すアクセスＰＵ数信号５２ａを出力するための回路で
ある。図８のディレクトリ操作回路５２の動作の詳細は
後述する。図１５は図７〜図１４で表される、主記憶制
御回路５０の動作の概要を１枚の表にまとめたものであ
る。
【００１２】図１６は、本発明における、主記憶のビッ
ト構成を詳細に記したものである。図に示すように通常
は主記憶のメモリ４１は１ライン分のデータ（２５６ビ
ット）を記憶しているが、読み出し専用でないラインが
キャッシングされた場合（つまり、主記憶状態ビット４
２、４３の組合せが、ＲＯビットが０でＣビットが１の
場合）には、メモリ４１にはデータに代えて２５６ＰＵ
分のフルマップディレクトリ情報が記憶される。主記憶
のメモリ４１上の各ビットはＬＳＢから順にＰＵ０〜Ｐ
Ｕ２５５のキャッシュに該当するラインが記憶されてい
るかどうかを示す。１ならばデータは該当するＰＵにキ
ャッシングされており、０ならばキャッシングされてい
ない。この例ではディレクトリの構成方法としてフルマ
ップのビットパターンを用いたが、キャッシングしてい
るＰＵをエンコードされたＰＵ番号で表すポインター方
式を使用することもでき、同様の制御方式でディレクト
リ制御を行うことが可能である。図１９にポインタ方式
のディレクトリを用いた場合の主記憶のビット構成を示
す。図１９では、ディレクトリのエントリは１６個あ
り、各エントリは１５ビットのＰＵ番号、１ビットのエ
ントリの使用／未使用を表すビットより構成される。こ
の場合、ＰＵ数の最大値は３２７６８と大幅に多くのＰ
Ｕを扱うことが可能となる。ただし、ポインタ方式を使
用した場合には、１時にキャッシングするＰＵの数が１
６を越えないように無効化を行うなどの制御が必要にな
る。
【００１３】ネットワークパケットの形式を図１７に示
す。パケットには宛先ＰＵ番号７０１、パケット長を７
０２、コマンド７０３、アクセスアドレス７０４があ
る。そのほかにコマンドによってはそのラインをアクセ
スしているＰＵを表すためのアクセス元ＰＵ番号７０
５、アクセスラインのデータ７０６がおかれる。図１８
には本発明で説明される並列計算機のアドレスのビット
構成及びアドレスマップを示す。主記憶のアドレスの上
位１６ビットをそのアドレスを主記憶上に保持するＰＵ
番号を示すために使用する。その結果、各ＰＵに分散し
て配置されている主記憶全てをＣＰＵから直接アクセス
することが出来る、物理分散論理共有メモリ（分散共有
メモリ）システムを実現することができる。本実施例で
は主記憶の各ラインに対応し、そのラインがキャッシン
グされている事を示す状態ビット４２、データが読み出
し専用であることを示すビット４３を設け、読み出し専
用でないラインがキャッシングされている場合には、主
記憶のメモリ４１そのものの上にデータに代えてディレ
クトリ情報を記憶し、アクセス対象となるデータはキャ
ッシュ上のデータとし、ディレクトリ情報によりキャッ
シュ上のデータの写しを管理することに特徴が有る。
【００１４】先ず、図１、図１６、図１８を用いて本シ
ステムの動作の概略を述べる。図１８に本システムのア
ドレスのビット構成及びアドレスマップを示す。各ＰＵ
の主記憶は１つのアドレス空間に置かれる。これによ
り、各ＰＵは他のＰＵの主記憶も自ＰＵの主記憶と同様
にアクセスすることが出来る。ＣＰＵは６４ビットのア
ドレスを持ち、上位１６ビットはＰＵ番号を表し、下位
４８ビットでＰＵ内のアドレスを表す。アドレスは、キ
ャッシュにおいては、上位アドレス（ＰＵ番号を含む）
とコラムアドレスに分けられる（図では１Ｍバイトのキ
ャッシュを持った場合のアドレス構成であり、コラムア
ドレスは２０ビットである）。この場合、ＰＵ数の最大
値は６５５３６、ＰＵ内メモリは最大２５６Ｔ（テラ）
バイトまで実装できる。ただし、常にこれらの全てが実
装される訳ではない。本システムでは各ＰＵはダイレク
トマップ型のキャッシュを持つ。本実施例においては、
キャッシュ間のデータ一貫性は無効化（書き込みが起っ
たデータの他のキャッシュ上のコピーを消すこと）によ
り保持される。ただし、無効化のかわりに他のＰＵのキ
ャッシュ上のデータを最新のデータを表すように更新す
る方式を用いたキャッシュにおいても、本発明のディレ
クトリ制御方式は実現可能である。キャッシュは自ＰＵ
内の主記憶のデータのみならず、他ＰＵの主記憶のデー
タも保持することが可能である。
【００１５】ＣＰＵ１０がメモリアクセスを行った場
合、先ずキャッシュ制御回路２０にコマンド、アドレ
ス、データ（書き込み、コンペーアーアンドスワップの
場合）が伝達される。ＣＰＵからのアクセスコマンドは
以下の４種である。 ・読み出し（Ｒｅａｄ） ・書き込み（Ｗｒｉｔｅ） ・コンペアーアンドスワップ（Ｃ／Ｓ） 読み出しと新データの書き込みを不可分に実行する。
（クリティカルセクションへのアクセスに使用する） ・データ書き戻し（Ｆｌｕｓｈ） キャッシュ上のデータをメモリに書き戻す。ＣＰＵから
のアクセスを受けたキャッシュは、キャッシュアドレス
アレイ３１の検索を行い、キャッシュのヒット／ミスの
判定を行い、さらにキャッシュ状態３２、３３、３４の
値に応じキャッシュデータアレイ３５上のデータのアク
セスを行う。さらに、主記憶へのコマンドが必要かどう
かの判定が行われ、キャッシュミス、共有領域への書き
込みに伴う無効化などにより、主記憶へのコマンドが必
要な場合はネットワーク８００を通じてコマンドが送出
される。キャッシュは各キャッシュラインに対し、Ｅ
（排他）３２、Ｓ（共有）３３、Ｒ（読み出し専用）３
３の３ビットにより下記の４状態を表す。 ・Ｅ：（Ｅｘｃｌｕｓｉｖｅ） キャッシュ上のデータは排他であり、他のＰＵのキャッ
シュ上にコピーはない。本状態のときはＥビットがオン
になる。 ・Ｓ：（Ｓｈａｒｅｄ） キャッシュ上のデータは共有状態であり、他のＰＵのキ
ャッシュ上にコピーが存在する可能性が有る。本状態の
ときはＳビットがオンになる。 ・Ｒ：（Ｒｅａｄ ｏｎｌｙ） キャッシュ上のデータは読み出し専用である。本状態の
ときはＲビットがオンになる。 ・Ｉ：（Ｉｎｖａｌｉｄ） キャッシュ上のデータは無効である。上記の３ビットが
全てオフの場合Ｉ状態になる。 Ｅ状態の場合はキャッシュ上のデータは自由に読み書き
できるのに対し、Ｓ状態のデータに書き込みが起った場
合は、他のキャッシュ上のコピーを無効化することによ
りキャッシュ一貫性を保持する必要が有る。
【００１６】キャッシュからのコマンドを受け取った主
記憶は図１７に示したコマンドのアクセスアドレスフィ
ールド７０４に格納されたアクセスアドレスにより主記
憶のアクセスを行い、主記憶管理ビット４２（Ｃビッ
ト）、４３（ＲＯビット）の値に応じ、メモリ４１上の
ディレクトリ情報の読み出し、データのアクセス等を行
う。その後、ディレクトリ操作回路５２を用いてディレ
クトリの値を更新する。更に、他ＰＵのキャッシュ上の
データの読み出し、無効化のために、他のＰＵのキャッ
シュへのコマンドが必要な場合はネットワーク８００を
通じて他ＰＵのキャッシュにコマンドが送出される。
【００１７】図１６にＣビット（４２）、ＲＯ（４３）
ビットにより示される主記憶の状態を示す。Ｃビット、
ＲＯビットは主記憶の各ラインに対応しておかれ、Ｃビ
ットは主記憶上のラインがキャッシングされていること
を示し、ＲＯビットは主記憶上のラインは読み出し専用
であることを示す。Ｃビットは主記憶制御回路によりセ
ット／リセットされる。ＲＯビットはＣＰＵの特殊命令
により、セット／リセットされる。従って、主記憶のラ
イン毎に読み出し専用である事をソフトウェアで設定す
ることが出来る。通常（ＲＯビットが０のとき）は、主
記憶のラインがキャッシングされていない場合（Ｃビッ
トが０の場合）は主記憶（４１）上にはデータがおかれ
る。それに対し、データがキャッシングされている場合
（Ｃビットが１の場合）は主記憶のラインにはどのＰＵ
がデータをキャッシングしているかを示すビットパター
ン（ディレクトリ）がおかれる。主記憶の各ビットはお
のおのＰＵ０〜ＰＵ２５５に対応し、ビットが１の場合
は該当するＰＵがデータをキャッシングしていることを
示し、ビットが０の場合には該当するＰＵはデータを持
っていないことを表す。Ｃビットが１の場合には主記憶
上にはデータはおかれないため、該当するデータはキャ
ッシュ上にのみおかれることになる。この場合、主記憶
コントローラは、ディレクトリ情報を利用し最新データ
の読み出し、キャッシュ上のデータの無効化などを行
う。それに対してラインが読み出し専用のとき（ＲＯビ
ットが１のとき）は、キャッシングされた場合もディレ
クトリの作成は行われない。従って、キャッシングの有
無にかかわらず、主記憶はデータを保持する。主記憶か
ら各キャッシュに対して出されたコマンドを受け取った
キャッシュは、図１７に示したコマンドパケットのアド
レスフィールド７０４に格納されたアクセスアドレスに
よりキャッシュ３０へのアクセスを行い、無効化、デー
タの読み出しなど必要とされる動作を行う。さらに、デ
ータの返送などが必要な場合はさらにネットワークを通
じたコマンドの転送が行われる。これら主記憶制御回路
５０、キャッシュ制御回路２０の動作は後に詳細に説明
する。
【００１８】ネットワーク上のコマンドのフォーマット
を図１７に示す。図は２バイト幅のネットワークにおけ
るパケット形式である。アドレス／データの１ワードは
８バイトであり、１ラインは４ワード（３２バイト）で
ある。パケットには ・宛先ＰＵ番号７０１ ・パケット長７０２ ・コマンド７０３ ・アクセスアドレス（Ａ）７０４ ・アクセス元ＰＵ番号（Ｒ）７０５ 主記憶アクセスを発行したＰＵの番号 ・データライン（ＤＬ）７０６ アクセスされたアドレスを含む１ライン分のデータ が含まれる。このうちＲ、ＤＬのフィールドはオプショ
ンであり、必要なコマンドにのみ付けられる。
【００１９】ネットワーク上のコマンドは大きく分けて ・キャッシュから主記憶へのコマンド ・主記憶からキャッシュへのコマンド ・キャッシュ間のコマンド の３種に大別され、それぞれ以下に示すコマンドを持
つ。 （１）キャッシュから主記憶へのコマンド Ｆ（Ａ，Ｒ）：（Ｆｅｔｃｈ） アドレスＡを含むラインのデータの読み出し、Ｒ番ＰＵ
に返送する。このコマンドは、後述するＤＡＴＡコマン
ド等によるラインの転送を必要とする。 Ｉ（Ａ，Ｒ）：（Ｉｎｖａｌｉｄａｔｅ） Ｒ番ＰＵ以外の全てのＰＵのキャッシュ上の、アドレス
Ａを含むラインのデータを無効化する。 ＦＩ（Ａ，Ｒ）：（Ｆｅｔｃｈ＆Ｉｎｖａｌｉｄａｔ
ｅ） アドレスＡを含むラインのデータを読み出し、Ｒ番ＰＵ
に返送する。さらに、Ｒ番ＰＵ以外の全てのＰＵのキャ
ッシュ上のアドレスＡを含むラインのデータを無効化す
る。このコマンドもＤＡＴＡコマンド等によるラインの
転送を必要とする。 ＦＬ（Ａ，ＤＬ，Ｒ）：（Ｆｌｕｓｈ） キャッシュからアドレスＡを含むラインのデータ（Ｄ
Ｌ）を追い出したことを示す。他にキャッシングしてい
るＰＵが無い場合には主記憶にデータを書き戻す。 （２）主記憶からキャッシュへのコマンド ＲＥＱ（Ａ，Ｒ）：（Ｒｅｑｕｅｓｔ） キャッシュ上のアドレスＡを含むラインをＲ番ＰＵに供
給する要求。 ＩＮＶ（Ａ，Ｒ）：（Ｉｎｖａｌｉｄａｔｅ） キャッシュ上のアドレスＡを含むラインを無効化する要
求。 ＲＥＱＩＮＶ（Ａ，Ｒ）：（Ｒｅｑｕｅｓｔ＆Ｉｎｖａ
ｌｉｄａｔｅ） キャッシュ上のアドレスＡを含むラインをＲ番ＰＵに供
給した後、該当するラインを無効化する要求。 ＥＸ（Ａ）：（Ｅｘｃｌｕｓｉｖｅ） キャッシュ上のアドレスＡを含むラインを排他状態にす
る要求。 ＤＡＴＡ（Ａ，ＤＬ）：（Ｄａｔａ） 主記憶からキャッシュに（読み出し専用でない）ライン
のデータを供給する。 ＤＡＴＡＲＯ（Ａ，ＤＬ）：（Ｄａｔａ ＲｅａｄＯｎ
ｌｙ） 主記憶からキャッシュに読み出し専用であるラインのデ
ータを供給する。 （３）キャッシュからキャッシュへのコマンド ＤＡＴＡＣＡＣＨＥ（Ａ，ＤＬ）：（Ｄａｔａ Ｃａｃ
ｈｅ） キャッシュから他のキャッシュにラインのデータを供給
する。このうち、ＤＡＴＡ、ＤＡＴＡＲＯ、ＤＡＴＡＣ
ＡＣＨＥはＦもしくはＦＩコマンドに対する応答である
（単独で出されることはない）。
【００２０】ここで、ネットワーク入出力回路６０に置
けるコマンドの取り扱について述べる。ネットワークコ
マンドはコマンドパケット組立回路６２、６４において
アドレス、コマンド等の各信号から、図１７に示す形式
に組み立てられた後、パケット送信回路６６に入力され
る。パケット送信回路では、パケットの宛先ＰＵ番号７
０１を調べ、自ＰＵに対するコマンドであると判定され
た場合にはネットワークを使わずに６６ｂを通じて、自
ＰＵのパケット受信回路６１に入力される。その他の場
合にはネットワーク８００を通じパケットに記された宛
先ＰＵに送られる。ネットワークから送られてきたコマ
ンドは先ずパケット受信回路６１に入力される。パケッ
ト受信回路ではパケット内のコマンドフィールド７０３
に記されたコマンドの種類により、キャッシュ制御回路
２０に送るべきコマンドか、主記憶制御回路５０に送る
べきコマンドかが判定される。具体的には上記（１）に
示されたコマンドは主記憶装置に、（２）（３）に示さ
れたコマンドはキャッシュに送られる。主記憶装置、キ
ャッシュに入力されたコマンドはコマンドパケット分解
回路６１、６３でアドレス、コマンドなどのそれぞれの
信号に分解される。例えば、キャッシュ側のコマンドパ
ケット分解回路６１では、パケット中のアドレス７０４
を２３、コマンド７０３を６１ａ、アクセス元ＰＵ番号
７０５を６１ｂ、データ７０６を２４に分解する。コマ
ンドパケット組立回路６２では宛先ＰＵ番号７０１を２
５ａから、コマンド７０３を２１ａから、アクセスアド
レス７０４を２３から、アクセス元ＰＵ番号７０５を２
２から、データライン７０６を２４から取り込み、組み
立てる（パケット長７０２はコマンド毎に決められてい
る）。主記憶側の回路でも同様の操作が行われる。
【００２１】次に図１、図３〜図６を用いて、キャッシ
ュ制御回路２０の動作を詳細に説明する。キャッシュ制
御回路２０は、ＣＰＵ１０もしくは他のＰＵの主記憶等
からネットワーク８００を通じて到来するコマンドを受
け（自ＰＵからのコマンドの場合も有る）、キャッシュ
の状態に応じた動作を行う回路である。キャッシュはＣ
ＰＵからのアクセス、外部からのアクセスの両方を受け
付ける。ＣＰＵ１０からのアクセスが行われた場合はＣ
ＰＵからのアドレスはアドレスバス２３に出され、コマ
ンドはコマンド信号１１を経由して伝えられる。また、
書込み、Ｃ／Ｓの場合はデータバス２４にデータが出力
される。外部からのアクセスが行われた場合はコマンド
パケット分解回路６１でアドレス２３、コマンド６１
ａ、アクセスＰＵ番号６１ｂ、データ２４が各バス等の
上に出される。キャッシュ動作決定回路２１はＣＰＵコ
マンド１１もしくは外部コマンド６１ａをトリガーとし
て動作を開始する。キャッシュアクセスが行われた場合
にはアドレスバス２３上にはアクセスアドレスが出力さ
れ、その１部であるコラムアドレス２３ａを用い、コラ
ムアドレス２３ａで指定される領域からキャッシュ３０
内のアドレスアレイ３１、状態アレイ３２、３３、３４
が読み出される。キャッシュ動作決定回路２１では先ず
Ｈｉｔ判定回路２１０において、アクセスアドレスの上
位アドレス２３ｂとアドレスアレイからのキャッシュア
ドレス３１ａの比較を行い、キャッシュのヒット／ミス
を決定する。それと同時にキャッシュの状態信号（３２
ａ、３３ａ、３４ａ）及び、ＣＰＵや外部からのコマン
ド信号（１１、６１ａ）もキャッシュ動作決定回路に入
力される。キャッシュ動作決定回路の内部では、キャッ
シュ書き戻し判定回路２１１、外部コマンド発生回路２
１２、次状態判定回路２１３の３つの回路でキャッシュ
の次の動作を決定する。これらの回路は組合せ回路であ
り、入力、出力の関係は図４、図５、図６で表されてい
る（図中の斜線は起り得ない組み合せを示す）。
【００２２】キャッシュ書き戻し判定回路２１１では、
現在アクセスするラインをリプレース（該当するコラム
アドレスのキャッシュに現在入っているラインの追い出
し）する際にキャッシュ上のデータを主記憶に書き戻す
必要があるかどうかが判定される。図４に示すように、
キャッシュヒットの場合は既に該当するアドレスはキャ
ッシュに登録されているのでリプレース、書き戻しは必
要ない。キャッシュミスの場合は、該当するコラムアド
レスに既に登録されているラインのキャッシュ状態によ
り書き戻しの要／不要を判断する。キャッシュ状態が
Ｅ、Ｓ、つまり有効なデータがキャッシュに登録されて
いた場合は、リプレース時に該当するラインの書き戻し
を行う必要がある。この書き戻しはデータが変更されて
いない場合にも必要である。なぜなら、ディレクトリ情
報の更新を行うとともに、ディレクトリとして使われて
いた主記憶上に最新のデータを復旧しなければならない
可能性が有るからである（データの復旧の必要がなくて
もディレクトリ情報を更新するため、最低限リプレース
されたアドレスは通知しなければならない）。それに対
して、キャッシュ状態がＲの場合は主記憶ではディレク
トリ制御は行われていないので、アドレスの通知、デー
タの書き戻しは必要はない。またキャッシュ状態がＩの
場合は書き戻し等は行う必要はない。キャッシュ書き戻
し判定回路２１１で書き戻しが必要であると判断された
場合には、信号２１１ａを通じてＦＬコマンド発生回路
２１４に通知され、外部コマンド出力信号２１ａを通じ
パケット組立回路６２に、ＦＬコマンドを送出すること
が指示される。その際、アドレスバス２３にはアドレス
アレイ３１からのキャッシュアドレス３１ａが出力さ
れ、ＦＬコマンドのアドレスとして用いられる。ＦＬコ
マンドのあて先はキャッシュアドレス中のＰＵ番号フィ
ールドで示されるＰＵである。このＦＬは次に述べる外
部コマンド発生回路からのコマンドに先だって出され
る。
【００２３】次に図５、図６を用いて外部コマンド発生
回路２１２及び次状態決定回路２１３の動作について述
べる。外部コマンド発生回路２１２は、ＣＰＵもしくは
外部からのコマンドと、アクセスされたキャッシュライ
ンの状態から、外部コマンド出力信号２１ａに出力する
コマンドを決定する回路である。外部コマンド出力信号
に出されたコマンドはパケット組立回路６２に伝えら
れ、ネットワーク上にコマンドが出力される。それに対
して次状態決定回路２１３は、同じ条件からアクセスさ
れたキャッシュラインの次のキャッシュ状態を決定する
ための回路である。次状態決定回路２１３で決定された
次状態はキャッシュの状態アレイ３２、３３、３４に書
込まれる。ただし、ＣＰＵアクセスがミスした場合など
にＦコマンドを用いて他のＰＵにあるデータを読み出し
た場合にはキャッシュの次状態の決定は行われず、返答
コマンド待合せ回路２１５、２１６を用いて例外的な動
作が行われる。以下ではＣＰＵ、外部からの各コマンド
別に動作を述べる。ＣＰＵからのＲｅａｄコマンドに対
し、キャッシュミスした場合もしくはキャッシュヒット
してＩ状態であった場合には、Ｆコマンドをアクセスさ
れたアドレスを主記憶上に持っているＰＵ（以下ではホ
ームＰＵと呼ぶ）に送り、必要なラインの読み出しを要
求する。キャッシュはデータの返答待ちになる。ホーム
ＰＵの番号はアドレスのＰＵ番号の部分（２３ｃ）によ
り示されるため、ホームＰＵにコマンドを送る際には送
信先ＰＵ番号のセレクタ２５ａはＰＵ番号アドレス２３
ｃの側に切り替えられる。また、アクセスＰＵ番号には
自ＰＵのＰＵ番号２２が入力される。キャッシュの次状
態の決定はコマンドの返答によりラインが送られるまで
行われず、その代わり、返答コマンド待合せ回路のＦラ
ッチ２１５がセットされる。この場合、ＣＰＵからのア
クセスは待ち状態に入り、データのアクセスも返答の到
着後となる。ただし、外部からのコマンドの受け付けは
Ｆラッチとは無関係に行われる。それに対し、キャッシ
ュヒットして、キャッシュ状態がＥ、Ｓ、Ｒの場合はキ
ャッシュ上のデータの読み出しが行われ、外部へのコマ
ンドは出力されず、キャッシュ状態も変化しない。ＣＰ
ＵからのＷｒｉｔｅもしくはＣ／Ｓコマンドに対し、キ
ャッシュミスした場合もしくはキャッシュヒットしてＩ
状態であった場合には、ＦＩコマンドをホームＰＵに送
り、必要なラインを読み出すと同時に、キャッシュの一
貫性を保つために、他のキャッシュ上のラインのコピー
を無効化する。キャッシュはＦコマンドの場合と同様に
待ち状態に入り、返答コマンド待合せ回路のＦＩラッチ
２１６がセットされる。キャッシュヒットして、キャッ
シュがＥ状態の場合はキャッシュ上のデータは排他であ
るため、自由に変更することが出来る。従って、キャッ
シュ上のデータへの書込みもしくはＣ／Ｓ動作が行わ
れ、外部コマンドの出力、キャッシュ状態の変化は行わ
れない。キャッシュヒットして、キャッシュ状態がＳの
場合は、キャッシュ上のデータを排他にするために、他
のキャッシュ上のコピーを消去するためのＩコマンドが
ホームＰＵに送られたる。その後キャッシュ上のデータ
のアクセスが行われ、キャッシュの次状態はＥとなる。
ＣＰＵからのＦｌｕｓｈコマンドに対しては、先ほどの
リプレースの場合と同様に、キャッシュヒットして、キ
ャッシュ状態がＥ、Ｓの場合にはディレクトリ情報を更
新すると共に、主記憶上のデータを復旧しなければなら
ない可能性が有るため、ホームＰＵに対しＦＬコマンド
が送られる。それに対してＲの場合には主記憶ではディ
レクトリ制御は行われていないため、ＦＬコマンドは不
要である。キャッシュミスもしくは、キャッシュヒット
してＩ状態の場合はＦＬを行う必要はない。キャッシュ
の次状態はＩとなる。ただし、キャッシュミスの場合は
既に登録されている他のアドレスのラインのデータのキ
ャッシュ状態は変化しない。
【００２４】次に外部からのコマンドに対する動作を述
べる。外部からＩＮＶコマンドが来た場合はキャッシュ
上のデータは無効化されＩ状態となる。ただし、キャッ
シュミスの場合はキャッシュ状態は変化しない。外部か
らＲＥＱコマンドが到来した場合は、外部からのアクセ
スアドレスを用い、データアレイ３５上のデータが読み
出され、ＤＡＴＡＣＡＣＨＥコマンドでアクセス元のＰ
Ｕに返送される。従って外部コマンド出力２１ａにはＤ
ＡＴＡＣＡＣＨＥが出され、送信先ＰＵ番号を切り替え
るセレクタ２５はアクセス元ＰＵ番号６１ｂに切り替え
られる。キャッシュの次状態はＳとなる。ＲＥＱＩＮＶ
の場合もＲＥＱと同様にＤＡＴＡＣＡＣＨＥコマンドで
データの返送が行われた後、キャッシュの次状態はＩと
なる。外部からＥＸコマンドが到来した場合はキャッシ
ュの状態がＥ、Ｓの場合は、キャッシュの次状態はＥと
なり、キャッシュ上のデータを排他状態とする。キャッ
シュ状態がＩの場合はキャッシュ次状態はＩのままとな
り、キャッシュミスの場合はキャッシュ状態は変化しな
い。
【００２５】次にＤＡＴＡ、ＤＡＴＡＣＡＣＨＥ、ＤＡ
ＴＡＲＯコマンドによる外部からの返答が行われた場合
の動作について述べる。この場合、キャッシュは返答コ
マンド待合せ回路のラッチ２１５、２１６の何れかがＯ
Ｎとなり、ＣＰＵからのアクセスを待たせた状態となっ
ている。この場合、パケットにより送られてきたアドレ
ス及びデータラインをアドレスアレイ３１及びデータア
レイ３５に書込むと同時に、キャッシュの次状態を決定
し、状態アレイに書込む。キャッシュの次状態はコマン
ドの種類等により変化する。Ｆラッチ２１５がＯＮ（Ｆ
コマンドの返答待ち）の場合はデータの返送されてきた
コマンドにより次状態は異なる。ＤＡＴＡコマンドによ
りデータが返送された場合は、主記憶からデータが返送
されてきたので、他のキャッシュがデータをキャッシン
グしていることはない。従ってキャッシュ上のラインの
新状態はＥとなる。ＤＡＴＡＣＡＣＨＥによりデータが
返送された場合は、ラインは他のキャッシュから供給さ
れているためデータは共有である。従って、キャッシュ
の新状態はＳとなる。ＤＡＴＡＲＯの場合はラインは読
み出し専用であるため、キャッシュの新状態はＲとな
る。ＦＩラッチ２１６がＯＮ（ＦＩコマンドの返答待
ち）の場合は例えキャッシュからデータが供給された場
合でも、相手のキャッシュ上のデータは無効化されてい
る。従って、キャッシュの新状態は必ずＥとなる。
【００２６】次に図１、図７〜図１５を用いて、主記憶
制御回路５０の動作を詳細に説明する。主記憶制御回路
５０は、他のＰＵのキャッシュからネットワーク８００
を通じて到来するコマンドを受け（自ＰＵからのコマン
ドの場合も有る）、主記憶の読み出しや、ディレクトリ
を用いたキャッシュ管理など必要な動作を行うための回
路である。主記憶アクセスが行われた場合はコマンドパ
ケット分解回路６３でアドレス５３、コマンド６３ａ、
アクセスＰＵ番号６３ｂ、データ５４が各バス等の上に
出される。主記憶動作決定回路５１は外部コマンド６３
ａをトリガーとして動作を開始する。主記憶アクセスが
行われると、先ずアドレスバス５３上のアドレスを用い
て、主記憶装置４０内の主記憶状態ビット４２、４３、
及びデータもしくはディレクトリを保持するメモリ４１
の読み出しが行われる。メモリから読み出された値はデ
ィレクトリ操作回路５２の中のビット数計数回路５２０
に入力されキャッシングしているＰＵの数が求められ、
アクセスＰＵ数信号５２ａを通じ主記憶動作決定回路５
１に入力される。ただし、この値が意味を持つのはディ
レクトリ管理が行われている時、つまりＣビットが１で
且つＲＯビットが０の時のみである。主記憶動作決定回
路５１では主記憶状態、４２ａ、４３ａ、アクセスＰＵ
数５２ａ、外部コマンド６３ａ、及びディレクトリ操作
回路のワークレジスタ５２３がオール０であることを示
すワークレジスタ０信号５２ｂを入力とし、必要な外部
へコマンド５１ａの出力、ディレクトリ操作回路５２を
用いたディレクトリ制御、及び必要ならば主記憶状態設
定回路５１５を用いた主記憶状態の変更が行われる。こ
の際、外部コマンドの出力等は複雑な条件判断を伴う繰
返し動作であり、通常の論理回路で構成することは困難
である。それゆえ、主記憶動作決定回路の主要部の動作
は主記憶制御プロセッサ５１４で行う。その前段の、主
記憶制御プロセッサの動作条件を判定する部分は組み合
せ回路で構成する。
【００２７】主記憶動作決定回路の動作は、図７の論理
図及び図９〜図１４の主記憶制御プロセッサの動作フロ
ーにより表される。図７において、外部コマンド６３ａ
は外部コマンドデコーダ５１２において、Ｆ、Ｉ、Ｆ
Ｉ、ＦＬの４つに分類される。また、アクセスＰＵ数５
２ａもデコーダで１、２、３以上の３つに分類される。
その後、ゲート５１１ａ〜５１１ｄ、５１３ａ〜５１３
ｉを用いて、主記憶状態４２ａ、４３ａ、デコードされ
た外部コマンド５１２ａ〜５１２ｄ、デコードされたア
クセスＰＵ数５１０ａ〜５１０ｃより主記憶制御プロセ
ッサ５１４の動作条件５１３ｊ〜５１３ｒを判定する。
主記憶制御プロセッサの動作条件は以下の９つの場合で
ある。 ・場合１： ＲＯビットが１。つまり、アクセスされた
ラインが読み出し専用である場合。（場合２以下は全て
読み出し専用で無い場合） ・場合２： Ｃビットが０。つまり、キャッシングして
いるＰＵが１つもなく、コマンドがＦ、ＦＩのとき。
（場合３以下は全てキャッシングしているＰＵがある場
合） ・場合３： キャッシングしているＰＵの数が１以上
で、コマンドがＦのとき。 ・場合４： キャッシングしているＰＵの数が１で、コ
マンドがＦＩのとき。 ・場合５： キャッシングしているＰＵの数が１で、コ
マンドがＦＬのとき。 ・場合６： キャッシングしているＰＵの数が２以上
で、コマンドがＩのとき。 ・場合７： キャッシングしているＰＵの数が２以上
で、コマンドがＦＩのとき。 ・場合８： キャッシングしているＰＵの数が２で、コ
マンドがＦＬのとき。 ・場合９： キャッシングしているＰＵの数が３以上
で、コマンドがＦＬのとき。 この他に、 ・場合： キャッシングしているＰＵが１で、コマン
ドがＩのとき。 もあるが、主記憶制御回路は何の動作も行わないため
（なぜなら、キャッシュ上のデータは既に排他状態にな
っている）、主記憶制御プロセッサの動作条件からは省
いてある。主記憶状態、コマンド等の組み合せにこれ以
外の場合も考えられるが、それ等は実際には起り得ない
組み合せである。主記憶制御プロセッサの動作がキャッ
シングの有無、キャッシングしているＰＵの数により違
うのは、キャッシングしているＰＵ数に応じてディレク
トリの管理方法が違うからである。図９〜図１４では以
上で述べた９つの場合のそれぞれについて主記憶制御プ
ロセッサ５１４が取るべき動作を規定した動作フローで
ある。主記憶管理プロセッサは以上述べた９つの場合に
応じ外部コマンド５１ａの出力、ディレクトリ操作回路
５２によるディレクトリの操作を行う。ディレクトリ操
作回路５２から主記憶制御プロセッサ５１４へはディレ
クトリ操作回路内のワークレジスタ５２３がオール０で
あることを示すワークレジスタ０信号５２ｂが条件判断
のために入力される。
【００２８】図８にディレクトリ操作回路５２の詳細図
を示す。ディレクトリ操作回路には、データバス５４上
の１であるビット数を計算し、アクセスＰＵ数５２ａを
出力するビット数計数回路５２０、データバス５４上に
出されたディレクトリの値を記憶し、演算を行うための
ワークレジスタ５２３、ワークレジスタに対してビット
演算を行うビットセット回路５２１、ビットクリア回路
５２２、ビット演算を行うビット位置をアクセス元ＰＵ
番号６３ｂ、もしくはプライオリティエンコーダ５２５
の出力５２ｃから求めるデコーダ回路５２４、ワークレ
ジスタの値からアクセス先ＰＵ番号５２ｃを求めるため
のプライオリティエンコーダ５２５、ワークレジスタの
値がオール０であることを判定し、ワークレジスタ０信
号５２ｂを出力するためのオール０判定回路５２６から
なる。プライオリティエンコーダ５２５はワークレジス
タの値５２３ａの中で１である一番下のビットの番号を
返す。つまり、ディレクトリ上で複数のビットが立って
いた場合は、ＰＵ番号が一番小さいＰＵのＰＵ番号が出
力される。
【００２９】主記憶制御プロセッサが行う機能としては
以下の８個が有る。 （１） 外部コマンド５１ａの出力。（これによりコマ
ンドパケット組立回路６４はパケットの組立を行い、送
信回路６６を起動する。）図９〜図１４では外部コマン
ドは下線で表す。 （２） 送信先ＰＵ切り替え回路５５の切り替え。（コ
マンドパケット分解回路６３から出力されるアクセス元
ＰＵ番号６３ｂ、ディレクトリ操作回路５２の中のプラ
イオリティエンコーダ５２５から出力されるアクセス先
ＰＵ番号５２ｃの２者から選択する。） （３） 主記憶状態設定回路５１５を用いた、主記憶の
状態のＣビット（４２ａ）のセット／リセット（通常は
主記憶状態は変化しない）。 （４） ＷＲＥＧ５２３のビットのセット／クリア（ビ
ット操作の入力としては、コマンドパケット分解回路６
３から出力されるアクセス元ＰＵ番号６３ｂ、もしく
は、プライオリティエンコーダ５２５の出力５２ｃのど
ちらかをデコーダ５２４でデコードした結果が用いられ
る）。これはキャッシングしているＰＵが増減した場合
の、ディレクトリ操作に用いられる。 （５） ワークレジスタ（ＷＲＥＧ）５２３全体のクリ
ア。 （６） データバス５４を経由した、ＷＲＥＧ５２３と
主記憶のメモリ４１との間のディレクトリ情報の読み出
し、書込み。 （７） データバス５４を通じ、コマンドパケットで送
られてきたデータの主記憶のメモリ４１への書込み。 （８） ワークレジスタ０信号５２ｂを使用した、ＷＲ
ＥＧ５２３がオール０かどうかの判定、条件分岐。 この８つの動作を図９〜図１４に示すように組み合せ、
主記憶制御プロセッサ５１４は動作する。
【００３０】以下では図９〜図１４の流れ図をもとに、
場合１〜場合９の各場合について、主記憶制御プロセッ
サ５１４の動作を述べる。場合１、つまりアクセスされ
たラインが読み出し専用である場合には、ディレクトリ
操作を行う必要はない。従って、ＤＡＴＡＲＯコマンド
で（主記憶状態読み出しと同時に主記憶メモリ４１から
あらかじめ読み出されてある）ラインのデータをアクセ
ス元ＰＵに送る（ステップ９１１、９１２）。場合２、
つまりＦ、ＦＩコマンドに対してキャッシングしている
ＰＵが１つもない場合は、主記憶上に最新のデータが存
在する。従って、ＤＡＴＡコマンドで読み出された値を
アクセス元ＰＵに送る（ステップ９２１、９２２）。更
に、キャッシングしたＰＵの番号を記憶するために、主
記憶のメモリの該当するラインにはディレクトリを作成
しなければならない。そのため、ディレクトリが作成さ
れたことを表すために、主記憶状態のＣビットをセット
し（ステップ９２３）、ＷＲＥＧのアクセス元ＰＵに対
応するビットのみをセットし（ステップ９２４、９２
５）、ＷＲＥＧの内容を主記憶に書込む（ステップ９２
６）。場合３、つまりＦコマンドに対してキャッシング
しているＰＵが存在する場合には、主記憶のメモリ４１
上にはディレクトリ情報が置かれているため、最新のデ
ータは存在しない。従って、キャッシングしているＰＵ
の１つにＲＥＱコマンドで、データのアクセス元ＰＵへ
の転送を要求する必要がある。そのため、主記憶上のデ
ィレクトリ情報をＷＲＥＧに読み込み（ステップ９３
１）、プライオリティエンコーダから出力される番号の
ＰＵ（キャッシングしているＰＵの中で一番番号の小さ
いＰＵ）にＲＥＱコマンドを送付する（ステップ９３
２、９３３）。ＷＲＥＧ上のディレクトリ情報のアクセ
ス元ＰＵ番号に対応するビットをセットし（ステップ９
３４）主記憶にディレクトリ情報を書き戻す（ステップ
９３５）。場合４、つまりＦＩコマンドに対してキャッ
シングしているＰＵが１台ある場合は、キャッシングし
ているＰＵにデータのアクセス元ＰＵへの転送を要求す
ると同時に、そのＰＵ上のデータを無効化する必要があ
る。この場合、ディレクトリ情報をＷＲＥＧに読み込み
（ステップ９４１）プライオリティエンコーダから出力
されるキャッシングしているＰＵにＲＥＱＩＮＶコマン
ドを送付する（ステップ９４２、９４３）。ＷＲＥＧ上
のディレクトリ情報はアクセス元ＰＵ番号に対応するビ
ットのみをセットし（ステップ９４４、９４５）、主記
憶へディレクトリ情報を書き戻す（ステップ９４６）。
場合５、つまりキャッシングしているＰＵの数が１のと
きにＦＬコマンドが到来した場合は、キャッシングして
いるＰＵが無くなったため、ディレクトリ管理をやめ、
主記憶上のラインのデータを復旧する必要がある。その
ため、主記憶状態のＣビットをリセットし（ステップ９
５１）、ＦＬコマンドで送られてきたラインデータを主
記憶に書込む（ステップ９５２）。場合６、つまりキャ
ッシングしているＰＵの数が２以上の場合にＩコマンド
が到来した場合は、アクセス元以外のＰＵのキャッシュ
上にあるデータを全て無効化する必要がある。一般には
キャッシングしているＰＵの数は複数であるので、繰返
し動作により複数のＰＵに無効化コマンドを送付しなけ
ればならない。そのため、ディレクトリ情報をＷＲＥＧ
に読み込んだ（ステップ９６１）後、アクセス元ＰＵに
相当するビットをクリアする（ステップ９６２）。その
後プライオリティエンコーダの出力するＰＵにＩＮＶメ
ッセージを送付し、該当するＷＲＥＧのビットをクリア
する動作を、ＷＲＥＧがオール０になるまで繰り返す
（ステップ９６３〜９６６）。その後ＷＲＥＧのアクセ
ス元ＰＵに該当するビットをセットし（ステップ９６
７）、ディレクトリ情報を書き戻す（ステップ９６
８）。場合７、つまりキャッシングしているＰＵの数が
２以上のときにＦＩコマンドが到来した場合も、キャッ
シングしているＰＵの一つにデータのアクセス元ＰＵへ
の転送を要求すると同時に、全ＰＵのキャッシュ上のデ
ータを無効化する必要がある。そのため、ディレクトリ
情報をＷＲＥＧに読み込んだ（ステップ９７１）後、プ
ライオリティエンコーダの出力するＰＵにＲＥＱＩＮＶ
コマンドを出力（ステップ９７２、９７３）すると共
に、ＲＥＱＩＮＶを送信したＰＵに該当するＷＲＥＧの
ビットをクリアする（ステップ９７４）。これにより、
キャッシングしているＰＵの中で、ＰＵ番号の一番小さ
いＰＵに対して、データのアクセス元ＰＵへの転送要求
と無効化を同時に実行する。その後残りのＰＵのキャッ
シュ上のデータを全て無効化する。そのため、プライオ
リティエンコーダの出力するＰＵにＩＮＶメッセージを
送付し、該当するＷＲＥＧのビットをクリアする動作
を、ＷＲＥＧがオール０になるまで繰り返す（ステップ
９７５〜９７８）。その後ＷＲＥＧのアクセス元ＰＵに
該当するビットをセットし（ステップ９７９）、ディレ
クトリ情報を書き戻す（ステップ９７０）。場合８、つ
まりＦＬコマンドに対しキャッシングしているＰＵの数
が２であった場合は、キャッシングしているＰＵはまだ
１個残っているので、主記憶にデータを書き戻す必要は
ない。この場合は、ディレクトリ操作（データを追い出
したＰＵに対するディレクトリをクリアすること）、及
び残ったＰＵに対しデータが排他であることの通知を行
う必要がある。そのため、ディレクトリ情報をＷＲＥＧ
に読み込んだ（ステップ９８１）後、アクセス元ＰＵに
対応するビットをクリアし（ステップ９８２）、プライ
オリティエンコーダの出力するキャッシングしている残
り１台のＰＵに対しＥＸコマンドを送付する（ステップ
９８３、９８４）。最後にディレクトリ情報を主記憶に
書き戻す（ステップ９８５）。場合９、つまりＦＬコマ
ンドに対しキャッシングしているＰＵの数が３以上の場
合は、ディレクトリ操作のみを行う。そのため、ディレ
クトリ情報のＷＲＥＧへの読み込み（ステップ９９
１）、アクセス元ＰＵに対応するビットのクリア（ステ
ップ９９２）、及びディレクトリ情報の書き戻し（９９
３）を行う。
【００３１】図１５は以上述べた主記憶動作決定回路５
１の動作の概要ををまとめたものである。これらの動作
を行うことにより、各ＰＵのキャッシュのキャッシング
状況に合わせ、主記憶そのものの上にあるディレクトリ
を管理することが出来る。以上述べた機構により、キャ
ッシュ、主記憶の状態を矛盾無く管理し、主記憶そのも
のにディレクトリを置いたＤＳＭ方式を実現することが
出来る。
【００３２】
【発明の効果】本発明によれば、並列計算機において、
データが記憶されていた主記憶領域そのものをディレク
トリとして用いることにより、主記憶の他にディレクト
リのためのメモリを持つことをなくし、ディレクトリの
ために主記憶の容量を増大させることなく分散共有メモ
リを実現することが出来る。
【図面の簡単な説明】
【図１】本発明の実施例の並列計算機の構成を示す図で
ある。
【図２】従来のディレクトリ方式の分散共有メモリ機構
を持った並列計算機の構成を示す図である。
【図３】キャッシュ動作決定回路の詳細構成を示す図で
ある。
【図４】キャッシュリプレース判定回路の入力と出力の
関係を説明する図である。
【図５】外部コマンド発生回路の入力と出力の関係を説
明する図である。
【図６】キャッシュ次状態判定回路の入力と出力の関係
を説明する図である。
【図７】主記憶動作決定回路の詳細構成を示す図であ
る。
【図８】ディレクトリ操作回路の詳細構成を示す図であ
る。
【図９】主記憶制御プロセッサにおける処理の場合１、
２のフローチャートを示す図である。
【図１０】主記憶制御プロセッサにおける処理の場合３
のフローチャートを示す図である。
【図１１】主記憶制御プロセッサにおける処理の場合
４、５のフローチャートを示す図である。
【図１２】主記憶制御プロセッサにおける処理の場合６
のフローチャートを示す図である。
【図１３】主記憶制御プロセッサにおける処理の場合７
のフローチャートを示す図である。
【図１４】主記憶制御プロセッサにおける処理の場合
８、９のフローチャートを示す図である。
【図１５】主記憶制御回路の動作をまとめて説明する図
である。
【図１６】本実施例における主記憶装置のビット構成を
示す図である。
【図１７】ネットワークを流れるコマンドの形式を示す
図である。
【図１８】本実施例における、アドレスのビット割当て
およびアドレスマップを示す図である。
【図１９】ポインタ方式を採用した場合の主記憶装置の
ビット構成を示す図である。
【符号の説明】
１０ ＣＰＵ ２０ キャッシュ制御回路 ２１ キャッシュ動作決定回路 ２２ 自ＰＵ番号保持レジスタ ２３ アドレスバス ２４ データバス ２５ 送信先ＰＵ番号選択セレクタ（キャッシュ動作決
定回路） ３０ キャッシュ ３１ キャッシュアドレスアレイ ３２ キャッシュ状態アレイ（Ｅビット） ３３ キャッシュ状態アレイ（Ｓビット） ３４ キャッシュ状態アレイ（Ｒビット） ３５ キャッシュデータアレイ ４０ 主記憶装置 ４１ 主記憶メモリ ４２ 主記憶状態（Ｃビット）メモリ ４３ 主記憶状態（ＲＯビット）メモリ ４４ ディレクトリ専用メモリ ５０ 主記憶制御回路 ５１ 主記憶動作決定回路 ５２ ディレクトリ操作回路 ５３ アドレスバス ５４ データバス ５５ 送信先ＰＵ番号選択セレクタ（主記憶動作決定回
路） ６０ ネットワーク入出力回路 ６１ コマンドパケット分解回路（キャッシュ制御回
路） ６２ コマンドパケット組立回路（キャッシュ制御回
路） ６３ コマンドパケット分解回路（主記憶制御回路） ６４ コマンドパケット組立回路（主記憶制御回路） ６５ パケット受信回路 ６６ パケット送信回路 １００、１１０ プロセッシング・ユニット ２１０ キャッシュヒット判定回路 ２１１ キャッシュ書き戻し判定回路 ２１２ 外部コマンド発生回路 ２１３ キャッシュ次状態判定回路 ２１４ ＦＬコマンド発生回路 ２１５ 返答コマンド待合せラッチ（Ｆ） ２１６ 返答コマンド待合せラッチ（ＦＩ） ５１０ アクセスＰＵ数デコーダ ５１２ 外部コマンドデコーダ ５１４ 主記憶制御プロセッサ ５２０ ビット数計数回路 ５２１ ビットセット回路 ５２２ ビットクリア回路 ５２３ ワークレジスタ ５２５ プライオリティエンコーダ ５２６ ワークレジスタオール０判定回路 ８００ ネットワーク
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０６Ｆ 15/177 ６８２ Ｇ０６Ｆ 15/177 ６８２Ｋ (72)発明者 北井 克佳 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所 中央研究所内 (56)参考文献 寺澤卓也，天野英晴，工藤知宏，”マ ルチプロセッサの記憶システム （１）”，情報処理，社団法人情報処理 学会，1993年１月15日，第34巻，第１ 号，ｐ．96−105 寺澤卓也，天野英晴，工藤知宏，”マ ルチプロセッサの記憶システム （２）”，情報処理，社団法人情報処理 学会，1993年２月15日，第34巻，第２ 号，ｐ．233−243 福田晃，”並列オペレーティング・シ ステム”，情報処理，社団法人情報処理 学会，1993年９月15日，第34巻，第９ 号，ｐ．1139−1149 Ｄａｎｉｅｌ Ｌｅｎｏｓｋｉ ｅｔ ａｌ．，”Ｔｈｅ Ｓｔａｎｆｏｒｄ Ｄａｓｈ Ｍｕｌｔｉｐｒｏｃｅｓｓ ｏｒ”，Ｃｏｍｐｕｔｅｒ，ＩＥＥＥ, 1992年３月，第25巻，第３号，ｐ．63− 79 Ｄａｖｉｄ Ｃｈａｉｋｅｎ ｅｔ ａｌ．，”Ｄｉｒｅｃｔｏｒｙ−Ｂａｓ ｅｄ Ｃａｃｈｅ Ｃｏｈｅｒｅｎｃｅ ｉｎ Ｌａｒｇｅ−Ｓｃａｌｅ Ｍｕ ｌｔｉｐｒｏｃｅｓｓｏｒｓ”，Ｃｏｍ ｐｕｔｅｒ，ＩＥＥＥ，1990年６月，第 23巻，第６号，ｐ．49−58 (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 15/16 - 15/177 G06F 12/08 - 12/12

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】 複数のプロセッシングユニットを持ち、
    各々のプロセッシングユニットが主記憶の一部を持ち、
    各プロセッシングユニットに分散しておかれた主記憶を
    全てのプロセッシングユニットが共有してアクセスする
    ことが可能であり、各プロセッシングユニットにおかれ
    たキャッシュに自または他のプロセッシングユニットの
    主記憶上のデータを登録し、主記憶のデータを複数のプ
    ロセッシングユニットで共用するようにした並列計算機
    の記憶制御方法であって、 各プロセッシングユニットの主記憶の各々のデータライ
    ンに対応し、該ラインが自または他の何れかのプロセッ
    シングユニットのキャッシュに登録されているか否かを
    示す情報を付与し、 ラインのデータがいずれかのプロセッシングユニットの
    キャッシュに登録された場合には、前記登録されている
    か否かを示す情報を登録状態とし、該ラインのデータが
    記憶されていた主記憶領域にデータに代えて該ラインの
    データがどのプロセッシングユニットのキャッシュに登
    録されているかを示すディレクトリ情報を記憶させ、 該ラインのデータをキャッシュに登録しているプロセッ
    シングユニットの組み合せが変更された場合には該主記
    憶上に記憶されたディレクトリ情報を現在該ラインのデ
    ータをキャッシュに登録しているプロセッシングユニッ
    トを示すディレクトリ情報に変更し、 該ラインのデータをどのプロセッシングユニットもキャ
    ッシュに登録しなくなった場合には、ディレクトリ情報
    に代えてキャッシュ上に登録されたデータを主記憶に書
    き戻すようにしたことを特徴とする並列計算機の記憶制
    御方法。
  2. 【請求項２】 請求項１記載の並列計算機の記憶制御方
    法において、 キャッシュに登録したラインが、キャッシュの空き領域
    が無くなったことによりリプレースされた場合もしくは
    プロセッサから明示的な命令等によりキャッシュから追
    い出される場合に、 キャッシュの該ラインのアドレスとキャッシュ上に登録
    されていたデータを主記憶に送付し、主記憶に記憶され
    た該ラインに相当するディレクトリを読み出し、 該ラインのデータをキャッシュ上に登録していたプロセ
    ッシングユニットが２以上有った場合にはディレクトリ
    の内容のみを更新し、１のみであった場合にはキャッシ
    ュから送られてきたデータをディレクトリに代えて主記
    憶に書き戻すようにしたことを特徴とする並列計算機の
    記憶制御方法。
  3. 【請求項３】 請求項１記載の並列計算機の記憶制御方
    法において、 各プロセッシングユニットの主記憶の各々のデータライ
    ンに対応し、該ラインが読み出し専用であるか否かを示
    す情報を付与し、 読み出し専用でないラインのデータがキャッシュ上に登
    録された場合にはディレクトリ情報を作成して該ライン
    のデータが記憶されていた主記憶領域にデータに代えて
    ディレクトリ情報を記憶させ、 読み出し専用であるラインのデータがキャッシュ上に登
    録された場合にはディレクトリ情報の作成を行わないよ
    うにしたことを特徴とする並列計算機の記憶制御方法。
  4. 【請求項４】 ＣＰＵと、キャッシュと、キャッシュ制
    御回路と、主記憶装置と、主記憶制御回路と、ネットワ
    ーク入出力回路を備えるプロセッシングユニットを複数
    台ネットワークにより接続し、各プロセッシングユニッ
    トの主記憶装置に分散して記憶されたデータを全てのプ
    ロセッシングユニットが共有してアクセスし、各プロセ
    ッシングユニットにおかれたキャッシュに自または他の
    プロセッシングユニットの主記憶装置上のデータを登録
    し、主記憶装置のデータを複数のプロセッシングユニッ
    トで共用するようにした並列計算機であって、 各プロセッシングユニットの主記憶装置の各々のデータ
    ラインに対応して、該ラインが自または他の何れかのプ
    ロセッシングユニットのキャッシュに登録されているか
    否かを示す情報を記憶する記憶手段を設け、 各プロセッシングユニットの主記憶制御回路は、ライン
    のデータがいずれかのプロセッシングユニットのキャッ
    シュに登録された場合、前記記憶手段に登録されたこと
    を示す情報を格納すると共に該ラインのデータがどのプ
    ロセッシングユニットのキャッシュに登録されているか
    を示すディレクトリ情報を作成して該ラインのデータが
    記憶されていた主記憶領域にデータに代えて記憶する手
    段と、該ラインのデータをキャッシュに登録しているプ
    ロセッシングユニットの組み合せが変更された場合、該
    主記憶装置に記憶されたディレクトリ情報を現在該ライ
    ンのデータをキャッシュに登録しているプロセッシング
    ユニットを示すディレクトリ情報に変更する手段と、該
    ラインのデータをどのプロセッシングユニットもキャッ
    シュに登録しなくなった場合、ディレクトリ情報に代え
    てキャッシュ上に登録されたデータを主記憶装置に書き
    戻す手段を備えることを特徴とする並列計算機。
  5. 【請求項５】 請求項４記載の並列計算機において、 キャッシュに登録したラインが、キャッシュの空き領域
    が無くなったことによりリプレースされた場合もしくは
    プロセッサから明示的な命令等によりキャッシュから追
    い出され、前記主記憶制御回路が前記キャッシュ制御回
    路からキャッシュの該ラインのアドレスとキャッシュ上
    に登録されていたデータを送付された場合、前記主記憶
    制御回路は、主記憶装置に記憶された該ラインに相当す
    るディレクトリを読み出し、該ラインのデータをキャッ
    シュ上に登録していたプロセッシングユニットが２以上
    あったときにはディレクトリの内容のみを更新し、１の
    みであったときにはキャッシュから送られてきたデータ
    をディレクトリに代えて主記憶装置に書き戻す手段を備
    えることを特徴とする並列計算機。
  6. 【請求項６】 請求項４記載の並列計算機において、 各プロセッシングユニットの主記憶装置の各々のデータ
    ラインに対応して、該ラインが読み出し専用であるか否
    かを示す情報を記憶する記憶手段を設け、 前記主記憶制御回路は、読み出し専用でないラインのデ
    ータがキャッシュ上に登録された場合、ディレクトリ情
    報を作成して該ラインのデータが記憶されていた主記憶
    領域にデータに代えてディレクトリ情報を記憶し、読み
    出し専用であるラインのデータがキャッシュ上に登録さ
    れた場合、ディレクトリ情報の作成を行わない手段を備
    えることを特徴とする並列計算機。
JP28740393A 1993-10-22 1993-10-22 並列計算機の記憶制御方法および並列計算機 Expired - Fee Related JP3200757B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP28740393A JP3200757B2 (ja) 1993-10-22 1993-10-22 並列計算機の記憶制御方法および並列計算機
US08/328,759 US5606686A (en) 1993-10-22 1994-10-24 Access control method for a shared main memory in a multiprocessor based upon a directory held at a storage location of data in the memory after reading data to a processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28740393A JP3200757B2 (ja) 1993-10-22 1993-10-22 並列計算機の記憶制御方法および並列計算機

Publications (2)

Publication Number Publication Date
JPH07121493A JPH07121493A (ja) 1995-05-12
JP3200757B2 true JP3200757B2 (ja) 2001-08-20

Family

ID=17716891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28740393A Expired - Fee Related JP3200757B2 (ja) 1993-10-22 1993-10-22 並列計算機の記憶制御方法および並列計算機

Country Status (2)

Country Link
US (1) US5606686A (ja)
JP (1) JP3200757B2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3872118B2 (ja) * 1995-03-20 2007-01-24 富士通株式会社 キャッシュコヒーレンス装置
JP3502216B2 (ja) * 1995-07-13 2004-03-02 富士通株式会社 情報処理装置
JP3674720B2 (ja) * 1995-10-23 2005-07-20 富士通株式会社 並列計算機におけるデータ転送方法
JPH09204403A (ja) * 1996-01-26 1997-08-05 Hitachi Ltd 並列計算機
US5878268A (en) * 1996-07-01 1999-03-02 Sun Microsystems, Inc. Multiprocessing system configured to store coherency state within multiple subnodes of a processing node
US6282195B1 (en) 1997-01-09 2001-08-28 Silicon Graphics, Inc. Packetized data transmissions in a switched router architecture
CA2241909A1 (en) * 1997-07-10 1999-01-10 Howard Thomas Olnowich Cache coherent network, network adapter and message protocol for scalable shared memory processing systems
US6292705B1 (en) 1998-09-29 2001-09-18 Conexant Systems, Inc. Method and apparatus for address transfers, system serialization, and centralized cache and transaction control, in a symetric multiprocessor system
US6633945B1 (en) 1997-12-07 2003-10-14 Conexant Systems, Inc. Fully connected cache coherent multiprocessing systems
US6418537B1 (en) 1997-12-07 2002-07-09 Conexant Systems, Inc. Accurate timing calibration for each of multiple high-speed clocked receivers using a single DLL
US6065077A (en) * 1997-12-07 2000-05-16 Hotrail, Inc. Apparatus and method for a cache coherent shared memory multiprocessing system
US6516442B1 (en) 1997-12-07 2003-02-04 Conexant Systems, Inc. Channel interface and protocols for cache coherency in a scalable symmetric multiprocessor system
US6175900B1 (en) * 1998-02-09 2001-01-16 Microsoft Corporation Hierarchical bitmap-based memory manager
US6295581B1 (en) * 1998-02-20 2001-09-25 Ati Technologies, Inc. Method and apparatus for assuring cache coherency
JP2000076205A (ja) * 1998-08-28 2000-03-14 Hitachi Ltd マルチプロセッサ
US6266743B1 (en) 1999-02-26 2001-07-24 International Business Machines Corporation Method and system for providing an eviction protocol within a non-uniform memory access system
US6469988B1 (en) 1999-07-08 2002-10-22 Conexant Systems, Inc. Low-level circuit implementation of signal flow graphs for real-time signal processing of high-speed digital signals
US6678798B1 (en) * 2000-07-20 2004-01-13 Silicon Graphics, Inc. System and method for reducing memory latency during read requests
US6915387B1 (en) 2000-07-20 2005-07-05 Silicon Graphics, Inc. System and method for handling updates to memory in a distributed shared memory system
US6938128B1 (en) 2000-07-20 2005-08-30 Silicon Graphics, Inc. System and method for reducing memory latency during read requests
US8635410B1 (en) 2000-07-20 2014-01-21 Silicon Graphics International, Corp. System and method for removing data from processor caches in a distributed multi-processor computer system
US6633960B1 (en) * 2000-08-31 2003-10-14 Hewlett-Packard Development Company, L.P. Scalable directory based cache coherence protocol
US6658525B1 (en) 2000-09-28 2003-12-02 International Business Machines Corporation Concurrent access of an unsegmented buffer by writers and readers of the buffer
JP2004302713A (ja) * 2003-03-31 2004-10-28 Hitachi Ltd 記憶システム及びその制御方法
US7007128B2 (en) * 2004-01-07 2006-02-28 International Business Machines Corporation Multiprocessor data processing system having a data routing mechanism regulated through control communication
US7308558B2 (en) * 2004-01-07 2007-12-11 International Business Machines Corporation Multiprocessor data processing system having scalable data interconnect and data routing mechanism
US7549029B2 (en) * 2005-05-06 2009-06-16 International Business Machines Corporation Methods for creating hierarchical copies
WO2008005927A2 (en) * 2006-06-30 2008-01-10 Verint Americas Inc. Distributive network control
WO2008016515A2 (en) * 2006-08-01 2008-02-07 Massachusetts Institute Of Technology Extreme virtual memory
US7840537B2 (en) 2006-12-22 2010-11-23 Commvault Systems, Inc. System and method for storing redundant information
JP2008305201A (ja) * 2007-06-07 2008-12-18 Nippon Telegr & Teleph Corp <Ntt> ノード間データ転送制御装置およびメモリ構成変更方法ならびにプログラム
US7945739B2 (en) * 2007-08-28 2011-05-17 International Business Machines Corporation Structure for reducing coherence enforcement by selective directory update on replacement of unmodified cache blocks in a directory-based coherent multiprocessor
US9015181B2 (en) * 2008-09-26 2015-04-21 Commvault Systems, Inc. Systems and methods for managing single instancing data
AU2009296695B2 (en) 2008-09-26 2013-08-01 Commvault Systems, Inc. Systems and methods for managing single instancing data
US8412677B2 (en) 2008-11-26 2013-04-02 Commvault Systems, Inc. Systems and methods for byte-level or quasi byte-level single instancing
US8401996B2 (en) 2009-03-30 2013-03-19 Commvault Systems, Inc. Storing a variable number of instances of data objects
US8578120B2 (en) 2009-05-22 2013-11-05 Commvault Systems, Inc. Block-level single instancing
WO2012045023A2 (en) 2010-09-30 2012-04-05 Commvault Systems, Inc. Archiving data objects using secondary copies
EP2696289B1 (en) * 2011-04-07 2016-12-07 Fujitsu Limited Information processing device, parallel computer system, and computation processing device control method
US9020890B2 (en) 2012-03-30 2015-04-28 Commvault Systems, Inc. Smart archiving and data previewing for mobile devices
US9633022B2 (en) 2012-12-28 2017-04-25 Commvault Systems, Inc. Backup and restoration for a deduplicated file system
US10324897B2 (en) 2014-01-27 2019-06-18 Commvault Systems, Inc. Techniques for serving archived electronic mail
US9639276B2 (en) * 2015-03-27 2017-05-02 Intel Corporation Implied directory state updates
US10324914B2 (en) 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4755930A (en) * 1985-06-27 1988-07-05 Encore Computer Corporation Hierarchical cache memory system and method
US5058006A (en) * 1988-06-27 1991-10-15 Digital Equipment Corporation Method and apparatus for filtering invalidate requests
US5287484A (en) * 1989-06-21 1994-02-15 Hitachi, Ltd. Multi-processor system for invalidating hierarchical cache
EP0468831B1 (en) * 1990-06-29 1997-10-15 Digital Equipment Corporation Bus protocol for write-back cache processor
IE860318L (en) * 1990-10-01 1986-08-05 Digital Equipment Corp System bus for a multi-cache data processing system
JPH0589056A (ja) * 1991-09-27 1993-04-09 Nec Corp マルチプロセツサ通信方式およびマルチプロセツサ通信装置
US5359723A (en) * 1991-12-16 1994-10-25 Intel Corporation Cache memory hierarchy having a large write through first level that allocates for CPU read misses only and a small write back second level that allocates for CPU write misses only

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Ｄａｎｉｅｌ Ｌｅｎｏｓｋｉ ｅｔ ａｌ．，"Ｔｈｅ Ｓｔａｎｆｏｒｄ Ｄａｓｈ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ"，Ｃｏｍｐｕｔｅｒ，ＩＥＥＥ，１９９２年３月，第２５巻，第３号，ｐ．６３−７９
Ｄａｖｉｄ Ｃｈａｉｋｅｎ ｅｔ ａｌ．，"Ｄｉｒｅｃｔｏｒｙ−Ｂａｓｅｄ Ｃａｃｈｅ Ｃｏｈｅｒｅｎｃｅ ｉｎ Ｌａｒｇｅ−Ｓｃａｌｅ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒｓ"，Ｃｏｍｐｕｔｅｒ，ＩＥＥＥ，１９９０年６月，第２３巻，第６号，ｐ．４９−５８
寺澤卓也，天野英晴，工藤知宏，"マルチプロセッサの記憶システム（１）"，情報処理，社団法人情報処理学会，１９９３年１月１５日，第３４巻，第１号，ｐ．９６−１０５
寺澤卓也，天野英晴，工藤知宏，"マルチプロセッサの記憶システム（２）"，情報処理，社団法人情報処理学会，１９９３年２月１５日，第３４巻，第２号，ｐ．２３３−２４３
福田晃，"並列オペレーティング・システム"，情報処理，社団法人情報処理学会，１９９３年９月１５日，第３４巻，第９号，ｐ．１１３９−１１４９

Also Published As

Publication number Publication date
JPH07121493A (ja) 1995-05-12
US5606686A (en) 1997-02-25

Similar Documents

Publication Publication Date Title
JP3200757B2 (ja) 並列計算機の記憶制御方法および並列計算機
US6631448B2 (en) Cache coherence unit for interconnecting multiprocessor nodes having pipelined snoopy protocol
US5537569A (en) Multiprocessor system utilizing a directory memory and including grouped processing elements each having cache
US8793433B2 (en) Digital data processing apparatus having multi-level register file
US20030005236A1 (en) Imprecise snooping based invalidation mechanism
JP2516300B2 (ja) 多重プロセツサ・システムの性能の最適化装置及び方法
US5784590A (en) Slave cache having sub-line valid bits updated by a master cache
JP3281893B2 (ja) キャッシュ・メモリ階層内で利用するキャッシュ・コヒーレンシ機構を実施するための方法およびシステム
US5095424A (en) Computer system architecture implementing split instruction and operand cache line-pair-state management
US6405290B1 (en) Multiprocessor system bus protocol for O state memory-consistent data
JPH10133947A (ja) 統合されたプロセッサ・メモリ装置
JPH05225061A (ja) 実時間キャッシュ機能を提供する集積回路用チップ
US6345341B1 (en) Method of cache management for dynamically disabling O state memory-consistent data
JPH0559455B2 (ja)
JP2000010860A (ja) キャッシュメモリ制御回路及びプロセッサ及びプロセッサシステム及び並列プロセッサシステム
KR20030024895A (ko) 캐시 코히어런트 멀티-프로세서 시스템에서 순서화된입출력 트랜잭션을 파이프라이닝하기 위한 방법 및 장치
JP4041402B2 (ja) サイクルあたりの多重キャッシュライン無効化をサポートするための方法および装置
US5361342A (en) Tag control system in a hierarchical memory control system
US6397303B1 (en) Data processing system, cache, and method of cache management including an O state for memory-consistent cache lines
KR20040063793A (ko) 로우-레벨 캐시를 포함한 액세스 촉진용 리버스 디렉토리
JP2004199677A (ja) キャッシュを動作させるためのシステム及び方法
US6973541B1 (en) System and method for initializing memory within a data processing system
KR100380674B1 (ko) 멀티프로세서 시스템에서의 기록-통과 기억 동작동안 캐시코히어런스를 유지하는 방법 및 시스템
EP0173893B1 (en) Computing system and method providing working set prefetch for level two caches
US5895486A (en) Method and system for selectively invalidating cache lines during multiple word store operations for memory coherence

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees