JPH05108481A - マルチプロセツサ制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 マルチプロセッサシステムにおいて、ライト
バック方式のキャッシュコヒーレンス管理を行うことで
システムバスと主記憶のトラフィックを減少させること
をを目的とする。 【構成】 プロセッサとシステムバスとの間のバス監視
装置を有したマルチプロセッサ制御装置を置き、このバ
ス監視装置はキャッシュの状態遷移とバス上のデータ情
報を常に監視してキャッシュメモリに対して最適の状態
を提供することを特徴とする。 【効果】 １プロセッサ当たりのシステムバスの占有率
をライトスルー方式と比較して著しく低下させる効果が
ある。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチプロセッサシス
テムに利用する。特に、マルチプロセッサ制御装置に関
する。

【０００２】

【従来の技術】マルチプロセッサを構成する各々のプロ
セッサは、プログラムがデータの通信と同期とを行える
ように所定の形式で相互に結合されている。このプロセ
ッサ間の物理的な結合方式の観点からは密結合マルチプ
ロセッサと疎結合マルチプロセッサとに大別できる。密
結合マルチプロセッサでは、全てのプロセッサが共通に
アクセスできるメモリをシステムに用意し、情報を共有
することによって通信を行う。密結合マルチプロセッサ
を拡張する際に問題となる最大の制約要因は、複数のプ
ロセッサが同一メモリモジュールにアクセスしようとす
る際に発生する競合問題である。すなわち、プロセッサ
数が多くなると相互結合網（以下、システムバスとい
う。）や共有メモリで競合が起こり、アクセスが逐次的
となって並列処理の効率が低下する。このような理由か
ら密結合マルチプロセッサはプロセッサ数が比較的少な
い場合に有効な方式である。疎結合マルチプロセッサで
は、各プロセッサが自分だけがアクセスできる私用のロ
ーカルメモリを持ち、プロセッサ間に共有メモリは存在
しない。疎結合マルチプロセッサでは、メモリの競合が
起きない。しかし、直接的な通信路がないプロセッサ間
の情報交換では、それらの間に存在するプロセッサが中
継しなければならず、中継オーバヘッドが問題になる。

【０００３】次に、密結合マルチプロセッサを構築する
際に通信や同期に伴うメモリアクセスの遅延問題や競合
問題を解決するためのメモリ構成方式について説明す
る。マルチプロセッサの潜在的性能をできる限り引き出
すには、構成要素である各々のプロセッサの処理能力を
無駄にしないことが肝要である。メモリ構成方式の観点
からは、プロセッサが必要とする命令やデータを供給で
きるようにメモリの処理能力を高め、プロセッサがアイ
ドル状態にならないようにする必要がある。これらを実
現するメモリ構成方式は、メモリモジュールの多重化方
式やキャッシュ方式に基づいている。なお、それらをさ
らに組み合わせたメモリ構成をとるシステムもある。次
に、キャッシュ方式について説明する。キャッシュ方式
とは、参照されるプログラムやデータを動的に高速かつ
小容量のキャッシュメモリにコピーし、高速アクセスを
実現する方式である。このキャッシュ方式をプロセッサ
へ適用したものがマルチキャッシュ方式であり、各々の
プロセッサに私用のキャッシュメモリを装備させる方式
である。マルチキャッシュ方式ではシステムバスを介す
る主記憶へのアクセス要求が減り、システムバスに必要
な処理能力の向上や競合を減少させることができる。こ
のような理由から、現在は密結合マルチプロセッサが主
流になっている。

【０００４】キャッシュメモリは一時的なバッファ記憶
であるので、キャッシュメモリ内のブロックに対する更
新は最終的に主記憶にも反映させなければならない。そ
の際に主記憶にはいつ書込むかという問題が生ずる。こ
の主記憶更新における制御方式にはライトスルー方式と
ライトバック方式とがある。ライトスルー方式は、キャ
ッシュメモリへの書込みの際に、主記憶には必ず書込
み、キャッシュメモリにはヒット時にのみ書込む方式で
ある。また書込みの度に主記憶アクセスを必要とするの
で、主記憶トラフィックによってスループットは小さく
なり、キャッシュメモリの効果もその上限が読み出しア
クセスの割合で抑えられてしまう。したがって、書込み
が多いと不利になるが最新データが常に主記憶に有るの
で、キャッシュメモリ障害発生時の信頼性確保やマルチ
プロセッサ構成には都合が良い。ライトバック方式は、
書込み操作の際にキャッシュメモリにのみデータを書込
み、主記憶へはそのブロックが置き換え対象となった時
点でまとめて書き戻す方式である。なお、書込みの際に
ミスヒットが発生すると、一般的には当該ブロックを主
記憶からキャッシュメモリへ転送してから書込みを行
う。書込みの度に主記憶をアクセスする必要はなく、読
み出しおよび書込みの両アクセスについてキャッシュメ
モリの効果が期待できるが、置き換え時には主記憶への
ブロック単位の書き戻しが伴う。

【０００５】密結合マルチプロセッサ構成でマルチキャ
ッシュ方式を用いた場合に、必ず発生してくるのが、キ
ャッシュコヒーレンス問題である。コヒーレンスチェッ
クは、ハードウェアまたはソフトウェアの制御のもとで
キャッシュコヒーレンスを実行時にチェックするもので
ある（他に静的コヒーレンスチェックがある）。通常、
読み出しに際しては同一ブロックのコピーが同時に複数
のキャッシュメモリに存在することを許すが、書込む際
にはコピーが複数のキャッシュメモリに同時に存在する
ことを許さない。すなわち、有効となるデータは１つの
キャッシュメモリにのみ存在することでキャッシュコヒ
ーレンスを保証する。

【０００６】次に従来のマルチプロセッサシステムを用
いた計算機で採用されているキャッシュコヒーレンスの
解決方式を説明する。この方式には、ブロードキャスト
方式とグローバルディレクトリ方式とがある。ブロード
キャスト方式では、各々のキャッシュメモリで書込みが
ある度にその書込み情報をシステム内の他のキャッシュ
メモリにも知らせることでコヒーレンス問題を解決す
る。受取ったキャッシュメモリ側では該当するブロック
が自キャッシュメモリ内に存在するか否かを調べ、存在
すればそのブロックを更新または無効化して更新された
ブロックと更新されないブロックとがシステム内に同時
に存在しないようにする。ブロードキャストによる更新
はシステムバスを介して同一ブロックの内容を相互に更
新する場合があるので、一般には無効化（ブロードキャ
スト無効化）がとられている。ブロードキャスト無効化
は典型的にライトスルー方式と一緒に用いられる。すな
わち、無効化されたブロックを参照すると主記憶からキ
ャッシュメモリへのブロック転送が生ずるが、ライトス
ルー方式の場合には主記憶のデータがすでに更新されて
いるので、最新データを含むブロックが転送されること
になる。この解決策の最大の問題点は、各々のキャッシ
ュメモリの無効化要求の処理に要するオーバヘッドがラ
イトスルー方式の為にプロセッサ数に比例して増大する
ことである。グローバルディレクトリ方式では、キャッ
シュブロックと主記憶ブロックとの対応を表すディレク
トリを集中的に管理して目的のブロックがどのキャッシ
ュメモリに存在しまたどのような状態にあるかという大
域的状態を把握できるようにする。これにより、他のキ
ャッシュメモリがコピーを持つ場合にのみ、無効化要求
を他のキャッシュメモリに出す構成である。ライト方式
としてはライトスルー方式またはライトバック方式のい
ずれかを用いることができるが、ライトバック方式の場
合には制御が若干複雑になる。すなわち、ライトバック
方式では主記憶に最新データがあるとは限らないので、
ミスヒットすると最新データを持つ当該ブロックが他キ
ャッシュメモリに存在するかどうかを調べなければなら
ない。存在すればそのブロックを回収して要求元のキャ
ッシュメモリへ供給する必要がある。また書込みではヒ
ットしても他キャッシュメモリにコピーが存在するか否
かを局所的に判断できるようにし、存在するなら無効化
する必要がある。このグローバルディレクトリ方式は、
現在のほとんどの汎用大型機に採用されている。（参考
図書：富田真治著『並列処理マシン』）

【０００７】

【発明が解決しようとする課題】このような従来例で
は、まずブロードキャスト方式を用いた場合にはライト
スルー方式を用いなければならず、書込みの度に主記憶
アクセスを必要とするので、主記憶トラフィックによっ
てスループットは小さくなり、キャッシュメモリの効果
もその上限が読み出しアクセスの割合で抑えられてしま
う欠点がある。また、グローバルディレクトリ方式を用
いた場合には各キャッシュメモリのディレクトリの写し
を主記憶装置内にも持たせなければならないので、マイ
クロプロセッサで構成する場合にハードウェアが大きく
なる。そして接続可能なプロセッサもその数が限定され
てくる問題がある。またキャッシュメモリをアクセスす
る度にシステムバスを介して主記憶制御装置へのアクセ
スが必要なので、システムバスでの競合が増大する欠点
がある。

【０００８】本発明は、このような欠点を除去するもの
で、システムバスと主記憶のトラフィックを減少させる
手段をもつマルチプロセッサ装置を提供することを目的
とする。

【０００９】

【課題を解決するための手段】本発明は、システムバス
に接続された複数個のプロセッサと、このシステムバス
に接続されこの複数個のプロセッサのそれぞれからアク
セスされる主記憶装置と、上記複数個のプロセッサのそ
れぞれに接続され、この接続されたプロセッサからアク
セスされるキャッシュメモリとを備えたマルチプロセッ
サ装置において、上記プロセッサと上記システムバスと
の間の経路に挿入されたマルチプロセッサ制御装置を備
え、このマルチプロセッサ制御装置は、マイクロプロセ
ッサのデータ入出力を制御するプロセッサインタフェー
スと、上記キャッシュメモリのデータの状態遷移および
システムバス上のデータの情報の監視結果に基づき生成
されるキャッシュコヒーレンス管理を行うコマンドを上
記プロセッサインタフェースに与えるバス監視装置とを
含むことを特徴とする。

【００１０】

【作用】マルチプロセッサシステムで、プロセッサとシ
ステムバスとの間のバス監視装置を有したマルチプロセ
ッサ制御装置を置き、このバス監視装置はキャッシュの
状態遷移とバス上のデータ情報を常に監視してキャッシ
ュメモリに対して最適の状態を提供してライトバック方
式のキャッシュコヒーレンス管理を行う。これにより、
システムバスと主記憶装置のトラフィックを減少させ、
１プロセッサ当たりのシステムバスの占有率をライトス
ルー方式と比較して著しく低下させることができる。

【００１１】

【実施例】以下、本発明の一実施例を図面を用いて説明
する。図１は本発明に従ったマルチプロセッサ制御装置
のブロック図である。図３は本実施例に従ったキャッシ
ュメモリの状態遷移図である。図４は本発明に従ったマ
ルチプロセッサ制御装置を用いたマルチプロセッサシス
テムの構成図である。

【００１２】この実施例は、図４に示すように、マルチ
プロセッサにおけるシステムフバスとして時分割された
システムバス４０４を有し、かつ各プロセッサ４０２は
ポートを介してキャッシュメモリ４０１に接続され、別
のポートからマルチプロセッサ制御装置４０３を介して
システムバス４０４に接続されている。マルチプロセッ
サ制御装置１０１は、図１に示すように、システムバス
１０２に対してブロードキャスト機能を利用したバス監
視装置１０５を有し、グローバルディレクトリ方式のデ
ィレクトリ１０９（キャッシュの状態遷移を示す）の情
報をキャッシュメモリ１０４にブロック単位で付加させ
ることで、各プロセッサ単位にキャッシュの状態の管理
をする。

【００１３】この実施例は、図１に示すように、システ
ムバス１０２に接続された複数個のプロセッサ１０６
と、このシステムバス１０２に接続されこの複数個のプ
ロセッサ１０６のそれぞれからアクセスされる主記憶装
置１１０と、上記複数個のプロセッサ１０６のそれぞれ
に接続され、この接続されたプロセッサからアクセスさ
れるキャッシュメモリ１０４とを備え、さらに、本発明
の特徴とする手段として、プロセッサ１０６とシステム
バス１０２との間の経路に挿入されたマルチプロセッサ
制御装置１０１を備え、このマルチプロセッサ制御装置
１０１は、マイクロプロセッサのデータ入出力を制御す
るプロセッサインタフェース１０６と、上記キャッシュ
メモリ１０４のデータの状態遷移およびシステムバス上
のデータの情報の監視結果に基づき生成されるキャッシ
ュコヒーレンス管理を行うコマンドを上記プロセッサイ
ンタフェース１０６に与えるバス監視装置１０５とを含
む。

【００１４】次に、実際にキャッシュメモリ内データの
状態遷移によってマルチプロセッサ制御装置がどのよう
に動作をするかを図３に示すキャッシュの状態遷移図を
用いて説明する。この実施例で用いるキャッシュメモリ
のデータ状態は、キャッシュメモリ内のデータが無効で
ある状態であるＩｎｖａｌｉｄ状態と、データ原本はメ
モリ上に存在し、一つのキャッシュメモリでのみデータ
を保持している状態であるＰｒｉｖａｔｅ状態と、デー
タ原本はメモリ上に存在し、キャッシュメモリ間でデー
タを共有している状態であるＳｈａｒｅｄ状態と、デー
タの原本はそのキャッシュメモリ上に存在し、一つのキ
ャッシュメモリでのみデータを保持している状態である
Ｏｗｎｅｄ状態とする。

【００１５】まず、Ｉｎｖａｌｉｄ状態からの遷移を図
１を参照して説明する。プロセッサからリードを要求さ
れた場合に（３１１）、キャッシュメモリ１０４はミス
ヒットを発生する。その際にバス管理装置はプロセッサ
に対してキャッシュメモリをＰｒｉｖａｔｅ状態へ遷移
するようにマルチプロセッサ制御装置１０１内のコマン
ドバス１０７を介してコマンドを発行する。またシステ
ムバス１０２を介して主記憶装置１１０にリード要求を
出し、主記憶装置１１０上のデータをキャッシュメモリ
１０４に取り込む。プロセッサ１０３からライトを要求
された場合には（３１２）、キャッシュメモリ１０４は
ミスヒットを発生する。その際にバス監視装置１０５は
プロセッサ１０３に対してキャッシュメモリ１０４をＯ
ｗｎｅｄ状態へ遷移するようにコマンドを発行する。ま
たシステムバス１０２に対してＩｎｖａｌｉｄａｔｅ要
求（他のキャッシュメモリ内の同アドレスデータをＩｎ
ｖａｌｉｄ状態にする。）を発行する。他のキャッシュ
メモリでリードまたはライト要求が発行された場合には
（３１３）、キャッシュメモリ１０４の状態遷移は全く
変化しない。その際にバス管理装置も全く動作しない。

【００１６】次に、Ｐｒｉｖａｔｅ状態からの遷移を説
明する。プロセッサ１０３からリードを要求された場合
（３１４）に、キャッシュメモリ１０４はヒットされる
が、状態遷移が全く変化しない。その際にバス管理装置
１０５も全く動作しない。プロセッサ１０３からライト
を要求された場合に（３１５）、キャッシュメモリ１０
４はヒットされる。その際にバス監視装置１０５はプロ
セッサ１０３に対してキャッシュメモリ１０４をＯｗｎ
ｅｄ状態へ遷移するようにコマンドを発行する。またシ
ステムバス１０２に対してＩｎｖａｌｉｄａｔｅ要求
（他のキャッシュメモリ内の同アドレスデータをＩｎｖ
ａｌｉｄ状態にする。）を発行する。他のキャッシュメ
モリでリード要求が発行された場合に（３１６）、バス
監視装置１０５はプロセッサ１０３に対してキャッシュ
メモリ１０４をＳｈａｒｅｄ状態へ遷移するようにコマ
ンドを発行する。他のキャッシュメモリでライト要求が
発行された場合に（３１７）、バス監視装置１０５はプ
ロセッサ１０３に対してキャッシュメモリ１０４をＩｎ
ｖａｌｉｄ状態へ遷移するようにコマンドを発行する。

【００１７】次に、Ｓｈａｒｅｄ状態からの遷移を説明
する。プロセッサ１０３からリードを要求された場合に
（３１８）、キャッシュメモリ１０４はヒットされる
が、状態遷移は全く変化しない。その際にバス監視装置
１０５も全く動作しない。プロセッサ１０３からライト
を要求された場合に（３１９）、キャッシュメモリ１０
４はヒットされる。その際にバス監視装置１０５はプロ
セッサ１０３に対してキャッシュメモリ１０４をＯｗｎ
ｅｄ状態へ遷移するようにコマンドを発行する。またシ
ステムバス１０２に対してＩｎｖａｌｉｄａｔｅ要求
（他のキャッシュメモリ内の同アドレスデータをＩｎｖ
ａｌｉｄ状態にする。）を発行する。他のキャッシュメ
モリでリード要求が発行された場合に（３２０）、キャ
ッシュメモリ１０４の状態遷移は全く変化しない。その
際にバス監視装置１０５も全く動作しない。他のキャッ
シュメモリでライト要求が発行された場合に（３２
１）、バス監視装置１０５はプロセッサ１０３に対して
キャッシュメモリ１０４をＩｎｖａｌｉｄ状態へ遷移す
るようにコマンドを発行する。

【００１８】次に、Ｏｗｎｅｄ状態からの遷移を説明す
る。プロセッサ１０３からリードまたはライトを要求さ
れた場合に（３２２）、キャッシュメモリ１０４はヒッ
トされるが、状態遷移は全く変化しない。その際にバス
監視装置１０５も全く動作しない。他のキャッシュメモ
リでリード要求が発行された場合に（３２３）、キャッ
シュメモリ１０４の状態遷移は全く変化しない。その際
にバス監視装置１０５も全く動作しない。他のキャッシ
ュメモリでライト要求が発行された場合に（３２４）、
バス監視装置１０５はプロセッサ１０３に対してキャッ
シュメモリ１０４をＩｎｖａｌｉｄ状態へ遷移するよう
にコマンドを発行する。このようにマルチプロセッサ制
御装置１０１はマルチプロセッサシステムのキャッシュ
コヒーレンスを実現する。

【００１９】次に第二実施例を図面を用いて説明する。
図５は本発明に従ったマルチプロセッサ制御装置を主記
憶装置に対して用いた例のブロック図である。この実施
例では、マルチプロセッサ制御装置５０１を主記憶装置
５０３に対して接続してあり、第一実施例の代替活用の
例である。動作等はキャッシュメモリ装置時と全く同様
であるが、主記憶装置５０３はデータの状態遷移を表す
ディレクトリを持たず、また受動装置であるので主記憶
装置５０３自体がデータを読み書きすることはない。し
たがって主記憶装置５０３のデータを更新するのは、バ
ス監視装置５０４より制御を受けるプロセッサインタフ
ェース５０５による。

【００２０】

【発明の効果】本発明は、以上説明したように、ライト
バック方式を用いているので書込みの度に主記憶へアク
セスする必要が無く、変更されたデータを主記憶に格納
する場合にのみアクセスするので、主記憶トラフィック
によるスループットの減少は少なく、キャッシュメモリ
の効果もその上限が読み出しアクセスの割合で抑えられ
ることはなく、またシステムバスでの競合も最小限に抑
えることができる効果がある。

【００２１】またキャッシュメモリの状態遷移ディレク
トリを各キャッシュメモリに持たせたので、特に状態遷
移ディレクトリの写しをハードウェアで用意する必要が
なく、マイクロプロセッサで構成する場合にハードウェ
アが増大することがなく、そして接続可能なプロセッサ
もその数が限定されない効果がある。

【図面の簡単な説明】

【図１】本発明第一施例の構成を示すブロック構成図。

【図２】従来例の構成を示すブロック構成図。

【図３】図１に含まれるキャッシュメモリの状態遷移を
示す図。

【図４】本発明実施例が適用されるシステムの構成を示
すブロック構成図。

【図５】本発明第二施例の構成を示すブロック構成図。

【符号の説明】

１０１、４０３、５０１ マルチプロセッサ制御装置 １０２、２０８、４０４、５０２ システムバス １０３、２０９、４０２ マイクロプロセッサ １０４、２０１、４０１ キャッシュメモリ １０５、５０４ バス監視装置 １０６、２０２、５０５ プロセッサインタフェース １０７、５０６ コマンドバス １０８、５０７ 共有バス １０９、２０４ ディレクトリ １１０、２０７、４０５、５０３ 主記憶装置 ２０３ データアレイ ２０５ 主記憶制御装置 ２０６ ディレクトリコピー

Claims (1)

【特許請求の範囲】
1. 【請求項１】 システムバスに接続された複数個のプロ
   セッサと、 このシステムバスに接続されこの複数個のプロセッサの
   それぞれからアクセスされる主記憶装置と、 上記複数個のプロセッサのそれぞれに接続され、この接
   続されたプロセッサからアクセスされるキャッシュメモ
   リとを備えたマルチプロセッサ装置において、 上記プロセッサと上記システムバスとの間の経路に挿入
   されたマルチプロセッサ制御装置を備え、 このマルチプロセッサ制御装置は、マイクロプロセッサ
   のデータ入出力を制御するプロセッサインタフェース
   と、上記キャッシュメモリのデータの状態遷移およびシ
   ステムバス上のデータの情報の監視結果に基づき生成さ
   れるキャッシュコヒーレンス管理を行うコマンドを上記
   プロセッサインタフェースに与えるバス監視装置とを含
   むことを特徴とするマルチプロセッサ制御装置。