JP2779044B2 - バッファ記憶制御方法 - Google Patents

Description

【発明の詳細な説明】 ［発明の利用分野］ 本発明は、複数台の処理装置から共有されるバッファ
記憶装置の制御方式に関する。

［従来の技術］ 処理装置内のバッファ記憶装置と主記憶装置の間に、
複数の処理装置によって共有される大容量のバッファ記
憶装置を置くシステム構成法は、共有バッファ記憶装置
によって主記憶アクセス時間の等価的な改善を行うもの
であり、主記憶装置のアクセス速度と処理装置における
演算速度に大きな違いのある場合に好適な技術である。
このような構成を取る計算機システムとの例として、日
立製作所Ｍ−68xH処理装置がある。この処理装置の構成
は、日立製作所、『Ｍ−68xプロセッサグループ機能説
明書』、6080−２−002に記載があり、処理装置毎にス
トアスルータイプのバッファ記憶装置（以下BSと呼ぶ）
を持ち、また処理装置２台につき１台のストアインタイ
プの共有バッファ記憶装置（以下WSと呼ぶ）を持ち、そ
の接続関係は第２図に示すものである。

例として挙げたシステムでは、処理装置での命令実行
に伴って主記憶装置上のデータが必要となった場合、ま
ず自処理装置のBS内に必要なデータがあるかどうかを検
索する。BS内に求めるデータがバッファされていなかっ
た時にはこのデータの転送要求をWSに送出する。WSから
BSへのデータはブロックと呼ばれる管理単位で転送され
る。WS側では、この要求に対し、そのブロックがWS内に
バッファされているかどうかを検索し、存在していた時
にはそのデータをWSから読み出しデータ要求元の処理装
置のBSに対して転送する。

もう一つの技術として、マルチプロセッサ構成に於け
る主記憶参照の順序関係を保証するための技術がある。
複数台の処理装置をもつシステムでは、処理装置の命令
実行時間は処理装置内のバッファ記憶装置の状態、割込
みなどによって変化するため、複数台の処理装置間で命
令実行を同期させることは一般には困難である。これに
代わって処理装置間の主記憶アクセスに伴なうデータア
クセスの整合性を確保するため、各処理装置からの主記
憶装置の参照の順序に対して保証が必要となる。例とし
てIBM社，“370/XA Principles of Operation",SA22−7
085,5−25〜５−29に規定された条件は、「処理装置か
ら主記憶装置の参照、更新は、処理装置での命令実行順
序に必ずしも従う必要はないが、主記憶装置に接続され
ているその他の処理装置から、当該処理装置の主記憶ア
クセスが順序に従っていないことが観測されてはならな
い」ことを要求する。この条件における「観測」とは、
ある主記憶装置からの処理が上記に規定した順序制御を
守って処理された場合にはあり得ないデータを他処理装
置からの主記憶参照時に読み出すことができる、という
意味である。

上記文献で規定される順序保証においては命令実行結
果に矛盾が生じないかぎり、主記憶ないしはWS上で処理
装置からの要求の順序を命令実行の順序にしたがって処
理する必要はないが、他処理装置からの読み出しと書き
込みは非同期であるため、処理順序を守らず処理する方
式を取り入れた場合に、他処理装置からみて更新順序が
守られている場合には起こりえない主記憶のデータを読
み出すことができないことを保証することは、何らかの
追加処理を必要とする。このような処理は障害時などを
含めて実現することは難しく、従来は実際に順序を守っ
て処理する構成としていた。例えば、上記のような処理
の順序を保証するため、バッファ記憶装置内の処理にお
いて先行する処理がバッファ記憶装置内の何らかの要因
で待たされているとき、後続の要求は待たされている要
求より先に処理されないように制御することによって要
求の順序を保障する。このような方式を実現した公知例
として、特許公報特開昭61−45355がある。この公知例
では先行の要求が終了したことを示す信号を受け取って
から後続の要求を選択する要求選択方式の例が示されて
いる。

これとは別の従来技術として、バッファ記憶装置処理
のパイプライン化が知られている。処理装置内部のバッ
ファ記憶は応答時間が重要であるが、それに比べ共用さ
れるバッファ記憶装置では処理の応答のみならず処理の
スループットを確保することが設計上重要な問題とな
る。このため、演算処理で知られたパイプライン処理を
バッファ記憶の制御に適用し、装置のトータルのスルー
プットを高めるようにしたバッファ記憶装置の構成法が
知られている。

このようなパイプライン処理の方式を以下処理の例を
もとに説明する。処理装置間で共有されたバッファ記憶
装置では、処理装置からのバッファ記憶装置を参照、更
新する要求に対して、以下の３つの処理が順に行われ
る。

（１）処理装置間の要求の調停を行い、存在する要求か
ら１つを選びだす。（以下この処理をＰステージと呼
ぶ） （２）Ｐステージにて選び出された要求に対して、対象
となる主記憶領域がバッファ記憶装置内にバッファされ
ているかどうかを検索する。（以下この処理をＪステー
ジと呼ぶ） （３）Ｊステージ処理によって求めるデータがバッファ
記憶装置内にあった要求を、記憶部に転送する。（以下
この処理をＥステージと呼ぶ） （４）記憶部では、バッファ記憶装置から所定のデータ
を読み出し、あるいは書き込みを行なう。（以下この処
理をＷステージと呼ぶ） 以上の各ステップの処理が各１サイクルで実施可能で
あるとすれば、１つの要求の処理では計４サイクルが必
要となる。このようなバッファ記憶装置のパイプライン
処理方式では、各ステージをオーバラップして実行し処
理に要する時間を短縮せずに、毎サイクル新たな要求を
処理できるようにし、等価的にスループットを向上させ
る。

一方もう一つの公知なスループット性能向上の方式と
して、処理の並列性をあげて１度に受け付ける要求の数
を増やす構成が知られている。これはパイプライン方式
と併用可能であり、前の処理の例に適用すれば、Ｐステ
ージで複数の要求を切り出し、Ｊ以降のステージで１サ
イクルに同時に複数の要求を処理できるようにすること
によって実現することができる。例えば上記のパイプラ
イン方式を取るバッファ記憶装置において、低速なメモ
リを用いるためメモリの読み出しに複数サイクルを必要
とする場合には、メモリ部を多重化し同時に複数の素子
を動作させることによって必要な性能を確保すればよ
い。このような制御を行う場合のパイプラインの流れの
例を第４図に示す。この例ではＷステージに２サイクル
要し、Ｗステージにおいて２つの処理を並列に実行でき
る（図ではW0とW1と記す）場合を示している。

［発明が解決しようとする問題点］ 従来例において説明したパイプライン方式を取るバッ
ファ記憶装置では、始めに説明したバッファ記憶装置に
おける順序制御は各ステージにおいてＰステージでの要
求の順序を守ることによって達成される。この制御の例
を第６図に示す。例えば処理装置Ａからの要求のあと
に、処理装置Ｂからのバッファ記憶装置を２つ一度に起
動する要求は、前の要求の処理が終了した時点で投入可
能であり、その間空きとなったバッファ記憶装置に対し
ては他処理装置からの空いているバッファ記憶装置のみ
を用いる要求を先行して処理することによって順序保証
が可能となる。このため、第６図に示す処理装置Ａから
のバッファ記憶装置を２つ使用する要求は、先行の要求
２が終了する時点まで投入することができない。一方別
処理装置からの要求４は、要求３に比べ後に到着したも
のであるが、先行の２つのバンクを使用する要求より先
に処理でき、かつ先に処理することによってバッファ記
憶部の空き時間を減らし、バッファ記憶部を有効に使用
することができる。

一方このようなバッファ記憶部のビジーを予測しなが
ら、バッファ記憶部に対して要求を投入する方式には、
処理装置からのブロックデータの読み出し要求を高速に
処理できないという問題点がある。一般にこのような共
用バッファ記憶装置に対する処理装置からの読み込みの
要求は、処理装置内のバッファ記憶装置（以下区別のた
めBSと呼ぶ）の管理単位（以下ブロックと呼ぶ）に要求
されたデータの転送を行なうが、このとき処理装置の演
算器が処理において実際に必要とするデータ（以下ター
ゲットデータと呼ぶ）はブロックデータの一部である。
また、演算器からBSに対するデータ要求に答えるために
は、ターゲットデータを演算器に送出することができれ
ばよく、ブロックの残りのデータは先読みの効果を期待
したものである。このため、ブロックデータの読み込み
ではターゲットデータの早い送出が性能上クリティカル
パスとなり、ブロックデータの他の部分はそれに比べや
や遅れても良い。またブロックデータはストアデータに
比較的に大きなサイズを読みだすため、バッファ記憶の
記憶ユニットを複数１度に起動するよう制御し、ブロッ
クデータ読み出し時間を短縮する必要がある。このため
バッファ記憶部のビジーを予測する制御方式では、先行
する要求に対してブロック転送を起動するときにはブロ
ック転送に用いるすべてのバッファ制御部が空かないか
ぎり投入しない。このため、ブロック転送にかぎらず、
複数のバッファ記憶ユニットを１度に起動する要求は、
１つのバッファ記憶ユニットのみを起動する要求に比べ
て投入されにくく、バッファ記憶部での処理投入待ち時
間が長くなり、応答時間の増加によってシステムの性能
が低下しやすい。本発明は、上記の問題点を解決するた
めになされたものである。

本発明の目的は、処理の順序性を保証しつつ、ターゲ
ットデータに対するバッファ記憶部の応答を改善し、か
つ比較的簡単な構成のバッファ記憶装置を実現すること
にある。

［問題点を解決するための手段］ 従来技術において問題であったターゲットデータに対
するバッファ記憶装置の応答を改善する方式として、バ
ッファ記憶部の一部がビジー状態である場合においても
ターゲットデータに対するバッファ記憶部が空きである
ならば要求を切り出すよう構成しターゲットデータを先
行送出する方法が考えられる。この方法ではターゲット
以外のデータに対するバッファ記憶部で要求が滞留する
ことがあっても、ターゲットデータに対する処理は当該
バッファ記憶部が空きのため処理が行われデータが送出
されるため、ターゲットデータに関するバッファ記憶装
置の応答は改善される。しかしながらこの時には切り出
したブロック転送要求が先行の要求と競合を起こすた
め、要求の滞留が発生し、従来の方式の項で説明したよ
うにバッファ記憶の順序保証のためバッファ記憶部の利
用効率は低下する。このため、さらに本発明では、バッ
ファ記憶装置内の制御に順序制御を保証しながら、後続
要求の追越処理を取り入れることによって、バッファ記
憶部の利用効率の低下を防ぐ。具体的には、WS部での処
理パイプラインのステップを、システム内全体の処理順
序性を保証する必要のあるステップと、各サブシステム
の内のみの順序性を保証すればよいステップに分離し
て、後者のステップに対してサブシステム間の処理の追
越を行うことによって処理の順序性を保証したままサブ
システムの利用効率を高めようとするものである。

一般に、このようなバッファ記憶装置の処理における
順序保証は、要求された順序を守って処理されなければ
ならない処理内容と、データの一貫性さえ保つことがで
きれば処理自体は入れ替わっても良い処理内容に分ける
ことができる。前者の例としては、例えば主記憶に対す
る書き込みにともなうバッファ記憶一致制御などがあ
り、後者としてはバッファ記憶装置に対する実際の書き
込み、読み出しがある。従って、このようなシステムに
おいてはバッファ記憶装置パイプラインを順序を守るス
テージと、データの一貫性のみを保証するステージによ
って構成し、バッファ記憶装置一致制御などの順序を保
証する処理は前者のステージに同期して、バッファ記憶
装置に対する読み出し、書き込みは後者のステージに同
期して実行する。このとき、また前者のステージに処理
要求が滞留しているときには後続の要求の切り出しを抑
止し、後者のステージに要求が滞留しているときには、
後続の要求の切り出しはデータの一貫性を保つ範囲で可
能とする。また前者のステージに対する切り出しは、先
行した処理要求との間では前者のステージ内にて競合が
生じないように制御する。このような制御によって、バ
ッファ記憶部が空きとなることが避けられ、バッファ記
憶の利用効率が低下することはない。

［作用］ このように構成されたシステムにおいては、上記のバ
ッファ制御における順序性はＰステージにて順序を守る
ことによって保障することができる。またＥステージに
て追越を可能とするように制御することによって、バッ
ファ記憶部の利用効率の低下も抑えることができる。ま
たＥステージにてブロックデータ読み出しのターゲット
以外の部分を待たせるように制御することによって先行
要求によるターゲットデータ送出の遅れを最小限に抑
え、かつ制御は比較的簡単なものすることができる。本
発明においてもＰステージでの要求の滞留が起きたとき
には従来同様にバッファ記憶部の利用効率の低下が発生
するが、Ｅステージにて要求が滞留可能であり、かつ大
部分の参照、更新に関するビジーはバッファ記憶部のビ
ジーであるため、Ｐステージでの要求滞留がまれにしか
発生しないよう制御することは比較的容易である。

［実施例］ 本発明の実施例を図面を用い説明する。本実施例は、
日立製作所のＭシリーズアーキテクチャに従った計算機
に関するものであり、アーキテクチャの詳細に関して
は、以下に示す参考文献を参照されたい。

日立製作所、“Ｍシリーズ処理装置”、8080−２−00
1 日立製作所、“Ｍシリーズ処理装置（M/EXモー
ド）”、8080−２−093 本実施例でのシステム構成は第２図に示すものであ
り、２台の命令処理装置10〜11が、１台のシステム制御
装置３を介して主記憶装置９に接続された構成を持つ。
システム制御装置３は、命令処理装置10、11からの主記
憶装置９に対する参照を管理する。このとき各命令処理
装置10〜11は内部に小容量のストアスルータイプの専用
バッファ記憶装置101〜102（以下BSと呼ぶ）を持ち、命
令処理装置で実行すべき命令コードおよび命令実行に必
要となるオペランドデータは通常はBS101〜102から読み
出され、BS内に必要なデータがなかった場合にはデータ
の要求がシステム制御装置３に送出される。またBS101
〜102はストアスルー方式を取り、命令実行にともなう
書き込みはBS内に書かれ、かつシステム制御装置３側に
も書き込み要求として送出される。システム制御装置３
内には、主記憶に対する要求の頻度を軽減し、アクセス
速度を等価的に改善するため、２台の命令処理装置10〜
11から共用されるストアインタイプの共用バッファ記憶
装置４（以下WSと呼ぶ）を持つ。WS4では、２台の命令
処理装置10〜11（以下この２つを合わせ，処理装置と呼
ぶ）からの主記憶に対するデータ読み出しと書き込み要
求に対し、WS4内にバッファされているデータによって
処理が行えるときには要求された処理を行い、WS4内に
該データがバッファされていない場合はそのデータを主
記憶装置９から読み出し、データの要求元に対して要求
されたデータを送るとともに、WS4内にそのデータの登
録を行なう。

また、システム制御装置３内には処理装置内のBS101
〜102の内容の一致制御を行なうバッファ記憶一致制御
論理８（以下FAAとよぶ）を持つ。この論理は主記憶に
対する書き込み時にBS101〜102の内容の整合性を保証す
る論理であり、WS4の動作と同期して動作する。共用バ
ッファ記憶からは該論理に処理装置からの要求の内容と
要求アドレスを送出し（信号線80）、同論理が処理実行
中であることを示すビジー信号81を受信する。

以下本実施例でのWS4の構成を第１図と第３図によっ
て説明する。第１図はWS4の構成の概要を示したもので
ある。また第３図は第１図のリクエスト制御論理42の、
処理装置10〜11からの要求を選択し、パイプラインに投
入する制御を行なう論理（これを以下プライオリティ制
御系論理と呼ぶ）の詳細な構成を示す。

本実施例において、処理装置10〜11からの主記憶の参
照・更新要求の処理内容は、 （１）処理装置内のBS101〜102へのブロック転送要求 （２）主記憶装置への書き込み要求のうち、８バイト幅
で更新を行うもの。（フルストアという） （３）主記憶装置への書き込み要求のうち、８バイト幅
の一部分のみの更新を行うもの。（部分ストアという） の３種類であり、その指定は、主記憶のアドレス、
主記憶操作の要求内容（以下オーダと呼ぶ）：即ち、参
照なのか更新なのかの指定、更新の場合、書き込むべ
きデータ、の３つの情報によって行われる。第１図にお
いて、処理装置10〜11からの主記憶に対する要求は、WS
内でパイプライン処理される。パイプラインは５段から
なり、この各段での処理は以下に示すものである。

Ｐステージ：処理装置10〜11からの要求をキューから
取りだし、Ｊステージで使用するアドレス・データ・オ
ーダのレジスタに各々設定する。

Ｊステージ:Pステージにて切り出された要求のアドレ
スをアドレスアレイ441〜442にて検索し、WS4内にある
かどうかを検索する。

Ｅステージ:Jステージにおいて切り出された要求を、
所定のWSデータアレイ51〜54に転送する。

Ｓステージ:WSデータアレイ内で、所定のメモリ素子
にアドレスとデータを転送する。

Ｗステージ：メモリからデータを読み出し、処理装置
に対して転送する。

また、上記の各パイプラインステージは、ステージに
同期したリソースを持つ。以下第１図に即し、単独の要
求の処理を説明する。

処理装置10〜11から到着した要求は、まず処理を待つ
ためキューイングされる。キューは処理装置10〜11ごと
に独立に設けられており、第１図においてアドレスとオ
ーダに対しては411〜412、書き込みデータは414〜415で
ある。キューの要求はFiFO処理され、キューの先頭の要
求の情報は制御線420〜421から制御論理42に入力され、
ある条件のもとに選択される。条件については制御論理
の説明と合わせ後述する。

Ｐステージの処理は、キューのもっとも前に到着した
要求（以下簡単のため、これをキューの要求と呼ぶ）か
ら、先行要求との競合、他キューの要求との競合、プラ
イオリティなどの条件から、どの要求を選択するかを判
定し、次ステージで使用するため、セレクタ431〜434に
よって選択をおこない、次（Ｊ）ステージ処理で使用す
るＰ同期レジスタ群435〜436に要求内容を示すアドレ
ス、オーダを設定、また書き込みデータが必要なストア
処理に対してはＰ同期のデータレジスタ437〜438に書き
込みデータを設定することである。以下、セレクタとＰ
同期レジスタ431〜438を合わせて、Ｐ同期リソースとい
う。選択（以降明確化のため切り出すという語を用い
る）処理は制御論理42（第３図）によって行われ、一度
に最大２つまでの要求を選択できる。このとき同じ処理
装置からの要求を２個同時に受け付けることはない。

Ｐステージで切出された要求は、次にＪステージで処
理される。ＪステージではＰ同期レジスタ435〜436に設
定されたアドレスとオーダを用いてアドレスアレイ論理
441〜442にて要求されたデータがWSデータアレイ51〜54
内にバッファされているかどうかを検索する。アドレス
アレイ論理441〜442は、Ｊステージで同時に２つまでの
要求を処理するため２重化されている。アドレスアレイ
論理441〜442の検索により、求めるデータがWSデータア
レイ51〜54に存在すると判定された時には、Ｊステージ
の要求を要求の種類と要求されたデータのアドレスに応
じた所定のWSデータアレイ部51〜54に送出するため、ア
ドレスとオーダをセレクタ460〜463によって所定のデー
タアレイ51〜54に対応したＪ同期レジスタ群470〜473に
設定する。書き込みのばあいは、同時に書き込みデータ
を書き込みデータレジスタ464〜467に設定する。また、
各データアレイに対して起動信号782が送出される。ま
た、Ｊステージに同期して、BS一致制御論理８にアドレ
スとオーダが送出される。これら、Ｊステージ処理によ
って使用され、設定されるセレクタ460〜467、レジスタ
470〜477を合わせ、Ｊ同期リソースと呼ぶ。

WSデータアレイ部51〜54はアドレスによって８バイト
ごとに分割されて割り付けられている。WS内のアドレス
によるデータの割り付けを第９図に示す。これにより、
全WSデータアレイ51〜54を同時に起動すると32バイトの
連続したアドレスのデータが得られ、データアレイ内バ
ッファ520〜522を介して処理装置10〜11に送出可能とな
る。この実施例では読み出し、書き込みに要するメモリ
サイクルが２クロックサイクルであるメモリ素子をWS素
子として用いている。

Ｓデータアレイ部51〜54の各面は、１つのメモリ部51
0を持ち、独立動作可能である。WSデータアレイ51〜54
は、制御論理42から起動信号782を受け取ることによっ
て操作を開始する。動作はデータアレイ内制御論理531
によって、制御される。データアレイ内は３つのパイプ
ラインＥ、Ｓ、Ｗによって処理される。

起動信号782を受け取った制御論理531は、Ｅ同期レジ
スタ541〜542にＪステージで設定されたＪ同期レジスタ
群470〜477の値をセットする。

次のＳステージでは、設定されたＥ同期レジスタの値
をメモリ素子内のレジスタ512に転送する。最後のＷス
テージでは、読み出したメモリの値を処理装置へ転送す
るためバッファ520〜522に転送する。データアレイ内の
処理は、処理装置10〜11からの要求の性質によって異な
るため、第10図から第12図を用いて、WS4に対する要求
オーダのうち、主要な３つのタイプの処理である、処理
装置へのブロック転送要求、フルストア要求、部分スト
ア要求に対してその処理を説明する。

（１）ブロック転送 ブロック転送でのアドレスとデータの流れを第10図に
太線にて示す。処理装置10〜11内のBS101〜102はブロッ
クと呼ばれるデータ量単位に管理され、読み込みもこの
ブロックの大きさ単位に行なう。ブロック転送では処理
装置10〜11から与えられる情報は、要求のオーダとアド
レスである。この実施例では、ブロックサイズは32バイ
トであり、このデータをWSの全データアレイ51〜54を起
動することによって読み出す。処理装置からの要求内容
はオーダ、アドレス信号線420〜421を経由し制御論理42
に入力され、制御論理が以降の動作を制御する。ブロッ
ク転送要求では、制御論理42が要求を受け付けた時点
で、その要求のアドレスとオーダがＰ同期セレクタ431
〜432で選択された系のＰ同期レジスタ群435〜436に設
定される。ブロック転送の場合書き込みデータはともな
わないため、書き込みデータのキュー414〜415、セレク
タ433〜434、レジスタ437〜438は操作しない。第10図で
は、レジスタ435の側が選ばれた場合を示している。Ｊ
ステージでは与えられたアドレスに対してアドレスアレ
イ441を検索し、求めるブロックがWS4中にあった場合に
は、４つのデータアレイ部51〜54にアドレスとオーダを
送って起動し、各データアレイ部51〜54では指定された
ブロックのデータを読み出し、それを要求元の処理装置
10、11に転送する。このときデータアレイの起動信号78
2は同時に送出される必要はない。これについては第８
図の説明の項で詳説する。データアレイ51〜54では起動
信号782を受け取った後、メモリ素子を起動し、データ
を読み出し、データをWSデータアレイ部のバッファ520
〜521に蓄え、処理装置10〜11に対して８バイト／クロ
ックサイクルで２サイクルにわけて転送される。

ブロック転送の要求では、処理装置10〜11内の処理に
必要なデータ（以下ターゲットデータと呼ぶ）が処理装
置10〜11に到着するまで処理装置での命令実行処理が待
たされているため、性能低下を防ぐためには要求を受け
付けてからのブロックデータ、特にターゲットデータを
送出するまでの時間が短くなるように制御しなければな
らない。

（２）ストア処理 ストア処理は、フルストア処理と部分ストア処理の２
種類に分けられる。フルストア処理とは、８バイトのデ
ータアレイ幅全体を更新する処理であり、部分ストア処
理はデータアレイ幅より短いデータを更新するものであ
る。この実施例ではWS4のデータに信頼性向上のため各
データアレイ511幅ごとにチェックコードを用意し、WS
データアレイ更新時にチェックコードの再計算を行う必
要があるため、部分ストア処理とフルストア処理では動
作が異なる。部分ストア処理ではデータアレイ幅の一部
分の更新に対してデータアレイ幅全体に対するチェック
コードを計算するため、８バイト内の更新しない部分の
データを読み出して更新データとマージし、チェックコ
ードを計算する処理が必要となるためである。フルスト
アの処理でのアドレスとデータの流れを第11図に、部分
ストアの場合を第12図に各々太線にて示す。ストア処理
でのアドレスのキューイングと要求の選択、アドレスア
レイ検索などは、ブロック転送処理と同じであるが、ス
トア処理では対象となるデータ幅が小さく起動するWSア
ドレスアレイ51〜54は１つであり、また同時に処理装置
10〜11からの更新データをキューイングしているストア
データキュー414〜415から更新データが取り出され、WS
データアレイ51〜54に送られる。P,J,Eステージの処理
についてはブロック転送と同様であるが、ストア動作の
場合はストアデータがストアデータキュー414〜415から
取り出され、Ｐ同期レジスタ437〜438、Ｊ同期レジスタ
474〜477に各々設定される。

WSデータアレイ51〜54では１回のフルストアに２サイ
クルを要し、部分ストアでは始めにメモリ素子から読み
出しを行い、それを使ってチェックビットの再計算を行
なう。この処理によって、WSデータアレイは６サイクル
ビジーとなる。

この実施例ではBSがストアスルー方式を取るため処理
装置の行なうストアが、そのままWSに要求として送出さ
れる。このためストアのデータ幅は、ブロック転送時の
データの幅の1/8程度の４バイトないしは８バイトであ
り要求回数も多い。一方、制御命令実行などにおいてシ
リアライゼーションが必要となる場合を除いて、メモリ
に対するストア処理は、データの整合性を論理によって
別途保障すれば命令実行と同期して行なう必要はなく
（所謂突き放し制御）、ストア要求の処理が時間的に遅
れることによる性能への直接の影響はない。このため、
ストア要求の処理に関しては、応答より要求のスループ
ットを優先するよう設計する。

つぎにバッファ記憶装置の制御動作に関して説明す
る。始めにこの実施例でのWS4の制御のタイミングチャ
ートの例を第８図に示す。ワーク記憶に対する要求はパ
イプライン化されて処理されており、パイラインは、前
述のように１マシンサイクルピッチで動作するPJESの４
つのステージと、素子に対応するＷステージ、あわせて
５つのステージによって構成される。

処理装置10、11から要求をシステム制御装置３の共用
バッファ記憶装置（WS）４に対して送出した場合、前述
のように順に後続のJESWの各ステージに遷移し、データ
格納部であるデータアレイ部51〜54を起動してデータの
読み出し・書き込みをおこなう。このとき、各ステージ
にある要求は独立に処理され、リソースは競合せず、Ｐ
ステージの要求を毎サイクル切り出すことができる。こ
のとき、各処理装置からの要求は、各処理装置10〜11対
応には到着順が守られる。すなわち１つの処理装置10〜
11の要求のキュー411〜412はその処理装置に対応したキ
ュー内で先入れ先出しを守るが、処理装置間では要求の
到着順序と処理の順序は無関係である。ただし、要求が
長時間滞留しないように処理装置間のプライオリティが
制御されある程度の時間内にはサービスされるようにす
る。以下各処理装置10、11からの要求といった場合に
は、要求の受付キューの先頭にある最も前に到着した要
求を指すものとする。

Ｐステージでは、その時点での処理装置10、11からの
要求の中からＪステージのリソースの２面用意されたア
ドレスアレイ441、442の検索を行なおうとする要求を最
大２つ選択する。バッファ一致制御を伴う他処理装置の
バッファ記憶装置101、102の検索と更新、および主記憶
キー素子の更新を行なう。Ｊステージに存在する要求を
第８図ではアドレスアレイに対応してJ0とJ1と呼んでい
る。このパイプライン制御においては、Ｐ、Ｊ、Ｅの３
つのステージにおいて要求を滞留させることができる。
Ｐステージで要求が滞留するとは、処理装置からの要求
が選択されなかったということであり、選択されるまで
キューで待つ。Ｊステージでは以下の２つの場合に要求
が滞留する。

（１）Ｐステージにおいて切り出された要求の使用する
WSデータアレイに対応するＥステージに要求が滞留して
いるとき。

（２）主記憶キー、バッファ一致制御論理がビジーであ
りＪステージ処理を実行できないとき。

またＥ、Ｓ、ＷステージにはWSデータアレイ51〜54対
応に同時に最大４つの要求が存在可能であり、データア
レイ内の各データアレイの動作を制御する。ステージに
存在する４つの要求に対して、第８図ではWSデータアレ
イ51〜54に対応して０から３までの添字をつけて区別す
る。先に述べたようにＥステージでは要求を滞留させる
ことが可能であり、またＥステージでは要求に対応する
WSデータアレイ部51〜54がビジーのとき要求が滞留す
る。

この実施例では、従来技術の項で説明した要求の順序
を保証するために、Ｊステージにおいては後続要求の追
越を行わないように制御する。即ち、Ｊステージに要求
が１つ滞留しているときに、Ｊステージは同時に２つの
要求を処理可能であるためアドレスアレイ441、442の片
面は空いているが、後続要求を新たにＰステージから切
り出さない。

一方Ｅステージでは同じデータアレイ間での追越しは
行わないように制御し、異なったデータアレイ間の追越
は許す。すなわち、Ｅステージの１つのWSデータアレイ
51〜54に要求が滞留しているときにはそのWSデータアレ
イを必要とする要求がＪステージからＥステージに遷移
しないようにする。Ｅ以降のステージは滞留処理を行わ
ず、要求の内容に対応した一定時間で処理が終了する。
このような制御のもとでのパイプラインの流れの例とし
て、第８図の動作を説明する。

ここでは簡単のために処理装置０（10）からの要求は
第１サイクル目から３つ、各サイクルに１つずつ到着
し、処理装置１（11）の要求は第二サイクル目から各サ
イクル１つずつ到着するものとする。処理装置０（10）
から要求された内容は順に WSデータアレイW1（52）を使用するフルストア処理 WSデータアレイW2（53）を使用するフルストア処理 WSデータアレイW2（53）を使用するフルストア処理 の３つである。また処理装置１（11）から要求された内
容は、順に WSデータアレイW0（51）を使用するフルストア処理 全WSデータアレイを使用するブロック転送処理であ
り、ターゲットデータはデータアレイW1（52）より送出
される。

WSデータアレイW1（52）を使用するフルストア処理 の３つである。このとき、処理は第８図では以下のよう
に行われる。

（１）第一サイクルでは、処理装置０（10）からの要求
のみ存在する。使用するWSデータアレイW1はビジーでな
いと予測されるため、この要求はすぐにＪステージに切
り出す。

（２）第二サイクルでは、処理装置０（10）からの要求
はWSデータアレイW2（53）を使用するストアであり、処
理装置１からの要求はWSデータアレイW2（53）を使用す
るストアである。この両者の使用するWSデータアレイは
異なり、また先行の要求とも競合しないため、この両要
求をＪステージに切り出す。

（３）第３サイクルでは、処理装置０（10）からの要求
はWSデータアレイW2（53）を使用するストアであり、処
理装置１（11）からの要求は全WSデータアレイ51〜54を
使用するブロック転送であるため、後続ステージで使用
WSデータアレイが競合し、両者を同時には切り出せな
い。このときは、ブロック転送の優先順位が高いため、
処理装置１（11）のブロック転送要求を先に切り出す。
このとき、先行の要求は滞留せずＪステージからＥステ
ージに遷移した。

（４）第４サイクルでは第３サイクルで切り出したブロ
ック転送要求のため全WSデータアレイ51〜54がビジーで
あるため、処理装置10、11からのストア要求はいずれも
切り出せない。また先行の要求はいずれも滞留せず遷移
した。

（５）第５サイクルではまず先行の第２サイクルで切り
出した２つのストアと第３サイクルで切り出したブロッ
ク転送がWSデータアレイW0とW2（51、53）で競合するた
め、WSデータアレイW0とW2（51、53）に対するブロック
転送要求はＥステージE0とE2にて滞留する。一方新規の
要求では処理装置０（10）からのWSデータアレイW3（5
4）を使用するフルストア要求と処理装置１（11）から
のWSデータアレイW1（52）を使用するストア要求が処理
の対象となる。このとき処理装置０（10）からのストア
要求の使用するWSデータアレイW2（53）は先行要求が滞
留しているためＥステージがビジーであり切り出せな
い。一方処理装置１（11）からのストア要求は先行の要
求と競合しないため、Ｊステージに投入する。

（６）第６サイクルでは、Ｅステージに滞留していた要
求は２つとも競合条件が解消され、Ｓステージに遷移す
る。新規要求は処理装置０（10）からのストア要求で、
これは先行の要求と競合しないため、Ｊステージに投入
する。他の要求は滞留せず遷移する。

（７）第７サイクルでは切り出すべき要求はもうない。
また投入済みのすべての要求が保留なく遷移する。

以上が切り出しの処理の概要である。第三サイクルで
切り出されたブロック転送要求は先行の第１、第２サイ
クルで切り出された要求とWSデータアレイ競合を起こす
ため、Ｅステージにて先行の要求によりWSデータアレイ
のビジーが解除されるまで滞留する。

以下、上記のように切り出すべき要求の選択を行う論
理例を第３図に即し説明する。本実施例でのＰステージ
の要求切り出し部の論理構成は第３図に示す構成であ
る。このとき、Ｐステージの切り出しアルゴリズムは以
下のようになり、第３図の要求選択論理は以下のアルゴ
リズムにしたがって要求を選択する組合せ論理である。

（１）要求の種類によらず、Ｊステージに要求が滞留し
ているときには新規の要求を切り出さない。

（２）直前のサイクルでブロック転送要求を切り出した
ときには、WSデータアレイ部のどのWSデータアレイもビ
ジーであるため、新規の要求を切り出さない。

（３）どちらかの処理装置10、11からの要求がブロック
転送処理である場合には、１サイクル後にＥステージに
おいて要求が滞留しない場合、Ｊステージに切り出す。
この条件が満たされない場合、切り出したブロック転送
要求はＥステージのビジーのためＪステージで滞留する
ため、Ｊステージに切り出さない。

またブロック転送の要求が複数ある場合には、以下の
２つの条件のいずれかを満たす側を選択する。

２サイクル後に、ターゲットデータに対するWSデータ
アレイがビジーでない。

の条件を両者が満たす、あるいは両者が満たさない
ときは別途生成されたプライオリティによって優先順位
の高い側を選択する。

（４）処理装置10、11からの要求が両方ともストア要求
であった時には、先行の要求と競合しない要求のうち、
切り出せる最大の数の要求を切り出す。即ち処理装置1
0、11からのストア要求から、以下の条件を共に満たす
ものを選択する。

ストアを行なおうとするWSデータアレイ51〜54に対応
するＥステージにおいて１サイクル後に要求が滞留しな
い。これは、切り出した要求がWSデータアレイのビジー
によってＪステージで滞留しないための条件である。

この要求がWSデータアレイ51〜54に到着する３サイク
ル後に、ストアを行なうデータアレイがビジーでない。

このような要求の中から、同じWSデータアレイを使用
しない要求を２つ、また２つ選べないときには１つ選択
する。選択にあたって条件を満たす要求が複数ある場合
には別途生成されたプライオリティに従って選択する。

このアルゴリズムを実現するための第３図の論理は、
選択された要求によるWSデータアレイのビジーを予測す
る論理73とＪステージ、Ｅステージに要求が滞留するこ
とを予測する論理71、72、滞留・ビジー状態の予測結果
と処理装置間のプライオリティからＪステージに切り出
す要求を選択する組合せ論理70、要求間のプライオリテ
ィを生成する論理74の３つの部分からなる。以下各論理
の構成を順に説明する。

はじめに要求を選択する組合せ論理70を説明する。こ
の組合せ論理70では、処理装置10、11間の優先順位、要
求選択アルゴリズムは同じであり、処理装置０（10）と
処理装置１（11）に対する要求選択論理は同一構成であ
る。よって命令処理装置０（10）に対する要求選択論理
の構成を説明する。処理装置１（11）に対する同様の論
理は、すべての０を１に、すべての１を０に置き換える
ことによって得ることができる。要求を選択するかどう
かを判定する式は２段の組合せ論理からなり第１段で指
定した要求が先行した要求と競合するかどうかをテスト
し、競合しない要求を選択する。第二段で、プライオリ
ティを考慮してその要求を実際に選択するかどうかを判
定する。第１段での要求の競合条件の判定式は、以下に
示す第１式によって記述される。

RQV_k :処理装置Ｋからの要求が先行の要求と競合しな
い． RQE_k :処理装置Ｋからの要求が存在する． BP :Jステージがビジーである． BT :直前の要求はブロック輸送である． RQO_k＝BT:当該要求はブロック輸送である． BW_i :WSデータアレイｉに対するＥステージがビジーで
ある． RQB_kj:当該要求はWSデータアレイｊをターゲットバンク
として使用． RQW_ki:当該要求はWSデータアレイｉを使用． BB_j :WSデータアレイｊがビジーである． ＾ ：否定を示す． 第１式の第１項は、切り出す要求があることを、第２
項はＰステージにて滞留がないことをチェックする項で
ある。第３項は先行する要求とこの要求が競合するかど
うかをチェックする項である。第３項の括弧内の第１節
はブロック転送要求に対するもので、ブロック転送要求
の場合には先行要求によってターゲットデータを送出す
るデータアレイがビジーの時要求を切り出さず、それ以
外のデータアレイがビジーであっても要求を切り出すと
いう条件を見る項である。第２節はストア要求に対し
て、使用するデータアレイがビジーなら要求を切り出さ
ないという条件を見る項である。

また第二段の、要求を選択する論理を与える式を第二
式に示す。

SL_k :処理装置Ｋからの要求をＪステージに切りだすよ
う、選択する． PV₀₁:処理装置０のプライオリティが処理装置１より高
い． この第二式の第２項は、切り出し可能な処理装置から
の要求のうちＪステージに切り出し可能なものを、その
時点での処理装置間のプライオリティを用いて実際に切
り出すかどうかを判定する項である。処理装置10、11か
らの先行する要求と競合しない要求は、以下の４条件の
うち少なくとも一つが成立したとき、切り出すことがで
きる。

他に切り出し可能な要求が存在していない。

他の要求と使用WSデータアレイが競合しない。

自要求がブロック転送であり、他の要求はすべてスト
ア要求である。ストア要求よりブロック転送要求の優先
順位を高く設定し、ブロック転送を先に処理する。

自処理装置のプライオリティが、他処理装置のプライ
オリティより高い。

第２項の括弧内の第１項は上記項番を、第２項は
を、第３項はを、第４項はを各々示している。

次に、第13図にWSデータアレイ部51〜54のビジー状態
を予測計算するアレイビジー予測論理73の１データアレ
イ分の詳細な構成を示す。この論理73は、各WSデータア
レイ51〜54対応に計４個あり、各WSデータアレイのビジ
ー状態を要求の内容と使用WSデータアレイから３サイク
ル前に予測する。この時間関係は、そのサイクルでＰス
テージから切り出した要求がWSデータアレイ部に到着す
るときのWSデータアレイ部のビジーが該予測論理の出力
となるよう構成されている。この論理73は、要求のオー
ダのデコード論理731、ビジー時間設定論理732、ビジー
時間を計算するダウンカウンタ部733の３つの部分から
なる。各WSデータアレイ対応の論理はＰステージから切
り出された要求がＥステージにおいて滞留しないと予測
されたとき、Ｊステージ内の２つの要求各々に対して対
応するWSデータアレイが起動されるかどうかを判定し、
起動される場合にはデータアレイがビジーとなる時間を
要求のオーダとアドレス内容にしたがって計算する。２
つのＰステージに存在する要求が同時に同じWSデータア
レイを使用することはないため、計算された起動を判定
する信号735のたかだか一方のみが信号値１であり、ま
た計算されたビジー時間も少なくとも一方は０である。
ここから、Ｊステージに存在する２要求に対して論理
和、算術和を作成し736、737、Ｊステージの要求２つに
対してその使用するWSデータアレイに対しての新たに設
定するビジー時間を計算し、ダウンカウンタ入力の選択
論理7331からビジー時間をダウンカウンタのレジスタ73
32に設定する。ダウンカウンタ7332は１クロックサイク
ルごとにその時の値から１減算し、０となったところで
減算を停止する。このカウンタの値が１以上である間
は、そのデータアレイがビジーであることを示し、この
ビジー情報753をプライオリティ選択論理74及びＥステ
ージ滞留判定論理72に出力する。

次に、第14図にＥステージでの要求の滞留を予測する
論理72の構成を示す。この論理72は、WSデータアレイ51
〜54に対応して４組あり、Ｅステージでの要求の滞留を
２サイクル前に予測する。この時間関係はWSデータアレ
イ部のビジー予測論理に準ずる。各論理の構造は、「Ｅ
ステージに要求が存在し、その要求の用いるWSデータア
レイがその時点でビジーであれば、Ｅステージで要求は
滞留している」ことによる判定論理によって作成されて
いる。この論理72は自要求の使用するWSデータアレイが
先行要求によってビジーとなっていないかどうかを判定
するアレイ競合判定論理721と要求の滞留論理722〜726
からなる。あるWSデータアレイ51〜54に対応するＥステ
ージに要求が滞留していないとき（正確には第14図に示
した論理に要求が滞留していない、即ち滞留FF725の値
が“0"のときであり、実際の滞留が発生する時刻より２
サイクル前）、ＪステージにそのＥステージを使用する
要求を切り出すことができる。このとき、切り出された
要求がＪステージにて滞留しないと予測されるならば、
Ｅステージでの滞留のテストを行なう。Ｊステージの要
求が使用するデータアレイの情報をオーダとアドレスか
ら作成し、アレイビジー予測論理からのアレイビジー情
報753を用いて先行要求と使用するデータアレイ51〜54
が競合するかどうかを判定し、競合するときは信号線72
7を論理値“1"にする。このときＪステージ滞留検出論
理から73からＪステージに滞留がないという判定結果が
信号線761経由で報告されているため、論理和ゲート722
の出力は論理値“1"となる。このとき、信号線727が論
理値“1",即ちWSデータアレイの競合があるときには論
理積ゲート723の出力は“1"で、ゲート724の出力は“0"
となり、Ｅステージに滞留している要求があるという判
定結果が信号線752経由でＪステージ滞留予測論理73の
Ｐステージ要求切り出し論理70に報告される。またこの
ときＥステージからＳステージへの遷移を示す報告信号
線762は“0"のままであり、滞留している信号によって
アレイビジー情報は更新されない。また要求が滞留した
ときは、その要求のアドレスとオーダ情報をレジスタ72
6の更新を信号線752の結果によって抑止し、保持する。
また滞留した要求はFF725に保持されアレイビジー信号
が“0"となるまでＥステージの滞留情報を報告し続け
る。信号線727の結果が“0"のときはＥステージの滞留
は起こらず、信号線752は“0"、信号線762は“1"とな
り、アレイビジー情報が更新される。

次に、第15図にＪステージでの要求の滞留を予測する
論理71を示す。この論理71は、各Ｊステージ対応に２組
ある。各論理の構造は、「Ｊステージに要求が存在し、
かつＪステージの要求が遷移しようとするＥステージに
要求が存在し、そのＥステージの要求が次サイクルにＳ
ステージに遷移しないならば、Ｊステージで要求は滞留
している」という判定条件によって作成されている。論
理構成は第14図と同様であり、説明は繰り返さない。こ
こでFF7180と7181は時間関係を合わせるため信号を１サ
イクル遅らせる。

本実施例ではプライオリティ生成部の処理アルゴリズ
ムは、本発明の効果に関係しない。例えばフリーランカ
ウンタによって作成する疑似ランダムシーケンスによっ
て作成することができる。このプライオリティ生成アル
ゴリズムは、システムの性質と目的に応じて適宜選択す
べきものである。

以上の制御を行うことによって、要求の処理における
順序関係が保存されることを示す。Ｊステージに同期し
た処理（例えばBSの一致制御など）については、Ｊステ
ージでは要求処理の順序を追越を行わないよう制御する
ことによって保障しているため順序に関する矛盾は生じ
ない。Ｅステージでの要求の処理の順序性は、異なるWS
データアレイで見た場合には必ずしも保証されないが、
以下に示す理由によってこの順序制御の乱れは観測でき
ない。

（１）WSにおけるデータ整合性は、Ｅステージの各WSデ
ータアレイ個別に見た場合には、Ｐステージにて切り出
された順に要求が処理されるため、あるアドレスでの参
照・更新の順序は常にＰステージでの切り出し順序と同
じとなり矛盾は生じない。

（２）処理装置側での読み出しデータの順序は、各WSデ
ータアレイ51〜54内では（１）と同様の理由で保障され
るが、データアレイ間では処理順序は保障されない。し
かしながら、BS側で各ブロック転送時に４つのWSデータ
アレイごとに応答を管理し、整序を行うことによってWS
データアレイ間の時間的前後を吸収できる。また従来技
術の項で説明した、他処理装置により観測可能な順序
は、バッファの一致制御はＪステージに同期して実施さ
れるため各要求がＪステージを通過した順序と常に一致
しており、観測によってデータとしてありえない値が読
み出されることはない。

この制御において、WSデータアレイ51〜54の競合によ
ってＪステージに要求が滞留する場合のうち、先行要求
がＥステージで滞留し、かつその要求が滞留したデータ
アレイをその要求が使用する場合は、これは上記Ｐステ
ージの切り出しアルゴリズムにおいて先行要求がＥステ
ージで滞留することを予測し、その滞留したWSデータア
レイ51〜54に対して要求を切り出さないように制御して
いるため、発生しない。したがってＪステージで要求が
滞留する場合は、主記憶キーとBS一致制御論理部のいず
れかのビジー時のみである。

この実施例において、WSがストアスルー方式を採った
場合は、ストア要求が主記憶装置に対しても送出される
ことを除いて実施例の構成に大きな変更はない。このと
き主記憶装置に対するストア要求の送出は、Ｊステージ
に同期して送出しても、Ｅステージに同期しても良い。

この実施例において、WS内の他の各サブユニットがビ
ジーである条件は簡略化しているが、その他のビジー条
件は、WSデータアレイ51〜54内のビジー要因はＥステー
ジの滞留要因に加え、それ以外の要因はＰステージの滞
留要因か、要求を切り出さない条件に加えることによっ
て追加できる。

本実施例の変型として、Ｅステージ内でアドレスが一
致していない読み出しの要求と書き込みの要求の順序を
入れ換える制御を行うことも可能である。この場合に、
WS上でのデータの整合性のみ保証することによって、従
来技術の項で説明した順序保証を行うことができる。ま
たこの変型方式を用いることによって、ストアインタイ
プのBSに対して本発明を実施することが可能である。

「発明の効果」 この発明の実施により、従来技術の項で説明したバッ
ファ記憶装置に対する処理の順序を守り、かつバッファ
記憶装置の利用効率を改善し、またブロック転送に対す
るターゲットデータの応答が早いバッファ記憶装置を得
ることができる。

【図面の簡単な説明】

第１図は、本発明の共有バッファ記憶装置の構成を示す
図、 第２図は、本発明のシステム構成を示す図、 第３図は、本発明の共有バッファ記憶装置における要求
選択論理の構成を示す図、 第４図から第６図は従来のパイプラインの流れを示す
図、 第７図は本発明によるパイプラインの流れを示す図、 第８図は、本発明の１実施例におけるパイプラインの流
れを示す図、 第９図は、アドレスとWSデータアレイとの対応を示した
図、 第10図は、ブロックデータの読み出しの際のデータの流
れを示す図、 第11図は、フルストアの処理の際のデータの流れを示す
図、 第12図は、部分ストアの処理の際のデータの流れを示す
図、 第13図は、データアレイのビジーを予測する論理構成を
示す図、 第14図は、Ｅステージにおける滞留を予測する論理構成
を示す図、 第15図は、Ｊステージにおける滞留を予測する論理構成
を示す図である。 図中、10、11……命令処理装置、３……システム制御装
置、４……共用バッファ記憶装置、411〜412……リクエ
ストキュー、441〜442……アドレスアレイ論理、42……
制御論理、51〜54……データアレイ部、70……要求選択
論理、71……データアレイビジー予測論理、72……Ｅス
テージ滞留予測論理、73……Ｊステージ滞留予測論理。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田村 恭久 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所システム開発研究所 内 (56)参考文献 特開 平２−228761（ＪＰ，Ａ) 特開 平３−15965（ＪＰ，Ａ) 特開 平２−186455（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/163 ＪＯＩＳ ＥＰＡＴ ＷＰＩ

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】主記憶装置のデータの複写を保持するバッ
   ファ記憶装置であって、該バッファ記憶装置は同時に動
   作可能な複数のメモリ部より構成され、該バッファ記憶
   装置に対する複数の処理装置からの参照または更新の要
   求を処理するバッファ記憶装置制御方式において、要求
   が複数のメモリ部内のデータのアクセスをするとき、ア
   クセス可能状態にあるか否かに応じて、それぞれのメモ
   リ部へのアクセスタイミングを決定するバッファ記憶装
   置の制御方法。