JP3235578B2

JP3235578B2 - メモリアクセス制御方式

Info

Publication number: JP3235578B2
Application number: JP36760298A
Authority: JP
Inventors: 晋樹阿部
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-12-24
Filing date: 1998-12-24
Publication date: 2001-12-04
Anticipated expiration: 2018-12-24
Also published as: JP2000194601A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＣＰＵやＩ／Ｏデバ
イスの要求に応じてメモリにアクセスするメモリアクセ
ス制御方式に関する。

【０００２】

【従来の技術】近年、コンピュータ・システムの処理速
度の高速化手法の一つとして、プロセッサの動作周波数
の高速化や、メイン・メモリやＩ／Ｏとプロセッサを繋
ぐシステム・バスの動作周波数の高速化などが行われて
いる。

【０００３】これに伴い、処理速度の遅いメイン・メモ
リもＤＲＡＭ(Dynamic Random Access Memory)からＥＤ
ＯＤＲＡＭ(Extended Data Out DRAM)、そして現在で
はＳＤＲＡＭ(Synchronous DRAM)やＲＤＲＡＭ(Rambus
DRAM)（商標登録番号第３０５３４１３号）へとより高
速にメモリ・アクセスが可能なものへと変化している。

【０００４】なお、ＳＤＲＡＭの規格は、ＪＥＤＥＣ規
格２１−Ｃで定められている。

【０００５】

【発明が解決しようとする課題】しかし、依然としてプ
ロセッサ処理速度とメモリ処理速度間には大きなギャッ
プが存在しており、コンピュータ・システムの処理速度
向上には、メモリ・アクセスの高速化が必須条件となっ
ている。

【０００６】例えば、特開平１−２３１１４５号公報で
は、メモリ・アクセスの際、アクセスすべきメモリ・モ
ジュールがビジーの状態である場合はビジー状態でない
モジュールに対して先にアクセスを行うことによりメモ
リ・アクセスの高速化を図っている。

【０００７】しかし、従来のこの技術ではモジュールの
ビジー検出のための方法及びアクセス順序変更の方法な
どが明記されておらず、メモリ・アクセスに対する順序
変更の方法によっては、最も早く発行されたメモリ・リ
クエストが順序変更により待たされ続ける可能性もあ
り、実現性と具体性に欠ける。

【０００８】また、アクセス順序変更においても、近年
のシステムでは、必ずIn-Orderでのアクセス順を要求す
るもの、Out-of-Orderでのアクセスを許すもの等、一様
にアクセス順序を変更することも出来ない状況がある。

【０００９】このように多くのプロセッサを搭載するマ
ルチ・プロセッサ・システムや、Ｉ／Ｏからのメモリア
クセスが多発する近年のコンピュータ・システムにおい
てはメモリ・アクセスの高速化を妨げる要因が多様化し
ており、新しい高速化手法が必要とされている。

【００１０】本発明は、メイン・メモリにＳＤＲＡＭの
ようなシステム・クロックに同期したメモリ・モジュー
ルを採用するマルチ・プロセッサ・コンピュータ・シス
テムにおいて、プロセッサやＩ／ＯからのＤＭＡその他
のメイン・メモリに対するアクセスに関して、各メモリ
・モジュールのバンク・ビジー状況の管理方法と、メモ
リ・アクセス順序の制御方式、インターリーブ化などの
最適化方式を中心に、メモリのスループットを向上させ
る方式を提供する。

【００１１】

【課題を解決するための手段】本発明によるメモリアク
セス制御方式は、メモリへのアクセスを制御するメモリ
アクセス制御方式において、メモリ空間を、大グループ
に分割し、該大グループを小グループに分割し、前記メ
モリへの複数のアクセス要求を、大グループ間で第１の
調停をする第１の調停手段と、該第１の調停手段による
調停により選択された前記大グループ内の複数のアクセ
ス要求を前記小グループ間で第２の調停をする第２の調
停手段と、を備え、前記第２の調停手段により選択され
た小グループ内のアドレスへアクセスすることを特徴と
する。

【００１２】また、本発明によるメモリアクセス制御方
式は、上記のメモリアクセス制御方式において、前記第
１の調停手段は、データ線のオーナーチェンジ頻度が少
なくなるように前記第１の調停をすることを特徴とす
る。

【００１３】更に、本発明によるメモリアクセス制御方
式は、上記のメモリアクセス制御方式において、前記第
１の調停手段は、データ線のオーナーチェンジに要する
時間が少なくなるように前記第１の調停をすることを特
徴とする。

【００１４】更に、本発明によるメモリアクセス制御方
式は、上記のメモリアクセス制御方式において、前記第
２の調停手段は、前記第１の調停手段による調停により
選択された前記大グループ内に互いに異なった小グルー
プの複数の小グループがあるときに、異なった小グルー
プが連続するように前記第２の調停をすることを特徴と
する。

【００１５】更に、本発明によるメモリアクセス制御方
式は、上記のメモリ制御方式において、アクセスが所定
の回数待たされている最先の前記アクセス要求を検出す
る手段と、前記第２の調停手段により選択された小グル
ープのアドレスへのアクセスに優先させて、前記アクセ
スが所定の時間待たされている最先のアクセス要求のア
クセス先へアクセスする手段と、を更に備えることを特
徴とする。

【００１６】更に、本発明によるメモリアクセス制御方
式は、上記のメモリ制御方式において、外部から設定し
た前記所定の回数を保持する手段を更に備えることを特
徴とする。

【００１７】更に、本発明によるメモリアクセス制御方
式は、上記のメモリアクセス制御方式において、前記複
数のアクセス要求を前記小グループ毎に蓄積する第１の
待ち行列を更に備えることを特徴とする。

【００１８】更に、本発明によるメモリアクセス制御方
式は、上記のメモリアクセス制御方式において、アクセ
ス順序の変更を禁止する前記複数のアクセス要求を蓄積
する第２の待ち行列と、該第２の待ち行列から前記第１
の待ち行列への前記アクセス順序の変更を禁止する複数
のアクセス要求の転送を制御する手段を更に備えること
を特徴とする。

【００１９】更に、本発明によるメモリアクセス制御方
式は、上記のメモリアクセス制御方式において、前記メ
モリ空間はデータ線のオーナーチェンジが少なくなるよ
うに複数組に分割された上で、前記大グループに分割さ
れていることを特徴とする。

【００２０】更に、本発明によるメモリアクセス制御方
式は、上記のメモリアクセス制御方式において、１又は
２以上の前記大グループが他の１又は２以上の前記大グ
ループと異なった位相のクロック位相で駆動されること
を特徴とする。

【００２１】

【発明の実施の形態】本発明によるメモリ制御方式は、
ＳＤＲＡＭをメイン・メモリとして採用するコンピュー
タ・システムにおいて、プロセッサによるアクセス、Ｉ
／ＯＤＭＡその他のメイン・メモリに対するアクセス
に関して、各メモリ・モジュールのバンク・ビジー状況
の管理と、メモリ・アクセス順序制御、インターリーブ
化などの最適化方式を用い、メモリのスループットを向
上させるものである。

【００２２】複数のバンクを持つタイプのメモリ・モジ
ュールを複数使用してメイン・メモリを構成する場合、
ページオープンとして同一バンクへ連続して複数のアク
セスを行うより、異なった行アドレス（ＲＯＷ）、異な
ったバンクに対するアクセスを連続させた方が動作の並
列度を上げやすく、結果として高バンド幅を維持しやす
い。

【００２３】本発明はこのスキームを基本原理とし、Ｄ
ＩＭＭ(Double Inline Memory Module)には複数のバン
クがあるが、１バンクを１Ｗａｙとして可能な限りのメ
モリ・アクセス多重並列動作を目指した多Ｗａｙのイン
ターリーブ方式と、その実現に必要なリクエスト順序制
御方式を提供する。

【００２４】図１０に単一のＤＩＭＭにアクセスする際
の、タイミング図を示す。図１０（ａ）に示すように、
リードコマンドとコラムアドレスをＤＩＭＭに与えてか
ら２Ｔ（Ｔは、１クロック周期）後にデータのアクセス
が可能となる。図１０（ｂ）に示すように、単一のＤＩ
ＭＭの同一のバンクに連続してアクセスする場合、オー
トプリチャージが終了してから次のコマンドとアドレス
をＤＩＭＭに与えるので、４Ｔだけの非アクセス時間が
生じてしまう。図１０（ｃ）に示すように、単一のＤＩ
ＭＭの異なったバンクに連続してアクセス（バンク間で
インターリーブしてアクセス）すれば、非アクセス時間
は生じない。図１０（ｄ）も、単一のＤＩＭＭの異なっ
たバンクに連続してアクセスすれば、非アクセス時間が
生じないことを示す。

【００２５】プロセッサやＩ／Ｏからのメイン・メモリ
・アクセスの際は、そのアドレスと実際に実装されてい
るＤＩＭＭのタイプや容量から簡単な変換によって、ア
クセスのターゲットとなるＤＩＭＭのロケーションを示
すメモリグループ、バンクを算出する。

【００２６】図１を参照すると、メモリ・アクセス要求
はキュー１６３に保持され、インターリーブ管理のため
のＣＳ−ＢａｎｋＲｅｇｉｓｔｒａｔｉｏｎテーブル
１６５にリクエスト要求を示すｂｉｔを立てる。

【００２７】一方、ＢａｎｋＢｕｓｙテーブル１６６
は、ＤＩＭＭに対するアクセスを開始すると該当するｂ
ｉｔが立てられ、データの受信、ＳＤＲＡＭへのプリチ
ャージが完了するとｂｉｔが消されるといった、現在の
ＤＩＭＭのバンク・ビジー状況を示すテーブルである。
このＢａｎｋＢｕｓｙテーブル１６６は発行制御部１
６４の内部で制御する。

【００２８】ＣＳ−ＢａｎｋＲｅｇｉｓｔｒａｔｉｏ
ｎテーブル１６５とＢａｎｋＢｕｓｙテーブル１６６
の論理反転を論理積したＩｓｓｕａｂｌｅＲｅｑｕｅ
ｓｔテーブル１６７は、結果としてバンク・ビジーでは
ないアクセス要求を示すテーブル、つまり発行可能なリ
クエストを示すテーブルとなる。

【００２９】このテーブルよりＤＩＭＭ間のアービトレ
ーション（第１の調停）及びラウンド・ロビンなどのア
ービトレーション（第２の調停）を行い、最終的にＤＩ
ＭＭに発行するアドレスを決定する。

【００３０】このテーブルを用いた管理法により、多Ｗ
ａｙのインターリーブ制御が可能となる。

【００３１】なおこのアクセス順序最適化の際、最も早
く発行されたリクエストが待たされ続けることのないよ
う、最も古いリクエストがＷａｉｔＰｅｒｉｏｄレジ
スタ１７４で設定される期間待たされた場合は、アービ
トレーション結果を用いず、古いリクエストが優先的に
発行される。

【００３２】また、上記ではアービトレーションにより
メモリへのアクセス順序の変更が発生するが、これを許
さない状況においては、Ｉｎ−Ｏｒｄｅｒ／Ｏｖｅｒｆ
ｌｏｗＦＩＦＯ１９３（図５参照）を用いて、それ以
前のメモリ・アクセスが全てＤＩＭＭに対して発行し終
えるまでバンク・キュー１６３にセットしない制御を行
う。

【００３３】以上のハードウェア、またはハードウェア
に組み入られたアルゴリズムにより、メモリ・アクセス
の多Ｗａｙインターリーブを行うことによりメモリに対
するスループットの向上が可能となる。

【００３４】さらに、ＷａｉｔＰｅｒｉｏｄレジスタ
１７４により、スループットの向上とレイテンシの向上
とのトレードオフをレジスタ設定によって行うことが出
来る。

【００３５】図２に実施形態としてシステム全体の構成
を示す。

【００３６】システム・バス６００には、複数のプロセ
ッサ（以下、「ＣＰＵ」という。）７１０，７２０，７
３０と、システム・バス６００とメイン・メモリ３００
間のアドレス系信号を制御するアドレス制御チップ（以
下、「ＡＤＣ」という。）１００とシステム・バス６０
０とメイン・メモリ３００間のデータ系信号を制御する
データ制御チップ（以下、「ＤＴＣ」という。）２００
とが接続され、Ｉ／Ｏデバイス５００を制御するＩ／Ｏ
制御チップ（以下、「ＩＯＣ」という。）４００はＡＤ
Ｃ１００、ＤＴＣ２００に接続され、マルチ・プロセッ
サ・システムを構成している。

【００３７】ＡＤＣ１００はＣＰＵ７１０〜７３０から
のメモリ・アクセスと、ＩＯＣ４００を介してアクセス
されるＩ／Ｏデバイス５００からのＤＭＡのリクエスト
・アドレスを受信し、メイン・メモリ３００へのアクセ
スを行う。ＤＴＣ２００はＣＰＵ７１０〜７３０及びＩ
／Ｏデバイス５００からのライト・データと、メモリか
らのレスポンス・データを受信する。

【００３８】なお、近年のシステム・バス信号線の増加
に対応するため、本実施形態ではアドレス系信号とデー
タ系信号の制御に別のチップを用いているが、信号本数
に余裕があるのであればＡＤＣ１００とＤＴＣ２００は
統合しても構わない。ＩＯＣ４００についても同様であ
る。

【００３９】図３はＡＤＣ１００、ＤＴＣ２００及びメ
イン・メモリ３００を構成するＤＩＭＭとの接続例を示
したものである。

【００４０】メイン・メモリ３００に対するリクエスト
はメモリ・グループ・セレクト制御部１９０を介して、
そのリクエスト・アドレスからメモリ・グループ１制御
部１６０またはメモリ・グループ２制御部１８０へ転送
される。メモリ・グループ１制御部１６０及びメモリ・
グループ２制御部１８０から出力されたＤＩＭＭアドレ
ス１７５,１７６,１９５,１９６は、複数のメモリ・デ
ータ・バッファ・チップ（以下、「ＭＤＢ」という。）
１１０〜１１３で受信され、アドレス信号１３０〜１３
７を介して各ＤＩＭＭ１２０へ送られる。

【００４１】ライト・データはＤＴＣ２００からデータ
・インタフェース１５０を介してＭＤＢ１１０〜１１３
へ送られ、データ線１４０〜１４７を介してＤＩＭＭ１
２０に送信される。

【００４２】リード・リプライは逆にＤＩＭＭ１２０か
らＭＤＢ１１０〜１１３へ転送され、データ・インタフ
ェースを介してＤＴＣ２００へ送られる。

【００４３】ＭＤＢ１１０〜１１３は単なるライト/リ
ード・データバッファとして機能し、特に特徴を持たな
いので本発明では詳しく説明しない。従って、ピン数に
余裕があればレイテンシ向上のためにＭＤＢを用いない
ことも可能である。なお、ＭＤＢ１〜４の接続関係の構
成例を図４に示す。メモリ・制御グループからのアドレ
ス１７５,１７６はF/Fを介してＤＩＭＭへのアドレス信
号１３０,１３１へ出力される。ＤＴＣからのデータ線
１５０はバッファを介してＤＩＭＭのデータ線１４０,
１４１と接続される。

【００４４】本実施形態では、データ６４ｂｉｔとＥＣ
Ｃ８ｂｉｔを格納する７２ｂｉｔの標準的なＳＤＲＡＭ
で構成されたＤＩＭＭを用いており、一度に読み出せる
サイズとして４枚のＤＩＭＭ１２０を１Ｂｌｏｃｋと定
義し、３２ｂｙｔｅ（６４ｂｉｔ×４枚／８）の処理を
行う。なお、ＳＤＲＡＭのバースト長を設定して、より
多くのデータを一度に処理することも可能であり、本実
施例はバースト長が２であることを想定している。

【００４５】また、本発明の基本原理はメモリ・アクセ
スを多重並列動作させることにあるため、ＡＤＣ／ＤＴ
Ｃ（１００，２００）とＤＩＭＭ１２０とはこの基本原
理を考慮して接続する必要がある。

【００４６】図３を参照してＡＤＣ／ＤＴＣ（１００，
２００）とＭＤＢ１１０〜１１３、ＤＩＭＭ１２０との
接続について説明する。

【００４７】１Ｂｌｏｃｋは４枚のＤＩＭＭ１２０で構
成され、例えば、ＤＩＭＭ０１−Ａ，ＤＩＭＭ０１−
Ｂ，ＤＩＭＭ０１−Ｃ，ＤＩＭＭ０１−Ｄの４枚でＤａ
ｔａ２５６ｂｉｔ＋ＥＣＣ３２ｂｉｔを構成す
る。

【００４８】ＤＩＭＭ０１−Ａにはアドレス線１３０が
接続され、データ線１４０のＭＤＢ１（符号１１０）に
接続される。同様にＤＩＭＭ０１−Ｂにはアドレス線１
３０、データ線１４２のＭＤＢ２（符号１１１）、ＤＩ
ＭＭ０１−Ｃはアドレス線１３４、データ線１４４のＭ
ＤＢ３（符号１１２）、ＤＩＭＭ０１−Ｄはアドレス線
１３４、データ線１４６のＭＤＢ４（符号１１３）に接
続される。なお、アドレス線１３０とアドレス線１３４
にはＡＤＣ１００のＭｅｍＧｒｏｕｐ１制御部１６０か
ら入力した同一のアドレスが現れる。

【００４９】このようにＤＩＭＭナンバーに付けられた
Ａ〜ＤのデータはＭＤＢ１〜ＭＤＢ４に対応している。

【００５０】同様に０１から０８までの８Ｂｌｏｃｋ分
のＤＩＭＭが図３に示すとおり接続される。この接続に
おいては、ＤＩＭＭナンバーの奇数と偶数ではデータ線
を共用していない。

【００５１】つまり、ＣＰＵ７１０〜７３０からの命令
フェッチやデータ・リードにおける、あるメモリ空間の
近傍に対する連続したメモリ・アクセスが発生した場合
にも、出来るだけＤＩＭＭのデータ線のＣｈａｎｇｅ
Ｏｗｎｅｒが発生しない様考慮した接続になっている。

【００５２】アドレス側の並列度向上によるスループッ
トの改善より、データ側のコンフリクトの方が致命的な
遅延をもたらす要因となる。

【００５３】従って、ＡＤＣ１００側でこの接続を考慮
したＤＩＭＭアクセス順の最適化を行うことで、データ
線のＯｗｎｅｒＣｈａｎｇｅやコンフリクトを避ける
ことが可能になる。

【００５４】また、一般的にＤＩＭＭに与えられるクロ
ックは、近年の標準的なＰＣ１００規格などのＳＤＲＡ
Ｍでは１００ＭＨｚである。一方、ＡＤＣやＭＤＢとい
った制御チップのインタフェース部はその２倍の２００
ＭＨｚで動作させることが可能である。

【００５５】この動作周波数差を利用して、データ線を
共用するＤＩＭＭ０１，ＤＩＭＭ０５の１００ＭＨｚク
ロックとＤＩＭＭ０３，ＤＩＭＭ０７の１００ＭＨｚク
ロックの位相を１８０度ずらすことによりデータ線１４
０のＣｈａｎｇｅＯｗｎｅｒのためのサイクルを半分
に縮めることが可能となる。

【００５６】図１１に異なったＤＩＭＭにアクセスが移
行する場合のタイミングチャートを示す。図１１（ａ）
に示すように、通常は、アクセスするＤＩＭＭを変更す
る場合、データ線に１Ｔ（符号１１０１で示す）の間隔
が空くようにタイミング制御しなければならない。とこ
ろが、図１１（ｂ）に示すように、位相が１８０度ずれ
た（逆位相の）クロックのグループに分割することによ
り、アクセスするＤＩＭＭを変更する場合、データ間隔
を０．５Ｔ（符号１１０２で示す）に短縮することがで
きる。

【００５７】図３中の網掛け部のＤＩＭＭはその他のＤ
ＩＭＭに対し１８０度位相のずらしたクロックを供給
し、アドレス線、データ線に関しても１８０度位相のず
らしたタイミングで使用される。

【００５８】図５はＡＤＣ１００内のメモリに対するリ
クエストのインターリーブ化、アクセス順序の最適化を
行う回路を示したものである。

【００５９】メモリ・グループ・セレクト制御部１９０
は、ＣＰＵ７１０〜７３０からのメモリアクセスとＩＯ
Ｃ４００からのＤＭＡをシリアライズ化し、どのＤＩＭ
Ｍへアクセスを行うかを算出するシリアライズ回路１９
１と、メモリ・リクエストの情報を登録するｎエントリ
の容量を持つＭｅｍｏｒｙＱｕｅｕｅ１９２と、
リクエストの発行順序変更を許さないＩｎ−Ｏｒｄｅｒ
のリクエスト、またはこれ以下のキュー（ＭｅｍＧｒｏ
ｕｐＱｕｅｕｅ１６１、ＢａｎｋＱｕｅｕｅ１６３）が
フル状態の場合に格納されるｎエントリの容量を持つＩ
ｎ−Ｏｒｄｅｒ／ＯｖｅｒＦｌｏｗＦＩＦＯ１９３
と、そのＦＩＦＯを制御するＦＩＦＯ制御部１９４か
ら構成される。

【００６０】各キュー、ＦＩＦＯは図７に示す内容が登
録される。

【００６１】メモリ・キュー１９２にはコマンドＣＭ
Ｄ、ＤＩＭＭの行アドレスＲＯＷ、列アドレスＣＯＬ、
リプライの際のＩＤとキューのエントリの有効／有効を
示すＶが格納される。

【００６２】Ｉｎ−Ｏｒｄｅｒ／ＯｖｅｒＦｌｏｗＦ
ＩＦＯ１９３にはＤＩＭＭナンバーＤＮ、バンク・ナン
バーＢＡＮＫ、メモリ・キュー番号ＭＱＥＮＴ、Ｉｎ−
Ｏｒｄｅｒ指示を示すＯＲＤＲが格納される。

【００６３】メモリ・グループ１制御部１６０又はメモ
リ・グループ２制御部１８０は、追い越し制御を可能と
するｍエントリの容量を持つメモリ・グループ・キュー
１６１と、キューの制御部１６２、８個のＤＩＭＭのバ
ンク数に対応して分けられたバンク・キュー１６３、リ
クエストの発行順序を制御する発行制御部１６４によっ
て構成される。本実施形態では実装するＤＩＭＭの最大
バンク数は８とする。

【００６４】メモリ・グループ・キュー１６１にはＩｎ
−Ｏｒｄｅｒ／ＯｖｅｒＦｌｏｗＦＩＦＯ１９３と同様
に、ＤＩＭＭナンバーＤＮ、バンク・ナンバーＢＡＮ
Ｋ、メモリ・キュー番号ＭＱＥＮＴが格納される。

【００６５】メモリ・リクエストはＩｎ−Ｏｒｄｅｒ／
ＯｖｅｒＦｌｏｗＦＩＦＯ１９３にリクエストが存在
する場合はそのＦＩＦＯから、それ以外はシリアライズ
回路１９１から、メモリ・グループ１制御部１６０また
はメモリ・グループ２制御部１８０へ転送される。

【００６６】メモリ・グループ１制御部１６０はＤＩＭ
Ｍナンバーが奇数であるＤＩＭＭに対するアクセスを制
御し、メモリ・グループ２制御部１８０はＤＩＭＭナン
バーが偶数であるＤＩＭＭに対するアクセスを制御す
る。

【００６７】ＤＩＭＭナンバーが奇数と偶数ではデータ
線の共用がないためメモリ・グループ・セレクト制御部
１９０から各メモリ・グループ制御部１６０又は１８０
へ分岐したメモリ・リクエストは以降、完全に独立して
並列処理される。

【００６８】図１に、バンク・キュー１６３と発行制御
部１６４の詳細な構成を示す。

【００６９】バンク・キュー１６３は２個のエントリを
もつキューであって、ＤＩＭＭの１Ｂａｎｋに対応して
おり、メモリ・キュー１９２のエントリ番号ＭＱＥＮＴ
とＤＩＭＭナンバーＤＮを格納し、最大８バンクをサポ
ートするため同様のものが他に７個存在する。なお本実
施例ではバンク・キュー１６３は２個としたが、システ
ムに合わせ、何個実装しても構わない。

【００７０】発行制御部１６４は、バンク・キュー１６
３にリクエストが登録される際、ＤＩＭＭナンバーとバ
ンク・ナンバーから該当する部位にｂｉｔが立つＣＳ−
Ｂａｎｋレジストレーション・テーブル１６５と現在の
全ＤＩＭＭのバンク・ビジー状況を示すＢａｎｋＢｕ
ｓｙテーブル１６６と、ＣＳ−Ｂａｎｋレジストレーシ
ョン・テーブルとＢａｎｋＢｕｓｙテーブルの論理反
転の論理積であり、バンク・ビジーではないアクセス要
求を示すテーブルＩｓｓｕｅａｂｌｅＲｅｑｕｅｓｔ
テーブル１６７と、バンク・キューへ登録された順序を
保持する１６エントリの容量を持つＤｉｍｍＮｕｍｂ
ｅｒＯｒｄｅｒキュー１６８とそのキュー１６８を管
理制御するＤＩＭＭ・ナンバー・オーダー・キュー制御
部（以下、「ＤＮＯＱ制御部」という。）１６９と、最
も古いリクエストの待ち許容時間を設定するＷａｉｔ
Ｐｅｒｉｏｄレジスタ１７４と、４×８マトリックスの
ＩｓｓｕｅａｂｌｅＲｅｑｕｅｓｔテーブル１６７に
対してアービトレーションを行い、メモリへ発行するリ
クエストを決定するアービター（第１と第２の調停手
段）１７０と、バンク・キュー１６３内のメモリ・キュ
ー・エントリ番号ＭＱＥＮＴをＤＩＭＭの行アドレスＲ
ＯＷへ変換するＱＥＮＴ−ＲＯＷ変換部１７１と、ＲＯ
Ｗを発行した後、列アドレスを発行制御するＣＯＬアド
レス制御部１７２と、ＤＩＭＭへのリクエスト発行前に
タイミング調整を行う発行タイミング制御部１７３から
構成される。ＭＤＢへのアドレス線１７５,１７６は、
位相の違うクロックで動作するＤＩＭＭを考慮して、そ
れぞれのクロック位相に合わせたアドレス線である。

【００７１】なお、これらは片方（ＤＩＭＭナンバーが
奇数）のメモリ・グループを制御するために構成されて
おり、同様のもの（ＤＩＭＭナンバーが偶数の制御部）
が他に一つ存在する。

【００７２】次に、図５の回路の動作について、同図な
どを参照して説明する。

【００７３】ＣＰＵ７１０〜７３０によるアクセスやＩ
ＯＣ４００によるＤＭＡといったメモリに対するリクエ
ストはシリアライズ回路１９１において順序化され、同
時にそのアドレスからどのＤＩＭＭに対するアクセスか
を算出する。

【００７４】例えば、図６に示す様にアドレスをある場
所で区切り、バンク、ＤＩＭＭナンバー、ＲＯＷアドレ
ス、ＣＯＬアドレスを決定しても構わない。但し、この
区切り位置は実装されるＤＩＭＭのタイプ（Ｂａｎｋ
数）、総容量等に依存するため、レジスタなどを設けて
区切り位置や算出法を動的に変化させる。また、もちろ
ん本発明のスキームに準じた並列アクセスを考慮した算
出方法を採る必要がある訳だが、本発明において算出法
は本質ではないためここでは詳しく論じない。

【００７５】シリアライズ回路１９１を通ったメモリ・
リクエストは全て、ｎエントリ（ｎは自然数）の容量を
持つメモリ・キュー１９２へ格納される。このキューは
図７に示すとおりコマンド、行アドレス、列アドレス、
リクエストＩＤが格納され、以後の処理においては、メ
モリ・キュー格納時のエントリ番号ＭＱＥＮＴを持ち回
り、実際にＤＩＭＭに対してリクエストを発行する際に
ＭＱＥＮＴを介して参照される。

【００７６】メモリ・リクエストは、ＤＩＭＭナンバー
が奇数であればメモリ・グループ１１６０、偶数であれ
ばメモリ・グループ２１８０へ振り分けられ、メモ
リ・グループ・キュー１６１へ図７で示すようにＤＩＭ
Ｍナンバー（ＤＮ）、バンク（ＢＡＮＫ）、メモリ・キ
ュー・エントリ番号（ＭＥＱＮＴ）が格納される。

【００７７】メモリ・リクエストにはロック処理など、
複数のＣＰＵ間排他制御のためのセマフォ管理に関する
Ｒｅａｄ−Ｗｒｉｔｅ−Ｒｅａｄ等の一連のシーケンス
など、アクセス順序の変更を許さないものがある。一般
的にこのような状況の場合、ＣＰＵ７１０〜７３０はロ
ック、もしくはＩｎ−Ｏｒｄｅｒでの処理を望むリクエ
ストであることを、信号線やリクエスト・コマンドなど
を用いて明示的に示す。

【００７８】Ｉｎ−Ｏｒｄｅｒのメモリ・リクエストで
あることが検知されると、そのメモリ・リクエストはＩ
ｎ−Ｏｒｄｅｒ／ＯｖｅｒＦｌｏｗＦＩＦＯ１９３
へ図７に示すＤＩＭＭナンバー（ＤＮ）、バンク（ＢＡ
ＮＫ）、メモリ・キュー・エントリ番号（ＭＱＥＮＴ）
とＩｎ−Ｏｒｄｅｒリクエストであることを示す１をセ
ットされたオーダー指示（ＯＲＤＲ）を格納する。

【００７９】また、その名の通り、Ｉｎ−Ｏｒｄｅｒ／
ＯｖｅｒＦｌｏｗＦＩＦＯ１９３は、メモリ・グル
ープ・キュー１６１がフルの状態においても一時的な格
納場所として用いられ、この場合はオーダー指示（ＯＲ
ＤＲ）はセットされない。

【００８０】一度Ｉｎ−Ｏｒｄｅｒ／ＯｖｅｒＦｌｏ
ｗＦＩＦＯ１９３にリクエストが格納されると、シリ
アライズ回路１９１からの後続の如何なるリクエストも
Ｉｎ−Ｏｒｄｅｒ／ＯｖｅｒＦｌｏｗＦＩＦＯ１９
３へ貯められ、メモリ・グループ制御部１６０及び１８
０へのルートはＩｎ−Ｏｒｄｅｒ／ＯｖｅｒＦｌｏｗ
ＦＩＦＯ１９３からのもののみとなり、決してリクエ
ストの追い越しを許さない。

【００８１】ＦＩＦＯ制御部１９４はＩｎ−Ｏｒｄｅｒ
／ＯｖｅｒＦｌｏｗＦＩＦＯ１９３の先頭のリクエ
ストとメモリ・グループ制御部１６０及び１８０の全て
のキュー１６１、１６３を監視しており、ＦＩＦＯ１９
３先頭のリクエストにＯＲＤＲｂｉｔがセットされて
いる場合は、メモリ・グループ制御部１６０及び１８０
内の全てのバンク・キュー１６１、１６３が空になるま
で、メモリ・リクエストをメモリ・グループ制御部１６
０及び１８０へ転送するのを抑止する。

【００８２】メモリ・グループ制御部１６０及び１８０
内の全てのバンク・キュー１６１、１６３が空になる
と、先頭のＩｎ−Ｏｒｄｅｒリクエストのみを転送し、
最終的にＤＩＭＭに対してＩｎ−Ｏｒｄｅｒリクエスト
が発行されたのを確認してから転送抑止を解除する。

【００８３】これによりＩｎ−Ｏｒｄｅｒリクエストは
１発ずつシリアルに発行されるため、発行順序の変更を
防ぐことが可能である。

【００８４】ＯＲＤＲｂｉｔがセットされていない、
メモリ・グループ・キュー１６１のフルが原因で格納さ
れたリクエストは特に抑止されず、メモリ・グループ制
御部１６０又は１８０へ転送される。

【００８５】メモリ・グループ・キュー１６１はｍエン
トリ（ｍは自然数）のキューであり、ＤＩＭＭ番号（Ｄ
Ｎ）が奇数／偶数に振り分けられたリクエストが登録さ
れ、メモリ・グループ・キュー１６１の内容は、バンク
番号によりさらに８個あるバンク・キュー部１６３の一
つへ転送される。

【００８６】バンク・キュー部１６３はサポートするＤ
ＩＭＭの最大バンク数と同じ分だけ用意する必要があ
る。実施形態ではバンク８個のＤＩＭＭをサポートして
いる。

【００８７】メモリー・グループ・キュー１６１は比較
的エントリ数の小さいバンク・キューの詰まりによっ
て、リクエスト転送が滞らないよう、メモリ・グループ
・キュー（ＭＧＱ）制御部１６２によってリクエストの
追い越し制御が行われる。なお、ここでいうメモリ・グ
ループ・キュー１６１は追い越し読み出し可能なキュー
である。

【００８８】図１にＤＩＭＭナンバー奇数側のメモリ・
グループ１制御部１６０の詳細を示す。なお、ＤＩＭＭ
ナンバー偶数側のメモリ・グループ２制御部１８０も同
様である。

【００８９】バンク・キュー１６３は２エントリのキュ
ーで、メモリ・キュー・エントリ番号（ＭＱＥＮＴ）、
ＤＩＭＭナンバー（ＤＮ）が格納される。この２個のエ
ントリ間に発行の際の優先順はなくフラットな関係であ
る。

【００９０】バンク・キュー１６３にリクエストが登録
される際は、８バンク×２エントリ＝１６エントリの容
量を持つＤＩＭＭナンバー・オーダー・キュー１６８に
バンク・キュー１６３へセットされた順番にＤＩＭＭナ
ンバー（ＤＮ）とバンク番号（ＢＡＮＫ）が登録され
る。また、ＣＳ−Ｂａｎｋレジストレーション・テーブ
ル１６５にはＤＩＭＭナンバー（ＤＮ）とバンク番号
（ＢＡＮＫ）を示すビットを立て、リクエストの存在を
示す。

【００９１】バンク・ビジー・テーブル１６６は現在の
各ＤＩＭＭ、各バンクのビジー状況を示すテーブルであ
る。ＤＩＭＭに対し、ＲＯＷアドレスを発行の際にビジ
ーを示す１がセットされ、その後ＣＯＬアドレス発行、
レスポンス・データ受信、オートプリチャージ完了に至
るまでセットされ続ける。

【００９２】Ｉｓｓｕｅａｂｌｅリクエスト・テーブル
１６７はＣＳ−Ｂａｎｋレジストレーション・テーブル
とバンク・ビジー・テーブルの論理反転との論理積を示
すテーブルである。このテーブルは、現在バンクがビジ
ーでないアクセス可能なＤＩＭＭを示している。実際の
ＤＩＭＭへ発行するリクエストの決定は、Ｉｓｓｕｅａ
ｂｌｅリクエスト・テーブル１６７と、ＤＩＭＭナンバ
ー・オーダー・キューを制御するＤＮＯＱ制御部１６９
間とのアービトレーションによってなされる。

【００９３】アービター１７０は、ＤＩＭＭナンバー４
行とバンク８列の３２の要素を持つマトリックス・テー
ブルであるＩｓｓｕｅａｂｌｅリクエスト・テーブル１
６７に対するアービトレーションを行う。

【００９４】アービトレーション・ルールはまず、ＤＩ
ＭＭナンバーを示す行方向から行われ、図３で示すＤＩ
ＭＭ１２０とＡＤＣ１００との接続を考慮し、図８で示
すルールが用いられる。

【００９５】優先順位の一番高い、現在のＤＩＭＭナン
バー・ポインタと同一のＤＩＭＭナンバーは、同一のＤ
ＩＭＭで、バンクが異なっていることを示している。こ
のパタンは同じＤＩＭＭへのアクセスであることからデ
ータ線のＣｈａｎｇｅＯｗｎｅｒも必要なく、最も効
率的に並列度を上げることが可能である。

【００９６】次に優先度の高い異位相クロックのＤＩＭ
Ｍは、データ線のＣｈａｎｇｅＯｗｎｅｒに要する期
間が半クロックで済むことから、同一アドレス線を共有
するＤＩＭＭより優先度が高い。

【００９７】以上のアービトレーション・ルールにより
ＤＩＭＭにアクセスすべきリクエストを含むＤＩＭＭナ
ンバーが決定され、さらに発行バンクに対するラウンド
・ロビンによるアービトレーションが行われる。

【００９８】しかしながら、リクエスト発行の全てをア
ービトレーションに依存してしまうと、ＣＰＵ７１０〜
７３０やＩＯＣ４００から、本来時間的に早い時期に発
行されたリクエストが、状況によっては長時間後回しに
される可能性がある。そこで、ＤＮＯＱ制御部１６９に
よって、ある程度発行順序の重み付けを行う。

【００９９】ＤＮＯＱ制御部１６９は、図９に示される
ように、バンク・キューに登録された順序を保持してい
るＤＩＭＭ・ナンバー・オーダー・キューから、実際に
ＤＩＭＭに発行されたリクエストを消去すると共に、常
にバンク・キュー登録順を維持する。

【０１００】また、ＤＩＭＭ・ナンバー・オーダー・キ
ューに登録された最も古いリクエストに関して、アービ
トレーション毎に値をカウントアップさせるカウンター
を持ち、最も古いリクエストが何回アービトレーション
に負けたか、つまりリクエスト発行をどれほど待たされ
ているかをカウントする。

【０１０１】最も古いリクエストがある回数（図の例で
は３回）待たされると、アービターは図８のアービトレ
ーション・ルールを無視し、ＤＮＯＱ制御部１６９が指
示する最も古いリクエストを発行リクエストとして決定
する。

【０１０２】以上の制御により最も古いリクエストの待
ち許容時間を設定するレジスタであるＷａｉｔＰｅｒ
ｉｏｄＲｅｇｉｓｔｅｒ１７４を設けることにより、
スループット向上のためのリクエス順序最適化とレイテ
ンシの向上化の両面に対するトレード・オフをレジスタ
で設定させることが可能となる。

【０１０３】アービターで決定されたメモリ・リクエス
トにより、ＭＱＥＮＴ−ＲＯＷ変換部１７１でキュー・
エントリ番号から、追い越し読み出し可能なメモリ・キ
ュー１９２のキュー・エントリ内を参照し、コマンド、
ＲＯＷアドレスを得て、発行タイミング制御部１７３
で、各ＤＩＭＭへのリクエスト発行の周波数変換などを
行い、まずＤＩＭＭにＲＯＷアドレスが発行される。同
時にＣＯＬアドレス制御部１７２へＲＯＷ発行が通知さ
れるとメモリ・キュー１９２を参照しＣＯＬアドレスを
得、適当なタイミングでＤＩＭＭに対しＣＯＬアドレス
を発行する。

【０１０４】

【発明の効果】以上説明したように、本発明によれば以
下の効果が奏される。

【０１０５】第一の効果は、ＳＤＲＡＭを用いたＤＩＭ
Ｍに対するスループットを向上させることが可能であ
る。

【０１０６】その理由は、ＤＩＭＭを効果的に結線しそ
の接続構造に特化した制御と、ＤＩＭＭのバンクによる
多Ｗａｙのインターリーブ制御を行っていることにあ
る。

【０１０７】さらに、半数のＤＩＭＭを位相の異なるク
ロックで駆動することにより、データ線のＯｗｎｅｒ
Ｃｈａｎｇｅのための期間を半減させていることも挙げ
られる。

【０１０８】第二の効果は、スループット向上と、レイ
テンシ向上の関係をレジスタ設定によりトレードオフが
可能となっていることである。

【０１０９】その理由は、リクエスト順序最適化のアー
ビトレーション・ルールと、リクエスト待ち時間許容レ
ジスタへの設定値によるリクエスト順序優先といった両
面からの制御により、この２要素に対する重み付けを可
能にしていることにある。

【図面の簡単な説明】

【図１】図５のバンク・キュー１６３と発行制御部１６
４の構成を示すブロック図である。

【図２】本発明によるメモリアクセス制御方式及び該方
式を利用するＣＰＵ、Ｉ／ＯＤｅｖｉｃｅなどを含むブ
ロック図である。

【図３】本発明によるメモリアクセス制御方式の構成を
示すブロック図である。

【図４】図３のＭＤＢ１〜４の構成例を示す回路図であ
る。

【図５】図３のアドレス制御チップ（ＡＤＣ）の構成を
示すブロック図である。

【図６】本発明の実施形態によるアドレスをバンク、Ｄ
ＩＭＭナンバー、ＲＯＷアドレス、ＣＯＬアドレスに分
割した図である。

【図７】図５のメモリ・グループ・キュー１６１、メモ
リ・キュー１９２及びイン・オーダー／オーバーフロー
ＦＩＦＯが記憶する内容を示す図である。

【図８】図１のアービタ１７０の動作例を示す図であ
る。

【図９】図１のアービタ１７０の別の動作例を示す図で
ある。

【図１０】単一のＤＩＭＭの動作タイミングチャートで
ある。

【図１１】複数のＤＩＭＭの動作タイミングチャートで
ある。

【符号の説明】１００アドレス制御チップ（ＡＤＣ）１６３ Bank Queue １６７ Issuable Request Table １７０アービタ１９３ In-order/Overflow FIFO ２００データ制御チップ（ＤＴＣ３００メインメモリ４００Ｉ／Ｏコントローラ（ＩＯＣ）５００Ｉ／ＯＤｅｖｉｃｅ６００システムバス７１０、７２０、７３０ＣＰＵ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平９−282223（ＪＰ，Ａ) 特開平11−24984（ＪＰ，Ａ) 特開昭60−120449（ＪＰ，Ａ) 特開平４−237347（ＪＰ，Ａ) 特開平４−54544（ＪＰ，Ａ) 特開平８−272672（ＪＰ，Ａ) 特開平４−190435（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 12/00 - 12/06 G06F 13/16 - 13/18

Claims

(57)【特許請求の範囲】

【請求項１】メモリへのアクセスを制御するメモリア
クセス制御方式において、メモリ空間を、メモリモジュール毎の大グループに分割
し、該大グループをバンク毎の小グループに分割し、前記メモリへの複数のアクセス要求を、大グループ間で
第１の調停をする第１の調停手段と、該第１の調停手段による調停により選択された前記大グ
ループ内の複数のアクセス要求を前記小グループ間で第
２の調停をする第２の調停手段と、を備え、前記第２の調停手段により選択された小グルー
プ内のアドレスへアクセスすることを特徴とするメモリ
アクセス制御方式。
【請求項２】請求項１に記載のメモリアクセス制御方
式において、前記第１の調停手段は、メモリに接続され
るデータ線を使用するメモリモジュールの変更の頻度が
少なくなるように前記第１の調停をすることを特徴とす
るメモリアクセス制御方式。
【請求項３】請求項１又は２に記載のメモリアクセス
制御方式において、前記第１の調停手段は、メモリに接
続されるデータ線を使用するメモリモジュールの変更に
要する時間が少なくなるように前記第１の調停をするこ
とを特徴とするメモリアクセス制御方式。
【請求項４】請求項１乃至３のいずれか１項に記載の
メモリアクセス制御方式において、前記第２の調停手段
は、前記第１の調停手段による調停により選択された前
記大グループ内に互いに異なった小グループの複数の小
グループがあるときに、異なった小グループが連続する
ように前記第２の調停をすることを特徴とするメモリア
クセス制御方式。
【請求項５】請求項１乃至４のいずれか１項に記載の
メモリアクセス制御方式において、アクセスが所定の回数待たされている最先の前記アクセ
ス要求を検出する手段と、前記第２の調停手段により選択された小グループのアド
レスへのアクセスに優先させて、前記アクセスが所定の
時間待たされている最先のアクセス要求のアクセス先へ
アクセスする手段と、を更に備えることを特徴とするメ
モリアクセス制御方式。
【請求項６】請求項５に記載のメモリアクセス制御方
式において、外部から設定した前記所定の回数を保持す
る手段を更に備えることを特徴とするメモリアクセス制
御方式。
【請求項７】請求項１乃至６のいずれか１項に記載の
メモリアクセス制御方式において、前記複数のアクセス
要求を前記小グループ毎に蓄積する第１の待ち行列を更
に備えることを特徴とするメモリアクセス制御方式。
【請求項８】請求項７に記載のメモリアクセス制御方
式において、アクセス順序の変更を禁止する前記複数の
アクセス要求を蓄積する第２の待ち行列と、該第２の待
ち行列から前記第１の待ち行列への前記アクセス順序の
変更を禁止する複数のアクセス要求の転送を制御する手
段を更に備えることを特徴とするメモリアクセス制御方
式。
【請求項９】請求項１乃至８のいずれか１項に記載の
メモリアクセス制御方式において、前記メモリ空間は、
メモリに接続されるデータ線を使用するメモリモジュー
ルの変更の頻度が連続アドレスアクセス時に少なくなる
ように、別々のデータ線に接続される複数組に分割され
た上で、各組で前記大グループに分割されていることを
特徴とするメモリアクセス制御方式。
【請求項１０】請求項１乃至９のいずれか１項に記載
のメモリアクセス制御方式において、１又は２以上の前
記大グループが他の１又は２以上の前記大グループと異
なった位相のクロック位相で駆動されることを特徴とす
るメモリアクセス制御方式。