JPH11316744A

JPH11316744A - 並列プロセッサおよび演算処理方法

Info

Publication number: JPH11316744A
Application number: JP10122541A
Authority: JP
Inventors: Yoshihiko Imamura; 義彦今村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-05-01
Filing date: 1998-05-01
Publication date: 1999-11-16
Also published as: US6349370B1

Abstract

(57)【要約】【課題】高い演算性能を発揮できる並列プロセッサを
提供する。【解決手段】一のプロセッサエレメントから共有メモ
リ２２４に対してページフォルトを伴う第１のアクセス
要求による外部アクセスバス２６を介した外部メモリと
の間のページ転送処理が終了する前に、他のプロセッサ
エレメントから共有メモリ２２４に対してページフォル
トを伴う第２のアクセス要求が発生した場合に、第１の
アクセス要求および第２のアクセス要求によって要求さ
れるサブページを、外部メモリから共有メモリ２２４に
転送した後に、当該要求されるサブページが属するペー
ジの他のサブページを、外部メモリから共有メモリ２２
４に転送する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、複数のプロセッサ
エレメントおよび共有メモリがコモンバスを介して接続
された並列プロセッサおよび演算処理方法に関する。

【０００２】

【従来の技術】近年、プログラム中の同時に実行可能な
複数の命令を１チップ内に組み込まれた複数のプロセッ
サエレメント（ＰＥ）で並列に実行し、プログラム全体
の実行時間の短縮を図る並列プロセッサの開発が行われ
ている。このような並列プロセッサのアーキテクチャと
して種々のものが提案されているが、それらの一つとし
て、１組のコモンバス（共有バス）に、複数のプロセッ
サエレメントおよび共有メモリを接続したものがある。

【０００３】図１６は、従来の一般的な並列プロセッサ
１のシステム構成図である。図１６に示すように、並列
プロセッサ１は、１チップ内にコモンバス２、ｎ個のプ
ロセッサエレメント３₁〜３_n、共有メモリ４およびバ
スユニット５が組み込まれており、コモンバス２にプロ
セッサエレメント３₁〜３_n、共有メモリ４およびバス
ユニット５が接続されている。また、バスユニット５
は、外部のチップインタフェース６を介してメインメモ
リ７に接続されている。また、共有メモリ４のメモリセ
ル領域４ａには、１個のデータポートＩ／Ｏが備えられ
ている。並列プロセッサ１では、プロセッサエレメント
３₁〜３_nが、共有メモリ４に記憶されているデータに
アクセスするときに、コモンバス２およびデータポート
Ｉ／Ｏを介してデータが伝送される。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た並列プロセッサ１では、プロセッサエレメント３₁〜
３_nと共有メモリ４との間のデータ転送および共有メモ
リ４とメインメモリ７との間のデータ転送が共にコモン
バス２を介して行われ、しかも、共有メモリ４のメモリ
セル領域４ａが１個のデータポートＩ／Ｏしか備えてい
ないため、以下に示すような理由から、プロセッサエレ
メント３₁〜３_nの待ち時間が長くなる可能性が高いと
いう問題がある。すなわち、共有メモリ４にページフォ
ルトが発生し、共有メモリ４とメインメモリ７との間で
ページの入れ替えを行っている間は、コモンバス２が使
用中であるため、プロセッサエレメント３₁〜３_nは共
有メモリ４にアクセスできない。従って、プロセッサエ
レメント３₁〜３_nから共有メモリ４に対してのアクセ
ス要求（リクエスト）は、ページ入れ替え処理が終了す
るまで待たされてしまい、並列プロセッサ１の演算性能
が低下する。

【０００５】本発明は上述した従来技術の問題点に鑑み
てなされ、高い演算性能を発揮できる並列プロセッサお
よび演算処理方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】上述した従来技術の問題
点を解決し、上述した目的を達成するために、本発明の
並列プロセッサは、単数または複数のサブページを記憶
する内部メモリを備え、当該内部メモリに記憶されたデ
ータを用いて演算処理を行う複数のプロセッサエレメン
トと、前記複数のプロセッサエレメントと接続された第
１のバスと、外部メモリと接続された第２のバスと、前
記第１のバスおよび前記第２のバスの双方に接続された
共有メモリとを有する。ここで、前記共有メモリは、複
数のサブページを記憶する記憶手段と、前記プロセッサ
エレメントからのアクセス要求に応じて、当該プロセッ
サエレメントの内部メモリと前記記憶手段との間の前記
第１のバスを介したサブページの転送、および、前記記
憶手段と前記外部メモリとの間の前記第２のバスを介し
た複数のサブページからなるページの転送を制御し、一
の前記プロセッサエレメントから前記記憶手段に対して
のページフォルトを伴う第１のアクセス要求による前記
第２のバスを介した前記共有メモリと外部メモリとの間
のページ転送処理が終了する前に、他の前記プロセッサ
エレメントから前記記憶手段に対してページフォルトを
伴う第２のアクセス要求が発生した場合に、前記第１の
アクセス要求および前記第２のアクセス要求によって要
求されるサブページを、前記外部メモリから前記記憶手
段に転送した後に、前記第１のアクセス要求および前記
第２のアクセス要求によって要求されるサブページが属
するページの他のサブページを、前記外部メモリから前
記記憶手段に転送する制御手段と。

【０００７】また、本発明の並列プロセッサは、好まし
くは、前記制御手段は、前記第１のアクセス要求および
前記第２のアクセス要求によって要求されるサブページ
を、前記第２のバスを介して前記外部メモリから前記記
憶手段に順に転送した後に、前記第１のアクセス要求に
よって要求されるサブページが属するページの他のサブ
ページを、前記第２のバスを介して前記外部メモリから
前記記憶手段に転送し、それに続いて、前記第２のアク
セス要求によって要求されるサブページが属するページ
の他のサブページを、前記第２のバスを介して前記外部
メモリから前記記憶手段に転送する。

【０００８】また、本発明の並列プロセッサは、好まし
くは、前記制御手段は、前記第１のアクセス要求によっ
て要求されるサブページを、前記第２のバスを介して前
記外部メモリから前記記憶手段に転送した後に、当該サ
ブページを、前記第１のバスを介して前記記憶手段から
当該第１のアクセス要求を発したプロセッサエレメント
に転送する。

【０００９】また、本発明の並列プロセッサは、好まし
くは、前記制御手段は、前記第２のアクセス要求によっ
て要求されるサブページを、前記第２のバスを介して前
記外部メモリから前記記憶手段に転送した後に、当該サ
ブページを、前記第１のバスを介して前記記憶手段から
当該第２のアクセス要求を発したプロセッサエレメント
に転送する。

【００１０】また、本発明の並列プロセッサは、好まし
くは、前記第１のバスを介したサブページの転送処理
と、前記第２のバスを介したサブページの転送処理とを
並行して行う。

【００１１】また、本発明の並列プロセッサは、好まし
くは、前記制御手段は、前記第１のアクセス要求および
前記第２のアクセス要求を記憶するアクセス要求記憶部
と、前記第１のアクセス要求および前記第２のアクセス
要求によって要求されるサブページが属するページの他
のサブページを前記外部メモリから前記記憶手段に転送
する処理を示す手続きを記憶する退避手続き記憶部と、
前記第１のアクセス要求によって要求されるサブページ
を、前記第２のバスを介して前記外部メモリから前記記
憶手段に転送した後に、前記第１のアクセス要求によっ
て要求されるサブページが属するページの他のサブペー
ジを前記第２のバスを介して前記外部メモリから前記記
憶手段に転送する第１の手続きを前記退避手続き記憶部
に記憶し、前記第２のアクセス要求によって要求される
サブページを、前記第２のバスを介して前記外部メモリ
から前記記憶手段に転送した後に、前記第２のアクセス
要求によって要求されるサブページが属するページの他
のサブページを前記第２のバスを介して前記外部メモリ
から前記記憶手段に転送する第２の手続きを前記退避手
続き記憶部に記憶すると共に、前記退避手続き記憶部か
ら前記第１の手続きを呼び出して実行し、前記第１の手
続きの実行後に、前記退避手続き記憶部から前記第２の
手続きを呼び出して実行する制御部とを有する。

【００１２】また、本発明の並列プロセッサは、好まし
くは、前記制御手段は、前記第１のアクセス要求および
前記第２のアクセス要求を、退避データと対応付けて記
憶するアクセス要求記憶部と、前記第１のアクセス要求
によって要求されるサブページを、前記第２のバスを介
して前記外部メモリから前記記憶手段に転送した後に、
前記アクセス要求記憶部に記憶された前記第１のアクセ
ス要求に対応する前記退避データを退避状態に設定し、
前記第２のアクセス要求によって要求されるサブページ
を、前記第２のバスを介して前記外部メモリから前記記
憶手段に転送した後に、前記アクセス要求記憶部に記憶
された前記第２のアクセス要求に対応する前記退避デー
タを退避状態に設定すると共に、前記退避データを用い
て、前記アクセス要求記憶部に記憶された前記第１のア
クセス要求を読み出して、当該第１のアクセス要求によ
って要求されるサブページが属するページの他のサブペ
ージを前記第２のバスを介して前記外部メモリから前記
記憶手段に転送し、当該転送後に、前記退避データを用
いて、前記アクセス要求記憶部に記憶された前記第２の
アクセス要求を読み出して、当該第２のアクセス要求に
よって要求されるサブページが属するページの他のサブ
ページを前記第２のバスを介して前記外部メモリから前
記記憶手段に転送する。

【００１３】さらに、本発明の演算処理方法は、プロセ
ッサエレメントからのアクセス要求に応じて、当該プロ
セッサエレメントと共有メモリとの間の前記第１のバス
を介したサブページの転送、および、前記共有メモリと
外部メモリとの間の前記第２のバスを介した複数のサブ
ページからなるページの転送を制御し、複数のプロセッ
サエレメントのうち、一のプロセッサエレメントから前
記共有メモリに対してのページフォルトを伴う第１のア
クセス要求による前記第２のバスを介した前記共有メモ
リと外部メモリとの間のページ転送処理が終了する前
に、他のプロセッサエレメントから前記共有メモリに対
してページフォルトを伴う第２のアクセス要求が発生し
た場合に、前記第１のアクセス要求および前記第２のア
クセス要求によって要求されるサブページを、前記外部
メモリから前記共有メモリに転送した後に、前記第１の
アクセス要求および前記第２のアクセス要求によって要
求されるサブページが属するページの他のサブページ
を、前記外部メモリから前記共有メモリに転送する。

【００１４】

【発明の実施の形態】以下、本発明の実施形態に係わる
並列プロセッサについて詳細に説明する。第１実施形態図１は、本実施形態の並列プロセッサ２１のシステム構
成図である。図１に示すように、並列プロセッサ２１
は、例えば、第１のバスとしてのコモンバス２２、プロ
セッサエレメント２３₁〜２３_n、共有メモリ２４、バ
スユニット２５および第２のバスとしての外部アクセス
バス２６を有する。

【００１５】並列プロセッサ２１では、コモンバス２２
に、プロセッサエレメント２３₁〜２３_nおよび共有メ
モリ２４が接続されている。また、外部アクセスバス２
６に、共有メモリ２４およびバスユニット２５が接続さ
れている。

【００１６】コモンバス２２は１２８ビットのバス幅を
有し、外部アクセスバス２６は３２ビットのバス幅を有
している。コモンバス２２は、外部アクセスバス２６に
比べて４倍以上のデータ転送速度を持つ。なお、コモン
バス２２と外部アクセスバス２６とのバス幅を同じにし
て、同じデータ転送速度を持つようにすることも可能で
ある。プロセッサエレメント２３₁〜２３_nは、例え
ば、並列プロセッサ１がＭＩＭＤ(Multiple Instructio
n Multiple Data)型の並列プロセッサの場合には、個々
にプログラムカウンタを持ち、当該プログラムカウンタ
によって指し示される図示しないインストラクションメ
モリのアドレスに記憶された命令に応じた処理を相互に
独立して行う。プロセッサエレメント２３₁〜２３_nと
しては、例えば、ＲＩＳＣ(Reduced Instruction Set C
omputer)型の汎用プロセッサが用いられる。

【００１７】プロセッサエレメント２３₁〜２３_nは、
それぞれ複数のサブページ、例えば、３個のサブページ
を記憶可能な内部メモリとしてのサブバンク２７₁，２
７₂，２７₃を備えている。ここで、サブページは、メ
インメモリ７上の連続したアドレスの記憶領域に記憶さ
れた５１２バイトのデータであり、４個の連続したアド
レスのサブページによって１ページが構成される。な
お、プロセッサエレメント２３₁〜２３_nが備えている
サブバンクの数を、相互に異なるようにすることも可能
である。プロセッサエレメント２３₁〜２３_nは、後述
するように、共有メモリ２４からサブページを読み込ん
でサブバンク２７₁〜２７₃に記憶するが、プロセッサ
エレメント２３₁〜２３_nの相互間およびサブバンク２
７₁〜２７₃の相互間で異なるページのサブページを記
憶できる。バスユニット２５は、並列プロセッサ２１の
外部に設けられたチップインタフェース６を介してメイ
ンメモリ７に接続されている。メインメモリ７は、４Ｇ
バイトの連続したアドレスを持つメモリ空間を有する。

【００１８】図２は、図１に示す共有メモリ２４の構成
図である。図２に示すように、共有メモリ２４は、例え
ば、コモンバス用制御回路３１、外部バス用制御回路３
２、制御回路３３、メモリ内部バス５１，５２、マルチ
プレクサ（ＭＵＸ）５３，５４，５５，５６、第１の記
憶手段としてのメモリセル領域９０、アドレスデコーダ
５７，５８，５９，６０、第２の記憶手段としてのタグ
データ領域１２０およびリクエストキュー１２５を有す
る。

【００１９】なお、本実施形態では、コモンバス用制御
回路３１、外部バス用制御回路３２および制御回路３３
が制御手段として機能する。制御回路３３は、コモンバ
ス用制御回路３１、外部バス用制御回路３２、マルチプ
レクサ５３〜５６、アドレスデコーダ５７〜６０を制御
する。また、制御回路３３は、プロセッサエレメント２
３₁〜２３_nからサブページ入れ替え要求信号（アクセ
ス要求）を入力した場合に、要求があったサブページが
メモリセル領域９０に記憶されているか否か（ページヒ
ットの有無）をタグデータ領域１２０に記憶された特性
データとしてタグデータを参照して判断し、ページフォ
ルトが発生したと判断した場合には、後述する方法で、
メモリセル領域９０に記憶されている複数のページの中
から、メインメモリ７からページインするページと入れ
替えを行う対象とするページを決定する。また、制御回
路３３は、プロセッサエレメント２３₁〜２３_nから要
求があったサブページを最初にメインメモリ７から共有
メモリ２４に転送するように、共有メモリ２４とメイン
メモリ７との間のページ転送を制御する。

【００２０】コモンバス用制御回路３１は、メモリ内部
バス５１およびコモンバス２２を介したプロセッサエレ
メント２３₁〜２３_nとメモリサブバンク４１〜４４と
の間のサブページの転送を制御する。具体的には、コモ
ンバス用制御回路３１は、制御回路３３から制御信号に
基づいて、制御信号Ｓ３１を出力してアドレスデコーダ
５７〜６０を制御すると共に、マルチプレクサ５３〜５
６の切り換え制御を行う。

【００２１】外部バス用制御回路３２は、メモリ内部バ
ス５２および外部アクセスバス２６を介したメモリサブ
バンク４１〜４４とメインメモリ７との間のページの転
送を制御する。具体的には、外部バス用制御回路３２
は、制御回路３３からの制御信号に基づいて、制御信号
Ｓ３２を出力してアドレスデコーダ５７〜６０を制御す
ると共に、マルチプレクサ５３〜５６の切り換え制御を
行う。

【００２２】マルチプレクサ５３〜５６は、制御信号Ｓ
３１，Ｓ３２および制御回路３３からの制御信号に基づ
いて、それぞれメモリサブバンク４１〜４４を、メモリ
内部バス５１および５２の何れか一方と接続する。

【００２３】アドレスデコーダ５７〜６０は、制御信号
Ｓ３１，Ｓ３２をデコードして、それぞれメモリサブバ
ンク４１〜４４に対してのアクセスを制御する。

【００２４】メモリセル領域９０は、４個のメモリサブ
バンク４１〜４４に物理的に等分に分割されている。メ
モリサブバンク４１〜４４は、それぞれシングルデータ
ポートを備えている。また、メモリセル領域９０は、そ
れぞれメモリサブバンク４１〜４４に対して等分に跨が
るように、ｍ個のバンク８０₀〜８０_m-1によって区切
られている。メモリサブバンク４１〜４４は、例えば、
それぞれｍ個のサブページを記憶可能な記憶容量を有す
る。なお、サブページは、画像データを含んでいる。メ
モリサブバンク４１〜４４は、それぞれマルチプレクサ
５３〜５６、メモリ内部バス５１およびコモンバス２２
を介して、プロセッサエレメント２３₁〜２３_nとの間
で、データの入れ替えをサブページ単位で行う。ここ
で、データを入れ換えるとは、プロセッサエレメント２
３₁〜２３_nからメモリサブバンク４１〜４４にデータ
を書き込む動作、メモリサブバンク４１〜４４からプロ
セッサエレメント２３₁〜２３_nにデータを読み出す動
作、および、その両方の動作を含む。

【００２５】コモンバス２２は１２８ビットのバス幅を
有することから、サブページが１回当たりのデータ転送
の単位となるコモンバス２２を介したバスオペレーショ
ンでは、５１２バイトのサブページを転送するには、３
２（＝５１２×８／１２８）回分のバストランザクショ
ンが最低限必要である。

【００２６】また、メモリサブバンク４１〜４４は、マ
ルチプレクサ５３〜５６、メモリ内部バス５２および外
部アクセスバス２６を介して、各バンク８０₀〜８０
_m-1に記憶されるページ単位で、メインメモリ７との間
でデータを入れ替える。ここで、１ページは２Ｋバイト
であり、４個のサブページからなる。従って、プロセッ
サエレメント２３₁〜２３_nがアクセスしようとするサ
ブページの先頭アドレスが、図３に示すＡ番地、（Ａ＋
５１２）番地、（Ａ＋１０２４）番地あるいは（Ａ＋１
５３６）番地である場合には、メインメモリ７からＡ番
地から２Ｋバイトの連続したアドレスに記憶された１ペ
ージ分のデータを共有メモリ４に転送し、この１ページ
分のデータを４個のサブページに分割して、各バンク８
０₀〜８０_mに記憶する。本実施形態では、メインメモ
リ７の４Ｇバイトのメモリ空間を、３２ビットのアドレ
スで指し示している。ここで、この３２ビットのアドレ
スのうち、３１〜１１ビット目がページの先頭アドレス
を示し、１０〜０ビット目がページ内のアドレスを示し
ている。また、１０ビット目および９ビット目がサブバ
ンクを示している。

【００２７】メモリサブバンク４１〜４４に記憶されて
いるサブページは、全てのプロセッサエレメント２３₁
〜２３_nで共有できるように、システム全体で、サブペ
ージのデータ量を統一することが望ましい。本実施形態
では、プロセッサエレメント２３₁〜２３_nのサブバン
ク２７₁のメモリ容量を５１２バイトとし、サブページ
のデータ量も５１２バイトとしている。ここで、外部ア
クセスバス２６は３２ビットのバス幅を有するため、ペ
ージがデータ転送の単位となる外部アクセスバス２６を
介した１回当たりのバスオペレーションでは、２Ｋバイ
トのページを転送するために、５１２（＝２０４８×８
／３２）回分のバストランザクションが最低限必要であ
る。

【００２８】タグデータ領域１２０は、図２に示すよう
に、メモリサブバンク４１〜４４からなるメモリセル領
域９０に記憶されたサブページの特性データとしてのタ
グデータを記憶する。タグデータ領域１２０は、バンク
８０₀〜８０_m-1に対応したタグバンク１３０₀〜１３
０_m-1を有し、タグバンク１３０₀〜１３０_m-1には、
それぞれバンク８０₀〜８０_mに記憶されているサブペ
ージの特性を示すデータが記憶されている。タグデータ
は、バリッド識別領域１２１、ダーディ識別領域１２２
およびページセレクタ領域１２３から構成される。

【００２９】バリッド識別領域１２１は、各サブページ
のデータの有効性を示す１ビットのバリッドビットを、
サブページの数だけ備えている。例えば、バリッド識別
領域１２１には、有効なサブページに対応するバリッド
ビットにバリッドを示す「１」がセットされ、有効でな
い（無効な）サブページに対応するバリッドビットにイ
ンバリッドを示す「０」がセットされている。

【００３０】ダーディ識別領域１２２は、各サブページ
のデータがダーティであるか否かを示す１ビットのダー
ティビットを、サブページの数だけ備えている。ここ
で、ダーティであるとは、当該サブページに、プロセッ
サエレメント２３₁〜２３_nから書き込みがあったこと
を意味し、当該サブページが記憶されている記憶領域を
開放するときに、当該サブページをメインメモリ７に書
き戻す必要がある。すなわち、ライトバックを行う必要
がある。例えば、ダーディ識別領域１２２には、ダーテ
ィなサブページに対応するダーティビットにバリッドを
示す「１」がセットされ、ダーティでないサブページに
対応するダーティビットにインバリッドを示す「０」が
セットされている。

【００３１】ページセレクタ領域１２３は、バンク８０
₀〜８０_mに記憶されているページの識別番号（例え
ば、ページの先頭アドレス）を示すページセレクタを有
する。

【００３２】また、リクエストキュー１２５は、コモン
バス２２およびメモリ内部バス５１を介して入力した共
有メモリ４に対してのプロセッサエレメント２３₁〜２
３_nから複数のアクセス要求が競合した場合に、これら
のアクセス要求をキューに蓄え、以下に示す手順で制御
回路３３に出力して実行させる。

【００３３】以下、並列プロセッサ２１の動作について
説明する。ここで、図４に示すように、ｎを任意の整数
としたときに、ページＰ（ｎ）を構成する４つのサブペ
ージのうち、サブバンク４１，４２，４３，４４に記憶
されるものをそれぞれＰｓ０（ｎ），Ｐｓ１（ｎ），Ｐ
ｓ２（ｎ），Ｐｓ３（ｎ）とする。

【００３４】例えば、図２に示す制御回路３３が、図１
に示すプロセッサエレメント２３₁からサブページ入れ
替え要求信号を入力した場合に、タグデータ領域１２０
に記憶されたタグデータから、当該要求があった図３に
示すサブページＰｓ１（１）がメモリセル領域９０に記
憶されていない場合、ページミスと判断され、外部アク
セスバス２６を介して、共有メモリ２４と図１に示すメ
インメモリ７との間で、当該要求があったサブページＰ
ｓ１（１）を含むページＰ（１）と、共有メモリ２４に
既に記憶されているページとが入れ替えられる。このと
き、ページＰ（１）を構成する４個のサブページＰｓ０
（１），Ｐｓ１（１），Ｐｓ２（１），Ｐｓ３（１）の
うち、プロセッサエレメント２３₁から要求のあったサ
ブページＰｓ１（１）が最初に入れ替えられる。そし
て、当該要求があったサブページＰｓ１（１）が、コモ
ンバス２２を介して、共有メモリ２４からプロセッサエ
レメント２３₁に出力される。このとき、サブページＰ
ｓ１（１）の入れ替え直後から、共有メモリ２４とプロ
セッサエレメント２３₁との間でのサブページＰｓ１
（１）の入れ替えと並行して、メインメモリ７と共有メ
モリ２４との間でサブページＰｓ２（１），Ｐｓ３
（１），Ｐｓ０（１）が順に入れ替えられる。

【００３５】なお、プロセッサエレメントＰＥが要求し
たサブページをコモンバス２２を介して最終的に当該プ
ロセッサエレメントＰＥに転送するまでの処理をフォア
グランドジョブと呼び、残りの３つのサブページを外部
アクセスバス２６を介してメインメモリ７から共有メモ
リ２４に転送する処理をバックグランドジョブと呼ぶ。

【００３６】以下、図１に示すプロセッサエレメント２
３₁からのサブページ入れ替え要求に応じて共有メモリ
２４とメインメモリ７との間でのページＰ（１）の入れ
替えを完了する前に、例えば、図１に示すプロセッサエ
レメント２３₂からページミスを伴うサブページＰｓ２
（２）の入れ替え要求信号が発生した場合の並列プロセ
ッサ２１の動作を図５を参照しながら説明する。具体的
には、図５に示すタイミング「ｒ１」で、前述したよう
に、図１に示すプロセッサエレメント２３₁からサブペ
ージＰｓ１（１）の入れ替え要求が発生し、続いて、タ
イミング「ｒ２」で、図１に示すプロセッサエレメント
２３₂からサブページＰｓ２（２）の入れ替え要求が発
生した場合を考える。この場合には、タイミング「ｒ
３」で、メインメモリ７から共有メモリ２４へのサブペ
ージＰｓ１（１）の入れ替えが完了し、続いて、コモン
バス２２を介して、サブページＰｓ１（１）共有メモリ
２４からがプロセッサエレメント２３₁に転送される。
また、メインメモリ７から共有メモリ２４へのサブペー
ジＰｓ１（１）の入れ替えが完了した後、続いて、外部
アクセスバス２６を介して、サブページＰｓ２（１），
Ｐｓ３（１），Ｐｓ０（１）が、メインメモリ７から共
有メモリ２４に転送される。

【００３７】そして、サブページＰｓ０（１）の入れ替
えが完了した後に、続いて、サブページＰｓ２（２）
が、外部アクセスバス２６を介して、メインメモリ７か
ら共有メモリ２４に入れ替えられ、当該入れ替えが完了
したタイミング「ｒ４」から、サブページＰｓ２（２）
がコモンバス２２を介してプロセッサエレメント２３₂
に転送される。また、メインメモリ７から共有メモリ２
４へのサブページＰｓ２（２）の入れ替えが完了した
後、続いて、外部アクセスバス２６を介して、サブペー
ジＰｓ３（２），Ｐｓ０（２），Ｐｓ１（２）が、メイ
ンメモリ７から共有メモリ２４に入れ替えられる。

【００３８】並列プロセッサ２１によれば、前述したよ
うに、サブページＰｓ１（１）の入れ替え要求に応じて
Ｐｓ１（１）を含む１ページをメインメモリ７から共有
メモリ２４に転送した後に、次に発生したサブページＰ
ｓ２（２）の入れ替え要求に応じてＰｓ２（２）を含む
１ページをメインメモリ７から共有メモリ２４に転送す
る。そのため、図５に示すサブページＰｓ１（１）のメ
インメモリ７から共有メモリ２４への転送終了タイミン
グ「ｒ３」から、サブページＰｓ２（２）のメインメモ
リ７から共有メモリ２４への転送終了タイミング「ｒ
４」まで、５１２サイクルを要する。

【００３９】第２実施形態本実施形態では、上述した第１実施形態の並列プロセッ
サを改良に係わるものであり、一のプロセッサエレメン
トからの第１のサブページ入れ替え要求に応じた共有メ
モリとメインメモリとの間のページ入れ替えが完了する
前に、他のプロセッサエレメントからページミスを伴う
サブページに対して第２のサブページ入れ替え要求がさ
らに発生した場合に、当該第２のサブページ入れ替え要
求に示されたサブページをさらに速いタイミングでプロ
セッサエレメントに供給できる並列プロセッサについて
説明する。

【００４０】図６は、本実施形態の並列プロセッサ２２
１のシステム構成図である。図６に示すように、並列プ
ロセッサ２２１は、例えば、第１のバスとしてのコモン
バス２２、プロセッサエレメント２３₁〜２３_n、共有
メモリ２２４、バスユニット２５および第２のバスとし
ての外部アクセスバス２６を有する。並列プロセッサ２
２１では、コモンバス２２に、プロセッサエレメント２
３₁〜２３_nおよび共有メモリ２２４が接続されてい
る。また、外部アクセスバス２６に、共有メモリ２２４
およびバスユニット２５が接続されている。ここで、図
６に示すコモンバス２２、プロセッサエレメント２３₁
〜２３_n、バスユニット２５および外部アクセスバス２
６は、前述した図１に示すものと同じである。すなわ
ち、並列プロセッサ２２１は、共有メモリ２２４に特徴
を有する。以下、共有メモリ２２４について主に説明す
る。

【００４１】図７は、図６に示す共有メモリ２２４の構
成図である。図７に示すように、共有メモリ２２４は、
例えば、コモンバス用制御回路２３１、外部バス用制御
回路２３２、制御回路２３３、メモリ内部バス５１，５
２、マルチプレクサ（ＭＵＸ）５３，５４，５５，５
６、第１の記憶手段としてのメモリセル領域９０、アド
レスデコーダ５７，５８，５９，６０、第２の記憶手段
としてのタグデータ領域１２０およびリクエストキュー
１２５を有する。

【００４２】なお、本実施形態では、コモンバス用制御
回路２３１、外部バス用制御回路２３２および制御回路
２３３が制御手段として機能する。図８は、制御回路２
３３の構成図である。図８に示すように、制御回路２３
３は、シーケンサ２７０、要求バッファ２７１および退
避バッファ２７２を有する。シーケンサ２７０は、要求
バッファ２７１から読み出したサブページ入れ替え要求
をデコードし、デコード結果に応じた制御信号Ｓ２７０
をコモンバス用制御回路２３１、外部バス用制御回路２
３２、マルチプレクサ５３〜５６、アドレスデコーダ５
７〜６０に出力し、これらを制御する。

【００４３】また、シーケンサ２７０は、サブページ入
れ替え要求（アクセス要求）が要求するサブページがメ
モリセル領域９０に記憶されているか否か（ページヒッ
トの有無）をタグデータ領域１２０に記憶された特性デ
ータとしてタグデータを参照して判断し、ページフォル
トが発生したと判断した場合には、後述する方法で、メ
モリセル領域９０に記憶されている複数のページの中か
ら、メインメモリ７からページインするページと入れ替
えを行う対象とするページを決定する。また、シーケン
サ２７０は、プロセッサエレメント２３₁〜２３_nから
要求があったサブページを最初にメインメモリ７から共
有メモリ２２４に転送するように、共有メモリ２２４と
メインメモリ７との間のページ転送を制御する。なお、
シーケンサ２７０は、要求バッファ２７１および退避バ
ッファ２７２の読み書きを自由に行える。

【００４４】以下、複数のサブページ入れ替え要求が連
続して発生した場合における制御回路２３３の動作を説
明する。図９は、複数のサブページ入れ替え要求が連続
して発生した場合における制御回路２３３の処理のフロ
ーチャートである。ステップＳ１：制御回路２３３は、コモンバス２２を介
して、例えば、プロセッサエレメント２３₁から第１の
サブページ入れ替え要求を入力し、これを要求バッファ
２７１に記憶する。

【００４５】ステップＳ２：制御回路２３３は、コモン
バス２２を介して、例えば、プロセッサエレメント２３
₂から第２のサブページ入れ替え要求を入力し、これを
要求バッファ２７１に記憶する。

【００４６】ステップＳ３：シーケンサ２７０は、要求
バッファ２７１から第１のサブページ入れ替え要求を読
み出して、これをデコードし、当該デコード結果に応じ
た制御信号Ｓ２７０に基づいて、第１のサブページ入れ
替え要求が要求するサブページについて、外部アクセス
バス２６を介して、メインメモリ７と共有メモリ２２４
との間で入れ替えを行う。

【００４７】ステップＳ４：シーケンサ２７０は、第１
のサブページ入れ替え要求に伴うバックグランドジョ
ブ、すなわち、第１のサブページ入れ替え要求が要求す
るサブページが属するページのうち、当該要求があった
サブページ以外のサブページを、メインメモリ７と共有
メモリ２２４との間で入れ替えるジョブを、要求バッフ
ァ２７１に退避する。

【００４８】ステップＳ５：シーケンサ２７０は、要求
バッファ２７１から第２のサブページ入れ替え要求を読
み出して、これをデコードし、当該デコード結果に応じ
た制御信号Ｓ２７０に基づいて、第２のサブページ入れ
替え要求が要求するサブページについて、外部アクセス
バス２６を介して、メインメモリ７と共有メモリ２２４
との間で入れ替えを行う。

【００４９】ステップＳ６：シーケンサ２７０は、第２
のサブページ入れ替え要求に伴うバックグランドジョ
ブ、すなわち、第２のサブページ入れ替え要求が要求す
るサブページが属するページのうち、当該要求があった
サブページ以外のサブページを、メインメモリ７と共有
メモリ２２４との間で入れ替えるジョブを、要求バッフ
ァ２７１に退避する。

【００５０】ステップＳ７：シーケンサ２７０は、ステ
ップＳ４で退避した第１のサブページ入れ替え要求に伴
うバックグランドジョブを読み出して実行する。

【００５１】ステップＳ８：シーケンサ２７０は、ステ
ップＳ６で退避した第２のサブページ入れ替え要求に伴
うバックグランドジョブを読み出して実行する。

【００５２】要求バッファ２７１は、プロセッサエレメ
ント２３₁〜２３_nからのサブページ入れ替え要求を記
憶する、例えばＦＩＦＯ(First In First Out)方式のメ
モリであり、一度に複数のサブページ入れ替え要求に対
応できる。退避バッファ２７２は、前述した図９に示す
ステップＳ４およひＳ５において、シーケンサ２７０か
ら退避されたサブページ入れ替え要求を記憶する、例え
ばＦＩＦＯ方式のメモリである。

【００５３】コモンバス用制御回路２３１は、メモリ内
部バス５１およびコモンバス２２を介したプロセッサエ
レメント２３₁〜２３_nとメモリサブバンク４１〜４４
との間のサブページの転送を制御する。具体的には、コ
モンバス用制御回路２３１は、制御回路２３３から制御
信号に基づいて、制御信号Ｓ３１を出力してアドレスデ
コーダ５７〜６０を制御すると共に、マルチプレクサ５
３〜５６の切り換え制御を行う。

【００５４】外部バス用制御回路２３２は、メモリ内部
バス５２および外部アクセスバス２６を介したメモリサ
ブバンク４１〜４４とメインメモリ７との間のページの
転送を制御する。具体的には、外部バス用制御回路２３
２は、制御回路３３からの制御信号に基づいて、制御信
号Ｓ３２を出力してアドレスデコーダ５７〜６０を制御
すると共に、マルチプレクサ５３〜５４の切り換え制御
を行う。

【００５５】ここで、図７に示すメモリ内部バス５１，
５２、マルチプレクサ（ＭＵＸ）５３，５４，５５，５
６、メモリセル領域９０、アドレスデコーダ５７，５
８，５９，６０、タグデータ領域１２０およびリクエス
トキュー１２５は、前述した図２に示すものと同じであ
る。

【００５６】以下、並列プロセッサ２２１の動作につい
て説明する。ここでは、以下、図６に示すプロセッサエ
レメント２３₁からのサブページ入れ替え要求に応じて
共有メモリ２２４とメインメモリ７との間でのページＰ
（１）の入れ替えを完了する前に、例えば、図６に示す
プロセッサエレメント２３₂からページミスを伴うサブ
ページＰｓ２（２）の入れ替え要求信号が発生した場合
の並列プロセッサ２１の動作を図１０を参照しながら説
明する。具体的には、図１０に示すタイミング「ｒ１」
で、前述したように、図１に示すプロセッサエレメント
２３₁からサブページＰｓ１（１）の入れ替え要求が発
生し、続いて、タイミング「ｒ２」で、図１に示すプロ
セッサエレメント２３₂からサブページＰｓ２（２）の
入れ替え要求が発生した場合を考える。

【００５７】この場合には、先ず、図１０に示すタイミ
ング「ｒ１」で、コモンバス２２を介して、プロセッサ
エレメント２３₁から図７に示す共有メモリ２２４の制
御回路２３３に、サブページＰｓ１（１）の入れ替え要
求が出力され、当該入れ替え要求が、図８に示す要求バ
ッファ２７１に蓄えられる。そして、シーケンサ２７０
において、要求バッファ２７１に蓄えられたサブページ
Ｐｓ１（１）の入れ替え要求がデコードされ、当該デコ
ード結果に応じた制御信号Ｓ２７０が生成される。ま
た、それに続いて、図１０に示すタイミング「ｒ２」
で、コモンバス２２を介して、プロセッサエレメント２
３₂から図７に示す共有メモリ２２４の制御回路２３３
に、サブページＰｓ２（２）の入れ替え要求が出力さ
れ、当該入れ替え要求が、図８に示す要求バッファ２７
１に蓄えられる。そして、シーケンサ２７０において、
要求バッファ２７１に蓄えられたサブページＰｓ２
（２）の入れ替え要求がデコードされ、当該デコード結
果に応じた制御信号Ｓ２７０が生成される。

【００５８】次に、シーケンサ２７０におけるサブペー
ジＰｓ１（１）の入れ替え要求のデコード結果に応じた
制御信号Ｓ２７０に基づいて、図１０に示すように、サ
ブページＰｓ１（１）が、外部アクセスバス２６を介し
て、メインメモリ７と図７に示す共有メモリ２２４のサ
ブバンク４２との間で入れ替えられる。そして、図１０
に示すタイミング「ｒ３」で当該入れ替えが完了する
と、次に、サブページＰｓ１（１）が、コモンバス２２
を介して、サブバンク４２からプロセッサエレメント２
３₁に出力される。また、図１０に示すタイミング「ｒ
３」で、サブページＰｓ１（１）の入れ替え要求に伴う
バックグランドジョブが、退避バッファ２７２に退避さ
れる。

【００５９】また、図１０に示すタイミング「ｒ３」で
は、シーケンサ２７０におけるサブページＰｓ２（２）
の入れ替え要求のデコード結果に応じた制御信号Ｓ２７
０に基づいて、図１０に示すように、サブページＰｓ２
（２）が、外部アクセスバス２６を介して、メインメモ
リ７と図７に示す共有メモリ２２４のサブバンク４３と
の間で入れ替えられる。そして、図１０に示すタイミン
グ「ｒ５」で当該入れ替えが完了すると、次に、サブペ
ージＰｓ２（２）が、コモンバス２２を介して、サブバ
ンク４３からプロセッサエレメント２３₂に出力され
る。また、図１０に示すタイミング「ｒ５」では、サブ
ページＰｓ２（２）の入れ替え要求に伴うバックグラン
ドジョブが、退避バッファ２７２に退避される。

【００６０】さらに、図１０に示すタイミング「ｒ５」
では、退避バッファ２７２に退避したサブページＰｓ１
（１）の入れ替え要求に伴うバックグランドジョブがシ
ーケンサ２７０に呼び出されて実行され、サブページＰ
ｓ２（１），Ｐｓ３（１），Ｐｓ０（１）が、外部アク
セスバス２６を介して、メインメモリ７と図７に示す共
有メモリ２２４のサブバンク４３，４４，４１との間で
入れ替えられる。そして、図１０に示すタイミング「ｒ
６」で、当該入れ替えが完了すると、次ぎに、退避バッ
ファ２７２に退避したサブページＰｓ２（２）の入れ替
え要求に伴うバックグランドジョブがシーケンサ２７０
に呼び出されて実行され、サブページＰｓ３（２），Ｐ
ｓ０（２），Ｐｓ１（２）が、外部アクセスバス２６を
介して、メインメモリ７と図７に示す共有メモリ２２４
のサブバンク４４，４１，４２との間で入れ替えられ
る。

【００６１】以上説明したように、並列プロセッサ２２
１によれば、複数のサブページ入れ替え要求が連続して
発生した場合に、これらのサブページ入れ替え要求によ
って要求されるサブページのフォアグランドジョブを、
それらのバックグランドジョブに先立って実行する。そ
のため、例えば、図１０に示すサブページＰｓ１（１）
のメインメモリ７から共有メモリ２２４への転送終了タ
イミング「ｒ３」から、サブページＰｓ２（２）のメイ
ンメモリ７から共有メモリ２２４への転送終了タイミン
グ「ｒ５」までの時間を１２８サイクルに短縮できる。
すなわち、並列プロセッサ２２１によれば、前述した第
１実施形態の並列プロセッサ２１に比べて、プロセッサ
エレメント２３₁〜２３_nがサブページ入れ替え要求を
発してから、当該要求するサブページを得るまでの時間
を短縮できる。その結果、メモリアクセスに伴うプロセ
ッサエレメント２３₁〜２３_nの待ち時間を短縮でき、
並列プロセッサ２２１の演算性能を向上できる。

【００６２】並列プロセッサ２２１によれば、このよう
に、メモリアクセスに伴うプロセッサエレメントの待ち
時間を短縮できることから、科学技術計算用の汎用コン
ピュータの他にも、リアルタイム性が要求されるエンベ
デッド分野やＮＣ工作機械などの分野にも応用できる。
また、高いリアルタイム性が要求される画像・音声情報
処理（生放送）にも応用できる。

【００６３】特に、マルチプロセッサにおいては、共有
メモリの性能（サービスのスループットとレイテンシ）
がシステム性能に及ぼす影響が大きく、かつ、今までは
経済的に効果のある方法を用いておらず、コストの高い
方法で共有メモリを設計していた。例えば、共有メモリ
が保持することができるメモリ容量を大きくし、共有メ
モリ内にページが存在する確率を高めるなどの方法が採
られていた。しかしながら、これではＬＳＩに実装する
メモリが占める面積が増大して、低コストでチップが制
作できないなどの問題があった。また、面積の増大に伴
う動作周波数などの回路的な問題も存在していた。並列
プロセッサ２２１によれば、これらの問題を解決でき
る。

【００６４】また、画像処理などの分野では、同一のペ
ージ内のデータが、プロセッサエレメント２３₁〜２３
_nから連続してアクセスされる場合が多いが、並列プロ
セッサ２１では、ページフォルトが発生した場合に、要
求が生じたサブページの他に当該サブページと連続した
アドレスを持つ他の３個のサブページもメインメモリ７
から共有メモリ２２４に読み込むため、次にページフォ
ルトが発生する可能性を低減できる。すなわち、画像処
理の特性から、要求があったサブページと連続したアド
レスのサブページについても近い将来、プロセッサエレ
メント２３₁〜２３_nからアクセスが発生する可能性が
高いため、これらのサブページを要求があったサブペー
ジと共にメインメモリ７から共有メモリ２２４に読み込
むことは、将来のページフォルトの発生率を低下させる
のに有効である。

【００６５】また、並列プロセッサ２２１では、共有メ
モリ２２４のメモリセルとして１ポート構造のものを用
いて、プロセッサエレメント２３₁〜２３_nと共有メモ
リ２２４との間でのサブページ入れ替え処理と、共有メ
モリ２２４とメインメモリ７との間でのページ入れ替え
処理とを並行して行うことができるため、小さな回路規
模で、高速処理を実現できる。すなわち、共有メモリ２
２４は、シングルポートであるにも係わらずに、機能的
に、２ポートと略同じ性能を実現できる。

【００６６】第３実施形態本実施形態の並列プロセッサは、基本的に、図７に示す
制御回路２３３の構成を除いて、前述した第２実施形態
の図６および図７に示す並列プロセッサ２２１と同じで
ある。図１１は、本実施形態の並列プロセッサ３２１の
システム構成図である。図１１に示すように、並列プロ
セッサ３２１は、共有メモリ３２４を除いて、前述した
図６に示す並列プロセッサ２２１と同じである。図１２
は、図１１に示す共有メモリ３２４の構成図である。図
１２に示すように、共有メモリ３２４は、制御回路３３
３を除いて、前述した図７に示す共有メモリ２２４と同
じである。

【００６７】以下、図１３に示す制御回路３３３につい
て説明する。図１２に示すように、制御回路３３３は、
シーケンサ３７０および要求バッファ３７１を有し、退
避バッファを有しない。図１４は、要求バッファ３７１
の各エントリィの構成を説明するための図である。図１
４に示すように、要求バッファ３７１の各エントリィ
は、要求ページのアドレス「ＡＤＤＲＥＳＳ」の他に、
有効ビット「Ｖ」、新規エントリィ判別ビット「Ｎ」、
退避ビット「Ｓ」および処理中ビット「Ｐ」の４ビット
の情報ビットを有する。

【００６８】有効ビット「Ｖ」は、エントリィが有効で
あるか否かを示す。新規エントリィ判別ビット「Ｎ」
は、エントリィが新規であり、プロセッサエレメントに
ページがサービスされていないことを示す。退避ビット
「Ｓ」は、エントリィが退避されていることを示す。処
理中ビット「Ｐ」は、現在、コモンバス２２あるいは外
部アクセスバス２６を介して、サブページあるいはペー
ジを入れ替え中であることを示している。

【００６９】これらの４ビットの情報ビットは、各ビッ
トの組み合わせによって、図１５に示す５つの意味を持
つ。以下、「ｘ」は、「０」および「１」の何れでも良
いことを意味する。図１５に示すように、「Ｖ，Ｎ，
Ｓ，Ｐ」が「０，ｘ，ｘ，ｘ」の場合には、当該エント
リィは存在しないことを意味する。また、「Ｖ，Ｎ，
Ｓ，Ｐ」が「１，１，０，０」の場合には、当該エント
リィが新規エントリィであって未処理であることを意味
する。

【００７０】また、「Ｖ，Ｎ，Ｓ，Ｐ」が「１，１，
０，１」の場合には、当該エントリィが新規エントリィ
であって、現在、ページを、外部アクセスバス２６を介
して共有メモリ３２４とメインメモリ７との間で入れ替
え中であることを示す。また、「Ｖ，Ｎ，Ｓ，Ｐ」が
「１，０，０，１」の場合には、当該エントリィが新規
エントリィであって、現在、サブページを、コモンバス
２２を介してプロセッサエレメント２３₁〜２３_nと共
有メモリ３２４との間で入れ替え中であることを示す。
さらに、「Ｖ，Ｎ，Ｓ，Ｐ」が「１，１，１，０」の場
合には、当該エントリィが新規エントリィであって、外
部アクセスバス２６を介して共有メモリ３２４とメイン
メモリ７との間でページを入れ替え中に退避されたこと
を意味している。

【００７１】以下、前述した図１０に示す場合を用い
て、並列プロセッサ３２１の動作について説明する。具
体的には、図１０に示すタイミング「ｒ１」で、前述し
たように、図１に示すプロセッサエレメント２３₁から
サブページＰｓ１（１）の入れ替え要求が発生し、続い
て、タイミング「ｒ２」で、図１に示すプロセッサエレ
メント２３₂からサブページＰｓ２（２）の入れ替え要
求が発生した場合を考える。

【００７２】この場合には、先ず、図１０に示すタイミ
ング「ｒ１」で、コモンバス２２を介して、プロセッサ
エレメント２３₁から図７に示す共有メモリ２２４の制
御回路２３３に、サブページＰｓ１（１）の入れ替え要
求が出力され、当該入れ替え要求が、図１３に示す要求
バッファ３７１に蓄えられる。そして、シーケンサ３７
０において、要求バッファ３７１に蓄えられたサブペー
ジＰｓ１（１）の入れ替え要求がデコードされ、当該デ
コード結果に応じた制御信号Ｓ３７０が生成される。こ
のとき、要求バッファ３７１におけるサブページＰｓ１
（１）の入れ替え要求のエントリィは、「ＡＤＤＲＥＳ
Ｓ」がサブページＰｓ１（１）のアドレスになってお
り、「Ｖ，Ｎ，Ｓ，Ｐ」が「１，１，０，０」となって
いる。

【００７３】また、それに続いて、図１０に示すタイミ
ング「ｒ２」で、コモンバス２２を介して、プロセッサ
エレメント２３₂から図７に示す共有メモリ２２４の制
御回路２３３に、サブページＰｓ２（２）の入れ替え要
求が出力され、当該入れ替え要求が、図８に示す要求バ
ッファ２７１に蓄えられる。そして、シーケンサ３７０
において、要求バッファ３７１に蓄えられたサブページ
Ｐｓ２（２）の入れ替え要求がデコードされ、当該デコ
ード結果に応じた制御信号Ｓ３７０が生成される。この
とき、要求バッファ３７１におけるサブページＰｓ２
（２）の入れ替え要求のエントリィは、「ＡＤＤＲＥＳ
Ｓ」がサブページＰｓ２（２）のアドレスになってお
り、「Ｖ，Ｎ，Ｓ，Ｐ」が「１，１，０，０」となって
いる。

【００７４】そして、シーケンサ３７０におけるサブペ
ージＰｓ１（１）の入れ替え要求のデコード結果に応じ
た制御信号Ｓ３７０に基づいて、図１０に示すように、
サブページＰｓ１（１）が、外部アクセスバス２６を介
して、メインメモリ７と図１１に示す共有メモリ３２４
のサブバンク４２との間で入れ替えられる。このとき、
要求バッファ３７１におけるサブページＰｓ１（１）の
入れ替え要求のエントリィは、「Ｖ，Ｎ，Ｓ，Ｐ」が
「１，１，０，１」となっている。

【００７５】そして、図１０に示すタイミング「ｒ３」
で当該入れ替えが完了すると、次に、サブページＰｓ１
（１）が、コモンバス２２を介して、共有メモリ３２４
のサブバンク４２からプロセッサエレメント２３₁に出
力される。

【００７６】また、図１０に示すタイミング「ｒ３」
で、要求バッファ３７１におけるサブページＰｓ１
（１）の入れ替え要求のエントリィは、「Ｖ，Ｎ，Ｓ，
Ｐ」が「１，１，１，０」に設定される。これによっ
て、当該サブページＰｓ１（１）の入れ替え要求のバッ
クグランドジョブが退避状態となる。

【００７７】また、図１０に示すタイミング「ｒ３」で
は、シーケンサ３７０におけるサブページＰｓ２（２）
の入れ替え要求のデコード結果に応じた制御信号Ｓ３７
０に基づいて、図１０に示すように、サブページＰｓ２
（２）が、外部アクセスバス２６を介して、メインメモ
リ７と図１１に示す共有メモリ３２４のサブバンク４３
との間で入れ替えられる。このとき、要求バッファ３７
１におけるサブページＰｓ２（２）の入れ替え要求のエ
ントリィは、「Ｖ，Ｎ，Ｓ，Ｐ」が「１，１，０，１」
となっている。

【００７８】そして、図１０に示すタイミング「ｒ５」
で当該入れ替えが完了すると、次に、サブページＰｓ２
（２）が、コモンバス２２を介して、サブバンク４３か
らプロセッサエレメント２３₂に出力される。

【００７９】また、図１０に示すタイミング「ｒ５」
で、要求バッファ３７１におけるサブページＰｓ２
（２）の入れ替え要求のエントリィは、「Ｖ，Ｎ，Ｓ，
Ｐ」が「１，１，１，０」に設定される。これによっ
て、当該サブページＰｓ２（２）の入れ替え要求のバッ
クグランドジョブが退避状態となる。

【００８０】さらに、図１０に示すタイミング「ｒ５」
では、要求バッファ３７１における退避状態を示す
（「Ｖ，Ｎ，Ｓ，Ｐ」が「１，１，１，０」となってい
る）エントリィに記憶されたサブページＰｓ１（１）の
入れ替え要求に伴うバックグランドジョブがシーケンサ
２７０に呼び出されて実行され、サブページＰｓ２
（１），Ｐｓ３（１），Ｐｓ０（１）が、外部アクセス
バス２６を介して、メインメモリ７と図１１に示す共有
メモリ３２４のサブバンク４３，４４，４１との間で入
れ替えられる。

【００８１】そして、図１０に示すタイミング「ｒ６」
で、当該入れ替えが完了すると、次ぎに、要求バッファ
３７１における退避状態を示す（「Ｖ，Ｎ，Ｓ，Ｐ」が
「１，１，１，０」となっている）エントリィに記憶さ
れたサブページＰｓ２（２）の入れ替え要求に伴うバッ
クグランドジョブがシーケンサ２７０に呼び出されて実
行され、サブページＰｓ３（２），Ｐｓ０（２），Ｐｓ
１（２）が、外部アクセスバス２６を介して、メインメ
モリ７と図１１に示す共有メモリ３２４のサブバンク４
４，４１，４２との間で入れ替えられる。

【００８２】以上説明したように、並列プロセッサ３２
１によれば、前述した並列プロセッサ２２１と同様に、
複数のサブページ入れ替え要求が連続して発生した場合
に、これらのサブページ入れ替え要求によって要求され
るサブページのフォアグランドジョブを、それらのバッ
クグランドジョブに先立って実行する。そのため、例え
ば、図１０に示すサブページＰｓ１（１）のメインメモ
リ７から共有メモリ３２４への転送終了タイミング「ｒ
３」から、サブページＰｓ２（２）のメインメモリ７か
ら共有メモリ３２４への転送終了タイミング「ｒ５」ま
でを１２８サイクルに短縮できる。

【００８３】本発明は上述した実施形態には限定されな
い。例えば、上述した第２実施形態では、図１０に示す
ように、メインメモリ７から共有メモリ３２４へのサブ
ページＰｓ２（２）の転送が完了したタイミング「ｒ
５」から、サブページＰｓ１（１）のバックグランドジ
ョブの実行を開始したが、当該バックグランドジョブの
開始は、タイミング「ｒ５」以降であれば特に限定され
ない。

【００８４】また、上述した第３実施形態では、図１４
および図１５に示す退避ビット「Ｓ」に１ビットを割り
当てた場合を例示したが、１ページに含まれる要求があ
ったサブページを除く３個のサページのうち、最初にバ
ックグランドジョブを行うサブページを特定可能な２ビ
ット以上を退避ビット「Ｓ」に割り当てることで、バッ
クグランドジョブを実行中に他のサブページ入れ替え要
求が発生した場合にも適切に対処できる。

【００８５】また、上述した第３実施形態では、第１の
サブページ入れ替え要求と第２のサブページ入れ替え要
求とが連続して発生した場合を例示したが、本発明は、
３個以上のサブページ入れ替え要求が連続して発生する
場合にも対応可能である。この場合には、連続して発生
したサブページ入れ替え要求のフォアグランドジョブを
順次に実行した後に、これらのバックグランドジョブを
順次に実行する。

【００８６】また、上述した実施形態では、共有メモリ
２４，２２４，３２４のメモリセル領域を４個のメモリ
サブバンク４１〜４４に分割した場合を例示したが、メ
モリサブバンクの数は任意である。従って、例えば、共
有メモリ２４，２２４，２３４のメモリセル領域を８個
のメモリサブバンクに分割してもよい。この場合には、
１ページは８個のサブページで構成される。また、上述
した実施形態では、単数のサブページのデータ量を５１
２バイトとしたが、このデータ量は特に限定されず、２
５６バイトあるいは１０２４バイトなどであってもよ
い。

【００８７】また、上述した並列プロセッサでは、図
２，図７および図１１に示すように、１組のメモリ内部
バス５１およびコモンバス２２を用いた場合を例示した
が、メモリサブバンクの数以下の複数組のメモリ内部バ
ス５１およびコモンバス２２を設けてもよい。この場合
には、当該組の数に応じて、プロセッサエレメント２３
₁〜２３_nから共有メモリ２４，２２４，３２４の異な
るサブバンクに同時にアクセスが可能となり、さらなる
高速処理を実現できる。

【００８８】

【発明の効果】以上説明したように、本発明の並列プロ
セッサによれば、プロセッサエレメントが共有メモリに
アクセスするときの待ち時間を短縮でき、高い演算性能
を実現できる。また、本発明の演算処理方法によれば、
プロセッサエレメントが共有メモリにアクセスするとき
の待ち時間を短縮でき、プロセッサエレメントに高い演
算性能を実現させることが可能になる。

【図面の簡単な説明】

【図１】図１は、本発明の第１実施形態の並列プロセッ
サのシステム構成図である。

【図２】図２は、図１に示す共有メモリの構成図であ
る。

【図３】図３は、図２に示すメモリサブバンクに記憶さ
れるサブページを説明するための図である。

【図４】図４は、図３に示すサブページと、共有メモリ
のサブバンクとの対応を説明するための図である。

【図５】図５は、図１に示す並列プロセッサの動作を説
明するためのタイミングチャートである。

【図６】図１は、本発明の第２実施形態の並列プロセッ
サのシステム構成図である。

【図７】図７は、図６に示す共有メモリの構成図であ
る。

【図８】図８は、図７に示す制御回路の構成図である。

【図９】図９は、複数のサブページ入れ替え要求が連続
して発生した場合における制御回路の処理のフローチャ
ートである。

【図１０】図１０は、図６に示す並列プロセッサの動作
を説明するためのタイミングチャートである。

【図１１】図１１は、本発明の第３実施形態の並列プロ
セッサのシステム構成図である。

【図１２】図１２は、図１１に示す共有メモリの構成図
である。

【図１３】図１３は、図１２に示す制御回路の構成図で
ある。

【図１４】図１４は、図１３に示す要求バッファの各エ
ントリィの構成を説明するための図である。

【図１５】図１５は、図１４に示す各エントリィの情報
ビットが示す意味を説明するための図である。

【図１６】図１６は、従来の一般的な並列プロセッサの
システム構成図である。

【符号の説明】

６…チップインタフェース、７…メインメモリ、２２…
コモンバス、２３₁〜２３_n…プロセッサエレメント、
２４，２２４，３２４…共有メモリ、２５…バスユニッ
ト、２６…外部アクセスバス、２７₁〜２７₃，４１〜
４４…サブバンク、３１…コモンバス用制御回路、３２
…外部バス用制御回路、３３，２３２，３３３…制御回
路、５３〜５６…マルチプレクサ、５７〜６０…アドレ
スデコーダ、８０₀〜８０_m…バンク、１２０…タグデ
ータ領域、１２１…バリッド識別領域、１２２…ダーテ
ィ識別領域、１２３…ページセレクタ領域、１２５…リ
クエストキュー、１３０₀〜１３０_m-1…タグバンク、
２７０，３７０…シーケンサ、２７１，３７１…要求バ
ッファ、２７２…退避バッファ

Claims

【特許請求の範囲】

【請求項１】単数または複数のサブページを記憶する内
部メモリを備え、当該内部メモリに記憶されたデータを
用いて演算処理を行う複数のプロセッサエレメントと、前記複数のプロセッサエレメントと接続された第１のバ
スと、外部メモリと接続された第２のバスと、前記第１のバスおよび前記第２のバスの双方に接続され
た共有メモリとを有し、前記共有メモリは、複数のサブページを記憶する記憶手段と、前記プロセッサエレメントからのアクセス要求に応じ
て、当該プロセッサエレメントの内部メモリと前記記憶
手段との間の前記第１のバスを介したサブページの転
送、および、前記記憶手段と前記外部メモリとの間の前
記第２のバスを介した複数のサブページからなるページ
の転送を制御し、一の前記プロセッサエレメントから前
記記憶手段に対してのページフォルトを伴う第１のアク
セス要求による前記第２のバスを介した前記共有メモリ
と外部メモリとの間のページ転送処理が終了する前に、
他の前記プロセッサエレメントから前記記憶手段に対し
てページフォルトを伴う第２のアクセス要求が発生した
場合に、前記第１のアクセス要求および前記第２のアク
セス要求によって要求されるサブページを、前記外部メ
モリから前記記憶手段に転送した後に、前記第１のアクセス要求および前記第２のアクセス要求
によって要求されるサブページが属するページの他のサ
ブページを、前記外部メモリから前記記憶手段に転送す
る制御手段とを有する並列プロセッサ。
【請求項２】前記制御手段は、前記第１のアクセス要求
および前記第２のアクセス要求によって要求されるサブ
ページを、前記第２のバスを介して前記外部メモリから
前記記憶手段に順に転送した後に、前記第１のアクセス
要求によって要求されるサブページが属するページの他
のサブページを、前記第２のバスを介して前記外部メモ
リから前記記憶手段に転送し、それに続いて、前記第２
のアクセス要求によって要求されるサブページが属する
ページの他のサブページを、前記第２のバスを介して前
記外部メモリから前記記憶手段に転送する請求項１に記
載の並列プロセッサ。
【請求項３】前記制御手段は、前記第１のアクセス要求
によって要求されるサブページを、前記第２のバスを介
して前記外部メモリから前記記憶手段に転送した後に、
当該サブページを、前記第１のバスを介して前記記憶手
段から当該第１のアクセス要求を発したプロセッサエレ
メントに転送する請求項２に記載の並列プロセッサ。
【請求項４】前記制御手段は、前記第２のアクセス要求
によって要求されるサブページを、前記第２のバスを介
して前記外部メモリから前記記憶手段に転送した後に、
当該サブページを、前記第１のバスを介して前記記憶手
段から当該第２のアクセス要求を発したプロセッサエレ
メントに転送する請求項３に記載の並列プロセッサ。
【請求項５】前記第１のバスを介したサブページの転送
処理と、前記第２のバスを介したサブページの転送処理
とを並行して行う請求項４に記載の並列プロセッサ。
【請求項６】前記制御手段は、前記第１のアクセス要求および前記第２のアクセス要求
を記憶するアクセス要求記憶部と、前記第１のアクセス要求および前記第２のアクセス要求
によって要求されるサブページが属するページの他のサ
ブページを前記外部メモリから前記記憶手段に転送する
処理を示す手続きを記憶する退避手続き記憶部と、前記第１のアクセス要求によって要求されるサブページ
を、前記第２のバスを介して前記外部メモリから前記記
憶手段に転送した後に、前記第１のアクセス要求によっ
て要求されるサブページが属するページの他のサブペー
ジを前記第２のバスを介して前記外部メモリから前記記
憶手段に転送する第１の手続きを前記退避手続き記憶部
に記憶し、前記第２のアクセス要求によって要求されるサブページ
を、前記第２のバスを介して前記外部メモリから前記記
憶手段に転送した後に、前記第２のアクセス要求によっ
て要求されるサブページが属するページの他のサブペー
ジを前記第２のバスを介して前記外部メモリから前記記
憶手段に転送する第２の手続きを前記退避手続き記憶部
に記憶すると共に、前記退避手続き記憶部から前記第１
の手続きを呼び出して実行し、前記第１の手続きの実行後に、前記退避手続き記憶部か
ら前記第２の手続きを呼び出して実行する制御部とを有
する請求項２に記載の並列プロセッサ。
【請求項７】前記制御手段は、前記第１のアクセス要求および前記第２のアクセス要求
を、退避データと対応付けて記憶するアクセス要求記憶
部と、前記第１のアクセス要求によって要求されるサブページ
を、前記第２のバスを介して前記外部メモリから前記記
憶手段に転送した後に、前記アクセス要求記憶部に記憶
された前記第１のアクセス要求に対応する前記退避デー
タを退避状態に設定し、前記第２のアクセス要求によって要求されるサブページ
を、前記第２のバスを介して前記外部メモリから前記記
憶手段に転送した後に、前記アクセス要求記憶部に記憶
された前記第２のアクセス要求に対応する前記退避デー
タを退避状態に設定すると共に、前記退避データを用い
て、前記アクセス要求記憶部に記憶された前記第１のア
クセス要求を読み出して、当該第１のアクセス要求によ
って要求されるサブページが属するページの他のサブペ
ージを前記第２のバスを介して前記外部メモリから前記
記憶手段に転送し、当該転送後に、前記退避データを用いて、前記アクセス
要求記憶部に記憶された前記第２のアクセス要求を読み
出して、当該第２のアクセス要求によって要求されるサ
ブページが属するページの他のサブページを前記第２の
バスを介して前記外部メモリから前記記憶手段に転送す
る請求項２に記載の並列プロセッサ。
【請求項８】前記記憶手段は、それぞれ単数のサブペー
ジを記憶する複数のサブバンクを備え、前記共有メモリは、前記複数のサブバンクのそれぞれに
対応して設けられ、対応するサブバンクと前記第１のバ
スおよび第２のバスのうち選択した一方とを接続する複
数の選択手段をさらに有する請求項１に記載の並列プロ
セッサ。
【請求項９】前記第１のバスのデータ転送速度は、前記
第２のバスのデータ転送速度と同一、または、前記第２
のバスのデータ転送速度より速い請求項１に記載の並列
プロセッサ。
【請求項１０】前記記憶手段の記憶領域の各サブバンク
に、それぞれ単数のデータポートが設けられている請求
項８に記載の並列プロセッサ。
【請求項１１】前記記憶手段の複数のサブバンクは、同
じ記憶容量を有する請求項８に記載の並列プロセッサ。
【請求項１２】前記記憶手段のサブバンクの数と、前記
ページを構成するサブページの数とは同じである請求項
８に記載の並列プロセッサ。
【請求項１３】前記ページを構成する複数のサブページ
は、前記外部メモリのアドレス空間で連続したアドレス
を持つ請求項１に記載の並列プロセッサ。
【請求項１４】プロセッサエレメントからのアクセス要
求に応じて、当該プロセッサエレメントと共有メモリと
の間の前記第１のバスを介したサブページの転送、およ
び、前記共有メモリと外部メモリとの間の前記第２のバ
スを介した複数のサブページからなるページの転送を制
御し、複数のプロセッサエレメントのうち、一のプロセッサエ
レメントから前記共有メモリに対してのページフォルト
を伴う第１のアクセス要求による前記第２のバスを介し
た前記共有メモリと外部メモリとの間のページ転送処理
が終了する前に、他のプロセッサエレメントから前記共
有メモリに対してページフォルトを伴う第２のアクセス
要求が発生した場合に、前記第１のアクセス要求および
前記第２のアクセス要求によって要求されるサブページ
を、前記外部メモリから前記共有メモリに転送した後
に、前記第１のアクセス要求および前記第２のアクセス要求
によって要求されるサブページが属するページの他のサ
ブページを、前記外部メモリから前記共有メモリに転送
する演算処理方法。
【請求項１５】前記第１のアクセス要求および前記第２
のアクセス要求によって要求されるサブページを、前記
第２のバスを介して前記外部メモリから前記共有メモリ
に順に転送した後に、前記第１のアクセス要求によって
要求されるサブページが属するページの他のサブページ
を、前記第２のバスを介して前記外部メモリから前記共
有メモリに転送し、それに続いて、前記第２のアクセス
要求によって要求されるサブページが属するページの他
のサブページを、前記第２のバスを介して前記外部メモ
リから前記共有メモリに転送する請求項１４に記載の演
算処理方法。
【請求項１６】前記第１のアクセス要求によって要求さ
れるサブページを、前記第２のバスを介して前記外部メ
モリから前記共有メモリに順に転送した後に、当該サブ
ページを、前記第１のバスを介して前記共有メモリから
当該第１のアクセス要求を発したプロセッサエレメント
に転送する請求項１５に記載の演算処理方法。
【請求項１７】前記第２のアクセス要求によって要求さ
れるサブページを、前記第２のバスを介して前記外部メ
モリから前記共有メモリに転送した後に、当該サブペー
ジを、前記第１のバスを介して前記共有メモリから当該
第２のアクセス要求を発したプロセッサエレメントに転
送する請求項１６に記載の演算処理方法。
【請求項１８】前記第１のバスを介したサブページの転
送処理と、前記第２のバスを介したサブページの転送処
理とを並行して行う請求項１７に記載の演算処理方法。