JPH0652124A

JPH0652124A - コンピュータ・システム

Info

Publication number: JPH0652124A
Application number: JP5109256A
Authority: JP
Inventors: Norman Barker Thomas; トマス・ノーマン・バーカー; Clive A Collins; クライヴ・アラン・コリンズ; Michael C Dapp; マイケル・チャールズ・ダップ; James W Dieffenderfer; ジェームズ・ウォレン・ディーフェンデルファー; J Knowles Billy; ビリー・ジャック・ノウルズ; B Rolfe David; デイヴィッド・ブルース・ロルフ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1992-05-22
Filing date: 1993-05-11
Publication date: 1994-02-25

Abstract

(57)【要約】（修正有）【目的】新規なコンピュータ・システムの提供。【構成】大規模並列マシンとして編成された複数のノ
ードを有するコンピュータ・システムにおいて、ｎ次元
修正ハイパーキューブとして相互接続されている。ま
た、単一チップ上の８個のプロセッサが、それ自体に結
合された処理要素、大規模なメモリ、および入出力機構
を有し、ハイパーキューブに基づく修正されたトポロジ
ーによって相互接続される。これらのノードは、次いで
ハイパーキューブ・ネットワーク・トポロジー、修正ハ
イパーキューブ・ネットワーク・トポロジー、リング・
ネットワーク・トポロジーまたはリング内リング・ネッ
トワーク・トポロジーによって相互接続される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータおよびコ
ンピュータ・システム、特に並列アレイ・プロセッサに
関する。本発明によれば、単一の半導体シリコン・チッ
プ上に並列アレイ・プロセッサ（ＡＰＡＰ）を組み込む
ことができる。このチップは、複雑な科学研究アプリケ
ーションおよびビジネス・アプリケーションの大規模並
列処理が可能なシステムの基礎となる。

【０００２】

【従来の技術】はじめに、本明細書で用いられる用語に
ついて説明する。

【０００３】・ＡＬＵＡＬＵとは、プロセッサの演算論理回路部分である。

【０００４】・アレイアレイとは、１次元または多次元における要素のアレイ
を指す。アレイは、順番に並べた１組のデータ項目（ア
レイ要素）を含むことができるが、ＦＯＲＴＲＡＮのよ
うな言語では、それらのデータ項目は単一の名前で識別
される。他の言語では、順番に並べた１組のデータ項目
の名前は、すべて同じ属性を持つ順番に並べた１組のデ
ータ要素を指す。プログラム・アレイでは、一般に数ま
たは次元属性によって次元が指定される。アレイの宣言
子でアレイの各次元のサイズを指定する言語もあり、ア
レイがテーブル内の要素のアレイとなっている言語もあ
る。ハードウェア的な意味では、アレイは、大規模並列
アーキテクチャにおいて全体として同一な構造（機能要
素）の集合体である。データ並列コンピュータ処理にお
けるアレイ要素は、動作を割り当てることができ、並列
状態のとき、それぞれ独立にかつ並列に必要な動作を実
行できる要素である。一般に、アレイは処理要素の格子
と考えることができる。アレイの各セクションに区分デ
ータを割り当てることにより、区分データを規則的な格
子パターン内で移動することができる。ただし、データ
に索引を付け、あるいはデータをアレイ中の任意の位置
に割り当てることが可能である。

【０００５】・アレイ・ディレクタアレイ・ディレクタとは、アレイの制御プログラムとし
てプログラミングされる単位である。アレイ・ディレク
タは、アレイとしてアレイされた機能要素のグループの
マスタ制御プログラムとしての機能を果す。

【０００６】・アレイ・プロセッサアレイ・プロセッサには主として、複数命令複数データ
方式（ＭＩＭＤ）と単一命令複数データ方式（ＳＩＭ
Ｄ）との２種類がある。ＭＩＭＤアレイ・プロセッサで
は、アレイ中の各処理要素が、それ自体のデータを使っ
てそれ自体の固有の命令ストリームを実行する。ＳＩＭ
Ｄアレイ・プロセッサでは、アレイ中の各処理要素が、
共通の命令ストリームを介して同一の命令に限定され
る。ただし、各処理要素に関連するデータは固有であ
る。本発明の好ましいアレイ・プロセッサには他にも特
徴がある。本明細書では、これをＡＰＡＰと呼び、ＡＰ
ＡＰという略語を使用する。

【０００７】・非同期非同期とは、規則的な時間関係がないことである。すな
わち、各機能の実行間の関係が予測不能であり、各機能
の実行間に規則的または予測可能な時間関係が存在しな
い。制御状況では、制御プログラムは、データが、アド
レスされている遊休要素を待っているとき、制御が渡さ
れる位置にアドレスする。このため、諸操作が、どの事
象とも時間が一致しないのに順序通りのままとなる。

【０００８】・ＢＯＰＳ／ＧＯＰＳＢＯＰＳまたはＧＯＰＳは、１秒当たり１０億回の動作
という同じ意味の略語である。ＧＯＰＳを参照された
い。

【０００９】・回線交換／蓄積交換これらの用語は、ノードのネットワークを介してデータ
・パケットを移動するための２つの機構を指す。蓄積交
換は、データ・パケットを各中間ノードで受信し、その
メモリに格納してから、その宛先に向かって転送する機
構である。回線交換は、中間ノードに、その入力ポート
を出力ポートに論理的に接続するよう指令して、データ
・パケットが、中間ノードのメモリに入らずに、ノード
を直接通過して宛先に向かうことができるようにする機
構である。

【００１０】・クラスタクラスタとは、制御ユニット（クラスタ制御装置）と、
それに接続されたハードウェア（端末、機能ユニット、
または仮想構成要素）とから成るステーション（または
機能ユニット）である。本明細書では、クラスタは、ノ
ード・アレイとも称するプロセッサ・メモリ要素（ＰＭ
Ｅ）のアレイを含む。通常、クラスタは５１２個のＰＭ
Ｅ要素を有する。

【００１１】本発明の全ＰＭＥノード・アレイは、それ
ぞれ１つのクラスタ制御装置（ＣＣ）によってサポート
される１組のクラスタから成る。

【００１２】・クラスタ制御装置クラスタ制御装置とは、それに接続された複数の装置ま
たは機能ユニットの入出力動作を制御する装置である。
クラスタ制御装置は通常、ＩＢＭ３６０１金融機関通
信制御装置におけるように、該ユニットに格納され、そ
こで実行されるプログラムの制御を受けるが、ＩＢＭ
３２７２制御装置におけるように、ハードウェアで完全
に制御可能である。

【００１３】・クラスタ・シンクロナイザクラスタ・シンクロナイザとは、あるクラスタのすべて
または一部分の動作を管理して、諸要素の同期動作を維
持し、各機能ユニットがプログラムの実行と特定の時間
関係を維持できるようにする機能ユニットである。

【００１４】・制御装置制御装置とは、相互接続ネットワークのリンクを介した
データおよび命令の伝送を指令する装置である。制御装
置の動作は、制御装置が接続されたプロセッサによって
実行されるプログラム、または制御装置内で実行される
プログラムによって制御される。

【００１５】・ＣＭＯＳＣＭＯＳとは、相補型金属酸化膜半導体技術の略語であ
る。これは、ダイナミック・ランダム・アクセス・メモ
リ（ＤＲＡＭ）の製造に広く使用されている。ＮＭＯＳ
は、ダイナミック・ランダム・アクセス・メモリの製造
に使用されるもう１つの技術である。本発明では相補型
金属酸化膜半導体の方を使用するが、拡張並列アレイ・
プロセッサ（ＡＰＡＰ）の製造に使用する技術によっ
て、使用される半導体技術の範囲が制限されることはな
い。

【００１６】・ドッティングドッティングとは、物理的な接続によって３本以上のリ
ード線を結合することを指す。たいていのバックパネル
・バスではこの接続方法を使用している。この用語は、
過去のＯＲＤＯＴＳと関係があるが、ここでは、非常
に単純なプロトコルによってバス上に結合できる複数の
データ源を識別するのに使用する。

【００１７】本発明における入出力ジッパの概念を用い
て、あるノードに入る入力ポートが、あるノードから出
る出力ポート、またはシステム・バスからくるデータに
よって駆動できるという概念を実施することができる。
逆に、あるノードから出力されるデータは、別のノード
およびシステム・バスへの入力として使用できる。シス
テム・バスと別のノードへのデータ出力は、同時には実
行されず、別のサイクルで実行されることに留意された
い。

【００１８】ドッティングは、それを利用することによ
り２ポート式のＰＥまたはＰＭＥまたはピケットを様々
な編成のアレイに使用できる、Ｈ−ＤＯＴの議論で使用
されている。２次元メッシュおよび３次元メッシュ、ベ
ース２Ｎキューブ、スパース・ベース４Ｎキューブ、ス
パース・ベース８Ｎキューブを含めて、いくつかのトポ
ロジーが議論されている。

【００１９】・ＤＲＡＭＤＲＡＭとは、コンピュータが主記憶装置として使用す
る共通記憶装置であるダイナミック・ランダム・アクセ
ス・メモリの略語である。ただし、ＤＲＡＭという用語
は、キャッシュとして、または主記憶装置ではないメモ
リとして使用するのにも適用できる。

【００２０】・浮動小数点浮動小数点数は、固定小数部すなわち小数部と、約束上
の基数または基底に対する指数部の２つの部分で表され
る。指数は、１０進小数点の実際の位置を示す。典型的
な浮動小数点の表記法では、実数０．０００１２３４は
０．１２３４−３と表される。ここで、０．１２３４は
小数部であり、−３は指数である。この例では、浮動小
数点基数または基底は１０であり、暗示的な１より大き
な正の固定整数基底を表す。浮動小数点表示で明示的に
示される、あるいは浮動小数点表示で指数部で表される
指数でこの基底をべき乗し、次に小数部を掛けると、表
される実数が求められる。数字リテラルは、浮動小数点
表記法で表すことも実数で表すこともできる。

【００２１】・ＦＬＯＰＳこの用語は、１秒当たりの浮動小数点命令数を指す。浮
動小数点演算には、ＡＤＤ（加算）、ＳＵＢ（減算）、
ＭＰＹ（乗算）、ＤＩＶ（除算）と、しばしばその他の
多くの演算が含まれる。１秒当たり浮動小数点命令数と
いうパラメータは、しばしば加算命令または乗算命令を
使って算出され、一般に５０／５０ミックスとみなすこ
とができる。演算には、指数部、小数部の生成と、必要
な小数部の正規化が含まれる。本発明では、３２ビット
または４８ビットの浮動小数点フォーマットを扱うこと
ができる（これより長くてもよいが、そのようなフォー
マットはミックスではカウントしなかった）。浮動小数
点演算を固定小数点命令（正規またはＲＩＳＣ）で実施
する際には、複数の命令が必要である。性能を計算する
際に１０対１の比率を使用する人もあれば、比率を６．
２５にした方が適切であることを示す研究もある。アー
キテクチャごとに比率が異なる。

【００２２】・機能ユニット機能ユニットとは、ある目的を達成できる、ハードウェ
ア、ソフトウェア、あるいはその両方のエンティティで
ある。

【００２３】・ＧバイトＧバイトとは１０億バイトを指す。Ｇバイト／秒は、１
秒当たり１０億バイトということになる。

【００２４】・ＧＩＧＡＦＬＯＰＳ１秒当たり１０⁹個の浮動小数点命令

【００２５】・ＧＯＰＳおよびＰＥＴＡＯＰＳＧＯＰＳまたはＢＯＰＳは、１秒当たり１０億回の演算
という同じ意味を持つ。ＰＥＴＡＯＰＳは、現在のマシ
ンの潜在能力である１秒当たり１兆回の演算という意味
である。本発明のＡＰＡＰマシンでは、これらの用語
は、１秒当たり１０億個の命令数を意味するＢＩＰ／Ｇ
ＩＰとほぼ同じである。１つの命令で複数の演算（すな
わち、加算と乗算の両方）を実行できるマシンもある
が、本発明ではそのようにはしない。また、１つの演算
を実行するのに多数の命令を要する場合もある。たとえ
ば、本発明では複数の命令を使って、６４ビット演算を
実行している。しかし、演算をカウントする際、対数演
算のカウントは行わなかった。性能を記述するにはＧＯ
ＰＳを使用する方が好ましいが、それを一貫して使うこ
とはしなかった。ＭＩＰ／ＭＯＰ、その上の単位として
ＢＩＰ／ＢＯＰ、およびＭｅｇａＦＬＯＰＳ／Ｇｉｇａ
ＦＬＯＰＳ／ＴｅｒａＦＬＯＰＳ／ＰｅｔａＦＬＯＰＳ
が使用される。

【００２６】・ＩＳＡＩＳＡとは、ＳｅｔＡｒｃｈｉｔｅｃｔｕｒｅ（アー
キテクチャ設定）命令を意味する。

【００２７】・リンクリンクとは、物理的または論理的要素である。物理的リ
ンクは要素またはユニットを結合するための物理接続で
あり、一方コンピュータ・プログラミングにおけるリン
クは、プログラムの別々の部分間で制御およびパラメー
タのやり取りを行う命令またはアドレスである。多重シ
ステムでは、実アドレスまたは仮想アドレスで識別され
るリンクを識別するプログラム・コードによって指定さ
れる、２つのシステム間の接続がリンクである。したが
って、リンクには一般に、物理媒体、任意のプロトコ
ル、ならびに関連する装置およびプログラミングが含ま
れる。すなわち、リンクは論理的であるとともに物理的
である。

【００２８】・ＭＦＬＯＰＳＭＦＬＯＰＳは、１秒当たり１０⁶個の浮動小数点命令
を意味する。

【００２９】・ＭＩＭＤＭＩＭＤは、アレイ内の各プロセッサがそれ自体の命令
ストリームを持ち、したがって多重命令ストリームを有
し、１処理要素当たり１つずつ配置された複数データ・
ストリームを実行する、プロセッサ・アレイ・アーキテ
クチャを指すのに使用される。

【００３０】・モジュールモジュールとは、離散しており識別可能なプログラム単
位、あるいは他の構成要素と共に使用するように設計さ
れたハードウェアの機能単位である。また、単一の電子
チップに含まれるＰＥの集合体もモジュールと呼ばれ
る。

【００３１】・ノード一般に、ノードとはリンクの接合部である。ＰＥの汎用
アレイでは、１つのＰＥをノードとすることができる。
ノードはまた、モジュールというＰＥの集合体を含むこ
ともできる。本発明では、ノードはＰＭＥのアレイから
形成されており、この１組のＰＭＥをノードと称する。
ノードは８個のＰＭＥであることが好ましい。

【００３２】・ノード・アレイＰＭＥから構成されるモジュールの集合体をノード・ア
レイと呼ぶことがある。これは、モジュールから構成さ
れるノードのアレイである。ノード・アレイは通常、
２、３個より多いＰＭＥであるが、この用語は複数を包
含する。

【００３３】・ＰＤＥＰＤＥとは、偏微分方程式である。

【００３４】・ＰＤＥ緩和解法プロセスＰＤＥ緩和解法プロセスとは、ＰＤＥ（偏微分方程式）
を解く方法である。ＰＤＥを解くには、既知の分野にお
けるスーパー・コンピュータの計算能力の大半を使用
し、したがってこれは緩和プロセスの好例となる。ＰＤ
Ｅ方程式を解く方法は多数あり、複数の数値解法に緩和
プロセスが含まれている。たとえば、ＰＤＥを有限要素
法で解く場合、緩和の計算に大部分の時間が費やされ
る。熱伝達の分野の例を考えてみよう。煙突内に高温の
ガスがあり、外では冷たい風が吹いているとすると、煙
突のレンガ内の温度勾配はどのようになるだろうか。レ
ンガを小さなセグメントとみなし、セグメント間を熱が
どのように流れるかを温度差の関数として表す方程式を
書くと、伝熱ＰＤＥが有限要素問題に変換される。ここ
で、内側と外側の要素を除くすべての要素が室温であ
り、境界セグメントが高温のガスと冷たい風の温度であ
るとすると、緩和を開始するための問題ができあがる。
その後、コンピュータ・プログラムでは、セグメントに
流れ込む、あるいはセグメントから流れ出る熱の量に基
づいて各セグメント内の温度変数を更新することによ
り、時間をモデル化する。煙突における１組の温度変数
を緩和して、物理的な煙突で発生する実際の温度分布を
表すには、モデル中のすべてのセグメントを処理するサ
イクルに何回もかけなければならない。目的が煙突にお
けるガス冷却をモデル化することである場合、諸要素を
気体方程式に拡張しなければならず、そうすると、内側
の境界条件が別の有限要素モデルとリンクされ、このプ
ロセスが続く。熱の流れが隣接するセグメント間の温度
差に依存することに留意されたい。したがって、ＰＥ間
通信経路を使って温度変数を分配する。ＰＤＥ関係が並
列計算にうまく適用できるのは、この近隣接通信パター
ンまたは特性による。

【００３５】・ピケットこれは、アレイ・プロセッサを構成する要素のアレイ内
の要素である。この要素は、データ・フロー（ＡＬＵ
ＲＥＧＳ）、メモリ、制御機構、通信マトリックスのこ
の要素と関連する部分から構成される。この単位は、並
列プロセッサ要素およびメモリ要素と、その制御機構お
よびアレイ相互通信機構の一部から成るアレイ・プロセ
ッサの１／ｎを指す。ピケットは、プロセッサ・メモリ
要素（ＰＭＥ）の１つの形である。本発明のＰＭＥチッ
プ設計プロセッサ論理回路は、関連出願に記載されてい
るピケット論理を実施し、あるいはノードとして形成さ
れたプロセッサ・アレイ用の論理を持つことができる。
ピケットという用語は、処理要素を表す、一般的に使用
されているアレイ用語のＰＥと似ており、好ましくはビ
ット並列バイトの情報をクロック・サイクルで処理する
ための処理要素とローカル・メモリの組合せからなる、
処理アレイの要素である。好ましい実施例は、バイト幅
データ・フロー・プロセッサ、３２バイト以上のメモ
リ、原始制御機構、および他のピケットとの通信機構か
ら構成されている。

【００３６】「ピケット」という用語は、トム・ソーヤ
ーと、彼の白いフェンスに由来している。ただし、機能
的には、軍隊のピケット・ラインと類似性があることも
理解されよう。

【００３７】・ピケット・チップピケット・チップは、単一のシリコン・チップ上に複数
のピケットを含んでいる。

【００３８】・ピケット・プロセッサ・システム（また
はサブシステム）ピケット・プロセッサは、ピケットのアレイと、通信ネ
ットワークと、入出力システムと、マイクロプロセッ
サ、キャンド・ルーチン・プロセッサ、およびアレイを
実行するマイクロコントローラから成るＳＩＭＤ制御装
置とから構成されるトータル・システムである。

【００３９】・ピケット・アーキテクチャピケット・アーキテクチャは、ＳＩＭＤアーキテクチャ
の好ましい実施例であり、次のことを含む複数の多様な
問題に対応できる機能をもつ。 −セット連想処理 −並列数値中心処理 −イメージに類似した物理的アレイ処理

【００４０】・ピケット・アレイピケット・アレイは、幾何的順序でアレイされたピケッ
トの集合体であり、規則正しいアレイである。

【００４１】・ＰＭＥすなわちプロセッサ・メモリ要素ＰＭＥは、プロセッサ・メモリ要素を表す。本明細書で
は、ＰＭＥという用語を、本発明の並列アレイ・プロセ
ッサの１つを形成する、単一のプロセッサ、メモリ、お
よび入出力可能なシステム要素もしくはユニットを指す
のに使用する。ＰＭＥは、ピケットを包含する用語であ
る。ＰＭＥは、プロセッサ、それと結合されたメモリ、
制御インタフェース、およびアレイ通信ネットワーク機
構の一部分から成るプロセッサ・アレイの１／ｎであ
る。この要素は、ピケット・プロセッサにおけるよう
に、正規のアレイの接続性を持つＰＭＥ、あるいは上述
の多重ＰＭＥノードにおけるように、サブアレイの一部
としてのＰＭＥを備えることができる。

【００４２】・経路指定経路指定とは、メッセージを宛先に届けるための物理経
路を割り当てることである。経路の割当てには、発信元
と宛先が必要である。これらの要素またはアドレスは、
一時的な関係または類縁性を持つ。メッセージの経路指
定は、しばしば、割当てのテーブルを参照することによ
って得られるキーに基づいて行われる。ネットワーク内
では、宛先は、リンクを識別する経路制御アドレスによ
って、伝送される情報の宛先としてアドレス指定され
る、任意のステーションまたはネットワークのアドレス
指定可能ユニットである。宛先フィールドは、メッセー
ジ・ヘッダ宛先コードで宛先を識別する。

【００４３】・ＳＩＭＤアレイ内のすべてのプロセッサが、単一命令ストリーム
から、１処理要素当たり１つずつ配置された複数データ
・ストリームを実行するように指令を受ける、プロセッ
サ・アレイ・アーキテクチャ。

【００４４】・ＳＩＭＤＭＩＭＤまたはＳＩＭＤ／ＭＩＭＤＳＩＭＤＭＩＭＤまたはＳＩＭＤ／ＭＩＭＤとは、ある
時間の間ＭＩＭＤからＳＩＭＤに切り換えて複雑な命令
を処理できる二重機能を持ち、したがって２つのモード
を持つマシンを指す用語である。シンキング・マシンズ
社（Thinking Machines, Inc）のコネクション・マシン
（Connection Machine）モデルＣＭ−２をＭＩＭＤマシ
ンのフロント・エンドまたはバック・エンドとして配置
すると、プログラマは、二重モードとも称する、複数の
モードを動作させてある問題の別々の部分を実行するこ
とができた。これらのマシンは、ＩＬＬＩＡＣ以来存在
しており、バスを使用してマスタＣＰＵを他のプロセッ
サと相互接続している。マスタ制御プロセッサは、他の
ＣＰＵの処理に割り込む能力を持つ。他のＣＰＵは、独
立のプログラム・コードを実行できる。割込み中、チェ
ックポイント機能用に何らかの処理が必要である（制御
されるプロセッサの現状況のクローズおよびセーブ）。

【００４５】・ＳＩＭＩＭＤＳＩＭＩＭＤは、アレイ内のすべてのプロセッサが、単
一命令ストリームから、１処理要素当たり１つずつ配置
された複数データ・ストリームを実行するように指令を
受ける、プロセッサ・アレイ・アーキテクチャである。
この構成内では、命令実行を模倣する、各ピケット内の
データ従属演算が、ＳＩＭＤ命令ストリームによって制
御される。

【００４６】これは、ＳＩＭＤ命令ストリームを使用し
て複数命令ストリーム（１ピケット当たり１個）を順序
付けし、複数データ・ストリーム（１ピケット当たり１
個）を実行することの可能な、単一命令ストリーム・マ
シンである。ＳＩＭＩＭＤは、ＰＭＥシステムによって
実行できる。

【００４７】・ＳＩＳＤＳＩＳＤは、単一命令単一データの略語である。

【００４８】・スワッピングスワッピングとは、ある記憶域のデータ内容を別の記憶
域のデータ内容と相互に交換することをいう。

【００４９】・同期操作ＭＩＭＤマシンにおける同期動作は、各アクションがあ
る事象（通常はクロック）に関係付けられる、動作モー
ドである。この事象は、プログラム・シーケンス中で規
則的に発生する、指定された事象とすることができる。
動作は多数の処理要素にディスパッチされ、それらの処
理要素はそれぞれ独立して機能を実行する。動作が完了
しないかぎり、制御は制御装置に返されない。

【００５０】要求が機能ユニットのアレイに対するもの
である場合、アレイ内の要素に制御装置から要求が出さ
れ、その要素は、制御装置に制御が返される前に動作を
完了しなければならない。

【００５１】・ＴＥＲＡＦＬＯＰＳＴＥＲＡＦＬＯＰＳは、１秒当たり１０¹²個の浮動小数
点命令を意味する。

【００５２】・ＶＬＳＩＶＬＳＩとは、（集積回路に適用される）超大規模集積
の略語である。

【００５３】・ジッパジッパとは、新規に提供される、アレイ構成の通常の相
互接続の外部にある装置からリンクを確立するための機
能である。

【００５４】以下に、本発明の背景となる従来技術につ
いて述べる。エンジニアは、コンピュータの高速化をあ
くなく追求する中で、数百、ときには数千もの低コスト
・マイクロプロセッサを並列にリンクして、スーパー・
スーパーコンピュータを構築し、今日のマシンには手の
負えない複雑な問題を解決しようとしている。そのよう
なマシンは、大規模並列マシンと呼ばれている。本発明
者等は、大規模並列システムを構築するための新規の方
法を開発した。本発明者等が加えた多数の改良は、他の
人々の多数の研究の背景と対比して考察すべきである。

【００５５】並列に動作する複数のコンピュータは数十
年前から存在する。初期の並列マシンには、１９６０年
代に開始されたＩＬＬＩＡＣが含まれる。１９７０年代
にはＩＬＬＩＡＣＩＶが構築された。他の多重プロセ
ッサ（米国特許第４９７５８３４号の要約を参照）に
は、シーダ（Cedar）、シグマ１（Sigma-1）、バタフラ
イ・アンド・ザ・モナーク（the Butterfly and the Mo
narch）、インテルｉｐｓｃ（the Intel ipsc）、コネ
クション・マシンズ（The Connection Machines）、カ
ルテック・コズミック（the Caltech COSMIC）、Ｎキュ
ーブ（the N Cube）、ＩＢＭのＲＰ３、ＩＢＭのＧＦ１
１、ＮＹＵウルトラ・コンピュータ（theNYU Ultra Com
puter）、インテル・デルタ・アンド・タッチストーン
（the Intel Delta and Touchstone）などがある。

【００５６】ＩＬＬＩＡＣから始まる大規模多重プロセ
ッサは、スーパーコンピュータとみなされている。商業
的にもっとも大きな成功を収めたスーパーコンピュータ
は、複数のベクトル・プロセッサに基づくものであり、
クレイ・リサーチ（Cray Research）Ｙ−ＭＰシステ
ム、ＩＢＭ３０９０、ならびにアムダール（Amdah
l）、日立、富士通、ＮＥＣなどその他の製造業者のマ
シンがその代表である。

【００５７】大規模並列プロセッサ（ＭＰＰ）は現在、
スーパーコンピュータとなる能力を有するとみなされて
いる。これらのコンピュータ・システムは、相互接続ネ
ットワークによって多数のマイクロプロセッサを集成
し、これらのマイクロプロセッサが並行して動作するよ
うにプログラミングする。これらのコンピュータの動作
モードは２つある。すなわち、ＭＩＭＤモード・マシン
とＳＩＭＤモード・マシンとがある。これらのマシンの
中で商業的にもっとも成功したのは、シンキング・マシ
ンズ社のコネクション・マシンズ・シリーズ１および２
である。これは基本的に、ＳＩＭＤマシンである。大規
模並列マシンの多くは、並列に相互接続されたマイクロ
プロセッサを使用して、並行性、すなわち並列動作能力
を得ている。ｉ８６０などのインテル・マイクロプロセ
ッサは、インテル社その他が使用してきている。Ｎキュ
ーブ社では、インテル ^３８６マイクロプロセッサを用
い大規模並列マシンを構築している。他に、いわゆる
「トランスピュータ」チップを使って構築されたマシン
もある。インモス・トランスピュータ（Inmos Transput
er）ＩＭＳＴ８００はその一例である。インモス・ト
ランスピュータＴ８００は３２ビット装置であり、一体
型高速浮動小数点プロセッサを備えている。

【００５８】構築されるシステムの種類の例を挙げる
と、たとえば、複数のインモス・トランスピュータＴ８
００チップが、それぞれ３２個の通信リンク入力と３２
個のリンク出力を有する。各チップは、単一のプロセッ
サ、小規模のメモリ、ローカル・メモリへの通信リン
ク、および外部インタフェースへの通信リンクを有す
る。さらに、システムを完成するため、ＩＭＳＣ０１
１やＣ０１２などの通信リンク・アダプタが接続され
る。さらに、ＩＭＳＣ００４などのスイッチをたとえ
ば３２個のリンク入力と３２個のリンク出力の間のクロ
スバー交換機として用いて、追加のトランスピュータ・
チップ間での２地点間接続を行う。さらに、トランスピ
ュータ用の特殊回路およびインタフェース・チップを使
用し、これを特殊装置、グラフィックス制御装置、また
はディスク制御装置の要件に合わせて調整された特殊目
的に使用できるように適合させている。インモスＩＭＳ
Ｍ２１２は１６ビット・プロセッサであり、１個のオ
ン・チップ・メモリと複数の通信リンクを備えている。
このプロセッサは、ディスク・ドライブを制御するため
のハードウェアおよび論理回路を備えており、プログラ
マブル・ディスク制御装置または汎用インタフェースと
して使用できる。並行性（並列動作）を使用するため、
インモス社ではトランスピュータ用の特殊言語であるＯ
ｃｃａｍを開発した。プログラマは、トランスピュータ
のネットワークを直接Ｏｃｃａｍプログラムで記述する
必要がある。

【００５９】これらの大規模並列マシンのいくつかは、
様々なトポロジーで相互接続されたプロセッサ・チップ
から成る並列プロセッサ・アレイを使用している。トラ
ンスピュータは、ＩＭＳＣ００４チップを追加してク
ロスバー・ネットワークを形成する。この他に、ハイパ
ーキューブ接続を使用するシステムもある。バスまたは
メッシュを使用して、マイクロプロセッサとそれに関連
する回路を接続するシステムもある。回線交換プロセッ
サによって相互接続され、スイッチをプロセッサ・アド
レス可能ネットワークとして使用するシステムもある。
昨年秋、ローレンス・リバーモア（Lawrence Livermor
e）で、マシンを相互に配線することによって相互接続
された１４個のＲＩＳＣ／６０００の場合のように、プ
ロセッサ・アドレス可能ネットワークは粗多重プロセッ
サとみなされるようになっている。

【００６０】いくつかの大規模なマシンが、インテル社
およびＮキューブ社その他によって、データ処理におけ
るいわゆる「遠大な課題」に対処するために構築されて
いる。しかし、これらのコンピュータはきわめて高価で
ある。「遠大な課題」に対処するために米国政府が開発
資金を提供しているコンピュータの最近の見積りコスト
は、約３０００〜７５００万ドル（テラコンピュータ）
である。これらの「遠大な課題」には、気候モデリン
グ、乱流、汚染分散、ヒト遺伝子および海流のマッピン
グ、量子クロモ力学、半導体およびスーパーコンピュー
タのモデル化、燃焼システム、視覚認識が挙げられる。

【００６１】本発明の背景について一言付け加えると、
ＩＢＭが開発した初期の大規模並列マシンの１つを認識
すべきである。本明細書では、チップ内のＰＭＥのアレ
イすなわちノードを構成する、プロセッサおよび入出力
機能を備えた８つ以上のメモリ単位の１つを記述するの
に、「トランスピュータ」ではなくＰＭＥという用語を
使用する。参照した従来技術の「トランスピュータ」
は、チップ上に１つのプロセッサ、ＦＯＲＴＲＡＮ補助
プロセッサ、および小規模なメモリと入出力インタフェ
ースを有する。本発明のＰＭＥは一般に、トランスピュ
ータおよびＲＰ３のＰＭＥに適用できる。しかし、以下
で分かるように、本発明の小型チップは多くの点で大幅
に異なる。本発明の小型チップは後述する多数の機能を
有する。しかし、ＰＭＥという用語が、最初はＲＰ３と
して知られる大規模並列マシンの基礎となった、現在で
はより典型的となった別のＰＭＥを表すために作り出さ
れたことを、本発明者等は承知している。ＲＰ３（ＩＢ
Ｍ研究用並列処理プロトタイプ）は、複数命令複数デー
タ（ＭＩＭＤ）アーキテクチャに基づく実験的並列プロ
セッサであった。ＲＰ３は、ＩＢＭのＴ．Ｊ．ワトソン
研究所でニューヨーク大学ウルトラコンピュータ・プロ
ジェクトと協力して設計し構築された。この研究は一
部、米国防総省高等研究企画庁の後援を受けた。ＲＰ３
は、高速オメガ・ネットワークと相互接続された６４個
のプロセッサ・メモリ要素（ＰＭＥ）から構成されてい
た。各ＰＭＥが、３２ビットのＩＢＭ"ＰＣ Scientifi
c"マイクロプロセッサ、３２ＫＢキャッシュ、４ＭＢセ
グメントのシステム・メモリ、および入出力ポートを備
えていた。ＰＭＥ入出力ポート・ハードウェアおよびソ
フトウェアは、初期設定、状況獲得、ならびに共用入出
力サポート・プロセッサ（ＩＳＰ）によるメモリとプロ
セッサの通信をサポートした。各入出力サポート・プロ
セッサは、システム・ネットワークとは独立に、拡張入
出力アダプタ（ＥＴＩＯ）により８個のＰＭＥをサポー
トする。各入出力サポート・プロセッサは、ＩＢＭＳ
／３７０チャネルおよびＩＢＭトークン・リング・ネッ
トワークとインターフェースし、オペレータ・モニタ・
サービスを提供する。各拡張入出力アダプタは、装置と
してＰＭＥＲＯＭＰ記憶チャネル（ＲＳＣ）に接続さ
れ、ＥＴＩＯチャネルを介してプログラマブルＰＭＥ制
御／状況信号入出力を提供した。ＥＴＩＯチャネルは、
ＩＳＰを８個のアダプタに相互接続する３２ビット・バ
スである。ＥＴＩＯチャネルは、ＥＴＩＯアダプタ上の
ハードウェアと入出力サポート・プロセッサ上のソフト
ウェアでサポートされるカスタム・インタフェース・プ
ロトコルを使用していた。

【００６２】

【発明が解決しようとする課題】本明細書で拡張並列ア
レイ・プロセッサ（ＡＰＡＰ）と呼んでいるマシンは、
密並列プロセッサであり、従来設計の問題に対処するた
めにこれが必要であると本発明者等は考えている。上述
のように、専用メモリおよび共用メモリを使用するポイ
ント・デザインおよびオフ・ザ・シェルフ・プロセッサ
と、可能な多数の相互接続方式の１つとから多くの密
（および粗）プロセッサが構築されている。現在までの
ところ、これらの手法はすべて、設計および性能上いく
つかの制限が見つかっている。その「解決策」はそれぞ
れ目指す所が異なるが、それぞれ問題がある。既存の並
列マシンはプログラミングが難しい。各並列マシンは一
般に、一連のアプリケーションと互換性のある様々なサ
イズのマシンに適合できるわけではない。各並列マシン
は、物理設計、相互接続、およびアーキテクチャ上の問
題によってその設計が制限されている。

【００６３】物理的問題：水平構造に必要な各種機能の
それぞれ用に別々のチップ設計を使用する手法がある。
これらの手法は、チップ交差遅延により性能が制限され
ている。

【００６４】様々な機能を単一のチップに垂直に集積す
る手法もある。これらの手法は、生産可能なチップ上に
集積できる論理ゲートの数に物理的制限があるために、
その性能が制限されている。

【００６５】相互接続の問題：密並列プロセッサにとっ
て、様々な処理機能を相互接続するネットワークが重要
である。バス、メッシュ、およびハイパーキューブを用
いるプロセッサ設計はすべて開発されている。これらの
ネットワークはそれぞれ、処理能力に関して固有の制限
がある。バス設計では、物理的に相互接続可能なプロセ
ッサの数と、ネットワーク性能の両方が制限される。メ
ッシュ設計では、ネットワークの直径が大きくなるた
め、ネットワークの性能が制限される。ハイパーキュー
ブ設計では、各ノードに多数の相互接続ポートが必要で
ある。したがって、相互接続できるプロセッサの数は、
ノードにおける物理入出力ピンによって制限される。ハ
イパーキューブ構造は、従来のバス構造およびメッシュ
構造よりも性能上かなり優れていると考えられている。

【００６６】アーキテクチャ上の問題：密並列プロセッ
サに適したプロセスは、２つの種類に分けられる。機能
的に区分可能なプロセスは、複数命令複数データ（ＭＩ
ＭＤ）アーキテクチャでの方がうまく実行できる傾向が
ある。機能的に区分可能ではないが、複数のデータ・ス
トリームを持つプロセスは、単一命令複数データ（ＳＩ
ＭＤ）アーキテクチャでの方がうまく実行できる傾向が
ある。どのようなアプリケーションでも、両方の種類の
プロセスがいくつか含まれている。特定のアプリケーシ
ョンに最も適合するアーキテクチャを選択するにはシス
テム・トレードオフが必要であるが、単一の解決策では
満足な結果が得られていない。

【００６７】

【課題を解決するための手段】本発明では、新しい概念
によって設計された新規の「チップ」およびシステムを
作成することにより、大規模並列プロセッサおよびその
他のコンピュータ・システムを構築する、新しい方法を
開発した。本発明は、そのようなシステムを対象として
いる。本明細書に記載する構成要素を本発明のシステム
中で組み合わせると、新しいシステムが構築できる。こ
れらの構成要素は、既存の技術と組み合わせることも可
能である。

【００６８】本発明の約１４×１４ｍｍの小型ＣＭＯＳ
ＤＲＡＭは、レンガでビルディングの壁を築いたり道
路を舗装するのと同様に組み立てることができる。この
チップは、複製物の接続により、「家」すなわち複合コ
ンピュータ・システムの構築に必要な構造を提供する。

【００６９】本発明を概観すると、それぞれ内部アレイ
機能および外部入出力ＢＣＩを備え、メモリに組み込ま
れた８個以上のプロセッサを備える、同一の小型チップ
４個で、３６以上の複合コンピュータのメモリおよび処
理能力が提供される。これらのチップは、そのすべてを
コンパクト・ハイブリッド・パッケージングにより腕時
計程度のサイズに配置することができ、また各チップが
約２Ｗしか散逸しないので、きわめて低い電力で動作さ
せることができる。本発明者等は、このチップを用いて
多数の新規概念を開発しており、独自の発明と考える概
念については、実施例および特許請求の範囲で詳しく記
述する。本発明のコンピュータ・システムを用いて構築
できるシステムは、小型装置から、ＰＥＴＡＯＰ能力を
持つ大規模なマシンまでの範囲に及ぶ。

【００７０】本明細書では、小型のメモリ・チップ・ア
レイ・プロセッサをＡＰＡＰと呼んでいる。このプロセ
ッサは小型であるが、複雑で強力である。典型的なクラ
スタは多数のチップを有する。本明細書および関連出願
に、本発明の多くの態様および特徴が記載されている。
本発明のこれらの概念および特徴は、各発明を使用しな
いコンピュータ・システムを改善し、かつそのようなコ
ンピュータ・システムに適用できる。本発明の概念およ
び特徴は、次世紀に採用され使用されるものと本発明者
等は考えている。

【００７１】ここでは、本発明の新しいメモリ概念を表
す拡張並列アレイ・プロセッサ（ＡＰＡＰ）と、簡単で
（固有の部品数がきわめて少ない）非常に高性能のスケ
ーリング可能な大規模並列プロセッサ（ＭＰＰ）を開発
する際の努力について概説する。本発明のプロセッサ
は、好ましい実施例ではＶＬＳＩチップを使用してい
る。このチップは、２ｎ個のＰＭＥマイクロコンピュー
タを含んでいる。"ｎ"は、最大アレイ次元数を表す。チ
ップはさらに、同報通信／制御インタフェース（ＢＣ
Ｉ）と、チップ上のＰＭＥ間の内部通信経路および、オ
フチップ・システム環境への外部通信経路を備えてい
る。好ましいチップは、８個のＰＭＥ（ただし、これよ
り多く設けることもできる）と１つのＢＣＩを有してい
る。２ｎ個のＰＭＥと１つのＢＣＩが、ノードとみなさ
れる。このノードは、ＳＩＭＤモードとＭＩＭＤモード
のどちらかで、二重ＳＩＭＤ／ＭＯＤＥで、非同期処理
付きで、およびＳＩＭＩＭＤ機能付きで機能できる。こ
れは、スケーリング可能なので、可変サイズのスケーリ
ング可能並列プロセッサの主要構成単位となることので
きるノードが提供される。ＰＭＥのマイクロコンピュー
タ・アーキテクチャは、各ノードまたはチップ内に完全
に分散したメッセージ転送相互接続機能および制御機能
を提供する。各ノードは、チップ・レベル、マイクロプ
ロセッサまたはパーソナル・コンピュータ・レベル、ワ
ークステーション・レベル、ビジョンまたはアビオニク
ス・レベルで代表される特殊アプリケーション・レベル
の多重並列マイクロコンピュータ機能を提供する。ま
た、完全に拡張すると、スーパーコンピュータの範囲に
及ぶ強力なギガフロップ性能をもつさらに高レベルの機
能が提供される。複製すると並列クラスタとなる、高度
に拡張されたＤＲＡＭチップを１つ使用することによ
り、単純さが実現される。このため、チップ数、さらに
モジュールの数などを変えることにより、部品数が抑え
られ、コストまたは性能上のニーズに対するスケーリン
グ能力が提供できる。

【００７２】本発明の手法によれば、一連のアプリケー
ションを並列に処理するという要件を満たす属性をもつ
マシンが提供できる。本発明の、サブチップ・レベルで
並列化を実施する方法により、重量、体積、反復コスト
および予備品在庫コストが抑えられる。

【００７３】本発明の様々なサイズのシステムはすべて
単一のチップを基にして構成されるので、ソフトウェア
・ツールはあらゆるサイズのシステムに共通である。こ
のため、すべてのレベル（ワークステーション、航空宇
宙、およびスーパーコンピュータ）で交換可能な（小規
模なワークステーション・マシン上で走行する）開発ソ
フトウェアが可能となる。すなわち、ずっと大規模なマ
シン上で実動プログラムを実行しながら、プログラマが
ワークステーション上でプログラムを開発することがで
きる。

【００７４】本発明の設計の実施はたいへんバランスが
よいので、技術、性能、コスト、および認識面で課され
ている今日の要件を満たすとともに、将来、システムの
拡張が可能である。本発明のＭＰＰ手法はチップ・レベ
ルから出発するので、まずチップ技術について説明し、
最後にスーパーコンピュータ・アプリケーションについ
て説明する。

【００７５】物理的問題、相互接続の問題、およびアー
キテクチャの問題はすべて、マシン内で直接対処され
る。諸機能が単一のチップ設計に統合されているだけで
なく、このチップ設計は、処理、経路指定、記憶、およ
び３種の入出力においてチップが効果を示すのに十分な
強力で柔軟な機能を提供する。相互接続ネットワーク
は、ハイパーキューブに通常伴う入出力ピンおよび配線
可能性の制限なしに、最小のネットワーク直径を提供す
る、ハイパーキューブの新規バージョンとなる。ＳＩＭ
ＤとＭＩＭＤの間のトレードオフは不要になる。という
のは、この設計では、プロセッサをＭＩＭＤモードとＳ
ＩＭＤモードの間で動的に切り換えることができるから
である。このため、「ハイブリッド」マシンのアプリケ
ーション・プログラマが遭遇する多数の問題がなくな
る。さらに、この設計により、プロセッサのサブセット
をＳＩＭＤモードまたはＭＩＭＤモードにすることがで
きる。

【００７６】拡張並列アレイ・プロセッサ（ＡＰＡＰ）
は、密並列プロセッサである。ＡＰＡＰは、パーソナル
・コンピュータ処理アプリケーションによるスーパーコ
ンピュータ処理に適した構成が満足されるように、区分
可能な制御セクションおよび処理セクションから構成さ
れている。大部分の構成では、これはホスト・プロセッ
サに接続され、ホストの作業負荷の各セグメントへのオ
フロードをサポートする。ＡＰＡＰアレイ処理要素は汎
用コンピュータなので、オフロードされる作業負荷の種
類は、ホストの機能に応じて変わる。たとえば、本発明
のＡＰＡＰは、ＩＢＭ３０９０ベクトル・プロセッサ
・メインフレームのモジュールとすることができる。高
性能ベクトル浮動小数点機能を備えたメインフレームに
接続する場合は、オフロードされるタスクが疎密行列変
換であってよい。また、パーソナル・コンピュータに接
続する場合は、オフロードされるタスクが数値計算中心
の３次元図形処理であってよい。

【００７７】"Parallel Associative Processor Syste
m"と題する米国特許出願第０７／６１１５９４号では、
コンピュータ・メモリと制御論理回路を単一チップ内に
統合し、チップ内でその組合せを複製して、単一チップ
の複製からプロセッサ・システムを構築するという考え
が記載されている。この手法は、本発明で継続され拡張
されて、わずか１種類のチップを開発および製造するだ
けで、大規模並列処理機能が実施でき、チップ境界交差
が削減され線長が短くなったために性能が向上した、シ
ステムがもたらされる。

【００７８】１９９０年１１月１３日出願の米国特許出
願第０７／６１１５９４号では、１次元入出力構造（基
本的に線形入出力）を、チップ内で複数のＳＩＭＤＰ
ＭＥを該構造に取り付けて利用することが例示されてい
る。この実施例では、これらの概念を２次元以上に拡張
している。次に、１チップ当たり８個のＳＩＭＤ／ＭＩ
ＭＤＰＭＥを備えた４次元入出力構造について説明す
る。しかし、後で図４、図１０、図１１、図１７、およ
び図１８に関して説明するように、これよりも次元数、
または次元当たりのＰＭＥを増やすことが可能である。
本発明の処理要素は、データ転送割込みおよびプログラ
ム割込みを含む完全な入出力システムを備えている。好
ましい実施例の説明では、主として、１チップ当たり８
個のＳＩＭＤ／ＭＩＭＤＰＭＥを備えた好ましい４次
元入出力構造を取り上げる。本発明者等の考えでは、現
在この構造は特に有利である。しかし、本明細書に記載
するように、この次元数、または次元当たりのＰＭＥを
これよりも増やすことが可能である。さらに、大部分の
応用例では、ハイパーキューブ相互接続、特に後述の修
正ハイパーキューブによる、より高次元の領域における
発明を優先し、かつそのような発明を行った。しかし、
応用例によっては、チップの２次元メッシュ相互接続が
手近なタスクに適用できる。たとえば、ある種の軍事用
コンピュータでは、２次元メッシュが適切であり、費用
効果が高い。

【００７９】本開示では、これらの概念をプロセッサ間
通信から外部入出力機能へと拡張し、処理アレイの制御
に必要なインターフェースおよびモジュールを記載す
る。要するに、プロセッサ間、プロセッサ外部間、同報
通信／制御の３種の入出力を記載する。大規模並列処理
システムでは、これらすべての種類の入出力帯域幅要求
とプロセッサの計算能力のバランスをとることが必要で
ある。アレイ内では、これらの要件は１６ビットの（縮
小）命令セット・プロセッサを複製し、それに超高速割
込み状態スワップ能力を増補することによって満たされ
る。このプロセッサは、ＰＭＥと称し、本発明のＡＰＡ
Ｐの好ましい実施例を例示するものとなる。ＰＭＥの特
徴は、他の大規模並列マシンの処理要素と比較すると、
全く独特である。これを用いると、処理、経路指定、記
憶および入出力を完全に分散させることが可能となる。
他の設計でこの特徴を持つものはない。

【００８０】ハイパーキューブでは、各ＰＭＥが、それ
に隣接する要素として、アドレスのどれか１つのビット
位置だけが異なるどのＰＭＥにもアドレスできる。リン
グ内では、どのＰＭＥも、それに隣接する要素として、
アドレスが±１異なる２つのＰＭＥにアドレスできる。
ＡＰＡＰに使用される、好ましい実施例の修正ハイパー
キューブでは、これらの手法を組み合わせて、リングか
らハイパーキューブを構築している。リングの交差部分
を、ノードと定義する。好ましいシステムの各ノードで
は、半導体シリコン低レベルＣＭＯＳＤＲＡＭチップ
内に、ＰＭＥ、メモリと入出力機構、ならびにノードの
他のフィーチャが形成されている。ノードは、各チップ
上の複数のＰＭＥから構築される。各ＰＭＥは、複数の
ノードからなる１つのリング内だけに存在する。ノード
内のＰＭＥは、ノード内のリング間で通信の経路指定が
可能なように、追加のリングによって接続されている。
これにより、自分のリング内のあるＰＭＥ、またはその
ノード内の隣接ＰＭＥにアドレスすることにより、どの
ＰＭＥも目標に向けてメッセージを送信できる、アドレ
ス指定構造が形成される。要するに、ＰＭＥは、そのリ
ングのＩｎ₂ｄビット・フィールド（ｄは、リング内の
ＰＭＥの数）においてアドレスの１つのビットが１だけ
異なるＰＭＥ、またはアドレスは同じであるが隣接の次
元に存在するＰＭＥにアドレスできる。ＰＭＥはｎ組の
リングに存在しているように見えるが、実際には１つの
実リングと、チップ内にそっくり含まれる１つの隠れた
リング内に存在するだけである。修正ハイパーキューブ
の次元数は、前文から値ｎと定義する。

【００８１】本発明では、修正ハイパーキューブを使用
することが好ましい。これについては、本明細書の該技
術に関する説明の部分で詳述する。最後に、あるリング
内のＰＭＥは対になって、一方のＰＭＥがノードのリン
グに沿ってデータを外側に時計回りの方向に移動し、他
方のＰＭＥがノードのリングに沿ってデータを外側に反
時計回りの方向に移動するようになっている。したがっ
て、１つのＰＭＥが外部ポート専用となる。

【００８２】好ましい実施例における大規模並列マシン
では、１つのＰＭＥと、ノード内の別のＰＭＥ、ならび
にそのノード外にある、クラスタの他のノードまたは大
規模並列処理環境のＰＭＥとの相互接続ならびにデータ
および命令の同報通信がプログラマブル・ルータによっ
て実行され、したがって再構成が可能であり、ネットワ
ーク動作がきわめて柔軟である。この重要な機能は、完
全に分散されてＰＭＥに組み込まれており、ＳＩＭＤモ
ードおよびＭＩＭＤモード、ならびにＳＩＭＤ／ＭＩＭ
Ｄ動作モードおよびＳＩＭＩＭＤ動作モードでシステム
が動作中に、ＰＭＥ間のプロセッサ通信およびデータ転
送が可能となる。

【００８３】リング内で、各相互接続レッグは２地点間
接続である。各ＰＭＥは、リング内の２つの隣接ＰＭ
Ｅ、および２つの隣接リング内の２つの隣接ＰＭＥと２
地点間接続されている。これらの２地点間接続のうち３
つはノード内部にあり、４番目の２地点間接続は隣接ノ
ードとの間にある。

【００８４】大規模並列処理システムは、処理要素と、
そのローカル・メモリおよび相互接続トポロジーを使用
して、すべてのプロセッサを相互に接続する。ＰＭＥ内
には、入出力プログラマブル・ルータが組み込まれてい
る。本発明のシステムではまた、すべての処理要素をロ
ードおよびアンロードする能力を提供する追加機構が提
供される。本発明のジッパにより、処理要素のアレイを
ロードおよびアンロードする方法が提供され、したがっ
てアレイのリングのエッジに沿った高速入出力の実現が
可能になる。外部インタフェース入出力を可能にするた
め、リングをサブセットに分割し（ある次元でジップ解
除し）、分割された経路を外部インタフェースに接続す
ることができる。１９９２年５月２２日に出願され
た、"APAP I/O ZIPPER"と題する同時係属の米国特許
に、「ジッパ」がさらに詳細に記載されている。「ジッ
パ」は、ピーク外部入出力負荷をサポートするのに必要
なリンクのサブセットだけに適用できる。そのため、こ
れまでに考察したすべての構成で、ジッパは、物理設計
の１つまたは２つのエッジだけに適用される。

【００８５】最後の種類の入出力は、すべてのＰＭＥに
同報通信しなければならない、あるいはすべてのＰＭＥ
から収集しなければならないデータと、特殊過ぎて標準
バスに適合できないデータから構成される。同報通信デ
ータには、コマンド、プログラム、およびデータが含ま
れる。収集データは主として状況機能およびモニタ機能
であり、診断機能およびテスト機能は特殊要素である。
各ノードには、組み込まれた１組のＰＭＥの他に、同報
通信／制御インタフェース（ＢＣＩ）セクションが１つ
ある。

【００８６】修正４次元ハイパーキューブ・ネットワー
ク中で相互接続されているＰＭＥを考えてみよう。各リ
ングが１６個のＰＭＥを備えている場合、システムは３
２７６８個のＰＭＥを有することになる。ネットワーク
直径は１９ステップである。各ＰＭＥは、ソフトウェア
内にルータおよび再構成ソフトウェアを備えており、特
定の発信ポートをサポートする。したがって、処理要素
またはノードが故障した場合、ソフトウェア経路指定に
よって再構成が可能になる。バイト幅半二重リングを備
えた４次元２５ＭＨｚのネットワーク設計では、毎秒４
１０ギガバイトのピーク内部帯域幅が実現される。

【００８７】４次元ハイパーキューブにより特に有利な
パッケージがもたらされる。単一のチップに８個のＰＭ
Ｅ（データ・フロー、メモリと入出力経路、および制御
機構を含む）が含まれる。したがって、リングに沿って
要素対を備えた単一のチップがノードとなる。ノードは
８×８アレイに構成され、クラスタを形成する。完全装
備のマシンは、８×８クラスタのアレイから構成され、
ＰＭＥ３２７６８個の最大容量を提供する。

【００８８】各ＰＭＥは、大きなメモリ機能と入出力機
能を持つ強力なマイクロコンピュータである。縮小命令
セット（ＲＩＳＣ）アーキテクチャ内にはマルチバイト
・データ・フローがある。各ＰＭＥは、１６ビットの内
部データ・フローと、８レベルのプログラム割込みを有
し、作業用レジスタと汎用レジスタを使用してデータ・
フローを管理する。ＰＭＥソフトウェア制御下で入出力
転送を行うために、回線交換モードおよび蓄積交換モー
ドがある。ＳＩＭＤモードまたはＭＩＭＤモードは、Ｐ
ＭＥソフトウェアの制御下にある。ＰＭＥは、ＳＩＭＤ
モードでは同報通信／制御インタフェース（ＢＣＩ）か
らのＲＩＳＣ命令、ＭＩＭＤモードでは自分の主記憶装
置からのＲＩＳＣ命令を実行する。特定のＲＩＳＣ命令
コード点を再解釈して、ＳＩＭＤモードで固有の機能が
実行できる。各ＰＭＥは、拡張命令セット・アーキテク
チャを実施することができ、拡張精密固定小数点演算、
浮動小数点演算、ベクトル演算などのマクロ・レベル命
令を実行する経路指定を提供することができる。これに
より、複雑な演算が扱えるようになるだけでなく、多次
元でのイメージ・データ（２次元イメージおよび３次元
イメージ）の表示用および多重媒体アプリケーション用
のイメージ処理活動も可能になる。システムは、ある機
能用にＰＭＥのグループを選択できる。割り当てられた
ＰＭＥに、グループ処理のために選択されたデータおよ
び命令を割り振ることができる。動作は、ＢＣＩを介し
て外部から監視できる。各ＢＣＩは、そのノード用の一
次制御入力、二次制御入力、および状況モニタ出力を有
する。ノード内では、２ｎ個のＰＭＥをチップ内の２進
ハイパーキューブ通信ネットワーク用接続とすることが
できる。ＰＭＥ間の通信は、ＰＭＥソフトウェアの制御
下でＰＭＥ制御レジスタ内のビットによって制御され
る。これにより、システムは仮想経路指定機能を持つこ
とができる。各ＰＭＥは、それ自体の中で上下にまたは
２つの隣接リングのいずれかにおける隣接ＰＭＥにメッ
セージを送信できる。ＰＭＥ間の各インタフェースは２
地点間接続である。入出力ポートを用いて、内部リング
をシステムの隣接ノードまでチップ外に延ばすことがで
きる。システムは、ノードの複製から構築され、ノード
・アレイ、クラスタその他の構成を形成している。

【００８９】本発明では、システムのＳＩＭＤ機能、Ｍ
ＩＭＤ機能、ＳＩＭＤ／ＭＩＭＤ機能、およびＳＩＭＩ
ＭＤ機能を補足するため、独特な動作モードを提供して
いる。ＳＩＭＤ／ＭＩＭＤＰＭＥの独特なモードのう
ちに、「蓄積交換／回線交換」機能と呼ばれる新規の機
能がある。これらのハードウェア機能を、オンチップ通
信と、プログラマブルな内部および外部入出力経路指定
で補足すると、ＰＭＥに最適なデータ転送機能が提供さ
れる。好ましい動作モードでは、プロセッサ・メモリは
一般に、蓄積交換モードでＰＭＥを宛先とするメッセー
ジおよびデータのデータ・シンクである。ＰＭＥを宛先
としないメッセージおよびデータは、回線交換モードの
とき、必要な出力ポートに直接送信される。ＰＭＥソフ
トウェアは、選択された経路指定経路を実行しながら、
ＰＭＥに動的に選択可能な蓄積交換／回線交換機能を与
える。

【００９０】本発明によって提供される新規概念の１つ
に、ノードのＰＭＥ用の完全分散型アーキテクチャがあ
る。各ノードは、２ｎ個のプロセッサ、メモリ、および
入出力機構を有する。あらゆるＰＭＥが、１６ビットの
データ・フロー、６４ＫＢのローカル記憶域、蓄積交換
／回線交換論理回路、ＰＭＥ間通信、ＳＩＭＤ／ＭＩＭ
Ｄ交換機能、プログラムマブル経路指定、および専用浮
動小数点支援論理回路により、非常に柔軟な処理機能を
提供する。あらゆるＰＭＥの編成と、それと同一チップ
内の他のＰＭＥとの間の通信経路により、チップ交差遅
延が最小限になるようになっている。ＰＭＥ機能は、Ｐ
ＭＥによって独立に操作でき、ノード、クラスタ、およ
びより大きなアレイ内の諸機能と統合できる。

【００９１】本発明の大規模並列システムは、多重プロ
セッサ・ノード、ノードのクラスタ、およびクラスタに
すでにパッケージされたＰＭＥのアレイというノード構
成単位から構成されている。これらのパッケージ・シス
テムを制御するため、本発明では、大規模並行処理環境
においてハードウェア制御装置によってプロセッサ・メ
モリ要素（ＰＭＥ）アレイ制御装置機能の全体を実行す
る、システム・アレイ・ディレクタを提供する。システ
ム・アレイ・ディレクタは、アプリケーション・インタ
フェース、クラスタ・シンクロナイザ、および通常はク
ラスタ制御装置という３つの機能領域から構成されてい
る。システム・アレイ・ディレクタは、ＰＭＥアレイの
全体的制御を行い、同報通信バスおよびジッパ接続を用
いて、すべてのＰＭＥに対してデータおよびコマンドを
操舵する。システム・アレイ・ディレクタは、ハードウ
ェアと相互作用するソフトウェア・システムとして機能
し、ＡＰＡＰオペレーティング・システムのシェルとし
ての役割を果す。

【００９２】大規模並列アレイ・コンピュータＳＩＭＤ
／ＭＩＭＤプロセッサ・メモリ要素（ＰＭＥ）相互接続
のためのこのＰＭＥの相互接続は、大規模処理環境にお
けるプロセッサ間接続を提供する。各ＰＭＥは、オンチ
ップＰＭＥ間接続から、チップ相互接続をサポートする
オフチップ入出力機能まで、本発明の完全分散型プロセ
ッサ間通信ハードウェアを使用する。本発明の修正トポ
ロジーでは、クラスタ間配線を制限しながら、ハイパー
キューブ接続の利点をサポートする。

【００９３】ＰＭＥノードに使用する概念は、本明細書
で開示する拡張並列アレイ・プロセッサ（ＡＰＡＰ）コ
ンピュータ・システムに使用されるＶＬＳＩパッケージ
ング技術に関係している。本発明のパッケージング機能
は、ＡＰＡＰシステムの製造可能性を高める。これらの
技術は、大規模並列プロセッサ・マシンの分野では他に
類を見ないものであり、マシンを、構築およびテストの
可能な最適サブセットにパッケージし構成することがで
きる。

【００９４】これらのパッケージング技術では、単一チ
ップ中にパッケージされ、Ｎ次元修正ハイパーキューブ
構成にアレイされた、８個のＰＭＥを利用している。こ
の、アレイのチップ・レベル・パッケージまたはノード
は、ＡＰＡＰ設計における最小の構成単位である。これ
らのノードはさらに８×８アレイにパッケージされる。
ここで、＋Ｘおよび＋Ｙはアレイまたはクラスタ内にリ
ングを形成し、＋Ｗおよび＋Ｚは隣接クラスタに移され
る。クラスタをグループ化することにより、アレイが形
成される。ＡＰＡＰコンピュータの所期の適用は、特定
の構成およびホストによって決まる。有効なベクトル化
浮動小数点プロセッサを備えたメインフレームに接続さ
れた大規模なシステムは、天気予報、風洞シミュレーシ
ョン、乱流モデル化、有限要素モデル化などの特殊なベ
クトル化可能な問題に対処できる。これらの問題に疎行
列が関与する場合、ベクトル化演算用のデータを用意
し、また結果を格納するために、大量の作業を実施しな
ければならない。そのような作業負荷が、ＡＰＡＰにオ
フロードされることになる。中規模システムでは、ＡＰ
ＡＰを、表示に関連する、または着信データに対する何
らかの前処理動作に関連する図形動作（すなわち、軍事
センサ・フュージョン・アプリケーションにおける最適
割当て問題の実行）の実行専用にすることができる。ワ
ークステーションまたはパーソナル・コンピュータに接
続された小規模システムは、プログラマ開発ステーショ
ンとして機能し、あるいはベクトル化浮動小数点プロセ
ッサ接続機構または３次元グラフィックス・プロセッサ
をエミュレートすることができる。

【００９５】

【実施例】次に本発明について詳述する。図１および２
は、トランスピュータＴ８００チップで例示され、タッ
チストーン・デルタ（ｉ８６０）、Ｎキューブ（^３８
６）などのマシン用の同様のチップを代表する、既存の
技術レベルを示す。図１および２を本発明で開発された
システムと比較すると、本発明を使用することにより、
従来システムのようなシステムを大幅に改善できるだけ
でなく、後述のように、新規の強力なシステムも構築で
きることが理解されよう。図１および２の従来型の現在
のマイクロプロセッサ技術では、ピンおよびメモリを大
量に使用する。帯域幅が限定され、チップ間通信によっ
てシステム性能が下がる。

【００９６】図３に表すこの革新的な新規技術では、プ
ロセッサ、メモリ、入出力機構を組み合わせて、単一の
低出力ＣＭＯＳＤＲＡＭチップ上に形成された複数の
ＰＭＥ（それぞれにメモリ・アクセス遅延がなく、それ
ぞれがネットワーキング用にすべてのピンを使用する、
８個以上の１６ビット・プロセッサ）とする。このシス
テムは、上記で参照した開示の概念と、本発明の同時出
願に別個に記載されており、本明細書に記載するシステ
ムに適用可能な発明の概念とを利用することができる。
したがって、これらの開示および出願を参照により本明
細書に組み込む。グループ化、自律性、透過性、ジッパ
相互作用、非同期ＳＩＭＤ、ＳＩＭＩＭＤ、またはＳＩ
ＭＤ／ＭＩＭＤなど本発明の概念はすべて、この新規技
術と併用できる。また、利益は少なくなるが、従来技術
のシステム中で使用することも、本発明者等の従来の多
重ピケット・プロセッサと組み合わせて使用することも
できる。

【００９７】本発明のピケット・システムでは、このプ
ロセッサが使用できる。本発明の基本概念は、組込みプ
ロセッサ、ルータ、および入出力機構を有するメモリ・
ユニットである、本発明の新規メモリ・プロセッサを備
えたシステム用の新規の基本的構成単位すなわち複製可
能レンガを提供したことである。この基本的構成単位は
スケーリング可能である。本発明を実施した基本システ
ムでは、４メガビットのＣＭＯＳＤＲＡＭを使用す
る。このシステムは、拡張すれば、１６メガビットＤＲ
ＡＭＳおよび６４メガビット・チップを備えたより大規
模なメモリ構成に使用できる。各プロセッサはゲート・
アレイである。付着密度を高めると、同一のチップ上に
より速いクロック速度のプロセッサがより多く配置で
き、ゲートおよび追加のメモリを使用すると、各ＰＭＥ
の性能が向上する。１パート型をスケーリングすること
により、ＰＥＴＡＯＰ範囲を十分満たす性能を持つこと
ができるシステム・フレームワークおよびアーキテクチ
ャが提供される。

【００９８】図３は、本明細書でＰＭＥまたはプロセッ
サ・メモリ要素と称する、好ましい実施例によるメモリ
・プロセッサを示している。このプロセッサは８個以上
のプロセッサを有する。図の実施例では、プロセッサは
８個である。チップを（水平方向に）拡張すればさらに
多くのプロセッサを追加することができる。チップは論
理回路を保持することができ、セルを追加してＤＲＡＭ
メモリを線形に（垂直に）拡張することができ、かつそ
うすることが好ましい。図には、１６ビット幅データ・
フロー・プロセッサの８つの複製を実施した、ＣＭＯＳ
ゲート・アレイ・ゲートのあるフィールドを囲む、ＤＲ
ＡＭメモリの３２キロビット×９ビット・セクションが
１６個示されている。

【００９９】このプロセッサでは、ＩＢＭＣＭＯＳ低
出力サブミクロンＩＢＭＣＭＯＳオンシリコン付着技
術により、トレンチを備えた特定のシリコンを使って、
小型チップの表面上に大きな記憶域が提供される。ＩＢ
Ｍの進んだ半導体チップ製造技術により、メモリと複数
のプロセッサから編成された相互接続が行われる。ただ
し、本明細書で記載する小型チップは、約４メガビット
のメモリを有することを理解されたい。本発明の小型チ
ップは、１６メガビットのメモリ技術が安定し、歩留り
が向上し欠陥に対処する方法が確立されたとき、論理回
路を変更せずに、それぞれ９ビット幅のさらに大きなメ
モリ・サイズに移行できるように設計されている。フォ
トリソグラフィおよびＸ線リソグラフィの発達により、
最小フィーチャ・サイズは０．５ミクロンをかなり下回
るようになっている。本発明の設計では、それ以上の進
歩を想定している。これらの進歩によって、単一のシリ
コン・チップ上に、処理機能を持つきわめて大規模なメ
モリが配置できるようになろう。

【０１００】本発明の装置は、４メガＣＭＯＳＤＲＡ
Ｍであり、これは論理回路用の広いスペースを持つ最初
の汎用メモリ・チップと考えられる。３２キロビット×
９ビットＤＲＡＭマクロの１６回の複製でメモリ・アレ
イを構成する。このＤＲＡＭは、チップ上のアプリケー
ション論理回路として大きな表面積を割り振られ、３重
レベル金属配線を備えた１２０Ｋセルを有する。プロセ
ッサ論理セルは、ゲート・アレイ・セルであることが好
ましい。ＤＲＡＭアクセス時間は３５ナノ秒以下であ
り、プロセッサのサイクル時間と合致する。このＣＭＯ
Ｓ実施態様では、非常に効果的な処理要素（ピケット）
の論理密度が提供され、しかもその際の論理回路の電力
散逸量は１．３Ｗである。チップの別々の各メモリ・セ
クションはそれぞれ３２キロビット×９ビットであり
（論理回路を変更せずに拡張可能）、ＣＭＯＳゲート・
アレイ・ゲートのフィールドを囲んでいる。このフィー
ルドは、１２０Ｋセルを表し、他の図に関して説明する
論理回路を有する。メモリには障壁が設けられ、分離さ
れた電源で９Ｗの電力を散逸する。同一のシリコン基板
上で大きな論理回路と、大規模なメモリを組み合わせ
て、論理回路とＤＲＡＭの電気雑音非整合性に伴う問題
が解決された。論理回路は雑音が多発する傾向があり、
一方メモリでは、ＤＲＡＭのセルの読取りによって生じ
るミリボルト規模の信号を検知するために、雑音がかな
り低くなければならない。本発明では、トレンチ付き３
重金属層シリコン付着を行って、メモリ・チップの別々
の各障壁付き部分をメモリ専用およびプロセッサ論理回
路専用とし、電力配分および障壁を別々に提供すること
により、論理回路とＤＲＡＭの間の整合性を達成する。

【０１０１】好ましい実施例のＡＰＡＰシステムの概
要：ここでは、この新規技術を次の順序で紹介する。１．技術２．チップ・ハードウェアについての説明３．ネットワーキングおよびシステム構築４．ソフトウェア５．アプリケーション

【０１０２】最初の数節では、４メガＤＲＡＭ低出力Ｃ
ＭＯＳチップが、製造後のＰＭＥＤＲＡＭチップ上に、
かつ該チップの一部として、それぞれ次の機能をサポー
トする８個のプロセッサを備えるようにするにはどうし
たらよいかについて説明する。１．１６ビット、５ＭＩＰのデータ・フロー２．独立命令ストリームおよび割込み処理３．８ビット（およびパリティと制御）幅の外部ポー
ト、および他の３つのオンチップ・プロセッサとの相互
接続

【０１０３】本発明は、単一のチップ設計に統合された
複数の機能を提供する。このチップは、スケーリング機
能を持つチップが、処理、経路指定、記憶、および３種
の入出力を効果的に実行できるのに十分な、強力で柔軟
なＰＭＥ機能を提供する。このチップでは、単一チップ
内にメモリおよび制御論理回路が統合されて、ＰＭＥを
形成しており、この組合せがチップ内で複製される。プ
ロセッサ・システムは、単一チップの複製から構築され
る。

【０１０４】この手法では、低出力ＣＭＯＳＤＲＡＭ
を区分する。低出力ＣＭＯＳＤＲＡＭは、複数ワード
長（１６）ビット×３２キロビットのセクションとして
形成され、各セクションがプロセッサと関連付けられる
（ＰＭＥという用語は、単一のプロセッサ、メモリ、お
よび入出力可能なシステム・ユニットを指す）。この区
分により、各ＤＲＡＭは、８バイト幅の独立な相互接続
ポートを備えた、８方向「キューブ接続」ＭＩＭＤ並列
プロセッサとなる（複製およびリング・トーラスの可能
性を示す、密並列技術の複製の例については図７を参照
のこと）。

【０１０５】ソフトウェアの説明では、複数の異なるプ
ログラム・タイプを取り上げる。最低レベルでは、プロ
セスはユーザ・プログラム（あるいは、アプリケーショ
ンで呼び出されるサービス）を詳細なハードウェア要件
に適合させる。このレベルは、入出力およびプロセッサ
間同期化を管理するのに必要なタスクを含み、ＭＰＰ用
のマイクロプログラムと呼ぶことができる。中間レベル
のサービスでは、ＭＰＰのマッピング・アプリケーショ
ン（ベクトル演算および行列演算を用いて開発される）
と、制御機能、同期化機能、起動機能、診断機能が使用
できる。ホスト・レベルでは、ＭＰＰへの単純な自動デ
ータ割振りまたはユーザの調整するデータ割振りによっ
てベクトル化プログラムをサポートする、ライブラリ機
能によって高位言語がサポートされる。多重レベル・ソ
フトウェア手法を用いると、アプリケーションが単一の
プログラム内で様々な程度の制御および最適化を利用す
ることができる。したがって、ユーザは、アーキテクチ
ャの詳細を理解せずにアプリケーション・プログラムを
コーディングすることができ、オプティマイザは、プロ
グラムの、小規模で使用率の高いカーネルだけをマイク
ロコード・レベルで調整する。

【０１０６】１０２４要素５ＧＩＰＳ装置および３２７
６８要素１６４ＧＩＰＳ装置について述べるいくつかの
節では、可能なシステムの範囲を示す。ただし、それら
は制限的なものではなく、これより小規模な装置および
これより大規模な装置も実現可能である。これらの特定
のサイズを例として選択したのは、小規模な装置は、マ
イクロプロセッサ（アクセレレータ）、パーソナル・コ
ンピュータ、ワークステーション、および軍事アプリケ
ーション（もちろん異なるパッケージング技術を使用）
に適しており、大規模な装置は、モジュールとしてのメ
インフレーム・アプリケーションまたは完全なスーパー
コンピュータ・システムの実例であることを示すためで
ある。ソフトウェアの説明では、各例示システムで効果
的にプログラミングできる他の挑戦しがいのある作業の
例を提供する。

【０１０７】ＰＭＥＤＲＡＭＣＭＯＳ−多重プロセ
ッサＰＭＥの基礎：図３は、本発明における、チップ技
術レベルでの改良技術を示している。この拡張可能コン
ピュータ編成は、１種類のチップしか使用しないので、
広範なシステム・サイズにわたってコストおよび性能の
効率が非常に高い。１個のチップ上でメモリと処理機構
を組み合わせているため、メモリ・バス専用のピンが不
要であり、したがってそのようなピンに付随する信頼性
および性能上のマイナスはない。チップ内で本発明の設
計を複製するので、プロセッサ・サブセクション用のカ
スタム論理設計が経済的に実現可能になる。システム内
でチップを複製するので、製造コストが大幅に削減可能
である。最後に、ＣＭＯＳ技術では、ＭＩＰ当たりの電
力が低くて済むので、電源および冷却のニーズが最小限
になる。チップ・アーキテクチャを複数のワード長に合
わせてプログラミングできるため、普通ならはるかに長
いプロセッサを必要とする動作が、このシステムで実行
可能になる。これらの属性があいまって、広範なシステ
ム性能が可能になる。

【０１０８】本発明の新規技術は、それと一部共通する
旧来の技術を拡張した場合と比較してみることができ
る。フィーチャの小型化を利用して、プロセッサ設計者
がチップの複雑化を進め、メモリ設計者が単純な要素の
複製の拡大化を図ってきたことは明白である。この傾向
が続くなら、メモリが４倍の規模になり、プロセッサの
密度が向上して次のことが実現できると予想される。１．命令ルータを持つ複数の実行ユニットを備える。２．キャッシュ・サイズと関連機能を増大する。３．命令先読みを増加し、計算機能を向上する。

【０１０９】しかし、図１に示す旧来の技術でこれらの
手法を試みても行き詰まるばかりである。プロセッサを
重複すると、必要なピン数がそれに比例して増加する
が、１チップ当たりのピン数は固定されたままである。
キャッシュ動作の改善によって向上するのは、アプリケ
ーションのデータ再使用パターンだけである。それ以上
は、メモリ帯域幅が限界となる。アプリケーション・デ
ータの依存性および分岐によって、先読み方式の潜在的
利益が制限される。また、密並列性を備えたＭＰＰアプ
リケーションで１処理装置当たり必要なのが１メガワー
ド・メモリなのか、４メガワード・メモリなのか、それ
とも１６メガワード・メモリなのかは明白でない。複数
のプロセッサ間でそのように大規模なメモリを共用しよ
うとすると、メモリ帯域幅による制限が厳しくなる。

【０１１０】本発明の新規の方法では行詰りはない。図
３以降の図および説明で示すように、本発明では大規模
なメモリと入出力機構を組み合わせて単一のチップを形
成する。本発明の新規方法では必要な部品数が減少し、
チップ交差に伴う遅延がなくなる。さらに重要なこと
に、本発明の新規方法を用いると、すべてのチップの入
出力ピンをプロセッサ間通信専用にして、ネットワーク
帯域幅を最大にすることができる。

【０１１１】図３に示す好ましい実施例を実施するため
に、ＩＢＭ低出力ＣＭＯＳ技術を用い、現在利用可能な
プロセスを使用する。この実施例は、相補型金属酸化膜
半導体（ＣＭＯＳ）においてＣＭＯＳＤＲＡＭ密度で
実現でき、かつより密なＣＭＯＳで実施できる。この実
施例では、ＣＭＯＳの密度が高まるにつれて、チップ上
にある８個のＰＭＥそれぞれの３２キロビット・メモリ
を増やすことができる。この実施例では、４メガのＣＭ
ＯＳＤＲＡＭにリアル・エステート・アンド・プロセ
ス技術を使用し、プロセッサの複製をチップ自体におけ
る３２Ｋメモリと関連付けることにより、これを拡張し
ている。図４に示すクラスタの各チップ・パッケージ中
で、チップがプロセッサ、メモリ、および入出力機構を
有することが理解されよう。各パッケージ内に、メモリ
と、組込みプロセッサ要素、ルータ、および入出力機構
があり、これらはすべて、論理回路用の広いスペースを
持つ初の汎用メモリ・チップと考えられる、４メガＣＭ
ＯＳＤＲＡＭに入っている。このチップは、トレンチ
を備えた特定のシリコンを使用して、小さなチップ表面
上に大規模な記憶域を提供している。別法として、本発
明の設計の各プロセッサを、３２キロビット×９ビット
のＤＲＡＭマクロ（３５／８０ナノ秒）の複製１６個か
ら構築し、０．８７ミクロンＣＭＯＳ論理回路を使って
メモリ・アレイを構成することもできる。この装置は、
チップ上に、アプリケーション論理回路の１２０Ｋセル
用の表面領域を割り振り、３重レベル金属配線の機能で
それをサポートするという点で独特である。図４の左側
に、従来技術のカードをＸ印を付けて示す。

【０１１２】本発明の複製可能基本要素ブリック技術
は、旧来の技術に対する回答である。図４の左側の"Ｘ"
印を付けた技術を検討してみると、チップおよびカード
が多すぎ、無駄であることが分かる。たとえば、今日他
の発明者から提案されているテラフロップ・マシンは、
文字どおり百万個以上のチップを有する。今日の他の技
術では、これらのチップのうち真に実働するのはせいぜ
い数パーセントであり、残りは「オーバヘッド」である
（通常は、メモリ、ネットワーク・インタフェースな
ど）。

【０１１３】物理サイズが制約された環境で動作する必
要があるものにそのようなチップをそのように多数パッ
ケージングするのは不可能であることが理解されよう
（面積の小さなコックピットにいくつ取り付けることが
できるだろうか）。さらに、他の発明者から提案されて
いるテラフロップ・マシンは、すでに大型であるが、ペ
タフロップの範囲に到達するには１０００倍スケール・
アップしなければならない。本発明者等は、非実働チッ
プの割合を劇的に減少させる解決法を有する。本発明で
はこれを妥当なネットワーク次元数の範囲内で提供す
る。このブリック技術を用いると、メモリがオペレータ
になり、ネットワークを制御のやりとりに使用し、実働
チップが大幅に増加する。さらに、グレードアップによ
り、チップの種類が劇的に減少する。本発明のシステム
は、特殊なパッケージング、冷却、電力、または環境上
の制約なしにスケール・アップできるように設計されて
いる。

【０１１４】本発明のブリック技術では、プロセッサ、
組込みプロセッサを備えたメモリ、およびネットワーク
機能を別々にする代わりに、図４に示す構成を使用す
る。この構成は、コネクタ・レベルで現行の４メガビッ
トＤＲＡＭカードとピン互換性があるチップを備えたカ
ードを表す。そのようなカード１枚で、１チップ性能レ
ベル当たり基本４０ＭＩＰＳの設計点により、３２個の
チップを保持でき、１２８０ＭＩＰＳが可能になる。そ
のようなカード４枚で、５ＧＩＰＳが提供される。図示
のワークステーション構成は、そのようなＰＥメモリ・
アレイ、クラスタ制御装置、およびワークステーション
で開発されたアレイ・プロセッサ・アプリケーションを
実行し監視するのに十分な性能を持つＩＢＭＲＩＳＣ
システム／６０００を有することが好ましい。

【０１１５】プロセッサ部分ではゲート効率が非常に高
いプロセッサが使用できる。プロセッサにはそのような
設計が使用されているが、メモリ内で使用されたことは
ない。また、本発明では、ＭＩＭＤ基本動作とＳＩＭＤ
基本動作を混合できる能力を提供している。本発明のチ
ップは、各ＣＰＵの命令バッファに代替経路を提供す
る、「同報通信バス」を提供する。本発明のクラスタ制
御装置は、ＰＭＥ内の各処理要素にコマンドを発行す
る。これらのコマンドをＰＭＥに格納すれば、処理要素
の動作を複数のモードで制御できる。各ＰＭＥはプログ
ラム全体を格納する必要はなく、あるアプリケーション
の処理の様々な時間に所与のタスクに適用される部分だ
けを格納できる。

【０１１６】基本デバイスが与えられている場合と、一
プロセッサとメモリの組合せを開発することができる。
別法として、より簡単なプロセッサおよびメモリ・マク
ロのサブセットを使用することにより、ＰＭＥの複製を
２個、４個、８個、または１６個作成するための設計も
可能である。データ・フロー帯域幅を調整するか、ある
いは機能アクセレレータをプロセッサ・サイクルと置換
すると、ＰＭＥをさらに簡単にすることができる。大部
分の実施例では、上述の基本ＰＭＥの複製を８回行うこ
とが好ましい。

【０１１７】本発明者等のアプリケーション調査による
と、現在のところ、もっとも好ましい方法は、１６ビッ
ト幅のデータ・フローおよび３２Ｋワードのメモリを８
回複製することである。このように結論した理由は、以
下のとおりである。１．１６ビット・ワードを用いると、命令およびアドレ
スの単一サイクルでの取出しが可能になる。２．８個のＰＭＥのそれぞれに外部ポートを備えると、
４次元トーラス相互接続が可能となる。各リング上で４
個または８個のＰＭＥを使用すると、目標とするシステ
ム性能の範囲に適したモジュールが得られる。３．８つの外部ポートにはチップ・ピンのうち約５０％
が必要であり、電源、接地、および共通制御信号には残
りのチップ・ピンで十分である。４．８個のプロセッサを６４ＫＢの主記憶装置中で実施
すると、ａ．メモリ・マップ式アーキテクチャではなくレジスタ
・ベースのアーキテクチャが使用可能になる。ｂ．好ましいが必要ではない若干のアクセレレータを、
複数のプロセッサ・サイクルによって強制的に実施でき
る。

【０１１８】この最後の属性は、それによって開発中の
論理密度が増加できるので重要である。本発明の新規ア
クセレレータ（たとえば、ＰＭＥ用の浮動小数点演算機
構）は、システム設計、ピンおよびケーブル、またはア
プリケーション・コードに影響を与えずに、チップ・ハ
ードウェアとして追加される。

【０１１９】その結果得られるチップのレイアウトおよ
びサイズ（１４．５９×１４．６３ｍｍ）を図３に示
す。図４は、そのようなチップのクラスタを示してい
る。このチップは、後の図に示す、スタンドアロン装置
用のシステム、接続バスによってワークステーション・
ホストに隣接して配置されるワークステーション、ＡＷ
ＡＣアプリケーション、およびスーパーコンピュータに
パッケージングすることができる。このチップ技術は、
システム・レベルでいくつかの利点を提供する。これに
よって、１パート型の基本複製によりスケーリング可能
なＭＰＰが開発できる。１プロセッサ当たりのＤＲＡＭ
マクロを２つにすると、データとプログラムの両方に十
分な記憶域が提供される。等しいサイズのＳＲＡＭで
は、１０倍以上の電力を消費する可能性がある。この利
点により、単一チップ・プロセッサ／メモリ設計のマシ
ンでは典型的な、制限の大きなＳＩＭＤモデルではな
く、ＭＩＭＤマシン・モデルが使用可能になる。３５ナ
ノ秒以下のＤＲＡＭアクセス時間は、期待されるプロセ
ッサ・サイクル時間と合致する。ＣＭＯＳ論理回路は、
ＰＭＥがきわめて効果的になる論理密度を提供し、かつ
その際の散逸電力はわずか１．３Ｗである（総チップ電
力は、１．３＋０．９（メモリ）＝２．２Ｗ）。これら
の特徴により、伝導冷却が必要な軍事用途でこのチップ
が使用可能になる（非軍事用途での空冷はずっと容易で
ある）。しかし、ワークステーションおよびその他の環
境には空冷式の実施例が使用できる。スタンドアロン・
プロセッサは、８０Ａ−５Ｖの電源で構成できる。

【０１２０】拡張並列アレイ・プロセッサ（ＡＰＡＰ）
の構成単位を図５および図６に示す。図５は、ＡＰＡＰ
の機能ブロック図を示している。複数のアプリケーショ
ン・インタフェース１５０、１６０、１７０、１８０
が、アプリケーション・プロセッサ１００またはプロセ
ッサ１１０、１２０、１３０用に存在している。図６
は、様々なシステム・ブロック図に構成できる基本的構
成単位を示している。ＡＰＡＰは、同一のＰＭＥを最大
構成で３２７６８個組み込むことができる。ＡＰＡＰ
は、ＰＭＥアレイ２８０、２９０、３００、３１０、ア
レイ・ディレクタ２５０、およびアプリケーション・プ
ロセッサ２００もしくはプロセッサ２２０、２３０用の
アプリケーション・プロセッサ・インタフェース２６０
から構成される。アレイ・ディレクタ２５０は、アプリ
ケーション・プロセッサ・インタフェース２６０、クラ
スタ・シンクロナイザ２７０、およびクラスタ制御装置
２７０という３つの機能ユニットから成る。アレイ・デ
ィレクタ２５０は、ＭＩＭＤ機能を備える、本発明者等
の以前のＳＩＭＤ動作用線形ピケット・システムのアレ
イ制御装置の諸機能を実行する。クラスタ制御装置２７
０は、１組６４個のアレイ・クラスタ２８０、２９０、
３００、３１０（すなわち、５１２個のＰＭＥからなる
クラスタ）と共に、ＡＰＡＰコンピュータ・システムの
基本的構成単位となる。アレイ・ディレクタ２５０の諸
要素を用いると、広範なクラスタ複製を備えたシステム
が構成可能になる。処理要素と制御要素の厳密な複製に
基づくこのモジュール性は、この大規模並列コンピュー
タ・システムに特有の特性である。さらに、アプリケー
ション・プロセッサ・インタフェース２６０は、重要な
設計機能、デバッグ機能、およびモニタ機能を実行す
る、テスト／デバッグ・デバイス２４０をサポートす
る。

【０１２１】制御装置は、ｉ８６０を備えた制御装置を
含めて、今日他のシステムで使用されている、ＩＢＭマ
イクロチャネル（Microchannel）などの明確に定義され
たインタフェースと共に組み立てられている。現場プロ
グラミング可能なゲート・アレイにより、特定の構成の
要件（存在するＰＭＥの数、それらの結合など）を満た
すように変更可能な機能が制御装置に追加される。

【０１２２】ＰＭＥアレイ２８０、２９０、３００、３
１０は、ＳＩＭＤ装置またはＭＩＭＤ装置として動作す
るのに必要な機能を備えている。これらのアレイはま
た、１組のＰＭＥの全体を１〜２５６個の異なるサブセ
ットに分割できる機能を備えている。サブセットに分割
するときは、アレイ・ディレクタ２５０がサブセット間
のインタリーブを行う。インタリーブ・プロセスの順序
と、各サブセットに対して及ぼされる制御の程度は、プ
ログラムで制御される。アレイの様々なサブセットを異
なるプログラムを用いて１つのモード、すなわちＭＩＭ
Ｄモードで動作させ、他のセットをアレイ・ディテクタ
の制御下で密に同期化されたＳＩＭＤモードで動作させ
るこの機能は、当技術分野における進歩である。以下に
示すいくつかの例で、この概念の利点を示す。

【０１２３】アレイ・アーキテクチャ：アレイを形成す
る１組のノードが、ｎ次元修正ハイパーキューブとして
接続される。この相互接続方式では、各ノードが他の２
ｎ個のノードに直接接続される。それらの接続は、単信
型、半２重型、または全２重型経路とすることができ
る。３次元より次元数が多いどの次元においても、修正
ハイパーキューブは相互接続技術の新規概念である（修
正ハイパーキューブは、２次元の場合はトーラスを生成
し、３次元の場合は、エッジ表面が対向表面に折り返さ
れた直交接続格子を生成する）。

【０１２４】３次元より次元数が多い場合の相互接続方
式を記述するには、帰納的記述が必要である。１組ｍ₁
個のノードがリングとして相互接続できる（リングに
は、「単純接続」、「編組」、「交差接続」、「完全接
続」などが可能である。単純リング以外の場合は追加の
ノード・ポートが必要となるが、そのように複雑さが増
しても修正ハイパーキューブ構造は影響を受けない）。
１組ｍ₂個のリングにおける各等価ノードを接続する
と、ｍ₂個のリングが相互にリンクできる。この時点で
得られるのがトーラスである。ｉ次元修正ハイパーキュ
ーブからｉ＋１次元修正ハイパーキューブを構築するに
は、ｍ_i+1組のｉ次元修正ハイパーキューブを想定し、
等価なｍiレベルのノードをすべて相互接続してリング
を形成する。

【０１２５】ｍ_i＝８（ｉ＝１．．４）を使用して、４
次元修正ハイパーキューブにおけるこのプロセスを図７
に示す。ノード・トポロジーのもとでのこの説明と、
図７、図１０、図１１、図１７、図１８を比較された
い。

【０１２６】図７は、３２Ｋの１６ビット・ワード・メ
モリと１６ビット・プロセッサから構成される単一プロ
セッサ要素３００から、８つのプロセッサ３１２と、そ
れに結合されたメモリ３１１、後者に付随する完全分散
型入出力ルータ３１３、および信号入出力ポート３１
４、３１５から成るネットワーク・ノード３１０に至
り、さらにクラスタ３２０で表したノードのグループを
経て、クラスタ構成３６０、ならびに各種のアプリケー
ション３３０、３４０、３５０、３７０に至る密並列技
術経路を示している。２次元レベル構造はクラスタ３２
０であり、６４個のクラスタが統合されて、３２７６８
個の処理要素からなる４次元修正ハイパーキューブ３６
０を形成している。

【０１２７】プロセッサ・メモリ要素（ＰＭＥ）の好ま
しい実施例：図３および図１２に示すように、好ましい
ＡＰＡＰは１つのチップ・ノードから成る基本的構成単
位を有する。各ノードは、８個の同一のプロセッサ・メ
モリ要素（ＰＭＥ）と１つの同報通信／制御インタフェ
ース（ＢＣＩ）を備えている。本発明の一部は、同一の
チップ上にすべての機能が揃っていなくても実現できる
が、性能およびコスト削減の点から見ると、現在実施可
能な前述の先進技術を使用して、８個のＰＭＥを備えた
１つのチップ・ノードとしてチップを形成することが重
要である。

【０１２８】ＰＭＥの好ましい実施態様は、６４ＫＢの
主記憶装置、８つのプログラム割込みレベルのそれぞれ
に関する１６個の１６ビット汎用レジスタ、全機能論理
演算機構（ＡＬＵ）、作業用レジスタ、状況レジスタ、
および４つのプログラマブル両方向入出力ポートを有す
る。さらに、この好ましい実施態様は、同報通信／制御
インタフェース（ＢＣＩ）によってＳＩＭＤモード同報
通信インタフェースを提供する。このインタフェース
は、外部制御装置（本発明の原出願と、クラスタを備え
たノーダル・アレイおよびシステムの現在好ましい実施
例についての説明を参照）が、ＰＭＥ命令解読、メモリ
・アドレス、およびＡＬＵデータ入力を駆動できるよう
にする。このチップは、その内部で複数の並列動作を実
行できるようにするマイクロコンピュータの機能を実行
でき、かつ複数ノードのシステム内で他のチップに結合
できる。その場合の結合方法は、相互接続ネットワー
ク、メッシュ・ネットワークまたはハイパーキューブ・
ネットワーク、先進的でスケーリング可能な、本発明の
好ましい実施例のいずれでもよい。

【０１２９】ＰＭＥは、スケーリング可能な本発明の好
ましい実施例では、一連のリングまたはトーラスとして
相互接続できる。適用例によっては、ノードをメッシュ
として相互接続することもできる。本発明の好ましい実
施例では、各ノードが、４つのトーラスのそれぞれにＰ
ＭＥを２個ずつ備えている。トーラスはＷ、Ｘ、Ｙ、お
よびＺ（図７参照）で示してある。図１２は、ノード内
でのＰＭＥの相互接続を示している。各トーラス内の２
個のＰＭＥは、その外部入出力ポート（＋Ｗ、−Ｗ、＋
Ｘ、−Ｘ、＋Ｙ、−Ｙ、＋Ｚ、−Ｚ）で指定してある。
ノード内には、４＋ｎ個および４−ｎ個のＰＭＥを相互
接続する２つのリングもある。これらの内部リングは、
メッセージを外部トーラス間で移動するための経路とし
て働く。本発明の好ましい実施例では、ＡＰＡＰを４次
元直交アレイにすることができるので、内部リングによ
りアレイ全体にわたってあらゆる次元でメッセージを移
動することが可能である。

【０１３０】ＰＭＥは、主記憶装置、ローカル記憶装
置、命令解読器、論理演算機構（ＡＬＵ）、作業用レジ
スタ、および入出力ポートを備える、自己完結型プログ
ラム記憶式マイクロコンピュータである。ＰＭＥは、Ｍ
ＩＭＤ動作では、それ自体の主記憶装置から格納されて
いる命令を取り出して実行し、ＳＩＭＤモードでは、Ｂ
ＣＩインタフェースを介してコマンドを取り出し実行す
る能力を有する。このインタフェースにより、複数のチ
ップから成るシステム内の、制御装置、ＰＭＥ、その他
のＰＭＥの間での相互通信が可能になる。

【０１３１】ＢＣＩは、外部アレイ制御装置要素および
アレイ・ディレクタへの、そのノードのインタフェース
である。ＢＣＩは、タイマやクロックなどの共通ノード
機能を提供する。また、各ノードＰＭＥごとの同報通信
機能のマスキングと、同報通信バスとＰＭＥ間のデータ
転送用の物理インタフェースおよびバッファリング、さ
らにシステム状況ならびにモニタ要素およびデバッグ要
素とのノーダル・インタフェースを提供する。

【０１３２】各ＰＭＥは、その各２地点間インタフェー
スおよび同報通信インタフェースをサポートする、別々
の割込みレベルを備えている。データは、直接メモリ・
アクセス（ＤＭＡ）制御機構の下で、ＰＭＥ主記憶装置
に入力され、あるいは該記憶装置から出力される。"ｉ
ｎｐｕｔｔｒａｎｓｆｅｒｃｏｍｐｌｅｔｅ"割込
みは、各インタフェースが、データの存在を伝える信号
をＰＭＥソフトウェアに送るのに使用できる。状況情報
は、ＰＭＥソフトウェアが、データ出力動作の完了を判
定するのに使用できる。

【０１３３】各ＰＭＥには入出力の「回線交換モード」
があり、ＰＭＥ主記憶装置にデータを入力せずに、４つ
の入力ポートの１つを４つの出力ポートのいずれかに直
接切り換えることができる。「回線交換」の発信元およ
び宛先の選択は、ＰＭＥ上で実行されるソフトウェアの
制御に従う。他の３つの入力ポートは引き続きＰＭＥ主
記憶装置の諸機能にアクセスでき、４番目の入力は出力
ポートに切り換えられる。

【０１３４】もう１つの種類の入出力は、ＰＭＥすべて
に同報通信し、ＰＭＥすべてから収集しなければならな
いデータと、特殊すぎて標準バスに適合できないデータ
を有する。同報通信データには、ＳＩＭＤコマンド、Ｍ
ＩＭＤプログラム、およびＳＩＭＤデータが含まれる。
収集されるデータは主として、状況機能およびモニタ機
能である。診断機能およびテスト機能は特殊データ要素
である。各ノードは、組み込まれた１組のＰＭＥの他
に、ＢＣＩを１つ備えている。ＢＣＩセクションは動作
中、ＢＣＩを監視し、アドレスされるＰＭＥに同報通信
データを送り、該ＰＭＥから同報通信データを収集す
る。ＢＣＩは、エネーブル・マスクとアドレス指定タグ
を組み合わせて使用して、どの同報通信情報がどのＰＭ
Ｅを対象としているかを判定する。

【０１３５】本発明の好ましい実施例では、各ＰＭＥは
ＳＩＭＤモードまたはＭＩＭＤモードで動作できる。Ｓ
ＩＭＤモードでは、各命令がＢＣＩを介して同報通信バ
スからＰＭＥに送られる。ＢＣＩは、選択されたすべて
のノードＰＭＥが該インタフェースを使用し終わるま
で、各同報通信データ・ワードをバッファし続ける。こ
の同期化によって、ＳＩＭＤコマンドの実行に関連する
データ・タイミング依存性に対処でき、非同期動作がＰ
ＭＥで実行できるようになる。ＭＩＭＤモードでは、各
ＰＭＥがそれ自体の主記憶装置からそれ自体のプログラ
ムを実行する。ＰＭＥは、初期設定ではＳＩＭＤモード
になる。ＭＩＭＤ動作の場合、外部制御装置は通常、Ｐ
ＭＥがＳＩＭＤモードのとき各要素にプログラムを同報
通信し、その後にＭＩＭＤモードに切り替えて実行を開
始するようＰＭＥに指令する。同報通信情報をマスクま
たはタグ付けすると、ＰＭＥの異なる組が異なるＭＩＭ
Ｄプログラムを含むか、ＰＭＥの特定の組が、他の組の
ＰＭＥがＳＩＭＤモードで実行する間にＭＩＭＤモード
で実行するか、あるいはその両方を行うことができるよ
うになる。各種のソフトウェア・クラスタまたは区画に
おいて、これらの機能はそれぞれ、他のクラスタまたは
区画での動作から独立して動作することができる。

【０１３６】ＰＭＥの命令セット・アーキテクチャ（Ｉ
ＳＡ）の動作は、ＰＭＥがＳＩＭＤモードであるかＭＩ
ＭＤモードであるかによってわずかに異なる。大部分の
ＩＳＡ命令は、モードとは無関係に同一の動作を実行す
る。しかし、ＰＭＥはＳＩＭＤモードでは分岐やその他
の制御機能を実行しないので、それらのＭＩＭＤ命令専
用の一部のコード点がＳＩＭＤモードで再解釈されて、
主記憶装置における同報通信データ値との一致データの
探索や、ＭＩＭＤモードへの切換えなどの特殊動作をＰ
ＭＥが実行できるようになる。そのため、アレイのシス
テム柔軟性がさらに拡大する。

【０１３７】ＰＭＥアーキテクチャ：基本的には、本発
明の好ましいアーキテクチャは、１６ビット幅のデータ
・フロー、３２Ｋの１６ビット・メモリ、特殊入出力ポ
ートおよび入出力切換え経路と、本発明の命令セット・
アーキテクチャによって提供される１６ビット命令セッ
トを各ＰＭＥが取り出し、復号して、実行できるように
するのに必要な制御論理回路を有する、ＰＭＥを含んで
いる。好ましいＰＭＥは、仮想ルータの機能を実行し、
したがって処理機能とデータ・ルータ機能の両方を実行
する。このメモリ編成では、ＰＭＥ間でのメモリの相互
アドレス指定により、大規模ランダム・アクセス・メモ
リおよびＰＭＥ用の直接メモリへのアクセスが可能にな
る。個々のＰＭＥメモリはすべてローカル側とすること
もでき、プログラムによりローカル領域と共用大域領域
に分割することもできる。本明細書に記載する特殊制御
および機能を用いると、タスクの迅速な切換えと、各Ｐ
ＭＥ割込み実行レベルでのプログラム状態情報の保持が
可能になる。本発明によって提供される機能の一部は他
のプロセッサにも存在したが、大規模並列マシンでプロ
セッサ間入出力の管理に適用されている例は他にない。
その例として、メッセージ・ルータ機能のＰＭＥ自体へ
の統合がある。これにより、特殊ルータ・チップや、特
殊ＶＬＳＩルータの開発が不要になる。また、本発明で
は単一のチップ上に提供されている機能を、メタライゼ
ーション層などによって相互接続された複数のチップ上
に分配して、大規模並列マシンを改良することができる
ことに留意されたい。さらに、本発明のアーキテクチャ
は単一のノードから大規模並列スーパーコンピュータ・
レベルのマシンまでスケーリング可能なので、本発明の
概念の一部を様々なレベルで利用することが可能であ
る。たとえば、以下に示すとおり、本発明のＰＭＥデー
タ・フローは非常に強力であるが、スケーリング可能な
設計が有効になるように働く。

【０１３８】処理メモリ要素（ＰＭＥ）は、１つのノー
ドの複数のＰＭＥのそれぞれごとに、完全分散型アーキ
テクチャを形成する。あらゆるＰＭＥが、１６ビット・
データ・フローによる処理機能、６４ＫＢのローカル記
憶域、蓄積交換／回線交換論理回路、ＰＭＥ間通信、Ｓ
ＩＭＤ／ＭＩＭＤ切換え機能、プログラマブル経路指
定、および専用浮動小数点援助論理回路から構成されて
いる。これらの諸機能は、ＰＭＥによって独立に操作す
ることができ、また同一のチップ内で他のＰＭＥと統合
して、チップ交差遅延を最小限に抑えることができる。
図８および図９に、ＰＭＥデータ・フローを示す。ＰＭ
Ｅは、１６ビット幅のデータ・フロー４２５、４３５、
４４５、４５５、４６５、３２キロビット×１６ビット
・メモリ４２０、特殊入出力ポート４００、４１０、４
８０、４９０、および入出力切替え経路４２５と、１６
ビット縮小命令セットをＰＭＥが取り出し、復号して、
実行できるようにするのに必要な制御論理回路４３０、
４４０、４５０、４６０から構成されている。また、特
殊論理機能により、ＰＭＥは処理装置４６０としてもデ
ータ・ルータとしても実行できる。特殊制御機構４０
５、４０６、４０７、４０８および諸機能は、タスクを
迅速に切り替え、ＰＭＥの各割込み実行レベルでプログ
ラム情報命令を保持できるようにするために組み込まれ
ている。そのような機能は他のプロセッサにも組み込ま
れていたが、大規模並列マシンでプロセッサ間入出力の
管理に適用されている例は他にない。具体的に言うと、
それによって、特殊チップやＶＬＳＩ開発マクロなし
で、ルータ機能をＰＭＥに統合することが可能になる。

【０１３９】１６ビット内部データ・フローおよび制
御：処理要素の内部データ・フローの重要な部分を図８
に示す。図８は、処理要素の内部データ・フローを示し
ている。この処理要素は、全１６ビット幅内部データ・
フロー４２５、４３５、４４５、４５５、４６５を有す
る。これらの内部データ・フローの重要な経路では、Ｏ
Ｐレジスタ４５０、Ｍレジスタ４４０、ＷＲレジスタ４
７０、プログラム・カウンタＰＣレジスタ４３０など１
２個のナノ秒ハード・レジスタを使用している。すべて
の動作において、これらのレジスタから完全分散型ＡＬ
Ｕ４６０および入出力ルータ・レジスタと、特殊制御機
構４０５、４０６、４０７、４０８にデータが流れる。
現在のＶＬＳＩ技術を用いると、プロセッサは２５ＭＨ
ｚでメモリ動作と命令ステップを実行でき、ＯＰレジス
タ４５０、Ｍレジスタ４４０、ＷＲレジスタ４７０、プ
ログラム・カウンタＰＣレジスタ４３０などの重要な要
素を１２ナノ秒ハード・レジスタで構築できる。他の必
要なレジスタは、メモリ位置にマップされる。

【０１４０】図９に示すように、ＰＭＥの内部データ・
フローは、２つのＤＲＡＭマクロの形の３２キロビット
×１６ビットの主記憶装置を有する。データ・フローの
残りの部分は、ＣＭＯＳゲート・アレイ・マクロから構
成されている。メモリはすべて、低出力ＣＭＯＳＤＲ
ＡＭ付着技術により論理回路と一体形成され、超大規模
集積ＰＭＥチップ・ノードを形成している。ノード・チ
ップの好ましい実施例では、ＰＭＥが８回複製される。
ＰＭＥデータ・フローは、１６ワード×１６ビット汎用
レジスタ・スタック、メモリ・アドレスをバッファする
ための多機能論理演算機構（ＡＬＵ）、作業用レジス
タ、メモリ出力レジスタ、ＡＬＵ出力レジスタ、演算／
コマンド入出力レジスタ、ならびにＡＬＵおよびレジス
タへの入力を選択するためのマルチプレクサから構成さ
れている。４ＭＢＤＲＡＭメモリと本発明の論理回路
に現行のＣＭＯＳＶＬＳＩ技術を使用すると、ＰＭＥ
は２５ＭＨｚで命令ステップを実行できるようになる。
本発明では、ＯＰレジスタ４５０、Ｍレジスタ４４０、
ＷＲレジスタ４７０、および汎用レジスタ・スタックを
１２個のナノ秒ハード・レジスタで形成する。他の必要
なレジスタは、ＰＭＥ内のメモリ位置にマップされる。

【０１４１】ＰＭＥデータ・フローは、１６ビット整数
演算プロセッサとして設計されている。ｎ×１６ビット
浮動小数点演算（ｎ≧１）のサブルーチン・エミュレー
ションを最適化するため、特殊マルチプレクサ経路が追
加されている。この１６ビット・データ・フローによっ
て、浮動小数点演算の効果的なエミュレーションが可能
になる。データ・フロー内の特殊経路は、浮動小数点演
算が１０サイクルでできるようにするために組み込まれ
ている。ＩＳＡは、拡張（１６ビットより長い）オペラ
ンド演算用のサブルーチンを使用可能にする特殊コード
点を備えている。それ以後の浮動小数点性能は、固定し
た浮動小数点性能の約２０分の１である。この性能は、
他の大規模並列マシンに特有な、ＰＭＥを補助する特殊
浮動小数点チップが不要になるのに十分である。他のプ
ロセッサには、単一のプロセッサと同じチップ上に特殊
浮動小数点プロセッサを備えているものもある（図１参
照）。ＰＭＥを備えたチップ上で特殊浮動小数点ハード
ウェア・プロセッサを使用することもできるが、そうす
るには、現在のところ、好ましい実施例で必要なセルの
他に追加のセルが必要である。浮動小数点演算について
は、上記でＩＥＥＥ標準の改良に関して参照した同時出
願の"floating point Implementation on aSIMD Machin
e"と題する米国特許出願も参照されたい。

【０１４２】本発明で開発した手法は、ＶＬＳＩ技術性
能の通常の増大をそのまま利用することができる。回路
の小型化が進み、パッケージ密度が増してくると、現在
メモリにマップされている基底レジスタやインデックス
・レジスタなどのデータ要素をハードウェアに移すこと
が可能になる。同様に、ハードウェアを増設することに
よって浮動小数点サブステップが加速される。これは、
信頼できる密度レベルが高くなるので、開発中のＣＭＯ
ＳＤＲＡＭ技術にとって好ましい。非常に重要なこと
であるが、このハードウェア手法はソフトウェアに影響
を与えない。

【０１４３】ＰＭＥは、割込みが禁止されたＳＩＭＤモ
ードに初期設定される。コマンドは、ＢＣＩからＰＭＥ
命令解読バッファに送られる。命令動作が完了するたび
に、ＰＭＥはＢＣＩに新規のコマンドを要求する。同様
に、命令実行サイクルの適切な時点で、ＢＣＩに即値デ
ータが要求される。ＩＳＡの大部分の命令は、ＰＭＥが
ＳＩＭＤモードであろうとＭＩＭＤモードであろうと同
じ動作を実行する。ただし、ＳＩＭＤ命令および即値デ
ータをＢＣＩから取り出す場合はこの限りでない。ＭＩ
ＭＤモードでは、ＰＭＥはプログラム・カウンタ（Ｐ
Ｃ）を維持し、それをそれ自体のメモリ内のアドレスと
して使用して１６ビット命令を取り出す。プログラム・
カウンタに明示的にアドレスする"Ｂｒａｎｃｈ"などの
命令は、ＳＩＭＤモードでは意味がなく、それらのコー
ド点の一部は再解釈されて、即値データと主記憶装置の
領域の比較などの特殊ＳＩＭＤ機能が実行される。

【０１４４】ＰＭＥ命令解読論理回路により、ＳＩＭＤ
動作モードまたはＭＩＭＤ動作モードのどちらかが使用
可能になり、ＰＭＥはモード間を動的に移行できる。Ｓ
ＩＭＤモードでは、ＰＭＥが解読済み命令情報を受け取
り、次のクロック・サイクルでそのデータを実行する。
ＭＩＭＤモードでは、ＰＭＥがプログラム・カウンタ
（ＰＣ）アドレスを維持し、それをそれ自体のメモリ内
のアドレスとして使って１６ビット命令を取り出す。命
令の解読および実行は、他の大部分のＲＩＳＣ型マシン
と同様に進行する。ＳＩＭＤモードのＰＭＥは、解読分
岐を表す情報を与えられるとＭＩＭＤモードに入る。Ｍ
ＩＭＤモードのＰＭＥは、移行用の特定の命令を実行す
るとＳＩＭＤモードになる。

【０１４５】ＰＭＥがＳＩＭＤモードとＭＩＭＤモード
との動的移行を行う際には、ＳＩＭＤ"ｗｒｉｔｅｃ
ｏｎｔｒｏｌｒｅｇｉｓｔｅｒ"（制御レジスタ読取
り）命令を実行するとＭＩＭＤモードに入り、当該の制
御ビットが"１"に設定される。ＳＩＭＤ命令が完了する
と、ＰＭＥはＭＩＭＤモードに入り、割込みを可能に
し、その汎用レジスタＲ０で指定された主記憶装置位置
からそのＭＩＭＤ命令を取り出して実行を開始する。Ｍ
ＩＭＤ制御ビット設定時の割込みマスクの状態に応じ
て、割込みがマスクされあるいはマスク解除される。Ｐ
ＭＥは、外部から初期設定されるか、あるいはＭＩＭ
Ｄ"ｗｒｉｔｅｃｏｎｔｒｏｌｒｅｇｉｓｔｅｒ"
（制御レジスタ書込み）命令を実行して当該の制御ビッ
トが０に設定されると、ＳＩＭＤモードに戻る。

【０１４６】データ通信経路および制御：図８に戻る
と、各ＰＭＥは、オンチップ通信用の３つの入力ポート
４００および３つの出力ポート４８０と、オフチップ通
信用の１つの入出力ポート４１０、４９０を有する。こ
の概念以外の既存の技術では、オフチップ・ポートをバ
イト幅半２重式にする必要がある。入力ポートは、デー
タが入力からメモリに、あるいは入力ＡＲレジスタ４０
５から直接１６ビット・データ経路４２５を介して出力
レジスタ４０８に経路指定できるように接続される。メ
モリは、ＰＭＥ宛のメッセージまたは「蓄積交換」モー
ドで移動されたメッセージのデータ・シンクとなる。特
定のＰＭＥ宛でないメッセージは、所望の出力ポートに
直接送られ、ブロッキングが発生していないときは「回
線交換」モードを開始する。ＰＭＥソフトウェアは、経
路指定の実行と選択された伝送モードの決定を担当す
る。これにより、「回線交換」モードと「蓄積交換」モ
ードの間の動的選択が可能になる。これは、ＰＭＥ設計
のもう１つの独特な特徴である。

【０１４７】このように、本発明の好ましいノードは８
個のＰＭＥを有し、各ＰＭＥは４つの出力ポート（左、
右、垂直、および外部）を有する。入力ポートのうち３
つと出力ポートのうち３つは、チップ上の他のＰＭＥへ
の１６ビット幅全２重２地点間接続である。４番目のポ
ートは、好ましい実施例では、組み合わされて、オフチ
ップＰＭＥへの半２重２地点間接続を提供する。本発明
で低密度ＣＭＯＳを利用するために課されるピンおよび
電源の制約により、実際のオフチップ・インタフェース
は、ＰＭＥ間データ・ワードのハーフワード２つを多重
化するのに使用されるバイト幅経路である。モード間リ
ングを動的、一時的、かつ論理的に破壊し、データをア
レイに入れあるいはアレイから出すことを可能にする、
特殊「ジッパ」回路を用いる場合、これらの外部ＰＭＥ
ポートは、ＡＰＡＰ外部入出力アレイ機能を提供する。

【０１４８】ＰＭＥメモリに経路指定されるデータにつ
いては、ＰＭＥ命令ストリームがメッセージの始めと終
りだけ入出力処理に関与すればよいように、正規ＤＭＡ
がサポートされる。最後に、内部出力ポートに回線交換
されるデータは、クロッキングなしで転送される。この
ため、チップ内での単一サイクルのデータ転送が可能に
なり、もっとも高速であるが依然として確実な通信を行
うことができるチップ交差がいつ発生するかが検出され
る。高速転送には順方向データ経路と逆方向制御経路が
使用され、転送はすべて透過モードで行われる。要する
に、発信元は、ＤＭＡまたはオンチップ転送を実行する
ＰＭＥから肯定応答を受けるまでに、複数の段階を経
る。

【０１４９】図８および図９から分かるように、ＰＭＥ
入力ポート上のデータは、ローカルＰＭＥ宛、またはリ
ングをさらに下ったＰＭＥ宛にすることができる。リン
グをさらに下ったＰＭＥ宛のデータを、ローカルＰＭＥ
主記憶装置に格納した後、ローカルＰＭＥからターゲッ
トＰＭＥに向かって転送する（蓄積交換）ことも、ロー
カル入力ポートを特定のローカル出力ポートに論理的に
接続して（回線交換）、データがローカルＰＭＥを「透
過的に」通過してターゲットＰＭＥに向うようにするこ
ともできる。ローカルＰＭＥソフトウェアが、４つの入
力および４つの出力のいずれについてもローカルＰＭＥ
を「蓄積交換」モードと「回線交換」モードのどちらに
するかを動的に制御する。回線交換モードでは、ＰＭＥ
が、回線交換と関連付けられた入出力を除くすべての機
能を同時に処理する。蓄積交換モードでは、ＰＭＥが他
のすべての処理機能を中断して、入出力転送プロセスを
開始する。

【０１５０】データは、（外部制御装置により）アレイ
の外部の共用メモリまたはＤＡＳＤに格納できるが、Ｐ
ＭＥが提供するメモリのどこかに格納することもでき
る。ローカルＰＭＥ宛の入力データ、または「蓄積交
換」動作中にローカルＰＭＥにバッファされた入力デー
タは、各入力ポートと結合された直接メモリ・アクセス
（アドレス）機構を介してローカルＰＭＥ主記憶装置に
格納される。プログラム割込みによって、ＰＭＥ主記憶
装置にメッセージがロードされたことを示すことができ
る。ローカルＰＭＥプログラムは、ヘッダ・データを解
釈して、ローカルＰＭＥ宛のデータが別のＰＭＥへの回
線交換経路の設定に使用できる制御メッセージであるか
否か、あるいは別のＰＭＥに転送するメッセージである
か否かを判定する。回線交換経路は、ローカルＰＭＥソ
フトウェアによって制御される。回線交換経路は、介在
する緩衝記憶装置を通過せずに、ＰＭＥ入力経路を出力
経路と論理的に直接結合する。同一のチップ上のＰＭＥ
間の出力経路には介在する緩衝記憶装置がないので、デ
ータを単一のクロック・サイクルで、チップに入れ、チ
ップ上の多数のＰＭＥを通過させ、ターゲットＰＭＥの
主記憶装置にロードすることができる。中間に緩衝記憶
装置が必要なのは、回線交換結合がチップから離れると
きだけである。このため、ＡＰＡＰアレイの有効直径が
非バッファ回線交換経路の数だけ減少する。その結果、
経路内にあるＰＭＥの数とは無関係に、介在するチップ
と同数の少数のクロック・サイクルでＰＭＥからターゲ
ットＰＭＥにデータを送ることができる。この種の経路
指定は、各ノード・サイクルでデータを次のノードに転
送するのに数サイクル必要な交換環境と比較することが
できる。本発明のノードはそれぞれ８個のＰＭＥを持
つ。

【０１５１】メモリおよび割込みレベル：ＰＭＥは、メ
モリ４２０に３２キロビット×１６ビット・ワードを格
納する。この記憶域は完全に汎用であり、データとプロ
グラムの両方を入れることができる。ＳＩＭＤ動作で
は、メモリすべてをデータとすることができる。これ
は、他のＳＩＭＤ大規模並列マシンで特徴的である。Ｍ
ＩＭＤモードでは、メモリはまったく通常どおりである
が、大部分の大規模並列ＭＩＭＤマシンと異なり、ＰＭ
Ｅと同じチップ上にあるため、ただちに使用可能であ
る。このため、他の大規模並列ＭＩＭＤマシンに特有の
キャッシュ動作およびキャッシュ・コヒーレンシ技術は
不要である。インモス社のチップの場合、チップ上に常
駐するのは４Ｋだけであり、外部メモリ・インタフェー
ス・バスおよびピンが必要である。本発明ではこれらは
不要となる。

【０１５２】最低位記憶域位置は、各割込みレベル用の
１組の汎用レジスタを設けるために使用される。ＰＭＥ
用に開発された特定のＩＳＡは、これらのレジスタ参照
に短いアドレス・フィールドを使用する。割込みは、処
理、入出力活動、およびソフトウェア指定機能の管理に
使用される（すなわち、ＰＭＥは、通常の処理中に着信
入出力が開始したとき、割込みレベルに切り替わる）。
割込みレベルがマスクされていない場合、レジスタが最
低位メモリの新規セクションからアクセスされるように
ハードウェアのポインタを変更し、単一のＰＣ値をスワ
ップすることにより、この切替えが実行される。この技
術では、高速レベル切替えが可能であり、ソフトウェア
は通常のレジスタ・セーブ動作を回避するとともに、割
込みレベル・レジスタ内に状況をセーブすることができ
る。

【０１５３】ＰＭＥプロセッサは、８つのプログラム割
込みレベルのうちの１つに作用する。メモリのアドレス
指定により、メモリの下位５７６ワードを割込みの８つ
のレベルに区分できる。このメモリの５７６ワードのう
ちの６４ワードは、８つのレベルのいずれかで実行中の
プログラムによって直接アドレス可能である。他の５１
２ワードは、８つの６４ワード・セグメントに区分され
る。各６４ワード・セグメントに直接アクセスできるの
は、それと関連する割込みレベルで実行中のプログラム
だけである。直接アドレス指定技術を使用することによ
り、すべてのプログラムが、ＰＭＥメモリの全３２Ｋワ
ードにアクセスできるようになる。

【０１５４】割込みレベルは、入力ポート、ＢＣＩ、お
よびエラー処理機構に割り当てられる。「通常」レベル
があるが、「特権」レベルも「スーパバイザ」レベルも
ない。プログラム割込みにより、文脈の切替えが行われ
て、ＰＣプログラム・カウンタ、状況／制御レジスタ、
および特定の汎用レジスタの内容が、指定された主記憶
装置位置に格納され、これらのレジスタの新しい値が、
他の指定された主記憶装置位置から取り出される。

【０１５５】図８および図９を参照して説明したＰＭＥ
データ・フローは、以下の数節を参照して拡張すること
ができる。複合システムでは、ＰＭＥデータ・フロー
が、アレイ・ノードとしてのチップと、メモリ、プロセ
ッサ、および入出力機構の組合せを使用する。入出力機
構は、本発明のＡＰＡＰで構築されたＭＭＰの基本的構
成単位として複製されるＢＣＩを使ってメッセージをや
り取りする。ＭＭＰは多数のワード長を処理することが
できる。

【０１５６】ＰＭＥ複数倍長データ・フロー処理：本明
細書に記載するシステムは、ＰＭＥ内の１６ビット幅の
データ・フローにより、現行のプロセッサで処理される
演算を実行することができる。そうするために、１６ビ
ットの倍数であるデータ長に対して演算を実行する。そ
のために、１６ビットの断片として演算を行う。各断片
の結果を知っていなければならない場合がある（すなわ
ち、結果が０だったか、合計の上位ビットが繰り上げら
れたか）。

【０１５７】データ・フローの例として、４８ビットの
２つの数の加算を挙げることができる。この例では、ハ
ードウェアで以下の演算を実行することにより、４８ビ
ットの２つの数（ａ（０〜４７）およびｂ（０〜４
７））を加算する。

【０１５８】 a(32-47) + b(32-47)->ans(32-47) - ステップ１１）合計の上位ビットの実行結果をセーブする。２）部分結果が０だったかどうかを記憶する。

【０１５９】a(16-31) + b(16-31) + save carry->ans
(16-31) - ステップ２１）合計の上位ビットの実行結果をセーブする。２）この結果および前回のステップで部分結果が０だっ
たかどうかを記憶する。両方とも０の場合、０を記憶する。いずれかが０以外の
場合、非０を記憶する。

【０１６０】a(0-15) + b(0-15) + saved carry->ans(0
-15) - 最終ステップ１）この断片が０で最後の断片が０だった場合、答は０
である。２）この断片が０で最後の断片が非０だった場合、答は
非０である。３）この断片が非０の場合、答は合計の符号に基づき正
または負になる（桁あふれはないものとする）。４）実行する答の符号が実行した答の符号と等しくない
場合、答は符号が間違っており、結果は桁あふれとなる
（使用可能なビット単位で適切に表すことができな
い）。

【０１６１】中間の第２ステップを必要な回数繰り返す
と、長さを拡張することができる。長さが３２の場合、
第２ステップは実行されない。長さが４８より大きい場
合、ステップ２は複数回実行される。長さがちょうど１
６の場合、ステップ１における動作が、最終ステップの
条件３および４つきで実行される。オペランドの長さを
データ・フローの長さの複数倍に拡張すると、データ・
フローの幅が狭い場合、通常、命令を実行するのにかか
る時間が長くなる。すなわち、３２ビットのデータ・フ
ローで３２ビットを加算する場合、加算器論理回路を１
回通過するだけでよいが、１６ビット・データ・フロー
でやはり３２ビットを加算する場合は、加算器論理回路
を２回通過する必要がある。

【０１６２】本発明の興味深い点として、マシンの現実
施態様では、長さ１〜８ワード（長さは、命令の一部と
して定義される）のオペランドに対して加算／減算／比
較／移動を実行できる単一の命令がある。プログラマが
使用できる個々の命令は、ステップ１、ステップ２、お
よび最終ステップで示した動作と同じ種類の動作を実行
する（ただし、プログラマにとってオペランド長は長く
なる。すなわち、１６〜１２８ビット）。基本ハードウ
ェア・レベルでは一度に１６ビットに作用するが、プロ
グラマは一度に１６〜１２８ビットを処理していると考
える。

【０１６３】これらの命令を組み合わせて使用すると、
プログラマは任意の長さのオペランドを扱うことができ
る。すなわち、２つの命令を使用すると、長さ２５６ビ
ットまでの２つの数を加算することができる。

【０１６４】ＰＭＥプロセッサ：本発明のＰＭＥプロセ
ッサは、ＭＰＰアプリケーションに現在使用されている
現在のマイクロプロセッサと異なる。プロセッサ部分の
違いとしては以下の点が挙げられる。

【０１６５】１．プロセッサは、完全にプログラミング
可能なハードワイヤ式コンピュータである（命令セット
の概要に関しては、ＩＳＡについての説明を参照された
い）・左上隅に示す完全なメモリ・モジュールを有する（図
９参照）。・（左上隅に示す）各割込みレベルに対して別々のレジ
スタ・セットをエミュレートするのに必要な制御機構を
備えたハードウェア・レジスタを有する。・その論理演算機構が、効果的な多重サイクル整数およ
び浮動小数点演算を可能にするのに必要なレジスタおよ
び制御機構を有する。・右上隅に示す２地点間リンクで相互接続されたＰＭＥ
間のパケットまたは回線交換データ移動をサポートする
のに必要な入出力切替経路を有する。

【０１６６】２．これは、ＣＭＯＳＤＲＡＭ技術によ
り１チップ当たりＰＭＥの複製を８個作成できるプロセ
ッサ設計のための最小の手法である。

【０１６７】３．ＰＭＥのこのプロセッサ部分は、本発
明のＭＭＰの効果的なＭＩＭＤ動作またはＳＩＭＤ動作
を可能にするのに必要な高速命令セット・アーキテクチ
ャ（ＩＳＡ）（表を参照）をコーディングするのに必要
なほぼ最小のデータ・フロー幅を提供する。

【０１６８】ＰＭＥ常駐ソフトウェア：ＰＭＥは、格納
されたプログラムを実行できる、ＡＰＡＰの最小要素で
ある。ＰＭＥは、一定の外部制御要素中に常駐し、ＳＩ
ＭＤモードで同報通信／制御インタフェース（ＢＣＩ）
によってＰＭＥに送られるプログラムを実行し、あるい
はそれ自体の主記憶装置に常駐するプログラムを実行す
ることができる（ＭＩＭＤモード）。ＰＭＥは、ＳＩＭ
ＤモードとＭＩＭＤモードの間で動的に切り替えること
ができる。これは、ＳＩＭＤ／ＭＩＭＤモード２重機能
であり、システムはこの２重機能を同時に実行できる
（ＳＩＭＩＭＤモード）。特定のＰＭＥは、制御レジス
タ中のビットをセットまたはリセットするだけで、この
動的切替えを行うことができる。ＳＩＭＤＰＭＥソフ
トウェアは実際には外部制御要素に常駐するので、これ
についての詳細はアレイ・ディレクタに関する考察の所
および関連出願に記載されている。

【０１６９】ＭＩＭＤソフトウェアは、ＰＭＥがＳＩＭ
Ｄモードのとき、ＰＭＥ主記憶装置に格納される。これ
が可能なのは、ＰＭＥの多くが、同様なデータを非同期
的に処理するので、同一のプログラムを備えているから
である。ここでは、これらのプログラムは固定されてい
ず、他の演算の処理中に外部源からＭＩＭＤプログラム
をロードすることによって修正できることを指摘してお
く。

【０１７０】表に示すＰＭＥ命令セット・アーキテクチ
ャはマイクロコンピュータのアーキテクチャなので、こ
のアーキテクチャではＰＭＥが実行できる機能に対する
制限はほとんどない。基本的に、各ＰＭＥはＲＩＳＣマ
イクロプロセッサと同様に機能できる。典型的なＭＩＭ
ＤＰＭＥソフトウェア・ルーチンを以下に列挙する。

【０１７１】１．各種の常駐ルーチンをディスパッチし
優先順位をつけるための基本制御プログラム。

【０１７２】２．ＰＭＥ間でデータおよび、制御メッセ
ージをやり取りするための通信ソフトウェア。このソフ
トウェアは、特定のＰＭＥが「回線交換」モードにいつ
入りそこからいつ出るかを決定する。通信ソフトウェア
は適宜「蓄積交換」機能を実行する。また、それ自体の
主記憶装置と別のＰＭＥの主記憶装置の間でのメッセー
ジの開始、送信、受信、および終了を行う。

【０１７３】３．割込み処理ソフトウェアは、文脈の切
替えを完了し、その割込みを発生させた事象に応答す
る。これらのソフトウェアには、フェール・セイフ・ル
ーチンと、ＰＭＥのアレイへの再経路指定または再割当
てが含まれる。

【０１７４】４．後述の拡張命令セット・アーキテクチ
ャを実施するルーチン。これらの再経路指定では、拡張
精密固定小数点演算、浮動小数点演算、ベクトル演算な
どのマクロ・レベル命令が実行される。そのため、複雑
な演算が扱えるだけでなく、多次元（２次元または３次
元イメージ）および複数媒体プロセスでイメージ・デー
タを表示するためのイメージ処理活動も可能になる。

【０１７５】５．標準の数学ライブラリ関数を組み込む
ことができる。これらの関数にはＬＩＮＰＡＫルーチン
およびＶＰＳＳルーチンを含めることが好ましい。各プ
ロセッサ・メモリ要素は、ベクトルまたは行列の異なる
要素に対して作用できるので、様々なＰＭＥがすべて、
異なるルーチン、または同一の行列の異なる部分を一時
に実行できる。

【０１７６】６．ＡＰＡＰノード相互接続構造を利用
し、動的多次元経路指定を可能にする、分散／収集機能
または分類機能を実行するための特殊ルーチンが提供さ
れる。これらのルーチンは、様々なＰＭＥ間で実現され
る一定程度の同期化を効果的に利用しながら、非同期動
作を継続できるようにする。分類用には、分類ルーチン
がある。ＡＰＡＰはバッチャ分類によく適している。な
ぜなら、このような分類では、非常に短い比較サイクル
と比較する特定の要素を決定するために大量の計算が必
要だからである。プログラム同期化は入出力ステートメ
ントによって管理される。このプログラムを使うと、１
ＰＭＥ当たり複数のデータ要素が可能であり、非常に大
規模な並列分類を非常に簡単な形で行うことができる。

【０１７７】各ＰＭＥはそれ自体の常駐ソフトウェアを
有するが、これらのマイクロコンピュータから構築され
るシステムは、スカラー並列マシン用に設計されたより
高水準の言語プロセスを実行できる。すなわち、このシ
ステムは、ＦＯＲＴＲＡＮ、Ｃ、Ｃ＋＋、ＦＯＲＴＲＡ
ＮＤなどの高水準言語で、ＵＮＩＸマシン用に書かれ
たアプリケーション・プログラムまたは他のオペレーテ
ィング・システムのアプリケーション・プログラムが実
行できる。

【０１７８】本発明のプロセッサ概念が、きわめて古い
プロセッサ設計の手法を使用しているのは興味深い。Ｉ
ＢＭの軍用プロセッサではおそらく、同様な命令セット
・アーキテクチャ（ＩＳＡ）設計が３０年来使用されて
いる。この種の設計を使用して、本発明のＰＭＥ設計全
体と組み合わせれば、行き詰まった現在のマイクロプロ
セッサ設計に活路を見いだし、当該技術が次の世紀に使
用できる新しい道を開くことができることを認識したの
は本発明者等が初めてである。

【０１７９】このプロセッサの設計の諸特徴は他の現在
のマイクロプロセッサとまったく異なるが、同様なゲー
ト制約式軍用および宇宙航空用プロセッサは６０年代か
らこの設計を使用している。このプロセッサは、簡単な
コンパイラの開発に十分な命令およびレジスタを提供
し、汎用処理アプリケーションと信号処理アプリケーシ
ョンのどちらもこの設計で効果的に実行される。本発明
の設計はゲート要件が最小であり、ＩＢＭは、組込みチ
ップ設計が汎用処理に必要であった数年前から同様な概
念を実施している。今回は旧式のＩＳＡ設計の一部を採
用したため、多くのプログラマが該設計概念について既
存のベースおよび知識を持っているので、本発明のシス
テムを迅速に採用できるようにする多数のユーティリテ
ィおよびその他のソフトウェア・ビークルの使用が可能
である。

【０１８０】ＰＭＥ入出力：ＰＭＥは、図９の経路ＢＣ
Ｉを介して同報通信／制御インタフェース（ＢＣＩ）バ
スから論理演算機構にデータを読み込み、あるいは該バ
スから解読論理回路（図示せず）に直接命令を取り込む
ことにより、該バスと相互接続する。ＰＭＥは、ＳＩＭ
Ｄモードでパワー・アップし、分岐にぶつかるまでその
モードで命令を読み取り、解読して、実行する。ＳＩＭ
Ｄモードの同報通信コマンドは、ＭＩＭＤへの移行を行
わせ、ローカル側で命令を取り出させる。同報通信ＰＭ
Ｅ命令^ＩＮＴＥＲＮＡＬＤＩＯＷ^は状態を反転させ
る。

【０１８１】ＰＭＥ入出力は、データの送信、引渡しま
たは受信とすることができる。ＰＭＥは、データ送信時
にＣＴＬレジスタをセットして、ＸＭＩＴをＬ、Ｒ、
Ｖ、Ｘのいずれかに接続させる。次にハードウェア・サ
ービスが、ＡＬＵマルチプレクサおよびＸＭＩＴレジス
タを介してメモリからターゲットにデータのブロックを
引き渡す。この処理は、通常の命令動作とインタリーブ
する。アプリケーションの要件に応じて、伝送されるデ
ータのブロックは、定義済みＰＭＥ用の生データまたは
経路を確立するためのコマンド、あるいはその両方を含
むことができる。データを受け取ったＰＭＥは、入力を
メモリに格納し、活動状態の下位処理に割り込む。割込
みレベルにおける解釈タスクは、この割込み事象を使っ
て、タスク同期化を実行し、あるいは透過性入出力動作
を開始することができる（データが他の場所でアドレス
されるとき）。ＰＭＥは、透過性入出力動作中、自由に
実行を継続できる。ＰＭＥのＣＴＬレジスタがＰＭＥを
ブリッジにする。データは、ゲート処理なしにＰＭＥを
通過し、ＰＭＥは、命令またはデータ・ストリームによ
ってＣＴＬレジスタがリセットされるまでそのモードの
ままである。ＰＭＥは、データの引渡し中、データ源と
なることはできないが、別のメッセージのデータ・シン
クとなることはできる。

【０１８２】ＰＭＥ同報通信セクション：これは、チッ
プと共通制御デバイスの間のインタフェースである。こ
のインタフェースは、入出力を指令しまたは完全なチッ
プをテストし診断する制御装置として働くデバイスが使
用できる。

【０１８３】入力は、ＰＭＥのサブセットが使用可能な
ワード・シーケンス（命令またはデータ）である。各ワ
ードには、どのＰＭＥがそのワードを使用するかを示す
コードが関連付けられている。ＢＣＩは、ワードを使用
して、該インタフェースへのアクセスを制限するととも
に、必要なすべてのＰＭＥがデータを受け取るようにす
る。このことは、ＢＣＩを非同期ＰＭＥ動作に調節する
のに役立つ（ＰＭＥは、ＳＩＭＤモードのときでも、入
出力および割込み処理のために非同期的である）。この
機構により、ＰＭＥを、ＢＣＩを介して受け取ったコマ
ンド／データ・ワードのインタリーブ・セットによって
制御されるグループに形成することができる。

【０１８４】ＢＣＩは、ＰＭＥにデータを引き渡すだけ
でなく、ＰＭＥから要求コードを受け入れ、それらのコ
ードを組み合わせ、統合された要求を送り出す。この機
構は、いくつかの形で使用できる。ＭＩＭＤ処理は、す
べて出力信号で終了するプロセッサのグループ中で開始
できる。信号が^ＡＮＤ^されると、制御装置は新規プロ
セスを開始する。多くの場合、アプリケーションがＰＭ
Ｅメモリに必要なすべてのソフトウェアをロードできる
とは限らない。制御装置へのコード化された要求を使っ
て、おそらくホストの記憶システムからソフトウェア・
オーバレイを取り出す。

【０１８５】制御装置は、多数のチップを通る直列走査
ループを使って、個々のチップまたはＰＭＥ上の情報を
取り出す。これらのループは最初ＢＣＩと相互接続され
ているが、該インタフェースにおいて個々のＰＭＥとブ
リッジできる。

【０１８６】ＢＣＩ：各チップ上に設けられた同報通信
／制御インタフェース（ＢＣＩ）は、データまたは命令
をノードに送信できるような並列入力インタフェースを
実現する。着信データはサブセット識別子でタグ付けさ
れる。ＢＣＩは、サブセット内で動作する、ノード内の
すべてのＰＭＥにデータまたは命令が提供されるように
するのに必要な機能を備えている。ＢＣＩの並列インタ
フェースは、すべてのＰＭＥにデータを同報通信できる
ようにするポートとしても、ＳＩＭＤ動作中の命令イン
タフェースとしても働く。両方の要件を満たすととも
に、それらの要件をサブセット動作のサポートにまで拡
張する機能は、本発明の設計手法以外には全く例を見な
い。

【０１８７】本発明のＢＣＩ並列入力インタフェースに
より、ノードの外部の制御要素からデータまたは命令を
送信することが可能になる。ＢＣＩは、各ＰＭＥと結合
された「グループ割当て」レジスタを備えている（グル
ープ化の概念については、同時出願のgrouping of SIMD
picketsと題する米国特許出願を参照されたい）。着信
データ・ワードはグループ識別子でタグ付けされる。Ｂ
ＣＩは、専用グループに割り当てられたノード内のすべ
てのＰＭＥにデータまたは命令が提供されるようにする
のに必要な機能を備えている。ＢＣＩの並列インタフェ
ースは、ＭＩＭＤ動作中にＰＭＥにデータを同報通信で
きるようにするポートとしても、ＳＩＭＤ動作中の命令
／即値オペランド・インタフェースとしても働く。

【０１８８】ＢＣＩは、２つの直列インタフェースも備
えている。高速直列ポートは、各ＰＭＥに、限られた量
の状況情報を出力する能力を与える。このデータの目的
は以下のとおりである。

【０１８９】１．ＰＭＥたとえば５００が読み取る必要
のあるデータを有すること、またはＰＭＥが何らかの動
作を完了したことを示す信号をアレイ・ディレクタ６１
０に送る。アレイ・ディレクタ６１０は、それが代表す
る外部制御要素にメッセージを渡す。２．外部テストおよびモニタ要素がシステム全体の状況
を示すことができるように活動状況を提供する。

【０１９０】標準直列ポートは、外部制御要素が監視お
よび制御の目的で特定のＰＭＥに選択的にアクセスでき
るようにする。このインタフェースを介して渡されるデ
ータは、ＢＣＩ並列インタフェースから特定のＰＭＥレ
ジスタにデータを送り、あるいは特定のＰＭＥレジスタ
からデータを選択してそれを高速直列ポートに経路指定
することができる。これらの制御点は、外部制御要素が
初期パワー・アップおよび診断フェーズ中に、個々のＰ
ＭＥを監視し制御できるようにする。これによって、ア
レイ・ディレクタは、特定のＰＭＥおよびノード内部レ
ジスタならびにアクセス点をポートの出力先とするよう
に、制御データを入力することができる。これらのレジ
スタは、ノードのＰＭＥがアレイ・ディレクタにデータ
を出力できるように経路を提供し、かつアレイ・ディレ
クタが初期パワー・アップおよび診断フェーズ中に、装
置にデータを入力できるようにする。アクセス点へのデ
ータ入力を使用して、テストおよび診断動作、すなわ
ち、単一の命令ステップの実行、比較時停止、区切り点
などを制御することができる。

【０１９１】ノード・トポロジー：本発明の修正ハイパ
ーキューブ・トポロジー接続は大規模並列システムにも
っとも有効であるが、性能の劣る他の接続を本発明の基
本ＰＭＥと併用することもできる。本発明者によるＶＬ
ＳＩチップの初期実施例では、８個のＰＭＥと、完全分
散型ＰＭＥ内部ハードウェア接続が使用されている。内
部ＰＭＥ間チップ構成は、４個のＰＭＥから成るリング
２つであり、各ＰＭＥがさらに他のリングのＰＭＥへの
１つの接続を有している。ＶＬＳＩチップに８個のＰＭ
Ｅがある場合、これは３次元バイナリ・ハイパーキュー
ブである。しかし、本発明の手法では一般に、チップ内
でハイパーキューブ編成を使用しない。また、各ＰＭＥ
では１本のバスのエスケープが可能である。初期実施例
では、一方のリングからエスケープされたバスを＋Ｘ、
＋Ｙ、＋Ｗ、および＋Ｚと呼び、他方のリングからエス
ケープされたリングには−（マイナス）の同様なラベル
を付ける。

【０１９２】特定のチップ編成をアレイのノードと呼
び、ノードはアレイのクラスタ中に入れることができ
る。ノードは＋-Ｘおよび＋-Ｙを使ってアレイとして接
続され、クラスタを形成する。アレイの次元数は任意で
あり、一般に、バイナリ・ハイパーキューブの開発の必
要条件である２より多い。クラスタは＋-Ｗ、＋-Ｚを使
ってさらに接続され、クラスタのアレイとなる。ここで
もアレイの次元数は任意である。この結果、ノードの４
次元ハイパーキューブが得られる。５次元ハイパーキュ
ーブに拡張するには、ＰＭＥノードが１０個必要であ
り、２本の追加バス、たとえば＋-Ｅ１を使って４次元
ハイパーキューブを接続し、ハイパーキューブのベクト
ルにする。本発明ではさらに、奇数または偶数の基数ハ
イパーキューブへの拡張のパターンを示した。この修正
トポロジーでは、クラスタがクラスタ配線に限定される
が、ハイパーキューブ接続の利点が維持される。

【０１９３】本発明の、大規模並列マシン用の配線可能
性およびトポロジー構成には、本発明のクラスタ・レベ
ルのパッケージング内でＸ次元およびＹ次元が維持で
き、すべての隣接クラスタにＷバス接続およびＺバス接
続が配分できるという利点がある。上述の技術を実施し
た後、定義されたトポロジーの固有の特性を維持しなが
ら製品を配線し製造することができる。

【０１９４】ノードは、Ｋ^*ｎ個のＰＭＥと、同報通信
／制御インタフェース（ＢＣＩ）セクションから構成さ
れる。ここで、"ｎ"は、修正ハイパーキューブを特徴付
ける次元またはリングの数を表し、"ｋ"はノードを特徴
付けるリングの数を表す。ノードはｋ個のリングを備え
ることができるが、それらのリングのうち２個だけが、
エスケープ・バスを提供することがこの概念の特徴であ
る。好ましい実施例では、物理チップ・パッケージによ
り、"ｎ"および"ｋ"がＮ＝４およびｋ＝２に制限されて
いる。この制限は物理的なものであり、別のチップ・セ
ットを使用すれば、アレイの次元数を増やすことができ
る。本発明の好ましい実施例は、物理チップ・パッケー
ジの一部であるだけでなく、修正ハイパーキューブ中の
１組のリングを相互接続するＰＭＥのグループ化を可能
にする。各ノードには、ＰＭＥアーキテクチャを有し、
処理機能およびデータ・ルータ機能を実行できる、８個
のＰＭＥがある。したがって、ｎは修正ハイパーキュー
ブの次元数（次節参照）である。すなわち、４次元修正
ハイパーキューブのノード要素はＰＭＥ８個であり、５
次元修正ハイパーキューブのノードはＰＭＥ１０個であ
る。本発明で使用できるノードについては図７を、相互
接続については図１０および図１１を、各ノードのブロ
ック図については図１２を参照されたい。図１７および
図１８は、ＡＰＡＰの可能な相互接続の詳細を示したも
のである。

【０１９５】１９９１年５月１３日に出願された"Metho
d for Interconnecting and Systemof Interconnected
Processing Elements"と題する米国特許出願第０７／６
９８８６６号に、本発明のＡＰＡＰＭＭＰに使用する
のが好ましい修正ハイパーキューブ基準が記載されてい
る。上記出願を参照により本発明に組み込むが、それに
は、１要素当たりの接続数とネットワーク直径（最悪例
経路長）とのバランスを取ることができるように処理要
素を相互接続する方法が記載されている。そうするに
は、ハイパーキューブの、周知の好ましいトポロジー特
性の多くを持つトポロジーを作成すると同時に、基底を
変えることができる数体系でネットワークのノードを列
挙することによってトポロジーの柔軟性を向上させる。
この方法で基底２の数体系を使用すると、ハイパーキュ
ーブ・トポロジーが得られる。本発明では、ハイパーキ
ューブの一様な接続よりも相互接続の数が少なく、かつ
ハイパーキューブの特性を維持する。こうした特性とし
ては次の３つがある。１）代替経路が多い。２）総合帯
域幅がきわめて大きい。３）周知の既存の方法を使っ
て、他の共通問題トポロジーをネットワークのトポロジ
ーでマップできる。その結果、密度の低い非バイナリ・
ハイパーキューブが得られる。本発明では修正ハイパー
キューブ手法を優先しているが、従来のハイパーキュー
ブを使用できるアプリケーションもあることに留意され
たい。ノードの接続にあたり、トポロジーの他の手法も
使用できる。しかし、本明細書に記載する手法は、斬新
で高度であると考えられるので、これを優先する。

【０１９６】ＰＭＥのネットワーク中で複数のノードを
相互接続するための、修正ハイパーキューブ・トポロジ
ー用の相互接続方法について以下に説明する。

【０１９７】１．１組の整数ｅ１、ｅ２、ｅ３．．．の
組を次のように定義する。すべての要素の積がネットワ
ーク内のＰＭＥの数Ｍと等しくなり、一方ｅ１およびｅ
２を除く、該組のすべての要素の積がノードの数Ｎであ
り、該組の要素の数ｍが、関係式ｎ＝ｍ−２によってネ
ットワークの次元数を定義する。

【０１９８】２．１組のインデックスａ１、ａ２．．．
ａｍによって位置指定されたＰＭＥにアドレスする。こ
こで各インデックスは、等価な展開レベルでのＰＭＥ位
置であり、インデックスａｉは、公式(....(a(m)^*e(m-
1) + a(m-2))e(m-1) ... a(2)^*e(1))+a(1)によって、ｉ
が１、２、．．．ｍのとき、０からｅｉ−１の範囲に収
まる。この公式で、a(i)という表記は通常通り、要素の
リストａ中のi番目であることを意味する。ｅについて
も同様である。

【０１９９】３．次の２つの条件のいずれかが成り立つ
場合にかぎり、２つのＰＭＥ（アドレスがｆおよびｇ）
を接続する。ａ．r/(e1 ^* e2)の整数部分がs/(e1 ^* e2)の整数部分と
等しい。１）r/e1の剰余部分がs/e1の剰余部分と１だけ異なる。
あるいは２）r/e2の剰余部分がs/e2の剰余部分と１またはe2-1だ
け異なる。ｂ．r/eiの剰余部分とs/eiの剰余部分が、ｉが３、
４、．．．ｍの範囲にあるとき異なり、r/e1の剰余部分
が、ｉ−３に等しいs/e2の剰余部分と等しく、r/e2の剰
余部分がs/e2の剰余部分とe2−１だけ異なる。

【０２００】この結果、コンピュータ・システム・ノー
ドは、各次元で基数が異なる可能性がある非バイナリ・
ハイパーキューブを形成する。ノードは、それによって
提供されるポートが修正ハイパーキューブの次元数要件
と一致するような２^*ｎ個のポートをサポートするＰＭ
Ｅのアレイと定義される。特定の修正ハイパーキューブ
の各次元の特定の範囲を定義する１組の整数ｅ３、ｅ
４、．．．ｅｍがすべて等しい、たとえばｂとみなし、
ｅ１およびｅ２をａ１とすると、アドレス可能性および
接続についての直前の公式は下記のようになる。

【０２０１】１．N = b^**n

【０２０２】２．ここでは、ＰＭＥが基底ｂ数体系を表
す数でアドレス指定される。

【０２０３】３．ｆのアドレスがｇのアドレスと、１基
底ｂ桁だけが異なる場合にかぎり２つの計算要素（ｆお
よびｇ）が接続される。０とｂ−１が１だけ離れている
という規則が使用される。

【０２０４】４．各ＰＭＥでサポートされる接続の数は
２^*ｎである。

【０２０５】これは基本アプリケーションでの記載通り
であり、非隣接ＰＭＥを接続する通信バスの数は０と選
択されている。

【０２０６】さらに、前述の、１９９１年５月１３日出
願の"Method for Interconnectingand System of Inter
connected Processing Elements"と題する米国特許出願
第０７／６９８８６６号には、本発明のＡＰＡＰＭＭ
Ｐと一緒に使用できる修正ハイパーキューブ基準が記載
されている。上記の詳細に加えて、処理要素を相互接続
する方法が記述できる。

【０２０７】ＰＭＥのネットワーク内で複数の演算要素
を相互接続するための、修正ハイパーキューブ・トポロ
ジー用の相互接続法では、ａ）演算要素の数がｂ^**ｎに等しく、ｂおよびｎが正の
整数であるようにｂおよびｎを定義し、ｂ）ｂが偶数である場合１≦ｄ≦ｂ／２であり、ｂが
奇数である場合１≦ｄ≦（ｂ−１）／２であるような
正の整数ｄを選択し、ｃ）基底ｂ番号付けシステムで表される数を使って番号
付けすることによって、演算要素をアドレス指定し、ｄ）以下の条件が成立する場合に限り、２つの演算要素
（ｅおよびｆ）を接続する。１）（ステップｃで形成された）ｅのアドレスがｆのア
ドレスと、１つの桁だけｉ桁目が異なり、２）ｅｉおよびｆｉという記号で表される、ｅおよびｆ
のアドレスの独自のｉ桁目について、ｅｉとｆｉが等し
くない場合、次式が成り立つ。ｅｉ＝（ｆｉ＋ｊ）ｍｏ
ｄｂまたはｆｉ＝（ｅｉ−ｊ）Ｍｏｄｄ（すべての
ｊ≦ｄ）その結果、コンピューティング・システムは、
複数のノードを含む非バイナリ・ハイパーキューブを形
成する。ここで、Ｎ＝ｂ^**ｍであり、ｂおよびｎは正の
整数でかつｂ＞２である。各ノードは、数体系基底ｂに
従って番号付けされた識別用アドレスを有する。ハード
ウェアおよびソフトウェアにより、各ノードを、そのノ
ードのアドレスと１つの桁が異なるアドレスを持つノー
ドに接続することができ、１ノード当たりの接続数はｍ
ｕ^*ｌｏｇｂ（Ｎ）となる。ここで、ｍｕ＝２ｄであ
り、ｂが偶数の場合は１≦ｄ≦ｂ／２で、ｂが奇数の場
合は１≦ｄ≦（ｂ−１）／２である。ただし、ｂが偶数
でｄ＝ｂ／２の場合は、ｍｕ＝ｂ−１である。

【０２０８】ノード内ＰＭＥ相互接続：ＰＭＥは、ノー
ド内で２×ｎアレイとして構成される。各ＰＭＥは、１
組の入出力ポートを使って３つの隣接ＰＭＥと相互接続
されるため、ＰＭＥ間には全２重通信機能が提供され
る。各ＰＭＥ外部入出力ポートは、ノード入出力ピンに
接続される。入出力ポートは、ピンを、半２重通信用に
共用できるように接続することも、全２重機能用に分離
できるように接続することも可能である。４次元修正ハ
イパーキューブ・ノードの相互接続を図１０および図１
１に示す（ｎが偶数の場合、ノードは２×２×ｎ／２ア
レイとみなせることに留意されたい）。

【０２０９】図１０は、ノード内の８つの処理要素５０
０、５１０、５２０、５３０、５４０、５５０、５６
０、５７０を示している。ＰＭＥは、バイナリ・ハイパ
ーキューブ通信ネットワーク中で接続される。このバイ
ナリ・ハイパーキューブは、ＰＭＥ間のノード内接続を
３つ示している（５０１、５１１、５２１、５３１、５
４１、５５１、５６１、５７１、５９０、５９１、５９
２、５９３）。ＰＭＥ間の通信は、処理要素の制御下で
入出力レジスタによって制御される。この図は、８つの
方向、＋-ｗ５２５、５６５、＋-ｘ５１５、５５
５、＋-ｙ５０５、５４５、＋−ｚ５３５、５７５の
いずれかから入出力をエスケープするとき使用できる様
々な経路を示している。望むなら、データをメモリに格
納せずに通信を実行できる。

【０２１０】ネットワーク切替えチップを使用すれば、
それぞれ本発明のチップを持つ各種カードを、システム
の他のチップと接続できるが、ネットワーク切替えチッ
プを使用しなくてもかまわず、またそうすることが望ま
しいことに留意されたい。「４次元トーラス」として記
述する本発明のＰＭＥ間ネットワークは、ＰＭＥ間通信
に使用する機構である。ＰＭＥは、このインタフェース
上のアレイ内の任意の他のＰＭＥにアクセスできる（間
にあるＰＭＥは、蓄積交換または回線交換できる）。

【０２１１】相互接続のチップ関係：チップについて説
明してきた。図１２は、ＰＭＥプロセッサ／メモリ・チ
ップのブロック図である。このチップは、下記の要素か
ら構成されている。以下に、これらの要素のそれぞれに
ついて説明する。

【０２１２】１．それぞれ１６ビットのプログラマブル
・プロセッサおよび３２Ｋワードのメモリ（６４ＫＢ）
から成るＰＭＥ８個。

【０２１３】２．制御装置がすべてのＰＭＥまたはその
サブセットを動作させＰＭＥ要求を累積できるようにす
るＢＣＩ。

【０２１４】３．相互接続レベルａ．各ＰＭＥは、８ビット幅ＰＭＥ間通信経路４つをサ
ポートする。これらは、チップ上の隣接ＰＭＥ３個およ
びオフチップＰＭＥ１個と接続される。ｂ．同報通信ＰＭＥ間バス接続。データまたは命令を使
用可能にする。ｃ．任意のＰＭＥが制御装置にコードを送信できるよう
にするサービス要求線。ＢＣＩは、要求を組み合わせ、
要約を転送する。ｄ．シリアル・サービス・ループは、制御装置が機能ブ
ロックに関するすべての詳細を読み取れるようにする。
このレベルの相互接続は、同報通信インタフェースから
すべてのＰＭＥまで延びる（図１２を参照すれば分かる
ので、詳細は省略する）。

【０２１５】相互接続および経路指定：ＭＰＰは、ＰＭ
Ｅを複製することによって実施される。複製の程度は、
使用する相互接続および経路指定方式に影響を与えな
い。図７は、ネットワーク相互接続方式の概要を示して
いる。チップはＰＭＥを８個備えており、ＰＭＥはすぐ
隣のＰＭＥに相互接続されている。この相互接続パター
ンにより、図１１に示す３次元キューブ構造が得られ
る。キューブ内の各プロセッサに、チップのピンへの専
用両方向バイト・ポートがある。８個１組のＰＭＥをノ
ードと呼ぶ。

【０２１６】ノードのｎ×ｎアレイがクラスタである。
＋ｘポートと−ｘポート間、＋ｙポートと−ｙポート間
を単にブリッジするだけで、クラスタ・ノード相互接続
が実現される。この場合、本発明の好ましいチップまた
はノードにはＰＭＥが８個あり、それぞれ単一の外部ポ
ートを管理する。このおかげで、ネットワーク制御機能
が分散され、ポートに対するボトルネックがなくなる。
外部エッジをブリッジすると、クラスタは論理トーラス
となる。本発明ではｎ＝４およびｎ＝８のクラスタを検
討したが、商用アプリケーションではｎ＝８の方が適切
であり、一方軍事伝導冷却式アプリケーションではｎ＝
４の方が適切であると考える。本発明の概念では、変更
不能なクラスタ・サイズは使用しない。逆に、変形を使
用するアプリケーションも想定している。

【０２１７】クラスタをアレイにすると、図１１に示す
４次元トーラスまたはハイパーキューブ構造が得られ
る。＋ｗポートと−ｗポートの間、＋ｚポートと−ｚポ
ートの間をブリッジすると、４次元トーラス相互接続が
実現される。その結果、クラスタ内の各ノードは、すべ
ての隣接クラスタ内の等価なノードと接続される（これ
で、２つの隣接クラスタ間にポートが６４個提供され
る。より大型のクラスタの場合は８個である）。クラス
タ・サイズの場合同様、この方式は特定のサイズのアレ
イを必要としない。本発明では、ワークステーションお
よび軍事アプリケーションに好ましい２×１アレイと、
メインフレーム・アプリケーション用の４×４アレイ、
４×８アレイ、および８×８アレイを考慮した。

【０２１８】４次元トーラスの開発は、本発明の好まし
いチップのゲート、ピン、およびコネクタの限界を超え
ている。しかし、本発明の代替オンチップ光学式ドライ
バ／レシーバを使用すれば、この限界はなくなる。この
実施例では、本発明のネットワークは１ＰＭＥ当たり１
本の光路を使用できる。その場合、１チップ当たりのＰ
ＭＥは８個でなく１２個になり、マルチＴｆｌｏｐ（テ
ラフロップ）性能の４次元トーラスのアレイができる。
そのようなマシンをワークステーション環境で使用する
ことは可能であり、かつ経済的に実現可能であるように
思われる。そのような代替マシンは、本発明の現在の好
ましい実施例用に開発されたアプリケーション・プログ
ラムを使用することに留意されたい。

【０２１９】４次元クラスタ編成：図７および図１１に
示す４次元修正ハイパーキューブ３６０を構築するに
は、８つの外部ポート３１５をサポートするノードが必
要である。外部ポートを＋Ｘ、＋Ｙ、＋Ｚ、＋Ｗ、−
Ｘ、−Ｙ、−Ｚ、−Ｗで表すものとする。次に、ｍ₁ノ
ードを使って、＋Ｘポートと−Ｘポートの間を接続する
と、リングが構築できる。さらに、ｍ₂を使用し、＋Ｙ
ポートと−Ｙポート間を相互接続すると、そのようなリ
ングが相互接続され、リングのリングが構築できる。こ
のレベルの構造をクラスタ３２０と呼ぶ。ｍ₁＝ｍ₂＝８
の場合、図７にｍ＝８として示すように、５１２個のＰ
ＭＥが使用可能であり、そのようなクラスタは複数のサ
イズのシステム（３３０、３４０、３５０）の構成単位
となる。

【０２２０】４次元アレイ編成：大規模な密システムを
構築するときは、＋Ｚポートおよび−Ｚポートを使用
し、ｍ₃クラスタの組を列として相互接続する。ｍ₄列を
さらに、＋Ｗポートおよび−Ｗポートを使って相互接続
する。ｍ₁＝．．．ｍ₄＝８の場合、こうすると３２７６
８すなわち８⁴⁺¹個のＰＭＥを備えたシステムが得られ
る。この編成では、あらゆる次元が図７のように（大規
模な密並列プロセッサ３７０）等密度である必要はな
い。小規模な密プロセッサの場合、１つのクラスタだけ
を使用し、未使用のＺポートおよびＷポートをカード上
で相互接続することができる。この技術によって、カー
ド・コネクタ・ピンが節約され、コネクタ・ピンの制限
のある、ワークステーション３４０、３５０およびアビ
オニックス・アプリケーション３３０にこのスケーリン
グ可能プロセッサが適用できるようになる。ＺとＷを対
にして＋／−ポートを接続すると、デバッグ、テスト、
および大規模マシン・ソフトウェア開発が可能なワーク
ステーション編成が得られる。

【０２２１】さらに、ｍ＝８より小さな値で構造を生成
すれば、はるかに小さなスケール・バージョンの構造を
開発できる。こうすれば、ＰＳ／２またはＲＩＳＣシス
テム６０００ワークステーション３５０におけるアクセ
レレータの要件に適合する単一のカード・プロセッサが
構築可能である。

【０２２２】入出力性能：入出力性能には、セットアッ
プ転送に対するオーバヘッドと、実バースト速度データ
移動が含まれる。セットアップのオーバヘッドは、アプ
リケーション機能入出力の複雑性と、ネットワークの争
奪によって決まる。たとえば、アプリケーションは、バ
ッファリングによって回線交換トラフィックをプログラ
ミングして衝突を解決することも、すべてのＰＭＥを左
に移して同期化することもできる。最初の例では、入出
力が主要なタスクであり、そのサイズ決めには詳細な分
析が使用される。本発明者等の見積りでは、単純な例の
セットアップ・オーバヘッドで、２０〜３０クロック・
サイクルまたは０．８〜１．２マイクロ秒である。

【０２２３】バースト速度入出力は、ＰＭＥがデータを
転送できる最高速度である（チップ上の隣接ＰＭＥまた
は外部の隣接ＰＭＥへの転送）。メモリ・アクセス限界
により、データ速度は１バイト当たり１４０ナノ秒に設
定されている。これは、７．１４ＭＢ／秒に該当する。
この性能には、バッファ・アドレスおよびカウント処理
と、データ読取り／書込みが含まれる。この性能では、
転送される１６ビット・ワード当たり７つの４０ナノ秒
サイクルが使用される。

【０２２４】このバースト速度性能は、最高転送速度が
３．６５ＧＢ／秒であるクラスタに該当する。すなわ
ち、クラスタの行または列に沿った８個１組のノード
が、８個１組の使用可能なポートを使用して５７ＭＢ／
秒のバースト・データ速度を実現することになる。ラッ
プされたクラスタのエッジを、論理的に「ジップ解除」
し、外部システム・バスと接続することにより、外部と
の入出力が行われるので、この数字は重要である。

【０２２５】ＰＭＥ間経路指定プロトコル：ＳＩＭＤ／
ＭＩＭＤＰＭＥは、外部入出力機構とのプロセッサ間
通信機構、ＢＣＩ、ならびに同一のＰＭＥ内でＳＩＭＤ
動作とＭＩＭＤ動作をどちらも可能にする切替え機能を
備えている。ＰＭＥには、プロセッサ通信およびＰＭＥ
間のデータ転送用の、完全分散型プログラマブル入出力
ルータが組み込まれている。

【０２２６】ＰＭＥは、オンチップＰＭＥ、ならびに修
正ハイパーキューブ構成内の相互接続されたＰＭＥに接
続された外部入出力機構への、完全分散型プロセッサ間
通信ハードウェアを有している。このハードウェアは、
ソフトウェアを介して入出力活動を制御する、ＰＭＥの
柔軟なプログラミング可能性で補足されている。プログ
ラマブル入出力ルータ機能によって、データ・パケット
およびパケット・アドレスの生成が可能になる。ＰＭＥ
は、ＰＭＥのネットワークを介して指定の方法で、また
はフォールト・トレランス要件によって決定される複数
の経路によって、この情報を送信できる。

【０２２７】分散型フォールト・トレランス・アルゴリ
ズムまたはプログラム・アルゴリズムは、プログラミン
グ可能性や、ＰＭＥのサポートされる回線交換モードな
どの利点を利用できる。この性能組合せモードによっ
て、プログラマブル入出力ルータを介して、オフライン
ＰＭＥ、最適経路データ構造などあらゆるものを実現で
きる。

【０２２８】本発明者等のアプリケーションの調査か
ら、ＰＭＥ間で生データを送信するのがもっとも効率的
なことがあることが分かっている。アプリケーションが
データおよび経路指定情報を必要とする場合もある。さ
らに、ネットワークの衝突が発生しないように通信を計
画できることもある。アプリケーションによっては、中
間ノードにメッセージをバッファするための機構を設け
ないかぎり、デッドロックの可能性がなくならない。極
端な例を２つ示す。ＰＤＥ法の緩和フェーズでは、各格
子点をノードに割り振ることができる。隣接ノードから
データを獲得する内部ループ・プロセスは、ノード全体
にわたって容易に同期化できる。また、イメージ変換で
は、ローカル・データ・パラメータを使用して通信の発
信先または発信元の識別子がが決定される。その結果、
複数のＰＭＥ間でデータが移動され、各ＰＭＥが各パケ
ットの経路指定タスクに関与するようになる。そのよう
なトラフィックの事前計画は一般的に不可能である。

【０２２９】ネットワークがあらゆる種類の転送要件に
対して効率的になるように、本発明では、ハードウェア
とソフトウェアの間で、ＰＭＥ間のデータ経路指定の責
任を分割している。ソフトウェアは、大部分のタスク順
序付け機能を実行する。本発明では、内部ループ転送を
行い、外部ループ上でのソフトウェア・オーバヘッドを
最小限に抑える特殊機能をハードウェアに追加した。

【０２３０】専用割込みレベルの入出力プログラムがネ
ットワークを管理する。大部分のアプリケーションで
は、ＰＭＥが４つの割込みレベルを４個の隣接ＰＭＥか
らのデータ受信専用にしている。各レベルのバッファを
開く際は、そのレベルのレジスタをロードし、ＩＮ命令
（バッファ・アドレスおよび転送カウントを使用する
が、データ受信を待たない）とＲＥＴＵＲＮ命令の対を
実行する。ハードウェアはさらに、特定の入力バスから
ワードを受け入れ、バッファに格納する。さらに、バッ
ファ満杯条件によって割込みが発生し、ＲＥＴＵＲＮ後
の命令にプログラム・カウンタが復元される。割込みレ
ベルのためのこの手法では、割込みの原因が何かをテス
トする必要がない入出力プログラムを書くことができ
る。プログラムは、データを読み取り、リターンを行っ
てから、読み取ったデータの処理に移る。たいていの状
況ではレジスタのセーブがほとんどあるいはまったく必
要ないので、転送オーバヘッドは最低になる。ＰＤＥの
例の場合のように、アプリケーションが入出力に対して
同期化を使用する場合、プログラムによってその機能を
提供できる。

【０２３１】書込み動作は複数の方法で開始できる。Ｐ
ＤＥの例の場合、隣接ＰＭＥに結果を送信する時点で、
アプリケーション・レベルのプログラムが書込み呼出し
を実行する。この呼出しで、バッファ位置、ワード・カ
ウント、および宛先アドレスが提供される。書込みサブ
ルーチンは、レジスタ・ロードと、ハードウェアを起動
しアプリケーションに戻るのに必要なＯＵＴ命令を含ん
でいる。ハードウェアは、実際のバイトごとのデータ転
送を実行する。さらに複雑な出力要件では、最上位割込
みレベルの出力サービス機能が使用される。アプリケー
ション・レベルのタスクと割込みレベルのタスクはどち
らも、ソフトウェア割込みを介してそのサービスにアク
セスする。

【０２３２】回線交換経路のセットアップは、これらの
単純な読取り動作および書込み動作に基づいている。本
発明ではまず、すべてのＰＭＥが、パケット・ヘッダを
受け入れるが、データは受け入れないようにサイズ決め
されたバッファを開く。データ送信の必要があるＰＭＥ
は、アドレスが宛先のアドレスにより近い隣接ＰＭＥに
アドレス／データ・ブロックを送信して転送を始める。
隣接ＰＭＥでは、アドレス情報が格納される。バッファ
満杯条件によって、割込みが発生する。割込みソフトウ
ェアは、宛先アドレスをテストし、バッファを拡張して
データを受け入れるか、あるいは出力ポートに宛先アド
レスを書き込み、さらにＣＴＬレジスタを透過データ移
動用に設定する（これにより、ＰＭＥは、アプリケーシ
ョンの実行を回線交換ブリッジング動作とオーバラップ
させることができる）。ＣＴＬレジスタはビジー状態に
なり、データ・ストリームの終りにある信号によってリ
セットされるか、ＰＭＥプログラミングで異常なリセッ
トを実行されるまで透過的である。以上の内容には、任
意の数の変更が可能である。

【０２３３】システム入出力およびアレイ・ディレク
タ：図１３は、好ましい実施例のアレイ・ディレクタを
示している。このアレイ・ディレクタは、システム・バ
スとアレイの接続について記述した図１４および１５の
制御装置の機能を実行できる。図１４はクラスタとやり
取りするバスを示し、図１５はＰＭＥとやり取りするバ
ス上での情報の通信を示している。アレイのロードまた
はアンロードは、クラスタのエッジをシステム・バスに
接続することによって行われる。複数のクラスタで複数
のシステム・バスをサポートできる。各クラスタは、５
０〜５７ＭＢ／秒の帯域幅をサポートする。並列アレイ
をロードまたはアンロードするには、すべてのＰＭＥま
たはそのサブセットと標準バス（すなわち、マイクロチ
ャネル、ＶＭＥバス、フューチャーバス）の間でデータ
を移動する必要がある。それらのバスは、ホスト・プロ
セッサまたはアレイ制御装置の一部であり、厳密に指定
されていると想定される。したがって、ＰＭＥアレイは
バスに適合しなければならない。ＰＭＥアレイは、ｎ個
のＰＭＥ上にバス・データをインタリーブすることによ
り任意のバスの帯域幅に一致させることができる。ここ
で、ｎはＰＭＥの入出力および処理時間の両方が可能に
なるように選択する。図１４および１５は、クラスタの
２つのエッジでシステム・バスをＰＭＥに接続する方法
を示している。そのような手法により、１１４ＭＢ／秒
をサポートできる。また、半分のピーク速度で２つのエ
ッジにデータを同時にロードすることもできる。これに
より帯域幅は１クラスタ当り５７ＭＢ／秒に減少する
が、アレイ内で直交データ移動が可能になり、２つのバ
ス間でデータの引渡しを行うことができるようになる
（この利点を使用して、高速転置および行列乗算動作を
提供する）。

【０２３４】図１４に示すように、バスはクラスタのエ
ッジ上のすべての経路に接続され、制御装置は、各経路
に対し必要なインタリービング・タイミングでゲート信
号を生成する。５７ＭＢ／秒を上回る速度でシステム・
バスに接続する必要がある場合、データは複数のクラス
タにわたってインタリーブされる。たとえば、２００Ｍ
Ｂ／秒のシステム・バスが必要なシステムでは、２個ま
たは４個のクラスタから成るグループを使用する。大規
模なＭＰＰには、１６ないし６４個のそのようなバスを
ｘｙネットワーク経路に接続する機能がある。ｘ経路お
よびｙ経路だけでなくｗ経路およびｚ経路を使用すれ
ば、この数を２倍にできる。

【０２３５】図１５は、データが個々のＰＭＥにどのよ
うに経路指定されるかを示す。この図は、７．１３ＭＢ
／秒でバースト・モードで動作できる１つの特定のｗ経
路、ｘ経路、ｙ経路、またはｚ経路を示している。シス
テム・バス上のデータがバースト単位で発生する場合
と、ＰＭＥメモリに完全なバーストを含めることができ
る場合は、必要なＰＭＥは１つだけである。本発明で
は、これらの条件がいずれも必要にならないようにＰＭ
Ｅ入出力構造を設計した。バッファ満杯条件が発生する
まで、データを最高速度でＰＭＥ×０にゲート入力でき
る。データ満杯条件が発生した瞬間、ＰＭＥ×０が透過
モードに変わり、ＰＭＥ×１がデータの受入れを開始す
る。ＰＭＥ×０内で、入力データ・バッファの処理が開
始できる。データを取りそれを処理したＰＭＥには、透
過モードの間結果を伝送できなくなるという制限があ
る。本設計では、データ・ストリームを間隔を置いて対
向側端部に切り替えることによってこれを解決してい
る。図１５に示すとおり、ソフトウェアの制御下で、Ｐ
ＭＥ×１２〜ＰＭＥ×１５が結果をアンロードする間、
ＰＭＥ×０〜ＰＭＥ×３をデータの受入れ専用にし、Ｐ
ＭＥ×０〜ＰＭＥ×３が結果をアンロードする間、ＰＭ
Ｅ×１２〜ＰＭＥ×１５をデータの受入れ専用にするこ
とができる。制御装置がワードをカウントし、データ・
ストリームにブロック終了信号を追加すると、方向が切
り替わる。制御装置によってサポートされるすべての経
路に１つのカウントが適用されるので、制御装置の作業
負荷は妥当である。

【０２３６】代替コンピュータ用システム：図２０は、
単一のアプリケーション・プロセッサ・インタフェース
（ＡＰＩ）を備えた、ホスト接続大規模システムのシス
テム・ブロック図を示す。複数のアプリケーション・プ
ロセッサ・インタフェース（図示せず）を使用するスタ
ンドアロン・システムで本発明を使用できるという了解
のもとでこの図を見ることもできる。この構成は、すべ
てのクラスタまたは多数のクラスタ上でＤＡＳＤ／グラ
フィックスをサポートする。ワークステーション・アク
セレレータを使用すると、図のホスト、アプリケーショ
ン・プロセッサ・インタフェース（ＡＰＩ）、およびク
ラスタ・シンクロナイザ（ＣＳ）は不要になる。クラス
タ・シンクロナイザはかならずしも必要ではない。必要
かどうかは、実行する処理の種類と、本発明を使用する
特定のアプリケーションに提供される物理ドライブまた
は電源によって決まる。主としてＭＩＭＤ処理を実行す
るアプリケーションが制御装置に課す作業負荷要求はそ
れほど高くないので、この場合、制御バスのパルス立上
り時間が非常に長くなることがある。逆に、多数の独立
したグループ化により主として非同期のＡ−ＳＩＭＤ動
作を実行するシステムでは、より高速の制御バス機能が
必要になることがある。この場合、クラスタ・シンクロ
ナイザが好ましい。

【０２３７】図２０のシステム・ブロック図は、システ
ムがホスト、アレイ制御装置、およびＰＭＥアレイから
構成できることを示している。ＰＭＥアレイは、１組の
クラスタ制御装置（ＣＣ）によってサポートされる１組
のクラスタである。各クラスタごとに１つのクラスタ制
御装置を示しているが、この関係が必ず必要なわけでは
ない。クラスタとクラスタ制御装置との実際の比率には
柔軟性がある。クラスタ制御装置は、６４個のＢＣＩ／
クラスタへの再駆動と、それからの累積を提供する。し
たがって、物理パラメータを使用して、最大比率を確立
することができる。さらに、クラスタ制御装置はＰＭＥ
アレイの複数のサブセットを個別に制御でき、このサー
ビスがゲート処理要件となることもある。調査を行っ
て、本発明の特定のアプリケーションに対するこれらの
要件を決定することができる。使用するクラスタ制御装
置のバージョンは２つある。システム・バスに接続する
クラスタでは、クラスタ制御装置がインタリーブ制御機
構（「システム入出力」および図２０参照）および３状
態ドライバを提供する必要がある。３状態バス機能を省
略したより簡単なバージョンも使用できる。大規模シス
テムの場合は、第２段階の再駆動および累積が追加され
る。このレベルはクラスタ・シンクロナイザ（ＣＳ）で
ある。１組のクラスタ制御装置と、クラスタ・シンクロ
ナイザおよびアプリケーション・プロセッサ・インタフ
ェース（ＡＰＩ）からアレイ制御装置が構成される。プ
ログラミング可能な単位はアプリケーション・プロセッ
サ・インタフェースだけである。

【０２３８】このシステム統合方式には複数の変形が可
能である。これらの変形によって、各種のアプリケーシ
ョン用の様々なハードウェア構成を形成できるが、その
ようにしてもサポート・ソフトウェアに大きな影響が及
ぶことはない。

【０２３９】ワークステーション・アクセレレータで
は、クラスタ制御装置がワークステーション・システム
・バスに直接接続される。アプリケーション・プロセッ
サ・インタフェースの機能はワークステーションによっ
て実行される。ＲＩＳＣ／６０００の場合、システム・
バスはマイクロチャネルであり、クラスタ制御装置がワ
ークステーション内のスロットに直接挿入できる。この
構成では、アレイをロード／アンロードするのと同一の
バス上に入出力装置（ＤＡＳＤ、ＳＣＳＩ、およびディ
スプレイ・インタフェース）を配置する。そのため、並
列アレイがリアルタイム・イメージ生成や処理など入出
力中心のタスクに使用できる。他のバス・システム（Ｖ
ＭＥバス、ヒューチャーバスなど）を使用するワークス
テーションでは、ゲートウェイ・インタフェースを使用
する。そのようなモジュールは、市場で容易に入手可能
である。これらの最小規模システムでは、特定の数のク
ラスタ間で単一のクラスタ制御装置を共用でき、クラス
タ・シンクロナイザもアプリケーション・プロセッサ・
インタフェースも必要でない。

【０２４０】ＭＩＬアビオニクス・アプリケーション
は、ワークステーションとサイズは同程度かもしれない
が、異なるインタフェースが必要である。通常の軍事状
況とはどのようなものか考えていただきたい。既存のプ
ラットフォームを追加の処理機能で拡張しなければなら
ないが、資金の都合で処理システムを完全に再設計する
ことはできない。このため、本発明ではＡＰＡＰアレイ
にスマート・メモリ補助プロセッサを接続する。この場
合、ホストにはメモリに見える特殊アプリケーション・
プログラム・インタフェース（ＡＰＩ）が提供される。
そうすると、ホスト・メモリにアドレスされるデータ
は、クラスタ制御装置を介してアレイまで移動される。
その後メモリに書込みを行うと、アプリケーション・プ
ログラム・インタフェースによってそれが検出され、コ
マンドと解釈され、その結果、アクセレレータはメモリ
・マップされた補助プロセッサに見えるようになる。

【０２４１】大規模システムは、ホスト接続構成として
もスタンドアロン構成としても開発できる。ホスト接続
システムでは、図２０に示す構成が有用である。ホスト
は入出力を実行し、アプリケーション・プログラム・イ
ンタフェースはディスパッチされたタスク・マネージャ
として作用する。しかし、特別の状況でも大規模スタン
ドアロン・システムが可能である。たとえば、データベ
ース探索システムは、ホストを不要にし、あらゆるクラ
スタのマイクロチャネルにＤＡＳＤを接続するととも
に、複数のアプリケーション・プログラム・インタフェ
ースを、ＰＭＥにスレーブ接続されたバス・マスタとし
て使用する。

【０２４２】外部入出力を備えたジッパ・アレイ・イン
タフェース：本発明のジッパは、高速入出力接続方式を
提供するものであり、２つのアレイ・ノード間にスイッ
チを配置することによって実現される。このスイッチに
より、アレイとの並列通信が可能になる。高速入出力
は、アレイ・リングの１つのエッジに沿って実施され、
Ｘリング、Ｙリング、Ｗリング、Ｚリングへの大規模な
ジッパとして機能する。この高速入出力に「ジッパ接
続」という名前が付けられている。ネットワークとの間
でデータを転送できるようにしながら、スイッチ遅延を
追加するだけでプロセッサ間のデータ転送を行う方法
は、他に例のないロード技術である。この切替え方式は
Ｘバス、Ｙバス、Ｗバス、Ｚバスによって作成されたリ
ング・トポロジーに影響を及ぼすことはなく、特殊サポ
ート・ハードウェアにより、処理要素がデータを処理ま
たは経路指定している間にジッパ動作が実行できるよう
になる。

【０２４３】大規模並列システムとの間でデータを高速
にやり取りできれば、システム全体の性能は大幅に改善
される。プロセッサの数やアレイ・ネットワークの次元
を減らさずに高速入出力を実施する本発明の方法は、大
規模並列環境の分野では例がないと本発明者等は考えて
いる。

【０２４４】修正ハイパーキューブ配列を拡張すると、
リング内にリングを備えたトポロジーが可能になる。外
部入出力へのインタフェースをサポートするときは、リ
ングのいずれかまたはすべてを論理的に破壊することが
できる。次いで、破壊されたリングの２つの端部を、外
部入出力バスに接続することができる。リングを破壊す
るのは論理的な動作なので、一定の時間間隔で規則的な
ＰＭＥ間通信が可能であり、同時に他の時間間隔で入出
力が可能になる。修正ハイパーキューブ内のあるレベル
のリングを破壊するこのプロセスにより、リングは入出
力の目的で効果的に「ジップ解除」される。高速入出力
「ジッパ」は、アレイへの別のインタフェースを提供す
る。このジッパは、修正ハイパーキューブの１〜ｎ個の
エッジ上に存在でき、アレイの複数の次元への並列入
力、またはアレイの複数の次元への同報通信のいずれか
をサポートできる。アレイとの間でのその後のデータ転
送は、ジッパに直接接続された２つのノード間で交互に
行うことができる。この入出力手法は他に例がなく、こ
の方法により、特定のアプリケーション要件を満たす様
々なジッパ・サイズが開発できる。たとえば、大規模密
プロセッサ３６０と称する、図７に示す特定の構成で
は、ＺバスおよびＷバスのジッパがＭＣＡバスに接続さ
れる。この手法では、行列転置時間が最適化され、プロ
セッサの特定のアプリケーション要件が満たされる。
「ジッパ」構造についての詳細は、同時出願された"APA
P I/O Zipper Connection"と題する米国特許を参照され
たい。ジッパを図１６に示す。

【０２４５】構成と、プログラムが個々の処理要素との
間でデータおよびプログラムをやり取りする必要とに応
じて、ジッパのサイズを変えることができる。入出力ジ
ッパの実速度は、接続されたリングの数と、ＰＭＥバス
幅と、ＰＭＥクロック速度を掛けて２で割った値にほぼ
等しい（この除算により、受信ＰＭＥ時間にデータが転
送できる。入出力ジッパはｎ個の場所のどこにでもデー
タを送信できるので、入出力の争奪がアレイ全体で完全
に吸収される）。ＰＭＥ転送速度が５ＭＢ／秒で、ジッ
パ上に６４個のリングを備え、２つのノードのインタリ
ーブを使用する既存の技術では、３２０ＭＢ／秒のアレ
イ転送速度が可能である（図１６の典型的なジッパ構成
を参照）。図１６は、高速入出力、すなわち、アレイへ
の別のインタフェースとして存在するいわゆる「ジッパ
接続」７００、７１０を示している。このジッパは、ア
レイ７５１、７５２、７５３、７５４内の複数のノード
で複数の方向７７０、７８０、７９０、７５１、７５
５、７５７で同報通信バス７２０、７３０、７４０、７
５０上に接続することにより、ハイパーキューブ・ネッ
トワークの１つのエッジ７００または２つのエッジ７０
０、７１０上に存在できる。

【０２４６】今日のＭＣＡバスは、毎秒８０〜１６０Ｍ
Ｂの転送速度をサポートするので、単純モードまたは非
インタリーブ・モードの単一ジッパに非常に適してい
る。ただし、実際の転送速度にはチャネル・オーバヘッ
ドがあるので、効率はそれよりもいくらか下がる。これ
よりも入出力要件がはるかに厳しいシステムには、複数
のジッパおよびＭＣＡバスを使用することができる。デ
ータベース・マシンに特徴的な、ノードまたはクラスタ
と結合された大規模な外部記憶域をサポートするプロセ
ッサにとって、これらの技術は重要であると思われる。
このような入出力拡張能力は、まったくこのようなマシ
ン特有のものであり、従来、大規模並列プロセッサや従
来のシングル・プロセッサや粗並列マシンには組み込ま
れていなかった。

【０２４７】アレイ・ディレクタ・アーキテクチャ：本
発明の大規模並列システムは、多重プロセッサ・ノード
のノード構成要素、ノード・クラスタ、およびクラスタ
にすでにパッケージされたＰＭＥのアレイから構成され
ている。これらのパッケージ・システムを制御するた
め、本発明では、ハードウェア制御装置により大規模並
列処理環境でプロセッサ・メモリ要素（ＰＭＥ）アレイ
制御装置機能全体を実行する、システム・アレイ・ディ
レクタを提供する。アレイ・ディレクタは、アプリケー
ション・インタフェース、クラスタ・シンクロナイザ、
および通常はクラスタ制御装置という３つの機能領域か
ら構成されている。アレイ・ディレクタは、同報通信バ
スおよび本発明のジッパ接続を使ってデータおよびコマ
ンドをすべてのＰＭＥに送信して、ＰＭＥアレイを総合
的に制御する。アレイ・ディレクタは、ハードウェアと
の相互作用によりオペレーティング・システムのシェル
としての役割を果す、ソフトウェア・システムとして機
能する。アレイ・ディレクタは、この役割を果す際に、
アプリケーション・インタフェースからコマンドを受信
し、適切なアレイ命令およびハードウェア・シーケンス
を発行して、指定のタスクを実行する。アレイ・ディレ
クタの主な機能は、ＰＭＥに命令を連続的に送り、最適
のシーケンスでデータを経路指定することにより、通信
量を最大に、衝突を最小に保つことである。

【０２４８】図７に示したＡＰＡＰコンピュータ・シス
テムを、図１３により詳細に示してある。図１３は、図
１４および図１５ならびに図１９および図２０に示すよ
うに、制御装置またはアレイ制御装置として機能できる
アレイ・ディレクタを示している。図１３に示すこのア
レイ・ディレクタ６１０は、ｎ個の同一のアレイ・クラ
スタ６６５、６７０、６８０、６９０と、５１２個のＰ
ＭＥのクラスタ用のアレイ・ディレクタ６１０と、アプ
リケーション・プロセッサ６００用のアプリケーション
・プロセッサ・インタフェース６３０とから成る典型的
な構成のＡＰＡＰの好ましい実施例として示してある。
クラスタ・シンクロナイザ６５０は、クラスタ制御装置
６４０に必要なシーケンスを提供し、クラスタ・シンク
ロナイザ６５０とクラスタ制御装置６４０とで「アレイ
・ディレクタ」６１０を構成している。アプリケーショ
ン・プロセッサ・インタフェース６３０は、ホスト・プ
ロセッサ６００およびテスト／デバッグ・ワークステー
ションをサポートする。１つまたは複数のホストに接続
されたＡＰＡＰ装置では、アレイ・ディレクタ６１０
は、ユーザとＰＭＥのアレイの間のインタフェースとし
て働く。スタンドアロン並列処理マシンとして機能する
ＡＰＡＰでは、アレイ・ディレクタ６１０は、ホスト装
置となり、したがって装置入出力活動に関与するように
なる。

【０２４９】アレイ・ディレクタ６１０は、次の４つの
機能領域から構成されている（図１３の機能ブロック図
参照）。１．アプリケーション・プロセッサ・インタフェース
（ＡＰＩ）６００２．クラスタ・シンクロナイザ（ＣＳ）６５０（クラス
タの８×８アレイ）３．クラスタ制御装置（ＣＣ）６４０（ノードの８×１
アレイ）４．高速入出力（ジッパ接続）６２０

【０２５０】アプリケーション・プロセッサ・インタフ
ェース（ＡＰＩ）６３０：接続モードで動作するとき
は、各ホストごとにそれぞれ１つのアプリケーション・
プロセッサ・インタフェース６００が使用される。アプ
リケーション・プロセッサ・インタフェース６００は、
着信データ・ストリームを監視して、アレイ・クラスタ
６６５、６７０、６８０、６９０への命令はどれか、お
よび高速入出力（ジッパ）６２０用のデータはどれかを
決定する。スタンドアロン・モードでは、アプリケーシ
ョン・プロセッサ・インタフェース６３０は、一次ユー
ザ・プログラム・ホストとして働く。

【０２５１】これらの各種要件をサポートするために、
アプリケーション・プロセッサ・インタフェース６３０
は、アレイ・ディレクタ６１０内の唯一のプロセッサ
と、ＡＰＩプログラムおよびコマンドの専用記憶域とを
備えている。ホストから受信される命令は、ＡＰＩサブ
ルーチンの実行、追加機能のＡＰＩメモリへのロード、
または新規ソフトウェアのＣＣメモリおよびＰＭＥメモ
リへのロードを要求できる。ソフトウェアの概要の節で
述べたように、アプリケーション・プロセッサ・インタ
フェース６３０にロードされる初期プログラムを介し
て、これらの各種の要求を一部のユーザだけに制限する
ことができる。すなわち、ロードされるオペレーティン
グ・プログラムによって、提供されるサポートの種類が
決まる。このサポートは、アプリケーション・プロセッ
サ・インタフェース６３０の性能機能に適合するように
調節可能である。したがって、管理され十分テストされ
たサービスを必要とする複数のユーザ、または特定のア
プリケーションに対してピーク性能を実現したい個々の
ユーザのニーズに合わせてＡＰＡＰをさらに調節するこ
とができる。

【０２５２】アプリケーション・プロセッサ・インタフ
ェース６３０はまた、入出力ジッパとの間の経路の管理
を行う。接続モードのホスト・システムまたはスタンド
アロン・モードのデバイスから受け取ったデータは、ア
レイに転送される。この種の動作が開始される前に、入
出力を管理するアレイ内のＰＭＥが開始される。ＭＩＭ
Ｄモードで動作するＰＭＥは、高速割込み機能と、標準
ソフトウェアまたはこの転送用の特殊機能を使用でき、
ＳＩＭＤモードで動作するＰＭＥには、詳細な制御命令
を提供する必要がある。入出力ジッパから送られたデー
タには、これとほぼ逆の調節が必要である。ＭＩＭＤモ
ードで動作するＰＭＥは、高速直列・インタフェースを
介してアプリケーション・プロセッサ・インタフェース
６３０に信号を送り、アプリケーション・プロセッサ・
インタフェース６３０からの応答を待つ必要があり、一
方ＳＩＭＤモードのＰＭＥはすべてアプリケーション・
プロセッサ・インタフェース６３０と既に同期している
ため、データをただちに出力することができる。システ
ムでモードの切替えが可能なので、プログラムをアプリ
ケーションに合わせて調節できる他に例を見ない能力が
提供される。

【０２５３】クラスタ・シンクロナイザ（ＣＳ）６５
０：クラスタ・シンクロナイザ６５０は、アプリケーシ
ョン・プロセッサ・インタフェース６３０とクラスタ制
御装置６４０の間のブリッジを提供する。クラスタ・シ
ンクロナイザ６５０は、アプリケーション・プロセッサ
・インタフェース６３の出力をＦＩＦＯスタックに格納
し、クラスタ制御装置６４０から返される状況（並列入
力肯定応答と高速シリアル・バス・データの両方）を監
視して、開始する必要がある所望のルーチンまたは動作
をクラスタ制御装置６４０に適時に提供する。クラスタ
・シンクロナイザ６５０は、クラスタ内で様々なクラス
タ制御装置６４０および様々なＰＭＥをサポートする機
能を提供し、アレイをサブセットに分割できるようにす
る。これを実行するときは、アレイを区分した後、所望
の動作を選択的に転送するように関連クラスタ制御装置
６４０に指令する。クラスタ・シンクロナイザ６５０の
主な機能は、オーバヘッド時間が最小限になるか、また
はＰＭＥ実行時間の中に埋まってしまうように、すべて
のクラスタを動作させ、かつ編成することである。以
上、Ａ−ＳＩＭＤ構成でクラスタ・シンクロナイザ６５
０を使用することが特に好ましい理由について説明し
た。

【０２５４】クラスタ制御装置（ＣＣ）６４０：クラス
タ制御装置６４０は、アレイ・クラスタ６６５中の１組
のノード用のＢＣＩ６０５と相互接続する（１リング当
たり８個のノードを備えた４次元修正ハイパーキューブ
の場合、これは、クラスタ制御装置６４０が８×８ノー
ド・アレイの６４個のＢＣＩ６０５に接続され、５１２
個のＰＭＥを制御していることを示す。やはり８×８ア
レイのそのようなクラスタが６４個あると、３２７６８
個のＰＭＥを備えた完全なシステムとなる）。クラスタ
制御装置６４０は、ＭＩＭＤモードで動作する際、クラ
スタ・シンクロナイザ６５０から供給されたコマンドお
よびデータをＢＣＩ並列ポートに送信し、クラスタ・シ
ンクロナイザ６５０に肯定応答データを返す。ＳＩＭＤ
モードでは、インタフェースは同期的に動作し、ステッ
プごとの肯定応答は必要でない。クラスタ制御装置６４
０はまた、高速直列ポートを管理および監視して、ノー
ド内のＰＭＥがサービスをいつ要求するかを決定する。
そのような要求は、高速シリアル・インタフェースから
の生データが状況ディスプレイ・インタフェースに使用
可能な間に、クラスタ・シンクロナイザ６５０に渡され
る。クラスタ制御装置６４０は、標準速度のシリアル・
インタフェースを介して、クラスタ内の特定のノードへ
のインタフェースをクラスタ・シンクロナイザ６５０に
提供する。

【０２５５】ＳＩＭＤモードでは、クラスタ制御装置６
４０は、同報通信バス上のすべてのＰＭＥに命令または
アドレスを送るよう指令される。ＳＩＭＤモードのと
き、クラスタ制御装置６４０は、４０ナノ秒ごとにすべ
てのＰＭＥ１６ビット命令をディスパッチできる。ＰＭ
Ｅに固有命令のグループを同報通信することにより、エ
ミュレートされた命令セットが形成される。

【０２５６】ＭＩＭＤモードのとき、クラスタ制御装置
６４０は、ｅｎｄｏｐ信号を待ち、該信号を受信後、Ｐ
ＭＥに新規命令を発行する。ＭＩＭＤモードの概念は、
ＰＭＥに常駐する固有命令でマイクロルーチンの文字列
を構築することである。これらの文字列をまとめて、エ
ミュレートされた命令を形成することができ、かつこれ
らのエミュレートされた命令を組み合わせて、サービス
／キャンド・ルーチンまたはライブラリ関数を作成する
ことができる。

【０２５７】ＳＩＭＤ／ＭＩＭＤ（ＳＩＭＩＭＤ）モー
ドでは、クラスタ制御装置６４０が、ＳＩＭＤモードの
場合と同様に命令を発行し、一定のＰＭＥからのｅｎｄ
ｏｐ信号があるかどうかを検査する。ＭＩＭＤモードの
ＰＭＥは、同報通信命令に応答せず、これらの指定され
た動作を継続する。独特の状況標識が、クラスタ制御装
置６４０がこの動作を管理し、その後の命令をいつどこ
に提供するかを決定するのを助ける。

【０２５８】オペレーショナル・ソフトウェア・レベ
ル：本明細書では、各種ハードウェア構成要素によって
実行されるサービスについての詳細な説明を行うため
に、オペレーショナル・ソフトウェア・レベルの概要を
示す。

【０２５９】一般的に使用されるコンピュータ・システ
ムはオペレーティング・システムを有する。大部分の大
規模ＭＩＭＤマシンでは比較的完全なオペレーティング
・システム・カーネルを備えねばならない。このような
マシンでは、ワークステーション・クラスのＣＰＵチッ
プがＭａｃｈなどのカーネルを実行する。オペレーティ
ング・システム・カーネルは、メッセージ引渡しまたは
メモリ・コヒーレンシをサポートする。ＳＩＭＤモデル
に基づく他の大規模並列システムはアレイ中に知能をほ
とんどもたない。アレイ中に「プログラム・カウンタ」
がないので、ローカル側で実行されるプログラムはな
い。すべての命令は同報通信される。

【０２６０】クラスタ・アレイの基礎として本発明のＰ
ＭＥを使用したシステムでは、各チップ、すなわちノー
ドにオペレーティング・システムは必要でない。本発明
では、各処理要素（ＰＭＥ）内に、上位レベルで呼び出
すことができる演算または通信あるいはまたはその両方
用の重要関数のライブラリを提供する。特定の１組のＰ
ＭＥをそれぞれ設定するため、ＳＩＭＤ型の命令がアレ
イに同報通信される。そうすると、これらのＰＭＥは、
完全ＭＩＭＤモードでこれらのライブラリ関数の１つま
たは複数を実行することができる。さらに、各ＰＭＥに
は、ＰＭＥが通信を動的に処理できるようにする、基本
割込みハンドラおよび通信ルーチンが常駐している。既
存のＭＩＭＤマシンと異なり、ＡＰＡＰ構造ではＰＭＥ
メモリにプログラム全体を含める必要はない。本質的に
シリアルであるそのようなコードすべての代わりに、ク
ラスタ制御装置６４０がある。したがって、（通常は）
９０％が空間に関係し１０％が時間に関係するそのよう
なコードを、ＳＩＭＤモードでＰＭＥのアレイに同報通
信することができる。真に並列な内部ループだけがＰＭ
Ｅに動的に分配される。これらのループは、他の「ライ
ブラリ」ルーチンの場合と同様、開始時にＭＩＭＤモー
ドとなる。このため、単一プログラム複数データ型のプ
ログラム・モデルが使用できるようになる。これは、同
一のプログラムが、組込み同期化コードとともに各ＰＭ
Ｅノードにロードされ、ローカルＰＭＥで実行される場
合に使用される。設計パラメータが各種リンク上で使用
可能な帯域幅に影響を及ぼし、システム経路がプログラ
ムによって構成可能なので、ターゲット・ネットワーク
上で高帯域幅リンクが使用でき、しかもオフチップ型の
ＰＭＥ間リンクの動的区画が特定の経路上に提供できる
帯域幅を、特定のアプリケーションのニーズを満たすよ
うに広げることができる。チップから出るリンクは直接
相互に連係され、外部論理は必要でない。リンクが十分
あり、それらを他のどのリンクに接続できるかについて
既定の制約がないので、システムは様々な相互接続トポ
ロジーを持つことができ、経路指定をプログラムによっ
て動的に行うことができる。

【０２６１】本システムによれば、既存のコンパイラお
よびコマンド解析機能を使用して、構成に基づいてホス
トまたはワークステーション上で実行可能な並列プログ
ラムを作成することができる。単一プログラム複数デー
タ・システム用の順次ソース・コードをプログラム解析
にかけて、依存性、データ、および制御を調べることに
より、プログラム・ソースを拡張して、呼出しグラフ、
依存性表、別名、用途表などを含めることができる。そ
の後、プログラム変換を行って、シーケンスの組合せま
たはパターン認識により明示的なコンパイラ指示を作成
して、並列性の度合いを拡大する、修正バージョンのプ
ログラムを作成する。次のステップは、メッセージ生成
を含む、データ割振りおよび区分ステップである。ここ
では、データ用途パターンが解析され、組み合わされる
要素が共通の索引付け、アドレス指定パターンを共用す
るように割振りが行われる。これらの動作によって、通
信サービスへの組込みプログラム・コンパイラ指示およ
び呼出しが提供される。この時点で、プログラムはレベ
ル区分ステップに移る。レベル区分ステップでは、プロ
グラムがアレイ、アレイ制御装置（アレイ・ディレクタ
６１０またはクラスタ制御装置６４０）、およびホスト
で実行される各部分に分離される。各アレイ部分は、セ
クション中で必要なメッセージ引渡し同期化機能とイン
タリーブされる。この時点で、レベル処理を進めること
ができる。ホスト・ソースが、アセンブリ・コンパイル
のためレベル・コンパイラ（ＦＯＲＴＲＡＮ）に渡され
る。制御装置ソースは、マイクロプロセッサ制御装置コ
ンパイラに渡され、単一のＰＭＥで必要であるが、ライ
ブラリ呼出し中で使用可能でない項目が、コマンド解析
機能（ＦＯＲＴＲＡＮまたはＣ言語）に渡され、最適Ｐ
ＭＥコードおよびアレイ制御装置コードを生成する中間
レベル言語表現にされる。ＰＭＥコードは、ＰＭＥマシ
ン・レベルで作成され、負荷をＰＭＥメモリに渡すライ
ブラリ拡張部分を備える。実行中、ＰＭＥ並列プログラ
ムは、ＳＰＭＤ実行プロセスで、実行時ライブラリ・カ
ーネルから、すでにコード化されたアセンブリ・サービ
ス機能を呼び出すことができる。ＡＰＡＰは、ホストと
密または疎に結合された接続装置としてもスタンドアロ
ン・プロセッサとしても機能できるので、上位レベル・
ソフトウェア・モデルではいくつかの変形がある。ただ
し、それらの変形は、各種のアプリケーションを統合し
て、ただ１組の下位機能で３つのアプリケーションをす
べて満足できるようにする働きをする。まず接続バージ
ョンのソフトウェアについて述べ、次にスタンドアロン
・モードに必要な修正について説明する。

【０２６２】図２０に示すように、ＡＰＡＰをホスト・
プロセッサに接続するシステムでは、ユーザの主プログ
ラムがホスト内に存在し、所望の負荷平衡を行うのに必
要なＡＰＡＰ装置タスクおよび関連データを実行する。
ディスパッチされたタスクのプログラムをホスト内で解
釈するかアレイ・ディレクタ６１０内で解釈するかの選
択は、ユーザが行う。ホスト・レベルの解釈では、アレ
イ・ディレクタ６１０がアレイの密な制御を使用しない
インタリービング・ユーザの所で稼働できるようになる
が、ＡＰＡＰ解釈では、制御分岐における待ち時間は最
短になるが、複数ユーザ管理タスクを実行するためのＡ
ＰＡＰ時間を制限する傾向がある。これにより、ＡＰＡ
Ｐおよびホストを密または疎に結合できるという概念が
成立する。

【０２６３】極端な例を２つ挙げる。

【０２６４】１．浮動小数点ベクトル機構を備えた３０
９０クラスのマシンにＡＰＡＰを接続すると、ＡＰＡＰ
内に圧縮形式のユーザ・データが格納できる。異なる疎
度特性を持つ２つのベクトルに対するベクトル演算を呼
び出したホスト・プログラムは、データを位置合せし直
して要素ごとに一致した対にし、結果をベクトル機構に
出力し、ベクトル機構からの回答を読み取り、最後にデ
ータを再構成して最終的疎データ形式にするようＡＰＡ
Ｐに命令を送る。ＡＰＡＰの各セグメントは、疎行列ビ
ット・マップを解釈および構築し、他のセクションは、
ＰＭＥ間でデータをどのように移動すればジッパに対し
て適切に位置合わせできるかを算出する。

【０２６５】２．ＡＰＡＰは、小規模空軍用コンピュー
タに接続すると、センサ・フュージョン処理と関連する
全作業負荷を実行することができる。この場合、ホスト
は、プロセスを開始し、受け取ったセンサ・データをＡ
ＰＡＰに送った後、結果を待つ。次に、アレイ・ディレ
クタは、プロセスの実行に必要なおそらく数十の処理ス
テップを通じて、ＰＭＥアレイをスケジューリングし順
序付ける必要がある。

【０２６６】ＡＰＡＰは、次の３つのレベルのユーザ制
御をサポートする。

【０２６７】１．カジュアル・ユーザ。このユーザは、
供給されたルーチンおよびライブラリ関数を使って作業
する。これらのルーチンは、ホスト・レベルまたはＡＰ
Ｉレベルで維持され、ユーザが自分のプログラム内のサ
ブルーチン呼出しを使って呼び出すことができる。

【０２６８】２．カスタマイザ・ユーザ。このユーザ
は、アプリケーション・プロセッサ・インタフェース６
３０内で動作し、アプリケーション・プロセッサ・イン
タフェースによって供給されるルーチン、またはクラス
タ制御装置もしくはＰＭＥによって供給されるサービス
を直接呼び出す、特殊機能を書くことができる。

【０２６９】３．開発ユーザ。このユーザは、プログラ
ム・ロードおよび状況フィードバック用のＡＰＩサービ
スに応じて、クラスタ制御装置またはＰＭＥで実行され
るプログラムを作成する。

【０２７０】密または疎に結合されたシステムでこれら
３つのレベルのユーザを満足させるには、ハードウェア
／ソフトウェア制御タスクを区分する必要がある。

【０２７１】ＡＰＩソフトウェア・タスク：アプリケー
ション・プロセッサ・インタフェース６３０は、受け取
ったデータの先頭のワードをテストして、そのデータ
を、アプリケーション・プロセッサ・インタフェースで
解釈すべきか、アレイ・ディレクタまたはＰＭＥ内の記
憶域にロードすべきか、それとも入出力ジッパに引き渡
すべきかを決定することのできる、ソフトウェア・サー
ビスを備えている。

【０２７２】データを解釈すべき場合、アプリケーショ
ン・プロセッサ・インタフェース６３０は必要な動作を
決定し、機能を呼び出す。もっとも一般的な種類の動作
は、クラスタ制御装置６４０への（かつ、間接的にはク
ラスタ制御装置６４０への）ＡＰＩ書込みの結果として
実行される機能の実行をアレイに要求することである。
クラスタ・シンクロナイザ６５０／クラスタ制御装置６
４０に書き込まれる実際のデータは、一般に、ホストか
らアプリケーション・プロセッサ・インタフェース６３
０に渡されるパラメータに基づいて、ＡＰＩオペレーシ
ョナル・ルーチンによって構築される。クラスタ・シン
クロナイザ６５０／クラスタ制御装置６４０に送らたデ
ータは、ノードＢＣＩを介してＰＭＥに転送される。

【０２７３】データは、ＡＰＩ記憶域、ＣＣ記憶域、Ｐ
ＭＥメモリのいずれかにロードできる。さらに、ＰＭＥ
メモリにロードされるデータは、入出力ジッパまたはノ
ードＢＳＩを介してロードすることができる。データを
ＡＰＩメモリに格納すべき場合、着信バスが、読み取ら
れた後、記憶域に書き込まれる。クラスタ制御装置６４
０を宛先とするデータも同様に、読み取られた後、ＣＣ
メモリに書き込まれる。最後に、ＰＭＥメモリ用のデー
タは（この場合、通常は新規または追加のＭＩＭＤプロ
グラム）、クラスタ・シンクロナイザ６５０／クラスタ
制御装置６４０／ノードＢＳＩを介してすべてのＰＭＥ
または特定のＰＭＥに送り、あるいは選択的再分配のた
めに入出力ジッパを介してＰＭＥのサブセットに送るこ
とができる。

【０２７４】入出力ジッパにデータを送るとき、ＰＭＥ
ＭＩＭＤプログラムが最終宛先を決定できるようにす
るインライン・コマンドを、データの前に置くことがで
きる。ＡＰＩサービス機能の呼出しをデータの前に置い
て、ＭＩＭＤ開始またはＳＩＭＤ伝送を実行することも
できる。

【０２７５】ＡＰＩプログラムは、ホスト・インタフェ
ースを介して受け取ったサービス要求に応答するだけで
なく、ＰＭＥからの要求にも応答する。そのような要求
は、高速直列ポート上で生成され、クラスタ制御装置６
４０／クラスタ・シンクロナイザ６５０の組合せを介し
て送られる。この種の要求によって、ＡＰＩプログラム
は、ＰＭＥの要求を直接実行するか、あるいは標準速度
直列ポートを介してＰＭＥにアクセスし、サービス要求
に関してデータをさらに修飾するかどうかを決定するこ
とができる。

【０２７６】ＰＭＥソフトウェア：ソフトウェア・プラ
ンには、以下のものが含まれる。・複雑な動作および入出力管理用のＰＭＥ常駐サービス
・ルーチン（すなわち、「拡張ＩＳＡ」）の生成。・制御データおよびパラメータ・データを作成し、ＢＣ
Ｉバスを介してＰＭＥに渡す、制御装置が実行するサブ
ルーチンの定義および開発。これらのサブルーチンは以
下のことを行う。１．１組のＰＭＥに、分配されたオブジェクトに対する
演算を実行させる。２．ＰＭＥアレイとシステム・バスの相互作用のための
入出力データ管理および同期化サービスを提供する。３．プロセッサ・メモリの初期プログラム・ロード、プ
ログラム・オーバレイ、およびプログラム・タスク管理
を提供する。・ホスト・レベル・プログラム用のデータ割振りサポー
ト・サービスの開発。・アセンブラ、シミュレータ、ならびにハードウェア・
モニタおよびデバッグ・ワークステーションを含むプロ
グラミング・サポート・システムの開発。

【０２７７】本発明者等は、軍用センサ・フュージョ
ン、最適化、イメージ変換、米国郵便光学式文字認識、
およびＦＢＩ指紋突合せアプリケーションの調査に基づ
き、ベクトル・コマンドおよびアレイ・コマンド（たと
えば、ＢＬＡＳ呼出し）を使ってプログラミングされた
並列プロセッサが有効であるとの結論を得た。基礎プロ
グラミング・モデルは、今日の技術で実現可能なＰＭＥ
アレイの特性に合致しなければならない。具体的には、
以下のとおりである。・ＰＭＥは、独立のプログラム記憶式プロセッサとする
ことができる。・アレイは数千のＰＭＥを含むことができ、密並列性に
適している。・ＰＭＥ間ネットワークは、総合帯域幅が非常に大き
く、「論理直径」が小さい。・しかし、ネットワーク接続式マイクロプロセッサＭＩ
ＭＤ標準により、各ＰＭＥはメモリ制限を受ける。

【０２７８】ＭＩＭＤ並列プロセッサに対する従来のプ
ログラミングでは、タスク・ディスパッチ手法が使用さ
れている。このような手法では、各ＰＭＥが大規模なプ
ログラムの一部にアクセスする必要がある。この特性
と、ハードウェアの非共用メモリ特性のために、重要な
問題に関してはＰＭＥメモリが大量に使用される。した
がって、本発明では、「非同期ＳＩＭＤ」（Ａ−ＳＩＭ
Ｄ）型処理と称する新規のプログラミング・モデルを目
標とする。この点に関しては、１９９１年１１月２７日
出願の米国特許出願第７９８７８８号を参照されたい。
この出願を、本明細書に組み込む。

【０２７９】本発明のＡＰＡＰ設計のＡ−ＳＩＤプログ
ラミングとは、ＰＭＥのグループが、ＳＩＭＤモデルの
場合と同様に、それに同報通信されたコマンドによって
指示を受けることを意味する。同報通信コマンドは、各
ＰＭＥ内でＭＩＭＤ機能の実行を開始する。この実行に
は、ＰＭＥ内でのデータ従属分岐およびアドレス指定、
ならびに他のＰＭＥまたはＢＣＩとの入出力にもとづく
同期化が必要となることがある。通常、ＰＭＥは、ＢＣ
Ｉからの次のコマンドを読み取ることにより、処理を完
了し同期化する。

【０２８０】Ａ−ＳＩＭＤ手法には、ＭＩＭＤ動作モー
ドとＳＩＭＤ動作モードの両方が含まれる。この手法で
はコマンド実行時間に対する実際の時間制限がないの
で、データ転送時に同期化され無限に実行されるＰＭＥ
動作が開始できる。そのような機能は、データ・フィル
タリング、ＤＳＰ、およびシストリック動作においてき
わめて有効である（これらは、ＢＣＩ割込みまたはシリ
アル制御バス上のコマンドによって終了できる）。ＳＩ
ＭＤ動作は、ＭＩＭＤモード・コマンドを含まないＡ−
ＳＩＭＤ制御ストリームから生じる。そのような制御ス
トリームは、任意のＰＭＥ固有命令を含むことができ
る。これらの命令は、ＰＭＥの命令解読論理回路に直接
送られる。ＰＭＥ命令取出しをなくすと、データ依存分
岐を伴わないタスクの性能モードが高まる。

【０２８１】（ハードウェア機能によってサポートされ
る）このプログラミング・モデルを拡張して、ＰＭＥの
アレイを独立したセクションに分割できるようになる。
別々のＡ−ＳＩＭＤコマンド・ストリームが各セクショ
ンを制御する。本発明者等の調査によれば、当該プログ
ラムが、パイプライン・データ処理に適した別々のフェ
ーズ（すなわち、入力、入力バッファリング、複数の処
理ステップ、および出力フォーマット化）に分割される
ことが分かっている。密並列性は、セクション内のｎ個
のプロセッサ・メモリをプログラム・フェーズに適用す
ることによって生成される。アプリケーションに疎区分
を適用すると、ＭＩＭＤに適した小規模な反復タスク、
またはＳＩＭＤ処理に適したメモリ帯域幅制限タスクが
見つかることが多い。本発明では、従来の技術を使用し
てＭＩＭＤ部分をプログラミングし、残りのフェーズ
を、ベクトル化コマンドでコード化され、アレイ制御装
置によって順序付けされたＡ−ＳＩＭＤセクションとし
てプログラミングする。これにより、大規模な制御装置
メモリがプログラム記憶域となる。セクション当たりの
ＰＭＥの数を変えて、作業負荷のバランスを取ることが
できる。ディスパッチされるタスク・サイズを変える
と、ＢＣＩバス帯域幅を制御要件に合わせて調整でき
る。

【０２８２】このプログラミング・モデルではまた、デ
ータ要素をＰＭＥに割り振ることも考慮している。この
手法では、ＰＭＥ間でデータ要素が均等に分配される。
ソフトウェアの初期バージョンでは、これはプログラマ
またはソフトウェアによって実行されることになる。本
発明者等は、この問題にＩＢＭ並列化コンパイラ技術が
適用できると考えており、該技術の使用法を調査する予
定である。しかし、提供されるＰＭＥ間帯域幅により、
この手法の重要性が低下する傾向がある。これによっ
て、データ割振りと入出力機構性能が連係される。

【０２８３】ハードウェアは、ＰＭＥがそのメモリから
のデータ転送を開始することを要求し、ＰＭＥプログラ
ムの関与しない、ＰＭＥメモリへの制御付き書込みをサ
ポートする。入力バッファ・アドレスおよび最大長を提
供することにより、受信側ＰＭＥで入力制御が行われ
る。ＰＭＥに対する入出力の結果バッファのオーバフロ
ーが発生すると、ハードウェアは受信側ＰＭＥに割り込
む。ＰＭＥ用に開発される下位入出力機能は、このサー
ビスに基づく。本発明では、隣接ＰＭＥ間での生データ
の移動と、ＰＭＥ間でのアドレスされたデータの移動が
いずれもサポートされる。後者の機能は、回線交換およ
び蓄積交換機構に依存する。割込みアドレスおよび転送
動作は、性能にとって重要である。本発明では、この動
作をサポートするようにハードウェアおよびソフトウェ
アを最適化している。１ワード・バッファを使うと、ア
ドレス・ヘッダの受信時に割込みが発生する。ターゲッ
トＩＤとローカルＩＤの比較により、出力経路の選択が
可能になる。その後のデータ・ワードの転送は、回線交
換モードで行われる。より大規模なバッファを使ってこ
のプロセスをわずかに変更すると、蓄積交換機構が生成
される。

【０２８４】高性能ＰＭＥ間帯域幅のため、ＰＭＥアレ
イにデータ要素を慎重に格納することはかならずしも必
要でなく、またそうすることがかならずしも望ましいわ
けではない。ＰＭＥ間に分散されたベクトル・データ要
素を移動する場合について考えてみたい。本発明のアー
キテクチャでは、アドレス・ヘッダなしでデータを送信
できるので、非常に高速の入出力が可能となる。しか
し、多くのアプリケーションでは、１方向の移動に適す
るようにデータ構造を最適化すると、直交方向でのデー
タの移動が遅くなることが分かった。そのような場合の
時間損失は通常、ネットワーク内でデータをランダムに
経路指定する平均時間に近くなる。したがって、（デー
タを整列するのではなく）データを逐次的またはランダ
ムに格納した方が、平均処理時間が短いアプリケーショ
ンができる。

【０２８５】同期化により平均アクセス時間を利用でき
るアプリケーションが多い（たとえば、ＰＤＥ緩和プロ
セスは、隣接プロセスからデータを獲得し、したがって
少なくとも４つの入出力動作に対するアクセスを平均化
できる）。散乱／集合や行／列演算などベクトル・プロ
セスおよびアレイ・プロセスに適用可能な因子を検討し
て、荒っぽい強制データ割振りがアプリケーションに適
していることに気付くユーザが多いと考えられる。しか
し、アプリケーション特性が特定のデータ割振りパター
ンを強制する傾向がある（シフト方向の必須同期化やバ
イアス利用など）ことを示す例もある。この特性につい
ては、開発されるツールおよび技術で、データ格納の手
動調整、あるいは単純な非最適データ割振りをサポート
する必要がある（本発明では、ベクトル化ホスト・プロ
グラムのほぼ透過性のポートをＭＰＰに提供するため
に、ホスト・レベル・マクロによる非最適データ割振り
をサポートする。ユーザは、ハードウェア・モニタ・ワ
ークステーションによって、得られる性能を調べること
ができる）。

【０２８６】なお、標準ピボット演算によるガウス消去
では、列ではなく行のシフトが必要である。列が高速シ
フト方向になるようにデータを配列することによって得
られる性能の差は２：１を超える。そうしたとしても、
バスと特定の関係になるように行を整列しても利益はな
い。

【０２８７】図２１は、一般的なソフトウェア開発およ
び使用環境を示している。プログラムの実行がホストと
モニタのどちらからでも制御できるので、ホスト・アプ
リケーション・プロセッサは省略可能である。さらに、
アレイ制御装置の代りにモニタを使用した方が効果のあ
る場合もある。この環境は、実ＭＰＰハードウェアまた
はシミュレートされたＭＰＰハードウェア上でのプログ
ラム実行をサポートする。モニタはシナリオ駆動式なの
で、テスト操作およびデバッグ操作を行う開発者は、任
意のレベルの抽象度で効果的な動作を可能にする手順を
作成することができる。図２２に、ＭＰＰ内でサポート
されるハードウェアのレベルと、これらのレベルに対す
るユーザ・インタフェースを示す。

【０２８８】ＭＰＰ用の可能なアプリケーション・プロ
グラミング技術が２つあると本発明者等は考えている。
もっともプログラマ集約的でない手法では、アプリケー
ションをベクトル化された高位言語で書く。この場合、
ユーザが、当該問題ではデータの格納が調整されないと
思う場合は、コンパイル時サービスを使って、ＰＭＥア
レイにデータを割り振る。アプリケーションは、ＰＭＥ
アレイ上で解釈および実行するために制御装置に渡され
る、ＢＬＡＳなどのベクトル呼出しを使用する。ホスト
とＰＭＥアレイの間でデータを移動するときは、独特な
呼出しが使用される。要するに、ユーザは、ＭＰＰがデ
ータをどのように編成または処理したかを認識する必要
がない。この種のアプリケーションのために次の２つの
最適化技術がサポートされる。

【０２８９】１．データ割振り表を作成することによっ
てデータ割振りを修正すると、プログラムはデータ格納
を強制できるようになる。

【０２９０】２．アレイ制御装置によって実行される付
加ベクトル・コマンドを生成すると、副次機能の調整
（すなわち、ガウス消去を単一の演算として呼び出すこ
と）が可能になる。

【０２９１】また、このプロセッサは本節の冒頭で参照
したような特殊アプリケーションに適用できると本発明
者等は考えている。その場合、アプリケーションに合わ
せて調整したコードを使用する。しかし、そのようなア
プリケーションでも、調整の度合いは、特定のタスクが
そのアプリケーションにとってどれほど重要かによって
決まる。この状況では、ＳＩＭＤモード、ＭＩＭＤモー
ド、またはＡ−ＳＩＭＤモードに個別に適合されたタス
クが必要になると思われる。これらのプログラムは、以
下の組合せを使用する。

【０２９２】１．アレイ制御装置内のエミュレータ機能
に渡されるＰＭＥ固有命令のシーケンス。エミュレータ
は、命令およびそのパラメータをその１組のＰＭＥに同
報通信する。このＳＩＭＤモードのＰＭＥは、命令を解
読機能に渡し、メモリ取出し動作をシミュレートする。

【０２９３】２．入出力と同期化できる密な内部ループ
は、ＰＭＥ固有のＩＳＡプログラムを使用する。それら
のループは、ＳＩＭＤモードの変更から開始した後、Ｍ
ＩＭＤモードで連続的に実行される（^ＲＥＴＵＲＮ^命
令を介してＳＩＭＤモードに戻るオプションが存在す
る）。

【０２９４】３．ベクトル化コマンド・セットで書かれ
たより複雑なプログラムは、ＰＭＥ固有機能を呼び出し
たアレイ制御装置中でサブルーチンを実行する。たとえ
ば、ＰＭＥ上に順次ロードされるベクトルに対してＢＬ
ＡＳ^ＳＡＸＰＹ^コマンドを実行する、単純なアレイ制
御装置プログラムは、ＰＭＥ内で、以下の動作を行うシ
ーケンスを開始する。ａ．プロセッサＩＤと同報通信^ｉｎｃｘ^値および^Ｘ
＿ａｄｄｒ^との比較により、必要なｘ要素を持つＰＭ
Ｅを使用可能にする。ｂ．連続ＰＭＥへの書込みにより、ｘ値を圧縮する。ｃ．同報通信データから、ｙ要素を持つＰＭＥのアドレ
スを算出する。ｄ．圧縮されたｘデータをｙＰＭＥに送る。ｅ．ｘ値を受け取ったＰＭＥ内で単精度浮動小数点演算
を実行し、演算を完了する。

【０２９５】最後に、ＳＡＸＰＹの例は、ベクトル化ア
プリケーション・プログラム実行の別の態様を示してい
る。主要なステップは、アプリケーション・プロセッサ
・インタフェース６３０で実行され、オプティマイザと
製品開発者のどちらがプログラミングを行ってもよい。
通常、ベクトル化アプリケーションでは、このレベルｏ
コードを組み込まずに呼び出して使用する。これらのス
テップは、Ｃ言語コードまたはＦＯＲＴＲＡＮコードと
して書かれ、メモリにマップされた読取りまたは書込み
を使用して、ＢＣＩバスを介してＰＭＥアレイを制御す
る。そのようなプログラムは、ＰＭＥアレイを、ＡＰＩ
プログラムへのリターンによって同期化される一連のＭ
ＩＭＤステップとして操作する。単精度浮動小数点ルー
チンなどの重要でないステップは、カスタマイザまたは
製品開発者が開発する。これらの動作は、固有ＰＭＥ
ＩＳＡを使ってコード化され、マシン特性に合わせて調
整される。一般に、これは製品開発者の領域である。な
ぜなら、このレベルでのコード化、テスト、および最適
化には、完全な製品開発ツール・セットを使用する必要
があるからである。

【０２９６】ＡＰＡＰは、アプリケーションを逐次ＦＯ
ＲＴＲＡＮで書くことができる。このための経路はまっ
たく別のものになる。図２３に、使用可能なＦＯＲＴＡ
ＲＮコンパイラの概要を示す。第１ステップで、ＦＯＲ
ＴＲＡＮコンパイラが、既存の並列化コンパイラの一部
を使って、プログラム依存性を開発する。ソースとこれ
らの表が、ＡＰＡＰＭＭＰおよびソースの特徴付けに
よって並列性を強化するプロセスへの入力となる。

【０２９７】このＭＭＰは、非共用メモリ・マシンなの
で、ローカル・メモリ用のＰＭＥと大域メモリ用のＰＭ
Ｅの間でデータを割り振る。超高速データ転送時間が非
常に速く、かつネットワーク帯域幅が広いために、デー
タ割振りの時間的影響が軽減されるが、それでもＭＭＰ
はアドレスされる。本発明の手法では、メモリの一部を
大域メモリとして扱い、ソフトウェア・サービス機能を
使用する。また、第２の方法で依存性情報を使って、デ
ータ割振りを実行することも可能である。ソースを複数
の逐次プログラムに変換する最終ステップは、レベル区
分ステップによって実施される。この区分ステップは、
米国防総省高等研究企画庁（ＤＡＰＲＡ）の資金供与で
行われているＦｏｒｔｒａｎ³作業に類似している。コ
ンパイルにおける最後のプロセスは、個々の機能レベル
すべてにおける実行可能コードの生成である。ＰＭＥの
場合、これは、既存のコンパイラ・システム上でのコー
ド生成プログラムのプログラミングによって行われる。
ホスト・コード・コンパイラおよびＡＰＩコード・コン
パイラは、該当するマシンを対象としたコードを生成す
る。

【０２９８】ＰＭＥは、それ自体のメモリからＭＩＭＤ
ソフトウェアを実行できる。一般に、複数のＰＭＥがそ
れぞれまったく異なるプログラムを実行することはな
く、同一の小規模のプログラムを非同期的に実行してい
る。次の３つの基本型ソフトウェアが考えられる。ただ
し、この設計手法では、ＡＰＡＰがそれらの手法だけに
限定されるものではない。

【０２９９】１．専用エミュレーション機能により、Ｐ
ＭＥアレイはＬＩＮＰＡＣＫやＶＰＳＳなど標準ユーザ
・ライブラリで提供される１組のサービスをエミュレー
トする。そのようなエミュレーション・パッケージで
は、ＰＭＥアレイがその複数組のデバイスを使って、通
常のベクトル呼出しで必要な動作を１つ実行できる。こ
の種のエミュレーション・パッケージは、ベクトル処理
装置に接続すると、ある動作用にベクトル装置を使用し
ながら、内部で他の動作を実行することができる。

【０３００】２．ＰＭＥアレイの並列性は、ＰＭＥにお
いて新規の１組の演算およびサービス機能を提供する１
組のソフトウェアを操作することによって利用できる。
この１組のプリミティブは、カスタマイズを行うユーザ
が自分のアプリケーションの作成に使用するコードであ
る。軍用プラットフォームに接続されたＡＰＡＰ上でセ
ンサ・フュージョンを実行する直前の例では、そのよう
な手法を使用している。カスタマイザは、供給された１
組の関数名を使って、Kalman Filter、Track Optimum A
ssignment、Threat Assessmentを実行するルーチンを書
く。このアプリケーションは、一連のＡＰＩ呼出しであ
り、呼出しを行うたびに、ＰＭＥセットが開始され、Ｐ
ＭＥアレイ内に格納されたデータに対して行列乗算など
の基本演算が実行される。

【０３０１】３．性能目標またはアプリケーション・ニ
ーズを考慮した効果的な方法が存在しない場合、ＰＭＥ
内でカスタム・ソフトウェアを開発し実行することがで
きる。この具体的な例として「ソート」がある。データ
を分類するための方法は多数存在するが、それらの目的
は常にプロセスおよびプログラムをマシン・アーキテク
チャに合うように調整することである。修正ハイパーキ
ューブは、バッチャ・ソートによく適している。しか
し、このソートでは、きわめて短い比較サイクルと比較
すべき特定の要素を決定するために、大規模な計算が必
要である。図１９のコンピュータ・プログラムは、１Ｐ
ＭＥ当たり１つの要素を備えた、バッチャ・ソート１０
００を実行するためのＰＭＥプログラムの簡単な例１１
００を示している。プログラム記述の各行が、３〜６個
のＰＭＥマシン・レベル命令に拡張され、すべてのＰＭ
ＥがＭＩＭＤモードでプログラムを実行することにな
る。プログラム同期化は入出力ステートメントによって
管理される。このプログラムは全く簡単な形で１ＰＭＥ
当たり複数のデータ要素に拡張され、非常に大規模な並
列ソートに拡張される。

【０３０２】ＣＣ記憶域の内容：ＣＣ記憶域のデータ
は、ＰＭＥアレイによって、２つの方法のうちのどちら
かで使用される。ＰＭＥがＳＩＭＤモードで動作してい
るとき、一連の命令をクラスタ制御装置６４０が取り出
し、ノードＢＣＩに渡し、それによってアプリケーショ
ン・プロセッサ・インタフェース６３０とクラスタ・シ
ンクロナイザ６５０の負荷を軽減させることができる。
あるいはまた、ＰＭＥ障害再構成ソフトウェア、ＰＭＥ
診断、およびおそらく変換ルーチンなどの頻繁には必要
とされない機能を、ＣＣメモリに格納することができ
る。その場合、そのような機能を、動作中のＰＭＥＭ
ＩＭＤプログラムが要求することができ、あるいはＡＰ
Ｉプログラム指示の要求に応じてＰＭＥに移すことがで
きる。

【０３０３】８方向修正ハイパーキューブのパッケージ
ング：本発明のパッケージング技術では、単一チップに
パッケージし、Ｎ次元修正ハイパーキューブ構成で整列
させた、８個のＰＭＥを使用する。このチップ・レベル
のパッケージまたはアレイ・ノードが、ＡＰＡＰ設計に
おける最小の構成単位である。これらのノードはさら
に、８×８アレイにパッケージされる。このアレイで
は、＋-Ｘおよび＋-Ｙがアレイまたはクラスタ内でリン
グを構成し、＋-Ｗおよび＋-Ｚが隣接クラスタまで延び
る。クラスタがまとまってアレイを構成する。このステ
ップによって、アレイのデータ用および制御用のワイヤ
数が大幅に削減される。ＷバスおよびＺバスは、隣接ク
ラスタと接続され、ＷリングおよびＺリングを形成し
て、様々なサイズの完成したアレイを総合的に接続す
る。大規模並列システムは、これらのクラスタ構成単位
から構成され、ＰＭＥの大規模なアレイを形成する。Ａ
ＰＡＰはクラスタの８×８アレイから成り、各クラスタ
はそれ自体の制御装置を有する。すべての制御装置は、
アレイ・ディレクタ６１０によって同期化される。

【０３０４】配線可能性とトポロジーのトレードオフが
多数考慮されているが、これらを考慮したとしても、本
発明者等は、この点に関して例示する構成を優先する。
本明細書で開示する概念は、Ｘ次元およびＹ次元をクラ
スタ・パッケージング・レベル内に保ち、Ｗバス接続お
よびＺバス接続をすべての隣接クラスタに分配するとい
う利点を有する。本明細書に記載する技術の実施後、定
義されたトポロジーの固有の特性を維持しながら、製品
の配線可能性と製造可能性が得られる。

【０３０５】ここで使用する概念は、様々なパッケージ
ング・レベルでトポロジーを混合し、突き合わせ、修正
して、ワイヤ数に関して所望の結果を得ることである。

【０３０６】ハイパーキューブの実際の修正の度合いを
定義するための方法については、上記の米国特許出願第
０７／６９８８６６号を参照されたい。この好ましい実
施例では、説明を簡単にするため、２つのパッケージン
グ・レベルについて説明する。これは拡張可能である。

【０３０７】第１のステップは、図４および図１２に示
すチップ設計またはチップ・パッケージである。８つの
処理要素と、それらに結合されたメモリおよび通信論理
回路が、ノードとして定義された単一のチップに包含さ
れている。内部構成はバイナリ・ハイパーキューブまた
は２次ハイパーキューブと分類され、あらゆるＰＭＥが
２つの隣接ＰＭＥと接続されている。図１０のＰＭＥ間
通信図、特に５００、５１０、５２０、５３０、５４
０、５５０、５６０、５７０を参照されたい。

【０３０８】第２のステップでは、ノードが８×８アレ
イとして構成され、クラスタを形成する。完全装備のマ
シンは、クラスタの８×８アレイで構成され、最大容量
のＰＭＥ３２７６８個を提供する。これらの４０９６個
のノードが接続されて、ノード間通信がプログラミング
可能な、８次ハイパーキューブ・ネットワークを形成す
る。このように、様々な指定経路がプログラミング可能
なため、様々な長さのメッセージを伝送するための柔軟
性が増す。これらのプログラミング可能性機能により、
メッセージ長の違いだけでなく、アルゴリズム最適化に
対処することもできる。

【０３０９】このパッケージング概念は、各クラスタの
オフページ・ワイヤ数を大幅に削減することを目的とし
ている。この概念では、各ノード８２５が合計５１２の
ＰＭＥ用の８つの処理要素を持つ、ノードの８×８アレ
イ８２０として定義されるクラスタを使用し、次にクラ
スタ内でＸリングおよびＹリングを制限し、最後にＷバ
スおよびＺバスをすべてのクラスタまで延ばす。物理的
な姿は、６４個の小さな球８３０から成る球構成８０
０、８１０を頭に描くとよい。将来のパッケージングの
姿については、フル・アップ・パッケージング技術を示
す図１７を参照されたい。ここでは、クラスタ内でＸリ
ングおよびＹリング８００が制限され、ＷバスおよびＺ
バスがすべてのクラスタ８１０へ延びている。物理的な
姿は、６４個の小さな球８３０から成る球構成を頭に描
くとよい。

【０３１０】単一のノードの、隣接するＸＰＭＥおよび
ＹＰＭＥへの実際の接続は、同一のクラスタ内に存在す
る。図１８に示すように、ＺバスおよびＷバスを隣接ク
ラスタまで延ばすと、配線が節約できる。図１８には、
疎接続４次元ハイパーキューブまたはトーラス９００、
９０５、９１０、９１５として構成できる１組のチップ
またはノードも示されている。８つの外部ポートのそれ
ぞれを＋Ｘ、＋Ｙ、＋Ｚ、＋Ｗ、−Ｘ、−Ｙ、−Ｚ、−
Ｗ９５０、９７５で表すことにする。その上で、＋Ｘポ
ートと−Ｘポートを接続すると、リングが構築できる。
さらに、対応する＋Ｙポートと−Ｙを相互接続すると、
そのようなリングをｍ個相互接続して、リングのリング
を形成することができる。このレベルの構造をクラスタ
と呼ぶ。この構造は、５１２個のＰＭＥを備え、複数の
サイズのシステム用の構成単位となる。図１８にそのよ
うな接続を２つ（９５０、９７５）示す。

【０３１１】デスクサイドＭＰＰ用アプリケーション：
ワークステーションにおけるデスクサイドＭＰＰは、以
下のものを含む複数のアプリケーション領域で効果的に
適用できる。

【０３１２】１．数値計算中心のプロセスに依存する小
規模な実働タスク。米国郵政公社では、機械印刷された
封筒のファックス・イメージを受け入れた後、郵便番号
を見つけ読み取ることができるプロセッサを必要として
いる。このプロセスは、すべての地域分類機構で必要で
あり、繰返しの激しい数値計算中心のプロセスの例であ
る。本発明では、必要なプログラムのサンプルのＡＰＬ
言語バージョンを実施した。これらのモデルは、ＭＰＰ
上での作業の実行に使用されるベクトルおよびアレイ・
プロセスをエミュレートする。このテストに基づき、こ
のタスクがこの処理アーキテクチャにみごとに適合する
ことが分かった。

【０３１３】２．解析者が、直前の出力または予期され
るニーズの結果として、データ変換のシーケンスを要求
するタスク。米国防地図庁の例では、衛星イメージが画
素ごとに変換および平滑化され、他の座標系に変換され
る。そのような状況では、土地の標高および勾配の結
果、イメージの変換パラメータが地域ごとに異なる。し
たがって、解析者は固定制御点を追加し、変換を再処理
する必要がある。科学的シミュレーション結果を利用す
る際にユーザがほぼリアルタイムの回転または認識可能
な変更を必要とするときも、同様なニーズが発生する。

【０３１４】３．ＭＰＰの実働バージョン用のプログラ
ム開発では、ワークステーション・サイズのＭＰＰを使
用する。プロセッサとネットワークの性能の解析が必要
な調整プロセスについて考えてみる。そのようなタスク
は、マシンと解析者の対話作業である。このタスクで
は、マシンが遊休状態であり、解析者が作業している時
間が必要になる。これをスーパーコンピュータ上で実行
すると、たいへんコストがかかる。しかし、手頃な価格
のワークステーションＭＰＰにスーパーコンピュータＭ
ＰＰと同じ（ただし、規模の小さな）特性を与えると、
遠隔プロセッサへのアクセスに関するプログラマの非効
率性が解決されるので、コストが帳消しになり、テスト
およびデバッグ・プロセスが容易になる。

【０３１５】図２４は、ワークステーション・アクセレ
レータの図である。ワークステーション・アクセレレー
タは、ＲＩＳＣ／６０００モデル５３０と同サイズの格
納装置を使用する。それぞれ完全なクラスタを備えた、
２つのスイング・アウト・ゲートが示されている。２つ
のクラスタを組み合わせると、５ＧＯＰＳの固定小数点
性能および５３０ＭＦＬＯＰＳの処理能力および約１０
０ＭＢの入出力帯域幅がアレイに与えられる。この装置
は、従来のどんなアプリケーションにも適している。こ
の装置は、量産を行い、ホストＲＩＳＣ／６０００を含
めれば、旧式技術を使った匹敵するマシンを無駄にせず
に、高性能ワークステーションに匹敵する価値をもつよ
うになる。

【０３１６】ＡＷＡＣＳセンサ・フュージョンの説明：
軍用環境は、拡張数値計算プロセッサの必要性を示す一
連の例を提供する。

【０３１７】目標とされる雑音の多い環境での通信に
は、ＩＣＮＩＡシステムで使用されているようなディジ
タル・コード化通信が必要である。伝送用のデータをコ
ード化し、受信後に情報を回復するプロセスは、数値計
算中心のプロセスである。このタスクは、特殊信号処理
モジュールで実行できるが、通信コード化がバースト単
位の活動を表す状況では、特殊モジュールはたいてい遊
休状態になる。ＭＰＰを使用すると、複数のそのような
タスクを単一のモジュールに割り振って、重量、電力、
体積、およびコストを節減することができる。

【０３１８】センサ・データのフュージョンは、ＭＰＰ
を追加することによって得られた計算能力で既存のプラ
ットフォームを増強する、特に明確な例を提供する。空
軍Ｅ３ＡＷＡＣＳでは、プラットフォーム上に５個以
上のセンサがあるが、現在のところ使用可能なすべての
データを統合してトラックを生成する方法はない。さら
に、既存の生成トラックは、そのサンプリング特性のた
めに品質がたいへん悪い。したがって、フュージョンを
使用して実効サンプル速度を高める必要がある。

【０３１９】本発明者等は、このセンサ・フュージョン
問題を詳細に調査しており、検証可能で効果的な分析解
決を提案できるが、ＡＷＡＣＳデータ・プロセッサで使
用可能な計算能力ではこの方法には不十分である。図２
５に、従来のトラック・フュージョン・プロセスを示
す。この従来のトラック・フュージョン・プロセスは、
個々のプロセスにエラーが発生する傾向があり、最終的
なマージでエラーが除去されずに収集されてしまう傾向
があるという欠陥がある。このプロセスにはまた、待ち
時間がとても長いという特徴がある。これは、もっとも
低速のセンサが実行を終了するまでマージが完了しない
からである。図２６に、この手法による改良点と、それ
によって得られる数値計算問題を示す。本発明者等は、
ＮＰハード問題を解くことはできないが、解を近似する
良い方法を開発した。そのアプリケーションについての
詳細は、本発明者等が他の特許出願に記載している。該
アプリケーションは、５１２ｉ８６０（８０８６０）
プロセッサを備えたインテル・タッチストーン（Intel
Touchstone）やＩＢＭの科学研究用視覚化システム（Sc
ientific Visualization System）など様々なマシン上
で使用できるので、本明細書に記載するＡＰＡＰ設計
と、これらの他のシステムの性能を大幅に上回る、たと
えば１２８０００個のＰＭＥとを使用する、ＭＭＰに適
したアプリケーションとして使用できる。アプリケーシ
ョンの実験によると、近似の品質がセンサ雑音のレベル
を下回り、したがってその応答がＡＷＡＣＳなどのアプ
リケーションに適用可能である。図２７に、提案された
ラグランジュの還元ｎ次元割当てアルゴリズムに関する
処理ループを示す。この問題は、周知の２次元割当て問
題の、非常に制御された繰返しを使用している。このア
ルゴリズムは、従来のセンサ・フュージョン処理で使用
されたものと同じである。

【０３２０】たとえば、図２６以降に示す７組の観測値
にｎ次元アルゴリズムを適用し、還元プロセスの各パス
ごとに２次元割当てプロセスの繰返しが４回必要である
ものとする。そうすると、新規の８次元割当て問題で
は、２次元割当て問題を４０００回繰り返す必要があ
る。ＡＷＡＣＳの作業負荷は現在、マシン容量の約９０
％である。フュージョンにはおそらく全容量の１０％が
必要であるが、そのように小規模な容量でも、４０００
倍にスケール・アップすると総利用率はＡＷＡＣＳの容
量の３７０倍になる。この作業負荷は既存のプロセッサ
の性能を超えているだけでなく、新しいＭＩＬ環境に適
合する既存の疎並列処理システム、または今後数年の間
に予想されるシステムでもぎりぎりである。アルゴリズ
ムにおいて１ステップ当たり平均して４回ではなく５回
の繰返しが必要な場合、仮説上のシステムの性能さえも
超えてしまう。逆に、ＭＰＰ解法は、この計算能力を提
供でき、５回繰返しのレベルでもそれが可能である。

【０３２１】機械的パッケージング：図４および他の図
面に示すように、本発明の好ましいチップは、クワッド
フラットパック形式で構成される。したがって、チップ
をレンガ積みして、パッケージ内で様々な２次元構成お
よび３次元構成を形成することができる。８個以上のＰ
ＭＥから成る１つのチップが、第１レベル・パッケージ
・モジュールである。同様に、単一のＤＲＡＭメモリ・
チップは、チップをパッケージするファウンドリの第１
レベル・パッケージ・モジュールである。しかし、クワ
ッドフラットパック形式では４方向の相互接続が可能に
なる。各接続は２地点間接続である（第１レベル・パッ
ケージの１つのチップは、ファウンドリのモジュールで
ある）。本発明では、この特徴により、本発明の性能目
標を実現するのに十分な規模のＰＥアレイが構築でき
る。実際には、３フィート、４フィート、ときには５フ
ィート離れた２地点間、すなわち多重プロセッサ・ノー
ド間でこれらのチップを接続することができ、なおかつ
光ファイバなしで適切な制御が可能である。

【０３２２】これは、モジュール上で必要な駆動／受信
回路にとって利益がある。本発明には、モジュール間を
デイジー・チェイン接続するバス・システムがないの
で、高性能を実現し、電力散逸を抑えることができる。
本発明ではノード間の同報通信を行うが、これを高性能
経路とする必要はない。大部分のデータ操作がノードで
行えるので、必要なデータ経路要件が少なくなってい
る。本発明の同報通信経路は基本的に、主として制御装
置経路指定ツールとして使用される。データ・ストリー
ムは、ＺＷＸＹ通信経路システムに接続され、該システ
ム中を流れる。

【０３２３】本発明における電力散逸は、本発明の商用
ワークステーションでは１ノード・モジュール当たり
２．２Ｗである。したがって、空冷式パッケージングが
使用可能である。このため、本発明のシステムの電力要
件も妥当である。例示した本発明の電源システムでは、
サポートされるモジュールの数に１モジュール当たり約
２．５Ｗを掛ける。そのような５Ｖ電源は費用効果が非
常に高い。電力消費量については、驚くべきことに、本
を読むのに必要な明かりで消費される量より少ない電力
量で３２個のマイクロコンピュータが稼働できる。

【０３２４】本発明の熱的設計は、このパッケージング
によって改善される。本発明では、高散逸部分と低散逸
部分が混ざることによる過熱点を避けている。これは、
組立コストに直接反映される。

【０３２５】本発明のシステムのコストは、カード上に
スーパースカラ・プロセッサを配置する手法に比べて非
常に魅力的である。本発明の１ドル当たり１部品タイプ
当たり１コネクタ当たり１Ｗ当たり１アセンブリ当たり
の性能レベルは卓越している。

【０３２６】さらに、本発明では、他の技術と同じ数の
パッケージング・レベルが必要でない。モジュール／カ
ード／バックプレーンおよびケーブルも必要でない。望
むならカード・レベルを省略することもできる。本発明
のワークステーション・モジュールに示すように、この
レンガ積み手法ではカード・レベルを省略した。

【０３２７】さらに、図示したように、ワークステーシ
ョン・モジュール内でレンガ積みした各ノード・ハウジ
ングは、図４に示すように、同一のチップ・ハウジング
内に複数の複製ダイを備えることさえできる。通常、空
冷パッケージ内には１つのダイを配置するが、複数チッ
プ・モジュール手法を使用すれば基板上に８つのダイが
配置可能である。したがって、３２個以上のプロセッサ
を備えた夢の腕時計が実現でき、さらに他の多数のアプ
リケーションも可能である。パッケージングおよび電力
と柔軟性のおかげで、可能なアプリケーションの数は無
限になる。家庭では、制御可能な計器をすべて監視し、
非常に小さな部品との調整を図ることができる。エンジ
ン監視、ブレーキ調節などのために自動車でさかんに使
用されているチップはすべて、ハウジング内にモニタを
有することができる。さらに、ハイブリッド技術を用い
た同一の基板上に、完全にプログラマブルな機能および
メモリを備えた３８６個のマイクロプロセッサ・チップ
を（すべて１つのチップ内に）実装し、それを基板パッ
ケージのアレイ制御装置として使用することができる。

【０３２８】図４の制御システムからそれよりずっと大
規模なシステムまで、システムの多数の構成を示してき
た。ディップ内のチップ上に８個以上のＰＭＥを備え、
ＳＩＭモジュールのように、標準ＤＲＡＭメモリ・モジ
ュールに適合するピン・アレイを備えて、チップをパッ
ケージすることができるため、制御機構から、今日の既
存の技術でぎりぎりの１５フレーム程度ではなく３０フ
レームの反復率を有し、かつ１画素もしくは少数の画素
から成るノードの監視にプロセッサを割り当てることが
できる、壁面大のビデオ・ディスプレイに至るまで、無
限のアプリケーションが可能となる。本発明のブリック
ウォール（レンガ壁）クワッドフラットパックにより、
同一の部分を繰り返して複製することが容易になる。さ
らに、複製されたプロセッサは、実際には、プロセッサ
交換機能を備えたメモリである。メモリの一部を特定の
監視タスクに割り当て、別の部分（サイズはプログラム
で定義する）を、２地点間でアドレスされ、すべての機
能への同報通信機能を備える、大規模大域メモリとする
ことができる。

【０３２９】本発明の基本ワークステーション、スーパ
ーコンピュータ、制御装置、ＡＷＡＣＳはすべて、本発
明の新技術を使用できるパッケージの例である。組込み
ＣＰＵチップおよび入出力機構を備えたメモリのアレイ
は、大規模並列アプリケーション、さらにはそれより限
られたアプリケーションのＰＭＥとして機能する。パッ
ケージングおよびプログラミング上の柔軟性のために想
像力が膨らみ、本出願の技術を用いると、１つの部分を
多数の概念およびイメージに割り当てることができる。

【０３３０】軍用アビオニクス・アプリケーション：Ｍ
ＩＬＭＰＰを構築する際のコスト面の利点は、ＡＷＡ
ＣＳで特にはっきりしている。ＡＷＡＣＳは、２０年前
に開発された格納装置であり、従来のコア・メモリに代
わって新規技術のメモリ・モジュールが使用されるよう
になったため、空き空間が増えている。図２８に、ラッ
クの空き空間に直接収納され、相互接続に既存のメモリ
・バスを使用する、ＭＩＬ準拠の２つのクラスタ・シス
テムを示す。

【０３３１】ＡＷＡＣＳの例は、空き空間が存在するた
めきわめて有利であるが、他のシステムでも空間を作成
することが可能である。通常、既存のメモリを小型のＭ
ＰＰまたは分離ＭＰＰのゲートウェイで置き換えること
は容易である。そのような場合、４分の１クラスタおよ
びアダプタ・モジュールでは、８ＭＢメモリと６４０Ｍ
ＩＰが得られ、おそらく２つのスロットが使用される。

【０３３２】スーパーコンピュータ・アプリケーショ
ン：６４クラスタＭＰＰは１３．６ＧＦＬＯＰのスーパ
ーコンピュータである。これは、図２９に示すシステム
として構成できる。このシステムでは、図２９に示すよ
うに、クラスタ・カード上にノード・チップをレンガ積
みして、コストおよびサイズ上の利点が大きいシステム
を構築することができる。システムにネットワーク交換
などの余分なチップを組み込むのは、コストがかさむの
で、そうする必要はない。

【０３３３】「ブリック・ウォール」チップによる本発
明の相互接続システムにより、システムを大規模ＤＲＡ
Ｍメモリと同様に構築することができる。この相互接続
システムには、たとえばマイクロチャネル・バス・アダ
プタなどの、厳密なバス仕様に合致する定義済みのバス
・アダプタがある。各システムは、現在の多くのマイク
ロプロセッサに基づく他のシステムよりも電源システム
および冷却設計が小型になる。

【０３３４】大部分のスーパーコンピュータと異なり、
浮動小数点エミュレーション機能を有する本発明のこの
好ましいＡＰＡＰは、浮動小数点演算よりも整数演算
（１６４ＧＩＰＳ）を行う時の方がはるかに高速であ
る。したがって、このプロセッサは、非常に文字または
整数処理中心のアプリケーションに使用すると、もっと
も効果的である。本発明では、前述の他のアプリケーシ
ョンに加えて、解決が必要な３つのプログラムの問題に
ついても検討した。日常生活にとってある種の「遠大な
課題」よりも重要な可能性のあるアプリケーションには
以下のものがある。

【０３３５】１．３０９０ベクトル・プロセッサは、非
常に高性能の浮動小数点演算装置を備えている。この装
置では、大部分のベクトル化浮動小数点装置と同様、密
ベクトルに対するパイプライン操作が必要である。非正
規疎行列（直交座標でなくビット・マップで記述される
行列）を多用するアプリケーションは、浮動小数点演算
装置の性能機能を浪費する。ＭＰＰは、当該データ用の
記憶域を提供し、その計算能力およびネットワーク帯域
幅を使って、計算を実行せずに密ベクトルを構築し、密
な結果を圧縮解除することにより、この問題を解決して
いる。ベクトル処理装置は、ＭＰＰによって供給され
る、密ベクトルに対する演算の連続した流れによってビ
ジー状態に保たれる。ベクトル機構の諸プロセスを同じ
速度で効果的に圧縮し圧縮解除できるようにＭＰＰのサ
イズを設定すると、両方の装置を完全ビジー状態にする
ことができる。

【０３３６】２．本発明者等が考慮したもう１つのホス
ト接続システムは、ＦＢＩ指紋突合せ問題に対する解決
策である。この場合、６５個以上のクラスタを備えたマ
シンを考慮した。問題は、１時間に約６０００の指紋を
指紋ヒストリのデータベース全体と突き合わせるにはど
うするかであった。大規模ＤＡＳＤと、ＭＰＰからホス
トへの接続機構の全帯域幅を使用すると、着信する指紋
に対しデータベース全体を約２０分で突き合わせること
ができる。ＳＩＭＤモード疎突合せ操作でＭＰＰの約７
５％を使用すると、処理と、必要なスループット・レー
トとのバランスが取れる。その場合、Ａ−ＳＩＭＤ処理
モードにあるマシンの１５％が、疎なフィルタ操作を通
過する場合に、未知の指紋をファイルの指紋と突き合わ
せて詳細な検査を行うことにより、突合せを完了すると
本発明者等は推定している。この間、マシンの残りの部
分はＭＩＭＤであり、予備容量、作業待ち行列の管理、
および出力のフォーマット化に割り振られた。

【０３３７】３．ＭＰＰのデータベース操作への適用を
考慮した。この作業はきわめて予備的なものであるが、
適合性は良いと思われる。ＭＰＰの２つの態様がこの前
提を支持している。ａ．クラスタ制御装置６４０とアプリケーション・プロ
セッサ・インタフェース６３０の接続はマイクロチャネ
ルである。したがって、クラスタ専用で、クラスタから
直接アクセスされるＤＡＳＤを配置することができる。
１クラスタ当たり６台の６４０ＭＢハード・ドライブを
備えた６４クラスタ・システムは、２４６ＧＢの記憶域
を提供する。さらに、このデータベース全体が１０〜２
０秒で逐次的に探索できる。ｂ．データベースは一般に、逐次的に探索されない。そ
の代わり、多数のレベルのポインタを使用する。データ
ベースの索引付けは、クラスタ内で実施できる。ＤＡＳ
Ｄの各バンクは、２．５ＧＩＰＳの処理能力および３２
ＭＢの記憶域によってサポートされる。これは、インデ
ックスの探索および格納にとって十分である。インデッ
クスは現在、ＤＡＳＤ内に格納されることが多いので、
性能が大幅に向上する。そのような手法を使用し、クラ
スタ・マイクロチャネルに接続されたＳＣＳＩインタフ
ェース上にＤＡＳＤを分散させると、実質上無限のサイ
ズのデータベースが作成可能である。

【０３３８】図２９に、ＡＰＡＰを使用して構築したス
ーパーコンピュータ・スケールのＭＭＰを示す。この手
法では再び単位の複製が使用されているが、この場合は
複製されるのは、１６個のクラスタを収容する格納装置
である。この複製手法の特定の利点は、システムをユー
ザのニーズに適合するようにスケーリングできることで
ある。

【０３３９】システム・アーキテクチャ：現在の好まし
い実施例で使用されるシステム・アーキテクチャの利点
は、ＩＳＡシステムが、ＡＰＡＰのプログラミングに携
わる多数のユーザに理解されることである。ＰＭＥＩ
ＳＡは、以下の表に示すデータ・フォーマットおよび命
令フォーマットから構成される。

【０３４０】データ・フォーマット：基本（オペラン
ド）サイズは１６ビット・ワードである。ＰＭＥ記憶域
では、オペランドは統合ワード境界上に位置する。ワー
ド・オペランド・サイズだけでなく、１６ビットの倍数
の他のオペランド・サイズも、追加機能をサポートする
のに使用できる。

【０３４１】オペランド長の範囲内で、オペランドのビ
ット位置に、０から始めて左から右に連続して番号を付
ける。上位ビットまたは最上位ビットを参照すると必
ず、１番左側のビット位置が参照される。下位ビットま
たは最下位ビットを参照すると必ず、１番右のビット位
置が参照される。

【０３４２】命令フォーマット：命令フォーマットの長
さは、１６ビットまたは３２ビットとすることができ
る。ＰＭＥ記憶域では、１６ビット境界上に命令が位置
しなければならない。

【０３４３】表１に示す汎用命令フォーマットを使用す
る。通常、命令の最初の４ビットは、命令コードを定義
し、ＯＰビットと呼ばれる。命令の定義を拡張するか、
または命令に適用される固有の条件を定義するために、
追加ビットが必要になる場合がある。これらのビットを
ＯＰＸビットと呼ぶ。

【表１】

【０３４４】すべてのフォーマットに共通するフィール
ドが１つある。このフィールドとその解釈は、以下のと
おりである。

【０３４５】ビット０〜３：命令コード−この命令コー
ドは、ときには命令コード拡張フィールドとともに、実
行すべき動作を定義する。

【０３４６】個々のフォーマットの詳細な図と、それら
のフィールドの解釈を以下の節に示す。命令によって
は、２つのフォーマットが組み合わされ、変種の命令を
形成しているものもある。これらは主として、命令のア
ドレス指定モードに関するものである。１例として、記
憶域間命令は、直接アドレス指定またはレジスタ・アド
レス指定に関係する形式を持つことがある。

【０３４７】ＲＲフォーマット：レジスタ・レジスタ
（ＲＲ）フォーマットは、図３０に示すように、２つの
汎用レジスタ・アドレスを提供し、長さ１６ビットであ
る。

【０３４８】ＲＲフォーマットは、命令コード・フィー
ルドの他に、次のフィールドを含んでいる。

【０３４９】ビット４〜７：レジスタ・アドレス１−Ｒ
Ａフィールドは、１６個の汎用レジスタのうちのどれ
を、オペランドまたは宛先、あるいはその両方として用
いるのかを指定するのに使用する。

【０３５０】ビット８〜１１：０−ビット８が０の場
合、フォーマットがＲＲフォーマットまたはＤＡフォー
マットと定義され、ビット９〜１１が０の場合は、動作
がレジスタ間動作と定義される（直接アドレス・フォー
マットの特殊な場合）。

【０３５１】ビット１２〜１５：レジスタ・アドレス２
−ＲＢフィールドは、１６個の汎用レジスタのうちのど
れをオペランドとして用いるかを指定するのに使用す
る。

【０３５２】ＤＡフォーマット：直接アドレス（ＤＡ）
フォーマットは、図３１に示すように、１つの汎用レジ
スタ・アドレスおよび１つの直接記憶域アドレスを提供
する。

【０３５３】ＤＡフォーマットは、命令コード・フィー
ルドの他に、次のフィールドを含んでいる。

【０３５４】ビット４〜７：レジスタ・アドレス１−Ｒ
Ａフィールドは、１６個の汎用レジスタのうちのどれ
を、オペランドまたは宛先、あるいはその両方として用
いるのかを指定するのに使用する。

【０３５５】ビット８：０−ビット８が０の場合、動作
が直接アドレス動作またはレジスタ間動作と定義され
る。

【０３５６】ビット９〜１５：直接記憶域アドレス−直
接記憶域アドレス・フィールドは、レベル固有記憶域ブ
ロックまたは共通記憶域ブロックへのアドレスとして使
用する。直接アドレス・フィールドのビット９〜１１
は、直接アドレス形式を定義するため、非０でなければ
ならない。

【０３５７】ＲＳフォーマット：レジスタ記憶域（Ｒ
Ｒ）フォーマットは、図３２に示すように、１つの汎用
レジスタ・アドレスおよび間接記憶域アドレスを提供す
る。

【０３５８】ＲＳフォーマットは、命令コード・フィー
ルドの他に、次のフィールドを含んでいる。

【０３５９】ビット４〜７：レジスタ・アドレス１−Ｒ
Ａフィールドは、１６個の汎用レジスタのうちのどれ
を、オペランドまたは宛先、あるいはその両方として用
いるのかを指定するのに使用する。

【０３６０】ビット８：１−このビットが１の場合、動
作がレジスタ記憶域動作と定義される。

【０３６１】ビット９〜１１：レジスタ・データ−これ
らのビットは、ＲＢフィールドによって指定されるレジ
スタの内容の修正に使う符号付きの値とみなされる。

【０３６２】ビット１２〜１５：レジスタ・アドレス２
−ＲＢフィールドは、１６個の汎用レジスタのうちのど
れをオペランドとして用いるかを指定するのに使用す
る。

【０３６３】ＲＩフォーマット：レジスタ即値（ＲＩ）
フォーマットは、１つの汎用レジスタ・アドレスおよび
１６ビットの即値データを提供する。ＲＩフォーマット
は、図３３に示すように、長さ３２ビットである。

【０３６４】ＲＩフォーマットは、命令コード・フィー
ルドの他に、次のフィールドを含んでいる。

【０３６５】ビット４〜７：レジスタ・アドレス１−Ｒ
Ａフィールドは、１６個の汎用レジスタのうちのどれ
を、オペランドまたは宛先、あるいはその両方として用
いるのかを指定するのに使用する。

【０３６６】ビット８：１−このビットが１の場合、動
作がレジスタ記憶域動作と定義される。

【０３６７】ビット９〜１１：レジスタ・データ−これ
らのビットは、プログラム・カウンタの内容の修正に使
う符号付きの値とみなされる。通常、レジスタ即値フォ
ーマットではこのフィールドは、１の値をとる。

【０３６８】ビット１２〜１５：０−このフィールドが
０の場合、即値データ・フィールドを指す更新済みプロ
グラム・カウンタを、オペランドの記憶域アドレスとし
て使用することが指定される。

【０３６９】ビット１６〜３１：即値データ−このフィ
ールドは、レジスタ即値命令の１６ビット即値データ・
オペランドとして機能する。

【０３７０】ＳＳフォーマット：記憶域間（ＳＳ）フォ
ーマットは、２つの記憶域アドレスを提供する。このう
ち一方は明示的で、他方は暗示的である。暗示記憶域ア
ドレスは、汎用レジスタ１に入れられる。レジスタ１
は、命令の実行中に修正される。ＳＳ命令には、図３４
に示すように、直接アドレス形式および記憶域アドレス
形式という２つの形式がある。

【０３７１】ＳＳフォーマットは、命令コード・フィー
ルドの他に、次のフィールドを含んでいる。

【０３７２】ビット４〜７：命令拡張コード−ＯＰＸフ
ィールドは、命令コードとともに、実行すべき動作を定
義する。ビット４〜５は、ＡＤＤやＳＵＢＳＴＲＡＣＴ
などの演算タイプを定義する。ビット６〜７は、繰上
り、桁あふれ、および条件コードの設定方法を制御す
る。ビット６＝０のときは桁あふれが無視され、ビット
６＝１のときは桁あふれが可能になる。ビット７＝０の
ときは演算中のｃａｒｒｙｓｔａｔが無視され、ビット
７＝１のときは演算中にｃａｒｒｙｓｔａｔが含まれ
る。

【０３７３】ビット８：０−形式を直接アドレス形式と
定義する。１−形式を記憶域アドレス形式と定義する。

【０３７４】ビット９〜１５：直接アドレス（直接アド
レス形式）−直接記憶域アドレス・フィールドは、レベ
ル固有記憶域ブロックまたは共通記憶域ブロックへのア
ドレスとして使用する。直接アドレス・フィールドのビ
ット９〜１１は、直接アドレス形式を定義するため、非
０でなければならない。

【０３７５】ビット９〜１１：レジスタ・デルタ（記憶
域アドレス形式）−これらのビットは、ＲＢフィールド
によって指定されるレジスタの内容の修正に使う符号付
きの値とみなされる。

【０３７６】ビット１２〜１５：レジスタ・アドレス２
（記憶域アドレス形式）−ＲＢフィールドは、１６個の
汎用レジスタのうちのどれをオペランドの記憶域アドレ
スとして用いるかを指定するのに使用する。

【０３７７】ＳＰＣフォーマット１：特殊（ＳＰＣ１）
フォーマットは、図３５に示すように、１つの汎用レジ
スタ記憶域オペランド・アドレスを提供する。

【０３７８】ＳＰＣ１フォーマットは、命令コード・フ
ィールドの他に、次のフィールドを含んでいる。

【０３７９】ビット４〜７：ＯＰ拡張−ＯＰＸフィール
ドは、命令コードを拡張するのに使用する。

【０３８０】ビット８：０または１−このビットが０の
場合、動作がレジスタ動作と定義される。このビットが
１の場合、動作がレジスタ記憶域動作と定義される。

【０３８１】ビット９〜１１：命令長−これらのビット
は、オペランドの長さを１６ビット・ワードで指定する
のに使う符号付きの値とみなされる。０の値は長さ０に
該当し、Ｂ^１１１^の値は長さ８に該当する。

【０３８２】ビット１２〜１５：レジスタ・アドレス２
−ＲＢフィールドは、１６個の汎用レジスタのうちのど
れをオペランドの記憶域アドレスとして用いるかを指定
するのに使用する。

【０３８３】ＳＰＣフォーマット２：特殊（ＳＰＣ２）
フォーマットは、図３６に示すように、１つの汎用レジ
スタ記憶域オペランド・アドレスを提供する。

【０３８４】ＳＰＣ２は、命令コード・フィールドの他
に、次のフィールドを含んでいる。

【０３８５】ビット４〜７：レジスタ・アドレス１−Ｒ
Ａフィールドは、１６個の汎用レジスタのうちのどれを
オペランドまたは宛先、あるいはその両方として用いる
のかを指定するのに使用する。

【０３８６】ビット８〜１１：ＯＰ拡張−ＯＰＸフィー
ルドは、命令コードを拡張するのに使用する。

【０３８７】ビット１２〜１５：レジスタ・アドレス２
−ＲＢフィールドは、１６個の汎用レジスタのうちのど
れをオペランドの記憶域アドレスとして用いるかを指定
するのに使用する。

【０３８８】命令セット・アーキテクチャの命令セット
には、下記の命令が含まれる。表２〜８は、ＰＭＥのハ
ードワイヤ式命令を示している。表２は、固定小数点演
算命令を示す。表３は、記憶域間命令を示す。表４は、
論理命令を示す。表５は、シフト命令を示す。表６は、
分岐命令を示す。表７は、状況切換え命令を示す。表８
は、入出力命令を示す。

【表２】

【表３】

【表４】

【表５】

【表６】

【表７】

【表８】

【０３８９】機能の要約：ＡＰＡＰマシンの位置付け：技術上ＣＭ−１とＮ−キュ
ーブの間にあると位置付けられると考えられる、本発明
の詳細な態様について説明してきた。ＣＭ−１では、本
発明のＡＰＡＰと同様に、処理要素に点設計を使用し、
基本チップ上で処理要素とメモリを組み合わせている。
しかし、ＣＭ−１では１ビット幅の直列プロセッサを使
用しているのに対し、ＡＰＡＰシリーズでは１６ビット
幅のプロセッサを使用する。ＣＭシリーズのマシンは、
１プロセッサ当たり４キロビットのメモリから始まり、
８キロビットまたは１６キロビットまで成長している。
一方、本発明の最初のＡＰＡＰチップでは、３２キロビ
ット×１６ビットのメモリを提供している。ＣＭ−１お
よびその後継マシンは厳密にＳＩＭＤマシンであり、Ｃ
Ｍ−５はハイブリッド型である。この代わりに、本発明
のＡＰＡＰは、ＭＩＭＤ動作モードをＳＩＭＤモードと
共に効果的に使用している。本発明の並列１６ビット幅
ＰＭＥは、Ｎ−キューブに向かって１歩近づいたものと
思えるかもしれないが、そう見るのは適当ではない。Ａ
ＰＡＰは、Ｎ−キューブ型のマシンと異なり、メモリお
よび経路指定が処理要素から分離されていない。また、
ＡＰＡＰでは３２キロビット×１６ビットのＰＭＥを実
現するが、Ｎ−キューブで実現されるのは４キロビット
×３２ビット・プロセッサにすぎない。

【０３９０】上述のような表面的な類似点はあるが、Ａ
ＰＡＰ概念は、下記の点でＣＭおよびＮ−キューブ・シ
リーズとまったく異なる。

【０３９１】１．本発明のＡＰＡＰに組み込まれた修正
ハイパーキューブは、ハイパーキューブ・トポロジーと
比べてパッケージングおよびアドレス指定の点で顕著な
利点を有する新規の発明である。たとえば、第１の好ま
しい実施例における３２ＫＰＭＥＡＰＡＰは、ネット
ワーク直径が１９論理ステップであり、透過性によっ
て、これを実効１６論理ステップまで減らすことができ
ることに留意されたい。さらに、比較してみると、純粋
なハイパーキューブを使用し、すべてのＰＭＥが８ステ
ップ経路を介してデータを送信する場合、８個のＰＭＥ
のうち平均２個が活動状態となるが、残りはブロックさ
れて遅延する。

【０３９２】また、ＣＭ−１が純粋なハイパーキューブ
である場合に必要となる６４Ｋハイパーキューブについ
て考えてみたい。その場合、各ＰＭＥには、他の１６個
のＰＭＥへのポートが必要であり、１５の論理ステップ
のうちもっとも離れた２つのＰＭＥ間でデータを経路指
定できることになる。すべてのＰＭＥが平均距離で７ス
テップを転送しようとする場合、７個のＰＭＥのうちの
２個が活動状態になる。しかし、ＣＭ−１では１６次元
ハイパーキューブを使用しない。ＣＭ−１は、チップ上
の１６個のノードをＮＥＷＳネットワークと相互接続し
てから、チップ内で１つのルータ機能を提供する。４０
９６個のルータを接続して１２次元ハイパーキューブを
形成する。衝突がない場合、ハイブリッドの論理直径は
１５であるが、１６個のＰＭＥがリンクを争奪するの
で、その実効直径はそれよりはるかに大きくなる。すな
わち、８ステップの移動がある場合、１６個のプロセッ
サのうち２個だけが活動状態になる。これは、すべての
データ移動を完了するのに、４サイクルではなく８つの
完全なサイクルが必要なことを意味する。

【０３９３】Ｎ−キューブは、実際には純粋なハイパー
キューブを使用するが、現在はＰＭＥ４０９６個しかサ
ポートせず、したがって１２次元ハイパーキューブ（Ｐ
ＭＥ８１９２個の場合は１３次元）を使用している。Ｎ
−キューブを１６Ｋプロセッサに拡張し、ＡＰＡＰと同
じ処理データ幅を持つようにするには、ハードウェアを
４倍に増やし、各ＰＭＥルータへの接続ポートを２５％
増加する必要がある。この結論を裏付ける確かなデータ
はないが、Ｎ−キューブ・アーキテクチャでは、１６Ｋ
ＰＭＥマシンに達しないうちにコネクタ・ピンが不足
するように思われる。

【０３９４】２．ＡＰＡＰマシン内で主要なタスクを完
全に統合し分散できる性質は、明確な利点である。ＣＭ
シリーズおよびＮ−キューブ・シリーズのマシンについ
ての説明で述べたように、これらは、それぞれメッセー
ジ経路指定用と浮動小数点補助プロセッサ用に別々の装
置を持つ必要がある。ＡＰＡＰシステムでは、整数処
理、浮動小数点処理、メッセージ経路指定、および入出
力制御を単一点設計ＰＭＥとして組み合わせている。そ
して、この設計がチップ上で８回複製され、さらにチッ
プが４Ｋ回複製されて、アレイを形成する。これには次
のような利点がある。ａ．１つのチップを使用するので、生産ランが最大規模
になり、システム要素コストが最低になる。ｂ．規則的なアーキテクチャにより、もっとも効果的な
プログラミング・システムが得られる。ｃ．ほぼすべてのチップ・ピンをプロセッサ間通信とい
う一般的な問題専用にできるので、ＭＰＰ設計で重要な
制限因子となる傾向がある、チップ間入出力帯域幅が最
大になる。

【０３９５】３．ＡＰＡＰは、チップ技術の利得と、カ
スタム・チップ設計に対する資本投資を利用できる、独
自の設計能力をもつ。

【０３９６】浮動小数点性能の問題について考えてみた
い。ＤＡＸＰＹ上でのＡＰＡＰＰＭＥ性能は１ＦＬＯ
Ｐ当たり約１２５サイクルになる。これとは対照的に、
^３８７補助プロセッサは約１４サイクルであり、一方
ＣＭ−１のウェイテク・コプロセッサ（Weitec Coproce
ssor）は約６サイクルである。しかし、ＣＭの場合、Ｐ
ＭＥ１６個ごとに浮動小数点装置が１個しかなく、一方
Ｎ−キューブの場合はおそらく、各３８６プロセッサに
１個の３８７型チップが結合されている。本発明のＡＰ
ＡＰは、１６倍のＰＭＥを有しており、したがって単一
ユニットの性能デルタ値をほぼ完全に補償することがで
きる。

【０３９７】さらに重要なことには、チップ内の８個の
ＡＰＡＰＰＭＥが、現在技術的に可能な５０Ｋゲート
から構築されている。メモリ・マクロが縮小されるにつ
れ、論理回路が使用できるゲートの数が増えてくる。ゲ
ートの増加分を拡張浮動小数点正規化に利用すれば、Ａ
ＰＡＰ浮動小数点性能は他の装置をはるかに超えること
ができるはずである。あるいはまた、カスタム設計手法
を使用してＰＭＥ設計またはＰＭＥサブセクション設計
を行って、マシン用に開発されるソフトウェアには影響
を与えずに全体性能を高めることができる。

【０３９８】本発明のＡＰＡＰ設計は、将来の処理技術
の発展を利用できると本発明者等は考えている。これと
は対照的に、図１に示したようなシステムを使用する最
も類似したマシンであるＣＭ−ｘやＮ−キューブは、行
き詰まっていると思われる従来の技術を利用するのに合
っていると思われる。

【０３９９】ＡＰＡＰ概念の利点は、ＰＭＥのグループ
と結合されたＤＡＳＤを使用できることである。このＡ
ＰＡＰ機能と、ディスプレイおよび補助記憶装置を接続
できる能力は、ＰＭＥアレイの外部入出力ポートへのイ
ンタフェースとしてＭＣバスを選択した副産物である。
したがって、ＡＰＡＰシステムは、構成可能であり、Ｐ
Ｓ／２ユニットまたはＲＩＳＣ／６０００ユニットと互
換性がある１組のユニットのいずれかから選択したカー
ド実装ハード・ドライブを備えることができる。さら
に、この機能は、追加の部品モジュールを設計しなくて
も使用できるはずである。ただし、この場合、使用しな
ければならないバックパネルおよび基本的格納装置の複
製の数は、ＡＰＡＰに必要な数よりも多くなる。

【０４００】この簡単な比較は、限定を意図したもので
はなく、当業者に、前述の説明を検討し、上述の多数の
発明を用いて、大規模並列システムの技術を、プログラ
ミングが重要な問題でなくなり、そのようなシステムの
コストがはるかに低くなるときまでに進歩させるにはど
うすべきかを考えてもらうためのものである。本発明の
種類のシステムは、商業部門レベルの調達で手の届くコ
ストで製作できるので、少数の人だけでなく多数の人に
とって使用可能にすることができる。

【図面の簡単な説明】

【図１】従来の技術を利用した並列プロセッサ処理要素
を示す図である。

【図２】従来の技術を利用した並列プロセッサ処理要素
を示す図である。

【図３】本発明の新規チップ設計を表す、大規模並列プ
ロセッサの構成単位を示す図である。

【図４】本発明のチップ・シングル・ノード密並列プロ
セッサの好ましい実施例用の好ましいチップ物理クラス
タ・レイアウトを右側に示し、代替技術を左側に示す図
である。ここで、各チップは、ＣＭＯＳＤＲＡＭメモ
リおよび論理回路を備え、５ＭＩＰＳの性能を提供す
る、スケーリング可能な並列プロセッサ・チップであ
り、大規模並列システムの空冷式実施を可能にする。

【図５】本発明によるコンピュータ・プロセッサの機能
ブロック図である。

【図６】典型的なＡＰＡＰ・コンピュータ・システム構
成を示す図である。

【図７】４０ないし１９３８４０ＭＩＰＳの性能のシス
テムを開発可能にする、ＰＭＥ要素の複製を使用したシ
ステム構築を例示する、本発明の密並列プロセッサ技術
のシステム概要を示す図である。

【図８】本発明による処理要素（ＰＭＥ）データ・フロ
ーおよびローカル・メモリ用のハードウェアを示す図で
ある。

【図９】ＰＭＥをバードワイヤ接続された汎用コンピュ
ータとして構成して、プログラム制御式浮動小数点演算
によって約５ＭＩＰＳの固定小数点処理または０．４Ｍ
ＦＬＯＰＳを実現する、ＰＭＥデータ・フローを示す図
である。

【図１０】本発明に従って使用できるＰＭＥ間接続（バ
イナリ・ハイパーキューブ）およびデータ経路を示す図
である。

【図１１】それぞれ単一の外部ポートを管理し、ネット
ワーク制御機能の分散を可能にするとともに、機能ハー
ドウェア・ポートのボトルネックをなくす、８個のＰＭ
Ｅを有するチップまたはノード用のノード相互接続を示
す図である。

【図１２】各ＰＭＥが、３２Ｋワードのローカル・メモ
リを備える１６ビット幅のプロセッサであり、制御装置
とすべての機構の間のインタフェースを提供する同報通
信ポート用の入出力ポート動作があり、外部ポートは、
チップ内および外部とのリング・トーラス接続が可能な
両方向２地点間インタフェースである、スケーリング可
能な並列プロセッサ・チップを示す図である。

【図１３】好ましい実施例のアレイ・ディレクタを示す
図である。

【図１４】クラスタのエッジをシステム・バス（図１５
参照）に接続することにより、アレイのロードおよびア
ンロードを可能にする、クラスタ・アレイ結合との間の
システム・バスを示す図である。

【図１５】処理要素部分との間のバスを示す図である。
図１４および図１５は、複数のシステム・バスをどのよ
うにして複数のクラスタでサポートするかを示してい
る。各クラスタは５０〜５７ＭＢの帯域幅をサポートで
きる。

【図１６】高速入出力接続用の「ジッパ接続」を示す図
である。

【図１７】８次ハイパーキューブに適用される、本発明
によるパッケージング技術を示す、８次ハイパーキュー
ブ接続を示した図である。

【図１８】ハイパーキューブにおける２つの独立したノ
ード接続を示す図である。

【図１９】ＢｉｔｏｎｉｃＳｏｒｔアルゴリズムを例
として示し、定義済みＳＩＭＤ／ＭＩＭＤプロセッサ・
システムの利点を示した図である。

【図２０】１つのアプリケーション・プロセッサ・イン
タフェースを備える、ホストに接続された大規模システ
ムのシステム・ブロック図である。本発明が、複数のア
プリケーション・プロセッサ・インタフェースを使用す
るスタンドアロン・システムで使用できるという了解の
もとにこの図を見ることもできる。図２０のこのような
インタフェースは、すべてのクラスタまたは多数のクラ
スタ上でＤＡＳＤ／グラフィックスをサポートする。ワ
ークステーション・アクセレレータは、エミュレーショ
ンで示されるホスト、アプリケーション・プロセッサ・
インタフェース（ＡＰＩ）、およびクラスタ・シンクロ
ナイザ（ＣＳ）を不要にすることができる。クラスタ・
シンクロナイザは、すべての例に必要ではない。

【図２１】本発明のシステムのソフトウェア開発環境を
示す図である。プログラムは、ホスト・アプリケーショ
ン・プロセッサによって作成し、該プロセッサから実行
することができる。プログラムとマシン・デバッグの両
方が、図２１および図２４に示すワークステーション・
ベースのコンソールでサポートされる。これらのサービ
スはどちらも、実ＭＭＰまたはシミュレートされたＭＭ
Ｐ上で動作するアプリケーションをサポートし、ワーク
ステーション・レベルでも、スーパーコンピュータ形式
のＡＰＡＰＭＭＰ上でもアプリケーションが開発でき
るようにする。この共通ソフトウェア環境によって、プ
ログラミング可能性および分散型使用が拡張される。

【図２２】この新規システムによって使用可能となるプ
ログラミング・レベルを示す図である。様々なユーザが
多かれ少なかれ詳細な知識を必要とするので、これらの
ニーズをサポートするソフトウェア・システムが開発さ
れる。最上位レベルでは、アーキテクチャが実際はＭＭ
Ｐであることをユーザが知る必要はない。このシステム
は、並列ＦＯＲＴＲＡＮなど、プログラムの区分用の既
存の言語システムと併用できる。

【図２３】上述のＡＰＡＰ構成によって提供されるＭＭ
Ｐ用の並列ＦＯＲＴＲＡＮコンパイラ・システムを示す
図である。順次−並列コンパイラ・システムは、既存の
コンパイラ機能と新規データ割振り機能の組合せを使っ
て、ＦＯＲＴＲＡＮＤなどの区分プログラムを使用で
きるようにする。

【図２４】ＡＰＡＰがワークステーション・アクセレレ
ータになる、ＡＰＡＰのワークステーション・アプリケ
ーションを示す図である。装置は、ＲＩＳＣ／６０００
モデル５３０と同じ物理サイズであるが、このモデルは
現在、図のバス拡張モジュールを介してワークステーシ
ョンに接続されたＭＭＰを備えていることに留意された
い。

【図２５】ＡＷＡＣＳ軍用または商業アプリケーション
用のＡＰＡＰＭＭＰモジュール用のアプリケーション
を示す図である。これは、この図に示す従来の分散型セ
ンサ・フュージョンの問題を効率的に処理する１つの方
法である。ここでは、最近傍、２次元線割当て（Ｍｕｎ
ｋｅｓ）、確率的データ関連付け、複数仮説試験などの
周知のアルゴリズムにより従来の方法で実行されるが、
これらは現在、図２６および図２７に示す改良された方
法で実施できる。

【図２６】システムがどのようにｎ次元割当て問題をリ
アルタイムで処理できるようにするかを示す図である。

【図２７】ＡＰＡＰを使用した、ｎ次元割当て問題の処
理フローを示す図である。

【図２８】ユニットがどのようにして８〜１０個の拡張
ＳＥＭ−Ｅモジュールだけを使って４２４ＭＦＬＯＰＳ
または５１２０ＭＩＰＳを実現し、わずか約０．０１７
ｍ³で特殊信号プロセッサ・モジュールの性能に匹敵す
る性能を提供することができるかを示す、上述のシステ
ム格納装置によって提供される拡張ユニットを示す図で
ある。このシステムは、毎秒２０億命令（ＧＯＰＳ）を
実行する１０２４個の並列プロセッサを備えたＳＩＭＤ
大規模マシンとなることができ、かつ１０２４個の追加
プロセッサおよび３２ＭＢの追加記憶域を増設すること
によって拡張することができる。

【図２９】スーパーコンピュータのＡＰＡＰパッケージ
ングを示す図である。これは、他のシステムの性能に匹
敵するが、他のシステムよりフットプリントがはるかに
小さい大規模システムである。これは、より小規模なマ
シンに使用されるような格納装置内でＡＰＡＰクラスタ
を複製することによって構築できる。

【図３０】レジスタ・レジスタ（ＲＲ）フォーマットを
示す図である。

【図３１】直接アドレス（ＤＡ）フォーマットを示す図
である。

【図３２】レジスタ記憶域（ＲＳ）フォーマットを示す
図である。

【図３３】レジスタ即値（ＲＩ）フォーマットを示す図
である。

【図３４】記憶域間（ＳＳ）フォーマットを示す図であ
る。

【図３５】特殊（ＳＰＣ１）フォーマットを示す図であ
る。

【図３６】特殊（ＳＰＣ２）フォーマットを示す図であ
る。

【符号の説明】

２００アプリケーション・プロセッサ２４０テスト／デバッグ・デバイス２５０アレイ・ディレクタ３００シングル・プロセッサ・ユニット３０１３２Ｋハーフワード・メモリ３０２１６ビット・プロセッサ３１０ネットワーク・ノード３１３ネットワーク・ルータ３１４信号入出力機構４０５ＡＲレジスタ４０６マルチプレクサ４２０メモリ４６０演算論理機構６３０アプリケーション・プロセッサ・インタフェー
ス６４０クラスタ制御装置６５０クラスタ・シンクロナイザ

───────────────────────────────────────────────────── フロントページの続き (72)発明者クライヴ・アラン・コリンズアメリカ合衆国12601、ニューヨーク州ポーキープシー、モンロー・ドライブ９ (72)発明者マイケル・チャールズ・ダップアメリカ合衆国13760、ニューヨーク州エンドウェル、アイヴォン・アベニュー 1130 (72)発明者ジェームズ・ウォレン・ディーフェンデルファーアメリカ合衆国13827、ニューヨーク州オウェゴ、フロント・ストリート 396 (72)発明者ビリー・ジャック・ノウルズアメリカ合衆国12401、ニューヨーク州キングストン、ハーリー・アベニュー 72 (72)発明者デイヴィッド・ブルース・ロルフアメリカ合衆国12491、ニューヨーク州ウェスト・ハリー、パイン・トリー・ロード 24

Claims

【特許請求の範囲】

【請求項１】大規模並列マシンとして編成された複数の
ノードを含み、前記ノードがｎ次元修正ハイパーキュー
ブとして相互接続されている、コンピュータ・システ
ム。
【請求項２】各ノードに多重プロセッサ・メモリ・コン
ピュータ・システムを有し、ｎ次元修正ハイパーキュー
ブとして相互接続されたノードを備える大規模並列マシ
ンとして編成されたノード・アレイをもたらす、請求項
１に記載のコンピュータ・システム。
【請求項３】大規模並列マシンとして編成され、内部通
信経路および外部通信経路に沿ったプロセッサ・メモリ
要素間の並列通信経路を備える前記ノードが、ｎ次元修
正ハイパーキューブとして相互接続されている、請求項
１に記載のコンピュータ・システム。
【請求項４】ｎ次元修正ハイパーキューブとして相互接
続されたノードを備える大規模並列マシンとして編成さ
れ、各プロセッサ・メモリ要素が、チップ・ピンを備え
たチップ上のノードのプロセッサ・メモリ要素間でデー
タの引渡しを行えるように統合され、前記チップ・ピン
の大部分がプロセッサ間入出力機能に使用される、請求
項１に記載のコンピュータ・システム。
【請求項５】ノードが、ｎ次元修正ハイパーキューブと
して接続された処理アレイを形成する１組のノードの一
部であり、修正ハイパーキューブが、２次元の場合はト
ーラスを形成し、３次元の場合は、エッジ表面が対向表
面に折り返された直交接続格子を形成する、請求項１に
記載のコンピュータ・システム。
【請求項６】ノードが、ｎ次元修正ハイパーキューブと
して接続された処理アレイを形成する１組のノードの一
部であり、修正ハイパーキューブが、４次元以上の場
合、「単純接続」、「編組」、「交差接続」、または
「完全接続」できるリングとして相互接続されたｍ₁個
１組のノードをもたらし、トーラスを形成するｍ₂組の
リング内の等しい各ノードを接続することによってｍ₂
個のリングがリンクでき、ｉ次元修正ハイパーキューブ
からｉ＋１次元修正ハイパーキューブが形成され、ｍ
_i+1組のｉ次元ハイパーキューブが、等しいｍ_iレベルの
ノードがすべて相互接続されたリングを備える、請求項
１に記載のコンピュータ・システム。
【請求項７】ノードが、２ｎ個のプロセッサ・メモリ要
素と同報通信／制御インタフェースとを備え、修正ハイ
パーキューブ内の１組のリングの結合ネットワーク相互
接続、および修正ハイパーキューブ内の１組のリングを
相互接続するプロセッサ・メモリ要素のグループ化をも
たらすことを特徴とする、請求項１に記載のコンピュー
タ・システム。
【請求項８】コンピューティング・システムが、複数の
ノードＮを備える非バイナリ・ハイパーキューブを形成
し、ここでＮ＝ｂ^**ｎであり、ｂおよびｎが正の整数で
かつｂ＞２であり、各ノードが数体系基底ｂに従って番
号付けされた識別用アドレスを有し、各ノードを、その
ノードのアドレスと１つの桁だけ異なるアドレスを持つ
ノードに相互接続する手段があり、１ノード当たりの接
続数がｍｕ^*１ｏｇｂ（Ｎ）であって、ここでｍｕ＝２
ｄであり、ｂが偶数の場合は１≦ｄ≦ｂ／２、ｂが奇数
の場合は１≦ｄ≦（ｂ−１）２であり、ｂが偶数でかつ
ｄ＝ｂ／２の場合に限ってｍｕ＝ｂ−１となることを特
徴とする、請求項１に記載のコンピュータ・システム。
【請求項９】ノードが他のノードに結合され、４次元修
正ハイパーキューブの場合、＋Ｘ、＋Ｙ、＋Ｚ、＋Ｗ、
−Ｘ、−Ｙ、−Ｚ、−Ｗで表される８個の外部ポートを
サポートすることを特徴とする、請求項１に記載のコン
ピュータ・システム。
【請求項１０】ノードが他のノードに結合され、４次元
修正ハイパーキューブの場合、８個の外部ポートをサポ
ートし、ノードがポートを介して接続されてリングを形
成し、対応するポートを相互接続することによってリン
グを相互接続してリングのリングを形成して、折り返さ
れたクラスタのエッジを論理的に「ジップ解除」しそれ
を外部システム・バスに接続することにより、外部シス
テムへの入出力機構が形成された、折り返されたクラス
タ構造が形成できることを特徴とする、請求項１に記載
のコンピュータ・システム。
【請求項１１】外部入出力機構へのインタフェースによ
り、リングの一部またはすべてを論理的に破壊し、破壊
されたリングの２つの端部を外部入出力バスに接続する
ことができる、リング内リングを備えたトポロジーを拡
張によって可能にすることのできる、修正ハイパーキュ
ーブ相互接続を備えることを特徴とする、請求項１に記
載のコンピュータ・システム。
【請求項１２】外部入出力機構へのインタフェースによ
り、リングの一部またはすべてを論理的に破壊し、破壊
されたリングの２つの端部を論理操作として外部入出力
バスに接続して、一定の時間間隔で規則的にノード内プ
ロセッサ・メモリ要素間通信を可能にしながら、他の時
間間隔で入出力を可能にすることができ、修正ハイパー
キューブ内のリング・レベルでの破壊プロセスにより、
入出力を目的として、リングが効果的に「ジップ解除」
され、修正ハイパーキューブの１ないしｎ個のエッジ上
に存在する可能性のあるアレイへの別々のインタフェー
スがもたらされ、アレイの複数次元への並列入力または
アレイの複数次元への同報通信がサポートされる、リン
グ内リングを備えたトポロジーを拡張によって可能にす
ることができる、修正ハイパーキューブ相互接続を備え
ることを特徴とする、請求項１に記載のコンピュータ・
システム。
【請求項１３】大規模並列アレイ・プロセッサとして編
成された複数のプロセッサ・メモリ要素から成る複数の
ノードを備え、前記プロセッサ・メモリ要素がそれぞれ、システムにお
けるノード間のｎ次元修正ハイパーキューブ相互接続用
の複数の通信経路を有し、各プロセッサ・メモリ要素が、前記ノードの外部にあ
る、コンピュータ・システムの別の同様なスケーリング
可能ノードへの通信のための通信経路を有することを特
徴とする、複数のプロセッサおよびメモリを有するコンピュータ・
システム。
【請求項１４】大規模並列アレイ・プロセッサとして編
成された複数のプロセッサ・メモリ要素から成る複数の
ノードを備え、前記プロセッサ・メモリ要素がそれぞれ、ハイパーキュ
ーブの配線および論理密度なしでハイパーキューブの最
適直径をよく近似するネットワーク用の、システムにお
けるノード間のｎ次元修正ハイーパーキューブ相互接続
用の複数の通信経路を有することを特徴とする、複数のプロセッサおよびメモリを有するコンピュータ・
システム。
【請求項１５】大規模並列アレイ・プロセッサとして編
成された複数のプロセッサ・メモリ要素から成る複数の
ノードを備え、前記プロセッサ・メモリ要素がそれぞれ、システムにお
けるノード間のｎ次元修正ハイパーキューブ相互接続用
の複数の通信経路を有し、内部プロセッサ・メモリ要素間に２つのリングがあり、
各プロセッサ・メモリ要素が他のリングにおけるプロセ
ッサ・メモリ要素と接続されていることを特徴とする、複数のプロセッサおよびメモリを有するコンピュータ・
システム。
【請求項１６】複数のノードを備え、該ノードが、＋−
Ｙおよび＋−Ｙを使ってアレイとして接続されてクラス
タを形成し、該アレイの次元数が、任意であって、一般
に、バイナリ・ハイパーキューブを実現する２より大き
く、該ノードがクラスタとして相互結合され、＋−Ｗ、
＋−Ｚを使って該クラスタがクラスタのアレイとして接
続され、該アレイの次元数が任意であって、ノードの４
次元ハイパーキューブとしての結合が可能であり、別の
２本のバス、たとえば＋−Ｅ１を使って４次元ハイパー
キューブをハイパーキューブのベクトルとして接続し
て、１０個のプロセッサ・メモリ要素ノードから成る５
次元ハイパーキューブにシステムが拡張できることを特
徴とする、複数のプロセッサおよびメモリを有するコンピュータ・
システム。
【請求項１７】"ｎ"が、修正ハイパーキューブを特徴づ
けるリングの次元数を表し、"ｋ"が、ノードを特徴づけ
るリングの数を表すとして、それぞれｋ^*ｎ個のプロセ
ッサ・メモリ要素と同報通信／制御インタフェース（Ｂ
ＣＩ）セクションとを有する複数のノードを備えること
を特徴とする、複数のプロセッサおよびメモリを有する
コンピュータ・システム。
【請求項１８】複数のプロセッサおよびメモリを有する
複数のノードを備え、プロセッサ・メモリ要素のネット
ワークにおいて複数のノードを相互接続するための、修
正ハイパーキューブ・トポロジー用相互接続方法が提供
され、その際に、ａ．１組のｅ１、ｅ２、ｅ３、．．．に関して、すべて
の要素の積が、ネットワーク内のプロセッサ・メモリ要
素の数Ｍと等しく、ｅ１およびｅ２を除く該組のすべて
の要素の積がノードの数Ｎに等しく、該組の要素の数ｍ
が、関係式ｎ＝ｍ−２によりネットワークの次元数ｎを
定義するように、前記の１組のｅ１、ｅ２、ｅ
３、．．．が定義され、ｂ．プロセッサ・メモリ要素が、１組のインデックスａ
１、ａ２、．．．ａｍによってアドレス指定され、その
際に各インデックスが、等しい展開レベルにあるＰＭＥ
の位置であり、したがってｉが１、２、．．．ｍの場合
にインデックスａｉが０ないしｅｉ−１の範囲にあり、
ａ（ｉ）という表記が通常通り要素ａのリストのｉ番目
の要素を意味し、ｅ（ｉ）という表記が通常通り要素ｅ
のリストのｉ番目の要素を意味するものとして、公
式（...(a(m)^*e(m-1)+a(m-2))e(m-1)...(a(2)^*e(1))+a
(1)によって算出され、ｃ．１）ｒ／（ｅｌ^*ｅ２）の整数部分がｓ／（ｅ１^*ｅ２）
の整数部分と等しく、かつａ）ｒ／ｅ１の剰余部分がｓ／ｅ１の剰余部分と１だけ
異なり、あるいはｂ）ｒ／ｅ２の剰余部分がｓ／ｅ２の剰余部分と１また
はｅ２−１だけ異なり、かつ２）ｉが３、４、．．．ｍの範囲の場合にｒ／ｅｉの剰
余部分がｓ／ｅｉの剰余部分と異なり、ｒ／ｅ１の剰余
部分がｓ／ｅ２の剰余部分すなわちｉ−３と等しく、ｒ
／ｅ２の剰余部分がｓ／ｅ２の剰余部分とｅ２−１だけ
異なる、という２つの条件のいずれかが成り立つ場合に
かぎり、（アドレスｆおよびアドレスｇを有する）２つ
のプロセッサ・メモリ要素が接続されることを特徴とす
る、複数のプロセッサおよびメモリを有するコンピュータ・
システム。
【請求項１９】複数のプロセッサおよびメモリを有する
複数のノードを備え、プロセッサ・メモリ要素のネット
ワークにおいて複数のノードを相互接続するための、修
正ハイパーキューブ・トポロジー用相互接続方法が提供
され、その際に、コンピューティング・システム・ノードが、各次元で基
数が異なる可能性のある非バイナリ・ハイパーキューブ
を形成し、ノードが、２^*ｎ個のポートをサポートする
プロセッサ・メモリ要素のアレイとして定義され、該ノ
ードによって提供されるポートが修正ハイパーキューブ
の次元数要件に適合し、特定の修正ハイーパーキューブの各次元の特定のエクス
テントを定義する、１組の整数ｅ３、ｅ４、．．．ｅｍ
をすべて等しい値、たとえばｂとし、ｅ１およびｅ２を
１とする場合、アドレス可能性および接続についての直
前の公式が、ａ．Ｎ＝ｂ^**ｎとなり、ｂ．基底Ｂ数体系を表す数としてプロセッサ・メモリ要
素がアドレス指定され、ｃ．ｆのアドレスがｇのアドレスとちょうど１基底ｂ桁
だけ異なる場合にかぎり、０とｂ−１が１だけ離れてい
るという規則を使って、２つの演算要素（ｆおよびｇ）
が接続され、ｄ．各プロセッサ・メモリ要素によってサポートされる
接続の数が２^*ｎであることを特徴とする、複数のプロセッサおよびメモリを有するコンピュータ・
システム。