JP2549241B2

JP2549241B2 - コンピュータ・システム

Info

Publication number: JP2549241B2
Application number: JP5111877A
Authority: JP
Inventors: トマス・ノーマン・バーカー; クライブ・アラン・コリンズ; マイケル・チャールズ・ダップ; ジェームズ・ウォレン・ディーフェンデルファー; ドナルド・ジョージ・グライス; ビリー・ジャック・ノウルズ; ドナルド・マイケル・レスマイスター; リチャード・エドワード・ニア; エリー・ユージン・レター; デイヴィッド・ブルース・ロルフ; ヴィンセント・ジョン・スモーラル
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1992-05-22
Filing date: 1993-05-13
Publication date: 1996-10-30
Anticipated expiration: 2011-10-30
Also published as: JPH0675931A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、密並列のプロセッサ及
びアーキテクチャに関し、詳細には、処理要素のアレイ
にデータを出し入れすることに関する。

【０００２】

【従来の技術】はじめに、本明細書で用いられる用語に
ついて説明する。

【０００３】・ＡＬＵＡＬＵとは、プロセッサの演算論理回路部分である。

【０００４】・アレイアレイとは、１次元または多次元における要素のアレイ
を指す。アレイは、順番に並べた１組のデータ項目（ア
レイ要素）を含むことができるが、ＦＯＲＴＲＡＮのよ
うな言語では、それらのデータ項目は単一の名前で識別
される。他の言語では、順番に並べた１組のデータ項目
の名前は、すべて同じ属性を持つ順番に並べた１組のデ
ータ要素を指す。プログラム・アレイでは、一般に数ま
たは次元属性によって次元が指定される。アレイの宣言
子でアレイの各次元のサイズを指定する言語もあり、ア
レイがテーブル内の要素のアレイとなっている言語もあ
る。ハードウェア的な意味では、アレイは、大規模並列
アーキテクチャにおいて全体として同一な構造（機能要
素）の集合体である。データ並列コンピュータ処理にお
けるアレイ要素は、動作を割り当てることができ、並列
状態のとき、それぞれ独立にかつ並列に必要な動作を実
行できる要素である。一般に、アレイは処理要素の格子
と考えることができる。アレイの各セクションに区分デ
ータを割り当てることにより、区分データを規則的な格
子パターン内で移動することができる。ただし、データ
に索引を付け、あるいはデータをアレイ中の任意の位置
に割り当てることが可能である。

【０００５】・アレイ・ディレクタアレイ・ディレクタとは、アレイの制御プログラムとし
てプログラミングされる単位である。アレイ・ディレク
タは、アレイとしてアレイされた機能要素のグループの
マスタ制御プログラムとしての機能を果す。

【０００６】・アレイ・プロセッサアレイ・プロセッサには主として、複数命令複数データ
方式（ＭＩＭＤ）と単一命令複数データ方式（ＳＩＭ
Ｄ）との２種類がある。ＭＩＭＤアレイ・プロセッサで
は、アレイ中の各処理要素が、それ自体のデータを使っ
てそれ自体の固有の命令ストリームを実行する。ＳＩＭ
Ｄアレイ・プロセッサでは、アレイ中の各処理要素が、
共通の命令ストリームを介して同一の命令に限定され
る。ただし、各処理要素に関連するデータは固有であ
る。本発明の好ましいアレイ・プロセッサには他にも特
徴がある。本明細書では、これを拡張並列アレイ・プロ
セッサと呼び、ＡＰＡＰという略語を使用する。

【０００７】・非同期非同期とは、規則的な時間関係がないことである。すな
わち、各機能の実行間の関係が予測不能であり、各機能
の実行間に規則的または予測可能な時間関係が存在しな
い。制御状況では、制御プログラムは、データが、アド
レスされている遊休要素を待っているとき、制御が渡さ
れる位置にアドレスする。このため、諸操作が、どの事
象とも時間が一致しないのに順序通りのままとなる。

【０００８】・ＢＯＰＳ／ＧＯＰＳＢＯＰＳまたはＧＯＰＳは、１秒当たり１０億回の動作
という同じ意味の略語である。ＧＯＰＳを参照された
い。

【０００９】・回線交換／蓄積交換これらの用語は、ノードのネットワークを介してデータ
・パケットを移動するための２つの機構を指す。蓄積交
換は、データ・パケットを各中間ノードで受信し、その
メモリに格納してから、その宛先に向かって転送する機
構である。回線交換は、中間ノードに、その入力ポート
を出力ポートに論理的に接続するよう指令して、データ
・パケットが、中間ノードのメモリに入らずに、ノード
を直接通過して宛先に向かうことができるようにする機
構である。

【００１０】・クラスタクラスタとは、制御ユニット（クラスタ制御装置）と、
それに接続されたハードウェア（端末、機能ユニット、
または仮想構成要素）とから成るステーション（または
機能ユニット）である。本明細書では、クラスタは、ノ
ード・アレイとも称するプロセッサ・メモリ要素（ＰＭ
Ｅ）のアレイを含む。通常、クラスタは５１２個のＰＭ
Ｅ要素を有する。

【００１１】本発明の全ＰＭＥノード・アレイは、それ
ぞれ１つのクラスタ制御装置（ＣＣ）によってサポート
される１組のクラスタから成る。

【００１２】・クラスタ制御装置クラスタ制御装置とは、それに接続された複数の装置ま
たは機能ユニットの入出力動作を制御する装置である。
クラスタ制御装置は通常、ＩＢＭ３６０１金融機関通
信制御装置におけるように、該ユニットに格納され、そ
こで実行されるプログラムの制御を受けるが、ＩＢＭ
３２７２制御装置におけるように、ハードウェアで完全
に制御可能である。

【００１３】・クラスタ・シンクロナイザクラスタ・シンクロナイザとは、あるクラスタのすべて
または一部分の動作を管理して、諸要素の同期動作を維
持し、各機能ユニットがプログラムの実行と特定の時間
関係を維持できるようにする機能ユニットである。

【００１４】・制御装置制御装置とは、相互接続ネットワークのリンクを介した
データおよび命令の伝送を指令する装置である。制御装
置の動作は、制御装置が接続されたプロセッサによって
実行されるプログラム、または制御装置内で実行される
プログラムによって制御される。

【００１５】・ＣＭＯＳＣＭＯＳとは、相補型金属酸化膜半導体技術の略語であ
る。これは、ダイナミック・ランダム・アクセス・メモ
リ（ＤＲＡＭ）の製造に広く使用されている。ＮＭＯＳ
は、ダイナミック・ランダム・アクセス・メモリの製造
に使用されるもう１つの技術である。本発明では相補型
金属酸化膜半導体の方を使用するが、拡張並列アレイ・
プロセッサ（ＡＰＡＰ）の製造に使用する技術によっ
て、使用される半導体技術の範囲が制限されることはな
い。

【００１６】・ドッティングドッティングとは、物理的な接続によって３本以上のリ
ード線を結合することを指す。たいていのバックパネル
・バスではこの接続方法を使用している。この用語は、
過去のＯＲＤＯＴＳと関係があるが、ここでは、非常
に単純なプロトコルによってバス上に結合できる複数の
データ源を識別するのに使用する。

【００１７】本発明における入出力ジッパの概念を用い
て、あるノードに入る入力ポートが、あるノードから出
る出力ポート、またはシステム・バスからくるデータに
よって駆動できるという概念を実施することができる。
逆に、あるノードから出力されるデータは、別のノード
およびシステム・バスへの入力として使用できる。シス
テム・バスと別のノードへのデータ出力は、同時には実
行されず、別のサイクルで実行されることに留意された
い。

【００１８】ドッティングは、それを利用することによ
り２ポート式のＰＥまたはＰＭＥまたはピケットを様々
な編成のアレイに使用できる、Ｈ−ＤＯＴの議論で使用
されている。２次元メッシュおよび３次元メッシュ、ベ
ース２Ｎキューブ、スパース・ベース４Ｎキューブ、ス
パース・ベース８Ｎキューブを含めて、いくつかのトポ
ロジーが議論されている。

【００１９】・ＤＲＡＭＤＲＡＭとは、コンピュータが主記憶装置として使用す
る共通記憶装置であるダイナミック・ランダム・アクセ
ス・メモリの略語である。ただし、ＤＲＡＭという用語
は、キャッシュとして、または主記憶装置ではないメモ
リとして使用するのにも適用できる。

【００２０】・浮動小数点浮動小数点数は、固定小数部すなわち小数部と、約束上
の基数または基底に対する指数部の２つの部分で表され
る。指数は、１０進小数点の実際の位置を示す。典型的
な浮動小数点の表記法では、実数０．０００１２３４は
０．１２３４−３と表される。ここで、０．１２３４は
小数部であり、−３は指数である。この例では、浮動小
数点基数または基底は１０であり、暗示的な１より大き
な正の固定整数基底を表す。浮動小数点表示で明示的に
示される、あるいは浮動小数点表示で指数部で表される
指数でこの基底をべき乗し、次に小数部を掛けると、表
される実数が求められる。数字リテラルは、浮動小数点
表記法で表すことも実数で表すこともできる。

【００２１】・ＦＬＯＰＳこの用語は、１秒当たりの浮動小数点命令数を指す。浮
動小数点演算には、ＡＤＤ（加算）、ＳＵＢ（減算）、
ＭＰＹ（乗算）、ＤＩＶ（除算）と、しばしばその他の
多くの演算が含まれる。１秒当たり浮動小数点命令数と
いうパラメータは、しばしば加算命令または乗算命令を
使って算出され、一般に５０／５０ミックスとみなすこ
とができる。演算には、指数部、小数部の生成と、必要
な小数部の正規化が含まれる。本発明では、３２ビット
または４８ビットの浮動小数点フォーマットを扱うこと
ができる（これより長くてもよいが、そのようなフォー
マットはミックスではカウントしなかった）。浮動小数
点演算を固定小数点命令（正規またはＲＩＳＣ）で実施
する際には、複数の命令が必要である。性能を計算する
際に１０対１の比率を使用する人もあれば、比率を６．
２５にした方が適切であることを示す研究もある。アー
キテクチャごとに比率が異なる。

【００２２】・機能ユニット機能ユニットとは、ある目的を達成できる、ハードウェ
ア、ソフトウェア、あるいはその両方のエンティティで
ある。

【００２３】・ＧバイトＧバイトとは１０億バイトを指す。Ｇバイト／秒は、１
秒当たり１０億バイトということになる。

【００２４】・ＧＩＧＡＦＬＯＰＳ１秒当たり１０⁹個の浮動小数点命令

【００２５】・ＧＯＰＳおよびＰＥＴＡＯＰＳＧＯＰＳまたはＢＯＰＳは、１秒当たり１０億回の演算
という同じ意味を持つ。ＰＥＴＡＯＰＳは、現在のマシ
ンの潜在能力である１秒当たり１兆回の演算という意味
である。本発明のＡＰＡＰマシンでは、これらの用語
は、１秒当たり１０億個の命令数を意味するＢＩＰ／Ｇ
ＩＰとほぼ同じである。１つの命令で複数の演算（すな
わち、加算と乗算の両方）を実行できるマシンもある
が、本発明ではそのようにはしない。また、１つの演算
を実行するのに多数の命令を要する場合もある。たとえ
ば、本発明では複数の命令を使って、６４ビット演算を
実行している。しかし、演算をカウントする際、対数演
算のカウントは行わなかった。性能を記述するにはＧＯ
ＰＳを使用する方が好ましいが、それを一貫して使うこ
とはしなかった。ＭＩＰ／ＭＯＰ、その上の単位として
ＢＩＰ／ＢＯＰ、およびＭｅｇａＦＬＯＰＳ／Ｇｉｇａ
ＦＬＯＰＳ／ＴｅｒａＦＬＯＰＳ／ＰｅｔａＦＬＯＰＳ
が使用される。

【００２６】・ＩＳＡＩＳＡとは、命令セット・アーキテクチャを意味する。

【００２７】・リンクリンクとは、物理的または論理的要素である。物理的リ
ンクは要素またはユニットを結合するための物理接続で
あり、一方コンピュータ・プログラミングにおけるリン
クは、プログラムの別々の部分間で制御およびパラメー
タのやり取りを行う命令またはアドレスである。多重シ
ステムでは、実アドレスまたは仮想アドレスで識別され
るリンクを識別するプログラム・コードによって指定さ
れる、２つのシステム間の接続がリンクである。したが
って、リンクには一般に、物理媒体、任意のプロトコ
ル、ならびに関連する装置およびプログラミングが含ま
れる。すなわち、リンクは論理的であるとともに物理的
である。

【００２８】・ＭＦＬＯＰＳＭＦＬＯＰＳは、１秒当たり１０⁶個の浮動小数点命令
を意味する。

【００２９】・ＭＩＭＤＭＩＭＤは、アレイ内の各プロセッサがそれ自体の命令
ストリームを持ち、したがって多重命令ストリームを有
し、１処理要素当たり１つずつ配置された複数データ・
ストリームを実行する、プロセッサ・アレイ・アーキテ
クチャを指すのに使用される。

【００３０】・モジュールモジュールとは、離散しており識別可能なプログラム単
位、あるいは他の構成要素と共に使用するように設計さ
れたハードウェアの機能単位である。また、単一の電子
チップに含まれるＰＥの集合体もモジュールと呼ばれ
る。

【００３１】・ノード一般に、ノードとはリンクの接合部である。ＰＥの汎用
アレイでは、１つのＰＥをノードとすることができる。
ノードはまた、モジュールというＰＥの集合体を含むこ
ともできる。本発明では、ノードはＰＭＥのアレイから
形成されており、この１組のＰＭＥをノードと称する。
ノードは８個のＰＭＥであることが好ましい。

【００３２】・ノード・アレイＰＭＥから構成されるモジュールの集合体をノード・ア
レイと呼ぶことがある。これは、モジュールから構成さ
れるノードのアレイである。ノード・アレイは通常、
２、３個より多いＰＭＥであるが、この用語は複数を包
含する。

【００３３】・ＰＤＥＰＤＥとは、偏微分方程式である。

【００３４】・ＰＤＥ緩和解法プロセスＰＤＥ緩和解法プロセスとは、ＰＤＥ（偏微分方程式）
を解く方法である。ＰＤＥを解くには、既知の分野にお
けるスーパー・コンピュータの計算能力の大半を使用
し、したがってこれは緩和プロセスの好例となる。ＰＤ
Ｅ方程式を解く方法は多数あり、複数の数値解法に緩和
プロセスが含まれている。たとえば、ＰＤＥを有限要素
法で解く場合、緩和の計算に大部分の時間が費やされ
る。熱伝達の分野の例を考えてみよう。煙突内に高温の
ガスがあり、外では冷たい風が吹いているとすると、煙
突のレンガ内の温度勾配はどのようになるだろうか。レ
ンガを小さなセグメントとみなし、セグメント間を熱が
どのように流れるかを温度差の関数として表す方程式を
書くと、伝熱ＰＤＥが有限要素問題に変換される。ここ
で、内側と外側の要素を除くすべての要素が室温であ
り、境界セグメントが高温のガスと冷たい風の温度であ
るとすると、緩和を開始するための問題ができあがる。
その後、コンピュータ・プログラムでは、セグメントに
流れ込む、あるいはセグメントから流れ出る熱の量に基
づいて各セグメント内の温度変数を更新することによ
り、時間をモデル化する。煙突における１組の温度変数
を緩和して、物理的な煙突で発生する実際の温度分布を
表すには、モデル中のすべてのセグメントを処理するサ
イクルに何回もかけなければならない。目的が煙突にお
けるガス冷却をモデル化することである場合、諸要素を
気体方程式に拡張しなければならず、そうすると、内側
の境界条件が別の有限要素モデルとリンクされ、このプ
ロセスが続く。熱の流れが隣接するセグメント間の温度
差に依存することに留意されたい。したがって、ＰＥ間
通信経路を使って温度変数を分配する。ＰＤＥ関係が並
列計算にうまく適用できるのは、この近隣接通信パター
ンまたは特性による。

【００３５】・ピケットこれは、アレイ・プロセッサを構成する要素のアレイ内
の要素である。この要素は、データ・フロー（ＡＬＵ
ＲＥＧＳ）、メモリ、制御機構、通信マトリックスのこ
の要素と関連する部分から構成される。この単位は、並
列プロセッサ要素およびメモリ要素と、その制御機構お
よびアレイ相互通信機構の一部から成るアレイ・プロセ
ッサの１／ｎを指す。ピケットは、プロセッサ・メモリ
要素（ＰＭＥ）の１つの形である。本発明のＰＭＥチッ
プ設計プロセッサ論理回路は、関連出願に記載されてい
るピケット論理を実施し、あるいはノードとして形成さ
れたプロセッサ・アレイ用の論理を持つことができる。
ピケットという用語は、処理要素を表す、一般的に使用
されているアレイ用語のＰＥと似ており、好ましくはビ
ット並列バイトの情報をクロック・サイクルで処理する
ための処理要素とローカル・メモリの組合せからなる、
処理アレイの要素である。好ましい実施例は、バイト幅
データ・フロー・プロセッサ、３２バイト以上のメモ
リ、原始制御機構、および他のピケットとの通信機構か
ら構成されている。

【００３６】「ピケット」という用語は、トム・ソーヤ
ーと、彼の白いフェンスに由来している。ただし、機能
的には、軍隊のピケット・ラインと類似性があることも
理解されよう。

【００３７】・ピケット・チップピケット・チップは、単一のシリコン・チップ上に複数
のピケットを含んでいる。

【００３８】・ピケット・プロセッサ・システム（また
はサブシステム）ピケット・プロセッサは、ピケットのアレイと、通信ネ
ットワークと、入出力システムと、マイクロプロセッ
サ、キャンド・ルーチン・プロセッサ、およびアレイを
実行するマイクロコントローラから成るＳＩＭＤ制御装
置とから構成されるトータル・システムである。

【００３９】・ピケット・アーキテクチャピケット・アーキテクチャは、ＳＩＭＤアーキテクチャ
の好ましい実施例であり、次のことを含む複数の多様な
問題に対応できる機能をもつ。 −セット連想処理 −並列数値中心処理 −イメージに類似した物理的アレイ処理

【００４０】・ピケット・アレイピケット・アレイは、幾何的順序でアレイされたピケッ
トの集合体であり、規則正しいアレイである。

【００４１】・ＰＭＥすなわちプロセッサ・メモリ要素ＰＭＥは、プロセッサ・メモリ要素を表す。本明細書で
は、ＰＭＥという用語を、本発明の並列アレイ・プロセ
ッサの１つを形成する、単一のプロセッサ、メモリ、お
よび入出力可能なシステム要素もしくはユニットを指す
のに使用する。ＰＭＥは、ピケットを包含する用語であ
る。ＰＭＥは、プロセッサ、それと結合されたメモリ、
制御インタフェース、およびアレイ通信ネットワーク機
構の一部分から成るプロセッサ・アレイの１／ｎであ
る。この要素は、ピケット・プロセッサにおけるよう
に、正規のアレイの接続性を持つＰＭＥ、あるいは上述
の多重ＰＭＥノードにおけるように、サブアレイの一部
としてのＰＭＥを備えることができる。

【００４２】・経路指定経路指定とは、メッセージを宛先に届けるための物理経
路を割り当てることである。経路の割当てには、発信元
と宛先が必要である。これらの要素またはアドレスは、
一時的な関係または類縁性を持つ。メッセージの経路指
定は、しばしば、割当てのテーブルを参照することによ
って得られるキーに基づいて行われる。ネットワーク内
では、宛先は、リンクを識別する経路制御アドレスによ
って、伝送される情報の宛先としてアドレス指定され
る、任意のステーションまたはネットワークのアドレス
指定可能ユニットである。宛先フィールドは、メッセー
ジ・ヘッダ宛先コードで宛先を識別する。

【００４３】・ＳＩＭＤアレイ内のすべてのプロセッサが、単一命令ストリーム
から、１処理要素当たり１つずつ配置された複数データ
・ストリームを実行するように指令を受ける、プロセッ
サ・アレイ・アーキテクチャ。

【００４４】・ＳＩＭＤＭＩＭＤまたはＳＩＭＤ／ＭＩ
ＭＤＳＩＭＤＭＩＭＤまたはＳＩＭＤ／ＭＩＭＤとは、ある
時間の間ＭＩＭＤからＳＩＭＤに切り換えて複雑な命令
を処理できる二重機能を持ち、したがって２つのモード
を持つマシンを指す用語である。シンキング・マシンズ
社（Thinking Machines, Inc）のコネクション・マシン
（Connection Machine）モデルＣＭ−２をＭＩＭＤマシ
ンのフロント・エンドまたはバック・エンドとして配置
すると、プログラマは、二重モードとも称する、複数の
モードを動作させてある問題の別々の部分を実行するこ
とができた。これらのマシンは、ＩＬＬＩＡＣ以来存在
しており、バスを使用してマスタＣＰＵを他のプロセッ
サと相互接続している。マスタ制御プロセッサは、他の
ＣＰＵの処理に割り込む能力を持つ。他のＣＰＵは、独
立のプログラム・コードを実行できる。割込み中、チェ
ックポイント機能用に何らかの処理が必要である（制御
されるプロセッサの現状況のクローズおよびセーブ）。

【００４５】・ＳＩＭＩＭＤＳＩＭＩＭＤは、アレイ内のすべてのプロセッサが、単
一命令ストリームから、１処理要素当たり１つずつ配置
された複数データ・ストリームを実行するように指令を
受ける、プロセッサ・アレイ・アーキテクチャである。
この構成内では、命令実行を模倣する、各ピケット内の
データ従属演算が、ＳＩＭＤ命令ストリームによって制
御される。

【００４６】これは、ＳＩＭＤ命令ストリームを使用し
て複数命令ストリーム（１ピケット当たり１個）を順序
付けし、複数データ・ストリーム（１ピケット当たり１
個）を実行することの可能な、単一命令ストリーム・マ
シンである。ＳＩＭＩＭＤは、ＰＭＥシステムによって
実行できる。

【００４７】・ＳＩＳＤＳＩＳＤは、単一命令単一データの略語である。

【００４８】・スワッピングスワッピングとは、ある記憶域のデータ内容を別の記憶
域のデータ内容と相互に交換することをいう。

【００４９】・同期操作ＭＩＭＤマシンにおける同期動作は、各アクションがあ
る事象（通常はクロック）に関係付けられる、動作モー
ドである。この事象は、プログラム・シーケンス中で規
則的に発生する、指定された事象とすることができる。
動作は多数の処理要素にディスパッチされ、それらの処
理要素はそれぞれ独立して機能を実行する。動作が完了
しないかぎり、制御は制御装置に返されない。

【００５０】要求が機能ユニットのアレイに対するもの
である場合、アレイ内の要素に制御装置から要求が出さ
れ、その要素は、制御装置に制御が返される前に動作を
完了しなければならない。

【００５１】・ＴＥＲＡＦＬＯＰＳＴＥＲＡＦＬＯＰＳは、１秒当たり１０¹²個の浮動小数
点命令を意味する。

【００５２】・ＶＬＳＩＶＬＳＩとは、（集積回路に適用される）超大規模集積
の略語である。

【００５３】・ジッパジッパとは、新規に提供される、アレイ構成の通常の相
互接続の外部にある装置からリンクを確立するための機
能である。

【００５４】・回線交換方式中間のＰＭＥによる追加
の操作なしにメッセージが中間ＰＭＥを通過して最終宛
先に向うように、中間ＰＭＥが入力ポートを出力ポート
に論理的に接続する、アレイ内のＰＭＥ間でのデータ転
送の方法。

【００５５】・入力転送完了割込み転送完了タグを伴
う入出力メッセージ・ワードを受け取ったときに行われ
る、プログラム・コンテキスト切替えの要求。

【００５６】・ブレイクイン入出力ポートがプロセッ
サ透過性コンテキスト切替えを引き起こし、プロセッサ
・データ流と制御経路を使ってデータ転送を自己管理す
るための機構。

【００５７】・実行時ソフトウェア処理要素上で実行
されるソフトウェアであり、オペレーティング・システ
ム、エグゼクティブ・プログラム、適用業務プログラ
ム、サービス・プログラムなどを含む。

【００５８】・メモリ・リフレッシュ現情報の再書込
み中にメモリの使用が中断される、動的ＲＡＭ技術で必
要とされる機能。

【００５９】・ジッパ一群のネットワーク・リングの
動的ブレイク。「ジップ」されたときは、データはネッ
トワークに出入りせずにリングを回ることができる。
「ジップ解除」されると、リングはブレイクされてネッ
トワークへのエッジを形成し、リングを回るデータがそ
こを通ってネットワークに出入りする。

【００６０】

【発明が解決しようとする課題】本発明の背景として、
メッシュ、トーラスその他の次元ネットワーク内での高
速入出力は、より高速の入出力によって強化される。従
来のシステムは、ネットワークに関して本発明の機能を
有さない。リングをブレイクしてネットワークへのエッ
ジを形成し、リングを回るデータがそこを通ってネット
ワークに出入りできるようにする機能を提供することは
重要であると考える。

【００６１】

【課題を解決するための手段】多重ＰＭＥコンピュータ
・システム用の高速入出力は、ネットワーク結合にブレ
イクインしてネットワーク結合を切り換える方法を提供
する。このシステム結合をジッパと称する。

【００６２】本発明の入出力ジッパの概念を用いて、あ
るノードに入るポートをあるノードから出るポートまた
はシステム・バスから来るデータで駆動することができ
るという概念を実施することができる。逆に、あるノー
ドから出されたデータが、別のノード及びシステム・バ
スへの入出力にとって使用可能になる。システム・バス
へのデータ出力と別のノードへのデータ出力は、同時で
はなく異なるサイクルに行われる。ジッパは、相互接続
されたノードのネットワークにデータを出し入れし、ノ
ードをメッシュ、リングまたは折返しトーラスとして相
互接続するシステム中で使用され、したがってネットワ
ークへのエッジはなく、ジッパ機構はリングをリングに
直交する次元に沿って論理的にブレイクして、ネットワ
ークへのエッジを確立させる。結合は、エッジのないネ
ットワークとエッジをもつネットワークの間でネットワ
ークを論理的に切り換える。エッジが活動状態のとき、
データはエッジを通ってネットワークに出入りし、この
結合により、ネットワークに入るデータの分散またはネ
ットワークから出るデータの収集が可能となり、その結
果、エッジを通るデータ速度が、ネットワークの外部の
システムの持続データ速度及びピーク・データ速度に一
致するようになる。

【００６３】ジッパは、一群のネットワーク・リングの
動的ブレイクを可能にする。「ジップ」されると、デー
タはネットワークに出入りせずにリングを回ることがで
きる。「ジップ解除」されると、リングはブレイクされ
てネットワークへのエッジを形成し、リングを回るデー
タがそこを通ってネットワークに出入りする。

【００６４】上記その他の改良点は、下記の詳細な説明
に記載されている。本発明と、その利点及び特徴をより
よく理解するため、下記の説明及び図面を参照された
い。

【００６５】下記の詳しい説明では、図面を参照しなが
ら、本発明の好ましい実施例とその利点及び特徴を例に
よって説明する。

【００６６】

【００６７】

【実施例】本発明は、データ転送とプログラム割込みと
を備えた完全な入出力システムを含む２次元以上の入出
力構造を利用して、チップ内でその構造に多数のＳＩＭ
Ｄプロセッサ・メモリ要素（ＰＭＥ）を付加するという
概念に基づいている。以下の記述は、１チップ当り８個
のＳＩＭＤ／ＭＩＭＤＰＭＥを有する４次元入出力構
造について行うが、より高次元にまたは１次元当りさら
に多くのＰＭＥに拡張することもできる。

【００６８】本発明では、これらの概念をプロセッサ間
通信から外部入出力機構に拡張する。さらに、処理アレ
イの制御に必要なインターフェース及び要素をも記述す
る。要約すると、入出力のタイプは次の３種ある。
（ａ）プロセッサ間、（ｂ）プロセッサと外部の間、
（ｃ）同報通信／制御。大規模並列処理システムでは、
これらすべてのタイプの入出力帯域幅をプロセッサの計
算能力と釣り合わせる必要がある。アレイ内で、これら
の要件は、非常に高速の割込み状態スワップ能力を付加
された１６ビット命令セット・アーキテクチャ・コンピ
ュータ（以下ではＰＭＥと称する）を複製することによ
って満足される。ＰＭＥの特徴は、他の大規模並列マシ
ンの処理要素と比較すると独特である。それは、処理、
経路指定、記憶及び入出力を完全に分散させることがで
きる。この特徴は他のどの設計にもない。

【００６９】拡張並列アレイ・プロセッサ（ＡＰＡＰ）
のブロック図を図１に示す。ＡＰＡＰは、ホスト・プロ
セッサ１の付属物である。ホスト・プロセッサ上で実行
されるプログラムによってデータとコマンドが発行され
る。これらのデータとコマンドを、アレイ・ディレクタ
のアプリケーション・インターフェース（ＡＰＩ）３で
受け取って変換する。次いでＡＰＩからデータとコマン
ドが、クラスタ・シンクロナイザ４とクラスタ制御装置
５を経てクラスタ６に渡される。これらのクラスタは、
ＡＰＡＰのメモリを提供し並列処理を行う。クラスタ・
シンクロナイザ４とクラスタ制御装置５が提供する機能
は、データとコマンドを適切なクラスタに経路指定し、
クラスタ間の負荷の均衡をはかることである。

【００７０】クラスタは、修正ハイパーキューブとして
相互接続されたいくつかのＰＭＥから構成される。ハイ
パーキューブ内では、各セルが、アドレスが１ビット位
置だけ異なるどのセルをも隣接セルとしてアドレスする
ことができる。リング内ではどのセルも、アドレスが±
１だけ異なる２つのセルを隣接セルとしてアドレスする
ことができる。ＡＰＡＰ用に使用される修正ハイパーキ
ューブは、この両方の手法を組み合わせて、リングから
ハイパーキューブを構築する。リングの交差部をノード
と定義する。本発明の好ましい実施例では、ノードは２
ｎ個のＰＭＥ２０と同報通信／制御インターフェース
（ＢＣＩ）部２１を含む。ＰＭＥはノード内で２×ｎア
レイとして構成される。ここで、ｎはアレイを特徴づけ
る次元またはリングの数であり、物理的チップ・パッケ
ージの制限を受ける。好ましい実施例ではｎ＝４であ
る。チップ技術が向上するにつれて、"ｎ"が大きくなる
と、アレイ内で可能な次元が高くなる。

【００７１】図３及び４に、ＰＭＥからのアレイの構築
を示す。８個のＰＭＥが相互接続されてノード１５１を
形成している。８個のノードからなるグループがＸ次元
リング（１６ＰＭＥ）として相互接続され、それとオー
バーラップする８個のノードのグループがＹ次元リング
１５２として相互接続される。これによって、ノードの
８×８アレイ（５１２ＰＭＥ）を含む単一の２次元クラ
スタが得られる。クラスタは最大で８×８アレイに組み
合わされて、４次元アレイ要素を形成する。このアレイ
要素を横切る８個のノードの各グループが、Ｗ次元とＺ
次元で組み合わされる。４つの次元すべてにおける単一
ノードの相互接続経路が１５３に示されている。アレイ
が正規形または直交形である必要はないことに留意され
たい。特定のアプリケーションまたは構成で、任意のま
たはすべての次元でのノードの数を定義し直すことがで
きる。

【００７２】各ＰＭＥは、１つのノード・リング２３、
２６内にしか存在できない（図２）。リングをＷ、Ｘ、
Ｙ、Ｚと呼ぶ。１チップ内のＰＭＥ２０は対になってお
り（たとえば、＋Ｗ、−Ｗ）、一方のＰＭＥはデータを
時計回りにノード・リング２３、２６に沿って外部へ移
動し、他方のＰＭＥは反時計回りにノード・リング２
３、２６に沿って外部へ移動し、したがって１つのＰＭ
Ｅが各ノードの外部ポート専用となる。各リング内の２
個のＰＭＥに、その外部入出力ポートに因んだ名前を付
ける（＋Ｗ、−Ｗ、＋Ｘ、−Ｘ、＋Ｙ、−Ｙ、＋Ｚ、−
Ｚ）。ノード内にも２個のリング２２があり、４個の＋
ｎＰＭＥ及び４個の−ｎＰＭＥ（ｎ＝Ｗ、Ｘ、Ｙ、Ｚ）
を相互接続する。こうした内部リングは、メッセージが
外部リング間を移動するための経路を提供する。ＡＰＡ
Ｐは４次元直交アレイと見なすことができるので、内部
リングにより、メッセージがアレイ中をすべての次元で
移動できるようになる。このため、それ自体のノード・
リング内のＰＭＥまたはそのノード内の隣接ＰＭＥをア
ドレスすることにより、どのＰＭＥも目的に向けてメッ
セージをステップできる、アドレス指定構造が得られ
る。

【００７３】各ＰＭＥは、図５では４個の入力ポートと
４個の出力ポート（左８５、９２、右８６、９５、縦９
３、９４、外部８０、８１）をもつ。入力ポートのうち
の３個と出力ポートのうちの３個は、チップ上の他のＰ
ＭＥへの全２重２点間接続である。第４のポートは、オ
フチップＰＭＥへの全２重２点間接続である。好ましい
実施例では物理的パッケージにおけるピン及び電力上の
拘束のために、実際の入出力インターフェースは４ビッ
ト幅の経路９７、９８、９９であり、これらは図１５に
示すＰＭＥ間データ・ワード９６、１００の４個のニッ
ブルを多重化するために使用される。

【００７４】好ましい実施例では、このＰＭＥの入出力
設計は、３種の入出力動作モードを提供する。

【００７５】・通常モード隣接する２つのＰＭＥ間で
のデータ転送に使用される。データ転送はＰＭＥソフト
ウェアによって開始される。隣接するＰＭＥより遠くに
あるＰＭＥ宛のデータは、隣接するＰＭＥが受け取っ
て、それをその隣接ＰＭＥから発するかのように転送す
る。

【００７６】・回線交換モードデータ及び制御がＰＭ
Ｅ中を通過できるようにする。このモードを使うと、直
接隣接していないＰＭＥ間での高速通信が可能になる。

【００７７】・ジッパ・モードクラスタ内のノードに
データをロードし、またはそこからデータを読み取るた
めに、アレイ制御装置が使用する。ジッパ・モードは、
通常モード及び回線交換モードの諸特徴を使って、クラ
スタ・カード上のＰＭＥのアレイとの間でデータを高速
で転送する。

【００７８】アレイ内の各リングＷ、Ｘ、Ｙ、Ｚは連続
的であり、アレイへのエッジはない。概念上は、ジッパ
は、２つのノード間のインターフェースでリングを論理
的にブレイクして、一時エッジを形成するものである。
ジッパが非活動状態の場合、アレイはエッジをもたな
い。ジッパが活動化されると、２つのノード列間のすべ
てのインターフェースがブレイクされ、得られる「エッ
ジ」がアレイとアレイ制御装置の間でのデータ転送に使
用される。たとえば、図６を参照すると、ジッパ接続が
Ｘ＝０のノード列に沿った−Ｘインターフェース上に置
かれる場合、Ｘ＝８（ＰＭＥｘ１５）２５０のノード列
とＸ＝０（ＰＭＥｘ０）２５３のノード列の間のインタ
ーフェースは、もはや２点間ではなく、第３の（ホス
ト）インターフェース２５１が付加される。通常、デー
タは、ＰＭＥｘ０２５３とＰＭＥｘ１５２５０の間
を、そこにホスト・インターフェースがないかのように
通過する。しかし、ＰＭＥ実行時ソフトウェアの制御下
では、ジッパが活動化された場合、アレイの一時エッジ
を介してＰＭＥ２５０、２５３とホスト・インターフェ
ース２５１の間をデータが通過する。単一クラスタの行
に沿ったジッパは８個のノードでリングをブレイクす
る。今日の技術に基づけば、好ましい実施例では、単一
のジッパを介して単一クラスタとの間で毎秒約５７メガ
バイトをパスすることができる。光接続など将来技術が
発展すれば、このデータ速度は大幅に増加すると期待さ
れる。

【００７９】図７は、この概念をどのように拡張すれ
ば、クラスタの２つの「エッジ」２５５、２５６上にジ
ッパを置くことができるかを示している。この手法で
は、異なるデータが各ジッパ内に渡される場合は、入出
力帯域幅が毎秒約１１４メガバイトに増加し、同一のデ
ータが各ジッパ内に渡される場合は、毎秒約５７メガバ
イトの直交データ移動をサポートする。直交データ移動
は、アレイ内での高速の転置操作及び行列乗算操作をサ
ポートする。理論上は各ノード間インターフェース上に
ジッパが存在し得るが、実際にはジッパ・インターフェ
ースを持つ各ＰＭＥは、そのメモリが満杯になってそれ
以上データを受け入れることができないようになるのを
避けるために、アレイ入出力データを他のＰＭＥに移す
ことができなければならない。ジッパの数は、各ＰＭＥ
でどれだけのメモリが使用できるかを決定する技術と、
ジッパ上のＰＭＥとアレイ内の別のＰＭＥの間でジッパ
・データを移動できる速度によって制限される。

【００８０】図１は、ｎ個のクラスタからなるアレイを
示している。好ましい実施例では、各クラスタが２個の
直交ジッパをサポートする。このアレイの最大アレイ入
出力速度は、毎秒２ｎ×５７メガバイトである。このア
レイの最大直交アレイ入出力速度は、毎秒ｎ×１５７メ
ガバイトである。

【００８１】ジッパの好ましい実施例では、ジッパ入力
とジッパ出力の２つの動作モードがある。ジッパ入力動
作はアレイ制御装置からクラスタ上の選択されたＰＭＥ
のグループにデータを転送する。ジッパ入力動作は、ア
レイ制御装置実行時ソフトウェアによって開始される。
アレイ制御装置実行時ソフトウェアは、まずＰＭＥＳＩ
ＭＤモード同報通信コマンドを使って、ジッパ・インタ
ーフェースに沿ったＰＭＥをジッパ通常（ＺＮ）モード
またはジッパ回線交換（ＺＣ）モードにする。次いで、
アレイ制御装置実行時ソフトウェアが、ＺＮモードのＳ
ＩＭＤＰＭＥソフトウェアに受け取るべきワードのカ
ウントを与える。ＺＮモードでは、ＰＭＥはＸインター
フェース８０（図５）からデータを受け取ることができ
るが、まずそのインターフェースのためにメモリ内の入
力バッファをセットアップしなければならない。メモリ
内の２つの位置２３２、２３３（図８）が、各入力デー
タ・バッファの開始アドレスと、バッファに格納された
ワード数とを格納するために予約されている。さらに、
ＰＭＥ制御レジスタ２（図９）が、入力インターフェー
スを使用可能にするビット１７３および入出力割込みを
可能にするビット１７２を含んでいる。ＳＩＭＤＰＭ
Ｅ同報通信ソフトウェアは、予約されたメモリ位置２３
０、２３１（図８）に出力データ・ブロックを定義する
ためのロードを行い、ＰＭＥ制御レジスタ２に入力デー
タの転送を可能にするためのロードを行う。ＺＮモード
では、ＰＭＥは遊休状態にあり、入出力割込みまたはＺ
Ｃモードへの切り換えを待つ。

【００８２】ＰＭＥが可能な１つの構成をとる場合のジ
ッパ入力動作を図１０に示す。この図には、８ワードを
異なる３つのＰＭＥに転送する例が示してある。データ
・インターフェース（ジッパ）がデータをＰＭＥ２６０
に転送し、このアレイを介してＰＭＥからＰＭＥに移動
される。

【００８３】本発明の好ましい実施例では、アレイ制御
装置は最初にＰＭＥＡ２６０、ＰＭＥＢ２６１、Ｐ
ＭＥＤ２６３をＺＮモードに設定し、ＰＭＥＣ２６
２をＺＣモードに設定する。ジッパ入力動作では、ＰＭ
Ｅ制御レジスタ１の"Ｚ"ビット１６３と"ＣＳ"ビット１
７０をセットすると、ＰＭＥがＺＣモードになる。"Ｚ"
ビット１６３をセットし、"ＣＳ"ビット１７０をリセッ
トすると、ＰＭＥがＺＮモードになる。ＰＭＥＡ、
Ｂ、Ｄには、それぞれ初期受信カウント３、４、１が割
り当てられる。ＰＭＥＡは、通常の受信シーケンスを
使ってその３データ・ワードを受け取る。ワード・カウ
ントが０になると、ＰＭＥＡのハードウェアがＰＭＥ
制御レジスタ１の"ＣＳ"ビット１７０をセットし、ＰＭ
ＥＡ２６４をＺＣモードに入らせる。ＰＭＥＢ２６
９とＰＭＥＤ２７５でも同じシーケンスが実行され
る。（ＰＭＥＤへの）最終ワード転送時２７１に、ア
レイ制御装置は、転送完了（ＴＣ）タグ・ビット２２４
（図１３）を挿入することができる。ＴＣビットがセッ
トされると、ＰＭＥＡ〜Ｄはそのビットを検出し、入
出力割込み要求１７１を生成する。ＴＣビット２２４が
セットされていない場合、ＰＭＥＡ〜Ｄは転送終了時
にＺＣモード２７２〜２７５に留まる。

【００８４】図１１に示すように、ジッパ・インターフ
ェース上で要求２４０が検出されると、受信側ＰＭＥは
肯定応答２４１を送出し、データを入力レジスタ８７に
ロードする。次いで受信シーケンスが開始し、カウント
２３３を取り出して減分し、入力バッファ・アドレス２
３２を取り出して増分し、データ・ワードをＰＭＥメモ
リ４１（図１２）に格納する。受信シーケンスは送信シ
ーケンスと類似している。このシーケンスは、遊休ＰＭ
Ｅにブレイクインし、メモリ４１及びＡＬＵ４２へのア
クセスをサイクル・スチールすることにより、入出力ア
ドレスとカウント・フィールドを更新させ、入力データ
・ワードをメモリ４１にロードさせる。カウントが０に
達してモードがＺＣに切り換わるか、あるいはＴＣタグ
を受け取って対応する入力割込みレジスタ・ビット１７
１がセットされ、割込みコード１９０が「転送完了」を
示すようになるかするまで、このシーケンスが続く。

【００８５】ＰＭＥは、下記の条件が満たされる場合、
要求に応答して肯定応答を生成する。・入力レジスタ８７、１００が空・要求が抑制されていない１７４・割込み１８２がその要求入力上で保留中ではない。・要求入力が回線交換されていない。・要求がすべての現要求のうちで最高の優先順位をも
つ。

【００８６】入力レジスタ８７、１００は、肯定応答２
２６が生成されてから受信シーケンスがデータ・ワード
をメモリに格納するまで、ビジー状態になる。入力レジ
スタがビジー状態になると、肯定応答は抑制される。ビ
ジー状態のとき、入力レジスタは受信シーケンスが実行
される前に重ね書きされるのを防止される（受信シーケ
ンスはメモリ・リフレッシュのために遅延される可能性
があるので）。

【００８７】ＴＣタグ・ビット２２４が送信側ジッパか
ら送られた場合、割込みレジスタ１７１（図９）におい
てそのインターフェース用の割込みラッチがセットされ
る。ＰＭＥ実行時ソフトウェアによって割込みラッチが
リセットされるまで、そのインターフェース上でそれ以
上肯定応答２２６は生成されない。たとえば、ＴＣタグ
・ビット２２４がＸインターフェース８０からのデータ
転送時にセットされた場合、Ｌ割込みがとられＬ割込み
ラッチがリセットされるまで、Ｘからのそれ以上の要求
は抑制される。

【００８８】ＴＣタグ・ビット２２４がセットされてデ
ータ・ワードが転送され、受信側ＰＭＥがＺＮモードで
ある場合、外部インターフェース用の入出力割込み１７
１が生成され、割込みコード１９０がＴＣを反映するよ
うにセットされる。さらに、送信側ジッパからＴＣタグ
が送られないうちにバッファ・カウントが０になる場
合、ＰＭＥはＺＣモードに切り換わる。

【００８９】ＰＭＥは、ＺＮ受信モードのとき、メモリ
・リフレッシュ・シーケンスとジッパ入力のための受信
シーケンスしか実行できない。これが必要なのは、ジッ
パのデータ転送が最大ＰＭＥクロック速度で起こり得る
からである。ＰＭＥ命令の実行や非ジッパ入力用の受信
シーケンスのための時間はない。ＺＮモードの間、ＰＭ
Ｅハードウェアは、ジッパ入力要求を除くすべての入力
要求を抑制する。

【００９０】ジッパ出力動作で、データがクラスタ内の
選択されたＰＭＥグループからアレイ制御装置に転送さ
れる。ジッパ出力動作は、アレイ制御装置実行時ソフト
ウェアによって開始され、このソフトウェアはまずＳＩ
ＭＤモード同報通信コマンドを使って、ジッパ・インタ
ーフェースの周りのＰＭＥをジッパ通常（ＺＮ）モード
とジッパ回線交換（ＺＣ）モードのどちらかに置く。次
いでアレイ制御装置は、ＺＮモードのＰＭＥＳＩＭＤ
ソフトウェアに、送信すべきワード数を与える。

【００９１】概念的には、データは発信側ＰＭＥのメイ
ン・メモリからホスト・コンピュータのメイン・メモリ
に転送される。好ましい実施例では、各インターフェー
スごとに、出力データ・ブロックの開始アドレスとその
ブロックに格納されているワードの数を格納するための
記憶位置２３０、２３１が、メモリ内に２個ずつ予約さ
れている。さらに、ＰＭＥ制御レジスタ１（図９参照）
がデータ出力の宛先とモードを制御する。同報通信ＳＩ
ＭＤＰＭＥソフトウェアは、転送モードを定義するた
め、ＰＭＥ制御レジスタ１へのロードを行う。同報通信
ＳＩＭＤＰＭＥソフトウェアとＰＭＥ実行時ソフトウ
ェアのどちらかが、ホストに転送すべきデータを指定さ
れたメモリ位置にロードする。次いで同報通信ＳＩＭＤ
ＰＭＥソフトウェアがアドレスとカウントを指定のメ
モリ位置にロードする。次にそのソフトウェアはＰＭＥ
制御レジスタ１へのロードを行い、最後にＯＵＴ命令を
実行して、データ送信シーケンスを開始させる。

【００９２】ＰＭＥの可能な１つの構成でのジッパ出力
動作を図１４に示す。この図では、８ワードを異なる３
つのＰＭＥに転送する例が示されている。データ・イン
ターフェース（ジッパ）はデータをＰＭＥ２８０から転
送し、アレイを介してＰＭＥからＰＭＥへ移される。

【００９３】この例では、アレイ制御装置が最初にＰＭ
ＥＡ２８０、ＰＭＥＢ２８１、ＰＭＥＤ２８３を
ＺＮモードに設定し、ＰＭＥＣ２８２をＺＣモードに
設定する。ジッパ出力動作では、ＰＭＥ制御レジスタ１
の"Ｚ"ビット１６３と"ＣＳ"ビット１７０をセットする
と、ＰＭＥがＺＣモードになる。"Ｚ"ビット１６３をセ
ットし、"ＣＳ"ビット１７０をリセットすると、ＰＭＥ
はＺＮモードになる。ＰＭＥＡ、ＰＭＥＢ、ＰＭＥ
Ｄにはそれぞれ３、４、１のカウントが割り当てられ
ている。ＰＭＥＡは通常送信シーケンスを使ってその
３データ・ワードを送信する。ワード・カウントが０に
なると、ＰＭＥＡ内のハードウェアがＰＭＥ制御レジ
スタ１の"ＣＳ"ビット１７０をセットして、ＰＭＥＡ
２８４をＺＣモードに入らせる。ＰＭＥＢ２８９及び
ＰＭＥＤ２９５内でも同じシーケンスが起こる。ＰＭ
ＥＤのＰＭＥ制御レジスタ"ＴＣ"１６４がセットされ
ている場合、（ＰＭＥＤからの）最後のワード転送時
にＰＭＥＤは転送完了（ＴＣ）タグ・ビット２２４を
挿入する。ＴＣタグがセットされている場合、ＰＭＥ
Ａ〜Ｄはそのビットを検出し、入出力割込み要求１７１
を生成することになる。ＴＣタグがセットされていない
場合は、ＰＭＥＡ〜Ｄは転送終了時にＺＣモードに留
まる。

【００９４】送信シーケンスでデータ・ワードが送信さ
れるごとに、カウント２３１が減分され、開始アドレス
２３０が増分され、メモリ４１から１データ・ワードが
読み取られる。そのデータ・ワードは送信レジスタ４
７、９６にロードされ、選択されたＰＭＥ９７、１６１
インターフェースに送られる。送信シーケンスは遊休Ｐ
ＭＥにブレイクインして、メモリ４１及びＡＬＵ４２へ
のアクセスをサイクル・スチールすることにより、入出
力アドレス及びカウント・フィールドを更新させ、かつ
送信レジスタ４７、９６へのロードを行わせる。ジッパ
転送では、ＰＭＥ制御レジスタ１のＣＸビット１６５が
セットされ、その結果、送信シーケンスが完了するまで
ＰＭＥプロセッサは遊休状態になる。このシーケンス
は、カウントが０に達するまで続く。

【００９５】データ転送インターフェースは４ビット幅
９７である。したがって、図１３に示すように、各１６
ビット・データ・ワード２２０は、４つの４ビット切片
（ニッブル）として送られる。データと一緒にタグ・ニ
ッブル２２１とパリティ・ニッブル２２２も送られる。
転送フォーマットは２２３に示してある。

【００９６】送信シーケンスを図１６に示す。インター
フェース上で送信側ＰＭＥが受信側ジッパ・インターフ
ェースに要求２２５を発生する。肯定応答２２６を受け
取ると、送信側ＰＭＥはデータ転送を開始し、次の送信
シーケンスが起こることができる。肯定応答を受け取る
まで、次の送信シーケンスは起こらない。

【００９７】ＰＭＥ制御レジスタ１のＴＣビット１６４
がセットされる場合、ＴＣビット２２４は最後に転送さ
れたデータ・ワードのタグ・フィールド中でセットされ
ることになる。このビットは、受信側ジッパにデータ転
送の終了を知らせる。

【００９８】ＰＭＥはＺＮ送信モードのとき、送信シー
ケンスとメモリ・リフレッシュ・シーケンスしか実行で
きない。これが必要なのは、ジッパ・データ転送が最大
ＰＭＥクロック速度で起こり得るからである。ＰＭＥ命
令の実行や非ジッパ入力用の受信シーケンスのための時
間はない。ＺＮ送信モードの間、ＰＭＥハードウェアは
すべての入力要求を抑制する。

【００９９】ジッパ・インターフェースは、図１７の上
端と下端に示すように、アレイ制御装置をクラスタ上の
ノードに接続する。通常のインターフェースは、２つの
ニッブル（４ビット）一方向２点間インターフェースか
らなり、これは２つのＰＭＥ間で双方向全２重転送をも
たらす。基本的には、データ経路２０２、要求線２０
３、肯定応答線２０４を使って、左側のＰＭＥ２００か
ら情報が転送される。同時に、データ経路２１１、要求
線２１２、肯定応答線２１３を使って、右側のＰＭＥ２
０１から情報を転送することができる。ジッパがインタ
ーフェース上にインストールされるとき、データをアレ
イ内に入れるためにデータ経路２１４、要求線２１５、
肯定応答線２１６が付加され、データをアレイから出る
ためにデータ経路２１７、要求線２１８、肯定応答線２
１９が付加される。アレイ制御装置実行時ソフトウェア
は、ＰＭＥ２０１へのジッパ送信シーケンスを実行した
いとき、ＰＭＥ２００の実行時ソフトウェアに、２０
２、２０３、２０４を使用不能にさせる。同時に、アレ
イ制御装置実行時ソフトウェアは、ＰＭＥ２００へのジ
ッパ受信シーケンスを実行したいとき、ＰＭＥ２０１の
実行時ソフトウェアに、２１１、２１２、２１３を使用
不能にさせる。ジッパ論理の配置は全く任意であること
に留意されたい。これは、容易に同一ノードの＋Ｘ及び
−Ｘインターフェース上に置くこともでき、またＷ、
Ｙ、Ｚノード・インターフェースのいずれかまたはすべ
て上に置くこともできる。

【０１００】本発明の好ましい実施例について記述した
が、当業者なら現在でも将来も、頭記の特許請求の範囲
に含まれる様々な改良や改善を行えることが理解されよ
う。特許請求の範囲は、最初に開示された本発明の適切
な保護を維持するものと解釈すべきである。

【図面の簡単な説明】

【図１】典型的な拡張並列アレイ・プロセッサ（ＡＰＡ
Ｐ）を例示し、特にＡＰＡＰの主要要素と、ホスト・プ
ロセッサまたは他のデータ発信元／宛先へのＡＰＡＰイ
ンターフェースとを示す機能構成図である。

【図２】プロセッサ・メモリ要素（ＰＭＥ）ノードの実
施例を示し、特にノードを構成する様々な要素の相互接
続を示す概略図である。

【図３】修正２進ハイパーキューブを示す概略図であ
る。

【図４】修正２進ハイパーキューブを示す概略図であ
る。

【図５】回路交換経路を示す概略図である。

【図６】単一のＰＭＥ−ＰＭＥインターフェース上のジ
ッパ接続を示す概略図である。

【図７】クラスタへの２つの直交する接続上のジッパ接
続を示す概略図である。

【図８】割込み及び入出力処理用の予約された記憶位置
を示す概略図である。ここで、実メモリ位置は、レベル
範囲の開始記憶アドレスにオフセットを加えて求める。
たとえば、右入力データ・バッファ・カウントは００Ｃ
Ｏ＋００３Ｄまたは^Ｘ^００ＦＤにある。

【図９】割込みの実施態様をサポートするＰＭＥ制御レ
ジスタ及び相互接続ネットワークを示す概略図である。

【図１０】ジッパ受信シーケンスを示す概略図である。

【図１１】プロセッサ・メモリ要素の実施例を例示する
データ流れ図である。このデータ流れの主要セクション
としては、主記憶域、汎用レジスタ、ＡＬＵ及びレジス
タ、及び相互接続メッシュの一部分がある。

【図１２】ＰＭＥ入出力間で転送されるタグ、パリテ
ィ、及びデータ・ワードを示す概略図である。

【図１３】ジッパ送信シーケンスを示す概略図である。

【図１４】ＰＥ入出力データ流れを示す概略図である。

【図１５】ＰＭＥ入出力間での出力インターフェースの
順序付けを示す概略図である。

【図１６】転送シーケンスを示す図である。

【図１７】物理的ジッパ・インターフェースを示す概略
図である。

【符号の説明】

１ホスト・プロセッサ２ホスト・メモリ３アプリケーション・プログラム・インターフェース
（ＡＰＩ）４クラスタ同期装置５クラスタ制御装置６クラスタ２０プロセッサ・メモリ要素（ＰＭＥ）２１同報通信／制御インターフェース（ＢＣＩ）部２２リング２３ノード・リング２６ノード・リング１５１ノード１５２Ｙ次元リング１５３４次元アレイ要素１５４相互接続経路

フロントページの続き (72)発明者クライブ・アラン・コリンズアメリカ合衆国12601、ニューヨーク州ポーキープシー、モンロー・ドライブ９ (72)発明者マイケル・チャールズ・ダップアメリカ合衆国13760、ニューヨーク州エンドウェル、アイヴォン・アベニュー 1130 (72)発明者ジェームズ・ウォレン・ディーフェンデルファーアメリカ合衆国13827、ニューヨーク州オウェゴ、フロント・ストリート 396 (72)発明者ドナルド・ジョージ・グライスアメリカ合衆国12401、ニューヨーク州キングストン、ソーキル＝ラビー・ロード 2179 (72)発明者ビリー・ジャック・ノウルズアメリカ合衆国12401、ニューヨーク州キングストン、ハーリー・アベニュー 72 (72)発明者ドナルド・マイケル・レスマイスターアメリカ合衆国13850、ニューヨーク州ヴェスタル、コリンズ・ヒル・ロード 108エイ (72)発明者リチャード・エドワード・ニアアメリカ合衆国13732、ニューヨーク州アパラチン、フォレスト・ヒル・ロード 109 (72)発明者エリー・ユージン・レターアメリカ合衆国18851、ペンシルバニア州ウォレン・センター、エイチ・シー・アール34 ボックス29ビー (72)発明者デイヴィッド・ブルース・ロルフアメリカ合衆国12491、ニューヨーク州ウェスト・ハリー、パイン・トリー・ロード 24 (72)発明者ヴィンセント・ジョン・スモーラルアメリカ合衆国13760、ニューヨーク州エンドウェル、スカイライン・テラス 812

Claims

(57)【特許請求の範囲】

【請求項１】相互接続されたノードのリングを含み、そ
の各ノードが複数の相互接続された処理要素を含むネッ
トワークと、前記リングを前記リングに直交する次元に沿って論理的
にブレイクして、ネットワークのエッジが確立されるよ
うにする手段と、ネットワークをエッジのないネットワークとエッジのあ
るネットワークとの間で動的に切り換える手段と、前記エッジが活動状態のとき、前記エッジを介してネッ
トワークにデータを出し入れする手段と、を含む、相互接続されたノードのネットワークにデータ
を出し入れするための装置。
【請求項２】前記処理要素は、隣接する２つの処理要素
間でデータを転送する通常モードまたは中間の処理要素
がデータおよび制御情報を通過させる回線交換モードで
動作する、請求項１に記載の装置。
【請求項３】通常モードで動作する処理要素が自身のバ
ッファに所定量の入力データを受け取ると回線交換モー
ドに切り換わり、他の処理要素が入力データを受け取れ
るようにする、請求項２に記載の装置。
【請求項４】処理アレイを構成する多次元ネットワーク
の形に相互接続された複数のノードを含み、各ノードは通信経路を介して通信する複数のプロセッサ
・メモリ要素（ＰＭＥ）を含み、前記処理アレイは、ブレイクによりノードの外部と通信
するためのインターフェースを提供するリングを有す
る、コンピュータ・システム。
【請求項５】前記ノードのＰＭＥは複数の外部ポートを
与えるよう相互接続されて前記リングを形成し、前記リングを論理的にブレイクして外部との通信のため
のエッジを与える手段を更に含む、請求項４に記載のコンピュータ・システム。
【請求項６】前記処理アレイを制御するアレイ制御装置
を更に含み、、前記エッジが前記処理アレイと前記アレイ制御装置の間
でのデータ転送に使用される、請求項５に記載のコンピュータ・システム。