JPH08147250A

JPH08147250A - 相互結合網及びその通信方法

Info

Publication number: JPH08147250A
Application number: JP7241302A
Authority: JP
Inventors: Takeshi Aimoto; 毅相本; Hidenori Inai; 秀則井内; Shoichi Murase; 彰一村瀬; Shinichi Tanabe; 慎一田辺; Kazuhiro Hashimoto; 一弘橋本; Hiroshi Iwamoto; 博志岩本; Hiroshi Oguro; 浩大黒; Takehisa Hayashi; 林　　剛久; Haruyuki Nakayama; 晴之中山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-09-20
Filing date: 1995-09-20
Publication date: 1996-06-07

Abstract

(57)【要約】（修正有）【目的】並列処理向け相互結合網に適用していたネット
ワークにおいて、閉塞回避機能を備えることにより分散
処理向けネットワークとしても利用可能とする。【構成】計算機ノード１００は、プロセッサ１３０、メ
モリ１５０、ネットワークアダプタ１１０とI/O装置が
システムバス１４０に結合されて構成される。ネットワ
ークアダプタ１１０は、ハードウエアフロー制御機能を
備えたパケット通信ネットワーク１９０を介して他の計
算機ノード１００との間でパケット通信を行ない、DMA
制御部１２０、受信用バッファ１２１、送信用バッファ
１２２、ネットワーク送受信部１１８から構成される。
DMA制御部１２０は、メモリ１５０内の受信コマンドが
空の場合にパケットを受信すると、パケット通信ネット
ワーク１９０に対して受信可能信号をオンにして、パケ
ットを受信すると共に、受信パケットをネットワークア
ダプタ１１０で廃棄する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は並列計算機システムや分
散処理ネットワーク等、２以上の計算機要素間を相互結
合網を介して接続し、それによって並列処理及び分散処
理を行なうデータ処理システムに係る。

【０００２】

【従来の技術】従来の技術として、まず並列計算機につ
いて述べる。

【０００３】並列計算機では、１つの並列処理向けアプ
リケーションが、処理を並列計算機の複数のノードに予
め分割し、この分割した各処理は並列実行され、処理の
節目でノード間通信することにより、全体の処理が協調
進行する。

【０００４】並列計算機システム用相互結合網として
は、（１）高スループット・低レイテンシーの通信路
で、（２）通信パケットの廃棄・再送がない信頼性が高
い通信路、すなわち、通信路がハードウエアフロー制御
を備え、（３）通信パスが並列性を備え、且つ（４）安
価であることが望ましい。

【０００５】この中で、特に（２）について、以下、説
明する。

【０００６】並列処理では、パイプライン的に処理が進
み、送信側ノードから送信されたパケットは受信側ノー
ドによって必ず受信される。従って、送信側ノードが送
信開始時に受信ノードがパケット受信待ち状態でない場
合、パケットが受信されるまでの間、送信パケットは相
互結合網内で受信処理の開始を待つ方が、送信ノードが
受信ノードの状態に関係なくパケットを転送し、ビジー
状態の受信ノードはパケットを廃棄し、送信ノードから
通信ソフトで再送するよりも、オーバヘッドが少ない。

【０００７】この様な並列処理を行う計算機間相互結合
網の従来の技術としては、例えば"Virtual Cut-Throug
h:A New Computer Communication Switching Techniqu
e":Computer Network3(1979)pp267-286 North-Holland
Publishing Companyや特開昭６０−８４６６１「並列プ
ロセッサ」がある。上記従来例には、並列計算機のプロ
セッサエレメント（以下、ＰＥ）のメッセージ（パケッ
トでも可。以下、パケット）転送回路は、アドレスとデ
ータから成るプロセッサ間パケットを、アドレス部分を
先に続いてデータ部分を送信する。パケットのための経
路切り換えを行うパケット通信ネットワークは（一つ、
または）複数のパケット経路切り替えスイッチで構成さ
れており、アドレス部分のみを受けた時点で通信パスを
設定し、パケット全体の送信を完了した時点で各パケッ
ト経路切り替えスイッチは通信パスを開放する。この通
信方式は、Ｗｏｒｍｈｏｌｅ通信とも呼ばれる。一般的
に、並列計算機向け相互結合網の通信パス（パケット転
送回路、パケット経路切り替えスイッチを含む）では、
各パケットはフリットまたはセルと呼ばれる小容量の単
位に分解して転送され、受信側のパケット経路切り替え
スイッチ、またはＰＥが持つ小容量の受信セルバッファ
が一時的な受信待ち状態またはビジー状態であった場
合、受信セルまたはパケットが廃棄されることを防ぐた
め、受信可能になるまでの期間、送信側へのセルの送信
許可信号をオフにするハードウエア・フロー制御によっ
て送信を待たせる。

【０００８】このように，並列計算機内のＰＥ間の通信
の様に、システムとして一定時間内に受信することが保
証されている場合、パケット全体を格納する大容量バッ
ファ無しで、並列計算機内の通信パスを通信バッファと
して使用し、ハードウエアフロー制御することにより、
信頼性があり、且つ高スループット・低レイテンシーの
通信を安価に実現できる。

【０００９】次に、別の従来の技術として、イーサネッ
ト、FDDI等のバス型LAN(Local Area Network)上の通信
について述べる。

【００１０】LANに接続された各計算機内には、不特定
多数のアプリケーションソフトウエアが動作中である。
この各計算機間の通信は、並列処理のように受信が予め
予期された通信ではない。このため、通信ソフトウエア
が受信パケットをアプリケーションソフトウエアへ配信
する。また、LAN上の通信にはハードウエア・フロー制御
機能は存在しない。このため、特定計算機への受信が集
中すると、パケット転送回路や通信ソフトウエアの処理
能力が不足する。受信側の計算機システムは受信ビジー
状態ではパケットを廃棄する。受信側の計算機システム
が廃棄したパケットに対しては、通信ソフトウエアによ
る送達確認機能および再送機能により、通信の品質を確
保する。LANでは、この通信ソフトウエアのオーバヘッ
ドが大きく、並列計算機向け相互結合網に比べると、ス
ループット値は小さくなる。

【００１１】この様にLANでは、多種の計算機システム
が接続するため、並列処理向け相互結合網とは異なる以
下の特徴を持つ。

【００１２】（ａ）LANの転送バンド幅を送信側、受信
側の計算機システムともに保証すること、（ｂ）LANに
接続した一つの計算機システムの障害（状態）によって
LAN全体が停止しないこと。

【００１３】

【発明が解決しようとする課題】最近、一つの筐体に納
まった高性能並列計算機ではなくて、同程度の処理性能
を持つ複数の高性能計算機を、距離が高々１００ｍまで
の高速通信路を介して、高速スイッチ型ネットワークで
接続する高性能並列計算機システムが考えられている
（「高性能コンピュータシステムの動向」情報処理Vol.
34,NO.6,pp684-690）。このようなシステムはクラスタ
・システムと呼ばれ、従来の並列計算機と同等の性能が
実現できる。クラスタ・システムは通常運用時には１つ
の並列計算機装置として使用するが、それ以外の時には
不特定多数のユーザ（アプリケーションプログラム）が
個別に利用する（LANの型）ネットワーク（以下、この
ような利用形態を、分散処理向けネットワークと呼ぶ）
として有効活用することが考えられる。

【００１４】しかし、従来の技術で示したように、分散
処理向けネットワークは並列計算機装置の相互結合網と
は異なる特徴を持つ。このため、従来例で示した並列計
算機装置の相互結合網を、単純に分散処理向けネットワ
ークとして活用しようとすると、以下問題が生じる。

【００１５】（ａ）転送バンド幅の保証に対しては、通
常、LANに接続した各計算機のパケット転送回路はパケ
ット全体を格納するパケットバッファを持ち、送信権を
得たパケット転送回路は、受信側パケット転送回路の状
態（パケットバッファが受信可能か否かの状態）には無
関係に一定の転送バンド幅で送信を行なう。一方、並列
処理向け相互結合網では、ハードウエア・フロー制御を
行なっているため転送バンド幅は一定ではない。しか
し、ハードウエアレベルの転送バンド幅の低下に対して
は、ハードウエア・フロー制御を行なった方が、逆に、
受信パケットを廃棄して通信ソフトにより送達確認・再
送制御を起動するよりも、転送遅延時間は小さくなる。
これは、同程度の処理性能を持つ計算機を結合した並列
計算機では、送信側計算機のシステム内のメモリからパ
ケット転送回路へのハードウエアの転送速度に対し、受
信側計算機システムのパケット転送回路からメモリへの
転送速度が、一時的に低下しても、一定時間内に受信す
ることは保証できるからである。

【００１６】フロー制御による、その他の転送バンド幅
低下要因については、（ｂ）で述べる。

【００１７】（ｂ）障害波及防止に対しては、分散処理
向けネットワークとして用いる場合には、従来の技術で
述べたように、送信側の計算機システムからのパケット
は受信側計算機によって必ずしも受信されるとは限らな
い。受信されない原因としては，従来の技術で述べた、
特定計算機へのパケット受信の集中による受信バッファ
枯渇の他に、パケット転送回路のハングアップ、極端な
場合、受信側の計算機が送信側の知らない内に、ネット
ワークから切り離されている場合も考えられる。この場
合、ハードウエアフロー制御が働くと、パケット転送回
路やパケット転送ネットワーク上に、パケット転送が停
止するため、送信側も送信停止状態に陥り、該送信側計
算機から該受信不可計算機への通信パスが閉塞してしま
う。更に、該受信不可計算機への送信パケットを持つ他
の計算機も該通信パスの空きの待ち状態に陥り、最終的
にはクラスタシステム全体が停止してしまうと言う問題
が生じる。このように、システムとして一定時間内に受
信することが保証されていない場合、ハードウエアフロ
ー制御が働くと、最終的にはクラスタシステム全体が停
止してしまうと言う問題が生じる。

【００１８】以上の前提として、通信パスを論理的にも
一本のパスと仮定している。論理的に複数本のパスが構
成できた場合には、必ずしもクラスタシステム全体は停
止しないが、停止したパス分のスループットは低下して
しまうと言う問題が生じる。

【００１９】通信パスが閉塞し、システムとして一定時
間内に受信することが保証されない要因を、以下に示
す。

【００２０】（ア）受信側計算機の通信ソフトウエアに
よる受信バッファ供給能力不足これは、受信側計算機の受信バッファがない場合に、受
信側計算機の通信ソフトウエアが起動されるまでの間、
ネットワークアダプタ受信動作が停止し、さらにクラス
タシステム全体が停止してしまう可能性がある。

【００２１】（イ）受信側計算機のパケット転送アダプ
タが動作開始状態になっていない（障害発生後で回復処
理未完了を含む）（ウ）送信側パケット転送回路のハードウエア障害（エ）受信側パケット転送回路のハードウエア障害（オ）送信側計算機をネットワークからの切断（カ）受信側計算機をネットワークからの切断本発明の目的は、並列処理に適用できるハードウエアフ
ロー制御を備えた高速な相互結合網において、分散処理
向けネットワークとしても利用可能な，両方の適性を備
えた相互結合網を実現することである。具体的には、並
列処理向け相互結合網としての使用時には、ハードウエ
ア／ソフトウエア共に１ユーザの管理下にあるので、送
信側、受信側計算機はソフトウエアの状態が受信不能状
態でもパケットを廃棄せず，分散処理向けネットワーク
としての使用時には、送信側、受信側計算機はソフトウ
エア／ハードウエアの状態が受信不能状態ではパケット
を廃棄する様、その運用状態（相互結合網一括運用、分
割運用）や閉塞の検出状態に応じて、ユーザの指定に基
づき動作切り換え可能な、通信パスの閉塞解除手段を持
つ相互結合網を廉価に提供することである。

【００２２】本発明の目的は、送信側通信プログラムか
らの指定により、起動される受信側通信プログラム情報
をパケットヘッダ内に指示し、上記指示情報に基づき受
信側通信プログラムを切り換え、起動する機構を持つ並
列計算機を廉価に提供することである。

【００２３】

【課題を解決するための手段】要因（ア）に対して、本
発明では、受信側計算機が受信不能状態でパケットを廃
棄するか否かを決定する指示情報をパケット内に持ち、
受信側計算機のパケット転送アダプタは、メモリ上の受
信領域が枯渇している状態においてパケットを廃棄する
か否かの判定を該指示情報に基づいて行なうハードウエ
ア機構を持つ。

【００２４】また、本発明では、受信側計算機が受信不
能状態でパケットを廃棄するか否かを決定する指示情報
を受信側計算機のモードレジスタ／コマンドレジスタ内
に持ち、受信側計算機は、受信不能状態を検出するとパ
ケットを廃棄するか否かの判定を該指示情報に基づいて
行なうハードウエア機構を持つ。

【００２５】これらの機能により、分散処理パケット転
送時には、メモリ上の受信領域枯渇状態においてパケッ
トを廃棄する指示をパケット内指示情報に設定する。並
列処理パケット転送時には、設定しない。また、分散処
理実行時には、モード／コマンドレジスタにメモリ上の
受信領域枯渇状態においてパケットを廃棄する指示を設
定し、並列処理実行時には、設定しない。

【００２６】要因（イ）に対して本発明では、受信不能
状態では、上記モードレジスタ／コマンドレジスタ内の
指示情報、パケット内の指示情報に係わりなく、パケッ
トを廃棄する。

【００２７】また、要因（ウ）（エ）に対しては、タイ
マで送信コマンドの進捗状況、受信コマンドの進捗状況
をモニタし、異常検出時には、分散処理実行時、並列処
理実行時に係わらず、パケット転送アダプタをリセット
し、計算機間パケット転送信号線の接続状態信号をオフ
にする。これにより、ネットワーク装置のインタフェー
ス回路は閉塞している通信路を開放する。

【００２８】具体的には、送信側信号線の閉塞に対して
は、ネットワーク装置のインタフェース回路はパケット
転送異常終了通知信号を受信側に転送し、さらに、パケ
ット通信ネットワーク内のスイッチの送信側コネクショ
ンを開放する。これにより、受信側計算機は転送の異常
終了を、次のパケット受信を待つことなく早期に認識で
き、且つスイッチは他計算機からのパケット送信要求に
対して開放される。

【００２９】受信側信号線の閉塞に対しては、パケット
通信ネットワーク内のPE間送受信回路のスイッチからの
受信側通信路の送信許可信号をオン固定する。これによ
り、受信パケットが有ったとしても、全てPE間送受信回
路で廃棄されてしまい、通信路の閉塞は発生しない。送
信許可信号線の不意の断線に対処するために、０Ｖ信号
レベルを送信許可信号に設定することが望ましい。

【００３０】また、要因（オ）（カ）に対しては、ＰＥ
間パケット転送信号線の接続状態信号をオフとなってい
るので、上記のように通信路は開放されている。

【００３１】

【作用】本発明によれば、受信不能状態において受信側
の計算機システムが送信パケットの制御フィールド、ま
たはモードレジスタで指定に従って受け捨てするか否か
を指示することかでき、受信側の計算機システムのメッ
セージ転送回路が該指示に基づいて受け捨て動作切り換
え可能な高速な相互結合網を安価に実現することができ
る。

【００３２】

【実施例】並列計算機システムの構成を図１に示す。

【００３３】並列計算機システムは並列計算機10とワー
クステーション40と端末30等をLAN20で結合している。

【００３４】並列計算機10は、２つ以上の個別の計算機
単位単位（以下、ＰＥ：ＰｒｏｃｅｓｓｉｇＥｌｅｍ
ｅｎｔ）100-i,j,kがパケット通信ネットワーク190に結
合して構成される。PE110-iは、PE110-iからのパケット
転送信号線191-m、PE110-iへのパケット転送信号線192-
mによってパケット通信ネットワーク190に接続される。
本実施例では、ＰＥ100-i,j,kとパケット通信ネットワ
ーク190は別々の装置であり、独立の筐体に実装されて
いるが、同一の筐体に実装されていたとしても構わな
い。

【００３５】以下、ＰＥ100-iの構成を説明する。ＰＥ1
00-iは、最小構成はプロセッサ130、メモリ160、ネット
ワークアダプタ110が、システムバス180に結合されて構
成される。ＰＥ100-iは、システムの構成によっては、
１つ又は、それ以上のI/O装置140を持つ。プロセッサ13
0は、たとえばCPUによって構成される。メモリ160は、
たとえばRAMによって構成される。メモリ160内には、OS
空間160とユーザ空間170によって構成され、OS空間160
には、送信コマンド領域161、送信パケット領域162、受
信コマンド領域163、受信パケット領域164が存在し、ユ
ーザ空間170にはユーザデータ領域Ｔ172、ユーザデータ
領域Ｒ174が存在する。

【００３６】パケット転送アダプタ回路110は、DMA制御
部120、送信用バッファ121、受信用バッファ122、ネッ
トワーク送受信部118、送信コマンド制御情報保持手段1
11、受信コマンド制御情報保持手段112、割込制御情報
保持手段113、アダプタ制御情報保持手段114、アダプタ
制御手段115、送信DMA制御情報保持手段116、受信DMA制
御情報保持手段117が、内部バス125によって結合させて
構成される。送信コマンド制御情報保持手段111、受信
コマンド制御情報保持手段112、割込制御情報保持手段1
13、アダプタ制御情報保持手段114、送信DMA制御情報保
持手段116、受信DMA制御情報保持手段117は、送受信パ
ケットをDMA処理により転送制御する際に必要な情報を
保持する手段であり、たとえばRAMによって構成するこ
とができる。

【００３７】アダプタ制御情報保持手段114はパケット
転送アダプタ回路110の動作モード等を設定するための
手段であり、メモリ上の受信領域が枯渇しているか、ま
たは受信不能状態においてパケットを廃棄するか否かの
動作モード情報も設定することができる。通常ソフトウ
エアは、分散処理実行時には、モードレジスタにメモリ
上の受信領域が枯渇したために起こる受信不能状態にお
いてパケットを廃棄する指示を設定し、並列処理実行時
には、設定しない。アダプタ制御手段115は、送受信パ
ケットをDMA処理により転送制御する際の制御をパケッ
ト転送アダプタ回路110にプロセッサ130が通知するため
の手段であり、TTL、CMOS等の論理によって構成するこ
とができる。DMA制御部１20および、ネットワーク送受
信部118は、たとえば、TTL、CMOS等の論理によって構成
することができる。送信用バッファ121、受信用バッフ
ァ122は、たとえばRAMによって構成することができる。

【００３８】受信コマンド制御情報保持手段112は、受
信コマンド領域内の一群の受信コマンドをヘッドポイン
タとテールポインタにより指定して、ハードウエア回路
に受信動作を指示する。ハードウエア回路は受信動作を
進める都度、ポインタに対応したフラグビットを倒すと
ともに、上記ポインタを更新する、ハードウエアの受信
動作が遅れるとき、フラグが倒れたポインタ領域が不足
すなわち枯渇する。

【００３９】パケット転送信号線とパケット通信ネット
ワークの構成を図２に示す。

【００４０】パケット通信ネットワーク190はPE間送受
信回路220-m,nとクロスバスイッチ回路240とスイッチ制
御回路250から構成される。スイッチ接続要求信号248-m
はクロスバスイッチ回路240の接続要求信号であり、ス
イッチ接続応答信号249-mはスイッチ接続要求信号248-m
に対する応答信号である。スイッチ制御回路250からの
指示に基づいて、パケット通信経路の切り替える。PE間
送受信回路220-mはPE100-iとパケット通信ネットワーク
190間のインタフェース回路であり、PE100-iとクロスバ
スイッチ回路240との間で送受信を行なう。パケット転
送信号線191-m、291-mはPE110-iからのパケットをクロ
スバスイッチ回路240に転送する信号線であり、パケッ
ト転送信号線292-m、192-mはクロスバスイッチ回路240
からのパケットをPE110-iに転送する信号線である。パ
ケット転送信号線291-n、191-nはPE110-jからのパケッ
トをクロスバスイッチ回路240に転送する信号線であ
り、パケット転送信号線192-n、292-nはクロスバスイッ
チ回路240からのパケットをPE110-jに転送する信号線で
ある。

【００４１】パケット転送信号線191-mは、パケットデ
ータを転送するパケットデータ線201-m、パケットデー
タ線201-m上のデータがパケットの先頭であることを示
すフラグ線202-m、タイミング情報を転送するクロック
線203-m、パケット通信ネットワーク190がパケットを受
信可能であることを通知する送信許可信号204-m、PE100
-iからの接続要求を示す接続要求信号205-mから構成さ
れる。パケット転送信号線291-mは、パケットデータ線2
61-m、フラグ線262-m、クロック線263-m、送信許可信号
264-mから構成される。パケット転送信号線192-mは、パ
ケットデータ線211-m、フラグ線212-m、クロック線213-
m、PE100-iがパケットを受信可能であることを通知する
送信許可信号214-m、パケット通信ネットワーク190から
の接続要求を示す接続要求信号215-mから構成される。
パケット転送信号線292-mは、パケットデータ線271-m、
フラグ線272-m、クロック線273-m、送信許可信号274-m
から構成される。パケット転送信号線291-m、292-mは同
一筺体内なので、接続要求信号は不要である。上記パケ
ット転送信号線191-m、192-m等の構成は、論理的な信号
線を示しており、必ずしも別々の信号線で構成される必
要はない。

【００４２】PE100-iを中心に述べる。PE100-iとパケッ
ト通信ネットワーク190がそれぞれ別の装置であるため
に、両方の電源がオンであり、ケーブル（パケット転送
信号線191-m、192-m）が接続状態でないと通信できな
い。接続要求信号205-m、215-mは、PE100-iとPE間送受
信回路220-mが物理的、電気的に接続状態であり、双方
に通信路のコネクション確立要求があることを通知する
ための信号である。接続要求信号205-mはアダプタ制御
手段115にプロセッサ130から指示を与えることで、オン
になる。接続要求信号215-mはパケット通信ネットワー
ク190が電源オンで（障害がない）通信可能状態の場合
にオンになる。両方がオンである事（コネクション確立
状態）を検出すると、ネットワーク送受信部118、PE間
送受信回路220-mはパケット転送信号線191-m、192-mを
アクティブにする。また、接続要求信号205-mは、アダ
プタ制御手段115にプロセッサ130から切断指示を与える
ことで、オフになる。両方が共にオンではない事（コネ
クション切断状態）を検出すると、ネットワーク送受信
部118、PE間送受信回路220-mはパケット転送信号線191-
m、192-mをインアクティブにする。接続要求信号205-
m、215-mの状態をアダプタ制御手段115をプロセッサ130
がリードすることで、通信ソフトウエアはコネクション
の状態を認識する。

【００４３】送信許可信号204-mはPE間送受信回路220-m
内の受信バッファの受信可能であることを通知するフロ
ー制御用の信号である。フロー制御はセル単位で行なわ
れる。セルはPE間でパケットを分解して転送する際のデ
ータ単位である。送信許可信号304-mはPE間全パスでは
なく、個別のパスのフロー制御を行なう。この場合、パ
ケット転送中に順次、送信側PE100-i内のメモリ150から
パケット通信ネットワーク190までのパスを確保し、パ
ケット通信ネットワーク190内のクロスバスイッチ回路2
40のパスが空き次第、PE間送受信回路220-mからPE間送
受信回路220-nまでのパスを確保し、パケット通信ネッ
トワーク190から受信側PE100-j内のメモリ150までのパ
スを順に確保する。これらのパスには同一パケットのセ
ルが存在し、送信完了後、順にパスを開放する。

【００４４】PE100-iと100-jが通信中に、パケット転送
信号線191-m,192-mがコネクション切断状態になると、
パスの閉塞を防ぐため、PE間送受信回路220-mは以下の
動作を行なう。

【００４５】受信側のパス：パケット転送信号線292-
m、192-mの動作を述べる。PE間送受信回路220-mは受信
側のパケット転送信号線292-mの送信許可信号274-mはオ
ン固定となる。クロスバスイッチ回路240は送信許可信
号274-mの指示に従って、受信セルをPE間送受信回路220
-mに転送する。PE間送受信回路220-mはパケット転送信
号線292-mからの受信セルを廃棄する。

【００４６】送信側のパス：パケット転送信号線291-
m、191-mの動作を述べる。パケット送信中の場合、パケ
ット通信ネットワーク190は、PE間送受信回路220-mから
要求に基づく、スイッチ制御回路250からの指示信号251
により、クロスバスイッチ回路240の経路を確保してい
るが、コネクションが切断されると、PE間送受信回路22
0-mはパケット転送信号線261-mにパケット転送異常終了
通知セルの発行し、スイッチ制御回路250へクロスバス
イッチ回路240の経路切断を指示する。パケット受信側
のPEは経路の切断をパケット転送異常終了通知セルによ
り認識する。パケット送信中ではない場合、パケット転
送異常終了通知セルは発行しない。

【００４７】次に、図3-aを用いてネットワークパケッ
トの構成を示す。ネットワークパケットは、データ310-
a、タイプ320-a、送信元アドレス321-a、受信先アドレ
ス322-aから構成されていた。データ310-aは、OSおよび
ソフトウエアが処理する情報である。タイプ320-aは、
パケット転送アダプタ回路110が処理するために必要な
情報であり、たとえばパケットデータ全体の長さ等を保
持する。送信元アドレス321-aは、パケットを送出した
ネットワーク内計算機200を識別するための識別子であ
る。受信先アドレス322-aは、パケットを受信すべきネ
ットワーク内計算機200を識別するための識別子であ
る。

【００４８】以下、送信処理、受信処理の概要を示す。

【００４９】送信処理は、ユーザデータT172と送信コマ
ンド情報161とから本発明ネットワークパケットを作成
してネットワークに出力する処理である。以下、送信時
のソフトウエア処理およびネットワークアダプタ110の
動作を示す。

【００５０】送信処理の際の通信処理を行うソフトウエ
ア処理を図4にしたがって説明する。ユーザデータT172
には、送信対象となるユーザデータが保持されている。
まず、ステップ410に示すように送信コマンド情報161に
は、タイプ320-a、送信元アドレス321-a、受信先アドレ
ス322-aの元になる情報を設定する。ここで、タイプ320
-aは、たとえば上位のプロトコル種等の情報である。送
信元アドレス321-aは、自計算機のネットワーク内での
識別子である。受信先アドレス322-aは、受信先の計算
機のネットワーク内での識別子である。

【００５１】次に、ステップ420に示すように、送信コ
マンド情報161にユーザデータT172を指定する情報を設
定する。設定する情報としては、たとえばユーザ空間17
0におけるユーザデータT172のアドレスおよび、データ
長等がある。

【００５２】次に、ステップ430に示すように、送信コ
マンド情報161の情報を送信コマンド制御情報保持手段1
11に設定する。送信コマンド制御情報保持手段111に設
定する情報としては、OS空間160における該設定送信コ
マンド情報161のアドレス等がある。

【００５３】最後に、ステップ440に示すように、アダ
プタ制御手段115にたいして動作の起動通知を行う。上
記の処理により送信ソフト処理を行う。

【００５４】次に、送信処理の際のネットワークアダプ
タ110の動作を図5にしたがって説明する。アダプタ制御
手段115に対する動作の起動通知によって送信動作開始
以降の動作について示す。

【００５５】まず、ステップ510に示すように、DMA制御
部120は、送信コマンド制御情報保持手段111の情報に基
づいて送信コマンド領域161の内容を読み出し、送信DMA
制御情報保持手段116に設定する。

【００５６】次に、ステップ520に示すように、DMA制御
部120は、送信DMA制御情報保持手段116の内容からタイ
プ320-a、送信元アドレス321-a、受信先アドレス322-a
を取り出す。

【００５７】次に、ステップ530に示すように、DMA制御
部120は、送信DMA制御情報保持手段116の内容にしたが
って、ユーザデータT172を送信用バッファ121に読み込
む。

【００５８】次に、ステップ540に示すように、DMA制御
部120は、ユーザデータT172をデータ310-aとし、読み出
した送信コマンド領域161の情報：タイプ320-a、送信元
アドレス321-a、受信先アドレス322-aから、本発明のネ
ットワークパケットをセル単位で送信用バッファ121に
作成する。

【００５９】最後に、ステップ550に示すように、内部
バス125を介して、ネットワーク送受信部118から、ネッ
トワークパケットをセル単位で出力する。

【００６０】ステップ560に示すように、送信パケット
の最終セルを送信すると、ステップ570にブランチす
る。最終セルでない場合には、ステップ530にブランチ
する。

【００６１】ネットワークパケットの出力が完了する
と、送信コマンド領域161にパケット送信の完了状態を
書き込む。また、ステップ570に示すように、送信コマ
ンド制御情報保持手段111内情報にパケット送信完了を
反映する。送信ソフトウエアは送信コマンド領域161に
書き込まれたパケット送信の完了状態に基づいて送信後
処理を行う。

【００６２】さらに、送信未の送信コマンドがあると、
ステップ580に示すように、ステップ510に戻る。無い場
合は、送信動作が終了する。

【００６３】次に、送信動作のソフトチェック処理につ
いて図６に示す。

【００６４】送信動作のソフトチェック処理は、送信ソ
フト処理完了後から、次の送信ソフト処理までの間、行
なう。

【００６５】まず、ステップ610に示すように、一定時
間経過後、送信コマンド制御情報保持手段111をリード
する。

【００６６】次に、ステップ620に示すように、送信コ
マンド制御情報保持手段111に未送信の送信コマンドが
存在するか否かを判定し、存在する場合には、ステップ
630に示すように、前回リードしたの送信コマンド制御
情報保持手段111内の情報と比較し、送信処理が進んで
いない場合には、ステップ640に示すように、アダプタ
制御手段115にプロセッサ130から指示を与えることで、
ネットワークアダプタ110をリセットし、接続要求信号2
05-mをオフにする。オフになると、コネクションは切断
状態になり、パケット転送信号線191-m、192-mがインア
クティブとなる。

【００６７】ネットワークアダプタ110はアダプタ制御
手段115に開放指示セルの発行指示を受けると、ネット
ワーク送受信部118からパケット転送異常終了通知セル
を発行する。パケット転送異常終了通知セルは、パケッ
ト通信ネットワーク190経由で宛先PEのネットワークア
ダプタ110まで転送され、宛先PEはパケット転送が異常
終了したことを早期に認識することができる。

【００６８】受信動作のソフトチェック処理は、自PE宛
のパケットを送信コマンドに設定し、送信動作のソフト
チェック処理都道用に一定時間形過誤、受信を確認する
ことで、正常動作中であることを確認する。

【００６９】次に、受信処理を示す。受信処理では、ネ
ットワーク190から取り込んだネットワークパケット
を、パケット転送アダプタ回路110によるハードウエア
処理とOS空間160内の通信ソフトウエアによって、パケ
ットのデータをユーザ空間内のユーザデータに転送する
が、パケット転送アダプタ回路110は通信ソフトウエア
等の状態によっては、通信ソフトウエアの処理を起動す
ることなく、受信パケットを廃棄する。

【００７０】以下、受信処理について示す。受信処理
は、ソフトウエアがデータの到着に先だって行う受信ソ
フト前処理と、データ到着時のネットワークアダプタ11
0が行う処理と、ソフトウエアによるデータが到着した
後に行う受信ソフト後処理からなる。まず、受信ソフト
前処理について、図７に示す。

【００７１】受信ソフト前処理は、受信コマンド領域16
3内に受信コマンドの情報を設定し、それをネットワー
クアダプタ110に通知する処理である。

【００７２】まず、ステップ710に示すように、受信コ
マンド領域163内に設定中の受信コマンドにデータ受信
終了時にネットワークアダプタ110がプロセッサ130に発
行する割込の情報を設定する。

【００７３】次に、ステップ720に示すように、受信コ
マンド領域163内に設定中の受信コマンドに、受信した
ネットワークパケットのデータ310-aを受信パケット領
域164のどの領域に対応させるか情報を設定する。この
情報は、たとえば受信パケット領域164内のデータ310-a
転送先のアドレスとサイズ等である。

【００７４】次に、ステップ730に示すように、受信コ
マンド領域163にさらに設定するコマンドがある場合に
は、ステップ710を、無い場合にはステップ740を実行す
る。最後にステップ740に示すように、受信コマンド制
御情報保持手段112に受信コマンド領域163を示す情報を
設定する。

【００７５】次に、ネットワークパケットを取り込んで
から、データを受信するまでのネットワークアダプタ11
0の動作について、図８に示す。アダプタ制御手段115に
対する動作の起動通知によって受信動作開始以降のフロ
ーについて示す。図８ではDMA制御部120を中心として、
示している。

【００７６】まず、ネットワークアダプタ110内のネッ
トワーク送受信部118は、ネットワーク190を監視して、
受信ネットワークパケットを受信用バッファ122に取り
込み、取り込むとDMA制御部120に通知する様、常時機能
している。本発明の実施例では、パケット通信ネットワ
ーク190は、高速パケット転送に適したスイッチ型ネッ
トワークに限定して示しているため、パケット通信ネッ
トワーク190が受信先アドレス322-aの情報が受信先PEの
アドレスと一致したパケットを転送するため、受信先PE
での受信先アドレス322-aのチェックは不要である。本
発明の別の実施例では、パケット通信ネットワーク190
が、バス型、リング型のトポロジをもっても構わない。
この場合も、ハードウエアフロー制御を行なうことが可
能であるが、受信先PEでの受信先アドレス322-aのチェ
ックが必要となる。

【００７７】ステップ805に示すように、ネットワーク
送受信部118からのセル受信の通知を待つ。ステップ810
でセル受信の通知がある場合には、ステップ815にブラ
ンチし、ない場合にはステップ805にブランチする。セ
ル受信の通知がある場合には、ステップ815に示すよう
に、受信用バッファ122から受信セルを読み出す。ステ
ップ820に示すように、読み出した受信セルがパケット
の先頭であった場合にはステップ830を、先頭ではない
場合にはステップ825を実行する。

【００７８】先頭ではない場合にはステップ825に示す
ように、受信用バッファ122内の受信セルを廃棄する。
これは、PE100-iとパケット通信ネットワーク190が未接
続状態では、パケット通信ネットワーク190のPE間送受
信回路220-mが廃棄していたパケットを、接続した直後
にPE間送受信回路220-mからPE100-iに転送したセルがパ
ケットの途中からであり、途中から受信したパケットの
受信処理であり、パケットの先頭セルを受信するまでセ
ルは廃棄される。

【００７９】先頭の場合にはステップ830に示すよう
に、DMA制御部120は、まず、受信コマンド制御情報保持
手段112内に保持している情報に基づき、受信コマンド
領域163内に未実行の受信コマンドが有るか無いかを判
定する。有る場合にはステップ835を、無い場合にはス
テップ865を実行する。

【００８０】有る場合にはステップ835に示すように、
受信コマンド制御情報保持手段112内の情報に基づき、
受信コマンド領域163内の未実行の受信コマンドの情報
をリードし、受信DMA制御情報保持手段117に設定する。
受信コマンド領域163内の未実行の受信コマンドの情報
に割込み発生の指定がある場合には、割込み制御情報保
持手段113にも設定する。

【００８１】次に、ステップ840に示すように、受信DMA
制御情報保持手段117の情報に基づき、受信パケット領
域164へ受信セルをDMA転送する。

【００８２】次に、ステップ845に示すように、受信セ
ルがパケット形式を遵守しているか、否か、パケット転
送異常終了通知セルではないかを判定し、さらに、ステ
ップ850に示すように、受信セルがパケットの最終セル
であるか否かを判定する。ステップ850で、受信セルが
パケットの最終セルではない場合には、ステップ840に
ブランチし、次の受信セルをDMA転送する。また、受信
セルがパケット形式を遵守し、且つ受信セルがパケット
の最終セルである場合、またはステップ845で、受信セ
ルがパケット形式を遵守していない場合、ステップ860
にブランチする。ステップ860では、受信コマンドに対
するパケット受信の処理が完了したので、受信コマンド
領域163に受信DMA終了状態をライトする。ステップ845
からブランチした場合には障害終了報告を、ステップ85
0から移動した場合には、正常終了報告をライトする。
更に、割込制御情報保持手段113の内容にしたがってプ
ロセッサ130に対して割込を発行する。また、次の受信
コマンドの実行に備えるために、受信コマンド制御情報
保持手段112内の情報を更新する。

【００８３】次に、ステップ805により、受信コマンド
領域163内に未実行の受信コマンドが無い場合には、ス
テップ865にブランチする。ステップ865では、受信パケ
ット廃棄指示情報がない場合には、ステップ805にブラ
ンチし、受信通知がある場合には、ステップ870にブラ
ンチする。

【００８４】ステップ870では、受信用バッファ122から
受信セルを読み出す。次に、ステップ880に示すよう
に、受信用バッファ122内の受信セルを廃棄する。これ
は、受信コマンド領域163内に未受信コマンドがない場
合に、受信ソフト前処理が起動され、未受信コマンドが
供給されるまでの間、ネットワークアダプタ受信動作が
停止し、さらに送信許可信号214-mをオフにするフロー
制御により、パケット転送アダプタ回路110やパケット
転送ネットワーク190上に、パケット転送が停止するた
め、全体の通信が閉塞してしまうことを回避するためで
ある。受信パケット廃棄指示情報はソフトウエアによっ
て、アダプタ制御情報保持手段114に設定されるか、ま
たはアダプタ制御手段115に指示される。

【００８５】アダプタ制御手段115に対する動作の起動
通知によって受信動作開始する以前は、ステップ870、
ステップ880と同様のフローで、又は送信許可線214-mを
オンに固定することで、受信パケットの廃棄を行なう。

【００８６】次にデータ到着後に行う受信ソフト後処理
について述べる。受信ソフト後処理は、ネットワークパ
ケットがハードウエアにより、ユーザデータおよび受信
プロトコル情報に分割して転送した後に発行した割込に
よって起動される。

【００８７】まず、割込が発行されると、プロセッサ13
0は受信コマンド領域163の受信完了の受信コマンドを終
了状態にしたがって、処理を行なう。正常終了の場合は
ユーザデータ領域Ｒへ転送し、異常終了状態の場合は障
害ログを保存し、再送処理を行なう。

【００８８】次に、図3-bを用いてPE間通信パケットの
別の実施例を示す。ネットワークパケットは、データ31
0-b、タイプ320-b、送信元アドレス321-b、受信先アド
レス322-b、受信パケット廃棄指示情報312-bから構成さ
れる。データ310-bは、OSおよびソフトウエアが処理す
る情報である。タイプ320-bは、パケット転送アダプタ
回路110が処理するために必要な情報であり、たとえば
データ全体の長さ等を保持する。送信元アドレス321-b
は、パケットを送出したネットワーク内計算機200を識
別するための識別子である。受信先アドレス322-bは、
パケットを受信すべきネットワーク内計算機200を識別
するための識別子である。受信パケット廃棄指示情報31
2-bはステップ865で受信側のネットワークアダプタ110
のDMA制御部が受信廃棄を行なうか、受信廃棄を禁止す
るかを示す情報で有る。受信廃棄禁止を指定するとステ
ップ805がNOの場合はステップ805にブランチし、受信コ
マンド有りとなるまで、受信待ち状態となる。並列処理
を行なう場合は受信パケット廃棄指示情報312-bをオ
フ、分散処理を行なう場合は受信パケット廃棄指示情報
312-bをオンに設定することで処理に適したフロー制御
を実現できる。

【００８９】次に、図3-cを用いてＰＥ間通信パケット
の別の実施例を示す。ＰＥ間通信パケットで動作モード
を設定する。図3-cのネットワークパケットは、図3-aと
同様のフォーマットで、データ310-c、タイプ320-c、送
信元アドレス321-c、受信先アドレス322-cから構成され
る。本パケットは図１１に示すようにデータ通信を開始
する前処理として送受信の計算機要素間で通信される。
タイプ320-cは、パケット転送アダプタ回路110が処理す
るために必要な情報であり、例えばデータ全体の長さ等
を保持する他に、アダプタ制御情報保持手段114に動作
モード情報を設定するパケットであることを示す情報を
持つ。タイプ320-cがアダプタ制御情報保持手段114に動
作モード情報を設定するパケットであることを示す場
合、データ310-cは、アダプタ制御情報保持手段114に設
定する動作モード情報として、例えばメモリ上の受信領
域が枯渇しているか、または受信不能状態においてパケ
ットを廃棄するか否かの動作モード情報を持つ。

【００９０】本パケットを受信すると、受信側のネット
ワーク内計算機200はアダプタ制御情報保持手段114に動
作モード情報を設定する。以後受信されるパケットに対
する受信側のネットワーク内計算機200動作は設定され
た動作モードに従う。

【００９１】図3bで説明したデ-タパケットのそれぞれ
に受信廃棄情報を埋め込む実施例と比べて埋込回数が減
少する点で優れている。マルチ計算機システムは各計算
機が別個のジョブを実行する分散処理モードと、互いに
関連した並列処理を実行する並列処理モードを選択する
ことができ、並列処理モードにおいて一つの計算機にお
けるデ-タ廃棄は他の計算機における並列処理の中断と
再処理を伴う、図3cに示すデ-タ通信に先立つ前処理に
於いても、モード設定を行なうことにより、デ-タパケ
ットの全ての中に廃棄指示情報を設定する必要がない。
分散処理モードと並列処理モードが入れ替わりに実施さ
れる場合には特に有効なデ-タ通信制御システムと言う
ことができる。

【００９２】次に、通信処理の機能階層を図９に示す。
機能階層はユーザ空間170内のアプリケーションプログ
ラム910-i,j、920-i,j、OS空間160内の通信ソフト930-
i,j、940-i,j、パケット転送アダプタ950-i,j、パケッ
ト通信ネットワーク960から構成される。アプリケーシ
ョンプログラム910-i,jは、パケットを廃棄するモード
でパケット通信し、通信ソフト930-i,jを起動する。ア
プリケーションプログラム920-i,jは、パケットを廃棄
しないモードでパケット通信し、通信ソフト940-i,jを
起動する。PE100-iからPE100-jへパケットを転送する場
合を説明する。

【００９３】通信ソフト930-iは、図3-bに示す通信パケ
ットの転送をパケット転送アダプタ950-iに指示し、パ
ケット通信ネットワーク960経由でパケットを受信した
パケット転送アダプタ950-jは通信パケットのフォーマ
ットに基づいて通信ソフト930-jを起動し、アプリケー
ションプログラム910-jにパケットデータを渡す。図3-b
に示す廃棄モードにセットした通信パケットを転送する
ので、パケット転送アダプタ950-jが受信コマンド領域1
63の枯渇状態を検出すると、受信パケットを廃棄する。

【００９４】通信ソフト940-iは、図3-bに示す通信パケ
ットに廃棄モードオフの条件をセットした後で転送をパ
ケット転送アダプタ950-iに指示し、パケット通信ネッ
トワーク960経由でパケットを受信したパケット転送ア
ダプタ950-jは通信パケットのフォーマットに基づいて
通信ソフト940-jを起動し、アプリケーションプログラ
ム920-jにパケットデータを渡す。図3-aに示すようにデ
-タを廃棄しないようセットした通信パケットを転送す
るので、パケット転送アダプタ950-jが受信コマンド領
域163の枯渇状態を検出しても、受信パケットは廃棄し
ない。デ-タは受信コマンドが設定されて受信領域に入
力される。

【００９５】このように、複数の通信ソフトのどれを起
動するかを、パケットのフォーマット情報を元に決定す
ることが出来る。

【００９６】次に、本発明の並列計算機の運用状況の一
例を図１０に示す。図１０では、並列計算機10内のPE10
0-0 … 100-i … 100-jは図９のアプリケーション
プログラム910-i,jが動作する部分1010と、図９のアプ
リケーションプログラム920-i,jが動作する部分1020の
２つに分けて、運用している。更に、分割して運用して
も構わない。叉、部分1010と部分1020は重なっていても
構わない。

【００９７】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載されているような効果を奏する。

【００９８】本発明に因れば、並列処理向けネットワー
クとしての使用時には、受信側の計算機システムは受信
不能状態でもパケットを廃棄せず，分散処理向けネット
ワークとしての使用時には、受信側の計算機システムは
受信不能状態ではパケットを廃棄する様、動作切り換え
可能なネットワークを廉価に提供できる優れた効果があ
る。

【００９９】また、並列処理向けネットワークとしての
使用時には、パケットを廃棄しない様動作するが、デッ
ドロック発生等の原因によりネットワークがハングアッ
プしたことが検出された場合の救済手段として、パケッ
トを廃棄することが可能なネットワークを廉価に提供で
きる優れた効果がある。

【図面の簡単な説明】

【図１】本発明の並列計算機システムの全体構成図。

【図２】ＰＥ間パケット転送信号線構成図。

【図３】ＰＥ間通信パケット構成図。

【図４】送信ソフト処理の流れ図。

【図５】ネットワークアダプタ送信処理の流れ図。

【図６】送信動作障害に対するソフトチェック処理の流
れ図。

【図７】受信ソフト前処理の流れ図。

【図８】ネットワークアダプタDMA制御部の受信動作の
流れ図。

【図９】通信処理の機能階層概念図。

【図１０】並列計算機の運用状態の一例をしめす接続
図。

【図１１】ＰＥ間パケット通信で動作モードを設定する
関係図。

【符号の説明】

１００…ＰＥ、１９０…パケット通信ネットワーク、１
１０…パケット転送アダプタ回路、１２０…ＤＭＡ制御
部、１３０…プロセッサ、１４０…Ｉ／Ｏ装置、１５０
…メモリ、１６０…ＯＳ空間、１７０…ユーザ空間、１
８０…システムバス。

───────────────────────────────────────────────────── フロントページの続き (72)発明者田辺慎一神奈川県海老名市下今泉810番地株式会社日立製作所オフィスシステム事業部内 (72)発明者橋本一弘神奈川県海老名市下今泉810番地株式会社日立製作所オフィスシステム事業部内 (72)発明者岩本博志神奈川県海老名市下今泉810番地株式会社日立製作所オフィスシステム事業部内 (72)発明者大黒浩神奈川県海老名市下今泉810番地株式会社日立製作所オフィスシステム事業部内 (72)発明者林剛久東京都国分寺市東恋ヶ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者中山晴之神奈川県海老名市下今泉810番地株式会社日立製作所オフィスシステム事業部内

Claims

【特許請求の範囲】

【請求項１】並列計算機の計算機要素間を接続するため
の相互結合網の通信方法において、受信側の計算機要素
のネットワークアダプタは受信側の計算機要素の状態に
応じて受信側の計算機要素が受信パケットを主記憶に転
送せず廃棄する機能を持ち、受信側では該状態が一致す
る場合には受信パケットを主記憶に転送せず廃棄するこ
とを特徴とする相互結合網の通信方法。
【請求項２】並列計算機の計算機要素間を接続するため
の相互結合網の通信方において、受信側の計算機要素の
ネットワークアダプタ内に、受信側の計算機要素の状態
に応じて受信側の計算機要素が受信パケットを主記憶に
転送せず廃棄することを指示するための廃棄指示レジス
タを持ち、受信側では該廃棄指示フィールドの指示に基
づいて、該状態が一致する場合には受信パケットを主記
憶に転送せず廃棄することを指示することを特徴とする
相互結合網の通信方法。
【請求項３】並列計算機の計算機要素間を接続するため
の相互結合網の通信方法であって、送信側で設定したパ
ケットのヘッダ情報内に、受信側の計算機要素の状態に
応じて受信側の計算機要素が受信パケットを主記憶に転
送せず廃棄することを指示するための廃棄指示フィール
ドを持ち、受信側のネットワークアダプタでは該廃棄指
示フィールドの指示の基づいて、該状態が一致する場合
には受信パケットを主記憶に転送せず廃棄することを指
示することを特徴とする相互結合網の通信方法。
【請求項４】複数の計算機要素が相互結合網装置にスタ
ー型に接続し、計算機要素と相互結合網装置間の伝送線
には、受信側の計算機要素や相互結合網装置間の受信を
保証するための送信許可情報を備え、受信側計算機要素
が受信パケットを主記憶内のバッファ領域へ転送する転
送速度が、送信側の転送速度を下回る場合には、一時的
に該送信許可情報をオフにするフロー制御機能を備える
ことを特徴とする請求項１〜３のうちいずれかに記載の
相互結合網の通信方法。
【請求項５】受信側の計算機要素の該状態が一致する場
合には、受信パケットを廃棄し、該送信可能情報をオン
にする機能を備えることを特徴とする請求項４記載の相
互結合網の通信方法。
【請求項６】各計算機要素と相互結合網を別々の装置と
して構成し、相互結合網のスイッチ部分をクロスバ回路
で構成することを特徴とする請求項４記載の相互結合網
の通信方法。
【請求項７】受信側の計算機要素の状態として、パケッ
ト受信の準備できていない状態において、受信パケット
を廃棄し、該送信可能情報をオンにする機能を備えるこ
とを特徴とする請求項５記載の相互結合網の通信方法。
【請求項８】受信側の計算機要素の状態として、主記憶
内にパケット受信バッファ領域が準備できていない状態
において、受信パケットを廃棄し、該送信可能情報をオ
ンにする機能を備えることを特徴とする請求項５記載の
相互結合網の通信方法。
【請求項９】相互結合網が各計算機要素とのインタフェ
ース回路とインタフェース回路からの転送信号線のスイ
ッチ回路から構成され、相互結合網の状態として、計算
機要素が相互結合網に切断状態をインタフェース回路が
検出すると、該インタフェース回路と該スイッチ回路間
の転送信号線の受信側の該送信可能情報をオンにする機
能を備えることを特徴とする請求項５記載の相互結合網
の通信方法。
【請求項１０】相互結合網が各計算機要素とのインタフ
ェース回路とインタフェース回路からの転送信号線のス
イッチ回路から構成され、相互結合網の状態として、計
算機要素が相互結合網に切断状態をインタフェース回路
が検出し、且つ送信中であった場合、該インタフェース
回路は該スイッチ回路にパケット転送異常終了通知情報
を転送し、その後、該インタフェース回路は該スイッチ
回路に確保中の通信経路を切断する機能を備えることを
特徴とする請求項５記載の相互結合網の通信方法。
【請求項１１】ネットワークアダプタの送信処理、受信
処理が異常停止していることを、メモリ上の送信コマン
ド領域、受信コマンド領域の処理状況をチェックするこ
とにより、検出し、異常検出時には、該ネットワークア
ダプタと該ネットワーク装置を切断状態に遷移させるす
る機能を備えることを特徴とする特許請求項９又は１０
の相互結合網の通信方法。
【請求項１２】使用者は並列計算機装置を幾つかのグル
ープに分割して使用でき、同一グループ内でアプリケー
ションプログラムの指定した通信プログラムが廃棄指示
のあるパケットを用いた通信を行なうか、廃棄指示の無
いパケットを用いた通信を行なうかを選択することがで
きることを特徴とする請求項２または３記載の相互結合
網の通信方法。