JPH1115803A - 並列計算機におけるデータ送受信方法 - Google Patents

Abstract

(57)【要約】 【課題】 並列計算機上でリモートメモリアクセス機構
を用いたデータ転送を高速に行う。 【解決手段】 並列計算機上のリモートメモリアクセス
領域（１１４、１１５）間でデータ転送する際に、送受
信双方の要素計算機（１０１、１０２）がデータアドレ
スを通信しあい、送受信のうち先に発行された側からの
アドレスの通知を基にデータ転送を行う。送受信関数が
同時に発行された場合には、他方をキャンセルすること
で矛盾なくデータ転送が行える。 【効果】 送受信関数の一方の発行が遅れた時にも高速
にデータ転送を行える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は複数の要素計算機
（プロセッシングユニット、以下PU）を通信網によって
結合した並列計算機システムにおけるPU間のデータ送受
信方法に係わり、特にメッセージパッシングの高速性と
データの安全性を確保するデータ送受信方法に関する。

【０００２】

【従来の技術】並列計算機は、複数のPUを通信網によっ
て結合し、それらを同時に稼働させることによって処理
速度を向上させる。本発明では特に、各PUがそれに付随
するメモリ空間のみをアクセスすることができる分散メ
モリ型の並列計算機を対象とする。分散メモリ型並列計
算機では、他のPUのメモリ上にあるデータを直接アクセ
スすることはできない。データが必要となる度に送受信
を行って必要データを自PUに移動する必要がある。

【０００３】分散メモリ型並列計算機では、PU間のデー
タのやりとりをすべてプログラム中に記述する必要があ
る。ここでPU間で受け渡されるデータをメッセージと呼
ぶ。このメッセージをやりとりすることをメッセージパ
ッシングと呼ぶ。並列計算機用プログラムでは、他PUで
必要となるデータが自PUのメモリ上にある場合には自PU
はあらかじめこれらデータを他PUへ送信し、他PUのメモ
リ上にあるデータを自PUが必要とする場合には自PUはあ
らかじめ他PUから必要なデータを受信しておくような指
示を各PUのプログラム中に明示的に記述する必要があ
る。

【０００４】多くの並列計算機システムでは、このよう
なPU間のメッセージの送受信をサポートする目的で、メ
ッセージパッシングライブラリと呼ばれる関数（あるい
はサブルーチン）群があらかじめ用意されており、通信
はCやFORTRANなどのプログラムからの関数コールとして
記述できるようになっている。メッセージパッシングラ
イブラリの中には、異なる並列計算機ハードウェア上に
インプリメントされ、事実上の標準としての通信環境を
提供するものも現れている。米国のOak RidgeNational
Laboratoryで開発されたPVMや、近年標準化が進められ
ているMPIはその例である。これらの通信ライブラリを
コールすることにより書かれた並列プログラムは、異な
る並列計算機上でも再コンパイルのみで動作させうる可
能性（可搬性）が高い。

【０００５】通信ライブラリでPU間のメッセージの受け
渡しを行うには、送信側PUでメッセージの送信関数をコ
ールし、受信側PUでそれに対応するメッセージの受信関
数をコールし、これらの間でメッセージを送受信する方
式が現在一般に用いられている。送信関数より受信関数
が先にコールされた場合には受信関数はデータの到着ま
でブロック（停止）し、送信関数が先にコールされた場
合には受信関数の開始までブロックするか、メッセージ
がシステム内にバッファリングされる。これはsend/rec
eive方式と呼ばれる。

【０００６】PU間のデータ移動を高速に実現する方法と
して、リモートメモリアクセス機構を持つ分散メモリ型
の並列計算機がある。リモートメモリアクセスでは、各
PUは相手PUの介入なしに直接相手PU内の特定メモリ領域
へのデータアクセスが可能である。リモートメモリアク
セスを行うことのできる特定メモリ領域は、リモートメ
モリアクセス領域と呼ばれる。リモートメモリアクセス
領域は、実アドレスが連続であり、スワッピングされな
いために各PUが随時データ転送を行える。

【０００７】図２は、リモートメモリアクセス機構を持
つ並列計算機上でユーザメモリがリモートメモリアクセ
ス領域に存在する時のメッセージパッシングを実現する
従来方法を示す［Implementing MPI for the Fujitsu A
P1000/AP1000+ using Polling, Interrupts and Remote
Copying, David Sitsky, Kenichi Hayashi, 並列処理
シンポジウムJSPP 96］［USING MPI, William Gropp, E
wing Lusk, Anthony Skjellum, pp.194-195, MIT pres
s, 1994.］。

【０００８】まず、送信関数がコールされる(２０１)
と、送信側ＰＵはユーザプログラム中のバッファのアド
レス情報を受信側ＰＵに送信する(２０２)。一方、受信
関数がコールされると(２０３)、受信関数は送信側ＰＵ
から送信されたアドレス情報を取得し、送信側のバッフ
ァからメッセージのリモートメモリ読込みを行い(２０
４)、メッセージの送信が完了する。

【０００９】以下、一般的なメッセージパッシングライ
ブラリの関数のインタフェースを説明する。

【００１０】(１)Init() 本関数中で、メッセージパッシングライブラリは必要な
初期化操作を行う。メッセージパッシングライブラリの
使用時には、全てのPUが必ず最初に本関数をコールしな
ければならない。以下に挙げる関数は、初期化関数をコ
ールした後にのみ使用できる。

【００１１】(２）Ｓｅｎｄ（ｂｕｆ， ｄｅｓｔ，
ｔａｇ， ｌｅｎｇｔｈ） ここで、ｂｕｆは送信するメッセージの格納されたユー
ザメモリの先頭アドレスで、destは送信先PU番号（ネッ
トワーク内での送り先ＰＵを識別する情報）、tagはメ
ッセージの識別子、lengthはメッセージの長さを表す。
ユーザが本関数をコールすることで送信処理が開始さ
れ、受信側にメッセージの格納されたユーザメモリの先
頭アドレスを送信する。

【００１２】(３)Recv(buf, src, tag, length) 本関数のbufは受信したメッセージを格納するユーザメ
モリの先頭アドレスで、srcは送信元PU番号（ネットワ
ーク内でＰＵを識別する情報）、tagはメッセージ識別
子、lengthはメッセージの長さを表す。srcには任意Ｐ
Ｕからの通信を受け付けるワイルドカードを指定するこ
ともできる。ユーザが本関数をコールすることで受信処
理が開始され、送信側から送られてきたアドレスにリモ
ートメモリ読み込みを行い、bufで指定されたアドレス
にメッセージを格納する。

【００１３】(４)finalize() 本関数は、メッセージパッシングライブラリの終了処理
を行う。本関数発行後、全ての送受信関数の処理を終了
する。

【００１４】

【発明が解決しようとする課題】上述のようにユーザメ
モリに直接リモートメモリアクセスするためには、送信
側が受信側に対してメッセージの先頭アドレスを通知し
ておく必要がある。したがって受信関数は送信関数から
アドレスを通知されて初めて動作を開始する。並列計算
機では各ＰＵが独自に動作しているため送信関数のコー
ルが受信関数のコールより著しく遅くなることがあり、
受信関数の発行後、送信関数からのアドレスの通知を待
つのはレイテンシの増大につながる。

【００１５】本発明の目的は、受信関数がコールされた
時に対応する送信関数がコールされていない場合に、受
信関数が先に動作を開始することでレイテンシの短縮を
図るデータ送受信方法を提供することである。

【００１６】

【課題を解決するための手段】複数台のＰＵを通信路に
よって結合しており、任意のＰＵ間で互いのデータ転送
用メモリ領域にデータを読み書き可能なリモートメモリ
アクセス機構を有する並列計算機システムにおける任意
の２つのＰＵ間のデータ送受信方法であって、各ＰＵが
ユーザプログラムからの送信要求を受けて、受信側のＰ
Ｕが対応する受信要求を発行していないかチェックする
ステップと、受信要求を発行していない場合に受信側の
ＰＵにアドレス情報を通知するステップと、受信側のＰ
Ｕが該アドレス情報を受け取った時に送信側のＰＵ上の
データ転送用メモリ領域からデータ（以下、メッセー
ジ）を読み出すステップと、各ＰＵがユーザプログラム
からの受信要求を受けて、送信側のＰＵが対応する送信
要求を発行していないかチェックするステップと、送信
要求を発行していない場合に送信側のＰＵにアドレス情
報を通知するステップと、送信側のＰＵが該アドレス情
報を受け取った時に受信側のＰＵ上のデータ転送用メモ
リ領域にメッセージを書き込むステップとを設ける。

【００１７】さらに、受信関数が送信相手に任意のＰＵ
を指定した時に、受信側ＰＵが送信側ＰＵにアドレス情
報を通知することなく、送信側ＰＵからアドレス情報が
通知されたときに、送信バッファからメッセージをリモ
ートアクセスする。

【００１８】また、送受信ＰＵによるアドレス通知がす
れ違ったことを検出し一方をキャンセルすることで矛盾
なく通信を行う。

【００１９】

【発明の実施の形態】以下、図を参照して本発明の詳細
を説明する。

【００２０】まず、本発明の実装方法の具体例を説明す
る。図１に本発明の全体構成図を示す。

【００２１】任意数のＰＵが通信路（ＰＵを相互接続で
きるネットワーク）１０７で相互接続される。

【００２２】図１では説明の便宜上２つのPU１０１、１
０２からなる並列計算機を示している。１０８,１０９
はOS(オペレーティングシステム)である。ユーザプログ
ラムを実行する際には、まずメモリ１０５、１０６上に
ユーザプログラムが図１に示されない補助記憶装置等か
らローディングされる(１１０,１１１)。なお、ユーザ
プログラムはあらかじめ本発明のメッセージパッシング
ライブラリ(１１２,１１３)とリンクされているものと
する。メッセージパッシングライブラリ中には他PUから
リモートメモリアクセス可能なリモートメモリアクセス
領域(１１４,１１５)が設けられている。さらに、ライ
ブラリ内部には、送信側ＰＵが送信バッファのアドレス
を受信側ＰＵに通知するためのデータバッファ(１１６,
１１７)と、受信側ＰＵが受信バッファのアドレスを受
信側ＰＵに通知するためのアドレスバッファ(１１８,１
１９)が存在する。

【００２３】以上の構成要素のうち、メッセージパッシ
ングライブラリが本発明の特徴をなす構成要素である。
以下、詳細に説明する。

【００２４】（Ａ）バッファの構成 図３、図４を用いて、本発明におけるメッセージパッシ
ング用のバッファ構成について説明する。上述したよう
に本発明では、データバッファ(３０１、３０５)とアド
レスバッファ(４０１、４０５)の二種類のバッファを用
いる。なお、送信側のデータバッファ３０１は図１のデ
ータバッファ１１６、１１７に相当し、送信側のアドレ
スバッファ４０１は図１のアドレスバッファ１１８、１
１９に相当する。

【００２５】まず、データバッファは通信相手PU（＃
０、＃１、＃２、・・・＃ｎ）ごとに複数のブロック
（図３ではPU＃１に対して６個のブロックが示される）
が用意されている。データバッファの各ブロックには、
tag(３０２)、length(３０３)、address(３０４)の情報
が含まれている。tagは対応する送受信の組を選択する
ための識別子、lengthは通信するメッセージの長さ,add
ressはメッセージの格納されているバッファの先頭アド
レスを格納するための領域である。なお、通信路（ネッ
トワーク）内での送信先ＰＵおよび送信元ＰＵの識別情
報は別途管理され、メッセージはネットワーク内を転送
されるものとする。データバッファは各PUごとに送信用
(３０１)と受信用(３０５)の同一形状のバッファが用意
されており、バッファの使用状況などの情報が通信相手
PUと共有化されている。データバッファは通信相手PUご
とにあらかじめ設定されており初期化の時点でお互いの
PUがアドレスを知ることが出来る。送信側ＰＵは送信側
のデータバッファ３０１に空きがある限りは常に受信側
のデータバッファ３０５にアドレスを通知できる。

【００２６】アドレスバッファも同様に、通信相手PU
（＃０、＃１、＃２、・・・＃ｎ）ごとに複数のブロッ
ク（図４ではPU＃１に対して６個のブロックが示され
る）が用意されている。アドレスバッファの各ブロック
には、tag(４０２)、length(４０３)、address（４０
４）のデータバッファと同じ情報が含まれている。な
お、送信先ＰＵおよび送信元ＰＵのネットワーク１０７
内での識別情報（アドレス）は別途管理されるものとす
る。アドレスバッファは通信相手PUごとにあらかじめ設
定されており初期化の時点でお互いのPUがアドレスを知
ることが出来る。受信側ＰＵは受信側のアドレスバッフ
ァ４０５に空きがある限りは常に送信側のアドレスバッ
ファ４０１にアドレスを転送できる。

【００２７】（Ｂ）通信プロトコル ユーザプログラムにより送受信関数がコールされメッセ
ージ通信が開始されると、送信側のユーザプログラム中
のバッファ(以下、送信バッファ)から受信側のユーザプ
ログラム中のバッファ(以下、受信バッファ)へとメッセ
ージの転送が行われる。送信側ＰＵは、メッセージを送
るべき受信バッファのアドレスを知らないため、送信関
数の発行後すぐに受信側にメッセージを転送することは
出来ない。受信関数発行後、受信側がバッファのアドレ
スを通知してくるのを待つ必要がある。しかし、送受信
関数は各々のＰＵから独自に発行されるため、対応する
送受信関数の発行時間に著しい差が生ずることがある。
送信関数発行後、受信側ＰＵからアドレスを通知してく
るのを待っていると通信時間の増大につながる。したが
って本発明では送信関数が先に発行された場合に使用す
る送信主導型プロトコルと受信関数が先に発行された場
合に使用する受信主導型プロトコルの二つのプロトコル
を用意することで遅延の少ないメッセージ転送を実現す
る。

【００２８】図５は送信主導型プロトコルのタイミング
チャートを表している。送信主導型プロトコルは、アド
レスの通知にデータバッファを用いる。ユーザプログラ
ムにより送信関数がコールされると(５０１)、送信側PU
は送信バッファのアドレスを受信側に送信する(５０
３)。一方、受信関数がコールされると(５０２)、受信
側PUはデータバッファで受け取ったアドレスを基に送信
バッファからメッセージをリモートメモリ読み込み(以
下、ＧＥＴ)する(５０４)。１往復のデータ通信でメッ
セージの通信を完了できる。

【００２９】一方、図６は、受信主導型プロトコルのタ
イミングチャートを表している。受信主導型プロトコル
では、アドレスバッファを用いて受信側から送信側に受
信バッファのアドレスが通知される。ユーザプログラム
により受信関数がコールされると(６０２)、受信側PU
は、受信バッファの先頭アドレスをアドレスバッファを
用いて送信側に送信する(６０３)。一方、送信関数がコ
ールされると(６０１)送信側PUは受け取ったアドレスに
対して、メッセージをリモートメモリ書き込み(以下、
ＰＵＴ)する。受信主導型プロトコルも１往復のデータ
通信でメッセージの通信を完了できる。

【００３０】以下、各プロトコルの動作を詳細に説明す
る。まず、送信主導型プロトコルの動作を図７を用いて
説明する。送信関数がコールされると送信側PUは、アド
レスバッファを探索し、アドレス情報が到着していない
場合に送信主導型プロトコルを選択する(７０１)。送信
主導型プロトコルが選択されると、送信側ＰＵは、デー
タバッファに送信バッファの先頭アドレス、メッセージ
の長さ、識別子を格納し(７０２)、受信側のデータバッ
ファへのリモートメモリ書き込みを行う(７０３)。一
方、受信側PUは、送信バッファのアドレスをデータバッ
ファで受け取り(７０４)、そのアドレス情報を基にメッ
セージを送信バッファからＧＥＴし(７０５)、メッセー
ジの転送を完了する。

【００３１】次に、受信主導型プロトコルの動作を図８
を用いて説明する。受信関数がコールされると受信側Ｐ
Ｕは、データバッファを探索し、アドレス情報が到着し
ていない場合には、受信主導型プロトコルを選択する
(８０１)。受信主導型プロトコルが選択されると、受信
側PUは受信バッファのアドレスとメッセージの長さ、識
別子をアドレスバッファに格納する(８０２)。次いで、
送信側のアドレスバッファへのリモートメモリ書き込み
を行う(８０３)。一方、送信側PUはアドレスバッファで
アドレス情報を受け取る(８０４)と、受信バッファにメ
ッセージをＰＵＴし(８０５)、メッセージの転送を完了
する。

【００３２】（Ｃ）送受信関数同時発行時の処理 送受信関数が同時に発行されると、送受信とも通信相手
からアドレス情報が到着していないため、送信側は送信
主導型プロトコルを選択し、受信側は受信主導型プロト
コルを選択してしまう。その結果、送受信ＰＵとも通信
相手ＰＵからメッセージをＰＵＴ／ＧＥＴされるまで待
ちつづけることになる。この場合には、一方のプロトコ
ルをキャンセルし、送受信側で使用するプロトコルを一
本化する必要がある。以下、送信主導型プロトコルを優
先し、受信主導型プロトコルをキャンセルする場合を図
９を用いて説明する。なお、送信主導型プロトコルをキ
ャンセルする場合も同様である。

【００３３】送受信関数が同時に発行された時には、上
述したように送受信ＰＵはそれぞれアドレスバッファ、
データバッファを探索し(９０１、９０２)、アドレス情
報が到着していないためアドレスを送信する(９０３、
９０４)。すると受信側ＰＵは、受信バッファにメッセ
ージがＰＵＴされるのを待ちつづける(９０５)が、送信
側ＰＵはデータバッファにすでに送信バッファのアドレ
スを送っているのでメッセージのＰＵＴを行わない。こ
のコンフリクトを解消するために受信側ＰＵは、メッセ
ージが到着するのを待つ間、同時にデータバッファを確
認する(９０６)。データバッファにアドレスが到着して
いる場合には、送受信関数が同時に発行されたと判断
し、アドレスバッファの内容をクリアし、送信側に送信
することで送信側のアドレスバッファを上書きしキャン
セルを行い(９０７)、さらにメッセージを送信バッファ
からＧＥＴし(９０８)、メッセージの転送を完了する。

【００３４】また、ユーザプログラムから送信関数がコ
ールされると送信側ＰＵはアドレスバッファを探索する
が、上述したようにアドレスバッファはキャンセルされ
ることがある。したがって、送信側ＰＵがアドレスバッ
ファを探索した時にアドレス情報が到着していた場合に
は、キャンセルされるデータであるかを確認する必要が
ある。キャンセルされるデータの場合には、同時にデー
タバッファを用いて送信バッファのアドレスの送信が行
われているため、データバッファを探索することで確認
できる。すなわち、アドレスバッファに到着しているデ
ータ数が、データバッファを用いて送信したデータ数以
下の時には、全てキャンセルされるデータである。逆に
アドレスバッファに到着しているデータ数が、データバ
ッファを用いて送信したデータ数を越えている場合に
は、越えた分だけ受信主導型プロトコルが有効である。
プロセス#0がプロセス#1に対してメッセージを送信する
場合の例を図１０に示す。送信側ＰＵ(#0)がデータバッ
ファ(１００１、１００２)を用いて送信バッファのアド
レスを３つ通知している(１００３、１００４)。一方、
受信側ＰＵ(#1)はアドレスバッファ(１００５、１００
６)を用いて受信バッファのアドレスを４つ通知してい
る(１００７、１００８)。したがってこの場合最初の３
つは送受信が同時に箱腐れたものであるためアドレスバ
ッファがキャンセルされ、４つ目のアドレスバッファの
みが有効となる。

【００３５】（Ｄ）ワイルドカード 受信関数では通信相手を指定する際にワイルドカード
(任意通信相手)を指定できる。ワイルドカードが指定さ
れた時には、受信関数がコールされた時点では通信相手
が分からないため、アドレス情報を送信できない。した
がって本発明ではワイルドカードを指定した受信関数が
コールされた場合には、アドレス情報の送信を行わな
い。これによりワイルドカードを用いた送受信では必ず
送信主導型プロトコルによって通信が行われる。

【００３６】

【発明の効果】本発明のリモートメモリ転送制御方式に
よれば、リモートメモリアクセスを用いたデータ転送に
おいて、送信側ＰＵが受信側のデータバッファにメッセ
ージをリモート書き込みするか、受信側ＰＵがユーザバ
ッファのアドレスを送信側に通知するかを送受信関数の
コール順によって選択でき、送受信関数のコールされる
時間に差がある場合に効率的にメッセージ転送ができ
る。また、送受信関数が同時にコールされた場合にも一
方のプロトコルをキャンセルすることで矛盾なく通信が
できる。

【図面の簡単な説明】

【図１】本発明を適用する並列計算機システムの全体構
成図。

【図２】リモートメモリアクセス機構を用いてメッセー
ジパッシングを実現する従来のデータ転送制御方法の手
順を示す図。

【図３】データバッファの説明図。

【図４】アドレスバッファの説明図。

【図５】送信主導型プロトコルのタイミングチャート。

【図６】受信主導型プロトコルのタイミングチャート。

【図７】送信主導型プロトコルのフローチャート。

【図８】受信主導型プロトコルのフローチャート。

【図９】送受信関数同時発行時のフローチャート。

【図１０】送受信関数同時発行時の説明図。

【符号の説明】

101,102...要素計算機、103,104...CPU、105,106...メ
モリ、107...通信路、108,109...オペレーティングシス
テム、110,111...ユーザプログラム、112,113...メッセ
ージ通信ライブラリ、114,115...リモートメモリアクセ
ス領域、116,117,301,305,1001,1002,1003,1004...デー
タバッファ、118,119,401,405,1005,1006,1007,1008...
アドレスバッファ、201,202,203,204...従来のメッセー
ジ転送のタイミングチャート、302...送信メッセージの
識別子を格納する領域、303...送信メッセージの長さを
格納する領域、304...送信メッセージのアドレスを格納
する領域、402...受信メッセージの識別子を格納する領
域、403...受信メッセージの長さを格納する領域、40
4...受信メッセージのアドレスを格納する領域、501,50
2,503,504...送信主導型プロトコルのタイミングチャー
ト、601,602,603,604...受信主導型プロトコルのタイミ
ングチャート、701,702,703,704,705...送信主導型プロ
トコルのフローチャート、801,802,803,804,805...受信
主導型プロトコルのフローチャート、901,902,903,904,
905,906,907,908...送受信関数同時発行時のフローチャ
ート。

Claims (3)

【特許請求の範囲】
1. 【請求項１】複数台の要素計算機を通信路によって結合
   し、任意の要素計算機間で互いのデータ転送用メモリ領
   域にデータを読み書き可能なリモートメモリアクセス機
   構を有する並列計算機システムにおける任意の２つの要
   素計算機間のデータ送受信方法であって、 （１）各要素計算機がユーザプログラムから送信要求を
   受け、受信側要素計算機が該送信要求に対応する受信要
   求を発行していないかチェックするステップと、 （２）該受信要求を発行していないなら受信側要素計算
   機に送信データの格納されているアドレスを通知するス
   テップと、 （３）受信側要素計算機が該アドレスを受け取った時に
   送信側要素計算機上のデータ転送用メモリ領域からデー
   タを読み出すステップと、 （４）各要素計算機がユーザプログラムから受信要求を
   受け、送信側要素計算機が該受信要求に対応する送信要
   求を発行していないかチェックするステップと、 （５）該送信要求を発行していないなら送信側要素計算
   機にデータを受信するアドレスを通知するステップと、 （６）送信側要素計算機が該アドレスを受け取った時に
   受信側要素計算機上のデータ転送用メモリ領域にデータ
   を書き込むステップと、を有することを特徴とする並列
   計算機におけるデータ送受信方法。
2. 【請求項２】上記（３）の読み出すステップは、ユーザ
   プログラムから発行された受信要求が送信相手に任意の
   要素計算機を指定した時には、受信側要素計算機が送信
   側要素計算機にデータを受信するアドレスを通知するこ
   となく、送信側の要素計算機からデータの格納されてい
   るアドレスの通知を受けて送信側要素計算機上のデータ
   転送用メモリ領域からデータを読み出す処理からなる請
   求項１記載のデータ送受信方法。
3. 【請求項３】複数台の要素計算機を通信路によって結合
   し、任意の要素計算機間で互いのデータ転送用メモリ領
   域にデータを読み書き可能なリモートメモリアクセス機
   構を有する並列計算機システムにおける任意の２つの要
   素計算機間のデータ送受信方法であって、 （１）送信側要素計算機が受信側要素計算機にデータの
   格納されたアドレスを通知するステップと、 （２）受信側要素計算機が送信側要素計算機にデータの
   受信アドレスを通知するステップと、 （３）それぞれの通知がすれ違ったことを検出するステ
   ップと、 （４）すれ違ったことが検出された時に一方をキャンセ
   ルするステップと、を有することを特徴とする並列計算
   機におけるデータ送受信方法。