JP3445335B2

JP3445335B2 - 並列処理装置及びその通信方法

Info

Publication number: JP3445335B2
Application number: JP30309293A
Authority: JP
Inventors: 嘉史雄城
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-12-02
Filing date: 1993-12-02
Publication date: 2003-09-08
Anticipated expiration: 2018-09-08
Also published as: JPH07160610A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は並列処理装置及びその通
信方法に係り、特に、データ処理及びデータの格納を行
う複数の処理装置が通信路を介して全点対全点通信可能
に結合された並列処理装置及びその通信方法に関する。
本発明に係る技術は、複数の小型のプロセッサを通信路
を介して結合し、個々のプロセッサに磁気ディスクなど
の二次記憶装置を付加し、全体として１作業又は数作業
を遂行させる並列プロセッサシステムに関するものであ
る。データベース処理におけるいわゆるEquivalent-Joi
n （同業者には広く知れ渡っている用語なので説明を略
する。）を並列プロセッサシステムで高速に実行しよう
とするアルゴリズムの一つにハッシュジョインがある。

【０００２】この処理は一般に以下の様に行なわれる。個々のプロセッサはディスクから論理的に１固まり
として扱われるべきデータ（レコードあるいはタプルと
言う）を読み出し、これにハッシュ関数を適用してこの
データを処理すべきプロセッサ装置を指定する。個々のプロセッサは指定されたのプロセッサにこ
のデータを転送する。上記処理を全てのデータに適用すると、各プロセッ
サにはそれぞれの内部で処理されるべきデータが集中す
る。各プロセッサ装置は以後独立して内部でジョイン処
理を行う。

【０００３】

【従来の技術】従来例に係る並列処理装置について、図
１０及び図１１に基づいて説明する。図１０に示すよう
に、従来例に係る並列プロセッサにあっては、各プロセ
ッサ９０₀〜９０_nは１作業について各々データの処理
及びデータの格納を行うとともに、バス９００を介して
全点対全点通信可能である。各プロセッサ９０_iには、
１作業について各々データ処理を行うデータ処理部９２
_iと、データを格納するデータ格納部９３_iと、他のプ
ロセッサ９０_jとの間のデータの送受信を行う入出力ポ
ート９１_i（ｉ＝０〜ｎ）と、前記格納部９３_iに格納
されているデータを処理すべきプロセッサを、当該デー
タにハッシュ関数に基づいて指定し、指定したプロセッ
サに対し、当該プロセッサに転送されるべきデータの転
送の指示を行う送信指示部９５_iとを有する。

【０００４】さらに、前記格納部９３_iは、図１１に示
すように、内部磁気ディスク９３ｂ _iと、主記憶装置９
３ａ_iからなる。ここで、データ処理部９２_i（９
２_j）は図１１に示すように、プロセス８４ _jにしたが
って動作するＣＰＵ９６_iにより実現され、送信指示部
９５_iは、ハッシュ関数を用いてＣＰＵ９６_iにより実
現されるものである。また、「ハッシュ(hash)関数」と
は、ハッシュ操作(hashing) を行うために使用する関数
であり、ハッシュ操作とは、キー値（Ｋ）からアドレス
（又はレコード値）Ｒを求める操作Ｒ＝φ（Ｋ）をい
う。あるキー分布をもつレコードを物理的に一様に格納
位置をばらまかせること（ランダマイジング）を行う操
作をいう。

【０００５】続いて、図１０及び図１１に基づいて、従
来例に係る並列プロセッサの動作について説明する。同
図に示すように、今、注目するプロセッサ９０_iとし、
処理例をハッシュジョインとした場合に処理は以下のよ
うに行われる。プロセッサ９０_i内部で内部磁気ディス
ク９３ｂ_iから１タプルが読み出され、格納部９３_iの
主記憶部９３ａ_iに格納される。今、ハッシュジョイン
のハッシュ対象を図１１に示すように会社名フィールド
とする。すると、前記送信指示部９５_iは、ハッシュ関
数をこのフィールドに適用し、例えば“ｊ”という値を
得る。

【０００６】このジョイン処理により表を作成するため
に必要なフィールドが会社名及び県名であったとする。
この場合には、ハッシュの結果値である“ｊ”を転送宛
先として、これらのフィールドと共に、当該プロセッサ
９０_iは図１１に示す入出力ポート９１_iを経由してバ
スＢに載せ、プロセッサ９０_jに送付する。ここでは、
データ送付はメッセージ転送で行われるとする。このメ
ッセージは論理的な転送ターゲットである受信側のプロ
セッサ９０_jのデータ処理部９２_iを実現するためのプ
ログラムに相当するプロセス８４_jに対応して存在する
メッセージ・バッファ８３_jに前記ＣＰＵ９５_jのＯＳ
（オペレーティング・システム）により格納され、プロ
セス８４_jがアクティブな時点で処理が行われる。

【０００７】

【発明が解決しようとする課題】さて、以上説明した従
来例に係る並列プロセッサの処理では、送信指示部９６
_iにより、前記格納部９３_iから読み出した送信しよう
とする転送データにハッシュ関数を適用して転送先のプ
ロセッサを決定する。即ち、転送は任意のプロセッサの
１台からこのフィールドに適用して、転送は任意のプロ
セッサの１台から任意のプロセッサの１台に対して行わ
れる全点対全点通信であり、特定のプロセッサの組合せ
（送信側のプロセッサと受信側のプロセッサとの組合
せ）を使用する通信の頻度及び発生タイミングを予め予
測することができない。

【０００８】従って、全体としてのデータ通信路性能が
十分であっても、特定のプロセッサあるいは通信路資源
が短期的に集中して使用されることが繰り返され、結果
として全システムの処理能力が低下するおそれがあると
いう問題点があった。この様な全点対全点通信は並列処
理システムではEquivalent-Join のみにだけでなく種々
のケースで用いられ、全点対全点通信で発生する輻輳現
象の回避はこの様なシステムの性能を向上させる為に必
須の要求である。しかも、多くの場合、各プロセッサ内
では複数のタスクあるいはプロセスが動作しており、現
在注目している処理に関連するタスクあるいはプロセス
が常にアクティブな状態（メッセージの送信又は受信が
可能な状態）にある訳ではない。

【０００９】例えば、転送元と転送先の両プロセッサが
共にアクティブな状態でないとデータ転送が不可能であ
る様なプロトコルを採用すると、あるプロセッサがイン
アクティブな状態（休眠状態、スリープ状態）にある時
点で他のプロセッサから当該プロセッサへデータを転送
しようとしても、データ転送を行うことができず、デー
タ転送が滞り、転送元プロセッサの処理に悪影響を及ぼ
すおそれがあるという問題点があった。

【００１０】一方、各プロセッサにおいては、各プロセ
ッサ間でデータの転送を行う必要のない処理（例えば、
特定データの更新処理）も存在する。そのため、各プロ
セッサの内部状態とも調整をとらないと、着目するプロ
セスが全てのプロセッサで同時にアクティブステートに
あることは一般に保証できない。以上の点を整理する
と、従来例にあっては、以下のような２つの問題点が生
じうる。

【００１１】(i) 従来例に係る並列プロセッサシステム
に関する処理は各プロセッサＡ_iのみに特有のタイミン
グで行なわれ、他のプロセッサＡ_k(k≠i)の内部処理と
全くタイミング調整をしていない。従って、他のプロセ
ッサＡ_kの内部でも全く同様のハッシュ値を得る異なる
タプルが同じタイミングで作成されている可能性を排除
することができない。この時、プロセッサＡ_kは殆ど同
じタイミングでＡ_jにデータを送信しようとし、Ａ _jの
入出力ポート９１_jで競合を発生するおそれがあるとい
う問題点があった。さらに、競合が発生した場合には、
どちらかのプロセッサがリトライを行う必要があり、バ
スビジー率の上昇、あるいはリトライを実行した側のプ
ロセッサ内の作業量の増大につながるおそれがあるとい
う問題点があった。

【００１２】(ii) 同様に、従来例に係る並列プロセッ
サシステムに関する処理はプロセッサＡ_jの内部状態と
も無関係に行なわれている。従って、このデータが転送
されるべきプロセッサＡ_jは現在そのＣＰＵのＯＳによ
ってインアクティブ状態になっている可能性がある。通
常メッセージは有限の大きさであるメッセージバッファ
８３_jに投入されるが、プロセスが休眠状態にある時間
の長さがプロセッサＡ _jのＯＳがこれらの送信に対して
受信の拒否をプロセッサＡ_iあるいはＡ_kに応答するだ
ろう。もし、プロセッサＡ_i，Ａ_kが送信すべきデータ
を蓄積する領域を持たないならば、プロセッサＡ_j内の
プロセス８４_jが再度ＯＳによりアクティブステートと
され、プロセッサＡ_j内のメッセージバッファ８３_jに
空きができる迄、プロセッサＡ_i及びプロセッサＡ_kの
該ハッシュジョイント処理は停止することになり、勿論
リトライの為にバスビジー率の上昇、及びプロセッサＡ
_i及びプロセッサＡ_kの処理量が無駄に増大することに
なるおそれがあるという問題点があった。

【００１３】そこで、本発明は、個々の処理装置の状
態、あるいは各処理装置内のプロセスの個々の状態が相
互に独立でありながら、全体としてデータ転送性能を保
証することのできるデータ転送機構を有する並列処理装
置及びその制御方法を提供することを目的としてなされ
たものである。

【００１４】即ち、本発明は、第一に、並列処理システ
ムでの全点対全点通信処理において、処理装置間通信関
係の過剰重複（単一の処理装置への送信が該処理装置の
受信性能により規定される数を上回る数の処理装置群に
より同時に実行される）による特定処理装置の負荷増
大、及びこれによるシステム全体の性能（特に処理装置
間通信性能）の低下の防止を図ることを目的とする。

【００１５】また、本発明は、第二に、並列処理システ
ムでの全点対全点通信処理において、各処理装置内で該
処理を実行するタスク／プロセス等が予め予測できない
頻度及びタイミングで不活性な状態に一時的に陥ること
があった場合、該タスク／プロセスが休眠状態にある処
理装置に対して実行できないことを他処理装置が検出で
きずに該処理に関して通信処理を試行する為に発生する
システム全体の性能（特に処理装置間通信性能）の低下
の防止を図ることを目的とする。

【００１６】

【課題を解決するための手段】以上の技術的課題を解決
するために、第一の発明は、図１に示すように、データ
処理を行うデータ処理部１２_i；ｉ＝０〜ｎと、データ
を格納するデータ格納部１３_iとを各々有する複数の処
理装置１０₀〜１０_nが、通信路１００を介して全点対
全点通信可能に結合された並列処理装置である。各処理
装置１０_iには、他の処理装置１０_jとの間の通信路１
００を介するデータの送受信及び自己の処理装置１０_i
内でのデータの転送を行う通信部１１_iと、当該処理装
置１０_iが受信可能状態にある場合には、受信するデー
タの格納領域をデータ格納部１３_iに確保し、全処理装
置１０₀〜１０_nの中から均等な頻度となるように選ん
だ任意の処理装置１０₀〜１０_nを指定し、指定された
処理装置１０_kに対し、前記格納領域への送信を許可す
る送信権限付与通知を発行する送信権限発行部１５
_iと、処理装置１０_jから発行された送信権限付与通知
を検出すると、当該処理装置１０_jに対して転送される
べきデータが所定量以上データ格納部１３_iに格納され
ているか否かを判定し、所定量以上格納されている場合
には発行元の処理装置１０_jに対し、受信可能な量のデ
ータの転送及び転送終了時の終了通知の指示を行い、所
定量格納されていない場合には自己及び発行元の処理装
置１０_i，１０_j以外の処理装置１０_kの中から均等な
頻度となるように選んだ任意の処理装置への送信権限付
与通知の回送を指示する送信権限検出判定指示部１４_i
とを有するものである。

【００１７】ここで、「並列処理装置」とは、複数の処
理装置を通信路を介して結合させ、分担して１作業（又
は処理装置の総数よりも十分に小さい数の作業）につい
て処理を行う装置をいう。並列処理装は、各処理装置が
異なる作業を独立して行う分散処理装置とは異なる。
「処理装置」とは実施例でいうプロセッサに相当する。
「全点対全点通信可能」とは、通信システムを構成する
各要素が、各々自己を含めた全要素との通信が可能であ
ることをいう。また、「通信路」には、バスによる通信
路のみではなく、ネットワークによる通信網の場合等が
ある。「送信権限」とは、それを付与された処理装置
が、それを発行した処理装置に対してデータを転送する
ことができる権限をいう。データの転送を送信権限に基
づいて行うようにしたのは、並列処理の為のタスク／プ
ロセスが休眠状態にあった為転送の為に必要な資源（例
えばデータが格納されるべきバッファ）の準備ができて
いない等の理由でデータ転送処理を受理することができ
ない処理装置に対し、他処理装置からの送信を禁止する
ためである。これにより受信処理を実行可能な状態であ
る受信可能状態にある処理装置が自身への送信権限を発
行し、他処理装置にこれを伝達することにより通信が開
始される。

【００１８】これは、受信側の処理装置は、いずれの処
理装置が自身に対して転送可能な状態にあるかを一般に
知ることができないということに起因する。もし、転送
可能な状態にある処理装置がいずれであるかの情報、及
び受理可能な状態にある処理装置がいずれであるかの情
報を１処理装置が各処理装置に伝達することによりこの
問題は解決できるが、この管理的な処理装置が故障した
りするとシステム全体に及ぼす影響が大きくなってしま
い信頼性が低くなり適当でない。

【００１９】「均等な頻度となるように任意の処理装置
を指定する」のは、情報を一箇所に集めて制御すること
を避けるためであり、例えばラウンドロピン方式等によ
り、その起点を受信側の処理装置に設けられたポインタ
で移動しながら、通信が成功する度にポインタを更新す
ることにより、送信権限の発行を全処理装置間を均等な
頻度で巡回させるようにする。さらに、「送信権限」
は、過剰な数の複数の処理装置が単一の処理装置に対し
て転送を試みることがないように、限られた数の処理装
置に対してのみ発行される。この数は受信側の処理装置
の転送性能、及び通信の為に受信側の処理装置で準備さ
れた資源量に応じて決定される。例えば、第二の発明又
は第四の発明の場合には、受信可能状態にある格納領域
に対応する処理装置に対して、同時に送信権限が発行さ
れることになる。「送信権限検出判定指示部１４により
所定量以上のデータがあるか否かの判定を行う」のは、
処理装置の入出力ポート等の資源競合が発生するため、
この通信処理性能低下を低く押さえる為には、データ転
送の為の通信処理（自己が送信処理を行う場合）と送信
権限付与の為の通信処理（自己が受信処理を行う場合）
で前者の処理時間が圧倒的に多くなるように制御を行う
必要があるからである。

【００２０】「所定量」は、各処理装置や通信路等の資
源及びその性能に基づいて設定される。「通信部」は、
データ処理を行うデータ処理部とは別個に設け、通信処
理中に受信側の処理装置のタスク／プロセス等のデータ
処理部が休眠状態に入った場合に、送信側の処理装置の
処理に影響を与えないようにしている。これにより、送
信権限のある処理装置に取得された後のデータ転送処理
はデータ処理部、即ち、受信側のタスクのソフトウェア
処理を必要としないで実行されることになる。このた
め、ＤＭＡ転送機構等が採用されることになる。「均等
な頻度」とは、完全な均等な頻度はもちろん、ほぼ均等
な場合をも含む。

【００２１】第二の発明は、図２に示すように、データ
処理を行うデータ処理部２２_i；ｉ＝０〜ｎと、データ
を格納する格納部２３_iとを各々有する複数の処理装置
２０ ₀〜２０_nが、通信路２００を介して全点対全点通
信可能に結合された並列処理装置である。また、各処理
装置２０_iには、他の処理装置２０_jとの間のデータの
送受信、及び、自己の処理装置２０_i内でのデータの転
送を行う通信部２１_iと、当該処理装置２０_iが受信可
能状態にある場合には、１又は２以上の処理装置から受
信すべきデータの各格納領域２８_ijをデータ格納部２３
_iに確保し、各格納領域毎に、該当する処理装置２０₀
〜２０_nの中から均等な頻度となるように選んだ任意の
１又は２以上の処理装置２０_kを指定し、自己の処理装
置２０_iの各格納領域毎の送信を許可する格納領域を特
定した送信権限付与通知を１又は２以上の指定した処理
装置に発行する領域特定送信権限発行部２５_iと、処理
装置２０_jから発行され、当該処理装置２０_jに対応す
る前記格納領域を特定した送信権限付与通知を検出する
と、当該処理装置２０_jに対して転送されるべきデータ
が所定量以上格納されているか否かを判定し、所定量以
上格納されている場合には発行元の処理装置２０_jに対
し、受信可能な量のデータの転送及び転送終了時の終了
通知の指示を行い、所定量格納されていない場合には自
己及び発行元の処理装置２０_i，２０_j以外の処理装置
２０_kの中から均等な頻度となるように選んだ任意の処
理装置へ、格納領域を特定した前記送信権限付与通知の
回送を指示する領域特定送信権限検出判定指示部２４_i
とを有するものである。

【００２２】第三の発明は、図３に示すように、データ
処理及びデータの格納を行う複数の処理装置が通信路を
介して全点対全点通信可能に結合された並列処理装置の
通信方法において、自己の処理装置が受信可能状態とな
ると自己の処理装置内にデータを受信する格納領域を確
保し（Ｓ１）、全処理装置の中から、均等な頻度となる
ように任意の処理装置を指定し、指定された処理装置に
対し、自己の処理装置の前記格納領域への送信を許可す
る送信権限付与通知を発行し（Ｓ２）、当該送信権限付
与通知を受信した他の処理装置は、発行元の処理装置に
転送されるべきデータが所定量以上格納されているか否
かを判定し（Ｓ３）、転送されるべきデータが所定量以
上格納されている場合には、前記送信権限付与通知の発
行元の処理装置に対し、当該装置が受信可能な量のデー
タを転送し、転送終了時にその旨を当該装置に通知し
（Ｓ４）、転送されるべきデータが所定量格納されてい
ない場合には、前記送信権限付与通知を、自己及び発行
元の処理装置以外の処理装置の中から均等な頻度となる
ように選んだ任意の処理装置へ回送する（Ｓ５）ことで
ある。

【００２３】第四の発明は図４に示すように、データ処
理及びデータの格納を行う複数の処理装置が通信路を介
して全点対全点通信可能に結合された並列処理装置の通
信方法において、自己の処理装置が受信可能状態となる
と、１又は２以上の処理装置から受信すべきデータの各
格納領域を確保し（Ｓ１１）、各格納領域が受信可能な
対応をする１又は２以上の処理装置の中から、均等な頻
度となるように任意の処理装置を各々指定し、指定され
た各処理装置に対し、対応する格納領域への送信を許可
する格納領域を特定した送信権限付与通知を発行し（Ｓ
１２）、格納領域を特定した送信権限付与通知を受信し
た１又は２以上の処理装置は、発行元の処理装置に転送
されるべきデータが所定量以上存在するか否かを判定し
（Ｓ１３）、転送されるべきデータが所定量以上格納さ
れていると判断した処理装置は、前記発行元の処理装置
の格納領域に対し、当該格納領域を特定して受信可能な
量のデータを転送し、転送終了時にその旨を通知し（Ｓ
１４）、転送されるべきデータが所定量格納されていな
いと判定された場合には、前記送信権限付与通知を、前
記格納領域に対応する自己及び発行元の処理装置以外の
処理装置の中から均等な頻度となるように選んだ任意の
処理装置への格納領域を特定して回送する（Ｓ１６）こ
とである。

【００２４】

【作用】第一及び第三の発明についての並列処理装置及
びその通信方法の動作について説明する。ステップＳ１
で、注目する処理装置１０_iについて、前記転送終了通
知があって受信可能状態となると、そのデータ格納部１
３_iに受信データを格納する領域を確保する。ステップ
Ｓ２で、当該処理装置１０_iの前記送信権限発行部１５
_iは、全処理装置の中から、均等な頻度となるように選
んだ任意の処理装置を指定する。これにより、処理装置
間の通信関係の過剰重複による特定処理装置の負荷増大
及びこれによるシステム全体の性能（特に処理装置間通
信性能）の低下を防止することができる。指定された処
理装置１０_jに対し、当該送信権限発行部１５_iは、自
己の処理装置１０_iの前記格納領域への送信を許可する
送信権限付与通知を発行する。

【００２５】ステップＳ３で、送信権限付与通知を通信
路１００及び通信部１１_jを介して受信した処理装置１
０_jの送信権限検出判定指示部１４_jは、送信権限を検
出すると、発行元の処理装置１０_iへ転送すべきデータ
が前記データ格納部１３_jに所定量以上格納されている
か否かを判定する。所定量以上のデータが前記データ格
納部１３_jに格納されている場合には、ステップＳ４に
進み、当該送信権限検出判定指示部１４_jは、当該送信
権限付与通知を発行した発行元の処理装置１０_iに対し
て、当該装置１０_iが受信可能な量のデータを前記通信
部１１_j及び通信路１００を介して転送し、転送が終了
した時点で、送信終了通知を当該装置１０_iへ転送す
る。一方、ステップＳ３で、送信権限付与通知を受信し
た処理装置１０_jの前記データ格納部１３_jに、転送さ
れるべきデータが所定量格納されていない場合には、ス
テップＳ５に進み、受信した送信権限付与通知を、自己
処理装置１０_j及び発行元の処理装置１０_i以外の他の
処理装置１０_k(k≠i, k≠j)の中から均等な頻度となる
ように選んだ処理装置に回送する。

【００２６】続いて、第二及び第四の発明についての並
列処理装置及びその通信方法の動作について説明する。
本発明の場合には、第一及び第三の発明と異なり、注目
する処理装置２０_iが受信可能状態となった場合には、
１又は２以上の処理装置から受信すべきデータの各格納
領域を確保し、各格納領域毎に、当該格納領域を特定し
た送信権限の付与を行う。従って、送信権限の付与は複
数の処理装置に対して発行される可能性がある。また、
１つの処理装置に複数の送信権限が付与される可能性も
ある。複数の送信権限が付与された処理装置は、発行元
の処理装置毎に、転送すべきデータ量の判定、データの
転送が行われることになる。また、各処理装置が受信可
能状態になった場合に当該処理装置内に確保される各格
納領域の個数は、必ずしも、他の処理装置の個数と一対
一に対応しなくても良く、１つの格納領域が複数の処理
装置に対応する場合であっても良い。これにより、第二
及び第四の発明に係る並列処理装置及びその通信方法
は、第一及び第三の発明と異なり、送信権限を複数又は
処理装置の最大個数分を同時に発行することができるこ
とになり、処理を高速に効率良く行うことができる。

【００２７】

【実施例】続いて、本発明の実施例について、図面に基
づいて説明する。図５には、本実施例に係る全体機器構
成図を示す。同図に示すように、本実施例に係る並列処
理装置システムにあっては、ｎ＋１台の前記処理装置に
対応するプロセッサ（処理装置、プロセッサエレメン
ト、ＰＥ）３０₀〜３０_n（Ａ₀〜Ａ_n）と、当該プロ
セッサ３０₀〜３０_nを結合する単一のバス３００と、
を有する。各プロセッサ３０_nには、同図右のプロセッ
サ内構成に示すように、種々のデータの処理を行うＣＰ
Ｕ６_nと、データを格納するデータ格納部３_nと、他の
プロセッサ３０_n〜３０_nとの間の通信路３００を介し
てのデータの送受信及び自己のプロセッサ装置３０_n内
でのデータの転送を行う通信部１_nと、を有する。即
ち、当該通信部１_nはＣＰＵ６_nとは別個に設けられて
おり、当該プロセッサ上で動作する特定ソフトウェアの
介在を必要としない。

【００２８】前記データ格納部３_nには、主記憶部３ａ
_nと、二次記憶である磁気ディスク装置３ｂ_nとを有す
る。また、図６に示すように、前記ＣＰＵ６_iには、領
域特定送信権限検出判定指示部４_iと、当該プロセッサ
３０_iが受信可能状態にある場合には、１又は２以上の
プロセッサ３０_jから受信すべきデータの各格納領域を
データ格納部３_iに確保し、各格納領域毎に、該当する
プロセッサ３０_jの中から均等の頻度となるように選ん
だ任意の１又は２以上のプロセッサ３０_jを指定し、自
己のプロセッサ３０_iの各格納領域毎の送信を許可する
格納領域を特定した送信権限付与通知を１又は２以上の
指定したプロセッサ３０_jに発行する領域特定送信権限
発行部５_iと、データ処理を行うデータ処理部２_iとに
相当する機能を有する。本実施例に係る前記領域特定送
信権限発行部５_iには、内部にプロセッサポインタを有
する。

【００２９】前記領域特定送信権限検出判定指示部４_j
は、他のプロセッサ３０_iから発行され、当該プロセッ
サ３０_iに対応する前記格納領域８_ijを特定した送信権
限付与通知を検出する領域特定送信権限検出部４ａ
_jと、当該領域特定送信権限検出部４ａ_jにより領域を
特定した送信権限が検出された場合に当該プロセッサ３
０ _iに対して転送されるべきデータが該当する格納領域
に所定量以上格納されているか否かを判定する領域特定
判定部４ｂ_jと、該当する格納領域８_jiに当該判定部４
ｂ_jにより所定量以上のデータが格納されていると判定
された場合には発行元のプロセッサ３０_iに対し、受信
可能な量のデータの転送及び転送終了時の終了通知の指
示を行い、前記データ格納部３_jに所定量格納されてい
ない場合には前記領域を特定した送信権限付与通知を自
己及び発行元のプロセッサ３０_j３０ _i以外のプロセッ
サ３０_kについて均等な頻度で順次回送を指示する領域
特定送信指示部４ｃ_jとを有する。

【００３０】また、前記通信部１_iには、他のプロセッ
サ装置３０_jとの間の通信路３００を介してのデータの
送受信を行う入出力ポート１ａ_iと、自己のプロセッサ
装置１_i内でのデータの転送を行うＤＭＡ１ｂ_iとを有
する。ＤＭＡ１ｂ_iは外部プロセッサ３０₀〜３０_nか
ら対象プロセッサ装置３０_iのソフトウェアの介在なし
に対象プロセッサ装置３０_iの主記憶部３ａ_iにデータ
の格納を可能とする機構である。図７に示すようにこの
ＤＭＡ１ｂ_jは、外部から到来したパケットの先頭部分
（図７の符号５３，５２のＴ０及びＴ１と示したフィー
ルド）の内容がある値（ここではＴ１）である時のみ動
作し、それ以外の値では到来したパケットはメッセージ
と解釈されて当該プロセッサ３０_iのＣＰＵ６_iに割込
みを発生するものとする。

【００３１】ここで、「パケット」とは、データや制御
信号を含むデータ列であって、列全体を１つの単位とし
て伝送したり交換したりされるもの。「メッセージ」と
は、情報伝達を目的としたデータ、但し、メッセージ交
換をするためには、プロトコルに従った形式が必要であ
る。さらに、図７に示すように、前記データ格納部３_i
には、転送されたメッセージを処理するための前記領域
特定送信権限検出判定指示部４_i、領域特定送信権限発
行部５_i及びデータ処理部２_iをＣＰＵ６_iを用いて実
現するためのプログラムであるプロセス３４_i及び、処
理すべきメッセージを保持するメッセージ・バッファ３
３_iが示されている。

【００３２】また、本実施例にあっては、図７に示すよ
うに、当該プロセッサ３０_iのデータ処理部２_iにより
各転送先プロセッサ３０₀〜３０_n毎に作成されたデー
タであり、あるプロセッサＡ_k３０_kに対して転送され
るべきと判断されたタプルをｋ番目のデータバッファ８
_ikに格納され転送処理を待つデータバッファ群８_iを有
する。また、符号５１はディスク３ｂ_iから読み出され
たハッシュ処理を受ける前のタプルを表す。

【００３３】符号５３はここで考えるデータ転送先プロ
セッサＡ_j３０_jから転送元プロセッサ装置Ａ_i３０_i
に対して送られるデータ格納先ブロック８_jiへの送信権
限を付与するためのメッセージのフォーマットを示す。
メッセージの種類を示すヘッダ部分（ここでは値Ｔ₀が
上記種類を指定するものとする）と、プロセッサ識別子
Ａ_j、及び格納領域であるデータ格納先ブロック８_jiの
プロセッサＡ_j３０_jの主記憶部３ａ_j内のアドレスが
記入されている（ここではプロセッサＡ_i３０ _iは格納
領域に相当するデータ格納先ブロック８_ijの容量を知っ
ているものとする。可変量のデータ格納先ブロック８_ij
を使用する場合には符号５３のフォーマットにはさらに
データ格納先ブロック８_ijの容量が追加されねばならな
い。）。

【００３４】さらに、符号５２はデータ転送元プロセッ
サＡ_i３０_iからデータ転送先プロセッサＡ_j３０_jへ
のデータ転送を行なう場合の物理パケットのフォーマッ
ト例であり、ＤＭＡ機構１ｂ_jを使用する為のヘッダ値
Ｔ１、転送先プロセッサ識別子Ａ_i、及びデータが格納
されるべきデータ格納先ブロック８_ij内領域の主記憶部
内アドレス、そして格納されるべきデータそのものより
なる。データ格納先ブロック８_ijは上記の通りデータが
格納されるべきブロック、そして符号５４はプロセッサ
Ａ_j３０_j内のハッシュジョインプロセス３４_jが有す
る送信権限発行部５_jが内部に管理する最初に送信権限
を転送すべきプロセッサ番号値である。以上の例では、
ここには、プロセッサ３０_iを表すｉなる値が格納され
ていたとする。

【００３５】続いて、本実施例の動作について図８に基
づいて説明する。ステップＳＪ１で、データ受理の準備
が整ったプロセッサＡ_j３０_jの送信権限発行部５_j等
に相当するハッシュジョインプロセス３４_jが、１又２
以上のデータ格納ブロックをデータ格納部３_jの主記憶
部３ａ_jに作成する。ステップＳＪ２で、プロセッサ３
０_jの領域特定送信権限発行部５_jに相当するプロセス
３４_jは自身のプロセッサポインタ５４を参照して、前
記データ格納ブロック８_jiへの領域を特定した送信権限
付与通知をフォーマット５３のメッセージの形式でプロ
セッサＡ_i３０_iに通知する。当該フォーマットには、
図７に示すように、いずれのプロセッサに対する送信権
限であるかが表示されている。すると、ステップＳＩ１
で、プロセッサＡ_i３０_iの領域特定送信権限検出判定
指示部４_iに相当するハッシュジョインプロセス３４_i
はこのメッセージを受理し、領域が特定された送信権限
付与通知を検出すると、ステップＳＩ２で、自身内部の
データバッファ３３_iの内、送信権限の発行元であるプ
ロセッサＡ_j３０_jに対応するバッファ３３_iにデータ
が所定量以上蓄積されているか否かの判定を行う。

【００３６】ステップＳＩ３で、所定量、即ち、ある閾
値Ｅ以上のデータが該バッファ３３ _iに蓄積されていた
場合には、ステップＳＩ３に進む。ステップＳＩ３で、
プロセッサＡ_i３０_iの前記ハッシュジョインプロセス
３４_iの前記領域特定送信指示部４ｃ_iに相当する部分
が該バッファ３３_iに格納されている内容をプロセッサ
Ａ_j３０_jに対して転送の指示を行う。この転送の際に
は、図７のフォーマット５２により転送を行う。転送開
始後に、ステップＳＩ４で、前記領域特定送信権限の発
行元のプロセッサ３０_jの前記データ格納ブロック８_ji
が格納可能な最大容量に達すると判断されるまで、前記
閾値Ｅ以上のデータ量についてステップＳＩ５で、アド
レスの更新をパケット毎に行いながら転送を続行する。

【００３７】一方、ステップＳＪ３で、領域特定送信権
限発行元のプロセッサ装置３０_jは、前記プロセッサＡ
_i３０_iから転送されたパケットは前記通信部１_jの入
出力ポート１ａ_jを介して受信される。当該パケットフ
ォーマットの先頭にはＴ１が含まれ、ＤＭＡ使用を示し
ているので、前記ＤＭＡ１ｂ_jにより、ＣＰＵ６_jに割
込みを発生させることなく、到来したパケットに示され
たデータを同様にパケット内部に示されたアドレスの格
納位置が示す前記ブロック８_jiに格納する。

【００３８】前記領域を特定した送信権限が付与された
プロセッサＡ_j３０_jは、送信権限発行元のプロセッサ
Ａ_i３０_iに転送すべきデータをすべて正常に転送し終
わると、ステップＳＩ６で、送信終了通知を発行元のプ
ロセッサＡ_j３０_jに通知する。ステップＳＪ４で、当
該送信終了通知を受信すると、プロセッサＡ_j３０ _j
のプロセス３４_jは、このメッセージを受信した時点
で、前記データ格納ブロック８_jiの内容を前記データ格
納部３_jのディスク３ｂ_jに格納し、当該データ格納ブ
ロック８_jiを開放する。一方、領域を特定した送信権限
付与通知が受信された前記プロセッサＡ_i３０ _iが、ス
テップＳＩ２で、転送先のプロセッサＡ_j３０_jに該当
するバッファ３３_iに所定量、即ち閾値Ｅのデータが蓄
積されていなかったと判断された場合には、ステップＳ
Ｉ７に進む。

【００３９】ステップＳＩ７で、前記プロセス３４_iの
うち、領域特定送信権限検出判定指示部４_iに該当する
部分は、自己及び発行元のプロセッサＡ_i，Ａ_j以外の
プロセッサの中から均等な頻度となるように選んだ任意
のプロセッサＡ_j３０_jへ、格納領域を特定した送信権
限付与通知の回送を指示する。領域を特定した送信権限
付与通知を回送すべきプロセッサ３０_kを決定するに
は、例えば、自己のプロセッサ番号ｉに対してシステム
内のプロセッサ３０₀〜３０_nの台数ｎ＋１と互いに素
なある整数値ｍ（例えば１）を加算しさらにプロセッサ
台数ｎ＋１の剰余を取って新たなプロセッサ番号ｋを得
るようにすることができる。

【００４０】ステップＳＩ８で、当該プロセッサＡ_i３
０_iの前記プロセス３４_iのうち領域特定送信権限発行
部５_iに相当する部分が、領域を特定した送信権限付与
通知をプロセッサＡ_k３０_kに回送する。こうして、領
域を特定した送信権限付与通知を受理したプロセッサＡ
_k３０_kは、図８のステップＳＩ１〜ステップＳＩ８に
相当する処理を、前記送信権限発行元のプロセッサＡ_j
３０_jに対して行うことになり、当該プロセッサＡ_j３
０ _jは図８のステップＳＪ１〜ステップＳＪ４の処理を
行うこととなる。

【００４１】以上説明したように、本実施例にあって
は、各プロセッサ３０₀〜３０₃は、通信路としてバス
３００を介して結合されている場合を説明したが、図９
に示すように、通信路として、ネットワーク４００を用
いるようにしても良い。ネットワーク４００を用いた場
合には、各プロセッサ３０₀〜３０₃間の切換を行う切
換スイッチ４００ａ，４００ｂ，４００ｃ，４００ｄを
用いて、切り換えるようにしている。この例では、プロ
セッサを４台用いた場合について説明したが、台数は、
この例に限られるものではない。その他、ＬＡＮ等によ
り複数のプロセッサが結合されている場合でも良い。

【００４２】以上説明した実施例の他、次のような場合
にも適用することができる。例えば、ステップＳＪ４に
よりディスクへの格納ブロックを開放した後、次のプロ
セッサ装置を指定する場合には、ステップＳＪ１で、新
たなポインタ値Ｆと古いポインタ値Ｃとの関係を、ある
０でない整数値ｉにより、Ｆ＝（Ｃ＋ｉ）mod ｎとして
計算することにより次のプロセッサを指定することがで
きる。ここで、ｉ（全体値）とｎとは互いに素である。
さらに、ステップＳＪ４で、プロセッサＡ_j３０_jに対
しデータの転送を行ったプロセッサ３０_hの装置番号を
Ｈとした場合には、新たなポインタ値Ｆの値を、ある０
ではない整数値ｉによりＦ＝（Ｈ＋ｉ） mod ｎとして
計算することにより新たなプロセッサを指定することが
できる。ここで、ｉ（絶対値）とｎとは互いに素であ
る。

【００４３】また、処理ステップＳＩ７で、領域Ｆへの
領域毎送信権限の回送先プロセッサ装置の装置番号Ｇ
と、回送元プロセッサ３０の装置番号Ｃの関係を、ある
０ではない整数値ｊ（ｊ（の絶対値）とｎは互いに素）
によりＧ＝（Ｃ＋ｊ） mod ｎとして計算することによ
り新たなプロセッサ３０を指定することができる。

【００４４】以上の実施例の処理を要約すると次のよう
になる。ステップＳＪ１であるプロセッサＡ_jがデータ
の受信が可能状態となった時、該プロセッサＡ_j自身の
内部にデータ量を受理することのできる複数個の格納領
域（Ｆ₀〜Ｆ_k-1）を確保する。ステップＳＪ２で、格
納領域毎に設けられたプロセッサポインタ（Ｂ₀〜Ｂ_k-
₁）によりポイントされる、格納領域毎の他のプロセッ
サ（ＰＥ番号Ｃ₀〜Ｃ_k _-1）に対して上記格納領域毎に
各格納領域への送信権限を付与する為のメッセージ転送
を行う。当該送信権限には、前記格納領域を特定した情
報及びいずれのプロセッサＡ_jに対する送信権限である
かが表示されている。

【００４５】ステップＳ１１で領域の特定されたｋ個の
送信権限付与通知をプロセッサＡ_j（Ｃ_o〜Ｃ_k-1）が
受信すると、ステップＳＩ２で、当該プロセッサＡ_j自
身内部に、プロセッサＡ_iに転送されるべきデータが、
ある所定量Ｅ以上蓄積されているか否かを判定し、もし
蓄積されているならば、ステップＳＩ３に進み、該プロ
セッサＣはＤを越えない量で転送可能な最大量をプロセ
ッサＡ_iに対し、格納領域を特定して、データを転送
し、前記領域Ｆに対して書込み、終了した場合には、ス
テップＳＩ６でプロセッサＣはプロセッサＡ_iに対し終
了メッセージを転送し、ステップＳＪ３でプロセッサＡ
_iが当該終了メッセージを受理すると自身内部の上記ポ
インタＢを他のプロセッサＨをポイントとするように変
更する。一方、蓄積されていないならば、プロセッサＡ
_iはステップＳＩ７で、上記送信権限を自身と異なるプ
ロセッサＧに格納領域を特定して転送し、以下プロセッ
サＧは、送信権限を前記プロセッサＡ_jから直接送付さ
れた場合と同様に処理する。

【００４６】尚、前述した実施例のステップＳＪ２にお
いて、送信権限の送付先プロセッサ番号ポインタＢ₀〜
Ｂ_k-1の値の更新時に、あるポインタＢ_tの更新結果が
他のいずれかのポインタＢ_jと同じ値となった場合に、
Ｂ_iに再び同様の更新アルゴリズムを施して両ポインタ
の値が同じ値とならない様にすることもできる。以上の
例では、送信権限を複数のプロセッサ装置に対して転送
することができるので、効率良く、かつ高速に、処理を
実行することができる。また、以上の例では、送信権限
は、そのプロセッサの格納領域を特定する情報を付加し
たが、データ量があまり多くない場合には、以上説明し
た例について、プロセッサの複数の格納領域を特定する
情報を付加しないで、１つの格納領域のみを特定するよ
うにして又は予め定めた格納領域に格納するように行う
ことも可能である。これにより、処理を簡単化すること
ができる。

【００４７】

【発明の効果】以上説明したように、本発明にあって
は、並列処理システムでの全点対全点通信処理におい
て、各処理装置は自己が受信可能状態になると、全処理
装置の中から均等な頻度となるように選んだ理装置を指
定して、送信権限を付与することにより、自己への送信
を許可する処理装置を決定している。従って、処理装置
間通信関係の過剰重複（単一処理装置への送信が該処理
装置の受信性能により規定される数を上回る数の処理群
により同時に実行される）による特定処理装置の負荷増
大、及びこれによるシステム全体の性能（特に処理装置
間通信性能）の低下を防止することができる。さらに、
各処理装置内での当該処理を実行するタスク／プロセス
等が予測できない頻度及びタイミングで不活性な状態に
一時的に陥ることがあった場合、当該タスク／プロセス
が休眠状態にある処理装置に対して実行できないことを
他処理装置が検出できずに該処理に関して通信処理を試
行する為に発生するシステム全体の性能（特に処理装置
間通信性能）の低下を防止することができる。

【図面の簡単な説明】

【図１】第一の発明に係る原理ブロック図

【図２】第二の発明に係る原理ブロック図

【図３】第三の発明に係る原理流れ図

【図４】第四の発明に係る原理流れ図

【図５】実施例に係る全体ブロック図

【図６】実施例に係るブロック図

【図７】実施例に係る動作説明図

【図８】実施例に係る流れ図

【図９】実施例に係る他の通信路を示す図

【図１０】従来例に係るブロック図

【図１１】従来例に係る動作説明図

【符号の説明】

６_i ＣＰＵ１０₀〜１０_n，２０₀〜２０_n（３０_o〜３０_n）
処理装置（プロセッサ）１１_i，２１_i，１_i（１ａ_i，１ｂ_i）通信部（入
出力ポート、ＤＭＡ）１２_i，２２_i，２_i データ処理部（プロセス３
４_i）１３_i，２３_i，３_i データ格納部１４_i，（２４_i，４_i）送信権限検出判定指示部
（領域特定送信権限検出判定指示部、プロセス３４_i）１５_i，（２５_i，５_i）送信権限発行部（領域特定
送信権限発行部、プロセス３４_i）

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 13/00 G06F 15/16 H04L 12/00 H04L 29/00

Claims

(57)【特許請求の範囲】

【請求項１】データ処理を行うデータ処理部（１
２_i；ｉ＝０〜ｎ）と、データを格納するデータ格納部
（１３_i）とを各々有する複数の処理装置（１０ ₀〜１
０_n）が、通信路（１００）を介して全点対全点通信可
能に結合された並列処理装置において、各処理装置（１０_i）には、他の処理装置（１０_j）との間の通信路（１００）を介
するデータの送受信及び自己の処理装置（１０_i）内で
のデータの転送を行う通信部（１１_i）と、当該処理装置（１０_i）が受信可能状態にある場合に
は、受信するデータの格納領域をデータ格納部（１
３_i）に確保し、全処理装置（１０₀〜１０_n）の中か
ら均等な頻度となるように選んだ任意の処理装置（１０
₀〜１０_n）を指定し、指定された処理装置（１０_k）
に対し、前記格納領域への送信を許可する送信権限付与
通知を発行する送信権限発行部（１５_i）と、処理装置（１０_j）から発行された送信権限付与通知を
検出すると、当該処理装置（１０_j）に対して転送され
るべきデータが所定量以上データ格納部（１３ _i）に格
納されているか否かを判定し、所定量以上格納されてい
る場合には発行元の処理装置（１０_j）に対し、受信可
能な量のデータの転送及び転送終了時の終了通知の指示
を行い、所定量格納されていない場合には自己及び発行
元の処理装置（１０_i，１０_j）以外の処理装置（１０
_k）の中から均等な頻度となるように選んだ任意の処理
装置への送信権限付与通知の回送を指示する送信権限検
出判定指示部（１４_i）とを有することを特徴とする並
列処理装置。
【請求項２】データ処理を行うデータ処理部（２
２_i；ｉ＝０〜ｎ）と、データを格納する格納部（２３
_i）とを各々有する複数の処理装置（２０₀〜２０_n）
が、通信路（２００）を介して全点対全点通信可能に結
合された並列処理装置において、各処理装置（２０_i）には、他の処理装置（２０_j）との間のデータの送受信、及
び、自己の処理装置（２０_i）内でのデータの転送を行
う通信部（２１_i）と、当該処理装置（２０_i）が受信可能状態にある場合に
は、１又は２以上の処理装置から受信すべきデータの各
格納領域（２８_ij）をデータ格納部（２３_i）に確保
し、各格納領域毎に、該当する処理装置（２０₀〜２０
_n）の中から均等な頻度となるように選んだ任意の１又
は２以上の処理装置（２０_k）を指定し、自己の処理装
置（２０_i）の各格納領域毎の送信を許可する格納領域
を特定した送信権限付与通知を１又は２以上の指定した
処理装置に発行する領域特定送信権限発行部（２５_i）
と、処理装置（２０_j）から発行され、当該処理装置（２０
_j）に対応する前記格納領域を特定した送信権限付与通
知を検出すると、当該処理装置（２０_j）に対して転送
されるべきデータが所定量以上格納されているか否かを
判定し、所定量以上格納されている場合には発行元の処
理装置（２０_j）に対し、受信可能な量のデータの転送
及び転送終了時の終了通知の指示を行い、所定量格納さ
れていない場合には自己及び発行元の処理装置（２
０_i，２０_j）以外の処理装置（２０ _k）の中から均等
な頻度となるように選んだ任意の処理装置へ、格納領域
を特定した前記送信権限付与通知の回送を指示する領域
特定送信権限検出判定指示部（２４_i）とを有すること
を特徴とする並列処理装置。
【請求項３】データ処理及びデータの格納を行う複数
の処理装置が通信路を介して全点対全点通信可能に結合
された並列処理装置の通信方法において、自己の処理装置が受信可能状態となると自己の処理装置
内にデータを受信する格納領域を確保し（Ｓ１）、全処理装置の中から、均等な頻度となるように任意の処
理装置を指定し、指定された処理装置に対し、自己の処
理装置の前記格納領域への送信を許可する送信権限付与
通知を発行し（Ｓ２）、当該送信権限付与通知を受信した他の処理装置は、発行
元の処理装置に転送されるべきデータが所定量以上格納
されているか否かを判定し（Ｓ３）、転送されるべきデータが所定量以上格納されている場合
には、前記送信権限付与通知の発行元の処理装置に対
し、当該装置が受信可能な量のデータを転送し、転送終
了時にその旨を当該装置に通知し（Ｓ４）、転送されるべきデータが所定量格納されていない場合に
は、前記送信権限付与通知を、自己及び発行元の処理装
置以外の処理装置の中から均等な頻度となるように選ん
だ任意の処理装置へ回送する（Ｓ５）ことを特徴とする
並列処理装置の通信方法。
【請求項４】データ処理及びデータの格納を行う複数
の処理装置が通信路を介して全点対全点通信可能に結合
された並列処理装置の通信方法において、自己の処理装置が受信可能状態となると、１又は２以上
の処理装置から受信すべきデータの各格納領域を確保し
（Ｓ１１）、各格納領域が受信可能な対応する１又は２以上の処理装
置の中から、均等な頻度となるように任意の処理装置を
各々指定し、指定された各処理装置に対し、対応する格
納領域への送信を許可する格納領域を特定した送信権限
付与通知を発行し（Ｓ１２）、格納領域を特定した送信権限付与通知を受信した１又は
２以上の処理装置は、発行元の処理装置に転送されるべ
きデータが所定量以上存在するか否かを判定し（Ｓ１
３）、転送されるべきデータが所定量以上格納されていると判
断した処理装置は、前記発行元の処理装置の格納領域に
対し、当該格納領域を特定して受信可能な量のデータを
転送し、転送終了時にその旨を通知し（Ｓ１４）、転送されるべきデータが所定量格納されていないと判定
された場合には、前記送信権限付与通知を、前記格納領
域に対応する自己及び発行元の処理装置以外の処理装置
の中から均等な頻度となるように選んだ任意の処理装置
への格納領域を特定して回送する（Ｓ１６）ことを特徴
とする並列処理装置の通信方法。