JPH1027164A

JPH1027164A - 分散処理方法

Info

Publication number: JPH1027164A
Application number: JP8180828A
Authority: JP
Inventors: Hiroyuki Yamashita; 博之山下
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-07-10
Filing date: 1996-07-10
Publication date: 1998-01-27

Abstract

(57)【要約】【課題】各ノードで行われた部分処理結果の結合処理
も各ノードで分散して行うことによりシステム全体のス
ループットを向上するとともに、また処理全体のターン
アラウンドタイムを短縮し得る分散処理方法を提供す
る。【解決手段】結合処理の手続き情報および中間結果情
報を転送情報単位５としてネットワーク２内を巡回さ
せ、一方各部分処理を実行して結果を保持する各ノード
３₁，３₂，・・・，３_nはネットワーク２から転送情
報単位５を取得し、この転送情報単位５の手続き情報に
基づき、当該ノードの保持する部分処理結果８_iと該取
得した中間結果情報とを用いて、結合処理の一部を行
い、この結果により中間結果情報を更新し、手続き情報
とともにネットワークに送出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータや端
末などの複数のノードがネットワークに接続されている
分散システムにおいて複数のノードで分散して実行され
る各部分処理の結果を使用して結合処理を行うというこ
とを繰り返すことにより最終的な処理結果を得る分散処
理方法に関する。

【０００２】

【従来の技術】この種の分散処理方法は、従来、図８お
よび図９に示すように結合処理を１つのノードで集中的
に実行されていた。

【０００３】更に具体的には、図８に示す分散システム
９においては、ネットワーク２に接続された複数のノー
ド６₁，６₂，・・・，６_nはそれぞれ部分処理を実行
し、この部分処理結果８₁，８₂，・・・，８_nを生成
している（図９のステップＳ９１）。そして、各ノード
６₁，６₂，・・・，６_nは各部分処理結果８₁，
８₂，・・・，８_nをそれぞれの通信手段７₁，７₂，
・・・，７_nによりネットワーク２を介して結合処理実
行ノード６０に転送する（ステップＳ９２）。

【０００４】ノード６０は、ネットワーク２から通信手
段７０を介してこれらの部分処理結果８₁，８₂，・・
・，８_nを受信し、すべての部分処理結果の受信を完了
すると（ステップＳ９３）、これらの部分処理結果を用
いて結合処理を実行し、最終処理結果８０を生成する
（ステップＳ９４）。

【０００５】

【発明が解決しようとする課題】従来の分散処理におい
ては、上述のように、結合処理を１つのノード６０で集
中的に実行していたため、結合処理を実行するノードの
性能および信頼性がボトルネックとなり、当該処理全体
の性能および信頼性を規定するという問題があった。す
なわち、結合処理を実行するノードの性能が十分ない場
合には、そのノードのみが処理実行中で他のノード群が
空き（処理を実行していないこと）状態にあるという割
合が増大し、その分散システム全体のスループットが低
下していた。

【０００６】更に、部分処理の実行完了が遅いノードが
存在した場合、その処理結果の到着まで結合処理の開始
を待ち合わせる必要があり、処理全体のターンアラウン
ドタイムが増大していた。また、そのノードの故障によ
り、そのノードが実行していた結合処理全体を他のノー
ドが再実行する必要があった。

【０００７】本発明は、上記に鑑みてなされたもので、
その目的とするところは、各ノードで行われた部分処理
結果の結合処理を各ノードで分散して行うことによりシ
ステム全体のスループットを向上するとともに、また処
理全体のターンアラウンドタイムを短縮し得る分散処理
方法を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、複数のノードがネットワ
ークに接続され、各ノード間で通信を行う分散システム
において前記複数のノードにおいてそれぞれ分散して実
行される各部分処理の結果を使用して結合処理を行うと
いうことを繰り返すことにより最終的な処理結果を得る
分散処理方法であって、前記結合処理の手続き情報およ
び中間結果情報を転送情報単位として各ノード間で前記
ネットワーク内を巡回させ、前記各部分処理を実行し、
その結果を保持する各ノードはネットワークから前記転
送情報単位を取得し、この取得した転送情報単位の手続
き情報に基づき、当該ノードの保持する部分処理の結果
と該取得した中間結果情報とを用いて、前記結合処理の
一部を行い、この結果により前記取得した中間結果情報
を更新し、取得した手続き情報とともにネットワークに
送出することを要旨とする。

【０００９】請求項１記載の本発明にあっては、結合処
理の手続き情報および中間結果情報を転送情報単位とし
てネットワーク内を巡回させ、一方各部分処理を実行し
て結果を保持する各ノードはネットワークから転送情報
単位を取得し、この転送情報単位の手続き情報に基づ
き、当該ノードの保持する部分処理結果と該取得した中
間結果情報とを用いて、結合処理の一部を行い、この結
果により中間結果情報を更新し、手続き情報とともにネ
ットワークに送出する。

【００１０】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。

【００１１】図１は、本発明の一実施形態に係る分散処
理方法を実施する分散システムの構成を示すブロック図
である。同図に示す分散システム１は、複数のノード３
₀，３₁，３₂，・・・，３_nがそれぞれ通信手段
４₀，４₁，４₂，・・・，４_nを介してネットワーク
２に接続されている。そして、このネットワーク２内に
は図２に示すような結合処理手続き情報を設定された結
合処理手続き情報域５１および結合処理中間結果情報を
設定された結合処理中間結果情報域５２を有する転送情
報単位５がノード３₀，３₁，３₂，・・・，３_n，３
₀，・・・の順に巡回している。なお、前記結合処理手
続き情報は、例えば計算式や処理手順そのもの、または
各ノードが保持する計算式や処理手順の識別子、または
計算式や処理手順の分散システム内での格納先を示す情
報等であり、また結合処理中間結果情報は、例えば中間
結果の値そのもの、または中間結果の値の分散システム
内での格納先を示す情報等である。

【００１２】このように構成される分散システムの作用
を図３に示すフローチャートを参照して説明する。

【００１３】各ノード３₀，３₁，３₂，・・・，３_n
は、予めまたは事前に割り当てられた部分処理の実行を
開始する（ステップＳ３１）。それから、各ノードは、
ネットワーク２を巡回している転送情報単位５の受信を
常時チェックし（ステップＳ３２）、転送情報単位５を
受信すると、ステップＳ３１で開始した部分処理の実行
が完了し、部分処理結果８_i（ｉ＝１，２，・・・，
ｎ）が生成済みであり、かつこの部分処理結果８_iを使
用した結合処理の一部をまだ実行していないか否かをチ
ェックする（ステップＳ３３）。部分処理結果８_iを生
成済みで、該部分処理結果８_iを使用した部分処理の一
部を実行している場合には、ステップＳ３５に進んで、
転送情報単位５をそのままネットワーク２に送出し、ス
テップＳ３２に戻る。

【００１４】部分処理結果８_iを生成済みであり、この
部分処理結果８_iを使用した結合処理の一部を実行して
いない場合には、ステップＳ３４に進んで、転送情報単
位５を取得し、該転送情報単位５の結合処理手続き情報
域５１および結合処理中間結果情報域５２の内容を取り
出し、該内容を解釈する。それから、この取り出した結
合処理手続き情報域５１の内容である結合処理手続き情
報に基づき、前記生成済みの部分処理結果８_iと前記受
信した転送情報単位５から取り出した結合処理中間結果
情報域５２の内容である結合処理中間結果情報とを用い
て、結合処理の一部を実行し、この結果により結合処理
中間結果情報を更新する（ステップＳ３６）。

【００１５】この更新した結合処理中間結果情報を転送
情報単位５の結合処理中間結果情報域５２に設定し、こ
の転送情報単位５を隣接後続ノードに転送すべきネット
ワーク２に送出する（ステップＳ３７）。この時、最後
の部分処理結果を用いた結合処理を実行した場合には、
その結果が最終処理結果８０となる。なお、図１では、
ノード３_nにおいて最終処理結果８０が得られている。

【００１６】上記動作フローからもわかるように、転送
情報単位５の取得と結合処理の一部実行は、必ずしもネ
ットワーク内のノードの並び順に行われる必要はない。
転送情報単位５の受信時点でそのノードにおける部分処
理が未完了であれば、その転送情報単位５はそのままネ
ットワーク２に送出され、ネットワーク２を一巡して再
びそのノードで受信された時に、前記部分処理が完了し
ていれば、その結果を用いた結合処理の一部が実行され
る。

【００１７】上記ステップＳ３４において、結合処理手
続き情報としては、計算式や処理手順、あるいは命令列
そのものを用いるケース、予め各ノードにこれら計算式
や処理手順、あるいは命令列を配布しておき、その識別
子を指定するケース、分散システム内のこれら計算式や
処理手順、あるいは命令列の格納先アドレスを指定する
ケース等、種々のケースが可能である。

【００１８】また、中間結果情報としても、同様に、中
間結果の値そのものを用いるケース、分散システム内の
中間結果の格納先を指定するケース等、種々のケースが
可能である。

【００１９】次に、図４を用いて、本発明の分散処理方
法による具体的な処理例を示す。

【００２０】図４は、ノード３₁，３₂，３₃が部分処
理を実行し、その結果ｖ１，ｖ２，ｖ３を保持している
ことを表している。なお、各ノードは、結合処理のため
の加重平均用重み値ｗｉ（ｉ＝１，２，３）を予め（部
分処理割当て時等に）与えられているものとする。同図
には、結合処理の手続き情報域５１ｊ（ｊ＝ａ，ｂ，
ｃ，ｄ）および中間結果情報域５２ｊを含む転送情報単
位５ｊの内容の推移が示されている。すなわち、転送情
報単位５ａがノード３₁に受信され、結合処理手続き情
報域５１ａに指定された結合処理の一部を、部分処理結
果ｖ１を用いて実行し、中間結果情報域５２ａを更新
し、転送情報単位５ｂとして送出し、それが、ノード３
₂に受信される。ノード３₂では、ノード３₁と同様に
して、転送情報単位５ｃを送出し、それが、ノード３₃
に受信される。ノード３₃でも、ノード３₁と同様にし
て、転送情報単位５ｄを送出し、その中間結果情報域５
２ｄの内容が、最終処理結果となる。ここで、結合処理
の内容は、次の４個である。

【００２１】・部分処理結果の最大値の計算・部分処理結果の最小値の計算・部分処理結果の加重平均値の計算・残部分処理結果数のカウント図４の例では、上記のうちの、残部分処理結果数のカウ
ント処理の結果により、最終処理結果の生成の有無を判
定している。

【００２２】本発明の分散処理方法は、階層的に適用す
ることも可能である。図５は、本発明の分散処理方法を
階層的に適用したケースの一例を示す概念図である。

【００２３】まず、同図（ａ）は、結合処理ｐ２１，ｐ
２２がそれぞれ部分処理ｐ１１，ｐ１２，ｐ１３の結
果、部分処理ｐ１４，ｐ１５，ｐ１６の結果を用い、更
に、結合処理ｐ３１が、部分処理ｐ１７の結果と、結合
処理ｐ２１，ｐ２２を部分処理とみなした結果とを用い
ることを表している。

【００２４】次に、図５（ｂ）は、同図（ａ）で表され
る処理を６個のノードｎ１，ｎ２，ｎ３，ｎ４，ｎ５，
ｎ６からなる分散システムにおいて、本発明の分散処理
方法で実行した場合の、各ノードでの実行処理の推移を
表している。ノードｎ１，ｎ２，ｎ３，ｎ４，ｎ５，ｎ
６は、それぞれ部分処理ｐ１１，ｐ１２，ｐ１３，ｐ１
４，ｐ１５，ｐ１６を実行し、結合処理ｐ２１はノード
ｎ１，ｎ２，ｎ３の順に実行されて、ノードｎ３にその
結果が生成される。同様に、結合処理ｐ２２の結果は、
ノードｎ６に生成される。これらの結果は、後に、結合
処理ｐ３１の部分処理結果として使用される。一方、ノ
ードｎ１では、結合処理ｐ２１の一部を完了後、部分処
理ｐ１７を実行する。その後、結合処理ｐ３１が、ノー
ドｎ１，ｎ３，ｎ６の順に実行されて、最終結果が、ノ
ードｎ６に生成される。

【００２５】本発明における最初の部分処理（初期処
理）の分散システム内のノードへの割当方法としては、
予め割り当てておく方法等、種々の方法が可能である
が、前記転送情報単位を用いる方法も可能である。

【００２６】図６は、その方法における初期処理用転送
情報単位の形式の一例を示す概念図である。同図は、初
期処理用転送情報単位５Ｉの結合処理手続き情報域５Ｉ
₁には、初期処理手続き情報を設定し、結合処理中間結
果情報域５Ｉ₂には、初期処理用入力情報を設定するこ
とを表している。この初期処理用転送情報単位５Ｉを、
分散システム内の特定ノード宛に、あるいは、機能を指
定して宛先を指定する機能アドレッシング（参考文献：
前川他著「分散オペレーティングシステム、４．５
節」、共立出版、１９９１年）等を用いることにより、
指定処理の可能な任意のノード宛に転送する。

【００２７】また、本発明における最終処理結果の要求
元ノードへの転送方法としては、転送情報単位内に要求
元ノードアドレスを設定しておく方法等、種々の方法が
可能であるが、前記転送情報単位を用いる方法も可能で
ある。

【００２８】図７は、その方法における最終処理結果転
送用転送情報単位の形式の一例を示す概念図である。同
図は、最終処理結果転送用転送情報単位５Ｏの結合処理
手続き情報域５Ｏ₁には、当該結合処理の識別子を含む
転送処理手続き情報を設定し、結合処理中間結果情報域
５Ｏ₂には、転送先アドレス情報を設定することを表し
ている。この最終処理結果転送用転送情報単位５Ｏを、
当該分散システム内に巡回させ、前記識別子との照合に
より、最終処理結果を保持するノードが受信・認識する
ことにより、その最終処理結果を処理要求元ノードに転
送する。

【００２９】また、本発明の分散処理方法において、転
送情報単位をネットワーク中で巡回させる方法として
は、隣接ノード同士を物理的に接続する方法や、バスや
スイッチ構成の通信路に接続されたノード間の通信によ
り、論理的なループを形成する方法等、種々の方法が可
能である。更に、前者の方法ではネットワークの多重
化、後者の方法では論理ループの再構成により、ネット
ワークの信頼性を向上させることができる。

【００３０】

【発明の効果】以上説明したように、本発明によれば、
結合処理の手続き情報および中間結果情報を転送情報単
位としてネットワーク内を巡回させ、一方各部分処理を
実行して結果を保持する各ノードはネットワークから転
送情報単位を取得し、この転送情報単位の手続き情報に
基づき、当該ノードの保持する部分処理結果と該取得し
た中間結果情報とを用いて、結合処理の一部を行い、こ
の結果により中間結果情報を更新し、手続き情報ととも
にネットワークに送出するので、結合処理が各ノードに
おいて分散して実行されるため、結合処理を１つのノー
ドで集中的に行う従来の方法に比較して、結合処理を実
行するノードの性能上および信頼性上のボトルネックが
解消され、システム全体のスループットを向上すること
ができる。また、部分処理の実行完了が遅いノードが存
在しても、その処理結果の到着まで結合処理の開始を待
ち合わせることなく、完了済みの部分処理の結果を用い
て結合処理を進めておくことができるため、処理全体の
ターンアラウンドタイムを短縮することができる。更
に、特定のノードが故障した場合にも、当該ノードに関
わる部分処理と結合処理の一部のみを再実行すればよ
く、処理全体の再実行が不要となる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る分散処理方法を実施
する分散システムの構成を示すブロック図である。

【図２】図１の分散システムによる分散処理方法に使用
される転送情報単位の形式の一例を示す図である。

【図３】図１の分散システムの処理を示すフローチャー
トである。

【図４】本発明の分散処理方法による具体的な処理例を
示す説明図である。

【図５】本発明の分散処理方法を階層的に適用したケー
スの一例を示す図である。

【図６】本発明の分散処理方法における初期処理実行ノ
ードの割り当てのための転送情報単位の一例を示す図で
ある。

【図７】本発明の分散処理方法における最終処理結果の
要求元ノードへの転送の転送情報単位の一例を示す図で
ある。

【図８】従来の分散処理方法を適用した分散システムの
構成を示すブロック図である。

【図９】図８の分散システムの処理を示すフローチャー
トである。

【符号の説明】

１分散システム２ネットワーク５転送情報単位３₀，３₁，３₂，・・・，３_n ノード４₀，４₁，４₂，・・・，４_n 通信手段５１結合処理手続き情報５２結合処理中間結果情報域８₁，８₂，・・・，８_n 部分処理結果８０最終処理結果

Claims

【特許請求の範囲】

【請求項１】複数のノードがネットワークに接続さ
れ、各ノード間で通信を行う分散システムにおいて前記
複数のノードにおいてそれぞれ分散して実行される各部
分処理の結果を使用して結合処理を行うということを繰
り返すことにより最終的な処理結果を得る分散処理方法
であって、前記結合処理の手続き情報および中間結果情報を転送情
報単位として各ノード間で前記ネットワーク内を巡回さ
せ、前記各部分処理を実行し、その結果を保持する各ノード
はネットワークから前記転送情報単位を取得し、この取得した転送情報単位の手続き情報に基づき、当該
ノードの保持する部分処理の結果と該取得した中間結果
情報とを用いて、前記結合処理の一部を行い、この結果
により前記取得した中間結果情報を更新し、取得した手
続き情報とともにネットワークに送出することを特徴と
する分散処理方法。