JP2973973B2 - 並列計算における動的負荷分散方法、動的負荷分散装置及び動的負荷分散プログラムを記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はアダプティブ有限要
素法を分散メモリ並列計算機上で効率の良くするのに必
要な動的負荷分散方法、装置及びそのプログラムを記録
した記録媒体に関するものである。

【０００２】

【従来の技術】一般に有限要素法による構造解析、流体
解析のシミュレーションにおいては、解を求める領域を
三角形等の要素と呼ばれる小領域に分割し近似解を求め
る。高精度な近似解を求めるためには解の変化が激しい
領域において十分に細かな要素分割をしなければならな
いが、一般にどこで解の急激な変化が起こるかは計算の
前には分からない。そこで計算の進行と同時に領域を細
分化していくアダプティブ有限要素法という方法が、高
精度シミュレーションの方法として開発され、広く用い
られるようになりつつある。

【０００３】さて、一般に並列処理において並列化の手
法として領域分割法が広く用いられている。領域分割法
は、あらかじめ要素群をプロセッサ数と同数のブロック
に分割し、プロセッサにブロックを割り当てる方法であ
る。要素群を分割することは、数学的にグラフの分割問
題として捉えることができ、これまで数々の方法の提案
がなされてきた。

【０００４】アダプティブ有限要素法の処理を並列計算
機上で実行しようとすると、領域分割法における事前の
要素群の分割だけでなく、並列計算の実行過程におい
て、要素を再配置する必要が生じる。このような実行時
の負荷再配置問題（以降、動的負荷分散問題）は、これ
まであまり研究がなされておらず、研究論文なども少な
い。しかしながら並列コンピュータの真の実用化を考え
るとき、この動的負荷分散問題を解決することは必須の
技術課題だと言える。

【０００５】図２６に従来の処理を示す。領域の細分化
によって生じた要素集合を入力としプロセッサ数と同数
の色を使って生じた要素を各色同要素数になるようにラ
ンダムに色付けし、同色の色を並列計算機の各プロセッ
サに割り当て直すことで負荷の均等化が行なわれてき
た。この方法では負荷の均等化は容易に行なえるもの
の、隣接する要素が異なるプロセッサに割り当てられて
いることが多く、偏微分方程式の解法の中で通信量が膨
大になってしまう。その結果並列計算機上において、ア
ダプティブ有限要素法の並列実行効率が極度に低下す
る。これをサイクリック法と呼ぶ。

【０００６】一方近年、負荷を均等化するために以下の
様な手法［Ｊｏｈａｎ Ｄｅ Ｋｅｙｓｅｒ，ｅｔ．｀
｀Ｒｕｎ−Ｔｉｍｅ ｌｏａｄ ｂａｌａｎｃｉｎｇ
ｓｕｐｐｏｒｔ ｆｏｒ ａ ｐａｒａｌｌｅｌ ｍｕ
ｌｔｉｂｌｏｃｋＥｕｌｅｒ／Ｎａｖｉｅｒ−Ｓｔｏｋ
ｅｓ ｃｏｄｅ ｗｉｔｈ ａｄａｐｔｉｖｅ ｒｅｆ
ｉｎｅｍｅｎｔ ｏｎ ｄｉｓｔｒｉｂｕｔｅｄｍｅｍ
ｏｒｙ ｃｏｍｐｕｔｅｒｓ’’． Ｐａｒａｌｌｅｌ
Ｃｏｍｐｕｔｉｎｇ Ｖｏｌ．２０ １９９４， ｐ
ｐ．１０６９−１０８８］が知られている。この方法は
Ｍｕｌｔｉｂｌｏｃｋ法と呼ばれている。図２７に示さ
れる処理が行われて来た。この方法はＭｕｌｔｉｂｌｏ
ｃｋ法あるいはブロック法と呼ばれる。

【０００７】領域分割法で初期要素を分割する。分割に
よって生じた要素の集合をブロックと呼ぶ。Ｍｕｌｔｉ
ｂｌｏｃｋ法はブロックの要素接続表、要素通信対応表
を入力とし、要素数の増大したブロックは分割し、それ
によって生じた新たなブロックは他の要素数の少ないロ
セッサに割り当てる。その分割によって、プロセッサ内
にあった要素間の参照関係がプロセッサ間の要素の参照
関係になる。そのためアダプティブ有限要素法の処理に
おいて、計算の進展につれ他のプロセッサにある要素の
参照回数が増大し、通信量が増大する。その結果、通信
時間が長くなり、アダプティブ有限要素法の処理時間が
長くなってしまい、並列実行効率が極度に低下してしま
う。

【０００８】

【発明が解決しようとする課題】Ｍｕｌｔｉｂｌｏｃｋ
法の装置、制御方法は、サイクリック法に比べ、通信量
を減少させアダプティブ有限要素法の並列実行性能を向
上させてはいる。Ｍｕｌｔｉｂｌｏｃｋ法は計算の進行
につれブロック数は増大し、負荷の均等化のために通信
量が増大する。そのため計算の通信時間が増大してしま
う欠点があり、計算の進行とともにアダプティブ有限要
素法の並列実行効率が著しく低下するという欠点は改良
されていない。本発明の目的は、計算の進展とともにア
ダプティブ有限要素法の並列実行効率が低下しない動的
負荷分散方法、動的負荷分散装置及び動的負荷分散プロ
グラムを記録した記録媒体を提供することにある。

【０００９】

【課題を解決するための手段】本発明は要素の接続グラ
フからプロセッサグラフを作成し、プロセッサグラフか
ら移動要素数を計算し、境界要素から距離が近い順に移
動させる要素を決定するという手法である。ブロック法
に見られる負荷の均等化のためにブロックを再分割し他
のプロセッサに割り当てる作業がないため、プロセッサ
に割り当てられた要素が非連結になることをブロック法
よりも防ぐことができる。またプロセッサ内で非連結な
要素集合数が２以上の場合には、連結になるよう要素を
他のプロセッサに移動させることで、非連結な要素集合
を減らす方向に動く。このようにすることで、従来法に
比べ、一つのプロセッサに多数の非連結な要素集合が割
り当てられることは少なくなる。その結果、アダプティ
ブ有限要素法の処理に必要な連立一次方程式の求解など
の処理のために必要な通信量が減り、通信時間の短縮に
つながる。従来の方法と比較して、アダプティブ有限要
素法を並列に計算するときの効率の低下を抑えることが
できる。

【００１０】

【発明の実施の形態】本発明の動的負荷分散方法、動的
負荷分散装置及び動的負荷分散プログラムを記録した記
録媒体の実施の形態について説明する。まず最初に本明
細書で用いる言葉の定義をした後で、具体的な構成及び
動作について説明する。

【００１１】有限要素法では要素間の接続をグラフを使
って記述することが多い。要素の接続を表現したグラフ
を要素グラフといい、これを表に表したものを要素接続
表と呼ぶ。

【００１２】並列化を行った後、並列計算機の各プロセ
ッサは要素を所有している。要素を一つの対象として考
えた場合、もとの要素の間には接続関係が存在している
ため、その対象にも参照関係が存在する。その参照関係
を記述したグラフをプロセッサグラフと呼ぶ。

【００１３】通信が必要な要素と通信先のプロセッサ番
号との対応を示した表のことを要素通信先対応表と呼
ぶ。

【００１４】本発明の動的負荷分散装置に実施の形態を
図１に示す。本発明の動的負荷分散装置は、プロセッサ
エレメントとネットワークから構成されている。

【００１５】プロセッサエレメントは複数存在し、ネッ
トワークにより、互いに通信を行なうことができる。プ
ロセッサエレメントは連結性調査部１０１、要素移動量
決定部１０３、要素移動箇所決定部１０２、プロセッサ
接続情報生成部１０４、データ移動部１０５、要素接続
記憶部１０６、要素通信先対応記憶部１０７、プロセッ
サ情報記憶部１０８、要素移動先対応記憶部１０９、制
御部１１０から構成されている。

【００１６】連結性調査部１０１は図４に示す方法で処
理され、そのために図９に示すような成分要素記憶部と
成分番号記憶部を含んでいる。成分要素記憶部は、成分
要素記憶表を記憶する。成分要素記憶部は、成分ごと
に、その成分に含まれる要素数を記憶する成分に含まれ
る要素数記憶部と、その成分に含まれる要素の要素番号
を記憶する要素番号の集合記憶部と、その成分に隣接す
る要素が参照しているプロセッサの番号を記憶するプロ
セッサ番号の集合記憶部、番号付け、から構成される。
成分番号記憶部には、成分要素記憶表の記憶されている
成分の中で、要素数が最大の成分の番号が記憶されてい
る。

【００１７】要素移動箇所決定部１０２は図６に示す方
法で制御され、そのために図１１に示すようなプロセッ
サ番号表１とプロセッサ番号表２を含んでいる。それら
はプロセッサ番号記憶部と移動要素数記憶部から構成さ
れている。

【００１８】要素移動量決定部１０３は図５に示す方法
で制御され、そのために図１０に示すように、番号記憶
部、最大値記憶部、平均値記憶部を含んでいる。最大値
記憶部はプロセッサ番号記憶部と計算値記憶部から構成
されている。

【００１９】プロセッサ接続情報生成部１０４は図３に
示される方法で制御される。

【００２０】データ移動部１０５は、図７に示される方
法で制御される。

【００２１】要素接続記憶部１０６の内部を図１２に示
す。要素接続記憶部１０６には要素グラフが要素接続表
として記憶される。そのために要素番号を記憶する複数
の要素番号記憶部と、要素番号記憶部ごとに、その要素
番号記憶部に記憶された要素に隣接する要素の番号の集
合を記憶する隣接する要素番号の集合記憶部とから構成
される。

【００２２】要素通信先対応記憶部１０７の内部を図１
３に示す。要素通信先対応記憶部１０７には要素通信先
対応表が記憶される。そのために通信が必要な要素の要
素番号を記憶する要素番号記憶部とその要素の通信先プ
ロセッサ番号を記憶する隣接する要素を持つプロセッサ
番号の集合記憶部とから構成される。

【００２３】プロセッサ情報記憶部１０８の内部を図８
に示す。プロセッサ情報記憶部１０８には、プロセッサ
グラフをプロセッサ情報表として記憶する。そのため
に、それぞれのプロセッサごとに、プロセッサの番号を
記憶するプロセッサ番号記憶部と、仮想プロセッサ番号
記憶部と、そのプロセッサが持つ要素数記憶部と、その
プロセッサに隣接するプロセッサの番号を記憶する複数
のプロセッサ番号記憶部と、その隣接するプロセッサへ
移動する要素数を記憶する隣接するプロセッサへ移動す
る要素数記憶部から構成されている。

【００２４】要素移動先対応記憶部１０９の内部を図１
４に示す。要素移動先対応記憶部１０９には要素移動先
対応表が記憶される。そのために要素の移動先のプロセ
ッサのプロセッサ番号を記憶するプロセッサ番号記憶部
と、移動する要素の番号を記憶する移動する要素番号の
集合記憶部から構成される。

【００２５】これら、連結性調査部１０１、要素移動箇
所決定部１０２、要素移動量決定部１０３、プロセッサ
接続情報生成部１０４、データ移動部１０５、要素接続
記憶部１０６、要素通信先対応記憶部１０７、プロセッ
サ情報記憶部１０８、要素移動先対応記憶部１０９は制
御部１１０により制御される。

【００２６】本発明の動的負荷分散方法の実施の形態を
図２に示す。この負荷分散方法は並列計算機の全プロセ
ッサが起動することで実行が開始される。

【００２７】まず、要素接続表、要素通信対応表を入力
する（ステップ２０１）。ただし要素接続表にある要素
数はプロセッサごとに必ずしも等しいとは限らない。

【００２８】それらの入力を行った後、非連結な要素集
合の移動を行う（ステップ２０２）。その方法を図４に
示す。図４に示す処理は、プロセッサが持っている要素
グラフを連結な要素集合に分類し、要素集合の要素数が
最大のもの以外は、その要素集合に隣接する要素を持つ
プロセッサの中で、要素数が最小のプロセッサに要素集
合を送るというものである。

【００２９】その後、負荷の均等化のための要素移動数
移動先の計算を行う（ステップ２０３）。その計算を図
５に示す。図５に示す処理は、プロセッサグラフを用
い、反復計算によって解を求める方法であり、アダプテ
ィブ有限要素法における処理の後にプロセッサが持って
いる要素数よりも多くの要素を他のプロセッサに移動さ
せる可能性のあるプロセッサは、自分のプロセッサを介
して要素を移動することをやめ、最も要素の移動数が多
いプロセッサに要素を最も多く供給するプロセッサに隣
接させる。そのような処理を解が収束するまで行なうと
いうものである。

【００３０】その後、要素数の均等化のために移動させ
る要素集合、つまり、移動要素領域の計算を行う（ステ
ップ２０４）。その計算方法は図６に示す。図６に示す
処理は、プロセッサの境界要素集合に属する要素から順
次移動させる要素に加えていくという方法である。

【００３１】その後、移動要素数、移動要素先、移動要
素箇所の計算の結果に従い要素を移動させる（ステップ
２０６）。その方法を図７に示す。

【００３２】具体的に本発明の動的負荷分装置の動作に
ついて図１及び図２のフローチャートに基づいて説明す
る。

【００３３】まず、要素接続記憶部１０６には、要素グ
ラフが要素接続表として記憶され、要素通信先対応記憶
部１０７には要素通信先対応表が記憶される（ステップ
２０１）。

【００３４】要素通信先対応記憶部１０７は図１２に示
すように、要素番号記憶部と隣接する要素番号の集合記
憶部から構成される。

【００３５】ここで、図１５に要素グラフを示す。これ
は領域分割法によって並列化を行うまえの要素グラフで
ある。節点が要素を表し、枝が要素間の参照関係を示し
ている。要素には番号付けされており、この要素番号が
要素番号記憶部に記憶され、この要素に隣接する要素の
番号が、隣接する要素番号の集合記憶部に記憶される。

【００３６】要素通信先対応記憶部１０７は図１３に示
すように要素番号記憶部と隣接する要素を持つプロセッ
サ番号の集合記憶部から構成される。並列計算機でアダ
プティブ有限要素法の計算を進行させると要素グラフ
は、図１６のようになる。そして各々の成分の要素グラ
フは各々のプロセッサに記憶される。図１５と図１６を
比較すると枝が存在しない箇所が存在するがそれがプロ
セッサの境界を示しており、それに隣接する要素の要素
番号を要素番号記憶部に、その要素の参照先プロセッサ
番号を隣接する要素を持つプロセッサ番号の集合記憶部
に記憶する。

【００３７】次に、非連結な要素集合の移動を行う（ス
テップ２０２）。非連結要素の移動では連結性調査部１
０１とデータ移動部１０５が動作する。

【００３８】まず、連結性調査部１０１からプロセッサ
接続情報生成部１０４を起動し、プロセッサ情報記憶部
１０８にプロセッサ情報表を作成する（ステップ４０
１）。

【００３９】プロセッサ情報表は図３に示す処理により
作成される。ここで、図３のプロセッサ情報表を作成す
る処理を説明する。

【００４０】まず、プロセッサグラフをプロセッサ情報
表として記憶するプロセッサ情報記憶部１０８は、図８
に示すように、それぞれのプロセッサごとに、プロセッ
サの番号を記憶するプロセッサ番号記憶部と、仮想プロ
セッサ番号を記憶する仮想プロセッサ番号記憶部と、そ
のプロセッサが持つ要素数記憶部と、そのプロセッサに
隣接するプロセッサの番号を記憶する複数のプロセッサ
番号記憶部と、その隣接するプロセッサへ移動する要素
数を記憶する隣接するプロセッサへ移動する要素数記憶
部から構成されている。

【００４１】プロセッサ情報表はプロセッサ接続情報生
成部１０４により作成される。プロセッサ接続情報生成
部１０４は、図１３の要素通信先対応記憶部１０７に記
憶された要素通信先対応表から隣接するプロセッサ番号
の集合を読み、そのプロセッサ番号を図８に示すプロセ
ッサ番号記憶部の自分のプロセッサ番号に対応する隣接
プロセッサ番号記憶部に記憶する。そして図１２に示す
要素接続記憶部１０６から要素接続表を読みだし、要素
の個数を数え、図８に示すプロセッサ番号記憶部の自分
のプロセッサ番号に対応するプロセッサが持つ要素記憶
部に記憶する（ステップ３０１）。これによりプロセッ
サグラフの節点に要素数が記憶されたことになる。

【００４２】その記憶結果を全プロセッサにむけネット
ワークに送る（ステップ３０２）。

【００４３】各々のプロセッサから送られ来た結果は、
図８に示すプロセッサ番号記憶部の送り元のプロセッサ
番号に対応する箇所に各々記憶される（ステップ３０
３）。

【００４４】次に、プロセッサが持っている要素グラフ
を連結な要素集合に分類するために、図４のステップ４
０２〜４０７が実行される。

【００４５】まず、連結性調査部１０１の成分番号記憶
部の値を０にする（ステップ４０２）。

【００４６】要素接続記憶部１０６に記憶されている全
ての要素の処理が完了したかを調べる。完了した場合に
はステップ４０８に、未完了の場合にはステップ４０４
の処理にうつる（ステップ４０３）。

【００４７】連結性調査部１０１の成分番号記憶部の値
を１増やす（ステップ４０４）。

【００４８】未処理の要素を一つ選ぶ（ステップ４０
５）。

【００４９】要素接続表を使い幅優先、もしくは深さ優
先探索を行う。そのときに訪問した要素には処理が終了
したことを示す印を付け、訪問した要素数を数える。処
理した要素は成分要素記憶部の要素番号の集合記憶部に
記憶する（ステップ４０６）。

【００５０】要素数を成分要素記憶部の成分に含まれる
要素数記憶部に記憶したのちステップ４０３の処理をす
る（ステップ４０７）。

【００５１】ステップ４０２〜４０７の結果、図９に示
す成分要素記憶部の成分に含まれる要素数記憶部に連結
成分の要素数が記憶され、要素番号の集合記憶部に連結
成分に含まれる要素番号が記憶される。

【００５２】次に、分類の結果、要素集合の要素数が最
大の連結成分以外は、その要素集合に隣接する要素を持
つプロセッサの中で、要素数が最小のプロセッサに要素
集合を送る。

【００５３】そのため、まず、成分要素構成表の中で成
分に含まれる要素数の最大値の成分番号を図９に示す連
結性調査部１０１の成分番号記憶部に記憶する（ステッ
プ４０８）。

【００５４】そして、成分番号記憶部に記憶された成分
番号に対応する成分を除きすべての成分について要素番
号の集合記憶部に記憶された要素集合の番号と、図１３
に示す要素通信先対応表の要素番号記憶部に記憶された
要素番号を比較し、重複する要素番号が存在する場合に
は、それに対応する参照先プロセッサ番号を図１３に示
す要素通信先対応表から読み、図９に示すプロセッサ番
号の集合記憶部に記憶する（ステップ４０９）。

【００５５】これによりプロセッサ番号の集合記憶部に
は、その成分に隣接する要素が参照しているプロセッサ
の番号が記憶されることになる。

【００５６】連結性調査部１０１の成分番号記憶部に記
憶された番号以外の成分番号について、連結性調査部１
０１のプロセッサ番号の集合記憶部に記憶されている全
てのプロセッサ番号の中から、プロセッサ情報記憶部１
０８に記憶されている要素数を調べ、その値が最小のプ
ロセッサ番号を選び、そのプロセッサ番号を図１４に示
す要素移動先対応記憶部１０９のプロセッサ番号記憶部
に記憶し、成分番号の要素番号の集合記憶部に記憶され
ている要素番号を、要素移動先対応記憶部１０９に記憶
する（ステップ４１０）。

【００５７】次に、連結性調査部１０１によりデータ移
動部１０５が起動され、ステップ４１０で記憶された要
素移動先対応表と図１２の要素接続記憶部１０６に記憶
された要素接続表と、図１３の要素通信先対応記憶部１
０７に記憶された要素通信先対応表を入力として図７に
示すデータ移動部１０５の動作が開始される。

【００５８】データ移動部１０５は、まず、図１４の要
素移動先対応記憶部１０９に記憶された移動先プロセッ
サ番号と、このプロセッサ番号に対応する移動する要素
番号の集合を読み込む。そして読み込まれた移動する要
素番号の集合に含まれる要素番号に対応する要素接続表
を要素接続記憶部１０６から読み出し、更に要素接続先
対応記憶部からこれらの要素番号に対応する隣接する要
素を持つプロセッサ番号の集合を読み出す。そして読み
出された要素移動先対応表、要素接続表、要素通信先対
応表をネットワークを介して移動先プロセッサにおくる
（ステップ７０１）。

【００５９】そして、移動元のプロセッサでは、要素移
動先記憶部、要素接続記憶部１０６、要素通信先対応記
憶部１０７に記憶されている、要素移動先対応表、要素
接続表、要素通信先対応表を移動先プロセッサに送った
要素番号に対応する箇所を、初期化する（ステップ７０
２）。

【００６０】自分に送られてきた移動要素番号の集合、
その集合に含まれる要素番号に対応する要素接続表と要
素通信先対応表を受け取り、要素接続記憶部１０６と要
素通信先対応表を更新する（ステップ７０３）。

【００６１】図１６の要素グラフから非連結な要素集合
を移動した結果、図１７に示す要素グラフになる。図１
７では４つの成分を各々のプロセッサが記憶している。

【００６２】その後図２に示す負荷の均等化のための通
信先通信量の計算が行われる（ステップ２０３）。その
動作内容は図５に示してある。

【００６３】まず、要素移動量決定部１０３によりプロ
セッサ接続情報生成部１０４が起動され、プロセッサ接
続情報生成部１０４にて図３に示す処理が実行されプロ
セッサ情報表が生成される。生成されたプロセッサ情報
表は、図８に示すプロセッサ情報記憶部１０８に記憶さ
れる（ステップ５０１）。これにより例えば、連結成分
が移動された後の図１７の要素グラフから図１８に示す
プロセッサグラフが作成される。

【００６４】次にプロセッサ情報表の隣接するプロセッ
サへ移動する要素数をすべて０に初期化する（ステップ
５０２）。これにより例えば、図１８に示すプロセッサ
グラフは図１９のようになる。

【００６５】次に図８のプロセッサ情報記憶部１０８の
プロセッサが持つ要素数記憶部の値が正のものに関して
平均が取られ図１０に示す要素移動量決定部１０３の平
均値記憶部に記憶される（ステップ５０３）。例えば、
図１９に示す例では、３９．２５という値が図１０の平
均値記憶部に記憶される。

【００６６】また図８に記憶されたプロセッサが持つ要
素数記憶部の最大値も取られ、そのプロセッサ番号とと
もに要素移動量決定部１０３の最大値記憶部の中の計算
値記憶部とプロセッサ番号記憶部に記憶される（ステッ
プ５０４）。

【００６７】プロセッサが持つ要素数が最大のプロセッ
サから仮想的に幅優先で番号付けがなされ、プロセッサ
情報記憶部１０８の仮想プロセッサ番号記憶部に記憶さ
れる。つまり、プロセッサの持つ要素数が最大のプロセ
ッサから訪問した順番に番号を付ける（ステップ５０
５）。

【００６８】その番号付けされた状態を図２０に示す。
その番号の大きなものから、つまり、図２０では４と示
されたものから負荷の均等化の計算が以下に示す処理に
より開始される。

【００６９】要素移動量決定部１０３の番号記憶部にプ
ロセッサ台数を記憶する（ステップ５０６）。

【００７０】要素移動量決定部１０３の番号記憶部に記
憶されている値から１を引き、その値を記憶する（ステ
ップ５０７）。

【００７１】要素移動量決定部１０３の番号記憶部に記
憶されている値の正負を調べる。正か０ならステップ５
１３の処理をし、それ以外ならステップ５０９の処理を
する（ステップ５０８）。

【００７２】要素移動量決定部１０３の平均値記憶部に
記憶されている値から要素移動量決定部１０３の番号記
憶部に記憶されている値をひき、その値が負ならステッ
プ５１０の処理をし、それ以外の場合にはステップ５１
１の処理をする（ステップ５０９）。

【００７３】要素移動量決定部１０３の番号記憶部に記
憶されている番号を仮想プロセッサ番号とするプロセッ
サ（以下このステップにおいて自プロセッサという）を
プロセッサ情報記憶部１０８から探索し、探索した自プ
ロセッサの隣接するプロセッサ番号記憶部に記憶されて
いるプロセッサ（以下このステップにおいて隣接プロセ
ッサという）のうち、仮想プロセッサ番号が要素移動量
決定部１０３の番号記憶部に記憶されている番号より小
さく、かつ（隣接プロセッサが持つ要素数−隣接プロセ
ッサから他のプロセッサへ移動する要素数の総和）が最
小のプロセッサAを探索し、自プロセッサからプロセッ
サＡへ移動する要素数を１増やし、プロセッサＡから自
分のプロセッサへ移動する要素数を１減らし、再び（隣
接するプロセッサが持つ要素数−隣接プロセッサから他
のプロセッサへ移動する要素数の総和）が最小のプロセ
ッサＡを見つけ、その作業を（平均値記憶部に記憶され
た値−自プロセッサの要素数）の値が１以上の間行なう
（ステップ５１０）。

【００７４】要素移動量決定部１０３の平均値記憶部に
記憶されている値から要素移動量決定部１０３の番号記
憶部に記憶されている値をひき、その値が正ならステッ
プ５１２の処理をし、それ以外の場合にはステップ５０
７の処理をする（ステップ５１１）。

【００７５】要素移動量決定部１０３の番号記憶部に記
憶されている番号を仮想プロセッサ番号とするプロセッ
サ（以下このステップにおいて自プロセッサという）を
プロセッサ情報記憶部１０８から探索し、探索した自プ
ロセッサの隣接するプロセッサ番号記憶部に記憶されて
いるプロセッサ（以下このステップにおいて隣接プロセ
ッサという）のうち、仮想プロセッサ番号が要素移動量
決定部１０３の番号記憶部に記憶されている番号より小
さく、かつ（隣接プロセッサが持つ要素数−隣接プロセ
ッサから他のプロセッサへ移動する要素数の総和）が最
大のプロセッサＢを探索し、自プロセッサからプロセッ
サＢへ移動する要素数を１減らし、プロセッサＢから自
分のプロセッサへ移動する要素数を１増やし、再び（隣
接するプロセッサが持つ要素数−隣接プロセッサから他
のプロセッサへ移動する要素数の総和）が最大のプロセ
ッサＢを見つけ、その作業を（平均値記憶部に記憶され
た値−自プロセッサの要素数）の値１以上の間行なう
（ステップ５１２）。

【００７６】全てのプロセッサ番号に関して、そのプロ
セッサに隣接するプロセッサ番号の中で、移動する要素
数が正の値のものの総和を求め、その値からそのプロセ
ッサが持つ要素数を引いた値が最大のプロセッサ番号と
その値を最大値記憶部に記憶する（ステップ５１３）。

【００７７】最大値記憶部の計算値記憶部に記憶された
値の正負を判定する。０以下なら処理を終了し、それ以
外の場合にはステップ５１６の処理をする（ステップ５
１４）。

【００７８】最大値記憶部に記憶されたプロセッサＣの
要素数をそのプロセッサＣに隣接するプロセッサの中で
最小要素数のプロセッサＤに足し、プロセッサＣの要素
数を０とし、プロセッサＣの参照関係をプロセッサＤの
参照関係に加えるようにプロセッサ情報記憶部１０８に
記憶し、プロセッサＣの参照関係がなくなるようにプロ
セッサ記憶部に記憶する（ステップ５１６）。

【００７９】ここで、参照関係を加える処理は、プロセ
ッサＤを示すプロセッサ番号記憶部に対応する隣接する
プロセッサ番号記憶部と、プロセッサＣを示すプロセッ
サ番号記憶部に対応する隣接するプロセッサ番号記憶部
の和集合をとり、それをプロセッサＤを示すプロセッサ
番号記憶部に対応する隣接するプロセッサ番号記憶部に
記憶し、逆にプロセッサＤを示すプロセッサ番号記憶部
に対応する隣接するプロセッサ番号記憶部に記憶されて
いる番号を示すプロセッサ番号記憶部に対応する、隣接
プロセッサ番号記憶部には、プロセッサＤのプロセッサ
番号を記憶することにより行われる。

【００８０】また、参照関係をなくす処理は、プロセッ
サＣに対応する隣接プロセッサ番号記憶部に記憶されて
いる全てのプロセッサ番号に対応するプロセッサに対応
する隣接プロセッサ番号記憶部に記憶されている、プロ
セッサＣに対応するところを０に初期化し、プロセッサ
Ｃに対応するプロセッサ番号記憶部と隣接プロセッサ番
号を０に初期化することにより行われる。

【００８１】次に、移動する要素数の絶対値の総和が最
大のプロセッサＥを見つけ、プロセッサＥに隣接するプ
ロセッサの中で、プロセッサＥに移動する要素数が最小
のプロセッサＦを見つけ、プロセッサＦとステップ５１
６で参照関係がなくなったプロセッサＣとが参照関係を
持つようにプロセッサ記憶部に記憶し、ステップ５０２
の処理に戻る（ステップ５１７）。

【００８２】すなわち、プロセッサ番号記憶部の値がプ
ロセッサＦの対応する隣接プロセッサ番号記憶部にプロ
セッサＣの番号を記憶し、新たにプロセッサＣのプロセ
ッサ番号をプロセッサ番号記憶部に記憶し、それに対応
する隣接するプロセッサ番号記憶部には、プロセッサＦ
の番号を記憶する。

【００８３】以上の負荷均等化の計算により、図２０で
示されたプロセッサ４の処理を行った後の状態が図２１
に示される。図１０の平均値記憶部の値よりも小さな値
であったため図２１のように計算される。図２１のプロ
セッサ１からプロセッサ４への移動量１０は図８に示す
プロセッサ番号１に対応する領域の、プロセッサ番号４
に対応する隣接するプロセッサ番号記憶部に対応する領
域に対応する隣接プロセッサへ移動する要素数には正の
値つまり、１０として記憶され、プロセッサ番号４に対
応する領域の、プロセッサ番号１に対応する隣接するプ
ロセッサ番号記憶部に対応する領域に対応する隣接プロ
セッサへ移動する要素数には負の値つまり、−１０とし
て記憶される。その後、図５に示すループで繰り返し処
理され、その計算の進行過程を図２２、図２３に示す。
図２０に示すプロセッサ４の処理の時と同様に、図８に
示すプロセッサ情報記憶部１０８に記憶されていく。

【００８４】その後、要素数の均等化のために移動させ
る要素集合、つまり、移動要素領域の計算を行う（ステ
ップ２０４）。

【００８５】この移動要素領域の計算は、要素移動箇所
決定部１０２により図６の処理により計算される。要素
移動箇所決定部１０２は、図１１に示すようにプロセッ
サ番号表１記憶部とプロセッサ番号表２記憶部を含んで
おり、それらはプロセッサ番号記憶部と要素移動数記憶
部から構成されている。移動要素領域の計算はプロセッ
サの境界要素集合に属する要素から順次移動させる要素
に加えていくという方法である。以下に具体的に説明す
る。

【００８６】移動箇所決定部は、プロセッサ情報記憶部
１０８からプロセッサ情報表を、要素接続記憶部１０６
から要素接続表を、要素通信先対応記憶部１０７は、要
素通信先対応表を参照して以下の処理がなされる。

【００８７】まず、プロセッサ情報表を用いて、自分の
プロセッサから自分のプロセッサに隣接するプロセッサ
へ移動する要素数が全て０以下かどうかを判定する。全
て０以下なら処理を終了する（ステップ６０１）。

【００８８】次に、プロセッサ情報記憶部１０８に記憶
された、自分のプロセッサから自分のプロセッサに隣接
するプロセッサへ移動する要素数が正かつ移動先のプロ
セッサの要素数が０でない全てのプロセッサ番号とその
プロセッサへ移動する要素数を要素移動箇所決定部１０
２のプロセッサ番号表１記憶部に記憶する（ステップ６
０２）。

【００８９】プロセッサ情報記憶部１０８に記憶され
た、自分のプロセッサに隣接するプロセッサへ移動する
要素数が正かつ移動先のプロセッサの要素数が０の全て
のプロセッサ番号とそのプロセッサへ移動する要素数を
要素移動箇所決定部１０２のプロセッサ番号表２記憶部
に記憶する（ステップ６０３）。

【００９０】プロセッサ表１記憶部に記憶されたプロセ
ッサ番号が存在を判定する。存在する場合にはステップ
６０５の処理を行ない、そうでない場合にはステップ６
１３の処理を行なう（ステップ６０４）。

【００９１】プロセッサ表１記憶部に記憶された現在処
理しているプロセッサに対応する移動要素数の正負を判
定する。正ならステップ６０６の処理を行ない、そうで
ない場合にはステップ６０８の処理を行なう（ステップ
６０５）。

【００９２】要素通信先対応記憶部１０７からプロセッ
サ表１記憶部に記憶された現在処理しているプロセッサ
が持っている要素番号を調べ、要素接続記憶部１０６か
らそれらの要素に連結な要素が存在するかどうかを調
べ、存在しない場合にはステップ６０７の処理をし、存
在する場合にはステップ６０９の処理をする（ステップ
６０６）。

【００９３】プロセッサ番号表１の現在処理しているプ
ロセッサのプロセッサ番号とそれに対応する移動要素数
をプロセッサ番号表２記憶部に記憶し、プロセッサ番号
表１のそのプロセッサ番号と対応する移動要素数を０に
初期化する（ステップ６０７）。

【００９４】プロセッサ番号表１から移動要素数が０に
なったところのプロセッサ番号を０に初期化する（ステ
ップ６０８）。

【００９５】ステップ６０６における連結な要素かつ要
素移動先対応記憶部１０９に記憶されていない要素集合
に、現在処理しているプロセッサに対応する要素集合を
要素通信先対応記憶部１０７から調べ、その要素集合か
ら距離の短い順に優先順位を決め、最も優先順位の高い
ものを選び出す（ステップ６０９）。

【００９６】優先順位が最も高い要素の番号を、要素移
動先対応記憶部１０９の対応する要素番号の、現在処理
しているプロセッサ番号に対応する移動する要素番号の
集合記憶部に記憶する（ステップ６１０）。

【００９７】プロセッサ番号表１記憶部に記憶された、
現在処理しているプロセッサ番号に対応する移動要素数
を１減らす（ステップ６１１）。

【００９８】次のプロセッサ番号の処理に移動し、ステ
ップ６０４の処理を行なう（ステップ６１２）。

【００９９】自分のプロセッサが持っている要素集合の
中で、要素移動先対応記憶部１０９に記憶されていない
要素集合を、プロセッサ番号表２に記憶された全プロセ
ッサの移動要素数で、グラフ分割アルゴリズムを使って
分割し、その分割結果を要素移動先対応記憶部１０９に
記憶し処理を終了する（ステップ６１３）。

【０１００】この制御により例えば、各プロセッサが図
１７の要素グラフを持っている場合、要素移動箇所決定
部１０２による計算の後、図２４の三角形で示された節
点を移動要素として決定される。

【０１０１】その後に要素の移動を行う（ステップ２０
５）。要素移動箇所決定部１０２によりデータ移動部１
０５が起動され、図６の処理の結果、要素移動先対応記
憶部１０９に記憶された要素移動先対応表と、要素接続
記憶部１０６に記憶された要素接続表と、要素通信先対
応記憶部１０７に記憶された要素通信対応表を用いて図
７に示すデータ移動部１０５の動作が開始される。図７
の処理により、図１２の要素接続記憶部１０６と図１３
の要素通信先対応表を更新する。

【０１０２】図２４に示す例では、図２４の三角形で示
された節点に関する、要素グラフ、要素通信先対応表を
要素移動先対応表に示されたように送り、各プロセッサ
で更新処理を行なうと図２５のような要素グラフが作成
される。

【０１０３】最後に、本発明の動的負荷分散プログラム
を記録した記録媒体の実施の形態について説明する。

【０１０４】本発明の動的負荷分散プログラムを記録し
た記録媒体は、上述の並列計算の動的負荷分散方法をコ
ンピュータが読みとり実行可能なプログラム言語によっ
てプログラムし、当該プログラムをＣＤ−ＲＯＭやＦＤ
等の記録媒体に記録することによって実現することがで
きる。

【０１０５】また上記記録媒体はサーバ装置などに備え
られるハードディスクなどの記憶手段でも良く、更に該
記憶手段にこのコンピュータプログラムを記録しておき
ネットワークを介してこのコンピュータプログラムを読
み込むことによって、本発明の記録媒体を実現すること
も可能である。

【０１０６】

【発明の効果】プロセッサエレメントに本発明の装置が
装備されたものと従来の装置が装備されたものを用い、
初期の全体の要素数を２９８０としそれを８３０９に増
大させたときに、負荷の均等化の処理を行うための処理
時間、通信量すなわち異なるプロセッサ間で共有される
１プロセッサあたりの節点数、ならびに分配された負荷
のバランス度を比較した結果を図２８に示す。負荷のバ
ランス度は１００×（各プロセッサの計算時間）／
（（プロセッサの計算時間の最大値）・（プロセッサ台
数））で定義する。

【０１０７】初期分割において２９８０の要素は３台の
プロセッサに９９４、９９４、９９３に分割されてお
り、その状態から適応的に格子を再構成することで、各
プロセッサの要素数は９９４、３６６８、３６４７に要
素数が変化したとする。また従来の装置の制御方法は、
９９３の要素数を持つ小領域をブロックとして採用し
た。またブロックを分割する方式はＲｅｃｕｒｓｉｖｅ
Ｓｐｅｃｔｒａｌ Ｂｉｓｅｃｔｉｏｎ法を採用し
た。

【０１０８】図２８より本発明によれば、ブロックを分
けることない。そのためブロックを分割するための計算
時間が短縮できる。そのため本発明による負荷分散の計
算時間は短縮していることが分かる。また、従来法に比
べ１プロセッサあたりの通信量が減少していることか
ら、アダプティブ有限要素法に必要な連立一次方程式の
求解に必要な通信量が少なくなっていることが分かる。
それは一つのプロセッサに不連続なブロックが割り当て
られていないためである。通信量が少なくなった結果、
通信時間が短くなり、連立一次方程式の求解に必要な計
算時間は短くなったと言える。さらに、図２８からプロ
セッサ間の負荷バランスも、従来法に比べ高いことが分
かる。

【０１０９】この結果から、本提案の動的負荷分散装
置、動的負荷分散方法を使うとアダプティブ有限要素法
が分散メモリ並列計算機上で従来法に比べ効果的に実装
できていることが示せた。

【０１１０】すなわち、本発明によれば、従来のように
ブロックにわけ、それを細分し負荷の均等化を行うので
はなく、要素の接続情報から負荷を均一にするための要
素移動量を計算し、その要素移動量から負荷の移動領域
を決定し、その後に実際に要素を移動させため、領域が
要素数の少ないブロックで細分化されることは避けるこ
とができる。通信は細分化されたブロックの境界で生じ
るため、分割を行った後で連立一次方程式を分散メモリ
並列計算機上でとくときに、本提案における動的負荷分
散装置、動的負荷分散方法は従来の方法と比較して、通
信時間を短縮することができる。さらに領域のブロック
化を行わないため、各々の要素の参照関係は保たれ、従
来法に比べ連立一次方程式の反復解法の収束性の悪化を
防ぐことができる。その結果従来の動的負荷分散装置、
方法を用いたときと比較して、連立一次方程式をとくた
めの計算時間は大幅に短縮することが可能である。さら
に従来法のように細分化されたブロックを分割する必要
はないので、ブロックを分割を計算する時間を短縮する
ことができる。そのため動的負荷分散に必要な計算時間
は本発明により大幅に短縮することが可能になる。

【図面の簡単な説明】

【図１】本発明の一実施形態を示す装置の図である。

【図２】本発明の装置を制御する方法を示したフローチ
ャートである

【図３】本発明のプロセッサ接続情報生成部１０４を制
御する方法を示したフローチャートである

【図４】本発明の連結性調査部１０１を制御する方法を
示したフローチャートである

【図５】本発明の要素移動量決定部１０３を制御する方
法を示したフローチャートである

【図６】本発明の要素移動箇所決定部１０２を制御する
方法を示したフローチャートである

【図７】本発明のデータ移動部１０５を制御する方法を
示したフローチャートである

【図８】本発明のプロセッサ情報記憶部１０８の装置内
部を示す図である

【図９】本発明の連結性調査部１０１の装置内部を示す
図である

【図１０】本発明の要素移動量決定部１０３の装置内部
を示す図である

【図１１】本発明の要素移動箇所決定部１０２の装置内
部を示す図である

【図１２】本発明の要素接続記憶部１０６の装置内部を
示す図である

【図１３】本発明の要素通信先対応記憶部１０７の装置
内部を示す図である

【図１４】本発明の要素移動先対応記憶部１０９の装置
内部を示す図である

【図１５】元の要素グラフを示す図である

【図１６】並列化された後の要素グラフを示す図である

【図１７】非連結な要素集合を移動した後の要素グラフ
を示す図である

【図１８】生成されたプロセッサグラフを示す図である

【図１９】要素移動量移動先決定方法の計算途中を示す
図である

【図２０】要素移動量移動先決定方法の計算途中を示す
図である

【図２１】要素移動量移動先決定方法の計算途中を示す
図である

【図２２】要素移動量移動先決定方法の計算途中を示す
図である

【図２３】要素移動量移動先決定方法の計算結果を示す
図である

【図２４】移動箇所決定方法の計算結果を示す図である

【図２５】移動箇所決定方法の計算結果を示す図である

【図２６】従来法のサイクリック法を示すフローチャー
トである

【図２７】従来法のブロック法を示すフローチャートで
ある

【図２８】本発明の効果を示すための図表である

【符号の説明】

１０１ プロセッサエレメントは連結性調査部 １０３ 要素移動量決定部 １０２ 要素移動箇所決定部 １０４ プロセッサ接続情報生成部 １０５ データ移動部 １０６ 要素接続記憶部 １０７ 要素通信先対応記憶部 １０８ プロセッサ情報記憶部 １０９ 要素移動先対応記憶部 １１０ 制御部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/177 674 G06F 9/46 360 G06F 17/12 G06F 17/50 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】アダプティブ有限要素法を用いた並列計算
   における動的負荷分散方法において、 プロセッサが持っている要素間の接続関係を示す要素グ
   ラフから連結な要素集合を分類し、非連結な要素集合を
   減らすように前記分類された要素集合を移動し、 移動後の要素接続グラフからプロセッサグラフを作成
   し、作成されたプロセッサグラフに基づいて負荷均等化
   のための要素移動数と移動先を決定し、 要素数の均等化のために移動させる要素集合を決定し、
   要素の移動を行うことを特徴とする並列計算における動
   的負荷分散方法。
2. 【請求項２】前記非連結な要素集合を減らすように前記
   分類された要素集合を移動するために、 前記分類された要素集合の中で要素数が最大のもの以外
   の要素集合を、当該要素集合に隣接する要素を持つプロ
   セッサの中で、要素数が最小のプロセッサに移動するこ
   とを特徴とする請求項１に記載の並列計算における動的
   負荷分散方法。
3. 【請求項３】前記負荷均等化のための要素移動数と移動
   先の決定は、 プロセッサが持っている要素数よりも多くの要素を他の
   プロセッサに移動させる可能性のあるプロセッサは、自
   分のプロセッサを介して要素を移動することをやめ、最
   も要素の移動数が多いプロセッサに要素を最も多く供給
   するプロセッサに隣接させ、当該処理を解が収束するま
   で行なうことを特徴とする請求項１又は２に記載の並列
   計算における動的負荷分散方法。
4. 【請求項４】プロセッサの境界要素集合に属する要素か
   ら順次移動させる要素とすることにより前記要素数の均
   等化のために移動させる要素集合を決定することを特徴
   とする請求項１、２又は３に記載の並列計算における動
   的負荷分散方法。
5. 【請求項５】アダプティブ有限要素法を用いた並列計算
   における動的負荷分散装置において、 要素間の接続を表した要素グラフを記憶する要素接続記
   憶部と、 通信が必要な要素と通信先のプロセッサとの対応を示し
   た要素通信先対応表を記憶する要素通信先対応記憶部
   と、 プロセッサ間の参照関係を記述したプロセッサグラフを
   記憶するプロセッサ情報記憶部と、 移動する要素と当該要素の移動先プロセッサとの関係を
   示した要素移動先対応表を記憶する要素移動先対応記憶
   部と、 前記要素移動先対応表に基づき要素を移動するデータ移
   動部と、 前記要素通信先対応表を用いて、前記要素グラフから連
   結な要素集合を分類し、非連結な要素集合を減らすよう
   に前記分類された要素集合を移動させための前記要素移
   動先対応表を作成し、前記データ移動部を起動する連結
   性調査部と、 前記分類された要素集合が移動された要素グラフからプ
   ロセッサグラフを作成し、作成されたプロセッサグラフ
   に基づいて負荷均等化のための要素移動数と移動先プロ
   セッサを決定する要素移動量決定部と、 前記要素移動量決定部により決定された要素移動数と移
   動先プロセッサに基づいて要素数の均等化のために移動
   させる要素集合を決定し、前記要素移動先対応記憶部に
   記憶し、前記データ移動部を起動する要素移動箇所決定
   部と、を含むことを特徴とする並列計算における動的負
   荷分散装置。
6. 【請求項６】前記連結性調査部は、 前記要素通信先対応を用いて、前記要素グラフから連結
   な要素集合を分類し、前記分類された要素集合の中で要
   素数が最大のもの以外の要素集合を、当該要素集合に隣
   接する要素を持つプロセッサの中で、要素数が最小のプ
   ロセッサに移動するように前記要素移動先対応表を作成
   することを特徴とする請求項５に記載の並列計算におけ
   る動的負荷分散装置。
7. 【請求項７】前記要素移動量決定部は、 プロセッサが持っている要素数よりも多くの要素を他の
   プロセッサに移動させる可能性のあるプロセッサは、自
   分のプロセッサを介して要素を移動することをやめ、最
   も要素の移動数が多いプロセッサに要素を最も多く供給
   するプロセッサに隣接する。そのような処理を解が収束
   するまで行なうことにより、前記負荷均等化のための要
   素移動数と移動先の決定することを特徴とする請求項６
   又は７に記載の並列計算における動的負荷分散装置。
8. 【請求項８】前記要素移動箇所決定部は、 前記要素移動量決定部により決定された要素移動数と移
   動先プロセッサに基づいて、要素数の均等化のために移
   動させる要素集合を、プロセッサの境界要素集合に属す
   る要素から順次移動させる要素とすることにより決定
   し、前記要素移動先対応記憶部に記憶すること特徴とす
   る請求項５、６又は７に記載の並列計算における動的負
   荷分散装置。
9. 【請求項９】アダプティブ有限要素法を用いた並列計算
   における動的負荷分散プログラムを記録したコンピュー
   タ読みとり可能な記録媒体において、 プロセッサが持っている要素間の接続関係を示す要素グ
   ラフから連結な要素集合を分類し、非連結な要素集合を
   減らすように前記分類された要素集合を移動する第１の
   ステップと、 移動後の要素接続グラフからプロセッサグラフを作成
   し、作成されたプロセッサグラフに基づいて負荷均等化
   のための要素移動数と移動先を決定する第２のステップ
   と、 要素数の均等化のために移動させる要素集合を決定し、
   要素の移動を行う第３のステップとを含む並列計算にお
   ける動的負荷分散プログラムを記録したコンピュータ読
   みとり可能な記録媒体。
10. 【請求項１０】前記第１のステップにて、前記分類され
    た要素集合の中で要素数が最大のもの以外の要素集合
    を、当該要素集合に隣接する要素を持つプロセッサの中
    で、要素数が最小のプロセッサに移動することを特徴と
    する請求項９に記載の並列計算における動的負荷分散プ
    ログラムを記録したコンピュータ読みとり可能な記録媒
    体。
11. 【請求項１１】前記第２のステップにて、 プロセッサが持っている要素数よりも多くの要素を他の
    プロセッサに移動させる可能性のあるプロセッサは、自
    分のプロセッサを介して要素を移動することをやめ、最
    も要素の移動数が多いプロセッサに要素を最も多く供給
    するプロセッサに隣接させ、当該処理を解が収束するま
    で行なうことにより前記負荷均等化のための要素移動数
    と移動先の決定を行うことを特徴とする請求項９又は１
    ０に記載の並列計算における動的負荷分散プログラムを
    記録したコンピュータ読みとり可能な記録媒体。
12. 【請求項１２】前記第３のステップにて、 プロセッサの境界要素集合に属する要素から順次移動さ
    せる要素とすることにより前記要素数の均等化のために
    移動させる要素集合を決定することを特徴とする請求項
    ９、１０又は１１に記載の並列計算における動的負荷分
    散プログラムを記録したコンピュータ読みとり可能な記
    録媒体。