JPH05158895A - 並列計算機システムにおけるループ計算の効率向上方式 - Google Patents
並列計算機システムにおけるループ計算の効率向上方式Info
- Publication number
- JPH05158895A JPH05158895A JP32201191A JP32201191A JPH05158895A JP H05158895 A JPH05158895 A JP H05158895A JP 32201191 A JP32201191 A JP 32201191A JP 32201191 A JP32201191 A JP 32201191A JP H05158895 A JPH05158895 A JP H05158895A
- Authority
- JP
- Japan
- Prior art keywords
- calculation
- cells
- loop
- efficiency
- computer system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Advance Control (AREA)
- Devices For Executing Special Programs (AREA)
Abstract
(57)【要約】
【目的】 複数のセル（計算機）をネットワーク等を介
して結合した並列計算機システムにおけるループ計算の
効率向上方式に関し、科学技術計算でしばしば用いられ
るループ計算の形を変えることなく並列化した場合の計
算速度と、１台のセルでの計算速度の比としての効率の
向上を目的とする。 【構成】 並列計算機システム１を、ループ間に値の参
照等の依存関係があるループ計算における複数の連続ル
ープの計算を分担し、該計算結果のうちで他のセルが必
要とするデータを、該他セルに通信する複数台のセル２
ａ，２ｂ，・・・により構成し、セル間の通信を減少さ
せて並列化の効率を向上させる。
して結合した並列計算機システムにおけるループ計算の
効率向上方式に関し、科学技術計算でしばしば用いられ
るループ計算の形を変えることなく並列化した場合の計
算速度と、１台のセルでの計算速度の比としての効率の
向上を目的とする。 【構成】 並列計算機システム１を、ループ間に値の参
照等の依存関係があるループ計算における複数の連続ル
ープの計算を分担し、該計算結果のうちで他のセルが必
要とするデータを、該他セルに通信する複数台のセル２
ａ，２ｂ，・・・により構成し、セル間の通信を減少さ
せて並列化の効率を向上させる。
Description
【０００１】
【産業上の利用分野】本発明は並列計算機システムにお
ける計算の高速化方式に係り、さらに詳しくは科学技術
計算においてしばしば用いられるループ計算を高速化す
るための、並列計算機システムにおけるループ計算の効
率向上方式に関する。
ける計算の高速化方式に係り、さらに詳しくは科学技術
計算においてしばしば用いられるループ計算を高速化す
るための、並列計算機システムにおけるループ計算の効
率向上方式に関する。
【０００２】近年、コンピュータシステムの高速化が要
求されている。高速化の１つの実現方法としてプロセッ
サを多数結合してそれらに処理を分担させる並列計算機
がある。これはセルと呼ばれる多数のプロセッサとそれ
らを結合するネットワークからなり、各セルは仕事の一
部を分担し、ネットワークを介して情報を交換しながら
並列に処理を行う。このような構造上の違いから並列計
算機上で動くプログラムは従来の単一のプロセッサで動
く逐次計算のアルゴリズムとは異なり、１つの仕事を多
数のセルに分割し、各セルで処理を行い、必要なデータ
をネットワークで交換するような処理を行うアルゴリズ
ムでなければならない。このため逐次的に書かれたプロ
グラムをそのまま並列計算機で動かすことは出来ず並列
化のための処理が必要とされる。特に科学技術計算にお
いてはループ計算が全体の処理の中で大きな時間を占め
るため、高速な処理を実現するためにはループ計算を並
列化するための技術が必要とされる。
求されている。高速化の１つの実現方法としてプロセッ
サを多数結合してそれらに処理を分担させる並列計算機
がある。これはセルと呼ばれる多数のプロセッサとそれ
らを結合するネットワークからなり、各セルは仕事の一
部を分担し、ネットワークを介して情報を交換しながら
並列に処理を行う。このような構造上の違いから並列計
算機上で動くプログラムは従来の単一のプロセッサで動
く逐次計算のアルゴリズムとは異なり、１つの仕事を多
数のセルに分割し、各セルで処理を行い、必要なデータ
をネットワークで交換するような処理を行うアルゴリズ
ムでなければならない。このため逐次的に書かれたプロ
グラムをそのまま並列計算機で動かすことは出来ず並列
化のための処理が必要とされる。特に科学技術計算にお
いてはループ計算が全体の処理の中で大きな時間を占め
るため、高速な処理を実現するためにはループ計算を並
列化するための技術が必要とされる。
【０００３】
【従来の技術】例えば科学技術計算でしばしば用いられ
るループ計算は、ループの間に依存関係のない計算、す
なわち各ループの計算を他のループの計算結果を参照す
ることなく独立に行うことができる場合と、ループの間
に依存関係のある場合、すなわちループの間で値の参照
等が必要となる場合とに分類される。
るループ計算は、ループの間に依存関係のない計算、す
なわち各ループの計算を他のループの計算結果を参照す
ることなく独立に行うことができる場合と、ループの間
に依存関係のある場合、すなわちループの間で値の参照
等が必要となる場合とに分類される。
【０００４】図９は依存関係のないループ計算の並列化
方式の説明図である。同図においては、Ｉ＝１から 100
の 100個のループに対して Ａ（Ｉ）＝Ｂ（Ｉ）＋Ｃ の計算が行われるが、この場合には各ループの間に値の
参照等の依存関係がなく、各ループはそれぞれ独立に計
算することができるので、図のように例えばＡ（１）を
セル１、Ａ（２）をセル２、・・・のように１つ１つの
ループを並列計算機システムの各プロセッサ（セル）に
分担させることにより、同時に処理させることができ
る。各セルでの計算は他のセルと無関係に独立に処理さ
れ、セルの間に通信が必要とならないために、ほぼ台数
と等しい倍率に近い高速化を実現することができる。
方式の説明図である。同図においては、Ｉ＝１から 100
の 100個のループに対して Ａ（Ｉ）＝Ｂ（Ｉ）＋Ｃ の計算が行われるが、この場合には各ループの間に値の
参照等の依存関係がなく、各ループはそれぞれ独立に計
算することができるので、図のように例えばＡ（１）を
セル１、Ａ（２）をセル２、・・・のように１つ１つの
ループを並列計算機システムの各プロセッサ（セル）に
分担させることにより、同時に処理させることができ
る。各セルでの計算は他のセルと無関係に独立に処理さ
れ、セルの間に通信が必要とならないために、ほぼ台数
と等しい倍率に近い高速化を実現することができる。
【０００５】これに対して、図１０は依存関係があるル
ープ計算の並列化方式の従来例である。同図において
は、Ｉ＝２からｎまでのｎ−１個のループに対して Ｘ（Ｉ）＝Ｘ（Ｉ）＋Ｘ（Ｉ−１） の計算が行われるが、Ｉ番目のループの計算においてＩ
−１番目のループの計算結果を必要とし、その値の参照
を行わなければならない。このようにループの間で値の
参照が必要となる依存関係のあるループ計算の場合に
は、従来は図１０に示すようにアルゴリズムを適当に変
更することにより、計算を並列化する方法が取られてき
た。
ープ計算の並列化方式の従来例である。同図において
は、Ｉ＝２からｎまでのｎ−１個のループに対して Ｘ（Ｉ）＝Ｘ（Ｉ）＋Ｘ（Ｉ−１） の計算が行われるが、Ｉ番目のループの計算においてＩ
−１番目のループの計算結果を必要とし、その値の参照
を行わなければならない。このようにループの間で値の
参照が必要となる依存関係のあるループ計算の場合に
は、従来は図１０に示すようにアルゴリズムを適当に変
更することにより、計算を並列化する方法が取られてき
た。
【０００６】図１０において、配列Ｘ（ｎ）の値を求め
る計算は Ｘ（ｎ）＝Ｘ（１）＋Ｘ（２）＋Ｘ（３）＋・・・＋Ｘ（ｎ） のように配列Ｘの総和を求める計算となるが、それぞれ
のＸ（Ｉ）の値の計算を各セルに分担させ、それらの結
果から先ずＸ（１）とＸ（２）との和、Ｘ（３）とＸ
（４）との和、・・・を求め、それらの和の総和を、２
進木状に加算することによって並列処理することが可能
となる。
る計算は Ｘ（ｎ）＝Ｘ（１）＋Ｘ（２）＋Ｘ（３）＋・・・＋Ｘ（ｎ） のように配列Ｘの総和を求める計算となるが、それぞれ
のＸ（Ｉ）の値の計算を各セルに分担させ、それらの結
果から先ずＸ（１）とＸ（２）との和、Ｘ（３）とＸ
（４）との和、・・・を求め、それらの和の総和を、２
進木状に加算することによって並列処理することが可能
となる。
【０００７】
【発明が解決しようとする課題】しかしながら、依存関
係のあるループ計算を並列化する場合に、どのような計
算に対しても図１０に示すようなアルゴリズムの変更が
可能とは限らない。その場合にはなるべく計算の形を変
えずに並列化することになるが、図９に示したように計
算の形を変えることなく各ループの計算をセルに分担さ
せると、依存関係のある値の参照を行うためにセル間で
の通信が必要となり、通信のオーバヘッドや通信待ち時
間等の影響で計算時間の短縮が実現できなくなるという
問題点があった。
係のあるループ計算を並列化する場合に、どのような計
算に対しても図１０に示すようなアルゴリズムの変更が
可能とは限らない。その場合にはなるべく計算の形を変
えずに並列化することになるが、図９に示したように計
算の形を変えることなく各ループの計算をセルに分担さ
せると、依存関係のある値の参照を行うためにセル間で
の通信が必要となり、通信のオーバヘッドや通信待ち時
間等の影響で計算時間の短縮が実現できなくなるという
問題点があった。
【０００８】本発明は、例えばループ内の計算において
１ループ前の値を参照する必要があるような場合に、計
算の形を変えることなく並列化した場合の計算の効率、
すなわち１台のセルで計算を行った場合との速度の比を
向上させることを目的とする。
１ループ前の値を参照する必要があるような場合に、計
算の形を変えることなく並列化した場合の計算の効率、
すなわち１台のセルで計算を行った場合との速度の比を
向上させることを目的とする。
【０００９】
【課題を解決するための手段】図１は本発明の原理ブロ
ック図である。同図は複数の計算機（セル）が、例えば
ネットワークによって結合された並列計算機システムに
おいて、セル間での通信を減少させて並列化の効率を向
上させる、並列計算機システムにおけるループ計算の効
率向上方式の原理ブロック図である。
ック図である。同図は複数の計算機（セル）が、例えば
ネットワークによって結合された並列計算機システムに
おいて、セル間での通信を減少させて並列化の効率を向
上させる、並列計算機システムにおけるループ計算の効
率向上方式の原理ブロック図である。
【００１０】図１において、並列計算機システム１はル
ープの間に値の参照を含む依存関係があるループ計算に
おける複数の連続ループ、例えば図１０においてはＸ
（２）、Ｘ（３）、およびＸ（４）の３つのループの計
算を分担し、それらの計算結果のうちで、ループ間の依
存関係によって他のセルで必要とするデータをそのセル
に通信する複数台のセル２ａ，２ｂ，・・・によって構
成される。
ープの間に値の参照を含む依存関係があるループ計算に
おける複数の連続ループ、例えば図１０においてはＸ
（２）、Ｘ（３）、およびＸ（４）の３つのループの計
算を分担し、それらの計算結果のうちで、ループ間の依
存関係によって他のセルで必要とするデータをそのセル
に通信する複数台のセル２ａ，２ｂ，・・・によって構
成される。
【００１１】
【作用】本発明においては、例えば並列化の効率がルー
プ計算を１台のセルで行った時の演算量と、並列計算機
システムにおけるセル間の通信時間の演算換算量を含む
ループ計算の全演算量との比として求められ、この効率
を最大とする台数のセルが用いられる。それぞれのルー
プの計算は、ループ間で値を参照することなく独立に計
算できる独立部と、ループ間で値の参照を必要とする依
存部とに分けて考えるものとする。
プ計算を１台のセルで行った時の演算量と、並列計算機
システムにおけるセル間の通信時間の演算換算量を含む
ループ計算の全演算量との比として求められ、この効率
を最大とする台数のセルが用いられる。それぞれのルー
プの計算は、ループ間で値を参照することなく独立に計
算できる独立部と、ループ間で値の参照を必要とする依
存部とに分けて考えるものとする。
【００１２】前述のように複数個の連続するループを１
台のセルに分担させることにより、１つのセル内でのル
ープ間の値の参照においては通信を必要としない。１つ
のセルで分担する連続したループの次のループの計算を
行うためにはセル間の通信が必要になるが、その回数は
１セル当たり１回とすることができ、全体の計算におい
てはセル台数分の通信を行うだけで済むことになる。
台のセルに分担させることにより、１つのセル内でのル
ープ間の値の参照においては通信を必要としない。１つ
のセルで分担する連続したループの次のループの計算を
行うためにはセル間の通信が必要になるが、その回数は
１セル当たり１回とすることができ、全体の計算におい
てはセル台数分の通信を行うだけで済むことになる。
【００１３】並列化の効率を最大とするためのセル台数
の最適値はループの回数、独立部、および依存部の演算
量、セル間の１回の通信に要する時間に依存するが、例
えばこの効率を最大とするセル台数を求めるためのプロ
グラムを用いて最適セル台数が求められ、その台数のセ
ルを用いて実際の計算が行われる。
の最適値はループの回数、独立部、および依存部の演算
量、セル間の１回の通信に要する時間に依存するが、例
えばこの効率を最大とするセル台数を求めるためのプロ
グラムを用いて最適セル台数が求められ、その台数のセ
ルを用いて実際の計算が行われる。
【００１４】
【実施例】まず本発明におけるループ計算並列化の効率
について、図２および図３を用いて説明する。図２はル
ープ内の計算の独立部と依存部への分離を示す図であ
る。同図において、独立部は他のループにおける値を参
照することなく、独立に計算できる部分であり、また依
存部は他のループにおける値の参照を必要とする部分で
ある。例えば図１０においては右辺の第１項Ｘ（Ｉ）は
独立部、Ｘ（Ｉ−１）は依存部に相当する。なお図２に
おいて、Ｘ（Ｉ）の式で、右辺の第２項の第１の丸と第
２の丸との間の乗算記号、および第３項の前の減算記号
には特別の意味がなく、単に１つの例を示しているにす
ぎない。
について、図２および図３を用いて説明する。図２はル
ープ内の計算の独立部と依存部への分離を示す図であ
る。同図において、独立部は他のループにおける値を参
照することなく、独立に計算できる部分であり、また依
存部は他のループにおける値の参照を必要とする部分で
ある。例えば図１０においては右辺の第１項Ｘ（Ｉ）は
独立部、Ｘ（Ｉ−１）は依存部に相当する。なお図２に
おいて、Ｘ（Ｉ）の式で、右辺の第２項の第１の丸と第
２の丸との間の乗算記号、および第３項の前の減算記号
には特別の意味がなく、単に１つの例を示しているにす
ぎない。
【００１５】図３は各セルによるループ分担の実施例で
ある。同図において、各セルはそれぞれ３つのループの
計算を分担する。例えばセル１において第２のループ、
すなわちＸ（２）の計算では第１のループの計算結果Ｘ
（１）の値を用いる必要があるが、この値の参照はセル
内で行われるために通信の必要はない。これに対してセ
ル２で第４のループ、すなわちＸ（４）の計算において
必要とするＸ（３）の値はセル１からの通信を待たなけ
ればならない。
ある。同図において、各セルはそれぞれ３つのループの
計算を分担する。例えばセル１において第２のループ、
すなわちＸ（２）の計算では第１のループの計算結果Ｘ
（１）の値を用いる必要があるが、この値の参照はセル
内で行われるために通信の必要はない。これに対してセ
ル２で第４のループ、すなわちＸ（４）の計算において
必要とするＸ（３）の値はセル１からの通信を待たなけ
ればならない。
【００１６】一般的にループの回数をｎ、独立部の演算
量をｔ、依存部の演算量をｓとすると、ｎ回のループ計
算を１台の計算機によって逐次的に行う場合の演算量は
次式で与えられる。
量をｔ、依存部の演算量をｓとすると、ｎ回のループ計
算を１台の計算機によって逐次的に行う場合の演算量は
次式で与えられる。
【００１７】
【数１】
【００１８】これに対して、ａ台のセルを用いて並列化
処理を行う場合には、ｎ個のループの計算が均等に分割
されるとして、１セルあたり n/a個の式の計算を分担す
ることになる。図３に示したように、いくつかの連続し
たループの計算が１つのブロックとしてまとめられて各
セルに割り当てられることにより、セル間の通信による
値の参照は１セルあたり１回にまとめることができ、全
体の計算ではセル台数分だけの通信が行われる。ただし
この通信はセル１からセル２、セル２からセル３、・・
・と逐次的に行われる。
処理を行う場合には、ｎ個のループの計算が均等に分割
されるとして、１セルあたり n/a個の式の計算を分担す
ることになる。図３に示したように、いくつかの連続し
たループの計算が１つのブロックとしてまとめられて各
セルに割り当てられることにより、セル間の通信による
値の参照は１セルあたり１回にまとめることができ、全
体の計算ではセル台数分だけの通信が行われる。ただし
この通信はセル１からセル２、セル２からセル３、・・
・と逐次的に行われる。
【００１９】この場合の演算量については、独立部は各
セル内で同時に並列処理されるために、その演算量は全
体としてｔ×n/a 、セルの間で値の参照、すなわち通信
が必要な依存部については各セル内ではｓ×n/a 、この
セル内の演算が他のセルからの通信を待って逐次的に行
われるために、全体ではそのａ倍の演算量となる。また
１回の通信に対して１演算量のｄ倍の時間がかかるとす
れば、全体でａ回の通信は演算量に換算してａ×ｄとな
る。そこで並列処理の場合の全演算量は次式で与えられ
る。
セル内で同時に並列処理されるために、その演算量は全
体としてｔ×n/a 、セルの間で値の参照、すなわち通信
が必要な依存部については各セル内ではｓ×n/a 、この
セル内の演算が他のセルからの通信を待って逐次的に行
われるために、全体ではそのａ倍の演算量となる。また
１回の通信に対して１演算量のｄ倍の時間がかかるとす
れば、全体でａ回の通信は演算量に換算してａ×ｄとな
る。そこで並列処理の場合の全演算量は次式で与えられ
る。
【００２０】
【数２】
【００２１】この結果、並列化の効率Ｅは
【００２２】
【数３】
【００２３】によって与えられる。任意のループ計算に
対して計算の内容からｎ，ｔおよびｓの値が決定され、
また計算機の性能によってｄが決定されるために、ある
ループ計算に対する効率Ｅはセルの台数ａに依存する。
対して計算の内容からｎ，ｔおよびｓの値が決定され、
また計算機の性能によってｄが決定されるために、ある
ループ計算に対する効率Ｅはセルの台数ａに依存する。
【００２４】図４はセル台数に対する効率Ｅの値の変化
を示している。同図によれば、セル台数に対して効率Ｅ
は極大値を持ち、効率を最大とする最適なセル台数が存
在することが分かる。
を示している。同図によれば、セル台数に対して効率Ｅ
は極大値を持ち、効率を最大とする最適なセル台数が存
在することが分かる。
【００２５】図５は最適セル台数、および最大効率を求
めるプログラムの実施例である。このプログラムにおい
ては、最適セル台数ａ．opt の初期値が１、最大効率Ｅ
max の初期値が０とされた後に、セル台数ａの値が１
から順次最大セル台数ｎcelmax まで歩進され、それぞ
れのａの値に対して(3) 式によって与えられる効率Ｅが
計算され、Ｅの中の最大値がＥ max とされて処理が終
了する。
めるプログラムの実施例である。このプログラムにおい
ては、最適セル台数ａ．opt の初期値が１、最大効率Ｅ
max の初期値が０とされた後に、セル台数ａの値が１
から順次最大セル台数ｎcelmax まで歩進され、それぞ
れのａの値に対して(3) 式によって与えられる効率Ｅが
計算され、Ｅの中の最大値がＥ max とされて処理が終
了する。
【００２６】図６，７はループ計算の実施例である。図
６は第１の実施例であり、ｉの値が１から1,000 まで歩
進されながら、ｘ〔１〕〔ｉ〕の値が計算される。右辺
の第１項は１つ前のループの値を参照する依存部であ
り、その演算量ｓは１、第２〜４項は他のループの値を
参照する必要のない独立部であり、その演算量ｔは乗算
３回、加算２回の合計で５となる。またループ回数ｎは
1,000 である。
６は第１の実施例であり、ｉの値が１から1,000 まで歩
進されながら、ｘ〔１〕〔ｉ〕の値が計算される。右辺
の第１項は１つ前のループの値を参照する依存部であ
り、その演算量ｓは１、第２〜４項は他のループの値を
参照する必要のない独立部であり、その演算量ｔは乗算
３回、加算２回の合計で５となる。またループ回数ｎは
1,000 である。
【００２７】図７は第２の実施例であり、ｉとｋとにつ
いてループが二重となっている。まずｋの値が１から 1
00まで歩進されながらｑの演算が行われる。この演算は
独立部に相当し、乗算１回と加算１回とでその演算量は
合計 200となる。ｑの計算が終了するとｘ〔ｉ〕の計算
が行われるが、その計算においては依存部ｘ〔ｉ−１〕
の加算が必要であり、依存部の演算量ｓは１となる。ｘ
〔ｉ〕の計算はｉ＝１〜 1000 に対して行われ、ループ
回数ｎは 1000 となる。
いてループが二重となっている。まずｋの値が１から 1
00まで歩進されながらｑの演算が行われる。この演算は
独立部に相当し、乗算１回と加算１回とでその演算量は
合計 200となる。ｑの計算が終了するとｘ〔ｉ〕の計算
が行われるが、その計算においては依存部ｘ〔ｉ−１〕
の加算が必要であり、依存部の演算量ｓは１となる。ｘ
〔ｉ〕の計算はｉ＝１〜 1000 に対して行われ、ループ
回数ｎは 1000 となる。
【００２８】図８は図６および図７のループ計算に対す
る最大効率、および最適セル台数の計算結果である。実
際の計算機においては通信時間は単独の演算時間の10〜
20倍程度となるために、ｄ＝10および20のそれぞれに対
して最大効率と最適セル台数が求められた。図６のよう
に独立部の演算が少ない場合には、セルの間の通信時間
や依存部における計算の待ち時間の割合が大きくなり、
並列化の効果はあまり大きくないが、図７の例のように
独立部の計算が大きい場合には最適セル台数の値が大き
くなり、多数のセルを有効に使って大きな効率を得るこ
とができる。
る最大効率、および最適セル台数の計算結果である。実
際の計算機においては通信時間は単独の演算時間の10〜
20倍程度となるために、ｄ＝10および20のそれぞれに対
して最大効率と最適セル台数が求められた。図６のよう
に独立部の演算が少ない場合には、セルの間の通信時間
や依存部における計算の待ち時間の割合が大きくなり、
並列化の効果はあまり大きくないが、図７の例のように
独立部の計算が大きい場合には最適セル台数の値が大き
くなり、多数のセルを有効に使って大きな効率を得るこ
とができる。
【００２９】
【発明の効果】以上詳細に説明したように、本発明によ
れば並列計算機システムを用いたループ計算においてセ
ル間の通信回数を減少させることによって、通信による
オーバヘッドや通信待ちの影響を抑え、並列化の効率を
向上させることができる。またループ計算の内容に応じ
て効率を最大とする最適セル台数を用いることによっ
て、セルの資源を有効に使用し、並列計算機の性能を十
分に引き出すことが可能となる。
れば並列計算機システムを用いたループ計算においてセ
ル間の通信回数を減少させることによって、通信による
オーバヘッドや通信待ちの影響を抑え、並列化の効率を
向上させることができる。またループ計算の内容に応じ
て効率を最大とする最適セル台数を用いることによっ
て、セルの資源を有効に使用し、並列計算機の性能を十
分に引き出すことが可能となる。
【図１】本発明の原理ブロック図である。
【図２】ループ内の計算の独立部と依存部への分離を示
す図である。
す図である。
【図３】各セルによるループ計算分担の実施例を示す図
である。
である。
【図４】セル台数に対する効率の変化を示す図である。
【図５】最適セル台数、および最大効率を求めるプログ
ラムの実施例を示す図である。
ラムの実施例を示す図である。
【図６】ループ計算の実施例を示す図（その１）であ
る。
る。
【図７】ループ計算の実施例を示す図（その２）であ
る。
る。
【図８】図６，７のループ計算の実施例に対する最大効
率、および最適セル台数の計算結果を示す図である。
率、および最適セル台数の計算結果を示す図である。
【図９】依存関係のないループ計算の並列化を説明する
図である。
図である。
【図１０】依存関係があるループ計算の並列化の従来例
を示す図である。
を示す図である。
１ 並列計算機システム、 ２ａ，２ｂ 複数の連続ループの計算を分担するセ
ル
ル
Claims (2)
- 【請求項１】 複数の計算機（セル）が結合された並列
計算機システムにおいて、 該並列計算機システム（１）が、ループ間に値の参照を
含む依存関係を有するループ計算における複数の連続ル
ープの計算を分担し、該計算の結果のうち該依存関係に
より他のセルで必要とするデータを該他セルに通信する
複数台のセル（２ａ，２ｂ，・・・）によって構成さ
れ、セル間での通信を減少させて並列化の効率を向上さ
せることを特徴とする並列計算機システムにおけるルー
プ計算の効率向上方式。 - 【請求項２】 前記並列化の効率を、前記ループ計算を
１台のセルで行った時の演算量と、並列計算機システム
におけるセル間の通信時間の演算換算量を含む該ループ
計算の全演算量との比として求め、該並列化の効率を最
大とする台数のセルを用いることを特徴とする請求項１
記載の並列計算機システムにおけるループ計算の効率向
上方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32201191A JPH05158895A (ja) | 1991-12-05 | 1991-12-05 | 並列計算機システムにおけるループ計算の効率向上方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32201191A JPH05158895A (ja) | 1991-12-05 | 1991-12-05 | 並列計算機システムにおけるループ計算の効率向上方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05158895A true JPH05158895A (ja) | 1993-06-25 |
Family
ID=18138927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32201191A Withdrawn JPH05158895A (ja) | 1991-12-05 | 1991-12-05 | 並列計算機システムにおけるループ計算の効率向上方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05158895A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0691607A2 (en) | 1994-07-06 | 1996-01-10 | International Business Machines Corporation | Data processing system and method |
| JP2013196706A (ja) * | 2012-03-16 | 2013-09-30 | Samsung Electronics Co Ltd | ミニコア基盤の再構成可能プロセッサ、そのためのスケジュール装置及び方法 |
| JP2014016894A (ja) * | 2012-07-10 | 2014-01-30 | Renesas Electronics Corp | 並列演算装置、並列演算装置を備えたデータ処理システム、及び、データ処理プログラム |
-
1991
- 1991-12-05 JP JP32201191A patent/JPH05158895A/ja not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0691607A2 (en) | 1994-07-06 | 1996-01-10 | International Business Machines Corporation | Data processing system and method |
| US5852734A (en) * | 1994-07-06 | 1998-12-22 | International Business Machines Corporation | Method and compiler for parallel execution of a program |
| JP2013196706A (ja) * | 2012-03-16 | 2013-09-30 | Samsung Electronics Co Ltd | ミニコア基盤の再構成可能プロセッサ、そのためのスケジュール装置及び方法 |
| JP2014016894A (ja) * | 2012-07-10 | 2014-01-30 | Renesas Electronics Corp | 並列演算装置、並列演算装置を備えたデータ処理システム、及び、データ処理プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Davis et al. | Single‐machine scheduling with early and tardy completion costs | |
| WO2021057746A1 (zh) | 神经网络处理方法、装置、计算机设备及存储介质 | |
| CN112465110B (zh) | 一种卷积神经网络计算优化的硬件加速装置 | |
| JPH09330304A (ja) | プロセッサ間の通信スケジュールを決定する方法 | |
| Shi et al. | A DAG model of synchronous stochastic gradient descent in distributed deep learning | |
| JPH04257928A (ja) | 並列計算機におけるプロセッサ割り当て方法、及び装置 | |
| Ito et al. | A GPU implementation of dynamic programming for the optimal polygon triangulation | |
| Li et al. | Optimizing makespan and resource utilization for multi-DNN training in GPU cluster | |
| CN110766136B (zh) | 一种稀疏矩阵与向量的压缩方法 | |
| JPH05158895A (ja) | 並列計算機システムにおけるループ計算の効率向上方式 | |
| US10013393B2 (en) | Parallel computer system, parallel computing method, and program storage medium | |
| CN110008436B (zh) | 基于数据流架构的快速傅里叶变换方法、系统和存储介质 | |
| Weerapurage et al. | Parallel vertex cover: A case study in dynamic load balancing | |
| JPH0590141A (ja) | 荷電ビーム描画用データ作成装置 | |
| CN109522106B (zh) | 一种基于协同计算的风险价值模拟动态任务调度方法 | |
| Ren et al. | Provably communication-efficient asynchronous distributed inference for convex and nonconvex problems | |
| CN112596912B (zh) | 二值或三值神经网络卷积计算的加速运算方法及装置 | |
| Zhou et al. | DaSGD: Squeezing SGD parallelization performance in distributed training using delayed averaging | |
| JP3542184B2 (ja) | 線形計算方法 | |
| JP2576041B2 (ja) | ３次元複素フーリエ変換実行方式 | |
| Wu | Efficient Processing of Convolutional Neural Networks on SW26010 | |
| CN116940939A (zh) | 多标量乘法实现方法、装置、终端及存储介质 | |
| JP2895892B2 (ja) | データ処理装置 | |
| Sun et al. | Cooperative Preprocessing at Petabytes on High Performance Computing System | |
| JPH05216850A (ja) | 階層型データ表現変換方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19990311 |