JPH0981530A - 並列計算機のリダクション処理方法 - Google Patents
並列計算機のリダクション処理方法Info
- Publication number
- JPH0981530A JPH0981530A JP7239659A JP23965995A JPH0981530A JP H0981530 A JPH0981530 A JP H0981530A JP 7239659 A JP7239659 A JP 7239659A JP 23965995 A JP23965995 A JP 23965995A JP H0981530 A JPH0981530 A JP H0981530A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- data
- communication
- broadcast
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Multi Processors (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】 並列計算機のリダクション処理方法におい
て、各計算機間のデータ通信量の減少を図る。 【解決手段】 ブロードキャスト処理の実行により中間
結果を得るステップと、前記中間結果に基づいてコンビ
ネーション処理を実行するステップとを含む。
て、各計算機間のデータ通信量の減少を図る。 【解決手段】 ブロードキャスト処理の実行により中間
結果を得るステップと、前記中間結果に基づいてコンビ
ネーション処理を実行するステップとを含む。
Description
【０００１】
【発明の属する技術分野】本発明は情報処理分野に関
し、特に並列計算機におけるリダクション処理方法に関
する。
し、特に並列計算機におけるリダクション処理方法に関
する。
【０００２】
【従来の技術】マトリックス対ベクタ積を求める計算
や、ニューラルネットワーク等の計算を並列計算機で処
理する場合を考える。これらの計算は複数の入力データ
に対して複数の出力データを生成するが、各出力データ
のすべて（あるいは多数）が入力データに依存している
という特徴を持っている。
や、ニューラルネットワーク等の計算を並列計算機で処
理する場合を考える。これらの計算は複数の入力データ
に対して複数の出力データを生成するが、各出力データ
のすべて（あるいは多数）が入力データに依存している
という特徴を持っている。
【０００３】このような計算を一般的な並列計算機で行
なう場合においては、特に並列計算機としてはプロセッ
サ数が問題の入力データ数と同程度であるものを考え
る。すなわち、マトリックス対ベクタ積を求める計算に
おいてはプロセッサ数がベクタ長と同程度であり、ニュ
ーラルネットワーク計算においてはプロセッサ数がネッ
トワーク各層のノード数と同程度であるものとする。こ
のとき、入力データはプロセッサに分散して入力される
ため、各プロセッサは他のプロセッサにあるデータを通
信により得る必要がある。
なう場合においては、特に並列計算機としてはプロセッ
サ数が問題の入力データ数と同程度であるものを考え
る。すなわち、マトリックス対ベクタ積を求める計算に
おいてはプロセッサ数がベクタ長と同程度であり、ニュ
ーラルネットワーク計算においてはプロセッサ数がネッ
トワーク各層のノード数と同程度であるものとする。こ
のとき、入力データはプロセッサに分散して入力される
ため、各プロセッサは他のプロセッサにあるデータを通
信により得る必要がある。
【０００４】並列計算機のプロセッサ間には１対１通信
を行なうネットワークを有するものとする。ここでの１
対１通信はハードウェアとして１対１である必要はな
く、仮想的に１対１通信を行なうことが可能であればよ
い。実際には本方式の適用においてはバス型ネットワー
クでも良く、一般的な並列計算機のすべてがこの条件に
あてはまる。
を行なうネットワークを有するものとする。ここでの１
対１通信はハードウェアとして１対１である必要はな
く、仮想的に１対１通信を行なうことが可能であればよ
い。実際には本方式の適用においてはバス型ネットワー
クでも良く、一般的な並列計算機のすべてがこの条件に
あてはまる。
【０００５】従来はマトリックス対ベクタ積といった計
算は以下に説明するような２つの方法により計算されて
いた。ブロードキャストによる処理もコンビネーション
による処理もどちらの方法も一般によく知られている。
算は以下に説明するような２つの方法により計算されて
いた。ブロードキャストによる処理もコンビネーション
による処理もどちらの方法も一般によく知られている。
【０００６】ブロードキャストによる処理について説明
する。ブロードキャストによる処理では、まず各プロセ
ッサは処理開始時に保持しているデータをすべてのプロ
セッサに分配する。そしてプロセッサ上に他のプロセッ
サが持っていたデータがすべて揃った時点で必要な計算
が行なわれる。
する。ブロードキャストによる処理では、まず各プロセ
ッサは処理開始時に保持しているデータをすべてのプロ
セッサに分配する。そしてプロセッサ上に他のプロセッ
サが持っていたデータがすべて揃った時点で必要な計算
が行なわれる。
【０００７】ここでは、マトリックス対ベクタ積につい
て例示するが、マトリックスの要素は定数であり、ベク
タの要素が入力として与えられる場合の計算を取り上げ
る。つまり、マトリックスの要素は既にプロセッサに分
配されているものとし、ベクタの要素が外部から各プロ
セッサに入力されるものとする。
て例示するが、マトリックスの要素は定数であり、ベク
タの要素が入力として与えられる場合の計算を取り上げ
る。つまり、マトリックスの要素は既にプロセッサに分
配されているものとし、ベクタの要素が外部から各プロ
セッサに入力されるものとする。
【０００８】マトリックスａjiに対して入力ベクタｘi
とし、式（１）の計算が行なわれる。
とし、式（１）の計算が行なわれる。
【０００９】プロセッサＰＥj にはマトリックスの要素
ａjiが分配されているものとする。ここでプロセッサＰ
Ｅj にはｘj が入力される。プロセッサＰＥj がｖj を
計算するためにはすべてのｘi が必要であるのでプロセ
ッサ間通信が行なわれる。
ａjiが分配されているものとする。ここでプロセッサＰ
Ｅj にはｘj が入力される。プロセッサＰＥj がｖj を
計算するためにはすべてのｘi が必要であるのでプロセ
ッサ間通信が行なわれる。
【００１０】ブロードキャストによる処理の場合は、す
べての入力データが各プロセッサに揃った状態で計算処
理が行なわれるので、通信に関して問題となるのはブロ
ードキャスト通信自体である。以下では、ブロードキャ
スト通信をハイパーキューブのネットワーク上で処理す
る様子を示す。図２から図４の例においてはネットワー
クとしてハイパーキューブが使用されるが、１対１通信
のみを考えるのでどのようなネットワークでも同じであ
る。
べての入力データが各プロセッサに揃った状態で計算処
理が行なわれるので、通信に関して問題となるのはブロ
ードキャスト通信自体である。以下では、ブロードキャ
スト通信をハイパーキューブのネットワーク上で処理す
る様子を示す。図２から図４の例においてはネットワー
クとしてハイパーキューブが使用されるが、１対１通信
のみを考えるのでどのようなネットワークでも同じであ
る。
【００１１】図２にプロセッサ数が８個の場合のハイパ
ーキューブネットワークの接続関係を示す。８プロセッ
サのハイパーキューブでは各プロセッサは３つの接続を
持つ。たとえばＰＥ0 はＰＥ1 、ＰＥ2 、およびＰＥ4
との接続を持つ。各接続は第０軸の接続、第１軸の接
続、第２軸の接続と呼ばれる。なお第ｉ軸の代わりに第
ｉ次元ともいう。
ーキューブネットワークの接続関係を示す。８プロセッ
サのハイパーキューブでは各プロセッサは３つの接続を
持つ。たとえばＰＥ0 はＰＥ1 、ＰＥ2 、およびＰＥ4
との接続を持つ。各接続は第０軸の接続、第１軸の接
続、第２軸の接続と呼ばれる。なお第ｉ軸の代わりに第
ｉ次元ともいう。
【００１２】図３を参照して、ブロードキャスト通信の
実行状況について説明する。ブロードキャストは複数の
ステップにより実行されるが、それぞれのステップは各
通信接続の軸に従っている。つまり最初のステップでは
第０軸の接続による通信を行ない、次のステップでは第
１軸の接続による通信が行なわれる。
実行状況について説明する。ブロードキャストは複数の
ステップにより実行されるが、それぞれのステップは各
通信接続の軸に従っている。つまり最初のステップでは
第０軸の接続による通信を行ない、次のステップでは第
１軸の接続による通信が行なわれる。
【００１３】ブロードキャスト通信の開始時点では、各
ＰＥi はデータｘi を持っているものとする。
ＰＥi はデータｘi を持っているものとする。
【００１４】図４を参照して、ＰＥ0 に送られるデータ
にのみ注目して図３を書換えたものを示す。第１ステッ
プでは、たとえばｘ1 がＰＥ0 に送られる。第２ステッ
プでは、たとえばｘ2 とｘ3 とがＰＥ0 に送られる。そ
して第３ステップの終了時点ではすべてのデータがＰＥ
0 上にある。他のプロセッサでも同様の処理が行なわれ
ているので、第３ステップの終了時点ではすべてのプロ
セッサがすべての入力データを持っていることになる。
にのみ注目して図３を書換えたものを示す。第１ステッ
プでは、たとえばｘ1 がＰＥ0 に送られる。第２ステッ
プでは、たとえばｘ2 とｘ3 とがＰＥ0 に送られる。そ
して第３ステップの終了時点ではすべてのデータがＰＥ
0 上にある。他のプロセッサでも同様の処理が行なわれ
ているので、第３ステップの終了時点ではすべてのプロ
セッサがすべての入力データを持っていることになる。
【００１５】ここで各プロセッサは必要な計算を行なう
ことができる。ここではプロセッサＰＥj には予めマト
リックスの要素ａjiを分配しておくものとする。プロセ
ッサＰＥj はｖj ＝Σi ａjiｘi なる計算を行なう。
ことができる。ここではプロセッサＰＥj には予めマト
リックスの要素ａjiを分配しておくものとする。プロセ
ッサＰＥj はｖj ＝Σi ａjiｘi なる計算を行なう。
【００１６】次にコンビネーションによる処理について
説明する。コンビネーションによる処理では、まず各プ
ロセッサは自分が保持しているデータだけで行なえる処
理を行なう。次にそれらのデータを通信を行ないなが
ら、加算等の演算でデータをリダクション（縮退）して
いく。この処理は、通信されてきたデータに対して加算
などを行ない、結果としてデータ量が減っていくので縮
退という。
説明する。コンビネーションによる処理では、まず各プ
ロセッサは自分が保持しているデータだけで行なえる処
理を行なう。次にそれらのデータを通信を行ないなが
ら、加算等の演算でデータをリダクション（縮退）して
いく。この処理は、通信されてきたデータに対して加算
などを行ない、結果としてデータ量が減っていくので縮
退という。
【００１７】ブロードキャストによる処理の場合と同様
に、コンビネーションによる処理をハイパーキューブネ
ットワーク上で行なう様子を図２、図５、図６、および
図７により示す。コンビネーションによる処理の場合
は、通信処理の途中に計算処理が行なわれるので処理が
少し複雑になる。
に、コンビネーションによる処理をハイパーキューブネ
ットワーク上で行なう様子を図２、図５、図６、および
図７により示す。コンビネーションによる処理の場合
は、通信処理の途中に計算処理が行なわれるので処理が
少し複雑になる。
【００１８】図２を参照して、ネットワークを示すが、
これは前記と同様である。図５を参照して、各ステップ
を示す。各ステップに通信するプロセッサはプロードキ
ャストによる処理の場合と同様である。しかし、通信さ
れるデータとそのデータ間で計算が行なわれる点が異な
っている。プロセッサＰＥj にはマトリックスの要素ａ
ijが分配されているものとする。このマトリックスの要
素の分配の仕方は、ブロードキャストによる処理の場合
と異なっている。
これは前記と同様である。図５を参照して、各ステップ
を示す。各ステップに通信するプロセッサはプロードキ
ャストによる処理の場合と同様である。しかし、通信さ
れるデータとそのデータ間で計算が行なわれる点が異な
っている。プロセッサＰＥj にはマトリックスの要素ａ
ijが分配されているものとする。このマトリックスの要
素の分配の仕方は、ブロードキャストによる処理の場合
と異なっている。
【００１９】第１ステップでは、まずＰＥi は入力デー
タｘ0 に対して部分和Ｓj （ｉ）＝ａjiｘi を計算して
おく。つまりＰＥ0 ではＳj （０）＝ａj0ｘ0 、（ｊ＝
０，１，２，…，７）を計算しておく。この計算に必要
なデータはＰＥi 上にあるので可能である。次にこの部
分和Ｓj （ｉ）が通信によりそれぞれ交換される。
タｘ0 に対して部分和Ｓj （ｉ）＝ａjiｘi を計算して
おく。つまりＰＥ0 ではＳj （０）＝ａj0ｘ0 、（ｊ＝
０，１，２，…，７）を計算しておく。この計算に必要
なデータはＰＥi 上にあるので可能である。次にこの部
分和Ｓj （ｉ）が通信によりそれぞれ交換される。
【００２０】図６にＰＥ0 に結果を生成するために必要
な通信のみを抜粋したものを示す。ここでＳ0 （０１）
は部分和Ｓ0 （０１）＝Ｓ0 （０）＋Ｓ0 （１）を意味
し、式（２）で表わされる。
な通信のみを抜粋したものを示す。ここでＳ0 （０１）
は部分和Ｓ0 （０１）＝Ｓ0 （０）＋Ｓ0 （１）を意味
し、式（２）で表わされる。
【００２１】また、Ｓ0 （０１２３）は部分和Ｓ0 （０
１２３）＝Ｓ0 （０１）＋Ｓ0 （２３）を意味し、式
（３）で表わされる。
１２３）＝Ｓ0 （０１）＋Ｓ0 （２３）を意味し、式
（３）で表わされる。
【００２２】ちなみにＳi （ｎ…）はＰＥi へ向かう部
分和データとなっている。図７を参照して、図６で示さ
れたＰＥ0 に結果を生成するために必要な通信によって
実際に通信されたデータを示す。たとえば、第１ステッ
プでは、｛Ｓ0 （１），Ｓ2 （１），Ｓ4 （１），Ｓ6
（１）｝がＰＥ1 からＰＥ0 へ通信されている。そして
ＰＥ0 上では元々持っているＳ0 （０）と通信されてき
たＳ0 （１）の間で計算が行なわれ、新たな部分和Ｓ0
（０１）が求められる。同様にＰＥ 0 上ではＳ2 （０
１）、Ｓ4 （０１）、Ｓ6 （０１）が計算される。つま
り第１ステップの終了時点でＰＥ0 は部分和Ｓ0 （０
１）、Ｓ2 （０１）、Ｓ4 （０１）、Ｓ6 （０１）を中
間結果として持っている。第１ステップの開始時点では
８つのデータを持っていたが、終了時点では４つのデー
タに減っていることに注意すべきである。
分和データとなっている。図７を参照して、図６で示さ
れたＰＥ0 に結果を生成するために必要な通信によって
実際に通信されたデータを示す。たとえば、第１ステッ
プでは、｛Ｓ0 （１），Ｓ2 （１），Ｓ4 （１），Ｓ6
（１）｝がＰＥ1 からＰＥ0 へ通信されている。そして
ＰＥ0 上では元々持っているＳ0 （０）と通信されてき
たＳ0 （１）の間で計算が行なわれ、新たな部分和Ｓ0
（０１）が求められる。同様にＰＥ 0 上ではＳ2 （０
１）、Ｓ4 （０１）、Ｓ6 （０１）が計算される。つま
り第１ステップの終了時点でＰＥ0 は部分和Ｓ0 （０
１）、Ｓ2 （０１）、Ｓ4 （０１）、Ｓ6 （０１）を中
間結果として持っている。第１ステップの開始時点では
８つのデータを持っていたが、終了時点では４つのデー
タに減っていることに注意すべきである。
【００２３】そして第２ステップでは、｛Ｓ0 （２
３），Ｓ4 （２３）｝がＰＥ2 からＰＥ 0 へ通信され
る。そして部分和Ｓ0 （０１２３）とＳ4 （０１２３）
が、それぞれＳ0 （０１）とＳ0 （２３）、そしてＳ4
（０１）をＳ4 （２３）から計算される。
３），Ｓ4 （２３）｝がＰＥ2 からＰＥ 0 へ通信され
る。そして部分和Ｓ0 （０１２３）とＳ4 （０１２３）
が、それぞれＳ0 （０１）とＳ0 （２３）、そしてＳ4
（０１）をＳ4 （２３）から計算される。
【００２４】第３ステップの終了時点ではＰＥ0 上に
は、Ｓ0 （０１２３４５６７）がある。これは式（４）
で表わされる求めるべき結果である。
は、Ｓ0 （０１２３４５６７）がある。これは式（４）
で表わされる求めるべき結果である。
【００２５】
【数１】
【００２６】
【数２】
【００２７】
【数３】
【００２８】
【数４】
【００２９】
【発明が解決しようとする課題】従来のブロードキャス
ト処理方法およびコンビネーション処理方法において
は、問題の計算をネットワークの多段通信により処理す
る場合において、プロセッサ数Ｎ、あるいは入力データ
数Ｎに対してｌｏｇ（Ｎ）ステップの通信処理が必要と
なる。
ト処理方法およびコンビネーション処理方法において
は、問題の計算をネットワークの多段通信により処理す
る場合において、プロセッサ数Ｎ、あるいは入力データ
数Ｎに対してｌｏｇ（Ｎ）ステップの通信処理が必要と
なる。
【００３０】また問題の計算をブロードキャスト処理方
法により行なう場合には、後段のステップにいくに従い
各ステップあたりの通信量が大きくなるという問題点が
発生する。
法により行なう場合には、後段のステップにいくに従い
各ステップあたりの通信量が大きくなるという問題点が
発生する。
【００３１】一方コンビネーション処理方法により計算
を行なう場合には、前段のステップほど各ステップあた
りの通信量が大きくなるという問題点が生ずる。ここで
通信量とは処理の途中で各プロセッサが通信する単位デ
ータの通信量の総和を指すものとする。
を行なう場合には、前段のステップほど各ステップあた
りの通信量が大きくなるという問題点が生ずる。ここで
通信量とは処理の途中で各プロセッサが通信する単位デ
ータの通信量の総和を指すものとする。
【００３２】それゆえに本願の請求項１に記載の発明
は、従来の処理方法と比較して、少ないデータ通信量で
処理が可能な並列計算機のリダクション処理方法を提供
することを目的とする。
は、従来の処理方法と比較して、少ないデータ通信量で
処理が可能な並列計算機のリダクション処理方法を提供
することを目的とする。
【００３３】
【課題を解決するための手段】本願発明の請求項１に記
載の並列計算機のリダクション処理方法は、通信ネット
ワーク接続された並列計算機により、各々が複数の入力
データに依存する複数の出力データを生成する計算を処
理するための並列計算機のリダクション処理方法であっ
て、ブロードキャスト処理の実行により中間結果を得る
ステップと、前記中間結果に基づいてコンビネーション
処理を実行するステップとを含むことを特徴とする。
載の並列計算機のリダクション処理方法は、通信ネット
ワーク接続された並列計算機により、各々が複数の入力
データに依存する複数の出力データを生成する計算を処
理するための並列計算機のリダクション処理方法であっ
て、ブロードキャスト処理の実行により中間結果を得る
ステップと、前記中間結果に基づいてコンビネーション
処理を実行するステップとを含むことを特徴とする。
【００３４】
【発明の実施の形態】以下本願の発明の実施の形態につ
いて説明する。バス型ネットワークのように特別にブロ
ードキャスト処理に適したネットワークを除き、ブロー
ドキャスト処理やコンビネーション処理においてはポイ
ント−ポイントの通信を基礎とするので、通信ハードウ
ェアによらず多段通信を行なう。
いて説明する。バス型ネットワークのように特別にブロ
ードキャスト処理に適したネットワークを除き、ブロー
ドキャスト処理やコンビネーション処理においてはポイ
ント−ポイントの通信を基礎とするので、通信ハードウ
ェアによらず多段通信を行なう。
【００３５】複数の入力データに対して複数の出力デー
タを生成するが、各出力データがすべて、あるいは多数
の入力データに依存しているような問題を取り上げる。
このような性質の問題には、マトリックス対ベクタ積の
計算や、ニューラルネットワークの計算などがある。
タを生成するが、各出力データがすべて、あるいは多数
の入力データに依存しているような問題を取り上げる。
このような性質の問題には、マトリックス対ベクタ積の
計算や、ニューラルネットワークの計算などがある。
【００３６】また、プロセッサ数と入力データ数は同程
度とする。マトリックス対ベクタ積の場合を例にとる
と、ベクタの要素数とプロセッサ数が同数とする。
度とする。マトリックス対ベクタ積の場合を例にとる
と、ベクタの要素数とプロセッサ数が同数とする。
【００３７】問題の計算をネットワークの多段通信によ
り処理する場合、ブロードキャスト処理ならびにコンビ
ネーション処理は、プロセッサ数Ｎ（あるいは入力デー
タ数）に対してｌｏｇ（Ｎ）ステップが必要である。
り処理する場合、ブロードキャスト処理ならびにコンビ
ネーション処理は、プロセッサ数Ｎ（あるいは入力デー
タ数）に対してｌｏｇ（Ｎ）ステップが必要である。
【００３８】問題の計算をブロードキャスト処理により
計算を行なう場合、後段のステップにいくに従い、各ス
テップ当りの通信量が大きくなる。同様にコンビネーシ
ョン処理により計算を行なう場合、前段のステップほど
各ステップあたりの通信量が大きくなる。ここで信号量
とは処理の途中で各プロセッサが通信する単位データの
通信量の総和を指すものとする。
計算を行なう場合、後段のステップにいくに従い、各ス
テップ当りの通信量が大きくなる。同様にコンビネーシ
ョン処理により計算を行なう場合、前段のステップほど
各ステップあたりの通信量が大きくなる。ここで信号量
とは処理の途中で各プロセッサが通信する単位データの
通信量の総和を指すものとする。
【００３９】ブロードキャスト処理では演算の行なわれ
るデータ同士を近づけ、最終的には各プロセッサ上にす
べてのデータを持ってくることを行なっている。その処
理の間、目的の計算に必要なデータはすべてのステップ
において、プロセッサ群に分割されてはいるが、どれか
のプロセッサ上には存在している。このことは、どのス
テップであってもブロードキャスト処理による方法を中
断して、コンビネーション処理による方法に移行可能な
ことを意味する。
るデータ同士を近づけ、最終的には各プロセッサ上にす
べてのデータを持ってくることを行なっている。その処
理の間、目的の計算に必要なデータはすべてのステップ
において、プロセッサ群に分割されてはいるが、どれか
のプロセッサ上には存在している。このことは、どのス
テップであってもブロードキャスト処理による方法を中
断して、コンビネーション処理による方法に移行可能な
ことを意味する。
【００４０】ブロードキャスト処理による方法を途中の
ステップで中断し、コンビネーション処理による方法に
移行する。これが本願発明の特徴である。
ステップで中断し、コンビネーション処理による方法に
移行する。これが本願発明の特徴である。
【００４１】ブロードキャスト処理による方法は、処理
の前段のステップにおいて各ステップに必要な通信量が
少なく、一方、コンビネーション処理による方法は、処
理の後段のステップにおいて各ステップに必要な通信量
が少ない。本方式により、全ステップ数は同じである
が、各ステップに必要な通信量が少なくなり総通信量が
少ない処理が可能になる。
の前段のステップにおいて各ステップに必要な通信量が
少なく、一方、コンビネーション処理による方法は、処
理の後段のステップにおいて各ステップに必要な通信量
が少ない。本方式により、全ステップ数は同じである
が、各ステップに必要な通信量が少なくなり総通信量が
少ない処理が可能になる。
【００４２】特にプロセッサ数とデータ数が同じ場合に
は、全ステップの中央（ステップ数が奇数の場合は中央
に近いどちらかのステップ）で、ブロードキャスト処理
とコンビネーション処理とを切換えると通信量が最も少
なくなる。プロセッサ数とデータ数とが等しくない場合
も、適当なステップ位置で切換えることにより通信量を
少なくすることができる。
は、全ステップの中央（ステップ数が奇数の場合は中央
に近いどちらかのステップ）で、ブロードキャスト処理
とコンビネーション処理とを切換えると通信量が最も少
なくなる。プロセッサ数とデータ数とが等しくない場合
も、適当なステップ位置で切換えることにより通信量を
少なくすることができる。
【００４３】本方式はブロードキャスト処理に適したバ
ス型ネットワークに比較しても、総通信量が少ない処理
方式である。
ス型ネットワークに比較しても、総通信量が少ない処理
方式である。
【００４４】次に具体的な手段を示す。ここではマトリ
ックス対ベクタ積を、プロセッサ数８、ベクタ長８とす
る場合について式（５）により例示する。
ックス対ベクタ積を、プロセッサ数８、ベクタ長８とす
る場合について式（５）により例示する。
【００４５】まず図８を参照して、３つのステップのう
ちの１段目までをブロードキャスト処理により処理し、
残る２段をコンビネーション処理により処理したものに
ついて例示する。
ちの１段目までをブロードキャスト処理により処理し、
残る２段をコンビネーション処理により処理したものに
ついて例示する。
【００４６】第１ステップが終了するまではブロードキ
ャスト処理によるものと全く同様である。その結果、Ｐ
Ｅ0 は｛ｘ0 ，ｘ1 ｝を持つことになる。
ャスト処理によるものと全く同様である。その結果、Ｐ
Ｅ0 は｛ｘ0 ，ｘ1 ｝を持つことになる。
【００４７】ここでこれらの値から、ＰＥ0 上では、式
（６ａ）〜式（６ｄ）の部分を計算することができる。
（６ａ）〜式（６ｄ）の部分を計算することができる。
【００４８】ＰＥ0 が｛Ｓ0 （０１），Ｓ2 （０１），
Ｓ4 （０１），Ｓ6 （０１）｝を持つ状況が、コンビネ
ーション処理の第２ステップの前の状況と同様である。
よって以降の処理をコンビネーション処理として続行す
ることが可能である。
Ｓ4 （０１），Ｓ6 （０１）｝を持つ状況が、コンビネ
ーション処理の第２ステップの前の状況と同様である。
よって以降の処理をコンビネーション処理として続行す
ることが可能である。
【００４９】次に、図９を参照して、３つのステップの
うちの２段目までをブロードキャスト処理により、最後
の１段をコンビネーション処理として処理したものにつ
いて例示する。
うちの２段目までをブロードキャスト処理により、最後
の１段をコンビネーション処理として処理したものにつ
いて例示する。
【００５０】第２ステップが終了するまではブロードキ
ャスト処理によるものと同様である。その結果、ＰＥ0
は｛ｘ0 ，ｘ1 ，ｘ2 ，ｘ3 ｝を持つことになる。ここ
でこれらの値から、ＰＥ0 上では、式（７ａ）および式
（７ｂ）の部分を計算することができる。
ャスト処理によるものと同様である。その結果、ＰＥ0
は｛ｘ0 ，ｘ1 ，ｘ2 ，ｘ3 ｝を持つことになる。ここ
でこれらの値から、ＰＥ0 上では、式（７ａ）および式
（７ｂ）の部分を計算することができる。
【００５１】ＰＥ0 が｛Ｓ0 （０３），Ｓ4 （０３）｝
を持つ状況は、コンビネーション処理の第３ステップ開
始前の状況と全く同様である。よって以降の処理をコン
ビネーション処理として続行することが可能である。
を持つ状況は、コンビネーション処理の第３ステップ開
始前の状況と全く同様である。よって以降の処理をコン
ビネーション処理として続行することが可能である。
【００５２】次に通信量の簡単な評価について説明す
る。まず、ブロードキャスト処理による方法では、第１
ステップでは各プロセッサは１データの転送を行なう。
第２ステップではそれぞれ２データの転送を行なう。第
３ステップではそれぞれ４データの転送を行なう。した
がって合計７データの転送を行なうことになる。
る。まず、ブロードキャスト処理による方法では、第１
ステップでは各プロセッサは１データの転送を行なう。
第２ステップではそれぞれ２データの転送を行なう。第
３ステップではそれぞれ４データの転送を行なう。した
がって合計７データの転送を行なうことになる。
【００５３】一般にブロードキャスト処理による方法で
は、プロセッサ数Ｎおよびデータ数Ｎに対してＮ−１の
通信を行なうことが知られている。
は、プロセッサ数Ｎおよびデータ数Ｎに対してＮ−１の
通信を行なうことが知られている。
【００５４】次にコンビネーション処理による方法で
は、第１ステップでは各プロセッサは４データの転送を
行なう。第２ステップではそれぞれ２データの転送を行
なう。第３ステップではそれぞれ１データの転送を行な
う。したがって合計７データの転送を行なうことにな
る。
は、第１ステップでは各プロセッサは４データの転送を
行なう。第２ステップではそれぞれ２データの転送を行
なう。第３ステップではそれぞれ１データの転送を行な
う。したがって合計７データの転送を行なうことにな
る。
【００５５】一般にコンビネーション処理による方法で
は、プロセッサ数Ｎおよびデータ数Ｎに対してＮ−１の
通信を行なうことが知られている。
は、プロセッサ数Ｎおよびデータ数Ｎに対してＮ−１の
通信を行なうことが知られている。
【００５６】本発明の方法について、まず、第３段から
コンビネーション処理に変更する場合を見てみる。第１
ステップでは各プロセッサは１データの転送を行なう。
第２ステップではそれぞれ２データの転送を行なう。第
３ステップではそれぞれ１データの転送を行なう。した
がって合計４データの転送を行なうことになる。
コンビネーション処理に変更する場合を見てみる。第１
ステップでは各プロセッサは１データの転送を行なう。
第２ステップではそれぞれ２データの転送を行なう。第
３ステップではそれぞれ１データの転送を行なう。した
がって合計４データの転送を行なうことになる。
【００５７】また、第２段からコンビネーション処理に
変更する場合においては、第１ステップでは各プロセッ
サは１データの転送を行なう。第２ステップではそれぞ
れ２データの転送を行なう。第３ステップではそれぞれ
１データの転送を行なう。したがって合計４データの転
送を行なうことになる。
変更する場合においては、第１ステップでは各プロセッ
サは１データの転送を行なう。第２ステップではそれぞ
れ２データの転送を行なう。第３ステップではそれぞれ
１データの転送を行なう。したがって合計４データの転
送を行なうことになる。
【００５８】一般に本方式ではＮに対してｌｏｇ（Ｎ）
が偶数であれば、中央でブロードキャスト処理とコンビ
ネーション処理を切換えることにより、プロセッサ数Ｎ
およびデータ数Ｎに対して式（８）の回数の通信を行な
う。
が偶数であれば、中央でブロードキャスト処理とコンビ
ネーション処理を切換えることにより、プロセッサ数Ｎ
およびデータ数Ｎに対して式（８）の回数の通信を行な
う。
【００５９】以上のように本願の請求項１に記載の並列
計算機のリダクション処理方法によれば、問題の計算に
対して従来の方法に比較して通信量を減らすことが可能
となる。
計算機のリダクション処理方法によれば、問題の計算に
対して従来の方法に比較して通信量を減らすことが可能
となる。
【００６０】
【数５】
【００６１】
【数６】
【００６２】
【数７】
【００６３】
【数８】
【図１】本発明による並列計算機のリダクション処理方
法の概要を示す図である。
法の概要を示す図である。
【図２】本発明の方法におけるハイパーキューブの通信
の接続（８プロセッサの場合）を示す図である。
の接続（８プロセッサの場合）を示す図である。
【図３】従来の方法におけるブロードキャスト処理によ
る計算のステップａを示す図である。
る計算のステップａを示す図である。
【図４】従来の方法におけるブロードキャスト処理によ
る計算のステップｂ（ＰＥ0 にデータが集まる通信のみ
を抜粋したもの）を示す図である。
る計算のステップｂ（ＰＥ0 にデータが集まる通信のみ
を抜粋したもの）を示す図である。
【図５】従来の方法におけるコンビネーション処理によ
る計算のステップａを示す図の構成を示す図である。
る計算のステップａを示す図の構成を示す図である。
【図６】従来の方法におけるコンビネーション処理によ
る計算のステップｂ（ＰＥ0 に結果を生成する通信のみ
を抜粋したもの）を示す図である。
る計算のステップｂ（ＰＥ0 に結果を生成する通信のみ
を抜粋したもの）を示す図である。
【図７】従来の方法におけるコンビネーション処理によ
る計算のステップｃ（ＰＥ0 に結果を生成する通信を中
心に通信データを抜粋したもの）を示す図の構成を示す
図である。
る計算のステップｃ（ＰＥ0 に結果を生成する通信を中
心に通信データを抜粋したもの）を示す図の構成を示す
図である。
【図８】本発明の方法において、後２段をコンビネーシ
ョン処理とした実施の形態を示す図である。
ョン処理とした実施の形態を示す図である。
【図９】本発明の方法において、後１段をコンビネーシ
ョン処理とした実施の形態を示す図である。
ョン処理とした実施の形態を示す図である。
【図１０】従来の方法におけるコンビネーション処理に
よる計算のステップａを示す図である。
よる計算のステップａを示す図である。
【図１１】従来の方法におけるコンビネーション処理に
よる計算のステップａを示す図である。
よる計算のステップａを示す図である。
【図１２】従来の方法におけるコンビネーション処理に
よる計算のステップｃ（ＰＥ0 に結果を生成する通信を
中心に通信データを抜粋したもの）を示す図である。
よる計算のステップｃ（ＰＥ0 に結果を生成する通信を
中心に通信データを抜粋したもの）を示す図である。
【図１３】従来の方法におけるコンビネーション処理に
よる計算のステップｃ（ＰＥ0 に結果を生成する通信を
中心に通信データを抜粋したもの）を示す図である。
よる計算のステップｃ（ＰＥ0 に結果を生成する通信を
中心に通信データを抜粋したもの）を示す図である。
Claims (1)
- 【請求項１】 通信ネットワーク接続された並列計算機
により、各々が複数の入力データに依存する複数の出力
データを生成する計算を処理するための並列計算機のリ
ダクション処理方法であって、 ブロードキャスト処理の実行により中間結果を得るステ
ップと、 前記中間結果に基づいてコンビネーション処理を実行す
るステップとを含む並列計算機のリダクション処理方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7239659A JPH0981530A (ja) | 1995-09-19 | 1995-09-19 | 並列計算機のリダクション処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7239659A JPH0981530A (ja) | 1995-09-19 | 1995-09-19 | 並列計算機のリダクション処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0981530A true JPH0981530A (ja) | 1997-03-28 |
Family
ID=17047997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7239659A Withdrawn JPH0981530A (ja) | 1995-09-19 | 1995-09-19 | 並列計算機のリダクション処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0981530A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020095595A (ja) * | 2018-12-14 | 2020-06-18 | 富士通株式会社 | 情報処理システム及び情報処理システムの制御方法 |
-
1995
- 1995-09-19 JP JP7239659A patent/JPH0981530A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020095595A (ja) * | 2018-12-14 | 2020-06-18 | 富士通株式会社 | 情報処理システム及び情報処理システムの制御方法 |
| US11297127B2 (en) | 2018-12-14 | 2022-04-05 | Fujitsu Limited | Information processing system and control method of information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69131267T2 (de) | Datenverarbeitungssystem für Daten mit einfacher Präzision und mit doppelter Präzision | |
| US6839728B2 (en) | Efficient complex multiplication and fast fourier transform (FFT) implementation on the manarray architecture | |
| Morgan et al. | The Ring Array Processor: A multiprocessing peripheral for connectionist applications | |
| US6947916B2 (en) | IC for universal computing with near zero programming complexity | |
| EP0479102A2 (en) | Multidimensional systolic array processing apparatus and method | |
| JPS6217770B2 (ja) | ||
| JP2580592B2 (ja) | データ構造駆動型処理装置とその制御方法 | |
| JP3345894B2 (ja) | 浮動小数点乗算器 | |
| EP0395240B1 (en) | High speed numerical processor | |
| JPH0981530A (ja) | 並列計算機のリダクション処理方法 | |
| JP3537378B2 (ja) | 加算器および集積回路 | |
| EP0278529A2 (en) | Multiplication circuit capable of operating at a high speed with a small amount of hardware | |
| JPH0764766A (ja) | 並列計算機における最大・最小値演算方法 | |
| CN110659014A (zh) | 乘法器及神经网络计算平台 | |
| JP3227538B2 (ja) | ２進整数乗算器 | |
| JPH01220528A (ja) | パリテイ発生器 | |
| JP2869668B2 (ja) | ディジタルデータの離散フーリエ又はコサイン変換装置 | |
| JPS60173483A (ja) | 論理回路シミュレーション装置 | |
| JPS59114665A (ja) | 並列計算機システム | |
| JPH05324694A (ja) | 再構成可能並列プロセッサ | |
| JP3271186B2 (ja) | 学習処理装置 | |
| WO2024212523A1 (zh) | 数据处理装置、方法、人工智能处理器、计算机可读存储介质及计算机程序产品 | |
| JP3620887B2 (ja) | データ処理装置 | |
| JPH04364525A (ja) | 並列演算装置 | |
| JPH07141148A (ja) | パイプライン並列乗算器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021203 |