JPH06318194A

JPH06318194A - 並列データ処理方式

Info

Publication number: JPH06318194A
Application number: JP5106821A
Authority: JP
Inventors: Hideki Kato; 英樹加藤; Hideki Yoshizawa; 英樹吉沢; Hiromoto Ichiki; 宏基市來; Tatsushi Ootsuka; 竜志大塚
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-05-07
Filing date: 1993-05-07
Publication date: 1994-11-15

Abstract

(57)【要約】【目的】複数個のデータ処理ユニットを同期的に用い
てデータを処理する、並列データ処理方式に関し、画像
データを、トレイで構成される２次元のシフトレジスタ
上を、ジグザグにあるいは渦巻き状に移動させることに
より、２次元近傍積和演算を高速に行い、処理時間を短
縮した並列データ処理方式を目的とする。【構成】各々少なくとも一つの入力を持つ複数個のプ
ロセッサと、各々第１、第２の入力及び第１、第２の出
力を持ちかつ各々データ保持及びデータ転送を行う複数
個のトレイであって、前記トレイの全部またはその一部
が各々前記プロセッサの第１の入力に接続された第５の
出力を有するものと、前記トレイの第１、第２の入力及
び第１、第２の出力が接続されて成る２次元シフト手段
とを具備し、前記シフト手段上のデータ転送と、前記ト
レイと前記プロセッサ間のデータ転送と、前記プロセッ
サによるデータ処理とを同期して行うことにより、空間
フィルタ演算あるいはニューロコンピュータ演算を行う
ことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は並列データ処理方式に係
り、更に詳しくは、複数個のデータ処理ユニットを同期
的に用いてデータを処理する、並列データ処理方式に関
する。

【０００２】近年、電子計算機或いはディジタル信号処
理装置等のシステムにおいて、データ処理の適用分野の
拡大に伴い、処理されるデータの量が膨大になり、特に
画像処理或いは音声処理等の分野では高速なデータ処理
を行う必要があり、そのため、複数個のデータ処理ユニ
ットを同期的に用いてデータを処理するデータ処理の並
列性の利用が重要となる。

【０００３】また、フォンノイマン型コンピュータによ
る論理型データ処理だけでは、人間が行っているような
柔軟なパターン処理は難しいとの認識から、これと異な
る計算原理に基づくニューロコンピュータが広く研究さ
れてきている。

【０００４】本発明は２次元空間フィルタ演算による画
像処理、および前記人工ニューラルネットワーク、特に
２次元ニューラルネットワークの演算処理あるいはこれ
らの他の演算のシミュレーションを高速に実行する並列
データ処理方式に関するものである。

【０００５】

【従来の技術】２次元空間フィルタ演算による画像処理
は非常に広く利用されており、専用の並列プロセッサシ
ステムや専用ＬＳＩも数多く開発されている。それらに
広く用いられている方式は、図１９に示すように、複数
のプロセッサあるいは積和演算器９１を２次元格子状に
接続し、互いにバス９２では接続し全体をＳＩＭＤ（シ
ングルインストラクションマルチデータ）方式で制御す
るものである。そして、図２０に示すように、以下のス
テップを全方向（上、右上、右、右下、下、左下、左、
左上）について実行する。

【０００６】1.1 各プロセッサは、自分の持っている
画素にマスクの方向と対応する重みを掛け、累積器に加
算する。 1.2 ある方向（ここでは右とする）のプロセッサから
そのプロセッサの持っている画素を転送してもらうと同
時に、逆（この場合は左）方向のプロセッサからの画素
データの要求に応えて自分が持っているデータを送る。

【０００７】このとき、各プロセッサには前もって画像
データとマスク行列のデータが何らかの手段、例えばホ
ストマシンからのダウンロード等によって格納されてい
るものとする。

【０００８】他方、一層のニューラルネットを用いるバ
ーセプトロンに代表される、大脳視覚野などの、２次元
画像を対象とするニューラルネットワークのシミュレー
ションにおいても、同様の演算が用いられている。

【０００９】

【発明が解決しようとする課題】これらのシステムで
は、プロセッサ同士を、ラウタ（あるいはルータ）と呼
ばれる通信用のユニットを経由して接続しているため、
画像データをプロセッサ間で転送する場合、プロセッサ
のメモリからラウタを経て隣接するプロセッサに転送す
ることとなり、ラウタを介する点にオーバヘッドが生じ
て、処理時間が長くなるという問題があった。

【００１０】本発明は、画像データを格納するレジスタ
に転送機能を付加することにより構成されたトレイを設
け、このトレイ同士を直接２次元状に接続することによ
り、前記オーバヘッドをなくし、処理時間を短縮した並
列データ処理方式を提供するするものであり、特に画像
データを、トレイで構成される２次元のシフトレジスタ
上を、ジグザグにあるいは渦巻き状に移動させることに
より、２次元近傍積和演算を高速に行い、処理時間を短
縮した並列データ処理方式を提供することを目的とす
る。

【００１１】

【課題を解決するための手段】図１は本発明の原理説明
図である。同図において１は積和演算を行うプロセッ
サ、２はデータの保持及び転送を行うトレイ、３は各ト
レイの相互接続により構成されるシフトレジスタ、１１
はプロセッサの第１の入力、１２はプロセッサの第２の
入力、２１はトレイの第１の入力、２２はトレイの第２
の入力、２３はトレイの第３の入力、２４はトレイの第
４の入力、３１はトレイの第１の出力、３２はトレイの
第２の出力、３３はトレイの第３の出力、３４はトレイ
の第４の出力、４１はトレイの第５の出力、４５は各プ
ロセッサ１の第２の入力１２へ同期信号を供給する同期
制御部である。各トレイは２次元平面上にマトリクス状
にトレイ−１１，１２，・・・１ｋ・・・１ｎ；トレイ
−２１，２２，・・・２ｋ・・・２ｎ；トレイ−ｍ１，
ｍ２，・・・ｍｋ・・・ｍｎ；として配列されている。

【００１２】

【作用】本発明の方式は、画像処理に限られず、一般の
行列演算に適用可能なものであるが、ここでは便宜上、
２次元近傍マスクを用いた空間フィルタの処理を例にし
て説明する。

【００１３】図１を参照しつつ説明する。本発明の方式
では、図２に示すように２次元空間上のある元画像の点
ｐ（ｘ，ｙ）に対する処理として、平滑化などの目的に
応じた適当な重みマスクＭを点ｐ（ｘ，ｙ）の近傍の点
の画像データに掛けてこれらの積の総和をとることによ
り、元画像ｐに対して画像処理を行うものである。図３
のような構成で図４のような処理を行う。すなわち、注
目した元画像の点ｐに対してその近傍の画像の値とマス
クＭのベクトル値との積和演算を行うことにより注目し
た元画像の点ｐを近傍の画像データとの相関関係を持た
せることができるようにするものである。例えば積和演
算の結果を注目した画素および近傍の画素数で割って注
目した画素のデータと置き換えを行う。その際にマスク
Ｍと近傍の画像データとの間には下記の積和演算式が適
用される。

【００１４】

【数１】

【００１５】そして、シフトレジスタ３によるデータ転
送と、トレイ２とプロセッサ１間のデータ転送と、プロ
セッサによるデータ処理とを同期して行うことにより、
シフトレジスタ３によるデータ転送と及び或いはトレイ
２とプロセッサ１間のデータ転送とを、プロセッサによ
るデータ処理の時間に隠すことにより並列データ処理シ
ステムとして動作を高速化できる。

【００１６】実際に元画像データｐの近傍の積和演算を
２次元上に並列されたトレイによって行う場合には、図
３に示すような端点用トレイを設ける必要がある。図３
にある端点用トレイというのは、トレイで構成されるグ
リッド上をデータを転送する際に、端のデータが消えて
しまわないために入れてあるものである。これは何ら特
殊なトレイを必要とするものではなく、通常のトレイを
そのまま用いればよい。この場合、そのトレイにプロセ
ッサをつなぐ必要はない。

【００１７】積和演算の過程を図４にそってより具体的
に述べる。図２に示された注目した元画像の点ｐの近傍
を含む９つの元画像の点は図１（又は図３）において対
応する９個のトレイに記憶されている。上記の積和演算
を行う際に、各トレイ上の各画像データを左、上、右、
右、下、下、左、左と順次隣接するトレイに転送しなが
ら、１回の転送で１個の画像データを８回の転送で近傍
の８個の元画像データを注目した元画像の点ｐに集めて
この注目した元画像を記憶しているトレイに接続された
プロセッサによって対応するマスクＭの係数との積をと
りつつそれらの和を求める。従って積和演算を注目した
元画像の点ｐのデータとマスクＭの中心の点５との積も
含めて９回繰り返すこととなる。すなわち元画像の点ｐ
に対応するプロセッサは自分に接続されているトレイ上
に集められたデータと対応するマスク値との積をプロセ
ッサに対応して設けられた累積器（図示せず）に加え
る。このとき、トレイ全体のデータを上記の方向に順次
移動させる。この際事前に各トレイには注目した元画像
の点ｐの画像データ或いはその近傍の画像データが、注
目した元画像の点ｐに対応したプロセッサ内のレジスタ
（図示せず）にはマスクＭの各ベクトルの要素が何らか
の手段により格納されているものとする。また、データ
を集める順序は一通りに固定されたものではなく効率よ
く近傍の必要なトレイをスキャンできればよい。上記で
は、左、上、右、右、下、下、左、左という渦巻き状の
動きを例にしたが、多少初めにむだはでるがジグザグ状
の動きとして例えば左、上、右、右、下、左、左、下、
右、右という順にスキャンすることも可能である。

【００１８】注目した元画像のデータを格納したトレイ
の近傍を画像データを順次移動させるために、トレイ間
を結ぶシフト手段は両方向性でなければならない。例え
ば、渦巻き状にデータを移動させるためには、注目した
画像データのトレイの上方ではデータは左方向に、下方
向ではデータは右へ移動する。また、１つの注目した画
素データを格納するトレイとその近くの注目した画素デ
ータを格納したトレイを考えた場合、両方のトレイの近
傍のトレイは両方の注目した画素のトレイに関して、逆
方向にデータを移動させることとなる。

【００１９】両方向性のシフト手段を双方向性の共通バ
スで構成してもよい。

【００２０】

【実施例】図５は本発明の第１の実施例の説明図であ
り、２次元空間フィルタを示している。図５乃至図７は
図２乃至図４で示したものと同一のものは同一の記号で
示してある。

【００２１】図８は本発明の第２の実施例の説明図であ
り、２次元空間フィルタを示している。図中、図８及び
図９は図２及び図３で示したものと同一のものは同一の
記号で示してある。第１の実施例との相違点は、トレイ
を接続して構成されるネットワークが、２次元トーラス
を構成していることである。また、それによって端点用
トレイが必ずしも必要ではなくなっている事である。図
１０は、２次元トーラスの構成に端点用トレイを設けた
ものである。

【００２２】図１１は、図４に示したステップと同様で
ある。図１２は本発明の第３の実施例の説明図であり、
２次元配列トレイで構成したニューロコンピュータを示
している。４は重みを記憶するメモリであり、そして６
はシグモイド関数をプロセッサの出力に適用するための
シグモイド関数手段である。図中、図１で示したものと
同一のものは同一の記号で示してある。

【００２３】図１３はニューロモデルを示すもので、Ｘ
１・・・Ｘｎは各トレイ上に記録されているデータを示
し、重みＷ１・・・Ｗｎは例えば注目した元画像データ
ｐに対応するマスクＭの係数に対応するものであり、デ
ータＸ１〜Ｘｎを渦巻き或いはジグザグ状に各トレイ上
で移動させてプロセッサにおいて重みデータＷ１・・・
Ｗｎと積和演算を行い、その結果を非線形型関数とし
て、例えばシグモイド関数を通して出力値として出力す
るものである。

【００２４】図１４は入力層において注目した元画像デ
ータｐに対応する座標ｘ，ｙの近傍の座標に記憶されて
いるデータＸ１乃至・・・Ｘ８を座標ｘ，ｙ点のトレイ
に接続されているプロセッサのレジスタにメモリ４から
事前に供給された重みデータＷ１・・・Ｗ８のそれぞれ
対応するものと積和演算を行い、その結果を中間層の座
標ｘ，ｙの注目した画像の点ｐに対応する位置の画像、
つまり座標ｘ，ｙの点に反映するようにしたものであ
る。その際、入力層の積和演算の結果にはシグモイド関
数がかけられて中間層の座標ｘ，ｙに対応するトレイ上
に反映されることになる。

【００２５】図１４において例えば入力層における各デ
ータＩ₁₁・・・Ｉ_n1、Ｉ_1n・・・；Ｉ_mnは図１２に示す
ようなトレイ₁₁・・・_m1；トレイ_1n・・・トレイ_mnにそ
れぞれ記憶さているものとする。そして中間層は入力層
を構成するトレイを時分割的に使用してもよいし、別の
トレイを用いてもよい。

【００２６】図１５は下記の通り、本実施例での２次元
近傍結合型ニューラルネットワークのシミュレーション
の処理ステップを示す。１．以下のステップを、データをずらす方向を左、上、
右、右、下、下、左、左と順に変えながら９回繰り返
す。

【００２７】1.1 各プロセッサは自分に接続されてい
るトレイ上のデータとマスク値との積を累積器に加え
る。 1.2 トレイ全体のデータを指定された方向にずらす。

【００２８】２．累積器上の総和にシグモイド関数を適
用する。図１５における処理において、図２と異なる点は第１層
のトレイ上に設けられたデータの積和に対してシグモイ
ド関数を適応して次の層のトレイ上にデータを転送する
点である。それ以外の点は図１及び図２に示したものと
全く同一である。ここで、第１層のトレイと第２層のト
レイとは同一のトレイであり、トレイのレジスタだけが
異なるように構成してもよい。

【００２９】図１６は本発明の第４の実施例の説明図で
あり、本発明の２次元配列トレイによって構成したニュ
ーロコンピュータを示している。図中、図１で示したも
のと同一のものは同一の記号で示してある。本実施例も
図１３に示したニューロンモデルに従う。

【００３０】図１７はニューロネットワークが入力層、
中間層及び出力層の複数層からなっている場合である。
この場合も図１４に示していると同様に入力層において
注目した元画素の点ｐの近傍のデータであって、それぞ
れのトレイ上にのっているデータは渦巻き状或いはジグ
ザグ状に転送されて注目した元画像の点ｐのトレイに集
められこのトレイに接続されたプロセッサにおいて積和
演算が行われ、その出力が中間層に転送される。次に、
中間層においてこのようにして得られた各データの近傍
演算を入力層におけると同様に行い、その近傍演算によ
って得られた積和の値を次の出力層の注目した画像デー
タに反映するものである。

【００３１】図１８は本実施例での複数の層からなる２
次元近傍結合型ニューラルネットワークのシミュレーシ
ョンの処理ステップである。１．以下のステップを、データをずらす方向を左、上、
右、右、下、下、左、左と順に変えながら９回繰り返
す。

【００３２】1.1 各プロセッサは自分に接続されてい
るトレイ上のデータとマスク値との積を累積器に加え
る。 1.2 トレイ全体のデータを指定された方向にずらす。

【００３３】２．累積器上の総和にシグモイド関数を適
用し、その結果を自分に接続されているトレイに書き込
む。３．以下のステップを、データをずらす方向を左、上、
右、右、下、下、左、左と順に変えながら９回繰り返
す。

【００３４】3.1 各プロセッサは自分に接続されてい
るトレイ上のデータとマスク値との積を累積器に加え
る。 3.2 トレイ全体のデータを指定された方向にずらす。

【００３５】４．累積器上の総和にシグモイド関数を適
用する。

【００３６】

【発明の効果】以上説明したように、本発明によればア
レイ状に配列されたトレイと各トレイ間のデータシフト
手段と各トレイに対応してアレイ状に設けられたプロセ
ッサとからなる並列データ処理システムにおいて、シフ
ト手段上のデータ転送とトレイとプロセッサ間のデータ
転送とプロセッサによるデータ処理とを同期して行うこ
とにより短い処理時間で空間フィルタ、あるいは人工ニ
ューラルネットワークのシミュレーションが実行でき、
係る画像処理あるいはニューロコンピュータの性能向上
に寄与するところが大きい。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】２次元空間フィルタリングを示す図（１）であ
る。

【図３】端点用トレイを設けた対応構成図である。

【図４】画像処理のステップを示す図である。

【図５】２次元空間フィルタリングを示す図（２）であ
る。

【図６】本発明の第１の実施例の構成図である。

【図７】本発明の第１の実施例の処理ステップを示す図
である。

【図８】２次元空間フィルタリングを示す図（３）であ
る。

【図９】本発明の第２の実施例の構成図（１）である。

【図１０】本発明の第２の実施例の構成図（２）であ
る。

【図１１】本発明の第２の実施例の処理ステップを示す
図である。

【図１２】本発明の第３の実施例の構成図である。

【図１３】本発明の第３の実施例のニューロンモデルを
示す図である。

【図１４】本発明の第３の実施例のニューラルネットワ
ークを示す図である。

【図１５】本発明の第３の実施例の処理ステップを示す
図である。

【図１６】本発明の第４の実施例の構成図である。

【図１７】本発明の第４の実施例のニューラルネットワ
ークを示す図である。

【図１８】本発明の第４の実施例の処理ステップを示す
図である。

【図１９】従来の並列プログラムシステムの構成図であ
る。

【図２０】従来の手法の処理ステップを示す図である。

【符号の説明】

１プロセッサ２トレイ３シフト手段４記憶手段５同期手段６シグモイド関数手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者大塚竜志神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】各々少なくとも一つの入力（１１）を持
つ複数個のプロセッサ（１）と、各々第１、第２の入力（２１，２２）及び第１、第２の
出力（３１，３２）を持ちかつ各々データ保持及びデー
タ転送を行う複数個のトレイ（２）であって、前記トレ
イ（２）の全部またはその一部が各々前記プロセッサ
（１）の第１の入力（１１）に接続された第５の出力
（４１）を有するものと、前記トレイ（２）の第１、第２の入力（２１，２２）及
び第１、第２の出力（３１，３２）が接続されて成る２
次元シフト手段（３）とを具備し、前記シフト手段（３）上のデータ転送と、前記トレイ
（２）と前記プロセッサ（１）間のデータ転送と、前記
プロセッサ（１）によるデータ処理とを同期して行うこ
とにより、空間フィルタ演算あるいはニューロコンピュ
ータ演算を行うことを特徴とする並列データ処理方式。
【請求項２】前記トレイ（２）が各々相互に接続され
た第３、第４の入力（２３，２４）及び第４、第５の出
力（３３，３４）を備えたことを特徴とする請求項１記
載の並列データ処理方式。
【請求項３】前記シフト手段は双方向シフト手段であ
ることを特徴とする請求項１記載の並列データ処理方
式。
【請求項４】前記双方向シフト手段を構成する前記各
トレイ（２）間のデータ転送路は入力と出力で共通に利
用されるバスであることを特徴とする請求項２記載の並
列データ処理方式。
【請求項５】前記トレイ（２）上のデータを前記双方
向シフト手段を用いてジグザグに移動させることを特徴
とする請求項２又は３記載の並列データ処理方式。
【請求項６】前記トレイ（２）上のデータを前記双方
向シフト手段を用いて渦巻状に移動させることを特徴と
する請求項２又は３記載の並列データ処理方式。
【請求項７】前記シフト手段の上、下、左、右の端部
に端点トレイを設けたことを特徴とする請求項１記載の
並列データ処理方式。
【請求項８】前記シフト手段（３）は上下および左右
の各両端が接続されてなる循環型シフトレジスタである
ことを特徴とする請求項１乃至５の何れか１つに記載の
並列データ処理方式。
【請求項９】前記循環型シフト手段の上、下、左、右
の循環の折り返し部に端点トレイを設けたことを特徴と
する並列データ処理方式。
【請求項１０】注目したトレイの近傍にあるトレイ内
の現在のデータを前記ジクザグあるいは渦巻きのルート
に沿って移動し、前記注目したトレイに接続されたプロ
セッサにおいて前記データと対応するマスクデータとに
より時分割積和演算の値を求めることを特徴とする請求
項５又は６記載の並列データ処理方式。
【請求項１１】前記注目したトレイ内の現在のデータ
を前記時分割積和演算の値により置き換えることを特徴
とする請求項９記載の並列データ処理方式。
【請求項１２】第１層と第２層を有する多層型ニュー
ラルネットワークにおいて各層は請求項１記載のプロセ
ッサとシフト手段とからなり、前記置き換えの際に非線
型関数を介して行うことにより第１層の注目したトレイ
の近傍の時分割積和演算の結果を第２層の注目したトレ
イ内のデータに置き換えることを特徴とする請求項１０
記載の並列データ処理方式。
【請求項１３】前記求められた時分割積和演算の値に
対してシグモイド演算を行うことを特徴とする請求項１
０記載の並列データ処理方式。