JPH03105582A - 並列データ処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　要〕 複数個のデータ処理ユニットを同期的に用いてデータを
処理する並列データ処理方式に関し、リングシストリッ
クアレイ方式や共通バス結合型Ｓ　Ｔ　Ｍ　Ｄ　（Ｓｉ
ｎｇｌｅ　Ｉｎｓｔｒｕｃｔｉｏｎ　Ｍｕｌｔｉ　Ｄａ
ｔａ　）結合方弐と同程度なハードウエア構戒で、デー
タ転送によるオーバヘッドを減少せしめ、特に、長方形
行列とベクトルとの積を求めるような処理に対しても、
本来の並列度を最大限利用できるようにして良好な台数
効果を得ることにより、帯行列演算あるいはニューロコ
ンピュータの部分結合ネットワークを用いる演算を行う
ことを目的とし、各々少なくとも一つの入力を持つ複数
個のデ−夕処理ユニットと、各々第１の入力及び出力を
持ちかつ各々データ保持及びデータ転送を行う複数個の
トレイであって、前記トレイの全部又はその一部が各々
前記データ処理ユニットの第１の入力に接続された第２
の出力を有するものと、前記接続するトレイの第１の入
力及び出力が接続されて成るシフト手段とを具備し、前
記シフト手段上のデータ転送と、前記トレイと前記デー
タ処理ユニット間のデータ転送と、前記データ処理ユニ
ットによるデータ処理とを同期して行うことにより、帯
行列演算あるいはニューロコンピュータの部分結合ネッ
トワークを用いる演算を行うように構或する。

〔産業上の利用分野〕

本発明は並列データ処理方式に係り、更に詳しくは、複
数個のデータ処理ユニットを同期的に用いてデータを処
理する並列データ処理方式に関する。

近年、電子計算機或いはデジタル信号処理装置等のシス
テムにおいて、データ処理の適用分野の拡大に伴い、処
理されるデータの量が膨大になり、特に画像処理或いは
音声処理等の分野では高速なデータ処理を行う必要があ
り、そのため、複数個のデータ処理ユニットを同期的に
用いてデータを処理するデータ処理の並列性の利用が重
要となる。

一般に、複数の処理ユニットを用いた処理において重要
な概念に台数効果がある。これは用意されたデータ処理
ユニットの台数に比例したデータ処理速度の向上が得ら
れることを意味するが、並列処理方式においては良好な
台数効果を得ることが非常に重要となる。

台数効果が悪化する主要な原因は、問題そのも７のの並
列度による限界を別にすれば、データ処理に伴うデータ
転送に要する時間が本来のデータ処理に要する時間に加
算されてトータルとしての処理時間が引き延ばされるこ
とにある。従って、台数効果の向上にはデータ伝送路の
容量をフルに活用することが有効であるが、これはなか
なか難しい。

しかし、処理が規則的な場合には、この規則性を利用し
て台数効果を上げることが可能となる。

データをシストリックアレイ、すなわち、巡回的にデー
タを流し、２つのデータがその流れにおいてそろったと
ころで演算を行うようにする。処理が規則的なことを利
用する並列処理がシストリツクアレイ方式であり、この
中でリングシストリンクアレイ方式と呼ばれる１次元の
シストリツクアレイ方式は、複数個のデータ処理ユニッ
トを同期的に用いてシストリックなデータを処理する並
列データ処理方式であって実現が比較的容易である．規
則性のある処理として、ベクトルの内積演算を基本とし
た行列演算や、ニューラルネットの積和演算に非線形関
数を介して出力する並列処理がある。

［従　来　の　技　術］ 第１１図（Ａ）は従来の共通バス結合型並列方式の原理
構成図である。同図において９１はプロセッサエレメン
ト、４はメモリ、９３は共通バス、９２は共通バスに接
続されるバス、９４は各プロセッサエレメントと、それ
に対応して接続されるメモリ４を接続する内部バスであ
る。この共通バス結合型並列方式においては、プロセッ
サエレメント（以下ＰＥと称す）間の通信が共通バス９
３を介して行われる。特定な時間区域には共通バスに乗
せるデータは１つであるため、共通バスによる通信は共
通バス全体にわたって同期をとる必要がある。

第１１図（Ｂ）はこの共通バス結合型並列方式による行
列ベクトル積の動作フローチャートである。各ＰＥは他
のＰＥからのデータＸと内部レジスタのＹとをかけ、そ
の積をＹに足しこむ動作を行う。そのためフローチャー
トに示すように、ｉ番目のＰＥに関して、その内部にあ
るレジスタの内容、すなわち、Ｙｌの値をまずＯにする
。そして以下をｎ回繰り返す。すなわち、共通バス９３
にＸ，を与えるとｉ番目のＰＥは共通パスに接続された
バス９２からの入力とメモリ４から内部バス９４を介し
て与えられる人力を掛け合わせ、その積をＹｉに足し込
む。これを繰り返す。

第１２図（Ａ）は従来のリングシストリック方式の原理
説明図である。同図において２０はプロセッサエレメン
ト（ＰＥ）である。各ＰＥは巡回バス２２によって接続
されている。また、２１は係数Ｗｉｊを格納するメモリ
である。Ｗ，，，Ｗ，２，・・・，Ｗ３３などは係数行
列の要素であり、一ｉにＷ．ｊは行列のｉｊ成分である
。この係数行列Ｗと、ヘクトルＸ＝（Ｘ＋　．Ｘ２　，
Ｘ３　）を掛ける動作をこのリングシストリック方式で
行う場合、次のようにして行われる。

第１２図（Ｂ）はプロセッサエレメントの第ｉ番目の内
部構造である。同図において２３は乗算器、２４は加算
器、２５はアキュムレータ（ＡＣＣ）、２１は係数の要
素ＷｉＪを格納するレジスタ群である。このレジスタ群
はいわゆるＦＩＦ○であって、係数行列の第ｉ行目に関
する係数としてＷ，」、すなわちｊ番目の列の要素が出
力されようとしている状態である。このＦＩＦＯは出力
された次のクロックでは巡回し、バス２２を介して後ろ
側からまた入力される。従って図に示すように、Ｗｌ＋
，　　・・・＋　　Ｗｉ　ｊ−１　はすでに巡回されて
後側に格納されている状態となっている。

一方、ベクトルの各要素はバス２２を介して人力される
。現在、要素Ｘｊが人力されている状態である。すでに
アキュムレータ２５にはＷ目×Ｘ１＋・・・＋ｗ，　Ｊ
−＋　ＸＸ，−，の内積結果が格納されている。これが
今アキュムレータ２５から出力され、加算器２４の一方
の入力に人力されている。

外部からのＸ，とＦＩＦＯから出力されるＷ１の積が乗
算器２３によって乗算され、その結果が加算器２４の他
方の人力に入力され、現在のアキュムレータ２５の内容
とが加えられ、次のクロックで同じアキュムレータ２５
に加算される。この繰り返しによって、係数行列Ｗの第
ｉ行目の行ベクトルと外部から与えらるＸベクトルとの
内積演算がＷ行される。なお、スイッチ（Ｓｗｉｔｃｈ
）はデータＸｉをスルーに外部に出すか、あるいは内部
に取り込み、アキュムレータ２５にセットする場合との
選択を行うためのものである。このようなＰＥ？、行列
×ベクトルの積を行う場合、第１２図（Ａ）に示すよう
に、ＰＥ−１はまず、Ｗ１Ｉとχ１を掛け、次のクロッ
ク周期に、Ｘ２が右側のＰＥ２から流れ込み、Ｗ１２が
メモリ２１から出力されるので、Ｗ　１　２　Ｘ　Ｘ　
ｚが演算される。同様に次のクロックではＷ＋３とＸ３
との積が実行され、このことにより係数行列の第１列目
とベクトル八との積がｐＥＬｌにおいて可能となる。ま
た、第２列目とベクトルとの積はＰＥ−２において行わ
れる．すなわち、Ｗ２■とＸ２を掛け、次のクロツク周
期に、Ｗ２３とＸ３を掛け、次のクロツク周期において
Ｗ２１と巡回的にもどってきたＸ１との積を行うことに
なる。同様に、第３行目とベクトルとの積はＷ３３とＸ
３を掛け、Ｗ］ｌと巡回してくるＸ１とを掛け、Ｗ３２
と巡回して戻ってくるＸ２との積をとって内積演算を実
行することによって可能となる。従って、この動作にお
いて、ＷｌｌとＸ１との積、及びＷ２■とＸ２、Ｗ３３
とＸ３との積は同時に行えることになる。しかし、図に
示すように、この同時性を実行するためには係数行列の
要素の並べ方にねじれが生じている。このようなリング
シストリックアレイ方式においては、各ＰＥ間のデータ
転送と、各ＰＥでのデータ処理を同期して実行すること
で、データ転送路を有効に利用でき、従って良好な台数
効果を得ることができる。

第１２図（Ｃ）は、第１２図（Ａ）のリングシストリッ
ク方式の構成を多段に組み合わせたのもであり、この構
成により、連続する行列とベクトルの積を行うことが可
能となる。このようなシストリックアレイ方式は処理が
規則的であるため、データ伝送路の容量をフルに活用す
ることが可能であり、従って台数効果の向上が計れる。

［発明が解決しようとする課題］ 第１１図（Ａ）のような従来の共通バス結合の並列方式
においては、プロセンシングエレメント、すなわちＰＥ
間の結合が共通ハスによっているため、一時には１つの
データしか転送できない。また、共通バスによる結合は
共通バス全体にわたる同期をとらなければならない。し
たがって、従来の共通バス結合型並列方式においては良
好な台数効果を得られる処理の種類が少ないという問題
が生し、さらに共通バスによる結合は、結合されるＰＥ
の個数の増加とともに共通バスが長くなり、共通バス全
体にわたる同期をとるのが難しくなるという問題、そし
て、大規模並列には適さないという問題が生じていた。

また、第１２図のような従来のリングシストリックアレ
イ方式においては、各ＰＥ間のデータ転送とＰＥでのデ
ータ処理を同期して実行することにより、台数効果を得
ることができるが、この方式では、各ＰＥ間でのデータ
転送と、各ＰＥ間でのデータ処理のタイ逅ングを合わせ
ねばならない。また、この方式では、たとえば長方形の
行列とベクトルとの積を求める場合などのようにデータ
処理ユニットとデータ保持ユニットのそれぞれの最適な
個数が等しくない場合には、実際のデータ処理に係わら
ないＰＥが必要となり、すなわち、遊ぶＰＥが多くなり
、そのため台数効果が悪化するという問題がある。言い
換えれば、効率よくとける問題と回路構成とが固く対応
し、問題の大きさが最適な値と異なると台数効果が悪化
してしまう。逆にいうと、良好な台数効果が得られる問
題が特定されてしまい、広範な処理に適用できず、柔軟
性、あるいは汎用性に欠け、結果として、ある程度広い
範囲の処理に適用できる高速なデータ処理系を実現する
ことが困難となる。

本発明は、リングシストリックアレイ方式や共通バス結
合型Ｓ　Ｔ　Ｍ　Ｄ　（Ｓｉｎｇｌｅ　Ｉｎｓｔｒｕｃ
ｔｉｏｎ　ＭｕｌｔｉＤａｔａ）結合方弐と同程度なハ
ードウエア構成で、データ転送によるオーバヘッドを減
少せしめ、特に、長方形行列とベクトルとの積を求める
ような処理に対しても、本来の並列度を最大限利用でき
るようにして良好な台数効果を得ることにより、帯行列
演算あるいはニューロコンピュータの部分結合ネットワ
ークを用いる演算を行うことを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理説明図である。同図においてｌは
データ処理ユニット、２はデータの保持及び転送を行う
トレイ、３は各トレイの相互接続により構成されるシフ
トレジスタ、１１はデータ処理ユニットの第１の入力、
１２はデータ処理ユニットの第２の入力、２１はトレイ
の第１の人力、２２はトレイの第１の出力、２３はトレ
イ２の第２の出力である。

データ処理ユニットｌはデータの処理を行い、トレイ２
は転送の動作を行うものでシフトレジスタ３を構成して
、データの巡回シフトを行う。本発明では、ｍｘｎ行列
Ａと要素数のベクトルＸとの積を求める場合、行列八の
行数ｍが列数ｎより小さい場合であっても、或いはｍが
ｎより大きい場合であっても、ｍ個のデータ処理ユニッ
トとｎ個のトレイを用いてｎに比例する処理時間でその
積が実行可能となり、従って、良好な台数効果を得るこ
とができる。すなわち、第１図（Ａ）に示すように、そ
れぞれ２つの入力を持ち、その人力間の乗算機能とその
乗算結果の累積機能、すなわち内積演算を実行するｍ個
のデータ処理ユニ・ノトｌと、ｎ個のトレイ２とからな
る構成において、ユニット内の累積レジスタをＹとした
場合に、データ処理ユニットは１１からの入力と１２か
らの人力を掛け合わせ、積を累積Ｙに足し込み、その後
、シフトレジスタ３内の隣接するトレイ間でベクトル真
の要素をシフトする。この動作をｎ回繰り返すことによ
り、ｍＸｎの行列Ａと、ｎ次元ベクトルとの乗算がｍ個
のデータ処理ユニットを用いてｎに比例する処理時間で
実行可能となる。すなわち、本発明は、従来方式と異な
り、データ処理ユニット１とデータ保持機能を有するト
レイ２とを分離することにより、それぞれｍとｎが異な
っている場合であっても、タイミングを合わせるための
処理を必要とせずに良好な台数効果を得ることが可能と
なる。さらに、本発明では、トレイ２間のデータ転送と
データ処理ユニット１によるデータ処理とを同時並行的
に行い、一般的にはデータ処理ユニットがデータ処理に
有する時間よりもデータ転送時間を短くすることが期待
できるので、データ転送時間をデータ処理時間の影に隠
すことで実質的にＯにし、そのことにより、処理時間を
短縮することが可能となっている。このことにより、帯
行列演算あるいはニューロコンピュータの部分結合ネッ
トワークを用いる演算を行う。

〔作　　　用〕

データ処理ユニットと、データ保持機能を有するトレイ
とを分離することにより、データ処理ユニットの個数ｍ
とトレイの個数ｎとが同一の場合も違っている場合も、
ｎＸｍの行列八と要素数ｎのベクトルＸとの積を、デー
タ転送と、データ処理の同時並列処理により行うことが
できる。

〔実　　施　　例〕

以下、本発明の実施例を図面を参照して説明する。

第１図（Ｂ）は第１図（Ａ）の本発明の原理構成図のシ
ステムの動作フローチャートである。第１図（Ａ）に示
されるように本発明ではデータ処理ユニット１とデータ
保持機能を有するトレイ２？を分離し、さらにトレイを
隣接間で接続し、巡回接続することによってシストリッ
クなシステムを構成している。データ処理ユニットの数
をｎ、トレイの数をｍとした場合に、ｍｘｎの行列Ａと
要素数ｎのベクトル兄との積を求める場合、第１図（Ｂ
）のフローチャートに示される動作となる。

Ｘ■をトレイ２のｉ番目にセットする。Ｙ１の値をＯに
する。すなわちデータ処理ユニットのｉ番目のユニット
における累積レジスタの値を初期化する。ｉ番目の処理
ユニットｈはＬＬからの入力と、１２ｉの入力を掛け合
わせて、積を累積器Ｙｌ　に足し込む。そしてシフトレ
ジスタ３をシフトする。この内積とシフト動作をｎ回繰
り返す。

この処理において長方行列Ａとベクトル九との積が形成
される。この場合、トレイ間のデータ転送とデータ処理
ユニットにおけるデータ処理とは同時並行処理となる。

第１図（Ｃ）は本発明方式の動作概念図である。

同図においてトレイ２内のデータＸ１からＸｎはベクト
ル鬼の要素でその個数はｎであるとする。

？たデータ処理ユニットはｍ個あり、その各々に累積器
がＹ＋　，Ｙｚ　．　　・・・　ｙ．がある。ｍ×ｎの
長方行列の要素はＡ．からＡ一までのｍ　Ｘ　ｎ個存在
する。データ処理ユニットの１１には係数行列の第１行
目であるＡ１１，　　Ａ１２，　　・・・＋ＡＩｎが同
期的に１２１の入力バスから入力される。またデータ処
理ユニット１■はＡ　２２＋　　Ａ　２３＋　　・・・
Ａ　２　１がシストリック動作の各タイξングで順番に
与えられる。また、データ処理ユニット１．にはＡｍＴ
ａ＋Ａ＠ｍ。１，・・・，Ａ１■一，が同期的に与えら
れる。

第１図（Ｄ）は第１図（Ｃ）の動作のタイミングチャー
トである。時間Ｔ１からＴｎの動作は第１図（Ｃ）のそ
れぞれの図と第１図（Ｄ）の時間Ｔ＋　，Ｔｚ　，　　
・・・，Ｔ，，とが対応している。時間タイミングＴ１
においては第１図（Ｃ）に示されるようにトレイの２１
．２２，　　・・・，２ｎにはｘ，，Ｘ２，ＸＴ１＋　
　・−−，χ０があり、ユニッ｝１１，１２，　　・・
・，ｌｍにはそれぞれ係数行列の要素Ａｌｌ，　Ａ２２
．　　・・・Ａ−が入力されて？る。従って、このタイ
ミングにおいてデータ処理ユニットはＡ　■とトレイ２
１のデータＸ１との積を求め、データ処理ユニットに対
応するトレイ２２にあるＸ２と、メモリから与えられる
Ａ２２との積を求め、同様に、トレイ２ｍにおいてはＡ
，ｌ．とＸ．の積を求める。このタイミングは第１図（
Ｄ）のＴ，のタイミングで行われている。すなわち積和
を求める同期クロックにおいて、バス１１、にはＸ１が
あり、バス１２＋にはＡ　１　１があり、バス１１２に
はＸ２、１２■にはＡ２■、１１３にはＸ：ｌ、１２３
にはＡ３３があり、１ｌｌＩにはＸｌ，，、１２，には
Ａ　Ｉａｌｌがのっている。従って、第１図（Ｃ）のＴ
１タイムにおける図に示すように内積演算が行われる。

累積器Ｙの値はこの時は０であるから内積結果はＯに掛
けた値が加わることになる。積和演算が終わるとシフト
動作に入る。すなわち第１図（Ｄ）に示されるようにＴ
ＩとＴ２との間がシフト動作であり、隣接するトレイ間
でデータのシフトが行われる。すなわち左シフトがこの
場合行われる。すると第１図（Ｃ）のタイミン？Ｔ２に
移る。第１図（Ｄ）の動作タイミングでも同様にＴ２の
積和の時間区域となる。するとシフトされているからト
レイ２ユにはＸ２、トレイ２■にばＸ３、そしてトレイ
２ｍにはＸ　＠　＋　１が格納され、また、係数行列の
要素もトレイ１，２，・・−，ｍにはそれぞれＡ　Ｉｚ
　，　Ａ　２　３　１　Ａ　ｔ＊　ｓ　＊　＋が入力さ
れる。これは第１図（Ｄ）のＴ２のタイξングにおいて
もバス上のデータがそれぞれ示されている。従って、Ｔ
２のタイミングにおいて、Ａ，２とＸ２との積をとり、
前の累積器Ｙとの和が求められる。従ってユニット１１
においてはＴＩにおいて求まったＡ　１　１とＸｌとの
積とＴ２において求められるＡＩ２とＸ２との積との和
が求められその結果が累積器に格納される。同様にユニ
ット１２においては前の結果であるＡ　２　２　Ｘ　Ｘ
　ｚ　十Ａ　ｚ　３　Ｘ　Ｘ　３の結果が累積器に格納
される。ユニット１，ｌｌに対しても同様である。そし
てまたシフトし、タイξングＴ３に移る。トレイ１には
Ｘ３、トレイ２にはＸ４、トレイｍにはＸｓ＋ｗや２、
トレイｎにはＸ２が入り、第１図（Ｃ）のＴ３時間にお
ける図に示されるような内積演算が実行される。

第１図（Ｄ）の動作タイミングの時間区域Ｔ３において
は、データ処理ユニットに入るべき入力の記号が示され
ている。このような演算が進み、時間区域Ｔｎまで行う
と、第１図（Ｃ）の時間区域Ｔ，，に示されるようにＡ
ＩｎＸＸ，は前の累積器との値に加えられると、トレイ
２１においては、Ｔ，で求メｔ．＝　Ａ　Ｉ　Ｉ　Ｘ　
Ｘ　＋　、Ｔ　２　ニオケるＡ，２ｘＸ２、７’３で求
めたＡ　Ｈ　３　Ｘ　Ｘ　３等の積の和が求まり、Ｔｎ
−Ｉまでの内積結果が累算器Ｙに格納されているので、
その結果にＡＩ，ｌｘＸｎが加わって行列Ａの１行目と
ベクトル鬼との内積が実行される。トレイ２においては
同様に、行列八の２行目の行ベクトルとベクトルＸとの
内積演算がｎクロック周期で行われ、同様にｍ行目の行
ベクトルと、ベクトル八〇内積がデータ処理ユニット１
．で実行される。従って、このような時系列で処理を行
うことによって、ｍＸｎの長方行列とｎ次元ベクトルと
の乗算がｍ個のデータ処理ユニットを用いてｎに比例す
る処理時間で実行可能となる。従って、良好な台数効果
を得ることが可能となる。ここで重要なことは、データ
を処理するデータ処理ユニットと、データ保持機能を有
するトレイとを分離し、それぞれの個数を長方行列の行
と列に対応させ、それらの次元が異なっていても、時系
列動作が同期的に可能となっている点である。なおｎが
ｍよりも小さい場合でもｍ個のトレイ２を用いることで
処理時間は延びるが、すなわちｍに比例するが、台数効
果的な処理が可能となる。

第２図（Ａ）は第１図の構成の詳細ブロック図であり、
ｍＸｎ　（ｎ≧ｍ≧１）の行列Ａと要素数ｎのベクトル
九の積ｙ（要素数ｍ）を求めるものである。同図におい
て、第１図で示したものと同一のものは同一の記号で示
してあり、１ａはデータ処理ユニット１の処理装置であ
り、例えばデジタルシグナルプロセッサで構成され、２
ａはトレイ２のデータ保持回路であり、例えばラッチ回
路で構成され、２ｂはトレイ２のデータ転送回路であり
、例えばバスドライバで構成され、２Ｃはトレイ２の制
御手段であり、例えば論理回路で構戒され、４はデータ
処理ユニットｌにデータを供給する手段の一部であると
同時にデータ処理ユニット１を制御する手段の一部であ
る記憶装置であり、例えばＲＡＭ（ランダムアクセスメ
モリ）で構成され、５はデータ処理ユニット１とトレイ
２の同期動作を行う手段であり、５ａはクロック発生回
路であり、例えば水晶発振回路で構成され、５ｂはクロ
ック分配回路であり、例えばバッファ回路から構成され
る。

本実施例の動作は本発明の原理図で説明した動作とほぼ
同じである。

第２図（Ｂ）は第２図（Ａ）の本発明のシステムの動作
フローチャートである。第２図（Ａ）に示されるように
本発明ではデータ処理ユニット１とデータ保持機能を有
するトレイ２とを分離し、さらにトレイを隣接間で接続
し、巡回接続することによってシストリックなシステム
を構成している。データ処理ユニットの数をｍ、トレイ
の数をｎとした場合に、ｍＸｎの行列Ａと要素数ｍのベ
クトルＸとの積を求める場合、第４図（Ｂ）のフローチ
ャートに示される動作となる。Ｘｉをトレイ２ｉにセッ
トする。Ｙ４の値をＯにする。すなわちデータ処理ユニ
ットのｉ番目のユニットにおける累積レジスタの値を初
期化する。ｉ番目の処理ユニットをｈは１１＋からの入
力と、１２＋の入力を掛け合わせて、積を累算器Ｙｉに
足し込む。そしてシフトレジスタ３をシフトする。この
内積とシフト動作をｎ回繰り返す。この処理において長
方行列Δとベクトルムとの積が形威される．この場合、
トレイ間のデータ転送とデータ処理ユニットにおけるデ
ータ処理とは同時並行処理となる。

第２図（Ｃ）は本発明方式の動作概念図である．同図に
おいてトレイ２内のデータＸ１からＸｎはベクトル八の
要素でその個数はｎであるとする。

またデータ処理ユニットはｍ個あり、その各々に累積器
がＹ，，￥２，　　・・・，Ｙ１がある。ｍ×ｎの長方
行列の要素はＡ　目からＡ　ｌｌＩｎまでのｍＸｎ個存
在する。データ処理ユニットのＩＩには係数行列の第１
行目であるＡ１１、Ａ１２．・・・，ＡＨ。

が同期的に１２．０入カバスから入力される。またデー
タ処理ユニット１２はＡｚｚ、Ａ２３．・・・Ａ　２　
１がシストリック動作の各タイミングで順番に与えられ
る。また、データ処理ユニット１、にはＡ．，Ａヨ．，
，・・・＋　Ａｌｌｌ　ｍ−１が同期的に与えられる。

第２図（Ｄ）は第２図（Ｃ）の動作のタイミングチャー
トである。時間Ｔ＋からＴ。の動作は第１図（Ｃ）のそ
れぞれの図と第１図（Ｄ）の時間Ｔ．，Ｔ２，　　・・
・＋　Ｔｌ’ｌとが対応している。時間タイミングＴ，
においては．第２図（Ｃ）に示されるように、トレイ２
１，２２，　　・・・，２ｎにはＸＩ，Ｘ２．ＸＩＩＩ
＋　　・・・＋Ｘｆ１があり、ユニット１１，１２，　
　・・・，Ｉｍにはそれぞれ係数行列の要素Ａ　ＩＩ＋
　ＡＺ２＋　Ａｓｓが人力されている。

従って、このタイミングにおいてデータ処理ユニット１
１のＡＩ＋とトレイ２１のデータＸ，との積を求め、デ
ータ処理ユニット１２においてはトレイ２２にあるＸｚ
と、メモリから与えられるＡ２２との積を求め、同様に
、トレイｍにおいてはＡ。

？Ｘ．の積を求める。このタイミングは第２図（Ｄ）の
Ｔ１のタイξングで行われている。すなわち積和を求め
る同期クロックにおいて、バスｌｈにはＸ１があり、バ
ス１２．にはＡ．があり、バス１１■にはＸ２、１２２
にはＡ２２、１１３にはＸ３、１２３にはＡ３３があり
、１１，，，にはＸＩＩｌ１１２。にはＡ■がのってい
る。従って、第２図（Ｃ）のＴ，タイムにおける図に示
すように内積演算が行われる。累積器Ｙの値はこの時は
０であるから内積結果はＯに掛けた値が加わることにな
る。積和演算が終わるとシフト動作に入る。すなわち第
２図（Ｄ）の図に示されるようにＴ１とＴ２との間がシ
フト動作であり、トレイの隣接するトレイ間でデータの
シフトが行われる。すなわち左シフトがこの場合行われ
る。すると第２図（Ｃ）のタイミングＴ２に移る。第２
図（Ｄ）の動作タイξングでも同様にＴ２の積和の時間
区域となる。

するとシフトされているからトレイ２１にはＸ２、トレ
イ２２にはＸ３、そしてトレイし２ｍにはｘ．Ｉが格納
され、また、係数行列の要素もトレイ２１，？２，＝，
２ｍにはそれぞれＡ　Ｉ　２　，　Ａ　２　３　，　Ａ
　ｆｆｌｍ＋１が入力される。これは第２図（Ｄ）のＴ
２のタイ旦ングにおいてもバス上のデータがそれぞれ示
されている。従って、Ｔ２のタイミングにおいて、Ａ　
Ｉ　２とｘ２との積をとり、前の累積器Ｙとの和が求め
られる。従って、ユニット１１においてはＴ１において
求まったＡ■とＸＩとの積とＴ２において求められるＡ
　ｌ２とＸ２との積との和が求められ、その結果が累積
器に格納される。同様にユニット１２においては前の結
果であるＡ２２ＸＸ２＋Ａ２３ＸＸ，の結果が累積器に
格納される。ユニット１ｌＩに対しても同様である。そ
してまたシフトし、タイミングＴ３に移る。トレイ２１
にはＸ３、トレイ２２にはＸ４、トレイ２ｍにはＸ■２
、トレイ２ｎにはＸ２が入り、第２図（Ｃ）のＴ３時間
における図に示されるような内積演算が実行される。

第２図（Ｄ）の動作タイミングにおいての時間区域Ｔ３
においては、データ処理ユニノトに入るべき人力の記号
が示されている。このような演算が進み、時間区域Ｔ１
まで行うと第２図（Ｃ）の時間区域Ｔ１に示されるよう
にＡｌｔ＋Ｘ　Ｘｎは前の累積器との値に加えられると
、トレイ１においてはＴ，で求めたＡ，，ｘｘ，　、Ｔ
ｚにおけるＡ　１　２　ＸＸ２、Ｔ３で求めたＡ　１　
３　Ｘ　Ｘ　３等の積の和が求まり、Ｔｎ−＋までの内
積結果が累積器Ｙに格納されているので、その結果にＡ
Ｉ，ｌｘＸｎが加わって行列八のｌ行目とベクトル系と
の内積が実行される。

トレイ２においては同様に、行列八の２行目の行ベクト
ルとベクトルＸとの内積演算がｎクロック周期で行われ
、同様にｍ行目の行ベクトルと、ベクトル＊の内積がデ
ータ処理ユニット１１で実行される。従って、このよう
な時系列で処理を行うことによってｍＸｎの長方行列と
ｎ次元ベクトルとの乗算がｍ個のデータ処理ユニットを
用いてｎに比例する処理時間で実行可能となる。従って
、良好な台数効果を得ることが可能となる。

第３図は、本発明の第２の実施例説明図である。

ｍｘｎの行列Ａと要素数ｎのベクトル木との積に対し、
引き続きｋＸｍの行列Ｂを左から掛ける場合の動作に対
するシストリック方式の構成図である。第３図（Ａ）に
おいて第１図で示したものと同一のものは同一の記号で
示してある。すなわち１ａはデータ処理ユニット１の処
理装置であり、例えばデジタルシグナルプロセッサであ
る。２ａはトレイ２のデータ保持回路であり、例えばラ
ッチ回路で構成され、２ｂはトレイ２のデータ転送回路
であり、例えばバスドライバで構戊され、２Ｃはトレイ
２の制御手段であり、例えば論理回路で構成されている
。４はデータ処理ユニット１にデータを供給する手段の
一部であると同時にデータ処理ユニット１を制御する手
段の一部でもある記憶装置であって、例えばＲＡＭ　（
ランダムアクセスメモリ）で構或されている。５はデー
タ処理ユニットｌとトレイ２の同期動作を行う手段であ
り、内部の５ａは、クロック発生回路で、例えば、水晶
発振回路で構成され、５ｂはクロック分配回路であり、
例えば、バッファ回路から構成される。

６はシストリック的に戻るデータとトレイに人力する場
合のデータと外部データとの選択を行う選択回路で、７
はシストリックされるデータを途中からバイパスする選
択回路である。

本実施例は、中間結果Ａｘを求めるところまでは第１の
実施例と全く同一であり、各データ処理ユニット中にそ
の中間結果Ａｘの各要素が求まっている状態から （ａ）中間結果をトレイ２に書き込み、０））バイパス
の選択回路７をオンさせて、シフトレジスタの長さをｍ
に変更し、 （Ｃ）以後は本発明の第１の実施例において、行列Ａを
行列６に、そして、ｎｅｍに、ｍをｋにそれぞれ変更す
ればまったく同じ動作となる。

第３図（Ｂ）は第２の実施例の動作フローチャート、第
３図（Ｃ）は第２の実施例の動作概要図、第３図（Ｄ）
は第２の実施例の動作タイムチャートである。

まず、ｍＸｎの行列Ａと要素数ｎのベクトル光との積、
そして、ｋＸｍの行列Ｂを左から掛ける場合、第３図（
Ｂ）のフローチャートに示される動作となる。ＸＩをト
レイ２ｉにセットする。Ｙ，？値を０にする。すなわち
データ処理ユニットのｉ番目のユニットにおける累積レ
ジスタの値を初期化する。ｉ番目の処理ユニット１ｉは
Ｉｆｔからの人力と、１２■の人力を掛け合わせて、積
を累積器Ｙｉに足し込む。そしてシフトレジスタ３をシ
フトする。この内積とシフト動作をｎ回繰り返す。この
処理において長方行列Ａとベクトル六との積が形威され
る。

次に、シフトレジスタの長さをｍに変更し、Ｙ，をトレ
イ２ｌに転送する。そして、Ｚｔ（ｉ＝１，・・・，ｋ
）を０にする。次にＢ行列を掛けるために、まず、ｉ番
目の処理ユニッ｝Ｉｌとｌｌｉからの入力と１２，の入
力を掛け合わせて、積を累積器Ｚｉに足し込む。そして
、シフトレジスタ３をシフトするこの内積とシフト動作
をｋ回繰り返す。

第３図（Ｃ）は以上の動作概念図である。同図において
トレイ２内のデータＸ１からＸ０はベクトルＸの要素で
その個数はまず、ｎであるとする。

またデータ処理ユニットは最初は、ｍ個が有効で、？の
各々に累積器がＹｌ　，　Ｙ２　，　　・・・　Ｙ．が
あるとする。まず、ｍＸｎの長方行列Ａの要素はＡ．か
らＡ．。までのｍＸｎ個存在する。データ処理ユニット
のｈには係数行列の第１行目であるＡＩｌ＋　ＡＩ２，
”　’　＋　Ａｌｎが同期的に１２＋の入カバスから入
力される。またデータ処理ユニット１■はＡ２■）　Ａ
２３＋　　・・・，　Ａ２■がシストリック動作の各タ
イミングで順番に与えられる。また、データ処理ユニッ
ト１．にはＡ＠ｆｆｉ，Ａ＋＠＠。１，・・Ａｍ■１が
同期的に与えられる。

第３図（Ｄ）は第３図（Ｃ）の動作のタイξングチャー
トである。時間Ｔ１からＴｎの動作は第３図（Ｃ）のそ
れぞれの図と第３図（Ｄ）の時間ＴＩ　，　Ｔ２　，　
　・・・．Ｔｎとが対応している。時間タイ≧ングＴ１
においては、第３図（Ｃ）に示されるように、トレイの
１．２，・・・，ｎにはＸ＋　，Ｘ２，　　・・＋，Ｘ
ｋ，　　・・・，Ｘｎがあり、ユニットｌ．２，・・・
，ｋ，・・・．ｍにはそれぞれ係数行列の要素Ａ　＋　
＋　，　Ａ　２　ｚ　＋　　・・・，Ａｋｋ・・・，Ａ
一が入力されている。従って、このタ？ミングにおいて
データ処理ユニットは、トレイ１において、Ａ．とトレ
イ１のデータＸ１との積を求め、データ処理ユニット２
においてはトレイ２にあるｘ２と、メモリから与えられ
るＡｚ２との積を求め、同様に、トレイｋにおいてはＡ
ｋｋとＸ，の積を求め、トレイｍにおいて、Ａ．とＸ１
の積を求める。このタイごングは第３図（Ｄ）のＴ，の
タイ呆ングで行われている。すなわち積和を求める同期
クロックにおいて、バス１１＋にはＸ１があり、バス１
２＋にはＡ■があり、バスｌｌｚにはＸ２、１２２には
Ａ２２、ｌｌｂにはＸｋ，１２ｋにはＡ，ｋがあり、１
１，，ｌにはＸ．、ｌ２■にはＡ■がのっている。従っ
て、第３図（Ｃ）のＴ＋タイムにおける図に示すように
、内積演算が行われる。累積器Ｙの値はこの時はＯであ
るから内積結果はＯに掛けた値が加わることになる。積
和演算が終わるとシフト動作に入る。すなわち第３図（
Ｄ）の図に示されるように、Ｔ１とＴ２との間がシフト
動作であり、トレイの隣接するトレイ間でデータのシフ
トが行われる。すなわち左シフト？この場合行われる。

すると第３図（Ｃ）のタイミングＴ２に移る。第３図（
Ｄ）の動作タイくングでも同様にＴ２の積和の時間区域
となる。するとシフトされているからトレイ１にはＸ２
、トレイ２にはＸ３、トレイｋにはＸｋや！、そしてト
レイｍにはＸ　ｍ＋１が格納され、また、係数行列の要
素もトレイｌ，２，・・・，ｋ，・・・，ｍにはそれぞ
れＡＩ■＋　Ａ２３＋　　・・・Ａｋｌ１＋１　＋　　
・・・．八〇■ｌが人力される。これは第３図（Ｄ）の
Ｔ２のタイミングにおいてもバス上のデータがそれぞれ
示されている。従ってＴ２のタイミングにおいて、Ａ　
１２とＸ２との積をとり、前の累積器Ｙとの和が求めら
れる。従ってトレイ１においては１１において求まった
Ａ．とＸ，との積とＴ２において求められるＡ　Ｉ　２
とＸ２との積との和が求められその結果が累積器に格納
される。同様にトレイ２においては前の結果であるＡ２
２Ｘ　Ｘ２　＋Ａ２３Ｘ　Ｘ３の結果が累積器に格納さ
れる。トレイｋやｍに対しても同様である。そしてまた
シフトし、タイミングＴ３に移る。トレイ１にはＸ３、
トレイ２にはＸ４、トレイｋにはＸｋｋ＋２、トレイｍ
にはＸＩＩ１。２、トレイｎにはＸ２が入り、第３図（
Ｃ）のＴ３時間における図に示されるような内積演算が
実行される。

このような演算が進み、時間区域Ｔｎまで行うと第３図
（Ｃ）の時間区域Ｔ．に示されるようにＡ　＋　ｎ　Ｘ
　Ｘ　（＠が前の累積器との値に加えられるとトレイ１
においてはＴ．で求めたＡｚＸＸ＋　，ＴｚにおけるＡ
Ｉ２×Ｘ２、Ｔｋで求めたＡ＋ｋＸＸｋ等の積の和が求
まり、’ｒｎ−＋　までの内積結果が累積器Ｙに格納さ
れているので、その結果にＡＩｎＸＸ，が加わって行列
Ａの１行目とベクトル魚との内積が実行される。トレイ
２においては同様に行列Ａの２行目の行ベクトルとベク
トル六との内積演算がｎクロック周期で行われ、同様に
ｋ行目の行ベクトルと、ベクトル九〇内積がデータ処理
ユニットｌｋで実行される。

データ処理ユニットの有効数をｋ、トレイの有効数をｍ
とした場合に、ｋＸｍの行列Ｂと要素数ｍのベクトルｙ
との積を求める動作となる。Ｙ，？トレイ２の１■にセ
ットする。Ｚ１の値をＯにする。すなわちデータ処理ユ
ニットのｉ番目のユニットにおける累積レジスタの値を
初期化する。

ｉ番目の処理ユニットｈは１ｈからの人力と、１２．の
人力を掛け合わせて、積を累積器ｚ１に足し込む。そし
てシフトレジスタ３をシフトする。

この内積とシフト動作をｍ回繰り返す。この処理におい
て長方行列Ｂとベクトルｙとの積が形威される。

第３図（Ｃ）においてトレイ２内のデータＹ＋からＹ１
はベクトルｙの要素でその個数はｍであるとする。また
データ処理ユニットの有効数はｋ個あり、その各々に累
積器がＺ＋　，Ｚｚ　，　　・・・Ｚｋがある。ｋＸｍ
の長方行列Ｂの要素はＢｌ１からＢｋ．までのｋＸｍ個
存在する。データ処理ユニットの１１には係数行列Ｂの
第１行目であるＢｌｌ、Ｂ　１２１　　・・・，Ｂ１１
が同期的に１２＋　の人カバスから人力される。またデ
ータ処理ユニット１２はＢ　ｚｚ＋　　Ｂ　２ｆｆ＋　
　・・・，Ｂ２，がシストリック動作の各タイミングで
順番に与えられる。また、データ？理ユニット１ｋには
Ｂｈｋ，　　Ｂｂ　ｋ＋＋　，　　・・・Ｂｋ　ｋ−１
が同期的に与えられる。

第３図（Ｄ）は第３図（Ｃ）の動作のタイごングチャー
トでも同様の記号が使われている。時間Ｔ　ｎ　＋　１
からＴ　＋１４　ｒａ　（−　１の動作は第３図（Ｃ）
のそれぞれの図と第３図（Ｄ）の時間とが対応している
。

時間タイξングＴ　ｎ　＋　１においては第３図（Ｃ）
に示されるように、トレイｌ，２，・・・，ｍにはＹ＋
　，Ｙｚ，　　・・＋，ｙ．ｓが移され、ユニット１２
，・・・．ｋにはそれぞれ係数行列Ｂの要素Ｂ　Ｉ　ｌ
　＋Ｂ２■，・・・，Ｂｋｋが人力されている。次のタ
イごングＴ■．２においてデータ処理ユニット１におい
てＢｌ＋とトレイ１のデータＹ１　との積を求め、デー
タ処理ユニット２においてはトレイ２にあるＹ２と、メ
モリから与えられるＢ２２との積を求め、同様にユニッ
トｋにおいてはＢｋｋとＹ，の積を求める。このタイミ
ングは第５図（ｄ）のＴ０．２のタイミングで行われて
いる。すなわち積和を求める同期クロックにおいて、バ
ス１１＋にはＹＩがあり、バス１２１にはＢ．があり、
バスｌ１■にはＹ２、？２２にはＢ２２、１１３にはＹ
３、１２３にはＢ３ｉがあり、１１ｋにはＹｋ，１２ｍ
にはＢｋｋがのっている。従って、第３図（Ｃ）のＴ　
ｎ　＋　２における図に示すように内積演算が行われる
。累積器Ｚの値はこの時はＯであるから内積結果はＯに
掛けた値が加わることになる。積和演算が終わるとシフ
ト動作に入る。すなわち第３図（Ｄ）の図に示されるよ
うにＴ　ｎ　４　２とＴ　ｎ　＋　３との間がシフト動
作であり、トレイの隣接するトレイ間でデータのシフト
が行われる。すなわち左シフトがこの場合行われる。す
ると第３図（Ｃ）のタイミングＴｎや３に移る。第３図
（Ｄ）の動作タイミングでも同様にＴｎ。３の積和の時
間区域となる。すると、シフトされているからトレイ１
にはＹ２、トレイ２にはＹ３、そしてトレイｋにはＹ　
ｋ＋　１が格納され、また、係数行列Ｂの要素もトレイ
１，２，・・・ｋにはそれぞれＢＩ２１　Ｂ２３．　　
・・・＋　　Ｂｋｋ。，が入力される。これは第３図（
Ｄ）のＴ７．３のタイミングにおいてもバス上のデータ
がそれぞれ示されている。従ってＴ　ｎ　＋　３のタイ
ミングにおいてＢ１■？Ｙ２との積をとり、前の累積器
Ｚとの和が求められる。従って、ユニット１においては
、Ｔｎ。２において求まったＢｌｌとＹ１との積とＴ　
ｎ　＋　３において求められるＢ１■とＹ２との積との
和が求められその結果が累積器Ｚに格納される。同様に
ユニット２においては前の結果であるＢ２■ＸＹ２　＋
Ｂ２３ＸＹＩの結果が累積器Ｚに格納される。トレイｋ
に対しても同様である。そしてまたシフトし、タイミン
グＴ　ｎ　＋　４に移る。

このような演算が進み、時間区域Ｔ７。．。」まで行う
と第３図（Ｃ）の時間区域Ｔ　ｎ　＋　ｍ。ｌに示され
るようにＢ　＋　ｍ　Ｘ　Ｙ　，が前の累積器Ｚとの値
に加えられるとユニット１においてはＴｎや２で求めた
Ｂ．Ｘｙ，　、Ｔｌ１４２におけるＢ　１２Ｘ　Ｙ２　
、Ｔｎ＋ｉで求めたＢ　ＩＩＸ　’１’３等の積の和が
求まり、Ｔ　ｎ　＋　ｍまでの内積結果が累積器Ｚに格
納されているので、その結果にＢ　＋　ｔａ　Ｘ　Ｙ　
＠が加わって行列Ｂの１行目とベクトル１との内積が実
行される。ユニット２においては同様に行列Ｂの２行目
の行ベクトルとベクトルｌとの内積演算が行われ、同様
にｋ行目の行ベクトルと、ベクトルｙの内積がデータ処
理ユニット１ｋで実行される。従って、このような時系
列で処理を行うことによってｋＸｍの長方行列Ｂに対し
てｍに比例する処理時間で実行可能となり、従って良好
な台数効果を得ることが可能となる。

本実施例においてはシフトレジスタ３の長さを変更でき
ること、及び中間結果壱トレイ２に書き込み、それを新
たなデータとして処理できることが重要である。シフト
レジスタ３の長さを変更できなければ、データをすべて
巡回するためにｎ単位時間が必要になってしまう。また
中間結果を新たなデータとして処理できることで小規模
なハードウエアでリングシストリックアレイ方式より広
い範囲の処理が実行可能となっている。さらに書き込み
に要する時間が短くて各一定であることも重要である。

第４図は本発明の第３の実施例説明図である。

このシステムではｍＸｎの長方行列Ａの転置行列Ａ丁、
すなわち（ｎＸｍ）の行列と要素数ｍのベクトル充との
積とを計算するものである。同図において第１図に示し
たもの同じものは同一の記号で示してある。

転置行列Ａ丁とベクトルχとの積を求める場合において
は行列Ａを構或する部分行ベクトルを各データ処理ユニ
ッＩ−１に接続された記憶装置４中に格納し、演算途中
に生ずる部分和をトレイ中のデータ保持回路２ａ上に累
積しつつシフトレジスタ３上のデータを循環させる。

第４図（Ａ）は第３の実施例の構戒の詳細ブロック図で
あり、ｎＸｍ（ｎ≧ｍ≧１）の行列ＡＴと要素数ｍのベ
クトル九の積１（要素数ｎ）を求めるものである。同図
において、第１図で示したものと同一のものは同一の記
号で示してあり、１ａはデータ処理ユニット１の処理装
置であり、例えばデジタルシグナルプロセッサで構成さ
れ、２ａはトレイ２のデータ保持回路であり、例えばラ
ッチ回路で構成され、２ｂはトレイ２のデータ転送回路
であり、例えばバスドライバで構成され、２ｃはトレイ
２の制御手段であり、例えば論理回路で構成され、４は
データ処理ユニ・冫ト１にデータを供給する手段の一部
であると同時にデータ処理ユニット１を制御する手段の
一部である記憶装置であり、例えばＲＡＭ　（ランダム
アクセスメモリ）で構成され、５はデータ処理ユニ・ノ
ト１とトレイ２の同期動作を行う手段であり、５ａはク
ロソク発生回路であり、例えば水晶発振回路で構或され
、５ｂはクロック分配回路であり、例えばノくッファ回
路から構成される。

第４図（Ｂ）は第３の実施例の動作フローチャートであ
る。Ｘ１をユニット１１　　（１＝１，　　・・ｍ）に
セットする。そしてＹＩ（　ｉ　＝　１　，・・　ｎ）
の値を０にする。各ユニントｈはＡ　Ｊ　１とＸｉを掛
け合わせ、積をＹｌに足し込む動作をｉ−１，・・・，
ｎに対して行ってシフトする。

この動作をｊ＝１，・・・，ｍに対して繰り返す。

転置行列とベクトルの掛け算は、記憶装置４中番こ格納
された行列Ａの各部分行ベクトルをそのままにして計算
可能となり、これは後述するニューラルネットの学習ア
ルゴリズムの１つであるノク・冫ク？ロパゲションの実
行においては極めて重要となる。またネットワークの量
はオーダｎですむこと。

リングネットワークである。またデータ転送時間が処理
時間の影に隠れて転送時間に対するオーバヘッドはない
ことになる。しかもＳＩＭＤ方式である。

第４図（Ｃ）は第３の実施例の動作概要図である。ユニ
ット１１には、Ａ．からＡ一までを順に与えていく。ユ
ニット１■にはＡ２■からＡ２３，・・，Ａ２．を与え
、ｋ番目のユニットには記憶回路を介して、Ａ１ｋ，　
　Ａｋｙ。，，・・・，Ａｋｋ−■を順に与える。ｍ番
目にはＡ■，Ａイｆｆｉ１，・・＋　ＡＩａ＃−１　を
順に与えていく。また、トレイ上を循環するものはＹ１
からＹｎである。

第４図（Ｄ）は第３の実施例の動作タイムチャートであ
る。時間区域Ｔ１からＴｎまでのバス上のデータが示さ
れ、これらは第６図（Ｃ）の時間区域Ｔ１からＴｎまで
の図にそれぞれ対応している。

時間区域Ｔ１においては、Ｙ１からＹｎまではすぺて０
である。モしてＡ．とＸ，との積がユニッ？１＋で形威
され、それをＹ１に足し込む。それと同時にＡ２２とＸ
２がＹ２に足し込まれ、Ａ，ｋＸＸｋがＹｋに足し込み
、Ａ一ｘＸｆｆｉがＹ．に足し込まれる。そしてシフト
動作に入るとタイミングＴ２になる。すなわちＹデータ
が循環する。第１のユニットではＡ　Ｉ　２　Ｘ　Ｘ　
Ｈが計算され、これがＹ２に足し込まれるが、そのＹ２
はＴＩにおいて求まったＡ２２ＸＸ２の値が格納されて
いるのでこれに足し込まれる。そのため、Ａ２■ＸＸ２
＋Ａ，■ｘＬの結果がＹ２となる。同様にユニット２に
おいては、前のＹ３の結果にＡ２］ＸＸ２が足し込まれ
る．ｋ番目のユニットにおいてはＹｋ．にＡｋｙ。，×
Ｘ，が加えられる。また、ｍ番目のユニットにはＹ１．
１にＡＴＩＩ１。１×Ｘ■が加えられことになる。

このようにＹデータを循環するとｍ番目の時間区域Ｔｎ
においては、例えば第１のユニット１ｌにおいては、そ
の前までに求まったＹ，，にＡ＋ｎＸＸ＋が加えられる
。またＹＩにはＡ　２　１　Ｘ　Ｘ　ｚが加えられる。

これを全体的に眺めてみると、例えば、ベクトルＸの第
１の要素ＸＩには、Ｔ＋においてＡ，，？積がとられ、
Ａ　１　１　Ｘ　Ｘ　１が計算される。それはＹ１に格
納される。また、転置行列Ａ７の第１行目の第２番目の
要素Ａ　２　１　Ｘ　Ｘ　２は実は最後のクロック周期
Ｔ，，において計算されている。これは同じＹ１に格納
されている形になっている。また、転置行列Ａ７の第１
行目の最後の要素であるＡ，とＸｍとの積は第４図（Ｃ
）のクロック周期Ｔ．１２のｍ番目のユニットで計算さ
れている。すなわちＡ１とＸ，の積がＹ１に足し込むこ
とによって得られる。転置行列ＡＴの第２行目において
も同様であり、ＡＩ■とＸＩとの積はＴ２のクロックに
おいては、ユニットｌにおいて計算されている。

また、Ａ２■×Ｘ２はクロック周期ＴＩの第２番目のユ
ニットにおいて行われている。そしてＹ２が再び循環し
て積の実行が行われるのは、時間区域Ｔ　ｎ　−　ｍ。

３である。その時間区域以後は乗算が行われ、シフト動
作が行われる。そして時間区域ＴｎにおいてはＹ２に足
し込まれる値は第３番目のユニットであり、Ｙ２に足し
込まれる値はＡ３■×Ｘ３である。従って、Ｔｎにおい
て転置行列／ＡＴの第２行目とべクトルネの内積が計算
される。一般に第ｋ番目のユニットに関してはｋ番目の
トレイからのデータ線がＩｌｍであるから第４図（Ｄ）
に示されるように、ｌｌｋに示すところを追っていけば
よいことになる。すなわち、Ｔ１においてはＹｈ　＋Ａ
ｈｋＸＸｈ　、ＴｚにおいてはＹ　ｙ　＋　Ｈ　＋　Ａ
　ｋｋ＋Ｉ　ＸＸｋ％　Ｔ３においてはＹｋ＋２十Ａｋ
ｋ４２Ｘｋが計算され、’ｒｎ−＋においてはＹｈ−ｚ
　＋　Ａｈ　＊−ｚＸｈが計算され、時間区域Ｔｎにお
いてはＹ．−．＋Ａｋｋ−１　Ｘｋが計算されることに
なる。このことにより転置行列ＡＴとｍ次元のベクトル
九の積が実行される。すなわち、転置行列ＡＴとベクト
ルＸとの積を求める場合においては、行列，八を構成す
る部分行ベクトルを各データ処理ユニット１に接続され
た記憶装置４中に格納し、演算途中に生ずる部分和をト
レイ２中のデータ保持回路上に累積しつつシフトレジス
タ上を循環させている。

このような方法により行列５ＡとベクトルＵとの積Ｘに
継続して行列Ａの転置Ａ”とベクトルＸの積を求める場
合は、行列ＡとベクトルＵとの積を求める時に用いた各
データ処理ユニット１に接続された記憶装Ｗ４中に格納
された行列八の各部分行ベクトルをそのまま用いて、す
なわち転置行列Ａ”の部分行列を各データ処理ユニット
１に転送することなしに処理をおこなしうことかでき、
従って転送に要する時間が節約でき、さらに処理時間が
短縮できることになる。

第４図（Ｅ）は第４図（Ｂ）の繰り返し部分を詳細に分
解して示したフローチャートである。

第５図は本発明の第４の実施例図である。本実施例は本
発明を利用したニューロコンピュータの構成図である。

同図において第４図に示したものと同一のものは同一の
記号で示してある。同図において１ａはデータ処理ユニ
ット１の処理装置であり、例えばデジタルシグナルプロ
セッサで構或される。２ａはトレイ２のデータ保持回路
であり、例えばラッチ回路で構成される。２ｂはトレイ
２のデータ転送回路であり、例えばバスドライバで構成
される。２Ｃはトレイ２の制御手段であり、例えば論理
回路で構成される。４はデータ処理ユニント１にデータ
を供給する手段の一部であると同時にデータ処理ユニッ
ト１を制御する手段の一部でもある記憶装置である。例
えばＲＡＭで構成される。５ａはデータ処理ユニットｌ
とトレイ２の同期動作を行う手段であり、５ａはクロッ
ク発生回路、例えば水晶発振回路で構成される。５ｂは
クロック分配回路であり、例えばバッファ回路で構成さ
れる。これに加えて１０１はシグモイド関数と称される
単調非減少連続関数及びその微分係数を計算するシグモ
イド関数ユニットであり、例えば多項式による近似式に
より実現される。１０３は学習時の終了を判定する手段
であり、例えば通信手段により前記各処理ユニット１と
接続されたホストコンピュータと、各処理ユニット１が
計算した出力誤差を前記通信手段により前記ホストコン
ピュータに通知する手段と、一般に複数個の前記出力誤
差値を基に学習の終了を判定し、ニューロコンピュータ
の停止を行う手段とから構成される。なお１０２はニュ
ーロコンピュータの全体である。

第５図（Ｂ）は本発明のニューロコンピュータにおいて
処理の計算における基本素子であるニューロンモデルの
実施例図である。ニューロンモデルは人力Ｘ，，Ｘ２，
　　・・・．Ｘｎの各々にシナプス結合としての重み時
Ｗ，，Ｗ２　，　　・・・．Ｗｎをそれぞれ掛け、その
総和を求め、これを内部値Ｕとする。このＵに非線形関
数ｆを施し、出力Ｙとする一ここで非線形関数ｆは図に
示すようなＳ型のシグモイド関数が一般に使われる。

第５図（Ｃ）は第５図（Ｄ）のニューロンモデルの複数
を用いて入力層、中間層、出力層の３層構造でニューロ
コンピュータを形成する階層型のニューラルネットワー
クの概念図である。第１層の入力層は人力信号Ｉ＋，Ｉ
ｚ，　　・・・，　　ＩＮ（＋１を入力する。第２層の
中間層は各々のユニット、すなわち、各々のニューロン
モデルが第１層のすべてのニューロンモデルに接続され
、その結合技がシナプス結合であって、重み値ＷＩｊが
与えられている。第３層の出力層は同様に中間層の各ニ
ューロンモデルの全てに各々のユニットが接続されてい
る。その出力は外部に出される。このニューラルネット
においては学習時において人力層に与えられる人力パタ
ーンの信号に対応する教師信号と出力層との出力信号と
の誤差を求め、この差が非常に小さくなるように中間層
と出力層との間の重み及び第１層と第２Ｎの間の重みを
定めるようにする。このアルゴリズムがバックブロパゲ
ーション法則、すなわち逆伝播学習則と呼ばれるもので
ある。逆伝播学習則によって定められた重み値を保存し
、例えばパターン認識等の連想処理を行う場合には、第
ＩＮの入力にて認識するべきパターンからややずれた不
完全なパターンを与えると、出力層からそのパターンに
対応した出力信号が出力され、その信号は学習時に与え
たそのパターンに対応する教師信号と非常に似たような
信号が出てくる。教師信号との差が非常に小さければ、
その不完全なパターンを認識したことになる。

第５図（Ａ）のニューロコンピュータ１０２を用いてこ
のニューラルネットワークの動作を工学的に実現できる
。本実施例では第５図（Ｃ）に示すような３層のネット
ワーク構戒を用いるが、以下の説明のようにこの層数は
本実施例の動作にはなんら木質的な影響を受けない。同
図においてＮ（１）は第１層のニューロン数である。ま
た通常、第１層、すなわち入力層の各ニューロンの出力
は人力と等しいものとするので、実質的な処理の必要は
ない。通常の動作、すなわちパターン認識を行う場合の
前向きの処理を第５図（Ｄ）に示す。

第５図（Ｄ）は第４の実施例の前向き処理フローチャー
トである。前向き処理では第５図（Ｃ）に示すネットワ
ークにおいて、各層間の結合技上の重み係数は定まって
いるものとする。第５図（Ｃ）のネットワークを第５図
（Ａ）のニューロコンピュータで実現する場合、次の処
理が行われる。前向き動作の基本動作は第５図（Ｂ）の
ニューロンモデルにおいて、入力に重みを掛けその総和
をとったものをＵとし、そのＵに非線形関数を施す処理
となる。これを各層において行うことになる。そのため
、まず、ステップ７０において入力データ、すなわち■
，からＩ　Ｎ（１１までのデータをシフトレジスタ上に
セットする。そして層の数をＬで表すと、以下のすべて
の処理を層分繰り返す。例えばＬが３であった場合には
、３回繰り返す。繰り返される層は１層分の前向き処理
である。

そして、処理が終了する。その１層分の前向き処理が下
側に示されている。今、中間層に注目すると、ｌは２で
ある。ステップ７２において、シフトレジスタの長さを
Ｎ（ｆ−１）にする。すなわち、ｆ＝２であるからＮ（
１）、すなわち人力層の数にする。ステップ７３は中間
層におけるニューロンモデルの処理である。インデック
スのｊはｌから人力層のユニット数Ｎ（１）まで変化さ
せる。ＷｉＪ（ｉ！．）は入力層と中間層の間の結合に
おける重み係数である。すなわちｆ＝２である。Ｙ，（
ｆ−１）は入力層のｊ番目のユニットからの出力である
。ｉは中間層のｉ番目のユニットを意味する。ｉ番目の
ユニットの状ＢＵｔ（２）は人力層の出力Ｙ，、すなわ
ちｊ番目のＹに重みＷ口をかけてその総和より計算され
る。ステップ７４に移って、その中間層のｉ番目の状態
Ｕｌ（２）は非線形関数、すなわちシグモイド関数に入
力され、その出力がＹｌ　（２）となる。すなわちステ
ップ７３の内積計算は第５図（Ａ）のユニット内で行う
が、このシグモイド関数の計算は、１０１によって行わ
れる。ステップ７５で例えば、中間層のｉ番目のユニッ
トの出力Ｙ▲（２）はトレイのｉ番目に出力される。そ
して処理が終わる。以上の前向き処理を入力層、中間層
、出力層に対して行うことになる。このようにして各層
の前向き処理が終了する。すなわちニューロン単体のシ
ミュレーションに必要な処理は第５図（Ｂ）の式で示さ
れる演算で、その内容は重みと入力ベクトルとの内積演
算及びその演算結果に対するシグモイド関数値の計算で
あり、その関数値の計算はシグモイド関数ユニット１０
１により実現される。従って、ネットワーク中のある１
層の処理は第５図（Ｃ）に示すように、そのニューロン
単体の演算をその層内の全ニューロン分行うことである
。従って内積演算は各ニューロンｉ番目とするの結合係
数ベクトルを並べた行列Ｗ（ｌ）＝〔ＷｉＪ（ｌ）〕と
、その層への入力を並べたベクトルｘ　（４２）　＝　
（ＸＪ（１）の積のベクトル Ｕ　（ｌ）＝　［Ｕｉ　（ｆ）） となり、これは本発明の第３の実施例で説明した方法で
実行可能となる。またシグモイド関数演算は各シグモイ
ド関数ユニット１０１が積ベクトルの各要素、Ｕｔ（Ｚ
）を入力し、対応する関数値Ｙ＋　（ｆ）＝ｆ　（Ｕｔ
　（１））を出力することによってなされる。継続する
層すなわち、第（ｆ＋１）層が存在する場合は、その各
関数値出力ｙｉ（ｐ）を各トレイに書き込み、第（ｆ＋
１）Ｈの処理においてはこれを人力として以上の過程を
繰り返す。

次に第５図（Ａ）のニューロコンピュータを用いて学習
動作、すなわちバックプロパゲーションアルゴリズムを
実行する場合について説明する。

第５図（Ｅ）は第４の実施例の学習処理フローチャート
である。ニューロコンピュータにおける学習とはネット
ワークが所望の入出力関係を満たすようになるまで各ニ
ューロンの重みを修正することである。学習方法は所望
の入力信号ベクトルと教師信号ベクトルとの対を複数個
、すなわち教師信号の集合分だけ用意し、その中から１
対を選び、その人力信号Ｉｐを学習対象ネットワークに
入力し、入力に対するネットワークの出力と正しい出力
信号、すなわちその入力信号に対応した教師信号Ｏｐと
を比較する。この差を誤差と称するが、その誤差、及び
この時の入出力信号の値を基に、各ニューロンの重みを
修正することになる。

この過程を教師信号の集合中の全要素にわたり学習が収
束するまで繰り返すものである。すなわち、入力パター
ンの数の分だけ、すべて重み値として分布的に記憶する
ことになる。この後ろ向き処理と呼ばれる重みの修正過
程において出力層で得られた誤差を途中で変形しながら
人力層に向け通常の信号の流れる向きとは逆方向に伝播
させる。これがバックプロバゲーションのアルゴリズム
である。

まず前記誤差Ｄを以下のように再帰的に定義する。Ｄｉ
　（７！）は第１層のｉ番目のニューロンから逆向きに
伝播される誤差、Ｌはネットワークの層数である。

Ｄｉ　（Ｌ）＝ｆ’　　（Ｕｉ　（Ｌ））（Ｙｉ　（Ｌ
）Ｏｐ　ｉ）　　　　　　　（最終層）（Ｉ）Ｄｉ　（
１−１）＝ｆ’　　（Ｕｉ　（ｊ！−１））Σ４＝＋＋
Ｎ山Ｗｊ　ｉ　（ｆ）　Ｄ　ｊ　（ｆ）（ｆ＝２，　　
・・・，Ｌ）　　　（２）（ｉ＝１，　　・・・，　Ｎ
　（Ｎ）　）ここでｆ’　　（Ｕ）はシグモイド関数ｆ
　（Ｘ）のＸに対する微係数ｆ’　　（χ）のＸ＝Ｕの
時の値であり、例えば ｆ　（Ｘ）　＝ｔａｎｈＸ　　　　　　　　　　　　　
（３）ならば、 ｆ　’　　（Ｘ）　＝ｄ　（ｔａｎｈＸ）　／ｄ　Ｘ＝
　１−ｔａｎｈ２Ｘ＝１−ｆ２　（Ｘ）　　　　　　　
　（４）であるから、 ｆ’　　（Ｕｉ）＝１−ｆ２　（Ｕｉ）＝１−Ｙｉ２（
５） である。

このＤｉとＹｉを基に、以下にように重みを更新する。

基本的には次の弐を用いる。ここでηは重みを更新する
刻み巾であり、小さければ学習安定に収束する収束が遅
くなり、大きすぎると収束ひなくなるという性質を持っ
たパラメタである。

Ｗｉ　ｊ　（ｆ）　””’　　＝Ｗｉ　ｊ　（ｉ！．）
　”＋ΔＷｉ　ｊ　（ｆｆｉ）　ＬＬ）（６）ΔＷｉ　
ｊ　（ｆ）　《ｔ’　　＝ηＤｉ（乏）Ｙｊ（１−１）
　　　　　　Ｃｌ＝２．　　・・・，Ｌ）（７）しかし
、次に式も良く用いられている。これは上式のΔＷｉ　
ｊ　（４２）　′ｔゝ　を１次にデジタルローパスフィ
ルタに通したことになっており、αはその時定数を決め
るパラメタである。

ΔＷｉ　ｊ　　（４２）　《ｔ”’　　＝ηＤｉ　　（
ｆ）Ｙｊ（ｉ！．−１）＋αΔＷｉ　ｊ　　（１）　”
’　　　　　　　（８）この後ろ向き処理の過程におい
て必要となる演算はベクトル間の演算、或いは行列とベ
クトルとの演算であり、特にその中心となるのは各層の
ニューロンの重みを要素とする重み行列Ｗの転置行列Ｗ
Ｔと前記誤差ベクトルＤ．＋（ｌ）との乗算である。こ
の誤差ベクトルは１層内に複数個のニューロンがある一
般の場合、誤差はベクトルとなる。

第５図（Ｅ）の左のフローチャートを説明する。

１層分の前向きの処理と後向きの処理が行われる。まず
、人力データＩｐをシフトレジスタ上にセットし、１Ｎ
分の前向き処理をシステムで行う。

これは各層で行われるため、この前向き処理を層の数分
だけ繰り返す。すると出力データＯ，が出力されるので
、これをシフトレジスタ上にセットする。そして、ステ
ップ７９から以下を出力層のユニント分だけ並列に実行
する。すなわち誤差Ｄｉ（Ｌ）一Ｙｉ（Ｌ）一〇，（ｉ
）を計算し、この誤差をトレイのｉ番目にセットする。

そして出力層から人力層に向かって各層毎に後向き処理
を行う。

この後向き処理は第５図（Ｅ）の右上側に示されている
。第Ｌ番目の層に関して、この層の数はＮ（ｎ）である
からシフトレジスタ長をＮ　（ｆｆｉ）にする。そして
以下の動作をこの前の層のユニット数だけ並列に実行す
る。すなわち、上記（２）式を、ステップ８３において
実行する。ここで重要なのは重みはＷｊｔ（ｆ）となっ
ており、これは重み行列の転置行列Ｗ１の要素になって
いる。そしてステップ８４において、上記（６），　（
７）あるいは（８）式を計算し、重みの更新を行う。ス
テップ８５で、求まった誤差ＤＩ（１　　１）をトレイ
のｉ番目に出力する。これは次の誤差を計算するため、
ステップ８４の動作に必要となる。第５図（Ａ）の右下
は第５図（Ｅ）の左のフローチャート、すなわち前向き
処理と後向き処理の連続処理を学習が習得するまで繰り
返すことを意味するフローチャートである。また、この
ような処理において重みの更新と学習を安定にするため
に重みの修正量の平滑化等の処理があるが、これらはい
ずれも行列のスカラ倍及び行列同士の加減算からなり、
やはり、本ニューロコンピュータにおいて行える。また
シグモイド関数ユニット１０１はハードウエアで実現す
るものとしているが、ソフトウエアで実現してもよい。

また、学習の終了の反転手段１０３はホストコンピュー
タ上のソフトウエアで実現してもよい。

以上のニューロコンピュータをさらに第５図（Ｆ）を用
いて説明する。第５図（Ｆ）はエラーパックプロバゲー
ションの学習を行う時の処理フロー図である。ここでは
、ベクトル表示を用いている。同図においてｘ　（ｆ）
は第１層のニューロンベクトル、Ｗは同じく結合係数、
すなわち重み行列である。ｆはシグモイド関数、ｅ　（
ｊ２）は第２層の出力側から逆向きに伝播してきた誤差
ベクトル、ΔＷは重みの修正量である。入力信号が与え
られると、まず、３Ｎである場合には、人力層はないも
のとすれば、隠れ層の前向き処理を行う。

それがａ＞＝Ｗｘ（Ｉ！．）である。このＵに非線形関
数を施せば、次の層、すなわち（ｊｌ！＋１）層の入力
となる。これは出力層の人力であるから、その前向き処
理を行う。そして教師信号を入力し、後向き処理になる
。出力層においては教師信号と出力信号の誤差ｅをｆの
微分を掛けて後向き処理にする。また中間層等の間の誤
差は逆伝播してくる誤差信号に微分をかけた変数に重み
行列の転置行列ＷＴをかけて求められる。誤差ベクトル
の各要素にシグモイドの微分をかけた値に前のＷ７の要
素を掛けてこれよりΔＷを求め、Ｗを更新すればよい。

このようにして、出力層の後向き処理、及び隠れ層の後
向き処理が行われる。前向き処理で行う演算は、重み行
列Ｗと人力へクトルＸとの積、この結果ベクトルの各要
素のシグモイド関数の値の計算である。この計算は各ニ
ューロンで並列に計算できる。また後向き処理でも仕事
は大きく分けて２あり、１つ目は教師信号と出力信号と
の誤差を順次変形しながら、後から前へ逆向きに伝播す
ること、また２つ目はその誤差を基に重みを修正するこ
とである。この逆向きの計算では重み行列Ｗの転置行列
Ｗ７による乗算が必要になる。転置行列ＷＴとベクトル
の積は前の実施例で述べている。すなわちバックプロバ
ゲーションの学習を実現する再の重要な点は重み行列の
転置行列Ｗ１とベクトル乗算の効率な実現方法である。

さらに第５図（Ｇ）と（Ｈ）を用いて前向き積和計算、
及び後向き積和計算の実施例を説明する。

前向き積和演算は行列×ベクトルの計算で、特に行列は
重み行列Ｗである。本発明で、行列ベクトル積ｕ＝Ｗｘ
を計算する場合、例えば、次の式？　・　・（９） に対して、重み行列の行とベクトルスとの積が同時に行
われる。この処理方式を第７図（ｇ：）を用いて説明す
る。重み行列Ｗは長方行列である。例えば、３×４の行
列である。ベクトルＸの各要素はトレイ上に入力される
。Ｔ１の時刻において、ＸＩ　とＷ．、Ｘ２とＷ２■、
Ｘ３とｗ３３が各々ノユニットで計算される。Ｔ２に移
るとベクトルスの各要素は上に巡回シフトする。Ｔ２に
おいてＷ１■とｘ２との積がＵ１に足される。したがっ
てＵ＋　はこの時刻ニハＸ　ＩＸ　Ｗ　＋　＋　＋　Ｘ
　２　Ｘ　Ｗ　＋　２となる。また、第２のユニットで
はＷ２３とＸ３が掛けられ、第３番目のユニットではＷ
３，ＸＸ４が掛けられる。Ｔ３において、Ｗ１３とＸ３
が掛けられＵ，に足し込まれる。Ｗ２４と×４が掛けら
れ、Ｕ２に加えられる。

Ｗ３，とＸ＋が掛けられＵ３に足し込まれる。この時Ｘ
２は演算の対象からはずされている。Ｔ４におイテ、Ｗ
＋ａとＸ４、Ｗ２１とＸ＋　，ＷｚｚとＸ２がそれぞれ
同時に掛けられＵＩ，Ｕｚ　、Ｕ：？にそれぞれ足し込
まれる。この場合、Ｘ３は演算の対象外となっている。

この演算の対象外を考慮することによって長方行列とベ
クトルとの積が実行される。

Ｗの部分ベクトルＷ　ｉ　”はＰＥ−ｉのローカルメモ
リ上にＷｉｉが先頭になるようにスキューされて格納さ
れている。Ｘｉはトレイにのってリング上を反時計回り
に一回転する。ＵｉはＰＥ−ｔ内部のレジスタ上に累積
される。

左端の状態でＵｉ＝Ｏの状態からスタートする。

ＰＥ−１は自分の目の前にあるＸｊとＷｉｊと掛け合わ
せ、その結果をＵｉに加算する。同時にＸｊは隣のトレ
イに隣接される（リング上を反時計回りに循環する）。

これを４回繰り返すと全てのＵｉが同時に求まる。

Ｗｉｉがスキューされていること、Ｘｉが全てトレイ中
にある状態からスタートすること、Ｕｉが全て同時に求
まる。

第５図（Ｈ）は後向き積和計算の説明である。

これは転置行列と行ベクトル積、ｅ＝Ｗ’ｖを計算する
時のタイξング図である。この場合、ベクトルＶは前の
層の誤差ベクトルに非線形関数の微分を掛けた要素から
なるベクトルである。Ｃは求めらようとする次の層での
逆伝播用の誤差ベクトルである。本発明で重要なことは
、転置行列Ｗ７であっても、前向き積和計算において利
用されるメモリ上のＷと同じ配置にしたままで演算でき
ることである。

すなわち本発明では求めるべきｅのベクトルの巡回シフ
トによって゛なされる。演算するべき転置行列Ｗ７とベ
クトル▼との式は００）式に従う。

上の式において示されるように、行列Ｗは転置されしか
も、長方行列である。ｅ，はＷ１１Ｘｖｌ＋　Ｗ２１　
Ｘ　Ｖ　２　＋Ｗ３１　Ｘ　Ｖ　３である。この演算を
行うために、第５図（Ｈ）において、時間区域Ｔ１にお
いては第１のユニット（ＤＳＰ）において、Ｗ首１とｖ
１の積が演算されている。これが０であるｅ１に差し込
まれる。そして、巡回シフトするとＴ２に移るが、ｅ，
はＴ２時刻においては演算の対象になっていない。そし
てＴ３になると、３番目のユニットにおいて演算対象と
なっている。

すなわちＷ３，にｖ３を掛けた値が前の値に足し込まれ
るため、Ｗ，ＩＸｖｌに足し込まれる。そのため時間区
域Ｔ３においては、ｅ１の結果はＷ．×Ｖｌ　＋Ｗ３１
ＸＶ３　となる。そしてＴ４に移ると、ｅ１は巡回シフ
トとして、第２番目のユニットで？算対象となる。ここ
で、ｅｌにはＷ２Ｉｘｖ２が加えられるため、００）式
の行列の第Ｉ行目とベクトルＶとの内積演算が実行され
、その演算結果がｅ１に格納されることになる。

同様に第２行目とベクトルとの積はｅ２を追えばよい。

Ｔ＋時刻にはＷ２■ＸＶ２、Ｔ２にはＷ１■ｘＶｌ　、
Ｔ３では、ｅ２が遊びになり、Ｔ４でＷ３２ＸＶ３の積
が求まれ、各々の積の和として計算される。ｇＴの第３
行目とベクトル▼との積はｅ３を追えばよい。Ｔ１にお
いてはＷ．１Ｘｖ３　、Ｔ２においてはそれにＷ２３Ｘ
Ｖ２が足し込まれ、Ｔ３において、更にＷ，３Ｘ　ｖ　
，が足し込まれる。Ｔ４はｅ４は遊びとなる。ＷＴの第
４行目とベクトル▼との積はｅ４を追えばよい。Ｔ１時
刻ではｅ４は遊びである。Ｔ２ではＷ．４ｘｖ３、Ｔ，
ではＷ２４ｘｖ２が足し込まれ、Ｔ４において更にＷ，
４Ｘｖ，が足し込まれて、計算ができる。このように本
発明では、Ｗの部分ベクトルＷ　ｉ　”は前と同様ＰＥ
．のローカル目上にＷｉｉが先頭になるようにスキュー
されて格納されている。前と入れ替わるのはｅｉとＶｉ
である。つまり、ｅｉはトレイ上を反時計回りに循環し
ながら累積され、ＶｉはＰＥ一え内部に常駐する。

左端の状態でｅｊ＝０からスタートする。ＰＥ−ｉはＶ
ｉ．ｌ！：Ｗｉｊとを掛け合わせ、その結果を自分の目
の前にあるｅｊに加え込む。同時にこの更新されたｅｊ
は隣のトレイに転送される（リング上を反時計回りに循
環する）。これを４回繰り返すと全てのｅｊが同時に求
まる。

このように本発明のニューロコンピュータは層が何層で
あっても実現でき、学習アルゴリズムの自由度が高いと
いう柔軟性を持つばかりでなく、ＤＳＰの速度そのまま
を利用でき、しかもそのＤＳＰの演算においてオーバヘ
ッドがなく、高速性があり、しかもＤＳＰによるＳＩＭ
Ｄが実行できる。

第６図は本発明の第５の実施例説明図であり、アナログ
データによる行列の積を求めるものである。図中、第２
図で示したものと同一のものは同一の記号で示してあり
、１ｄはデータ処理ユニット１の処理装置であり、例え
ばアナログ乗算器ｌｅと積分器１ｆで構成され、２ｄは
トレイ２のデータ保持回路であり、例えばサンプル／ホ
ールド回路２ｒで構成され、２ｅはトレイ２のデータ転
送回路であり、例えばアナログスイソチ２ｇとバッファ
アンプ２ｈで構成され、６はトレイ２にデータを設定す
る手段であり、例えばアナログスイッチ６ｄで構成され
る。

本実施例の動作は本発明の原理図（第１図）で説明した
動作と同じである。

第７図は本発明の第６の実施例説明図であり、帯行列と
ベクトルとの乗算を示している。図中、第２図で示した
ものと同一のものは同一の記号で示してある。

本実施例の動作を第７図（Ｂ）を参照しつつ説明する。

本発明では、ｍＸｎ　（ｎ≧ｍ≧ｌ）で巾ｋの帯行列Ａ
と要素数ｎのベクトル罵との乗算結果（要素数ｍのベク
トルｙ）を求める場合において、第７図（Ａ）の如く、
各々２つの入力を持ち乗算機能と概乗算結果の累積機能
を有するｍ個のデータ処理ユニット１と、ｎ個のトレイ
２と、前記各データ処理ユニットｌにせとぞくされた入
力データ供給手段とから成る構或に於いて、第７図（Ｂ
）に示す手順で、第７図（Ｃ）及び第７図（Ｄ）のよう
な時系列で処理をするようにしている。従って、巾ｋの
帯行列とベクトルとの乗算がｋに比例する処理時間で実
行できる。

本実施例に於いて重要な事は、ベクトルＸを１回転させ
ない事、及びベクトル鬼をシフトレジスタ３上にセット
する際に、第工の実施例等と異なり、頂度帯が姑まる位
置にずらしておくことである。すなわち、帯の開始位置
から処理を開始する場合は、ある方向にずらしながら積
和演算を行えばｋに比例する時間で処理を終了する。し
かし、図示しないが何らかの事情で帯の途中に配置した
状態から処理を開始する場合は、始めにベクトルＸを一
端までずらせばよいことは明らかであり、その場合、シ
フトレジスタ３が双方向にシフト可能であることが意味
を持つのである。

即ち、例えば帯の中央から処理を開始する場合は、初め
に右にｋ／２（小数点以下切り捨て）だけずらし、以後
逆方向（この場合左）にずらしながら積和演算を行えば
、合計３／２ｋに比例する時間で処理が終了する。

もし、シフトレジスタ３が双方向にシフト可能でなけれ
ば、ベクトルＸを１回転させねばならないため、帯行列
の巾ｋではなくその大きさｎに比例する時間が必要にな
る。大規模な帯行列の於いては、この差は非常に大きく
、帯行列とベクトルとの乗算が帯行列の巾ｋに比例する
処理時間で実行可能となることは本発明の方式の利点で
ある。

第８図はトレイの構造を具体的に示す。

トレイは基本的には単なる１語のラッチであるが、ＤＳ
Ｐからのアクセスと、隣のトレイへの転送を１サイクル
で実行できる（ポストシフト）。

機能の切り替えは、アドレス線の下位ビットにより、デ
ータのアクセスと同時に行い、速度を向上させている。

一つのトレイはゲートアレイで約１　２　０　０　Ｂａ
ｓｉｃセルの規模であり、■チップに２〜４個入れるこ
とも可能である。

また、トレイ中にワークレジスタを数ワード内蔵するこ
とも可能である。

第９図は本発明の実施例を用いて、実際に構成されたニ
ューロコンピュータのブロック図である。

Ｓａｎｄｙの基本構成はＤＳＰの一次元トーラス（リン
グ）結合によるＳＩＭＤ型マルチプロセッサである。

特徴的なのは、結合トボロジーや動作は１次元シストリ
ックアレイと類似しているにも関わらず、Ｓ　ＩＭＤと
して動作する事である。

各ＤＳＰと双方向バスで接続されている“トレイ“は、
転送機能を有するランチであり、相互にリング状に接続
され、全体でサイクリックシフ１−レジスタを構或して
いる。以後このシフトレジスタをリングと呼ぶ。

各ＤＳＰは２Ｋ語の内部メモリと６４語の外付けＲＡＭ
を持ち、内部メモリは１サイクルで、外部メモリは１〜
２サイクルでアクセスできる。

外付けＲＡＭは、プログラムやデータの初期ロード用に
、共通バスでホストコンピュータのＶＭＥＷバスに接続
される。外部入力もバッファメモリを介してホストコン
ピュータに接続されている。

第１０図は本発明の実施例における学習時の時間空間チ
ャートであり、縦方向はプロセッサの数を示し、横方向
は時間を示す。■は入力層のプロセッサの数、Ｈは隠れ
層のプロセッサの数、Ｉはプロセッサの積和演算の時間
に対応する。

入力信号が隠れ層の前向き積和に要する時間は、人力層
のプロセッサの数■と１つのプロセッサの積和に対応す
る時間■との積に比例する。次に、シグモイドの計算が
行われる。出力層においても出力層の前向き積和（２Ｈ
Ｔ）とシグモイドが行われる。ここで、出力層のプロセ
ッサの数が隠れ層のプロセッサの数より少ないので、リ
ングの大きさ自体も小さくなる。次ぎに教師信号人力と
受信し、誤差計算を行い、誤差のバック・プロパゲーシ
ョンを行う。なお、この誤差計算は出力層のシグモイド
における誤差計算も服務出力層の後向き積和を行い、出
力層の重み更新を勾配ベクトル計算とローバスフィルタ
を介して行う。そして、隠れ層のシグモイドによる誤差
計算を経て、隠れ層においては、後向き積和は行わず隠
れ層の重み更新のみを行う。

〔発明の効果〕

以上説明した様に、本発明によれば従来の方法より広い
範囲の処理に対して、データ処理に伴うデータ転送によ
るオーバヘッド無しにデータを並列に処理出来る効果を
奏し、データ処理ユニントの台数に比例した高速なデー
タ処理が実現出来ることにより、帯行列演算あるいはニ
ューロコンピュータの部分結合ネットワーク用いる演算
を行うデータ処理装置の性能向上に寄与するところが大
きい。

【図面の簡単な説明】

第１図（Ａ）は、本発明の原理構或図、第１図（Ｂ）は
、本発明の動作フローチャート、第１図（Ｃ）は、本発
明の動作概要図、第１図（Ｄ）は、本発明の動作タイム
チャート、第２図（Ａ）は、第１の実施例の構成図、第
２図（Ｂ）は、第１の実施例の動作フローチャート、 第２図（Ｃ）は、第１の実施例の動作概要図、第２図（
Ｄ）は、第１の実施例の動作タイムチャート、 第３図（Ａ）は、第２の実施例の構或図、第３図（Ｂ）
は、第２の実施例の動作フローチャート、 第３図（Ｃ）は、第２の実施例の動作概要図、第３図（
Ｄ）は、第２の実施例の動作タイムチャート、 第４図（Ａ）は、第３の実施例の構成図、第４図（Ｂ）
は、第３の実施例の動作フローチャート、 第４図（Ｃ）は、第３の実施例の動作概要図、第４図Ｃ
Ｄ）は、第３の実施例の動作タイムチャート、 第４図（Ｅ）は、第３の実施例の詳細動作フローチャー
ト、 第５図（Ａ）は、第４の実施例の構成図、第５図（Ｂ）
は、第４の実施例のニューロンモデル、 第５図（Ｃ）は、第４の実施例のネットワーク、第５図
（Ｄ）は、第４の実施例の前向き処理フローチャート、 第５図（Ｅ）は、第４の実施例の学習処理フローチャー
ト、 第５図（Ｆ）は、Ｓａｎｄｙでエラーバックブロバゲー
ション学習を行うときの処理フローチャート、第５図（
Ｇ）は、Ｓａｎｄｙで行列ベクトル積む＝Ｗｘを計算す
るときのタイムチャート、第５図（Ｈ）は、転置行列で
の行列ベクトル積ｅ＝Ｗ”ｖを計算するときのタイムチ
ャート、第６図（Ａ）は、第５の実施例の構或図、第６
図（Ｂ）は、第５の実施例の動作フローチャート、 第６図（Ｃ）は、第５の実施例の動作概要図、第６図（
Ｄ）は、第５の実施例の動作タイムチャート、 第７図（Ａ）は、第６の実施例の構或図、第７図（Ｂ）
は、第６の実施例の動作フローチャート、 第７図（Ｃ）は、第６の実施例の動作概要図、第７図（
Ｄ）は、第６の実施例の動作タイムチャート、 第８図は、トレイの構造を具体的に示す図、第９図は、
本発明の実施例を用いて実際に構成されたニューロコン
ピュータのブロック図、第１０図は、本発明の実施例に
おける学習時の時間空間チャート、 第１１図（Ａ）は、共通バスＳＩＭＤ方式の原理構戒図
、 第１１図（Ｂ）は、共通バスＳＭＤ方式による行列ベク
トル積の動作フローチャート、第１２図（Ａ）及び第１
２図（Ｂ）は、リングシストリック方式による行列ベク
トル積の動作原理図、 第１２（Ｃ）は、リングシストリック方式による行列ベ
ク １・・ ２・・ ３・・ ４・・ ５・・ ６・・ ７・・ １１・・ １２・・ ２１・・ ２２・・ ２３・・ ２４・・ ８２・・ ８３・・ ８４・・ ８５・・ ９ｌ・・ ９２・・ トル積の動作原理図である。 ・データ処理ユニット、 ・トレイ、 ・シフトレジスタ、 ・記憶装置、 ・同期手段、 ・データ設定手段、 ・長さ変更手段、 ・データ処理ユニット１の人力、 ・データ処理ユニット１の第２の入力、・トレイ２の第
１の人力、 ・トレイニの第１の出力、 ・トレイ２の第２の出力、 ・トレイ２の第２の人力、 ・ＰＥ９　１の第１の入力、 ・ＰＥ９　１の第１の出力、 ・ＰＥ９　１の第２の人力、 ・ＰＥ９　１の第２の出力、 ・ＰＥ， ・ＰＥ９　１の入出力、 ９　３　・ ・共通バス．

Claims (1)

1. 【特許請求の範囲】 １）各々少なくとも一つの入力（１１）を持つ複数個の
   データ処理ユニット（１）と、 各々第１の入力（２１）及び出力（２２）を持ちかつ各
   々データ保持及びデータ転送を行う複数個のトレイ（２
   ）であって、前記トレイ（２）の全部又はその一部が各
   々前記データ処理ユニット（１）の第１の入力（１１）
   に接続された第２の出力（２３）を有するものと、 前記接続するトレイ（２）の第１の入力（２１）及び出
   力（２２）が接続されて成るシフト手段（３）とを具備
   し、 前記シフト手段（３）上のデータ転送と、前記トレイ（
   ２）と前記データ処理ユニット（１）間のデータ転送と
   、前記データ処理ユニット（１）によるデータ処理とを
   同期して行うことにより、帯行列演算あるいはニューロ
   コンピュータの部分結合ネットワークを用いる演算を行
   うことを特徴とする並列データ処理方式。 ２）前記シフト手段（３）はサイクリックシフトレジス
   タであることを特徴とする特許請求の範囲第１項記載の
   並列データ処理方式。 ３）前記シフト手段（３）の長さを変更する手段を有す
   ことを特徴とする特許請求の範囲第１項又は第２項に記
   載の並列データ処理方式。 ４）前記シフト手段（３）の長さを変更する手段は、入
   力切り換え手段であることを特徴とする特許請求の範囲
   第３項記載の並列データ処理方式。 ５）前記シフト手段（３）の長さを変更する手段は、外
   部のデータ供給手段と、入力選択手段とからなることを
   特徴とする特許請求の範囲第３項記載の並列データ処理
   方式。 ６）前記データ処理ユニット（１）が第１の出力（２１
   ）を持ち、前記トレイ（２）が該第１の出力（２１）に
   接続された第２の入力（２４）を持ち、前記データ処理
   ユニット（１）から前記トレイ（２）にデータを書き込
   む手段を有することを特徴とする特許請求の範囲第１項
   乃至第５項のいずれかに記載の並列データ処理方式。 ７）前記データ処理ユニット（１）と前記トレイ（２）
   間のデータ転送路は入力と出力で共通に利用するバスで
   あることを特徴とする特許請求の範囲第６項記載の並列
   データ処理方式。 ８）データの処理結果を更に処理するに際し、前記処理
   結果を前記書き込み手段を用いて前記トレイ（２）に転
   送することを特徴とする特許請求の範囲第６項又は第７
   項に記載の並列データ処理方式。 ９）前記トレイ（２）が各々相互に接続された第３の入
   力（２５）及び出力（２６）を備え、前記シフト手段（
   ３）は双方向シフトレジスタであることを特徴とする特
   許請求の範囲第１項乃至第８項のいずれかに記載の並列
   データ処理方式。 １０）前記双方向シフトレジスタを構成する前記各トレ
   イ（２）間のデータ転送路は入力と出力で共通に利用さ
   れるバスであることを特徴とする特許請求の範囲第９項
   記載の並列データ処理方式。 １１）前記双方向シフトレジスタ上をデータを双方向に
   転送することを特徴とする特許請求の範囲第９項又は第
   １０項に記載の並列データ処理方式。