JPH06348674A

JPH06348674A - 演算素子結合網

Info

Publication number: JPH06348674A
Application number: JP5142060A
Authority: JP
Inventors: Shunichi Kubo; 俊一久保
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-06-14
Filing date: 1993-06-14
Publication date: 1994-12-22
Anticipated expiration: 2019-07-21
Also published as: US5566102A; JP3544685B2

Abstract

(57)【要約】【目的】少数の演算素子を用いて所望の入出力関係を
実現できる演算素子結合網を提供すること。【構成】本発明では、一つまたは二つ以上の入力信号
に対して所定の演算を施す演算素子を複数有し、これら
演算素子を任意に結合し、当該結合した二つの演算素子
間においては一方の演算素子の出力値に所定の重み付け
係数を乗じた値を他方の演算素子への入力信号とする演
算素子結合網において、一つの入力信号に対して複数種
類の所定の演算を時分割的に施す第１の時分割型演算素
子、複数の入力信号に対して時分割的に同一の演算を施
す第２の時分割型演算素子または複数の入力信号の各々
に対する複数種類の所定の演算を時分割的に施す第３の
時分割型演算素子のうちの少なくとも一つを有すること
を特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、演算素子結合網に関す
るものである。

【０００２】

【従来の技術】現在、パタ―ン認識や制御等で必要とさ
れる所望の入出力関数を学習によって近似的に実現する
装置として、あるい連想記憶装置や最適化問題の近似解
を高速に得る手段として神経回路網が注目されている。

【０００３】この学習とは、所定の入出力関係を備えた
神経細胞素子を結合した神経回路網が所望の入出力関係
を実現するように回路網の各パラメ―タを最適化して行
くことである。例えば、一般的な学習の手法としては、
学習デ―タとして与えていった特定の入力に対して、実
際の回路網の出力と所望の出力との誤差の自乗和が最小
になるように、全ての神経細胞素子間の結合の重み付け
係数を変更してゆくことが行われている。そして、この
学習を繰り返すことによって、神経回路網の入出力関係
は所望の入出力関係に近いものとなって行き、当該神経
回路網は関数近似装置としての役割を果たせるようにな
ってくる。

【０００４】また、神経回路網を連想記憶装置あるいは
最適化問題等の近似解を求める手段として適用する場合
は、それらの問題において規定される評価関数を単調増
加の入出力特性を備えた神経細胞素子を用いた回路網の
構造に埋め込み、その関数の値が神経細胞素子の状態が
遷移する毎に単調に減少してゆくような状態遷移規則を
与えることにより、評価関数の極小解を求めるというの
が従来の一般的な手法であった。

【０００５】（１）ここで、一つの入力情報に対する神
経回路網の出力を計算するためには、神経細胞素子が持
つ入出力関数による演算を複数回実行する必要がある
が、従来、これを演算素子を用いて構成する場合、図５
に示すように、各神経細胞素子における入出力関係φ
（ｘ）は全て同一であるにもかかわらず上記演算回数と
同一の個数の神経細胞素子を設けていた。すなわち、こ
れは回路的に冗長な構成であり、ハ―ドウェア作製上の
不利益となっていた。

【０００６】さらに、実現したい入出力関係が複雑であ
ったり、近似精度を高めようとすると、最終的に所望の
入出力関係を実現するために必要となる神経細胞素子の
数が増大せざるを得ず、これがハ―ドウェア作製上の問
題点となっていた。

【０００７】（２）また、実現したい入出力関係が複雑
であったり、近似精度を高めようとすると、図５に示す
ように最終的に所望の入出力関係を実現するために必要
となる中間層神経細胞素子の数ｎ₁ ，ｎ₂ が増大し、そ
れに伴って、神経細胞素子間の結合の重み付け係数の数
が爆発的に増加するという事態を招くことが知られてい
る。

【０００８】このことは、重み付け係数の値を保持する
メモリ―数の増大、さらにそれらの値を学習によって変
更するための信号線の数の増大、また、神経細胞素子の
出力との積を計算するための乗算回路の数の増加につな
がるという問題点を有していた。さらに、学習による変
分の計算量の増大が学習に要する時間を増大させるとい
う不都合もあった。

【０００９】（３）一方、従来、神経回路網を、関数近
似装置、連想記憶装置あるいは最適化問題を解く手段と
して用いるいずれの場合でも、神経細胞素子に相当する
部分は差動増幅器等の単一の演算素子で構成され、その
入出力特性は演算素子の電気的特性で規定されたもので
あった。そして、一般的に良く用いられ、差動増幅器で
実現可能なシグモイド関数を入出力関数として用いた場
合、多くの問題に対して有効に機能することは理論的お
よび実験的に示されている。

【００１０】しかし、所望の入出力特性を実現するため
の神経回路網においては、本来その神経細胞素子の入出
力特性は、従来のように画一的に規定されている必要は
なく、当該神経回路網に与えられた解決すべき問題に依
存して選択することによって、回路網全体の能力が向上
することが期待されるので、入出力特性を柔軟に変化さ
せられることが望まれていた。

【００１１】一方、例えば図４に示すような神経回路網
（引用文献：Sprecher,D.A：”On the structure of co
ntinuous functions of several variables.”Transact
ionof The American Mathematical Society,115,340-35
5.(1965））では、特定の連続関数χ、単調増加連続関
数ψ、実定数λおよび正定数εを選択すれば、ｘ１〜ｘ
ｎを変数とする任意の多変数連続関数を表現することが
可能であることが知られている。この神経回路網に所望
の入出力関係を近似学習させるためには、神経細胞素子
の入出力関数に相当する連続関数χおよび単調増加連続
関数ψを学習する必要があるが、これら連続関数χおよ
び単調増加連続関数ψを学習することは極めて困難であ
るので、この種の神経回路網において学習すべきパラメ
―タの数を確定し（すなわちパラメ―タの数を有限に
し）、学習を容易にすることが望まれていた。

【００１２】

【発明が解決しようとする課題】

（１）前述の神経回路網すなわち演算素子結合網では、
入出力関係が全て同一である神経細胞素子をすべて独立
の演算素子として設けていた。さらに、実現したい入出
力関係が複雑であったり、その近似精度を高めようとす
ると、必要な演算素子の数が増大する問題点があった。
そして、これらがハ―ドウェア作製上の問題点となって
いた。

【００１３】本発明は、上記問題点に鑑みてなされたも
のであり、少数の演算素子を用いて所望の入出力関係を
実現できる演算素子結合網を提供することを目的とす
る。（２）また、従来の演算素子結合網では、実現したい入
出力関係が複雑であったり、その近似精度を高めようと
すると、必要となる中間層神経細胞素子の数が増大し、
それに伴い重み付け係数の数が爆発的に増加し、これに
より、関連するメモリ―回路、信号線あるいは乗算回路
などのハ―ドウェアの増大につながるという問題点があ
り、加えて、学習に要する時間を増大させるという不都
合もあった。

【００１４】本発明は、上記問題点に鑑みてなされたも
のであり、重み付け係数の値を保持するために必要なメ
モリ―数、それらの値を学習によって変更するための信
号線の数および学習による変分の計算量、さらに演算素
子の出力との積を計算するための乗算回路の数の削減さ
れた演算素子結合網を提供すること目的とする。

【００１５】（３）さらに、所望の入出力特性を実現す
るための演算素子結合網においては、演算素子の入出力
特性は、当該演算素子結合網に与えられた解決すべき問
題に依存して入出力特性を柔軟に変化させられることが
望まれていた。

【００１６】一方、前述の演算素子の所定の入出力関数
自体の学習が必要な演算素子結合網では、その関数の学
習が極めて困難であるという欠点があり、学習すべきパ
ラメ―タの数を確定して学習を容易にすることが望まれ
ていた。

【００１７】本発明は、上記問題点に鑑みてなされたも
のであり、神経細胞素子の入出力特性を学習する演算素
子結合網であって、学習すべきパラメ―タの数を確定
し、さらに入出力特性を柔軟に変化させ、回路網全体の
近似能力の向上が可能にされた演算素子結合網を提供す
ることを目的とする。

【００１８】

【課題を解決するための手段】前記課題を解決し目的を
達成するために、以下のような手段を講じた。（１）本発明（請求項１）では、一つまたは二つ以上の
入力信号に対して所定の演算を施す演算素子を複数有
し、これら演算素子を任意に結合し、当該結合した二つ
の演算素子間においては一方の演算素子の出力値に所定
の重み付け係数を乗じた値を他方の演算素子への入力信
号とする演算素子結合網において、一つの入力信号に対
して複数種類の所定の演算を時分割的に施す第１の時分
割型演算素子、複数の入力信号に対して時分割的に同一
の演算を施す第２の時分割型演算素子または複数の入力
信号の各々に対する複数種類の所定の演算を時分割的に
施す第３の時分割型演算素子のうちの少なくとも一つを
有することを特徴とする。

【００１９】好ましくは、前記第１の時分割型演算素子
を複数個設け、これらの後段に他の同一の演算素子を結
合し、この第１の時分割型演算素子の出力値にその当該
第１の時分割型演算素子の入力端子に依存した所定の重
み付け係数を乗じた値を前記同一演算素子への入力値と
しても良い。この場合、この第１の時分割型演算素子に
おける前記複数種類の所定の演算として、前記入力信号
に一定値の整数倍の異なるオフセット値を加算した数値
に同一の演算を施したものとしても良い。

【００２０】また、前記第２の時分割型演算素子を複数
個設け、これらの後段に他の同一の演算素子を結合し、
当該第２の時分割型演算素子の出力値にその出力値の演
算に用いられた入力信号が入力された当該第２の時分割
型演算素子の入力端子に依存した所定の重み付け係数を
乗じた値を、前記別の演算素子への入力値としても良
い。

【００２１】また、前記第３の時分割型演算素子の出力
値に、その出力値の演算に用いられた入力信号が入力さ
れた当該第３の時分割型演算素子の入力端子に依存した
所定の重み付け係数を乗じた値を、当該第３の時分割型
演算素子の後段に結合された演算素子への入力値として
も良い。この場合、この第３の時分割型演算素子におけ
る前記複数種類の所定の演算として、前記入力信号に一
定値の整数倍の異なるオフセット値を加算した数値に同
一の演算を施したものとしても良い。

【００２２】（２）本発明（請求項２）では、複数の演
算素子を任意に結合し、結合した二つの演算素子間にお
いては一方の演算素子の出力値に所定の重み付け係数を
乗じた値を他方の演算素子への入力値とし、所定の学習
を繰り返すことにより前記重み付け係数を含む複数の変
数の値を逐次的に調整して所望の入出力関係を与える演
算素子結合網において、前記重み付け係数の総個数より
少ない個数のパラメータを有する所定の関数を用いて、
前記重み付け係数を生成するための重み付け係数生成手
段を備え、前記学習により調整する変数として、前記関
数のパラメータを用いることを特徴とする。

【００２３】なお、前記演算素子結合網において、前記
重み付け係数のうちの少なくとも二つのが常に同じ値を
持つように構成しても良い。（３）本発明（請求項３）では、一つまたは二つ以上の
入力信号に対して一つまたは二つ以上の所定の演算を施
し一つまたは二つ以上の出力信号を出力する演算素子が
複数有し、これらを任意に結合し、結合した二つの演算
素子間においては一方の演算素子の出力値に所定の重み
付け係数を乗じた値を他方の演算素子への入力信号とす
る演算素子結合網において、少なくとも一つの前記演算
素子は、複数の所定の多入力一出力演算素子の重み付き
線形結合により階層的に構成されるか、もしくは、複数
の所定の一入力一出力演算素子の重み付き線形結合によ
り階層的に構成されるか、もしくは、前記多入力一出力
演算素子および前記一入力一出力演算素子を任意に結合
し、結合した演算素子間においては一方の素子の出力値
に所定の重み付け係数を乗じた値を他方の素子への入力
信号とする演算素子の網状結合を用いて階層的に構成さ
れ、または、さらにこれらの階層構造を有限回繰り返し
て構成されたことを特徴とする。

【００２４】ここで、上記解決手段において、さらに次
のような構成を採用しても良い。（i ）前記演算素子結合網において、同一階層に存在
し、各々がそれよりさらに下位の階層構造を持たず、一
つ上の階層における同一の演算素子を構成している複数
の演算素子の各々の入出力関係を表す関数として、複数
の変数を有する多変数関数であって、当該変数それぞれ
に定数を加え、それらを線形変換したものを新たな変数
のセットとし、当該新たな変数のセットに当該多変数関
数による演算を施して得られる関数値を定数倍すること
により特定の関数と同一の関数に変換される多変数関数
のうちのいずれか、または、一つの変数を有する一変数
関数であって、当該変数に定数を加え、それを定数倍し
たものを新たな変数とし、当該新たな変数に当該一変数
関数による演算を施して得られる関数値を定数倍するこ
とにより特定の関数と同一の関数に変換される一変数関
数のうちのいずれかを用いても良い。あるいは、（ii）前記演算素子結合網において、それよりさらに下
位の階層構造を持たない全ての演算素子の各々の入出力
関係を表す関数として、複数の変数を有する多変数関数
であって、当該変数それぞれに定数を加え、それらを線
形変換したものを新たな変数のセットとし、当該新たな
変数のセットに当該多変数関数による演算を施して得ら
れる関数値を定数倍することにより特定の関数と同一の
関数に変換される多変数関数のうちのいずれか、また
は、一つの変数を有する一変数関数であって、当該変数
に定数を加え、それを定数倍したものを新たな変数と
し、当該新たな変数に当該一変数関数による演算を施し
て得られる関数値を定数倍することにより特定の関数と
同一の関数に変換される一変数関数のうちのいずれかを
用いても良い。

【００２５】また、上記（i ）および（ii）の場合、さ
らに次のような構成を採用しても良い。（iii ）前記演算素子結合網において、階層構造を有す
る演算素子の全てまたは一部が、一つの入力信号または
二つ以上の入力信号の総和に対し一つの出力値を出力す
る演算素子であり、全てまたは一部の前記演算素子の一
つの入力信号または二つ以上の入力信号の総和に対する
出力を決める所定の入出力関係として、複数の所定の入
出力関係を備えた一入力一出力素子の重み付き線形結合
を用いて階層的に構成するか、あるいは、さらにこの階
層構造を有限回繰り返して構成しても良い。あるいは、（iv）前記演算素子結合網において、階層構造を有する
演算素子の全てまたは一部が、全ての出力値が一つまた
は二つ以上の前記入力信号のうちの一つの入力信号のみ
の関数値とする演算素子であり、全てまたは一部の前記
一入力一出力の所定の入出力関係を、複数の所定の入出
力関係を備えた一入力一出力素子の重み付き線形結合を
用いて階層的に構成するか、あるいは、さらにこの階層
構造を有限回繰り返して構成しても良い。

【００２６】また、上記（ii）の場合、さらに次のよう
な構成を採用しても良い。（v ）前記演算素子結合網において、それよりさらに下
位の階層構造を持たない全ての演算素子が、一つの入力
信号または二つ以上の入力信号の総和に対して、所定の
入出力関係に従った一つの出力値を出力する演算素子で
あり、前記演算素子の一つの入力信号または二つ以上の
入力信号の総和に対する出力を決める所定の入出力関係
として、一つの変数を有する一変数関数であって、当該
変数に定数を加え、それを定数倍したものを新たな変数
とし、当該新たな変数に当該一変数関数による演算を施
して得られる関数値を定数倍することにより特定の関数
と同一の関数に変換される一変数関数のうちのいずれか
を用いても良い。

【００２７】さらに、上記（i ），（ii），（iii ），
（iv），（v ）の場合、次のような構成を採用しても良
い。（vi）前記所定の入出力関係を表現する一変数関数とし
て、その変数に定数を加え、それを定数倍したものを新
たな変数とし、当該新たな変数に当該一変数関数による
演算を施して得られる関数値を定数倍することにより
（１＋exp(−x)）^-1と同一の関数に変換される一変数関
数のうちのいずれかを用いても良い。

【００２８】（vii ）前記所定の入出力関係を表現する
一変数関数として、その変数に定数を加え、それを定数
倍したものを新たな変数とし、当該新たな変数に当該一
変数関数による演算を施して得られる関数値を定数倍す
ることにより exp（−ｘ² ）と同一の関数に変換される
一変数関数のうちのいずれかを用いても良い。

【００２９】あるいは、上記（i ）または（ii）の場
合、次のような構成を採用しても良い。（viii）前記所定の入出力関係を表現する多変数関数と
して、当該変数それぞれに定数を加え、それらを線形変
換したものを新たな変数のセットとし、当該新たな変数
のセットに当該多変数関数による演算を施して得られる
関数値を定数倍することにより、数式（１）

【００３０】

【数１】と同一の関数に変換される多変数関数のうちのいずれか
用いても良い。

【００３１】

【作用】上記手段を講じた結果、次のような作用が生じ
る。（１）本発明（請求項１）の演算素子結合網では、前記
時分割演算素子が複数の演算を時分割的に実行し、それ
らの出力値を順次時系列的に出力する。

【００３２】従って、従来の複数の演算素子を１つの時
分割演算素子を用いて構成することができるので、所望
の入出力関係を近似する能力を保持したまま、演算素子
結合網を構成する全演算素子の数を大幅に削減すること
が可能となる。

【００３３】（２）本発明（請求項２）の演算素子結合
網では、前記重み付け係数生成手段は、重み付け係数の
全個数より少ない個数のパラメ―タによる関数を用いて
各々の重み付け係数を生成する。そして、前記学習にお
いては、前記重み付け係数を学習するのではなく、前記
パラメータを学習し、前記重み付け係数生成手段がこの
パラメータを用いて前記重み付け係数を生成する。

【００３４】これにより、前記重み付け係数の代わりに
それより少ない個数の前記パラメータを扱えば良いの
で、重み付け係数の値を保持するために必要なメモリ―
数、それらの値を学習によって変更するための信号線の
数および学習による変分の計算量は、それぞれ全ての重
み付け係数の個数より少ない個数のパラメ―タに対応す
るだけあれば良いことになり、それらの削減が可能とな
る。同時に、学習に要する時間を短縮することが可能と
なる。

【００３５】（３）本発明（請求項３）の演算素子結合
網では、複数の所定の入出力特性を有する演算素子を結
合させて構成した回路が、上位の１つの演算素子として
働く。

【００３６】これにより、上位の演算素子の入出力特性
を既存の素子を用いて少ないパラメータで柔軟に変化さ
せられることにより、神経回路網全体の能力を向上させ
ることができる。また、演算素子の入出力特性が不明で
あるときに、演算素子の入出力特性を学習させたい場合
に学習すべきパラメ―タの数を確定することが可能とな
る。

【００３７】

【実施例】以下、図面を参照しながら実施例を説明す
る。（１）＜第１の実施例＞本発明の第１の実施例に係る演算素子結合網について説
明する。

【００３８】本発明はより少数の演算素子で所望の演算
素子結合網を構成するものである。ここでは、まず、よ
り少数の演算素子を用いて図４に示される従来の演算素
子結合網と同一の入出力特性を提供することが可能な演
算素子結合網について説明する。図１は、そのような演
算素子結合網の一例を示す図である。

【００３９】初めに、図１の演算素子結合網が提供すべ
き図４の演算素子結合網の入出力特性に関して説明す
る。この図４の演算素子結合網は、ｎ本の入力信号ｘ１
〜ｘｎをそのままの２ｎ＋１個の出力とする入力素子Ｐ
０１〜Ｐ０ｎ、その後段に結合されたｎ×（２ｎ＋１）
個の第１中間層演算素子Ｐ１１−０〜Ｐ１１−２ｎ，Ｐ
１２−０〜Ｐ１２−２ｎ，…，Ｐ１ｎ−０〜Ｐ１ｎ−２
ｎ、この第１中間層演算素子のそれぞれの後段に接続さ
れた重み付け係数を乗ずるための乗算器（図示せず）、
この乗算器を介して前記第１中間層演算素子と結合され
ている２ｎ＋１個の第２中間層演算素子Ｐ２０〜Ｐ２
（２ｎ）、これら第２中間層演算素子の全ての入力の和
を出力する出力素子Ｐ３０により構成される。この第１
中間層演算素子Ｐ１ｉ−ｊ（ｉ＝１〜ｎ，ｊ＝０〜２
ｎ）は、入出力特性がψ（ｘ＋ｊ×ε）で表現される素
子であり、第１中間層演算素子Ｐ１ｉ−ｊからの出力
は、図４に示すように、各乗算器（図示せず）によりパ
ラメ―タλのｉ乗の値が乗ぜられ、その値が第２中間層
演算素子Ｐ２ｊへの入力として伝えられる。また、第２
中間層演算胞素子Ｐ２ｊは、第１中間層演算素子からの
入力の全ての和Ｘにたいして、入出力特性χ（Ｘ＋ｊ）
の演算結果を出力する素子である。このような演算過程
を経た最終的な出力信号は、入力信号ｘ１〜ｘｎに対し
て、数式（２）のように表現されることになる。

【００４０】

【数２】

【００４１】なお、前述したように、この表現形式は、
特定の、連続関数χ、単調増加連続関数ψ、実定数λ、
正定数εを選択すれば、ｘ１〜ｘｎを変数とする任意の
多変数連続関数を表現可能であることが知られている。
また、この図４の演算素子結合網では、第１および第２
中間層演算素子の個数はそれぞれｎ×（２ｎ＋１）個お
よび２ｎ＋１個づつ必要であった。

【００４２】次に、図１の本実施例に係る演算素子結合
網について説明する。この演算素子結合網は、それぞれ
入力信号ｘ１〜ｘｎをそのまま出力とする入力素子Ａ０
１〜Ａ０ｎ、その後段に結合されたｎ個の第１中間層演
算素子Ａ１１〜Ａ１ｎ、この第１中間層演算素子のそれ
ぞれの後段に接続されたｎ個の乗算器（図示せず）、こ
の乗算器を介して前記第１中間層演算素子と結合されて
いる第２中間層演算素子Ａ２０、その後段に結合された
出力素子Ａ３０、および前記第２中間層演算素子Ａ３０
に後述するような出力を与える出力素子Ａ４０により構
成される。

【００４３】第１中間層演算素子Ａ１ｉは、それぞれ、
入力Ｘ_i （ｉ＝１，…，ｎ）に対して２ｎ＋１個の出力
値ψ（ｘ_i ＋ｊ×ε），（ｊ＝０，…，２ｎ）を時系列
的に順次出力する時分割演算素子であり、各第１中間層
演算素子ごとのｊの値は各時刻で一致するように同期を
とる。

【００４４】出力素子Ａ４０は、第１中間層演算素子Ａ
１１〜Ａ１ｎとｊに関して同期を取ってｊの値を出力す
る素子である。第２中間層演算素子Ａ２０は、各時刻に
おける全入力の和Ｘにたいして、入出力特性χ（Ｘ）の
演算結果を出力する素子である。

【００４５】出力素子Ａ３０は、第２中間層演算素子か
ら時系列的に（２ｎ＋１回に分けて）入力される出力を
全て加算して出力する素子である。乗算器は、第１中間
層演算素子Ａ１ｉの出力に重み付け係数λⁱ を乗ずるた
めの素子である。ここで、図１の第１中間層演算胞素子
と第２中間層演算素子とを結合する線の横に乗算を意味
する×とともに示されている記号λないしλⁿ は、この
乗算器により乗ぜられる重み付け係数の値を示す。な
お、以下の説明で参照される他の図の１つの素子と他の
素子とを結合する線の横に乗算を意味するｘとともに示
されている記号は、図示しない乗算器により乗ぜられる
重み付け係数の値を示すものとする。

【００４６】次に、図１の演算素子結合網の動作につい
て説明する。まず、ｊ＝０として、各第１中間層演算素
子Ａ１ｉからはそれぞれψ（ｘ_i ＋εｊ）が同時に出力
され、これらに重み付け係数λⁱ が各乗算器により乗ぜ
られ、それぞれλⁱ ψ（ｘ_i ＋εｊ）として第２中間層
演算素子Ａ２０へ送られる。一方、これに同期して、同
期素子Ａ４０からも出力値ｊが第２中間層演算素子Ａ２
０に与えられる。

【００４７】第２中間層演算素子２０は、それら全ての
入力信号の和を入力ｘとしてχ（ｘ）を演算して出力す
る。この出力は、出力素子Ａ３０に与えられる。同様に
して、ｊ＝１からｊ＝２ｎについて、以上の動作を順次
繰り返す。

【００４８】その結果、出力素子３０には、第２中間層
演算素子Ａ２０からのｊ＝０からｊ＝２ｎにそれぞれ対
応する２ｎ＋１個の出力が時分割的に入力される。出力
素子３０はこれらを全て加算して出力する。

【００４９】このようにして得られる出力値は、前述し
た図４の場合と全く同一である。すなわち、本実施例の
ように時分割演算素子を用いることにより効果的に演算
素子の数を削減することができる。図４との対比では、
回路網に所望の入出力関係を保たせたまま第１および第
２中間層演算素子の数を、それぞれ、ｎ×（２ｎ＋１）
個からｎ個、２ｎ＋１個から１個へと削減することが可
能となる。また、重み付け係数の値を第１中間層演算素
子の出力に乗ずるためにｎ×（２ｎ＋１）個必要であっ
た乗算回路もｎ個で済むことになる。

【００５０】加えて、本実施例に用いる時分割演算素子
が実行する複数の演算は、入力値に数値ｊ×εを加えた
ものを変数とした後は全く同一の演算を施すものであ
り、簡単な回路で実現できる利点がある。

【００５１】なお、図４との対比で記した図１の入力素
子Ａ０１〜Ａ０ｎは入力信号をそのまま出力するので実
際には不要である。ここで、本実施例の説明では、図４
の演算素子結合網に本発明を適用した場合を例にとって
説明したが、もちろん、本発明は他の一般的な演算素子
結合網においても同様に適用できる。

【００５２】＜第２の実施例＞本発明の第２の実施例に
係る演算素子結合網について説明する。図２は、本実施
例に係る演算素子結合網を示す図である。この演算素子
結合網は、入力素子Ｂ０１〜Ｂ０ｎ、２ｎ＋１個の第１
中間層演算素子Ｂ１０〜Ｂ１（２ｎ）、乗算器（図示せ
ず）、第２中間層演算素子Ｂ２０、出力素子Ｂ３０およ
び出力素子Ｂ４０により構成される。

【００５３】入力素子Ｂ０１〜Ｂ０ｎは、それぞれ入力
信号ｘ１〜ｘｎをそのままの形の２ｎ＋１個の出力とす
る素子である。各第１中間層演算素子Ｂ１ｊ（ｊ＝０，
…，２ｎ）は、それぞれが入力ｘ_i （ｉ＝１〜ｎ）をす
べて入力し、各入力ｘ_i に対する出力値ψ（ｘ_i ＋ｊ×
ε）を同時に出力する演算素子あるいは時系列的に順次
出力する時分割演算素子である。ここでは、後述するよ
うに、第１中間層演算素子Ｂ１ｊは排他的に出力動作さ
せる。

【００５４】出力素子Ｂ４０は、出力している第１中間
層演算素子Ｂ１ｊに関する値ｊを出力する素子である。
第２中間層演算素子Ｂ２０は、すべての入力の和Ｘにた
いして、入出力特性χ（Ｘ）の演算結果を出力する素子
である。

【００５５】出力素子Ｂ３０は、第２中間層演算素子か
ら時系列的に（２ｎ＋１回に分けて）入力される出力を
全て加算して出力する素子である。乗算器は、第１中間
層演算素子Ｂ１ｊの出力に重み付け係数λⁱ を乗ずるた
めの素子である。すなわち、本実施例では、重み付け係
数は、当該出力に関連する入力ｘ_i （ｉ＝１〜ｎ）の入
力位置（入力端子）に従って決定される。

【００５６】次に、図２の演算素子結合網の動作につい
て説明する。まず、ｊ＝０として、第１中間層演算素子
Ｂ１ｊからψ（ｘ_i ＋εｊ）が同時にあるいは時系列的
に出力され、これらに重み付け係数λⁱ が各乗算器によ
り乗ぜられ、それぞれλⁱ ψ（ｘ_i ＋εｊ）として第２
中間層演算素子Ｂ２０へ送られる。一方、これに同期す
るように、同期素子Ｂ４０からも出力値ｊが第２中間層
演算素子Ｂ２０に与えられる。

【００５７】第２中間層演算素子２０は、それら全ての
入力信号の和を入力ｘとしてχ（ｘ）を演算して出力す
る。この出力は、出力素子Ｂ３０に与えられる。同様に
して、ｊ＝１からｊ＝２ｎについて、以上の動作を順次
繰り返す。

【００５８】その結果、出力素子３０には、第２中間層
演算素子Ｂ２０からのｊ＝０からｊ＝２ｎにそれぞれ対
応する２ｎ＋１個の出力が、２ｎ＋１回に分けて時分割
的に入力される。出力素子３０はこれらを全て加算して
出力する。

【００５９】このようにして得られる出力値は、前述し
た図４の場合と全く同一である。すなわち、本実施例の
ように時分割演算素子を用いることにより効果的に演算
素子の数を削減することができる。図４との対比では、
回路網に所望の入出力関係を保たせたまま第１および第
２中間層演算素子の数を、それぞれ、ｎ×（２ｎ＋１）
個から２ｎ＋１個、２ｎ＋１個から１個へと削減するこ
とが可能となる。さらに、重み付け係数の値を第１中間
層演算素子の出力に乗ずるためにｎ×（２ｎ＋１）個必
要だった乗算回路もｎ個で済む。また、各第１中間層演
算素子Ｂ１ｊがｎ個の出力値を順次時系列的に出力する
ならば、乗算回路も時分割的に動作させることにより、
この乗算回路はさらに節約でき１個で済むことになる。

【００６０】加えて、本実施例に用いる時分割演算素子
は異なる入力値に対して全く同一の演算を施すものであ
り、極めて簡単な回路で実現できる利点がある。ここ
で、本実施例の説明では、図４の演算素子結合網に本発
明を適用した場合を例にとって説明したが、もちろん、
本発明は他の一般的な演算素子結合網においても同様に
適用できる。

【００６１】＜第３の実施例＞本発明の第３の実施例に
係る演算素子結合網について説明する。図３は、本実施
例に係る演算素子結合網を示す図である。この演算素子
結合網は、入力素子Ｃ０１〜Ｃ０ｎ、第１中間層演算素
子Ｃ１０、乗算器（図示せず）、第２中間層演算素子Ｃ
２０、出力素子Ｃ３０および出力素子Ｃ４０により構成
される。

【００６２】入力素子Ｃ０１〜Ｃ０ｎは、それぞれ入力
信号ｘ１〜ｘｎをそのまま出力とする素子である。第１
中間層演算素子Ｃ１０は、入力素子Ｃ０１〜Ｃ０ｎから
の入力信号ｘ１からｘｎに対してｎ×（２ｎ＋１）個の
出力値ψ（ｘ_i ＋ｊ×ε），（ｉ＝１〜ｎ，ｊ＝０〜２
ｎ）をｊの若い番号から順にｉ＝１からｎまでの出力を
１セットとして、順次出力する素子である。ここで、同
一のｊに対するｉ＝１からｎまでの１セット（ｎ個）の
出力は同時並列的に出力しても良いし、順次時系列的に
出力しても良い。

【００６３】出力素子Ｃ４０は、第１中間層演算素子Ｃ
１０が、あるｊに対するｎ個の出力にそれぞれ重み付け
係数を乗じて第２中間層演算素子Ｃ２０に送っている時
と同時にｊの値を出力し第２中間層演算素子Ｃ２０に送
っている素子である。

【００６４】第２中間層演算素子Ｃ２０は、各ｊ毎に、
第１中間層演算素子Ｃ１０のｎ個の出力にそれぞれ重み
付け係数を乗じた値と出力素子Ｃ４０の出力とからなる
すべての入力の和Ｘにたいして、入出力特性χ（Ｘ）の
演算結果を出力する素子である。

【００６５】出力素子Ｃ３０は、第２中間層演算素子か
ら各ｊ毎に順次入力される２ｎ＋１個の出力を全て加算
して出力する素子である。乗算器は、第１中間層演算素
子Ｃ１０の出力に重み付け係数λⁱ を乗ずるための素子
である。すなわち、本実施例では、重み付け係数は、当
該出力に関連する入力ｘ_i （ｉ＝１〜ｎ）の入力位置
（入力端子）に従って決定される。

【００６６】次に、図３の演算素子結合網の動作につい
て説明する。まず、ｊ＝０として、第１中間層演算素子
Ｃ１０からψ（ｘ_i ＋εｊ），（ｉ＝１〜ｎ）が同時に
あるいは時系列的に出力され、これらに重み付け係数λ
ⁱ が乗算器により乗ぜられ、それぞれλⁱ ψ（ｘ_i ＋ε
ｊ）として第２中間層演算素子Ｃ２０へ送られる。この
とき、同期素子Ｃ４０からも出力値ｊが第２中間層演算
素子Ｃ２０に与えられる。

【００６７】第２中間層演算素子２０は、それら全ての
入力信号の和を入力ｘとしてχ（ｘ）を演算して出力す
る。この出力は、出力素子Ｃ３０に与えられる。同様に
して、ｊ＝１からｉ＝２ｎについて、以上の動作を順次
繰り返す。

【００６８】その結果、出力素子３０には、第２中間層
演算素子Ｂ２０からのｊ＝０からｊ＝２ｎにそれぞれ対
応する出力が、２ｎ＋１回に分けて時分割的に入力され
る。出力素子３０はこれらを全て加算して出力する。

【００６９】このようにして得られる出力値は、前述し
た図４の場合と全く同一である。すなわち、本実施例の
ように時分割演算素子を用いることにより効果的に演算
素子の数を削減することができる。図４との対比では、
回路網に所望の入出力関係を保たせたまま第１および第
２中間層演算素子の数を、それぞれ、ｎ×（２ｎ＋１）
個から１個、２ｎ＋１個から１個へと大幅に削減するこ
とが可能となる。さらに、重み付け係数の値を第１中間
層演算素子の出力に乗ずるためにｎ×（２ｎ＋１）個必
要だった乗算回路もｎ個で済む。また、各第１中間層演
算素子Ｃ１０が各時刻フェーズｊごとの１セットすなわ
ちｎ個の出力値を順次時系列的に出力するならば、乗算
回路も時分割的に動作させることにより、この乗算回路
はさらに節約でき１個で済むことになる。

【００７０】なお、図４との対比で記した図３の入力素
子Ｃ０１〜Ｃ０ｎは入力信号をそのまま出力するので実
際には不要である。ここで、本実施例の説明では、図４
の演算素子結合網に本発明を適用した場合を例にとって
説明したが、もちろん、本発明は他の一般的な演算素子
結合網においても同様に適用できる。

【００７１】（２）＜第４の実施例＞本発明の第４の実施例に係る演算素子結合網について説
明する。図６は、本実施例に係る演算素子結合網を示す
図である。この演算素子結合網は、入力素子Ｄ０１〜Ｄ
０ｎ、第１中間層演算素子Ｄ１１〜Ｄ１ｎ₁ 、第２中間
層演算素子Ｄ２１〜Ｄ２ｎ₂ 、出力素子Ｄ３０、各素子
間に連結され前段の素子の出力に重み付け係数を乗ずる
ための（ｎ×ｎ₁ ＋ｎ₁ ×ｎ₂ ＋ｎ₂ ）個の乗算器（図
示せず）、および重み付け係数生成手段（図示せず）か
ら構成される。すなわち、重み付け係数生成手段を設け
た以外は、一般的な演算素子結合網の構成をなしてい
る。

【００７２】この重み付け係数生成手段は、本実施例に
係る演算素子結合網に含まれる重み付け係数の総個数す
なわち乗算器の総個数より少ない個数のパラメータを有
する所定の関数を用いて、それら重み付け係数をすべて
生成するための手段である。例えば、図６の２つの演算
素子Ａ，Ｂ間の重み付け係数を、２つの演算素子に固有
なパラメ―タと、全ての重み付け係数の個数より少ない
個数のパラメ―タの関数により生成する。具体的には、
例えば、ｗ_A,B ＝α×ｎ_A,B ＋βである場合や、ｗ_A,B
＝δ×ｎ _A,B ＋ζである場合などである。

【００７３】ここで、ｎ_A,B は二つの演算素子Ａ，Ｂの
組み合わせに固有なパラメ―タであり、α，β，γ，δ
およびζは学習すべき回路網パラメ―タである。この場
合、学習においては、前記重み付け係数を学習するので
はなく、前記パラメータαおよびβあるいはγ，δおよ
びζを学習し、前記重み付け係数生成手段がこのパラメ
ータを用いて前記重み付け係数を生成する。

【００７４】このように、重み付け係数に所定の制約を
与え、前記重み付け係数生成手段を設けることにより、
重み付け係数のために必要なパラメータを保持するメモ
リ―数、それらの値を学習によって変更するための信号
線の数を効果的に削減することが可能となる。

【００７５】一方、学習すべきパラメータ数が大幅に削
減されるので、学習による変分の計算量も大幅に削減で
きることが期待される。従って、高速に学習を実行する
ことができる。

【００７６】＜第５の実施例＞本発明の第５の実施例に
係る演算素子結合網について説明する。なお、本実施例
に係る演算素子結合網の構成は、図４の演算素子結合網
に後述する重み付け係数生成手段を付加したものであ
り、簡略化のために図面については省略する。また、こ
の重み付け係数生成手段に関する構成および動作以外
は、前述した図４の演算素子結合網と同一であり、簡略
化のために詳細な説明は省略する。

【００７７】この重み付け係数生成手段は、本実施例に
係る演算素子結合網に含まれる重み付け係数の総個数よ
り少ない個数のパラメータを有する所定の関数を用い
て、それら重み付け係数をすべて生成するための手段で
ある。

【００７８】そして、学習においては、前記重み付け係
数を学習するのではなく、前記パラメータを学習し、前
記重み付け係数生成手段がこのパラメータを用いて前記
重み付け係数を生成する。

【００７９】上記のような回路網構成を採用した場合、
図４の前記第１中間層演算素子Ｐ１ｉ−ｊから前記第２
中間層演算素子Ｐ２ｊへの重み付け係数は全て１つのパ
ラメ―タλのべき乗の値であり、入力素子０１〜０ｎか
ら前記第１中間層演算素子Ｐ１ｉ−ｊへの重み付け係数
および前記第２中間層演算素子Ｐ２ｊから前記出力素子
Ｐ３０への重み付け係数は全て１であるので、全ての重
み付け係数の値を間接的に保持するために必要なメモリ
―数およびそれらの値を学習によって変更するための信
号線の数は各々１つにまで削減させる。

【００８０】この場合、重み付け係数の値を直接保持す
るためにλのべき乗の値それぞれに対してメモリ―を用
意したとしても、メモリ―数は高々ｎ個で済む。さら
に、第１中間層演算素子Ｐ１ｉ−ｊから第２中間層演算
素子Ｐ２ｊへの２ｎ＋１個の重み付け係数の値は全て同
じ値λⁱ であるため、第１中間層演算素子の出力との積
を計算するための乗算回路は、同一値をとる重み付け係
数に対しては共用して用いれば、λ¹ からλⁿ に対応し
て全部でｎ個ですむことになる。

【００８１】一方、学習すべきパラメータ数が大幅に削
減されるので、学習による変分の計算量も大幅に削減で
きることが期待される。従って、高速に学習を実行する
ことができる。

【００８２】本実施例の変形例として、上記演算素子結
合網において、第１中間層演算素子から第２中間層演算
素子への重み付け係数を表現するパラメ―タλが、１に
非常に近い場合はλ＝１＋α（α《１）となるので、λ
ⁱ ≒１＋ｉ×αとなり、全ての重み付け係数を間接的あ
るいは直接的に保持するためには、αあるいはαの１倍
からｎ倍までの倍数値を記憶するメモリ―があれば良
く、上記と同様の効果が期待できる上、さらにメモリ―
の精度を落とすことも可能となる。

【００８３】（３）＜第６の実施例＞本発明の第６の実施例に係る演算素子結合網について説
明する。本発明の演算素子結合網は、前述した図４の演
算素子結合網を構成する各演算素子をさらに複数の演算
素子で構成するものである。従って、そのような複数の
演算素子により構成される演算素子を１つの上位レベル
での１つの演算素子とすれば、本発明の演算素子結合網
をそのような階層構造の上位レベルで表すと、図４と同
一の構成になる。なお、図４の演算素子結合網の構成に
ついては、前述したのでここでは省略する。

【００８４】ここで、前述のように、図４の第２中間層
演算素子Ｐ２ｊからの出力は全てそのまま出力素子Ｐ３
０に伝えられそこで全ての入力の和がとられ出力され
る。このような演算過程を経た最終的な出力信号は、入
力信号ｘ１〜ｘｎに対して、前述した数式（２）で表現
されることになる。

【００８５】

【数３】

【００８６】ここで、関数χは連続関数、関数ψは単調
増加連続関数、定数λは実定数、定数εは正定数であ
る。この回路網に特定の多入力一出力の入出力関係を最
急降下法等の学習によって近似表現させるためには、上
記の連続関数χ、単調増加連続関数ψ、に対する学習パ
ラメ―タを定める必要があり、本実施例においては上記
２関数を、それぞれ次に示す数式（３）および（４）と
変数をシフトおよびスケ―リングした所定の一変数関数
の重み付き線形和で近似する。

【００８７】

【数４】

【００８８】

【数５】

【００８９】ここで、ａ₁ 〜ａ_N ，ｂ₁ 〜ｂ_N ，ｃ₁ 〜
ｃ_N ，ｅ₁ 〜ｅ_M ，ｆ₁ 〜ｆ_M およびｇ₁ 〜ｇ_M は、各
演算素子Ｅ１〜ＥＮおよびＦ１〜ＦＭの入出力関係を調
整するためのパラメ―タである。

【００９０】この所定の一変数関数としては、例えば、
シグモイド関数（１＋exp(−x)）^-1や、ガウシアン関数
exp（−ｘ² ）などを用いれば好ましい。次に、そのよ
うな入出力関係を有する演算素子の具体例を図７および
図８に示す。

【００９１】１つの第１中間層演算素子を構成する図７
の演算素子結合網Ｅ１００は、φ（ａ_i ｘ＋ｂ_i ) を実
行するＮ個の演算素子Ｅｉ（ｉ＝１〜Ｎ）と、それらの
後段にそれぞれ接続され、演算素子Ｅｉの出力にＣｉを
乗ずるための乗算器（図示せず）と、これらの出力をす
べて加算して出力する出力素子（図示せず）により構成
される。

【００９２】また、１つの第２中間層演算素子を構成す
る図８の演算素子結合網Ｆ２００は、入力ｙ_i の総和ｚ
を出力する入力素子Ｆ０と、φ（ｅ_i ｚ＋ｆ_i ）を実行
するＭ個の演算素子Ｆｉ（ｉ＝１〜Ｍ）と、それらの後
段にそれぞれ接続され、演算素子Ｆｉの出力にｇｉを乗
ずるための乗算器（図示せず）と、これらの出力をすべ
て加算して出力する出力素子（図示せず）により構成さ
れる。

【００９３】このように、上記ψおよびχの入出力特性
を担う第１および第２中間層演算素子を、図７および図
８に示すようにそれぞれψおよびχにおける線形和に対
応するＮ個およびＭ個の一入力一出力演算素子の重み付
き線形和で近似して階層的に構成すれば、本来無限自由
度を持つ関数の自由度をそれぞれ３×Ｎ、３×Ｍの有限
値に落とすことが可能となる。

【００９４】このことによって、上記の回路網において
自由度を持つパラメ―タの数を、実定数λおよび正定数
εと併せて、３×Ｎ＋３×Ｍ＋２個と有限に抑えること
が可能となり、この回路網に最急降下法等の学習アルゴ
リズムを適用することができ、階層構造を構成する演算
素子の入出力特性とその数を適当に選べば、与えられた
多変数関数の近似学習が可能となる。

【００９５】また、与えられた多変数関数と要求される
近似精度によっては、Ｎ、Ｍを小さく取ることができ、
回路網全体のパラメ―タ数を、図１１に示すような従来
の層状演算素子結合網より削減することが可能となる。

【００９６】さらに、本発明によって、回路網全体で使
用する中間層演算素子を全て同一構造の素子で構成する
ことが可能となり、ハ―ドウェア作製上の利点となる。
また、上記の階層構造を構成する図７の演算素子Ｅ１〜
ＥＮ、図８の演算素子Ｆ１〜ＦＭの一部または全てを、
上記と別種の同一構造の演算素子の重み付き線形和や、
上記と同種の同一構造の演算素子の結合網でさらに階層
的に構成することによって、中間層演算素子の入出力関
係表現能力の適応力を向上し、回路網全体の関数近似能
力を高めても良い。

【００９７】＜第７の実施例＞本発明の第７の実施例に
係る演算素子結合網について説明する。ここで、前述し
た図７の演算素子Ｅ１００あるいは図８の演算素子Ｆ２
００のように１つの（上位レベルの）演算素子を構成す
るために複数の（下位レベルの）演算素子を用いる階層
構造は、他の一般的な演算素子結合網においても適用す
ることが可能である。第６の実施例では、上位レベルの
演算素子を構成するために、一入力一出力演算素子を用
いたが、本実施例では、多入力一出力演算素子を用いて
構成した一般的な演算素子結合網に関して説明する。

【００９８】１つの（上位レベルの）演算素子を構成す
る図９の演算素子Ｇ３００は、入力ｕ_i （ｉ＝１〜ｎ）
に対してｆ（ｕ₁ ＋ｈ_1j，ｕ₂ ＋ｈ_2j，…，ｕ_n ＋
ｈ_nj) を実行するＬ個の演算素子Ｇｊ（ｊ＝１〜Ｌ）
と、入力ｘ_i （ｉ＝１〜ｎ）に重み付け係数ｄ_ijを乗じ
て各演算素子Ｇｊに与えるための乗算器（図示せず）
と、演算素子Ｇｊの後段にそれぞれ接続されこの演算素
子Ｇｊの出力にｋ_j を乗ずるための乗算器（図示せず）
と、これら乗算器の出力をすべて加算して出力する出力
素子（図示せず）により構成される。ここで、ｈ_ij（ｉ
＝１〜ｎ）は定数のセットである。その結果、この演算
素子Ｇ３００は、次の数式（５）で表されるような入出
力特性を与える。

【００９９】

【数６】

【０１００】この演算素子Ｇ３００を用いて演算素子結
合網を構成した場合、演算素子Ｇ３００の階層構造を形
成する演算素子間の重み付け係数ｄ_ij，ｋ_j やｈ_ijも、
回路網全体のパラメ―タの一部とみなせば、従来同様に
最急降下法等の学習アルゴリズムが適用可能で、所望の
入出力関数の近似学習ができることになる。

【０１０１】従って、ハードウェア上実現しやすい入出
力特性を有する演算素子を複数結合して演算素子結合網
を構成することにより、従来の層状演算素子結合網のよ
うに同一の非線形素子を層状に並べていった回路網よ
り、学習速度あるいは近似能力を向上させることが期待
できる。この点に関しては、図７の演算素子Ｅ１００お
よび図８の演算素子Ｆ２００についても同様のことが言
える。

【０１０２】＜第８の実施例＞本発明の第８の実施例に
係る演算素子結合網について説明する。図７、図８ある
いは図９の演算素子は、一入力一出力素子あるいは多入
力一出力素子の重み付き線形結合により構成したが、本
実施例では、上位レベルの演算素子を、前記多入力一出
力演算素子および前記一入力一出力演算素子を任意に結
合し、結合した演算素子間においては一方の素子の出力
値に所定の重み付け係数を乗じた値を他方の素子への入
力信号とする演算素子の網状結合を用いて階層的に構成
するものである。

【０１０３】図１０は、そのような演算素子を用いて構
成した本実施例の演算素子結合網を示す図である。この
ｎ入力ｍ出力の層状の演算素子結合網は、入力素子Ｈ０
１〜Ｈ０ｎ、第１中間層演算素子Ｈ１１〜Ｈ１ｎ₁ 、第
２中間層演算素子Ｈ２１〜Ｈ１ｎ₂ 、出力素子Ｈ３１〜
Ｈ３ｍにより構成される。また、ｎ入力１出力素子であ
る第１中間層演算素子Ｈ１１は下位レベルの演算素子Ｈ
１１１〜Ｈ１１６により構成され、ｎ₁ 入力２出力素子
である第２中間層演算素子Ｈ２２は下位レベルの演算素
子Ｈ２２１〜Ｈ２２４により構成される。ここでは、そ
の他の第１および第２中間層演算素子と演算素子Ｈ１１
１〜Ｈ１１６，Ｈ２２１〜Ｈ２２４は最下層の演算素子
であり、それ以上の階層構造はないものとする。

【０１０４】ここで、上記の階層構造を構成する演算素
子Ｈ１１１〜Ｈ１１６、Ｈ２２１〜Ｈ２２４は、残りの
中間層演算素子Ｈ１２〜Ｈ１ｎ₁ 、Ｈ２１、Ｈ２３〜Ｈ
２ｎ₂ と同一構造の素子、例えば有界で単調なシグモイ
ド関数の入出力特性を持った素子であるとする。

【０１０５】図１０の回路網は、中間層演算素子Ｈ１
１、Ｈ２２の階層構造を形成する演算素子結合網の演算
素子間の重み付け係数も、回路網全体のパラメ―タの一
部とみなせば、従来同様に最急降下法等の学習アルゴリ
ズムが適用可能で、所望の入出力関数の近似学習ができ
ることになる。

【０１０６】さらに、従来と同様に回路網全体では同一
構造の演算素子しか用いないにもかかわらず、中間層演
算素子Ｈ１１、Ｈ２２の入出力特性は、他の中間層演算
素子のそれとは、一般に異なったものとなっており、図
１０の回路網全体で実現したい入出力関係によっては、
図１１のような従来の層状演算素子結合網のように同一
の非線形素子を層状に並べていった回路網より、学習速
度あるいは近似能力を向上させることができる。

【０１０７】また、階層構造を構成する演算素子Ｈ１１
１〜Ｈ１１６、Ｈ２２１〜Ｈ２２４の一部または全て
を、さらに上記と同一あるいは別種の構造の素子からな
る演算素子結合網で階層的に構成することによって、中
間層演算素子Ｈ１１、Ｈ２２の入出力関係表現能力の適
応力をさらに向上し、回路網全体の関数近似能力を高め
ても良い。

【０１０８】いずれにしても、回路網全体では同一構造
の演算素子しか用いない場合は、ハードウェア作製上の
観点からも非常に有益である。このように、本発明の要
旨は、従来の演算素子に階層構造を持たせることによ
り、演算素子の入出力特性を学習させたい場合に、学習
すべきパラメ―タの数を確定し、さらに演算素子の入出
力特性を既存の素子のみを用いても柔軟に変化させるこ
とを可能にすることであり、相互結合型神経回路網等の
他の演算素子結合網にも適用可能であり、上記実施例に
限定されるものではない。

【０１０９】以上、各発明に係る各実施例について説明
してきたが、各発明は上述した各実施例に限定されるも
のではなく、その要旨を逸脱しない範囲で、種々変形し
て実施することができる。

【０１１０】

【発明の効果】以上述べたように、本発明によれば下記
のような効果が期待できる。（１）本発明（請求項１）の演算素子結合網では、複数
の演算を次分割的に実行し、それらの出力値を順次時系
列的に出力する時分割演算素子を設けた。

【０１１１】これにより、従来の複数の演算素子を用い
て構成していた部分を１つの時分割演算素子を用いて構
成することができるので、所望の入出力関係を近似する
能力を保持したまま、演算素子結合網を構成する全演算
素子の数を大幅に削減することが可能となる。

【０１１２】（２）本発明（請求項２）の演算素子結合
網では、演算素子間の全ての重み付け係数の値がそれら
の個数より少ない個数パラメ―タの関数を用いて生成さ
れることにより、重み付け係数の値を保持するために必
要なメモリ―数、それらの値を学習によって変更するた
めの信号線の数および学習による変分の計算量を大幅に
削減することが可能になる。また、学習に要する時間を
短縮することが可能となる。

【０１１３】さらに、同一値の重み付け係数を持つ演算
素子間の結合が複数存在する場合は、演算素子の出力と
の積を計算するための乗算回路の数も大幅に削減可能と
なる。

【０１１４】（３）本発明（請求項３）の演算素子結合
網では、演算素子結合網における少なくとも１つの演算
素子を、複数の所定の入出力特性を有する演算素子を結
合させて構成する階層構造を採用した。

【０１１５】これにより、入出力特性を既存の素子を用
いて少ないパラメータで柔軟に変化させられることがで
き、従って、演算素子結合網全体の能力を向上させるこ
とができる。

【０１１６】また、演算素子の入出力特性が不明である
ときに、演算素子の入出力特性を学習させたい場合に学
習すべきパラメ―タの数を確定できるので、学習を容易
に行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る演算素子結合網の
構成を示す図

【図２】本発明の第２の実施例に係る演算素子結合網の
構成を示す図

【図３】本発明の第３の実施例に係る演算素子結合網の
構成を示す図

【図４】従来の演算素子結合網の構成を示す図

【図５】従来の他の演算素子結合網の構成を示す図

【図６】本発明の第４の実施例に係る演算素子結合網の
構成を示す図

【図７】本発明の第６の実施例に係る階層構造を有する
演算素子を示す図

【図８】本発明の第６の実施例に係る階層構造を有する
他の演算素子を示す図

【図９】本発明の第７の実施例に係る演算素子結合網の
構成を示す図

【図１０】本発明の第８の実施例に係る演算素子結合網
の構成を示す図

【図１１】従来のさらに他の演算素子結合網の構成を示
す図

【符号の説明】

ｘ１〜ｘｎ…入力信号Ａ０１〜Ａ０ｎ…入力素子Ａ１１〜Ａ１ｎ、Ａ２０…演算素子Ａ３０、Ａ４０…出力素子Ｅ１−ＥＮ、Ｆ１−ＦＭ、Ｇ１−ＧＬ、Ｈ１１１〜Ｈ１
１６、Ｈ２２１〜Ｈ２２４…上位レベルの演算素子を構
成する下位レベルの演算素子

Claims

【特許請求の範囲】

【請求項１】一つまたは二つ以上の入力信号に対して所
定の演算を施す演算素子を複数有し、これら演算素子を
任意に結合し、当該結合した二つの演算素子間において
は一方の演算素子の出力値に所定の重み付け係数を乗じ
た値を他方の演算素子への入力信号とする演算素子結合
網において、一つの入力信号に対して複数種類の所定の演算を時分割
的に施す第１の時分割型演算素子、複数の入力信号に対
して時分割的に同一の演算を施す第２の時分割型演算素
子または複数の入力信号の各々に対する複数種類の所定
の演算を時分割的に施す第３の時分割型演算素子のうち
の少なくとも一つを有することを特徴とする演算素子結
合網。
【請求項２】複数の演算素子を任意に結合し、結合した
二つの演算素子間においては一方の演算素子の出力値に
所定の重み付け係数を乗じた値を他方の演算素子への入
力値とし、所定の学習を繰り返すことにより前記重み付
け係数を含む複数の変数の値を逐次的に調整して所望の
入出力関係を与える演算素子結合網において、前記重み付け係数の総個数より少ない個数のパラメータ
を有する所定の関数を用いて、前記重み付け係数を生成
するための重み付け係数生成手段を備え、前記学習により調整する変数として、前記関数のパラメ
ータを用いることを特徴とする演算素子結合網。
【請求項３】一つまたは二つ以上の入力信号に対して一
つまたは二つ以上の所定の演算を施し一つまたは二つ以
上の出力信号を出力する演算素子を複数有し、これらを
任意に結合し、結合した二つの演算素子間においては一
方の演算素子の出力値に所定の重み付け係数を乗じた値
を他方の演算素子への入力信号とする演算素子結合網に
おいて、少なくとも一つの前記演算素子は、複数の所定の多入力
一出力演算素子の重み付き線形結合により階層的に構成
されるか、もしくは、複数の所定の一入力一出力演算素
子の重み付き線形結合により階層的に構成されるか、も
しくは、前記多入力一出力演算素子および前記一入力一
出力演算素子を任意に結合し、結合した演算素子間にお
いては一方の素子の出力値に所定の重み付け係数を乗じ
た値を他方の素子への入力信号とする演算素子の網状結
合を用いて階層的に構成され、または、さらにこれらの
階層構造を有限回繰り返して構成されたことを特徴とす
る演算素子結合網。