JP2760170B2 - 学習機械 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデータ処理装置の学習機
械に関するものである。

【０００２】

【従来の技術】従来の学習機械としては、例えば"ア ハ゜ラ
レル ニューロコンヒ゜ュータ アーキテクチャー トワース゛ ヒ゛リオン コネクション アッフ゜テ゛イ
ツ ハ゜ー セカント゛ (A Parallel Neurocomputer Architecture
towards Billion Connection Updates Per Second)",
インターナショナル シ゛ョイント コンファーレンス オン ニューラル ネットワーク (Intern
ational Joint Conference on Neural Network)(1990年
1月)に示されたものがある。

【０００３】図９はこの従来の学習機械の構成図を示す
ものであり、51, 52, 53および54は入出力信号レジス
タ、55, 56および57は積和及び特性関数演算部、58, 59
および60は重み記憶部、61, 62および63はリング長調節
部である。図10は、図９に示される構成で実現される学
習機械の模式図である。図10において、64, 65, 66およ
び67は入力端子、68, 69, 70, 71および72は多入力一出
力回路、73は入力層、74は隠れ層、75は出力層である。
図10に示されるように、学習機械は、多入力一出力回路
を階層状に接続した構成で、模式的に表すことができ
る。このように、階層状に接続された多入力一出力回路
のうち、出力信号を出力する多入力一出力回路から成る
層を出力層と呼び、それ以外の多入力一出力回路から成
る層を隠れ層と呼ぶ。入力端子からなる層を入力層と呼
ぶ。一般には、隠れ層は、一つの層をなす多入力一出力
回路によって構成されても良いし、複数の層をなす多入
力一出力回路によって構成されても良い。図10は、隠れ
層が一つの層をなす多入力一出力回路によって構成され
ている場合を示している。また、一般には、入力層を構
成する入力端子は何個でも良く、隠れ層および出力層を
構成する多入力一出力回路は何個でも良いが、図10は、
入力層73が４個の入力端子からなり、隠れ層74が３個の
多入力一出力回路からなり、出力層75が２個の多入力一
出力回路からなる学習機械を示している。各層の多入力
一出力回路68, 69, 70, 71および72は、複数の入力信号
に対して、それぞれ個別の重みを掛け、それら積の和に
対して、飽和特性を持つ信号を出力する。即ち、第ｊ番
目の多入力一出力回路の出力信号ｙ _jは

【０００４】

【数１】

【０００５】で表される。ここに、ｘ_iは前段の層の第
ｉ番目の多入力一出力回路の出力信号であり、ｗ_jiは前
段の層の第ｉ番目の多入力一出力回路の出力信号が第ｊ
番目の多入力一出力回路に入力される時に掛けられる重
みである。fnc()は飽和特性を持つシグモイド関数で、
例えば、ｘに対して

【０００６】

【数２】

【０００７】等を出力する。図９の従来の学習機械の構
成図において、重み記憶部58, 59および60は、図10の模
式図における多入力一出力回路68, 69, 70, 71および72
で掛けられる重みを記憶している。入出力信号レジスタ
51, 52, 53および54は、入力端子64, 65, 66および67か
ら入力される信号もしくは多入力一出力回路68, 69, 7
0, 71および72の出力信号を保持している。入出力信号
レジスタ54に保持されている信号は、次のマシン・サイ
クルには入出力信号レジスタ53に転送され、入出力信号
レジスタ53に保持されている信号は、次のマシン・サイ
クルには入出力信号レジスタ52に転送されるというよう
に、入出力信号レジスタ51, 52, 53および54に保持され
ている信号は順次転送される。積和及び特性関数演算部
55, 56および57は、重み記憶部58, 59および60が記憶し
ている重みと、入出力信号レジスタ51, 52および53が保
持している信号との積和を求め、（数１）にしたがって
積和に対して飽和特性を持つ信号を出力する。積和及び
特性関数演算部55, 56および57の出力信号は、入出力信
号レジスタ51, 52, 53および54に保持される。リング長
調節部61, 62および63は、入力信号の数および隠れ層74
を構成する多入力一出力回路の個数に応じて、保持して
いる信号の転送を行う入出力信号レジスタの個数を調節
する。即ち、隠れ層74の多入力一出力回路の積和演算を
行っている時には、入力信号の数が４個なので、入出力
信号レジスタ51, 52, 53および54の間で信号の転送を行
うように、リング長調節部61, 62および63においてリン
グ長を調節する。また出力層75の多入力一出力回路の積
和演算を行っている時には、隠れ層74の多入力一出力回
路の数が３個なので、入出力信号レジスタ51, 52および
53の間で信号の転送を行うように、リング長調節部61,
62および63においてリング長を調節する。

【０００８】図11に積和及び特性関数演算部55, 56およ
び57の構成図を示す。図11において、76は乗算部、77は
積和レジスタ、78は加算部、79は特性関数演算器、80は
入力信号端子、81は出力信号端子、82は重み入力端子で
ある。積和及び特性関数演算部55, 56および57の動作を
以下に示す。積和レジスタ77に保持されている信号は零
で初期化される。乗算部76は入力信号端子80から入力さ
れる信号と重み入力端子82から入力される重みとの積を
加算部78に出力し、加算部78は乗算部76が出力する積と
積和レジスタ77が保持している積和との和を求め、積和
レジスタ77に出力する。このような積と和を求める動作
の繰り返しにより、積和レジスタには、入力信号端子80
から入力される信号と、重み入力端子82から入力される
重みとの積和が保持される。積和演算が終了すると、特
性関数演算部79は、積和レジスタ77が保持している信号
に対して、（数２）で表される飽和特性を持つ信号を出
力する。以上によって、出力信号端子81から（数１）で
表される信号が出力される。

【０００９】図12は、隠れ層74の多入力一出力回路68,
69および70の出力を求める際の、積和及び特性関数演算
部55, 56および57の並列動作の説明図である。図12にお
いて、ｘ_i（1 ≦ i ≦ 4）は入力信号であり、ｗ_ji（1
≦ i ≦ 4, 1 ≦ j ≦ 3）は入力信号ｘ_iに対して隠れ
層74の第ｊ番目の多入力一出力回路で掛けられる重みで
ある。隠れ層74の多入力一出力回路68, 69および70の出
力を求める際には、リング長調節部61, 62および63によ
って入出力信号レジスタ51, 52, 53および54の間で信号
の転送が行われるように、リング長が調節されている。
最初に、入出力信号レジスタ51, 52, 53および54に、入
力信号ｘ_i（1 ≦ i ≦ 4）がロードされ、積和及び特性
関数演算部55, 56および57の積和レジスタが零で初期化
される。次のマシン・サイクルにおける積和及び特性関
数演算部55, 56および57の並列動作を、図12の(a) に示
す。積和及び特性関数演算部55は、重み記憶部58に記憶
されている重みｗ₁₁と入出力信号レジスタ51に保持され
ている入力信号ｘ₁との積を求め、積和レジスタに保持
する。同時に、積和及び特性関数演算部56はｗ₂₂とｘ₂
との積を求め、積和及び特性関数演算部57はｗ₃₃とｘ₃
との積を求め、それぞれの積和レジスタに保持する。そ
の次のマシン・サイクルにおける積和及び特性関数演算
部55, 56および57の並列動作を、図12の(b) に示す。入
出力信号レジスタ51, 52, 53および54に保持されている
信号は順次転送され、積和及び特性関数演算部55は、入
出力信号レジスタ51に保持されている信号ｘ₂と重み記
憶部58に記憶されている重みｗ₁₂との積ｗ₁₂ｘ₂を求
め、積和レジスタに保持されているｗ₁₁ｘ₁との和

【００１０】

【数３】

【００１１】を積和レジスタに保持する。同時に、積和
及び特性関数演算部56および57は、それぞれ

【００１２】

【数４】

【００１３】を積和レジスタに保持する。以下同様に、
入出力信号レジスタ51, 52, 53および54に保持されてい
る信号は順次転送され、積和及び特性関数演算部55, 56
および57は、重み記憶部58, 59および60に記憶されてい
る重みと入出力信号レジスタ51, 52, 53および54に保持
されている信号との積和を求める。すなわち、積和及び
特性関数演算部55、56および57は、それぞれ隠れ層の第
１、第２および第３の多入力一出力回路における積和を
求める。積和が求められると、積和及び特性関数演算部
55, 56および57では、特性関数演算器で積和に対して
（数２）で表される飽和特性を持つ信号を求め、入出力
信号レジスタ51, 52および53に出力する。

【００１４】隠れ層74の多入力一出力回路68, 69および
70の出力信号は、以上のようにして求められ、入出力信
号レジスタ51, 52および53に保持される。次に、出力層
75の多入力一出力回路71および72の出力を求める際に
は、リング長調節部61, 62および63が入出力信号レジス
タ51, 52および53の間で信号の転送が行われるようにリ
ング長を調節し、リング長を隠れ層の出力信号数（この
場合３）に一致させる。隠れ層74の多入力一出力回路6
8, 69および70の出力信号を求める際と同様に、積和及
び特性関数演算部55および56の並列動作によって、出力
層75の多入力一出力回路71および72の出力を求める。

【００１５】図13に、従来の学習機械において動作中の
演算部の時間変化を表すタイムチャートを示す。隠れ層
74の多入力一出力回路68, 69および70の積和を求めてい
るときには、積和及び特性関数演算部55, 56および57が
動作しており、このとき動作している積和及び特性関数
演算部の数は、隠れ層の多入力一出力回路の個数に一致
している。また、隠れ層74の多入力一出力回路68, 69お
よび70の積和を求めるのに要する時間は、

【００１６】

【数５】マシン・サイクル × 入力層信号数 である。次に、隠れ層の多入力一出力回路の特性関数を
求める。この際に動作している積和及び特性関数演算部
の個数は、隠れ層の多入力一出力回路の個数に等しい。
出力層75の多入力一出力回路71および72の積和を求めて
いるときには、積和及び特性関数演算部55および56が動
作しており、このとき動作している積和及び特性関数演
算部の数は、出力層の多入力一出力回路の個数に一致し
ている。また、出力層74の多入力一出力回路71および72
の積和を求めるのに要する時間は、

【００１７】

【数６】マシン・サイクル × 隠れ層信号数 である。次に、出力層の多入力一出力回路の特性関数を
求める。この際に動作している積和及び特性関数演算部
の個数は、出力層の多入力一出力回路の個数に等しい。
次に出力層の重み変更を行う。以上の動作によって、入
力信号から出力信号が得られるまでに要する時間は

【００１８】

【数７】 マシン・サイクル × （入力層信号数＋隠れ層信号数） ＋隠れ層の特性関数演算時間 ＋出力層の特性関数演算時間 である。

【００１９】出力層の重み変更は、積和及び特性関数演
算部55および56における演算によって行われ、重みの変
更量を求めて重みの更新を行う。さらに隠れ層の逆伝搬
変数δを求める。この出力層の重み変更および隠れ層の
逆伝搬変数δを求めるのに要する時間は

【００２０】

【数８】マシン・サイクル × 隠れ層信号数 × ３ である。次に、隠れ層の重み変更を行う。隠れ層の重み
変更は、積和及び特性関数演算部55、56および57におけ
る演算によって行われ、これに要する時間は

【００２１】

【数９】マシン・サイクル × 入力層信号数 × ２ である。以上のようにして、出力層の出力信号が得られ
た時点から、重み変更が完了するまでに要する時間は

【００２２】

【数１０】マシン・サイクル × （３×隠れ層信号数
＋ ２×入力層信号数） である。

【００２３】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、隠れ層の多入力一出力回路の個数に等し
い積和演算器が同時に動作することによって求められて
いるため、積和演算器は、隠れ層もしくは出力層の多入
力一出力回路の個数だけ、複数個必要であり、回路規模
が大きくなるという課題を有していた。

【００２４】また、並列動作する積和及び特性関数演算
部の個数は、隠れ層もしくは出力層の多入力一出力回路
の個数に等しいので、隠れ層の多入力一出力回路の個数
もしくは出力層の多入力一出力回路の個数が、あらかじ
め用意された積和及び特性関数演算部の個数（従来例で
は３）を越えるような学習機械を構成することはできな
いという課題を有していた。

【００２５】また、積和及び特性関数演算部で、重み変
更量の算出、重みの更新、隠れ層の逆伝搬変数δの算出
を順次に行っていたので、重み変更に要する時間が長い
という課題を有していた。

【００２６】かかる点に鑑み、第１の発明は、特性関数
演算器を１個だけとし、回路規模の小さな学習機械を提
供することを目的とする。

【００２７】第２の発明は、短い時間で重みを変更する
ことができる学習機械を提供することを目的とする。

【００２８】第３の発明は、入力信号の数、隠れ層の多
入力一出力回路の個数、出力層の多入力一出力回路の個
数が、いかなる数であっても、簡単な設定の変更で実現
できる学習機械を提供することを目的とする。

【００２９】

【課題を解決するための手段】第１の発明は、縦続接続
された複数の入出力信号レジスタと、入力信号に掛ける
重みを記憶している複数の重み記憶部と、前記入出力信
号レジスタの出力信号と前記重み記憶部に記憶されてい
る重みとの積および積和を出力する複数の積和演算部
と、前記積和演算部が出力する積和に対して飽和特性を
持つ信号を出力する単一の特性関数演算部とを備えた学
習機械である。

【００３０】第２の発明は、縦続接続された複数の入出
力信号レジスタと、入力信号に掛ける重みを記憶してい
る複数の重み記憶部と、前記入出力信号レジスタの出力
信号と前記重み記憶部に記憶されている重みとの積およ
び積和を出力する複数の積和演算部と、前記積和演算部
が出力する積和に対して飽和特性を持つ信号を出力する
単一の特性関数演算部と、前記特性関数演算部の出力信
号と教師信号とをもとに出力層の逆伝搬変数δを計算す
る出力層δ算出部と、前記積和演算部の出力する積をも
とに隠れ層の逆伝搬変数δを計算する隠れ層δ算出部
と、前記入出力信号レジスタの出力と前記出力層δ算出
部の出力と前記隠れ層δ算出部の出力とをもとに重みの
変更量を求める重み変更部とを備えた学習機械である。

【００３１】第３の発明は、第１または第２の発明の構
成において、入力信号に対して飽和特性を持つ信号を出
力する特性関数演算器と、複数の積和演算部の出力信号
を選択して前記特性関数演算器に入力する入力選択部
と、前記特性関数演算器の出力信号を適当な時間だけ遅
延させて出力する遅延部とからなる特性関数演算部を備
えた学習機械である。

【００３２】

【作用】第１の発明は前記した構成により、縦続接続さ
れた入出力信号レジスタで入力信号が順次転送され、重
み記憶部が入力信号にかける重みを出力し、複数の積和
演算部が並列動作することによって、入出力信号レジス
タの信号と重み記憶部に記憶されている重みの積和を求
める。複数の積和演算部のうちの第１の積和演算部が最
初に積和の演算を終了し、次のマシン・サイクルにおい
て第２の積和演算部が積和演算を終了するように動作す
る。単一の特性関数演算部は、１個の特性関数演算器に
よって、これらの複数の積和演算部から出力される積和
に、飽和特性を持つ関数（特性関数）を順次掛ける。こ
のようにして求められた隠れ層の多入力一出力回路の出
力信号が、縦続接続された入出力信号レジスタに順次ロ
ードされ、再び積和演算部の並列動作により、積和が順
次求められ、単一の特性関数演算部で１個の積和演算器
で積和に対する特性関数を順次求め、出力層の多入力一
出力回路の出力信号を得る。

【００３３】第２の発明は前記した構成により、入出力
信号レジスタ、重み記憶部および積和演算部、特性関数
演算部に関しては、第１の発明と同様の作用により、隠
れ層および出力層の多入力一出力回路の出力信号を出力
する。出力層δ算出部は、出力層の多入力一出力回路に
おける逆伝搬変数δを求め、縦続接続された入出力信号
レジスタに順次転送する。全ての出力層の多入力一出力
回路の逆伝搬変数δが、入出力信号レジスタに設定され
たとき、重み記憶部は、隠れ層の第１の多入力一出力回
路と出力層の多入力一出力回路の結合の大きさを表す重
みを出力する。複数の積和演算部は、出力層の多入力一
出力回路の逆伝搬変数δに、隠れ層の第１の多入力一出
力回路と出力層の多入力一出力回路の結合の大きさを表
す重みを掛けた積を、同時に隠れ層δ算出部に出力す
る。隠れ層δ算出部では、これら複数の積の和に、隠れ
層の第１の多入力一出力回路における特性関数の微係数
を掛け、隠れ層の第１の多入力一出力回路における逆伝
搬変数δを求める。同時に複数の重み変更部は、隠れ層
の第１の多入力一出力回路と出力層の多入力一出力回路
との結合の大きさを表わす重みの変更量を求め、重み記
憶部に出力する。重み記憶部では、重み変更部で求めら
れた重み変更量を重みに加え、重みを変更する。このよ
うに、隠れ層の第１の多入力一出力回路のδの算出と、
隠れ層の第１の多入力一出力回路と出力層の多入力一出
力回路との結合の大きさを表わす重みの変更とが、同時
に行われる。以後、この繰り返しにより、隠れ層の全て
の多入力一出力回路の逆伝搬変数δおよび隠れ層の多入
力一出力回路と出力層の多入力一出力回路との結合の大
きさを表わす重みの変更が行われる。隠れ層の多入力一
出力回路の逆伝搬変数δは縦続接続された入出力信号レ
ジスタに順次転送される。全ての隠れ層の多入力一出力
回路の逆伝搬変数δが、入出力信号レジスタに設定され
たとき、複数の重み変更部および重み記憶部によって、
入力層の第１の多入力一出力回路と隠れ層の多入力一出
力回路との結合の大きさを表わす重みが変更される。こ
の繰り返しにより、入力層の多入力一出力回路と隠れ層
の多入力一出力回路との結合の大きさを表わす重みの変
更量が求められる。

【００３４】第３の発明は前記した構成により、入出力
信号レジスタ、重み記憶部および積和演算部に関して
は、第１の発明と同様の作用により、複数の積和演算部
が１マシン・サイクル毎に積和を順次出力する。単一の
特性関数演算部では、入力選択部が複数の積和演算部の
出力を順次選択して１個の特性関数演算器に入力し、特
性関数演算器は入力された積和に対して飽和特性を持つ
信号を出力し、遅延部は特性関数演算器の出力信号を適
当な時間だけ遅延させて出力する。遅延部における信号
の遅延時間は、隠れ層の全ての多入力一出力回路の積和
が積和演算部で演算され、しかも積和演算部の空き時間
が最小となる時間とする。隠れ層の多入力一出力回路の
出力信号は、前述のように遅延部で適当な時間だけ遅延
された後、縦続接続された入出力レジスタに順次ロード
される。このような隠れ層の多入力一出力回路の出力を
求める動作と同様にして、出力層の多入力一出力回路の
出力信号が求められる。この際の遅延部における信号の
遅延時間は、いくらでもよい。以上によって、入力信号
の数、隠れ層の多入力一出力回路の個数、出力層の多入
力一出力回路の個数が、いかなる数であっても学習機械
を構成できる。

【００３５】

【実施例】図１は第２の発明の実施例における学習機械
の構成図を示すものである。図１において、1、2および
3は入出力信号レジスタ、4、5および6は積和演算部、
7、8および9は重み記憶部、10は特性関数演算部、11は
信号切替部、12は入力信号レジスタ、31、32および33は
重み変更部、34は隠れ層δ算出部、35は出力層δ算出部
である。図１に示されるように、本実施例の学習機械
は、入出力信号レジスタ1、2および3の縦続接続で構成
される。本実施例の学習機械の模式図は、図10に示され
るもので、多入力一出力回路を階層状に接続した構成
で、模式的に表すことができる。本実施例は、入力層73
が４個の入力端子からなり、隠れ層74が３個の多入力一
出力回路からなり、出力層75が２個の多入力一出力回路
からなる学習機械である。各層の多入力一出力回路68,
69, 70, 71および72は、複数の入力信号に対して、それ
ぞれ個別の重みを掛け、それら積の和に対して、飽和特
性を持つ信号を出力する。

【００３６】図１の本実施例の構成図において、重み記
憶部7は隠れ層の第３の多入力一出力回路70で掛けられ
る重みを記憶しており、重み記憶部8は隠れ層の第２の
多入力一出力回路69および出力層の第２の多入力一出力
回路72で掛けられる重みを記憶しており、重み記憶部9
は隠れ層の第１の多入力一出力回路68および出力層の第
１の多入力一出力回路71で掛けられる重みを記憶してい
る。入力信号レジスタ12には、入力端子64, 65, 66およ
び67から入力される信号が順次ロードされる。信号切替
部11は、入力信号レジスタ12の出力信号を、入出力信号
レジスタ3に転送するように設定されている。入出力信
号レジスタ3に保持されている信号は、次のマシン・サ
イクルには入出力信号レジスタ2に転送され、入出力信
号レジスタ2に保持されている信号は、次のマシン・サ
イクルには入出力信号レジスタ1に転送されるというよ
うに、入出力信号レジスタ3、2および1に保持されてい
る信号は順次転送される。積和演算部4、5、および6
は、重み記憶部7、8および9が記憶している重みと、入
出力信号レジスタ1、2および3が保持している信号との
積和を求める。特性関数演算部10は、積和演算部4、5お
よび6が出力する積和に対して、（数１）にしたがって
飽和特性を持つ信号を出力する。特性関数演算部10の出
力信号は、信号切替部11に出力される。この時、信号切
替部11は、特性関数演算部10の出力を入出力信号レジス
タ3に転送するように設定されている。

【００３７】図２に積和演算部4、5および6の構成図を
示す。図２において、13は乗算部、14は加算部、15は積
和レジスタ、16は信号入力端子、17は重み入力端子、18
は積和出力端子、36は積出力端子である。積和演算部
4、5および6の動作を以下に示す。積和レジスタ15に保
持されている信号は零で初期化される。乗算部13は信号
入力端子16から入力される信号と重み入力端子17から入
力される重みとの積を加算部14に出力し、加算部14は乗
算部13が出力する積と積和レジスタ15が保持している積
和との和を求め、積和レジスタ15に出力する。このよう
な積と和を求める動作の繰り返しにより、積和レジスタ
には、信号入力端子16から入力される信号と、重み入力
端子17から入力される重みとの積和が保持され、積和出
力端子18から、入力信号と重みとの積和が出力される。

【００３８】図３は、隠れ層74の多入力一出力回路68,
69および70の出力を求める際の、積和演算部4、5および
6の並列動作の説明図である。図３において、ｘ_i（1 ≦
i ≦ 4）は入力信号であり、ｗ_ji（1 ≦ i ≦ 4,1 ≦
j ≦ 3）は入力信号ｘ_iに対して隠れ層74の第ｊ番目の
多入力一出力回路で掛けられる重みである。重み記憶部
7は隠れ層の第３の多入力一出力回路70で掛けられる重
みｗ_3i（1 ≦ i ≦ 4）を記憶しており、重み記憶部8は
隠れ層の第２の多入力一出力回路69で掛けられる重みｗ
_2i（1 ≦ i ≦ 4）を記憶しており、重み記憶部9は隠れ
層の第１の多入力一出力回路68で掛けられる重みｗ
_1i（1 ≦ i ≦ 4）を記憶している。まず、入力信号レ
ジスタ12に入力信号ｘ₁がロードされ、信号切替部11は
入力信号レジスタ12の出力を入出力信号レジスタ3に転
送するように設定されている。積和演算部4、5および6
の積和レジスタは零で初期化される。次のマシン・サイ
クルにおける積和演算部6の動作を、図３の(a)に示す。
積和演算部6は、重み記憶部9に記憶されている重みｗ₁₁
と入出力信号レジスタ3に保持されている入力信号ｘ₁と
の積を求め、積和演算部6の積和レジスタに保持する。
この時同時に、入力信号レジスタ12に入力信号ｘ₂がロ
ードされる。その次のマシン・サイクルにおける積和演
算部5および6の並列動作を、図３の(b)に示す。積和演
算部6は、入出力信号レジスタ3に保持されている信号ｘ
₂と重み記憶部9に記憶されている重みｗ_{1 2}との積ｗ₁₂ｘ
₂を求め、積和レジスタに保持されているｗ₁₁ｘ₁との和

【００３９】

【数１１】

【００４０】を積和レジスタに保持する。同時に、積和
演算部5は、

【００４１】

【数１２】ｗ₂₁ｘ₁を積和レジスタに保持する。この時
同時に、入力信号レジスタ12に入力信号ｘ₃がロードさ
れる。以下同様に、入力信号レジスタ12および入出力信
号レジスタ3、2、1に保持されている信号は順次転送さ
れ、積和演算部6、5および4は、重み記憶部9、8および7
に記憶されている重みと入出力信号レジスタ3、2および
1に保持されている信号との積和を求める（図３(c),(d)
参照）。積和演算部6が

【００４２】

【数１３】

【００４３】を求める（図３(d)参照）と、次のマシン
・サイクルに積和演算部5が

【００４４】

【数１４】

【００４５】を求め、次のマシン・サイクルに積和演算
部4が

【００４６】

【数１５】

【００４７】を求める。このように、積和演算部6、5お
よび4は、１マシン・サイクルずつ遅れて、隠れ層の多
入力一出力回路における積和を特性関数演算部10に出力
する。特性関数演算部10では、入力された積和に対して
（数２）で表される飽和特性を持つ信号を求め、隠れ層
の多入力一出力回路の出力値

【００４８】

【数１６】

【００４９】および

【００５０】

【数１７】

【００５１】および

【００５２】

【数１８】

【００５３】を、順次１マシン・サイクルずつ遅れて、
信号切替部11に出力する。隠れ層74の多入力一出力回路
68, 69および70の出力信号は、以上のようにして求めら
れる。

【００５４】信号切替部11は、隠れ層74の出力信号が特
性関数演算部10から入力されると、特性関数演算部10の
出力信号が入出力信号レジスタ3に転送されるように、
設定される。これにより、特性関数演算部10の出力ｙ_j
（1 ≦ j ≦ 3）が、入出力信号レジスタ3に順次転送さ
れる。図10に示されるように、出力層を構成する多入力
一出力回路は２個なので、積和演算部6および5の並列動
作によって、出力層の多入力一出力回路の積和が求ま
る。即ち、重み記憶部8は出力層の第２の多入力一出力
回路72で掛けられる重みｖ_2j（1 ≦ j ≦ 3）を記憶し
ており、重み記憶部9は出力層の第１の多入力一出力回
路68で掛けられる重みｖ_1j（1 ≦ j ≦ 3）を記憶して
おり、積和演算部6が

【００５５】

【数１９】

【００５６】を特性関数演算部１０に出力してから、１
マシン・サイクル遅れて、積和演算部5が

【００５７】

【数２０】

【００５８】を特性関数演算部10に出力する。特性関数
演算部10は、順次入力される積和に対して（数２）で表
される特性関数を掛けて、出力層の多入力一出力回路の
出力値

【００５９】

【数21】

【0060】および

【００６１】

【数２２】

【００６２】を、１マシン・サイクルずつ遅れて出力層
δ算出部35に出力する。出力層75の多入力一出力回路71
および72の出力信号は、以上のようにして求められる。

【００６３】特性関数演算部10で求められた出力層75の
多入力一出力回路71および72の出力信号は、出力層δ算
出部35に順次入力される。出力層δ算出部35は、出力層
の多入力一出力回路の出力信号ｚ_k（1 ≦ k ≦ 2）と、
教師信号ｔ_k（1 ≦ k ≦ 2）とをもとに、（数23）に従
って、出力層の多入力一出力回路の逆伝搬変数δを求め
る。

【００６４】

【数２３】 （数23）において、δ^o _kは出力層の第ｋ番目の多入力一
出力回路の逆伝搬変数、ｚ_kはその多入力一出力回路の
出力信号、ｔ_kはその多入力一出力回路の教師信号、ｚ'
_kはその多入力一出力回路の特性関数の微分値である。
以上のようにして、出力層の多入力一出力回路の逆伝搬
変数δが求められる。

【００６５】図４は、隠れ層の多入力一出力回路の逆伝
搬変数δを求め、隠れ層の多入力一出力回路と出力層の
多入力一出力回路との結合の大きさを表わす重みの変更
を行う際の、積和演算部5、6および重み変更部32、33の
並列動作の説明図である。図４において、ｙ_j（1 ≦ ｊ
≦ 3）は隠れ層の多入力一出力回路の出力信号であり、
ｖ_kj（1 ≦ ｊ≦ 3, 1 ≦ k ≦ 2）は隠れ層の多入力一
出力回路の出力信号ｙ _jに対して出力層75の第ｋ番目の
多入力一出力回路で掛けられる重みである。まず、出力
層の多入力一出力回路の逆伝搬変数であるδ^o _k（1 ≦ k
≦2）が、δ^o ₂、δ^o ₁の順に出力層δ算出部35から信号
切替部11に出力される。このとき、信号切替部11は、出
力層δ算出部35の出力を入出力信号レジスタ3に転送す
るように設定されている。δ^o ₂、δ^o ₁の順に、入出力信
号レジスタ3および2に転送される。入出力信号レジスタ
2にδ^o ₂が保持され、入出力信号レジスタ3にδ^o ₁が保持
された時点で、入出力信号レジスタ間の信号の転送は停
止される。前述のように、重み記憶部8は出力層の第２
の多入力一出力回路72と隠れ層の多入力一出力回路との
結合の大きさを表わす重みｖ_2j（1 ≦ j ≦ 3）を記憶
しており、重み記憶部9は出力層の第１の多入力一出力
回路68と隠れ層の多入力一出力回路との結合の大きさを
表わす重みｖ_1j（1 ≦ j ≦ 3）を記憶している。この
マシン・サイクルにおける積和演算部5、6および重み変
更部32、33の並列動作の説明図を図４（ａ）に示す。積
和演算部6を構成する乗算部13は、入出力信号レジスタ3
の出力するδ^o ₁と重み記憶部9が出力するｖ₁₁を掛け合
わせて、隠れ層δ算出部34に出力する。同時に、積和演
算部5を構成する乗算部13は、入出力信号レジスタ2の出
力するδ^o ₂と重み記憶部8が出力するｖ₂₁を掛け合わせ
て、隠れ層δ算出部34に出力する。隠れ層δ算出部34で
は、これら２つの積ｖ₁₁δ^o ₁とｖ₂₁δ^o ₂の和を求め、さ
らに隠れ層の第１の多入力一出力回路の特性関数の微係
数ｙ'₁を掛け合わせて、隠れ層の第１の多入力一出力回
路の逆伝搬変数

【００６６】

【数２４】

【００６７】を求める。同時に、重み変更部33および32
には、特性関数演算部10から隠れ層の第１の多入力一出
力回路の出力値ｙ₁が入力される。重み変更部33では、
入出力信号レジスタ3に保持されている逆伝搬変数δ^o ₁
に学習率εを掛け、さらに隠れ層の第１の多入力一出力
回路の出力値ｙ₁をかけて、隠れ層の第１の多入力一出
力回路と出力層の第１の多入力一出力回路との結合の大
きさを表わすｖ₁₁の変更量

【００６８】

【数２５】Δｖ₁₁＝εδ^o ₁ｙ₁ を求める。同時に重み変更部32ではｖ₂₁の変更量

【００６９】

【数２６】Δｖ₂₁＝εδ^o ₂ｙ₁ を求める。重み記憶部9および8では、重み変更部33およ
び32の出力する重みの変更量Δｖ₁₁およびΔｖ₂₁をもと
に、重みｖ₁₁およびｖ₂₁を変更する。以後のマシン・サ
イクルにおいては、図４（ｂ）（ｃ）に示されるよう
に、入力信号レジスタ3および2には出力層の多入力一出
力回路の逆伝搬変数であるδ^o ₁およびδ^o ₂が保持された
まま、特性関数演算部10が隠れ層の多入力一出力回路の
出力値ｙ₂、ｙ₃を順次出力し、重み記憶部33および32は
対応する重みを順次出力する。先ほどのマシン・サイク
ルと同様の動作により、隠れ層δ算出部34は

【００７０】

【数２７】

【００７１】を順次求め、重み記憶部9および8において
は、重みｖ_kj（2 ≦ j ≦ 3, 1 ≦ k ≦ 2）を順次変更
する。以上のようにして、隠れ層の多入力一出力回路の
逆伝搬変数δを求め、隠れ層の多入力一出力回路と出力
層の多入力一出力回路との結合の大きさを表わす重みの
変更を行う。

【００７２】図５は、入力層の入力端子と隠れ層の多入
力一出力回路との結合の大きさを表わす重みの変更を行
う際の、重み変更部31、32および33の並列動作の説明図
である。図５において、ｘ_i（1 ≦i ≦ 4）は入力端子
からの入力信号であり、ｗ_ji（1 ≦ i ≦ 4, 1 ≦ ｊ≦
3）は入力信号ｘ_iに対して隠れ層74の第ｊ番目の多入
力一出力回路で掛けられる重みである。まず、隠れ層の
多入力一出力回路の逆伝搬変数であるδ^h _j（1 ≦ j ≦
3）が、δ^h ₃、δ^h ₂、δ^h ₁の順に隠れ層δ算出部34から
信号切替部11に出力される。このとき、信号切替部11
は、隠れ層δ算出部34の出力を入出力信号レジスタ3に
転送するように設定されている。δ^h ₃、δ^h ₂、δ^h ₁の順
に、入出力信号レジスタ3、2および1に転送される。入
出力信号レジスタ1にδ^h ₃が保持され、入出力信号レジ
スタ2にδ^h ₂が保持され、入出力信号レジスタ3にδ^h ₁が
保持された時点で、入出力信号レジスタ間の信号の転送
は停止される。次のマシン・サイクルにおける重み変更
部31、32、33の並列動作の説明図を図５（ａ）に示す。
重み変更部33、32および31には、入力信号レジスタ12か
ら第１の入力信号ｘ₁が入力される。重み変更部33で
は、入出力信号レジスタ3に保持されているδ^h ₁に学習
率εを掛け、さらに第１の入力信号ｘ₁をかけて、入力
層の第１の入力端子と隠れ層の第１の多入力一出力回路
との結合の大きさを表わすｗ₁₁の変更量

【００７３】

【数２８】Δｗ₁₁＝εδ^h ₁ｘ₁ を求める。同時に重み変更部32および31ではｗ_j1（2≦
j ≦ 3）の変更量

【００７４】

【数２９】Δｗ_j1＝εδ^h _jｘ₁ を求める。重み記憶部9、8および7では、重み変更部3
3、32および31の出力する重みの変更量Δｗ_j1（1 ≦ j
≦ 3）をもとに、重みｗ_j1（1 ≦ j ≦ 3）を変更す
る。次のマシン・サイクル以後における重み変更部31、
32、33の並列動作の説明図を図５（ｂ）に示す。重み変
更部33、32および31に、入力信号レジスタ12から第ｉ番
目の入力信号ｘ_i（2 ≦ i ≦ 4）が入力され、ｗ_jiの変
更量

【００７５】

【数３０】Δｗ_ji＝εδ^h _jｘ_i （2≦ i ≦ 4, 1 ≦
j ≦ 3） が求められる。重み記憶部9、8および7では、重み変更
部33、32および31の出力する重みの変更量Δｗ_ji（2 ≦
i ≦ 4, 1 ≦ j ≦ 3）をもとに、重みｗ_jiを変更す
る。以上のようにして、入力層の入力端子と隠れ層の多
入力一出力回路との結合の大きさを表わす重みの変更を
行う。

【００７６】図６に、本実施例の学習機械において動作
中の演算部の時間変化を表すタイムチャートを示す。入
力信号は、入力信号レジスタ12から順次入力されるの
で、最初のマシン・サイクルでは、積和演算部6のみが
動作しており（図３(a)参照）、次のマシン・サイクル
では積和演算部6および5が動作している（図３(b)参
照）。このようにして、並列動作する積和演算部の個数
は、マシン・サイクル毎に1、2、3、3と変化し（図３参
照）、この時点で、積和演算部6が（数13）で表わされ
る積和を出力し、次のマシン・サイクルで、特性関数演
算部10が、（数13）で表わされる積和に対する特性関数
を（数16）に従って求める。このとき、入出力レジスタ
3には、有効な信号が保持されていないので、積和演算
部6は、演算を行わない。したがって、このマシン・サ
イクルで並列動作している積和演算部の個数は、２であ
る。このようにして、隠れ層の第１の多入力一出力回路
の出力が求まるまでに要する時間は、

【００７７】

【数３１】マシン・サイクル×（入力層信号数＋１） である。

【００７８】次のマシン・サイクルにおいては、特性関
数演算部10は（数14）に対する特性関数を（数17）に従
って求め、入出力信号レジスタ3は、隠れ層の第１の多
入力一出力回路の出力信号を保持しており、積和演算部
6は、出力層の第１の多入力一出力回路の積和演算を開
始している。このとき、入出力信号レジスタ2には有効
な信号が保持されておらず、積和演算部5は動作してい
ない。また、積和演算部4は（数15）で表わされる積和
を計算している。したがって、このマシン・サイクルで
並列動作している積和演算部の個数は、２である。次の
マシン・サイクルから、入出力信号レジスタ3および2
で、隠れ層の多入力一出力回路の出力信号が順次転送さ
れる。並列動作する積和演算部の個数は、マシン・サイ
クル毎に2、2となり、この時点で、積和演算部6が（数1
9）で表わされる積和を出力する。次のマシン・サイク
ルで、特性関数演算部10が、（数19）で表わされる積和
に対する特性関数を（数21）に従って求める。このと
き、入出力レジスタ3には、有効な信号が保持されてい
ないので、積和演算部6は、演算を行わない。したがっ
て、このマシン・サイクルで並列動作している積和演算
部の個数は、１である。この後、さらに（数20）で表わ
される積和に対する特性関数を（数22）に従って求める
のに、１マシン・サイクルを要する。このようにして、
出力層の全ての多入力一出力回路の出力が求まるまでに
要する時間は、

【００７９】

【数３２】マシン・サイクル×（隠れ層信号数＋出力層
信号数） である。

【００８０】次に、出力層δ算出部35で、出力層の多入
力一出力回路の逆伝搬変数を、δ^o ₁、δ^o ₂の順に求め
る。求められた逆伝搬変数は、順序を逆にして、δ^o ₂、
δ^o ₁の順に入出力信号レジスタに転送される。次のマシ
ン・サイクルにおいて、隠れ層の第１の多入力一出力回
路の逆伝搬変数を求め、同時に隠れ層の第１の多入力一
出力回路と出力層の多入力一出力回路との結合の大きさ
を表わす重みの変更を行う（図４(a)参照）。この時に
動作している演算部は、積和演算部6、5および隠れ層δ
算出部34および重み変更部33、32である。このようにし
て、出力層の逆伝搬変数が入出力信号レジスタに転送さ
れ、隠れ層の逆伝搬変数が求められるまでに要する時間
は、

【００８１】

【数３３】マシン・サイクル×（隠れ層信号数＋出力層
信号数＋１） である。

【００８２】このようにして求められた隠れ層の多入力
一出力回路の逆伝搬変数は、δ^h ₃、δ^h ₂、δ^h ₁の順に入
出力信号レジスタに転送される。次のマシン・サイクル
において、入力層の第１の入力端子と隠れ層の多入力一
出力回路との結合の大きさを表わす重みの変更を行う
（図５(a)参照）。この時に動作している演算部は、積
和演算部6、5、4および重み変更部33、32、31である。
このようにして、隠れ層の逆伝搬変数が入出力信号レジ
スタに転送され、入力層と隠れ層を結合する重みが変更
されるまでに要する時間は、

【００８３】

【数３４】マシン・サイクル × （入力層信号数＋隠れ
層信号数） である。

【００８４】以上のようにして、入力信号から出力層の
出力信号が求められるまでに要する時間は

【００８５】

【数３５】 マシン・サイクル × （入力層信号数＋隠れ層信号数＋出力層信号数＋１） である。また、出力層の出力信号を求めた時点から、重
み変更が完了する時点までに要する時間は

【００８６】

【数３６】マシン・サイクル ×｛（入力層信号数＋２×隠れ層信号数＋出力層信号数）＋１｝ である。

【００８７】以上のように本実施例によれば、入力信号
レジスタ12から、入力信号を順次入力し、入出力信号レ
ジスタ3、2および1で、信号を順次転送することによ
り、並列演算を行う積和演算部6、5および4が、それぞ
れの多入力一出力回路の積和を１マシン・サイクルずつ
遅れて出力し、特性関数演算部10は１個でよい。本実施
例においては、入力信号から出力信号を得るまでには
（数35）に示される時間を要する。従来例で（数７）の
時間を要していたのに比較して、特性関数演算部の個数
の削減による、出力信号算出時間の増加は

【００８８】

【数３７】 マシン・サイクル × （出力層信号数＋１） −（隠れ層の特性関数演算時間＋出力層の特性関数演算時間） である。従来の学習機械において、隠れ層の特性関数演
算時間および出力層の特性時間演算時間にそれぞれ１マ
シン・サイクルを要するものとし、本実施例および従来
例において出力層信号数が２であることを代入すると、
出力信号算出時間の増加は１マシン・サイクルである。
このように、従来よりも規模の小さな学習機械を、出力
信号が得られるまでの時間の少ない増加で実現できるこ
とが、本実施例の第１の効果である。

【００８９】本実施例の第２の効果は、積和演算部4、
5、6および重み変更部31、32、33および隠れ層δ算出部
34の並列動作により、出力層の出力信号を求めた時点か
ら、重み変更が完了する時点までに要する時間を短縮で
きることである。出力層の出力信号を求めた時点から、
重み変更が完了する時点までに要する時間は、従来例で
は（数10）であったのに対して、本実施例では（数36）
にまで短縮される。（数10）および（数36）に、入力層
信号数が４、隠れ層信号数が３、出力層信号数が２であ
ることを代入すると、短縮される時間は、

【００９０】

【数３８】マシン・サイクル × ４ である。

【００９１】なお、本実施例では、積和演算部6は、出
力層の第１の多入力一出力回路の積和として（数19）を
求めているが、

【００９２】

【数３９】

【００９３】を求めてもよい。ただし、ｖ₁₀は出力層の
第１の多入力一出力回路の閾値である。このような演算
を行う場合には、ｙ₁が入出力信号レジスタ3に保持され
る前のマシン・サイクルにおいて、入力信号レジスタ12
から信号切替部11を通して、入出力信号レジスタ3に１
を転送し、積和演算部6で、１とｖ₁₀との積を求める。
このような動作によれば、図６において、特性関数演算
のための空き時間は無くなる。

【００９４】また、本実施例では、出力層δ算出部35で
求められた逆伝搬変数をδ^o ₂、δ^o ₁の順で入出力信号レ
ジスタ3に転送したが、δ^o ₁、δ^o ₂の順で入出力信号レ
ジスタ2に転送し、次のマシン・サイクルにおいて逆伝
搬変数δを入出力信号レジスタ2から入出力信号レジス
タ3に転送してもよい。このような動作によれば、図６
において、δ転送のための空き時間は無くなる。この方
法によると、出力層の出力信号を求めた時点から、重み
変更が完了する時点までに要する時間は

【００９５】

【数４０】マシン・サイクル × （入力層信号数＋隠れ
層信号数） にまで、短縮できる。従来例で要していた時間（数10）
と（数40）とを比較し、、入力層信号数が４、隠れ層信
号数が３、出力層信号数が２であることを代入すると、
短縮される時間は、

【００９６】

【数４１】マシン・サイクル × １０ である。

【００９７】図７は、図１の全体構成をもつ第３の発明
の実施例の学習機械における、特性関数演算部10の構成
図である。図７において、19は入力選択部、20は特性関
数演算器、21は遅延部、22は第１の積和入力端子、23は
第２の積和入力端子、24は第３の積和入力端子である。
第３の発明の実施例においては、第２の発明の実施例に
対して、特性関数演算部10が遅延部21を備えていること
が特徴である。

【００９８】本実施例の効果は、遅延部21における遅延
時間を調整することにより、入力信号数、隠れ層および
出力層の多入力一出力回路の個数が異なるさまざまな構
成の学習機械を実現できることである。遅延時間を零と
したときに、入力信号４、隠れ層の多入力一出力回路
３、出力層の多入力一出力回路２の学習機械を実現でき
ることは、第２の発明の実施例に関して説明した動作と
同じ動作で実現できる。

【００９９】そこで、以下の本実施例の動作説明では、
同じ構成で遅延部21の遅延時間を調整することにより、
入力信号数４、隠れ層の多入力一出力回路４、出力層の
多入力一出力回路２の学習機械を、実現できることを示
す。

【０１００】図７に、本実施例の学習機械において動作
中の演算部の時間変化を表すタイムチャートを示す。４
個の入力信号が、入力信号レジスタ12から順次入力され
るので、最初のマシン・サイクルでは、積和演算部6の
みが動作しており、次のマシン・サイクルでは積和演算
部6および5が動作している。このようにして、積和演算
部6、5および4は隠れ層の第１、第２および第３の多入
力一出力回路における積和を演算する。並列動作する積
和演算部の個数は、マシン・サイクル毎に1、2、3、3と
変化し、この時点で、積和演算部6が積和

【０１０１】

【数４２】

【０１０２】を出力する。隠れ層の第４の多入力一出力
回路の積和を演算するために、次のマシン・サイクル
で、入力信号レジスタ12から入力信号ｘ₁が、 信号切替
部11を通して再び入出力信号レジスタ3に転送される。
同時に、入力信号レジスタ12には、入力信号ｘ₂がロー
ドされる。このマシン・サイクルにおいて、特性関数演
算部10では、入力選択部19によって、積和演算部6の出
力（数42）が選択され、特性関数演算器20が、この積和
に対する特性関数を演算する。このマシン・サイクルに
おいては、信号切替部11は入力信号レジスタ12からの信
号を入出力信号レジスタ3に転送するように設定されて
いるので、特性関数演算器20の出力は、信号切替部11が
特性関数演算部10の出力を入出力信号レジスタ3に転送
するように設定されるまで、遅延部21によって遅延され
る。このような遅延は、隠れ層74の多入力一出力回路の
個数（４個）が、積和演算器の個数（３個）よりも多い
ために、積和演算器の２回以上の並列動作で隠れ層の多
入力一出力回路の積和を求める場合に、必要となる。こ
の場合、入力信号が、入力信号レジスタ12から２回以上
入出力信号レジスタ3に転送され、この転送の間、先に
求められた隠れ層の多入力一出力回路の出力が、特性関
数演算部10に保持されていることが必要である。次のマ
シン・サイクルから、特性関数演算部10において、入力
選択部19は、積和演算部5、4の出力を順次選択し、特性
関数演算器20はこれらの積和に対する特性関数を順次求
める。これらの特性関数の値（すなわち隠れ層の多入力
一出力回路の出力）は、信号切替部11が特性関数演算部
10の出力を入出力信号レジスタ3に転送するように設定
されるまで、遅延部21で順次遅延される。このようにし
て、積和演算部6が隠れ層の第４の多入力一出力回路の
積和を演算している間は、積和演算部5および4は、隠れ
層の第２および第３の多入力一出力回路の出力を求めた
後、動作しない。このようにして、入力信号から隠れ層
の全ての多入力一出力回路の積和が求まるまでに要する
時間は、

【０１０３】

【数４３】マシン・サイクル×入力層信号数×２ である。

【０１０４】積和演算部6が、隠れ層の第４の多入力一
出力回路の積和を演算し終わると、信号切替部11は特性
関数演算部10の出力を入出力信号レジスタ3に転送する
ように設定される。すなわち、次のマシン・サイクルに
おいて、特性関数演算部10が隠れ層の第４の多入力一出
力回路の積和に対する特性関数を演算すると同時に、入
出力信号レジスタ3に隠れ層の第１の多入力一出力回路
の出力が転送される。以後、入出力信号レジスタ3およ
び2で、隠れ層の多入力一出力回路の出力信号が順次転
送され、積和演算部6および5で出力層の多入力一出力回
路の積和が求められる。したがって、遅延部21における
遅延時間は隠れ層の第１、第２および第３の多入力一出
力回路の出力に対しては、

【０１０５】

【数４４】マシン・サイクル×３ であり、隠れ層の第４の多入力一出力回路の出力に対し
ては、

【０１０６】

【数４５】マシン・サイクル×２ である。特性関数演算部10で、出力層の多入力一出力回
路の積和に対して、（数２）で表される特性関数を順次
求め、出力層の多入力一出力回路の出力が求められる。
このようにして、隠れ層の全ての多入力一出力回路の積
和が算出された時点から、出力層の全ての多入力一出力
回路の出力を出力するまでに要する時間は

【０１０７】

【数４６】マシン・サイクル×(隠れ層信号数+出力層信号数) である。

【０１０８】隠れ層の多入力一出力回路の逆伝搬変数δ
の算出および隠れ層の多入力一出力回路と出力層の多入
力一出力回路の結合の大きさを表わす重みの変更につい
ては、第2の発明の実施例と同様に、図4に示される動作
によって行われる。隠れ層の多入力一出力回路の逆伝搬
変数は、δ^h ₃、δ^h ₂、δ^h ₁の順に入出力信号レジスタに
転送され、隠れ層の第１〜第３の多入力一出力回路と入
力層の入力端子との結合の大きさを表わす重みの変更に
ついては、第２の発明の実施例と同様に、図５に示され
る動作によって行われる。この後、隠れ層の第４の多入
力一出力回路の逆伝搬変数δが、入出力信号レジスタに
転送され、同様の動作によって、隠れ層の第４の多入力
一出力回路と入力層の入力端子との結合の大きさを表わ
す重みの変更が行われる。出力層の全ての重み変更が完
了した時点から、隠れ層の全ての重み変更が完了するま
でに要する時間は、

【０１０９】

【数４７】 マシン・サイクル × （２×入力層信号数＋隠れ層信号数） である。

【０１１０】以上のように本実施例によれば、入力信号
レジスタ12から、入力信号を順次入力し、入出力信号レ
ジスタ3、2および1で、信号を順次転送することによ
り、並列演算を行う積和演算部6、5および4が、それぞ
れの多入力一出力回路の積和を１マシン・サイクルずつ
遅れて出力し、特性関数演算部10は１個でよい。これに
より、学習機械の回路規模を、従来の学習機械に比べて
小さくすることができる。また、特性関数演算部10にお
いて、遅延部21が特性関数演算器20の出力に対する遅延
時間を調整することにより、入力信号数、隠れ層の多入
力一出力回路の数、出力層の多入力一出力回路の数が異
なる、さまざまな構成の学習機械を構成できる。

【０１１１】

【発明の効果】以上説明したように、第１の発明によれ
ば、特性関数演算部は１個でよく、学習機械の回路規模
を縮小できる。また第２の発明によれば、短い時間で重
みを変更することができる。また第３の発明によれば、
入力信号の数、隠れ層の多入力一出力回路の個数、出力
層の多入力一出力回路の個数が、いかなる数の学習機械
でも、簡単な設定の変更で実現できる。

【図面の簡単な説明】

【図１】第２の発明の実施例における学習機械の構成図

【図２】同実施例の積和演算部の構成図

【図３】同実施例における積和演算部の並列動作の説明
図

【図４】同実施例における積和演算部5、6および重み変
更部32、33の並列動作の説明図

【図５】同実施例における重み変更部31、32および33の
並列動作の説明図

【図６】同実施例の学習機械において動作中の演算部の
時間変化を表すタイムチャート

【図７】第３の発明の実施例における学習機械の構成図

【図８】同実施例の学習機械において動作中の演算部の
時間変化を表すタイムチャート

【図９】従来の学習機械の構成図

【図１０】学習機械の模式図

【図１１】従来の積和及び特性関数演算部の構成図

【図１２】従来の積和及び特性関数演算部の並列動作の
説明図

【図１３】従来の学習機械において動作中の演算部の時
間変化を表すタイムチャート

【符号の説明】

1, 2, 3 入出力信号レジスタ 4, 5, 6 積和演算部 10 特性関数演算部 11 信号切替部 20 特性関数演算器 21 遅延部 34 隠れ層δ算出部 35 出力層δ算出部 31, 32, 33 重み変更部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 〆木 泰治 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 縦続接続された複数の入出力信号レジス
   タと、入力信号に掛ける重みを記憶している複数の重み
   記憶部と、前記入出力信号レジスタの出力信号と前記重
   み記憶部に記憶されている重みとの積を出力するととも
   に、それぞれ異なるマシンサイクルにおいて積和を出力
   する複数の積和演算部と、前記積和演算部が出力する積
   和に対して飽和特性を持つ信号を前記それぞれ異なるマ
   シンサイクルにおいて出力する単一の特性関数演算部と
   を備えたことを特徴とする学習機械。
2. 【請求項２】 縦続接続された複数の入出力信号レジス
   タと、入力信号に掛ける重みを記憶している複数の重み
   記憶部と、前記入出力信号レジスタの出力信号と前記重
   み記憶部に記憶されている重みとの積を出力するととも
   に、それぞれ異なるマシンサイクルにおいて積和を出力
   する複数の積和演算部と、前記積和演算部が出力する積
   和に対して飽和特性を持つ信号を前記それぞれ異なるマ
   シンサイクルにおいて出力する単一の特性関数演算部
   と、前記特性関数演算部の出力信号と教師信号とをもと
   に出力層の逆伝搬変数δを計算する出力層δ算出部と、
   前記積和演算部の出力する積をもとに隠れ層の逆伝搬変
   数δを計算する隠れ層δ算出部と、前記入出力信号レジ
   スタの出力と前記出力層δ算出部の出力と前記隠れ層δ
   算出部の出力とをもとに重みの変更量を求める重み変更
   部とを備えたことを特徴とする学習機械。
3. 【請求項３】 入出力信号に対して飽和特性を持つ信号
   を出力する特性関数演算器と、複数の積和演算部の出力
   信号を選択して前記特性関数演算器に入力する入力選択
   部と、前記特性関数演算器の出力信号を適当な時間だけ
   遅延させて出力する遅延部とからなる特性関数演算部を
   備えたことを特徴とする請求項１または２に記載の学習
   機械。