JPH04229362A - 学習機械 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデータ処理装置の学習機
械に関するものである。

【０００２】

【従来の技術】従来の学習機械としては、例えば”ア　
ハ゜ラレル　ニューロコンヒ゜ュータ　アーキテクチャ
ー　トワース゛　ヒ゛リオン　コネクション　アッフ゜
テ゛イツ　ハ゜ー　セカント゛　（Ａ　Ｐａｒａｌｌｅ
ｌ　Ｎｅｕｒｏｃｏｍｐｕｔｅｒ　Ａｒｃｈｉｔｅｃｔ
ｕｒｅ　ｔｏｗａｒｄｓ　Ｂｉｌｌｉｏｎ　　Ｃｏｎｎ
ｅｃｔｉｏｎ　Ｕｐｄａｔｅｓ　Ｐｅｒ　Ｓｅｃｏｎｄ
）”，　インターナショナル　シ゛ョイント　コンファ
ーレンス　オン　ニューラル　ネットワーク　（Ｉｎｔ
ｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎ
ｃｅ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）（１９９
０年１月）に示されたものがある。

【０００３】図９はこの従来の学習機械の構成図を示す
ものであり、５１，　５２，　５３および５４は入出力
信号レジスタ、５５，　５６および５７は積和及び特性
関数演算部、５８，　５９および６０は重み記憶部、６
１，　６２および６３はリング長調節部である。図１０
は、図９に示される構成で実現される学習機械の模式図
である。図１０において、６４，　６５，　６６および
６７は入力端子、６８，　６９，　７０，　７１および
７２は多入力一出力回路、７３は入力層、７４は隠れ層
、７５は出力層である。 図１０に示されるように、学習機械は、多入力一出力回
路を階層状に接続した構成で、模式的に表すことができ
る。このように、階層状に接続された多入力一出力回路
のうち、出力信号を出力する多入力一出力回路から成る
層を出力層と呼び、それ以外の多入力一出力回路から成
る層を隠れ層と呼ぶ。入力端子からなる層を入力層と呼
ぶ。一般には、隠れ層は、一つの層をなす多入力一出力
回路によって構成されても良いし、複数の層をなす多入
力一出力回路によって構成されても良い。図１０は、隠
れ層が一つの層をなす多入力一出力回路によって構成さ
れている場合を示している。また、一般には、入力層を
構成する入力端子は何個でも良く、隠れ層および出力層
を構成する多入力一出力回路は何個でも良いが、図１０
は、入力層７３が４個の入力端子からなり、隠れ層７４
が３個の多入力一出力回路からなり、出力層７５が２個
の多入力一出力回路からなる学習機械を示している。各
層の多入力一出力回路６８，　６９，　７０，　７１お
よび７２は、複数の入力信号に対して、それぞれ個別の
重みを掛け、それら積の和に対して、飽和特性を持つ信
号を出力する。即ち、第ｊ番目の多入力一出力回路の出
力信号ｙｊは

【０００４】

【数１】

【０００５】で表される。ここに、ｘｉは前段の層の第
ｉ番目の多入力一出力回路の出力信号であり、ｗｊｉは
前段の層の第ｉ番目の多入力一出力回路の出力信号が第
ｊ番目の多入力一出力回路に入力される時に掛けられる
重みである。ｆｎｃ（）は飽和特性を持つシグモイド関
数で、例えば、ｘに対して

【０００６】

【数２】

【０００７】等を出力する。図９の従来の学習機械の構
成図において、重み記憶部５８，　５９および６０は、
図１０の模式図における多入力一出力回路６８，　６９
，　７０，　７１および７２で掛けられる重みを記憶し
ている。入出力信号レジスタ５１，　５２，　５３およ
び５４は、入力端子６４，　６５，　６６および６７か
ら入力される信号もしくは多入力一出力回路６８，　６
９，　７０，　７１および７２の出力信号を保持してい
る。入出力信号レジスタ５４に保持されている信号は、
次のマシン・サイクルには入出力信号レジスタ５３に転
送され、入出力信号レジスタ５３に保持されている信号
は、次のマシン・サイクルには入出力信号レジスタ５２
に転送されるというように、入出力信号レジスタ５１，
　５２，　５３および５４に保持されている信号は順次
転送される。積和及び特性関数演算部５５，　５６およ
び５７は、重み記憶部５８，　５９および６０が記憶し
ている重みと、入出力信号レジスタ５１，　５２および
５３が保持している信号との積和を求め、（数１）にし
たがって積和に対して飽和特性を持つ信号を出力する。 積和及び特性関数演算部５５，　５６および５７の出力
信号は、入出力信号レジスタ５１，　５２，　５３およ
び５４に保持される。リング長調節部６１，　６２およ
び６３は、入力信号の数および隠れ層７４を構成する多
入力一出力回路の個数に応じて、保持している信号の転
送を行う入出力信号レジスタの個数を調節する。即ち、
隠れ層７４の多入力一出力回路の積和演算を行っている
時には、入力信号の数が４個なので、入出力信号レジス
タ５１，　５２，　５３および５４の間で信号の転送を
行うように、リング長調節部６１，　６２および６３に
おいてリング長を調節する。また出力層７５の多入力一
出力回路の積和演算を行っている時には、隠れ層７４の
多入力一出力回路の数が３個なので、入出力信号レジス
タ５１，　５２および５３の間で信号の転送を行うよう
に、リング長調節部６１，　６２および６３においてリ
ング長を調節する。

【０００８】図１１に積和及び特性関数演算部５５，　
５６および５７の構成図を示す。図１１において、７６
は乗算部、７７は積和レジスタ、７８は加算部、７９は
特性関数演算器、８０は入力信号端子、８１は出力信号
端子、８２は重み入力端子である。積和及び特性関数演
算部５５，　５６および５７の動作を以下に示す。積和
レジスタ７７に保持されている信号は零で初期化される
。乗算部７６は入力信号端子８０から入力される信号と
重み入力端子８２から入力される重みとの積を加算部７
８に出力し、加算部７８は乗算部７６が出力する積と積
和レジスタ７７が保持している積和との和を求め、積和
レジスタ７７に出力する。このような積と和を求める動
作の繰り返しにより、積和レジスタには、入力信号端子
８０から入力される信号と、重み入力端子８２から入力
される重みとの積和が保持される。積和演算が終了する
と、特性関数演算部７９は、積和レジスタ７７が保持し
ている信号に対して、（数２）で表される飽和特性を持
つ信号を出力する。以上によって、出力信号端子８１か
ら（数１）で表される信号が出力される。

【０００９】図１２は、隠れ層７４の多入力一出力回路
６８，　６９および７０の出力を求める際の、積和及び
特性関数演算部５５，　５６および５７の並列動作の説
明図である。図１２において、ｘｉ（１　≦　ｉ　≦　
４）は入力信号であり、ｗｊｉ（１　≦　ｉ　≦　４，
　１　≦　ｊ　≦　３）は入力信号ｘｉに対して隠れ層
７４の第ｊ番目の多入力一出力回路で掛けられる重みで
ある。隠れ層７４の多入力一出力回路６８，　６９およ
び７０の出力を求める際には、リング長調節部６１，　
６２および６３によって入出力信号レジスタ５１，　５
２，　５３および５４の間で信号の転送が行われるよう
に、リング長が調節されている。 最初に、入出力信号レジスタ５１，　５２，　５３およ
び５４に、入力信号ｘｉ（１　≦　ｉ　≦　４）がロー
ドされ、積和及び特性関数演算部５５，　５６および５
７の積和レジスタが零で初期化される。次のマシン・サ
イクルにおける積和及び特性関数演算部５５，　５６お
よび５７の並列動作を、図１２の（ａ）　に示す。積和
及び特性関数演算部５５は、重み記憶部５８に記憶され
ている重みｗ１１と入出力信号レジスタ５１に保持され
ている入力信号ｘ１との積を求め、積和レジスタに保持
する。同時に、積和及び特性関数演算部５６はｗ２２と
ｘ２との積を求め、積和及び特性関数演算部５７はｗ３
３とｘ３との積を求め、それぞれの積和レジスタに保持
する。その次のマシン・サイクルにおける積和及び特性
関数演算部５５，　５６および５７の並列動作を、図１
２の（ｂ）　に示す。入出力信号レジスタ５１，　５２
，　５３および５４に保持されている信号は順次転送さ
れ、積和及び特性関数演算部５５は、入出力信号レジス
タ５１に保持されている信号ｘ２と重み記憶部５８に記
憶されている重みｗ１２との積ｗ１２ｘ２を求め、積和
レジスタに保持されているｗ１１ｘ１との和

【００１０
】

【数３】

【００１１】を積和レジスタに保持する。同時に、積和
及び特性関数演算部５６および５７は、それぞれ

【００
１２】

【数４】

【００１３】を積和レジスタに保持する。以下同様に、
入出力信号レジスタ５１，　５２，　５３および５４に
保持されている信号は順次転送され、積和及び特性関数
演算部５５，　５６および５７は、重み記憶部５８，　
５９および６０に記憶されている重みと入出力信号レジ
スタ５１，　５２，　５３および５４に保持されている
信号との積和を求める。すなわち、積和及び特性関数演
算部５５、５６および５７は、それぞれ隠れ層の第１、
第２および第３の多入力一出力回路における積和を求め
る。積和が求められると、積和及び特性関数演算部５５
，　５６および５７では、特性関数演算器で積和に対し
て（数２）で表される飽和特性を持つ信号を求め、入出
力信号レジスタ５１，　５２および５３に出力する。

【００１４】隠れ層７４の多入力一出力回路６８，　６
９および７０の出力信号は、以上のようにして求められ
、入出力信号レジスタ５１，　５２および５３に保持さ
れる。次に、出力層７５の多入力一出力回路７１および
７２の出力を求める際には、リング長調節部６１，　６
２および６３が入出力信号レジスタ５１，　５２および
５３の間で信号の転送が行われるようにリング長を調節
し、リング長を隠れ層の出力信号数（この場合３）に一
致させる。隠れ層７４の多入力一出力回路６８，　６９
および７０の出力信号を求める際と同様に、積和及び特
性関数演算部５５および５６の並列動作によって、出力
層７５の多入力一出力回路７１および７２の出力を求め
る。

【００１５】図１３に、従来の学習機械において動作中
の演算部の時間変化を表すタイムチャートを示す。隠れ
層７４の多入力一出力回路６８，　６９および７０の積
和を求めているときには、積和及び特性関数演算部５５
，　５６および５７が動作しており、このとき動作して
いる積和及び特性関数演算部の数は、隠れ層の多入力一
出力回路の個数に一致している。また、隠れ層７４の多
入力一出力回路６８，　６９および７０の積和を求める
のに要する時間は、

【００１６】

【数５】マシン・サイクル　×　入力層信号数である。 次に、隠れ層の多入力一出力回路の特性関数を求める。 この際に動作している積和及び特性関数演算部の個数は
、隠れ層の多入力一出力回路の個数に等しい。 出力層７５の多入力一出力回路７１および７２の積和を
求めているときには、積和及び特性関数演算部５５およ
び５６が動作しており、このとき動作している積和及び
特性関数演算部の数は、出力層の多入力一出力回路の個
数に一致している。また、出力層７４の多入力一出力回
路７１および７２の積和を求めるのに要する時間は、

【００１７】

【数６】マシン・サイクル　×　隠れ層信号数である。 次に、出力層の多入力一出力回路の特性関数を求める。 この際に動作している積和及び特性関数演算部の個数は
、出力層の多入力一出力回路の個数に等しい。 次に出力層の重み変更を行う。以上の動作によって、入
力信号から出力信号が得られるまでに要する時間は

【０
０１８】

【数７】 　　　　マシン・サイクル　×　（入力層信号数＋隠れ
層信号数）＋隠れ層の特性関数演算時間 ＋出力層の特性関数演算時間 である。

【００１９】出力層の重み変更は、積和及び特性関数演
算部５５および５６における演算によって行われ、重み
の変更量を求めて重みの更新を行う。さらに隠れ層の逆
伝搬変数δを求める。この出力層の重み変更および隠れ
層の逆伝搬変数δを求めるのに要する時間は

【００２０
】

【数８】マシン・サイクル　×　隠れ層信号数　×　３
である。次に、隠れ層の重み変更を行う。隠れ層の重み
変更は、積和及び特性関数演算部５５、５６および５７
における演算によって行われ、これに要する時間は

【０
０２１】

【数９】マシン・サイクル　×　入力層信号数　×　２
である。以上のようにして、出力層の出力信号が得られ
た時点から、重み変更が完了するまでに要する時間は

【
００２２】

【数１０】マシン・サイクル　×　（３×隠れ層信号数
　＋　２×入力層信号数） である。

【００２３】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、隠れ層の多入力一出力回路の個数に等し
い積和演算器が同時に動作することによって求められて
いるため、積和演算器は、隠れ層もしくは出力層の多入
力一出力回路の個数だけ、複数個必要であり、回路規模
が大きくなるという課題を有していた。

【００２４】また、並列動作する積和及び特性関数演算
部の個数は、隠れ層もしくは出力層の多入力一出力回路
の個数に等しいので、隠れ層の多入力一出力回路の個数
もしくは出力層の多入力一出力回路の個数が、あらかじ
め用意された積和及び特性関数演算部の個数（従来例で
は３）を越えるような学習機械を構成することはできな
いという課題を有していた。

【００２５】また、積和及び特性関数演算部で、重み変
更量の算出、重みの更新、隠れ層の逆伝搬変数δの算出
を順次に行っていたので、重み変更に要する時間が長い
という課題を有していた。

【００２６】かかる点に鑑み、第１の発明は、特性関数
演算器を１個だけとし、回路規模の小さな学習機械を提
供することを目的とする。

【００２７】第２の発明は、短い時間で重みを変更する
ことができる学習機械を提供することを目的とする。

【００２８】第３の発明は、入力信号の数、隠れ層の多
入力一出力回路の個数、出力層の多入力一出力回路の個
数が、いかなる数であっても、簡単な設定の変更で実現
できる学習機械を提供することを目的とする。

【００２９】

【課題を解決するための手段】第１の発明は、縦続接続
された複数の入出力信号レジスタと、入力信号に掛ける
重みを記憶している複数の重み記憶部と、前記入出力信
号レジスタの出力信号と前記重み記憶部に記憶されてい
る重みとの積および積和を出力する複数の積和演算部と
、前記積和演算部が出力する積和に対して飽和特性を持
つ信号を出力する単一の特性関数演算部とを備えた学習
機械である。

【００３０】第２の発明は、縦続接続された複数の入出
力信号レジスタと、入力信号に掛ける重みを記憶してい
る複数の重み記憶部と、前記入出力信号レジスタの出力
信号と前記重み記憶部に記憶されている重みとの積およ
び積和を出力する複数の積和演算部と、前記積和演算部
が出力する積和に対して飽和特性を持つ信号を出力する
単一の特性関数演算部と、前記特性関数演算部の出力信
号と教師信号とをもとに出力層の逆伝搬変数δを計算す
る出力層δ算出部と、前記積和演算部の出力する積をも
とに隠れ層の逆伝搬変数δを計算する隠れ層δ算出部と
、前記入出力信号レジスタの出力と前記出力層δ算出部
の出力と前記隠れ層δ算出部の出力とをもとに重みの変
更量を求める重み変更部とを備えた学習機械である。

【００３１】第３の発明は、第１または第２の発明の構
成において、入力信号に対して飽和特性を持つ信号を出
力する特性関数演算器と、複数の積和演算部の出力信号
を選択して前記特性関数演算器に入力する入力選択部と
、前記特性関数演算器の出力信号を適当な時間だけ遅延
させて出力する遅延部とからなる特性関数演算部を備え
た学習機械である。

【００３２】

【作用】第１の発明は前記した構成により、縦続接続さ
れた入出力信号レジスタで入力信号が順次転送され、重
み記憶部が入力信号にかける重みを出力し、複数の積和
演算部が並列動作することによって、入出力信号レジス
タの信号と重み記憶部に記憶されている重みの積和を求
める。複数の積和演算部のうちの第１の積和演算部が最
初に積和の演算を終了し、次のマシン・サイクルにおい
て第２の積和演算部が積和演算を終了するように動作す
る。単一の特性関数演算部は、１個の特性関数演算器に
よって、これらの複数の積和演算部から出力される積和
に、飽和特性を持つ関数（特性関数）を順次掛ける。こ
のようにして求められた隠れ層の多入力一出力回路の出
力信号が、縦続接続された入出力信号レジスタに順次ロ
ードされ、再び積和演算部の並列動作により、積和が順
次求められ、単一の特性関数演算部で１個の積和演算器
で積和に対する特性関数を順次求め、出力層の多入力一
出力回路の出力信号を得る。

【００３３】第２の発明は前記した構成により、入出力
信号レジスタ、重み記憶部および積和演算部、特性関数
演算部に関しては、第１の発明と同様の作用により、隠
れ層および出力層の多入力一出力回路の出力信号を出力
する。出力層δ算出部は、出力層の多入力一出力回路に
おける逆伝搬変数δを求め、縦続接続された入出力信号
レジスタに順次転送する。全ての出力層の多入力一出力
回路の逆伝搬変数δが、入出力信号レジスタに設定され
たとき、重み記憶部は、隠れ層の第１の多入力一出力回
路と出力層の多入力一出力回路の結合の大きさを表す重
みを出力する。複数の積和演算部は、出力層の多入力一
出力回路の逆伝搬変数δに、隠れ層の第１の多入力一出
力回路と出力層の多入力一出力回路の結合の大きさを表
す重みを掛けた積を、同時に隠れ層δ算出部に出力する
。隠れ層δ算出部では、これら複数の積の和に、隠れ層
の第１の多入力一出力回路における特性関数の微係数を
掛け、隠れ層の第１の多入力一出力回路における逆伝搬
変数δを求める。同時に複数の重み変更部は、隠れ層の
第１の多入力一出力回路と出力層の多入力一出力回路と
の結合の大きさを表わす重みの変更量を求め、重み記憶
部に出力する。重み記憶部では、重み変更部で求められ
た重み変更量を重みに加え、重みを変更する。このよう
に、隠れ層の第１の多入力一出力回路のδの算出と、隠
れ層の第１の多入力一出力回路と出力層の多入力一出力
回路との結合の大きさを表わす重みの変更とが、同時に
行われる。以後、この繰り返しにより、隠れ層の全ての
多入力一出力回路の逆伝搬変数δおよび隠れ層の多入力
一出力回路と出力層の多入力一出力回路との結合の大き
さを表わす重みの変更が行われる。隠れ層の多入力一出
力回路の逆伝搬変数δは縦続接続された入出力信号レジ
スタに順次転送される。全ての隠れ層の多入力一出力回
路の逆伝搬変数δが、入出力信号レジスタに設定された
とき、複数の重み変更部および重み記憶部によって、入
力層の第１の多入力一出力回路と隠れ層の多入力一出力
回路との結合の大きさを表わす重みが変更される。この
繰り返しにより、入力層の多入力一出力回路と隠れ層の
多入力一出力回路との結合の大きさを表わす重みの変更
量が求められる。

【００３４】第３の発明は前記した構成により、入出力
信号レジスタ、重み記憶部および積和演算部に関しては
、第１の発明と同様の作用により、複数の積和演算部が
１マシン・サイクル毎に積和を順次出力する。単一の特
性関数演算部では、入力選択部が複数の積和演算部の出
力を順次選択して１個の特性関数演算器に入力し、特性
関数演算器は入力された積和に対して飽和特性を持つ信
号を出力し、遅延部は特性関数演算器の出力信号を適当
な時間だけ遅延させて出力する。遅延部における信号の
遅延時間は、隠れ層の全ての多入力一出力回路の積和が
積和演算部で演算され、しかも積和演算部の空き時間が
最小となる時間とする。隠れ層の多入力一出力回路の出
力信号は、前述のように遅延部で適当な時間だけ遅延さ
れた後、縦続接続された入出力レジスタに順次ロードさ
れる。このような隠れ層の多入力一出力回路の出力を求
める動作と同様にして、出力層の多入力一出力回路の出
力信号が求められる。この際の遅延部における信号の遅
延時間は、いくらでもよい。以上によって、入力信号の
数、隠れ層の多入力一出力回路の個数、出力層の多入力
一出力回路の個数が、いかなる数であっても学習機械を
構成できる。

【００３５】

【実施例】図１は第２の発明の実施例における学習機械
の構成図を示すものである。図１において、１、２およ
び３は入出力信号レジスタ、４、５および６は積和演算
部、７、８および９は重み記憶部、１０は特性関数演算
部、１１は信号切替部、１２は入力信号レジスタ、３１
、３２および３３は重み変更部、３４は隠れ層δ算出部
、３５は出力層δ算出部である。図１に示されるように
、本実施例の学習機械は、入出力信号レジスタ１、２お
よび３の縦続接続で構成される。本実施例の学習機械の
模式図は、図１０に示されるもので、多入力一出力回路
を階層状に接続した構成で、模式的に表すことができる
。本実施例は、入力層７３が４個の入力端子からなり、
隠れ層７４が３個の多入力一出力回路からなり、出力層
７５が２個の多入力一出力回路からなる学習機械である
。各層の多入力一出力回路６８，　６９，　７０，　７
１および７２は、複数の入力信号に対して、それぞれ個
別の重みを掛け、それら積の和に対して、飽和特性を持
つ信号を出力する。

【００３６】図１の本実施例の構成図において、重み記
憶部７は隠れ層の第３の多入力一出力回路７０で掛けら
れる重みを記憶しており、重み記憶部８は隠れ層の第２
の多入力一出力回路６９および出力層の第２の多入力一
出力回路７２で掛けられる重みを記憶しており、重み記
憶部９は隠れ層の第１の多入力一出力回路６８および出
力層の第１の多入力一出力回路７１で掛けられる重みを
記憶している。入力信号レジスタ１２には、入力端子６
４，　６５，　６６および６７から入力される信号が順
次ロードされる。信号切替部１１は、入力信号レジスタ
１２の出力信号を、入出力信号レジスタ３に転送するよ
うに設定されている。入出力信号レジスタ３に保持され
ている信号は、次のマシン・サイクルには入出力信号レ
ジスタ２に転送され、入出力信号レジスタ２に保持され
ている信号は、次のマシン・サイクルには入出力信号レ
ジスタ１に転送されるというように、入出力信号レジス
タ３、２および１に保持されている信号は順次転送され
る。積和演算部４、５、および６は、重み記憶部７、８
および９が記憶している重みと、入出力信号レジスタ１
、２および３が保持している信号との積和を求める。特
性関数演算部１０は、積和演算部４、５および６が出力
する積和に対して、（数１）にしたがって飽和特性を持
つ信号を出力する。特性関数演算部１０の出力信号は、
信号切替部１１に出力される。この時、信号切替部１１
は、特性関数演算部１０の出力を入出力信号レジスタ３
に転送するように設定されている。

【００３７】図２に積和演算部４、５および６の構成図
を示す。図２において、１３は乗算部、１４は加算部、
１５は積和レジスタ、１６は信号入力端子、１７は重み
入力端子、１８は積和出力端子、３６は積出力端子であ
る。積和演算部４、５および６の動作を以下に示す。積
和レジスタ１５に保持されている信号は零で初期化され
る。乗算部１３は信号入力端子１６から入力される信号
と重み入力端子１７から入力される重みとの積を加算部
１４に出力し、加算部１４は乗算部１３が出力する積と
積和レジスタ１５が保持している積和との和を求め、積
和レジスタ１５に出力する。このような積と和を求める
動作の繰り返しにより、積和レジスタには、信号入力端
子１６から入力される信号と、重み入力端子１７から入
力される重みとの積和が保持され、積和出力端子１８か
ら、入力信号と重みとの積和が出力される。

【００３８】図３は、隠れ層７４の多入力一出力回路６
８，　６９および７０の出力を求める際の、積和演算部
４、５および６の並列動作の説明図である。図３におい
て、ｘｉ（１　≦　ｉ　≦　４）は入力信号であり、ｗ
ｊｉ（１　≦　ｉ　≦　４，１　≦　ｊ　≦　３）は入
力信号ｘｉに対して隠れ層７４の第ｊ番目の多入力一出
力回路で掛けられる重みである。重み記憶部７は隠れ層
の第３の多入力一出力回路７０で掛けられる重みｗ３ｉ
（１　≦　ｉ　≦　４）を記憶しており、重み記憶部８
は隠れ層の第２の多入力一出力回路６９で掛けられる重
みｗ２ｉ（１　≦　ｉ　≦　４）を記憶しており、重み
記憶部９は隠れ層の第１の多入力一出力回路６８で掛け
られる重みｗ１ｉ（１　≦　ｉ　≦　４）を記憶してい
る。まず、入力信号レジスタ１２に入力信号ｘ１がロー
ドされ、信号切替部１１は入力信号レジスタ１２の出力
を入出力信号レジスタ３に転送するように設定されてい
る。積和演算部４、５および６の積和レジスタは零で初
期化される。次のマシン・サイクルにおける積和演算部
６の動作を、図３の（ａ）に示す。 積和演算部６は、重み記憶部９に記憶されている重みｗ
１１と入出力信号レジスタ３に保持されている入力信号
ｘ１との積を求め、積和演算部６の積和レジスタに保持
する。 この時同時に、入力信号レジスタ１２に入力信号ｘ２が
ロードされる。その次のマシン・サイクルにおける積和
演算部５および６の並列動作を、図３の（ｂ）に示す。 積和演算部６は、入出力信号レジスタ３に保持されてい
る信号ｘ２と重み記憶部９に記憶されている重みｗ１２
との積ｗ１２ｘ２を求め、積和レジスタに保持されてい
るｗ１１ｘ１との和

【００３９】

【数１１】

【００４０】を積和レジスタに保持する。同時に、積和
演算部５は、

【００４１】

【数１２】ｗ２１ｘ１を積和レジスタに保持する。この
時同時に、入力信号レジスタ１２に入力信号ｘ３がロー
ドされる。以下同様に、入力信号レジスタ１２および入
出力信号レジスタ３、２、１に保持されている信号は順
次転送され、積和演算部６、５および４は、重み記憶部
９、８および７に記憶されている重みと入出力信号レジ
スタ３、２および１に保持されている信号との積和を求
める（図３（ｃ），（ｄ）参照）。積和演算部６が

【００４２】

【数１３】

【００４３】を求める（図３（ｄ）参照）と、次のマシ
ン・サイクルに積和演算部５が

【００４４】

【数１４】

【００４５】を求め、次のマシン・サイクルに積和演算
部４が

【００４６】

【数１５】

【００４７】を求める。このように、積和演算部６、５
および４は、１マシン・サイクルずつ遅れて、隠れ層の
多入力一出力回路における積和を特性関数演算部１０に
出力する。特性関数演算部１０では、入力された積和に
対して（数２）で表される飽和特性を持つ信号を求め、
隠れ層の多入力一出力回路の出力値

【００４８】

【数１６】

【００４９】および

【００５０】

【数１７】

【００５１】および

【００５２】

【数１８】

【００５３】を、順次１マシン・サイクルずつ遅れて、
信号切替部１１に出力する。隠れ層７４の多入力一出力
回路６８，　６９および７０の出力信号は、以上のよう
にして求められる。

【００５４】信号切替部１１は、隠れ層７４の出力信号
が特性関数演算部１０から入力されると、特性関数演算
部１０の出力信号が入出力信号レジスタ３に転送される
ように、設定される。これにより、特性関数演算部１０
の出力ｙｊ（１　≦　ｊ　≦　３）が、入出力信号レジ
スタ３に順次転送される。図１０に示されるように、出
力層を構成する多入力一出力回路は２個なので、積和演
算部６および５の並列動作によって、出力層の多入力一
出力回路の積和が求まる。即ち、重み記憶部８は出力層
の第２の多入力一出力回路７２で掛けられる重みｖ２ｊ
（１　≦　ｊ　≦　３）を記憶しており、重み記憶部９
は出力層の第１の多入力一出力回路６８で掛けられる重
みｖ１ｊ（１　≦　ｊ　≦　３）を記憶しており、積和
演算部６が

【００５５】

【数１９】

【００５６】を特性関数演算部１０に出力してから、１
マシン・サイクル遅れて、積和演算部５が

【００５７】

【数２０】

【００５８】を特性関数演算部１０に出力する。特性関
数演算部１０は、順次入力される積和に対して（数２）
で表される特性関数を掛けて、出力層の多入力一出力回
路の出力値

【００５９】

【数２１】

【００６０】および

【００６１】

【数２２】

【００６２】を、１マシン・サイクルずつ遅れて出力層
δ算出部３５に出力する。出力層７５の多入力一出力回
路７１および７２の出力信号は、以上のようにして求め
られる。

【００６３】特性関数演算部１０で求められた出力層７
５の多入力一出力回路７１および７２の出力信号は、出
力層δ算出部３５に順次入力される。出力層δ算出部３
５は、出力層の多入力一出力回路の出力信号ｚｋ（１　
≦　ｋ　≦　２）と、教師信号ｔｋ（１　≦　ｋ　≦　
２）とをもとに、（数２３）に従って、出力層の多入力
一出力回路の逆伝搬変数δを求める。

【００６４】

【数２３】 （数２３）において、δｏｋは出力層の第ｋ番目の多入
力一出力回路の逆伝搬変数、ｚｋはその多入力一出力回
路の出力信号、ｔｋはその多入力一出力回路の教師信号
、ｚ’ｋはその多入力一出力回路の特性関数の微分値で
ある。 以上のようにして、出力層の多入力一出力回路の逆伝搬
変数δが求められる。

【００６５】図４は、隠れ層の多入力一出力回路の逆伝
搬変数δを求め、隠れ層の多入力一出力回路と出力層の
多入力一出力回路との結合の大きさを表わす重みの変更
を行う際の、積和演算部５、６および重み変更部３２、
３３の並列動作の説明図である。図４において、ｙｊ（
１　≦　ｊ≦　３）は隠れ層の多入力一出力回路の出力
信号であり、ｖｋｊ（１　≦　ｊ≦　３，　１　≦　ｋ
　≦　２）は隠れ層の多入力一出力回路の出力信号ｙｊ
に対して出力層７５の第ｋ番目の多入力一出力回路で掛
けられる重みである。まず、出力層の多入力一出力回路
の逆伝搬変数であるδｏｋ（１　≦　ｋ　≦２）が、δ
ｏ２、δｏ１の順に出力層δ算出部３５から信号切替部
１１に出力される。このとき、信号切替部１１は、出力
層δ算出部３５の出力を入出力信号レジスタ３に転送す
るように設定されている。δｏ２、δｏ１の順に、入出
力信号レジスタ３および２に転送される。入出力信号レ
ジスタ２にδｏ２が保持され、入出力信号レジスタ３に
δｏ１が保持された時点で、入出力信号レジスタ間の信
号の転送は停止される。前述のように、重み記憶部８は
出力層の第２の多入力一出力回路７２と隠れ層の多入力
一出力回路との結合の大きさを表わす重みｖ２ｊ（１　
≦　ｊ　≦　３）を記憶しており、重み記憶部９は出力
層の第１の多入力一出力回路６８と隠れ層の多入力一出
力回路との結合の大きさを表わす重みｖ１ｊ（１　≦　
ｊ　≦　３）を記憶している。このマシン・サイクルに
おける積和演算部５、６および重み変更部３２、３３の
並列動作の説明図を図４（ａ）に示す。積和演算部６を
構成する乗算部１３は、入出力信号レジスタ３の出力す
るδｏ１と重み記憶部９が出力するｖ１１を掛け合わせ
て、隠れ層δ算出部３４に出力する。同時に、積和演算
部５を構成する乗算部１３は、入出力信号レジスタ２の
出力するδｏ２と重み記憶部８が出力するｖ２１を掛け
合わせて、隠れ層δ算出部３４に出力する。隠れ層δ算
出部３４では、これら２つの積ｖ１１δｏ１とｖ２１δ
ｏ２の和を求め、さらに隠れ層の第１の多入力一出力回
路の特性関数の微係数ｙ’１を掛け合わせて、隠れ層の
第１の多入力一出力回路の逆伝搬変数

【００６６】

【数２４】

【００６７】を求める。同時に、重み変更部３３および
３２には、特性関数演算部１０から隠れ層の第１の多入
力一出力回路の出力値ｙ１が入力される。重み変更部３
３では、入出力信号レジスタ３に保持されている逆伝搬
変数δｏ１に学習率εを掛け、さらに隠れ層の第１の多
入力一出力回路の出力値ｙ１をかけて、隠れ層の第１の
多入力一出力回路と出力層の第１の多入力一出力回路と
の結合の大きさを表わすｖ１１の変更量

【００６８】

【数２５】Δｖ１１＝εδｏ１ｙ１ を求める。同時に重み変更部３２ではｖ２１の変更量

【
００６９】

【数２６】Δｖ２１＝εδｏ２ｙ１ を求める。重み記憶部９および８では、重み変更部３３
および３２の出力する重みの変更量Δｖ１１およびΔｖ
２１をもとに、重みｖ１１およびｖ２１を変更する。以
後のマシン・サイクルにおいては、図４（ｂ）（ｃ）に
示されるように、入力信号レジスタ３および２には出力
層の多入力一出力回路の逆伝搬変数であるδｏ１および
δｏ２が保持されたまま、特性関数演算部１０が隠れ層
の多入力一出力回路の出力値ｙ２、ｙ３を順次出力し、
重み記憶部３３および３２は対応する重みを順次出力す
る。先ほどのマシン・サイクルと同様の動作により、隠
れ層δ算出部３４は

【００７０】

【数２７】

【００７１】を順次求め、重み記憶部９および８におい
ては、重みｖｋｊ（２　≦　ｊ　≦　３，　１　≦　ｋ
　≦　２）を順次変更する。以上のようにして、隠れ層
の多入力一出力回路の逆伝搬変数δを求め、隠れ層の多
入力一出力回路と出力層の多入力一出力回路との結合の
大きさを表わす重みの変更を行う。

【００７２】図５は、入力層の入力端子と隠れ層の多入
力一出力回路との結合の大きさを表わす重みの変更を行
う際の、重み変更部３１、３２および３３の並列動作の
説明図である。図５において、ｘｉ（１　≦ｉ　≦　４
）は入力端子からの入力信号であり、ｗｊｉ（１　≦　
ｉ　≦　４，　１　≦　ｊ≦　３）は入力信号ｘｉに対
して隠れ層７４の第ｊ番目の多入力一出力回路で掛けら
れる重みである。まず、隠れ層の多入力一出力回路の逆
伝搬変数であるδｈｊ（１　≦　ｊ　≦　３）が、δｈ
３、δｈ２、δｈ１の順に隠れ層δ算出部３４から信号
切替部１１に出力される。このとき、信号切替部１１は
、隠れ層δ算出部３４の出力を入出力信号レジスタ３に
転送するように設定されている。δｈ３、δｈ２、δｈ
１の順に、入出力信号レジスタ３、２および１に転送さ
れる。入出力信号レジスタ１にδｈ３が保持され、入出
力信号レジスタ２にδｈ２が保持され、入出力信号レジ
スタ３にδｈ１が保持された時点で、入出力信号レジス
タ間の信号の転送は停止される。次のマシン・サイクル
における重み変更部３１、３２、３３の並列動作の説明
図を図５（ａ）に示す。 重み変更部３３、３２および３１には、入力信号レジス
タ１２から第１の入力信号ｘ１が入力される。重み変更
部３３では、入出力信号レジスタ３に保持されているδ
ｈ１に学習率εを掛け、さらに第１の入力信号ｘ１をか
けて、入力層の第１の入力端子と隠れ層の第１の多入力
一出力回路との結合の大きさを表わすｗ１１の変更量

【
００７３】

【数２８】Δｗ１１＝εδｈ１ｘ１ を求める。同時に重み変更部３２および３１ではｗｊ１
（２≦　ｊ　≦　３）の変更量

【００７４】

【数２９】Δｗｊ１＝εδｈｊｘ１ を求める。重み記憶部９、８および７では、重み変更部
３３、３２および３１の出力する重みの変更量Δｗｊ１
（１　≦　ｊ　≦　３）をもとに、重みｗｊ１（１　≦
　ｊ　≦　３）を変更する。次のマシン・サイクル以後
における重み変更部３１、３２、３３の並列動作の説明
図を図５（ｂ）に示す。重み変更部３３、３２および３
１に、入力信号レジスタ１２から第ｉ番目の入力信号ｘ
ｉ（２　≦　ｉ　≦　４）が入力され、ｗｊｉの変更量

【００７５】

【数３０】Δｗｊｉ＝εδｈｊｘｉ　　　　（２≦　ｉ
　≦　４，　１　≦　ｊ　≦　３） が求められる。重み記憶部９、８および７では、重み変
更部３３、３２および３１の出力する重みの変更量Δｗ
ｊｉ（２　≦　ｉ　≦　４，　１　≦　ｊ　≦　３）を
もとに、重みｗｊｉを変更する。以上のようにして、入
力層の入力端子と隠れ層の多入力一出力回路との結合の
大きさを表わす重みの変更を行う。

【００７６】図６に、本実施例の学習機械において動作
中の演算部の時間変化を表すタイムチャートを示す。入
力信号は、入力信号レジスタ１２から順次入力されるの
で、最初のマシン・サイクルでは、積和演算部６のみが
動作しており（図３（ａ）参照）、次のマシン・サイク
ルでは積和演算部６および５が動作している（図３（ｂ
）参照）。このようにして、並列動作する積和演算部の
個数は、マシン・サイクル毎に１、２、３、３と変化し
（図３参照）、この時点で、積和演算部６が（数１３）
で表わされる積和を出力し、次のマシン・サイクルで、
特性関数演算部１０が、（数１３）で表わされる積和に
対する特性関数を（数１６）に従って求める。このとき
、入出力レジスタ３には、有効な信号が保持されていな
いので、積和演算部６は、演算を行わない。したがって
、このマシン・サイクルで並列動作している積和演算部
の個数は、２である。このようにして、隠れ層の第１の
多入力一出力回路の出力が求まるまでに要する時間は、

【００７７】

【数３１】マシン・サイクル×（入力層信号数＋１）で
ある。

【００７８】次のマシン・サイクルにおいては、特性関
数演算部１０は（数１４）に対する特性関数を（数１７
）に従って求め、入出力信号レジスタ３は、隠れ層の第
１の多入力一出力回路の出力信号を保持しており、積和
演算部６は、出力層の第１の多入力一出力回路の積和演
算を開始している。このとき、入出力信号レジスタ２に
は有効な信号が保持されておらず、積和演算部５は動作
していない。また、積和演算部４は（数１５）で表わさ
れる積和を計算している。したがって、このマシン・サ
イクルで並列動作している積和演算部の個数は、２であ
る。次のマシン・サイクルから、入出力信号レジスタ３
および２で、隠れ層の多入力一出力回路の出力信号が順
次転送される。並列動作する積和演算部の個数は、マシ
ン・サイクル毎に２、２となり、この時点で、積和演算
部６が（数１９）で表わされる積和を出力する。次のマ
シン・サイクルで、特性関数演算部１０が、（数１９）
で表わされる積和に対する特性関数を（数２１）に従っ
て求める。このとき、入出力レジスタ３には、有効な信
号が保持されていないので、積和演算部６は、演算を行
わない。したがって、このマシン・サイクルで並列動作
している積和演算部の個数は、１である。この後、さら
に（数２０）で表わされる積和に対する特性関数を（数
２２）に従って求めるのに、１マシン・サイクルを要す
る。このようにして、出力層の全ての多入力一出力回路
の出力が求まるまでに要する時間は、

【００７９】

【数３２】マシン・サイクル×（隠れ層信号数＋出力層
信号数） である。

【００８０】次に、出力層δ算出部３５で、出力層の多
入力一出力回路の逆伝搬変数を、δｏ１、δｏ２の順に
求める。求められた逆伝搬変数は、順序を逆にして、δ
ｏ２、δｏ１の順に入出力信号レジスタに転送される。 次のマシン・サイクルにおいて、隠れ層の第１の多入力
一出力回路の逆伝搬変数を求め、同時に隠れ層の第１の
多入力一出力回路と出力層の多入力一出力回路との結合
の大きさを表わす重みの変更を行う（図４（ａ）参照）
。この時に動作している演算部は、積和演算部６、５お
よび隠れ層δ算出部３４および重み変更部３３、３２で
ある。このようにして、出力層の逆伝搬変数が入出力信
号レジスタに転送され、隠れ層の逆伝搬変数が求められ
るまでに要する時間は、

【００８１】

【数３３】マシン・サイクル×（隠れ層信号数＋出力層
信号数＋１） である。

【００８２】このようにして求められた隠れ層の多入力
一出力回路の逆伝搬変数は、δｈ３、δｈ２、δｈ１の
順に入出力信号レジスタに転送される。次のマシン・サ
イクルにおいて、入力層の第１の入力端子と隠れ層の多
入力一出力回路との結合の大きさを表わす重みの変更を
行う（図５（ａ）参照）。この時に動作している演算部
は、積和演算部６、５、４および重み変更部３３、３２
、３１である。 このようにして、隠れ層の逆伝搬変数が入出力信号レジ
スタに転送され、入力層と隠れ層を結合する重みが変更
されるまでに要する時間は、

【００８３】

【数３４】マシン・サイクル　×　（入力層信号数＋隠
れ層信号数） である。

【００８４】以上のようにして、入力信号から出力層の
出力信号が求められるまでに要する時間は

【００８５】

【数３５】 　　　　マシン・サイクル　×　（入力層信号数＋隠れ
層信号数＋出力層信号数＋１）である。また、出力層の
出力信号を求めた時点から、重み変更が完了する時点ま
でに要する時間は

【００８６】

【数３６】マシン・サイクル 　　　　　　×｛（入力層信号数＋２×隠れ層信号数＋
出力層信号数）＋１｝である。

【００８７】以上のように本実施例によれば、入力信号
レジスタ１２から、入力信号を順次入力し、入出力信号
レジスタ３、２および１で、信号を順次転送することに
より、並列演算を行う積和演算部６、５および４が、そ
れぞれの多入力一出力回路の積和を１マシン・サイクル
ずつ遅れて出力し、特性関数演算部１０は１個でよい。 本実施例においては、入力信号から出力信号を得るまで
には（数３５）に示される時間を要する。従来例で（数
７）の時間を要していたのに比較して、特性関数演算部
の個数の削減による、出力信号算出時間の増加は

【００
８８】

【数３７】 　　　　マシン・サイクル　×　（出力層信号数＋１）
　　　　　　−（隠れ層の特性関数演算時間＋出力層の
特性関数演算時間）である。従来の学習機械において、
隠れ層の特性関数演算時間および出力層の特性時間演算
時間にそれぞれ１マシン・サイクルを要するものとし、
本実施例および従来例において出力層信号数が２である
ことを代入すると、出力信号算出時間の増加は１マシン
・サイクルである。 このように、従来よりも規模の小さな学習機械を、出力
信号が得られるまでの時間の少ない増加で実現できるこ
とが、本実施例の第１の効果である。

【００８９】本実施例の第２の効果は、積和演算部４、
５、６および重み変更部３１、３２、３３および隠れ層
δ算出部３４の並列動作により、出力層の出力信号を求
めた時点から、重み変更が完了する時点までに要する時
間を短縮できることである。出力層の出力信号を求めた
時点から、重み変更が完了する時点までに要する時間は
、従来例では（数１０）であったのに対して、本実施例
では（数３６）にまで短縮される。（数１０）および（
数３６）に、入力層信号数が４、隠れ層信号数が３、出
力層信号数が２であることを代入すると、短縮される時
間は、

【００９０】

【数３８】マシン・サイクル　×　４ である。

【００９１】なお、本実施例では、積和演算部６は、出
力層の第１の多入力一出力回路の積和として（数１９）
を求めているが、

【００９２】

【数３９】

【００９３】を求めてもよい。ただし、ｖ１０は出力層
の第１の多入力一出力回路の閾値である。このような演
算を行う場合には、ｙ１が入出力信号レジスタ３に保持
される前のマシン・サイクルにおいて、入力信号レジス
タ１２から信号切替部１１を通して、入出力信号レジス
タ３に１を転送し、積和演算部６で、１とｖ１０との積
を求める。 このような動作によれば、図６において、特性関数演算
のための空き時間は無くなる。

【００９４】また、本実施例では、出力層δ算出部３５
で求められた逆伝搬変数をδｏ２、δｏ１の順で入出力
信号レジスタ３に転送したが、δｏ１、δｏ２の順で入
出力信号レジスタ２に転送し、次のマシン・サイクルに
おいて逆伝搬変数δを入出力信号レジスタ２から入出力
信号レジスタ３に転送してもよい。このような動作によ
れば、図６において、δ転送のための空き時間は無くな
る。この方法によると、出力層の出力信号を求めた時点
から、重み変更が完了する時点までに要する時間は

【０
０９５】

【数４０】マシン・サイクル　×　（入力層信号数＋隠
れ層信号数） にまで、短縮できる。従来例で要していた時間（数１０
）と（数４０）とを比較し、、入力層信号数が４、隠れ
層信号数が３、出力層信号数が２であることを代入する
と、短縮される時間は、

【００９６】

【数４１】マシン・サイクル　×　１０である。

【００９７】図７は、図１の全体構成をもつ第３の発明
の実施例の学習機械における、特性関数演算部１０の構
成図である。図７において、１９は入力選択部、２０は
特性関数演算器、２１は遅延部、２２は第１の積和入力
端子、２３は第２の積和入力端子、２４は第３の積和入
力端子である。 第３の発明の実施例においては、第２の発明の実施例に
対して、特性関数演算部１０が遅延部２１を備えている
ことが特徴である。

【００９８】本実施例の効果は、遅延部２１における遅
延時間を調整することにより、入力信号数、隠れ層およ
び出力層の多入力一出力回路の個数が異なるさまざまな
構成の学習機械を実現できることである。遅延時間を零
としたときに、入力信号４、隠れ層の多入力一出力回路
３、出力層の多入力一出力回路２の学習機械を実現でき
ることは、第２の発明の実施例に関して説明した動作と
同じ動作で実現できる。

【００９９】そこで、以下の本実施例の動作説明では、
同じ構成で遅延部２１の遅延時間を調整することにより
、入力信号数４、隠れ層の多入力一出力回路４、出力層
の多入力一出力回路２の学習機械を、実現できることを
示す。

【０１００】図７に、本実施例の学習機械において動作
中の演算部の時間変化を表すタイムチャートを示す。４
個の入力信号が、入力信号レジスタ１２から順次入力さ
れるので、最初のマシン・サイクルでは、積和演算部６
のみが動作しており、次のマシン・サイクルでは積和演
算部６および５が動作している。このようにして、積和
演算部６、５および４は隠れ層の第１、第２および第３
の多入力一出力回路における積和を演算する。並列動作
する積和演算部の個数は、マシン・サイクル毎に１、２
、３、３と変化し、この時点で、積和演算部６が積和

【
０１０１】

【数４２】

【０１０２】を出力する。隠れ層の第４の多入力一出力
回路の積和を演算するために、次のマシン・サイクルで
、入力信号レジスタ１２から入力信号ｘ１が、　信号切
替部１１を通して再び入出力信号レジスタ３に転送され
る。 同時に、入力信号レジスタ１２には、入力信号ｘ２がロ
ードされる。このマシン・サイクルにおいて、特性関数
演算部１０では、入力選択部１９によって、積和演算部
６の出力（数４２）が選択され、特性関数演算器２０が
、この積和に対する特性関数を演算する。このマシン・
サイクルにおいては、信号切替部１１は入力信号レジス
タ１２からの信号を入出力信号レジスタ３に転送するよ
うに設定されているので、特性関数演算器２０の出力は
、信号切替部１１が特性関数演算部１０の出力を入出力
信号レジスタ３に転送するように設定されるまで、遅延
部２１によって遅延される。このような遅延は、隠れ層
７４の多入力一出力回路の個数（４個）が、積和演算器
の個数（３個）よりも多いために、積和演算器の２回以
上の並列動作で隠れ層の多入力一出力回路の積和を求め
る場合に、必要となる。この場合、入力信号が、入力信
号レジスタ１２から２回以上入出力信号レジスタ３に転
送され、この転送の間、先に求められた隠れ層の多入力
一出力回路の出力が、特性関数演算部１０に保持されて
いることが必要である。次のマシン・サイクルから、特
性関数演算部１０において、入力選択部１９は、積和演
算部５、４の出力を順次選択し、特性関数演算器２０は
これらの積和に対する特性関数を順次求める。これらの
特性関数の値（すなわち隠れ層の多入力一出力回路の出
力）は、信号切替部１１が特性関数演算部１０の出力を
入出力信号レジスタ３に転送するように設定されるまで
、遅延部２１で順次遅延される。このようにして、積和
演算部６が隠れ層の第４の多入力一出力回路の積和を演
算している間は、積和演算部５および４は、隠れ層の第
２および第３の多入力一出力回路の出力を求めた後、動
作しない。このようにして、入力信号から隠れ層の全て
の多入力一出力回路の積和が求まるまでに要する時間は
、

【０１０３】

【数４３】マシン・サイクル×入力層信号数×２である
。

【０１０４】積和演算部６が、隠れ層の第４の多入力一
出力回路の積和を演算し終わると、信号切替部１１は特
性関数演算部１０の出力を入出力信号レジスタ３に転送
するように設定される。すなわち、次のマシン・サイク
ルにおいて、特性関数演算部１０が隠れ層の第４の多入
力一出力回路の積和に対する特性関数を演算すると同時
に、入出力信号レジスタ３に隠れ層の第１の多入力一出
力回路の出力が転送される。以後、入出力信号レジスタ
３および２で、隠れ層の多入力一出力回路の出力信号が
順次転送され、積和演算部６および５で出力層の多入力
一出力回路の積和が求められる。したがって、遅延部２
１における遅延時間は隠れ層の第１、第２および第３の
多入力一出力回路の出力に対しては、

【０１０５】

【数４４】マシン・サイクル×３ であり、隠れ層の第４の多入力一出力回路の出力に対し
ては、

【０１０６】

【数４５】マシン・サイクル×２ である。特性関数演算部１０で、出力層の多入力一出力
回路の積和に対して、（数２）で表される特性関数を順
次求め、出力層の多入力一出力回路の出力が求められる
。 このようにして、隠れ層の全ての多入力一出力回路の積
和が算出された時点から、出力層の全ての多入力一出力
回路の出力を出力するまでに要する時間は

【０１０７】

【数４６】マシン・サイクル×（隠れ層信号数＋出力層
信号数）である。

【０１０８】隠れ層の多入力一出力回路の逆伝搬変数δ
の算出および隠れ層の多入力一出力回路と出力層の多入
力一出力回路の結合の大きさを表わす重みの変更につい
ては、第２の発明の実施例と同様に、図４に示される動
作によって行われる。隠れ層の多入力一出力回路の逆伝
搬変数は、δｈ３、δｈ２、δｈ１の順に入出力信号レ
ジスタに転送され、隠れ層の第１〜第３の多入力一出力
回路と入力層の入力端子との結合の大きさを表わす重み
の変更については、第２の発明の実施例と同様に、図５
に示される動作によって行われる。この後、隠れ層の第
４の多入力一出力回路の逆伝搬変数δが、入出力信号レ
ジスタに転送され、同様の動作によって、隠れ層の第４
の多入力一出力回路と入力層の入力端子との結合の大き
さを表わす重みの変更が行われる。出力層の全ての重み
変更が完了した時点から、隠れ層の全ての重み変更が完
了するまでに要する時間は、

【０１０９】

【数４７】 　　　　マシン・サイクル　×　（２×入力層信号数＋
隠れ層信号数）である。

【０１１０】以上のように本実施例によれば、入力信号
レジスタ１２から、入力信号を順次入力し、入出力信号
レジスタ３、２および１で、信号を順次転送することに
より、並列演算を行う積和演算部６、５および４が、そ
れぞれの多入力一出力回路の積和を１マシン・サイクル
ずつ遅れて出力し、特性関数演算部１０は１個でよい。 これにより、学習機械の回路規模を、従来の学習機械に
比べて小さくすることができる。また、特性関数演算部
１０において、遅延部２１が特性関数演算器２０の出力
に対する遅延時間を調整することにより、入力信号数、
隠れ層の多入力一出力回路の数、出力層の多入力一出力
回路の数が異なる、さまざまな構成の学習機械を構成で
きる。

【０１１１】

【発明の効果】以上説明したように、第１の発明によれ
ば、特性関数演算部は１個でよく、学習機械の回路規模
を縮小できる。また第２の発明によれば、短い時間で重
みを変更することができる。また第３の発明によれば、
入力信号の数、隠れ層の多入力一出力回路の個数、出力
層の多入力一出力回路の個数が、いかなる数の学習機械
でも、簡単な設定の変更で実現できる。

【図面の簡単な説明】

【図１】第２の発明の実施例における学習機械の構成図

【図２】同実施例の積和演算部の構成図

【図３】同実施
例における積和演算部の並列動作の説明図

【図４】同実施例における積和演算部５、６および重み
変更部３２、３３の並列動作の説明図

【図５】同実施例における重み変更部３１、３２および
３３の並列動作の説明図

【図６】同実施例の学習機械において動作中の演算部の
時間変化を表すタイムチャート

【図７】第３の発明の実施例における学習機械の構成図

【図８】同実施例の学習機械において動作中の演算部の
時間変化を表すタイムチャート

【図９】従来の学習機械の構成図

【図１０】学習機械の模式図

【図１１】従来の積和及び特性関数演算部の構成図

【図
１２】従来の積和及び特性関数演算部の並列動作の説明
図

【図１３】従来の学習機械において動作中の演算部の時
間変化を表すタイムチャート

【符号の説明】

１，　２，　３　　入出力信号レジスタ４，　５，　６
　　積和演算部 １０　　特性関数演算部 １１　　信号切替部 ２０　　特性関数演算器 ２１　　遅延部 ３４　　隠れ層δ算出部 ３５　　出力層δ算出部 ３１，　３２，　３３　　重み変更部

Claims (3)

【特許請求の範囲】
1. 【請求項１】縦続接続された複数の入出力信号レジスタ
   と、入力信号に掛ける重みを記憶している複数の重み記
   憶部と、前記入出力信号レジスタの出力信号と前記重み
   記憶部に記憶されている重みとの積および積和を出力す
   る複数の積和演算部と、前記積和演算部が出力する積和
   に対して飽和特性を持つ信号を出力する単一の特性関数
   演算部とを備えたことを特徴とする学習機械。
2. 【請求項２】縦続接続された複数の入出力信号レジスタ
   と、入力信号に掛ける重みを記憶している複数の重み記
   憶部と、前記入出力信号レジスタの出力信号と前記重み
   記憶部に記憶されている重みとの積および積和を出力す
   る複数の積和演算部と、前記積和演算部が出力する積和
   に対して飽和特性を持つ信号を出力する単一の特性関数
   演算部と、前記特性関数演算部の出力信号と教師信号と
   をもとに出力層の逆伝搬変数δを計算する出力層δ算出
   部と、前記積和演算部の出力する積をもとに隠れ層の逆
   伝搬変数δを計算する隠れ層δ算出部と、前記入出力信
   号レジスタの出力と前記出力層δ算出部の出力と前記隠
   れ層δ算出部の出力とをもとに重みの変更量を求める重
   み変更部とを備えたことを特徴とする学習機械。
3. 【請求項３】入力信号に対して飽和特性を持つ信号を出
   力する特性関数演算器と、複数の積和演算部の出力信号
   を選択して前記特性関数演算器に入力する入力選択部と
   、前記特性関数演算器の出力信号を適当な時間だけ遅延
   させて出力する遅延部とからなる特性関数演算部を備え
   たことを特徴とする請求項１または２に記載の学習機械
   。