JPH0736185B2

JPH0736185B2 - 学習装置

Info

Publication number: JPH0736185B2
Application number: JP1047610A
Authority: JP
Inventors: 英行高木; 泰治〆木; 茂生阪上; 敏行香田; 隼人戸川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1989-02-28
Filing date: 1989-02-28
Publication date: 1995-04-19
Anticipated expiration: 2010-04-19
Also published as: JPH02226461A

Description

【発明の詳細な説明】産業上の利用分野本発明は制御・パターン認識等に用いる神経回路網の学
習装置に関するものである。

従来の技術従来の学習装置は、例えば、バツクプロパゲイシヨンラ
ーニングリブレゼンテイシヨンズバイバツクプロ
パゲイテイングエラーズ Backpropagation （D.E.Rume
lhart,G.E.Hinton and R.J.Williams “Learning Repre
sentations by Back−Propagating Errors,"Nature,vo
l.323,pp.533−536,Oct.9,1986）の学習アルゴリズムに
基づいていた。以下にこの従来の学習装置について説明
する。

第22図は従来の学習装置の構成図である。第22図におい
て、１は設定された条件まで学習が進んだかどうかを判
定する学習終了判定部、m1は入力データを保持する入力
データメモリ、m2は学習目的値である正しい値を保持し
ておく教師データメモリ、２は神経回路網構成をした前
向き方向計算部、m3は前向き計算部２の計算結果を保持
しておくユニット出力値メモリ、m4は前向き方向計算部
２で用いる重み係数を保持しておく重み係数メモリ、３
は前向き方向計算部２の出力値と教師データメモリm2と
の差異を計算する誤差値計算部、m10は誤差値計算部３
の出力を保持しておく誤差値メモリ、４は誤差値計算部
３の計算値に基づいて学習方向を求める学習方向計算
部、m7は学習方向計算部４の出力値を保持しておく最急
降下方向メモリ、m6は学習方向計算部４で得られた学習
方向にどれだけ学習を進めるかを示す学習率を保持して
おく学習率メモリ、５は学習方向計算部４の計算方向に
学習率メモリm6の学習率に従って学習を行い重み係数メ
モリm4の値をどれだけ修正すべきを計算する重み修正量
計算部、m5は重み修正量計算部５の計算結果を保持する
重み修正量メモリである。

この従来の学習装置の動作を説明するために、まず第１
にこの学習装置の基幹部である前向き方向計算部２の動
作説明を行なっておく。前向き方向計算部２の一般構成
を第27図に示す。また、その具体的構成例として、中間
層が１層で、入力層から出力層までのユニット数が各々
４個４個３個の場合を第28図に示す。第27図及び第28図
において、21は入力データメモリm1が割り当てられる入
力ユニット、20は神経細胞の工学的モデルである多入力
一出力のユニットである。前向き方向計算部２では各層
内相互に結合がなくかつ上段の層にのみ信号が伝播され
る。このような前向き方向計算部２を構成するユニット
20のうち、線形演算のみを基本とする線形ユニットの構
成を具体的に示したものが第29図である。第29図におい
て、201はユニット20の入力部、203は重み係数メモリm4
の重み係数と入力部201からの入力を各々掛け合わせる
乗算器、204は乗算器203各々の出力を足し合わせる加算
器である。つまり、第29図に示す多入力一出力のユニッ
ト20は入力部201への入力値をx_i、重み係数メモリm4に
格納されている重み係数をw_iとすれば、ｙ＝Σw_ix_i （１式）を計算しているわけである。また、第30図は、前向き方
向計算部２を構成するユニット20のうち、非線形演算も
行う非線形ユニットの構成を具体的に示したものであ
る。第30図において、200は第29図で説明した線形ユニ
ット、300は線形ユニットの出力を一定範囲の値に制限
する閾値処理部である。閾値処理部300の入出力特性例
を第31図に示す。例えば、出力を（0,1）の範囲に制限
する閾値処理部300の入出力特性は０＝ｆ（Ｉ）＝1/（１＋exp（−Ｉ））（２式）と数式的に表現できる。ここで、ＩとＯは閾値処理部30
0の入力と出力である。

（２式）の関数ｆ（）をsigmoid関数と呼ぶ。このよう
に、前向き計算部２は入力データメモリm1が保持してい
るデータを入力し、重み係数メモリm4との積和演算を内
部で行いながら神経回路網構成のネツトワークの出力を
計算するのである。ユニット20の出力はユニット出力値
メモリm3に格納される。

これに対し、学習は前向き方向計算部２の出力結果に応
じて出力層側から入力層側へ逆向き方向に計算される。
これがbackpropagationアルゴリズムの特徴である。以
下、このアルゴリズムに基づいて従来の学習装置の動作
説明を続けよう。

初めに記号の定義を行なう。ユニット出力値メモリm3に
格納されたデータの内、第ｋ層の第ｉ番目のユニット出
力をo^k _iとし、教師データメモリm2に格納されたデータ
層第ｉユニットのための教師データをy_iする。重み係数
メモリm4に格納されたデータの内、第ｋ−１層第ｉ番目
のユニットと第ｋ層第ｊ番目のユニットを結ぶ重み係数
をw^k-1 _i ^k _jとする。重み修正量メモリm5に格納されたデ
ータの内、重み係数をw^k-1 _i ^k _jを修正する量をΔw^k-1 _ij
とする。ユニット出力値メモリm3の内出力層ユニットの
出力値と教師データメモリm2との差の自乗和をＥとす
る。学習メモリm6に格納されていて、学習によって重み
を修正する際の学習率をε、重み係数w^k-1 _i ^k _jに対する
学習方向をg^k-1 _i ^k _jiとする。すると、学習によって修正
する量は Δw^k-1 _i ^k _j＝−εg^k-1 _i ^k _j （３式）で表わされる。学習方向ｇは学習方向計算部４で計算さ
れ最急降下方向メモリm6に格納される。学習率計算部６
は単に学習率メモリm6を読み出すのみであり、学習の間
中同じ値の学習率εが使われる。この（３式）を実行す
るのが重み修正量計算部５で、ここで計算された重み修
正量Δｗは重み修正量メモリm5に格納される。最後に、
重み係数メモリ４が重み修正量メモリm5の修正量だけ修
正された学習の１サイクルが終わるのである。従って、
学習方向ｇの求め方さえ確定できればこの従来の学習装
置は動作する。backpropagationアルゴリズムではこの
学習方向を以下のようにして定式化していた。

g^k-1 _i ^k _j＝δE/δw^k-1 _i ^k _j （４式）即ち、最急降下法に基づいて逐次学習を行なうのであ
る。この右辺を更に展開すると最終的には次のように表
わされる。

g^k-1 _i ^k _j＝d^k _jo^k-1 _i （５式） d^k _j＝（o^k _j-y_j)ｆ′（I^k _j）（６式）（６式）はｋが出力層の場合、（７式）はｋ層が中間層
の場合の式である。ｆ′（Ｉ）はＩによる１階微分で、
（２式）のようにsigmoid関数で表わされる場合は、ｆ′（I^k _j）＝ｆ（I^k _j）（１−ｆ（I^k _j））＝o^k _j（１−o^k _j）（８式）となり、四則演算だけで学習が可能になる。

以上の演算は学習方向計算部４で行なわれる。学習方向
計算部４は第23図に示すように最急降下方向計算部41で
構成されている。最急降下方向計算部41は第24図に示す
構成をしている。第24図において、411は（８式）を実
行する閾値関数微分計算部、412は（４式）を実行する
誤差微分値計算部である。ユニット出力値メモリm3から
o^k _jを読み込み（８式）を実行した閾値関数微分値計算
部411は計算したｆ′（I^k _j）を誤差微分値計算部412に
送る。誤差微分値計算部412は（６式）（７式）を計算
してd^k _jを求めた後、ユニット出力値メモリm3または入
力データメモリm1からo^k-1 _iを読み込んで（５式）を実
行する。これは即ち（４式）を実行したことになるので
誤差微分の名称を持つ。こうして得られたg^k-1 _i ^k _jは最
急降下方向メモリm7に格納される。

第25図に重み修正量計算部５の一構成例を示す。第５図
において5a1とta2はそれぞれ加算器と乗算器である。乗
算器5a2は最急降下方向メモリm7に格納された最急降下
方向g^k-1 _i ^k _jと学習率メモリm6のεとを掛け合わせて
（３式）を実行し、重み係数の修正量を重み修正量メモ
リm5へ格納する。加算器5a1はこの値分だけ重み係数メ
モリm5の値を修正すれば１回の学習分の重み修正が完了
する。重み係数が更新されると前向き方向計算部２は更
新された重み係数を用いて新しい出力値を求めユニット
出力値メモリm3に格納しておく。誤差値計算部３はこの
値と教師データメモリm2との差の自乗和を誤差値メモリ
m10へ格納しておく。学習終了判定部１が学習によって
誤差がどれだけ小さくなったかを調べ、設定値以下にな
れば終了の指示を出す。第26図はこの学習終了判定部の
一構成例を示したものである。1m1は終了基準値メモ
リ、1a1は減算器、12は制御部である。終了判定に用い
る設定値は終了基準値メモリ1m1にいれられており、こ
の値と誤差値メモリm10との大小を減算器1a1で行なうこ
とで制御部12が学習終了か継続かを判断し、学習装置全
体の制御を出すのである。

発明が解決しようとする課題しかしながら上記のような方法は最急降下法に基づいて
いるため学習時間が長くかかるという課題を有してい
た。これは、最急降下法が局所的には最適であるが、大
局的には必ずしもよくない逐次法であからである。例え
ば、鋭い谷間のような空間を考えて最急降下法で最小点
の存在を探索すると、谷間の方向ではなく谷の側壁方向
が最急降下方向になりがちで、なかなか谷の方向へは進
めないことからも容易に推測できよう。さらに、学習を
始める時の重み係数の初期値の決定法がないために乱数
を発生させて決めざるを得ないが、運が悪いとなかなか
収束せず学習を一からやり直す必要がしばしば生じる。
この見極めにはある程度学習を続けて明らかに学習効率
が悪いと判断しなければならず、結果的に時間がかかっ
てしまうという課題も残されていた。

本発明はかかる点に鑑み、高速に学習を行なう学習装置
を提供することを目的とする。

課題を解決するための手段本発明は、動的に学習率を計算する学習率計算部を備え
たことを特徴とする学習装置である。

また、動的に学習率を計算する学習率計算部と、学習率
計算補助メモリとを備えたことを特徴とする学習装置で
ある。

また、動的に学習率を計算する学習率計算部を備え、前
記学習率計算部は、複数の誤差値を計算する多重誤差値
計算部と、前記多重誤差値計算部の出力値から最適な学
習率の存在範囲を求める最小点存在区間検出部と、前記
最小点存在区間検出部で求められた区間中の最小点を決
定する最小点決定部とを内蔵していることを特徴とする
学習装置である。

また、動的に学習率を計算する学習率計算部を備え、前
記学習率計算部は、複数の誤差値を並列に計算する多重
誤差値並列計算部と、前記多重誤差値計算部の出力値か
ら最適な学習率の存在範囲を求める最小点存在区間検出
部と、前記最小点存在区間検出部で求められた区間中の
最小点を決定する最小点決定部とを内蔵していることを
特徴とする学習装置である。

また、学習方向を保持しておく共役勾配方向メモリと、
学習方向計算部とを備え、前記学習方向計算部は最急降
下方向を求める最急降下方向計算部と、前記最急降下方
向に基づいて最急降下方向を共役勾配方向へ変換する変
換係数を求める傾斜変換係数変換部と、前記最急降下方
向計算部の最急降下方向と前記傾斜変換係数変換部の変
換係数から共役勾配方向を求める共役勾配方向計算部と
を内蔵していることを特徴とする学習装置である。

また、学習方向を保持しておく共役勾配方向メモリと、
学習回数を記録する学習カウンタと、学習方向計算部
と、学習終了判定部とを備え、前記学習方向計算部は最
急降下方向を求める最急降下方向計算部と、前記最急降
下方向に基づいて最急降下方向を共役勾配方向へ変換す
る変換係数を求める傾斜変換係数変換部と、前記最急降
下方向計算部の最急降下方向と前記傾斜変換係数変換部
の変換係数から共役勾配方向を求める共役勾配方向計算
部とを内蔵していることを特徴とする学習装置である。

また、これ以上学習を続けても学習効率が悪い状態であ
ることを検出する不適学習状態検出部を備えたことを特
徴とする学習装置である。

また、これ以上学習を続けても学習効率が悪い状態であ
ることを検出する不適学習状態検出部と、前記不適学習
状態検出部が不適な学習状態にあることを検出した場合
前記重み係数メモリの値を更新する重み係数調整部とを
備えたことを特徴とする学習装置である。

作用本発明は前記した構成により、学習率計算部が最適な学
習率を求め、この学習率に基づいて高速に学習を収束さ
せる。また、前記した構成により、学習方向が共役勾配
方向を求め、この学習方向に基づいて高速に学習を収束
させる。さらに、前記した構成により、学習状態が悪い
状態かどうかをいち早く判断し無駄な学習を続けないよ
うにすることによって結果的に高速に学習を収束させ
る。

実施例第１図は本発明の一実施例における学習装置の構成図を
示すものである。第１図において、６は動的に学習率を
計算する学習率計算部である。以上のように構成された
第１の実施例の学習装置について、以下その動作を説明
する。

前向き計算部２に入力データメモリm1のデータが入力さ
れると、前向き計算部２は重み係数メモリm4の値を用い
て神経回路網構成されたネツトワーク出力を計算し、中
間層ユニットの値と共にユニット出力とメモリm3へ書き
込む。誤差値計算部はユニット出力値メモリm3の内出力
層ユニットの出力値と対応する教師データメモリm2の値
の差の自乗和を計算し、誤差値メモリm10へ格納する。
学習終了判定部は誤差値メモリm10の値が内部で設定さ
れている終了基準値以下であれば、各構成部分に学習を
終了するよう制御を行い、すべての学習が終了する。こ
の時の重み係数メモリm4の値が学習によって得られた結
果である。しかし、終了基準値以上の誤差値が誤差値メ
モリm10に書き込まれていれば各構成部分に学習を継続
するよう制御する。学習方向計算部はユニット出力値メ
モリm3・教師データメモリm2・重み係数メモリm4・入力
データメモリm1のそれぞれからデータを読み込み最急降
下方向を計算して最急降下方向メモリm7へ書き込んでい
く。そして学習率計算部６が動的に計算した学習率を学
習率メモリm6に書き込み、最後に重み修正量計算部５が
学習率と学習方向を掛け合わせて重み修正量を求め、重
み修正量メモリm5に書き込むと同時に重み係数メモリm4
の値を修正する。

問題は最適な学習率の決定方法であるが、本発明では少
しづつ学習率の値を変化させて前向き方向の計算を行
い、教師データメモリm2との差を求め、この誤差が最も
少なくなるような学習率を求める方式を採用している。
この方法を示したのが第２図である。第２図の横軸は学
習率ε、縦軸は前述の誤差値である。すべての学習率に
ついて計算した時得られるであろうグラフを第２図に示
してある。なるべく少ない探索回数でこのグラフの最小
点を求めればよいのである。この探索にはｉを探索回数
として ε_i＝e₀＋αⁱh （９式）で学習率を順次評価していく。学習率ε_iを用いて求め
た前述の誤差値をf_iとすれば、 f_i＜f_i+1 （10式）となるまで評価を続ける。すると、少なくともε_i-1か
らε_i+1の間に最小誤差値f_minを与える学習率ε_minが存
在する。この３点（ε_i-1，f_i-1）（ε_i，f_i）
（ε_i+1，f_i+1）の内２点を通る２次曲線を考え、最小
点を与える極値を求めるのである。α＝２の場合はもう
少し精度を上げ、かつ演算量を少なくすることができ
る。その様子を第３図に示す。第３図は、（10式）を満
たす３点が得られた時の図で、この３点を（ε₁，f₁）
（ε₂，f₂）（ε₄，f₄）とする。次にε₂とε₄の中点を
ε₃とし、対応する誤差値f₃を求める。そして f₂＜f₃ （11式）ならば、（ε₁，f₁）（ε₂，f₂）（ε₃，f₃）の３点を
用い、（11式）を満たさなければ、（ε₂，f₂）（ε₃，
f₃）（ε₄，f₄）の３点を用いて２次曲線の当てはめを
行い、最小誤差値を与える学習率ε_minを求める。ε₁と
ε₂とε₃とε₄が等間隔に並ぶのでこの最適学習率は容
易に求められ、例えば、前者の場合、で与えられる。

この計算を行なう学習率計算部６の構成を第４図に示
す。第４図において、61は最適な学習率ε_minが存在す
る区間［ε_i-1，ε_i+1］を探す最小点存在区間検出部、
62はその区間から２次曲線の当てはめによって最適な学
習率ε_minを決定する最小点決定部である。各部は上述
の方法で区間および最適な学習率を求める。この具体的
構成を示したのが第５図である。

第５図において、61m1〜61m3は（９式）の右辺を実行す
るためのメモリで、各々αメモリ・ｈメモリ・αⁱhメモ
リである。61m4は（９式）の左辺を格納するεメモリで
ある。61m5はεメモリ61m4の各学習率εに対応する誤差
値ｆを格納するｆメモリである。611は（10式）が満足
するまで学習率存在区間検出部61の制御を行い、終了す
れば最終点決定部62に制御を渡す制御部である。612は
（９式）の計算をする。ε₄計算部、613はεメモリ61m4
の中のεメモリ61m4の値とｆメモリ61m5の内容をコピー
するメモリコピー、614は（10式）の比較を行なう比較
器である。

以上のように構成された学習率存在区間検出部61の動作
を説明する。ε₄計算部512はαメモリ61m1・ｈメモリ61
m2・εメモリ61m4から（９式）の計算に必要な値を読み
だし計算する。（９式）の探索回数ｉはε₄計算部512内
部にあるカウンタで管理する。この計算結果をεメモリ
61m4のε₄メモリに格納する。また、計算の途中結果α⁰
h即ちｈをα¹hメモリ61m3へ待避しておく。これが第１
回目の計算である。第２回目は、ε₄計算部512はαメモ
リ61m1・αⁱhメモリ61m3・εメモリ61m4から必要な値を
読みだし（９式）の計算を行い同様にεメモリ61m4のε
₄メモリに格納する。第２回目以降は、（９式）のαⁱh
は指数演算をする必要はなく、αⁱhメモリ61m3の値にα
メモリ61m1の値を乗じて再びαⁱhメモリ61m3へ戻すとい
う１回の乗算だけでよい。この演算に先立ちメモリコピ
ー613はQ₂→Q₁，Q₄→Q₂，f₂→f₁，f₄→f₂とメモリの内
容をコピーしておく。ε₄計算部512が（９式）の計算結
果をεメモリ61m4のε₄メモリに格納する、制御部611は
前向き計算部２および誤差値計算部３に指令をだし、学
習率ε₄に対応するf₄を求めさせる。そして、ｆメモリ6
1m5のf₄メモリに格納させる。比較器614はこのf₄とf₂の
大小比較を行なう。これは（10式）に相当する。その結
果、（10式）が満たされれば最適学習率の存在範囲は
［ε₁，ε₄］であると確定するので制御部１はそのこと
を最小点決定部62に知らせ制御を渡す。

最小点決定部62の構成も同じく第５図に示してある。第
５図において、621は（12式）が求められるよう最小点
決定部６全体を制御する制御部、622はεメモリ61m4か
らε₂とε₄の中点であるε₃を求めるε₃計算部、62m1は
ε₃計算部622が求めたε₃を格納するε₃メモリ、62m2は
ε₃に対応する誤差値f₃を格納するf₃メモリ、623はεメ
モリ61m4・ε₃メモリ62m1・ｆメモリ61m5からデータを
読みだして（12式）を計算する最終点計算部、62m3は最
終点計算部623の求めた最適な学習率ε_minを格納するε
_minメモリである。

以上のようにこう構成された最小点決定部62の動作を説
明する。ε₃計算部622はεメモリ61m4からε₂とε₄を読
みだしε₃＝（ε₂＋ε₄）/2を計算し、ε₃メモリ62m1へ
格納する。ε₃メモリ62m1にε₃が書き込まれると、制御
部621は前向き計算部２および誤差値計算部３に指令を
だし、学習率ε₃に対応するf₃を求めさせる。そして、f
₃メモリ62m2に格納させる。最小点計算部623はεメモリ
61m4からε₂の値を、ε₃メモリ62m1からε₃の値を読み
だし、（11式）の大小関係を比較する。その結果（11
式）が満たされれば、（12式）を計算しε_minメモリ62m
3へ格納する。もし、（11式）が満たされなければεメ
モリ61m4からf₄を読みだし、（13式）を実行して最適学
習率ε_minを求める。

ε_minメモリ62m3が書き込まれれば最小点決定部62の仕
事は終わり制御を学習率計算部６へ戻す。学習率計算部
６は、最終的に求まったε_minメモリ62m3の最適学習率
ε_minを学習率メモリm6に格納し、学習率計算をすべて
終わる。

こうして本発明は学習毎に動的に最適な学習率を求めな
ら学習を行なう。第１図の構成をした本発明の学習装置
と第22図の構成をした従来の学習装置の学習終了時間を
実験的に比較してみた。2000回実験を繰り返したとこ
ろ、従来の学習装置の学習終了期待時間が４秒59msecで
あったのに対し、本発明の学習装置では１秒444msecと
３倍近く高速になった。

このように本実施例によれば、動的に学習率を求める学
習率計算部を設けることにより、効率よく学習を進め学
習時間を短縮させることができる。

なお、本実施例の最小点決定部において最適な学習率を
保持するε_minメモリを用いて説明したが、実施例の説
明でも明らかなように学習率メモリm6と同じ値であり、
かつ、同時に使用することがないので、両メモリを兼用
しても何等差し支えない。また、（９式）からも明らか
なようにe₀を０と定義して行なう場合はεメモリ61m4は
３つの値を保持するサイズでよい。また同様に、（９
式）のｈを１と定義した行なう場合はｈメモリ61m2は不
用である。また、本実施例の最小点決定部は（９式）の
αが２である場合の説明を行なったが、一般の値であっ
ても多少の構成の違いはるものの本質的に大きな違いは
なく、２次曲線の当てはめによる最小点の決定が行え
る。

第６図は別の本発明の実施例における学習装置の構成図
を示すものである。第６図において、m9は学習率を効率
的に求めるための学習率計算補助メモリである。以上の
ように構成された本発明の一実施例における学習装置に
ついて、以下その動作を説明する。初めに、本発明の学
習率計算部６の動作の基本となる考え方についてもう一
度見直して見よう。第30図の線形信号処理部200に入る
入力総和は（１式）で表わされるので、（３式）を組み
込むと学習率計算部６内部で行なわれる逐次的な計算は
次のように表わされる。

と表わされる。ここでｎは学習率存在区間検出部61で最
適学習率の存在区間が見つかるまで逐次的に行なわれる
探索回数である。

ところが、（14式）をよく検討すると、学習率存在区間
検出部61で本当に必要な演算は変数ｎに関わるものだけ
であるから、（14式）は次のように変形可能である。

ｘが中間層のユニットの出力の場合は学習率ε_nによっ
て変わるので、（15式）の変形が可能なのはｘが入力デ
ータメモリ１の内容で、ｙが第１中間層の場合に限られ
る。即ち、 y² _j＝A¹ _i ² _j−ε_nB¹ _i ² _j （16式）の場合のみである。しかし、中間層の全ユニットの入力
和を求める場合、（14式）では（（２回の乗算と１回の
減算）×入力層ユニット数）×第１中間層ユニット数の
演算が必要であったのに対し、（16式）では（１回の乗
算と１回の減算）×第１中間層ユニット数だけでよい。
一般に神経回路網構成をした場合入力層のユニット数が
最大になる場合が最も多いのでこの演算数の削減効果は
大きい。

さて、本発明における学習率計算部６の中の学習率区間
存在検出部61では初め１回だけ（16式）のＡとＢを計算
して学習率計算補助メモリm9へ格納しておく。以後、学
習率計算補助メモリm9を参照しながら（16式）を計算し
最適な学習率の計算を行なうのである。

以上のように本実施例によれば、学習率計算補助メモリ
に設けることによって学習率を求める際の演算数を大幅
に削減できる。

第７図は別の本発明の実施例における学習装置の中の学
習率計算部の構成図を示すものである。第７図におい
て、63は複数の誤差値を計算する多重誤差値計算部、64
は多重誤差値計算部63が計算した複数の誤差値から最適
な学習率が存在する区間を決定する最小点決定部であ
る。以上のように構成された本発明の一実施例における
学習装置について、以下その動作を説明する。

初めに考え方を述べよう。第８図は第２図・第３図と同
じく、学習率εと誤差値との関係を示す例である。第２
図のように探索開始点e₀から最適学習率ε_minまで誤差
が単調減少する場合は第４図で述べたような構成でもよ
い。しかし、第８図のように途中の局所最小点が存在す
る場合は、前述した逐次探索方式ではこの局所最小点に
捕らわれてしまい大局的最小点に行き着かない。誤差値
ｆを学習率εの関数としてｆ（ε）とすれば、第８図の
場合、ｆ（e₀＋ｈ）＜ｆ（e₀＋2h）であるから探索開始
早々（10式）を満足してしまい、最初の局所最小点を最
適な学習率として探索をやめてしまう。この対処方法と
しては一つの学習率に対する誤差値を求めたらすぐ前回
計算の誤差値と比較するのではなく、ｎ個の学習率に対
するｎ個の誤差値をまず求め、次にこれらｎ個の誤差値
を比較して（10式）を満足する位置を探すのである。ｎ
個目の誤差値が最も小さければさらに次のｎ個を探索す
るのである。

この考え方に基づく本発明の学習率計算部について説明
する。多重誤差値計算部63は初めに複数（ｎ個）の学習
率を用意し、各学習率に対応するｎ個の誤差値を計算す
る。この詳細な構成例を第９図に示す。第９図におい
て、632は（９式）に基づいてｎ個の学習率εを計算す
るε計算部、63m1はε計算部632で得られたｎ個の学習
率ε₁〜ε_nを記憶保持するεメモリ、63m2はεメモリの
各学習率εに対応する誤差値ｆを格納するｆメモリ、61
1は多重誤差値計算部63全体の制御を行なう制御部であ
る。このように構成された多重誤差値計算部63では、初
め（９式）に基づいてｎ個の学習率εを計算しεメモリ
63m1へ格納する。続いて制御部631は前向き計算部２お
よび誤差値計算部３に指令を出し、εメモリ63m1のｎ個
の学習率に対応する誤差値を計算させ誤差値メモリ63m2
に格納させる。その後最小点存在区間検出部64へ制御を
渡す。

この最小点存在区間検出部64の構成も同じく第９図に示
してある。第９図において、642はｆメモリ63m2の内容
を比較する比較器、641は比較器642を制御する制御部で
ある。このように構成された最小点存在区間検出部64は
以下のように動作する。多重誤差値計算部63の制御部か
ら制御を渡された最小点存在区間検出部64の制御部641
はｆメモリ63m2からf₁メモリとf₂メモリの内容を読みだ
し比較するよう比較器642を制御する。比較器642は両者
の差を求め制御部641へ送る。これによって制御部641は
f₁メモリとf₂メモリのいずれが小さいかを知ることがで
きる。この小さい方の値が入っているｆメモリ63m2の内
容とf₃を読みだし比較器642で比較させる。こうして、
小さい方の誤差値とf₄・f₅・f₆…と繰り返していればｆ
メモリ63m2の中の最小誤差値を捜し出すことができる。
もし、f_nが最小値ならばさらに先に最小値があることに
なるので次のｎ個の探索を行なうよう多重誤差値計算部
63へ制御を戻す。さてこうして見つかった誤差の最小値
をf_kとしよう。すると、求めたい最適学習率は第８図か
らもわかるようにε_k-1〜ε_k+1の間に存在すると考えら
れる。こうして最小点存在区間検出部64はその求める範
囲を検出したので、最小点決定部62へ制御を渡し最適学
習率ε_minを決定する。

この方法によっても必ず大局的最小点が求められるわけ
ではなく、かつ、１つづつ誤差値の計算と比較を行なう
方法に比べて１回あたりの計算量も多くなる。しかし、
真の最適学習率を得る確率は高くなるので、その結果と
してより早く学習が完了しやすくなる。

以上のように本実施例によれば、多重誤差値計算部と最
小点存在区間検出部を内蔵した学習率計算部を設けるこ
とによって、学習を早く収束させることができる。

なお、実施例では最小点存在区間検出部が毎回誤差値の
ｆメモリから値を読みだし比較するように比較器を構成
したが、f₁，f₂，f₃と順次比較するわけであるから、比
較器で１つのレジスタ等を用意し１つ手前の誤差値を保
持しておけばｆメモリから読みだす誤差値は１つで済
む。

第10図は別の本発明の実施例における学習装置の中の学
習率計算部の構成図を示すものである。第10図におい
て、65は複数の誤差値を並列に計算する多重誤差値並列
計算部である。以上のように構成された本発明の一実施
例における学習装置について、以下その動作を説明す
る。

第７図の多重誤差値計算部63で説明したように複数の学
習率に対する誤差値を求める本発明の学習装置において
は、ここの誤差値の計算は順位性を持たず各々独立に計
算可能である。従って、複数の前向き計算部２と複数の
誤差値計算部を用意すれば並列計算が可能になる。この
ように複数の誤差値計算を並列に行なうのが多重誤差値
並列計算部65である。こうして得られた複数の誤差値か
ら最小点存在区間検出部64で最適な学習率が求められ
る。

排他OR問題を解くような神経回路網構成の重み係数を本
発明の学習装置で学習を行なった。2000回実験を繰り返
して学習の終了する時間の期待値を求めたところ、第１
図で述べた別の本発明の学習終了期待時間が１秒444mse
cであったのに対し、第10図の構成をした学習率計算部
を持った本発明では451msecと３倍以上高速になった。

以上のように本実施例によれば、多重誤差値並列計算部
と最小点存在区間検出部を内蔵した学習率計算部を設け
ることによって、学習を早く収束させることができる。

第11図は別の本発明の実施例における学習装置の構成図
を示すものである。第11図において、m8は学習方向計算
部４で求められた共役勾配方向を格納する共役勾配方向
メモリである。以上のように構成された本発明の一実施
例における学習装置について、以下その動作を説明す
る。

本発明では学習を行なう方法として最急降下方向ではな
く共役勾配方向を用いている。初めにこの理由と求め方
を説明する。

最急降下方向の問題点は従来の学習装置の課題として述
べたように、局所的には最適であるが大局的には必ずし
も最適でない点にある。その解決策の１つとして共役勾
配方向を考える。もし、学習しようとするする重み係数
の多次元空間が２次形式で表わされるならば、その次元
数だけの学習回数で最適な位置に到達することが保証さ
れている（証明は例えば、メッソドフォアアンコン
ストレインドオブテイニゼイシヨンフルロブレムズ
アメリカンエルシビィアパブリッシュイング J.
Kowalik and M.R.Osborne,“METHODS FOR UNCONSTRAINE
D OPTIMIZATION PROBLEMS",American Elsevier Publish
ing,1968,の3.6節）。２次形式とは多次元空間上のお椀
のような形状である。学習の対象となる重み空間が２次
形式で表わされるかどうかは時と場合によるが少なくと
も、非常に早く収束する場合がありえるわけである。

では、どのように共役勾配方向を求めるかを説明する。
この方法の一つにフレッチャーリーベスFletcher−Reev
esの方法がある（アァンクションミニマイゼイション
バイコンジュゲイトグラデイエント，コンピュー
タエイジェント R.Fletcher and C.M.Reeves, “Fun
ction Minimization by Conjugate Gradients",Compute
r Jarnal,7（1964）,149）。彼らの方法によれば、ｉ回
目に計算された最急降下方向をｇ、ｉ回目に計算する共
役勾配方向をｐとすれば、 p_i＝-g_i＋βp_i-1 （17式）で与えられる。（20式）においてβは変換係数で β＝g_i／g_i-1 （18式）で与えられる。この方法を神経回路網構成した重み係数
を学習するようにしたものが本発明である。

本発明の構成を第11図に示す。第11図における学習方向
計算部４は最急降下方向を初めに計算し最急降下方向メ
モリm7に格納する。その後この最急降下方向を使って共
役勾配方向を計算し共役勾配方向メモリm8に格納する。
以後、この共役勾配方向と学習率メモリm6の学習率を使
って学習を進めていくのである。従って、本発明の学習
装置における特徴は共役勾配方向を計算する学習方向計
算部４の構成と共役勾配方向メモリm8にある。

この学習方向計算部４の構成を示したのが第12図であ
る。第12図において、42は計算された最急降下方向から
共役勾配方向を求めるための係数を計算する傾斜変換係
数計算部、43は最急降下方向計算部41と傾斜変換係数計
算部の出力および共役勾配方向メモリm8の内容から次の
共役勾配方向を求める共役勾配方向計算部である。

以上のように構成された学習方向計算部４の動作を説明
する。ｉ回目の学習で最急降下方向g_iを求めた最急降下
方向計算部41は最急降下方向g_iを傾斜変換係数計算部42
および共役勾配方向計算部43へ送る。この時点では最急
降下方向メモリm7には一回前の学習時の最急降下方向g
_i-1が格納されているので、この値を読み込む。そして
最急降下方向計算部41からの最急降下方向g_iと最急降下
方向メモリm7からの最急降下方向g_i-1との比を求める。
即ち、（18式）を計算する。こうして求まった傾斜変換
係数βを共役勾配方向計算部43へ送る。その後、最急降
下方向計算部41から送られてきた最急降下方向g_iを最急
降下方向メモリm7へ格納し、次回の学習のためにメモリ
内容を更新しておく。この時点では共役勾配方向メモリ
m8には一回前の学習時の共役勾配方向p_i-1が格納されて
いる。共役勾配方向計算部43は共役勾配方向メモリm8か
らこのp_i-1を読み込み、最急降下方向計算部41から送ら
れてきた最急降下方向g_iと、傾斜変換係数計算部42から
送られてきた傾斜変換係数βとを併せて（17式）を計算
する。その後、共役勾配方向p_iを共役勾配方向メモリm8
へ格納し、次回の学習のためにメモリ内容を更新してお
く。

以上のように本実施例によれば、傾斜変換係数計算部と
共役勾配方向計算部とを内蔵した学習率計算部と、共役
勾配方向メモリとを設けることによって、毎回共役勾配
方向を求めることができ、学習対象の重み係数の多次元
空間が２次形式で表わされる場合は非常に早く学習を終
了させることができる。

なお、本発明に実施例では学習率の求め方については何
も述べなかったが、学習率メモリm6に固定値を設定して
固定学習率で学習を進めても良いし、別の発明述べた学
習率計算部を用いて動的に求めてもよい。動的に求める
場合の例は例えば、第４図のような構成で参照する学習
方向のメモリが異なることになる。このような学習率計
算部の例を第13図に示す。学習率に対する誤差値を求め
る際に学習方向として共役勾配方向メモリm8を参照する
のである。

第14図は別の本発明の実施例における学習装置の構成図
を示すものである。第14図において、７は学習の回数を
記録する学習カウンタである。以上のように構成された
本発明の一実施例における学習装置について、以下その
動作を説明する。

共役勾配方向を利用して学習を行なう前述した別の本発
明では、学習対象の重み係数の多次元空間が２次形式で
表わされる場合非常に学習が早くなることを特長とした
が、もしこのような単純な形状をしていなれば、共役勾
配方向がかえって仇になるかもしれない。そこで、局所
的には最も信頼できる最急降下方向へ数回に１回づつ軌
道修正した方が好ましい場合も考えられる。この考えに
基づくのが第14図に示す本発明の学習装置であり、学習
カウンタ７を用いて共役勾配方向から最急降下方向へ軌
道修正をかけるのである。

この様子を第15図に示した学習方向計算部４と学習カウ
ンタ７を用いて説明しよう。学習終了判定部１は学習が
１回行なわれる毎の学習カウンタ７の値に１を加算す
る。もし、この値が設定値に達したら傾斜変換係数計算
部42へ傾斜変換係数βを０にするよう制御する。傾斜変
換係数計算部42は通常（18式）を計算しているのである
が、この制御をうけた場合は（18式）を計算せずβ＝０
として共役勾配方向計算部43へ送る。共役勾配方向計算
部43はβ＝０として（17式）を計算することになるの
で、結果、最急降下方向を出力として共役勾配方向メモ
リm8へ格納する。以後、前述の学習が続けられる。

では本発明の学習装置ではいかなる効果があるのであろ
うか。第１図の構成の別の本発明に於ける動的に学習率
を求める学習率計算部６を第11図の構成でも持つとした
場合で性能を評価してみた。排他的OR問題を例に2000回
実験を行なった結果、本発明の学習装置において学習カ
ウンタ７が学習すべき重み係数と同じ値に達した場合、
学習終了判定部１が傾斜変換係数計算部42に傾斜変換係
数β＝０とするよう制御をかけた場合の学習終了の期待
時間は、１秒672msecであった。また、学習カウンタ７
が学習すべき重み係数の半分の値に達したら、学習終了
判定部１が傾斜変換係数計算部42に傾斜変換係数β＝０
とするよう制御をかけた場合は、１秒98msecで学習が終
了した。この性能は従来の学習装置に比べ４倍近い高速
であり、特に後者は共役勾配を用いない第１図の構成の
別の発明よりも高速である。

以上のように本実施例によれば、学習カウンタを設ける
ことによって、学習対象が２次形式をしていない複雑な
形状であっても早く学習を終了させることができる。

第16図は別の本発明の一実施例における構成図を示した
ものである。第16図において、８は学習している状態が
適切であるか不適切であるかを検出する不適切学習状態
検出部である。このように構成された本発明の学習装置
についてその動作を説明する。

ここで考えられる不適切な学習状態とはなかなか学習が
進まない状態をいう。このような状況に陥るのは重み係
数メモリm6の値の絶対値が大きくなり過ぎてしまうこと
が考えられる。このような状況では（１式）のｙが正ま
たは負の方に大きくなり過ぎてしまい、第31図で言うと
右端か左端に寄ってしまった状況になる。学習における
重み修正量は（３式）〜（８式）で示されているが、特
に（８式）で明らかなように、上述のような偏った状況
はsigmoid関数の出力が０または１に束付いてしまうの
で結果として（３式）の学習量がほとんど０になってし
まうことになる。こうなればなかなか学習が進まないの
で不適切な学習状態に陥ったと判断される。

そこで、不適切学習状態検出部８はこの状態を検出し学
習終了判定部１へ学習を終了するよう制御を行なうので
ある。この判定は、ユニット出力値メモリm3に保持され
ているユニット20の出力を合計し、その総和が一定値以
下であれば偏りすぎと判断することで行なう。当然のこ
とながら、この判断は誤差値メモリm1の値が依然として
大きいという条件付きである。

また、別の実施例においては、ユニット出力を監視する
のではなく、学習方向を監視してもよい。上述のような
偏った状況では第31図で微係数を考えればわかるように
学習方向がほとんど０になる。従って、最急降下方向メ
モリm7を監視し、学習方向の総和が一定値以下ならば偏
りすぎと判断し、学習終了判定部１へ学習終了の制御を
行なうのである。

また、最急降下方向メモリm7の代わりに共役勾配方向メ
モリm8を監視していてもよい。

以上のように本実施例によれば、不適学習状態検出部を
設けることによって、無駄な学習を防ぐことができ、結
果としては早く学習を終了させることにつながる。

第17図は別の本発明の実施例を示すものである。第17図
において、９は重み係数調整部である。このように構成
された発明の動作を説明する。不適切学習状態検出部８
が不適切な学習状態に陥っていると判断した時、すぐ学
習終了判定部１に学習を終了させるのではなく、重み係
数調整部９が重み係数の値を変更して適切な学習状態に
変更し、学習を継続すると言う点が本発明の特長であ
る。

この重み係数調整部９の一構成例を示したのが第18図で
ある。第18図において、91は乱数発生部である。このよ
うな構成をした重み係数調整部９について以下その動作
を説明する。不適学習状態検出部８が不適当な学習状態
に陥ったことを検出すると、乱数発生部91にその旨知ら
せる。不適学習状態検出部８からの制御を受けた乱数発
生部91は乱数を発生して重み係数メモリm4の値をすべて
初期化する。乱数での初期化が終わるとその旨学習終了
部１へ指示を出す。学習終了部１はこの結果を受けて学
習課程の管理上初期化するべきものがあれば初期化す
る。

以上のように本実施例によれば、乱数発生部を内蔵した
重み係数調整部を設けることによって不適当な学習状態
に陥っても、自動的に学習を再開させることができ、人
手を介さずに早く学習を終了させることができる。

なお、学習終了判定部が学習再開時に学習課程の管理上
初期化すべきものがなければ乱数発生部から学習終了判
定部への制御は必要ない。

第19図は重み係数調整部９の第２の構成例を示したもの
である。第19図において、92は全重み係数圧縮部であ
る。このような構成をした重み係数調整部９について以
下その動作を説明する。不適学習状態検出部８が不適当
な学習状態に陥ったことを検出すると、全重み係数圧縮
部92にその旨知らせる。不適学習状態検出部８からの制
御を受けた全重み係数圧縮部92は重み係数メモリm4の値
にすべて１より小さい値を掛け合わせることで重み係数
をすべて初期化する。この初期化が終わるとその旨学習
終了部１へ指示を出す。学習終了部１はこの結果を受け
て学習課程の管理上初期化すべきものがあれば初期化す
る。重み係数を一定の割合ですべて圧縮するのはそれま
での学習が進んできた重み係数の多次元空間の方向を考
慮し、象限を変えずに学習を再開させようとするもので
ある。

以上のように本実施例によれば、全重み係数圧縮部を内
蔵した重み係数調整部を設けることによって不適当な学
習状態に陥っても、それまでの学習の上方を多少残しな
がら自動的に学習を再開させることができ、人手を介さ
ずに早く学習を終了させることができる。

第20図は重み係数調整部９の第３の構成例を示したもの
である。第20図において、93は異常値出力ユニット検出
部、94は重み係数調整部９について以下その動作を説明
する。不適学習状態検出部８が不適当な学習状態に陥っ
たことを検出すると、異常値出力ユニット検出部93にそ
の旨知らせる。不適学習状態検出部８からの制御を受け
た異常値出力ユニット検出部93はユニット出力値メモリ
m3を検索して最も異常な値を出力しているユニットを検
出する。具体的にはsigmoid関数の上限・下限値に最も
近い値を出力しているユニットを探す。こうして見つか
った、異常値を出力しているユニットの上方を重み係数
圧縮部94に渡す。重み係数圧縮部94はそのユニットと下
層のユニットを結ぶ重み係数メモリm4に対してのみ、１
より小さい値を掛け合わせることで重み係数を初期化す
る。この初期化がおわるその旨学習終了部１へ指示を出
す。学習終了部１はこの結果を受けて学習課程の管理上
初期化すべきものがあれば初期化する。異常値を出力し
たユニットに関わる重み係数にのみ一定の割合で圧縮す
るのはそれまでの学習が進んできた重み係数の多次元空
間の方向を考慮し、不適当な学習状態に陥らせた重み係
数のみ初期化する事で他の重み係数はそれまでの学習結
果を引き継がせながら学習を再開させようとするもので
ある。

以上のように本実施例によれば、異常値出力ユニット検
出部と重み係数圧縮部を内蔵した重み係数調整部を設け
ることによって不適当な学習状態に陥っても、それまで
の学習の情報を多少残しながら自動的に学習を再開させ
ることができ、人手を介さずに早く学習を終了させるこ
とができる。

また、本実施例においてはユニット20がsigmoid関数を
使っていることを前提に説明したが、任意の閾値関数で
あっても構わない。

第21図は重み係数調整部９の第４の構成例を示したもの
である。第21図において、95は異常入力検出部、96は重
み係数圧縮部である。このような構成をした重み係数調
整部９について以下その動作を説明する。不適学習状態
検出部８が不適当な学習状態に陥ったことを検出する
と、異常値出力ユニット検出部93にその旨知らせる。不
適学習状態検出部８からの制御を受けた異常値出力ユニ
ット検出部93はユニット出力値メモリm3を検索して最も
異常な値を出力しているユニットを検出する。具体的に
はsigmoid関数の上限・下限値に最も近い値を出力して
いるユニットを探す。こうして見つかった、異常値を出
力しているユニットの情報を異常入力検出部95へ渡す。
異常入力検出部95はそのユニットに入力される値につい
て最も絶対値が大きい入力を比較する。こうして見つか
った入力に掛け合われる重み係数メモリm4の情報を重み
係数圧縮部96に渡す。重み係数圧縮部96はその重み係数
１つだけに１より小さい値を掛け合わせることで重み係
数を初期化する。この初期化が終わるとその旨学習終了
部１へ指示を出す。学習終了部１はこの結果を受けて学
習課程の管理上初期化すべきものがあれば初期化する。
異常値を出力したユニットの更に最も影響の大きい１つ
の重み係数にのみ一定の割合で圧縮するのはそれまでの
学習が進んできた重み係数の多次元空間の方向を考慮
し、不適当な学習状態に陥らせた重み係数のみ初期化す
ることで他の重み係数はそれまでの学習結果を引き継が
せながら学習を再開させようとするものである。

発明の効果以上説明したように、本発明によれば、学習率計算部、
あるいは共役勾配方向を求める学習方向計算部、あるい
は不適学習状態検出部を設けることによって、学習を高
速に終了させることができ、その実用的価値には大なる
ものがある。

【図面の簡単な説明】

第１図は本発明における一実施例の学習装置の構成図、
第２図および第３図は本発明の基本となる動作説明図、
第４図は学習率計算部の構成図、第５図は学習率存在区
間検出部と最小点決定部の構成図、第６図は本発明にお
ける他の実施例の学習装置の構成図、第７図は学習率計
算部の他の構成図、第８図は本発明の第２の実施例の基
本となる動作説明図、第９図は多重誤差値計算部と最小
点決定部の構成図、第10図は学習率計算部の他の構成
図、第11図は本発明における他の実施例の学習装置の構
成図、第12図は学習方向計算部の構成図、第13図は学習
率の他の構成図、第14図は本発明における他の実施例の
学習装置の構成図、第15図は学習方向計算部の他の構成
図、第16図は本発明における他の実施例の学習装置の構
成図、第17図は本発明における他の実施例の学習装置の
構成図、第18図は重み係数調整部の一構成図、第19図か
ら第21図までは重み係数調整部の他の構成図、第22図は
従来の学習装置の構成図、第23図は従来の学習方向計算
部の構成図、第24図は最急降下方向計算部の構成図、第
25図は重み修正量計算部の構成図、第26図は学習終了判
定部の構成図、第27図および第28図は前向き方向計算部
の構成図、第29図は前向き方向計算部を構成するユニッ
トの構成図、第30図はユニットの他の構成図、第31図は
閾値処理部の入出力特性図である。１…学習終了判定部、1m1…終了基準値メモリ、12…制
御部、1a1…減算器、２…前向き方向計算部、20…ユニ
ット、21…入力ユニット、201…入力部、203…乗算器、
204…加算器、200…線形信号処理部、300…閾値処理
部、３…誤差値計算部、４…学習方向計算部、41…最急
降下方向計算部、411…閾値関数微分値計算部、412…誤
差微分値計算部、42…傾斜変換係数計算部、43…共役勾
配方向計算部、５…重み修正量計算部、5a1…加算器、5
a2…乗算器、６…学習率計算部、61…最小点存在区間検
出部、611…制御部、612…ε₄計算部、61…メモリコピ
ー、614…比較器、61m1…αメモリ、61m2…ｈメモリ、6
1m3α_ihメモリ、61m4…εメモリ、615m…ｆメモリ、62
…最小点決定部、621…制御部、622…ε₃メモリ、623…
最小点計算部、62m1…ε₃メモリ、62m2…ｆ₃メモリ、62
m3…ε_minメモリ、63…多重誤差値計算部、631…制御
部、632…ε計算部、63m1…εメモリ、63m2…ｆメモ
リ、64…最小点存在区間検出部、641…制御部、642…比
較器、65…多重誤差値並列計算部、７…学習カウンタ、
８…不適学習状態計算部、９…重み係数調整部、91…乱
数発生部、92…全重み係数圧縮部、93…異常値出力ユニ
ット検出部、94…重み係数圧縮部、95…異常入力検出
部、96…重み係数圧縮部、m1…入力データメモリ、m2…
教師データメモリ、m3…ユニット出力値メモリ、m4…重
み係数メモリ、m5…重み修正量メモリ、m6…学習率メモ
リ、m7…最急降下方向メモリ、m8…共役勾配方向メモ
リ、m9…学習率計算補助メモリ、m10…誤差値メモリ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者香田敏行大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者戸川隼人東京都文京区向丘１―12―２

Claims

【特許請求の範囲】

【請求項１】設定された条件まで学習が進んだかどうか
を判定する学習終了判定部と、入力データを保持する入
力データメモリと、学習目的値である正しい値を保持し
ておく教師データメモリと、神経回路網構成をした前向
き方向計算部と、前記前向き計算部の計算結果を保持し
ておくユニット出力値メモリと、前記前向き方向計算部
で用いる重み係数を保持しておく重み係数メモリと、前
記前向き方向計算部の出力値と前記教師データメモリと
の差異を計算する誤差値計算部と、前記誤差値計算部の
出力を保持しておく誤差値メモリと、前記誤差値計算部
の計算値と最急降下法に基づいて最急降下方向を計算す
る最急降下方向計算部と、前記最急降下方向計算部を内
蔵し誤差を少なくするような学習方向を求める学習方向
計算部と、前記最急降下方向計算部の出力値を保持して
おく最急降下方向メモリと、前記学習方向計算部で得ら
れた学習方向にどれだけ学習を進めるかを示す学習率を
保持しておく学習率メモリと、前記学習方向計算部の計
算方向に前記学習率メモリの学習率に従って学習を行い
前記重み係数メモリの値の修正量を計算する重み修正量
計算部と、前記重み修正量計算部の計算結果を保持する
重み修正量メモリ、動的に学習率を計算する学習率計算
部を具備し、前記学習率計算部は学習率を変化させて学
習させた場合の前記誤差値計算部の出力を観察して最適
な学習率の存在範囲を求める最小点存在区間検出部と、
前記最小点存在区間検出部で求められた区間中の最小点
を関数近似もしくはより詳細に学習させて行う探索によ
って決定する最小点決定部とを持つことを特徴とする学
習装置。
【請求項２】設定された条件まで学習が進んだかどうか
を判定する学習終了判定部と、入力データを保持する入
力データメモリと、学習目的値である正しい値を保持し
ておく教師データメモリと、神経回路網構成をした前向
き方向計算部と、前記前向き計算部の計算結果を保持し
ておくユニット出力値メモリと、前記前向き方向計算部
で用いる重み係数を保持しておく重み係数メモリと、前
記前向き方向計算部の出力値と前記教師データメモリと
の差異を計算する誤差値計算部と、前記誤差値計算部の
出力を保持しておく誤差値メモリと、前記誤差値計算部
の計算値と最急降下法に基づいて最急降下方向を計算す
る最急降下方向計算部と、前記最急降下方向計算部を内
蔵し誤差を少なくするような学習方向を求める学習方向
計算部と、前記最急降下方向計算部の出力値を保持して
おく最急降下方向メモリ、前記学習方向計算部で得られ
た学習方向にどれだけ学習を進めるかを示す学習率を保
持しておく学習率メモリと、前記学習方向計算部の計算
方向に前記学習率メモリの学習率に従って学習を行い前
記重み係数メモリの値の修正量を計算する重み修正量計
算部と、前記重み修正量計算部の計算結果を保持する重
み修正量メモリと、動的に学習率を計算する学習率計算
部と、学習率計算補助メモリとを具備することを特徴と
する学習装置。
【請求項３】設定された条件まで学習が進んだかどうか
を判定する学習終了判定部と、入力データを保持する入
力データメモリと、学習目的値である正しい値を保持し
ておく教師データメモリと、神経回路網構成をした前向
き方向計算部と、前記前向き計算部の計算結果を保持し
ておくユニット出力値メモリと、前記前向き方向計算部
で用いる重み係数を保持しておく重み係数メモリと、前
記前向き方向計算部の出力値と前記教師データメモリと
の差異を計算する誤差値計算部と、前記誤差値計算部の
出力を保持しておく誤差値メモリと、前記誤差値計算部
の計算値と最急降下法に基づいて最急降下方向を計算す
る最急降下方向計算部と、前記最急降下方向計算部を内
蔵し誤差を少なくするような学習方向を求める学習方向
計算部と、前記最急降下方向計算部の出力値を保持して
おく最急降下方向メモリと、前記学習方向計算部で得ら
れた学習方向にどれだけ学習を進めるかを示す学習率を
保持しておく学習率メモリと、前記学習方向計算部の計
算方向に前記学習率メモリの学習率に従って学習を行い
前記重み係数メモリの値の修正量を計算する重み修正量
計算部と、前記重み修正量計算部の計算結果を保持する
重み修正量メモリと、動的に学習率を計算する学習率計
算部を具備し、前記学習率計算部は、複数の学習率で学
習させた場合の前記誤差値計算部の出力から複数の誤差
値を得る多重誤差値計算部と、前記多重誤差値計算部の
複数の出力値を比較することで最適な学習率の存在範囲
を求める最小点存在区間検出部と、前記最小点存在区間
検出部で求められた区間中の最小点を関数近似もしくは
より詳細に学習させて行う探索によって決定する最小点
決定部とを内蔵することを特徴とする学習装置。
【請求項４】設定された条件まで学習が進んだかどうか
を判定する学習終了判定部と、入力データを保持する入
力データメモリと、学習目的値である正しい値を保持し
ておく教師データメモリと、神経回路網構成をした前向
き方向計算部と、前記前向き計算部の計算結果を保持し
ておくユニット出力値メモリと、前記前向き方向計算部
で用いる重み係数を保持しておく重み係数メモリと、前
記前向き方向計算部の出力値と前記教師データメモリと
の差異を計算する誤差値計算部と、前記誤差値計算部の
出力を保持しておく誤差値メモリと、前記誤差値計算部
の計算値と最急降下法に基づいて最急降下方向を計算す
る最急降下方向計算部と、前記最急降下方向計算部を内
蔵し誤差を少なくするような学習方向を求める学習方向
計算部と、前記最急降下方向計算部の出力値を保持して
おく最急降下方向メモリと、前記学習方向計算部で得ら
れた学習方向にどれだけ学習を進めるかを示す学習率を
保持しておく学習率メモリと、前記学習方向計算部の計
算方向に前記学習率メモリの学習率に従って学習を行い
前記重み係数メモリの値の修正量を計算する重み修正量
計算部と、前記重み修正量計算部の計算結果を保持する
重み修正量メモリと、動的に学習率を計算する学習率計
算部を具備し、前記学習率計算部は、複数の学習率で学
習を並行計算させた場合の前記誤差値計算部の出力から
複数の誤差値を得る多重誤差値並列計算部と、前記多重
誤差値計算部の複数の出力値を比較することで最適な学
習率の存在範囲を求める最小点存在区間検出部と、前記
最小点存在区間検出部で求められた区間中の関数近似も
しくはより詳細に学習させて行う探索によって最小点を
決定する最小点決定部とを内蔵することを特徴とする学
習装置。
【請求項５】動的に学習率を計算する学習率計算部と、
学習率計算補助メモリとを備え、前記学習方向計算部は
学習方向として最急降下方向を求める最急降下方向計算
部を内蔵することを特徴とする請求項1,2または４記載
の学習装置。
【請求項６】設定された条件まで学習が進んだかどうか
を判定する学習終了判定部と、入力データを保持する入
力データメモリと、学習目的値である正しい値を保持し
ておく教師データメモリと、神経回路網構成をした前向
き方向計算部と、前記前向き計算部の計算結果を保持し
ておくユニット出力値メモリと、前記前向き方向計算部
で用いる重み係数を保持しておく重み係数メモリと、前
記前向き方向計算部の出力値と前記教師データメモリと
の差異を計算する誤差値計算部と、前記誤差値計算部の
出力を保持しておく誤差値メモリと、前記誤差値計算部
の計算値と最急降下法に基づいて最急降下方向を計算す
る最急降下方向計算部と、前記最急降下方向計算部を内
蔵し誤差を少なくするような学習方向を求める学習方向
計算部と、前記最急降下方向計算部の出力値を保持して
おく最急降下方向メモリと、前記学習方向計算部で得ら
れた学習方向にどれだけ学習を進めるかを示す学習率を
保持しておく学習率メモリと、前記学習方向計算部の計
算方向に前記学習率メモリの学習率に従って学習を行い
前記重み係数メモリの値の修正量を計算する重み修正量
計算部と、前記重み修正量計算部の計算結果を保持する
重み修正量メモリと、前記学習方向計算部で得られた学
習方向を保持しておく共役勾配方向メモリを具備し、前
記学習方向計算部は前記最急降下方向計算部と、前記最
急降下方向メモリに保持された最急降下方向を入力し最
急降下方向を共役勾配方向へ変換する変換係数を求める
傾斜変換係数変換部と、前記最急降下方向計算部の最急
降下方向と前記傾斜変換係数変換部の変換係数を入力し
当該変換係数を用いて最急降下方向を共役勾配方向に変
換する共役勾配方向計算部とを内蔵することを特徴とす
る学習装置。
【請求項７】学習方向を保持しておく共役勾配方向メモ
リと、学習回数を記録する学習カウンタとを備え、前記
学習方向計算部は前記最急降下方向計算部と、前記傾斜
変換係数変換部と、前記共役勾配方向計算部とを内蔵
し、また、前記学習終了判定部は前記学習カウンタが一
定値に達すると前記傾斜変換係数変換部に傾斜変換係数
を０にリセットするよう制御を行なうことを特徴とする
請求項６記載の学習装置。
【請求項８】動的に学習率を決定する学習率計算部を備
えたことを特徴とする請求項６または７記載の学習装
置。
【請求項９】設定された条件まで学習が進んだかどうか
を判定する学習終了判定部と、入力データを保持する入
力データメモリと、学習目的値である正しい値を保持し
ておく教師データメモリと、神経回路網構成をした前向
き方向計算部と、前記前向き計算部の計算結果を保持し
ておくユニット出力値メモリと、前記前向き方向計算部
で用いる重み係数を保持しておく重み係数メモリと、前
記前向き方向計算部の出力値と前記教師データメモリと
の差異を計算する誤差値計算部と、前記誤差値計算部の
出力を保持しておく誤差値メモリと、前記誤差値計算部
の計算値と最急降下法に基づいて最急降下方向を計算す
る最急降下方向計算部と、前記最急降下方向計算部を内
蔵し誤差を少なくするような学習方向を求める学習方向
計算部と、前記最急降下方向計算部の出力値を保持して
おく最急降下方向メモリと、前記学習方向計算部で得ら
れた学習方向にどれだけ学習を進めるかを示す学習率を
保持しておく学習率メモリと、前記学習方向計算部の計
算方向に前記学習率メモリの学習率に従って学習を行い
前記重み係数メモリの値の修正量を計算する重み修正量
計算部と、前記重み修正量計算部の計算結果を保持する
重み修正量メモリと、これ以上学習を続けても学習効率
が悪い状態すなわち前記ユニット出力値メモリが予め定
めた上限値もしくは下限値に達したかどうかを判定する
不適学習状態検出部を具備し、前記不適学習状態検出部
の出力が不適切学習状態を検知している場合には学習を
終了させるような判定結果を出力するよう前記学習終了
判定部を制御することを特徴とする学習装置。
【請求項１０】設定された条件まで学習が進んだかどう
かを判定する学習終了判定部と、入力データを保持する
入力データメモリと、学習目的値である正しい値を保持
しておく教師データメモリと、神経回路網構成をした前
向き方向計算部と、前記前向き計算部の計算結果を保持
しておくユニット出力値メモリと、前記前向き方向計算
部で用いる重み係数を保持しておく重み係数メモリと、
前記前向き方向計算部の出力値と前記教師データメモリ
との差異を計算する誤差値計算部と、前記誤差値計算部
の出力を保持しておく誤差値メモリと、前記誤差値計算
部の計算値と最急降下法に基づいて最急降下方向を計算
する最急降下方向計算部と、前記最急降下方向計算部を
内蔵し誤差を少なくするような学習方向を求める学習方
向計算部と、前記最急降下方向計算部の出力値を保持し
ておく最急降下方向メモリと、前記学習方向計算部で得
られた学習方向にどれだけ学習を進めるかを示す学習率
を保持しておく学習率メモリと、前記学習方向計算部の
計算方向に前記学習率メモリの学習率に従って学習を行
い前記重み係数メモリの値の修正量を計算する重み修正
量計算部と、前記重み修正量計算部の計算結果を保持す
る重み修正量メモリと、これ以上学習を続けても学習効
率が悪い状態すなわち前記ユニット出力値メモリが予め
定めた上限値もしくは下限値に達したかどうか判定する
不適学習状態検出部と、前記不適学習状態検出部が不適
な学習状態にあることを検出した場合前記重み係数メモ
リの値を更新する重み係数調整部を具備することを特徴
とする学習装置。
【請求項１１】重み係数調整部が乱数発生部を内蔵し重
み係数メモリの重み係数値をすべて更新することを特徴
とする請求項10記載の学習装置。
【請求項１２】重み係数調整部が重み係数メモリの重み
係数値すべてに一定の値を乗ずる全重み係数圧縮部を備
えたことを特徴とする請求項10記載の学習装置。
【請求項１３】重み係数調整部が、不適学習状態検出部
が不適な学習状態を検出した時の不適な学習状態に最も
寄与したユニット出力値を前記ユニット出力値メモリか
ら探してくる異常値出力ユニット検出部と、前記異常値
出力ユニット検出部が検出したユニットに寄与している
前記重み係数メモリ内の重み係数値に一定の値を乗ずる
全重み係数圧縮部を備えたことを特徴とする請求項10記
載の学習装置。
【請求項１４】重み係数調整部が、不適学習状態検出部
が不適な学習状態を検出した時の不適な学習状態に最も
寄与したユニット出力値を前記ユニット出力値メモリか
ら探してくる異常値出力ユニット検出部と、前記異常値
出力ユニット検出が検出したユニット入力している値の
うち最も異常値に寄与している前記重み係数メモリ内の
重み係数値にのみ一定の値を乗ずる全重み係数圧縮部を
備えたことを特徴とする請求項10記載の学習装置。