JPH04264664A - 神経回路網型パターン処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経回路網型パターン
処理装置に関し、特に、アナログ値をとる入力および期
待出力が実時間で逐次与えられる学習を行う場合におい
て、入力と期待出力をその最大絶対値に応じて装置内で
自動的に正規化し学習を実時間で効率的に行う神経回路
網型パターン処理装置に関するものである。

【０００２】

【従来の技術】従来の典型的な神経回路網型パターン処
理装置のうち、多入力・１出力で入出力ともにアナログ
量を扱うものは、図１に示されるような３層の神経回路
網で構成される装置となっている。図１における神経回
路網は入力層１，中間層２，出力層３の３層から構成さ
れており、入力層１から出力層３へ向かう方向に各層の
処理ユニットが結合されている。まず、入力層１のＮ個
の処理ユニット（入力ユニット１１〜１Ｎ）に提示され
たアナログ入力は正規化され、中間層２のＭ個の処理ユ
ニット（中間ユニット２１〜２Ｍ）へ送られる。ここで
変換を受けた後に更に出力層３の処理ユニット（出力ユ
ニット３１）へと送り出される。アナログの入出力を扱
う神経回路網において学習を確実に遂行するためにはア
ナログ入力および期待出力を正規化することが必須であ
る。このため、通常、次に説明するように神経回路網が
構成される。

【０００３】図２は神経回路網における入力ユニットの
構造を説明する図である。入力ユニット１ｊは外部から
のアナログ入力を受ける部分１ｊＡと、これを正規化す
る部分１ｊＢとから構成されている。例えば、ｊ番目の
入力ユニット１ｊは、入力として提示されるアナログ入
力ｐｊ（ｐｊはゼロまたは正の値をとるものとして扱わ
れることが多い）を適当な定数Ｐｊで正規化し、その正
規化入力ｘｊ；

【０００４】

【数１】

【０００５】を出力として中間ユニットへ送出する。学
習を確実に遂行するためには入力ユニット１ｊの出力ｘ
ｊは０≦ｘｊ≦１に制限したほうがよい。したがって定
数Ｐｊは、予めこのアナログ入力がとる値の範囲を調べ
ておき、その最大値に設定されることが多い。

【０００６】図３は神経回路網における中間ユニットの
構造を説明する図である。中間ユニット２ｉは、入力ユ
ニット１ｊからの出力を重みづけ総和して入力値に変換
する部分２ｉＡと、この入力値を非線形変換して出力ユ
ニットへ出力する部分２ｉＢとから構成されている。更
に、例えば、ｊ番目の入力ユニット１ｊからの出力を受
ける部分２ｉＡｊには、入力ユニット１ｊとの結合部２
ｉＣｊが付加されている。この結合部２ｉＣｊは可変の
重みｗｉｊをもっている。ｊ番目（ｊ＝１，…，Ｎ）の
入力ユニット１ｊの出力ｘｊに重みｗｉｊを掛けて全入
力ユニットにわたり総和したものが、中間ユニット２ｉ
の入力値ｙｉとなる。すなわち、この場合の入力値ｙｉ
は次式で与えられる。

【０００７】

【数２】

【０００８】ここでのｗｉ０は中間ユニット２ｉの閾値
であり、これは常に１を出力する入力ユニット１ｊを想
定したとき、この入力ユニット１ｊと中間ユニット２ｉ
との間に定義される重みと考えることができる。中間ユ
ニット２ｉの出力値ｚｉは入力値ｙｉを非線形の飽和関
数ｆによって非線形変換したものである。これは典型的
な非線形の飽和関数であるシグモイド関数を用いれば次
式で表すことができる。

【０００９】

【数３】

【００１０】図４は神経回路網における出力ユニットの
構造を説明する図である。出力ユニット３１は、中間ユ
ニット２ｉの出力を重みづけ総和する部分３１Ａから構
成されている。また入力部分の中間ユニット２ｉからの
出力を受ける部分３１Ｂには、中間ユニット２ｉとの結
合部３１Ｂｉが付加されている。この結合部３１Ｂｉは
可変の重みｖｉをもっている。

【００１１】出力ユニット３１の出力（神経回路網の出
力）ｑは、ｉ番目（ｉ＝１，…，Ｍ）の中間ユニット２
ｉの出力ｚｉに重みｖｉを掛けて総和したものあり、

【
００１２】

【数４】

【００１３】で与えられる。ここでｖ０は出力ユニット
３１における閾値であり、これは常に１を出力する中間
ユニット２ｉを想定したとき、この中間ユニット２ｉと
出力ユニット３１との間に定義される重みと考えること
ができる。出力ユニット３１の出力（神経回路網の出力
）ｑに、後述する正規化定数Ｒを掛けることにより、神
経回路網型パターン処理装置としての出力が計算される
。

【００１４】神経回路網型パターン処理装置に特徴的で
ある学習とは、装置の出力と期待出力とを比較し、その
差が小さくなるように重み（閾値を含む）を変える必要
がある。学習のアルゴリズムとして代表的な逆伝搬法は
、結合部の重みを変える操作を、まず出力ユニットと中
間ユニットとの間の結合に対し、次に中間ユニットと入
力ユニットとの間の結合に対して、順次に移行して行う
ものである。この操作をそれぞれの入力に対して繰り返
して行うことにより、正しい入出力関係を得るための最
適な重みおよび閾値を得ることができる。次に、この操
作を具体的に示す。

【００１５】ある入力を神経回路網型パターン処理装置
に提示した時、神経回路網の出力ｑとこのときの期待出
力ｒとの差を次式で評価することにする。

【００１６】

【数５】

【００１７】ここで、Ｒはアナログ量である期待出力を
正規化するための定数である。学習を確実に遂行するた
めには、神経回路網の出力ｑのとる値は０≦ｑ≦１に制
限したほうがよい。したがって、この定数Ｒも入力の正
規化定数Ｐｊと同様に、予め期待出力がとり得る値の最
大値に設定されることが多い。こうして定義されるＥを
極小にするように最急降下法により重み（閾値を含む）
を更新する。

【００１８】各ステップにおける中間ユニット２ｉから
出力ユニット３１への重み（閾値を含む）ｖｉの更新量
Δｖｉ（ｔ）は、最急降下法のステップ幅をηとし、モ
ーメンタム係数をαとするとき、１ステップ前の更新量
Δｖｉ（ｔ−１）を用いて次式で与えられる。

【００１９】

【数６】

【００２０】ここで、δは、

【００２１】

【数７】

【００２２】である。

【００２３】入力ユニット１ｉから中間ユニット２ｊへ
の重み（閾値を含む）ｗｉｊの更新量Δｗｉｊ（ｔ）は
、最急降下法のステップ幅をηとし、モーメンタム係数
をαとするとき、１ステップ前の更新量Δｗｉｊ（ｔ−
１）を用いて次式で与えられる。

【００２４】

【数８】

【００２５】ここで、δｉは、

【００２６】

【数９】

【００２７】である。

【００２８】このようにして、重み（閾値を含む）更新
の操作をそれぞれの入力に対して繰り返し行うことによ
り、所期の入出力関係を備えた神経回路網型パターン処
理装置を構成することができる（　Ｄ．　Ｅ．　Ｒｕｍ
ｅｎｌｈａｔ，Ｇ．　Ｈｉｎｔｏｎ　ａｎｄ　Ｒ．　Ｊ
．　Ｗｉｌｌｉａｍｓ，　“Ｌｅａｒｎｉｎｇ　ｒｅｐ
ｒｅｓｅｎｔａｔｉｏｎｓ　ｂｙ　ｂａｃｋｐｒｏｐａ
ｇａｔｉｏｇ　ｅｒｒｏｒｓ”，　Ｎａｔｕｒｅ　３２
３，　５３３〜５３６（１９８６）を参照）。

【００２９】

【発明が解決しようとする課題】このように、従来にお
ける神経回路網型パターン処理装置により、入力あるい
は出力としてアナログ量を扱う場合には、学習を行うた
めに予め入力あるいは期待出力がとる値の範囲を調ベて
おき、これに応じてそれぞれの正規化定数を決めておく
必要があった。しかし、このような装置では、未知の入
力あるいは未知の期待出力が装置に逐次提示される対象
について、提示される入力の処理に並行して実時間で学
習を行うことができないという問題がある。

【００３０】本発明の目的は、このような従来の問題点
を解決するためになされたものであり、実時間でアナロ
グの入出力関係の学習が可能である神経回路網型パター
ン処理装置を提供することにある。

【００３１】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の神経回路網型パターン処理装置は、各層が
複数の処理ユニットからなる多層の神経回路網を備えた
神経回路網型パターン処理装置において、処理されるべ
き入力を提示する入力提示手段（４１）と、入力提示手
段（４１）により提示された入力に応じて入力の正規化
定数を決定する入力正規化定数決定手段（４２）と、入
力を入力正規化定数決定手段（４２）によって決定され
た正規化定数に従って正規化する入力正規化手段（４３
）と、入力提示手段（４１）により提示される入力に対
応する期待出力を提示する期待出力提示手段（４４）と
、期待出力提示手段（４４）により提示された期待出力
に応じて期待出力の正規化定数を決定する期待出力正規
化定数決定手段（４５）と、期待出力を期待出力正規化
定数決定手段（４５）によって決定された正規化定数に
従って正規化する期待出力正規化手段（４６）と、入力
正規化定数決定手段（４２）および期待出力正規化定数
決定手段（４５）からの正規化定数に応じて重みを計算
する重み計算手段（４７）と、入力正規化手段（４３）
により正規化された入力から重み計算手段（４７）によ
り計算される重みを用いて神経回路網の出力を計算する
神経回路網出力計算手段（４８）と、神経回路網出力計
算手段（４８）により計算された神経回路網の出力から
装置として出力を計算する装置出力計算手段（４９）と
、神経回路網出力計算手段（４８）により計算された神
経回路網の出力と期待出力正規化手段（４６）により正
規化された期待出力との差を計算する比較手段（５０）
と、比較手段（５０）によって計算された差から各処理
ユニットの閾値および処理ユニット間の結合の重みの更
新量を計算する重み更新量計算手段（５１）と、重み更
新量計算手段（５１）により計算された更新量だけ各処
理ユニットの閾値および処理ユニット間の結合の重みを
更新する重み更新手段（５２）とを有することを特徴と
する。

【００３２】

【作用】これによれば、それぞれが複数の処理ユニット
からなる多層の神経回路網を備えた神経回路網型パター
ン処理装置に、入力提示手段（４１）と、入力正規化定
数決定手段（４２）と、入力正規化手段（４３）と、期
待出力提示手段（４４）と、期待出力正規化定数決定手
段（４５）と、期待出力正規化手段（４６）と、重み計
算手段（４７）と、神経回路網出力計算手段（４８）と
、装置出力計算手段（４９）と、比較手段（５０）と、
重み更新量計算手段（５１）と、重み更新手段（５２）
とが備えられる。

【００３３】入力提示手段（４１）が処理されるべき入
力を提示すると、入力正規化定数決定手段（４２）が入
力提示手段（４１）により提示された入力に応じて入力
の正規化定数を決定する。入力正規化手段（４３）は、
入力を入力正規化定数決定手段（４２）によって決定さ
れた正規化定数に従って正規化する。また、この入力時
に、期待出力提示手段（４４）が入力提示手段（４１）
により提示される入力に対応する期待出力を提示する。 期待出力提示手段（４４）が期待出力を提示すると、提
示された期待出力に応じて、期待出力正規化定数決定手
段（４５）が期待出力の正規化定数を決定するので、期
待出力正規化手段（４６）は、期待出力を期待出力正規
化定数決定手段（４５）によって決定された正規化定数
に従って正規化する。一方、重み計算手段（４７）は、
入力正規化定数決定手段（４２）および期待出力正規化
定数決定手段（４５）からの正規化定数に応じて重みを
計算する。計算された重みは神経回路網出力計算手段（
４８）に供給され、神経回路網出力計算手段（４８）は
、この重みを用いて、入力正規化手段（４３）により正
規化された入力から神経回路網の出力を計算する。神経
回路網出力計算手段（４８）により計算された神経回路
網の出力は、装置出力計算手段（４９）によって、装置
としての出力が計算されて出力される。また、比較手段
（５０）は、神経回路網出力計算手段（４８）により計
算された神経回路網の出力と期待出力正規化手段（４６
）により正規化された期待出力との差を計算する。そし
て、重み更新量計算手段（５１）が、比較手段（５０）
によって計算された差から各処理ユニットの閾値および
処理ユニット間の結合の重みの更新量を計算する。 計算された重みの更新量は、重み更新手段（５２）によ
り、計算された更新量だけ各処理ユニットの閾値および
処理ユニット間の結合の重みを更新する。

【００３４】このように、ここでの神経回路網型パター
ン処理装置は、提示される入力および期待出力に対して
、それぞれの最大値に応じて正規化定数を装置内で自動
的に決定して、正規化定数によって正規化した後に神経
回路網の係る一連の処理を一部を並行して行うので、ど
のような範囲の入力が提示されても計算処理が処理不能
となることはなく、提示される入力の処理に並行して実
時間で学習を行うことが可能となる。

【００３５】

【実施例】以下、本発明の実施例を図面により詳細に説
明する。図５は本発明の一実施例にかかる神経回路網型
パターン処理装置の要部の構成を示すブロック図ある。 図５において、４１は処理されるパターンが入力される
入力提示部、４２は入力の正規化定数を決定する入力正
規化定数決定部、４３は入力の正規化を行う入力正規化
部、４４は入力に対する期待出力が入力される期待出力
提示部、４５は期待出力の正規化定数を決定する期待出
力正規化定数決定部、４６は期待出力の正規化を行う期
待出力正規化部、４７は入力および期待出力から神経回
路網の重みを計算する重み計算部、４８は神経回路網の
出力を計算する神経回路網出力計算部、４９は神経回路
網の出力から装置としての出力を計算する装置出力計算
部であり、５０は神経回路網の出力と正規化された期待
出力を比較する比較部、５１は重みの更新量を計算する
重み更新量計算部、５２は計算された更新量だけ重みを
実際に更新する更新部、また、５３は出力結果を表示す
る出力表示部である。

【００３６】入力提示部４１が処理されるべき入力を提
示すると、次に入力正規化定数決定部４２が入力提示部
４１により提示された入力に応じて入力の正規化定数を
決定する。これにより、入力正規化部４３は、入力を入
力正規化定数決定部４２によって決定された正規化定数
に従って正規化する。また、この入力時に、期待出力提
示部４４が入力提示部４１により提示された入力に対応
する期待出力を提示するので、提示された期待出力に応
じて、期待出力正規化定数決定部４５が期待出力の正規
化定数を決定する。これにより、期待出力正規化部４６
は、期待出力を期待出力正規化定数決定部４５によって
決定された正規化定数に従って正規化する。一方、重み
計算部４７は、入力正規化定数決定部４２および期待出
力正規化定数決定部４５で既に計算された正規化定数に
応じて重みを計算する。計算された重みは神経回路網出
力計算部４８に供給され、神経回路網出力計算部４８は
、この重みを用いて、入力正規化部４３により正規化さ
れた入力から神経回路網の出力を計算する。神経回路網
出力計算部４８により計算された神経回路網の出力は、
装置出力計算部４９によって、装置として出力が計算さ
れて出力される。出力される出力結果は、出力表示部５
３で表示される。また、比較部５０は神経回路網出力計
算部４８により計算された神経回路網の出力と期待出力
正規化部４６により正規化された期待出力との差を計算
する。そして、重み更新量計算部５１が、比較部５０に
よって計算された差から各処理ユニットの閾値および処
理ユニット間の結合の重みの更新量を計算する。計算さ
れた重みの更新量は重み更新部５２により、計算された
更新量だけ各処理ユニットの閾値および処理ユニット間
の結合の重みを更新する。

【００３７】図６は神経回路網型パターン処理装置の一
連の処理動作の流れを説明するフローチチャートである
。図６を参照して、神経回路網型パターン処理装置の一
連の処理動作の流れを説明する。まず、ステップ６１に
おいて正規化定数の初期化の処理を行う。これにより、
入力の正規化定数Ｐｊおよび期待出力の正規化定数Ｒは
予め小さい正の数に初期化される。

【００３８】次に、ステップ６２の処理により、入力と
これに対する期待出力を提示する。すなわち、ある時刻
において、アナログ入力ｐｊ（ｊ＝１，…，Ｎ）が入力
提示部４１に、また、これに対する期待出力が期待出力
提示部４４に提示する。次にステップ６３の処理におい
て、正規化定数の決定を行い、次にステップ６４の処理
で、入力とこれに対する期待出力の正規化の処理を行う
。

【００３９】すなわち、入力ユニット１ｊに提示される
アナログ入力ｐｊが現在保持されている入力正規化定数
Ｐｊよりも小さい値であれば、入力正規化定数決定部４
２において入力正規化定数Ｐｊは変更せず、入力正規化
部４３において、式（１）に従い正規化を行う。アナロ
グ入力ｐｊが現在保持されている入力正規化定数Ｐｊよ
りも大きい値であれば、入力正規化定数決定部４２にお
いて入力正規化定数Ｐｊを変更して、

【００４０】

【数１０】

【００４１】とし、更にこの入力正規化定数の変更を補
償するために、この入力ユニット１ｊと中間ユニット２
ｉ（ｉ＝１，…，Ｍ）との重みｗｉｊを次の式（１３）
にように計算して更新する。

【００４２】

【数１１】

【００４３】現在保持している重みの更新量Δｗｉｊは
次式（１４）のように計算する。

【００４４】

【数１２】

【００４５】そして、式（１２）により計算した新しい
入力正規化定数を用いて入力正規化部４３において、式
（１）に従い正規化を行う。

【００４６】期待出力提示部４４に提示される期待出力
ｒが、現在保持されている期待出力正規化定数Ｒよりも
小さい値であれば、期待出力正規化定数決定部４５にお
いては、期待出力正規化定数Ｒを変更せず、期待出力正
規化部４６において正規化を行う。期待出力ｒが、現在
保持されている期待出力正規化定数Ｒよりも大きい値で
あれば、期待出力正規化定数決定部４５において期待出
力正規化定数Ｒを、

【００４７】

【数１３】

【００４８】とし、さらにこの期待出力正規化定数Ｒの
変更を補償するために、中間ユニット２ｉ（ｉ＝１，…
，Ｍ）と出力ユニット３１の結合の重みｖｉを次式（１
６）により計算して更新する。

【００４９】

【数１４】

【００５０】また、現在保持している重みの更新量を

【
００５１】

【数１５】

【００５２】

【数１６】

【００５３】とする。式（１５）で計算した新しい期待
出力正規化定数を用いて、期待出力正規化部４６におい
て正規化を行う。

【００５４】次にステップ６５の処理において神経回路
網の出力を計算する。これは神経回路網出力計算部４８
において、式（２），式（３），式（４）に従って神経
回路網の出力ｑを計算することにより行う。次に、ステ
ップ６６の処理で装置としての出力を計算する。これは
、装置出力計算部４９において、装置としての出力

【０
０５５】

【数１７】

【００５６】を計算することにより行う。

【００５７】一方、ステップ６５の処理と並行して、ス
テップ６７の処理を行い、正規化された期待出力との比
較を行う。これは比較部５０において、神経回路網の出
力ｑと正規化された期待出力から、式（８）にしたがっ
てδを計算することにより行う。続いて並行して行うス
テップ６８の処理により重みの更新の処理を行う。これ
は、重み更新量計算部５１において式（６），式（７）
，式（９），式（１０），式（１１）にしたがって、重
みの更新量を計算し、重み更新部５２において新たな重
みを計算する。更新された重みはステップ６２の処理で
用いられるため、次の時刻の処理のためにステップ６２
に戻される。

【００５８】次の時刻におけるアナログ入力については
、以上の操作を繰り返すことにより、予め入力あるは期
待出力がとる値の範囲を調ベて正規化定数を決めること
ができない場合についても、提示される入力の処理に並
行して実時間で学習を行うことができる。

【００５９】以上に述ベた実施例においては、神経回路
網として多入力・１出力のものを仮定したが、この実施
例ににおける正規化の方式は、多入力・多出力の神経回
路網についても容易に拡張できる。また、以上に述へた
実施例においては、出力ユニットとして線形のユニット
を仮定したが、非線形のユニットを用いる場合について
も同様の正規化の方式を適用することができる。また、
４層以上の多層の神経回路網についても同様に正規化の
方式を適用することが可能である。

【００６０】

【発明の効果】以上説明したように、本発明の神経回路
網型パターン処理装置によれば、提示される入力および
期待出力に対して、それぞれの最大値に応じて正規化定
数を装置内で自動的に決定して、正規化定数によって正
規化した後に神経回路網の係る一連の処理を行うので、
どのような範囲の入力が提示されても計算処理が処理不
能となることはなく、提示される入力の処理に並行して
実時間で学習を行うことが可能となる。特に、学習を行
うために予め入力あるいは期待出力がとる値の範囲を調
ベておき、これに応じてそれぞれに正規化定数を決める
ことができない場合についても、正規化定数を自動的に
決定するので、提示される入力の処理に並行して実時間
で学習を行うことが可能となる。

【００６１】このように、本発明の神経回路網型パター
ン処理装置は実時間で学習を行うことが可能となるので
、時々刻々と入ってくる新しい情報を実時間で処理の反
映する必要のある分野、例えば、交通の流れの予測・制
御，通信トラヒックの予測・制御，気象予報，株価予測
等の経済予測，…，への幅広い応用が期待できる。

【図面の簡単な説明】

【図１】従来の典型的な神経回路網型パターン処理装置
の多入力・１出力の３層の神経回路網を説明するブロッ
ク図である。

【図２】神経回路網における入力ユニットの構造を説明
する図である。

【図３】神経回路網における中間ユニットの構造を説明
する図である。

【図４】神経回路網における出力ユニットの構造を説明
する図である。

【図５】本発明の一実施例にかかる神経回路網型パター
ン処理装置の要部の構成を示すブロック図である。

【図６】神経回路網型パターン処理装置の一連の処理動
作の流れを説明するフローチャートである。

【符号の説明】

４１　　入力提示部 ４２　　入力正規化定数決定部 ４３　　入力正規化部 ４４　　期待出力提示部 ４５　　期待出力正規化定数決定部 ４６　　期待出力正規化部 ４７　　重み計算部 ４８　　神経回路網出力計算部 ４９　　装置出力計算部 ５０　　比較部 ５１　　重み更新量計算部 ５２　　重み更新部 ５３　　出力表示部

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　各層が複数の処理ユニットからなる多
   層の神経回路網を備えた神経回路網型パターン処理装置
   において、処理されるべき入力を提示する入力提示手段
   と、前記入力提示手段により提示された入力に応じて入
   力の正規化定数を決定する入力正規化定数決定手段と、
   入力を前記入力正規化定数決定手段によって決定された
   正規化定数に従って正規化する入力正規化手段と、前記
   入力提示手段により提示される入力に対応する期待出力
   を提示する期待出力提示手段と、前記期待出力提示手段
   により提示された期待出力に応じて期待出力の正規化定
   数を決定する期待出力正規化定数決定手段と、期待出力
   を前記期待出力正規化定数決定手段によって決定された
   正規化定数に従って正規化する期待出力正規化手段と、
   前記入力正規化定数決定手段および前記期待出力正規化
   定数決定手段からの正規化定数に応じて重みを計算する
   重み計算手段と、前記入力正規化手段により正規化され
   た入力から前記重み計算手段により計算される重みを用
   いて神経回路網の出力を計算する神経回路網出力計算手
   段と、前記神経回路網出力計算手段により計算された神
   経回路網の出力から装置として出力を計算する装置出力
   計算手段と、前記神経回路網出力計算手段により計算さ
   れた神経回路網の出力と前記期待出力正規化手段により
   正規化された期待出力との差を計算する比較手段と、前
   記比較手段によって計算された差から各処理ユニットの
   閾値および処理ユニット間の結合の重みの更新量を計算
   する重み更新量計算手段と、前記重み更新量計算手段に
   より計算された更新量だけ各処理ユニットの閾値および
   処理ユニット間の結合の重みを更新する重み更新手段と
   を有することを特徴とする神経回路網型パターン処理装
   置。