JPH0683798A

JPH0683798A - 学習認識装置

Info

Publication number: JPH0683798A
Application number: JP4233373A
Authority: JP
Inventors: Taro Imagawa; 太郎今川; Toshiyuki Koda; 敏行香田; Susumu Maruno; 進丸野; 泰治〆木; Taiji Shimeki
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-09-01
Filing date: 1992-09-01
Publication date: 1994-03-25

Abstract

(57)【要約】【目的】出力を正規化し、また学習の初期状態をあら
かじめ理想的な状態に近づけて、学習を高速かつ効率的
に行うことを可能とし、未知の入力信号に対する追加学
習も高速かつ、学習済みのデータに対する認識性能に影
響の少ない学習認識装置を提供する。【構成】特徴データに基づいて信号の伝達経路を選択
する経路選択単位ｎをｎ１１〜ｎ１２の第一層と、ｎ２
１〜ｎ３０とを階層的に組み合わせて複数の分岐構造を
構成し、この経路選択単位ｎには、結合荷重を正規化す
る荷重正規化器、または入力信号が属するカテゴリーご
とに入力信号の平均を算出する平均値算出器を有し、教
師信号に基づいて結合荷重を変更する認識単位ｑを前記
分岐構造の上層に配置するように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対象物の各種特徴デー
タに応じて前記対象物の認識判断の能力を学習により獲
得する学習認識装置に関する。

【０００２】

【従来の技術】従来、認識能力を学習により獲得する学
習認識装置としては、ネイチャー323(1986)、第533頁〜
第536頁掲載のもの（ D.E.Rumelhart , G.E.Hinton an
dR.J.Williams " Learning Representations by Back-
Propagating Errors ",Nature, vol.323. pp.533-536,
Oct. 9, 1986）がある。図７は前記従来の学習認識装置
の構成を示すものである。図７において、１０は出力信
号算出部、２０は学習時に出力信号算出部１０の出力と
目標となる出力値との差を用いて出力信号算出部１０の
結合荷重の値を更新する結合荷重更新部で、教師信号発
生部１００、誤差信号算出部１１０、結合荷重更新量算
出部１２０より成る。出力信号算出部１０は、図８に示
すように階層構造を形成しており、３０は多入力一出力
信号処理部、４０は出力信号算出部の入力部である。図
９は前記多入力一出力信号処理部３０の構成を具体的に
示したものである。図９において、５０は信号の入力
部、６０は入力部５０からの複数入力を重み付ける荷重
を格納するメモリー、７０はメモリー６０の結合荷重と
入力部５０からの入力信号値の積を求める乗算器、８０
は乗算器７０の各出力の和を求める加算器。９０は加算
器８０の出力を一定範囲内の値に制限するしきい値処理
器である。しきい値処理器９０の入出力特性を図１０に
示す。たとえば、出力を（０，１）の範囲に限定するし
きい値処理器９０の入出力特性は式（１）のように表現
できる。

【０００３】ｆ（Ｉ）＝１／（１＋ｅｘｐ（−Ｉ＋θ））（１）ここで、Ｉはしきい値処理器９０の入力、θはしきい値
である。以上のように構成された従来の学習認識装置に
ついて、以下にその動作を説明する。出力信号算出部１
０の入力部４０に入力信号が入力されると、各多入力一
出力信号処理部３０は、結合している下層の多入力一出
力信号処理部の出力とメモリー６０に格納されている結
合荷重との積を乗算器７０により求め、乗算器７０の出
力の総和を加算器８０により求めた後、加算器８０の出
力値をしきい値処理器９０でしきい値処理を行い、その
値を上層の多入力一出力信号処理部３０の入力部に出力
する。すなわち、i番目の多入力一出力信号処理部３０
の出力値ｏ_iを数式で表現すると式（２）のように表現
できる。

【０００４】ｏ_i ＝ｆ( Σ_j ｗ_ij・ｏ_j ) （２）ここで、ｆは式（１）に示したしきい値処理器９０の入
出力特性を表わす関数、Σ_jはjに関する総和、ｗ_ijはメ
モリー６０に格納されているi番目の多入力一出力信号
処理部３０と下層のj番目の多入力一出力信号処理部３
０との結合荷重、ｏ_jは下層のj番目の多入力一出力信号
処理部３０の出力値を表わす。

【０００５】出力信号算出部１０の入力部４０から入力
される信号に対して、教師信号発生部１００が前記入力
信号に対する望ましい出力信号を教師信号として発生
し、誤差信号算出部１１０は前記出力信号算出部１０か
ら出力される実際の出力値と前記教師信号との誤差を出
力する。誤差Ｅは式（３）のように算出される。

【０００６】Ｅ＝｛Σ_i (ｔ_i − ｏ_i)²｝／２（３）ここで、ｏ_iは最上位層のi番目の多入力一出力信号処理
部３０の出力値、ｔ_iは前記出力に対して目標となる出
力値を表わす。結合荷重更新部１２０は前記誤差信号算
出部１１０が出力した誤差Ｅをもとに前記出力信号算出
部１０のメモリー６０に記憶されている結合荷重の更新
量Δｗ_ijを算出し、結合荷重の更新を行なう。更新量Δ
ｗ_ijは式（４）のように求められる。

【０００７】 Δｗ_ij ＝ −ε・∂Ｅ／∂ｗ_ij ＋ α・Δｗ'_ij （４）ここで、εおよびαは学習に用いる正の定数であり、Δ
ｗ'_ijは前回の学習における結合荷重更新量である。

【０００８】上記のように、結合荷重の変更を繰り返す
ことで出力信号算出部１０にある信号を入力した場合の
出力信号算出部１０の出力と目標となる値に次第に近づ
いて行き、前記誤差Ｅが減少する。誤差Ｅが実用上十分
小さい値に達したときに学習を終了する。この時点で、
この学習認識装置は入力される信号に対して望ましい値
を出力することにより認識能力を持つ。

【０００９】

【発明が解決しようとする課題】上記従来のような構成
では、学習時に全ての結合荷重を変更する必要があるた
め、学習に必要な計算量が多く、学習に時間がかかっ
た。しかも、学習終了後に未知の入力信号に対して望ま
しい出力を得るように追加学習をさせる場合、以前に学
習した入力信号も用いて新たに学習をし直す必要があ
り、時間がかかるという問題点を有していた。

【００１０】本発明はこのような従来の問題点を解決す
るために、学習を高速かつ効率的に行なうことを可能と
し、未知の入力信号に対する追加学習も高速かつ、学習
済みのデータに対する認識性能に影響の少ない学習認識
装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は上記目的を達成
するために、学習認識単位は、教師信号入力部と、複数
の経路入力端子を有する経路入力部と、前記入力部から
の入力に対して重み付けを行なう荷重と、前記荷重から
の出力を加算する加算器と、前記加算器の出力信号をし
きい値処理するしきい値処理器と、前記経路入力部と前
記加算器との間の結合荷重を決定する学習器と、前記荷
重の値を正規化する正規化器とを有し、経路選択単位
は、信号入力部と、前記信号入力部からの入力信号を量
子化する量子化器と、単一または複数の経路入力端子を
有する経路入力部と、単一または複数の経路出力端子を
有する経路出力部と、前記量子化器の量子化出力に応じ
て経路を選択する経路荷重部とを有し、前記経路選択単
位を階層的に組み合わせて複数の分岐構造を構成し、そ
の上層に前記学習認識単位を配置した学習認識装置であ
る。

【００１２】また他の手段としては、上記の学習認識単
位に代えて、教師信号入力部と、複数の経路入力端子を
有する経路入力部と、前記経路入力部からの入力に対し
て重み付けを行なう荷重と、前記荷重からの出力を加算
する加算器と、前記加算器の出力信号をしきい値処理す
るしきい値処理器と、前記経路入力部と前記加算器との
間の結合荷重を決定する学習器と、前記経路入力部への
入力の平均値を入力信号が属するカテゴリーごとに平均
した値を計算して結合荷重を決定する平均値算出器と、
結合荷重として前記学習器の出力を用いるか前記平均値
算出器の出力を用いるかを切り替えるスイッチと、学習
の推移に従い前記スイッチを切り替える学習モード判定
器とを有する学習認識単位を用いた学習認識装置を用い
ることができる。

【００１３】

【作用】本発明は上記の構成において、階層的に分岐構
造を有する学習認識装置の各階層の経路選択単位の信号
入力部に、対象物の特徴データを入力信号として入力す
ると、各階層の経路選択単位は、量子化器の出力に応じ
て、より上層との結合荷重を決定し、信号を上層へ伝達
する。最上位層の学習認識単位に含まれる経路入力部と
加算器との間の結合荷重のみを変更することにより学習
を行なうため、高速学習が可能である。

【００１４】また、正規化器によって学習認識単位の出
力値を正規化し、最終層の出力値が上限値を有するよう
にすることで、結合荷重および学習認識単位の出力の学
習によるオーバーフローを防ぐことができる。さらに、
複数の学習認識装置の出力結果を参照する場合に、その
出力の上限値を一致させることで、各学習認識装置の出
力をそのまま比較することができ、複数の学習認識装置
を同時に用いることで高速化が可能となる。

【００１５】また、平均値算出器を有する構成では、未
学習の状態と学習が進んだ状態とを学習モード判定器が
判断して結合荷重の設定方法を切り替え、未学習の状態
では、入力信号が属するカテゴリーごとの平均的な入力
信号に対して最上位層に位置する学習認識単位が応答し
易いように学習初期の結合荷重を設定することで、必要
な学習の回数を削減し、学習の高速化が可能となる。

【００１６】

【実施例】以下図面を用いて本発明の一実施例の学習認
識装置を説明する。図２は本発明の学習認識装置に用い
る経路選択単位の一実施例を示すものである。１１は信
号入力部で、信号入力端子１１ａを介して入力された認
識の対象となる信号を量子化器２に入力する。量子化器
２は入力された信号を量子化し、量子化した結果を経路
荷重部３ｂに入力する。３ａ０は経路入力端子、３ｅ１
〜３ｅ５は経路出力端子で、経路選択単位を階層的に組
合せるときに、これらの端子を互いに連結するものであ
る。

【００１７】経路荷重部３ｂは、経路入力部３ａと経路
出力部３ｅとの間を接続する荷重３ｂ０１〜３ｂ０５
と、荷重の値を前記量子化結果に応じて荷重３ｂ０１〜
３ｂ０５に設定する荷重設定部３ｂ０とで構成される。
経路荷重部３ｂでは、荷重設定部３ｂ０が入力信号の量
子化結果に基づいて、前記荷重値をそれぞれの量子化レ
ベルに対応する荷重に設定する。荷重３ｂ０１〜３ｂ０
５は、経路入力部３ａから入力された経路信号を重み付
けし、経路出力部３ｅは、この重み付けした経路信号を
経路出力端子３ｅ１〜３ｅ５に出力する。

【００１８】図３は本発明の学習認識装置の最上位層に
用いる学習認識単位の第１の実施例で荷重正規化器を有
するものを示す。学習認識単位ｑにおいて、１は教師信
号入力部、３ａは経路入力部、３ｂは経路荷重部で、経
路入力部３ａの出力値に重み付けを行なう荷重３ｂ０１
〜３ｂ０５０および前記結合荷重を変更する学習部３ｂ
１から成る。３ｃは重み付けされた荷重の出力を加算す
る加算器、３ｄは前記加算器の出力をしきい値処理する
しきい値処理器、３ｅ０１〜３ｅ０２は他の学習認識単
位の経路出力信号の入力端子である。

【００１９】前記学習部は全ての学習認識単位の中で出
力が最大となる学習認識単位の経路出力端子を検出する
最大出力端子検出器３ｂ１１と、前記最大出力端子検出
器の出力と教師信号入力部１の出力値に基づいて、経路
入力部と加算器の間の結合荷重の値を決定する学習器３
ｂ１３と、前記学習器が算出した結合荷重の値を正規化
する荷重正規化器３ｂ１２によって構成される。

【００２０】学習過程においては、学習器は最大出力端
子検出器によって検出した経路出力端子の番号と教師入
力値が示す入力信号が属するカテゴリーを表わす番号と
を比較し、番号が一致しなかった場合には教師信号が示
す番号の学習認識単位についてのみ結合荷重を式（５）
のように変化させる。

【００２１】ｗ'_3b0i ＝（１−α）・ｗ_3b0i＋α・ｘ_3a0i （５）ここで、ｗ'_3b0iはｉ番目の荷重３ｂ０ｉの変更後の値
を示し、ｗ_3b0iは同変更前の値を示す。αは学習で用い
る定数(０＜α＜１)で、ｘ_3a0iはｉ番目の経路入力端子
に入力された信号の値を表わす。

【００２２】式（５）にしたがって求められた結合荷重
ｗ'_3b0iに対して、荷重正規化器は式（６）で示される
ように、正規化した結合荷重の値を荷重に出力する。

【００２３】ｗ_{3b0i_normal} ＝ｗ'_3b0i ／ √（Σ_j (ｗ'_3b0j)² ）（６）ここで、ｗ_{3b0i_normal}は正規化されたｉ番目の結合荷
重、Σ_jはjに関する総和を表わす。

【００２４】図１は、本発明の学習認識装置の一実施例
を示すブロック図である。本実施例では、二種類の特徴
データ（第一特徴データ、第二特徴データ）二組を三つ
のカテゴリー中の一つのカテゴリーに対応付けるもの
で、経路選択単位を複数個組み合わせて、２個の分岐構
造を有し、一つの分岐構造中に三層の階層を有するよう
に構成してある。各分岐構造中の各階層の経路選択単位
の信号入力部には判断すべき特徴データを、教師信号入
力部には教師信号を入力する。第一層、第二層を構成し
ている経路選択単位ｎ１１〜ｎ１２、ｎ２１〜ｎ３０
は、たとえば、図２に示した経路選択単位を用い、最上
位層を構成している学習認識単位ｑ３１〜ｑ３３は図３
に示した学習認識単位を用いている。

【００２５】つぎに、このように構成した学習認識装置
の学習動作を説明する。各分岐構造の第一層目の経路選
択単位ｎ１１〜ｎ１２の経路入力端子への経路入力信号
として、"１"を与える。また、これらの経路選択単位の
量子化器への信号入力端子には、認識対象物の第一特徴
デ−タをｄ１１、ｄ１２を入力する。（この図の場合に
は、２個の第一特徴デ−タを、それぞれ２個の経路選択
単位に入力する。すなわちｎ１１にはｄ１１を、ｎ１２
にはｄ１２を入力する。）初期学習時には、特徴データ
に対する荷重値を１に設定する。

【００２６】各経路選択単位は、これらの第一特徴デ−
タを量子化器２で量子化し、この量子化した値に基づい
て、荷重設定部３ｂ０はそれぞれのデータに対応する荷
重値をその量子化レベル位置に基づいて設定する。この
ように一つの経路選択単位において複数の経路が選択さ
れ、第二層目の経路選択単位ｎ２１〜ｎ３０の経路入力
端子へ、経路入力信号と前記荷重の値を掛けた値が送ら
れる。

【００２７】第二層目の経路選択単位の信号入力端子に
は、認識対象物の第二特徴デ−タを入力する。（図１で
は２個の第二特徴デ−タを、それぞれｎ２１〜ｎ２５、
ｎ２６〜ｎ３０に入力する。）第一層目の場合と同様に
複数の経路入力信号が選択され、全ての出力が最上位層
の全ての学習認識単位ｑ３１〜ｑ３３のそれぞれの経路
入力端子へ値が送られる。

【００２８】最上位層の学習認識単位の教師信号入力端
子１ａには認識対象の信号が分類したい三つのカテゴリ
ーの内どのカテゴリーに属するかを示す教師入力信号、
すなわち、学習認識単位ｑ３１〜ｑ３３の内で最も大き
い値を出力することが望ましい学習認識単位に対して１
を入力し、他の学習認識単位に対しては０を出力する。

【００２９】たとえばｑ３１が最も大きい出力を出すよ
うにする場合には、経路選択単位ｎ１１〜ｎ１２および
ｎ２１〜ｎ３０にｑ３１が表わすカテゴリーに属する信
号を入力し、学習認識単位ｑ３１には１を、他の学習認
識単位ｑ３２、ｑ３３には０を教師信号として入力す
る。このとき、最上位層の各学習認識単位ｑ３１〜ｑ３
３の経路入力部３ａには同じ値が入力され、学習認識単
位ごとに持つ荷重３ｂ０１〜３ｂ０５０を乗じた後、加
算器３ｃで総和を求め、しきい値処理器３ｄで処理され
た値が各学習認識単位の出力値となる。出力は他の学習
認識単位にも出力される。つぎに、全ての学習認識単位
の中で最大値を出力している学習認識単位に含まれる最
大出力端子検出器３ｂ１１は１を出力し、他の最大出力
端子検出器は０を出力する。学習認識単位ｑ３１〜ｑ３
３の学習器は教師信号と最大出力端子検出器の出力値を
比較し、一致すれば、求める出力が得られていることに
相当するため、何も行なわない。一方、異なる場合に
は、教師信号として１が入力されているｑ３１の学習器
のみが結合荷重の更新を行なう。新しい結合荷重の値
は、元の結合荷重の値および経路入力部の入力値を用い
て式（５）にしたがって学習器が算出する。算出された
値は荷重正規化器３ｂ１２によって式（６）にしたがっ
て正規化され、新しい結合荷重値が荷重３ｂ０１〜３ｂ
０５０に設定される。この状態で再び、学習認識単位ｑ
３１〜ｑ３３の出力値を算出し、ｑ３１の教師信号と最
大出力端子検出器の出力が一致するまで、ｑ３１の荷重
に対して前記手続きが繰り返される。

【００３０】つぎに、図１に示した学習認識装置の認識
動作を説明する。学習の動作と全く同様に、各分岐構造
の第一層目の経路選択単位ｎ１１〜ｎ１２の経路入力端
子への経路信号として、まず”１”を与える。また、こ
れらの経路選択単位の量子化器への信号入力端子には、
認識対象物の第一特徴デ−タをｄ１１、ｄ１２を入力す
る。（この図の場合には、２個の第一特徴デ−タを、そ
れぞれ２個の経路選択単位に入力する。）各経路選択単
位は、第一特徴デ−タを量子化器２で量子化し、この量
子化した値に基づいて、荷重設定部３ｂ０は特徴データ
に対応する前記荷重値を、その量子化レベル位置に基づ
いて設定する。このように、認識時には一つの経路が選
択され、第二層目の経路選択単位ｎ２１〜ｎ３０の経路
入力端子へ、経路信号と前記荷重の値を掛けた値が送ら
れる。

【００３１】第二層目の経路選択単位の信号入力端子に
は、認識対象物の第二特徴デ−タを入力する。（この図
の場合には、２個の第二特徴デ−タを、それぞれｎ２１
〜ｎ２５、ｎ２６〜ｎ３０に入力する。）第一層目の場
合と異なり、全ての出力値が、最上位層の全ての学習認
識単位ｑ３１〜ｑ３３に送られる。

【００３２】最上位層の学習認識単位には、教師信号は
入力されず、経路入力部からの入力値に対して結合荷重
を乗じ、加算器で総和を求め、しきい値処理器を行なっ
た値を出力する。したがって、加算した信号の値がある
しきい値より大きければ、出力がなされるわけであり、
このようにして、入力した認識対象物特徴デ−タに基づ
き、認識対象物の分類、認識判断を行なうことができる
わけである。なお、しきい値処理をする関数としては、
シグモイド関数、ステップ関数などの単調増加関数を用
いることができる。

【００３３】以上説明したように、本発明による学習認
識装置は、分岐構造を有した多層の階層構造を構成し、
各経路選択単位の量子化器の出力に応じて、経路選択単
位同士の結合経路を切り換え、最上位層までの経路を選
択しながら、最上位層の教師信号が示す学習認識単位の
経路入力端子に接続する経路の結合強度のみを学習器に
よって変化させるだけで学習が行えるので、非常に高速
な学習が可能であるり、学習済みの信号に対する認識性
能に影響が少ないため、高速に追加学習が行える。ま
た、荷重正規化器によって結合強度の値を正規化し、最
終層の出力値が上限値を有することで、結合荷重および
学習認識単位の出力の学習によるオーバーフローを防
ぎ、複数の学習認識装置の出力結果を参照する場合に、
その出力の上限値を一致させることで、各学習認識装置
の出力をそのまま比較することができ、複数の学習認識
装置を同時に用いることで高速化が可能である。追加学
習を行なう場合にも、最大出力端子検出器によって検出
した経路出力端子の連結強度のみ変更するため、最上位
層の全ての荷重を変更する必要がなく、学習済みの信号
に対する認識性能に影響が少ないため、高速に追加学習
が行える。

【００３４】図４は本発明の学習認識装置の最上位層に
用いる学習認識単位の第二の実施例で経路正規化器を有
するものを示す。学習認識単位ｒにおいて、１は教師信
号入力部、３ａは経路入力部、３ａ１は経路正規化器で
経路入力部３ａからの入力信号を正規化した値を荷重に
出力する。３ｂは経路荷重部で、経路正規化器３ａ１の
出力値に重み付けを行なう荷重３ｂ０１〜３ｂ０５０お
よび前記結合荷重を変更する学習部３ｂ１から成る。３
ｃは重み付けされた荷重の出力を加算する加算器、３ｄ
は加算器３ｃの出力をしきい値処理するしきい値処理
器、３ｅ０１〜３ｅ０２は他の学習認識単位の経路出力
信号の入力端子である。

【００３５】学習部３ｂ１は全ての学習認識単位の中で
出力が最大となる学習認識単位の経路出力端子を検出す
る最大出力端子検出器３ｂ１１と、最大出力端子検出器
３ｂ１１の出力と教師信号入力部１の出力値に基づい
て、経路入力部３ａと加算器３ｃの間の結合荷重の値を
決定する学習器３ｂ１３と、学習器３ｂ１３が算出した
結合荷重の値を正規化する荷重正規化器３ｂ１２によっ
て構成される。

【００３６】学習過程において、経路入力部への入力は
経路正規化器３ａ１によって式（７）にしたがって正規
化される。

【００３７】ｘ'_3a1i ＝ｘ_3a1i ／ √（Σ_j (ｘ_3a0j)² ）（７）ここで、ｘ'_3a1iはｉ番目の経路入力の正規化された値
を示し、ｘ_3a0iは同正規化前の値を示す。学習器は最大
出力端子検出器によって検出した経路出力端子の番号と
教師入力値が示す入力信号が属するカテゴリーを表わす
番号とを比較し、番号が一致しなかった場合には教師信
号が示す番号の学習認識単位についてのみ結合荷重を式
（８）のように変化させる。

【００３８】ｗ'_3b0i ＝（１−α）・ｗ_3b0i＋α・ｘ'_3a1i （８）ここで、ｗ'_3b0iはｉ番目の荷重３ｂ０ｉの変更後の値
を示し、ｗ_3b0iは同変更前の値を示す。αは学習で用い
る定数(０＜α＜１)で、ｘ'_3a1iはｉ番目の経路入力の
正規化された値を示す。式（８）にしたがって求められ
た結合荷重ｗ'₃ _b0iに対して、荷重正規化器３ｂ１２は
式（６）で示されるように、正規化した結合荷重の値を
荷重に出力する。

【００３９】認識過程においては、学習部３ｂ１による
荷重値の変更および、荷重正規化器３ｂ１２は働かな
い。経路入力に対する正規化を含む他の動作については
学習過程と同様に行なわれる。

【００４０】本発明の学習認識単位の第二の実施例を最
上層に備えた学習認識装置の学習動作および認識動作は
第一の実施例を用いた場合と同様であるが、学習認識単
位の経路入力部３ａへの入力を経路正規化器３ａ１によ
って正規化し、学習認識単位の経路入力部３ａへの入力
信号の強度が大きく変化する場合に、経路正規化によっ
てこの変動を吸収し、入力信号強度の変動が学習認識単
位の出力値の上限値に影響することを防ぐことができ
る。

【００４１】図５は本発明の学習認識装置の最上位層に
用いる学習認識単位の第三の実施例で加算出力正規化器
を有するものを示す。学習認識単位ｓにおいて、１は教
師信号入力部、３ａは経路入力部、３ｂ’は経路荷重部
で、経路入力部３ａの出力値に重み付けを行なう荷重３
ｂ０１〜３ｂ０５０および前記結合荷重を変更する学習
部３ｂ１’から成る。３ｃは重み付けされた荷重の出力
を加算する加算器、３ｄは加算器３ｃの出力をしきい値
処理するしきい値処理器、３ｅ０１〜３ｅ０２は他の学
習認識単位の経路出力信号の入力端子、３ｆ１は加算器
３ｃの出力値を正規化する加算出力正規化器、３ｆ２は
学習時か認識時かを判別する学習過程識別器、３ｆ３は
学習過程識別器３ｆ２が学習時であると判断している状
態における加算器の出力の最大値を記憶する最大加算出
力記憶器である。

【００４２】学習部３ｂ１’は全ての学習認識単位の中
で出力が最大となる学習認識単位の経路出力端子を検出
する最大出力端子検出器３ｂ１１と、最大出力端子検出
器３ｂ１１の出力と教師信号入力部１の出力値に基づい
て、経路入力部３ａと加算器３ｃの間の結合荷重の値を
決定する学習器３ｂ１３によって構成される。

【００４３】学習過程においては、学習過程識別器３ｆ
２が学習時であることを判定し、最大加算出力記憶器３
ｆ３が加算器３ｃの出力を調べて、学習時の最大出力値
を記憶する。加算正規化器３ｆ１は加算器３ｃの出力を
式（９）にしたがって正規化する。

【００４４】ｏ' ＝ｏ／ｏ_max （９）ここで、ｏ'は正規化された加算器３ｃの出力、ｏは正
規化前の加算器３ｃの出力、ｏ_maxは最大加算出力記憶
器３ｆ３の出力を表わす。正規化された値はしきい値処
理器３ｄによってしきい値処理され、その出力が学習認
識単位の出力となる。学習器３ｂ１３は最大出力端子検
出器によって検出した経路出力端子の番号と教師入力値
が示す入力信号が属するカテゴリーを表わす番号とを比
較し、番号が一致しなかった場合には教師信号が示す番
号の学習認識単位についてのみ結合荷重を式（５）のよ
うに変化させる。

【００４５】認識過程においては、学習部３ｂ１’によ
る荷重値の変更は行なわれない。また、最大加算出力記
憶器３ｆ３の記憶値は一定値を保つ。加算器３ｃの出力
の正規化を含む他の動作については学習過程と同様に行
なわれる。

【００４６】本発明の学習認識単位の第三の実施例を最
上層に備えた学習認識装置の学習動作および認識動作は
第一の実施例を用いた場合と同様であるが、加算器３ｃ
の出力を学習時の加算器３ｃの最大出力値で正規化する
ことで、学習認識単位の出力値が上限値を持つ。さら
に、最大値で除算を行なうことのみで正規化を行なうた
め、正規化に必要な計算量が少なくてすみ、高速な学習
認識が可能となる。

【００４７】図６は本発明の学習認識装置の最上位層に
用いる学習認識単位の第四の実施例で平均値算出器を有
するものを示す。学習認識単位ｔにおいて、１は教師信
号入力部、３ｂ’’は経路荷重部で、経路入力部３ａの
出力値に重み付けを行なう荷重３ｂ０１〜３ｂ０５０お
よび前記結合荷重を変更する学習部３ｂ１’’から成
る。３ｃは重み付けされた経路荷重部の出力を加算する
加算器、３ｄは経路信号をしきい値処理するしきい値処
理器、３ｅ０１〜３ｅ０２は他の学習認識単位の経路出
力信号を入力とする入力端子である。

【００４８】前記学習部は出力が最大となる学習認識単
位の経路出力端子を検出する最大出力端子検出器３ｂ１
１と、前記最大出力端子検出器の出力と教師信号入力部
１の出力値とに基づいて、経路入力部と加算器の間の結
合荷重の値を決定する学習器３ｂ１３と、経路入力部３
ａの入力の平均値を入力信号が属するカテゴリーごとに
平均した値を計算する平均値算出器３ｂ１４と、結合荷
重として前記学習器の出力を用いるか前記平均値算出器
の出力を用いるかを切り替えるスイッチ３ｂ１５と、学
習の推移に従い前記スイッチを切り替える学習モード判
定器３ｂ１６とによって構成される。

【００４９】学習過程においては、学習モード判定器に
よってスイッチが制御され、荷重の値が学習器３ｂ１３
により決定されるか、平均値算出器３ｂ１４により決定
されるかが切り替えられる。スイッチにより学習器３ｂ
１３が選択されているとき、学習器３ｂ１３は最大出力
端子検出器３ｂ１１によって検出した経路出力端子の番
号と教師入力値が示す入力信号が属するカテゴリーを表
わす番号とを比較し、番号が一致しなかった場合には教
師信号が示す番号の学習認識単位についてのみ結合荷重
を式（５）のように変化させる。スイッチにより平均値
算出器が選択されている場合は、ｎ番目の学習認識単位
に含まれる平均値算出器は教師信号をもとにして式（１
０）のように経路入力部３ａの入力の平均値を入力信号
が属するカテゴリーごとに平均した値を計算する。

【００５０】ｗ'_3b0i ＝ (Σ_(teacher=n) ｘ_3a0i) ／Ｎ_n （１０）ここで、ｗ'_3b0iはｉ番目の荷重３ｂ０ｉの変更後の値
を示し、Σ_(teacher=n)は教師信号が学習認識単位の番
号と一致した場合についての総和を示し、ｘ_3a0iはｉ番
目の経路入力端子に入力された信号の値を示し、Ｎ_nは
教師信号が学習認識単位の番号と一致した場合の数を示
す。特定のカテゴリーに属する信号の平均値を荷重に設
定することで、以後同じカテゴリーに属する信号が入力
されたときに、入力信号と結合荷重の積を加算器で加算
した値が大きな値になることが期待できる。

【００５１】つぎに、平均値算出器３ｂ１４を有する学
習認識単位を用いて最上位層を構成した学習認識装置の
学習動作を説明する。最上位層より下位の層の働きは、
前記正規化器を有する学習認識単位を用いた場合と同様
である。最上位層は、学習認識単位の教師信号入力端子
１ａには認識対象の信号が分類したい三つのカテゴリー
のうちのどのカテゴリーに属するかを示す教師入力信
号、すなわち、学習認識単位ｔ３１〜ｔ３３に対して最
も大きい値を出力することが望ましい学習認識単位に対
して１を出力し、他の学習認識単位に対しては０を出力
する。

【００５２】たとえばｔ３１が最も大きい出力を出すよ
うにする場合には、経路選択単位ｎ１１〜ｎ１２および
ｎ２１〜ｎ３０にｔ３１が表わす類に属する信号を入力
し、学習認識単位ｔ３１には１を、他の学習認識単位ｔ
３２、ｔ３３には０を教師信号として入力する。このと
き、最上位層の各学習認識単位の経路入力部３ａには同
じ値が入力され、学習認識単位ごとに持つ荷重３ｂ０１
〜３ｂ０５０を乗じた後、加算器３ｃで総和を求め、し
きい値処理器３ｄで処理された値が各学習認識単位の出
力値となる。ここで、学習が未だ行なわれていない初期
状態では学習モード判定器によって平均値算出器の出力
が荷重に入力されるようにスイッチが設定されている。
この状態では各学習認識単位の平均値算出器は、教師信
号として１が入力されたときの経路入力部３ａの入力信
号の平均値を算出する。

【００５３】つぎに、学習すべき入力信号が全て入力さ
れた後、学習モード判定器によって学習器の出力が荷重
に入力されるようにスイッチ３ｂ１５が再設定される。
平均値算出器３ｂ１４により設定された荷重を用いて、
再び経路入力部３ａの入力値に荷重が乗じられ、加算器
で総和を求め、しきい値処理器３ｄで処理された値が各
学習認識単位の出力値となる。出力は他の学習認識単位
に対しても出力される。学習認識単位の中で最大値を出
力している学習認識単位に含まれる最大出力端子検出器
３ｂ１１は１を出力し、他の最大出力端子検出器は０を
出力する。学習認識単位ｔ３１〜ｔ３３の学習器は教師
信号と最大出力端子検出器の出力値を比較し、一致すれ
ば、求める出力が得られていることに相当するため、何
も行なわない。一方、異なる場合には、教師信号として
１が入力されているｔ３１の学習器のみが結合荷重の更
新を行なう。新しい結合荷重の値は、元の結合荷重の値
および経路入力部の入力値を用いて式（５）にしたがっ
て学習器が算出し、新しい結合荷重値が荷重３ｂ０１〜
３ｂ０５０に記録される。この状態で再び、学習認識単
位ｔ３１〜ｔ３３の出力値を算出し、ｔ３１の教師信号
と最大出力端子検出器の出力が一致するまで、ｔ３１の
荷重に対して前記手続きが繰り返される。

【００５４】つぎに、平均値算出器を有する学習認識単
位を用いて最上位層を構成した学習認識装置の認識動作
を説明する。最上位層より下位の層の働きは、前記正規
化器を有する学習認識単位を用いた場合と同様である。
最上位層では、学習認識単位ｔ３１〜ｔ３３に教師信号
は入力されず、経路入力部からの入力値に対して結合荷
重を乗じ、加算器で総和を求め、しきい値処理器を行な
った値を出力する。したがって、加算した信号の値があ
るしきい値より大きければ、出力がなされるわけであ
り、このようにして、入力した認識対象物特徴デ−タに
基づき、認識対象物の分類、認識判断を行なうことがで
きるわけである。なお、しきい値処理をする関数として
は、シグモイド関数、ステップ関数を用いることができ
る。

【００５５】以上説明したように、本発明による学習認
識装置は、分岐構造を有した多層の階層構造を有し、各
経路選択単位の量子化器の出力に応じて、経路選択単位
同士の結合経路を切り換え、最上位層までの経路を選択
しながら、最上位層の教師信号が示す学習認識単位の経
路入力端子に接続する経路の結合強度のみを学習器によ
って変化させるだけで学習が行えるので、非常に高速な
学習が可能である。

【００５６】また、正規化器によって学習認識単位の出
力値を正規化するため、最終層の出力値が上限値を有す
るようになり、結合荷重および学習認識単位の出力の学
習によるオーバーフローを防ぐことができる。さらに、
複数の学習認識装置の出力結果を参照する場合に、その
出力の上限値を一致させることで、各学習認識装置の出
力をそのまま比較することができ、複数の学習認識装置
を同時に用いることで高速化が可能となる。

【００５７】また、平均値算出器が入力信号が属するカ
テゴリーごとの平均的な入力信号に対して最上位層に位
置する学習認識単位が応答し易いように、学習初期の結
合荷重を設定することで、必要な学習の回数を削減し、
学習の高速化が可能となる。追加学習を行なう場合に
も、最大出力端子検出器によって検出した経路出力端子
の連結強度のみ変更するので、最上位層の全ての荷重を
変更する必要がなく、学習済みの信号に対する認識性能
に影響が少ないため、高速に追加学習が行える。

【００５８】

【発明の効果】本発明の学習認識装置は、上記したよう
に階層的に分岐構造を有する学習認識装置の各階層の経
路選択単位の信号入力部に、対象物の特徴データを入力
信号として入力すると、各階層の経路選択単位は、量子
化器の出力に応じて、より上層との結合荷重を決定し、
信号を上層へ伝達する。最上位層の学習認識単位に含ま
れる経路入力部と加算器との結合荷重のみを変更するこ
とにより学習を行なうため、高速学習が可能である。

【００５９】また、正規化器によって学習認識単位の出
力値を正規化するため、最終層の出力値が上限値を有す
るようになり、結合荷重および学習認識単位の出力の学
習によるオーバーフローを防ぐことができる。さらに、
複数の学習認識装置の出力結果を参照する場合に、その
出力の上限値を一致させることで、各学習認識装置の出
力をそのまま比較することができ、複数の学習認識装置
を同時に用いることで高速化が可能となる。

【００６０】また、平均値算出器が入力信号が属するカ
テゴリーごとの平均的な入力信号に対して最上位層に位
置する学習認識単位が応答し易いように、学習初期の結
合荷重を設定することで、必要な学習の回数を削減し、
学習の高速化が可能となり、その実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の一実施例の学習認識装置を示すブロッ
ク図

【図２】本発明の学習認識装置に用いる経路選択単位の
一実施例を示すブロック図

【図３】同じく学習認識装置に用いる学習認識単位の第
一の実施例を示すブロック図

【図４】同じく学習認識装置に用いる学習認識単位の第
二の実施例を示すブロック図

【図５】同じく学習認識装置に用いる学習認識単位の第
三の実施例を示すブロック図

【図６】同じく学習認識装置に用いる学習認識単位の第
四の実施例を示すブロック図

【図７】従来の学習認識装置の全体構成図

【図８】同じく学習認識装置の出力信号算出部の構成図

【図９】同じく学習認識装置の出力信号算出部の多入力
一出力算出部の構成図

【図１０】同じく学習認識装置の出力信号算出部の多入
力一出力算出部のしきい値処理器の入出力特性図

【符号の説明】

１教師信号入力部１ａ教師信号入力端子２量子化器３ａ経路入力部３ａ０１〜３ａ５０経路入力端子３ａ１経路正規化器３ｂ，３ｂ’，３ｂ’’ 経路荷重部３ｂ０荷重設定部３ｂ０１〜３ｂ０５０荷重３ｂ１，３ｂ１’，３ｂ１’’ 学習部３ｂ１１最大出力端子検出器３ｂ１２荷重正規化器３ｂ１３学習器３ｂ１４平均値算出器３ｂ１５スイッチ３ｂ１６学習モード判定器３ｃ加算器３ｄしきい値処理器３ｅ経路出力部３ｅ０１〜３ｅ０２他認識単位出力信号入力端子３ｅ１〜３ｅ５経路出力端子３ｆ１加算出力正規化器３ｆ２学習過程識別器３ｆ３最大加算出力記憶器１１信号入力部１１ａ信号入力端子ｄ１１，ｄ１２第一特徴データｎ，ｎ１１〜ｎ３０経路選択単位ｑ，ｑ３１〜ｑ３３学習認識単位

───────────────────────────────────────────────────── フロントページの続き (72)発明者〆木泰治大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】学習認識単位は、教師信号入力部と、複
数の経路入力端子を有する経路入力部と、前記経路入力
部からの入力に対して重み付けを行なう荷重と、前記荷
重からの出力を加算する加算器と、前記加算器の出力信
号をしきい値処理するしきい値処理器と、前記経路入力
部と前記加算器との間の結合荷重を決定する学習器と、
前記学習器が決定する結合荷重を正規化する荷重正規化
器とを有し、経路選択単位は、信号入力部と、前記信号入力部からの
入力信号を量子化する量子化器と、単一または複数の経
路入力端子を有する経路入力部と、単一または複数の経
路出力端子を有する経路出力部と、前記量子化器の量子
化出力に応じて経路を選択する経路荷重部とを有し、前記経路選択単位を階層的に組み合わせて複数の分岐構
造を構成し、その上層に前記学習認識単位を配置してな
る学習認識装置。
【請求項２】学習認識単位には、経路入力部への入力
信号を正規化する経路正規化器を設けてなる請求項１記
載の学習認識装置。
【請求項３】学習認識単位には、荷重正規化器に代え
て加算器の出力を正規化する加算器出力正規化器を加算
器としきい値処理器との間に設けてなる請求項１記載の
学習認識装置。
【請求項４】学習認識単位は、教師信号入力部と、複
数の経路入力端子を有する経路入力部と、前記経路入力
部からの入力に対して重み付けを行なう荷重と、前記荷
重からの出力を加算する加算器と、前記加算器の出力信
号をしきい値処理するしきい値処理器と、前記経路入力
部と前記加算器との間の結合荷重を決定する学習器と、
経路入力部への入力の平均値を入力信号が属するカテゴ
リーごとに平均した値を計算して結合荷重を設定する平
均値算出器と、結合荷重として前記学習器の出力を用い
るか前記平均値算出器の出力を用いるかを切り替えるス
イッチと、学習の推移に従い前記スイッチを切り替える
学習モード判定器とを有し、経路選択単位は、信号入力
部と、前記信号入力部からの入力信号を量子化する量子
化器と、単一または複数の経路入力端子を有する経路入
力部と、単一または複数の経路出力端子を有する経路出
力部と、前記量子化器の量子化出力に応じて経路を選択
する経路荷重部とを有し、前記経路選択単位を階層的に組み合わせて複数の分岐構
造を構成し、その上層に前記学習認識単位を配置してな
る学習認識装置。