JPH07325795A

JPH07325795A - 学習型認識判断装置

Info

Publication number: JPH07325795A
Application number: JP6279508A
Authority: JP
Inventors: Toshiyuki Koda; 敏行香田; Susumu Maruno; 進丸野; Taro Imagawa; 太郎今川; Yoshihiro Kojima; 良宏小島
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-11-17
Filing date: 1994-11-14
Publication date: 1995-12-12

Abstract

(57)【要約】【目的】学習が高速で入力データの変動に強い認識判
断をすること。【構成】複数カテゴリからなる学習データの属性情報
を記憶する学習データ記憶部８と、第１〜第３単位認識
ユニット(ｋ11〜,ｐ31〜,ｑ41〜)よりなるネットワーク
と、属性情報から入力データに対応する最下層の単位認
識ユニットの番号である教師信号を発生する教師信号発
生部９と、最下層の各単位認識ユニットの中で最大出力
を発生する単位認識ユニットを最大出力ユニット検出器
６で検出し、検出した単位認識ユニット番号と教師信号
とを比較する比較判定器７と、最下層の単位認識ユニッ
ト出力から信頼度の高い出力を発生している単位認識ユ
ニットを選択しカテゴリ毎に加算する出力加算器11と、
加算出力から最大出力を発生しているカテゴリ番号を検
出する最大出力検出器12とを備えた構成である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対象物の各種特徴デー
タに応じて該対象物の認識判断を学習により構築する学
習型認識判断装置に関するものである。

【０００２】

【従来の技術】従来の、認識判断を学習により構築する
学習型認識判断装置としては、例えば文献「ネイチャ
ー」（D. E. Rumelhart, G. E.Hinton and R. J. Willi
ams "Learning Representations by Back-Propagating
Errors," Nature, vol.323, pp.533-536, Oct. 9, 198
6）に示されているものがある。図９は従来の学習型認
識判断装置の構成図を示すものである。図９において、
９１０は出力信号算出部、９２０は出力信号算出部９１
０で得られた出力信号をもとに出力信号算出部９１０の
重み係数の値を更新する重み係数更新部である。出力信
号算出部９１０は、図１０に示すように階層構成をして
おり、３０は多入力一出力信号処理部、４０は出力信号
算出部９１０の入力部である。このような出力信号算出
部９１０を構成する多入力一出力信号処理部３０の構成
を具体的に示したものが図１１である。

【０００３】図１１において、５０は多入力一出力信号
処理部３０の入力部、６０は入力部５０からの複数入力
を重み付ける重み係数を格納するメモリ、７０はメモリ
６０の重み係数と入力部５０からの入力を各々掛け合わ
せる乗算器、８０は乗算器７０の各々の出力を足し合わ
せる加算器、９０は加算器８０の出力を一定範囲の値に
制限するしきい値処理部である。しきい値処理部９０の
入出力特性を図１２に示す。例えば、出力を（０，１）
の範囲に制限するしきい値処理部９０の入出力特性は（数１）ｆ（Ｉ） = 1 / (1 + exp(-Ｉ+θ)) と数式的に表現できる。ここで、Ｉはしきい値処理部９
０の入力である。なお、しきい値処理部９０の入出力特
性としては上記以外のしきい値関数でもよい。

【０００４】図９において、重み係数更新部９２０の構
成が示されている。図中、１００は教師信号発生部、１
１０は誤差信号算出部、１２０は重み変更量算出部であ
る。以上のように構成された従来の学習型認識判断装置
について、以下その動作を説明する。

【０００５】出力信号算出部９１０の入力部４０に入力
信号が入力されると、各多入力一出力信号処理部３０
は、多入力一出力信号処理部３０に接続されている下層
の多入力一出力信号処理部３０の出力とメモリ６０に記
憶されているその接続の度合である重み係数とを乗算器
７０により掛け合わせ、乗算器７０の各々の出力の総和
を加算器８０で計算した後、しきい値処理部９０で変換
し、その値を上層の多入力一出力信号処理部３０へ出力
する。つまり、図１１に示す多入力一出力信号処理部３
０は、入力部５０への入力値をｏ_j （下層のｊ番目の多
入力一出力信号処理部３０の出力）、メモリ６０に格納
されている重み係数をｗ_ij（ｉ番目の多入力一出力信号
処理部３０と下層のｊ番目の多入力一出力信号処理部３
０との結合重み）とすれば、（数２）ｏ_i ＝ｆ（Σ_j ｗ_ij ｏ_j）を計算しているわけである。ここで、Σ_i はｉ番目の多
入力一出力信号処理部３０に接続される重み係数に関す
る総和である。

【０００６】出力信号算出部９１０の入力部４０から入
力される信号に応じて、教師信号発生部１００が前記入
力信号に対する望ましい出力信号を教師信号ｔ_i（"０"
または"１"）として発生し、誤差信号算出部１１０にお
いて出力信号算出部９１０から出力される実際の出力信
号ｏ_i と前記教師信号との誤差(ｔ_i−ｏ_i)が計算され重
み変更量算出部１２０に出力される。重み変更量算出部
１２０は、上記出力信号ｏ_i と前記教師信号との誤差
(ｔ_i−ｏ_i)から、最上位層における多入力一出力信号処
理部３０の二乗誤差（数３）Ｅ＝0.5Σ_i（ｔ_iーｏ_i）² を算出した後、この二乗誤差Ｅをもとに出力信号算出部
９１０のメモリ６０に記憶されている重み係数の変更量
△ｗ_ijを（数４）に基づいて計算し、重み係数を変更す
る。（数４） △ｗ_ij＝ −ε＊∂Ｅ／∂ｗ_ij ＋ α＊△
ｗ'_ij ここで、Σ_i は出力信号算出部１０における最上位層の
全ての多入力一出力信号処理部３０に関する総和、εは
学習レートと呼ばれる正の定数、αは加速パラメータと
呼ばれる正の定数であり、△ｗ'_ij は前回の学習におけ
る重み係数の変更量である。

【０００７】以上のようにして、重みの更新を繰り返す
ことによって、誤差を小さくしてゆき、誤差が十分小さ
くなると、出力信号が望ましい値に十分近くなったもの
として学習を終了する。この時点で、この学習型認識判
断装置は入力される特徴データを認識判断し、その結果
を出力することが出来る認識判断装置となっている。

【０００８】

【発明が解決しようとする課題】しかしながら上記のよ
うな従来の構成では、学習時に全ての層の重み係数を変
更する必要があり、学習に非常に時間がかかるだけでな
く、１つのカテゴリに対して最上位層の１つの多入力一
出力信号処理部しか割り当てられないので、入力データ
の変動が激しい場合その変動を学習しきれず認識性能が
劣化するとういう課題を有していた。

【０００９】本発明はかかる従来の課題に鑑み、入力デ
ータの変動が激しい場合でも、高速かつ効率的な学習が
可能で、認識性能が劣化しない学習型認識判断装置を提
供することを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、複数のカテゴリからなる学習データ
の属性情報を記憶する学習データ記憶部と、複数の階層
からなり、最下層を複数の第３の単位認識ユニット、最
下層の前層を複数の第２の単位認識ユニット、それ以外
の層を複数の第１の単位認識ユニットにより構成したネ
ットワークと、前記属性情報から入力データに対応する
最下層の単位認識ユニットの番号である教師信号を発生
する教師信号発生部と、最下層の各単位認識ユニットの
中で最大出力を発生する単位認識ユニットを検出する第
１の最大出力ユニット検出器と、前記第１の最大出力ユ
ニット検出器によって検出した単位認識ユニット番号と
前記教師信号とを比較する比較判定器と、最下層の単位
認識ユニットの出力から信頼度の高い出力を発生してい
る単位認識ユニットを選択しカテゴリ毎に加算する出力
統合部と、前記出力統合部の出力から最大出力を発生し
ているカテゴリ番号を検出する最大出力検出器とを備え
た構成である。

【００１１】第２の発明は、上記最大出力検出器に代え
て、前記出力統合部の出力の大きい方から２個のカテゴ
リを選択するカテゴリ選択手段と、前記選択された２番
目に大きい出力を発生するカテゴリの出力と最大出力を
発生するカテゴリの出力の比を算出し、その比が予め設
定されたしきい値以上の場合にはリジェクト信号を出力
し、しきい値より小さい場合は最大出力を発生している
カテゴリを認識結果として出力するリジェクト判定部を
備えた構成である。

【００１２】

【作用】以上のように構成した第１の発明によれば、各
木分岐構造の各階層の単位認識ユニットの信号入力部
に、対象物の各種一連の特徴デ−タを入力する。学習モ
ードでは、各木分岐構造の各階層の単位認識ユニット
は、量子化器の出力に応じてネットワ−クのより下層に
位置する単位認識ユニットとの結合経路を切り換え、最
下層までの選択経路を決定することにより最下層の第３
の単位認識ユニットの出力を算出し、第１の最大出力ユ
ニット検出器により検出された最大出力を発生する最下
層の第３の単位認識ユニットの番号を、入力データに対
して最大出力をすべき最下層の第３の単位認識ユニット
の番号と比較する事により、認識結果が判定され、誤認
識の場合（前記番号の比較結果が異なる場合）のみ、最
下層の前層の第２の単位認識ユニットの経路入力端子に
入力された値に応じて経路入力端子と量子化器の出力値
が指し示す経路出力端子との連結強度を学習器によって
増加させるだけで学習が行えるので、全ての層の荷重値
を変更する必要がなく、高速学習が可能である。

【００１３】また、同一カテゴリを複数のクラスに分類
し、１クラスにつき１つの第３の単位認識ユニットを割
当てて学習することにより、より高い精度で学習がで
き、認識時には、出力統合部によりある程度以上の出力
即ち信頼性が高い出力のみをカテゴリ毎に加算した後、
その加算結果を最大出力検出器により認識結果を判定し
ているので、入力データの変動が大きい場合でも認識性
能が劣化するする事なく柔軟に認識できる。

【００１４】さらに、第２の発明は、前記リジェクト判
定部が、前記ユニット選択手段により選択された第２の
出力加算器の出力の内、最大出力と２番目に大きい出力
の値が拮抗している場合すなわち、認識結果の信頼性が
低いときには、リジェクト信号を出力するので、認識結
果の正解率が向上する。

【００１５】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００１６】図２は本発明の学習型認識判断装置に用い
る第１の単位認識ユニットの一実施例を示すものであ
る。図２において、１は信号入力部で、信号入力端子１
ａを介して入力した、認識判断の対象となる特徴データ
を量子化器２に入力する。量子化器２は入力された特徴
データを量子化し、量子化したレベルを示す値を経路荷
重部３ｃと隣接区間選択部４とに入力する。隣接区間選
択部４は、前記入力信号（特徴データ）の量子化区間に
隣接する量子化区間を選択し経路荷重部３ｃに出力す
る。

【００１７】３ａ０は経路入力端子、３ｂ１〜３ｂ５は
経路出力端子で、単位認識ユニットを組み合わせてネッ
トワークを構成するときに、これらの端子を相互に連結
するものである。経路荷重部３ｃは、経路入力部３ａと
経路出力部３ｂとの間を接続する荷重３ｃ１〜３ｃ５
と、後述する荷重テーブル３ｄに記憶されている荷重値
を前記量子化結果に応じて荷重３ｃ１〜３ｃ５に設定す
る荷重設定部３ｃ０とで構成される。

【００１８】荷重テーブル３ｄには、入力信号の属する
量子化区間に対する荷重値と該隣接量子化区間に対する
荷重値が記憶されており、経路荷重部３ｃでは、荷重設
定部３ｃ０が、前記量子化結果に基づいて、前記荷重値
をそれぞれの量子化区間に対応する位置に設定する。荷
重３ｃ１〜３ｃ５は、経路入力部から入力された経路信
号を重み付けし、経路出力部３ｂは、この重み付けした
経路信号を経路出力端子３ｂ１〜３ｂ５に出力する。

【００１９】図３は本発明の学習型認識判断装置の、ネ
ットワ−クの最下層の前層に用いる第２の単位認識ユニ
ットの実施例を示すものである。図２に示した第１の単
位認識ユニットと同様に、信号入力部１と、量子化器２
と、１個の経路入力端子３ａ１を有する経路入力部３ａ
と、３個の経路出力端子３ｂ１〜３ｂ６を有する経路出
力部３ｂと、経路荷重部３ｃとによって構成してある。

【００２０】荷重３ｃ１〜３ｃ６は、経路出力部３ｂの
経路出力端子３ｂ１〜３ｂ６に出力する経路出力信号に
加える重みで、学習過程においては、学習器３ｃ６によ
り、経路入力端子３ａ１に入力された値に応じて経路入
力端子３ａ１と量子化器２の出力値が指し示す経路出力
端子との荷重が更新される。認識過程においては、量子
化器２には信号が入力されず、荷重３ｃ１〜３ｃ６は、
経路入力部から入力された経路信号を重み付けし、経路
出力部３ｂは、この重み付けした経路信号を経路出力端
子３ｂ１〜３ｂ３に出力する。

【００２１】図４は本発明の学習型認識判断装置のネッ
トワ−クの最下層に用いる第３の単位認識ユニットの実
施例を示すものである。３ａ０は、複数の経路入力端子
からの入力信号を加算する加算器、３ｂ０は、経路信号
をしきい値処理するしきい値処理器である。

【００２２】図１は、第１の発明の学習型認識判断装置
の第１の実施例を示すものである。本実施例では、２個
からなる２種類の特徴データ（第１特徴データ、第２特
徴データ）に基づき、２種類のカテゴリを認識するもの
で各カテゴリは３つのクラスに分類されており、単位認
識ユニットを複数個組み合わせて、２個の木分岐構造を
有し、一つの木分岐構造中に４層の階層を有するように
ネットワークを構成してある。第１層、第２層を構成し
ている単位認識ユニットｋ１１〜ｋ１２、ｋ２１〜ｋ３
０は、例えば図２に示した第１の単位認識ユニットを用
い、第３層を構成している単位認識ユニットｐ３１〜ｐ
３５０は、例えば、図３に示した第２の単位認識ユニッ
トを用い、第４層を構成している単位認識ユニットｑ４
１ー１、２、３、ｑ４２ー１、２、３は、図４に示した
第３の単位認識ユニットを用いている。

【００２３】各木分岐構造中の１、２層目を構成する第
１の単位認識ユニットの信号入力端子には、判断すべき
特徴データを入力し、３層目を構成する第２の単位認識
ユニットの信号入力端子には、学習過程のみ入力データ
の教師信号を入力する。

【００２４】５は、学習及び認識モード信号を入力する
事により、動作モードを切り替える動作モード選択部、
６は、前記第３の単位認識ユニットの出力の中から最大
出力を発生するユニットを検出する第１の最大出力ユニ
ット検出器、７は、最大出力ユニット検出部６の出力と
後述する教師信号発生部９の出力を比較することにより
認識結果を判定する比較判定器、８は、学習データの各
種特徴量と該学習データの属するカテゴリ番号と該学習
データを予め各カテゴリ毎に例えば、ｋ平均アルゴリズ
ムまたはＬＢＧアルゴリズム等により複数のクラスに分
類した分類結果を表すクラス番号を記憶した学習データ
記憶部、９は、前記カテゴリ番号とクラス番号に対応す
る最終層の単位認識ユニット番号、すなわち、最終層の
単位認識ユニットの中でのどれが最も大きい値を出力す
ることが望ましいかを示す信号である教師信号を発生す
る教師信号発生部、１１は、第１の最大出力ユニット検
出器６により検出された最下層の単位認識ユニットの最
大出力に対して、所定値のＸ％以上の値を出力している
単位認識ユニットの出力をカテゴリ毎に加算する第１の
出力加算器、１２は、第１の出力加算器１１の出力から
最大出力を発生しているカテゴリを検出する最大出力検
出器である。

【００２５】次に、このように構成した学習型認識判断
装置の学習動作を説明する。まず、動作モード選択部５
に、学習モード信号が入力され、学習動作モードに切り
替えられる。学習動作は、フォワード処理と荷重変更処
理から成り、まずフォワード処理について説明する。

【００２６】各木分岐構造の第１層目の単位認識ユニッ
トｋ１１〜ｋ１２の経路入力端子への経路信号として、
まず１を与える。又、これらのユニットの量子化器への
信号入力端子には、学習データ記憶部８から読み出され
た認識対象物の第１特徴デ−タをｄ１１、ｄ１２を入力
する（この図の場合には、２個の第１特徴デ−タを、そ
れぞれ２個の単位認識ユニットに入力する）。

【００２７】各単位認識ユニットは、第１特徴デ−タを
量子化器２で量子化し、量子化結果を荷重設定部３ｃ０
及び、隣接区間選択部４に出力する。隣接区間選択部４
は、前記入力信号（特徴データ）の量子化区間に隣接す
る量子化区間を選択し、経路荷重部３ｃに出力する。荷
重設定部３ｃ０は、予め設定されている入力データに対
応する前記荷重値並びに隣接区間の荷重値を荷重テーブ
ル３ｄから読みだし、対応する量子化レベル位置に設定
する。このように１つの単位認識ユニットにおいて複数
の経路が選択され、第２層目の単位認識ユニットｋ２１
〜ｋ３０の経路入力端子へ、経路信号と前記荷重値を掛
けた値が送られる。

【００２８】第２層目の単位認識ユニットの信号入力端
子には、学習データ記憶部８から読み出された認識対象
物の第２特徴デ−タを入力する（この図の場合には、２
個の第２特徴デ−タを、それぞれｋ２１〜ｋ２５、ｋ２
６〜ｋ３０に入力する。）。第１層目の場合と同様にし
て複数の経路信号が選択され、第３層目の単位認識ユニ
ットｐ３１〜ｐ３５０の経路入力端子へ、経路信号と前
記荷重の値を掛けた値が送られる。

【００２９】フォワード処理の場合、第３層の単位認識
ユニットｐ３１からｐ３５０の信号入力端子には、教師
入力信号は入力されない。従って、荷重の変更は行われ
ず、学習時の荷重の状態が保持されており、各単位認識
ユニットの経路入力信号にこれらの荷重を乗じて、第４
層目の全単位認識ユニットの経路入力端子へ、経路信号
が送られる。

【００３０】第４層目の各単位認識ユニットの加算器３
ａ０は、入力された経路信号を加算する。しきい値処理
器３ｂ０は、この信号をしきい値処理し、経路出力端子
に出力する。ここで、しきい値処理をする関数として
は、シグモイド関数、ステップ関数等を用いることが出
来る。

【００３１】このようにして、入力した認識対象物の特
徴デ−タに基づき、その時点の荷重値による最終層の単
位認識ユニットの出力が計算され、第１の最大出力ユニ
ット検出器６に出力される。第１の最大出力ユニット検
出器６は、最も大きな出力を出しているユニット番号を
検出し、認識結果として比較判定器７に出力する。

【００３２】次に、学習動作における荷重変更処理につ
いて説明する。教師信号発生部９は、学習データ記憶部
８に記憶してある現在入力されているデータのカテゴリ
番号とクラス番号に対応する最終層の単位認識ユニット
の番号即ち、ｑ４１ー１、２、３、ｑ４２ー１、２、３
のどれが最も大きい値を出力することが望ましいかを示
す信号である教師信号を発生し、比較判定器７と第３層
目の単位認識ユニットの信号入力端子１ａに出力する。
単位認識ユニットｐ３１〜ｐ３５０の量子化器２は、例
えばｑ４１ー１が最も大きい出力をする場合には、量子
化レベル値が単位認識ユニットｑ４１ー１につながる経
路に対応する値となる様に設定されている。

【００３３】比較判定器７は、前記認識結果と前記教師
信号とを比較し、比較結果が異なる場合、学習器３ｃ６
は、経路入力部３ａの経路入力端子３ａ１と量子化器２
の出力が示す経路出力部３ｂの経路出力端子（ここで
は、単位認識ユニットｑ４１ー１につながる経路３ｂ
１）との連結強度である荷重値３ｃ１を経路入力端子３
ａ１から入力された値だけ増加させる。

【００３４】このようにして、全ての入力データについ
て、前記フォワード処理の認識結果と教師信号が一致す
るまで以上の学習動作を行う。

【００３５】次に、学習型認識判断装置の認識動作につ
いて説明する。まず、動作モード選択部５に、認識モー
ド信号が入力され、認識動作モードに切り替えられる。

【００３６】１、２、３層目の各単位認識ユニットは、
学習動作のフォワード処理と同様にして、各経路に伝達
された信号に荷重値を掛けながら次層に出力し、最終層
の単位認識ユニットの出力が計算される。第１の最大出
力ユニット検出器６は、最も大きな出力を出しているユ
ニット番号（ここでは、ｑ４１−１、２、３とｑ４２−
１、２、３の中から１個）を検出し、第１の出力加算器
１１に出力する。第１の出力加算器１１は、該検出され
た最大出力に対して、Ｘ％以上の値を出力している第３
の単位認識ユニットの出力をカテゴリ毎に加算し、最大
出力検出器１２に出力する。最大出力検出器１２は、第
１の出力加算器１１から出力される各カテゴリの出力値
から最大出力を発生するカテゴリ番号を算出し、認識結
果とする。

【００３７】以上説明したように本実施例は、フォワー
ド処理により認識結果が算出され、その認識結果が誤認
識の場合、３層目の第２の単位認識ユニットの荷重値の
みを学習器３ｃ６によって経路入力端子３ａ１に伝達さ
れた値だけ増加させるだけで学習が行えるので、全ての
層の荷重値を変更する必要がなく高速学習が可能であ
る。

【００３８】また、同一カテゴリを複数のクラスに分類
し、１クラスにつき１つの第３の単位認識ユニットを割
当てて学習することにより、より高い精度で学習ができ
るだけでなく、未学習データの認識時には、第１の出力
加算器１１により最下層の最大出力に対してある程度以
上の出力、即ち信頼性が高い出力のみをカテゴリ毎に加
算した後、その加算結果を最大出力検出器１２により認
識結果を判定しているので、最下層における最大出力を
発生している単位認識ユニットが属するカテゴリが入力
データのカテゴリと異なっている場合でも、上述した様
に出力を加算することにより認識結果が正しい方に逆転
する可能性があり、入力データの変動が大きい場合でも
認識性能が劣化するする事なく柔軟に認識できる。

【００３９】図５は、第１の発明の学習型認識判断装置
の第２の実施例を示すものである。図５において、第１
層および第２層を構成している単位認識ユニットｋ１１
〜ｋ１２、ｋ２１〜ｋ３０は、図２に示した第１の単位
認識ユニット、第３層を構成している単位認識ユニット
ｐ３１〜ｐ３５０は、図３に示した第２の単位認識ユニ
ット、第４層を構成している単位認識ユニットｑ４１ー
１、２、３、ｑ４２ー１、２、３は図４に示した第３の
単位認識ユニットを用いて、図１と同様のネットワーク
を構成しており、５は動作モード選択部、６は第１の最
大出力ユニット検出部、７は比較判定器、８は学習デー
タ記憶部、９は教師信号発生部、１２は最大出力検出器
で、以上は図１と同様の構成である。図１と異なるの
は、最終層において同一カテゴリ毎に最大出力を発生す
る単位認識ユニットを検出する第２の最大出力ユニット
検出部１０、第２の最大出力ユニット検出器１０により
検出された各カテゴリの最大出力に対して、Ｘ％以上の
値を出力している単位認識ユニットの出力をカテゴリ毎
に加算する第２の出力加算器１３を設けた点である。学
習動作は、第１の実施例と同様の動作をするのでその説
明は省略する。

【００４０】次に、認識動作について説明する。第１の
実施例の認識動作と同様にして、最下層の単位認識ユニ
ットの出力が算出され、第２の最大出力ユニット検出器
１０及び第２の出力加算器１３に出力される。第２の最
大出力ユニット検出器１０は、各カテゴリ毎に最も大き
な出力を出しているユニット番号（ここでは、ｑ４１−
１、２、３とｑ４２−１、２、３の中からそれぞれぞれ
１個づつ）を検出し、第２の出力加算器１３に出力す
る。第２の出力加算器１３は、該検出された各カテゴリ
の最大出力に対して、Ｘ％以上の値を出力している第３
の単位認識ユニットの出力をカテゴリ毎に加算し、最大
出力検出部１２に出力する。最大出力検出部１２は、第
２の出力加算器１３から出力される各カテゴリの出力値
から最大出力を発生するカテゴリ番号を算出し、認識結
果とする。

【００４１】以上のように、本実施例の学習型認識判断
装置は、フォワード処理により認識結果が算出され、そ
の認識結果が誤認識の場合、３層目の第２の単位認識ユ
ニットの荷重値のみを学習器３ｃ６によって経路入力端
子３ａ１に伝達された値だけ増加させるだけで学習が行
えるので、全ての層の荷重値を変更する必要がなく高速
学習が可能である。

【００４２】また、同一カテゴリを複数のクラスに分類
し、１クラスにつき１つの第３の単位認識ユニットを割
当てて学習することにより、より高い精度で学習ができ
るだけでなく、未学習データの認識時には、第２の出力
加算器１３によりそのカテゴリの最大出力に対してある
程度以上の出力、即ち信頼性が高い出力のみをカテゴリ
毎に加算した後、その加算結果を最大出力検出器１２に
より認識結果を判定しているので、最下層における最大
出力を発生している単位認識ユニットが属するカテゴリ
が入力データのカテゴリと異なっている場合でも、上述
した様に出力を加算することにより認識結果が正しい方
に逆転する可能性があり、入力データの変動が大きい場
合でも認識性能が劣化するする事なく柔軟に認識でき
る。

【００４３】図６は、第１の発明の学習型認識判断装置
の第３の実施例を示すものである。図６において、第１
層および第２層を構成している単位認識ユニットｋ１１
〜ｋ１２、ｋ２１〜ｋ３０は、図２に示した第１の単位
認識ユニット、第３層を構成している単位認識ユニット
ｐ３１〜ｐ３５０は、図３に示した第２の単位認識ユニ
ット、第４層を構成している単位認識ユニットｑ４１ー
１、２、３、ｑ４２ー１、２、３は図４に示した第３の
単位認識ユニットを用いて、図１と同様のネットワーク
を構成しており、５は動作モード選択部、６は第１の最
大出力ユニット検出部、７は比較判定器、８は学習デー
タ記憶部、９は教師信号発生部、１２は最大出力検出器
で、以上は図１と同様の構成である。図１と異なるの
は、前記最下層において、出力の大きい方からＮ個の出
力を算出しカテゴリ毎に加算する第３の出力加算器１４
を設けた点である。学習動作は、第１の実施例と同様の
動作をするのでその説明は省略する。

【００４４】次に、認識動作について説明する。

【００４５】第１の実施例の認識動作と同様にして、最
下層の単位認識ユニットの出力が算出され、第３の出力
加算器１４に出力される。第３の出力加算器１４は、最
下層において出力の大きい方からＮ個の出力を選択し
（例えばＮ＝４の場合、大きい方からｑ４２ー３とｑ４
１−１とｑ４１−３とｑ４１−２）、カテゴリ毎に加算
し（第１カテゴリは、ｑ４１−１＋ｑ４１−２＋ｑ４１
−３、第２カテゴリは、ｑ４２−３）、最大出力検出部
１２に出力する。最大出力検出部１２は、第３の出力加
算器１４から出力される各カテゴリの出力値から最大出
力を発生するカテゴリ番号を算出し、認識結果とする。

【００４６】以上のように本実施例による学習型認識判
断装置は、フォワード処理により認識結果が算出され、
その認識結果が誤認識の場合、３層目の第２の単位認識
ユニットの荷重値のみを学習器３ｃ６によって経路入力
端子３ａ１に伝達された値だけ増加させるだけで学習が
行えるので、全ての層の荷重値を変更する必要がなく高
速学習が可能である。

【００４７】また、同一カテゴリを複数のクラスに分類
し、そのクラスに１つの第３の単位認識ユニットを割当
てて学習することにより、より高い精度で学習ができる
だけでなく、未学習データの認識時には、第３の出力加
算器１４により最下層の出力の中から信頼性が高いＮ個
の出力を選択し、カテゴリ毎に加算した後、その加算結
果を最大出力検出器１２により認識結果を判定している
ので、最下層における最大出力を発生している単位認識
ユニットが属するカテゴリが入力データのカテゴリと異
なっている場合でも、上述した様に出力を加算すること
により認識結果が正しい方に逆転する可能性があり、入
力データの変動が大きい場合でも認識性能が劣化するす
る事なく柔軟に認識できる。

【００４８】図７は、第１の発明の学習型認識判断装置
の第４の実施例を示すものである。図７において、第１
層および第２層を構成している単位認識ユニットｋ１１
〜ｋ１２、ｋ２１〜ｋ３０は、図２に示した第１の単位
認識ユニット、第３層を構成している単位認識ユニット
ｐ３１〜ｐ３５０は、図３に示した第２の単位認識ユニ
ット、第４層を構成している単位認識ユニットｑ４１ー
１、２、３、ｑ４２ー１、２、３は図４に示した第３の
単位認識ユニットを用いて、図１と同様のネットワーク
を構成しており、５は動作モード選択部、６は第１の最
大出力ユニット検出部、７は比較判定器、８は学習デー
タ記憶部、９は教師信号発生部、１２は最大出力検出器
で、以上は図１と同様の構成である。図１と異なるの
は、前記最下層において、カテゴリ毎に出力の大きい方
からＮ個の出力を算出しカテゴリ毎に加算する第４の出
力加算器１５を設けた点である。学習動作は、第１の実
施例と同様の動作をするのでその説明は省略する。

【００４９】次に、認識動作について説明する。第１の
実施例の認識動作と同様にして、最下層の単位認識ユニ
ットの出力が算出され、第４の出力加算器１５に出力さ
れる。第４の出力加算器１５は、最下層において、カテ
ゴリ毎に出力の大きい方からＮ個の出力を選択し（例え
ば、Ｎ＝２の場合、大きい方からｑ４１−１とｑ４１−
３及びｑ４２−３とｑ４２−２）、カテゴリ毎に加算し
（第１カテゴリは、ｑ４１−１＋ｑ４１−３、第２カタ
ゴリは、ｑ４２−２＋ｑ４２−３）、最大出力検出部１
２に出力する。最大出力検出部１２は、第３の出力加算
器１４から出力される各カテゴリの出力値から最大出力
を発生するカテゴリ番号を算出し、認識結果とする。

【００５０】以上のように本実施例の学習型認識判断装
置は、フォワード処理により認識結果が算出され、その
認識結果が誤認識の場合、３層目の第２の単位認識ユニ
ットの荷重値のみを学習器３ｃ６によって経路入力端子
３ａ１に伝達された値だけ増加させるだけで学習が行え
るので、全ての層の荷重値を変更する必要がなく高速学
習が可能である。

【００５１】また、同一カテゴリを複数のクラスに分類
し、そのクラスに１つの第３の単位認識ユニットを割当
てて学習することにより、より高い精度で学習ができる
だけでなく、未学習データの認識時には、第４の出力加
算器１５により最下層の出力の中からカテゴリ毎に信頼
性が高いＮ個の出力を選択し、カテゴリ毎に加算した
後、その加算結果を最大出力検出器１２により認識結果
を判定しているので、最下層における最大出力を発生し
ている単位認識ユニットが属するカテゴリが入力データ
のカテゴリと異なっている場合でも、上述した様に出力
を加算することにより認識結果が正しい方に逆転する可
能性があり、入力データの変動が大きい場合でも認識性
能が劣化するする事なく柔軟に認識できる。

【００５２】図８は、第２の発明の学習型認識判断装置
の一実施例を示すものである。図８において、第１層、
第２層を構成している単位認識ユニットｋ１１〜ｋ１
２、ｋ２１〜ｋ３０は、図２に示した第１の単位認識ユ
ニット、第３層を構成している単位認識ユニットｐ３１
〜ｐ３５０は、図３に示した第２の単位認識ユニット、
第４層を構成している単位認識ユニットｑ４１ー１、
２、３、ｑ４２ー１、２、３は図４に示した第３の単位
認識ユニットを用いて、図５と同様のネットワークを構
成しており、５は動作モード選択部、６は第１の最大出
力ユニット検出部、７は比較判定器、８は学習データ記
憶部、９は教師信号発生部、１０は第２の最大出力ユニ
ット検出器、１３は第２の出力加算器で、以上は図１と
同様の構成である。

【００５３】図５と異なるのは、第２の出力加算器１３
の出力の大きい方から２個のカテゴリを選択するカテゴ
リ選択器１６と、該選択された２番目に大きい出力を発
生するカテゴリの出力と最大出力を発生するカテゴリの
出力の比を算出し、その比が予め設定されたしきい値以
上の場合にはリジェクト信号を出力し、しきい値より小
さい場合は最大出力を発生しているカテゴリを認識結果
として出力するリジェクト判定部１７を設けた点であ
る。その学習動作は、第１の発明の第１の実施例と同様
の動作をするのでその説明は省略する。

【００５４】次に、認識動作について説明する。

【００５５】第１の発明の第２の実施例の認識動作と同
様にして、最下層の単位認識ユニットの出力が算出さ
れ、第２の最大出力ユニット検出器１０及び第２の出力
加算器１３に出力される。第２の最大出力ユニット検出
器１０は、各カテゴリ毎に最も大きな出力を出している
ユニット番号（ここでは、ｑ４１−１、２、３とｑ４２
−１、２、３の中からそれぞれぞれ１個づつ）を検出
し、第２の出力加算器１３に出力する。第２の出力加算
器１３は、該検出された各カテゴリの最大出力に対し
て、Ｘ％以上の値を出力している第３の単位認識ユニッ
トの出力をカテゴリ毎に加算し、カテゴリ選択器１６に
出力する。カテゴリ検出器１５は、出力の大きい方から
２個の出力を選択しリジェクト判定部１７に出力する。
リジェクト判定部１７は、該選択された２番目に大きい
出力を発生するカテゴリの出力と最大出力を発生するカ
テゴリの出力の比を算出し、その比が予め設定されたし
きい値以上の場合にはリジェクト信号を出力し、しきい
値より小さい場合は最大出力を発生しているカテゴリを
認識結果として出力する以上のように本実施例による学習型認識判断装置は、フ
ォワード処理により認識結果が算出され、その認識結果
が誤認識の場合、３層目の第２の単位認識ユニットの荷
重値のみを学習器３ｃ６によって経路入力端子３ａ１に
伝達された値だけ増加させるだけで学習が行えるので、
全ての層の荷重値を変更する必要がなく高速学習が可能
である。

【００５６】また、同一カテゴリを複数のクラスに分類
し、そのクラスに１つの第３の単位認識ユニットを割当
てて学習することにより、より高い精度で学習ができる
だけでなく、未学習データの認識時には、第２の出力加
算器１３によりそのカテゴリの最大出力に対してある程
度以上の出力、即ち信頼性が高い出力のみをカテゴリ毎
に加算した後、その加算結果を最大出力検出器１２によ
り認識結果を判定しているので、最下層における最大出
力を発生している単位認識ユニットが属するカテゴリが
入力データのカテゴリと異なっている場合でも、上述し
た様に出力を加算することにより認識結果が正しい方に
逆転する可能性があり、入力データの変動が大きい場合
でも認識性能が劣化するする事なく柔軟に認識できる。

【００５７】さらに、最大出力を発生しているカテゴリ
と二番目の出力を発生しているカテゴリの出力値が拮抗
している場合、即ち認識結果の信頼性が低い場合は、リ
ジェクト判定部１７により、その認識結果はリジェクト
されるので認識結果の信頼性がより向上する。

【００５８】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。

【００５９】

【発明の効果】以上のように本発明によれば、単位認識
ユニットを複数個組み合わせた木分岐構造を複数個有
し、各木分岐構造の各階層の単位認識ユニットは、量子
化器の出力に応じて、ネットワ−クのより下層に位置す
る単位認識ユニットとの結合経路を切り換え、最下層ま
での選択経路を決定しながら、最下層の出力を算出し、
最大出力ユニット検出器により検出された入力データに
対する認識結果が異なる場合のみ、最下層の前層の第２
の単位認識ユニットの連結強度だけを該経路入力端子に
入力された値に応じて学習器によって変化させるだけで
学習が行えるので、全ての層の荷重値を変更する必要が
なく、高速学習が可能である。

【００６０】また、同一カテゴリを複数のクラスに分類
し、そのクラスに１つの第３の単位認識ユニットを割当
てて学習することにより、より高い精度で学習ができ、
認識時には、出力統合部によりある程度以上の出力、即
ち信頼性が高い出力のみをカテゴリ毎に加算した後、そ
の加算結果を最大出力検出器により認識結果を判定して
いるので、入力データの変動が大きい場合でも認識性能
が劣化するする事なく柔軟に認識できる。

【００６１】さらに、第２の発明は、リジェクト判定部
が、ユニット選択手段により選択された第２の出力加算
器の出力の内、最大出力と２番目に大きい出力の値が拮
抗している場合、すなわち、認識結果の信頼性が低いと
きには、リジェクト信号を出力するので、認識結果の正
解率が向上する。

【図面の簡単な説明】

【図１】第１の発明の学習型認識判断装置の第１の実施
例を示すブロック図

【図２】本発明の第１の単位認識ユニットの一実施例を
示すブロック図

【図３】本発明の第２の単位認識ユニットの一実施例を
示すブロック図

【図４】本発明の第３の単位認識ユニットの一実施例を
示すブロック図

【図５】第１の発明の学習型認識判断装置の第２の実施
例を示すブロック図

【図６】第１の発明の学習型認識判断装置の第３の実施
例を示すブロック図

【図７】第１の発明の学習型認識判断装置の第４の実施
例を示すブロック図

【図８】第２の発明の学習型認識判断装置の一実施例を
示すブロック図

【図９】従来の学習型認識判断装置の全体構成図

【図１０】従来の学習型認識判断装置の出力信号算出部
の構成図

【図１１】従来の学習型認識判断装置の出力信号算出部
の多入力一出力算出部の構成図

【図１２】従来の多入力一出力算出部のしきい値処理部
の特性関数を示す図

【符号の説明】

１信号入力部１ａ信号入力端子２量子化器３ａ経路入力部３ａ０加算器３ａ１〜３ａ５０経路入力端子３ｂ経路出力部３ｂ０しきい値処理器３ｂ１〜３ｂ６経路出力端子３ｃ経路荷重部３ｃ０荷重設定部３ｃ１〜３ｃ６荷重３ｃ６学習器３ｄ荷重テーブル４隣接区間選択部５動作モード選択部６第１の最大出力ユニット検出器７比較判定器８学習データ記憶部９教師信号発生部１０第２の最大出力ユニット検出部１１第１の出力加算器１２最大出力検出器１３第２の出力加算器１４第３の出力加算器１５第４の出力加算器１６カテゴリ選択器１７リジェクト判定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者小島良宏大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】複数のカテゴリからなる学習データの属性
情報を記憶する学習データ記憶部と、複数の階層からな
り、最下層を複数の第３の単位認識ユニット、最下層の
前層を複数の第２の単位認識ユニット、それ以外の層を
複数の第１の単位認識ユニットにより構成したネットワ
ークと、前記属性情報から入力データに対応する最下層
の単位認識ユニットの番号である教師信号を発生する教
師信号発生部と、最下層の各単位認識ユニットの中で最
大出力を発生する単位認識ユニットを検出する第１の最
大出力ユニット検出器と、前記第１の最大出力ユニット
検出器によって検出した単位認識ユニット番号と前記教
師信号とを比較する比較判定器と、最下層の単位認識ユ
ニットの出力から信頼度の高い出力を発生している単位
認識ユニットを選択しカテゴリ毎に加算する出力統合部
と、前記出力統合部の出力から最大出力を発生している
カテゴリ番号を検出する最大出力検出器とを備えた学習
型認識判断装置。
【請求項２】第１の単位認識ユニットを、信号入力部
と、入力信号の出力に応じて量子化を行なう量子化器
と、前記入力信号の量子化結果から該量子化区間に隣接
する量子化区間を選択する隣接区間選択部と、前記入力
信号の属する量子化区間並びに、該量子化区間に隣接す
る量子化区間に対する荷重値を記憶する荷重テーブル
と、単一叉は複数の経路入力端子を有する経路入力部
と、単一叉は複数の経路出力端子を有する経路出力部
と、量子化結果に応じて経路にかける荷重の設定位置を
変えることで前記経路入力部の経路入力端子と前記経路
出力部の経路出力端子との連結強度を変化させる経路荷
重部とで構成したことを特徴とする請求項１記載の学習
型認識判断装置。
【請求項３】第２の単位認識ユニットを、信号入力部
と、前記入力信号の出力に応じて量子化を行う量子化器
と、単一叉は複数の経路入力端子を有する経路入力部
と、単一叉は複数の経路出力端子を有する経路出力部
と、前記比較判定器の比較結果が異なる場合前記経路入
力部の経路入力端子に伝達された値に応じて該経路入力
端子と前記量子化器の出力値が指し示す経路出力部の経
路出力端子との連結強度を増加する学習器とで構成した
ことを特徴とする請求項１記載の学習型認識判断装置。
【請求項４】第３の単位認識ユニットを、複数の経路入
力端子からの入力信号を加算する加算器と、前記加算器
の出力信号をしきい値処理するしきい値処理部とで構成
したことを特徴とする請求項１記載の学習型認識判断装
置。
【請求項５】出力統合部は、第１の最大出力ユニット検
出器において検出された最大出力に対して、Ｘ％以上の
値を出力している単位認識ユニットの出力をカテゴリ毎
に加算する第１の出力加算器により構成されることを特
徴とする請求項１記載の学習型認識判断装置。
【請求項６】出力統合部は、最下層において同一カテゴ
リ毎に最大出力を発生する単位認識ユニットを検出する
第２の最大出力ユニット検出器と、該検出された各カテゴリの最大出力に対してＸ％以上の
値を出力している単位認識ユニットの出力をカテゴリ毎
に加算する第２の出力加算器とから構成されることを特
徴とする請求項１記載の学習型認識判断装置。
【請求項７】出力統合部は、最下層において出力の大き
い方からＮ個の単位認識ユニットの出力を算出しカテゴ
リ毎に加算する第３の出力加算器により構成されること
を特徴とする請求項１記載の学習型認識判断装置。
【請求項８】出力統合部は、最下層において同一カテゴ
リ毎に出力の大きい方からＮ個の単位認識ユニットを選
択し、カテゴリ毎に加算する第４の出力加算器により構
成されること特徴とする請求項１記載の学習型認識判断
装置。
【請求項９】最大出力検出器に代えて、出力統合部の出
力の大きい方から２個のカテゴリを選択するカテゴリ選
択手段と、前記選択された２番目に大きい出力を発生す
るカテゴリの出力と最大出力を発生するカテゴリの出力
の比を算出し、その比が予め設定されたしきい値以上の
場合にはリジェクト信号を出力し、しきい値より小さい
場合は最大出力を発生しているカテゴリを認識結果とし
て出力するリジェクト判定部を備えたことを特徴とする
請求項１記載の学習型認識判断装置。
【請求項１０】学習データ記憶部は、学習データのカテ
ゴリ情報と該学習データを予め各カテゴリ毎に複数のク
ラスに分類した分類結果を表すクラス情報を記憶したこ
とを特徴とする請求項１または９記載の学習型認識判断
装置。
【請求項１１】多層の階層構造中で、最下層の前層に位
置する第２の単位認識ユニットの信号入力部に、教師信
号を入力するようにしたことを特徴とする請求項１また
は９記載の学習型認識判断装置。
【請求項１２】多層の階層構造中で、最下層に位置する
第３の単位認識ユニットを前記学習データのカテゴリ数
と前記各カテゴリ毎のクラス数の積の数だけ備えたこと
を特徴とする請求項１または９記載の学習型認識判断装
置。