JPH0991266A - 学習型認識判断装置 - Google Patents

学習型認識判断装置

Info

Publication number
JPH0991266A
JPH0991266A JP7243368A JP24336895A JPH0991266A JP H0991266 A JPH0991266 A JP H0991266A JP 7243368 A JP7243368 A JP 7243368A JP 24336895 A JP24336895 A JP 24336895A JP H0991266 A JPH0991266 A JP H0991266A
Authority
JP
Japan
Prior art keywords
unit
category
group
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7243368A
Other languages
English (en)
Inventor
Keiichi Miyazaki
桂一 宮▲崎▼
Toshiyuki Koda
敏行 香田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP7243368A priority Critical patent/JPH0991266A/ja
Priority to US08/668,588 priority patent/US5966701A/en
Priority to EP96304575A priority patent/EP0750263B1/en
Priority to DE69606468T priority patent/DE69606468T2/de
Publication of JPH0991266A publication Critical patent/JPH0991266A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 学習型認識判断装置の各細分類部の学習は、
群参照用パターンと学習すべき入力パターンの距離(群
帰属度)を考慮せず単一の細分類で全く独立に行うの
で、カテゴリ群間の境界に位置する入力パターンに対す
る認識精度の劣化があり、時間がかかり追加学習ができ
なかった。 【解決手段】 ファジィ大分類部７にて入力パターン信
号Ｘを複数のカテゴリ群に分類し、その群帰属度を算出
し、細分類部８でカテゴリ群内の類似度を算出する。荷
重変更量制御部82が、第２の群選択部10により選択され
た群帰属度に応じて、それらに対応する細分類部８の荷
重変更量を制御しながら、各細分類部８が協調的に学習
し、リジェクトしきい値決定部14で各カテゴリ群の特性
を活かしてリジェクトしきい値を適応させて設定しリジ
ェクト判定部16で効率的なリジェクト処理を行う。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、入力されたパターンデ
ータの学習及び認識を行う学習型認識判断装置に関する
ものである。
【０００２】
【従来の技術】従来のこの種の装置においては、入力さ
れたパターンデータに対して、まず大分類を行って入力
データが属するカテゴリ群を選択し、次に選択されたカ
テゴリ群において、細分類を行うことによって入力デー
タの認識を行うようにしている。このような学習型認識
判断装置の例としては、例えば、電子情報通信学会論文
誌D-II Vol.J75-D-II No.3 pp545-553「大規模ニューラ
ルネット“ＣｏｍｂＮＥＴ−II”」に示されている。
【０００３】図10はこの従来の学習型認識判断装置の構
成を示すブロック図であり、図10において、１は大分類
部であり、入力部１aと多入力一出力信号処理部１bとで
構成され、入力パターン信号Ｘに対する各カテゴリ群の
出力値(適合度)を計算することによって、前記入力パタ
ーン信号を各カテゴリ群に大分類するものである。２は
複数個からなる細分類部であり、入力部２aと多入力一
出力信号処理部２bと最大値選択部２cとで構成される。
これは入力信号を各カテゴリ群内で細分類するものであ
る。即ち、細分類部入力信号選択部４から出力される入
力パターン信号を入力部２aで入力し、多入力一出力信
号処理部２bは、これと接続されている下層の入力部２a
または多入力一出力信号処理部２bの出力と、その結合
の度合である重み係数とを各々掛け合わせて総和したも
のをしきい値処理して出力するものである。ここでは、
これら複数個の多入力一出力信号処理部２bは層構造で
構成され、各層内相互の結合がなく、上位層にのみ信号
が伝搬するようにネットワーク接続することによって、
入力パターン信号に対するカテゴリ群内の各カテゴリに
類似する度合を求める。最大値選択部２cは、最上位層
の複数個の前記多入力一出力信号処理部２bの出力の中
から最大値を選択する。
【０００４】３は群選択部であり、大分類部１の出力値
(適合度)から複数個のカテゴリ群を選択するものであ
る。前出の細分類部入力信号選択部４は、群選択部３で
得られる群選択情報に基づいて入力パターン信号を入力
する細分類部２を選択するものである。５は識別部あ
り、類似度計算部５aとカテゴリ識別部５bとで構成され
る。これは類似度計算部５aでもって群選択部３で選択
されたカテゴリ群の適合度と、そのカテゴリ群に対応す
る細分類部２の出力値から各カテゴリの類似度を計算
し、カテゴリ識別部５bから得られた各カテゴリの類似
度の最大値を求めることによって、入力パターン信号Ｘ
の識別を行うものである。
【０００５】以上のように構成された従来の学習型認識
判断装置の動作を説明する。認識対象物のｎ個の特徴デ
ータからなる入力パターン信号Ｘは(数１)で示される。
【０００６】
【数１】Ｘ＝（ｘ1，ｘ2，…，ｘn） この入力パターン信号Ｘは、まず、大分類部１の入力部
１aに入力される。この入力部１aはパターンデータの特
徴データ数に等しくｎ個用意されており、各特徴データ
ｘiはそれぞれ対応する入力部１aに入力される。大分類
部１の各多入力一出力信号処理部１bは、それに接続さ
れている入力部１aの入力ｘjとその連結の度合である重
み係数ｖij(１≦ｉ≦ｍr；ｍrはカテゴリ群の数、１≦j
≦ｎ)とを乗算したものの総和を計算した後、これを入
力パターン信号Ｘ及び、各多入力一出力信号処理部１b
の重み係数ベクトルＶiとすると(数２)で示される。
【０００７】
【数２】Ｖi＝（ｖi1，ｖi2，…，ｖin） 数１，数２のノルム｜Ｘ｜、｜Ｖi｜の積で割り算した
ものを多入力一出力信号処理部１bは出力する。つま
り、重み係数ベクトルＶiをもつ多入力一出力信号処理
部１bの出力値sim(Ｘ，Ｖi)は、(数３)で表される。
【０００８】
【数３】
【０００９】なお、重み係数ベクトルＶiについては、
類似した入力パターン信号Ｘに対して決まった多入力一
出力信号処理部１bが最大出力を発生するように、予め
設定しておく。
【００１０】これらの重み係数ベクトルＶiは、従来例
によると、以下のような手法で設定される。まず第１過
程では、重み係数ベクトル設定用の入力パターン信号Ｘ
を入力する毎に、最もsim(Ｘ，Ｖi)の大きいＶCを求め
(このとき、ＸはＶCに最適整合するという)、ＶCを入力
パターン信号Ｘに近づける。また、１つの重み係数ベク
トルＶiに最適整合する入力パターン信号Ｘがある一定
数以上になったときには、その重み係数ベクトルＶiが
担当する領域を２つに分割する。次に第２過程では、重
み係数ベクトル設定用の全入力パターン信号に対して、
最適整合する重み係数ベクトルＶiを求め、それが前回
と変化したかどうかを調べる。そして、変更があれば、
その重み係数ベクトルＶiを修正する。このとき、第１
過程と同様に、重み係数ベクトルＶiの分裂も行う。こ
れを重み係数ベクトルＶiの修正、分裂がなくなるまで
繰り返す。
【００１１】このようにして、重み係数ベクトルＶiの
設定を行うことによって、入力パターン信号Ｘは複数の
カテゴリ群に大分類される。そして、各多入力一出力信
号処理部１bの出力値は、入力パターン信号Ｘに対する
各カテゴリ群の適合度として群選択部３に出力される。
【００１２】群選択部３では、大分類部１で得られた適
合度の大きい順に任意個のカテゴリ群を選び、どのカテ
ゴリ群が選択されたかを示す群選択情報とそれに対応す
る適合度を出力する。
【００１３】群選択部３から得られる群選択情報に基づ
いて、細分類入力信号選択部４は、入力パターン信号を
入力する細分類部２を選択し、入力パターン信号をこれ
らの細分類部２へ出力する。
【００１４】群選択部３で選択されたカテゴリ群に対応
する各々の細分類部２(即ち、細分類入力信号選択部４
から入力パターン信号Ｘを入力された細分類部２)で
は、まず、入力部２aに、入力パターン信号Ｘが入力さ
れる。入力部２aは、入力パターン信号Ｘの特徴データ
数に等しくＮ個用意されており、各特徴データｘiはそ
れぞれ対応する入力部２aに入力される。細分類部２の
各多入力一出力信号処理部２bはそれに接続されている
下層の入力部２a、または多入力一出力信号処理部２bの
出力とその連結の度合である重み係数とを掛け合わせた
ものの総和をしきい値関数で変換した後、その値を上層
へ出力する。ここで、各細分類部２の最上位層の多入力
一出力信号処理部２bは、各カテゴリ群に含まれるパタ
ーンデータのカテゴリ数と同じ個数に設定され、最上位
層の各多入力一出力信号処理部２bは、これらの各カテ
ゴリに対応している。最大値選択部２cは最上位層の各
多入力一出力信号処理部２bの出力値の中で最大のもの
を選び、この多入力一出力信号処理部2bに対応するカテ
ゴリと、その最大出力値を出力する。
【００１５】なお、各多入力一出力信号処理部２bの重
み係数は、カテゴリ群内の各カテゴリをもつ入力パター
ン信号に対して、その各カテゴリに対応する最上位層の
多入力一出力信号処理部２bが最大出力を発生するよう
に、予め学習されている。
【００１６】具体的には、このような重み係数の学習方
法は、誤差逆伝搬法と呼ばれる学習アルゴリズムによっ
て行われる。誤差逆伝搬法については、例えば D. E.Ru
melhart, G. E. Hinton and R. J. Williamsによる“Le
arningRepresentations by Back-Propagating Error
s，" Ｎature, vol.323, pp.533-536, Oct. 9, 1986に
示されている。
【００１７】以下、誤差逆伝搬法の概略について説明す
る。
【００１８】まず、重み係数学習用の入力パターン信号
Ｘが細分類部２の入力部２aに入力される。各多入力一
出力信号処理部２bは、既に説明したように、各々それ
に接続されている下層の入力部２a、または多入力一出
力信号処理部２bの出力とその連結の度合である重み係
数とを掛け合わせたものの総和をしきい値関数で変換し
た後、その値を上層へ出力する。ここで、全ての最上位
層の多入力一出力信号処理部２bの出力信号ｏkと望まし
い出力信号ｔk(これを教師信号と呼ぶ)との誤差Ｅは(数
４)のように求められる。
【００１９】
【数４】Ｅ＝0.5ΣpΣk（ｔk−ｏk）2 但し、Σpは教師信号のパターン数に関する総和であ
る。学習の目的は、誤差Ｅを最小にする重み係数の値を
決定することであり、各多入力一出力信号処理部２b間
の重み係数の変更量△ｗijは(数５)に基づいて計算され
る。
【００２０】
【数５】△ｗij ＝ −ε∂Ｅ／∂ｗij 但し、εは学習レートと呼ばれる正の定数である。この
ような(数５)に基づいた重み係数の更新を、学習用のパ
ターン信号が入力されるたびに繰り返すことにより、誤
差Ｅを小さくすることができる。誤差Ｅが十分小さくな
ると、出力信号が望ましい値に十分近くなったものとし
て、学習を終了する。
【００２１】このような重み係数の学習方法によって、
カテゴリ群内の各カテゴリをもつ入力パターン信号に対
し、その各カテゴリに対応する最上位層の多入力一出力
信号処理部２bが最大出力を発生するようにすることが
できる。従って、最上位層の複数個の多入力一出力信号
処理部２bの中で、最大出力を発生するものを最大値選
択部２cで選ぶことにより、各カテゴリ群内において、
即ち、各細分類部において入力パターン信号のカテゴリ
を認識することができる。
【００２２】識別部５では、まず、類似度計算部５aに
おいて、群選択部３で選択されたカテゴリ群の適合度
と、そのカテゴリ群に対応する細分類部２の出力値から
(数６)を用いて細分類部２で得られた各カテゴリの類似
度を計算し、これらの類似度を(数６)によりカテゴリ識
別部５bに出力する。
【００２３】
【数６】
【００２４】但し、ａ，ｂは実定数とする。
【００２５】最後に、カテゴリ識別部５bは、類似度計
算部５aから得られる各カテゴリの類似度を比較し、そ
れらの中で最大となる類似度に対応するカテゴリを識別
結果として出力する。
【００２６】
【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、各細分類部２の学習は、群参照用パター
ンと学習すべき入力パターン信号の距離すなわち群帰属
度を考慮せず、単一の細分類部で全く独立に行われるの
で、カテゴリ群間の境界に位置する入力パターン信号に
対する認識精度が劣化するだけでなく、学習時に類似度
算出部５aのすべての層の重み係数を変更する必要があ
り学習に時間がかかる。
【００２７】また、未学習パターンを誤認識したときに
再度その入力パターン信号を学習する際(追加学習)、大
分類部１で群帰属度が最大と判断された細分類部２にそ
の入力パターン信号のカテゴリが属しているとは限ら
ず、どの細分類部２を学習すべきかの判断ができないの
で、追加学習が出来ない。
【００２８】また、カテゴリ間の境界に位置する入力パ
ターン信号は誤認識しやすく、誤認識時の誤りパター
ン、入力パターン信号が帰属するカテゴリ群などの特性
を考慮したリジェクト処理ができないという課題を有し
ていた。 本発明はかかる点に鑑み、入力パターン信号に対する群
帰属度を用いて各細分類部を協調的に学習することによ
り、カテゴリ群の境界に位置する入力パターン信号の認
識率の向上と、学習が高速かつ効率的に追加学習が可能
で、群帰属度、カテゴリ類似度などの情報を用い適応し
たリジェクトしきい値に変えることで効率的なリジェク
ト処理ができる学習型認識判断装置を提供することを目
的とする。
【００２９】
【課題を解決するための手段】本発明は上記課題を解決
し目的を達成するため第１の手段は、類似パターンの集
合から成るカテゴリ群を代表する群参照用パターン信号
が複数個記憶されている群辞書と、前記群参照用パター
ン信号を用いて入力パターン信号が各カテゴリ群に属す
る度合である群帰属度を計算するファジィ大分類部と、
前記入力パターン信号がカテゴリ群内に含まれる各カテ
ゴリに類似する度合である群内類似度を計算する類似度
算出部と第２の群選択部の出力に応じて前記類似度算出
部の伝達量変更部のビットシフト量を制御する荷重変更
量制御部とからなる複数個の細分類部と、前記群帰属度
から少なくとも１つのカテゴリ群を選択する第１の群選
択部と、前記細分類部で得られた群内類似度を前記選択
された群帰属度により重み付けする識別信号荷重部と、
前記識別信号荷重部の出力から各カテゴリに属する度合
であるカテゴリ類似度の算出を行なうカテゴリ類似度算
出部と、前記算出されたカテゴリ類似度の大きい方から
少なくとも２つのカテゴリ類似度とそのカテゴリを選択
するカテゴリ選択部と、前記第１の群選択部で選択され
た群帰属度と前記カテゴリ選択部の出力からリジェクト
しきい値を決定するリジェクトしきい値決定部と、前記
リジェクトしきい値決定部で決定されるリジェクトしき
い値に応じてリジェクト判定部の制御を行うリジェクト
しきい値制御部と、前記リジェクトしきい値制御部の出
力に応じてリジェクトしきい値と前記カテゴリ選択部か
ら出力される大きい方から２つのカテゴリ類似度の比と
の比較結果に応じて入力パターン信号の認識結果または
認識不可であることを表すリジェクト信号を出力するリ
ジェクト判定部と、前記細分類部の学習に必要な教師信
号を発生する第１の教師信号発生部と、前記細分類部に
属するカテゴリ情報を記憶したカテゴリ情報記憶部と、
前記カテゴリ情報により入力パターン信号のカテゴリが
存在する細分類部の中で群帰属度の大きい方から少なく
とも１つの群帰属度を選択する第２の群選択部と、前記
カテゴリ選択部で選択されたカテゴリと前記第１の教師
信号発生部から出力される入力パターン信号のカテゴリ
との比較結果に応じて前記細分類部の学習を制御する学
習制御部とを有する学習型認識判断装置において、前記
細分類部における前記類似度算出部は、複数の階層から
なり最下層を複数の第３の単位認識ユニット、最下層の
前層を複数の第２の単位認識ユニット、それ以外の層を
複数の第１の単位認識ユニットにより構成され、前記第
１の単位認識ユニットは、信号入力部と、入力信号の出
力に応じて量子化を行う量子化器と、前記入力信号の量
子化結果から量子化区間に隣接する量子化区間を選択す
る隣接区間選択部と、前記入力信号の属する量子化区間
並びに該量子化区間に対する荷重値を記憶する荷重テー
ブルと、単一または複数の経路入力端子を有する経路入
力部と、単一または複数の経路出力端子を有する経路出
力部と、量子化結果に応じて経路にかける荷重の設定位
置を変えることで前記経路入力部の経路入力端子と前記
経路出力部の経路出力端子との連結強度を変化させる経
路荷重部とを有し、前記第２の単位認識ユニットは、信
号入力部と、前記入力信号の出力に応じて量子化を行う
量子化器と、単一または複数の経路入力端子を有する経
路入力部と、単一または複数の経路出力端子を有する経
路出力部と、前記経路入力部の経路入力端子に伝達され
た値をｎビットシフトする伝達量変更部と、前記伝達量
変更部の出力に応じて前記経路入力端子と前記量子化器
の出力値が指し示す経路出力部の経路出力端子との連結
強度を増加する学習器とを有し、前記第３の単位認識ユ
ニットは、複数の経路入力端子からの入力信号を加算す
る加算器と、前記加算器の出力信号をしきい値処理する
しきい値処理器とを有することを特徴とする。
【００３０】また、第２の手段は、前記細分類部の荷重
変更量制御部に代えて、前記第２の群選択部の出力に応
じて類似度算出部の学習強度を変更する学習強度制御部
を有することを特徴とする。
【００３１】また、第３の手段は、前記リジェクト判定
部で識別された認識結果を表示部に出力する認識結果表
示部と、該認識結果が間違っている場合に正解の認識結
果を入力する正解入力部と、該入力された正解の認識結
果を入力データに対応するカテゴリ番号である教師信号
に変換する第２の教師信号発生部と、前記第１の教師信
号発生部の出力と第２の教師信号発生部の出力のいずれ
か１つを選択する教師信号選択部とを有することを特徴
とする。
【００３２】
【作用】本発明の第１の手段は、入力パターン信号をフ
ァジィ大分類部に入力し、ファジィ大分類部は、群辞書
に記憶されている全ての群参照用パターン信号を読み出
して、前記入力パターン信号が各カテゴリ群に属する度
合である群帰属度を求める。これらの群帰属度を用い
て、第１の群選択部は少なくとも１つのカテゴリ群を選
択し、識別信号荷重部及びリジェクトしきい値決定部に
出力する。各細分類部は、類似度算出部により前記入力
パターン信号が各カテゴリ群内に含まれる各カテゴリに
類似する度合である群内類似度ベクトルを計算し、前記
識別信号荷重部に出力する。
【００３３】識別信号荷重部では、まず、前記第１の群
選択部で選択されたカテゴリ群の帰属度により、対応す
る細分類部から得られる群内類似度ベクトルを重み付け
し、カテゴリ類似度算出部に出力する。このカテゴリ類
似度算出部では、前記重み付けされた群内類似度ベクト
ルを各カテゴリごとに加算しカテゴリ類似度を算出し、
カテゴリ選択部に出力する。
【００３４】カテゴリ選択部は前記カテゴリ類似度の大
きい方から少なくとも２つのカテゴリ類似度とそのカテ
ゴリを選択し、リジェクトしきい値決定部、リジェクト
判定部に出力し、前記選択されたカテゴリ類似度の中で
最も大きいカテゴリ類似度のカテゴリを前記入力パター
ン信号の識別結果として学習制御部に出力する。
【００３５】リジェクトしきい値決定部では、前記第１
の群選択部で選択された群帰属度と前記カテゴリ選択部
で選択されたカテゴリ類似度とそのカテゴリに応じてリ
ジェクトしきい値を決定し、リジェクトしきい値制御部
に出力する。このリジェクトしきい値制御部では、前記
リジェクトしきい値に応じてリジェクト判定部を制御す
る。
【００３６】リジェクト判定部では、前記選択されたカ
テゴリ類似度の大きい方から２番目のカテゴリ類似度の
最も大きいカテゴリ類似度に対する比を求め、前記リジ
ェクトしきい値以上の場合はリジェクト信号を出力し、
前記リジェクトしきい値未満の場合は前記入力パターン
信号の認識結果として前記カテゴリ類似度の最も大きい
カテゴリを出力する。
【００３７】また、リジェクトしきい値をカテゴリ群内
の各カテゴリの類似の度合などの特性を利用し適応させ
て決定することで、境界に近い入力パターンの誤認識を
効果的にリジェクトし、または正解であるのにリジェク
トされるものを減少させることができ、効果的なリジェ
クトができる。
【００３８】学習制御部は、第１の教師信号発生部から
出力される入力パターンのカテゴリ番号(教師信号)と前
記カテゴリ選択部で選択された識別結果を比較し、比較
結果が等しい場合は、各細分類部の荷重更新を行わずに
次の入力パターンの学習を行い、比較結果が異なる場合
には、各細分類部の荷重値が更新されるように制御す
る。
【００３９】荷重値が変更される場合、第２の群選択部
によりカテゴリ情報記憶部に記憶されたカテゴリ情報に
より入力パターンのカテゴリが存在する細分類部の中で
群帰属度の大きい方から少なくとも１つの群帰属度が選
択され荷重変更量制御部に出力される。
【００４０】荷重変更量制御部は、前記選択された群帰
属度に応じて対応する類似度算出部における伝達量変更
部のビットシフト量を変えることにより荷重変更量値を
制御するので、入力パターンのカテゴリ群に対する帰属
度を用いながら各細分類部が協調して学習され、カテゴ
リ群の境界に位置するパターンが精度良く学習でき認識
率が向上する。
【００４１】また、類似度算出部を構成する各階層の単
位認識ユニットの信号入力部に入力パターン信号の各種
一連の特徴データを入力すると、学習モードでは、各階
層の単位認識ユニットは、量子化層の出力に応じてネッ
トワークのより下層に位置する単位認識ユニットとの結
合経路を切り換え、最下層までの選択経路を決定するこ
とにより最下層の第３の単位認識ユニットの出力を算出
し、最下層の前層の第２の単位認識ユニットの経路入力
端子に入力された値を、伝達量変更部で変更した値に応
じて、経路入力端子と量子化器の出力値が指し示す経路
出力端子との連結強度を学習器によって増加させるだけ
で学習が行えるので、全ての層の荷重値を変更する必要
がなく、高速学習できる。
【００４２】また、本発明の第２の手段は、第１の手段
と同様にして、入力パターン信号の識別結果がカテゴリ
選択部から出力され、教師信号との比較結果が異なる場
合には、第２の群選択部により、カテゴリ情報記憶部に
記憶されたカテゴリ情報により入力パターン信号のカテ
ゴリが存在する細分類部の中で群帰属度の大きい方から
少なくとも１つの群帰属度が選択され学習強度制御部に
出力される。学習強度制御部は、前記選択された群帰属
度に応じて対応する類似度算出部の学習強度を変更する
ので、入力パターン信号のカテゴリ群に対する群帰属度
を用いながら各細分類部が協調して学習されるので、カ
テゴリ群の境界に位置するパターンが精度よく学習でき
認識率が向上する。
【００４３】また第１の手段と同様にして、リジェクト
しきい値をカテゴリ群内の各カテゴリの類似の度合など
の特性を利用し適応させて決定することで、境界に近い
入力パターン信号の誤認識を効果的にリジェクトし、ま
たは正解であるのにリジェクトされるものを減少させる
ことができ、効率的なリジェクトができる。
【００４４】また、本発明の第３の手段は、未学習パタ
ーンが入力されると、上記と同様にして、前記入力パタ
ーン信号の認識結果がリジェクト判定部から出力され、
認識結果表示部に表示される。教師信号とその認識結果
が異なるとき、正解入力部から正解が入力されると、第
２の教師信号発生部は入力パターン信号のカテゴリ番号
を教師信号として類似度算出部に出力し、第１の手段と
同様にして第２の群選択部で選択された細分類部の荷重
値を更新するので、未学習パターンの追加学習ができ
る。
【００４５】また、上記のように追加学習パターンに関
連ある細分類部のみ、重み係数が更新されるので、追加
学習が学習認識判断装置全体に影響を与えにくく、学習
済みデータの認識性能に影響が出にくい追加学習ができ
る。
【００４６】また第１の手段と同様にして、リジェクト
しきい値をカテゴリ群内の各カテゴリの類似の度合など
の特性を利用して適応し決定させることで、境界に近い
入力パターン信号の誤認識を効果的にリジェクトし、ま
たは正解であるのにリジェクトされるものを減少させる
ことができ、効果的なリジェクトができる。
【００４７】
【実施例】以下、本発明の各実施例について図面を参照
して説明する。
【００４８】一般に学習型認識判断装置に入力されるパ
ターンデータとしては、音声等の時系列パターン、文
字，画像等の空間パターン等などがあるが、本実施例に
おいては、いずれのパターンデータでも構わない。
【００４９】図１は本発明の第１の実施例における学習
型認識判断装置の構成を示すブロック図である。図１に
おいて、６は群辞書であり、入力パターン信号Ｘの類似
パターンの集合から成るカテゴリ群を代表する群参照用
パターン信号が複数個記憶されているものである。７は
ファジィ大分類部であり、前記群辞書６に記憶されてい
る群参照用パターン信号を用いて、入力パターン信号が
各カテゴリ群に属する度合である群帰属度を計算するも
のである。８は細分類部であり、入力パターン信号がカ
テゴリ群内に含まれる各カテゴリに類似する度合である
群内類似度を計算する類似度算出部81と、後述する第２
の群選択部10の出力に応じて前記類似度算出部81の荷重
変更量を制御する荷重変更量制御部82からなる。９は第
１の群選択部であり、群帰属度から複数個のカテゴリ群
を選択するものである。
【００５０】前出の第２の群選択部10は後述するカテゴ
リ情報記憶部18に記憶されているカテゴリ情報により入
力パターン信号のカテゴリが存在する細分類部の中で群
帰属度の大きい方から少なくとも１つの群帰属度を選択
するものである。11は識別信号荷重部であり、前記細分
類部８で得られた群内類似度を第１の群選択部９で選択
されたカテゴリ群の群帰属度により重み付けするもので
ある。この識別信号荷重部11において、11Aは乗算器で
あり、第１の群選択部９で選択されたカテゴリ群の群帰
属度と該帰属度に対応する細分類部８から得られる群内
類似度を乗算するものである。12はカテゴリ類似度算出
部であり、前記乗算器11Aの乗算結果をカテゴリ毎に加
算し、総和(カテゴリ類似度)を計算するものである。
【００５１】13はカテゴリ選択部であり、前記カテゴリ
類似度の大きい方から少なくとも２つのカテゴリ類似度
とそのカテゴリ番号を選択し、またカテゴリ類似度の最
も大きなカテゴリ類似度のカテゴリ番号を前記入力パタ
ーン信号Ｘの識別結果とするものである。14はリジェク
トしきい値決定部であり、前記第１の群選択部９で選択
されたカテゴリ群に応じてリジェクトしきい値を決定す
るものである。15はリジェクトしきい値制御部であり、
該リジェクトしきい値に応じて後述するリジェクト判定
部16の制御を行うものである。前出のリジェクト判定部
16は、前記カテゴリ類似度の大きい方から２番目のカテ
ゴリ類似度の最も大きいカテゴリ類似度に対する比を求
め、前記リジェクトしきい値以上の場合はリジェクト信
号を出力し、前記リジェクトしきい値未満の場合は前記
入力パターン信号の認識結果として前記カテゴリ類似度
の最も大きいカテゴリ番号を出力するものである。
【００５２】17は第１の教師信号発生部であり、前記各
細分類部８の荷重更新時(学習時)に必要な教師信号を発
生するものである。18はカテゴリ情報記憶部で、各細分
類部８に属するカテゴリ情報を記憶してある。19は学習
制御部で、前記カテゴリ選択部13での識別結果と前記第
１の教師信号発生部17から出力される入力パターンのカ
テゴリとの比較結果に応じて、荷重変更量制御部82にお
ける荷重値変更の有無を制御する。
【００５３】図２は、図１のファジィ大分類部７の具体
構成を示すブロック図である。図２において、21は入力
部であり、入力パターン信号Ｘを入力するものである。
22はｒ個の距離計算部であり、群辞書６の全ての群参照
用パターン信号Ｖ1，Ｖ2〜Ｖrと入力パターン信号Ｘと
の距離を計算するものである。23はｒ個の割算器であ
り、距離計算部22の出力の逆数を計算するものである。
24は加算器であり、各々の割算器23の出力の総和を求め
るものである。25はｒ個の乗算器であり、加算器24の出
力と距離計算部22の出力を乗算するものである。26はｒ
個の割算器であり、乗算器25の出力の逆数を計算するも
のである。
【００５４】図３は図１の類似度算出部81における第１
の単位認識ユニットｋの構成例を示すブロック図であ
る。図３において、31は信号入力部で、信号入力端子31
aを介して入力した認識判断の対象となる特徴データを
量子化器32に入力する。この量子化器32は入力された特
徴データを量子化し、量子化したレベルを示す値を経路
荷重部33cと隣接区間選択部34に入力する。隣接区間選
択部34は、前記入力信号(特徴データ)の量子化区間に隣
接する量子化区間を選択し経路荷重部33cに出力する。
【００５５】33a0は経路入力端子、33b1〜33b5は経路出
力端子で、単位認識ユニットを組み合わせてネットワー
クを構成するときに、これらの端子を相互に連結するも
のである。
【００５６】経路荷重部33cは、経路入力部33aと経路出
力部33bとの間を接続する荷重33c1〜33c5と、後述する
荷重テーブル33dに記憶されている荷重値を前記量子化
結果に応じて荷重33c1〜33c5に設定する荷重設定部33c0
とで構成される。
【００５７】荷重テーブル33dには、入力信号の属する
量子化区間に対する荷重値と該隣接量子化区間に対する
荷重値が記憶されており、経路荷重部33cでは、荷重設
定部33c0が、前記量子化結果に基づいて、前記荷重値を
それぞれの量子化区間に対応する位置に設定する。荷重
33c1〜33c5は経路入力部33aから入力された経路信号を
重み付けし、経路出力部33bはこの重み付けした経路信
号を経路出力端子33b1〜33b5に出力する。
【００５８】図４は図１の類似度算出部81におけるネッ
トワ−クの最下層の前層における第２の単位認識ユニッ
トＰの構成例を示すブロック図である。図３に示した第
１の単位認識ユニットｋと同様に、信号入力端子41aを
有する信号入力部41と、量子化器42と、１個の経路入力
端子43a1を有する経路入力部43aと、３個の経路出力端
子43b1〜43b3を有する経路出力部43bと、荷重値変更量
制御信号44aにより経路入力部43aの経路入力端子43a1に
伝達された値をｎビットシフトする伝達量変更部44と、
経路荷重部43cとによって構成されている。
【００５９】経路荷重部43cの荷重43c1〜43c3は経路出
力部43bの経路出力端子43b1〜43b3に出力する経路出力
信号に加える重みで、荷重変更処理過程においては、学
習器43c0により、伝達量変更部44の出力値に応じて経路
入力端子43a1と量子化器42の出力値が指し示す経路出力
端子43b1〜43b3との荷重が更新される。フォワード処理
過程においては、量子化器42には信号が入力されず、荷
重43c1〜43c3は伝達量変更部44から出力された信号を重
み付けし、経路出力部43bはこの重み付けした経路信号
を経路出力端子43b1〜43b3に出力する。
【００６０】図５は図１の類似度算出部81におけるネッ
トワ−クの最下層における第３の単位認識ユニットｑの
構成例を示すブロック図である。図５において、53a0は
複数の経路入力端子53a1〜53a50からの入力信号を加算
する加算器、53b0は経路信号をしきい値処理するしきい
値処理器である。
【００６１】図６は、前記図３ないし図５の第１ないし
第３の単位認識ユニットｋ，ｐ，ｑからなる図１の類似
度算出部８の構成例を示すブロック図である。
【００６２】本構成例では、２個からなる２種類の特徴
データ(第１特徴データ、第２特徴データ)に基づき、３
種類のカテゴリを認識するもので、単位認識ユニットを
複数個組み合わせて、２個の木分岐構造を有し、１つの
木分岐構造中に４層の階層を有するようにネットワーク
を構成してある。第１層、第２層を構成している単位認
識ユニットk11〜k12，k21〜k30は、例えば、図３に示し
た第１の単位認識ユニットｋを用い、第３層を構成して
いる単位認識ユニットp31〜p350は、例えば、図４に示
した第２の単位認識ユニットｐを用い、第４層を構成し
ている単位認識ユニットq41，q42，q43は、図５に示し
た第３の単位認識ユニットｑを用いている。
【００６３】各木分岐構造中の１、２層目を構成する第
１の単位認識ユニットｋの信号入力端子62，63には、判
断すべき第１，第２の特徴データを入力し、３層目を構
成する第２の単位認識ユニットｐの信号入力端子64に
は、荷重変更処理過程のみ入力データの教師信号を入力
する。
【００６４】60は、荷重変更及びフォワード処理モード
信号を出力することにより、動作モードを切り換える動
作モード選択部、61は、第１の教師信号発生部17から出
力される教師信号を、それに対応する最終層の単位認識
ユニットｑの番号に変換する教師信号変換部である。
【００６５】以上のように構成された本実施例の動作を
説明する。
【００６６】認識対象物のｎ個の特徴データからなる入
力パターン信号Ｘを(数７)で表す。
【００６７】
【数７】Ｘ＝（ｘ1，ｘ2，…，ｘn） この入力パターン信号Ｘは、まず、ファジィ大分類部７
に入力される。このファジィ大分類部７では、図２に示
す入力部21が入力パターン信号Ｘを入力し、ｒ個の距離
計算部22へ入力パターン信号Ｘを出力する。各々の距離
計算部22は、群辞書６に記憶されている各カテゴリ群を
代表する群参照用パターン信号Ｖi(１≦ｉ≦ｒ；ｒは群
参照用パターン信号の数、即ち、カテゴリ群数)を読み
出し、(数８)によりＸとＶiの距離ｄiを計算し、各々対
応するｒ個の割算器23、及び乗算器25へ出力する。
【００６８】
【数８】
【００６９】但し、ｆはｆ＞１を満たす実数とする。
【００７０】各々の割算器23は、距離ｄiの逆数を計算
し、その出力を加算器24へ出力する。加算器24は、全て
の割算器23の出力の総和を計算し、その出力をｒ個の乗
算器25へ出力する。各々の乗算器25では、対応する距離
計算部22と加算器24の出力を乗算し、その出力を対応す
る割算器26に入力する。各々の割算器26では、対応する
乗算器25の出力の逆数を計算する。最終的にファジィ大
分類部７では、この各割算器26の出力が入力パターン信
号Ｘに対する各カテゴリ群の群帰属度μi(１≦ｉ≦ｒ)
として、第１の群選択部９に出力される。つまり、各カ
テゴリ群の群帰属度μi(１≦ｉ≦ｒ)は、(数９)で表さ
れる。
【００７１】
【数９】
【００７２】なお、群辞書６に記憶されている各カテゴ
リ群を代表する群参照用パターン信号は、予め、従来の
クラスタリング手法、例えば、電子情報通信学会編 長
尾真著「パターン情報処理」(コロナ社)に示されている
Ｋ平均アルゴリズム、及びIsodataアルゴリズムや、Y.L
inde, A.Buzo, and R.M.Gray による"An Algorithmfor
Vector Quantizer design," IEEE Trans. Commun.,COM-
28, 1, pp.84-95,Jan.1980 に示されているＬＢＧアル
ゴリズムを用いて設定される。
【００７３】以下、Ｋ平均アルゴリズムを用いて群辞書
６を設定する方法について簡単に説明する。
【００７４】(1)認識対象物の群辞書設計用のパターン
信号の集合から、ｒ個(但し、ｒは予め定められたカテ
ゴリ群数)のパターン信号を適切に選び、これらをｒ個
の群参照用パターン信号Ｖi(１≦ｉ≦ｒ)とする。
【００７５】(2)全ての群辞書設計用のパターン信号Ｘ
について、それぞれ、(数10)に示される距離ｄiを最小
にするＶｉを求める。
【００７６】
【数１０】ｄi＝‖Ｘ−Ｖi‖ このとき、Ｘはカテゴリ群Ｓi(１≦ｉ≦ｒ)に属するも
のとする。
【００７７】(3)各Ｓiに属するパターン信号Ｘの平均値
を求め、これをＶi′とする。
【００７８】(4)Ｖi′＝Ｖiが全てのｉについて成立す
れば、このときの群参照用パターン信号Ｖiを群辞書６
に記憶する。そうでなければ、Ｖi′を新たな群参照用
パターン信号Ｖiとして、(2)に戻る。
【００７９】このようにして、群参照用パターン信号を
設定することによって、全てのパターン信号はいくつか
の類似したパターン信号の部分集合(カテゴリ群)に分割
することができる。なお、Isodataアルゴリズム及び、
ＬＢＧアルゴリズムもこのＫ平均アルゴリズムと基本的
にはほぼ同じ手法である。
【００８０】次に図１に戻り、第１の群選択部９では、
ファジィ大分類部７で得られた群帰属度μiの大きい順
に複数個のカテゴリ群を選び(選択された群帰属度以外
は“0”とする)識別信号荷重部11へ出力する。なお、カ
テゴリ群の選択方法としては、あるしきい値以上の群帰
属度をもつカテゴリ群を選択するとしてもよい。
【００８１】第１の群選択部９で選択されたカテゴリ群
に対応する各々の細分類部８の類似度算出部81では、以
下のようにして類似度を算出する。
【００８２】ここでは、入力パターン信号が、第１特徴
データ(２次元)と第２特徴データ(２次元)から構成され
る４次元ベクトルデータで、３種類のカテゴリに分類す
る場合を例に類似度算出部81の動作を説明する。
【００８３】図６に示す各類似度算出部81の各木分岐構
造の第１層目の単位認識ユニットk11〜k12の経路入力端
子への経路信号として、常に“１”を与えておく。ま
た、信号入力端子62，63には判断すべき第１，第２の特
徴データが入力され、信号入力端子64には荷重変更処理
過程のみ入力データの教師信号が入力される。
【００８４】まず、動作モード選択部60からフォワード
処理モード信号が教師信号変換部61に出力される。入力
パターン信号が、第１特徴データと第２特徴データに分
割されそれぞれ第１層目、第２層目の単位認識ユニット
ｋの図３に示す信号入力端子31aに入力される。
【００８５】第１層目の各単位認識ユニットk11，k12
は、第１特徴デ−タを信号入力部31を介して量子化器32
で量子化し、量子化結果を荷重設定部33c0及び、隣接区
間選択部34に出力する。隣接区間選択部34は、前記入力
信号(特徴データ)の量子化区間に隣接する量子化区間を
選択し、経路荷重部33cに出力する。荷重設定部33c
0は、予め設定されている入力データに対応する前記荷
重値並びに、隣接区間の荷重値を荷重テーブル33dから
読み出し、対応する量子化レベル位置に設定する。この
ように１つの単位認識ユニットにおいて複数の経路が選
択され、図６の第２層目の単位認識ユニットk21〜k30の
経路入力端子へ、経路信号と前記荷重値を掛けた値が送
られる。
【００８６】第２層目の単位認識ユニットの信号入力端
子63には、前記第２特徴デ−タを入力する(この図の場
合には、２個の第２特徴デ−タを、それぞれk21〜k25、
k26〜k30に入力する)。第１層目の場合と同様にして複
数の経路信号が選択され、第３層目の単位認識ユニット
p31〜p350の経路入力端子へ、経路信号と前記荷重の値
を掛けた値が送られる。
【００８７】フォワード処理モードの場合、第３層の単
位認識ユニットp31〜p350の信号入力端子には、教師入
力信号は入力されない。従って、荷重の変更は行われ
ず、学習時の荷重の状態が保持されており、各単位認識
ユニットの経路入力信号にこれらの荷重を乗じて、第４
層目の全単位認識ユニットｑの経路入力端子へ、経路信
号が送られる。
【００８８】次に図５に示す第４層目の各単位認識ユニ
ットｑの加算器53a0は、入力された経路信号を加算す
る。しきい値処理器53b0は、この信号をしきい値処理
し、経路出力端子53b1に出力する。ここで、しきい値処
理をする関数としては、シグモイド関数、ステップ関数
等を用いることができる。
【００８９】このようにして、入力したパターン信号の
特徴デ−タに基づき、その時点の荷重値による最終層の
単位認識ユニットの出力が計算される。この出力値が入
力パターン信号Ｘに対する各カテゴリの群内類似度ベク
トルとして図１の識別信号荷重部11に出力される。
【００９０】識別信号荷重部11では、まず、乗算器11A
が、第１の群選択部９で選択されたカテゴリ群の群帰属
度μiと、そのカテゴリ群に対応する細分類部８から得
られる群内類似度ベクトル（ν1，ν2，…，νc）を乗
算し、それらの出力をカテゴリ類似度算出部12に出力す
る。つまり、乗算器11Aは、(群参照用パターン信号の数
×各細分類部におけるカテゴリ参照用パターン信号数の
総和)個用意されており、第１の群選択部９で選択され
たあるカテゴリ群ｐの群帰属度μp(１≦ｐ≦ｒ；ｒはカ
テゴリ群の数)とそのカテゴリ群ｐに対応する細分類部
８から得られたあるカテゴリ群ｑの群内類似度νpq(１
≦ｑ≦ｃ；ｃはカテゴリ群に属するカテゴリ数)が入力
される乗算器11Aの出力値ξpqは、(数11)で表される。
【００９１】
【数１１】ξpq＝μp・νpq カテゴリ類似度算出部12では、全ての乗算器11Aの出力
値を、各カテゴリ毎にこれらの選択された出力値の総和
をカテゴリ類似度ｒs(１≦ｓ≦ＮＣ；ＮＣはカテゴリの
数)として求め、カテゴリ選択部13に出力する。カテゴ
リ選択部13では、前記カテゴリ類似度中で最大となる類
似度に対応するカテゴリ番号を識別結果として学習制御
部19に出力する。
【００９２】第１の教師信号発生部17は、入力パターン
信号Ｘに同期して、この入力パターン信号Ｘのカテゴリ
に対応するカテゴリ番号を生成し、学習制御部19と細分
類部８の類似度算出部81に出力する。
【００９３】学習制御部19は、上記のようにして算出さ
れた入力パターン信号Ｘに対する識別結果と入力パター
ン信号Ｘのカテゴリを比較し、比較結果が等しい場合
は、各細分類部８の荷重更新を行わずに次の入力パター
ンの学習を行い、比較結果が異なる場合には、各細分類
部８の荷重値が更新されるように制御する。
【００９４】荷重値が変更される場合、第２の群選択部
10は、カテゴリ情報記憶部18に記憶されたカテゴリ情報
により入力パターンのカテゴリが存在する細分類部８の
中で群帰属度の大きい方から複数のカテゴリ群を選び、
荷重変更量制御部82に出力する。
【００９５】荷重変更量制御部82は、該選択された群帰
属度に応じて対応する類似度算出部81の荷重値を以下の
ように更新する。すなわち、図６に示す動作モード選択
部60から荷重変更処理モード信号が教師信号変換部61に
出力される。教師信号変換部61は、第１の教師信号発生
部17から出力されるカテゴリ番号を上記選択されたカテ
ゴリ群内での最終層の単位認識ユニットの番号、即ち、
q41，q42，q43のどれが最も大きい値を出力することが
望ましいかを示す信号に変換し、第３層目の単位認識ユ
ニットｑの図４に示す信号入力端子41aに出力する。ま
た、図６に示す単位認識ユニットp31〜p350の図４に示
す量子化器42は、例えばq41が最も大きい出力をする場
合には、量子化レベル値が単位認識ユニットq41につな
がる経路に対応する値となるように設定されている。
【００９６】荷重変更量制御部82は、上記選択された群
帰属度の値に応じて、図４に示す伝達量変更部44のビッ
トシフト量を変更する。例えば第２の群選択部10で選択
された細分類部８の中で、群帰属度が最大の細分類部の
ビットシフト量は０で、２番目の細分類部のビットシフ
ト量は１といった具合にビットシフト量を変更する。
【００９７】学習器43c0は、前記経路入力部43aの経路
入力端子43a1と量子化器42の出力が示す経路出力部43b
の経路出力端子(ここでは、単位認識ユニットq41につな
がる経路43b1)との連結強度である荷重43c1を伝達量変
更部44から出力された値だけ増加させる。
【００９８】このようにして、全ての入力データについ
て、カテゴリ選択部13の識別結果と第１の教師信号発生
部17から出力される教師信号が一致するまで以上の学習
動作を繰り返すことにより、本実施例の学習型認識判断
装置は入力パターンに対する認識が可能となる。
【００９９】次に本実施例の学習型認識判断装置の認識
動作時の動作について説明する。カテゴリ類似度算出部
12までの動作は前述の学習動作のフォワード処理と同様
であるので省略する。図１のカテゴリ選択部13はカテゴ
リ類似度の大きい方から少なくとも２つのカテゴリ類似
度とそのカテゴリ番号を選択し、リジェクトしきい値決
定部14、リジェクト判定部16に出力し、該カテゴリ類似
度の最も大きいカテゴリ類似度のカテゴリを前記入力パ
ターン信号の識別結果として学習制御部19に出力する。
リジェクトしきい値決定部14では、前記第１の群選択部
９で選択されたカテゴリ群に応じてリジェクトしきい値
を決定し、これをリジェクトしきい値制御部15に出力す
る。例えば、互いに類似度の高いカテゴリを含むカテゴ
リ群が選択された場合はリジェクトしきい値を大きくし
てリジェクトしやすくする。
【０１００】リジェクトしきい値制御部15では、前記リ
ジェクトしきい値に応じてリジェクト判定部16を制御す
る。リジェクト判定部16では、前記カテゴリ類似度の大
きい方から２番目のカテゴリ類似度の最も大きいカテゴ
リ類似度に対する比を求め、前記リジェクトしきい値以
上の場合は認識不可であることを表すリジェクト信号を
出力し、前記リジェクトしきい値未満の場合は前記入力
パターン信号の認識結果として前記カテゴリ類似度の最
も大きいカテゴリ類似度に対応するカテゴリ番号を出力
する。
【０１０１】以上のように本実施例によれば、入力パタ
ーン信号に対する識別結果が誤っている場合、そのパタ
ーンの帰属度が大きい複数のカテゴリ群を第２の群選択
部10が選択し、それらに対応する細分類部８が、その入
力パターンがそれぞれのカテゴリ群に属する帰属度を用
いて荷重変更量を調整しながら協調して学習するので、
カテゴリ群の境界に位置するパターンを精度良く学習で
き認識率も向上する。
【０１０２】また、類似度算出部81における荷重変更処
理課程では、３層目の第２の単位認識ユニットｐの荷重
値のみを学習器43c0(図４)によって伝達量変更部から出
力された値だけ増加させるだけで学習が行えるので、全
ての層の荷重値を変更する必要がなく高速学習ができ
る。
【０１０３】また、リジェクトしきい値決定部14におい
て入力パターンが帰属するカテゴリ群の特性を活かして
リジェクトしきい値を適応させて決定することにより、
カテゴリ間の境界に位置する入力パターンの誤認識を効
果的に取り除き、かつ正解のリジェクトを減少させるこ
とで効率的なリジェクトができる。
【０１０４】図７は本発明の第２の実施例における学習
型認識判断装置の構成を示すブロック図である。図７に
おいて、前記第１の実施例(図１)と同じ機能のブロック
には、同じ符号を付しその説明を省略する。ここで図１
と異なる構成は、荷重変更量制御部82の代わりに、第２
の群選択10により選択された群帰属度に応じて類似度算
出部81の学習強度を制御する学習強度制御部83を設けた
点である。
【０１０５】図８は、図７の学習強度制御部83の構成例
を示すブロック図である。図８において、831は荷重値
更新回数の基準値を設定する基準荷重値更新回数設定
部、832は該基準荷重値更新回数設定部831から出力され
る荷重値更新回数の基準値と前記第２の群選択部10によ
り選択された群帰属度μiの内対応する群帰属度と前記
基準値を乗算する乗算器、833は該乗算結果に基づいて
類似度算出部81の学習器43c0による荷重更新回数を制御
する荷重更新回数制御部である。
【０１０６】以上のように構成された本実施例の学習型
認識判断装置の動作を説明する。
【０１０７】第１の実施例と同様にして、入力パターン
信号Ｘの識別結果がカテゴリ選択部13から出力され、第
１の教師信号発生部17からの教師信号との比較結果が異
なる場合には、第２の群選択部10により、カテゴリ情報
記憶部18に記憶されたカテゴリ情報により入力パターン
信号のカテゴリが存在する細分類部の中で群帰属度の大
きい方から複数の群帰属度が選択され対応する細分類部
の学習強度制御部83に出力される。各学習強度制御部83
は、図８に示す基準荷重値更新回数設定部831に設定さ
れている荷重値更新回数の基準値と前記群帰属度を乗算
することにより重み付けし、荷重更新回数制御部833に
出力する。荷重更新回数制御部833は、第１の実施例と
同様の荷重更新処理を乗算器832から出力される更新回
数だけ繰り返す。なお、認識動作は第１の実施例と同様
であるので省略する。
【０１０８】以上のように本実施例によれば、入力パタ
ーン信号に対する識別結果が誤っている場合、そのパタ
ーンの帰属度が大きい複数のカテゴリ群を第２の群選択
部10が選択し、それらに対応する細分類部８が、その入
力パターン信号がそれぞれのカテゴリ群に属する帰属度
を用いて荷重更新回数を調整しながら協調して学習する
ので、カテゴリ群の境界に位置する入力パターン信号を
精度良く学習でき認識率も向上する。
【０１０９】また、類似度算出部81における荷重変更処
理過程では、３層目の第２の単位認識ユニットの荷重値
のみを学習器43c0よって伝達量変更部から出力された値
だけ増加させるだけで学習が行えるので、全ての層の荷
重値を変更する必要がなく高速学習が可能である。
【０１１０】また、第１の実施例と同様にリジェクトし
きい値決定部14において入力パターン信号が帰属するカ
テゴリ群の特性を活かしてリジェクトしきい値を決定す
ることにより、カテゴリ間の境界に位置する入力パター
ン信号の誤認識を効果的に取り除き、かつ正解のリジェ
クトを減少させることで効率的なリジェクトが可能にな
る。
【０１１１】図９は本発明の第３の実施例における学習
型認識判断装置の構成を示すブロック図である。図９に
おいて、前記第１の実施例(図１)と同じ機能のブロック
には、同じ符号を付しその説明を省略する。ここで、図
１と異なる構成は、リジェクト判定部16で識別された認
識結果を表示部に出力する認識結果表示部20と、該認識
結果が間違っている場合に正解の認識結果を入力する正
解入力部21と、該入力された正解の認識結果を入力デー
タに対応するカテゴリ番号である教師信号に変換する第
２の教師信号発生部22と、実行モードにより第１の教師
信号発生部17の出力と第２の教師信号発生部22の出力を
切り換える教師信号選択部23を設けた点である。
【０１１２】以上のように構成された本実施例の学習型
認識判断装置の動作を説明する。
【０１１３】学習動作は、第１の実施例と同様であるの
で省略し、追加学習動作について説明する。実行モード
として、追加学習モードが学習制御部19に入力され、追
加学習パターンとして、未学習パターンが入力される
と、第１の実施例と同様にして入力パターン信号Ｘに対
する識別結果がカテゴリ類似度算出部12から出力され、
認識結果表示部20に表示される。その認識結果が入力パ
ターン信号のカテゴリと異なるとき、入力データのカテ
ゴリに対応する正しい認識結果がキーボード等の正解入
力部21から入力されると、第２の教師信号発生部22は、
入力データのカテゴリに対応するカテゴリ番号を教師信
号選択部23に出力する。教師信号選択部23は、実行モー
ドが追加学習モードの場合、第２の教師信号選択部22の
出力を選択し、類似度算出部81に出力する。以後、カテ
ゴリ類似度算出部12から出力される前記追加学習パター
ンの認識結果が、第２の教師信号発生部22の出力と一致
するまで第１の実施例と同様の学習動作が繰り返すこと
により、前記追加学習パターンが認識可能となる。な
お、認識動作は第１の実施例と同様であるので省略す
る。
【０１１４】このように本実施例によれば、未学習パタ
ーンの識別結果が誤っている場合、第２の群選択部10が
入力パターン信号のカテゴリが存在する細分類部８を選
択し、学習が行われるので、未学習パターンの追加学習
が可能になる。また、上記のように追加学習パターンに
関連ある細分類部のみ荷重値が更新されるので、追加学
習が認識判断装置全体に影響を与えにくく、学習済みデ
ータの認識性能に影響がでにくい追加学習ができる。
【０１１５】また、第１の実施例と同様にリジェクトし
きい値決定部14において入力パターン信号が帰属するカ
テゴリ群の特性を活かしてリジェクトしきい値を決定す
ることにより、カテゴリ間の境界に位置する入力パター
ン信号の誤認識を効果的に取り除き、かつ正解のリジェ
クトを減少させることで効率的なリジェクトができる。
【０１１６】
【発明の効果】以上説明したように本発明の学習型認識
判断装置は、入力パターン信号に対する識別結果が誤っ
ている場合、荷重変更量制御部が、第２の群選択部によ
り選択された群帰属度に応じて対応する類似度算出部に
おける伝達量変更部のビットシフト量を変えることによ
り荷重変更量値を制御するので、入力パターン信号のカ
テゴリ群に対する帰属度を用いながら各細分類部が協調
して学習されるので、カテゴリ群の境界に位置する入力
パターン信号が精度よく学習でき認識率が向上する。
【０１１７】また、類似度算出部を構成する各階層の単
位認識ユニットの信号入力部に入力パターン信号の各種
一連の特徴デ−タを入力すると、学習モードでは、各階
層の単位認識ユニットは、量子化器の出力に応じてネッ
トワ−クのより下層に位置する単位認識ユニットとの結
合経路を切り換え、最下層までの選択経路を決定するこ
とにより最下層の第３の単位認識ユニットの出力を算出
し、最下層の前層の第２の単位認識ユニットの経路入力
端子に入力された値を伝達量変更部で変更した値に応じ
て経路入力端子と量子化器の出力値が指し示す経路出力
端子との連結強度を学習器によって増加させるだけで学
習が行えるので、全ての層の荷重値を変更する必要がな
く、高速学習ができる。
【０１１８】また、リジェクトしきい値をカテゴリ群内
の各カテゴリの類似の度合などの特性を利用し適応させ
て決定することで、境界に近い入力パターン信号の誤認
識を効果的にリジェクトし、または正解であるのにリジ
ェクトされるものを減少させることができ、効率的なリ
ジェクトができる。
【０１１９】また、学習強度制御部が、第２の群選択部
により選択された群帰属度に応じて、対応する類似度算
出部の学習強度を変更するので、入力パターン信号のカ
テゴリ群に対する帰属度を用いながら各細分類部が協調
して学習されるので、カテゴリ群の境界に位置するパタ
ーンが精度よく学習でき認識率が向上する。
【０１２０】さらに、未学習パターンが入力され、教師
信号とその識別結果が異なるとき、正解入力部から正解
が入力されると、第２の教師信号発生部は入力パターン
信号のカテゴリ番号を教師信号として類似度算出部に出
力し、第２の群選択部で選択された細分類部の荷重値を
更新するので、未学習パターンの追加学習ができる。
【０１２１】また、上記のように追加学習パターンに関
連ある細分類部のみ、重み係数が更新されるので、追加
学習が認識判断装置全体に影響を与えにくく、学習済み
データの認識性能に影響がでにくい追加学習ができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例における学習型認識判断
装置の構成を示すブロック図である。
【図２】図１のファジィ大分類部の具体構成を示すブロ
ック図である。
【図３】図１の類似度算出部における第１の単位認識ユ
ニットｋの構成を示す図である。
【図４】図１の類似度算出部における第２の単位認識ユ
ニットｐの構成を示す図である。
【図５】図１の類似度算出部における第３の単位認識ユ
ニットｑの構成を示す図である。
【図６】図３ないし図５の第１ないし第３の単位認識ユ
ニットからなる図１の類似度算出部の構成を示すブロッ
ク図である。
【図７】本発明の第２の実施例における学習型認識判断
装置の構成を示すブロック図である。
【図８】図７の学習強度制御部の構成を示すブロック図
である。
【図９】本発明の第３の実施例における学習型認識判断
装置の構成を示すブロック図である。
【図１０】従来の学習型認識判断装置の構成を示すブロ
ック図である。
【符号の説明】
６…群辞書、 ７…ファジィ大分類部、 ８…細分類
部、 ９…第１の群選択部、 10…第２の群選択部、
11…識別信号荷重部、 11A…乗算器、 12…カテゴリ
類似度算出部、 13…カテゴリ選択部、 14…リジェク
トしきい値決定部、15…リジェクトしきい値制御部、
16…リジェクト判定部、 17…第１の教師信号発生部、
18…カテゴリ情報記憶部、 19…学習制御部、 20…
認識結果表示部、 21…正解入力部、 22…第２の教師
信号発生部、 23…教師信号選択部、 81…類似度算出
部、 82…荷重変更量制御部、 83…学習強度制御部。

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 類似パターンの集合から成るカテゴリ群
    を代表する群参照用パターン信号が複数個記憶されてい
    る群辞書と、前記群参照用パターン信号を用いて入力パ
    ターン信号が各カテゴリ群に属する度合である群帰属度
    を計算するファジィ大分類部と、前記入力パターン信号
    がカテゴリ群内に含まれる各カテゴリに類似する度合で
    ある群内類似度を計算する類似度算出部と第２の群選択
    部の出力に応じて前記類似度算出部の伝達量変更部のビ
    ットシフト量を制御する荷重変更量制御部とからなる複
    数個の細分類部と、前記群帰属度から少なくとも１つの
    カテゴリ群を選択する第１の群選択部と、前記細分類部
    で得られた群内類似度を前記選択された群帰属度により
    重み付けする識別信号荷重部と、前記識別信号荷重部の
    出力から各カテゴリに属する度合であるカテゴリ類似度
    の算出を行うカテゴリ類似度算出部と、前記算出された
    カテゴリ類似度の大きい方から少なくとも２つのカテゴ
    リ類似度とそのカテゴリを選択するカテゴリ選択部と、
    前記第１の群選択部で選択された群帰属度と前記カテゴ
    リ選択部の出力からリジェクトしきい値を決定するリジ
    ェクトしきい値決定部と、前記リジェクトしきい値決定
    部で決定されるリジェクトしきい値に応じてリジェクト
    判定部の制御を行うリジェクトしきい値制御部と、前記
    リジェクトしきい値制御部の出力に応じてリジェクトし
    きい値と前記カテゴリ選択部から出力される大きい方か
    ら２つのカテゴリ類似度の比との比較結果に応じて入力
    パターン信号の認識結果または認識不可であることを表
    すリジェクト信号を出力するリジェクト判定部と、前記
    細分類部の学習に必要な教師信号を発生する第１の教師
    信号発生部と、前記細分類部に属するカテゴリ情報を記
    憶したカテゴリ情報記憶部と、前記カテゴリ情報により
    入力パターン信号のカテゴリが存在する細分類部の中で
    群帰属度の大きい方から少なくとも１つの群帰属度を選
    択する第２の群選択部と、前記カテゴリ選択部で選択さ
    れたカテゴリと前記第１の教師信号発生部から出力され
    る入力パターン信号のカテゴリとの比較結果に応じて前
    記細分類部の学習を制御する学習制御部とを有する学習
    型認識判断装置において、 前記細分類部における前記類似度算出部は、複数の階層
    からなり最下層を複数の第３の単位認識ユニット、最下
    層の前層を複数の第２の単位認識ユニット、それ以外の
    層を複数の第１の単位認識ユニットにより構成され、 前記第１の単位認識ユニットは、 信号入力部と、入力信号の出力に応じて量子化を行う量
    子化器と、前記入力信号の量子化結果から量子化区間に
    隣接する量子化区間を選択する隣接区間選択部と、前記
    入力信号の属する量子化区間並びに該量子化区間に隣接
    する量子化区間に対する荷重値を記憶する荷重テーブル
    と、単一または複数の経路入力端子を有する経路入力部
    と、単一または複数の経路出力端子を有する経路出力部
    と、量子化結果に応じて経路にかける荷重の設定位置を
    変えることで前記経路入力部の経路入力端子と前記経路
    出力部の経路出力端子との連結強度を変化させる経路荷
    重部とを有し、 前記第２の単位認識ユニットは、 信号入力部と、前記入力信号の出力に応じて量子化を行
    う量子化器と、単一または複数の経路入力端子を有する
    経路入力部と、単一または複数の経路出力端子を有する
    経路出力部と、前記経路入力部の経路入力端子に伝達さ
    れた値をｎビットシフトする伝達量変更部と、前記伝達
    量変更部の出力に応じて前記経路入力端子と前記量子化
    器の出力値が指し示す経路出力部の経路出力端子との連
    結強度を増加する学習器とを有し、 前記第３の単位認識ユニットは、 複数の経路入力端子からの入力信号を加算する加算器
    と、前記加算器の出力信号をしきい値処理するしきい値
    処理器とを有することを特徴とする学習型認識判断装
    置。
  2. 【請求項２】 前記細分類部の荷重変更量制御部に代え
    て、前記第２の群選択部の出力に応じて類似度算出部の
    学習強度を変更する学習強度制御部を有することを特徴
    とする請求項１記載の学習型認識判断装置。
  3. 【請求項３】 前記学習強度制御部は、前記第２の群選
    択部の出力に応じて対応する細分類部の学習回数を変更
    することを特徴とする請求項２記載の学習型認識判断装
    置。
  4. 【請求項４】 前記リジェクト判定部で識別された認識
    結果を表示部に出力する認識結果表示部と、該認識結果
    が間違っている場合に正解の認識結果を入力する正解入
    力部と、該入力された正解の認識結果を入力データに対
    応するカテゴリ番号である教師信号に変換する第２の教
    師信号発生部と、前記第１の教師信号発生部の出力と第
    ２の教師信号発生部の出力のいずれか１つを選択する教
    師信号選択部を有することを特徴とする請求項１または
    ２記載の学習型認識判断装置。
  5. 【請求項５】 前記ファジィ大分類部は、入力パターン
    信号と群辞書に記憶されている全ての群参照用パターン
    信号との距離を計算する複数個の距離計算部と、前記距
    離計算部の出力の逆数を計算する複数個の割算器と、前
    記割算器の各出力を加算する加算器と、前記加算器の出
    力と前記距離計算部の出力を乗算する複数個の乗算器
    と、前記乗算器の出力の逆数を計算する複数個の割算器
    を有することを特徴とする請求項１，２または４記載の
    学習型認識判断装置。
  6. 【請求項６】 前記類似度算出部は、前記第１の教師信
    号発生部の出力を該細分類部の中で最も大きな値を出力
    することが望ましい第３の単位認識ユニットの番号に変
    換する教師信号変換部を有し、最下層の前層に位置する
    第２の単位認識ユニットの信号入力部に前記教師信号変
    換部の出力を入力するようにしたことを特徴とする請求
    項１または２記載の学習型認識判断装置。
  7. 【請求項７】 前記類似度算出部は、教師信号選択部の
    出力を該細分類部の中で最も大きな値を出力することが
    望ましい第３の単位認識ユニットの番号に変換する教師
    信号変換部を有し、最下層の前層に位置する第２の単位
    認識ユニットの信号入力部に前記教師信号変換部の出力
    を入力するようにしたことを特徴とする請求項４記載の
    学習型認識判断装置。
  8. 【請求項８】 リジェクトしきい値決定部は、前記カテ
    ゴリ選択部で選択されたカテゴリに応じてリジェクトし
    きい値を決定することを特徴とする請求項１，２または
    ４記載の学習型認識判断装置。
  9. 【請求項９】 リジェクトしきい値決定部は、前記第１
    の群選択部で選択されたカテゴリ群に応じてリジェクト
    しきい値を決定することを特徴とする請求項１，２また
    は４記載の学習型認識判断装置。
  10. 【請求項１０】 リジェクトしきい値決定部は、前記カ
    テゴリ選択部で選択されたカテゴリと前記第１の群選択
    部で選択されたカテゴリ群に応じてリジェクトしきい値
    を決定することを特徴とする請求項１，２または４記載
    の学習型認識判断装置。
JP7243368A 1995-06-21 1995-09-21 学習型認識判断装置 Pending JPH0991266A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP7243368A JPH0991266A (ja) 1995-09-21 1995-09-21 学習型認識判断装置
US08/668,588 US5966701A (en) 1995-06-21 1996-06-19 Recognition and judgement apparatus having various learning functions
EP96304575A EP0750263B1 (en) 1995-06-21 1996-06-20 Recognition and judgement apparatus having various learning functions
DE69606468T DE69606468T2 (de) 1995-06-21 1996-06-20 Erkennungs- und Beurteilungsgerät mit verschiedenen Lernfunktionen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7243368A JPH0991266A (ja) 1995-09-21 1995-09-21 学習型認識判断装置

Publications (1)

Publication Number Publication Date
JPH0991266A true JPH0991266A (ja) 1997-04-04

Family

ID=17102810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7243368A Pending JPH0991266A (ja) 1995-06-21 1995-09-21 学習型認識判断装置

Country Status (1)

Country Link
JP (1) JPH0991266A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610550A (zh) * 2017-09-12 2018-01-19 北京银河润泰科技有限公司 在线课堂的实现方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610550A (zh) * 2017-09-12 2018-01-19 北京银河润泰科技有限公司 在线课堂的实现方法及装置

Similar Documents

Publication Publication Date Title
US5479570A (en) Learning and recognition machine
Jantzen Neurofuzzy modelling
US5546503A (en) Apparatus for configuring neural network and pattern recognition apparatus using neural network
Meybodi et al. New learning automata based algorithms for adaptation of backpropagation algorithm parameters
US5485547A (en) Recognition unit and recognizing and judging apparatus employing same
US5845051A (en) Learning method for multilayer perceptron neural network with N-bit data representation
US5274744A (en) Neural network for performing a relaxation process
US5966701A (en) Recognition and judgement apparatus having various learning functions
JPH04213750A (ja) 層化されたニューラル・ネットワークでの分類方法
JP3043539B2 (ja) ニューラル・ネットワーク
JP3337597B2 (ja) 学習型認識判断装置
JPH0991266A (ja) 学習型認識判断装置
Kulkarni Neural-fuzzy models for multispectral image analysis
JP2779119B2 (ja) 学習認識装置
JP3344873B2 (ja) 学習型認識判断装置
JPH10187651A (ja) 学習型認識判断装置
JP2924442B2 (ja) パターン認識装置
EP0520446B1 (en) Recognizing and judging apparatus
JP2001142867A (ja) 学習型認識判断装置
JP2574517B2 (ja) パターン認識装置
JPH09305566A (ja) 学習型認識判断装置
JP3392612B2 (ja) 学習型認識判断装置
JP3440187B2 (ja) 光学的文字読取装置
CN114676831A (zh) 基于时间编码的低功耗脉冲神经网络片上学习系统
JP2000122991A (ja) 制御装置の製造方法、制御装置、データ生成装置、入出力特性決定方法及び相関関係評価方法