JPH07219922A

JPH07219922A - パターン認識装置の学習装置

Info

Publication number: JPH07219922A
Application number: JP6030850A
Authority: JP
Inventors: Koji Suzuki; 耕二鈴木
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1994-02-03
Filing date: 1994-02-03
Publication date: 1995-08-18

Abstract

(57)【要約】【目的】誤認識を防止し、十分な認識率を得るような
学習ができるようにすること。【構成】参照ベクトルを用いて識別を行う層状フィー
ドフォワード型ニューラルネットワークを用いたパター
ン認識装置の学習装置において、参照ベクトルを保持す
るニューロンの発火を制御するための閾値を、ニューラ
ルネットワークの学習中に与えられる学習パターンとそ
れに対応する教師信号に基づいて、参照ベクトルと学習
パターンとが異なるカテゴリーに属するときに前記ニュ
ーロンが発火しないように調整する閾値調整手段１７を
具備したことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワーク
を用いたパターン認識装置に関し、とくにその学習装置
に関する。

【０００２】

【従来の技術】ニューラルネットワークを用いたパター
ン認識装置を実現する方法としてＬＶＱ（Ｌｅａｒｎｉ
ｎｇＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ）がし
ばしば取上げられる（Ｔ．Ｋｏｈｏｎｅｎ，Ｇ．Ｂａ
ｒａｎａａｎｄＲ．Ｃｈｒｉｓｌｅｙ；ＩＥＥ
Ｅ，Ｐｒｏｃ．ｏｆＩＣＮＮ，Ｖｏｌ．１，
ｐｐ．６１−６８，Ｊｕｌｙ，１９８８．）。ＬＶ
Ｑではカテゴリを代表する参照ベクトルを保持した処理
ユニット（ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）が基本
単位とされる。ＰｒｏｃｅｓｓｉｎｇＵｎｉｔの持つ
参照ベクトルの更新、すなわち学習は次のように行われ
る。ＰｒｏｃｅｓｓｉｎｇＵｎｉｔｉがもつ参照ベ
クトルをｍ_iとする。学習において時間は離散時間と
し、時刻ｔにおける入力パターンをｘ（ｔ）とし、ｃを
ｘ（ｔ）に最も近い参照ベクトルをもったＰｒｏｃｅｓ
ｓｉｎｇＵｎｉｔとする。このとき、学習において各
ＰｒｏｃｅｓｓｉｎｇＵｎｉｔでは以下のように参照
ベクトルを更新する。・ｘとＵｎｉｔｃが同じカテゴリーに属する場合ｍ_c（ｔ＋１）＝ｍ_c（ｔ）＋α（ｔ）（ｘ（ｔ）−ｍ_c
（ｔ））・ｘとＵｎｉｔｃが異なるカテゴリーに属する場合ｍ_c（ｔ＋１）＝ｍ_c（ｔ）−α（ｔ）（ｘ（ｔ）−ｍ_c
（ｔ））・ｉ≠ｃのＰｒｏｃｅｓｓｉｎｇＵｎｉｔにおいてｍ_c（ｔ＋１）＝ｍ_c（ｔ）ここで全時刻を通じて０＜α（ｔ）＜１で、α（ｔ）は
時間とともに単調に減少する関数とする。

【０００３】図９に従来の参照ベクトルを用いたニュー
ラルネットワークの学習における各手段間の関係を表し
た構成図を示す。ニューラルネットワーク演算部９０に
おいてニューロン出力演算手段９１が、結合荷重記憶手
段９２および閾値記憶手段９３およびパターン入力手段
９４からそれぞれ結合荷重および閾値および入力パター
ンを受けとりニューラルネットワークの出力等を計算す
る。このニューラルネットワーク演算部９０において計
算されるニューラルネットワークの出力等の値、および
教師信号入力手段９５からの教師信号、およびパターン
入力手段９４からの入力パターンを用いて、結合荷重調
整手段９６において結合荷重が修正される。

【０００４】

【発明が解決しようとする課題】しかしながら前記の学
習方法を例えば文字認識などに応用する場合、参照ベク
トルを保持したＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）に対
応するニューロンがその保持している参照ベクトルと異
なるカテゴリーとの間の距離、あるいは類似度等の情報
を保持しないため十分な認識率を得ることができないと
いう問題があった。本発明は、この問題を解決し、ニュ
ーラルネットワークを用いたパターン認識装置の学習装
置において、誤認識を防止し、十分な認識率を得ること
ができるようにすることを目的とする。

【０００５】

【課題を解決するための手段】本発明は、参照ベクトル
を用いて識別を行う層状フィードフォワード型ニューラ
ルネットワークを用いたパターン認識装置の学習装置に
おいて、参照ベクトルを保持するニューロンの発火を制
御するための閾値を、ニューラルネットワークの学習中
に与えられる学習パターンとそれに対応する教師信号に
基づいて、参照ベクトルと学習パターンとが異なるカテ
ゴリーに属するときに前記ニューロンが発火しないよう
に調整する閾値調整手段（図１の１７、図３の３７）を
具備したことを特徴とする。

【０００６】また、本発明は、上記構成のパターン認識
装置の学習装置において、参照ベクトルが属するカテゴ
リーと同じカテゴリーの学習パターンに反応するための
閾値と参照ベクトルが属するカテゴリーと異なるカテゴ
リーの学習パターンに反応するための閾値に関する情報
を記憶する記憶手段（図３の３８，３９）を具備し、前
記閾値調整手段（図３の３７）が、前記同じカテゴリー
の学習パターンに反応するための閾値と前記異なるカテ
ゴリーの学習パターンに反応するための閾値とを別々に
調整して学習を行うことを特徴とする。

【０００７】

【作用】参照ベクトルを保持するニューロンの発火を制
御するための閾値調整手段により、ニューラルネットワ
ークの学習中に参照ベクトルを保持した処理ユニット
（ＰｒｏｃｅｓｓｉｎｇＵｎｉｔに対応するニューロ
ンがその保持している参照ベクトルと異なるカテゴリー
に属するパターンに対して発火しないように閾値を調整
する。このように誤認識を引き起こす異なるカテゴリー
に関する情報に基づいて中間層のニューロンの閾値を調
整するので、本発明は、誤認識を防止し、十分な認識率
を得る学習が可能となる。

【０００８】また、本発明の一態様における前記閾値調
整手段（図３の３７）は、前記同じカテゴリーの学習パ
ターンに反応するための閾値と前記異なるカテゴリーの
学習パターンに反応するための閾値とを別々に調整して
学習を行う。その学習のために前記記憶手段により、参
照ベクトルが属するカテゴリーと同じカテゴリーの学習
パターンに反応するための閾値と参照ベクトルが属する
カテゴリーと異なるカテゴリーの学習パターンに反応す
るための閾値に関する情報を用意しておく。その情報は
たとえば参照ベクトルが属するカテゴリーと同じカテゴ
リーの学習パターンに反応するための閾値と異なるカテ
ゴリーの学習パターンに反応するための閾値との差分情
報として記憶手段により保持させておく。その学習にお
いては、ある学習パターンを入力し、そのカテゴリーと
同じカテゴリーを持つニューロンだけが出力が＋１であ
った（発火した）とき（図４のステップ４０２でＹＥＳ
のとき）には、さらにそのニューロンに対してその閾
値に前記差分情報を加えてみて再度ニューロン出力計算
を行う（図４のステップ４０３）。その結果＋１を出力
したときには正しく認識して発火したと判定して以後の
処理を行う（図４のステップ４０５以降）。＋１を出力
しないときには、新たに異なるカテゴリーに対応するニ
ューロンを生成し（図４のステップ４０６に続く図２の
ステップ２０８）、以後の処理において閾値が調整され
る。差分情報を用いて学習を行い、ニューロンの発火を
適当に抑制することによって、学習に用いることのでき
る学習パターンの数が少ない場合でも誤認識を減少させ
ることができる。なお、差分情報の代わりに参照ベクト
ルが属するカテゴリーと同じカテゴリーの学習パターン
に反応するための閾値と異なるカテゴリーの学習パター
ンに反応するための閾値の二つを保持するようにしても
よい。

【０００９】

【実施例】

（学習対象のパターン認識装置）図５は本実施例で述べ
るニューラルネットワーク（ＮＮ）を用いたパターン認
識装置の概略の構成を示すもので、入力パターンの特徴
量を抽出する特徴量抽出手段５１と、パターン判別のた
めにニューラルネットワークを用いたパターン判別手段
５２と、判別結果をコード化して出力するコード出力手
段５３からなっている。未知パターンがパターン認識装
置に提示されると、特徴量抽出手段５１で特徴量が計算
される。そしてその特徴量を新たな入力としてパターン
判別手段５２において未知パターンがどのカテゴリーに
属するかの推定が行われる。そしてコード出力手段５３
により、推定されたカテゴリーに与えられたコードが出
力され、パターン認識が行われる。

【００１０】図５で述べた特徴量抽出手段５１を図６を
用いて説明する。図６（ａ）は１０×１０画素で表現さ
れた手書き文字「Ａ」である。この手書き文字の４つの
画素を一つの要素にまとめ、４画素中に黒画素が４つあ
るとき＋２、３つあるとき＋１、２つあるとき０、１つ
あるとき−１、０個のときは−２の値を与えた様子が図
６（ｂ）である。この値を図６（ｃ）に示されるような
画像の左上の始点６１から右下の終点６２にかけて矢印
の方向に並べてベクトルの形にする。このベクトルを特
徴量抽出手段５１で抽出された特徴量とし、ニューラル
ネットワークによるパターン判別手段５２の入力とす
る。

【００１１】次に図５のパターン判別手段５２、および
コード出力手段５３について説明する。図７は本実施例
で述べるニューラルネットワークの基本構成を表したも
ので、本実施例ではこのニューラルネットワークを用い
てパターン判別手段５２、およびコード出力手段５３を
実現する。図７のニューラルネットワークにおいて、入
力層７１のｉ番目のニューロン７４と中間層７２のｊ番
目のニューロン７５との間の結合荷重７６をｗ¹ _ij、中
間層７２のｊ番目のニューロン７５と出力層７３のｋ番
目のニューロン７７との間の結合荷重７８をｗ² _jkで表
現する。このとき入力層７１のｉ番目ニューロン７４は
その出力値ｙ¹ _iをｙ¹ _i＝Θ₁（ｘ_i）・・・（式１）に従って決める。ただしｘ_iはニューラルネットワーク
への入力ベクトルＸのｉ番目の要素とし、Θ₁（Ｚ）は
ニューロンの入出力特性を決める特性関数でＺ＞０のとき Θ₁（Ｚ）＝１Ｚ≦０のとき Θ₁（Ｚ）＝−１・・・・（式２）とする。

【００１２】ここであらためてＹ¹＝（ｙ¹ _1,ｙ¹ _2,・・
・・・・・・・，ｙ¹ _N）とおき、Ｙ¹＝（Θ₁（ｘ₁）_,
Θ₁（ｘ₂）・・・・・・・・・，Θ₁（ｘ_N））をベクト
ル表示で略記してＹ¹＝Θ₁（Ｘ）と表記することにす
る。中間層７２のｊ番目ニューロンはその出力値ｙ² _jを
次式に従って決める。ｙ² _j＝Θ₂（Σ_iｗ¹ _ijｙ¹ _i−ｌ_j）＝Θ₂（Ｗ¹ _jΘ₁（Ｘ）
^T−ｌ_j）・・・・（式３）ただしｌ_iは学習によって決まる閾値で、Ｗ¹ _j＝（ｗ¹
_1j,ｗ¹ _2j,・・・・・・・・・，ｗ¹ _Nj）であり、Θ
₂（Ｘ）はニューロンの入出力特性を決める特性関数で
次式によって表されるものであり、^Tは転置を表す。Ｚ＞０のとき Θ₂（Ｚ）＝１Ｚ≦０のとき Θ₂（Ｚ）＝０・・・・（式４）

【００１３】ここで中間層ニューロンの出力が１のとき
中間層ニューロンは発火したと呼ぶことにする。出力層
のｋ番目ニューロン７７はその出力値ｙ³ _kをｙ³ _k＝Θ₂（Σ_jｗ² _jkｙ² _j）・・・・（式５）に従って決める。ニューラルネットワークの最終的な出
力は、このｙ³ _kをｋ番目の要素とするベクトルである。
図８（ａ）、および図８（ｂ）は、上記Θ₁（Ｚ）、お
よびΘ₂（Ｚ）の特性関数を図示したものである。

【００１４】（第１の実施例）図１は以上に説明したニ
ューラルネットワークを対象として学習を行うための学
習装置の一例を示すものである。前述した図９に示す従
来の参照ベクトルを用いたニューラルネットワークの学
習装置に対して図１の学習装置では、新たに閾値調整手
段１７をつけ加えた構成を有する。この閾値調整手段１
７は学習の過程でニューラルネットワークの出力等の
値、および教師信号入力手段１５からの教師信号、およ
びパターン入力手段１４からの入力パターンを用いて、
ニューラルネットワークがより適切な出力をするように
閾値を修正する。

【００１５】次に図１の構成図で説明したニューラルネ
ットワークの学習を具体的に説明する。まず入力層７１
のニューロンと中間層７２のニューロンとを結ぶ第１の
結合荷重７６と中間層のニューロンの閾値を決定するニ
ューラルネットワークの学習を図２を用いて説明する。
まず、ステップ２００で初期値を設定する。ここで設定
するＮは入力ベクトルの次元、Ｍは学習サンプルの数、
Ｄは中間層のニューロンに与える閾値の適当な大きさの
初期値（ステップ５０５で変更されやすいように小さな
値を設定する）、Ｐは使用することのできる中間層のニ
ューロンの数である。またＷ¹は、そのｉｊ成分をｗ¹ _ij
とするＮ×Ｐ行列で、ｌはｉ成分をｌ_iとするＰ次元ベ
クトルである。

【００１６】ステップ２０１でニューラルネットワーク
に上記で説明したような入力Ｘⁱを与える。ここで添字
ｉはＸⁱがＭ個ある学習サンプルのうちｉ番目のサンプ
ルであることを示す。ステップ２０２でニューラルネッ
トワークの中間層ニューロンが発火するかどうかの場合
分けを行う。ステップ２０２でニューラルネットワーク
の中間層ニューロンのうち少なくともどれか一つ発火す
る場合、ステップ２０３での場合分けによって以下の２
つの処理を行う。

【００１７】まず第一に入力ベクトルの持つカテゴリー
と発火したニューロンの持つカテゴリーが全て等しい
時、ステップ２０４でＦをインクリメントし、合流点２
０７に進む。ステップ２０３で、入力ベクトルの持つカ
テゴリーと異なるカテゴリーを持つ中間層のニューロン
が発火した場合、例えばそれが中間層のｋ番目のニュー
ロンのときステップ２０５においてｌ_k＝Ｗ¹ _kΘ
₁（Ｘⁱ）^Tを代入する。Ｄの値が十分小さい場合ほとん
どの中間層のニューロンはステップ２０５における閾値
の修正が加えられる。そしてステップ２０６でＦを０に
し、合流点５０７へ進む。一方、ステップ２０２でニュ
ーラルネットワークの中間層ニューロンが一つも発火し
なかった場合、ステップ２０８でＷ¹ _j＝Θ₁（Ｘⁱ），ｌ
_i＝Ｄ，ｊ＝ｊ＋１を代入する。これにより、中間
層のｊ番目のニューロンは参照ベクトルΘ₁（Ｘⁱ）をも
つＰｒｏｃｅｓｓｉｎｇＵｎｉｔに対応することにな
る。このように入力ベクトルの持つカテゴリーと異なる
カテゴリーを持つ中間層のニューロンが発火した場合、
そのニューロンの閾値をＷ¹ _kΘ₁（Ｘⁱ）^Tに調整するこ
とにより次に同じパターンが入力された場合に誤認識は
起こらなくなる。なぜならこのときＷ¹ _jΘ₁（Ｘⁱ）^T−
ｌ_j＝０となり式（３）およびΘ₂（Ｚ）の定義によりこ
のニューロンは入力パターンＸⁱに対して発火しなくな
るからである。

【００１８】次にステップ２０９でｊ≦Ｐかどうかの判
定行う。ここでｊ≦Ｐの場合は合流点２１０へ進みステ
ップ２０６を経て合流点２０７へ進む。ｊ≦Ｐでない場
合はここで処理を終了する。合流点２０７の次に、ステ
ップ２１１でｉ＝ｉ＋１を代入する。そしてステップ２
１２でｉ＞Ｍかどうかの判定を行い、ｉ＞Ｍの場合には
ｉ＝ｉ−Ｍを代入し、ステップ２１３に進む。ここで、
Ｆ≧Ｍでない場合は合流点５１４へ進み学習を繰り返
す。またＦ≧Ｍの場合はここで学習を終える。この中間
層ニューロンの発火により、入力パターンＸはその発火
したニューロンの持つ参照ベクトルが属するカテゴリー
に判別される。このように第１の結合荷重７６と中間層
ニューロン７５によってパターン判別手段５２が実現さ
れる。

【００１９】次に中間層７２のニューロンと出力層７３
のニューロンとの間の第２の結合荷重７８の決め方につ
いて述べる。第２の結合荷重７８には中間層７２のニュ
ーロンが発火したとき出力すべきコードをそのまま用い
る。例えば中間層７２のｉ番目のニューロンが発火した
とき、このニューロンの参照ベクトルが属するカテゴリ
ーに割当てられたコードが（１，０，０，・・・・・・
・・・，０）の場合、このニューロンと出力層との間の
結合荷重を（ｗ² _i1,ｗ² _i2，・・・・・，ｗ² _iD）＝（１，０，
０，・・・・・，０）と定める。このように出力されるコードをその各要素に
１、あるいは０の値を持つものとし、第２の結合荷重７
８を上記のように決定すれば、中間層７２のニューロン
の発火によりそのニューロンに割当てられたカテゴリー
に対応するコードが出力される。このようにして結合荷
重２と出力層ニューロンによって図５のコード出力手段
５３が実現される。上記のように学習を行ったニューラ
ルネットワークにおいては、誤認識を引き起こす異なる
カテゴリーに関する情報に基づいて中間層のニューロン
の閾値を調整するため、誤認識を減少させることができ
る。

【００２０】（第２の実施例）同じカテゴリーの学習パ
ターンに反応するための閾値と異なるカテゴリーの学習
パターンに反応するための閾値との差分を保持して学習
を行うことを特徴とするニューラルネットワークを用い
たパターン認識装置の学習装置について説明する。図３
に本発明の第２の実施例によるニューラルネットワーク
の学習を行う各手段間の関係を表した構成図を示す。図
９の従来の方法に比較して、図３では新たに閾値調整手
段３７および差分記憶手段３９および差分加減手段３８
を追加する。閾値調整手段３７は第１の実施例と同様に
学習の過程でニューラルネットワークの出力等の値、お
よび教師信号入力手段３５からの教師信号、およびパタ
ーン入力手段３４からの入力パターンを用いて、ニュー
ラルネットワークがより適切な出力をするように閾値を
修正する。また差分加減手段３８はニューロン出力計算
手段３１からの出力と教師信号入力手段３５からの教師
信号とを比較し差分記憶手段３９からの差分の値を閾値
記憶手段３３の保持する閾値に加減する。この差分の加
減がどのような場合に、またどのようにして行われるか
を以下に説明する。

【００２１】本実施例における学習処理は図２のステッ
プ２０２およびステップ２０３、および学習終了後に各
中間層ニューロンの閾値に同じカテゴリーの学習パター
ンに反応するための閾値と異なるカテゴリーの学習パタ
ーンに反応するための閾値との差分の値だけ修正を加え
ること以外第１の実施例と共通である。よってこれらの
変更点のみを図４を用いて説明する。

【００２２】まず第１の実施例と同じようにステップ２
０１で入力パターンＸが与えられると、ステップ４０１
で全ての中間層ニューロンで図２のステップ２０８およ
びステップ２０５で決まる閾値（この値はステップ２０
８で決められる初期値を除いては、多くの場合ステップ
２０５で異なるカテゴリーに属するパターンと参照ベク
トルとの間の相関値できめられるので、異なるカテゴリ
ーの学習パターンに反応するための閾値（以後Ｄ^other
と略す）と呼ぶことにする）を用いて式（３）の計算を
行う。このとき中間層ニューロンのうちで出力が＋１の
値をとるものが存在するかどうかを調べる。このとき一
つも＋１の値をとるものが存在しない場合、ステップ２
０８へ進み、以後図２と同様な処理を行う。

【００２３】＋１の値をとる中間層ニューロンが存在す
る場合ステップ４０２へ進み、その中間層ニューロンが
入力パターンと同じカテゴリーを持つかどうかを調べ
る。そのニューロンが入力パターンと異なるカテゴリー
を持つ場合には、その中間層ニューロンは誤って発火し
たと判定しステップ２０５へ進み閾値の修正を行う。ま
た＋１の値をとった中間層ニューロンが入力パターンと
同じカテゴリーを持つ場合、ステップ４０３でそのカテ
ゴリーに割当てられた異なるカテゴリーの学習パターン
に反応するための閾値と同じカテゴリーの学習パターン
に反応するための閾値との差分（ΔＤと略す）の値をＤ
^otherに加えて新たな閾値として改めて式（３）の計算
を行う。このとき中間層ニューロンで出力が＋１の値を
とるものが存在しない場合、ステップ４０６で差分を加
えられた閾値はその差分を減じてもとのＤ^otherにもど
してからステップ２０８へ進む。また中間層ニューロン
の出力が＋１の値をとるものが存在する時、その中間層
ニューロンは入力パターンを正しく認識して発火したと
判定する。この後ステップ４０５で差分を加えられた閾
値はその差分を減じてもとの値にもどされ、ステップ２
０４へ進み以後図２と同様な処理が行われる。

【００２４】上記のように図２のステップ２０２および
ステップ２０３の処理を変更して図２の学習を行い、こ
の学習が終了したあとΔＤが与えられているカテゴリー
の全ての中間層ニューロンにおいて、ΔＤをその閾値に
加えて新たな閾値とする。さてこのΔＤの値は中間層ニ
ューロンの発火を抑制するような働きを持ち、誤認識を
起こす頻度に従ってカテゴリーごとに設定される。誤認
識を引き起こす割合が高いカテゴリーでは大きく、あま
り誤認識を起こさないカテゴリーでは小さく設定する。
こうすることにより誤認識を引き起こす割合が高いカテ
ゴリーでは中間層ニューロンの発火が抑制される傾向に
なり、誤認識を起こす頻度が減少することになる。

【００２５】このように差分ΔＤを設けて学習を行うこ
とにより、中間層ニューロンの発火を適当に抑制するこ
とによって、学習に用いることのできる学習パターンの
数が少ない場合でも誤認識が減少することが期待でき
る。また本実施例のようにΔＤを設けて学習を行う方法
では、学習中に一時的に閾値の差分の大きさ分だけ中間
層ニューロンがパターン空間上で覆う領域が小さくなり
頻繁にパターンが発生する領域が覆われなくなる事態が
発生したとしてもその領域に新たに中間層ニューロンが
割当てられるため、単に学習終了後に中間層ニューロン
の閾値を増加させるだけの方法におけるような誤認識率
を減少させるために著しくリジェクト率が増加する問題
をさけることができる。

【００２６】また、本実施例では同じカテゴリーの学習
パターンに反応するための閾値と異なるカテゴリーの学
習パターンに反応するための閾値との差分を保持して学
習を行うことによって誤認識を減らす方法について説明
したが、参照ベクトルが属するカテゴリーと同じカテゴ
リーの学習パターンに反応するための閾値と異なるカテ
ゴリーの学習パターンに反応するための閾値の二つを保
持するための記憶手段を具備することによっても上記と
同様な効果が期待できる。

【００２７】

【発明の効果】本発明は参照ベクトルを保持するニュー
ロンの発火を制御するための閾値調整手段を具備するこ
とにより、ニューラルネットワークの学習中に参照ベク
トルを保持した処理ユニット（Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ）に対応するニューロンがその保持している
参照ベクトルと異なるカテゴリーに属するパターンに対
して発火しないように閾値を調整することを可能とす
る。これにより本発明は、誤認識を防止し、十分な認識
率を得ることができる。また、同じカテゴリーの学習パ
ターンに反応するための閾値と異なるカテゴリーの学習
パターンに反応するための閾値との相関に関する情報を
用いて、ニューロンの発火を適当に抑制することによっ
て、学習に用いることのできる学習パターンの数が少な
い場合でも誤認識を減少させることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示す図

【図２】ニューラルネットワークの入力層と中間層と
の間の結合荷重、およびニューロンの閾値を決める学習
のフローを示す図

【図３】本発明の第２の実施例の構成を示す図

【図４】第２の実施例における学習のフローの変更点
を示す図

【図５】パターン認識装置の概略の構成を示す図

【図６】（ａ），（ｂ），（ｃ）は入力パターンから
特徴量を抽出する説明図

【図７】ニューラルネットワークの基本構成図

【図８】ニューロンの特性関数を示す図

【図９】従来の学習装置の構成を示す図

【符号の説明】

１０…ニューラルネットワーク演算部、１１…ニューロ
ン出力計算手段、１２…結合加重記憶手段、１３…閾値
記憶手段、１４…パターン入力手段、１５…教師信号入
力手段、１６…結合加重調整手段、１７…閾値調整手
段、３０…ニューラルネットワーク演算部、３１…ニュ
ーロン出力計算手段、３２…結合加重記憶手段、３３…
閾値記憶手段、３４…パターン入力手段、３５…教師信
号入力手段、３６…結合加重調整手段、３７…閾値調整
手段、３８…差分加減手段、３９…差分記憶手段、５１
… 特徴量抽出手段、５２… パターン判別手段、５３
…コード出力手段６１…特徴量ベクトルを構成する要
素の第１番目の位置、６２…特徴量ベクトルを構成する
要素の最後の位置、７１…ニューラルネットワークの入
力層、７２…ニューラルネットワークの中間層、７３…
ニューラルネットワークの出力層、７４…入力層のｉ番
目のニューロン、７５…中間層のｊ番目のニューロン、
７６…入力層のｉ番目のニューロンと中間層のｊ番目の
ニューロンを結ぶ結合荷重ｗ¹ _ij ７７…出力層のｋ番目のニューロン７８…中間層のｊ番目のニューロンと出力層のｋ番目の
ニューロンを結ぶ結合荷重ｗ² _jk

Claims

【特許請求の範囲】

【請求項１】参照ベクトルを用いて識別を行う層状フ
ィードフォワード型ニューラルネットワークを用いたパ
ターン認識装置の学習装置において、参照ベクトルを保
持するニューロンの発火を制御するための閾値を、ニュ
ーラルネットワークの学習中に与えられる学習パターン
とそれに対応する教師信号に基づいて、参照ベクトルと
学習パターンとが異なるカテゴリーに属するときに前記
ニューロンが発火しないように調整する閾値調整手段を
具備したことを特徴とするパターン認識装置の学習装
置。
【請求項２】参照ベクトルが属するカテゴリーと同じ
カテゴリーの学習パターンに反応するための閾値と参照
ベクトルが属するカテゴリーと異なるカテゴリーの学習
パターンに反応するための閾値に関する情報を記憶する
記憶手段を具備し、前記閾値調整手段が、前記同じカテゴリーの学習パター
ンに反応するための閾値と前記異なるカテゴリーの学習
パターンに反応するための閾値とを別々に調整して学習
を行うことを特徴とする請求項１記載のパターン認識装
置の学習装置。