JP2780454B2 - 追記学習型パターン認識装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、認識実行中に認識辞書を更新するパターン
認識装置に関するものである。

〔従来の技術〕

従来の神経回路網を用いたパターン認識装置には、一
般に３層のフィードフォワード型神経回路網が用いら
れ、認識に必要な認識辞書は学習により自己組織的に作
成され、認識時の追記学習及び内部構造の変化はない。

第14図に３層フィードフォワード型神経回路網を示
す。入力層1401に入力された入力パターンは中間層1402
及び出力層1403で演算され、認識結果を出力する。各層
に丸で示したのはユニットと呼ばれるモデル化された神
経細胞である。入力層1401の各ユニットは、一般に入力
パターンを保存するメモリの役割を果たし、入力パター
ンと同じ値を出力する。中間層1402及び出力層1403の各
ユニットは入力パターンに近い側の層の各ユニットから
入力を受け、次式に示す計算に従って出力する。

ｕ＝・−ｈ （１） ｚ＝ｆ（ｕ） ここで、は重みベクトルと呼ばれ、その成分w_iはシ
ナプス荷重の値を表す。は入力ベクトルと呼ばれ、そ
の成分x_iは他のユニットからの入力値を表す。ｚはユニ
ットの出力値である。例えば、中間層1402におけるユニ
ットについて説明すると、そのユニットに結合している
入力層1401のそれぞれのユニットからの入力がx_iであ
り、その重み値がw_iである。ｈはしきい値と呼ばれ、ｕ
は膜電位と呼ばれる。ｆ（ｕ）は出力関数と呼ばれ、一
般に次式で示すシグモイド関数が用いられる。

ｆ（ｕ）＝1/（１＋exp（−ｕ）） （２） ある入力パターンについて望ましい出力になるよう
に、各層のユニットの重み値及びしきい値を調整するこ
とを学習と呼び、通常は誤差逆伝播学習法（D.E.Rumelh
art,G.E.Hinton and R.J.Williams:Learning internal
representations by error propagation,Parallel Dist
ributed Processing,Vol.1,J.L.McClelland,D.E.Rumelh
art and The PDP Research Group,MIT Press,1986.）が
用いられる。この学習法は、学習パターンを入力層1401
に入力し、（１）式で示した計算の結果得られた出力層
1403からの出力と、望ましい出力である教師信号との二
乗誤差が、与えた学習パターン全てに対して最小になる
ように重み値及びしきい値を変更する。

出力層1403の重み値及びしきい値は次式に従って変更
される。

δ⁽³⁾ _j＝o⁽³⁾ _j（１−o⁽³⁾ _j）（y_j−o⁽³⁾ _j） w⁽³⁾ _ij＝w⁽³⁾ _ij＋ηδ⁽³⁾ _jo⁽²⁾ _i h⁽³⁾ _j＝h⁽³⁾ _j＋ηδ⁽³⁾ _j ここで、o⁽³⁾ _j,h⁽³⁾ _jは出力層1403のｊ番目のユニッ
トの出力値及びしきい値、y_jは出力層1403のｊ番目のユ
ニットに対する教師信号、o⁽²⁾ _iは中間層1402のｉ番目
のユニットの出力値、w⁽³⁾ _ijは中間層1402のｉ番目のユ
ニットと出力層1403のｊ番目のユニットの間の重み値で
ある。

中間層1402の重み値及びしきい値は次式に従って変更
される。

w⁽²⁾ _ij＝w⁽²⁾ _ij＋ηδ⁽²⁾ _jo⁽¹⁾ _i h⁽²⁾ _j＝h⁽²⁾ _j＋ηδ⁽²⁾ _j ここで、o⁽²⁾ _j,h⁽²⁾ _jは中間層1402のｊ番目のユニッ
トの出力値及びしきい値、o⁽¹⁾ _iは入力層1401のｉ番目
のユニットの出力値、w⁽²⁾ _ijは入力層1401のｉ番目のユ
ニットと中間層1402のｊ番目のユニットの間の重み値、
Ｎは出力層1403に含まれるユニットの数である。ηは学
習係数と呼ばれ、１より小さい値が用いられる。

一般に各ユニットの重み値及びしきい値の初期値は乱
数によって決定され、次式で示すユニットの出力値o⁽³⁾
_jと教師信号y_jとの二乗誤差Ｅが充分小さくなったとこ
ろで学習を終了する。

この誤差逆伝播学習法を用いた３層のフィードフォワ
ード型神経回路網による認識率が非常に高いことが、最
近の報告により示されている［山田，上，溝口，天満：
“ニューラルネットを用いた文字認識",信学技報,PRU88
−58,79−86（1988）］。

〔発明が解決しようとする課題〕

従来の神経回路網を利用したパターン認識装置の場
合、追記学習が困難であるという問題点を持つ。誤差逆
伝播学習法は、学習データ全てに対して出力と教師信号
の二乗誤差を最小にする方法なので、既に学習を行った
神経回路網を利用したパターン認識装置に新たなパター
ンデータを学習させようとすると、新しいデータのみに
学習辞書が適応し、過去に学習したデータに対する性能
を保持できない。学習によって作成した認識辞書を継承
できず、最初から学習に用いた全ての入力パターンデー
タを用いて神経回路網全体を再学習しなければならな
い。神経回路網の一回の学習は、学習させたい全てのパ
ターンデータを何回も入力して学習が収束するまで行う
ため、非常に長い時間がかかる。パターンデータを覚え
させる度にこの学習過程を繰り返すことは、膨大な計算
量と計算時間を必要とする。手書文字認識など個人に依
存するようなパターン認識においては、その個人専用の
認識辞書が不可欠であるが、従来の神経回路網を利用し
たパターン認識装置では、以上の理由から個人辞書を作
成することは非常に困難である。

本発明の目的は、従来の神経回路網を利用したパター
ン認識装置の欠点である追記学習が困難という問題点を
除去し、認識時に誤認識したパターンと特徴空間におけ
るそのパターンの近傍にあるパターン群を追加辞書とし
て登録し、しかもそれまで作成されている標準辞書を変
更することなく認識率を向上させるパターン認識装置を
提供することにある。

〔課題を解決するための手段〕

第１の発明は、神経回路網を用いたパターン認識装置
において、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間
層計算部と、 前記固定中間層計算部の出力を用いて計算を行う出力
層計算部と、 前記入力層記憶部の出力に対して興奮性ユニットおよ
び抑制性ユニットを用いて計算を行う可変中間層計算部
と、 前記出力層計算部の出力と前記可変中間層計算部の出
力を統合する統合部と、 前記統合部におけるどのユニットの出力値を変更する
かを指定する誤認識信号に従い、前記ユニットに既に接
続している前記可変中間層計算部における抑制性ユニッ
トのしきい値の修正または新たな興奮性ユニットの追加
により前記ユニットの出力値を上げる、あるいは、前記
ユニットに既に接続している前記可変中間層計算部にお
ける興奮性ユニットのしきい値の修正または新たな抑制
性ユニットの追加によって前記ユニットの出力値を下げ
る可変中間層制御部と、 を有することを特徴とする。

第２の発明は、神経回路網を用いたパターン認識装置
において、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間
層計算部と、 前記入力層記憶部の出力に対して興奮性ユニットおよ
び抑制性ユニットを用いて計算を行う可変中間層計算部
と、 前記固定中間層計算部の出力と前記可変中間層計算部
の出力を用いて計算を行う出力層計算部と、 前記出力計算部におけるどのユニットの出力値を変更
するかを指定する誤認識信号に従い、前記ユニットに既
に接続している前記可変中間層計算部における抑制性ユ
ニットのしきい値の修正または新たな興奮性ユニットの
追加により前記ユニットの出力値を上げる、あるいは、
前記ユニットに既に接続している前記可変中間層計算部
における興奮性ユニットのしきい値の修正または新たな
抑制性ユニットの追加によって前記ユニットの出力値を
下げる可変中間層制御部と、 を有することを特徴とする。

〔作用〕

第１の発明のパターン認識装置で用いる神経回路網の
モデルを第３図に示す。

入力層301,固定中間層302,出力層303は従来の３層の
フィードフォワード型神経回路網である。

追加中間層304と統合層305に含まれるユニットは、
（１）式で表されるユニットとは、働きが異なる。

追加中間層304のユニットは、次式で表される。

ｕ＝・/|｜−ｈ （３） ｚ＝１［ｕ］ ここで、１［ｕ］は階段関数である。したがって、ｚ
の根はｕが正の場合は１、負の場合は０になる。また、
重みベクトルは、大きさが１になるように規格化され
ている。中間層における１つのユニットは、ある超平面
の識別面を構成する。入力ベクトルの大きさを制限する
ことで、ある１つの閉空間を、ユニット１つでそのユニ
ットの出力が１となる領域とすることができる（ユニッ
トの出力が１になることを、以後「発火」という言葉を
用いて表現する）。その様子を第５図に示す。ユニット
の識別面は、法線ベクトルが重みベクトル、原点との
距離がｈの、ｎ次元空間における超平面となる。ただ
し、ｎは入力ベクトルの次元数である。入力ベクトル
の大きさが１に規格化されているとすると、入力ベクト
ルの終点は、ｎ次元の単位球面上に存在する。したがっ
て、このユニットの発火する領域は、第５図の斜線で示
すような閉空間となる。ユニットの発火する領域の大き
さは、しきい値ｈの選び方に依存する。

統合層305の各ユニットは、出力層303の各ユニットと
１対１に対応して、結合されている。追加中間層304の
１つのユニットは、統合層305の１つのユニットと興奮
的にあるいは抑制的に結合している。統合層305のユニ
ットは、これまで述べてきたユニットとは全く異なる働
きをする。その入出力関係を、第13図を用いて説明す
る。

統合層305のユニット（ユニットＡと呼ぶ）に結合し
ている追加中間層304のユニットを順番に調べて、発火
しているユニットを捜す（ステップ1301,1302）。変数
Ａの初期値は１とする。発火しているユニットがあれ
ば、そのユニットが興奮性ユニットか抑制性ユニットか
を調べる（ステップ1303）。興奮性ユニットであれば、
ユニットＡは１を出力して終了する（ステップ1304）。
抑制性ユニットであれば、変数Ａの値を０にして（ステ
ップ1305）、次の発火しているユニットを捜す。ユニッ
トＡに結合している追加ユニットＮ個についてこの手順
を行い（ステップ1306,1307）、Ａが０であったならば
（ステップ1308）、すなわち１つでも発火している抑制
性ユニットがあったならば、ユニットＡは０を出力する
（ステップ1309）。変数Ａが初期値と変わらなかったな
らば、ユニットＡに結合している追加ユニットのいずれ
も発火していなかったことになり、その場合はユニット
Ａに結合している出力層303のユニットの出力を、ユニ
ットＡの出力とする（ステップ1310）。

このような神経回路網を用いると、識別面を修正する
ことができることを示す。出力層303において、あるカ
テゴリＡを表すユニットを、ユニットＡと呼ぶことにす
る。入力ベクトル空間において、ユニットＡが発火する
領域、すなわちカテゴリＡの領域を第６図（ａ）に斜線
で示す。追加中間層304にユニットを追加し、ユニット
Ａに興奮的に結合すると、第６図（ｂ）のように、カテ
ゴリＡの領域が追加される。追加されるカテゴリ領域の
位置，大きさは、追加されるユニットの重みベクトル，
しきい値の設定に依存する。追加中間層304にユニット
を追加し、ユニットＡに抑制的に結合すると、第６図
（ｃ）のように、カテゴリＡの領域が削除される。削除
されるカテゴリ領域の位置，大きさは、追加されるユニ
ットの重みベクトル，しきい値の設定に依存する。以上
の手順により、出力層303のユニットが構成するカテゴ
リの識別面を修正することが可能である。

誤認識した入力データに対して、追記中間層304にユ
ニットを追加することによって、以後、正しく認識する
ように識別面を修正することが可能である。ある入力に
対して、出力307が望ましいものではなかった場合、統
合層305におけるユニットの各出力値を、次に示す手順
により変更することで、望ましい出力値の組を得ること
ができる。

統合層305のあるユニット（便宜上、ユニットＡと呼
ぶ）の出力値を上げる手順を第７図に示す。まず、ユニ
ットＡに結合している追加中間層304のユニットを順番
に調べて、発火している抑制性ユニットを捜す（ステッ
プ701,702）。もしそのようなユニットがあれば、それ
によってユニットＡの出力が抑えられていると考えられ
るので、そのユニットのしきい値を上げ（ステップ70
3）、入力ベクトル空間における追加ユニットの発火領
域に入力ベクトルが含まれないようにする。例えば、し
きい値ｈを次式で設定すれば、入力ベクトルに対して、
この追加ユニットは発火しなくなる。

ｈ＝・（（＋）/|＋｜） （４） ただし、は追加ユニットの重みベクトルであり、
は入力ベクトルである。

ユニットＡに結合している追加ユニットＮ個について
この手順を行っても（ステップ704,705）、ユニットＡ
の出力が上がらない場合は（ステップ706）、ユニット
Ａに結合している出力層303のユニットの識別面が、こ
の入力をそのカテゴリに含む形に構成されていないと考
えられる。この場合は、追加中間層304にユニットを追
加し（ステップ707）、ユニットＡに興奮性の結合をす
る。その際、追加ユニットの重みベクトルは大きさが１
に規格化された入力ベクトルとし、しきい値はあるh₀な
る値に設定する。すると、この入力に対して、あるいは
入力ベクトル空間におけるこの近傍の入力に対して、新
たに追加された興奮性ユニットは発火することになり、
したがって、ユニットＡは１を出力することになる。

統合層305のユニット（ユニットＡと呼ぶ）の出力値
を下げる手順を、第８図に示す。まず、ユニットＡに結
合している追加中間層のユニットを順番に調べて、発火
している興奮性ユニットを捜す（ステップ801,802）。
もしそのようなユニットがあれば、それによってユニッ
トＡの出力が大きくなっていると考えられるので、その
ユニットのしきい値を上げ（ステップ803）、入力ベク
トル空間における追加ユニットの発火領域に入力ベクト
ルが含まれないようにする。例えば、（４）式のように
しきい値ｈを設定する。

ユニットＡに結合している追加ユニットＮ個について
この手順を行っても（ステップ804,805）、ユニットＡ
の出力が下がらない場合は（ステップ806）、ユニット
Ａに結合している出力層303のユニットの識別面が、こ
の入力をそのカテゴリに含む形に構成されていないと考
えられる。この場合は、追加中間層304にユニットを追
加し（ステップ807）、ユニットＡに抑制性の結合をす
る。その際、追加ユニットの重みベクトルは大きさが１
に規格化された入力ベクトルとし、しきい値はあるh₀な
る値に設定する。すると、この入力に対して、ある入力
ベクトル空間におけるこの近傍の入力に対して、新たに
追加された抑制性ユニットは発火することになり、した
がってユニットＡの出力は抑えられ０になる。

以上述べた手順により、興奮性ユニットあるいは抑制
性ユニットを用い、従来の神経回路網の出力である出力
層303による識別面を修正でき、誤認識した入力を以後
正しく認識することが可能になる。

次に第２の発明の作用を、第４図を用いて説明する、
この神経回路網は第３図の神経回路網と異なり、統合層
を持たず、追加中間層404の出力は、直接出力層403に入
力される。入力層401,固定中間層402,出力層403は従来
の３層のフィードフォワード型神経回路網であり、入力
層401のユニットは入力ベクトルを保存する働きをし、
固定中間層402のユニットの入出力関係は、（１），
（２）式で表される。追加中間層404のユニットの入出
力関係は、（３）式で表される。ただし、第１の発明と
異なり、追加中間層404のユニットは、出力層403のユニ
ットと重みｓのシナプス結合をしている。ｓが正の場合
は興奮性結合、ｓが負の場合は抑制性結合を意味する。
したがって、出力層403におけるユニットの入出力関係
を式で表すと、 となる。ここで、は固定中間層402からの入力ベクト
ル、は固定中間層402と出力層403の間の重みベクト
ル、ｈはしきい値である。Ｎはこのユニットに結合して
いる追加中間層404の数であり、s_i,y_iは結合している追
加中間層404のユニットの重み値と出力値である。ただ
し、y_iは（３）式におけるｚのことであるから、０ある
いは１の値をとる。ｆ（ｕ）は（２）式で表されるシグ
モイド関数である。

追加中間層404に興奮性あるいは抑制性ユニットを追
加することによって、出力層403で構成される識別面を
修正することができる。出力層403において、あるカテ
ゴリＡを表すユニットを、ユニットＡと呼ぶことにす
る。入力ベクトル空間において、ユニットＡが発火する
領域、すなわちカテゴリＡの領域を第９図（ａ）に斜線
で示す。追加中間層404にユニットを追加し、ユニット
Ａに興奮的に結合させると、第９図（ｂ）のように、カ
テゴリＡの領域が追加される。追加されるカテゴリ領域
の位置，大きさは、追加されるユニットの重みベクト
ル，しきい値の設定に依存する。また、追加ユニットの
発火領域内におけるカテゴリＡの識別面の移動量は、興
奮性結合の強さに依存する。追加中間層404にユニット
を追加し、ユニットＡに抑制的に結合させると、第９図
（ｃ）のように、カテゴリＡの領域が削除される。削除
されるカテゴリ領域の位置，大きさは、追加されるユニ
ットの重みベクトル，しきい値の設定に依存する。ま
た、追加ユニットの発火領域内におけるカテゴリＡの識
別面の移動量は、抑制性結合の強さに依存する。以上の
手順により、出力層403のユニットが構成するカテゴリ
の識別面を修正することが可能である。

誤認識した入力データに対して、追加中間層404にユ
ニットを追加することによって、以後正しく認識するよ
うに識別面を修正することが可能である。ある入力に対
して、出力が望ましいものではなかった場合、出力層40
3における各ユニットの出力値を、次に示す手順により
上げ下げすることで、望ましい出力値の組を得ることが
できる。

出力層403のあるユニット（便宜上、ユニットＡと呼
ぶ）の出力値を上げる手順を第10図に示す。まず、ユニ
ットＡに結合している追加中間層404のユニットを順番
に調べて、発火している抑制性ユニットを捜す（ステッ
プ1001,1002）。もしそのようなユニットがあれば、そ
れによってユニットＡの出力が抑えられていると考えら
れるので、そのユニットのしきい値を上げ（ステップ10
03）、入力ベクトル空間における追加ユニットの発火領
域に入力ベクトルが含まれないようにする。例えば、し
きい値ｈを（４）式で設定すれば、入力ベクトルに対し
て、この追加ユニットは発火しなくなる。

ユニットＡに結合している追加ユニットＮ個について
この手順を行っても（ステップ1004,1005）、ユニット
Ａの出力が十分上がらない場合は（ステップ1006）、ユ
ニットＡの識別面が、この入力をそのカテゴリに含む形
に構成されていないと考えられる。この場合は、追加中
間層404にユニットを追加し（ステップ1007）、ユニッ
トＡに興奮性の結合をする。その際、追加ユニットの重
みベクトルは大きさが１に規格化された入力ベクトルと
し、しきい値はあるh₀なる値に設定する。興奮性結合の
重みｓ（＞０）は、ユニットＡの出力値が十分大きくな
るまで大きくする（ステップ1008,1009）。

出力層403のユニット（ユニットＡと呼ぶ）の出力値
を下げる手順を、第11図に示す。まず、ユニットＡに結
合している追加中間層404のユニットを順番に調べて、
発火している興奮性ユニットを捜す（ステップ1101,110
2）、もしそのようなユニットがあれば、それによって
ユニットＡの出力が大きくなっていると考えられるの
で、そのユニットのしきい値を上げ（ステップ1103）、
入力ベクトル空間における追加ユニットの発火領域に入
力ベクトルが含まれないようにする。例えば、（４）式
のようにしきい値ｈを設定する。

ユニットＡに結合している追加ユニットＮ個について
この手順を行っても（ステップ1104,1105）、ユニット
Ａの出力が十分下がらない場合は（ステップ1106）、ユ
ニットＡの識別面が、この入力をそのカテゴリに含む形
に構成されていないと考えられる。この場合は、追加中
間層404にユニットを追加し（ステップ1107）、ユニッ
トＡに抑制性の結合をする。その際、追加ユニットの重
みベクトルは大きさが１に規格化された入力ベクトルと
し、しきい値はあるh₀なる値に設定する。抑制性結合の
重みｓ（＜０）は、ユニットＡの出力値が十分小さくな
るまで小さくする（ステップ1108,1109）。

以上述べた手順により、興奮性ユニットあるいは抑制
性ユニットを用い、従来の神経回路網の出力である出力
層403による識別面を修正でき、誤認識した入力を以後
正しく認識することが可能となる。

ここでは、説明のために、入力層，固定中間層，出力
層からなる３層の神経回路網を用いたが、固定中間層を
複数有する神経回路網に対しても、以上述べた作用は有
効である。また、追加中間層の１つのユニットの出力１
本であったが、興奮性あるいは抑制性の結合を複数持つ
ように拡張することもできる。

〔実施例〕

以下、本発明の実施例を図面を参照して説明する。

第１図に、第１の発明のパターン認識装置の一実施例
を示す。

このパターン認識装置は、特徴抽出部101と、入力層
記憶部103と、入力層記憶部103の出力を用いて計算を行
う固定中間層計算部104と、固定中間層計算部104の出力
を用いて計算を行う出力層計算部105と、入力層記憶部1
03の出力を用いて計算を行う可変中間層計算部106と、
出力層計算部105の出力と前記可変中間層計算部106の出
力を統合する統合部107と、可変中間層計算部106への興
奮性ユニット，抑制性ユニットの追加及びしきい値の制
御を行う可変中間層制御部108とを備えている。

入力端子101に入力された入力信号は、特徴抽出部102
において特徴データとなり、入力層記憶部103に保存さ
れる。入力層記憶部103に保存された特徴データの一方
は、固定中間層計算部104に入力され、その計算結果は
出力層計算部105に入力され、その計算結果は統合部107
に入力される。入力層記憶部103に保存された特徴デー
タのもう一方は、可変中間層計算部106に入力され、そ
の計算結果は統合部107に入力される。統合部107におい
て２つの計算結果が統合され、出力端子109から認識結
果が出力される。

認識結果が誤認識であると判断された場合には、誤認
識信号が入力端子110から入力され、可変中間層制御部1
08に送られる。可変中間層制御部108は、誤認識信号に
従い、可変中間層計算部106の計算に用いられるパラメ
ータを変更し、入力層記憶部103に再認識信号を入力す
る。再認識信号を受けた入力層記憶部103は、記憶され
ている特徴データを固定中間層計算部104及び可変中間
層計算部106に送り、認識過程が繰り返される。

統合部107からの出力は可変中間層計算部108に送ら
れ、認識結果の判断が行われ、正しく認識されるまで、
可変中間層制御部108による可変中間層計算部106の制御
が行われる。

文字認識を例にとり、さらに具体的に説明する。入力
文字画像は、横ｍ画素，縦ｎ画素の２値画像とする。黒
画素が１、白画素が０に対応する。ここで、m,nは２値
画像の文字が判読できる程度の解像度となる自然数であ
るが、便宜上ｍを27、ｎを33とする。

特徴抽出部102において、２値の入力文字画像は、そ
の文字の特徴を表す特徴量ベクトルに変換されるが、こ
こでは説明のため濃淡特徴ベクトルに変換されるものと
する。つまり、入力文字画像は、特徴抽出部において、
横ｍ′画素、縦ｎ′画素の濃淡画像に変換されるものと
する。ｍ′とｎ′の値は、それぞれ9,11とする。変換方
法は、横方向に３画素おきに、縦方向に３画素おきに、
第12図に示すようなデジタルフィルターを施し、濃淡値
に変換する。デジタルフィルターをa_ij（−２≦ｉ≦2,
−２≦ｊ≦２）とし、２値画像をｂ_ｉ′ｊ′として変換
後の濃淡画像をｇ_ｉ′ｊ′とすると、変換は次式で示さ
れる。

ただし、ｉ′,j′は、１≦ｉ′≦9,1≦ｊ′≦11なる
自然数である。この変換により、入力文字画像は、９×
11＝99次元の特徴量ベクトルとなる。

入力層記憶部103は、入力層301に対応している。入力
層記憶部103に含まれるユニットの数をN_inとすると、こ
のユニットは特徴量ベクトルを記憶するために使われる
ため、合計N_in個のメモリが必要である。今の場合、99
個のメモリが用意されており、上で述べた99次元の特徴
量ベクトルのそれぞれの成分の値が保存される。

固定中間層計算部104は、固定中間層302に対応する。
固定中間層302に含まれるユニットの数をN_fixとする
と、ユニット１つに対して、入力層301との結合の重み
値を記憶するN_in個のメモリ、しきい値を記憶する１個
のメモリ、及びその計算結果を記憶する１個のメモリが
必要なので、合計N_fix×（N_in＋２）個のメモリが用意
されている。固定中間層計算部104の計算は、（１）式
及び（２）式を用いて行われる。固定中間層302に含ま
れるユニットの数N_fixは便宜上40とする。

出力層計算部105は、出力層303に対応する。出力層30
3に含まれるユニットの数をN_outとすると、ユニット１
つに対して、固定中間層302との結合の重み値を記憶す
るN_fix個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計N_out×（N_fix＋２）個のメモリが用意されてい
る。出力層計算部105の計算は、（１）式及び（２）式
を用いて行われる。出力層303に含まれるユニットの数
は、識別させたいカテゴリの数によって定まる。例え
ば、０から９までの10個の印刷数字を入力文字画像とし
た場合、識別させたいカテゴリ数は10個となるので、N
_outは10個となる。

可変中間層計算部106は、追加中間層304に対応する。
追加中間層304に含まれるユニット１つに対して、入力
層301との結合の重み値を記憶するN_in個のメモリ、しき
い値を記憶する１個のメモリ、その計算結果を記憶する
１個のメモリ、及び統合層305のユニットとの結合の種
類を記憶する１個のメモリの合計（N_in＋３）個のメモ
リが必要になる。ここで、結合の種類は例えば「＋
３」，「−２」など表されるものとする。「＋３」とは
統合層305の３番目のユニットへの興奮性結合を意味
し、「−２」とは統合層305の２番目のユニットへの抑
制性結合を意味する。追加中間層304のユニットは学習
により追加されるので、ユニットの数は増加する。可変
中間層計算部106のメモリは可変になっており、ユニッ
ト数がN_addの場合は、可変中間層計算部106のメモリの
合計はN_add×（N_in＋３）になる。可変中間層計算部106
の計算は、（３）式を用いて行われる。

統合部107は、統合層305に対応する。統合部107は、
出力層計算部105の出力と可変中間層計算部106の出力を
用い、第13図に従った計算を行い、出力層303のユニッ
ト数と同じN_out個の出力信号を出力する。

固定中間層計算部104及び出力層計算部105における重
み値及びしきい値は、誤差逆伝播学習法により既に設定
されるものとする。この学習は、可変中間層計算部106
には無関係に進められる。

誤認識が生じた場合、誤認識信号が入力端子110に入
力される。この誤認識信号は、出力端子109から出力さ
れるN_out個の信号の組に対して、何番目の信号値を上げ
るか、あるいは何番目の信号値を下げるかという番号の
組である。例えば、印刷数字の認識の場合はN_outが10個
であり、１番目の出力信号は数字の「１」、２番目の出
力信号は数字の「２」、…、10番目の出力信号は数字の
「０」を表すカテゴリであるとすると、「３」のカテゴ
リに属する入力信号を正しい出力信号の組は｛0,0,1,0,
0,0,0,0,0,0｝である。誤認識の出力信号の組｛0,1,0,
0,0,0,0,0,0,0｝に対しては、｛−2,＋３｝なる誤認識
信号を入力端子110に送ることになる。ここで、例え
ば、出力値が0.8以上の場合にそのカテゴリに含まれ
る、0.2以下の場合にそのカテゴリに含まれないと考え
る場合は、「−２」は２番目の出力信号を0.2より下げ
ることを意味し、「＋３」は３番目の出力信号を0.8よ
り上げることを意味する。

誤認識信号を受けた可変中間層制御部108は、第７図
及び第８図に示した手順により、可変中間層計算部106
内に存在するしきい値の変更、あるいは、新たなユニッ
トの追加すなわちユニット分のメモリの確保、及び重み
値，しきい値，結合の種類が設定される。その際、可変
中間層制御部108から入力層記憶部102に再認識信号が送
られ、入力層記憶部108に保存されていた特徴データは
固定中間層計算部104及び可変中間層計算部106へ入力さ
れ、統合部107の出力が可変中間層制御部108に入力さ
れ、可変中間層計算部106の制御に用いられる。統合部1
07の出力が誤認識信号の要求を満たした段階で、可変中
間層制御部108は可変中間層計算部106の制御を停止す
る。

第２図に、第２の発明のパターン認識装置の一実施例
を示す。

このパターン認識装置は、特徴抽出部202と、入力層
記憶部203と、入力層記憶部203の出力を用いて計算を行
う固定中間層計算部204と、入力層記憶部203の出力を用
いて計算を行う可変中間層計算部206と、固定中間層計
算部204の出力と可変中間層計算部206の出力を用いて計
算を行う出力層計算部205と、可変中間層計算部206への
興奮性ユニット，抑制性ユニットの追加及びしきい値の
制御を行う可変中間層制御部207とを備えている。

入力端子201に入力された入力信号は、特徴抽出部202
において特徴データとなり、入力層記憶部203に保存さ
れる。入力層記憶部203に保存された特徴データの一方
は、固定中間層計算部204に入力され、もう一方は、可
変中間層計算部206に入力される。２つの計算結果は出
力層計算部205に入力され、計算が行われ、出力端子208
から認識結果が出力される。

認識結果が誤認識であると判断された場合には、誤認
識信号が入力端子209から入力され、可変中間層制御部2
07に送られる。可変中間層制御部207は、誤認識信号に
従い、可変中間層計算部206の計算に用いられるパラメ
ータを変更し、入力層記憶部203に再認識信号を入力す
る。再認識信号を受けた入力層記憶部203は、記憶され
ている特徴データを固定中間層計算部204及び可変中間
層計算部206に送り、認識過程が繰り返される。出力層
計算部205からの出力は可変中間層制御部207に送られ、
認識結果の判断が行われ、正しく認識されるまで、可変
中間層制御部207による可変中間層計算部206の制御が行
われる。

文字認識を例にとると、特徴抽出部202において、２
値の入力文字画像は、その文字の特徴を表す特徴量ベク
トルに変換される。第１図の実施例と同じく、ここでは
説明のため濃淡特徴ベクトルに変換されるものとする。
この変換により、入力文字画像は、９×11＝99次元の特
徴量ベクトルとなる。

入力層記憶部203は、入力層401に対応している。入力
層記憶部203に含まれるユニットの数をN_inとすると、こ
のユニットは特徴量ベクトルを記憶するために使われる
ため、合計N_in個のメモリが必要である。今の場合、99
個のメモリが用意されており、上で述べた99次元の特徴
量ベクトルのそれぞれの成分の値が保存される。

固定中間層計算部204は、固定中間層402に対応する。
固定中間層402に含まれるユニットの数をN_fixとする
と、ユニット１に対して、入力層401との結合の重み値
を記憶するN_in個のメモリ、しきい値を記憶する１個の
メモリ、及びその計算結果を記憶する１個のメモリが必
要なので、合計N_fix×（N_in＋２）個のメモリが用意さ
れている。固定中間層計算部204の計算は、（１）式及
び（２）式を用いて行われる。固定中間層402に含まれ
るユニットの数N_fixは、通常用いられる方法によって決
定されることにする。つまり、３層のフィードフォワー
ド型の神経回路網において、未学習データに対して最も
認識率が高くなるように設定される。

出力層計算部205は、出力層403に対応する。出力層40
3に含まれるユニットの数をN_outとすると、ユニット１
つに対して、固定中間層302との結合の重み値を記憶す
るN_fix個のメモリ、しきい値を記憶する１個のメモリ、
及びその計算結果を記憶する１個のメモリが必要なの
で、合計N_out×（N_fix＋２）個のメモリが用意されてい
る。出力層計算部205の計算は、（５）式を用いて行わ
れる。出力層403に含まれるユニットの数は、識別させ
たいカテゴリの数によって定まる。例えば、０から９ま
での10個の印刷数字を入力文字画像とした場合、識別さ
せたいカテゴリ数は10個となるので、N_outは10となる。

可変中間層計算部206は、追加中間層404に対応する。
追加中間層404に含まれるユニット１つに対して、入力
層401との結合の重み値を記憶するN_in個のメモリ、しき
い値を記憶する１個のメモリ、その計算結果を記憶する
１個のメモリ、結合する出力層403のユニットの番号を
記憶する１個のメモリ、及びその結合の重み値を記憶す
る１個のメモリの合計（N_in＋４）個のメモリが必要に
なる。追加中間層404のユニットは学習により追加され
るので、ユニットの数は増加する。可変中間層計算部20
6のメモリは可変になっており、ユニット数がN_addの場
合は、可変中間層計算部206のメモリの合計はN_add×（N
_in＋４）になる。可変中間層計算部206の計算は、
（３）式を用いて行われる。

固定中間層計算部204及び出力層計算部205における重
み値、あるいはしきい値は、誤差逆伝播学習法により既
に設定されるものとする。この学習は、可変中間層計算
部106には無関係に進められる。

誤認識が生じた場合、誤認識信号が入力端子209に入
力される。この誤認識信号は、出力端子208から出力さ
れるN_out個の信号の組に対して、何番目の信号値を上げ
るか、あるいは何番目の信号値を下げるかという番号の
組である。例えば、印刷数字の認識の場合はN_outが10個
であり、１番目の出力信号は数字の「１」,2番目の出力
信号は数字の「２」、…、10番目の出力信号は数字の
「０」を表すカテゴリであるとすると、「３」のカテゴ
リに属する入力信号を正しい出力信号の組は｛0,0,1,0,
0,0,0,0,0,0｝である。誤認識の出力信号の組｛0,1,0,
0,0,0,0,0,0,0｝に対しては、｛−2,＋３｝なる誤認識
信号を入力端子209に送ることになる。ここで、「−
２」は２番目の出力信号をあるしきい値（第１の発明の
実施例と同じく、仮に0.2とする）より下げることを意
味し、「＋３」は３番目の出力信号をあるしきい値（第
１の発明の実施例と同じく、仮に0.8とする）より上げ
ることを意味する。

誤認識信号を受けた可変中間層制御部207は、第10図
及び第11図に示した手順により、可変中間層計算部206
内に存在するしきい値の変更あるいは、新たなユニット
の追加すなわちユニット分のメモリの確保、及び重み
値、しきい値、結合する相手、及びその重み値が設定さ
れる。その際、可変中間層制御部207から入力層記憶部2
03に再認識信号が送られ、入力層記憶部203に保存され
ていた特徴データは固定中間層計算部204及び可変中間
層計算部206へ入力され、出力層計算部205の出力が可変
中間層制御部207に入力され、可変中間層計算部206の制
御に用いられる。出力層計算部205の出力が誤認識信号
の要求を満たした段階で、可変中間層制御部207は可変
中間層計算部206の制御を停止する。

以上、本発明の実施例について述べた。このように本
発明は、可変中間層計算部106,206、可変中間層制御部1
08,207、及び統合部107に関するものである。従来の神
経回路網として３層のフィードフォワード型のニューラ
ルネットを用いたが、より多段のニューラルネットを用
いたものでも、他の学習モデルを用いたものでも、本発
明による追記学習方法は有効である。また、濃淡特徴以
外の特徴量ベクトルを用いても、当然本発明は有効であ
る。

〔発明の効果〕

以上の説明から明らかなように、本発明により１種類
の文字認識部だけでは誤認識してしまう文字が正しく認
識を行うことができ、例えば個人に依存するような手書
文字認識においては、個人の癖などが追加文字認識部に
おける追加辞書に登録することができ、全体として認識
率が向上する。さらに本発明によれば、手紙文字認識の
みならず異なるフォントの印刷文字認識についても有効
で、さらに、文字認識に限らず一般のパターン認識につ
いても本発明は適用可能であり有効である。

【図面の簡単な説明】

第１図は第１の発明であるパターン認識装置のブロック
図、 第２図は第２の発明であるパターン認識装置のブロック
図、 第３図は第１の発明を神経回路網の様式で表したモデル
図、 第４図は第２の発明を神経回路網の様式で表したモデル
図、 第５図は追加中間層に追加されるユニットの作用を説明
するための図、 第６図は追加中間層に追加されるユニットの作用を説明
するための図、 第７図及び第８図は可変中間層制御部における制御手順
を説明する流れ図、 第９図は追加中間層に追加されるユニットの作用を説明
するための図、 第10図及び第11図は可変中間層制御部における制御手順
を説明する流れ図、 第12図は２値の文字画像を濃淡画像に変換するためのデ
ジタルフィルターの例を示す図、 第13図は統合層におけるユニットの出力の手順を説明す
る流れ図、 第14図は従来の３層フィードフォワード型神経回路網の
モデル図である。 101……入力端子 102……特徴抽出部 103……入力層記憶部 104……固定中間層計算部 105……出力層計算部 106……可変中間層計算部 107……統合部 108……可変中間層制御部 109……出力端子 110……入力端子 201……入力端子 202……特徴抽出部 203……入力層記憶部 204……固定中間層計算部 205……出力層計算部 206……可変中間層計算部 207……可変中間層制御部 208……出力端子 209……入力端子 301……入力層 302……固定中間層 303……出力層 304……追加中間層 305……統合層 401……入力層 402……固定中間層 403……出力層 404……追加中間層 1401……入力層 1402……中間層 1403……出力層

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 G06K 9/66 G06T 1/40 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】神経回路網を用いたパターン認識装置にお
   いて、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間層
   計算部と、 前記固定中間層計算部の出力を用いて計算を行う出力層
   計算部と、 前記入力層記憶部の出力に対して興奮性ユニットおよび
   抑制性ユニットを用いて計算を行う可変中間層計算部
   と、 前記出力層計算部の出力と前記可変中間層計算部の出力
   を統合する統合部と、 前記統合部におけるどのユニットの出力値を変更するか
   を指定する誤認識信号に従い、前記ユニットに既に接続
   している前記可変中間層計算部における抑制性ユニット
   のしきい値の修正または新たな興奮性ユニットの追加に
   より前記ユニットの出力値を上げる、あるいは、前記ユ
   ニットに既に接続している前記可変中間層計算部におけ
   る興奮性ユニットのしきい値の修正または新たな抑制性
   ユニットの追加によって前記ユニットの出力値を下げる
   可変中間層制御部と、 を有することを特徴とするパターン認識装置。
2. 【請求項２】神経回路網を用いたパターン認識装置にお
   いて、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間層
   計算部と、 前記入力層記憶部の出力に対して興奮性ユニットおよび
   抑制性ユニットを用いて計算を行う可変中間層計算部
   と、 前記固定中間層計算部の出力と前記可変中間層計算部の
   出力を用いて計算を行う出力層計算部と、 前記出力計算部におけるどのユニットの出力値を変更す
   るかを指定する誤認識信号に従い、前記ユニットに既に
   接続している前記可変中間層計算部における抑制性ユニ
   ットのしきい値の修正または新たな興奮性ユニットの追
   加により前記ユニットの出力値を上げる、あるいは、前
   記ユニットに既に接続している前記可変中間層計算部に
   おける興奮性ユニットのしきい値の修正または新たな抑
   制性ユニットの追加によって前記ユニットの出力値を下
   げる可変中間層制御部と、 を有することを特徴とするパターン認識装置。