JPH0484282A - 追記学習型パターン認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、認識実行中に認識辞書を更新するパターン認
識装置に関するものである。

〔従来の技術〕

従来の神経回路網を用いたパターン認識装置には、一般
に３層のフィードフォワード型神経回路網が用いられ、
認識に必要な認識辞書は学習により自己組織的に作成さ
れ、認識時の追記学習及び内部構造の変化はない。

第１４図に３Ｎフイ一ドフオワード型神経回路網を示す
。入力Ｎ１４０１に入力された入カバターンは中間層１
４０２及び出力層１４０３で演算され、認識結果を出力
する。各層に丸で示したのはユニットと呼ばれるモデル
化された神経細胞である。入力層１４０１の各ユニット
は、一般に入カバターンを保存するメモリの役割を果た
し、入カバターンと同じ値を出力する。中間層１４０２
及び出力層１４０３の各ユニットは入カバターンに近い
側の層の各ユニットから入力を受け、次式に示す計算に
従って出力する。

ｕ−Ｗ−マ〜ｈ（１） ｚ＝ｆ　　（ｕ） ここで、Ｗは重みベクトルと呼ばれ、その成分Ｗλはシ
ナプス荷重の値を表す。マは入力ベクトルと呼ばれ、そ
の成分Ｘ＋　は他のユニットからの入力値を表す。２は
ユニットの出力値である。例えば、中間層１４０２にお
けるユニットについて説明すると、そのユニットに結合
している入力Ｊｉ１４０１のそれぞれのユニットからの
入力がＸ、であり、その重み値がＷ□である。ｈはしき
い値と呼ばれ、Ｕは膜電位と呼ばれる。ｆ　（ｕ）は出
力関数と呼ばれ、一般に次式で示すシグモイド関数が用
いられる。

ｆ　　（ｕ）　＝１／　（１＋ｅｘｐ　（ｕ）　）　　
　　　（２）ある入カバターンについて望ましい出力に
なるように、各層のユニットの重み値及びしきい値を調
整することを学習と呼び、通常は誤差逆伝播学習法（Ｄ
、Ｅ、Ｒｕｍｅｌｈａｒｔ、　Ｇ、Ｅ、Ｈｉｎｔｏｎ　
ａｎｄ　Ｒ，Ｊ、Ｗｉｌｌｉａｍｓ：　Ｌｅａｒｎｉｎ
ｇ　１ｎｔｅｒｎａｌ　ｒｅｐｒ、ｅｓｅｎｔａｔｉｏ
ｎｓ　ｂｙｅｒｒｏｒ　ｐｒｏｐａｇａｔｉｏｎ、　Ｐ
ａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒ。

ｃｅｓｓｉｎｇ、　Ｖｏｌ、ｌ、　Ｊ、Ｌ、ＭｃＣｌｅ
ｌｌａｎｄ、　Ｄ、Ｅ、Ｒｕｍｅｌｈａｒｔａｎｄ　Ｔ
ｈｅ　ＰＤＰ　Ｒｅ５ｅａｒｃｈ　Ｇｒｏｕｐ、　ＭＩ
Ｔ　Ｐｒｅｓｓ＋　１９８６．）が用いられる。この学
習法は、学習パターンを入力層１４０１に入力し、（１
）式で示した計算の結果得られた出力層１４０３からの
出力と、望ましい出力である教師信号との二乗誤差が、
与えた学習パターン全てに対して最小になるように重み
値及びしきい値を変更する。

出力層１４０３の重み値及びしきい値は次式に従って変
更される。

δ（＋１　、　＝　０（３１、（１、（Ｈ，）（ｙｊ−
０°）、）Ｗ　”　１ｊ−Ｗ　”　ｉｊ＋ηδ（３１ｊ
Ｏ（２）ｈ（３）ｊ＝　ｈ（ｆｆ＋、十ηδ３３）、こ
こで、ｏ（Ｈｊ＋　ｈ　（３）、は出力層１４０３のｊ
番目のユニットの出力値及びしきい値、ｙＪは出力層１
４０３のｊ番目のユニットに対する教師信号□、０（２
）。

は中間１ｉ　１４０２のｉ番目のユニットの出力値、ｗ
　（３）　、　ｊは中間層１４０２のｉ番目のユニット
と出力１１４０３のｊ番目のユニットの間の重み値であ
る。

中間層１４０２の重み値及びしきい値は次式に従って変
更される。

δ　Ｈ）　　、　　　＝　　Ｏ（り、　　　（１−０（
り、）　　　　Σ　　Ｗ”’ｊｉ　　δ　０）　。

Ｗ　”　、＝＝　Ｗ　”　ｉｊ＋７７δ＋ｘ＞　ＪＯ（
１）ｈ（Ｈ、＝　ｈ（１）　ｊ十η５　（２）、ここで
、Ｏ（り　ｊ＋　ｈ　（ｔゝ、は中間層１４０２のｊ番
目のユニットの出力値及びしきい値、Ｏ（＋１．は入力
層１４０１のｉ番目のユニットの出力値、Ｗ”ｉｊは入
力１１１４０１のｉ番目のユニットと中間層１４０２の
ｊ番目のユニットの間の重み値、Ｎは出力層１４０３に
含まれるユニットの数である。ηは学習係数と呼ばれ、
ｌより小さい値が用いられる。

一般に各ユニットの重み値及びしきい値の初期値は乱数
によって決定され、次式で示すユニットの出力値ｏ（１
１，と教師信号ｙｊとの二乗誤差Ｅが充分小さくなった
ところで学習を終了する。

この誤差逆伝播学習法を用いた３層のフィードフォワー
ド型神経回路網による認識率が非常に高いことが、最近
の報告により示されている［山田。

上、溝目、天満：　“ニューラルネットを用いた文字認
識°′、信学技報、　ＰＲ０８８−５８，７９−８６（
１９ＢＢ）　］。

〔発明が解決しようとする課題〕

従来の神経回路網を利用したパターン認識装置の場合、
追記学習が困難であるという問題点を持つ。誤差逆伝播
学習法は、学習データ全てに対して出力と教師信号の二
乗誤差を最小にする方法なので、既に学習を行った神経
回路網を利用したパターン認識装置に新たなパターンデ
ータを学習させようとすると、新しいデータのみに学習
辞書が適応し、過去に学習したデータに対する性能を保
持できない。学習によって作成した認識辞書を継承でき
ず、最初から学習に用いた全ての入カバターンデータを
用いて神経回路網全体を再学習しなければならない。神
経回路網の一回の学習は、学習させたい全てのパターン
データを何回も入力して学習が収束するまで行うため、
非常に長い時間がかかる。パターンデータを覚えさせる
度にこの学習過程を繰り返すことは、膨大な計算量と計
算時間を必要とする。手書文字認識など個人に依存する
ようなパターン認識においては、その個人専用の認識辞
書が不可欠であるが、従来の神経回路網を利用したパタ
ーン認識装置では、以上の理由から個人辞書を作成する
ことは非常に困難である。

本発明の目的は、従来の神経回路網を利用したパターン
認識装置の欠点である追記学習が困難という問題点を除
去し、認識時に誤認識したパターンと特徴空間における
そのパターンの近傍に゛あ゛るパターン群を追加辞書と
して登録し、しかもそれまで作成されている標準辞書を
変更することなく認識率を向上させるパターン認識装置
を提供することにある。

［課題を解決するための手段〕 第１の発明は、神経回路網を用いたパターン認識装置に
おいて、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間層
計算部と、 前記固定中間層計算部の出力を用いて計算を行う出力層
計算部と、 前記入力層記憶部の出力を用いて計算を行う可変中間層
計算部と、 前記出力層計算部の出力と前記可変中間層計算部の出力
を統合する統合部と、 前記可変中間層計算部への興奮性ユニット、抑制性ユニ
ットの追加及びしきい値の制御を行う可変中間層制御部
と、 を有することを特徴とする。

第２の発明は、神経回路網を用いたパターン認識装置に
おいて、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間層
計算部と、 前記入力層記憶部の出力を用いて計算を行う可変中間層
計算部と、 前記固定中間層計算部の出力と前記可変中間層計算部の
出力を用いて計算を行う出力層計算部と、前記可変中間
層計算部への興奮性ユニット、抑制性ユニットの追加及
びしきい値の制御を行う可変中間層制御部と、 を有することを特徴とする。

〔作用〕

第１の発明のパターン認識装置で用いる神経回路網のモ
デルを第３図に示す。

入力層３０１．固定中間層３０２．出力層３０３は従来
の３層のフィードフォワード型神経回路網である。

追加中間層３０４と統合層３０５に含まれるユニットは
、（１）式で表されるユニットとは、働きが異なる。

追加中間層３０４のユニットは、次式で表される。

ｕ＝Ｗ−マ／１７１−　ｈ　　　　　　　　　　（３）
ｚ＝１　［ｕｌ ここで、１［ｕｌは階段関数である。したがって、２の
値はＵが正の場合は１、負の場合は０になる。

また、重みベクトルｉは、大きさが１になるように規格
化されている。中間層における１つのユニットは、ある
超平面の識別面を構成する。入力ベクトルの大きさを制
限することで、ある１つの閉空間を、ユニット１つでそ
のユニットの出力が１となる頭載とすることができる（
ユニットの出力が１になることを、以後「発火」という
言葉を用いて表現する）。その様子を第５図に示す。ユ
ニットの識別面は、法線ベクトルが重みベクトルマ、原
点との距離がｈの、ｎ次元空間における超平面となる。

ただし、ｎは入力ベクトルの次元数である。入力ベクト
ルマの大きさが１に規格化されているとすると、入力ベ
クトルの終点は、ｎ次元の単位球面上に存在する。した
がって、このユニットの発火する領域は、第５図の斜線
で示すような閉空間となる。ユニットの発火する領域の
大きさは、しきい値りの選び方に依存する。

統合層３０５の各ユニットは、出力層３０３の各ユニッ
トと１対１に対応して、結合されている。追加中間層３
０４の１つのユニットは、統合層３０５の１つのユニッ
トと興奮的にあるいは抑制的に結合している。統合層３
０５のユニットは、これまで述べてきたユニットとは全
く異なる働きをする。その入出力関係を、第１３図を用
いて説明する。

統合層３０５のユニット（ユニソｌ−Ａと呼ぶ）に結合
している追加中間層３０４のユニットを順番に調べて、
発火しているユニットを捜す（ステップ１３０１、１３
０２）。変数Ａの初期値は１とする。発火しているユニ
ットがあれば、そのユニットが興奮性ユニットか抑制性
ユニットかを調べる（ステップ１３０３）。興奮性ユニ
ットであれば、ユニットＡは１を出力して終了する（ス
テップ１３０４）。抑制性ユニットであれば、変数Ａの
値を０にして（ステップ１３０５）　、次の発火してい
るユニットを捜す。

ユニットＡに結合している追加ユニットＮ個についてこ
の手順を行い（ステップ１３０６．１３０７）　、Ａが
０であったならば（ステップ１３０８）　、すなわち１
つでも発火している抑制性ユニットがあったならば、ユ
ニットＡは０を出力する（ステップ１３０９）。

変数Ａが初期値と変わらなかったならば、ユニットＡに
結合している追加ユニットのいずれも発火していなかっ
たことになり、その場合はユニットＡに結合している出
力層３０３のユニットの出力を、ユニットＡの出力とす
る（ステップ１３１０）。

このような神経回路網を用いると、識別面を修正するこ
とができることを示す。出力層３０３において、あるカ
テゴリＡを表すユニットを、ユニットＡと呼ぶことにす
る。入力ベクトル空間において、ユニットＡが発火する
領域、すなわちカテゴリＡの領域を第６図（ａ）に斜線
で示す。追加中間層３０４にユニットを追加し、ユニッ
トＡに興奮的に結合すると、第６図（ｂ）のように、カ
テゴリＡの領域が追加される。追加されるカテゴリ領域
の位置。

大きさは、追加されるユニットの重みベクトル。

しきい値の設定に依存する。追加中間層３０４にユニッ
トを追加し、ユニットＡに抑制的に結合すると、第６図
（Ｃ）のように、カテゴリＡの領域が削除される。削除
されるカテゴリ領域の位置、大きさは、追加されるユニ
ットの重みベクトル、しきい値の設定に依存する。以上
の手順により、出力層３０３のユニットが構成するカテ
ゴリの識別面を修正することが可能である。

誤認識した入力データに対して、追加中間Ｎ３０４にユ
ニットを追加することによって、以後、正しく認識する
ように識別面を修正することが可能である。ある入力に
対して、出力３０７が望ましいものではなかった場合、
統合層３０５におけるユニットの各出力値を、次に示す
手順により変更することで、望ましい出力値の組を得る
ことができる。

統合層３０５のあるユニット（便宜上、ユニットＡと呼
ぶ）の出力値を上げる手順を第７図に示す。

まず、ユニットＡに結合している追加中間Ｎ３０４のユ
ニットを順番に調べて、発火している抑制性ユニットを
捜す（ステップ７０１．７０２）。もしそのようなユニ
ットがあれば、それによってユニットＡの出力が抑えら
れていると考えられるので、そのユニットのしきい値を
上げ（ステップ７０３）、入力ベクトル空間における追
加ユニットの発火領域に入力ベクトルが含まれないよう
にする。例えば、しきい値りを次式で設定すれば、入力
ベクトルに対して、この追加ユニットは発火しなくなる
。

ｈ＝Ｗ・　（（Ｗ＋マ）ＺＩＷ＋マｌ）　　　　（４）
ただし、Ｗは追加ユニットの重みベクトルであり、マは
入力ベクトルである。

ユニットＡに結合している追加ユニットＮ個についてこ
の手順を行っても（ステップ７０４．７０５）、ユニッ
トＡの出力が上がらない場合は（ステップ７０６）、ユ
ニットＡに結合している出力層３０３のユニットの識別
面が、この入力をそのカテゴリに含む形に構成されてい
ないと考えられる。この場合は、追加中間Ｎ３０４にユ
ニットを追加しくステップ７０７）、ユニットＡに興奮
性の結合をする。その際、追加ユニットの重みベクトル
は大きさが１に規格化された入力ベクトルとし、しきい
値はあるｈｏなる値に設定する。すると、この入力に対
して、あるいは入力ベクトル空間におけるこの近傍の入
力に対して、新たに追加された興奮性ユニットは発火す
ることになり、したがって、ユニットＡは１を出力する
ことになる。

統合層３０５のユニット（ユニットＡと呼ぶ）の出力値
を下げる手順を、第８図に示す。まず、ユニットＡに結
合している追加中間層のユニットを順番に調べて、発火
している興奮性ユニットを捜す（ステップ８０１．８０
２）。もしそのようなユニットがあれば、それによって
ユニットＡの出力が大きくなっていると考えられるので
、そのユニ・ントのしきい値を上げ（ステップ８０３）
、入力ベクトル空間における追加ユニットの発火領域に
入力ベクトルが含まれないようにする。例えば、（４）
式のようにしきい値りを設定する。

ユニットＡに結合している追加ユニットＮ個についてこ
の手順を行っても（ステップ８０４．８０５）、ユニッ
トＡの出力が下がらない場合は（ステップ８０６）、ユ
ニットＡに結合している出力層３０３のユニットの識別
面が、この入力をそのカテゴリに含む形に構成されてい
ないと考えられる。この場合は、追加中間層３０４にユ
ニットを追加しくステップ８０７）、ユニッｌ−Ａに抑
制性の結合をする。その際、追加ユニットの重みベクト
ルは大きさが１に規格化された入力ベクトルとし、しき
い値はあるｈｏなる値に設定する。すると、この入力に
対して、ある入力ベクトル空間におけるこの近傍の入力
に対して、新たに追加された抑制性ユニットは発火する
ことになり、したがってユニットＡの出力は抑えられＯ
になる。

以上述べた手順により、興奮性ユニットあるいは抑制性
ユニットを用い、従来の神経回路網の出力である出力層
３０３による識別面を修正でき、誤認識した入力を以後
正しく認識することが可能になる。

次に第２の発明の作用を、第４図を用いて説明する。こ
の神経回路網は第３図の神経回路網と異なり、統合層を
持たず、追加中間層４０４の出力は、直接出力層４０３
に入力される。入力層４０１．固定中間層４０２．出力
Ｎ４０３は従来の３層のフィードフォワード型神経回路
網であり、入力層４０１のユニットは入力ベクトルを保
存する働きをし、固定中間層４０２のユニットの入出力
関係は、（１）、　（２）式で表される。追加中間層４
０４のユニットの入出力関係は、（３）式で表される。

ただし、第１の発明と異なり、追加中間層４０４のユニ
ットは、出力層４０３のユニットと重みＳのシナプス結
合をしている。

Ｓが正の場合は興奮性結合、Ｓが負の場合は抑制性結合
を意味する。したがって、出力層４０３におけるユニッ
トの人出力関係を式で表すと、ｚ＝ｆ　　（ｕ） となる。ここで、マは固定中間層４０２からの入力ベク
トル、Ｗは固定中間層４０２と出力層４０３０間の重み
ベクトル、ｈはしきい値である。Ｎはこのユニットに結
合している追加中間層４０４の数であり、Ｓｉ＋　　ｙ
ｉは結合している追加中間Ｎ４０４のユニットの重み値
と出力値である。ただし、ｙ。

は（３）弐における２のことであるから、Ｏあるいは１
の値をとる。ｆ　　（ｕ）は（２）式で表されるシグモ
イド関数である。

追加中間Ｎ４０４に興奮性あるいは抑制性ユニットを追
加することによって、出力層４０３で構成される識別面
を修正することができる。出力層４０３において、ある
カテゴリＡを表すユニットを、ユニットＡと呼ぶことに
する。入力ベクトル空間において、ユニットＡが発火す
る領域、すなわちカテゴリＡの領域を第９図（ａ）に斜
線で示す。追加中間Ｎ４０４にユニットを追加し、ユニ
ットＡに興奮的に結合させると、第９図（ロ）のように
、カテゴリＡの領域が追加される。追加されるカテゴリ
領域の位置、大きさは、追加されるユニットの重みベク
トル、しきい値の設定に依存する。また、追加ユニット
の発火領域内におけるカテゴリＡの識別面の移動量は、
興奮性結合の強さに依存する。追加中間層４０４にユニ
ットを追加し、ユニットＡに・抑制的に結合させると、
第９図（Ｃ）のように、カテゴリＡの領域が削除される
。削除されるカテゴリ領域の位置、大きさは、追加され
るユニットの重みベクトル、しきい値の設定に依存する
。また、追加ユニットの発火領域内におけるカテゴリＡ
の識別面の移動量は、抑制性結合の強さに依存する。

以上の手順により、出力層４０３のユニットが構成する
カテゴリの識別面を修正することが可能である。

誤認識した入力データに対して、追加中間層４０４にユ
ニットを追加することによって、以後正しく認識するよ
うに識別面を修正することが可能である。ある入力に対
して、出力が望ましいものではなかった場合、出力層４
０３における各ユニットの出力値を、次に示す手順によ
り上げ下げすることで、望ましい出力値の組を得ること
ができる。

出力層４０３のあるユニット（便宜上、ユニットＡと呼
ぶ）の出力値を上げる手順を第１０図に示す。

まず、ユニッ）Ａに結合している追加中間層４０４のユ
ニットを順番に調べて、発火している抑制性ユニットを
捜す（ステップ１００Ｌ　１００２）。もしそのような
ユニットがあれば、それによってユニットＡの出力が抑
えられていると考えられるので、そのユニットのしきい
値を上げ（ステップ１００３）、入力ベクトル空間にお
ける追加ユニットの発火領域に入力ベクトルが含まれな
いようにする。例えば、しきい値りを（４）式で設定す
れば、入力ベクトルに対して、この追加ユニットは発火
しなくなる。

ユニットＡに結合している追加ユニット８個についてこ
の手順を行っても（ステップ１００４．１００５）ユニ
ットＡの出力が十分上がらない場合は（ステップ１００
６）　、ユニッ）Ａの識別面が、この入力をそのカテゴ
リに含む形に構成されていないと考えられる。この場合
は、追加中間層４０４にユニットを追加しくステップ１
００７）　、ユニットＡに興奮性の結合をする。その際
、追加ユニットの重みベクトルは大きさが１に規格化さ
れた入力ベクトルとし、しきい値はあるｈｏなる値に設
定する。興奮性結合の重みｓ　（＞Ｏ）は、ユニットへ
の出力値が十分大きくなるまで大きくする（ステップ１
００８゜１００９）　　。

出力層４０３のユニット（ユニットＡと呼ぶ）の出力値
を下げる手順を、第１１図に示す。まず、ユニットＡに
結合している追加中間層４０４のユニットを順番に調べ
て、発火している興奮性ユニットを捜す（ステップＬＩ
Ｏ１，１１０２）。もしそのようなユニットがあれば、
それによってユニットＡの出力が大きくなっていると考
えられるので、そのユニットのしきい値を上げ（ステッ
プ１１０３）　、入力ベクトル空間における追加ユニッ
トの発火領域に入力ベクトルが含まれないようにする。

例えば、（４）式のようにしきい値りを設定する。

ユニットＡに結合している追加ユニット８個についてこ
の手順を行っても（ステップ１１０４．１１０５）、ユ
ニットＡの出力が十分下がらない場合は（ステップ１１
０６）　、ユニットＡの識別面が、この入力をそのカテ
ゴリに含む形に構成されていないと考えられる。この場
合は、追加中間層４０４にユニットを追加しくステップ
１１０７）　、ユニットＡに抑制性の結合をする。その
際、追加ユニットの重みベクトルは大きさが１に規格化
された入力ベクトルとし、しきい値はあるｈｏなる値に
設定する。抑制性結合の重みｓ　（＜Ｏ）は、ユニッ）
Ａの出力値が十分小さくなるまで小さくする（ステップ
１１０８゜１１０９）。

以上述べた手順により、興奮性ユニットあるいは抑制性
ユニットを用い、従来の神経回路網の出力である出力層
４０３による識別面を修正でき、誤認識した入力を以後
正しく認識することが可能となる。

ここでは、説明のために、入力層、固定中間層。

出力層からなる３層の神経回路網を用いたが、固定中間
層を複数有する神経回路網に対しても、以上述べた作用
は有効である。また、追加中間層の１つのユニットの出
力１本であったが、興奮性あるいは抑制性の結合を複数
持つように拡張することもできる。

〔実施例〕

以下、本発明の実施例を図面を参照して説明する。

第１図に、第１の発明のパターン認識装置の一実施例を
示す。

このパターン認識装置は、特徴抽出部１０１　と、入力
層記憶部１０３と、入力層記憶部１０３の出力を用いて
計算を行う固定中間層計算部１０４と、固定中間層計算
部１０４の出力を用いて計算を行う出力層計算部１０５
と、入力層記憶部１０３の出力を用いて計算を行う可変
中間層計算部１０６と、出力層計算部１０５の出力と前
記可変中間層計算部１０６の出力を統合する統合部１０
７と、可変中間層計算部１０６への興奮性ユニット、抑
制性ユニットの追加及びしきい値の制御を行う可変中間
層制御部１０８とを備えている。

入力端子１０１に入力された入力信号は、特徴抽出部１
０２において特徴データとなり、入力層記憶部１０３に
保存される。入力層記憶部１０３に保存された特徴デー
タの一方は、固定中間層計算部１０４に入力され、その
計算結果は出力層計算部１０５に入力され、その計算結
果は統合部１０７に入力される。入力層記憶部１０３に
保存された特徴データのもう一方は、可変中間層計算部
１０６に入力され、その計算結果は統合部１０７に入力
される。統合部１０７において２つの計算結果が統合さ
れ、出力端子１０９から認識結果が出力される。

認識結果が誤認識であると判断された場合には、誤認識
信号が入力端子１１０から入力され、可変中間層制御部
１０８に送られる。可変中間層制御部１０Ｂは、誤認識
信号に従い、可変中間層計算部１０６の計算に用いられ
るパラメータを変更し、入力層記憶部１０３に再認識信
号を入力する。再認識信号を受けた入力層記憶部１０３
は、記憶されている特徴データを固定中間層計算部１０
４及び可変中間層計算部１０６に送り、認識過程が繰り
返される。

統合部１０７からの出力は可変中間層計算部１０Ｂに送
られ、認識結果の判断が行われ、正しく認識されるまで
、可変中間層制御部１０８による可変中間層計算部１０
６の制御が行われる。

文字認識を例にとり、さらに具体的に説明する。

入力文字画像は、横ｍ画素、縦れ画素の２値画像とする
。黒画素が１、白画素が０に対応する。ここで、ｍ、ｎ
は２値画像の文字が判読できる程度の解像度となる自然
数であるが、便宜上ｍを２７、ｎを特徴とする 特徴抽出部１０２において、２値の入力文字画像は、そ
の文字の特徴を表す特徴量ベクトルに変換されるが、こ
こでは説明のため濃淡特徴ベクトルに変換されるものと
する。つまり、入力文字画像は、特徴抽出部において、
横ｍ′画素、縦ｎ′画素の濃淡画像に変換されるものと
する。ｍ′　とｎ′の値は、それぞれ９．１１とする。

変換方法は、横方向に３画素おきに、縦方向に３画素お
きに、第１２図に示すようなデジタルフィルターを施し
、濃淡値に変換する。デジタルフィルターをａａａ（−
２≦ｉ≦２．−２≦ｊ≦２）とし、２値画像をす、・、
・とじて変換後の濃淡画像をｇ　ｉ’　ｊ・とすると、
変換は次式で示される。

ｇ　ｉ’　ｊ’。Σ　Σ　ａ　ｉＪＸ　ｂ　：＋ｉ’　
−１４１＋　　３Ｊ−１＊ｊ（６）ただし、ｉｌ、　　
ｊｌは、１≦ｉ′≦９，１≦ｊ′≦１１なる自然数であ
る。この変換により、入力文字画像は、９Ｘ１１＝９９
次元の特徴量ベクトルとなる。

入力層記憶部１０３は、入力層３０１に対応している。

入力層記憶部１０３に含まれるユニットの数をＮ　ｉ　
ｎとすると、このユニットは特徴量ベクトルを記憶する
ために使われるため、合計Ｎ　ｉ　ｎ個のメモリが必要
である。今の場合、９９個のメモリが用意されており、
上で述べた９９次元の特徴量ベクトルのそれぞれの成分
の値が保存される。

固定中間層計算部１０４は、固定中間Ｎ３０２に対応す
る。固定中間Ｎ３０２に含まれるユニットの数をＮ　ｆ
　ｉ　Ｘとすると、ユニット１つに対して、入力層３０
１との結合の重み値を記憶するＮ４個のメモリ、しきい
値を記憶する１個のメモリ、及びその計算結果を記憶す
る１個のメモリが必要なので、合計ＮｆｉｘＸ　（Ｎｉ
ｎ＋２）個のメモリが用意されている。固定中間層計算
部１０４の計算は、（１）式及び（２）式を用いて行わ
れる。固定中間層３０２に含まれるユニットの数Ｎ　ｆ
　ｉ　Ｘは便宜上４０とする。

出力層計算部１０５は、出力層３０３に対応する。

出力層３０３に含まれるユニットの数をＮ。Ｕ、とする
と、ユニット１つに対して、固定中間層３０２との結合
の重み値を記憶するＮ　ｆ　ｉ　ｘ個のメモリ、しきい
値を記憶する１個のメモリ、及びその計算結果を記憶す
る１個のメモリが必要なので、合計Ｎ　ｏｕｔ　Ｘ　（
Ｎ　ｔ＋、ｘ　＋　２　）個のメモリが用意されている
。出力層計算部１０５の計算は、（１）式及び（２）式
を用いて行われる。出力層３０３に含まれるユニットの
数は、識別させたいカテゴリの数によって定まる。例え
ば、０から９までの１０個の印刷数字を入力文字画像と
した場合、識別させたいカテゴリ数は１０個となるので
、Ｎ　ｏ　ｕ　ｔ　は１０個となる。

可変中間層計算部１０６は、追加中間層３０４に対応す
る。追加中間層３０４に含まれるユニット１つに対して
、入力層３０１　との結合の重み値を記憶するＮ１個の
メモリ、しきい値を記憶する１個のメモリ、その計算結
果を記憶する１個のメモリ、及び統合層３０５のユニッ
トとの結合の種類を記憶する１個のメモリの合計（Ｎ、
、、＋　３　）個のメモリが必要になる。ここで、結合
の種類は例えば「＋３」「−２」などと表されるものと
する。「＋３」とは統合層３０５の３番目のユニットへ
の興奮性結合を意味し、「−２」とは統合層３０５の２
番目のユニットへの抑制性結合を意味する。追加中間層
３０４のユニットは学習により追加されるので、ユニッ
トの数は増加する。可変中間層計算部１０６のメモリは
可変になっており、ユニット数がＮ、６４の場合は、可
変中間層計算部１０６のメモリの合計はＮｍａａＸ　（
Ｎ、、＋　３　）になる。可変中間層計算部１０６の計
算は、（３）式を用いて行われる。

統合部１０７は、統合層３０５に対応する。統合部１０
７は、出力層計算部１０５の出力と可変中間層計算部１
０６の出力を用い、第１３図に従った計算を行い、出力
層３０３のユニット数と同じＮ　Ｑ　ｕ　を個の出力信
号を出力する。

固定中間層計算部１０４及び出力層計算部１０５におけ
る重み値及びしきい値は、誤差逆伝播学習法により既に
設定されるものとする。この学習は、可変中間層計算部
１０６には無関係に進められる。

誤認識が生じた場合、誤認識信号が入力端子１１０に入
力される。この誤認識信号は、出力端子１０９から出力
されるＮ。ｕｔ個の信号の組に対して、何番目の信号値
を上げるか、あるいは何番目の信号値を下げるかという
番号の組である。例えば、印刷数字の認識の場合はＮ。

ｕｔが１０個であり、１番目の出力信号は数字の「１」
、２番目の出力信号は数字の「２」、・・・、１０番目
の出力信号は数字の「０」を表すカテゴリであるとする
と、「３」のカテゴリに属する入力信号を正しい出力信
号の組は（０，０，１，０，０，Ｏ，Ｏ，Ｏ，０，０１
である。誤認識の出力信号の組（０，１，０，００、Ｏ
，Ｏ，Ｏ，Ｏ，Ｏ）に対しては、（−２゜＋３）なる誤
認識信号を入力端子１１０に送ることになる。ここで、
例えば、出力値が０．８以上の場合にそのカテゴリに含
まれる、０．２以下の場合にそのカテゴリに含まれない
と考える場合は、「−２」は２番目の出力信号を０．２
より下げることを意味し、「＋３」は３番目の出力信号
を０６８より上げることを意味する。

誤認識信号を受けた可変中間層制御部１０８は、第７図
及び第８図に示した手順により、可変中間層計算部１０
６内に存在するしきい値の変更、あるいは、新たなユニ
ットの追加すなわちユニット分のメモリの確保、及び重
み値、しきい値、結合の種類が設定される。その際、可
変中間層制御部１０８から入力層記憶部１０２に再認識
信号が送られ、入力層記憶部１０８に保存されていた特
徴データは固定中間層計算部１０４及び可変中間層計算
部１０６へ入力され、統合部１０７の出力が可変中間層
制御部１０８に入力され、可変中間層計算部１０６の制
御に用いられる。統合部１０７の出力が誤認識信号の要
求を満たした段階で、可変中間層制御部１０８は・可変
中間層計算部１０６の制御を停止する。

第２図に、第２の発明のパターン認識装置の一実施例を
示す。

このパターン認識装置は、特徴抽出部２０２と、入力層
記憶部２０３と、入力層記憶部２０３の出力を用いて計
算を行う固定中間層計算部２０４と、入力層記憶部２０
３の出力を用いて計算を行う可変中間層計算部２０６と
、固定中間層計算部２０４の出力と可変中間層計算部２
０６の出力を用いて計算を行う出力層計算部２０５と、
可変中間層計算部２０６への興奮性ユニット、抑制性ユ
ニットの追加及びしきい値の制御を行う可変中間層制御
部２０７とを備えている。

入力端子２０１に入力された入力信号は、特徴抽出部２
０２において特徴データとなり、入力層記憶部２０３に
保存される。入力層記憶部２０３に保存された特徴デー
タの一方は、固定中間層計算部２０４に入力され、もう
一方は、可変中間層計算部２０６に入力される。２つの
計算結果は出力層計算部２０５に入力され、計算が行わ
れ、出力端子２０８から認識結果が出力される。

認識結果が誤認識であると判断された場合には、誤認識
信号が入力端子２０９から入力され、可変中間層制御部
２０７に送られる。可変中間層制御部２０７は、誤認識
信号に従い、可変中間層計算部２０６の計算に用いられ
るパラメータを変更し、入力層記憶部２０３に再認識信
号を入力する。再認識信号を受けた入力層記憶部２０３
は、記憶されている特徴データを固定中間層計算部２０
４及び可変中間層計算部２０６に送り、認識過程が繰り
返される。出力層計算部２０５からの出力は可変中間層
制御部２０７に送られ、認識結果の判断が行われ、正し
く認識されるまで、可変中間層制御部２０７による可変
中間層計算部２０６の制御が行われる。

文字認識を例にとると、特徴抽出部２０２において、２
値の入力文字画像は、その文字の特徴を表す特徴量ベク
トルに変換される。第１図の実施例と同じく、ここでは
説明のため濃淡特徴ベクトルに変換されるものとする。

この変換により、入力文字画像は、９Ｘ１１＝９９次元
の特徴量ベクトルとなる。

入力層記憶部２０３は、入力層４０１に対応している。

入力層記憶部２０３に含まれるユニットの数をＮ　ｉ　
ｎとすると、このユニットは特徴量ベクトルを記憶する
ために使われるため、合計Ｎ１．、個のメモリが必要で
ある。今の場合、９９個のメモリが用意されており、上
で述べた９９次元の特徴量ベクトルのそれぞれの成分の
値が保存される。

固定中間層計算部２０４は、固定中間層４０２に対応す
る。固定中間層４０２に含まれるユニットの数をＮ　ｆ
　ｉ　Ｘとすると、ユニット１に対して、入力層４０１
　との結合の重み値を記憶するＮ　ｉ　ｎ個のメモリ、
しきい値を記憶する１個のメモリ、及びその計算結果を
記憶する１個のメモリが必要なので、合計Ｎ、、ｘ　（
Ｎ、、＋２）個のメモリが用意されている。固定中間層
計算部２０４の計算は、（１）式及び（２）式を用いて
行われる。固定中間層４０２に含まれるユニットの数Ｎ
　ｆ　ｉ　Ｘは、通常用いられる方法によって決定され
ることにする。つまり、３層のフィードフォワード型の
神経回路網において、未学習データに対して最も認識率
が高くなるように設定される。

出力層計算部２０５は、出力層４０３に対応する。

出力層４０３に含まれるユニットの数をＮ。ｕｔとする
と、ユニット１つに対して、固定中間層３０２との結合
の重み値を記憶するＮ　ｆ　ｉ　Ｘ個のメモリ、しきい
値を記憶する１個のメモリ、及びその計算結果を記憶す
る１個のメモリが必要なので、合計Ｎ、、ｔＸ　（Ｎｆ
ｉｘ＋２　）個のメモリが用意されている。出力層計算
部２０５の計算は、（５）式を用いて行われる。出力層
４０３に含まれるユニットの数は、識別させたいカテゴ
リの数によって定まる。例えば、０から９までの１０個
の印刷数字を入力文字画像とした場合、識別させたいカ
テゴリ数は１０個となるので、Ｎ　６　Ｌｌ　ｔは１０
となる。

可変中間層計算部２０６は、追加中間層４０４に対応す
る。追加中間層４０４に含まれるユニット１つに対して
、入力層４０１との結合の重み値を記憶するＮ　ｉ　ｎ
個のメモリ、しきい値を記憶する１個のメモリ、その計
算結果を記憶する１個のメモリ、結合する出力層４０３
のユニットの番号を記憶する１個のメモリ、及びその結
合の重み値を記憶する１個のメモリの合計（Ｎ、。＋４
）個のメモリが必要になる。追加中間層４０４のユニッ
トは学習により追加されるので、ユニットの数は増加す
る。可変中間層計算部２０６のメモリは可変になってお
り、ユニット数がＮ　ａｄｄの場合は、可変中間層計算
部２０６のメモリの合計はＮ、ｄｄＸ　（Ｎｉｎ＋４）
になる。可変中間層計算部２０６の計算は、（３）式を
用いて行われる。

固定中間層計算部２０４及び出力層計算部２０５におけ
る重み値、あるいはしきい値は、誤差逆伝播学習法によ
り既に設定されるものとする。この学習は、可変中間層
計算部１０６には無関係に進められる。

誤認識が生じた場合、誤認識信号が入力端子２０９に入
力される。この誤認識信号は、出力端子２０８から出力
されるＮ。ｕｔ個の信号の組に対して、何番目の信号値
を上げるか、あるいは何番目の信号値を下げるかという
番号の組である。例えば、印刷数字の認識の場合はＮ。

Ｕ、が１０個であり、１番目の出力信号は数字のｒｌＪ
、２番目の出力信号は数字の「２」、・・・、１０番目
の出力信号は数字の「０」を表すカテゴリであるとする
と、「３」のカテゴリに属する入力信号を正しい出力信
号の組は（０，０，１，０，０，Ｏ，Ｏ，Ｏ，０，０）
である。誤認識の出力信号の組（０，１，０，０゜０．
０．０．Ｏ，０，０）に対しては、（−２゜＋３）なる
誤認識、信号を入力端子２０９に送ることになる。ここ
で、「−２」は２番目の出力信号をあるしきい値（第１
の発明の実施例と同じく、仮に０．２とする）より下げ
ることを意味し、「＋３」は３番目の出力信号をあるし
きい値（第１の発明の実施例と同じく、仮に０．８とす
る）より上げることを意味する。

誤認識信号を受けた可変中間層制御部２０７は、第１０
図及び第１１図に示した手順により、可変中間層計算部
２０６内に存在するしきい値の変更あるいは、新たなユ
ニットの追加すなわちユニット分のメモリの確保、及び
重み値、しきい値、結合する相手、及びその重み値が設
定される。その際、可変中間層制御部２０７から入力層
記憶部２０３に再認識信号が送られ、入力層記憶部２０
３に保存されていた特徴データは固定中間層計算部２０
４及び可変中間層計算部２０６へ入力され、出力層計算
部２０５の出力が可変中間層制御部２０７に入力され、
可変中間層計算部２０６の制御に用いられる。出力層計
算部２０５の出力が誤認識信号の要求を満たした段階で
、可変中間層計算部、部２０７は可変中間層計算部２０
６の制御を停止する。

以上、本発明の実施例について述べた。このように本発
明は、可変中間層計算部１０６．２０６、可変中間層制
御部１０８．２０７、及び統合部１０７に関するもので
ある。従来の神経回路網として３層のフィードフォワー
ド型のニューラルネットを用いたが、より多段のニュー
ラルネットを用いたものでも、他の学習モデルを用いた
ものでも、本発明による追記学習方法は有効である。ま
た、濃淡特徴以外の特徴量ベクトルを用いても、当然本
発明は有効である。

〔発明の効果〕

以上の説明から明らかなように、本発明により１種類の
文字認識部だけでは誤認識してしまう文字が正しく認識
を行うことができ、例えば個人に依存するような手書文
字認識においては、個人の癖などが追加文字認識部にお
ける追加辞書に登録することができ、全体として認識率
が向上する。

さらに本発明によれば、手書文字認識のみならず異なる
フォントの印刷文字認識についても有効で、さらに、文
字認識に限らず一般のパターン認識についても本発明は
適用可能であり有効である。

【図面の簡単な説明】

第１図は第１の発明であるパターン認識装置のブロック
図、 第２図は第２の発明であるパターン認識装置のブロック
図、 第３図は第１の発明を神経回路網の様式で表したモデル
図、 第４図は第２の発明を神経回路網の様式で表したモデル
図、 第５図は追加中間層に追加されるユニットの作用を説明
するための図、 第６図は追加中間層に追加されるユニットの作用を説明
するための図、 第７図及び第８図は可変中間層制御部における制御手順
を説明する流れ図、 第９図は追加中間層に追加されるユニットの作用を説明
するための図、 第１０図及び第１１図は可変中間層制御部における制御
手順を説明する流れ図、 第１２図は２値の文字画像を濃淡画像に変換するための
デジタルフィルターの例を示す図、第１３図は統合層に
おけるユニットの出力の手順を説明する流れ図、 第１４図は従来の３層フィードフォワード型神経回路網
のモデル図である。 １０１　　・・・・・入力端子 １０２　・・・・・特徴抽出部 １０３　　・・・・・入力層記憶部 １０４　　・・・・・固定中間層計算部１０５　　・・
・・・出力層計算部 １０６　　・・・・・可変中間層計算部１０７　　・・
・・・統合部 １０８　　・・・・・可変中間層制御部１０９　　・・
・・・出力端子 １１０　　・・・・・入力端子 ２０１　　・・・・・入力端子 ２０２　　・・・・・特徴抽出部 ２０３　　・・・・・入力層記憶部 ２０４　・　・　・　・ ２０５　・　・　・　・ ２０６　・　・　・　・ ２０７　・　・　・　・ ２０８　・　・　・　・ ２０９　・　・　・　・ ３０１　・　・　・　・ ３０２　・　・　・　・ ３０３　・　・　・　・ ３０４　・　・　・　・ ３０５　・　・　・　・ ４０１　・　・　・　・ ４０２　・　・　・　・ ４０３　・　・　・　・ ４０４　・　・　・　・ １４０１・　・　・　・ １４０２・　・　・　・ １４０３・　・　・　・ ・固定中間層計算部 ・出力層計算部 ・可変中間層計算部 ・可変中間層制御部 ・出力端子 ・入力端子 ・入力層 ・固定中間層 ・出力層 ・追加中間層 ・統合層 ・入力層 ・固定中間層 ・出力層 ・追加中間層 ・入力層 ・中間層 ・出力層

Claims (2)

【特許請求の範囲】
1. （１）神経回路網を用いたパターン認識装置において、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間層
   計算部と、 前記固定中間層計算部の出力を用いて計算を行う出力層
   計算部と、 前記入力層記憶部の出力を用いて計算を行う可変中間層
   計算部と、 前記出力層計算部の出力と前記可変中間層計算部の出力
   を統合する統合部と、 前記可変中間層計算部への興奮性ユニット、抑制性ユニ
   ットの追加及びしきい値の制御を行う可変中間層制御部
   と、 を有することを特徴とするパターン認識装置。
2. （２）神経回路網を用いたパターン認識装置において、 入力層記憶部と、 前記入力層記憶部の出力を用いて計算を行う固定中間層
   計算部と、 前記入力層記憶部の出力を用いて計算を行う可変中間層
   計算部と、 前記固定中間層計算部の出力と前記可変中間層計算部の
   出力を用いて計算を行う出力層計算部と、前記可変中間
   層計算部への興奮性ユニット、抑制性ユニットの追加及
   びしきい値の制御を行う可変中間層制御部と、 を有することを特徴とするパターン認識装置。