JPH0554164A - 神経回路網 - Google Patents
神経回路網Info
- Publication number
- JPH0554164A JPH0554164A JP23702291A JP23702291A JPH0554164A JP H0554164 A JPH0554164 A JP H0554164A JP 23702291 A JP23702291 A JP 23702291A JP 23702291 A JP23702291 A JP 23702291A JP H0554164 A JPH0554164 A JP H0554164A
- Authority
- JP
- Japan
- Prior art keywords
- neural
- learning
- evaluation value
- pattern
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 神経回路網の学習時、学習パタンに評価値を
与え学習し、学習パタンの品質に応じて判定規準を可変
にすることにより、汎化性の高い神経回路網を実現す
る。 【構成】 神経回路網は入力ユニット２に特徴ベクトル
１を入力し、教師信号としてカテゴリー信号４と学習パ
タンの評価値５を与えて学習する。神経素子３は学習パ
タンの評価値５に対応した評価値を有し、神経素子の評
価値は学習パタンの評価値を近似するよう学習する。神
経回路網により認識時、ｋ個の距離値の小さい神経素子
をｋ−神経素子選択部７において選択し、各カテゴリー
毎に評価値の期待値９を計算する。判定ユニット１０で
は評価値の期待値の最大値と棄却用神経素子８の出力値
をもとにカテゴリーの判定処理または棄却処理を行う。
与え学習し、学習パタンの品質に応じて判定規準を可変
にすることにより、汎化性の高い神経回路網を実現す
る。 【構成】 神経回路網は入力ユニット２に特徴ベクトル
１を入力し、教師信号としてカテゴリー信号４と学習パ
タンの評価値５を与えて学習する。神経素子３は学習パ
タンの評価値５に対応した評価値を有し、神経素子の評
価値は学習パタンの評価値を近似するよう学習する。神
経回路網により認識時、ｋ個の距離値の小さい神経素子
をｋ−神経素子選択部７において選択し、各カテゴリー
毎に評価値の期待値９を計算する。判定ユニット１０で
は評価値の期待値の最大値と棄却用神経素子８の出力値
をもとにカテゴリーの判定処理または棄却処理を行う。
Description
【０００１】
【産業上の利用分野】本発明は神経回路網の学習方法と
神経回路網による認識方法に関し、特に手書きの変形を
有する文字、マルチフォント印刷文字、オムニフォント
印刷文字を自動認識する神経回路網による文字認識方法
に関する。
神経回路網による認識方法に関し、特に手書きの変形を
有する文字、マルチフォント印刷文字、オムニフォント
印刷文字を自動認識する神経回路網による文字認識方法
に関する。
【０００２】
【従来の技術】神経回路網には多層パーセプトロンなど
の階層型神経回路網、自己組織化特徴マップ、学習ベク
トル量子化などの自己組織モデルなどが存在する。多層
パーセプトロンでは非線形な超平面でカテゴリー間の識
別面を形成するのに対し、学習ベクトル量子化では個々
の標準パタン間の境界がカテゴリーの識別面となる。両
者のいずれにおいても、他のカテゴリーが近接する領域
では識別能力の高い非線形の境界面が得られる。多層パ
ーセプトロンでは全学習パタンから識別面を生成してお
り、識別面の部分的な修正が困難なのに対し、学習ベク
トル量子化では標準パタンは学習パタンの部分集合から
学習しており、識別面の部分的修正が可能かつ識別面の
解析が容易である。このように学習ベクトル量子化には
利点があるので、本発明の神経回路網については学習ベ
クトル量子化と比較し説明を行う。
の階層型神経回路網、自己組織化特徴マップ、学習ベク
トル量子化などの自己組織モデルなどが存在する。多層
パーセプトロンでは非線形な超平面でカテゴリー間の識
別面を形成するのに対し、学習ベクトル量子化では個々
の標準パタン間の境界がカテゴリーの識別面となる。両
者のいずれにおいても、他のカテゴリーが近接する領域
では識別能力の高い非線形の境界面が得られる。多層パ
ーセプトロンでは全学習パタンから識別面を生成してお
り、識別面の部分的な修正が困難なのに対し、学習ベク
トル量子化では標準パタンは学習パタンの部分集合から
学習しており、識別面の部分的修正が可能かつ識別面の
解析が容易である。このように学習ベクトル量子化には
利点があるので、本発明の神経回路網については学習ベ
クトル量子化と比較し説明を行う。
【０００３】学習ベクトル量子化は、パタンを入力する
入力ユニット、標準パタン、判定結果を出力する出力ユ
ニットからなる。文字認識などの応用において、学習パ
タンとしては文字パタンから特徴抽出処理を行うことに
より得られる特徴ベクトルｘを入力ユニットに与え、文
字カテゴリーを教師信号としてカテゴリー名Ｓi を与え
て学習する。
入力ユニット、標準パタン、判定結果を出力する出力ユ
ニットからなる。文字認識などの応用において、学習パ
タンとしては文字パタンから特徴抽出処理を行うことに
より得られる特徴ベクトルｘを入力ユニットに与え、文
字カテゴリーを教師信号としてカテゴリー名Ｓi を与え
て学習する。
【０００４】カテゴリーＳi （ｉ＝１，……，Ｎ）をＭ
個のサブカテゴリーにＳij（ｊ＝１，……，Ｍ）に分割
し、各サブカテゴリーの標準パタンをＭijとする。学習
パタンｘと標準パタンｍi 間の距離計算を式（１）に基
づき行う。 ｄ（ｘ，ｍij）＝‖ｘ−ｍij‖ （１） ノルムとしては一般にユークリッドノルムを用いる。学
習パタンとしてカテゴリーＳr に属するパタンｘ（ｔ）
が入力されたとき、標準パタンｍijの中でｘ（ｔ）に最
も距離の小さい標準パタンをｍi'j'とする。ｍi'j'がカ
テゴリーＳs の標準パタンであるとき、学習は式（２）
−（４）にて行われる。ここで、ｔは時刻を示し係数α
（ｔ）は時間とともに変化する。 Ｓs ＝Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)+α(t)[ｘ(t)-ｍi'j'(t)] （２） Ｓs ≠Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)-α(t)[ｘ(t)-ｍi'j'(t)] （３） ｉ≠ｉ’かつｊ≠ｊ’のとき ｍij(t+1)=ｍij(t) （４）
個のサブカテゴリーにＳij（ｊ＝１，……，Ｍ）に分割
し、各サブカテゴリーの標準パタンをＭijとする。学習
パタンｘと標準パタンｍi 間の距離計算を式（１）に基
づき行う。 ｄ（ｘ，ｍij）＝‖ｘ−ｍij‖ （１） ノルムとしては一般にユークリッドノルムを用いる。学
習パタンとしてカテゴリーＳr に属するパタンｘ（ｔ）
が入力されたとき、標準パタンｍijの中でｘ（ｔ）に最
も距離の小さい標準パタンをｍi'j'とする。ｍi'j'がカ
テゴリーＳs の標準パタンであるとき、学習は式（２）
−（４）にて行われる。ここで、ｔは時刻を示し係数α
（ｔ）は時間とともに変化する。 Ｓs ＝Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)+α(t)[ｘ(t)-ｍi'j'(t)] （２） Ｓs ≠Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)-α(t)[ｘ(t)-ｍi'j'(t)] （３） ｉ≠ｉ’かつｊ≠ｊ’のとき ｍij(t+1)=ｍij(t) （４）
【０００５】学習ベクトル量子化における学習は、標準
パタンは同一カテゴリーの学習パタンが入力されたとき
学習パタンに近づき、異カテゴリーの学習パタンが入力
されたとき学習パタンから遠ざかる。
パタンは同一カテゴリーの学習パタンが入力されたとき
学習パタンに近づき、異カテゴリーの学習パタンが入力
されたとき学習パタンから遠ざかる。
【０００６】次に、判定処理は特徴ベクトルｘを未知入
力パタンの特徴ベクトルとしたとき、式（１）におい
て、標準パタンｍijの中でｘ（ｔ）に最も距離の小さい
標準パタンをｍi'j'としたとき、カテゴリーＳi に判定
処理を行う（参考文献：T.Kohonen:"Self-Organization
and Associative Memory 3rd Edition",pp.185-209,Sp
ringer-Verlag,1989) 。
力パタンの特徴ベクトルとしたとき、式（１）におい
て、標準パタンｍijの中でｘ（ｔ）に最も距離の小さい
標準パタンをｍi'j'としたとき、カテゴリーＳi に判定
処理を行う（参考文献：T.Kohonen:"Self-Organization
and Associative Memory 3rd Edition",pp.185-209,Sp
ringer-Verlag,1989) 。
【０００７】
【発明が解決しようとする課題】多層パーセプトロン、
学習ベクトル量子化などの神経回路網を用いてパタン認
識を行った場合、神経回路網により非線形な識別関数を
構成することが可能であり、線形判別分析など線形識別
関数と比較し高い認識性能が得られる。しかし、学習パ
タンの集合に対し高い認識性能を得ようとすると、未学
習パタンに対し認識性能が低下する現象が発生する汎化
性の問題がある。
学習ベクトル量子化などの神経回路網を用いてパタン認
識を行った場合、神経回路網により非線形な識別関数を
構成することが可能であり、線形判別分析など線形識別
関数と比較し高い認識性能が得られる。しかし、学習パ
タンの集合に対し高い認識性能を得ようとすると、未学
習パタンに対し認識性能が低下する現象が発生する汎化
性の問題がある。
【０００８】汎化性は、有限個の学習パタンから未学習
パタンも含めたカテゴリーとして許容するパタンの分布
の範囲を定めることである。従来の神経回路網では、学
習パタンの特徴ベクトルを入力とし、教師信号として学
習パタンが属するカテゴリーの種類のみを与え学習す
る。よって、各学習パタンには品質の差が存在するが、
品質についての情報は学習時に与えられていないから、
全ての学習パタンは等価として学習される。したがって
学習パタンより学習された標準パタンで構成される識別
関数には学習パタンの品質は反映されていない。カテゴ
リーの範囲を定めている標準パタンが品質の良い学習パ
タンから学習されているか否か、カテゴリー内での位置
付けが明確でない。
パタンも含めたカテゴリーとして許容するパタンの分布
の範囲を定めることである。従来の神経回路網では、学
習パタンの特徴ベクトルを入力とし、教師信号として学
習パタンが属するカテゴリーの種類のみを与え学習す
る。よって、各学習パタンには品質の差が存在するが、
品質についての情報は学習時に与えられていないから、
全ての学習パタンは等価として学習される。したがって
学習パタンより学習された標準パタンで構成される識別
関数には学習パタンの品質は反映されていない。カテゴ
リーの範囲を定めている標準パタンが品質の良い学習パ
タンから学習されているか否か、カテゴリー内での位置
付けが明確でない。
【０００９】本発明では、学習時、学習パタンの特徴ベ
クトルと学習パタンの評価値を与えて学習することによ
り、学習パタンの品質に基づく評価値を考慮した神経回
路網を構成し、品質が悪い学習パタンが分布する領域、
品質が良い学習パタンが分布する領域に適応して判定規
準を可変にすることにより、汎化性の高い神経回路網を
提供することにある。
クトルと学習パタンの評価値を与えて学習することによ
り、学習パタンの品質に基づく評価値を考慮した神経回
路網を構成し、品質が悪い学習パタンが分布する領域、
品質が良い学習パタンが分布する領域に適応して判定規
準を可変にすることにより、汎化性の高い神経回路網を
提供することにある。
【００１０】
（１） 本発明による第１の神経回路網は、１つのカテ
ゴリーに対して複数の標準パタンの特徴ベクトルからな
る神経素子を有し、入力パタンの特徴ベクトルに対し、
近傍に位置する神経素子が反応し、反応した神経素子の
属するカテゴリーに判定を行う神経回路網において、神
経回路網を学習するための個々の学習パタンの特徴ベク
トルに対し、学習パタンの品質を示す評価値を付加する
ことを特徴とする構成である。
ゴリーに対して複数の標準パタンの特徴ベクトルからな
る神経素子を有し、入力パタンの特徴ベクトルに対し、
近傍に位置する神経素子が反応し、反応した神経素子の
属するカテゴリーに判定を行う神経回路網において、神
経回路網を学習するための個々の学習パタンの特徴ベク
トルに対し、学習パタンの品質を示す評価値を付加する
ことを特徴とする構成である。
【００１１】（２） 本発明による第２の神経回路網
は、神経素子は学習パタンの評価値に対応する反応の強
度を示す該神経素子の評価値を有し、神経素子を学習し
た学習パタンの集合の評価値の大きさに基づき、神経素
子の評価値を学習することを特徴とする構成である。
は、神経素子は学習パタンの評価値に対応する反応の強
度を示す該神経素子の評価値を有し、神経素子を学習し
た学習パタンの集合の評価値の大きさに基づき、神経素
子の評価値を学習することを特徴とする構成である。
【００１２】（３） 本発明による第３の神経回路網
は、学習パタンのカテゴリーと神経素子の属するカテゴ
リーが等しいとき、学習パタンの評価値は神経素子の評
価値を増加するように、学習パタンのカテゴリーと最近
傍に位置する神経素子の属するカテゴリーが異なるとき
学習パタンの評価値は神経素子の反応の強度を減少する
ように、神経素子の反応の強度を更新することを特徴と
する構成である。
は、学習パタンのカテゴリーと神経素子の属するカテゴ
リーが等しいとき、学習パタンの評価値は神経素子の評
価値を増加するように、学習パタンのカテゴリーと最近
傍に位置する神経素子の属するカテゴリーが異なるとき
学習パタンの評価値は神経素子の反応の強度を減少する
ように、神経素子の反応の強度を更新することを特徴と
する構成である。
【００１３】（４） 本発明による第４の神経回路網
は、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にＫ個の神経素子を選択し、選択された各々の
神経素子の評価値に対し、前記距離値を関数で変換した
値で重み付けを行うことにより得られる重み付け評価値
を各カテゴリー毎に加算し、重み付け評価値の和が最大
値となるカテゴリーに判定処理を行うことを特徴とする
構成である。
は、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にＫ個の神経素子を選択し、選択された各々の
神経素子の評価値に対し、前記距離値を関数で変換した
値で重み付けを行うことにより得られる重み付け評価値
を各カテゴリー毎に加算し、重み付け評価値の和が最大
値となるカテゴリーに判定処理を行うことを特徴とする
構成である。
【００１４】（５） 本発明による第５の神経回路網
は、入力パタンの特徴ベクトルから一定の距離に一定の
評価値を有する棄却処理を制御する棄却用神経素子を有
し、前記Ｋ個の辞書ベクトルと棄却用の辞書ベクトルに
対し、入力パタンの特徴ベクトルと神経素子間の距離値
を関数で変換した値で重み付けを行った重み付け評価値
を各カテゴリー毎に加算し、全カテゴリーについての重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行うことを特徴とする構成である。
は、入力パタンの特徴ベクトルから一定の距離に一定の
評価値を有する棄却処理を制御する棄却用神経素子を有
し、前記Ｋ個の辞書ベクトルと棄却用の辞書ベクトルに
対し、入力パタンの特徴ベクトルと神経素子間の距離値
を関数で変換した値で重み付けを行った重み付け評価値
を各カテゴリー毎に加算し、全カテゴリーについての重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行うことを特徴とする構成である。
【００１５】
【作用】神経回路網の学習時、学習パタンの特徴ベクト
ル、学習パタンの属するカテゴリー、学習パタンの評価
値を神経回路網の入力とする。標準パタンの特徴ベクト
ルである神経素子は、学習によって標準パタンの特徴ベ
クトルの位置と反応の強度を示す神経素子の評価値を更
新する。学習パタンの属するカテゴリーと神経素子の属
するカテゴリーが等しいとき、神経素子の評価値は増加
するように更新され、学習パタンの属するカテゴリーと
神経素子の属するカテゴリーが異なるとき、神経素子の
評価値は減少するように更新される。
ル、学習パタンの属するカテゴリー、学習パタンの評価
値を神経回路網の入力とする。標準パタンの特徴ベクト
ルである神経素子は、学習によって標準パタンの特徴ベ
クトルの位置と反応の強度を示す神経素子の評価値を更
新する。学習パタンの属するカテゴリーと神経素子の属
するカテゴリーが等しいとき、神経素子の評価値は増加
するように更新され、学習パタンの属するカテゴリーと
神経素子の属するカテゴリーが異なるとき、神経素子の
評価値は減少するように更新される。
【００１６】次に神経回路網によって認識処理を行うと
き、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にＫ個の神経素子と、入力パタンの特徴ベクト
ルから一定の距離に一定の評価値を有する棄却処理を制
御する神経素子が選択される。選択された各々の神経素
子の評価値は、距離値を関数で変換した値で重み付けさ
れた重み付き評価値に変換され、各神経素子の属するカ
テゴリー毎に総和が取られる。全カテゴリーについて重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行い、しきい値より大きいとき入力パタンは
各カテゴリーの重み付け評価値の和の中で、最大値とな
るカテゴリーに判定される。
き、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にＫ個の神経素子と、入力パタンの特徴ベクト
ルから一定の距離に一定の評価値を有する棄却処理を制
御する神経素子が選択される。選択された各々の神経素
子の評価値は、距離値を関数で変換した値で重み付けさ
れた重み付き評価値に変換され、各神経素子の属するカ
テゴリー毎に総和が取られる。全カテゴリーについて重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行い、しきい値より大きいとき入力パタンは
各カテゴリーの重み付け評価値の和の中で、最大値とな
るカテゴリーに判定される。
【００１７】
【実施例】以下に本発明の構成について図面を参照しな
がら説明する。図１は本発明の神経回路網の構成図であ
る。
がら説明する。図１は本発明の神経回路網の構成図であ
る。
【００１８】まず神経回路網の学習方式について説明を
行う。パタンの特徴ベクトル１をｘとしたとき、特徴ベ
クトル１は入力ユニット２から神経回路網に入力され
る。図１の例では特徴ベクトルが５次元の例であり、入
力ユニットは５個存在する。入力ユニットの各成分は、
標準パタンの特徴ベクトルｍijである神経素子３と全て
結合している。図１は７個のサブカテゴリーの特徴ベク
トルが存在する例である。
行う。パタンの特徴ベクトル１をｘとしたとき、特徴ベ
クトル１は入力ユニット２から神経回路網に入力され
る。図１の例では特徴ベクトルが５次元の例であり、入
力ユニットは５個存在する。入力ユニットの各成分は、
標準パタンの特徴ベクトルｍijである神経素子３と全て
結合している。図１は７個のサブカテゴリーの特徴ベク
トルが存在する例である。
【００１９】カテゴリーＳi のサブカテゴリーＳijの標
準パタンである神経素子３をｍij（ｉ＝１，…，Ｎ），
（ｊ＝１，…，Ｍ）としたとき、各サブカテゴリーの標
準パタンについて（５）式に示すユークリッド距離６を
計算する。 ｄ（ｘ，ｍij）＝‖ｘ−ｍij‖ （５） （５）式のノルムはユークリッドノルムを示している。
（５）式のユークリッド距離が最小となるサブカテゴリ
ーをＳi'j'、神経素子をｍi'j'としたとき、学習時、神
経素子ｍi'j'が反応する。
準パタンである神経素子３をｍij（ｉ＝１，…，Ｎ），
（ｊ＝１，…，Ｍ）としたとき、各サブカテゴリーの標
準パタンについて（５）式に示すユークリッド距離６を
計算する。 ｄ（ｘ，ｍij）＝‖ｘ−ｍij‖ （５） （５）式のノルムはユークリッドノルムを示している。
（５）式のユークリッド距離が最小となるサブカテゴリ
ーをＳi'j'、神経素子をｍi'j'としたとき、学習時、神
経素子ｍi'j'が反応する。
【００２０】神経回路網の学習時、神経素子の位置、神
経素子の評価値の更新を行う。学習時、入力データとし
て学習パタンの特徴ベクトル１，Ｓi で表すカテゴリー
信号４、ｇで表す学習パタン評価値５を入力する。
経素子の評価値の更新を行う。学習時、入力データとし
て学習パタンの特徴ベクトル１，Ｓi で表すカテゴリー
信号４、ｇで表す学習パタン評価値５を入力する。
【００２１】学習パタンの評価値ｇは関数ｆ（・）によ
り変換される。学習パタンのカテゴリーＳr と最小距離
値をとる神経素子のカテゴリーＳi'が等しいとき、学習
パタンの評価値は神経素子の反応の強度を示す神経素子
の評価値を増加するように更新し、学習パタンのカテゴ
リーＳr と最小距離値をとる神経素子のカテゴリーＳi'
が異なるとき、学習パタンの評価値は神経素子の反応の
強度を示す神経素子の評価値を減少するように更新す
る。ある時刻ｔにおける神経素子の評価値ｖijは、標準
パタンが学習された近傍の学習パタンの評価値を関数で
変換した値の平均値となる。またα（ｔ）は時間ととも
に変化する係数である。
り変換される。学習パタンのカテゴリーＳr と最小距離
値をとる神経素子のカテゴリーＳi'が等しいとき、学習
パタンの評価値は神経素子の反応の強度を示す神経素子
の評価値を増加するように更新し、学習パタンのカテゴ
リーＳr と最小距離値をとる神経素子のカテゴリーＳi'
が異なるとき、学習パタンの評価値は神経素子の反応の
強度を示す神経素子の評価値を減少するように更新す
る。ある時刻ｔにおける神経素子の評価値ｖijは、標準
パタンが学習された近傍の学習パタンの評価値を関数で
変換した値の平均値となる。またα（ｔ）は時間ととも
に変化する係数である。
【００２２】本発明の神経回路網の学習の手順は以下の
ようになる。学習パタンとして、カテゴリーＳr に属す
るパタンｘ（ｔ）が入力されたとき、神経素子ｍijの中
でｘ（ｔ）に最も距離の小さい標準パタンをｍi'j'とす
る。ｍi'j'がカテゴリーＳs の神経素子であるとき、学
習は式（６）−式（１８）にて行われる。 初期値 ｕij（０）＝Ｏ，ｙij（０）＝Ｏ，ｎij（０）＝Ｏ （６） Ｓs ＝Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)+α(t)[ｘ(t)-ｍi'j'(t)] （７） ｕi'j'(t+1)=ｕi'j'(t)+ｆ（ｇ） （８） ｎi'j'(t+1)=ｎi'j'(t)+ｌ （９） ｖi'j'(t+1)=ｕi'j'(t+1) ／ｎi'j'(t+1) （10） Ｓs ≠Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)-α(t)[ｘ(t)-ｍi'j'(t)] （11） ｕi'j'(t+1)=ｕi'j'(t)-ｆ（ｇ） （12） ｎi'j'(t+1)=ｎi'j'(t)+ｌ （13） ｖij(t+1)=ｕij(t+1) ／ｎij(t+1) （14） ｉ≠ｉ’かつｊ≠ｊ’のとき ｍij(t+1)=ｍij(t) （15） ｕij(t+1)=ｕij(t) （16） ｎij(t+1)=ｎij(t) （17） ｖij(t+1)=ｖij(t) （18） 学習の動作を図２，図３に示す。学習パタン１１を◎、
学習パタンとカテゴリーが等しい神経素子１２、１３、
１４、１５、１６を○、学習パタンとカテゴリーが異な
る神経素子１７を×で示す。縦方向のヒストグラムの大
きさで神経素子の評価値の大きさを示している。図２は
学習パタンのカテゴリーＳr と最小距離値をとる神経素
子のカテゴリーＳi'が等しい場合であり、式（７）およ
び１８に示すように神経素子は学習パタンに近づくよう
に移動し、神経素子の評価値は式（８）および１９に示
すように増加するように更新される。図３は学習パタン
２０のカテゴリーＳr と最小距離値をとる神経素子２１
のカテゴリーＳi'が異なる場合であり、式（１１）、２
２に示すように標準パタンは学習パタンに遠ざかるよう
に移動し、神経素子の評価値は式（１２）、２３に示す
ように減少するように更新される。
ようになる。学習パタンとして、カテゴリーＳr に属す
るパタンｘ（ｔ）が入力されたとき、神経素子ｍijの中
でｘ（ｔ）に最も距離の小さい標準パタンをｍi'j'とす
る。ｍi'j'がカテゴリーＳs の神経素子であるとき、学
習は式（６）−式（１８）にて行われる。 初期値 ｕij（０）＝Ｏ，ｙij（０）＝Ｏ，ｎij（０）＝Ｏ （６） Ｓs ＝Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)+α(t)[ｘ(t)-ｍi'j'(t)] （７） ｕi'j'(t+1)=ｕi'j'(t)+ｆ（ｇ） （８） ｎi'j'(t+1)=ｎi'j'(t)+ｌ （９） ｖi'j'(t+1)=ｕi'j'(t+1) ／ｎi'j'(t+1) （10） Ｓs ≠Ｓr のとき ｍi'j'(t+1)=ｍi'j'(t)-α(t)[ｘ(t)-ｍi'j'(t)] （11） ｕi'j'(t+1)=ｕi'j'(t)-ｆ（ｇ） （12） ｎi'j'(t+1)=ｎi'j'(t)+ｌ （13） ｖij(t+1)=ｕij(t+1) ／ｎij(t+1) （14） ｉ≠ｉ’かつｊ≠ｊ’のとき ｍij(t+1)=ｍij(t) （15） ｕij(t+1)=ｕij(t) （16） ｎij(t+1)=ｎij(t) （17） ｖij(t+1)=ｖij(t) （18） 学習の動作を図２，図３に示す。学習パタン１１を◎、
学習パタンとカテゴリーが等しい神経素子１２、１３、
１４、１５、１６を○、学習パタンとカテゴリーが異な
る神経素子１７を×で示す。縦方向のヒストグラムの大
きさで神経素子の評価値の大きさを示している。図２は
学習パタンのカテゴリーＳr と最小距離値をとる神経素
子のカテゴリーＳi'が等しい場合であり、式（７）およ
び１８に示すように神経素子は学習パタンに近づくよう
に移動し、神経素子の評価値は式（８）および１９に示
すように増加するように更新される。図３は学習パタン
２０のカテゴリーＳr と最小距離値をとる神経素子２１
のカテゴリーＳi'が異なる場合であり、式（１１）、２
２に示すように標準パタンは学習パタンに遠ざかるよう
に移動し、神経素子の評価値は式（１２）、２３に示す
ように減少するように更新される。
【００２３】次に本発明の神経回路網を用いた認識方式
について説明を行う。図１において、未知入力パタンの
特徴ベクトルをｘとしたとき、ｄijに示す特徴ベクトル
ｘと標準パタンｍij間の距離６を式（１９）にて計算す
る。ノルムはユークリッドノルムとする。 ｄij＝‖ｘ−ｍij‖ （19）
について説明を行う。図１において、未知入力パタンの
特徴ベクトルをｘとしたとき、ｄijに示す特徴ベクトル
ｘと標準パタンｍij間の距離６を式（１９）にて計算す
る。ノルムはユークリッドノルムとする。 ｄij＝‖ｘ−ｍij‖ （19）
【００２４】特徴ベクトルｘについて、ｋ−神経素子選
択部７において、距離の小さい順にｋ個の神経素子｛ｍ
i1j1，…，ｍikjk｝を選択する。また、ｍ0 で示す棄却
判定を行うための神経素子８は、常に特徴ベクトルから
距離ｄ0 の位置に配置する。図４の例においてｋ＝３と
したとき、距離の小さい順に２４、２５、２６が選択さ
れる。また棄却用神経素子は２７である。
択部７において、距離の小さい順にｋ個の神経素子｛ｍ
i1j1，…，ｍikjk｝を選択する。また、ｍ0 で示す棄却
判定を行うための神経素子８は、常に特徴ベクトルから
距離ｄ0 の位置に配置する。図４の例においてｋ＝３と
したとき、距離の小さい順に２４、２５、２６が選択さ
れる。また棄却用神経素子は２７である。
【００２５】距離値ｄijおよびｄ0 は式（２０）、（２
１）にて正規化される。Ｃ0 は正規化のための正の定数
である。
１）にて正規化される。Ｃ0 は正規化のための正の定数
である。
【数１】
【数２】 次に各カテゴリーＣi についてＶi で示す評価値の期待
値９を計算する。
値９を計算する。
【数３】 期待値Ｖi の最大値ＶL を式（２２）にて求める。
【数４】 また、評価値の期待値の総和をＶs としたとき、
【数５】 判定ユニット１０では、Ｖs としきい値ηと比較し、し
きい値より小さいとき棄却処理を行う。 Ｖs ≧ηのとき カテゴリーをＣL に判定する。 （25） Ｖs ＜ηのとき 棄却する。 （26）
きい値より小さいとき棄却処理を行う。 Ｖs ≧ηのとき カテゴリーをＣL に判定する。 （25） Ｖs ＜ηのとき 棄却する。 （26）
【００２６】次に図５、図６を用いて本発明の神経回路
網の認識結果と従来の神経回路網の認識結果を比較す
る。本発明の神経回路網では学習パタンに評価値を与え
ることが可能である。例えば２８に標準的な字形の５、
２９に変形の大きい５、３０に標準的な字形の６を示
す。標準的な字形の学習パタンに高い評価値、変形の大
きい学習パタンに低い評価値を与えたとき、（２３）式
のＶi の値は図５のようになる。変形の小さい学習パタ
ンから学習された神経素子３１、３３は高い評価値を持
ち、変形の小さい学習パタンから学習された神経素子３
２は小さい評価値を持つ。また、しきい値ηより評価値
が小さいとき棄却処理を行う。カテゴリー５、６の境界
は４３であり、４４に認識結果を示す。
網の認識結果と従来の神経回路網の認識結果を比較す
る。本発明の神経回路網では学習パタンに評価値を与え
ることが可能である。例えば２８に標準的な字形の５、
２９に変形の大きい５、３０に標準的な字形の６を示
す。標準的な字形の学習パタンに高い評価値、変形の大
きい学習パタンに低い評価値を与えたとき、（２３）式
のＶi の値は図５のようになる。変形の小さい学習パタ
ンから学習された神経素子３１、３３は高い評価値を持
ち、変形の小さい学習パタンから学習された神経素子３
２は小さい評価値を持つ。また、しきい値ηより評価値
が小さいとき棄却処理を行う。カテゴリー５、６の境界
は４３であり、４４に認識結果を示す。
【００２７】図６に示すように、従来の神経回路網では
各学習パタンは等価であるため３１、３３に示す標準的
字形で学習した神経素子３７、３９であっても、３８に
示す変形の大きい字形で学習した神経素子であっても同
一の出力値４０となる。カテゴリー５、６の境界は４５
のようになり、認識結果は４６で得られる。
各学習パタンは等価であるため３１、３３に示す標準的
字形で学習した神経素子３７、３９であっても、３８に
示す変形の大きい字形で学習した神経素子であっても同
一の出力値４０となる。カテゴリー５、６の境界は４５
のようになり、認識結果は４６で得られる。
【００２８】４１、４２に示すような２９、３５の字形
と類似したカテゴリー６の字形が入力されたとき、本発
明の神経回路網では神経素子３２の評価値が低いため棄
却領域４７として処理するが、従来の神経回路網ではカ
テゴリー５として誤って認識される。
と類似したカテゴリー６の字形が入力されたとき、本発
明の神経回路網では神経素子３２の評価値が低いため棄
却領域４７として処理するが、従来の神経回路網ではカ
テゴリー５として誤って認識される。
【００２９】
【発明の効果】以上に説明したように、本発明によれ
ば、学習パタンに対して評価値を与え学習することによ
り、学習パタンの品質に適応した判定基準に基づき認識
することにより、未学習パタンに対する認識性能を改善
することが可能である。また、本発明の神経回路網は、
特徴ベクトルの非線形的分布を学習により近似すること
が可能であり、特徴ベクトルを求めるときの特徴抽出方
式に依存せず、任意の特徴抽出方式に適用可能である。
また、本発明では文字を対象として説明を行ったが、画
像、音声、図形を対象としても容易に実現可能である。
ば、学習パタンに対して評価値を与え学習することによ
り、学習パタンの品質に適応した判定基準に基づき認識
することにより、未学習パタンに対する認識性能を改善
することが可能である。また、本発明の神経回路網は、
特徴ベクトルの非線形的分布を学習により近似すること
が可能であり、特徴ベクトルを求めるときの特徴抽出方
式に依存せず、任意の特徴抽出方式に適用可能である。
また、本発明では文字を対象として説明を行ったが、画
像、音声、図形を対象としても容易に実現可能である。
【００３０】また、入力パタンの特徴ベクトルと標準パ
タンの特徴ベクトル間の距離を示す尺度としてユークリ
ッド距離を用いて説明を行ったが、他の距離（マハラノ
ビス距離、シティブロック距離など）、類似度（単純類
似度、複合類似度など）にも適用可能である。
タンの特徴ベクトル間の距離を示す尺度としてユークリ
ッド距離を用いて説明を行ったが、他の距離（マハラノ
ビス距離、シティブロック距離など）、類似度（単純類
似度、複合類似度など）にも適用可能である。
【図１】本発明の神経回路網の構成図である。
【図２】本発明の神経回路網の学習方式について説明す
るための図である。
るための図である。
【図３】本発明の神経回路網の学習方式について説明す
るための図である。
るための図である。
【図４】本発明の神経回路網の認識方式について説明す
るための図である。
るための図である。
【図５】本発明の神経回路網の認識結果について説明す
るための図である。
るための図である。
【図６】従来の神経回路網の認識結果について説明する
ための図である。
ための図である。
１ 特徴ベクトル ２ 入力ユニット ３ 神経素子 ４ カテゴリー信号 ５ 学習パタンの評価値 ６ 特徴ベクトルと神経素子間の距離 ７ ｋ−神経素子選択部 ８ 棄却用神経素子 ９ 評価値の期待値 １０ 判定ユニット
Claims (5)
- 【請求項１】 １つのカテゴリーに対して複数の標準パ
タンの特徴ベクトルである神経素子を有し、入力パタン
の特徴ベクトルに対し、近傍に位置する神経素子が反応
し、反応した神経素子の属するカテゴリーに判定を行う
神経回路網において、 神経回路網を学習するための個々の学習パタンの特徴ベ
クトルに対し、学習パタンの品質を示す評価値を付加す
ることを特徴とする神経回路網。 - 【請求項２】 神経素子は学習パタンの評価値に対応す
る反応の強度を示す該神経素子の評価値を有し、神経素
子を学習した学習パタンの集合の評価値の大きさに基づ
き、神経素子の評価値を学習することを特徴とする請求
項１に記載の神経回路網。 - 【請求項３】 学習パタンのカテゴリーと神経素子の属
するカテゴリーが等しいとき、学習パタンの評価値は神
経素子の評価値を増加するように、学習パタンのカテゴ
リーと最近傍に位置する神経素子の属するカテゴリーが
異なるとき学習パタンの評価値は神経素子の反応の強度
を減少するように、神経素子の反応の強度を更新するこ
とを特徴とする請求項２に記載の神経回路網。 - 【請求項４】 入力パタンの特徴ベクトルと神経素子間
の距離値の小さい順にＫ個の神経素子を選択し、選択さ
れた各々の神経素子の評価値に対し、前記距離値を関数
で変換した値で重み付けを行うことにより得られる重み
付け評価値を各カテゴリー毎に加算し、重み付け評価値
の和が最大値となるカテゴリーに判定処理を行うことを
特徴とする請求項３に記載の神経回路網。 - 【請求項５】 入力パタンの特徴ベクトルから一定の距
離に一定の評価値を有する棄却処理を制御する棄却用神
経素子を有し、前記Ｋ個の辞書ベクトルと棄却用の辞書
ベクトルに対し、入力パタンの特徴ベクトルと神経素子
間の距離値を関数で変換した値で重み付けを行った重み
付け評価値を各カテゴリー毎に加算し、全カテゴリーに
ついての重み付け評価値の総和が予め設定したしきい値
以下のとき棄却処理を行うことを特徴とする請求項４に
記載の神経回路網。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23702291A JPH0554164A (ja) | 1991-08-23 | 1991-08-23 | 神経回路網 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23702291A JPH0554164A (ja) | 1991-08-23 | 1991-08-23 | 神経回路網 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0554164A true JPH0554164A (ja) | 1993-03-05 |
Family
ID=17009233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23702291A Withdrawn JPH0554164A (ja) | 1991-08-23 | 1991-08-23 | 神経回路網 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0554164A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249997A (ja) * | 2000-07-15 | 2007-09-27 | Intevep Sa | 工業プロセスの監視方法及び監視システム |
| KR20130050707A (ko) * | 2011-11-08 | 2013-05-16 | 삼성전자주식회사 | 인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치 |
-
1991
- 1991-08-23 JP JP23702291A patent/JPH0554164A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249997A (ja) * | 2000-07-15 | 2007-09-27 | Intevep Sa | 工業プロセスの監視方法及び監視システム |
| KR20130050707A (ko) * | 2011-11-08 | 2013-05-16 | 삼성전자주식회사 | 인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5625707A (en) | Training a neural network using centroid dithering by randomly displacing a template | |
| US5048100A (en) | Self organizing neural network method and system for general classification of patterns | |
| CN111368683B (zh) | 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法 | |
| CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
| US6128410A (en) | Pattern matching apparatus and method that considers distance and direction | |
| CN102509112A (zh) | 车牌识别方法及其识别系统 | |
| CN110046565B (zh) | 一种基于Adaboost算法的人脸检测方法 | |
| US5119438A (en) | Recognizing apparatus | |
| US5832108A (en) | Pattern recognition method using a network and system therefor | |
| CN111242046B (zh) | 一种基于图像检索的地面交通标志识别方法 | |
| Kancharla et al. | Handwritten signature recognition: a convolutional neural network approach | |
| CN112070116B (zh) | 一种基于支持向量机的艺术画作自动分类系统及方法 | |
| US5293454A (en) | Learning method of neural network | |
| Chhabra et al. | High-order statistically derived combinations of geometric features for handprinted character recognition | |
| US5600736A (en) | Image pattern identification/recognition method | |
| JPH0554164A (ja) | 神経回路網 | |
| CN115439405A (zh) | 一种钢板表面缺陷的分类方法 | |
| Chi et al. | Image segmentation using fuzzy rules derived from K-means clusters | |
| Verikas et al. | Colour classification by neural networks in graphic arts | |
| Lu et al. | Directed assistance for ink-bleed reduction in old documents | |
| CN110674852A (zh) | 基于几何特征和AdaBoost算法的焊缝缺陷分类方法 | |
| KR20060074410A (ko) | 학습에 기반을 둔 적응형 실시간 얼굴검출방법 | |
| JPH04111085A (ja) | パターン認識装置 | |
| JPH0773276A (ja) | 文字認識装置 | |
| JPH02210589A (ja) | 文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19981112 |