JPH0554164A - 神経回路網 - Google Patents
神経回路網Info
- Publication number
- JPH0554164A JPH0554164A JP23702291A JP23702291A JPH0554164A JP H0554164 A JPH0554164 A JP H0554164A JP 23702291 A JP23702291 A JP 23702291A JP 23702291 A JP23702291 A JP 23702291A JP H0554164 A JPH0554164 A JP H0554164A
- Authority
- JP
- Japan
- Prior art keywords
- neural
- learning
- evaluation value
- pattern
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 神経回路網の学習時、学習パタンに評価値を
与え学習し、学習パタンの品質に応じて判定規準を可変
にすることにより、汎化性の高い神経回路網を実現す
る。 【構成】 神経回路網は入力ユニット2に特徴ベクトル
1を入力し、教師信号としてカテゴリー信号4と学習パ
タンの評価値5を与えて学習する。神経素子3は学習パ
タンの評価値5に対応した評価値を有し、神経素子の評
価値は学習パタンの評価値を近似するよう学習する。神
経回路網により認識時、k個の距離値の小さい神経素子
をk−神経素子選択部7において選択し、各カテゴリー
毎に評価値の期待値9を計算する。判定ユニット10で
は評価値の期待値の最大値と棄却用神経素子8の出力値
をもとにカテゴリーの判定処理または棄却処理を行う。
与え学習し、学習パタンの品質に応じて判定規準を可変
にすることにより、汎化性の高い神経回路網を実現す
る。 【構成】 神経回路網は入力ユニット2に特徴ベクトル
1を入力し、教師信号としてカテゴリー信号4と学習パ
タンの評価値5を与えて学習する。神経素子3は学習パ
タンの評価値5に対応した評価値を有し、神経素子の評
価値は学習パタンの評価値を近似するよう学習する。神
経回路網により認識時、k個の距離値の小さい神経素子
をk−神経素子選択部7において選択し、各カテゴリー
毎に評価値の期待値9を計算する。判定ユニット10で
は評価値の期待値の最大値と棄却用神経素子8の出力値
をもとにカテゴリーの判定処理または棄却処理を行う。
Description
【0001】
【産業上の利用分野】本発明は神経回路網の学習方法と
神経回路網による認識方法に関し、特に手書きの変形を
有する文字、マルチフォント印刷文字、オムニフォント
印刷文字を自動認識する神経回路網による文字認識方法
に関する。
神経回路網による認識方法に関し、特に手書きの変形を
有する文字、マルチフォント印刷文字、オムニフォント
印刷文字を自動認識する神経回路網による文字認識方法
に関する。
【0002】
【従来の技術】神経回路網には多層パーセプトロンなど
の階層型神経回路網、自己組織化特徴マップ、学習ベク
トル量子化などの自己組織モデルなどが存在する。多層
パーセプトロンでは非線形な超平面でカテゴリー間の識
別面を形成するのに対し、学習ベクトル量子化では個々
の標準パタン間の境界がカテゴリーの識別面となる。両
者のいずれにおいても、他のカテゴリーが近接する領域
では識別能力の高い非線形の境界面が得られる。多層パ
ーセプトロンでは全学習パタンから識別面を生成してお
り、識別面の部分的な修正が困難なのに対し、学習ベク
トル量子化では標準パタンは学習パタンの部分集合から
学習しており、識別面の部分的修正が可能かつ識別面の
解析が容易である。このように学習ベクトル量子化には
利点があるので、本発明の神経回路網については学習ベ
クトル量子化と比較し説明を行う。
の階層型神経回路網、自己組織化特徴マップ、学習ベク
トル量子化などの自己組織モデルなどが存在する。多層
パーセプトロンでは非線形な超平面でカテゴリー間の識
別面を形成するのに対し、学習ベクトル量子化では個々
の標準パタン間の境界がカテゴリーの識別面となる。両
者のいずれにおいても、他のカテゴリーが近接する領域
では識別能力の高い非線形の境界面が得られる。多層パ
ーセプトロンでは全学習パタンから識別面を生成してお
り、識別面の部分的な修正が困難なのに対し、学習ベク
トル量子化では標準パタンは学習パタンの部分集合から
学習しており、識別面の部分的修正が可能かつ識別面の
解析が容易である。このように学習ベクトル量子化には
利点があるので、本発明の神経回路網については学習ベ
クトル量子化と比較し説明を行う。
【0003】学習ベクトル量子化は、パタンを入力する
入力ユニット、標準パタン、判定結果を出力する出力ユ
ニットからなる。文字認識などの応用において、学習パ
タンとしては文字パタンから特徴抽出処理を行うことに
より得られる特徴ベクトルxを入力ユニットに与え、文
字カテゴリーを教師信号としてカテゴリー名Si を与え
て学習する。
入力ユニット、標準パタン、判定結果を出力する出力ユ
ニットからなる。文字認識などの応用において、学習パ
タンとしては文字パタンから特徴抽出処理を行うことに
より得られる特徴ベクトルxを入力ユニットに与え、文
字カテゴリーを教師信号としてカテゴリー名Si を与え
て学習する。
【0004】カテゴリーSi (i=1,……,N)をM
個のサブカテゴリーにSij(j=1,……,M)に分割
し、各サブカテゴリーの標準パタンをMijとする。学習
パタンxと標準パタンmi 間の距離計算を式(1)に基
づき行う。 d(x,mij)=‖x−mij‖ (1) ノルムとしては一般にユークリッドノルムを用いる。学
習パタンとしてカテゴリーSr に属するパタンx(t)
が入力されたとき、標準パタンmijの中でx(t)に最
も距離の小さい標準パタンをmi'j'とする。mi'j'がカ
テゴリーSs の標準パタンであるとき、学習は式(2)
−(4)にて行われる。ここで、tは時刻を示し係数α
(t)は時間とともに変化する。 Ss =Sr のとき mi'j'(t+1)=mi'j'(t)+α(t)[x(t)-mi'j'(t)] (2) Ss ≠Sr のとき mi'j'(t+1)=mi'j'(t)-α(t)[x(t)-mi'j'(t)] (3) i≠i’かつj≠j’のとき mij(t+1)=mij(t) (4)
個のサブカテゴリーにSij(j=1,……,M)に分割
し、各サブカテゴリーの標準パタンをMijとする。学習
パタンxと標準パタンmi 間の距離計算を式(1)に基
づき行う。 d(x,mij)=‖x−mij‖ (1) ノルムとしては一般にユークリッドノルムを用いる。学
習パタンとしてカテゴリーSr に属するパタンx(t)
が入力されたとき、標準パタンmijの中でx(t)に最
も距離の小さい標準パタンをmi'j'とする。mi'j'がカ
テゴリーSs の標準パタンであるとき、学習は式(2)
−(4)にて行われる。ここで、tは時刻を示し係数α
(t)は時間とともに変化する。 Ss =Sr のとき mi'j'(t+1)=mi'j'(t)+α(t)[x(t)-mi'j'(t)] (2) Ss ≠Sr のとき mi'j'(t+1)=mi'j'(t)-α(t)[x(t)-mi'j'(t)] (3) i≠i’かつj≠j’のとき mij(t+1)=mij(t) (4)
【0005】学習ベクトル量子化における学習は、標準
パタンは同一カテゴリーの学習パタンが入力されたとき
学習パタンに近づき、異カテゴリーの学習パタンが入力
されたとき学習パタンから遠ざかる。
パタンは同一カテゴリーの学習パタンが入力されたとき
学習パタンに近づき、異カテゴリーの学習パタンが入力
されたとき学習パタンから遠ざかる。
【0006】次に、判定処理は特徴ベクトルxを未知入
力パタンの特徴ベクトルとしたとき、式(1)におい
て、標準パタンmijの中でx(t)に最も距離の小さい
標準パタンをmi'j'としたとき、カテゴリーSi に判定
処理を行う(参考文献:T.Kohonen:"Self-Organization
and Associative Memory 3rd Edition",pp.185-209,Sp
ringer-Verlag,1989) 。
力パタンの特徴ベクトルとしたとき、式(1)におい
て、標準パタンmijの中でx(t)に最も距離の小さい
標準パタンをmi'j'としたとき、カテゴリーSi に判定
処理を行う(参考文献:T.Kohonen:"Self-Organization
and Associative Memory 3rd Edition",pp.185-209,Sp
ringer-Verlag,1989) 。
【0007】
【発明が解決しようとする課題】多層パーセプトロン、
学習ベクトル量子化などの神経回路網を用いてパタン認
識を行った場合、神経回路網により非線形な識別関数を
構成することが可能であり、線形判別分析など線形識別
関数と比較し高い認識性能が得られる。しかし、学習パ
タンの集合に対し高い認識性能を得ようとすると、未学
習パタンに対し認識性能が低下する現象が発生する汎化
性の問題がある。
学習ベクトル量子化などの神経回路網を用いてパタン認
識を行った場合、神経回路網により非線形な識別関数を
構成することが可能であり、線形判別分析など線形識別
関数と比較し高い認識性能が得られる。しかし、学習パ
タンの集合に対し高い認識性能を得ようとすると、未学
習パタンに対し認識性能が低下する現象が発生する汎化
性の問題がある。
【0008】汎化性は、有限個の学習パタンから未学習
パタンも含めたカテゴリーとして許容するパタンの分布
の範囲を定めることである。従来の神経回路網では、学
習パタンの特徴ベクトルを入力とし、教師信号として学
習パタンが属するカテゴリーの種類のみを与え学習す
る。よって、各学習パタンには品質の差が存在するが、
品質についての情報は学習時に与えられていないから、
全ての学習パタンは等価として学習される。したがって
学習パタンより学習された標準パタンで構成される識別
関数には学習パタンの品質は反映されていない。カテゴ
リーの範囲を定めている標準パタンが品質の良い学習パ
タンから学習されているか否か、カテゴリー内での位置
付けが明確でない。
パタンも含めたカテゴリーとして許容するパタンの分布
の範囲を定めることである。従来の神経回路網では、学
習パタンの特徴ベクトルを入力とし、教師信号として学
習パタンが属するカテゴリーの種類のみを与え学習す
る。よって、各学習パタンには品質の差が存在するが、
品質についての情報は学習時に与えられていないから、
全ての学習パタンは等価として学習される。したがって
学習パタンより学習された標準パタンで構成される識別
関数には学習パタンの品質は反映されていない。カテゴ
リーの範囲を定めている標準パタンが品質の良い学習パ
タンから学習されているか否か、カテゴリー内での位置
付けが明確でない。
【0009】本発明では、学習時、学習パタンの特徴ベ
クトルと学習パタンの評価値を与えて学習することによ
り、学習パタンの品質に基づく評価値を考慮した神経回
路網を構成し、品質が悪い学習パタンが分布する領域、
品質が良い学習パタンが分布する領域に適応して判定規
準を可変にすることにより、汎化性の高い神経回路網を
提供することにある。
クトルと学習パタンの評価値を与えて学習することによ
り、学習パタンの品質に基づく評価値を考慮した神経回
路網を構成し、品質が悪い学習パタンが分布する領域、
品質が良い学習パタンが分布する領域に適応して判定規
準を可変にすることにより、汎化性の高い神経回路網を
提供することにある。
【0010】
(1) 本発明による第1の神経回路網は、1つのカテ
ゴリーに対して複数の標準パタンの特徴ベクトルからな
る神経素子を有し、入力パタンの特徴ベクトルに対し、
近傍に位置する神経素子が反応し、反応した神経素子の
属するカテゴリーに判定を行う神経回路網において、神
経回路網を学習するための個々の学習パタンの特徴ベク
トルに対し、学習パタンの品質を示す評価値を付加する
ことを特徴とする構成である。
ゴリーに対して複数の標準パタンの特徴ベクトルからな
る神経素子を有し、入力パタンの特徴ベクトルに対し、
近傍に位置する神経素子が反応し、反応した神経素子の
属するカテゴリーに判定を行う神経回路網において、神
経回路網を学習するための個々の学習パタンの特徴ベク
トルに対し、学習パタンの品質を示す評価値を付加する
ことを特徴とする構成である。
【0011】(2) 本発明による第2の神経回路網
は、神経素子は学習パタンの評価値に対応する反応の強
度を示す該神経素子の評価値を有し、神経素子を学習し
た学習パタンの集合の評価値の大きさに基づき、神経素
子の評価値を学習することを特徴とする構成である。
は、神経素子は学習パタンの評価値に対応する反応の強
度を示す該神経素子の評価値を有し、神経素子を学習し
た学習パタンの集合の評価値の大きさに基づき、神経素
子の評価値を学習することを特徴とする構成である。
【0012】(3) 本発明による第3の神経回路網
は、学習パタンのカテゴリーと神経素子の属するカテゴ
リーが等しいとき、学習パタンの評価値は神経素子の評
価値を増加するように、学習パタンのカテゴリーと最近
傍に位置する神経素子の属するカテゴリーが異なるとき
学習パタンの評価値は神経素子の反応の強度を減少する
ように、神経素子の反応の強度を更新することを特徴と
する構成である。
は、学習パタンのカテゴリーと神経素子の属するカテゴ
リーが等しいとき、学習パタンの評価値は神経素子の評
価値を増加するように、学習パタンのカテゴリーと最近
傍に位置する神経素子の属するカテゴリーが異なるとき
学習パタンの評価値は神経素子の反応の強度を減少する
ように、神経素子の反応の強度を更新することを特徴と
する構成である。
【0013】(4) 本発明による第4の神経回路網
は、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にK個の神経素子を選択し、選択された各々の
神経素子の評価値に対し、前記距離値を関数で変換した
値で重み付けを行うことにより得られる重み付け評価値
を各カテゴリー毎に加算し、重み付け評価値の和が最大
値となるカテゴリーに判定処理を行うことを特徴とする
構成である。
は、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にK個の神経素子を選択し、選択された各々の
神経素子の評価値に対し、前記距離値を関数で変換した
値で重み付けを行うことにより得られる重み付け評価値
を各カテゴリー毎に加算し、重み付け評価値の和が最大
値となるカテゴリーに判定処理を行うことを特徴とする
構成である。
【0014】(5) 本発明による第5の神経回路網
は、入力パタンの特徴ベクトルから一定の距離に一定の
評価値を有する棄却処理を制御する棄却用神経素子を有
し、前記K個の辞書ベクトルと棄却用の辞書ベクトルに
対し、入力パタンの特徴ベクトルと神経素子間の距離値
を関数で変換した値で重み付けを行った重み付け評価値
を各カテゴリー毎に加算し、全カテゴリーについての重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行うことを特徴とする構成である。
は、入力パタンの特徴ベクトルから一定の距離に一定の
評価値を有する棄却処理を制御する棄却用神経素子を有
し、前記K個の辞書ベクトルと棄却用の辞書ベクトルに
対し、入力パタンの特徴ベクトルと神経素子間の距離値
を関数で変換した値で重み付けを行った重み付け評価値
を各カテゴリー毎に加算し、全カテゴリーについての重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行うことを特徴とする構成である。
【0015】
【作用】神経回路網の学習時、学習パタンの特徴ベクト
ル、学習パタンの属するカテゴリー、学習パタンの評価
値を神経回路網の入力とする。標準パタンの特徴ベクト
ルである神経素子は、学習によって標準パタンの特徴ベ
クトルの位置と反応の強度を示す神経素子の評価値を更
新する。学習パタンの属するカテゴリーと神経素子の属
するカテゴリーが等しいとき、神経素子の評価値は増加
するように更新され、学習パタンの属するカテゴリーと
神経素子の属するカテゴリーが異なるとき、神経素子の
評価値は減少するように更新される。
ル、学習パタンの属するカテゴリー、学習パタンの評価
値を神経回路網の入力とする。標準パタンの特徴ベクト
ルである神経素子は、学習によって標準パタンの特徴ベ
クトルの位置と反応の強度を示す神経素子の評価値を更
新する。学習パタンの属するカテゴリーと神経素子の属
するカテゴリーが等しいとき、神経素子の評価値は増加
するように更新され、学習パタンの属するカテゴリーと
神経素子の属するカテゴリーが異なるとき、神経素子の
評価値は減少するように更新される。
【0016】次に神経回路網によって認識処理を行うと
き、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にK個の神経素子と、入力パタンの特徴ベクト
ルから一定の距離に一定の評価値を有する棄却処理を制
御する神経素子が選択される。選択された各々の神経素
子の評価値は、距離値を関数で変換した値で重み付けさ
れた重み付き評価値に変換され、各神経素子の属するカ
テゴリー毎に総和が取られる。全カテゴリーについて重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行い、しきい値より大きいとき入力パタンは
各カテゴリーの重み付け評価値の和の中で、最大値とな
るカテゴリーに判定される。
き、入力パタンの特徴ベクトルと神経素子間の距離値の
小さい順にK個の神経素子と、入力パタンの特徴ベクト
ルから一定の距離に一定の評価値を有する棄却処理を制
御する神経素子が選択される。選択された各々の神経素
子の評価値は、距離値を関数で変換した値で重み付けさ
れた重み付き評価値に変換され、各神経素子の属するカ
テゴリー毎に総和が取られる。全カテゴリーについて重
み付け評価値の総和が予め設定したしきい値以下のとき
棄却処理を行い、しきい値より大きいとき入力パタンは
各カテゴリーの重み付け評価値の和の中で、最大値とな
るカテゴリーに判定される。
【0017】
【実施例】以下に本発明の構成について図面を参照しな
がら説明する。図1は本発明の神経回路網の構成図であ
る。
がら説明する。図1は本発明の神経回路網の構成図であ
る。
【0018】まず神経回路網の学習方式について説明を
行う。パタンの特徴ベクトル1をxとしたとき、特徴ベ
クトル1は入力ユニット2から神経回路網に入力され
る。図1の例では特徴ベクトルが5次元の例であり、入
力ユニットは5個存在する。入力ユニットの各成分は、
標準パタンの特徴ベクトルmijである神経素子3と全て
結合している。図1は7個のサブカテゴリーの特徴ベク
トルが存在する例である。
行う。パタンの特徴ベクトル1をxとしたとき、特徴ベ
クトル1は入力ユニット2から神経回路網に入力され
る。図1の例では特徴ベクトルが5次元の例であり、入
力ユニットは5個存在する。入力ユニットの各成分は、
標準パタンの特徴ベクトルmijである神経素子3と全て
結合している。図1は7個のサブカテゴリーの特徴ベク
トルが存在する例である。
【0019】カテゴリーSi のサブカテゴリーSijの標
準パタンである神経素子3をmij(i=1,…,N),
(j=1,…,M)としたとき、各サブカテゴリーの標
準パタンについて(5)式に示すユークリッド距離6を
計算する。 d(x,mij)=‖x−mij‖ (5) (5)式のノルムはユークリッドノルムを示している。
(5)式のユークリッド距離が最小となるサブカテゴリ
ーをSi'j'、神経素子をmi'j'としたとき、学習時、神
経素子mi'j'が反応する。
準パタンである神経素子3をmij(i=1,…,N),
(j=1,…,M)としたとき、各サブカテゴリーの標
準パタンについて(5)式に示すユークリッド距離6を
計算する。 d(x,mij)=‖x−mij‖ (5) (5)式のノルムはユークリッドノルムを示している。
(5)式のユークリッド距離が最小となるサブカテゴリ
ーをSi'j'、神経素子をmi'j'としたとき、学習時、神
経素子mi'j'が反応する。
【0020】神経回路網の学習時、神経素子の位置、神
経素子の評価値の更新を行う。学習時、入力データとし
て学習パタンの特徴ベクトル1,Si で表すカテゴリー
信号4、gで表す学習パタン評価値5を入力する。
経素子の評価値の更新を行う。学習時、入力データとし
て学習パタンの特徴ベクトル1,Si で表すカテゴリー
信号4、gで表す学習パタン評価値5を入力する。
【0021】学習パタンの評価値gは関数f(・)によ
り変換される。学習パタンのカテゴリーSr と最小距離
値をとる神経素子のカテゴリーSi'が等しいとき、学習
パタンの評価値は神経素子の反応の強度を示す神経素子
の評価値を増加するように更新し、学習パタンのカテゴ
リーSr と最小距離値をとる神経素子のカテゴリーSi'
が異なるとき、学習パタンの評価値は神経素子の反応の
強度を示す神経素子の評価値を減少するように更新す
る。ある時刻tにおける神経素子の評価値vijは、標準
パタンが学習された近傍の学習パタンの評価値を関数で
変換した値の平均値となる。またα(t)は時間ととも
に変化する係数である。
り変換される。学習パタンのカテゴリーSr と最小距離
値をとる神経素子のカテゴリーSi'が等しいとき、学習
パタンの評価値は神経素子の反応の強度を示す神経素子
の評価値を増加するように更新し、学習パタンのカテゴ
リーSr と最小距離値をとる神経素子のカテゴリーSi'
が異なるとき、学習パタンの評価値は神経素子の反応の
強度を示す神経素子の評価値を減少するように更新す
る。ある時刻tにおける神経素子の評価値vijは、標準
パタンが学習された近傍の学習パタンの評価値を関数で
変換した値の平均値となる。またα(t)は時間ととも
に変化する係数である。
【0022】本発明の神経回路網の学習の手順は以下の
ようになる。学習パタンとして、カテゴリーSr に属す
るパタンx(t)が入力されたとき、神経素子mijの中
でx(t)に最も距離の小さい標準パタンをmi'j'とす
る。mi'j'がカテゴリーSs の神経素子であるとき、学
習は式(6)−式(18)にて行われる。 初期値 uij(0)=O,yij(0)=O,nij(0)=O (6) Ss =Sr のとき mi'j'(t+1)=mi'j'(t)+α(t)[x(t)-mi'j'(t)] (7) ui'j'(t+1)=ui'j'(t)+f(g) (8) ni'j'(t+1)=ni'j'(t)+l (9) vi'j'(t+1)=ui'j'(t+1) /ni'j'(t+1) (10) Ss ≠Sr のとき mi'j'(t+1)=mi'j'(t)-α(t)[x(t)-mi'j'(t)] (11) ui'j'(t+1)=ui'j'(t)-f(g) (12) ni'j'(t+1)=ni'j'(t)+l (13) vij(t+1)=uij(t+1) /nij(t+1) (14) i≠i’かつj≠j’のとき mij(t+1)=mij(t) (15) uij(t+1)=uij(t) (16) nij(t+1)=nij(t) (17) vij(t+1)=vij(t) (18) 学習の動作を図2,図3に示す。学習パタン11を◎、
学習パタンとカテゴリーが等しい神経素子12、13、
14、15、16を○、学習パタンとカテゴリーが異な
る神経素子17を×で示す。縦方向のヒストグラムの大
きさで神経素子の評価値の大きさを示している。図2は
学習パタンのカテゴリーSr と最小距離値をとる神経素
子のカテゴリーSi'が等しい場合であり、式(7)およ
び18に示すように神経素子は学習パタンに近づくよう
に移動し、神経素子の評価値は式(8)および19に示
すように増加するように更新される。図3は学習パタン
20のカテゴリーSr と最小距離値をとる神経素子21
のカテゴリーSi'が異なる場合であり、式(11)、2
2に示すように標準パタンは学習パタンに遠ざかるよう
に移動し、神経素子の評価値は式(12)、23に示す
ように減少するように更新される。
ようになる。学習パタンとして、カテゴリーSr に属す
るパタンx(t)が入力されたとき、神経素子mijの中
でx(t)に最も距離の小さい標準パタンをmi'j'とす
る。mi'j'がカテゴリーSs の神経素子であるとき、学
習は式(6)−式(18)にて行われる。 初期値 uij(0)=O,yij(0)=O,nij(0)=O (6) Ss =Sr のとき mi'j'(t+1)=mi'j'(t)+α(t)[x(t)-mi'j'(t)] (7) ui'j'(t+1)=ui'j'(t)+f(g) (8) ni'j'(t+1)=ni'j'(t)+l (9) vi'j'(t+1)=ui'j'(t+1) /ni'j'(t+1) (10) Ss ≠Sr のとき mi'j'(t+1)=mi'j'(t)-α(t)[x(t)-mi'j'(t)] (11) ui'j'(t+1)=ui'j'(t)-f(g) (12) ni'j'(t+1)=ni'j'(t)+l (13) vij(t+1)=uij(t+1) /nij(t+1) (14) i≠i’かつj≠j’のとき mij(t+1)=mij(t) (15) uij(t+1)=uij(t) (16) nij(t+1)=nij(t) (17) vij(t+1)=vij(t) (18) 学習の動作を図2,図3に示す。学習パタン11を◎、
学習パタンとカテゴリーが等しい神経素子12、13、
14、15、16を○、学習パタンとカテゴリーが異な
る神経素子17を×で示す。縦方向のヒストグラムの大
きさで神経素子の評価値の大きさを示している。図2は
学習パタンのカテゴリーSr と最小距離値をとる神経素
子のカテゴリーSi'が等しい場合であり、式(7)およ
び18に示すように神経素子は学習パタンに近づくよう
に移動し、神経素子の評価値は式(8)および19に示
すように増加するように更新される。図3は学習パタン
20のカテゴリーSr と最小距離値をとる神経素子21
のカテゴリーSi'が異なる場合であり、式(11)、2
2に示すように標準パタンは学習パタンに遠ざかるよう
に移動し、神経素子の評価値は式(12)、23に示す
ように減少するように更新される。
【0023】次に本発明の神経回路網を用いた認識方式
について説明を行う。図1において、未知入力パタンの
特徴ベクトルをxとしたとき、dijに示す特徴ベクトル
xと標準パタンmij間の距離6を式(19)にて計算す
る。ノルムはユークリッドノルムとする。 dij=‖x−mij‖ (19)
について説明を行う。図1において、未知入力パタンの
特徴ベクトルをxとしたとき、dijに示す特徴ベクトル
xと標準パタンmij間の距離6を式(19)にて計算す
る。ノルムはユークリッドノルムとする。 dij=‖x−mij‖ (19)
【0024】特徴ベクトルxについて、k−神経素子選
択部7において、距離の小さい順にk個の神経素子{m
i1j1,…,mikjk}を選択する。また、m0 で示す棄却
判定を行うための神経素子8は、常に特徴ベクトルから
距離d0 の位置に配置する。図4の例においてk=3と
したとき、距離の小さい順に24、25、26が選択さ
れる。また棄却用神経素子は27である。
択部7において、距離の小さい順にk個の神経素子{m
i1j1,…,mikjk}を選択する。また、m0 で示す棄却
判定を行うための神経素子8は、常に特徴ベクトルから
距離d0 の位置に配置する。図4の例においてk=3と
したとき、距離の小さい順に24、25、26が選択さ
れる。また棄却用神経素子は27である。
【0025】距離値dijおよびd0 は式(20)、(2
1)にて正規化される。C0 は正規化のための正の定数
である。
1)にて正規化される。C0 は正規化のための正の定数
である。
【数1】
【数2】 次に各カテゴリーCi についてVi で示す評価値の期待
値9を計算する。
値9を計算する。
【数3】 期待値Vi の最大値VL を式(22)にて求める。
【数4】 また、評価値の期待値の総和をVs としたとき、
【数5】 判定ユニット10では、Vs としきい値ηと比較し、し
きい値より小さいとき棄却処理を行う。 Vs ≧ηのとき カテゴリーをCL に判定する。 (25) Vs <ηのとき 棄却する。 (26)
きい値より小さいとき棄却処理を行う。 Vs ≧ηのとき カテゴリーをCL に判定する。 (25) Vs <ηのとき 棄却する。 (26)
【0026】次に図5、図6を用いて本発明の神経回路
網の認識結果と従来の神経回路網の認識結果を比較す
る。本発明の神経回路網では学習パタンに評価値を与え
ることが可能である。例えば28に標準的な字形の5、
29に変形の大きい5、30に標準的な字形の6を示
す。標準的な字形の学習パタンに高い評価値、変形の大
きい学習パタンに低い評価値を与えたとき、(23)式
のVi の値は図5のようになる。変形の小さい学習パタ
ンから学習された神経素子31、33は高い評価値を持
ち、変形の小さい学習パタンから学習された神経素子3
2は小さい評価値を持つ。また、しきい値ηより評価値
が小さいとき棄却処理を行う。カテゴリー5、6の境界
は43であり、44に認識結果を示す。
網の認識結果と従来の神経回路網の認識結果を比較す
る。本発明の神経回路網では学習パタンに評価値を与え
ることが可能である。例えば28に標準的な字形の5、
29に変形の大きい5、30に標準的な字形の6を示
す。標準的な字形の学習パタンに高い評価値、変形の大
きい学習パタンに低い評価値を与えたとき、(23)式
のVi の値は図5のようになる。変形の小さい学習パタ
ンから学習された神経素子31、33は高い評価値を持
ち、変形の小さい学習パタンから学習された神経素子3
2は小さい評価値を持つ。また、しきい値ηより評価値
が小さいとき棄却処理を行う。カテゴリー5、6の境界
は43であり、44に認識結果を示す。
【0027】図6に示すように、従来の神経回路網では
各学習パタンは等価であるため31、33に示す標準的
字形で学習した神経素子37、39であっても、38に
示す変形の大きい字形で学習した神経素子であっても同
一の出力値40となる。カテゴリー5、6の境界は45
のようになり、認識結果は46で得られる。
各学習パタンは等価であるため31、33に示す標準的
字形で学習した神経素子37、39であっても、38に
示す変形の大きい字形で学習した神経素子であっても同
一の出力値40となる。カテゴリー5、6の境界は45
のようになり、認識結果は46で得られる。
【0028】41、42に示すような29、35の字形
と類似したカテゴリー6の字形が入力されたとき、本発
明の神経回路網では神経素子32の評価値が低いため棄
却領域47として処理するが、従来の神経回路網ではカ
テゴリー5として誤って認識される。
と類似したカテゴリー6の字形が入力されたとき、本発
明の神経回路網では神経素子32の評価値が低いため棄
却領域47として処理するが、従来の神経回路網ではカ
テゴリー5として誤って認識される。
【0029】
【発明の効果】以上に説明したように、本発明によれ
ば、学習パタンに対して評価値を与え学習することによ
り、学習パタンの品質に適応した判定基準に基づき認識
することにより、未学習パタンに対する認識性能を改善
することが可能である。また、本発明の神経回路網は、
特徴ベクトルの非線形的分布を学習により近似すること
が可能であり、特徴ベクトルを求めるときの特徴抽出方
式に依存せず、任意の特徴抽出方式に適用可能である。
また、本発明では文字を対象として説明を行ったが、画
像、音声、図形を対象としても容易に実現可能である。
ば、学習パタンに対して評価値を与え学習することによ
り、学習パタンの品質に適応した判定基準に基づき認識
することにより、未学習パタンに対する認識性能を改善
することが可能である。また、本発明の神経回路網は、
特徴ベクトルの非線形的分布を学習により近似すること
が可能であり、特徴ベクトルを求めるときの特徴抽出方
式に依存せず、任意の特徴抽出方式に適用可能である。
また、本発明では文字を対象として説明を行ったが、画
像、音声、図形を対象としても容易に実現可能である。
【0030】また、入力パタンの特徴ベクトルと標準パ
タンの特徴ベクトル間の距離を示す尺度としてユークリ
ッド距離を用いて説明を行ったが、他の距離(マハラノ
ビス距離、シティブロック距離など)、類似度(単純類
似度、複合類似度など)にも適用可能である。
タンの特徴ベクトル間の距離を示す尺度としてユークリ
ッド距離を用いて説明を行ったが、他の距離(マハラノ
ビス距離、シティブロック距離など)、類似度(単純類
似度、複合類似度など)にも適用可能である。
【図1】本発明の神経回路網の構成図である。
【図2】本発明の神経回路網の学習方式について説明す
るための図である。
るための図である。
【図3】本発明の神経回路網の学習方式について説明す
るための図である。
るための図である。
【図4】本発明の神経回路網の認識方式について説明す
るための図である。
るための図である。
【図5】本発明の神経回路網の認識結果について説明す
るための図である。
るための図である。
【図6】従来の神経回路網の認識結果について説明する
ための図である。
ための図である。
1 特徴ベクトル 2 入力ユニット 3 神経素子 4 カテゴリー信号 5 学習パタンの評価値 6 特徴ベクトルと神経素子間の距離 7 k−神経素子選択部 8 棄却用神経素子 9 評価値の期待値 10 判定ユニット
Claims (5)
- 【請求項1】 1つのカテゴリーに対して複数の標準パ
タンの特徴ベクトルである神経素子を有し、入力パタン
の特徴ベクトルに対し、近傍に位置する神経素子が反応
し、反応した神経素子の属するカテゴリーに判定を行う
神経回路網において、 神経回路網を学習するための個々の学習パタンの特徴ベ
クトルに対し、学習パタンの品質を示す評価値を付加す
ることを特徴とする神経回路網。 - 【請求項2】 神経素子は学習パタンの評価値に対応す
る反応の強度を示す該神経素子の評価値を有し、神経素
子を学習した学習パタンの集合の評価値の大きさに基づ
き、神経素子の評価値を学習することを特徴とする請求
項1に記載の神経回路網。 - 【請求項3】 学習パタンのカテゴリーと神経素子の属
するカテゴリーが等しいとき、学習パタンの評価値は神
経素子の評価値を増加するように、学習パタンのカテゴ
リーと最近傍に位置する神経素子の属するカテゴリーが
異なるとき学習パタンの評価値は神経素子の反応の強度
を減少するように、神経素子の反応の強度を更新するこ
とを特徴とする請求項2に記載の神経回路網。 - 【請求項4】 入力パタンの特徴ベクトルと神経素子間
の距離値の小さい順にK個の神経素子を選択し、選択さ
れた各々の神経素子の評価値に対し、前記距離値を関数
で変換した値で重み付けを行うことにより得られる重み
付け評価値を各カテゴリー毎に加算し、重み付け評価値
の和が最大値となるカテゴリーに判定処理を行うことを
特徴とする請求項3に記載の神経回路網。 - 【請求項5】 入力パタンの特徴ベクトルから一定の距
離に一定の評価値を有する棄却処理を制御する棄却用神
経素子を有し、前記K個の辞書ベクトルと棄却用の辞書
ベクトルに対し、入力パタンの特徴ベクトルと神経素子
間の距離値を関数で変換した値で重み付けを行った重み
付け評価値を各カテゴリー毎に加算し、全カテゴリーに
ついての重み付け評価値の総和が予め設定したしきい値
以下のとき棄却処理を行うことを特徴とする請求項4に
記載の神経回路網。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23702291A JPH0554164A (ja) | 1991-08-23 | 1991-08-23 | 神経回路網 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23702291A JPH0554164A (ja) | 1991-08-23 | 1991-08-23 | 神経回路網 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0554164A true JPH0554164A (ja) | 1993-03-05 |
Family
ID=17009233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23702291A Withdrawn JPH0554164A (ja) | 1991-08-23 | 1991-08-23 | 神経回路網 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0554164A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007249997A (ja) * | 2000-07-15 | 2007-09-27 | Intevep Sa | 工業プロセスの監視方法及び監視システム |
KR20130050707A (ko) * | 2011-11-08 | 2013-05-16 | 삼성전자주식회사 | 인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치 |
-
1991
- 1991-08-23 JP JP23702291A patent/JPH0554164A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007249997A (ja) * | 2000-07-15 | 2007-09-27 | Intevep Sa | 工業プロセスの監視方法及び監視システム |
KR20130050707A (ko) * | 2011-11-08 | 2013-05-16 | 삼성전자주식회사 | 인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5625707A (en) | Training a neural network using centroid dithering by randomly displacing a template | |
US5048100A (en) | Self organizing neural network method and system for general classification of patterns | |
CN111368683B (zh) | 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法 | |
CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
US6128410A (en) | Pattern matching apparatus and method that considers distance and direction | |
CN102509112A (zh) | 车牌识别方法及其识别系统 | |
CN110046565B (zh) | 一种基于Adaboost算法的人脸检测方法 | |
US5119438A (en) | Recognizing apparatus | |
US5832108A (en) | Pattern recognition method using a network and system therefor | |
CN111242046B (zh) | 一种基于图像检索的地面交通标志识别方法 | |
Kancharla et al. | Handwritten signature recognition: a convolutional neural network approach | |
CN112070116B (zh) | 一种基于支持向量机的艺术画作自动分类系统及方法 | |
US5293454A (en) | Learning method of neural network | |
Chhabra et al. | High-order statistically derived combinations of geometric features for handprinted character recognition | |
US5600736A (en) | Image pattern identification/recognition method | |
JPH0554164A (ja) | 神経回路網 | |
CN115439405A (zh) | 一种钢板表面缺陷的分类方法 | |
Chi et al. | Image segmentation using fuzzy rules derived from K-means clusters | |
Verikas et al. | Colour classification by neural networks in graphic arts | |
Lu et al. | Directed assistance for ink-bleed reduction in old documents | |
CN110674852A (zh) | 基于几何特征和AdaBoost算法的焊缝缺陷分类方法 | |
KR20060074410A (ko) | 학습에 기반을 둔 적응형 실시간 얼굴검출방법 | |
JPH04111085A (ja) | パターン認識装置 | |
JPH0773276A (ja) | 文字認識装置 | |
JPH02210589A (ja) | 文字認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19981112 |