JPH0438587A - 入力領域適応型ニューラルネットワーク文字認識装置 - Google Patents

入力領域適応型ニューラルネットワーク文字認識装置

Info

Publication number
JPH0438587A
JPH0438587A JP2144414A JP14441490A JPH0438587A JP H0438587 A JPH0438587 A JP H0438587A JP 2144414 A JP2144414 A JP 2144414A JP 14441490 A JP14441490 A JP 14441490A JP H0438587 A JPH0438587 A JP H0438587A
Authority
JP
Japan
Prior art keywords
pattern
neural network
input
character
input area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2144414A
Other languages
English (en)
Inventor
Minoru Asogawa
稔 麻生川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2144414A priority Critical patent/JPH0438587A/ja
Publication of JPH0438587A publication Critical patent/JPH0438587A/ja
Priority to US07/971,253 priority patent/US5396565A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野] 本発明は、パターンの分類を認識する装置に関し、特に
ノイズを含んだあるいは回転または平行移動した文字パ
ターンの文字認識装置に関する。
〔従来の技術〕
従来、分類問題を扱うことのできる多くの文字認識シス
テムが提案されている。これらについては、例えば「パ
ターン認識」、森健−監修、を子情報通信学会、 (1
988) (以下引用文献1と称す)により詳しく解説
されている。パターン認識の過程は、原パターン信号の
前処理、特徴抽出、識別よりなる。前処理の過程では、
学習したときのパターンと同じくらいになるように、パ
ターンの大きさを拡大縮小してそろえる。また特徴抽出
の過程では、認識を行うのに有効なパターンの性質を特
徴として取り出す。ノイズを含んだあるいは回転または
平行移動した文字パターンが提示された時は、前処理ま
たは特徴抽出の過程が正常に行われず、認識を誤る。
〔発明が解決しようとする課題〕
上述した従来技術では、十分な認識率を達成するために
、前処理または特徴抽出の過程を適切に行う必要がある
。しかしながら適切な、すべての考え得るパターンにつ
いて前処理または特徴抽出の過程を予め決定することは
難しい。
本発明の目的は、ノイズを含んだあるいは入力領域部が
回転または平行移動した文字パターンに対して適応して
ニューラルネットワークを用いて文字認識を行うことに
より、文字認識精度と確度をともに向上することができ
る入力領域適応型ニューラルネットワーク文字認識装置
を提供することにある。
〔課題を解決するための手段〕
本発明の入力領域適応型ニューラルネットワーク文字認
識装置は、 標準的な文字パターンおよびその文字パターンのカテゴ
リーを保持する標準文字パターン・カテゴリー・メモリ
部と、 ノイズを含んだ回転または平行移動した文字パターンに
対して適応する入力領域部と、標準的な位置に提示され
た文字パターンを認識することのできるパターン連想型
ニューラルネットワークと、 パターン連想型ニューラルネットワークを制?1する学
習・認識制御部とを有することを特徴とする。
〔作用〕
本発明では、入力として従来法を用いて大まかに切り出
された文字パターンを用いる。このパターンに対しパタ
ーン連想型ニューラルネットワークを用いて文字認識を
行う。認識結果を用いて入力領域部を文字パターンに対
して適応させる。適応させた入力に対して再度ニューラ
ルネットワークを用いて文字認識を行う。この手続きを
繰り返し文字の認識を行う。前処理は認識結果に基づい
て逐次的に行われ、ノイズを含んだ回転または平行移動
した文字パターンに対しても適切に行われる。また、特
徴抽出の過程は二↓−ラルネットワーク学習によって行
うために、分類する文字パターンに対して適切な特徴抽
出が行われる。
ここで用いるパターン連想型ニューラルネットワークに
は、例えば「日経エレクトロニクス」誌427号(19
87年8月)のl15頁から124頁に[ニューラル・
ネットをパターン認識、信号処理、知識処理に使う」と
題された記事(以下、引用文献2と称す)により詳細に
解説されているパターン連想型ニューラルネットワーク
を用いることができる。
第6図はパターン連想型ニューラルネットワークの構造
の一例を示す構造説明図である。このパターン連想型ニ
ューラルネットワークは入力層51゜中間層52.出力
層53の各層が階層構造になっている。なお中間層52
は、第6図では1層となっているが、2層以上の多層で
もよい。
パターン連想型ニューラルネットワークの各層のノード
の出力は、そのノードに接続されているノードに重みW
を掛けたものの総和の値を、非線形関数により変換した
ものである。この様にパターン連想型ニューラルネット
ワークの変換特性は、重みWによって決定される。重み
Wの値は、学習によって決定される。学習法については
、例えば、引用文献2により詳細に解説されているバッ
クワード・プロパゲーションを用いて実行することがで
きる。
学習が終了したニューラルネットワークに対して、入力
文字パターンPが提示されたとする。これから入力層5
1の各セルの値が決定する。フォーワード・プロパゲー
ションを用いて出力層53の各セルの出力値が決定する
。出力層53の各セルは文字のカテゴリーに対応づけら
れているので、出力値が最大のセルが入力文字パターン
Pのカテゴリーとなる。
ノイズを含んだあるいは回転または平行移動した文字パ
ターンが提示された時は、ニューラルネットワークの汎
化能力により、入力文字パターンPのカテゴリーに対応
する出力層53のセルの出力が最大となる。
しかしながら、ノイズを含んだあるいは回転または平行
移動しているために、入力文字パターンPに対応しない
出力層53のセルにも出力が現れる。
この時に、出力層53の各セルが出力すべき値を、対応
するカテゴリーのセルは1.0、対応しないカテゴリー
のセルは0.0とする。出力すべき値と出力値を用いて
ニューラルネットワークのエラーを算出する。ここで、
引用文献2により詳細に解説されているバックワード・
プロパゲーションを用いて入力層51のセルのδ値を求
める。
δ値は、 ここで、Eは前記のエラー、netは入力層51のセル
の入力である。
δ値はエラーに対する入力の偏微分係数なので、入力層
51のセルの入力を一ηδだけ変更すると(但し、0〈
η〈1)、エラーが減少する。
入力層51のセルの入力の変更は、入力領域にあるセル
の局所的なパターン濃さの勾配を用いて、セルを移動す
ることによって行う。同時に入力領域のセルが、無秩序
に移動しないようにセル間に制約を設ける。
入力領域のセルの移動により、新たに入力層51の各セ
ルの値が決定する。フォーワード・プロパゲーションを
用いて出力層53の各セルの出力値が決定する。
以上の手続きを繰り返すことによって、入力領域は出力
層でのエラーが減少するように適応する。
すなわち、学習した時の文字パターンと同じようになる
ように入力領域が適応し、ノイズを含んだあるいは回転
または平行移動した文字パターンに対しても適切な前処
理が行われる。また、特徴抽出の過程はニューラルネッ
トワーク学習によって行うために、分類する文字パター
ンに対して適切な特徴抽出が行われる。
〔実施例〕
本発明の実施例について図面を参照して説明する。
第1図は本発明の人力領域適応型ニューラルネットワー
ク文字認識装置の一実施例を示す構成図である。この入
力領域適応型ニューラルネットワーク文字認識装置は、
標準文字パターン・カテゴリー・ (区分)メモリ部1
1と、パターン連想型ニューラルネットワーク12と、
学習認識制御部13と、人力領域部14と、切換え部1
5とを有している。
標準文字パターン・カテゴリー・メモリ部11は、学習
用の標準的な文字パターンとそのカテゴリー(区分)と
の組のN組を保持している。
パターン連想型ニューラルネットワーク12は、標準文
字パターンStを入力信号とし、その文字パターンのカ
テゴリーに、を教師信号として学習し、文字パターンS
tそのカテゴリーKtを認識する機能を有する。
学習・認識制御部13は、パターン連想型ニューラルネ
ットワーク12の学習と認識の動作を制御する。
入力領域部14は、パターン連想型ニューラルネットワ
ーク12の各入力セルを含み、外部からのパターンは入
力領域部14を通してパターン連想型ニューラルネット
ワーク12の入力となる。
切換え部15は、学習と認識とのフェーズの間で、パタ
ーン連想型ニューラルネットワーク12への入力を切り
換える。
次に、本実施例の動作を説明する。
動作は、パターン連想型ニューラルネットワーク12の
学習を行う学習フェーズと、装置を用いて文字パターン
の認識を行う認識フェーズからなる。
(1)学習フェーズ 学習フェーズについて、第1図と、学習フェーズにおけ
る信号の流れの一例を示す第2図とを用いて説明する。
学習フェーズでは、第1図の切換え部15は接点a側に
切換えられる。
パターン連想型ニューラルネットワーク12は、標準文
字パターン・カテゴリー・メモリ部11からの標準文字
パターンS1を入力信号とし、その文字パターンのカテ
ゴリーKtを教師信号とする。
これらの入力信号と教師信号を基にしてパターン連想型
ニューラルネットワーク12の内部パラメータの更新を
行う、この更新は、引用文献2に詳細に解説されている
バックワード・プロパゲーションを用いて実行°するこ
とができる0以上に述べた学習操作を、標準文字パター
ン・カテゴリー・メモリ部11に保持されている標準文
字パターンS1とカテゴリーKtとについて行う。学習
後の誤差が十分に小さくない場合には、以上に述べた学
習操作を繰り返し、誤差が十分に小さくなるまで学習操
作を繰り返す。
これによって、パターン連想型ニューラルネットワーク
12の学習は終了する。この学習によってパターン連想
型ニューラルネットワーク12は、前述の学習によって
文字パターンSLを基にして、そのカテゴリーKtを認
識する機能を有する。
(2)認識の学習フェーズ 認識フェーズについて、第1図と、認識フェーズにおけ
る信号の流れの一例を示す第3図と、認識フェーズにお
ける手続きを示す第4図と、パターン濃さの勾配G、を
求める説明図である第5図とを用いて説明する。
認識フェーズでは、第1図の切換え部15は接点す側に
切換えられる。
まず、認識すべきパターンは外部より入力領域部14に
提示される。この時の認識すべきパターンは原パターン
より大まかに切り出される。この手法については、引用
文献lに説明されている。
パターン連想型ニューラルネットワーク12の各入力セ
ルの入力の計算(第4図ステ・ノブ41)は、入力領域
の位置において提示されているノでターンの強度に従っ
て計算する。格子点よりΔX、Δyずれた位置にあるセ
ルの入力■ (ΔX、Δy)は、−例として、以下のよ
うに決定することができる。
l (ΔX、Δy)= (1−ΔX)(1−Δy)Is
+Δx(1−Δy)It。
+ (1−ΔX)ΔyIoI +ΔXΔ)11++      (2)ここでt、、、
1.。、■。l+  I。。は、各格子点に対応するパ
ターンの濃さである。
次に、出力の計算(第4図ステ・ンプ42)は、引用文
献2に詳細に解説されているフォーワード・プロパゲー
ションを用いて実行することができる。
“正解”の選択(第4図ステ・ンプ43)は、出力のう
ち最大出力のものを正解とする。正解が決まると、平均
2乗誤差Eは以下のようになる。
式中、Nは出力層のセルの数、A、は、A、が最大出力
であったら1.0、それ以外では0.0である。
0、は、出力層の第iセルの出力である。
入力層の各セルのデルタ値の計算(第4図ステップ44
)は、引用文献2に詳細に解説されているバックワード
・プロパゲーションを用いて実行することができる。こ
れによって、入力層の第jセルのデルタ値δ、を求める
ことができる。デルタ値δ、は、出力層での平均2乗誤
差Eとは、以下に示されるような関係がある。
ここでneJは、第j入カセルの入力である。
従って、δ、が正の値のときは、第j入カセルの総入力
neJが増加すると、平均2乗誤差Eは減少する。その
結果、出力はより“正解”に近付くことになる。このこ
とから、出力をより“正解′。
に近付けるためには、第j入カセルの総入力netJを
、以下に与えられるようなΔnet、だけ変更させれば
良いことが分かる。
Δnet、−ηδ、             (5)
出力層のエラーを減少させるために“移動しなければな
らない位置”は、パターン濃さの勾配G、とΔnetj
を用いて計算する。
パターン濃さの勾配G、は、−例として、第5図に示す
様に、周囲のパターン濃さを基にして、以下のように内
挿して計算できる。
Gj =c、、Ji +cy、aj         
 (6)=Δ)’  (Iz   Ion) + (1−Δy)  (1+。−10゜)(7)=ΔX
(Iz   1111) + (1−Δx)  (Ion   Ioo)    
(8)ここで、Iz、It。、Io、、I。。は、各位
置に対応するパターンの濃さである。
出力のエラーが減少する様にするためにセルを移動させ
ようとする力を、以下ゾルタカと呼ぶ。
ゾルタカn、は、ΔneJ とパターンの濃さの勾配G
、を用いて以下のように計算できる。
上式では、パターンの濃さの勾配cyj=oの時は、ゾ
ルタカn、は無限大となる。しかしながら、この状態で
はゾルタカnjはほぼ0となる必要がある上記のことを
考慮すると、ゾルタカQaは、−例として、以下のよう
に決定することができる。
入力領域のセル間には、長方形を保つような空間的な制
約力を、以下アドレス力と呼ぶ。アドレス力は、セル間
の距離が増加すると発生しもとの距離に戻そうとする。
この力は、入力領域を長方形に保つことについて働き、
入力領域全体が回転または平行移動しても働かない、第
jセルと第mセルに働く、アドレス力FJ+@は以下の
ように与えられる。
二二で、kは、バネ定数、JMは、始点が第jセルで終
点が第mセルで与えられる位置ベクトル、し41.は、
第jセルと第mセルの自然長である。
第jセルと第mセルに働くアドレス力pj+aを用いて
、第jセルに働くアドレス力FJ+Ilは以下のように
なる。
FJ=ΣFj、、              021
ここで、入力領域でのセルの新しい位置を決定(第4図
ステップ45)は、ゾルタカとアドレス力を組み合わせ
てセルの新しい位置を決定する。セルの新しい位置ベク
トルP、は、以下のように計算できる。
P 、*mw = P 、old十ΔPJ”’    
     Q31ΔP j”’ =α、ΔP J”’+
a!o4十α、 F j           04)
α1は、前回の位置の変更量に作用するパラメータで、
一種の慣性とみなすことができる。この慣性を用いるこ
とによって、ローカルミニマムを乗り越えて入力領域を
パターンに適応化させることが可能となる。
ここで誤差が十分に小さい値に収束していないならば、
各入力セルの入力を計算(第4図ステップ41)に、収
束していれば、終了する。
〔発明の効果] 本発明の入力領域適応型ニューラルネットワーク文字認
識装置は、大まかに切り出された文字パターンに対して
、ノイズを含んだあるいは入力領域部が回転または平行
移動した文字パターンに対して適応してニューラルネッ
トワークを用いて文字認識を行うことにより、文字認識
精度と確度がともに向上することができるという効果を
有している。また、パターンの提示位置を確定できると
いう効果を有している。
【図面の簡単な説明】
第1図は入力領域適応型ニューラルネットワーク文字認
識装置の一実施例を示す構成図、第2図は学習フェーズ
の信号の流れを示すブロック図、 第3図は認識フェーズの信号の流れを示すブロック図、 第4図は認識フェーズにおける手続きを示すフローチャ
ート、 第5図はパターン濃さの勾配Gjを求める説明図、 第6図はパターン連想型ニューラルネットワークの構成
例を示す図である。 11・・・・・標準文字パターン・カテゴリー・メモリ
部 12・・・・・パターン連想型ニューラルネットワーク 13・・・・・学習・認識制御部 14・・・・・入力領域部 15・・・・・切換え部 51・・・・・入力層 52・・・・・中間層 53・ ・出力層

Claims (1)

    【特許請求の範囲】
  1.  (1) 標準的な文字パターンおよびその文字パター
    ンのカテゴリーを保持する標準文字パターン・カテゴリ
    ー・メモリ部と、 ノイズを含んだ回転または平行移動した文字パターンに
    対して適応する入力領域部と、 標準的な位置に提示された文字パターンを認識すること
    のできるパターン連想型ニューラルネットワークと、 パターン連想型ニューラルネットワークを制御する学習
    ・認識制御部とを有することを特徴とする入力領域適応
    型ニューラルネットワーク認識装置。
JP2144414A 1990-06-04 1990-06-04 入力領域適応型ニューラルネットワーク文字認識装置 Pending JPH0438587A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2144414A JPH0438587A (ja) 1990-06-04 1990-06-04 入力領域適応型ニューラルネットワーク文字認識装置
US07/971,253 US5396565A (en) 1990-06-04 1992-11-04 Pattern recognition neural net insensitive to disturbances in inputs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2144414A JPH0438587A (ja) 1990-06-04 1990-06-04 入力領域適応型ニューラルネットワーク文字認識装置

Publications (1)

Publication Number Publication Date
JPH0438587A true JPH0438587A (ja) 1992-02-07

Family

ID=15361620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2144414A Pending JPH0438587A (ja) 1990-06-04 1990-06-04 入力領域適応型ニューラルネットワーク文字認識装置

Country Status (2)

Country Link
US (1) US5396565A (ja)
JP (1) JPH0438587A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348905A (ja) * 1993-06-02 1994-12-22 Nec Corp X線フィルム上の文字認識方法
CN102550388A (zh) * 2012-01-06 2012-07-11 上海海洋大学 一种条斑紫菜养殖中后期清除绿藻的方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683792A (ja) * 1991-06-12 1994-03-25 Hitachi Ltd ニューラルネットワークの学習装置およびニューラルネットワークの学習パターン呈示方法
ES2150926T3 (es) * 1993-06-30 2000-12-16 Ibm Metodo para segmentacion de imagenes y clasificacion de elementos de imagen para tratamiento de documentos.
EP0697679A3 (en) * 1994-08-12 1998-07-01 Dassault Systemes of America Computerized drawing method
US5615321A (en) 1994-08-12 1997-03-25 Dassault Systemes Of America Corp. Automatic identification of geometric relationships between elements of a computer-generated drawing
US5821941A (en) * 1994-08-12 1998-10-13 Dassault Systemes Of America, Corp. Geometric constraints between related elements in different 2-dimensional views
DE4436408C1 (de) * 1994-10-12 1995-12-07 Daimler Benz Ag Mustererkennungsverfahren
KR970051806A (ko) * 1995-12-21 1997-07-29 양승택 스레숄드 망의 합성방법
US5844566A (en) * 1996-02-12 1998-12-01 Dassault Systemes Method and apparatus for controlling shadow geometry on computer displays
US5774111A (en) * 1996-02-12 1998-06-30 Dassault Systemes Method and apparatus for providing a dynamically oriented compass cursor on computer displays
EP1180258B1 (de) * 1999-05-26 2003-04-16 Siemens Aktiengesellschaft Mustererkennung mittels prüfung zusätzlicher merkmale nach teilverarbeitung
US7305122B2 (en) * 2002-08-13 2007-12-04 Lockheed Martin Corporation Method and computer program product for identifying and correcting systematic noise in a pattern recognition system
DE102017105174B4 (de) 2017-03-10 2020-04-23 Sick Ag Verfahren zum Erzeugen von Trainingsdaten für die Überwachung einer Gefahrenquelle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3950733A (en) * 1974-06-06 1976-04-13 Nestor Associates Information processing system
US4760604A (en) * 1985-02-15 1988-07-26 Nestor, Inc. Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
JP2517036B2 (ja) * 1985-11-27 1996-07-24 ザ・トラステイ−ズ・オブ・ボストン・ユニバ−シテイ パタ―ン認識システム及び方法
US4805225A (en) * 1986-11-06 1989-02-14 The Research Foundation Of The State University Of New York Pattern recognition method and apparatus
US4914708A (en) * 1987-06-19 1990-04-03 Boston University System for self-organization of stable category recognition codes for analog input patterns
US4975961A (en) * 1987-10-28 1990-12-04 Nec Corporation Multi-layer neural network to which dynamic programming techniques are applicable
US5003490A (en) * 1988-10-07 1991-03-26 Hughes Aircraft Company Neural network signal processor
US4941122A (en) * 1989-01-12 1990-07-10 Recognition Equipment Incorp. Neural network image processing system
US5058180A (en) * 1990-04-30 1991-10-15 National Semiconductor Corporation Neural network apparatus and method for pattern recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348905A (ja) * 1993-06-02 1994-12-22 Nec Corp X線フィルム上の文字認識方法
CN102550388A (zh) * 2012-01-06 2012-07-11 上海海洋大学 一种条斑紫菜养殖中后期清除绿藻的方法

Also Published As

Publication number Publication date
US5396565A (en) 1995-03-07

Similar Documents

Publication Publication Date Title
Irwin et al. Neural network applications in control
JPH0438587A (ja) 入力領域適応型ニューラルネットワーク文字認識装置
Abraham et al. Rainfall forecasting using soft computing models and multivariate adaptive regression splines
Xu et al. When does online BP training converge?
US11353833B2 (en) Systems and methods for learning and predicting time-series data using deep multiplicative networks
KR20180096469A (ko) 딥 신경망을 이용한 정보 이전 방법 및 그 장치
Ghosh et al. Structural adaptation and generalization in supervised feedforward networks
Sudo et al. Associative memory for online learning in noisy environments using self-organizing incremental neural network
Scardapane et al. Kafnets: kernel-based non-parametric activation functions for neural networks
Henseler Back propagation
Singh et al. Multilayer feed forward neural networks for non-linear continuous bidirectional associative memory
Wang et al. Designing bidirectional associative memories with optimal stability
CN114707655B (zh) 一种量子线路转换方法、系统、存储介质和电子设备
Spackman Maximum likelihood training of connectionist models: comparison with least squares back-propagation and logistic regression.
JP7230324B2 (ja) ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置
Flentge Locally weighted interpolating growing neural gas
JPH04373091A (ja) 入力領域適応型ニューラルネットワーク文字認識装置
JPH04106686A (ja) 入力領域適応型ニューラルネットワーク文字認識装置
JPH04271490A (ja) 入力領域適応型ニューラルネットワーク文字認識装置
Owens et al. A multi-output-layer perceptron
JPH01177600A (ja) 音声認識誤り訂正装置
Sumit et al. ReSTiNet: An Efficient Deep Learning Approach to Improve Human Detection Accuracy
Eigenmann et al. Gradient based adaptive regularization
Wang et al. An approach for constructing parsimonious generalized Gaussian kernel regression models
Nawi et al. Forecasting low cost housing demand in urban area in Malaysia using a modified back-propagation algorithm