JPH0334082A - 文字認識用計算ネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はパターン認識の分野に関し、特に光学文字認識
用の大量並列的制約ネットワークに関する。

［従来技術］ きめ細い並列アーキテクチャ−を持つ適応学習をベース
にした計算システムが、コンピュータベースの情報収集
、処理、操作、蓄積、伝送などの進歩により、近年登場
するようになった。これらのシステムに採用される概念
は、個々のイメージ中の文字パターンの自動的認識、解
析、及び分類等の問題を解決する高効率アプローチを表
している。そのようなシステムにおける技術的価値は、
従来方式と比べた効率と精度で決められる。

Ｃｏｎｎｅｃｔｉｏｎｉｓｓ　ｉｎ　Ｐｅｒｓｐｅｃｔ
ｌｖｅ　１４３−１５５頁（Ｅｌｓｅｖｌｅｒ　５ｃｌ
ｅｎｃｅ　Ｐｕｂｌｌｓｈｅｒｓ：Ｎｏｒｔｈ−１１ｏ
ｌｌａｎｄ　１９８９）のＹ、ＬｅＣｕｎの“−膜化と
ネットワーク設計戦略”と題する論文中で、光デジット
認識問題へ適用される５階層ネットワークアーキテクチ
ャ−について述べられている。ネットワークの夫々にお
ける学習は、Ｄ。

Ｒｕｍｅｌｈａｒｔ他のＰａｒａｌｌｅｌ　Ｄｉｓｔｒ
ｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉｎｇ、ＶＯＬ、　１．
３１８−３０２頁（Ｂｒａｄｒｏｒｄ　Ｂｏｏｋｓ：Ｃ
ａｍｂｒｌｄｇｅ、Ｍａｓｓ、１９８Ｂ）で述べられて
いるバック伝搬技術から得られた固有の分類知能を介し
て、手書き数字のビクセルイメージについて試みられた
。ネットワークの複雑性は、２つのレベルの制約特徴マ
ツプを持つ階層ネットワークへ最終的には拡大してしま
うことを示した。階層ネットワークの性能は、余り複雑
でないネットワークのそれ以上である。更にそれは、多
レベルの制約特徴マツプはシフト不変量の追加制御が必
要であった。

上記の階層ネットワークは、文字認識や分類の問題を解
決する技術を進歩させるが、信頼性の高い自動文字認識
装置の実現を可能にするには、現システムは十分な精度
を欠いていることも明らかである。

［発明の概要］ 高い精度と信頼性ある光文字認識は、制約特徴検出の各
層が複数の制約特徴マツプとそれに対応する複数の特徴
減少マツプを含む制約特徴検出の数層をもつ階層化ネッ
トワークによって提供される。各特徴減少マツプは、そ
の制約特徴マツプをアンダーサンプリングするために、
同一層のただ１つの制約特徴マツプと接続される。第１
の制約特徴検出層の各制約特徴マツプ中のユニットは、
対応する核の関数として、及びユニットに関連する受入
れ領域の中に捕らえられた文字のビクセルイメージの異
なる部分の関数として応答する。第２の制約特徴検出層
の各特徴マツプ中のユニットは、対応する核の関数とし
て、及び個々の特徴減少マツプの異なる部分、又はユニ
ットの受入れ領域の中に捕らえられた第１制約特徴検出
層中の数個の特徴減少マツプの組合わせの関数として応
答する。第２の制約特徴検出層の特徴減少マツプは、最
後の分類層の各ユニットと完全に接続される。核はネッ
トワークの始動又は訓練の間、制約バック伝搬により自
動的に学習される。

このネットワークのアーキテクチャ−から実現された利
点は、シフト不変量の増加、エントロピの大幅減少、パ
ブニラクーチニルボネンキス（Ｖａｐｎｉｋ−ｃｈｅｒ
ｖｏｎｅｎｋｉｓ）の次元化、及び自由パラメータの数
である。この改良の結果として、ネットワークは一般化
性能の与えられたレベルに達するために必要な訓練デー
タ量、即ち訓練時間を比例的に減少させる。

［実施例の説明］ 第１図に示す計算素子は、本発明により実現された階層
制約ネットワークのための基礎的な機能及び相互接続ブ
ロックを形成する。一般に、計算素子はｎ千１個の入力
の入力値加重和を作り、単一値に達するために非線形性
回路を介して結果を伝える。計算素子の人力値と出力値
は、多レベル、グレイスケール、あるいは現存の二進の
ようなアナログ、準アナログである。計算素子に用いら
れる非線形性回路は、例えば、ハード・リミッタ−１し
きい論理素子、及びＳ字状非線形性を含む。

動作については、第１図に示す計算素子は、イメージ又
は特徴マツプからのｎ個の近傍の人力ビクセル、ピクセ
ル値、及びユニット値を走査し、このピクセル値とユニ
ット値は、ａ１１ａ２、・・・、ａ□と表された値を持
っている。人力バイアスは計算素子のｎ＋１番目の人力
に供給される。簡単化のためバイアスは通常１のような
一定値にセットされる。入力値とバイアスは、掛算器１
−１から１−（ｎ＋１）まで供給される。掛算器は重み
Ｗ　からＷｎ＋１をもｂカーネルからの入力を受は入れ
る。すべての掛算器からの出力は、入力値の加重和をつ
くる加算器２へ供給される。加算器２の出力は、重みの
カーネルを表すベクトルと入力値（バイアス値を含む）
のベクトルとのドツト積である。加算器２からの出力値
は、単一ユニツト出力値ｘ１を作る非線形性回’ｉ！ｌ
ｓＢ中の非線関数を通過する。以下に詳述するように、
ユニツト出力値Ｘｔは、特徴マツプ中のｉ番目のユニッ
トの値に関するものである。

実施例では、非線性回路３用の典型的Ｓ字状関数は、目
盛り双曲線正接関数、ｆ（α）−、ＡｔａｎｈＳαとし
て選ばれている。ここでαは非線性回路３への加重和入
力、Ａは関数の振幅、Ｓは原点における関数の傾斜を決
める。上述のごとく、非線形性関数は＋Ａと−Ａにおけ
る水平漸近線をもつ奇数関数である。奇数対称を表す非
線形関数は、カーネルの重みＷｔからＷｎｉｌまでより
早い転換を提供できる。

階層制約ネットワーク中の夫々のカーネルの重みは、バ
ック伝搬として知られている試行錯誤技術を用いて得ら
れたものである。これは前記Ｒｕｍｅｌｈａｒｔ他の論
文や、Ｒ，Ｐ、Ｌｌｐｐｓａｍｓの“神経網をもつ計算
の導入”と題する１ｌＥＩ２Ｅ　ＡＳＳＰ　Ｍａｇａｚ
ｌｎｅ第４巻、第２号、４−２２頁（１９８７）に述べ
られている。訓練前は、カーネルの中の重みの夫々は、
例えば、−２，４／Ｆ１と２．４／Ｆ、の均一分布を用
いたランダム値に初期化される。ここでＦ、は、その接
続が属するユニットの入力（ファン・イン〉の数である
。第１図の例では、ファン・インＦｌはｎ＋１に等しい
。この初期化技術を使って、Ｓ字状非線性の操作範囲内
に値を維持することが可能である。訓練中はイメージパ
ターンは一定順序で与えられる。重みは、認識のための
単一イメージパターンの各表示後に、統計的傾斜又は“
オンライン”の手順で更新される。実際の傾斜手順は、
重みが更新される前に、平均化が全訓練セットについて
行われるように、更新のために使われる。統計的傾斜は
、特別大きい冗長度の大きいイメージデータベース用の
実際の傾斜よりも、重みを早く転換させることが知られ
ている。

通常の技術が、手書き文字を、供給された文字イメージ
を形成するビクセル・アレーへ転換するために用いられ
る。文字イメージは、遠隔地からの電子伝送により、ま
たは走査カメラやその他の走査デバイスで局部的に得ら
れる。そのソースに関係なく、従来方式により、文字イ
メージはビクセルの順序ずけられた集合によって表示さ
れる。順序ずけられた集合の代表はアレーである。−旦
表示されると、文字イメージは捕獲されて、光メモリ・
デバイス又はフレーム・バッファのような電子メモリ・
デバイスに蓄えられる。

各ビクセルは可視文字イメージの小域から放射される光
の強さや色に対応した関連値を有している。

ビクセルの値はその後メモリ・デバイスに蓄えられる。

個々のマツプに言及すると、′ビクセル１と“ユニット
値１の語は同じ意味で使われ、それはビクセル、ピクセ
ル値、及びマツプ・アレーを形成するための各計算素子
の組合わせからのビクセル値出力を含むと解される。そ
れは、ネットワークの操作の理解を視覚化したり展開し
たりするためのピクセル値又はユニット値よりも、むし
ろビクセルの平面的、即ち２次元的アレー（マツプ）の
観点から考える方が便利である。元のイメージとそれに
続く特徴マツプのために、ビクセルの強さレベルを使っ
たピクセル値とユニット値のそのような視覚化は第１２
図から第１５図に示される。

ビクセル強さレベルをもつビクセルとユニット値の視覚
化に加えて、この方法でカーネルの中の重みのアレーを
視覚化することも有益である。第７図から第９図までは
、第２図のネットワーク実施例の実験中に習得されたカ
ーネルのアレーを表している。

アレーとしてのカーネルを視覚化することにより、いか
にして又どのカーネルが、計算が行われているビクセル
・アレーに影響するかを容易に理解することが可能とな
る。

文字認識用ビクセル・アレーとしての文字イメージの準
備に使われる各種の他の予備処理は、スケーリング、サ
イズ・ノーマリゼーシュン、デスキューイング、センタ
リング、トランスレージジン、及びシフティング等の各
種線形変換を含んでおり、これらのすべては当業者に良
く知られている。更に、手書き文字からグレイ・スケー
ルのビクセル・アレーへの変換は、さもなければ予備処
理中の回復不能の損失となる情報を保護するために望ま
しいことである。この変換は当業者に良く知られている
。

文字認識用にイメージを準備するための上記操作に加え
て、元のイメージの周りに実質的一定レベルの均一な境
界を設けることが望ましい。そのような境界は第３図の
アレー１０２に示され、そこでイメージ１０中のアレー
１０１の外部のアレー素子は均一な境界を構成している
。

計算素子と全ネットワークの実現化は、ハードウェア又
はソフトウェア、或いはハードウェアとソフトウェアの
便利な組合わせにかかっている。ここで提供されたネッ
トワークの多くは、加算、減算、乗算及び比較の基本的
数学動作を行う単純なプログラムをもつＳＵＮワークス
テーションを用いて実行された。バイブライン・デバイ
ス、マイクロプロセッサ及び特殊目的ディジタル信号プ
ロセッサは、本発明のネットワークを実現するための便
利なアーキテクチャ−を提供する。ＭＯＳ　　ＶＬＳＩ
技術は、第２図に示される型の個々に重みづけされた相
互接続ネットワークを実行するために用いられた。ロー
カル◆メモリは、ビクセルやユニット値及び他の一時的
計算結果を蓄えるのに適している。

第２図は、本発明による階層制約自動学習ネットワーク
のための典型的実施例の簡単化したブロックダイヤグラ
ムを示している。そのネットワークは、供給されたイメ
ージから大量の並列計算を経て文字認識を行う。レベル
２０から６０までに示される各アレー（ボックス）は、
アレー・ユニットごとに複数の計算素子を含む。

第２図のネットワークは、第１、第２特徴検出層と文字
分類層を含んでいる。各層は特徴マツプ又は異なる寸法
のアレーを含んでいる。従来の大部分の適用では、マツ
プは正方形である。しかし、矩形や、対称、非対称、或
いは不規則なパターンも考えられている。アレーは、ビ
クセル（ユニット値）が蓄えられ、１つ下のレベルのマ
ツプからの特徴検出が、そのマツプのアレーの適切な場
所に置かれるようなメモリ◆デバイスに構成されるので
、検出された特徴の配列は、マツプと称される。その様
にして、特徴の存在又は実質的な存在（グレイ・スケー
ル・レベルを使用した）とその関係場所が記録される。

マツプ中で検出された特徴の型は、使われているカーネ
ルによって決められる。制約特徴マツプ中では、同じカ
ーネルが同じマツプの各ユニツト値使われる。即ち、制
約特徴マツプは、１つの特別なカーネルによって決めら
れた特別な特徴の発生によりビクセル・アレーを走査す
る。その様に、用語“制約“は、特別なマツプを含む計
算素子がカーネルの重みの同じセットを分は合うように
強制される条件を意味する。これにより、入力イメージ
が異なる場所で検出されても同じ特徴となる。この技術
は、重みシェアリングとして知られている。

カーネルは、カーネルによって決められた特徴の発生が
検出されるイメージビクセル又はマツプ・ユニットの面
上に、受入れ領域（５ピクセル×５ビクセル又は２ビク
セル×２ビクセル）を決める。ビクセル・アレー上にカ
ーネルを置くことによって、どのビクセルが特徴マツプ
中の計算素子へ入力されつつあるか、及び特徴マツプ上
のどのユニットが活性化されつつあるかを示すことが可
能となる。活性化されつつあるユニットは、通常、検出
下にあるマツプ中の特徴発生の大体の場所と一致してい
る。

第１特徴検出層は、複数の制約特徴マツプ２０とそれに
対応する複数の特徴減少マツプ３０を含んでいる。図示
のごとく特別な実施例のネットワークは、第１層に４つ
の夫々の制約特徴マツプ及び対応する複数の特徴減少マ
ツプを含んでいる。第２特徴検出層は、複数の制約特徴
マツプ４０とそれに対応する複数の特徴減少マツプ５０
を含んでいる。図示のごとく特別な実施例のネットワー
クは、第２層に１２の夫々の制約特徴マツプ及び対応す
る複・数の特徴減少マツプを含んでいる。

ネットワークの最後の層は、第２特徴検出層のすべての
特徴減少マツプと完全に接続する文字分類層６０を含ん
でいる。文字分類層は、供給された元の信号からネット
ワークによって認識された文字の指示を作る。“完全に
接続”という語は、文字分類層６０中のピクセルと関連
した計算素子が、前の層のマツプ、即ち層５０に含まれ
るすべてのピクセル又はユニットからの人力を受は入れ
るという意味である。

ネットワークの層から層への相互接続線は、前の層のど
のマツプが、夫々のすべての計算素子への入力を提供す
るか、どのユニットが関係の層の中にマツプを形成する
かを示すために描かれている。例えば、制約特徴マツプ
２０１から２０４までは、制約特徴マツプを作る過程で
、イメージ１０から異なる特徴を検出する。次のマツプ
のレベルへ進むと、特徴減少マツプ３０１は制約特徴マ
ツプ２０１中のユニットから単独でその人力を得ること
が示されている。同様に特徴減少マツプ３０２から３０
４までは、夫々の制約特徴マツプ２０２から２０４まで
のユニットから単独でそれの入力を得る。第２図に示さ
れるネットワークの実施例では、第１特徴検出層から第
２特徴検出層への接続はやや複雑である。制約特徴マツ
プ４０１．４０４．４０７．４１０は、それらの人力を
特徴減少マツプ３０１から３０４までの夫々から単独に
得る。制約特徴マツプ４０２．４０３．４０５．４０６
は、その人力を特徴減少マツプ３０１と３０２の組合せ
から得る。制約特徴マツプ４０８．４０９．４１１．４
１２は、その人力を特徴減少マツプ３０３と３０４の組
合せから得る。最後に、個々の特徴減少マツプ５０１か
ら５１２までは、その人力を対応する制約特徴マツプ４
０１から４１２までの夫々から単独で得る。

文字分類層６０は、ネットワークにより分解される個々
の文字認識に対して十分な数の素子を含んでいる。即ち
、大文字又は小文字のラテンアルファベット文字の双方
の認識のために、層６０の典型的実施例は、ＡからＺま
で、またはａから２までを表す２６ユニツトを含んでい
る。一方、数字の認識のためには、層６０の一実施例は
、数字０から９までの僅か１０ユニツトを含むだけであ
る。

理解を容易にするために、第１図に示された計算素子へ
のバイアス入力とそれに関連するカーネル中の重みは、
第３図から第６図まで、及びその説明からは省略されて
いる。実験的実施においては、バイアスは１にセットさ
れ、対応するカーネル中の重みはバック伝搬を通して学
習される。

第３図は、サンプル接続とイメージ１０から制約特徴マ
ツプ２０１への特徴検出とその相互接続を示す。マツプ
２０１中のユニット２１０は、人力イメージ面上の５×
５の近傍を観測し、ユニット２１０の値を発展させるた
めに典型的なカーネル６１０からの重みを使用する。グ
レイスケール・ユニット値は、その近傍の入力イメージ
の中のその特徴の存在、実質的存在、実質的不在又は不
在を示す。制約特徴マツプ中の計算素子によって行われ
た機能は、イメージピクセルの５×５の受入れ領域即ち
５×５のカーネルをもつユニットの非線形たたみ込みと
解釈される。マツプ２０１中の離れた１つのユニットで
あるユニット（計算素子）に対して、人力層中のそれら
の受入れ領域は、離れた１つのピクセルである。

制約特徴マツプ２０１中の他のユニットは、ユニット２
１０で使われた同じカーネルを使う。層２０中の他のマ
ツプは、第３図に示すものとは別のカーネルを使って、
マツプ２０１へと同じ方法で、イメージを操作するユニ
ットを含んでいる。第７図から第９図までは層２０に対
する異なるカーネルを示している。

第３図に示すように、イメージ１０は２８Ｘ２８ノイメ
ージアレー１０２中に作られる１２ビクセルの広さの一
定値の境界で囲まれた元の文字のイメージを含んだ１６
Ｘ１６のアレー１０１を含んでいる。

制約特徴マツプ２０１は２４Ｘ２４のアレーとして示さ
れている。

第４図は、制約特徴マツプ２０１から、マツプ２０１中
のユニットのアンダーサンプリングする特徴減少マツプ
３０１への接続を示す。例えば、特徴減少マツプ３０１
は１２Ｘ１２のアレーとして示される。ユニット（計算
素子）３１０は、マツプ２０１の人力面上の２×２の受
入れ領域から人力を受は取る。ユニットに関連した計算
素子によって行われた機能は、マツプ２０１中の２×２
の受入れ領域からの単純平均化プロセスを含んでいる。

マツプ３０１中の隣接するユニットは、マツプ２０１中
に離れた２ユニツトを有する。特徴減少マツプ３０１中
の他のユニットは、ユニット２１０で用いられた同じカ
ーネルを用いる。層３０中の他のマツプは、マツプ３０
１に対するものと実質的同一のカーネルを使ってマツプ
３０１へ同一の方法でイメージを操作するユニットを含
んでいる。

第５図は、特徴減少マツプ３０１から、第２特徴検出層
の制約特徴マツプ４０１中のユニット４２０への接続を
示している。この接続は、第３図に示したものと同じで
ある。機能的には、この接続は、マツプ４０１，４０４
．４０７．４１０への接続のための５×５のカーネルの
非線形たたみ込みである。

第１、第２特徴検出層間の他のすべての接続は、２つの
異なる特徴減少マツプ上の同じ（例えば５×５）受入れ
領域から、ユニットの合成アレー上へ合成カーネル即ち
２つの別々のカーネル（２つの５×５のカーネルのよう
な）を用いた非線形たたみ込みとなる。第５図に示すよ
うに、マツプ３０１は１２×１２のアレー、マツプ４０
１は８Ｘ８のアレーである。

制約特徴マツプ４０１中の他のユニットは、ユニット４
２０で使われたと同じカーネルを用いる。層４０中の他
のマツプは、第５図に示されたものとは異なるカーネル
を用いて、同一の方法でマツプ４０１ヘイメージを操作
するユニットを含んでいる。第７図から第９図までは層
４０に対する異なるカーネルを示している。

第６図は、制約特徴マツプ４０１から、特徴減少マツプ
５０１中のユニット５２０への接続を示している。この
例ではマツプ４０１は８×８のアレーマツプ５０１は４
Ｘ４のアレーである。特徴減少マツプ中のユニット５２
０は、制約特徴マツプの入力面上の２×２の受入れ領域
４２１を用いる。計算素子の中で行われた機能は、受入
れ領域中での入力の単純平均化プロセスを含んでいる。

マツプ５０１中の隣接ユニットは、マツプ４０１中の受
入れ領域の離れた２を有する。特徴減少マツプ５０１中
の他のユニットは、ユニット５２０で使われた同じカー
ネルを用いる。層５０中の他のマツプは、マツプ５０１
のためのものと実質的に同一なカーネルを用いて、同一
の方法でマツプ５０１ヘイメージを操作するユニットを
含んでいる。

ｔＩｉ７図から第９図までは、第２図に示したネットワ
ークで学習されたカーネルの典型的なセットを示してい
る。カーネルは第１、第２特徴検出層中の制約特徴マツ
プのための計算素子によって用いられる。

個々の四角の輝度の増したレベルは、カーネル中の重み
に対する、より陽性なアナログ（グレイレベル）値をし
めす。個々の四角の暗度の増した（交差ハツチング）レ
ベルはカーネル中の重みに対する、より負性なアナログ
（グレイレベル）値をしめす。カーネル６１０から６１
３までは、制約特徴マツプ２０１から２０３で用いられ
る。カーネル６２０から６２４までは、制約特徴マツプ
４０１，４０２．４０３．４０５．４０６の中のユニッ
トを計算するために特徴減少マツプ３０１で用いられる
。カーネル６２５から６２９までは制約特徴マツプ４０
２から４０６の中でユニットを計算するために制約特徴
マツプ３０２で用いられる。カーネル６３０から６３４
までは制約特徴マツプ４０７．４０８．４０９．４１１
．４１２の中のユニットを計算するために特徴減少マツ
プ３０３で用いられる。カーネル６３５から６３９まで
は制約特徴マツプ４０８から４１２までのユニットを計
算するために制約特徴マツプ３０４で用いられる。

第１２図から第１５図までは、手書きの大文字“Ｋ”が
ネットワークにより認識される実験中の変化する輝度（
暗度）における各マツプ中のユニットを示している。マ
ツプの場所は、第２図のそれらの場所にほぼ対応してい
る。即ち、元のイメージは第１２図の左上部に現れる。

第１２図から第１５図の第１柱は、レベル２０のマツプ
に対応している。第１２図から第１５図の第２柱は、レ
ベル３０のマツプに対応している。第１２図から第１５
図の第３柱は、レベル４・０のマツプに対応している。

第１２図から第１５図の第４柱は、レベル５０のマツプ
に対応している。第１２図から第１５図の第５柱は、分
類層６０の出力に対応している。

第２図から第１５図までに示された典型的なネットワー
クの実施例には、約９０，０００の接続と、僅か約２６
００の自由パラメータがあると推定されている。例えば
層３０から層４０への接続は、３２゜０００の入力接続
と７６８の出カニニットを含んでいる。これらの数字は
バイアス接続を除いているので近似値である。

当業者にとって、受入れ領域とアレーの大きさは、本発
明の精神から離れることなしに、変更し得ることは明ら
かである。更に、アルファベットと英数字の他のセット
もネットワークアーキテクチアーの僅かな調整のみで認
識し得ることは、当業者には明らかなことである。

【図面の簡単な説明】

第１図は、ネットワークの個々の計算素子に対する簡単
化したブロツクダイヤグラム、 第２図は、本発明の原理に従った、典型的な階層制約自
動学習ネットワークの簡ｔＩｔ化したブロックダイヤグ
ラム、 ９３．４，５．６図は、１つのレベルのマツプ中のユニ
ットと１段上のレベルのマツプ中のユニット間の接続関
係を示す簡単化したダイヤグラム、第７．８．９図は、
第２図のネットワークに用いられた典型的なカーネルの
表示を集めた図、第１０図は、第７．８．９図の組合せ
表示図、第１１図は、第１２図から第１５図の組合せ表
示図、 第１２図から第１５図までは、アルファベット文字を認
識する間の、第２図のネットワーク実施例で作られた典
型的な特徴マツプ表示を集めた図である。 出　願　人；アメリカン　テレフォン　アンドＦＩＧ、
１ １−　（ｎ十Ｌ） Ｆｌに、１０ ＦＩＣ；、　１７

Claims (5)

【特許請求の範囲】
1. （１）複数のイメージユニットを有する影像マップの文
   字認識のための大量並列計算ネットワークにおいて、 複数の制約特徴マップと、対応する複数の特徴減少マッ
   プとを含む第１、第２特徴検出層を有し、各マップは、
   複数のユニットと前記マップ中の前記ユニットの値を作
   るための複数の対応する計算素子を含み、 前記各特徴減少マップは、前記各制約特徴マップより少
   ないユニットを有し、 前記計算素子は、関連重みづけ核を有し、所定の他のマ
   ップからの複数のほぼ近傍ユニットに応答して、前記関
   連重みづけ核と前記所定の近傍ユニットとのドット積を
   選択された非線形標準にマップ化し、前記計算素子は、
   同一マップに関連する他の各計算素子とは異なる複数の
   ほぼ近傍ユニットに応答し、前記第２特徴検出層は、前
   記第１特徴検出層よりも少ないユニットを有し、 前記第１特徴検出層の制約特徴マップは、イメージユニ
   ットに応答し、 前記第１特徴検出層の各特徴減少マップは、それの対応
   する制約特徴マップからのユニットに応答し、前記第２
   特徴検出層の前記制約特徴マップは、前記第１特徴検出
   層中の少なくとも１つの特徴減少マップからのユニット
   に応答し、 前記第２特徴検出層の各特徴減少マップは、それの対応
   する制約特徴マップからのユニットに応答し、更に、前
   記第２特徴検出層のすべての特徴減少マップに完全に接
   続され、ネットワークによって認識された文字を表す指
   示を生成する文字分類層を有する ことを特徴とする文字認識用計算ネットワーク。
2. （２）選択された非線形標準はＳ字関数を含むことを特
   徴とする請求項１に記載の計算ネットワーク。
3. （３）前記イメージマップは、元の文字イメージを囲む
   実質的一定の所定の背景を含むことを特徴とする請求項
   ２記載の計算ネットワーク。
4. （４）イメージマップ中に含まれる文字の文字認識用大
   量並列計算ネットワークにおいて、前記ネットワークは
   、前記イメージマップから制約特徴を抽出し、かつ抽出
   された制約特徴をアンダーサンプリングする第１特徴検
   出層手段、 前記第１層手段からアンダーサンプリングされた抽出制
   約特徴からの制約特徴を抽出し、かつ第２層手段の抽出
   された制約特徴をアンダーサンプリングする第２特徴検
   出層手段、 ネットワークによって認識された文字を表す指示を生成
   する前記第２特徴検出層手段に完全に接続された文字分
   類層手段を含むことを特徴とする文字認識用計算ネット
   ワーク。
5. （５）前記イメージマップは元の文字映像を囲む実質的
   一定の所定の背景を含むことを特徴とする請求項４記載
   の計算ネットワーク。