JPH06348906A

JPH06348906A - ニューラルネットワークを訓練する方法、文字認識装置、およびシンボル処理方法

Info

Publication number: JPH06348906A
Application number: JP5244172A
Authority: JP
Inventors: Toru Oki; 亨大木
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 1992-10-01
Filing date: 1993-09-30
Publication date: 1994-12-22

Abstract

(57)【要約】【目的】文字認識の精度を向上させる改良型ニューラ
ルネットワークの訓練方法を提供する。【構成】このニューラルネットワークを訓練する方法
は、通常の文字の太さより太い文字および細い文字によ
る修正された訓練シーケンスを用いてノイズを模擬す
る。ニューラルネットワークは好適にはまず、認識すべ
き文字または検証すべき文字およびその他の文字を包含
する通常の訓練シーケンスによって所定の反復数だけ訓
練される。それからこの訓練シーケンスは文字を太くし
たり、細くしたりして修正される。これらの修正された
シーケンスは、ニューラルネットワークが収束して良好
な一般化およびノイズ耐性が得られるまで、通常の幅の
文字シーケンスに沿って適用される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は一般的にはニューラルネ
ットワークの分野に関する。さらに特定的には、本発明
は所定の組からシンボルまたは文字を認識し検証するニ
ューラルネットワークを訓練する方法およびその装置に
関する。本発明はまた円形状に配列された文字を認識す
るための座標回転技法（rotation technique) を用いる
が、そのような用途に限定されるものではない。

【０００２】〔関連出願の記述〕本発明に関連する出願
を下記に示す。本発明は、それぞれ同じ日（１９９２年
１０月１日）に米国特許庁に出願され、本願出願と同じ
共通の所有者によって我が国に出願された下記の出願に
関係している。（１）米国出願シリアル番号：０７／９５５，５２６米国出願名称“Training Method for Neural Network 発明者:Toru Oki(大木亨) 我が国特許出願整理番号：Ｓ９３０３７６３３（２）米国出願シリアル番号：０７／９５５，５５５米国出願名称“Neural Network for Character Recogni
tion of Rotated Characters" 発明者:Toru Oki(大木亨) 我が国特許出願整理番号：Ｓ９３０３７６２２

【０００３】

【従来の技術】文字認識はニューラルネットワークの重
要な用途の一つである。文字認識の用途としては、資料
内のテキストの認証に用いられているばかりでなく、工
業的な用途におけるシンボルおよび文字の認識としても
用いられている。本発明は特に機械によって発生した文
字に好適に適用される。すべての用途において、文字認
識における最適な精度が非常に重要である。また、重要
なこととして、ネットワークの構造が簡単であること、
訓練が容易であること、使用される訓練順序（トレーニ
ングシーケンス）における訓練が独立していること、ノ
イズの存在においてロバストネス(robustness)であるこ
と、および、ネットワークを一般化させる能力があるこ
とである。ニューラルネットワークの性能および訓練に
影響を与える種々の因子の扱いについての概要および背
景が、論文：著者、Patrick K. Simpson、題名、"Found
ations of Neural Networks"、Artificial Neural Netw
orksから刊行：Paradigms, Applications and Hardware
Implementations, Sanchez-Sinencio、他編集、IEEE P
ress,1992, USA、に見いだされる。

【０００４】従来のニューラルネットワークにおいて
は、ハードウエアおよびソフトウエアの両者について、
ニューラルネットワークに文字を表すものを提供するこ
とによって文字を認識させている。内部重み関数が用い
られて入力を重み付けし、ニューラルネットワークを訓
練するための訓練過程に基づいて最も文字に近いものを
表す出力を生成させる。訓練過程の品質を向上させるこ
とが現在の研究の主体(large body)であり、現在、精度
を決定する因子である。ここで精度とはその精度によっ
てニューラルネットワークが文字を同定できるという精
度である。工業的な用途において、例えばシリアル（連
続）番号を表す文字の正しい認識は、生産管理において
重要（クリティカル）である。

【０００５】

【発明が解決しようとする課題】ある工業的な用途にお
いては、文字の認識はその文字が正しい程度に検証され
ることは重要でない。そのようなものとしてはコンパク
トディスクの製造過程を考えることができる。この場
合、ビデオ、オーディオ、またはコンピューターデータ
を実際に符号化する前に、ディスクにプログラムの本体
を表すシリアル番号が刻印される。文字を認識する装置
は、多くのディスクのバッチの各々が、正しいシリアル
番号がディスクにシリアル番号が付されていることを検
証する装置ほど重要ではない場合が多い。その一方で、
ラベルおよびシリアル番号が刻印されているコンパクト
ディスクはプログラムの内容と干渉して（一致しない
で）符号化されることがある（例えば、アーティストの
ミュージックが、ラベルが不正確についているディスク
に符号化される）。

【０００６】したがって、本発明は、文字またはシンボ
ルについて引き続く検証を提供し、検証ネットワークの
ための訓練技法を提供することによって、文字またはシ
ンボルを認識する装置の精度を向上させコンバージェン
ス（収束性）を高め、そして一般化能力を高めることを
目的とする。さらに本発明は、シリアル番号またはこれ
に類するデータの検証を迅速かつ簡単に提供することに
用いられる。また、本発明の訓練技法を用いることによ
って検証ネットワークの訓練が向上する（強化され
る）。

【０００７】本発明の目的は、文字またはシンボルの認
識の精度を向上させる改良型の文字またはシンボルを認
識する方法および装置を提供することにある。本発明の
利益は認識の精度が向上することである（強化されるこ
とである）。本発明の他の目的は、ニューラルネットワ
ークを訓練するための改良型方法を提供することにあ
る。本発明の訓練技法が、高い能力を有するロバスト(r
obust)なニューラルネットワークを生成し、一般化し、
そして、ノイズに対する耐性を持つことが本発明の利益
である。

【０００８】本発明のこれらおよび他の目的、利益およ
び特徴は本発明に関する下記の記述の考慮に基づき、当
業者にとって明瞭となる。

【０００９】

【課題を解決するための手段】ニューラルネットワーク
を訓練する方法は、ノイズを模擬するように通常の文字
よりも太くかつ細い文字についての修正された訓練シー
ケンスを用いる。ニューラルネットワークは好適にはま
ず、認識すべきまたは検証すべき文字および他の文字を
有する通常の訓練シーケンスを用いてある繰り返しの回
数だけ訓練される。それから文字を一層太くし、一層細
くすることによりシーケンスが修正される。これらのシ
ーケンスは、ニューラルネットワークが良好な一般化お
よびノイズ耐性を得るように収束するまで、通常の幅の
文字シーケンスに沿って印加（適用）される。

【００１０】本発明の第１の観点によれば、ニューラル
ネットワークを訓練する方法は、ニューラルネットワー
クにシンボルの第１のシーケンスを印加する段階を有す
るが、このシンボルは所定の太さを有する、またニュー
ラルネットワークを訓練する方法は、シンボルについて
第２のシーケンスをニューラルネットワークに印加する
段階を有するが、この第２のシンボルのシーケンスはシ
ンボルの太さを変化させることにより修正されている第
１のシーケンス内のシンボルの少なくとも一部を包含し
ている。

【００１１】ニューラルネットワークを訓練する他の方
法は、シンボルについての第１の訓練シーケンスを第１
の数の反復についてのニューラルネットワークに印加す
る段階と、シンボルについての第２の訓練シーケンスを
第２の数の反復についてのニューラルネットワークに印
加する段階を有しており、該第２の訓練シーケンスは、
より太くすることによって変化されたシンボルを有する
第１の訓練シーケンスからなる第１組のシンボルと、よ
り細くすることによって変化されたシンボルを有する第
１の訓練シーケンスからなる第２組のシンボルとを有し
ている。第２の訓練シーケンスは好適には、第１の訓練
シーケンスで構成されている第３組のシーケンスをさら
に有する。

【００１２】新規であるべきと信じられている本発明の
上記特徴が、添付した請求の範囲に特定的に記述されて
いる。しかしながら、本発明はそれ自身、方法および装
置の両者に関連づけた動作についてさらに他の目的およ
び利益に関連しており、添付した図面に関連付けた下記
の記述を参照づけることによって、最良に理解されるの
である。

【００１３】

【実施例】本発明は種々の異なる形態における実施例と
してとりうるが、図面に図解されており、そして詳細な
特定的な実施例に記述されており、その開示が本発明の
原理の一例として考慮すべきことが理解され、そして本
発明が図示され記述された特定的な実施例にのみ限定さ
れることを意図していないことが理解される。本発明の
記述のために、用語「シンボルおよび文字」は、例えば
数字文字（レター）、グラフィックシンボル、アルファ
ベットシンボルその他などの認識可能な複数のメンバー
（要素）の一組のある一つのメンバーを表すように意図
されているものによって幾分交換可能に用いられる。こ
れらの用語はまた工業的な用途において有益な画像を包
含することが意図されており、工業的な用途の例として
は、例えばニューラルネットワークによって有益に認識
されうるギア（歯車）の画像、集積回路チップの画像、
サブアッセンブリまたは一部の画像、またはその他の画
像またはパターンなどである．

【００１４】図１を参照して述べると、図１には本発明
の工業的な用途の一例が示されている。そのような用途
は、例えばシリコンウェーハ、回路基板、サブアッセン
ブリ、コンパクトディスクなどである部分の上に刻印さ
れたシリアル番号を認識するために用いられうる。もち
ろん、他の用途も可能である。この例示においては、部
分１０から認識されるべきものとして６桁の数字のシリ
アル番号を仮定しており、その部分１０としては本発明
の好適な実施例においてはコンパクトディスクまたは半
導体製造のためのシリコンウェーハである。この部分１
０はビデオカメラまたは他の走査装置１２によって特定
的な位置において観測される。

【００１５】部分１０がコンパクトディスクの場合、シ
リアル番号がそのディスクの中央の穴のまわりに配置さ
れている。このことは文字の認識を幾分困難にさせる。
カメラの出力信号が極座標変換器（polar converter)１
４によって処理され、それによって文字の配置が中央の
穴の周囲に配置された円形状の配置から、直線状に配置
された文字の列に変換される。これについては、関連出
願として、参照符号によって一体化されている上記関連
づけた出願に十分に記述されている。画像が円形状に配
置されているか否かに関わらず、上記した出願に記述さ
れている区分化および中心化処理は、認識および検証装
置の性能を向上させるために用いられる。それから、文
字の直線状の順序（シーケンス）がマトリクスまたはア
レイ１６（またマトリクスまたはアレイの集合）として
示され、そのマトリクスまたアレイは、これまで知られ
ている方法において文字のそれぞれを示すものである。
代表的には、そのマトリクスはピクセルの値によって組
み合わされており、そのピクセルの値は観測されている
文字を表す。例えばここで、図２に示されている文字
「Ａ」を示す場合を考える。この表現において、本発明
によって処理されたものとして実際の文字から発生され
たものに関して、明るいピクセルは＠によって示されて
おり、暗い画像が小さなドットとして示されている。別
の番号が便宜的に付加されている。この文字は下記の表
によって示されている値の一次元のピクセルアレイＰ
（Ｋ）によってコンピュータファイル内に示されている
（別の番号は便宜的に付加している）。

【００１６】

【表１】

【００１７】上記表１のアレイにおいて、各列が２６ビ
ットで３８列が示されており、Ｐ（１）が上部左隅にあ
り、Ｐ（２）がこのＰ（１）のすぐ右にあり以下同じよ
うに並んでおり、Ｐ（９８８）が右下の角にある。本発
明の実施例においては１または０のいずれかであるピク
セルの値がディジタル値である場合を扱っているが、本
発明のニューラルネットワークは他の適切な特性または
ピクセルの明るさをあらわすアナログの値についても動
作しうる。

【００１８】複数のアレイＰによって表されたものとし
てのマトリクス１６は、入力として複数またはより少な
い数の従来のニューラルネットワーク２０に用いられて
おり、このニューラルネットワークは所定の文字または
シンボルの組（例えば、アルファベットおよび数値０〜
９）から文字またはシンボルの各々を認識するために訓
練される。

【００１９】テスト例についてのニューラルネットワー
ク２０が図３に図解されており、そして、このニューラ
ルネットワークは上述したアレイＰ（Ｋ）などの９８８
ピクセルのアレイによって表される９８８ピクセル（Ｋ
＝９８８）を有する。それらのピクセルの各々がそのニ
ューラルネットワークにおいて分離されている重みに割
り付けられており、それぞれがそれらと関連する８個の
中間ノードの各々に結合されている。それらの中間ノー
ドの各々が出力ノードに接続されている。この実施例に
おいて、そのような出力ノードが１４個用いられてお
り、それによって任意の１４個の文字が認識されうる。
従来知られているバックプロバゲーション（伝播戻り）
または訓練技法がこのニューラルネットワーク２０を訓
練するために用いられる。図示の例においてシリアル番
号のそれぞれの文字がニューラルネットワーク２０によ
って連続的に分析され、例えばシリアル番号を構成する
６桁の文字のシーケンス（順序列）が生成される。この
好適な実施例において１１桁の文字のシリアル番号がニ
ューラルネットワーク２０に連続的に１１個のアレイＰ
（Ｋ）を印加することによって認識される。

【００２０】再び図１を参照して述べると、もし文字が
ニューラルネットワーク２０によって正しく認識された
場合、正しいシリアル番号が出力される。この出力はそ
れから下記に述べるように、ニューラルネットワークの
第２の組によって検証される。図１に例として示したよ
うに、ニューラルネットワーク２０から出力されるシリ
アル番号は６桁の文字のコードである。もちろん、一般
的には任意の数の文字も処理できる。この例示における
シリアル番号を検証するため、認識ニューラルネットワ
ーク３０（３０₁、３０₂、３０₃、３０_a、３０_b、
３０_c）がシリアル番号の６桁の文字の各々に対応して
選択される。そのようなニューラルネットワークのそれ
ぞれには解析のためのマトリクス１６₁、１６₂、１６
₃、１６ _a、１６_b、１６_cが設けられている。マトリ
クス１６₁はマトリクス１６に維持されている文字
「１」を示すものを含む。マトリクス１６₂、１６₃、
１６_a、１６_b、１６_cも同様にマトリクス１６から文
字「２」、「３」、「ａ」、「ｂ」および「ｃ」を示す
ものを含んでいる。従って文字またはシンボルの組がＮ
個の文字またはシンボルを有する場合、Ｎ個のそのよう
なニューラルネットワークが選択を可能にするように構
成されている。

【００２１】これらのニューラルネットワーク３０の各
々はニューラルネットワーク２０よりも構成が実質的に
簡単になっており、また各々が文字またはシンボルの組
の単一のメンバー（要素）を認識するように訓練され
る。つまり、ニューラルネットワーク３０の各々が単一
の文字のみ認識するように訓練されているのであって、
そのような文字そのものではない。それゆえニューラル
ネットワーク３０_bは、解析される文字「ｂ」であるか
どうかに対する答え、つまり、「イエス」または「ノ
ー」を与えるように訓練される。そのように行うため、
ニューラルネットワークは、もし入力が文字「ｂ」の画
像である場合に「ｂ」が正しい答えであり、そして、も
し入力が「ａ」、「ｃ」〜「ｚ」、または「０」〜
「９」についての画像である場合には、「ｂ」でない
が、正確な答えであるように教示される。それゆえ、ニ
ューラルネットワーク３０_bの出力は、「ｂ」または
「ｂ」でないのいずれかである。（当業者はニューラル
ネットワークの出力が純粋な２進の値ではなく、むしろ
最大の制御(the greatest control)である出力であると
理解されるであろう。）もちろん、等価的な２進数の出
力が発生されるのであって、そこでは、例えば、「１」
の出力が特別の文字が検証されたことを示し、そして
「０」の出力が特別の文字が検証されないことを表す。

【００２２】もしニューラルネットワークが文字のそれ
ぞれを固有に検証する場合、シリアル番号は高い信頼性
で正確に認知されていると考えられている。もし、１つ
または複数のシリアル番号から抽出されたシンボルが検
証されない場合、他の手段がエラー救済を提供するため
にとられる。本発明においては、ニューラルネットワー
ク３０が小さく、そしてその訓練が特別の単一の文字に
対して非常に特定的であるから、処理速度が非常に早く
信頼性が高い。

【００２３】図４は、本発明のテストに用いられるニュ
ーラルネットワーク３０の構成例を示す図である。この
構成はニューラルネットワーク２０として同じ９８８個
のピクセルアレイＰ（Ｋ）を受け入れる。これらのピク
セルは、重みづけられそして中間ノードの組に印加され
る。この中間ノードの組は２または３の中間ノードのみ
を有している（図４においては中間ノードの組が３の場
合を示している）。これらの中間ノードの重みは、二つ
のノードに対する出力を生成するために用いられるもの
であり、これらのノードはこのネットワークと関連する
文字が検証されているか、または検証されていないかを
示している。このネットワークは簡単で、迅速でそして
比較的容易に実現できる。

【００２４】ニューラルネットワーク３０によって検証
されるべき文字に依存して、ニューラルネットワークの
重みが、後述するように初期化されるとき、２または３
の中間（隠れた）ノードの何れかが用いられうる。図４
は３つのノードの場合について示している。しかしなが
ら、他の文字と過剰に重複をしないような非常に多くの
文字が２つの中間のノードを用いて検証されうる。一般
に、３つのノードを必要とするそれらの文字は経験的に
決定されうる。経験によれば、そのような文字は検査に
よって決定されうる。しかしながら、その処理は、たと
えば、すべての可能性のある文字の組み合わせについて
のドットの生成を用いることによって自動的に行われう
る。所定のしきい値（この値は経験的に決定されるもの
である）を超えているドットのプロダクトを有する（ド
ットによって構成されている）文字の対は、３つの中間
ノードを有するニューラルネットワークを用いて検証さ
れうる。文字０〜９、０（ゼロ）、Ｒ、Ｏ（オー）及び
＠を有するテスト用文字の組が本発明の検査のために用
いられた。これらについて検証ニューラルネットワーク
が、１、２、４、７、＠、０およびＡのサブセットのた
めに構成された。このサブセットにおいて、３つの中間
ノードが文字Ａ、０及び＠のためにのみ用いられた。

【００２５】特別の訓練技法がこれらの検証ニューラル
ネットワークのために考案されており、そして文字
「Ａ」を認識するために訓練されたニューラルネットワ
ークについては図５に図解されている。この例示におい
ては、３つの中間ノードの入力と関連する３つの組の重
みが存在することを喚起している。これらの重みはアレ
イＷ₁（Ｋ）、Ｗ₂（Ｋ）およびＷ₃（Ｋ）として考え
られうる。以前に図解した例示においては、Ｋ＝９８８
であった。その理由はニューラルネットワークに対する
入力として９８８個のピクセルが存在したからである。
それゆえ、それらは、入力アレイＰ（Ｋ）、及び、重み
アレイＷ₁（Ｋ）、Ｗ₂（Ｋ）およびＷ₃（Ｋ）との間
には「１対１対応」の関係がある。

【００２６】従来型のニューラルネットワークのバック
プロパゲーション訓練方法またはこれと類似するものの
使用に先だって、戦略的に重みアレイを初期化すること
（プリローディングすること）によって、本発明による
改良型のニューラルネットワークの訓練スピードが、精
度の向上とともに、入手しうることが、決定されてい
る。３つの中間ノードが用いられ、そしてニューラルネ
ットワークが２つの出力を認識するためにのみ用いられ
るこの場合において、重み関数は下記のように選択され
る。

【００２７】

【数１】

【００２８】

【数２】

【００２９】

【数３】

【００３０】ここで入力アレイＰ（Ｋ）は入力アレイで
あり、この入力アレイは検証されるべき文字を表す理想
的なものを有している。すなわち、重み関数は理想的な
入力アレイを組み換えたパターンを用いてプリローディ
ングされている。

【００３１】この好適な実施例において、第１のタップ
Ｗ₁（Ｋ）のための重み関数は、理想的な入力文字と非
常に関連の深いパターンとして選択される。実際、入力
アレイＰ（Ｋ）は、ニューラルネットワークが認識する
ように訓練されている文字について理想的なものを表す
ものを含んでいるとき、重みタップＷ₁（Ｋ）と入力ア
レイＰ（Ｋ）の相関は１．０である。それゆえ、理想に
非常に近い文字が入力に印加された場合、このノードは
強く「ファイア(fires) 」する（大きな出力を生成す
る）。第２の重み関数Ｗ₂（Ｋ）は、第１のタップ係数
Ｗ₁（Ｋ）のアジティブインバースであるとして選択さ
れ、それにより、入力アレイＰ（Ｋ）が、ニューラルネ
ットワークが認識することを訓練されている文字を示す
理想的なものを有する場合、この入力アレイＰ（Ｋ）と
第１のタップ係数Ｗ₁（Ｋ）とほとんど関連のないもの
である。この場合においては相関は０．０である。それ
ゆえ、理想に非常に近い文字が入力として印加されてい
るとき、第２のノードは非常に重くファイアリングを禁
止する（小さな出力を生成する）。それゆえ、第２のノ
ードは理想的な文字を拒絶する。もちろん、ニューラル
ネットワークの訓練の後、重みの値が修正されうる。

【００３２】（３つの隠れたノードを用いた）この例示
において、ランダムノイズによって初期化されている３
つのノードが加えられ、それによって十分大きな重み空
間が提供され、直線的な分離可能性が達成される（この
直線的な分離可能性とは固有の収束のために隠れたノー
ドをサブクラスに生成するニューラルネットワークの能
力をいう）。この場合はコンバージェンスが２つのノー
ドによっては得ることができない（または容易に得るこ
とができない）。換言すれば、第３のノードが実質的に
類似性のある文字の相互間を顕在化するために役に立つ
特別の重みを有するネットワークを提供する。上述した
ものに類似するものとしては、例えば、０（ゼロ）とＯ
（オー）と＠、８と３とＢなどである。認識され、顕著
化されるべき文字の数が非常に増加した場合に、一層隠
れたノードが必要とされ、それによって、さらに重み空
間を拡大化することによって直線的な分離可能性が実現
されることが理解されるであろう。

【００３３】重みアレイが、図２に示したように斜線で
示した領域として示される大きな重みの値と、そして明
瞭な領域として示される小さな重みとを有するものに類
似する、３８ｘ２６のマトリクスとして配列されている
場合、上述した式は図５に図解した関連性の薄い３つの
アレイのように表現しうる。テストに用いた実施例の重
みの値の許容可能な範囲は、初期状態として、浮動小数
点数表示で−３．２７６８から＋３．２７６８の間であ
った。＋０．３の値が大きな値として用いられ、そして
−０．３の値が小さな値として用いられ、それによって
試みた値の結果としては最良のものが生成され、そし
て、それの重みをアップおよびダウンの両者において値
を変動させることを可能にした。もちろん、更に最適化
することが可能である。±０．１から±０．５の範囲の
重みの値がタップ重みを初期化するに適した値として連
続的に検査された。±０．３が大きくそして小さい重み
の値として用いた場合に比べて、±０．５が用いられた
場合には、得られた結果が幾分貧弱であるということが
判った。初期の大きな重みの値および小さな重みの値と
して±０．１が用いられた場合には、コンバージェンス
（収束性）は幾分緩慢であった。重み関数Ｗ₃（Ｋ）が
ランダムノイズを用いて初期化された。このランダムノ
イズは、＋０．３から−０．３の範囲において均一に分
布している。

【００３４】これらの重みの値は、今述べている例につ
いて幾分特定的であるが、この技法は重みの値が対象と
している装置において尺度化（スケール）されていると
き一般的に適用されうる。この場合、大きい値および小
さい値がタップの値として用いられているダイナミック
レンジの上下ほぼ１０％のポイントであるように規定さ
れるが、しかしながらこの値の比較的広い範囲で機能す
るように期待されているとき、良好な結果が得られた。
一般に「大きな」重みは「小さな」タップ重みに比較し
て大きい。

【００３５】これらの重みを初期化した後、従来のバッ
クプロパーゲーションが複数のパスを用いて入力として
の複数の組について用いられた。文字の組が認識される
べき文字の順序で入力に印加され、他の文字のメンバの
組を用いてインターリーブされた（例えば文字「Ａ」を
認識するネットワークを訓練する場合には、Ａ、Ａ、
Ａ、Ａ、Ｂ、Ｂ、．．．、Ｚより、むしろＡ、Ｂ、Ａ、
Ｃ、Ａ、Ｄ、．．．、Ａ、Ｚ、Ａ、Ｂ、．．．、
Ｚ、．．．を用いる）。これらのニューラルネットワー
クに関連した経験において、訓練シーケンスに関してネ
ットワークの従属性を減衰させることが要求され、そし
て、一般化する能力を有するネットワークが提供される
ことが望まれている（一般化能力とは、訓練に用いられ
た文字に類似する文字を認識することである。例えば、
その方法において認識を誤ると(corrupted) それでそれ
らの文字は訓練シーケンスにおけるそれらの文字と同一
ではない）。タップの重みを初期化する上述した技法の
使用により重みの収束が迅速化され、そして、訓練シー
ケンスについてニューラルネットワークの従属性が低減
した。

【００３６】訓練過程に対する更なる改善が行われ、そ
れによってニューラルネットワークの一般化が達成され
た。この技法においては、図７に図解したように、ニュ
ーラルネットワークがまずトレーニングシーケンスとし
て理想的な文字を用いて、所定の期間訓練された。その
期間の後、ニューラルネットワークが、文字の組におけ
る複数の文字についてのオフセットを用いて訓練され
た。それに関連したテストにおいて、そのシーケンスに
ついて５００回の反復（繰り返し、サイクル）がオフセ
ット処理に先立って用いられた。それから１０００回の
繰り返しが、加えられたオフセットを用いて使用され
た。オフセットはネットワークを収束するためには必要
ではない。しかしながら、収束するということだけが、
ニューラルネットワークが訓練の組の中には存在しない
データのために固有に作用することを確実にさせないと
いうことに留意することが重要である。このオフセット
技法の使用はニューラルネットワークを一般化すること
に役立ち、それによってトレーニングシーケンスの部分
ではないパターンを認識することをよりよく可能にす
る。このオフセットプロセスは付加的な利益を有する。
文字の縁にあるストレイピクセル(stray pixels)を文字
の中心にずらすことができる。訓練期間におけるオフセ
ットがこのシフトを模擬し、そして、そのようなノイズ
に対してロバスト的であるニューラルネットワークを創
生する。

【００３７】オフセット処理が文字「Ｔ」を例として図
６に図解されている。図６（Ａ）において標準の理想的
な文字「Ｔ」が「文字ウインドー」の中の中央に図解さ
れている。希望するニューラルネットワークの一般性を
実現するために、文字が学習過程においていくつかのピ
クセルの数だけ上下左右に移動される。図６（Ｂ）にお
いて、文字Ｔが１ピクセルだけ右側にオフセットされて
いる（ずらされている）。図６（Ｃ）において文字Ｔが
２ピクセルだけ上側にオフセットされている。テスト用
ニューラルネットワークにおいて、ランダムなオフセッ
トがシーケンスの各反復（繰り返し）において加えられ
る。そのオフセットは各方向において最大のピクセルで
ある。オフセットは任意の方向に２ピクセル程度とすべ
きである。そこで、所定の反復が「上側に１ピクセル、
左側に２ピクセル」、「下側に０、右側にピクセル」、
「下側に２ピクセル、上側に２ピクセル」などだけシフ
トされうる。オフセットは各反復期間におけるトレーニ
ングシーケンスの各文字において、ランダムに変化され
る。収束化についてある種の改良が、もしオフセットが
ニューラルネットワークによって検証されあるべきであ
った文字に印加されたときのみ期待されるということが
当業者によって理解されるであろう。オフセットのピク
セルの数、および、オフセットを変化させる技法などに
ついての他の種々の変形形態が当業者によって行われる
であろう。

【００３８】この訓練過程が図７に記述されており、ス
テップ３２から始まる。ステップ３４において、（イエ
スまたノーのノードが考慮されうる）２つの中間ノード
が認識されるべき文字と相関があるアレイによって初期
化される。あるノードがアレイによって初期化される
が、このアレイはニューラルネットワークが訓練されて
いるものの文字の各ピクセルにおける大きな値の重みを
持ち、そして残ったピクセルについては小さな値を持
つ。このことは「イエス」のノードであることと考慮さ
れる。他のノード「ノー」のノードがアレイによって初
期化されるが、このアレイは上記した「イエス」のノー
ドのアレイと対向する（反対である）もの「すなわち、
アジティブインバース(additive inverse)」を持ってい
る。「イエス」のノードは、正しい文字が入力として印
加されたとき、高い値を累積し、「ノー」のノードは、
正しい文字が入力として与えられたとき、低い値を累積
する。

【００３９】ステップ３６において、もしその文字が文
字の組における他の文字から直線的に分離できない、第
３のノードが用いられる。ステップ３８において、この
ノードが従来の方法と同様にランダムノイズによって初
期化される。いずれかの事象（イベント）において、文
字の組におけるすべての文字を含む訓練シーケンスがＪ
回の反復の数について、ステップ４０において、印加さ
れる。状況に依存して、Ｊ回の反復が経験的に最適化さ
れうる。このテスト用ニューラルネットワークにおいて
は、Ｊ回の反復としてほぼ５００の反復が満足すべき値
であった。Ｊ回の反復ののち、オフセット処理が導入さ
れるが、ここでは任意の方向において最大２ピクセルの
ランダムオフセットが各反復の期間に加えられる。ステ
ップ４２における処理として、反復の数としてはほぼ２
倍の反復（テストにおいて約１０００の反復）が収束化
および一般性を実現するために満足するべき値であるこ
とが判った。所定の数の反復が行われた後または、収束
が達成された後、ステップ４４においてこの訓練が終了
する。

【００４０】一旦、訓練によって重みの値が決定される
と、浮動小数点演算を使用することを行わないようにす
ることが望まれる。その理由はそれの演算は非常に多く
の演算時間を要するからである。演算速度を迅速化させ
るために、実際に用いられる最終的な重みがスケーリン
グによって１６ビットの整数の値に変換される。それゆ
え、−３．２７６８という最大のタップの重みが−３２
７６８（−２¹⁵）として表され、＋３．２７６５のタッ
プの重みが＋３２７６８（＋２¹⁵）として表される。し
たがって、これらの最大値の間で重みがスケーリングさ
れる。簡単に１０，０００を乗ずることによって（十進
の位置を右にずらし、そして整数に変換することによっ
て）、１６ビットの整数に変換することを簡単化するた
めに、重みの最少値および最少値の初期値が選択され
た。他の最少値または最大値についても本発明の範囲を
逸脱することなく選択することができる。

【００４１】図８を参照して述べると、この認識および
検証過程がステップ５０から開始するフローチャートの
形態で要約されている。ステップ５２において、シリア
ル番号が部分１０から走査され、コンピュータまたニュ
ーラルネットワーク回路によって利用可能な形態の画像
を表すものが生成される。好適実施例について考える
と、シリアル番号がコンパクトディスクの中心の孔のま
わりに半円形に配列されている。ステップ５４におい
て、その画像が処理されて半円形の文字の配列から直線
状の配列に変換される。そのような配列としては、それ
ぞれの文字を回転させて図２に示したようなものをより
読みやすい配列にしたものがある。これについては本発
明と同時出願した上記関連出願（米国シリアル番号：０
７／９５５，５５５）に記載されている。

【００４２】ステップ５８においてマトリクスがアセン
ブルされて回転された文字が含まれる。一般に、この時
点において各々の文字を、処理するためにピクセルの区
分されたマトリクスに分離することが望ましい。それか
ら、このマトリクスがステップ６２においてニューラル
ネットワークに印加されるが、そのニューラルネットワ
ークはＮ個の文字またはシンボルからなる適切な一つの
組のメンバーを認識するために訓練される。それから、
そのニューラルネットワークが、ステップ６６において
ある結果を生成するが、この結果にはシリアル番号につ
いてのＮ個の文字またはシンボルのそれぞれの値につい
てそのニューラルネットワークの最良の推定が含まれ
る。

【００４３】ステップ７２において、シリアル番号につ
いてのそれぞれ認識されたシンボルのあるものについ
て、Ｍ個のより小さいニューラルネットワークの組がＮ
個のそのようなニューラルネットワークの集合から選択
される。Ｎ個のニューラルネットワークのそれぞれが訓
練されて、全ての文字の組におけるＮ個の文字について
単一のものの認識に対する答えとして「イエス」または
「ノー」のいずれかのみを与える。したがってＮ個のニ
ューラルネットワークのそれぞれはその文字の組におけ
る単一の文字の認識に関連している。

【００４４】ステップ７６において、シリアル番号にお
ける一つの文字に関連する個々のマトリクスのそれぞれ
が、ステップ７２において選択されたＭ個のニューラル
ネットワークのあるものと関係しており、それにより、
シリアル番号のそれぞれの文字に関するピクセルのマト
リクスによって表されたものとしての文字の画像が、ス
テップ６６において得られたそれぞれ認識された文字と
関連する検証ニューラルネットワークに印加される。そ
れから、より小さいＭ個のニューラルネットワークのそ
れぞれが、それぞれの文字を解析し、それぞれの文字が
正確に認識されているものかどうかを表すステップ８２
における結果を提供する。もし、シリアル番号のすべて
のＭ個の文字がステップ８４において正しく認識された
場合には、この処理はステップ８６において終了する。
もし全ての文字がステップ８４において検証されなかっ
た場合は、ステップ８６における終了処理に先立って、
エラー修復（リカバリ）処理が、ステップ８８において
行われる。

【００４５】本発明に基づく変形形態としては、訓練シ
ーケンスの文字が理想的な文字よりも太くするまたは細
くすることによってさらに修正される。図９および図１
０はそれぞれ文字「Ａ」および「Ｇ」を示しているが、
通常の文字（図９（Ｂ）および図１０（Ｂ））を太くし
たもの（図９（Ａ）および図１０（Ａ））および細くし
たもの（図９（Ｃ）および図１０（Ｃ））を生成するよ
うに処理されている。これらの太い文字および細い文字
は上述したオフセット技法に関連して連続的に印加され
る。このテスト実施例においては、太い文字と細い文字
とが１組として印加される。つまり、太い文字の全体の
訓練シーケンスが印加され、続けて通常の訓練シーケン
スが印加され、さらに続けて細い文字の訓練シーケンス
が印加（適用）される。

【００４６】この処理が図１１のフローチャートに記述
されている。この処理はステップ２００から始まる。ス
テップ２０４において、通常の訓練シーケンスが所定の
時間の間（たとえば、５００反復）印加されて、訓練処
理を開始させる。ステップ２０８において、それから、
太い文字のシーケンスが印加される。ステップ２１４に
おいて、通常のシーケンスが印加され、続いて、ステッ
プ２２０において、細い文字のシーケンスが印加され
る。ステップ２０８、２１４および２２０は、ニューラ
ルネットワークが収束するまで所定の期間、繰り返され
る。これはステップ２２８において決定され、その後、
ステップ２４０において、処理が終了する。

【００４７】この処理について種々の変形例が、使用さ
れる太さを変化させることによって可能であり、それに
よって、その装置内のノイズを模擬し、良好に一般化さ
れるニューラルネットワークを生成する。上述した方法
は系統的であるが、文字の太さについてランダムに変化
させることも可能である。また、文字の太さは、本発明
を逸脱することなく、他のパラメータを変化に基づいて
または用いて文字ごとに変更できる。

【００４８】本発明のこのテスト文字は、ほぼ４ピクセ
ルの太さでの線で構成されていた。太い文字および細い
文字で構成されている線はそれぞれ、ほぼ５ピクセルお
よび３ピクセルであり、文字を発生させた機械における
ノイズを模擬している。太い文字は畳み込みのような
（convolution-like) 処理で発生されうるが、この処理
において、文字がピクセルごとに試験される。もし現在
のピクセルの下または右にあるピクセルが元の画像にお
いて１であるとき、現在のピクセルは１に変更され、目
標画像ファイル内に置かれる。同様の処理が細くするル
ーチンによっても使用される。

【００４９】本発明のニューラルネットワークについて
のテスト実施例において、３６の文字の組（Ａ〜Ｚ、０
〜９）が認識されるべきものであった。文字は２４×４
８ピクセルのウインドー内において約４２ピクセル高か
った。１５の隠れたノードが使用され、ニューラルネッ
トワークの重みがランダムノイズで初期化された（この
ニューラルネットワークは初期化に使用したノイズの特
性に敏感であり、第１回の試みでは収束しなかった。収
束は第２の初期化で達成された。）重みの値が、下に示
した位置においてランダムノイズによって変更され、オ
フセットが下に示したように印加された。下記の初期化
シーケンスは（経験的に決定されたもの）、各々の繰り
返しにおいて（つまり、太い−通常−細い−太い−通常
−細い・・・）修正されている文字の太さを用いて連続
的に使用された。

【００５０】

【表２】

【００５１】下記表３は、本発明のテストに使用した、
１ピクセルだけ文字の太さを太くしたり、細くしたりす
るルーチンのＣコード（言語）によるプログラムリスト
である。

【００５２】

【表３】

【００５３】このプログラムコードはフローチャートに
よってその流れを記述したように処理される、形態学的
に太くするか細くする文字を発生する。文字を太くする
処理は、通常の幅の文字をとり、それと左側にずらした
通常の文字とＯＲをとり、上側にずらした通常の文字と
ＯＲをとり、左側および上側にずらした通常の文字とＯ
Ｒをとることに似ている。文字を細くする処理は、通常
の幅の文字をとり、それと左側にずらした通常の文字と
ＡＮＤをとり、上側にずらした通常の世事とＡＮＤをと
り、左側および上側にずらした通常の文字とＡＮＤをと
ることに類似している。

【００５４】このルーチンにおいて、ＳＣＲ（ｋ）は３
×３マスクの中心ピクセルであり、これは文字のウイン
ドーを横切って通過されている。ＳＣＲ（ｋ＋１）が中
心の右のピクセルであり、ＳＣＲ（ｋ＋ｃｈａｒｈ）
が中心の下であり、ＳＣＲ（ｋ−ｃｈａｒｈ−１）が
中心の上であり、ＳＣＲ（ｋ−ｃｈａｒｈ＋１）が中
心の右上である。

【００５５】図１２は文字を太くする処理を記述してい
る。３×３のマスク（太いマスク：mask-fat）が、ステ
ップ２５０における文字ウインドーの上左隅に置かれて
いる。任意のピクセルａ、ｂ、ｃまたはｄが１の場合、
ステップ２５４において、目標ピクセル（中心）が目標
ファイル内に１として設定される。それから、ステップ
２５８において、マスクが１ピクセルだけ右にずらされ
る。ステップ２６２において、マスクが右縁にあると
き、マスクは１ピクセルだけ下に降ろされ、ステップ２
６６において、左の縁に向かって戻され、次の列のピク
セルに対してこの処理が反復される。ステップ２７０に
おいて、マスクが底部の右隅に到達すると、全ての画像
が処理して、このルーチンが終了する。頂部の左の画像
は中央の画像における文字画像を越えて示されているマ
スクを表す。下側の画像は太くされた文字を表してい
る。

【００５６】図１３は文字を細くする処理を記述してい
る。３×３のマスク（細いマスク：mask-thin ）が、ス
テップ３５０において、文字ウインドーの左上隅に置か
れる。もし、ピクセル（ｄ、ｅ、ｇおよびｈ）、ピクセ
ル（ｂ、ｄおよびｆ）、ピクセル（ａ、ｄまたはｈ）の
いずれかが全て１の場合、ステップ３５４において、目
標ピクセル（中心）が目標ファイル内に１と設定され
る。マスクはそれから、ステップ３５８において、１ピ
クセルだけ右にずらされる。ステップ３６２において、
マスクが右縁に到達すると、ステップ３６６において、
マスクは１ピクセルだけ下に降ろされ、左の縁に戻さ
れ、この処理が次の列のピクセルに対して反復される。
ステップ３７０において、マスクが底部の右隅に到達す
ると、全体の画像が処理されたことになり、このルーチ
ンが終了する。頂部左の画像は中央画像における文字画
像を越えて示されているマスクを表している。下側の画
像は細くされた文字を表している。

【００５７】文字を太くしたり細くする他の手法も等し
く効果的でありうる。同様に、文字を適用する他の方式
も等しく効果的であり、あるいは、良好であるうる。ノ
イズが存在する場合における文字を正しく同定するニュ
ーラルネットワークの能力がテストに用いたこの技法を
用いて、非常に向上した。

【００５８】図１４を参照して述べると、本発明に基づ
く文字認識装置の実施例がブロックダイアグラムの形態
で表されている。この装置において、第１のニューラル
ネットワーク１００または文字認識のために設計された
他のニューラルネットワークが用いられて文字を初期的
に認識する。その文字の画像がその入力に印加されてい
る。ニューラルネットワーク１００の認識処理がマニュ
アルで読み取ったものおよび入力したもの、または同じ
シリアル番号について複数の検証が続けられる認識であ
ってもよいことについて、当業者は理解している。工業
的な用途において、認識部分が一旦、初期的に用いられ
るという場合がしばしばである。それから、認識部分が
検証される複数の部分について反復して用いられる。ネ
ットワーク１００の出力がスイッチコントロール回路１
０４において読み出され、このスイッチコントロール回
路がスイッチ１１０および１１２の位置を決定し、それ
によってＮ個の文字検証ニューラルネットワーク１２０
₁から１２０_Nのいずれか一つを選択する。ニューラル
ネットワーク１００における文字のマニュアルまたは他
の認識を行う場合には、スイッチ１１０および１１２で
表されるスイッチング動作はまた手動的に実行される。
もちろん本発明を逸脱することなしに他の実施態様も可
能である。

【００５９】上述したように本発明の好適な実施例は、
検証の容量の観点において、少ないニューラルネットワ
ークを複数用いるが、そのような少ないニューラルネッ
トワークの配列が文字認識に利用できることも理解され
る。もし、ソフトウエア的に処理する実施態様において
は、これは、連続的にまたは並列的な処理として実現さ
れる。ハードウエア的に行う実施態様においては、並列
に接続された複数のニューラルネットワークの半導体チ
ップが迅速な処理を実現するために用いられる。この変
形態様が図１５に図解されており、図１５においてはＮ
個の文字の組が、例えば入力マトリクス１３４から、入
力として受け入れるＮ個の小さなニューラルネットワー
ク１３０₁から１３０_Nの組を用いている。Ｎ個のニュ
ーラルネットワークは、文字またはシンボルを同定する
「１オブＮ（Ｎ個のうちの１つ）」の出力を提供する。

【００６０】本発明については種々の変形形態が可能で
ある。例えば、ニューラルネットワークについての現在
の実施例は、コンピュータープログラムの形態でディジ
タルコンピュータに実現した場合を述べたが、ハードウ
エアによる実行も可能であり、ニューラルネットワーク
の回路の稼働率（利用率）および価格がより有利にな
る。本発明の技法は３層のニューラルネットワークに関
連づけて記述したが、一般的にこれらのネットワークは
３層またはそれ以上の層についても適用可能である。ま
た本発明は最初に認識し、それから文字またはシンボル
を検証する２段階の処理過程について述べたが、検証過
程が任意の状況において単独で用いることができること
が、当業者によって理解される。その状況とは文字また
はシンボルが事前に判っている場合である。

【００６１】訓練過程はまた本発明を逸脱することなく
相当に変更可能である。例えば、ランダムなオフセット
の変更について述べたが、オフセットを系統的に適用す
る場合も考案できる。そうした訓練シーケンスの構成(o
rganization)は系統的であるがランダムにすることもで
きる。重み関数Ｗ₁（Ｋ）およびＷ₂（Ｋ）はお互いに
独立に用いることができる。

【００６２】本発明として、アルファベットまた数字の
形式の認識について強調して述べたが、上述したよう
に、工業的な用途においては、認識すべき対象が、ロボ
ットによってピックアップされるべき部分、アウトライ
ンの一部、バーコードまたは他の画像であることが要求
されている。３層のニューラルネットワークが開示され
たが、この技法はより多くの層を持つニューラルネット
ワークに拡張されるべきである。以上開示した実施例に
おいては入力は２進の値であったが、アナログまたはデ
ィジタル化されたアナログ入力もまた適用できる。他の
変形形態もまた当業者によって行うことができる。

【００６３】したがって、本発明によれば、上述した目
的、意図および利益を十分に満足する装置が述べられて
いる。本発明は特定的な実施例に関連づけて記述されて
いるが、種々の変形形態、修正、代替および変形が、上
述した記述に照らし合わせれば、当業者にとって明瞭で
あることは明らかである。しがたって、本発明は添付し
た特許請求範囲の記載事項におけるそのような変形形
態、修正および変形を包含するものである。

【００６４】

【発明の効果】以上述べたように本発明によれば、文字
またはシンボルを認識する改良された方法およびその装
置が提供され、これらの方法および装置によれば文字認
識の程度（精度）が向上する。また、本発明の訓練技法
によれば、ロバストなネットワークが提供でき、ニュー
ラルネットワークの一般化が達成できる。

【図面の簡単な説明】

【図１】本発明の動作を図解する図であり、（Ａ）は全
体ブロック図、（Ｂ）は（Ａ）に示したマトリクスとニ
ューラルネットワークの構成図である。

【図２】文字「Ａ」を例示した場合のピクセルの配列を
示す図である。

【図３】図１に示したニューラルネットワーク２０を示
す図である。

【図４】図１に示したニューラルネットワーク３０を示
す図である。

【図５】図４に示したニューラルネットワークの重み関
数を初期化することを示す図である。

【図６】図６（Ａ）、（Ｂ）、（Ｃ）は訓練過程に用い
られる文字のオフセットの処理を示す図である。

【図７】本発明の訓練処理を示すフローチャートであ
る。

【図８】本発明の動作を示すフローチャートである。

【図９】本発明に基づいて文字「Ａ」を太くし、細くす
ることを図解する図である。

【図１０】本発明に基づいて文字「Ｇ」を太くし、細く
することを図解する図である。

【図１１】本発明の訓練処理を図解するフローチャート
である。

【図１２】文字を太くするために使用する方法のフロー
チャートである。

【図１３】文字を細くするために使用する方法のフロー
チャートである。

【図１４】本発明の文字認識および検証装置の構成を示
すブロック図である。

【図１５】本発明の変形態様に基づく文字認識装置の構
成を示すブロック図である。

【符号の説明】

１０・・・コンパクトディスクの部分１２・・・ビデオカメラ（走査装置）１４・・・極座標変換器１６・・・マトリクスアレイ２０・・・ニューラルネットワーク３０・・・ニューラルネットワーク

Claims

【特許請求の範囲】

【請求項１】ニューラルネットワークを訓練する方法で
あって、該方法が下記の諸段階、すなわち、所定の幅を有するシンボルについての第１のシーケンス
を前記ニューラルネットワークに印加し、前記第１のシーケンス内の前記シンボルの少なくとも一
部を含み、シンボルの太さを変化させることによって修
正されているシンボルについての第２のシーケンスを前
記ニューラルネットワークに印加する諸段階を有するニ
ューラルネットワークを訓練する方法。
【請求項２】前記シンボルの太さを変化させることが前
記シンボルを太くすることを含む請求項１記載の方法。
【請求項３】前記シンボルの太さを変化させることが前
記シンボルを細くすることを含む請求項１記載の方法。
【請求項４】前記シンボルの太さを変化させることが前
記シンボルを細くすることを含む請求項２記載の方法。
【請求項５】前記シンボルの太さを変化させることが１
ピクセルぶん太く変化させることを含む請求項１記載の
方法。
【請求項６】ニューラルネットワークを訓練する方法で
あって、該方法が下記の諸段階、すなわち、シンボルについての第１の訓練シーケンスを第１の回数
繰り返す前記ニューラルネットワークに印加し、シンボルについての第２の訓練シーケンスを第２の回数
繰り返す前記ニューラルネットワークに印加する諸段階
を具備し、前記第２の訓練シンボルが、所定の太さだけ変化された前記シンボルを有する前記第
１の訓練シーケンスからなる第１組のシンボル、およ
び、所定の細さだけ変化された前記シンボルを有する前記第
１の訓練シーケンスからなる第２組のシンボルを有す
る、ニューラルネットワークを訓練する方法。
【請求項７】前記第２の訓練シーケンスが前記第１の訓
練シーケンスから構成される第３組のシンボルをさらに
有する請求項６記載の方法。
【請求項８】前記太さを変化させることが１ピクセルぶ
ん太く変化させる請求項６記載の方法。
【請求項９】前記太さを変化させることが１ピクセルぶ
ん細く変化させる請求項６記載の方法。
【請求項１０】ニューラルネットワークを訓練する方法
であって、該方法が下記の諸段階、すなわち、シンボルについての第１の訓練シーケンスを第１の回数
繰り返す前記ニューラルネットワークに印加し、シンボルについての第２の訓練シーケンスを第２の回数
繰り返す前記ニューラルネットワークに印加する諸段階
を具備し、前記第２の訓練シンボルが、１ピクセルだけ前記第１の訓練シーケンスのシンボルを
太く変化させた前記シンボルを有する前記第１の訓練シ
ーケンスからなる第１組のシンボル、１ピクセルだけ前記第１の訓練シーケンスのシンボルを
細く変化させた前記シンボルを有する前記第１の訓練シ
ーケンスからなる第２組のシンボル、および、前記第１の訓練シーケンスからなる第３組のシンボルを
有する、ニューラルネットワークを訓練する方法。
【請求項１１】Ｎ個の可能性あるシンボルについての第
１組から１つのシンボルを処理する方法であって、該方
法が、下記の諸段階、すなわち、認識用ニューラルネットワークの入力として前記シンボ
ルを表すものを受入れ、前記ニューラルネットワークにおける前記入力を処理し
て、前記Ｎ個のシンボルについての認識された１つを表
す出力を生成し、前記Ｎ個のシンボルについての認識されたものと関連す
る、検証合格または検証失敗のいずれかを示す出力を有
する検証用ニューラルネットワークを選択し、前記検証用ニューラルネットワークの入力として前記シ
ンボルを表すものを印加するシンボル処理方法。
【請求項１２】前記シンボルを表すものとして、ビデオ
カメラの出力を受け入れる段階をさらに具備する請求項
１１記載の方法。
【請求項１３】前記シンボルを表すものがピクセルのマ
トリクスを有する請求項１１記載の方法。
【請求項１４】前記ピクセルのマトリクスが複数のシン
ボルを表し、前記マトリクスの一部が前記シンボルを表
す請求項１３記載の方法。
【請求項１５】所定のシンボルを検証する方法であっ
て、該方法が下記の諸段階、すなわち、前記シンボルと関連する、検証合格または検証失敗のい
ずれかを示す出力を有する検証用ニューラルネットワー
クを選択し、認識用ニューラルネットワークの入力として前記シンボ
ルを表すものを受入れ、前記検証用ニューラルネットワークの入力として前記シ
ンボルを表すものを印加する諸段階を具備する検証方
法。
【請求項１６】前記選択段階が、認識用ニューラルネッ
トワークからの出力に基づいて前記検証用ニューラルネ
ットワークを選択することを含む請求項１５記載の方
法。
【請求項１７】単一のシンボルを認識するため、前記検
証用ニューラルネットワークを訓練する段階をさらに具
備する請求項１５記載の方法。
【請求項１８】前記検証用ニューラルネットワークが２
つのノードを有する中間層を有する請求項１５記載の方
法。
【請求項１９】前記検証用ニューラルネットワークが３
つのノードを有する中間層を有する請求項１５記載の方
法。
【請求項２０】前記選択段階が、それぞれＮ個のあり得
るシンボルの単一のものと関連しているＮ個の複数のニ
ューラルネットワークから検証用ニューラルネットワー
クを選択することを含む請求項１５記載の方法。
【請求項２１】前記シンボルを表すものが、ピクセルの
アレイを有する請求項１５記載の方法。
【請求項２２】シンボルの組から選択された１つのシン
ボルを表す情報を処理する方法であって、該方法が下記
の諸段階、すなわち、前記シンボルの組の１つシンボルを表す前記情報を受入
れ、訓練されたニューラルネットワークを用いて前記シンボ
ルを解析して、前記組の単一のシンボルを認識し、シンボルが前記単一のシンボルであるかそうでないかを
表す、認識のために訓練されている前記ニューラルネッ
トワークの出力を提供する諸段階を具備する情報処理方
法。
【請求項２３】前記受け入れる段階が、前記シンボルを
表すピクセルのマトリクスを受け入れる段階をさらに有
する請求項２２記載の方法。
【請求項２４】前記ニューラルネットワークを訓練して
単一のシンボルを認識させる段階をさらに具備する請求
項２２記載の方法。
【請求項２５】前記ニューラルネットワークが２つのノ
ードを有する中間層を有する請求項２２記載の方法。
【請求項２６】前記ニューラルネットワークが３つのノ
ードを有する中間層を有する請求項２２記載の方法。
【請求項２７】Ｎ個の文字の組から文字を認識する方法
であって、該方法が下記の諸段階、すなわち、それぞれが前記Ｎ個の文字の単一のものと関連し、か
つ、認識するように訓練されている、Ｎ個の複数のニュ
ーラルネットワークを提供し、それを示す出力を提供
し、前記Ｎ個のニューラルネットワークのそれぞれに入力を
印加し、Ｎ個のニューラルネットワークのどれが、それと関連す
る文字を認識していることを示す出力を有するかを決定
する諸段階を具備する文字認識方法。
【請求項２８】前記受け入れる段階が、前記シンボルを
表すピクセルのマトリクスを受け入れる段階をさらに具
備する請求項２７記載の方法。
【請求項２９】前記Ｎ個のニューラルネットワークをそ
れぞれを訓練して、前記関連する文字を認識させる段階
をさらに具備する請求項２７記載の方法。
【請求項３０】Ｎ個のありうる文字の組から文字を認識
する文字認識および検証装置であって、認識されるべき文字を表す入力を発生する入力手段と、前記Ｎ個のありうる文字の１つとして前記文字を認識す
る認識用ニューラルネットワークと、Ｎ個の複数の検証用ニューラルネットワークであって、
該Ｎ個のニューラルネットワークのそれぞれが前記Ｎ個
の文字の１つの関連しており、その関連している文字を
認識するために訓練されているものと、前記認識された文字に基づいて認識されるべき文字を表
す入力を受け入れるため、前記Ｎ個の複数の検証用ニュ
ーラルネットワークの１つを選択する手段との組合せを
具備する文字認識および検証装置。
【請求項３１】第１のニューラルネットワークを用いて
文字を認識し、第２のニューラルネットワークを用いて前記第１のニュ
ーラルネットワークによる前記文字の正しい認識を検証
する段階を具備する文字認識方法。
【請求項３２】前記第１のニューラルネットワークによ
って認識された文字に基づいて可能性のある複数のニュ
ーラルネットワークから前記第２のニューラルネットワ
ークを選択する段階をさらに具備する請求項３１記載の
方法。
【請求項３３】前記第２のニューラルネットワークが単
一の文字のみを認識するように訓練されている請求項３
２記載の方法。
【請求項３４】Ｎ個のありうるシンボルについてのシン
ボル組から１つのシンボルを処理する方法であって、該
方法が下記の諸段階、すなわち、ビデオカメラの出力を受入れ、該ビデオカメラの出力をディジタル化して、認識用ニュ
ーラルネットワークに対する入力として、前記シンボル
を表すものとしてディジタルのピクセル値のアレイＰ
（Ｋ）を生成し、前記ニューラルネットワークにおける前記入力を処理し
て、前記Ｎ個のシンボルについて認識されたものを表す
出力を生成し、検証合格または検証失敗のいずれかを示す出力を示すよ
うに、前記Ｎ個のシンボルについて前記認識されたもの
と関連している検証用ニューラルネットワークを訓練す
る諸段階を具備するシンボルを処理する方法。
【請求項３５】ニューラルネットワークを訓練する方法
であって、該方法が下記の諸段階、すなわち、ａ、前記ニューラルネットワークによって認識するパタ
ーンを選択し、ｂ、前記パターンを包含する第１の訓練シーケンスを第
１の数のサイクルの間前記ニューラルネットワークに印
加し、ｃ、オフセットを前記パターンに印加し、ｄ、前記オフセットパターンを包含する第２の訓練シー
ケンスを前記ニューラルネットワークに印加する諸段階
を具備するニューラルネットワークを訓練する方法。
【請求項３６】前記第２の訓練シーケンスを印加する段
階に先立って、前記第１の訓練シーケンスにおける他の
パターンにオフセットを印加する請求項３５記載の方
法。
【請求項３７】前記パターンがピクセルのマトリクスと
して表されるものであり、前記オフセットを印加する段階が任意の方向において高
々２ピクセルだけ前記パターンをずらす処理を有する請
求項３５記載の方法。
【請求項３８】前記ニューラルネットワークが収束する
まで、第２の数のサイクルの間、前記段階ｃおよびｄを
繰り返す段階をさらに具備する請求項３５記載の方法。
【請求項３９】前記第２の数のサイクルが前記第１の数
のサイクルのほぼ２倍である請求項３８記載の方法。
【請求項４０】ニューラルネットワークを訓練する方法
であって、該方法が下記の諸段階、すなわち、ａ、複数のパターンから前記ニューラルネットワークが
認識するパターンを選択し、ｂ、前記複数のパターンを有する訓練シーケンスを第１
の数のサイクルの間前記ニューラルネットワークに印加
し、ｃ、前記複数のパターンのそれぞれにランダムオフセッ
トを印加して、オフセット訓練シーケンスを生成し、ｄ、前記オフセットパターンを包含する前記オフセット
訓練シーケンスを前記ニューラルネットワークに印加
し、ｅ、前記ニューラルネットワークが収束するまで、前記
段階ｃおよびｄを反復する諸段階を具備するニューラル
ネットワークを訓練する方法。
【請求項４１】前記段階ｅが第２の数のサイクルだけ反
復され、該第２の数のサイクルが前記第１の数のサイク
ルのほぼ２倍である請求項４０記載の方法。
【請求項４２】前記第１の数のサイクルがほぼ５００で
ある請求項４１記載の方法。
【請求項４３】ニューラルネットワークを訓練する方法
であって、該方法が下記の諸段階、すなわち、ａ、前記ニューラルネットワークによって認識するパタ
ーンを選択し、ｂ、複数のパターンを包含する訓練シーケンスを第１の
数のサイクルの間前記ニューラルネットワークに印加
し、ｃ、オフセットを前記パターンの少なくとも１つに印加
してオフセット訓練シーケンスを生成し、ｄ、前記オフセットパターンを包含する前記オフセット
訓練シーケンスを前記ニューラルネットワークに印加す
る諸段階を具備するニューラルネットワークを訓練する
方法。
【請求項４４】前記ニューラルネットワークが収束する
まで、前記段階ｃおよびｄを繰り返す段階をさらに具備
する請求項４３記載の方法。
【請求項４５】ニューラルネットワークを訓練する方法
であって、該方法が下記の諸段階、すなわち、ａ、複数のパターンから前記ニューラルネットワークが
認識するパターンを選択し、ｂ、前記複数のパターンを包含する訓練シーケンスを第
１の数のサイクルの間前記ニューラルネットワークに印
加し、ｃ、任意の方向において高々２ピクセルのランダムオフ
セットを前記複数のパターンのそれぞれに印加して、オ
フセット訓練シーケンスを生成し、ｄ、前記オフセットパターンを包含する前記オフセット
訓練シーケンスを前記ニューラルネットワークに印加
し、ｅ、前記第１の数のサイクルのほぼ２倍である第２の数
のサイクルについて前記段階ｃおよびｄを繰り返す諸段
階を具備するニューラルネットワークを訓練する方法。