JPH05507804A - 出力信頼性指標値を用いてバックプロパゲーションを制御するようにしたニューラル・ネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 出力信頼性指標値を用いてバックプロパゲーションを制御するようにしたニュー ラル・ネットワーク魚服の技虫立野 本発明は、ニューラル・ネットワークのための装置、及びその装置に関連した方 法に関するものであり、特に、光学文字認識システム（ＯＣＲシステム）に用い るのに適した。その種の装置及び方法に関するものである。この装置ないし方法 は、バックプロパゲーションと、ニニーロン重み及びニューロン・バイアス値の 変更調節とを、出力信頼性指標値を用いて制御することによって、ニューラル・ ネットワークの応答性を、実際の変化している入力データに、滑らかに、迅速に 、且つ正確に適応させることができるようにし、更にそれによって、従来公知の ニューラル・ネットワークにおいて、これまで行なわれていた動作と比べて、よ り力強い動作を行なえるようにしたものである。

背量筺術 ワード・プロセッサ等をはじめとする、データを処理するコンピユータ化された オフィス用機器として、様々な機器が利用されるようになったため、現在使用さ れている種々雑多な、紙の上に作成する書類（特に、所定の用紙を使用する書類 ）の量が、この数十年の間に爆発的に増大している。その種の書類の殆どは、そ の書類の情報を、何らかの時点でその書類から抽出し、その抽出した情報を何ら かの方法で処理する必要があるものである。

例を挙げるならば、その種の書類であって、しかも現在広範に使用されている書 類として、所定用紙上に作成する銀行小切手がある。通常の使用法では、振出人 が、手書きまたは機械印字によってその小切手の所定欄に金額を記入して、その 小切手を受取人に渡す。受取人はその小切手を彼自身の取引銀行に入金する。

その銀行がその小切手を処理して支払いをする際には、その銀行の従業員である オペレータが、その小切手に記入されている金額を読み取り、プリンタを操作し て、その小切手の下辺に設けた欄に、余韻に対応した数桁の数字を印字する。小 切手のその下辺の欄には更に、その数字と共に電子的に処理される符号である経 路選択符号（ルーチン・コード）も印字される。この後、それら数字と経路選択 符号とが、機械に読み取られることによって、電子的な振り替えの処理が開始ｉ れ、この振り替え処理は、手形交換所を通して、振出人の取引銀行（即ち支払銀 行）に開設されている振出人の口座から、受取人の取引銀行（即ち呈示銀行）に 開設されている受取人の口座へ、預金を振り替える処理である。更に、その小切 手の現物が、手形交換所を通して呈示銀行から支払銀行へ受け渡されることによ って、交換決済が完了する。小切手の使用枚数は、過去数年の間に非常な勢いで 増加しており、また現在も増加し続けているため、紙の上に作成されている小切 手を処理するために銀行が負担するコストも、それにつれて増大の一途をたどっ ている。銀行としては、このコストの増大を抑えるために、或いはその増大の速 度を緩めるために、小切手の処理作業の機械による自動化を、更に高度なものと する努力を不断に続けている。具体的に述べるならば、銀行業務に携わっている 種々の方面の人々は、次のように考えている。即ち、人間のオペレータを適当な 光学文字認識システム（ＯＣＲシステム）で代替することによって、小切手へコ ードを打ち込む作業を自動化したならば、その打ち込み作業の作業能率と、その 打ち込みの正確度との両方を、格段に向上させることができ、しかもそれと同時 に、打ち込み作業に必要なコストの節約も達成できるであろうと、考えているの である。容易に想像できるように、その種のシステムを構成するとすれば、その システムは、１枚１枚の小切手に記入されている、手書きないし機械印字した文 字ないし数字をスキャンし、そのスキャンによって読み取った金額を、正確に、 ディジタル信号（例えば適当なアスキー・ワード等）に変換し、そして特に、プ リンタを操作して各小切手の下辺の欄に該当する数字を印字することによって。

小切手へのコード打ち込み作業を実行する、そういう構成のシステムになるであ ろう。

現代の社会で使用されている紙の上に作成する書類の量は、絶え間なく増え続け ているため（用紙上に作成する小切手はそのほんの一例に過ぎない）、その種の 書類を読み取って、その内容を機械読取りが可能な形態へ、ないしは直接コンピ ュータで扱えるデータへと変換するために必要な人的資源は、その確保が急速に 困難になりつつあり、また人件費自体も高騰している。そのため、多くの方面に おいて、ＯＣＲシステムを開発及び使用することによって、正確な動作が得られ るプロセスの自動化を達成しようとており、特にその初歩の段階としてば、機械 印字した英数字の文字を認識して変換するプロセスを自動化することが、そして 最終的には、手書きの文字を認識して、それを対応したディジタル・データへ変 換するプロセスを自動化することが目標とされている。

機械印字した文字を、ＯＣＲシステムが正確に認識できるようにするための、特 に有望な技法の１つに、ニューラル・ネットワークを使用するという技法がある 。数学的厳密さをもって動作する伝統的なシーケンシャル・プロセッサである「 フォノ・ノイマン型」のディジタル・プロセッサと比較するならば、ニューラル ・ネットワークはアナログ形式のものであり、また、一般的に、膨大な処理量を こなす、並列処理能力を発揮することができる。このようなニューラル・ネット ワークを使用すると、たとえその入力データが、ファジー（曖昧）で、不完全で 、及び／または、多くの場合矛盾を含んだデータであっても、重み付は判断処理 を実行することによって、そのような入力データに基づいて、正確な結果ではな いにせよ、とにかく高速で、しかも時として驚く程の良好な近似的出力が得られ る。

基本的には、ニューラル・ネットワークは、ニューロンと呼ばれる互いに同一構 造の複数の処理要素を、多層の階層構造に配列した構成体である。各々のニュー ロンは、１つまたは複数の入力を有するものとすることができるが、ただし、そ の出力は１つだけである。複数の入力の各々には、係数によって重み付けをして おく。ニューロンの出力は、通常、その複数の重み付は入力の合計に、更にバイ アス値を加えた関数として算出されるようにしている。この関数は、活動度関数 と呼ばれており、典型的な例では、シグモイド関数、即ち、Ｓ字形の単調増加関 数であって、その入力が正の無限大ないし負の無限大に近付くにつれて、夫々一 定の値に漸近する関数としており、この一定の値としては、典型的な例では、正 の無限大に近付くときにはｒ＋１」、負の無限大に近付くときには「０」または 「−１」であるようにしている。このシグモイド関数と、個々のニューロン重み と、ニューロン・バイアス値とによって、１つのニューロンの、その全ての入力 に供給された信号に対する応答性、即ち「興奮度」が定まる。また、ある階層に 属する、ある１つニューロンの出力を、その上の階層に属する複数のニューロン の全てへ分配して、それら全てのニューロンの入力とするということが、しばし ば行なわれている。典型的なニューラル・ネットワークは、３種類の階層を含ん でいる。即ち、そのネットワークの最下位に位置する入力階層、そのネットワー クの最上位に位置する出力階層、それに、それら入力階層と出力階層との間の中 間に位置する中間階層（隠れ階層）の３種類である。具体的な例として、例えば 、英数字の文字に正規化処理を施して７個×５個のビクセルのアレイから成る文 字とした正規化処理済文字の認識に使用するためのニューラル・ネットワークの 場合について説明するならば、そのビクセル・アレイ中の１つ１つのビクセルに 対応した夫々のセンサ（このセンサは例えば、適当な電荷結合デバイス（ＣＣＤ ）の中の個々のセル等である）の出力が、入力階層中の、互いに異なったニュー ロンへ、その入力として供給される。従って、この入力階層には、各ビクセルに 対して１個ずつ、合計３５個の個別のニューロンが配置されることになる。この 入力階層中のそれらニューロンは、各々がただ１つの出力を備えている。そして 、入力階層中のそれら３５個の全てのニューロンの出力は、更に、隠れ階層とも 呼ばれる中間階層の中の、全てのニューロンへ分配されて、それらの入力となる 。中間階層中のそれら各ニューロンの出力は、出力階層中の全てのニューロンへ 分配されて、それらの入力となる。出力階層中のニューロンの個数は、そのニュ ーラル・ネットワークが識別すべき文字の種類数に、等しくするのが一般的であ る。そして、例えば、それら出力ニューロンのうちの１つを文字ｒＡ」に対応さ せ、別の１つの出力ニューロンを文字ｒＢＪに対応させ、３番目の出力ニューロ ンを文字「ａ」に対応させ、４番目の出力ニューロンを文字「ｂ」に対応させる というようにし、以下同様に、英数字の文字の異なった種類の各々を、１つずつ の出力ニューロンを対応させるようにする。尚、ここで英数字の文字という中に は、文字、数字、句読点、及び／またはその他の必要な、ニューラル・ネットワ ークが認識すべき記号が含まれる。中間階層中のニューロンの個数を何個にする かを決定する要因の主なものには、以下のものがある。即ち、認識させるために ニューラル・ネットワークへ供給する文字のビットマツプの複雑度、ニューラル ・ネットワークの情報キャパシティとして望まれるキャパシティの大きさ、ニュ ーラル・ネットワークに学習させた後に、そのニューラル・ネットワークが獲得 する未知のバタンを取り扱うことのできる能力をどの程度に設定するか、そして 、後に説明するように、学習処理を施す際に、ニューラル・ネットワークの全て の重みとバイアス値とが適切に収束するまでに、そのニューラル・ネットワーク が経なければならない反復処理の回数等が、中間階層中のニューロンの個数を定 める主な要因である。尚、ニューラル・ネットワークの出力は、通常は、プロセ ッサ等の回路へ供給するようにしており、その回路によって、そのニューラル・ ネットワークの出力を、後続の処理に適した、適当なマルチビットのディジタル ・ワード（例えばアスキー・ワード等）へ変換するようにしている。

ニューラル・ネットワークの運用には、一般的に、２種類の異なった、続けて実 行する処理手順が含まれる。即ち、初期化及び学習処理手順（この学習は、バタ ンか既知で結果的に発生される出力も既知の、所定のバタンについて行なう）と 、その後に続けて実行する、実際の未知のバタンを対象とした認識処理手順との ２種類である。

先ず最初に、ニューラル・ネットワークの初期化を行ない、この初期化は、その ニューラル・ネットワークの中の全てのニューロンの、そのニューロン重みとニ ューロン・バイアス値とを、ランダム値にセットすることによって行なう。この 場合のランダム値としては、一般的に、ある一定の範囲内にある値を用いる。

この後、ニューラル・ネットワークの学習を実行する。更に詳しく説明すると、 ニューラル・ネットワークに対しては、予め定めである複数の所定の入力データ ・バタン（いわゆる学習用バタン）を連続して次々と供給する。そして、ニュー ロン重みとニューロン・バイアス値との、両方の値を同時に調節して、各々の学 習用バタンに関するそのニューラル・ネットワークの出力が、その学習バタンに 対応した、目標とするニューラル・ネットワーク出力（目標ベクトル）に、略々 一致するようにする。学習が完了したならば、全ての重み並びにバイアス値は、 そのときの現在値に固定する。これが済んだならば、このニューラル・ネットワ ークを使用して、未知のバタンの認識を実行することができる。このバタン認識 の実行中には、複数の未知のバタンを連続して次々と、ニューラル・ネットワー クの複数の入力へ並列的に供給し、それによって得られる、その入力に対応した ニューラル・ネットワークの応答を出力ノードから取り出す。理想を述べるなら ば、あるニューラル・ネットワークが、ある未知の入力バタンを、そのニューラ ル・ネットワークがそれについて学習したある所与の文字であると認識したとき には、出力階層中の、その文字に対応したニューロンが発生する信号が、出力階 層中のその他のニューロンが発生するいずれの信号よりも、際立って大きな信号 となっているべきである。

学習処理の実行中に、全てのニューロンの、その重み並びにバイアス値を迅速に 調節するための方法として、従来から広く用いられている技法の１つに、逆誤差 伝搬法Ｃ以下、単に［バックプロパゲーション（逆伝搬法）」と称する）という 技法がある。簡単に説明するならば、この技法では、ニューラル・ネットワーク へ所定の学習用入力バタン（人力ベクトル）を供給し、その学習用人カバタンを 、ニューラル・ネットワークの中を順方向へ伝搬させ、そして出カニニーロンに 、その学習用人カバタンに対応した出力バタン（出力ベクトル０）を発生させる 。続いて、この出力ベクトルに付随している誤差の大きさを判定し、その判定し た誤差を、そのニューラル・ネットワークの中を逆方向へ伝搬させて、そのニュ ーラル・ネットワークの中の個々のニューロンへその誤差を配分する。更にその 後、それら各ニューロンの重みとバイアス値とを調節し、このときの調節の方向 と量とは、その学習用人カバタンに関するニューラル・ネットワークの全体の誤 差の大きさが最小となる方向及び量とする。

ある１つの学習用バタンに関してそのニューラル・ネットワークの全ての重みの 調節を完了したならば、続く次の学習用バタンをそのニューラル・ネットワーク へ供給し、誤差の大きさの判定及び重みの調節のプロセスを反復して実行し。

以下同様にして、複数の学習用バタンの各々について、以上のプロセスを次々と 反復実行して行く。通常は、それら学習用バタンの各々に関して、ニューラル・ ネットワークの全体の誤差が所定の限界値に達したならば、以上の反復実行を停 止して、この学習処理を終了する。その時点で、ニューラル・ネットワークの全 ての重みとバイアス値とを、それらの現在値に固定する。これ以後、未知の入力 データについての文字認識作業を、比較的高速で実行することができる。尚、以 上に関しては、Ｍ・コーデル著「ニューラル・ネットワーク入門−一第３巻」（ Ｍ、　Ｃａｕｄｉｌｌ、　”Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　Ｐｒｉｍｅｒ　 −−Ｐａｒｔ　ＩＩＩ”、　犯」凶徂匹、　Ｊｕｎｅ−１９８８，ｐａｇｅｓ　 ５３−５９）を参照されたい。

文字認識処理の実行中に、ニューラル・ネットワークが認識した特定の文字を同 定するための方式としては、通常、［勝者の全取り（Ｗｉｎｎｅｒ　ｔａｋｅ　 ａｌｌ　）　Ｊ方式を採用している。この方式は、ある人力データのバタンに対 して、ニューラル・ネットワークが完全に反応を終了した時点で、他の出力ニュ ーロンが発生している出力値と比べて、最大の出力値を発生している１つの出カ ニニーロンを、そのニューラル・ネットワークの出力として選出するというもの であり、この選出は、そのニューラル・ネットワークに接続した処理回路に行な わせるようにしている。その処理回路は、該当する出力ニューロンを選出したな らば、それに続いて、簡単なテーブル・ルックアップ動作等を行なうことによっ て、ニューラル・ネットワークが同定したその特定の文字の、マルチビットのデ ィジタル表示を検索する。

以上に説明した種類の、バックプロパゲーション方式のニューラル・ネットワー クは、研究室の環境の中で、静的な試験データ母集団に基づいて、英数字の文字 の認識を実行する場合には、非常に正確な結果を出すことができる。しかしなが ら、この種のニューラル・ネットワークをＯＣＲシステムに組み込んだ上で、実 地に（即ち「実世界環境」の中で）文字の認識を実行した場合には、その実行の 結果得られる認識正確度を著しく制約する、重大な問題が発生する。

更に詳しく説明すると、ＯＣＲシステムの製造工場には、一群の複数台のプリン タを用意してあり、それらプリンタを使用して、通常、広範な種々の異なったフ ォントの英数字の文字を打ち出すようにしている。そして、工場においては、Ｏ ＣＲシステムに組み込んだニューラル・ネットワークに対して、そうして打ち出 した特定の文字を認識させるための学習処理を施している。しかしながら、残念 なことに、一旦、ＯＣＲシステムが工場を離れて、ユーザの使用現場において運 転されるようになったならば、そこでそのＯＣＲシステムは、未だ学習をしてい ない、様々な見慣れない文字にも直面しなければならない。見慣れない文字に直 面することになる具体的な状況としては、例えば、ニューラル・ネットワークに 学習させたいずれのフォントとも異なったフォントを、ユーザが使用している場 合もあり、及び／または、学習に使用したフォントと、ユーザの使用現場にお− いてスキャンした書類上に印字されていたフォントとがたと久同−であっても、 そのフォントで形成されている、学習に使用した特定のタイプフェースとユーザ の書類上の実際のタイプフェースとの間に、事実上の相違が存在している場合も ある。このように同一のフォントを使用していても、別々のプリンタによって印 字したタイプフェースどうしの間には、事実上の相違が存在し得ることの原因と しては、例えば、それらプリンタの同じ文字の印字部材の間の摩耗度の相違（摩 耗度の相違は、それら印字部材によって印字媒体上に印字したときの印字状態、 即ち印影の相違を生じる可能性がある）や、同じ文字の印字部材に付着している ゴミないじ塵芥の付着程度の相違、同じ文字の印字部材から媒体上へ塗布される インクないしトナーの量の不均一、それに、目に見える僅かな相違、例えば、同 じフォントで形成された同じ文字でありながら、プリンタが互いに異なるために 生じている、アセンダ（字形の上方突出部）、デセンダ（同じく下方突出ｆＨＩ ）、ないしはセリフ（同じく端部の小突出部）の長さの違い等がある。従って、 主として、これら例示した要因によって、ユーザの使用現場に設置されたＯＣＲ システムは、取り扱う英数字の文字の母集団が、動的に変化するものとなる可能 性が高いのである。ＯＣＲシステムが見慣れない文字に出会うたびに、ニューラ ル・ネットワークがその文字を誤認してしまい、そのため認識誤り表示を発生す るというのは、良くあることである。

実地において使用中に発生する認識誤りの発生率を、許容可能な低いレベルに抑 えておくためには、そのＯＣＲシステムのオペレータが、そのシステムに認識さ せようとしている具体的な文字についての学習処理を、そのシステムに周期的に 繰り返して施す必要がある。また、数件分の書類を連続して処理する場合に、そ れらの書類に使用されているフォントそれ自体が各書類ごとに異なることもあれ ば、たとえ同一のフォントであっても、そのタイプフェースが書類によって異な ることもある。そのため、それらの各書類ごとに、ＯＣＲシステムに学習をさせ なければならないということも、良くあることである。しかしながら、ＯＣＲシ ステムに常時学習させることは、また特に、認識処理すべき一運の書類のその各 々ごとに学習させることは、多くの時間を費やすことになるため、そのＯＣＲシ ステムの全体としての作業能率を著しく低下させてしまう。

更には、ユーザの書類に記入されている文字がつぶれていることも、しばしば経 験されることである。この文字のつぶれの原因の主なものとしては、実地使用環 境において日常的に見かける印字ミスや、印刷媒体それ自体の汚れないし局部的 なキズ（例えば小さな黒い点に見える紙の夾雑物等）がある。ニューラル・ネッ トワークをそれについて学習させたはずの入力文字の上に、この種の文字のつぶ れが発生していると、ニューラル・ネットワークは、その文字を明確に認識する ことができなくなる。その結果、その文字についてニューラル・ネットワークが 発生する出力ベクトルにおいては、その中の最大の出力値と２番目に大きな出力 値との間の差が、比較的小さなものとなってしまう可能性が高い。この場合、そ のニューラル・ネットワークは、曖昧な認識結果を発生しているわけである。

即ち、その出力ベクトノ囚己よ、高度の不確定性が付随しており、その最大の出 力値の信頼性も、比較的低いものとなっている。この曖昧性があるために、最大 の出力値を発生している出力ニューロンに対応した文字ではなく、２番目に大き な出力値を発生している出力ニューロンに対応した文字の方が、実際には正確に 認識した文字であるという場合もあり得る。ところが、この曖昧性は、前述の「 勝者の全取り」方式による出力の選出のプロセスにおいては、全く考慮されない 。

従って、その場合には、ニューラル・ネットワークの複数の出力のうちから選出 される出力は、誤った出力となる。

そのため、もし、ニューラル・ネットワークの実地使用中に、つぶれた文字を含 んでいるユーザの書類を教材として、そのニューラル・ネットワークに学習をさ せたならば、その学習をさせたことによって、そのニューラル・ネットワークの 出力に不確定性が入り込み、そのため、そのニューラル・ネットワークは、つぶ れた文字を認識するように動作が偏向してしまう、そして、このような動作の偏 向と、前述の「勝者の全取り」方式の、出力の選出プロセスとが結びつくと、ユ ーザの書雇上の、つぶれていない健全な入力文字を認識する場合に、その認１誤 りの発生率が、減少するどころか、却って増大してしまうという不都合を招く可 能性が高くなり、そうなれば、全体としての認１誤りの発生率も上昇してしまう 。

実地使用中に、全体としての認識誤りの発生率が上昇することがないように、通 常は、ニューラル・ネットワークの重み並びにバイアス値は、工場の段階で、一 定の値に固定してしまい、それによって、実地使用中のニューラル・ネットワー クの重み並びにバイアス値の変更は、たとえ不可能でない場合であっても、限ら れた小さな範囲でしか行なえないようにしである。ＯＣＲシステムの、システム 全体としての認識誤り発生率は、工場において測定される発生率よりも、ユーザ の書類の認識処理を行なうようになってからの認識誤り発生率の方が高くなる傾 向があり、これは、ユーザの書類には、つぶれた文字が含まれているためである が、ただし、これによる認識誤り発生率の上昇は、そのつぶれた文字を教材とし てニューラル・ネットワークに学習させたときに生じる認識誤り発生率の上昇に 比べれば、小さなもので済む可能性が高いのである。従って、ＯＣＲシステムの 製造メーカーが、妥当と考えられる性能を提供しているという場合、実は製造メ ーカーは、ＯＣＲシステムの実地使用中にその認識誤りの発生率がある程度、高 くなることは甘受するように、ユーザに対して暗にめているのである。しかしな がら、機械印字した文字の自動認識を、正確に行なうことが、なにより重要視さ れる多くの用途においては、その認識誤り発生率のレベルは、尚、許容可能な程 度を超えた高いレベルにある。即ち、現在使用されている種々のＯＣＲシステム は、その種の用途には全く不適当である。

確かに、ＯＣＲシステムが文字認識の作業をしている間、人間のオペレータをこ のＯＣＲシステムに配置しておくというのも、この問題の１つの解決法ではある 。この方法では、ＯＣＲシステムが文字を誤認したか、或いは、文字を認識した ときの不確定性がある程度、高かった場合に、このＯＣＲシステムがオペレータ へ合図を出すようにしておく。オペレータは、その合図を受けたならば、該当す る文字の１つ１つについて、そのビットマツプを調べて、ＯＣＲシステムへ正し い文字を打ち込むようにする。こうすれば、結果として得られる、このＯＣＲシ ステムの全体としての正確度は上昇するが、認識システムに人間のオペレータが 関与することから、システムの作業能率が著しく低下する上に、その運転コスト も大幅に増大する。ＯＣＲシステムを使用する用途の殆どは、コストの増大に関 して非常に敏感な用途であるため、システムに人間のオペレータが関与するとい うことは、経済的な理由から全く実用的なものとは言えない。

従って従来より、特に、パックプロパゲーションを採用し、しかもＯＣＲシステ ムに用いるの適したニューラル・ネットワークであって、動的に変化している「 実世界」のユーザの入力データに、その動作を正確に適応させることのできるニ ューラル・ネットワークが要望されていた。そのようなニューラル・ネットワー クであれば、特に、動的に変化している入力文字データに直面した場合に、従来 公知のニューラル・ネットワークを使用して、これまで行なわせていた動作と比 べて、より高い認識正確度をもって、より力強い動作を行なえるものとなる。

更には、その種のニューラル・ネットワークであれば、充分に高い認識正確度を 提供することができるため、ＯＣＲシステムに人間のオペレータを関与させる必 要を、多くの場合、完全に払拭することは無理であるにしても、少なくとも、大 幅に減少させることができるようになる。従って、その種のニューラル・ネット ワークをＯＣＲシステムに用いるようにすれば、全体としての認識正確度を向上 させることができるのみならず、ＯＣＲシステムのコストを著しく増大させるこ となく、その作業能率を向上させることができるという利点も得られる。また更 に、これまではＯＣＲシステムには適していなかった多くの用途に、ＯＣＲシス テムを利用することもできるようになる。

Ｘ咀の同量 従って、本発明の目的は、動的に変化している入力データに対して、その動作を 正確に適応させることのできるニューラル・ネットワークを提供することにある 。

また、具体的な目的の１つは、学習処理の実行中に、パックプロパゲーションを 利用して、そのニューラル・ネットワークの重みとバイアス値とを変更するよう にした、上述の種類のニューラル・ネットワークを提供することにある。

また、具体的な目的の１つは、そのニューラル・ネットワークを使用することに よって、ＯＣＲシステムのコストが大幅に増加することのない、上述の種類のニ ューラル・ネットワークを提供することにある。

以上の目的並びにその他の目的は、本発明の教示によれば、以下の構成によって 達成される。即ち、その構成は、「未知の入力データに応答して複数の出力値を 発生するようにしたネットワークであって、発生したそれら複数の出力値が集合 した全体によって、その未知の入力データの中に存在している複数のバタンのう ちの１つのバタンを同定するようにしてあり、更に、複数の重み値を付与しであ るネットワーク」と、「制御信号と、所定バタンに関する複数の出力値及びそれ ら複数の出力値に対応した複数の所定の出力目標値とに応答して、前記複数の重 み値の各々の値の変更量を決定し、更に、決定したその変更量に応答して、前記 未知の入力データがネットワークへ供給されている状態で前記複数の重み値の各 々の値を調節して、その未知の入力データに関して前記複数の出力値と前記複数 の出力目標値との間に生じる誤差を減少させるようにする決定／調節手段」と、 「前記複数の出力値に応答して、それら複数の出力値に関する信頼性指標値を判 定する手段Ｊと、「信頼性指標値に応答して前記制御信号を発生することによっ て、その信頼性指標値が充分な大きさの所定値であるときに、前記決定／調節手 段をイネーブルして前記変更量の決定と前記複数の重み値の調節とを行なわせる 、制御信号発生手段」とを備えたものである。この構成とすることにより、当該 バタンが所定バタンからのずれを生じているときには、ネットワークが、当該バ タンを認識するための学習を行なうようになる。

本発明によれば、ニューラル・ネットワークに学習を行なわせる際に利用可能な 基礎データを拡張して、実際の未知の入力文字を認識して得た文字のうち、その 文字を認識したときの出力信頼性が充分に高かった文字を、その基礎データに包 含させるようにしている。出力信頼性の指標値としては、例えば、ニューラル・ ネットワークの複数の出力ニューロンが発生する出力値のうちの、最大の出力値 と、２番目に大きな出力値との間の比の値とすることができる。文字認識作業の 実行中に、認識したときの出力信頼性指標値が所定の範囲内に位置していた文字 に対応したニューラル・ネットワークの出力に応答して、パックプロパゲージ３ ン並びにニューロン重み及び二ニーロン・バイアス値の調節の実行を許可するよ うにしている。ある文字を認識したときの出力信頼性がその範囲内にあったなら ば、（ａ）その文字を表すビットマツプが、ニューラル・ネットワークを初期学 習させたときに使用したその文字のビットマツプからある程度変化しており、且 つ、（ｂｌそのビットマツプがそのように変化しているにもかかわらず、ニュー ラル・ネットワークはその文字をおそらくは正しく認識していると推定される、 という２つの事実が成立している可能性が高い。そこで、この条件を満たす文字 に関してニューラル・ネットワークに再学習させることによって、そのニューラ ル・ネットワークが、実地使用中に直面している実際の変化している「実世界」 の文字の認識作業に、正確に、且つ自動的に適応することができるようになり、 従って、初期学習時に（例えば工場その他で）その学習に用いられた文字だけに しか適合しない状態に凍結されずに済むようになる。こうして、ニューラル・ネ ットワークの学習用データの基礎データの全体をこの方式で拡張して、動的に変 化している入力文字のうち、認識したときの出力信頼性が充分な値であった文字 をその基礎データに包含するようにしているため、本発明のニューラル・ネット ワークは、滑らかに、迅速に、且つ正確に、その応答を、「実世界の」文字に適 応させることができ、更にそれによって、従来公知のニューラル・ネットワーク において、これまで行なわれてきた動作と比べて、より力強い動作が可能となっ ている。また、本発明を使用することによって、認識正確度を大幅に向上させる ことができるため、多くの状況において、人間のオペレータを配置して、誤認し た文字の１つ１つについてそのビットマツプを調べて、その後に正しい文字をシ ステムへ打ち込むという作業に従事させる必要を、たとえ完全ではなくとも、殆 ど不要化することができるという利点が得られる。

本発明の好適実施例に係る教示によれば、入力文字を認識したときにその出力値 Ｎ性が但通ぎたり、或いは高過ぎた文字に関しては、その文字をニューラル・ネ ットワークが出力したことに応答して、パックプロパゲーションと、ニューロン 重み及びニューロン・バイアス値の調節とが行なわれることはないようにしであ る。出力信頼性指標値が余りに小さい場合には、それは、認識した文字に大きな 不確定性が付随していることを表わしており、一方、出力信頼性指標値が余りに 大きい場合には、それは、認識した文字のビットマツプが、たとえ皆無でないに してもそれ程には変化していないことを表わしており、従って、ニューラル・ネ ットワークに再学習を行なわせる程のこともなく、また、たとえ再学習を行なわ せたとしても、その結果として得られる、ニューラル・ネットワークが提供する 認識正確度の向上は、皆無でないにしても、目に見える程のものとなる可能性は 低い。

更に、本発明の１つの局面によれば、本発明のシステムが提供する認識正確度は 、そのままでも既に、従来公知のニューラル・ネットワークを使用した場合の正 確度より優れたものであるが、「２パス」動作を採用すれば、それによって更に その正確度を優れたものとすることができる。この「２パス」動作は、極めて高 い認識正確度を必要とする書類に対して用いるのに適したものである。その場合 、その種の書類の各ページに対し、本発明のニューラル・ネットワークを初めて 通過させる「第１バス」の処理を施す際に、そのページ上の文字を使用した、こ のニューラル・ネットワークの適応性再学習を、その文字を認識したときの信頼 性によって制御しつつ実行する。そして、そのページの全体を、本発明のニュー ラル・ネットワークを通過させ終ったならば、同じそのページを、本発明のニュ ーラル・ネットワークを再度通過させて、初回と同じ方法でもう一度処理し、そ れによって、ニューラル・ネットワークを２回目に通過させる「第２パス」の処 理を行なう。この方式とすれば、第１バスの処理においては誤認されたかも知れ ない様々な文字が第２パスにおいては適切に認識される可能性が高く、それによ って、そのページの認識正確度を向上させることができる。

２厘の墾里な思酉 本発明の教示は、添付図面に関連した、以下の詳細な説明を考察することによっ て、明瞭且つ容易に理解することができる。添付図面は、以下のとおりである。

図１は、本発明の教示を具体化したニューラル・ネットワークを組み込んだ、光 学文字認識システム（ＯＣＲシステム）の一実施例のブロック図である。

図２は、従来公知のニューラル・ネットワークの典型的な一例である、ＯＣＲシ ステムに用いるための、バックプロパゲーションを採用したニューラル・ネット ワークのブロック図である。

図３は、ニューラル・ネットワークの中に用いる典型的なニューロンの、ハイレ ベルのブロック図である。

図４は、本発明のニューラル・ネットワークの一実施例の、ハイレベルのブロッ ク図である。

図５は、出力信頼性指標値の複数の領域と、出力信頼性指標値がそれらの範囲の 中に位置しているときに、それに対応して本発明のニューラル・ネットワークが 実行する動作とを図解した図である。

図６は、図６Ａ〜図６Ｄの、図面どうしの正しいつなぎ合せ方を示した図である 。

図６Ａ〜図６Ｄは、それらをつなぎ合せた図によって「複パス文字認識及びパッ クプロパゲーション制御ルーチン」６００の、ハイレベルのフローチャートを示 すようにした図であり、このルーチン６００は、本発明の文字認識方法をソフト ウェアで構成したものであり、また、図４に示した本発明のニューラル・ネット ワークのソフトウェアによる実施例を利用するようにしたルーチンである。

尚、これら図面においては、その理解を容易にするために、異なった図に共通し て示されている同一の要素には、できる限り同一の引用符号を使用するようにし た。

日を　施するための形態 当業者であれば、以下の説明を読了した後には、容易に理解できることであるが 、本発明のニューラル・ネットワークは、パタン認識に関連した、広範な様々な 用途に利用可能なものである。それらの利用可能な用途のうちの具体的な一例を 挙げるならば、英数字の文字を認識するための、光学文字認識に関する用途を挙 げることができる。この用途について、更に具体的に説明すると、それらの文字 は、任意のプリント媒体（例えば紙やマイクロフィルム等）上に、プリントされ 、或いは手書きされた文字であることもあれば、場合によっては、ディジタル化 タブレット上に手書きされたものであったり、或いは、ブラウン管（ＣＲＴ）デ ィスプレイ上にライトペンで手書きされたものであることもある０本発明の二二 −ラル・ネットワークは、紙の上に機械印字された文字を正規化処理したもの（ 即ち、規定寸法に変換したもの）を認識するようにした光学文字認識システムに 使用するのに、特に適したものであるため、また、以下の説明を理解し易くする ためにも、本発明の詳細な説明においては、その種の光学文字認識システムに使 用する場合を例に取って、説明を進めて行くことにする。

図１に示したのは、機械印字した文字を認識するための光学文字認識システム（ ＯＣＲシステム）であり、本発明の教示に従って具体的に構成したニューラル・ ネットワークを備えたシステムの一実施例のブロック図である。区示の如（、本 システムは、フロントエンド・プロセッサ１１０と、ニューラル・ネットワーク ４００と、ネットワーク後置プロセッサ１７０とを備えており、また更にオプシ ョンとして、プロセッサ１８５と、端末１９０と、ハード・ディスク・ファイル １９５とを備えている。

認識処理をしている画像書類から取り出す入力画像ビクセルは、適当なスキャナ によって発生させ、適当なインターフェース回路を介して供給する（これらはい ずれも公知のものであるため、図には示さない）ようにしてあり、それら入力画 像ビクセルは、リード５０を介して、フロントエンド・プロセッサ１１０の入力 へ供給される。フロントエンド・プロセッサ１１０は、先ず、その書類上に存在 している幾つもの文字から１つ１つの文字を分離しく飾りひげのように字面の一 部が胴・軸からはみ出している場合にも分離することができる）、次に、分離し た各々の文字のビットマツプ・パタンに正規化処理を施して、その文字を一定の 寸法のものとしくこれによって、そのビットマツプ・パタンがニューラル・ネッ トワーク４００の入力として使用可能になる）、次に、正規化しないままの文字 と正規化した文字との両方を、夫々、フレーム記憶メモリ１２０とフレーム記憶 メモリ１３０とに記憶させ、そして、フレーム記憶メモリ１３０からは、正規化 した画像ビクセルのシーケンスを、入出力スイッチ（Ｉ１０スイッチ）１４０を 介してニューラル・ネットワーク４００へ供給する。更に詳細に説明すると、リ ード５０上の入力画像ビクセルのストリームは、フロントエンド・プロセッサ１ １０の中に備えた、連結要素アナライザ１１５へ入力する。この連結要素アナラ イザ１１５は、連結要素解析を実行することによって、書類中の連続する複数の 文字の画像を個々に分離する。分離された個々の文字は、その各々が連結要素ア ナライザ１１５から、リード１１８を介して、フレーム記憶メモリ１２０と、文 字ノーマライザ１２５との双方へ入力として供給される。これらのうちフレーム 記憶メモリ１２０は、入力書類の現在ページ上に存在している文字を分離して得 た個々の文字の、正規化していないビットマツプ・パタンをそのまま記憶するも のである。こうして記憶した正規化していない文字は、後に詳述するように、ネ ットワーク後置プロセッサ１７０が利用する。即ち、文字のうち、その文字のケ ースが、アッパー・ケース（大文字類）であっても、またロアー・ケース（小文 字Ｍ）であっても、正規化処理を施した後にはその形状が同一となる文字につい ては、ネットワーク後置プロセッサ１γ０が、フレーム記憶メモリ１２０の中の 正規化していない文字を参照して、その文字のケースを判定するようにしている のである。文字ノーマライザ１２５は、分離した個々の文字のビットマツプの縦 と横の夫々の寸法を判定する。そして、個々の文字のうちに、その縦横の寸法が 、ニューラル・ネットワーク４００で処理するために必要とされる一定の文字寸 法（例えば縦２４ビクセル×横１２ビクセル）より大きかったり、或いは小さか ったりするものがあった場合には、文字ノーマライザ１２５が、その文字のビッ トマツプの寸法を比例関係を保ちつつ変化させて、この一定の文字寸法に一致さ せる。また、こうして正規化処理を施した文字の各々は、リード１２７を介して 、Ｉ１０スイッチ１４０の入力へ供給される。

本発明の好適実施例では、後に詳述するように、適応式動的学習方式によって高 い認識正確度を得るために、ニューラル・ネットワークを通過させる処理を２度 行なう、２バス方式を採用しており、そのためフレーム記憶メモリ１３０には書 類の現在ページ（認識処理を現在実行中のページ）の、まるまる１ペ一ジ分の全 ての正規化処理済み文字のビットマツプを記憶させることができるようにしてあ り、その記憶させたビットマツプを、ニューラル・ネットワークを２度目に通過 させる第２パスを実行する際に、利用するようにしている。このように、１ペ一 ジ分のビットマツプを記憶させているため、このフレーム記憶メモリ１３０を使 用することによって、書類の各々のページを２回ずつスキャンせずに済み、また 、スキャンして得た各々の文字ごとに、文字の分離処理ないし文字の正規化処理 を２回ずつ実行する必要もない。更に、フレーム記憶メモリ１３０は、２組の互 いに独立したフレーム記憶メモリ１３２と１３４とを含んでいる構成としである 。そして、これらメモリの各々に、まるまる１ペ一ジ分の、正規化したビットマ ツプ文字を記憶させることができるようにしである。これらメモリは、Ｉ１０ス イッチ１４０の制御の下に、公知の「ビンボン」方式で動作するようにしてあり 、この「ビンボン」方式は、一方のフレーム記憶メモリに、即ちメモリ１３２と １３４のうちの一方に、文字ノーマライザ１２５が送出する正規化処理済ビット マップ・データをリード１３７を介して次々と記憶させている間、他方のフレー ム記憶メモリからは、リード１３７とＩ１０スイッチ１４０とを介して、データ を次々と読み出してニューラル・ネットワーク４００の入力へ供給するようにし たものである。Ｉ１０スイッチ１４０は、フロントエンド・プロセッサ１１０が その内部で発生する然るべき制御信号に従って、また、ネットワーク後置プロセ ッサ１７０からリード１７７を介して受け取る制御信号に応答して、フレーム記 憶メモリ１３０の中の個々のフレーム記憶メモリ、文字ノーマライザ１２５、及 び／または、ニューラル・ネットワーク４００の入力の間に、必要なマルチビッ ト経路（図には詳細に示さない）を確立するものである。例えば、１ペ一ジ分の 正規化処理済ビットマツプ文字のデータに対して、ニューラル・ネットワークを 初めて通過させる第１パスの処理を施すときには、Ｉ１０スイッチ１４０は、文 字ノーマライザ１２５の出力を、フレーム記憶メモリ１３２と１３４のうちで現 在、記憶の読出しを行なっている方のフレーム記憶メモリの入力と、ニューラル ・ネットワーク４００の入力との、双方へ供給する。これによって、連続する複 数の正規化処理済ビットマツプ文字バタンの各々を、次々と、ニューラル・ネッ トワークを通過させて処理する一方で、同じ文字バタンを、フレーム記憶メモリ １３０の中の２組のフレーム記憶メモリのうちの一方に、次のバス、即ち第２パ スにおいて使用できるように、記憶しておくようにしているのである。そしてそ の第２バスの実行中には、フレーム記憶メモリ１３０の中の２組のフレーム記憶 メモリのうち、今回文字バタンを記憶させた方のフレーム記憶メモリの内容を、 Ｉ１０スイッチ１４０を介して、連続的に次々と読み出して、ニューラル・ネッ トワーク４００の入力へ供給する。更に、それと同時に、入力書類のうちの、次 のページの正規化処理済ビットマツプ文字のデータを、文字ノーマライザ１２５ が、Ｉ１０スイッチ１４０を介して、フレーム記憶メモリ１３０の中の他方のフ レーム記憶メモリへ供給し、以下、同様の動作を繰り返すようにしである。この ように、フレーム記憶メモリ１３０とＩ１０スイッチ１４０とを協働させること によって、各ページを２回ずつスキャンする必要を無くし、また、スキャンした 場合にそれに付随して必要となる、文字の分離処理並びに文字の正規化処理も、 ２回ずつ行なわずども良いようにしであるため、１ペ一ジ分の、ビットマツプの 正規化処理済の文字を、各ページ２回ずつ連続してニューラル・ネットワークを 通して処理するようにしても、それによってフロントエンド・プロセッサ１１０ の処理速度（この処理速度は、一般的にニューラル・ネットワーク４００やネッ トワーク後置プロセッサ１７０の処理速度よりも遅い）が、悪影響を受けること がない。尚、本発明は、ＯＣＲシステム１００の中に組み込んである、ニューラ ル・ネットワーク４００に関するものであって、連結要素アナライザ１１５ない し文字ラーマライザ１２５自体の機能には、直接関係したものではないため、そ れらの要素の動作については、これ以上詳細には説明しない。ただし、それら要 素の動作についての説明は、本発明者による、本願の基礎米国出願の同時係属出 願である、発明の名称を「機械印字文字のための光学文字認識ニューラル・ネッ トワーク・システム」とした、　年−周一日付出願の、米国特許出願筒　号の中 に示されている。尚、同米国出願は、この言及をもって本開示に包含するものと する。

ニューラル・ネットワーク４００は、リード２１０上に出力される正規化処理済 ビットマツプ文字の、その各々の文字のバタン認識を実行するものである。更に 詳細に説明すると、正規化処理済文字の複数のビットの各々を、このニューラル ・ネットワーク４００の夫々異なった入力リードへ供給する。ニューラル・ネッ トワーク４００については、すぐ後に詳細に説明するが、ここでその基本的な点 について述べてお（と、ニューラル・ネットワーク４００は、互いに同様の構成 の複数の処理要素（いわゆるニューロン）から成る構成体であって、それら複数 のニューロンを、複数階層の階層構造を成すように配列することによって、入力 ニューロン階層、中間ニューロン階層、及び出力ニューロン階層を個別に設けた ものである。正規化処理済文字のビットマツプの各々は、２４個×１２個のビク セルから成る一定の大きさのアレイとして形成されるようにしである。従って合 計ビクセル個数は２８８個であるため、ニューラル・ネットワーク４００は、２ ８８個の入力ニューロンを備えたものとしてあり、入力階層中のそれら２８８個 のニューロンの各々に、このビットマツプの中の、夫々に異なったビクセルを供 給するようにしである。このニューラル・ネットワーク４００の中間処理要素（ 即ち中間ニューロン）の個数は、例えば約７５個とするが、ただし、この個数は 絶対的なものではない。ニューラル・ネットワーク４００から発生される出力の 数は、後に詳述するように出力ニューロンの個数に等しく、また、それら出力ニ ューロンの個数は、出力リード４８０の中に含まれている、それら出力ニューロ ンに対応した夫々のリードの本数でもあるが、この数は、ニューラル・ネットワ ークによって認識しようとしている文字の種類の数に等しくする。このニューラ ル・ネットワーク４００では、各々が出力値を発生する出力ニューロンを、約５ ０個、含んでいるようにしている。そして、それら出力ニューロンのうちの１個 と、リード４８０のうちの、その１つの出力ニューロンに付随した１本のリード には、文字「Ａ」を対応させてあり、また、別の１個の出力ニューロンとそれに 付随したリードには文字「Ｂ」を、更に別の第３のものには文字ｒａＪを、そし て第４のものには文字「ｂ」を対応させ、以下同様にして、異なった英数字の各 々を対応させである。尚、ここでいう英数字とは、ニューラル・ネットワーク４ ００が認識する必要のある、文字、数字、句読点、及び／または、その他の必要 な記号を含むものである（以後、本明細書においては、これら全てを含めて集合 的に「文字」と呼ぶことにする）。ニューラル・ネットワークが発生する出力値 の全ては、ネットワーク後置プロセッサ１７０へ供給され、ネットワーク後置プ ロセッサ１７０は、供給されたそれら出力値に応じた動作を行なうことによって 、このニューラル・ネットワークの出力を、それに対応したマルチビットのディ ジタル・ワード（例えばアスキー・ワード等）へ変換して、後続の処理において そのワードを使用できるようにする。ニューラル・ネットワーク４００は、好ま しくは、集積回路として構成されたディジタル信号処理回路を使用してソフトウ ェアによって構成するのが良く、使用することのできる集積回路としては、例え ば、米国、イリノイ州、シャラムバーブに所在のモトローラ社の製造に係る、５ ６０００型ディジタル信号プロセッサ（ＤＳＰ）等がある。この集積回路を使用 した場合、ニューラル・ネットワーク４００は、２００文字文字量上の処理能力 を持つものとすることができる。

ニューラル・ネットワーク４００は、文字認識処理の実行中は、ネットワーク後 置プロセッサ１７０と協働し、「勝者の全取り」方式を用いて、ニューラル・ネ ットワークによって識別された特定の１つの文字を同定する。更に詳細に説明す ると、リード２１０へ出力された正規化処理済文字のビットマツプに対する、ニ ューラル・ネットワーク４００の反応が完全に終了したならば、このニューラル ・ネットワークの出力にリード４８０を介して接続しているネットワーク後置プ ロセッサ１７０が、他の出力ニューロンが発生した出力値よりも大きい、最大の 出力値を発生した１つの出力ニューロンを選出する。即ち、ネットワーク後置プ ロセッサ１７０ば、ニューラル・ネットワーク４００の中の全ての出力ニューロ ンが、複数本のリード４８０の上に発生した値を互いに比較して、それらの値の うちから、最大の値を１出するのである。ネットワーク後置プロセッサ１７０は 、その選出が完了したならば、続いて、例えば簡単なテーブル・ルックアップ動 作等を行なって、ニューラル・ネットワークと協働して同定した、即ち、最大の 出力を発生した特定の出力ニューロンに対応した、その特定の文字のマルチビッ トのディジタル表示（例えばアスキー表示等）を、検索して取り出す。また、あ る種の正規化処理済ビットマツプ文字は、例えば、文字ｒ０４のように、その文 字のケースにかかわらず、即ち、アッパー・ケース（大文字類）であると、ロア ー・ケース（小文字類）であるとによらず、同一の形状を呈するため、ネットワ ーク後置プロセッサ１７０は、ニューラル・ネットワークがその種の文字を認識 したと判定したならば、リード１２３をを介して、フレーム記憶メモリ１２０の 中の、その文字の、正規化していないビットマツプにアクセスする。ネットワー ク後置プロセッサ１７０は、アクセスしたその正規化していないビットマツプに 基づいて、その文字の、正規化していない状態での寸法を判定し、それによって その文字のケースを正しく判定することができるようにしである。その文字の正 規化していない状態での大きさが比較的大きかったならば、それは、アッパー・ ケースであることを表わしており、一方、その文字の正規化していない状態での 大きさが比較的小さかったならば、それは、ロアー・ケースであることを表わし ている。こうして、認識した文字のケースが判明したならば、ネットワーク後置 プロセッサ１アＯは続いて、その文字に該当するディジタル表示（例えばアスキ ー表示等）をリード１８０上に送出する。ネットワーク後置プロセッサ１７０は 更に、リード１７５上に種々の制御信号を発生して、ニューラル・ネットワーク ４００の動作を制御する。それら制御信号のうちの１つは、後に詳述するように 、ニューラル・ネットワークの学習を実行させるための制ａｍ号である。ネット ワーク後置プロセッサ１７０は更に、リード１７３を介して、フロントエンド・ プロセッサ１１０へ、場合に応じた種々の選択信号を送出する。それら選択信号 は、フロントエンド・プロセッサ１１０に対して、現在ページの正規化処理済入 力文字のビットマツプの、ニューラル・ネットワーク４００への再度の供給を開 始して、このニューラル・ネットワークを通過させる第２パスの処理を実行させ ることと、入力書類中の、次のページの正規化処理済入力文字のビットマツプの 、ニューラル・ネットワークへの供給を開始して、このニューラル・ネットワー クを通過させる第１バスの処理を行なわせることとの、いずれか一方を命令する 信号である。更には、様々な公知の制御信号（例えば、特に「ページ処理完了」 信号等）が、フロントエンド・プロセッサ１１０の動作と、ネットワーク後置プ ロセッサ１７０の動作とを、適切に関連付けるために、リード１７７を介して、 それらの間でやり取りされる。

ネットワーク後置プロセッサ１７０が送出する出力は、リード１８０を介してプ ロセッサ１８５へ入力する。プロセッサ１８５は、ハード・ディスク・ファイル １９５に記憶しである誘電データベースと協働して、ニューラル・ネットワーク ４００によって認識された文字によって形成されている単語の各々に対して、ス ペルチェックを実行する。即ち、ネットワーク後置プロセッサ１７０が、１つの 単語を形成する一群の文字を送出完了するたびに、このプロセッサ１８５が、誘 電データベースを参照するルックアップ動作を行ない、それによって、その単語 のスペルが正しいか否かを判断する。ミススペルが発見された場合には、プロセ ッサ１８５は、リード１２３を介して、フレーム記憶メモリ！２０の中の正規化 していない文字のビットマツプをアクセスして、その単語の中の各々の文字を取 り出し、そして、リード１８９を介して、それらの文字のビットマツプを端末１ ９０へ送出して、それらのビットマツプを視覚ディスプレイさせる。続いて、プ ロセッサ１８５は、端末１９０にプロンプト・メツセージを表示させることによ って、この端末１９０に配置されているオペレータに対して、その単語の綴りが 、そのままで正しいものであることを認めるか、さもなくば、正しい綴りを入力 するかの、いずれかを行なうよう指示をする。オペレータが、現在の綴りが正し いものであることを認めた場合には、プロセッサ１８５は：その単語を形成して いる一群の文字を、そのまま出力リード１８７上へ送出する。書類上に実際に記 されている単語の綴りそれ自体が誤っていて、それをニューラル・ネットワーク ４００が、そのまま認識したという場合もあり得るため、たとえ、その単語中の 誤字に対する訂正がなされた場合であっても、プロセッサ１８５がその訂正内容 をニューラル・ネットワーク４００へ差し戻して学習を実行させることはないよ うにしてあり、即ち、その種の訂正があった場合、プロセッサ１８５は、訂正さ れた正しい文字を、単に出力リード１８７上に送出する。以上のスペルチェック 動作を行なうタイミングとしては、認識処理を実行している現在ページ上の連続 した複数の単語の各々について、その１つ１つの単語がニューラル・ネットワー ク４００を２度目に通過する第２パスを完了する都度、その単語に対してスペル チェック行なうようにしても良く、或いは、現在ページの全体が、ニューラル・ ネットワーク４００を２度目に通過する第２パスを完了した時点で、それら単語 に対して一括してスペルチェックを行なうようにしてもよい。また、ハード・デ ィスク・ファイル１９５には、辞書（即ち諸量データベース）の替わりに、或い は、辞書に加えて更に、認識処理を実行している書類中の誤りの判別及び訂正を 助けるための、その他の種類のデータベースを記憶させてお（ようにしても良い 。更に、このＯＣＲシステム１００の構成を簡明にして、そのコストを低減する ために、プロセッサ１８５、端末１９０、それにハード・ディスク・ファイル１ ９５に関しては、それらを省略して、このＯＣＲシステムには、データベースに 関連した機能（例えばスペルチェック等の機能〕は、持たせないようにしてもよ い。そうした場合には、ネットワーク後置プロセッサ１７０がリード１８０上に 送出する文字が、そのまま、このＯＣＲシステムの出力になる。

ニューラル・ネットワーク４００の学習は、後に詳述するように、公知の逆誤差 伝搬法（以下、単に「パックプロパゲーション（逆伝搬法）」と称する）を利用 して行なうようにしている。その要点を述べるならば、この技法では、ニューラ ル・ネットワークへ、複数の既知の文字（学習用文字）の入力ビツトマツプを連 続して次々と供給する。そして、供給したビットマツプの各々に関して、ニュー ロン重み及びニューロン・バイアス値（これらについても後に詳述する）の調節 を行なうことによって、それら学習用文字の各々につＩＪ）で、ニューラル・ネ ットワークが適切な出力を発生するようにする。

ただし残念なことに、従来公知の、パックプロパゲーションを採用した種々のニ ューラル・ネットワークには、幾つかの重大な欠点が付随しており、それらの欠 点が、それら公知のニューラル・ネットワークをＯＣＲシステムに使用すること を困難にしている。その要点を述べると、それら公知のニューラル・ネットワー クは、研究室の環境で、静的な試験データの母集団に基づいて、英数字の文字の 認識を実行する際に正確な結果を出すことができるが、しかしながら、「実世界 」の文字データを使用する実地の環境においては、それらニューラル・ネットワ ークによって達成し得る認識正確度は、一般的に、太き（低下する。その原因は 、ニューラル・ネットワークが実地において直面する「実世界」の文字ないしフ ォントは、様々な理由から、製造工場においてそのニューラル・ネットワークに 学習させた文字ないしフォントとは、しばしば異なっていることがあるからであ る。更には、タイプフェースにも種々のものがあり、たとえ、それらのタイプフ ェースのいずれもが一般的なフォントのものであったとしても、認識処理を行な う書類ごとに、そのタイプフェースがある程度、異なっていることも、しばしば 経験される。

従来公知の種々のニューラル・ネットワークは、連続して書類を扱って行く際に も、その各書類ごとに学習をさせることができるようにしであるが、その学習を させるためには相当な時間を費やさねばならず、そのため、そのようにして学習 を行なわせると、システムの全体としての処理速度が著しく低下せざるを得ない 。更には、特に、印字動作の不備ないしは印字媒体の理疵等のために文字自体が つぶれている場合もある。もし、つぶれた文字に関してニューラル・ネットワー クに学習を行なわせたならば、そのニューラル・ネットワークの動作は、そのつ ぶれた文字を認識するように、偏向してしまうしまう。この動作の偏向に加えて 、ネットワーク後置プロセッサが実行する出力の選出方式が、一般的に「勝者の 全取り」方式とされているため、それらが相まって、ユーザの書類上の、つぶれ ていない健全な入力文字を認識する際に発生する認識誤りが減らずに却って増大 してしまい、従って、全体としての認識誤りの発生率上昇してしまうという不都 合が生じる可能性が高い。

本発明のニューラル・ネットワークは、従来公知の種々のニューラル・ネットワ ークに付随していたこれらの欠点を、大幅に改善したものである。特に、本発明 によれば、ニューラル・ネットワークに学習させる際に、その教材として使用す ることのできるデータである基礎データを拡張して、その基礎データに、充分な 出力信頼性をもって認識された実際の未知の入力文字データの、認識結果を包含 させるようにしている。この出力信頼性の指標値は、ニューラル・ネットワーク の複数の出カニニーロンが発生する出力値のうちの、最大の出力値と２番目に大 きな出力値との間の比の値としている。そして１文字認識処理の実行中に、ある 文字を認識したときの出力信頼性指標値が所定の範囲内の値であったならば、そ のときのときのニューラル・ネットワークの出力に応答して、パックプロパゲー ションと、ニューロン重み及びニューロン・バイアス値の変更調節とを行なわせ るようにしている。即ち、ある文字を認識したときに、出力信頼性指標値がその 所定範囲内にあったならば、その文字が認識されたということによって、おそら く、以下の事実があるものと考えられる。即ち、その事実とは、（ａｔ認識した その文字を表わすビットマツプは、ニューラル・ネットワークに初期学習を施し たときに使用したその文字のビットマツプから、ある程度変化していること、そ して、（ｂ）そのビットマツプがそのように変化しているにもかかわらず、ニュ ーラル・ネットワークは、その文字をおそらくは正しく認識していると推定され ること、以上２点である。また、ある入力文字を認識したときに、出力信頼性指 標値が小さ過ぎるか、或いは、大き過ぎた場合には、そのときのニューラル・ネ ットワークの出力に応答して、パックプロパゲーションと、ニューロン重み及び ニューロン・バイアス値の変更調節とが行なわれることは、ないようにしている 。

即ち、出力信頼性指標値が不充分な、小さな値であった場合には、それは、認識 された文字に大きな不確定性が付随していることを示しているのであり、一方、 出力信頼性指標値が非電に大きな値であった場合には、それは、その認識した文 字のビットマツプが、たとえ多少は変化しているにしても、ニューラル・ネット ワークに再学習を行なわせる許可を与えることが妥当であるといえる程には、変 化していないことを示しているのである。この状態で、もし再学習を行なったと しても、ニューラル・ネットワークが提供する認識正確度の向上は、たとえ皆無 では無いにせよ、目に見える程の向上は得られない可能性が高い。それゆえ、こ の方式でニューラル・ネットワークの学習用データの基礎データの全体を拡張し て、動的に変化している入力文字であって、しかも尚、充分な出力信頼性を持っ て認識された入力文字を、その基礎データに包含するようにしており、これによ って本発明のニューラル・ネットワークは、滑らかに、迅速に、且つ、正確にそ の応答を、変化している入力文字に適応させることができ、更にそれによって、 従来公知の種々のニューラル・ネットワークにおいてこれまで行なわれていた動 作と比べて、より力強い動作を提供できるようになっているのである。

以上に説明した本発明の方式の理解の上に立って、更に説明を続けると、ニュー ラル・ネットワーク４００は、出力信頼性指標値をリード４９０上へ発生してネ ットワーク後置プロセッサ１７０へ供給する。この出力信頼性指標値は、後に詳 述するように、それをニューラル・ネットワークの中で使用して、パックプロパ ゲーションと、ニューロン重み及びニューロン・バイアス値の変更調節とを制御 するものである。ネットワーク後置プロセッサ１７０は、この指標値に基づいて 、入力書類のうちのある１ページの中の認識した文字のうち、その文字を認識し たときに、その出力信頼性が低かった文字、即ち、ニューラル・ネットワーク４ ００を再度通過させる第２バスの実行によって、識別の結果が異なる可能性のあ る文字にフラグを付けておく。

ＯＣＲシステム１００に優れた認識正確度を発揮させるためには、既述の如く「 ２パス」動作を行なわせるようにすることが好ましい。しかしながら、多少は認 識精度のレベルが低下することになっても（ただし、従来公知のニューラル・ネ ットワークの認識正確度と比較すれば、格段に優れたレベルへ低下するだけであ る）、システムの構成を簡明にして、そのコストを低減する方を望むならば、「 ２パス」動作の替わりに「１パス」動作を採用するようにしても良い。この場合 、入力書類の各ページに対しては、ニューラル・ネットワーク４００を通過させ る処理を１回だけ施すことになる。更に、そのようにしたニューラル・ネットワ ークは、各ページ上の実際の変化している入力文字のうち、認識したときの信頼 性が充分に高かったものについて、適応性のある再学習を実行するものとなるが 、ただし、そのニューラル・ネットワークは、当該ページ上の文字のうち、最初 に誤認された文字を、再度識別し直す機会を持つことはできない。しかしながら 、ニューラル・ネットワークの学習用データの基礎データの全体の拡張は行なわ れ、実際の変化している入力文字がその基礎データに包含されるようになるため 、この場合にも、同一の書類中の後続のページに記されている同じ文字を認識す る際の正確度は、従来公知のニューラル・ネットワークを使用した場合に得られ る正確度と比較して、格段に優れたものとなる。尚、「１パス」動作を行なわせ るのであれば、図１に示したシステム１００から、フレーム記憶メモリ１３０と Ｉ１０スイッチ１４０とを省略することができ、その場合、文字ノーマライザ１ ２５の出力を直接、ニューラル・ネットワーク４００の入力へ供給するようにす れば良い。また、別の構成として、システムのオペレータが要求する認識正確度 、或いは、このシステムの更に下流に接続する画像処理装置、及び／または、ワ ードプロセッサ等（不図示）が必要とする認識正確度の程度に応じて、「１パス 」動作と「２パス」動作とのいずれか一方を、切り換えによって実行できるよう 、このシステム１００を構成するようにしても良い。

本発明の教示を完全に、しかも容易に理解することができるように、以下の説明 においては、先ず最初に、図２及び図３を参照して、ＯＣＲシステムに使用する ことのできる、従来公知の典型的なパックプロパゲーション方式のニューラル・ ネットワークの動作について説明する。そしてその後に、図４に示した、本発明 を用いてそのニューラル・ネットワークに加える変更部分について、説明するこ とにする。

図２に示すブロック図は、ＯＣＲシステムに使用するための、パックプロパゲー ションを利用したニューラル・ネットワーク２００であって、従来公知のニュー ラル・ネットワークのうちの、典型的な一例のニューラル・ネットワークを示し たものである。図示の如く、ニューラル・ネットワーク２００は、複数の互いに 同一のニューロンを３層の階層を成すように編成して構成してあり、それら階層 は、ニューロン２２１．２２２、及び２２３を有する入力階層２２０、ニューロ ン２３１．２３２．２３３、及び２３４を有する中間階層２３０、それに、ニュ ーロン２４１．２４２．２４３、及び２４４を有する出力階層２４０である。

これらニューロンの１つ１つは、図３に示す機能構成を有しており、この機能構 成については後に詳述する。ＯＣＲという用途に使用するニューラル・ネットワ ークは、一般的に、これら複数の階層の各々に、比較的多数のニューロンを含ん でおり、また、場合によっては、２層以上の中間階層を含んでいる。しかしなが ら、図を見易くするためと、以下の説明を理解し易くするためとに、図２に示し たニューラル・ネットワーク２００も、また、図４に示したニューラル・ネット ワーク４００も、３層の階層の各々に、少数のニューロンしか備えていないもの を示しである。ニューラル・ネットワークの動作の方式は、そのニューラル・ネ ットワークの各階層に含まれているニューロンの個数にかかわらず、同じ方式で ある。

図２に示すように、各々のニューロンは、１つまたは複数の入力を備えているが 、その出力は１つだけである。ただし、この出力は、上位の階層へ向けて分配す ることができ、従って、すぐ上位の階層の中の１つまたは複数のニューロンの入 力とすることができる。ニューラル・ネットワーク２００への入力は、リード２ １１．２１２、及び２１３を介して供給され、これら３本のリードをまとめて集 合的に、入力２１０で表わしてあり、この入力２１０は、入力階層２２０の中に 位１している入力ニューロンへの入力である。これらの入力用のリードの各々は 、入力ビツトマツプ・バタンの中の個々のビクセルＰ１．Ｐ２．及びＰ３に対応 したビットを、ネットワーク２００へ、より詳しくは入力ニューロン２２１．２ ２２、及び２２３の夫々へ供給している。具体的に、例えば２４個Ｘ１２個のビ クセルのアレイの中に形成される正規化処理済文字の認識を行なうためには、図 ２に示した３個の入力ニューロンに替えて、２８８個の入力ニューロンを使用す るようにすれば良い。入力階層２２０の中の各ニューロンの出力は、中間階層２ ３０の中の各ニューロンへその入力として供給され、そして更に、この中間階層 ２３０の中の各ニューロンの出力は、出力階層２４０の中の各ニューロンへ、そ の入力として供給される。階層２２０の中のニューロンから階層２３０の中のニ ューロンへの入力、並びに階層２３０の中のニューロンから階層２４０の中のニ ューロンへの入力に対しては、その各々に、係数Ｗによって重みを付与するよう にしている。中間階層２３０の中のニューロンへの夫々の入力に付与する重みは 、ニューロン重みｗｊｉで表わしてあり、また、それらニューロン重みをまとめ て集合的に、重み２２５という引用符号で示しである。一方、出力階層２４０の 中のニューロンへの夫々の入力に付与する重みは、ニューロン重みｗｋｊで表わ してあり、また、それらニューロン重みをまとめて集合的に、重み２３５という 引用符号で示しである。更に図２に示した各々の重みに実際に付しである、２つ の数字の添字は、その重みが関係している特定のニューロンのベアを明示したも のである。即ち、２つのうちの先の添字は、そのニューロンのベアのうちの受取 側のニューロンを、また後の添字は、送出側のニューロンを明示しており、その 重みによって、それらニューロンの間のに存在する比例結合を定義される。ニュ ーロンの各々が送出する出力値は連続値であり、この連続値はアナログ値であっ ても良く、或いは、好適実施例においてＤＳＰ回路によって実現しているように 、マルチビットのディジタル値であっても良い。全ての出カニニーロンが発生す る夫々の出力値をまとめて集合的にとらえたものが、このニューラル・ネットワ ーク２００の出力であり、図中には、出力ニューロン２４１．２４２．２４３、 及び２４４の夫々から出力される各々の出力を、出力２８１．２８２．２８３、 及び２８４で示しである。出力階層の中のニューロンの個数は、一般的には、ニ ューラル・ネットワークが識別して認識する必要のある文字の種類数に等しくす るようにしている。そして、例えば、出力ニューロン２４１を文字「Ａ」に対応 させ、出力ニューロン２４２を文字「ａ」に対応させ、出力ニューロン２４３を 文字ｒＢＪに対応させ、出力ニューロン２４４を文字「ｂ」に対応させる、とい うようにする。機械印字した英数字を認識するためのＯＣＲという用途では、図 ２に示した４個の出力ニューロンに替えて、約５０個の出力ニューロンを使用す るようにすれば良く、その各々の出力ニューロンを、識別して認識すべき、夫々 異なった英数字記号（例えば文字、数字、ないしは句読点等）に対応させるよう にする。中間階層の中の二ニーロンの個数を決定する要因の主なものは、認識さ せるためにニューラル・ネットワークへ供給する文字のビットマツプの複雑度、 ニューラル・ネットワークの情報キャパシティとして望まれるキャパシティの大 きさ、学習終了後にニューラル・ネットワークが獲得する未知のパタンを取扱う 能力の程度、それに、後に説明するように、ニューラル・ネットワークに学習さ せる際にそのニューラル・ネットワークの全ての重みを適切に収束させるまでに そのニューラル・ネットワークに繰り返させることになる反復動作の回数である 。

上述の英数字認識用のＯＣＲという用途では、中間階層２３０は、図２に示した ４個の中間ニューロンに替えて、約７５個のニューロンを含んでいるようにすれ ば良い。

このニューラル・ネットワークの中の、任意の１つのニューロンａｋへの合計人 力Ｉは、一般的には、そのニューロンへの重み付は入力値の合計に、更にそのニ ューロンのバイアス値θを加えた関数として算出することができ、これは、次の 式（１）及び式（２）で示すとおりである。

出力ニューロンａｋに関しては、 中間ニューロンａｊに関しては、 一方、ニューロンの出力Ｏは、その人力１　（ａ）の関数であり、次の式（３） で与えられる。

０　（ａ）　＝ｆ　［Ｉ　（ａ）　］　（３）ここで関数ｆは、いわゆる、活動 度関数であり、連続した閾値を与えるものである。この関数は、一般的にはシグ モイド関数としてあり、即ち、Ｓ字形の単調増加関数であって、入力が正の無限 大ないし負の無限大に近づくにつれて、夫々、一定の値に漸近し、一般的には、 正の無限大の場合には「＋１」に漸近し、負の無限大の場合にはｒＱＪないし「 −１」に漸近するように定めである。このシグモイド関数と、個々のニューロン 重み及びニューロン・バイアス値とによって、そのニューロンの全ての人力へ供 給される全ての信号に対する、そのニューロンの応答、即ち「興奮度」が定まる 。この活動度関数として使用する関数は、二ニーロン合計入力Ｉ　（ａ）の値を 、入力値が負の無限大である場合の漸近値である「０」ないし「−１」と同じく 正の無限大である場合の漸近値である「＋１」との間の連続した単調増加する値 域の中へ写像する関数でありさえすれば、実際にはどのような関数であっても大 差はない。これをシグモイド関数とした場合にはニューロンの出力、例えば０（ ａｋ）は、次の式（４）で与えられる。

既述の如く、ニューラル・ネットワークの動作の種類として、一般的に、２種類 の処理手順があり、それらを、続けて、相前後して実行するようにしている。

先に実行する処理手順は、初期化を行なった上で、既知の出力を持った、予め定 めである既知の文字のビットマツプ・パタンに関する、学習を行なうというもの であり、それに続いて実行する処理手順は、実際の未知の入力文字ビットマツプ のパタンを認識するという処理手順である。

先ず、ニューラル・ネットワーク２００を初期化するには、このニューラル・ネ ットワーク２００の中にある全てのニューロンの、重みとバイアス値とを、ラン ダム値にセットする。このランダム値は一般的に、ある一定の範囲内の値とする ようにしており、具体的には、例えば「±０．５」の範囲内の値としている。

続いて、ニューラル・ネットワーク２００に学習をさせる。更に詳しく説明する と、どの文字に対応したものであるかが判っている、予め定めである既知の複数 の入力ビツトマツプ、即ち、いわゆる学習用パタンを、ニューラル・ネットワー ク２００へ連続して次々と供給する。そして、それら学習用パタンの各々につい て、ニューラル・ネットワーク２００の中の全ての重みＷと全てのバイアス値θ とを変更調節して、その学習用パタンに含まれている各々のビットマツプに関し て、ニューラル・ネットワークの出力が、そのビットマツプのパタンに対応した ニューラル・ネットワーク出力目標値に、略々一致した出力値を発生するように する。こうして学習が終了したならば、全ての重みとバイアス値とを、その現在 値に固定する。以上が済んだならば、このニューラル・ネットワークを使用して 未知の入力文字パタンの認識作業を行なうことができる。バタン認識作業の実行 中は、複数の未知のビットマツプを、連続して次々と、ニューラル・ネットワー ク２００の複数の入力２１０へ並列的に供給し、それによって得られる、それら ビットマツプに対応したニューラル・ネットワーク応答を、出力階層２４０の中 の出力ノード（出力ニューロン）から受け取るようにする。理想を言うならば、 ニューラル・ネットワーク２００が、ある未知の入力ビツトマツプを認識した結 果、その入力ビツトマツプが、このニューラル・ネットワークがその文字につい て学習したところの所与の文字であることが判ったときには、出力階層２４０の 中にあって当該文字に対応させであるニューロンの発生する出力値が、出力階層 ２４０の中のその地金てのニューロンが発生する出力値と比べて、際立って大き な値となっているべきである。

バックプロパゲーションを行なうには、予め定めである学習用入力バタン（入力 ベクトル）をニューラル・ネットワークへ供給し、その入力ベクトルを、ニュー ラル・ネットワークの中を順方向へ伝搬させて、その入力ベクトルに対応した出 力バタン（出力ベクトル０）を、出力ニューロンに出力させる。そして、この動 作に付随して生じた誤差の大きさを判定し、その判定した大きさの誤差を、ニュ ーラル・ネットワークの中を逆向きに伝搬（バックプロパゲーション）させるこ とによって、その誤差を、ニューラル・ネットワークの中の個々のニューロンへ 配分する。続いて、各々のニューロンの重みとバイアス値とを変更調節し、この 変更調節の方向及び量は、その学習用人カバタンに関する、ニューラル・ネット ワークの全体誤差を最小にする方向及び量とする。そして更に、以上の手順を、 続（次の学習用パタンに関しても反復して実行し、以下同様に、更にその他の学 習用パタンに関しても反復して実行する。

更に詳しく説明すると、所与の学習用入力バタンに関する、ニューラル・ネット ワークの中の各々のニューロンの誤差の大きさを判定するようにし、この判定に は、いわゆる「一般化デルタルール」を用いる。一般化デルタルールにおいては 、所与の学習用人カバタンｐに関して、その任意のニューロン重み（例えば重み ｗｋｊ）を原因とする誤差の大きさは、ニューラル・ネットワークの誤差の二乗 和（即ち、全てのニューロンによって発生される誤差Ｅｐ）の、偏導関数に比例 するものとなっている。これは次のとおりである。

先ず、入力バタンｐに関する、ニューラル・ネットワーク全体誤差Ｅは、次の式 ％式％ この式において、ｔｋは、第にニューロンの出力目標値である。この場合、任意 の重み（例えば重みｗｋｊ）に関係したネットワーク誤差の大きさは、その重み の変化に対するニューラル・ネットワーク全体誤差Ｅｐの偏導関数、即ち、ａＥ ｐ／ａｗｋｊ　で与えられる。このことから、各々の出力ニューロンａｋそのも のに関する誤差の大きさδには、その出力ニューロンａｋにおける、実際の出力 値Ｏｋと、出力目標値ｔｋと、それらの間の差分の値との関数としてめることが でき、これは次のとおりである。

δに＝ｏｋ　（１−Ｏｋ）（ｔｋ−Ｏｋ）　（６）また、任意の中間ニューロン に関する誤差の大きさは、次のとおりである。

これらの、式（６）に示した各々の出カニニーロンの誤差の大きさと、式（７） に示した各々の中間ニューロンの誤差の大きさとを、バックプロパゲーション誤 差決定部２６０に算出させる。そして、この誤差の算出を、ニューラル・ネット ワークの中を逆向きに進めて行き、即ち、誤差を次々と低位の階層へ伝搬させて 行き、最終的には入力階層まで伝搬させる。またバックプロパゲーション誤差決 定部２６０へは、それらニューロン誤差の値を算出させるために、リード２５０ を介して現在出力ベクトルを供給し、リード２６７を介してニューロン重み並び にニューロン・バイアス値の夫々の現在値（ｗｋｊ（ｎｌ　、　ｗｊｉｆｎ）　 、及びθｊ　（ｎｌ　）を供給し、そして、リード２６３を介して出力ニューロ ンの出力目標値（ｔｋ　）を供給している。尚、重みの値として、大きな値が発 生されるのを防止するために、個々の出力ニューロンの各々の出力目標値は、適 音、ｒｏ、ＩＪか、或いはｒＯ，９Ｊに設定するようにしている。

バックプロパゲーション誤差決定部２６０は、夫々のニューロン誤差の値を算出 したならば、それら算出したニューロン誤差の値を、リード２６５を介して、ニ ューロン重み／バイアス値決定部２７０へ出力する。そして、全てのニューロン 誤差の値が算出されたならば、ニューロン重み／バイアス値決定部２７０は、全 ての階層における、ニューロン重み及びニューロン−バイアス値の、その各々の 現在値に加える必要のある、変更量（即ち調節量）を決定する。その際に、ニュ ーロン重み／バイアス値決定部２７０は、全体誤差の部分のうちの、最大最の大 きさの幾つかの部分を、ニューラル・ネットワークの全体誤差の発生に、多（荷 担している重み及びバイアス値に割当てる。この手順は反復実行するものである が、その第（ｎ＋１）回目の反復実行である、現在実行に関する、重み及びバイ アス値の変更量は、以上のようにして算出したニューロン誤差に基づいて、次の 式に従って決定するようにしている。

先ず、出力ニューロンａｋの各々については、Δｗｋｊ　ｆｎ＋１）　＝　７７ 　δｊ　Ｏｋ　＋ａΔｗｋｊ（ｎｌ　（８）Δθｊ（ｎ＋ｌｌ　＝ηδｊ＋αΔ θｊ　［ｎｌ　（９）また、中間ニューロンａｊの各々については、Δｗｊｉ　 （ｎ＋１１　＝　ｎδｊｏｋ＋ａΔｗｊｉ（ｎ）　（１０）Δθｉ（ｎ＋１１　 ＝ηδｉ＋αΔθ１ｆｎｌ　（１１）係数ｎは、ニューラル・ネットワークの学 習速度を表わすものである。即ち、この係数ηは、ニューラル・ネットワークの 学習動作の実行中に、ニューラル・ネットワークの重みとバイアス値とが、どれ 程遠やかに収束するかを定めるものである。この係数の値が大き過ぎると、重み 及びバイアス値はその適正値を超えてオーバーシュートするようになり、それに よって収束が妨げられるようになる。

また、係数αは、運動量の項に似た性質を持つものであり、重みの値の急激な変 化の影響を緩和しく周波数の高い変動をフィルタ除去する性質を持つ）、またそ れと共に、ニューラル・ネットワークが、重み空間における誤差曲面の表面に沿 って、絶対的な最短距離ではないものの、局部的な最短距離を通って変化して行 けるようにするものである。また、これら係数の値は、経験的に定められるもの である。こうして重み及びバイアス値の変更量の算出を完了したならば、ニュー ロン重み／バイアス値決定ｆｆ１２７０は、算出したそれら変更量を、夫々、リ ード２７２とリード２７４とを介して、ニューラル・ネットワークの中の個々の ニューロンの全てへ供給し、その変更量に従ってニューロン重み及びニューロン ・バイアス値を更新させる。目標出力ベクトルと実出力ベクトルとの間の誤差に 基づいて、ニューラル・ネットワークの重みとバイアス値とを、反復して調節す るようにしたこの処理手順は、上記式（５）に示した、このニューラル・ネット ワーク２００の二乗和誤差を、効果的に減少させて行くことのできる、最急降下 法を構成するものである。ニューラル・ネットワークにおけるパックプロパゲー ションの、更に詳しい説明については、Ｄ−Ｊ・バー著「ニューラル・ネットワ ーク方式の数字認識装置Ｊ　（Ｄ、　Ｊ、　Ｂｕｒｒ、　”Ａ　Ｎｅｕｒａｌ　 Ｎｅｔｗｏｒｋ　Ｄｉｇｉｔ　Ｒｅｃｏｇｎｉｚｅｒ”。

Ｐｒｏｃｅｅｄｉｎ　ｓ　ｏｆ　ｔｈｅ　１９８６　ＩＥＥＥ　Ｔｎｔｅｒｎａ ｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　Ｓ　ｓｔｅ＋≠刀@Ｍａｎ ａｎｄ　Ｃｂｅｒｎｅｔｉｃｓ　Ａｔｒａｎｔａ、　Ｇｅｏｒ　ｉａ、　ｐａｇ ｅｓ　１６２１−１６２５　）や、Ｄ−Ｅ−ラメルハートらによる「誤差伝搬法 による内部表示の学習」の第８章（Ｃｈａｐｔｅｒ８、　”Ｌｅａｒｎｉｎｇ　 Ｉｎｔｅｒｎａｌ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｂｙ　Ｅｒｒｏｒ　Ｐｒ ｏｐａｇａｔｉｏｎ″ｏｆ　ＤA　Ｅ。

Ｒｕｍｅｌｈａｒｔ　ｅｔ　ａｌ、ハｒａｌｌｅｌユ１ｓｔｒｉｂｕｔｅｄ　Ｐ ｒｏｃｅｓｓｉｎ　、　（ｃｏｐｙｒｉｇｈｔ／１９８６：@ＭＩＴ Ｐｒｅｓｓ；　Ｃａ＋ｎｂｒｉｄｇｅ、　Ｍａｓｓａｃｈｕｓｅｔｔｓｌ）の特 に第３２２頁〜第３３０頁を参照されたい。更に、ニューロン並びにネットワー ク２００等のニューラル・ネットワークの基礎を成す数学については、Ｎ−Ｊ・ エルシン著［学習機械の数学的基礎Ｊ　（Ｎ、　Ｊ、　Ｎｉ１ｓｓｏｎ、　Ｔｈ ｅハ肋：鮎且ゴ」回悪■山凹し虻±胆ユ扛り胆±訪朋（ｃｏｐｙｒｉｇｈｔ／１ ９９０：　Ｍｏｒｇａｎ　Ｋａｕｆｍａｎｎ　Ｐｕｂｌｉｓｈｅｒｓ；　Ｓａｎ 　Ｍａｔｅｏ、　にａｌｉｆｏｒ獅奄≠戟@） の、特に、その第２．６童「スレショルド・ロジック・ユニット（ＴＬＵ）Ｊ（ Ｔｈｅ　Ｔｈｒｅｓｈｏｌｄ　Ｌｏｇｉｃ　Ｕｎｉｔ　［ＴＬＵｌ″ｏｎ　ｐａ ｇｅｓ　２１−２３　）　、それに第６章「階層機械」　（Ｌａｙｅｒｅｄ　Ｍ ａｃｈｉｎｅｓ’　ｏｎ　ｐａｇｅｓ　９５−１１４）を参照されたい。

１つの学習用文字ビットマツプに関して、ニューラル・ネットワークの全ての重 みの調節が終了したならば、続く次の学習用文字ビットマツプをニューラル・ネ ットワークへ供給し、そして誤差の決定及び重みの調節のプロセスを反復して実 行し、そして更に、一連の複数の学習用ビットマツプの各々について、その反復 プロセスを繰り返して実行して行（。一般的には、それら複数の学習用バタンの 各々に関して、ニューラル・ネットワーク全体誤差が、予め定めた限界値に到達 したならば、その学習用パタンに関する反復実行を中止して、学習を停止させる 。この時点で、ニューラル・ネットワーク２００の、全ての重み及びバイアス値 を、そのときの現在値に固定する。これ以降は、このニューラル・ネットワーク ２００を使用して、未知の入力データを対象とした文字認識作業を、比較的高速 で実行することができる。

図３に示したハイレベルのブロック図は、ニューラル・ネットワーク２００に使 用した（また、本発明に係るニューラル・ネットワーク４００にも使用した）一 般的な構成の、ニューロン３００を示したブロック図である。既述の如（、各々 のニューロンは、そのニューロンの複数の重み付は人力の合計値とバイアス値と の和に対する、関数を発生するものであり、より具体的には、その和に対して、 一定の領域に制限された閾値を、関数として発生するものである。図３に詳しく 図示したように、ニューロン３００へは、複数の個々の入力値ＩＮＩ、ＩＮ２、 ＩＮ３　、、、、、ＩＮｎから成る入力３１０が供給される。これら入力値は、 それらの夫々に割当てられた個々のリード３１０１．３１０２．３１０３１、、 、．３１０ｎを介して、それらの夫々に対応した乗算器３３０１．３３０２．３ ３０３、、、、．３３０ｎへ入力しており、それら乗算器をまとめて集合的に乗 算器３３０として表わしている。これらの乗算器は、それらの入力値に、その乗 算器に付与しである重みｗｌ　、ｗ２　、ｗ３　、、、、、ｗｎを乗じる乗算を 行ない、そしてそれらの乗算によって得られた夫々の積（即ち重み付は値）を、 リード３４０を介して加算器３５０の夫々の入力へ供給している。加算器３５０ は、それら重み付は値の全てを、リード３５５を介して供給されているバイアス 値θに加え合せて１つの和の値を形成する。続いて、この和の値を、リード３６ ０を介して、閾値要素３７０へ供給する。閾値要素３７０は、予め定めである所 定の連続漸近関数（一般的にはシグモイド関数であり、また、シグモイド関数と するのが好ましい）としての機能を果たすものであり、この関数は、その入力を 、その入力に対応した、例えば「＋ｌ」から「０」までの間の、出力値へ写像す るものである。この閾値要素３７０の出力Ｏは、リード３７５を介して、ニュー ロン３００の出力として送出される。尚、本発明の好適実施例においては、各ニ ューロンは、ＤＳＰ回路の中で実行するソフトウェアによって構成するようにし ているが、しかしながら、それらニューロンの各々を、アナログ回路ないしディ ジタル回路によって構成するようにしても良い。更に、それら複数のニューロン によって形成されるニューラル・ネットワークの全体を、特別製のディジタル回 路（例えば、然るべき複数の能動要素と接続マトリクスとを組み込んだ、適当な 特定用途集積回路（ＡＳＩＣ）や、特注の超大規模集積回路（ＶＬＳＩ）等）に よって構成するようにしても良い。また、ニューロン３００と同様の機能特性を 備えた複数のニューロンを含んでいる、ニューラル・ネットワークを構成するた めの、更にその他の幾つかの構成方式（例えば光学的構成方式等）が、Ｒ−Ｋ・ ミラー著「ニューラル・ネットワーク」の、第４ｔ［ニューラル・ネットワーク の構成方式Ｊ　（Ｃｈａｐｔｅｒ　４″Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　 Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ″、　ｐａｇｅｓ　４−１　煤B ４−２６　ｉｎ　Ｒ，Ｋ、　Ｍｉｌｌｅｒ、　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ 　（ｃｏｐｙｒｉｇｈｔ／１９８９：　Ｆａｉｎａｏｎｔ　oｒｅｓｓ； Ｌｉ１ｂｕｒｎ、　Ｇｅｏｒｇｉａｌ　）に説明されテイル。

従来公知の典型的なニューラル・ネットワークの１つであるニューラル・ネット ワーク２００の機能、並びに、このニューラル・ネットワークの中で使用してい る各ニューロンの機能についての、以上の理解の上に立って、以下に、本発明の ニューラル・ネットワーク４００について、詳細に説明して行くことにする。

尚、このニューラル・ネットワーク４００を構成している構成要素は、その多く が、ニューラル・ネットワーク２００の中の構成要素と同一のものであるため、 以下の説明では、これら２つのニューラル・ネットワークの間の相違点について のみ、詳細に論じることにする。

図４は、本発明の一実施例に係るニューラル・ネットワーク４００の、ハイレベ ルのブロック図である。このニューラル・ネットワーク４００は、上述のニュー ラル・ネットワーク２００に含まれていた構成要素に加えて、更に、信頼性測定 ／バックプロパゲーション制御部４１０を含んでいる。この信頼性測定／バック プロパゲーション制御部４１０は、ネットワーク人力２１０へ供給される入力ビ ツトマツプ文字の各々についてニューラル・ネットワーク４００が発生する出力 値のベクトルに基づいて、そのベクトルに付随する出力信頼性指標値を算出する ものである。また、この出力信頼性指標値は、そのベクトルに含まれている複数 の出力値のうちの、最大の出力値と２番目に大きな出力値との間の比の値として 算出される。こうして算出したこの指標値に対しては、続いて、閾値処理を施し 、その処理の結果を、制御信号として、リード４５０を介してパックプロパゲー ション誤差決定部２６０へ供給する。この制御信号による制御は、入力文字認識 作業中に、バックプロパゲーション並びにニューロン重み及びニューロン・バイ アス値の調節を実行させる（即ち、ニューラル・ネットワークに、認識作業を実 行中の現在入力文字の実際のビットマツプに適合させるための、再学習をさせる ）か、或いは、それらの動作の実行を禁止して、その再学習をさせないようにす るかの、いずれかとするための制御である。

ニューラル・ネットワーク４００が、ある入力文字を、充分に高い信頼性をもっ て認識したときには、その出力ベクトルの中に顕著なピーク（例えばその値がｒ ｏ、８Ｊ以上のピーク）が存在しているはずであり、しかも、その顕著なピーク は、ただ１つの出力ニューロンにのみ付随しているはずである。また、その他の 出力ニューロンが発生している出力値は、比較的小さな値（例えばｒｏ、３Ｊ以 下）−にとどまっているはずである。例えば、図４に示したニューラル・ネット ワーク４００における、出力信頼性の高い出力ベクトルの具体的な一例を示すな らば、　（０，３，０，２，０，８，０，２）というベクトルを挙げることがで きる。出力ベクトルがこの値であれば、ニューラル・ネットワーク４００は、高 い信頼性を持って、入力ビツトマツプが文字ｒＢＪであると、認識しているので ある。また、出力ベクトルがこの値であれば、その信頼性指標値は比較的大きな 値となり、具体的には、０．８１０．３、即ち約２．６７になる。また、以上と は逆に、ニューラル・ネットワーク４００が、その発生している出力に自信を持 っていない場合には、その出力ベクトルの中の最大出力値の近傍に、複数のニュ ーロン出力値から成る団塊（クラスタ）が生じる。図４に示したニューラル・ネ ットワーク４００における、信頼性の低い出力ベクトルの具体的な一例を示すな らば、（ｏ、４．０．７６．０．８．０．６）というベクトルを挙げることがで きる。この出力ベクトルの信頼性指標値は、比較的小さく、０．８１０．７６、 即ち約１．０５である。

信頼性測定／バックプロパゲーション制御部４１０は、出力セレクタ４２０、レ シオ値算出器４３０、及び閾値処理部４４０を含んでいる。このうち出力セレク タ４２０は、ニューラル・ネットワーク４００が発生した出力ベクトルをり一ド ２５０を介して受け取り、そして受け取ったその出力ベクトルの中から、最大の 出力値と、２番目に大きい出力値とを選択する。続いて、選択したそれらの値（ ｎｌ　、　ｎ２　）を、リード４２５を介してレシオ値算出器４３０へ送出する 。レシオ値算出器４３０は、それらの値の間のレシオ値（ｎｌ／ｎ２）を算出し 、そして算出したそのレシオ値を、リード４３５を介して、閾値処理部４４０の 入力へ供給する。閾値処理部４４０は、受は取ったそのレシオ値、即ち指標値を 、リード４３７を介して供給されている予め定められた複数の所定の限界値（こ れら限界値は幾つかの信頼性領域に対応したものであり、この点については後に 図５に関連して詳述する）との間で比較し、それによって、ニューラル・ネット ワーク４００が、その入力として供給された現在文字（記号）を充分な出力信頼 性をもって認識したのか否かを判定する。即ち、そのレシオ値である指標値が、 ある所定領域の中にあった場合に、閾値処理部４４０は、リード４５０上にハイ レベルの信号を送出することによって、バックプロパゲーション誤差決定部２６ ０に命令を発し、このパックプロパゲーション誤差決定部２６０に、ニューロン 誤差を算出させ、そして更に、その算出したニューロン誤差に従ってニューロン 重みとニューロン・バイアス値とを然るべ（調節させる。この場合の所定領域と は、出力信頼性の値が大きい高信頼性領域の境界を定めた限界値と、信頼性の値 が小さい低信頼性領域の境界を定めた限界値との間に位置する領域である。また 、ここで、認識して得た出力文字に関するニューロン誤差の値を算出するために は、上掲の式（６）及び式（７）に示したように目標値を使用せねばならないが 、ここで使用する目標値には、以前（即ち、初期化並びに学習の処理手順を実行 したときに）、ニューラル・ネットワークに当該出力文字を認識させるための初 期学習を行なわせたときに使用した特定の目標ベクトルの中にあった目標値を用 いるようにする。また、そのために、初期化並びに学習の処理手順の実行中に、 ニューラル・ネットワークの初期学習を行なわせた文字の全てに対応した、その 目標値の全てを、パックプロパゲーション誤差決定部２６０に記憶させておくよ うにしている。以上ようにしたならば、ニューラル・ネットワークの初期学習の 実行中（即ち、初期化並びにネットワーク学習の処理手順の実行中）に所定のビ ットマツプを使用してニューラル・ネットワークの学習を実行したようにして、 ただし、所定のビットマツプの代わりに実際の入力ビツトマツプを使用して、そ の実際の入力文字の認識作業の実行中にニューラル・ネットワークの再学習を行 なうことにより、ニューラル・ネットワークに供給される実際の入力文字の変化 に対して、このニューラル・ネットワークの応答を、滑らかに且つ正確に、適応 させることができる。

ある文字を認識したときに、その文字認識の信頼性指標値が、高信頼性領域の中 に位置する値であった場合には、その文字に関してはニューラル・ネットワーク に再学習をさせる必要はなく、なぜならば、その文字のビットマツプは、見てそ れと判る程には変化しておらず、従って、再学習を実行することによって結果的 に得られるニューラル・ネットワークの応答の改善は、たとえ皆無ではないにし ても、微々たるものでしかないからである。それゆλ、ｒｊＪ値処理部４４０は 、実際にある入力文字を認識したときに、その文字認識の信頼性が充分に高かっ たならば、リード４５０上にローし・ベルの信号を送出することによって、バッ クプロパゲーション並びにニューロン重み及びニューロン・バイアス値の調節を 禁止する。一方、これとは正反対に、ニューラル・ネットワークがある入力文字 を認識したときに、その文字認識の信頼性指標値が小さな値であった場合、即ち 、その指標値が低信頼性領域の中の値であった場合にも、この閾値処理部４４０ ば、同様にリード４５０上にローレベルの値を送出することによって、再学習を 禁止する。この場合には、出力文字は、かなり大きな不確定性を持っているため 、ニューラル・ネットワークに再学習をさせるべきではなく、もし再学習をさせ たならば、ニューラル・ネットワークの動作が良（ない方向へ偏向してしまい、 それによって認識正確度が悪化してしまう可能性が高い。また、このように出力 信頼性指標値が低信頼性領域の中に位置する値であった場合には、閾値処理部４ ４０は更にリード４９０上へ、「低信頼性フラグ」としてハイレベルを送出する 。こうしてハイレベルが送出されると、ネットワーク後置プロセッサ１７０（図 １参照）がそれに応答して、そのときニューラル・ネットワーク４００が発生し てこのネットワーク後置プロセッサ１７０へ供給している出力文字に、マークを 付ける（即ちフラグを付ける）。このマークは、その出力文字が低い信頼性をも って認識された文字であり、従って、誤認された文字である可能性があり、また 、ニューラル・ネットワークの中を再度通過させる第２パスにおいては、異なっ た識別をされるかも知れない文字であることを表わすマークである。

本発明のこの独特の教示に従って、ニューラル・ネットワーク４００の学習の対 象を、実際の入力文字データのうちで、その文字データを認識したときの出力信 頼性が、高過ぎることのないあるレベルにあった入力文字データのみに限るよう にすれば、それによって、ある特定の場合にのみ、このニューラル・ネットワー クの再学習が実行されるようにすることができる。この特定の場合とは、入力文 字のビットマツプがかなり変化しているが、ただしその変化は、その変化にもか かわらず、ニューラル・ネットワークが、その入力文字を正しく認識した可能性 が高いと推定される程度の変化であるという場合である。ニューラル・ネットワ ークに再学習を実行させるときの条件を、このように制限することによって、認 識の正確度を実際に向上させることのできる可能性を高めているのである。この ように、認識の正確度が向上する可能性が高いのは、具体的には、例えば次のよ うな入力文字を処理している場合である。即ち、その入力文字とは、第１回目の 認識作業においては誤認された可能性があるが、ニューラル・ネットワークに再 学習させた後に、その入力文字を再度ニューラル・ネットワークの入力に供給す れば、その入力文字が第１回目とは異なって正しく識別し直される可能性がある という入力文字である。尚、ここで、［その入力文字を再度供給する」というの は、例えば、入力書類の現在ページを、ニューラル・ネットワークの中を再度通 過させる第２バスを実行するために、再びニューラル・ネットワークへ供給する 場合も、また、同一の文字を含んでいる後続の入力ページを、初めてそのニュー ラル・ネットワークへ供給する場合も含まれる。

以上の理解の上に立って図５について説明すると、同図は、出力信頼性指標値の 複数の領域と、本発明のニューラル・ネットワークが、それら領域の中に位置す る出力信頼性指標値に応答して実行する動作とを図解して示したものである。

図示の如く、出力信頼性指標値の領域として、３つの領域を設定しである。それ らのうち、低出力信頼性領域５１０は、出力信頼性指標値の所定の限界値Ｃ１に よってその上限を定めてあり、中間出力信頼性領域５２０は、出力信頼性指標値 の所定の限界値Ｃ１と０２とによってその境界を定めてあり、更に、高出力信頼 性領域５３０は、出力信頼性指標値の所定の限界値Ｃ２によってその下限を定め である。ただし、これらの限界値は厳密なものではなく、ニューラル・ネットワ ークに供給される入力データの変化に対して、ニューラル・ネットワークが滑ら かに且つ正確に適応することができるように、経験的に設定した値である。実際 の出力信頼性指標値Ｃが、低出力信頼性領域５１０の中に位置していた場合には （即ち、Ｃ＜ＣＩ　）、本発明のニューラル・ネットワークは、そのとき認識し た文字を、そのままこのニューラル−ネットワークの出力として送出すると共に 、「低信頼性フラグ」として、ハイレベルを送出する。更にこの場合には、その 認識した文字には、かなりの不確定性が付随しているため、ニューラル・ネット ワークは、この文字についての再学習を実行しないようにする。一方、以上とは 異なって、実際の出力信頼性指標値Ｃが、中間出力信頼性領域５２０の中に位置 していた場合（即ち、ＣＩ≦Ｃ＜Ｃ２）、或いは、高出力信頼性領域５３０の中 に位置していた場合（即ち、Ｃ≧Ｃ２）にも、本発明のニューラル・ネットワー クは、そのとき認識した文字を、そのままこのニューラル・ネットワークの出力 として送出する。ただしこの場合には、その出力文字は充分な出力信頼性をもっ て認識されたのであるから、ニューラル・ネットワークは、「低信頼性フラグ」 のリードへはローレベルを送出する。更に加えて、その出力信頼性指標値が、中 間出力信頼性領域５２０の中に位置していた場合には、本発明のニューラル・ネ ットワークは、その認識した文字、即ち現在認識文字について再学習を実行する 。

即ち、もし出力信頼性指標値が、中間出力信頼性領域５２０の中に位置していた のであれば、そのとき認識した文字のビットマツプは、ある程度は変化している にもかかわらず、なおかつ、その現在入力文字は、充分な信頼性をもって認識さ れたものであると推定される。それゆえ、その入力文字の実際のビットマツプを 用いて再学習を実行させれば、ニューラル・ネットワークの動作がこの入力デー タの変化（即ち入力文字の変化）に適応するにつれて、その結果として、ニュー ラル・ネットワークが提供する認識正確度が向上する可能性が高いのである。こ の認識正確度の向上によって、初めて入力したときには誤認した疑いのある入力 文字を、再度入力したときには正しく識別し直せるようになる。一方、実際の出 力信頼性指標値が、高出力信頼性領域５３０の中に位置していた場合には、本発 明のニューラル・ネットワークは、そのときの現在認識文字に対する再学習を、 実行しないようにしている。そのようにしているのは、実際の出力信頼性指標値 が高出力信頼性領域５３０の中に位置していた場合には、（ａ）そのときの入力 文字のビットマツプが、ニューラル・ネットワークの再学習を正当化し得る程度 に変化しており、且つ、ｆｂ）その再学習の結果、ニューラル・ネットワークの 認識正確度が目に見えて向上する、という可能性は非常に低いからである。

図６Ａ〜図６Ｄは、それらをつなぎ合せた図によって、「複パス文字認識及びパ ックプロパゲーション制御ルーチン」６００の、ハイレベルなフローチャートを 示すものである。図示のルーチンは、本発明の文字認識方法をソフトウェアで実 現したものであり、また２図４に示した、本発明のニューラル・ネットワークの 、ソフトウェア構成による実施例を採用したものである。尚、図６Ａ〜図６Ｄを 描いた図面どうしの正しいつなぎ合せ方を、図６に示しである。

ルーチン６００の中では、先ず最初に、ブロック６０３とブロック６０６とを含 んでいる「初期化及び学習処理手順」を実行し、続いてブロック６１２〜ブロツ ク６９０から成る「認識処理手順」を実行する。「初期化及び学習処理手順」で は、ニューラル・ネットワークを初期化した後に、そのニューラル・ネットワー クに学習させるようにし、この学習は、既知の所定の文字ビットマツプから成り 、しかもその出力も既知の、複数の学習用バタンを用いて実行する。また「認識 処理手順Ｊにおいては、実際の、未知の入力文字のビットマツプ・パタンに対す る認識作業を実行する。

ルーチン６００へ入ったならば、先ず、処理の実行は「初期化及び学習処理手順 」へ進み、特にその中のブロック６０３へ進む。ブロック６０３では、ニューラ ル・ネットワークを初期化し、この初期化は、全てのニューロン重み及びニュー ロン・バイアス値を、それらに対応した所定の固定した限界値によって定めであ る範囲内の、ランダム値に設定することによって行なう。この範囲を定めている 限界値は、具体的には、例えば「±０．５」等の値であるが、ただしこの値は重 要なものではない。この後、ブロック６０６を実行して、ネットワークに学習を 行なわせる。この学習は、既述の如（、複数の学習用バタンを次々と使用し、そ れら学習用バタンに関してパックプロパゲーション並びに重み及びバイアス値の 調節を行なうという方法で実行するものであり、それら複数の学習用バタンは既 知の、所定の文字のビットマツプのバタンであって、それらによって発生する出 力も既知のものである。この学習が完了した時点で、「初期化及び学習処理手順 」は終了する。続いて処理の実行は「認識処理手順」へ進み、特にその中のブロ ック６１２へ進む。

ブロック６１２では、フロントエンド・プロセッサ１１０（図１参照）へ命令を 発して、このフロントエンド・プロセッサ１１０に、認識処理すべき実際の未知 の入力ビツトマツプ文字データの先頭のページにアクセスするための経路を、Ｉ １０スイッチ１４０の中に確立させる。この経路を確立させたならば、処理の実 行は、図６Ａ〜図６Ｄに示すようにブロック６１５へ進む。ブロック６１５では 、変数ＰＡＳＳを「１」にセットする。このようにセットすることによって、現 在ページの処理が、ニューラル・ネットワークを初めて通過させる第１バスによ って行なわれていることを、明示するのである。この変数のセットが完了したな らば、続いてブロック６１８を実行する。このブロック６１８では、現在ページ の中の先頭の文字のビットマツプの読取りを行なう。続いて、処理の実行はブロ ック６２１へ進み、このブロック６２１では、上で読み取ったビットマツプの中 の個々のビットの値をニューラル・ネットワーク４００（図１及び図４参照）の 該当する入力ニューロンへ供給する。続いて、図６Ａ〜図６Ｄに示すように、ブ ロック６２４を実行して、そのビットマツプの中のこれらビットの値を、ニュー ラル・ネットワークの中を順方向へ伝搬させ、この伝搬は、ニューラル・ネット ワークの中の各々のニューロンの出力を算出して行くことによって行なう。ニュ ーラル・ネットワークの中の出力ニューロンの出力値を算出し終わったならば、 そのとき、そのビットマツプは、ニューラル・ネットワークの中を最後まで伝搬 完了したことになり、続いて処理の実行はブロック６２７へ進む。このブロック ６２７では、その時点で全ての出力ニューロンが発生しており、また出力ベクト ルとして送出されている出力値の中から、最大の出力値と２番目に大きな出力値 と（ｎｌ　、　ｎ２　）を選出する。これらの値を選出したならば、ブロック６ ３０を実行して、これら２つの値の間の比の値を算出する。こうして算出した比 の値が、このニューラル・ネットワークが現在、認識作業を行なっている文字の 、実際の出力信頼性指標値Ｃである。

こうして実際の信頼性指標値を算出したならば、処理の実行はブロック６３０か ら判断ブロック６３３へ進む。この判断ブロック６３３では、上で算出した実際 の信頼性指標値を、高出力信頼性領域の下限を定める限界値Ｃ２と比較する。

そして、実際の信頼性指標値が、この限界値０２以上の大きさの値であったなら ば、処理の実行は、この判断ブロック６３３から出ているＹＥＳ経路を通って、 ブロック６４０へ進む。ブロック６４０では、認識されている文字を、ニューラ ル・ネットワークの出力として送出する。また更に、もしその認識されている文 字に、以前低い信頼性をもって認識された文字であることを示すマークが付され ていたならば、そのマークを除去する。この後、処理の実行はブロック６４３へ 進む。ブロック６４３では、ニューラル・ネットワークが、パックプロパゲーシ ョン並びにニューロン重み及びニニーロンバイアス値の変更調節の処理を実行し ないように、それらの処理を禁止し、この点については既に充分に説明したとお りである。即ち、この場合、実際の出力信頼性が充分に高いため、たとえ現在認 識文字についてニューラル・ネットワークの再学習を実行したとしても、その結 果書られるニューラル・ネットワークの認識正確度の向上は、皆無ではないにし ても、殆ど目に見える程のものとはならないからである。この後、処理の実行は 経路６４５及び経路６５８を介してブロック６６７へ進み、このブロック６６７ については後に説明する。一方、前述の判断ブロック６３３において、実際の信 頼性指標値が、限界値Ｃ２より小さな値であった場合には、処理の実行は、この 判断ブロック６３３から出ているＮｏ経路を通って判断ブロック６４７へ進む。

判断ブロック６４７では、実際の信頼性指標値を、中間出力信頼性領域の限界値 である限界値Ｃ２並びに限界値Ｃ１と比較する。この比較によって、実際の信頼 性指標値が、中間出力信頼性領域の中の値であることが判明した場合には、処理 の実行は、この判断ブロック６４７から出ているＹＥＳ経路を通って、ブロック ６５０へ進む。ブロック６５０では、認識されている文字を、ニューラル・ネッ トワークの出力として送出する。また更に、もしその認識されている文字に、以 前低い出力信頼性をもって認識された文字であることを示すマークが付されてい たならば、そのマークを除去する。このブロック６５０における処理を全て完了 したならば、処理の実行はブロック６５３へ進む。ブロック６５３では、パック プロパゲーションの処理を起動することによって、既に充分に説明したように、 ニューラル・ネットワークに、このニューラル・ネットワークの中の各々のニュ ーロンにおける誤差の大きさを算出させる。尚、ここでニューロン誤差の大きさ を算出する際に使用するビットマツプは、ニューラル・ネットワークの初期学習 の際に使用した、その文字に対応した所定のビットマツプではなく、ニューラル −ネットワークへ現在供給されている入力文字のビットマツプである。また、こ のニューロン誤差の大きさの算出には、更に目標ベクトルを使用するが、使用す るその目標ベクトルは、「初期化及び学習処理手順」において使用した、予め定 めた所定の目標ベクトルのうちの、ニューラル・ネットワークが現在認識してい る出力文字に対応した目標ベクトルである。ニューロン誤差の全てを算出完了し たならば、このブロック６５３において更に、既述の如く全てのニューロン重み 及びニューロン・バイアス値の新たな値を算出し、そして、その算出した値に従 って、ニューロン重み及びニューロン・バイアス値の、全ての値を調節する。こ のブロック６５３の処理を、全て実行完了した時点で、このニューラル・ネット ワークにそのとき供給されている実際の未知の文字の認識結果を利用した、この ニューラル・ネットワークの再学習が完了したことになる。この後、処理の実行 は、経路６５５及び経路６５８を通ってブロック６６７へ進む。

一方、前述の判断ブロック６４７において、実際の出力信頼性指標値が限界値Ｃ １より小さな値であった場合、徒って、実際の信頼性指標値が低出力信頼性領域 の中に位置していることが判明した場合には、処理の実行は、この判断ブロック ６４７から出ているＮｏ経路を通ってブロック６６１へ進む。ブロック６６１で は、そのとき認識されている文字をニューラル・ネットワークの出力として送出 すると共に、その文字が低い出力信頼性を持って認識された文字であることを示 すマークを、その文字に付しておく。この後、処理の実行はブロック６６４へ進 み、このブロック６６４では、既に充分に説明したように、ニューラル・ネット ワークが、バックプロパゲーション並びにニューロン重み及びニューロン・バイ アス値を調節する処理を実行しないように、それらの処理を禁止する。この場合 、その認識されている文字の、実際の出力信頼性が非常に低いため、もしかりに 、このときのニューラル・ネットワークの現在出力ベクトルを用いて、このニュ ーラル・ネットワークの再学習を実行したならば、このニューラル・ネットワー クの認識正確度が著しく劣化するおそれがある。続いて、処理の実行は、このブ ロック６６４から判断ブロック６６７へ進む。

判断ブロック６６７では、現在入力ページ上の最後の文字に到達して、しかもそ の文字に対する、ニューラル・ネットワークを通過させる処理を完了したか否か を判定する。もし、現在入力ページ上に、ニューラル・ネットワークを通過させ る処理を未だ済ませていない入力文字が残っていたならば、処理の実行は、この 判断ブロック６６７から出ているＮｏ経路を通って、ブロック６７０へ進む。

ブロック６７０では、Ｉ１０スイッチ１４ｏ（図１参照）を介して、現在ページ 上の続く次の文字のビットマツプの読取りを行なう。そのビットマツプが得られ たならば、処理の実行はループして戻り、即ち、図６Ａ〜図６Ｄに示すように、 経路６７３を介してブロック６２１へ戻り、そして、そのビットマツプに対して ニューラル・ネットワークを通過させる処理を施し、以下同様にして、ル〜ブし つつ、次々と入力文字を処理して行く。一方、前述の判断ブロック６６７におい て、現在ページ上の最後の文字に到達して、しかもその文字に対する、ニューラ ル・ネットワークを通過させる処理を完了したことが判明したならば、処理の実 行は、この判断ブロック６６７から、判断ブロック６７７へ進む。判断ブロック ６７７では、変数ＰＡＳＳの値を調べることによって、現在ページに対して、ニ ューラル・ネットワークを通過させる処理を２回施したか否か、即ち、その変数 ＰＡＳＳの値が「２」となっているか否かを判定する。もし、現在ページに対し て、ネットワークを初めて通過させる第１バスの処理しか行なわれていなかった ならば、処理の実行は、この判断ブロック６７７から、そのＮｏ経路を通って、 ブロック６８０へ進む。ブロック６８０では、変数ＰＡＳＳの値を「２」にセッ トする。この後、処理の実行はループして戻り、即ち、経路６８３を通ってブロ ック６１８へ戻り、現在ページ上の文字ビットマツプを次々と供給して、ニュー ラル・ネットワークを２回目に通過させる第２パスの処理を施して行く。一方、 前述の判断ブロック６７アにおいて、現在ページの第２バスの処理が完了したこ とが判明した場合には、処理の実行は、この判断ブロック６７７から判断ブロッ ク６８７へ進む。判断ブロック６８７では、現在その認識作業を実行中の書類の 最後のページの処理が完了したか否かを判断する。もし、未だ処理を済ませてい ないページが残っていたならば、処理の実行は、この判断ブロック６８７から、 そのＮｏ経路を通って、ブロック６９０へ進む。ブロック６９０では、フロント エンド・プロセッサ１１０（図１参照〕に命令を発して、このフロントエンド・ プロセッサ１１０に、現在書類の中の続く次のページの入力ビツトマツプ文字デ ータをアクセスするための適切な経路を、Ｉ１０スイッチ１４０の中に確立させ る。この後、処理の実行はループして戻り、即ち、経路６９３を通ってブロック ６１５へ戻り、次ページの処理を行ない、以下同様に処理して行く。一方、前述 の判断ブロック６８７において、現在書類の最後のページの処理が完了したこと が判明した場合には、それによってこの「認識処理手順」は終了し、処理の実行 は、この判断ブロック６８７から出ているＹＥＳ経路を通って、そのままこのル ーチン６００から脱出する。

以上の説明においては、機械印字した英数字の文字に、更に正規化処理を施した ものを対象として、認識及び識別を行なうようにしたＯＣＲシステムとの関連に おいて、本発明を詳述した。しかしながら、本発明のニューラル・ネットワーク は、広範な様々な種類のシステムにおいて扱われている、種々のパタンの認識及 び識別を行なうために使用することのできるものである。それらのパタンは、英 数字の文字のビクセル・パタンに限られず、任意の種属の予め定められた所定の 信号パタンであって良く、例えば、一群の入力センサによって発生される所定の 信号バタンであったり、或いは、所与の単一ビットまたはマルチビットのデータ ・ストリームの中に存在する信号バタンであったり、或いは、一群のアナログ信 号の中に存在する信号バタンであっても良い。また、ビクセル信号とは異なった 種類の入力を取り扱う場合には、当業者には容易に理解されるように、個々の入 力信号をニューラル・ネットワークの中の適当な入力ニューロンへ結合するため に、本発明のニューラル・ネットワークに、適当なインターフェース回路を付加 することが必要となることもある。更には、認識すべき個々のパタンに対応させ てディジタル出力ワードを発生させるようにした場合には、そのディジタル出力 ワードと、そのディジタル出力ワードに割当てられた、ニューラル・ネットワー クの中の出力ニューロンとに対応できるように、ネットワーク後置プロセッサの プログラミングの変更も必要となろう。

また更に、以上の説明では、具体的な一例として、取り扱う入力データと出力デ ータのいずれも、コード化していないデータであるものに関して本発明を詳述し た、即ち、ニューラル・ネットワークへの入力は、単なるビットマツプであって そのビット間に高度のデータ粒子性は存在しておらず、また、ニューラル・ネッ トワークからの出力は、最大の出力値を発生しているある１個のニューロンをも って、その出力とするものであった。しかしながら、このニューラル・ネットワ ークの入力及び出力は、必ずしもその種の入力及び出力に限られるものではない 。この点に関して、例えば、このニューラル・ネットワークへ供給するための入 力データを、必要とあらば、コード化したマルチビットのワードとすることもで き、そうした場合にも、その入力データを対象として、このニューラル・ネット ワークの学習並びに再学習を適切に行なわせることができる。同様に、必要とあ らば、このニューラル・ネットワークの出力部が、認識した各バタンに対応して 発生する出力を、単一ビットの出力ではなく、コード化したマルチビットの出力 とすることも可能である。そうする場合には、例えば、そのマルチビットのバタ ンを、３ビツトのバタンとし、その３つのビットを、互いに同時に、最大の出力 値と、２番目に大きな出力値と、３番目に大きな出力値とを夫々に発生した、３ 個のニューロンの組に対応した３つのビットとすることができる。更にこの場合 、出力信頼性指標値として用いる値は、最も可能性が高いニューラル・ネットワ ーク出力と、２番目に可能性が高いニューラル・ネットワーク出力との間の、比 の値ないしは差の値を表す関数によって算出した値とすることができる。具体的 な例を挙げるならば、この関数としては、現在出力ベクトルの中の最も大きな３ つの出力値（即ち最大から３番目に大きな出力値までであって、現在入力に関し てニューラル・ネットワークが認識したうちで、最も可能性の高い文字に対応し た３つの出力値）の平均値と、同じ出力ベクトルの中の、２番目に大きな３つの 出力値（即ち２番目に大きな出力値から４番目に大きな出力値までであって、同 じ現在入力に関してニューラル・ネットワークが認識したうちで、２番目に可能 性の高い文字に対応した３つの出力値）の平均値との間の、比の値を算出する関 数を用いることができる。こうして出力信頼性指標値をめたならば、その指標値 を使用して、上で説明したのと同様の方式で、誤差の逆方向伝搬とニューロン重 み及びニューロン・バイアス値の調節とを制御することができる。尚、この出力 信頼性指標値を導出するための関数として、具体的にどのような関数を使用する かについては、例えば、複数の出力ニューロンが送出する複数の出力値の平均値 を取り、及び／または、単一出力ニューロンどうし或いは出力値の平均値どうし の間の比を取るようにした関数等が考えられるが、その関数の種類は絶対的なも のではない。ただし、処理を簡明にするという観点からすれば、この関数は比較 的単純な、線形関数の範祷に含まれるものとするのが良く、また、入力の相違を 敏感に捉えて、それを出力に反映することのできる、充分な感受性を有する関数 とすべきである。

更に、以上においては説明を容易にするために、規模が小さく構成の簡明なニュ −−ラル・ネットワークを例に取って本発明を詳述した。しかしながらこのニュ ーラル・ネットワークは、その規模を拡張して、任意の個数のニューロンを含む ようにすることができ、また、その階層の層数も３層だけではなく、より多（の 層を含むようにすることができる。この点に関しては、特に、その中間階層を複 数の層から成るものとすることができる。更には、このニューラル・ネットワー クの中の互いに隣接していない階層の中に夫々が配置されているニューロンの間 を、適当な重みを付して結合するようにしても良い。そのようにした場合でも、 バックプロパゲーションを実行させる方式は、その全体として、先に説明した方 式と同様の方式とすることができ、また、バックプロパゲーションの実行の禁止 についても同様であって、即ち、実際のある入力データに関してニューラル・ネ ットワークの出力の信頼性指標値が低過ぎ、或いは高過ぎる場合には、その入力 データに関する、適応性再学習を阻止するという方式を採用することができる。

更には、以上の説明においては、本発明のニューラル・ネットワークは、ソフト ウェアで構成するものとし、また特に、集積回路のディジタル信号プロセッサを 使用するものとして説明したが、しかしながら、このニューラル・ネットワーク は、必要とあらば、アナログ回路によって構成することも、また、アナログとデ ィジタルを混合した回路によって構成することもでき、しかも容易にそのように 構成することのできるものである。

以上に本発明のニューラル・ネットワークの種々の実施例を示し且つ詳述してき たが、当業者であれば、このニューラル・ネットワークのその他の多くの異なっ た実施例を構成することも、また、本発明の教示を組み込んだニューラル・ネッ トワークを使用した種々のシステムを構成することも容易なことである。

産　の１　口　び効 本発明は、光学文字認識システム（ＯＣＲシステム）に利用可能であるのみなら ず、広く一般的に、ニューラル・ネットワークを用いてバタン認識を行なう、広 範な種々のシステムに利用可能なものである０本発明が、大きな利点をもって提 供するニューラル・ネットワークは、その動作を実際の動的に変化する入力デー タに適応させる際に、滑らかに、迅速に、且つ正確に適応させることができ、し かもそれを、従来技術においてこれまで可能であった以上の高速で行なうことが でき、それによって、ニューラル・ネットワークの認識作業の、作業速度、正確 度、及び生産性を向上させることができるものである。更には、本発明のニュー ラル・ネットワークは、学習用データの基礎データの全体を拡張して、実際の動 的に変化する入力文字を、その基礎データの中に包含することによって、従来公 知のニューラル・ネットワークにおいてこれまで行なわれていた動作と比較して 、より力強い動作が行なわれるようにするものである。

！−−−杓一一一豊 特に光学文字認識システム（ＯＣＲシステム）に用いるのに適したニューラル・ ネットワークのための装置、及びその装置に関連した方法であって、パックプロ パゲーションと、ニューロン重み及びニューロン・バイアス値の調節とを、出力 信頼性指標値を用いて制御することによって、ニューラル・ネットワークの応答 性を、実際の変化する入力データ（入力文字）に、滑らかに、迅速に、且つ正確 に適応させることができるようにしである。更に詳しくは、実際の未知の入力文 字を認識して得た文字のうち、その文字を認識したときの出力信頼性指標値が所 定の範囲内に位置していた入力文字を使用して、バタン認識作業の実行中に、ニ ューラル・ネットワークに適応のための再学習を行なわせている。更に、この再 学習を行なわせるときの出力信頼性指標値の範囲に上限を設定することによって 、入力文字がその初期学習用データから充分に変化していて、再学習を行なえば その結果としてニューラル・ネットワークが提供する認識正確度が顕著に上昇す る可能性が高いという場合にのみ、ニューラル・ネットワークの再学習が行なわ れるようにしている。出力信頼性の指標値としては、ニューラル・ネットワーク の複数の出力ニューロンが送出する出力値のうちの、最大の出力値と２番目に大 きな出力値との間の比の値を使用している。学習用データの基礎データの全体を 拡張して、実際の動的に変化している入力文字をその基礎データの中に包含する ようにしたため、本発明のニューラル・ネットワークは、従来公知のニューラル ・ネットワークにおいて、これまで行なわれていた動作と比較して、はるかに力 強い動作を行なうものとなっている。

国際調査報告 、、、Ａ−１Ｖｅ　ＰＣＴ／ｕｓ　９１１０３００３１ｍｗｗ＋ｌｅ＋ｓｌＡｗ ｌｋｓ＋ｊｍＮｓＰＣＴ／ＵＳ９１１０３ｏｏ３国際調査報告

Claims (41)

【特許請求の範囲】
1. １．未知の入力データの中に含まれている複数のパタンの存在を認識するための 装置において、 未知の入力データに応答して複数の出力値を発生するようにしたネットワーク手 段であって、発生したそれら複数の出力値が集合した全体によって、その未知の 入力データの中に存在している前記複数のパタンのうちの１つのパタンを同定す るようにしてあり、更に、複数の重み値を付与してある、前記ネットワーク手段 と、 制御信号と、前記所定パタンに関する前記複数の出力値及びそれら複数の出力値 に対応した複数の所定の出力目標値とに応答して、前記複数の重み値の各々の値 の変更量を決定し、更に、決定したその変更量に応答して、前記未知の入力デー タが前記ネットワーク手段へ供給されている状態で前記複数の重み値の各々の値 を調節して、前記未知の入力データに関して前記複数の出力値と前記複数の出力 目標値との間に生じる誤差を減少させるようにする決定／調節手段と、前記複数 の出力値に応答して、それら複数の出力値に関する信頼性指標値を判定する手段 と、 前記信頼性指標値に応答して前記制御信号を発生することによって、前記信頼性 指標値が充分な大きさの所定値であるときに、前記決定／調節手段をイネープル して前記変更量の決定と前記複数の重み値の調節とを行なわせ、それによって、 当該パタンが所定パタンからのずれを生じているときに当該パタンを認識するた めの学習を前記ネットワーク手段に行なわせる制御信号発生手段と、を備えたこ とを特徴とする装置。
2. ２．前記ネットワーク手段が、互いに連結して階層構造を成している複数のニュ ーロンを有するネットワークを含んでおり、該ネットワークは、前記未知の入力 データに応答してその未知の入力データの中に含まれているパタンを認識すると 共に、その認識したパタンに応答して前記複数の出力値を発生するようにしてあ り、前記階層構造は、前記複数のニューロンのうちの異なった複数のニューロン から夫々形成した入力階層、中間階層、及び出力階層を備えており、且つ、前記 階層構造においては、前記複数のニューロンのうちの所定のペアを成すニューロ ンどうしを前記複数の重み値のうちの対応する１つの重み値を付与して相互連結 してあることを特徴とする請求項１の装置。
3. ３．前記複数のニューロンの各々が、ニューロン出力とニューロン入力とを有し ていると共に、ニューロン入力の閾値関数としてニューロン出力値を発生するよ うにしてあり、且つ、前記中間階層中の複数のニューロン及び前記出力階層中の 複数のニューロンの各々が、 複数のニューロン入力信号に応答し、それら複数のニューロン入力信号の各々に 、前記複数の重み値のうちの対応した１つの重み値を乗じることによって、複数 の重み付けニューロン入力信号を形成する手段と、前記複数の重み付けニューロ ン入力信号に応答し、それら複数の重み付けニューロン入力信号の合計値である 、重み付け合計値を形成する手段と、前記重み付け合計値に対して、所定の連続 國値関数を用いて、國値処理を施すことによって、前記ニューロン出力を発生す る手段と、を含んでいることを特徴とする請求項２の装置。
4. ４．前記未知の入力データは複数の入力値から構成されており、それら複数の入 力値の各々を、前記入力階層中の複数のニューロンのうちの互いに異なった、そ してその入力値に対応した１つのニューロンヘ、そのニューロン入力信号として 供給するようにしてあり、且つ、前記複数の出力値は、それらが集合した全体が 、前記出力階層中の複数のニューロンの全てが発生するニューロン出力値によっ て形成されていることを特徴とする請求項３の装置。
5. ５．前記入力階層中の複数のニューロンのうちの各ニューロンのニューロン出力 を、前記中間階層中の複数のニューロンのうちの各ニューロンの複数のニューロ ン入力のうちの１つのニューロン入力に接続してあり、且つ、前記中間階層中の 複数のニューロンのうちの各ニューロンのニューロン出力を、前記出力階層中の 複数のニューロンのうちの各ニューロンの複数のニューロン入力のうちの１つの ニューロン入力に接続してあることを特徴とする請求項４の装置。
6. ６．前記未知の入力データは、所定個数のピクセルから成るビットマップであり 、それら各ピクセルの値を、前記入力階層中の複数のニューロンのうちの互いに 異なった、そしてそのピクセルに対応した１つのニューロンヘ、そのニューロン 入力として供給するようにしてあることを特徴とする請求項５の装置。
7. ７．前記連続國値関数をシグモイド関数としてあることを特徴とする請求項３の 装置。
8. ８．前記重み付け合計値が、前記複数の重み付けニューロン入力信号に加えて更 にバイアス値を含んでおり、更に、前記決定／調節手段が、前記複数の出力値と それら複数の出力値に対応した前記複数の所定の出力目標値とに応答して、前記 複数のニューロンの各々に関連したバイアス値の変更量を決定し、更に、決定し たその変更量に応答して、前記未知の入力データが前記ネットワーク手段へ供給 されている状態で前記バイアス値を変更して、前記誤差を減少させるようにして あることを特徴とする請求項３の装置。
9. ９．前記制御信号発生手段が、前記信頼性指標値の値か所定領域内にあるときに 、前記決定／調節手段をイネーブルするようにしてあることを特徴とする請求項 １の装置。
10. １０．学習手段を備え、該学習手段は、所定の既知の入力パタンに応答するよう にしてあり、該学習手段には、複数の所定のニューロン出力値を関連付けてあり 、該学習手段は、前記既知のパタンを前記未知の入力データとして、また、前記 複数の所定のニューロン出力値を前記複数の出力目標値として、それらを互いに 同時に供給するものであり、更に該学習手段は、前記決定／調節手段をイネープ ルして前記変更量の決定と前記重み値の調節とを行なわせることにより、前記複 数の出力値と前記複数の出力目標値との間に生じる誤差を減少させ、それによっ て前記ネットワーク手段に、前記未知の入力データの中に含まれている前記既知 のパタンを初期認識するための学習を行なわせるものであることを特徴とする請 求項１の装置。
11. １１．前記学習手段が、予め定めてある複数の所定の既知の入力パタンを前記未 知の入力データとして、それら複数の所定の既知の入力パタンに関連付けて予め 定めてある複数の所定のニューロン出力値を前記複数の所定の出力目標値として 供給するのと同時に、連続して次々と供給するようにしてあり、更に、該学習手 段が、前記決定／調節手段をイネーブルして前記変更量の決定と前記重み値の調 節とを行なわせることにより、前記複数の既知の入力パタンの各々に関して前記 複数の出力値と前記複数の出力目標値との間に生じる前記誤差を減少させるよう にし、それによって前記ネットワーク手段に、前記未知の入力データの中に含ま れている前記複数の既知のパタンの各々を初期認識するための学習を行なわせる ようにしてあることを特徴とする請求項１０の装置。
12. １２．前記ネットワーク手段に更に複数のバイアス値を付与してあり、且つ、前 記決定／調節手段が、前記複数の出力値とそれら複数の出力値に対応した前記所 定の複数の出力目標値とに応答して、前記複数の重み値並びに前記複数のバイア ス値の変更量を決定し、更に、決定したその変更量に応答して、前記未知の入力 データが前記ネットワーク手段へ供給されている状態で前記複数の重み値並びに 前記複数のバイアス値を調節することにより、前記複数の既知の入力パタンの各 々に関して前記複数の出力値と前記複数の出力目標値との間に生じる前記誤差を 減少させるようにしてあることを特徴とする請求項１１の装置。
13. １３．前記ネットワーク手段が、互いに連結して階層構造を成している複数のニ ューロンを有するネットワークを含んでおり、該ネットワークは、前記未知の入 力データに応答してその未知の入力データの中に含まれているパタンを認識する と共に、その認識したパタンに応答して前記複数の出力値を発生するようにして あり、前記階層構造は、前記複数のニューロンのうちの異なった複数のニューロ ンから夫々形成した入力階層、中間階層、及び出力階層を備えており、且つ、前 記階層構造においては、前記複数のニューロンのうちの所定のペアを成すニュー ロンどうしを、前記複数の重み値のうちの対応する１つの重み値を付与して相互 連結してあり、更に、前記複数のニューロンの各々は、ニューロン出力とニュー ロン入力とを有していると共に、ニューロン入力の閾値関数としてニューロン出 力値を発生するようにしてあり、更に、前記中間階層中の複数のニューロン及び 前記出力階層中の複数のニューロンの各々が、複数のニューロン入力信号に応答 し、それら複数のニューロン入力信号の各々に、前記複数の重み値のうちの対応 した１つの重み値を乗じることによって、複数の重み付けニューロン入力信号を 形成する手段と、前記複数の重み付けニューロン入力信号と、前記複数のバイア ス値のうちの当該ニューロンに関連したバイアス値とに応答して、前記複数の重 み付けニューロン入力信号と、当該ニューロンに関連した当該バイアス値との合 計値である、重み付け合計値を形成する手段と、 前記重み付け合計値に対して、所定のシグモイド関数を用いて、閾値処理を施す ことによって、前記ニューロン出力を発生する手段と、を含んでいることを特徴 とする請求項１２の装置。
14. １４．光学文字読取機における、未知のビットマップ形式の入力データの中に含 まれている複数のビットマップ形式の英数字の文字パタンの存在を認識するため の装置において、 未知のビットマップ入力データに応答して複数の出力値を発生するようにしたネ ットワーク手段であって、発生したそれら複数の出力値が集合した全体によって 、その未知のビットマップ入力データの中に存在している前記複数のビットマッ プ・パタンのうちの１つのビットマップ・パタンを同定するようにしてあり、更 に、複数の重み値を付与してある、前記ネットワーク手段と、制御信号と、前記 所定のビットマップ・パタンに関する前記複数の出力値及びそれら複数の出力値 に対応した複数の所定の出力目標値とに応答して、前記複数の重み値の各々の値 の変更量を決定し、更に、決定したその変更量に応答して、前記未知のビットマ ップ入力データが前記ネットワーク手段へ供給されている状態で前記複数の重み 値の各々の値を調節して、前記未知のビットマップ入力データに関して前記複数 の出力値と前記複数の出力目標値との間に生じる誤差を減少させるようにする決 定／調節手段と、 前記複数の出力値に応答して、それら複数の出力値に関する信頼性指標値を判定 する手段と、 前記信頼性指標値に応答して前記制御信号を発生することによって、前記信頼性 指標値が充分な大きさの所定値であるときに前記決定／調節手段をイネーブルし て前記変更量の決定と前記複数の重み値の調節とを行なわせ、それによって、当 該ビットマップ・パタンが、当該ビットマップ・パタンに対応した英数字の文字 の所定のビットマップ・パタンからのずれを生じているときに、当該ビットマッ プ・パタンを認識するための学習を前記ネットワーク手段に行なわせる制御信号 発生手段と、 を備えたことを特徴とする装置。
15. １５．前記ネットワーク手段が、互いに連結して階層構造を成している複数のニ ューロンを有するネットワークを含んでおり、該ネットワークは、前記未知の入 力データに応答してその未知の入力データの中に含まれているビットマップ・パ タンを認識すると共に、その認識したビットマップ・パタンに応答して前記複数 の出力値を発生するようにしてあり、前記階層構造は、前記複数のニューロンの うちの異なった複数のニューロンから夫々形成した入力階層、中間階層、及び出 力階層を備えており、且つ、前記階層構造においては、前記複数のニューロンの うちの所定のペアを成すニューロンどうしを、前記複数の重み値のうちの対応す る１つの重み値を付与して相互連結してあり、更に、前記複数のニューロンの各 々は、ニューロン出力とニューロン入力とを有していると共に、ニューロン入力 の閾値関数としてニューロン出力値を発生するようにしてあり、更に、前記中間 階層中の複数のニューロン及び前記出力階層中の複数のニューロンの各々が、 複数のニューロン入力信号に応答し、それら複数のニューロン入力信号の各々に 、前記複数の重み値のうちの対応した１つの重み値を乗じることによって、複数 の重み付けニューロン入力信号を形成する手段と、前記複数の重み付けニューロ ン入力信号に応答し、それら複数の重み付けニューロン入力信号の合計値である 、重み付け合計値を形成する手段と、前記重み付け合計値に対して、所定の連続 國値関数を用いて、國値処理を施すことによって、前記ニューロン出力を発生す る手段と、を含んでいることを特徴とする請求項１４の装置。
16. １６．入力ビットマップの中に含まれている各ピクセルの値を、前記入力階層中 の複数のニューロンのうちの、互いに異なった、そしてそのピクセルに対応した １つのニューロンヘ、そのニューロン入力として供給するようにしてあり、且つ 、前記複数の出力値は、それらが集合した全体が、前記出力階層中の複数のニュ ーロンの全てが発生するニューロン出力値によって形成されていることを特徴と する請求項１５の装置。
17. １７．前記制御信号発生手段が、前記信頼性指標値の値が所定領域内にあるとき に、前記決定／調節手段をイネーブルするようにしてあることを特徴とする請求 項１６の装置。
18. １８．学習手段を備え、該学習手段は、既知の英数字の文字に対応させて予め定 めてある所定の既知のビットマップ・パタンに応答するようにしてあり、該学習 手段には、複数の所定のニューロン出力値を関連付けてあり、該学習手段は、前 記既知のビットマップ・パタンを前記未知のビットマップの入力データとして、 また、前記複数の所定のニューロン出力値を前記複数の出力目標値として、それ らを互いに同時に供結するものであり、更に該学習手段は、前記決定／調節手段 をイネーブルして前記変更量の決定と前記重み値の調節とを行なわせることによ り、前記複数の出力値と前記複数の出力目標値との間に生じる誤差を減少させる ようにし、それによって前記ネットワーク手段に、前記未知の入力データの中に 含まれている前記既知の文字を初期認識するための学習を行なわせるものである ことを特徴とする請求項１７の装置。
19. １９．前記学習手段が、複数の既知の英数字の文字に対応させて予め定めてある 複数の所定のビットマップ・パタンを前記未知のビットマップの入力データとし て、それら複数の所定のビットマップ・パタンに関連させて予め定めてある複数 の所定のニューロン出力値を前記複数の所定の出力目標値として供給するのと同 時に、連続して次々と供給するようにしてあり、更に、該学習手段が、前記決定 ／調節手段をイネーブルして前記変更量の決定と前記重み値の値の調節とを行な わせることにより、前記複数の既知のビットマップ・パタンの各々に関して前記 複数の出力値と前記複数の出力目標値との間に生じる前記誤差を減少させるよう にし、それによって前記ネットワーク手段に、前記未知の入力データの中に含ま れている前記既知の文字の各々を初期認識するための学習を行なわせるようにし てあることを特徴とする請求項１８の装置。
20. ２０．前記ネットワーク手段に更に複数のバイアス値を付与してあり、且つ、前 記決定／調節手段が、前記複数の出力値とそれら複数の出力値に対応した前記所 定の複数の出力目標値とに応答して、前記複数の重み値並びに前記複数のバイア ス値の変更量を決定し、更に、決定したその変更量に応答して、前記未知の入力 ビットマップ・データが前記ネットワーク手段へ供給されている状態で前記複数 の重み値並びに前記複数のバイアス値を調節することにより、前記複数の既知の 文字の各々に関して前記複数の出力値と前記複数の出力目標値との間に生じる前 記誤差を減少させるようにしてあることを特徴とする請求項１９の装置。
21. ２１．未知の入力データの中に含まれている複数のパタンの存在を認識するため の方法において、 未知の入力データに応答して、且つ、複数の重み値を付与してあるネットワーク を介して、複数の出力値を発生し、しかも発生するそれら複数の出力値は、それ ら出力値が集合した全体によって、前記未知の入力データの中に存在している前 記複数のパタンのうちの１つのパタンを同定するものである、出力値発生ステッ プと、 制御信号と、前記所定のパタンに関する前記複数の出力値及びそれら複数の出力 値に対応した複数の所定の出力目標値とに応答して、前記複数の重み値の各々の 値の変更量を決定し、更に、決定したその変更量に応答して、前記未知の入力デ ータが前記ネットワークへ供給されている状態で前記複数の重み値の各々の値を 調節して、前記未知の入力データに関して前記複数の出力値と前記複数の出力目 標値との間に生じる誤差を減少させるようにする、決定／調節ステップと、前記 複数の出力値に応答して、それら複数の出力値に関する信頼性指標値を判定する ステップと、 前記信頼性指標値に応答して前記制御信号を発生することによって、前記信頼性 指標値が充分な大きさの所定値であるときに、前記決定／調節ステップをイネー ブルして前記変更量の決定と前記複数の重み値の調節とを行なわせ、それによっ て、当該パタンが所定パタンからのずれを生じているときに当該パタンを認識す るための学習を前記ネットワークに行なわせる、制御信号発生ステップと、を含 んでいることを特徴とする方法。
22. ２２．前記ネットワークが、互いに連結して階層構造を成している複数のニュー ロンを有しており、該ネットワークは，前記未知の入力データに応答してその未 知の入力データの中に含まれているパタンを認識すると共に、その認識したパタ ンに応答して前記複数の出力値を発生するものであり、前記階層構造は、前記複 数のニューロンのうちの異なった複数のニューロンから夫々形成した入力階層、 中間階層、及び出力階層を備えており、且つ、前記階層構造においては、前記複 数のニューロンのうちの所定のペアを成すニューロンどうしを、前記複数の重み 値のうちの対応する１つの重み値を付与して相互連結してあり、更に、前記複数 のニューロンの各々は、ニューロン出力とニューロン入力とを有していると共に 、ニューロン入力の闇値関数としてニューロン出力値を発生するようにしてあり 、更に、前記中間階層中の複数のニューロン及び前記出力階層中の複数のニュー ロンの各々の中において実行するステップであって、複数のニューロン入力信号 に応答し、それら複数のニューロン入力信号の各々に、前記複数の重み値のうち の対応した１つの重み値を乗じることによって、複数の重み付けニューロン入力 信号を形成するステップと、前記複数の重み付けニューロン入力信号に応答し、 それら複数の重み付けニューロン入力信号の合計値である、重み付け合計値を形 成するステップと、前記重み付け合計値に対して、所定のシグモイド関数を用い て、國値処理を施すことによって、前記ニューロン出力を発生するステップと、 を含んでいることを特徴とする請求項２１の方法。
23. ２３．前記未知の入力データは複数の入力値から構成されており、前記方法が更 に、 それら複数の入力値の各々を、前記入力階層中の複数のニューロンのうちの互い に異なった、そしてその入力値に対応した１つのニューロンヘ、そのニューロン 入力信号として供給するステップと、前記複数の出力値の集合した全体を、前記 出力階層中の複数のニューロンの全てが発生するニューロン出力値によって形成 するステップと、を含んでいることを特徴とする請求項２２の方法。
24. ２４．前記重み付け合計値が、前記複数の重み付けニューロン入力信号に加えて 更にバイアス値を含んでおり、前記決定／調節ステップが更に、前記複数の出力 値とそれら複数の出力値に対応した前記複数の所定の出力目標値とに応答して、 前記複数のニューロンの各々に関連したバイアス値の変更量を決定し、更に、決 定したその変更量に応答して、前記未知の入力データが前記ネットワークへ供給 されている状態で前記バイアス値を変更して、前記誤差を減少させるようにする ステップ、 を含んでいることを特徴とする請求項２３の方法。
25. ２５．前記制御信号発生ステップが更に、前記信頼性指標値の値が所定領域内に あるときに、前記決定／調節ステップをイネーブルするステップを含んでいるこ とを特徴とする請求項２２の方法。
26. ２６．既知の入力パタンに対応させて予め定めてあり、且つ、複数の所定のニュ ーロン出力値を関連付けてある、所定のパタンに応答して、前記ネットワークに 学習をさせる、学習ステップを含んでおり、該学習ステップが、前記所定のパタ ンを前記未知の入力データとして、また、前記複数の所定のニューロン出力値を 前記複数の出力目標値として、それらを互いに同時に供給するステップと、 前記決定／調節ステップをイネーブルして前記変更量の決定と前記重み値の調節 とを行なわせることにより、前記複数の出力値と前記複数の出力目標値との間に 生じる誤差を減少させ、それによって前記ネットワークに、前記未知の入力デー タの中に含まれている前記既知のパタンを初期認識するための学習を行なわせる ステップと、 を含んでいることを特徴とする請求項２２の方法。
27. ２７．前記学習ステップが更に、 複数の既知の入力パタンに対応させて予め定めてある複数の所定のパタンの各々 を前記未知の入力データとして、それら複数の所定の既知の入力パタンに関連付 けて予め定めてある複数の所定のニューロン出力値を前記複数の所定の出力目標 値として供給するのと同時に、連続して次々と供給するステップと、前記決定／ 調節ステップをイネーブルして前記変更量の決定と前記重み値の調節とを行なわ せることにより、前記複数の学習用パタンの各々に関して前記複数の出力値と前 記複数の出力目標値との間に生じる前記誤差を減少させるようにし、それによっ て前記ネットワークに、前記未知の入力データの中に含まれている前記複数の既 知のパタンの各々を初期認識するための学習を行なわせるステップと、 を含んでいることを特徴とする請求項２６の方法。
28. ２８．前記ネットワークに更に複数のバイアス値を付与してあり、且つ、前記決 定／調節ステップが更に、 前記複数の出力値とそれら複数の出力値に対応した前記所定の複数の出力目標値 とに応答して、前記複数の重み値並びに前記複数のバイアス値の変更量を決定し 、更に、決定したその変更量に応答して、前記未知の入力データが前記ネットワ ークへ供給されている状態で前記複数の重み値並びに前記複数のバイアス値を調 節することにより、前記複数の既知の入力パタンの各々に関して前記複数の出力 値と前記複数の出力目標値との間に生じる前記誤差を減少させるようにするステ ップ、 を含んでいることを特徴とする請求項２７の方法。
29. ２９．光学文字読取機における、未知のビットマップ形式の入力データの中に含 まれている複数のビットマップ形式の英数字の文字パタンの存在を認識するため の方法において、 未知のビットマップ入力データに応答して、且つ、複数の重み値を付与してある ネットワークを介して、複数の出力値を発生し、しかも発生するそれら複数の出 力値は、それら出力値が集合した全体によって、前記未知のビットマップ入力デ ータの中に存在している前記複数のビットマップ・パタンのうちの１つのビット マップ・パタンを同定するものである、出力値発生ステップと、制御信号と、前 記所定のビットマップ・パタンに関する前記複数の出力値及びそれら複数の出力 値に対応した複数の所定の出力目標値とに応答して、前記複数の重み値の各々の 値の変更量を決定し、更に、決定したその変更量に応答して、前記未知のビット マップ入力データが前記ネットワークへ供給されている状態で前記複数の重み値 の各々の値を調節して、前記未知のビットマップ入力データに関して前記複数の 出力値と前記複数の出力目標値との間に生じる誤差を減少させるようにする、決 定／調節ステップと、前記複数の出力値に応答して、それら複数の出力値に関す る信頼性指標値を判定するステップと、 前記信頼性指標値に応答して前記制御信号を発生することによって、前記信頼性 指標値が充分な大きさの所定値であるときに、前記決定／調節ステップをイネー ブルして前記変更量の決定と前記複数の重み値の調節とを行なわせ、それによっ て、当該ビットマップ・パタンが、当該ビットマップ・パタンに対応した英数字 の文字の所定のビットマップ・パタンからのずれを生じているときに、当該ビッ トマップ・パタンを認識するための学習を前記ネットワークに行なわせる、制御 信号発生ステップと、 を含んでいることを特徴とする方法。
30. ３０．前記ネットワークが、互いに連結して階層構造を成している複数のニュー ロンを有しており、該ネットワークは、前記未知の入力データに応答してその未 知の入力データの中に含まれているパタンを認識すると共に、その認識したパタ ンに応答して前記複数の出力値を発生するものであり、前記階層構造は、前記複 数のニューロンのうちの異なった複数のニューロンから夫々形成した入力階層、 中間階層、及び出力階層を備えており、且つ、前記階層構造においては、前記複 数のニューロンのうちの所定のペアを成すニューロンどうしを、前記複数の重み 値のうちの対応する１つの重み値を付与して相互連結してあり、更に、前記複数 のニューロンの各々は、ニューロン出力とニューロン入力とを有していると共に 、ニューロン入力の國値関数としてニューロン出力値を発生するようにしてあり 、更に、前記中間階層中の複数のニューロン及び前記出力階層中の複数のニュー ロンの各々の中において実行するステップであって、複数のニューロン入力信号 に応答し、それら複数のニューロン入力信号の各々に、前記複数の重み値のうち の対応した１つの重み値を乗じることによって、複数の重み付けニューロン入力 信号を形成するステップと、前記複数の重み付けニューロン入力信号に応答し、 それら複数の重み付けニューロン入力信号の合計値である、重み付け合計値を形 成するステップと、前記重み付け合計値に対して、所定の関数を用いて、國値処 理を施すことによって、前記ニューロン出力を発生するステップと、を含んでい ることを特徴とする請求項２９の方法。
31. ３１．入力ビットマップの中に含まれている各ピクセルの値を、前記入力階層中 の複数のニューロンのうちの、互いに異なった、そしてそのピクセルに対応した １つのニューロンヘ、そのニューロン入力信号として供給するステップと、前記 複数の出力値の集合した全体を、前記出力階層中の複数のニューロンの全てが発 生するニューロン出力値によって形成するステップと、を含んでいることを特徴 とする請求項３０の方法。
32. ３２．前記制御信号発生ステップが便に、前記信頼性指標値の値が所定領域内に あるときに、前記決定／調節ステップをイネーブルするステップを含んでいるこ とを特徴とする請求項３１の方法。
33. ３３．英数字の文字の既知のパタンに対応させて予め定めてあり、且つ、複数の 所定のニューロン出力値を関連付けてある、所定のパタンに応答して、前記ネッ トワークに学習をさせる、学習ステップを含んでおり、該学習ステップが、前記 所定のパタンを前記未知の入力データとして、また、前記複数の所定のニューロ ン出力値を前記複数の出力目標値として、それらを互いに同時に供給するステッ プと、 前記決定／調節ステップをイネーブルして前記変更量の決定と前記重み値の調節 とを行なわせることにより、前記複数の出力値と前記複数の出力目標値との間に 生じる誤差を減少させ、それによって前記ネットワークに、前記未知のビットマ ップ入力データの中に含まれている前記既知のパタンを初期認識するための学習 を行なわせるステップと、 を含んでいることを特徴とする請求項３２の方法。
34. ３４．前記学習ステップが更に、 複数の既知の入力パタンに対応させて予め定めてある複数の所定の学習用パタン の各々を前記未知の入力データとして、それら複数の所定の既知の入力パタンに 関連付けて予め定めてある複数の所定のニューロン出力値を前記複数の所定の出 力目標値として供給するのと同時に、連続して次々と供給するステップと、前記 決定／調節ステップをイネーブルして前記変更量の決定と前記重み値の調節とを 行なわせることにより、前記複数の学習用パタンの各々に関して前記複数の出力 値と前記複数の出力目標値との間に生じる前記誤差を減少させるようにし、それ によって前記ネットワークに、前記未知の入力データの中に含まれている前記複 数の既知のパタンの各々を初期認識するための学習を行なわせるステップと、 を含んでいることを特徴とする請求項３３の方法。
35. ３５．前記ネットワークに更に複数のバイアス値を付与してあり、且つ、前記決 定／調節ステップが更に、 前記複数の出力値とそれら複数の出力値に対応した前記所定の複数の出力目標値 とに応答して、前記複数の重み値並びに前記複数のバイアス値の変更量を決定し 、更に、決定したその変更量に応答して、前記未知の入力データが前記ネットワ ークへ供給されている状態で前記複数の重み値並びに前記複数のバイアス値を調 節することにより、前記複数の既知の入力パタンの各々に関して前記複数の出力 値と前記複数の出力目標値との間に生じる前記誤差を減少させるようにするステ ップ、 を含んでいることを特徴とする請求項３４の方法。
36. ３６．光学文字読取機における、未知のビットマップ形式の入力データの中に含 まれている複数のビットマップ形式の英数字の文字パタンの存在を認識するため の方法において、 パタン認識処理手順におけるステップとして、未知のビットマップ入力データに 応答して、且つ、複数の重み値を付与してあるネットワークを介して、複数の出 力値を発生し、しかも発生するそれら複数の出力値は、それら出力値が集合した 全体によって、前記未知のビットマップ入力データの中に存在している前記複数 のビットマップ・パタンのうちの１つのビットマップ・パタンを同定するもので ある、出力値発生ステップと、制御信号と、前記所定のビットマップ・パタンに 関する前記複数の出力値及びそれら複数の出力値に対応した複数の所定の出力目 標値とに応答して、前記複数の重み値の各々の値の変更量を決定し、更に、決定 したその変更量に応答して、前記未知のビットマップ入力データが前記ネットワ ークへ供給されている状態で前記複数の重み値の各々の値を調節して、前記未知 のビットマップ入力データに関して前記複数の出力値と前記複数の出力目標値と の間に生じる誤差を減少させるようにする、決定／調節ステップと、前記複数の 出力値に応答して、それら複数の出力値に関する信頼性指標値を判定するステッ プと、 前記信頼性指標値に応答して前記制御信号を発生することによって、前記信頼性 指標値が充分な大きさの所定値であるときに、前記決定／調節ステップをイネー ブルして前記変更量の決定と前記複数の重み値の調節とを行なわせ、それによっ て、当該ビットマップ・パタンが、当該ビットマップ・パタンに対応した英数字 の文字の所定のビットマップ・パタンからのずれを生じているときに、当該ビッ トマップ・パタンを認識するための学習を前記ネットワークに行なわせる、制御 信号発生ステップと、 を含んでおり、更に、 学習処理手順におけるステップとして、英数字の文字に対応させて予め定めてあ る所定のビットマップ・パタンを前記未知の入力データとして、また、その所定 のビットマップ・パタンに対応させて予め定めてある複数の所定のニューロン出 力値を前記複数の出力目標値として、夫々に供給するステップと， 前記決定／調節ステップをイネーブルして前記変更量の決定と前記重み値の調節 とを行なわせることにより、前記複数の出力値と前記複数の出力目標値との間に 生じる誤差を減少させ、それによって前記ネットワークに、前記未知のビットマ ップ入力データの中に含まれている前記既知のパタンを初期認識するための学習 を行なわせるステップと、 を含んでおり、更に、 前記学習処理手順の実行の後に、前記パタン認識処理手順を実行する、ことを特 徴とする方法。
37. ３７．前記ネットワークが、互いに連結して階層構造を成している複数のニュー ロンを有しており、該ネットワークは、前記未知の入力データに応答してその未 知の入力データの中に含まれているパタンを認識すると共に、その認識したパタ ンに応答して前記複数の出力値を発生するものであり、前記階層構造は、前記複 数のニューロンのうちの異なった複数のニューロンから夫々形成した入力階層、 中間階層、及び出力階層を備えており、且つ、前記階層構造においては、前記複 数のニューロンのうちの所定のペアを成すニューロンどうしを、前記複数の重み 値のうちの対応する１つの重み値を付与して相互連結してあり、更に、前記複数 のニューロンの各々は、ニューロン出力とニューロン入力とを有していると共に 、ニューロン入力の國値関数としてニューロン出力値を発生するようにしてあり 、更に、前記中間階層中の複数のニューロン及び前記出力階層中の複数のニュー ロンの各々の中において実行するステップであって、複数のニューロン入力信号 に応答し、それら複数のニューロン入力信号の各々に、前記複数の重み値のうち の対応した１つの重み値を乗じることによって、複数の重み付けニューロン入力 信号を形成するステップと、前記複数の重み付けニューロン入力信号に応答し、 それら複数の重み付けニューロン入力信号の合計値である、重み付け合計値を形 成するステップと、前記重み付け合計値に対して、所定のシグモイド関数を用い て、閾値処理を施すことによって、前記ニューロン出力を発生するステップと、 を含んでいることを特徴とする請求項３６の方法。
38. ３８．前記未知の入力データは複数の入力値から構成されており、前記方法が更 に、 それら複数の入力値の各々を、前記入力階層中の複数のニューロンのうちの互い に異なった、そしてその入力値に対応した１つのニューロンヘ、そのニューロン 入力信号として供給するステップと、前記複数の出力値の集合した全体を、前記 出力階層中の複数のニューロンの全てが発生するニューロン出力値によって形成 するステップと、を含んでいることを特徴とする請求項３７の方法。
39. ３９．前記重み付け合計値が、前記複数の重み付けニューロン入力信号に加えて 更にバイアス値を含んでおり、前記決定／調節ステップが更に、前記複数の出力 値とそれら複数の出力値に対応した前記複数の所定の出力目標値とに応答して、 前記複数のニューロンの各々に関連したバイアス値の変更量を決定し、更に、決 定したその変更量に応答して、前記未知の入力データが前記ネットワークへ供給 されている状態で前記バイアス値を変更して、前記誤差を減少させるようにする ステップ、 を含んでいることを特徴とする請求項３８の方法。
40. ４０．前記制御信号発生ステップが更に、前記信頼性指標値の値が所定領域内に あるときに、前記決定／調節ステップをイネーブルするステップを含んでいるこ とを特徴とする請求項３６の方法。
41. ４１．認識処理を施している入力書類の各々のページに対して前記パタン認識処 理を２同ずつ連続して実行することによって、当該ページの認識正確度を向上さ せるようにしたことを特徴とする請求項３６の方法。