JPH04279965A - パターン認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、手書き文字を自動認
識する際に用いて好適なパターン認識装置に関する。

【０００２】

【従来の技術】手書き文字をコンピュータによって自動
認識する場合に、ニューラルネットワークを用いる研究
が種々行われている。ニューラルネットワークには、相
互結合型と階層型の２種類があるが、文字等のパターン
の認識には階層型が用いられることが多い。

【０００３】階層型ニューラルネットワークは、図７に
示すニューロンを図８に示すように層状に配置したもの
であり、その動作は個々のニューロンの特性関数ｆと結
合の重みｗによって決定される。このニューラルネット
をパターン認識に用いる場合は、あるパターンを入力層
に与えた場合に、それに対応する出力が得られるように
ネットワークの結合の重みｗを調整する必要がある。例
えば、図９に示すように「ア」のパターンを入力層に与
えた場合には、これに応じた出力である「パターン２」
が得られるように重みｗを調整する。この操作が、ニュ
ーラルネットワークにおける学習である。

【０００４】学習の一例としては、出力層における教師
信号との誤差を入力層に向かって伝播し、その過程で重
みを修正する誤差逆伝播法がラメルハートらによって提
案されている。この学習処理が終われば、入力層にパタ
ーンを提示し、その出力層の値を読み取ることによりパ
ターン認識を行うことができる。

【０００５】

【発明が解決しようとする課題】ところで、従来の文字
認識装置においては、一度学習させた後はその学習内容
が固定的であるため、例えば、書き手の癖などに応じて
認識率を向上させることができなかった。

【０００６】この発明は、上述した事情に鑑みてなされ
たもので、書き手の癖などを考慮した再学習を行うこと
ができ、これにより、パターン認識を行うべきユーザに
適合することができるパターン認識装置を提供すること
を目的としている。

【０００７】また、従来の装置にあっては、１つのネッ
トワークによって文字認識を行っていたため、多くの種
類のパターン認識に必要なネットワークとするには結合
の重みが非常に多くなるため、全体として学習させるこ
とは非常に困難であり、さらに、認識すべき文字種が増
えた場合に即座に対応することが困難となった。この発
明は、このような問題点をも解決することも目的とする
。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、ニューラルネットワークを用いてパターンを認識す
るパターン認識装置において、パターンに対応する正し
い認識結果を入力する入力手段と、前記入力手段によっ
て入力されたパターン及びその正しい認識結果の組に基
づいてニューラルネットワークに再学習をさせる学習制
御手段とを具備している。

【０００９】また、請求項５に記載の発明にあっては、
入力イメージを正規化して正規化入力データを出力する
前処理部を有すると共に、前記ニューラルネットワーク
は、予め設定されたパターン群毎に設けられ前記前処理
部の出力データのうち当該パターン群内の各パターンに
対して前記正規化入力データの類似度を評価する複数の
ニューラルネットワークモジュールおよび前記各ニュー
ラルネットワークモジュールの各評価結果の分布状態に
応じたイメージを確定する統合ネットワークによって構
成される。

【００１０】

【作用】前記学習制御手段がパターンおよびその正しい
認識結果の組に基づいて適宜ニューラルネットワークに
再学習させるので、認識すべきユーザの書き手の癖など
に追従して認識確率を向上させることができる。

【００１１】また、請求項５に記載の発明にあっては、
正規化処理は、アルゴリズムを用いた通常の演算処理に
よって行い、また、イメージ認識の中心的な役割を果た
す部分はモジュール化されたニューラルネットワークに
よって行わるので、認識率の向上および処理の効率化が
図られる。

【００１２】

【実施例】以下、図面を参照してこの発明の実施例につ
いて説明する。

【００１３】Ａ：実施例の構成 図１はこの発明の一実施例の要部の構成を示すブロック
図である。図において、１は入力パターンを正規化する
前処理部である。この部分は、理想的には図２に示すよ
うに、同一の種類の文字に対しては１つの入力パターン
が得られればよいが、この発明においては処理における
計算量等に鑑み、入力イメージの位置、大きさ、線の濃
さについてのみ正規化処理を行っている。

【００１４】また、前処理部１はアルゴリズムを用いた
通常の演算処理によって上述の正規化処理を行うように
なっている。これは、以下の理由による。

【００１５】ニューラルネットワークは、パターン認識
において非常に優れた能力を示す情報処理手法であるが
、アルゴリズムを簡単に示すことができるような処理に
対しては、正確さや高速性といった面で通常の演算に及
ばない。そこで、与えられた文字イメージを認識に適し
た情報形式に変更する部分、すなわち、前処理にあたる
部分をアルゴリズムに基づく通常の演算によって行い、
イメージ認識の中心的な役割を果たす部分（この部分に
付いては後述）をニューラルネットワークによって行う
ようにしている。

【００１６】次に、図１に示す２〜５は、各々モジュー
ル化されたニューラルネットワークであり、２は数字の
認識を行う数字ネット、３は英字の認識を行う英字ネッ
ト、４は仮名文字の前半（５０音のア〜ノ）の認識を行
う仮名ネット、５は仮名文字の後半（５０音のハ〜ン）
の認識を行う仮名ネットである。これらの各ネットは、
入力パターンＰｉに基づき、それぞれの範囲において文
字認識処理を行う。文字認識の仕方は以下の通りである
。

【００１７】今、図３に示すようなパターンＰｉが与え
られたとすると、数字ネット２は、０〜９の各々の文字
に対する類似度を求めて出力する。例えば、図示のよう
に、類似度が０に対して０．５、１に対して０．１、２
に対して０．３……６に対して０．８……９に対して０
．４等となる。また、同様にして英字ネット３はアルフ
ァベットのＡ〜Ｚの各文字についての類似度を求め、仮
名ネット４、５は仮名文字ア〜ノおよびハ〜ンの各々の
文字について類似度を求める。以上のようにして求めら
れた各類似度は、統合ネット６に供給される。

【００１８】統合ネット６は、各ネット２〜５から供給
された各文字についての類似度から最終的に一つのイメ
ージを認識する。すなわち、各ネット２〜５は、担当す
る範囲において各文字の類似度の分布を出力するが、こ
の分布の状態は入力パターン（すなわち、入力イメージ
）の特徴を表している。そして、統合ネット６は、各ネ
ット２〜５の類似度の分布パターンに応じて一つのイメ
ージが認識されるように予め学習処理がなされている。 この場合、類似度の分布状態は、文字の特徴が抽出され
たものであるから、元の入力パターンに較べてイメージ
の認識は行い易く、かつ正確である。さらに、各ネット
２〜５が比較的小規模となるため学習処理が容易になり
、また、各ネット２〜５を学習機能を持つ部品として扱
うことができるので、認識する対象に応じた柔軟なネッ
トワークの構成が可能である。

【００１９】以上がこの実施例の処理の概要であり、こ
れを行う実際の回路は、図４に示すようになっている。 すなわち、汎用のＣＰＵ１０、プログラム領域および作
業領域が設定されるメモリ１１、および、入力パターン
を受け取るとともに最終的な認識結果を外部へ出力する
インターフェイス１２とから構成される。インターフェ
イス１２は、ＣＰＵ１０の制御に従ってデータの入出力
を行うようになっており、また、図１に示す各処理はプ
ログラムによって実行される。この場合、前処理部１、
各ネット２，３，４，５および統合ネット６は、独立し
て動作が可能であり、これらの処理を複数のプロセッサ
により行うことによる高速化も可能である。なお、認識
の対象となるパターンがどのグループのものであるかが
解っている場合には、そのグループに対応するネットワ
ークのみを駆動すればよい。このようにすると、より高
速の処理が可能になる。

【００２０】次に、この実施例の全体構成について図５
を参照して説明する。図５において、２０が受注システ
ムであり、ＦＡＸボード２１、認識ボード２２、通信ボ
ード２３および制御部２４から構成されている。ＦＡＸ
ボード２１は公衆回線を介してイメージデータの授受を
行い、また、受信イメージデータについては雑音処理等
の画像処理を施す。制御部２４は装置各部を制御するも
のであり、パーソナルコンピュータおよびその周辺機器
から構成されている。ＦＡＸボード２１は画像処理後の
イメージデータを制御部２４に転送し、また、制御部２
４からイメージデータを受け取ると公衆回線を介して送
出するようになっている。認識ボード２２は、前述した
図４に示す回路が登載されているボードであり、制御部
２４から入力イメージＩｉを受け取り、また、イメージ
の認識結果を制御部２４に送出するようになっている。 通信ボード２３は制御部２４とホストコンピュータ３０
との間においてデータの授受を制御する。受注システム
２０は、処理結果を印字するプリンタ２６、処理データ
等を保存するハードディスク装置２７、イメージデータ
等を保存する光ディスク装置２８および非常用電源２９
を具備している。ホストコンピュータ３０は、在庫状況
、注文状況等を記憶しており、受発注システム２０の要
求に応じて各データを送信する。

【００２１】Ｂ：実施例の動作 次に、上記構成によるこの実施例の動作について説明す
る。

【００２２】（１）受注処理 まず、顧客は所定の注文書ＯＤ１に必要事項を記入し、
ファクシミリ装置を用いてＦＡＸボード２１に送信する
。この場合、注文書は予め決められた所定のフォーマッ
トで作成される。これは注文書ＯＤ１に記載される文字
は後にイメージ認識されるので、文字を一定の位置、一
定の様式で記載させ、認識し易いようにするためである
。

【００２３】ＦＡＸボード２１は、注文書ＯＤ１から読
み取ったイメージデータに画像処理を施して制御部２４
に転送し、制御部２４はこのイメージデータを認識ボー
ド２２に転送する。認識ボード２２は第１の実施例にお
いて説明した処理によってイメージ認識を行い、その結
果を制御部２４に送出する。これにより、制御部２４の
ディスプレイ２４ａには認識された文字が表示され、操
作者は注文の内容を知ることができる。また、イメージ
認識結果は、制御部２４から通信ボード２３を介してホ
ストコンピュータ３０へ転送され、ここで、種々の処理
がなされる。例えば、倉庫から出すべき商品の出庫伝票
を注文伝票の内容（すなわち、イメージ認識結果）に従
って作成したり、注文状況を商品別に累積したりする。 このように、ホストコンピュータへ転送すべき注文内容
のデータは、操作者の入力操作無しに、顧客の注文書Ｏ
Ｄ１からダイレクトに作成される。そして、ホストコン
ピュータ３０は、受注内容を示す受注書データを作成し
てこれを通信ボード２３を介して制御部２４に転送し、
制御部２４は受け取った受注書データを所定の印字形式
に展開してＦＡＸボード２１に転送する。そして、ＦＡ
Ｘボード２１は印字形式に展開された受注書のイメージ
データを顧客のファクシミリ装置に転送する。この結果
、顧客のファクシミリ装置から受注書ＡＱ１が出力され
る。

【００２４】また、顧客は、在庫の確認や注文の残りを
確認する場合は、その内容を記載した書面をファクシミ
リ装置を用いて受発注システム２０に送信する。この結
果、上述の場合と同様に認識ボード２２において当該書
面の文字パターンが認識され、これがホストコンピュー
タ３０に転送される。ホストコンピュータ３０は、要求
に応じた回答内容のデータを制御部２４に送出し、制御
部２４はこれを印刷形式に展開してＦＡＸボード２１に
送出する。これにより、顧客は、在庫回答書ＡＱ２ある
いは注文残回答書ＡＱ３を受け取ることができる。

【００２５】（２）学習処理 この実施例においては、認識した各イメージについて自
動的に学習処理を行っており、これにより、最初は正し
く認識できなかった文字でも認識できるようになってい
く。以下に、この学習処理について説明する。

【００２６】■まず、ホストコンピュータ３０は、学習
処理を行うべき時期を判断し、その時期が来た際に学習
処理を行うためのプログラム（以下学習プロセス（ホス
ト）という）を起動する。学習処理の時期は、ニューラ
ルネットの学習が認識に較べて処理が多く時間がかかる
ため、システムが処理しなければならない帳票等の減少
する夜間などにシステムの判断で決定する。

【００２７】■起動された学習プロセス（ホスト）は、
最近の認識率、使用頻度などのデータから、次に学習さ
せるべきネットワーク、文字イメージの情報、およびそ
れに対応する正しい判断結果を選択する。ここで、正し
い判断結果は、予めオペレータによって判断される。す
なわち、オペレータは、ディスプレイ２４ａにイメージ
と認識結果を表示させ、この表示結果が誤りである場合
に正しい判断結果を入力し、文字イメージデータと正し
い判断結果との関係を制御部２４に伝える。そして、制
御部２４は、この判断結果をホストコンピュータ３０に
転送する。

【００２８】■次に、学習プロセス（ホスト）は、認識
ボード２２に対して学習処理を行うことを伝える。これ
により、認識ボード２２は、学習処理を行うためのプロ
グラム（以下学習プロセス（ボード）という）を起動す
る。起動された学習プロセス（ボード）は、学習プロセ
ス（ホスト）から選択されたネットワーク、文字イメー
ジ、および正しい認識結果を読み込む。なお、学習させ
るべきネットワークが既にボード上に存在する場合は、
ネットワークの読み込みは省略される。

【００２９】■そして、学習プロセス（ボード）は、ホ
ストから読み込んだ文字イメージと正しい認識結果の組
（この組は複数ある）を、予め定められた回数だけ、モ
ジュール化された各ネット２〜６の構成に従って誤差逆
伝播法を用いて学習させる。

【００３０】この時、文字イメージに対応するネットワ
ークの出力を調べ、既に充分認識可能な文字に対しては
、過剰学習の防止および処理の軽減のために、学習処理
を行わないようになっている。

【００３１】■次に、誤った学習を防ぐための処理を行
う。ここで、誤った学習とは、学習のために与えられて
たデータが間違っている場合や、大きくゆがんだ文字等
を学習することにより、ていねいに書かれた文字が読め
なくなってしまうことをいう。ニューラルネットにおい
ては、このような事態が生じる可能性がある。

【００３２】誤った学習の防止のための処理は、予め用
意した「手本となる」文字イメージ、およびこれに対応
する結果について上述の■の場合と同様の学習処理を行
うことによってなされる。なお、「手本となる」文字を
顧客に配布すれば、認識し易い文字を書いてもらえるこ
とが期待できる。

【００３３】■そして、学習プロセス（ボード）は、学
習処理の結果を学習プロセス（ホスト）に通知する。こ
の結果は、次回以降の学習データの選択に用いられる。 また、学習させたネットワークもホストに転送される。

【００３４】■次に、学習プロセス（ホスト）は、時間
、処理すべき帳票の残存数等に基づいて学習を継続する
かどうかを判断する。継続と判断した場合は、前述の■
の処理から繰り返す。

【００３５】■学習プロセス（ホスト）は、学習プロセ
ス（ボード）に処理の終了を通知し、学習処理を終了す
る。なお、上述した学習手順は、オペレータの要請によ
って起動することもできる。

【００３６】（３）顧客別辞書作成処理この実施例にお
いては、上述した学習処理を顧客別に行うようにしてい
る。すなわち、ネット２〜６を顧客別に複数組用意し、
それぞれを個別に学習させるようにしている。これは、
文字認識のための辞書に相当するニューラルネットワー
クを顧客別に調整するのと同じであり、言い換えれば顧
客別辞書の生成処理といえる。以下に顧客別辞書作成処
理について説明する。

【００３７】■始めに、文字データベース（例えば、電
子技術総合研究所の「ＥＴＬ１」など）から認識の対象
となる文字のイメージを約２，０００人分抽出する。こ
れを用いて未学習のネット２〜６に学習させ、これらの
イメージに対応したプロトタイプのネットワークを作成
する。これによって得られたネットワークは、２、００
０人という非常に多くの人が書いた文字に対応しており
、さまざまな人が書いた文字に対して一定の水準の認識
が得られる。しかしながら、本実施例におけるシステム
が正しく認識しなければならないのは、システムを利用
する顧客の書いた文字であり、一般の不特定多数の人が
書いた文字とは同等ではない場合が多い。このために、
前述の学習処理を顧客別におこなう。

【００３８】■上述の■の方法によって得られたプロト
タイプのネットワークを、顧客毎にコピーし複数用意す
る。これによって得られた各ネットワークに対し、前述
の（２）で述べた学習処理を行う。以上の処理を図６を
参照して説明すると、まず、未学習のネットワークＸか
らプロトタイプのネットワークＰが作成され、これがコ
ピーされて顧客グループ別のネットワークＡ，Ｂ，Ｃと
なる。そして、各ネットワーク別に学習処理が行われて
いき、各顧客グループ専用のネットワークＡ’，Ｂ’，
Ｃ’（辞書）が作成されていく。このようにして作成さ
れたネットワークＡ’，Ｂ’，Ｃ’は、担当する顧客グ
ループに対する文字認識確率が極めて高くなる。また、
対象とする顧客が限られるので、認識対象となる文字の
変形（くせ）の種類も少なくなり、この点からも認識率
を大きく向上させることができる。

【００３９】Ｃ：実施例における特有の効果上述した実
施例においては、以下に述べる特有の効果がある。■フ
ァクシミリ装置を用いて転送した手書き文字をそのまま
データとして用いることができるので、再入力する手間
が省け、かつ、誤りが少ないという利点がある。

【００４０】■イメージデータの認識を認識ボード２２
内の個別のＣＰＵによって行っているので、制御部２４
内のＣＰＵの負担を軽減することができ、システム全体
の処理速度および確実性を向上させることができる。

【００４１】■ネットワークモジュール化したので、学
習処理を軽減し、かつ、文字種が増えた場合においても
柔軟に対応することができる。

【００４２】■正規化処理は、アルゴリズムを用いた通
常の演算処理によって行い、また、イメージ認識の中心
的な役割を果たす部分はニューラルネットワークによっ
て行うようにしているので、システムの認識率の向上お
よび処理の効率化が図られる。

【００４３】

【発明の効果】以上説明したように、この発明によれば
、書き手の癖などを考慮した再学習を行うことができ、
これにより、パターン認識を行うべきユーザに適合する
ことができる。さらに、多くの種類のパターンを認識す
る場合においても、既存のネットワークモジュールを用
いて柔軟に対応できる。

【図面の簡単な説明】

【図１】この発明の一実施例の要部の構成を示すブロッ
ク図である。

【図２】正規化処理の概念を説明するための説明図であ
る。

【図３】同実施例の数字ネット２の動作を説明するブロ
ック図である。

【図４】同実施例の電気的構成を示すブロック図である
。

【図５】同実施例の全体構成を示すブロック図である。

【図６】同実施例における顧客別辞書作成処理の手順を
示す処理系統図である。

【図７】ニューロンの概念を示す概念図である。

【図８】ニューロンを層状に配置した場合を示す図。

【図９】従来のニューラルネットワークによるパターン
認識の構成を示す概念図である。

【符号の説明】

１……前処理部（ニューラルネットワークモジュール）
２……数字ネット（ニューラルネットワークモジュール
） ３……英字ネット（ニューラルネットワークモジュール
） ４，５……カナネット（ニューラルネットワークモジュ
ール） ６……統合ネットワーク ２１……ＦＡＸボード（受信手段） ２２……認識ボード（パターン認識装置）２４……制御
部（入力手段） ３０……ホストコンピュータ（学習制御手段，判定手段
）

Claims (5)

【特許請求の範囲】
1. 【請求項１】ニューラルネットワークを用いてパターン
   を認識するパターン認識装置において、パターン及び、
   それに対応する正しい認識結果を入力する入力手段と、
   前記入力手段によって入力されたパターン及びその正し
   い認識結果の組に基づいて前記ニューラルネットワーク
   に再学習をさせる学習制御手段とを具備することを特徴
   とするパターン認識装置。
2. 【請求項２】前記学習制御手段は、予め設定された条件
   が揃った場合に前記再学習をさせることを特徴とする請
   求項１記載のパターン認識装置。
3. 【請求項３】前記条件は、処理すべき事項の残数、およ
   び時間帯によって決定されることを特徴とする請求項２
   記載のパターン認識装置。
4. 【請求項４】前記ニューラルネットワークは、パターン
   認識を行うべきユーザ群毎に設けられると共に、前記学
   習制御手段は各ユーザ群毎のニューラルネットワークに
   ついて個別に再学習を行わせることを特徴とする請求項
   １〜３いずれかに記載のパターン認識装置。
5. 【請求項５】入力イメージを正規化して正規化入力デー
   タを出力する前処理部を有すると共に、前記ニューラル
   ネットワークは、予め設定されたパターン群毎に設けら
   れ前記前処理部の出力データのうち当該パターン群内の
   各パターンに対して前記正規化入力データの類似度を評
   価する複数のニューラルネットワークモジュールおよび
   前記各ニューラルネットワークモジュールの各評価結果
   の分布状態に応じたイメージを確定する統合ネットワー
   クによって構成されることを特徴とする請求項１記載の
   パターン認識装置。