JP2763042B2

JP2763042B2 - 画像処理方法

Info

Publication number: JP2763042B2
Application number: JP63121983A
Authority: JP
Inventors: 欣也高橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1988-05-20
Filing date: 1988-05-20
Publication date: 1998-06-11
Anticipated expiration: 2013-06-11
Also published as: JPH01292587A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は画像処理方法に関し、特に文字認識結果の確
認を容易にする画像処理方法に関するものである。

［従来の技術］一般に、文字認識装置では、100％完全な認識結果を
得ることは現実的には不可能であり、認識処理の過程で
その認識処理そのものを拒絶したり、誤認識を伴うのは
避けられないものである。

従つて、認識対照の原稿と完全に一致した文書を得る
ためには、上記のような拒絶や誤認識した文字を何らか
の手段で正しい文字に修正する必要がある。

ところで、認識拒絶は認識対象の文字が認識不能であ
ることを意味し、通常はその文字に対しては特定文字コ
ードを割り当てるのが一般的である。この特定コードと
しては、例えばベタ黒の文字パターンに対応するもの
等、一見してそれが認識拒絶された文字であることをオ
ペレータに把握できる様にしている。

一方、誤認識は本来の文字に対して相違する文字を認
識結果として出力するものである。

［発明が解決しようとする課題］従つて、認識結果を表示画面に表示させて修正処理を
行う場合、拒絶された文字に対しては先に説明した様
に、特別なコードを割り当ててあるので、通常の文字に
比べ目立つようなマークを表示することになり、修正操
作が比較的スムーズに進むが、誤認識された文字に対し
てはその前後する文或いは原稿文と照し合せながらしな
ければならず、甚だ面倒な作業になつてしまう。しか
も、この作業を何ページにも渡つて行う際には、当然の
ことながら見落し等が発生することもあり、問題が残
る。

ところで認識処理の後処理として自然言語処理手段を
設け、誤つた文字を単語或いは文として正しくなるよう
に自動的に修正させることも考えられるが、このような
機能を設けるためには多大なコストがかかると共に、自
然言語処理体系自体が確立していない現状を見て、得策
とは言えない。

例えば、単語や文章として意味をなさない数字列や文
字列（例えば“777−111Bd"など）は言語処理の適用外
であるため、いずれにせよ最終的には人間が認識結果を
確認或いは修正せざるを得ない。

本発明はかかる問題点に鑑みなされたものであり、文
字認識の結果の確認を容易に、候補文字の中の正しい文
字を認識結果として得るための操作性を向上させ得る画
像処理方法を提供しようとするものである。

［課題を解決するための手段］この課題を解決するため、本発明の画像処理方法は以
下の工程を備える。すなわち、文字の画像情報を認識し、前記認識結果の複数の候補文字を保持し、前記候補文字に対応するパターンと前記認識対象の文
字画像とを合成表示し、他候補表示指示に応じて、従前合成表示されている領
域に、他候補文字に対応する文字パターンと前記認識対
象の文字画像との合成画像を再表示することを特徴とす
る。

［作用］かかる本発明の工程において、文字画像を認識して得
た認識結果の複数の候補文字を保持する。そして、候補
文字に対応するパターンと認識対象の文字画像とを合成
表示する。そして、他候補表示指示があれば、合成表示
されている領域に、他候補の文字パターンと認識対象の
文字画像との合成画像を再表示させる。

［実施例］以下、添付図面に従つて本発明に係る実施例を詳細に
説明する。

＜構成概略の説明（第１図）＞第１図は本実施例における文字認識支援装置のブロツ
ク構成図である。

図中、101は原稿画像を読取る画像読取り装置、102は
キーボード或いはポインテイングデバイス等の入力装置
であり、これらはI/Oインタフエース112を介してシステ
ムバス113に電気的に接続されている。103は画像読取り
部101より読み出したイメージデータを展開するビツト
イメージメモリ、104はビツトイメージメモリ103中の文
字パターンを切り出す文字切り出し部、105は切り出し
た文字パターンを認識する文字認識部である。106は文
字切り出し部104及び文字認識部105よりの情報を基に文
字に係る情報を格納する文字情報メモリである。107は
文字コードに対応した文字パターンを発生するキヤラク
タジエネレータである。109は表示用ビツトイメージメ
モリであり、実施例では先に説明したビツトイメージメ
モリ103と同じ大きさ（容量）からなるものとする。そ
して、この表示用ビツトイメージメモリ109に展開され
たイメージデータはデイスプレイ114に表示されるもの
である。110は最終目的である文字コードを格納する文
字コードメモリである。そして、111は装置全体を包括
的に制御するCPUであり、内部にCPU111の処理手順（プ
ログラム）を格納したROM111aとワークエリアとして使
用されるRAM111bを備えている。ROM111aには認識結果を
基に修正処理に係るプログラムの他、第２図に示すフロ
ーチヤートに係るプログラムが格納されている。

＜処理内容の説明（第２図〜第７図）＞上述した構成における本実施例の装置の具体的処理内
容を第３図〜第７図を用いて、第２図のフローチヤート
を説明する。

先ず、ステツプS201で各メモリ及びレジスタを初期化
し、次のステツプS202で一連の文字認識処理を終了させ
る指示が入力部102よりあるか否かを判断する。そし
て、終了指示がなされるまで、以下に示すステツプS203
以降の処理を繰り返すことになる。

ステツプS203では、文字認識対象である１ページ文の
文書をセツトし、画像読取装置101を駆動して読み取
り、その２値画像データをビツトイメージメモリ103に
展開する。次にステツプS204で、文字切り出し回路104
を起動し、ビツトイメージメモリ103に格納されている
文書画像中の各文字パターンの大きさ及び存在位置を検
出する。検出された文字パターンの大きさ及び位置情報
は文字情報メモリ106内に順次格納される。

具体例を示すと、例えば、第３図に示す用な文字パタ
ーン301がビツトイメージメモリ103に展開されていると
する。尚、302は文字パターン301の外接矩形である。

さて、ビツトイメージメモリ103の各画素は（x,y）の
座標値で表わされ、その左上端部の画素位置を原点（0,
0）としている。また、外接矩形302はその左上端の座標
（x_i,y_i）及び大きさw_i,h_iで表され、検出された各文字
のx_i,y_i,w_i,h_iは文字情報メモリ106に格納される。

第４図は文字情報メモリ106の内容を示している。上
述した文字切り出し回路104で得られた各文字の外接矩
形データx_i,y_i,w_i,h_iは文字情報メモリ106の文字番号ｉ
における文字位置部401に格納される。文字番号は文書
中における文字の出現順に1,2,3…と順に付けられる。

さて、次にステツプS205では文字情報メモリ106の文
字位置部にあるx_i,y_i,w_i,h_iを参照し、ビツトイメージ
メモリ103から各文字のパターンをバス113を介して文字
認識回路105に次々に転送し、文字認識処理を行う。そ
して、認識結果で得られた各文字番号ｉに対応する文字
コードを文字情報メモリ106の候補文字部402に格納す
る。一般的に、文字認識装置で１つのパターンに対して
複数の文字コードを認識の確からしさが高い順に出力す
ることが可能であるため、それらの文字コードを確から
しさの高い順にC_i0,C_i1,C_i2…の如く格納する。また、
候補文字の数はその認識回路の能力に依存するが、２番
目以降の候補文字は第１位の候補文字C_i0が誤つていた
場合に、それを訂正するために利用するものである。
尚、上述したステツプS203〜ステツプS205における文字
パターンの切り出しや文字認識そのものは様々な方式が
提案されているので、ここでは、その詳細は割愛する。
また、実施例では、各文字パターンの外接矩形とそのパ
ターンに対する文字コードが得られる文字認識処理であ
れば良いので、文字の切り出し部104と文字コードを生
成する認識部105とが必ずしも明確に分かれている必要
はない。

次に、ステツプS206の処理の内容を説明する。

上述した処理でもつて、各文字パターンの位置及び大
きさ、更には候補文字からなる文字情報が構築される
と、CPU111は文字情報メモリ106内の文字番号ｉが“1"
から“ｎ（注目原稿中の１ページ分の文字数）”まで、
順次x_i,y_i,w_i,h_iで示される文字パターンをビツトイメ
ージメモリ103より読み出し、表示用ビツトイメージメ
モリ109の対応する位置に展開する。尚、先に説明した
様に、実施例におけるビツトイメージメモリ103と表示
用ビツトイメージ109とは同じ大きさでるので、相対的
に同じ位置に展開（表示）されることになるが、これら
の大きさが相違する場合には、間引き或いは補間処理等
を施せば良い。

また、この際、CPU111は文字番号ｉの認識結果である
候補文字コードC_i0の文字パターンをキヤラクタジエネ
レータ107で発生させ、その発生した文字パターンも対
応する表示用ビツトイメージメモリ109に（論理和）展
開する。

例えば、注目している文字番号ｉのビツトイメージメ
モリ103内の文字パターンは“U"であり、認識された候
補文字C_i0が“V"である場合には、第５図に示す様に、
これらが合成された状態で表示されるので、一見して判
読できない状態のパターンが表示されることになる。換
言すれば、判読できない文字が表示された場合には、そ
の文字が誤認識されていることになる。

尚、ビツトイメージメモリ103内の文字パターンの大
きさとキヤラクタジエネレータ107で発生した文字パタ
ーンとの大きさが相違することがあるので、実施例のキ
ヤラクタジエネレータ107には発生させる文字パターン
のコードの他、その大きさ情報w_i,h_iも出力するもので
ある。そして、キヤラクタジエネレータ107はこれらの
情報を受けると、対応する文字コードの文字パターンを
大きさ情報w_i,h_iでもって発生するものである。

第６図に実施例のキヤラクタジエネレータ107の具体
的な構成を示す。

図中、601は文字パターンを記憶しているフオントメ
モリであり、602は各文字コードと対応する文字パター
ンのフオントメモリ601内の格納位置を示す情報x,y（パ
ターンの左上の座標）及びその文字パターンの基準大き
さを示す情報w,hを格納しているフオント参照テーブル
である。603はキヤラクタジエネレータ107全体をコント
ロールするCG制御部であり、後述する手順に従って処理
するものである。また、604は入力バツフアであり、文
字コード及び発生させたい文字パターンの大きさ情報W,
Hを格納するエリアが設けられている。605はCG制御部60
3で指示された座標位置及び大きさの文字パターンを設
定された倍率で読み出すパターン伸縮部であり、このパ
ターン伸縮部605より読み出された文字パターンは出力
バツフア606に展開される。そして、CPU111はこの出力
バツフア606に展開されたパターンを読み出することに
なる。

尚、伸縮部605中のレジスタXf,Yfには読み出そうとし
ている文字パターンの座標位置がセツトされ、レジスタ
Wf,Hfにはその文字パターンの大きさ情報がセツトされ
る。そして、レジスタαには縦方向の伸縮率（＝W/W
f）、レジスタβには横方向の伸縮率（＝H/Hf）がセツ
トされる。また、ここで、W,Hは入力バツフア604にセツ
トされた値である。

さて、以下に、CG制御部60の処理手順を第７図を参照
して説明する。また、以下の説明でP_dは出力バツフア60
6内の座標位置を示し、P_sはXf,Yf,Wf,Hfで示されている
注目文字パターン中の座標位置を示すものである。そし
て、出力バツフア606中の座標をP_d（x,y）とすると、対
応する注目文字パターン中の座標はP_s（α・ｘ＋Xf,β
・ｙ＋Yf）で表わされることになる。

さて、入力バツフア604に発生させたい文字コード及
びその大きさ情報W,Hがセツトされると、先ず、ステツ
プS701で初期値として出力バツフア606中の座標要素x,y
を“0"にクリアする。すなわち、P_d（x,y）が出力バツ
フア606の左上端の画素を指す様にする。

この後、ステツプS702で“ｙ＞H"の不等式を満足する
か否かを判断する。この不等式を満足すると出力バツフ
ア606へのパターン展開が終了したことを意味するか
ら、処理を終える。また、“ｙ≦H"であると判断した場
合には、次のステツプS703で、今度は“ｘ＜W"の不等式
が満足するか否かを判断する、この不等式が満足する場
合には、次のステツプS704に進み、フオントROM中のP_s
（α・ｘ＋Xf,β・ｙ＋Yf）で示される画素（１ビツ
ト）をP_d（x,y）で示される出力バツフア606に論理和転
送する。この後、“x"を１インクリメントし、ステツプ
S703に戻る。

このステツプS703〜ステツプS705の処理を繰り返して
いると、ｘの値が入力バツフア604内にセツトされた
“W"より大きくなるときがくる。すなわち、出力バツフ
ア606中の１ラスタ分のデータ構築が終了することにな
ると、処理はステップS706に進んで、ｘを初期位置に戻
し、ｙを１インクリメントしてステツプS702に戻る。こ
うして、いずれはステツプS702で“ｙ＞H"と判断される
ことになるが、このときには、Xf,Yf,Wf,Hfで示される
文字パターンがW,Hで設定された大きさに変換されて出
力バツフア606に展開されていることになる。すなわ
ち、CPU111は出力バツフア606の座標（0,0）と（Ｗ−1,
H−１）で示される矩形領域パターンを読み込むだけ
で、設定した文字コードに対応する大きさW,Hの文字パ
ターンを得ることが可能となる。

さて、説明を元に戻すが、第２図のフローチヤートの
ステツプS206で、読み出した文字全体に対して、その読
み出した各文字パターンと第１の認識候補の文字との合
成表示がなされると、ステツプS207で、文字の修正処理
を行う。

具体的にはオペレータは例えば、デイスプレイ114に
表示された文字を見て、入力部102を操作することによ
りカーソルを字として認められない様なパターンの位置
に移動させ、その座標位置を入力する（入力された座標
位置をx_m,y_mとする）。

CPU111は入力された座標位置（x_m,y_m）を含む矩形領
域を、文字情報メモリ106中の文字位置部401を参照し
て、該当する文字番号を得る。また、もし座標（x_m,
y_m）が文字矩形部から外れていた場合には、該当する文
字は見つからないので、その座標は無視し、次の座標が
入力されるか、ステツプS207の文字訂正処理の終了指示
があるまで入力待ちとする。

さて、該当する文字の文字番号が“K"であつた場合に
は、表示用ビツトイメージメモリ109のx_k,y_k,w_k,h_kで示
される矩形領域をクリアし、ビツトイメージメモリ103
のx_k,y_k,w_k,h_kの領域のパターンを表示用ビツトイメー
ジメモリに再び転送する。そして候補文字部402の候補
文字コード列C_K0,C_K1,C_K2…の第２位の候補文字C_k1を先
頭に、C_k0を一番最後になるようにローテンシヨンす
る。新しく第１位になつた文字コードに対応するフオン
トをキヤラクタジエネレータ107で生成し、表示用ビツ
トイメージメモリ109の（x_K,y_K）の位置に左上端部が一
致するようにOR演算してストアする。そして、オペレー
タは合成表示されたパターンが文字として認識できるま
で、次候補の表示を促す所定の指示を入力していく。

こうして、オペレータは表示される合成文字パターン
の全てが、文字として妥当なパターンになるまで座標入
力を繰り返し、文字の修正処理を行う。すべての文字の
修正が済んだら修正終了指示を入力装置102よりから指
示し、ステツプS207を終了する。そして、ステツプS208
では文字情報メモリ106に格納されている現在の各第１
候補文字コードC_i0を最終認識結果とし、文字番号１か
ら文字番号ｎまでの文字コードを文字コードメモリ109
に格納する。

以上で１ページ分の認識を終了し、次頁への認識へと
移ることになるが、次ページの最先認識文字コードは、
従前の認識され、文字コードメモリ110に格納された最
終文字コードの直後から順に格納することになる。

＜第２の実施例の説明（第８図）＞上述した実施例においては、読み出した文字と誤認識
した文字との関係が包含関係にあるとき、表示画面を見
てその位置を見落してしまうという危険性がある。

具体的な例を示せば、画像読み取り部101で読み出し
た文字が『Ｆ』で、それを『Ｅ』と認識してしまつた場
合である。この場合、合成表示しても、オペレータはそ
れが文字『Ｅ』である判断してしまうことになる。

これを解決するものとしては、第８図（ａ）に示す様
に、読み出した文字と認識して得られた文字とを別々の
色で表示させる様にすれば良い。

このため、実施例のデイスプレイ114をカラー対応と
し、第８図（ｂ）に示す様に表示用ビツトイメージメモ
リ109の他にもう１つの同じ容量の表示用ビツトイメー
ジメモリ801を備える構成を新たに構築する。

ここで、例えば、表示用ビツトイメージメモリ109の
出力色成分を“緑”にし、表示用ビツトイメージメモリ
801のそれを“赤”にする。そして、ビツトイメージメ
モリ103内の文字パターンは表示用イメージメモリ109に
展開し、認識して得られた文字パターンは表示用ビツト
イメージメモリ801に展開するわけである。これによつ
て、互いに整合する部分の表示色は“黄色”となり、そ
れ以外の部分は、“緑”或いは“赤”となつて表示され
ることになる。従つて、この場合、オペレータは表示画
面を見て、“緑”或いは“赤”が目立つている箇所を探
し出すだけで良いことになる。

また、この場合の修正処理も、表示色が不一致を示す
色（緑や赤）でなくなつた時点を見付ければ良いから、
その表示されている文書の言語を知らない人（例えば日
本語を知らない他言語圏の人）でも容易に誤認識されて
いるか否かを判断し、更には正しく修正操作ができると
いう多大な効果が得られる。

＜第３の実施例の説明（第９図）＞上述した第1,第２の実施例におけるキヤラクタジエネ
レータ107では、各文字を外接矩形で得られるようにフ
オントメモリ601とフオント参照テーブル602を予め互い
に関係付けて準備していた。

ところが、通常の文字フオントメモリには一定の大き
さのフオントパターンが文字コード順に並んでおり、且
つ、各々のフオントパターンの上下左右には所定以上の
余白領域を設けているのが常である。

そこで、この様なフオントパターンを格納しているキ
ヤラクタジエネレータで前述した実施例の処理を行う
と、認識元文字パターンに対して正しく認識しても、そ
れら文字パターンを互いに合成表示する様にすると、整
合しない部分が発生することが考えられる。

そこで、設定された大きさ情報W,Hに完全に合致する
大きさの文字パターンを発生させる様にするため、本第
３の実施例においては、第９図に示す新たなキヤラクタ
ジエネレータ107′を構築した。尚、本第３の実施例に
おける文字パターンを構成する縦横のドツト数は全て同
じであり、各フオントパターンの格納アドレスは文字コ
ードより算出できるものであるから、第６図に示す様な
フオント参照テーブルはない。

さて、図示の構成において、入力バツフア906に格納
された文字コードはCG制御部907で読み出され、フオン
ト抽出部901に出力する。フオント抽出部901は入力され
た文字コードに基づくフオントパターンを読み出して、
文字バツフア902（少なくとも全角文字パターン１文字
分の容量を有する）の左上端を基準として展開する。外
接矩形抽出部903は、展開された文字パターンに外接す
る矩形の大きさWf,Hf及びその外接矩形の文字バツフア9
02の左上端からの座標（Xf,Yf）を得る。この値をCG制
御部605が受けると、パターン伸縮部904の対応するレジ
スタにセツトし、伸縮率α（＝Wf/W）、β（＝Hf/H）も
対応するレジスタにセツトする。以下、第７図のフロー
チヤートに従つて、出力バツフア905上に設定した大き
さの文字パターンを形成することが可能となる。尚、説
明が前後するが、外接矩形抽出部903は文字バツフア902
に展開された文字パターン中の“1"となつているドツト
を、縦及び横方向にスキヤンし、その頻度の分布から文
字パターンの外接矩形の大きさ、及びその外接矩形の文
字バツフア902からの位置を検出する。

以上、説明した様に本実施例によれば、認識して得ら
れた文字が誤認識によるものか否かを容易に判断するこ
とが可能となる。

［発明の効果］以上説明したように本発明によれば、複数の候補文字
各々を原画像と重ねて比較でき、認識結果として正しい
文字を、複数の候補文字の中から容易且つ確実に選択で
きるようになる。

【図面の簡単な説明】

第１図は本実施例における文字認識支援装置のブロツク
構成図、第２図は本実施例における処理手順を示すフローチヤー
ト、第３図は文字パターンの切り出しとその外接矩形を示す
図、第４図は本実施例における文字情報メモリの内容を示す
図、第５図は本実施例における文字パターンの合成処理を示
す図、第６図は本実施例におけるキヤラクタジエネレータ構成
図、第７図は第６図のキヤラクタジエネレータの処理内容を
示すフローチヤート、第８図（ａ）は第２の実施例における文字パターンの合
成の概念を示す図、第８図（ｂ）は第２の実施例のおける文字パターン合成
表示に係る一部構成例を示す図、第９図は第３の実施例のおけるキヤラクタジエネレータ
構成図である。図中、101……画像読み取り部、102……入力装置、103
……ビツトイメージメモリ、104……文字切り出し部、1
05……文字認識部、106……文字情報メモリ、107……キ
ヤラクタジエネレータ、109及び801……表示用ビツトイ
メージメモリ、110……文字コードメモリ、111……CP
U、111a……ROM、111b……RAM、112……I/Oインタフエ
ース、113……システムバス、601及び900……フオント
メモリ、602……フオント参照テーブル、603及び907…
…CG制御部、604及び906……入力バツフア、605及び904
……パターン伸縮部、606及び905……出力バツフア、90
1……フオント抽出部、903……外接矩形抽出部である。

Claims

(57)【特許請求の範囲】

【請求項１】文字の画像情報を認識し、前記認識結果の複数の候補文字を保持し、前記候補文字に対応するパターンと前記認識対象の文字
画像とを合成表示し、他候補表示指示に応じて、従前合成表示されている領域
に、他候補文字に対応する文字パターンと前記認識対象
の文字画像との合成画像を再表示することを特徴とする画像処理方法。