JP3636809B2

JP3636809B2 - 画像処理方法

Info

Publication number: JP3636809B2
Application number: JP05430896A
Authority: JP
Inventors: 秀明山形; 利夫宮澤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-03-12
Filing date: 1996-03-12
Publication date: 2005-04-06
Anticipated expiration: 2016-03-12
Also published as: US5920658A; JPH09245173A

Description

【０００１】
【発明の属する分野】
本発明は、画像処理の分野に係り、特に、文書や帳票の画像の位置合わせ技術及びその関連技術の分野に関する。
【０００２】
【従来の技術】
画像処理分野において、２枚以上の同種の画像を位置合わせしたい場合が少なくない。例えば、ファクシミリで送られてきた帳票の画像中から必要な記載事項を切り出し、文字認識を行うＦＡＸ・ＯＣＲシステムにおいては、受信した画像から必要な記載事項を精度良く切り出すために、それに先だち、受信画像を基準として予め用意された画像（参照画像）と位置合わせする必要がある。このような画像の位置合わせに関しては多くの従来技術が知られているが、その代表的なものを次に述べる。
【０００３】
従来技術１：特開昭６３−３３８８号公報に記載のように、画像上の代表点において、少しずつ画像をずらしてパターンマッチングを行い、類似度の関数を重み係数として用いて画像の位置ずれを検出する。
【０００４】
従来技術２：特公平２−５４４９５号公報に記載のように、Ｘ方向，Ｙ方向の積算射影の最もよく一致するずれ量を算出し、それを画像間のずれ量とする。
【０００５】
従来技術３：特開平４−２６１２５９号公報に記載のように、画像中の所定のマークを形状認識手法により抽出することによって、画像のずれを検出して補正する。
【０００６】
従来技術４：特開平４−３３６６７７号公報に記載のように、ウインドウ領域内でテンプレート画像を動かしながら最もマッチングのとれる位置を探し、それを真の対応点として画像の位置合わせを行う。
【０００７】
【発明が解決しようとする課題】
前記の従来技術１及び従来技術４は、少しずつずらして、その度にマッチング処理を行う必要があるので、計算量が非常に多くなる。ずれ量が大きい場合には、ずらし幅を大きくとらなければならないので、計算量は膨大になる。また、ずらし幅を大きくとった場合には、誤ってローカルピークを検出する恐れがある。
【０００８】
前記従来技術２は、画像の変倍／回転がある場合に精度が落ちる。また、画像の内容が完全に一致しない場合（例えば、空の帳票とデータ記入済みの帳票との位置合わせの場合）、精度の低下が予想される。
【０００９】
前記従来技術３は、帳票の所定の位置に予め所定のマークを印字する必要がある。所定のマークが汚れている場合には形状認識による検出が困難となる。また、所定のマークから遠い部分の補正精度の低下が避けられない。帳票に所定のマークを多数印字すれば、そのような不都合を減らし信頼性を向上させることができるが、帳票のデザインを困難にする。
【００１０】
本発明の目的は、帳票や文書の画像の位置合わせ、画像の特定領域の切り出し、画像の特定領域の文字認識、及びファクシミリで送られてきた画像の必要な情報の抽出を、特定のマークを用いることなく、かつ、比較的少ない計算量で、精度よく行う画像処理方法を提供することである。
【００１１】
【課題を解決するための手段】
本発明では、処理対象画像と参照画像とに共通する複数のパターンを抽出する。ここで抽出されるパターンとは、帳票の特定位置に印字された特定のマークのような限定されたものではなく、任意の位置に印字された任意の文字のようなものでよい。ただし、処理される個々の帳票等のフォームは予め分かっているため、個々の処理対象画像及びその参照画像より抽出され得るパターンの種類は自ずと決まってくる。そして、抽出されたパターンに関し、該参照画像と該処理対象画像の対応した同一のパターンを検出し、該対応したパターンの相互の位置関係を求め、該位置関係に基づき該処理対象画像と該参照画像との位置合わせのための補正式を決定する。
【００１２】
そして、本発明では、特に、該検出された該参照画像と該処理対象画像の対応した同一のパターンの中で、該処理対象画像上に相互の距離が第１の閾値より小さい同一パターンが存在する場合、当該パターンを除外し、該除外した残りの該参照画像と該処理対象画像の対応した同一のパータンについて相互の位置関係を求め、該位置関係に基づき該処理対象画像と該参照画像との位置合わせのための補正式を決定する。また、本発明では、該検出された該参照画像と該処理対象画像の対応した同一のパターンの中で、該処理対象画像上のパターンと該参照画像上の同じパターンとの中心間距離が第２の閾値より大きい場合、当該パターンをさらに除外する。該第２の閾値は該第１の閾値より小さい値とする。
【００１３】
また、本発明では、該参照画像のパターンと該処理対象画像のパターンとの同一性判断のためのパターンマッチングを、該参照画像のパターンと該処理対象画像のパターンを重ね合わせる基準位置を異ならせた複数の異なった重ね合わせ条件で行い、当該２つのパターンの位置関係として、そのパターンマッチングにおいて最も良好な類似度が得られた重ね合わせ条件において当該パターンそれぞれの重なり合った領域の中心又は重心の位置関係を求める。
【００１４】
また、本発明では、該補正式に従って該処理対象画像を補正した補正画像を生成し、予め与えられた該参照画像上の文字画像存在領域の座標に基づいて該補正画像より文字画像を切り出す。また、本発明では、予め与えられた該参照画像上の文字画像存在領域の座標を該補正式に従って補正し、該補正後の座標に基づいて該処理対象画像より文字画像を切り出す。そして、該処理対象画像より切り出された文字画像に対し文字認識を行う。
【００１５】
また、本発明では、ファクシミリにより送られてきた画像を該処理対象画像として処理する。
【００１６】
【発明の実施の形態】
本発明の実施の形態を明らかにするため、図面を参照し本発明の実施例を説明する。
【００１７】
図１は本発明によるＦＡＸＯＣＲ装置の構成例を示す概略ブロック図である。このＦＡＸＯＣＲ装置は、ファクシミリにより送られてきた帳票の画像を取り込み、この画像（入力画像）と同種帳票の参照画像とを位置合わせした後、入力画像中の必要な記載事項を切り出し、文字認識処理を行ってデータとして出力するものである。このＦＡＸＯＣＲ装置は、画像入力部１０１と、画像位置合わせ部１０２と、認識処理部１１６とに大きく分けられる。画像位置合わせ部１０２は、入力画像メモリ１０３、パターン抽出部１０５、同一パターン抽出部１０７、参照画像パターンメモリ１０９、対応点検出部１１１、画像補正部１１３及び補正画像メモリ１１５により構成される。認識処理部１１６は文字画像切り出し部１１７、文字画像領域メモリ１１９及び文字認識部１２１からなる。
【００１８】
ここでは、図３に示す帳票の画像を入力画像、図４に示す未記入の同種帳票の画像を参照画像として説明する。参照画像は画像全体を保存しておく必要はなく、図５に示すような形で参照画像情報が参照画像パターンメモリ１０９に保存されている。すなわち、予め参照画像中の黒ランの連結成分の外接矩形を抽出し、その中から選択した外接矩形内の画像（パターン）、該外接矩形の左上コーナーと右下コーナーの座標、及び、各パターンに割り当てられたパターン番号が保存されている。なお、参照画像パターンメモリに保存されるパターンは、幅及び高さが共に８画素より大きく１２８画素より小さい範囲のものとされる。
【００１９】
以下、このＦＡＸＯＣＲ装置の処理内容を説明する。図２は、その処理の流れを示すフローチャートである。
【００２０】
画像入力部１０１は、ファクシミリによって送られてきた入力画像を画像位置合わせ部１０２で処理可能な形態で入力画像メモリ１０３に取り込む（ステップＳ１）。
【００２１】
パターン抽出部１０５では、入力画像メモリに取り込まれた入力画像中から黒ランの連結成分を抽出し、その外接矩形が適当な大きさであるか判定し、適当な大きさの外接矩形の画像をパターンとして同一パターン抽出部１０７へ出力する（ステップＳ２）。本実施例では外接矩形の幅Ｗ及び高さＨが
８＜Ｗ＜１２８かつ８＜Ｈ＜１２８
の条件を満たしたとき、適当な大きさであると判断される。なお、幅、高さの値は画素数換算値である。この大きさの範囲に普通の大きさの文字や数字が含まれる。パターンが大きくなるとパターンマッチングのための計算量が増加するが、この程度の大きさ範囲のパターンならば、その計算量は比較的少ない。
【００２２】
同一パターン抽出部１０７では、パターン抽出部１０５より入力されたパターンが、参照画像パターンメモリ１０９内のパターンのいずれかと同一であるか調べ、同一パターンが見つかった時に、そのパターンと同じパターン番号を入力パターンに割り当てる（ステップＳ３）。本実施例においては、このパターンの同一性判断は「Ｗilliam Ｈ．Ｐress他，”Ｎumerical Ｒecipes in Ｃ”，ＣＡＭＢＲＩＤＧＥＵＮＩＶＥＲＳＩＴＹＰＲＥＳＳ，ＰＰ．６７１−６８１」（文献１）に述べられているパターンマッチング法によって行われる。ただし、本実施例では、同一サイズと見なせるパターンについてのみマッチングを行い、サイズが異なるパターンはマッチングを行うことなく同一でないと判断する。
【００２３】
なお、ファクシミリにより送られてくる画像は、送信側で自動的にページ頭に付加されるヘッディング文字列のサイズの違い、原稿搬送系の搬送誤差等により多少変倍され、普通、その変倍率は０．９５〜１．０７倍程度である。この程度の変倍率の範囲であれば、かつ、パターンサイズを上記の範囲程度に制限すれば、入力画像の変倍をそのままにしてもパターンマッチングに格別支障はない。
【００２４】
図３に示した入力画像に対するパターン番号割り当て結果を図６に示す。図７は、図４に示した参照画像に対するパターン番号の割り当てを示している。
【００２５】
対応点検出部１１１においては、同一パターン抽出部１０７によって同一パターンと判断されたパターンより、画像の位置ずれ、回転又は変倍の検出に利用可能と判断されるパターン（補正検出パターン）を段階的に選び出す。ここに述べる画像の例では、パターン番号１〜１２のパターンをとりあえず補正検出パターンとし、その中の不適当なパターンを除去し残ったパターンを最終的に補正検出パターンとして利用する。
【００２６】
まず、補正検出パターンの中で、入力画像において距離の近い同一パターンが存在する場合、そのパターンを補正検出パターンから除去する（ステップＳ４）。本実施例では、入力画像中の同一のパターンの中心間の距離Ｄが閾値Ｔｈ１より大きい場合、すなわち
Ｄ＜５１２
の条件を満たす場合に、そのパターンを補正検出パターンから除去する。このような接近した同一パターンを排除するのは、入力画像のパターンと参照画像のパターンとの対応付けの誤りを避けるためである。
【００２７】
ここで述べる画像例では、入力画像上のパターン番号４の２個のパターン間の距離が２１４（画素）であるので、パターン番号４のパターンは補正検出パターンから除去される。かくして、この段階で、パターン番号１〜３，５〜１２のパターンが補正検出パターンとなった。なお、この例の場合、参照画像上でもパターン番号４のパターンは中心間距離が近いので、そのパターンを予め参照画像パターンメモリから除去しておく方法を採ってもよい。
【００２８】
さらに、この段階までに補正検出パターンとされたパターンの中で、入力画像上に一定数以上存在するパターンは、参照画像上の対応パターンのとり違いが起こりやすいため、補正検出パターンから除去する（ステップＳ５）。本実施例では、入力画像上に存在するあるパターンの個数Ｎが
Ｎ＞２
の条件を満たす場合に、そのパターンを補正検出パターンから除外する。ここで述べる入力画像の例では、この段階までに補正検出パターンとされたパターンはどれも１個ずつしかないので、ここで除去されるパターンはない。
【００２９】
次に、補正検出パターンとされたパターンの中で、画像の複雑度が低いパターンは、ノイズ等と間違われる可能性が高いため補正検出パターンから除外する
（ステップＳ６）。本実施例では、パターンの幅と高さの大きい方をＬｒとし、また、パターンの縦方向と横方向のラインの中で黒ランが２個以上あるラインの合計数をＮrunとしたときに、
Ｎrun＜Ｌr×１２
の条件を満たすパターンを、補正検出パターンから除外する。ここに述べる画像の例では、かかる条件を満たす補正検出パターンはない。
【００３０】
最後に、補正検出パターンとされた入力画像上のパターンと参照画像上の同じパターンとの中心間距離Ｎが、ある閾値Ｔｈ２より大きい場合、そのパターンを補正検出パターンから除外する（ステップＳ７）。この閾値Ｔｈ２は前記（ステップＳ４）の閾値Ｔｈ１より小さい値とされる。本実施例では、その閾値Ｔｈ２は２５６（画素）にえらばれ、
Ｄ＞２５６
の条件を満たすパターンを補正検出パターンから除外する。ここで述べる画像の例には、かかる条件を満たすパターンはない。したがって、パターン番号１〜３，５〜１２のパターンが最終的に補正検出パターンとして抽出される。
【００３１】
対応点検出部１１１は、以上のようにして抽出した各補正検出パターンについて、入力画像上のパターン重心と参照画像上のパターン重心を対応点として算出し、その座標を画像補正部１１３に出力する（ステップＳ８）。対応点検出結果を図８に示す。図８において、各矢線により指される入力画像上の１点と参照画像上の１点が１組の対応点を意味する。なお、前記ステップＳ７の処理は、参照画像と入力画像の対応パターンの検索を距離Ｔｈ２の範囲内に制限することと実質的に等しい。このように検索範囲を制限することにより、パターン対応付けの誤りを減らすことができる。
【００３２】
画像補正部１１３においては、対応点検出部１１１により検出された入力画像と参照画像の対応点間のずれを算出し、両画像の位置合わせのための補正関数を求める（ステップＳ９）。この補正関数の算出には、例えば米国特許第５，３０３，３１３号の方法を用いることができる。本実施例では、補正関数としてアフィン変換を用いるものとし、想定した画像例に対し米国特許第５，３０３．３１３号の手法により次の補正式が得られたとする。ただし、（Ｘｔ，Ｙｔ）は補正後の座標系、（Ｘｉ，Ｙｉ）は入力画像の座標系とする。
【００３３】
【数１】

【００３４】
そして、画像補正部１１３は、この補正式によって入力画像を参照画像と位置合わせするように補正した画像を補正画像メモリ１１５上に作成する（ステップＳ１０）。具体的に述べれば、例えば補正画像上の座標（２９８１，３８６４）の画素値を算出する際には、（１）式により入力画像上の対応座標を計算すると、（３１５８，３８６４）となるので、入力画像の（３１５８，３８６４）の画素値を補正画像の（２９８１，３８６４）の画素値とする。同様の手順で補正画像の全ての画素について入力画像を参照して画素値を算出することにより、参照画像に対し、入力画像に位置ずれ／回転／変倍があっても、その補正画像のフォームは参照画像のフォームと同じ位置に来るようになる。
【００３５】
このようにして、入力画像と参照画像の対応点のずれを打ち消すように入力画像を参照画像に位置合わせした補正画像が得られると、文字画像切り出し部１１７において、文字画像領域メモリ１１９に格納されている文字画像存在領域のデータを参照して補正画像から文字画像存在領域の画像を切り出し、切り出した画像を文字認識部１２１に出力する（ステップＳ１１）。
【００３６】
図９に、文字画像領域メモリ１１９内のデータと、補正画像からの文字画像切り出し結果とを関連付けて示す。図示のように、文字画像領域メモリ１１９の内容は文字画像存在領域（矩形）の対角２頂点の座標、属性及びデータ番号からなる。
【００３７】
文字認識部１２１においては、文字画像切り出し部１１７より入力した画像に対する文字認識処理を行い、認識結果の文字コードとデータ番号を出力する（ステップＳ１２）。この出力データ、文字認識結果、文字画像切り出し結果とを関連付けて図１０に示す。ＦＡＸＯＣＲによる受発注システムでは、この出力データに基づいて受発注業務を自動処理する。
【００３８】
なお、前記実施例においては、パターン抽出部１０５は黒ラン連結成分の外接矩形内画像をパターンとして抽出した。本発明の他の実施例においては、一塊の黒ラン連結成分がパターンとして抽出される。この場合、同一パターン抽出部１０７においては、抽出した黒ランをラン単位で参照画像のパターンと上のラインから順次比較するマッチング方法（例えば米国特許第５，３０３，３１３号に述べられているパターンマッチング方法）が採用される。黒ラン連結成分の外接矩形内画像には、本来のパターン以外の汚れが含まれる危険があるが、黒ラン連結成分そのものをパターンとして抽出するならば、そのような汚れの混入を避けられる。
【００３９】
前記実施例においては、同一パターン抽出部１０７で大きさの異なるパターンは異なるパターンと判断したが、大きさが多少異なっていても同一パターンと判断する方法を採用することも可能である。そのような場合には、最も類似度が高くなる時のパターンの中心（又は重心）を対応点として出力する方が精度を向上させるために好ましい。本実施例の他の実施例においては、例えば図１１に示すように、２つのパターンＰ１，Ｐ２（いずれか一方が参照画像のパターン、他方が入力画像のパターン）を、左上角を一致させる重ね合わせ条件（ａ）、左下角を一致させる重ね合わせ条件（ｂ）、右上角を一致させる重ね合わせ条件（ｃ）、右下角を一致させる重ね合わせ条件（ｄ）で、パターンマッチングを行う。これら４つの重ね合わせ条件の中で得られた類似度の中で、最も良い類似度で同一性を判断する。そして、Ｐ１，Ｐ２が同一パターンと判断され、かつ対応するパターンである場合、最も良い類似度が得られた重ね合わせ条件において、Ｐ１（小さい方のパターン）の中心（又は重心）と、Ｐ２のＰ１と重なり合った領域の中心（又は重心）を対応点として出力する。
【００４０】
前記実施例においては、入力画像の補正画像を生成し、この補正画像より文字画像の領域を切り出したが、本発明の他の実施例においては、文字画像領域メモリ１１９内の文字画像存在領域の座標に対して対応点間の位置ずれを打ち消すように補正を施し、補正後の座標に従って入力画像より文字画像領域を切り出す。このような補正に必要な計算量は、入力画像全体の補正画像を生成するよりも遥かに少なくなる。このような実施例は、文字認識部１２１のスキューに対する頑強性が高い場合に適する。
【００４１】
本発明の別の実施例においては、入力画像の補正画像と参照画像との排他的論理和をとることにより、入力画像の文字画像存在領域（認識すべき記載事項の記入領域）だけを残した画像を得る。そして、この排他論理和画像に対し通常の文字切り出し、文字認識を行って、必要な記載事項の内容を抽出する。
【００４２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ファクシミリで送られてくる帳票等の画像のように位置ずれ、回転、変倍のある処理対象画像を参照画像に精度よく位置合わせし、処理対象画像の必要な文字画像を抽出し認識する事ができる。本発明においては、処理対象画像と参照画像に共通するパターンを抽出し、その対応したパターン相互の位置関係を利用するが、請求項１〜４記載の発明によればパターンの誤対応が減るため位置関係の検出精度が向上し、また、請求項５記載の発明によれば対応パターンの大きさに多少違いがある場合にも位置関係の検出精度が向上し、したがって位置合わせの精度が向上する。また、例えば、請求項７記載の発明によれば、位置合わせ補正の計算量が少なくて済む。
【００４３】
本発明によれば、帳票等の画像の参照画像に対する位置ずれ、回転又は変倍の検出に帳票等に分散した文字等のパターンを利用できるため、帳票等の特定位置に特定のマークを印字する必要がなく、前述したような特定マークを利用する従来方法のような問題点を解決できる。また、利用するパターンの大きさを制限すれば、帳票等の画像上のパターンと参照画像上のパターンとの同一性判断のためのパターンマッチングに必要な計算量は比較的少なくでき、パターンをずらしながらパターンマッチングをする前述の従来方法にくらべ必要な計算量を大幅に減らすことができる。
【図面の簡単な説明】
【図１】本発明によるＦＡＸＯＣＲ装置の概略ブロック図である。
【図２】本発明によるＦＡＸＯＣＲ装置の処理を説明するためのフローチャートである。
【図３】入力画像の一例を示す図である。
【図４】参照画像の一例を示す図である。
【図５】参照画像パターンメモリ内のデータの一例を示す図である。
【図６】入力画像に対するパターン番号割り当て結果を示す図である。
【図７】参照画像に対するパターン番号割り当てを示す図である。
【図８】対応点検出結果を示す図である。
【図９】文字画像領域メモリの内容、補正画像及び文字画像切り出し結果を関連付けて示す図である。
【図１０】文字画像切り出し結果、文字認識結果及び出力データを関連付けて示す図である。
【図１１】異なった重ね合わせ条件でのパターンマッチングの例を説明するための図である。
【符号の説明】
１０１画像入力部
１０２画像位置合わせ部
１０３入力画像メモリ
１０７パターン抽出部
１０９参照画像パターンメモリ
１１１対応点検出部
１１３画像補正部
１１５補正画像メモリ
１１６文字認識処理部
１１７文字画像切り出し部
１１９文字画像領域メモリ
１２１文字認識部

Claims

処理対象画像と参照画像とに共通する複数のパターンを抽出し、
該抽出されたパターンに関し、該参照画像と該処理対象画像の対応した同一のパターンを検出し、
該検出された該参照画像と該処理対象画像の対応した同一のパターンの中で、該処理対象画像上に相互の距離が第１の閾値より小さい同一パターンが存在する場合、当該パターンを除外し、
該除外した残りの該参照画像と該処理対象画像の対応した同一のパータンについて相互の位置関係を求め、
該位置関係に基づき該処理対象画像と該参照画像との位置合わせのための補正式を決定することを特徴とする画像処理方法。
請求項１記載の画像処理方法において、
該検出された該参照画像と該処理対象画像の対応した同一のパターンの中で、該処理対象画像上のパターンと該参照画像上の同じパターンとの中心間距離が第２の閾値より大きい場合、当該パターンをさらに除外することことを特徴とする画像処理方法。
請求項２記載の画像処理方法において、
該第２の閾値は該第１の閾値より小さい値とすること特徴とする画像処理方法。
請求項１記載の画像処理方法において、
該検出された該参照画像と該処理対象画像の対応した同一のパターンの中で、該処理対象画像上に同一のパターンが所定の個数以上存在する場合、当該パターンをさらに除外することを特徴とする画像処理方法。
請求項１記載の画像処理方法において、該参照画像のパターンと該処理対象画像のパターンとの同一性判断のためのパターンマッチングを、該参照画像のパターンと該処理対象画像のパターンを重ね合わせる基準位置を異ならせた複数の異なった重ね合わせ条件で行い、当該２つのパターンの位置関係として、そのパターンマッチングにおいて最も良好な類似度が得られた重ね合わせ条件において当該パターンそれぞれの重なり合った領域の中心又は重心の位置関係を求めることを特徴とする画像処理方法。
請求項１乃至５のいずれか１項に記載の画像処理方法において、該補正式に従って該処理対象画像を補正した補正画像を生成し、予め与えられた該参照画像上の文字画像存在領域の座標に基づいて該補正画像より文字画像を切り出すことを特徴とする画像処理方法。
請求項１乃至５のいずれか１項に記載の画像処理方法において、予め与えられた該参照画像上の文字画像存在領域の座標を該補正式に従って補正し、該補正後の座標に基づいて該処理対象画像より文字画像を切り出すことを特徴とする画像処理方法。
請求項６又は７記載の画像処理方法において、該処理対象画像より切り出された文字画像に対して文字認識を行うことを特徴とする画像処理方法。
請求項８記載の画像処理方法において、ファクシミリにより送られてきた画像を該処理対象画像として処理することを特徴とする画像処理方法。