JPH10208040A

JPH10208040A - 画像処理方法及び記録媒体

Info

Publication number: JPH10208040A
Application number: JP9006337A
Authority: JP
Inventors: Hideaki Yamagata; 秀明山形
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1997-01-17
Filing date: 1997-01-17
Publication date: 1998-08-07
Anticipated expiration: 2017-01-17
Also published as: JP3640488B2

Abstract

(57)【要約】【課題】特定の枠等を用いることなく、少ない計算量
で、カラー帳票等の画像の位置ずれ、回転、変倍を補正
する。【解決手段】パターン抽出部１０５でカラー帳票等の
画像（１０３）より所定の大きさ範囲のパターンを抽出
し、同一パターン抽出部１０７で参照画像のパターン
（１０９）と形状及び色の両方が同一のパターンを見つ
ける。対応点検出部１１１で、入力画像と参照画像の対
応したパターンの重心を検出する。画像補正部１１３は
対応パターンの重心位置間のずれを算出して補正式を決
定し、この補正式に従って入力画像の補正画像（１１
５）を生成し、文字画像切り出し部１１７で参照画像の
文字画像存在領域の座標（１１９）に基づき補正画像よ
り文字画像を切り出し、文字認識部１２１で文字認識す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理の分野に
係り、より詳細には、カラー帳票等のカラー画像の位置
合わせ技術及びその関連技術の分野に関する。

【０００２】

【従来の技術】画像処理分野において、２枚以上の同種
の画像を位置合わせしたい場合が少なくない。例えば、
ファクシミリ受信した帳票の画像中から必要な記載事項
を切り出し、文字認識を行うＦＡＸＯＣＲシステムにお
いては、受信した画像から必要な記載事項を精度良く切
り出すために、文字画像の切り出し処理に先だって、受
信画像を、基準として予め用意された画像（参照画像）
と位置合わせする必要がある。

【０００３】このような画像の位置合わせに関しては多
くの従来技術が知られているが、その中で本発明の内容
と最も密接に関連すると思われるものとして、特開平７
−１９２０８７号公報に述べられているものがある。こ
の従来技術においては、帳票の特定位置に印刷された非
読み取り領域枠の上下左右辺の位置情報と読み取り領域
の位置情報を予めメモリに格納しておく。そして、処理
しようとする帳票の画像を入力し、その入力画像より非
読み取り領域枠の上下左右辺の位置を検出し、検出した
位置の情報と、メモリに記憶されている非読み取り領域
枠の位置情報とを比較することによって、位置補正デー
タを求める。この位置補正データに従ってメモリに保存
されている読み取り領域の位置情報を補正し、補正後の
位置情報に基づいて入力画像の読み取り領域のイメージ
切り出しを行う。これは実質的には、位置補正データに
従って、入力画像を基準位置に位置合わせしてイメージ
切り出しを行うことと等価である。

【０００４】

【発明が解決しようとする課題】上記従来技術は、帳票
の特定の位置に印刷された非読み取り領域枠を位置ずれ
検出に利用するため、そのような枠が印刷されていない
帳票の画像の位置合わせには適用できない。また、位置
ずれ検出に利用可能な枠が印刷されていたとしても、そ
の印刷位置によっては十分な位置合わせ精度を得られな
い。十分な位置合わせ精度を得ようとすると、そのよう
な枠を適当な位置に適当な数だけ印刷しておく必要があ
り、帳票設計の自由が制限される。

【０００５】また、帳票をカラー印刷し、印刷色の違い
により帳票を使い分けをすることがある。しかし、上記
従来技術及びその他の従来技術は、帳票画像の位置合わ
せ処理において、帳票の色の違いを考慮していなかっ
た。

【０００６】本発明の目的は、上記従来技術のような位
置ずれ検出用の枠等を格別に帳票等に印刷しておくこと
なく、カラー帳票等の画像の位置合わせ、特定領域の切
り出し等の画像処理を精度よく行うことが可能な画像処
理方法を提供することである。本発明のもう一つの目的
は、そのような画像の処理において、印刷色の異なる帳
票等のとり違いによるトラブルを回避することである。

【０００７】

【課題を解決するための手段】請求項１記載の発明の画
像処理方法の骨子は、処理対象画像より、参照画像中の
パターンと形状及び色の両方が同一のパターンを抽出
し、処理対象画像及び参照画像における対応した同一の
パターンの相互の位置関係を求め、求められた位置関係
に基づき処理対象画像と参照画像との位置合わせのため
の補正式を決定することである。抽出されるパターン
は、帳票の特定位置に印刷された特定の枠のような限定
されたものではなく、任意の位置に印字された任意の文
字のようなパターンでよい。ただし、処理される個々の
帳票のフォーマット及び色は予め分かっているため、特
定の帳票の画像（処理対象画像及び参照画像）より抽出
されるパターンの種類は自ずと決まってくる。請求項２
記載の発明によれば、抽出されたパターンが所定数より
少ないときに異常と判断され、警報が発せられ処理は中
止される。

【０００８】請求項３記載の発明によれば、請求項１記
載の発明の画像処理方法において、処理対象画像より同
じパターンが２個以上抽出された場合に、当該パターン
相互の距離が第１の距離閾値より小さいときには、当該
パターンは位置関係を求めるためのパターンから除外さ
れる。

【０００９】請求項４記載の発明によれば、請求項１記
載の発明の画像処理方法において、処理対象画像より同
じパターンが２個以上抽出された場合に、当該パターン
相互の距離が第１の距離閾値より小さいときには、当該
パターンを位置関係を求めるためのパターンから除外さ
れ、処理対象画像と参照画像との間において対応付けす
るパターンの検索範囲は第１の距離閾値より小さい一定
の距離範囲内に制限される。

【００１０】請求項５記載の発明によれば、請求項１記
載の発明の画像処理方法において、処理対象画像より同
じパターンが所定の個数以上抽出された場合、当該パタ
ーンは位置関係を求めるためのパターンから除外され
る。

【００１１】請求項６記載の発明によれば、請求項１記
載の発明の画像処理方法において、画像の複雑度が所定
の程度より低いパターンは位置関係を求めるためのパタ
ーンから除外される。

【００１２】請求項７記載の発明によれば、請求項１記
載の発明の画像処理方法において、対応パターン相互の
位置関係を求めるためのパターンは、大きさが一定の範
囲内のパターンに制限される。

【００１３】請求項８記載の発明によれば、請求項１記
載の発明の画像処理方法において、処理対象画像中のパ
ターンと参照画像中のパターンとの同一性判断のための
パターンマッチングは複数の異なった重ね合わせ条件で
行われ、当該２つのパターンの位置関係として、そのパ
ターンマッチングにおいて最も良好な類似度が得られた
重ね合わせ条件において当該パターンそれぞれの重なり
合った領域の中心又は重心の位置関係が求められる。

【００１４】請求項９記載の発明によれば、請求項１乃
至８のいずれか１項に記載の発明の画像処理方法におい
て、決定された補正式に従って処理対象画像を参照画像
に対し位置合わせした補正画像が生成され、この補正画
像より、予め与えられた参照画像上の文字画像存在領域
の座標に基づいて文字画像が切り出される。

【００１５】請求項１０記載の発明によれば、請求項１
乃至８のいずれか１項に記載の画像処理方法において、
決定された補正式に従って、予め与えられた参照画像上
の文字画像存在領域の座標が補正され、この補正後の座
標に基づいて処理対象画像より文字画像が切り出され
る。

【００１６】

【発明の実施の形態】次に、本発明の実施形態を図面を
参照し説明する。

【００１７】図１は本発明による画像処理装置の一例を
示す概略ブロック図である。この画像処理装置は例えば
ＦＡＸＯＣＲシステムに利用し得るもので、ファクシミ
リから送られてきた帳票のカラー画像等を取り込み、こ
のカラー入力画像と同種帳票の参照画像とを位置合わせ
した後、カラー入力画像中の必要な領域を切り出し、文
字認識処理を行ってデータとして出力するものである。
この画像処理装置は、画像入力部１０１と、画像位置合
わせ部１０２と、認識処理部１１６とに大きく分けられ
る。画像位置合わせ部１０２は、入力画像メモリ１０
３、パターン抽出部１０５、同一パターン抽出部１０
７、参照画像パターンメモリ１０９、対応点検出部１１
１、画像補正部１１３及び補正画像メモリ１１５により
構成される。認識処理部１１６は文字画像切り出し部１
１７、文字画像領域メモリ１１９及び文字認識部１２１
からなる。

【００１８】ここでは、図３に示す帳票の画像を入力画
像、図４に示す未記入の同種帳票の画像を参照画像とし
て説明する。いずれの画像もカラー画像であるが、作図
上の制約から白黒画像として表されている（他の図面に
おいても同様である）。

【００１９】参照画像は画像全体を保存しておく必要は
なく、図５に示すような形で参照画像情報が参照画像パ
ターンメモリ１０９に保存されている。すなわち、予め
参照画像中の非白ラン（Ｒ，Ｇ又はＢの濃度値が一定値
を超えるラン、白黒画像の黒ランに相当）の連結成分の
外接矩形を抽出し、その中から選択した外接矩形内の画
像（パターン）、該外接矩形の左上コーナーと右下コー
ナーの座標、及び、各パターンに割り当てられたパター
ン番号が保存されている。なお、参照画像パターンメモ
リに保存されるパターンの大きさは、本実施例では幅及
び高さが共に８画素より大きく１２８画素より小さい範
囲のものとされる。

【００２０】以下、この画像処理装置における処理内容
を説明する。図２は、その処理の流れを示すフローチャ
ートである。

【００２１】画像入力部１０１は、例えばファクシミリ
によって送られてきたカラー入力画像を画像位置合わせ
部１０２で処理可能な形のイメージデータとして取り込
み、入力画像メモリ１０３に格納する（ステップＳ
１）。本実施例では、このカラー入力画像データはＲＧ
Ｂデータである。

【００２２】パターン抽出部１０５では、入力画像メモ
リ１０３に取り込まれたカラー入力画像中から非白ラン
（Ｒ，Ｇ又はＢの濃度値が一定値を超えるラン）の連結
成分を抽出し、その外接矩形が適当な大きさであるか判
定し、適当な大きさを持つ外接矩形の画像をパターンと
して同一パターン抽出部１０７へ出力する（ステップＳ
２）。本実施例では外接矩形の幅Ｗ及び高さＨが８＜Ｗ＜１２８かつ８＜Ｈ＜１２８の条件を満たしたとき、適当な大きさであると判断され
る。なお、幅、高さの値は画素数換算値である。この大
きさの範囲に普通の大きさの文字や数字が含まれる。パ
ターンが大きくなるとパターンマッチングのための計算
量が増加するが、この程度の大きさ範囲のパターンなら
ば、その計算量は比較的少ない。

【００２３】同一パターン抽出部１０７では、パターン
抽出部１０５より入力されたパターンが、参照画像パタ
ーンメモリ１０９内のパターンのいずれかと、形状及び
色の両面で同一であるか調べ、同一パターンが見つかっ
た時に、そのパターンと同じパターン番号を入力パター
ンに割り当てる（ステップＳ３）。

【００２４】この形状と色の両面についてのパターンの
同一性判断には、様々な手法を利用可能であるが、その
例を次に述べる。なお、本実施例では、同一サイズと見
なせるパターン間についてのみ同一性判断を行い、サイ
ズが異なるパターンは同一性判断のための処理の対象外
とする。

【００２５】第１の手法は、パターンの形状と色の同一
性を別々に判断する方法である。まず、比較すべき二つ
のパターンの色の相違度Ｄｃを次式により計算する。

【００２６】

【数１】

【００２７】ここで、Ｒｒ及びＲｉはそれぞれ参照画像
のパターン及び入力画像のパターンの対応画素のＲの濃
度値、ＧｒおよびＧｉはそれぞれ参照画像のパターン及
び入力画像のパターンの対応画素のＧの濃度値、Ｂｒ及
びＢｉは参照画像のパターン及び入力画像のパターンの
対応画素のＢの濃度値である。

【００２８】算出された色相違度Ｄｃが所定の閾値を超
える場合、それらのパターンは同一でないと判断する。
色相違度Ｄｃが所定の閾値以下であるときに、それらの
パターンについて形状の同一性を判断する。このパター
ンの形状の同一性判断は、公知の様々なパターンマッチ
ング法で行うことができる。例えば、各パターンの各画
素のＲ，Ｇ，Ｂ各濃度値から明度値を計算し、各パター
ンの明度のデータを用いて、米国特許第５，３０３，３
１３号明細書（参考文献１）に述べられているようなパ
ターンマッチング処理を行う。このパターンマッチング
処理で同一と判断された場合に、当該二つのパターンを
同一パターンと判断する。

【００２９】なお、ファクシミリにより送られてくる画
像は、送信側で自動的にページ頭に付加されるヘッディ
ング文字列のサイズの違い、原稿搬送系の搬送誤差等に
より多少変倍され、普通、その変倍率は０．９５〜１．
０７倍程度である。この程度の変倍率の範囲であれば、
パターンサイズを上記の範囲程度に制限した場合には、
入力画像の変倍をそのままにしてもパターンマッチング
に格別支障はない。

【００３０】パターンの同一性判断の第２の手法は、パ
ターンの形状と色の同一性を同時に判断する方法であ
る。例えば、米国特許第５，３０３，３１３号明細書に
述べられているパターンマッチング処理を、Ｒ，Ｇ，Ｂ
の各色別に行う。Ｒ，Ｇ，Ｂのどれか一色のパターンマ
ッチングで同一でないと判断された場合、当該パターン
を同一でないと判断する。Ｒ，Ｇ，Ｂの全部のパターン
マッチングで同一と判断された場合にのみ、当該パター
ンを形状及び色が同一と判断する。

【００３１】図３に示した入力画像に対するパターン番
号割り当て結果を図６に示す。図７は、図４に示した参
照画像に対するパターン番号の割り当てを示している。

【００３２】このようにして抽出されたパターンの数が
所定値を超えたか調べる（ステップＳ４）。抽出パター
ン数が所定値以下の場合、色違いの帳票のとり違いであ
る可能性が高い、つまり入力画像と参照画像がそれぞれ
異なった印刷色の帳票のものである可能性が高いため、
異常と判断し、エラー警報を出し（ステップＳ５）、処
理は異常終了する。なお、このような異常判断は、ステ
ップＳ６〜Ｓ１０の適当な段階で行ってもよい。

【００３３】ステップＳ４でパターン数が所定値を超え
たと判断された場合、以下の処理に進む。対応点検出部
１１１においては、同一パターン抽出部１０７によって
同一パターンと判断されたパターンより、画像の位置ず
れ、回転又は変倍の検出に利用可能と判断されるパター
ン（補正検出パターン）を段階的に選び出す。ここに述
べる画像の例では、パターン番号１〜１２のパターンを
とりあえず補正検出パターンとし、その中の不適当なパ
ターンを除去し残ったパターンを最終的に補正検出パタ
ーンとして利用する。

【００３４】まず、補正検出パターンの中で、入力画像
において距離の近い同一パターンが存在する場合、その
パターンを補正検出パターンから除去する（ステップＳ
６）。

【００３５】本実施例では、入力画像中の同一のパター
ンの中心間の距離Ｄが閾値Ｔｈ１（本実施例ではＴｈ１
＝５１２）よりより小さい場合、すなわちＤ＜５１２の
条件を満たす場合に、そのパターンを補正検出パターン
から除去する。このような接近した同一パターンを排除
するのは、入力画像のパターンと参照画像のパターンと
の対応付けの誤りを避けるためである。

【００３６】ここで述べる画像例では、入力画像上のパ
ターン番号４の２個のパターン間の距離が２１４（画
素）であるので、パターン番号４のパターンは補正検出
パターンから除去される。かくして、この段階で、パタ
ーン番号１〜３，５〜１２のパターンが補正検出パター
ンとなった。なお、この例の場合、参照画像上でもパタ
ーン番号４のパターンは中心間距離が近いので、そのパ
ターンを予め参照画像パターンメモリから除去しておく
方法を採ってもよい。

【００３７】さらに、この段階までに補正検出パターン
とされたパターンの中で、入力画像上に一定数以上存在
するパターンは、参照画像上の対応パターンのとり違い
が起こりやすいため、補正検出パターンから除去する
（ステップＳ７）。本実施例では、入力画像上に存在す
るあるパターンの個数ＮがＮ＞２の条件を満たす場合
に、そのパターンを補正検出パターンから除外する。こ
こで述べる入力画像の例では、この段階までに補正検出
パターンとされたパターンはどれも１個ずつしかないの
で、ここで除去されるパターンはない。

【００３８】次に、補正検出パターンとされたパターン
の中で、画像の複雑度が低いパターンは、ノイズ等と間
違える可能性が高いため補正検出パターンから除外する
（ステップＳ８）。本実施例では、パターンの幅と高さ
の大きい方をＬｒとし、また、パターンの縦方向と横方
向のラインの中で非白ランが２個以上あるラインの合計
数をＮrun としたときに、Ｎrun ＜（Ｌr ×１２）の
条件を満たすパターンを、補正検出パターンから除外す
る。ここに述べる画像の例では、かかる条件を満たす補
正検出パターンはない。

【００３９】最後に、補正検出パターンとされた入力画
像上のパターンと参照画像上の同じパターンとの中心間
距離Ｎが、ある閾値Ｔｈ２より大きい場合、そのパター
ンを補正検出パターンから除外する（ステップＳ９）。
この閾値Ｔｈ２は前記（ステップＳ６）の閾値Ｔｈ１よ
り小さい値とされる。本実施例では、その閾値Ｔｈ２は
２５６（画素）にえらばれ、Ｄ＞２５６の条件を満たす
パターンを補正検出パターンから除外する。ここで述べ
る画像の例には、かかる条件を満たすパターンはない。
したがって、パターン番号１〜３，５〜１２のパターン
が最終的に補正検出パターンとして抽出される。

【００４０】対応点検出部１１１は、以上のようにして
抽出した各補正検出パターンについて、入力画像上のパ
ターン重心と参照画像上のパターン重心を対応点として
算出し、その座標を画像補正部１１３に出力する（ステ
ップＳ１０）。

【００４１】対応点検出結果を図８に示す。図８におい
て、各矢線により指される入力画像上の一点と参照画像
上の一点が一組の対応点を意味する。なお、前記ステッ
プＳ９の処理は、参照画像と入力画像の対応パターンの
検索を距離Ｔｈ２の範囲内に制限することと実質的に等
しい。このように検索範囲を制限することにより、パタ
ーン対応付けの誤りを減らすことができる。

【００４２】画像補正部１１３においては、対応点検出
部１１１により検出された入力画像と参照画像の対応点
間のずれを算出し、両画像の位置合わせのための補正関
数を求める（ステップＳ１１）。この補正関数の算出に
は例えば「Ｗilliam Ｈ．Ｐress， ”Ｎumerical Ｒeci
pes in Ｃ”，ＣＡＭＢＲＩＤＧＥＵＮＩＶＥＲＳＩ
ＴＹＰＲＥＳＳ，pp．５９−７０，pp．６７１−６８
１」(参考文献２）に述べられている手法を用いること
ができる。本実施例では、補正関数としてアフィン変換
を用いるものとし、想定した画像例に対し参考文献２の
手法で次の補正式が得られたとする。ただし、（Ｘｔ，
Ｙｔ）は補正後の座標系、（Ｘｉ，Ｙｉ）は入力画像の
座標系とする。

【００４３】

【数２】

【００４４】画像補正部１１３は、この補正式によって
入力画像を参照画像と位置合わせするように補正した画
像を補正画像メモリ１１５上に作成する（ステップＳ１
０）。具体的に述べれば、例えば補正画像上の座標（２
９８１，３８６４）の画素値を算出する際には、（１）
式により入力画像上の対応座標を計算すると、（３１５
８，３８６４）となるので、入力画像の（３１５８，３
８６４）の画素値を補正画像の（２９８１，３８６４）
の画素値とする。同様の手順で補正画像の全ての画素に
ついて入力画像を参照して画素値を算出することによ
り、参照画像に対し、入力画像に位置ずれ／回転／変倍
があっても、その補正画像のフォームは参照画像のフォ
ームと同じ位置に来るようになる。

【００４５】なお、本実施例では、補正画像は文字認識
処理の目的となるが、文字認識処理では普通、色情報を
必要としないので、補正画像はカラー画像である必要は
なく、むしろ白黒画像であった方が都合がよい。そこ
で、本実施例では白黒の補正画像を作成する。ただし、
入力画像の色情報を利用する必要がある場合には、カラ
ーの補正画像を作成し、文字認識処理においては補正画
像の各画素を白黒画素として扱って処理する。

【００４６】このようにして、入力画像と参照画像の対
応点のずれを打ち消すように入力画像を参照画像に位置
合わせした補正画像が得られると、文字画像切り出し部
１１７において、文字画像領域メモリ１１９に格納され
ている文字画像存在領域のデータを参照して補正画像か
ら文字画像存在領域の画像を切り出し、切り出した画像
を文字認識部１２１に出力する（ステップＳ１３）。

【００４７】図９に、文字画像領域メモリ１１９内のデ
ータと、補正画像からの文字画像切り出し結果とを関連
付けて示す。図示のように、文字画像領域メモリ１１９
の内容は文字画像存在領域（矩形）の対向する２頂点の
座標、属性及びデータ番号からなる。

【００４８】文字認識部１２１においては、文字画像切
り出し部１１７より入力した画像に対する文字認識処理
を行い、認識結果の文字コードとデータ番号を出力する
（ステップＳ１４）。この出力データ、文字認識結果、
文字画像切り出し結果とを関連付けて図１０に示す。Ｆ
ＡＸＯＣＲ受発注システムでは、この出力データに基づ
いて受発注業務を自動処理する。

【００４９】なお、前記実施例においては、同一パター
ン抽出部１０７で大きさの異なるパターンは異なるパタ
ーンと判断したが、本発明の他の実施例においては、大
きさが多少異なっていても同一パターンと判断する方法
を採用する。この実施例の場合には、処理精度を向上さ
せるため、好ましくは、最も類似度が高くなる時のパタ
ーンの中心を対応点として出力する。例えば図１１に示
すように、２つのパターンＰ１，Ｐ２（いずれか一方が
参照画像のパターン、他方が入力画像のパターン）を、
左上角を一致させる重ね合わせ条件（ａ）、左下角を一
致させる重ね合わせ条件（ｂ）、右上角を一致させる重
ね合わせ条件（ｃ）、右下角を一致させる重ね合わせ条
件（ｄ）で、パターンの同一性判断を行う。これら４つ
の重ね合わせ条件の中で得られた類似度の中で、最も良
い類似度で同一性を判断する。そして、Ｐ１，Ｐ２が同
一パターンと判断され、かつ対応するパターンである場
合、最も良い類似度が得られた重ね合わせ条件におい
て、Ｐ１（小さい方のパターン）の中心（又は重心）
と、Ｐ２のＰ１と重なり合った領域の中心（又は重心）
を、対応点として出力する。

【００５０】また、前記実施例においては、入力画像の
補正画像を生成し、この補正画像より文字画像の領域を
切り出した。本発明の他の実施例においては、文字画像
領域メモリ１１９内の文字画像存在領域の座標に対して
対応点間の位置ずれを打ち消すように補正を施し、補正
後の座標に従って入力画像より文字画像領域を切り出
す。このような補正に必要な計算量は、入力画像全体の
補正画像を生成するよりも遥かに少なくなる。このよう
な実施例は、文字認識部１２１のスキューに対する頑強
性が高い場合に適する。

【００５１】以上説明したような本発明は、一般的なコ
ンピュータシステムを利用しソフトウエアによって実施
することもでき、そのようなコンピュータシステムの一
例を図１２に示す。図１２において、２００はＣＰＵ、
２０１はメモリ、２０２はハードディスク装置、２０３
はカラースキャナ装置、２０４はカラーファクシミリ装
置、２０５はコンソール装置、２０６はフロッピーディ
スク装置、２０７はフロッピーディスク、２０８はプリ
ンタ等の出力装置、２０９は以上の各部を接続するバス
である。このようなコンピュータシステムの一般的な動
作は周知であるので詳細な説明は省くが、本発明の実施
手順の概略を次に述べる。

【００５２】図２にフローチャートで表したような本発
明による画像処理手順を記述したプログラムを例えばフ
ロッピーディスク２０７に記録しておき、そのプログラ
ムをフロッピーディスク装置２０６を介してハードディ
スク装置２０２に格納する。また、図１における参照画
像パターンメモリ１０９及び文字画像領域メモリ１１
９）の記憶内容に対応する参照画像情報を、例えば同様
の方法によってハードディスク装置２０２に格納してお
く。

【００５３】画像処理を実行する場合には、ハードディ
スク装置２０２より必要なプログラム及び参照画像情報
がメモリ２０１にロードされ、そのプログラムをＣＰＵ
２００で実行する。処理対象の帳票の画像データはカラ
ーファクシミリ装置２０４又はカラースキャナ装置２０
３によって入力され、メモリ２０１に直接又はハードデ
ィスク装置２０２経由で取り込まれ、プログラムに従っ
て処理される。文字認識処理に必要な辞書はハードディ
スク装置２０２上に用意される。処理結果はハードディ
スク装置２０２に保存され、必要な時にコンソール装置
２０５又は出力装置２０８に出力される。ファクシミリ
を利用した受発注システムの場合は、以上の処理結果を
利用した受発注処理が実行され、例えば発注伝票のデー
タはカラーファクシミリ装置２０４を利用して送信され
る。図２のステップＳ５の警報は、例えばコンソール装
置２０５により音響的又は視覚的に行われる。

【００５４】

【発明の効果】以上の説明から明らかなように、本発明
によれば、ファクシミリで送られてくる帳票等の画像の
ように位置ずれ、回転、変倍のある処理対象画像を参照
画像に位置合わせし、処理対象画像中の必要な文字画像
を抽出し認識する事ができる。処理対象画像と参照画像
に共通するパターンを抽出し、その対応したパターン相
互の位置関係を利用するが、そのパターンの同一性判断
をパターンの形状及び色の両方について行うため、カラ
ー印刷の帳票等のカラー画像についても正しく処理する
ことができる。特に、請求項２記載の発明によれば、あ
る印刷色の帳票等の参照画像を用いて、それと色違いの
帳票等の画像を気付かずに処理するといったトラブルを
確実に回避することができるとともに、早期に処理を中
止することにより無駄な処理時間を減らすことができ
る。しかも、帳票等の画像の参照画像に対する位置ず
れ、回転又は変倍の検出に帳票等に分散した文字等のパ
ターンを利用できるため、特定の枠を帳票等に印刷して
おく前記従来技術のような帳票設計の自由度の制限や精
度に関する問題も解決できる。特に請求項３，４又は５
記載の発明によればパターンの誤対応が減るため位置関
係の検出精度が向上し、請求項６記載の発明によればノ
イズの影響を受けにくくなり、また、請求項８記載の発
明によれば対応パターンの大きさに多少違いがある場合
にも位置関係の検出精度が向上し、したがって位置合わ
せの精度が向上する。また、請求項７記載の発明によれ
ば、処理対象画像のパターンと参照画像のパターンとの
同一性判断のためのパターンマッチングに必要な計算量
を減らすことができる。請求項１０記載の発明によれ
ば、位置合わせ補正の計算量が少なくて済む。また、請
求項１１記載の発明によれば、一般的なコンピュータシ
ステムを利用して本発明による画像処理を容易に実施で
きる、等々の効果を得られる。

【図面の簡単な説明】

【図１】本発明によるＦＡＸＯＣＲ装置の概略ブロック
図である。

【図２】本発明によるＦＡＸＯＣＲ装置の処理を説明す
るためのフローチャートである。

【図３】入力画像の一例を示す図である。

【図４】参照画像の一例を示す図である。

【図５】参照画像パターンメモリ内のデータの一例を示
す図である。

【図６】入力画像に対するパターン番号割り当て結果を
示す図である。

【図７】参照画像に対するパターン番号割り当てを示す
図である。

【図８】対応点検出結果を示す図である。

【図９】文字画像領域メモリの内容、補正画像及び文字
画像切り出し結果を関連付けて示す図である。

【図１０】文字画像切り出し結果、文字認識結果及び出
力データを関連付けて示す図である。

【図１１】異なった重ね合わせ条件でのパターンマッチ
ングの例を説明するための図である。

【図１２】本発明をコンピュータにより実施するための
コンピュータシステムの例を示すブロック図である。

【符号の説明】

１０１画像入力部１０２画像位置合わせ部１０３入力画像メモリ１０７パターン抽出部１０９参照画像パターンメモリ１１１対応点検出部１１３画像補正部１１５補正画像メモリ１１６文字認識処理部１１７文字画像切り出し部１１９文字画像領域メモリ１２１文字認識部２００ＣＰＵ２０１メモリ２０２ハードディスク装置２０３カラースキャナ装置２０４カラーファクシミリ装置２０５コンソール装置２０６フロッピーディスク装置２０７フロッピーディスク２０８プリンタ２０９バス

Claims

【特許請求の範囲】

【請求項１】処理対象画像より、参照画像中のパター
ンと形状及び色の両方が同一のパターンを抽出し、処理
対象画像及び参照画像における対応した同一のパターン
の相互の位置関係を求め、求められた位置関係に基づき
処理対象画像と参照画像との位置合わせのための補正式
を決定することを特徴とする画像処理方法。
【請求項２】請求項１記載の画像処理方法において、
抽出されたパターンが所定数より少ないときに異常と判
断し、警報を発して処理を中止することを特徴とする画
像処理方法。
【請求項３】請求項１記載の画像処理方法において、
処理対象画像より同じパターンが２個以上抽出された場
合に、当該パターン相互の距離が第１の距離閾値より小
さいときには、当該パターンを位置関係を求めるための
パターンから除外することを特徴とする画像処理方法。
【請求項４】請求項１記載の画像処理方法において、
処理対象画像より同じパターンが２個以上抽出された場
合に、当該パターン相互の距離が第１の距離閾値より小
さいときには、当該パターンを位置関係を求めるための
パターンから除外し、処理対象画像と参照画像との間に
おいて対応付けするパターンの検索範囲を第１の距離閾
値より小さい一定の距離範囲内に制限することを特徴と
する画像処理方法。
【請求項５】請求項１記載の画像処理方法において、
処理対象画像より同じパターンが所定の個数以上抽出さ
れた場合、当該パターンを位置関係を求めるためのパタ
ーンから除外することを特徴とする画像処理方法。
【請求項６】請求項１記載の画像処理方法において、
画像の複雑度が所定の程度より低いパターンを位置関係
を求めるためのパターンから除外することを特徴とする
画像処理方法。
【請求項７】請求項１記載の画像処理方法において、
対応パターン相互の位置関係を求めるためのパターン
を、大きさが一定の範囲内のパターンに制限することを
特徴とする画像処理方法。
【請求項８】請求項１記載の画像処理方法において、
処理対象画像中のパターンと参照画像中のパターンとの
同一性判断のためのパターンマッチングを複数の異なっ
た重ね合わせ条件で行い、当該２つのパターンの位置関
係として、そのパターンマッチングにおいて最も良好な
類似度が得られた重ね合わせ条件において当該パターン
それぞれの重なり合った領域の中心又は重心の位置関係
を求めることを特徴とする画像処理方法。
【請求項９】請求項１乃至８のいずれか１項に記載の
画像処理方法において、決定された補正式に従って処理
対象画像を参照画像に対し位置合わせした補正画像を生
成し、この補正画像より、予め与えられた参照画像上の
文字画像存在領域の座標に基づいて文字画像を切り出す
ことを特徴とする画像処理方法。
【請求項１０】請求項１乃至８のいずれか１項に記載
の画像処理方法において、決定された補正式に従って、
予め与えられた参照画像上の文字画像存在領域の座標を
補正し、この補正後の座標に基づいて処理対象画像より
文字画像を切り出すことを特徴とする画像処理方法。
【請求項１１】処理対象画像より、参照画像中のパタ
ーンと形状及び色の両方が同一のパターンを抽出する手
順、処理対象画像及び参照画像における対応した同一の
パターンの相互の位置関係を求める手順、及び、求めら
れた位置関係に基づき処理対象画像と参照画像との位置
合わせのための補正式を決定する手順をコンピュータに
実行させるためのプログラムを記録した機械読み取り可
能な記録媒体。