JP3625245B2 - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP3625245B2 JP3625245B2 JP27383796A JP27383796A JP3625245B2 JP 3625245 B2 JP3625245 B2 JP 3625245B2 JP 27383796 A JP27383796 A JP 27383796A JP 27383796 A JP27383796 A JP 27383796A JP 3625245 B2 JP3625245 B2 JP 3625245B2
- Authority
- JP
- Japan
- Prior art keywords
- corresponding points
- images
- calculating
- expansion
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，ＦＡＸＯＣＲ装置等における画像認識，文字認識等の画像処理方法及びＦＡＸＯＣＲ装置等の画像処理装置に係り，特に，位置ずれ，回転，変倍のある帳票や文書画像等の２つの画像間で，タイミングマーク等を用いて複数の対応点を抽出し，抽出された対応点のずれを用いて該２つの画像間の変換式を算出して，２つの画像間の位置合わせを行う場合において，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置に関する。
【０００２】
ここに，ＦＡＸＯＣＲ装置は，ファクシミリで送られてきた画像中から必要な記載事項を切り出し，文字認識処理を行ってデータとして出力するものであり，特にここでは，ファクシミリにより送られてきた帳票等の画像を取り込み，画像認識処理として，該画像（入力画像）と同種の参照画像とを位置合わせした後，入力画像中の必要な記載事項を切り出し，文字認識処理を行って文字データとして出力する例について取り扱われる。
【０００３】
【従来の技術】
ＦＡＸＯＣＲ装置等における画像の位置合わせ方法で，マーク等を用いた公知技術としては，特公昭５３−４８０５９号公報で開示の「文書走査装置」（第１の従来例）や特公平７−１０１４３８号公報で開示の「文字認識装置」（第２の従来例）がある。これらの従来例は，特定のマークを帳票上に印刷し，画像上でその特定のマークを検出することで画像の位置合わせを行うものである。
【０００４】
しかしながら，第１の従来例の「文書走査装置」においては，以下のような問題がある。即ち，第１に，基準マークが単数の場合，基準マーク上のノイズ等に弱い，第２に，基準マークの大きさによって傾き検出の精度が左右される，第３に，基準マークを誤検出する可能性が高い，といった問題である。
【０００５】
また，第２の従来例の「文字認識装置」に記載されている実施例では，複数のタイミングマークを用いているので，精度面やノイズに対する頑強性は向上しているが，基準マークの誤検出という上記第３の問題は残っている。
【０００６】
また，多数の対応点を用いて画像の位置ずれを検出する方法として，ＦＡＸＯＣＲ装置等の文書画像ではなく，医療画像処理の分野における公知技術として，特開昭５９−２１８７５３号公報で開示の「画像位置合わせ方式」（第３の従来例）がある。本従来例では，ブロック毎に画像の位置ずれのベクトルを検出し，ベクトルの方向が極端に異なる特異点を取り除いて，画像位置合わせを行うという方法が開示されている。
【０００７】
この第３の従来例における方法をＦＡＸＯＣＲ装置等に応用すれば，第１の従来例の「文書走査装置」や第２の従来例の「文字認識装置」において懸念されていた基準マークの誤検出という第３の問題を解決することができる。
【０００８】
しかしながら，ＦＡＸＯＣＲ装置等でタイミングマークを用いて画像の位置合わせを行う場合には，第３の従来例の「画像位置合わせ方式」に記載されている実施例の説明にあるように，多くの基準点（マーク）を用いることは困難である。つまり，多くのタイミングマークを用いて画像位置合わせを行ったのでは帳票設計の自由度が小さくなり，実用的でないからである。
【０００９】
また，タイミングマークを用いて画像の位置ずれやスキューだけではなく，伸縮も補正する従来技術として，特開昭６３−２１２２６９号公報で開示の「画像処理装置」（第４の従来例）がある。この第４の従来例では，対応する２つのマーク間の距離から画像の伸縮率を算出し，画像を補正している。
【００１０】
【発明が解決しようとする課題】
以上のように，上記第１の従来例の画像処理装置にあっては，基準マークが単数の場合に基準マーク上のノイズ等に弱い，基準マークの大きさによって傾き検出の精度が左右される，また，基準マークを誤検出する可能性が高いという問題点があった。
【００１１】
また，第２の従来例の画像処理装置にあっては，精度面やノイズに対する頑強性は向上しているが，基準マークの誤検出する可能性が高いという問題点については解消されていなかった。
【００１２】
また，第３の従来例の画像処理装置にあっては，多くの基準点（マーク）を必要としており，多くのタイミングマークを用いて画像位置合わせを行うことは帳票設計の自由度を狭め，実用的でないという問題点があった。
【００１３】
更に，第４の従来例の画像処理装置にあっては，対応する２つのマーク間の距離から画像の伸縮率を算出し，画像を補正しているが，マーク間の距離が近い場合などでは算出される伸縮率の誤差が大きく，マークが誤検出される恐れがあるという問題点があった。
【００１４】
本発明は，上記従来の問題点に鑑みてなされたものであって，位置ずれ，回転，変倍のある帳票や文書画像等の２つの画像間で，タイミングマーク等を用いて複数の対応点を抽出し，抽出された対応点のずれを用いて該２つの画像間の変換式を算出して，２つの画像間の位置合わせを行う場合において，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することを目的としている。
【００１５】
【課題を解決するための手段】
また，請求項１に係る画像処理方法は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去ステップと，前記第１対応点除去ステップの結果として残った全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップとを備えたものである。
【００１６】
また，請求項２に係る画像処理方法は，請求項１記載の画像処理方法において，前記第１対応点除去ステップにおいて異常な個別伸縮率を判定するためのしきい値，または，前記第２対応点除去ステップにおいて伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００１７】
また，請求項３に係る画像処理方法は，請求項１または２記載の画像処理方法前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップとを備えたものである。
【００１８】
また，請求項４に係る画像処理方法は，請求項３記載の画像処理方法において，前記変換式再算出ステップ及び前記第３対応点除去ステップは，前記第３対応点除去ステップにおいて，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行われるものである。
【００１９】
また，請求項５に係る画像処理方法は，請求項１，２，３または４記載の画像処理方法において，前記対応点抽出ステップにより抽出される対応点は，補正用のタイミングマークとしたものである。
【００２０】
また，請求項６に係る画像処理方法は，２つの画像間で複数の対応する対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い前記対応点を，前記複数の対応点から削除する第１対応点除去ステップと，前記第１対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップとを有し，前記第１対応点除去ステップにおいて異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００２１】
また，請求項７に係る画像処理方法は，２つの画像間で複数の対応する対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去ステップと，前記第１対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップとを備えたものである。
【００２２】
また，請求項８に係る画像処理方法は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップとを有し，前記第２対応点除去ステップにおいて伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変としてものである。
【００２３】
また，請求項９に係る画像処理方法は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップとを備えたものである。
【００２４】
また，請求項１０に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，前記第１対応点除去手段の処理結果として残った全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを備えたものである。
【００２５】
また，請求項１１に係る画像処理装置は，請求項１０記載の画像処理装置において，前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値，または，前記第２対応点除去手段において伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００２６】
また，請求項１２に係る画像処理装置は，請求項１０または１１記載の画像処理装置において，前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段とを備えたものである。
【００２７】
また，請求項１３に係る画像処理装置は，請求項１２記載の画像処理装置において，前記変換式再算出手段及び前記第３対応点除去手段における処理は，前記第３対応点除去手段において，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行われるものである。
【００２８】
また，請求項１４に係る画像処理装置は，請求項１０，１１，１２または１３記載の画像処理装置において，記対応点抽出手段により抽出される対応点は，補正用のタイミングマークとしたものである。
【００２９】
また，請求項１５に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，前記第１対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００３０】
また，請求項１６に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，前記第１対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段とを備えたものである。
【００３１】
また，請求項１７に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００３２】
また，請求項１８に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段とを備えたものである。
【００３３】
また，請求項１９に係る画像処理装置は，請求項１０，１１，１２，１３，１４，１５，１６，１７または１８記載の画像処理装置において，前記変換式算出手段または前記変換式再算出手段で算出された変換式により補正画像を生成し，前記２つの画像の内の一の画像について予め与えられている文字画像存在領域の文字データに基づいて，該補正画像から文字画像を切り出す文字切り出し手段を備えたものである。
【００３４】
また，請求項２０に係る画像処理装置は，請求項１９記載の画像処理装置において，前記文字切り出し手段により得られた文字画像を認識する文字認識手段を備えたものである。
【００３５】
また，請求項２１に係る画像処理装置は，請求項１０，１１，１２，１３，１４，１５，１６，１７，１８，１９または２０記載の画像処理装置において，前記２つの画像の内の他の画像は，ファクシミリを介して入力された画像としたものである。
【００３６】
【発明の実施の形態】
以下，本発明の画像処理方法及び画像処理装置の概要について，並びに，本発明の画像処理方法及び画像処理装置の実施形態について，順に図面を参照して詳細に説明する。
【００３７】
〔本発明の画像処理方法及び画像処理装置の概要〕
本発明の画像処理装置では，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，図１に示す如く，先ず対応点抽出手段１０２により，２つの画像間で複数の対応点を抽出し（対応点抽出ステップ），次に個別伸縮率算出手段１０３により，複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し（個別伸縮率算出ステップ），次に第１対応点除去手段１０４により，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，複数の対応点から削除し（第１対応点除去ステップ），更に，変換式算出手段１０７により，第１対応点除去手段１０４の処理結果として残った対応点を用いて，該対応点のずれにより２つの画像間の変換式を算出する（変換式算出ステップ）ようにしている。
【００３８】
このように，複数の対応点を用いることから，幾つかの対応点が検出できない場合でも２つの画像間の位置合わせが可能となり，ノイズに対する頑強性が強い。また，例えば，誤抽出の対応点を基準とした場合には，異常に大きいまたは異常に小さい個別伸縮率が算出される対応点の組合わせの数が多くなり，２つの画像間の高精度な位置合わせが難しくなるが，本発明のように，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除することにより，とり得る個別伸縮率の大まかな範囲を定めることが可能となり，誤抽出の対応点による影響を抑制することができ，２つの画像間の高精度の位置合わせが可能となる。更に，対応点の数は第３の従来例と比較して実用的な範囲であるので，帳票設計等の自由度を大きくすることができる。
【００３９】
また，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，図１に示す如く，先ず対応点抽出手段１０２により，２つの画像間で複数の対応点を抽出し（対応点抽出ステップ），次に個別伸縮率算出手段１０３により，複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し（個別伸縮率算出ステップ），また伸縮率算出手段１０５により，抽出された全ての対応点を用いて２つの画像間の伸縮率を算出し（伸縮率算出ステップ），次に第２対応点除去手段１０６により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように，複数の対応点から除去し（第２対応点除去ステップ），更に変換式算出手段１０７により，第２対応点除去手段１０６の処理結果として残った対応点を用いて，該対応点のずれにより２つの画像間の変換式を算出する（変換式算出ステップ）ようにしている。
【００４０】
このように，複数の対応点を用いることから，幾つかの対応点が検出できない場合でも２つの画像間の位置合わせが可能となり，ノイズに対する頑強性が強い。また，例えば，誤抽出の対応点を基準とした場合でも，本発明のように，伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように除去していくことにより，とり得る個別伸縮率の大まかな範囲を定めることが可能となり，誤抽出の対応点による影響を抑制することができ，２つの画像間の高精度の位置合わせが可能となる。更に，対応点の数は第３の従来例と比較して実用的な範囲であるので，帳票設計等の自由度を大きくすることができる。
【００４１】
また，請求項１に係る画像処理方法及び請求項１０に係る画像処理装置では，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，図１に示す如く，先ず対応点抽出手段１０２により，２つの画像間で複数の対応点を抽出し（対応点抽出ステップ），次に個別伸縮率算出手段１０３により，複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出して（個別伸縮率算出ステップ），第１対応点除去手段１０４により，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，複数の対応点から削除し（第１対応点除去ステップ），次に伸縮率算出手段１０５により，第１対応点除去手段１０４の処理結果として残った全ての対応点を用いて２つの画像間の伸縮率を算出して（伸縮率算出ステップ），第２対応点除去手段１０６により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように，複数の対応点から除去し（第２対応点除去ステップ），更に変換式算出手段１０７により，第２対応点除去手段１０６の処理結果として残った対応点を用いて，該対応点のずれにより２つの画像間の変換式を算出する（変換式算出ステップ）ようにしている。
【００４２】
このように，複数の対応点を用いることから，幾つかの対応点が検出できない場合でも２つの画像間の位置合わせが可能となり，ノイズに対する頑強性が強い。また，例えば，誤抽出の対応点を基準とした場合でも，本発明のように，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除し，また，伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように更に除去していくことにより，とり得る個別伸縮率の範囲を的確に定めることが可能となり，誤抽出の対応点による影響を極力抑制することができ，２つの画像間の高精度の位置合わせが可能となる。更に，対応点の数は第３の従来例と比較して実用的な範囲であるので，帳票設計等の自由度を大きくすることができる。
【００４３】
また，請求項２，６，８に係る画像処理方法及び請求項１１，１５，１７に係る画像処理装置では，第１対応点除去手段１０４において異常な個別伸縮率を判定するためのしきい値，または，第２対応点除去手段１０６において伸縮率に対する個別伸縮率の近さを判定するためのしきい値を，対応点間の距離に応じて可変として，対応点の除去を行うようにしている。
【００４４】
例えば，対応点間の距離が近いほど算出される伸縮率の誤差は大きいので，対応点間の距離が小さいほど，異常な個別伸縮率であると判定される，或いは，伸縮率に対する個別伸縮率の近さが遠いと判定される範囲が広くなるように，しきい値を変化させる必要がある。本発明のように，システムの特徴に適合するようしきい値を変化させることで，対応点間の距離が近いために誤差が大きく，異常な個別伸縮率と判定される間違いや，伸縮率に対して個別伸縮率が遠いと判定される間違いを減少させることができ，より高精度な２つの画像間の位置合わせが可能となる。
【００４５】
また，請求項３，７，９に係る画像処理方法及び請求項１２，１６，１８に係る画像処理装置では，変換式算出手段１０７で算出された変換式により得られる補正画像と２つの画像の内の一の画像（参照画像）との間について，第３対応点除去手段１０８により，変換式算出手段１０７の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去し（第３対応点除去ステップ），変換式再算出手段１０７により，第３対応点除去手段１０８の処理結果として残った対応点を用いて，該対応点のずれにより補正画像と一の画像（参照画像）間の変換式を再度算出する（変換式再算出ステップ）ようにしている。
【００４６】
このように，第３対応点除去手段１０８により，補正画像と一の画像（参照画像）との間の対応点の検索範囲を所定範囲内に制限することにより，対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能となる。
【００４７】
また，請求項４に係る画像処理方法及び請求項１３に係る画像処理装置では，変換式再算出手段１０７及び第３対応点除去手段１０８における処理を，第３対応点除去手段１０８において，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行うようにしている。これにより，更に対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能となる。
【００４８】
また，請求項５に係る画像処理方法及び請求項１４に係る画像処理装置では，対応点抽出手段１０２により抽出される対応点を，補正用のタイミングマークとしている。このように，対応点を画一的に「＋」形状等の補正用タイミングマークとすることで，処理が容易となる。
【００４９】
また，請求項１９に係る画像処理装置では，図１に示す如く，文字切り出し手段１０９により，変換式算出手段または変換式再算出手段１０７で算出された変換式により補正画像を生成し，２つの画像の内の一の画像（参照画像）について予め与えられている文字画像存在領域１１４の文字データに基づいて，該補正画像から文字画像を切り出すようにし，更に，請求項２０に係る画像処理装置では，文字認識手段１１０により，文字切り出し手段１０９によって得られた文字画像を認識して文字コードとして出力するようにしている。本発明を例えばＦＡＸＯＣＲ装置等に適用した場合には，該出力結果を元に自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【００５０】
更に，請求項２１に係る画像処理装置では，前記２つの画像の内の他の画像（入力画像）を，ファクシミリを介して入力された画像としている。本発明を例えばＦＡＸＯＣＲ装置等に適用した場合には，ファクシミリ入力を入力画像とした自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【００５１】
本発明の画像処理方法及び画像処理装置が適用される典型的なシステム構成例を図２に示す。図２はＦＡＸＯＣＲ装置による受発注システムの実際の機器構成の具体例を示す構成図である。また，図３は，本システムの処理の流れを概略的に示す説明図である。
【００５２】
本システムは，記入済み帳票２０５をＰＣ等２０３に対してファクシミリ送信して利用されるものであり，ＰＣ等２０３では，ＦＡＸ２０１から公衆回線２０２を介して送られ，画像の回転，伸縮またはノイズ等を含む入力画像について，必要な記載事項を抽出して文字を切り出し，文字認識処理を行って文字データとして伝票自動処理等に供するものである。
【００５３】
即ち，図３において，入力画像と保存されているマスター画像（参照画像）の２つの画像についてアフィン変換式を算出（ステップＳ３０１）し，該アフィン変換式によりマスター画像の文字認識対象領域の変換（ステップＳ３０２）が行われ，該文字認識対象領域に基づいて入力画像について文字認識対象領域が抽出（ステップＳ３０３）され，文字認識処理（ステップＳ３０４）が行われ，文字データが伝票自動処理等（ステップＳ３０５）に供される。
【００５４】
〔実施形態〕
図１は本発明の実施形態に係る画像処理装置の一例であるＦＡＸＯＣＲ装置の構成図である。
【００５５】
同図において，本実施形態の画像処理装置は，画像入力部１０１，タイミングマーク検出部１０２，個別伸縮率算出部１０３，第１タイミングマーク削除部１０４，伸縮率算出部１０５，第２タイミングマーク削除部１０６，画像変換部１０７，第３タイミングマーク削除部１０８，文字切り出し部１０９，文字認識部１１０，画像バッファ１１１，タイミングマークバッファ１１２，伸縮率バッファ１１３及び文字画像領域メモリ１１４を備えて構成されている。
【００５６】
尚，本実施形態の画像処理装置の各構成要素は，特許請求の範囲にいう各手段と対応しており，タイミングマーク検出部１０２は対応点抽出手段に，個別伸縮率算出部１０３は個別伸縮率算出手段に，第１タイミングマーク削除部１０４は第１対応点除去手段に，伸縮率算出部１０５は伸縮率算出手段に，第２タイミングマーク削除部１０６は第２対応点除去手段に，画像変換部１０７は変換式算出手段及び変換式再算出手段に，第３タイミングマーク削除部１０８は第３対応点除去手段に，文字切り出し部１０９は文字切り出し手段に，文字認識部１１０は文字認識手段に，それぞれ対応している。
【００５７】
また，本実施形態の画像処理装置の各構成要素の処理は，特許請求の範囲にいう各ステップと対応しており，タイミングマーク検出部１０２の処理は対応点抽出ステップに，個別伸縮率算出部１０３の処理は個別伸縮率算出ステップに，第１タイミングマーク削除部１０４の処理は第１対応点除去ステップに，伸縮率算出部１０５の処理は伸縮率算出ステップに，第２タイミングマーク削除部１０６の処理は第２対応点除去ステップに，画像変換部１０７の処理は変換式算出ステップ及び変換式再算出ステップに，第３タイミングマーク削除部１０８の処理は第３対応点除去ステップに，それぞれ対応している。
【００５８】
次に，本実施形態で用いる入力画像（特許請求の範囲にいう２つの画像の内の他の画像）の例を図４に，参照画像（２つの画像の内の一の画像）を図５にそれぞれ示す。
【００５９】
図４及び図５に示すように，本実施形態では，対応点を補正用タイミングマークとし，複数のタイミングマーク（入力画像における４１１〜４１８，参照画像における５１１〜５１８）を用いて２つの画像の位置合わせを行う。
【００６０】
以下では，図１に示す本実施形態の画像処理装置の各構成要素が行う処理について，図６から図１５を参照して詳細に説明する。
【００６１】
先ず，画像入力部１０１では，ＦＡＸ等から入力された画像を，本実施形態の画像処理装置で処理可能な形態に変換して，画像バッファ１１１に取り込む。
【００６２】
次に，タイミングマーク検出部１０２では，パターンマッチング等によりタイミングマークを検出する。本実施形態では，図４及び図５に示したように，簡単な例として，タイミングマークとして十字点を用いる場合の例を示す。
【００６３】
図６は，タイミングマーク検出部１０２におけるタイミングマーク抽出処理の手順を示すフローチャートである。
【００６４】
タイミングマークの抽出では，先ずステップＳ６０１で元矩型を抽出し，ステップＳ６０２ではマスク処理を行う。マスク処理は，図７に示すようなマスクを入力画像に対して適用して行われる。
【００６５】
つまり，タイミングマーク抽出用マスクは，図７に示すように，中央の画素７０１と，中央の画素７０１を囲んで４方に配置される周囲の４画素７０２〜７０５とで形成されている。このタイミングマーク用マスクを，図９に示すように入力画像に対して配置してマスク処理が施される。即ち，それぞれのマスクＡ及びＢについて，中央の画素が黒画素で且つ周囲の４画素が白画素となるように配置され，その場合に各マスクの中央の画素が黒画素とされる。
【００６６】
次に，ステップＳ６０３では，マスク処理後の入力画像について，十字点抽出用矩型（タイミングマーク抽出用矩型）の抽出処理が行われる。この十字点抽出用矩型の抽出処理とは，黒画素の連結成分を囲む外接矩型を抽出する処理である。図１０は，図９の入力画像に対してマスク処理を行った後の入力画像であり，図中，矩型１００１が十字点抽出用矩型として抽出される。
【００６７】
次に，ステップＳ６０４以降の処理は，各十字点抽出用矩型について行われるループ処理である。先ず，ステップＳ６０４では，その十字点抽出用矩型が適当な大きさであるかどうかが判断される。またステップＳ６０５からＳ６０７は，十字点抽出用矩型を含む元矩型について行われるループ処理であり，その元矩型が小さく且つ縦横比が不適当である場合に，ステップＳ６０８に進んでその十字点抽出用矩型の中心座標が抽出され，ステップＳ６０９で十字点（タイミングマーク）として抽出される。
【００６８】
つまり，抽出された十字点抽出用矩型では，十字点（タイミングマーク）の部分については，線分の太さに応じてある一定の大きさの矩型が現れる。従って，以下の条件を全て満たす十字点抽出用矩型をタイミングマークとして抽出するものである。
ＣＲｍｎ＜ＣＲｗ＜ＣＲｍｘ （１）
ＣＲｍｎ＜ＣＲｈ＜ＣＲｍｘ （２）
ここに，ＣＲｗはタイミングマーク抽出用矩型の幅［画素］であり，ＣＲｈはタイミングマーク抽出用矩型の高さ［画素］である。また，ＣＲｍｎ，ＣＲｍｘはタイミングマークとして用いる十字点の線分の太さによって定められる定数である。
【００６９】
以上のようにして，タイミングマーク検出部１０２によりタイミングマークが抽出され，タイミングマークバッファ１１２に格納される。ここで，図４の入力画像及び図５の参照画像に対するタイミングマーク抽出結果を図８に示す。
【００７０】
次に，個別伸縮率算出部１０３では，３個のタイミングマークから，入力画像の参照画像に対するＸ，Ｙ方向の拡大率または縮小率をそれぞれ算出し，タイミングマークの組合わせと伸縮率を伸縮率バッファ１１３に保存する。
【００７１】
あるタイミングマークを基準点として，それ以外に２つのタイミングマークを第１参照点及び第２参照点とした場合，入力画像の参照画像に対するＸ，Ｙ方向の拡大率または縮小率は次式を用いて求めることができる。
ここに，ＳｘはＸ方向の伸縮率，ＳｙはＹ方向の伸縮率である。また，Ｌｘｃ1 は参照画像上での第１参照点と基準点のＸ方向の距離の自乗，Ｌｘｃ2 は参照画像上での第２参照点と基準点のＸ方向の距離の自乗，Ｌｙｃ1 は参照画像上での第１参照点と基準点のＹ方向の距離の自乗，Ｌｙｃ2 は参照画像上での第２参照点と基準点のＹ方向の距離の自乗，Ｌｉ1 は入力画像上での第１参照点と基準点の距離の自乗，Ｌｉ2 は入力画像上での第２参照点と基準点の距離の自乗である。
【００７２】
次に，第１タイミングマーク削除部１０４では，先ず，以下の条件の何れかを満たす参照点の組を，異常な伸縮率を持つ参照点の組と判断し，その個数を各基準点毎に集計する。
Ｓｙ＜Ｓｙｍｎ （５）
Ｓｙ＞Ｓｙｍｘ （６）
Ｓｘ＜Ｓｘｍｎ （７）
Ｓｘ＜Ｓｘｍｘ （８）
ここに，ＳｘはＸ方向の伸縮率，ＳｙはＹ方向の伸縮率，ＳｘｍｎはＸ方向の伸縮率最小値，ＳｙｍｎはＹ方向の伸縮率最小値，ＳｘｍｘはＸ方向の伸縮率最大値，ＳｙｍｘはＹ方向の伸縮率最大値である。
【００７３】
異常な伸縮率を持つ参照点の組として個数が各基準点毎に集計されたならば，次に，以下の条件を満たすタイミングマーク（基準点）を削除する。
Ｎｆ＞Ｎｔｆ （９）
ここに，Ｎｆは異常な伸縮率を持つ参照点の組の個数，Ｎｔｆは異常な伸縮率を持つ参照点の組の許容個数である。尚，許容個数Ｎｔｆは印字されているタイミングマークの個数等に応じて決定される。
【００７４】
図８のタイミングマーク抽出結果に対して，第１タイミングマーク削除部１０４により行われる削除処理を図１１に例示する。
【００７５】
誤ったタイミングマークを基準点として用いた場合，異常に大きい或いは小さい伸縮率が算出される参照点の組合わせの数が多くなる。本実施形態では，第１タイミングマーク削除部１０４により，適用されるシステム毎に入力画像の参照画像に対する伸縮率の大まかな範囲を定めることが可能となる。
【００７６】
また，許容個数Ｎｔｆをタイミングマーク間の距離の平均値等に応じて可変することで，性能の向上が見込まれる。つまり，タイミングマーク間の距離が近いほど算出される伸縮率の誤差は大きいので，タイミングマーク間の距離が小さいほど許容個数Ｎｔｆが大きくなるよう，システムに合った適切な許容個数Ｎｔｆの算出式を用いることにより，タイミングマーク間の距離が小さいために誤差が大きくなって異常と判断されてしまうといった間違いを少なくできるからである。
【００７７】
次に，伸縮率算出部１０５では，入力画像の参照画像に対する伸縮率を算出する。
【００７８】
先ず，第１タイミングマーク削除部１０４において削除されなかった残りの各基準点毎に，Ｘ方向の伸縮率の中央値ＳＸ(n) を算出する。次に，ＳＸ(n) に関しその中央値を算出して，入力画像の参照画像に対するＸ方向の伸縮率Ｓｘｉｍとする。また，Ｙ方向についても，同様の処理によつてＹ方向の伸縮率Ｓｙｉｍを算出する。このように２段階で中央値を算出することで正しい伸縮率が求められる確率を向上させることができる。
【００７９】
次に，第２タイミングマーク削除部１０６では，入力画像の参照画像に対する伸縮率に近い伸縮率が算出される参照点の組合わせを多く持つ基準点を選び出し，それ以外の選出されないタイミングマークを削除する。
【００８０】
第１タイミングマーク削除部１０４で削除されなかったタイミングマークに関する各個別伸縮率について，以下の条件を満たす場合に，入力画像の伸縮率に近い個別伸縮率であると判断する。
Ｓｉ−α＜Ｓ＜Ｓｉ＋α （１０）
ここに，Ｓｉは入力画像の参照画像に対する伸縮率，αは定数，Ｓは（３個のタイミングマークから求めた）個別伸縮率である。
【００８１】
ここでは，αは定数でも構わないが，３個のタイミングマーク間の距離等に応じて可変とすることで，性能の向上が見込まれる。つまり，タイミングマーク間の距離が近いほど算出される伸縮率の誤差は大きいので，タイミングマーク間の距離が小さいほどαは大きくする必要がある。システムに合った適切なαの算出式を用いることで，タイミングマーク間の距離が近いために誤差が大きくなって伸縮率が遠いと判断されてしまうといった間違いを少なくできるからである。
【００８２】
次に，各基準点毎，ＸＹ方向毎に，入力画像の伸縮率に近い個別伸縮率が算出された参照点の組合わせの個数Ｎｓを計数する。
【００８３】
この組合わせの個数Ｎｓの多い基準点ほど，対応が正しい可能性が大きいと判断できる。従って，この組合わせ個数Ｎｓについて所定のしきい値を定め，該しきい値よりも組合わせの個数Ｎｓの大きい基準点（タイミングマーク）を選ぶことで，タイミングマークの誤検出を防ぐことができる。
【００８４】
尚，各基準点については，Ｘ方向で画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数Ｎｓｘと，Ｙ方向で画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数Ｎｓｙの内，小さい方をその基準点のＮｓとする。従って，次の条件を満たすタイミングマークを削除する。
Ｎｓ＜Ｎｔｓｃ （１１）
ここに，Ｎｓは画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数，Ｎｔｓｃは画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数最小値である。
【００８５】
図１１の第１タイミングマーク削除部１０４の処理結果に対して，第２タイミングマーク削除部１０６により行われる削除処理を図１２に例示する。
【００８６】
次に，画像変換部１０７では，入力画像，参照画像のタイミングマーク間のずれを算出し，例えば「William H. Press, "Numerical Recipes in Ｃ", CAMBRIDGE ＵNIVERSITY PRESS, pp59-70, pp671-681 」（参考文献１）で示されるような方法で補正関数（変換式）を算出する。つまり，補正関数としては，本実施形態ではアファイン変換を用いるものとし，参考文献１に示された手法により，以下にの補正関数（変換式）が得られたものとする。
【数１】
【００８７】
ここで，（Ｘｔ，Ｙｔ）は補正後の座標系であり，（Ｘｉ，Ｙｉ）は入力画像の座標系である。例えば補正画像の（２９８１，３８６４）の画素値を算出する際には，先ず変換式（１２）を用いて，対応する入力画像中の座標を，次のようにして算出する。
【数２】
【００８８】
この画素の場合には，入力画像の（３１５８，３７２６）の画素値を補正画像の（２９８１，３８６４）の画素値とする。このように全ての補正画像の画素について入力画像を参照して画素値を算出すると，補正画像のフォームは参照画像のフォームと同じ位置に存在するようになる。
【００８９】
次に，第３タイミングマーク削除部１０８では，補正画像と参照画像のタイミングマーク間の距離を算出し，タイミングマーク間の距離がしきい値Ｄｔｈより大きいタイミングマークを削除する。
【００９０】
第３タイミングマーク削除部１０８によりタイミングマークを削除した場合には，画像変換部１０７における処理を再び行う。また，第３タイミングマーク削除部１０８において，削除されるタイミングマークがない場合には，文字切り出し部１０９の処理に進む。
【００９１】
次に，文字切り出し部１０９では，文字画像領域メモリ１１４中から文字画像の存在する領域のデータを参照して，補正画像中から文字画像の部分を切り出す。文字画像領域メモリ１１４内に格納されているデータの概念図を図１３に示す。また，図１４（ａ）の補正画像について，文字画像領域メモリ１１４を参照して得られた文字画像切り出し結果を図１４（ｂ）に示す。
【００９２】
尚，文字認識部１１０のスキューに対する頑強性が高い場合には，入力画像から補正画像を求めるのは計算量が多いので，文字画像領域メモリ１１４内の座標を補正して文字画像を切り出す方が好ましい。
【００９３】
最後に，文字認識部１１０では，文字切り出し部１０９から送られてきた文字画像を認識し，文字コードとして出力する。図１５（ａ）の文字画像切り出し結果に対する文字認識結果を図１５（ｂ）に，この場合の文字認識部１１０からの出力データの概念図を図１５（ｃ）にそれぞれ示す。
【００９４】
本実施形態の画像処理装置が適用されるＦＡＸＯＣＲ装置等では，文字認識部１１０からの出力結果を元に，更に自動的な受発注業務等を行う。この部分については，本発明とは直接関係ないので説明を割愛する。
【００９５】
以上のような本実施形態の画像処理装置の構成または画像処理方法によれば，以下のような効果を奏する。第１に，複数のタイミングマークを用いるので，幾つかのタイミングマークが検出できない場合でも，２つの画像間の位置合わせが可能であり，ノイズに対する頑強性が強い。第２に，タイミングマークの誤検出を防ぐことができる。また第３に，広い範囲にわたる複数のタイミングマークを用いれば，２つの画像間の高精度な位置合わせが可能である。更に第４に，タイミングマークの位置に関する自由度が大きい。
【００９６】
以上説明したように，本発明に係る画像処理装置によれば，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，対応点抽出手段により２つの画像間で複数の対応点を抽出し，個別伸縮率算出手段により複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し，第１対応点除去手段により異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除し，更に変換式算出手段により，第１対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより２つの画像間の変換式を算出することとしたので，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することができる。
【００９７】
また，本発明に係る画像処理装置によれば，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，先ず対応点抽出手段により２つの画像間で複数の対応点を抽出し，次に個別伸縮率算出手段により複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し，また伸縮率算出手段により抽出された全ての対応点を用いて２つの画像間の伸縮率を算出し，次に第２対応点除去手段により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように複数の対応点から除去し，更に変換式算出手段により，第２対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより２つの画像間の変換式を算出することとしたので，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することができる。
【００９８】
【発明の効果】
以上説明したように，請求項１に係る画像処理方法及び請求項１０に係る画像処理装置によれば，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，先ず対応点抽出手段により２つの画像間で複数の対応点を抽出し，次に個別伸縮率算出手段により複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出して，第１対応点除去手段により，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除し，次に伸縮率算出手段により，第１対応点除去手段の処理結果として残った全ての対応点を用いて２つの画像間の伸縮率を算出して，第２対応点除去手段により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように複数の対応点から除去し，更に変換式算出手段により，第２対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより２つの画像間の変換式を算出することとしたので，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することができる。
【００９９】
また，請求項２，６，８に係る画像処理方法及び請求項１１，１５，１７に係る画像処理装置によれば，第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値，または，第２対応点除去手段において伸縮率に対する個別伸縮率の近さを判定するためのしきい値を，対応点間の距離に応じて可変として，対応点の除去を行うこととしたので，より高精度な２つの画像間の位置合わせが可能な画像処理方法及び画像処理装置を提供することができる。
【０１００】
また，請求項３，７，９に係る画像処理方法及び請求項１２，１６，１８に係る画像処理装置によれば，変換式算出手段で算出された変換式により得られる補正画像と２つの画像の内の一の画像との間について，第３対応点除去手段により，変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去し，変換式再算出手段により，第３対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより補正画像と一の画像間の変換式を再度算出することとし，補正画像と一の画像との間の対応点の検索範囲を所定範囲内に制限するので，対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能な画像処理方法及び画像処理装置を提供することができる。
【０１０１】
また，請求項４に係る画像処理方法及び請求項１３に係る画像処理装置によれば，変換式再算出手段及び第３対応点除去手段における処理を，第３対応点除去手段において，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行うこととしたので，更に対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能な画像処理方法及び画像処理装置を提供することができる。
【０１０２】
また，請求項５に係る画像処理方法及び請求項１４に係る画像処理装置によれば，対応点抽出手段により抽出される対応点を補正用のタイミングマークとしたので，容易に処理を行い得る画像処理方法及び画像処理装置を提供することができる。
【０１０３】
また，請求項１９に係る画像処理装置によれば，文字切り出し手段により，変換式算出手段または変換式再算出手段で算出された変換式により補正画像を生成し，２つの画像の内の一の画像について予め与えられている文字画像存在領域の文字データに基づいて，該補正画像から文字画像を切り出すようにし，更に，請求項２０に係る画像処理装置によれば，文字認識手段により，文字切り出し手段によって得られた文字画像を認識して文字コードとして出力することとしたので，例えばＦＡＸＯＣＲ装置等に適用した場合に，出力結果を元に自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【０１０４】
更に，請求項２１に係る画像処理装置によれば，２つの画像の内の他の画像を，ファクシミリを介して入力された画像としたので，例えばＦＡＸＯＣＲ装置等に適用した場合に，ファクシミリ入力を入力画像とした自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の一例であるＦＡＸＯＣＲ装置の構成図である。
【図２】本発明の画像処理方法及び画像処理装置が適用される典型的システムの構成図である。
【図３】図２のシステムの処理の流れを概略的に示す説明図である。
【図４】実施形態で用いる入力画像の説明図である。
【図５】実施形態で用いる参照画像の説明図である。
【図６】タイミングマーク検出部におけるタイミングマーク抽出処理の手順を示すフローチャートである。
【図７】タイミングマーク抽出のマスク処理で使用されるマスクの説明図である。
【図８】タイミングマーク抽出結果を例示する説明図である。
【図９】マスク処理の説明図であり，マスク処理前の入力画像を示す説明図である。
【図１０】マスク処理の説明図であり，マスク処理後の入力画像を示す説明図である。
【図１１】図８のタイミングマーク抽出結果に対する第１タイミングマーク削除部の処理を例示する説明図である。
【図１２】図１１の第１タイミングマーク削除部の処理結果に対する第２タイミングマーク削除部の処理を例示する説明図である。
【図１３】文字画像領域メモリ内に格納されているデータの概念説明図である。
【図１４】図１４（ａ）は補正画像を，図１４（ｂ）は文字画像切り出し結果を，図１４（ｃ）は文字画像領域メモリ内のデータをそれぞれ示す説明図である。
【図１５】図１５（ａ）は文字画像切り出し結果を，図１５（ｂ）は文字認識結果を，図１５（ｃ）は出力データをそれぞれ示す説明図である。
【符号の説明】
１０１ 画像入力部
１０２ タイミングマーク検出部（対応点抽出手段）
１０３ 個別伸縮率算出部（個別伸縮率算出手段）
１０４ 第１タイミングマーク削除部（第１対応点除去手段）
１０５ 伸縮率算出部（伸縮率算出手段）
１０６ 第２タイミングマーク削除部（第２対応点除去手段）
１０７ 画像変換部（変換式算出手段，変換式再算出手段）
１０８ 第３タイミングマーク削除部（第３対応点除去手段）
１０９ 文字切り出し部（文字切り出し手段）
１１０ 文字認識部（文字認識手段）
１１１ 画像バッファ
１１２ タイミングマークバッファ
１１３ 伸縮率バッファ
１１４ 文字画像領域メモリ
【発明の属する技術分野】
本発明は，ＦＡＸＯＣＲ装置等における画像認識，文字認識等の画像処理方法及びＦＡＸＯＣＲ装置等の画像処理装置に係り，特に，位置ずれ，回転，変倍のある帳票や文書画像等の２つの画像間で，タイミングマーク等を用いて複数の対応点を抽出し，抽出された対応点のずれを用いて該２つの画像間の変換式を算出して，２つの画像間の位置合わせを行う場合において，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置に関する。
【０００２】
ここに，ＦＡＸＯＣＲ装置は，ファクシミリで送られてきた画像中から必要な記載事項を切り出し，文字認識処理を行ってデータとして出力するものであり，特にここでは，ファクシミリにより送られてきた帳票等の画像を取り込み，画像認識処理として，該画像（入力画像）と同種の参照画像とを位置合わせした後，入力画像中の必要な記載事項を切り出し，文字認識処理を行って文字データとして出力する例について取り扱われる。
【０００３】
【従来の技術】
ＦＡＸＯＣＲ装置等における画像の位置合わせ方法で，マーク等を用いた公知技術としては，特公昭５３−４８０５９号公報で開示の「文書走査装置」（第１の従来例）や特公平７−１０１４３８号公報で開示の「文字認識装置」（第２の従来例）がある。これらの従来例は，特定のマークを帳票上に印刷し，画像上でその特定のマークを検出することで画像の位置合わせを行うものである。
【０００４】
しかしながら，第１の従来例の「文書走査装置」においては，以下のような問題がある。即ち，第１に，基準マークが単数の場合，基準マーク上のノイズ等に弱い，第２に，基準マークの大きさによって傾き検出の精度が左右される，第３に，基準マークを誤検出する可能性が高い，といった問題である。
【０００５】
また，第２の従来例の「文字認識装置」に記載されている実施例では，複数のタイミングマークを用いているので，精度面やノイズに対する頑強性は向上しているが，基準マークの誤検出という上記第３の問題は残っている。
【０００６】
また，多数の対応点を用いて画像の位置ずれを検出する方法として，ＦＡＸＯＣＲ装置等の文書画像ではなく，医療画像処理の分野における公知技術として，特開昭５９−２１８７５３号公報で開示の「画像位置合わせ方式」（第３の従来例）がある。本従来例では，ブロック毎に画像の位置ずれのベクトルを検出し，ベクトルの方向が極端に異なる特異点を取り除いて，画像位置合わせを行うという方法が開示されている。
【０００７】
この第３の従来例における方法をＦＡＸＯＣＲ装置等に応用すれば，第１の従来例の「文書走査装置」や第２の従来例の「文字認識装置」において懸念されていた基準マークの誤検出という第３の問題を解決することができる。
【０００８】
しかしながら，ＦＡＸＯＣＲ装置等でタイミングマークを用いて画像の位置合わせを行う場合には，第３の従来例の「画像位置合わせ方式」に記載されている実施例の説明にあるように，多くの基準点（マーク）を用いることは困難である。つまり，多くのタイミングマークを用いて画像位置合わせを行ったのでは帳票設計の自由度が小さくなり，実用的でないからである。
【０００９】
また，タイミングマークを用いて画像の位置ずれやスキューだけではなく，伸縮も補正する従来技術として，特開昭６３−２１２２６９号公報で開示の「画像処理装置」（第４の従来例）がある。この第４の従来例では，対応する２つのマーク間の距離から画像の伸縮率を算出し，画像を補正している。
【００１０】
【発明が解決しようとする課題】
以上のように，上記第１の従来例の画像処理装置にあっては，基準マークが単数の場合に基準マーク上のノイズ等に弱い，基準マークの大きさによって傾き検出の精度が左右される，また，基準マークを誤検出する可能性が高いという問題点があった。
【００１１】
また，第２の従来例の画像処理装置にあっては，精度面やノイズに対する頑強性は向上しているが，基準マークの誤検出する可能性が高いという問題点については解消されていなかった。
【００１２】
また，第３の従来例の画像処理装置にあっては，多くの基準点（マーク）を必要としており，多くのタイミングマークを用いて画像位置合わせを行うことは帳票設計の自由度を狭め，実用的でないという問題点があった。
【００１３】
更に，第４の従来例の画像処理装置にあっては，対応する２つのマーク間の距離から画像の伸縮率を算出し，画像を補正しているが，マーク間の距離が近い場合などでは算出される伸縮率の誤差が大きく，マークが誤検出される恐れがあるという問題点があった。
【００１４】
本発明は，上記従来の問題点に鑑みてなされたものであって，位置ずれ，回転，変倍のある帳票や文書画像等の２つの画像間で，タイミングマーク等を用いて複数の対応点を抽出し，抽出された対応点のずれを用いて該２つの画像間の変換式を算出して，２つの画像間の位置合わせを行う場合において，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することを目的としている。
【００１５】
【課題を解決するための手段】
また，請求項１に係る画像処理方法は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去ステップと，前記第１対応点除去ステップの結果として残った全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップとを備えたものである。
【００１６】
また，請求項２に係る画像処理方法は，請求項１記載の画像処理方法において，前記第１対応点除去ステップにおいて異常な個別伸縮率を判定するためのしきい値，または，前記第２対応点除去ステップにおいて伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００１７】
また，請求項３に係る画像処理方法は，請求項１または２記載の画像処理方法前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップとを備えたものである。
【００１８】
また，請求項４に係る画像処理方法は，請求項３記載の画像処理方法において，前記変換式再算出ステップ及び前記第３対応点除去ステップは，前記第３対応点除去ステップにおいて，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行われるものである。
【００１９】
また，請求項５に係る画像処理方法は，請求項１，２，３または４記載の画像処理方法において，前記対応点抽出ステップにより抽出される対応点は，補正用のタイミングマークとしたものである。
【００２０】
また，請求項６に係る画像処理方法は，２つの画像間で複数の対応する対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い前記対応点を，前記複数の対応点から削除する第１対応点除去ステップと，前記第１対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップとを有し，前記第１対応点除去ステップにおいて異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００２１】
また，請求項７に係る画像処理方法は，２つの画像間で複数の対応する対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去ステップと，前記第１対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップとを備えたものである。
【００２２】
また，請求項８に係る画像処理方法は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップとを有し，前記第２対応点除去ステップにおいて伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変としてものである。
【００２３】
また，請求項９に係る画像処理方法は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップとを備えたものである。
【００２４】
また，請求項１０に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，前記第１対応点除去手段の処理結果として残った全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを備えたものである。
【００２５】
また，請求項１１に係る画像処理装置は，請求項１０記載の画像処理装置において，前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値，または，前記第２対応点除去手段において伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００２６】
また，請求項１２に係る画像処理装置は，請求項１０または１１記載の画像処理装置において，前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段とを備えたものである。
【００２７】
また，請求項１３に係る画像処理装置は，請求項１２記載の画像処理装置において，前記変換式再算出手段及び前記第３対応点除去手段における処理は，前記第３対応点除去手段において，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行われるものである。
【００２８】
また，請求項１４に係る画像処理装置は，請求項１０，１１，１２または１３記載の画像処理装置において，記対応点抽出手段により抽出される対応点は，補正用のタイミングマークとしたものである。
【００２９】
また，請求項１５に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，前記第１対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００３０】
また，請求項１６に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，前記第１対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段とを備えたものである。
【００３１】
また，請求項１７に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変としたものである。
【００３２】
また，請求項１８に係る画像処理装置は，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段とを有し，前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段とを備えたものである。
【００３３】
また，請求項１９に係る画像処理装置は，請求項１０，１１，１２，１３，１４，１５，１６，１７または１８記載の画像処理装置において，前記変換式算出手段または前記変換式再算出手段で算出された変換式により補正画像を生成し，前記２つの画像の内の一の画像について予め与えられている文字画像存在領域の文字データに基づいて，該補正画像から文字画像を切り出す文字切り出し手段を備えたものである。
【００３４】
また，請求項２０に係る画像処理装置は，請求項１９記載の画像処理装置において，前記文字切り出し手段により得られた文字画像を認識する文字認識手段を備えたものである。
【００３５】
また，請求項２１に係る画像処理装置は，請求項１０，１１，１２，１３，１４，１５，１６，１７，１８，１９または２０記載の画像処理装置において，前記２つの画像の内の他の画像は，ファクシミリを介して入力された画像としたものである。
【００３６】
【発明の実施の形態】
以下，本発明の画像処理方法及び画像処理装置の概要について，並びに，本発明の画像処理方法及び画像処理装置の実施形態について，順に図面を参照して詳細に説明する。
【００３７】
〔本発明の画像処理方法及び画像処理装置の概要〕
本発明の画像処理装置では，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，図１に示す如く，先ず対応点抽出手段１０２により，２つの画像間で複数の対応点を抽出し（対応点抽出ステップ），次に個別伸縮率算出手段１０３により，複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し（個別伸縮率算出ステップ），次に第１対応点除去手段１０４により，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，複数の対応点から削除し（第１対応点除去ステップ），更に，変換式算出手段１０７により，第１対応点除去手段１０４の処理結果として残った対応点を用いて，該対応点のずれにより２つの画像間の変換式を算出する（変換式算出ステップ）ようにしている。
【００３８】
このように，複数の対応点を用いることから，幾つかの対応点が検出できない場合でも２つの画像間の位置合わせが可能となり，ノイズに対する頑強性が強い。また，例えば，誤抽出の対応点を基準とした場合には，異常に大きいまたは異常に小さい個別伸縮率が算出される対応点の組合わせの数が多くなり，２つの画像間の高精度な位置合わせが難しくなるが，本発明のように，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除することにより，とり得る個別伸縮率の大まかな範囲を定めることが可能となり，誤抽出の対応点による影響を抑制することができ，２つの画像間の高精度の位置合わせが可能となる。更に，対応点の数は第３の従来例と比較して実用的な範囲であるので，帳票設計等の自由度を大きくすることができる。
【００３９】
また，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，図１に示す如く，先ず対応点抽出手段１０２により，２つの画像間で複数の対応点を抽出し（対応点抽出ステップ），次に個別伸縮率算出手段１０３により，複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し（個別伸縮率算出ステップ），また伸縮率算出手段１０５により，抽出された全ての対応点を用いて２つの画像間の伸縮率を算出し（伸縮率算出ステップ），次に第２対応点除去手段１０６により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように，複数の対応点から除去し（第２対応点除去ステップ），更に変換式算出手段１０７により，第２対応点除去手段１０６の処理結果として残った対応点を用いて，該対応点のずれにより２つの画像間の変換式を算出する（変換式算出ステップ）ようにしている。
【００４０】
このように，複数の対応点を用いることから，幾つかの対応点が検出できない場合でも２つの画像間の位置合わせが可能となり，ノイズに対する頑強性が強い。また，例えば，誤抽出の対応点を基準とした場合でも，本発明のように，伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように除去していくことにより，とり得る個別伸縮率の大まかな範囲を定めることが可能となり，誤抽出の対応点による影響を抑制することができ，２つの画像間の高精度の位置合わせが可能となる。更に，対応点の数は第３の従来例と比較して実用的な範囲であるので，帳票設計等の自由度を大きくすることができる。
【００４１】
また，請求項１に係る画像処理方法及び請求項１０に係る画像処理装置では，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，図１に示す如く，先ず対応点抽出手段１０２により，２つの画像間で複数の対応点を抽出し（対応点抽出ステップ），次に個別伸縮率算出手段１０３により，複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出して（個別伸縮率算出ステップ），第１対応点除去手段１０４により，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，複数の対応点から削除し（第１対応点除去ステップ），次に伸縮率算出手段１０５により，第１対応点除去手段１０４の処理結果として残った全ての対応点を用いて２つの画像間の伸縮率を算出して（伸縮率算出ステップ），第２対応点除去手段１０６により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように，複数の対応点から除去し（第２対応点除去ステップ），更に変換式算出手段１０７により，第２対応点除去手段１０６の処理結果として残った対応点を用いて，該対応点のずれにより２つの画像間の変換式を算出する（変換式算出ステップ）ようにしている。
【００４２】
このように，複数の対応点を用いることから，幾つかの対応点が検出できない場合でも２つの画像間の位置合わせが可能となり，ノイズに対する頑強性が強い。また，例えば，誤抽出の対応点を基準とした場合でも，本発明のように，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除し，また，伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように更に除去していくことにより，とり得る個別伸縮率の範囲を的確に定めることが可能となり，誤抽出の対応点による影響を極力抑制することができ，２つの画像間の高精度の位置合わせが可能となる。更に，対応点の数は第３の従来例と比較して実用的な範囲であるので，帳票設計等の自由度を大きくすることができる。
【００４３】
また，請求項２，６，８に係る画像処理方法及び請求項１１，１５，１７に係る画像処理装置では，第１対応点除去手段１０４において異常な個別伸縮率を判定するためのしきい値，または，第２対応点除去手段１０６において伸縮率に対する個別伸縮率の近さを判定するためのしきい値を，対応点間の距離に応じて可変として，対応点の除去を行うようにしている。
【００４４】
例えば，対応点間の距離が近いほど算出される伸縮率の誤差は大きいので，対応点間の距離が小さいほど，異常な個別伸縮率であると判定される，或いは，伸縮率に対する個別伸縮率の近さが遠いと判定される範囲が広くなるように，しきい値を変化させる必要がある。本発明のように，システムの特徴に適合するようしきい値を変化させることで，対応点間の距離が近いために誤差が大きく，異常な個別伸縮率と判定される間違いや，伸縮率に対して個別伸縮率が遠いと判定される間違いを減少させることができ，より高精度な２つの画像間の位置合わせが可能となる。
【００４５】
また，請求項３，７，９に係る画像処理方法及び請求項１２，１６，１８に係る画像処理装置では，変換式算出手段１０７で算出された変換式により得られる補正画像と２つの画像の内の一の画像（参照画像）との間について，第３対応点除去手段１０８により，変換式算出手段１０７の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去し（第３対応点除去ステップ），変換式再算出手段１０７により，第３対応点除去手段１０８の処理結果として残った対応点を用いて，該対応点のずれにより補正画像と一の画像（参照画像）間の変換式を再度算出する（変換式再算出ステップ）ようにしている。
【００４６】
このように，第３対応点除去手段１０８により，補正画像と一の画像（参照画像）との間の対応点の検索範囲を所定範囲内に制限することにより，対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能となる。
【００４７】
また，請求項４に係る画像処理方法及び請求項１３に係る画像処理装置では，変換式再算出手段１０７及び第３対応点除去手段１０８における処理を，第３対応点除去手段１０８において，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行うようにしている。これにより，更に対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能となる。
【００４８】
また，請求項５に係る画像処理方法及び請求項１４に係る画像処理装置では，対応点抽出手段１０２により抽出される対応点を，補正用のタイミングマークとしている。このように，対応点を画一的に「＋」形状等の補正用タイミングマークとすることで，処理が容易となる。
【００４９】
また，請求項１９に係る画像処理装置では，図１に示す如く，文字切り出し手段１０９により，変換式算出手段または変換式再算出手段１０７で算出された変換式により補正画像を生成し，２つの画像の内の一の画像（参照画像）について予め与えられている文字画像存在領域１１４の文字データに基づいて，該補正画像から文字画像を切り出すようにし，更に，請求項２０に係る画像処理装置では，文字認識手段１１０により，文字切り出し手段１０９によって得られた文字画像を認識して文字コードとして出力するようにしている。本発明を例えばＦＡＸＯＣＲ装置等に適用した場合には，該出力結果を元に自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【００５０】
更に，請求項２１に係る画像処理装置では，前記２つの画像の内の他の画像（入力画像）を，ファクシミリを介して入力された画像としている。本発明を例えばＦＡＸＯＣＲ装置等に適用した場合には，ファクシミリ入力を入力画像とした自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【００５１】
本発明の画像処理方法及び画像処理装置が適用される典型的なシステム構成例を図２に示す。図２はＦＡＸＯＣＲ装置による受発注システムの実際の機器構成の具体例を示す構成図である。また，図３は，本システムの処理の流れを概略的に示す説明図である。
【００５２】
本システムは，記入済み帳票２０５をＰＣ等２０３に対してファクシミリ送信して利用されるものであり，ＰＣ等２０３では，ＦＡＸ２０１から公衆回線２０２を介して送られ，画像の回転，伸縮またはノイズ等を含む入力画像について，必要な記載事項を抽出して文字を切り出し，文字認識処理を行って文字データとして伝票自動処理等に供するものである。
【００５３】
即ち，図３において，入力画像と保存されているマスター画像（参照画像）の２つの画像についてアフィン変換式を算出（ステップＳ３０１）し，該アフィン変換式によりマスター画像の文字認識対象領域の変換（ステップＳ３０２）が行われ，該文字認識対象領域に基づいて入力画像について文字認識対象領域が抽出（ステップＳ３０３）され，文字認識処理（ステップＳ３０４）が行われ，文字データが伝票自動処理等（ステップＳ３０５）に供される。
【００５４】
〔実施形態〕
図１は本発明の実施形態に係る画像処理装置の一例であるＦＡＸＯＣＲ装置の構成図である。
【００５５】
同図において，本実施形態の画像処理装置は，画像入力部１０１，タイミングマーク検出部１０２，個別伸縮率算出部１０３，第１タイミングマーク削除部１０４，伸縮率算出部１０５，第２タイミングマーク削除部１０６，画像変換部１０７，第３タイミングマーク削除部１０８，文字切り出し部１０９，文字認識部１１０，画像バッファ１１１，タイミングマークバッファ１１２，伸縮率バッファ１１３及び文字画像領域メモリ１１４を備えて構成されている。
【００５６】
尚，本実施形態の画像処理装置の各構成要素は，特許請求の範囲にいう各手段と対応しており，タイミングマーク検出部１０２は対応点抽出手段に，個別伸縮率算出部１０３は個別伸縮率算出手段に，第１タイミングマーク削除部１０４は第１対応点除去手段に，伸縮率算出部１０５は伸縮率算出手段に，第２タイミングマーク削除部１０６は第２対応点除去手段に，画像変換部１０７は変換式算出手段及び変換式再算出手段に，第３タイミングマーク削除部１０８は第３対応点除去手段に，文字切り出し部１０９は文字切り出し手段に，文字認識部１１０は文字認識手段に，それぞれ対応している。
【００５７】
また，本実施形態の画像処理装置の各構成要素の処理は，特許請求の範囲にいう各ステップと対応しており，タイミングマーク検出部１０２の処理は対応点抽出ステップに，個別伸縮率算出部１０３の処理は個別伸縮率算出ステップに，第１タイミングマーク削除部１０４の処理は第１対応点除去ステップに，伸縮率算出部１０５の処理は伸縮率算出ステップに，第２タイミングマーク削除部１０６の処理は第２対応点除去ステップに，画像変換部１０７の処理は変換式算出ステップ及び変換式再算出ステップに，第３タイミングマーク削除部１０８の処理は第３対応点除去ステップに，それぞれ対応している。
【００５８】
次に，本実施形態で用いる入力画像（特許請求の範囲にいう２つの画像の内の他の画像）の例を図４に，参照画像（２つの画像の内の一の画像）を図５にそれぞれ示す。
【００５９】
図４及び図５に示すように，本実施形態では，対応点を補正用タイミングマークとし，複数のタイミングマーク（入力画像における４１１〜４１８，参照画像における５１１〜５１８）を用いて２つの画像の位置合わせを行う。
【００６０】
以下では，図１に示す本実施形態の画像処理装置の各構成要素が行う処理について，図６から図１５を参照して詳細に説明する。
【００６１】
先ず，画像入力部１０１では，ＦＡＸ等から入力された画像を，本実施形態の画像処理装置で処理可能な形態に変換して，画像バッファ１１１に取り込む。
【００６２】
次に，タイミングマーク検出部１０２では，パターンマッチング等によりタイミングマークを検出する。本実施形態では，図４及び図５に示したように，簡単な例として，タイミングマークとして十字点を用いる場合の例を示す。
【００６３】
図６は，タイミングマーク検出部１０２におけるタイミングマーク抽出処理の手順を示すフローチャートである。
【００６４】
タイミングマークの抽出では，先ずステップＳ６０１で元矩型を抽出し，ステップＳ６０２ではマスク処理を行う。マスク処理は，図７に示すようなマスクを入力画像に対して適用して行われる。
【００６５】
つまり，タイミングマーク抽出用マスクは，図７に示すように，中央の画素７０１と，中央の画素７０１を囲んで４方に配置される周囲の４画素７０２〜７０５とで形成されている。このタイミングマーク用マスクを，図９に示すように入力画像に対して配置してマスク処理が施される。即ち，それぞれのマスクＡ及びＢについて，中央の画素が黒画素で且つ周囲の４画素が白画素となるように配置され，その場合に各マスクの中央の画素が黒画素とされる。
【００６６】
次に，ステップＳ６０３では，マスク処理後の入力画像について，十字点抽出用矩型（タイミングマーク抽出用矩型）の抽出処理が行われる。この十字点抽出用矩型の抽出処理とは，黒画素の連結成分を囲む外接矩型を抽出する処理である。図１０は，図９の入力画像に対してマスク処理を行った後の入力画像であり，図中，矩型１００１が十字点抽出用矩型として抽出される。
【００６７】
次に，ステップＳ６０４以降の処理は，各十字点抽出用矩型について行われるループ処理である。先ず，ステップＳ６０４では，その十字点抽出用矩型が適当な大きさであるかどうかが判断される。またステップＳ６０５からＳ６０７は，十字点抽出用矩型を含む元矩型について行われるループ処理であり，その元矩型が小さく且つ縦横比が不適当である場合に，ステップＳ６０８に進んでその十字点抽出用矩型の中心座標が抽出され，ステップＳ６０９で十字点（タイミングマーク）として抽出される。
【００６８】
つまり，抽出された十字点抽出用矩型では，十字点（タイミングマーク）の部分については，線分の太さに応じてある一定の大きさの矩型が現れる。従って，以下の条件を全て満たす十字点抽出用矩型をタイミングマークとして抽出するものである。
ＣＲｍｎ＜ＣＲｗ＜ＣＲｍｘ （１）
ＣＲｍｎ＜ＣＲｈ＜ＣＲｍｘ （２）
ここに，ＣＲｗはタイミングマーク抽出用矩型の幅［画素］であり，ＣＲｈはタイミングマーク抽出用矩型の高さ［画素］である。また，ＣＲｍｎ，ＣＲｍｘはタイミングマークとして用いる十字点の線分の太さによって定められる定数である。
【００６９】
以上のようにして，タイミングマーク検出部１０２によりタイミングマークが抽出され，タイミングマークバッファ１１２に格納される。ここで，図４の入力画像及び図５の参照画像に対するタイミングマーク抽出結果を図８に示す。
【００７０】
次に，個別伸縮率算出部１０３では，３個のタイミングマークから，入力画像の参照画像に対するＸ，Ｙ方向の拡大率または縮小率をそれぞれ算出し，タイミングマークの組合わせと伸縮率を伸縮率バッファ１１３に保存する。
【００７１】
あるタイミングマークを基準点として，それ以外に２つのタイミングマークを第１参照点及び第２参照点とした場合，入力画像の参照画像に対するＸ，Ｙ方向の拡大率または縮小率は次式を用いて求めることができる。
【００７２】
次に，第１タイミングマーク削除部１０４では，先ず，以下の条件の何れかを満たす参照点の組を，異常な伸縮率を持つ参照点の組と判断し，その個数を各基準点毎に集計する。
Ｓｙ＜Ｓｙｍｎ （５）
Ｓｙ＞Ｓｙｍｘ （６）
Ｓｘ＜Ｓｘｍｎ （７）
Ｓｘ＜Ｓｘｍｘ （８）
ここに，ＳｘはＸ方向の伸縮率，ＳｙはＹ方向の伸縮率，ＳｘｍｎはＸ方向の伸縮率最小値，ＳｙｍｎはＹ方向の伸縮率最小値，ＳｘｍｘはＸ方向の伸縮率最大値，ＳｙｍｘはＹ方向の伸縮率最大値である。
【００７３】
異常な伸縮率を持つ参照点の組として個数が各基準点毎に集計されたならば，次に，以下の条件を満たすタイミングマーク（基準点）を削除する。
Ｎｆ＞Ｎｔｆ （９）
ここに，Ｎｆは異常な伸縮率を持つ参照点の組の個数，Ｎｔｆは異常な伸縮率を持つ参照点の組の許容個数である。尚，許容個数Ｎｔｆは印字されているタイミングマークの個数等に応じて決定される。
【００７４】
図８のタイミングマーク抽出結果に対して，第１タイミングマーク削除部１０４により行われる削除処理を図１１に例示する。
【００７５】
誤ったタイミングマークを基準点として用いた場合，異常に大きい或いは小さい伸縮率が算出される参照点の組合わせの数が多くなる。本実施形態では，第１タイミングマーク削除部１０４により，適用されるシステム毎に入力画像の参照画像に対する伸縮率の大まかな範囲を定めることが可能となる。
【００７６】
また，許容個数Ｎｔｆをタイミングマーク間の距離の平均値等に応じて可変することで，性能の向上が見込まれる。つまり，タイミングマーク間の距離が近いほど算出される伸縮率の誤差は大きいので，タイミングマーク間の距離が小さいほど許容個数Ｎｔｆが大きくなるよう，システムに合った適切な許容個数Ｎｔｆの算出式を用いることにより，タイミングマーク間の距離が小さいために誤差が大きくなって異常と判断されてしまうといった間違いを少なくできるからである。
【００７７】
次に，伸縮率算出部１０５では，入力画像の参照画像に対する伸縮率を算出する。
【００７８】
先ず，第１タイミングマーク削除部１０４において削除されなかった残りの各基準点毎に，Ｘ方向の伸縮率の中央値ＳＸ(n) を算出する。次に，ＳＸ(n) に関しその中央値を算出して，入力画像の参照画像に対するＸ方向の伸縮率Ｓｘｉｍとする。また，Ｙ方向についても，同様の処理によつてＹ方向の伸縮率Ｓｙｉｍを算出する。このように２段階で中央値を算出することで正しい伸縮率が求められる確率を向上させることができる。
【００７９】
次に，第２タイミングマーク削除部１０６では，入力画像の参照画像に対する伸縮率に近い伸縮率が算出される参照点の組合わせを多く持つ基準点を選び出し，それ以外の選出されないタイミングマークを削除する。
【００８０】
第１タイミングマーク削除部１０４で削除されなかったタイミングマークに関する各個別伸縮率について，以下の条件を満たす場合に，入力画像の伸縮率に近い個別伸縮率であると判断する。
Ｓｉ−α＜Ｓ＜Ｓｉ＋α （１０）
ここに，Ｓｉは入力画像の参照画像に対する伸縮率，αは定数，Ｓは（３個のタイミングマークから求めた）個別伸縮率である。
【００８１】
ここでは，αは定数でも構わないが，３個のタイミングマーク間の距離等に応じて可変とすることで，性能の向上が見込まれる。つまり，タイミングマーク間の距離が近いほど算出される伸縮率の誤差は大きいので，タイミングマーク間の距離が小さいほどαは大きくする必要がある。システムに合った適切なαの算出式を用いることで，タイミングマーク間の距離が近いために誤差が大きくなって伸縮率が遠いと判断されてしまうといった間違いを少なくできるからである。
【００８２】
次に，各基準点毎，ＸＹ方向毎に，入力画像の伸縮率に近い個別伸縮率が算出された参照点の組合わせの個数Ｎｓを計数する。
【００８３】
この組合わせの個数Ｎｓの多い基準点ほど，対応が正しい可能性が大きいと判断できる。従って，この組合わせ個数Ｎｓについて所定のしきい値を定め，該しきい値よりも組合わせの個数Ｎｓの大きい基準点（タイミングマーク）を選ぶことで，タイミングマークの誤検出を防ぐことができる。
【００８４】
尚，各基準点については，Ｘ方向で画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数Ｎｓｘと，Ｙ方向で画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数Ｎｓｙの内，小さい方をその基準点のＮｓとする。従って，次の条件を満たすタイミングマークを削除する。
Ｎｓ＜Ｎｔｓｃ （１１）
ここに，Ｎｓは画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数，Ｎｔｓｃは画像の伸縮率に近い伸縮率が算出された参照点の組合わせの個数最小値である。
【００８５】
図１１の第１タイミングマーク削除部１０４の処理結果に対して，第２タイミングマーク削除部１０６により行われる削除処理を図１２に例示する。
【００８６】
次に，画像変換部１０７では，入力画像，参照画像のタイミングマーク間のずれを算出し，例えば「William H. Press, "Numerical Recipes in Ｃ", CAMBRIDGE ＵNIVERSITY PRESS, pp59-70, pp671-681 」（参考文献１）で示されるような方法で補正関数（変換式）を算出する。つまり，補正関数としては，本実施形態ではアファイン変換を用いるものとし，参考文献１に示された手法により，以下にの補正関数（変換式）が得られたものとする。
【数１】
ここで，（Ｘｔ，Ｙｔ）は補正後の座標系であり，（Ｘｉ，Ｙｉ）は入力画像の座標系である。例えば補正画像の（２９８１，３８６４）の画素値を算出する際には，先ず変換式（１２）を用いて，対応する入力画像中の座標を，次のようにして算出する。
【数２】
この画素の場合には，入力画像の（３１５８，３７２６）の画素値を補正画像の（２９８１，３８６４）の画素値とする。このように全ての補正画像の画素について入力画像を参照して画素値を算出すると，補正画像のフォームは参照画像のフォームと同じ位置に存在するようになる。
【００８９】
次に，第３タイミングマーク削除部１０８では，補正画像と参照画像のタイミングマーク間の距離を算出し，タイミングマーク間の距離がしきい値Ｄｔｈより大きいタイミングマークを削除する。
【００９０】
第３タイミングマーク削除部１０８によりタイミングマークを削除した場合には，画像変換部１０７における処理を再び行う。また，第３タイミングマーク削除部１０８において，削除されるタイミングマークがない場合には，文字切り出し部１０９の処理に進む。
【００９１】
次に，文字切り出し部１０９では，文字画像領域メモリ１１４中から文字画像の存在する領域のデータを参照して，補正画像中から文字画像の部分を切り出す。文字画像領域メモリ１１４内に格納されているデータの概念図を図１３に示す。また，図１４（ａ）の補正画像について，文字画像領域メモリ１１４を参照して得られた文字画像切り出し結果を図１４（ｂ）に示す。
【００９２】
尚，文字認識部１１０のスキューに対する頑強性が高い場合には，入力画像から補正画像を求めるのは計算量が多いので，文字画像領域メモリ１１４内の座標を補正して文字画像を切り出す方が好ましい。
【００９３】
最後に，文字認識部１１０では，文字切り出し部１０９から送られてきた文字画像を認識し，文字コードとして出力する。図１５（ａ）の文字画像切り出し結果に対する文字認識結果を図１５（ｂ）に，この場合の文字認識部１１０からの出力データの概念図を図１５（ｃ）にそれぞれ示す。
【００９４】
本実施形態の画像処理装置が適用されるＦＡＸＯＣＲ装置等では，文字認識部１１０からの出力結果を元に，更に自動的な受発注業務等を行う。この部分については，本発明とは直接関係ないので説明を割愛する。
【００９５】
以上のような本実施形態の画像処理装置の構成または画像処理方法によれば，以下のような効果を奏する。第１に，複数のタイミングマークを用いるので，幾つかのタイミングマークが検出できない場合でも，２つの画像間の位置合わせが可能であり，ノイズに対する頑強性が強い。第２に，タイミングマークの誤検出を防ぐことができる。また第３に，広い範囲にわたる複数のタイミングマークを用いれば，２つの画像間の高精度な位置合わせが可能である。更に第４に，タイミングマークの位置に関する自由度が大きい。
【００９６】
以上説明したように，本発明に係る画像処理装置によれば，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，対応点抽出手段により２つの画像間で複数の対応点を抽出し，個別伸縮率算出手段により複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し，第１対応点除去手段により異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除し，更に変換式算出手段により，第１対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより２つの画像間の変換式を算出することとしたので，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することができる。
【００９７】
また，本発明に係る画像処理装置によれば，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，先ず対応点抽出手段により２つの画像間で複数の対応点を抽出し，次に個別伸縮率算出手段により複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出し，また伸縮率算出手段により抽出された全ての対応点を用いて２つの画像間の伸縮率を算出し，次に第２対応点除去手段により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように複数の対応点から除去し，更に変換式算出手段により，第２対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより２つの画像間の変換式を算出することとしたので，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することができる。
【００９８】
【発明の効果】
以上説明したように，請求項１に係る画像処理方法及び請求項１０に係る画像処理装置によれば，２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて２つの画像間の変換式を算出するといった画像処理を行う場合に，先ず対応点抽出手段により２つの画像間で複数の対応点を抽出し，次に個別伸縮率算出手段により複数の対応点のグループ毎に２つの画像間の個別伸縮率を算出して，第１対応点除去手段により，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を複数の対応点から削除し，次に伸縮率算出手段により，第１対応点除去手段の処理結果として残った全ての対応点を用いて２つの画像間の伸縮率を算出して，第２対応点除去手段により，前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るように複数の対応点から除去し，更に変換式算出手段により，第２対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより２つの画像間の変換式を算出することとしたので，ノイズに対する頑強性が強く，タイミングマーク等による対応点の誤検出を防止でき，高精度の位置合わせが可能で，しかも実用的な画像の位置合わせを行い得る画像処理方法及び画像処理装置を提供することができる。
【００９９】
また，請求項２，６，８に係る画像処理方法及び請求項１１，１５，１７に係る画像処理装置によれば，第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値，または，第２対応点除去手段において伸縮率に対する個別伸縮率の近さを判定するためのしきい値を，対応点間の距離に応じて可変として，対応点の除去を行うこととしたので，より高精度な２つの画像間の位置合わせが可能な画像処理方法及び画像処理装置を提供することができる。
【０１００】
また，請求項３，７，９に係る画像処理方法及び請求項１２，１６，１８に係る画像処理装置によれば，変換式算出手段で算出された変換式により得られる補正画像と２つの画像の内の一の画像との間について，第３対応点除去手段により，変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去し，変換式再算出手段により，第３対応点除去手段の処理結果として残った対応点を用いて該対応点のずれにより補正画像と一の画像間の変換式を再度算出することとし，補正画像と一の画像との間の対応点の検索範囲を所定範囲内に制限するので，対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能な画像処理方法及び画像処理装置を提供することができる。
【０１０１】
また，請求項４に係る画像処理方法及び請求項１３に係る画像処理装置によれば，変換式再算出手段及び第３対応点除去手段における処理を，第３対応点除去手段において，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行うこととしたので，更に対応点の対応付けの誤りを減少させることができ，より高精度な２つの画像間の位置合わせが可能な画像処理方法及び画像処理装置を提供することができる。
【０１０２】
また，請求項５に係る画像処理方法及び請求項１４に係る画像処理装置によれば，対応点抽出手段により抽出される対応点を補正用のタイミングマークとしたので，容易に処理を行い得る画像処理方法及び画像処理装置を提供することができる。
【０１０３】
また，請求項１９に係る画像処理装置によれば，文字切り出し手段により，変換式算出手段または変換式再算出手段で算出された変換式により補正画像を生成し，２つの画像の内の一の画像について予め与えられている文字画像存在領域の文字データに基づいて，該補正画像から文字画像を切り出すようにし，更に，請求項２０に係る画像処理装置によれば，文字認識手段により，文字切り出し手段によって得られた文字画像を認識して文字コードとして出力することとしたので，例えばＦＡＸＯＣＲ装置等に適用した場合に，出力結果を元に自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【０１０４】
更に，請求項２１に係る画像処理装置によれば，２つの画像の内の他の画像を，ファクシミリを介して入力された画像としたので，例えばＦＡＸＯＣＲ装置等に適用した場合に，ファクシミリ入力を入力画像とした自動的な受発注業務等が可能となり，精度の高い業務運営が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の一例であるＦＡＸＯＣＲ装置の構成図である。
【図２】本発明の画像処理方法及び画像処理装置が適用される典型的システムの構成図である。
【図３】図２のシステムの処理の流れを概略的に示す説明図である。
【図４】実施形態で用いる入力画像の説明図である。
【図５】実施形態で用いる参照画像の説明図である。
【図６】タイミングマーク検出部におけるタイミングマーク抽出処理の手順を示すフローチャートである。
【図７】タイミングマーク抽出のマスク処理で使用されるマスクの説明図である。
【図８】タイミングマーク抽出結果を例示する説明図である。
【図９】マスク処理の説明図であり，マスク処理前の入力画像を示す説明図である。
【図１０】マスク処理の説明図であり，マスク処理後の入力画像を示す説明図である。
【図１１】図８のタイミングマーク抽出結果に対する第１タイミングマーク削除部の処理を例示する説明図である。
【図１２】図１１の第１タイミングマーク削除部の処理結果に対する第２タイミングマーク削除部の処理を例示する説明図である。
【図１３】文字画像領域メモリ内に格納されているデータの概念説明図である。
【図１４】図１４（ａ）は補正画像を，図１４（ｂ）は文字画像切り出し結果を，図１４（ｃ）は文字画像領域メモリ内のデータをそれぞれ示す説明図である。
【図１５】図１５（ａ）は文字画像切り出し結果を，図１５（ｂ）は文字認識結果を，図１５（ｃ）は出力データをそれぞれ示す説明図である。
【符号の説明】
１０１ 画像入力部
１０２ タイミングマーク検出部（対応点抽出手段）
１０３ 個別伸縮率算出部（個別伸縮率算出手段）
１０４ 第１タイミングマーク削除部（第１対応点除去手段）
１０５ 伸縮率算出部（伸縮率算出手段）
１０６ 第２タイミングマーク削除部（第２対応点除去手段）
１０７ 画像変換部（変換式算出手段，変換式再算出手段）
１０８ 第３タイミングマーク削除部（第３対応点除去手段）
１０９ 文字切り出し部（文字切り出し手段）
１１０ 文字認識部（文字認識手段）
１１１ 画像バッファ
１１２ タイミングマークバッファ
１１３ 伸縮率バッファ
１１４ 文字画像領域メモリ
Claims (21)
- ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，
前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，
所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去ステップと，
前記第１対応点除去ステップの結果として残った全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，
前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，
前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，
を有することを特徴とする画像処理方法。 - 前記第１対応点除去ステップにおいて異常な個別伸縮率を判定するためのしきい値，または，前記第２対応点除去ステップにおいて伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変であることを特徴とする請求項１記載の画像処理方法。
- 前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，
前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップと，
を有することを特徴とする請求項１または２記載の画像処理方法。 - 前記変換式再算出ステップ及び前記第３対応点除去ステップは，前記第３対応点除去ステップにおいて，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行われることを特徴とする請求項３記載の画像処理方法。
- 前記対応点抽出ステップにより抽出される対応点は，補正用のタイミングマークであることを特徴とする請求項１，２，３または４記載の画像処理方法。
- ２つの画像間で複数の対応する対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，
前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，
所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い前記対応点を，前記複数の対応点から削除する第１対応点除去ステップと，
前記第１対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，
を有し，
前記第１対応点除去ステップにおいて異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変であることを特徴とする画像処理方法。 - ２つの画像間で複数の対応する対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，
前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，
所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去ステップと，
前記第１対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，
前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，
前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップと，
を有することを特徴とする画像処理方法。 - ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，
前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，
抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，
前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，
前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，
を有し，
前記第２対応点除去ステップにおいて伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変であることを特徴とする画像処理方法。 - ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出する画像処理方法において，
前記２つの画像間で複数の対応点を抽出する対応点抽出ステップと，
抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出ステップと，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出ステップと，
前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去ステップと，
前記第２対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出ステップと，
前記変換式算出ステップで算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出ステップの時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去ステップと，
前記第３対応点除去ステップの結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出ステップと，
を有することを特徴とする画像処理方法。 - ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，
前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，
異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，
前記第１対応点除去手段の処理結果として残った全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，
前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，
前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段と，
を有することを特徴とする画像処理装置。 - 前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値，または，前記第２対応点除去手段において伸縮率に対する個別伸縮率の近さを判定するためのしきい値は，対応点間の距離に応じて可変であることを特徴とする請求項１０記載の画像処理装置。
- 前記画像処理装置は，
前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，
前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段と，
を有することを特徴とする請求項１０または１１記載の画像処理装置。 - 前記変換式再算出手段及び前記第３対応点除去手段における処理は，前記第３対応点除去手段において，対応点の間の距離の最大値または平均値が所定のしきい値を越えている間，或いは，除去すべき対応点が存在する間，繰り返し行われることを特徴とする請求項１２記載の画像処理装置。
- 前記対応点抽出手段により抽出される対応点は，補正用のタイミングマークであることを特徴とする請求項１０，１１，１２または１３記載の画像処理装置。
- ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，
前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，
所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，
前記第１対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段と，
を有し，
前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変であることを特徴とする画像処理装置。 - ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，
前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，
所定の個別伸縮率の範囲外の値である，異常な個別伸縮率が算出されるグループに含まれる場合の多い対応点を，前記複数の対応点から削除する第１対応点除去手段と，
前記第１対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段と，
を有し，
前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，
前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段と，
を有することを特徴とする画像処理装置。 - ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，
前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，
抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，
前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，
前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段と，
を有し，
前記第１対応点除去手段において異常な個別伸縮率を判定するためのしきい値は，対応点間の距離に応じて可変であることを特徴とする画像処理装置。 - ２つの画像間で複数の対応点を抽出し，抽出された対応点のずれを用いて前記２つの画像間の変換式を算出して，前記２つの画像間で位置合わせを行う画像処理装置において，
前記２つの画像間で複数の対応点を抽出する対応点抽出手段と，
抽出された全ての対応点を用いて前記２つの画像間の伸縮率を算出する伸縮率算出手段と，
複数の対応点のグループ毎に前記２つの画像間の個別伸縮率を算出する個別伸縮率算出手段と，
前記伸縮率に近い個別伸縮率が算出される対応点のグループに含まれる場合の多い対応点のみが残るよう，前記複数の対応点から除去する第２対応点除去手段と，
前記第２対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記２つの画像間の変換式を算出する変換式算出手段と，
を有し，
前記変換式算出手段で算出された変換式により得られる補正画像と前記２つの画像の内の一の画像との間について，前記変換式算出手段の処理時点で残っている対応点の間の距離を算出し，距離の大きい対応点を残っている対応点から除去する第３対応点除去手段と，
前記第３対応点除去手段の処理結果として残った対応点を用いて，該対応点のずれにより前記補正画像と前記一の画像間の変換式を算出する変換式再算出手段と，
を有することを特徴とする画像処理装置。 - 前記画像処理装置は，前記変換式算出手段または前記変換式再算出手段で算出された変換式により補正画像を生成し，前記２つの画像の内の一の画像について予め与えられている文字画像存在領域の文字データに基づいて，該補正画像から文字画像を切り出す文字切り出し手段を有することを特徴とする請求項１０，１１，１２，１３，１４，１５，１６，１７または１８記載の画像処理装置。
- 前記画像処理装置は，前記文字切り出し手段により得られた文字画像を認識する文字認識手段を有することを特徴とする請求項１９記載の画像処理装置。
- 前記２つの画像の内の他の画像は，ファクシミリを介して入力された画像であることを特徴とする請求項１０，１１，１２，１３，１４，１５，１６，１７，１８，１９または２０記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27383796A JP3625245B2 (ja) | 1996-10-16 | 1996-10-16 | 画像処理方法及び画像処理装置 |
| US08/927,882 US6018593A (en) | 1996-09-11 | 1997-09-11 | Method and system for correcting image position based upon predetermined pattern portions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27383796A JP3625245B2 (ja) | 1996-10-16 | 1996-10-16 | 画像処理方法及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10124685A JPH10124685A (ja) | 1998-05-15 |
| JP3625245B2 true JP3625245B2 (ja) | 2005-03-02 |
Family
ID=17533244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27383796A Expired - Lifetime JP3625245B2 (ja) | 1996-09-11 | 1996-10-16 | 画像処理方法及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3625245B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3708768B2 (ja) | 1999-11-22 | 2005-10-19 | シャープ株式会社 | 読取り装置及びデータ処理システム |
| JP2002298141A (ja) | 2001-03-29 | 2002-10-11 | Nec Corp | パターン照合装置とそのパターン照合方法、及びパターン照合プログラム |
| JP5120013B2 (ja) | 2008-03-27 | 2013-01-16 | 富士通株式会社 | 認証装置、認証方法及び認証プログラム |
-
1996
- 1996-10-16 JP JP27383796A patent/JP3625245B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10124685A (ja) | 1998-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7889929B2 (en) | Image processing apparatus, image processing method, computer readable medium storing program and data signal embedded with the program | |
| JP3636809B2 (ja) | 画像処理方法 | |
| WO2004051575A1 (ja) | 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム | |
| EP1783685A2 (en) | Image processing for point extraction | |
| KR101450782B1 (ko) | 화상 처리 장치 및 프로그램 | |
| JP2006065429A (ja) | 撮影画像の変化抽出装置及び方法 | |
| JP2007241356A (ja) | 画像処理装置および画像処理プログラム | |
| JP3625245B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP4120795B2 (ja) | 加筆抽出装置及び加筆抽出方法 | |
| JP3600380B2 (ja) | 画像処理方法及びファクス文字認識装置 | |
| JPH08320990A (ja) | 車番読み取り装置 | |
| US20040146194A1 (en) | Image matching method, image matching apparatus, and wafer processor | |
| JPH1040312A (ja) | 帳票画像作成装置 | |
| JPH09147109A (ja) | 特定マーク検出方法及び特定マーク検出装置 | |
| JP3640488B2 (ja) | 画像処理方法 | |
| JP4639044B2 (ja) | 輪郭形状抽出装置 | |
| JP3066137B2 (ja) | パターンマッチング方法 | |
| JP2011171991A (ja) | 画像処理装置、電子機器、画像処理方法、および、画像処理プログラム | |
| JP5395722B2 (ja) | 線画処理装置、線画処理方法およびプログラム | |
| JP2005182236A (ja) | 車両ナンバー読み取り装置 | |
| JP2000311244A (ja) | 画像のマッチング方法 | |
| JP2516844B2 (ja) | 部品検出方法及び装置 | |
| JPH1027208A (ja) | 帳票照合方法及び装置 | |
| JP4635845B2 (ja) | Ｏｃｒ装置、フォームアウト方法及びフォームアウトプログラム | |
| JPH10124684A (ja) | 画像処理方法，記憶媒体及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041126 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |