JPH10124684A - 画像処理方法，記憶媒体及び画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 伸縮，スキュー，位置ずれ等の部分的な画像
の歪みに対応可能な画像処理方法及び画像処理装置を提
供することを目的とする。 【解決手段】 ２つの画像間で複数の対応点を抽出し，
抽出された対応点のずれを用いて２つの画像間の変換式
を算出するといった画像処理を行う場合に，対応点抽出
手段１１１〜１１３により，２つの画像間で複数の対応
点を抽出し，対応点移動ベクトル算出手段１１５によ
り，抽出された対応点から対応点移動ベクトルを算出
し，クラスタリング手段１１６により，対応点移動ベク
トルを対象として，大きさと方向の近い対応点移動ベク
トルが同じクラスタに分類されるようにクラスタリング
処理を行い，部分画像変換式算出手段１１７により，各
クラスタ内の対応点移動ベクトル毎に部分画像の変換式
を算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，ＦＡＸＯＣＲ装置
等における画像認識，文字認識等の画像処理方法及びＦ
ＡＸＯＣＲ装置等の画像処理装置に係り，特に，複数の
対応点を用いて位置ずれ／回転／変倍のある帳票や文書
画像等の画像の位置合わせを行う際に，画像中に歪みが
存在する場合でも，できる限り精度良く画像の位置合わ
せを行うことができ，伸縮，スキュー，位置ずれ等の部
分的な画像の歪みに対応可能な画像処理方法及び画像処
理装置に関する。

【０００２】ここに，ＦＡＸＯＣＲ装置は，ファクシミ
リで送られてきた画像中から必要な記載事項を切り出
し，文字認識処理を行ってデータとして出力するもので
あり，特にここでは，ファクシミリにより送られてきた
帳票等の画像を取り込み，画像認識処理として，該画像
（入力画像）と同種の参照画像とを位置合わせした後，
入力画像中の必要な記載事項を切り出し，文字認識処理
を行って文字データとして出力する例について取り扱わ
れる。

【０００３】

【従来の技術】典型的なＦＡＸＯＣＲに関する従来技術
としては，特開平３−１８９７８３号公報で開示されて
いる「ファクシミリ画像用文字認識装置」（第１の従来
例）がある。この第１の従来例では，文字の記入されて
いる黒文字枠を抽出し，該黒文字枠を消去してから中の
文字画像を認識するものである。尚，本従来例では，枠
の左右に印字されている基準マークを検出して，黒文字
枠を抽出している。

【０００４】しかしながら，ＦＡＸＯＣＲ装置等におい
ては画像の歪みなどが生じる場合があり，基準マークか
ら位置ずれやスキューを抽出して補正するのみでは，画
像全体に対する位置合わせの精度が保証されない場合が
ある。

【０００５】このような問題を解決するべく，画像中の
複数の位置でスキューを検出し，部分的にスキュー補正
をかける技術が，特開平４−２５５０８７号公報で開示
の「文字読取装置」（第２の従来例）に示されている。

【０００６】しかしながら，画像の歪みはスキューのみ
ではなく，画像の伸縮に関して生じる場合もあり，様々
な歪みに対して同時に対応可能な手法を用いることが好
ましい。

【０００７】また，特開昭５９−２１８５７３号公報で
開示の「画像位置合わせ方式」（第３の従来例）に示さ
れている従来技術では，対応点の移動ベクトルに注目し
て，特異な動きをする移動ベクトルを削除する方法が示
されている。このように対応点の移動ベクトルに注目し
た場合，スキューのみではなく，位置ずれ伸縮に関する
画像の歪みの問題も同時に取扱うことができる。但し，
本従来例は，医療画像処理の分野での技術であり，ＦＡ
ＸＯＣＲ装置等の文書画像の分野では，本従来例のよう
に格子上にきれいに対応点を抽出することは困難であ
る。

【０００８】

【発明が解決しようとする課題】以上のように，上記第
１の従来例の画像処理装置にあっては，画像の歪みなど
が生じる場合に，基準マークから位置ずれやスキューを
抽出して補正するのみでは，画像全体に対する位置合わ
せの精度が保証されない場合があるという問題点があっ
た。

【０００９】また，第２の従来例の画像処理装置にあっ
ては，画像の歪みはスキューのみではなく，画像の伸縮
に関して生じる場合もあり，スキュー以外の他の歪みの
原因に対応できないという問題点があった。

【００１０】更に，第３の従来例の画像処理装置にあっ
ては，スキュー，位置ずれ伸縮に関する画像の歪みの問
題に同時に対応できるが，文書画像の分野に適用した場
合，正確に対応点を抽出することが難しいという問題点
があった。

【００１１】本発明は，上記従来の問題点に鑑みてなさ
れたものであって，複数の対応点を用いて位置ずれ／回
転／変倍のある帳票や文書画像等の画像の位置合わせを
行う際に，画像中に歪みが存在する場合でも，できる限
り精度良く画像の位置合わせを行うことのできる画像処
理方法及び画像処理装置を提供することを目的としてい
る。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に，本発明の請求項１に係る画像処理方法は，２つの画
像間で複数の対応点を抽出し，抽出された対応点のずれ
を用いて２つの画像間の変換式を算出する画像処理方法
において，前記２つの画像間で複数の対応点を抽出する
対応点抽出ステップと，抽出された対応点から対応点移
動ベクトルを算出する対応点移動ベクトル算出ステップ
と，前記対応点移動ベクトルを対象として，大きさと方
向の近い対応点移動ベクトルが同じクラスタに分類され
るようにクラスタリング処理を行うクラスタリングステ
ップと，前記各クラスタ内の対応点移動ベクトル毎に部
分画像の変換式を算出する部分画像変換式算出ステップ
とを備えたものである。

【００１３】また，請求項２に係る画像処理方法は，２
つの画像間で複数の対応点を抽出し，抽出された対応点
のずれを用いて２つの画像間の変換式を算出する画像処
理方法において，前記２つの画像間で複数の対応点を抽
出する対応点抽出ステップと，抽出された対応点を用い
て，該対応点のずれにより前記２つの画像間の変換式を
算出する画像変換式算出ステップと，前記画像変換式に
基づいて画像を変換する画像変換ステップと，前記変換
した画像間の対応点から対応点移動ベクトルを算出する
対応点移動ベクトル算出ステップと，前記対応点移動ベ
クトルを対象として，方向の近い対応点移動ベクトルが
同じクラスタに分類されるようにクラスタリング処理を
行うクラスタリングステップと，前記各クラスタ内の対
応点移動ベクトル毎に部分画像の変換式を算出する部分
画像変換式算出ステップとを備えたものである。

【００１４】また，請求項３に係る画像処理方法は，請
求項１または２記載の画像処理方法において，前記複数
の部分画像変換式を用いてそれぞれの部分変換画像を作
成する部分画像変換ステップと，前記部分変換画像を合
成して変換画像を作成する画像合成ステップとを備え，
前記画像合成ステップは，前記変換画像の各画素から最
も近い対応点を使用して算出した部分画像変換式を用い
て作成した部分変換画像の画素値を，該変換画像の画素
値とするものである。

【００１５】また，請求項４に係る画像処理方法は，請
求項１または２記載の画像処理方法において，前記複数
の部分画像変換式を用いてそれぞれの部分変換画像を作
成する部分画像変換ステップと，前記部分変換画像を合
成して変換画像を作成する画像合成ステップとを備え，
前記画像合成ステップは，変換先の画像と部分変換画像
をそれぞれ細かいメッシュに分けて，各メッシュ内でマ
ッチング処理を行い，該マッチング処理結果が最も一致
する部分変換画像を合成して変換画像を作成するもので
ある。

【００１６】また，請求項５に係る画像処理方法は，請
求項１，２，３または４記載の画像処理方法において，
画像に歪みの生じている部分を特定し，歪みの生じてい
る部分については画像の変換式を補間して使用して変換
画像を作成するものである。

【００１７】また，請求項６に係るコンピュータにより
読み取り可能な記憶媒体は，請求項１，２，３，４また
は５記載の画像処理方法をコンピュータに実行させるた
めのプログラムとして記憶したものである。

【００１８】また，請求項７に係る画像処理装置は，２
つの画像間で複数の対応点を抽出し，抽出された対応点
のずれを用いて前記２つの画像間の変換式を算出して，
前記２つの画像間で位置合わせを行う画像処理装置にお
いて，前記２つの画像間で複数の対応点を抽出する対応
点抽出手段と，抽出された対応点から対応点移動ベクト
ルを算出する対応点移動ベクトル算出手段と，前記対応
点移動ベクトルを対象として，大きさと方向の近い対応
点移動ベクトルが同じクラスタに分類されるようにクラ
スタリング処理を行うクラスタリング手段と，前記各ク
ラスタ内の対応点移動ベクトル毎に部分画像の変換式を
算出する部分画像変換式算出手段とを具備するものであ
る。

【００１９】また，請求項８に係る画像処理装置は，２
つの画像間で複数の対応点を抽出し，抽出された対応点
のずれを用いて前記２つの画像間の変換式を算出して，
前記２つの画像間で位置合わせを行う画像処理装置にお
いて，前記２つの画像間で複数の対応点を抽出する対応
点抽出手段と，抽出された対応点を用いて，該対応点の
ずれにより前記２つの画像間の変換式を算出する画像変
換式算出手段と，前記画像変換式に基づいて画像を変換
する画像変換手段と，前記変換した画像間の対応点から
対応点移動ベクトルを算出する対応点移動ベクトル算出
手段と，前記対応点移動ベクトルを対象として，方向の
近い対応点移動ベクトルが同じクラスタに分類されるよ
うにクラスタリング処理を行うクラスタリング手段と，
前記各クラスタ内の対応点移動ベクトル毎に部分画像の
変換式を算出する部分画像変換式算出手段とを具備する
ものである。

【００２０】また，請求項９に係る画像処理装置は，請
求項７または８記載の画像処理装置において，前記画像
処理装置は，前記複数の部分画像変換式を用いてそれぞ
れの部分変換画像を作成する部分画像変換手段と，前記
部分変換画像を合成して変換画像を作成する画像合成手
段とを具備し，前記画像合成手段は，前記変換画像の各
画素から最も近い対応点を使用して算出した部分画像変
換式を用いて作成した部分変換画像の画素値を，該変換
画像の画素値とするものである。

【００２１】また，請求項１０に係る画像処理装置は，
請求項７または８記載の画像処理装置において，前記画
像処理装置は，前記複数の部分画像変換式を用いてそれ
ぞれの部分変換画像を作成する部分画像変換手段と，前
記部分変換画像を合成して変換画像を作成する画像合成
手段とを具備し，前記画像合成手段は，変換先の画像と
部分変換画像をそれぞれ細かいメッシュに分けて，各メ
ッシュ内でマッチング処理を行い，該マッチング処理結
果が最も一致する部分変換画像を合成して変換画像を作
成するものである。

【００２２】また，請求項１１に係る画像処理装置は，
請求項７，８，９または１０記載の画像処理装置におい
て，画像に歪みの生じている部分を特定し，歪みの生じ
ている部分については画像の変換式を補間して使用して
変換画像を作成するものである。

【００２３】また，請求項１２に係る画像処理装置は，
請求項７，８，９，１０または１１記載の画像処理装置
において，前記２つの画像の内の一の画像について予め
与えられている文字画像存在領域の文字データに基づい
て，前記変換画像から文字画像を切り出す文字切り出し
手段を具備するものである。

【００２４】また，請求項１３に係る画像処理装置は，
請求項１２記載の画像処理装置において，前記画像処理
装置は，前記文字切り出し手段により得られた文字画像
を認識する文字認識手段を具備するものである。

【００２５】更に，請求項１２に係る画像処理装置は，
請求項７，８，９，１０，１１，１２または１３記載の
画像処理装置において，前記２つの画像の内の他の画像
を，ファクシミリを介して入力された画像としたもので
ある。

【００２６】

【発明の実施の形態】以下，本発明の画像処理方法及び
画像処理装置の概要について，並びに，本発明の画像処
理方法及び画像処理装置の実施形態について，順に図面
を参照して詳細に説明する。

【００２７】〔本発明の画像処理方法及び画像処理装置
の概要〕本発明の請求項１に係る画像処理方法及び請求
項７に係る画像処理装置では，２つの画像間で複数の対
応点を抽出し，抽出された対応点のずれを用いて２つの
画像間の変換式を算出するといった画像処理を行う場合
に，図１に示す如く，対応点抽出手段１１１〜１１３に
より，２つの画像間で複数の対応点を抽出し（対応点抽
出ステップ），対応点移動ベクトル算出手段１１５によ
り，抽出された対応点から対応点移動ベクトルを算出し
（対応点移動ベクトル算出ステップ），クラスタリング
手段１１６により，対応点移動ベクトルを対象として，
大きさと方向の近い対応点移動ベクトルが同じクラスタ
に分類されるようにクラスタリング処理を行い（クラス
タリングステップ），部分画像変換式算出手段１１７に
より，各クラスタ内の対応点移動ベクトル毎に部分画像
の変換式を算出する（部分画像変換式算出ステップ）よ
うにしている。

【００２８】このように，各対応点の移動ベクトルを算
出して，該対応点移動ベクトルの大きさと方向に注目し
てクラスタリング処理を行い，同一のクラスタ内の対応
点毎に部分画像の変換式を用いて部分的に画像を変換す
るので，画像中に歪みが存在する場合でも画像の位置合
わせの精度を向上させることが可能となる。

【００２９】また，請求項２に係る画像処理方法及び請
求項８に係る画像処理装置では，２つの画像間で複数の
対応点を抽出し，抽出された対応点のずれを用いて２つ
の画像間の変換式を算出するといった画像処理を行う場
合に，図１に示す如く，対応点抽出手段１１１〜１１３
により，前記２つの画像間で複数の対応点を抽出し（対
応点抽出ステップ），画像変換式算出手段１１４によ
り，抽出された対応点を用いて，該対応点のずれにより
２つの画像間の変換式を算出し（画像変換式算出ステッ
プ），画像変換手段１１４により，前記画像変換式に基
づいて画像を変換し（画像変換ステップ），対応点移動
ベクトル算出手段１１５により，変換した画像間の対応
点から対応点移動ベクトルを算出し（対応点移動ベクト
ル算出ステップ），クラスタリング手段１１６により，
対応点移動ベクトルを対象として，方向の近い対応点移
動ベクトルが同じクラスタに分類されるようにクラスタ
リング処理を行い（クラスタリングステップ），部分画
像変換式算出手段１１７により，各クラスタ内の対応点
移動ベクトル毎に部分画像の変換式を算出する（部分画
像変換式算出ステップ）ようにしている。

【００３０】このように，変換した画像間の対応点から
各対応点の移動ベクトルを算出して，該対応点移動ベク
トルの方向に注目してクラスタリング処理を行い，同一
のクラスタ内の対応点毎に部分画像の変換式を用いて部
分的に画像を変換するので，画像中に歪みが存在する場
合でも画像の位置合わせの精度を向上させることが可能
となる。

【００３１】また，請求項３に係る画像処理方法及び請
求項９に係る画像処理装置では，図１に示す如く，部分
画像変換手段１１７により，複数の部分画像変換式を用
いてそれぞれの部分変換画像を作成し（部分画像変換ス
テップ），画像合成手段１１７により，変換画像の各画
素から最も近い対応点を使用して算出した部分画像変換
式を用いて作成した部分変換画像の画素値を，該変換画
像の画素値とする（画像合成ステップ）ようにしてい
る。これにより，画像の位置合わせの精度を更に向上さ
せることが可能となる。

【００３２】また，請求項４に係る画像処理方法及び請
求項１０に係る画像処理装置では，図１に示す如く，部
分画像変換手段１１７により，複数の部分画像変換式を
用いてそれぞれの部分変換画像を作成し（部分画像変換
ステップ），画像合成手段１１７により，変換先の画像
と部分変換画像をそれぞれ細かいメッシュに分けて，各
メッシュ内でマッチング処理を行い，該マッチング処理
結果が最も一致する部分変換画像を合成して変換画像を
作成する（画像合成ステップ）ようにしている。これに
より，画像の位置合わせの精度を更に向上させることが
可能となる。

【００３３】また，請求項５に係る画像処理方法及び請
求項１１に係る画像処理装置では，画像に歪みの生じて
いる部分を特定し，歪みの生じている部分については画
像の変換式を補間して使用して変換画像を作成するよう
にしている。これにより，より連続性の確実な変換画像
を得ることができ，画像の位置合わせの精度を更に向上
させることが可能となる。

【００３４】また，請求項６に係るコンピュータにより
読み取り可能な記憶媒体では，請求項１，２，３，４ま
たは５記載の画像処理方法をコンピュータに実行させる
ためのプログラムとして記憶するのが望ましい。例え
ば，各ステップをプログラム部品として用意すれば，画
像処理システム設計段階で各プログラム部品の組み合わ
せにより，入力画像の特徴に適した画像処理システムを
容易に構築することが可能となる。

【００３５】また，請求項１２に係る画像処理装置で
は，図１に示す如く，文字切り出し手段１２１により，
２つの画像の内の一の画像（参照画像）について予め与
えられている文字画像存在領域１３６の文字データに基
づいて，該補正画像から文字画像を切り出すようにし，
更に，請求項１３に係る画像処理装置では，文字認識手
段１２２により，文字切り出し手段１２１によって得ら
れた文字画像を認識して文字コードとして出力するよう
にしている。本発明を例えばＦＡＸＯＣＲ装置等に適用
した場合には，該出力結果を元に自動的な受発注業務等
が可能となり，精度の高い業務運営が可能となる。

【００３６】更に，請求項１４に係る画像処理装置で
は，２つの画像の内の他の画像（入力画像）を，ファク
シミリを介して入力された画像としている。本発明を例
えばＦＡＸＯＣＲ装置等に適用した場合には，ファクシ
ミリ入力を入力画像とした自動的な受発注業務等が可能
となり，精度の高い業務運営が可能となる。

【００３７】〔実施形態〕図１は本発明の実施形態に係
る画像処理装置の一例であるＦＡＸＯＣＲ装置の構成図
である。

【００３８】同図において，本実施形態の画像処理装置
（ＦＡＸＯＣＲ装置）は，画像入力部１００と，画像位
置合わせ部１０１と，認識処理部１０２とに大きく分け
られる。

【００３９】画像位置合わせ部１０１は，パターン抽出
部１１１，同一パターン抽出部１１２，対応点抽出部１
１３，画像補正部１１４，対応点移動ベクトル算出部１
１５，対応点移動ベクトルクラスタリング部１１６，画
像部分補正部１１７，入力画像メモリ１３１，参照画像
パターンメモリ１３２，補正画像メモリ１３３，部分補
正画像メモリ１３４及び合成補正画像メモリ１３５を備
えて構成され，また認識処理部１０２は，文字画像切り
出し部１２１，文字認識部１２２及び文字画像領域メモ
リ１３６を備えて構成されている。

【００４０】尚，本実施形態の画像処理装置の各構成要
素は，特許請求の範囲にいう各手段と対応しており，パ
ターン抽出部１１１，同一パターン抽出部１１２及び対
応点抽出部１１３は対応点抽出手段に，画像補正部１１
４は画像変換式算出手段及び画像変換手段に，対応点移
動ベクトル算出部１１５は対応点移動ベクトル算出手段
に，対応点移動ベクトルクラスタリング部１１６はクラ
スタリング手段に，画像部分補正部１１７は部分画像変
換式算出手段，部分画像変換手段及び画像合成手段に，
文字画像切り出し部１２１は文字切り出し手段に，文字
認識部１２２は文字認識手段に，それぞれ対応してい
る。

【００４１】また，本実施形態の画像処理装置の各構成
要素の処理は，特許請求の範囲にいう各ステップと対応
しており，パターン抽出部１１１，同一パターン抽出部
１１２及び対応点抽出部１１３の処理は対応点抽出ステ
ップに，画像補正部１１４の処理は画像変換式算出ステ
ップ及び画像変換ステップに，対応点移動ベクトル算出
部１１５の処理は対応点移動ベクトル算出ステップに，
対応点移動ベクトルクラスタリング部１１６の処理はク
ラスタリングステップに，画像部分補正部１１７の処理
は部分画像変換式算出ステップ，部分画像変換ステップ
及び画像合成ステップに，それぞれ対応している。

【００４２】以下では，図３に示す帳票の画像を入力画
像とし，また図４に示す未記入の同種帳票の画像を参照
画像として説明する。尚，本実施形態で用いる入力画像
は，図３に示すように，部分的に画像が伸びている例を
取り扱う。このような画像は実際のファクシミリ画像等
で生じる場合がある。

【００４３】また，参照画像は画像全体を保存しておく
必要はなく，図５に示すような形式で参照画像情報が参
照画像パターンメモリ１３２内に格納されている。即
ち，予め参照画像中の黒ランの連結成分の外接矩形を抽
出し，その中から選択した外接矩形内の画像（パター
ン），該外接矩形の左上コーナーと右下コーナーの座
標，及び，参照画像パターンメモリ１３２に格納される
パターンは，幅及び高さが共に８画素より大きく１２８
画素より小さい範囲のものとされる。

【００４４】次に，本実施形態のＦＡＸＯＣＲ装置の処
理内容について，図２に示す手順に従い図３から図１７
を参照して詳細に説明する。図２は，本実施形態のＦＡ
ＸＯＣＲ装置における処理の流れを示すフローチャート
である。

【００４５】先ずステップＳ２０１では，画像入力部１
００は，ファクシミリによって送られてきた入力画像
を，画像位置合わせ部１０１において処理可能な形態で
入力画像メモリ１３１に取り込む。

【００４６】次に，ステップＳ２０２では，パターン抽
出部１１１において，入力画像メモリ１３１に取り込ま
れた入力画像中から黒ランの連結成分を抽出し，その外
接矩形が適当な大きさであるか否かを判定し，適当な大
きさの外接矩形の画像をパターンとして同一パターン抽
出部１１２へ出力する。

【００４７】本実施形態では，外接矩形の幅Ｗ及び高さ
Ｈが ８＜Ｗ＜１２８，且つ，８＜Ｈ＜１２８ の条件を満たしたとき，適当な大きさであると判断され
る。尚，幅Ｗ及び高さＨの値は画素数換算値である。こ
の大きさの範囲に普通の大きさの文字や数字が含まれ
る。パターンが大きくなると，パターンマッチングのた
めの計算量が増加するが，この程度の大きさの範囲のパ
ターンであれば，その計算量は比較的少なく抑えられ
る。

【００４８】次に，ステップＳ２０３では，同一パター
ン抽出部１１２において，パターン抽出部１１１より入
力されたパターンが参照画像パターンメモリ１３２内の
パターンの何れかと同一であるかを調べ，同一パターン
が見つかった時に，該パターンと同じパターン番号を入
力パターンに割り当てる。

【００４９】本実施形態では，このパターンの同一性の
判断は，「William H. Press, "Numerical Recipes in
Ｃ", CAMBRIDGE ＵNIVERSITY PRESS, pp671-681」（参
考文献１）に述べられているパターンマッチング法によ
って行なわれる。但し，本実施形態では，同一サイズと
見なせるパターンについてのみマッチングを行い，サイ
ズが異なるパターンについては，マッチングを行うこと
なく同一でないと判断するものとする。

【００５０】尚，ファクシミリにより送られてくる画像
は，送信側で自動的にページ頭に付加されるヘッディン
グ文字列のサイズの違い，原稿搬送系の搬送誤差により
多少変倍され，普通，その変倍率は０．９５〜１．０７
倍程度である。この程度の変倍率の範囲で，且つ，パタ
ーンサイズを上記範囲の程度に制限すれば，入力画像の
変倍をそのままにしてもパターンマッチングに格別支障
はない。

【００５１】図６に，図３に示した入力画像に対するパ
ターン番号割り当て結果を示す。また図７は，図４に示
した参照画像に対するパターン番号の割り当てを示して
いる。

【００５２】次に，対応点検出部１１３においては，同
一パターン抽出部１１２によって同一パターンと判断さ
れたパターンより，画像の位置ずれ，回転または変倍の
検出に利用可能と判断されるパターン（補正検出パター
ン）を段階的に選び出す。ここに述べる画像の例では，
パターン番号１〜１２のパターンをとりあえず補正検出
パターンとし，その中の不適当なパターンを除去して残
ったパターンを最終的に補正検出パターンとして利用す
る。

【００５３】先ず，ステップＳ２０４では，補正検出パ
ターンの中で，入力画像において距離の近い同一パター
ンが存在する場合，そのパターンを補正検出パターンか
ら除去する。本実施形態では，入力画像中の同一のパタ
ーンの中心間の距離Ｄが閾値Ｔｈ１より大きい場合，即
ち， 距離Ｄ＜５１２ の条件を満たす場合に，そのパターンを補正検出パター
ンから除去する。このような近接した同一パターンを排
除するのは，入力画像のパターンと参照画像のパターン
との対応付けの誤りを避けるためである。

【００５４】ここで述べる画像例では，入力画像上のパ
ターン番号４の２個のパターン間の距離が２１４［画
素］であるので，パターン番号４のパターンは補正検出
パターンから除去される。かくして，この段階で，パタ
ーン番号１〜３，５〜１２のパターンが補正検出パター
ンとなった。尚，この例の場合，参照画像上でもパター
ン番号４のパターンは中心距離が近いので，そのパター
ンを予め参照画像パターンメモリ１３２から除去してお
くという方法を採ってもよい。

【００５５】更に，ステップＳ２０５では，この段階ま
でに補正検出パターンとされたパターンの中で，入力画
像上に一定数以上存在するパターンは，参照画像の対応
パターンのとり違いが起こりやすいため，補正検出パタ
ーンから除外する。本実施形態では，入力画像上に存在
するあるパターンの個数Ｎが， Ｎ＞２ の条件を満たす場合に，そのパターンを補正検出パター
ンから除外する。ここで述べる入力画像の例では，この
段階までに補正検出パターンとされたパターンはどれも
１個ずつしかないので，ここで除去されるパターンはな
い。

【００５６】次に，ステップＳ２０６では，補正検出パ
ターンとされたパターンの中で，画像の複雑度が低いパ
ターンは，ノイズ等と間違われる可能性が高いため，補
正検出パターンから除外する。本実施形態では，パター
ンの幅と高さの大きい方をＬｒとし，また，パターンの
縦方向と横方向のラインの中で黒ランが２個以上あるラ
インの合計数をＮrun としたときに， Ｎrun ＜Ｌｒ×１２ の条件を満たすパターンを，補正検出パターンから除外
する。ここに述べる画像の例では，かかる条件を満たす
補正検出パターンはない。

【００５７】最後に，ステップＳ２０７では，補正検出
パターンとされた入力画像上のパターンと参照画像上の
同じパターンとの中心距離Ｄが，ある閾値Ｔｈ２より大
きい場合，そのパターンを補正検出パターンから除外す
る。この閾値Ｔｈ２は，前記（ステップＳ２０４）の閾
値Ｔｈ１より小さい値とされる。本実施形態では，その
閾値Ｔｈ２は２５６［画素］に選ばれ， 距離Ｄ＞２５６ の条件を満たすパターンを補正検出パターンから除外す
る。ここで述べる画像の例には，かかる条件を満たすパ
ターンはない。従って，パターン番号１〜３，５〜１２
のパターンが最終的に補正検出パターンとして抽出され
る。

【００５８】次に，ステップＳ２０８では，対応点検出
部１１３において，以上のようにして抽出した各補正検
出パターンについて，入力画像上のパターン重心と参照
画像上のパターン重心とを対応点として算出し，その座
標を画像補正部１１４に出力する。

【００５９】図８に対応点検出結果を示す。図８におい
て，各矢線により指される入力画像上の１点と参照画像
上の１点が１組の対応点を構成する。尚，ステップＳ２
０７の処理は，参照画像と入力画像の対応パターンの検
索を距離Ｔｈ２の範囲内に制限することと実質的に等し
い。このように検索範囲を制限することにより，パター
ン対応付けの誤りを減らすことができる。

【００６０】次に，ステップＳ２０９では，画像補正部
１１４において，対応点検出部１１３により検出された
入力画像と参照画像の対応点間のずれを算出し，両画像
の位置合わせのための第１の変換式を求める。この第１
の変換式の算出には，例えば米国特許第５，３０３，３
１３号の方法を用いることができる。本実施形態では，
第１の変換式としてアフィン変換を用いるものとし，想
定した画像例に対して，米国特許第５，３０３，３１３
号の手法により，次の第１の変換式が得られたとする。
但し，（Ｘｔ，Ｙｔ）は第１の変換式により補正された
後の座標系，（Ｘｉ，Ｙｉ）は入力画像の座標系とす
る。

【００６１】

【数１】

【００６２】そして，ステップＳ２１０では，画像補正
部１１４において，この第１の変換式によって入力画像
を参照画像と位置合わせするように補正した画像を，補
正画像メモリ１３３上に作成する。

【００６３】具体的には，例えば，補正画像上の座標
（２９８，３８６４）の画素値を算出する際には，
（１）式により入力画像の対応座標を計算すると，（３
１５８，３８６４）となるので，入力画像の（３１５
８，３８６４）の画素値を補正画像の（２９８１，３８
６４）の画素値とする。同様の手順で，補正画像の全て
の画素について入力画像を参照して画素値を算出するこ
とにより，参照画像に対し，入力画像の位置ずれ／回転
／変倍があっても，その補正画像のフォームは参照画像
のフォームと同じ位置に来るようになる。

【００６４】ところで，本実施形態の画像処理装置にお
ける特徴は，各対応点の移動ベクトルを算出して，移動
ベクトルの方向に注目してクラスタリング処理を行い，
同一のクラスタ内の対応点毎に画像の第２の変換式を用
いて部分的に画像を変換することにあり，これにより画
像の位置合わせの精度を向上させるものである。

【００６５】以上説明した画像入力部１００（ステップ
Ｓ２０１）から画像補正部１１４（ステップＳ２１０）
までの処理は，次に述べる対応点移動ベクトル算出部１
１５の前段の処理となり，このように，予め補正画像を
作成し，その後に対応点移動ベクトル算出部１１５によ
る処理を行うことで，クラスタリングの精度が向上す
る。

【００６６】即ち，全体としての位置合わせを行うこと
で，歪みの方向に応じて対応点移動ベクトルの方向／大
きさのばらつきが大きくなるからであり，例えば，歪み
の影響よりも位置ずれの影響の方が大きい場合には，対
応点移動ベクトルクラスタリング部１１６による処理に
おいて，歪みによる対応点移動ベクトルの方向／大きさ
の違いが無視されてしまう場合があるからである。

【００６７】次に，ステップＳ２１１では，対応点移動
ベクトル算出部１１５において，画像補正部１１４で得
られた補正画像と参照画像の対応点について，それぞれ
の移動ベクトルを算出する。移動ベクトル算出式を次に
示す。

【００６８】

【数２】

【００６９】（２）式において，Ｘipは補正後の入力画
像上での十字点のＸ座標であり，Ｙipは補正後の入力画
像上での十字点のＹ座標であり，Ｘimp は参照画像上で
の十字点のＸ座標であり，Ｙimp は参照画像上での十字
点のＹ座標である。図９には，参照画像（図９（ａ））
と補正画像（図９（ｂ））の各対応点について，算出し
た対応点移動ベクトル（図９（ｃ））を例示する。

【００７０】次に，ステップＳ２１２では，対応点移動
ベクトルクラスタリング部１１６において，移動方向の
近い対応点移動ベクトルが同じクラスタに分類されるよ
うにクラスタリングを行う。本実施形態では，Ｗａｒｄ
法を用いてクラスタリングを行う。

【００７１】ここで，距離関数を次に示す。 Ｄ＝（Ｘv1−Ｘv2）² ＋（Ｙv1−Ｙv2）² （３） ここに，Ｄは距離であり，Ｘv1は第１対応点移動ベクト
ルのＸ方向移動量であり，Ｘv2は第２対応点移動ベクト
ルのＸ方向移動量であり，Ｙv1は第１対応点移動ベクト
ルのＹ方向移動量であり，Ｙv2は第２対応点移動ベクト
ルのＹ方向移動量である。

【００７２】尚，クラスタリング手法並びに距離関数
は，他の適当なクラスタリング手法や距離関数を用いて
も講わない。図１０（ａ）にはクラスタリングに用いる
ベクトル間の距離を，また図１０（ｂ）には，図９
（ｃ）の対応点移動ベクトルに対するクラスタリングの
例を示す。図１０（ｂ）において，対応点移動ベクトル
は，移動方向が画面に対して下向きのクラスタＣ１と移
動方向が画面に対して上向きのクラスタＣ２の２つのク
ラスタにクラスタリングされている。

【００７３】尚，本実施形態では，対応点移動ベクトル
クラスタリング部１１６におけるクラスタリング手法と
して，移動方向の近い対応点移動ベクトルが同じクラス
タに分類されるようにクラスタリング処理を行ったが，
対応点移動ベクトルの大きさについても勘案することと
して，移動方向と大きさの近い対応点移動ベクトルが同
じクラスタに分類されるようクラスタリング処理を行う
こととしてもよい。

【００７４】次に，画像部分補正部１１７では，同じク
ラスタ内の対応点移動ベクトル毎に第２の変換式を算出
し（ステップＳ２１３），部分的に画像を変換して部分
補正画像を作成し，最終的な補正画像である合成補正画
像を作成する（ステップＳ２１４）。

【００７５】尚，最終的な補正画像（合成補正画像）を
得る際には，合成補正画像の各画素から最も近い対応点
を用いて作成された部分補正画像の画素値を用いる。つ
まり，合成補正画像の各画素から最も近い対応点を使用
して算出した第２の変換式を用いて作成した部分補正画
像の画素値を，該合成補正画像の画素値とする。

【００７６】図１１（ａ）は，図１０（ｂ）の対応点移
動ベクトルのクラスタリングに対応した部分画像と各ク
ラスタＣ１及びＣ２の対応座標を参照画像上に示したも
のである。クラスタＣ１の対応点による第２の変換式を
用いて作成された部分補正画像が図１１（ｂ）及び図１
２（ａ）に示されるものであり，クラスタＣ２の対応点
による第２の変換式を用いて作成された部分補正画像が
図１１（ｃ）及び図１２（ｂ）に示されるものである。
従って，合成補正画像は，これらを合成したものとな
り，図１２（ｃ）に示す如くなる。

【００７７】また更に，精度良く合成補正画像を作成し
たい場合には，処理速度は大きく低下するが次のような
方法がある。

【００７８】即ち，参照画像を図１３（ａ）に示すよう
に細かいメッシュ領域に分割し，各メッシュ領域におい
て，補正画像とのマッチングを行う。ここで使用するマ
ッチング処理は，例えば第３の従来例（特開昭５９−２
１８５７３号公報）に示されているようなパターンマッ
チング的な手法を用いればよい。

【００７９】このマッチング処理の結果，最も相違度の
小さかった部分補正画像を対応するメッシュ領域の合成
補正画像とする。クラスタＣ１の対応点による第２の変
換式を用いて作成された部分補正画像が図１３（ｂ）及
び図１４（ａ）に示されるものであり，クラスタＣ２の
対応点による第２の変換式を用いて作成された部分補正
画像が図１３（ｃ）及び図１４（ｂ）に示されるもので
ある。従って，これらを合成して合成補正画像を作成す
ればよく，合成補正画像は図１４（ｃ）に示す如くな
る。

【００８０】更には，選択した部分補正画像の異なる境
界を追跡し，歪みの生じている部分をより細かく抽出す
ることも可能である。歪みの生じている部分について
は，変換式を補間して用いることで，より連続性の確実
な合成補正画像を得ることができる。

【００８１】図１５（ａ）は，クラスタＣ１による部分
補正画像とクラスタＣ２による部分補正画像の合成を示
し，図１５（ｂ）は，線Ａ−Ｂ間においてそれぞれの部
分補正画像を作成するための第２の変換式に大きなずれ
があり，２つの部分補正画像の境界が画像に歪みの生じ
ている部分であるため，該境界部分については２つの第
２の変換式を補間して使用すればよいことを示してい
る。

【００８２】次に，文字画像切り出し部１２１では，文
字画像領域メモリ１３６に格納されている文字画像存在
領域のデータを参照して，補正画像から文字画像存在領
域の画像を切り出し，切り出した画像を文字認識部２に
出力する（ステップＳ２１５）。

【００８３】図１６に文字画像領域メモリ１１４内に格
納されているデータと，補正画像からの文字切り出し結
果とを関連づけて示す。図示のように，文字画像領域メ
モリ１１４の内容は，文字画像存在領域（矩形）の対角
２頂点の座標，属性及びデータ番号からなっている。

【００８４】最後に，文字認識部１２２では，文字画像
切り出し部１２１より入力した画像に対する文字認識処
理を行い，認識結果の文字コードとデータ番号を出力す
る（ステップＳ２１６）。この出力データ，文字認識結
果，文字画像切り出し結果を関連づけて図１７に示す。
図１７（ａ）の文字画像切り出し結果に対する文字認識
結果を図１７（ｂ）に，この場合の文字認識部１２２か
らの出力データの概念図を図１７（ｃ）にそれぞれ示
す。

【００８５】本実施形態の画像処理装置が適用されるＦ
ＡＸＯＣＲ装置等では，文字認識部１２２からの出力結
果を元に，更に自動的な受発注業務等を行う。この部分
については，本発明とは直接関係ないので説明を割愛す
る。

【００８６】以上のような本実施形態の画像処理装置の
構成または画像処理方法によれば，以下のような効果を
奏する。第１に，伸縮，スキュー，位置ずれ等の部分的
な画像の歪みに対しても高精度の画像の位置合わせが可
能である。第２に，専用帳票を設計する必要がない。ま
た第３に，帳票のＯＣＲにおいて，ドロップアウトカラ
ーではない実線の記入枠を用いることが可能である。

【００８７】

【発明の効果】以上説明したように，本発明の請求項１
に係る画像処理方法及び請求項７に係る画像処理装置に
よれば，２つの画像間で複数の対応点を抽出し，抽出さ
れた対応点のずれを用いて２つの画像間の変換式を算出
するといった画像処理を行う場合に，対応点抽出手段に
より２つの画像間で複数の対応点を抽出し，対応点移動
ベクトル算出手段により抽出された対応点から対応点移
動ベクトルを算出し，クラスタリング手段により，対応
点移動ベクトルを対象として，大きさと方向の近い対応
点移動ベクトルが同じクラスタに分類されるようにクラ
スタリング処理を行い，部分画像変換式算出手段によ
り，各クラスタ内の対応点移動ベクトル毎に部分画像の
変換式を算出することとしたので，画像中に歪みが存在
する場合でも画像の位置合わせの精度を向上させること
が可能な画像処理方法及び画像処理装置を提供すること
ができる。

【００８８】また，請求項２に係る画像処理方法及び請
求項８に係る画像処理装置によれば，２つの画像間で複
数の対応点を抽出し，抽出された対応点のずれを用いて
２つの画像間の変換式を算出するといった画像処理を行
う場合に，対応点抽出手段により前記２つの画像間で複
数の対応点を抽出し，画像変換式算出手段により，抽出
された対応点を用いて該対応点のずれにより２つの画像
間の変換式を算出し，画像変換手段により前記画像変換
式に基づいて画像を変換し，対応点移動ベクトル算出手
段により変換した画像間の対応点から対応点移動ベクト
ルを算出し，クラスタリング手段により，対応点移動ベ
クトルを対象として，方向の近い対応点移動ベクトルが
同じクラスタに分類されるようにクラスタリング処理を
行い，部分画像変換式算出手段により，各クラスタ内の
対応点移動ベクトル毎に部分画像の変換式を算出するこ
ととしたのでので，画像中に歪みが存在する場合でも画
像の位置合わせの精度を向上させることが可能な画像処
理方法及び画像処理装置を提供することができる。

【００８９】また，請求項３に係る画像処理方法及び請
求項９に係る画像処理装置によれば，部分画像変換手段
により，複数の部分画像変換式を用いてそれぞれの部分
変換画像を作成し，画像合成手段により，変換画像の各
画素から最も近い対応点を使用して算出した部分画像変
換式を用いて作成した部分変換画像の画素値を，該変換
画像の画素値とすることとしたので，画像の位置合わせ
の精度を更に向上させ得る画像処理方法及び画像処理装
置を提供することができる。

【００９０】また，請求項４に係る画像処理方法及び請
求項１０に係る画像処理装置によれば，部分画像変換手
段により，複数の部分画像変換式を用いてそれぞれの部
分変換画像を作成し，画像合成手段により，変換先の画
像と部分変換画像をそれぞれ細かいメッシュに分けて，
各メッシュ内でマッチング処理を行い，該マッチング処
理結果が最も一致する部分変換画像を合成して変換画像
を作成することとしたので，画像の位置合わせの精度を
更に向上させ得る画像処理方法及び画像処理装置を提供
することができる。

【００９１】また，請求項５に係る画像処理方法及び請
求項１１に係る画像処理装置によれば，画像に歪みの生
じている部分を特定し，歪みの生じている部分について
は画像の変換式を補間して使用して変換画像を作成する
こととしたので，より連続性の確実な変換画像を得るこ
とができ，画像の位置合わせの精度を更に向上させ得る
画像処理方法及び画像処理装置を提供することができ
る。

【００９２】また，請求項６に係るコンピュータにより
読み取り可能な記憶媒体によれば，請求項１，２，３，
４または５記載の画像処理方法をコンピュータに実行さ
せるためのプログラムとして記憶することとしたので，
例えば，各ステップをプログラム部品とすれば，画像処
理システム設計段階で各プログラム部品の組み合わせに
より，入力画像の特徴に適した画像処理システムを容易
に構築することが可能となる。

【００９３】また，請求項１２に係る画像処理装置によ
れば，文字切り出し手段により，２つの画像の内の一の
画像について予め与えられている文字画像存在領域の文
字データに基づいて，該補正画像から文字画像を切り出
すようにし，更に，請求項１３に係る画像処理装置によ
れば，文字認識手段により，文字切り出し手段によって
得られた文字画像を認識して文字コードとして出力する
こととしたので，例えばＦＡＸＯＣＲ装置等に適用した
場合に，該出力結果を元に自動的な受発注業務等が可能
となり，精度の高い業務運営が可能となる。

【００９４】更に，請求項１４に係る画像処理装置によ
れば，２つの画像の内の他の画像を，ファクシミリを介
して入力された画像としたので，例えばＦＡＸＯＣＲ装
置等に適用した場合に，ファクシミリ入力を入力画像と
した自動的な受発注業務等が可能となり，精度の高い業
務運営が可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る画像処理装置の一例で
あるＦＡＸＯＣＲ装置の構成図である。

【図２】実施形態の画像処理装置（ＦＡＸＯＣＲ装置）
における処理の流れを示すフローチャートである。

【図３】実施形態で用いる入力画像の説明図である。

【図４】実施形態で用いる参照画像の説明図である。

【図５】参照画像パターンメモリの内容を例示する説明
図である。

【図６】図３に示した入力画像に対するパターン番号割
り当て結果を示す説明図である。

【図７】図４に示した参照画像に対するパターン番号割
り当て結果を示す説明図である。

【図８】対応点検出部による対応点検出結果を例示する
説明図である。

【図９】図９（ａ）は参照画像，図９（ｂ）は補正画
像，図９（ｃ）はこられ画像間の各対応点について，算
出した対応点移動ベクトルをそれぞれ例示する説明図で
ある。

【図１０】図１０（ａ）はクラスタリングに用いるベク
トル間の距離を，図１０（ｂ）は図９（ｃ）の対応点移
動ベクトルに対するクラスタリングをそれぞれ例示する
説明図である。

【図１１】図１１（ａ）は参照画像，図１１（ｂ）はク
ラスタＣ１による部分補正画像，図１１（ｃ）はクラス
タＣ２による部分補正画像をそれぞれ例示する説明図で
ある。

【図１２】図１２（ａ）はクラスタＣ１による部分補正
画像，図１２（ｂ）はクラスタＣ２による部分補正画
像，図１２（ｃ）は合成補正画像をそれぞれ例示する説
明図である。

【図１３】図１３（ａ）は参照画像，図１３（ｂ）はク
ラスタＣ１による部分補正画像，図１３（ｃ）はクラス
タＣ２による部分補正画像をそれぞれ例示する説明図で
ある。

【図１４】図１４（ａ）はクラスタＣ１による部分補正
画像，図１４（ｂ）はクラスタＣ２による部分補正画
像，図１４（ｃ）は合成補正画像をそれぞれ例示する説
明図である。

【図１５】図１５（ａ）はクラスタＣ１による部分補正
画像とクラスタＣ２による部分補正画像の合成を示し，
図１５（ｂ）は線Ａ−Ｂ間の第２の変換式を示す説明図
である。

【図１６】図１６（ａ）は補正画像を，図１６（ｂ）は
文字画像領域メモリ内のデータを，図１６（ｃ）は文字
画像切り出し結果をそれぞれ示す説明図である。

【図１７】図１７（ａ）は文字画像切り出し結果を，図
１７（ｂ）は文字認識結果を，図１７（ｃ）は出力デー
タをそれぞれ示す説明図である。

【符号の説明】

１００ 画像入力部 １０１ 画像位置合わせ部 １０２ 認識処理部 １１１ パターン抽出部（対応点抽出手段） １１２ 同一パターン抽出部（対応点抽出手段） １１３ 対応点抽出部（対応点抽出手段） １１４ 画像補正部（画像変換式算出手段，画像変換手
段） １１５ 対応点移動ベクトル算出部（対応点移動ベクト
ル算出手段） １１６ 対応点移動ベクトルクラスタリング部（クラス
タリング手段） １１７ 画像部分補正部（部分画像変換式算出手段，部
分画像変換手段，画像合成手段） １２１ 文字画像切り出し部（文字切り出し手段） １２２ 文字認識部（文字認識手段） １３１ 入力画像メモリ １３２ 参照画像パターンメモリ １３３ 補正画像メモリ １３４ 部分補正画像メモリ １３５ 合成補正画像メモリ １３６ 文字画像領域メモリ

Claims (14)

【特許請求の範囲】
1. 【請求項１】 ２つの画像間で複数の対応点を抽出し，
   抽出された対応点のずれを用いて２つの画像間の変換式
   を算出する画像処理方法において，前記２つの画像間で
   複数の対応点を抽出する対応点抽出ステップと，抽出さ
   れた対応点から対応点移動ベクトルを算出する対応点移
   動ベクトル算出ステップと，前記対応点移動ベクトルを
   対象として，大きさと方向の近い対応点移動ベクトルが
   同じクラスタに分類されるようにクラスタリング処理を
   行うクラスタリングステップと，前記各クラスタ内の対
   応点移動ベクトル毎に部分画像の変換式を算出する部分
   画像変換式算出ステップと，を有することを特徴とする
   画像処理方法。
2. 【請求項２】 ２つの画像間で複数の対応点を抽出し，
   抽出された対応点のずれを用いて２つの画像間の変換式
   を算出する画像処理方法において，前記２つの画像間で
   複数の対応点を抽出する対応点抽出ステップと，抽出さ
   れた対応点を用いて，該対応点のずれにより前記２つの
   画像間の変換式を算出する画像変換式算出ステップと，
   前記画像変換式に基づいて画像を変換する画像変換ステ
   ップと，前記変換した画像間の対応点から対応点移動ベ
   クトルを算出する対応点移動ベクトル算出ステップと，
   前記対応点移動ベクトルを対象として，方向の近い対応
   点移動ベクトルが同じクラスタに分類されるようにクラ
   スタリング処理を行うクラスタリングステップと，前記
   各クラスタ内の対応点移動ベクトル毎に部分画像の変換
   式を算出する部分画像変換式算出ステップと，を有する
   ことを特徴とする画像処理方法。
3. 【請求項３】 前記複数の部分画像変換式を用いてそれ
   ぞれの部分変換画像を作成する部分画像変換ステップ
   と，前記部分変換画像を合成して変換画像を作成する画
   像合成ステップと，を有し，前記画像合成ステップは，
   前記変換画像の各画素から最も近い対応点を使用して算
   出した部分画像変換式を用いて作成した部分変換画像の
   画素値を，該変換画像の画素値とすることを特徴とする
   請求項１または２記載の画像処理方法。
4. 【請求項４】 前記複数の部分画像変換式を用いてそれ
   ぞれの部分変換画像を作成する部分画像変換ステップ
   と，前記部分変換画像を合成して変換画像を作成する画
   像合成ステップと，を有し，前記画像合成ステップは，
   変換先の画像と部分変換画像をそれぞれ細かいメッシュ
   に分けて，各メッシュ内でマッチング処理を行い，該マ
   ッチング処理結果が最も一致する部分変換画像を合成し
   て変換画像を作成することを特徴とする請求項１または
   ２記載の画像処理方法。
5. 【請求項５】 画像に歪みの生じている部分を特定し，
   歪みの生じている部分については画像の変換式を補間し
   て使用して変換画像を作成することを特徴とする請求項
   １，２，３または４記載の画像処理方法。
6. 【請求項６】 請求項１，２，３，４または５記載の画
   像処理方法をコンピュータに実行させるためのプログラ
   ムとして記憶したことを特徴とするコンピュータにより
   読み取り可能な記憶媒体。
7. 【請求項７】 ２つの画像間で複数の対応点を抽出し，
   抽出された対応点のずれを用いて前記２つの画像間の変
   換式を算出して，前記２つの画像間で位置合わせを行う
   画像処理装置において，前記２つの画像間で複数の対応
   点を抽出する対応点抽出手段と，抽出された対応点から
   対応点移動ベクトルを算出する対応点移動ベクトル算出
   手段と，前記対応点移動ベクトルを対象として，大きさ
   と方向の近い対応点移動ベクトルが同じクラスタに分類
   されるようにクラスタリング処理を行うクラスタリング
   手段と，前記各クラスタ内の対応点移動ベクトル毎に部
   分画像の変換式を算出する部分画像変換式算出手段と，
   を有することを特徴とする画像処理装置。
8. 【請求項８】 ２つの画像間で複数の対応点を抽出し，
   抽出された対応点のずれを用いて前記２つの画像間の変
   換式を算出して，前記２つの画像間で位置合わせを行う
   画像処理装置において，前記２つの画像間で複数の対応
   点を抽出する対応点抽出手段と，抽出された対応点を用
   いて，該対応点のずれにより前記２つの画像間の変換式
   を算出する画像変換式算出手段と，前記画像変換式に基
   づいて画像を変換する画像変換手段と，前記変換した画
   像間の対応点から対応点移動ベクトルを算出する対応点
   移動ベクトル算出手段と，前記対応点移動ベクトルを対
   象として，方向の近い対応点移動ベクトルが同じクラス
   タに分類されるようにクラスタリング処理を行うクラス
   タリング手段と，前記各クラスタ内の対応点移動ベクト
   ル毎に部分画像の変換式を算出する部分画像変換式算出
   手段と，を有することを特徴とする画像処理装置。
9. 【請求項９】 前記画像処理装置は，前記複数の部分画
   像変換式を用いてそれぞれの部分変換画像を作成する部
   分画像変換手段と，前記部分変換画像を合成して変換画
   像を作成する画像合成手段と，を有し，前記画像合成手
   段は，前記変換画像の各画素から最も近い対応点を使用
   して算出した部分画像変換式を用いて作成した部分変換
   画像の画素値を，該変換画像の画素値とすることを特徴
   とする請求項７または８記載の画像処理装置。
10. 【請求項１０】 前記画像処理装置は，前記複数の部分
    画像変換式を用いてそれぞれの部分変換画像を作成する
    部分画像変換手段と，前記部分変換画像を合成して変換
    画像を作成する画像合成手段と，を有し，前記画像合成
    手段は，変換先の画像と部分変換画像をそれぞれ細かい
    メッシュに分けて，各メッシュ内でマッチング処理を行
    い，該マッチング処理結果が最も一致する部分変換画像
    を合成して変換画像を作成することを特徴とする請求項
    ７または８記載の画像処理装置。
11. 【請求項１１】 画像に歪みの生じている部分を特定
    し，歪みの生じている部分については画像の変換式を補
    間して使用して変換画像を作成することを特徴とする請
    求項７，８，９または１０記載の画像処理装置。
12. 【請求項１２】 前記画像処理装置は，前記２つの画像
    の内の一の画像について予め与えられている文字画像存
    在領域の文字データに基づいて，前記変換画像から文字
    画像を切り出す文字切り出し手段を有することを特徴と
    する請求項７，８，９，１０または１１記載の画像処理
    装置。
13. 【請求項１３】 前記画像処理装置は，前記文字切り出
    し手段により得られた文字画像を認識する文字認識手段
    を有することを特徴とする請求項１２記載の画像処理装
    置。
14. 【請求項１４】 前記２つの画像の内の他の画像は，フ
    ァクシミリを介して入力された画像であることを特徴と
    する請求項７，８，９，１０，１１，１２または１３記
    載の画像処理装置。