JP6976733B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、複数の画像を合成して合成画像を生成する画像処理装置に関する。

カメラを使って帳票などの紙文書を撮像し文字認識を行って、紙文書に記載されている情報を抽出することが行われている。しかし、紙文書の用紙サイズやカメラの撮像素子の解像度によっては、撮像された画像から十分な精度で情報を抽出することができない場合がある。そこで、用紙全体を１回で撮像せずに複数回に分けて撮像し、複数回の撮像により得られた各画像を合成することで用紙全体が含まれる１枚の画像を生成し、生成された合成画像を対象に文字認識を行って情報を抽出することが行われている。特許文献１には、重複領域を有する２枚の画像から両画像において対応する特徴点を抽出し、抽出された特徴点から導出した透視投影変換の変換パラメータを用いて画像合成を行う方法が記載されている。特許文献２には、消失点検出によって画像の歪みを補正する方法が記載されている。

特開２００４−３４２０６７号公報 特開２００２−５７８７９号公報

画像を合成するときに用いられる変換パラメータに誤差があると、合成画像において歪みが発生する可能性がある。また、本来は直線として繋がらなければならない部分（例えば、帳票の罫線）が折れ曲がったり繋がらなかったりすることがある。したがって、合成画像に対して十分な精度で情報抽出が行えるように、上記のような画像の歪みや罫線のずれを抑える必要がある。

そこで、本発明は、画像合成に用いる変換パラメータを少ない誤差で算出することができ、最終的に生成される合成画像に現れる歪みを小さくすることができる画像処理装置を提供することを目的とする。

本発明による画像処理装置は、紙文書を撮像して得られる画像であって撮像範囲が各々異なるとともに各画像間に重複領域が存在する第１の画像と第２の画像との各画像から、両画像間で互いに対応する特徴点を抽出する特徴点抽出手段と、各画像から両画像間で互いに対応するエッジを抽出するエッジ抽出手段と、各画像から紙文書が属する平面の消失点を検出する消失点検出手段と、抽出された特徴点と検出された消失点とを結ぶ直線と抽出されたエッジとの交点に対応する座標を用いて、画像合成のための変換パラメータを導出する変換パラメータ導出手段と、導出された変換パラメータを用いて第１の画像と第２の画像とを合成する画像合成手段と、を備えることを特徴とする。

本発明によれば、画像合成に用いる変換パラメータを少ない誤差で算出することができ、最終的に生成される合成画像に現れる歪みを小さくすることができる。

本発明の第１実施形態の画像処理装置の構成を示すブロック図である。 撮像された画像から合成画像が生成されるまでの処理の流れを示すフローチャートである。 処理対象となる帳票が複数回に分けて撮像される様子を示す図である。 消失点の検出方法の一例を示す図である。 合成対象とする画像の組み合わせを説明するための図である。 第１実施形態においてステップＳ２０８で行われる４点選択処理を示すフローチャートである。 第１実施形態において透視投影変換のパラメータ算出に使用する４点が選択される様子を示す図である。 第２実施形態においてステップＳ２０８で行われる４点選択処理を示すフローチャートである。 第２実施形態において透視投影変換のパラメータ算出に使用する４点が選択される様子を示す図である。 マッチングした特徴点が１点だけである場合に選択される、透視投影変換のパラメータ算出に使用する４点を示す図である。

［実施形態１］
図１は、本発明の第１実施形態の画像処理装置の構成を示すブロック図である。本実施形態における画像処理装置１０は、撮像部１０１、画像記憶部１０２、特徴点検出部１０３、消失点検出部１０４、特徴点マッチング部１０５、エッジ検出部１０６、変換パラメータ導出部１０７、及び画像合成部１０８を含む。なお、撮像部１０１及び画像記憶部１０２は、画像処理装置１０の外部に設置されていてもよい。

撮像部１０１は、被写体を撮像し、画像データを取得する。本実施形態では、紙面の縦横に罫線が描かれているような帳票を被写体とする。画像記憶部１０２は、撮像部１０１が取得した画像データを記憶する。画像記憶部１０２は、例えば、ＲＡＭあるいはフラッシュメモリやＨＤＤなどを用いた記憶装置である。特徴点検出部１０３は、画像記憶部１０２に記憶されている画像データから特徴点を抽出する。特徴点検出部１０３は、コーナー検出、ＳＩＦＴなどの手段を用いて特徴点を検出し、検出した点を中心とした周囲の画素から正規化した特徴量を抽出する。消失点検出部１０４は、画像記憶部１０２に記憶されている画像データから消失点を検出する。消失点検出部１０４は、画像データによって示される画像内にある紙端や、罫線や、１文字の領域を検出しその重心となる座標を複数並べて構成される線などを、消失点へ向かう直線として取得する。そして、消失点検出部１０４は、それらの直線の交点を消失点として検出する。特徴点マッチング部１０５は、特徴点検出部１０３によって画像データから得られた特徴点とその特徴点が有する特徴量を、２つの画像データの間で比較し類似度を算出する。そして、特徴点マッチング部１０５は、両画像データの間で対応する特徴点を抽出する。エッジ検出部１０６は、画像記憶部１０２に記憶されている画像データからエッジを検出し、検出されたエッジに含まれる画素を使ってハフ変換することで、直線を表す関数を得る。そして、エッジ検出部１０６は、両画像データの間で対応するエッジを抽出する。エッジ検出は、Ｓｏｂｅｌフィルタ、Ｌａｐｌａｃｉａｎ、Ｃａｎｎｙなどの手法のいずれかが用いられる。なお、それら複数の手法で得られた結果を組み合わせてエッジを検出するようにしてもよい。変換パラメータ導出部１０７は、画像合成のための変換パラメータを導出する。より具体的には、変換パラメータ導出部１０７は、消失点検出部１０４で取得された消失点と、特徴点マッチング部１０５で抽出された特徴点と、エッジ検出部１０６で抽出されたエッジ（直線）とから、透視投影変換の変換パラメータ（変換行列）を算出する。画像合成部１０８は、撮像部１０１によって撮像された複数の画像データを、変換パラメータ導出部１０７で得られた変換パラメータに従って変換し、合成された画像データを生成する。以下、画像データを単に画像と表現する場合がある。

図２は、撮像された画像から合成画像が生成されるまでの処理の流れを示すフローチャートである。

ステップＳ２０１では、撮像部１０１が、被写体を撮像して画像データを取得する。取得された画像データは、画像記憶部１０２に記憶される。図３は、処理対象となる帳票が複数回に分けて撮像される様子を示す図である。図３（ａ）には、帳票全体が３回に分けて撮像される様子が示されている。図３（ｂ）には、帳票全体が６回に分けて撮像される様子が示されている。図３（ｃ）には、帳票全体が９回に分けて撮像される様子が示されている。図中における四角い枠は撮像範囲を示し、枠内における数字は何番目の撮像範囲であるかを示す。なお、帳票を撮像する方法は、撮像部の位置を固定して被写体（用紙）の位置を移動させて撮像する据え置き撮像方法であってもよいし、被写体の位置を固定して撮像部の位置を移動させて撮像する手持ち撮影であってもよい。なお、以下では、帳票を手持ち撮影により、図３（ｂ）に示されるように６回に分けて撮像して得られる、撮像範囲が異なる６つの部分画像を合成して、帳票の全体画像を生成する場合を例にする。

ステップＳ２０２では、画像合成部１０８が、処理対象となる画像データが全て取得されたかどうかを判定する。処理対象となる画像データとは、ここでは、図３（ｂ）に示す６つの撮像範囲を撮像して得られる６つの画像データのことである。処理対象となる画像データが全て取得されていれば（ステップＳ２０２のＹＥＳ）、処理はステップＳ２１０に進む。一方、処理対象となる画像データが全て取得されていなければ、処理はステップＳ２０３に進む。処理対象となる画像データが全て取得されたかどうかは、例えば、撮影完了を示す操作を使用者に行わせることによって判断可能である。また例えば、縮小された画像を対象にして合成した画像を生成し、生成した合成画像に紙面全体が含まれることを検出して判断することもできる。

ステップＳ２０３では、特徴点検出部１０３が、撮像部１０１により新規に取得された画像データから特徴点を検出する処理を行う。

ステップＳ２０４では、消失点検出部１０４が、ステップＳ２０３で処理された画像データから消失点を検出する処理を行う。図４は、消失点の検出方法の一例を示す図である。図４に示すように、消失点検出部１０４は、画像データからエッジ検出や特徴点検出を行い、ハフ変換で直線を表す関数を得る。そして、消失点検出部１０４は、それらの関数を大量に集めて、各関数によって表される直線の交点をＲＡＮＳＡＣ（ＲＡＮＤｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用いてフィッティングすることで、消失点を検出する。

ステップＳ２０５では、特徴点マッチング部１０５が、ステップＳ２０３，Ｓ２０４で処理された画像データが２枚目以降の画像データであるかどうかを判定する。２枚目以降であれば（ステップＳ２０５のＹＥＳ）、処理はステップＳ２０６に進む。２枚目以降でなければ（ステップＳ２０５のＮＯ）、処理はステップＳ２０１に戻る。

ステップＳ２０６では、特徴点マッチング部１０５が、特徴点マッチングを行う。具体的には、特徴点マッチング部１０５は、撮像部１０１により新規に取得された画像データから検出された特徴点をキーとし、それ以前に取得された画像データから検出された特徴点とのマッチングを行う。そして、特徴点マッチング部１０５は、特徴量がマッチする特徴点を抽出する。この特徴点抽出処理により多数の特徴点が抽出された場合は、特徴点マッチング部１０５は、特徴点のフィルタリングを行う。本実施形態では、特徴点マッチング部１０５は、抽出された特徴点から４組の特徴点を選択し透視投影変換の変換パラメータを求め、ＲＡＮＳＡＣを用いて変換パラメータをフィッティングし、外れ値となる特徴点を除外することで特徴点のフィルタリングを行う。

ステップＳ２０７では、変換パラメータ導出部１０７が、ステップＳ２０６で得られた特徴点のマッチング結果によって、透視投影変換の変換パラメータを算出する画像の組み合わせ、すなわち合成対象とする画像の組み合わせを選択する。図５（ａ）に示すように、３枚目の画像が撮像された場合、ステップＳ２０６において１枚目の画像と２枚目の画像とに対して特徴点マッチングが行われる。１枚目の画像と３枚目の画像とにも重複領域があるため、１枚目の画像と３枚目の画像との間でもマッチングする特徴点が得られる。しかし、１枚目の画像と３枚目の画像との重複領域は小さいため、変換パラメータ導出部１０７は、１枚目の画像と３枚目の画像とを透視投影変換のパラメータ算出の組み合わせとしない。したがって、２枚目の画像と３枚目の画像が透視投影変換のパラメータ算出の組み合わせとして選択される。図５（ｂ）に示すように、４枚目の画像が撮像された場合は、４枚目の画像と、１枚目、２枚目、及び３枚目の各画像との間に重複領域が存在する。しかし、２枚目の画像と４枚目の画像との重複領域が小さいため、１枚目の画像と３枚目の画像とを、４枚目の画像に対する透視投影変換のパラメータ算出の組み合わせとする。

ステップＳ２０８では、透視投影変換のパラメータ算出に使用する４点の組み合わせ、すなわち２枚の画像を合成するために必要となる４点の組み合わせが決定される。この処理（以下、４点選択処理という）は、エッジ検出部１０６及び変換パラメータ導出部１０７により実行される。４点選択処理の詳細は図６を用いて後述する。

ステップＳ２０９では、変換パラメータ導出部１０７が、ステップＳ２０８で決定された４点の組み合わせから、透視投影変換のパラメータを推定（算出）する。ステップＳ２０６〜Ｓ２０９の処理によって、ステップＳ２０１で撮像部１０１により新規に取得された画像データについて、それ以前に取得された画像データに対する変換パラメータが求まる。

ステップＳ２１０では、画像合成部１０８が、画像合成を行う。ここでは、画像合成部１０８は、ステップＳ２０１〜Ｓ２０９の処理で求まった変換パラメータを用いて、図３（ｂ）に示す６つの撮像範囲に対応する画像データを合成する。画像合成部１０８は、合成元となる１枚の画像を選択し、選択した画像に対して他の画像を重ね合わせることで画像を合成する。合成元の画像として、最初に撮像された画像を選択してもよいし、最後に撮像された画像を選択してもよいし、帳票の中心付近を撮像範囲とする画像を選択してもよい。また、合成元の画像を変更しながら合成を行うようにしてもよい。なお、この段階では、合成元の画像が有する透視投影歪みが補正されていない。したがって、画像合成部１０８は、ステップＳ２０４で既に抽出済みである合成元の画像から検出された消失点の情報を用いて、合成画像を正面から撮像された状態に補正する。

以上の処理によって、複数回の撮影によって得られた画像を合成して、１枚の合成画像を生成することができる。

次に、図６を用いて、ステップＳ２０８で行われる４点選択処理を説明する。図６は、第１実施形態においてステップＳ２０８で行われる４点選択処理を示すフローチャートである。透視投影変換のパラメータ算出に使用する４点間の距離が小さいと、画素を単位としてそれらの点を対応付けした場合に、画素の表現の誤差の影響が算出される変換パラメータに大きく表れてしまう。そのため、以下の処理では、点間の距離がより大きくなうように透視投影変換のパラメータ算出に使用する４点を選択する。

まず、変換パラメータ導出部１０７は、ステップＳ２０７の処理でマッチした特徴点を対象にして、特徴点間の距離が最大となる４つの特徴点の組み合わせを決定し、初期値とする（ステップＳ６０１）。特徴点間の距離が最大となる組み合わせとは、各特徴点の間の距離が最大になる組み合わせ、すなわち各特徴点で囲われた面積が最大になる組み合わせである。

次いで、変換パラメータ導出部１０７は、特徴点間の距離があらかじめ定めた一定値以上あるかを判定する（ステップＳ６０２）。例えば、各特徴点がいずれも画像上で１０００ピクセル以上離れている場合は（ステップＳ６０２のＹＥＳ）、変換パラメータ導出部１０７は、透視投影変換のパラメータに与える影響が小さいと判断し、処理を終了する。この場合、それらの特徴点の座標から変換パラメータが算出されることになる。特徴点間の距離があらかじめ定めた一定値に満たない場合は（ステップＳ６０２のＮＯ）、処理はステップＳ６０３に移行する。ステップＳ６０３以降の処理では特徴点の置き換えが行われる。なお、ステップＳ６０２の判定処理において、特徴点間の距離で判定する代わりに、各特徴点で囲われた面積があらかじめ定めた一定値以上あるかを判定するようにしてもよい。

次いで、エッジ検出部１０６が、２枚の画像からエッジを検出する（ステップＳ６０３）。このエッジ検出処理によって、エッジ上にある画素が特定され、それらの座標が取得できる。

次いで、エッジ検出部１０６は、ステップＳ６０３で検出されたエッジから、両画像間で対応するエッジを抽出するエッジ抽出処理を行う（ステップＳ６０４）。紙面外には特徴点が検出されないことや、エッジを境界に紙面と紙面外の色に違いがあることなどの条件によって、紙端のエッジを特定することができる。また、紙面に含まれる罫線などの直線についても特定可能であり、両画像間で対応づけすることができる。紙端以外の直線については、例えば、紙端のエッジを基準にしたり、直線の周囲にある文字や特徴点などの情報を基準にしたりして、対応付けすることができる。

次いで、エッジ検出部１０６は、特徴点を再配置させるエッジを、ステップＳ６０４の処理で抽出されたエッジの中から選択する（ステップＳ６０５）。本実施形態では、エッジ検出部１０６は、紙端のエッジと紙端のエッジから一番離れたエッジとを選択し、それらのエッジを構成する画素の座標からハフ変換によって直線を表現する関数を得る。なお、図３（ｃ）に示すように、帳票を９回に分けて撮像した場合には中央の画像からは紙端のエッジが検出されない。したがって、そのような画像に対しては、例えば、抽出されたエッジのうち、互いの距離が最も大きい２本のエッジを選択するようにすればよい。

次いで、エッジ検出部１０６は、ステップＳ６０１で得られた４つの特徴点と、図２に示すステップＳ２０４で検出済みの消失点とを結ぶ直線を求め、それらの直線とステップＳ６０５で選択したエッジの直線との交点を求める（ステップＳ６０６）。それぞれの直線は１次関数で表現されるため、交点の座標は小数点以下の座標情報を含んだ状態で得られる。

次いで、変換パラメータ導出部１０７は、ステップＳ６０６で得られた交点の中から、各特徴点を再配置させる交点をそれぞれ選択する（ステップＳ６０７）。図７（ａ）に示す２枚の画像＃１，＃２を合成するための変換パラメータを求める場合は、図７（ｂ）に示す交点Ａ´，Ｂ´，Ｃ´，Ｄ´が選択される。図７（ｂ）に示す点線で表される線は、特徴点と消失点とを結ぶ直線である。本実施形態では、各エッジのそれぞれについて、エッジから１番目に近い特徴点と２番目に近い特徴点とを、該エッジに再配置させる。したがって、図７（ｂ）において、特徴点Ａ，Ｂは、上側のエッジ上の交点Ａ´，Ｂ´に再配置され、特徴点Ｃ，Ｄは下側のエッジ上の交点Ｃ´，Ｄ´に再配置される。

このように、特徴点Ａ，Ｂ，Ｃ，Ｄを交点Ａ´，Ｂ´，Ｃ´，Ｄ´に再配置させることにより、再配置後における特徴点間の距離を、再配置前における特徴点間の距離よりも大きくすることができる。また、特徴点Ａ，Ｂ，Ｃ，Ｄを、直線上にある交点Ａ´，Ｂ´，Ｃ´，Ｄ´に再配置することにより、２枚の画像を合成する際に直線と直線とが重ね合わさるようになる。そのため、帳票の紙端や帳票内の罫線が途切れたり折れ曲がったりすることを防止することができ、合成による画像のずれを目立たなくすることができる。

なお、ステップＳ６０４の処理で求められたエッジが１本のみの場合には、当該エッジから１番目と２番目に近い特徴点のみが再配置される。例えば、図７（ｃ）に示すように、２枚の画像で対応するエッジが紙端に対応するエッジのみであった場合には、特徴点Ｃ，Ｄが、交点Ｃ´，Ｄ´に再配置される。

以上に説明したように、本実施形態によれば、画像合成のための変換パラメータの算出に必要な４点の距離をできる限り大きくすることができ、誤差の少ない変換パラメータを求めることができる。また、本実施形態では、小数点以下の座標情報を有する、エッジ上の点を、変換パラメータの算出に用いる。また、本実施形態では、小数点以下の座標情報を有する交点の座標を変換パラメータの算出に用いるので、変換パラメータの誤差をさらに低減させることができる。この結果最終的に生成される合成画像に現れる歪みを小さくすることができる。

画像は最小単位である画素の集合として表現されるため、合成する２枚の画像において、一方の画像における１画素が、他方の画像においては、複数の画素から構成される領域の一部になってしまうことがある。そのため、合成後の画像において直線（紙文書の紙端や紙文書内の罫線）が途切れたり折れ曲がったりする場合がある。しかし、本実施形態では、エッジ上の点を対応付けているので、帳票などの罫線を含む紙文書を被写体とした場合でも、合成後の画像において直線が途切れたり折れ曲がったりすることを防止することができる。

なお、本実施形態では、画像の合成時に基準となる画像を選択し、選択した画像に対して他の画像を重ね合わせて合成を行っている。しかし、透視投影変換の変換パラメータに誤差が含まれる場合、後段に行くに従いその誤差の影響が大きくなる。そこで、誤差が少ないと考えられる変換パラメータを用いた合成から順番に実行するようにしてもよい。そのような形態によれば、最終的に生成される画像の歪みをより小さくすることができる。例えば、図３（ａ）において、画像＃１と画像＃２との重複領域から抽出された４点間の距離が、画像＃２と画像＃３との重複領域から抽出された４点間の距離よりも大きい場合には、最初に画像＃２と画像＃３とが合成される。このように、透視投影変換の変換パラメータを求める４点間の距離で合成順をソートすることによって、合成画像に現れる歪みをさらに目立たなくすることが可能となる。

また、ステップＳ６０２において特徴点間の距離が一定値に満たないと判断された場合に、表示装置（図示せず）等を介して、合成時に画像が歪む可能性が高いことを使用者に提示して、再撮影を促すようにしてもよい。その際、撮像すべき範囲を使用者に提示するようにしてもよい。例えば、近接する画像との重複領域が不足している場合には、重複領域を増大させるように撮影範囲を移動させるように促すようにしてもよい。

また、本実施形態では、最終段で画像の合成を行っている。しかし、ステップＳ２０４において消失点を求めているので、各画像の透視投影歪みを予め補正しておくことが可能である。よって、例えば、各画像を正面から撮像されたような画像になるように補正してから、特徴点検出や特徴点マッチングを行うようにしても良い。なお、この場合、透視投影歪みの補正後における各画像は、撮影距離によってスケールに違いが生じるため、３点の対応によって求まるアフィン変換によって画像を補正して位置合わせを行う必要がある。したがって、ステップＳ２０８の処理が、４点を選択する処理から、３点を選択する処理に変わり、ステップＳ２０９の処理では、アフィン変換の変換パラメータ（変換行列）が算出されることになる。なお、その他の処理は透視投影の変換パラメータを導出する場合と同様である。

また、本実施形態では、手持ち撮影で撮像された複数枚の画像を合成する場合について説明した。しかし、書画カメラのように撮像部と撮像対象が置かれる平面（対象平面）との関係が固定される据え置き撮影で撮像された複数枚の画像を合成する場合にも本実施形態を適用可能である。その場合において、常に正面から撮像している画像が撮像できるときには、面内回転のパラメータ（回転行列）を求めればよい。このとき、２枚の画像に存在する特徴点２点の対応が解れば回転と位置合わせを行うことができる。なお、正面から撮像された画像からは、ステップＳ２０４において消失点を求めることができない。そのため、ステップＳ６０６では、紙端のエッジなど選択したエッジに対して垂線を引くなどして交点を求めることになる。

［実施形態２］
第１実施形態では、ステップＳ２０８の処理（４点選択処理）が図６に示すフローに従って実行される例を説明した。しかし、撮影対象によっては、ステップＳ２０６でマッチする特徴点の数が４点に満たない場合がある。この場合の処理を、図８を用いて説明する。図８は、第２実施形態においてステップＳ２０８で行われる４点選択処理を示すフローチャートである。

まず、変換パラメータ導出部１０７は、ステップＳ２０６で抽出された特徴点が４点以上あるかどうかを判定する（ステップＳ８０１）。４点以上あれば（ステップＳ８０１のＹＥＳ）、図６に示すフローに従った処理（ステップＳ６０１〜Ｓ６０７の処理）が実行される。４点未満であれば（ステップＳ８０１のＮＯ）、処理はステップＳ８０２に進む。

次いで、エッジ検出部１０６は、２枚の画像からエッジを検出する（ステップＳ８０２）。この処理は、ステップＳ６０３の処理と同様である。

次いで、エッジ検出部１０６は、ステップＳ８０２で検出されたエッジから、両画像間で対応するエッジを抽出する（ステップＳ８０３）。この処理は、ステップＳ６０４の処理と同様である。ただし、第１実施形態では、紙端のエッジと同一方向のエッジだけを求めたが、本実施形態では、マッチングした特徴点が１点だけの場合は、紙端のエッジに対して垂直方向のエッジ（以下、単に、垂直方向のエッジという。）も抽出して対応付けを行う。この場合、互いの画像から抽出されたエッジは、特徴点からの距離と紙端のエッジに対する方向とによって対応付けられる。

次いで、エッジ検出部１０６は、特徴点を再配置させるエッジを、ステップＳ８０３で抽出されたエッジの中から選択する（ステップＳ８０４）。この処理は、ステップＳ６０５の処理と同様である。ただし、マッチングした特徴点が１点だけである場合は、エッジ検出部１０６は、紙端のエッジと紙端のエッジから一番離れたエッジとを選択するとともに、ステップＳ８０３で抽出された、垂直方向のエッジから２本のエッジをさらに選択する。なお、垂直方向のエッジが３本以上ある場合には、特徴点を挟んで互いに対抗し、且つ互いの距離が最大である２本のエッジを選択すればよい。

次いで、エッジ検出部１０６は、ステップＳ２０６で抽出された特徴点とステップＳ２０４で検出された消失点とを結ぶ直線を求め、それらの直線とステップＳ８０４で選択したエッジの直線との交点を求める（ステップＳ８０５）。この処理は、ステップＳ６０６の処理と同様である。

次いで、変換パラメータ導出部１０７は、ステップＳ２０６で抽出された特徴点と、ステップＳ８０５で得られた交点の中から、透視投影変換の変換パラメータを求めるために使用する４点を選択する（ステップＳ８０６）。図９（ａ）に示すように、ステップＳ２０６でマッチした特徴点が、特徴点Ａ，Ｂのみで４点に満たない場合には、図９（ｂ）に示す交点Ａ´，Ｂ´，Ａ´´，Ｂ´´が選択される。図９（ｂ）に示す交点Ａ´，Ｂ´は、特徴点と消失点とを結ぶ直線と、紙端のエッジとの交点である。交点Ａ´´，Ｂ´´は、特徴点と消失点とを結ぶ直線と、紙端のエッジから一番離れたエッジとの交点である。ステップＳ８０３の処理で抽出されたエッジが１本のみである場合、例えば図９（ｃ）に示すように２枚の画像で対応するエッジが紙端のエッジのみである場合には、特徴点Ａ，Ｂと交点Ａ´，Ｂ´とが選択される。

なお、上述したように、本実施形態では、ステップＳ２０６でマッチングした特徴点が１点だけである場合は、ステップＳ８０３で垂直方向のエッジも抽出するようにしている。それにより、図１０に示すように、垂直方向のエッジを含めた４本のエッジと、２点の消失点と特徴点とを結んで得られる２本の直線との４つの交点を、透視投影変換の変換パラメータを求めるための４点として得ることができる。図１０に示す点Ｃは、消失点と特徴点とを結ぶ直線と、紙端のエッジとの交点を表す。図１０に示す点Ａは、消失点と特徴点とを結ぶ直線と、紙端のエッジと同方向であるエッジとの交点を表す。図１０に示す点Ｂ，Ｄは、特徴点と消失点とを結ぶ直線と、垂直方向のエッジとの交点を表す。

このように、本実施形態によれば、マッチングした特徴点が４点に満たない場合においても、透視投影変換の変換パラメータを求める４点を抽出することができるため、第１の実施形態と同様に、誤差の少ない変換パラメータを求めることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (16)

1. 紙文書を撮像して得られる画像であって撮像範囲が各々異なるとともに各画像間に重複領域が存在する第１の画像と第２の画像との各画像から、両画像間で互いに対応する特徴点を抽出する特徴点抽出手段と、
   前記各画像から両画像間で互いに対応するエッジを抽出するエッジ抽出手段と、
   前記各画像から前記紙文書が属する平面の消失点を検出する消失点検出手段と、
   前記抽出された特徴点と前記検出された消失点とを結ぶ直線と前記抽出されたエッジとの交点に対応する座標を用いて、画像合成のための変換パラメータを導出する変換パラメータ導出手段と、
   前記導出された変換パラメータを用いて前記第１の画像と前記第２の画像とを合成する画像合成手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記変換パラメータ導出手段は、
   前記第１の画像と前記第２の画像との各々において、前記抽出された特徴点のうちの少なくとも１つを前記交点に再配置させ、
   前記再配置後における各特徴点の座標を用いて前記画像合成のための変換パラメータを導出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記変換パラメータ導出手段は、
   前記再配置後における特徴点間の距離が、前記再配置前における特徴点間の距離より大きくなるように、前記抽出された特徴点のうちの少なくとも１つを前記交点に再配置することを特徴とする請求項２に記載の画像処理装置。
4. 前記変換パラメータ導出手段は、
   前記再配置前における特徴点間の距離が予め定められた一定値に満たない場合に、前記抽出された特徴点のうちの少なくとも１つを前記交点に再配置する
   ことを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記特徴点抽出手段は、
   前記各画像から、両画像間で互いに対応する４つの特徴点を抽出し、
   前記変換パラメータ導出手段は、
   前記再配置後における前記４つの特徴点の座標を用いて、前記画像合成のための変換パラメータとして透視投影変換の変換行列を導出する
   ことを特徴とする請求項２から請求項４のうちのいずれか１項に記載の画像処理装置。
6. 前記変換パラメータ導出手段は、
   前記特徴点抽出手段によって４つ以上の特徴点が抽出された場合には、前記抽出された特徴点の中から、特徴点間の距離が最大となる４つの特徴点を選択し、前記再配置後における該４つの特徴点の座標を用いて、透視投影変換の変換行列を導出する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記変換パラメータ導出手段は、
   前記特徴点抽出手段によって抽出された特徴点が４つに満たない場合には、前記再配置前における各特徴点と前記再配置後における各特徴点との中から選択した４つの特徴点の座標を用いて、透視投影変換の変換行列を導出する
   ことを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記変換パラメータ導出手段は、
   前記再配置前における各特徴点と前記再配置後における各特徴点との中から４つの特徴点を選択する際に、特徴点間の距離が最大になるように４つの特徴点を選択する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記特徴点抽出手段は、
   前記各画像から、両画像間で互いに対応する３つの特徴点を抽出し、
   前記変換パラメータ導出手段は、
   前記再配置後における前記３つの特徴点の座標を用いて、前記画像合成のための変換パラメータとしてアフィン変換の変換パラメータを導出する
   ことを特徴とする請求項２から請求項４のうちのいずれか１項に記載の画像処理装置。
10. 前記特徴点抽出手段は、
    前記各画像から、両画像間で互いに対応する２つの特徴点を抽出し、
    前記変換パラメータ導出手段は、
    前記再配置後における前記２つの特徴点の座標を用いて、前記画像合成のための変換パラメータとして回転行列を導出する
    ことを特徴とする請求項２から請求項４のうちのいずれか１項に記載の画像処理装置。
11. 前記紙文書が帳票である
    ことを特徴とする請求項１から請求項１０のうちのいずれか１項に記載の画像処理装置。
12. 前記第１の画像および前記第２の画像は、前記紙文書の一部を重複して撮像した重複領域を含んでおり、
    前記特徴点抽出手段は、前記第１の画像における重複領域と、前記第２の画像における重複領域とのそれぞれから、両画像間で互いに対応する特徴点を抽出する
    ことを特徴とする請求項１から請求項１１のうちのいずれか１項に記載の画像処理装置。
13. 前記エッジ抽出手段で抽出されるエッジは、前記紙文書の紙端のエッジ、もしくは、前記紙文書内に含まれる直線のエッジであることを特徴とする請求項１から請求項１２のうちのいずれか１項に記載の画像処理装置。
14. 前記画像処理装置は、
    プログラムを格納するメモリと、
    前記プログラムを実行するプロセッサと、を備え、
    前記プロセッサは、前記プログラムを実行して、前記特徴点抽出手段と前記エッジ抽出手段と前記消失点検出手段と前記変換パラメータ導出手段と前記画像合成手段として機能することを特徴とする請求項１から請求項１３のうちのいずれか１項に記載の画像処理装置。
15. 紙文書を撮像して得られる画像であって撮像範囲が各々異なるとともに各画像間に重複領域が存在する第１の画像と第２の画像との各画像から、両画像間で互いに対応する特徴点を抽出する特徴点抽出ステップと、
    前記各画像から両画像間で互いに対応するエッジを抽出するエッジ抽出ステップと、
    前記各画像から前記紙文書が属する平面の消失点を検出する消失点検出ステップと、
    前記抽出された特徴点と前記検出された消失点とを結ぶ直線と前記抽出されたエッジとの交点に対応する座標を用いて、画像合成のための変換パラメータを導出する変換パラメータ導出ステップと、
    前記導出された変換パラメータを用いて前記第１の画像と前記第２の画像とを合成する画像合成ステップと、を含む
    ことを特徴とする画像処理方法。
16. コンピュータを、請求項１から請求項１３のうちのいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images