JP5821598B2

JP5821598B2 - 画像処理装置及びプログラム

Info

Publication number: JP5821598B2
Application number: JP2011271203A
Authority: JP
Inventors: 川王; 大西　健司; 健司大西
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-12-12
Filing date: 2011-12-12
Publication date: 2015-11-24
Anticipated expiration: 2031-12-12
Also published as: JP2013122702A; US20130148892A1; CN103177438B; US9111141B2; CN103177438A

Description

本発明は、画像処理装置及びプログラムに関する。

下記特許文献１には、第１の画像から検出された特徴点、に対応する対応特徴点を第２の画像のうちで特定し、特徴点と対応特徴点とに基づいて第１の画像と第２の画像とを合成すること、が記載されている。

特開２０１１−１３８９０号公報

本発明の目的は、第１画像から抽出された特徴点と類似の特徴を有する特徴点が第２画像に複数存在する場合であっても、第１画像から抽出された特徴点、に対応する第２の画像の特徴点を特定することができるようにすることある。

上記課題を解決するための請求項１の発明は、文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段と、前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段と、前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段と、前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段と、を含むことを特徴とする画像処理装置である。

また、請求項２の発明は、請求項１の発明において、前記評価手段は、前記注目第１特徴点における特徴量が示す代表方向に対して前記注目第１特徴点から前記他の第１特徴点への方向がなす角度と、前記注目第１特徴点の第２特徴点候補における特徴量が示す代表方向に対して前記注目第１特徴点の第２特徴点候補から前記他の第１特徴点の第２特徴点候補への方向がなす角度と、の比較結果に基づいて、前記評価情報を生成することを特徴とする。

また、請求項３の発明は、請求項１又は２の発明において、前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは異なる行又は列に位置する文字領域に含まれる第１特徴点であることを特徴とする。

また、請求項４の発明は、請求項１又は２の発明において、前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは別種の文字に対応する文字領域に含まれる第１特徴点であることを特徴とする。

また、上記課題を解決するための請求項５の発明は、文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段、前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段、前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段、前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段、としてコンピュータを機能させるためのプログラムである。

請求項１、５の発明によれば、第１画像から抽出された特徴点と類似の特徴を有する特徴点が第２画像に複数存在する場合であっても、第１画像から抽出された特徴点、に対応する第２の画像の特徴点を特定することができる。

請求項２〜４の発明によれば、本構成を有しない場合と比較して、より高い精度で、第１の画像から抽出された特徴点、に対応する第２の画像の特徴点を特定することができる。

画像処理装置の構成を例示する図である。第１文書画像を例示する図である。第２文書画像を例示する図である。文書を例示する図である。特徴点を例示する図である。特徴点同士が対応付けられる様子を例示する図である。画像処理装置で実行される処理を例示するフロー図である。画像処理装置で実行される処理を例示するフロー図である。画像処理装置で実行される処理を例示するフロー図である。第１特徴点を例示する図である。第２特徴点を例示する図である。方向ベクトルｖ_ｉｋ及び角度θ_ｉｋを例示する図である。画像処理装置で実現される機能群を示す機能ブロック図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る画像処理装置２の構成を例示する図である。画像処理装置２は、一般的なコンピュータであり、制御部４、主記憶６、操作入力部８、表示部１０、及びハードディスク１２等を備える。

制御部４は、マイクロプロセッサであり、主記憶６に記憶されるプログラムに従って各種情報処理を実行する。主記憶６は、上記プログラムを格納している。このプログラムは、ＤＶＤ（登録商標）−ＲＯＭ等のコンピュータ読取可能な情報記憶媒体から読み出されて主記憶６に格納されてもよいし、ネットワーク等の通信網から供給されて主記憶６に格納されてもよい。また、主記憶６には、情報処理の過程で必要となる各種データも格納される。

操作入力部８は、ユーザが操作入力を行うためのインタフェースであり、例えば、マウス及びキーボードなどである。操作入力部８は、ユーザにより行われた操作入力を示す信号を制御部４へ出力する。また、表示部１０は、ＣＲＴディスプレイ及び液晶ディスプレイなどであり、制御部４から入力される情報を出力する。

ハードディスク１２は、各種情報を記憶する。本実施形態の場合、ハードディスク１２には、ビットマップ画像である第１文書画像１４ａ及び第２文書画像１４ｂが記憶されている。図２Ａに第１文書画像１４ａを例示し、図２Ｂに第２文書画像１４ｂを例示した。斜線された部分は背景を表している。図２Ａ及び図２Ｂに示すように、第１文書画像１４ａには図２Ｃに示す文書の左部分が写り、第２文書画像１４ｂには文書の右部分が写っている。第１文書画像１４ａと第２文書画像１４ｂの両方に写っている部分もある。第１文書画像１４ａ及び第２文書画像１４ｂには、座標軸であるＸ軸とＹ軸とが設定されている。

この画像処理装置２では、第１文書画像１４ａ及び第２文書画像１４ｂのそれぞれから、特徴点が抽出される。図３Ａに、抽出される特徴点の一部を例示した。各点が特徴点を示している。

また、第１文書画像１４ａと第２文書画像１４ｂとの間で、類似の特徴量が得られる特徴点同士が対応付けられるようになっている。すなわち、第１文書画像１４ａから抽出された特徴点の一つ一つにつき、その特徴点に対応する一の特徴点が第２文書画像１４ｂのうちで特定されるようになっている。図３Ｂに、特徴点同士が対応付けられる様子を例示した。

また、互いに対応付けられた特徴点の一方が他方の特徴点と一致するように、第１文書画像１４ａが変形され、変形された第１文書画像１４ａと第２文書画像１４ｂとを合成してなる合成文書画像が生成されるようになっている。図２Ｃに合成文書画像を例示した。

この画像処理装置２では、第１文書画像１４ａから抽出された特徴点と類似の特徴量を示す特徴点が第２文書画像１４ｂに複数存在する場合（例えば、第１文書画像１４ａに含まれる文字（例えば文字「Ｆ」）が第２文書画像１４ｂに複数含まれる場合）でも、第１文書画像１４ａから抽出された特徴点、に対応する一の特徴点が高い精度で特定されるようになっている。以下、この点について説明する。

図４Ａ、図４Ｂ、及び図４Ｃは、画像処理装置２で実行される処理を例示するフロー図である。同図の処理は、制御部４が上記プログラムに従って動作することで実行される。

まず、制御部４は、第１文書画像１４ａから複数の特徴点Ｐ^１（以下、第１特徴点Ｐ^１と表記する）と、各特徴点Ｐ^１における画像特徴を示す特徴量Ｃ^１と、を検出し（Ｓ１０１）、第１特徴点Ｐ^１の座標と特徴量Ｃ^１とを主記憶６に保存する。本実施形態の場合、制御部４は、ＳＩＦＴ（Scale-Invariant Feature Transform）法により、第１特徴点Ｐ^１と特徴量Ｃ^１とを検出する。特徴量Ｃ^１はいわゆるＳＩＦＴ特徴量であり、１２８次元の多次元ベクトルとして表される。この多次元ベクトルは画像の回転及び拡縮に対して不変である。また、この多次元ベクトルが示す方向のうち代表的なものはオリエンテーションと呼ばれる。オリエンテーションは、二次元ベクトルとして表される。図５Ａに、第１特徴点Ｐ^１を例示した。なお、矢印は、オリエンテーションを示している。

また、制御部４は、Ｓ１０１のステップと同様にして第２文書画像１４ｂから複数の特徴点Ｐ^２（以下、第２特徴点Ｐ^２と表記する）と、各特徴点Ｐ^２における画像特徴を示す特徴量Ｃ^２と、を検出し（Ｓ１０２）、第２特徴点Ｐ^２の座標と特徴量Ｃ^２とを主記憶６に保存する。図５Ｂに、第２特徴点Ｐ^２を例示した。

また、制御部４は、公知の文字領域検出処理（例えば、Ｍｏｒｐｈｏｌｏｇｙ処理）を行って、第１文書画像に含まれる文字一つ一つに対応する文字領域を特定する（Ｓ１０３）。例えば、制御部４は、ある文字の外接矩形が占める領域をその文字に対応する文字領域として特定する。また、制御部４は、第１文書画像に含まれる文字一つ一つを認識する。

また、制御部４は、主記憶６から、いずれかの文字領域に含まれる第１特徴点Ｐ^１ _{ｉ（ｉ＝１〜Ｎ１）}と、その第１特徴点Ｐ^１ _ｉにおける特徴量Ｃ^１ _ｉを読み出す（Ｓ１０４）。第１特徴点Ｐ^１ _{ｉ（ｉ＝１〜Ｎ１）}が「複数の第１特徴点」に相当する。

また、制御部４は、Ｓ１０３のステップと同様にして、第２文書画像１４ｂに含まれる文字一つ一つに対応する文字領域を特定する（Ｓ１０５）。また、制御部４（第２特徴取得手段）は、主記憶６から、いずれかの文字領域に含まれる第２特徴点Ｐ^２ _{ｌ（ｌ＝１〜Ｎ２）}と、その第２特徴点Ｐ^２ _ｌにおける特徴量Ｃ^２ _ｌを読み出す（Ｓ１０６）。第２特徴点Ｐ^２ _{ｌ（ｌ＝１〜Ｎ２）}が「複数の第２特徴点」に相当する。

そして、制御部４は、第１特徴点Ｐ^１ _ｉの各々を処理対象にして、以下の処理を実行する。なお、処理対象となっている第１特徴点Ｐ^１ _ｉが「注目第１特徴点」に相当する。

すなわち、制御部４（第１特定手段）は、複数の第２特徴点Ｐ^２ _ｌのうちで、第１特徴点Ｐ^１ _ｉに対応する第２特徴点Ｐ^２の候補となる第２特徴点候補Ｐ^２ _ｊを特定する（Ｓ１０７）。具体的には、制御部４は、第２特徴点Ｐ^２ _ｌの一つ一つについて、その第２特徴点Ｐ^２ _ｌにおける特徴量Ｃ^２ _ｌ（上記多次元ベクトル）と、特徴量Ｃ^１ _ｉ（上記多次元ベクトル）と、のユークリッド距離を算出し、ユークリッド距離が閾値以下である第２特徴点Ｐ^２ _ｌを第２特徴点候補Ｐ^２ _ｊとして特定する。

そして、制御部４は、第２特徴点候補Ｐ^２ _ｊの数Ｎ３が「１」であるか否かを判定する（Ｓ１０８）。第２特徴点候補Ｐ^２ _ｊの数Ｎ３が「１」である場合（Ｓ１０８のＹｅｓ）、制御部４は、第２特徴点候補Ｐ^２ _ｊを、第１特徴点Ｐ^１ _ｉに対応する第２特徴点Ｐ^２として設定する（Ｓ１２０）。具体的には、制御部４は、第１特徴点Ｐ^１ _ｉと、第２特徴点候補Ｐ^２ _ｊと、をグループ化する。

一方、第２特徴点候補Ｐ^２ _ｊが複数特定された場合（Ｓ１０８のＮｏ）、制御部４は、第１特徴点Ｐ^１ _ｉを含む文字領域から所定距離内に位置する文字領域のうち、第１特徴点Ｐ^１ _ｉを含む文字領域とは別種の文字を含む文字領域を特定する（Ｓ１０９）。例えば、図５Ａに示す第１文書画像１４ａの場合において、上方にある文字「Ｆ」から検出された第１特徴点Ｐ^１が処理対象の第１特徴点Ｐ^１ _ｉである場合を想定する。この場合、第２文書画像１４ｂに含まれる２つの文字「Ｆ」それぞれから検出された２つの第２特徴点Ｐ^２が、第２特徴点候補Ｐ^２ _ｊとして特定される。従って、Ｓ１０９のステップで、上方の文字「Ｆ」を囲む文字領域の周辺に位置する文字領域（すなわち、文字「Ａ」、「Ｂ」、「Ｃ」、「Ｅ」、「Ｇ」、「Ｉ」、「Ｊ」、及び「Ｋ」のそれぞれを囲む文字領域）のうち、文字「Ｆ」とは異なる文字「Ａ」、「Ｂ」、「Ｃ」、「Ｅ」、「Ｇ」、「Ｉ」、「Ｊ」、及び「Ｋ」のそれぞれを囲む文字領域が特定されることになる。結果的に、上方の文字「Ｆ」を囲む文字領域とは異なる行又は列に位置する文字領域が特定されることにもなる。

そして、制御部４は、複数の第１特徴点Ｐ^１ _ｉのうちで、Ｓ１０９で特定された文字領域のいずれかに含まれる第１特徴点Ｐ^１ _{ｋ（ｋ＝１〜Ｎ４）}を特定する（Ｓ１１０）。例えば、図５Ａに示す場合、文字「Ｃ」から検出された第１特徴点Ｐ^１と文字「Ｃ」から検出された第１特徴点Ｐ^１とが第１特徴点Ｐ^１ _ｋ（他の第１特徴点）として特定される。

そして、制御部４は、第２特徴点候補Ｐ^２ _{ｊ（ｊ＝１〜Ｎ３）}それぞれの評価値Ｖ_{ｊ（ｊ＝１〜Ｎ３）}を「０」に初期化し（Ｓ１１１）、第１特徴点Ｐ^１ _ｋの各々につき、以下の処理を実行する。

すなわち、制御部４（第２特定手段）は、Ｓ１０７のステップと同様の処理を行って、複数の第２特徴点Ｐ^２ _ｌのうちで、第１特徴点Ｐ^１ _ｋに対応する第２特徴点Ｐ^２の候補となる第２特徴点候補Ｐ^２ _{ｍ（ｍ＝１〜Ｎ５）}を特定する（Ｓ１１２）。また、制御部４は、第１特徴点Ｐ^１ _ｉ（注目第１特徴点）から第１特徴点Ｐ^１ _ｋ（他の第１特徴点）までの方向ベクトルｖ_ｉｋを算出する（Ｓ１１３）。また、制御部４は、Ｓ１１３のステップで、第１特徴点Ｐ^１ _ｉと第１特徴点Ｐ^１ _ｋとの距離ｄ_ｉｋも算出する。

そして、制御部４は、第１特徴点Ｐ^１ _ｉ（注目第１特徴点）における特徴量Ｃ^１ _ｉが示すオリエンテーションに対して方向ベクトルｖ_ｉｋがなす時計回りの角度θ_ｉｋを算出する（Ｓ１１４）。図６に、第１文書画像１４ａの上方の文字「Ｆ」が第１特徴点Ｐ^１ _ｉであり、且つ、文字「Ｆ」の右上の文字「Ｃ」が第１特徴点Ｐ^１ _ｋである場合における、方向ベクトルｖ_ｉｋ及び角度θ_ｉｋを例示した。なお、図６に示す太字の矢印は、オリエンテーションを示している。

そして、制御部４は、第２特徴点候補Ｐ^２ _{ｊ（ｊ＝１〜Ｎ３）}と第２特徴点候補Ｐ^２ _{ｍ（ｍ＝１〜Ｎ５）}との組み合わせの各々につき、以下の処理を実行する。

すなわち、制御部４は、第２特徴点候補Ｐ^２ _ｊ（注目第１特徴点の第２特徴点候補）から第２特徴点候補Ｐ^２ _ｍ（他の第１特徴点の第２特徴点候補）までの方向ベクトルｖ_ｊｍを算出する（Ｓ１１５）。また、制御部４は、Ｓ１１５のステップにおいて、第２特徴点候補Ｐ^２ _ｊと第２特徴点候補Ｐ^２ _ｍとの距離ｄ_ｊｍも算出する。

また、制御部４は、第２特徴点Ｐ^２ _ｊ候補（注目第１特徴点の第２特徴点）における特徴量Ｃ^２ _ｊが示すオリエンテーションに対して方向ベクトルｖ_ｊｍがなす時計回りの角度θ_ｊｍを算出する（Ｓ１１６）。

そして、制御部４は、角度θ_ｉｋと角度θ_ｊｍとの差Δθが閾値角度以下であるか否か、及び、距離ｄ_ｉｋと距離ｄ_ｊｍとの差Δｄが閾値距離以下であるか否か、を判定する（Ｓ１１７）。差Δθが閾値角度以下であり且つ差Δｄが閾値距離以下である場合（Ｓ１１７のＹｅｓ）、制御部４（評価手段）は、評価値Ｖ_ｊを「１」だけインクリメントする（Ｓ１１８）。なお、制御部４は、Ｓ１１７において、角度θ_ｉｋと角度θ_ｊｍとの差Δθが閾値角度以下であるか否かのみ判定し、角度θ_ｉｋと角度θ_ｊｍとの差Δθが閾値角度以下である場合に、Ｓ１１８において、評価値Ｖ_ｊを「１」だけインクリメントしてもよい。

こうして、第２特徴点候補Ｐ^２ _{ｊ（ｊ＝１〜Ｎ３）}の各々につきその評価値Ｖ_ｊを決定すると、制御部４（設定手段）は、評価値Ｖ_ｊが最大の第２特徴点候補Ｐ^２ _ｊを、第１特徴点Ｐ^１ _ｊに対応する第２特徴点Ｐ^２として設定する（Ｓ１１９）。すなわち、制御部４は、第１特徴点Ｐ^１ _ｊと、評価値Ｖ_ｊが最大の第２特徴点候補Ｐ^２ _ｊと、をグループ化する。

こうして、第１特徴点Ｐ^１ _ｉの各々につき、対応する第２特徴点Ｐ^２を設定すると、制御部４は、主記憶６から、いずれの文字領域にも含まれない第１特徴点Ｐ^１ _{ｎ（ｎ＝１〜Ｎ６）}と、その第１特徴点Ｐ^１ _ｎにおける特徴量Ｃ^１ _ｎを読み出す（Ｓ１２１）。また、制御部４は、主記憶６から、いずれの文字領域にも含まれない第２特徴点Ｐ^２ _{ｑ（ｑ＝１〜Ｎ７）}と、その第２特徴点Ｐ^２ _ｑにおける特徴量Ｃ^２ _ｑを読み出す（Ｓ１２２）。なお、Ｓ１２１及びＳ１２２のステップは、例えば図形が描かれている領域から抽出された特徴点の取得を意図するものである。

そして、制御部４は、第１特徴点Ｐ^１ _ｎの各々につき、以下の処理を実行する。

すなわち、制御部４は、Ｓ１０７のステップと同様にして、複数の第２特徴点Ｐ^２ _ｑのうちで、第１特徴点Ｐ^１ _ｎの第２特徴点候補Ｐ^２を特定する（Ｓ１２３）。図形が描かれている領域から類似の画像特徴を示す特徴量が複数抽出されることはないので、Ｓ１２３のステップでは、通常、１つの第１特徴点Ｐ^１ _ｎにつき１つの第２特徴点候補Ｐ^２が特定される。

そこで、制御部４は、制御部４は、Ｓ１２３のステップで特定した第２特徴点候補Ｐ^２を、第１特徴点Ｐ^１ _ｎに対応する第２特徴点Ｐ^２として設定する（Ｓ１２４）。

図４Ａ〜図４Ｃに示す処理により、第１文書画像１４ａから抽出された第１特徴点Ｐ^１の一つ一つについて対応する第２特徴点Ｐ^２が決定されると、制御部４は、各第１特徴点Ｐ^１が、対応する第２特徴点Ｐ^２に一致するようにするための変形パラメータを算出する。そして、制御部４は、変形パラメータを用いて第１文書画像１４ａを変形し、変形した第１文書画像１４ａと第２文書画像１４ｂとを合成してなる合成文書画像（図２Ｃ参照）を生成することになる。

この画像処理装置２では、各第１特徴点Ｐ^１につき、その第１特徴点Ｐ^１と類似の画像特徴を示す第２特徴点Ｐ^２が第２特徴点候補として特定される。そして、或る第１特徴点Ｐ^１（以下、注目第１特徴点Ｐ^１と表記する）の第２特徴点候補が複数存在する場合には、注目第１特徴点Ｐ^１に対する他の第１特徴点Ｐ^１の相対的位置と、「注目第１特徴点Ｐ^１の第２特徴点候補」に対する「上記他の第１特徴点Ｐ^１の第２特徴点候補」の相対的位置と、の比較結果に基づいて、注目第１特徴点Ｐ^１の第２特徴点候補のうちから注目第１特徴点Ｐ^１に対応する第２特徴点Ｐ^２が選択される。そのため、第１文書画像１４ａから抽出された特徴点と類似の特徴を示す特徴点が第１文書画像１４ｂから複数抽出された場合でも、第１文書画像１４ａから抽出された特徴点、に対応する一の特徴点が高い精度で特定されるようになる。

また、注目第１特徴点Ｐ^１に対する他の第１特徴点Ｐ^１の相対的位置が、「注目第１特徴点Ｐ^１におけるオリエンテーション」に対する「注目第１特徴点Ｐ^１から他の第１特徴点Ｐ^１まで方向」の回転角度として表現される。また、「注目第１特徴点Ｐ^１の第２特徴点候補」に対する「上記他の第１特徴点Ｐ^１の第２特徴点候補」の相対的位置が、「注目第１特徴点Ｐ^１の第２特徴点候補におけるオリエンテーション」に対する「「注目第１特徴点Ｐ^１の第２特徴点候補から上記他の第１特徴点Ｐ^１の第２特徴点候補までの方向」の回転角度として表現される。従って、第１文書画像１４ａの向きとは無関係に、注目第１特徴点Ｐ^１に対する他の第１特徴点Ｐ^１の相対的位置が評価される。同様に、第２文書画像１４ｂの向きとは無関係に、「注目第１特徴点Ｐ^１の第２特徴点候補」に対する「上記他の第１特徴点Ｐ^１の第２特徴点候補」の相対的位置が評価される。この点からも、第１文書画像１４ａから抽出された特徴点、に対応する一の特徴点が高い精度で特定されるようになる。

なお、第１文書画像１４ａの向きと第２文書画像１４ｂの向きとが同じであるならば、第１特徴点Ｐ^１ _ｉに対する第１特徴点Ｐ^１ _ｋの相対的位置を示す情報として方向ベクトルｖ_ｉｋ（Ｓ１１３参照）を用い、かつ、「第１特徴点Ｐ^１ _ｉの第２特徴点候補Ｐ^２ _ｊに対する第１特徴点Ｐ^１ _ｋの第２特徴点候補Ｐ^２ _ｍの相対的位置」を示す情報として方向ベクトルｖ_ｊｍ（Ｓ１１５参照）を用いてもよい。この場合、制御部４は、Ｓ１１７のステップにおいて方向ベクトルｖ_ｉｋと方向ベクトルｖ_ｊｍとがなす角度が閾値以下であるか否かを判定し、方向ベクトルｖ_ｉｋと方向ベクトルｖ_ｊｍとがなす角度が閾値以下である場合に、Ｓ１１８のステップの処理を実行すればよい。

図７は、画像処理装置２で実現される機能群を示す機能ブロック図である。同図に示すように、画像処理装置２では、第１特徴点取得部１６、第２特徴点取得部１８、マッチング２０、第２特徴点候補特定部２２、相対位置算出部２４、評価部２６、設定部２８、パラメータ算出部３０、幾何変換部３２、及び合成部３４が実現される。これらの機能は、制御部４が上記プログラムに従って動作することで実現される。

第１特徴点取得部１６は、第１文書画像１４ａ内のいずれかの文字領域に含まれる複数の第１特徴点Ｐ^１ _ｉと、これらの第１特徴点Ｐ^１ _ｉにおける特徴量Ｃ^１ _ｉと、を取得する（Ｓ１０４参照）。また、第２特徴点取得部１８は、第２文書画像１４ｂ内のいずれかの文字領域に含まれる複数の第２特徴点Ｐ^２ _ｌと、これらの第２特徴点Ｐ^２ _ｌにおける特徴量Ｃ^２ _ｌと、を取得する（Ｓ１０６参照）。

マッチング部２０は、第１特徴点Ｐ^１ _ｉの各々につき、複数の第２特徴点Ｐ^２ _ｌのうち一の第２特徴点Ｐ^２を、当該第１特徴点Ｐ^１ _ｉに対応する一の第２特徴点Ｐ^２として設定する。すなわち、マッチング部２０は、第１特徴点Ｐ^１ _ｉの一つ一つを注目第１特徴点Ｐ^１ _ｉとして以下の処理を実行する。

すなわち、第２特徴点候補特定部２２は、注目第１特徴点Ｐ^１ _ｉの第２特徴点候補Ｐ^２ _ｊを、注目第１特徴点Ｐ^１ _ｉにおける特徴量Ｃ^１ _ｉと各第２特徴点Ｐ^２ _ｌにおける特徴量Ｃ^２ _ｌとの比較結果に基づいて特定する（Ｓ１０７参照）。また、第２特徴点候補特定部２２は、「複数の第１特徴点Ｐ^１ _ｉのうちの、注目第１特徴点Ｐ^１とは異なる文字領域に含まれる第１特徴点Ｐ^１ _ｋ」の第２特徴点候補Ｐ^２ _ｍを、第１特徴点Ｐ^１ _ｋにおける特徴量Ｃ^１ _ｋと各第２特徴点Ｐ^２ _ｌにおける特徴量Ｃ^２ _ｌとの比較結果に基づいて特定する（Ｓ１１２参照）。

また、相対位置算出部２４は、注目第１特徴点Ｐ^１ _ｉに対する第１特徴点Ｐ^１ _ｋの相対位置を算出する。また、相対位置算出部２４は、「注目第１特徴点Ｐ^１ _ｉの第２特徴点候補Ｐ^２ _ｊ」に対する「第１特徴点Ｐ^１ _ｋの第２特徴点候補Ｐ^２ _ｍ」の相対位置も算出する。本実施形態の場合、相対位置算出部２４は、角度θ_ｉｋ及び角度θ_ｊｍを算出する（Ｓ１１４及びＳ１１６参照）。

また、評価部２６は、両相対位置の比較結果に基づいて、注目第１特徴点Ｐ^１ _ｉの第２特徴点候補Ｐ^２ _ｊの評価に関する評価値Ｖ_ｊを生成する（Ｓ１１７及びＳ１１８参照）。そして、設定部２８が、評価値Ｖ_ｊに応じて、第２特徴点候補Ｐ^２ _ｊを、注目第１特徴点Ｐ^１ _ｉに対応する第２特徴点Ｐ^２として設定する（Ｓ１１９）。

なお、パラメータ算出部３０は、各第１特徴点Ｐ^１が、対応する第２特徴点Ｐ^２に一致するように第１文書画像１４ａを変形するための変形パラメータ（幾何変換パラメータ）を算出する。また、幾何変換部３２は、変形パラメータを用いて第１文書画像１４ａを幾何変換し、合成部３４が、幾何変換された第１文書画像１４ａと、第２文書画像１４ｂと、を合成してなる合成文書画像（図２Ｃ参照）を生成することとなる。

なお、本発明の実施形態は、上記実施形態だけに限らない。

例えば、特徴量はＳＵＲＦ（Speeded Up Robust Features）法により取得されるＳＵＲＦ特徴量であってもよい。

２画像処理装置、４制御部、６主記憶、８操作入力部、１０表示部、１２ハードディスク、１４ａ第１文書画像、１４ｂ第２文書画像、１６第１特徴点取得部、１８第２特徴点取得部、２０マッチング部、２２第２特徴点候補特定部、２４相対位置算出部、２６評価部、２８設定部、３０パラメータ算出部、３２幾何変換部、３４合成部、Ｐ^１第１特徴点、Ｐ^２第２特徴点。

Claims

文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段と、
前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段と、
前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段と、
前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段と、
を含むことを特徴とする画像処理装置。
前記評価手段は、
前記注目第１特徴点における特徴量が示す代表方向に対して前記注目第１特徴点から前記他の第１特徴点への方向がなす角度と、前記注目第１特徴点の第２特徴点候補における特徴量が示す代表方向に対して前記注目第１特徴点の第２特徴点候補から前記他の第１特徴点の第２特徴点候補への方向がなす角度と、の比較結果に基づいて、前記評価情報を生成すること、
を特徴とする請求項１に記載の画像処理装置。
前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは異なる行又は列に位置する文字領域に含まれる第１特徴点であること、
を特徴とする請求項１又は２に記載の画像処理装置。
前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは別種の文字に対応する文字領域に含まれる第１特徴点であること、
を特徴とする請求項１又は２に記載の画像処理装置。
文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段、
前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段、
前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段、
前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段、
としてコンピュータを機能させるためのプログラム。