JP4687557B2 - 画像照合装置及びプログラム - Google Patents

Description

本発明は、画像データの照合を行う画像照合装置、画像照合方法及びプログラムに関する。

近年、記憶装置の大容量化などに伴って、多くの文書データや画像データを蓄積して、利用者に提供するデータ管理システムが普及しつつある。このようなデータ管理システムが効率的に利用されるためには、蓄積された大量のデータからユーザが必要とするデータを容易に見つけられるように検索機能を充実させる必要がある。しかしながら、文字コード情報などからなる文書データを検索する場合と比較して、画像データの検索は一般に困難である場合が多い。すなわち、例えば殆ど同じ画像を表す画像データであっても、一度紙などの記録媒体上に印刷されて再びスキャナで読み取られた場合などにおいては、位置ずれや色合いの変化などが生じて、データとしては全く異なるものになってしまう。その結果、単純に画像データ同士を比較するだけでは、類似する画像であることが判定できない。そこで、例えば画像データから画像の特徴を表すデータを抽出して照合することで、類似する画像であるか否かを判定する画像照合技術が提案されている。

このような画像照合技術の一つとして、照合対象となる２つの画像データのそれぞれに基づく画像特徴情報を取得し、当該画像特徴情報に基づいて一方の画像データに対するアフィン変換の変換パラメタである、拡縮率及び平行移動量の値を推定し、推定された変換パラメタを用いて画像の照合を行う技術がある（特許文献１）。当該技術においては、例えば画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形を取得し、当該画素値投影波形において波形の変化が特徴的となる位置を表す位置情報を画像特徴情報として用いる。この技術によれば、例えば横書きや縦書きの文字列を含む文書を表すような画像において、画素が集中する行や列の配置に関する情報を画素値投影波形として抽出し、照合することで、画像が類似するか否かを判定できる。

図８（ａ）及び図８（ｂ）は、画素値投影波形を生成する際の、画像データに含まれる画素値を累算する方向の例を表す説明図である。図８（ａ）においては、画像データの水平方向に画素値を累算する場合の例が示されている。また、図８（ｂ）においては、画像データの垂直方向に画素値を累算する場合の例が示されている。この図に示す方向に沿って画素値を累算することにより、各行又は各列の画素の画素値を累算して得られる累算値を画像データ上の位置に応じた順序で並べた累算値系列が得られる。そして、この累算値系列によって表される波形が画素値投影波形となる。図９は、このようにして得られた画素値投影波形の一例を模式的に表す説明図である。

ここで、もし２つの画像データが完全に一致するのであれば、当該画像データから生成された所定方向についての画素値投影波形も一致するはずである。しかしながら、照合対象となる画像データの一方が、他方の画像データに対して拡大や縮小された画像データであったり、位置ずれを起こしたりしている場合には、画像データの画素値投影波形にもずれが生じる。そこで当該技術によれば、画像照合装置は、照合対象となる画像データの一致度が高くなるように、それぞれの画素値投影波形から得られた位置情報に基づいて、一方の画像データに対するアフィン変換の変換パラメタ（拡縮率及び平行移動量）を算出する。そして、算出された変換パラメタにより一方の画像データに対して拡大、縮小、平行移動などの画像変換処理を施し、変換された画像データを用いて画像の照合を行う。これにより、拡大や縮小、また位置ずれを起こした画像からであっても、類似する画像を検索することができる。
特開２００３‐９１７３０号公報

しかしながら、上記従来例の技術においては、画像データがより一致するような拡縮率を決定する際に、計算上の誤差が生じる場合がある。例えば一方の画像データの上端部を原点として画像データの垂直方向に拡大する場合、画像データの下端部近傍の位置を表す座標値に拡縮率を乗じることによって得られる値は大きくなる。そのため、コンピュータで演算可能な桁数の制限に起因する誤差が生じ、拡大した一方の画像データと他方の画像データとの間の一致度を精度よく判定できなくなる場合がある。また、このような誤差を避けるために十分大きな桁数での演算を行おうとすると、演算量が増え、変数を記憶するためにより多くのメモリ容量が必要となったり、演算処理に時間がかかったりする問題が生じる。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、演算量を増やさずに、より精度よく画像の照合を行うことのできる画像照合装置、画像照合方法及びプログラムを提供することにある。

上記課題を解決するための本発明に係る画像照合装置は、第１画像データと第２画像データとの照合を行う画像照合装置であって、前記第１画像データを所定の拡縮方向に拡縮するアフィン変換を実行する場合に、当該アフィン変換によって生じる誤差を低減できるような拡縮の原点位置を決定する拡縮原点位置決定手段と、前記決定した原点位置を基準とした拡縮によって、前記第１画像データと、前記第２画像データとの一致度が高くなる拡縮率を算出する変換パラメタ算出手段と、を含み、前記算出した拡縮率が、前記第１画像データと前記第２画像データとの照合処理に供されることを特徴とする。

上記構成によれば、誤差を低減できるような拡縮の原点位置を決定し、当該原点位置を基準とした拡縮によって、照合対象の画像データの一致度が高くなるような拡縮率を算出することができる。これにより、演算量を増加させることなく、画像照合の際の拡縮の演算によって生じる誤差を低減でき、画像照合の精度を向上できる。

また、上記画像照合装置において、前記拡縮原点位置決定手段は、前記第１画像データの前記拡縮方向における中心位置を前記原点位置として決定することとしてもよい。

あるいは、上記画像照合装置は、前記第１及び第２画像データのそれぞれに対し、画像データに含まれる各画素の画素値を前記拡縮方向と直交する方向に累算して得られる画素値投影波形を取得する画素値投影波形取得手段をさらに含み、前記拡縮原点位置決定手段は、前記取得した第１画像データの画素値投影波形の波形に基づいて前記原点位置を決定し、前記変換パラメタ算出手段は、前記取得した第１画像データの画素値投影波形に対して前記決定した原点位置を基準とした拡縮を行って得られる拡縮後画素値投影波形と、前記第２画像データの画素値投影波形と、を比較することで、前記一致度が高くなる拡縮率を算出することとしてもよい。

さらに、前記拡縮原点位置決定手段は、前記取得した第１画像データの画素値投影波形における、波形の両端部に最も近い立ち上がり位置によって規定される範囲の中心位置を前記原点位置として決定することとしてもよい。あるいは、前記拡縮原点位置決定手段は、前記取得した第１画像データの画素値投影波形内での波形の変化が特徴的となる位置のうち、当該画素値投影波形における波形の両端部に最も近い立ち上がり位置によって規定される範囲の中心位置に最も近い位置を前記原点位置として決定することとしてもよい。

また、本発明に係る画像照合方法は、コンピュータを用いて、第１画像データと第２画像データとの照合を行う画像照合方法であって、前記第１画像データを所定の拡縮方向に拡縮するアフィン変換を実行する場合に、当該アフィン変換によって生じる誤差を低減できるような拡縮の原点位置を決定するステップと、前記決定した原点位置を基準とした拡縮によって、前記第１画像データと、前記第２画像データとの一致度が高くなる拡縮率を算出するステップと、を含み、前記算出した拡縮率が、前記第１画像データと前記第２画像データとの照合処理に供されることを特徴とする。

また、本発明に係るプログラムは、第１画像データを所定の拡縮方向に拡縮するアフィン変換を実行する場合に、当該アフィン変換によって生じる誤差を低減できるような拡縮の原点位置を決定する拡縮原点位置決定手段、及び前記決定した原点位置を基準とした拡縮によって、前記第１画像データと、第２画像データとの一致度が高くなる拡縮率を算出する変換パラメタ算出手段、としてコンピュータを機能させ、前記算出した拡縮率が、前記第１画像データと前記第２画像データとの照合処理に供されることを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像照合装置は、図１に示すように、制御部１１と、記憶部１２と、画像読み取り部１３と、表示部１４と、を含んで構成されている。

制御部１１は、ＣＰＵ等であって、記憶部１２に記憶されたプログラムに従って動作する。本実施の形態においては、検索キーとなるキー画像データと、記憶部１２に記憶されている蓄積画像データと、にそれぞれ基づく画像特徴情報を用いて、当該２つの画像データの一致度が高くなるような変換パラメタを算出する。さらに、算出した変換パラメタを用いて２つの画像データの照合を行い、両者が類似する画像か否かを判定する画像照合処理を実行する。これにより、本実施形態に係る画像照合装置は、キー画像データに類似する蓄積画像データを検索し、その結果を出力できる。本実施の形態において制御部１１が実行する処理の例については、後に詳しく述べる。

記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータで読み取り可能な記憶媒体であって、ＲＡＭやＲＯＭ等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。さらに、本実施形態においては、記憶部１２は、照合対象となる複数の画像データを、蓄積画像データとして記憶している。

画像読み取り部１３は、光学的に紙などの記録媒体に形成されている画像を読み取り、これを画像データに変換して制御部１１に出力する。これにより、制御部１１はキー画像データを取得できる。また、表示部１４は、ディスプレイ等であって、制御部１１から入力される指示に従い、検索結果などの種々の情報を表示する。

次に、本実施形態に係る画像照合装置が実現する機能について説明する。本実施形態に係る画像照合装置は、機能的には、図２に示すように、投影波形取得部２１と、拡縮原点位置決定部２２と、位置情報取得部２３と、直線式決定部２４と、単位領域画定部２５と、候補単位領域選択部２６と、交点群決定部２７と、変換パラメタ算出部２８と、画像照合部２９と、を含んで構成されている。これらの機能は、例えば制御部１１が記憶部１２に格納されているプログラムを実行することによって実現できる。

投影波形取得部２１は、照合対象となるキー画像データ及び蓄積画像データ（以下、両者を合わせて照合対象画像データという）のそれぞれに対し、画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形を取得する。

ここで所定方向とは、例えば水平方向や垂直方向などである。具体例として、キー画像データが文書画像を表すデータであって、当該文書が縦書きであるか横書きであるかが予めわかっている場合、この文字の配置された方向を所定方向として選択することとしてもよい。このような方向を用いることで、特に画像の特徴を反映した画素値投影波形を得ることができる。また、例えば画像データの特徴が不明瞭な場合、水平方向と垂直方向の両方など、複数の方向についての画素値投影波形を取得することとしてもよい。この場合、本実施形態に係る画像照合装置は、複数の所定方向についての画素値投影波形をそれぞれ比較することで、より精度の高い画像の照合を行うことができる。さらに、例えばキー画像データに対する水平方向と垂直方向とのいずれか一方についての画素値投影波形を、蓄積画像データに対する水平方向及び垂直方向それぞれの画素値投影波形と比較することとしてもよい。これにより、キー画像データが蓄積画像データに対して９０度回転した画像である場合であっても、画像を照合して類似画像であると判定できる。

投影波形取得部２１は、この所定方向に沿って、画像データに含まれる各画素の画素値を累算して得られる画素値投影波形を取得する。画素値投影波形は、当該所定方向に画像データの画素値を投影した場合の分布を表す。コンピュータ上においては、この画素値投影波形は、所定方向に沿って各画素の画素値を累算して得られる複数の累算値が、当該各累算値を算出する対象となった画素群の画像データ上の配置順に従って並べられた数値配列（累算値系列）として、表現される。

この累算値を演算するにあたり、照合対象画像データが白黒画像データであれば、白の点の画素値を「０」、黒の点の画素値を「１」として累算すればよいし、中間調を含む多値画像データであれば、例えば白を「０」、黒を「２５５」等とすればよい。さらにカラー画像データの場合は、例えばその濃度成分を分離して得られる濃度画像を上記多値画像と見なして累算値を計算する。濃度成分の分離は、公知のカラー値に対する変換処理により行うことができる。

また、投影波形取得部２１は、例えば画像照合処理を行う際に、照合対象画像データに基づいて各累算値を算出することで、この画素値投影波形を取得してもよい。あるいは、特に蓄積画像データについては、予め当該蓄積画像データの所定方向について算出された画素値投影波形が、当該蓄積画像データに対応づけられて記憶部１２に保持されることとしてもよい。この場合、投影波形取得部２１は単に記憶部１２から読み出すことで画素値投影波形を取得でき、画像の照合を行う際の演算量を低減することができる。

なお、画像読み取り部１３が読み取ることで取得したキー画像データに対して画素値投影波形を生成する場合、画素値投影波形の生成処理前に公知の傾き補正技術を利用して読み取り時の軽微な傾きを補正することとしてもよい。また、キー画像データを読み取った際の画像読み取り部１３の解像度の設定などに応じて、キー画像データから一時的に生成した画素値投影波形を所定のスケール（既定スケール）にスケーリングした、いわば規格化した画素値投影波形を取得することとしてもよい。これにより、予め蓄積画像データの画素値投影波形に近いサイズに規格化された画素値投影波形を用いて、画素値投影波形の比較を行うことができる。

また、ここまでの説明においては、画素値を累算して得られる累算値系列によって表される波形そのものを取得対象の画素値投影波形としたが、当該波形を微分して得られる、微分波形を比較する対象となる画素値投影波形として取得してもよい。例えばキー画像データとして複写文書を用いる場合、画像データに写真やドローイングのような中間調領域を含んでいると、その濃度値は大きく変化している場合が多く、その結果累算値系列からなる波形の波高値も安定しない場合が多い。このような場合でも累算値系列からなる波形の凹凸の様子は多くの場合維持されているので、微分波形を比較対象となる画素値投影波形として用いる方が好ましい場合も多いからである。

拡縮原点位置決定部２２は、キー画像データ又は蓄積画像データのいずれかを所定の拡縮方向に拡縮するアフィン変換を実行する場合に、当該アフィン変換によって生じる誤差を低減できるような拡縮の原点位置（拡縮原点位置）を決定する。ここでは拡縮方向は、投影波形取得部２１が取得した画素値投影波形を生成する際に画素値を累算した方向（投影方向）に対して、直交する方向であることとする。例えば図８（ａ）の例においては、画像データの垂直方向を拡縮方向とする。また、図８（ｂ）の例においては、画像データの水平方向を拡縮方向とする。この拡縮原点位置を基準とした位置座標を用いて、本実施形態に係る画像照合装置は、一方の画像データに拡縮を行って得られる画像データと他方の画像データとの比較を行う。

具体的に、例えば拡縮原点位置決定部２２は、拡縮の対象となる各画素までの距離が短くなるように、拡縮原点位置を決定する。このように拡縮原点位置を決定することで、本実施形態に係る画像照合装置は、後に拡縮率を当該距離に乗算することで得られる値を用いて比較を行う場合に、比較対象となる値の桁数が大きくなることを防ぐことができる。これにより、演算量を増やさずに拡縮の演算によって生じる誤差を低減でき、画像照合の精度を向上できる。

以下、拡縮原点位置を決定する方法のいくつかの例について、説明する。なお、以下の説明においては、拡縮を行う対象となる画像データはキー画像データであるとする。

一例として、拡縮原点位置決定部２２は、キー画像データの画像サイズに基づいて拡縮原点位置を決定する。具体的には、例えばキー画像データの拡縮方向における中心位置を拡縮原点位置として決定する。図３は、キー画像データと、当該キー画像データから生成された画素値投影波形の一例を表す説明図である。図３の例においては、画素値投影波形の投影方向はキー画像データの垂直方向であり、拡縮方向はキー画像データの水平方向であるものとする。この例において、例えば拡縮原点位置決定部２２は、画像データの拡縮方向における中心位置である図中において点Ｐａで表される位置を、拡縮原点位置として決定する。

また、拡縮原点位置決定部２２は、画像データ内において、画像を構成する画素（有意画素）が存在する範囲に基づいて、拡縮原点位置を決定してもよい。これにより、本実施形態に係る画像照合装置は、キー画像データを拡縮して得られる画像データと、蓄積画像データとを比較する場合に、画像を構成する各画素をより精度よく比較することができ、画像データ内において画像が偏在している場合であっても精度よく画像の照合を行うことができる。有意画素が存在する範囲は、例えば後述する画素値投影波形の立ち上がり位置によって決定できる。

また、拡縮対象であるキー画像データに対する画素値投影波形の波形に基づいて拡縮原点位置を決定してもよい。これにより、キー画像データに対する画素値投影波形を拡縮して得られる拡縮後画素値投影波形と、蓄積画像データに対する画素値投影波形と、を比較して照合対象画像データの一致度を算出する場合に、より誤差の少ない値を用いた比較を行うことができ、精度よく変換パラメタを算出することができる。

例えば拡縮原点位置決定部２２は、波形の両端部に最も近い立ち上がり位置によって規定される範囲（波形分布範囲）の中心位置を拡縮原点位置として決定する。ここで波形の両端部に最も近い立ち上がり位置は、画像データ内において有意画素が分布する範囲を規定する位置であって、例えば所定区間内の累算値の変化量が所定の値以上となるような位置である。あるいは、波形の両端部に最も近い画素値の累算値が所定の値以上となる位置であってもよい。例えば図３の例において、波形分布範囲の中心位置を拡縮原点位置とする場合、拡縮原点位置は図中において点Ｐｂで表される位置になる。このように波形分布範囲の中心位置を拡縮原点位置とすることで、キー画像データに対する画素値投影波形のうち波形分布範囲に含まれる波形を拡縮して得られる波形と、蓄積画像データに対する画素値投影波形と、を比較して照合対象画像データの一致度を算出する場合に、より誤差の少ない値を用いた比較を行うことができる。

あるいは、拡縮原点位置決定部２２は、画素値投影波形内での波形の変化が特徴的となる位置のうち、上述した波形分布範囲の中心位置に最も近い位置を拡縮原点位置として決定してもよい。ここで、波形の変化が特徴的となる位置としては、後述する位置情報取得部２３が取得する位置情報によって表される位置と同様に、累算値のピーク位置などを用いることができる。例えば図３の例において、波形分布範囲の中心位置に最も近いピーク位置を拡縮原点位置とする場合、拡縮原点位置は図中において点Ｐｃで表される位置になる。このように位置情報取得部２３が取得する位置情報の一つと同じ位置に拡縮原点位置を決定することで、キー画像データに対する画素値投影波形を拡縮した場合にピーク位置などの位置情報によって表される位置と、蓄積画像データに対する画素値投影波形の位置情報によって表される位置と、を比較して照合対象画像データの照合を行う場合に、全体として誤差の少ない値を用いて比較を行うことができるとともに、少なくとも一つは全く誤差の生じない値を用いて比較を行うことができる。

また、拡縮原点位置決定部２２は、画素値投影波形内での波形の変化が特徴的となる位置のうち、波形の両端部に最も近い位置によって規定される範囲の中心位置を拡縮原点位置として決定してもよい。これにより、キー画像データに対する画素値投影波形を拡縮した場合にピーク位置などの位置情報によって表される位置と、蓄積画像データに対する画素値投影波形の位置情報によって表される位置と、を比較して照合対象画像データの照合を行う場合に、誤差の少ない値を用いた比較を行うことができる。

位置情報取得部２３は、投影波形取得部２１が取得した各画素値投影波形に基づいて、当該画素値投影波形内での波形の変化が特徴的となる位置を表す複数の位置情報を取得する。この位置情報は、画像の特徴を表す画像特徴情報の一例であって、照合対象画像データの一致度が高くなるような変換パラメタの算出に用いられる。

波形の変化が特徴的となる位置としては、例えば累算値のピーク位置を用いることができる。累算値のピーク位置は、画素値投影波形の極値として算出できる。また、位置情報取得部２３は、波形の変化が特徴的となる位置として累算値の最大値や最小値、波形の変曲点などの位置、重心位置、累算値が所定値を取る位置などを用いてもよい。

ここで、例えば累算値のピーク位置を波形の変化が特徴的となる位置として用いる場合、全てのピーク位置の位置情報を取得しなくともよい。例えば画素値投影波形の高周波成分によって生じるピークは、画像データに含まれるノイズ等によって容易にその数や位置が変動してしまい、画像の特徴を反映していない場合もあり得る。そこで、位置情報取得部２３は、このようなピークを前述した特許文献１に記載された方法などによって除外したうえで、ピーク位置を表す位置情報を取得することとしてもよい。

位置情報取得部２３は、投影波形取得部２１と同様に、取得した画素値投影波形に対して演算を行って位置情報を取得してもよいし、あるいは予め画像データに対応づけて記憶部１２に記憶された位置情報を読み出すことで取得してもよい。一例として、図９に例示するような画素値投影波形に対してピーク位置を表す位置情報を取得する場合、位置情報取得部２３は、α，β及びγの位置を表す値をそれぞれ位置情報として取得する。

また、ここでは位置情報取得部２３は、位置情報の値として、拡縮原点位置決定部２２が決定した拡縮原点位置に対する相対的距離によって表された情報を取得することとする。これにより、以下に説明するようにキー画像データに対する位置情報と蓄積画像データに対する位置情報とを一致させるような変換パラメタを算出する際に、演算によって生じる誤差を低減することができ、変換パラメタの精度を向上できる。例えば位置情報取得部２３は、記憶部１２に記憶された位置情報が画像データの端点からの距離で表された値である場合、拡縮原点位置決定部２２が決定した拡縮原点位置の画像データの端点からの距離に基づいて、拡縮原点位置に対する相対的距離によって表された位置情報の値を算出できる。

直線式決定部２４は、照合対象画像データのそれぞれに基づいて取得した画像特徴情報に基づいて、一方の画像データに基づく画像特徴情報を他方の画像データに基づく画像特徴情報に一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を表す関係式を決定する。当該関係式は、拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間（変換パラメタ平面）上における直線を表す直線式となる。

ここで、拡縮率は、照合対象画像データ間で縮尺が変化していたり、読み取りを行う際に異なる解像度で読み取られて画像サイズが変化したりしている場合に、このような変化を補正するスケーリング処理に用いられるパラメタである。また、平行移動量は、読み取りの際の原稿の位置のずれ等により、画像データに含まれる各画素の全体の位置がずれている場合に、このような位置ずれを補正する平行移動処理に用いられるパラメタである。この変換パラメタを用いて、一方の画素値投影波形に対してスケーリング処理と平行移動処理とを含むアフィン変換処理を行ってから２つの画像データ又は画像データから得られる画素値投影波形を比較することで、本実施形態に係る画像照合装置は、元の画像データに対して拡大や縮小、また平行移動がされた画像データからでも、類似する画像データの検索を行うことができる。ここで、アフィン変換処理の対象となる画像データは、キー画像データであってもよいし、蓄積画像データであってもよい。

具体例として、直線式決定部２４は、位置情報取得部２３が取得した、キー画像データに対する複数の位置情報と、蓄積画像データに対する複数の位置情報と、からそれぞれ１つずつ位置情報を選択してなる位置情報ペアを複数生成する。そして、当該各位置情報ペアを構成する２つの位置情報を一致させるような変換パラメタが採りうる値の集合を表す直線式を、それぞれ決定する。

具体的に、直線式決定部２４が直線式を決定する処理の例について、以下に説明する。ここでは、拡縮率を変数ｋ、平行移動量を変数ｓで表し、キー画像データから得られた画素値投影波形のピーク位置の位置情報をｐ１，ｐ２，ｐ３とする。また、蓄積画像データから得られた画素値投影波形のピーク位置の位置情報をｑ１，ｑ２，ｑ３とする。

まず直線式決定部２４は、複数の位置情報ペアを生成する。直線式決定部２４は、照合対象であるキー画像データから得られた位置情報と、蓄積画像データから得られた位置情報と、からそれぞれ１つずつ位置情報を選択することで位置情報ペアを生成できる。ここで、直線式決定部２４は可能な全ての組み合わせについて、位置情報ペアを生成してもよいし、所定の条件を満たす位置情報ペアのみを選択することとしてもよい。例えば、２つの位置情報の差が所定の値以上の場合、位置情報ペアとして選択しないこととしてもよい。上述した例においては、直線式決定部２４は、位置情報ペアとして例えば（ｐ１，ｑ１），（ｐ１，ｑ２），（ｐ１，ｑ３），（ｐ２，ｑ１），（ｐ２，ｑ２），（ｐ２，ｑ３），（ｐ３，ｑ１），（ｐ３，ｑ２）及び（ｐ３，ｑ３）の９つのペアを生成する。なお、直線式決定部２４は、同じ種別の特徴的な位置を表す位置情報を組み合わせて位置情報ペアを生成する必要がある。すなわち、例えば凸ピークと凹ピークのそれぞれについての位置情報を位置情報取得部２３が取得している場合、直線式決定部２４は、凸ピークの位置情報は凸ピークの位置情報と、凹ピークについては凹ピークの位置情報と、それぞれ組み合わせて位置情報ペアを生成する。

この複数の位置情報ペアに基づいて、当該各位置情報ペアに属する２つの位置情報を一致させるような変換パラメタが採りうる値の集合を表す直線式を、それぞれ決定できる。ここで、位置情報ペアに含まれるキー画像データの位置情報をｐｉ、蓄積画像データの位置情報をｑｉとする。キー画像データの画素値投影波形に対して拡縮率ｋ及び平行移動量ｓを用いてスケーリング処理及び平行移動処理を行った結果、キー画像データの画素値投影波形におけるピーク位置ｐｉと、蓄積画像データの画素値投影波形におけるピーク位置ｑｉとが一致したとする。この場合、このような拡縮率ｋ及び平行移動量ｓは、以下の関係式を満たすこととなる。
ｑｉ＝ｋ・ｐｉ＋ｓ
この関係式を変形することにより、以下のような変換パラメタ平面上における直線式が得られる。
ｓ＝−ｐｉ・ｋ＋ｑｉ
直線式決定部２４は、生成した各位置情報ペアに対して、このような直線式を決定する。

このようにして決定した複数の直線式を変換パラメタ平面上に描画した場合、理想的には多くの直線が交差する座標が求められる。この座標値（ｋ，ｓ）を用いて一方の画素値投影波形に対してアフィン変換を行えば、類似する２つの画像から生成された２つの画素値投影波形において、各ピーク位置は一致するはずである。しかしながら、演算の誤差等の要因により、各直線式から求められるｋやｓは必ずしも一致しない。そこで、複数の直線式に基づいて、２つの画像データの一致度が高くなるような変換パラメタを推測する必要がある。以降に説明する単位領域画定部２５、候補単位領域選択部２６、交点群決定部２７、及び変換パラメタ算出部２８が、直線式決定部２４が決定した直線式に基づいて、このような変換パラメタを算出する。

単位領域画定部２５は、変換パラメタ平面の少なくとも一部の範囲を所定の大きさに分割することによって、複数の単位領域（セル）を画定する。これにより、単位領域画定部２５は、変換パラメタ平面を量子化することができる。例えば単位領域画定部２５は、変換パラメタ平面を拡縮率及び平行移動量の座標軸方向に沿ってそれぞれ所定の長さごとに分割することで、所定の大きさの矩形領域からなる単位領域に変換パラメタ平面を分割する。図４は、このような単位領域に分割された変換パラメタ平面の例を示す説明図である。図４の例においては、平面上の実線で表された直線は直線式決定部２４が決定した直線式により表される直線の例を示しており、図中の二点鎖線が各単位領域の境界線を表している。また、図４の例においては、各矩形領域の拡縮率ｋの座標軸方向の長さをＬｋ、平行移動量ｓの座標軸方向の長さをＬｓとしている。

ここで、単位領域画定部２５は、単位領域の大きさをキー画像データと蓄積画像データとの少なくとも一方の解像度に基づいて決定するものとする。例えば単位領域画定部２５は、照合対象であるキー画像データ及び蓄積画像データのそれぞれの解像度のうち、より低いほうの解像度（最低解像度）に基づいて、単位領域の大きさを決定する。具体的には、最低解像度が高い場合には単位領域を小さくするように、また最低解像度が低い場合には単位領域を大きくするように、単位領域の各辺の長さＬｋ及びＬｓを決定する。

このように変換パラメタ平面を照合対象画像データの解像度に基づく大きさの単位領域に分割することで、本実施形態に係る画像照合装置は、複数の単位領域から求めるべき変換パラメタが存在すると推測される候補単位領域を選択して変換パラメタを算出する場合に、画像データの解像度に応じた精度で変換パラメタを算出できる。これにより、直線式決定部２４が決定した直線式のうち、ノイズ等によって生じた直線式による影響を低減でき、画像データの解像度に応じた精度で画像の照合を行うことができる。

Ｌｋ及びＬｓの決定方法としては、例えば以下のような方法がある。すなわち、本実施形態に係る画像照合装置は、解像度とＬｋ及びＬｓの値とを対応づけて記憶部１２に記憶しておく。そして、単位領域画定部２５は、照合対象画像データの最低解像度に対応づけられたＬｋ及びＬｓの値を記憶部１２から読み出すことで、単位領域の大きさを決定する。あるいは、単位領域画定部２５は、最低解像度を表す値にそれぞれ所定の係数を乗算することによって、Ｌｋ及びＬｓを決定してもよい。

なお、単位領域画定部２５は、照合対象画像データの画像サイズと、含まれる画素数と、から解像度を求めてもよい。また、例えば画像読み取り部１３に読み取らせることでキー画像データを取得した場合、画像読み取り時の倍率に応じて修正された解像度を用いて単位領域の大きさを決定してもよい。すなわち、例えば画像読み取り時に記録媒体上に形成された画像を拡大して読み取っている場合、拡大して得られた画像データの画素数がたとえ多くとも、読み取り時の画像読み取り部１３の解像度の制約によって、実際に画像データに含まれる情報量は見かけより少ないこととなる。そこで、画像読み取り時の倍率を考慮して画像データの解像度を修正することにより、実際に画像データに含まれる情報量に応じて単位領域の大きさを決定することができる。

また、単位領域画定部２５は、変換パラメタ平面上において所定の条件を満たす領域を、求めるべき変換パラメタが存在すると推定される候補領域として決定し、当該決定した候補領域を複数の単位領域に分割することとしてもよい。具体例として、単位領域画定部２５は、例えば特許文献１において示されるように、投影波形取得部２１が取得した画素値投影波形の幅や重心の情報に基づいて、候補領域を決定する。この候補領域に含まれる範囲内のみを単位領域に分割することで、本実施形態に係る画像照合装置は変換パラメタ算出の際の演算量を低減でき、また誤った変換パラメタを求めるべき変換パラメタとして決定することを避けることができる。

候補単位領域選択部２６は、直線式決定部２４が決定した複数の直線式により表される直線と、単位領域画定部２５が画定した各単位領域と、の変換パラメタ平面上の位置関係に基づいて、複数の単位領域の中から少なくとも一つの候補単位領域を選択する。

具体例として、候補単位領域選択部２６は、単位領域画定部２５が画定した各単位領域を通過する直線に基づいて候補単位領域を選択する。例えば交点群決定部２７は、通過する直線の数が最も多い単位領域を候補単位領域として選択する。あるいは、直線の数が多い順に所定の数の単位領域を候補単位領域として選択してもよい。一例として、図４の例においては、最も多くの直線が通過する単位領域である、図中において斜線で表される単位領域を、候補単位領域として選択する。

交点群決定部２７は、候補単位領域選択部２６が選択した候補単位領域内にある、直線式決定部２４が決定した複数の直線式から得られる交点に対して、当該各交点を分類するクラスタリング処理を実行する。ここで、クラスタリング処理の方法としては、例えば階層的クラスタリングや、Ｋ平均法などの公知の方法を用いることができる。なお、交点群決定部２７は、直線式決定部２４が決定した複数の直線式から得られる全ての交点に対して、クラスタリング処理を実行してもよい。この場合には、単位領域画定部２５及び候補単位領域選択部２６はなくともよい。

図５は、変換パラメタ平面上の候補単位領域において、クラスタリング処理によって交点を分類した結果得られる交点群（クラスタ）の一例を表す説明図である。この例においては、候補単位領域内に６つの交点がある。そして、この６つの交点は、クラスタリング処理によって、相対的に距離の近い交点ごとに３つの交点群に分類される。図中の二点差線は、クラスタリング処理によって得られる３つの交点群Ｇ１，Ｇ２及びＧ３を表している。

さらに交点群決定部２７は、分類した結果得られる交点群の中から、求めるべき変換パラメタの位置座標に対応すると考えられる少なくとも一つの交点群を候補交点群として決定する。一例として、交点群決定部２７は、最も多数の交点を含む交点群を候補交点群に決定する。例えば図５の例においては、最も多数の交点を含む交点群である交点群Ｇ１を候補交点群に決定する。あるいは、交点群決定部２７は、交点の数の多い順に所定の数の交点群を候補交点群に決定してもよい。さらに、変換パラメタ平面上において交点群が占める範囲が所定の大きさ以上の場合には、候補交点群から除外することとしてもよい。例えば、交点群に含まれる各交点間の距離の最大値が所定の値を超える場合には、候補交点群として選択しないこととする。

なお、複数の候補単位領域に含まれる交点に対してクラスタリング処理を実行する場合、交点群決定部２７は、各候補単位領域に含まれる交点に対してそれぞれ別々にクラスタリング処理を実行し、複数の交点群を決定してもよい。あるいは、複数の候補単位領域のうち、隣接する候補単位領域については、当該隣接する候補単位領域に含まれる全ての交点に対してクラスタリング処理を実行してもよい。

一例として、図６に示す二つの隣接する候補単位領域Ａ１及びＡ２の例について説明する。ここで、候補単位領域Ａ１及びＡ２のそれぞれに含まれる交点について、別々にクラスタリング処理を実行した場合に、例えば候補単位領域Ａ１に含まれる各交点に基づいて、交点群Ｇ４及びＧ５が得られたとする。また、候補単位領域Ａ２に含まれる各交点に基づいて、交点群Ｇ６，Ｇ７及びＧ８が得られたとする。ここで、各交点群の重心位置を算出し、当該算出した重心位置間の距離をそれぞれ算出する。そして、重心位置間の距離が所定の値以下になる交点群については、一つの交点群であるものとみなす。図６の例においては、例えばＧ５とＧ６を一つの交点群Ｇ９として統合する。これにより、単位領域により分割されてしまった交点群についても、一つの交点群とすることができる。一方、隣接する候補単位領域に含まれる全ての交点に対してクラスタリング処理を実行する場合、クラスタリング処理により、例えば交点群Ｇ４，Ｇ７，Ｇ８及びＧ９が得られたとする。この場合には、得られた交点群をそのまま用いて、候補交点群を決定すればよい。

以上説明したように、交点群決定部２７は、クラスタリング処理により求めるべき変換パラメタが存在すると推定される変換パラメタ平面上の位置を表すと考えられる交点を含んだ候補交点群を決定する。これにより、交点群決定部２７は変換パラメタ平面上にノイズとして生じてしまった交点を候補交点群から除外することできる。上記方法によれば、本実施形態に係る画像照合装置は２つの画像データの一致度が高くなるような変換パラメタを精度よく求めることができ、画像照合の精度を向上できる。

変換パラメタ算出部２８は、交点群決定部２７が決定した候補交点群に属する各交点の位置に基づいて、キー画像データと、蓄積画像データとの一致度が高くなる変換パラメタの値（拡縮率ｋ及び平行移動量ｓの値）を算出する。具体的には、例えば候補交点群に属する各交点の重心位置を算出することにより、変換パラメタの値を決定する。なお、交点群決定部２７が複数の交点群を候補交点群として決定した場合には、それぞれの候補交点群に基づいて、複数の変換パラメタの値を算出する。

なお、上記説明においては交点群決定部２７が決定した候補交点群に基づいて変換パラメタを算出することとしたが、これによらずに候補単位領域選択部２６が選択した候補単位領域の位置又は候補単位領域に含まれる各交点に基づいて変換パラメタの値を算出することとしてもよい。例えば、変換パラメタ算出部２８は、候補単位領域の中心位置の位置座標によって表されるｋ及びｓの値を、求めるべき変換パラメタの値として算出してもよい。また、候補単位領域に含まれる全ての交点の重心位置を算出することにより、変換パラメタの値を決定してもよい。これらの場合、交点群決定部２７はなくともよい。

画像照合部２９は、変換パラメタ算出部２８が算出した変換パラメタを用いて、キー画像データと蓄積画像データとの間の画像照合処理を行う。例えば画像照合部２９は、変換パラメタ算出部２８が算出した変換パラメタが複数ある場合、それぞれの変換パラメタに基づいてキー画像データの画素値投影波形に対してアフィン変換処理を行う。次いで、アフィン変換されたキー画像データの画素値投影波形と、蓄積画像データの画素値投影波形と、の相関値を、照合対象画像データの一致度を表すパラメタとして算出する。そして、画像照合部２９は、当該算出した一致度が最も高くなる変換パラメタを、求めるべき変換パラメタとして決定する。

さらに、決定した変換パラメタによりキー画像データそのものに対するアフィン変換を行い、アフィン変換されたキー画像データと、蓄積画像データと、が類似するか否かをより詳細に判定することとしてもよい。ここで、画像照合部２９は、各照合対象画像データの垂直方向及び水平方向それぞれの画素値投影波形を比較して得られたそれぞれの方向についての変換パラメタを用いて、アフィン変換を実行することとしてもよい。あるいは、画像照合部２９は、アフィン変換されたキー画像データの画素値投影波形と、蓄積画像データの画素値投影波形と、の間の相関値が所定の条件を満たすか否かによって、直ちに２つの画像データが類似するか否かを判定してもよい。画像照合部２９が行う画像照合処理は、具体的には、例えば特許文献１に記載された方法により実現できる。

ここで、本実施形態に係る画像照合装置が実行する処理の例について、図７のフロー図に基づいて説明する。なお、このフローの例においては、蓄積画像データの水平方向及び垂直方向の画素値投影波形が、それぞれ予め記憶部１２に記憶されているものとする。

まず投影波形取得部２１が、画像読み取り部１３が読み取った画像の画像データをキー画像データとして取得する（Ｓ１）。そして、Ｓ１で取得したキー画像データに基づいて、水平方向及び垂直方向のいずれかを画素値投影波形を生成する際に投影を行う所定方向（投影方向）として決定する（Ｓ２）。さらに投影波形取得部２１は、Ｓ２で決定した方向について、キー画像データの画素値投影波形を生成することで、取得する（Ｓ３）。

次に、拡縮原点位置決定部２２が、Ｓ２で決定した投影方向と直交する拡縮方向における、拡縮原点位置を決定する（Ｓ４）。

次に、位置情報取得部２３が、記憶部１２に記憶された照合対象となる蓄積画像データの画素値投影波形と、Ｓ３で取得したキー画像データの画素値投影波形と、に基づいて、それぞれのピーク位置を表す位置情報を算出し、取得する（Ｓ５）。ここで、位置情報取得部２３は、Ｓ４で決定した拡縮原点位置を基準として、位置情報の値を算出することとする。次に、直線式決定部２４が、Ｓ５で取得した位置情報に基づいて複数の位置情報ペアを生成することで、直線式を決定する（Ｓ６）。

続いて、単位領域画定部２５が、キー画像データ及び蓄積画像データの解像度に基づいて、単位領域の大きさを決定し、変換パラメタ平面を複数の単位領域に分割する（Ｓ７）。さらに、候補単位領域選択部２６が、Ｓ７で画定された各単位領域と、Ｓ６で決定された直線式によって表される直線との位置関係に基づいて、候補単位領域を選択する（Ｓ８）。

続いて、交点群決定部２７が、Ｓ６で決定した各直線式に基づいて、当該直線式によって表される各直線の交点の位置座標を算出する（Ｓ９）。さらに、Ｓ８で選択された候補単位領域に含まれる交点の位置座標を、Ｓ９で算出した位置座標の中から選択する（Ｓ１０）。そして、Ｓ１０で選択した交点をクラスタリング処理により分類し、分類して得られる交点群の中から候補交点群を決定する（Ｓ１１）。

次に、変換パラメタ算出部２８が、Ｓ１１で決定した候補交点群に基づいて、変換パラメタを算出する（Ｓ１２）。さらに、画像照合部２９が、Ｓ１２で算出した変換パラメタに基づいて変換処理を実行したキー画像データと、蓄積画像データとの間の一致度を算出する（Ｓ１３）。このＳ１２及びＳ１３の処理は、Ｓ１１で決定した候補交点群が複数ある場合には、全ての候補交点群について繰り返される。

そして、画像照合部２９は、Ｓ１１で決定した全ての候補交点群についてＳ１３で算出された一致度を比較して最も高い一致度を選択し、この一致度に基づいて画像が類似するか否かの判定を行い、結果を出力する（Ｓ１４）。例えば、一致度が所定の値以下の場合、画像データは類似しないと判定し、キー画像データと蓄積画像データとの間の照合処理を終了する。一方、類似すると判定した場合には、照合対象として蓄積画像データを検索結果候補に含めて、照合処理を終了する。この処理を記憶部１２に記憶された全ての画像データについて行うことで、本実施形態に係る画像照合装置はキー画像データに類似する画像データを検索結果候補として抽出し、表示部１４に表示させるなどの方法で検索結果としてユーザに提示できる。

なお、本発明は上記実施形態に限定されるものではない。例えば本発明の実施の形態に係る画像照合装置は、照合対象となる画像データとして、記憶部１２に予め蓄積された画像データや画像読み取り部１３によって読み取られた画像データだけでなく、例えば通信ネットワーク経由で取得した画像データなど、種々の画像データを用いることができる。

また、上記説明においては画像特徴情報として画素値投影波形に基づいて得られる位置情報を用いる場合の例について説明したが、本発明の実施の形態において用いることのできる画像特徴情報はこれに限られない。例えば、画像データ上から所定の条件に基づいて選択された特徴点の位置座標など、照合対象画像データ間で対応付けができる位置に関する情報を用いることができる。本発明の実施の形態に係る画像照合装置は、この画像特徴情報を比較することで、アフィン変換された一方の画像データと他方の画像データとの一致度が高くなる変換パラメタを算出することができる。

本発明の実施の形態に係る画像照合装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像照合装置の機能の一例を表す機能ブロック図である。 拡縮原点位置のいくつかの例を表す説明図である。 単位領域に分割された変換パラメタ平面の例を表す説明図である。 変換パラメタ平面上において、交点群に分類された交点の一例を表す説明図である。 変換パラメタ平面上の二つの隣接する候補単位領域において、交点群に分類された交点の一例を表す説明図である。 本発明の実施の形態に係る画像照合装置によって実行される処理の一例を示すフロー図である。 画像データから累算値を算出する際の所定方向の一例を表す説明図である。 画像データから生成される画素値投影波形の一例を表す説明図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ 画像読み取り部、１４ 表示部、２１ 投影波形取得部、２２ 拡縮原点位置決定部、２３ 位置情報取得部、２４ 直線式決定部、２５ 単位領域画定部、２６ 候補単位領域選択部、２７ 交点群決定部、２８ 変換パラメタ算出部、２９ 画像照合部。

Claims (4)

1. 第１画像データと第２画像データとの照合を行う画像照合装置であって、
   前記第１及び第２画像データのそれぞれに対し、当該画像データに含まれる各画素の画素値を所定の拡縮方向と直交する方向に累算して得られる画素値投影波形を取得する画素値投影波形取得手段と、
   前記取得した第１画像データの画素値投影波形における波形の両端部に最も近い立ち上がり位置によって規定される範囲の中心位置を、前記第１画像データを前記拡縮方向に拡縮するアフィン変換を実行する際の拡縮の原点位置として決定する拡縮原点位置決定手段と、
   前記決定した原点位置を基準とした拡縮によって、前記第１画像データから得られる画素値投影波形の波形が特徴的となる位置と、前記第２画像データから得られる画素値投影波形の波形が特徴的となる位置との一致度が高くなるように、前記第１画像データに対する拡縮率を算出する変換パラメタ算出手段と、
   を含み、
   前記算出した拡縮率で拡縮した前記第１画像データと前記第２画像データとの照合処理を行うことを特徴とする画像照合装置。
2. 第１画像データと第２画像データとの照合を行う画像照合装置であって、
   前記第１及び第２画像データのそれぞれに対し、当該画像データに含まれる各画素の画素値を所定の拡縮方向と直交する方向に累算して得られる画素値投影波形を取得する画素値投影波形取得手段と、
   前記取得した第１画像データの画素値投影波形内での波形の変化が特徴的となる位置のうち、当該画素値投影波形における波形の両端部に最も近い立ち上がり位置によって規定される範囲の中心位置に最も近い位置を、前記第１画像データを前記拡縮方向に拡縮するアフィン変換を実行する際の拡縮の原点位置として決定する拡縮原点位置決定手段と、
   前記決定した原点位置を基準とした拡縮によって、前記第１画像データから得られる画素値投影波形の波形が特徴的となる位置と、前記第２画像データから得られる画素値投影波形の波形が特徴的となる位置との一致度が高くなるように、前記第１画像データに対する拡縮率を算出する変換パラメタ算出手段と、
   を含み、
   前記算出した拡縮率で拡縮した前記第１画像データと前記第２画像データとの照合処理を行う
   ことを特徴とする画像照合装置。
3. 第１及び第２画像データのそれぞれに対し、当該画像データに含まれる各画素の画素値を所定の拡縮方向と直交する方向に累算して得られる画素値投影波形を取得する画素値投影波形取得手段、
   前記取得した第１画像データの画素値投影波形における波形の両端部に最も近い立ち上がり位置によって規定される範囲の中心位置を、前記第１画像データを前記拡縮方向に拡縮するアフィン変換を実行する際の拡縮の原点位置として決定する拡縮原点位置決定手段、
   前記決定した原点位置を基準とした拡縮によって、前記第１画像データから得られる画素値投影波形の波形が特徴的となる位置と、第２画像データから得られる画素値投影波形の波形が特徴的となる位置との一致度が高くなるように、前記第１画像データに対する拡縮率を算出する変換パラメタ算出手段、及び
   前記算出した拡縮率で拡縮した前記第１画像データと前記第２画像データとの照合処理を行う手段、
   としてコンピュータを機能させることを特徴とするプログラム。
4. 第１及び第２画像データのそれぞれに対し、当該画像データに含まれる各画素の画素値を所定の拡縮方向と直交する方向に累算して得られる画素値投影波形を取得する画素値投影波形取得手段、
   前記取得した第１画像データの画素値投影波形内での波形の変化が特徴的となる位置のうち、当該画素値投影波形における波形の両端部に最も近い立ち上がり位置によって規定される範囲の中心位置に最も近い位置を、前記第１画像データを前記拡縮方向に拡縮するアフィン変換を実行する際の拡縮の原点位置として決定する拡縮原点位置決定手段、
   前記決定した原点位置を基準とした拡縮によって、前記第１画像データから得られる画素値投影波形の波形が特徴的となる位置と、前記第２画像データから得られる画素値投影波形の波形が特徴的となる位置との一致度が高くなるように、前記第１画像データに対する拡縮率を算出する変換パラメタ算出手段、及び
   前記算出した拡縮率で拡縮した前記第１画像データと前記第２画像データとの照合処理を行う手段、
   としてコンピュータを機能させることを特徴とするプログラム。

Images