JP6213950B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムにかかり、特に、基準画像中の注目点に対応する評価画像の対応点を検出するための画像処理装置、画像処理方法、及び画像処理プログラムに関する。

基準となる基準画像中の注目点に対応する評価画像中の対応点を探索する対応点探索技術として、画像マッチングに基づく技術が知られている。画像マッチングに基づく対応点探索技術としては、特許文献１や非特許文献１に示されるような局所記述子を用いる手法、非特許文献２〜３に示されるような領域ベースの手法、非特許文献４に示すような特徴ベースマッチングと領域ベースマッチングを組み合わせた手法等がある。

特開平９−３３０４０４号公報

Koen E.A. van de Sande, Theo Gevers, and Cees G.M. Snoek "Evaluating Color Descriptors for Object and Scene Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 9, pp. 1582 − 1596, Sep., 2010 M. Shimizu, and M. Okutomi"Sub-pixel estimation error cancellation on area-based matching",International Journal of Computer Vision, 63, 3, pp. 207−224, 2005 長嶋聖、他"位相限定相関法に基づくサブピクセル画像マッチングの高性能化",計測自動制御学会東北支部 第218回研究集会, 資料番号 218-15, (2004.10.9). 伊藤康一, 高橋徹, 青木孝文"高精度な画像マッチング手法の検討", 第25回 信号処理シンポジウム, No. C5−1, pp. 547 − 552, Nov., 2010.

特許文献１及び非特許文献１に記載の手法では、ＲＧＢ画像（３チャンネル画像）を入力としているが、２バンド画像や、チャンネル数が４以上のマルチバンド画像の入力には対応していない。また入力された全てのカラー情報を等しく扱っているため、特徴が少ないチャンネルの画像も使用することにより対応点検出精度が低下する。また同手法をそのままマルチバンド画像に拡張した場合、チャンネル数と同じだけの次元数を持つ多次元データの扱いが必要となるため、計算機に要求される必要なメモリ量や計算量の増大につながる場合がある。

また非特許文献２〜４に記載の手法は、入力が白黒画像であり、またはカラー画像を入力とした場合でも白黒画像に変換してから処理を行っているため、色情報を活用することで、更なる対応点検出精度向上の余地が残されている。

本発明は上記問題点を考慮してなされたものであり、入力される画像が、任意のチャンネル数の画像であっても適用可能であり、対応点の検出精度を向上することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理装置であって、入力された基準画像を予め定められた各チャンネルの単色画像に分解する第１カラーチャンネル分解手段と、入力された評価画像を前記予め定められた各チャンネルの単色画像に分解する第２カラーチャンネル分解手段と、各チャンネル毎に設けられた画像間類似度評価関数生成処理手段であって、前記基準画像の前記チャンネルの単色画像を画像の特徴量を表す予め定められたデータ形式に変換して出力する第１画像変換手段、前記評価画像の前記チャンネルの単色画像を前記予め定められたデータ形式に変換して出力する第２画像変換手段、前記第１カラーチャンネル分解手段によって分解された前記基準画像の前記チャンネルの単色画像に基づいて、特徴量の重み付けを行うための重み係数を算出して出力する重み係数算出手段、及び前記第１画像変換手段から入力された前記基準画像の前記チャンネルの単色画像の変換結果と前記第２画像変換手段から入力された前記評価画像の前記チャンネルの単色画像の変換結果と前記重み係数算出手段によって算出された前記チャンネルの重み係数とに基づいて、前記基準画像の前記チャンネルの単色画像と前記評価画像の前記チャンネルの単色画像とを比較した比較結果を表す重み付けされた類似度評価関数を生成する画像間類似度評価関数生成手段を有する画像間類似度評価関数生成処理手段と、前記画像間類似度評価関数生成処理手段の各々で生成された各チャンネルの類似度評価関数を統合し、統合した類似度評価関数を出力する画像間類似度評価関数統合手段と、前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力する対応点検出手段と、を備える。
また、上記目的を達成するために、本発明の画像処理装置は、基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理装置であって、入力された基準画像を予め定められた各チャンネルの単色画像に分解する第１カラーチャンネル分解手段と、入力された評価画像を前記予め定められた各チャンネルの単色画像に分解する第２カラーチャンネル分解手段と、前記基準画像及び前記評価画像の各画像に対して設けられた画像間類似度評価値算出処理手段であって、前記画像の前記チャンネルの単色画像の特徴を表す特徴量を計算して出力する、各チャンネル毎に設けられた画像評価値算出手段、及び各チャンネル毎の前記画像評価値算出手段から入力された前記画像の前記チャンネルの単色画像の特徴量を統合した画像評価値を算出して出力する統合画像評価値算出手段を有する画像間類似度評価値算出処理手段と、前記基準画像について算出された前記画像評価値と前記評価画像について算出された前記画像評価値とを比較した比較結果を表す類似度評価関数を生成して出力する画像間類似度評価関数生成手段と、前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力する対応点検出手段と、を備える。
この本発明の画像処理装置は、前記基準画像に対して設けられた画像間類似度評価値算出処理手段は、各チャンネルについて、前記第１カラーチャンネル分解手段によって分解された前記基準画像の前記チャンネルの単色画像に基づいて、特徴量の重み付けを行うための重み係数を算出して出力する重み係数算出手段をさらに備え、前記基準画像に対して設けられた前記統合画像評価値算出手段は、前記重み係数算出手段によって算出された各チャンネルの重み係数を用いて、前記基準画像の各チャンネルの単色画像の特徴量を統合した画像評価値を算出してもよい。

また、本発明の画像処理装置に入力される前記基準画像は、前記注目点を含み、かつ、全体基準画像の部分画像であり、入力される前記評価画像は、全体評価画像から、前記基準画像の大きさに応じて切り出された前記全体評価画像の部分画像であり、前記全体評価画像の部分画像の切り出し位置を繰り返し変更して前記評価画像を変更し、前記基準画像と前記評価画像との比較を繰り返し行うことにより、前記基準画像中の注目点に対応する、前記全体評価画像中の対応点を検出するようにしてもよい。

また、本発明の画像処理装置は、入力された前記基準画像を予め定められた色空間の画像に変換して出力する第１色空間変換手段と、入力された前記評価画像の各々を予め定められた色空間の画像に変換して出力する第２色空間変換手段と、をさらに備え、前記第１カラーチャンネル分解手段は、前記第１色空間変換手段によって変換された前記予め定められた色空間の基準画像を前記予め定められた各チャンネルの単色画像に分解し、前記第２カラーチャンネル分解手段は、前記第２色空間変換手段によって変換された前記予め定められた色空間の評価画像を前記予め定められた各チャンネルの単色画像に分解するようにしてもよい。

また、本発明の画像処理装置は、前記第１カラーチャンネル分解手段によって分解された前記予め定められた各チャンネルの単色画像のうち、一部の各チャンネルの単色画像を選択する第１カラーチャンネル選択手段と、前記第２カラーチャンネル分解手段によって分解された前記予め定められた各チャンネルの単色画像のうち、前記一部の各チャンネルの単色画像を選択する第２カラーチャンネル選択手段と、を更に備えてもよい。

本発明の画像処理方法は、基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理方法であって、第１カラーチャンネル分解手段により、入力された基準画像を予め定められた各チャンネルの単色画像に分解するステップと、第２カラーチャンネル分解手段により、入力された評価画像を前記予め定められた各チャンネルの単色画像に分解するステップと、各チャンネル毎に設けられた画像間類似度評価関数生成処理手段であって、前記基準画像の前記チャンネルの単色画像を画像の特徴量を表す予め定められたデータ形式に変換して出力する第１画像変換手段、前記評価画像の前記チャンネルの単色画像を前記予め定められたデータ形式に変換して出力する第２画像変換手段、前記第１カラーチャンネル分解手段によって分解された前記基準画像の前記チャンネルの単色画像に基づいて、特徴量の重み付けを行うための重み係数を算出して出力する重み係数算出手段、及び前記第１画像変換手段から入力された前記基準画像の前記チャンネルの単色画像の変換結果と前記第２画像変換手段から入力された前記評価画像の前記チャンネルの単色画像の変換結果と前記重み係数算出手段によって算出された前記チャンネルの重み係数とに基づいて、前記基準画像の前記チャンネルの単色画像と前記評価画像の前記チャンネルの単色画像とを比較した比較結果を表す重み付けされた類似度評価関数を生成する画像間類似度評価関数生成手段を有する画像間類似度評価関数生成処理手段により重み付けされた類似度評価関数を出力するステップと、前記画像間類似度評価関数生成処理手段の各々で生成された各チャンネルの類似度評価関数を統合し、統合した類似度評価関数を出力する画像間類似度評価関数統合手段の各手段により、統合した類似度評価関数を出力するステップと、対応点検出手段により、前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力するステップと、を備える。
また、本発明の画像処理方法は、基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理方法であって、第１カラーチャンネル分解手段により、入力された基準画像を予め定められた各チャンネルの単色画像に分解するステップと、第２カラーチャンネル分解手段により、入力された評価画像を前記予め定められた各チャンネルの単色画像に分解するステップと、前記基準画像及び前記評価画像の各画像に対して設けられた画像間類似度評価値算出処理手段であって、前記画像の前記チャンネルの単色画像の特徴を表す特徴量を計算して出力する、各チャンネル毎に設けられた画像評価値算出手段、及び各チャンネル毎の前記画像評価値算出手段から入力された前記画像の前記チャンネルの単色画像の特徴量を統合した画像評価値を算出して出力する統合画像評価値算出手段を有する画像間類似度評価値算出処理手段により画像評価値を算出して出力するステップと、前記基準画像について算出された前記画像評価値と前記評価画像について算出された前記画像評価値とを比較した比較結果を表す類似度評価関数を生成して出力する画像間類似度評価関数生成手段により類似度評価関数を出力するステップと、対応点検出手段により、前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力するステップと、を備える。

本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置の各手段として機能させるためのものである。

本発明の画像処理装置、画像処理方法、及び画像処理プログラムによれば、入力される画像が任意のチャンネル数の画像であっても適用可能であり、対応点の検出精度を向上することができる、という効果が得られる。

第１の手法（第１の実施の形態）における対応点の探索を説明するための説明図である。 第１の実施の形態の実施例１−１の対応点検出装置の概略構成の一例を示す構成図である。 第１の実施の形態の実施例１−１における対応点検出処理の流れの一例を示すフローチャートである。 第１の実施の形態の実施例１−２の対応点検出装置の概略構成の一例を示す構成図である。 第１の実施の形態の実施例１−２における対応点検出処理の流れの一例を示すフローチャートである。 第１の実施の形態の実施例１−３の対応点検出装置の概略構成の一例を示す構成図である。 第１の実施の形態の実施例１−３における対応点検出処理の流れの一例を示すフローチャートである。 第１の実施の形態の実施例１−４の画像間類似度評価関数生成処理部の概略構成の一例を示す構成図である。 第１の実施の形態の実施例１−４における対応点検出処理の流れの一例を示すフローチャートである。 第２の手法（第２の実施の形態）における対応点の探索を説明するための説明図である。 第２の実施の形態の実施例２−１の対応点検出装置の概略構成の一例を示す構成図である。 第２の実施の形態の実施例２−１における対応点検出処理の流れの一例を示すフローチャートである。 第２の実施の形態の実施例２−２の対応点検出装置の概略構成の一例を示す構成図である。 第２の実施の形態の実施例２−２における対応点検出処理の流れの一例を示すフローチャートである。 第２の実施の形態の実施例２−３の画像間類似度評価値算出処理部の概略構成の一例を示す構成図である。 第２の実施の形態の実施例２−３における対応点検出処理の流れの一例を示すフローチャートである。 第２の実施の形態の実施例２−４の画像間類似度評価値算出処理部の概略構成の一例を示す構成図である。 第２の実施の形態の実施例２−４における対応点検出処理の流れの一例を示すフローチャートである。 第３の実施の形態の画像処理装置の概略構成の一例を示す構成図である。 第４の実施の形態の画像処理装置の概略構成の一例を示す構成図である。 従来の対応点検出装置の概略構成の一例を示す構成図である。 従来の対応点検出装置の概略構成の一例を示す構成図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。以下では、基準画像中の基準となる注目点に対応する評価画像中の点を「対応点」という。本実施の形態の対応点検出装置は、基準となる基準画像中の注目点に対応する評価画像中の対応点を検出し、当該対応点の座標を出力する機能を有する画像処理装置である。なお、基準画像及び評価画像を総称する場合は、単に「画像」という場合がある。

まず、本実施の形態の対応点検出装置との比較のため、比較例として従来の対応点検出装置について説明する。図２１及び図２２には、従来の対応点検出装置の概略構成の一例を表す構成図を示す。図２１は、対応点検出装置の処理対象となる基準画像及び評価画像が白黒画像（１チャンネル画像）の場合を示しており、図２２は、基準画像及び評価画像がカラー画像（ＲＧＢ画像・３チャンネル画像）の場合を示している。

従来の対応点検出装置１００は、いずれも、基準画像が入力される画像入力部１２０_Ａ、評価画像が入力される画像入力部１２０_Ｂ、画像間類似度評価関数生成処理部１２４、及び対応点検出部１３４を備えている。さらに、基準画像及び評価画像がカラー画像の場合の従来の対応点検出装置１１０は、カラー画像である基準画像及び評価画像から白黒画像を生成する白黒画像生成部１２１を備えている。

また、対応点検出装置１００及び対応点検出装置１１０の画像間類似度評価関数生成処理部１２４は、画像変換部１２６、画像変換部１２８、及び画像間類似度評価関数生成部１３０を備えている。

対応点検出装置１００では、画像入力部１２０_Ａに入力された基準画像は、画像変換部１２６に引き渡される。また、画像入力部１２０_Ｂに入力された評価画像は、画像変換部１２８に引き渡される。一方、対応点検出装置１１０では、白黒画像生成部１２１で基準画像及び評価画像をカラー画像から白黒画像に変換した後、基準画像は、画像変換部１２６に引き渡され、評価画像は、画像変換部１２８に引き渡される。

画像変換部１２６では、入力された基準画像の特徴を表す成分の画像を生成する、または特徴量等を計算して、基準画像の特徴量を、画像間類似度評価関数生成部１３０へ出力する。画像変換部１２８では、入力された評価画像の特徴を表す成分の画像を生成する、もしくは特徴量等を計算して、評価画像の特徴量を、画像間類似度評価関数生成部１３０へ出力する。画像変換部１２６及び画像変換部１２８の具体的一例としては、位相画像を生成する位相画像生成部が挙げられる。

画像間類似度評価関数生成部１３０は、基準画像の特徴を表す成分の画像と評価画像の特徴を表す成分の画像とを比較した比較結果、または基準画像の特徴量と評価画像の特徴量とを比較した比較結果を表す類似度評価関数を出力する。例えば、基準画像の特徴量及び評価画像の特徴量同士の演算を行うことにより得られた、基準画像と評価画像との類似度を評価した類似度評価関数を対応点検出部１３４へ出力する。画像間類似度評価関数生成部１３０の具体的一例としては、位相限定相関関数を生成する位相限定相関関数生成部が挙げられる。

対応点検出部１３４は、画像間類似度評価関数生成部１３０から入力された類似度評価関数に基づいて、評価画像中の対応点の検出を行い、対応点が検出された場合はその座標を出力し、対応点が検出されなかった場合は、その旨を示す情報を出力する。

このように、従来の対応点検出装置１００及び対応点検出装置１１０では、処理対象とする画像は、白黒画像または、ＲＧＢの３チャンネルのカラー画像であり、また、対応点検出装置１１０では、入力されたカラー画像を一端、白黒画像に変換しており、ＲＧＢの色情報が活用されていなかったため、対応点検出精度が不十分である場合があった。

これに対して本実施の形態の対応点検出装置では、入力される画像が任意のチャンネル数の画像であっても適用でき、対応点検出精度を向上することができる。本実施の形態の対応点検出装置では、以下の第１の手法及び第２の手法により、対応点の検出を行っている。第１の手法では、図１に示すように、基準画像２全体と評価画像４全体とを照合することにより、対応点の検出を行う。そのため、対応点検出装置には、基準画像２及び評価画像４が入力される。第２の手法では、図１０に示すように、全体基準画像５内の注目点を中心とした小領域画像６を基準画像とし、全体評価画像７内の小領域画像８を評価画像として、両画像を照合（比較）することにより、対応点の検出を行う処理を、小領域画像８の位置を全体評価画像７内で移動させながら繰り返し行う。そのため、対応点検出装置には、基準画像である小領域画像６及び評価画像である小領域画像８が入力される。以下では、第１の手法を第１の実施の形態、第２の手法を第２の実施の形態、及びこれらの手法を組み合わせた例を第３の実施の形態及び第４の実施の形態として詳細に説明する。

（第１の実施の形態）
第１の実施の形態の対応点検出装置１０は、上述したように図１に示すように、基準画像２中の注目点に対応する評価画像４中の対応点を検出し、対応点の座標を求める機能を有する。以下、本実施の形態の各実施例について図面を参照して説明する。

（実施例１−１）
まず、本実施例の対応点検出装置１０の構成について説明する。図２には、本実施例の対応点検出装置１０の概略構成の一例の構成図を示す。なお、本実施例において、基準画像のカラーチャンネルと評価画像のカラーチャンネルとが同一であり、基準画像のカラーチャンネル数（Ｎチャンネル）と評価画像のカラーチャンネル数（Ｎチャンネル）とが、同一である。例えば、基準画像及び評価画像がＲＧＢ画像の場合は、チャンネル数（Ｎ）＝３である。また、本実施例において、基準画像及び評価画像のチャンネル数は、任意である。例えば、画像が白黒画像であれば、チャンネル数は、１であり、ＲＧＢ画像であれば、チャンネル数は３である。また例えば、チャンネル数は、可視光の白黒画像と赤外画像とを組み合わせた２チャンネルであってもよいし、マルチバンド画像であれば４チャンネル以上であってもよく、特に限定されない。

本実施例の対応点検出装置１０は、画像入力部２０（２０_Ａ及び２０_Ｂ）、カラーチャンネル分解部２２（２２_Ａ及び２２_Ｂ）、画像間類似度評価関数生成処理部２４（２４_１〜２４_Ｎ）、画像間類似度評価関数統合部３２、及び対応点検出部３４を備えている。以下では、画像入力部２０_Ａ及び画像入力部２０_Ｂを総称する場合は、画像入力部２０といい、画像間類似度評価関数生成処理部２４_１〜画像間類似度評価関数生成処理部２４_Ｎを総称する場合は、個々を示す符号（１〜Ｎ）を付さずに、画像間類似度評価関数生成処理部２４という。

なお、対応点検出装置１０におけるこれら各処理部は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を備えたコンピュータにより実現されており、ＣＰＵが、ＲＯＭに記憶されているプログラムを実行することにより、各処理部における詳細を後述する処理が実行される。

画像入力部２０及びカラーチャンネル分解部２２は、基準画像及び評価画像の各々に対応して設けられている。画像入力部２０_Ａには、チャンネル数がＮの基準画像が入力され、入力された基準画像は、カラーチャンネル分解部２２_Ａに引き渡される。画像入力部２０_Ｂには、チャンネル数がＮの評価画像が入力され、入力された評価画像は、カラーチャンネル分解部２２_Ｂに引き渡される。

カラーチャンネル分解部２２には、チャンネル数がＮの画像（基準画像または評価画像）が入力される。カラーチャンネル分解部２２は、入力された画像（基準画像または評価画像）を予め定められた各カラーチャンネルに対応したＮ枚の単色画像に分解する機能を有する。すなわち、カラーチャンネル分解部２２_ＡではＮ枚の単色の基準画像が生成され、カラーチャンネル分解部２２_ＢではＮ枚の単色の評価画像が生成される。例えば、基準画像及び評価画像がＲＧＢ画像の場合は、基準画像及び評価画像の各々について、Ｒ色の画像、Ｇ色の画像、及びＢ色の画像が生成される。カラーチャンネルに対応した単色画像に分解する方法については、特に限定されるものではなく、既存の手法を用いればよい。分解により生成された基準画像の各カラーチャンネルの画像（単色画像）と、評価画像の各カラーチャンネルの画像（単色画像）とをセットにして、カラーチャンネル毎に、当該カラーチャンネルに対応する画像間類似度評価関数生成処理部２４に出力する。

画像間類似度評価関数生成処理部２４は、カラーチャンネル毎に設けられている。本実施例では、予め定められたチャンネル数がＮであるため、Ｎ個の画像間類似度評価関数生成処理部２４が設けられている。各画像間類似度評価関数生成処理部２４は、画像変換部２６、画像変換部２８、及び画像間類似度評価関数生成部３０を備えている。画像変換部２６、画像変換部２８、及び画像間類似度評価関数生成部３０は、画像間類似度評価関数生成処理部２４と同様に、総称する場合は、個々を示す符号（１〜Ｎ）を付さずにいう。

画像変換部２６には、カラーチャンネル分解部２２_Ａで生成された単色画像が入力される。一方、画像変換部２８には、カラーチャンネル分解部２２_Ｂで生成された単色画像が入力される。画像変換部２６は、入力された単色画像を、当該単色画像の特徴量を表すデータ形式に変換して出力する機能を有する。画像変換部２６及び画像変換部２８は、入力される画像が基準画像であるか評価画像であるかが異なるのみであり、その機能及び動作は同一である。本実施例の画像変換部２６及び画像変換部２８は、例えば、入力された単色画像の特徴を表す成分の画像を、フーリエ変換等することにより生成する。フーリエ変換等の方法は、特に限定されるものではなく、既存の手法を用いればよい。この場合は、単色画像の変換結果を画像間類似度評価関数生成部３０に出力する。画像変換部２６及び画像変換部２８でフーリエ変換等を行った場合は、入力された単色画像（基準画像及び評価画像）についてフーリエ変換等を行った結果を表わす画像（以下、「結果画像」という）が画像間類似度評価関数生成部３０に出力される。

または、本実施例の画像変換部２６及び画像変換部２８は、例えば、入力された単色画像の特徴量として、画像の輝度の分布の特徴を表す輝度ヒストグラムや輝度ヒストグラムの分散等を計算する。この場合は、計算された輝度ヒストグラムや輝度ヒストグラムの分散等を表すデータ配列を画像間類似度評価関数生成部３０に出力する。画像変換部２６及び画像変換部２８で輝度ヒストグラムや輝度ヒストグラムの分散等を計算した場合は、入力された単色画像（基準画像及び評価画像）の輝度ヒストグラムや輝度ヒストグラムの分散等が画像間類似度評価関数生成部３０に出力される。

画像間類似度評価関数生成部３０には、画像変換部２６及び画像変換部２８から、単色画像の変換結果として、単色画像の結果画像（例えば、フーリエ変換の結果画像等）または、特徴量を表すデータ配列（例えば、輝度ヒストグラムや輝度ヒストグラムの分散等）が入力される。画像間類似度評価関数生成部３０は、基準画像及び評価画像から得られた結果画像同士、または特徴量同士の演算を行い、演算結果を画像間類似度評価関数（以下、「類似度評価関数」という。）として出力する機能を有する。なお、画像間類似度評価関数生成部３０に輝度ヒストグラムの分散が入力された場合は、輝度ヒストグラムの分散が小さいほどコントラストが低く、階調が乏しい、特徴量が比較的少ない画像が多いため、重み値が小さくなり、輝度ヒストグラムの分散が大きいほどコントラストが高く、階調が豊かな、特徴量が比較的多き画像が多いため、重み値が大きくなるように作用する。
画像間類似度評価関数生成部３０で行う演算は、基準画像及び評価画像間の類似度を表すことができる手法を用いればよく、特に限定されるものではない。画像間類似度評価関数生成部３０で行う演算は、画像変換部２６及び画像変換部２８から入力される特徴を表すデータに応じて定めることができる。例えば、画像間の類似度に基づく演算手法としては、位相限定相関法（ＰＯＣ：Phase Only Correlation）や正規化相互相関法（ＮＣＣ：Normalized Cross Correlation）等を用いることができる。

一例として、ＰＯＣ法を用いた場合について具体的に説明する。具体的一例として、画像サイズが各々、Ｎ_１ｘＮ_２pixelの、基準画像ｆ（ｎ_１，ｎ_２）、及び評価画像ｇ（ｎ_１，ｎ_２）の場合について考える。ここで二次元画像信号の離散空間インデックス（整数）を便宜上、ｎ_１＝−Ｍ_１，・・・，Ｍ_１、ｎ_２＝−Ｍ_２，・・・，Ｍ_２とする。Ｍ_１及びＭ_２は正の整数であり、Ｎ_１＝２Ｍ_１＋１、Ｎ_２＝２Ｍ_２＋１となる。

基準画像ｆ（ｎ_１，ｎ_２）、及び評価画像ｇ（ｎ_１，ｎ_２）の二次元離散フーリエ変換を下記（１）式及び下記（２）式で定義する。

・・・（１）

・・・（２）

ここで、ｋ_１＝−Ｍ_１，・・・，Ｍ_１、及びｋ_２＝−Ｍ_２，・・・，Ｍ_２は、離散周波数インデックス（整数）であり、回転因子を下記（３）式及び（４）式と定義する。

・・・（３）

・・・（４）

ここで、Ａ_Ｆ（ｋ_１，ｋ_２）及びＡ_Ｇ（ｋ_１，ｋ_２）は振幅スペクトルであり、θ_Ｆ（ｋ_１，ｋ_２）及びθ_Ｇ（ｋ_１，ｋ_２）は位相スペクトルを表す。また、下記（５）式は、インデックス全域にわたる下記（６）式で表される、加算を表す。

・・・（５）

・・・（６）
このとき、Ｆ（ｋ_１，ｋ_２）及びＧ（ｋ_１，ｋ_２）の正規化相互パワースペクトルを下記（７）式で与える。なお、下記（７）式において、￣Ｇ（ｋ_１，ｋ_２）は、Ｇ（ｋ_１，ｋ_２）の共役複素数を表す。

・・・（７）

位相限定相関関数（ＰＯＣ関数）ｒ（ｎ_１，ｎ_２）を、正規化相互パワースペクトルの二次元逆フーリエ変換として下記（８）式のように定義する。

・・・（８）

ここで、下記（９）式は、下記、（１０）式を表す。

・・・（９）

・・・（１０）

さらに、上記（８）式により得られたＰＯＣ関数ｒ（ｎ_１，ｎ_２）を正規化することにより、対応点の存在確率分布とする（具体例の詳細については、上記の非特許文献３の第２章を参照）。この場合は、対応点の存在確率分布を表すデータ配列が類似度評価関数として、画像間類似度評価関数統合部３２に出力される。

画像間類似度評価関数統合部３２には、各カラーチャンネルの画像間類似度評価関数生成処理部２４（画像間類似度評価関数生成部３０）から、類似度評価関数として、当該類似度評価関数を表現した画像、または当該類似度評価関数を表すデータ配列（例えば上述のＰＯＣ関数や輝度ヒストグラム等から得られた対応点の存在確率分布を表すデータ配列）が入力される。画像間類似度評価関数統合部３２は、入力された各カラーチャンネルの類似度評価関数を統合し、統合した結果を出力する機能を有する。本実施例の画像間類似度評価関数統合部３２は、具体的一例として、各カラーチャンネルに応じた対応点の存在確率分布を乗算もしくは加算することにより、類似度評価関数の統合を行っている。類似度評価関数を乗算する場合は、類似度評価関数のピークがより鋭くなるという長所を有している一方、１つのカラーチャンネルに誤差が含まれる場合に、当該誤差の影響を受けやすいという短所を有する。また、類似度評価関数を加算する場合は、適切に重み付けが行われれば一部のカラーチャンネルで誤差が生じても当該誤差の影響を抑制することができるという長所を有している一方、類似度評価関数のピークが鋭くない場合には、各カラーチャンネルの類似度評価関数を加算することにより、ピークがなまってしまう場合があるという短所を有する。そのため、乗算及び加算のいずれを用いるかは、予め実験等により決定しておけばよい。

画像間類似度評価関数統合部３２からは、統合された類似度評価関数を表現した画像、または統合された類似度評価関数を表すデータ配列が対応点検出部３４に出力される。上述のように対応点の存在確率分布を統合した場合は、統合された対応点の存在確率分布を表すデータ配列が出力される。

対応点検出部３４には、画像間類似度評価関数統合部３２により統合された類似度評価関数として、類似度評価関数を表現した画像またはデータ配列が入力される。対応点検出部３４は、入力された統合された類似度評価関数に基づいて、対応点を検出し、検出結果を出力する機能を有する。本実施例の対応点検出部３４は、具体的一例として、ある閾値以上のピーク値をもつ座標を、対応点の座標として検出する。上述したように、対応点の存在確率分布関数にＰＯＣ関数を用いた場合では、ＰＯＣ関数は、デルタ関数に近い極めて鋭いピーク（相関ピーク）を有しており、相関ピークの高さは二つの位相差スペクトルの線形性を表している。位相差スペクトルが周波数スペクトルに対して線形であれば、相関ピークの高さは１となる。一般に、当該相関ピークの高さは、画像の類似度の尺度として有用であり、画像照合の用途で用いられる。一方で相関ピークの座標は二つの画像の相対的な位置ずれに対応する。さらに相関ピークのモデルに基づく関数フィッティングにより、画像の類似度とサブピクセル精度での移動量を求めることができる（具体例の詳細については、上記の非特許文献３の第２〜３章を参照）。そのため、本実施例では、予め閾値を設定しておき、ピーク値が閾値以上の場合は、評価画像中に対応点が存在すると判断し、ＰＯＣ関数のピークの座標を対応点の座標として検出して出力する。一方、ＰＯＣ関数のピーク値が、設定した閾値未満の場合は、評価画像中に対応点が存在しないことを表す情報を出力する。

このように、本実施例の対応点検出部３４は、上述したように、評価画像中に対応点が検出された場合は、当該対応点の座標を対応点検出装置１０の外部に出力し、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報を対応点検出装置１０の外部に出力する。

次に、本実施例の対応点検出装置１０における対応点検出処理の流れの概略について図３を参照して説明する。図３には、本実施例の対応点検出装置１０における対応点検出処理の流れの一例を表すフローチャートを示す。

ステップＳ１００では、基準画像及び評価画像が入力されたか否か判断し、各々の画像が画像入力部２０_Ａ及び画像入力部２０_Ｂに入力されるまで待機状態となる。一方、基準画像及び評価画像の両画像が入力された場合は、ステップＳ１０２へ進む。画像入力部２０_Ａに入力された基準画像は、カラーチャンネル分解部２２_Ａに引き渡される。画像入力部２０_Ｂに入力された評価画像は、カラーチャンネル分解部２２_Ｂに引き渡される。

ステップＳ１０２では、基準画像及び評価画像の各々がカラーチャンネル分解部２２_Ａ及びカラーチャンネル分解部２２_Ｂで各チャンネルの画像、すなわち単色画像に分解される。次のステップＳ１０４では、カラーチャンネル毎に当該カラーチャンネルの基準画像及び評価画像をセットにして、当該カラーチャンネルに対応する画像間類似度評価関数生成処理部２４に出力する。具体的には、上述したように、カラーチャンネル毎に設けられた画像間類似度評価関数生成処理部２４の、画像変換部２６に、基準画像の単色画像が入力され、画像変換部２８に評価画像の単色画像が入力される。

次のステップＳ１０６では、画像変換部２６及び画像変換部２８が、入力された基準画像の単色画像及び評価画像の単色画像をそれぞれの特徴を表すデータ形式に変換し、画像間類似度評価関数生成部３０に出力する。本実施例の画像変換部２６及び画像変換部２８では、上述したように、単色画像の変換結果として、単色画像の結果画像（例えば、フーリエ変換の結果画像等）や、特徴量を表すデータ配列（例えば、輝度ヒストグラムや前述のＰＯＣ関数等）、またはその両方（結果画像及び特徴量を表すデータ配列）を出力する。

次のステップＳ１０８では、画像間類似度評価関数生成部３０が、カラーチャンネル毎に、画像変換部２６及び画像変換部２８から出力された単色画像の変換結果に基づいて類似度評価関数を生成する。本実施例の画像間類似度評価関数生成部３０では、上述したように、基準画像及び評価画像から得られた結果画像同士、または特徴量同士の演算を行うことにより類似度評価関数を生成し、生成した類似度評価関数を出力する。

次のステップＳ１１０では、画像間類似度評価関数統合部３２が、画像間類似度評価関数生成部３０の各々から出力された各カラーチャンネルの類似度評価関数を統合する。本実施例の画像間類似度評価関数統合部３２では、上述したように、入力された各カラーチャンネルの類似度評価関数を統合し、統合した結果を対応点検出部３４に出力する。

次のステップＳ１１２では、対応点の有無を判断する。本実施例では、上述したように、対応点検出部３４が、入力された類似度評価関数を統合した結果に基づいて、評価画像における対応点の有無を検出する。対応点が検出された場合は、さらに対応点の座標を検出し、次のステップＳ１１４で、対応点の座標を出力した後、本処理を終了する。一方、対応点が検出されない場合は、ステップＳ１１２からステップＳ１１６へ進み、対応点が存在しないことを表す情報を出力した後、本処理を終了する。

このように本実施例の対応点検出装置１０では、カラーチャンネル分解部２２を備えており、入力された基準画像及び評価画像を予め定められた各カラーチャンネルの単色画像に分解しているため、入力される基準画像及び評価画像のカラーチャンネル数が限定されず、任意の数とすることができる。また、本実施例の対応点検出装置１０では、各カラーチャンネルで算出された類似度評価関数を対応点の存在確率分布としてそれぞれ掛け合わせる等して、画像間の類似性をより鮮明に表せるようにしている。そのため、本実施例の対応点検出装置１０は、入力される画像が任意のチャンネル数の画像であっても適用でき、対応点の検出精度を向上することができる。

（実施例１−２）
本実施例は、上述した実施例１−１と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

図４には、本実施例の対応点検出装置１０の概略構成の一例の構成図を示す。なお、本実施例において、対応点検出装置１０に入力される基準画像のカラーチャンネル数（Ｎチャンネル）と評価画像のカラーチャンネル数（Ｎ’チャンネル）とは、実施例１−１と同様に任意であるが、同一であってもよいし、例えば、撮影条件の違いにより異なるカラーチャンネル数を有している等、同一でなくてもよい。

本実施例の対応点検出装置１０は、図４に示すように、実施例１−１で説明した対応点検出装置１０の画像入力部２０とカラーチャンネル分解部２２との間に、さらに、色空間変換部４０を備えている。

色空間変換部４０には、画像入力部２０から、任意のチャンネル数のカラー画像が入力される。色空間変換部４０は、入力されたカラー画像の色空間を予め定められた色空間に変換することにより、色を表現する基底軸を変換して、チャンネル数が所定の数（本実施例ではＭ）の画像を出力する機能を有する。なお、色空間変換部４０_Ａ、４０_Ｂは、入力された基準画像及び評価画像の色空間を、同じ色空間に変換する。

本実施例の色空間変換部４０における色空間の変換方法としては、例えば、カラーチャンネル方向の主成分画像を事前に算出（ＫＬ変換、コサイン変換、及びウェーブレット変換の各基底画像の算出でもよい）し、寄与率の高い順にＭ本の基底を選出し、選出したＭ本の基底に対応するＭ個の基底画像を事前に求めておき、色空間変換部４０は、入力された基準画像及び評価画像の各々を、Ｍ個の基底画像に各々変換するようにしてもよい。またマルチチャンネルデータからウィナー推定法等に基づき推定した分光反射率画像（チャンネル数がＭ）を求めてもよい。

また、色空間の変換方法としては、例えば、画像撮影時の照明光スペクトル（または照明光色の測色値）、基準画像及び評価画像の撮影で使用した画像入力装置（図示省略）の分光感度、及び被写体の統計情報等を用いてウィナー推定法等に基づき分光反射率を推定し、さらに基準画像または評価画像のいずれかの撮影条件下での照明光スペクトルを用いて基準画像または評価画像のいずれかの撮影条件に統一したチャンネル数がＭの画像に変換してもよい。または、共通の撮影条件下（事前に決められた観察環境における照明光スペクトルを用いて）での画像に変換してもよい。変換される画像の具体的一例としては、ＲＧＢ画像及びＬａｂ画像等の３バンド画像（Ｍ＝３）や、スペクトル画像等が挙げられる。

色空間変換部４０からは、色空間が変換されたチャンネル数がＭの基準画像及び評価画像がカラーチャンネル分解部２２に出力される。なお、本実施例では、上述したように、色空間変換部４０_Ａ及び色空間変換部４０_Ｂは、入力される画像が基準画像であるか評価画像であるかが異なる。そのため、入力される画像のチャンネル数が異なる場合（Ｎ≠Ｎ’）があるが、カラーチャンネル分解部２２_Ａ及びカラーチャンネル分解部２２_Ｂから出力される画像のカラーチャンネルは同一であり、カラーチャンネル分解部２２_Ａ及びカラーチャンネル分解部２２_Ｂから出力される画像のチャンネル数は、いずれもＭチャンネルであり、同一となっている。

以降の、カラーチャンネル分解部２２、画像間類似度評価関数生成処理部２４、画像間類似度評価関数統合部３２、及び対応点検出部３４は、実施例１−１と画像のチャンネル数が異なる（本実施例では、チャンネル数＝Ｍ）のみであり、その他は同様であるため、詳細な説明を省略する。

また、本実施例の対応点検出装置１０における対応点検出処理の流れの概略について図５を参照して説明する。図５には、本実施例の対応点検出装置１０における対応点検出処理の流れの一例を表すフローチャートを示す。図５に示すように、本実施例の対応点検出装置１０における対応点検出処理では、実施例１−１の対応点検出処理（図３参照）のステップＳ１００とステップＳ１０２との間に、ステップＳ１０１が設けられている。

ステップＳ１００において、画像入力部２０に、基準画像及び評価画像が入力されると、画像入力部２０から基準画像及び評価画像が色空間変換部４０に引き渡される。次のステップＳ１０１では、上述したように、色空間変換部４０が入力された基準画像及び評価画像の色空間を変換して、チャンネル数がＭの基準画像及び評価画像をカラーチャンネル分解部２２に出力する。具体的には、色空間変換部４０_Ａは、チャンネル数がＮの基準画像の色空間を変換し、チャンネル数がＭの基準画像をカラーチャンネル分解部２２_Ａに出力する。また、色空間変換部４０_Ｂは、チャンネル数がＮ’の評価画像の色空間を変換し、チャンネル数がＭの評価画像をカラーチャンネル分解部２２_Ｂに出力する。

以降、実施例１−１と同様に、ステップＳ１０２〜ステップＳ１１６の処理を行うことにより、評価画像中に対応点が検出された場合は、当該対応点の座標が対応点検出部３４から出力され、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報が対応点検出部３４から出力される。

このように、本実施例の対応点検出装置１０では、さらに、色空間変換部４０を備えており、色空間変換部４０により、入力された基準画像及び評価画像の色を表現する基底軸が変換されることにより、チャンネル数を予め定められたチャンネル数（本実施例では「Ｍ」）に変更する。本実施例では、画像の主成分分解した結果等を用いているため、より画像の特徴を表した情報を対応点の検出に利用することができる。これにより、入力される基準画像及び評価画像のチャンネル数が異なっている場合でも、精度良く、対応点の検出を行うことができる。

（実施例１−３）
本実施例は、上述した各実施例と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

図６には、本実施例の対応点検出装置１０の概略構成の一例の構成図を示す。なお、本実施例において、対応点検出装置１０に入力される、基準画像のカラーチャンネル数（Ｎチャンネル）と評価画像のカラーチャンネル数（Ｎ’チャンネル）とは、実施例１−２と同様である。

本実施例の対応点検出装置１０は、図６に示すように、上記実施例１−２で説明した対応点検出装置１０のカラーチャンネル分解部２２と画像間類似度評価関数生成処理部２４との間に、さらに、カラーチャンネル選択部４４を備えている。

カラーチャンネル選択部４４には、カラーチャンネル分解部２２から各カラーチャンネルに対応したＭ枚の単色画像が入力される。カラーチャンネル選択部４４は、入力されたＭ個のカラーチャンネルに対応したＭ枚の単色画像から、予め定められたＬ個（Ｌ＜Ｍ）のチャンネルに対応したＬ枚の単色画像を選択し、画像間類似度評価関数生成処理部２４に出力する機能を有している。なお本実施例のカラーチャンネル選択部４４では、予め定められたＬチャンネル（Ｌ≧１）の単色画像を選択し、残りのカラーチャンネルの単色画像を、廃棄している。なお、カラーチャンネル選択部４４_Ａ、４４_Ｂは、同じＬ個のカラーチャンネルを選択する。

本実施例のカラーチャンネル選択部４４における選択方法としては、例えば、予め波長特性（画像撮影時のカラーフィルタの中心波長）等に応じて指定されたＬ枚の単色画像を選択する方法が挙げられる。選択方法としては、また例えば、入力された基準画像の輝度分布の分散を求め、分散が大きい上位Ｌ枚の単色画像を選択する方法が挙げられる。選択方法としては、また例えば、各主成分（基底関数）の寄与率を求め、寄与率が高い上位Ｌ個のチャンネルに対応する単色画像を選択する（ＫＬ変換、コサイン変換、及びウェーブレット変換の各基底の寄与率でもよい）方法が挙げられる。このように、選択方法は、特に限定されないが、特徴量が大きい画像を選択することが好ましく、対応点検出装置１０に求められる特性等に応じて予め定めておけばよい。

カラーチャンネル選択部４４からは、チャンネル数がＬ、すなわちＬ枚の基準画像の単色画像及びＬ枚の評価画像の単色画像が画像間類似度評価関数生成処理部２４に出力される。

以降の、画像間類似度評価関数生成処理部２４、画像間類似度評価関数統合部３２、及び対応点検出部３４は、上記各実施例と画像のチャンネル数が異なる（本実施例では、チャンネル数＝Ｌ）のみであり、その他は同様であるため、詳細な説明を省略する。

また、本実施例の対応点検出装置１０における対応点検出処理の流れの概略について図７を参照して説明する。図７には、本実施例の対応点検出装置１０における対応点検出処理の流れの一例を表すフローチャートを示す。図７に示すように、本実施例の対応点検出装置１０における対応点検出処理では、実施例１−２の対応点検出処理（図５参照）のステップＳ１０２とステップＳ１０４との間に、ステップＳ１０３が設けられている。

ステップＳ１０２において、色空間が変換されたチャンネル数がＭの基準画像及び評価画像の各々がカラーチャンネル分解部２２_Ａ及びカラーチャンネル分解部２２_Ｂで各チャンネルの画像、すなわち単色画像に分解されると、基準画像及び評価画像それぞれについて、Ｍ枚の単色画像がカラーチャンネル選択部４４に出力される。

次のステップＳ１０３では、基準画像及び評価画像それぞれについて、上述したように、カラーチャンネル選択部４４が、入力されたＭ個のカラーチャンネルに対応するＭ枚の単色画像から、予め定められたＬ個のカラーチャンネルに対応するＬ枚の単色画像を選択し、残りのカラーチャンネルの単色画像を廃棄する。

以降、実施例１−２と同様に、ステップＳ１０４〜ステップＳ１１６の処理を行うことにより、評価画像中に対応点が検出された場合は、当該対応点の座標が対応点検出部３４から出力され、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報が対応点検出部３４から出力される。

このように本実施例の対応点検出装置１０は、さらにカラーチャンネル選択部４４を備えており、カラーチャンネル選択部４４により、予め定められたチャンネルに対応するカラーチャンネルの画像を選択しているため、特徴が少ないチャンネルの画像を使用しないようにすることができるため、対応点の検出精度を向上させることができる。

（実施例１−４）
本実施例は、上述した各実施例と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

本実施例の対応点検出装置１０は、画像間類似度評価関数生成処理部２４の構成及び動作が上記各実施例と異なるため、本実施例の画像間類似度評価関数生成処理部２４について説明する。なお、本実施例の画像間類似度評価関数生成処理部２４は、上記実施例１−１〜実施例１−３の全てに適用することができる。

図８には、本実施例の対応点検出装置１０における画像間類似度評価関数生成処理部２４の概略構成の一例の構成図を示す。なお、図８は、入力された画像のチャンネル数に応じて設けられた画像間類似度評価関数生成処理部２４のうち、任意の第Ｋチャンネルに対応する画像間類似度評価関数生成処理部２４_Ｋを示している。

図８に示すように、本実施例の画像間類似度評価関数生成処理部２４_Ｋは、さらに、重み係数算出部５０_Ｋを備えている点で、上記各実施例で説明した画像間類似度評価関数生成処理部２４と異なっている。

重み係数算出部５０_Ｋには、色分解された基準画像の第Ｋチャンネルの単色画像が入力される。具体的には、実施例１−１及び実施例１−２に本実施例の画像間類似度評価関数生成処理部２４_Ｋを適用した場合は、重み係数算出部５０_Ｋには、カラーチャンネル分解部２２_Ａで生成された基準画像の第Ｋチャンネルの単色画像が入力される。また、実施例１−３に本実施例の画像間類似度評価関数生成処理部２４_Ｋを適用した場合は、重み係数算出部５０_Ｋには、カラーチャンネル選択部４４_Ａで選択された基準画像の第Ｋチャンネルの単色画像が入力される。重み係数算出部５０_Ｋは、入力された基準画像の第Ｋチャンネルの単色画像に基づいて、第Ｋチャンネルに対する特徴量の重み付けを行うための係数（以下、「重み係数」という。）を算出し、画像間類似度評価関数生成部３０に出力する機能を有する。

具体的一例として本実施例の重み係数算出部５０_Ｋは、基準画像から色分解された単色画像の特徴量を算出している。例えば、基準画像から色分解された単色画像の輝度の分散値を算出し、重み係数とする。なお、重み係数算出部５０_Ｋにおける、重み係数の算出方法は、これに限らず、例えば、単色画像の特徴量（輝度の分散値等）が、予め指定した閾値以上の場合には重み係数を「１」、閾値以下の場合には重み係数を「０」としてもよい。重み係数の算出方法を、予め基準画像及び評価画像の特徴等に応じて、実験等により定めるようにしてもよい。

本実施例の画像間類似度評価関数生成部３０_Ｋには、画像変換部２６_Ｋ及び画像変換部２８_Ｋから、単色画像の変換結果として、単色画像の結果画像（例えば、フーリエ変換の結果画像等）または、特徴量を表すデータ配列（例えば、輝度ヒストグラム等）が入力される。また、本実施例の画像間類似度評価関数生成部３０_Ｋには、重み係数算出部５０_Ｋから第Ｋチャンネルに対する重み係数が入力される。

画像間類似度評価関数生成部３０_Ｋでは、上述の各実施例と同様にして生成された類似度評価関数と、重み係数算出部５０_Ｋから入力された重み係数とを用いて、重み付けされた類似度評価関数を生成する。具体的一例として本実施例の画像間類似度評価関数生成部３０_Ｋでは、単色画像のＰＯＣ関数等を求めた後に対応点の存在確率分布を算出し、得られた結果に重み係数算出部５０_Ｋから入力された重み係数（例えば、「１」または「０」）を乗算する。画像間類似度評価関数生成部３０_Ｋは、第Ｋチャンネルに応じた単色画像の、重み係数を乗算した対応点の存在確率分布を、重み付けされた存在確率分布として、画像間類似度評価関数統合部３２へ出力する。

これにより、画像間類似度評価関数統合部３２及び対応点検出部３４では、重み付けされた存在確率分布（重み付けされた類似度評価関数）を用いて対応点の検出を行う。

また、本実施例の対応点検出装置１０における対応点検出処理の流れの概略について図９を参照して説明する。図９には、本実施例の対応点検出装置１０における対応点検出処理の流れの一例を表すフローチャートを示す。なお、図９では、本実施例の画像間類似度評価関数生成処理部２４を実施例１−１に適用した場合を示している。図９に示すように、本実施例の対応点検出装置１０における対応点検出処理では、実施例１−１の対応点検出処理（図３参照）のステップＳ１０４の後に、ステップＳ１０６と共に、ステップＳ１０７が設けられている。また、ステップＳ１０６及びステップＳ１０７の次のステップとして、ステップＳ１０８に代わり、ステップＳ１０９が設けられている。

ステップＳ１０７では、上述したように、各カラーチャンネルについて、重み係数算出部５０が、基準画像が分解された当該カラーチャンネルの単色画像の特徴量を算出し、算出した特徴量に応じて、当該カラーチャンネルの重み係数を算出する。

次のステップＳ１０９では、上述したように、画像間類似度評価関数生成部３０が、カラーチャンネル毎に、類似度評価関数を生成する。本実施例では、実施例１−１の対応点検出処理のステップＳ１０８と同様にして得られたカラーチャンネル毎の類似度評価関数と、重み係数算出部５０から入力されたカラーチャンネル毎の重み係数とを用いて、カラーチャンネル毎に、重み付けされた類似度評価関数を生成する。

以降、実施例１−１と同様に、ステップＳ１１０〜ステップＳ１１６の処理を行うことにより、評価画像中に対応点が検出された場合は、当該対応点の座標が対応点検出部３４から出力され、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報が対応点検出部３４から出力される。

このように本実施例の対応点検出装置１０では、さらに重み係数算出部５０を備えており、各カラーチャンネルについて、単色画像の特徴量に応じた重み係数を算出し、算出した重み係数による重み付けされた類似度評価関数を生成している。このようにテクスチャ等の特徴がはっきり表れているカラーチャンネルの画像に対して大きな重み係数を算出して重み付けを行うことで、画像間の対応点の検出精度を向上させることができる。また同様の理由で、対応点の座標の検出精度を向上させることができる。
（第２の実施の形態）
第２の実施の形態の対応点検出装置１１では、上述したように図１０に示すように、全体基準画像５の注目点を中心とした小領域画像６を基準画像とし、全体評価画像７の小領域画像８を評価画像として、両画像を照合（比較）することにより、対応点の検出を行う処理を、小領域画像８の位置を全体評価画像７内で移動させながら繰り返し行う。小領域画像６とは、注目点を含む全体基準画像５中の画像であり、小領域画像６の大きさは、全体基準画像５より小さい。なお、具体的な小領域画像６の大きさは、実験等により予め定めておけばよい。また、小領域画像６は、注目点を含んでいればよく、必ずしも注目点が中心になくてもよい。小領域画像８は、小領域画像６と同じ大きさ（面積）を有する全体評価画像７から切り出された画像である。本実施の形態では、基準画像中の基準点に対応する対応点が、全体評価画像７から切り出された小領域画像８に含まれない場合でも、全体評価画像７から切り出した小領域画像８を、その切り出し位置を変えながら更新する事で（全体評価画像７中に対応点が存在する場合には）対応点の検出が実現できる。

なお、本実施の形態では、全体基準画像のカラーチャンネル数（Ｎチャンネル）と全体評価画像のカラーチャンネル数（Ｎ’チャンネル）とは、任意である。また、全体基準画像のカラーチャンネル数（Ｎチャンネル）と全体評価画像のカラーチャンネル数（Ｎ’チャンネル）とは、同一であってもよいし、同一でなくてもよい。

以下、本実施の形態の各実施例について図面を参照して説明する。なお、第１の実施の形態の各実施例と、同様の構成及び動作を含む点については、その旨を記し詳細な説明を省略する。

（実施例２−１）
まず、本実施例の対応点検出装置１１の構成について説明する。図１１には、本実施例の対応点検出装置１１の概略構成の一例の構成図を示す。

図１１に示すように、本実施例の対応点検出装置１１は、画像入力部２０、色空間変換部４０、カラーチャンネル分解部２２、画像間類似度評価値算出処理部６０、画像間類似度評価関数生成部７０、及び対応点検出部３４を備えている。

画像入力部２０は、第１の実施の形態の画像入力部２０と入力される画像（画像の大きさ）が異なるのみであり、その他は同様である。画像入力部２０_Ａは、入力された基準画像である小領域画像６（以下、単に「基準画像」という。）を、色空間変換部４０_Ａに引き渡す。また、画像入力部２０_Ｂは、入力された評価画像である小領域画像８（以下、単に「評価画像」という。）を、色空間変換部４０_Ｂに引き渡す。色空間変換部４０は、第１の実施の形態の実施例１−２と同様である。色空間変換部４０は、画像入力部２０から入力された任意のチャンネル数のカラー画像の色空間を予め定められた色空間に変換することにより、色を表現する基底軸を変換して、チャンネル数が所定の数（本実施例ではＭ）の画像を出力する。カラーチャンネル分解部２２は、第１の実施の形態の実施例１−１と同様である。カラーチャンネル分解部２２は、入力されたチャンネル数がＭの画像（基準画像または評価画像）を各カラーチャンネルに対応したＭ枚の単色画像に分解する。カラーチャンネル分解部２２により分解された基準画像及び評価画像それぞれのＭ枚の単色画像は、基準画像及び評価画像それぞれについて、画像間類似度評価値算出処理部６０に出力される。具体的には、基準画像のＭ枚の単色画像はカラーチャンネル毎に、画像間類似度評価値算出処理部６０_Ａに出力され、評価画像のＭ枚の単色画像はカラーチャンネル毎に、画像間類似度評価値算出処理部６０_Ｂに出力される。以下では、画像間類似度評価値算出処理部６０_Ａ及び画像間類似度評価値算出処理部６０_Ｂを総称する場合は、個々の符号を付さずに、画像間類似度評価値算出処理部６０という。

本実施例の画像間類似度評価値算出処理部６０は、基準画像及び評価画像の各々に対して設けられている。画像間類似度評価値算出処理部６０は、画像評価値算出部６２（６２_Ａ１〜６２_ＡＭ、６２_Ｂ１〜６２_ＢＭ）及び統合画像評価値算出部６６（６６_Ａ、６６_Ｂ）を備えている。以下では、上記と同様に、画像評価値算出部６２及び統合画像評価値算出部６６を総称する場合は、個々の符号を付さずにいう。

画像評価値算出部６２は、カラーチャンネル毎に設けられており、カラーチャンネル分解部２２から単色画像が入力される。画像評価値算出部６２は、入力された単色画像のデータ形式を変換して、画像の特徴を表す特徴量を計算する機能を有している。本実施例の画像評価値算出部６２は、具体的一例として、単色画像の輝度のヒストグラムを計算し、画像の特徴を表わすデータ配列（単色画像の輝度ヒストグラム）を単色画像の評価値として出力する。

統合画像評価値算出部６６には、各画像評価値算出部６２から、単色画像の特徴量を表す計算結果が入力される。上述のように単色画像の輝度ヒストグラムを画像評価値算出部６２で計算した場合は、統合画像評価値算出部６６には、Ｍ個の輝度ヒストグラムを表すデータ配列が入力される。統合画像評価値算出部６６は、入力されたＭ個のデータ配列から、統合画像評価値としてＭ次元のデータ配列（本実施例では、Ｍ次元の輝度ヒストグラム）を生成する機能を有する。

画像間類似度評価関数生成部７０には、基準画像の統合画像評価値及び評価画像の統合画像評価値として、各々Ｍ次元のデータ配列（本実施例では、Ｍ次元の輝度ヒストグラム）が入力される。画像間類似度評価関数生成部７０は、基準画像の統合画像評価値と評価画像の統合画像評価値とを比較して、基準画像及び評価画像間の類似度を算出し、画像間類似度評価関数として算出結果を出力する機能を有する。本実施例の画像間類似度評価関数生成部７０では、統合画像評価値同士の演算を行った結果の値を画像間類似度評価関数（以下、「類似度評価関数」という）として、評価画像（小領域画像８）の切り出し座標（切り出した位置を示す座標）と共に、データベース（図示省略）等に出力し、記憶させている。

画像間類似度評価関数生成部７０による画間像類似度評価関数の生成方法は、特に限定されるものではないが、例えば、基準画像及び評価画像から得られたＭ次元の輝度ヒストグラム同士の類似度計算（相関演算等）を行い、計算された各値を格納し、かつ、評価画像（小領域画像８）の切出し座標を変数とした配列を、データベース等に出力し、記憶させる方法が挙げられる。

本実施例の対応点検出装置１１では、基準画像（小領域画像６）と、評価画像（小領域画像８）とを比較し、画像間類似度評価関数生成部７０で生成した類似度評価関数をデータベースに記憶させる処理を、評価画像（小領域画像８）の切り出し位置を変更し、評価画像（小領域画像８９）を更新しながら繰り返すことにより、全体評価画像７の全領域に対して行う。

対応点検出部３４は、第１の実施の形態の対応点検出部３４と同様である。対応点検出部３４には、画像間類似度評価関数生成部７０で生成された類似度評価関数（データ配列）が入力される。本実施例の対応点検出部３４は、データベースに記憶されている類似度評価関数を読み出し、予め定められた閾値以上のピーク値をもつ座標を検出し、対応点の座標とする。なお、予め定められた関数を内挿することでサブピクセルレベルでのピーク値を算出してもよい。対応点の有無の検出、及び座標の検出の仕方については、第１の実施の形態の対応点検出部３４と同様にすればよい。対応点検出部３４からは、評価画像（小領域画像８）中に対応点が検出された場合は、当該対応点の座標を出力し、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報を外部に出力する。

次に、本実施例の対応点検出装置１１における対応点検出処理の流れの概略について図１２を参照して説明する。図１２には、本実施例の対応点検出装置１１における対応点検出処理の流れの一例を表すフローチャートを示す。

ステップＳ２００では、基準画像（小領域画像６）及び評価画像（小領域画像８）が入力されたか否か判断し、各々の画像が画像入力部２０_Ａ及び画像入力部２０_Ｂに入力されるまで待機状態となる。一方、基準画像及び評価画像の両画像が入力された場合は、ステップＳ２０２へ進む。画像入力部２０_Ａに入力された基準画像は、色空間変換部４０_Ａに引き渡される。画像入力部２０_Ｂに入力された評価画像は、色空間変換部４０_Ｂに引き渡される。

次のステップＳ２０２では、上述したように、色空間変換部４０が入力された基準画像及び評価画像の色空間を変換して、色空間が変換されたチャンネル数がＭの基準画像及び評価画像をカラーチャンネル分解部２２に出力する。具体的には、色空間変換部４０_Ａは、チャンネル数がＮの基準画像の色空間を変換し、色空間が変換されたチャンネル数がＭの基準画像をカラーチャンネル分解部２２_Ａに出力する。また、色空間変換部４０_Ｂは、チャンネル数がＮ’の評価画像の色空間を変換し、色空間が変換されたチャンネル数がＭの評価画像をカラーチャンネル分解部２２_Ｂに出力する。

次のステップＳ２０４では、基準画像及び評価画像の各々がカラーチャンネル分解部２２_Ａ及びカラーチャンネル分解部２２_Ｂで各チャンネルの画像、すなわち単色画像に分解される。次のステップＳ２０６では、基準画像及び評価画像毎に各カラーチャンネルの画像（単色画像）をセットにして、画像間類似度評価値算出処理部６０に出力する。具体的には、上述したように、基準画像及び評価画像毎に設けられた画像間類似度評価値算出処理部６０の、各カラーチャンネルに対する画像評価値算出部６２に各カラーチャンネルの単色画像が入力される。

次のステップＳ２０８では、各カラーチャンネルについて、画像評価値算出部６２が、入力された単色画像を、特徴を表すデータ形式に変換して特徴量を算出し、統合画像評価値算出部６６に出力する。本実施例の画像評価値算出部６２では、上述したように、特徴量を表すデータ配列（例えば、輝度ヒストグラム等）を出力する。

次のステップＳ２１０では、統合画像評価値算出部６６が、基準画像についての各カラーチャンネルの単色画像の特徴量を統合して、統合画像評価値を生成すると共に、評価画像についての各カラーチャンネルの単色画像の特徴量を統合して、統合画像評価値を生成する。本実施例の統合画像評価値算出部６６では、上述したように、Ｍ次元のデータ配列を生成して出力する。

次のステップＳ２１２では、画像間類似度評価関数生成部７０が、基準画像の統合画像評価値及び評価画像の統合画像評価値を比較した比較結果に基づいて、画像間類似度評価関数（類似度評価関数）を生成する。本実施例の画像間類似度評価関数生成部７０は、上述したように、統合画像評価値同士の演算を行って基準画像及び評価画像間の類似度を算出した値を、類似度評価関数の各値として格納し、評価画像（小領域画像８）の切出し座標を変数とした配列を、データベース等に出力し、記憶させる。

次のステップＳ２１４では、全体評価画像７の全領域から切り出された各評価画像を基準画像（小領域画像６）と比較したか否か判断する。すなわち、全体評価画像７の全領域から評価画像（小領域画像８）を各々切り出して、対応点検出装置１１において基準画像（小領域画像６）と比較する処理を行ったか否か判断する。全体評価画像７の全領域から切り出された各評価画像を基準画像（小領域画像６）と比較していない場合は、ステップＳ２００に戻り、位置（座標）を移動（更新）させて切り出した小領域画像８と基準画像（小領域画像６）と比較する処理（ステップＳ２００〜ステップＳ２１２）を繰り返す。なお、全体評価画像７における小領域画像８の切り出し位置の移動方法は特に限定されない。上述した図１０に示した具体的一例では、小領域画像８の一部がオーバーラップするように切り出しているがこれに限らず、全体評価画像７の全領域を切り出すことが可能であればよい。

一方、全体評価画像７の全領域から切り出された各評価画像を基準画像（小領域画像６）と比較した場合は、ステップＳ２１４からステップＳ２１６へ進む。

ステップＳ２１６では、対応点検出部３４が、データベースに記憶されている類似度評価関数の各値を読み出して、対応点の有無を判断する。本実施例では、上述したように、対応点検出部３４が、入力された類似度評価関数の各値に基づいて、評価画像における対応点の有無及び座標を検出し、次のステップＳ２１８で、対応点の座標を出力した後、本処理を終了する。一方、対応点が検出されない場合は、ステップＳ２１６からステップＳ２２０へ進み、対応点が存在しないことを表す情報を出力した後、本処理を終了する。

（実施例２−２）
本実施例は、上述した実施例２−１と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

図１３には、本実施例の対応点検出装置１１の概略構成の一例の構成図を示す。本実施例の対応点検出装置１１は、図１３に示すように、上記実施例２−１で説明した対応点検出装置１１のカラーチャンネル分解部２２と画像間類似度評価値算出処理部６０との間に、さらに、カラーチャンネル選択部４４を備えている。

カラーチャンネル選択部４４は、第１の実施の形態の実施例１−３と同様である。カラーチャンネル選択部４４には、カラーチャンネル分解部２２から各カラーチャンネルに対応したＭ枚の単色画像が入力される。カラーチャンネル選択部４４は、入力されたＭ個のカラーチャンネルに対応するＭ枚の単色画像から、予め定められたＬ個（Ｌ＜Ｍ）チャンネルに対応するＬ個の単色画像を選択し、画像間類似度評価値算出処理部６０に出力する機能を有している。なお本実施例のカラーチャンネル選択部４４では、予め定められたＬチャンネル（Ｌ≧１）の単色画像を選択し、残りのカラーチャンネルの単色画像を廃棄している。

本実施例の対応点検出装置１１における対応点検出処理の流れの概略について図１４を参照して説明する。図１４には、本実施例の対応点検出装置１１における対応点検出処理の流れの一例を表すフローチャートを示す。図１４に示すように、本実施例の対応点検出装置１１における対応点検出処理では、実施例２−１の対応点検出処理（図１２参照）のステップＳ２０４とステップＳ２０６との間に、ステップＳ２０５が設けられている。

ステップＳ２０４において、チャンネル数がＭの基準画像及び評価画像の各々がカラーチャンネル分解部２２_Ａ及びカラーチャンネル分解部２２_Ｂで各チャンネルの画像、すなわち単色画像に分解されると、基準画像及び評価画像それぞれについて、Ｍ枚の単色画像がカラーチャンネル選択部４４に出力される。

次のステップＳ２０５では、上述したように、基準画像及び評価画像それぞれについて、カラーチャンネル選択部４４が、入力されたＭ個のカラーチャンネルに対応するＭ枚の単色画像から、予め定められたＬ個のカラーチャンネルに対応するＬ枚の単色画像を選択し、残りのカラーチャンネルの単色画像を廃棄する。

以降、実施例２−１と同様に、ステップＳ２０６〜ステップＳ２２０の処理を行うことにより、評価画像中に対応点が検出された場合は、当該対応点の座標が対応点検出部３４から出力され、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報が対応点検出部３４から出力される。

このように本実施例の対応点検出装置１１は、さらにカラーチャンネル選択部４４を備えており、カラーチャンネル選択部４４により、予め定められたチャンネルに対応するカラーチャンネルの画像を選択しているため、特徴が少ないチャンネルの画像を使用しないようにすることができるため、対応点の検出精度を向上させることができる。

（実施例２−３）
本実施例は、上述した各実施例と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

本実施例の、対応点検出装置１１は、画像間類似度評価値算出処理部６０_Ａの構成及び動作が上記各実施例と異なるため、本実施例の画像間類似度評価値算出処理部６０_Ａについて説明する。なお、本実施例の画像間類似度評価値算出処理部６０_Ａは、上記実施例２−１及び実施例２−２のいずれにも適用することができる。

図１５には、本実施例の対応点検出装置１１における画像間類似度評価値算出処理部６０_Ａの概略構成の一例の構成図を示す。なお、画像間類似度評価値算出処理部６０_Ｂの構成は、上記各実施例と同様であるため、図１５では、省略して記載している。また、図１５は、画像間類似度評価値算出処理部６０_Ａを実施例２−１に適用した場合を示している。

図１５に示すように、本実施例の画像間類似度評価値算出処理部６０_Ａは、さらに、重み係数算出部５６（５６_１〜５６_Ｍ）を備えている点で、上記各実施例で説明した画像間類似度評価値算出処理部６０_Ａと異なっている。重み係数算出部５６について総称する場合は、個々を示す符号（１〜Ｍ）を付さずに、重み係数算出部５６という。重み係数算出部５６は、第１の実施の形態の実施例１−４の重み係数算出部５０と同様であってもよい。

重み係数算出部５６には、カラーチャンネル毎に、色分解された基準画像の単色画像が入力される。具体的には、実施例２−１に画像間類似度評価値算出処理部６０_Ａを適用した場合は、重み係数算出部５６_Ｍには、カラーチャンネル分解部２２_Ａで分解された基準画像の第Ｍチャンネルの単色画像が入力される。また、実施例２−２に画像間類似度評価値算出処理部６０_Ａを適用した場合は、重み係数算出部５６_Ｍには、カラーチャンネル選択部４４_Ａで選択された基準画像の第Ｍチャンネルの単色画像が入力される。重み係数算出部５６_Ｍは、入力された基準画像の第Ｍチャンネルの単色画像に基づいて、第Ｍチャンネルに対する特徴量の重み付けを行うための係数（以下、「重み係数」という。）を算出し、画像間類似度評価関数生成部７０に出力する機能を有する。

具体的一例として本実施例の重み係数算出部５６は、第１の実施の形態の実施例１−４の重み係数算出部５０と同様に、基準画像が色分解された単色画像の特徴量を算出している。例えば、基準画像が色分解された単色画像の輝度の分散値を算出し、重み係数とする。なお、重み係数算出部５６における重み係数の算出方法は、これに限らず、例えば、単色画像の特徴量（輝度の分散値等）が、予め定められた閾値以上の場合には重み係数を「１」とし、閾値未満の場合には重み係数を「０」としてもよい。重み係数の算出方法は、予め基準画像及び評価画像の特徴等に応じて、実験等により定めるようにしておいてもよい。

本実施例の統合画像評価値算出部６６には、各カラーチャンネル毎に、画像評価値算出部６２から、特徴を表すデータとして、特徴量を表すデータ配列（例えば、輝度ヒストグラム等）が入力される。また、本実施例の統合画像評価値算出部６６には、各カラーチャンネル毎に、重み係数算出部５６から重み係数が入力される。

統合画像評価値算出部６６では、画像評価値算出部６２から各カラーチャンネル毎に入力された単色画像の特徴量を表す計算結果（評価値）を、各単色画像に応じた重み係数で重み付けして用いる。例えば、重み係数（例えば、「１」または「０」）を乗算することにより重み付けが行われる。

上述のように単色画像の輝度ヒストグラムを画像評価値算出部６２で計算した場合は、統合画像評価値算出部６６は、Ｍ個の輝度ヒストグラム各々を、対応する重み係数で重み付けして、統合画像評価値としてＭ次元のデータ配列（本実施例では、Ｍ次元の輝度ヒストグラム）を生成し、画像間類似度評価関数生成部７０へ出力する。

本実施例の対応点検出装置１１における対応点検出処理の流れの概略について図１６を参照して説明する。図１６には、本実施例の対応点検出装置１１における対応点検出処理の流れの一例を表すフローチャートを示す。なお、図１６では、本実施例の画像間類似度評価値算出処理部６０_Ａを実施例２−１に適用した場合を示しているが、ステップＳ２００〜ステップＳ２０６までの処理と、ステップＳ２１２〜ステップＳ２２０までの処理は、実施例２−１と同様であるため、記載を省略している。図１６に示すように、本実施例の対応点検出装置１１における対応点検出処理では、評価画像に対しては、ステップＳ２０８Ｂ及びステップＳ２１０Ｂにおいて、実施例２−１の対応点検出処理のステップＳ２０８及びステップＳ２１０と同様の処理を行っている。

一方、基準画像に関しては、上述のように、重み係数算出部５６を備えているため、処理が異なる。ステップＳ２０８Ａでは、各カラーチャンネル毎に、画像評価値算出部６２が、実施例２−１の対応点検出処理のＳ２０８と同様に、入力された単色画像を、特徴を表すデータ形式に変換し、特徴量を算出して統合画像評価値算出部６６_Ａに出力する。一方、ステップＳ２０９では、上述したように、各カラーチャンネル毎に、重み係数算出部５６が、基準画像が分解された当該カラーチャンネルの単色画像の特徴量を算出し、算出した特徴量に応じて、重み係数を算出し、統合画像評価値算出部６６_Ａに出力する。

次のステップＳ２１０Ａでは、上述したように、統合画像評価値算出部６６_Ａが、各カラーチャンネル毎に、単色画像の基準画像の特徴量を表す評価値を、当該カラーチャンネルの重み係数で重み付けした後、統合して統合画像評価値としてＭ次元のデータ配列（本実施例では、Ｍ次元の輝度ヒストグラム）を生成し、画像間類似度評価関数生成部７０へ出力する。

以降、実施例２−１と同様に、ステップＳ２１２〜ステップＳ２２０の処理を行うことにより、評価画像中に対応点が検出された場合は、当該対応点の座標が対応点検出部３４から出力され、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報が対応点検出部３４から出力される。

このように本実施例の対応点検出装置１１では、さらに重み係数算出部５６を備えており、各カラーチャンネル毎に、基準画像の単色画像の特徴量に応じた重み係数を算出し、各カラーチャンネル毎に重み付けされた統合画像評価値を生成している。このようにテクスチャ等の特徴が明確に表れているカラーチャンネルの画像に重み付けを行うことで、画像間の対応点の検出精度を向上させることができる。また同様の理由で、対応点の座標の検出精度を向上させることができる。

（実施例２−４）
本実施例は、上述した各実施例と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

本実施例の、対応点検出装置１１は、画像間類似度評価値算出処理部６０の構成及び動作が上記各実施例と異なるため、本実施例の画像間類似度評価値算出処理部６０について説明する。なお、本実施例の画像間類似度評価値算出処理部６０は、上記実施例２−１及び実施例２−２のいずれにも適用することができる。

図１７には、本実施例の対応点検出装置１１における画像間類似度評価値算出処理部６０の概略構成の一例の構成図を示す。本実施例の画像間類似度評価値算出処理部６０は、上記各実施例の画像間類似度評価値算出処理部６０と異なり、カラーチャンネル毎に設けられている。そのため、本実施例の対応点検出装置１１は、カラーチャンネルのチャンネル数に応じた数の画像間類似度評価値算出処理部６０を備えている。なお、図１７は、画像間類似度評価値算出処理部６０を実施例２−１に適用した場合を示している。

本実施例の画像間類似度評価値算出処理部６０_Ｋは、画像評価値算出部６２_Ｋ（６２_ＡＫ、６２_ＢＫ）、重み係数算出部５６_Ｋ、及び画像類似度評価値算出部６８_Ｋを備えている。画像評価値算出部６２_Ｋは、上記各実施例の画像評価値算出部６２と同様であり、第Ｋチャンネルの基準画像の単色画像及び評価画像の単色画像の各々について、特徴量を表すデータ形式に変換し、各画像の特徴量を算出する。また、重み係数算出部５６_Ｋは、実施例２−３の重み係数算出部５６と同様であり、第Ｋチャンネルについて、基準画像の単色画像の特徴量に基づいて重み係数を算出する。

画像類似度評価値算出部６８_Ｋには、第Ｋチャンネルについて、評価画像及び評価画像各々の単色画像から算出した特徴量（例えば、各画像から得られた輝度ヒストグラム）及び、重み係数算出部５６_Ｋで算出された重み係数が入力される。画像類似度評価値算出部６８_Ｋは、第Ｋチャンネルについて、単色の基準画像の特徴量と単色の評価画像の特徴量との類似度の計算を行い、得られた類似度の値を、第Ｋチャンネルについての重み係数で重み付けすることにより、特徴量の類似度に重み付けを行う機能を有する。例えば、画像類似度評価値算出部６８_Ｋは、第Ｋチャンネルについての特徴量を表す輝度ヒストグラム同士で相関演算等の類似度の計算を行い、輝度ヒストグラム類似度に重み付けを行い、重み付けされた特徴量類似度（例えば、重み付けされたヒストグラム類似度）を出力する。

本実施例の画像間類似度評価関数生成部７０は、上記各実施例の画像間類似度評価関数生成部７０と機能が異なる。画像間類似度評価関数生成部７０には、各カラーチャンネルに対する各画像間類似度評価値算出処理部６０から、重み付けされた特徴量類似度（例えば、Ｍ個の重み付けされたヒストグラム類似度）が入力される。画像間類似度評価関数生成部７０は、Ｍ個の重み付けされた特徴量類似度からＭ次元の特徴量類似度を生成し、類似度評価関数の値として、Ｍ次元の特徴量類似度の値を評価画像の位置（切り出し）座標と共にデータベース等に記憶させる。本実施例の画像間類似度評価関数生成部７０は、例えば、基準画像及び評価画像の各チャンネルから得られたＭ個の重み付けされたヒストグラム類似度をＭ次元のヒストグラム類似度として生成し、その値を評価画像の切出し座標と共にデータベース等へ出力し記憶させる。

本実施例の対応点検出装置１１における対応点検出処理の流れの概略について図１８を参照して説明する。図１８には、本実施例の対応点検出装置１１における対応点検出処理の流れの一例を表すフローチャートを示す。なお、図１８では、本実施例の画像間類似度評価値算出処理部６０を実施例２−１に適用した場合を示しているが、ステップＳ２００〜ステップＳ２０４までの処理と、ステップＳ２１４〜ステップＳ２２０までの処理は、実施例２−１と同様であるため、記載を省略している。図１８に示すように、本実施例の対応点検出装置１１における対応点検出処理では、ステップＳ２０４の後のステップＳ２０７では、カラーチャンネル毎に、カラーチャンネル分解部２２で分解した当該カラーチャンネルの基準画像の単色画像及び評価画像の単色画像をセットにして、当該カラーチャンネルに対応する画像間類似度評価値算出処理部６０に出力する。

次のステップＳ２０８では、カラーチャンネル毎に、上述したように、画像評価値算出部６２が、入力された基準画像の単色画像及び評価画像の単色画像を、特徴を表すデータ形式に変換し、特徴量を算出して画像類似度評価値算出部６８に出力する。

一方、ステップＳ２０９では、カラーチャンネル毎に、上述したように、重み係数算出部５６が、基準画像から分解された当該カラーチャンネルの単色画像の特徴量を算出し、算出した特徴量に応じて、当該カラーチャンネルの重み係数を算出し、画像類似度評価値算出部６８に出力する。

次のステップＳ２１１では、カラーチャンネル毎に、上述したように、画像類似度評価値算出部６８が、当該カラーチャンネルの重み係数により重み付けした特徴量類似度を算出し、次のステップＳ２１３では、上述したように、カラーチャンネル毎に重み付けされた特徴量類似度に基づいて、類似度評価関数を生成し、画像間類似度評価関数生成部７０に出力する。

以降、実施例２−１と同様に、ステップＳ２１４〜ステップＳ２２０の処理を行うことにより、評価画像中に対応点が検出された場合は、当該対応点の座標が対応点検出部３４から出力され、また、対応点が検出されなかった場合は、対応点が存在しないことを表す情報が対応点検出部３４から出力される。

このように本実施例の対応点検出装置１１においても、さらに重み係数算出部５６を備えており、カラーチャンネル毎に、基準画像の単色画像の特徴量に応じた重み係数を算出し、重み付けされた特徴量類似度を算出しているため、画像間の対応点の検出精度を向上させることができる。また、対応点の座標の検出精度を向上させることができる。

（第３の実施の形態）
本実施の形態は、第１の実施の対応点検出装置１０を組み合わせて、対応点の検出を行う画像処理装置について説明する。本実施の形態の画像処理装置は、対応点検出装置１０を用いて、画像全体で大まかな位置合わせを行い、さらに対応点検出装置１０を用いて、小領域画像間で詳細な対応点の検出を行う。なお、本実施の形態は、上記各実施の形態と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

図１９には、本実施例の画像処理装置１３の概略構成の一例の構成図を示す。本実施例の画像処理装置１３は、図１９に示すように、上記第１の実施の形態で説明した対応点検出装置１０と、画像変形処理部８０と、小領域画像生成部８２と、を備えている。

対応点検出装置１０_１には、任意のチャンネル数の基準画像及び評価画像が入力される。なお、対応点検出装置１０_１が第１の実施の形態の実施例１−１で説明した対応点検出装置１０である場合は、基準画像及び評価画像のチャンネル数は同一となり、その他の実施例で説明した対応点検出装置１０である場合は、基準画像及び評価画像のチャンネル数は同一であってもよいし、同一でなくてもよい。

対応点検出装置１０_１は、上述したように、基準画像のある注目点に対応する評価画像の対応点を検出し、対応点が存在する場合は、対応点の座標を出力する。なお、対応点検出装置１０_１により対応点が検出されなかった場合は、以降の処理は行われない。対応点検出装置１０_１から出力される対応点の座標は、基準画像と評価画像との位置ずれ量を表している。

画像変形処理部８０には、対応点検出装置１０_１から、対応点の座標が入力されると共に、評価画像が入力される。画像変形処理部８０は、入力された当該対応点の座標に基づいて、評価画像を変形、または位置ずれ量の補正を行い、基準画像及び評価画像を画像全体で大まかに位置を合わせる。画像変形処理部８０からは、変形（位置ずれが補正）された評価画像が出力される。

小領域画像生成部８２は、基準画像と、画像変形処理部８０により変形（位置ずれが補正）された評価画像とが入力される。小領域画像生成部８２は、基準画像から、小領域画像を各々切り出し、変形された評価画像から、基準画像から切り出された小領域画像の各々に対応して、同じサイズの小領域画像を各々切り出す。基準画像及び評価画像から切り出した位置が対応する小領域画像をセットにして、各対応点検出装置１０_２に出力する。

対応点検出装置１０_２では、入力された基準画像の小領域画像中の注目点に対し、入力された評価画像の小領域画像中の対応点の有無を検出し、対応点が存在する場合は、対応点の座標を出力する。対応点が存在しない場合は、その旨を表す情報を出力する。

このように本実施の形態の画像処理装置１３では、対応点検出装置１０_１で基準画像及び評価画像の画像間のずれを、画像全体で大まかに補正した後に、対応点検出装置１０_２で詳細な対応点の検索を行うため、対応点の検出精度に加えて計算量の削減を実現することができる。

（第４の実施の形態）
本実施の形態は、第１の実施の対応点検出装置１０と第２の実施の形態の対応点検出装置１１を組み合わせて、対応点の検出を行う画像処理装置について説明する。本実施の形態の画像処理装置は、対応点検出装置１０を用いて、画像全体で大まかな位置合わせを行い、さらに対応点検出装置１１を用いて小領域画像間で詳細な対応点の検出を行う。なお、本実施の形態は、上記各実施の形態と同様の構成及び動作を含むため、同様の構成及び動作についてはその旨を記し詳細な説明を省略する。

図２０には、本実施例の画像処理装置１４の概略構成の一例の構成図を示す。本実施例の画像処理装置１４は、図２０に示すように、上記第１の実施の形態で説明した対応点検出装置１０と、上記第２の実施の形態で説明した対応点検出装置１１と、画像変形処理部８０と、小領域画像生成部８３と、を備えている。

対応点検出装置１０には、任意のチャンネル数の基準画像及び評価画像が入力される。なお、対応点検出装置１０が第１の実施の形態の実施例１−１で説明した対応点検出装置１０である場合は、基準画像及び評価画像のチャンネル数は同一となり、その他の実施例で説明した対応点検出装置１０である場合は、基準画像及び評価画像のチャンネル数は同一であってもよいし、同一でなくてもよい。

対応点検出装置１０は、上述したように、基準画像のある注目点に対応する評価画像の対応点を検出し、対応点が存在する場合は、その座標を出力する。なお、対応点検出装置１０により対応点が検出されなかった場合は、以降の処理は行われない。対応点検出装置１０から出力される対応点の座標は、基準画像と評価画像との位置ずれ量を表している。

本実施の形態の画像変形処理部８０は、第３の実施の形態の画像変形処理部８０と同様の機能を有する。画像変形処理部８０には、対応点検出装置１０から、対応点の座標が入力されると共に、評価画像が入力される。画像変形処理部８０は、入力された当該対応点の座標に基づいて、評価画像を変形、または位置ずれ量の補正を行い、基準画像及び評価画像を画像全体で大まかに位置を合わせる。画像変形処理部８０からは、変形（位置ずれが補正）された評価画像が出力される。

小領域画像生成部８３には、基準画像が入力される。小領域画像生成部８３は、基準画像中から第２の実施の形態で説明した小領域画像６を切り出して出力する機能を有している。

対応点検出装置１１には、小領域画像生成部８３により切り出された小領域画像６と、画像変形処理部８０で変形（位置ずれが補正）された評価画像と、が入力される。

対応点検出装置１１では、上述したように、基準画像の小領域画像６と、評価画像の小領域画像８とを比較することにより対応点の有無を検出し、対応点が存在する場合は、その座標を出力する。対応点が存在しない場合は、その旨を表す情報を出力する。

本実施の形態の画像処理装置１４では、小領域画像生成部８３で基準画像における切り出し位置（座標）を移動させて小領域画像を切り出して、基準画像の小領域画像６を更新し、基準画像の小領域画像６が更新される毎に、対応点検出装置１１による、対応点の検出を繰り返し行い、対応点の有無を検出し、対応点が存在する場合は、その座標を出力する。対応点が存在しない場合は、その旨を表す情報を出力する。

このように本実施の形態の画像処理装置１４では、対応点検出装置１０で基準画像及び評価画像の画像間のずれを、画像全体で大まかに補正した後に、対応点検出装置１１で詳細な対応点の検索を行うため、対応点の検出精度に加えて計算量の削減を実現することができる。

以上説明したように上記各実施の形態の対応点検出装置（画像処理装置）では、入力された基準画像及び評価画像をカラーチャンネル分解部２２により分解した単色の画像について特徴量の算出を行っているため、入力画像のカラーチャンネル数を１（白黒）、３（ＲＧＢ画像）だけではなく、任意のチャンネル数にも対応することが可能となった。また、マルチバンド画像の入力に対応させたことにより、画像を主成分分解した結果等、より画像の特徴を表した情報を対応点の検出に利用することができるため、対応点の検出精度が向上する。また、各カラーチャンネルで算出された評価値（類似度評価関数）の取捨選択や加重加算、また類似度評価関数を対応点の存在確率分布としてそれぞれ掛け合わせる等して、画像間の類似性をより鮮明に表した類似度を用いているため、応点の検出精度が向上する。

従って、上記各実施の形態の対応点検出装置（画像処理装置）では、入力される画像が任意のチャンネル数の画像であっても適用でき、対応点の検出精度を向上することができる。

なお、本実施の形態は一例であり、具体的な構成は本実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。

例えば、第１の実施の形態の画像間類似度評価関数生成処理部２４及び画像間類似度評価関数統合部３２を第２の実施の形態に適用してもよいし、第２の実施の形態の画像間類似度評価値算出処理部６０及び画像変形処理部７０を第１の実施の形態に適用してもよい。

また例えば、上記各実施の形態では、基準画像及び評価画像が１つの場合を示したがこれに限らず、基準画像及び評価画像の数は特に限定されるものではない。例えば、１つの基準画像の注目点に対して、複数の評価画像各々における対応点を検出するように構成してもよい。また、複数の基準画像各々の注目点に対して、１つの評価画像の対応点を検出するように構成してもよい。また、基準画像及び複数画像の両者が複数であってもよい。

１０、１１ 対応点検出装置
１３、１４ 画像処理装置
２０ 画像入力部
２２ カラーチャンネル分解部
２４ 画像間類似度評価関数生成処理部
２６ 画像変換部
２８ 画像変換部
３０ 画像間類似度評価関数生成部
３２ 画像間類似度評価関数統合部
３４ 対応点検出部
４０ 色空間変換部
５０、５６ 重み係数算出部
６０ 画像間類似度評価値算出処理部
６２ 画像評価値算出部
６６ 統合画像評価値算出部
７０ 画像間類似度評価関数生成部

Claims (9)

1. 基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理装置であって、
   入力された基準画像を予め定められた各チャンネルの単色画像に分解する第１カラーチャンネル分解手段と、
   入力された評価画像を前記予め定められた各チャンネルの単色画像に分解する第２カラーチャンネル分解手段と、
   各チャンネル毎に設けられた画像間類似度評価関数生成処理手段であって、前記基準画像の前記チャンネルの単色画像を画像の特徴量を表す予め定められたデータ形式に変換して出力する第１画像変換手段、前記評価画像の前記チャンネルの単色画像を前記予め定められたデータ形式に変換して出力する第２画像変換手段、前記第１カラーチャンネル分解手段によって分解された前記基準画像の前記チャンネルの単色画像に基づいて、特徴量の重み付けを行うための重み係数を算出して出力する重み係数算出手段、及び前記第１画像変換手段から入力された前記基準画像の前記チャンネルの単色画像の変換結果と前記第２画像変換手段から入力された前記評価画像の前記チャンネルの単色画像の変換結果と前記重み係数算出手段によって算出された前記チャンネルの重み係数とに基づいて、前記基準画像の前記チャンネルの単色画像と前記評価画像の前記チャンネルの単色画像とを比較した比較結果を表す重み付けされた類似度評価関数を生成する画像間類似度評価関数生成手段を有する画像間類似度評価関数生成処理手段と、
   前記画像間類似度評価関数生成処理手段の各々で生成された各チャンネルの類似度評価関数を統合し、統合した類似度評価関数を出力する画像間類似度評価関数統合手段と、
   前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力する対応点検出手段と、
   を備えた、画像処理装置。
2. 基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理装置であって、
   入力された基準画像を予め定められた各チャンネルの単色画像に分解する第１カラーチャンネル分解手段と、
   入力された評価画像を前記予め定められた各チャンネルの単色画像に分解する第２カラーチャンネル分解手段と、
   前記基準画像及び前記評価画像の各画像に対して設けられた画像間類似度評価値算出処理手段であって、前記画像の前記チャンネルの単色画像の特徴を表す特徴量を計算して出力する、各チャンネル毎に設けられた画像評価値算出手段、及び各チャンネル毎の前記画像評価値算出手段から入力された前記画像の前記チャンネルの単色画像の特徴量を統合した画像評価値を算出して出力する統合画像評価値算出手段を有する画像間類似度評価値算出処理手段と、
   前記基準画像について算出された前記画像評価値と前記評価画像について算出された前記画像評価値とを比較した比較結果を表す類似度評価関数を生成して出力する画像間類似度評価関数生成手段と、
   前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力する対応点検出手段と、
   を備えた、画像処理装置。
3. 前記基準画像に対して設けられた画像間類似度評価値算出処理手段は、各チャンネルについて、前記第１カラーチャンネル分解手段によって分解された前記基準画像の前記チャンネルの単色画像に基づいて、特徴量の重み付けを行うための重み係数を算出して出力する重み係数算出手段をさらに備え、
   前記基準画像に対して設けられた前記統合画像評価値算出手段は、前記重み係数算出手段によって算出された各チャンネルの重み係数を用いて、前記基準画像の各チャンネルの単色画像の特徴量を統合した画像評価値を算出する、請求項２に記載の画像処理装置。
4. 入力される前記基準画像は、前記注目点を含み、かつ、全体基準画像の部分画像であり、
   入力される前記評価画像は、全体評価画像から、前記基準画像の大きさに応じて切り出された前記全体評価画像の部分画像であり、
   前記全体評価画像の部分画像の切り出し位置を繰り返し変更して前記評価画像を変更し、前記基準画像と前記評価画像との比較を繰り返し行うことにより、前記基準画像中の注目点に対応する、前記全体評価画像中の対応点を検出する、請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 入力された前記基準画像を予め定められた色空間の画像に変換して出力する第１色空間変換手段と、
   入力された前記評価画像の各々を予め定められた色空間の画像に変換して出力する第２色空間変換手段と、をさらに備え、
   前記第１カラーチャンネル分解手段は、前記第１色空間変換手段によって変換された前記予め定められた色空間の基準画像を前記予め定められた各チャンネルの単色画像に分解し、
   前記第２カラーチャンネル分解手段は、前記第２色空間変換手段によって変換された前記予め定められた色空間の評価画像を前記予め定められた各チャンネルの単色画像に分解する
   請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記第１カラーチャンネル分解手段によって分解された前記予め定められた各チャンネルの単色画像のうち、一部の各チャンネルの単色画像を選択する第１カラーチャンネル選択手段と、
   前記第２カラーチャンネル分解手段によって分解された前記予め定められた各チャンネルの単色画像のうち、前記一部の各チャンネルの単色画像を選択する第２カラーチャンネル選択手段と、を更に備えた、請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理方法であって、
   第１カラーチャンネル分解手段により、入力された基準画像を予め定められた各チャンネルの単色画像に分解するステップと、
   第２カラーチャンネル分解手段により、入力された評価画像を前記予め定められた各チャンネルの単色画像に分解するステップと、
   各チャンネル毎に設けられた画像間類似度評価関数生成処理手段であって、前記基準画像の前記チャンネルの単色画像を画像の特徴量を表す予め定められたデータ形式に変換して出力する第１画像変換手段、前記評価画像の前記チャンネルの単色画像を前記予め定められたデータ形式に変換して出力する第２画像変換手段、前記第１カラーチャンネル分解手段によって分解された前記基準画像の前記チャンネルの単色画像に基づいて、特徴量の重み付けを行うための重み係数を算出して出力する重み係数算出手段、及び前記第１画像変換手段から入力された前記基準画像の前記チャンネルの単色画像の変換結果と前記第２画像変換手段から入力された前記評価画像の前記チャンネルの単色画像の変換結果と前記重み係数算出手段によって算出された前記チャンネルの重み係数とに基づいて、前記基準画像の前記チャンネルの単色画像と前記評価画像の前記チャンネルの単色画像とを比較した比較結果を表す重み付けされた類似度評価関数を生成する画像間類似度評価関数生成手段を有する画像間類似度評価関数生成処理手段により重み付けされた類似度評価関数を出力するステップと、
   前記画像間類似度評価関数生成処理手段の各々で生成された各チャンネルの類似度評価関数を統合し、統合した類似度評価関数を出力する画像間類似度評価関数統合手段の各手段により、統合した類似度評価関数を出力するステップと、
   対応点検出手段により、前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力するステップと、
   を備えた、画像処理方法。
8. 基準画像と評価画像とが入力され、前記基準画像と前記評価画像とを比較することにより前記基準画像中の注目点に対応する、前記評価画像中の対応点を検出する画像処理方法であって、
   第１カラーチャンネル分解手段により、入力された基準画像を予め定められた各チャンネルの単色画像に分解するステップと、
   第２カラーチャンネル分解手段により、入力された評価画像を前記予め定められた各チャンネルの単色画像に分解するステップと、
   前記基準画像及び前記評価画像の各画像に対して設けられた画像間類似度評価値算出処理手段であって、前記画像の前記チャンネルの単色画像の特徴を表す特徴量を計算して出力する、各チャンネル毎に設けられた画像評価値算出手段、及び各チャンネル毎の前記画像評価値算出手段から入力された前記画像の前記チャンネルの単色画像の特徴量を統合した画像評価値を算出して出力する統合画像評価値算出手段を有する画像間類似度評価値算出処理手段により画像評価値を算出して出力するステップと、
   前記基準画像について算出された前記画像評価値と前記評価画像について算出された前記画像評価値とを比較した比較結果を表す類似度評価関数を生成して出力する画像間類似度評価関数生成手段により類似度評価関数を出力するステップと、
   対応点検出手段により、前記出力された類似度評価関数に基づいて、前記評価画像中の前記対応点を検出し、前記出力された類似度評価関数について予め定められた条件が満たされる場合に、前記対応点が存在すると判断し、前記検出された前記対応点を出力するステップと、
   を備えた、画像処理方法。
9. コンピュータを、請求項１から請求項６の何れか１項に記載の画像処理装置の各手段として機能させるための画像処理プログラム。
   
   

Images