JP4613710B2

JP4613710B2 - 画像処理装置及びプログラム

Info

Publication number: JP4613710B2
Application number: JP2005186603A
Authority: JP
Inventors: 雅昭佐々木; 玲浜田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-06-27
Filing date: 2005-06-27
Publication date: 2011-01-19
Anticipated expiration: 2025-06-27
Also published as: JP2007006346A

Description

本発明は、複数の画像を合成する画像処理装置及びプログラムに関する。

近年、デジタルカメラ等の撮像装置は、複数回の短時間露光撮影で取得した画像を重ね合わせる合成を行うことにより、光量が不足している状況であってもノイズを押さえた十分な明るさの画像の取得を行うことができるようになっている。ここで、撮影の時間間隔がわずかであるとは言え、この間に撮像装置と被写体との位置関係にずれか生じるため、画像変換を行った上で画像の合成を行う必要がある。
具体的には、２枚の画像を合成する場合に、これらの画像の特徴点を追跡して、特徴点どうしを重ね合わせるようにして画像の合成を行うようになっている。ここで、特徴点の追跡の信頼性を判断する方法として、追跡終了後、特徴点近傍で画素値の差分を取り、その絶対値の和により判断することが行われている（例えば、非特許文献１参照。）。即ち、例えば、２枚の画像がぴったりと重ね合わさった状態では、近傍の差分値の絶対値和は０になり、また、この値が大きくなるほど、追跡の信頼性は低く、つまり、２枚の画像のずれが大きくなるということになる。なお、実際には、この値が０になるということはほとんどないため、一定の閾値を設け、当該閾値を用いて追跡の信頼性の判断が行われている。
そして、上記のようにして特徴点の追跡が行われて、当該追跡の信頼性が十分であると判断された特徴点を対応特徴点とみなして、ＲＡＮＳＡＣ処理等の次工程での処理を行うようになっている。
Jianbo Shi, Carlo Tomasi "Good Features to Track" IEEE Conference on Computer Vision and Pattern Recognition(CVPR94) Seattle, June 1994

しかしながら、特徴点近傍となる特徴点包含領域内に著しく明るい画素が含まれていると、その画素の近傍が過大評価されてしまい、正しい判定を行うことができないといった問題がある。
即ち、十分に明るい環境にて連続撮影された画像の合成であれば、上記の方法により信頼性を高いものとすることができるが、例えば、夜の公園などといった著しく暗い環境においては、この方法では信頼性を高めることが困難となる。即ち、かかる状況下にて、例えば、撮影領域内に光源が含まれ、当該光源付近に特徴点がある画像の場合には、明るい画素に全体の画素値が引っ張られてしまい、信頼性が著しく低下して特徴点の追跡の判定を安定して行うことができないといった問題がある。
つまり、暗い環境で撮影した画像の場合、光源付近の明るい画素の値とその周囲の暗い画素の値の差は非常に大きくなるため、２枚の画像のずれが、本来ならば所定の閾値内に収まる程度の微小なものであっても、画素の差分値は大きな値になってしまう可能性がある。また、人工光源などからの光は不安定に変化している場合があり、連続して撮影しても画像それぞれの光の強さや大きさがばらばらになってしまうことが多くなる。この場合には、明るい画素の追跡の信頼性は低く、また、暗い画素の追跡の信頼性は高くなるが、所定の区間での画素値の差分の絶対値和を求めると、不安定な明るい画素値の差の方が暗い画素値の差よりもはるかに大きいため、暗い画素の差は目立たなくなってしまう。
従って、２枚の画像のずれが所定の閾値内に収まる程度の微小なものであっても、画像の特徴点どうしの対応（追跡）が適正に行われたと判定されないで、これら画像の合成を適正に行うことができないこととなる。

そこで、本発明の課題は、複数の画像に係る特徴点の対応の判定を適正に行うことができ、これにより、これらの画像の合成を適正に行うことができる画像処理装置及びプログラムを提供することである。

請求項１に記載の発明は、
連続して撮像された複数の画像に係る画像情報に基づいて、各画像の特徴点を抽出する特徴点抽出手段（例えば、図２のオプティカルフロー検出部１３１等）と、前記特徴点抽出手段により抽出された各画像の前記特徴点及び当該特徴点の周囲の領域からなる特徴点包含領域（例えば、図９の特徴点包含領域Ｒ等）内の画素値の差分の絶対値和を算出して、当該絶対値和が所定の閾値以上となっているか否かに応じて前記特徴点どうしが対応しているか否かを判定する特徴点対応判定手段（例えば、図２のオプティカルフロー検出部１３１等）と、前記特徴点対応判定手段により前記特徴点どうしが対応していると判定された前記複数の画像情報を前記特徴点の位置に基づいて合成する画像合成手段（例えば、図２の画像合成部１３３等）と、を備える画像処理装置（例えば、図１の撮像装置１００等）であって、
各画像の前記特徴点包含領域内の画素の輝度を測定する輝度測定手段（例えば、図１の映像信号処理部１３等）と、
前記輝度測定手段により測定された前記特徴点包含領域内の前記画素の輝度に基づいて、前記複数の画像のうちの少なくとも一の画像の前記特徴点包含領域内の画素の輝度の明暗差が大きい程、前記特徴点対応判定手段における前記特徴点どうしの対応の判定を緩和する判定緩和手段（例えば、図１の映像信号処理部１３等）と、を備えることを特徴としている。

ここで、特徴点どうしの対応の判定の緩和とは、画像の特徴点どうしの対応が適正に行われたと判定される確率を高くするということである。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記判定緩和手段は、前記輝度測定手段により測定された各画像の前記特徴点包含領域内の画素の輝度のうちの最も明るい輝度に対して明暗差を小さくするように、当該特徴点包含領域内の画素の輝度を補正する画像補正手段（例えば、図１の映像信号処理部１３等）を備え、
前記特徴点対応判定手段は、前記画像補正手段により輝度が補正された各画像の前記特徴点包含領域内の画素に基づいて、当該特徴点包含領域内の画素値の差分の絶対値和を算出することを特徴としている。

請求項３に記載の発明は、請求項１に記載の画像処理装置（例えば、図１０の撮像装置２００等）において、
前記判定緩和手段は、前記輝度測定手段により測定された前記複数の画像のうちの少なくとも一の画像の前記特徴点包含領域内の画素の輝度が明るい程、前記閾値を大きくするように変更する閾値変更手段（例えば、図１０の映像信号処理部２１３等）を備え、
前記特徴点対応判定手段は、前記閾値変更手段により変更された前記閾値に基づいて、当該閾値よりも前記絶対値和が小さい場合に前記特徴点どうしが対応していると判定することを特徴としている。

請求項４に記載の発明のプログラムは、
連続して撮像された複数の画像に係る画像情報に基づいて、各画像の特徴点を抽出する特徴点抽出手段（例えば、図２のオプティカルフロー検出部１３１等）と、前記特徴点抽出手段により抽出された各画像の前記特徴点及び当該特徴点の周囲の領域からなる特徴点包含領域（例えば、図９の特徴点包含領域Ｒ等）内の画素値の差分の絶対値和を算出して、当該絶対値和が所定の閾値以上となっているか否かに応じて前記特徴点どうしが対応しているか否かを判定する特徴点対応判定手段（例えば、図２のオプティカルフロー検出部１３１等）と、前記特徴点対応判定手段により前記特徴点どうしが対応していると判定された前記複数の画像情報を前記特徴点の位置に基づいて合成する画像合成手段（例えば、図２の画像合成部１３３等）と、を備える画像処理装置（例えば、図１の撮像装置１００等）に、
各画像の前記特徴点包含領域内の画素の輝度を測定する機能と、
測定された前記特徴点包含領域内の前記画素の輝度に基づいて、前記複数の画像のうちの少なくとも一の画像の前記特徴点包含領域内の画素の輝度の明暗差が大きい程、前記特徴点対応判定手段における前記特徴点どうしの対応の判定を緩和する機能と、
を実現させることを特徴としている。

請求項１に記載の発明によれば、各画像の特徴点及び当該特徴点の周囲の領域からなる特徴点包含領域内の画素の輝度を測定する輝度測定手段と、この輝度測定手段により測定された特徴点包含領域内の画素の輝度に基づいて、複数の画像のうちの少なくとも一の画像の特徴点包含領域内の画素の輝度の明暗差が大きい程、特徴点対応判定手段における特徴点どうしの対応の判定を緩和する判定緩和手段とを備えている。これにより、特徴点包含領域内の画素の輝度の明暗差を考慮して、特徴点どうしが対応しているか否かの判定を行うことができるので、特徴点近傍となる特徴点包含領域内に著しく明るい画素が含まれている複数の画像に係る特徴点どうしの対応の判定においても、画像の特徴点包含領域内の画素の輝度の明暗差を考慮して特徴点の対応の判定を適正に行うことができることとなる。従って、複数の画像の合成を適正に行うことができる。

請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、輝度測定手段により測定された各画像の特徴点包含領域内の画素の輝度のうちの最も明るい輝度に対して明暗差を小さくするように、当該特徴点包含領域内の画素の輝度を補正する画像補正手段を備え、特徴点対応判定手段は、画像補正手段により輝度が補正された各画像の特徴点包含領域内の画素に基づいて、当該特徴点包含領域内の画素値の差分の絶対値和を算出することができる。これにより、各画像の特徴点包含領域内の画素の輝度のうちの最も明るい輝度に対する明暗差を小さくする補正を行うことができるので、輝度が補正された各画像の特徴点包含領域内の画素に基づいて算出される特徴点包含領域内の画素値の差分の絶対値和を小さくすることができることとなり、特徴点どうしが対応しているか否かの判定の精度を向上させることができる。

請求項３に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、輝度測定手段により測定された複数の画像のうちの少なくとも一の画像の特徴点包含領域内の画素の輝度が明るい程、特徴点どうしが対応しているか否かの判定に係る閾値を大きくするように変更する閾値変更手段を備え、特徴点対応判定手段は、閾値変更手段により変更された閾値に基づいて、当該閾値よりも絶対値和が小さい場合に特徴点どうしが対応していると判定することができる。これにより、複数の画像に係る特徴点どうしの対応の判定を信頼性が低下する状況下においても、画像の特徴点包含領域内の画素の輝度が明るい程、閾値を大きくすることによって、特徴点どうしの対応の判定精度の低下を防止することができることとなって、複数の画像の合成を適正に行うことができる。

請求項４に記載の発明によれば、各画像の特徴点及び当該特徴点の周囲の領域からなる特徴点包含領域内の画素の輝度を測定し、測定された特徴点包含領域内の画素の輝度に基づいて、複数の画像のうちの少なくとも一の画像の特徴点包含領域内の画素の輝度の明暗差が大きい程、特徴点対応判定手段における特徴点どうしの対応の判定を緩和することができる。これにより、特徴点包含領域内の画素の輝度の明暗差を考慮して、特徴点どうしが対応しているか否かの判定を行うことができるので、特徴点近傍となる特徴点包含領域内に著しく明るい画素が含まれている複数の画像に係る特徴点どうしの対応の判定においても、画像の特徴点包含領域内の画素の輝度の明暗差を考慮して特徴点の対応の判定を適正に行うことができることとなる。従って、複数の画像の合成を適正に行うことができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
以下に、実施形態１の撮像装置１００について図１〜図９を参照して説明する。
ここで、図１は、本発明を適用した画像処理装置の好適な一例として例示する実施形態１の撮像装置１００の要部構成を示すブロック図である。また、図２は、撮像装置１００の映像信号処理部１３を模式的に示した図である。

撮像装置１００は、例えば、デジタルカメラ等が適用され、具体的には、図１に示すように、被写体を撮像する撮像部１と、この撮像部１による被写体の撮像の際に駆動する撮像補助部２と、撮像部１により撮像された画像を表示する表示部３、当該撮像装置１００の所定操作を行うための操作部４と、撮像された画像を記録する記録媒体５と、外部機器との接続用のＵＳＢ端子６と、これら各部を制御する制御部７等を備えて構成されている。

撮像部１は、例えば、フォーカス機能及びズーム機能を有する撮像レンズ群１１と、この撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部１２と、この電子撮像部１２から出力される画像信号に対して所定の画像処理を施す映像信号処理部１３と、画像処理後の画像信号を一時的に記憶する画像メモリ１４と、制御回路７１のＣＰＵの制御下にて、電子撮像部１２及び映像信号処理部１３を制御するための撮影制御部１５等を備えている。

映像信号処理部１３は、例えば、図２に示すように、複数の画像の特徴点の抽出や特徴点の勾配法による追跡（トラック）するオプティカルフロー検出部１３１と、特徴点どうしが対応付けられた特徴点対応表からランダムに４つの特徴点を選択して、これら４つの特徴点を用いた射影変換（Ｈ計算）及び他の特徴点を用いたサポート計算等を行うＲＡＮＳＡＣ処理部１３２、特徴点どうしが対応する位置を計算して画像信号を加算（合成）する画像合成部１３３等を備えている。

制御部７は、例えば、撮像装置１００の各部を統括的に制御するＣＰＵを備える制御回路７１と、ＣＰＵの動作に必要な各種プログラムやデータを記憶するプログラムメモリ７２と、画像データ記憶用の内蔵フラッシュメモリであるデータメモリ７３等を備えている。

プログラムメモリ７２は、例えば、特徴点抽出プログラム７２ａ、輝度測定プログラム７２ｂ、特徴点対応判定プログラム７２ｃ、画像補正プログラム７２ｄ、画像合成プログラム７２ｅ等を記憶している。

特徴点抽出プログラム７２ａは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、撮像部１の映像信号処理部１３に、特徴点抽出手段として、電子撮像部１２により所定間隔を空けて連続撮影された複数の画像に係る画像信号に基づいて、各画像の特徴点を所定数抽出する処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる特徴点抽出プログラム７２ａの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、複数の画像の各々についてその特徴点を勾配法により追跡して抽出するようになっている。

輝度測定プログラム７２ｂは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、輝度測定手段として、各画像に係る画像信号に基づいて、それぞれの特徴点及び当該特徴点の周囲の、例えば、１５×１５ピクセルの画素からなる特徴点包含領域Ｒ（図９（ａ）及び（ｂ）参照）内の画素の輝度を測定する処理に係る機能を実現させるためのプログラムである。

特徴点対応判定プログラム７２ｃは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、特徴点対応判定手段として、各画像の特徴点包含領域Ｒ内の画素値の差分の絶対値和を算出して、当該絶対値和が所定の閾値以上となっているか否かに応じて特徴点どうしが対応しているか否かを判定する処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる特徴点対応判定プログラム７２ｃの実行に基づいて、例えば、映像信号処理部１３のオプティカルフロー検出部１３１が、各画像の特徴点包含領域Ｒ内の画素値の差分の絶対値和を算出して、当該絶対値和が所定の閾値を越えていない場合に特徴点どうしが対応していると判定するようになっている。
また、後述するＣＰＵによる画像補正プログラム７２ｄの実行に基づいて特徴点包含領域Ｒ内の画素の輝度が補正された場合、即ち、特徴点どうしの対応の判定が緩和された場合には、ＣＰＵによる特徴点対応判定プログラム７２ｃの実行に基づいて、映像信号処理部１３が、補正された各画像の特徴点包含領域Ｒ内の画素に基づいて、当該特徴点包含領域Ｒ内の画素値の差分の絶対値和を算出するようになっている。
なお、複数の特徴点どうしが対応していると判定された場合には、これらの特徴点は、特徴点対応表に対応付けて記憶されるようになっている。

画像補正プログラム７２ｄは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、画像補正手段として、測定された各画像の特徴点包含領域Ｒ内の画素の輝度のうちの最も明るい輝度に対して明暗差が小さくなるように、当該特徴点包含領域Ｒ内の画素の輝度を補正する画像補正処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵによる画像補正プログラム７２ｄの実行に基づいて、映像信号処理部１３は、例えば、図３に示すような補正カーブを用いて特徴点包含領域Ｒ内の画素のガンマ補正を行うようになっている。これにより、映像信号処理部１３は、特徴点包含領域Ｒ内の画素の輝度の明暗差が大きい程、複数の画像における特徴点どうしの対応の判定を緩和する判定緩和手段として機能するようになっている。

ここで、画像補正処理について詳細に説明する。
先ず、本実施形態の撮像装置１００にあっては、画像補正を行う前に、撮像される画像の輝度レベルに応じて所定数のカテゴリーを設定する。そして、撮像装置１００は、例えば図４に示すように、画像全体の輝度レベルを０〜２５５とした場合に、輝度レベル０〜５０をカテゴリー１とし、輝度レベル５１〜１００をカテゴリー２とし、輝度レベル１０１〜１５０をカテゴリー３とし、輝度レベル１５１〜２００をカテゴリー４とし、輝度レベル２０１〜２５５をカテゴリー５とする。ここで、輝度レベルの大きいカテゴリー５が最も明るい部分となり、この最も明るい部分に対して当該カテゴリー５以外のカテゴリー１〜４に対して、図３のガンマ補正カーブに従って所定の補正関数を決定しておく。補正関数は、例えば、カテゴリー５との輝度レベルの差が大きくなるカテゴリー程（カテゴリー１側ほど）、強度のガンマ補正が行われるように、即ち、補正後の画素においてカテゴリー５に対する明暗差が小さくなるように設定されている。これにより、最も明るい部分に対して輝度レベルの差があまりない場合に（カテゴリー３や４等）、本来見たかった明るい部分以外の場所に対して悪影響が及ばされるのを抑制することができる。
なお、設定された補正関数は所定のカテゴリーと対応付けられて、例えば、プログラムメモリ７２等に格納されるようになっている。

そして、画像の特徴点の抽出後、測定された特徴点包含領域Ｒ内の画素の輝度に基づいて、特徴点包含領域Ｒ内の画素を輝度レベル別に分けて配置し、当該特徴点包含領域Ｒの輝度レベルを求める（図５参照）。このとき、最も明るいカテゴリー５以外で最も多くの画素が分布しているカテゴリーを当該特徴点包含領域Ｒを代表するカテゴリーとみなして（例えば、図５におけるカテゴリー１）、当該カテゴリーに対応する補正関数をプログラムメモリ７２から取得して設定するようになっている。
なお、特徴点包含領域Ｒの画素が最も明るい部分に分布していない場合（図６（ａ）参照）、或いは、特徴点包含領域Ｒの画素が最も明るい部分にのみ分布している場合には（図６（ｂ）参照）、画像の補正をする必要がないため、補正関数をなしとするようになっている。

画像合成プログラム７２ｅは、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、画像合成手段として、特徴点どうしが対応していると判定された複数の画像信号を合成する処理に係る機能を実現させるためのプログラムである。具体的には、ＣＰＵによる画像合成プログラム７２ｅの実行に基づいて、映像信号処理部１３の画像合成部１３３は、特徴点どうしの対応の判定後にＲＡＮＳＡＣ処理部１３２にて射影変換（Ｈ計算）が行われた画像信号どうしを合成するようになっている。

撮像補助部２は、例えば、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させるためのフォーカス駆動部２１と、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させるためのズーム駆動部２２と、ストロボ発光部２３を発光させるためのストロボ駆動部２４等を備えている。
これらフォーカス駆動部２１、ズーム駆動部２２及びストロボ駆動部２４は、例えば、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動するようになっている。

表示部３は、例えば、ＣＰＵから適宜出力される表示データを一時的に保存するビデオメモリ（ＶＲＡＭ）を備える表示制御部３１と、この表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等の画像表示部３２等を備えている。

操作部４は、例えば、当該撮像装置１００の各部に設けられた撮影スイッチ、各種操作スイッチ等を備える操作入力部４１と、この操作入力部４１から入力された操作信号をＣＰＵに入力するための入力回路４２等を備えている。

記録媒体５としては、例えば、カード型のフラッシュメモリやハードディスク等を適用することができる。

次に、画像合成処理について図７〜図９を参照して説明する。
ここで、図７は、撮像装置１００による画像合成処理に係る動作の一例を示すフローチャートであり、図８は、補正関数設定処理に係る動作の一例を示すフローチャートである。また、図９は、画像合成処理により画像合成される画像の特徴点包含領域Ｒを模式的に示した図である。なお、図９にあっては、特徴点包含領域Ｒ内の画素の明るさを単位面積当たりのドット数で表し、単位面積当たりのドット数が少ない程、明るい画素であることを示している。
なお、以下の説明では、カテゴリー１〜４に応じた補正関数が予め設定されてプログラムメモリ７２の所定の格納領域に格納されているものとする。

図７に示すように、先ず、撮像装置１００のユーザによる所定操作に基づいて連続して画像が撮影されると、ＣＰＵによる特徴点抽出プログラム７２ａの実行に基づいて、映像信号処理部１３は、撮影された各画像の画像信号から画像の特徴点を所定数抽出する処理を行う（ステップＳ１）。
次に、ＣＰＵによる輝度測定プログラム７２ｂの実行に基づいて、映像信号処理部１３は、各画像の画像信号から各特徴点包含領域Ｒ内の画素の輝度を測定する処理を行う（ステップＳ２）。続けて、映像信号処理部１３は、測定された特徴点包含領域Ｒ内の画素をカテゴリー１〜５に対応する輝度レベル別に分けて配置し（ステップＳ３）、当該特徴点包含領域Ｒの補正関数を設定する補正関数設定処理を行う（ステップＳ４）。

補正関数設定処理にあっては、図８に示すように、先ず、映像信号処理部１３は、輝度レベル別に分けられた画素の分布に従って最も明るいカテゴリー５に分類される画素があるか否かを判定する（ステップＳ４１）。
ここで、カテゴリー５に分類される画素があると判定されると（ステップＳ４１；ＹＥＳ）、映像信号処理部１３は、カテゴリー１〜３に分類される画素があるか否かを判定する（ステップＳ４２）。

そして、ステップＳ４２にて、カテゴリー１〜３に分類される画素があると判定されると（ステップＳ４２；ＹＥＳ）、映像信号処理部１３は、カテゴリー１に画素が最も多く分布しているか否かを判定する（ステップＳ４３）。ここで、カテゴリー１に画素が最も多く分布していると判定されると（ステップＳ４３；ＹＥＳ）、映像信号処理部１３は、カテゴリー１に対応して設定されている補正関数１をプログラムメモリ７２から取得して補正関数として設定する（ステップＳ４４）。
一方、カテゴリー１に画素が最も多く分布していないと判定されると（ステップＳ４３；ＮＯ）、映像信号処理部１３は、カテゴリー２に画素が最も多く分布しているか否かを判定する（ステップＳ４５）。

ステップＳ４５にて、カテゴリー２に画素が最も多く分布していると判定されると（ステップＳ４５；ＹＥＳ）、映像信号処理部１３は、カテゴリー２に対応して設定されている補正関数２をプログラムメモリ７２から取得して補正関数として設定する（ステップＳ４６）。
一方、カテゴリー２に画素が最も多く分布していないと判定されると（ステップＳ４５；ＮＯ）、映像信号処理部１３は、カテゴリー３に画素が最も多く分布しているか否かを判定する（ステップＳ４７）。

ステップＳ４７にて、カテゴリー３に画素が最も多く分布していると判定されると（ステップＳ４７；ＹＥＳ）、映像信号処理部１３は、カテゴリー３に対応して設定されている補正関数３をプログラムメモリ７２から取得して補正関数として設定する（ステップＳ４８）。
一方、カテゴリー３に画素が最も多く分布していないと判定されると（ステップＳ４７；ＮＯ）、映像信号処理部１３は、カテゴリー４に対応して設定されている補正関数４をプログラムメモリ７２から取得して補正関数として設定する（ステップＳ４９）。

なお、ステップＳ４１にて、カテゴリー５に分類される画素がないと判定された場合（ステップＳ４１；ＮＯ）、或いは、ステップＳ４２にて、カテゴリー１〜３に分類される画素がないと判定された場合には（ステップＳ４２；ＮＯ）、補正関数を設定することなく、当該補正関数設定処理を終了する。

上記のようにして、補正関数の設定が終了すると、映像信号処理部１３は、規定個数の特徴点の抽出が行われたか否かを判定する（ステップＳ５）。ここで、規定個数の特徴点の抽出が行われていないと判定されると（ステップＳ５；ＮＯ）、ステップＳ１に移行して、それ以降の処理を実行する。

一方、ステップＳ５にて、規定個数の特徴点の抽出が行われたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵによる画像補正プログラム７２ｄの実行に基づいて、映像信号処理部１３は、補正関数設定処理にて設定された補正関数を用いて各画像の特徴点包含領域Ｒの画素の輝度レベルに応じてガンマ補正をする（ステップＳ６）。これにより、例えば、図９（ａ）及び（ｂ）に示すように、画像のずれが所定の閾値内に収まる程度の微小なものであっても、より明るい輝度の部分に違いがあるために２つの画像の特徴点どうしの対応が適正に行われないような画像の特徴点包含領域Ｒ内の画素の輝度レベルの明暗差を小さくすること、つまり、特徴点包含領域Ｒ内の明るい画素と暗い画素の差分を小さくすることができる。
続けて、ＣＰＵによる特徴点対応判定プログラム７２ｃの実行に基づいて、映像信号処理部１３は、補正された各画像の特徴点包含領域Ｒ内の画素に基づいて、当該特徴点包含領域Ｒ内の画素値の差分の絶対値和を算出する処理を行う（ステップＳ７）。次に、映像信号処理部１３は、算出された絶対値和が所定の閾値以上となっているか否かを判定する（ステップＳ８）。
ここで、絶対値和が所定の閾値以上となっていると判定されると（ステップＳ８；ＹＥＳ）、映像信号処理部１３は、当該特徴点を特徴点対応リストから外し（ステップＳ９）、その後、ステップＳ６に移行して、それ以降の処理を実行する。
一方、絶対値和が所定の閾値以上となっていない、即ち、閾値よりも小さいと判定されると（ステップＳ８；ＮＯ）、映像信号処理部１３は、これらの特徴点どうしを対応付ける処理を行う（ステップＳ１０）。

次に、映像信号処理部１３は、特徴点どうしの対応付けが全ての特徴点について行われたか否かを判定する（ステップＳ１１）。
ここで、全ての特徴点について行われていないと判定されると（ステップＳ１１；ＮＯ）、映像信号処理部１３は、ステップＳ６に移行して、それ以降の処理を実行する。
一方、全ての特徴点について行われたと判定されると（ステップＳ１１；ＹＥＳ）、映像信号処理部１３は、対応付けが行われた全ての特徴点について特徴点対応表を作成して記憶する（ステップＳ１２）。

その後、映像信号処理部１３のＲＡＮＳＡＣ処理部１３２は、特徴点対応表からの４つの特徴点のランダムな選択及びこれら４つの特徴点を用いた射影変換（Ｈ計算）を繰り返し行って（ステップＳ１３）、画像合成部１３３は、特徴点どうしが対応する画像どうしを合成する処理を行う（ステップＳ１４）。
これにより、画像合成処理を終了する。

以上のように、実施形態１の撮像装置１００によれば、特徴点包含領域Ｒ内の画素の輝度レベルに応じた分布に基づいて、特徴点包含領域Ｒ内の画素の輝度の明暗差が大きい程、特徴点どうしが対応しているか否かの判定を緩和するように、即ち、各画像の特徴点包含領域Ｒ内の画素の輝度のうちの最も明るい輝度に対して明暗差を小さくするように、当該特徴点包含領域Ｒ内の画素の輝度を補正することができる。そして、映像信号処理部１３は、輝度が補正された各画像の特徴点包含領域Ｒ内の画素に基づいて、当該特徴点包含領域Ｒ内の画素値の差分の絶対値和を算出して、当該絶対値和が所定の閾値以上となっているか否かに応じて特徴点どうしが対応しているか否かを判定することができる。
つまり、特徴点包含領域Ｒ内の画素の輝度の明暗差を考慮して、特徴点どうしが対応しているか否かの判定を適正に行うことができる。具体的には、例えば、暗い環境にて撮影領域内に光源が含まれ、当該光源付近に特徴点が存し、複数の画像に係る特徴点どうしの対応の判定の信頼性が低下する状況下においても、画像の特徴点包含領域Ｒ内の画素の輝度の明暗差を考慮して判定を緩和するように特徴点包含領域Ｒ内の画素の輝度を補正することができる。これにより、不安定な明るい画素の差分を小さくすることができ、主として特徴点包含領域Ｒ内にてより暗い方の画素を用いて特徴点どうしの対応を確認することができることとなって、特徴点どうしが対応しているか否かの判定を適正に行うことができる。また、算出される特徴点包含領域Ｒ内の画素値の差分の絶対値和がより小さくなるので、特徴点どうしの対応の判定の精度をより向上させることができる。
従って、本実施形態の撮像装置１００により複数の画像の合成を適正に行うことができる。

［実施形態２］
以下に、実施形態２の撮像装置２００について、図１０〜図１２を参照して説明する。
ここで、図１０は、本発明に係る実施形態２の撮像装置２００の要部構成を示すブロック図である。
なお、実施形態２の撮像装置２００は、映像信号処理部２１３により閾値設定処理が実行される以外の点では上記実施形態１と同様であるので、同様の構成には同一の符号を付してその説明を省略する。

実施形態２の撮像装置２００は、複数の画像のうちの少なくとも一の画像の特徴点包含領域Ｒ内の画素の輝度が明るい程、特徴点どうしの対応の判定に係る閾値を大きくするように変更する処理を行うようになっている。
即ち、プログラムメモリ２７２には、ＣＰＵからの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部２１３に、閾値変更手段として、複数の画像のうちの少なくとも一の画像の特徴点包含領域Ｒ内の画素の輝度が明るい程、閾値を大きくするように変更する処理に係る機能を実現させるための閾値変更プログラム７２ｆが記憶されている。
具体的には、ＣＰＵによる閾値変更プログラム７２ｆの実行に基づいて、映像信号処理部２１３は、判定緩和手段として、例えば、最も明るいカテゴリー５に分布される画素の量に応じて、即ち、カテゴリー５に分布される画素の量が多いほど閾値がより大きくなるように、所定の閾値（例えば図１２における、閾値１〜４）に変更して設定するようになっている。
なお、閾値は、例えば、カテゴリー５に分布される画素の量に応じて予め所定の値が対応付けられて、プログラムメモリ７２等に記憶されている。

次に、画像合成処理について図１１及び図１２を参照して説明する。
ここで、図１１は、撮像装置２００による画像合成処理に係る動作の一例を示すフローチャートであり、また、図１２は、撮像装置２００による閾値設定処理に係る動作の一例を示すフローチャートである。
なお、実施形態２の撮像装置２００による画像合成処理は、以下に説明する工程以外の工程は、実施形態１の撮像装置１００による画像合成処理とほぼ同様となっている。

撮像装置２００による画像合成処理にあっては、図１１に示すように、映像信号処理部２１３は、ステップＳ３における特徴点包含領域Ｒ内の画素のカテゴリー１〜５に対応する輝度レベル別に分けた配置後、特徴点どうしの対応の判定に係る閾値を設定する閾値設定処理を行うようになっている（ステップＳ２０４）。

閾値設定処理にあっては、図１２に示すように、先ず、映像信号処理部２１３は、ステップＳ３にて輝度レベル別に分けられた画素の分布に従って最も明るいカテゴリー５に分類される画素があるか否かを判定する（ステップＳ２４１）。
ここで、カテゴリー５に分類される画素があると判定されると（ステップＳ２４１；ＹＥＳ）、映像信号処理部２１３は、カテゴリー１〜３に分類される画素があるか否かを判定する（ステップＳ２４２）。

そして、ステップＳ２４２にて、カテゴリー１〜３に分類される画素があると判定されると（ステップＳ２４２；ＹＥＳ）、映像信号処理部２１３は、カテゴリー５の画素の分布量が所定の判定値Ｔ１以上であるか否かを判定する（ステップＳ２４３）。ここで、カテゴリー５の画素の分布量が判定値Ｔ１以上であると判定されると（ステップＳ２４３；ＹＥＳ）、映像信号処理部２１３は、最も値の大きい閾値１をプログラムメモリ７２から取得して閾値として設定する（ステップＳ２４４）。
一方、カテゴリー５の画素の分布量が判定値Ｔ１よりも少ないと判定されると（ステップＳ２４３；ＮＯ）、映像信号処理部２１３は、カテゴリー５の画素の分布量が判定値Ｔ１よりも値の小さい判定値Ｔ２以上であるか否かを判定する（ステップＳ２４５）。

ステップＳ２４５にて、カテゴリー５の画素の分布量が判定値Ｔ２以上であると判定されると（ステップＳ２４５；ＹＥＳ）、映像信号処理部２１３は、閾値１に次いで値の大きい閾値２をプログラムメモリ７２から取得して閾値として設定する（ステップＳ２４６）。
一方、カテゴリー５の画素の分布量が判定値Ｔ２よりも少ないと判定されると（ステップＳ２４５；ＮＯ）、映像信号処理部２１３は、カテゴリー５の画素の分布量が判定値Ｔ２よりも値の小さい判定値Ｔ３以上であるか否かを判定する（ステップＳ２４７）。

ステップＳ２４７にて、カテゴリー５の画素の分布量が判定値Ｔ３以上であると判定されると（ステップＳ２４７；ＹＥＳ）、映像信号処理部２１３は、閾値２に次いで値の大きい閾値３をプログラムメモリ７２から取得して閾値として設定する（ステップＳ２４８）。
一方、カテゴリー５の画素の分布量が判定値Ｔ３よりも少ないと判定されると（ステップＳ２４７；ＮＯ）、映像信号処理部２１３は、最も値の小さい閾値４をプログラムメモリ７２から取得して閾値として設定する（ステップＳ２４９）。

なお、ステップＳ２４１にて、カテゴリー５に分類される画素がないと判定された場合（ステップＳ２４１；ＮＯ）、或いは、ステップＳ２４２にて、カテゴリー１〜３に分類される画素がないと判定された場合には（ステップＳ２４２；ＮＯ）、閾値を設定することなく、当該閾値設定処理を終了する。

そして、上記のようにして設定された所定の閾値を用いて、ステップＳ２０７にて、映像信号処理部２１３は、ステップＳ７にて算出された絶対値和が当該閾値以上となっているか否かを判定する。

以上のように、実施形態２の撮像装置２００によれば、画像の特徴点包含領域Ｒ内の画素の輝度が明るい程、特徴点どうしが対応しているか否かの判定に係る閾値を大きくするように変更することができ、映像信号処理部２１３は、変更された閾値に基づいて、当該閾値よりも絶対値和が小さい場合に特徴点どうしが対応していると判定することができる。これにより、複数の画像に係る特徴点どうしの対応の判定の信頼性が低下する状況下においても、画像の特徴点包含領域Ｒ内の画素の輝度が明るい程、閾値を大きくすることによって、特徴点どうしの対応の判定精度の低下を防止することができることとなって、複数の画像の合成を適正に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像補正処理と閾値設定処理の双方に係る機能を具備する撮像装置であっても良く、これにより、特徴点どうしの判定をより適正に行うことができることとなって、画像合成をより適正に行うことができる。

また、上記実施形態１及び２では、輝度レベルをカテゴリー１〜５の５つのカテゴリーに分けるようにしたが、カテゴリーの数はこれに限られるものではなく如何なる数であっても良い。
さらに、図３に示されたガンマ補正カーブも一例であり、これに限られるものではない。

また、映像信号処理部１３、２１３による特徴点どうしが対応しているか否かの判定を緩和する方法として、画素の輝度を補正する方法と閾値を変更する方法を例示したが、これらに限られるものではなく、特徴点どうしの対応の判定を緩和する方法であれば他の如何なるものであっても良い。

さらに、上記実施形態では、本発明に係る画像処理装置として、撮像装置１００、２００を例示したが、これに限られるものではなく、本発明に係り、複数の画像の特徴点の対応の判定、及びこれらの画像の合成を適正に行うことができる機能を有する画像処理装置であれば如何なるものであっても良い。

本発明を適用した画像処理装置の好適な一例として例示する実施形態１の撮像装置の要部構成を示すブロック図である。図１の撮像装置の映像信号処理部を模式的に示した図である。図１の撮像装置の映像信号処理部によるガンマ補正に係るガンマ補正カーブを模式的に示した図である。輝度レベルに応じて設定されたカテゴリーと補正関数との対応関係を模式的に示した図である。特徴点包含領域内の画素の輝度分布の一例を模式的に示した図である。特徴点包含領域内の画素の輝度分布の一例を模式的に示した図である。図１の撮像装置による画像合成処理に係る動作の一例を示すフローチャートである。図１の撮像装置による補正関数設定処理に係る動作の一例を示すフローチャートである。図７の画像合成処理により画像合成される画像の特徴点包含領域を模式的に示した図である。本発明を適用した画像処理装置の好適な一例として例示する実施形態２の撮像装置の要部構成を示すブロック図である。図１０の撮像装置による画像合成処理に係る動作の一例を示すフローチャートである。図１０の撮像装置による閾値設定処理に係る動作の一例を示すフローチャートである。

符号の説明

１００、２００撮像装置（画像処理装置）
１撮像部
１２電子撮像部
１３、２１３映像信号処理部（輝度測定手段、判定緩和手段、画像補正手段、閾値変更手段）
１３１オプティカルフロー検出部（特徴点抽出手段、特徴点対応判定手段）
１３２ＲＡＮＳＡＣ処理部
１３３画像合成部（画像合成手段）
１５撮影制御部
７制御部
７１制御回路
７２、２７２プログラムメモリ
Ｒ特徴点包含領域

Claims

連続して撮像された複数の画像に係る画像情報に基づいて、各画像の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された各画像の前記特徴点及び当該特徴点の周囲の領域からなる特徴点包含領域内の画素値の差分の絶対値和を算出して、当該絶対値和が所定の閾値以上となっているか否かに応じて前記特徴点どうしが対応しているか否かを判定する特徴点対応判定手段と、前記特徴点対応判定手段により前記特徴点どうしが対応していると判定された前記複数の画像情報を前記特徴点の位置に基づいて合成する画像合成手段と、を備える画像処理装置であって、
各画像の前記特徴点包含領域内の画素の輝度を測定する輝度測定手段と、
前記輝度測定手段により測定された前記特徴点包含領域内の前記画素の輝度に基づいて、前記複数の画像のうちの少なくとも一の画像の前記特徴点包含領域内の画素の輝度の明暗差が大きい程、前記特徴点対応判定手段における前記特徴点どうしの対応の判定を緩和する判定緩和手段と、を備えることを特徴とする画像処理装置。
前記判定緩和手段は、前記輝度測定手段により測定された各画像の前記特徴点包含領域内の画素の輝度のうちの最も明るい輝度に対して明暗差を小さくするように、当該特徴点包含領域内の画素の輝度を補正する画像補正手段を備え、
前記特徴点対応判定手段は、前記画像補正手段により輝度が補正された各画像の前記特徴点包含領域内の画素に基づいて、当該特徴点包含領域内の画素値の差分の絶対値和を算出することを特徴とする請求項１に記載の画像処理装置。
前記判定緩和手段は、前記輝度測定手段により測定された前記複数の画像のうちの少なくとも一の画像の前記特徴点包含領域内の画素の輝度が明るい程、前記閾値を大きくするように変更する閾値変更手段を備え、
前記特徴点対応判定手段は、前記閾値変更手段により変更された前記閾値に基づいて、当該閾値よりも前記絶対値和が小さい場合に前記特徴点どうしが対応していると判定することを特徴とする請求項１に記載の画像処理装置。
連続して撮像された複数の画像に係る画像情報に基づいて、各画像の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された各画像の前記特徴点及び当該特徴点の周囲の領域からなる特徴点包含領域内の画素値の差分の絶対値和を算出して、当該絶対値和が所定の閾値以上となっているか否かに応じて前記特徴点どうしが対応しているか否かを判定する特徴点対応判定手段と、前記特徴点対応判定手段により前記特徴点どうしが対応していると判定された前記複数の画像情報を前記特徴点の位置に基づいて合成する画像合成手段と、を備える画像処理装置に、
各画像の前記特徴点包含領域内の画素の輝度を測定する機能と、
測定された前記特徴点包含領域内の前記画素の輝度に基づいて、前記複数の画像のうちの少なくとも一の画像の前記特徴点包含領域内の画素の輝度の明暗差が大きい程、前記特徴点対応判定手段における前記特徴点どうしの対応の判定を緩和する機能と、
を実現させるためのプログラム。