JP5034733B2 - 特徴点追跡装置及びプログラム - Google Patents

Description

本発明は、複数の画像間において特徴点の追跡を行う特徴点追跡装置及びプログラムに関する。

近年、連続して撮影された複数の画像を重ね合わせることで、長時間露光とほぼ同じ露出の合成画像を得る方法が知られている。
ここで、撮影フレーム間でのカメラの動きによる位相のずれは、基準画像から特徴点を複数検出し、これらの特徴点が対象画像内でどのように移動したかを追跡して求める。例えば、基準画像Ｐの特徴点をｐ1（x1，y1）とし、対象画像Ｑの特徴点ｐ1と対応する特徴点をｑ1（x1＋dx，y1＋dy）とする。このとき、特徴点の対応を求める方法として、ｐ1（x1，y1）に対して対象画像Ｑの同一座標点ｑ1（x1，y1）を中心とした（Δx，Δy）の範囲で全画素を比較して探し出すグローバルマッチング法や、局所拘束法を用いてｐ1（x1，y1）のオプティカルフローを計算し、対象画像Ｑの初期位置ｑ1（x1，y1）からdx、dyを求める方法などが用いられる（例えば、特許文献１参照）。
特開２００５−９４６１４号公報

しかしながら、上記の特徴点の対応を求める方法にあっては、特徴点を誤って対応させてしまうといった問題がある。即ち、被写体画像の中には、格子状の模様が繰り返されている画像などのように特徴の類似する画素が多い画像が存在するため、このような特徴点は追跡を誤ってしまう可能性が高くなってしまうこととなる。

そこで、本発明の課題は、特徴点対応を誤らせる確率を低減させることができる特徴点追跡装置及びプログラムを提供することである。

請求項１に記載の発明の特徴点追跡装置は、
複数の画像のうち、何れか一の基準画像内から特徴点を複数抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された複数の特徴点を対象画像内で追跡する特徴点追跡手段と、
前記抽出された複数の特徴点から選択された所定数の特徴点の前記特徴点追跡手段による追跡結果に基づいて、前記基準画像と前記対象画像間における座標変換式を算出する座標変換式算出手段と、
前記座標変換式算出手段により算出された前記座標変換式を用いて、前記抽出された複数の特徴点における前記所定数の特徴点以外の複数の特徴点中の特定の特徴点を座標変換した前記対象画像内における対応点を、前記特徴点追跡手段による当該特定の特徴点の追跡の初期位置として設定する初期位置設定手段と、
前記初期位置設定手段により初期位置として設定された対応点を用いて、前記特定の特徴点を追跡するように前記特徴点追跡手段を制御する第１の追跡制御手段と、
前記第１の追跡制御手段による特定の特徴点の追跡後に、当該第１の追跡制御手段により追跡対象とされていない特徴点が前記所定数の特徴点以外の複数の特徴点中に存在するか否かを判定する追跡判定手段と、
前記追跡判定手段により追跡対象とされていない特徴点が存在すると判定されると、当該特徴点に対して前記対応点を設定するよう前記初期位置設定手段を制御する設定制御手段と、
前記設定制御手段の制御により設定された対応点を用いて、前記追跡対象とされていない特徴点を追跡するよう制御する第２の追跡制御手段と、
を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の特徴点追跡装置において、
前記座標変換式算出手段は、
前記特徴点抽出手段により抽出された複数の特徴点について信頼度を夫々算出する信頼度算出手段と、
前記信頼度算出手段により算出された前記信頼度に基づいて、前記複数の特徴点の中で前記座標変換式算出手段による前記座標変換式の算出に係る前記所定数の特徴点を選択する特徴点選択手段とを備えることを特徴としている。

請求項３に記載の発明は、請求項２に記載の特徴点追跡装置において、
前記特徴点選択手段は、前記信頼度算出手段により算出された前記信頼度を評価して、当該信頼度の高い方から所定数の特徴点を選択することを特徴としている。

請求項４に記載の発明は、請求項２又は３に記載の特徴点追跡装置において、
前記信頼度算出手段は、
前記基準画像における前記特徴点の所定の周辺領域内での当該特徴点とその他の部分との特徴量の差分を算出する特徴量差分算出手段を備え、当該特徴量差分算出手段により算出された前記差分に基づいて前記特徴点の信頼度を算出することを特徴としている。

請求項５に記載の発明は、請求項２〜４の何れか一項に記載の特徴点追跡装置において、
前記信頼度算出手段は、
前記特徴点と前記基準画像における当該特徴点の周辺の第１の領域との構成関係の当該特徴点の周辺の第２の領域に対する類似度合を調べる類似度合調査手段を備え、前記類似度合調査手段により調べられた前記類似度合に基づいて前記特徴点の信頼度を算出することを特徴としている。

請求項６に記載の発明は、請求項２〜５の何れか一項に記載の特徴点追跡装置において、
前記信頼度算出手段は、
前記特徴点が前記基準画像内にて当該基準画像を構成する画像部分どうしの境界であるエッジ上に存するか否かを判定するエッジ判定手段を備え、前記エッジ判定手段による判定結果に基づいて前記特徴点の信頼度を算出することを特徴としている。

請求項７に記載の発明は、請求項２〜６の何れか一項に記載の特徴点追跡装置において、
前記信頼度算出手段は、
前記基準画像における前記特徴点の所定の周辺領域の明るさを算出する明るさ算出手段を備え、前記明るさ算出手段により算出された前記明るさに基づいて前記特徴点の信頼度を算出することを特徴としている。

請求項８に記載の発明は、請求項１〜７の何れか一項に記載の特徴点追跡装置において、
前記座標変換式算出手段は、
前記所定数の特徴点と、前記特徴点追跡手段による追跡結果である前記対象画像内における所定数の特徴点の対応点とを用いて、前記基準画像と前記対象画像間における座標変換式を算出することを特徴としている。

請求項９に記載の発明は、請求項１〜８の何れか一項に記載の特徴点追跡装置において、
前記特徴点追跡手段による追跡結果に基づいて、前記基準画像と前記対象画像との位置合わせを行う画像位置合わせ手段を備えることを特徴としている。

請求項１０に記載の発明のプログラムは、
コンピュータに、
複数の画像のうち、何れか一の基準画像内から複数の特徴点を抽出する機能と、
前記抽出された複数の特徴点を対象画像内で追跡する機能と、
前記抽出された複数の特徴点から選択された所定数の特徴点の追跡結果に基づいて、前記基準画像と前記対象画像間における座標変換式を算出する機能と、
算出された前記座標変換式を用いて、前記抽出された複数の特徴点における前記所定数の特徴点以外の複数の特徴点中の特定の特徴点を座標変換した前記対象画像内における対応点を、当該特定の特徴点の追跡の初期位置として設定する機能と、
初期位置として設定された対応点を用いて、前記特定の特徴点を追跡するように制御する機能と、
前記特定の特徴点の追跡後に、追跡対象とされていない特徴点が前記所定数の特徴点以外の複数の特徴点中に存在するか否かを判定する機能と、
前記追跡対象となる特徴点が存在すると判定されると、当該特徴点に対して前記対応点を設定するよう制御する機能と、
前記設定された対応点を用いて、前記追跡対象の特徴点を追跡するよう制御する第２の機能と、
を実現させることを特徴としている。

本発明によれば、画像間の特徴点対応を誤らせる確率を低減させることができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。また、図２は、撮像装置１００の映像信号処理部１３を模式的に示した図である。

本実施形態の撮像装置１００は、基準画像Ｐ内から抽出した４つの特徴点を用いて基準画像Ｐと対象画像間における座標変換に係る仮射影変換行列Ｈ’を算出し、当該仮射影変換行列Ｈ’を用いて残り（４つの特徴点以外）の特徴点を座標変換した対象画像内における仮対応点を当該特徴点の追跡初期位置として設定して追跡する。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、ＵＳＢ端子６と、制御部７等を備えて構成されている。

撮像部１は、撮像手段として、被写体を連続して撮像して複数の画像フレームを生成する。具体的には、撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮影制御部１５等を備えている。

撮像レンズ群１１は、複数の撮像レンズから構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子から構成されている。

映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像処理を施すものである。具体的には、映像信号処理部１３は、図２に示すように、オプティカルフロー検出部１３１と、ＲＡＮＳＡＣ部１３２と、画像合成部１３３を備えている。

オプティカルフロー検出部１３１は、画像合成される複数の画像のうちの基準画像Ｐからの特徴点の抽出、抽出された特徴点の信頼度の計算（詳細後述）、仮射影変換行列Ｈ’の算出に係る特徴点として最も信頼度の高いもの（最上位特徴点）から４つの特徴点の選択（詳細後述）、選択及び抽出された特徴点の追跡、仮射影変換行列Ｈ’を算出して各特徴点についての追跡の初期位置の決定（詳細後述）等を行う。
ＲＡＮＳＡＣ部１３２は、特徴点どうしが対応付けられた特徴点対応からランダムに所定数の特徴点を選択して、これらの特徴点を用いた射影変換（Ｈ計算）及び他の特徴点を用いたサポート計算等を行う。
画像合成部１３３は、画素どうしが対応する位置を計算して画像信号を加算（合成）する。

画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。
撮影制御部１５は、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御する。具体的には、撮影制御部１５は、電子撮像部１２に所定の露出時間で被写体を撮像させ、当該電子撮像部１２の撮像領域から画像信号を所定のフレームレートで読み出す処理の実行を制御する。

撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、フォーカス駆動部２１と、ズーム駆動部２２等を備えている。

フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。

表示部３は、撮像部１により撮像された画像を表示するものであり、表示制御部３１と、画像表示部３２等を備えている。
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部３２は、表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。

操作部４は、当該撮像装置１００の所定操作を行うためのものであり、操作入力部４１と、入力回路４２等を備えている。

操作入力部４１は、撮像部１による被写体の撮像を指示するシャッターボタン４１ａを備えている。
入力回路４２は、操作入力部４１から出力され入力された操作信号をＣＰＵ７１に入力するためのものである。

記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、撮像部１により撮像された画像の画像データを複数記憶する。

ＵＳＢ端子６は、外部機器との接続用の端子であり、ＵＳＢケーブル（図示略）等を介してデータの送受信を行う。

制御部７は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ７１と、プログラムメモリ７２と、データメモリ７３等を備えている。

ＣＰＵ７１は、プログラムメモリ７２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。

データメモリ７３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ７１によって処理されるデータ等を一時記憶する。

プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ７２は、特徴点抽出プログラム７２ａ、特徴点追跡プログラム７２ｂ、信頼度算出プログラム７２ｃ、特徴点選択プログラム７２ｄ、仮座標変換式算出プログラム７２ｅ、初期位置設定プログラム７２ｆ、画像合成プログラム７２ｇ等を記憶している。

特徴点抽出プログラム７２ａは、ＣＰＵ７１の制御下にて、映像信号処理部１３のオプティカルフロー検出部１３１に、電子撮像部１２により撮像された複数の画像のうち、何れか一の基準画像Ｐ内から特徴点を複数抽出させる処理を実現させるためのプログラムである。
具体的には、ＣＰＵ７１による特徴点抽出プログラム７２ａの実行に基づいて、オプティカルフロー検出部１３１が、基準画像Ｐから所定のブロック領域を特徴点として選択して抽出する特徴点抽出処理を行う。例えば、図３に示すように、家の屋根と空（背景）との境界部分ｐ１、ｐ２、ｐ３や、窓と壁との境界部分ｐ４や、窓枠の格子部分ｐ５や、電柱や電線と空との境界部分ｐ６、ｐ７等を特徴点として抽出する。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、基準画像Ｐ内から特徴点を複数抽出する特徴点抽出手段として機能する。

特徴点追跡プログラム７２ｂは、ＣＰＵ７１の制御下にて、映像信号処理部１３のオプティカルフロー検出部１３１に、特徴点抽出処理にて抽出された複数の特徴点を対象画像内で追跡させる処理を実現させるためのプログラムである。具体的には、ＣＰＵ７１による特徴点追跡プログラム７２ｂの実行に基づいて、特徴点選択処理（詳細後述）にて選択された最上位特徴点を対象画像内で追跡したり、初期位置設定処理（詳細後述）により設定された仮対応点を初期位置として対象画像内で残り（最上位特徴点以外）の特徴点を追跡する。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、抽出された特徴点を対象画像内で追跡する特徴点追跡手段として機能する。

信頼度算出プログラム７２ｃは、ＣＰＵ７１の制御下にて、映像信号処理部１３のオプティカルフロー検出部１３１に、特徴点抽出処理にて抽出された複数の特徴点の各々について信頼度を算出させる処理を実現させるためのプログラムである。

具体的には、ＣＰＵ７１による信頼度算出プログラム７２ｃの実行に基づいて、オプティカルフロー検出部１３１が、基準画像Ｐにおける各特徴点を中心とした所定の周辺領域（図示略）内での特徴点の画素とその他の部分の画素との特徴量の差分を算出して、当該差分に基づいて特徴点の信頼度を算出する。即ち、特徴点の画素とその他の画素との特徴量の差分が大きい方が信頼度が高いと言えるため、差分の大きさが大きいほど信頼度を高くする。
なお、周辺領域は、例えば、特徴点に接する近傍画素であっても良い。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、基準画像Ｐにおける特徴点の所定の周辺領域内での当該特徴点とその他の部分との特徴量の差分を算出する特徴量差分算出手段として機能する。

また、ＣＰＵ７１による信頼度算出プログラム７２ｃの実行に基づいて、オプティカルフロー検出部１３１が、各特徴点と基準画像Ｐにおける当該特徴点の近傍画素（第１の領域；図示略）との構成関係を調べ、当該特徴点を中心とした所定の周辺領域（第２の領域；図示略）に類似する構成をもつ画素が存するかどうか、即ち、特徴点の近傍画素との構成関係に周期性があるかどうかを調べ、類似度合に基づいて前記特徴点の信頼度を算出する。つまり、類似する構成がない方が特徴点の信頼度が高いと言えるため、類似する構成がある場合には、近傍画素領域内での差分を算出して、差分の大きさが大きいほど信頼度を低下させる。例えば、図３における窓枠の格子部分の特徴点ｐ５の場合、その周りに同じような窓枠格子が存するため、当該特徴点の信頼度は低いと考えられる。一方、家の屋根の頂点部分と空との境界部分の特徴点ｐ１、ｐ２や、電柱と空との境界部分の特徴点ｐ６の場合、その周りに同じような画像構成部分が存しないため、当該特徴点の信頼度は高いと考えられる。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、特徴点と基準画像Ｐにおける当該特徴点の周辺の第１の領域との構成関係の当該特徴点の周辺の第２の領域に対する類似度合を調べる類似度合調査手段として機能する。

また、ＣＰＵ７１による信頼度算出プログラム７２ｃの実行に基づいて、オプティカルフロー検出部１３１が、各特徴点が基準画像Ｐ内にて当該基準画像Ｐを構成する画像部分どうしの境界である略直線状のエッジ上に存するか否かを判定して、判定結果に基づいて特徴点の信頼度を算出する。即ち、特徴点が略直線状のエッジ状に存する場合、その周りに同じような画像構成部分が存するため、当該特徴点の信頼度を低くする。例えば、図３における家の屋根のへり上に存する特徴点ｐ３や、電線上に存する特徴点ｐ７の場合、当該特徴点の信頼度は低いと考えられる。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、特徴点が基準画像Ｐ内にて当該基準画像Ｐを構成する画像部分どうしの境界であるエッジ上に存するか否かを判定するエッジ判定手段として機能する。

また、ＣＰＵ７１による信頼度算出プログラム７２ｃの実行に基づいて、オプティカルフロー検出部１３１が、基準画像Ｐにおける各特徴点を中心とした所定の周辺領域（図示略）内の平均輝度を算出して、当該周辺領域の平均輝度に基づいて特徴点の信頼度を算出する。即ち、特徴点の周辺が明るい方が信頼度が高いと言えるため、平均輝度が高いほど信頼度を高くする。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、基準画像Ｐにおける特徴点の所定の周辺領域の明るさを算出する明るさ算出手段として機能する。

このように、ＣＰＵ７１とオプティカルフロー検出部１３１は、特徴点抽出処理にて抽出された複数の特徴点の各々の信頼度を算出する信頼度算出手段として機能する。

特徴点選択プログラム７２ｄは、ＣＰＵ７１の制御下にて、映像信号処理部１３のオプティカルフロー検出部１３１に、信頼度算出処理にて算出された特徴点の信頼度に基づいて、複数の特徴点の中から仮射影変換行列Ｈ’の算出に係る４つ（所定数）の特徴点を選択させる処理を実現させるためのプログラムである。具体的には、ＣＰＵ７１による特徴点選択プログラム７２ｄの実行に基づいて、信頼度算出処理にて算出された特徴点の信頼度を評価して、当該信頼度の高い方から４つの特徴点（最上位特徴点）を選択する。例えば、図３に示す基準画像Ｐにあっては、特徴点ｐ１〜ｐ７のうち、その周囲に似た特徴を持つ画素もなく近傍画素との差も大きい特徴点ｐ１、ｐ２、ｐ４、ｐ６を信頼度の高い最上位特徴点として選択する。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、複数の特徴点の信頼度に基づいて、複数の特徴点の中で仮座標変換式の算出に係る所定数の特徴点を選択する特徴点選択手段として機能する。

仮座標変換式算出プログラム７２ｅは、ＣＰＵ７１の制御下にて、映像信号処理部１３のオプティカルフロー検出部１３１に、特徴点抽出処理にて抽出された複数の特徴点のうち、特徴点選択処理にて選択された４つの特徴点（最上位特徴点）の特徴点対応結果に基づいて、基準画像Ｐと対象画像間における仮射影変換行列Ｈ’を算出させる処理を実現させるためのプログラムである。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、特徴点抽出処理にて抽出された複数の特徴点のうちの最上位特徴点（所定数の特徴点）と、特徴点追跡処理における追跡結果である対象画像内における最上位特徴点の対応点とを用いて、基準画像Ｐと対象画像間における座標変換式を算出する座標変換式算出手段として機能する。

初期位置設定プログラム７２ｆは、ＣＰＵ７１の制御下にて、映像信号処理部１３のオプティカルフロー検出部１３１に、算出された仮射影変換行列Ｈ’を用いて最上位特徴点以外の特徴点を座標変換した対象画像内における仮対応点を、特徴点追跡処理における当該特徴点の追跡の初期位置に設定させる処理を実現させるためのプログラムである。
ここで、ＣＰＵ７１とオプティカルフロー検出部１３１は、仮射影変換行列Ｈ’を用いて特徴点を座標変換した対象画像内における仮対応点を特徴点の追跡の初期位置として設定する初期位置設定手段として機能する。

画像合成プログラム７２ｇは、ＣＰＵ７１の制御下にて、映像信号処理部１３に、特徴点の追跡結果に基づいて基準画像Ｐと対象画像を合成する画像合成処理を実現させるためのプログラムである。
具体的には、ＣＰＵ７１が画像合成プログラム７２ｇを実行することで、映像信号処理部１３のＲＡＮＳＡＣ部１３２は、基準画像Ｐと対象画像における複数の特徴点対応の中からランダムに４点選択して仮の射影変換行列Ｈを計算し、そのサポート数で求めた射影変換行列Ｈを評価し、その作業を繰り返してより信頼性の高い射影変換行列Ｈを算出する。その後、画像合成部１３３は、信頼性の高い射影変換行列Ｈを用いて対象画像の画素を基準画像Ｐの座標系に射影変換して、当該対象画像と基準画像Ｐを合成する。
ここで、ＣＰＵ７１とＲＡＮＳＡＣ部１３２及び画像合成部１３３は、特徴点追跡処理における追跡結果に基づいて、基準画像Ｐと対象画像との位置合わせを行う画像位置合わせ手段として機能する。
なお、画像合成処理にあっては、基準画像Ｐの画素を対象画像の座標系に射影変換するようにしても良い。

次に、画像合成処理について図４及び図５を参照して説明する。
図４は、画像合成処理に係る動作の一例を示すフローチャートである。

図４に示すように、先ず、ＣＰＵ７１は、プログラムメモリ７２内の特徴点抽出プログラム７２ａを実行することで、撮像部１により撮像された連続する複数の画像のうち、基準画像Ｐ内から特徴点を複数抽出する特徴点抽出処理を行う（ステップＳ１）。
次に、ＣＰＵ７１がプログラムメモリ７２内の信頼度算出プログラム７２ｃを実行することで、オプティカルフロー検出部１３１は、特徴点抽出処理にて抽出された複数の特徴点の各々の信頼度を算出する信頼度算出処理を行う（ステップＳ２）。

以下に、信頼度算出処理について図５を参照して詳細に説明する。
図５は、信頼度算出処理に係る動作の一例を示すフローチャートである。

図５に示すように、先ず、オプティカルフロー検出部１３１は、複数の特徴点の中から信頼度を算出する特徴点を選択する（ステップＳ２１）。次に、ＣＰＵ７１がプログラムメモリ７２内の信頼度算出プログラム７２ｃを実行することで、オプティカルフロー検出部１３１は、選択された特徴点を中心とした所定の周辺領域内での当該特徴点の画素とその他の部分の画素との特徴量の差分を算出して、差分の大きさを得点として加点する（ステップＳ２２）。

続けて、オプティカルフロー検出部１３１は、特徴点と基準画像Ｐにおける当該特徴点の近傍画素との構成関係を算出した後（ステップＳ２３）、当該特徴点の近傍画素との構成関係が当該特徴点を中心とした所定の周辺領域に類似する構成をもつ画素が存するかどうかを判定する（ステップＳ２４）。
ここで、類似する構成をもつ画素が存すると判定されると（ステップＳ２４；ＹＥＳ）、オプティカルフロー検出部１３１は、当該近傍画素領域内で特徴点の画素とその他の部分の画素との特徴量の差分を算出して、差分の大きさを得点として減点する（ステップＳ２５）。一方、ステップＳ２４にて、類似する構成をもつ画素が存しないと判定されると（ステップＳ２４；ＮＯ）、オプティカルフロー検出部１３１は、信頼度の減点を「０」とする（ステップＳ２６）。

次に、オプティカルフロー検出部１３１は、特徴点が基準画像Ｐ内にて略直線状のエッジ上に存するか否かを判定する（ステップＳ２７）。
ここで、特徴点が略直線状のエッジ上に存すると判定されると（ステップＳ２７；ＹＥＳ）、オプティカルフロー検出部１３１は、所定の得点を減点する（ステップＳ２８）。一方、ステップＳ２７にて、特徴点が略直線状のエッジ上に存しないと判定されると（ステップＳ２７；ＮＯ）、オプティカルフロー検出部１３１は、信頼度の減点を「０」とする（ステップＳ２９）。

次に、オプティカルフロー検出部１３１は、基準画像Ｐにおける特徴点を中心とした所定の周辺領域内の平均輝度を算出して、明るいほどより多く得点を加点する（ステップＳ３０）。

続けて、オプティカルフロー検出部１３１は、全ての特徴点についての信頼度の算出が終了したか否かを判定する（ステップＳ３１）。
ここで、信頼度の算出が終了していないと判定されると（ステップＳ３１；ＮＯ）、オプティカルフロー検出部１３１は、ステップＳ２１以降の処理を実行する。
上記の各処理を全ての特徴点について繰り返し実行して各特徴点の信頼度を算出していき、ステップＳ３１にて、信頼度の算出が終了したと判定されると（ステップＳ３１；ＹＥＳ）、当該信頼度算出処理を終了する。

その後、ＣＰＵ７１がプログラムメモリ７２内の特徴点選択プログラム７２ｄを実行することで、オプティカルフロー検出部１３１は、信頼度算出処理にて算出された特徴点の信頼度を評価して、当該信頼度の高い方から４つの特徴点（最上位特徴点）を選択する特徴点選択処理を行う（ステップＳ３）。
続けて、ＣＰＵ７１がプログラムメモリ７２内の特徴点追跡プログラム７２ｂを実行することで、オプティカルフロー検出部１３１は、特徴点選択処理にて選択された最上位特徴点を対象画像内で追跡する（ステップＳ４）。具体的には、オプティカルフロー検出部１３１は、従来と略同様の処理を行って、局所拘束法を用いて基準画像Ｐの最上位特徴点ｐ1〜ｐ4のオプティカルフローを計算し、対象画像Ｑの初期位置ｑ1〜ｑ4からdx、dyを求めることにより、最上位特徴点を追跡して特徴点の対応点を求める。

そして、ＣＰＵ７１がプログラムメモリ７２内の仮座標変換式算出プログラム７２ｅを実行することで、オプティカルフロー検出部１３１は、４つの特徴点（最上位特徴点）の特徴点対応結果に基づいて、基準画像Ｐと対象画像間における仮射影変換行列Ｈ’を算出する（ステップＳ５）。
続けて、ＣＰＵ７１がプログラムメモリ７２内の初期位置設定プログラム７２ｆを実行することで、オプティカルフロー検出部１３１は、算出された仮射影変換行列Ｈ’を用いて残り（最上位特徴点以外）の特徴点を座標変換した対象画像内における仮対応点を算出し（ステップＳ６）、当該仮対応点を特徴点追跡処理における残りの特徴点の追跡の初期位置に設定する初期位置設定処理を行う（ステップＳ７）。

次に、ＣＰＵ７１がプログラムメモリ７２内の特徴点追跡プログラム７２ｂを実行することで、オプティカルフロー検出部１３１は、初期位置設定処理により設定された仮対応点を初期位置として対象画像内で残りの特徴点を追跡する（ステップＳ８）。
続けて、オプティカルフロー検出部１３１は、全ての特徴点についての追跡が終了したか否かを判定する（ステップＳ９）。
ここで、全特徴点の追跡が終了していないと判定されると（ステップＳ９；ＮＯ）、オプティカルフロー検出部１３１は、ステップＳ６以降の処理を実行する。
全ての特徴点についての追跡を繰り返し実行していき、ステップＳ９にて、全特徴点の追跡が終了したと判定されると（ステップＳ９；ＹＥＳ）、ＣＰＵ７１がプログラムメモリ７２内の画像合成プログラム７２ｇを実行することで、ＲＡＮＳＡＣ部１３２は、基準画像Ｐと対象画像間におけるより信頼性の高い射影変換行列Ｈを算出し（ステップＳ１０）、その後、画像合成部１３３は、ステップＳ１０で算出した射影変換行列Ｈを用いて画像どうしの位置合わせ（座標変換）を行う（ステップＳ１１）。

以上のように、本実施形態の撮像装置１００によれば、特徴点抽出処理にて抽出された複数の特徴点のうちの信頼度の高い方から４つの特徴点を用いて、対象画像の画素を基準画像Ｐの座標系に射影変換するための仮射影変換行列Ｈ’を算出して、この仮射影変換行列Ｈ’を用いて残りの各特徴点を座標変換した対象画像内における仮対応点を当該特徴点の追跡の初期位置として設定することができる。
即ち、特徴点の信頼度を考慮して対象画像内における特徴点の追跡の初期位置を当該特徴点の対応点の近傍に設定することができることとなって、当該特徴点の追跡を適正に行うことができ、この結果、基準画像Ｐと対象画像との特徴点対応を誤らせる確率を低減させることができることとなり、当該画像どうしの位置合わせ精度を向上させることができる。

また、複数の特徴点の各々の信頼度の算出にあたっては、基準画像Ｐにおける各特徴点を中心とした所定の周辺領域内での特徴点の画素とその他の部分の画素との特徴量の差分と、特徴点と基準画像Ｐにおける当該特徴点の周辺の第１の領域との構成関係の当該特徴点の周辺の第２の領域に対する類似度合と、特徴点が基準画像Ｐ内にて当該基準画像Ｐを構成する画像部分どうしの境界であるエッジ上に存するか否かの判定結果と、基準画像Ｐにおける特徴点の所定の周辺領域内の平均輝度に基づいて特徴点の信頼度を算出するので、各特徴点についてより適正な信頼度を算出することができ、対象画像内における特徴点の追跡の初期位置をより信頼性のあるものとすることができる。例えば、図３に示す基準画像Ｐにあっては、特徴点ｐ１〜ｐ７のうち、特徴点ｐ１、ｐ２、ｐ４、ｐ６はその周囲に似た特徴を持つ画素もなく近傍画素との差も大きいので、信頼度の高い特徴点と言えるが、屋根のへりにある特徴点ｐ３や、周期的な窓の中にある特徴点ｐ５や、電線の部分にある特徴点ｐ７は場所の特定が難しいため、信頼度が低くなる。

さらに、対象画像内における特徴点の追跡の初期位置を当該特徴点の対応点の近傍に設定することができるので、特徴点の追跡に要する時間の短縮を図ることができ、より商品価値の高い魅力的な撮像装置１００を提供することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、信頼度算出処理にて各特徴点の信頼度を算出する場合に、特徴点の画素とその他の部分の画素との特徴量の差分と、特徴点の近傍画素との構成関係の類似度合と、特徴点の直線状のエッジ上の存否と、特徴点の周辺領域の平均輝度を判断基準としたが、これに限られるものではなく、少なくとも上記の４つの基準の何れか一に基づいて判断すれば良い。例えば、特徴点の画素とその他の部分の画素との特徴量の差分のみを基準としても良いし、特徴点の近傍画素との構成関係の類似度合のみを基準としても良いし、特徴点の直線状のエッジ上の存否のみを基準としても良いし、特徴点の周辺領域の平均輝度のみを基準としても良い。また、特徴点の画素とその他の部分の画素との特徴量の差分と他の基準の何れか一を組み合わせて適用しても良いし、特徴点の近傍画素との構成関係の類似度合と他の基準の何れか一を組み合わせて適用しても良いし、特徴点の直線状のエッジ上の存否と他の基準の何れか一を組み合わせて適用しても良いし、特徴点の周辺領域の平均輝度と他の基準の何れか一を組み合わせて適用しても良い。さらに、特徴点の画素とその他の部分の画素との特徴量の差分と他の基準の何れか二つを組み合わせて適用しても良いし、特徴点の近傍画素との構成関係の類似度合と他の基準の何れか二つを組み合わせて適用しても良いし、特徴点の直線状のエッジ上の存否と他の基準の何れか二つを組み合わせて適用しても良いし、特徴点の周辺領域の平均輝度と他の基準の何れか二つを組み合わせて適用しても良い。
また、特徴点の信頼度の算出の際の基準は、上記の４つに限られるものではなく、複数の特徴点の各々について信頼度を適正に算出することができる基準であれば如何なるものであっても良い。加えて、これらの基準と上記の４つの基準の少なくとも何れか一とを組み合わせて適用しても良い。

また、上記実施形態では、仮射影変換行列Ｈ’の算出の際に、特徴点の信頼度を算出し、その評価結果に基づいて信頼度の高いものを選択するようにしたが、これに限られるものではなく、特徴点をランダムに所定数選択するようにしても良い。即ち、複数の特徴点の中から必ずしも信頼度の高いものを用いる必要はない。例えば、特徴点を基準画像Ｐ内の所定位置から抽出するのではなく、特徴抽出処理によって追跡に都合の良い特徴性の高い特徴点を選択するようにすれば、複数の特徴点の中で何れの特徴点を選択しても、ある程度の信頼性を確保することができるので、ランダムに所定数の特徴点を選択した場合にも、信頼性のある仮射影変換行列Ｈ’を算出することができる。

さらに、上記実施形態では、基準画像Ｐと対象画像間における座標変換方式として、射影変換を用いたが、これに限られるものではなく、他の座標変換方式を用いても良い。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
さらに、特徴点追跡装置として撮像装置１００を例示したが、これに限られるものではなく、撮像部１により取得した複数の画像をＵＳＢ端子６を介して接続された外部機器に出力して、当該外部機器にて特徴点抽出処理、特徴点追跡処理、信頼度算出処理、特徴点選択処理、仮座標変換式算出処理、初期位置設定処理、画像合成処理等を行うようにしても良い。

加えて、上記実施形態では、特徴点抽出手段、特徴点追跡手段、信頼度算出手段、特徴点選択手段、座標変換式算出手段、初期位置設定手段、画像位置合わせ手段としての機能を、ＣＰＵ７１によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置に備わる映像信号処理部を模式的に示した図である。 図１の撮像装置による特徴点抽出処理に係る基準画像を模式的に示す図である。 図１の撮像装置による画像合成処理に係る動作の一例を示すフローチャートである。 図４の画像合成処理の信頼度算出処理に係る動作の一例を示すフローチャートである。

符号の説明

１００ 撮像装置（特徴点追跡装置）
１３ 映像信号処理部
１３１ オプティカルフロー検出部（特徴点抽出手段、特徴点追跡手段、信頼度算出手段、特徴点選択手段、座標変換式算出手段、初期位置設定手段）
１３２ ＲＡＮＳＡＣ部（画像位置合わせ手段）
１３３ 画像合成部（画像位置合わせ手段）
７１ ＣＰＵ（特徴点抽出手段、特徴点追跡手段、信頼度算出手段、特徴点選択手段、座標変換式算出手段、初期位置設定手段、画像位置合わせ手段）
Ｐ 基準画像
ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７ 特徴点

Claims (10)

1. 複数の画像のうち、何れか一の基準画像内から特徴点を複数抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された複数の特徴点を対象画像内で追跡する特徴点追跡手段と、
   前記抽出された複数の特徴点から選択された所定数の特徴点の前記特徴点追跡手段による追跡結果に基づいて、前記基準画像と前記対象画像間における座標変換式を算出する座標変換式算出手段と、
   前記座標変換式算出手段により算出された前記座標変換式を用いて、前記抽出された複数の特徴点における前記所定数の特徴点以外の複数の特徴点中の特定の特徴点を座標変換した前記対象画像内における対応点を、前記特徴点追跡手段による当該特定の特徴点の追跡の初期位置として設定する初期位置設定手段と、
   前記初期位置設定手段により初期位置として設定された対応点を用いて、前記特定の特徴点を追跡するように前記特徴点追跡手段を制御する第１の追跡制御手段と、
   前記第１の追跡制御手段による特定の特徴点の追跡後に、当該第１の追跡制御手段により追跡対象とされていない特徴点が前記所定数の特徴点以外の複数の特徴点中に存在するか否かを判定する追跡判定手段と、
   前記追跡判定手段により追跡対象とされていない特徴点が存在すると判定されると、当該特徴点に対して前記対応点を設定するよう前記初期位置設定手段を制御する設定制御手段と、
   前記設定制御手段の制御により設定された対応点を用いて、前記追跡対象とされていない特徴点を追跡するよう制御する第２の追跡制御手段と、
   を備えることを特徴とする特徴点追跡装置。
2. 前記座標変換式算出手段は、
   前記特徴点抽出手段により抽出された複数の特徴点について信頼度を夫々算出する信頼度算出手段と、
   前記信頼度算出手段により算出された前記信頼度に基づいて、前記複数の特徴点の中で前記座標変換式算出手段による前記座標変換式の算出に係る前記所定数の特徴点を選択する特徴点選択手段とを備えることを特徴とする請求項１に記載の特徴点追跡装置。
3. 前記特徴点選択手段は、前記信頼度算出手段により算出された前記信頼度を評価して、当該信頼度の高い方から所定数の特徴点を選択することを特徴とする請求項２に記載の特徴点追跡装置。
4. 前記信頼度算出手段は、
   前記基準画像における前記特徴点の所定の周辺領域内での当該特徴点とその他の部分との特徴量の差分を算出する特徴量差分算出手段を備え、当該特徴量差分算出手段により算出された前記差分に基づいて前記特徴点の信頼度を算出することを特徴とする請求項２又は３に記載の特徴点追跡装置。
5. 前記信頼度算出手段は、
   前記特徴点と前記基準画像における当該特徴点の周辺の第１の領域との構成関係の当該特徴点の周辺の第２の領域に対する類似度合を調べる類似度合調査手段を備え、前記類似度合調査手段により調べられた前記類似度合に基づいて前記特徴点の信頼度を算出することを特徴とする請求項２〜４の何れか一項に記載の特徴点追跡装置。
6. 前記信頼度算出手段は、
   前記特徴点が前記基準画像内にて当該基準画像を構成する画像部分どうしの境界であるエッジ上に存するか否かを判定するエッジ判定手段を備え、前記エッジ判定手段による判定結果に基づいて前記特徴点の信頼度を算出することを特徴とする請求項２〜５の何れか一項に記載の特徴点追跡装置。
7. 前記信頼度算出手段は、
   前記基準画像における前記特徴点の所定の周辺領域の明るさを算出する明るさ算出手段を備え、前記明るさ算出手段により算出された前記明るさに基づいて前記特徴点の信頼度を算出することを特徴とする請求項２〜６の何れか一項に記載の特徴点追跡装置。
8. 前記座標変換式算出手段は、
   前記所定数の特徴点と、前記特徴点追跡手段による追跡結果である前記対象画像内における所定数の特徴点の対応点とを用いて、前記基準画像と前記対象画像間における座標変換式を算出することを特徴とする請求項１〜７の何れか一項に記載の特徴点追跡装置。
9. 前記特徴点追跡手段による追跡結果に基づいて、前記基準画像と前記対象画像との位置合わせを行う画像位置合わせ手段を備えることを特徴とする請求項１〜８の何れか一項に記載の特徴点追跡装置。
10. コンピュータに、
    複数の画像のうち、何れか一の基準画像内から複数の特徴点を抽出する機能と、
    前記抽出された複数の特徴点を対象画像内で追跡する機能と、
    前記抽出された複数の特徴点から選択された所定数の特徴点の追跡結果に基づいて、前記基準画像と前記対象画像間における座標変換式を算出する機能と、
    算出された前記座標変換式を用いて、前記抽出された複数の特徴点における前記所定数の特徴点以外の複数の特徴点中の特定の特徴点を座標変換した前記対象画像内における対応点を、当該特定の特徴点の追跡の初期位置として設定する機能と、
    初期位置として設定された対応点を用いて、前記特定の特徴点を追跡するように制御する機能と、
    前記特定の特徴点の追跡後に、追跡対象とされていない特徴点が前記所定数の特徴点以外の複数の特徴点中に存在するか否かを判定する機能と、
    前記追跡対象となる特徴点が存在すると判定されると、当該特徴点に対して前記対応点を設定するよう制御する機能と、
    前記設定された対応点を用いて、前記追跡対象の特徴点を追跡するよう制御する第２の機能と、
    を実現させることを特徴とするプログラム。

Images