JP6504036B2 - 移動検出装置、移動検出方法、及び、プログラム - Google Patents

Description

本発明は、移動検出装置、移動検出方法、及び、プログラムに関する。

従来より、デジタルカメラ等の撮像装置には、ブレ補正の機能を有するものがある（例えば、特許文献１参照）。撮像装置は、ブレ補正を行う場合、時間的に連続する複数のフレームを撮像し、これらフレームにおける特徴点を抽出する。更に、撮像装置は、フレーム間における特徴点の移動に応じたモーションベクトル（ＭＶ：Motion Vector）からフレーム間のブレ量を推定し、このブレ量に基づいて、画像変形処理によりフレーム間の特徴点の位置合わせを行う。

特開２００９−３０１１８１号公報

しかしながら、フレーム内を移動する被写体が存在する場合、その被写体を特徴点としてモーションベクトルを算出する可能性が高く、この場合、ブレ量を正しく推定することができないことがある。

本願発明はこのような問題点に鑑みてなされたもので、入力した画像における移動検出の精度を向上させることを目的とする。

上記目的を達成するために、本発明に係る移動検出装置は、
撮像画像を入力する画像入力手段と、
前記画像入力手段によって入力された撮像画像に含まれる被写体部分と背景部分のうち背景部分のモーションベクトルに基づいて、撮像時の撮像手段の移動を検出する第１の移動検出手段と、
前記撮像手段の撮像時にかかる加速度又は角速度に基づいて、撮像時の前記撮像手段の移動を検出する第２の移動検出手段と、
前記第１の移動検出手段によって、前記撮像手段の移動が検出されたか否かを判断する判断手段と、
前記判断手段によって前記撮像手段の移動が検出されなかったと判断された場合に、前記撮像時にかかる加速度又は角速度から得られる算出結果と、逐次算出される前記背景部分のモーションベクトルの算出結果についての平均レベル及び逐次算出される前記加速度又は角速度から得られる算出結果についての平均レベルと、を用いた結果を前記撮像手段の移動として確定するよう制御する制御手段と、
を備えることを特徴とする。

本発明によれば、入力した画像における移動検出の精度を向上させることが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 撮像装置におけるブレ補正処理の動作を示すフローチャートである。 撮像装置におけるブレ量推定処理の動作を示すフローチャートである。 画像の遷移の一例を示す図である。 各画像領域のＭＶの一例を示す図である。 背景ＭＶと被写体ＭＶとの判定処理の一例を示す図である。 特徴点のブレ補正前の移動量、直流（ＤＣ：Direct Current）成分線形の移動量、ＤＣ成分非線形の移動量の一例を示す図である。 ブレ想定量と平滑化度合いとの対応関係の一例を示す図である。

以下、本発明の実施の形態に係る移動検出装置としての撮像装置について説明する。本発明の実施形態に係る撮像装置１００は、図１に示すように、制御部１０２、メモリ１０４、操作部１０６、撮像部１０８、センサ１１０、表示部１１２を含んで構成される。撮像装置１００は、例えば利用者の頭部に装着され、当該利用者の前方を撮像する。

制御部１０２は、ＣＰＵ（Central Processing Unit）を備え、メモリ１０４に格納されているプログラムに従ってソフトウェア処理を実行し、撮像装置１００が具備する各種機能を実現するために機能する。

制御部１０２内の撮像制御部１２２は、利用者による操作部１０６の操作等に応じて、撮像部１０８による撮像を制御する。画像入力部１２４は、撮像部１０８の撮像によって得られた画像信号を入力し、当該画像信号をデジタルデータに変換してフレームを生成する。移動検出部１２６は、フレーム内の特徴点の移動を検出する。補正部１２８は、移動検出部１２６による特徴点の移動の検出結果に基づいてブレ補正を行う。移動検出部１２６及び補正部１２８の処理の詳細については後述する。

メモリ１０４は、例えばワークエリアとなるＲＡＭ（Random Access Memory）、基本動作プログラムを記憶するＲＯＭ（Read Only Memory）である。メモリ１０４は、撮像装置１００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部１０６は、ユーザの操作内容を入力するために用いられるインタフェースである。

撮像部１０８は、レンズと受光素子により構成される。レンズは、ズームレンズ等により構成され、制御部１０２内の撮像制御部１２２によるズーム制御及び合焦制御により移動する。撮像部１０８の撮像画角、光学像は、レンズの移動によって制御される。受光素子は、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、フォトダイオード、ベイヤー配列のカラーフィルターを実装し、また若しくは三板式のＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスである。

撮像部１０８は、制御部１０２内の撮像制御部１２２の制御に応じて撮像を開始し、入光された光学像を所定範囲の撮像画角で撮像（受光）して、その撮像画角内の画像信号を逐次、制御部１０２へ出力する。

センサ１１０は、撮像部１０８の動きとして、撮像装置１００の回転に伴って生じる角速度を逐次検出し、制御部１０２へ出力する。

表示部１１２は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro-Luminescence）ディスプレイ等によって構成され、フレームに対応する画像を表示する。

本実施形態において、撮像装置１００は、ブレ補正を行う。以下、ブレ補正処理について説明する。図２は、ブレ補正処理の動作を示すフローチャートである。

以下においてブレ補正のための座標変換に用いられるブレ行列Ｈ（Ｈ＿ｍｖ、Ｈ＿ｓｅｎｓｏｒ、Ｈ＿ｍｖ＿ｉｉｒ、Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒ、Ｈ＿ｓｅｎｓｏｒ＿ａｄｊ、Ｈ＿ｄｃ、Ｈ＿ａｃ、Ｈ＿ｆｉｎａｌ）は、３×３の行列である。ブレ行列Ｈにより、フレーム内の座標（Ｘ，Ｙ）は座標（Ｘ´，Ｙ´）に変換される。

制御部１０２内の撮像制御部１２２は、利用者による操作部１０６の操作等に応じて、撮像部１０８による撮像を制御する。撮像部１０８は、制御部１０２内の撮像制御部１２２の制御に応じて撮像を開始し、画像信号を逐次、制御部１０２へ出力する。制御部１０２内の画像入力部１２４は、撮像部１０８の撮像によって得られた画像信号を入力し、当該画像信号をデジタルデータに変換してフレームを生成する。フレームはメモリ１０４に記憶される。

このような撮像が行われてフレームがメモリ１０４に記憶されている場合、制御部１０２内の移動検出部１２６は、時刻ｔのフレームについて、ブレの量（ブレ量）を推定する処理を行う（ステップＳ１００）。

図３は、ブレ量推定処理の動作を示すフローチャートである。制御部１０２内の移動検出部１２６は、時刻ｔのフレームについて、フレーム間における特徴点の移動を示すモーションベクトル（ＭＶ）を算出する（ステップＳ２００）。

具体的には、移動検出部１２６は、フレームを複数の画像領域（ブロック）に分割する。その後、ブロック毎に以下の処理を行う。すなわち、移動検出部１２６は、時刻ｔにおけるブロックにおいて特徴点（時刻ｔにおける特徴点）を探索する。時刻ｔにおける特徴点を探索することができた場合、更に、移動検出部１２６は、時刻ｔにおけるフレーム内のブロックと同一位置にある、１つ前の時刻ｔ−１のフレーム内のブロックにおいて、時刻ｔにおける特徴点に類似した点（時刻ｔ−１における特徴点）を探索する。時刻ｔ−１における特徴点を探索することができた場合、移動検出部１２６は、時刻ｔ−１における特徴点を始点とし、時刻ｔにおける特徴点を終点とするベクトルをＭＶとする。特徴点の探索方法は周知の方法を用いることができる。

次に、移動検出部１２６は、撮像部１０８の動きに応じたブレを表現するブレ行列Ｈ＿ｓｅｎｓｏｒを算出する（ステップＳ２０１）。具体的には、移動検出部１２６は、センサ１１０から出力される角速度を逐次取得し、当該角速度に基づいてブレ行列Ｈ＿ｓｅｎｓｏｒを算出する。算出方法は問わないが、例えば、ブレ行列Ｈ＿ｓｅｎｓｏｒの要素は、角速度が大きいほど、座標（Ｘ，Ｙ）と座標（Ｘ´，Ｙ´）との距離が大きくなるように設定される。なお、移動検出部１２６は、逐次取得した複数の角速度の平均値を算出し、当該平均値に基づいて、ブレ行列Ｈ＿ｓｅｎｓｏｒを算出するようにしてもよい。算出されたブレ行列Ｈ＿ｓｅｎｓｏｒは、例えばメモリ１０４に記憶される。

次に、移動検出部１２６は、ステップＳ２００において時刻ｔのフレームについて算出した複数のＭＶから被写体を特徴点として算出されたＭＶである被写体ＭＶを除外する（ステップＳ２０２）。

例えば、フレームが図４（Ａ）に示す時刻ｔ−１の状態から、撮像部１０８と被写体３００とが異なる方向に移動して、フレームが図４（Ｂ）に示す時刻ｔの状態となった場合を考える。この場合、例えば、図５に示すように、各ブロックにおいて、被写体３００を特徴点とするＭＶ（被写体ＭＶ）と被写体以外（背景）を特徴点とするＭＶ（背景ＭＶ）が算出されることがある。ここで、被写体３００を特徴点とする被写体ＭＶには、撮像装置１００の利用者が意図的に撮像部１０８を移動させた際の移動量も含まれてしまうため、被写体ＭＶをブレ補正に用いるとブレ量が正確ではなくなってしまう。このため、ステップＳ２０２では、ステップＳ２００において算出したＭＶから被写体を特徴点として算出されたＭＶである被写体ＭＶが除外される。

具体的には、移動検出部１２６は、ステップＳ２００において算出した各ＭＶ毎に、当該ＭＶの始点の座標をステップＳ２０１において算出したブレ行列Ｈ＿ｓｅｎｓｏｒを用いて変換する。更に、移動検出部１２６は、座標変換後のＭＶの座標と、ステップＳ２００において算出したＭＶの終点の座標との距離を判別する。移動検出部１２６は、座標変換後のＭＶの座標と、ステップＳ２００において算出したＭＶの終点の座標との距離が所定値以上である場合には、ステップＳ２００において算出したＭＶを被写体ＭＶと判定し、所定値未満である場合には背景ＭＶと判定する。

例えば、図６（Ａ）、（Ｂ）に示すように始点α、終点γとするＭＶがあり、始点αがブレ行列Ｈ＿ｓｅｎｓｏｒを用いた座標変換により始点βに移動した場合を考える。この場合、図６（Ａ）では、座標変換後の始点βと終点γとの距離Ｌが短い（所定値未満）であるため、移動検出部１２６は、ＭＶを背景ＭＶと判定する。一方、図６（Ｂ）では、座標変換後の始点βと終点γとの距離Ｌが長い（所定値以上）であるため、移動検出部１２６は、ＭＶを被写体ＭＶと判定する。閾値である距離Ｌは、センサ１１０の特性、撮像部１０８の光学系、撮影環境（温度、動きの大きさ）等により決定される。決定方法は問わない。

再び、図３に戻って説明する。移動検出部１２６は、各ブロックのＭＶを用いてフレーム間のブレを表現するブレ行列Ｈ＿ｍｖを算出可能であるか否かを判定する（ステップＳ２０３）。具体的には、移動検出部１２６は、ステップＳ２０２においてＭＶから被写体ＭＶを除外した結果残った背景ＭＶの数が所定数以上である場合には、ブレ行列Ｈ＿ｍｖを算出可能であると判定し、背景ＭＶの数が所定数未満である場合には、ブレ行列Ｈ＿ｍｖを算出不可能であると判定する。

ブレ行列Ｈ＿ｍｖが算出可能である場合（ステップＳ２０３；ＹＥＳ）、移動検出部１２６は、フレーム間のブレを表現するブレ行列Ｈ＿ｍｖを算出する（ステップＳ２０４）。算出方法は問わないが、例えば、ブレ行列Ｈ＿ｍｖの要素は、各背景ＭＶの長さ及び方向の平均値のベクトルが変換前の座標（Ｘ，Ｙ）から変換後の座標（Ｘ´，Ｙ´）へ向かうベクトルとなるように算出される。算出されたブレ行列Ｈ＿ｍｖは、例えばメモリ１０４に記憶される。

なお、後述するステップＳ２０６において第２の方法が採用される場合には、ステップＳ２０４において、移動検出部１２６は、これまでに算出した複数のブレ行列Ｈ＿ｍｖの各要素の平均レベルである行列Ｈ＿ｍｖ＿ｉｉｒを、ＩＩＲ（Infinite Impulse Response）平滑化フィルタを用いて算出する。時刻ｔにおけるＨ＿ｍｖの各要素の平均レベルの行列Ｈ＿ｍｖ＿ｉｉｒ（ｔ）は、定数をｋとして、Ｈ＿ｍｖ＿ｉｉｒ（ｔ）＝（（（ｋ−１）×Ｈ＿ｍｖ＿ｉｉｒ（ｔ−１））＋Ｈ＿ｍｖ（ｔ））／ｋにより算出される。

また、移動検出部１２６は、これまでに算出した複数のブレ行列Ｈ＿ｓｅｎｓｏｒの各要素の平均レベルである行列Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒを、ＩＩＲ平滑化フィルタを用いて算出する。時刻ｔにおけるＨ＿ｓｅｎｓｏｒの各要素の平均レベルの行列Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒ（ｔ）は、定数をｋとして、Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒ（ｔ）＝（（（ｋ−１）×Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒ（ｔ−１））＋Ｈ＿ｓｅｎｓｏｒ（ｔ））／ｋにより算出される。算出された行列Ｈ＿ｍｖ＿ｉｉｒ及び行列Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒは、例えばメモリ１０４に記憶される。

次に、移動検出部１２６は、ステップＳ２０４において算出したブレ行列Ｈ＿ｍｖを、時刻ｔにおけるブレ行列Ｈ（ｔ）として確定する（ステップＳ２０５）。ブレ行列Ｈ（ｔ）は、例えばメモリ１０４に記憶される。

一方、ブレ行列Ｈ＿ｍｖが算出不可能である場合（ステップＳ２０３；ＮＯ）、移動検出部１２６は、ブレ行列Ｈ＿ｓｅｎｓｏｒを調整する（ステップＳ２０６）。例えば、移動検出部１２６は、以下の第１の方法及び第２の方法の何れかによりブレ行列Ｈ＿ｓｅｎｓｏｒを調整する。

第１の方法では、移動検出部１２６は、過去の時刻のフレームについて生成したブレ行列Ｈ＿ｍｖのうち、直近のものから順に複数のブレ行列Ｈ＿ｍｖを取得する。ブレ行列Ｈ＿ｍｖは、例えば、算出される毎にメモリ１０４に記憶される。更に、移動検出部１２６は、取得した複数のブレ行列Ｈ＿ｍｖの各要素を用いて、時刻ｔにおけるブレ行列Ｈ＿ｍｖ（ｔ）の各要素の補間推定を行う。補間推定の方法は問わないが、例えば、線形補間やスプライン補間が用いられる。

次に、移動検出部１２６は、補間推定したブレ行列Ｈ＿ｍｖ（ｔ）と、ブレ行列Ｈ＿ｓｅｎｓｏｒとを、所定の割合で合成（例えば１：１の割合として平均値を算出したり、２：１の割合として加重平均値を算出）し、調整後のブレ行列Ｈ＿ｓｅｎｓｏｒ＿ａｄｊとする。

第２の方法では、移動検出部１２６は、直近にステップＳ２０４において算出された行列Ｈ＿ｍｖ＿ｉｉｒ及び行列Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒを用いて、ブレ行列Ｈ＿ｓｅｎｓｏｒを調整したブレ行列Ｈ＿ｓｅｎｓｏｒ＿ａｄｊを、Ｈ＿ｓｅｎｓｏｒ＿ａｄｊ＝Ｈ＿ｓｅｎｓｏｒ＋（Ｈ＿ｍｖ＿ｉｉｒ−Ｈ＿ｓｅｎｓｏｒ＿ｉｉｒ）により算出する。

次に、移動検出部１２６は、ステップＳ２０６において算出したブレ行列Ｈ＿ｓｅｎｓｏｒ＿ａｄｊを、時刻ｔにおけるブレ行列Ｈ（ｔ）として確定する（ステップＳ２０７）。ブレ行列Ｈ（ｔ）は、例えばメモリ１０４に記憶される。

再び、図２に戻って説明する。移動検出部１２６は、時間的に連続する複数のブレ行列である、時刻ｔ−ｎのブレ行列Ｈ（ｔ−ｎ）、時刻ｔのブレ行列Ｈ（ｔ）、時刻ｔ＋ｎのブレ行列Ｈ（ｔ＋ｎ）を取得する（ステップＳ１０１）。ここで、時間的に連続する複数のブレ行列とは、時間的に隣接する複数のフレーム毎に生成された複数のブレ行列でもよいし、１つ置き、２つ置き等、時間的に離散する複数のフレーム毎に生成された複数のブレ行列でもよい。

次に、移動検出部１２６は、時刻ｔにおけるブレのＤＣ成分の行列である行列Ｈ＿ｄｃ（ｔ）を抽出する（ステップＳ１０２）。

具体的には、移動検出部１２６は、ブレ行列Ｈ（ｔ−ｎ）、ブレ行列Ｈ（ｔ）、ブレ行列Ｈ（ｔ＋ｎ）の各要素に対して、時間方向に平滑化フィルタをかけることにより、ブレのＤＣ成分の行列Ｈ＿ｄｃ（ｔ）を抽出する。抽出したブレのＤＣ成分の行列Ｈ＿ｄｃ（ｔ）は、ブレを取り除いた、撮像装置１００の利用者が意図的に撮像部１０８を移動させた際の移動（カメラワーク）の成分（パン、チルト等）とすることができる。ここでは、例えば、平滑化フィルタとしてバイラテラルフィルタのような非線形フィルタが採用され、カメラワークが変化した場合に発生するような各要素値の大きな変位に対しては、平滑化効果を弱めるようにする。これにより、カメラワークが変化した際のカメラワーク成分とブレ成分の分離精度を高めることができる。

例えば、図７に示すように、ＤＣ成分抽出前にブレ成分を含む小刻みな移動が存在する場合、移動検出部１２６は、線形フィルタ又は非線形フィルタを用いてＤＣ成分を抽出することで、ブレ成分を分離してカメラワーク成分を抽出することができる。ここで、移動検出部１２６が非線形フィルタを用いる場合には、線形フィルタを用いる場合よりも平滑化効果を弱め、カメラワークの変化をより正確に捉えることができる。

但し、非線形フィルタが用いられる場合には、ブレ量が大きくなるほど、ブレとカメラワークの変化との区別が付きにくくなってしまうことがある。カメラワーク成分とブレ成分との分離精度を上げようとするほど、ブレ成分がカメラワーク成分とみなされやすくなり、ブレ補正の精度が下がってしまう。このため、ブレの大きさに応じて最適なパラメータ設定が必要となる。

例えば、非線形フィルタのパラメータを、想定されるブレの大きさによって変化させる。より具体的には、平滑化を弱める変位量のレベル（変位量閾値）を、想定されるブレの大きさレベルによって変化させる。これにより、小さなブレが想定される場合は、ブレを補正し、カメラワーク成分の分離もしやすい変位量閾値が設定され、大きなブレが想定される場合は、カメラワーク成分の分離精度は多少低くなるが、大きいブレまで補正できる変位量閾値が設定される。ブレの大きさの見積もりは、方法は問わないが、例えば、対象フレームに対して過去及び未来のブレ成分の分散を用いる等により行われる。

また、画像には表示領域と当該表示領域の外部における余白領域が設けられ、ブレ補正が行われる場合には、表示領域が余白領域の一部を含むようにする。しかし、余白領域は有限である場合が多く、表示領域が余白領域を超えてしまうような大きなブレを補正することができないことがある。そこで、図８に示すように、閾値以下のブレが想定される場合は、ブレが大きいほど非線形フィルタの平滑化度合いを大きくし、閾値以上の大きなブレが見込まれる場合は、逆に平滑化度合いを抑えてブレ補正の効果を弱める。これにより、表示領域が余白領域を超えないようにかつ、可能な限り精度の高いブレ補正を行うようにする。閾値は、余白領域の大きさ等によって経験的に決定される。

再び、図２に戻って説明する。次に、移動検出部１２６は、時刻ｔにおけるブレの交流（ＡＣ：Alternating Current）成分の行列である行列Ｈ＿ａｃ（ｔ）を抽出する（ステップＳ１０３）。

具体的には、移動検出部１２６は、ブレ行列Ｈ（ｔ）に、ステップＳ１０２において抽出したブレのＤＣ成分の行列Ｈ＿ｄｃ（ｔ）の逆行列を乗算することにより、ブレのＡＣ成分の行列Ｈ＿ａｃ（ｔ）を抽出する。抽出したブレのＡＣ成分の行列Ｈ＿ａｃ（ｔ）は、ブレ成分のみを表すことになる。

次に、移動検出部１２６は、ブレのＡＣ成分の行列Ｈ＿ａｃ（ｔ）を直前のブレ行列Ｈ＿ｆｉｎａｌ（ｔ−ｎ）に積み立てる（行列同士を乗算する）ことにより、時刻ｔにおける最終的なブレ行列Ｈ＿ｆｉｎａｌ（ｔ）を算出する（ステップＳ１０４）。

次に、補正部１２８は、ブレ行列Ｈ＿ｆｉｎａｌ（ｔ）を用いてブレ補正を行う（ステップＳ１０５）。具体的には、補正部１２８は、ブレ行列Ｈ＿ｆｉｎａｌ（ｔ）とフレーム内の座標（Ｘ，Ｙ）を乗算して、ブレ補正後の座標（Ｘ´，Ｙ´）を取得する。更に、補正部１２８は、座標（Ｘ，Ｙ）の画素を座標（Ｘ´，Ｙ´）に移動させてブレ補正後のフレームを生成し、表示部１１２に表示させる。

以上説明したように、本実施形態に係る撮像装置１００では、制御部１０２内の移動検出部１２６は、ブレ補正のための座標変換に用いられるブレ行列Ｈ（ｔ）を算出する。この際、移動検出部１２６は、フレームを分割したブロック毎にＭＶを算出し、ＭＶのうち被写体ＭＶを除外するとともに、撮像部１０８の動きに応じたブレを表現するブレ行列Ｈ＿ｓｅｎｓｏｒを算出する。更に、移動検出部１２６は、除外の結果残った背景ＭＶの数が所定数以上である場合には、フレーム間のブレを表現するブレ行列Ｈ＿ｍｖを算出してブレ行列Ｈ（ｔ）として確定する。一方、移動検出部１２６は、被写体ＭＶを除外した結果残った背景ＭＶの数が所定数未満である場合には、ブレ行列Ｈ＿ｓｅｎｓｏｒを調整し、調整後のブレ行列Ｈ＿ｓｅｎｓｏｒ＿ａｄｊをブレ行列Ｈ（ｔ）として確定する。その後、移動検出部１２６は、ブレ行列ＨからＤＣ成分の行列Ｈ＿ｄｃ（ｔ）とＡＣ成分のＨ＿ａｃ（ｔ）を抽出し、ブレのＡＣ成分の行列Ｈ＿ａｃ（ｔ）を直前のブレ行列Ｈ＿ｆｉｎａｌ（ｔ−ｎ）に積み立てることで、時刻ｔにおける最終的なブレ行列Ｈ＿ｆｉｎａｌ（ｔ）を算出する。補正部１２８は、ブレ行列Ｈ＿ｆｉｎａｌ（ｔ）の逆行列とフレーム内の座標（Ｘ，Ｙ）を乗算して、ブレ補正後の座標（Ｘ´，Ｙ´）を取得し、ブレ補正を行う。

これにより、撮像装置１００内の撮像部１０８が利用者によって意図的に移動する場合には、その移動に対応するカメラワーク成分はブレ量から除外されて利用者が意図しない移動であるブレ成分のみを抽出してブレ補正を行うことができ、ブレ補正の精度を向上させることができる。

また、被写体を特徴点とする被写体ＭＶには、撮像装置１００の利用者が意図的に撮像部１０８を移動させた際の移動量も含まれてしまうことに鑑み、算出されたＭＶから被写体ＭＶが除外され、背景ＭＶのみがブレ行列の取得に用いられるようにしているため、ブレ補正の精度を向上させることができる。

また、ＭＶを用いたブレ行列Ｈ＿ｍｖが算出不可能である場合には、ブレ行列Ｈ＿ｓｅｎｓｏｒを調整し、調整後のブレ行列Ｈ＿ｓｅｎｓｏｒ＿ａｄｊをブレ行列Ｈ（ｔ）として確定する。このため、特徴点を抽出することができない場合や特徴点の数が少ないためにＭＶの数が足りず、精度の高いブレ行列Ｈ＿ｍｖが算出不可能である場合にも、撮像部１０８の動きに応じたブレを表現するブレ行列Ｈ＿ｓｅｎｓｏｒを調整してブレ行列に用いることで、ブレ補正の精度を向上させることができる。

なお、本発明は、上記実施形態に限定されず、様々な変形及び応用が可能である。例えば、上述した実施形態では、時刻ｔにおけるブレ行列Ｈ＿ｆｉｎａｌ（ｔ）を算出する際に、図２のステップＳ１０１において、時刻ｔより過去の時刻ｔ−ｎのブレ行列Ｈ（ｔ−ｎ）と、時刻ｔより未来の時刻ｔ＋ｎのブレ行列Ｈ（ｔ＋ｎ）が取得されるようにした。時刻ｔより未来の時刻ｔ＋ｎのブレ行列Ｈ（ｔ＋ｎ）は、予め撮像のみを行い、その後の画像表示の際にブレ補正を行うような場合には取得可能であるが、撮像と画像表示が並行して行われる場合には取得不能である。このような場合には、移動検出部１２６は、時刻ｔのブレ行列Ｈ（ｔ）とともに、時刻ｔより過去の複数の時刻におけるブレ行列を取得して、時刻ｔにおけるブレ行列Ｈ＿ｆｉｎａｌ（ｔ）の算出に用いるようにしてもよい。

また、上述した実施形態では、センサ１１０は、撮像部１０８の動きとして、撮像装置１００の回転に伴って生じる角速度を検出したが、撮像装置１００の移動に伴って生じる加速度を検出してもよい。この場合、移動検出部１２６は、センサ１１０から出力される加速度に基づいてブレ行列Ｈ＿ｓｅｎｓｏｒを算出する。算出方法は問わないが、例えば、ブレ行列Ｈ＿ｓｅｎｓｏｒの要素は、加速度が大きいほど、座標（Ｘ，Ｙ）と座標（Ｘ´，Ｙ´）との距離が大きくなるように設定される。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
撮像画像を入力する画像入力手段と、
前記画像入力手段によって入力された前記撮像画像の移動を検出する第１の移動検出手段と、
前記画像入力手段によって入力された前記撮像画像を撮像した際にかかる加速度又は角速度に基づいて、前記撮像画像の移動を検出する第２の移動検出手段と、
前記第１の移動検出手段によって前記撮像画像の移動が検出されたか否かを判断する判断手段と、
前記判断手段によって前記撮像画像の移動が検出されなかったと判断された場合に、前記第２の移動検出手段による検出結果に基づいて、前記撮像画像を撮像した撮像手段の移動を検出するよう制御する制御手段と、
を備えることを特徴とする移動検出装置。

（付記２）
前記制御手段による制御により移動が検出された結果に基づいて、前記撮像画像を前記撮像手段の移動が相殺される方向へ補正する補正手段を更に備えることを特徴とする付記１に記載の移動検出装置。

（付記３）
前記補正手段は、前記判断手段により前記撮像画像の移動が検出されなかったと判断された場合に、前記第２の移動検出手段による検出結果に、前記第１の移動検出手段の検出結果を加味して、前記撮像画像を前記撮像手段の移動が相殺される方向へ補正することを特徴とする付記２に記載の移動検出装置。

（付記４）
前記補正手段によって補正された結果得られた複数の画像を記録する記録手段を更に備えたことを特徴とする付記２又は３に記載の移動検出装置。

（付記５）
前記第２の移動検出手段による検出結果に前記第１の移動検出手段の検出結果を加味した結果に基づいて、前記撮像画像における複数の所定の画像領域における同じ方向へ移動している画像領域の割合から当該撮像画像内に移動体の画像が含まれているか否かを判別する判別手段を更に備えることを特徴とする付記３又は４に記載の移動検出装置。

（付記６）
前記第１の移動検出手段によって検出された結果又は前記第２の移動検出手段によって検出された結果の少なくとも一方は、所定の行列式で表される情報であることを特徴とする付記１乃至５の何れか１つに記載の移動検出装置。

（付記７）
前記制御手段は、前記判断手段によって前記撮像画像の移動が検出されたと判断された場合に、前記第１の移動検出手段による検出結果に基づいて、前記撮像画像を撮像した撮像手段の移動を検出するよう制御することを特徴とする付記１乃至６の何れか１つに記載の移動検出装置。

（付記８）
撮像画像を入力する画像入力ステップと、
前記画像入力ステップにて入力された前記撮像画像の移動を検出する第１の移動検出ステップと、
前記画像入力ステップにて入力された前記撮像画像を撮像した際にかかる加速度又は角速度に基づいて、前記撮像画像の移動を検出する第２の移動検出ステップと、
前記第１の移動検出ステップにて前記撮像画像の移動が検出されたか否かを判断する判断ステップと、
前記判断ステップにて前記撮像画像の移動が検出されなかったと判断された場合に、前記第２の移動検出ステップでの検出結果に基づいて、前記撮像画像を撮像した撮像手段の移動を検出するよう制御する制御ステップと、
を含むことを特徴とする移動検出方法。

（付記９）
コンピュータを、
撮像画像を入力する画像入力手段、
前記画像入力手段によって入力された前記撮像画像の移動を検出する第１の移動検出手段、
前記画像入力手段によって入力された前記撮像画像を撮像した際にかかる加速度又は角速度に基づいて、前記撮像画像の移動を検出する第２の移動検出手段、
前記第１の移動検出手段によって前記撮像画像の移動が検出されたか否かを判断する判断手段、
前記判断手段によって前記撮像画像の移動が検出されなかったと判断された場合に、前記第２の移動検出手段による検出結果に基づいて、前記撮像画像を撮像した撮像手段の移動を検出するよう制御する制御手段、
として機能させることを特徴とするプログラム。

１００…撮像装置、１０２…制御部、１０４…メモリ、１０６…操作部、１０８…撮像部、１１０…センサ、１１２…表示部、１２２…撮像制御部、１２４…画像入力部、１２６…移動検出部、１２８…補正部、３００…被写体

Claims (7)

1. 撮像画像を入力する画像入力手段と、
   前記画像入力手段によって入力された撮像画像に含まれる被写体部分と背景部分のうち背景部分のモーションベクトルに基づいて、撮像時の撮像手段の移動を検出する第１の移動検出手段と、
   前記撮像手段の撮像時にかかる加速度又は角速度に基づいて、撮像時の前記撮像手段の移動を検出する第２の移動検出手段と、
   前記第１の移動検出手段によって、前記撮像手段の移動が検出されたか否かを判断する判断手段と、
   前記判断手段によって前記撮像手段の移動が検出されなかったと判断された場合に、前記撮像時にかかる加速度又は角速度から得られる算出結果と、逐次算出される前記背景部分のモーションベクトルの算出結果についての平均レベル及び逐次算出される前記加速度又は角速度から得られる算出結果についての平均レベルと、を用いた結果を前記撮像手段の移動として確定するよう制御する制御手段と、
   を備えることを特徴とする移動検出装置。
2. 前記制御手段による制御により移動が検出された結果に基づいて、前記撮像画像を前記撮像手段の移動が相殺される方向へ補正する補正手段を更に備えることを特徴とする請求項１に記載の移動検出装置。
3. 前記補正手段は、前記判断手段により前記撮像手段の移動が検出されなかったと判断された場合に、前記撮像時にかかる加速度又は角速度から得られる算出結果と、逐次算出される前記背景部分のモーションベクトルの算出結果についての平均レベルから逐次算出される前記加速度又は角速度から得られる算出結果についての平均レベルを引いたものとを加算して、前記撮像画像を前記撮像手段の移動が相殺される方向へ補正することを特徴とする請求項２に記載の移動検出装置。
4. 前記補正手段によって補正された結果得られた複数の画像を記録する記録手段を更に備えたことを特徴とする請求項２に記載の移動検出装置。
5. 前記第１の移動検出手段によって検出された結果又は前記第２の移動検出手段によって検出された結果の少なくとも一方は、所定の行列式で表される情報であることを特徴とする請求項１乃至４の何れか１項に記載の移動検出装置。
6. 撮像画像を入力する画像入力ステップと、
   前記画像入力ステップにて入力された撮像画像に含まれる被写体部分と背景部分のうち背景部分のモーションベクトルに基づいて、撮像時の撮像手段の移動を検出する第１の移動検出ステップと、
   前記撮像手段の撮像時にかかる加速度又は角速度に基づいて、撮像時の前記撮像手段の移動を検出する第２の移動検出ステップと、
   前記第１の移動検出ステップにて前記撮像手段の移動が検出されたか否かを判断する判断ステップと、
   前記判断ステップにて前記撮像手段の移動が検出されなかったと判断された場合に、前記撮像時にかかる加速度又は角速度から得られる算出結果と、逐次算出される前記背景部分のモーションベクトルの算出結果についての平均レベル及び逐次算出される前記加速度又は角速度から得られる算出結果についての平均レベルと、を用いた結果を前記撮像手段の移動として確定するよう制御する制御ステップと、
   を含むことを特徴とする移動検出方法。
7. コンピュータを、
   撮像画像を入力する画像入力手段、
   前記画像入力手段によって入力された撮像画像に含まれる被写体部分と背景部分のうち背景部分のモーションベクトルに基づいて、撮像時の撮像手段の移動を検出する第１の移動検出手段、
   前記撮像手段の撮像時にかかる加速度又は角速度に基づいて、撮像時の前記撮像手段の移動を検出する第２の移動検出手段、
   前記第１の移動検出手段によって前記撮像手段の移動が検出されたか否かを判断する判断手段、
   前記判断手段によって前記撮像手段の移動が検出されなかったと判断された場合に、前記撮像時にかかる加速度又は角速度から得られる算出結果と、逐次算出される前記背景部分のモーションベクトルの算出結果についての平均レベル及び逐次算出される前記加速度又は角速度から得られる算出結果についての平均レベルと、を用いた結果を前記撮像手段の移動として確定するよう制御する制御手段、
   として機能させることを特徴とするプログラム。

Images