JP5213493B2 - 動き検出装置 - Google Patents

Description

この発明は、動き検出装置に関し、特にビデオカメラに適用され、撮像面で捉えられた被写界全体の動きを検出する、ビデオカメラに関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、画面に割り当てられた複数の検出領域の各々の有効／無効が、動き検出回路によって算出された最小相関値および平均相関値に基づいて判別される。具体的には、平均相関値が最小相関値の７倍を上回る検出領域が有効領域と判別される一方、平均相関値が最小相関値の７倍以下の検出領域が無効領域と判別される。全体動きベクトルは有効領域の数に応じて異なる態様で検出され、撮像面の手振れは検出された全体動きベクトルを参照して補正される。
特許第２９４０７６２号公報

しかし、低コントラストの被写界を捉える検出領域に動体が進入すると、この検出領域で算出される平均相関値が増大する。増大した平均相関値が最小相関値の７倍を越えると、この検出領域が無効領域から有効領域に変化し、動体の動きが全体動きベクトルの検出処理に反映されてしまう。

それゆえに、この発明の主たる目的は、低コントラストの被写界への動体の進入に起因して被写界全体の動きが誤検出される現象を低減することができる、動き検出装置を提供することである。

この発明に従う動き検出装置(10：実施例で相当する参照符号。以下同じ)は、シーンに割り当てられた複数のブロックの各々で捉えられる部分シーンの動きを撮像手段から繰り返し出力された画像データに基づいて検出する第１検出手段(S23)、複数のブロックにそれぞれ割り当てられた複数の重み付け量のうちコントラストが第１基準を下回る部分シーンを捉えるブロックに割り当てられた重み付け量を低減する低減手段(S43, S45)、低減手段の処理によって調整された複数の重み付け量を参照した加重平均処理を第１検出手段によって検出された動きに施してシーン全体の動きを検出する第２検出手段(S61~S73)、撮像手段から出力された画像データの画面間の最小相関値を複数のブロックの各々に対応して繰り返し取得する第１取得手段(S27)、および第１取得手段によって取得された最小相関値の増大に応じて第１基準を増大させる処理をコントラストが第１基準を下回りかつ動き量が第２基準を下回る部分シーンを捉えるブロックに対応して実行する増大手段(S49~S55)を備える。

好ましくは、撮像手段から出力された画像データの画面間の平均相関値を複数のブロックの各々に対応して繰り返し取得する第２取得手段(S25)がさらに備えられ、低減手段は第２取得手段によって取得された平均相関値を第１基準と比較してコントラストを判別する比較手段(S43)を含む。

好ましくは、撮像手段から出力された画像データの一部を第２検出手段によって検出された動きが補償されるように抽出する抽出手段(20, 36, S33)がさらに備えられる。

さらに好ましくは、抽出手段は、撮像手段から出力された画像データをメモリ(34)に書き込む書き込み手段(20)、書き込み手段によってメモリに格納された画像データのうち抽出エリアに属する一部の画像データを読み出す読み出し手段(36)、および第２検出手段によって検出された動きが補償されるように抽出エリアの位置を変更する変更手段(S33)を含む。

好ましくは、増大手段によって増大された第１基準を指定期間の経過後に初期化する初期化手段(S89)がさらに備えられる。

好ましくは、複数のブロックの各々は複数の微小ブロックを含み、前画面の画像データにおける代表画素値と現画面の画像データにおける複数の画素値の各々との差分を相関値として微小ブロック毎に算出する差分算出手段(60)がさらに備えられる。

この発明に従う動き検出プログラムは、動き検出装置(10)のプロセッサ(28)に、シーンに割り当てられた複数のブロックの各々で捉えられる部分シーンの動きを撮像手段から繰り返し出力された画像データに基づいて検出する第１検出ステップ(S23)、複数のブロックにそれぞれ割り当てられた複数の重み付け量のうちコントラストが第１基準を下回る部分シーンを捉えるブロックに割り当てられた重み付け量を低減する低減ステップ(S43, S45)、低減ステップの処理によって調整された複数の重み付け量を参照した加重平均処理を第１検出ステップによって検出された動きに施してシーン全体の動きを検出する第２検出ステップ(S61~S73)、撮像手段から出力された画像データの画面間の最小相関値を複数のブロックの各々に対応して繰り返し取得する取得ステップ(S27)、および取得ステップによって取得された最小相関値の増大に応じて第１基準を増大させる処理をコントラストが第１基準を下回りかつ動き量が第２基準を下回る部分シーンを捉えるブロックに対応して実行する増大ステップ(S49~S55)を実行させるための、動き検出プログラムである。

この発明に従う動き検出方法は、動き検出装置(10)によって実行される動き検出方法であって、シーンに割り当てられた複数のブロックの各々で捉えられる部分シーンの動きを撮像手段から繰り返し出力された画像データに基づいて検出する第１検出ステップ(S23)、複数のブロックにそれぞれ割り当てられた複数の重み付け量のうちコントラストが第１基準を下回る部分シーンを捉えるブロックに割り当てられた重み付け量を低減する低減ステップ(S43, S45)、低減ステップの処理によって調整された複数の重み付け量を参照した加重平均処理を第１検出ステップによって検出された動きに施してシーン全体の動きを検出する第２検出ステップ(S61~S73)、撮像手段から出力された画像データの画面間の最小相関値を複数のブロックの各々に対応して繰り返し取得する取得ステップ(S27)、および取得ステップによって取得された最小相関値の増大に応じて第１基準を増大させる処理をコントラストが第１基準を下回りかつ動き量が第２基準を下回る部分シーンを捉えるブロックに対応して実行する増大ステップ(S49~S55)を備える。

この発明によれば、注目するブロックに対応して取得される最小相関値は、注目するブロックに動体が進入したときに増大する。注目するブロックが第１基準を下回るコントラストの部分シーンを捉えるブロックであれば、動体の進入によって第１基準が増大される。注目するブロックで捉えられる部分シーンは、動体の進入に起因するコントラストの増大に関わらず、第１基準を下回るコントラストの部分シーンと判別される。この結果、動体の動きがシーン全体の動き検出に反映され難くなり、シーン全体の動きの誤検出を低減することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルビデオカメラ１０は、光学レンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。したがって、各画素では、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する電荷が光電変換によって生成される。

電源が投入されると、ＣＰＵ２８は、動画取り込み処理を実行するべくドライバ１８を起動する。ドライバ１８は、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。

前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これによって生成された生画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４の生画像エリア３４ａに書き込まれる。

撮像面には、図２に示す要領で抽出エリアＥＸが割り当てられる。後処理回路３６は、生画像エリア３４ａに格納された生画像データのうち抽出エリアＥＸに属する一部の生画像データをメモリ制御回路３２を通して１／６０秒毎に読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施す。この結果、ＹＵＶ形式に対応する画像データが１／６０秒毎に作成される。作成された画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｂに書き込まれる。

ＬＣＤドライバ３８は、ＹＵＶ画像エリア３４ｂに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ４０を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

前処理回路２０は、上述の処理に加えて簡易Ｙ生成処理を実行し、生画像データを簡易的にＹデータに変換する。変換されたＹデータは、動き検出回路２２，ＡＦ評価回路２４およびＡＥ評価回路２６に与えられる。

図２を参照して、撮像面には５つの動き検出ブロックＭＤ＿１〜ＭＤ＿５が割り当てられる。動き検出ブロックＭＤ＿１およびＭＤ＿２は撮像面の上段に水平方向に並ぶように配置され、動き検出ブロックＭＤ＿３は撮像面の中央に配置され、そして動き検出ブロックＭＤ＿４およびＭＤ＿５は撮像面の下段に水平方向に並ぶように配置される。

動き検出回路２２は、動き検出ブロックＭＤ＿１〜ＭＤ＿５の各々における被写界の動き情報を前処理回路２０から与えられたＹデータに基づいて１／６０秒毎に検出し、検出された動き情報をＣＰＵ２８に与える。ＣＰＵ２８は、与えられた動き情報に基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン／チルト動作のいずれに起因するかを全体動きベクトルに基づいて判別し、そして撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアＥＸを移動させる。抽出エリアＥＸの位置は、手振れに起因する撮像面の動きが補償（相殺）されるように変更される。抽出エリアＥＸは、撮像面に手振れが生じたとき、図３に示す要領で撮像面上を移動する。この結果、ＬＣＤモニタ４０から出力される動画像の手振れが抑制される。

ＡＦ評価回路２４は、前処理回路２０から出力されたＹデータのうち評価エリア（図示せず）に属する一部のＹデータの高周波成分を１／６０秒毎に積分し、積分値つまりフォーカス評価値をＣＰＵ２８に与える。ＣＰＵ２８は、与えられたフォーカス評価値に基づいていわゆるコンティニュアスＡＦ処理を実行し、光学レンズ１２を合焦点に配置する。この結果、ＬＣＤモニタ４０から出力される動画像の鮮鋭度が継続的に向上する。

ＡＥ評価回路２６は、前処理回路２０から出力されたＹデータのうち評価エリアに属する一部のＹデータを１／６０秒毎に積分し、積分値つまり輝度評価値を出力する。ＣＰＵ２８は、ＡＥ評価回路２４から出力された輝度評価値に基づいて適正露光量が得られるＥＶ値を算出し、算出されたＥＶ値を定義する絞り量および露光時間を絞りユニットおよびドライバ１８に設定する。この結果、ＬＣＤモニタ４０から出力される動画像の明るさが適度に調整される。

キー入力装置３０によって記録開始操作が行われると、ＣＰＵ２８は、記録処理を開始するべくＩ／Ｆ４２を起動する。Ｉ／Ｆ４２は、ＹＵＶ画像エリア３４ｂに格納された画像データを１／６０秒毎に読み出し、読み出された画像データを記録媒体４４内の動画ファイルに圧縮状態で書き込む。Ｉ／Ｆ４２は、キー入力装置３０上で記録終了操作が行われたときにＣＰＵ２８によって停止される。この結果、画像データの記録処理が終了される。

動き検出回路２２は、図４に示すように構成される。生画像データはラスタ走査態様でイメージセンサ１６から出力されるため、Ｙデータもまたラスタ走査態様で動き検出回路２２に入力される。分配器４８は、動き検出ブロックＭＤ＿１およびＭＤ＿４の各々に属するＹデータを動き情報作成回路５０に与え、動き検出ブロックＭＤ＿３に属するＹデータを動き情報作成回路５２に与え、そして動き検出ブロックＭＤ＿２およびＭＤ＿５に属するＹデータを動き情報作成回路５４に与える。

動き情報作成回路５０は、動き検出ブロックＭＤ＿１およびＭＤ＿４の各々で捉えられた被写界の動きに注目し、部分動きベクトルＶＣ＿１，最小相関値ＭＩＮ＿１および平均相関値ＡＶ＿１を動き検出ブロックＭＤ＿１の動き情報として出力するとともに、部分動きベクトルＶＣ＿４，最小相関値ＭＩＮ＿４および平均相関値ＡＶ＿４を動き検出ブロックＭＤ＿４の動き情報として出力する。

動き情報作成回路５２は、動き検出ブロックＭＤ＿３で捉えられた被写界の動きに注目し、部分動きベクトルＶＣ＿３，最小相関値ＭＩＮ＿３および平均相関値ＡＶ＿３を動き検出ブロックＭＤ＿３の動き情報として出力する

動き情報作成回路５４は、動き検出ブロックＭＤ＿２およびＭＤ＿５の各々で捉えられた被写界の動きに注目し、部分動きベクトルＶＣ＿２，最小相関値ＭＩＮ＿２および平均相関値ＡＶ＿２を動き検出ブロックＭＤ＿２の動き情報として出力するとともに、部分動きベクトルＶＣ＿５，最小相関値ＭＩＮ＿５および平均相関値ＡＶ＿５を動き検出ブロックＭＤ＿５の動き情報として出力する。

動き情報作成回路５０〜５４の各々は、図５に示すように構成される。Ｙデータは、ＬＰＦ５６でノイズ除去処理を施された後、代表点メモリ５８および相関値算出回路６０に与えられる。図６（Ａ）を参照して、動き検出ブロックＭＤ＿１〜ＭＤ＿５の各々は、Ｐ×Ｑ個の微小ブロックＳＢＫ，ＳＢＫ，…によって形成される。また、図６（Ｂ）を参照して、各々の微小ブロックＳＢＫは、ｐ×ｑ個の画素によって形成される。なお、“Ｐ”，“Ｑ”，“ｐ”および“ｑ”はいずれも２以上の整数に相当する。以下では、各微小ブロックＳＢＫの中央に存在する画素つまり図６（Ａ）および図６（Ｂ）に黒丸で示す画素を“代表画素”と定義する。

図５に戻って、代表点メモリ５８は、動き検出ブロックＭＤ＿Ｎ（Ｎ：１〜５のいずれか）に属するＹデータからＰ×Ｑ個の代表画素のＹデータを抽出し、抽出されたＹデータを記憶する。相関値算出回路６０は、動き検出ブロックＭＤ＿Ｎに属するＰ×Ｑ個の微小ブロックＳＢＫ，ＳＢＫ，…の各々に対応して、代表点メモリ５８に記憶された前フレームの代表画素のＹデータ値とＬＰＦ５６から与えられた現フレームの各画素のＹデータ値との差分を相関値として算出する。この結果、Ｐ×Ｑ×ｐ×ｑ個の相関値が、動き検出ブロックＭＤ＿Ｎに対応して相関値算出回路６０から出力される。なお、出力されたＰ×Ｑ×ｐ×ｑ個の相関値の各々は、相関値の算出の基礎となった２つの画素の位置を示す画素位置情報を伴う。

平均値算出回路６６は、Ｐ×Ｑ×ｐ×ｑ個の相関値の平均値を算出し、算出された平均値を平均相関値ＡＶ＿Ｎとして出力する。平均相関値ＡＶ＿Ｎは、動き検出ブロックＭＤ＿Ｎに属する被写界のコントラストが低いほど減少する。したがって、平均相関値ＡＶ＿Ｎに注目することで、被写界のコントラストの程度を判別することができる。

最小値算出回路６２は、Ｐ×Ｑ×ｐ×ｑ個の相関値の中から最小値を抽出し、抽出した最小値を最小相関値ＭＩＮ＿Ｎとして出力する。最小相関値ＭＩＮ＿Ｎは、動き検出ブロックＭＤ＿Ｎに動きが生じたときに増大する。したがって、最小相関値ＭＩＮ＿Ｎに注目することで、被写界に動きが生じたか否かを判別することができる。

部分動きベクトル作成回路６４は、最小相関値ＭＩＮ＿Ｎに付随する画素位置情報に基づいて部分動きベクトルＶＣ＿Ｎを作成する。作成された部分動きベクトルＶＣ＿Ｎは、画素位置情報が示す２つの画素のうち前フレームの画素を起点とし、現フレームの画素を終点とするベクトルである。現フレームの画素が図６（Ｂ）にハッチングで示す画素である場合、部分動きベクトルＶＣ＿Ｎは図６（Ｂ）に矢印で示す方向および大きさを示す。

ＣＰＵ２８は、こうして作成された部分動きベクトルＶＣ＿１〜ＶＣ＿５，平均相関値ＡＶ＿１〜ＡＶ＿５および最小相関値ＭＩＮ_１〜ＭＩＮ＿５に基づいて、以下の述べる要領で全体動きベクトルを作成する。

ＣＰＵ２８はまず、平均相関値ＡＶ＿Ｎを閾値ＴＨ１＿Ｎと比較し、ＡＶ＿Ｎ＜ＴＨ１＿ＮのときにフラグＦＬＧ＿Ｎを“０”に設定する一方、ＡＶ＿Ｎ≧ＴＨ１＿ＮのときにフラグＦＬＧ＿Ｎを“１”に設定する。フラグＦＬＧ＿Ｎは、動き検出エリアＭＤ＿Ｎで捉えられた被写界のコントラストつまりこの被写界の動きの信頼性を識別するためのフラグである。フラグＦＬＧ＿Ｎは、平均相関値ＡＶ＿Ｎが小さい場合にコントラストつまり動きの信頼性が低いとして“０”に設定される一方、平均相関値ＡＶ＿Ｎが大きい場合にコントラストつまり動きの信頼性が高いとして“１”に設定される。

ＣＰＵ２８はまた、部分動きベクトルＶＣ＿Ｎが閾値ＴＨ２を下回り、フラグＦＬＧ＿Ｎが“０”を示し、そして最小相関値ＭＩＮ＿Ｎが閾値ＴＨ３以上のとき、閾値ＴＨ１＿ＮをΔＴＨだけ増大させる。したがって、閾値ＴＨ１＿Ｎは、撮像面が固定されかつ動き検出エリアＭＤ＿Ｎが低コントラストの被写界を捉えている状態で、動き検出エリアＭＤ＿Ｎに動体が進入したときに増大する。なお、増大した閾値ＴＨ１＿Ｎは、指定時間が経過したときに初期化される。

ＣＰＵ２８はさらに、フラグＦＬＧ＿Ｎが“１”を示すとき重み付け量Ｗ＿Ｎを“１”に設定する一方、フラグＦＬＧ＿Ｎが“０”を示すとき重み付け量Ｗ＿Ｎを“０”に設定し、こうして決定された重み付け量Ｗ＿Ｎを参照した部分動きベクトルＶＣ＿Ｎの加重平均処理によって全体動きベクトルを作成する。加重平均処理は、具体的には数式１を用いて実行される。
［数式１］
ＴＶＣ＝ΣＶＣ＿Ｎ＊Ｗ＿Ｎ／ΣＷ＿Ｎ（Ｎ：１〜５）
ＴＶＣ：全体動きベクトル

数式１によれば、部分動きベクトルＶＣ＿１〜ＶＣ＿５に重み付け量Ｗ＿１〜Ｗ＿５がそれぞれ掛算され、これによって得られた５つの掛算値の総和が重み付け量Ｗ＿１〜Ｗ＿５の総和によって割り算される。この結果、最小相関値ＭＩＮ＿Ｎの増大に応じて増大される閾値ＴＨ１＿Ｎと平均相関値ＡＶ＿Ｎとの大小関係が、全体動きベクトルに反映される。

図７（Ａ）〜図７（Ｄ）を参照して、低コントラストの被写界に風船ＢＬが進入してきたときの動作を説明する。図７（Ａ）は時刻Ｔ１における被写界の状態を示し、図７（Ｂ）は時刻Ｔ２における被写界の状態を示し、図７（Ｃ）は時刻Ｔ３における被写界の状態を示し、そして図７（Ｄ）は時刻Ｔ４における被写界の状態を示す。また、ここでは、風船ＢＬが捉えられない限り、動きベクトルＶＣ＿Ｎは閾値ＴＨ２を下回り、最小相関値ＭＩＮ＿Ｎも閾値ＴＨ３を下回ることを前提とする。したがって、風船ＢＬが捉えられない状態では、重み付け量Ｗ＿１〜Ｗ＿５はいずれも“０”に設定され、全体動きベクトルの量は“０”を維持する。

風船ＢＬが動き検出ブロックＭＤ＿Ｎに進入し始めると、平均相関値ＡＶ＿Ｎは未だ閾値ＴＨ１＿Ｎを下回るものの、最小相関値ＭＩＮ＿Ｎは閾値ＴＨ３以上となり、これによって閾値ＴＨ１＿Ｎが増大する。平均相関値ＡＶ＿Ｎは風船ＢＬのさらなる進入によって増大するものの、閾値ＴＨ１＿Ｎが増大しているため、平均相関値ＡＶ＿Ｎは依然として閾値ＴＨ１＿Ｎを下回る。この結果、風船ＢＬの進入に関わらず、重み付け量Ｗ＿１〜Ｗ＿５はいずれも“０”を示し、全体動きベクトルの量は“０”を維持する。

このように、動き検出ブロックＭＤ＿Ｎに対応して取得される最小相関値ＭＩＮ＿Ｎは、動き検出ブロックＭＤ＿Ｎに動体が進入したときに増大する。動き検出ブロックＭＤ＿Ｎが閾値ＴＨ１＿Ｎを下回るコントラストの被写界を捉えるブロックであれば、動体の進入によって閾値ＴＨ１＿Ｎが増大する。動き検出ブロックＭＤ＿Ｎで捉えられる被写界は、動体の進入に起因するコントラストの増大に関わらず、閾値ＴＨ１＿Ｎを下回るコントラストの部分被写界と判別される。この結果、動体の動きが被写界全体の動き検出に反映され難くなり、被写界全体の動きの誤検出を低減することができる。

ＣＰＵ２８は、図８に示す動画撮像タスク，図９〜図１１に示す手振れ補正タスクおよび図１２に示す閾値制御タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。

図８を参照して、ステップＳ１では動画取り込み処理を実行し、ステップＳ３ではコンティニュアスＡＦタスクを起動する。ステップＳ１の処理によってスルー画像がＬＣＤモニタ４０から出力され、ステップＳ３の処理によってフォーカスが連続的に調整される。ステップＳ５では記録開始操作が行われたか否かを判別し、ＮＯである限りステップＳ７のＡＥ処理を繰り返す。これによって、露光量が適度に調整される。記録開始操作が行わるとステップＳ９に進み、記録処理を開始するべくＩ／Ｆ４２を起動する。ステップＳ１１では記録終了操作が行われたか否かを判別し、ＮＯである限りステップＳ１３のＡＥ処理を繰り返す。記録終了操作が行われるとステップＳ１５に進み、記録処理を終了するべくＩ／Ｆ４２を停止する。ステップＳ１５の処理が完了すると、ステップＳ５に戻る。

図９を参照して、ステップＳ２１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。ＹＥＳであれば、ステップＳ２３で動き検出回路２２から部分動きベクトルＶＣ＿１〜ＶＣ＿５を取り込み、ステップＳ２５で動き検出回路２２から平均相関値ＡＶ＿１〜ＡＶ＿５を取り込み、そしてステップＳ２７で動き検出回路２２から最小相関値ＭＩＮ＿１〜ＭＩＮ＿５を取り込む。

ステップＳ２９では、取り込まれたこれらの動き情報に基づいて全体動きベクトルを作成する。続くステップＳ３１では現時点の撮像面の動きがパン／チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでＹＥＳであればそのままステップＳ２１に戻り、ＮＯであればステップＳ３３に進む。ステップＳ３３では、ステップＳ２９で作成された全体動きベクトルに沿って抽出エリアＥＸを移動させる。ステップＳ３３の処理が完了すると、ステップＳ２１に戻る。

図９に示すステップＳ２９の動きベクトル作成処理は、図１０〜図１１に示すフロー図に従って実行される。

まずステップＳ４１で変数Ｎを“１”に設定し、ステップＳ４３で平均相関値ＡＶ＿Ｎが閾値ＴＨ１＿Ｎを下回るか否かを判別する。ここでＹＥＳであればステップＳ４５でフラグＦＬＧ＿Ｎを“０”に設定する一方、ＮＯであればステップＳ４７でフラグＦＬＧ＿Ｎを“１”に設定する。ステップＳ４９では部分動きベクトルＶＣ＿Ｎが閾値ＴＨ２を下回るか否かを判別し、ステップＳ５１ではフラグＦＬＧ＿Ｎが“０”を示すか否かを判別し、ステップＳ５３では最小相関値ＭＩＮ＿Ｎが閾値ＴＨ３以上であるか否かを判別する。ステップＳ４９〜Ｓ５３のいずれか１つでもＮＯであれば、そのままステップＳ５７に進む。ステップＳ４９〜Ｓ５３のいずれにおいてもＹＥＳであれば、ステップＳ５５で閾値ＴＨ１＿ＮをΔＴＨだけ増大させてからステップＳ５７に進む。

ステップＳ５７では変数Ｎが“５”に達したか否かを判別し、ＮＯであればステップＳ５９で変数ＮをインクリメントしてからステップＳ４３に戻る一方、ＹＥＳであればステップＳ６１以降の処理に進む。ステップＳ６１では変数Ｎを“１”に戻し、ステップＳ６３ではフラグＦＬＧ＿Ｎが“１”であるか否かを判別する。ここでＹＥＳであればステップＳ６５で重み付け量Ｗ＿Ｎを“１”に設定し、ＮＯであればステップＳ６７で重み付け量Ｗ＿Ｎを“０”に設定する。ステップＳ６９では変数Ｎが“５”に達したか否かを判別し、ＮＯであればステップＳ７１で変数ＮをインクリメントしてからステップＳ６３に戻る一方、ＹＥＳであればステップＳ７３で数１に従う加重平均処理を施してから上階層のルーチンに復帰する。

図１２を参照して、ステップＳ８１では変数Ｍを“１”に設定する。ステップＳ８３では閾値ＴＨ＿Ｍが増大したか否かを判別し、ＮＯであればそのままステップＳ８７に進む一方、ＹＥＳであればステップＳ８５におけるタイマＴ＿Ｍのリセット＆スタートを経てステップＳ８７に進む。ステップＳ８７ではタイマＴ＿Ｍにタイムアウトが発生したか否かを判別し、ＮＯであればそのままステップＳ９１に進む一方、ＹＥＳであればステップＳ８９で閾値ＴＨ＿Ｍを初期化してからステップＳ９１に進む。ステップＳ９１では変数Ｍが“５”に達したか否かを判別し、ＮＯであればステップＳ９５で変数ＭをインクリメントしてからステップＳ８３に戻る一方、ＹＥＳであればステップＳ９３で変数Ｍを“１”に戻してからステップＳ８３に戻る。

以上の説明から分かるように、ＣＰＵ２８は、被写界に割り当てられた動き検出ブロックＭＤ＿１〜ＭＤ５で捉えられる部分被写界の動きを示す部分動きベクトルＶＣ＿１〜ＶＣ＿５を、イメージセンサ１６から繰り返し出力された生画像データに基づいて検出する(S23)。ＣＰＵ２８はまた、動き検出ブロックＭＤ＿１〜ＭＤ＿５にそれぞれ割り当てられた重み付け量Ｗ＿１〜Ｗ＿５のうち、基準（＝閾値ＴＨ１＿Ｎ）を下回るコントラストの部分被写界を捉えるブロックに割り当てられた重み付け量を低減する(S43, S45)。ＣＰＵ２８はさらに、重み付け量Ｗ＿１〜Ｗ＿５を参照して部分動きベクトルＶＣ＿１〜ＶＣ＿５に加重平均処理を施し、被写界全体の動きを検出する(S61~S73)。ＣＰＵ２８は、イメージセンサ１６から出力された生画像データのフレーム間の最小相関値ＭＩＮ＿１〜ＭＩＮ＿５を、動き検出ブロックＭＤ＿１〜ＭＤ＿５にそれぞれ対応して繰り返し取得する(S27)。ＣＰＵ２８は、取得された最小相関値の増大に応じて基準を増大させる処理を、基準を下回るコントラストの部分被写界を捉えるブロックに対応して実行する(S51~S55)。

動き検出ブロックＭＤ＿Ｎに対応して取得される最小相関値ＭＩＮ＿Ｎは、動き検出ブロックＭＤ＿Ｎに動体が進入したときに増大する。動き検出ブロックＭＤ＿Ｎが基準を下回るコントラストの部分被写界を捉えるブロックであれば、動体の進入によってこの基準が増大される。動き検出ブロックＭＤ＿Ｎで捉えられる部分被写界は、動体の進入に起因するコントラストの増大に関わらず、基準を下回るコントラストの部分被写界と判別される。この結果、動体の動きが被写界全体の動き検出に反映され難くなり、被写界全体の動きの誤検出を低減することができる。

この発明の一実施例の構成を示すブロック図である。 複数の動き検出ブロックおよび単一の抽出エリアを撮像面に割り当てた状態の一例を示す図解図である。 手振れ補正動作の一例を示す図解図である。 図１実施例に適用される動き検出回路の構成の一例を示すブロック図である。 図４実施例に適用される動き情報作成回路の構成の一例を示すブロック図である。 （Ａ）は動き検出ブロックの構成の一例を示す図解図であり、（Ｂ）は微小ブロックの構成の一例を示す図解図である。 （Ａ）は時刻Ｔ１に捉えられた被写界の一例を示す図解図であり、（Ｂ）は時刻Ｔ２に捉えられた被写界の一例を示す図解図であり、（Ｃ）は時刻Ｔ３に捉えられた被写界の一例を示す図解図であり、（Ｄ）は時刻Ｔ４に捉えられた被写界の一例を示す図解図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

符号の説明

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２０ …前処理回路
２２ …動き検出回路
２８ …ＣＰＵ
３４ …ＳＤＲＡＭ
３６ …後処理回路
４６ …フラッシュメモリ

Claims (8)

1. シーンに割り当てられた複数のブロックの各々で捉えられる部分シーンの動きを撮像手段から繰り返し出力された画像データに基づいて検出する第１検出手段、
   前記複数のブロックにそれぞれ割り当てられた複数の重み付け量のうちコントラストが第１基準を下回る部分シーンを捉えるブロックに割り当てられた重み付け量を低減する低減手段、
   前記低減手段の処理によって調整された複数の重み付け量を参照した加重平均処理を前記第１検出手段によって検出された動きに施して前記シーン全体の動きを検出する第２検出手段、
   前記撮像手段から出力された画像データの画面間の最小相関値を前記複数のブロックの各々に対応して繰り返し取得する第１取得手段、および
   前記第１取得手段によって取得された最小相関値の増大に応じて前記第１基準を増大させる処理をコントラストが前記第１基準を下回りかつ動き量が第２基準を下回る部分シーンを捉えるブロックに対応して実行する増大手段を備える、動き検出装置。
2. 前記撮像手段から出力された画像データの画面間の平均相関値を前記複数のブロックの各々に対応して繰り返し取得する第２取得手段をさらに備え、
   前記低減手段は前記第２取得手段によって取得された平均相関値を前記第１基準と比較して前記コントラストを判別する比較手段を含む、請求項１記載の動き検出装置。
3. 前記撮像手段から出力された画像データの一部を前記第２検出手段によって検出された動きが補償されるように抽出する抽出手段をさらに備える、請求項１または２記載の動き検出装置。
4. 前記抽出手段は、前記撮像手段から出力された画像データをメモリに書き込む書き込み手段、前記書き込み手段によって前記メモリに格納された画像データのうち抽出エリアに属する一部の画像データを読み出す読み出し手段、および前記第２検出手段によって検出された動きが補償されるように前記抽出エリアの位置を変更する変更手段を含む、請求項３記載の動き検出装置。
5. 前記増大手段によって増大された第１基準を指定期間の経過後に初期化する初期化手段をさらに備える、請求項１ないし４のいずれかに記載の動き検出装置。
6. 前記複数のブロックの各々は複数の微小ブロックを含み、
   前画面の画像データにおける代表画素値と現画面の画像データにおける複数の画素値の各々との差分を相関値として前記微小ブロック毎に算出する差分算出手段をさらに備える、請求項１ないし５のいずれかに記載の動き検出装置。
7. 動き検出装置のプロセッサに、
   シーンに割り当てられた複数のブロックの各々で捉えられる部分シーンの動きを撮像手段から繰り返し出力された画像データに基づいて検出する第１検出ステップ、
   前記複数のブロックにそれぞれ割り当てられた複数の重み付け量のうちコントラストが第１基準を下回る部分シーンを捉えるブロックに割り当てられた重み付け量を低減する低減ステップ、
   前記低減ステップの処理によって調整された複数の重み付け量を参照した加重平均処理を前記第１検出ステップによって検出された動きに施して前記シーン全体の動きを検出する第２検出ステップ、
   前記撮像手段から出力された画像データの画面間の最小相関値を前記複数のブロックの各々に対応して繰り返し取得する取得ステップ、および
   前記取得ステップによって取得された最小相関値の増大に応じて前記第１基準を増大させる処理をコントラストが前記第１基準を下回りかつ動き量が第２基準を下回る部分シーンを捉えるブロックに対応して実行する増大ステップを実行させるための、動き検出プログラム。
8. 動き検出装置によって実行される動き検出方法であって、
   シーンに割り当てられた複数のブロックの各々で捉えられる部分シーンの動きを撮像手段から繰り返し出力された画像データに基づいて検出する第１検出ステップ、
   前記複数のブロックにそれぞれ割り当てられた複数の重み付け量のうちコントラストが第１基準を下回る部分シーンを捉えるブロックに割り当てられた重み付け量を低減する低減ステップ、
   前記低減ステップの処理によって調整された複数の重み付け量を参照した加重平均処理を前記第１検出ステップによって検出された動きに施して前記シーン全体の動きを検出する第２検出ステップ、
   前記撮像手段から出力された画像データの画面間の最小相関値を前記複数のブロックの各々に対応して繰り返し取得する取得ステップ、および
   前記取得ステップによって取得された最小相関値の増大に応じて前記第１基準を増大させる処理をコントラストが前記第１基準を下回りかつ動き量が第２基準を下回る部分シーンを捉えるブロックに対応して実行する増大ステップを備える、動き検出方法。

Images