JP6090193B2 - 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法 - Google Patents

Description

本発明は、画像中の被写体の動きを検出する動き検出処理技術に関する。

画像中の被写体の動きを検出するために、時間的に連続する２つの画像の差分信号を利用する方法が広く採用されている。「差分信号」とは、一方の信号の値をもう一方の信号の値から引いた値又は、その絶対値のことを言う。画像の差分信号を画素毎に算出する方法は、被写体の動きを誤って検出するという欠点がある。この欠点は、動き検出対象である信号成分以外の信号の影響による。たとえば、特許文献１には、色信号成分による動きの誤検出を抑制するために、輝度信号成分の動き検出回路において、色信号成分を除去するローパスフィルタリング処理を行う動き検出回路が開示されている。

特許文献１に開示されている検出回路は、輝度信号低周波数成分の動きを検出する。特許文献１に開示されている検出回路は、１フレーム遅延した信号とフレームメモリの入力信号とを減算回路に供給し、差分信号を得る。１フレーム遅延した信号は、入力信号をフレームメモリに入力することで得るものである。減算回路の出力信号である差分信号は、ローパスフィルタに供給される。ローパスフィルタに供給された差分信号は、色信号帯域が除去される。色信号帯域を除去されることにより、輝度信号低域成分の動き情報が得られる。ローパスフィルタの出力が零のときは、入力信号が静止であると判定することができる。ローパスフィルタの出力が零以外のときは、入力信号が動きのある信号であると判定することができる。このローパスフィルタの出力信号には正負の極性があるため、検出回路は、ローパスフィルタの出力信号の絶対値を求める。検出回路は、絶対値を求めるために、絶対値回路を用いる。絶対値回路の出力信号は、変換回路により、非線形の入出力変換が行われる。この変換回路による非線形の入出力変換は、低いレベルの入力に対しては出力を零とするものである。この変換回路による非線形の入出力変換は、ノイズの影響を除去するものである。

特開昭６３−９０９８７号公報（第１図）

ところで、ディジタルカメラでは、撮像画像に歪曲歪み（ディストーション）が生ずることがある。歪曲歪みは、例えば、レンズなどの撮像光学系の歪曲収差に起因する。「歪曲収差」とは、レンズにおいて直線が曲がって写ることであり、特に画像の周辺において起こる。この歪曲歪みは、撮像光学系により結像された像において画角の中心軸付近とその周辺部とで結像倍率（特に、横倍率）が異なることに起因して生じるものである。「結像倍率」とは、レンズとの関係において、結像した距離における像倍率のことを言う。「結像」とは、レンズなどの光学系を利用して像を得ることを言う。歪曲収差が発生した場合には、撮像画像においては画像の中心（撮像光学系の画角の中心軸上の画素）から周辺部に向かうにつれて歪曲歪みの量は大きくなる。

たとえば、撮像光学系として魚眼レンズ（超広角レンズ）を使用する場合には、撮像画像の周辺部では信号の低周波数成分の動き等を検出できなくなる。すなわち、歪んだ画像では、画像の歪み量により、同一サイズの画像領域の画像内に映し出される実際の空間領域の範囲が異なる。このため、時間的に連続する歪んだ画像の同一サイズの単純な差分情報では、被写体の動きを正しく検出できないという問題がある。そして、同一被写体でも撮像画像の周辺部に位置する場合には、撮像画像の中心部に映る場合よりも、小さく映る。上記より、画像の中心部では検出できた被写体の動きが、画像の周辺部では検出できなくなる。

上記の特許文献１の輝度信号の低周波数成分の動きを検出する検出回路は、入力画像が画角の中央部では歪んでおらず画角の周辺部で歪んでいる場合には、動きが検出できないおそれがある。その理由は、以下の通りである。画角の中央部にある被写体は、一定サイズの画素平均値の画像の差分値を用いて動きを検出することができる。これに対し、画角の中央部から画角の周辺部に移動した被写体は、一定サイズの画像領域における被写体の占める割合が小さくなる。このため画角の周辺部では、一定サイズの画像領域の画素平均値から画像の差分値を算出することができないためである。

上記に鑑みて、本発明の目的は、歪曲歪みを有する画像中の被写体の動き検出精度の劣化を抑制することができる動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法を提供することである。

本発明の動き検出処理装置は、
撮像光学系の結像倍率が画角の中心軸付近と前記中心軸付近の周辺部とで異なることにより歪曲歪みが生じた入力画像を処理する動き検出処理装置であり、
前記入力画像を入力しフレーム単位の遅延をおこないフレーム遅延信号を出力するフレームメモリと、前記入力画像と前記フレーム遅延信号との差分信号を出力する差分器と、前記差分信号を演算処理した信号について、指定された振幅範囲のうちロークリップ閾値以下の低振幅範囲内の入力信号レベルを前記ロークリップ閾値よりも低い振幅の第１の出力信号レベルに変換するロークリップ処理部と、前記差分信号を演算処理した信号について、指定された振幅範囲のうち前記ロークリップ閾値よりも大きなハイクリップ閾値以上の高振幅範囲内の入力信号レベルを一定の振幅の第２の出力信号レベルに変換するハイクリップ処理部とを有し、前記入力画像中の注目画素を含む参照範囲内の複数画素に対して時空間フィルタリングを実行して得られた値の時系列変化により、前記入力画像中の被写体の動き検出を行う動き検出部と、
前記注目画素の前記結像倍率が大きい程、前記参照範囲を狭くするフィルタリング制御部と、
前記結像倍率が大きな値に変化したとき、前記ロークリップ閾値を大きい値に変更し、前記ハイクリップ閾値を小さい値に変更する検出パラメータ算出処理部と
を備えたことを特徴とする。

本発明は被写体が歪むことに起因する動き検出の精度劣化を抑制する。

実施の形態１に係る動き検出処理装置を含む画像処理装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る動き検出処理装置の基本構成を概略的に示す機能ブロック図である。 出力画像の画像中心と処理対象画素との間の関係を示す図である。 歪曲歪み量ＦＡと画像中心からの距離Ｌとの間の関係の一例を示す図である。 線形補間法により参照座標（ｘ_０，ｙ_０）の画素値を加重平均で補間する方法の説明図である。 入力画像中の注目画素と画像中心との間の関係を示す図である。 パラメータ演算処理部による処理手順を概略的に示すフローチャートである。 （Ａ），（Ｂ）は、基準参照範囲ＳＡ２を例示する図である。 ロークリップ処理部の入出力特性の一例を示す図である。 ハイクリップ処理部の入出力特性の一例を示す図である。 ローパスフィルタに適用されるべき５×５画素の基準参照範囲ＳＡ２と候補参照範囲ＳＡ２１〜２９とを示す図である。 候補参照範囲ＳＡ２１，ＳＡ２３，ＳＡ２５に適用されるべき重み係数（フィルタ係数）の例を示す図である。 ローパスフィルタに適用されるべき参照範囲ＳＡを選択するためのルックアップテーブルの他の例を示す図である。 方向パラメータｓ，ｔと角度Ａとの関係を示す図である。 実施の形態２に係る動き検出処理装置の基準参照範囲ＳＡ２の一例を概略的に示す図である。 実施の形態３に係る動き検出処理装置の動き検出処理部の構成を概略的に示す図である。 実施の形態３に係る動き検出処理装置のルックアップテーブルを表す図である。 実施の形態４に係る動き検出処理装置の撮像装置の概略構成を示すブロック図である。

以下、本発明に係る実施の形態について図面を用いて説明する。

実施の形態１．
図１は、実施の形態１の動き検出処理装置を含む画像処理装置２１の構成を概略的に示す機能ブロック図である。なお、動き検出処理装置は、以下、動き検出処理部２３として説明する。図１に示されるように、画像処理装置２１は、動き検出処理部２３の他に、パラメータ演算処理部２２及び歪補正処理部２４を備える。座標位置情報ＰＩは、画像処理装置２１に入力される。画像処理装置２１に入力された座標位置情報ＰＩは、パラメータ演算処理部２２及び歪補正処理部２４に入力される。また、画像入力Ｉｓは、画像処理装置２１に入力される。入力画像Ｉｓは、動き検出処理部２３及び歪補正処理部２４に入力される。パラメータ演算処理部２２は、入力画像Ｉｓを構成する画素の座標位置情報ＰＩに基づいて動き検出パラメータＲｍ及びベクトル（ｓ，ｔ）を出力する。動き検出パラメータＲｍ及びベクトル（ｓ，ｔ）は、動き検出処理部２３及び歪補正処理部２４に入力される。動き検出処理部２３は、動き検出情報Ｍｖを出力する。歪補正処理部２４は、画像出力信号Ｏｓを出力する。「入力画像」とは、画像処理装置２１に入力される画像のことである。

図２は、実施の形態１の動き検出処理部２３の基本構成を概略的に示す機能ブロック図である。動き検出処理部２３は、フィルタリング制御部２９及び動き検出部３０を備える。動き検出部３０は、フレームメモリ３８、差分器３２、ローパスフィルタ３１、絶対値処理部３５、ロークリップ処理部３３及びハイクリップ処理部３４を有する。動き検出処理部２３に関する詳細な説明は後述する。動き検出処理部２３は、パラメータ演算処理部２２から供給された動き検出パラメータＲｍ及びベクトル（ｓ，ｔ）を用いる。動き検出処理部２３は、入力画像Ｉｓと入力画像Ｉｓを１フレーム遅延した遅延画像Ｉｆｄとの差分画像に対して時空間フィルタリング処理を実施する。１フレーム遅延は、フレームメモリ３６によりおこなわれる。差分画像の抽出は、差分器３２によりおこなわれる。「差分画像」とは、一方の画像の値をもう一方の画像の値から引いた値又は、その絶対値を対応した画素の値とする画像のことを言う。時空間フィルタリング処理は、たとえばローパスフィルタ３１を用いた高周波除去などである。動き検出処理部２３は、フィルタリング処理を実施した後、絶対値処理、非線形変換であるロークリップ処理及びハイクリップ処理を実行することにより入力画像Ｉｓ中の動き検出情報Ｍｖを導出する機能を有する。絶対値処理は、絶対値処理部３５によりおこなわれる。ロークリップ処理は、ロークリップ処理部３３によりおこなわれる。ハイクリップ処理は、ハイクリップ処理部３４によりおこなわれる。

＜歪補正処理部２４の動作説明＞
本発明の動き検出処理装置は、歪曲歪みの量に応じて設定を変更するものである。本発明の動き検出処理装置を含む画像処理装置２１において、歪曲歪みの補正をおこなう歪補正処理部２４の動作について説明する。

歪補正処理部２４は、入力画像Ｉｓを受信する。歪補正処理部２４は、入力画像Ｉｓの歪曲歪みを補正する機能を有する。歪補正処理部２４は、入力画像Ｉｓの局所的な歪曲歪み量ＦＡに応じた倍率Ｒｄを用いて入力画像Ｉｓを局所的に変形（拡大または縮小）する。倍率Ｒｄは、動き検出パラメータＲｍの１つである。後述するように、ｓ，ｔは、倍率Ｒｄの適用方向を示すベクトル（ｓ，ｔ）の成分である。

本実施の形態１では、入力画像Ｉｓは、撮像装置の撮像光学系により結像された光学像を固体撮像素子が光電変換することで得られたデジタル画像である。歪曲歪み量ＦＡは、撮像光学系の歪曲収差に起因して発生する歪曲歪みの大きさを示す。歪曲歪み量ＦＡは、撮像光学系の画角中心からの像高及び撮影条件に応じて予め計算されたものである。例えば、歪曲歪み量ＦＡは、均一な升目上のチャート等に投影した画像などを測定して算出することで得られる。歪曲歪み量ＦＡのデータは、歪補正処理部２４の内部または外部の不揮発性メモリ（図示せず）に格納されている。歪補正処理部２４は、この不揮発性メモリのデータを参照して歪曲歪み量ＦＡを取得する。歪曲歪み量ＦＡは、注目画素の座標位置に対応する。つまり、画像の各画素は個別に歪曲歪み量ＦＡを有している。

歪補正処理部２４は、注目画素と画角の中心に対応する画像の中心との間の距離Ｌを算出する。「注目画素」とは、出力画像Ｏｓを処理した際に対象とした画素である。つまり、画像処理装置２１で処理をする際の対象画素である。出力画像Ｏｓは、歪曲歪みが補正された画像である。

図３は、注目画素と画像中心との間の関係を示す図である。図３は、出力画像Ｏｓを表している。図３では、例えば、出力画像Ｏｓの横方向をＸ軸で表し、縦方向をＹ軸で表している。図３の横軸はＸ軸で、縦軸はＹ軸である。図３中、Ｘ軸の右方向は＋Ｘ軸方向で、Ｙ軸の下方向は＋Ｙ軸方向である。画像中心は、画角中心に対応している。距離Ｌは、撮像光学系の画角中心からの理想的な像高に対応する量である。「理想的な像高」とは、歪曲収差が無い場合の像高である。図３において、出力画像Ｏｓ中の任意の画素の座標は、原点座標（０，０）に対するＸ座標とＹ座標との組で与えられる。図３中で、原点座標（０，０）は左上の端の位置としている。注目画素の座標を（ｘ，ｙ）とし、画像中心の座標を（ＸＣ，ＹＣ）とするとき、距離Ｌは、次式（１）に従って算出される。

次に、歪補正処理部２４は、算出された距離Ｌに対応する歪曲歪み量を注目画素の歪曲歪み量ＦＡとして取得する。図４は、歪曲歪み量ＦＡと画像中心からの距離Ｌとの間の関係の一例を示す図である。図４の縦軸は、歪曲歪み量ＦＡであり、図４の横軸は画像中心からの距離Ｌである。図４において、縦軸の上方向は歪曲歪み量ＦＡが大きくなる方向である。つまり、歪曲歪み量ＦＡ_５が最も小さい値であり、歪曲歪み量ＦＡ_０が最も大きい値である。横軸の右方向は距離Ｌが大きくなる方向である。つまり、距離Ｌ_１が最も小さい値であり、距離Ｌ_５が最も大きい値である。図４は、一例として、画角中心から離れる程、歪曲歪み量ＦＡが小さくなる場合を示している。図４に示されるように、歪曲歪み量ＦＡは、離散的な点（座標）の距離Ｌ_ｋに対応する離散的な値ＦＡ_ｋとして与えられている。距離Ｌ_ｋは、単位距離ｎの間隔の離散的な点（座標）として与えられる。つまり、歪曲歪み量ＦＡは、単位距離ｎの間隔の離散的な点（座標）の距離Ｌ_０（＝０），Ｌ_１，Ｌ_２，Ｌ_３，・・・にそれぞれ対応する離散的な歪曲歪み量ＦＡ_０，ＦＡ_１，ＦＡ_２，ＦＡ_３，…として与えられている。なお、距離及び歪曲歪み量等で使用する「・・・」は、距離及び歪曲歪み量等が整数単位で続くことを示している。離散的な点と点との間の任意の点に対応する歪曲歪み量ＦＡは、補間により算出することができる。たとえば線形補間法を使用する場合には、距離Ｌ_ｋ及びＬ_ｋ＋１の間の内分点の距離Ｌに対応する歪曲歪み量ＦＡ＝ＦＡ（ｋ，ｋ＋１，Δ）は、次式（２）で与えられる。

上式（２）において、Δは、距離Ｌの点と距離Ｌ_ｋの点との間の距離である。また式（２）において、ｎ−Δは、距離Ｌの点と距離Ｌ_ｋ＋１の点との間の距離である。なお、上記方法に代えて、Ｎ次の補間多項式（Ｎは２以上の整数）を用いて任意の点に対応する歪曲歪み量ＦＡを算出することも可能である。

次に、歪補正処理部２４は、注目画素の画素値を算出するために入力画像Ｉｓ内の参照すべき画素の参照座標（ｘ_０，ｙ_０）を算出する。「参照座標」とは、参照する画素の座標であり、歪曲収差がない場合、参照座標は注目画素の座標と一致する。歪曲歪みが補正された出力画像Ｏｓの座標（ｘ，ｙ）と、実際に撮像された入力画像Ｉｓの参照座標（ｘ_０，ｙ_０）との間には歪曲収差に起因するズレが生じている。本実施の形態１では、歪曲収差は、撮像光学系の画角中心からの距離（像高）のみに依存するものと想定されている。参照座標（ｘ_０，ｙ_０）は、座標（ｘ，ｙ）に対応する歪曲歪み量ＦＡを用いて次式（３）により算出される。

参照座標の値ｘ_０，ｙ_０は、入力画像Ｉｓ内に実存する画素の座標値と一致するとは限らない。言い換えれば、参照座標の値ｘ_０，ｙ_０は、必ずしも整数値にならない。このため、歪補正処理部２４は、参照すべき画素又はその周辺画素の画素値をサンプリングする。歪補正処理部２４は、サンプリングした画素値を用いた補間処理を行う。歪補正処理部２４は、この補間処理により出力画像Ｏｓの注目画素の画素値Ｇ（ｘ，ｙ）を算出することができる。

図５は、線形補間法により参照座標（ｘ_０，ｙ_０）の画素値を加重平均で補間する方法の説明図である。図５は、入力画像Ｉｓを表している。図５では、例えば、入力画像Ｉｓの横方向をＸ軸で表し、縦方向をＹ軸で表している。図５の横軸はＸ軸で、縦軸はＹ軸である。図５中、Ｘ軸の右方向は＋Ｘ軸方向で、Ｙ軸の下方向は＋Ｙ軸方向である。

図５に示されるように、参照座標（ｘ_０，ｙ_０）に対する周辺画素の座標（ｉ，ｊ）の画素値、座標（ｉ＋１，ｊ）の画素値、座標（ｉ，ｊ＋１）の画素値及び座標（ｉ＋１，ｊ＋１）の画素値を用いて参照座標（ｘ_０，ｙ_０）の画素値を補間することができる。参照座標（ｘ_０，ｙ_０）の画素値は、注目画素の画素値である。参照座標（ｘ_０，ｙ_０）は、左上の座標（ｉ，ｊ）から水平方向に距離Ｄｘだけ離れて位置している。また、参照座標（ｘ_０，ｙ_０）は、左上の座標（ｉ，ｊ）から垂直方向に距離Ｄｙだけ離れて位置している。入力画像Ｉｓにおける任意座標（ｐ，ｑ）の画素値をｇ（ｐ，ｑ）と表す。出力画像Ｏｓにおける注目画素の画素値をＧ（ｘ，ｙ）と表す。このとき、注目画素の画素値Ｇ（ｘ，ｙ）は、次式（４）を用いて算出される。

以上に説明したように、歪補正処理部２４は、歪曲歪み量ＦＡに応じた倍率Ｒｄで入力画像Ｉｓを局所的に変形（拡大または縮小）する。これにより、歪補正処理部２４は、入力画像Ｉｓの歪曲歪みを補正することができる。

次に、倍率Ｒｄの求め方について説明する。入力画像Ｉｓにおける注目画素の画像中心からの距離をＨで表す。このとき距離Ｈは、実像高に対応する量である。「実像高」とは、レンズ歪み（収差）の影響を含め、実際に結像している像の像高である。距離Ｈは、理想的な像高に対応する距離Ｌとこれに対応する歪曲歪み量ＦＡとの積となる。すなわち、距離Ｈは、Ｈ＝ＦＡ×Ｌで表される。上述のように、「理想的な像高」とは、歪曲収差が無い場合の像高である。

前述の通り、本実施の形態１では、歪曲収差は、撮像光学系の画角中心からの距離（像高）のみに依存するものと想定されている。よって、距離Ｈは、距離Ｌを独立変数とする関数Ｈ＝ｆ（Ｌ）と表現することができる。歪曲歪みを補正するための撮像画像の局所的な変形（拡大または縮小）倍率をＲｄで表すとする。このとき倍率Ｒｄは、Ｌに関するＨの１次微分の逆数として表現することができる。倍率Ｒｄは、次式（５）で与えられる。

ここで、倍率Ｒｄ＝１の場合は等倍を意味する。すなわち、撮像画像の拡大または縮小を行わない場合を意味する。倍率Ｒｄの値が１より大きい場合には、歪み補正処理によって注目画素を中心とする画素領域の部分が拡大されることを意味する。また、倍率Ｒｄの値が１より小さい場合には、歪み補正処理によって注目画素を中心とする局所的な画素領域の部分が縮小されることを意味する。

＜パラメータ演算処理部２２の動作説明＞
次に、パラメータ演算処理部２２の動作について説明する。

図６は、入力画像Ｉｓ中の注目画素と画像中心との間の関係を示す図である。図６は、入力画像Ｉｓを表している。図６では、例えば、入力画像Ｉｓの横方向をＸ軸で表し、縦方向をＹ軸で表している。図６の横軸はＸ軸で、縦軸はＹ軸である。図６中、Ｘ軸の右方向は＋Ｘ軸方向で、Ｙ軸の下方向は＋Ｙ軸方向である。図６中、左上の端は、原点（０，０）である。

まず、パラメータ演算処理部２２は、図６に示されるように、入力画像Ｉｓ中の注目画素と画像中心との間の距離Ｌｉを算出する。注目画素の座標を（ｘ_ｉ，ｙ_ｉ）とする。画像中心の座標を（Ｘ_Ｃ，Ｙ_Ｃ）とする。このとき、次式（６）に従って距離Ｌ_iを算出することができる。

次に、パラメータ演算処理部２２は、式（６）によって算出された距離Ｌｉに基づいて倍率Ｒｄを算出する。また、パラメータ演算処理部２２は、倍率Ｒｄの適用方向（撮像画像の拡大または縮小が発生する方向）を示すベクトル（ｓ，ｔ）のベクトルの成分ｓ，ｔを算出する。倍率Ｒｄは、上式（５）と同様の次式（７）で表現することができる。

よって、距離Ｌｉを、関数Ｌｉ＝ｆ（Ｌ）として与えることができれば、その一次微分関数を用いて倍率Ｒｄを算出することができる。関数Ｌｉ＝ｆ（Ｌ）は、距離Ｌを独立変数とする多項式関数である。あるいは、上式（７）の近似式を用いて倍率Ｒｄを算出することも可能である。図４に例示されるように、歪曲歪み量ＦＡが離散的な値ＦＡ_ｋ（ＦＡ０，ＦＡ１，ＦＡ２，・・・）として与えられている場合には、Ｌ＝Ｌ_ｋ（＝ｎ×ｋ）のとき、上式（７）から以下の近似式（７ａ）を導出することができる。近似式（７ａ）は、単位距離ｎが微小であることにより近似している。

よって、次の近似式（７ｂ）を導出することができる。

図７は、近似式（７ｂ）を用いて倍率Ｒｄを算出する手順を示すフローチャートである。図７に示されるように、パラメータ演算処理部２２は、まず、変数ｋを「１」に設定する（ステップＳ１１）。次に、パラメータ演算処理部２２は、距離Ｌ_ｉが距離ＦＡ_ｋ・Ｌ_ｋ未満であるか否かを判定する（ステップＳ１２）。距離ＦＡ_ｋ・Ｌ_ｋは、距離Ｌ_ｋに対応する歪み補正前の画角中心から注目画素までの距離である。距離Ｌ_ｉが距離ＦＡ_ｋ・Ｌ_ｋ未満ではない場合（ステップＳ１２のＮ）には、パラメータ演算処理部２２は、変数ｋに１を加算して（ステップＳ１３）、その後、ステップＳ１２に処理を戻す。距離Ｌｉが距離ＦＡ_ｋ・Ｌ_ｋ未満となった場合（ステップＳ１２のＹ）には、最初にＬ_ｉ＜ＦＡ_ｋ・Ｌ_ｋの式を満たす距離Ｌ_ｋが検出される。このとき、上式（７ｂ）に従って倍率Ｒｄが算出される（ステップＳ１４）。なお、「Ｙ」は分岐条件が真、「Ｎ」は分岐条件が偽の場合を示す。

一方、パラメータ演算処理部２２は、次式（８）に従って、ベクトル（ｓ，ｔ）の成分ｓ，ｔを算出することができる。ベクトル（ｓ，ｔ）は、倍率Ｒｄの適用方向（撮像画像の拡大または縮小が発生する方向）を示すベクトルである。

なお、倍率Ｒｄとベクトルの成分ｓ，ｔとを算出する順序は逆であってもよい。パラメータ演算処理部２２は、算出された倍率Ｒｄとベクトル（ｓ，ｔ）とを動き検出処理部２３に供給する。

＜動き検出処理部２３の動作説明＞
次に、動き検出処理部２３の動作について説明する。

図２は、前記の通り、動き検出処理部２３の基本構成を概略的に示す機能ブロック図である。図２に示されるように、動き検出処理部２３は、フィルタリング制御部２９と動き検出部３０とを有する。

動き検出部３０は、フレームメモリ３８と、差分器３２と、ローパスフィルタ３１と、絶対値処理部３５と、ロークリップ処理部３３と、ハイクリップ処理部３４とを含む。ローパスフィルタ３１は、時空間フィルタリング処理を行う。

フレームメモリ３８は、入力画像Ｉｓを１フレーム期間遅延し、１フレーム遅延画像Ｉｆｄを出力する。つまり、１フレーム遅延画像Ｉｆｄは、フレームメモリ３８を介して得られる。差分器３２は、入力画像Ｉｓおよび１フレーム遅延画像Ｉｆｄを入力して、差分画像Ｄｉを生成する。そして、差分器３２は、この差分画像Ｄｉをローパスフィルタ３１に供給する。上述のように、「差分画像」とは、一方の画像の値をもう一方の画像の値から引いた値又は、その絶対値を対応した画素の値とする画像のことを言う。

ローパスフィルタ３１は、差分画像Ｄｉに対して、時空間フィルタリング処理をおこなう。「時空間フィルタリング処理」とは、画像などを時間方向にフィルタリング処理をおこなうことである。この時空間フィルタリング処理は、入力画像Ｉｓの注目画素の位置を含む参照範囲ＳＡ（サンプリング範囲）内の複数の画素に対しておこなわれる。「参照範囲」とは、フィルタリング対象範囲であり、注目画素を中心とする局所的な領域である。「参照範囲」は「サンプリング範囲」とも呼ばれる。ローパスフィルタ３１は、フィルタリング制御部２９から重み係数Ｋｗを受ける。ローパスフィルタ３１は、重み係数Ｋｗに応じて参照範囲を設定し、時空間フィルタリング処理をおこなう。ローパスフィルタ３１は、時空間フィルタリング処理を実行した画像Ｄ_ＬＰＦを絶対値処理部３５へ出力する。ローパスフィルタ３１は、基準設定範囲を有する。「基準設定範囲」とは、レンズ歪みの影響を受けない画像位置での参照範囲である。フィルタリング制御部２９は基準設定範囲を基準として参照範囲を可変に設定することができる。

本実施の形態１では、時空間フィルタリング処理として平滑化（ローパスフィルタリング）が実行される。差分画像Ｄｉにおける入力画像Ｉｓの注目画素の位置の画素と、注目画素の周辺の画素との画素値の差が大きい場合には、注目画素と注目画素の周辺の画素とを平滑化の対象としないフィルタリング処理にしてもよい。

図８（Ａ）及び図８（Ｂ）は、基準参照範囲ＳＡを説明する図である。図８（Ａ）は、入力画像Ｉｓを表している。図８（Ｂ）は、入力画像Ｉｓの中の基準参照範囲ＳＡを拡大して表している。図８（Ａ）及び図８（Ｂ）では、例えば、入力画像Ｉｓの横方向をＸ軸で表し、縦方向をＹ軸で表している。図８（Ａ）の横軸はＸ軸で、縦軸はＹ軸である。図８（Ａ）中、Ｘ軸の右方向は＋Ｘ軸方向で、Ｙ軸の下方向は＋Ｙ軸方向である。図８（Ｂ）は、図８（Ａ）中の基準参照範囲ＳＡを拡大した図である。

基準参照範囲ＳＡは、座標（ｘ，ｙ）での注目画素Ｐｃ（ｘ，ｙ）を中心とするマトリクス状配列からなる。「マトリクス状配列」とは、例えば横方向及び縦方向に値を配した状態を指す。また、この配列は、（２Ｍ＋１）×（２Ｎ＋１）画素の配列である。ここで、Ｎ，Ｍは、１以上の整数である。ローパスフィルタ３１は、まず基準参照範囲ＳＡ２内の画素値ｇ（ｘ−ｉ，ｙ−ｊ）に重み係数（フィルタ係数）Ｋｗ（ｉ，ｊ）を乗算する。ローパスフィルタ３１は、次にその乗算結果ｇ（ｘ−ｉ，ｙ−ｊ）×Ｋｗ（ｉ，ｊ）を基準参照範囲ＳＡ２内の全ての画素について加算する。この動作によりローパスフィルタ３１は、フィルタ画像の画素値ＤＬＰＦ（ｘ，ｙ）を算出する。具体的には、次式（９）に従って注目画素Ｐｃ（ｘ，ｙ）に対応するフィルタ画像Ｄ_ＬＰＦの画素値Ｄ_ＬＰＦ（ｘ，ｙ）を算出することができる。入力画像Ｉｓのノイズ量が多く、ノイズ抑圧量を大きくする場合には、重み係数Ｋｗ（ｉ，ｊ）は各々が均一となるように設定される。また、ノイズ抑圧量を大きくする必要がなければ、注目画素に対する重み係数Ｋｗ（０，０）は他の重み係数Ｋｗよりも大きく設定される。

ここで、重み係数Ｋｗ（ｉ，ｊ）の値は、全て正の値である。重み係数Ｋｗ（ｉ，ｊ）の総和は、１である。また、注目画素Ｐｃ（ｘ，ｙ）の画素値ｇ（ｘ，ｙ）に乗ずるべき重み係数Ｋｗ（０，０）は、他の重み係数Ｋｗよりも大きな値を有するように設定される。

フィルタリング制御部２９は、重み係数Ｋｗ（ｉ，ｊ）の設定値を変えることでローパスフィルタ３１の参照範囲ＳＡを変更することが可能である。たとえば、重み係数Ｋｗ（ｉ，ｊ）の全ての値が零でないときには、参照範囲は基準参照範囲ＳＡ２と一致する。参照範囲が基準参照範囲ＳＡ２と一致したときには、参照範囲の広さは最大となる。重み係数Ｋｗ（ｉ，ｊ）のいくつかの値を零とすることで参照範囲の広さを基準参照範囲ＳＡ２よりも狭くすることができる。

絶対値処理部３５は、フィルタ画像の画素値Ｄ_ＬＰＦの絶対値を取る。そして、絶対値処理部３５は、差分絶対値画像Ｄ_ＡＢＳを生成する。生成された差分絶対値画像Ｄ_ＡＢＳは、ロークリップ処理部３３に供給される。

ロークリップ処理部３３は、クリップ処理機能を有する。このクリップ処理は、ロークリップ閾値ＴＨｌｏ以下の振幅範囲内の入力信号レベルを一定の振幅の出力信号レベルに変換するものである。具体的には、ロークリップ処理部３３は、差分絶対値画像Ｄ_ＡＢＳのうち振幅の小さい信号成分をカットすることにより信号レベルを変換する。差分絶対値画像ＤＡＢＳは、差分器３２、ローパスフィルタ３１及び絶対値処理部３５により変換された画像である。ロークリップ処理部３３は、ローパスフィルタ３１による低域成分の抽出により画像のノイズ成分の抑圧を行う。ロークリップ処理部３３は、ノイズ成分の影響による動きの誤検出を抑制する。ロークリップ処理部３３の出力信号は、ハイクリップ処理部３４に入力される。

図９は、ロークリップ処理部３３の入出力特性の一例を示す図である。図９の縦軸は、出力信号レベルを表し、横軸は入力信号レベルを表す。図９において、縦軸の上方向の方が高い出力信号レベルを示している。また、横軸の右方向の方が高い入力信号レベルを示している。図９に示されるように、ロークリップ処理部３３では入力信号振幅がロークリップ閾値ＴＨｌｏ以下となる低振幅範囲内の入力信号レベルの信号を零に変換している。「ロークリップ閾値ＴＨｌｏ以下」とは、ロークリップ閾値が−ＴＨｌｏから＋ＴＨｌｏまでのことである。このような変換によりノイズ成分の抑圧が行われている。

ハイクリップ処理部３４は、ロークリップ処理部３３の出力を入力とする。ハイクリップ処理部３４は、クリップ処理機能を有する。このクリップ処理機能は、ハイクリップ閾値ＴＨｈｉ以上の振幅範囲内の入力信号レベルを一定の振幅の出力信号レベルに変換するものである。ハイクリップ閾値ＴＨｈｉは、ロークリップ閾値ＴＨｌｏよりも大きな値である。このように一定の振幅以上の信号をクリップすることにより、常に一定以上の動きが見られる被写体において、被写体の動きが停止した際の動きの変化が検出される。

図１０は、ハイクリップ処理部３４の入出力特性の一例を示す図である。図１０の縦軸は、出力信号レベルを表し、横軸は入力信号レベルを表す。図１０において、縦軸の上方向の方が高い出力信号レベルを示している。また、横軸の右方向の方が高い入力信号レベルを示している。図１０に示されるように、ハイクリップ処理部３４は、入力信号の振幅がハイクリップ閾値ＴＨｈｉ以上となる高振幅範囲内の入力信号のレベルをそれぞれ一定の出力信号のレベルに変換する。すなわち、ハイクリップ処理部３４では、＋ＴＨｈｉ以上の入力信号レベルの信号が一定の出力信号レベル（＋Ｍｓ）に変換される。また、ハイクリップ処理部３４では、−ＴＨｈｉ以下の入力信号レベルの信号が一定の出力信号レベル（−Ｍｓ）に変換される。

フィルタリング制御部２９は、倍率Ｒｄが大きい程、ローパスフィルタ３１の参照範囲ＳＡ（サンプリング範囲）を狭くする機能を有する。例えば、フィルタリング制御部２９は、倍率Ｒｄが大きい程、倍率Ｒｄのベクトル（ｓ，ｔ）と平行な方向の参照範囲ＳＡを狭くする機能を有する。そのため、フィルタリング制御部２９は、ローパスフィルタ３１に対して重み係数Ｋｗを出力する。ベクトル（ｓ，ｔ）は、倍率Ｒｄの適用方向を示す。フィルタリング制御部２９は、ローパスフィルタ３１の出力が、注目画素の位置に関わらず、その変形後の画素範囲の広さが基準参照範囲ＳＡ２の広さと等しくなるように参照範囲を定める。なお、ここでの「広さが等しい」とは、画素範囲の水平方向及び垂直方向の画素数が完全に一致するものでなく、前後一画素分の差を許容するものである。画素数が完全に一致しない場合に、一番近い値の広さとするものである。例えば、演算結果の値が小数点以下となり隣の画素に画素範囲が広がることなどが起こりうる。上記のように、画素範囲の広さを定めることにより、光学歪みによる画像中の被写体のサイズを均一化することができる。

また、フィルタリング制御部２９は、ルックアップテーブルを有している。このルックアップテーブルは、動き検出パラメータＲ及びベクトル（ｓ，ｔ）の値の組み合わせとローパスフィルタ３１の候補参照範囲ＳＡ２１〜２９との対応関係を示している。フィルタリング制御部２９は、このルックアップテーブルを参照して、複数の候補参照範囲ＳＡ２１〜２９の中から動き検出パラメータＲ及びベクトル（ｓ，ｔ）の現在値に応じて参照範囲ＳＡを選択することができる。

図１１は、ローパスフィルタに適用される５×５画素の候補参照範囲ＳＡ２１〜２９を示す図である。図１１（Ａ）〜図１１（Ｉ）の候補参照範囲ＳＡ２１〜２９は、一例として、それぞれ５×５画素のマトリクスで表されている。図１１（Ａ）〜図１１（Ｉ）において、中央の太線で示した画素は、注目画素Ｐｃ（ｘ，ｙ）である。図１１（Ａ）の候補参照範囲ＳＡ２１は、ローパスフィルタ３１の基準参照範囲ＳＡ２である。候補参照範囲ＳＡ２１は、歪曲歪みが零である場合に選択される参照範囲ＳＡである。図１１（Ａ）〜図１１（Ｉ）において、灰色に塗られた画素は、参照範囲ＳＡから除かれた画素であることを意味する。例えば、図１１（Ｂ）は、左端の一列及び右端の一列の画素が灰色で示されている。図１１（Ｂ）においては、左端の一列及び右端の一列の画素が参照範囲ＳＡから除かれた画素の領域である。

同様に、図１１（Ｃ）は、左端の二列及び右端の二列の画素が灰色で示されている。図１１（Ｄ）は、上端の一行及び下端の一行の画素が灰色で示されている。図１１（Ｅ）は、上端の二行及び下端の二行の画素が灰色で示されている。図１１（Ｆ）は、右上部の３画素及び左下部の３画素が灰色で示されている。図１１（Ｇ）は、右上部の６画素及び左下部の６画素が灰色で示されている。図１１（Ｈ）は、左上部の３画素及び右下部の３画素が灰色で示されている。図１１（Ｉ）は、左上部の６画素及び右下部の６画素が灰色で示されている。

図１２（Ａ）、図１２（Ｃ）及び図１２（Ｅ）は、候補参照範囲ＳＡ２１，ＳＡ２３，ＳＡ２５に適用されるべき重み係数（フィルタ係数）Ｋｗの例を示す図である。図１２（Ａ）、図１２（Ｃ）及び図１２（Ｅ）は、それぞれ図１１（Ａ）、図１１（Ｃ）及び図１１（Ｅ）に対応している。図１２（Ａ）、図１２（Ｃ）及び図１２（Ｅ）における重み係数Ｋｗは、５×５画素のそれぞれの画素に対応した重み係数Ｋｗとなる。

例えば、図１２（Ａ）の候補参照範囲ＳＡ２１の左上の端の画素の重み係数Ｋｗは、１／２５６である。また、図１２（Ａ）の候補参照範囲ＳＡ２１の注目画素Ｐｃ（ｘ，ｙ）の重み係数Ｋｗは、３５／２５６である。同様に、図１２（Ｃ）の候補参照範囲ＳＡ２３の注目画素Ｐｃ（ｘ，ｙ）の重み係数Ｋｗは、６／１６である。また、図１２（Ｅ）の候補参照範囲ＳＡ２５の注目画素Ｐｃ（ｘ，ｙ）の重み係数Ｋｗは、６／１６である。

図１３は、図２のローパスフィルタ３１に適用される参照範囲ＳＡを選択するために予め用意されたルックアップテーブルの一例を示す図である。図１３は、角度Ａと倍率Ｒｄとの関係を示す。

図１４は、方向パラメータｓ，ｔと角度Ａとの関係を示す図である。図１４は、ベクトル（ｓ，ｔ）の成分ｓ，ｔをＸＹ直交座標系にプロットした図である。Ｘ軸は成分ｓを表している。Ｙ軸は成分ｔを表している。Ｘ軸は、図１４中の右側に行く程大きな値となる。Ｙ軸は、図１４中の下側に行く程大きな値となる。Ｘ軸とＹ軸との交点はベクトル（０，０）となる。

図１３にしめす角度Ａは、図１４に示されるように、原点に対する座標（ｓ，ｔ）の角度を−１８０°から１８０°の範囲で表した値である。図１４は、ベクトル（ｓ，ｔ）の成分ｓ，ｔをＸＹ直交座標系にプロットした図である。角度Ａは、Ｘ軸の正方向（図１４中右側）を０度とし、半時計周りの角度を正とする。図１３のルックアップテーブルには、図１１（Ａ）〜図１１（Ｉ）における候補参照範囲ＳＡが記載されている。図１３の角度Ａは、４５度の範囲で区切られている。例えば、−２２．５度より大きく＋２２．５度以下の範囲を１つの範囲としている。図１３の倍率Ｒは、「Ｒｄ≦２．０」、「２．０＜Ｒｄ≦３．０」及び「３．０＜Ｒｄ」の３つの区分に区切って示している。

図２に示すフィルタリング制御部２９は、図１３に示すルックアップテーブルを参照して、動き検出パラメータＲｍ及びベクトル（ｓ，ｔ）の組み合わせに対応する参照範囲ＳＡを複数の候補参照範囲ＳＡ２１〜２９の中から選択することができる。

また、図１３に示すルックアップテーブルに示されるように、倍率Ｒｄが大きくなる程、ローパスフィルタ３１の参照範囲ＳＡ（サンプリング範囲）は段階的に狭くなることが分かる。たとえば、図１３に示されるように、−１８０度＜Ａ＜−１５７．５度の範囲では、ローパスフィルタ３１の適用範囲は、Ｒｄ≦２．０のときに範囲ＳＡ２１が選択される。また、ローパスフィルタ３１の適用範囲は、２．０＜Ｒｄ≦３．０のときに範囲ＳＡ２１よりも狭い範囲ＳＡ２２が選択される。さらに、ローパスフィルタ３１の適用範囲は、Ｒｄ＞３．０のときに範囲ＳＡ２２よりも狭い範囲ＳＡ２３が選択される。

また、倍率Ｒｄが大きくなると、ローパスフィルタ３１の参照範囲は、主に、ベクトル（ｓ，ｔ）と平行な方向に段階的に狭くなることも分かる。ベクトル（ｓ，ｔ）の方向は、倍率Ｒｄの適用方向である。たとえば、図１３に示されるように、Ａ＝０度を中心とする−２２．５度＜Ａ≦＋２２．５度の範囲内では、以下のようになる。ローパスフィルタ３１２の参照範囲ＳＡは、倍率Ｒｄが大きくなる程、基準参照範囲ＳＡ２１から候補参照範囲ＳＡ２２に切り換えられる。また、ローパスフィルタ３１２の参照範囲ＳＡは、倍率Ｒｄが大きくなる程、候補参照範囲ＳＡ２２から候補参照範囲ＳＡ２３に切り換えられる。つまり、ローパスフィルタ３１２の参照範囲ＳＡは、倍率Ｒｄが大きくなる程、角度Ａ＝０度の角度方向（Ｘ軸方向）に段階的に狭くなる。

＜動き検出処理装置２３の効果＞
次に、実施の形態１の効果について説明する。

上記のように本実施の形態１の動き検出処理装置２３は、ローパスフィルタ３１などの時空間フィルタリング処理を行う。上記の時空間フィルタリング処理は、画像に重畳されているノイズ成分の影響を低減することができる。このため、本実施の形態１の動き検出処理装置２３は、動きの誤検出を低減できる効果がある。

上記のように本実施の形態１の動き検出処理装置２３におけるフィルタリング制御部２９は、入力画像Ｉｓの局所的な歪曲歪み量ＦＡに応じた倍率Ｒｄに応じてローパスフィルタ３１の参照範囲ＳＡ（サンプリング範囲）の広さを動的に変更する。よって、フィルタリング制御部２９は、倍率Ｒｄが大きい程、参照範囲ＳＡを狭くする。倍率Ｒｄの大きい部分は、光学歪みの影響を大きく受ける部分である。このため、一般に、倍率Ｒｄの大きい部分においては、被写体は小さくなる。被写体が小さくなれば、被写体の動きが検出されにくくなる。本実施の形態１の動き検出処理装置２３におけるフィルタリング制御部２９は、倍率Ｒｄが大きい程、参照範囲ＳＡを狭くすることにより、光学歪みの影響を大きく受ける倍率Ｒｄの大きい部分においても、被写体の動きが検出されなくなることを防ぐ。

歪曲歪みを有する入力画像Ｉｓ内の被写体が歪み補正処理により引き伸ばされた場合には、目視で確認できるにも関わらず、動きが検出されないことが起こりうる。図１の歪補正処理部２４の歪み補正処理は、フィルタリング制御部２９の上記の動作により、目視で確認できるにも関わらず、動きが検出されない現象を抑制することができる。

また、フィルタリング制御部２９は、歪んだ画像内を移動する被写体に対する動き検出精度の均一性を向上することができる。これは、フィルタリング制御部２９が、ベクトル（ｓ，ｔ）の方向と平行な方向に参照範囲ＳＡを狭くすることによる。ベクトル（ｓ，ｔ）の方向は、倍率Ｒｄの適用方向である。ベクトル（ｓ，ｔ）の方向と平行な方向に参照範囲ＳＡを狭くすることは、参照範囲ＳＡが、常に基準参照範囲ＳＡ２の広さと等しくなるからである。基準参照範囲ＳＡ２は、倍率Ｒｄが１．０のときの参照範囲ＳＡである。

また、フィルタリング制御部２９は、倍率Ｒｄに応じて参照範囲ＳＡの広さを変更する際の演算負荷を低減することができる。上記の演算負荷の低減は、フィルタリング制御部２９において、ルックアップテーブルを参照してローパスフィルタ３１の参照範囲ＳＡを動的に決定することとしたことによる。

上記のように本実施の形態１の動き検出処理装置２３の出力は、動き検出情報Ｍｖとして出力される。動き検出情報Ｍｖは例えば、画像信号を演算処理する場合に、動き検出情報の結果により演算処理を制御することで動きぼけのない演算をする場合に用いられる。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。本実施の形態２の動き検出処理装置の構成は、図２のフィルタリング制御部２９の一部の動作を除いて、実施の形態１の動き検出処理装置２３の構成と同じである。このため、図１及び図２を参照しつつ実施の形態２について説明する。上記実施の形態１では、フィルタリング制御部２９は、ルックアップテーブルを参照してローパスフィルタ３１の参照範囲ＳＡを動的に決定していた。しかし、本実施の形態２のフィルタリング制御部２９は、倍率Ｒｄとベクトル（ｓ，ｔ）の成分ｓ，ｔとを入力として、ローパスフィルタ３１の参照範囲ＳＡを定める画素位置を演算処理により算出する。

実施の形態１と同一の構成要素には同一の符号を付しその説明を省略する。実施の形態１と同一の構成要素は、パラメータ制御部２２、歪補正制御部２４及び動き検出部３０である。なお、フィルタリング制御部は、実施の形態１のフィルタリング制御部２９と上述の相違点を有するが、同一の符号「２９」を用いて説明する。なお、実施の形態１と同じ構成要素の構成、機能又は動作等は、実施の形態２で説明を省いた場合でも、実施の形態１の記載を代用する。また、実施の形態２の中で説明した、実施の形態１に関する記載は、実施の形態１の説明として用いる。

図１５は、本実施の形態の基準参照範囲ＳＡ２の一例を概略的に示す図である。図１５において、整数Ｎは行を示す。また、図１５において、整数Ｍは列を示す。図１５では、Ｎ＝４であり、Ｍ＝４である。この基準参照範囲ＳＡ２は、注目画素Ｐｃを中心とする（２Ｍ＋１）×（２Ｎ＋１）画素のマトリクス状の配列からなる。ここで、整数Ｍ，Ｎは、１以上の整数である。実施の形態１の場合と同様に、ローパスフィルタ３１は、参照範囲の広さと等しい広さの基準参照範囲を有する。また、図１５には、各画素に局所的な座標が示されている。注目画素Ｐｃの座標は（０，０）である。

フィルタリング制御部２９は、ローパスフィルタ３１における基準参照範囲ＳＡ２内の全ての画素の座標（ａ，ｂ）を次の変換式（１０）に従って座標（ｐ，ｑ）に変換する。なお、整数ａは、−Ｍ〜＋Ｍの範囲内の整数である。また、整数ｂは、−Ｎ〜＋Ｎの範囲内の整数である。

式（１０）において、行列Ｒｘ（Ａ）は、入力画像Ｉｓの局所的な変形における拡大の方向または縮小の方向がＸ軸と一致するように座標の回転を行う回転行列である。式（１０）において、行列Ｓ（１／Ｒｄ）は、Ｘ軸方向に倍率Ｒｄの逆倍率１／Ｒｄで座標位置を変化させる行列である。式（１０）において、行列Ｒｘ（−Ａ）は、Ｒｘ（Ａ）の逆行列である。

上式（１０）を整理すると、次式（１０ａ）が得られる。

フィルタリング制御部２９は、上式（１０ａ）を用いて算出された座標の集合｛（ｐ，ｑ）｝で特定される範囲を参照範囲ＳＡとして指定する。なお、「集合｛｝」は、｛｝内の条件を満たす要素の集まりのことである。これにより、フィルタリング制御部２９は、倍率Ｒｄとベクトル（ｓ，ｔ）の成分ｓ，ｔとに応じてローパスフィルタ３１の参照範囲ＳＡ（サンプリング範囲）の広さを変更する。フィルタリング制御部２９は、倍率Ｒｄが大きい程、参照範囲ＳＡを狭くすることができる。

また、フィルタリング制御部２９は、歪補正処理部２４で行われる入力画像Ｉｓを変形する方向に垂直な方向については参照範囲ＳＡを変形しない。フィルタリング制御部２９は、倍率Ｒｄの適用方向であるベクトル（ｓ，ｔ）の方向と平行な方向に参照範囲ＳＡを狭くすることができる。

さらには、図１の歪補正処理部２４は、入力画像Ｉｓに対する参照範囲を変形（拡大または縮小）することで画素範囲の歪曲歪みを補正する。一方、フィルタリング制御部２９は、ローパスフィルタ３１について、注目画素の位置に関わらず、変形後の画素範囲の広さが基準参照範囲ＳＡ２１の広さと等しくなるように参照範囲ＳＡを定めることができる。なお、変形後の画素範囲の広さは、基準参照範囲ＳＡ２１の広さに対して前後一画素分の差を許容する。これは、演算結果の値が小数点以下となり隣の画素に画素範囲が広がることなどが起こりうるからである。

したがって、実施の形態２に係る動き検出処理装置２３は、実施の形態１の場合と同様に、歪曲歪みを有する画像において、被写体が画角のいずれにあっても同じ精度で被写体の動きを検出することができる。つまり、実施の形態２に係る動き検出処理装置２３は、被写体が入力画像Ｉｓ内のどの位置にあっても同じ精度で被写体の動きを検出することができる。

また、実施の形態２に係る動き検出処理装置２３は、変換式（１０ａ）を使用して参照範囲ＳＡが動的に決定するので、実施の形態１の場合のようにルックアップテーブルのデータを予め用意し保持する必要がない。さらに実施の形態２に係る動き検出処理装置２３は、倍率Ｒｄ及び倍率Ｒｄの適用方向について高い分解能で参照範囲ＳＡの変更を行うことができる。

実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１６は、実施の形態３の動き検出処理部２３Ｂの構成を概略的に示す図である。本実施の形態３の動き検出処理装置２３Ｂの構成は、動き検出パラメータ算出処理部３７、ロークリップ処理部３３Ａ及びハイリップ処理部３３Ｂの構成を除いて、上記実施の形態１の動き検出処理部２３の構成と同じである。

実施の形態１と同一の構成要素には同一の符号を付しその説明を省略する。実施の形態１と同一の構成要素は、パラメータ演算処理部２２、歪補正処理部２４、フィルタリング制御部２９、フレームメモリ３８、差分器３２、ローパスフィルタ３１及び絶対値処理部３５である。なお、実施の形態１と同じ構成要素の構成、機能又は動作等は、実施の形態３で説明を省いた場合でも、実施の形態１の記載を代用する。また、実施の形態３の中で説明した、実施の形態１に関する記載は、実施の形態１の説明として用いる。また、実施の形態３に実施の形態２で説明したフィルタリング制御部２９を適用することもできる。実施の形態２のフィルタリング制御部２９は、倍率Ｒｄとベクトル（ｓ，ｔ）の成分ｓ，ｔとを入力として、ローパスフィルタ３１の参照範囲ＳＡを定める画素位置を演算処理により算出する。

図１６に示されるように、動き検出処理部２３Ｂは、上記実施の形態１の動き検出処理部２３と同様にフィルタリング制御部２９と動き検出部３０Ａとを有する。動き検出処理部２３Ｂは、さらに動き検出パラメータ算出処理部３７を有する。

動き検出パラメータ算出処理部３７は、パラメータ演算処理部２２が出力する倍率Ｒｄを入力する。倍率Ｒｄは動き検出パラメータＲｍの１つのパラメータ値である。動き検出パラメータ算出処理部３７は、ロークリップ処理部３３Ａに対してロークリップ閾値ＴＨｌｏを出力する。同様に、動き検出パラメータ算出処理部３７は、ハイリップ処理部３３Ｂに対してハイクリップ閾値ＴＨｈｉを出力する。これにより、動き検出パラメータ算出処理部３７は、倍率Ｒｄに応じて、ロークリップ処理部３３Ａのロークリップ閾値ＴＨｌｏ及びハイクリップ処理部３４Ａのハイクリップ閾値ＴＨｈｉを動的に変更する機能を有する。例えば、倍率Ｒｄが大きいとき、動き検出パラメータ算出処理部３７はロークリップ処理部３３Ａにおけるロークリップ閾値ＴＨｌｏを大きい値に変更する。また、倍率Ｒｄが大きいとき、動き検出パラメータ算出処理部３７はハイクリップ処理部３４Ａにおけるハイクリップ閾値ＴＨｈｉを小さい値に変更する。

ロークリップ処理部３３Ａは、差分絶対値画像Ｄ_ＡＢＳ及びロークリップ閾値ＴＨｌｏを入力する。そして、ロークリップ処理部３３Ａはロークリップ信号Ｄ_ＬＣを出力する。また、ハイクリップ処理部３３Ｂは、ロークリップ信号Ｄ_ＬＣ及びハイクリップ閾値ＴＨｈｉを入力する。そして、ハイクリップ処理部３３Ｂはハイクリップ信号Ｄ_ＨＣを出力する。

図１７は、倍率Ｒｄとロークリップ閾値ＴＨｌｏとの関係を示すルックアップテーブルを表す図である。また、図１７は、倍率Ｒｄとハイクリップ閾値ＴＨｈｉとの関係を示すルックアップテーブルを表す図である。

図１７には、ロークリップ処理部３３Ａのクリップ値及びハイクリップ処理部３４Ａのクリップ値が示されている。動き検出パラメータ算出処理部３７は、図１７のルックアップテーブルを参照して、倍率Ｒｄの現在値に対応するロークリップ閾値ＴＨｌｏ及びハイクリップ閾値ＴＨｈｉを得ることができる。図１７において、例えば、倍率Ｒｄの値が０．０のときは、ロークリップ閾値ＴＨｌｏは０であり、ハイクリップ閾値ＴＨｈｉは４０である。また、倍率Ｒｄの値が１．０のときは、ロークリップ閾値ＴＨｌｏは８であり、ハイクリップ閾値ＴＨｈｉは４０である。

図１７によれば、ロークリップ処理部３３Ａに対するロークリップ閾値ＴＨｌｏは、倍率Ｒｄが大きくなる程、段階的に高くなる。また、ハイクリップ処理部３３Ａに対するハイクリップ閾値ＴＨｈｉは、倍率Ｒｄが大きくなる程、段階的に低くなる。

上記のように実施の形態３では、倍率Ｒｄの現在値に応じて動き検出処理のパラメータを変動させる。パラメータを変動させることにより、実施の形態３では、倍率Ｒｄの大きい部分に対して局所的に動き検出の判定条件を細かく調整する。倍率Ｒｄの大きい部分は、画像の歪みの影響が大きい部分である。また、パラメータを変更することにより、実施の形態３では、歪んだ画像内を同一の被写体が移動する際の、動き検出精度の均一性をより高めることができる。

実施の形態４．
次に、本発明に係る実施の形態４について説明する。実施の形態４は、実施の形態１〜３の動き検出処理装置のいずれか１つを有する撮像装置１の構成について説明するものである。

図１８は、実施の形態４の撮像装置１の概略構成を示すブロック図である。図１８に示されるように、撮像装置１は、撮像光学系（レンズ機構）１１、ＣＣＤ画像センサ１２、フロントエンド部１３、Ａ／Ｄ変換器（ＡＤＣ）１４、駆動回路１５、タイミングジェネレータ１６及び制御回路２を有している。

制御回路２は、信号処理部２０、画像処理部２１Ｂ、制御部４０、メモリ４１及び外部インタフェース部（外部Ｉ／Ｆ部）４２を有する。これら構成要素２０，２１Ｂ，４０，４１，４２は、バス４３を介して相互に接続されている。制御部４０は、制御回路２の全体動作を制御するＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。画像処理部２１Ｂは、上記実施の形態１〜３の動き検出処理装置を含む画像処理装置のいずれか１つと同じ構成を有する。メモリ４１は、ＲＯＭ４１Ａ及びＲＡＭ４１Ｂを有する。

撮像光学系（レンズ機構）１１は、前側レンズ１１０、開口絞り１１１及び後側レンズ１１２を有する。ＣＣＤ画像センサ１２は、例えば、単板式の固体撮像素子であり、単一の色フィルタアレイ１２１と単一のＣＣＤ素子１２２とを有する。色フィルタアレイ１２１は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列したものであればよい。本実施の形態４では、色フィルタアレイ１２１の色フィルタ配列として原色系のベイヤ配列を使用することができる。しかし、これに限定されるものではなく、補色系のベイヤ配列を使用してもよい。なお、ＣＣＤ画像センサに代えて、ＣＭＯＳ画像センサなどの他の固体撮像素子を使用してもよい。

タイミングジェネレータ１６は、駆動タイミング信号を発生して駆動回路１５に供給する。駆動回路１５は、タイミングジェネレータ１６から出力された駆動タイミング信号に応じてＣＣＤ画像センサ１２を駆動するための駆動信号を生成する。ＣＣＤ画像センサ１２は、この駆動信号に基づいて、光電変換及び電荷転送を行う。

撮像光学系１１は、前側レンズ１１０、開口絞り１１１及び後側レンズ１１２を経て、被写体の光学像をＣＣＤ画像センサ１２に送る。ＣＣＤ画像センサ１２は、単一の色フィルタアレイ１２１を経て、単一のＣＣＤ素子１２２の撮像面上に被写体の光学像を合焦する。「合焦」とは、カメラを用いた撮影においてピントが合うことを言う。ＣＣＤ画像センサ１２で光電変換して得られた撮像信号は、フロントエンド部１３に転送される。フロントエンド部１３は、撮像信号に対して、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理及びプログラマブル利得増幅（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｅｒ）を実行する。そして、フロントエンド部１３は、上記の実行をした結果得られたアナログ信号をＡＤＣ１４に出力する。ここで、ＣＤＳ処理は、ＣＣＤ画像センサ１２から出力される撮像信号からノイズなどの不要な成分を除去する処理である。ＡＤＣ１４は、フロントエンド部１３の出力信号をデジタル信号に変換する。そしてＡＤＣ１４は、このデジタル信号を制御回路２の信号処理部２０に供給する。

信号処理部２０は、ＡＤＣ１４の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理及び色補正処理などを施して得られる映像信号をバス４３に出力する。バス４３は、制御部４０による制御を受けて、映像信号をメモリ４１のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１Ｂに転送する。画像処理部２１Ｂは、ＲＡＭ４１Ｂから映像信号を読み出して、上記の時空間フィルタリングとクリップ処理と動き検出ノイズ抑圧強度調整処理とを実行することができる。

なお、上記画像処理部２１Ｂの機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。たとえば、不揮発性メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１Ａからコンピュータプログラムをロードし実行することによって画像処理部２１Ｂの機能を実現することができる。画像処理部２１Ｂは、上記実施の形態１〜３の動き検出処理装置を含む画像処理装置のいずれかと同じ構成を有し、生成された画像が、外部Ｉ／Ｆ部４２から出力される。

以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、ロークリップ処理部３３及びハイクリップ処理部３４に代えて、ルックアップテーブル回路を用いてもよい。

また、歪補正処理部２４を搭載せずに、例えば入力された魚眼画像をそのまま出力画像とする構成としてもよい。

また、上記実施の形態１〜３では、歪曲歪み量ＦＡは、図４に例示したように距離Ｌに対応する値として与えられるものであった。しかし、これに代えて、Ｘ座標値とＹ座標値との組に対応する値として与えられてもよい。

なお、上述の各実施の形態においては、「平行」や「垂直」などの部品間の位置関係もしくは部品の形状を示す用語を用いている場合がある。これらは、製造上の公差や組立て上のばらつきなどを考慮した範囲を含むことを表している。このため、請求の範囲に部品間の位置関係もしくは部品の形状を示す記載をした場合には、製造上の公差又は組立て上のばらつき等を考慮した範囲を含むことを示している。

また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１ 撮像装置、２ 制御回路、１１ 撮像光学系、１２ ＣＣＤ画像センサ、１３ フロントエンド部（アナログ信号処理部）、１４ Ａ／Ｄ変換器（ＡＤＣ）、１５ 駆動回路、１６ タイミングジェネレータ、２０ 信号処理部、２１，２１Ｂ 画像処理装置（画像処理部）、２２ パラメータ演算処理部、２３，２３Ｂ 動き検出処理部、２４ 歪補正処理部、２９ フィルタリング制御部、３０，３０Ａ 動き検出部、３１ ローパスフィルタ、３２ 差分器、３３，３３Ａ ロークリップ処理部、３４，３４Ａ ハイクリップ処理部、３５ 絶対値処理部、３７ 動き検出パラメータ算出処理部、３８ フレームメモリ、４０ 制御部、４１ メモリ、４１Ａ ＲＯＭ、４１Ｂ ＲＡＭ、４２ 外部Ｉ／Ｆ部、４３ バス、１１０ 前側レンズ、１１１ 開口絞り、１１２ 後側レンズ、１２１ 色フィルタアレイ、１２２ ＣＣＤ素子。

Claims (6)

1. 撮像光学系の結像倍率が画角の中心軸付近と前記中心軸付近の周辺部とで異なることにより歪曲歪みが生じた入力画像を処理する動き検出処理装置において、
   前記入力画像を入力しフレーム単位の遅延をおこないフレーム遅延信号を出力するフレームメモリと、前記入力画像と前記フレーム遅延信号との差分信号を出力する差分器と、前記差分信号を演算処理した信号について、指定された振幅範囲のうちロークリップ閾値以下の低振幅範囲内の入力信号レベルを前記ロークリップ閾値よりも低い振幅の第１の出力信号レベルに変換するロークリップ処理部と、前記差分信号を演算処理した信号について、指定された振幅範囲のうち前記ロークリップ閾値よりも大きなハイクリップ閾値以上の高振幅範囲内の入力信号レベルを一定の振幅の第２の出力信号レベルに変換するハイクリップ処理部とを有し、前記入力画像中の注目画素を含む参照範囲内の複数画素に対して時空間フィルタリングを実行して得られた値の時系列変化により、前記入力画像中の被写体の動き検出を行う動き検出部と、
   前記注目画素の前記結像倍率が大きい程、前記参照範囲を狭くするフィルタリング制御部と、
   前記結像倍率が大きな値に変化したとき、前記ロークリップ閾値を大きい値に変更し、前記ハイクリップ閾値を小さい値に変更する検出パラメータ算出処理部と
   を備えたことを特徴とする動き検出処理装置。
2. 前記フィルタリング制御部は、前記歪曲歪みの量が零の場合には、参照範囲を基準参照範囲に設定し、前記歪曲歪みの量が零でない場合には、前記歪曲歪みが生じた画素範囲の面積が前記基準参照範囲の面積と等しくなるように前記参照範囲を定める
   ことを特徴とする請求項１に記載の動き検出処理装置。
3. 前記フィルタリング制御部は、前記入力画像の前記結像倍率が大きい程、前記入力画像の拡大または縮小が発生する方向とは平行な方向に前記参照範囲を狭くする
   ことを特徴とする請求項１または２に記載の動き検出処理装置。
4. 請求項１から３のうちのいずれか１項に記載の動き検出処理装置を含む
   ことを特徴とする画像処理装置。
5. 請求項１から３のうちのいずれか１項に記載の動き検出処理装置を含む
   ことを特徴とする撮像装置。
6. 撮像光学系の結像倍率が画角の中心軸付近とその周辺部とで異なることにより歪曲歪みが生じる入力画像を処理する動き検出処理ステップにおいて、
   前記入力画像を入力しフレーム単位の遅延をおこないフレーム遅延信号を出力するステップと、前記入力画像と前記フレーム遅延信号との差分信号を出力するステップと、前記差分信号を演算処理した信号について、指定された振幅範囲のうちロークリップ閾値以下の低振幅範囲内の入力信号レベルを前記ロークリップ閾値よりも低い振幅の第１の出力信号レベルに変換するロークリップ処理を行うステップと、前記差分信号を演算処理した信号について、指定された振幅範囲のうち前記ロークリップ閾値よりも大きなハイクリップ閾値以上の高振幅範囲内の入力信号レベルを一定の振幅の第２の出力信号レベルに変換するハイクリップ処理を行うステップと有し、前記入力画像中の注目画素を含む参照範囲内の複数画素に対して時空間フィルタリングを実行して得られた値の時系列変化により、入力画像中の被写体の動き検出を行うステップと、
   前記注目画素の前記結像倍率が大きい程、前記参照範囲を狭くするステップと、
   前記結像倍率が大きな値に変化したとき、前記ロークリップ閾値を大きい値に変更し、前記ハイクリップ閾値を小さい値に変更するステップと
   を備えたことを特徴とする動き検出処理方法。

Images