JP7009252B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像から動体領域を検出する画像処理技術に関する。

近年、複数枚の画像を合成し、その合成画像を記録するデジタルカメラやデジタルビデオカメラといった撮像装置が数多く製品化されている。これらの撮像装置の中には、異なる時間で撮影した複数枚の画像を合成することにより、ランダムノイズを低減した合成画像を生成する機能を持つ撮像装置がある。これにより、ユーザーは、合成されていない１枚画像よりもさらにランダムノイズを低減した合成画像を得ることができる。しかし、このような合成機能を有効（オン）に設定して複数枚の画像を撮影した際に被写体等が移動した場合、その移動した被写体等が多重像になった合成画像が生成されてしまうことがある。このような多重像の生成を抑制するための技術として、被写体等の移動が検出された領域では合成処理を禁止する技術が知られている。

また、移動する被写体等のような動体領域を検出する技術として、例えば特許文献１には、手ぶれ量に応じて決めた縮小率で縮小した複数枚の画像間の差分絶対値を基に動体領域を検出する技術が開示されている。特許文献１の技術では、手ぶれ量を基に画像縮小率を変更することで手ぶれによる静止被写体の位置のずれを軽減するとともに、画像を縮小することでノイズの影響をも軽減して、動体領域の検出精度を向上させている。また、特許文献２には、複数枚の画像の位置合わせ後に残存する位置のずれに応じて低解像度画像（つまり縮小画像）を選択し、その選択した複数枚の低解像度画像間の差分絶対値に基づいて動体領域を検出する技術が開示されている。この特許文献２の技術では、複数枚の画像の位置合わせ後に残存する位置のずれに応じて低解像度画像を選択することにより、手ぶれによる静止被写体の位置のずれを軽減して、動体領域の検出精度を向上させている。

特開２０１３－６２７４１号公報 特開２０１１－１９８２４１号公報

しかしながら、例えば高感度で撮影した画像のようにランダムノイズが多く含まれる画像の場合、ランダムノイズの影響により画像間の差分絶対値が大きくなるため、動体領域とランダムノイズを区別することが困難になることがある。特に、ランダムノイズに起因する差分絶対値よりも画像間の差分絶対値の方が小さいような場合、動体領域を検出することが困難となって、動体領域を誤検出してしまうことがある。また前述した特許文献１，２のように縮小画像を基に動体領域を検出する場合、その検出した動体領域はその後元の等倍画像まで拡大されることになる。このため、例えば動体領域を誤検出した場合には、動体周辺の静止領域が誤って動体領域として扱われたり、逆に動体領域の一部が誤って静止領域として扱われたりしてしまうことがある。

そこで、本発明は、移動する被写体等の動体領域の検出精度を高めることを目的とする。

本発明は、動体領域を検出する画像処理装置であって、少なくとも２枚の入力画像を基に、画像内の領域の動きを検出すると共に、領域ごとの動体尤度を生成する尤度生成手段と、少なくとも１枚の前記入力画像について、着目領域と前記着目領域の周辺領域との類似度を検出する類似度検出手段と、前記周辺領域の類似度および動体尤度に基づいて、前記着目領域の動体尤度を補正する補正手段と、を有し、前記補正された動体尤度に基づいて前記動体領域を検出することを特徴とする。

本発明によれば、移動する被写体等の動体領域の検出精度を高めることが可能となる。

実施形態の撮像装置の概略構成を示す図である。 合成画像生成部の構成例を示す図である。 合成画像生成部の処理の流れを示すフローチャートである。 基準画像、参照画像及び位置合わせ済み参照画像の一例を示す図である。 基準画像の合成比率カーブを示す図である。 第１実施形態の動体領域検出部の構成例を示す図である。 第１実施形態の動体領域検出部の処理のフローチャートである。 動体尤度カーブを示す図である。 類似度重み係数算出処理の説明に用いる図である。 動体尤度重み係数取得処理の説明に用いる図である。 統合重み係数算出処理の説明に用いる図である。 第２実施形態の動体領域検出部の構成例を示す図である。 第２実施形態の動体領域検出部の処理のフローチャートである。 等倍サイズの画像データの説明に用いる図である。 階層補正動体尤度生成処理の説明に用いる図である。 エッジ度カーブを示す図である。 階層補正動体尤度合成比率カーブを示す図である。

以下、図面を参照しながら本発明の好適な実施形態について説明する。
本発明実施形態に係る画像処理装置は、例えば時間をずらして撮影した複数枚の画像を合成する合成機能を有する撮像装置に適用可能である。合成機能では、異なる時間に撮影された複数枚の画像を合成して合成画像が生成されて記録等される。

図１は、本実施形態の画像処理装置の一適用例である撮像装置１００の概略構成を示した図である。図１の撮像装置１００において、本実施形態の画像処理装置は、例えば画像処理部１０７に相当する。例えば合成機能が有効（オン）に設定されている場合、画像処理部１０７では、後述するような動体尤度および補正動体尤度に基づく画像合成処理が行われる。

図１において、制御部１０１は、例えばＣＰＵであり、撮像装置１００の各構成要素の動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより撮像装置１００の各構成要素の動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００の各構成要素の動作プログラムに加え、各構成要素の動作や後述する各種演算の処理に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００の各構成要素の動作において出力されたデータの一時的な記憶領域として用いられる。後述する合成比率カーブ、動体尤度カーブ、類似度重み係数カーブ、動体尤度重み係数カーブ、統合重み係数カーブ、エッジ度カーブ等は、パラメータとしてＲＯＭ１０２に予め記憶されていてもよいし、プログラムの実行により生成されてもよい。

光学系１０４は、ズームレンズ、フォーカスレンズ等を含むレンズ群により構成され、被写体像等を後述の撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子やカラーフィルタ等を有し、光学系１０４により撮像部１０５に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。また、Ａ／Ｄ変換部１０６は、制御部１０１が決定した増幅率（感度情報）に基づき、アナログ画像信号又はデジタル画像信号を増幅する増幅器も有する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また本実施形態の場合、画像処理部１０７は後述する合成画像生成部２００を具備している。詳細は後述するが、合成画像生成部２００は、ＲＡＭ１０３内の複数画像から基準画像と参照画像とを入力画像として取得し、基準画像を基に参照画像の位置合わせを行う。そして、合成画像生成部２００は、その位置合わせ済みの参照画像と基準画像とを基に、画像内において移動する被写体等の動き領域を検出する。同じく詳細は後述するが、合成画像生成部２００は、基準画像と位置合わせ済み参照画像とに基づいて動体尤度を算出し、更にその動体尤度を補正した補正動体尤度に基づいて、基準画像と位置合わせ済み参照画像を合成して合成画像を生成する。

記録部１０８は着脱可能なメモリカード等であり、画像処理部１０７で処理された画像が、ＲＡＭ１０３を介し、記録画像として記録される。
表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３及び記録部１０８に記録した画像やユーザーからの指示を受け付けるための操作ユーザーインターフェイス等を表示する。
その他、図１では図示を省略しているが、撮像装置１００は、電源スイッチ、シャッターボタン、メニューボタン、再生ボタンなど、一般的なカメラが備えている各種操作ボタン等も有する。

次に、本実施形態の撮像装置１００が有する画像処理部１０７の動作について、詳細に説明する。ここでは、画像処理部１０７において、後述する補正動体尤度に基づいて２枚の画像を合成することにより、移動被写体が多重像となるのを抑制しつつランダムノイズが低減された合成画像を生成する画像処理が行われる例を挙げて説明する。

画像処理部１０７は、図２に示すような合成画像生成部２００を有する。
合成画像生成部２００は、ＲＡＭ１０３に記憶されている２枚の画像データを合成して合成画像を生成する合成機能に含まれる構成であり、図２に示すうように、位置合わせ部２０１、動体領域検出部２０２、画像合成部２０３を有して構成されている。なお、図２の各部間では画像のデータや後述する動体尤度等の値を表す各種情報の送受がなされるが、これ以降は、説明を簡略にするために、それらデータや情報等の表記を省略することとする。このことは、後述する他の構成を示した図の説明においても同様とする。

以下、図１の撮像装置１００及び画像処理部１０７の図２に示した合成画像生成部２００において行われる処理について、図３のフローチャートを参照して説明する。なお、以下の図３のフローチャートの説明では、ステップＳ３０１～ステップＳ３０４をそれぞれＳ３０１～Ｓ３０４と略記する。このことは後述する他のフローチャートにおいても同様とする。

図３のＳ３０１において、図１に示した撮像装置１００の制御部１０１は、ＲＡＭ１０３に記憶されている複数枚の画像のうち、合成の基準となる基準画像と、その基準画像に対して合成される参照画像とを選択して取得する。例えば、制御部１０１は、画像撮影時においてシャッターボタンが押下された直後の１枚目に撮影した画像を基準画像とし、２枚目以降の画像を参照画像として取得する。そして、Ｓ３０１でＲＡＭ１０３から取得された基準画像と参照画像は、画像処理部１０７に送られる。

次にＳ３０２において、位置合わせ部２０１は、Ｓ３０１で取得した基準画像と参照画像との間で動きベクトルを検出し、その動きベクトルに基づいて参照画像を幾何変形することにより、参照画像の位置を基準画像と合わせるような位置合わせ処理を行う。

ここで、位置合わせ処理に関して、図４（ａ）～図４（ｃ）を参照して説明する。図４（ａ）は基準画像４００を示し、図４（ｂ）は参照画像４０１を示し、図４（ｃ）は位置合わせが行われた後の位置合わせ済み参照画像４０２を示している。

図４（ｂ）の参照画像４０１は、図４（ａ）の基準画像４００とは異なる時間（時刻）に撮影された画像であり、例えば撮影時の手ぶれ等により、図４（ａ）の基準画像４００に対して位置や傾きがずれた画像になっているとする。位置合わせ部２０１は、このような位置や傾きのずれを、位置合わせ処理によって補正する。このため、位置合わせ部２０１は、先ず、図４（ａ）の基準画像４００と図４（ｂ）の参照画像４０１との間の大局的な動きを示す動きベクトルを検出する。動きベクトルの検出方法としては、例えば、ブロックマッチング法等が挙げられる。次に、位置合わせ部２０１は、検出した動きベクトルに基づき、参照画像４０１を幾何変換するための係数である式（１）のような幾何変換係数Ａを算出する。

さらに位置合わせ部２０１は、その幾何変換係数Ａを用い、図４（ｂ）の参照画像４０１に対して、式（２）に示すような幾何変形の演算を行うことにより、図４（ｃ）の位置合わせ済み参照画像４０２を生成する。なお、式（２）では、参照画像４０１をＩ（ｘ座標，ｙ座標）、位置合わせ済み参照画像４０２をＩ'（ｘ'座標，ｙ'座標）とする。

位置合わせ部２０１では、このような位置及び傾きを合わせる処理を行うことで、図４（ｃ）の位置合わせ済み参照画像４０２のように、基準画像４００と参照画像４０１との静止被写体（例えば、建物や木）の位置と傾きを合わせることができる。

図３のフローチャートに説明を戻す。
Ｓ３０３において、動体領域検出部２０２は、基準画像と位置合わせ済み参照画像とを比較することにより、画像内の動き領域を検出する。さらに動体領域検出部２０２は、検出した動き領域における基準画像と位置合わせ済み参照画像とに基づいて所定の領域毎（例えば画素毎）に動体尤度を求める。そして、本実施形態の場合、動き領域は、動体である尤もらしさを表す度合い（つまり動体尤度）を多値により表現したデータによって表されるものとする。本実施形態では、検出された動き領域およびその近傍の領域において、動体尤度の値が１００以上の画素は動体領域の画素となされ、動体尤度の値が０の画素は動体ではない静止領域の画素となされる。また、動体尤度の値が０より大きくなるほど、その画素は動体領域に含まれる可能性が高くなるとする。さらに、本実施形態の場合、動体領域検出部２０２は、検出した動体尤度を、後述するように補正して補正動体尤度を生成する。なお、動体領域検出部２０２における詳細な構成、動体尤度及び補正動体尤度生成処理の詳細については後述する。

次にＳ３０４において、画像合成部２０３は、下記式（３）で示すように、補正動体尤度に基づいて合成比率を設定し、その合成比率を基に、基準画像と位置合わせ済み参照画像とを画素毎に合成して合成画像を生成する。
Ｐ＝ｗ×Ｐｂａｓｅ＋（１－ｗ）×Ｐｒｅｆ 式（３）
なお、式（３）において、Ｐｂａｓｅは基準画像の画素値であり、Ｐｒｅｆは位置合わせ済み参照画像の画素値、ｗは基準画像の合成比率、Ｐは合成画像の画素値である。

ここで、補正動体尤度に基づく合成比率設定処理について、図５を参照して説明する。
図５は、補正動体尤度と基準画像の合成比率との関係を表す合成比率カーブを示した図である。図５の縦軸は基準画像の合成比率を示し、横軸は補正動体尤度を示している。図５の合成比率カーブは、補正動体尤度が高いほど基準画像の合成比率が高くなるように設定されている。
図５に示す合成比率カーブによれば、補正動体尤度の値が１００以上の動体領域では基準画像の合成比率が１００％に設定され、その動体領域については参照画像の合成処理が禁止される。これにより多重像の生成が抑制されることになる。一方、補正動体尤度の値が０の静止領域では基準画像の合成比率が５０％に設定され、その静止領域については基準画像に対して５０％の割合で参照画像が合成されることになる。この場合、参照画像の合成によりランダムノイズが低減されることになる。

次に、第１実施形態における動体領域検出部２０２の詳細な構成と動体尤度及び補正動体尤度生成処理について図６を参照して説明する。
動体領域検出部２０２は、基準画像のフレームと位置合わせ済み参照画像のフレームとの間のフレーム間差分絶対値に基づいて動体尤度を算出し、さらにその動体尤度を補正して補正動体尤度を生成する。図６に示すように、動体領域検出部２０２は、尤度算出部６００と尤度補正部６１０を有して構成されている。尤度補正部６１０は、類似係数算出部６１１、尤度係数算出部６１２、統合部６１３、平均処理部６１４を有して構成されている。

尤度算出部６００には、前述した図１のＲＡＭ１０３から読み出された、基準画像と位置合わせ済み参照画像とが入力される。尤度算出部６００に入力される基準画像と位置合わせ済み参照画像は、撮像装置１００により撮像された時の解像度の画像であり、縮小処理等（低解像度への解像度変換等）がなされていない画像である。以下、撮像時の解像度を、等倍サイズと表記する。尤度算出部６００は、それら等倍サイズの基準画像のフレームと位置合わせ済み参照画像のフレームとの間で画素毎に差分絶対値を算出し、そのフレーム間の画素毎の差分絶対値に基づいて画素毎の動体尤度を生成する。フレーム間の差分絶対値の基づく動体尤度生成処理の詳細は後述する。尤度算出部６００により算出された画素毎の動体尤度は、尤度補正部６１０の尤度係数算出部６１２と平均処理部６１４とに送られる。

尤度補正部６１０の類似係数算出部６１１には、図１のＲＡＭ１０３から読み出された等倍サイズの基準画像が入力される。類似係数算出部６１１は、基準画像の各画素の画素値を用い、少なくとも一つの画素からなる着目領域に対する、周辺領域毎の各画素値の類似度、つまり着目座標に対する周辺座標毎の類似度を検出し、それら周辺座標の類似度に応じた類似度重み係数を取得する。類似度検出処理及び類似度重み係数取得処理の詳細は後述する。類似係数算出部６１１により得られた周辺座標毎の類似度重み係数は、統合部６１３に送られる。

尤度係数算出部６１２は、尤度算出部６００により画素毎に算出された動体尤度のうち、着目領域に対する各周辺領域の動体尤度、つまり着目座標に対する各周辺座標の動体尤度を基に、周辺座標毎の動体尤度重み係数を取得する。動体尤度重み係数取得処理の詳細は後述する。尤度係数算出部６１２により得られた周辺座標毎の動体尤度重み係数は、統合部６１３に送られる。

統合部６１３は、類似係数算出部６１１により求められた周辺座標毎の類似度重み係数と、尤度係数算出部６１２により求められた周辺座標毎の動体尤度重み係数とを基に、周辺座標毎の統合重み係数を取得する。統合重み係数取得処理の詳細は後述する。統合部６１３により取得された統合重み係数は、平均処理部６１４に送られる。

平均処理部６１４は、尤度算出部６００により求められた画素毎の動体尤度と、統合部６１３により求められた統合重み係数とに基づき、着目座標及び周辺座標の各動体尤度を加重加算平均処理することにより補正動体尤度を生成する。

次に、図６に示した動体領域検出部２０２において行われる動体尤度及び補正動体尤度生成処理について、図７のフローチャートを参照して説明する。
図７のＳ７０１において、動体領域検出部２０２の尤度算出部６００は、基準画像と位置合わせ済み参照画像とを取得する。ここでは、例えば前述の図４（ａ）の基準画像４００、図４（ｃ）の位置合わせ済み参照画像４０２を例に挙げて説明する。前述したように、図４（ａ）の基準画像４００と図４（ｃ）の位置合わせ済み参照画像４０２は異なる時間に撮影された画像であるため、例えば撮影中に移動した被写体の位置は異なることがある。例えば図４（ａ）の基準画像４００内の人４１０は図４（ｃ）の位置合わせ済み参照画像４０２では人４２０の位置に移動し、同様に基準画像４００内の人４１１は位置合わせ済み参照画像４０２では人４２１の位置に移動していて、それぞれ位置が異なる。尤度算出部６００は、基準画像と位置合わせ済み参照画像とを比較することにより、画像内において移動した領域を動き領域として検出する。

次にＳ７０２において、尤度算出部６００は、基準画像と位置合わせ済み参照画像のフレーム間差分絶対値を画素毎に算出し、図８に示すような動体尤度カーブに基づいて画素毎の動体尤度を求める。
図８は、フレーム間差分絶対値と動体尤度との関係を表す動体尤度カーブであり、縦軸が動体尤度を示し、横軸がフレーム間差分絶対値を示している。本実施形態の場合、フレーム間差分絶対値が大きくなるほど、動体尤度が高くなるような動体尤度カーブが設定されている。図８の動体尤度カーブでは、動体尤度が０～２００の値で表現されており、２００の値が最も高い動体尤度となされている。フレーム間差分絶対値が閾値未満（閾値ＴＨ未満）では、動体尤度の値は１００から２００の間で例えば線形に変化し、フレーム間差分絶対値が閾値以上（閾値ＴＨ以上）になると、動体尤度の値は２００で一定となる。本実施形態において、動体尤度の値の大きさを図８に示した値のように設定するのは、前述した図５で説明したような理由からである。すなわち前述した図５の合成比率カーブは、補正動体尤度の値が１００の場合、基準画像の合成比率が１００％になるように設定されている。これは、補正動体尤度の値が１００以上の場合に、基準画像に対して参照画像の動体領域の合成を必ず禁止することを意味している。一方で、前述したように、補正動体尤度の値が０では基準画像の合成比率が５０％に設定され、これは静止領域では基準画像に対し５０％の割合で参照画像を合成させるためのである。この図５に示したような合成比率カーブで基準画像と参照画像の動体領域の合成処理を行えるようにするために、動体尤度及び補正動体尤度の値の大きさは、図８の動体尤度カーブに基づいて設定される。

図７のフローチャートに説明を戻す。
Ｓ７０３において、類似係数算出部６１１は、基準画像の各画素座標の画素値を用い、着目座標に対する周辺座標毎の類似度を検出し、それら周辺座標毎の類似度に応じた類似度重み係数を取得する。
類似度検出及び類似度重み係数取得処理について、図９（ａ）と図９（ｂ）を参照して説明する。図９（ａ）は、類似度検出に用いる画素の位置関係を示す図であり、図中の小さい四角が１画素を示している。また、図中の黒塗り座標の画素は着目座標の画素を表し、白塗り座標の各画素は周辺座標の各画素を表している。図９（ｂ）は、類似度を類似度重み係数に変換する際に用いる類似度重み係数カーブを示す図であり、縦軸が類似度重み係数を示し、横軸が類似度を示している。

類似係数算出部６１１は、先ず、式（４）に示す演算により、着目座標の画素値と周辺座標の画素値との差分絶対値を画素毎に求め、それら画素毎の差分絶対値に基づき、図９（ａ）に示した着目座標の画素に対する各周辺座標の画素毎の類似度Ｓｉを算出する。なお、類似度とは、着目座標の画素値と周辺座標の画素値とが類似している度合いを示す評価値である。
Ｓｉ＝１÷（｜Ｙｃ－Ｙｓｉ｜＋｜Ｕｃ－Ｕｓｉ｜＋｜Ｖｃ－Ｖｓｉ｜） 式（４）

ここで、式（４）のＹｃは着目座標の画素の輝度値、Ｕｃ及びＶｃは着目座標の画素の色差値を示し、Ｙｓｉは周辺座標の画素の輝度値、Ｕｓｉ及びＶｓｉは周辺座標の画素の色差値を示す。つまり、着目座標の画素値と周辺座標の画素値との間の差分絶対値が大きいほど類似度Ｓｉは小さくなり、一方、差分絶対値が小さいほど類似度Ｓｉは大きくなる。なお、式（４）の分母が０の場合、つまり、着目座標の画素値と周辺座標の画素値の差分絶対値が０の場合、類似度Ｓｉは１．０とする。

次に、類似係数算出部６１１は、周辺座標毎に算出した類似度と、図９（ｂ）の類似度重み係数カーブとに基づき、類似度重み係数を取得する。図９（ｂ）の例では、類似度が大きくなるほど、類似度重み係数が大きくなるような類似度重み係数カーブを設定している。図９（ｂ）の類似度重み係数カーブにおいて、類似度重み係数は、重み係数を０．０～１．０で表現しており、１．０の値が最も大きい類似度重み係数となっている。また、図９（ｂ）の類似度重み係数カーブの例では、類似度が０.２未満の場合に類似度重み係数の値が０となっている。これは、類似度が小さい周辺座標の動体尤度を除外し、類似度が大きい周辺座標の動体尤度のみが後述する加重加算平均処理されるようにし、移動する被写体周辺の静止被写体の動体尤度が高くなってしまうのを抑制するためである。

例えば前述の図４（ａ）の基準画像４００内の人４１１の場合、人４１１の領域を動体領域として検出することが正しい検出結果である。しかしながら、動体尤度を補正した場合に、人４１１の周辺領域に存在する静止被写体である例えば木や建物まで動体尤度が高くなってしまう可能性がある。このため、図９（ｂ）の類似度重み係数カーブは、類似度が０.２未満の場合に類似度重み係数が０となるように設定され、類似度が大きい周辺座標の動体尤度のみが後述の加重加算平均処理されるようにしている。これにより、画素値が類似している同じ被写体内の動体尤度を用いた動体尤度補正がし易くなり、移動被写体周辺の静止被写体の動体尤度が高くなってしまうのを抑制することができる。

図７のフローチャートに説明を戻す。
Ｓ７０４において、尤度係数算出部６１２は、尤度算出部６００が算出した動体尤度と、図１０に示す動体尤度重み係数カーブとに基づき、周辺座標毎に動体尤度重み係数を取得する。図１０の例では、動体尤度が高くなるほど、動体尤度重み係数が大きくなるような動体尤度重み係数カーブを設定しており、縦軸が動体尤度重み係数を示し、横軸が動体尤度を示している。図１０に示した動体尤度重み係数カーブでは、重み係数を０．０～１．０の値で表現しており、１．０が最も大きい動体尤度重み係数となされている。また、動体尤度が１５０以上の場合、動体尤度重み係数は１．０となり、動体尤度が１００未満の場合、動体尤度重み係数は０．０となり、動体尤度が１００から１５０の間では例えば線形に動体尤度重み係数が変化するようになされている。

なおＳ７０２で説明した通り、補正動体尤度の値が１００以上の場合、基準画像の合成比率が１００％となり、参照画像の動体領域の合成を禁止する処理となる。また、図１０に示す動体尤度重み係数カーブは、動体尤度が１００以上の場合に、重み係数が０．０よりも大きくなるように設定している。これは、動体尤度が１００以上となる周辺座標の動体尤度のみが後述する加重加算平均処理されるようにして、値が１００未満の動体尤度をより高く補正するためである。このように、値が１００未満の動体尤度をより高く補正することより、基準画像の合成比率をより高くすることができる。また、値が１００を超える動体尤度の場合、値が１００以上となる周辺座標の動体尤度のみを後述する加重加算平均処理することによって、より低く補正される可能性がある。しかしながら、動体尤度がより低く補正されたとしても、補正動体尤度の値は必ず１００以上になるため、基準画像の合成比率は１００％となり、参照画像の動体領域の合成を禁止する処理となる。つまり、本実施形態のように動体尤度を補正することにより、動体領域として検出する領域は広がることになる。

次にＳ７０５において、統合部６１３は、前述した周辺座標毎の類似度重み係数と周辺座標毎の動体尤度重み係数とを基に、周辺座標毎の統合重み係数を取得する。
周辺座標の統合重み係数取得方法について、図１１（ａ）と図１１（ｂ）を参照して説明する。図１１（ａ）は、類似度重み係数と動体尤度重み係数との乗算値と、統合重み係数との関係を表す統合重み係数カーブを示した図であり、縦軸が統合重み係数を示し、横軸が係数の乗算値を示している。図１１（ｂ）は、前述の図９（ａ）の着目座標及び幕周辺座標に対応した座標毎の統合重み係数の値の例を示した図である。

統合部６１３は、周辺座標の類似度重み係数と動体尤度重み係数との乗算値を算出し、図１１（ａ）のような統合重み係数カーブに基づいて、周辺座標毎に、図１１（ｂ）のような統合重み係数を取得する。図１１（ａ）の例では、類似度重み係数と動体尤度重み係数との乗算値が大きくなるほど、統合重み係数が大きくなるような統合重み係数カーブを設定している。図１１（ｂ）に示した統合重み係数カーブでは、重み係数を０．０～１．０で表現しており、１．０の値が最も大きい統合重み係数となっている。例えば、類似度重み係数が１．０で、且つ、動体尤度重み係数が１．０の場合、それらの乗算値は１．０となり、図１１（ａ）の統合重み係数カーブから取得される統合重み係数は１．０となる。また、類似度重み係数と動体尤度重み係数のどちらか一方が０の場合、それらの乗算値も０となり、統合重み係数が０．０となる。つまり、統合部６１３は、類似度が高く、且つ、動体尤度が高い周辺座標の統合重み係数を大きい値に設定する。

統合部６１３において、前述のようにして統合重み係数を取得することにより、周辺座標の画素値と類似し、且つ、周辺座標の動体尤度が高い着目座標の動体尤度を高く補正することができるようになる。これにより、動体尤度が低く、正しく動体領域として検出できなかった移動被写体の領域を動体領域として検出し易くなる。一方、周辺座標の画素値と類似しない着目座標の動体尤度は補正されないことになる。これにより、移動被写体周辺の静止領域の動体尤度を高く補正してしまうことを抑制することができる。また、周辺座標の動体尤度が低い着目座標の動体尤度は補正されない。これにより、静止領域に発生するランダムノイズの影響によって、例えば、値が３０程度になってしまった動体尤度を高く補正してしまうことを抑制することができる。

次に着目座標の統合重み係数取得処理について、図１１（ｂ）を参照して説明する。
統合部６１３は、図１１（ｂ）で示すように着目座標の統合重み係数を最大値の１．０とし、周辺座標の統合重み係数は前述した処理で取得した統合重み係数とする。
なお、着目座標の統合重み係数は１．０に限ったものではない。例えば、着目座標の統合重み係数を１．０よりも小さくすることにより、周辺座標の動体尤度を重視した動体尤度補正を行うことができる。

その後、図７のＳ７０５において、平均処理部６１４は、統合重み係数に基づき、着目座標及び周辺座標の動体尤度を加重加算平均処理することにより補正動体尤度を生成する。具体的には、平均処理部６１４は、着目座標及び周辺座標の各画素値に統合重み係数を積和演算し、さらに統合重み係数の総和で除算することにより、補正動体尤度を算出する。

なお、動体尤度重み係数カーブは、撮影時の感度情報に応じて変更されても良い。例えば、撮影時の感度が高い場合は、基準画像及び参照画像のランダムノイズの振幅が高くなるため、ランダムノイズによって動体尤度が高くなる傾向がある。このため、ノイズ量に応じて、動体尤度重み係数を変更しても良い。例えば、ノイズ量が多くなる高感度の場合は、撮影時の感度が低感度であった場合に比べて動体尤度重み係数を小さくすることが望ましい。具体的には、撮影時の感度が高感度であった場合には、ノイズ量に応じて、図１０で示す動体尤度重み係数カーブの例よりも、動体尤度重み係数カーブの傾きを小さくする、又は、ｘ切片を大きくすることにより、動体尤度重み係数を小さくする。

前述の実施形態では、統合重み係数が０．０～１．０の多値の例を挙げたが、統合重み係数は０．０と１．０のように２値でも良い。これにより、平均処理部６１４において、重み係数の乗算処理が不要になるため、処理量を減らすことができる。
また前述の実施形態では、着目領域の画素が１画素である例を挙げたが、複数の画素を着目領域として動体尤度の補正を行っても良い。この場合、類似係数算出部６１１は、着目領域の複数の画素の平均画素値と周辺領域の画素値との間の差分絶対値に基づき類似度を算出する。

また前述の実施形態では、ランダムノイズを低減するために複数枚の画像を合成する合成機能において、前述した補正動体尤度に基づく画像合成を適用する例を挙げたが、補正動体尤度に基づく画像合成の適用例はこれに限ったものではない。例えば、異なる露出で撮影した複数枚の画像を合成することにより、ダイナミックレンジを拡大するいわゆるＨＤＲ（ハイダイナミックレンジ）合成機能に対して適用しても良い。この場合、異なる露出で撮影した基準画像と位置合わせ済み参照画像の明るさレベルを合わせた上で、前述した動体領域検出部２０２に入力することにより、補正動体尤度を算出し、その補正動体尤度に基づく画像合成を行う。

以上説明したように、第１実施形態の画像処理装置は、複数枚の画像間で動体領域を検出する場合において、周辺領域の動体尤度と類似度とに基づき着目領域の動体尤度を補正する。これにより、本実施形態によれば、ランダムノイズと区別が困難な移動被写体の動体尤度を高めることができ、動体領域の検出精度を向上させることができる。

次に、第２実施形態について説明する。
前述した第１実施形態では等倍サイズの基準画像及び位置合わせ済み参照画像を基に補正動体尤度を算出した。これに対し、第２実施形態では、等倍サイズの画像の解像度とは異なる解像度の基準画像及び位置合わせ済み参照画像を基に補正動体尤度を算出する。第２実施形態では、等倍サイズの画像の解像度とは異なる解像度として複数の解像度を設定し、それら解像度毎に、基準画像及び位置合わせ済み参照画像に基づく動体尤度を算出するような階層尤度生成処理を行う。そして第２実施形態では、異なる解像度毎にそれぞれ算出した動体尤度について補正処理を行い、その補正された動体尤度に基づいて、複数枚の画像を合成して合成画像を生成する。以下の説明では、異なる解像度毎にそれぞれ算出して補正した動体尤度を、階層補正動体尤度と呼ぶことにする。

第２実施形態では、階層補正動体尤度を算出することにより、移動被写体周辺の静止領域を動体領域として誤検出してしまうこと、及びランダムノイズを動体領域として誤検出してしまうことを抑制し、より正確に移動被写体を動体領域として検出可能とする。
なお、第２実施形態の画像処理装置の一適用例である撮像装置の構成は、前述した図１と同様の構成であるため、その図示と説明は省略する。第２実施形態の場合、前述の図２における動体領域検出部２０２の構成及び動作が、第１実施形態とは異なる。第２実施形態において、第１実施形態と同様の動作及び処理が行われる構成については、前述した第１実施形態で用いたのと同じ符号を付してそれらの詳細な説明は省略する。

図１２は、第２実施形態における動体領域検出部２０２の構成例を示した図である。第２実施形態の場合、動体領域検出部２０２は、異なる解像度毎に、基準画像と位置合わせ済み参照画像との間のフレーム間差分絶対値を算出し、それら解像度毎に算出したフレーム間差分絶対値に基づいて階層補正動体尤度を算出する。このため第２実施形態の動体領域検出部２０２は、尤度算出部１２００～１２０２、エッジ度算出部１２１０，１２１１、尤度補正部６１０、拡大処理部１２２０～１２２４、合成比率算出部１２３０，１２３１、尤度合成部１２４０，１２４１を有する。なお、図１２の尤度補正部６１０は、前述した図６の尤度補正部６１０と同様の構成を有する。

尤度算出部１２００には、前述した第１実施形態と同様の等倍サイズの基準画像と位置合わせ済み参照画像とが、図１のＲＡＭ１０３から読み出されて入力される。尤度算出部１２００は、前述した図６の尤度算出部６００と同様に、等倍サイズの基準画像のフレームと位置合わせ済み参照画像のフレームとの間で画素毎に差分絶対値を算出し、そのフレーム間の画素毎の差分絶対値に基づいて画素毎の動体尤度を算出する。本実施形態では、尤度算出部１２００により求められた動体尤度を、等倍サイズ動体尤度と呼ぶ。尤度算出部１２００から出力された等倍サイズ動体尤度は、尤度合成部１２４０に送られる。

尤度算出部１２０１には、撮像時の解像度の基準画像と位置合わせ済み参照画像とをそれぞれ４分の１の解像度に変換した１／４サイズの基準画像と位置合わせ済み参照画像とが入力される。撮像時の解像度の基準画像及び位置合わせ済み参照画像を１／４の解像度に変換する処理は、例えば図示しない解像度変換部により行われ、それら１／４サイズの画像がＲＡＭ１０３に記憶されているとする。不図示の解像度変換部は、例えば動体領域検出部２０２内に設けられていても良いし、図１の制御部１０１内に形成されていても良い。尤度算出部１２０１は、それら１／４サイズの基準画像と位置合わせ済み参照画像とのフレーム間で画素毎に差分絶対値を算出し、その画素毎の差分絶対値に基づいて画素毎の動体尤度を算出する。本実施形態では、尤度算出部１２０１により１／４サイズの解像度の階層について求められた階層動体尤度を、１／４サイズ動体尤度と呼ぶ。尤度算出部１２０１から出力された１／４サイズ動体尤度は、尤度補正部６１０に送られる。

尤度算出部１２０２には、撮像時の解像度の基準画像と位置合わせ済み参照画像とをそれぞれ１６分の１の解像度に変換した１／１６サイズの基準画像と位置合わせ済み参照画像とが入力される。１／１６の解像度に変換する処理も前述同様に、例えば不図示の解像度変換部により行われ、それら１／１６サイズの画像がＲＡＭ１０３に記憶されているとする。尤度算出部１２０２は、１／１６サイズの基準画像と位置合わせ済み参照画像との間のフレーム間差分絶対値を算出し、その差分絶対値に基づき画素毎の動体尤度を算出する。本実施形態では、尤度算出部１２０２により１／１６サイズの解像度の階層について求められた階層動体尤度を、１／１６サイズ動体尤度と呼ぶ。尤度算出部１２０２から出力された１／１６サイズ動体尤度は、拡大処理部１２２３に送られる。

また、１／１６サイズの基準画像は、拡大処理部１２２４により１／４サイズに相当する画像に拡大処理されて、尤度補正部６１０に送られる。
尤度補正部６１０は、１／１６サイズの基準画像が拡大処理部１２２４により拡大処理された１／４サイズ相当の基準画像と、尤度算出部１２０１からの１／４サイズ動体尤度とを基に、前述した第１実施形態で説明したのと同様の処理を行う。尤度補正部６１０により生成された補正動体尤度（１／４サイズ補正動体尤度とする。）は、尤度合成部１２４１に送られる。

エッジ度算出部１２１０は、１／４サイズの基準画像と位置合わせ済み参照画像とについて画素毎にエッジ強度を算出し、それぞれ算出したエッジ強度に基づいて画素毎のエッジ度（以下、１／４サイズエッジ度とする。）を取得する。同様に、エッジ度算出部１２１１は、１／１６サイズの基準画像と位置合わせ済み参照画像とについて画素毎のエッジ強度を算出し、それぞれ算出したエッジ強度に基づいて画素毎のエッジ度（以下、１／１６サイズエッジ度とする。）を取得する。エッジ強度の算出処理、及びエッジ強度に応じたエッジ度の取得処理の詳細は後述する。エッジ度算出部１２１０により求められた１／４サイズエッジ度は拡大処理部１２２０に送られ、エッジ度算出部１２１１により求められた１／１６サイズエッジ度は拡大処理部１２２２に送られる。

拡大処理部１２２０は、１／４サイズエッジ度を等倍サイズに相当するエッジ度に拡大処理し、その拡大処理後のエッジ度を合成比率算出部１２３０に送る。また、拡大処理部１２２２は、１／１６サイズエッジ度を１／４サイズ相当のエッジ度に拡大処理し、その拡大処理後のエッジ度を合成比率算出部１２３１に送る。また、拡大処理部１２２３は、１／１６サイズ動体尤度を１／４サイズに相当する動体尤度に拡大処理し、その拡大処理後の動体尤度を尤度合成部１２４１に送る。なお、これら拡大処理部で行われる拡大処理としては、例えばバイリニア拡大法やバイキュービック拡大法等を用いることができる。

合成比率算出部１２３０は、１／４サイズエッジ度が等倍サイズに拡大処理されたエッジ度に基づいて、後述する尤度合成部１２４０が補正動体尤度を合成するために必要な補正動体尤度合成比率を設定する。また、合成比率算出部１２３１は、１／１６サイズエッジ度が１／４サイズに拡大処理されたエッジ度に基づいて、後述する尤度合成部１２４１が補正動体尤度を合成するのに必要な補正動体尤度合成比率を設定する。合成比率算出部１２３０にて取得された補正動体尤度合成比率は尤度合成部１２４０に送られ、合成比率算出部１２３１にて取得された補正動体尤度合成比率は尤度合成部１２４１に送られる。

尤度合成部１２４１は、合成比率算出部１２３１からの補正動体尤度合成比率に基づいて、拡大処理部１２２３からの動体尤度または尤度補正部６１０からの補正動体尤度を合成する。そして、尤度合成部１２４１による合成処理後の補正動体尤度は、１／４サイズ階層補正動体尤度として拡大処理部１２２１に送られる。拡大処理部１２２１は、前述した拡大処理部と同様にして、１／４サイズ階層補正動体尤度を等倍サイズ相当に拡大処理する。そして、拡大処理部１２２１による拡大処理後の階層補正動体尤度は尤度合成部１２４０に送られる。

尤度合成部１２４０は、合成比率算出部１２３０からの補正動体尤度合成比率を基に、尤度算出部１２００からの等倍サイズ動体尤度または拡大処理部１２２１からの補正動体尤度を合成する。そして、尤度合成部１２４０による合成処理後の補正動体尤度は、等倍サイズ階層補正動体尤度として、第２実施形態における図２の画像合成部２０３に送られる。

第２実施形態の画像合成部２０３では、等倍サイズ階層補正動体尤度に基づいて、前述した第１実施形態と同様にして合成比率を設定し、その合成比率を基に、等倍サイズの基準画像と位置合わせ済み参照画像とを画素毎に合成して合成画像を生成する。

次に、第２実施形態の動体領域検出部２０２において行われる動体尤度及び補正動体尤度生成処理について、図１３のフローチャートを参照して説明する。
図１３のＳ１３０１において、動体領域検出部２０２は、等倍サイズの基準画像（例えば図４（ａ）の基準画像４００）と位置合わせ済み参照画像（例えば図４（ｃ）の参照画像４０２）とを取得する。

次にＳ１３０２において、例えば不図示の解像度変換部は、前述した１／４サイズと１／１６サイズの低解像度画像を生成するために、等倍サイズの基準画像及び位置合わせ済み参照画像に対し、それぞれ平滑化処理と画素間引き処理とを用いた縮小処理を行う。

以下、縮小処理に関して、図１４と図１５（ａ）及び図１５（ｂ）を参照して説明する。
図１４は、等倍サイズの基準画像１６００の画素値と位置合わせ済み参照画像１６０１の画素値の例を示した図である。また、図１４において、縦軸は画素値を示し、横軸は水平座標を示している。図１４中の破線１６０２は等倍サイズの基準画像１６００の画素値の例を示し、実線１６０３は等倍サイズの位置合わせ済み参照画像１６０１の画素値の例を示している。

本実施形態では、図１４に示す等倍サイズの画像に対して縮小処理を行うことで、等倍画像と比べて、縦横それぞれ４分の１の解像度を持つ１／４サイズの画像と１６分の１の解像度を持つ１／１６サイズの画像とが作成される。縮小方法としては、例えば、バイリニア縮小法やバイキュービック縮小法等を用いることができる。

図１５（ａ）及び図１５（ｂ）において、縦軸は画素値を示し、横軸は水平座標を示している。図１５（ａ）は１／１６サイズの画像を、図１５（ｂ）は１／４サイズの画像を示した図である。図１５（ａ）の図中の破線１７００は１／１６サイズの基準画像の画素値の例を示し、実線１７０１は１／１６サイズの位置合わせ済み参照画像の画素値の例を示す。また、図１５（ｂ）の図中の破線１７０２は１／４サイズ基準画像の画素値の例を示し、図１５（ｂ）の実線１７０３は１／４サイズ位置合わせ済み参照画像の画素値の例を示す。ここで、図１５（ａ）に示す１／１６サイズの基準画像の画素値（破線１７００）を見ると、縮小処理により、図１５（ｂ）に示す１／４サイズの基準画像の画素値（破線１７０２）よりも平滑化されているのがわかる。

図１３のフローチャートに説明を戻す。
図１３のＳ１３０３において、尤度算出部１２００，１２０１，１２０２は、それぞれに対応した各解像度の、基準画像と位置合わせ済み参照画像とのフレーム間差分絶対値を求め、それら差分絶対値に基づいて動体尤度を算出する。
具体的には、尤度算出部１２００は、等倍サイズの基準画像と等倍サイズの位置合わせ済み参照画像とで画素毎にフレーム間差分絶対値を算出し、前述の図８に示した動体尤度カーブに基づいて等倍サイズの動体尤度を算出する。

また尤度算出部１２０１は、１／４サイズの基準画像と位置合わせ済み参照画像とで画素毎にフレーム間差分絶対値を算出し、前述の図８に示した動体尤度カーブに基づき、１／４サイズ動体尤度を取得する。図１５（ｄ）は１／４サイズ動体尤度の例を示した図であり、縦軸は動体尤度を示し、横軸は水平座標を示している。図１５（ｄ）に示した１／４サイズ動体尤度は、図１５（ｂ）の１／４サイズの画像に基づき取得した動体尤度である。

同様に尤度算出部１２０２は、１／１６サイズの基準画像と位置合わせ済み参照画像とで画素毎にフレーム間差分絶対値を算出し、図８の動体尤度カーブに基づき、１／１６サイズ動体尤度を取得する。図１５（ｃ）は１／１６サイズ動体尤度の例を示した図であり、縦軸は動体尤度を示し、横軸は水平座標を示している。図１５（ｃ）に示した１／１６サイズ動体尤度は、図１５（ａ）の１／１６サイズの画像に基づき取得した動体尤度である。

次に図１３のＳ１３０４において、尤度補正部６１０は、１／１６サイズの基準画像を拡大処理部１２２４により縦横４倍拡大した１／４サイズ相当の基準画像に基づき、１／４サイズ動体尤度を補正し、１／４サイズ補正動体尤度を生成する。図１５（ｆ）は１／４サイズ補正動体尤度の例を示した図であり、縦軸は補正動体尤度を示し、横軸は水平座標を示している。図１５（ｆ）の１／４サイズ補正動体尤度は、図１５（ｄ）の１／４サイズ動体尤度を、図１５（ａ）の１／１６サイズの基準画像を拡大処理部１２２４で拡大した１／４サイズ相当の基準画像に基づいて補正した補正動体尤度である。なお、尤度補正部６１０における１／４サイズ動体尤度の補正方法は、第１実施形態で述べたのと同様の補正処理により行われるためその説明は省略する。

次に図１３のＳ１３０５において、エッジ度算出部１２１０，１２１１は、それぞれ対応した解像度の基準画像と位置合わせ済み参照画像から算出したエッジ強度に基づいて、エッジ度を取得する。
エッジ強度算出処理について説明する。エッジ強度は、例えばソーベルフィルタ処理により算出することができ、以下、このソーベルフィルタ処理によるエッジ強度算出処理について説明する。
エッジ強度算出処理では、先ず、例えば着目座標を中心とした上下左右の９座標の画素値に対して、式（５）に示す係数をそれぞれ乗算し、その乗算結果を合計することにより、垂直方向のエッジ強度Ｓｖを算出する。同様に、着目座標を中心とした上下左右の９座標の画素値に対して、式（６）に示す係数をそれぞれ乗算し、その乗算結果を合計することにより、水平方向のエッジ強度Ｓｈを算出する。

そして、エッジ強度算出処理では、式（７）に示すように、垂直方向のエッジ強度Ｓｖと水平方向のエッジ強度Ｓｈの２乗和平方根により、エッジ強度Ｅを算出する。

次に、前述のように算出したエッジ強度に基づいてエッジ度を取得する方法について、図１６を参照して説明する。図１６は、エッジ強度からエッジ度を求めるのに用いられるエッジ度カーブを示した図であり、縦軸はエッジ度を示し、横軸はエッジ強度を示している。
エッジ度算出部１２１０は、１／４サイズの基準画像と位置合わせ済み参照画像とについて前述のように画素毎にエッジ強度を算出し、それらエッジ強度のどちらか大きい方のエッジ強度を画素毎に選択する。そして、エッジ度算出部１２１０は、画素毎に選択したエッジ強度に応じたエッジ度を図１６のエッジ度カーブに基づいて取得する。このようにしてエッジ度算出部１２１０で求めたエッジ度が、１／４サイズエッジ度となる。

同様にエッジ度算出部１２１１は、１／１６サイズの基準画像と位置合わせ済み参照画像とについて画素毎にエッジ強度を算出し、それらのどちらか大きい方のエッジ強度を画素毎に選択する。そして、エッジ度算出部１２１１は、画素毎に選択したエッジ強度に応じたエッジ度を図１６のエッジ度カーブに基づいて取得する。このようにしてエッジ度算出部１２１１で求めたエッジ度が、１／１６サイズエッジ度となる。図１５（ｅ）は１／１６サイズエッジ度の例を示した図であり、縦軸はエッジ度を示し、横軸は水平座標を示している。図１５（ｅ）に示した１／１６サイズエッジ度は、Ｓ１３０５で述べたエッジ度取得処理により、図１５（ａ）に示した１／１６サイズの画像に基づき得られたエッジ度である。

次に、図１３のＳ１３０６において、合成比率算出部１２３０，１２３１は、前述のようにして取得したエッジ度に基づいて尤度合成部１２４０，１２４１がそれぞれ補正動体尤度を合成するために必要な補正動体尤度合成比率を求める。
さらにＳ１３０７において、尤度合成部１２４０，１２４１は、Ｓ１３０６で取得された補正動体尤度合成比率に基づき補正動体尤度又は動体尤度を合成し、階層補正動体尤度を生成する。

そして、Ｓ１３０８において、尤度合成部１２４０は、全てのサイズ（つまり各解像度）の補正動体尤度を合成したか否を判定し、全てのサイズの補正動体尤度が合成されていないと判定した場合にはＳ１３０６に処理を戻す。これにより、全てのサイズの補正動体尤度の合成がなされたと判定されるまで、Ｓ１３０６及びＳ１３０７の処理が繰り返される。

ここで、図１３のＳ１３０６，Ｓ１３０７，Ｓ１３０８における解像度毎（サイズ毎）の動体尤度合成処理について説明する。
先ず１／４サイズの補正動体尤度合成処理について、前述の図１２、図１５（ｇ）、図１５（ｈ）及び図１７を参照して説明する。
合成比率算出部１２３１は、１／１６サイズエッジ度を拡大処理部１２２２により縦横４倍拡大したエッジ度に基づき、尤度合成部１２４１で合成する１／４サイズ補正動体尤度の合成比率を設定する。１／１６サイズのエッジ度及び動体尤度は、前述のように縦横４倍拡大することによって１／４サイズ相当の解像度となり、合成比率算出部１２３１で取得する補正動体尤度合成比率も１／４サイズ相当の解像度となる。

図１５（ｇ）は１／４サイズの補正動体尤度の合成比率の例を示した図であり、縦軸は１／４サイズ補正動体尤度合成比率を示し、横軸は水平座標を示している。図１５（ｇ）に示す１／４サイズ補正動体尤度合成比率は、図１５（ｅ）の１／１６サイズエッジ度を拡大処理した１／４サイズ相当のエッジ度に基づき、後述の図１７から取得される合成比率である。

そして、尤度合成部１２４１は、１／４サイズ補正動体尤度合成比率に基づき、１／４サイズの補正動体尤度と、１／１６サイズの動体尤度を拡大処理部１２２３により拡大した１／４サイズ相当の動体尤度を、式（８）により合成する。これにより、１／４サイズ階層補正動体尤度が算出される。
ＭＣ４＝ｗｍ４×Ｍ４＋（１－ｗｍ４）×Ｍ１６ 式（８）

なお式（８）において、Ｍ４は１／４サイズ補正動体尤度、Ｍ１６は１／１６サイズ動体尤度を拡大処理部１２２３により縦横４倍拡大した動体尤度、ｗｍ４は１／４サイズ補正動体尤度の合成比率、ＭＣ４は１／４サイズ階層補正動体尤度である。

図１５（ｈ）は１／４サイズの階層補正動体尤度の例を示した図であり、縦軸は１／４サイズ階層補正動体尤度を示し、横軸は水平座標を示している。図１５（ｈ）の１／４サイズ階層補正動体尤度は、図１５（ｇ）に示した１／４サイズ補正動体尤度の合成比率に基づき、図１５（ｆ）の１／４サイズ補正動体尤度と図１５（ｃ）の１／１６サイズ動体尤度を合成して得られた階層補正動体尤度である。

また図１７は、１／４サイズ階層補正動体尤度の合成比率カーブの一例を示した図であり、縦軸は合成比率を示し、横軸はエッジ度を示している。図１７に示すように、１／４サイズ階層補正動体尤度の合成比率カーブは、エッジ度が大きいほど１／４サイズ階層補正動体尤度の合成比率が高くなるように設定されている。これにより、１／４サイズ階層補正動体尤度では、エッジ度が小さい平坦部では１／１６サイズ動体尤度の合成比率が高くなり、エッジ度が大きいエッジ部では１／４サイズ補正動体尤度の合成比率が高くなる。

また１／１６サイズの画像は、縮小処理時の平滑化処理により、１／４サイズの画像よりもランダムノイズが低減されているため、１／１６サイズ動体尤度の方がランダムノイズを動きとして誤検出してしまう可能性が低い。つまり、エッジ度が小さい平坦部では、ランダムノイズの影響を受けにくい１／１６サイズ動体尤度の合成比率を高くすることにより、ランダムノイズの影響を受け難い１／４サイズ階層補正動体尤度を生成することができる。

具体的には、図１５（ｇ）に示す１／４サイズ補正動体尤度の合成比率は、図１５（ｅ）の１／１６サイズエッジ度が小さい領域で０％を示している。そのため、エッジ度が小さい平坦部では、１／１６サイズ動体尤度の合成比率が１００％となり、ランダムノイズによる影響を抑制していることが分かる。

一方、移動被写体の輪郭（移動被写体と背景との境界）はエッジ度が大きいため、１／４サイズ補正動体尤度の合成比率が高くなる。そのため、縦横４倍の拡大処理後の１／１６サイズ動体尤度に比べ、より移動被写体の輪郭に沿った階層補正動体尤度を生成することができる。

具体的には、図１５（ｈ）の１／４サイズ階層補正動体尤度は、図１５（ｃ）に示す１／１６サイズ動体尤度よりも鮮鋭になっている。これは、移動被写体の輪郭近傍で図１５（ｅ）の１／１６サイズエッジ度が高くなった影響により、図１５（ｇ）の１／４サイズ補正動体尤度の合成比率が高くなったためである。

等倍サイズの動体尤度合成処理についても１／４サイズの場合と同様の処理が行われる。すなわち尤度合成部１２４０は、１／４サイズエッジ度を縦横４倍拡大したエッジ度に基づき、等倍サイズ動体尤度と、１／４サイズ階層補正動体尤度を縦横４倍拡大した階層補正動体尤度とを合成して、等倍サイズ階層補正動体尤度を生成する。

なお第２実施形態では、例えば１／４サイズ動体尤度、つまり低解像度の画像から算出された動体尤度のみを補正する例について説明したが、これに限ったものではない。例えば、１／４サイズよりもさらに低解像度の画像に対応した１／１６サイズの動体尤度を補正しても良い。また、第２実施形態においても第１実施形態同様に等倍サイズの画像に対応した動体尤度の補正が行われても良い。

例えば、等倍サイズ動体尤度は、縮小処理が行われていないためランダムノイズの振幅が大きく、ランダムノイズの動体尤度も高くなる傾向がある。そのため、等倍サイズ動体尤度を補正する場合は、尤度係数算出部６１２が取得する動体尤度重み係数を１／４サイズよりも小さくすることが望ましい。具体的には、前述の図１０に示した動体尤度重み係数カーブの傾きを小さくする、又は、ｘ切片を大きくすることにより、１／４サイズよりも動体尤度重み係数を小さくする。

また、１／１６サイズ動体尤度は等倍サイズよりも解像度が低いため、１／１６サイズ動体尤度の補正結果は、等倍サイズ換算で広い領域に影響する。そのため、移動被写体と背景の類似度が高い場合に、動体領域の周辺領域まで動体領域として検出してしまう可能性がある。したがって、１／１６サイズ動体尤度を補正する場合は、平均処理部６１４が周辺領域の動体尤度を加重加算平均処理する際に、より小さい周辺領域の動体尤度を加重加算平均処理するようしても良い。例えば、１／４サイズ動体尤度の補正は、５×５画素の周辺領域の動体尤度を加重加算平均処理し、１／１６サイズ動体尤度の補正は、３×３画素の周辺領域の動体尤度を加重加算平均処理する。

以上説明したように、第２実施形態においては、階層補正動体尤度を用いることで、移動被写体周辺の静止領域を動体領域として誤検出すること、及びランダムノイズを動体領域として誤検出することを抑制する。したがって、第２実施形態によれば、より正確に移動被写体を動体領域として検出することが可能となる。

前述した第１，第２実施形態の撮像装置は、例えばデジタルカメラ、デジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどに適用可能である。

なお、前述した実施形態の画像処理部における各処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェアにより実行される場合、例えばＲＯＭ等に記載されているプログラムをＣＰＵが実行することにより実現される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０７：画像処理部、２００：合成画像生成部、２０１：位置合わせ部、２０２：動体領域検出部、２０３：画像合成部、６００：尤度算出部、６１０：尤度補正部、６１１：類似係数算出部、６１２：尤度係数算出部、６１３：統合部、６１４：平均処理部

Claims (20)

1. 動体領域を検出する画像処理装置であって、
   少なくとも２枚の入力画像を基に、画像内の領域の動きを検出すると共に、領域ごとの動体尤度を生成する尤度生成手段と、
   少なくとも１枚の前記入力画像について、着目領域と前記着目領域の周辺領域との類似度を検出する類似度検出手段と、
   前記周辺領域の類似度および動体尤度に基づいて、前記着目領域の動体尤度を補正する補正手段と、を有し、
   前記補正された動体尤度に基づいて前記動体領域を検出することを特徴とする画像処理装置。
2. 前記補正手段は、前記着目領域の動体尤度を高めるように補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記尤度生成手段は、少なくとも１枚の前記入力画像を前記画像内の領域の動きを検出する際の基準画像とし、
   前記類似度検出手段は、前記基準画像について前記類似度の検出を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正された動体尤度に基づいて、少なくとも２枚の前記入力画像を合成する画像合成手段を有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記尤度生成手段は、少なくとも１画素からなる前記領域ごとに前記動体尤度を生成し、
   前記類似度検出手段は、少なくとも１画素からなる着目領域の画素値と、前記周辺領域に含まれる少なくとも１画素の画素値との、類似度を検出し、
   前記補正手段は、前記周辺領域の画素の前記類似度および動体尤度に基づいて、前記着目領域の画素の前記動体尤度を補正することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記類似度検出手段は、前記着目領域の画素値と前記周辺領域の画素値との差に基づき、前記類似度を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記類似度検出手段は、前記着目領域に含まれる１以上の画素の平均画素値と、前記周辺領域に含まれる少なくとも１画素の画素値との差に基づき、前記類似度を算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記動体尤度を補正するための重み係数を取得する係数取得手段を有し、
   前記補正手段は、前記重み係数に基づいて前記着目領域の前記動体尤度を補正することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記係数取得手段は、前記着目領域および前記周辺領域について前記重み係数を算出し、
   前記補正手段は、前記重み係数に基づき、前記着目領域および前記周辺領域の前記動体尤度を加重加算平均処理して、前記着目領域の前記動体尤度を補正することを特徴とする請求項８に記載の画像処理装置。
10. 前記係数取得手段は、前記周辺領域の前記類似度および前記動体尤度に基づいて前記重み係数を算出することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記係数取得手段は、前記周辺領域の前記動体尤度が高いほど、前記周辺領域の前記動体尤度の前記重み係数を大きくすることを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置。
12. 前記係数取得手段は、前記周辺領域の前記類似度が高いほど、前記周辺領域の前記動体尤度の前記重み係数を大きくすることを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置。
13. 前記係数取得手段は、前記周辺領域の前記動体尤度が高く、且つ、前記周辺領域の前記類似度が高い場合に、前記周辺領域の前記動体尤度の重み係数を大きくすることを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置。
14. 前記係数取得手段は、前記入力画像に含まれるノイズ量に応じて前記重み係数を変更することを特徴とする請求項８から１３のいずれか１項に記載の画像処理装置。
15. 前記着目領域は１画素であることを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記入力画像の解像度を低く変換した低解像度画像から動体尤度を生成する階層尤度生成手段と、
    前記入力画像のエッジ強度と前記低解像度画像のエッジ強度との、少なくとも一つのエッジ強度に基づくエッジ度を取得するエッジ度取得手段と、
    前記エッジ度を基に合成比率を設定する比率設定手段と、
    前記尤度生成手段が生成した動体尤度と前記階層尤度生成手段が生成した動体尤度とを、前記合成比率に応じて合成する尤度合成手段と、
    をさらに有することを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記階層尤度生成手段は、異なる複数の解像度となるように前記変換した複数の低解像度画像を生成することを特徴とする請求項１６に記載の画像処理装置。
18. 前記補正手段は、前記低解像度画像から生成された前記動体尤度について前記補正を行うことを特徴とする請求項１６または１７に記載の画像処理装置。
19. 動体領域を検出する画像処理装置が実行する画像処理方法であって、
    少なくとも２枚の入力画像を基に、画像内の領域の動きを検出すると共に、領域ごとの動体尤度を生成する尤度生成工程と、
    少なくとも１枚の前記入力画像について、着目領域と前記着目領域の周辺領域との類似度を検出する類似度検出工程と、
    前記周辺領域の類似度および動体尤度に基づいて、前記着目領域の動体尤度を補正する補正工程と、を有し、
    前記補正された動体尤度に基づいて前記動体領域を検出することを特徴とする画像処理方法。
20. コンピュータを、請求項１から１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images