JP5577793B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、ベストショット画像を得るようにする画像処理装置および方法、並びにプログラムに関する。

近年、デジタルスチルカメラ等の撮像装置において、被写体である人の顔を検出し、その顔の表情を検出する表情検出機能を備えることにより、被写体の顔の表情が笑顔であることを検出したときに、自動的に撮像画像を記録する技術が提案されている（特許文献１参照）。

特許第４１９７０１９号公報

しかしながら、特許文献１においては、シャッタのトリガは顔の表情のみであり、顔以外の被写体の状態の変化、例えば、走っている人が転んだ瞬間や、動き回る子供が止まった瞬間等を、自動的に撮像画像として記録することはできなかった。また、特許文献１の技術は、人以外の、表情を持たない被写体には適用することができなかった。

本発明は、このような状況に鑑みてなされたものであり、特に、より確実にベストショット画像を得るようにするものである。

本発明の第１の側面の画像処理装置は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備え、前記判定手段は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定手段は、前記判定手段により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。

前記画像処理装置には、被写体を撮像する撮像手段をさらに設け、前記特定手段には、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示させることができる。

本発明の第１の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法であって、前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含み、前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。

本発明の第１の側面のプログラムは、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含む処理をコンピュータに実行させ、前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。

本発明の第１の側面においては、注目する被写体としての人物の領域である人物領域の幅と、人物領域に含まれる、人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かが判定され、人物領域の幅と顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像が特定される。
本発明の第２の側面の画像処理装置は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備え、前記判定手段は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、前記特定手段は、前記判定手段により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する。
前記画像処理装置には、被写体を撮像する撮像手段をさらに設け、前記特定手段には、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定させ、前記撮像手段に、特定した前記フレームの画像の撮像を指示させることができる。
本発明の第２の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含み、前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する。
本発明の第２の側面においては、矩形領域としての被写体領域の縦横比が、所定数フレーム間変化していないか否かが判定され、被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像が特定される。
本発明の第３の側面においては、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備え、前記判定手段は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定手段は、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。
前記画像処理装置には、被写体を撮像する撮像手段をさらに設け、前記特定手段には、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定させ、前記撮像手段には、特定した前記フレームの画像の撮像を指示させることができる。
前記画像処理装置には、前記複数フレームの画像における前記被写体領域の位置を検出する検出手段をさらに設け、前記判定手段には、前記検出手段により、前記被写体領域の位置が所定の領域内にあることが検出された場合に、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定させ、前記特定手段には、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像を特定させることができる。
本発明の第３の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法であって、前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含み、前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。
本発明の第３の側面においては、矩形領域としての被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かが判定され、被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像が特定される。

本発明の第４の側面の画像処理装置は、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段とを備える。

本発明の第４の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法であって、前記比較手段が、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較ステップと、前記特定手段が、前記比較ステップの処理による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定ステップとを含む画像処理方法。

本発明の第４の側面においては、連続する複数フレームの画像において、注目する被写体としての人物の領域である人物領域の高さと、人物領域に含まれる、人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とが比較され、比較の結果、人物領域の高さと顔領域の高さとの比と、目標値との差が、所定の閾値より小さいとされたフレームの画像が特定される。

本発明の一側面によれば、より確実にベストショット画像を得ることが可能となる。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 被写体追尾部の構成例を示すブロック図である。 被写体マップ生成部の構成例を示すブロック図である。 被写体候補領域矩形化部の構成例を示すブロック図である。 被写体領域選択部の構成例を示すブロック図である。 被写体追尾処理について説明するフローチャートである。 被写体マップ生成処理について説明するフローチャートである。 被写体マップ生成処理の具体例を示す図である。 被写体候補領域矩形化処理について説明するフローチャートである。 被写体候補領域矩形化処理の具体例を示す図である。 被写体領域選択処理について説明するフローチャートである。 帯域特徴量マップの被写体領域特徴量和について説明する図である。 重み係数について説明する図である。 制御部の機能構成例を示すブロック図である。 自動シャッタ処理について説明するフローチャートである。 被写体領域の縦横比の変化について説明する図である。 制御部の他の機能構成例を示すブロック図である。 自動シャッタ処理について説明するフローチャートである。 制御部のさらに他の機能構成例を示すブロック図である。 自動シャッタ処理について説明するフローチャートである。 所定領域内における被写体領域の縦横比の変化について説明する図である。 画像処理装置の他の構成例を示すブロック図である。 図２２の制御部の機能構成例を示すブロック図である。 自動シャッタ処理について説明するフローチャートである。 被写体領域と顔領域との比の変化について説明する図である。 制御部の他の機能構成例を示すブロック図である。 自動シャッタ処理について説明するフローチャートである。 被写体領域と顔領域との比の変化について説明する図である。 画像処理装置のさらに他の構成例を示すブロック図である。 図２９の制御部の機能構成例を示すブロック図である。 フレーム特定処理について説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本発明の実施の形態について図を参照して説明する。

［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、例えば、動きのある被写体を撮像するデジタルビデオカメラや、デジタルスチルカメラなどの撮像装置に備えられる。

画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、表示部３４、制御部３５、レンズ駆動部３６、インタフェース制御部３７、およびユーザインタフェース３８から構成される。

光学系３１は、図示せぬ撮像レンズを含む光学系として構成される。光学系３１に入射した光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２により光電変換される。イメージャ３２により光電変換された電気信号（アナログ信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタル信号の画像データに変換され、デジタル信号処理部３３に供給される。

デジタル信号処理部３３は、イメージャ３２からの画像データに対して、所定の信号処理を施す。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、YC生成部５３、解像度変換部５４、被写体追尾部５５、およびCODEC５６を備えている。

前処理部５１は、前処理として、イメージャ３２からの画像データに対し、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、前処理部５１により前処理された画像データに対し、画像データの各画素がＲ，Ｇ，Ｂ全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。

YC生成部５３は、デモザイク処理部５２によりデモザイク処理された、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。解像度変換部５４は、YC生成部５３で処理された画像データに対して、解像度変換処理を実行する。

被写体追尾部５５は、YC生成部５３によって生成された輝度信号および色信号からなる画像データを基に、画像データに対応する入力画像における被写体を検出し、追尾する被写体追尾処理を実行する。

ここで、被写体の検出は、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推
定される入力画像上の物体、つまりユーザが目を向けると推定される物体が被写体であるとして行われる。したがって、被写体は必ずしも人物に限られる訳ではない。

被写体追尾部５５は、被写体追尾処理の結果得られた、入力画像における被写体が含まれる領域を表す被写体枠についてのデータを制御部３５に供給する。なお、被写体追尾部５５の詳細については、図２を参照して後述する。

CODEC５６は、YC生成部５３または解像度変換部５４で生成された画像データや、DRAM４０に記録された画像データを必要に応じて符号化し、図示せぬ記録メディアに記録させたり、符号化された画像データを復号したりする。CODEC５６で復号された画像データ、または解像度変換部５４で得られた画像データは、表示部３４に供給されて表示される。表示部３４は、例えば液晶ディスプレイなどからなり、制御部３５の制御に従ってデジタル信号処理部３３から供給された画像データに対応する入力画像を表示する。

制御部３５は、インタフェース制御部３７から供給される制御信号に応じて、画像処理装置１１の各部を制御する。

例えば、制御部３５は、デジタル信号処理部３３に、各種の信号処理に用いられるパラメータ等を供給するとともに、デジタル信号処理部３３からの、各種の信号処理の結果得られたデータを取得し、インタフェース制御部３７に供給する。

また、制御部３５は、被写体追尾部５５からの、入力画像における被写体が含まれる領域を表す被写体枠についてのデータに基づいて、表示部３４に表示されている入力画像上に、被写体枠を表示させる。

さらに、制御部３５は、光学系３１を構成する撮像レンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部３６に供給する。また、制御部３５は、イメージャ３２による入力画像の撮像を制御する。

ユーザインタフェース３８は、ユーザが画像処理装置１１に対する指示を入力するときに操作されるボタンやレバー、スイッチ、マイクロホン等の入力装置、ユーザに対して情報を提示するランプやスピーカ等の出力装置などから構成される。

例えば、ユーザインタフェース３８は、ユーザインタフェース３８としてのボタンが操作されると、その操作に応じた制御信号を、インタフェース制御部３７を介して制御部３５に供給する。

［被写体追尾部の構成例］
次に、図２を参照して、図１の被写体追尾部５５の構成例について説明する。

図２の被写体追尾部５５は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、および重み係数算出部７４から構成される。

被写体マップ生成部７１は、入力画像が有する輝度や色等の特徴毎に、入力画像の所定フレームの所定領域における特徴量を示す特徴量マップを生成し、重み係数算出部７４に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、重み係数算出部７４から供給される特徴量毎の重み係数とに基づいて、入力画像における被写体の領域らしさを示す被写体マップを生成する。

より具体的には、被写体マップ生成部７１は、特徴毎の特徴量マップの各領域の情報（特徴量）を、同じ位置にある領域毎に重み付き加算して被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。

なお、各特徴量マップにおいて、より情報量の多い領域、つまり特徴量の多い領域に対応する入力画像上の領域は、被写体が含まれる可能性のより高い領域となり、したがって、各特徴量マップにより入力画像における被写体の含まれる領域を特定することができる。

被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、すなわち、被写体マップにおける情報量の多い領域を含む矩形領域を求め、その矩形領域の座標を表す座標情報を、被写体領域選択部７３に供給する。また、被写体候補領域矩形化部７２は、被写体マップ上で座標情報により表される矩形領域に関する情報（以下、領域情報という）を算出し、座標情報に対応付けて被写体領域選択部７３に供給する。

被写体領域選択部７３は、追尾対象となる、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体候補領域矩形化部７２からの領域情報に基づいて矩形領域の中から選択し、その被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４に供給する。

重み係数算出部７４は、被写体マップ生成部７１からの所定フレームの各特徴量マップ上の、被写体領域に対応する領域における特徴量のうち、相対的に大きい特徴量に対応する次フレームの特徴量マップを重み付けする重み係数を算出し、被写体マップ生成部７１に供給する。

このような構成により、被写体追尾部５５は、入力画像のフレーム毎に、被写体領域を表す被写体枠を求めることができる。

［被写体マップ生成部の構成例］
次に、図３を参照して、図２の被写体マップ生成部７１の構成例について説明する。

図３の被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。

特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色といった特徴に関する情報（特徴量）を示す特徴量マップを特徴量毎に生成し、帯域特徴量マップ生成部１１２に供給する。

帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップにおける特徴量から、所定の帯域成分の特徴量を所定の回数だけ抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成し、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。

帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数に基づいて特徴量毎に合成することで、合成特徴量マップを生成し、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。

合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数に基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２（図２）に供給する。

ここで、以下においては、上述した帯域特徴量マップおよび合成特徴量マップを、単に、特徴量マップともいう。

［被写体候補領域矩形化部の構成例］
次に、図４を参照して、図２の被写体候補領域矩形化部７２の構成例について説明する。

図４の被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。

２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１のいずれかの値に２値化して、ラベリング処理部１３２に供給する。ここで、以下においては、被写体マップにおいて、入力画像の各画素に対応する情報を、単に、画素ともいう。

ラベリング処理部１３２は、２値化処理部１３１からの、２値化された被写体マップにおいて、１の値である画素が隣接する領域（以下、連結領域という）に対してラベリングし、矩形領域座標算出部１３３に供給する。

矩形領域座標算出部１３３は、ラベリング処理部１３２からの、連結領域がラベリングされた被写体マップにおいて、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、被写体マップとともに領域情報算出部１３４に供給する。

領域情報算出部１３４は、矩形領域座標算出部１３３からの被写体マップ上で座標情報により表される矩形領域に関する情報である領域情報を算出し、座標情報に対応付けて被写体領域選択部７３（図１）に供給する。

［被写体領域選択部の構成例］
次に、図５を参照して、被写体領域選択部７３の構成例について説明する。

図５の被写体領域選択部７３は、領域情報比較部１５１および被写体領域決定部１５２から構成される。

領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部２５２に供給する。

被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域の領域情報に最も近い領域情報に対応付けられている座標情報で表される矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４（図２）に供給するとともに、被写体領域の領域情報を、領域情報記憶部１５３に供給する。

領域情報記憶部１５３は、被写体領域決定部１５２からの、被写体領域の領域情報を記憶する。領域情報記憶部１５３に記憶された被写体領域の領域情報は、１フレーム後に、領域情報比較部１５１に読み出される。

［被写体追尾処理］
以下においては、画像処理装置１１の被写体追尾処理について説明する。

図６は、画像処理装置１１の被写体追尾処理について説明するフローチャートである。被写体追尾処理は、例えば、ボタンとしてのユーザインタフェース３８がユーザに操作されることで、画像処理装置１１の動作モードが被写体追尾処理を実行する被写体追尾処理モードに遷移し、表示部３４に表示されている入力画像において、追尾対象としての被写体の所定領域がユーザにより選択されたときに開始される。

ステップＳ１１において、被写体追尾部５５の被写体マップ生成部７１は、被写体マップ生成処理を行い、被写体マップを生成して、被写体候補領域矩形化部７２に供給する。

［被写体マップ生成処理］
ここで、図７および図８を参照して、被写体マップ生成処理の詳細について説明する。図７は、被写体マップ生成処理について説明するフローチャートであり、図８は、被写体マップ生成処理の具体例を示す図である。

図７のフローチャートのステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色等の特徴（特徴量毎）に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。

具体的には、図８に示されるように、入力画像２００から、輝度に関する情報を示す輝度情報マップＦ_１、色に関する情報を示す色情報マップＦ_２乃至Ｆ_Ｋ、エッジに関する情報を示すエッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの、Ｍ種類の特徴量マップが生成される。

輝度情報マップＦ_１においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の各画素に対応する情報となり、色情報マップＦ_２乃至Ｆ_Ｋにおいては、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の各画素に対応する情報となる。また、エッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の各画素に対応する情報となる。

なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を輝度情報マップＦ_１の情報（特徴量）としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色情報マップＦ_２乃至Ｆ_Ｋの情報としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの情報としてもよい。

ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップにおける特徴量から、所定の帯域成分の特徴量をＮ回抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成して、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。

具体的には、図８に示されるように、輝度情報マップＦ_１における輝度情報から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、その帯域それぞれの輝度情報を示す帯域輝度情報マップＲ_１１乃至Ｒ_１Ｎが生成される。また、色情報マップＦ_２乃至Ｆ_Ｋにおける色情報から、所定の帯域１乃至帯域Ｎの色情報が抽出され、その帯域それぞれの色情報を示す帯域色情報マップＲ_２１乃至Ｒ_２Ｎ，…，Ｒ_Ｋ１乃至Ｒ_ＫＮが生成される。さらに、エッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおけるエッジ情報から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、その帯域それぞれのエッジ情報を示す帯域エッジ情報マップＲ_{（Ｋ＋１）１}乃至Ｒ_{（Ｋ＋１）Ｎ}，…，Ｒ_Ｍ１乃至Ｒ_ＭＮが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。

ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。

例えば、帯域特徴量マップ生成部１１２は、各特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。

この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。

また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。

例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。

具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。

このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから所定の帯域成分の特徴量を抽出することができる。

なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を求める際の、ピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。

また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。

図７のフローチャートに戻り、ステップＳ３３において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数群Ｗ_Ｒに基づいて特徴量毎に合成する。帯域特徴量マップ合成部１１３は、合成した帯域特徴量マップ（合成特徴量マップ）を、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。

具体的には、図８に示されるように、帯域輝度情報マップＲ_１１乃至Ｒ_１Ｎは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ_１１乃至ｗ_１Ｎにより重み付き加算され、合成特徴量マップＣ_１が求められる。また、帯域色情報マップＲ_２１乃至Ｒ_２Ｎ，…，Ｒ_Ｋ１乃至Ｒ_ＫＮは、重み係数算出部７４からの帯域色情報マップ毎の重みである重み係数ｗ_２１乃至ｗ_２Ｎ，…，ｗ_Ｋ１乃至ｗ_ＫＮにより重み付き加算され、合成特徴量マップＣ_２乃至Ｃ_Ｋが求められる。さらに、帯域エッジ情報マップＲ_{（Ｋ＋１）１}乃至Ｒ_{（Ｋ＋１）Ｎ}，…，Ｒ_Ｍ１乃至Ｒ_ＭＮは、重み係数算出部７４からの帯域エッジ情報マップ毎の重みである重み係数ｗ_{（Ｋ＋１）１}乃至ｗ_{（Ｋ＋１）Ｎ}，…，ｗ_Ｍ１乃至ｗ_ＭＮにより重み付き加算され、合成特徴量マップＣ_Ｋ＋１乃至Ｃ_Ｍが求められる。このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップを生成する。なお、重み係数群Ｗ_Ｒの詳細については後述するが、重み係数群Ｗ_Ｒの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群Ｗ_Ｒの各重み係数は全て１とされ、帯域特徴量マップは、重みなしで加算される。

ステップＳ３４において、合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数群Ｗ_Ｃに基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。

具体的には、図８に示されるように、合成特徴量マップＣ_１乃至Ｃ_Ｍは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ_１乃至ｗ_Ｍを用いて線形結合される。さらに、線形結合の結果得られたマップの画素値に、予め求められた重みである被写体重みが乗算され正規化されて、被写体マップ２０１を求める。なお、重み係数群Ｗ_Ｃの詳細については後述するが、重み係数群Ｗ_Ｃの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群Ｗ_Ｃの各重み係数は全て１とされ、合成特徴量マップは、重みなしで線形結合される。

つまり、これから求めようとする被写体マップ上の注目する位置（画素）を注目位置とすると、各合成特徴量マップの注目位置と同じ位置（画素）の画素値に、合成特徴量マップごとの重み係数が乗算され、重み係数の乗算された画素値の総和が、注目位置の画素値とされる。さらに、このようにして求められた被写体マップの各位置の画素値に、被写体マップに対して予め求められた被写体重みが乗算されて正規化され、最終的な被写体マップとされる。例えば、正規化は、被写体マップの各画素の画素値が、０から２５５までの間の値となるようになされる。

以上のようにして、被写体マップ生成部７１は、特徴量マップから、帯域特徴量マップおよび合成特徴量マップを生成することにより、被写体マップを生成する。

図６のフローチャートに戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行い、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域を含む矩形領域を求める。

［被写体候補領域矩形化処理］
ここで、図９および図１０を参照して、被写体候補領域矩形化処理の詳細について説明する。図９は、被写体候補領域矩形化処理について説明するフローチャートであり、図１０は、被写体候補領域矩形化処理の具体例を示す図である。

図９のフローチャートのステップＳ５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける情報を、所定の閾値に基づいて０または１のいずれかの値に２値化し、ラベリング処理部１３２に供給する。

より具体的には、２値化処理部１３１は、図１０の上から１番目に示される、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値１２７より小さい値の画素値を０とし、１２７より大きい値の画素値を１とする。これによって、図１０の上から２番目に示されるような２値化マップ２０２が得られる。図１０で示される２値化マップ２０２においては、白で示される部分（画素）が１の画素値を有し、黒で示される部分（画素）が０の画素値を有している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。

ステップＳ５２において、ラベリング処理部１３２は、２値化処理部１３１から２値化マップ２０２（２値化された被写体マップ）において、例えば、モルフォロジー演算等によって得られる、１である画素値の画素が隣接する連結領域に対してラベリングし、矩形領域座標算出部１３３に供給する。

より具体的には、例えば、図１０の上から３番目に示されるように、２値化マップ２０２においては、連結領域２１１が、ラベル「１」でラベリングされ、連結領域２１２が、ラベル「２」でラベリングされる。

ステップＳ５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２からの２値化マップ２０２において、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、２値化マップ２０２とともに領域情報算出部１３４に供給する。

より具体的には、図１０の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」でラベリングされた連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。また、ラベル「２」でラベリングされた連結領域２１２を外側から囲む矩形枠２２２が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。

ステップＳ５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、被写体マップ生成部７１からの被写体マップに基づいて、被写体マップ上で矩形枠に囲まれる矩形領域についての領域情報を算出する。

より具体的には、領域情報算出部１３４は、２値化マップ２０２における矩形枠２２１，２２２を表す、矩形領域座標算出部１３３からの座標情報に基づいて、矩形枠のサイズおよび中心位置の座標を、矩形領域についての領域情報として算出する。領域情報算出部１３４は、算出した領域情報を、矩形領域座標算出部１３３からの座標情報に対応付けて被写体領域選択部７３に供給する。

以上のようにして、被写体候補領域矩形化部７２は、被写体マップにおいて、注目すべき被写体の候補となる各領域を囲む矩形枠、および、被写体マップ上でその矩形枠で囲まれる領域の特徴を表す領域情報を求める。

図６のフローチャートに戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行い、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体領域選択部７３からの領域情報に基づいて矩形領域の中から選択する。

［被写体領域選択処理］
ここで、図１１のフローチャートを参照して、被写体領域選択処理の詳細について説明する。

ステップＳ７１において、領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部１５２に供給する。

より具体的には、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠のサイズと、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズとを比較する。また、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠の中心位置の座標と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）の中心位置の座標とを比較する。

ステップＳ７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズまたは中心位置の座標に最も近い矩形枠のサイズまたは中心位置を有する矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５および重み係数算出部７４に供給するとともに、被写体領域の領域情報（被写体枠のサイズまたは中心位置）を、領域情報記憶部１５３に供給する。

但し、１回目の被写体領域選択処理において、領域情報記憶部１５３には、１フレーム前の被写体領域の領域情報は記憶されていないので、被写体追尾処理の開始時にユーザによって選択された被写体の所定領域（以下、初期選択領域という）を含む矩形領域が被写体領域とされる。

以上のようにして、被写体領域選択部７３は、被写体の候補となる矩形領域の中から、注目すべき被写体の被写体領域を選択する。

［重み係数の算出］
図６のフローチャートに戻り、ステップＳ１４において、重み係数算出部７４は、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの被写体領域を表す座標情報とに基づいて、図８で示された重み係数群Ｗ_Ｒ，Ｗ_Ｃを算出する。

より具体的には、図１２に示されるように、所定の帯域特徴量マップＲ_ｍｎ（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）上の、被写体領域を表す被写体枠２３１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｒ_ｍｎとした場合、図１３の上側に示されるような重み係数群Ｗ_Ｒが算出される。

図１３の重み係数群Ｗ_Ｒにおける係数のそれぞれは、図８で示された重み係数ｗ_１１乃至ｗ_ＭＮのそれぞれに対応している。なお、図１３において、Max[a,…,z]は、値ａ乃至ｚのうちの最大値を表すものとする。

例えば、図１３の重み係数群Ｗ_Ｒにおける上から１番目の行の各係数は、図８で示された、「帯域１」である特徴量毎の帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１についての重み係数ｗ_１１乃至ｗ_Ｍ１を示している。図１３に示されるように、重み係数ｗ_１１乃至ｗ_Ｍ１は、分母が帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１それぞれについての被写体領域特徴量和ｒ_１１乃至ｒ_Ｍ１のうちの最大値とされ、分子が帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１それぞれについての被写体領域特徴量和ｒ_１１乃至ｒ_Ｍ１とされる係数であり、０乃至１の値をとる。

同様に、図１３の重み係数群Ｗ_Ｒにおける上からＮ番目の行の各係数は、図８で示された、「帯域Ｎ」である特徴量毎の帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮについての重み係数ｗ_１Ｎ乃至ｗ_ＭＮを示している。図１３に示されるように、重み係数ｗ_１Ｎ乃至ｗ_ＭＮは、分母が帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮそれぞれについての被写体領域特徴量和ｒ_１Ｎ乃至ｒ_ＭＮのうちの最大値とされ、分子が帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮそれぞれについての被写体領域特徴量和ｒ_１Ｎ乃至ｒ_ＭＮとされる係数であり、０乃至１の値をとる。

すなわち、重み係数ｗ_１ｎ乃至ｗ_Ｍｎによれば、「帯域ｎ」である特徴量毎の帯域特徴量マップＲ_１ｎ乃至Ｒ_Ｍｎにおいて、被写体領域特徴量和が最大となる特徴量の帯域特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。

また、所定の合成特徴量マップＣ_ｍ（１≦ｍ≦Ｍ）上の、被写体領域を表す矩形枠２２１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｃ_ｍとした場合、図１３の下側に示されるような重み係数群Ｗ_Ｃが算出される。

図１３の重み係数群Ｗ_Ｃにおける係数のそれぞれは、図８で示された重み係数ｗ_１乃至ｗ_Ｍのそれぞれに対応している。

つまり、図１３の重み係数群Ｗ_Ｃにおける各係数は、図８で示された、特徴量毎の合成特徴量マップＣ_１乃至Ｃ_Ｍについての重み係数ｗ_１乃至ｗ_Ｍを示している。図１３に示されるように、重み係数ｗ_１乃至ｗ_Ｍは、分母が合成特徴量マップＣ_１乃至Ｃ_Ｍそれぞれについての被写体領域特徴量和ｃ_１乃至ｃ_Ｍのうちの最大値とされ、分子が合成特徴量マップＣ_１乃至Ｃ_Ｍそれぞれについての被写体領域特徴量和ｃ_１乃至ｃ_Ｍとされる係数であり、０乃至１の値をとる。

すなわち、重み係数ｗ_１乃至ｗ_ｍによれば、特徴量毎の合成特徴量マップＣ_１乃至Ｃ_Ｍにおいて、被写体領域特徴量和が最大となる特徴量の合成特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。

重み係数算出部７４は、算出した重み係数群Ｗ_Ｒを、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給するとともに、重み係数群Ｗ_Ｃを、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給する。図６のフローチャートにおいては、ステップＳ１４の後、次フレームについての被写体追尾処理が実行され、この処理が１フレーム毎に繰り返される。

以上の処理によれば、入力画像の所定のフレームについての特徴量毎の特徴量マップにおける、そのフレームで選択された被写体領域に対応する領域の特徴量の相対的な大きさに応じて、次フレームについての特徴量毎の特徴量マップに対する重み係数が決定される。したがって、フレーム間で特徴量が変動するような場合であっても、複数の特徴量のうちの被写体を最もよく表す特徴量の特徴量マップが最も大きく重み付けされた被写体マップが生成されるので、被写体の状態が変動するような環境下でも、被写体をより安定して追尾することが可能となる。

また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。

特に、従来の被写体追尾の手法において、被写体領域内のいずれかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、十分な検波精度は得られなかった。

一方、上述した被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。

また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録されていない人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。

一方、上述した被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。

以上においては、特徴量として、輝度成分、色成分、およびエッジ方向を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。

また、以上においては、Ｍ×（Ｎ＋１）種類の特徴量マップに対応して、Ｍ×（Ｎ＋１）種類の重み係数を算出するようにしたが、一部の特徴量マップに対応する重み係数のみを、適宜算出するようにすることで、画像処理装置１１における演算量を抑えることができる。例えば、合成特徴量マップＣ_１乃至Ｃ_ＭのＭ種類の特徴量マップに対応する重み係数ｗ_１乃至ｗ_Ｍのみを算出するようにしてもよい。

さらに、以上においては、領域情報算出部１３４は、矩形領域の領域情報として、矩形枠のサイズおよび中心位置の座標を算出するようにしたが、矩形領域内の画素値の積分値やピーク値（最大値）を算出するようにしてもよい。この場合、被写体領域選択処理（図１１）においては、１フレーム前の被写体領域内の画素値の積分値またはピーク値に最も近い領域内の画素値の積分値またはピーク値を有する矩形領域が被写体領域とされる。

ところで、画像処理装置１１が、静止画像を撮像するデジタルスチルカメラとして構成される場合、ユーザは、表示部３４に表示されている動画像（ファインダ画像）を確認しながら、所望のタイミングでシャッタ操作を行うことで、静止画像を撮像する。

このように構成される画像処理装置１１には、上述した被写体追尾処理の追尾結果を適用したアプリケーションの一例として、ユーザによるシャッタ操作でなく、追尾した被写体の状態の変化に応じて、静止画像を撮像する自動シャッタ処理を実行させることができる。

［制御部の機能構成例］
ここで、図１４を参照して、上述した被写体追尾処理によって追尾した被写体の状態の変化に応じて、静止画像を撮像する自動シャッタ処理を実行する制御部３５の機能構成例について説明する。

図１４の制御部３５は、座標情報取得部３３１、領域形状判定部３３２、撮像制御部３３３を備えている。

座標情報取得部３３１は、被写体追尾部５５（図１）から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得し、領域形状判定部３３２に供給する。

領域形状判定部３３２は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、入力画像のフレーム間での被写体領域の形状の変化を判定する。具体的には、領域形状判定部３３２は、被写体領域の座標情報で表される、矩形領域としての被写体領域の縦横比の、フレーム間での変化を判定し、判定の結果に応じた情報を、撮像制御部３３３に供給する。

撮像制御部３３３は、領域形状判定部３３２からの情報に基づいて、イメージャ３２、デジタル信号処理部３３、およびレンズ駆動部３６を制御することで、撮像レンズの駆動、絞りの調節、画像データに対する信号処理や図示せぬ記録メディアへの記録等を制御する。すなわち、撮像制御部３３３は、画像処理装置１１による撮像を制御する。

［自動シャッタ処理］
次に、図１５のフローチャートを参照して、画像処理装置１１による自動シャッタ処理について説明する。

ステップＳ３１１において、被写体追尾部５５は、図６のフローチャートで説明した被写体追尾処理を実行し、被写体領域の座標情報を制御部３５に供給する。

ステップＳ３１２において、座標情報取得部３３１は、被写体追尾部５５からの被写体領域の座標情報を取得し、領域形状判定部３３２に供給する。

ステップＳ３１３において、領域形状判定部３３２は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域の縦横比を監視し、フレーム間で、被写体領域の縦横比が所定の閾値より大きく変化したか否かを判定する。

ステップＳ３１３において、被写体領域の縦横比が所定の閾値より大きく変化していないと判定された場合、処理はステップＳ３１１に戻り、ステップＳ３１１乃至Ｓ３１３の処理が繰り返される。

一方、ステップＳ３１３において、被写体領域の縦横比が所定の閾値より大きく変化したと判定された場合、領域形状判定部３３２は、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報を、撮像制御部３３３に供給する。

例えば、図１６の左側に示されるように、（ｎ−１）フレーム目の入力画像において、被写体である子供が駆けていたとする。ここで、（ｎ−１）フレーム目の入力画像における被写体領域を表す被写体枠Ｈ（ｎ−１）の高さをHh(n-1)とし、幅をHw(n-1)とすると、被写体領域の縦横比P(n-1)は、Hh(n-1)/Hw(n-1)で表される。

そして、図１６の右側に示されるように、ｎフレーム目の入力画像において、被写体である子供が転倒した場合、ｎフレーム目の入力画像における被写体領域の縦横比P(n)=Hh(n)/Hw(n)は、（ｎ−１）フレーム目の入力画像における被写体領域の縦横比P(n-1)と比較して変化する。

このとき、領域形状判定部３３２によって、（ｎ−１）フレーム目の入力画像における被写体領域の縦横比P(n-1)と、ｎフレーム目の入力画像における被写体領域の縦横比P(n)との差|P(n)-P(n-1)|が、所定の閾値より大きいと判定されると、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が、撮像制御部３３３に供給される。

図１５のフローチャートに戻り、ステップＳ３１４において、撮像制御部３３３は、領域形状判定部３３２から、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が供給されると、イメージャ３２、デジタル信号処理部３３、およびレンズ駆動部３６に、撮像を指示する情報を供給する。これにより、デジタル信号処理部３３においては、図１６に示されたｎフレーム目の入力画像に対応する画像データに対して所定の信号処理が施され、その結果得られた画像データが図示せぬ記録メディアに記録される。

以上の処理によれば、被写体が含まれる被写体領域の縦横比が大きく変化したときに、静止画像が撮像される。これにより、図１６を参照して説明したような、子供が転倒した瞬間等の決定的瞬間を逃さずに撮像することができる。また、被写体追尾処理において、被写体として鳥が選択された場合には、その鳥を囲う被写体枠（被写体領域）の縦横比の変化によって、鳥が羽ばたく瞬間等を撮像することができる。このように、人以外の、表情を持たない被写体であっても、より確実にベストショット画像を得ることが可能となる。

なお、上述した説明においては、被写体領域の縦横比を、（被写体領域の高さ）/（被写体領域の幅）で表すようにしたが、（被写体領域の幅）/（被写体領域の高さ）で表わすようにしてもよい。

また、上述した説明においては、フレーム間での、被写体領域の縦横比の変化を判定するようにしたが、単に、フレーム間での、被写体領域の高さや幅の変化を判定するようにしてもよい。

以上においては、被写体の状態が変化したときに静止画像を撮像する構成について説明したが、被写体の状態の変化が停止したときに静止画像を撮像するようにしてもよい。

［制御部の他の機能構成例］
そこで、図１７を参照して、被写体の状態の変化が停止したときに静止画像を撮像する画像処理装置１１に設けられる制御部３５の機能構成例について説明する。

なお、図１７の制御部３５において、図１４の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１７の制御部３５において、図１４の制御部３５と異なるのは、領域形状判定部３３２に代えて、領域形状判定部４３１を設けた点である。

領域形状判定部４３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、被写体領域の座標情報で表される、矩形領域としての被写体領域の縦横比の、所定数フレーム間の変化を判定し、判定の結果に応じた情報を、撮像制御部３３３に供給する。

［自動シャッタ処理］
次に、図１８のフローチャートを参照して、図１７の制御部３５を備える画像処理装置１１による自動シャッタ処理について説明する。

なお、図１８のフローチャートのステップＳ４１１，Ｓ４１２，Ｓ４１４の処理は、図１５のフローチャートのステップＳ３１１，Ｓ３１２，Ｓ３１４の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ４１３において、領域形状判定部４３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域の縦横比を監視し、被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定する。

ステップＳ４１３において、被写体領域の縦横比が、所定数フレーム間で変化したと判定された場合、処理はステップＳ４１１に戻り、ステップＳ４１１乃至Ｓ４１３の処理が繰り返される。

一方、ステップＳ４１３において、被写体領域の縦横比が、所定数フレーム間変化していないと判定された場合、領域形状判定部４３１は、被写体領域の縦横比が所定数フレーム間変化していない旨の情報を、撮像制御部３３３に供給する。

例えば、（ｎ−ｑ）フレーム目からｎフレーム目までのｑフレーム間で、被写体領域の縦横比P(n-q)，・・・，P(n)の変化の幅がほとんどない場合、すなわち、被写体の状態の変化が停止したとき、被写体領域の縦横比が所定数フレーム間変化していない旨の情報が、撮像制御部３３３に供給される。これにより、撮像制御部３３３によってｎフレーム目の入力画像の撮像が指示される。

以上の処理によれば、被写体が含まれる被写体領域の縦横比が所定数フレーム間変化していないときに、静止画像が撮像される。これにより、例えば、動き回って立ったりしゃがんだりを繰り返す子供の動作が止まった数秒間を逃さずに撮像することができる。また、被写体追尾処理において、被写体として鳥が選択された場合には、空中で鳥が羽ばたきを止めた数秒間を撮像することができる。このように、人以外の、表情を持たない被写体であっても、より確実にベストショット画像を得ることが可能となる。

以上においては、被写体の状態の変化に応じて静止画像を撮像する構成について説明したが、この構成では、入力画像上の被写体の位置に関わらず撮像されるので、被写体が端の方にいる画像が得られてしまう。このような画像は、決してよい構図の画像とは言えない可能性が高い。

［制御部のさらに他の機能構成例］
そこで、図１９を参照して、被写体の位置と、被写体の状態の変化とに応じて静止画像を撮像する画像処理装置１１に設けられる制御部３５の機能構成例について説明する。

なお、図１９の制御部３５において、図１４の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１９の制御部３５において、図１４の制御部３５と異なるのは、位置検出部５３１を新たに設けた点である。

位置検出部５３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体の位置を検出し、その位置に応じて、座標情報取得部３３１からの被写体領域の座標情報を、領域形状判定部３３２に供給する。

［自動シャッタ処理］
次に、図２０のフローチャートを参照して、図１９の制御部３５を備える画像処理装置１１による自動シャッタ処理について説明する。

なお、図２０のフローチャートのステップＳ５１１，Ｓ５１２，Ｓ５１４，Ｓ５１５の処理は、図１５のフローチャートのステップＳ３１１乃至Ｓ３１４の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ５１３において、位置検出部５３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域の位置を監視し、被写体領域の位置が、入力画像における所定領域内にあるか否かを判定する。位置検出部５３１によって検出される被写体領域の位置は、例えば、矩形領域である被写体領域の４頂点の全ての座標であってもよいし、被写体領域の中心位置の座標であってもよい。また、所定領域は、入力画像において、入力画像の中心付近に設定されるものとする。

ステップＳ５１３において、被写体領域の位置が所定領域内にないと判定された場合、処理はステップＳ５１１に戻り、ステップＳ５１１乃至Ｓ５１３の処理が繰り返される。

一方、ステップＳ５１３において、被写体領域の位置が所定領域内にあると判定された場合、位置検出部５３１は、座標情報取得部３３１からの被写体領域の座標情報を、領域形状判定部３３２に供給する。

これにより、図２１に示されるように、破線で示される領域Ａ内に被写体領域がある場合に、領域形状判定部３３２によって、（ｎ−１）フレーム目の入力画像における被写体領域の縦横比P(n-1)と、ｎフレーム目の入力画像における被写体領域の縦横比P(n)との差|P(n)-P(n-1)|が、所定の閾値より大きいと判定されると、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が、撮像制御部３３３に供給され、撮像制御部３３３によってｎフレーム目の入力画像の撮像が指示される。

以上の処理によれば、入力画像上の所定領域内で、被写体が含まれる被写体領域の縦横比が大きく変化したときに、静止画像が撮像される。これにより、図２１に示されるような、子供が転倒した瞬間等の決定的瞬間を逃さずに、より良い構図で撮像することができる。また、被写体追尾処理において、被写体として鳥が選択された場合には、その鳥を囲う被写体枠（被写体領域）の縦横比の変化によって、鳥が羽ばたく瞬間等をより良い構図で撮像することができる。このように、人以外の、表情を持たない被写体であっても、より良い構図で、より確実にベストショット画像を得ることが可能となる。

なお、以上においては、入力画像上の所定領域内で、被写体の状態が変化したときに静止画像を撮像する構成について説明したが、図１９の制御部３５において、領域形状判定部３３２に代えて、図１７の領域形状判定部４３１を設けることで、入力画像上の所定領域内で、被写体の状態の変化が停止したときに静止画像を撮像するようにもできる。

また、以上においては、所定領域は、入力画像の中心付近に設定されるものとしたが、ユーザにより、入力画像上の任意の位置に設定されるようにもできる。これにより、ユーザの所望の構図の画像を撮像することができるようになる。

以上においては、人物に限られない被写体の状態の変化に応じて静止画像を撮像する構成について説明したが、被写体が人物である場合、人物の顔を検出し、被写体（人物）全体と顔との関係に応じて静止画像を撮像するようにしてもよい。

［画像処理装置の他の構成例］
図２２は、被写体としての人物の顔を検出し、被写体（人物）全体と顔との関係に応じて静止画像を撮像するようにした画像処理装置の構成例を示している。

なお、図２２の画像処理装置６１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２２の画像処理装置６１１において、図１の画像処理装置１１と異なるのは、デジタル信号処理部３３において顔検出部６２１を新たに設け、制御部３５に代えて、制御部６２２を設けた点である。

顔検出部６２１は、YC生成部５３によって生成された輝度信号および色信号からなる画像データに基づいて、画像データにより表示される入力画像において、被写体追尾部５５によって検出された被写体としての人物の被写体領域から顔を検出し、顔の領域（以下、顔領域という）を表す座標情報を制御部６２２に供給する。

制御部６２２は、被写体追尾部５５からの被写体領域および顔検出部６２１からの顔領域の座標情報に基づいて、静止画像を撮像する自動シャッタ処理を実行する。

［制御部の機能構成例］
ここで、図２３を参照して、制御部６２２の機能構成例について説明する。

なお、図２３の制御部６２２において、撮像制御部６３３は、図１４の制御部３５における撮像制御部３３３と基本的に同様の機能を有するので、その説明は省略する。

座標情報取得部６３１は、被写体追尾部５５から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得するとともに、顔検出部６２１から、入力画像の１フレーム毎に供給されてくる顔領域の座標情報を取得し、領域形状判定部６３２に供給する。

領域形状判定部６３２は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、被写体領域と顔領域との比の、フレーム間での変化を判定し、判定の結果に応じた情報を、撮像制御部６３３に供給する。

［自動シャッタ処理］
次に、図２４のフローチャートを参照して、図２３の制御部６２２を備える図２２の画像処理装置６１１による自動シャッタ処理について説明する。

なお、図２４のフローチャートのステップＳ６１１，Ｓ６１５の処理は、図１５のフローチャートのステップＳ３１１，Ｓ３１４の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ６１２において、顔検出部６２１は、入力画像において、被写体追尾部５５による被写体追尾処理によって検出された被写体としての人物の被写体領域から顔を検出し、顔領域を表す座標情報を制御部６２２に供給する。

ステップＳ６１３において、座標情報取得部６３１は、被写体追尾部５５および顔検出部６２１からの被写体領域および顔領域の座標情報を取得し、領域形状判定部６３２に供給する。

ステップＳ６１４において、領域形状判定部６３２は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域と顔領域との比を監視し、フレーム間で、被写体領域と顔領域との比が所定の閾値より大きく変化したか否かを判定する。

より具体的には、領域形状判定部６３２は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、フレーム間で、被写体領域を表す被写体枠Ｈの幅Hwと顔領域を表す顔枠Ｆの高さFhとの比Fh/Hwが、所定の閾値より大きく変化したか否かを判定する。

ステップＳ６１４において、被写体領域と顔領域との比が所定の閾値より大きく変化していないと判定された場合、処理はステップＳ６１１に戻り、ステップＳ６１１乃至Ｓ６１４の処理が繰り返される。

一方、ステップＳ６１４において、被写体領域と顔領域との比が所定の閾値より大きく変化したと判定された場合、領域形状判定部６３２は、被写体領域と顔領域との比が所定の閾値より大きく変化した旨の情報を、撮像制御部６３３に供給する。

例えば、図２５の左側に示されるように、（ｎ−１）フレーム目の入力画像において、被写体である子供が駆けていた場合、被写体領域と顔領域との比Q(n-1)は、被写体領域を表す被写体枠Ｈ（ｎ−１）の幅Hw(n-1)と、顔領域を表す顔枠Ｆ（ｎ−１）の高さFh(n-1)を用いて、Fh(n-1)/Hw(n-1)で表される。

そして、図２５の右側に示されるように、ｎフレーム目の入力画像において、被写体である子供が転倒した場合、ｎフレーム目の入力画像における被写体領域と顔領域との比Q(n)=Fh(n)/Hw(n)は、（ｎ−１）フレーム目の入力画像における被写体領域と顔領域との比Q(n-1)と比較して変化する。

このとき、領域形状判定部６３２によって、（ｎ−１）フレーム目の入力画像における被写体領域と顔領域との比Q(n-1)と、ｎフレーム目の入力画像における被写体領域と顔領域との比Q(n)との差|Q(n)-Q(n-1)|が、所定の閾値より大きいと判定されると、被写体領域と顔領域との比が所定の閾値より大きく変化した旨の情報が、撮像制御部６３３に供給される。これにより、撮像制御部６３３によってｎフレーム目の入力画像の撮像が指示される。

以上の処理によれば、被写体領域と顔領域との比が大きく変化したときに、静止画像が撮像される。これにより、図２５に示されるような、子供が転倒した瞬間等の決定的瞬間を逃さずに撮像することができ、より確実にベストショット画像を得ることが可能となる。

なお、図２３の制御部６２２において、座標情報取得部６３１の後段に、図１９の位置検出部５３１を設けることで、入力画像上の所定領域内で、被写体領域と顔領域との比が大きく変化したときに静止画像を撮像するようにもできる。

また、以上においては、人物である被写体の被写体領域と、人物の一部である顔の顔領域との比が変化したときに静止画像を撮像するようにしたが、被写体と、その被写体の一部とをそれぞれ検出することができれば、それぞれの領域の比の変化に応じて、人物以外の被写体を撮像するようにもできる。

以上においては、被写体領域と顔領域との比が変化したときに静止画像を撮像する構成について説明したが、被写体領域と顔領域との比が、予め決められた所定値になったときに静止画像を撮像するようにしてもよい。

［制御部の他の機能構成例］
そこで、図２６を参照して、被写体領域と顔領域との比が、予め決められた所定値になったときに静止画像を撮像する画像処理装置６１１に設けられる制御部６２２の構成例について説明する。

なお、図２６の制御部６２２において、図２３の制御部６２２に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２６の制御部６２２において、図２３の制御部６２２と異なるのは、領域形状判定部６３２に代えて、領域比比較部７３１を設けた点である。

領域比比較部７３１は、座標情報取得部６３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体領域と顔領域との比と、予め決められた目標値とを比較し、比較の結果に応じた情報を撮像制御部６３３に供給する。なお、目標値は、ユーザによって任意に設定されるようにできる。

［自動シャッタ処理］
次に、図２７のフローチャートを参照して、図２６の制御部６２２を備える図２２の画像処理装置６１１による自動シャッタ処理について説明する。

なお、図２７のフローチャートのステップＳ７１１乃至Ｓ７１３，Ｓ７１５の処理は、図２４のフローチャートのステップＳ６１１乃至Ｓ６１３，Ｓ６１５の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ７１４において、領域比比較部７３１は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体領域と顔領域との比と、予め決められた目標値とを比較する。

より具体的には、領域比比較部７３１は、被写体領域および顔領域の座標情報に基づいて、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さいか否かを判定する。

ステップＳ７１４において、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さくないと判定された場合、処理はステップＳ７１１に戻り、ステップＳ７１１乃至Ｓ７１４の処理が繰り返される。

一方、ステップＳ７１４において、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さいと判定された場合、すなわち、被写体領域と顔領域との比と目標値とが、同一または略同一になった場合、領域比比較部７３１は、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さくなった旨の情報を、撮像制御部６３３に供給する。

例えば、図２８の左側に示されるように、ｐフレーム目の入力画像において、被写体である子供が奥から手前へ駆けているとする。ここで、被写体領域と顔領域との比S(p)は、ｐフレーム目の入力画像における被写体領域を表す被写体枠Ｈ（ｐ）の高さHh(p)と、顔領域を表す顔枠Ｆ（ｐ）の高さFh(p)を用いて、Hh(p)/Fh(p)で表される。

そして、図２８の右側に示されるように、被写体である子供が、画像処理装置６１１の至近距離に近づき、Ｎフレーム目の入力画像において、被写体領域と顔領域との比S(N)=Hh(N)/Fh(N)と目標値との差が、所定の閾値より小さいと判定されると、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さくなった旨の情報が、撮像制御部６３３に供給される。これにより、撮像制御部６３３によってＮフレーム目の入力画像の撮像が指示される。

以上の処理によれば、被写体領域と顔領域との比と目標値との差が所定の閾値より小さくなったときに、静止画像が撮像される。これにより、図２８に示されるような、子供が近づいてきて、撮像範囲における人物の大きさ（いわゆるショット）が、上半身を撮像するバストショットとなった瞬間を撮像することができ、より確実にベストショット画像を得ることが可能となる。

また、目標値を調整することによって、全身像を撮像するフルショットや、顔を撮像するアップショット等、ユーザの好みのショットで、静止画像を撮像することができるようになる。

以上においては、画像処理装置が、静止画像を撮像するデジタルスチルカメラとして構成される場合の処理について説明してきたが、動画像を撮像するデジタルビデオカメラとして構成される場合、画像処理装置には、被写体追尾処理の追尾結果を適用したアプリケーションの一例として、追尾した被写体の状態の変化に応じて、動画像における所定のフレームを特定するフレーム特定処理を実行させることができる。

［画像処理装置のさらに他の構成例］
ここで、図２９を参照して、上述した被写体追尾処理によって追尾した被写体の状態の変化に応じて、動画像における所定のフレームを特定するフレーム特定処理を実行する画像処理装置の構成例について説明する。

なお、図２９の画像処理装置８１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２９の画像処理装置８１１において、図１の画像処理装置１１と異なるのは、制御部３５に代えて、制御部８２１を設けた点である。

制御部８２１は、被写体追尾部５５からの被写体領域の座標情報に基づいて、動画像における所定のフレームを特定するフレーム特定処理を実行する。

［制御部の機能構成例］
ここで、図３０を参照して、制御部８２１の機能構成例について説明する。

なお、図３０の制御部８２１において、座標情報取得部８３１および領域形状判定部８３２は、図１４の制御部３５における座標情報取得部３３１および領域形状判定部３３２と基本的に同様の機能を有するので、その説明は省略する。

フレーム特定部８３３は、領域形状判定部８３２からの情報に基づいて、デジタル信号処理部３３を制御して、デジタル信号処理部３３において信号処理が施され、図示せぬ記録メディアへ記録される入力画像の所定のフレームを特定させる。

［フレーム特定処理］
次に、図３１のフローチャートを参照して、図３０の制御部８２１を備える図２９の画像処理装置８１１によるフレーム特定処理について説明する。

なお、図３１のフローチャートのステップＳ８１１乃至Ｓ８１３の処理は、図１５のフローチャートのステップＳ３１１乃至Ｓ３１３の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ８１４において、フレーム特定部８３３は、領域形状判定部８３２から、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が供給されると、デジタル信号処理部３３を制御し、入力画像に対して、所定のフレームを特定するためのタグを付加させる。これにより、所定のフレームを特定するタグがメタデータとして付加された動画像が、図示せぬ記録メディアに記録される。

以上の処理によれば、被写体が含まれる被写体領域の縦横比が大きく変化したときに、動画像においてフレームを特定するタグが付加される。これにより、記録された動画像を編集する場合などにおいて、子供が転倒した瞬間等の決定的瞬間を、簡単に検索することが可能となる。

なお、以上においては、被写体領域の縦横比が大きく変化したときに、動画像においてフレームを特定する構成について説明したが、図３０の制御部８２１において、領域形状判定部８３２に代えて、図１７の領域形状判定部４３１を設けることで、入力画像上の所定領域内で、被写体の状態の変化が停止したときに動画像においてフレームを特定するようにもできる。

また、図３０の制御部８２１において、座標情報取得部８３１の後段に、図１９の位置検出部５３１を設けることで、入力画像上の所定領域内で、被写体の状態が変化したときに動画像においてフレームを特定するようにもできる。

さらに、画像処理装置８１１のデジタル信号処理部３３に、図２２の顔検出部６２１を設け、図３０の制御部８２１において、領域形状判定部８３２に代えて、図２３の領域形状判定部６３２を設けることで、被写体領域と顔領域との比が大きく変化したときに、動画像においてフレームを特定するようにもできる。

また、被写体領域と顔領域との比が大きく変化したときに、フレーム特定部８３３が、デジタル信号処理部３３に対して、図示せぬ記録メディアへの動画像の記録を開始または終了させる指示を供給するようにしてもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ３４ 表示部， ３５ 制御部， ５５ 被写体追尾部， ７１ 被写体マップ生成部， ７２ 被写体候補領域矩形化部， ７３ 被写体領域選択部， ７４ 重み係数算出部， １１１ 特徴量マップ生成部， １１２ 帯域特徴量マップ生成部， １１３ 帯域特徴量マップ合成部， １１４ 合成特徴量マップ合成部， １３１ ２値化処理部， １３２ ラベリング処理部， １３３ 矩形領域座標算出部， １３４ 領域情報算出部， １５１ 領域情報比較部， １５２ 被写体領域決定部， ２００ 入力画像， ２０１ 被写体マップ， ２２１，２２２ 矩形領域， ２３１ 被写体枠， ３３２ 領域形状判定部， ３３３ 撮像制御部， ４３１ 領域形状判定部， ５３１ 位置検出部， ６３２ 領域形状判定部， ６３３ 撮像制御部， ７３１ 領域比比較部， ８３２ 領域形状判定部， ８３３ フレーム特定部

Claims (13)

1. 連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
   前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段と
   を備え、
   前記判定手段は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、
   前記特定手段は、前記判定手段により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
   画像処理装置。
2. 被写体を撮像する撮像手段をさらに備え、
   前記特定手段は、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示する
   請求項１に記載の画像処理装置。
3. 連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
   前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
   前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
   前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
   を含み、
   前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、
   前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
   画像処理方法。
4. 連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
   前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
   を含む処理をコンピュータに実行させ、
   前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、
   前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
   プログラム。
5. 連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
   前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段と
   を備え、
   前記判定手段は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、
   前記特定手段は、前記判定手段により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する
   画像処理装置。
6. 被写体を撮像する撮像手段をさらに備え、
   前記特定手段は、前記判定手段により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示する
   請求項５に記載の画像処理装置。
7. 連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
   前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
   前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
   前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
   を含み、
   前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、
   前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する
   画像処理方法。
8. 連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
   前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段と
   を備え、
   前記判定手段は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、
   前記特定手段は、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
   画像処理装置。
9. 被写体を撮像する撮像手段をさらに備え、
   前記特定手段は、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示する
   請求項８に記載の画像処理装置。
10. 前記複数フレームの画像における前記被写体領域の位置を検出する検出手段をさらに備え、
    前記判定手段は、前記検出手段により、前記被写体領域の位置が所定の領域内にあることが検出された場合に、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、
    前記特定手段は、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
    請求項８に記載の画像処理装置。
11. 連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
    前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
    前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
    を含み、
    前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、
    前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
    画像処理方法。
12. 連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、
    前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段と
    を備える画像処理装置。
13. 連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、
    前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
    前記比較手段が、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較ステップと、
    前記特定手段が、前記比較ステップの処理による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定ステップと
    を含む画像処理方法。

Images