JP5127686B2 - 画像処理装置および画像処理方法、ならびに、撮像装置 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、ならびに、撮像装置に関し、特には、画像中に含まれる人物や動物や物体などの特定の被写体または被写体の一部を検出する画像処理装置および画像処理方法、ならびに、撮像装置に関する。

画像から特定の被写体を自動的に検出する画像処理方法は非常に有用であり、例えば動画像における人間の顔領域の特定に利用することができる。このような画像処理方法は、通信会議、マンマシンインタフェース、セキュリティシステム、人間の顔を追跡するためのモニタシステム、画像圧縮などの多くの分野で使用することができる。デジタルカメラやデジタルビデオカメラでは、撮影画像から顔を検出し、その検出結果を制御対象として焦点や露出を最適化させている。特許文献１には、画像中の顔の位置を検出して顔に焦点を合わせると共に、顔に最適な露出で撮影する装置が開示されている。

さらに、画像内に複数の特定の被写体が存在する場合でもより正確なＡＦ(Auto Focus)などを行うために、複数の被写体から主被写体となる被写体を選択する機能を備える撮像装置も知られている。

特許文献２には、画像内に存在する被写体の状態に基づいて、主被写体となる被写体を選択するようにした撮像装置が開示されている。被写体の状態とは、例えば、撮像装置から被写体までの距離、画像内における被写体の面積、画像内における被写体の位置、被写体間の距離などを表す種々のパラメータを意味する。また、特許文献３には、過去に選択した主被写体についての情報を考慮して現在の主被写体を選択することで、頻繁に主被写体が入れ替わることを抑制するようにした撮像装置が開示されている。

特開２００５−３１８５５４号公報 特開２００２−５１２５５号公報 特開２００８−５４３８号公報

ところで、従来技術による、複数の被写体から主被写体を選択する１つの方法として、ある特定の時刻における被写体の状態のみに基づいて主被写体の選択処理を行う方法がある。この方法によれば、ある特定の時刻における適切な主被写体を選択できるという効果がある反面、主被写体が複数の被写体の間で頻繁に切り替わってしまうことがあるという問題点があった。

図１を用いて、この問題点について説明する。図１の例では、時系列順の動画像のフレーム＃１〜＃４において、撮像装置により被写体１００および１０１がそれぞれ検出されている。図１において、主被写体を実線の枠を付して示し、主被写体以外の被写体を点線の枠を付して示す。

例えば、検出された被写体１００および１０１の状態のうち、画像中心から被写体画像の重心までの距離と被写体画像のサイズとに基づいて算出される優先度により、主被写体が決定されるとする。図１に示すように、被写体の状態を示す、画像中心から被写体重心までの距離と被写体のサイズとが、２つの被写体１００および１０１の間で類似している場合について考える。この場合、２つの被写体１００および１０１の状態の僅かな変化によって、主被写体が被写体１００および１０１の間で頻繁に入れ替わることになる。つまり、検出結果の優先順位が変化する。

主被写体に合わせてＡＦなどを行う場合、主被写体が複数の被写体の間で頻繁に入れ替わると、主被写体の変更に応じてＡＦレンズなども頻繁に駆動され、動作の安定性が損なわれ、ひいては、合焦などの精度が損なわれるおそれがある。また、撮像装置の表示において、主被写体を示すマーカなどを表示させるような場合、図１のフレーム＃１〜＃４に示すように当該マーカ表示が頻繁に変化することは、ユーザにとって煩わしいものとなる。

一方、複数の被写体から主被写体を選択する別の方法として、ある特定の時刻における被写体の状態および過去の選択された主被写体の情報に基づいて主被写体の選択処理を行う方法がある。この方法によれば、主被写体の頻繁な変化を抑制する効果がある反面、主被写体が切り替わるべき場面であっても主被写体が切り替わりにくいという問題点があった。

図２を用いてこの問題点について説明する。図２の例では、時系列順の動画像のフレーム＃１〜＃４において、撮像装置により被写体１０２および１０３がそれぞれ検出されている。図２において、主被写体を実線の枠を付して示し、主被写体以外の被写体を点線の枠を付して示す。

例えば、検出された被写体１０２および１０３の状態のうち、画像中心から被写体画像の重心までの距離と、被写体画像のサイズおよび前回フレームの優先順位とに基づき算出される優先度により、主被写体が決定されるとする。主被写体の頻繁な入れ替わりを抑制するためには、優先度算出における前回フレームの優先順位の要素をある程度大きくする必要がある。

すなわち、先ず図２のフレーム＃１で被写体１０２および１０３の間で優先順位が決定される。この例では、被写体１０２が被写体１０３よりも優先順位が高いと決定され、被写体１０２が主被写体として選択されている。主被写体が一旦決定されてしまうと、後続するフレーム＃２〜＃４では、フレーム＃１における優先順位の影響を受けるため、主被写体が切り替わりにくい事態が発生する。

撮像画面が図２のフレーム＃４に示すような被写体の状態であっても、主被写体が被写体１０２から被写体１０３に切り替わらないと、ユーザに対して違和感を引き起こしてしまう可能性がある。

したがって、本発明の目的は、検出された被写体に対して適切な優先順位を決定することができる画像処理装置および画像処理方法、ならびに、撮像装置を提供することにある。

本発明は、上述した課題を解決するために、画像から検出された被写体に対する優先順位を決定する画像処理装置であって、画像から１つ以上の被写体を検出する検出手段と、検出手段で検出された被写体毎に、優先順位を決定するための優先度を算出する算出手段と、算出手段で算出された優先度に基づき、検出手段で検出された前記被写体毎の優先順位を決定する決定手段とを有し、算出手段は、被写体の大きさ、及び／又は、位置と、当被写体が検出された過去の画像において当被写体について決定手段が決定した直近の優先順位に基づいて優先度を算出するとともに、予め定めた条件が満たされた場合に優先順位が補正量に与える影響を低減して優先度を算出することを特徴とする画像処理装置である。

また、本発明は、画像から検出された被写体に対する優先順位を決定する画像処理方法であって、検出手段が、画像から１つ以上の被写体を検出する検出ステップと、算出手段が、検出ステップで検出された被写体毎に、優先順位を決定するための優先度を算出する算出ステップと、決定手段が、算出ステップで算出された優先度に基づき、検出手段で検出された被写体毎の優先順位を決定する決定ステップとを有し、算出手段は算出ステップにおいて、被写体の大きさ、及び／又は、位置と、当被写体が検出された過去の画像において当被写体について決定手段が決定した直近の優先順位に基づいて優先度を算出するとともに、予め定めた条件が満たされた場合に優先順位が補正量に与える影響を低減して優先度を算出することを特徴とする画像処理方法である。

本発明によれば、検出された被写体に対して適切な優先順位を決定することができる。

以下、本発明の実施形態について図面を参照しながら詳述する。図３は、本発明の各実施形態に共通して適用可能な撮像装置３００の一例の構成を示す。撮像手段としての撮像部３０２は、撮像光学系と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによる撮像素子と、撮像素子を駆動する駆動回路とを有する。撮像光学系に設けられる撮像レンズ３０１によって被写体からの光線が集光され、撮像部３０２の撮像素子に照射される。撮像部３０２において、入射した光線が撮像素子において光電変換により画素単位で電荷に変換される。撮像部３０２は、この光が変換された電荷を画素毎に読み出して、画像信号として出力する。

なお、撮像部３０２において、撮像素子からの電荷の読み出しを所定時間間隔、例えばフレーム周期に連続的に行うことで、動画像信号を得ることができる。

撮像部３０２から出力された画像信号は、アナログ信号処理部３０３において相関二重サンプリング（ＣＤＳ）やゲイン調整などのアナログ信号処理が行われる。アナログ信号処理部３０３から出力された画像信号は、Ａ／Ｄ変換部３０４でデジタル信号に変換され、画像データとされる。

Ａ／Ｄ変換部３０４から出力された画像データは、撮影制御部３０５および画像処理部３０６にそれぞれ供給される。画像処理部３０６は、供給された画像データに対してガンマ補正、ホワイトバランス処理など所定の画像処理を施す。画像処理部３０６は、通常の画像処理に加え、後述する顔検出部３０９から供給される画像中の顔の領域に関する情報を用いた画像処理を行う機能を有する。また、画像処理部３０６は、センサ手段としてのジャイロセンサ（図示しない）から出力される角速度情報に基づき、手ぶれによる画像のぶれを補正する処理を行うことができる。

画像処理部３０６から出力された画像データは、表示部３０７に供給される。表示手段としての表示部３０７は、例えばＬＣＤや有機ＥＬディスプレイによる表示デバイスと、画像データに基づき表示デバイスを駆動する駆動回路とを有する。表示部３０７は、供給された画像データを表示デバイスに対して表示させる。時系列的に連続撮影した画像を逐次的に表示部３０７で表示することで、表示部３０７を、撮像画像をモニタする電子ビューファインダ（ＥＶＦ）として機能させることができる。

画像処理部３０６から出力された画像データは、記録部３０８にも供給され、記録媒体３１２に記録される。記録媒体３１２は、例えば撮像装置３００に対して着脱可能な不揮発性の半導体メモリである。これに限らず、記録媒体３１２が撮像装置３００に内蔵される図示されない内蔵メモリや内蔵ハードディスクであってもよいし、図示されない通信部により通信可能に接続された外部装置であってもよい。勿論、記録媒体３１２が光ディスクや磁気テープであってもよい。

画像処理部３０６から出力された画像データは、顔検出部３０９にも供給される。検出手段としての顔検出部３０９は、画像中の人物の顔を検出し、被写体となる人物の人数と顔領域とを特定する。顔検出部３０９は、公知の顔検出方法を用いて顔検出を行うことができる。

顔検出の公知技術としては、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法や、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。顔の認識率向上のために、これらを組み合わせて顔認識を行なうのが一般的である。具体的な例としては、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

顔検出部３０９から、顔領域の情報として、例えば検出した人数分の顔のそれぞれについて、位置、大きさ、傾きおよび信頼度などが出力される。ここで、信頼度とは、検出結果の確からしさを示す値であり、顔検出の処理過程の中で決定される。

信頼度の算出方法の例として、予め記憶された被写体の画像の特徴と、顔検出部３０９により検出した顔領域の画像の特徴とを比較して、検出した顔領域の画像が被写体の画像である確率を求め、この確率から算出する方法がある。予め記憶された被写体の画像としては、例えば典型的な顔による顔画像や、顔の特徴を抽出して図式化した画像を用いることが考えられる。また、信頼度の算出方法の他の例として、予め記憶された被写体の画像の特徴と、顔検出部３０９によって検出した顔領域の画像の特徴との差を算出し、その差の大きさから算出する方法がある。顔検出の信頼度は、さらに他の方法を用いて算出してもよい。出力された信頼度のレベルが高ければ、誤検出の可能性が少なく、低ければ誤検出の可能性が高い。

顔検出部３０９で検出された顔領域の情報は、優先度判定部３１０に供給される。算出手段としての優先度判定部３１０は、先ず、検出された顔領域の情報に含まれる信頼度などの情報から、目的とする顔として見做すことのできる検出結果すなわち顔領域を判定する。例えば、信頼度が閾値以上の顔領域を、目的とする顔として見做すことができるものとする。

そして、目的とする顔として見做すことができると判定された検出結果（以下、顔領域）において、顔の状態や過去の優先順位に基づいて各顔領域の優先度を算出する。顔の状態とは、顔画像の重心と画像中心との距離や、顔画像のサイズであるものとする。また、優先度算出における過去の優先順位を加味する度合いは、後述する所定の条件に応じて変化する。なお、過去の優先順位の情報は、後述する優先順位決定部３１１から優先度判定部３１０に対して供給される。優先度判定部３１０により、各顔領域に対して優先度が算出された結果が、優先順位決定部３１１に供給される。

決定手段としての優先順位決定部３１１は、優先度判定部３１０において各顔領域に対して算出された各顔領域の優先度に応じて、各顔領域の優先順位を決定する。優先度が大きい結果の顔ほど、優先順位を上位とする。優先順位決定部３１１により優先順位付けされた各顔領域は、画像処理部３０６および撮影制御部３０５に供給される。また、優先順位決定部３１１による優先順位付けされた各顔領域は、優先度算出における過去の優先順位結果として、優先度判定部３１０に供給される。優先度判定部３１０は、この優先順位決定部３１１から供給された優先順位結果を、各顔領域の優先度を算出する際の過去の優先順位として用いる。

撮影制御部３０５は、Ａ／Ｄ変換部３０４から出力された画像データに基づいて、撮像レンズ３０１の図示されない合焦制御機構や露出制御機構を制御する。撮影制御部３０５は、この合焦制御機構や露出制御機構の制御に、優先順位決定部３１１から供給される優先順位付けされた顔領域の情報を用いることができる。例えば、合焦制御機構は、顔検出部３０９で検出された顔のうち優先順位が最も上位の顔領域の顔のみを制御対象とする。また例えば、露出制御機構は、顔検出部３０９で検出された顔のうち、優先順位が上位から３番目までの顔領域の顔を制御対象として処理を行なう。

このように、本実施形態の撮像装置３００は、撮像画像中の顔領域の情報を考慮した撮影処理を行なう機能を有する。撮影制御部３０５は、撮像素子の出力タイミングや出力画素などの制御も行なう。また、ズーム駆動手段としての撮影制御部３０５は、ユーザ操作に応じて、撮像光学系に設けられる図示されないズーム機構を駆動する処理も行う。

制御部３２０は、撮像装置３００の全体の動作を制御する。制御部３２０は、例えばＣＰＵ、ＲＯＭおよびＲＡＭを有し、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて動作し、撮像装置３００の各部を制御する。ここで、上述した優先度判定部３１０および優先順位決定部３１１は、制御部３２０におけるプログラムによりその機能が実現されるようにできる。プログラムにより、さらに顔検出部３０９の機能を実現してもよい。勿論、これらの機能を、制御部３２０に制御されるハードウェアで実現してもよい。

＜第１の実施形態＞
次に、本発明の第１の実施形態について説明する。図４は、本第１の実施形態による顔領域の優先順位を決定する一例の処理を示すフローチャートである。このフローチャートの各処理は、制御部３２０がプログラムに従い、顔検出部３０９、優先度判定部３１０および優先順位決定部３１１を制御することにより実行される。これに限らず、顔検出部３０９、優先度判定部３１０および優先順位決定部３１１がそれぞれ自律的および互いに協働して図４のフローチャートの処理を実行するようにしてもよい。

先ず、ステップＳ４０１において、制御部３２０は、一連の処理回数をカウントする継続処理回数を０に初期化する。次のステップＳ４０２で、顔検出部３０９により１フレームの画像データに対して顔検出処理が行なわれ、画面内の顔領域が検出される。検出された顔領域の情報として、画面内の顔領域の個数や、各顔領域の画面内の位置、大きさおよび信頼度などが得られる。ここで、顔検出部３０９による顔検出の結果に基づき、顔として判定される結果についてのみを有効データとして、処理がステップＳ４０３に移行される。

ステップＳ４０３では、ステップＳ４０２で顔として有効と判定された結果の全て、すなわち、画面内で検出された顔領域の全てに対して、後述するステップＳ４０４からステップＳ４０９までの処理により優先度の算出を行ったか否かが判定される。若し、行ったと判定されたら、処理はステップＳ４１０に移行される。ステップＳ４１０での処理については、後述する。一方、ステップＳ４０３で、有効な顔領域の全てに対して優先度の算出が行われていないと判定されたら、処理はステップＳ４０４に移行される。

ステップＳ４０４からステップＳ４０９では、画面内で検出された顔領域毎に処理が行われる。ステップＳ４０４で、優先度判定部３１０は、画面中心と顔領域の重心位置との間の距離に基づき、当該顔領域の位置重みを決定する。図５は、画像中心と顔領域の重心位置との間の距離と、顔領域の位置重みの一例の関係を示す。なお、図５において、縦軸が位置重み、横軸が距離を示す。例えば、顔領域の重心位置が画面中心であれば、位置重みを１．０とする。顔領域の重心位置が画面中心から離れるに連れ、位置重みをより小さな値とし、所定距離以上で、位置重みを一定値、例えば０．２に固定的とする。すなわち、画面端近傍では、位置重みが一定値とされる。

なお、図５では、画面中心から所定距離までの間、位置重みが直線的に減少されているが、これはこの例に限定されず、位置重みは、距離に対して指数関数的、対数関数的など曲線的に減少させてもよい。また、図５に例示されるような、画面中心と顔領域の重心位置との間の距離と、顔領域の位置重みの関係は、制御部３２０または優先度判定部３１０が、ＲＯＭなどにテーブルとして予め保持しているものとする。これに限らず、画面中心と顔領域の重心位置との間の距離と、顔領域の位置重みとの関係を、プログラム中の計算式で求めてもよい。

次のステップＳ４０５で、顔領域の大きさに基づき、当該顔領域大きさ重みを決定する。図６は、顔領域の大きさと、顔領域の大きさ重みの一例の関係を示す。なお、図６において、縦軸が大きさ重み、横軸が顔領域の大きさを示す。例えば、顔領域の大きさが所定値以上で大きさ重みを１．０とし、顔領域の大きさが小さくなるに連れ、大きさ重みをより小さな値とする。そして、顔領域の大きさが別の所定値以下、例えば顔検出部３０９で検出可能な最小サイズ付近であれば、大きさ重みを一定値、例えば０．２に固定的とする。

なお、図６では、顔領域の大きさが閾値から検出可能な最小サイズまでの間、大きさ重みが直線的に減少されているが、これはこの例に限定されず、大きさ重みは、大きさに対して指数関数的、対数関数的など曲線的に減少させてもよい。また、図６に例示されるような、顔領域の大きさと顔領域の大きさ重みとの関係は、制御部３２０または優先度判定部３１０が、ＲＯＭなどにテーブルとして予め保持しているものとする。これに限らず、顔領域の大きさと顔領域の大きさ重みとの関係を、プログラム中の計算式で求めてもよい。

ステップＳ４０５で顔領域の大きさ重みが決定されると、処理はステップＳ４０６に移行される。ステップＳ４０６では、制御部３２０により、継続処理回数が閾値を超えたか否かが判定される。若し、継続処理回数が閾値を超えたと判定されたら、処理はステップＳ４０８に移行されて継続処理回数が０にリセットされ、その後、処理がステップＳ４０９に移行される。ステップＳ４０９の処理は、後述する。

一方、継続処理回数が閾値以下であると判定されたら、処理はステップＳ４０７に移行される。ステップＳ４０７では、優先度判定部３１０は、優先順位決定部３１１から処理対象としている顔領域について前回、すなわち直近に得られた優先順位を取得する。そして、取得したこの前回の優先順位に基づき、当該顔領域の前回の優先順位重みを決定する。

図７は、顔領域の前回の優先順位と、当該顔領域の前回の優先順位重みの一例の関係を示す。なお、図７において、縦軸が前回の優先順位重み、横軸が前回の優先順位を示す。前回の優先順位が高いほど、前回の優先順位重みを大きくし、前回の優先順位が低くなるに連れ、前回の優先順位重みをより小さな値とする。前回の優先順位が所定順位以下で、前回の優先順位重みを所定の最低値に固定的とする。図７の例では、前回の優先順位結果が最上位（１番目）であれば、前回の優先順位重みを１．４とし、前回の優先順位結果が２番目または３番目であれば、前回の優先順位重みを１．２とする。また、前回の優先順位が所定順位以下（図７の例では４番目以下）であるか、若しくは、当該顔領域が前回の処理結果では有効なデータとして検出されていなかった場合には、前回の優先順位重みを１．０とする。

ここで、前回の優先順位の結果を現在の結果に反映させるためには、現在の処理対象としているフレームと、前回の処理で対象とされたフレームとの間で、顔領域の対応関係をとる必要がある。例えば、優先度判定部３１０で、前回の検出結果による顔領域の位置および大きさと、現在の検出結果による顔領域の位置および大きさとを比較する。そして、比較の結果、両者が所定の基準以上に類似していれば、同一の被写体であると判定する。これにより、前回の優先順位の結果を現在の結果に反映させることができる。

ここで、上述したように、ステップＳ４０６で継続処理回数が閾値を超えたタイミングで、ステップＳ４０８で継続処理回数をリセットし、ステップＳ４０７での処理を行わない。したがって、予め決められた複数に１回、前回の優先順位重みの影響がキャンセルされる。

ステップＳ４０７で前回の優先順位重みが決定されると、処理はステップＳ４０９に移行される。ステップＳ４０９では、上述のステップＳ４０４、ステップＳ４０５およびステップＳ４０７でそれぞれ決定された位置重み、大きさ重みおよび前回の優先順位重みに基づき、下記の式（１）を用いて顔領域の優先度を算出する。
優先度＝位置重み×大きさ重み×前回の優先順位重み …（１）

なお、ステップＳ４０６で継続処理回数が閾値を超えたとされステップＳ４０７の処理を行わずに処理がステップＳ４０９に移行した場合には、前回の優先順位重みとして、例えば１を用いる。同様に、最初のフレームに対する処理であって、前回の処理が無い場合にも、前回の優先順位重みとして例えば１を用いる。

ステップＳ４０９により顔領域の優先度が算出されると、処理はステップＳ４０３に戻される。上述したように、ステップＳ４０３で、ステップＳ４０４からステップＳ４０９までの処理が、画面内で検出された全ての有効な顔領域に対して処理されたと判断されたら、処理はステップＳ４１０に移行される。

ステップＳ４１０で、優先順位決定部３１１は、ステップＳ４０９で算出された優先度に基づき、画面内で検出された顔領域のそれぞれに対する優先順位が決定される。ここでは、優先度が高い順に優先順位が決定される。決定された優先順位は、優先順位決定部３１１に保持されると共に、顔領域の情報（画面内の各顔領域の位置、大きさなど）に対応付けられて、撮影制御部３０５に供給される。撮影制御部３０５は、供給された顔領域毎に優先順位に基づき、上述したようにして焦点制御や露出制御を行う。

ステップＳ４１０で顔領域毎の優先順位が決定されると、処理はステップＳ４１１に移行され、継続処理回数がカウントアップされる。そして、処理はステップＳ４０２に戻される。なお、ステップＳ４０２〜ステップＳ４１１によるループ処理は、例えばフレーム周期毎や複数フレーム周期毎といった所定周期毎に繰り返される。これに限らず、顔検出部３０９が顔検出処理に要する時間に応じてループ処理を繰り返してもよい。

図８を用いて、上述の図４のフローチャートによる処理をより具体的に説明する。図８の例では、時系列順の動画像のフレーム＃１、＃２、…、＃ｎ、＃ｎ＋１において、大きさの略等しい顔領域２００〜２０３がそれぞれ検出されたものとする。

また、図８において、優先順位が最も高い顔領域に実線枠を付して示し、優先順位が２番目および３番目の顔領域に点線枠を付して示す。優先順位が４番目以下の顔領域には、枠を付さずに示す。撮影制御部３０５は、例えば、優先順位が最も高い顔領域を焦点制御および露光制御の制御対象として用いる。また、制御部３２０は、最も高い優先順位から３番目の優先順位までの顔領域に対して、表示部３０７での表示に際して枠表示を付すものとする。この枠表示によって、優先順位が所定以上の被写体が指し示される。

図８において、最初のフレーム＃１では、前回の優先順位の決定結果が無いため、位置重みと大きさ重みとにより優先順位が決定される。図８の例では、画面中心にある顔領域２０２が優先順位が最も高いとされる。また、顔領域２００は、顔領域２００〜２０３の中で最も画面中心からの距離が大きいので、優先順位が最も低くされる。

次のフレーム＃２では、フレーム＃１で検出された顔領域と対応関係がとれた顔領域に対して、前回の優先順位を加味して優先順位が決定される。図４のステップＳ４０６で用いる閾値をｎとした場合、図８のフレーム＃ｎまでは、前回の優先順位の結果が加味されて優先順位が決定される。そのため、検出された顔領域の状態に大きな変化が無い場合、優先順位の変化は抑制される。例えば、フレーム＃ｎにおける顔領域２００および２０１のように、フレーム＃１から状態が大きく変化した場合であっても、優先順位が維持される。

一方、フレーム＃ｎ＋１では、継続処理回数が閾値を超えたためステップＳ４０７の処理がスキップされ、前回の優先順位の結果が加味されない。したがって、位置重みと大きさ重みにより各顔領域の優先順位が決定される。つまり、その時点での画面内の顔領域の状態に応じて優先順位が決定され、顔領域毎の優先順位が被写体の状態変化をより反映させたものとなる。図８の例では、画面中心から最も距離が大きい顔領域２０１の優先順位が最も低くされる。

なお、上述した第１の実施形態では、各顔領域に対する優先順位付けに対して、所定の継続処理回数毎に前回の優先順位を加味しないようにしているが、これはこの例に限定されない。例えば、所定の継続処理回数毎に前回の優先順位を加味するレベルを変化させて優先順位付けを行うようにしてもよい。

上述した第１の実施形態によれば、前回の優先順位を加味する期間は、各顔領域の優先順位の頻繁な切り替わりを抑制する。また、前回の優先順位を加味しない、若しくは、加味するレベルを変化させるタイミングを設けることにより、その時点での被写体の状態を反映させた優先順位付けが行なわる。つまり、優先順位の頻繁な切り替わりを抑えつつ、時間的な被写体の状態の変化を考慮した適切な優先順位を決定できる。

また、各被写体に対する優先順位を適切に決定できるため、主被写体を決定するだけでなく、優先的に利用する被写体がそれぞれ異なる場合があるＡＦ、ＡＥ（自動露光）および表示などに対し、各目的に応じた優先順位を決定することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態は、上述した第１の実施形態の処理と比較して、優先度判定部３１０において前回の優先順位の結果を加味しないタイミングが異なる。すなわち、本第２の実施形態では、前回の優先順位を決定した際に用いた画像と、今回の処理対象の画像との変化分が所定以上あると判定されたタイミングで、前回の優先順位の結果を加味しない。本第２の実施形態では、この変化分として、前回の優先順位が最も高い顔領域が現在の画面中に存在するか否かを検出する。

図９は、本第２の実施形態による顔領域の優先順位を決定する一例の処理を示すフローチャートである。このフローチャートの各処理は、上述の図４のフローチャートと同様に、例えば制御部３２０がプログラムに従い、顔検出部３０９、優先度判定部３１０および優先順位決定部３１１を制御することにより実行される。

ステップＳ９０１からステップＳ９０４までの処理は、第１の実施形態で説明した図４のステップＳ４０２からステップＳ４０５の処理と同様である。すなわち、ステップＳ９０１で顔検出部３０９により１フレームの画像データに対して顔検出処理が行なわれて画面内の顔領域が検出され、検出された顔領域の情報を得る。次のステップＳ９０２で、画面内で検出された全ての顔領域に対して優先度が算出されたか否かが判定される。若し、算出されたと判定されたら、処理はステップＳ９０８に移行され、算出された優先度に基づき、図４のステップＳ４１０と同様にして、画面内で検出された顔領域毎に優先順位付けが行われる。

一方、ステップＳ９０２で、検出された顔領域の全てに対して優先度が算出されていないと判定されたら、処理はステップＳ９０３に移行され、図４のステップＳ４０４と同様にして顔領域の位置重みが算出される。そして、次のステップＳ９０４で、図４のステップＳ４０５と同様にして顔領域の大きさ重みが算出される。

処理はステップＳ９０５に移行され、優先度判定部３１０は、現在の画面内に存在する顔領域のうち、前回の優先順位が最も高い顔領域が存在するか否かが判定される。例えば、優先度判定部３１０は、優先順位決定部３１１から前回の優先順位が最も高くされた顔領域の情報を取得する。そして、現在の画面内に、取得した顔領域に対応する顔領域が存在するか否かが判定される。若し、存在しないと判定されたら、処理はステップＳ９０７に移行される。ステップＳ９０７の処理については、後述する。

一方、ステップＳ９０５で、現在の画面内に、前回の優先順位が最も高い顔領域が存在すると判定されたら、処理はステップＳ９０６に移行される。ステップＳ９０６では、優先度判定部３１０は、図４のステップＳ４０７と同様にして、顔領域に対して前回、すなわち直近に得られた優先順位重みを取得する。

ここで、前回の優先順位が最も高い顔領域が画面内に存在するか否かを判定のために、現在の処理対象としているフレームと、前回の処理で対象とされたフレームとの間で、顔領域の対応関係をとる必要がある。例えば、優先度判定部３１０で、前回の検出結果による顔領域の位置および大きさと、現在の検出結果による顔領域の位置および大きさとを比較する。そして、比較の結果、両者が所定の基準以上に類似していれば、同一の被写体であると判定する。これにより、前回の優先順位が最も高い顔領域が現在の画面内に存在するか否かを判定することができる。そして、現在の画面内に存在する顔領域に対して、前回の優先順位の結果を反映させることができる。

次のステップＳ９０７では、図４のステップＳ４０９と同様にして顔領域の優先度を算出する。すなわち、ステップＳ９０７では、上述のステップＳ９０３、ステップＳ９０４およびステップＳ９０６でそれぞれ決定された位置重み、大きさ重みおよび前回の優先順位重みに基づき、上述した式（１）を用いて顔領域の優先度を算出する。

顔領域の優先度が算出されると、処理はステップＳ９０２に戻され、上述したように、ステップＳ９０２で、検出された顔領域の全てに対して優先度が算出されたと判定されたら、処理はステップＳ９０８に移行される。そして、ステップＳ９０８で、優先順位決定部３１１は、図４のステップＳ４１０と同様に、ステップＳ９０７で算出された優先度に基づき、画面内で検出された顔領域のそれぞれに対する優先順位が、優先度が高い順に決定される。決定された優先順位は、優先順位決定部３１１に保持されると共に、顔領域の情報に対応付けられて、撮影制御部３０５に供給される。

ステップＳ９０８で顔領域毎の優先順位が決定されると、処理はステップＳ９０１に戻される。なお、ステップＳ９０１〜ステップＳ９０８によるループ処理は、例えばフレーム周期毎や複数フレーム周期毎といった所定周期毎、あるいは、顔検出部３０９による顔検出に要した時間に応じて繰り返される。

図１０を用いて、上述の図９のフローチャートによる処理をより具体的に説明する。図１０の例では、動画像のフレーム＃１〜＃４において、大きさの略等しい顔領域２１０〜２１３がそれぞれ検出されると共に、顔領域２１２の被写体の手前側にオブジェクト２１４が存在しているものとする。

図１０において、最初のフレーム＃１では、前回の優先順位の決定結果が無いため、位置重みと大きさ重みにより優先順位が決定される。図１０の例では、画面中心付近にある顔領域２１２が優先順位が最も高いとされる。また、顔領域２１０は、顔領域２１０〜２１３の中で最も画面中心からの距離が大きいので、優先順位が最も低くされる。

次のフレーム＃２では、フレーム＃１で検出された顔領域と対応関係が取れた顔領域に対して、前回の優先順位を加味して優先順位が決定される。そのため、画面内の顔領域の状態に大きな変化がない場合、優先順位の変化は抑制される。

フレーム＃３では、前回すなわちフレーム＃２での優先順位が最も高い顔領域２１２がオブジェクト２１４に隠れてしまい、顔検出部３０９により検出されなくなっているものとする。このとき、ステップＳ９０５の判定により、各顔領域に対する優先順位付けを、前回の優先順位の結果を加味しないで行なう。そのため、その時点での顔の検出結果の状態に応じて顔領域に対する優先順位が決定され、被写体の状態変化をより反映させた優先順位となる。

次のフレーム＃４では、現在の画面内に、前回の優先順位が最も高い顔領域が被写体が存在するため、前回の優先順位を加味して優先順位が決定される。

なお、本第２の実施形態では、各顔領域に対する優先順位付けに対して、前回の優先順位が最も高い顔領域が存在しなくなった場合に、前回の優先順位を加味しないようにしているが、これはこの例に限定されない。例えば、前回の優先順位が最も高い顔領域の存在に応じて、前回の優先順位を加味するレベルを変化させて優先順位付けを行うようにしてもよい。

また例えば、前回の優先順位が最も高い顔領域の優先順位が変化した場合に、前回の優先順位を加味しないようにしてもよい。その例として、まず現フレームにおいて、前回の優先順位を加味した優先順位付けを行う。そして、その結果として、前回の優先順位が最も高い顔領域の優先順位が２位以下になった場合に、前回の優先順位を加味しない優先順位付けで、優先順位の再計算を行なう。

上述した第２の実施形態によれば、前回の優先順位を加味する期間は、各顔領域の優先順位の頻繁な切り替わりを抑制する。また、前回の優先順位を加味しない、若しくは、加味するレベルを変化させるタイミングを設けることにより、その時点での被写体の状態を反映させた優先順位付けが行なわれる。すなわち、前回の優先順位が最も高い顔領域が存在しない、若しくは、優先順位が変化した場合に、前回の優先順位を加味しない、若しくは、加味するレベルを変化させるようにしている。これにより、優先順位が最も高い顔領域の優先順位の変化と同期して、他の顔領域の優先順位が変化する。つまり、優先順位の頻繁な切り替わりを抑えつつ、主被写体の状態の変化を考慮した適切な優先順位を決定できる。

また、各被写体に対する優先順位を適切に決定できるため、主被写体を決定するだけでなく、優先的に利用する被写体がそれぞれ異なる場合があるＡＦ、ＡＥおよび表示などに対し、各目的に応じた優先順位を決定することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態は、上述した第１および第２の実施形態の処理と比較して、優先度判定部３１０において前回の優先順位の結果を加味しないタイミングがさらに異なる。すなわち、本第３の実施形態では、前回の優先順位を決定した際に用いた画像と、今回の処理対象の画像との変化分が所定以上あると判定されたタイミングで、前回の優先順位の結果を加味しない。このとき、本第３の実施形態では、前回の優先順位を決定した際に用いた画像に対して、今回の処理対象の画像が大きく変化しているか否かを検出する。

図１１は、本第３の実施形態による顔領域の優先順位を決定する一例の処理を示すフローチャートである。このフローチャートの各処理は、上述の図４のフローチャートと同様に、例えば制御部３２０がプログラムに従い、顔検出部３０９、優先度判定部３１０および優先順位決定部３１１を制御することにより実行される。

ステップＳ１１０１からステップＳ１１０４までの処理は、第１の実施形態で説明した図４のステップＳ４０２からステップＳ４０５の処理と同様である。すなわち、ステップＳ１１０１で顔検出部３０９により１フレームの画像データに対して顔検出処理が行なわれて画面内の顔領域が検出され、検出された顔領域の情報を得る。次のステップＳ１１０２で、画面内で検出された全ての顔領域に対して優先度が算出されたか否かが判定される。若し、算出されたと判定されたら、処理はステップＳ１１０８に移行され、算出された優先度に基づき、図４のステップＳ４１０と同様にして、画面内で検出された顔領域毎に優先順位付けが行われる。

一方、ステップＳ１１０２で、検出された顔領域の全てに対して優先度が算出されていないと判定されたら、処理はステップＳ１１０３に移行され、図４のステップＳ４０４と同様にして顔領域の位置重みが算出される。そして、次のステップＳ１１０４で、図４のステップＳ４０５と同様にして顔領域の大きさ重みが算出される。

処理はステップＳ１１０５に移行され、優先度判定部３１０は、撮像画像に大きな変化があったか否かを判定する。撮像画像の変化は、例えば、顔検出部３０９により検出される画面内の顔の数に基づき検出することができる。すなわち、画面内に検出される顔の数が変化した場合、撮像画像が大きく変化したと判定する。

これに限らず、撮像画像の変化を、撮像装置３００におけるズーム情報の変化、ジャイロセンサに基づくぶれ量の値の変化といった、撮像条件の変化に基づき検出することもできる。ズーム情報は、例えば撮影制御部３０５から取得することができる。また、ぶれ量の変化は、例えばジャイロセンサの出力から直接的に検出してもよいし、画像処理部３０６から取得するようにもできる。撮像条件を示す値が所定以上変化した場合に、撮像画像が大きく変化したと判定する。

若し、ステップＳ１１０５で撮像画像に大きな変化があったと判定されたら、処理はステップＳ１１０７に移行する、ステップＳ１１０７の処理については、後述する。

一方、ステップＳ１１０５で撮像画像に大きな変化がないと判定されたら、処理はステップＳ１１０６に移行される。ステップＳ１１０６では、優先度判定部３１０は、図４のステップＳ４０７と同様にして、顔領域に対して前回、すなわち直近に得られた優先順位重みを取得する。そして、処理はステップＳ１１０７に移行され、図４のステップＳ４０９と同様にして顔領域の優先度を算出する。すなわち、ステップＳ１１０７では、上述のステップＳ１１０３、ステップＳ１１０４およびステップＳ１１０６でそれぞれ決定された位置重み、大きさ重みおよび前回の優先順位重みに基づき、上述した式（１）を用いて顔領域の優先度を算出する。

顔領域の優先度が算出されると、処理はステップＳ１１０２に戻され、上述したように、ステップＳ１１０２で、検出された顔領域の全てに対して優先度が算出されたと判定されたら、処理はステップＳ１１０８に移行される。そして、ステップＳ１１０８で、優先順位決定部３１１は、図４のステップＳ４１０と同様に、ステップＳ１１０７で算出された優先度に基づき、画面内で検出された顔領域のそれぞれに対する優先順位が、優先度が高い順に決定される。決定された優先順位は、優先順位決定部３１１に保持されると共に、顔領域の情報に対応付けられて、撮影制御部３０５に供給される。

ステップＳ１１０８で顔領域毎の優先順位が決定されると、処理はステップＳ１１０１に戻される。なお、ステップＳ１１０１〜ステップＳ１１０８によるループ処理は、例えばフレーム周期毎や複数フレーム周期毎といった所定周期毎、あるいは、顔検出部３０９による顔検出に要する時間に応じて繰り返される。

図１２を用いて、上述の図１１のフローチャートによる処理をより具体的に説明する。図１２の例では、フレーム＃１〜＃４において、４つの顔領域２２０〜２２３がそれぞれ検出されている。また、フレーム＃２およびフレーム＃３の間でズームが駆動され撮像画像が変化している。

図１２において、最初のフレーム＃１では、前回の優先順位の決定結果が無いため、位置重みと大きさ重みにより優先順位が決定される。図１２の例では、画面の中心に最も近い位置にある顔領域２２３が優先順位が最も高いとされる。また、顔領域２２０は、顔領域２２０〜２２３の中で最も画面中心からの距離が大きいので、優先順位が最も低くされる。

次のフレーム＃２では、フレーム＃１で検出された顔領域と対応関係がとれた顔領域に対して、前回の優先順位を加味して優先順位が決定される。そのため、画面内の顔領域の状態に大きな変化がない場合、優先順位の変化は抑制される。

フレーム＃２およびフレーム＃３の間でズームが駆動され、フレーム＃３では、フレーム＃２と比較してズーム情報が所定以上に変化している。そのため、ステップＳ１１０５の判定により撮像画像が大きく変化したと判定され、各顔領域に対する優先順位付けを、前回の優先順位の結果を加味しないで行なう。そのため、その時点での顔の検出結果の状態に応じて顔領域に対する優先順位が決定され、被写体の状態変化をより反映させた優先順位となる。

すなわち、図１２の例では、フレーム＃３において、顔領域２２３は、顔領域２２０〜２２３の中で最も画面中心からの距離が小さいと共に、大きさが最も大きく、優先順位が最も高くされる。一方、フレーム＃２において優先順位が２番目または３番目であった顔領域２２２は、顔領域２２０〜２２３の中で最も画面中心からの距離が大きいので、優先順位が最も低くされる。また、フレーム＃２において優先順位が最も低くされていた顔領域２２０は、画面中心からの距離が顔領域２２２よりも近いので、優先順位が２番目または３番目に決定される。

なお、本第３の実施形態では、各顔領域に対する優先順位付けに対して、撮像画像に変化があった場合に、前回の優先順位を加味しないようにしているが、これはこの例に限定されない。例えば、前回の優先順位が最も高い顔領域の存在に応じて、前回の優先順位を加味するレベルを変化させて優先順位付けを行うようにしてもよい。

上述した第３の実施形態によれば、前回の優先順位を加味する期間は、各顔領域の優先順位の頻繁な切り替わりを抑制する。また、前回の優先順位を加味しない、若しくは、加味するレベルを変化させるタイミングを設けることにより、その時点での被写体の状態を反映させた優先順位付けが行なわる。すなわち、撮像画像が大きく変化したと判定された場合に、前回の優先順位を加味しない、若しくは、加味するレベルを変化させるようにしている。これにより、撮像画像の変化が小さい場合には優先順位の切り替わりを抑制し、変化が大きい場合には、その時点での被写体の状態が重視される。つまり、優先順位の頻繁な切り替わりを抑えつつ、撮像画像に変化に応じた優先順位の切り換えを促進し、適切な優先順位を決定できる。

また、各被写体に対する優先順位を適切に決定できるため、主被写体を決定するだけでなく、優先的に利用する被写体がそれぞれ異なる場合があるＡＦ、ＡＥおよび表示などに対し、各目的に応じた優先順位を決定することができる。

なお、上述の各実施形態では、優先度判定部３１０で優先度を算出する際に、所定の条件に応じて、優先順位決定部３１１で前回決定された優先順位を加味するレベルを低くする、若しくは、加味しないように説明した。ここで、優先度の算出の際に、前回の優先順位を加味するレベルを低くする、若しくは、加味しない場合、その処理以降の所定期間は、当該所定の条件に依存せず前回の優先順位結果を加味するとよい。これにより、前回の優先順位を加味するレベルを低くする、若しくは、加味しないで優先度を算出する処理が頻発することが防がれ、優先順位の頻繁な切り替わりを抑制することができる。

上述の各実施形態では、被写体として顔を検出する場合について説明したが、これはこの例に限られない。すなわち、人物、動物、自動車など目的とする被写体を抽出するために、特定の形状の被写体を検出するものであれば、本発明を適用可能である。

また、上述した各実施形態では、本発明が撮像装置に適用されるように説明したが、これはこの例に限定されない。すなわち、本発明は、動画像を再生する再生装置に対して適用することができる。再生装置に本発明を適用する場合には、動画像を再生する再生データに対して被写体検出を行い、検出された被写体に対して優先順位を決定する。そして、決定された優先順位を、顔領域の情報と関連付けて画像処理部３０６に送ることで、画像処理部３０６は、優先順位に従い、被写体毎に画像処理などを施すことができる。

＜他の実施形態＞
本発明の目的は、以下のようにして達成することも可能である。まず、上述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶または記録媒体を、本発明が適用されるシステムあるいは装置に接続する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、本発明は、上述の方法に限らず、以下のようにして達成することも可能である。すなわち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上述した各実施形態の機能を実現させることができる。

ここで、プログラムコードが格納される記憶または記録媒体としては、例えば、ＲＯＭ、ＲＡＭおよび不揮発性のメモリカードといった半導体メモリ、ＣＤおよびＤＶＤといった光ディスク、さらには、光磁気ディスクやハードディスクなどが考えられる。また、ＬＡＮ(Local Area Network)やＷＡＮ(Wide Area Network)などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

従来技術の問題点を説明するための図である。 従来技術の問題点を説明するための図である。 本発明の各実施形態に共通して適用可能な撮像装置の一例の構成を示すブロック図である。 本発明の第１の実施形態による顔領域の優先順位を決定する一例の処理を示すフローチャートである。 画像中心と顔領域の重心位置との間の距離と、顔領域の位置重みの一例の関係を示す図である。 顔領域の大きさと、顔領域の大きさ重みの一例の関係を示す図である。 顔領域の前回の優先順位と、当該顔領域の前回の優先順位重みの一例の関係を示す図である。 本発明の第１の実施形態による処理をより具体的に説明するための図である。 本発明の第２の実施形態による顔領域の優先順位を決定する一例の処理を示すフローチャートである。 本発明の第２の実施形態による処理をより具体的に説明するための図である。 本発明の第３の実施形態による顔領域の優先順位を決定する一例の処理を示すフローチャートである。 本発明の第３の実施形態による処理をより具体的に説明するための図である。

符号の説明

３００ 撮像装置
３０５ 撮影制御部
３０６ 画像処理部
３０７ 表示部
３０９ 顔検出部
３１０ 優先度判定部
３１１ 優先順位決定部
３２０ 制御部

Claims (16)

1. 画像から検出された被写体に対する優先順位を決定する画像処理装置であって、
   画像から１つ以上の被写体を検出する検出手段と、
   前記検出手段で検出された被写体毎に、前記優先順位を決定するための優先度を算出する算出手段と、
   前記算出手段で算出された前記優先度に基づき、前記検出手段で検出された前記被写体毎の前記優先順位を決定する決定手段と
   を有し、
   前記算出手段は、
   被写体の大きさ、及び／又は、位置と、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位に基づいて前記優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位が補正量に与える影響を低減して該優先度を算出する
   ことを特徴とする画像処理装置。
2. 前記算出手段は、
   被写体の大きさが大きいほど、及び／又は、位置が前記画像の中心に近いほど、大きな重みを前記検出手段によって検出された被写体に割り当てるとともに、当該重みを、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位が高いほど大きな重みで補正し、当該補正後の重みが大きいほど高い優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位の重みによる補正量を低減して該優先度を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、
   前記優先度の算出を予め決めた複数回行った場合、次の算出においては前記優先順位の重みによる補正量を低減して前記優先度を算出する
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記算出手段は、
   前記画像と、直近に前記優先順位を決定した際に用いた画像との変化分を求め、該変化分が所定以上あると判定した場合に、前記優先順位の重みによる補正量を低減して前記優先度を算出する
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
5. 前記算出手段は、
   前記直近に決定された優先順位が最も高い被写体が前記検出手段により検出されなかった場合に、前記変化分が所定以上あると判定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、
   前記検出手段で検出された前記被写体の数と、前記直近に優先順位を決定した際に用いた画像から検出された被写体の数とが異なる場合に、前記変化分が所定以上あると判定する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記算出手段は、
   前記優先順位の重みによる補正量を低減して前記優先度を算出した後の所定期間は、前記変化分の大きさに関わらず、前記優先順位の重みによる補正量の低減を行わずに前記優先度を算出する
   ことを特徴とする請求項４乃至請求項６の何れか１項に記載の画像処理装置。
8. 前記検出手段は、
   前記被写体として人物の顔を検出する
   ことを特徴とする請求項１乃至請求項７の何れか１項に記載の画像処理装置。
9. 画像から検出された被写体に対する優先順位を決定する画像処理方法であって、
   検出手段が、画像から１つ以上の被写体を検出する検出ステップと、
   算出手段が、前記検出ステップで検出された被写体毎に、前記優先順位を決定するための優先度を算出する算出ステップと、
   決定手段が、前記算出ステップで算出された前記優先度に基づき、前記検出手段で検出された前記被写体毎の前記優先順位を決定する決定ステップと
   を有し、
   前記算出手段は前記算出ステップにおいて、
   被写体の大きさ、及び／又は、位置と、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位に基づいて前記優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位が補正量に与える影響を低減して該優先度を算出する
   ことを特徴とする画像処理方法。
10. 前記算出手段は前記算出ステップにおいて、
    被写体の大きさが大きいほど、及び／又は、位置が前記画像の中心に近いほど、大きな重みを前記検出手段によって検出された被写体に割り当てるとともに、当該重みを、当該被写体が検出された過去の画像において当該被写体について前記決定手段が決定した直近の前記優先順位が高いほど大きな重みで補正し、当該補正後の重みが大きいほど高い優先度を算出するとともに、予め定めた条件が満たされた場合に前記優先順位の重みによる補正量を低減して該優先度を算出する
    ことを特徴とする請求項９に記載の画像処理方法。
11. 撮像光学系を介して入射した光に基づく画像を撮像して連続的に出力する撮像手段と、
    前記撮像手段が出力する画像を処理する請求項３乃至請求項７の何れか１項に記載の画像処理装置と
    を有する
    ことを特徴とする撮像装置。
12. 前記撮像光学系が備えるズーム機構を駆動するズーム駆動手段をさらに有し、
    前記算出手段は、
    前記変化分を求める画像の撮像の間に前記ズーム駆動手段により前記ズーム機構が駆動された場合に、前記変化分が所定以上あると判定する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像装置の動きを検出するセンサ手段をさらに有し、
    前記算出手段は、
    前記変化分を求める画像の撮像の間に前記センサ手段により所定以上の動きが検出された場合に、前記変化分が所定以上あると判定する
    ことを特徴とする請求項１１または請求項１２に記載の撮像装置。
14. 前記撮像手段は、前記決定手段で決定された前記優先順位に基づき前記撮像光学系の合焦制御を行う合焦制御手段を有する
    ことを特徴とする請求項１１乃至請求項１３の何れか１項に記載の撮像装置。
15. 前記撮像手段は、前記決定手段で決定された前記優先順位に基づき前記撮像光学系の露光制御を行う露光制御手段を有する
    ことを特徴とする請求項１１乃至請求項１４の何れか１項に記載の撮像装置。
16. 前記撮像手段から出力された画像を表示する表示手段をさらに有し、
    前記表示手段は、
    前記決定手段で決定された前記優先順位に基づき、前記表示している画像において、前記表示している画像から検出された被写体と、当該被写体について決定された優先順位とを対応付けて表示する
    ことを特徴とする請求項１１乃至請求項１５の何れか１項に記載の撮像装置。

Images