WO2013133142A1

WO2013133142A1 - 画像処理装置、画像処理方法、プログラム

Info

Publication number: WO2013133142A1
Application number: PCT/JP2013/055609
Authority: WO
Inventors: 雅也木下
Original assignee: ソニー株式会社
Priority date: 2012-03-09
Filing date: 2013-02-22
Publication date: 2013-09-12
Also published as: TW201351980A; KR102008040B1; US20150116517A1; KR20140138135A; JP2015097301A; CN104145475B; EP2824909B1; EP2824909A4; US10455154B2; CN104145475A; EP2824909A1

Abstract

安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定部と、主要被写体判定処理を行う主要被写体判定部とを備える。主要被写体判定部は、安定撮像状態推定処理により安定撮像状態であると推定される場合に、主要被写体判定処理の結果を出力する。

Description

画像処理装置、画像処理方法、プログラム

　本開示は、画像内の主要被写体に関する処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

特開２０１１−１６６３０５号公報特開２０１１−１４６８２６号公報特開２０１１−１４６８２７号公報特開２０１１−１６０３７９号公報

　近年のデジタルスチルカメラ、デジタルビデオカメラには顔検出機能が標準的に備わっており、顔位置・領域に合わせてカメラのフォーカス、明るさ等のパラメータを最適に合わせるといった機能が搭載されている。

　一方、撮像画像内で、被写体追尾のターゲットとする「主要被写体」を、ユーザが指定することによって選択する手法が、特許文献１に記載されている。
　また例えば上記特許文献２，３，４に開示された技術を用いれば、任意の被写体の全身枠を取り囲んだ被写体追尾が実現できる。
　また、オートフォーカス・自動露光などは、撮像画像内の所望の領域を検出・追跡し、その領域がもっとも好適になるように光学系等を制御するような機能も存在する。
　これらのように、撮像画像内で、ユーザが主要被写体として指定した画像、例えば顔等の画像領域を追尾したり、顔領域にフォーカスを合わせる等の技術が知られている。

　ところで、撮像画像内での、追尾やフォーカス合わせの目的となる所望の領域、つまり「主要被写体」は、現状は各種検出器から得られる「複数の候補領域」の中から撮像者自身が何らかの方法で一つの候補を選択することで決定される。
　例えばカメラを所持した状態で、画面表示されたスルー画（シャッタ操作時点以外に表示される被写体のモニタリング画像）に写されている複数の顔の中からタッチパネルによって任意の顔を選択するというような行為で主要被写体が選定される。あるいはユーザ指定のタイミング、例えばシャッタ半押し等で所定の領域内に存在する被写体を主要被写体とするなどである。

　しかしながら実際のユースケースにおいてはこのユーザインターフェースを考えてみると、「撮像者による主要被写体の選択」という行為自体が難しいことが多々ある。
　たとえば動き回る被写体に焦点を合わせ続けたいためにこの機能を使いたいのに、ユーザがカメラを構えて被写体を狙いながら指で選択すること自体が難しい。
　例を挙げれば、被写体の変化や移動に対するユーザの反応速度により、指定が困難なこともある。例えば動き回る被写体を、スルー画の画面上でうまく指定できないような場合である。
　また、そもそもカメラを手に持って、被写体に向けて被写体を選定しているような状況で、ユーザが画面上で主要被写体を指で選択する行為自体が難しい。
　またタッチパネルを配した表示画面の解像度によって、ユーザにとって被写体が選択しにくいことがある。また、タッチパネルを配した表示画面上の被写体サイズとユーザの指の大きさや太さによっては、所望の被写体を適切に指定できないこともある。
　また、カメラシステム上のタイムラグ、例えば実際の光景と撮像画像のスルー画のタイムラグによって、ユーザが適切に被写体を指定しにくいこともある。

　さらには動画撮像・記録中にこの操作を行う場合には、主要被写体の選択行為による画揺れがそのまま記録されることになったり、フレームアウトあるいは一時遮蔽等による主要被写体の消失、即ち追跡の失敗時に再選択という行為を強いることになっている。

　これらのように、ハンドヘルドタイプのカメラにおいて、主要被写体を選択する行為自体が、それを必要とする多くのユースケースで難しく、撮像者にストレスを与えてしまう。
　そこで本開示では、撮像者等のユーザが意図的に被写体を選択する行為を行わなくとも、適切な時点で、ユーザの求める対象被写体を主要被写体と判定する技術を実現することを目的とする。

　本開示の画像処理装置は、安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定部と、主要被写体判定処理を行う主要被写体判定部とを備え、安定撮像状態推定処理により安定撮像状態であると推定される場合に、主要被写体判定処理の結果を出力する。

　本開示の画像処理方法は、安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定ステップと、主要被写体判定処理を行う主要被写体判定ステップと、安定撮像状態推定処理により安定撮像状態であると推定される場合に、主要被写体判定処理の結果を出力する出力ステップとを備えた画像処理方法である。
　本開示のプログラムは、これらの各ステップを演算処理装置に実行させるプログラムである。

　これらの本開示の技術によれば、画像データについて自動的に主要被写体を判定する主要被写体判定処理を行う。この前段階の処理として、安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う。そして安定撮像状態であると推定される場合に、例えば主要被写体判定処理を実行して判定結果を出力したり、もしくは安定撮像状態であると推定されたときに得られていた主要被写体判定結果を出力したりする。安定撮像状態とは、被写体画像が安定し、主要被写体判定処理の実行に適した状態である。

　本開示によれば、安定撮像状態となった場合に、撮像画像内における主要被写体の判定結果が出力される。これにより、撮像者等のユーザが、主要被写体を選択する行為を行う必要は無いとともに、適切なタイミングで主要被写体の情報が利用できるようになる。

　図１は、本開示の実施の形態の画像処理装置の構成例のブロック図である。
　図２は、実施の形態の画像処理装置の主要被写体判定処理のフローチャートである。
　図３は、実施の形態の撮像装置のブロック図である。
　図４は、実施の形態の詳細な主要被写体判定処理のフローチャートである。
　図５は、実施の形態の候補画像枠と判定基準点の説明図である。
　図６は、実施の形態の候補画像枠と判定基準点の距離の説明図である。
　図７は、実施の形態の位置状態による安定存在度判定の説明図である。
　図８は、実施の形態の具体的な主要被写体判定処理のフローチャートである。
　図９は、実施の形態の安定撮像状態推定処理の実行タイミングの説明図である。
　図１０は、実施の形態の安定撮像状態推定処理の実行タイミングの説明図である。
　図１１は、実施の形態の処理例１のフローチャートである。
　図１２は、実施の形態の処理例２のフローチャートである。
　図１３は、実施の形態の処理例２による動作の説明図である。
　図１４は、実施の形態の処理例３のフローチャートである。
　図１５は、実施の形態の処理例３による動作の説明図である。
　図１６は、実施の形態の処理例４のフローチャートである。
　図１７は、実施の形態の処理例４による動作の説明図である。
　図１８は、実施の形態の処理例５のフローチャートである。
　図１９は、実施の形態の処理例５のグローバルベクトルの説明図である。
　図２０は、実施の形態の処理例５による動作の説明図である。
　図２１は、実施の形態の所定時間の変更の説明図である。
　図２２は、実施の形態の所定時間変更処理のフローチャートである。
　図２３は、実施の形態の画像処理装置の他の主要被写体判定処理のフローチャートである。
　図２４は、実施の形態のコンピュータ装置での適用の場合のブロック図である。

　以下、実施の形態を次の順序で説明する。
＜１．画像処理装置の構成＞
＜２．撮像装置の構成＞
＜３．主要被写体判定処理＞
＜４．安定撮像状態推定処理＞
［４−１：安定撮像状態推定処理の実行機会］
［４−２：処理例１］
［４−３：処理例２］
［４−４：処理例３］
［４−５：処理例４］
［４−６：処理例５］
［４−７：推定処理に用いる所定時間の変更処理］
＜５．画像処理装置の他の処理例＞
＜６．プログラム及びコンピュータ装置への適用＞
＜７．変形例＞

　なお、説明で用いる「安定撮像状態」「安定存在度」「撮像視野」という用語についての意味を記しておく。
　「安定存在度」とは、自動的な主要被写体判定の指標となる値である。即ち画角空間内で或る被写体が位置的に所定の状態にある頻度を示す値とする。例えば時間的に高い確度で画像内において所定の状態にあるか否かを判定できる指標値である。後述する実施の形態に即して言えば、候補画像が、画角空間内の位置状態として、ある所定の位置状態に存在する累積時間や継続時間、或いは平均的存在度等を示す値であり、この「安定存在度」として計算される例えば累積時間や継続時間が高い画像は、撮像者が主として狙っている被写体と推定できるものとしている。
　なお上記の「画角空間」とは、撮像画像に表れる空間を意味する。主に撮像画像における画面平面としての２次元空間、又は撮像時のカメラ位置に対する被写体の相対的な距離も含む３次元空間としての意味で用いる。

　「安定撮像状態」とは、主要被写体判定処理の実行、又は主要被写体判定結果の利用に適した状態又は状況を指す。各種想定されるケースにおいて撮像装置と被写体の相対関係にもよるが、撮像画像内容の変動が少なく、ある程度撮像画像が安定している期間となっていると、主要被写体判定処理が有意な処理となる。
　例えばハンドヘルドタイプのカメラを想定すれば、ユーザが、カメラを構えて被写体を探している状況が、安定撮像状態となる。例えば静止画撮像のために被写体を探す状況などとして、撮像装置１０を安定に保持した状態である。
　実施の形態では、自動的な主要被写体判定処理の発動条件として「安定撮像状態推定処理」を行うが、これは主要被写体安定処理の実行に適した状態か否かを推定する処理である。例えば上記のハンドヘルドタイプのカメラを想定した場合、「安定撮像状態推定処理」とは、ユーザが、カメラを構えて被写体を探している状況であると推定できる動作状態にあるか否かを判定する処理となる。

　「撮像視野（ｆｉｅｌｄ　ｏｆ　ｖｉｅｗ）」とは、撮像画像に表れる範囲での被写体光景をいう。撮像視野変動とは、撮像画像データにおいて時間軸上で表れる撮像画像の各種の変動を指す。例えば撮像画像の画角変動、被写体方位変更、揺れやカメラ姿勢等による被写体範囲の変動、輝度、色、コントラスト等の画質変動、フォーカス状態変更など、画像データに表れる各種の変動を指す。撮像視野変動が所定の範囲内の場合、つまり撮像視野が安定していると判定できる場合は、上記の「安定撮像状態」と推定できる。

＜１．画像処理装置の構成＞
　図１に、実施の形態の画像処理装置の構成例を示す。
　画像処理装置１は、主要被写体判定部２と安定撮像状態推定部３を有する。
　安定撮像状態推定部３は、安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う。
　主要被写体判定部２は、主要被写体判定処理を行う。
　この主要被写体判定部２は、安定撮像状態推定部３の安定撮像状態推定処理により、安定撮像状態であると推定される場合に、主要被写体判定処理の結果を出力する。
　例えば主要被写体判定部２は、安定撮像状態であると推定される場合に、主要被写体判定処理を実行して判定結果を出力する。
　又は主要被写体判定部２は、逐次主要被写体判定処理を実行しており、安定撮像状態であると推定されたときに得られていた最新の主要被写体判定結果を出力するようにしてもよい。

　安定撮像状態推定部３は、入力される推定用情報Ｉｎｆを用いて、現在が安定撮像状態と推定されるか否かの安定撮像状態推定処理を行う。推定用情報Ｉｎｆは、例えば経過時間情報であったり、撮像装置の挙動を検出するセンサ出力であったり、撮像装置の各種動作の制御値、指示値であったり、撮像光学系の動きを検出するセンサ出力であったり、画像の解析情報であるなど、多様な例が考えられる。
　安定撮像状態推定部３は、これらの推定用情報Ｉｎｆを用いて推定処理を行い、安定撮像状態と推定された場合に、主要被写体判定部２に、安定撮像状態と推定されたことを通知する。

　主要被写体判定部２は、例えば安定撮像状態推定の通知に応じて、以下の例のように、主要被写体判定処理を行う。
　主要被写体判定部２には、例えばソフトウエアプログラムにより実現される演算処理機能として、候補検出機能と主要被写体判定処理機能が設けられる。

　主要被写体判定部２は、まず候補検出機能により候補検出を行う。
　この候補検出とは、入力された画像データＤｇの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する処理である。
　即ち、時間軸上で連続的に入力される画像データＤｇのフレーム、又は間欠的なフレーム毎に、顔画像検出、人体画像検出などを行って、主要被写体の候補となる画像を抽出する。
　なお、顔検出、人体検出等は、撮像画像データに対しての画像解析におけるパターンマッチングの手法などで可能であるが、パターンマッチングに用いる辞書さえ差し替えれば他の検出器も原理的には実現可能である。例えば犬顔検出・猫顔検出などとして主要被写体の候補画像を抽出してもよい。
　また例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることも考えられ、セイレンシ（Ｓａｌｉｅｎｃｙ）と呼ばれる注視領域抽出の手法を用いてもよい。
　そして主要被写体判定部２は、候補検出の処理として、抽出した候補画像を示す情報、例えば候補画像の画面内の二次元方向の位置情報（ｘ，ｙ座標値）や、被写体距離、画像サイズなどを候補画像情報とする。

　主要被写体判定部２は、続いて主要被写体判定処理機能による、安定存在度算出に基づいた主要被写体設定を行う。
　即ち主要被写体判定部２は、上記の候補検出によって得られた候補画像情報で示される候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、求めた安定存在度を用いて、候補画像のうちで主要被写体を判定する。そして主要被写体情報Ｄｍを出力する。

　主要被写体判定部２は、まず候補画像情報で示される候補画像について、画角空間内における位置状態を判定する。
　「位置状態」とは、画像データにおける候補画像の、画角空間内の絶対的又は相対的な位置の状況を総称した言葉とする。
　「位置状態」の具体例としては、
　・画角空間内の或る判定基準点との相対距離
　・画角空間内の或る判定基準領域に対する相対的位置関係や相対距離
　・撮像画像の二次元平面内での候補画像の位置
　・撮像時のカメラ位置に対する被写体の相対的な距離
　・被写体距離と判定基準点又は判定基準領域との相対位置関係などがある。

　次に、判定した各フレームでの候補画像の位置状態から、各候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める。
　そして安定存在度算出機能で求められた安定存在度を用いて、各候補画像の中から主要被写体を判定し、或る候補画像を主要被写体と設定する処理を行う。
　このように主要被写体として設定された画像を示す情報が、主要被写体情報Ｄｍとして出力され、他のアプリケーションソフトウエアや処理回路部等に受け渡される。

　なお、以上の主要被写体判定部２と安定撮像状態推定部３を有する画像処理装置１は、演算処理装置としてのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）で実現できる。

　この画像処理装置１による処理の流れは図２Ａのようになる。
　ステップＦ１０００において、安定撮像状態推定部３による安定撮像状態推定処理が実行される。上述のように安定撮像状態推定部３は、入力される推定用情報Ｉｎｆを用いて、現在が安定撮像状態と推定されるか否かを判定する。

　ここでステップＦ１０００の安定撮像状態推定処理で、安定撮像状態と推定されなければ、画像処理装置１の図２Ａの処理はステップＦ１００１から終了する。その後、再びステップＦ１０００から処理が開始されることとなる。
　一方、ステップＦ１０００の安定撮像状態推定処理で、安定撮像状態と推定された場合は、画像処理装置１は、ステップＦ１００１で主要被写体判定処理の開始タイミングと判断する。そしてステップＦ１００２に進み、主要被写体判定部２による主要被写体判定処理を行う。
　まずステップＦ１００２で、上述の候補画像検出を開始する。
　例えば画像データＤｇが、図示しない撮像装置部、或いは別体の撮像装置から送信された画像データを受信する受信部等により入力されてくる。或いは撮像装置で撮像され、記録媒体に保存された動画像データが、再生されて入力される場合もある。

　ステップＦ１００２では、主要被写体判定部２は、順次入力されてくる画像データＤｇの各フレームを対象として画像解析やフレーム差分検出、注視領域検出等を行い、所定の候補画像の検出を行う処理を開始する。
　主要被写体判定部２は、入力される全てのフレームを対象として候補画像抽出を行ってもよいし、１フレームおき、２フレームおきなど、間欠的なフレームを対象として候補画像抽出を行ってもよい。即ち主要被写体判定部２は、主要被写体判定を行う期間は、少なくとも時系列上での複数のフレームに対して、候補画像の抽出処理を行っていけばよい。どのような画像を候補画像とするかは設定により多様であるが、例えば顔画像、人体画像、犬画像、猫画像などが考えられる。
　そして主要被写体判定部２は、各フレームについてそれぞれ、検出した候補画像を示す候補画像情報を生成する。

　次にステップＦ１００３では、主要被写体判定部２は主要被写体判定処理を行う。
ステップＦ１００３について図２Ｂを用いて詳しく説明する。
　最初にステップＦ１において、主要被写体判定部２は位置状態判定処理を行う。これは先に生成した各候補画像の位置状態を判定する処理である。
　候補画像は１フレームに付き、１又は複数存在することがあるし、フレーム内に候補画像が存在しないこともある。フレームに複数の候補画像が存在する場合、各候補画像について位置状態を判定することとなる。

　次にステップＦ２で主要被写体判定部２は、位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、各候補画像についての、複数フレームにわたる画像データ内での安定存在度を算出する。例えば位置状態が画像中心に近い状態である頻度を示す値などとしての安定存在度を算出する。

　ステップＦ３では、主要被写体判定部２は、各候補画像についての安定存在度を用いて、候補画像のうちで主要被写体を判定する。例えば位置状態が画像中心に近い状態である頻度を示す値などとしての安定存在度が最も高い値となった、或いは最も短い時間で所定値に達した候補画像を、主要被写体と判定する。

　図２ＡのステップＦ１００３では、主要被写体判定部２が以上のように図２ＢのステップＦ１~Ｆ３を行って、例えば１つの候補画像を主要被写体として設定する。
　そして図２ＡのステップＦ１００４で、主要被写体判定部２は、主要被写体情報Ｄｍをアプリケーションプログラム等に受け渡す。
　アプリケーションプログラム等では、主要被写体と設定された画像が特定されたことに応じた処理を行う。例えば、フォーカス制御、追尾処理、画像効果処理などである。

　以上のように画像処理装置１による主要被写体判定処理は、安定撮像状態推定処理が行われ、安定撮像状態と推定される場合に、主要被写体判定処理が行われる。
　このため、主要被写体判定に適したタイミングが、安定撮像状態の推定という形で判定されることとなり、適切な時点で主要被写体判定処理を実行できる。
　例えばカメラを持った撮像者が、撮像しようとする意思でカメラを構えた状態である安定撮像状態を推定する。このような場合に主要被写体判定処理が発動されることが好適である。逆に言えば、ユーザが、特にカメラを構えていない場合に主要被写体判定処理が実行されても無駄となる。
　本例の画像処理装置１では、安定撮像状態推定処理によって、撮像者が撮像の意思を持った状態、例えば被写体を探そうとする状況を推定して、その推定に基づいた適切なタイミング、つまりユーザにとって望ましいタイミングであり、無駄な処理とはならないタイミングで、主要被写体判定処理が実行される。

　また主要被写体判定処理に関しては、抽出された候補画像の中で、複数のフレームでの安定存在度を求める。つまり時間的に高い頻度で位置的に安定して、画像内に存在するかどうかを判断する指標値を求める。例えばカメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、安定存在度が高くなる。つまり撮像者が主として狙っている被写体は、撮像画像内の位置として、撮像者が中心と考える点や領域になるべく入るようにするし、さらに撮像者がその被写体を狙うことで、自然に長時間、撮像画像に入ってくる。従って、位置的に安定し、かつ時間的に高い頻度で撮像画像内に存在する安定存在度が高い被写体は、撮像者が狙っている主要被写体と推定できる。
　このような安定存在度により主要被写体判定を行う。これにより、撮像者等のユーザが特に指定操作することなく、主要被写体が自動判定されることになり、主要被写体設定に応じた動作を行う各種電子機器においてユーザの操作性は格段に向上する。

＜２．撮像装置の構成＞
　以下では、上記のような画像処理装置を内蔵した撮像装置１０を例に挙げ、安定撮像状態推定動作及び主要被写体判定動作について詳しく説明する。
　実施の形態の撮像装置１０の構成例を図３に示す。この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。
　また画像処理装置における上述の主要被写体判定部２、安定撮像状態推定部３に相当する構成は、撮像装置１０における制御部３０においてソフトウエアにより実装される。図３では主要被写体判定部３０ａ、安定撮像状態推定部３０ｂとして示す。制御部３０は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を行う。

　図３に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、ユーザインターフェースコントローラ（以下、「ＵＩコントローラ」）３２、ユーザインターフェース３３を有する。

　光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
　イメージャ１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型などの撮像素子を有する。
　このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）処理などを実行し、さらにＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。

　光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。

　デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からの撮像画像信号に対して、各種の信号処理を施す。
　例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、候補検出部２６、動きベクトル検出部２７を備えている。

　前処理部２１は、イメージャ１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成する。解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

　候補検出部２６は、図１で説明した主要被写体判定部２の候補検出機能に相当する。この図３の例では候補検出部２６をデジタル信号処理部２０で実行される機能構成としているが、これは一例であり、制御部３０における主要被写体判定部３０ａによって候補検出部２６の処理が実行されてもよいことは言うまでもない。

　候補検出部２６は、例えばＹＣ生成部２３で得られる輝度信号や色信号などの撮像画像信号を対象として、フレーム単位での画像解析処理を行い、候補画像を抽出する。例えば、顔画像の検出を行い、その顔画像が存在する領域を候補画像枠として抽出する。抽出した候補画像については、その候補画像枠の画面上でのｘｙ座標値、被写体距離などの位置情報や、候補画像枠の幅、高さ、ピクセル数などのサイズ情報を、候補画像情報として制御部３０の主要被写体判定部３０ａに受け渡す。なお、ここでは、候補画像となる画像領域の枠を示す情報であることから、候補画像情報のことを「候補画像枠情報」ともいうこととする。
　また、候補画像枠情報としては、候補画像の顔、人体、犬、猫などの属性情報の種別や、個体の識別情報、さらには画像データ自体を含むようにしてもよい。
　候補検出部２６は、上述のようにパターンマッチングの手法で候補の対象とする特定の画像を抽出してもよいし、例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることなども考えられる。候補画像の抽出、選定の手法は以上に限定されず、多様に考えられる。また、候補検出部２６は、画像に平滑化処理、アウトライヤ（ｏｕｔｌｉｅｒ）除去等の処理を行って、候補画像枠情報を生成してもよい。

　動きベクトル検出部２７は、後述する処理例５を採用する場合に設けられる機能構成である。詳しくは処理例５の説明で述べるが、動きベクトル検出部２７は、例えばＹＣ生成部２３で得られる撮像画像信号を対象として、フレーム単位での画像解析処理を行い、画面を複数に分割した各エリアの動きベクトル（ローカルベクトル）から、画像全体のベクトル（グローバルベクトル）を求める。
　動きベクトル検出部２７は、このグローバルベクトルを、安定撮像状態推定処理のために、制御部３０の安定撮像状態推定部３０ｂに受け渡す。
　なお、この図３の例では動きベクトル検出部２７をデジタル信号処理部２０で実行される機能構成としているが、これは一例であり、制御部３０における安定撮像状態推定部３０ｂが、動きベクトル検出部２７の処理を実行する例も考えられる。

　制御部３０は、ＣＰＵ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリなどを備えたマイクロコンピュータにより構成される。
　ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、撮像装置１０を統括的に制御する。
　ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　ＲＯＭや不揮発性メモリは、ＣＰＵが各部を制御するためのＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の格納に用いられる。例えば本例において後述する主要被写体判定処理を実行するためのプログラムや、さらに主要被写体判定結果を利用するアプリケーションプログラム等が記憶される。

　よって、制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

　また本実施の形態の場合、制御部３０は、主要被写体判定部３０ａとしての機能を備え、後述する主要被写体判定処理を実行する。
　主要被写体判定部３０ａは、候補検出部２６から受け渡された候補画像情報についての位置状態判定処理、安定存在度算出処理、及び安定存在度に基づく主要被写体設定の処理を実行する。

　さらに本実施の形態の場合、制御部３０は、安定撮像状態推定部３０ｂとしての機能を備え、後述する安定撮像状態推定処理を実行する。
　安定撮像状態推定部３０ｂは、経過時間、各種センサ情報、制御指示値等に基づいて、安定撮像状態と推定されるか否かの判定を実行する。

　ユーザインターフェース３３は、ユーザに対する表示出力や音声出力を実行し、またユーザの操作入力を受け付ける。このため、表示デバイス、操作デバイス、スピーカデバイス、マイクロホンデバイスなどを有する。ここでは、表示部３４，操作部３５を示している。

　表示部３４はユーザに対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて構成されていてもよい。この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、シャッタ操作待機中に撮像されるスルー画（被写体モニタリング画像）をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）としての表示を画面上に実行させる。本実施の形態の場合、例えばスルー画や再生画上で、主要被写体判定による判定結果がユーザにわかるような表示も実行される。

　操作部３５は、ユーザの操作を受け付ける入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。筐体上の操作子として、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッタボタン等が設けられる。またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

　ユーザインターフェース３３の表示部３４等の動作は、制御部３０の指示に従ってＵＩコントローラ３２により制御される。また操作部３５による操作情報は、ＵＩコントローラ３２によって制御部３０に伝達される。

　記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等のコンテンツファイルや、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
　画像ファイルは、例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆｏｒｍａｔ）等の形式で記憶される。
　記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード、例えば可搬型のフラッシュメモリと該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などとして実現されることもある。
　また、本例において後述する安定撮像状態推定処理及び主要被写体判定処理を実行するためのプログラムは、記録部１５に記憶されてもよい。

　通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
　また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

　センサ部１４は各種センサを包括的に示している。例えば、手ぶれを検出するためのジャイロセンサ、撮像装置１０の姿勢を検出するための加速度センサ等が設けられる。さらに撮像装置１０の姿勢や移動を検出する角速度センサや、露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。加速度センサ、角速度センサによっては、撮像装置１０のパン・チルト動作の検出も可能である。
　またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
　また、センサ部１４として、絞り機構であるメカアイリスの開口量を検出するセンサが設けられる場合もある。センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

＜３．主要被写体判定処理＞
　まず、撮像装置１０において、主要被写体判定部３０ａが実行する主要被写体判定処理について説明していく。主要被写体判定処理が行われる条件を判定する安定撮像状態推定処理については、後に説明する。

　主要被写体判定処理とは、複数フレームにわたる画像データ内での安定存在度を求めることで、候補画像のうちで主要被写体を判定する処理である。
　主要被写体判定処理の概略を図４で説明し、図５~図８で具体的な処理例を説明する。

　図４は主要被写体判定処理のフローチャートである。なお図４では、各ステップＦ１０~Ｆ１５について、図２Ｂにおける位置状態判定であるステップＦ１、安定存在度算出であるステップＦ２、主要被写体設定であるステップＦ３、に相当する処理の対応関係も示しておく。

　ステップＦ１０で制御部３０は、候補検出部２６からの、或る１つのフレームについての候補画像枠情報を取り込む。
　ステップＦ１１で制御部３０は、取り込んだ候補画像枠情報で示される１又は複数の候補画像枠について、それぞれ位置状態を判定する。
　この場合、位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する。又は、位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する。

　ステップＦ１２で制御部３０は、各候補画像枠について安定存在度を計算する。この場合制御部３０は、安定存在度として、位置状態が所定条件を満たしている累積時間情報を算出する。又は、制御部３０は、安定存在度として、位置状態が継続して所定条件を満たしている継続時間情報を算出する。
　なお、安定存在度の算出には、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。

　ステップＦ１３で制御部３０は、安定存在度を用いて主要被写体を判定する。
　ここでステップＦ１３の行う判定は、主要被写体判定開始から、安定存在度が最も短い時間で所定値に達した候補画像を、主要被写体と判定する処理である。又は、主要被写体の判定を行っている間に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理である。
　また主要被写体の判定には、安定存在度の値に加えて、画角空間内での位置情報、又はサイズ情報を用いることもある。

　安定存在度の値が所定値に達した候補画像が未だ存在しない時点、あるいは所定の主要被写体判定期間を経過しておらずに、当該期間中での安定存在度の値が最も高い候補画像が未だ選定できない時点では、ステップＦ１３の処理では、まだ主要被写体と判定できない。その場合、制御部３０はステップＦ１４からＦ１０に戻って、各処理を繰り返す。つまり、候補検出部２６で次に処理を行ったフレームの候補画像枠情報を取り込んで、同様の処理を行う。

　或る時点で安定存在度の値が所定値に達した候補画像が発見された場合、あるいは所定の主要被写体判定期間を経過して、当該期間中での安定存在度の値が最も高い候補画像が選定できた時点では、制御部３０はステップＦ１４からＦ１５に進む。そして、ステップＦ１３で判定された候補画像を、主要被写体と設定する。

　なお図４の主要被写体判定処理は、主要被写体判定を行う間に、候補画像情報を取り込みながら、判定を実行する処理態様である。
　これ以外の態様として、或る期間に候補画像情報の取り込みを行う。そして当該期間が経過したら、取り込んだ候補画像情報を用いて主要被写体判定を行う処理態様も考えられる。

　続いて、以上の図４の主要被写体判定処理に相当する、具体的な処理例を説明していく。
　以下の具体例では、候補画像枠の位置状態として設定した判定基準点との距離を求める。
　また、各候補画像枠について安定存在度としては、判定基準点との距離が所定の閾値以内という条件を満たしている累積時間情報を算出する。
　また、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定するものとする。
　そこで、まず図５、図６、図７で候補画像枠、判定基準点との距離、安定存在度のそれぞれについて説明する。

　図５は候補検出部２６で行われる候補画像枠の抽出動作を模式的に示したものである。
　図５には、撮像装置１０の光学系１１，イメージャ１２の動作によりデジタル信号処理部２０に入力される撮像画像信号の各フレームＦＲ１，ＦＲ２，ＦＲ３・・・を示している。候補検出部２６は、このような順次入力される連続した各フレーム或いは間欠的な各フレームのそれぞれについて候補画像の検出を行う。
　例えば図示のように、フレームＦＲ１について、３人の人が存在していた場合、それぞれの顔画像部分を候補画像として抽出し、その候補画像枠Ｅ１，Ｅ２，Ｅ３についての候補画像枠情報を出力し主要被写体判定部３０ａに受け渡す。候補画像枠情報とは、位置情報、サイズ情報、属性情報等である。

　後続のフレームＦＲ２、ＦＲ３・・・についても同様に、候補検出部２６は候補画像の抽出を行い、それぞれの候補画像枠について、候補画像枠情報を生成して主要被写体判定部３０ａに受け渡す。

　制御部３０は、各フレームの候補画像枠情報を取り込む度に、各候補画像枠について位置状態として、判定基準点との距離を算出する。
　図６Ａに判定基準点ＳＰの例を示している。これは画像中央を判定基準点ＳＰとした例である。判定基準点ＳＰのｘｙ座標値を（Ｃｘ，Ｃｙ）とする。
　ここでは図示する各候補画像枠Ｅ１，Ｅ２，Ｅ３の重心Ｇから判定基準点ＳＰの距離Ｄｉｆｆ１、Ｄｉｆｆ２、Ｄｉｆｆ３を算出する。

　なお、判定基準点ＳＰは画像中央に設定する必要はない。
　例えば図６Ｂのように、中央よりやや左上方の位置に判定基準点ＳＰを設定してもよい。例えば静止画の構図を考えた場合、このような中央でない位置に主たる被写体を配置するとよい場合が多々考えられるからである。
　この場合も、図６Ａと同様の方法で、判定基準点ＳＰと候補画像枠の重心Ｇの距離を算出する。

　判定基準点ＳＰは、例えば図６Ａ、図６Ｂのような位置に固定的に設定していてもよいし、ユーザが表示画面上でのタッチ操作などにより任意に指定できるようにしてもよい。また表示部３４の画面上でユーザにいくつかの判定基準点の候補点を提示し、ユーザが選択できるようにしてもよい。さらには、画像内容、画像解析結果などに応じて制御部３０が構図などを考慮して最適な位置を判定し、自動設定することも考えられる。即ち判定基準点ＳＰについては、
・画像中央位置、或いは中央よりずれた位置などとして、予め決められた固定的な位置に設定される。
・ユーザが任意に指定する。
・いくつかの候補点をユーザに提示し、ユーザが選択することで設定される。
・制御部３０が画像内容に応じて最適位置を判定し、自動的に可変設定する。などが考えられる。

　候補画像枠Ｅ（ｎ）についての位置状態としての距離Ｄｉｆｆ（ｎ）は、各フレームの時点で求めていく。
　図７は、候補画像枠Ｅ１，Ｅ２，Ｅ３が、ある期間継続してフレーム（ＦＲ１，ＦＲ２・・・）内に存在し続けたとして、算出される距離Ｄｉｆｆ１、Ｄｉｆｆ２、Ｄｉｆｆ３の変動の様子を示したものである。時間軸上では、算出される各距離Ｄｉｆｆ１、Ｄｉｆｆ２、Ｄｉｆｆ３は変動している。

　後述の図８の処理例では、安定存在度とは、判定基準点ＳＰに近い状態の累積時間とする。このため、「近い／近くない」の判定に、距離閾値Ｔｒｓ−ｄｉｆｆを用いる。
　図７下部には、距離Ｄｉｆｆ１、Ｄｉｆｆ２、Ｄｉｆｆ３の各時点での、距離閾値Ｔｒｓ−ｄｉｆｆ以下か否かの判定結果を示している。距離Ｄｉｆｆ（ｎ）が距離閾値Ｔｒｓ−ｄｉｆｆ以下であれば、近い＝「１」とされることとする。この判定結果「１」を各時点で累積加算していったものが処理例１での安定存在度となる。

　判定開始から判定終了までの期間は具体的な処理例によって異なる。後述の図８の処理例では、距離閾値Ｔｒｓ−ｄｉｆｆ以下の判定結果「１」の累積加算値は、その時点までの安定存在の度合いを示す累積時間となるが、その累積時間が所定値に達した候補画像が発見された時点が判定終了のタイミングとなる。
　例えば図７の例では、候補画像枠Ｅ３は、継続して「１」と判定されるが、この累積加算値が或る所定値に達した時点で、判定が終了され、候補画像枠Ｅ３が主要被写体と判定されることとなる。

　なお、ここでは継続性は問わないとする。例えば図７における候補画像枠Ｅ２の距離Ｄｉｆｆ２は、時点によって「１」「０」の判定があるが、あくまでも累積時間であるため、「１」の状況が多く、他の候補画像枠よりも早く累積時間が所定値に達した場合は、候補画像枠Ｅ２が主要被写体と判定されることもあり得る。
　但し、もちろん継続性を安定存在度の条件に用いる例も考えられる。

　図８で制御部３０の主要被写体判定処理の具体例を説明する。
　まずステップＦ１００で変数ＴＳＦ＝０とし、またカウント値Ｃｎｔ（ｎ）＝０とする。
　変数ＴＳＦとは、主要被写体設定済みか否かを示すフラグである。ＴＳＦ＝「０」は、主要被写体が未判定の状態を示すこととなる。またカウント値Ｃｎｔ（ｎ）は、上述の距離Ｄｉｆｆの距離閾値Ｔｒｓ−ｄｉｆｆとの比較判定結果の値を加算するカウンタの値である。

　なお「ｎ」は、自然数を表し、カウント値Ｃｎｔ（ｎ）は、検出された候補画像枠Ｅ（ｎ）にそれぞれ対応するカウント値としている。例えば３つの候補画像枠Ｅ１，Ｅ２，Ｅ３が検出される場合、カウント値として、Ｃｎｔ１、Ｃｎｔ２、Ｃｎｔ３が用いられる。
　また、同様に距離Ｄｉｆｆ（ｎ）とは、３つの候補画像枠Ｅ１，Ｅ２，Ｅ３の判定基準点ＳＰからの距離Ｄｉｆｆ１、Ｄｉｆｆ２、Ｄｉｆｆ３を総称して表すものする。

　また、候補画像枠Ｅ（ｎ）は候補画像枠Ｅ１，Ｅ２，Ｅ３・・・を表すが、これは複数フレームにわたって、被写体別に区別されることが望ましい。例えば候補検出部２６が顔を抽出する例でいうと、人物Ａ、人物Ｂ、人物Ｃが被写体となっている場合、各フレームにおいて共通に、人物Ａ、Ｂ、Ｃの顔画像部分がそれぞれ候補画像枠Ｅ１、Ｅ２、Ｅ３というようにされる。もし途中の或るフレームで、人物Ｄのみが被写体に入っている状態になったとしても、人物Ｄの顔画像部分は候補画像枠Ｅ４とされる。従って候補検出部２６は、単に「顔」を検出するのみでなく、個体判別も行うこととするとよい。

　ステップＦ１０１で制御部３０は、候補検出部２６から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Ｅ（ｎ）について、位置情報やサイズ情報を取得する。

　ステップＦ１０２で制御部３０は、各候補画像枠Ｅ（ｎ）について、重心Ｇの座標を算出する。
　例えば方形の候補画像枠の左上頂点の座標値が与えられるとする。このｘｙ座標値を（Ｅ（ｎ）＿ｘ，Ｅ（ｎ）＿ｙ）とする。また図６に示したように、ｘｙ座標は画面平面の左上を原点Ｏとする。
　また候補画像枠Ｅ（ｎ）の幅ｗをＥ（ｎ）＿ｗ、高さｈをＥ（ｎ）＿ｈとする。
　そして候補画像枠Ｅ（ｎ）の重心Ｇの座標値を（Ｅ（ｎ）＿ｃｘ，Ｅ（ｎ）＿ｃｙ）とすると、重心Ｇの座標値は、
　Ｅ（ｎ）＿ｃｘ＝Ｅ（ｎ）＿ｘ＋（Ｅ（ｎ）＿ｗ）／２
　Ｅ（ｎ）＿ｃｙ＝Ｅ（ｎ）＿ｙ＋（Ｅ（ｎ）＿ｈ）／２
として求められる。

　ステップＦ１０３で制御部３０は、各候補画像枠Ｅ（ｎ）の重心Ｇから、判定基準点ＳＰまでの距離Ｄｉｆｆ（ｎ）を算出する。判定基準点ＳＰの座標値（Ｃｘ，Ｃｙ）として、
　Ｄｉｆｆ（ｎ）＝√｛（Ｅ（ｎ）＿ｃｘ−Ｃｘ）^２＋（Ｅ（ｎ）＿ｃｙ−Ｃｙ）^２｝
で求められる。

　ステップＦ１０４では、変数ＴＳＦを確認する。変数ＴＳＦ＝０であればステップＦ１０５に進む。
　なお、後述するように本実施の形態では、安定撮像状態推定処理に応じて、主要被写体判定処理が実行されるため、ステップＦ１０４は不要としてもよい。
　但し、図２３で述べるが、主要被写体判定処理自体は、常時実行するという処理例もある。この場合、このステップＦ１０４での処理を抜けることとなる。

　ステップＦ１０５、Ｆ１０６、Ｆ１０７では、判定基準点ＳＰまでの距離Ｄｉｆｆ（ｎ）が、判定基準点ＳＰに近いか近くないかを、距離閾値Ｔｒｓ−ｄｉｆｆを用いて判定する。
　各候補画像枠Ｅ（ｎ）の判定基準点ＳＰまでの距離Ｄｉｆｆ（ｎ）と距離閾値Ｔｒｓ−ｄｉｆｆを比較し、Ｄｉｆｆ（ｎ）＜Ｔｒｓ−ｄｉｆｆであればステップＦ１０６でフラグＦｌｇ（ｎ）＝１とする。またＤｉｆｆ（ｎ）＜Ｔｒｓ−ｄｉｆｆでなければステップＦ１０７でフラグＦｌｇ（ｎ）＝０とする。

　次にステップＦ１０８，Ｆ１０９では、各候補画像枠Ｅ（ｎ）の安定存在度を算出する。まず、ステップＦ１０８で、フラグＦｌｇ（ｎ）＝１であるか否かを確認し、フラグＦｌｇ（ｎ）＝１であれば、ステップＦ１０９でカウント値Ｃｎｔ（ｎ）をインクリメントする。フラグＦｌｇ（ｎ）＝０の場合は、カウント値Ｃｎｔ（ｎ）は変更しない。
　このカウント値Ｃｎｔ（ｎ）は、累積加算値としての安定存在度の値となる。つまり、候補画像枠Ｅ（ｎ）が判定基準点ＳＰに「近い」状態の頻度を表す値となる。

　次にステップＦ１１１，Ｆ１１２，Ｆ１１３では、各候補画像枠Ｅ（ｎ）の安定存在度を用いて、主要被写体の判定を行う。
　ステップＦ１１１では、各候補画像枠Ｅ（ｎ）のカウント値Ｃｎｔ（ｎ）が、カウント閾値ＣＴｔｈｒに達しているか否かを確認する。

　Ｃｎｔ（ｎ）≧ＣＴｔｈｒでなければ、つまり各候補画像枠Ｅ（ｎ）のカウント値Ｃｎｔ（ｎ）のいずれもが、カウント閾値ＣＴｔｈｒに達していなければ、ステップＦ１１３で変数ＴＳＦ＝０のままとし、ステップＦ１１４で判定終了とはせず、ステップＦ１０１に戻る。この場合、次のフレームについて入力される候補画像枠情報に基づいて、ステップＦ１０１以降の処理を上記同様に実行していく。

　なお、ステップＦ１１４は、変数ＴＳＦ＝０であれば、まだ主要被写体の判定は完了していないとして判定処理継続とし、変数ＴＳＦ＝１であれば、主要被写体判定は完了したとする。
　先に述べたステップＦ１０４で変数ＴＳＦ＝１が検出された場合、そのまま判定終了となる。
　詳しい説明は省略するが、本例の自動的な主要被写体判定とは並行して、例えばユーザが主要被写体を表示部３４の画面上のタッチ操作、或いは被写体を画面上に所定位置に合わせてシャッタボタンを半押しするなどの操作として、主要被写体選択ができるようにしてもよい。図８の処理の実行中に、ユーザがこのような指定操作を行った場合、ユーザの操作を優先することが好ましい。そこで、そのようなマニュアル操作として主要被写体設定が行われた場合、変数ＴＳＦ＝１とする。この場合、図８の処理はステップＦ１０４，Ｆ１１４の判断により、処理を終了することとすればよい。

　安定存在度による主要被写体判定は、或る時間長をもって判定されるため、ある程度のフレーム数での候補画像枠情報についての処理を経なければ、上記のようにステップＦ１１４で判定終了とはならずにステップＦ１０１に戻って処理が繰り返される。

　ここで、例えば図７で示したように或る候補画像枠Ｅ３が、非連続的でもよいが、複数のフレームのうちで高い頻度で、撮像画像上で判定基準点ＳＰに近い位置に存在する状況があったとする。すると、候補画像枠Ｅ３のカウント値Ｃｎｔ３はステップＦ１０９でのインクリメントの機会が多く発生し、カウント値Ｃｎｔ１、Ｃｎｔ２よりも早く進むため、カウント閾値ＣＴｔｈｒに最初に到達することとなる。
　このような場合、制御部３０は処理をステップＦ１１１からＦ１１２に進める。
　ステップＦ１１２で制御部３０は、カウント値Ｃｎｔ（ｎ）がカウント閾値ＣＴｔｈｒに達した候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。

　この場合ステップＦ１１４で判定終了とされる。即ち例えば候補画像枠Ｅ３が主要被写体と設定されるなどして、図８の主要被写体判定処理が完了することとなる。
　なお、この処理例では変数ＴＳＦ＝１となるまで続けられることになるが、実際には、所定の制限時間を設けておくことが適切である。即ち図８の処理開始時点から所定時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにする。

　以上の図８の処理例によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように、撮像装置１０を構えることによって、当該被写体が主要被写体として自動的に判定されることとなる。
　特にこの処理例は、判定基準点ＳＰに「近い」状態の累積時間で安定存在度を判定している。動いている状況の被写体、或いは動物等の動きの早い被写体の場合、撮像者はある程度の時間、例えば数秒程度でも、主としたい被写体を継続して画像中央に捕らえることは難しい場合がある。また撮像者の撮像技量によっては、手ぶれが激しいなどにより、なかなかとりたい被写体を画像中央に維持できないといったこともある。このような場合であっても、累積時間を用いることで、比較的迅速に主要被写体判定が可能となる。
　従って動きの速い被写体を対象とする場合や、比較的不慣れなユーザにとっても好適となる。また、主要被写体判定処理は、一定時間を必ず行うものではなく、主要被写体が判定された時点で処理は終了されるため、被写体や撮像者の技量によっては、迅速に主要被写体判定が為されるといった利点もある。

　なお、主要被写体判定処理としての具体的処理例は他に多様に考えられる。例えば各候補画像枠について安定存在度としては、判定基準点との距離が所定の閾値以内という条件を継続して満たしている継続時間情報を算出するようにしてもよい。継続時間によって安定的な存在かどうかを評価すると、動きの少ない被写体を対象とする場合、容易に画像中央等に継続して対象被写体をとらえることができるため、ユーザの望む主要被写体を正確に設定できる可能性が高い。また撮像者の技量によっては、主としてとりたい被写体を継続して判定基準点ＳＰに近い位置に維持できるため、正確に撮像者の希望の被写体を主要被写体と判定できる確率が高い。つまり、撮像技能の上級者や、被写体によっては、よりユーザの望む被写体を主要被写体と判定できる可能性を高くできる。

　また安定存在度の算出に、重み付けを与えてもよい。例えば主要被写体判定処理の実行期間の後の時点ほど、判定基準点ＳＰに近いことの価値を重くするなどである。
　一般に撮像者が被写体を狙ってカメラを構える場合、最初は主役としたい被写体を画像中央などの所望の位置にとらえられず、撮像者が徐々にカメラの向きを調整していく。このことを考慮すると、最初は、撮像者が「主要被写体」と念頭においている被写体は、時間が進むにつれ徐々に画像中央にとらえられるようになる。
　従って、主要被写体判定処理の実行中に、時間が進むほど、判定基準点ＳＰに近いということの価値を重くすることは、撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。

　また安定存在度の算出について、距離Ｄｉｆｆ（ｎ）が距離閾値Ｔｒｓ−ｄｉｆｆ以下であるかの条件以外にも条件を加えることも考えられる。
　例えば被写体距離が所定範囲内であること、サイズが所定範囲内であること、特定の画像種別であること、などを条件に加えても良い。

　また、一定の主要被写体判定期間を設定し、その期間内に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理例も考えられる。

　また、上述の処理例では、候補画像枠の位置状態としては、設定した判定基準点との位置関係としたが、判定基準領域との位置関係としてもよい。例えば画像中央などの正方形や円形等の領域を設定し、それを判定基準領域とする。各候補画像枠Ｅ（ｎ）の判定基準領域との位置関係とは、例えば、
　・重心が判定基準領域に入っているか否か
　・全体が判定基準領域に入っているか否か
　・少なくとも一部が判定基準領域に入っているか否か
　・判定基準領域の外縁との距離が所定以内か否か
などとする。
このような位置関係の条件で、安定存在度を求めることもできる。

　また、各候補画像枠について安定存在度としては、位置状態、例えば判定基準点との距離の平均値を算出するようにしてもよい。平均距離は、時間的にみて高い頻度で判定基準点に近い位置状態にあることを示す指標となる。例えば「平均距離の値が小さい」ということは、上述した処理例でいう「累積時間が長い」ことと同様の意味となる。そして、平均距離が最も小さく、かつこれが所定の閾値以内という条件を満たしている候補画像枠を主要被写体と判定することもできる。

　本実施の形態では、例えば以上の例のように主要被写体判定が行われるが、撮像装置１０において主要被写体判定を行う目的等について説明しておく。

　まず主要被写体判定結果の利用例を述べる。
　主要被写体判定は、例えばユーザがシャッタタイミングを狙っている際に実行されるが、制御部３０は主要被写体を自動的に判定した後、次のような処理を行うことができる。

・追尾処理
　撮像される各フレームにおいて設定された主要被写体を追尾する。例えばスルー画表示上でユーザに主要被写体を明示して、ユーザの画角調整、例えばカメラを手に持っている状態における被写体決めの用に供する。
　なお、主要被写体の提示としては、表示部３４のスルー画表示上で主要被写体の枠を強調表示することが考えられる。また、強調表示等は、判定直後の一定期間でもよいし、スルー画内に主要被写体が存在する限り実行させてもよい。

・フォーカス合わせ
　主要被写体にオートフォーカス制御する。また、追尾処理と合わせて、主要被写体が動き回っていても、フォーカスが、その主要被写体に追尾して調整されるようにする。
・露光調整
　主要被写体の輝度に基づいて自動露光調整を行う。
・指向性調整
　動画撮像とともにマイクロホンにより音声収音を行う場合、画角空間内での主要被写体の方向に応じて、指向性調整を行う。

　また、撮像画像信号に対する各種信号処理にも用いることができる。
・画像効果処理
　撮像される各フレームにおいて主要被写体の領域にのみ、画質調整、ノイズリダクション、肌色調整などの画像処理を加える。
　或いは、主要被写体の領域以外に、画像効果、例えばモザイク処理、ぼかし処理、塗りつぶし処理等を加えることも考えられる。

・画像編集処理
　撮像画像、もしくは記録された画像について、フレーミング、クロッピング等の編集処理を加える。
　例えば主要被写体を含むフレーム内の一部領域の切り出しや、拡大等の処理を行うことができる。
　また、撮像画像データのうちで、主要被写体が画像の中心に配置されるように画像周辺部のカット等を行い、構図調整を行うことができる。

　これらは一例に過ぎないが、これら以外にも、アプリケーションプログラムや撮像装置内の自動調整機能が、設定した主要被写体を利用する処理は各種考えられる。

　主要被写体判定処理を行うことによる効果としては次のとおりである。　撮像者が撮像装置１０をもって被写体を狙っているときには、そもそも主要被写体を指定するような操作は難しい。主要被写体判定を自動的に実行することによれば、このようなことが解消され、ユーザストレスの低減効果が得られる。
　またユーザが通常使用するデジタルスチルカメラ、携帯電話機内蔵カメラなど、ユーザが携帯して使用する撮像装置１０としては、表示部３４も小型であり、ユーザが主要被写体を画面上で指定する操作を行ったとしても、正確に行いにくい。本実施の形態のように自動判定することで、誤指定ということもなくなる。

　また撮像装置１０を自然に構えていれば主役を撮れる、という感覚で使用できるため、撮像機会の増加、対応ユースケースの増加ということができ、使いやすいカメラをユーザに提供できることにもなる。

　以上のことから、ハンドヘルドカメラとして、主要被写体判定を自動的に行う本実施の形態の撮像装置１０は特に好適となる。

＜４．安定撮像状態推定処理＞
　ここで、以上のような主要被写体判定処理をどのような時点で実行するかを考える。
　例えば撮像装置１０が電源オンとされて、表示部３４にスルー画を表示している期間は、常時主要被写体判定処理を行っていてもよいが、むやみに主要被写体判定処理を行っても、必ずしも有意な処理とはならない。
　例えばユーザが撮像装置１０を電源オンとしたまま単に所持しているなど、撮像を行う意思がないときは、主要被写体判定処理を行うことや、主要被写体判定処理の結果を利用することは、あまり意味がない。
　具体的に言えば、ユーザが撮像装置１０を構えて、これから撮像を行おうとする際に、主要被写体判定処理を行うことが適切である。

　そこで本実施の形態の撮像装置では、安定撮像状態推定部３０ｂが、安定撮像状態、例えばユーザがカメラを構えた状態であることを推定し、安定撮像状態と推定された場合に、主要被写体判定部３０ａが、上述の主要被写体判定処理を実行し、その判定結果である主要被写体情報を出力するようにする。

　このように安定撮像状態推定処理を行うことで、意味のある時点で主要被写体判定処理が実行されるようにすることができる。
　即ち安定撮像状態推定処理を介して主要被写体判定処理が実行されることにより、例えば撮像装置１０を持った撮像者が、撮像しようとする意思でカメラを構えた状態、例えば被写体を探そうとする状況など、主要被写体判定結果が無駄とはならないタイミングで、主要被写体判定処理が実行される。特に上述の主要被写体判定処理が、比較的処理量が多いところ、後述の安定撮像状態推定処理は、比較的処理負担が小さいため、制御部３０の処理負担の低減や消費電力の削減という効果も得られる。
　つまりユーザの利便性向上、制御部３０の処理負担削減、自動的な主要被写体判定処理の適時性向上を実現できる。

［４−１：安定撮像状態推定処理の実行機会］
　以上のように、安定撮像状態推定処理は、主要被写体判定処理の実行機会を判断するための処理となる。まずここでは、安定撮像状態推定処理自体の実行機会について図９、図１０で説明する。

　図９は、撮像装置１０のモードとしてのカメラモードＭＤ１と再生モードＭＤ２を示している。
　カメラモードＭＤ１とは、主に、撮像を行って静止画や動画を記録するためのモードである。再生モードＭＤ２とは、主に、既に撮像されて例えば記録部１５に記録されている静止画データや動画データを表示部３４で再生表示させるモードである。
　撮像装置１０が電源オンとされると、カメラモードＭＤ１或いは再生モードＭＤ２のいずれかのモードで起動される。またユーザは、そのときの撮像装置１０の使用目的に応じて、任意にカメラモードＭＤ１と再生モードＭＤ２を切り換えることができる。

　この図９の例では、カメラモードＭＤ１が開始されることに応じて、安定撮像状態推定処理ＳＴ１（図２ＡのステップＦ１０００）が開始されるものとしている。
　安定撮像状態推定処理の具体例は後述するが、図２Ａからわかるように、安定撮像状態推定処理の結果として、安定撮像状態であるとの推定が行われたら、主要被写体判定処理が実行され（Ｆ１００１~Ｆ１００４）、判定結果の主要被写体情報が利用される。

　一旦、主要被写体判定が行われた後には、判定結果である主要被写体情報を利用する処理が行われる。図９では主要被写体情報利用処理ＳＴ２として示している。
　例えば上述した主要被写体情報の利用例で述べたような処理が実行される。
　その後、主要被写体情報の利用が不能又は不要となる場合がある。
　例えば、上述した主要被写体情報の利用例で説明した追尾処理、フォーカス合わせ、露光調整、指向性調整、画像効果処理、画像編集処理等は、撮像画像内に主要被写体が存在している場合に可能となるが、主要被写体がフレームアウトして撮像画像内に存在しなくなった場合、これらの主要被写体情報利用処理は不能となる。
　またユーザが、主要被写体の変更操作、再判定の操作、或いは主要被写体情報利用処理を終了させたような場合、現在の主要被写体情報を用いた主要被写体情報利用処理は不要となる。
　現在の主要被写体情報を用いた主要被写体情報利用処理が不要又は不能な状況となったら（ＳＴ３）、再度、安定撮像状態推定処理ＳＴ１を行うことが考えられる。

　なお、これらの動作遷移は、一点鎖線で囲ったようにカメラモードＭＤ１内における動作遷移となる。カメラモードＭＤ１から再生モードＭＤ２に切り換えられた場合、安定撮像状態推定処理及び主要被写体判定処理は行われない。
　つまりこの図９の例は、安定撮像状態推定部３０ｂが、主要被写体判定処理が有効機能すると想定されるカメラモードＭＤ１の状態となることに応じて、安定撮像状態推定処理を行う例となる。
　さらに安定撮像状態推定部３０ｂは、主要被写体判定処理の結果の使用が不能又は不要とされた後においても、カメラモードＭＤ１にある限りは安定撮像状態推定処理を行う例となる。

　次に図１０Ａの例は、カメラモードＭＤ１において、ユーザが主要被写体判定を行うモードを選択できるようにする例である。
　例えばカメラモードＭＤ１における下位のモードとして、メニュー操作等により主要被写体判定モードＭＤ１１を選択できるようにする。図１０Ｂは、表示部３４に、主要被写体判定モードをユーザに選択させる表示例を示している。
　例えばこのような画面上の選択操作で、ユーザが主要被写体判定モードをオンとする操作を行ったら、制御部３０は主要被写体判定モードＭＤ１１をオンとする。

　主要被写体判定モードＭＤ１１が開始されることに応じて、制御部３０は安定撮像状態推定処理ＳＴ１を開始する。
　その後図２Ａで説明したように、安定撮像状態であるとの推定が行われたら、主要被写体判定処理が実行され、判定結果の主要被写体情報が利用される。

　一旦、主要被写体判定が行われ後には、判定結果である主要被写体情報を利用する処理である主要被写体情報利用処理ＳＴ２が行われる。例えば上述した主要被写体情報の利用例で述べたような処理が実行される。　その後、主要被写体情報の利用が不能又は不要となる場合がある。上述の例のように、現在の主要被写体情報を用いた主要被写体情報利用処理が不要又は不能な状況となったら、再度、安定撮像状態推定処理ＳＴ１を行う。

　なお、これらの動作遷移は、一点鎖線で囲ったように主要被写体判定モードＭＤ１１がオンとされている期間内における動作遷移となる。
　カメラモードＭＤ１ではあるが主要被写体判定モードＭＤ１１がオフとされた場合や、再生モードＭＤ２に切り換えられた場合、安定撮像状態推定処理及び主要被写体判定処理は行われない。
　つまりこの図１０の例は、安定撮像状態推定部３０ｂが、主要被写体判定処理が有効機能する、特にユーザも主要被写体判定を求めていると想定される主要被写体判定モードＭＤ１１の状態となることに応じて、安定撮像状態推定処理を行う例となる。
　さらに安定撮像状態推定部３０ｂは、主要被写体判定処理の結果の使用が不能又は不要とされた後においても、主要被写体判定モードＭＤ１１がオンとされている限りは安定撮像状態推定処理を行う例となる。

　例えば以上の図９，図１０の例のように、カメラモードＭＤ１中、もしくはカメラモードＭＤ１における主要被写体判定モードＭＤ１１中には、安定撮像状態推定処理ＳＴ１が行われる。
　そしてその安定撮像状態推定処理ＳＴ１の推定結果に応じて、主要被写体判定処理が実行される。

［４−２：処理例１］
以下、安定撮像状態推定処理の各種具体例を説明していく。
　図１１は、安定撮像状態推定処理の処理例１として、安定撮像状態推定部３０ｂが実行する処理を示している。
　図１１の処理は、上記図９でカメラモードＭＤ１となった場合、または図１０で主要被写体判定モードＭＤ１１がオンとされたことに応じて実行される。なお、この点は繰り返し述べないが、後述の処理例２~処理例５も同様である。

　制御部３０はステップＦ２０１で、安定撮像状態推定処理を既に実行中であるか否かにより処理を分岐する。
　安定撮像状態推定処理が開始される時点では、まだ実行中ではないため制御部３０はステップＦ２０２の処理を行う。
　まず時間経過カウンタＣＴｔをリセットし、カウントスタートする。また安定撮像状態と推定されたか否かを示す推定フラグＦｓｔを、Ｆｓｔ＝０に初期化する。

　制御部３０は図２Ａの処理を繰り返していくこととなるが、図２ＡのステップＦ１００１とは、推定フラグＦｓｔ＝１であるか否かの判断となる。推定フラグＦｓｔ＝０の期間は、図２Ａの処理としてステップＦ１０００、つまり図１１の処理が繰り返される。

　安定撮像状態推定処理が開始された以降は、図１１の処理はステップＦ２０１からＦ２０３に進む。
　制御部３０はステップＦ２０３で時間経過カウンタＣＴｔをインクリメントする。
　そして制御部３０はステップＦ２０４で、時間経過カウンタＣＴｔの値と、推定のための所定時間ｔｈＴＭを比較する。
　時間経過カウンタＣＴｔの値が所定時間ｔｈＴＭを越えていなければ、そのまま処理を終える。つまり推定フラグＦｓｔ＝０のままとする。

　時間経過により、或る時点でステップＦ２０４ではＣＴｔ＞ｔｈＴＭと判定される。その場合、制御部３０はステップＦ２０５に進み、安定撮像状態となったことが推定されたとして、推定フラグＦｓｔ＝１とする。
　このように推定フラグＦｓｔ＝１となると、図２ＡのステップＦ１００１で制御部３０は主要被写体判定開始とし、ステップＦ１００２~Ｆ１００４に進むこととなる。

　以上の図１１の安定撮像状態推定処理は、主要被写体判定処理が有効機能する所定のモード状態、図９におけるカメラモードＭＤ１、もしくは図１０における主要被写体判定モードＭＤ１１に移行した時点から所定時間ｔｈＴＭを経過したことを条件として、安定撮像状態と推定するものである。
　通常、ユーザは、電源オン又はカメラモードＭＤ１とする操作を行った後は、その後、撮像のために撮像装置１０を構える姿勢をとる。主要被写体判定モードＭＤ１１をオンとした後も、その後に撮像姿勢をとると考えられる。
　よって、これらのモードに移行したら、それから所定時間を経過した時点は、ユーザが撮像のために撮像装置１０を構えていると推定できる。　そこで、処理例１では最も簡単に、安定撮像状態推定処理とは、所定時間ｔｈＴＭの計数処理とするものである。

　以上のように安定撮像状態推定処理が行われ、それに応じて主要被写体判定処理が実行されることで、ユーザは主要被写体判定処理の起動を意識する必要はなく、操作負担をかけないものとなるうえ、適切なタイミングで主要被写体判定処理が開始されることとなる。また、安定撮像状態推定処理のための制御部３０の処理負担は非常に小さい。

［４−３：処理例２］
　処理例２を図１２，図１３で説明する。処理例２は、撮像視野変動の検出結果に基づいて安定撮像状態の推定を行う例である。ここでは特に、撮像装置１０の動きを検出するセンサの出力を、撮像視野変動の検出に用いる例とする。

　センサとは、例えば撮像装置１０をユーザが所持している場合の手ぶれ量など撮像装置１０に与えられる揺れを検出するジャイロセンサや、姿勢を検出する加速度センサなどである。
　例えば図３のセンサ部１４には、これらジャイロセンサや加速度センサが設けられており、制御部３０は、これらのセンサ出力を検知できる。

　図１２Ａに安定撮像状態推定処理の処理例２として、安定撮像状態推定部３０ｂが実行する処理を示す。
　制御部３０はステップＦ３００で、安定撮像状態推定処理を既に実行中であるか否かにより処理を分岐する。
　安定撮像状態推定処理が開始される時点では、まだ実行中ではないため制御部３０はステップＦ３０７で、安定時間の計測のためのカウンタＣＴｓｔ（以下、安定時間計測カウンタＣＴｓｔという）をＣＴｓｔ＝０にリセットする。また安定撮像状態と推定されたか否かを示す推定フラグＦｓｔを、Ｆｓｔ＝０に初期化する。
　先の処理例１の場合と同様、推定フラグＦｓｔ＝０の期間は、図２Ａの処理としてステップＦ１０００、つまり図１２Ａの処理が繰り返される。

　安定撮像状態推定処理が開始された以降は、図１２Ａの処理はステップＦ３００からＦ３０１に進む。
　制御部３０はステップＦ３０１で、センサ部１４からのセンサ入力を取得する。例えばジャイロセンサや加速度センサの検出値を取得する。

　例えばステップＦ３０１でジャイロセンサの検出値を取得したとすると、制御部３０はステップＦ３０２で、検出値が所定レベル範囲内であるか否かを判定する。図１３で説明するが、所定レベル範囲とは、例えば手ぶれ量が少なく、撮像装置１０が安定していると推定できるレベル範囲である。

　制御部３０は、センサの検出値が所定レベル範囲内であると判定した場合は、ステップＦ３０３に進み、安定時間計測カウンタＣＴｓｔをインクリメントする。
　一方制御部３０は、センサの検出値が所定レベル範囲内ではないと判定した場合は、ステップＦ３０４に進み、安定時間を計測するカウンタＣＴｓｔをデクリメントする。

　制御部３０はステップＦ３０５では、カウンタＣＴｓｔのカウント値と、推定のための所定時間ｔｈＴＭとを比較する。
　カウンタＣＴｔの値が所定時間ｔｈＴＭを越えていなければ、そのまま処理を終える。つまり推定フラグＦｓｔ＝０のままとする。

　制御部３０は、ステップＦ３０５でＣＴｓｔ＞ｔｈＴＭと判定した場合は、ステップＦ３０６に進み、安定撮像状態となったことが推定されたとして、推定フラグＦｓｔ＝１とする。
　このように推定フラグＦｓｔ＝１となると、図２ＡのステップＦ１００１で制御部３０は主要被写体判定開始とし、ステップＦ１００２~Ｆ１００４に進むこととなる。

　この処理による動作例を図１３で説明する。
　図１３Ａは、制御部３０がジャイロセンサの検出出力を用いる場合である。縦軸はジャイロセンサの検出値、横軸は時間を示す。点線で示す波形の各点が、各時点のステップＦ３０１で制御部３０が入力した検出値であるとしている。
　ステップＦ３０２で判断する所定レベル範囲とは、検出値のレベルＬ１~Ｌ２の範囲とする。
　また推定フラグＦｓｔの値も示している。
　そして時点ｔ０で安定撮像状態推定処理が開始されたとする。

　ジャイロセンサの検出値は、例えばユーザの手ぶれなどとして撮像装置１０に与えられる揺れが大きいほど大きいレベルとなる。
　従って、検出値が所定レベル範囲内にあることは、手ぶれ等が少ない状況、つまり撮像者がある程度撮像装置１０をしっかり構えている状況と推定できる。
　この例では、時点ｔ１までは、比較的揺れが多い状況を示している。例えばユーザが撮像装置１０をまだしっかり構えていないような状況、例えば単に所持していたり、大まかに被写体を探しているなどが想定される。

　図１２Ａの処理では、センサの検出値が所定レベル範囲内であれば安定時間計測カウンタＣＴｓｔがインクリメントされ、所定レベル範囲外となればデクリメントされる。
　このため例えば時点ｔ１以降、撮像装置１０に加わる揺れが少なくなると、或る時点で安定時間計測カウンタＣＴｓｔの値が所定時間ｔｈＴＭの値を越える。例えば時点ｔ２でＣＴｓｔ＞ｔｈＴＭとなったとする。
　これが上記ステップＦ３０５で判定されると、ステップＦ３０６で推定フラグＦｓｔ＝１とされる。図１３Ａのように、時点ｔ２で推定フラグＦｓｔ＝１となる。
　このように撮像装置１０に与えられる揺れの検出として、撮像視野変動を検出する。撮像装置１０に与えられる揺れが小さくなった時間がある程度続くことで、撮像視野変動が小さく、撮像視野が安定していると判定できる。この場合に安定撮像状態となったと推定する。

　次に図１３Ｂは、制御部３０が加速度センサの検出出力を用いる場合である。縦軸は角速度センサの検出値、横軸は時間を示す。点線で示す波形の各点が、各時点のステップＦ３０１で制御部３０が入力した検出値である。
　ステップＦ３０２で判断する所定レベル範囲とは、検出値のレベルＬ１~Ｌ２の範囲とする。また推定フラグＦｓｔの値も示している。そして時点ｔ０で安定撮像状態推定処理が開始されたとする。

　加速度センサの検出値は、撮像装置１０の姿勢変化に応じて変動する。撮像装置１０の動きが大きいほど、検出値の変動が大きくなる。例えばユーザが単に撮像装置１０を所持しているときや、撮像装置１０を構えながら被写体を大まかに探しているときなどは、検出値の変化は大きくなる。
　従って、検出値が所定レベル範囲内にあることがある程度継続することは、撮像者がある程度被写体方向を絞って、撮像装置１０をしっかり構えている状況と推定できる。
　この例では、時点ｔ１までは、比較的動きが多い状況を示している。

　一方、ユーザがある程度被写体方向を絞って撮像装置１０を構えると、撮像装置１０の動きは小さくなり姿勢が安定する。例えば時点ｔ１から、撮像装置１０の姿勢が安定した状況となっている。
　図１２Ａの処理では、センサの検出値が所定レベル範囲内であれば安定時間計測カウンタＣＴｓｔがインクリメントされ、所定レベル範囲外となればデクリメントされる。
　このため例えば時点ｔ１以降、撮像装置１０の姿勢が継続的に安定すると、或る時点で安定時間計測カウンタＣＴｓｔの値が所定時間ｔｈＴＭの値を越える。例えば時点ｔ２でＣＴｓｔ＞ｔｈＴＭとなったとする。
　これが上記ステップＦ３０５で判定されると、ステップＦ３０６で推定フラグＦｓｔ＝１とされる。図１３Ｂのように、時点ｔ２で推定フラグＦｓｔ＝１となる。
　このように撮像装置１０の動きの検出として、撮像視野変動を検出する。撮像装置１０の姿勢が定まった状態がある程度続くことで、撮像視野変動が殆どなく、撮像視野が安定していると判定できる。この場合に安定撮像状態となったと推定する。

　特に、撮像装置１０の揺れや姿勢で判断することで、安定撮像状態であることの推定の確度は高いものとできる。

　なお、図１２Ａの処理例２において、例えばジャイロセンサと加速度センサの検出値については、いずれか一方を用いてもよいし、両方を用いてもよい。
　例えばジャイロセンサの検出値を対象としての図１２Ａの処理と、加速度センサの検出値を対象としての図１２Ａの処理を並行的に実行し、いずれかにおいて推定フラグＦｓｔ＝１となったら、安定撮像状態が推定されたとしてもよい（ＯＲ条件）。
　或いは、ステップＦ３０２の所定レベル範囲内の判断は、ジャイロセンサの検出値と、加速度センサの検出値の両方が、所定レベル範囲内となったか否かという判断としてもよい（ＡＮＤ条件）。

　また、方位センサ、地軸センサなど、他のセンサの検出値を個別に、又は複合的に利用してもよい。いずれにしても、撮像装置１０自体の動きや姿勢が、ある程度少ない状況を、安定撮像状態と推定できればよい。複数のセンサを複合的に用いる場合、上述のＯＲ条件を採用したり、ＡＮＤ条件を採用することは当然考えられる。

　また、安定時間計測カウンタＣＴｓｔの処理は他にも考えられる。
　図１２Ａにおいて破線で示すように、ステップＦ３０２で所定レベル範囲内ではないと判定されたときには、安定時間計測カウンタＣＴｓｔをデクリメントせずに、そのままステップＦ３０５に進んでもよい。つまりカウント値をキープする例である。
　このようにすると、ある程度の揺れや動き等があっても、総じて揺れが少なかったり姿勢が安定している状態を、安定撮像状態と推定しやすくできる。手ぶれが多い不慣れなユーザなどを想定した場合、その方が主要被写体判定処理を発動しやすくできる。

　またステップＦ３０４の処理を図１２Ｂに示すステップＦ３０４Ａに代えてもよい。
　即ちステップＦ３０２で所定レベル範囲内ではないと判定されたときには、安定時間計測カウンタＣＴｓｔの値を０にクリアする例である。このようにすると、継続的に揺れや動きが無い状態が所定時間ｔｈＴＭ続くことで、始めて安定撮像状態と推定されることになり、推定の確度を高めることができる。撮像になれたユーザにとっては、むやみに主要被写体判定処理が発動されず、この方が好ましいことも考えられる。
　逆に図１２ＡのステップＦ３０４のようにデクリメントすることは、瞬間的な揺れや姿勢変動があっても安定時間計測カウンタＣＴｓｔはクリアされないので、比較的安定しているという状態を検出でき、一般的に広いユーザを対象と考えた場合、好適である。

［４−４：処理例３］
　処理例３を図１４，図１５で説明する。処理例３も、撮像視野変動の検出結果に基づいて安定撮像状態の推定を行う例である。ここでは特に、撮像視野変動を伴うカメラワークの検出結果を、安定撮像状態の推定に用いる例である。
　ここでいう撮像視野変動を伴うカメラワークとは、パンニング、チルティング、ズーミングなどであり、さらにこれらの自動的な動作やユーザ操作に基づく動作を含む。

　カメラワークの検出は以下のように行う。
　撮像視野の水平方向移動であるパンニングは、例えばジャイロセンサや、水平方向の加速度センサで検出できる。これらのセンサがセンサ部１４に設けられていればよい。また撮像装置１０を雲台等に乗せて、雲台のパンモータ動作でパンニングを行う場合は、そのパンニング機構への制御信号を用いてもよい。さらに雲台等のパンニング位置検出センサがあれば、その検出値も利用できる。制御部３０はこれらの手法で、パンニングの実行／不実行、又はパンニングの移動量を検出できる。
　また、デジタル信号処理部２０、例えば動きベクトル検出部２７や制御部３０が画像データ解析を行い、パン方向の動きを検出することでも、パンニングの実行／不実行、又はパンニングの移動量を検出できる。

　撮像視野の垂直方向移動であるチルティングは、例えばジャイロセンサや、垂直方向の加速度センサで検出できる。これらのセンサがセンサ部１４に設けられていればよい。また撮像装置１０を雲台等に乗せて、雲台のチルトモータ動作でチルティングを行う場合は、そのチルティング機構への制御信号を用いてもよい。さらに雲台等のチルティング位置検出センサがあれば、その検出値も利用できる。制御部３０はこれらの手法で、チルティングの実行／不実行、又はチルティングの移動量を検出できる。
　また、デジタル信号処理部２０、例えば動きベクトル検出部２７や制御部３０が画像データ解析を行い、撮像画像のチルト方向の動きを検出することでも、チルティングの実行／不実行、又はチルティングの移動量を検出できる。

　ズーミングは、ユーザのズーム操作又は自動的制御としてズームが行われる場合、制御部３０が光学系駆動部１３に指示するズーム制御信号により、制御部３０は自身でズーム動作検知が可能である。
　またズームレンズ位置センサをセンサ部１４として設ければ、制御部３０はその検出値からズームレンズの動き、つまりズーム動作を検知できる。
　制御部３０はこれらの手法で、ズーミングの実行／不実行、又はズーミング移動量を検出できる。
　また、デジタル信号処理部２０や制御部３０が画像データ解析を行い被写体領域の変化や画角変化を検出することによりズーム動作を検知することも可能である。

　図１４Ａに安定撮像状態推定処理の処理例３として、安定撮像状態推定部３０ｂが実行する処理を示す。
　制御部３０はステップＦ４００で、安定撮像状態推定処理を既に実行中であるか否かにより処理を分岐する。
　安定撮像状態推定処理が開始される時点では、まだ実行中ではないため制御部３０はステップＦ４０７で、安定時間計測カウンタＣＴｓｔを０にリセットする。また安定撮像状態と推定されたか否かを示す推定フラグＦｓｔを、Ｆｓｔ＝０に初期化する。
　先の処理例１、２の場合と同様、推定フラグＦｓｔ＝０の期間は、図２Ａの処理としてステップＦ１０００、つまり図１４Ａの処理が繰り返される。

　安定撮像状態推定処理が開始された以降は、図１４Ａの処理はステップＦ４００からＦ４０１に進む。
　制御部３０はステップＦ４０１で、センサ部１４からのセンサ入力、例えばジャイロセンサの検出値や、自身が光学系駆動部１３に発するズーム動作の指示値などを取得する。つまりパン・チルト・ズームの各動作状態を検出する。

次に制御部３０はステップＦ４０２で、パン又はチルト動作による動きの検出値が所定レベル範囲内であるか否かの判定、及びズーム動作が行われていないか否かを判定する。パン又はチルト動作による動きの検出値が所定レベル範囲とは、パンニングやチルティングが行われていないか、行われたとしても微小な動きである状況を示すレベル範囲である。

　制御部３０は、パン・チルト動作についてのセンサの検出値が所定レベル範囲内であり、かつズーム動作が行われていないと判定した場合は、ステップＦ４０３に進み、安定時間計測カウンタＣＴｓｔをインクリメントする。
　一方制御部３０は、センサの検出値が所定レベル範囲内ではなく、パン又はチルト動作が行われている判定した場合、またはズーム動作が行われていると判定した場合は、ステップＦ４０４に進み、安定時間を計測するカウンタＣＴｓｔをデクリメントする。

　制御部３０はステップＦ４０５では、カウンタＣＴｓｔのカウント値と、推定のための所定時間ｔｈＴＭとを比較する。
　カウンタＣＴｔの値が所定時間ｔｈＴＭを越えていなければ、そのまま処理を終える。つまり推定フラグＦｓｔ＝０のままとする。
　また制御部３０は、ステップＦ４０５でＣＴｓｔ＞ｔｈＴＭと判定した場合は、ステップＦ４０６に進み、安定撮像状態となったことが推定されたとして、推定フラグＦｓｔ＝１とする。
　このように推定フラグＦｓｔ＝１となると、図２ＡのステップＦ１００１で制御部３０は主要被写体判定開始とし、ステップＦ１００２~Ｆ１００４に進むこととなる。

　この処理による動作例を図１５で説明する。
　図１５は、制御部３０がジャイロセンサでパン・チルト動作を検知し、またズーム動作の指示値でズーム動作を検出する場合としている。縦軸はジャイロセンサの検出値、及びズーム指示値出力を示し、横軸は時間を示す。ジャイロセンサ出力については点線で示す波形の各点が、各時点のステップＦ４０１で制御部３０が入力した検出値であるとしている。ステップＦ４０２で判断する所定レベル範囲とは、検出値のレベルＬ１~Ｌ２の範囲とする。
　ズーム動作を実行させるために制御部３０が光学系駆動部１３に出力する指示値としては、Ｔ−ＯＮは望遠側への動作指示値出力、Ｗ−ＯＮは広角側への動作指示値出力としている。制御部３０は、自身の指示値出力により、ズーム動作の有無を確認できる。
　また推定フラグＦｓｔの値も示している。
　そして時点ｔ０で安定撮像状態推定処理が開始されたとする。

　ジャイロセンサの検出値は、パンニング又はチルティング実行中に大きいレベルとなる。
　従って、検出値が所定レベル範囲内にあることは、パンニング又はチルティングが行われていない、もしくは微小なパンニング、チルティングしか行われていない状況と判断できる。
　この例では、時点ｔ１までは、パンニング又はチルティングが行われたか、或いはズーミングが行われたことが検知される。従ってこの時点ｔ１までは、ユーザが撮像装置１０を大まかに動かして被写体を探したり、画角を探っている状況が想定される。

　ユーザがパン・チルト・ズーム動作を実行させない期間は、ある程度撮像視野を絞って撮像装置１０をしっかり構え、シャッタタイミングを待つ状況に至ったと考えられる。
　例えば時点ｔ１から、大きなパン・チルト・ズーム動作は実行されていない。
　図１４Ａの処理では、このような状況において安定時間計測カウンタＣＴｓｔがインクリメントされていくため、この状況が継続すると、或る時点で安定時間計測カウンタＣＴｓｔの値が所定時間ｔｈＴＭの値を越える。例えば時点ｔ２でＣＴｓｔ＞ｔｈＴＭとなる。
　これが上記ステップＦ４０５で判定されると、ステップＦ４０６で推定フラグＦｓｔ＝１とされる。図１５Ａのように、時点ｔ２で推定フラグＦｓｔ＝１となる。
　このようにパン・チルト・ズーム動作を実行させない期間がある程度続くこと、つまり撮像画像の撮像視野変動が少ない期間がある程度続くことで、撮像視野が安定していると判定できる。この場合に安定撮像状態となったと推定する。

　パン・チルト・ズーム動作による撮像装置１０の視野変動が小さいということは、撮像者が大まかに被写体方向や画角を決めて撮像しようとしていることが高い確度で推定できるため、このような安定撮像状態推定結果に基づいて、図２ＡのステップＦ１００１で主要被写体判定が開始されることで、適切なタイミングで主要被写体判定処理が実行されることとなる。

　なお、図１４Ａの処理例３では、ステップＦ４０２でパン又はチルト動作と、ズーム動作のＡＮＤ条件でステップＦ４０３に進み、安定時間計測カウンタＣＴｓｔをインクリメントすることとしたが、パン又はチルト動作と、ズーム動作の一方のみを検出対象とすることも考えられるし、両方を検出対象として、ＯＲ条件でステップＦ４０３に進むことも考えられる。

　また、安定時間計測カウンタＣＴｓｔの処理は他にも考えられる。
　図１４Ａにおいて破線で示すように、ステップＦ４０２の条件を満たさない場合には、安定時間計測カウンタＣＴｓｔをデクリメントせずに、そのままカウント値をキープしてステップＦ４０５に進んでもよい。
　またステップＦ４０４の処理を図１４Ｂに示すステップＦ４０４Ａに代えてもよい。即ちステップＦ４０２の条件を満たさない場合には、安定時間計測カウンタＣＴｓｔの値を０にクリアする例である。
　デクリメント、クリア、キープのいずれの例も、処理例２の説明中で述べたように、それぞれ好適な場合がある。

［４−５：処理例４］
　処理例４を図１６，図１７で説明する。処理例４も撮像視野変動の検出結果に基づいて安定撮像状態の推定を行う例である。ここでは特に、撮像装置１０の露光動作、フォーカス動作の検出結果を、安定撮像状態の推定に用いる例である。
　なお、ここでいう露光動作、フォーカス動作は、制御部３０の制御によるオートアイリスやオートフォーカスの場合や、ユーザ操作に基づく露光調整動作、フォーカス動作を含む。

　制御部３０は露光動作の検出は以下のように行うことができる。
　露光調整は、光学系１１における絞り機構であるメカアイリスの調整、イメージャ１２のシャッタスピード、イメージャ１２で得られた撮像画像信号のゲイン調整で実行される。制御部３０は、ユーザの操作に応じて、或いは撮像画像データから検出される輝度レベル等に応じて自動的に、これらの一部又は全部の調整を行うことで露光調整を実現する。従って制御部３０は、光学系駆動部１３やイメージャ１２、もしくはデジタル信号処理部２０に対する露光制御指示値により、自身で露光調整が行われているか否かを検知可能である。またその制御量も指示値により判定可能である。
　またメカアイリスの開口量を検出するセンサを設ければ、制御部３０は当該センサの検出値によってメカアイリスによる露光調整動作を検知することもできる。
　さらに
　また、デジタル信号処理部２０や制御部３０が画像データの輝度値の解析を行い、自動露光調整が行われる輝度検出値となった場合、或いは大きな輝度変化が検出された場合に、露光調整が行われたと検知することもできる。

　フォーカス調整は、光学系１１におけるフォーカスレンズ移動として行われる。制御部３０は、ユーザの操作に応じて、或いはオートフォーカス制御として自動的に、フォーカス調整を行う。従って制御部３０は、光学系駆動部１３に対する制御信号により、自身でフォーカス調整が行われているか否や、フォーカスレンズ移動量を検知可能である。
　またフォーカスレンズ位置センサをセンサ部１４として設ければ、制御部３０はその検出値を検知することでフォーカス調整動作の状況を検出することができる。
　また、デジタル信号処理部２０や制御部３０が画像データの焦点解析、コントラスト解析等を行うことで、フォーカスレンズ移動が行われたことを検知することもできる。

　図１６Ａに安定撮像状態推定処理の処理例４として、安定撮像状態推定部３０ｂが実行する処理を示す。
　制御部３０はステップＦ５００で、安定撮像状態推定処理を既に実行中であるか否かにより処理を分岐する。
　安定撮像状態推定処理が開始される時点では、制御部３０はステップＦ５００→Ｆ５０７と処理を進め、安定時間計測カウンタＣＴｓｔを０にリセットする。また安定撮像状態と推定されたか否かを示す推定フラグＦｓｔを、Ｆｓｔ＝０に初期化する。
　先の処理例１、２、３の場合と同様、推定フラグＦｓｔ＝０の期間は、図２Ａの処理としてステップＦ１０００、つまり図１６Ａの処理が繰り返される。

　安定撮像状態推定処理が開始された以降は、図１６Ａの処理はステップＦ５００からＦ５０１に進む。
　制御部３０はステップＦ５０１で、センサ部１４からのセンサ入力、例えばフォーカスレンズ位置センサの検出値や、自身が光学系駆動部１３等に発するフォーカスレンズ移動指示値、露光調整のための指示値などを取得する。つまり露光調整動作やフォーカス調整動作の各動作状態を検出する。

　次に制御部３０はステップＦ５０２で、露光調整による露光調整状態の変動が所定レベル範囲内であるか否かの判定、及びフォーカス調整動作によるフォーカス変動が所定レベル範囲内であるか否かの判定を行う。この場合の所定レベル範囲とは、露光調整やフォーカス調整が行われていないか、もしくは行われていたとしても露光状態やフォーカス状態の微小な変動の範囲内であるという状況を示すレベル範囲である。

　制御部３０は、露光調整動作、及びフォーカス調整動作の動きが所定レベル範囲内であり、露光調整動作、及びフォーカス調整動作が行われていない、または微小の動きのみであると判定した場合は、ステップＦ５０３に進み、安定時間計測カウンタＣＴｓｔをインクリメントする。
　一方制御部３０は、センサの検出値が所定レベル範囲を越える量で、露光調整動作が行われているか、またはフォーカス調整動作が行われていると判定した場合は、ステップＦ５０４に進み、安定時間を計測するカウンタＣＴｓｔをデクリメントする。

　制御部３０はステップＦ５０５では、カウンタＣＴｓｔのカウント値と、推定のための所定時間ｔｈＴＭとを比較する。
　カウンタＣＴｔの値が所定時間ｔｈＴＭを越えていなければ、そのまま処理を終える。つまり推定フラグＦｓｔ＝０のままとする。
　また制御部３０は、ステップＦ５０５でＣＴｓｔ＞ｔｈＴＭと判定した場合は、ステップＦ５０６に進み、安定撮像状態となったことが推定されたとして、推定フラグＦｓｔ＝１とする。
　このように推定フラグＦｓｔ＝１となると、図２ＡのステップＦ１００１で制御部３０は主要被写体判定開始とし、ステップＦ１００２~Ｆ１００４に進むこととなる。

　この処理による動作例を図１７で説明する。
　図１７は、制御部３０がセンサ又は指示値により検知する、露光調整動作とフォーカス調整動作を示している。露光調整動作に関しては、実線でメカアイリスの位置を示し、点線で位置変動を示している。各点が、各時点のステップＦ５０１で制御部３０が検知する位置変動の値であるとする。
　またフォーカス調整動作に関しては、点線でフォーカスレンズ位置差分を示している。各点が、各時点のステップＦ５０１で制御部３０が検知するレンズ位置変動量の値であるとする。
　ステップＦ５０２で判断する所定レベル範囲とは、アイリス位置差分としての検出値のレベルＬ１０~Ｌ１１の範囲、及びフォーカスレンズ位置差分としての検出値のレベルＬ２０~Ｌ２１の範囲である。これらは、メカアイリスの開口状態、フォーカスレンズ位置のそれぞれが、変動がないか或いはあっても微小な量である範囲を示すものとなる。
　また推定フラグＦｓｔの値も示している。
　そして時点ｔ０で安定撮像状態推定処理が開始されたとする。

　メカアイリスの位置差分は、露光調整のために駆動している期間に大きくなるが、駆動していない期間はゼロである。
　フォーカスレンズ位置差分についても、フォーカス調整のためにフォーカスレンズを駆動している期間は大きくなるが、駆動していない期間はゼロである。但しフォーカスレンズは、オートフォーカス制御のために、常時わずかに前後に駆動することも行われ、そのような場合、図のように微小な位置変動が観測される。この例では、時点ｔ１までは、露光調整動作が行われたり、フォーカス調整が行われたことが検知される。従って時点ｔ１までは、ユーザが手動で露光調整、フォーカス調整を行ったり、自動制御により、露光状態、フォーカス状態が調整されている。このような場合は、ユーザが被写体に対してシャッタタイミングを待機するような状況ではないと想定される。

　露光調整やフォーカス調整が安定すると、撮像画像も安定し、ユーザが実際の撮像に入ると考えられる。例えば時点ｔ１から、大きな露光調整やフォーカス調整は実行されていない。
　図１６Ａの処理では、このような状況において安定時間計測カウンタＣＴｓｔがインクリメントされていくため、この状況が継続すると、或る時点で安定時間計測カウンタＣＴｓｔの値が所定時間ｔｈＴＭの値を越える。例えば時点ｔ２でＣＴｓｔ＞ｔｈＴＭとなる。
　これが上記ステップＦ５０５で判定されると、ステップＦ５０６で推定フラグＦｓｔ＝１とされる。図１７のように、時点ｔ２で推定フラグＦｓｔ＝１となる。
　このように大きな露光調整やフォーカス調整が実行されない期間がある程度続くことで、撮像視野変動が殆どなく、撮像視野が安定していると判定できる。この場合に安定撮像状態となったと推定する。

　撮像装置１０において露光調整やフォーカス調整が殆ど行われていない状況は、撮像者の撮像のための準備がほぼ整って、安定撮像状態と推定できる。そこでこのような安定撮像状態推定結果に基づいて、図２ＡのステップＦ１００１で主要被写体判定が開始されることで、適切なタイミングで主要被写体判定処理が実行されることとなる。

　なお、図１６Ａの処理例４では、ステップＦ５０２で露光調整動作とフォーカス調整動作についての判定のＡＮＤ条件でステップＦ５０３に進み、安定時間計測カウンタＣＴｓｔをインクリメントすることとしたが、露光調整動作とフォーカス調整動作についての判定の一方のみを行うことも考えられるし、両方を検出対象として、ＯＲ条件でステップＦ４０３に進むことも考えられる。
　また、露光調整動作の検出は、メカアイリス動作、シャッタスピード変更動作、撮像画像信号に対するゲイン調整動作の全部を対象としてもよいし、一部のみでもよい。

　また、安定時間計測カウンタＣＴｓｔの処理は他にも考えられる。
　図１６Ａにおいて破線で示すように、ステップＦ５０２の条件を満たさない場合には、安定時間計測カウンタＣＴｓｔをデクリメントせずに、そのままカウント値をキープしてステップＦ５０５に進んでもよい。
　またステップＦ５０４の処理を図１６Ｂに示すステップＦ５０４Ａに代えてもよい。即ちステップＦ５０２の条件を満たさない場合には、安定時間計測カウンタＣＴｓｔの値を０にクリアする例である。
　デクリメント、クリア、キープのいずれの例も、処理例２の説明中で述べたように、それぞれ好適な場合がある。

［４−６：処理例５］
　処理例５を図１８，図１９，図２０で説明する。処理例５も撮像視野変動の検出結果に基づいて安定撮像状態の推定を行う例であるが、ここでは特に、撮像画像の動きベクトルの解析を行い、その解析結果を安定撮像状態の推定に用いる例である。

　まずここでいう動きベクトルについて図１９で説明する。
　図１９Ａは、動きベクトル検出部２７が、時間軸上で順次得られる各フレームの撮像画像データを対象として、動きベクトルを検出することを示している。
　動きベクトル検出部２７は、図１９Ｂのように、１フレームの画面を多数の領域に分割し、各領域に、フレームが遷移していく期間での被写体画像の動きをベクトルとして検出する処理を行う。
　破線又は実線で示すように、各領域において検出されたベクトルをローカルベクトルとする。
　但しローカルベクトルとしては安定撮像状態推定のために用いるベクトルとして信頼度の高いものと低いものがある。
　例えば人、動物、移動体など、主要被写体判定の対象となる被写体が存在する領域は、比較的コントラストが高いため信頼度が高くなる。
　一方、背景などとしての被写体が存在する領域は、比較的コントラストが低いため信頼度が低くなる。
　図１９Ｂでは、信頼度の高い領域のローカルベクトルを実線で示し、信頼度の低い領域のローカルベクトルを破線で示している。

　この処理例５では、画面の大局的な動きを安定撮像状態推定に用いる。大局的な動きを示すものは、ローカルベクトルではなく、斜線を付した矢印で示すグローバルベクトルである。このグローバルベクトルは、信頼度の高いローカルベクトルの平均などとして求めることができる。
　動きベクトル検出部２７は、順次入力されてくるフレーム画像データから、順次グローバルベクトルを算出し、それを順次制御部３０に供給する動作を行うこととなる。

　図１８Ａに安定撮像状態推定処理の処理例５として、安定撮像状態推定部３０ｂが実行する処理を示す。
　制御部３０はステップＦ６００で、安定撮像状態推定処理を既に実行中であるか否かにより処理を分岐する。
　安定撮像状態推定処理が開始される時点では、制御部３０はステップＦ６００→Ｆ６０７と進み、安定時間計測カウンタＣＴｓｔを０にリセットする。また安定撮像状態と推定されたか否かを示す推定フラグＦｓｔを、Ｆｓｔ＝０に初期化する。
　先の処理例１、２、３、４の場合と同様、推定フラグＦｓｔ＝０の期間は、図２Ａの処理としてステップＦ１０００、つまり図１８Ａの処理が繰り返される。

　安定撮像状態推定処理が開始された以降は、図１８Ａの処理はステップＦ６００からＦ６０１に進む。
　制御部３０はステップＦ６０１で、動きベクトル検出部２７からグローバルベクトルの値を取得する。なお、ここではベクトルとしているが、本処理例ではベクトルの動きの量を取得すればよい。

　次に制御部３０はステップＦ６０２で、取得したグローバルベクトルの動きの量が所定レベル範囲内であるか否かの判定を行う。この場合の所定レベル範囲とは、画面上の被写体の大局的な動きの量が小さいという状況を示すレベル範囲である。

　制御部３０は、グローバルベクトルの動きの量が所定レベル範囲内であり、撮像画像に大きな動きがないと判定した場合は、ステップＦ６０３に進み、安定時間計測カウンタＣＴｓｔをインクリメントする。
　一方制御部３０は、グローバルベクトルの動きの量が所定レベル範囲を越える量で、撮像画像に大きな動きがないと判定した場合は、ステップＦ６０４に進み、安定時間を計測するカウンタＣＴｓｔをデクリメントする。

　制御部３０はステップＦ６０５では、カウンタＣＴｓｔのカウント値と、推定のための所定時間ｔｈＴＭとを比較する。
　カウンタＣＴｔの値が所定時間ｔｈＴＭを越えていなければ、そのまま処理を終える。つまり推定フラグＦｓｔ＝０のままとする。
　また制御部３０は、ステップＦ６０５でＣＴｓｔ＞ｔｈＴＭと判定した場合は、ステップＦ６０６に進み、安定撮像状態となったことが推定されたとして、推定フラグＦｓｔ＝１とする。
　このように推定フラグＦｓｔ＝１となると、図２ＡのステップＦ１００１で制御部３０は主要被写体判定開始とし、ステップＦ１００２~Ｆ１００４に進むこととなる。

　この処理による動作例を図２０で説明する。
　図２０は、グローバルベクトルのスカラー値の変位を点線で示している。各点が、各時点のステップＦ６０１で制御部３０が検知するグローバルベクトルの動きの量であるとする。
　ステップＦ６０２で判断する所定レベル範囲とは、動きの量のレベルＬ３０~Ｌ３１の範囲である。これは撮像画像上の被写体に大局的な動きがないか或いはあっても微小な量である範囲を示すものとなる。
　また推定フラグＦｓｔの値も示している。
　そして時点ｔ０で安定撮像状態推定処理が開始されたとする。

　この例では、時点ｔ１までは、大局的な動きとして、比較的大きい動きが検出されている。例えばユーザが撮像装置１０をしっかり構える前の状況や、大まかに被写体を探している状況、或いは被写体が大きく動き回っているような状況と想定される。
　一方、時点ｔ１以降、動きの量が所定レベル範囲内に小さくなっている。これは、ユーザが撮像装置１０をしっかり構えたり、画面大半の面積を占める被写体が撮像装置１０に対して相対的に静止に近い状況が想定される。
　図１８Ａの処理では、このような時点ｔ１以後の状況において安定時間計測カウンタＣＴｓｔがインクリメントされ、時点ｔ２で安定時間計測カウンタＣＴｓｔの値が所定時間ｔｈＴＭの値を越える。これが上記ステップＦ６０５で判定されると、ステップＦ６０６で推定フラグＦｓｔ＝１とされる。図２０のように、時点ｔ２で推定フラグＦｓｔ＝１となる。
　このように撮像画像上の大局的な動きが小さい期間がある程度続くことで、撮像視野変動が殆どなく、撮像視野が安定していると判定できる。この場合に安定撮像状態となったと推定する。

　以上の例のように処理例５では、安定撮像状態推定部３０ｂは、撮像画像の動きの検出結果を、安定撮像状態の推定に用いる。特に撮像画像データに関する解析処理として、グローバルベクトル検出を行い、この動きの状況によって撮像視野が安定した安定撮像状態の推定を行う。

　なお、図１８Ａの処理例５では、ステップＦ５０２でグローバルベクトルの動きの量について所定レベル範囲内であるかを判定しているが、ベクトルとして、動きの方向も加えた判定を行ってもよい。
　また各領域のローカルベクトルをも分析することで、多様な被写体と撮像装置１０の相対的な動き状況も推定できるため、ローカルベクトルを用いることも考えられる。

　また、安定時間計測カウンタＣＴｓｔの処理は他にも考えられる。
　図１８Ａにおいて破線で示すように、ステップＦ６０２の条件を満たさない場合には、安定時間計測カウンタＣＴｓｔをデクリメントせずに、そのままカウント値をキープしてステップＦ６０５に進んでもよい。
　またステップＦ６０４の処理を図１８Ｂに示すステップＦ６０４Ａに代えてもよい。即ちステップＦ６０２の条件を満たさない場合には、安定時間計測カウンタＣＴｓｔの値を０にクリアする。
　デクリメント、クリア、キープのいずれの例も、処理例２の説明中で述べたように、それぞれ好適な場合がある。

［４−７：推定処理に用いる所定時間の変更処理］
　以上の処理例１~処理例５では、安定撮像状態の推定に所定時間ｔｈＴＭを用いた。この所定時間ｔｈＴＭは、各処理例において、それぞれ固定的に設定されてもよいが、以下に述べるように変化させてもよい。即ち安定撮像状態推定処理において安定撮像状態であるとの推定に用いる時間に関する条件を、安定撮像状態推定処理の実行タイミングに応じて変化させる。

　図２１に一例を示す。例えば所定時間ｔｈＴＭとして時間ｔｈＴＭ１、ｔｈＴＭ２、ｔｈＴＭ３の３種類を設ける。ｔｈＴＭ１＞ｔｈＴＭ２＞ｔｈＴＭ３とする。
　安定撮像状態推定処理は、図９、図１０で説明した機会に実行されるが、例えば電源オン後の所定期間内に安定撮像状態推定処理が実行される場合は、所定時間ｔｈＴＭとして比較的長い時間ｔｈＴＭ１を用いる。　また再生モードＭＤ２からカメラモードＭＤ１に移行してからの所定期間内に安定撮像状態推定処理が実行される場合も、所定時間ｔｈＴＭとして比較的長い時間ｔｈＴＭ１を用いる。
　これらの場合は、ユーザが電源操作やモード操作を行った直後であり、即座にカメラをしっかり構えて被写体を狙うような状況に成ることは少ない。そこで、安定撮像状態と推定するための所定時間ｔｈＴＭを長めにすることが、推定の確度を上げるという意味で適切である。

　また、電源オンやカメラモードＭＤ１に移行してから、上記の所定期間を経過した後におけるカメラモードＭＤ１中であって、まだ１度も主要被写体判定が行われていないときは、所定時間ｔｈＴＭとして標準的な時間ｔｈＴＭ２を用いる。
　ユーザの撮像動作の準備がある程度整っていると考えられるためである。
　但し、一旦主要被写体判定が行われた後、再度安定撮像状態推定処理が行われる機会では、所定時間ｔｈＴＭとして最も短い時間ｔｈＴＭ３を用いる。例えば図９、図１０で説明したように主要被写体情報利用が不能とされた後には、比較的迅速に新たに主要被写体判定処理が行われることが求められるためである。
　さらに、ある程度の期間、主要被写体判定がされない期間が続いた状況では、所定時間ｔｈＴＭとして標準的な時間ｔｈＴＭ２を用いる。

　以上は一例であるが、例えば制御部３０は、図２２のような推定所定時間設定処理を、ある時間間隔での割り込み処理などで行っていくことで、安定撮像状態推定処理の実行機会に応じた所定時間ｔｈＴＭの変更が行われることになる。

　図２２において制御部３０はステップＦ４０００で、電源オンからＴａ期間内であるかを判断する。Ｔａ期間内であれば、ステップＦ４００６で所定時間ｔｈＴＭとして最も長い時間ｔｈＴＭ１を設定する。
　また電源オンからＴａ期間内でなければ、制御部３０はステップＦ４００１でカメラモードＭＤ１へ移行したからＴｂ期間内であるか否かを判断する。Ｔｂ期間内であれば、ステップＦ４００６で所定時間ｔｈＴＭとして最も長い時間ｔｈＴＭ１を設定する。

　ステップＦ４０００，Ｆ４００１の判断に該当しない場合、制御部３０はステップＦ４００２で、電源オン後又はカメラモードＭＤ１移行後、初回の主要被写体判定処理の実行前であるかで処理を分岐する。初回の主要被写体判定処理の実行前であれば、ステップＦ４００４で所定時間ｔｈＴＭとして標準的な時間ｔｈＴＭ２を設定する。

　初回の主要被写体判定処理の実行前でなければ、制御部３０はステップＦ４００３で、前回の主要被写体判定から、Ｔｃ期間に主要被写体判定が行われていないか否かを判断する。行われていなければ、ステップＦ４００４で所定時間ｔｈＴＭとして標準的な時間ｔｈＴＭ２を設定する。
　一方ステップＦ４００３の判断に該当しなければ、ステップＦ４００５で所定時間ｔｈＴＭとして最短の時間ｔｈＴＭ３を設定する。

　安定撮像状態推定処理においては、その実行時点において、以上の図２２の処理で設定された所定時間ｔｈＴＭが用いられることになる。
　これによって図２１で例示したように、安定撮像状態推定処理の実行機会に応じて、適切な推定処理用の所定時間ｔｈＴＭが用いられ、適切な動作が実現される。

＜５．画像処理装置の他の処理例＞
　上述の処理例１~処理例５は、図２Ａの処理におけるステップＦ１０００の具体例として説明した。
　図２Ａの例は即ち、主要被写体判定部３０ａが、安定撮像状態推定処理によって安定撮像状態であると推定された場合に主要被写体判定処理を実行し、その結果を出力する例である。
　ここで、図３の撮像装置１０又は図１の画像処理装置１において実行される安定撮像状態推定処理と主要被写体判定処理については、図２Ａに示した例だけでなく、図２３に示すような例も考えられる。

　図２３の例は、カメラモード中には、図２３Ａのように主要被写体判定処理が随時繰り返し行われるようにしている。
　即ちカメラモードＭＤ１とされた期間、主要被写体判定部３０ａはステップＦ２０００で候補画像検出を開始し、ステップＦ２００１で主要被写体判定処理を実行する。このステップＦ２００１の詳細な処理は、図２ＢのステップＦ１~Ｆ３と同様である。
　ステップＦ２００１で主要被写体判定が行われると、その時点では、判定結果としての主要被写体情報のアプリケーション等への受け渡しは行わず、ステップＦ２００２で内部メモリに保持する。そしてその後再びステップＦ２０００、Ｆ２００１、Ｆ２００２が行われる。

　一方、安定撮像状態推定部３０ｂによる安定撮像状態推定処理は、図９，図１０で説明したような実行機会になると、図２３Ｂのように実行される。
　まず制御部３０はステップＦ３０００で安定撮像状態推定処理を行う。例えば上記処理例１~処理例５のように安定撮像状態推定処理が実行される。
　或る時点で安定撮像状態と推定されたら、制御部３０はステップＦ３００１からＦ３００２に進み、主要被写体情報を得る。これは、図２３Ａのように随時実行されている主要被写体判定処理として、その時点で記憶されている最新の主要被写体情報を内部メモリから読み出すものとなる。
　そして制御部３０はステップＦ３００３で、当該取得した主要被写体情報をアプリケーション等に受け渡す。

　即ち以上の図２３の処理は、主要被写体判定部３０ａは、逐次主要被写体判定処理を実行する。そして安定撮像状態推定部３０ｂは図９，図１０で説明した実行機会に安定撮像状態推定処理を行う。この安定撮像状態推定処理によって安定撮像状態であると推定された場合に、制御部３０は最新の主要被写体判定処理の結果を出力する例となる。
　このような処理によっても、適切なタイミングで、アプリケーション等に主要被写体情報を出力することができる。

＜６．プログラム及びコンピュータ装置への適用＞
　以上、画像処理装置１、撮像装置１０の実施の形態を説明してきたが、上述した主要被写体判定処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

　実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等の演算処理装置に実行させるプログラムである。
　即ちこのプログラムは、安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定ステップと、主要被写体判定処理を行う主要被写体判定ステップと、安定撮像状態推定処理により安定撮像状態であると推定される場合に、主要被写体判定処理の結果を出力する出力ステップとを演算処理装置に実行させるプログラムである。

　具体的には、実施の形態のプログラムは、図２又は図２３に示した処理、主要被写体判定処理については図４、図８で説明した処理、さらに安定撮像状態推定処理については処理例１~処理例５として説明した処理を、演算処理装置に実行させるプログラムとすればよい。
　このようなプログラムにより、上述した安定撮像状態推定処理及び主要被写体判定処理を実行する装置を、演算処理装置を用いて実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔ　Ｏｐｔｉｃａｌ）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に記録しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、本開示の画像処理装置とすることができる。
　例えば、図２４に示されるようなコンピュータ装置において、図１の画像処理装置１や撮像装置１０における安定撮像状態推定処理及び主要被写体判定処理と同様の処理が実行されるようにすることもできる。

　図２４において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

　入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

　入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。

　上述した安定撮像状態推定処理、主要被写体判定処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

　この記録媒体は、例えば、図２４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク（Ｂｌｕ−ｒａｙ　Ｄｉｓｃ（登録商標））、ＣＤ−ＲＯＭ、ＤＶＤを含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

　このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０、リムーバブルメディア８１、もしくは記録部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の安定撮像状態推定部（３、３０ｂ）及び主要被写体判定部（２，３０ａ）の機能を実行する。即ち図２，図２３のような処理を実行することで、入力された画像データについて適切なタイミングで主要被写体判定を行うことができる。

＜７．変形例＞
　上述の実施の形態は、各種の変形例が考えられる。
　安定撮像状態推定処理においては、上述の処理例１~処理例５のうちの複数の処理例を組み合わせてもよい。
　例えば処理例１~処理例５のうちでいくつかを組み合わせ、その各処理例での安定撮像状態の推定結果のＯＲ条件又はＡＮＤ条件で、安定撮像状態と推定することができる。
　また処理例１~処理例５を組み合わせる場合、各処理例で安定撮像状態の推定のための重みを代えたり、判定の優先順位を設定してもよい。例えば処理例２と処理例３を組み合わせる場合に、各処理例でのカウンタＣＴｓｔのインクリメントの値を異なる値としたり、所定時間ｔｈＴＭを異なる値とするなどである。

　また撮像装置１０の例において、安定撮像状態推定処理はカメラモードＭＤ１、又は主要被写体判定モードＭＤ１１において実行されるとしたが、再生モードＭＤ２において実行されるようにしてもよい。
　例えば主要被写体情報は、画像効果処理や画像編集処理にも利用できると述べたが、そのためには再生画像を対象として主要被写体判定処理を行うこともあるため、再生画像において撮像時の安定撮像状態推定を行ってから、主要被写体判定処理を実行することも有用となる。
　例えば再生画像の変化が少ない状況を、撮像時の安定撮像状態であったと推定し、その際に主要被写体判定処理を行って、画像編集、画像効果処理を行い、再生表示、編集データの作成等を行ってもよい。
　またこのような再生画像を対象とする安定撮像状態推定処理及び主要被写体判定処理は、図１の画像処理装置、図２４の情報処理装置などにおいても当然に想定される。

　また、主要被写体判定処理の結果については、その後撮像されて記録された静止画データや動画データに、メタデータとして付加してもよい。つまり従容被写体を示す情報を静止画ファイル等に付加する。

　また、スルー画を表示させ、同時に主要被写体判定処理を行っている間に、撮像者の操作による主要被写体指定操作を可能としてもよい。

　また、実施の形態では、主に静止画撮像を想定して主要被写体を判定する処理を説明したが、動画撮像のためのスタンバイ中や、動画の撮像及び記録の実行中においても、撮像される複数のフレームから主要被写体判定を行う処理として、上記実施の形態の処理を適用できる。

　なお本技術は以下のような構成も採ることができる。
　（１）安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定部と、
　主要被写体判定処理を行うとともに、安定撮像状態推定処理により安定撮像状態であると推定される場合に、主要被写体判定処理の結果を出力する主要被写体判定部と、を備えた画像処理装置。
　（２）安定撮像状態推定部は、安定撮像状態推定処理において、撮像視野変動の検出結果に基づいて、安定撮像状態の推定を行う上記（１）に記載の画像処理装置。
　（３）安定撮像状態推定部は、撮像画像を生成する撮像装置の動きを検出するセンサの出力を、撮像視野変動の検出に用いる上記（２）に記載の画像処理装置。
　（４）安定撮像状態推定部は、撮像画像を生成する撮像装置の撮像光学系の動きを検出するセンサの出力を、撮像視野変動の検出に用いる上記（２）又は（３）に記載の画像処理装置。
　（５）安定撮像状態推定部は、撮像画像を生成する撮像装置の動作制御のための指示値を、撮像視野変動の検出に用いる上記（２）乃至（４）のいずれかに記載の画像処理装置。
　（６）安定撮像状態推定部は、撮像画像データに関する解析処理結果を、撮像視野変動の検出に用いる上記（２）乃至（５）のいずれかに記載の画像処理装置。
　（７）安定撮像状態推定部は、撮像画像データに関する解析処理として、撮像画像の動き検出を行う上記（６）に記載の画像処理装置。
　（８）安定撮像状態推定部は、安定撮像状態推定処理において、主要被写体判定処理が有効機能する所定のモード状態に移行した時点から所定時間を経過したことを一条件として、安定撮像状態と推定する上記（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）安定撮像状態推定部は、安定撮像状態推定処理において安定撮像状態であるとの推定に用いる時間に関する条件を、安定撮像状態推定処理の実行タイミングに応じて変化させる上記（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）安定撮像状態推定部は、主要被写体判定処理が有効機能する所定のモード状態となることに応じて、安定撮像状態推定処理を行う上記（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）安定撮像状態推定部は、主要被写体判定処理の結果の使用が不能又は不要とされた後において、安定撮像状態推定処理を行う上記（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）主要被写体判定部は、安定撮像状態推定処理によって安定撮像状態であると推定された場合に主要被写体判定処理を実行し、該主要被写体判定処理の結果である主要被写体情報を出力する上記（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）主要被写体判定部は、逐次主要被写体判定処理を実行し、
　安定撮像状態推定処理によって安定撮像状態であると推定された場合に、最新の主要被写体判定処理の結果である主要被写体情報を出力する上記（１）乃至（１１）のいずれかに記載の画像処理装置。

　１　画像処理装置、２　主要被写体判定部、３　安定撮像状態推定部、１０　撮像装置、１１　光学系、１２　イメージャ、１３　光学系駆動部、１４　センサ部、１５　記録部、１６　通信部、２０　デジタル信号処理部、２１　前処理部、２２　同時化部、２３　ＹＣ生成部、２４　解像度変換部、２５　コーデック部、２６　候補検出部、２７　動きベクトル検出部、３０　制御部、３０ａ　主要被写体判定部、３０ｂ　安定撮像状態推定部、３２　ＵＩコントローラ、３３　ユーザインターフェース、３４　表示部、３５　操作部、７０　コンピュータ装置、７１　ＣＰＵ

Claims

　安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定部と、
　主要被写体判定処理を行うとともに、上記安定撮像状態推定処理により安定撮像状態であると推定される場合に、上記主要被写体判定処理の結果を出力する主要被写体判定部と、
を備えた画像処理装置。
　上記安定撮像状態推定部は、上記安定撮像状態推定処理において、撮像視野変動の検出結果に基づいて、安定撮像状態の推定を行う請求項１に記載の画像処理装置。
　上記安定撮像状態推定部は、撮像画像を生成する撮像装置の動きを検出するセンサの出力を、上記撮像視野変動の検出に用いる請求項２に記載の画像処理装置。
　上記安定撮像状態推定部は、撮像画像を生成する撮像装置の撮像光学系の動きを検出するセンサの出力を、上記撮像視野変動の検出に用いる請求項２に記載の画像処理装置。
　上記安定撮像状態推定部は、撮像画像を生成する撮像装置の動作制御のための指示値を、上記撮像視野変動の検出に用いる請求項２に記載の画像処理装置。
　上記安定撮像状態推定部は、撮像画像データに関する解析処理結果を、上記撮像視野変動の検出に用いる請求項２に記載の画像処理装置。
　上記安定撮像状態推定部は、撮像画像データに関する解析処理として、撮像画像の動き検出を行う請求項６に記載の画像処理装置。
　上記安定撮像状態推定部は、上記安定撮像状態推定処理において、上記主要被写体判定処理が有効機能する所定のモード状態に移行した時点から所定時間を経過したことを一条件として、安定撮像状態と推定する請求項１に記載の画像処理装置。
　上記安定撮像状態推定部は、上記安定撮像状態推定処理において安定撮像状態であるとの推定に用いる時間に関する条件を、上記安定撮像状態推定処理の実行タイミングに応じて変化させる請求項１に記載の画像処理装置。
　上記安定撮像状態推定部は、上記主要被写体判定処理が有効機能する所定のモード状態となることに応じて、上記安定撮像状態推定処理を行う請求項１に記載の画像処理装置。
　上記安定撮像状態推定部は、上記主要被写体判定処理の結果の使用が不能又は不要とされた後において、上記安定撮像状態推定処理を行う請求項１に記載の画像処理装置。
　上記主要被写体判定部は、上記安定撮像状態推定処理によって安定撮像状態であると推定された場合に上記主要被写体判定処理を実行し、該主要被写体判定処理の結果である主要被写体情報を出力する請求項１に記載の画像処理装置。
　上記主要被写体判定部は、逐次上記主要被写体判定処理を実行し、
　上記安定撮像状態推定処理によって安定撮像状態であると推定された場合に、最新の主要被写体判定処理の結果である主要被写体情報を出力する請求項１に記載の画像処理装置。
　安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定ステップと、
　主要被写体判定処理を行う主要被写体判定ステップと、
　上記安定撮像状態推定処理により安定撮像状態であると推定される場合に、上記主要被写体判定処理の結果を出力する出力ステップと、を備えた画像処理方法。
　安定撮像状態であるか否かを推定する安定撮像状態推定処理を行う安定撮像状態推定ステップと、
　主要被写体判定処理を行う主要被写体判定ステップと、
　上記安定撮像状態推定処理により安定撮像状態であると推定される場合に、上記主要被写体判定処理の結果を出力する出力ステップと、を演算処理装置に実行させるプログラム。