WO2013084593A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

　画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する。そして検出された候補画像について、複数フレームにわたる画像データ内での安定存在度を求める。この安定存在度を用いて、候補画像のうちで主要被写体を判定する。

Description

画像処理装置、画像処理方法、プログラム

　本開示は、画像内で主要な被写体を判定する画像処理装置、画像処理方法、及び画像内で主要な被写体を判定する処理を実行させるプログラムに関する。

　近年のデジタルスチルカメラ、デジタルビデオカメラには顔検出機能が標準的に備わっており、顔位置・領域に合わせてカメラの各種パラメータ（フォーカス・明るさ等）を最適に合わせるといった機能が搭載されている。

　一方、撮像画像内で、被写体追尾のターゲットとする「主要被写体」を、ユーザが指定することによって選択する手法が、特許文献１に記載されている。
　また例えば上記特許文献２，３，４に開示された技術を用いれば、任意の被写体の全身枠を取り囲んだ被写体追尾が実現できる。
　また、オートフォーカス・自動露光などは、撮像画像内の所望の領域を検出・追跡し、その領域がもっとも好適になるように光学系等を制御するような機能も存在する。
　これらのように、撮像画像内で、ユーザが主要被写体として指定した画像、例えば顔等の画像領域を追尾したり、顔領域にフォーカスを合わせる等の技術が知られている。

特開２０１１－１６６３０５号公報 特開２０１１－１４６８２６号公報 特開２０１１－１４６８２７号公報 特開２０１１－１６０３７９号公報

　ところで、撮像画像内での、追尾やフォーカス合わせの目的となる所望の領域、つまり「主要被写体」は、現状は各種検出器から得られる「複数の候補領域」の中から撮像者自身が何らかの方法で一つの候補を選択することで決定される。
　例えばカメラを所持した状態で、画面表示されたスルー画（シャッタ操作時点以外に表示される被写体のモニタリング画像）に写されている複数の顔の中からタッチパネルによって任意の顔を選択するというような行為で主要被写体が選定される。あるいはユーザ指定のタイミング（シャッタ半押し等）で所定の領域内に存在する被写体を主要被写体とするなどである。

　しかしながら実際のユースケースにおいてはこのユーザインターフェースを考えてみると、「撮像者による主要被写体の選択」という行為自体が難しいことが多々ある。
　たとえば動き回る被写体に焦点を合わせ続けたいためにこの機能を使いたいのに、ユーザがカメラを構えて被写体を狙いながら指で選択すること自体が難しい。
　例を挙げれば、被写体の変化（移動）に対するユーザの反応速度により、指定が困難なこともある。例えば動き回る被写体を、スルー画の画面上でうまく指定できないような場合である。
　また、そもそもカメラを手に持って、被写体に向けて被写体を選定しているような状況で、ユーザが画面上で主要被写体を指で選択する行為自体が難しい。
　またタッチパネルを配した表示画面の解像度によって、ユーザにとって被写体が選択しにくいことがある。
　また、タッチパネルを配した表示画面上の被写体サイズとユーザの指の大きさ（太さ）によっては、所望の被写体を適切に指定できないこともある。
　また、カメラシステム上のタイムラグ、例えば実際の光景と撮像画像のスルー画のタイムラグによって、ユーザが適切に被写体を指定しにくいこともある。

　さらには動画撮像・記録中にこの操作を行う場合には、主要被写体の選択行為による画揺れがそのまま記録されることになったり、フレームアウトあるいは一時遮蔽等による追跡消失（失敗）時に再選択という行為を強いることになっている。

　これらのように、ハンドヘルドタイプのカメラにおいて、主要被写体を選択する行為自体が、それを必要とする多くのユースケースで難しく、撮像者にストレスを与えてしまうといった問題がある。
　そこで本開示では、撮像者等のユーザが意図的に被写体を選択する行為を行わなくとも、ユーザの求める対象被写体を判定し、主要被写体とする技術を実現することを目的とする。

　本開示の画像処理装置は、画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する候補検出部と、上記候補検出部で検出した候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定部とを備える。

　本開示の画像処理方法は、画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、検出された候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する画像処理方法である。

　本開示のプログラムは、画像データの複数のフレームについて、それぞれ主要被写体の候補として検出された候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、を演算処理装置に実行させるプログラムである。

　これらの本開示の技術によれば、抽出された候補画像の中で、複数のフレームでの安定存在度を求める。安定存在度とは、ある画像が、画角空間内で位置的に所定の状態であることの頻度（時間的な存在確度）を示す値とする。カメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、安定存在度が高くなる。つまり撮像者が主として狙っている被写体は、撮像画像内の位置として、撮像者が中心と考える点や領域になるべく入るようにするし、さらに撮像者がその被写体を狙うことで、自然に長時間、撮像画像に入ってくる。従って、位置的に所定の状態が時間的に高い頻度で撮像画像内に存在する被写体（安定存在度が高い被写体）は、撮像者が狙っている主要被写体と推定できる。

　本開示によれば、撮像画像内で自動的に主要被写体が判定されるため、撮像者等のユーザが、主要被写体を選択する行為を行う必要は無い。従ってユーザの操作性、利便性を向上できる。例えば本開示の画像処理装置を搭載した撮像装置を手に持って撮像を行う場合の操作性の向上、ユーザストレスの低減、さらには自動的な主要被写体判定に応じた各種機能の実現という製品付加価値向上を実現できる。

本開示の実施の形態の画像処理装置の構成例のブロック図である。 実施の形態の画像処理装置の主要被写体判定処理のフローチャートである。 実施の形態の撮像装置のブロック図である。 実施の形態の主要被写体判定処理タイプＩのフローチャートである。 実施の形態の主要被写体判定処理タイプＩＩのフローチャートである。 実施の形態の候補画像枠と判定基準点の説明図である。 実施の形態の候補画像枠と判定基準点の距離の説明図である。 実施の形態の位置状態による安定存在度判定の説明図である。 実施の形態の処理例１のフローチャートである。 実施の形態の処理例２のフローチャートである。 実施の形態の処理例３のフローチャートである。 実施の形態の処理例４のフローチャートである。 実施の形態の処理例５のフローチャートである。 実施の形態の処理例６のフローチャートである。 実施の形態の候補画像枠と判定基準領域の説明図である。 実施の形態の位置状態による安定存在度判定の説明図である。 実施の形態の処理例７のフローチャートである。 実施の形態の処理例８のフローチャートである。 実施の形態の処理例９のフローチャートである。 実施の形態の処理例１０のフローチャートである。 実施の形態の処理例１１のフローチャートである。 実施の形態の処理例１２のフローチャートである。 実施の形態のコンピュータ装置での適用の場合のブロック図である。

　以下、実施の形態を次の順序で説明する。
＜１．画像処理装置の構成＞
＜２．撮像装置の構成＞
＜３．主要被写体決定処理概要＞
　［３－１：処理タイプＩ］
　［３－２：処理タイプＩＩ］
　［３－３：主要被写体判定機会／目的等］
＜４．具体的処理例＞
　［４－１：処理例１（タイプＩ；判定基準点；先着判定；累積存在）］
　［４－２：処理例２（タイプＩ；判定基準点；先着判定；継続存在）］
　［４－３：処理例３（タイプＩ；判定基準点；先着判定；累積存在；拡張例）］
　［４－４：処理例４（タイプＩ；判定基準点；先着判定；累積存在；条件判定付き）］
　［４－５：処理例５（タイプＩ；判定基準点；一定時間判定；累積存在）］
　［４－６：処理例６（タイプＩ；判定基準点；一定時間判定；継続存在）］
　［４－７：処理例７（タイプＩ；判定基準領域；先着判定；累積／継続存在）］
　［４－８：処理例８（タイプＩ；判定基準領域；一定時間判定；累積／継続存在）］
　［４－９：処理例９（タイプＩＩ；判定基準点；平均的存在）］
　［４－１０：処理例１０（タイプＩＩ；判定基準点；累積存在）］
　［４－１１：処理例１１（タイプＩＩ；判定基準点；継続存在）］
　［４－１２：処理例１２（タイプＩＩ；判定基準領域；平均的存在）］
＜５．プログラム及びコンピュータ装置への適用＞
＜６．変形例＞

　なお、使用する各用語の意味は次の通りである。
　「画角空間」（Field of view）とは、撮像画像に表れる空間を意味する。主に撮像画像における画面平面としての２次元空間としての意味を有するが、これだけでなく、さらに撮像時のカメラ位置に対する被写体の相対的な距離も含む３次元空間としての意味でも用いる。なお、撮像画像について、撮像時のカメラ位置に対する被写体の相対的な距離のことを述べる場合、「被写体距離」という言葉を用いる。
　実施の形態においては「画角空間」とは、主に画面平面の２次元空間（撮像画像におけるｘ－ｙ座標空間）を表す意味で用い、本開示の技術は「画角空間」は画面平面の２次元空間であるとして適用できるが、特に画面平面に加えて「被写体距離」を考慮する場合は、「画角空間」は３次元空間（ｘ－ｙ－ｚ座標空間）を意味するものとなる。
　さらにいえば、後に変形例として述べるが、「画角空間」は、画面平面の横方向位置（ｘ座標）のみ、又は画面平面の横方向位置（ｙ座標）のみ、又は被写体距離（ｚ座標）のみを考えた１次元空間と考えることも可能である。

　「位置状態」とは、撮像画像データにおける候補画像の、画角空間内の絶対的又は相対的な位置の状況を総称した言葉とする。
　「位置状態」の具体例としては、
・実施の形態で説明する判定基準点との相対距離
・実施の形態で説明する判定基準領域に対する相対的位置関係や相対距離
・撮像画像の二次元平面内での候補画像の位置
・被写体距離
・被写体距離と判定基準点又は判定基準領域との相対位置関係
などがある。

　「安定存在度」とは、画角空間内で或る被写体が位置的に所定の状態にある頻度を示す値とする。例えば時間的に高い確度で画像内において所定の状態にあるか否かを判定できる指標値である。後述する実施の形態に即して言えば、候補画像が、画角空間内の位置状態として、ある所定の位置状態に存在する累積時間や継続時間、或いは平均的存在等を示す値であり、この「安定存在度」として計算される例えば累積時間や継続時間が高い画像は、撮像者が主として狙っている被写体と推定できるものとしている。

＜１．画像処理装置の構成＞
　図１に、実施の形態の画像処理装置の構成例を示す。
　画像処理装置１は、主要被写体判定部２と候補検出部３を有する。

　候補検出部３は、入力された画像データＤｇの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、主要被写体判定部２に候補画像情報を出力する。
　即ち、時間軸上で連続的に入力される画像データＤｇのフレーム毎（又は間欠的なフレーム毎）に、顔画像検出、人体画像検出などを行って、主要被写体の候補となる画像を抽出する。
　なお、顔検出、人体検出等は、撮像画像データに対しての画像解析におけるパターンマッチングの手法などで可能であるが、パターンマッチングに用いる辞書さえ差し替えれば他の検出器も原理的には実現可能である。例えば（特定種の）犬顔検出・猫顔検出などとして主要被写体の候補画像を抽出してもよい。
　また例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることも考えられるし、セイレンシ（Saliency）と呼ばれる注視領域抽出の手法を用いてもよい。
　そして候補検出部３は、抽出した候補画像を示す情報、例えば候補画像の画面内の二次元方向の位置情報（ｘ，ｙ座標値）や、被写体距離、画像サイズ（ピクセル数）などを候補画像情報として出力する。

　主要被写体判定部２は、候補検出部３から供給された候補画像情報で示される候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、求めた安定存在度を用いて、候補画像のうちで主要被写体を判定する。そして主要被写体情報Ｄｍを出力する。
　このため主要被写体判定部２は、例えばソフトウエアプログラムにより実現される演算処理機能として、位置状態判定部２ａ、安定存在度算出部２ｂ、設定処理部２ｃが設けられる。

　位置状態判定部２ａは、候補画像情報で示される候補画像について、画角空間内における位置状態を判定する。
　安定存在度算出部２ｂは、位置状態判定部２ａで判定された、各フレームでの候補画像の位置状態から、各候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める。
　設定処理部２ｃは、安定存在度算出部２ｂで求められた安定存在度を用いて、各候補画像の中から主要被写体を判定し、或る候補画像を主要被写体と設定する処理を行う。主要被写体として設定された画像を示す情報が、主要被写体情報Ｄｍとして出力され、他のアプリケーションソフトウエアや処理回路部等に受け渡される。

　なお、候補検出部３は、画像解析装置として、ビデオ処理ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で実現できる。
　また主要被写体判定部２は演算処理装置としてＣＰＵやＤＳＰで実現できる。
　また、主要被写体判定部２を構成するＣＰＵ等が、候補検出部３としての動作を実行する構成も想定される。つまり、画像解析を行う候補検出部３が、主要被写体判定部２となる演算処理装置内の一機能ブロックとして構成される場合もある。

　この画像処理装置１による処理の流れは図２Ａのようになる。
　ステップＦ１０００として、画像データＤｇの入力が開始される。画像データＤｇは、図示しない撮像装置部、或いは別体の撮像装置から送信された画像データを受信する受信部等により入力されてくる。或いは撮像装置で撮像され、記録媒体に保存された動画像データが、再生されて入力される場合もある。

　画像処理装置１が主要被写体判定を実行する場合、処理はステップＦ１００１からＦ１００２に進む。
　ステップＦ１００２では、候補検出部３が、順次入力されてくる画像データＤｇの各フレームを対象として画像解析やフレーム差分検出、注視領域検出等を行い、所定の候補画像の検出を行う処理を開始する。
　候補検出部３は、入力される全てのフレームを対象として候補画像抽出を行ってもよいし、１フレームおき、２フレームおきなど、間欠的なフレームを対象として候補画像抽出を行ってもよい。即ち候補検出部３は、主要被写体判定を行う期間は、少なくとも時系列上での複数のフレームに対して、候補画像の抽出処理を行っていけばよい。どのような画像を候補画像とするかは設定により多様であるが、例えば顔画像、人体画像、犬画像、猫画像などが考えられる。
　そして候補検出部３は、各フレームについてそれぞれ、検出した候補画像を示す候補画像情報を主要被写体判定部２に出力する。

　ステップＦ１００３では主要被写体判定部２が、主要被写体判定処理を行う。
　この主要被写体判定処理は図２Ｂのようになる。
　ステップＦ１で、位置状態判定部２ａが、順次入力される候補画像情報を取り込み、各候補画像の位置状態を判定する。候補画像は１フレームに付き、１又は複数存在することがあるし、フレーム内に候補画像が存在しないこともある。或るフレームに複数の候補画像が存在する場合、各候補画像について位置状態をそれぞれ判定することとなる。

　ステップＦ２では、位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、安定存在度算出部２ｂが、候補画像についての、複数フレームにわたる画像データ内での安定存在度を算出する。例えば位置状態が画像中心に近い状態である頻度を示す値などとしての安定存在度を算出する。

　ステップＦ３では、設定処理部２ｃが、各候補画像についての安定存在度を用いて、候補画像のうちで主要被写体を判定する。例えば位置状態が画像中心に近い状態である頻度を示す値などとしての安定存在度が最も高い値となった（或いは時間的に最も早く所定値に達した）候補画像を、主要被写体と判定する。

　図２ＡのステップＦ１００３では、主要被写体判定部２が以上のように図２ＢのステップＦ１～Ｆ３を行って、例えば１つの候補画像を主要被写体として設定する。
　そして図２ＡのステップＦ１００４で、主要被写体判定部２は、主要被写体情報Ｄｍをアプリケーションプログラム等に受け渡す。
　アプリケーションプログラム等では、主要被写体と設定された画像が特定されたことに応じた処理を行う。例えば、フォーカス制御、追尾処理、画像効果処理などである。

　以上のように画像処理装置１による主要被写体判定処理は、抽出された候補画像の中で、複数のフレームでの安定存在度を求める。つまり時間的に高い頻度で位置的に安定して、画像内に存在するかどうかを判断する指標値を求める。
　例えばカメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、安定存在度が高くなる。つまり撮像者が主として狙っている被写体は、撮像画像内の位置として、撮像者が中心と考える点や領域になるべく入るようにするし、さらに撮像者がその被写体を狙うことで、自然に長時間、撮像画像に入ってくる。従って、位置的に安定し、かつ時間的に高い頻度で撮像画像内に存在する被写体（安定存在度が高い被写体）は、撮像者が狙っている主要被写体と推定できる。
　このような安定存在度により主要被写体判定を行う。これにより、撮像者等のユーザが特に指定操作することなく、主要被写体が自動判定されることになり、主要被写体設定に応じた動作を行う各種電子機器においてユーザの操作性は格段に向上する。

＜２．撮像装置の構成＞
　以下では、上記のような画像処理装置を内蔵した撮像装置１０を例に挙げ、主要被写体判定動作について詳しく説明する。
　実施の形態の撮像装置１０の構成例を図３に示す。この撮像装置３はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。
　また画像処理装置における上述の主要被写体判定部２に相当する構成は、撮像装置１０における制御部３０においてソフトウエアにより実装される。制御部３０は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を行う。

　図１に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、ユーザインターフェースコントローラ（以下、「ＵＩコントローラ」）３２、ユーザインターフェース３３を有する。

　光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
　イメージャ１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型などの撮像素子を有する。
　このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）処理などを実行し、さらにＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。

　光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。

　デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。
　例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、候補検出部２６を備えている。

　前処理部５１は、イメージャ１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
　同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
　ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
　解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
　コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

　候補検出部２６は、図１で説明した候補検出部３に相当するもので、例えばＹＣ生成部２３で得られる撮像画像信号（輝度信号／色信号）を対象として、各フレーム単位での画像解析処理を行い、候補画像を抽出する。例えば一例としては、顔画像の検出を行い、その顔画像が存在する領域を候補画像枠として抽出する。抽出した候補画像については、その候補画像枠の位置情報（画面上でのｘ，ｙ座標値、被写体距離の情報等）や、サイズ情報（例えば候補画像枠の幅、高さ、ピクセル数等）を、候補画像情報として制御部３０の主要被写体判定部３１に受け渡す。なお、ここでは、候補画像となる画像領域の枠を示す情報であることから、候補画像情報のことを「候補画像枠情報」ともいうこととする。
　また、候補画像枠情報としては、さらに、候補画像の属性情報（顔、人体、犬、猫等の種別や、個人（個体）識別情報、さらには画像データ自体を含むようにしてもよい。
　候補検出部２６は、上述のようにパターンマッチングの手法で候補の対象とする特定の画像を抽出してもよいし、例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることなども考えられる。候補画像の抽出、選定の手法は以上に限定されず、多様に考えられる。
　また、候補検出部２６は、画像に平滑化処理、アウトライヤ（outlier）除去等の処理を行って、候補画像枠情報を生成してもよい。

　制御部３０は、ＣＰＵ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
　ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
　ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。例えば本例において後述する主要被写体判定処理を実行するためのプログラムや、さらに主要被写体判定結果を利用するアプリケーションプログラム等が記憶される。

　このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
　さらに本実施の形態の場合、制御部２は、主要被写体判定３１としての機能を備え、後述する主要被写体判定処理を実行する。
　主要被写体判定部３１は、図１の主要被写体判定部２に相当する機能であり、上述した位置状態判定部２ａ、安定存在度算出部２ｂ、設定処理部２ｃとしての処理を実行する。

　ユーザインターフェース３３は、ユーザに対する表示出力や音声出力を実行し、またユーザの操作入力を受け付ける。このため、表示デバイス、操作デバイス、スピーカデバイス、マイクロホンデバイスなどを有する。ここでは、表示部３４，操作部３５を示している。

　表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
　この表示部６は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）としての表示を画面上に実行させる。本実施の形態の場合、例えばスルー画や再生画上で、主要被写体判定による判定結果がユーザにわかるような表示も実行される。

　操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
　この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表 示部３４に形成されたタッチパネルなどとして実現される。
　筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
　またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

　ユーザインターフェース３３の表示部３４等の動作は、制御部３０の指示に従ってＵＩコントローラ３２により制御される。また操作部３５による操作情報は、ＵＩコントローラ３２によって制御部３０に伝達される。

　記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
　画像ファイルは、例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆｏｒｍａｔ）等の形式で記憶される。
　記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などとして実現されることもある。
　また、本例において後述する主要被写体判定処理を実行するためのプログラムは、記録部１５に記憶されてもよい。

　通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
　例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
　また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

　センサ部１４は各種センサを包括的に示している。例えば手ぶれを検出するためのジャイロセンサ、撮像装置１０の姿勢を検出するための加速度センサ等が設けられる。さらに撮像装置１０の姿勢や移動を検出する角速度センサや、露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
　センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

＜３．主要被写体決定処理概要＞
　以上の構成の撮像装置１０において、制御部３０（主要被写体判定部３１）が実行する主要被写体判定処理について、以下説明していく。
　後に、具体的な処理例１～１２として、各種の主要被写体判定処理例を述べるが、主要被写体判定処理とは、候補画像情報で示される候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する処理である。このような主要被写体判定処理として、以下に処理タイプＩ、処理タイプＩＩを例示する。但し本開示の主要被写体判定処理が２つのタイプのみに限定されるわけではなく、後述する処理例１～１２が、大きく分けるとタイプＩ、タイプＩＩに分けられるという意味である。

　処理タイプＩは、主要被写体判定を行う期間に、候補画像情報を取り込みながら、判定を実行する処理態様である。
　一方、処理タイプＩＩは、或る期間に、候補画像情報の取り込み（バッファリング）を行う。そして当該期間が経過したら、取り込んだ候補画像情報を用いて主要被写体判定を行う処理態様である。

　［３－１：処理タイプＩ］
　処理タイプＩの処理の流れを図４に示す。なお図４では、各ステップＦ１０～Ｆ１５について、上記図２ＢのステップＦ１（取り込み／位置状態判定）、Ｆ２（安定存在度算出）、Ｆ３（主要被写体設定）に相当する処理の対応関係も示しておく。
　以下は、制御部３０の主要被写体判定部３１による処理である。

　ステップＦ１０で制御部３０は、候補検出部２６からの、或る１つのフレームについての候補画像枠情報を取り込む。
　ステップＦ１１で制御部３０は、取り込んだ候補画像枠情報で示される１又は複数の各候補画像枠について、それぞれ画角空間内の位置計算を行って位置状態を判定する。
　この場合、位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する。又は、位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する。

　ステップＦ１２で制御部３０は、各候補画像枠について安定存在度を計算する。この場合制御部３０は、安定存在度として、位置状態が所定条件を満たしている累積時間情報を算出する。又は、制御部３０は、安定存在度として、位置状態が継続して所定条件を満たしている継続時間情報を算出する。
　なお、安定存在度の算出には、算出の条件として、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。

　ステップＦ１３で制御部３０は、安定存在度を用いて主要被写体を判定する。
　ここでステップＦ１３での判定は、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する処理である。又は、主要被写体判定期間に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理である。
　また主要被写体の判定には、安定存在度の値に加えて、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。

　安定存在度の値が所定値に達した候補画像が未だ存在しない時点、あるいは所定の主要被写体判定期間を経過しておらずに、当該期間中での安定存在度の値が最も高い候補画像が未だ選定できない時点では、ステップＦ１３の処理では、まだ主要被写体と判定できない。その場合、制御部３０はステップＦ１４からＦ１０に戻って、各処理を繰り返す。つまり、候補検出部２６で次に処理を行ったフレームの候補画像枠情報を取り込んで、同様の処理を行う。

　或る時点で安定存在度の値が所定値に達した候補画像が発見された場合、あるいは所定の主要被写体判定期間を経過して、当該期間中での安定存在度の値が最も高い候補画像が選定できた時点では、制御部３０はステップＦ１４からＦ１５に進む。そして、ステップＦ１３で判定された候補画像を、主要被写体と設定する。

　［３－２：処理タイプＩＩ］
　続いて処理タイプＩＩの処理の流れを図５に示す。図５でも、各ステップＦ２０～Ｆ２４について、上記図２ＢのステップＦ１（取り込み／位置状態判定）、Ｆ２（安定存在度算出）、Ｆ３（主要被写体設定）に相当する処理の対応関係も示しておく。
　以下は、制御部３０の主要被写体判定部３１による処理である。

　ステップＦ２０で制御部３０は、候補検出部２６からの、或る１つのフレームについての候補画像枠情報を取り込む。
　ステップＦ２１で制御部３０は、取り込んだ候補画像枠情報で示される１又は複数の各候補画像枠について、それぞれ画角空間内の位置計算を行って位置状態を判定する。
　例えば位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する。又は、位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する。
　そして制御部３０は、算出した位置状態（距離や位置関係）の情報を内部ＲＡＭ等に蓄積（バッファリング）する。

　ステップＦ２２では、制御部３０は、所定期間（所定の主要被写体判定期間としての時間長、又はフレーム数）での、位置状態の情報の蓄積を完了したか否かを判別し、未だ蓄積完了でなければステップＦ２０に戻る。
　つまり所定期間が経過したか、又は所定フレーム数分、ステップＦ２０，Ｆ２１の処理を行ったか否かを判定する。

　蓄積完了となった時点で制御部３０はステップＦ２３に進む。
　ステップＦ２３で制御部３０は、各候補画像枠についてバッファリングしていた例えば所定期間の位置状態の情報を用いて、安定存在度を計算する。
　この場合制御部３０は、安定存在度として、位置状態が所定条件を満たしている累積時間情報、又は、位置状態が継続して所定条件を満たしている継続時間情報を算出する。
　なお、安定存在度の算出には、算出の条件として、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。

　ステップＦ２４で制御部３０は、安定存在度を用いて主要被写体を判定する。
　例えばバッファリングを行った主要被写体判定期間中に、安定存在度の値が最も高い候補画像を、主要被写体と判定し、主要被写体を設定する。
　なお主要被写体の判定には、安定存在度の値に加えて、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。

　なお、この図５の処理タイプＩＩとしては、例えばステップＦ２１をステップＦ２２で蓄積完了と判断された後に行う例も考えられる。つまり候補画像枠情報を所定期間蓄積していき、期間経過後、各候補画像枠情報について位置状態の情報を求める手法である。

　［３－３：主要被写体判定機会／目的等］
　本実施の形態では、以上の処理タイプＩ、ＩＩによって主要被写体判定が行われるが、撮像装置１０において主要被写体判定を行う機会や目的等について説明しておく。

　まず主要被写体判定結果の利用例を述べる。
　主要被写体判定は、例えばユーザ（撮像者）がシャッタタイミング（レリーズタイミング）を狙っている際に実行されるが、制御部３０は主要被写体を自動的に判定した後、次のような処理を行うことができる。

・追尾処理
　撮像される各フレームにおいて設定された主要被写体を追尾する。例えばスルー画表示上でユーザに主要被写体を明示して、ユーザの画角調整（例えばカメラを手に持っている状態における被写体決め）の用に供する。
　なお、主要被写体の提示としては、表示部３４でのスルー画表示上で主要被写体の枠を強調表示することが考えられる。また、強調表示等は、判定直後の一定期間でもよいし、スルー画内に主要被写体が存在する限り実行させてもよい。

・フォーカス合わせ
　主要被写体にオートフォーカス制御する。また、追尾処理と合わせて、主要被写体が動き回っていても、フォーカスが、その主要被写体に追尾して調整されるようにする。
・露光調整
　主要被写体の明るさ（輝度）に基づいて自動露光調整を行う。
・指向性調整
　撮像（例えば動画撮像）とともにマイクロホンにより音声収音を行う場合、画角空間内での主要被写体の方向に応じて、指向性調整を行う。

　また、撮像画像信号に対する各種信号処理にも用いることができる。
・画像効果処理
　撮像される各フレームにおいて主要被写体の領域にのみ、画質調整、ノイズリダクション、肌色調整などの画像処理を加える。
　或いは、主要被写体の領域以外に、画像効果、例えばモザイク処理、ぼかし処理、塗りつぶし処理等を加えることも考えられる。

・画像編集処理
　撮像画像、もしくは記録された画像について、フレーミング、クロッピング等の編集処理を加える。
　例えば主要被写体を含むフレーム内の一部領域の切り出しや、拡大等の処理を行うことができる。
　また、撮像画像データのうちで、主要被写体が画像の中心に配置されるように画像周辺部のカット等を行い、構図調整を行うことができる。

　これらは一例に過ぎないが、これら以外にも、アプリケーションプログラムや撮像装置内の自動調整機能が、設定した主要被写体を利用する処理は各種考えられる。

　次に主要被写体判定処理をどのような時点で実行するかも各種考えられる。
　例えば撮像装置１０が電源オンとされて、撮像を行っているとき（表示部３４にスルー画を表示している期間）は、常時主要被写体判定処理を行っていてもよい。
　また、主要被写体を判定したら、追尾処理を行う場合、追尾が外れた時点で、再度主要被写体判定処理を行うようにしてもよい。
　また、ユーザ操作により主要被写体判定処理が開始されるようにしてもよい。
　またユーザが、判定実行モードを選択しているときに、常時実行されたり、追尾が外れたときに実行されるなどとしてもよい。
　またユーザ操作にかかわらず、自動的に主要被写体判定処理が起動されることも考えられる。

　主要被写体判定処理を行うことによる効果としては次のとおりである。
　先に述べたように、撮像者が撮像装置１０をもって被写体を狙っているときには、そもそも主要被写体を指定するような操作は難しい。また何度も指定する行為は面倒である。主要被写体判定を自動的に実行することによれば、このようなことが解消され、ユーザストレスの低減効果が得られる。
　またユーザが通常使用するデジタルスチルカメラ、携帯電話機内蔵カメラなど、ユーザが携帯して使用する撮像装置１０としては、表示部３４も小型であり、ユーザが主要被写体を画面上で指定する操作を行ったとしても、正確に行いにくい。本実施の形態のように自動判定することで、誤指定ということもなくなる。

　また撮像装置１０が自動的に主要被写体判定を行うことによれば、ユーザにとっては、被写体を狙って撮像装置１０を構えているのみで、主要被写体判定が実行されることとなり、ユーザが装置に感じるインテリジェント感の向上や、付加価値の向上という効果が得られる。
　また撮像装置１０を自然に構えていれば主役を撮れる、という感覚で使用できるため、撮像機会の増加、対応ユースケースの増加ということができ、使いやすいカメラをユーザに提供できることにもなる。

　以上のことから、ハンドヘルドカメラとして、主要被写体判定を自動的に行う本実施の形態の撮像装置１０は特に好適となる。

＜４．具体的処理例＞
　［４－１：処理例１（タイプＩ；判定基準点；先着判定；累積存在）］
　以下、制御部３０が実行する主要被写体判定処理の具体例として処理例１～処理例１２を順次説明していく。
　処理例１は、上述の処理タイプＩの具体例である。
　そして候補画像枠の位置状態としては、設定した判定基準点との距離を求める。
　また、各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている累積時間情報を算出する。
　また、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。

　具体的処理の説明に先立って、図６、図７、図８で候補画像枠、判定基準点との距離、安定存在度のそれぞれについて説明する。

　図６は候補検出部２６で行われる候補画像枠の抽出動作を模式的に示したものである。
　図には、撮像装置１０の光学系１１，イメージャ１２の動作によりデジタル信号処理部２０に入力される撮像画像信号の各フレームＦＲ１，ＦＲ２，ＦＲ３・・・を示している。候補検出部２６は、このような順次入力される連続した各フレームのそれぞれ（或いは間欠的な各フレームについて）に候補画像の検出を行う。
　例えば図示のように、フレームＦＲ１について、３人の人が存在していた場合、それぞれの顔画像部分を候補画像として抽出し、その候補画像枠Ｅ１，Ｅ２，Ｅ３についての候補画像枠情報を出力する。例えば候補画像枠Ｅ１の候補画像枠情報は、例えばこの候補画像枠Ｅ１の画像内での位置情報（ｘ，ｙ位置情報、被写体距離情報）、サイズ情報（枠の幅、高さ、ピクセル数）、属性情報等である。
　候補検出部２６は、このような候補画像枠情報を、候補画像枠Ｅ２，Ｅ３についても生成し、制御部３０（主要被写体判定部３１）に受け渡す。

　後続のフレームＦＲ２、ＦＲ３・・・についても同様に、候補検出部２６は候補画像の抽出を行い、それぞれの候補画像枠について、候補画像枠情報を生成して制御部３０に受け渡していく。

　制御部３０は、各フレームの候補画像枠情報を取り込む度に、各候補画像枠について位置状態として、判定基準点との距離を算出する。
　図７Ａに判定基準点ＳＰの例を示している。これは画像中央を判定基準点ＳＰとした例である。判定基準点ＳＰのｘｙ座標値を（Ｃｘ，Ｃｙ）とする。
　例えばフレームＦＲ１の時点で、候補画像枠Ｅ１，Ｅ２，Ｅ３のそれぞれの候補画像枠情報が取り込まれた場合、制御部３０は、図示する各候補画像枠Ｅ１，Ｅ２，Ｅ３の重心Ｇから判定基準点ＳＰの距離Diff１、Diff２、Diff３を算出する。

　なお、判定基準点ＳＰが画面中央とされるのは一例である。
　例えば図７Ｂのように、中央よりやや左上方の位置に判定基準点ＳＰを設定してもよい。例えば静止画の構図を考えた場合、このような中央でない位置に主たる被写体を配置するとよい場合が多々考えられるからである。
　いずれにしても、図７Ｂのように、各候補画像枠（例えばＥ４，Ｅ５）と判定基準点ＳＰの距離（例えばDiff４、Diff５）を算出するようにする。

　判定基準点ＳＰは、例えば図７Ａ、図７Ｂのような位置に固定的に設定していてもよいし、ユーザが表示画面上でのタッチ操作などにより任意に指定できるようにしてもよい。また表示部３４の画面上でユーザにいくつかの判定基準点の候補点を提示し、ユーザが選択できるようにしてもよい。さらには、画像内容、画像解析結果などに応じて制御部３０が構図などを考慮して最適な位置を判定し、自動設定することも考えられる。
　即ち判定基準点ＳＰについては、
・画像中央位置、或いは中央よりずれた位置などとして、予め決められた固定的な位置に設定される。
・ユーザが任意に指定する。
・いくつかの候補点をユーザに提示し、ユーザが選択することで設定される。
・制御部３０が画像内容に応じて最適位置を判定し、自動的に可変設定する。
などが考えられる。

　候補画像枠Ｅ（ｎ）についての位置状態としての距離Diff（ｎ）は、各フレームの時点で求めていく。
　図８は、仮に候補画像枠Ｅ１，Ｅ２，Ｅ３が、ある期間継続してフレーム（ＦＲ１，ＦＲ２・・・）内に存在し続けたとして、算出される距離Diff１、Diff２、Diff３の変動の様子を示したものである。
　例えば撮像者が撮像装置１０で、ある期間、３人の被写体をとらえていた場合を想定している。３人の各人が、それぞれ動いていたり、或いは撮像者が撮像装置１０の被写体方向を動かしていたり、手ぶれがあるなどにより、時間軸上では、算出される各距離Diff１、Diff２、Diff３は変動している。

　処理例１では、安定存在度とは、判定基準点ＳＰに近い状態の累積時間とする。このため、「近い／近くない」の判定に、距離閾値Trs-diffを用いる。
　図８下部には、距離Diff１、Diff２、Diff３の各時点での、距離閾値Trs-diff以内か否かの判定結果を示している。距離Diff（ｎ）が距離閾値Trs-diff以下であれば、近い＝「１」とされることとする。
　この判定結果「１」を各時点で累積加算していったものが処理例１での安定存在度となる。

　判定開始から判定終了までの期間は処理例によって異なる。処理例１では、距離閾値Trs-diff以下の判定結果「１」の累積加算値は、その時点までの安定存在の度合いを示す累積時間となるが、その累積時間が所定値に達した候補画像が発見された時点が判定終了のタイミングとなる。
　例えば図８の例では、候補画像枠Ｅ３は、継続して「１（＝判定基準点ＳＰに近い）」と判定されるが、この累積加算値が或る所定値に達した時点で、判定が終了され、候補画像枠Ｅ３が主要被写体と判定されることとなる。

　なお処理例１では、継続性は問われない。例えば図８における候補画像枠Ｅ２の距離Diff２は、時点によって「１」「０」の判定があるが、あくまでも累積時間であるため、「１」の状況が多く、他の候補画像枠よりも早く累積時間が所定値に達した場合は、候補画像枠Ｅ２が主要被写体と判定されることもあり得る。

　図９で処理例１としての制御部３０の主要被写体判定処理を説明する。
　制御部３０は、主要被写体判定処理を開始すると、まずステップＦ１００で変数ＴＳＦ＝０とし、またカウント値Cnt（ｎ）＝０とする。
　変数ＴＳＦとは、主要被写体設定済みか否かを示すフラグである。ＴＳＦ＝「０」は、主要被写体が未判定の状態を示すこととなる。
　またカウント値Cnt（ｎ）は、上述の距離Diffの距離閾値Trs-diffとの比較判定結果の値を加算するカウンタの値である。

　なお「ｎ」は、自然数１，２，３・・・を表し、カウント値Cnt（ｎ）は、候補画像枠Ｅ１，Ｅ２，Ｅ３のように、検出された候補画像枠Ｅ（ｎ）にそれぞれ対応するカウント値としている。例えば３つの候補画像枠Ｅ１，Ｅ２，Ｅ３が検出される場合、カウント値として、Cnt１、Cnt２、Cnt３が用いられる。フローチャートの説明上、カウント値Cnt（ｎ）についての処理とは、例えばCnt１、Cnt２、Cnt３のそれぞれを対象とする処理を示しているものと理解されたい。
　また、同様に距離Diff（ｎ）とは、３つの候補画像枠Ｅ１，Ｅ２，Ｅ３の判定基準点ＳＰからの距離Diff１、Diff２、Diff３を総称して表すものとしており、距離Diff（ｎ）についての処理とは、例えば距離Diff１、Diff２、Diff３のそれぞれについての処理という意味で用いている。

　また、候補画像枠Ｅ（ｎ）は候補画像枠Ｅ１，Ｅ２，Ｅ３・・・を表すが、これは複数フレームにわたって、被写体別に区別されることが望ましい。例えば候補検出部２６が顔を抽出する例でいうと、人物Ａ、人物Ｂ、人物Ｃが被写体となっている場合、各フレームにおいて共通に、人物Ａの顔画像部分が候補画像枠Ｅ１、人物Ｂの顔画像部分が候補画像枠Ｅ２、人物Ｃの顔画像部分が候補画像枠Ｅ３というようにされる。もし途中の或るフレームで、人物Ｄのみが被写体に入っている状態になったとしても、人物Ｄの顔画像部分は候補画像枠Ｅ４とされる。従って候補検出部２６は、単に「顔」を検出するのみでなく、個体（個人）判別も行うこととするとよい。

　ステップＦ１０１で制御部３０は、候補検出部２６から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Ｅ（ｎ）について、位置情報として、画像データの二次元（ｘ－ｙ）座標値としてのｘ値、ｙ値や、サイズ情報として候補画像枠の幅ｗ、高さｈの情報を取得する。
　なお、候補画像枠情報には被写体距離（上記二次元（ｘ－ｙ）座標平面に直交するｚ軸方向の値で表される、カメラ位置に対する被写体の相対的な距離：ｚ値）やピクセル数等も含まれていてもよい。

　ステップＦ１０２で制御部３０は、各候補画像枠Ｅ（ｎ）について、重心Ｇの座標を算 出する。
　例えば候補画像枠情報によっては、候補画像枠のｘ，ｙ座標値として、方形の候補画像枠の左上頂点の座標値が与えられるとする。このｘ，ｙ座標値を（E(n)_x，E(n)_y）とする。また図７に示したように、ｘ，ｙ座標は画面平面の左上を原点Ｏ（ｘ，ｙ座標値が（０，０））とする。
　また候補画像枠Ｅ（ｎ）の幅ｗをE(n)_w、高さｈをE(n)_hとする。
　そして候補画像枠Ｅ（ｎ）の重心Ｇの座標値を（E(n)_cx，E(n)_cy）とすると、重心Ｇの座標値は、
　E(n)_cx＝E(n)_cx＋E(n)_w／２
　E(n)_cy ＝E(n)_cy＋E(n)_h／２
　として求められる。

　ステップＦ１０３で制御部３０は、各候補画像枠Ｅ（ｎ）の重心Ｇから、判定基準点ＳＰまでの距離Diff（ｎ）を算出する。判定基準点ＳＰの座標値（Ｃｘ，Ｃｙ）として、
　Diff（ｎ）＝√｛（E(n)_cx－Ｃｘ）²＋（E(n)_cy－Ｃｙ）²｝で求められる。

　ステップＦ１０４で制御部３０は変数ＴＳＦを確認する。変数ＴＳＦ＝０であればステップＦ１０５に進む。
　なお、主要被写体判定処理を開始した後、常時、処理を継続する場合、判定不要時（変数ＴＳＦ＝１のとき）には、このステップＦ１０４での処理を抜けることとなる。ユーザ操作や自動的な起動判断で、必要時に図９の主要被写体判定処理を実行するようにする場合などではステップＦ１０４は不要としてもよい。後述する処理例２以降も同様である。

　ステップＦ１０５、Ｆ１０６，Ｆ１０７では、制御部３０は各候補画像枠Ｅ（ｎ）が距離Diff（ｎ）に関して所定の条件を満たしているか否かを確認する。
　即ち判定基準点ＳＰまでの距離Diff（ｎ）が、判定基準点ＳＰに近いか近くないかを、距離閾値Trs-diffを用いて判定する。
　このため制御部３０はステップＦ１０５で、各候補画像枠Ｅ（ｎ）の判定基準点ＳＰまでの距離Diff（ｎ）と距離閾値Trs-diffを比較し、Diff（ｎ）＜Trs-diffであればステップＦ１０６でフラグＦｌｇ（ｎ）＝１（近い）とする。またDiff（ｎ）＜Trs-diffでなければステップＦ１０７でフラグＦｌｇ（ｎ）＝０（近くない）とする。

　次にステップＦ１０８，Ｆ１０９で制御部３０は、各候補画像枠Ｅ（ｎ）の安定存在度を算出する。この場合、ステップＦ１０８で、各候補画像枠Ｅ（ｎ）について、フラグＦｌｇ（ｎ）＝１であるか否かを確認し、フラグＦｌｇ（ｎ）＝１であれば、ステップＦ１０９でカウント値Cnt（ｎ）をインクリメント（＋１加算）する。フラグＦｌｇ（ｎ）＝０の場合は、カウント値Cnt（ｎ）は変更しない。
　このカウント値Cnt（ｎ）は、上述した累積加算値としての安定存在度の値となる。つまり、候補画像枠Ｅ（ｎ）が判定基準点ＳＰに「近い」状態の頻度を表す値となる。

　次にステップＦ１１１，Ｆ１１２，Ｆ１１３で制御部３０は、各候補画像枠Ｅ（ｎ）の安定存在度を用いて、主要被写体の判定を行う。
　制御部３０はステップＦ１１１で、各候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）が、カウント閾値ＣＴｔｈｒに達しているか否かを確認する。

　Cnt（ｎ）≧ＣＴｔｈｒでなければ、つまり各候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）のいずれもが、カウント閾値ＣＴｔｈｒに達していなければ、ステップＦ１１３で変数ＴＳＦ＝０のままとし、ステップＦ１１４で判定終了とはせず、ステップＦ１０１に戻る。この場合、次のフレームについて入力される候補画像枠情報に基づいて、ステップＦ１
０１以降の処理を上記同様に実行していく。

　なお、ステップＦ１１４は、変数ＴＳＦ＝０であれば、まだ主要被写体の判定は完了していないとして判定処理継続とし、変数ＴＳＦ＝１であれば、主要被写体判定は完了したとする。
　先に述べたステップＦ１０４で変数ＴＳＦ＝１が検出された場合、そのまま判定終了となる。
　詳しい説明は省略するが、本例の自動的な主要被写体判定とは並行して、例えばユーザが主要被写体を表示部３４の画面上のタッチ操作、或いは被写体を画面上に所定位置に合わせてシャッタボタンを半押しするなどの操作として、主要被写体選択ができるようにしてもよい。図９の処理の実行中に、ユーザがこのような指定操作を行った場合、ユーザの操作を優先することが好ましい。そこで、そのようなマニュアル操作として主要被写体設定が行われた場合、変数ＴＳＦ＝１とする。この場合、図９の処理はステップＦ１０４，ｆ１１４の判断により、処理を終了（中断終了）することとすればよい。

　安定存在度による主要被写体判定は、或る時間長をもって判定されるため、ある程度の時間（フレーム数）での候補画像枠情報についての処理を経なければ、上記のようにステップＦ１１４で判定終了とはならずにステップＦ１０１に戻って処理が繰り返される。

　ここで、例えば図８で示したように或る候補画像枠Ｅ３が、非連続的でもよいが、複数のフレームのうちで高い頻度で、撮像画像上で判定基準点ＳＰに近い位置に存在する状況があったとする。すると時間が進むにつれ、候補画像枠Ｅ３のカウント値Cnt１のステップＦ１０９でのインクリメントの機会が多く発生し、カウント値Cnt３が、カウント値Cnt１、Cnt２よりも早く進む。
　すると或る時点で、カウント値Cnt３がカウント閾値ＣＴｔｈｒに最初に到達することとなる。
　このような場合、制御部３０は処理をステップＦ１１１からＦ１１２に進める。
　ステップＦ１１２で制御部３０は、カウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに達した候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。

　この場合ステップＦ１１４で判定終了とされる。即ち例えば候補画像枠Ｅ３が主要被写体と設定されるなどして、図９の主要被写体判定処理が完了することとなる。
　なお、この処理例１は変数ＴＳＦ＝１となるまで続けられることになるが、実際には、所定の制限時間を設けておくことが適切である。即ち図９の処理開始時点から所定時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにする。

　以上の処理例１によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように、撮像装置１０を構える（被写体を追う）ことによって、当該被写体が主要被写体として自動的に判定されることとなる。
　特に処理例１は、判定基準点ＳＰに「近い」状態の累積時間で安定存在度を判定している。動いている状況の被写体、或いは動物等の動きの早い被写体の場合、撮像者はある程度の時間（例えば数秒程度でも）、主としたい被写体を継続して画像中央に捕らえることは難しい場合がある。また撮像者の撮像技量によっては、手ぶれが激しいなどにより、なかなかとりたい被写体を画像中央に維持できないといったこともある。このような場合であっても、累積時間を用いることで、比較的迅速に主要被写体判定が可能となる。
　従って動きの速い被写体を対象とする場合や、比較的不慣れなユーザには好適となる。

　また、主要被写体判定処理は、一定時間を必ず行うものではなく、主要被写体が判定さ れた時点で処理は終了されるため、被写体や撮像者の技量によっては、迅速に主要被写体判定が為されるといった利点もある。

　［４－２：処理例２（タイプＩ；判定基準点；先着判定；継続存在）］
　続いて、処理例２も、処理タイプＩの具体例である。
　そして候補画像枠の位置状態としては、設定した判定基準点との距離を求める。
　また、各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を継続して満たしている継続時間情報を算出する。
　また、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。
　処理例１との差異点は、安定存在度が、判定基準点ＳＰに近い状態の継続時間とすることである。あくまで継続して所定時間（所定フレーム）以上、判定基準点ＳＰに近い状態があった候補画像枠を、主要被写体と判定する。

　図１０に処理例２を示す。図１０と同一の処理については、同一のステップ番号を付して重複説明を避ける。
　なお、後述する処理例３～処理例１２でも、各フローチャートにおいて、説明済みの処理については同一のステップ番号を付して説明を省略することとする。
　この図１０は、図９の処理にステップＦ１１０が追加された例である。

　ステップＦ１０８，Ｆ１０９，Ｆ１１０で制御部３０は、各候補画像枠Ｅ（ｎ）の安定存在度を算出する。この場合、ステップＦ１０８で、各候補画像枠Ｅ（ｎ）について、フラグＦｌｇ（ｎ）＝１であるか否かを確認し、フラグＦｌｇ（ｎ）＝１であれば、ステップＦ１０９でカウント値Cnt（ｎ）をインクリメント（＋１加算）する。フラグＦｌｇ（ｎ）＝０の場合は、ステップＦ１１０に進んで、カウント値Cnt（ｎ）をクリアする。
　処理例１と同様、カウント値Cnt（ｎ）は安定存在度の値となる。つまり、候補画像枠Ｅ（ｎ）が判定基準点ＳＰに「近い」状態が検出されることに応じてカウント値が加算されていく。ところがこの処理例２では、ステップＦ１１０でカウント値Cnt（ｎ）がクリアされる。

　これはつまり、一旦、判定基準点ＳＰから遠ざかると、安定存在度の値がゼロに戻されるという意味である。
　例えば或る候補画像枠が、判定基準点ＳＰに近くなっていたとしても、或るフレームで遠い状態になっていると、対応するカウント値Cnt（ｎ）はリセットされる。

　従って各候補画像枠Ｅ（ｎ）は、その被写体が、それぞれ継続的に判定基準点ＳＰに近い状態（距離閾値Trs-diff内）にとらえられている限り、安定存在度の値（カウント値Cnt（ｎ））が上昇していく。つまりこの処理例２では、カウント値Cnt（ｎ）は、判定基準点ＳＰに近い状態の「継続時間」を示すものとなる。
　そしてステップＦ１１１でカウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに到達する場合とは、或る候補画像枠が、継続して、カウント閾値ＣＴｔｈｒに相当するフレーム数（時間）だけ、判定基準点ＳＰに近いという条件を満たし続けた場合となる。

　このような場合、制御部３０は処理をステップＦ１１１からＦ１１２に進め、制御部３０は、カウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに達した候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。
　他の各ステップの処理は図９と同様である。
　なお、この処理例２も、処理開始時点から所定の制限時間を経過しても主要被写体が判 定できない場合は、主要被写体無しとして、処理を終了するようにするとよい。

　以上の処理例２によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように撮像装置１０を構える（被写体を追う）ことによって、当該被写体が主要被写体として自動的に判定されることとなる。
　特に処理例２では、継続時間によって安定的な存在かどうかを評価している。この場合、動きの少ない被写体を対象とする場合、容易に画像中央等に継続して対象被写体をとらえることができるため、ユーザの望む主要被写体を正確に設定できる可能性が高い。また撮像者の技量によっては、主としてとりたい被写体を継続して画面中央等（判定基準点ＳＰに近い位置）に維持できるため、正確に撮像者の希望の被写体を主要被写体と判定できる確率が高い。つまり、撮像技能の上級者や、被写体によっては、よりユーザの望む被写体を主要被写体と判定できる可能性を高くできる。
　また、主要被写体判定処理は、一定時間を必ず行うものではなく、主要被写体が判定された時点で処理は終了されるため、被写体や撮像者の技量によっては、迅速に主要被写体判定が為される。

　［４－３：処理例３（タイプＩ；判定基準点；先着判定；累積存在；拡張例）］
　処理例３も上述の処理タイプＩの具体例であるが、この処理例３は上記処理例１を発展させた例である。
　候補画像枠の位置状態としては、設定した判定基準点との距離を求める。
　各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている累積時間情報を算出する。
　主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。
　以上は処理例１と同様であるが、処理例３は安定存在度の算出に、重み付けを与えることを可能としている。また、同時に複数の候補画像枠について安定存在度が所定値に達した場合、つまり複数の候補画像枠が主要被写体と判定されてしまう場合の対応処理を付加するものである。

　図１１に処理例３を示す。ステップＦ１００～Ｆ１０７は図９と同様である。
　ステップＦ１０８，Ｆ１２１，Ｆ１２２，Ｆ１２３で制御部３０は、各候補画像枠Ｅ（ｎ）の安定存在度を算出する。
　この場合、ステップＦ１０８で、各候補画像枠Ｅ（ｎ）について、フラグＦｌｇ（ｎ）＝１であるか否かを確認する。
　フラグＦｌｇ（ｎ）＝１であれば、制御部３０はステップＦ１２１に進み、カウント変数ＯＦＳＴに可変設定値Ａを代入する。可変設定値Ａは、Ａ＞０として設定された値である。
　フラグＦｌｇ（ｎ）＝０であれば、制御部３０はステップＦ１２２に進み、カウント変数ＯＦＳＴに可変設定値Ｂを代入する。可変設定値Ｂは、Ａ≦０として設定された値である。
　そしていずれの場合も制御部３０は、ステップＦ１２３で、安定存在度の値となるカウント値Cnt（ｎ）について、
　Cnt（ｎ）＝Cnt（ｎ）＋ＯＦＳＴの演算を行う。
　また各候補画像枠Ｅ（ｎ）についての、平均距離Ave-Diff（ｎ）を算出する。

　可変設定値Ａ＞０であるので、ステップＦ１０８でフラグＦｌｇ（ｎ）＝１であれば安定存在度の値（カウント値Cnt（ｎ））が上昇していく。 
　そしてステップＦ１１１でカウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに到達する場合とは、或る候補画像枠が、非連続的でもよいが、複数のフレームのうちで高い頻度で判定基準点ＳＰに近いという条件を満たした場合となる。

　このような場合、制御部３０は処理をステップＦ１１１からＦ１１２に進め、制御部３０は、カウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに達した候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。
　ステップＦ１１３、Ｆ１１４の処理は図９と同様である。
　また、この処理例３も、処理開始時点から所定の制限時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにするとよい。

　上記のステップＦ１０８，Ｆ１２１，Ｆ１２２，Ｆ１２３の処理の意味は次のようになる。
　可変設定値Ａ、Ｂは、制御部３０が固定的に設定してもよいし、ユーザ指示やアプリケーションプログラム等に基づいて設定してもよい。或いは、主要被写体判定を行っている期間中にフレーム数の進行、或いは経過時間に応じて変化させてもよい。つまり可変設定値Ａ、Ｂの値は、当該主要被写体判定処理からみて外部設定可能とする。
　以下、各種の可変設定値Ａ、Ｂの設定例を（ｅｘ１）～（ｅｘ７）として説明する。

（ｅｘ１）：可変設定値Ａ＝１、Ｂ＝０と固定的に設定する場合
　このようにすると、図１１の処理は、図９の処理と同一となる。つまりステップＦ１０８でフラグＦｌｇ（ｎ）＝１であればカウント値Cnt（ｎ）がインクリメントされ、フラグＦｌｇ（ｎ）＝０であればカウント値Cnt（ｎ）がインクリメントされずにキープされる。

（ｅｘ２）：可変設定値Ａ＝２（又は３以上）、Ｂ＝０と固定的に設定する場合
　例えば、通常は上記（ｅｘ１）であるが、ユーザ指示やアプリケーションプログラムの指示に応じて、可変設定値Ａの値を高くする。この場合、カウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに到達する時間を早めることができる。従って通常より迅速に主要被写体判定を終了させたい場合や、動きの多い被写体を対象とするため主要被写体判定の反応速度を高めたい場合などに好適な設定となる。

（ｅｘ３）：可変設定値Ａ＝１、Ｂ＝－１と固定的に設定する場合
　インクリメントは通常に行われるが、フラグＦｌｇ（ｎ）＝０であればカウント値Cnt（ｎ）をデクリメントさせる例である。
　つまり或る候補画像枠が、判定基準点ＳＰから離れた場合（フラグＦｌｇ（ｎ）＝０の場合）、安定存在度を減少させるという処理となる。
　これはなるべく判定基準点ＳＰに近い状態に維持される被写体を重要視するという考え方に基づくもので、上述の処理例２に近い考え方であるが、継続時間に限定することなく、あくまで累積時間で判断するというものとなる。つまり処理例１の安定存在度の考え方を、処理例２の考え方に近づけるものとなる。

（ｅｘ４）：可変設定値Ａ＝１、Ｂ＝－２（又は－３以下）と固定的に設定する場合
　上記（ｅｘ３）と同様であるが、或る候補画像枠が、判定基準点ＳＰから離れたフラグＦｌｇ（ｎ）＝０の場合に、安定存在度が阻害される度合いを大きくする例となる。逆にいえば、判定基準点ＳＰに近いことの主要被写体判定への重要度を高めるものである。

（ｅｘ５）：可変設定値Ａ＝２（又は３以上）、Ｂ＝－２（又は－３以下）と固定的に設定する場合
　上記（ｅｘ２）と（ｅｘ４）の考え方を複合的に適用する処理例となる。判定基準点Ｓ Ｐに近いことの主要被写体判定への重要度を高めるとともに、判定応答性が向上される。

（ｅｘ６）：判定期間中に可変設定値Ａを変化させる。
　例えば図１１の処理が実行される判定期間を、開始時点から所定時間単位で第１期間、第２期間・・・と分割期間を設定する。
　そして、第１期間はＡ＝１、第２期間はＡ＝２、第３期間はＡ＝３などのように可変設定値Ａを変化させる。
　これは、後半に行くほど、判定基準点ＳＰに近いことの価値を重くするものである。
　一般に撮像者が被写体を狙ってカメラを構える場合、最初は主役としたい被写体を画像中央などの所望の位置にとらえられず、撮像者が徐々にカメラの向きを調整していく。このことを考慮すると、最初は、撮像者が「主要被写体」と念頭においている被写体は、時間が進むにつれ徐々に画像中央にとらえられるようになる。
　従って、主要被写体判定処理の実行中に、時間が進むほど、判定基準点ＳＰに近いということの価値を重くすることは、撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。

　なお、この（ｅｘ６）において分割期間の設定や、各分割期間でのＡ値は多様に考えられる。逆に撮像事情、環境によっては、第１期間はＡ＝３、第２期間はＡ＝２、第３期間はＡ＝１などのように可変設定値Ａを徐々に小さくなるように変化させ、判定初期に判定基準点ＳＰに近いことの価値を高めるような例も考えられる。
　例えば最初は静止している被写体の動きだしのタイミングで主要被写体判定を行うような場合である。
　また、分割期間の設定や、どのように可変設定値Ａを変化させるかは、ユーザが選択できるようにしてもよい。
　また、この（ｅｘ６）の場合の可変設定値Ｂについては、上記（ｅｘ１）～（ｅｘ５）、又は次に説明する（ｅｘ７）のいずれかを組み合わせることができる。

（ｅｘ７）：判定期間中に可変設定値Ｂを変化させる。
　例えば図１１の処理が実行される判定期間を、開始時点から所定時間単位で第１期間、第２期間・・・と分割期間を設定する。
　そして、第１期間はＢ＝１、第２期間はＢ＝２、第３期間はＢ＝３などのように可変設定値Ａを変化させる。
　これは、後半に行くほど、判定基準点ＳＰから離れていることの重要性（非安定存在度）を重く見ることになり、考え方としては上記（ｅｘ６）と同様である。つまり撮像者が主要被写体とは考えていない被写体は、判定後期ほど、判定基準点ＳＰから離れることが多いであろうという考え方である。これも撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。

　なお、この（ｅｘ７）において分割期間の設定や、各分割期間でのＢ値は多様に考えられる。撮像事情、環境によっては、第１期間はＢ＝３、第２期間はＢ＝２、第３期間はＢ＝１などのように可変設定値Ｂを徐々に小さくなるように変化させ、判定初期に判定基準点ＳＰに近いことの価値を高めるような例も考えられる。
　また、分割期間の設定や、どのように可変設定値Ｂを変化させるかは、ユーザが選択できるようにしてもよい。
　また、この（ｅｘ７）の場合の可変設定値Ａについては、上記（ｅｘ１）～（ｅｘ６）のいずれかを組み合わせることができる。

　以上は例示であるが、これらのように可変設定値Ａ、Ｂの設定により、目的や状況に応じた主要被写体判定が可能となる。
　なお、処理例３では、処理例１と同様、判定基準点ＳＰに近い累積時間情報としてのカ ウント値Cnt（ｎ）を用いて主要被写体判定を行うが、このカウント値Cnt（ｎ）に加減算する値は、可変設定値Ａ、Ｂによって決まる。このため、カウント値Cnt（ｎ）は累積の「時間」そのものではなく、条件に合わない時間が減算されたり、分割期間によって条件合致の重みが変化する。
　このようにカウント値Cnt（ｎ）は、判定基準点ＳＰに近いという条件に合致している「時間（フレーム数）」そのものの累積時間を表すことにはならない場合があるが、各実施の形態において、「累積時間」とは、このように減算や重み付けを加えたうえでの累積の時間（又はフレーム数）も含む概念として用いている。

　ところで、可変設定値Ａを用いる考え方は、上述の処理例２にも適用できる。
　即ち上述の図１０においてフラグＦｌｇ（ｎ）＝１の場合、ステップＦ１０９ではカウント値Cnt（ｎ）をインクリメントするが、このときに
　Cnt（ｎ）＝Cnt（ｎ）＋可変設定値Ａという演算を行うようにしてもよい。可変設定値Ａの設定によっては、上記（ｅｘ２）（ｅｘ６）で述べたような考え方の処理が実現できる。
　なお、その場合、カウント値Cnt（ｎ）は、判定基準点ＳＰに近いという条件に合致している「時間（フレーム数）」そのものの「継続時間」を直接表すことにはならない場合があるが、「継続時間」も、このように減算や重み付けを加えたうえでの時間（又はフレーム数）も含む概念として用いている。

　次に図１１の処理例３において、複数の候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）が同時にステップＦ１１１でカウント閾値ＣＴｔｈｒに到達した場合のステップＦ１１２の処理について説明する。

　或る時点でのステップＦ１１１で、複数の候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）が同時にカウント閾値ＣＴｔｈｒに到達する場合も当然考えられる。
　この場合に、複数の候補画像枠Ｅ（ｎ）を、共に主要被写体と判定することも考えられるが、ここでは、一の候補画像枠のみを主要被写体と判定する場合の例を述べる。

　複数の候補画像枠Ｅ（ｎ）の安定存在度（カウント値Cnt（ｎ））が同時にカウント閾値ＣＴｔｈｒに到達する場合は、次の（条件１）～（条件３）で、一の候補画像枠を主要被写体とすることが考えられる。

（条件１）：平均距離Ave-Diff（ｎ）が最も小さい候補画像枠を選択する。
　カウント値Cnt（ｎ）は、距離Diff（ｎ）が距離閾値Trs-diff以下であるかのステップＦ１０５での判定結果「フラグＦｌｇ（ｎ）＝１」「フラグＦｌｇ（ｎ）＝０」に応じてカウントアップ／ダウンされる。従ってカウント値Cnt（ｎ）は、絶対的な距離Diff（ｎ）を表すものではない。
　ここで、ステップＦ１２３で平均距離Ave-Diff（ｎ）を求めるようにすると、複数の候補画像枠Ｅ（ｎ）のうちで、どちらが、「より判定基準点ＳＰに近い状態」であったかを判定できる。
　ステップＦ１２３においては、平均距離Ave-Diff（ｎ）は、
　Ave-Diff（ｎ）＝（距離Diff（ｎ）の累積加算値）／（距離Diff（ｎ）の加算回数）で求めることができる。
　複数の候補画像枠Ｅ（ｎ）の安定存在度（カウント値Cnt（ｎ））が同時にカウント閾値ＣＴｔｈｒに到達した場合は、ステップＦ１１２において、平均距離Ave-Diff（ｎ）が一番小さいものを主要被写体と判定すればよい。

　なお、平均距離Ave-Diff（ｎ）で判定したが、距離Diff（ｎ）の累積加算値で判定してもよいことは当然である。
　また、平均距離ではなく、平均的に所定の距離範囲にあったか、或いは平均的に所定の面積範囲にあったか、というような指標を用いて、１つの候補画像枠を選択することも考えられる。
　また、被写体距離を用いてもよい。例えば各フレームでの候補画像枠Ｅ（ｎ）の被写体距離としての位置（ｚ値）について、判定基準点ＳＰとしてのｚ軸方向の位置との差分を求める。そしてその平均値を算出する。この被写体距離差分平均値が最小の候補画像枠を選択する例である。

（条件２）：サイズが所定範囲内の候補画像枠を選択する。
　各候補画像枠Ｅ（ｎ）は、撮像装置１０と被写体の距離や、その被写体自体の大きさによってサイズが異なる。撮像者は、主として写したい被写体に対して、ある程度ズーム調整をしたり、自身の立ち位置を変えたりして、被写体の画像上のサイズを適切に調整することが通常である。従って撮像者が主要被写体と考えている被写体は、画像上である程度の範囲内となっていることが多い。また遠い被写体、撮像者がズーム／フォーカスを合わせていない被写体はかなり小さくなったり、大きすぎる状態となることが多い。
　そこで、例えば候補画像枠のピクセル数ＰＸに対して、判定上限ＰＸmax、判定下限ＰＸmimを設定し、
　ＰＸmax≧ＰＸ（ｎ）≧ＰＸmim
　というサイズ条件を設定する。
　複数の候補画像枠Ｅ（ｎ）の安定存在度（カウント値Cnt（ｎ））が同時にカウント閾値ＣＴｔｈｒに到達した場合は、ステップＦ１１２においては、このサイズ条件を満たすものを主要被写体と判定すればよい。
　なお、サイズ条件は、上限のみのＰＸmax≧ＰＸ（ｎ）でもよいし、下限のみのＰＸ（ｎ）≧ＰＸmimとしてもよい。
　またピクセル数ＰＸではなく、候補画像枠Ｅ（ｎ）の幅ｗ、高さｈを用いてサイズ判定してもよい。

（条件３）：或る時点での所定の距離範囲内、又は最小距離の候補画像枠を選択する。
　或る時点において、判定基準点ＳＰに近いと判定された候補画像枠、又は判定基準点ＳＰに最も近い候補画像枠を主要被写体とする。
　或る時点とは、例えばステップＦ１１２に進んだ時点の最後のフレームや、主要被写体判定処理を開始した際の最初のフレーム、或いは中間の或るフレームなどである。
　例えば、撮像者が主要と考える被写体を狙っていることから、最後の時点ほど、撮像者は主用途考える被写体が、判定基準点ＳＰに近いことが多いと考えられる。上述の（ｅｘ６）等の後半重み付けと同様の考え方である。
　そこで、複数の候補画像枠Ｅ（ｎ）の安定存在度（カウント値Cnt（ｎ））が同時にカウント閾値ＣＴｔｈｒに到達した場合は、ステップＦ１１２では、最後のフレームで、距離Diff（ｎ）が最小の候補画像枠Ｅ（ｎ）を主要被写体と判定すればよい。

　なお最後のフレームで、距離Diff（ｎ）が所定範囲内（つまり距離閾値Trs-diff以下）となった候補画像枠Ｅ（ｎ）を主要被写体と判定してもよい。但し処理例３の場合、カウント値Cnt（ｎ）が同時にカウント閾値ＣＴｔｈｒに到達した場合の判定となるため、複数の候補画像枠Ｅ（ｎ）はいずれもこの条件を満たすため、複数のうちの選択には、この条件は使用できないが、後述する処理例５～処理例１２のように、主要被写体判定処理を必ず一定時間実行する処理の場合、この条件で選択することは有効である。
　また最後のフレームではなく、最初のフレーム、或いは途中のフレームなどで、所定の距離範囲内、又は最小距離の候補画像枠を選択することも、撮像事情や被写体などに応じて適切となる場合がある。
　また、被写体距離を用いてもよい。例えば最後のフレームなど、特定の時点での候補画像枠Ｅ（ｎ）の被写体距離としての位置（ｚ値）について、判定基準点ＳＰとしてのｚ軸方向の位置との差分を求め、その被写体距離差分値が最小の候補画像枠を選択する例である。

　以上（条件１）～（条件３）を例示したが、もちろん１つの条件ではなく、（条件１）～（条件３）を組み合わせて、１つの候補画像枠を主要被写体として選択してもよい。また、これら以外の条件を用いて選択を行うことも可能である。

　以上のように制御部３０はステップＦ１１２において、安定存在度（カウント値Cnt（ｎ））からは複数の候補画像枠Ｅ（ｎ）が主要被写体と判定されるべき状況になった場合、画角空間内での候補画像枠の位置情報又はサイズ情報を用いて、一の候補画像を選択し、選択した当該候補画像を主要被写体とする。
　これにより、最も適切な主要被写体を一つ設定するということが可能となる。
　なお、このような複数のうちで１つを主要被写体として選択する手法は、処理例１，２でも適用可能である。

　以上、図１１で説明した処理例３では、処理例１と同様の効果が得られると共に、可変設定値Ａ、Ｂの設定により、各種の状況に応じた適切な主要被写体判定が可能となる。

　［４－４：処理例４（タイプＩ；判定基準点；先着判定；累積存在；条件判定付き）］
　続いて処理例４も上述の処理タイプＩの具体例であるが、この処理例４は上記処理例３をさらに発展させた例である。
　候補画像枠の位置状態としては、設定した判定基準点との距離を求める。
　各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている累積時間情報を算出する。
　そして主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。
　以上は処理例１、処理例３と同様であるが、処理例４は安定存在度の算出について、距離Diff（ｎ）が距離閾値Trs-diff以下であるかの条件以外にも条件を加える例である。

　図１２に処理例４を示す。ステップＦ１００～Ｆ１０４、Ｆ１０５～Ｆ１０８、Ｆ１２１～Ｆ１２３、Ｆ１１１～Ｆ１１４は図１１と同様である。この図１２は、図１１にステップＦ１３０を加えたものである。

　ステップＦ１３０，Ｆ１０５，Ｆ１０６，Ｆ１０７では、フラグＦｌｇ（ｎ）の処理を行う。
　ここでステップＦ１３０では、或る条件を満たしている過否かにより処理を分岐する。そして条件を満たしていればステップＦ１０５に進み、距離Diff（ｎ）が距離閾値Trs-diff以下であるか否かの判定をおこなう。そしてその判定結果でステップＦ１０６，Ｆ１０７のいずれかでフラグＦｌｇ（ｎ）を設定する。
　またステップＦ１３０で条件を満たしていないと判定した場合は、ステップＦ１０７に進み、フラグＦｌｇ（ｎ）＝０とする。
　つまりステップＦ１３０で条件を満たしていないとされた候補画像枠Ｅ（ｎ）については距離Diff（ｎ）に関わらずフラグＦｌｇ（ｎ）＝０とするものである。
　ステップＦ１０６，Ｆ１０７のフラグＦｌｇ（ｎ）の処理以降は、図１１と同様である。

　ステップＦ１３０の条件としては、次の例（条件１１）～（条件１４）が考えられる。（条件１１）：被写体距離が所定範囲内である。
　候補画像枠Ｅ（ｎ）の被写体距離としての位置（ｚ値）について、判定基準点ＳＰとしてのｚ軸方向の位置との差分を求める。この被写体距離差分値が、所定の範囲内であることを条件とする。

（条件１２）：サイズが所定範囲内である。
　各候補画像枠Ｅ（ｎ）は、撮像装置１０と被写体の距離や、その被写体自体の大きさによってサイズが異なる。上述の処理例３で述べた（条件２）と同様の考えで、撮像者は、主として写したい被写体に対して、ある程度ズーム調整をしたり、自身の立ち位置を変えたりして、被写体の画像上のサイズを適切に調整することが通常であるため、サイズが小さすぎたり大きすぎる画像は、撮像者が主要被写体と考えていないことが推定される。
　そこで、例えば候補画像枠のピクセル数ＰＸに対して、判定上限ＰＸmax、判定下限ＰＸmimを設定し、
　ＰＸmax≧ＰＸ（ｎ）≧ＰＸmim
　というサイズ条件を設定する。なお、サイズ条件は、上限のみのＰＸmax≧ＰＸ（ｎ）でもよいし、下限のみのＰＸ（ｎ）≧ＰＸmimとしてもよい。
　またピクセル数ＰＸではなく、候補画像枠Ｅ（ｎ）の幅ｗ、高さｈを用いてサイズ判定してもよい。

（条件１３）：特定の画像種別である。
　例えば候補検出部２６の候補画像抽出処理での条件設定としても可能であるが、候補検出部２６が特に条件を広く候補画像を抽出する場合、ステップＦ１３０で候補画像たる条件を絞るようにしてもよい。
　例えばユーザの指定により、顔、人体、犬、猫等の画像であることを条件とする。犬画像であることを条件とした場合、ステップＦ１３０で候補画像枠Ｅ（ｎ）の種別が顔画像、人体画像、猫画像等であれば、条件を満たさないと判定し、カウント値Cnt（ｎ）のインクリメントを行わないようにする。

（条件１４）：特定の画像状態である。
　例えば抽出された画像自体の輝度情報、色情報が、所定の範囲、所定の色であること等を条件に加える。輝度情報であれば、画像自体が暗すぎる又は明るすぎるものは、条件を満たさないとする。またユーザが或る色を指定し、その色の被写体であれば条件を満たすといった判定も可能である。
　なお、画像状態の判定のために制御部３０は、候補画像データ自体、或いは輝度情報、色情報を候補検出部２６から受け取るようにすればよい。

　以上（条件１１）～（条件１４）を例示したが、もちろん１つの条件ではなく、（条件１）～（条件３）を組み合わせて、１つの候補画像枠を主要被写体として選択してもよい。これら以外の条件設定も可能である。

　以上のように制御部３０は、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報等を、安定存在度の算出処理に用いるようにしている。
　これにより、図１２で説明した処理例４では、処理例１、３と同様の効果が得られると共に、条件設定により、より安定存在度の算出を適切なものとし、撮像者が主要と考える主要被写体を、より的確に自動判定できるものとなる。

　なお、ステップＦ１１２での最終的な主要被写体判定の際に、上記（条件１１）～（条件１４）を判定してもよい。つまりステップＦ１１１で、或る１つの候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに到達する場合であっても、当然にそれを主要被写体とするのではなく、条件を満たさなければ主要被写体とは判定しないという処理も考えられる。このように制御部３０は、画角空間内での候補画像の位置情報、又
は候補画像のサイズ情報等を、ステップＦ１１２での主要被写体判定処理に用いるようにしてもよい。

　また以上のように、ステップＦ１３０のように安定存在度の算出に条件設定を加えることや、ステップＦ１１２での主要被写体判定に条件設定を加えることは、継続時間としての安定存在度を用いる処理例２でも適用可能である。

　［４－５：処理例５（タイプＩ；判定基準点；一定時間判定；累積存在）］
　処理例５も処理タイプＩの具体例であるが、この処理例５は、これまでの処理例１～処理例４とは異なり、或る一定時間で主要被写体判定を行う例である。
　即ち制御部３０は、或る一定の主要被写体判定期間に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理例である。

　候補画像枠の位置状態としては、設定した判定基準点との距離を求める。
　各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている累積時間情報を算出する。
　主要被写体判定としては、上記のように一定の主要被写体判定期間において、安定存在度の値が最も高くなった候補画像を選定する。

　図１３に処理例５を示す。
　制御部３０は、主要被写体判定処理を開始すると、まずステップＦ１００Ａで初期設定を行う。処理例１～処理例４のステップＦ１００と同様、変数ＴＳＦ＝０とし、またカウント値Cnt（ｎ）＝０とする。加えてこの場合、一定の主要被写体判定期間を計数するためにタイマＴＭをリセット／スタートさせる。
　ステップＦ１０１～Ｆ１０８、Ｆ１２１～Ｆ１２２は図１１と同様である。

　なおステップＦ１２３Ａは、カウント値Cnt（ｎ）の加減算を行うことは図１１のステップＦ１２３と同様である。加えてステップＦ１２３Ａは平均値算出を行う。図１１では「平均距離Ave-Diff（ｎ）」の算出としたが、ここでの「平均値算出」とは、平均距離Ave-Diff（ｎ）だけでなく、平均的に所定の距離範囲にあったか否かを示す値の算出や、平均的に所定の面積範囲にあったか否かを示す値の算出でもよいという意味を含めたものである。前述のように、これら平均値は、最終的に複数の候補画像枠Ｅ（ｎ）について、安定存在度の値（カウント値Cnt（ｎ））が最も高いという結果になった場合に、１つの候補画像枠Ｅ（ｎ）を選択するために用いることができる。

　ステップＦ１４０では、制御部３０は、タイマＴＭの計数値が所定時間ＴＭｏｖに達したか否かを確認する。つまり主要被写体判定処理を開始してからの経過時間が、所定の時間（一定の主要被写体判定期間）となったか否かの判定である。
　所定時間に達していなければ、ステップＦ１０１に戻って処理を継続する。

　タイマＴＭの計数値が所定時間ＴＭｏｖに達したら、制御部３０はステップＦ１４１に進み、主要被写体判定を行う。
　つまり、その時点での各候補画像枠Ｅ（ｎ）についてのカウント値Cnt（ｎ）を確認し、最大値になっている候補画像枠Ｅ（ｎ）を、主要被写体と設定することとなる。またこれに応じて変数ＴＳＦ＝１とする。そして処理を終える。

　つまりこの処理例５は、一定時間は安定存在度算出（カウント値Cnt（ｎ）の処理）を継続する。そして一定時間経過後の時点で、カウント値Cnt（ｎ）が最大の候補画像枠Ｅ （ｎ）を主要被写体とするものである。
　なお、ステップＦ１４１の時点で、複数の候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）が同数で最大値となることもある。その場合、上記処理例３で説明した（条件１）（条件２）（条件３）等により１つを選択すればよい。（条件１）の判定を行う場合はステップＦ１２３Ａで求めている平均値を用いることができる。

　以上の処理例５によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように、撮像装置１０を構える（被写体を追う）ことによって、当該被写体が主要被写体として自動的に判定されることとなる。
　特に処理例５は、判定基準点ＳＰに「近い」状態の累積時間で安定存在度を判定している。動いている状況の被写体、或いは動物等の動きの早い被写体の場合、撮像者はある程度の時間（例えば数秒程度でも）、主としたい被写体を継続して画像中央に捕らえることは難しい場合がある。また撮像者の撮像技量によっては、手ぶれが激しいなどにより、なかなかとりたい被写体を画像中央に維持できないといったこともある。このような場合であっても、累積時間を用いることで、比較的迅速に主要被写体判定が可能となる。
　つまり動きの速い被写体を対象とする場合や、比較的不慣れなユーザには好適となる。

　また、主要被写体判定処理は、一定時間で安定存在度（カウント値Cnt（ｎ））が最も高いものを選択する処理となる。このため、あまりカウント値Cnt（ｎ）のカウントアップが進まないような状況であっても、一定時間で主要被写体判定が為されるといった利点もある。例えば動き回る被写体で、なかなか判定基準点ＳＰの近くに捉えるのが難しいような場合でも、一定時間で主要被写体判定が完了する。
　但し、どの候補画像枠Ｅ（ｎ）についても、あまりにカウントアップが進まない状況では、無理に主要被写体を選定するよりは、該当なしとの判定を行った方が良い場合もある。そこで、カウント値Cnt（ｎ）について、主要被写体に該当するために下限値条件をつけてもよい。即ちステップＦ１４１において、最大として選ばれたカウント値Cnt（ｎ）を下限値Ｌｔｈと比較し、Cnt（ｎ）＜Ｌｔｈであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。
　なお、下限値Ｌｔｈは、処理例１等におけるカウント閾値ＣＴｔｈｒと同程度の値としてもよいが、より低い値としてもよい。即ち主要被写体と設定するには最低限のカウント値（安定存在度）と考えられる値とすることで、上記の、例えば動き回る被写体で、なかなか判定基準点ＳＰの近くに捉えるのが難しいような場合でも、一定時間で主要被写体判定が完了できるという効果が得られるようにすることができる。

　［４－６：処理例６（タイプＩ；判定基準点；一定時間判定；継続存在）］
　処理例６も処理タイプＩの具体例である。
　この処理例６では、候補画像枠の位置状態としては、設定した判定基準点との距離を求める。
　また、各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を継続して満たしている継続時間情報を算出する。
　また、主要被写体判定については、処理例５と同様、一定の主要被写体判定期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。
　処理例５との差異点は、安定存在度が、判定基準点ＳＰに近い状態の継続時間とすることである。つまり、一定の主要被写体判定期間内で、最も長く継続して判定基準点ＳＰに近い状態があった候補画像枠を、主要被写体と判定する。

　図１４に処理例６を示す。 
　制御部３０は、主要被写体判定処理を開始すると、まずステップＦ１００Ｂで初期設定を行う。処理例５のステップＦ１００Ａと同様、変数ＴＳＦ＝０とし、またカウント値Cnt（ｎ）＝０とする。また、一定の主要被写体判定期間を計数するためにタイマＴＭをリセット／スタートさせる。加えてこの場合、継続時間保持変数ＣＣ（ｎ）を初期化（＝０）する。

　ステップＦ１０１～Ｆ１０７は図１３と同様である。
　ステップＦ１０８，Ｆ１２１，Ｆ１２３Ａ，Ｆ１２４～Ｆ１２６では、安定存在度の算出処理としてカウント値Cnt（ｎ）の処理を行う。
　制御部３０はステップＦ１０８で、各候補画像枠Ｅ（ｎ）について、フラグＦｌｇ（ｎ）＝１であるか否かを確認し、フラグＦｌｇ（ｎ）＝１であれば、ステップＦ１２１でカウント変数ＯＦＳＴに可変設定値Ａ（但しＡ＞０）を代入する。そして制御部３０はステップＦ１２３で、安定存在度の値となるカウント値Cnt（ｎ）について、
　Cnt（ｎ）＝ Cnt（ｎ）＋ＯＦＳＴの演算を行う。つまりカウント値Cnt（ｎ）をＡ値だけカウントアップする。

　一方、ステップＦ１０８でフラグＦｌｇ（ｎ）＝０であれば、制御部３０はステップＦ１２４に進み、その時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）と比較する。
　ＣＣ（ｎ）＞Cnt（ｎ）であれば、ステップＦ１２６でカウント値Cnt（ｎ）をクリアする。
　ＣＣ（ｎ）＞Cnt（ｎ）でなければ、ステップＦ１２５で、その時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）に代入したうえで、ステップＦ１２６でカウント値Cnt（ｎ）をクリアする。

　これまでの処理例１～処理例５と同様、カウント値Cnt（ｎ）は安定存在度の値となる。つまり、候補画像枠Ｅ（ｎ）が判定基準点ＳＰに「近い」状態が検出されることに応じてカウント値が加算されていく。
　一方、候補画像枠Ｅ（ｎ）が判定基準点ＳＰに「近い」状態ではない（フラグＦｌｇ（ｎ）＝０）と判定されると、ステップＦ１２６でカウント値Cnt（ｎ）がクリアされる。
　これは処理例２で説明した場合と同様に、一旦、判定基準点ＳＰから遠ざかると、安定存在度の値がゼロに戻されるという意味である。
　従って各候補画像枠Ｅ（ｎ）は、その被写体が、それぞれ継続的に判定基準点ＳＰに近い状態にとらえられている限り、安定存在度の値（カウント値Cnt（ｎ））が上昇していくが、継続状態がなくなれば、カウント値Cnt（ｎ）＝０となる。従ってカウント値Cnt（ｎ）は、判定基準点ＳＰに近い状態の「継続時間」を示すものとなる。

　この場合に、継続時間保持変数ＣＣ（ｎ）は、一定の主要被写体判定期間内での最大の「継続時間」を保持するものとなる。
　このため継続時間が途切れた際に、ステップＦ１２４，Ｆ１２５で継続時間保持変数ＣＣが最大値更新される。つまり、継続が途切れた現時点の「継続時間」であるカウント値Cnt（ｎ）が、継続時間保持変数ＣＣで保持している「継続時間」より大きければ、カウント値Cnt（ｎ）が継続時間保持変数ＣＣ（ｎ）に代入されて最大値に更新される。

　ステップＦ１４０では、制御部３０は、タイマＴＭの計数値が所定時間ＴＭｏｖに達したか否かを確認する。所定時間に達していなければ、ステップＦ１０１に戻って処理を継続する。
　タイマＴＭの計数値が所定時間ＴＭｏｖに達したら、制御部３０はステップＦ１２７でその時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）と比較する。
　ＣＣ（ｎ）＞Cnt（ｎ）でなければ、ステップＦ１２８で、その時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）に代入する。このステップＦ１２７，Ｆ１２８は、一定の主要被写体判定期間が終わる時点で、判定基準点ＳＰに近い状態を継続していた場合であって、それが「継続時間」の最大値となっていた場合、継続時間保持変数ＣＣ（ｎ）を更新する処理である。

　そして制御部３０はステップＦ１４１に進み、主要被写体判定を行う。
　つまり、その時点での各候補画像枠Ｅ（ｎ）についての継続時間保持変数ＣＣ（ｎ）の値を確認し、これが最大値になっている候補画像枠Ｅ（ｎ）を、主要被写体と設定する。またこれに応じて変数ＴＳＦ＝１とする。そして処理を終える。

　以上のように処理例６は、一定時間は安定存在度算出（カウント値Cnt（ｎ）の処理）を継続する。そして一定時間経過後の時点で、継続時間保持変数ＣＣ（ｎ）で示される継続時間が最大の候補画像枠Ｅ（ｎ）を主要被写体とするものである。
　なお、ステップＦ１４１の時点で、複数の候補画像枠Ｅ（ｎ）の継続時間保持変数ＣＣ（ｎ）が同数で最大値となることもある。その場合、上記処理例３で説明した（条件１）（条件２）（条件３）等により１つを選択すればよい。
　またステップＦ１４１では、継続時間保持変数ＣＣ（ｎ）の最大値に対し下限値Ｌｔｈとの比較を行い、ＣＣ（ｎ）＜Ｌｔｈであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。

　以上の処理例６によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように、撮像装置１０を構える（被写体を追う）ことによって、当該被写体が主要被写体として自動的に判定されることとなる。
　また、主要被写体判定処理は、一定時間で安定存在度（継続時間保持変数ＣＣ（ｎ））が最も高いものを選択する処理となる。このため、処理例５と同様に、あまりカウント値Cnt（ｎ）のカウントアップが進まないような状況であっても、一定時間で主要被写体判定が為されるといった利点もある。
　さらに処理例６は、継続時間によって安定存在度を評価している。処理例２と同様に、撮像技能の上級者や、被写体によっては、よりユーザの望む被写体を主要被写体と判定できる可能性を高くできる。

　［４－７：処理例７（タイプＩ；判定基準領域；先着判定；累積／継続存在）］
　処理例７も処理タイプＩの具体例である。
　この処理例７では、候補画像枠の位置状態としては、設定した判定基準領域との位置関係を求める。
　また、各候補画像枠について安定存在度としては、位置状態（判定基準領域との関係）が所定の状態という条件を満たしている累積時間情報（又は継続時間情報）を算出する。
　また、主要被写体判定については、処理例１～処理例４と同様に、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を選択する。

　まず判定基準領域の位置関係について図１５で説明する。
　図１５は判定基準領域ＳＡの例を示している。
　図１５Ａは画像中央の正方形領域を判定基準領域ＳＡとした例である。ここでは、或るフレームの時点で、候補画像枠Ｅ１，Ｅ２，Ｅ３のそれぞれの候補画像枠情報が取り込まれた場合の様子を示している。
　各候補画像枠Ｅ（ｎ）の判定基準領域ＳＡとの位置関係とは、例えば、
・重心が判定基準領域ＳＡに入っているか否か
・全体が判定基準領域ＳＡに入っているか否か
・少なくとも一部が判定基準領域ＳＡに入っているか否か
・判定基準領域の外縁との距離が所定以内か否か
などとする。

　なお、判定基準領域ＳＡが画面中央とされるのは一例である。
　例えば図１５Ｂのように、中央よりやや左上方の位置に判定基準領域ＳＡを設定してもよい。例えば静止画の構図を考えた場合、このような中央でない位置に主たる被写体を配置するとよい場合が多々考えられるからである。
　或いは図１５Ｃのように、画像全体（フレーム全体）を判定基準領域ＳＡとしてもよい。この場合の各候補画像枠Ｅ（ｎ）の判定基準領域ＳＡとの位置関係とは「画像内に候補画像が存在するか否か」ということとなる。
　また判定基準領域ＳＡの形状は図１５Ａの正方形に限らず、図１５Ｂ、図１５Ｃの長方形でもよい。また三角形、五角形以上の多角形、円形、楕円形、長円形、不定形などでもよい。
　さらにサイズも多様に考えられる。

　また判定基準領域ＳＡは、例えば図１５Ａ、図１５Ｂのような領域に固定的に設定していてもよいし、ユーザが表示画面上でのタッチ操作などにより任意に指定できるようにしてもよい。
　また表示部３４の画面上でユーザにいくつかの判定基準領域ＳＡの候補領域を提示し、ユーザが選択できるようにしてもよい。
　さらには、画像内容、画像解析結果などに応じて制御部３０が構図などを考慮して最適な領域を判定し、自動設定することも考えられる。

　即ち判定基準点ＳＰについては、
・画像中央位置、或いは中央よりずれた位置などを中心にして、予め決められた固定的な形状の領域に設定される。
・ユーザが中心位置、形状、サイズの全部又は一部を任意に指定する。
・いくつかの候補領域をユーザに提示し、ユーザが選択することで設定される。
・制御部３０が画像内容に応じて最適領域を判定し、自動的に可変設定する。
などが考えられる。

　候補画像枠Ｅ（ｎ）と判定基準領域ＳＡとの位置関係は、各フレームの時点で求めて安定存在度（カウント値Cnt（ｎ））のカウントに用いる。
　例えば各候補画像枠Ｅ（ｎ）の判定基準領域ＳＡとの位置関係として、「重心が判定基準領域ＳＡに入っているか否か」という判定を行う。
　図１６は、候補画像枠Ｅ１，Ｅ２，Ｅ３についての、各フレームでの位置関係、つまり重心が判定基準領域ＳＡのエリア内かエリア外かの判定結果の変動の様子を示したものである。
　処理例７では、安定存在度とは、重心が判定基準領域ＳＡに入っている状態の累積時間とする。このため判定基準領域ＳＡのエリア内と判定される回数をカウント値Cnt（ｎ）でカウントしていくこととなる。

　図１７で処理例７としての制御部３０の主要被写体判定処理を説明する。なお、図１７は、上述の図１１の処理例３を、判定基準領域ＳＡを用いた処理に変更した例である。
　ステップＦ１００～Ｆ１０２、Ｆ１０４は図１１と同様である。
　この図１７の場合、図１１におけるステップＦ１０３に相当する距離Diff（ｎ）の算出処理は不要となる。

　ステップＦ１５０で制御部３０は、各候補画像枠Ｅ（ｎ）の重心Ｇが、判定基準領域ＳＡ内であるか否かを確認する。
　ここで画面平面のｘｙ座標の原点Ｏは図１５Ａのように画像左上頂点とする。
　そして各候補画像枠Ｅ（ｎ）の重心Ｇのｘｙ座標値を（E(n)_cx，E(n)_cy）とする。
　また判定基準領域ＳＡについては例えば方形であるとし、判定基準領域ＳＡの左上頂点のｘｙ座標値を（ＳＡｘ，ＳＡｙ）、幅をＳＡｗ、高さをＳＡｈとする。
　すると、制御部３０はステップＦ１５０で、各候補画像枠Ｅ（ｎ）の重心Ｇについて、
　ＳＡｘ≦E(n)_cx≦（ＳＡｘ＋ＳＡｗ）
　であり、かつ、
　ＳＡｙ≦E(n)_cy≦（ＳＡｙ＋ＳＡｈ）であるかを判定することとなる。
　この条件が満たされれば、候補画像枠Ｅ（ｎ）の重心Ｇが、判定基準領域ＳＡ内であることとなる。

　制御部３０は各候補画像枠Ｅ（ｎ）について上記判定を行い、重心Ｇが、判定基準領域ＳＡ内であればステップＦ１０６でフラグＦｌｇ（ｎ）＝１（領域内）とする。また重心Ｇが、判定基準領域ＳＡに含まれなければステップＦ１０７でフラグＦｌｇ（ｎ）＝０（領域外）とする。

　ステップＦ１０８，Ｆ１２１，Ｆ１２２，Ｆ１２３Ｂ，Ｆ１１１，Ｆ１１２，Ｆ１１３，Ｆ１１４は、基本的に図１１と同様である。なお、ステップＦ１２３Ｂにおいては、平均距離算出を行わないことが図１１のステップＦ１２３と異なる。（破線で示すステップＦ１１０については後述する）

　このような処理例７によれば、判定基準領域ＳＡとの位置関係に基づいて各候補画像枠Ｅ（ｎ）の安定存在度を算出することになる。安定存在度としては、位置状態（判定基準領域との関係）が所定の状態という条件を満たしている累積時間となる。
　そして主要被写体判定開始から、安定存在度（累積時間）が最も早く所定値に達した候補画像が主要被写体と判定される。
　従って、処理例１，処理例３と同様の効果が得られる。その上で、判定基準点ＳＰではなく判定基準領域ＳＡを用いることで、主要被写体の判定のための位置が広がり、撮像環境や被写体、ユーザの撮像技量などによっては、主要被写体判定に好適となる場合がある。

　なお、ステップＦ１０８でフラグＦｌｇ（ｎ）＝０であった場合は、ステップＦ１２２，Ｆ１２３Ｂを実行せずに、破線で示すようにステップＦ１１０でカウント値Cnt（ｎ）をクリアするようにしてもよい。
　このステップＦ１１０でクリアする処理を採用する場合、処理例２で説明したように、カウント値Cnt（ｎ）が、条件（図１７の場合は判定基準領域ＳＡ内に存在という条件）を満たす累積時間ではなく、継続時間を示すものとなる。
　つまりステップＦ１１０を採用する場合、図１７の処理は、「継続時間」を安定存在度の指標とし、これに基づいて主要被写体を判定することとなる。
　この場合、処理例２と同様の効果が得られる。

　なお図１７では、ステップＦ１５０で候補画像枠Ｅ（ｎ）の重心が判定基準領域ＳＡ内であるか否かという条件判定を行ったが、上述のように、候補画像枠Ｅ（ｎ）の全体（もしくは一部）が判定基準領域ＳＡに入っているか否かという条件や、候補画像枠Ｅ（ｎ）の重心が判定基準領域の外縁との距離が所定以内か否かという条件をステップＦ１５０で判定するようにしてもよい。

　［４－８：処理例８（タイプＩ；判定基準領域；一定時間判定；累積／継続存在）］
　処理例８も処理タイプＩの具体例である。これは処理例５を、判定基準領域ＳＡを用いる例に変形したものといえる。
　この処理例８では、候補画像枠の位置状態としては、設定した判定基準領域ＳＡとの位置関係を求める。
　また、各候補画像枠について安定存在度としては、位置状態（判定基準領域ＳＡとの関係）が所定の状態という条件を満たしている累積時間情報（又は継続時間情報）を算出する。
　また、一定の主要被写体判定期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。

　図１８で処理例８としての制御部３０の主要被写体判定処理を説明する。なお、図１８は、上述の図１３の処理例５を、判定基準領域ＳＡを用いた処理に変更した例である。
　ステップＦ１００Ａ、Ｆ１０１、Ｆ１０２、Ｆ１０４は図１１と同様である。
　この図１８の場合、図１３におけるステップＦ１０３に相当する距離Diff（ｎ）の算出処理は不要となる。

　ステップＦ１５０で制御部３０は、各候補画像枠Ｅ（ｎ）の重心Ｇが、判定基準領域ＳＡ内であるか否かを確認する。先に図１７で述べた処理と同様である。
　そして制御部３０は各候補画像枠Ｅ（ｎ）について、重心Ｇが、判定基準領域ＳＡ内であればステップＦ１０６でフラグＦｌｇ（ｎ）＝１（領域内）とする。また重心Ｇが、判定基準領域ＳＡに含まれなければステップＦ１０７でフラグＦｌｇ（ｎ）＝０（領域外）とする。

　ステップＦ１０８，Ｆ１２１，Ｆ１２２，Ｆ１２３Ｂ，Ｆ１４０，Ｆ１４１は図１３と同様である。なお、ステップＦ１２３Ｂにおいては、平均値算出を行わないことが図１３のステップＦ１２３Ａと異なる。

　この処理例８によれば、判定基準領域ＳＡとの位置関係に基づいて各候補画像枠Ｅ（ｎ）の安定存在度を算出することになる。安定存在度としては、位置状態（判定基準領域との関係）が所定の状態という条件を満たしている累積時間となる。
　そして主要被写体判定開始から一定時間において、安定存在度（累積時間）が最大となった候補画像が主要被写体と判定される。
　従って、処理例５と同様の効果が得られる。その上で、判定基準点ＳＰではなく判定基準領域ＳＡを用いることで、主要被写体の判定のための位置が広がり、撮像環境や被写体、ユーザの撮像技量などによっては、主要被写体判定に好適となる場合がある。

　なお、処理例８の変形例として、累積時間ではなく継続時間による安定存在度を求める例も考えられる。
　その場合のフローチャートは省略するが、図１４のステップＦ１０３を削除し、ステップＦ１０５に代えて上述のステップＦ１５０の処理を実行する処理とすればよい。
　その処理によっては、処理例６と同様の効果が得られる。

　また累積時間を用いる場合、継続時間を用いる場合のいずれの場合でも、ステップＦ１４１では、カウント値Cnt（ｎ）の最大値に対し下限値Ｌｔｈとの比較を行い、Ｃnt（ｎ）＜Ｌｔｈであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。 
　また図１８では、ステップＦ１５０で候補画像枠Ｅ（ｎ）の重心が判定基準領域ＳＡ内であるか否かという条件判定を行ったが、候補画像枠Ｅ（ｎ）の全体（又は一部）が判定基準領域ＳＡに入っているか否かという条件や、候補画像枠Ｅ（ｎ）の重心が判定基準領域の外縁との距離が所定以内か否かという条件をステップＦ１５０で判定するようにしてもよい。

　［４－９：処理例９（タイプＩＩ；判定基準点；平均的存在）］
　処理例９を説明する。処理例９は、処理タイプＩＩの具体例である。
　そしてこの処理例９では、候補画像枠の位置状態としては、設定した判定基準点ＳＰとの距離を求める。
　また、各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）の平均値（平均距離）を算出する。平均距離は、時間的にみて高い頻度で判定基準点に近い位置状態にあることを示す指標となる。例えば「平均距離の値が小さい」ということは、上述した各処理例でいう「累積時間が長い」ことと同様の意味となる。
　そして、平均距離が最も小さく、かつこれが所定の閾値以内という条件を満たしている候補画像枠を主要被写体と判定する。
　なお、処理タイプＩＩであるため、主要被写体判定処理は、ユーザ操作等で中断されない限り、候補画像枠情報のバッファリングが完了する一定時間以上は実行される。

　図１９で処理例９としての制御部３０の主要被写体判定処理を説明する。
　制御部３０は、主要被写体判定処理を開始すると、まずステップＦ２００で主要被写体設定済みか否かを示すフラグである変数ＴＳＦ＝０とし、またカウント値ＢｆＣ＝０とする。
　またカウント値ＢｆＣは、制御部３０が候補検出部２６からの候補画像枠情報を取得し、算出した各候補画像枠Ｅ（ｎ）についての距離Diff（ｎ）のバッファリング回数（フレーム数）値をカウントする値である。

　ステップＦ２０１で制御部３０は、候補検出部２６から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Ｅ（ｎ）について、位置情報として、画像データの二次元（ｘ－ｙ）座標値としてのｘ値、ｙ値や、サイズ情報として候補画像枠の幅ｗ、高さｈの情報を取得する。なお、候補画像枠情報には被写体距離（ｚ値）やピクセル数等も含まれていてもよい。

　ステップＦ２０２で制御部３０は、各候補画像枠Ｅ（ｎ）について、重心Ｇの座標を算出する。図９のステップＦ１０２で説明した処理と同様である。
　ステップＦ２０３で制御部３０は、各候補画像枠Ｅ（ｎ）の重心Ｇから、判定基準点ＳＰまでの距離Diff（ｎ）を算出する。図９のステップＦ１０３で説明した処理と同様である。

　ステップＦ２０４で制御部３０は、ステップＦ２０３で算出した距離Diff（ｎ）を、例えば内部メモリ領域において、領域Diff(n)[BfC]に格納（バッファリング）する。
　ステップＦ２０５で制御部３０は、カウント値ＢｆＣをインクリメントする。
　ステップＦ２０６で制御部３０は、カウント値ＢｆＣが、一定時間に相当するカウント閾値THrTMに達したか否かを判定し、達していなければステップＦ２０１に戻る。

　上記のステップＦ２０４における領域Diff(n)[BfC]とは、主要被写体判定処理開始から（ＢｆＣ）番目に取り込んだフレームＦＲ（ＢｆＣ）における候補画像枠Ｅ（ｎ）の情報を格納する領域という意味としている。
　例えば最初にステップＦ２０１でフレームＦＲ（０）の候補画像枠情報を取り込んだ時点であって、そのフレームＦＲ（０）において、候補画像枠Ｅ１、Ｅ２、Ｅ３が存在した場合、それぞれの候補画像枠についてステップＦ２０３で算出された距離Diff１、Diff２、Diff３が、領域Diff(1)[0]、Diff(2)[0]、Diff(3)[0]に格納される。
　また次にステップＦ２０１で取り込んだフレームＦＲ（１）において、候補画像枠Ｅ１、Ｅ２、Ｅ３が存在した場合、それぞれの候補画像枠についてステップＦ２０３で算出された距離Diff１、Diff２、Diff３が、領域Diff(1)[1]、Diff(2)[1]、Diff(3)[1]に格納される。

　つまり、ステップＦ２０１～Ｆ２０５の処理が一定時間（THrTM）の間、繰り返されることで、フレームＦＲ（０）～フレーム（ｍ）のそれぞれについての各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）が、バッファリングされることになる。

　一定時間を経過するとバッファリングは終了され、制御部３０は処理をステップＦ２０６からＦ２０７に進む。
　ステップＦ２０７で制御部３０は、各候補画像枠Ｅ（ｎ）について、平均距離Ave-Diff（ｎ）を算出する。
　Ave-Diff（ｎ）＝（バッファリングされた距離Diff（ｎ）の累積加算値）／（距離Diff（ｎ）の加算回数）

　そしてステップＦ２０８で制御部３０は、各候補画像枠Ｅ（ｎ）の平均距離Ave-Diff（ｎ）の中で、最小距離MIN［Ave-Diff（ｎ）］を判定する。最も平均距離Ave-Diff（ｎ）が小さい候補画像枠Ｅ（ｎ）が求められることになる。
　最小距離MIN［Ave-Diff（ｎ）］を判定したら、制御部３０はステップＦ２０９で、当該最小距離MIN［Ave-Diff（ｎ）］が距離閾値Trs-diff以下であるか否かを判定する。

　最小距離MIN［Ave-Diff（ｎ）］が距離閾値Trs-diff以下であれば、制御部３０は処理をステップＦ２１０に進め、当該最小距離MIN［Ave-Diff（ｎ）］となった候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。
　最小距離MIN［Ave-Diff（ｎ）］が距離閾値Trs-diff以下でなければ、制御部３０は処理をステップＦ２１１で変数ＴＳＦ＝０とする。この場合、主要被写体は該当無しという結果となる。
　なお、少なくとも候補画像枠Ｅ（ｎ）が存在したら必ず主要被写体を決めるという処理を実現する場合は、ステップＦ２０９を無くし、最小距離MIN［Ave-Diff（ｎ）］となった候補画像枠Ｅ（ｎ）をそのまま主要被写体と判定するようにしてもよい。

　以上の処理例９によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように、撮像装置１０を構える（被写体を追う）ことによって、当該被写体が主要被写体として自動的に判定されることとなる。
　そして一定時間は候補画像枠情報を取得するものであるため、処理例５と同様の効果が得られる。

　なお、もちろんこの処理例９でも、複数の候補画像枠が最小距離MIN［Ave-Diff（ｎ）］に該当することもある。１つの候補画像枠Ｅ（ｎ）を主要被写体と設定する場合は、処理例３の説明で述べた（条件１）～（条件３）等を用いた手法で、主要被写体となる候補画像枠Ｅ（ｎ）を選択すればよい。

　また、処理タイプＩＩに関しての図５の説明では、ステップＦ２１をステップＦ２２で蓄積完了と判断された後に行ってもよいと述べた。
　これに相当する処理を行う場合は、図１９のステップＦ２０２、Ｆ２０３の処理を、ス テップＦ２０６からＦ２０７に進む際に実行するものとすればよい。
　つまりステップＦ２０４では候補画像枠情報自体をバッファリングしていき、各フレームでの各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）は、バッファリング完了後に、バッファリングされた候補画像枠情報を用いて算出する例である。

　［４－１０：処理例１０（タイプＩＩ；判定基準点；累積存在）］
　処理例１０も処理タイプＩＩの例であり、また判定基準点を用いる。各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている累積時間情報を算出する。
　そしてバッファリングを行う期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。

　図２０に処理例１０としての制御部３０の主要被写体判定処理を示す。
　制御部３０は、主要被写体判定処理を開始すると、まずステップＦ２００Ａで変数ＴＳＦ＝０とし、またカウント値ＢｆＣ＝０とする。またループ制御のための変数Ｌ＝０と初期化し、さらに安定存在度に相当するカウント値Cnt（ｎ）＝０と初期化する。

　ステップＦ２０１～Ｆ２０６は図１９と同様であり、一定期間、候補画像枠情報の取り込み、及び各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）のバッファリングを行う。
　ステップＦ２０６でタイマとしてのカウント値ＢｆＣがカウント閾値THrTMに達したら、バッファリングは終了され、制御部３０は処理をステップＦ２０６からＦ２１０に進む。

　ステップＦ２１０で制御部３０は、領域Diff(n)[Ｌ]にバッファリングされた距離Diff（ｎ）を読み出す。
　最初は変数Ｌ＝０であるので、最初にステップＦ２０１でフレームＦＲ（０）の候補画像枠情報を取り込んだ時点の、領域Diff(n)[０]にバッファリングされた各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）が読み出される。

　ステップＦ２１１，Ｆ２１２，Ｆ２１３では、制御部３０は各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）に関して所定の条件、つまり判定基準点ＳＰに近いか近くないかを、距離閾値Trs-diffを用いて判定する。
　そしてDiff（ｎ）＜Trs-diffであればステップＦ２１２でフラグＦｌｇ（ｎ）＝１（近い）とする。またDiff（ｎ）＜Trs-diffでなければステップＦ２１３でフラグＦｌｇ（ｎ）＝０（近くない）とする。これは処理例１のステップＦ１０５、Ｆ１０６，Ｆ１０７と同様の処理である。

　ステップＦ２１４，Ｆ２１５，Ｆ２１６，Ｆ２１７では、安定存在度の算出処理としてカウント値Cnt（ｎ）の処理を行う。
　制御部３０はステップＦ２１４で、各候補画像枠Ｅ（ｎ）について、フラグＦｌｇ（ｎ）＝１であるか否かを確認し、フラグＦｌｇ（ｎ）＝１であれば、ステップＦ２１５でカウント変数ＯＦＳＴに可変設定値Ａ（但しＡ＞０）を代入する。そして制御部３０はステップＦ２１７で、安定存在度の値となるカウント値Cnt（ｎ）について、
　Cnt（ｎ）＝Cnt（ｎ）＋ＯＦＳＴの演算を行う。つまりカウント値Cnt（ｎ）をＡ値だけカウントアップする。
　また制御部３０はフラグＦｌｇ（ｎ）＝０であれば、ステップＦ２１６でカウント変数ＯＦＳＴに可変設定値Ｂ（但しＢ≦０）を代入する。そして制御部３０はステップＦ２１７で、安定存在度の値となるカウント値Cnt（ｎ）について、 
　Cnt（ｎ）＝ Cnt（ｎ）＋ＯＦＳＴの演算を行う。つまりカウント値Cnt（ｎ）をＢ値だけカウントダウン（又はキープ）する。
　またステップＦ２１７では平均値算出も行う。
　以上は図１１のステップＦ１０８，Ｆ１２１，Ｆ１２３（又は図１３のＦ１２３Ａ）と同様である。

　ステップＦ２１８で制御部３０は、変数Ｌがバッファリングのカウント値ＢｆＣに達しているか否かを確認する。達していなければステップＦ２２０で変数Ｌをインクリメントし、ステップＦ２１０に戻る。
　従って次は、ステップＦ２１０で、ステップＦ２０１でフレームＦＲ（１）の候補画像枠情報を取り込んだ時点の、領域Diff(n)[１]にバッファリングされた各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）が読み出される。
　そしてステップＦ２１１～Ｆ２１７の処理を行う。

　以上のステップＦ２１０～Ｆ２１７が、ステップＦ２１８で変数Ｌ＝ＢｆＣとなるまで繰り返される。これによりバッファリングされた距離Diff（ｎ）に対する処理が実行される。
　その処理を終えたら、制御部３０はステップＦ２１９に進み、主要被写体判定を行う。
　つまり、その時点での各候補画像枠Ｅ（ｎ）についてのカウント値Cnt（ｎ）を確認し、最大値になっている候補画像枠Ｅ（ｎ）を、主要被写体と設定する。またこれに応じて変数ＴＳＦ＝１とする。そして処理を終える。
　なお、ステップＦ２１９の時点で、複数の候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）が同数で最大値となったら、上記処理例３で説明した（条件１）（条件２）（条件３）等により１つを選択すればよい。（条件１）の判定を行う場合はステップＦ１２７で求めている平均値を用いることができる。
　またステップＦ２１９では、カウント値Cnt（ｎ）の最大値に対し下限値Ｌｔｈとの比較を行い、Cnt（ｎ）＜Ｌｔｈであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。
　以上の処理例１０によっても、処理例９と同様の効果が得られる。

　［４－１１：処理例１１（タイプＩＩ；判定基準点；継続存在）］
　処理例１１も処理タイプＩＩの例であり、また判定基準点を用いる。各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている継続時間情報を算出する。
　そしてバッファリングを行う期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。

　図２１に処理例１１としての制御部３０の主要被写体判定処理を示す。
　制御部３０は、主要被写体判定処理を開始すると、まずステップＦ２００Ｂで変数ＴＳＦ＝０とし、またカウント値ＢｆＣ＝０とする。またループ制御のための変数Ｌ＝０と初期化し、さらに安定存在度に相当するカウント値Cnt（ｎ）＝０と初期化する。さらに継続時間保持変数ＣＣ（ｎ）を初期化（＝０）する。

　ステップＦ２０１～Ｆ２０６は図１９と同様であり、一定期間、候補画像枠情報の取り込み、及び各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）のバッファリングを行う。
　ステップＦ２０６でタイマとしてのカウント値ＢｆＣがカウント閾値THrTMに達したら 、バッファリングは終了され、制御部３０は処理をステップＦ２０６からＦ２１０に進む。

　ステップＦ２１０～Ｆ２１５、Ｆ２１７、Ｆ２１８、Ｆ２２０は、図２０と同様である。
　一方、ステップＦ２１４でフラグＦｌｇ（ｎ）＝０であれば、制御部３０はステップＦ２２４に進み、その時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）と比較する。
　ＣＣ（ｎ）＞Cnt（ｎ）であれば、ステップＦ２２６でカウント値Cnt（ｎ）をクリアする。
　ＣＣ（ｎ）＞Cnt（ｎ）でなければ、ステップＦ２２５で、その時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）に代入したうえで、ステップＦ２２６でカウント値Cnt（ｎ）をクリアする。
　このステップＦ２２４，Ｆ２２５，Ｆ２２６は、図１４のステップＦ１２４，Ｆ１２５，Ｆ１２６と同様の意味の処理であり、カウント値Cnt（ｎ）を、継続時間を意味する値とするためのものである。

　ステップＦ２１８で制御部３０は、変数Ｌがバッファリングのカウント値ＢｆＣに達しているか否かを確認し、達していればステップＦ２２７に進む。ステップＦ２２７，Ｆ２２８は、図１４のステップＦ１２７，Ｆ１２８と同様の処理である。
　即ち制御部３０はステップＦ２２７でその時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）と比較する。ＣＣ（ｎ）＞Cnt（ｎ）でなければ、ステップＦ２２８で、その時点のカウント値Cnt（ｎ）を継続時間保持変数ＣＣ（ｎ）に代入する。
　この処理は、バッファリングを行った期間が終わる時点で、或る候補画像枠Ｅ（ｎ）が判定基準点ＳＰに近い状態を継続していた場合であって、それが「継続時間」の最大値となっていた場合、継続時間保持変数ＣＣ（ｎ）を更新する処理となる。

　そして制御部３０はステップＦ２１９に進み、主要被写体判定を行う。
　つまり、その時点での各候補画像枠Ｅ（ｎ）についてのカウント値Cnt（ｎ）を確認し、最大値になっている候補画像枠Ｅ（ｎ）を、主要被写体と設定する。またこれに応じて変数ＴＳＦ＝１とする。そして処理を終える。
　なお、ステップＦ２１９の時点で、複数の候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）が同数で最大値となったら、上記処理例３で説明した（条件１）（条件２）（条件３）等により１つを選択すればよい。（条件１）の判定を行う場合はステップＦ１２７で求めている平均値を用いることができる。
　またステップＦ２１９では、カウント値Cnt（ｎ）の最大値に対し下限値Ｌｔｈとの比較を行い、Cnt（ｎ）＜Ｌｔｈであったら、主要被写体該当なしとすることも考えられる。これにより、本来主要被写体が存在しないような状況において主要被写体が決定されてしまうということを避けることができる。
　以上の処理例１０によれば、処理例６と同様の効果が得られる。

　［４－１２：処理例１２（タイプＩＩ；判定基準領域；平均的存在）］
　処理例１２は処理タイプＩＩの例であって、処理例９を、判定基準領域ＳＡを用いる処理に変更した例である。
　この処理例１２では、候補画像枠の位置状態としては、設定した判定基準領域ＳＡとの位置関係を求める。
　また、各候補画像枠について安定存在度としては、位置状態（判定基準領域ＳＡとの関係）が所定の状態という条件を満たしている平均時間（累積時間）を算出する。
　そしてバッファリングを行う期間において、安定存在度の値が最も高くなった候補画像を、主要被写体と判定する。

　図２２に処理例１２を示す。
　ステップＦ２００～Ｆ２０２は図１９と同様である。
　バッファリング期間において、ステップＦ２３０では、各候補画像枠Ｅ（ｎ）の重心Ｇが、判定基準領域ＳＡ内であるか否かを確認する。図１７のステップＦ１５０と同様の処理である。

　各候補画像枠Ｅ（ｎ）について、重心Ｇが判定基準領域ＳＡ内であれば、制御部３０はステップＦ２３１で条件充足フラグＡＲ（ｎ）＝１とする。
　各候補画像枠Ｅ（ｎ）について、重心Ｇが判定基準領域ＳＡ内でなければ、制御部３０はステップＦ２３２で条件充足フラグＡＲ（ｎ）＝０とする。

　ステップＦ２３３で制御部３０は、条件充足フラグＡＲ（ｎ）を、例えば内部メモリ領域において、領域AR(n)[BfC]に格納（バッファリング）する。
　ステップＦ２０５で制御部３０は、カウント値ＢｆＣをインクリメントする。
　ステップＦ２０６で制御部３０は、カウント値ＢｆＣが、一定時間に相当するカウント閾値THrTMに達したか否かを判定し、達していなければステップＦ２０１に戻る。

　上記のステップＦ２３３における領域AR(n)[BfC]とは、主要被写体判定処理開始から（ＢｆＣ）番目に取り込んだフレームＦＲ（ＢｆＣ）における候補画像枠Ｅ（ｎ）の情報を格納する領域という意味としている。
　例えば最初にステップＦ２０１でフレームＦＲ（０）の候補画像枠情報を取り込んだ時点であって、そのフレームＦＲ（０）において、候補画像枠Ｅ１、Ｅ２、Ｅ３が存在した場合、それぞれの候補画像枠についてステップＦ２３０～Ｆ２３２で設定された条件充足フラグＡＲ１，ＡＲ２，ＡＲ３が、領域AR(1)[0]、AR(2)[0]、AR(3)[0]に格納される。
　また次にステップＦ２０１で取り込んだフレームＦＲ（１）において、候補画像枠Ｅ１、Ｅ２、Ｅ３が存在した場合、それぞれの候補画像枠についてステップＦ２３０～Ｆ２３２で設定された条件充足フラグＡＲ１，ＡＲ２，ＡＲ３が、領域AR(1)[1]、AR(2)[1]、AR(3)[1]に格納される。

　つまり、ステップＦ２０１～Ｆ２０６の処理が一定時間（THrTM）の間、繰り返されることで、フレームＦＲ（０）～フレーム（ｍ）のそれぞれについての各候補画像枠Ｅ（ｎ）の条件充足フラグＡＲ（ｎ）（判定基準領域ＳＡ内にあるか否かの情報）が蓄積されることになる。

　一定時間を経過するとバッファリングは終了され、制御部３０は処理をステップＦ２０６からＦ２４０に進む。
　ステップＦ２４０で制御部３０は、各候補画像枠Ｅ（ｎ）についての判定基準領域ＳＡ内の存在確度を算出する。
　この存在確度は、条件充足フラグＡＲ（ｎ）の平均値Ave[AR(n)]とする。
　平均値（存在確度）Ave[AR(n)]は、
　Ave[AR(n)]＝（候補画像枠Ｅ（ｎ）についてバッファリングされた条件充足フラグＡＲ（ｎ）の累積加算値）／（ＡＲ（ｎ）の加算回数）
　とすればよい。

　そしてステップＦ２４１で制御部３０は、各候補画像枠Ｅ（ｎ）の存在確度Ave[AR(n)]の中での最大値を最大確度MAX［Ave[AR(n)]]とする。つまり、最も判定基準領域ＳＡ内に存在していた時間が長い候補画像枠Ｅ（ｎ）の存在確度が選択されることとなる。

　最大確度MAX［Ave[AR(n)]]を判定したら、制御部３０はステップＦ２４２で、当該最大確度MAX［Ave[AR(n)]]が確度閾値Trs-AR以上であるか否かを判定する。

　最大確度MAX［Ave[AR(n)]]が確度閾値Trs-AR以上であれば、制御部３０は処理をステップＦ２４３に進め、当該最大確度MAX［Ave[AR(n)]]となった候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。
　最大確度MAX［Ave[AR(n)]]が確度閾値Trs-AR以上でなければ、制御部３０は処理をステップＦ２４４で変数ＴＳＦ＝０とする。この場合、主要被写体は該当無しという結果となる。
　なお、少なくとも候補画像枠Ｅ（ｎ）が存在したら必ず主要被写体を決めるという処理を実現する場合は、ステップＦ２４２を無くし、最大確度MAX［Ave[AR(n)]]となった候補画像枠Ｅ（ｎ）をそのまま主要被写体と判定するようにしてもよい。

　以上の処理例１２によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように、撮像装置１０を構える（被写体を追う）ことによって、当該被写体が主要被写体として自動的に判定されることとなる。
　そして一定時間は候補画像枠情報を取得するものであるため、処理例８と同様の効果が得られる。

　なお、安定存在度を示す存在確度は判定基準領域ＳＡ内に存在する累積時間の平均値としたが、累積時間そのものを用いてもよい。
　また累積時間ではなく、判定基準領域ＳＡ内に存在する継続時間が最大となる候補画像枠を主要被写体としてもよい。
　その場合は、バッファリングされた条件充足フラグＡＲ（ｎ）が、「１」となっている連続フレーム数をカウントし、それを存在確度として用いればよい。

　また、もちろんこの処理例１２でも、複数の候補画像枠が最大確度MAX［Ave[AR(n)]]に該当することもある。１つの候補画像枠Ｅ（ｎ）を主要被写体と設定する場合は、処理例３の説明で述べた（条件１）～（条件３）等を用いた手法で、主要被写体となる候補画像枠Ｅ（ｎ）を選択すればよい。

　また、処理タイプＩＩに関しての図５の説明では、ステップＦ２１をステップＦ２２で蓄積完了と判断された後に行ってもよいと述べた。
　これに相当する処理を行う場合は、図２２のステップＦ２０２～Ｆ２３２の処理を、ステップＦ２０６からＦ２４０に進む際に実行するものとすればよい。
　つまりステップＦ２０４では候補画像枠情報自体をバッファリングしていき、各フレームでの各候補画像枠Ｅ（ｎ）の条件充足フラグＡＲ（ｎ）の設定は、バッファリング完了後に、バッファリングされた候補画像枠情報を用いて算出する例である。

＜５．プログラム及びコンピュータ装置への適用＞
　以上、画像処理装置１、撮像装置１０の実施の形態を説明してきたが、上述した主要被写体判定処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

　実施の形態のプログラムは、上述の主要被写体判定処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。 
　即ちこのプログラムは、画像データの複数のフレームについて、それぞれ主要被写体の候補として検出された候補画像を示す候補画像情報を取得し、上記候補画像情報で示される候補画像について、画角空間内における位置状態を判定する位置状態判定処理を演算処理装置に実行させる。
　また、位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理を演算処理装置に実行させる。
　また、安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理を演算処理装置に実行させる。

　具体的には、実施の形態のプログラムは、図２，図４，図５で説明した処理、さらには処理例１～処理例１２を演算処理装置に実行させるプログラムとすればよい。
　このようなプログラムにより、上述した主要被写体判定処理を実行する装置を、演算処理装置を用いて実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔ　ｏｐｔｉｃａｌ）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、主要被写体判定処理を行う本開示の画像処理装置とすることができる。
　例えば、図２３に示されるようなコンピュータ装置において、図１の画像処理装置１や撮像装置１０における主要被写体判定処理と同様の処理が実行されるようにすることもできる。

　図２３において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

　入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

　入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。

　上述した主要被写体判定処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

　この記録媒体は、例えば、図２３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　－　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

　このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の候補画像検出部（３，２６）及び主要被写体判定部（２，３１）の機能を実行する。即ち図２，図４，図５、或いは処理例１～処理例１２としての処理を実行することで、入力された画像データのうちで主要被写体判定を行うことができる。

＜６．変形例＞
　上述の実施の形態は、各種の変形例が考えられる。
　特に具体的な主要被写体判定処理はさらに多様な例が想定される。
　例えば候補画像枠Ｅ（ｎ）の判定基準点ＳＰとの距離Diff（ｎ）や、判定基準領域ＳＡとの位置関係に重心Ｇを用いたが、重心Ｇでなくてもよい。例えば候補画像枠Ｅ（ｎ）の頂点位置などでもよい。
　また候補画像枠の形状は、正方形や長方形に限らず円形、楕円形、多角形、不定形状等が考えられる。候補画像枠の形状に応じて、中心位置や端点位置を、距離Diffの算出に用いればよい。

　また候補画像についての画角空間内における位置状態は、実施の形態では、主に２次元空間としての画角空間における判定基準点ＳＰや判定基準領域ＳＡとの位置関係として説明したが、画面平面の２次元に被写体距離を加味した３次元空間座標空間（ｘ－ｙ－ｚ座標空間）での判定基準点ＳＰや判定基準領域ＳＡとの位置関係としてもよい。
　さらに、画角空間を１次元空間と考え、候補画像のｘ座標値について、判定基準点ＳＰや判定基準領域ＳＡとの位置関係（例えば距離）を、候補画像についての画角空間内における位置状態としてもよい。もちろん同様に、ｙ座標値のみ、或いはｚ座標値のみについての判定基準点ＳＰや判定基準領域ＳＡとの位置関係としてもよい。

　また安定存在度を示す指標としては、条件合致の累積時間や継続時間、平均的存在の値、平均存在確度の他、多様に考えられる。
例えば条件合致の継続時間の平均値でもよい。
　さらには、各フレームでの候補画像枠のサイズ（ピクセル数）の変動度合いなどを安定存在度の指標としてもよい。

　また、主要被写体判定処理の結果については、その後撮像されて記録された静止画データや動画データに、メタデータとして付加してもよい。つまり従容被写体を示す情報を静止画ファイル等に付加する。

　また、スルー画を表示させ、同時に主要被写体判定処理を行っている間に、撮像者の操作による主要被写体指定操作を可能としてもよい。
　主要被写体指定の操作が行われた場合、それによって変数ＴＳＦ＝１とし、制御部３０による主要被写体判定処理を中断終了させることが好適である。

　また、実施の形態では、主に静止画撮像を想定して主要被写体を判定する処理を説明したが、動画撮像のためのスタンバイ中や、動画の撮像及び記録の実行中においても、撮像される複数のフレームから主要被写体判定を行う処理として、上記実施の形態の処理を適用できる。

　なお本技術は以下のような構成も採ることができる。
　（１）画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する候補検出部と、
　上記候補検出部で検出した候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定部と、
　を備えた画像処理装置。
　（２）上記主要被写体判定部は、
　候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、
　上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、
　上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、
　を行う上記（１）に記載の画像処理装置。
　（３）上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する上記（２）に記載の画像処理装置。
　（４）上記主要被写体判定部は、上記判定基準点を操作入力に応じて設定する上記（３）に記載の画像処理装置。
　（５）上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する上記（２）に記載の画像処理装置。
　（６）上記主要被写体判定部は、上記判定基準領域を操作入力に応じて設定する上記（５）に記載の画像処理装置。
　（７）上記主要被写体判定部は、上記安定存在度として、上記位置状態が所定条件を満たしている累積時間情報を算出する上記（２）乃至（６）のいずれかに記載の画像処理装置。
　（８）上記主要被写体判定部は、上記安定存在度として、上記位置状態が継続して所定条件を満たしている継続時間情報を算出する上記（２）乃至（６）のいずれかに記載の画像処理装置。
　（９）上記主要被写体判定部は、主要被写体判定開始から、上記安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する上記（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）上記主要被写体判定部は、主要被写体判定期間に、上記安定存在度の値が最も高い候補画像を、主要被写体と判定する上記（１）乃至（８）のいずれかに記載の画像処理装置。
　（１１）上記主要被写体判定部は、画角空間内での候補画像の位置情報、又は候補画像 のサイズ情報を、上記安定存在度の算出処理、又は主要被写体の判定処理に用いる上記（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）上記主要被写体判定部は、上記安定存在度から、複数の候補画像が主要被写体と判定される場合、画角空間内での候補画像の位置情報又はサイズ情報を用いて、一の候補画像を選択し、選択した当該候補画像を主要被写体とする上記（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）上記候補検出部は人又は動物の、顔又は身体の画像を、主要被写体の候補となる候補画像として検出する上記（１）乃至（１２）のいずれかに記載の画像処理装置。

　１０　　　基地局
　１２　　　コアネットワーク
　２０　　　ＵＥ
　１５０、１５１、１５２、１６０、１６１、１６２　マッピング記憶部
　１５４、２６４　マッピング管理部
　１５８　　シグネチャ判定部
　１６０、１６１、１６２　送信データ判定部
　１８０　　通信リソース判定部
　２５０　　送信データ生成部
　２６８　　シグネチャ選択部
　２７０　　プリアンブル生成部
　２８０　　通信リソース選択部
 

Claims (15)

1. 　画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する候補検出部と、
   　上記候補検出部で検出した候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定部と、
   　を備えた画像処理装置。
2. 　上記主要被写体判定部は、
   　候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、
   　上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、
   　上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、
   　を行う請求項１に記載の画像処理装置。
3. 　上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する請求項２に記載の画像処理装置。
4. 　上記主要被写体判定部は、上記判定基準点を操作入力に応じて設定する請求項３に記載の画像処理装置。
5. 　上記主要被写体判定部は、上記位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する請求項２に記載の画像処理装置。
6. 　上記主要被写体判定部は、上記判定基準領域を操作入力に応じて設定する請求項５に記載の画像処理装置。
7. 　上記主要被写体判定部は、上記安定存在度として、上記位置状態が所定条件を満たしている累積時間情報を算出する請求項２に記載の画像処理装置。
8. 　上記主要被写体判定部は、上記安定存在度として、上記位置状態が継続して所定条件を満たしている継続時間情報を算出する請求項２に記載の画像処理装置。
9. 　上記主要被写体判定部は、主要被写体判定開始から、上記安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する請求項１に記載の画像処理装置。
10. 　上記主要被写体判定部は、主要被写体判定期間に、上記安定存在度の値が最も高い候補画像を、主要被写体と判定する請求項１に記載の画像処理装置。
11. 　上記主要被写体判定部は、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を、上記安定存在度の算出処理、又は主要被写体の判定処理に用いる請求項１に記載の画像処理装置。
12. 　上記主要被写体判定部は、上記安定存在度から、複数の候補画像が主要被写体と判定される場合、画角空間内での候補画像の位置情報又はサイズ情報を用いて、一の候補画像を選択し、選択した当該候補画像を主要被写体とする請求項１に記載の画像処理装置。
13. 　上記候補検出部は人又は動物の、顔又は身体の画像を、主要被写体の候補となる候補画像として検出する請求項１に記載の画像処理装置。
14. 　画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、
    　検出された候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、
    　該安定存在度を用いて、候補画像のうちで主要被写体を判定する画像処理方法。
15. 　画像データの複数のフレームについて、それぞれ主要被写体の候補として検出された候補画像について、画角空間内における位置状態を判定する位置状態判定処理と、
    　上記位置状態判定処理で判定された、各フレームでの候補画像の位置状態から、候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める安定存在度算出処理と、
    　上記安定存在度算出処理で求められた安定存在度を用いて、候補画像のうちで主要被写体を判定する主要被写体判定処理と、
    　を演算処理装置に実行させるプログラム。
     
     
     
     
     
     
     
     
     
     
    　
     
     

Images