JP6131948B2 - 表示制御装置、表示制御方法、プログラム - Google Patents

Description

本開示は、表示制御装置、表示制御方法、プログラムに関し、特に画像内の主要被写体判定に伴う表示制御に関する。

近年のデジタルスチルカメラ、デジタルビデオカメラには顔検出機能が標準的に備わっており、顔位置・領域に合わせてカメラの各種パラメータ（フォーカス・明るさ等）を最適に合わせるといった機能が搭載されている。

また撮像画像内で、被写体追尾のターゲットとする「主要被写体」を、ユーザが指定することによって選択する手法が、特許文献１に記載されている。
また例えば上記特許文献２，３，４に開示された技術を用いれば、任意の被写体の全身枠を取り囲んだ被写体追尾が実現できる。
また、オートフォーカス・自動露光などは、撮像画像内の所望の領域を検出・追跡し、その領域がもっとも好適になるように光学系等を制御するような機能も存在する。
これらのように、撮像画像内で、ユーザが主要被写体として指定した画像、例えば顔等の画像領域を追尾したり、顔領域にフォーカスを合わせたりする等の技術が知られている。

特開２０１１−１６６３０５号公報 特開２０１１−１４６８２６号公報 特開２０１１−１４６８２７号公報 特開２０１１−１６０３７９号公報

ところで、撮像画像内での、追尾やフォーカス合わせの目的となる所望の領域、つまり「主要被写体」は、現状は各種検出器から得られる「複数の候補領域」の中から撮像者自身が何らかの方法で一つの候補を選択することで決定される。
例えばカメラを所持した状態で、画面表示されたスルー画（シャッタ操作時点以外に表示される被写体のモニタリング画像）に写されている複数の顔の中からタッチパネルによって任意の顔を選択するというような行為で主要被写体が選定される。あるいはユーザ指定のタイミング（シャッタ半押し等）で所定の領域内に存在する被写体を主要被写体とするなどである。

しかしながら実際のユースケースにおいてはこのユーザインターフェースを考えてみると、「撮像者による主要被写体の選択」という行為自体が難しいことが多々ある。
たとえば動き回る被写体に焦点を合わせ続けたいためにこの機能を使いたいのに、ユーザがカメラを構えて被写体を狙いながら指で選択すること自体が難しい。
例を挙げれば、被写体の変化（移動）に対するユーザの反応速度により、指定が困難なこともある。例えば動き回る被写体を、スルー画の画面上でうまく指定できないような場合である。
また、そもそもカメラを手に持って、被写体に向けて被写体を選定しているような状況で、ユーザが画面上で主要被写体を指で選択する行為自体が難しい。
またタッチパネルを配した表示画面の解像度によって、ユーザにとって被写体が選択し にくいことがある。
また、タッチパネルを配した表示画面上の被写体サイズとユーザの指の大きさ（太さ）によっては、所望の被写体を適切に指定できないこともある。
また、カメラシステム上のタイムラグ、例えば実際の光景と撮像画像のスルー画のタイムラグによって、ユーザが適切に被写体を指定しにくいこともある。

さらには動画撮像・記録中にこの操作を行う場合には、主要被写体の選択行為による画揺れがそのまま記録されたり、フレームアウトあるいは一時遮蔽等による追跡消失（失敗）時に再選択するという行為をユーザに強いたりといった状況がある。

これらのように、ハンドヘルドタイプのカメラにおいて、主要被写体を選択する行為自体が、それを必要とする多くのユースケースで難しく、撮像者にストレスを与えてしまう。
そこで本開示では、撮像者等のユーザが意図的に被写体を選択する行為を行わなくとも、適切な時点で、ユーザの求める対象被写体を主要被写体と判定するようにすることを想定した上で、その主要被写体判定の結果や過程をユーザが的確に認識できるようにすることを目的とする。

本開示の表示制御装置は、少なくとも主要被写体判定処理で主要被写体の候補とされた候補画像についての候補画像情報に基づく候補提示と、上記主要被写体判定処理の判定結果の主要被写体情報に基づく主要被写体提示とが、異なる表示態様となるように、上記主要被写体判定処理の対象の画像データについての表示用の画像データ処理である表示画像データ処理を行う表示画像処理部と、上記表示画像処理部で処理された画像データを、表示部に供給する表示データとして出力する表示データ出力部とを備える。

本開示の画像処理方法は、少なくとも主要被写体判定処理で主要被写体の候補とされた候補画像についての候補画像情報と、上記主要被写体判定処理の判定結果の主要被写体情報とを取得し、上記候補画像情報に基づく候補提示と、上記主要被写体情報に基づく主要被写体提示とが、異なる表示態様となるように、上記主要被写体判定処理の対象の画像データについての表示用の画像データ処理を行い、上記表示用の画像データ処理で得られた画像データを、表示部に供給する表示データとして出力する。
本開示のプログラムは、候補画像情報に基づく候補提示と、主要被写体情報に基づく主要被写体提示とが、異なる表示態様となるように、主要被写体判定処理の対象の画像データについて行う表示用の画像データ処理と、上記表示用の画像データ処理で得られた画像データを、表示部に供給する表示データとして出力する処理とを演算処理装置に実行させるプログラムである。

これらの本開示の技術によれば、画像データについて自動的に主要被写体を判定する主要被写体判定処理が行われた際に、その判定中の候補画像や、判定結果としての主要被写体が、異なる態様によって明確にユーザに提示される。

本開示によれば、画像データについて自動的に主要被写体を判定する主要被写体判定処理が行われた際に、その判定中の候補画像と、判定結果としての主要被写体が、異なる態様によってユーザに提示されることで、ユーザは、自動的な処理に対して明確な認識を持つことができ、使用性を向上させることができる。

本開示の実施の形態の表示制御装置の構成例のブロック図である。 実施の形態の表示制御装置の処理のフローチャートである。 実施の形態の撮像装置のブロック図である。 実施の形態の詳細な主要被写体判定及び表示制御処理のフローチャートである。 実施の形態の候補画像枠と判定基準点の説明図である。 実施の形態の候補画像枠と判定基準点の距離の説明図である。 実施の形態の位置状態による安定存在度判定の説明図である。 実施の形態の具体的な主要被写体判定処理のフローチャートである。 実施の形態の各時点での表示状態の説明図である。 実施の形態の表示状態の遷移の説明図である。 実施の形態の表示状態の遷移の説明図である。 実施の形態の表示状態の遷移の説明図である。 実施の形態の各種提示態様の説明図である。 実施の形態の各種提示態様の説明図である。 実施の形態の提示態様の遷移の説明図である。 実施の形態の第１の表示制御処理例のフローチャートである。 実施の形態の主要被写体判定中の表示データ処理のフローチャートである。 実施の形態の主要被写体決定時の表示データ処理のフローチャートである。 実施の形態の主要被写体決定後の表示データ処理のフローチャートである。 実施の形態の第２の表示制御処理例のフローチャートである。 実施の形態の判定前の表示データ処理のフローチャートである。 実施の形態の被写体マップ生成部のブロック図である。 実施の形態の反提示及び判定後の表示データ処理のフローチャートである。 実施の形態のコンピュータ装置での適用の場合のブロック図である。

以下、実施の形態を次の順序で説明する。
＜１．表示制御装置の構成＞
＜２．撮像装置の構成＞
＜３．主要被写体判定処理＞
＜４．表示制御処理＞
［４−１：各時点での表示制御例］
［４−２：主要被写体提示や候補提示の表示態様］
［４−３：第１の表示制御処理例］
［４−４：第２の表示制御処理例］
［４−５：領域提示のための処理（被写体抽出マップの利用）］
＜５．プログラム及びコンピュータ装置への適用＞
＜６．変形例＞

＜１．表示制御装置の構成＞
図１に、実施の形態の表示制御装置の構成例を示す。
図１における表示制御部１が本開示の表示制御装置の例である。表示制御部１は、表示画像処理部１ａ、表示データ出力部１ｂを有する。
なお、図１には主要被写体判定部２，表示部４を示しているが、これらは「表示制御装 置」に一体に設けられる構成部分としても良いし、「表示制御装置］に対する外部機器の構成部分とされてもよい。

まず先に、主要被写体判定部２について説明する。
この主要被写体判定部２は、入力される画像データＤｇの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、検出した候補画像のうちで主要被写体を判定する処理を行う。
例えば主要被写体判定部２には、ソフトウエアプログラムにより実現される演算処理機能として、候補検出機能と主要被写体判定処理機能が設けられる。

主要被写体判定部２は、まず候補検出機能により候補検出を行う。
この候補検出とは、入力された画像データＤｇの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出する処理である。
即ち、時間軸上で連続的に入力される画像データＤｇのフレーム毎（又は間欠的なフレーム毎）に、顔画像検出、人体画像検出などを行って、主要被写体の候補となる画像を抽出する。
なお、顔検出、人体検出等は、撮像画像データに対しての画像解析におけるパターンマッチングの手法などで可能であるが、パターンマッチングに用いる辞書さえ差し替えれば他の検出器も原理的には実現可能である。例えば（特定種の）犬顔検出・猫顔検出などとして主要被写体の候補画像を抽出してもよい。
また例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることも考えられるし、セイレンシ（Saliency）と呼ばれる注視領域抽出の手法を用いてもよい。
そして主要被写体判定部２は、候補検出の処理として、抽出した候補画像を示す情報、例えば候補画像の画面内の二次元方向の位置情報（ｘ，ｙ座標値）や、被写体距離、画像サイズ（ピクセル数）などを候補画像情報とする。

主要被写体判定部２は、続いて主要被写体判定処理機能により、例えば安定存在度算出に基づいた主要被写体設定を行う。
「安定存在度」とは、自動的な主要被写体判定の指標となる値である。即ち画角空間（後述）内で或る被写体が位置的に所定の状態にある頻度を示す値とする。例えば時間的に高い確度で画像内において所定の状態にあるか否かを判定できる指標値である。具体的には、候補画像が、画角空間内の位置状態として、ある所定の位置状態に存在する累積時間や継続時間、或いは平均的存在等を示す値であり、この「安定存在度」として計算される例えば累積時間や継続時間が高い画像は、撮像者が主として狙っている被写体と推定できるものとしている。
なお上記の「画角空間」とは、撮像画像に表れる空間を意味する。主に撮像画像における画面平面としての２次元空間、又は撮像時のカメラ位置に対する被写体の相対的な距離も含む３次元空間としての意味で用いる。
主要被写体判定部２は、上記の候補検出によって得られた候補画像情報で示される候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、求めた安定存在度を用いて、候補画像のうちで主要被写体を判定する。

このため主要被写体判定部２は、まず候補画像情報で示される候補画像について、画角空間内における位置状態を判定する。
「位置状態」とは、画像データにおける候補画像の、画角空間内の絶対的又は相対的な位置の状況を総称した言葉とする。
「位置状態」の具体例としては、
・画角空間内の或る判定基準点との相対距離
・画角空間内の或る判定基準領域に対する相対的位置関係や相対距離
・撮像画像の二次元平面内での候補画像の位置
・被写体距離（撮像時のカメラ位置に対する被写体の相対的な距離）
・被写体距離と判定基準点又は判定基準領域との相対位置関係
などがある。

次に、判定した各フレームでの候補画像の位置状態から、各候補画像についての、複数フレームにわたる画像データ内での安定存在度を求める。
そして安定存在度算出機能で求められた安定存在度を用いて、各候補画像の中から主要被写体を判定し、或る候補画像を主要被写体と設定する処理を行う。
このように主要被写体判定部２が主要被写体として設定された画像を示す情報が、主要被写体情報Ｄｍとして出力され、他のアプリケーションソフトウエアや処理回路部等に受け渡される。
一例としてはこのように主要被写体判定が行われるが、本開示の表示制御部１は、この主要被写体判定処理の過程や結果を、適切にユーザに提示できるようにするものである。なお主要被写体判定の手法は上記以外にも考えられる。

表示制御部１における表示画像処理部１ａは、主要被写体判定部２から、主要被写体判定処理の過程及び結果の情報（主要被写体判定処理情報Ｉｎｆ）を取得する。この主要被写体判定処理情報Ｉｎｆには、少なくとも主要被写体判定処理で主要被写体の候補とされた候補画像についての候補画像情報と、主要被写体判定処理の判定結果の主要被写体情報が含まれるとする。

そして表示画像処理部１ａは、主要被写体判定処理の対象となっている画像データＤｇ（例えば撮像画像データ）を、表示部４においてユーザに提示させるため、表示データ生成処理を行う。基本的には画像データＤｇの各フレームを表示データの各フレームとするが、その際に、主要被写体決定までの過程における候補画像や、判定結果としての主要被写体がユーザに提示されるように、表示される画像上で、候補提示、主要被写体提示が行われるように画像データＤｇに対する処理を行う。
特に表示画像処理部１ａは、取得した主要被写体判定処理情報Ｉｎｆにおける候補画像情報に基づく候補提示と、主要被写体情報に基づく所要被写体提示とが、異なる表示態様となるように、入力される画像データＤｇについての表示画像データ処理を行う。

表示データ出力部１ｂは、表示画像処理部１ａで処理された画像データを、表示部４に供給する表示データとして出力する。
これによって、画像データＤｇが表示部４で表示されるとともに、その表示上で候補提示や主要被写体提示が行われ、どの被写体が候補画像とされているか、またどの画像が自動的に主要被写体と設定されたかを、ユーザが確認できる。

なお、以上の表示制御部１（表示制御装置）は、演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）で実現できる。
また、その演算処理装置は、主要被写体判定部２としての処理機能を備えるようにしてもよい。
また主要被写体判定部２が表示制御部１に対して外部機器とされる場合、表示制御部１は、上述の主要被写体判定処理情報Ｉｎｆを主要被写体判定部２から取得し、同様の表示制御を行えばよい。

表示制御部１による処理の流れは図２のようになる。図２は例えば入力される画像データＤｇの１フレーム毎（間欠的なフレームでも良い）に対応して実行される処理とする。
ステップＦ１として、表示画像処理部１ａが、主要被写体判定部２から主要被写体判定処理情報Ｉｎｆを取得する。
主要被写体判定処理において主要被写体が決定される前であれば、１又は複数の候補画像の画面内の位置（画素領域、重心位置等）を示す候補画像情報を取得することになる。
主要被写体判定処理において主要被写体が決定された後であれば、主要被写体とされた画像の位置（画素領域、重心位置等）を示す主要被写体情報を取得する。
表示画像処理部１ａは、各フレーム時点で取得した主要被写体判定処理情報Ｉｎｆを取得する。

ステップＦ２では、表示画像処理部１ａは、候補画像情報に基づく候補提示と、主要被写体情報に基づく所要被写体提示とが、異なる表示態様となるように、主要被写体判定処理の対象の画像データＤｇについての表示画像データ処理を行う。
この場合に例えば表示画像処理部１ａは、主要被写体判定処理が開始されてから主要被写体が決定されるまでの主要被写体判定中の期間は、画像内で候補画像を提示する第１態様による候補提示が行われるように表示画像データ処理を行う。そして主要被写体が判定された際には画像内で主要被写体を提示する第２態様による主要被写体提示が行われるように表示画像データ処理を行う。
また表示画像処理部１ａは、主要被写体が判定された際には、第２態様による主要被写体提示に加えて、主要被写体と判定されなかった候補画像についての第２態様以外による候補提示が行われるように、表示画像データ処理を行ってもよい。

候補提示や主要被写体提示としては、画像上に、候補画像や主要被写体の該当部分を示す枠やポインタ等の表示を付加したり、或いは主要被写体又は候補画像に該当する領域と、他の領域とで異なる画像処理を施したりといった処理を行う。

ステップＦ３としては、表示データ出力部１ｂが、各フレーム時点で表示画像処理部１ａにおける表示画像データ処理で得られた画像データを、表示部４に供給する表示データとして出力する。
表示部４では、各フレーム時点で、入力された表示データの表示を行う。これによってユーザには画像データＤｇが表示され、加えて主要被写体判定処理の実行中に候補画像が提示され、また主要被写体判定処理結果の主要被写体も提示される。特に候補画像と主要被写体は異なる態様で表示されることで、ユーザに明確に候補画像や主要被写体を知らせることができる。

＜２．撮像装置の構成＞
以下では、上記のような表示制御部１（表示制御装置）を内蔵した撮像装置１０を例に挙げ、主要被写体判定及び表示動作について詳しく説明する。
実施の形態の撮像装置１０の構成例を図３に示す。この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器である。
図３では制御部３０における表示制御部１として、請求項でいう表示制御装置に相当する構成がソフトウエアにより内蔵されるものとしている。この表示制御部１は、図１で説明したように表示画像処理部１ａ、表示データ出力部１ｂとしての機能を有する。
制御部３０は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を行う。

図３に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、表示部３４、操作部３５を有する。

光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
イメージャ１２は、例えば、ＣＣＤ（Charge
Coupled Device）型、ＣＭＯＳ（Complementary
Metal OxideSemiconductor）型などの撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。

光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。

デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、候補検出部２６、被写体抽出マップ生成部２７を備えている。

前処理部２１は、イメージャ１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録や通信のための符号化処理を行う。

候補検出部２６は、図１で説明した主要被写体判定部２における候補検出機能に相当する。この図３の例では候補検出部２６をデジタル信号処理部７０で実行される機能構成としているが、これは一例であり、制御部３０における主要被写体判定部２によって候補検出部２６の処理が実行されてもよいことは言うまでもない。

候補検出部２６は、例えばＹＣ生成部２３で得られる撮像画像信号（輝度信号／色信号）を対象として、各フレーム単位での画像解析処理を行い、候補画像を抽出する。例えば一例としては、顔画像の検出を行い、その顔画像が存在する領域を候補画像枠として抽出する。抽出した候補画像については、その候補画像枠の位置情報（画面上でのｘ，ｙ座標値、被写体距離の情報等）や、サイズ情報（例えば候補画像枠の幅、高さ、ピクセル数等）を、候補画像情報として制御部３０の主要被写体判定部２に受け渡す。なお、ここでは、候補画像となる画像領域の枠を示す情報であることから、候補画像情報のことを「候補画像枠情報」ともいうこととする。
また、候補画像枠情報としては、さらに、候補画像の属性情報（顔、人体、犬、猫等の種別や、個人（個体）識別情報、さらには画像データ自体を含むようにしてもよい。
候補検出部２６は、上述のようにパターンマッチングの手法で候補の対象とする特定の 画像を抽出してもよいし、例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることなども考えられる。候補画像の抽出、選定の手法は以上に限定されず、多様に考えられる。
また、候補検出部２６は、画像に平滑化処理、アウトライヤ（outlier）除去等の処理を行って、候補画像枠情報を生成してもよい。

被写体抽出マップ生成部２７は、特に表示制御に関しては、後述する被写体マップを利用した領域提示としての処理例を採用する場合に設けられる機能構成である。詳しくは図２２，図２３の説明で述べるが、被写体抽出マップ生成部２７は、例えばＹＣ生成部２３で得られる撮像画像信号（輝度信号／色信号）を対象として、各フレーム単位での画像解析処理を行い、被写体の領域を示す被写体マップを生成する。この被写体マップは、例えば表示制御処理や、主要被写体判定後の処理のために制御部３０に受け渡される。
なお、この図３の例では被写体抽出マップ生成部２７をデジタル信号処理部２０で実行される機能構成としているが、これは一例であり、制御部３０が被写体抽出マップ生成処理を実行する例も考えられる。

制御部３０は、ＣＰＵ、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access
Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。例えば本例において後述する主要被写体判定処理や表示制御処理を実行するためのプログラムや、さらに主要被写体判定結果を利用するアプリケーションプログラム等が記憶される。

このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

また本実施の形態の場合、制御部３０は、主要被写体判定部２としての機能を備え、後述する主要被写体判定処理を実行する。
この場合、主要被写体判定部２は、候補検出部２６から受け渡された候補画像情報についての位置状態判定処理、安定存在度算出処理、及び安定存在度に基づく主要被写体設定の処理を実行する。

さらに本実施の形態の場合、制御部３０は、表示制御部１としての機能を備え、後述する表示制御処理を実行する。
この場合、表示制御部１は、主要被写体判定部２からの主要被写体判定処理情報Ｉｎｆに基づいて、それぞれ異なる表示態様で候補画像と主要被写体とが提示されるように表示データを生成し、表示部３４に出力する。即ち基本的には表示制御部１は、図１，図２で説明した処理を行う。
表示制御部１は、表示部３４で表示させる表示データを生成するが、具体的には、撮像して記録媒体に記録した静止画や動画を再生表示させたり、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）を表示部３４で表示させるように表示データを生成する。これらの画像表
示の際に、主要被写体提示や候補提示としての表示内容を加えた表示データを生成する。
また表示制御部１は各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

撮像装置３０にはユーザインターフェース部位として、ユーザに対する表示出力や音声出力を実行し、またユーザの操作入力を受け付ける部位が設けられる。このため、表示デバイス、操作デバイス、スピーカデバイス、マイクロホンデバイスなどを有する。図３では表示部３４，操作部３５を示している。

表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。
表示ドライバは、制御部３０（表示制御部１）から供給される表示データに基づいてディスプレイデバイスを駆動する。
これによって表示データ、即ち再生画像やスルー画、或いはメニュー表示など、制御部３０における表示制御部１から転送されてくる表示データの内容に応じた表示がディスプレイデバイスにおいて実行され、ユーザに提示される。
特に本実施の形態の場合、例えばスルー画や再生画上で、主要被写体判定処理による候補画像や判定結果の主要被写体がユーザにわかるような表示（候補提示、主要被写体提示）も実行される。

操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint
Photographic Experts Group）、ＴＩＦＦ（Tagged
Image File Format）、ＧＩＦ（Graphics
Interchange Format）等の形式で記憶される。
記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例において後述する安定撮像状態推定処理及び主要被写体判定処理を実行するためのプログラムは、記録部１５に記憶されてもよい。

通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う 。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

センサ部１４は各種センサを包括的に示している。例えば手ぶれを検出するためのジャイロセンサ、撮像装置１０の姿勢を検出するための加速度センサ等が設けられる。さらに撮像装置１０の姿勢や移動を検出する角速度センサや、露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

＜３．主要被写体判定処理＞
まず、以上の構成の撮像装置１０において、制御部３０（主要被写体判定部２）が実行する主要被写体判定処理について説明していく。
主要被写体判定処理に伴って実行される表示制御処理については、後に説明する。

主要被写体判定処理とは、候補画像情報で示される候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する処理である。
主要被写体判定処理としての大まかな処理例を図４で説明し、後に図５〜図８で具体的な処理例を説明する。

図４に主要被写体判定及び表示制御処理を示す。
図４において、ステップＦ１０は制御部３０の表示制御部１による処理、ステップＦ１１〜Ｆ１６は制御部３０の主要被写体判定部２による処理となる。

主要被写体判定処理が開始される場合、それに伴ってステップＦ１０で、候補画像や主要被写体を提示するための表示制御処理も開始される。このステップＦ１０で開始される表示制御処理については図９以降で詳しく説明する。

主要被写体判定処理に関しては、ステップＦ１１で制御部３０は、候補検出部２６からの、或る１つのフレームについての候補画像枠情報を取り込む。
ステップＦ１２で制御部３０は、取り込んだ候補画像枠情報で示される１又は複数の各候補画像枠について、それぞれ画角空間内の位置計算を行って位置状態を判定する。
この場合、位置状態として、画角空間内に設定した判定基準点に対する候補画像の距離を判定する。又は、位置状態として、画角空間内に設定した判定基準領域に対する候補画像の位置関係を判定する。

ステップＦ１３で制御部３０は、各候補画像枠について安定存在度を計算する。この場合制御部３０は、安定存在度として、位置状態が所定条件を満たしている累積時間情報を算出する。又は、制御部３０は、安定存在度として、位置状態が継続して所定条件を満たしている継続時間情報を算出する。
なお、安定存在度の算出には、算出の条件として、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。

ステップＦ１４で制御部３０は、安定存在度を用いて主要被写体を判定する。
ここでステップＦ１４での判定は、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する処理としてもよい。又は、主要被写体判定期間に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理としてもよい。
また主要被写体の判定には、安定存在度の値に加えて、画角空間内での候補画像の位置情報、又は候補画像のサイズ情報を用いることもある。

安定存在度の値が所定値に達した候補画像が未だ存在しない時点、あるいは所定の主要被写体判定期間を経過しておらずに、当該期間中での安定存在度の値が最も高い候補画像が未だ選定できない時点では、ステップＦ１４の処理では、まだ主要被写体と判定できない。その場合、制御部３０はステップＦ１５からＦ１１に戻って、各処理を繰り返す。つまり、候補検出部２６で次に処理を行ったフレームの候補画像枠情報を取り込んで、同様の処理を行う。

或る時点で安定存在度の値が所定値に達した候補画像が発見された場合、あるいは所定の主要被写体判定期間を経過して、当該期間中での安定存在度の値が最も高い候補画像が選定できた時点では、制御部３０はステップＦ１５からＦ１６に進む。そして、ステップＦ１４で判定された候補画像を、主要被写体と設定する。そして主要被写体情報をアプリケーションプログラム等に受け渡す。
アプリケーションプログラム等では、主要被写体と設定された画像が特定されたことに応じた処理を行う。例えば、フォーカス制御、追尾処理、画像効果処理などである。

なお以上の図４の主要被写体判定処理は、主要被写体判定を行う期間に、候補画像情報を取り込みながら、判定を実行する処理態様である。
これ以外に、或る期間に候補画像情報の取り込み（バッファリング）を行う。そして当該期間が経過したら、取り込んだ候補画像情報を用いて主要被写体判定を行う処理態様も考えられる。

続いて、以上の図４の主要被写体判定処理に相当する、具体的な処理例を説明していく。
以下の具体例では、候補画像枠の位置状態として、設定した判定基準点との距離を求める。
また、各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている累積時間情報を算出する。
また、主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定するものとする。
そこで、まず図５、図６、図７で候補画像枠、判定基準点との距離、安定存在度のそれぞれについて説明する。

図５は候補検出部２６で行われる候補画像枠の抽出動作を模式的に示したものである。
図には、撮像装置１０の光学系１１，イメージャ１２の動作によりデジタル信号処理部２０に入力される撮像画像信号の各フレームＦＲ１，ＦＲ２，ＦＲ３・・・を示している。候補検出部２６は、このような順次入力される連続した各フレームのそれぞれ（或いは間欠的な各フレームについて）に候補画像の検出を行う。
例えば図示のように、フレームＦＲ１について、３人の人が存在していた場合、それぞれの顔画像部分を候補画像として抽出し、その候補画像枠Ｅ１，Ｅ２，Ｅ３についての候
補画像枠情報を出力する。例えば候補画像枠Ｅ１の候補画像枠情報は、例えばこの候補画像枠Ｅ１の画像内での位置情報（ｘ，ｙ位置情報、被写体距離情報）、サイズ情報（枠の幅、高さ、ピクセル数）、属性情報等である。
候補検出部２６は、このような候補画像枠情報を、候補画像枠Ｅ２，Ｅ３についても生成し、制御部３０（主要被写体判定部２）に受け渡す。

後続のフレームＦＲ２、ＦＲ３・・・についても同様に、候補検出部２６は候補画像の抽出を行い、それぞれの候補画像枠について、候補画像枠情報を生成して制御部３０（主要被写体判定部２）に受け渡していく。

制御部３０は、各フレームの候補画像枠情報を取り込む度に、各候補画像枠について位置状態として、判定基準点との距離を算出する。
図６Ａに判定基準点ＳＰの例を示している。これは画像中央を判定基準点ＳＰとした例である。判定基準点ＳＰのｘｙ座標値を（Ｃｘ，Ｃｙ）とする。
例えばフレームＦＲ１の時点で、候補画像枠Ｅ１，Ｅ２，Ｅ３のそれぞれの候補画像枠情報が取り込まれた場合、制御部３０は、図示する各候補画像枠Ｅ１，Ｅ２，Ｅ３の重心Ｇから判定基準点ＳＰの距離Diff１、Diff２、Diff３を算出する。

なお、判定基準点ＳＰが画面中央とされるのは一例である。
例えば図６Ｂのように、中央よりやや左上方の位置に判定基準点ＳＰを設定してもよい。例えば静止画の構図を考えた場合、このような中央でない位置に主たる被写体を配置するとよい場合が多々考えられるからである。
いずれにしても、図６Ｂのように、各候補画像枠（例えばＥ４，Ｅ５）と判定基準点ＳＰの距離（例えばDiff４、Diff５）を算出するようにする。

判定基準点ＳＰは、例えば図６Ａ、図６Ｂのような位置に固定的に設定していてもよいし、ユーザが表示画面上でのタッチ操作などにより任意に指定できるようにしてもよい。また表示部３４の画面上でユーザにいくつかの判定基準点の候補点を提示し、ユーザが選択できるようにしてもよい。さらには、画像内容、画像解析結果などに応じて制御部３０が構図などを考慮して最適な位置を判定し、自動設定することも考えられる。
即ち判定基準点ＳＰについては、
・画像中央位置、或いは中央よりずれた位置などとして、予め決められた固定的な位置に設定される。
・ユーザが任意に指定する。
・いくつかの候補点をユーザに提示し、ユーザが選択することで設定される。
・制御部３０が画像内容に応じて最適位置を判定し、自動的に可変設定する。
などが考えられる。

候補画像枠Ｅ（ｎ）についての位置状態としての距離Diff（ｎ）は、各フレームの時点で求めていく。
図７は、仮に候補画像枠Ｅ１，Ｅ２，Ｅ３が、ある期間継続してフレーム（ＦＲ１，ＦＲ２・・・）内に存在し続けたとして、算出される距離Diff１、Diff２、Diff３の変動の様子を示したものである。
例えば撮像者が撮像装置１０で、ある期間、３人の被写体をとらえていた場合を想定している。３人の各人が、それぞれ動いていたり、或いは撮像者が撮像装置１０の被写体方向を動かしていたり、手ぶれがあるなどにより、時間軸上では、算出される各距離Diff１、Diff２、Diff３は変動している。

後述の図８の処理例では、安定存在度とは、判定基準点ＳＰに近い状態の累積時間とする。このため、「近い／近くない」の判定に、距離閾値Thr-diffを用いる。
図７下部には、距離Diff１、Diff２、Diff３の各時点での、距離閾値Thr-diff以内か否かの判定結果を示している。距離Diff（ｎ）が距離閾値Thr-diff以下であれば、近い＝「１」とされることとする。
この判定結果「１」を各時点で累積加算していったものが処理例１での安定存在度となる。

判定開始から判定終了までの期間は具体的な処理例によって異なる。後述の図８の処理例では、距離閾値Thr-diff以下の判定結果「１」の累積加算値は、その時点までの安定存在の度合いを示す累積時間となるが、その累積時間が所定値に達した候補画像が発見された時点が判定終了のタイミングとなる。
例えば図７の例では、候補画像枠Ｅ３は、継続して「１（＝判定基準点ＳＰに近い）」と判定されるが、この累積加算値が或る所定値に達した時点で、判定が終了され、候補画像枠Ｅ３が主要被写体と判定されることとなる。

なお、ここでは継続性は問わないとする。例えば図７における候補画像枠Ｅ２の距離Diff２は、時点によって「１」「０」の判定があるが、あくまでも累積時間であるため、「１」の状況が多く、他の候補画像枠よりも早く累積時間が所定値に達した場合は、候補画像枠Ｅ２が主要被写体と判定されることもあり得る。
但し、もちろん継続性を安定存在度の条件に用いる例も考えられる。

図８で制御部３０の主要被写体判定処理（図４のステップＦ１１〜Ｆ１５）の具体例を説明する。ステップＦ１０１〜Ｆ１１４については、対応する図４のステップＦ１１〜Ｆ１５を示している。

制御部３０は、主要被写体判定処理を開始すると、まず初期設定としてステップＦ１００で変数ＴＳＦ＝０とし、またカウント値Cnt（ｎ）＝０とする。
変数ＴＳＦとは、主要被写体設定済みか否かを示すフラグである。ＴＳＦ＝「０」は、主要被写体が未判定の状態を示すこととなる。
またカウント値Cnt（ｎ）は、上述の距離Diffの距離閾値Thr-diffとの比較判定結果の値を加算するカウンタの値である。

なお「ｎ」は、自然数１，２，３・・・を表し、カウント値Cnt（ｎ）は、候補画像枠Ｅ１，Ｅ２，Ｅ３のように、検出された候補画像枠Ｅ（ｎ）にそれぞれ対応するカウント値としている。例えば３つの候補画像枠Ｅ１，Ｅ２，Ｅ３が検出される場合、カウント値として、Cnt１、Cnt２、Cnt３が用いられる。フローチャートの説明上、カウント値Cnt（ｎ）についての処理とは、例えばCnt１、Cnt２、Cnt３のそれぞれを対象とする処理を示しているものと理解されたい。
また、同様に距離Diff（ｎ）とは、３つの候補画像枠Ｅ１，Ｅ２，Ｅ３の判定基準点ＳＰからの距離Diff１、Diff２、Diff３を総称して表すものとしており、距離Diff（ｎ）についての処理とは、例えば距離Diff１、Diff２、Diff３のそれぞれについての処理という意味で用いている。

また、候補画像枠Ｅ（ｎ）は候補画像枠Ｅ１，Ｅ２，Ｅ３・・・を表すが、これは複数フレームにわたって、被写体別に区別されることが望ましい。例えば候補検出部２６が顔を抽出する例でいうと、人物Ａ、人物Ｂ、人物Ｃが被写体となっている場合、各フレームにおいて共通に、人物Ａの顔画像部分が候補画像枠Ｅ１、人物Ｂの顔画像部分が候補画像枠Ｅ２、人物Ｃの顔画像部分が候補画像枠Ｅ３というようにされる。もし途中の或るフレームで、人物Ｄのみが被写体に入っている状態になったとしても、人物Ｄの顔画像部分は候補画像枠Ｅ４とされる。従って候補検出部２６は、単に「顔」を検出するのみでなく、個体（個人）判別も行うこととするとよい。

ステップＦ１０１で制御部３０は、候補検出部２６から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Ｅ（ｎ）について、位置情報として、画像データの二次元（ｘ−ｙ）座標値としてのｘ値、ｙ値や、サイズ情報として候補画像枠の幅ｗ、高さｈの情報を取得する。
なお、候補画像枠情報には被写体距離（上記二次元（ｘ−ｙ）座標平面に直交するｚ軸方向の値で表される、カメラ位置に対する被写体の相対的な距離：ｚ値）やピクセル数等も含まれていてもよい。

ステップＦ１０２で制御部３０は、各候補画像枠Ｅ（ｎ）について、重心Ｇの座標を算出する。
例えば候補画像枠情報によっては、候補画像枠のｘ，ｙ座標値として、方形の候補画像枠の左上頂点の座標値が与えられるとする。このｘ，ｙ座標値を（E(n)_x，E(n)_y）とする。また図６に示したように、ｘ，ｙ座標は画面平面の左上を原点Ｏ（ｘ，ｙ座標値が（０，０））とする。
また候補画像枠Ｅ（ｎ）の幅ｗをE(n)_w、高さｈをE(n)_hとする。
そして候補画像枠Ｅ（ｎ）の重心Ｇの座標値を（E(n)_cx，E(n)_cy）とすると、重心Ｇの座標値は、
E(n)_cx＝E(n)_cx＋E(n)_w／２
E(n)_cy ＝E(n)_cy＋E(n)_h／２
として求められる。

ステップＦ１０３で制御部３０は、各候補画像枠Ｅ（ｎ）の重心Ｇから、判定基準点ＳＰまでの距離Diff（ｎ）を算出する。判定基準点ＳＰの座標値（Ｃｘ，Ｃｙ）として、
Diff（ｎ）＝√｛（E(n)_cx−Ｃｘ）²＋（E(n)_cy−Ｃｙ）²｝で求められる。

ステップＦ１０４で制御部３０は変数ＴＳＦを確認する。変数ＴＳＦ＝０であればステップＦ１０５に進む。
なお、主要被写体判定処理を開始した後、常時、処理を継続する場合、判定不要時（変数ＴＳＦ＝１のとき）には、このステップＦ１０４での処理を抜けることとなる。ユーザ操作や自動的な起動判断で、必要時に図８の主要被写体判定処理を実行するようにする場合などではステップＦ１０４は不要としてもよい。

ステップＦ１０５、Ｆ１０６，Ｆ１０７では、制御部３０は各候補画像枠Ｅ（ｎ）が距離Diff（ｎ）に関して所定の条件を満たしているか否かを確認する。
即ち判定基準点ＳＰまでの距離Diff（ｎ）が、判定基準点ＳＰに近いか近くないかを、距離閾値Thr-diffを用いて判定する。
このため制御部３０はステップＦ１０５で、各候補画像枠Ｅ（ｎ）の判定基準点ＳＰまでの距離Diff（ｎ）と距離閾値Thr-diffを比較し、Diff（ｎ）＜Thr-diffであればステップＦ１０６でフラグＦｌｇ（ｎ）＝１（近い）とする。またDiff（ｎ）＜Thr-diffでなければステップＦ１０７でフラグＦｌｇ（ｎ）＝０（近くない）とする。

次にステップＦ１０８，Ｆ１０９で制御部３０は、各候補画像枠Ｅ（ｎ）の安定存在度を算出する。この場合、ステップＦ１０８で、各候補画像枠Ｅ（ｎ）について、フラグＦｌｇ（ｎ）＝１であるか否かを確認し、フラグＦｌｇ（ｎ）＝１であれば、ステップＦ１０９でカウント値Cnt（ｎ）をインクリメント（＋１加算）する。フラグＦｌｇ（ｎ）＝０の場合は、カウント値Cnt（ｎ）は変更しない。
このカウント値Cnt（ｎ）は、上述した累積加算値としての安定存在度の値となる。つまり、候補画像枠Ｅ（ｎ）が判定基準点ＳＰに「近い」状態の頻度を表す値となる。

次にステップＦ１１１，Ｆ１１２，Ｆ１１３で制御部３０は、各候補画像枠Ｅ（ｎ）の安定存在度を用いて、主要被写体の判定を行う。
制御部３０はステップＦ１１１で、各候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）が、カウント閾値ＣＴｔｈｒに達しているか否かを確認する。

Cnt（ｎ）≧ＣＴｔｈｒでなければ、つまり各候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）のいずれもが、カウント閾値ＣＴｔｈｒに達していなければ、ステップＦ１１３で変数ＴＳＦ＝０のままとし、ステップＦ１１４で判定終了とはせず、ステップＦ１０１に戻る。この場合、次のフレームについて入力される候補画像枠情報に基づいて、ステップＦ１０１以降の処理を上記同様に実行していく。

なお、ステップＦ１１４は、変数ＴＳＦ＝０であれば、まだ主要被写体の判定は完了していないとして判定処理継続とし、変数ＴＳＦ＝１であれば、主要被写体判定は完了したとする。
先に述べたステップＦ１０４で変数ＴＳＦ＝１が検出された場合、そのまま判定終了となる。
詳しい説明は省略するが、本例の自動的な主要被写体判定とは並行して、例えばユーザが主要被写体を表示部３４の画面上のタッチ操作、或いは被写体を画面上に所定位置に合わせてシャッタボタンを半押しするなどの操作として、主要被写体選択ができるようにしてもよい。図８の処理の実行中に、ユーザがこのような指定操作を行った場合、ユーザの操作を優先することが好ましい。そこで、そのようなマニュアル操作として主要被写体設定が行われた場合、変数ＴＳＦ＝１とする。この場合、図８の処理はステップＦ１０４，Ｆ１１４の判断により、処理を終了（中断終了）することとすればよい。

安定存在度による主要被写体判定は、或る時間長をもって判定されるため、ある程度の時間（フレーム数）での候補画像枠情報についての処理を経なければ、上記のようにステップＦ１１４で判定終了とはならずにステップＦ１０１に戻って処理が繰り返される。

ここで、例えば図７で示したように或る候補画像枠Ｅ３が、非連続的でもよいが、複数のフレームのうちで高い頻度で、撮像画像上で判定基準点ＳＰに近い位置に存在する状況があったとする。すると時間が進むにつれ、候補画像枠Ｅ３のカウント値Cnt３のステップＦ１０９でのインクリメントの機会が多く発生し、カウント値Cnt３が、カウント値Cnt１、Cnt２よりも早く進む。
すると或る時点で、カウント値Cnt３がカウント閾値ＣＴｔｈｒに最初に到達することとなる。
このような場合、制御部３０は処理をステップＦ１１１からＦ１１２に進める。
ステップＦ１１２で制御部３０は、カウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに達した候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。

この場合ステップＦ１１４で判定終了とされる。即ち例えば候補画像枠Ｅ３が主要被写体と設定されるなどして、図８の主要被写体判定処理が完了することとなる。
なお、この処理例では変数ＴＳＦ＝１となるまで続けられることになるが、実際には、所定の制限時間を設けておくことが適切である。即ち図８の処理開始時点から所定時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにする。

以上のように主要被写体判定処理が行われる。
この主要被写体判定処理では、抽出された候補画像の中で、複数のフレームでの安定存 在度を求める。つまり時間的に高い頻度で位置的に安定して、画像内に存在するかどうかを判断する指標値を求める。
例えばカメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、安定存在度が高くなる。つまり撮像者が主として狙っている被写体は、撮像画像内の位置として、撮像者が中心と考える点や領域になるべく入るようにするし、さらに撮像者がその被写体を狙うことで、自然に長時間、撮像画像に入ってくる。従って、位置的に安定し、かつ時間的に高い頻度で撮像画像内に存在する被写体（安定存在度が高い被写体）は、撮像者が狙っている主要被写体と推定できる。

そして図８の処理例によれば、ユーザが主として撮像したい被写体を、なるべく画像中央などの判定基準点ＳＰに近い状態になるように、撮像装置１０を構える（被写体を追う）ことによって、当該被写体が主要被写体として自動的に判定されることとなる。
これにより、撮像者等のユーザが特に指定操作することなく、主要被写体が自動判定されることになり、主要被写体設定に応じた動作を行う撮像装置１０においてユーザの操作性は格段に向上する。

特にこの図８の処理例は、判定基準点ＳＰに「近い」状態の累積時間で安定存在度を判定している。動いている状況の被写体、或いは動物等の動きの早い被写体の場合、撮像者はある程度の時間（例えば数秒程度でも）、主としたい被写体を継続して画像中央に捕らえることは難しい場合がある。また撮像者の撮像技量によっては、手ぶれが激しいなどにより、なかなかとりたい被写体を画像中央に維持できないといったこともある。このような場合であっても、累積時間を用いることで、比較的迅速に主要被写体判定が可能となる。
従って動きの速い被写体を対象とする場合や、比較的不慣れなユーザにとっても好適となる。
また、主要被写体判定処理は、一定時間を必ず行うものではなく、主要被写体が判定された時点で処理は終了されるため、被写体や撮像者の技量によっては、迅速に主要被写体判定が為されるといった利点もある。

なお、主要被写体判定処理としての具体的処理例は他に多様に考えられる。
例えば各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を継続して満たしている継続時間情報を算出するようにしてもよい。継続時間によって安定的な存在かどうかを評価すると、動きの少ない被写体を対象とする場合、容易に画像中央等に継続して対象被写体をとらえることができるため、ユーザの望む主要被写体を正確に設定できる可能性が高い。また撮像者の技量によっては、主としてとりたい被写体を継続して画面中央等（判定基準点ＳＰに近い位置）に維持できるため、正確に撮像者の希望の被写体を主要被写体と判定できる確率が高い。つまり、撮像技能の上級者や、被写体によっては、よりユーザの望む被写体を主要被写体と判定できる可能性を高くできる。

また安定存在度の算出に、重み付けを与えてもよい。例えば主要被写体判定処理の実行期間の後の時点ほど、判定基準点ＳＰに近いことの価値を重くするなどである。
一般に撮像者が被写体を狙ってカメラを構える場合、最初は主役としたい被写体を画像中央などの所望の位置にとらえられず、撮像者が徐々にカメラの向きを調整していく。このことを考慮すると、最初は、撮像者が「主要被写体」と念頭においている被写体は、時間が進むにつれ徐々に画像中央にとらえられるようになる。
従って、主要被写体判定処理の実行中に、時間が進むほど、判定基準点ＳＰに近いということの価値を重くすることは、撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。

また安定存在度の算出について、距離Diff（ｎ）が距離閾値Thr-diff以下であるかの条件以外にも条件を加えることも考えられる。例えば被写体距離が所定範囲内であること、サイズが所定範囲内であること、特定の画像種別であること、などを条件に加えても良い。

また、一定の主要被写体判定期間を設定し、その期間内に、安定存在度の値が最も高い候補画像を、主要被写体と判定する処理例も考えられる。

また、上述の処理例では、候補画像枠の位置状態としては、設定した判定基準点との位置関係としたが、判定基準領域との位置関係としてもよい。
例えば画像中央などの正方形や円形等の領域を設定し、それを判定基準領域とする。各候補画像枠Ｅ（ｎ）の判定基準領域との位置関係とは、例えば、
・重心が判定基準領域に入っているか否か
・全体が判定基準領域に入っているか否か
・少なくとも一部が判定基準領域に入っているか否か
・判定基準領域の外縁との距離が所定の値以内か否か
などとする。
このような位置関係の条件で、安定存在度を求めることもできる。

また、各候補画像枠について安定存在度としては、位置状態（例えば判定基準点との距離）の平均値（平均距離）を算出するようにしてもよい。平均距離は、時間的にみて高い頻度で判定基準点に近い位置状態にあることを示す指標となる。例えば「平均距離の値が小さい」ということは、上述した処理例でいう「累積時間が長い」ことと同様の意味となる。そして、平均距離が最も小さく、かつこれが所定の閾値以内という条件を満たしている候補画像枠を主要被写体と判定することもできる。

本実施の形態では、例えば以上の例のように主要被写体判定が行われるが、撮像装置１０において主要被写体判定を行う目的等について説明しておく。
まず主要被写体判定結果の利用例を述べる。
主要被写体判定は、例えばユーザ（撮像者）がシャッタタイミング（レリーズタイミング）を狙っている際に実行されるが、制御部３０は主要被写体を自動的に判定した後、次のような処理を行うことができる。

・追尾処理
撮像される各フレームにおいて設定された主要被写体を追尾する。例えばスルー画表示上でユーザに主要被写体を明示して、ユーザの画角調整（例えばカメラを手に持っている状態における被写体決め）の用に供する。
なお、主要被写体の提示としては、表示部３４でのスルー画表示上で主要被写体の枠を強調表示することが考えられる。また、強調表示等は、判定直後の一定期間でもよいし、スルー画内に主要被写体が存在する限り実行させてもよい。

・フォーカス合わせ
主要被写体にオートフォーカス制御する。また、追尾処理と合わせて、主要被写体が動き回っていても、フォーカスが、その主要被写体に追尾して調整されるようにする。
・露光調整
主要被写体の明るさ（輝度）に基づいて自動露光調整を行う。
・指向性調整
撮像（例えば動画撮像）とともにマイクロホンにより音声収音を行う場合、画角空間内での主要被写体の方向に応じて、指向性調整を行う。
・ズーム制御
主要被写体に対応したオートズーム制御する。例えば主要被写体が常に所定以上のサイズで撮像画像で映り込むように自動的なズームレンズ駆動を行う。追尾処理と合わせて、主要被写体との距離が変化に応じたズームによる画角調整を行うようにしてもよい。
・録画スタート制御
動画撮像の開始のトリガーとする。例えば主要被写体が決定されたことに応じて、動画撮像記録を開始する。

また、撮像画像信号に対する各種信号処理にも用いることができる。
・画像効果処理
撮像される各フレームにおいて主要被写体の領域にのみ、画質調整、ノイズリダクション、肌色調整などの画像処理を加える。
或いは、主要被写体の領域以外に、画像効果、例えばモザイク処理、ぼかし処理、塗りつぶし処理等を加えることも考えられる。

・画像編集処理
撮像画像、もしくは記録された画像について、フレーミング、クロッピング等の編集処理を加える。
例えば主要被写体を含むフレーム内の一部領域の切り出しや、拡大等の処理を行うことができる。
また、撮像画像データのうちで、主要被写体が画像の中心に配置されるように画像周辺部のカット等を行い、構図調整を行うことができる。

これらは一例に過ぎないが、これら以外にも、アプリケーションプログラムや撮像装置内の自動調整機能が、設定した主要被写体を利用する処理は各種考えられる。

次に主要被写体判定処理をどのような時点で実行するかも各種考えられる。
例えば撮像装置１０が電源オンとされて、撮像を行っているとき（表示部３４にスルー画を表示している期間）は、常時主要被写体判定処理を行っていてもよい。
また、主要被写体を判定したら、追尾処理を行う場合、追尾が外れた時点で、再度主要被写体判定処理を行うようにしてもよい。
また、ユーザ操作により主要被写体判定処理が開始されるようにしてもよい。
またユーザが、判定実行モードを選択しているときに、常時実行されたり、追尾が外れたりといったときに実行されるなどとしてもよい。
またユーザ操作にかかわらず、自動的に主要被写体判定処理が起動されることも考えられる。

主要被写体判定処理を行うことによる効果としては次のとおりである。
撮像者が撮像装置１０をもって被写体を狙っているときには、そもそも主要被写体を指定するような操作は難しい。また何度も指定する行為は面倒である。主要被写体判定を自動的に実行することによれば、このようなことが解消され、ユーザストレスの低減効果が得られる。
またユーザが通常使用するデジタルスチルカメラ、携帯電話機内蔵カメラなど、ユーザが携帯して使用する撮像装置１０としては、表示部３４も小型であり、ユーザが主要被写体を画面上で指定する操作を行ったとしても、正確に行いにくい。本実施の形態のように自動判定することで、誤指定ということもなくなる。

また撮像装置１０が自動的に主要被写体判定を行うことによれば、ユーザにとっては、被写体を狙って撮像装置１０を構えているのみで、主要被写体判定が実行されることとなり、ユーザが装置に感じるインテリジェント感の向上や、付加価値の向上という効果が得られる。
また撮像装置１０を自然に構えていれば主役を撮れる、という感覚で使用できるため、撮像機会の増加、対応ユースケースの増加ということができ、使いやすいカメラをユーザに提供できることにもなる。

以上のことから、ハンドヘルドタイプのカメラとして、主要被写体判定を自動的に行う本実施の形態の撮像装置１０は特に好適となる。

＜４．表示制御処理＞
［４−１：各時点での表示制御例］
以上の主要被写体判定処理と共に行われる表示制御処理について説明していく。
制御部３０（表示制御部１）は、主要被写体判定処理開始後、主要被写体判定処理情報Ｉｎｆに基づいて、表示部３４に表示させる撮像画像上で候補提示（候補画像をユーザに認識させる表示）や主要被写体提示（主要被写体をユーザに認識させる表示）が実行されるように表示制御を行う。
撮像装置１０において主要被写体判定処理が行われるのは、例えばユーザが静止画撮像のために撮像装置１０を構えて、これから被写体を決め、シャッタチャンスを狙おうとするような場合である。この期間、撮像装置１０では、いわゆるスルー画（イメージャ１２で撮像される被写体光景のモニタリング画像としての動画）が表示部３４に表示される。
従って、候補提示や主要被写体提示は、スルー画上で候補画像や主要被写体画像を示したり、それらの画像自体を目立たせたりするように表示となる。
本実施の形態では、特に候補提示と主要被写体提示が、異なる表示態様で行われるようにし、これによって候補画像と主要被写体をユーザが明確に区別して認識できるようにする。
まず図９で候補画像と主要被写体についての表示動作について各種の例を挙げる。

・主要被写体判定中
以下では、主要被写体判定処理が開始されてから、主要被写体が決定されるまでを「主要被写体判定中」と呼ぶこととする。この主要被写体判定中では、制御部３０（表示制御部１）は、主要被写体判定処理情報Ｉｎｆに基づいた表示制御として候補画像の情報（例えば上述の候補画像枠）を用いた表示制御が可能となる。
この主要被写体判定中の表示制御動作としては、図９に示す３つの例（Ｘ１，Ｘ２，Ｘ３）が考えられる。

Ｘ１：候補提示を行わない。つまり通常のスルー画表示のままとする。
Ｘ２：候補提示を行う。つまりスルー画上で、候補画像とされた部分がユーザに認識できるような表示を行う。
Ｘ３：候補画像が発生したことに応じて候補提示を行う（Ｘ３−１）。そして主要被写体判定処理の進行に応じて、主要被写体として選ばれそうな候補画像が発生したら、それを他の候補画像よりも有力（主要被写体となる可能性が高い）な候補画像であることわかるように、他の候補画像とは異なる態様の表示（有力候補提示）を行う（Ｘ３−２）。

・主要被写体決定時
主要被写体判定処理で、主要被写体が決定された際、例えば主要被写体が決定された時点から所定時間ｔｈＴＭ内を、「主要被写体決定時」と呼ぶこととする。
この主要被写体決定時では、制御部３０（表示制御部１）は、主要被写体判定処理情報Ｉｎｆに基づいた表示制御として主要被写体の情報や、候補画像の情報を用いた表示制御が可能となる。
この主要被写体決定時の表示制御動作としては、ユーザに決定された主要被写体を強く 提示することが求められる。このため図９に示す２つの例（Ｙ１，Ｙ２）が考えられる。

Ｙ１：スルー画上で主要被写体提示のみを行う。候補提示、つまり候補画像が複数あった場合において主要被写体とされなかった候補画像（以下、非選択候補）についての提示は行わない。
Ｙ２：スルー画上で主要被写体提示と非選択候補提示を行う。つまり主要被写体をユーザに示すとともに、主要被写体に選択されなかった候補画像も示す。

・主要被写体決定後
例えば上記の主要被写体決定時から上記の所定時間ｔｈＴＭを経過した後を「主要被写体決定後」と呼ぶこととする。この期間は、主要被写体情報がアプリケーション等に受け渡され、主要被写体情報を用いた何らかの処理が行われている期間と想定される。
この主要被写体決定後では、制御部３０（表示制御部１）は、主要被写体判定処理情報Ｉｎｆに基づいた表示制御として先に決定された主要被写体の情報及び非選択候補画像の情報を用いた表示制御が可能となる。
この主要被写体決定後の表示制御動作としては、図９に示す３つの例（Ｚ１，Ｚ２，Ｚ３）が考えられる。

Ｚ１：主要被写体提示を行わない。つまり通常のスルー画表示のままとする。
Ｚ２：スルー画上で主要被写体提示のみを行う。非選択候補提示は行わない。
Ｚ３：スルー画上で主要被写体提示と非選択候補提示を行う。

以上の「主要被写体判定中」→「主要被写体決定時」→「主要被写体決定後」という時間軸遷移で考えると、各期間でどの表示を行うかの組み合わせとして、１８通りの表示動作例が考えられる。
その中でも、「主要被写体判定中」→「主要被写体決定時」の表示の遷移に注目すると、以下に示すｅｘ１〜ｅｘ５の表示動作例が有用である。
（ｅｘ１） Ｘ２→Ｙ１→Ｚ（Ｚ１，Ｚ２，Ｚ３のいずれか）
（ｅｘ２） Ｘ２→Ｙ２→Ｚ（Ｚ１，Ｚ２，Ｚ３のいずれか）
（ｅｘ３） Ｘ１→Ｙ２→Ｚ（Ｚ１，Ｚ２，Ｚ３のいずれか）
（ｅｘ４） Ｘ３→Ｙ１→Ｚ（Ｚ１，Ｚ２，Ｚ３のいずれか）
（ｅｘ５） Ｘ３→Ｙ２→Ｚ（Ｚ１，Ｚ２，Ｚ３のいずれか）

各例を具体的に説明する。
図１０Ａは、上記（ｅｘ１）としてＸ２→Ｙ１→Ｚ１の表示動作例である。
例えば主要被写体判定中において被写体となっている犬が候補画像となったとする。この場合に、例えば破線正方形枠という表示態様で候補提示ＫＭを行う。
その後、この犬がそのまま主要被写体と決定されたとする。主要被写体決定時には、犬の画像部分に、例えば太線正方形枠という表示態様で主要被写体提示ＭＡを行う。
主要被写体決定後は、主要被写体提示も非選択候補提示も行わない。

図１０Ｂも、上記（ｅｘ１）としてＸ２→Ｙ１→Ｚ２の表示動作例である。
主要被写体判定中において、候補画像となっている被写体（犬）について、例えば破線正方形枠という表示態様で候補提示ＫＭを行う。
その後、この犬がそのまま主要被写体と決定されたとする。主要被写体決定時には、犬の画像部分に、例えば太線正方形枠という表示態様で主要被写体提示ＭＡを行う。
主要被写体決定後は、例えば点線正方形枠という表示態様で主要被写体提示ＭＡを行う。

図１１Ａは、上記（ｅｘ２）としてＸ２→Ｙ２→Ｚ３の表示動作例である。
主要被写体判定中において、候補画像となっている被写体（犬、ウサギ）について、例えば破線正方形枠という表示態様でそれぞれ候補提示ＫＭを行う。
その後、犬が主要被写体と決定されたとする。主要被写体決定時には、犬の画像部分に、例えば太線正方形枠という表示態様で主要被写体提示ＭＡを行う。またウサギの画像部分にはそれまでの候補提示ＫＭと同様の破線正方形枠という表示態様で非選択候補提示ＫＭｓを行う。
主要被写体決定後は、例えば実線正方形枠という表示態様で主要被写体提示ＭＡを行うとともに、点線正方形枠という表示態様で非選択候補提示ＫＭｓを行う。

図１１Ｂは、上記（ｅｘ３）としてＸ１→Ｙ２→Ｚ３の表示動作例である。
主要被写体判定中において、１又は複数の被写体（この例では犬とウサギ）が候補画像となったが、候補提示は行わない。
その後、犬が主要被写体と決定されたとする。主要被写体決定時には、犬の画像部分に、例えば太線正方形枠という表示態様で主要被写体提示ＭＡを行う。またウサギの画像部分には実線正方形枠という表示態様で非選択候補提示ＫＭｓを行う。
主要被写体決定後は、例えば太破線正方形枠という表示態様で主要被写体提示ＭＡを行うとともに、点線正方形枠という表示態様で非選択候補提示ＫＭｓを行う。

図１２Ａは、上記（ｅｘ４）としてＸ３→Ｙ１→Ｚの表示動作例である（Ｚ（主要被写体決定後）は図示省略）。
主要被写体判定中の第１段階として、候補画像となった被写体（犬、ウサギ）について、例えば破線正方形枠という表示態様でそれぞれ候補提示ＫＭを行う（Ｘ３−１）。
その後、主要被写体判定中の第２段階として、或る候補画像となった被写体（犬）が、主要被写体に選択される可能性が高いと判定されたとする。このとき、当該被写体（犬）の画像部分は、有力候補として、他の候補画像（ウサギ）とは異なる態様、例えば実線正方形枠という表示態様で有力候補提示ＫＭｖを行う（Ｘ３−２）。
そして、犬が主要被写体と決定されたとする。主要被写体決定時には、犬の画像部分に、例えば太線正方形枠という表示態様で主要被写体提示ＭＡを行う。非選択候補提示は行わない。
主要被写体決定後は、図１０、図１１に示したＺ１，Ｚ２，Ｚ３のいずれかとなる。

図１２Ｂは、上記（ｅｘ５）としてＸ３→Ｙ２→Ｚの表示動作例である（Ｚ（主要被写体決定後）は図示省略）。
主要被写体判定中の第１段階として、候補画像となった被写体（犬、ウサギ）について、例えば実線正方形枠という表示態様でそれぞれ候補提示ＫＭを行う（Ｘ３−１）。
その後、主要被写体判定中の第２段階として、或る候補画像となった被写体（犬）が、主要被写体に選択される可能性が高いと判定されたとする。このとき、当該被写体（犬）の画像部分は、有力候補として、他の候補画像（ウサギ）とは異なる態様、例えば実線正方形枠の点滅という表示態様で有力候補提示ＫＭｖを行う（Ｘ３−２）。
そして、犬が主要被写体と決定されたとする。主要被写体決定時には、犬の画像部分に、例えば太線正方形枠の点滅という表示態様で主要被写体提示ＭＡを行う。またウサギの画像部分にはそれまでの候補提示ＫＭとは異なる点線正方形枠という表示態様で非選択候補提示ＫＭｓを行う。
主要被写体決定後は、図１０、図１１に示したＺ１，Ｚ２，Ｚ３のいずれかとなる。

本実施の形態では、特に候補提示ＫＭ（非選択候補提示ＫＭｓ、有力候補提示ＫＭｖも含む）と、主要被写体提示ＭＡとが、異なる表示態様で行われるようにする。
このための制御部３０（表示制御部１）による表示制御処理としては、次のような例（ｐ１、ｐ２）が考えられる。

（ｐ１） 表示制御部１は、主要被写体判定中は、画像内で候補画像を提示する第１態様による候補提示ＫＭが行われ、主要被写体決定時には画像内で主要被写体を提示する第２態様（第１態様とは異なる表示態様）による主要被写体提示ＭＡが行われるように、スルー画となる撮像画像データについての表示画像データ処理を行う。
主要被写体判定中にＸ２又はＸ３を採用する上記（ｅｘ１）（ｅｘ２）（ｅｘ４）（ｅｘ５）は、このような処理による表示動作に該当する。これらの例は、少なくとも主要被写体判定中と主要被写体決定時において、候補提示ＫＭと主要被写体提示ＭＡとが、異なる表示態様となるためである。
この表示制御により、ユーザは時間の進行に伴って候補画像を認識し、その後主要被写体決定時に主要被写体を明確に認識できる。

（ｐ２） 表示制御部１は、主要被写体決定時には、第２態様による主要被写体提示ＭＡに加えて、主要被写体と判定されなかった候補画像についての第２態様以外の態様（第１態様もしくはさらに他の態様）による候補提示（非選択候補提示ＫＭｓ）が行われるように、スルー画となる撮像画像データについての表示画像データ処理を行う。
主要被写体決定時にＹ２を採用する上記（ｅｘ２）（ｅｘ３）（ｅｘ５）は、このような処理による表示動作に該当する。これらの例は、少なくとも主要被写体決定時において、非選択候補提示ＫＭｓと主要被写体提示ＭＡとが、異なる表示態様となるためである。
この表示制御により、ユーザは主要被写体決定時においては、主要被写体と非選択候補画像を、それぞれ明確に認識できる。

次に、主要被写体決定後については、主要被写体提示ＭＡのみを行う例（（ｅｘ１）〜（ｅｘ５）のいずれかにおいてＺ２を採用する場合）や、主要被写体提示ＭＡと非選択候補提示ＫＭｓの両方を行う例（（ｅｘ１）〜（ｅｘ５）のいずれかにおいてＺ３を採用する場合）がある。
特に、この主要被写体決定後において主要被写体提示ＭＡや非選択候補提示ＫＭｓの表示態様に着目すると、次の例（ｐ３、ｐ４）が考えられる。

（ｐ３） 表示制御部１は、主要被写体決定時に画像内で主要被写体を提示する主要被写体提示ＭＡが行われた後、主要被写体提示ＭＡが異なる表示態様に変化するように、スルー画となる撮像画像データについての表示画像データ処理を行う。
例えば図１０Ｂ、図１１Ａ、図１１Ｂに示したような例である。
この制御により、主要被写体を継続して認識できるとともに、例えば主要被写体決定時には非常に目立つ表示態様としてユーザの注意を向けさせ、その後は、画面上での強調度合をある程度落とした表示態様として、画面が煩雑でないようにすることなどが可能である。

（ｐ４） 表示制御部１は主要被写体決定後において、主要被写体と判定されなかった候補画像については、主要被写体提示ＭＡとは異なる態様による非選択候補提示ＫＭｓが行われるように、スルー画となる撮像画像データについての表示画像データ処理を行う。
例えば図１１Ａ、図１１Ｂに示したような例である。
この制御により、ユーザは主要被写体を継続して明確に認識できるとともに、主要被写体に選択される可能性のあった候補画像も継続して認識できる。従って例えば主要被写体を変更したいような場合に便利である。

また主要被写体判定中における制御部３０（表示制御部１）による表示制御処理として、上記（ｅｘ４）（ｅｘ５）に該当する、次のような例（ｐ５）が考えられる。
（ｐ５） 表示制御部１は主要被写体判定中に、画像内で第１態様による候補提示ＫＭが行われ、さらに、候補画像のうちで主要被写体と判定される可能性が高いと判断された候補画像を提示する有力候補提示ＫＭｖが、第１態様とは異なる態様で行われるように、
スルー画となる撮像画像データについての表示画像データ処理を行う。
例えば図１２Ａ，図１２Ｂに示した例である。
このようにすることで、ユーザは、自動的に主要被写体が決定される前に、有力な候補画像を知ることができる。また従って、例えばユーザが意図していない被写体が有力な候補画像とされた場合、主要被写体と決定される前に、被写体方向を変えるなどして主要被写体と判定されないようにするなどの対処も可能となる。

［４−２：主要被写体提示や候補提示の表示態様］
以上の例のように本実施の形態では、候補提示ＫＭと主要被写体提示ＭＡの表示態様を異ならせることをはじめとして、表示態様を各種場合で変化させる。
ここでは候補提示ＫＭや主要被写体提示ＭＡの表示態様の例や、各場合での表示態様の遷移について説明する。

まず図１３は、主要被写体提示ＭＡや候補提示ＫＭを、１画面としてのフレーム内において該当部分を示す表示により実行する場合の各種表示態様を例示している。例えば人の顔の部分が候補画像や主要被写体となる場合の主要被写体提示ＭＡや候補提示ＫＭの具体例である。

図１３Ａは、正方形の枠で画像内の該当部分を囲うように表示する場合の各種表示態様である。正方形枠として、図示のように実線枠、破線枠、太線枠、点線枠、二重線枠など、多様な表示態様が考えられる。
図１３Ｂは、正方形枠について、枠線の色を各種変える例である。図示のように正方形枠として、赤枠、青枠、白枠など、色の異なる多様な表示態様が考えられる。
図１３Ｃは、正方形枠の状態を動的に変化させる表示態様である、例えば図示のように正方形枠を点滅させて画像内の該当部分を示す。点滅以外に、例えば枠の色が変化したり、枠の大きさや形が変化したり、立体的な枠画像が回転等するなど、各種の動的な表示態様が考えられる。
図１３Ｄは、正方形の全体を半透明塗りつぶし枠や、高輝度枠（ハイライト表示）などのように、枠をフィルタや画像効果領域のように用いて被写体の該当部分を表示する例である。
図１３Ｅは、枠の各種形状として、円形、多角形、不定形を示している。これ以外にも楕円、三角形、或いは［ ］などのように外周の一部が分断された枠などでもよい。上記の図１３Ａ〜図１３Ｄの各例は、この図１３Ｅの各種枠形状の場合においても、すべて適用できる。

以上は、画像内の該当部分を「枠」で示す表示の例であるが、ポインタとしての画像により画像内の該当部分を示しても良い。
図１３Ｆは、星マークや矢印マークで被写体を示す例である。もちろん他にも多様に考えられる。

次に図１４は、主要被写体提示ＭＡや候補提示ＫＭを、画像内の主要被写体又は候補画像に該当する領域と他の領域とで、異なる画像処理を施すことで実行する例を示している。例えば人の身体の部分が候補画像や主要被写体となる場合の主要被写体提示ＭＡや候補提示ＫＭの具体例である。
図１４Ａは、撮像画像の或る１フレームであるとする。後述するが、図３に示した被写体抽出マップ生成部２７は、図１４Ｂのように、該当する領域を示す被写体マップを生成することができる。
このような被写体マップに用いて、該当領域とそれ以外の領域について異なる画像処理 を施すことで主要被写体提示ＭＡや候補提示ＫＭが実行できる。

図１４Ｃ〜図１４Ｆとして、該当領域とそれ以外の領域について異なる画像処理を行って領域を提示する例（領域提示Ｉ〜IV）を示す。
図１４Ｃ（領域提示Ｉ）は、主要被写体（或いは候補画像）に該当する領域に画像処理としての加工を施す例である。斜線は画像処理による加工が行われた状態を示している。
例えばアルファブレンディングなど、被写体マップの情報を合成する例が考えられる。また該当領域につき、高輝度化（ハイライト表示）を行ったり、目立つ色となるように色変換を行ったり、３Ｄ表示を行うような例も考えられる。

図１４Ｄ（領域提示II）は、主要被写体（或いは候補画像）に該当する領域以外に、画像処理としての加工を施す例である。斜線は画像処理による加工が行われた状態を示している。
このような背景に対する画像処理としては、例えばモノクロ化、モノトーン化、低輝度化、モザイク化、塗りつぶし、画像ぼかし、などが考えられる。即ち該当領域が目立つようにする処理が適切である。

図１４Ｅ（領域提示III）は、主要被写体（或いは候補画像）に該当する領域に輪郭を付加する例である。これは、図１４Ｂの被写体マップの合成処理の一種であり、被写体マップの各画素値の微分処理で該当部分とそれ以外の境界画素情報を抽出し、当該境界画素情報を合成することで得られる。

図１４Ｆ（領域提示IV）は、主要被写体（或いは候補画像）に該当する領域と、それ以外の領域の両方に異なる画像処理を施す例である。斜線は或る画像処理による加工、点描は他の画像処理による加工が行われた状態を示している。
この場合、該当領域については、図１４Ｃで述べたような目立つ表示となる画像処理、背景領域については図１４Ｄで述べたような目立ちにくい表示となる画像処理を行うことが考えられる。

以上の図１３，図１４のように、主要被写体提示ＭＡや候補提示ＫＭ、さらには非選択候補提示ＫＭｓ，有力候補提示ＫＭｖとしての表示態様は非常に多様に考えられる。
本例では、時間的、或いは画像空間内において、少なくとも主要被写体提示ＭＡと候補提示ＫＭが異なる表示態様で行われるものとする。
また有力候補提示ＫＭｖについては、主要被写体提示ＭＡと候補提示ＫＭのいずれとも異なる表示態様とすることで「有力候補」であることを提示する。
なお、非選択候補提示ＫＭｓは、結果として主要被写体とされなかった候補画像の提示であるため、候補提示ＫＭと同一表示態様でも良いし、異なる表示態様でも良い。

図１５に主要被写体提示ＭＡや候補提示ＫＭ（非選択候補提示ＫＭｓ）についての異なる表示態様の例を示す。
なお「第１態様」とは、主要被写体判定中における候補提示ＫＭの表示態様とする。
また「第２態様」とは、主要被写体決定時における主要被写体提示ＭＡの表示態様とする。「第３態様」「第４態様」は、「第１態様」「第２態様」とは異なる態様であることを意味する。

図１５Ａは、候補提示ＫＭを実線正方形枠（第１態様）で行い、主要被写体提示ＭＡを二重線正方形枠（第２態様）で行う。そして主要被写体決定後においては、主要被写体提示ＭＡを破線正方形枠（第３態様）に切り換えて行い、非選択候補提示ＫＭｓは行わない例である。
図１５Ｂは、候補提示ＫＭを破線正方形枠（第１態様）で行い、主要被写体提示ＭＡを 円形枠（第２態様）で行う。そして主要被写体決定後においては、主要被写体提示ＭＡ及び非選択候補提示ＫＭｓは行わない例である。
図１５Ｃは、候補提示ＫＭをグレー正方形枠（第１態様）で行い、主要被写体提示ＭＡを赤正方形枠（第２態様）で行う。そして主要被写体決定後においては、主要被写体提示ＭＡは第２態様のままとし、また非選択候補提示ＫＭｓも第１態様のままとする例である。
図１５Ｄは、候補提示ＫＭを正方形枠（第１態様）で行い、主要被写体提示ＭＡを正方形枠の点滅（第２態様）で行う。そして主要被写体決定後においては、主要被写体提示ＭＡのみを第１態様で行い、非選択候補提示ＫＭｓを行わないことで主要被写体が示されるようにする例である。

図１５Ｅは、候補提示ＫＭを正方形枠（第１態様）で行い、主要被写体提示ＭＡを図１４Ｄに示した領域提示II（第２態様）で行う。そして主要被写体決定後においては、主要被写体提示ＭＡは図１４Ｅに示した領域提示III（第３態様）に切り換えて行い、非選択候補提示ＫＭｓは行わない例である。
図１５Ｆは、候補提示ＫＭを破線赤色正方形枠（第１態様）で行い、主要被写体提示ＭＡを図１４Ｃに示した領域提示Ｉ（第２態様）で行う。そして主要被写体決定後においては、主要被写体提示ＭＡは図１４Ｆに示した領域提示IV（第３態様）に切り換えて行い、非選択候補提示ＫＭｓは破線グレー正方形枠（第４態様）で行う例である。
図１５Ｇは、候補提示ＫＭを正方形枠（第１態様）で行い、主要被写体提示ＭＡを星マークポインタの点滅（第２態様）で行う。そして主要被写体決定後においては、主要被写体提示ＭＡは矢印ポインタ（第３態様）に切り換えて行い、非選択候補提示ＫＭｓは行わない例である。

以上はそれぞれ一例に過ぎず、表示態様の変化はさらに多様に考えられることは言うまでもない。
いずれにしても、時間的に見れば、候補画像として候補提示ＫＭが行われた被写体画像いついては、主要被写体と決定された際には、候補提示ＫＭの時とは異なる表示態様で主要被写体提示ＭＡが行われることになる。
また同一時間における画像内で、主要被写体提示ＭＡと非選択候補提示ＫＭｓが行われる場合、主要被写体提示ＭＡと非選択候補提示ＫＭｓは異なる表示態様で行われる。

［４−３：第１の表示制御処理例］
以上のような主要被写体提示ＭＡ、候補提示ＫＭ（ＫＭｓ）を行うための制御部３０（表示制御部１）の具体的な処理例を説明する。
先に図４で述べたようにＣＰＵ３０は、主要被写体判定処理が開始される際に、ステップＦ１０として主要被写体提示ＭＡ、候補提示ＫＭ（ＫＭｓ）を行う表示制御処理を開始する。つまり主要被写体判定処理と並行して表示制御処理が行われる。

この表示制御処理としてＣＰＵ３０（表示制御部１）が実行する処理例を図１６に示す。図１６に示す第１の表示制御処理例は、上述の（ｅｘ１）（ｅｘ２）（ｅｘ３）のいずれかの表示動作を行う場合の処理例である。
また主要被写体提示ＭＡ、候補提示ＫＭ（ＫＭｓ）は、枠又はポインタで行われる例とする。

なお、図１６においてステップＦ２０１は図２のステップＦ１、ステップＦ２０２〜Ｆ２０８は図２のステップＦ２、ステップＦ２０９は図２のステップＦ３に対応していると
見ることができる。
制御部３０は、例えばスルー画を生成するための撮像画像の１フレームがデジタル信号処理部２０から転送されてくる毎に、図１６の処理を行う。

制御部３０はステップＦ２０１として、表示制御のために、その時点での主要被写体判定処理情報Ｉｎｆを取得確認する。
具体的には、先に図８で説明した、主要被写体設定済みか否かを示す変数ＴＳＦと、候補画像枠情報（候補画像の画面内の位置（画素領域、重心位置等））、さらに主要被写体決定がされた場合は主要被写体情報（主要被写体とされた画像の位置（画素領域、重心位置等））を確認する。

制御部３０はステップＦ２０２で、変数ＴＳＦ＝１、つまり主要被写体決定がなされたか否かで処理を分岐する。
まだ主要被写体が決定されておらず、主要被写体判定中であれば制御部３０は処理をステップＦ２０３に進め、表示制御カウンタＣＴｄｓをリセットする。
そして制御部３０はステップＦ２０４で、上述のＸ１又はＸ２の表示データ処理を行う。表示データ処理Ｘ１，Ｘ２を図１７Ａ，図１７Ｂに示す。

例えば上述の（ｅｘ３）の表示動作を採用する場合には、制御部３０はステップＦ２０４で図１７Ａの表示データ処理Ｘ１を行う。即ち図１７ＡのステップＦ２２０として、スルー画表示のために転送されてきたフレーム画像データから、通常にスルー画としての加工（例えば画像データのリサイズ等）を行って１フレームの表示データを生成する。候補提示ＫＭのための処理は行わない。

また上述の（ｅｘ１）又は（ｅｘ２）の表示動作を採用する場合は、制御部３０はステップＦ２０４で図１７Ｂの表示データ処理Ｘ２を行う。即ち図１７ＢのステップＦ２２５として、候補画像枠情報に基づいて、１又は複数の候補提示ＫＭの位置を設定する。
そしてステップＦ２２６で制御部３０は、現撮像画像データフレームに第１態様で候補提示ＫＭを付加する処理を行う。例えばスルー画の候補画像の位置（領域）において第１態様の候補提示ＫＭが実行されるように、枠やポインタ等のキャラクタ重畳の処理を行う。このように候補提示ＫＭを付加した撮像画像データフレームを、スルー画に加工して１フレームの表示データを生成する。

以上のようにステップＦ２０４の処理を終えたら、制御部３０はステップＦ２０９に進み、ステップＦ２０４で生成した表示データを、表示部３４で表示させるスルー画の１フレームとして転送出力する。

ステップＦ２０２で変数ＴＳＦ＝１と判定される場合、つまり主要被写体決定がなされた時以降は、制御部３０は処理をステップＦ２０５に進め、表示制御カウンタＣＴｄｓをインクリメント（ＣＴｄｓ←ＣＴｄｓ＋１）する。
表示制御カウンタＣＴｄｓは、主要被写体判定中はステップＦ２０３でリセットされるため、この表示制御カウンタＣＴｄｓの値は、主要被写体決定時からの経過時間を示すものとなる。

そして制御部３０はステップＦ２０６で、表示制御カウンタＣＴｄｓの値が所定時間ｔｈＴＭを超えたか否かを確認する。
この処理は、現在が、上述した「主要被写体決定時」と「主要被写体決定後」のいずれであるかを判定する処理である。
先に述べたように、主要被写体が決定直後の期間、つまり主要被写体が決定された時点から所定時間ｔｈＴＭ内を、「主要被写体決定時」とする。これは、ユーザに対して、決
定された主要被写体を強く提示したい期間である。

制御部３０はＣＴｄｓ≦ｔｈＴＭであれば「主要被写体決定時」と判定し、ステップＦ２０７に進む。そして上述のＹ１又はＹ２の表示データ処理を行う。表示データ処理Ｙ１，Ｙ２を図１８Ａ，図１８Ｂに示す。

例えば上述の（ｅｘ１）の表示動作を採用する場合には、制御部３０はステップＦ２０７で図１８Ａの表示データ処理Ｙ１を行う。即ち図１８ＡのステップＦ２３１として、主要被写体情報に基づいて、主要被写体提示ＭＡの位置を設定する。
そしてステップＦ２３２で制御部３０は、現撮像画像データフレームに第２態様での主要被写体提示ＭＡを付加する処理を行う。例えば画像内での主要被写体の位置（領域）において第２態様の主要被写体提示ＭＡが実行されるように、枠やポインタ等のキャラクタ重畳の処理を行う。このように主要被写体提示ＭＡを付加した撮像画像データのフレームを、スルー画に加工して１フレームの表示データを生成する。

また例えば上述の（ｅｘ２）（ｅｘ３）の表示動作を採用する場合には、制御部３０はステップＦ２０７で図１８Ｂの表示データ処理Ｙ２を行う。即ち図１８ＢのステップＦ２３５として、主要被写体情報と候補画像枠情報に基づいて、主要被写体提示ＭＡの位置及び非選択候補提示ＫＭｓの位置を設定する。
そしてステップＦ２３６で制御部３０は、現撮像画像データフレームに第２態様での主要被写体提示ＭＡ，及び第１態様もしくはさらに他の態様での非選択候補提示ＫＭｓを付加する処理を行う。
例えば画像内での主要被写体の位置（領域）において第２態様の主要被写体提示ＭＡが実行されるように、枠やポインタ等のキャラクタ重畳の処理を行う。さらに他の候補画像の領域には、主要被写体判定中と同様の第１態様、もしくは第１、第２態様とは異なる他の態様で、非選択候補提示ＫＭｓとしての枠、ポインタ等のキャラクタ重畳の処理を行う。
このように主要被写体提示ＭＡ及び非選択候補提示ＫＭｓを付加した撮像画像データのフレームを、スルー画に加工して１フレームの表示データを生成する。

以上のようにステップＦ２０７の処理を終えたら、制御部３０はステップＦ２０９に進み、ステップＦ２０７で生成した表示データを、表示部３４で表示させるスルー画の１フレームとして転送出力する。

初めてステップＦ２０２で変数ＴＳＦ＝１と判定された後は、例えばフレーム期間毎にステップＦ２０５での表示制御カウンタＣＴｄｓのインクリメントが行われていくため、ある時点でステップＦ２０６でＣＴｄｓ＞ｔｈＴＭとなる。
この場合制御部３０は「主要被写体決定後」と判定し、ステップＦ２０８に進む。そして上述のＺ１，Ｚ２，Ｚ３のいずれかの表示データ処理を行う。表示データ処理Ｚ１，Ｚ２，Ｚ３を図１９Ａ，図１９Ｂ，図１９Ｃに示す。

図１９Ａの表示データ処理Ｚ１を採用する場合は、制御部３０はステップＦ２４０で、スルー画表示のために転送されてきたフレーム画像データから、通常にスルー画としての加工（例えば画像データのリサイズ等）を行って１フレームの表示データを生成する。主要被写体提示ＭＡや非選択候補提示ＫＭｓのための処理は行わない。

図１９Ｂの表示データ処理Ｚ２を採用する場合は、制御部３０はステップＦ２４２で主要被写体情報に基づいて、主要被写体提示ＭＡの位置を設定する。
そしてステップＦ２４３で制御部３０は、現撮像画像データフレームに第２態様又は第３態様での主要被写体提示ＭＡを付加する処理を行う。例えば現在のフレームの画像内で
の主要被写体の位置（領域）において第２態様又は第３態様の主要被写体提示ＭＡが実行されるように、枠やポインタ等のキャラクタ重畳の処理を行う。このように主要被写体提示ＭＡを付加した撮像画像データのフレームを、スルー画に加工して１フレームの表示データを生成する。

図１９Ｃの表示データ処理Ｚ３を採用する場合は、制御部３０はステップＦ２４５で、主要被写体情報と候補画像枠情報に基づいて、主要被写体提示ＭＡの位置及び非選択候補提示ＫＭｓの位置を設定する。
そしてステップＦ２４６で制御部３０は、現撮像画像データフレームに第２態様又は第３態様での主要被写体提示ＭＡ，及び第１態様又は第４態様での非選択候補提示ＫＭｓを付加する処理を行う。
例えば画像内での主要被写体の位置（領域）において第２態様又は第３態様の主要被写体提示ＭＡが実行されるように、枠やポインタ等のキャラクタ重畳の処理を行う。さらに他の候補画像の領域には、第１態様又は第４態様としての非選択候補提示ＫＭｓの枠、ポインタ等のキャラクタ重畳の処理を行う。
このように主要被写体提示ＭＡ及び非選択候補提示ＫＭｓを付加した撮像画像データのフレームを、スルー画に加工して１フレームの表示データを生成する。

以上のようにステップＦ２０８の処理を終えたら、制御部３０はステップＦ２０９に進み、ステップＦ２０８で生成した表示データを、表示部３４で表示させるスルー画の１フレームとして転送出力する。

以上、図１６〜図１９で説明した処理によって、上述の（ｅｘ１）〜（ｅｘ３）で説明したような表示動作が実現される。

［４−４：第２の表示制御処理例］
主要被写体提示ＭＡ、候補提示ＫＭ（ＫＭｓ）を行うための制御部３０の第２の表示制御処理例を説明する。
図２０に第２の表示制御処理としてＣＰＵ３０（表示制御部１）が実行する処理例を示す。この第２の表示制御処理例は、上述の（ｅｘ４）又は（ｅｘ５）の表示動作を行う場合の処理例である。つまり主要被写体判定中の期間に、まず候補画像が発生したことに応じて候補提示ＫＭを行い（Ｘ３−１）、そして主要被写体判定処理の進行に応じて、主要被写体として選ばれそうな候補画像が発生したら、それについて有力候補提示ＫＭｖを行う（Ｘ３−２）例である。

なお、図２０において図１６と同一の処理については同一のステップ番号を付し、繰り返しの説明は避ける。また図２０においてステップＦ２０１は図２のステップＦ１、ステップＦ２０９は図２のステップＦ３、それ以外はステップＦ２に対応していると見ることができる。
制御部３０は、例えばスルー画を生成するための撮像画像の１フレームがデジタル信号処理部２０から転送されてくる毎に、図２０の処理を行う。

制御部３０はステップＦ２０１として、表示制御のために、その時点での主要被写体判定処理情報Ｉｎｆを取得確認する。
先に図１６で述べたように、主要被写体設定済みか否かを示す変数ＴＳＦ、候補画像枠情報、主要被写体情報を確認することは同様であるが、この図２０の例の場合、カウント値Cnt（ｎ）も確認する。
図８で述べたように、「ｎ」は、自然数１，２，３・・・を表し、カウント値Cnt（ｎ ）は、候補画像枠Ｅ１，Ｅ２，Ｅ３のように、検出された候補画像枠Ｅ（ｎ）にそれぞれ対応する安定存在度判定のためのカウント値である。例えば３つの候補画像枠Ｅ１，Ｅ２，Ｅ３が検出される場合、カウント値Cnt（ｎ）は、Cnt１、Cnt２、Cnt３のそれぞれを指す。

制御部３０はステップＦ２０２で、変数ＴＳＦ＝１、つまり主要被写体決定がなされたか否かで処理を分岐する。
まだ主要被写体が決定されておらず、主要被写体判定中であれば制御部３０は処理をステップＦ２０３に進め、表示制御カウンタＣＴｄｓをリセットする。
そして制御部３０はステップＦ２１０として、カウント値Cnt（ｎ）、つまり例えば各候補画像枠Ｅ１，Ｅ２，Ｅ３についてのカウント値Cnt１、Cnt２、Cnt３のそれぞれについて、閾値ＰｒＣＴｔｈ以上となったものがあるか否かを判定する。
閾値ＰｒＣＴｔｈとは、図８で説明した主要被写体と判定するためのカウント閾値ＣＴｔｈｒよりも、わずかに低い値とする。
つまりステップＦ２１０の処理は、カウント値Cnt（ｎ）が近々カウント閾値ＣＴｔｈｒに達しそうな値になっている候補があるか否か（主要被写体と判定されそうな候補画像があるか否か）を判定する処理である。

Cnt（ｎ）≧ＰｒＣＴｔｈとなった候補画像枠がなければ、ステップＦ２１１に進み、制御部３０は上述のＸ３−１の表示データ処理を行う。表示データ処理Ｘ３−１を図２１Ａに示す。
制御部３０はステップＦ２５１で、候補画像枠情報に基づいて、１又は複数の候補提示ＫＭの位置を設定する。
そしてステップＦ２５２で制御部３０は、現撮像画像データフレームに第１態様で候補提示ＫＭを付加するため、候補画像の位置（領域）に、枠やポインタ等のキャラクタ重畳の処理を行う。このように候補提示ＫＭを付加した撮像画像データフレームを、スルー画に加工して１フレームの表示データを生成する。
以上のようにステップＦ２１１の処理を終えたら、制御部３０はステップＦ２０９に進み、ステップＦ２１１で生成した表示データを、表示部３４で表示させるスルー画の１フレームとして転送出力する。

ある時点でCnt（ｎ）≧ＰｒＣＴｔｈとなった候補画像枠が発生したら、制御部３０はステップＦ２１０からＦ２１２に進み、上述のＸ３−２の表示データ処理を行う。表示データ処理Ｘ３−２を図２１Ｂに示す。
制御部３０はステップＦ２６１で、候補画像枠情報に基づいて、１又は複数の候補提示ＫＭの位置を設定する。
そしてステップＦ２６２で制御部３０は、Cnt（ｎ）≧ＰｒＣＴｔｈとなった候補画像枠の位置（領域）について第１、第２態様以外の態様で有力候補提示ＫＭｖを付加するように、枠やポインタ等のキャラクタ重畳の処理を行う。さらに他の候補画像の位置（領域）については、第１態様で候補提示ＫＭが実行されるように枠やポインタ等のキャラクタ重畳の処理を行う。
このように候補提示ＫＭ、有力候補提示ＫＭｖを付加した撮像画像データフレームを、スルー画に加工して１フレームの表示データを生成する。
なお、候補画像枠が１つであって、それが有力候補となる場合は、当然ながら画面上は有力候補提示ＫＭｖのみで他の候補提示ＫＭは行われない。
以上のようにステップＦ２１２の処理を終えたら、制御部３０はステップＦ２０９に進み、ステップＦ２１２で生成した表示データを、表示部３４で表示させるスルー画の１フレームとして転送出力する。

主要被写体決定時以降の処理（ステップＦ２０５〜Ｆ２０８，Ｆ２０９）は、図１６と 同様であるため説明を省略する。
以上、図２０、図２１で説明した処理によって、上述の（ｅｘ４）（ｅｘ５）で説明したような表示動作が実現される。

［４−５：領域提示のための処理（被写体抽出マップの利用）］
上記の第１，第２の表示制御処理例では、主要被写体提示ＭＡや候補提示ＫＭなどが、枠やポインタ等のキャラクタ重畳で行われる例で述べたが、図１４で説明したように、領域提示の手法で主要被写体提示ＭＡや候補提示ＫＭなどが行われても良い。
ここでは被写体マップを用いた領域提示の手法について説明する。

まず図２２で、図３に示した被写体抽出マップ生成部２７の構成例を説明する。
被写体マップ生成部２７は、特徴量マップ生成部２７ａ、帯域特徴量マップ生成部２７ｂ、帯域特徴量マップ合成部２７ｃ、および合成特徴量マップ合成部２７ｄから構成される。
この被写体マップ生成部２７には、イメージャ１２により時間的に連続して撮像され、前処理部２１乃至ＹＣ生成部２３により処理された複数の入力画像が順次供給される。

まず特徴量マップ生成部２７ａは、入力画像の各領域から、輝度や色などの特徴の特徴量を抽出して、抽出した特徴量を示す特徴量マップを生成し、帯域特徴量マップ生成部２７ｂに供給する。
帯域特徴量マップ生成部２７ｂは、特徴量マップ生成部２７ａからの各特徴量マップについて、特徴量マップから特定の帯域成分を抽出して帯域特徴量マップを生成し、帯域特徴量マップ合成部２７ｃに供給する。帯域特徴量マップは、各特徴について、帯域毎に生成される。

帯域特徴量マップ合成部２７ｃは、特徴量毎の帯域特徴量マップについて、画素毎に、帯域信頼度指標に基づいて、帯域特徴量マップのいずれか１つの特徴量を選択する。帯域特徴量マップ合成部２７ｃは、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、合成特徴量マップを生成する。すなわち、同じ特徴の帯域特徴量マップが、帯域信頼度指標に基づいて合成され、その特徴毎の合成特徴量マップとされる。
帯域特徴量マップ合成部２７ｃは、特徴毎に生成した合成特徴量マップを、合成特徴量マップ合成部２７ｄに供給する。

合成特徴量マップ合成部２７ｄは、帯域特徴量マップ合成部２７ｃからの合成特徴量マップについて、画素毎に、合成信頼度指標に基づいて、合成特徴量マップのいずれか１つの特徴量を選択する。合成特徴量マップ合成部２７ｄは、選択した画素毎の特徴量を、全画素について合成する（各画素の特徴量として採用する）ことで、被写体マップＭＰを生成する。

制御部３０（表示制御部１）は、以上のような被写体抽出マップ生成部２７で生成される被写体抽出マップＭＰを用いることで、例えば先の図１６や図２０のステップＦ２０７やステップＦ２０８等で、領域提示による主要被写体提示ＭＡや候補提示ＫＭ等を行うことができる。

図２３Ａは、ステップＦ２０７において、上述の表示データ処理Ｙ１として主要被写体提示ＭＡを領域提示で行う場合の例を示している。
制御部３０はステップＦ２７１で被写体抽出マップ生成部２７からの被写体マップを取 得する。そして被写体マップから主要被写体の提示領域を設定する。
そして制御部３０はステップＦ２７２で、現撮像画像データフレームに第２態様での主要被写体提示ＭＡを付加する処理を行う。この場合、被写体マップに基づいて設定した主要被写体の画素領域において、図１４で述べた領域提示Ｉ〜IVのいずれか（例えば第２態様は領域提示IIであるとする）の処理を施す。そして領域提示IIとして主要被写体提示ＭＡを付加した撮像画像データのフレームを、スルー画に加工して１フレームの表示データを生成する。
なお、表示データ処理Ｙ２としての処理例において、例えば主要被写体提示ＭＡ又は非選択候補提示ＫＭｓについて、領域提示Ｉ〜IVの手法を用いても良い。

図２３Ｂは、図１６や図２０のステップＦ２０８において、上述の表示データ処理Ｚ２として主要被写体提示ＭＡを領域提示で行う場合の例を示している。
制御部３０はステップＦ２８１で被写体抽出マップ生成部２７からの被写体マップを取得する。そして被写体マップから主要被写体の提示領域を設定する。
そして制御部３０はステップＦ２８２で、現撮像画像データフレームに第３態様での主要被写体提示ＭＡを付加する処理を行う。この場合、被写体マップに基づいて設定した主要被写体の画素領域において、例えば第３態様としての領域提示IIIの処理を施す。そして領域提示IIIとして主要被写体提示ＭＡを付加した撮像画像データのフレームを、スルー画に加工して１フレームの表示データを生成する。
なお、表示データ処理Ｚ３としての処理例において、例えば主要被写体提示ＭＡ又は非選択候補提示ＫＭｓについて、領域提示Ｉ〜IVの手法を用いても良い。
さらに主要被写体判定中における表示データ処理Ｘ２，Ｘ３としての処理例においても、候補提示ＫＭについて領域提示Ｉ〜IVの手法を用いても良い。

例えば以上のように、領域提示の手法で主要被写体提示ＭＡや候補提示ＫＭを実行することができる。領域提示の手法を用いることで、より明確に主要被写体や候補画像としての領域をユーザに伝えることができる。

＜５．プログラム及びコンピュータ装置への適用＞
以上、表示制御部１（表示制御装置）、撮像装置１０の実施の形態を説明してきたが、上述した表示制御処理や主要被写体判定処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ちこのプログラムは、候補画像情報に基づく候補提示と、主要被写体情報に基づく主要被写体提示とが、異なる表示態様となるように、主要被写体判定処理の対象の画像データについて行う表示用の画像データ処理を演算処理装置に実行させる。
また表示画像データ処理で得られた画像データを、表示部に供給する表示データとして出力する処理を演算処理装置に実行させる。

具体的には、実施の形態のプログラムは、図２、又は図１６〜図２１，図２３に示した表示制御処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムにより、上述した表示制御処理を実行する装置を、演算処理装置を用いて実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としての ＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital
Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の表示制御装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、本開示の表示制御装置とすることができる。
例えば、図２４に示されるようなコンピュータ装置において、図１の表示制御装置１や撮像装置１０における表示制御処理と同様の処理が実行されるようにすることもできる。

図２４において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。

上述した表示制御処理や主要被写体判定処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク（Blu-ray Disc（登録商標）、CD-ROM（Compact Disc - Read Only Memory）、DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８ ０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の表示制御部１及び主要被写体判定部２の機能を実行する。即ち表示制御については、図２、又は図１６〜図２１，図２３のような処理を実行する。主要被写体判定処理については図４，図８のような処理を実行する。これにより入力された画像データについて主要被写体判定が行われ、またその判定過程の候補や判定結果としての主要被写体が的確にユーザに提示される。

＜６．変形例＞
上述の実施の形態は、各種の変形例が考えられる。
実施の形態では、例えば静止画撮像動作の場合を想定して、撮像画像について主要被写体判定が行われ、その際の表示動作について述べたが、例えば再生画像に対して主要被写体判定処理が行われることも考えられる。従って候補提示ＫＭや主要被写体提示ＭＡを行う表示制御処理は、画像データ再生時にも適用できる。
また同様に、動画撮像記録のスタンバイ中や動画撮像記録中において、主要被写体判定処理が行われ、それに伴って上述の表示制御処理が行われることも当然考えられる。
さらに主要被写体情報は、画像効果処理や画像編集処理にも利用できると述べたが、画像編集等の実行中に、上述の表示制御処理が行われることで、編集実行者等にわかりやすい表示を実現できる。

表示態様は図１３，図１４に例示したものに限られない。また表示態様の変化の例は図１５に示した以外に、非常に多様に考えられる。
いずれにしても、時間的又は画像空間的に、主要被写体提示ＭＡと候補提示ＫＭが異なる態様で行われれば良い。
また第１態様による候補提示、第２態様による主要被写体提示、有力候補提示のそれぞれは、異なる表示でも、一部が同じ表示でもよい。

なお本技術は以下のような構成も採ることができる。
（１）少なくとも主要被写体判定処理で主要被写体の候補とされた候補画像についての候補画像情報に基づく候補提示と、上記主要被写体判定処理の判定結果の主要被写体情報に基づく主要被写体提示とが、異なる表示態様となるように、上記主要被写体判定処理の対象の画像データについての表示用の画像データ処理である表示画像データ処理を行う表示画像処理部と、
上記表示画像処理部で処理された画像データを、表示部に供給する表示データとして出力する表示データ出力部と、
を備えた表示制御装置。
（２）上記表示画像処理部は、
上記主要被写体判定処理が開始されてから主要被写体が決定されるまでの主要被写体判定中は、上記候補画像を提示する第１態様による上記候補提示が行われ、上記主要被写体判定処理で主要被写体が判定された際には上記主要被写体を提示する第２態様による上記主要被写体提示が行われるように、上記表示画像データ処理を行う上記（１）に記載の表示制御装置。
（３）上記表示画像処理部は、
上記主要被写体判定処理で主要被写体が判定された際には、上記第２態様による上記主要被写体提示に加えて、上記主要被写体と判定されなかった候補画像についての上記第２態様以外による上記候補提示が行われるように、上記表示画像データ処理を行う上記（２）に記載の表示制御装置。
（４）上記表示画像処理部は、
上記主要被写体判定処理で主要被写体が判定された際に、主要被写体とは判定されなか った候補画像を提示する第１態様による上記候補提示が行われるとともに、主要被写体を提示する第２態様による上記主要被写体提示が行われるように、上記表示画像データ処理を行う上記（１）に記載の表示制御装置。
（５）上記表示画像処理部は、
上記主要被写体判定処理で主要被写体が判定された際に、主要被写体を提示する上記主要被写体提示が行われた後、上記主要被写体提示が異なる態様に変化するように、上記表示画像データ処理を行う上記（１）乃至（４）のいずれかに記載の表示制御装置。
（６）上記表示画像処理部は、
上記主要被写体判定処理による主要被写体決定後に、上記主要被写体と判定されなかった候補画像について、上記主要被写体提示とは異なる態様による上記候補提示が行われるように、上記表示画像データ処理を行う上記（１）乃至（５）のいずれかに記載の表示制御装置。
（７）上記表示画像処理部は、
上記主要被写体判定処理が開始されてから主要被写体が決定されるまでの主要被写体判定中は、第１態様による上記候補提示が行われ、さらに、候補画像のうちで主要被写体と判定される可能性が高いと判断された候補画像を提示する有力候補提示が、上記第１態様とは異なる態様で行われるように、上記表示画像データ処理を行う上記（１）乃至（６）のいずれかに記載の表示制御装置。
（８）上記表示画像処理部は、
上記主要被写体提示、又は上記候補提示の少なくとも一方が、フレーム内の該当部分を示す表示により実行されるように、上記表示画像データ処理を行う上記（１）乃至（７）のいずれかに記載の表示制御装置。
（９）上記表示画像処理部は、
上記主要被写体提示、又は上記候補提示画像内の少なくとも一方が、画像内の主要被写体又は候補画像に該当する領域と他の領域とで、異なる画像処理を施すことで実行されるように、上記表示画像データ処理を行う上記（１）乃至（８）のいずれかに記載の表示制御装置。
（１０）上記表示画像処理部は、外部の画像処理装置から、上記候補画像情報と上記主要被写体情報とを取得する上記（１）乃至（９）のいずれかに記載の表示制御装置。
（１１）画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補画像を検出し、検出した候補画像のうちで主要被写体を判定する主要被写体判定部をさらに備え、
上記表示画像処理部は、上記主要被写体判定部から、上記候補画像情報と上記主要被写体情報とを取得する上記（１）乃至（９）のいずれかに記載の表示制御装置。
（１２）上記主要被写体判定部は、検出した候補画像について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補画像のうちで主要被写体を判定する上記（１１）に記載の表示制御装置。

１ 表示制御部、１ａ 表示画像処置部、１ｂ 表示データ出力部、２ 主要被写体判定部、４ 表示部、１０ 撮像装置、１１ 光学系、１２ イメージャ、１３ 光学系駆動部、１４ センサ部、１５ 記録部、１６ 通信部、２０ デジタル信号処理部、２１
前処理部、２２ 同時化部、２３ ＹＣ生成部、２４ 解像度変換部、２５ コーデック部、２６ 候補検出部、２７ 被写体抽出マップ生成部、３０ 制御部、３４ 表示部、３５ 操作部、７０ コンピュータ装置、７１ ＣＰＵ

Claims (14)

1. 主要被写体自動判定処理中に主要被写体の候補とされる被写体を示す候補被写体提示と、上記主要被写体の自動決定時に自動決定された主要被写体を示す主要被写体提示と、上記主要被写体の自動決定後に上記主要被写体を示す主要被写体決定後の提示とが、異なる表示態様となるように、上記主要被写体自動判定処理の対象の画像データについての表示用の画像データ処理を行う表示画像処理部と、
   上記表示画像処理部で処理された画像データを、表示部に供給する表示データとして出力する表示データ出力部と、
   を備えた表示制御装置。
2. 上記表示画像処理部は、
   上記主要被写体自動判定処理が開始されてから主要被写体が決定されるまでの主要被写体判定中は、第１態様による上記候補被写体提示が行われ、上記主要被写体自動判定処理で主要被写体が判定された際には、第２態様による上記主要被写体提示が行われるように、上記画像データ処理を行う請求項１に記載の表示制御装置。
3. 上記表示画像処理部は、
   上記主要被写体自動判定処理で主要被写体が判定された際には、上記第２態様による上記主要被写体提示に加えて、上記主要被写体と判定されなかった候補被写体についての上記第２態様以外による上記候補被写体提示が行われるように、上記画像データ処理を行う請求項２に記載の表示制御装置。
4. 上記表示画像処理部は、
   上記主要被写体自動判定処理で主要被写体が判定された際に、主要被写体とは判定されなかった候補被写体を提示する第１態様による上記候補被写体提示が行われるとともに、主要被写体を提示する第２態様による上記主要被写体提示が行われるように、上記画像データ処理を行う請求項１に記載の表示制御装置。
5. 上記表示画像処理部は、
   上記主要被写体自動判定処理で主要被写体が判定された際に、主要被写体を提示する上記主要被写体提示が行われた後、上記主要被写体提示が異なる態様に変化するように、上記画像データ処理を行う請求項１に記載の表示制御装置。
6. 上記表示画像処理部は、
   上記主要被写体自動判定処理による主要被写体決定後に、上記主要被写体と判定されなかった候補被写体について、上記主要被写体提示とは異なる態様による上記候補被写体提示が行われるように、上記画像データ処理を行う請求項１に記載の表示制御装置。
7. 上記表示画像処理部は、
   上記主要被写体自動判定処理が開始されてから主要被写体が決定されるまでの主要被写体判定中は、第１態様による上記候補被写体提示が行われ、さらに、候補被写体のうちで主要被写体と判定される可能性が高いと判断された候補被写体を提示する有力候補提示が、上記第１態様とは異なる態様で行われるように、上記画像データ処理を行う請求項１に記載の表示制御装置。
8. 上記表示画像処理部は、
   上記主要被写体提示、又は上記候補被写体提示の少なくとも一方が、フレーム内の該当部分を示す表示により実行されるように、上記画像データ処理を行う請求項１に記載の表示
   制御装置。
9. 上記表示画像処理部は、
   上記主要被写体提示、又は上記候補被写体提示画像内の少なくとも一方が、画像内の主要被写体又は候補被写体に該当する領域と他の領域とで、異なる画像処理を施すことで実行されるように、上記画像データ処理を行う請求項１に記載の表示制御装置。
10. 上記表示画像処理部は、外部の画像処理装置から、上記候補被写体についての候補被写体情報と上記主要被写体自動判定処理の判定結果の主要被写体情報とを取得する請求項１に記載の表示制御装置。
11. 画像データの複数のフレームについて、それぞれ主要被写体の候補となる候補被写体を検出し、検出した候補被写体のうちで主要被写体を判定する主要被写体判定部をさらに備え、
    上記表示画像処理部は、上記主要被写体判定部から、上記候補被写体についての候補被写体情報と上記主要被写体自動判定処理の判定結果の主要被写体情報とを取得する請求項１に記載の表示制御装置。
12. 上記主要被写体判定部は、検出した候補被写体について、複数フレームにわたる画像データ内での安定存在度を求め、該安定存在度を用いて、候補被写体のうちで主要被写体を判定する請求項１１に記載の表示制御装置。
13. 主要被写体自動判定処理中に主要被写体の候補とされる被写体を示す候補被写体についての候補被写体情報と、上記主要被写体自動判定処理の判定結果の主要被写体情報とを取得し、
    上記候補被写体情報に基づく候補被写体提示と、上記主要被写体情報に基づく主要被写体提示と、上記主要被写体の自動決定後に上記主要被写体を示す主要被写体決定後の提示とが、異なる表示態様となるように、上記主要被写体自動判定処理の対象の画像データについての表示用の画像データ処理を行い、
    上記表示用の画像データ処理で得られた画像データを、表示部に供給する表示データとして出力する表示制御方法。
14. 主要被写体自動判定処理中に主要被写体の候補とされる被写体を示す候補被写体提示と、上記主要被写体の自動決定時に自動決定された主要被写体を示す主要被写体提示と、上記主要被写体の自動決定後に上記主要被写体を示す主要被写体決定後の提示とが、異なる表示態様となるように、主要被写体自動判定処理の対象の画像データについて行う表示用の画像データ処理と、
    上記表示用の画像データ処理で得られた画像データを、表示部に供給する表示データとして出力する処理と、
    を演算処理装置に実行させるプログラム。

Images