WO2014109125A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】撮像画像の中で主要被写体を自動的に判定する。 【解決手段】画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、この検出に基づいて被写体の撮像位置に対する接離傾向を判定する。そして判定された各被写体の接離傾向（接近傾向又は離遠傾向）に基づいて主要被写体を判定する。

Description

画像処理装置、画像処理方法、プログラム

　本開示は、画像内の主要被写体を判定する処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

　近年のデジタルスチルカメラ、デジタルビデオカメラには顔検出機能が標準的に備わっており、顔位置・領域に合わせてカメラの各種パラメータ（フォーカス・明るさ等）を最適に合わせるといった機能が搭載されている。

　一方、撮像画像内で、被写体追尾のターゲットとする「主要被写体」を、ユーザが指定することによって選択する手法が、特許文献１に記載されている。
　また例えば上記特許文献２，３，４に開示された技術を用いれば、任意の被写体の全身枠を取り囲んだ被写体追尾が実現できる。
　また、オートフォーカス・自動露光などは、撮像画像内の所望の領域を検出・追跡し、その領域がもっとも好適になるように光学系等を制御するような機能も存在する。
　これらのように、撮像画像内で、ユーザが主要被写体として指定した画像、例えば顔等の画像領域を追尾したり、顔領域にフォーカスを合わせたりする等の技術が知られている。

特開２０１１－１６６３０５号公報 特開２０１１－１４６８２６号公報 特開２０１１－１４６８２７号公報 特開２０１１－１６０３７９号公報

　ところで、撮像画像内での、追尾やフォーカス合わせの目的となる所望の領域、つまり「主要被写体」は、現状は各種検出器から得られる「複数の候補領域」の中から撮像者自身が何らかの方法で一つの候補を選択することで決定される。
　例えばカメラを所持した状態で、画面表示されたスルー画（シャッタ操作時点以外に表示される被写体のモニタリング画像）に写されている複数の顔の中からタッチパネルによって任意の顔を選択するというような行為で主要被写体が選定される。あるいはユーザ指定のタイミング（シャッタ半押し等）で所定の領域内に存在する被写体を主要被写体とするなどである。

　しかしながら実際のユースケースにおいてはこのユーザインターフェースを考えてみると、「撮像者による主要被写体の選択」という行為自体が難しいことが多々ある。
　たとえば動き回る被写体に焦点を合わせ続けたいためにこの機能を使いたいのに、ユーザがカメラを構えて被写体を狙いながら指で選択すること自体が難しい。
　例を挙げれば、被写体の変化（移動）に対するユーザの反応速度により、指定が困難なこともある。例えば動き回る被写体を、スルー画の画面上でうまく指定できないような場合である。
　また、そもそもカメラを手に持って、被写体に向けて被写体を選定しているような状況で、ユーザが画面上で主要被写体を指で選択する行為自体が難しい。特に被写体を追っているような状況、例えばカメラがパンニングやチルティングとしての動きをするようにユーザが撮像方向を変化させている状況では、主要被写体を選択することはほぼ無理に近い。
　またタッチパネルを配した表示画面の解像度によって、ユーザにとって被写体が選択しにくいことがある。
　また、タッチパネルを配した表示画面上の被写体サイズとユーザの指の大きさ（太さ）によっては、所望の被写体を適切に指定できないこともある。
　また、カメラシステム上のタイムラグ、例えば実際の光景と撮像画像のスルー画のタイムラグによって、ユーザが適切に被写体を指定しにくいこともある。

　さらには動画撮像・記録中にこの操作を行う場合には、主要被写体の選択行為による画揺れがそのまま記録されたり、フレームアウトあるいは一時遮蔽等による追跡消失（失敗）時に再選択するという行為をユーザに強いたりといった状況がある。

　これらのように、ハンドヘルドタイプのカメラにおいて、主要被写体を選択する行為自体が、それを必要とする多くのユースケースで難しく、撮像者にストレスを与えてしまう。
　そこで本開示では、撮像者等のユーザが意図的に被写体を選択する行為を行わなくとも、ユーザの求める対象被写体を主要被写体と判定する技術を実現することを目的とする。

　本開示の画像処理装置は、画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する被写体距離変化判定部と、上記被写体距離変化判定部で判定された各被写体の接離傾向に基づいて主要被写体を判定する主要被写体判定部とを備える。
　本開示の画像処理方法は、画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定し、判定された各被写体の接離傾向に基づいて主要被写体を判定する。
　本開示のプログラムは、上記画像処理装置又は画像処理方法を実現する処理を演算処理装置に実行させるプログラムである。

　これらの本開示の技術によれば、画像データについて自動的に主要被写体を判定する主要被写体判定処理を行う。
　例えばユーザが、撮像装置を構えて撮像を行う場合において、近づいてくる被写体、或いは遠ざかっていく被写体を狙うというケースがある。例えば子供、友人、ペットなどがカメラを構えた撮像者に近寄ってくるような場合、或いは列車、航空機、野鳥等がカメラから遠ざかっていくような場合である。このようにユースケース（撮像対象）に応じて、近寄ってくる被写体を撮像対象とする場合や、遠ざかる被写体を撮像対象とすることがある。そこで被写体の撮像位置に対する接離傾向を判定し、判定された各被写体の接離傾向に基づいて主要被写体を判定することで、ユーザが主要或いは主役と考えている被写体を推定することができ、これにより自動的な主要被写体判定が可能となる。

　本開示によれば、撮像画像内で自動的に主要被写体が判定されるため、撮像者等のユーザが、主要被写体を選択する行為を行う必要は無い。従ってユーザの操作性、利便性を向上できる。例えば本開示の画像処理装置を搭載した撮像装置を手に持って撮像を行う場合の操作性の向上、ユーザストレスの低減、さらには自動的な主要被写体判定に応じた各種機能の実現という製品付加価値向上を実現できる。

本開示の実施の形態の画像処理装置の構成例のブロック図である。 実施の形態の画像処理装置の主要被写体判定処理のフローチャートである。 第１の実施の形態の撮像装置のブロック図である。 第１の実施の形態の主要被写体判定の概要の説明図である。 第１の実施の形態の接近判定の説明図である。 第１の実施の形態の接近判定及び主要被写体判定処理のフローチャートである。 第２の実施の形態の撮像装置のブロック図である。 第２の実施の形態の接近判定及び主要被写体判定処理のフローチャートである。 第３の実施の形態の離遠判定の説明図である。 第３の実施の形態の離遠判定及び主要被写体判定処理のフローチャートである。 第４の実施の形態の撮像装置のブロック図である。 第４の実施の形態の領域分割ブロックの説明図である。 第４の実施の形態の接近判定の説明図である。 第４の実施の形態の接近判定及び主要被写体判定処理のフローチャートである。 第４の実施の形態のブロック毎の時間対応付け処理のフローチャートである。 第４の実施の形態のブロック毎の時間対応付け処理の説明図である。 第４の実施の形態の主要被写体設定処理のフローチャートである。 第４の実施の形態の主要被写体設定処理の説明図である。 実施の形態のコンピュータ装置での適用の場合のブロック図である。

　以下、実施の形態を次の順序で説明する。
＜１．実施の形態の画像処理装置の構成＞
＜２．撮像装置の構成＞
＜３．主要被写体判定機会／目的等＞
＜４．撮像装置としての第１の実施の形態＞
＜５．撮像装置としての第２の実施の形態＞
＜６．撮像装置としての第３の実施の形態＞
＜７．撮像装置としての第４の実施の形態＞
＜８．プログラム及びコンピュータ装置への適用＞
＜９．変形例＞

＜１．実施の形態の画像処理装置の構成＞
　図１に、実施の形態の画像処理装置の構成例を示す。
　画像処理装置１は、主要被写体判定部２と、被写体距離変化判定部３を有する。

　被写体距離変化判定部３は、画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する。接離傾向とは、被写体が撮像位置に近づいてくる接近傾向、或いは被写体が撮像位置から遠ざかっていく離遠傾向のいずれかである。例えば被写体距離変化判定部３は、画像データＤｇとしての順次入力されるフレーム画像から、画像中の被写体の距離変化を検出し、被写体の接離傾向を判定して逐次主要被写体判定部２に供給する。具体的には被写体画像のサイズから距離変化を求め、接離傾向を判定する。或いは被写体距離変化判定部３は、画像データに含まれる被写体についての距離情報Ｉｄを入力し、その距離情報Ｉｄの変化から被写体の距離変化を求め、接離傾向を判定する。

　主要被写体判定部２は、被写体距離変化判定部３で判定された各被写体の接離傾向に基づいて主要被写体を判定する。例えば主要被写体判定部２は、接近傾向の判定結果に基づいて主要被写体を判定する。或いは離遠傾向の判定結果に基づいて主要被写体を判定する。例えば接近傾向又は離遠傾向にある被写体の全部又は一部を主要被写体と判定する。
　そして主要被写体判定部２は判定結果として、主要被写体情報Ｄｍを出力する。

　なお、以上の主要被写体判定部２、被写体距離変化判定部３を有する画像処理装置１は、演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital SignalProcessor）で実現できる。
　またＣＰＵ等で主要被写体判定部２としての機能を実現し、ＣＰＵと接続された画像処理用ＤＳＰ等、もしくはその連携処理として被写体距離変化判定部３の機能を実現することも考えられる。

　この画像処理装置１による主要被写体判定のための処理の流れは図２Ａのようになる。
　ステップＦ１として被写体距離変化判定部３が、画像データに含まれる被写体の距離変化を検出し、接離傾向が見られる被写体を判定する。
　ステップＦ２として主要被写体判定部２が、接離傾向が観測された被写体を主要被写体と判定する。
　ステップＦ３で主要被写体判定部２が、主要被写体判定結果である主要被写体情報Ｄｍを出力しアプリケーションプログラム等に受け渡す。
　アプリケーションプログラム等では、主要被写体画像が特定されたことに応じた処理を行う。例えば、フォーカス制御、追尾処理、画像効果処理などである。

　この図２ＡのステップＦ１，Ｆ２の処理の具体例として、２つの方式を図２Ｂ、図２Ｃに示す。
　図２Ｂの処理例は、画像データ内の被写体について、各フレームでの画像サイズを検出し、そのサイズ変化量を求めることで、各被写体の接離傾向を判定する処理である。つまり被写体の距離の時間的変化を、画像上でのサイズ変化で検出する。説明上、このような考え方の処理を「サイズ判定方式」と呼ぶこととする。後述の第１～第３の実施の形態は、このサイズ判定方式の考え方を用いる例とする。
　また図２Ｃの処理例は、画像データを複数の領域に分割し、画像内の分割領域（ブロック）毎の被写体の距離の時間的変化を検出する処理である。説明上、このような考え方の処理を「ブロック判定方式」と呼ぶこととする。後述の第４の実施の形態は、このブロック判定方式の考え方を用いる例とする。

　図２Ｂのサイズ判定方式について説明する。この場合、図２ＡのステップＦ１としてステップＦ１０、Ｆ１１、Ｆ１２、Ｆ１３の処理が行われ、図２ＡのステップＦ２としてステップＦ１４が行われる。
　ステップＦ１０で被写体距離変化判定部３は、画像データ内で、主要被写体となり得る候補画像を検出する。候補画像とは、例えば人の顔画像、身体画像、犬画像、猫画像などである。被写体距離変化判定部３は、画像データの画像解析処理により、画像内に存在する被写体として顔画像などの１又は複数の候補画像を設定する。
　ステップＦ１１で被写体距離変化判定部３は、各候補画像のサイズ（面積）を算出する。例えば候補画像の領域の幅×高さやピクセル数などとしてサイズを算出する。
　ステップＦ１２で被写体距離変化判定部３は、各候補画像についてのサイズ変化を算出する。例えば連続するフレーム画像データにおいて、現在処理対象のフレームの候補画像のサイズと、単位時間前（例えば１フレーム前）のフレーム画像データにおける、当該候補画像のサイズの差分を算出する。候補画像の画像上でのサイズは、撮像位置（カメラマ
ンが撮像を行っている撮像装置の位置）と、その候補画像とされた被写体の間の距離に対応する。従って、候補画像としての被写体が接近しているときは、サイズはフレームの進行に従って大きくなり、また候補画像としての被写体が離遠しているときは、サイズはフレームの進行に従って小さくなる。つまりサイズ変化は、距離変化として捉えることができる。

　ステップＦ１３で被写体距離変化判定部３は、各候補画像の接離傾向を判定する。例えばある程度の時間のスパンで上記のサイズ変化を観測すると、候補画像としての被写体が接近しているときは、被写体サイズが徐々に大きくなる。つまりある程度平均的、累積的又は継続的に、サイズ拡大方向へのサイズ変化量が観測される。そのような場合、候補画像は撮像位置に接近傾向にあると判定できる。
　逆に、候補画像としての被写体が離れていっているときは、被写体サイズが徐々に小さくなる。つまりある程度平均的、累積的又は継続的に、サイズ縮小方向へのサイズ変化量が観測される。そのような場合、候補画像は撮像位置から離遠傾向にあると判定できる。

　ステップＦ１４では、主要被写体判定部２が、接近傾向又は離遠傾向にある候補画像を、選択し、その候補画像の被写体を主要被写体と設定する。
　以上の処理により、撮像位置に対して近寄ってくる被写体を主要被写体と判定したり、或いは逆に撮像位置から遠ざかる被写体を主要被写体と判定することを自動的に行うことができる。

　次に図２Ｃのブロック判定方式について説明する。この場合、図２ＡのステップＦ１としてステップＦ２０、Ｆ２１、Ｆ２２の処理が行われ、図２ＡのステップＦ２としてステップＦ２３、Ｆ２４の処理が行われる。
　ステップＦ２０で被写体距離変化判定部３は、画像データを複数の領域に分割した各分割領域（ブロック）のそれぞれについて、被写体距離を検出する。詳しくは後述するが分割領域（ブロック）とは、図１２Ｂの破線で示すように１つの画像を複数の領域に分けた領域の１つ１つをいう。ステップＦ２０では、各分割領域について、その領域内にうつされた被写体の距離情報を検出する。

　ステップＦ２１で被写体距離変化判定部３は、各分割領域についての距離変化を算出する。例えば連続するフレーム画像データにおいて、現在処理対象のフレームの各分割領域と、単位時間前（例えば１フレーム前）のフレーム画像データにおける、各分割領域について、被写体距離の差分を算出する。これにより各分割領域における被写体の距離変化が算出される。

　ステップＦ２２で被写体距離変化判定部３は、各分割領域の接離傾向を判定する。例えばある程度の時間のスパンで上記の距離変化を観測すると、分割領域の被写体が接近しているときは、距離の値が徐々に小さくなり、ある程度平均的、累積的又は継続的に、距離が短くなる方向への距離変化量が観測される。そのような場合、その分割領域の被写体は撮像位置に接近傾向にあると判定できる。
　逆に、分割領域の被写体が離れていっているときは、距離の値が徐々に大きくなり、ある程度平均的、累積的又は継続的に、距離が長くなる方向への距離変化量が観測される。そのような場合、その分割領域の被写体は撮像位置から離遠傾向にあると判定できる。

　ステップＦ２３では、主要被写体判定部２は、接近傾向又は離遠傾向にある分割領域を含む被写体画像領域を判定する。分割領域は画像領域を分割したものであって、被写体画像の領域と１：１に対応するものではない。例えば１つの被写体画像が複数の分割領域にまたがって存在することも多い。そこで主要被写体判定部２は、例えば接近傾向又は離遠傾向にあるとされた分割領域と略同様の被写体距離の値をもち、当該分割領域に連続する
領域（隣接領域や、隣接領域にさらに隣接する領域）などの条件で、１つの被写体画像の領域範囲を判定する。
　そしてステップＦ２４で、判定した領域範囲の被写体画像を主要被写体と判定する。
　以上の処理により、撮像位置に対して近寄ってくる被写体を主要被写体と判定したり、或いは逆に撮像位置から遠ざかる被写体を主要被写体と判定することを自動的に行うことができる。

　図１の画像処理装置１では、以上の各例のように主要被写体判定が行われることで、被写体の動き（近接／離遠）により、ユーザがターゲットと意図している被写体を推定できる。よってユーザの手動操作に頼らずに、自動的に主要被写体判定を行うことができる。従って主要被写体設定に応じた動作を行う各種電子機器に図１の画像処理装置１が搭載されることで、ユーザの操作性は格段に向上する。

＜２．撮像装置の構成＞
　以下では、上記のような画像処理装置を内蔵した撮像装置１０を例に挙げ、主要被写体判定動作について詳しく説明する。
　実施の形態の撮像装置１０の構成例を図３に示す。なお、この構成例は撮像装置１０としての第１の実施の形態に適したものである。第２～第４の実施の形態としての撮像装置１０の構成例についてはその都度説明する。
　この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。

　図３に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、ユーザインターフェースコントローラ（以下、「ＵＩコントローラ」）３２、ユーザインターフェース３３を有する。

　光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
　イメージャ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子を有する。
　このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。

　光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。

　デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。
　例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、候補検出部２７を備えている。

　前処理部２１は、イメージャ１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
　同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
　ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
　解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
　コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

　候補検出部２７は、例えばＹＣ生成部２３で得られる撮像画像信号（輝度信号／色信号）を対象として、各フレーム単位（又は間欠的なフレーム毎）での画像解析処理を行い、候補画像を抽出する。即ち、時間軸上で連続的に入力される画像データについて顔画像検出、人体画像検出などを行って、主要被写体の候補となる画像を抽出する。
　なお、顔検出、人体検出等は、撮像画像データに対しての画像解析におけるパターンマッチングの手法などで可能であるが、パターンマッチングに用いる辞書さえ差し替えれば他の検出器も原理的には実現可能である。例えば（特定種の）犬検出・猫検出などとして主要被写体の候補画像を抽出してもよい。
　また例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることも考えられるし、セイレンシ（Saliency）と呼ばれる注視領域抽出の手法を用いてもよい。候補画像の抽出、選定の手法は多様に考えられる。

　候補検出部２７は例えば一例としては、顔画像の検出を行い、その顔画像が存在する領域を候補画像枠として抽出する。
　抽出した候補画像については、その候補画像枠の位置情報（画面上でのｘ，ｙ座標値、被写体距離の情報等）や、サイズ情報（例えば候補画像枠の幅、高さ、ピクセル数等）を、候補画像情報として制御部３０に受け渡す。なお、ここでは、候補画像となる画像領域の枠を示す情報であることから、候補画像情報のことを「候補画像枠情報」ともいうこととする。
　また、候補検出部２７は、画像に平滑化処理、アウトライヤ（outlier）除去等の処理を行って、候補画像枠情報を生成してもよい。
　なお候補検出部２７は、この図３の例ではデジタル信号処理部２０で実行される機能構成として示しているが、これは一例であり、制御部３０によって候補検出部２７の処理が実行されてもよい。

　制御部３０は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
　ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
　ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。例えば本例において後述する主要被写体判定のための処理を実行するためのプログラムや、さらに主要被写体判定結果を利用するアプリケーションプログラム等が記憶される。

　このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

　また本実施の形態の場合、制御部３０は、主要被写体判定部３０ａ、距離変化演算部３０ｂとしての機能を備え、後述する第１～第４の実施の形態で説明するような接近判定（又は離遠判定）及び主要被写体判定処理を実行する。
　この図３の構成の場合、距離変化演算部３０ｂは、候補検出部２７で設定された候補画像について、画像サイズを計算し、その画像サイズの単位時間毎の変化を計算し、その結果から接近傾向又は離遠傾向の判定を行う。
　主要被写体判定部３０ａは、距離変化演算部３０ｂの判定結果に基づいて、候補画像の中で主要被写体を設定する処理を行う。

　ユーザインターフェース３３は、ユーザに対する表示出力や音声出力を実行し、またユーザの操作入力を受け付ける。このため、表示デバイス、操作デバイス、スピーカデバイス、マイクロホンデバイスなどを有する。ここでは、表示部３４，操作部３５を示している。

　表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
　この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。本実施の形態の場合、例えばスルー画や再生画上で、主要被写体判定による判定結果がユーザにわかるような表示も実行される。

　操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
　この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
　筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
　またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

　ユーザインターフェース３３の表示部３４等の動作は、制御部３０の指示に従ってＵＩコントローラ３２により制御される。また操作部３５による操作情報は、ＵＩコントローラ３２によって制御部３０に伝達される。

　記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像フ
ァイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
　画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange
Format）等の形式で記憶される。
　記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
　また、本例において後述する接近判定（又は離遠判定）及び主要被写体判定処理を実行するためのプログラムは、記録部１５に記憶されてもよい。

　通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
　例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
　また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

　センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
　また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
　またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
　またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
　センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

　このような撮像装置１０において、図１で説明したような画像処理装置１の構成部分は次のようになる。
　図１の画像処理装置１における主要被写体判定部２に相当する構成は、撮像装置１０の制御部３０において主要被写体判定部３０ａとしてソフトウエアにより実装される。また被写体距離変化判定部３に相当する構成は、撮像装置１０の候補検出部２７と制御部３０における距離変化演算部３０ｂとしてソフトウエアにより実装される。
　制御部３０は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を実行制御することになる。

＜３．主要被写体判定機会／目的等＞
　本実施の形態では、後述の第１～第４の実施の形態として説明するように主要被写体判定が行われるが、撮像装置１０において主要被写体判定を行う機会や目的等について説明しておく。

　まず主要被写体判定結果の利用例を述べる。
　主要被写体判定は、例えばユーザ（撮像者）がシャッタタイミング（レリーズタイミング）を狙っている際に実行されるが、制御部３０は主要被写体を自動的に判定した後、次のような処理を行うことができる。

・追尾処理
　撮像される各フレームにおいて設定された主要被写体を追尾する。例えばスルー画表示上でユーザに主要被写体を明示して、ユーザの画角調整（例えばカメラを手に持っている状態における被写体決め）の用に供する。
　なお、主要被写体の提示としては、表示部３４でのスルー画表示上で主要被写体の枠を強調表示することが考えられる。また、強調表示等は、判定直後の一定期間でもよいし、スルー画内に主要被写体が存在する限り実行させてもよい。

・フォーカス合わせ
　主要被写体にオートフォーカス制御する。また、追尾処理と合わせて、主要被写体が動き回っていても、フォーカスが、その主要被写体に追尾して調整されるようにする。
・露光調整
　主要被写体の明るさ（輝度）に基づいて自動露光調整を行う。
・指向性調整
　撮像（例えば動画撮像）とともにマイクロホンにより音声収音を行う場合、画角空間内での主要被写体の方向に応じて、指向性調整を行う。
・ズーム制御
　主要被写体に対応したオートズーム制御する。例えば主要被写体が常に所定以上のサイズで撮像画像で映り込むように自動的なズームレンズ駆動を行う。追尾処理と合わせて、主要被写体との距離が変化に応じたズームによる画角調整を行うようにしてもよい。
・録画スタート制御
　動画撮像の開始のトリガーとする。例えば主要被写体が決定されたことに応じて、動画撮像記録を開始する。

　また、撮像画像信号に対する各種信号処理にも用いることができる。
・画像効果処理
　撮像される各フレームにおいて主要被写体の領域にのみ、画質調整、ノイズリダクション、肌色調整などの画像処理を加える。
　或いは、主要被写体の領域以外に、画像効果、例えばモザイク処理、ぼかし処理、塗りつぶし処理等を加えることも考えられる。

・画像編集処理
　撮像画像、もしくは記録された画像について、フレーミング、クロッピング等の編集処理を加える。
　例えば主要被写体を含むフレーム内の一部領域の切り出しや、拡大等の処理を行うことができる。
　また、撮像画像データのうちで、主要被写体が画像の中心に配置されるように画像周辺部のカット等を行い、構図調整を行うことができる。

　これらは一例に過ぎないが、これら以外にも、アプリケーションプログラムや撮像装置内の自動調整機能が、設定した主要被写体を利用する処理は各種考えられる。

　次に主要被写体判定処理をどのような時点で実行するかも各種考えられる。
　例えば撮像装置１０が電源オンとされて、撮像を行っているとき（表示部３４にスルー画を表示している期間）は、常時主要被写体判定処理を行っていてもよい。

　また、主要被写体を判定したら、追尾処理を行う場合、追尾が外れた時点で、再度主要被写体判定処理を行うようにしてもよい。
　また、ユーザ操作により主要被写体判定処理が開始されるようにしてもよい。
　またユーザが、判定実行モードを選択しているときに常時実行されたり、追尾が外れたときに実行されるなどとしてもよい。
　またユーザ操作にかかわらず、自動的に主要被写体判定処理が起動されることも考えられる。

　主要被写体判定処理を行うことによる効果としては次のとおりである。
　先に述べたように、撮像者が撮像装置１０を構えて被写体を狙っているときには、そもそも主要被写体を指定するような操作は難しい。
　特にパンニングやチルティングのように撮像方向を継続的に一定方向に変化させている場合、或いは一定方向ではなくとも、撮像方向を変化させている場合は、主要被写体を指定する操作はユーザにとって困難である。
　また何度も主要被写体を指定する行為は面倒である。
　主要被写体判定を自動的に実行することによれば、このようなことが解消され、ユーザストレスの低減効果が得られる。
　またユーザが通常使用するデジタルスチルカメラ、携帯電話機内蔵カメラなど、ユーザが携帯して使用する撮像装置１０としては、表示部３４も小型であり、ユーザが主要被写体を画面上で指定する操作を行ったとしても、正確に行いにくい。本実施の形態のように自動判定することで、誤指定ということもなくなる。

　また撮像装置１０が自動的に主要被写体判定を行うことによれば、ユーザにとっては、被写体を狙って撮像装置１０を構えていたり、被写体を追って撮像方向を変化させていたりする状況で、主要被写体判定が実行されることとなり、ユーザが装置に感じるインテリジェント感の向上や、付加価値の向上という効果が得られる。
　また撮像装置１０を自然に構えていれば主役を撮れる、という感覚で使用できるため、撮像機会の増加、対応ユースケースの増加ということができ、使いやすいカメラをユーザに提供できることにもなる。

　以上のことから、ハンドヘルドタイプのカメラとして、主要被写体判定を自動的に行う本実施の形態の撮像装置１０は特に好適となる。

＜４．撮像装置としての第１の実施の形態＞
　第１の実施の形態として上記図３の構成の撮像装置における主要被写体判定の動作を説明する。これは図２Ｂで述べたサイズ判定方式の考え方で主要被写体判定を行う例である。また第１の実施の形態は、近寄ってくる被写体を主要被写体と判定する例とする。

　図４Ａは候補検出部２７で行われる候補画像枠の抽出動作を模式的に示したものである。
　図には、撮像装置１０の光学系１１，イメージャ１２の動作によりデジタル信号処理部２０に入力される撮像画像信号の各フレームＦＲ１，ＦＲ２，ＦＲ３・・・を示している。候補検出部２７は、このような順次入力される連続した各フレームのそれぞれ（或いは間欠的な各フレームについて）に候補画像の検出を行う。
　例えば図示のように、フレームＦＲ１について、３人の人が存在していた場合、それぞれの顔画像部分を候補画像として抽出し、その候補画像枠Ｅ１，Ｅ２，Ｅ３についての候補画像枠情報を出力する。例えば候補画像枠Ｅ１の候補画像枠情報は、例えばこの候補画像枠Ｅ１の画像内での位置情報（ｘ，ｙ位置情報）、候補画像枠の幅ｗ、高さｈ等である
。ｘ，ｙ位置情報は、例えば画像の左上角を原点（０，０）とした座標値である。幅ｗ、高さｈは例えばピクセル数でよい。候補検出部２７は、このような候補画像枠情報を、候補画像枠Ｅ２，Ｅ３についても生成し、制御部３０に受け渡す。

　後続のフレームＦＲ２、ＦＲ３・・・についても同様に、候補検出部２７は候補画像の抽出を行い、それぞれの候補画像枠について、候補画像枠情報を生成して制御部３０に受け渡していく。

　制御部３０は、各フレームの候補画像枠情報を取り込む度に、各候補画像枠についてサイズとして枠面積（ｈ×ｗ）を算出し、さらにその枠面積の変化量として、前フレームの当該候補画像のサイズとの差分を検出する。そしてその差分の変化を時間軸上で観測していくことで、各候補画像が接近傾向にあるか否かを判定する。
　例えば図４Ｂには、候補画像枠Ｅ１とされた被写体人物が、撮像装置１の方向に近寄ってきている際の、撮像画像の例を示している。あるフレームＦＲｘでは、候補画像枠Ｅ１の枠面積は比較的小さいが、ある時間を経過した時点のフレームＦＲｙでは、この候補画像枠Ｅ１の枠面積が大きくなる。このような候補画像枠のサイズ変化を観測して、被写体が近寄っているか否かを判定するものである。

　図５Ａは、仮に候補画像枠Ｅ１，Ｅ２，Ｅ３が、ある期間継続してフレーム（ＦＲ１，ＦＲ２・・・）内に存在し続けたとして、算出される枠面積の変化の様子を示したものである。
　例えば撮像者が撮像装置１０で、ある期間、３人の被写体をとらえていた場合を想定している。３人の各人が、それぞれ動いていたり、或いは撮像者が撮像装置１０を持ちながら動いていたりすることで、時間軸上では、算出される各候補画像枠Ｅ１，Ｅ２，Ｅ３の枠面積距離は時間軸上で変化している。この例では、候補画像枠Ｅ１は、徐々に枠面積が大きくなっているが、候補画像枠Ｅ２，Ｅ３は、多少の変化はあっても平均的には大きな枠面積の変化はない。

　図５Ｂは、候補画像枠Ｅ１，Ｅ２，Ｅ３の枠面積の変化量の遷移を示している。例えば現在のフレームの枠面積から前フレームの枠面積を減算した差分として、各時点の値を示したものである。従って前の時点より撮像装置１０に対する相対距離が近づくと、面積変化量の値は大きくなり、相対距離が変わらなければ面積変化量は０、遠ざかると面積変化量はマイナスの値になる。
　そこで、まず面積変化量によって、近づいているか否かを判定する距離判定閾値Ｔｈｄを用いて、各面積変化量についての判定結果を得る。面積変化量が距離判定閾値Ｔｈｄを越えている場合は、その時点は、所定距離以上の接近有りと判定される。
　図５Ｃに候補画像枠Ｅ１，Ｅ２，Ｅ３についての判定結果を示している。これは面積変化量が距離判定閾値Ｔｈｄを越える値となっていると「Ｈ」レベルとなるフラグとする。
　図からわかるように、候補画像枠Ｅ１は面積変化量が常に高い値であり、Ｅ１判定結果は「１」を継続している。
　候補画像枠Ｅ２は面積変化量が高い値をとることもあったため、Ｅ２判定結果はある期間のみ「１」となっている。
　候補画像枠Ｅ３は面積変化量が常時低い値をとっていることで、Ｅ３判定結果は継続して「０」となっている。

　本例では、ある程度の時間、平均的、累積的、又は継続的に近寄っている被写体を接近傾向の被写体と判定する。図５Ｃの判定結果が「１」となる期間が長い被写体を接近傾向の被写体と判定することになる。例えば判定結果が「１」となる継続期間や累積期間などの期間長をカウントすれば、接近傾向の判定ができる。
　例えば候補画像枠Ｅ１については、判定結果が「１」であり期間が長いため、この判定
期間において接近傾向にあると判定できることになる。
　なお、候補画像枠Ｅ２は、例えば一時的に接近したり離れたりした被写体であるといえる。また候補画像枠Ｅ３は、比較的遠い位置を維持している被写体である。

　判定開始から判定終了までの期間は具体的な処理例によって異なる。後述の図６の処理例では、判定結果が「１」となる期間長をカウントし、その期間長が所定時間に達したら、その候補画像枠を接近傾向と判定する。その場合、例えば候補画像枠Ｅ１のように常時判定結果が「１」となる被写体が存在すれば、判定終了のタイミングは早くなる。つまり判定処理の状況によって判定期間長が変動する。他の例として判定開始から判定終了までの期間を固定期間長とする例もある。

　図６で制御部３０の接近判定及び主要被写体判定処理の具体例を説明する。以下説明する処理は、制御部３０において距離変化演算部３０ｂと主要被写体判定部３０ａが機能して実行される処理である。

　制御部３０は、接近判定及び主要被写体判定処理を開始する場合、まず初期設定としてステップＦ１００で変数ＴＳＦ＝０とし、またカウント値Cnt（ｎ）＝０とする。
　変数ＴＳＦとは、主要被写体設定済みか否かを示すフラグである。ＴＳＦ＝「０」は、主要被写体が未判定の状態を示すこととなる。
　またカウント値Cnt（ｎ）は、上述の面積変化量と距離判定閾値Ｔｈｄを比較した判定結果について、時間長を判定するためのカウンタの値である。

　なお「ｎ」は、自然数１，２，３・・・を表し、カウント値Cnt（ｎ）は、候補画像枠Ｅ１，Ｅ２，Ｅ３のように、検出された候補画像枠Ｅ（ｎ）にそれぞれ対応するカウント値としている。例えば３つの候補画像枠Ｅ１，Ｅ２，Ｅ３が検出される場合、カウント値として、Cnt１、Cnt２、Cnt３が用いられる。フローチャートの説明上、カウント値Cnt（ｎ）についての処理とは、例えばCnt１、Cnt２、Cnt３のそれぞれを対象とする処理を示しているものと理解されたい。
　また図６の処理で説明する枠面積Area（ｎ）も同様に各候補画像枠の枠面積を示すものとし、枠面積Area（ｎ）についての処理とは、例えば候補画像枠Ｅ１，Ｅ２，Ｅ３・・・の枠面積Area１、Area２、Area３・・・のそれぞれについての処理という意味で用いる。
　さらに同様に、面積変化量Diff（ｎ）も、各候補画像枠の面積変化量を示し、面積変化量Diff（ｎ）についての処理とは、例えば候補画像枠Ｅ１，Ｅ２，Ｅ３・・・の面積変化量Diff１、Diff２、Diff３・・・のそれぞれについての処理という意味で用いる。
　判定フラグFlg（ｎ）、オフセット値OFS（ｎ）も同様とする。

　また、候補画像枠Ｅ（ｎ）は候補画像枠Ｅ１，Ｅ２，Ｅ３・・・を表すが、これは複数フレームにわたって、被写体別に区別されることが望ましい。例えば候補検出部２７が顔を抽出する例でいうと、人物Ａ、人物Ｂ、人物Ｃが被写体となっている場合、各フレームにおいて共通に、人物Ａの顔画像部分が候補画像枠Ｅ１、人物Ｂの顔画像部分が候補画像枠Ｅ２、人物Ｃの顔画像部分が候補画像枠Ｅ３というようにされる。もし途中の或るフレームで、人物Ｄのみが被写体に入っている状態になったとしても、人物Ｄの顔画像部分は候補画像枠Ｅ４とされる。従って候補検出部２７は、単に「顔」を検出するのみでなく、個体（個人）判別も行うこととするとよい。

　制御部３０は、例えば１フレームタイミング毎にステップＦ１０１～Ｆ１１６の処理を行う。
　ステップＦ１０１で制御部３０は、候補検出部２７から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Ｅ（ｎ）について、位置情報として、画像データの二次元（ｘ－ｙ）座標値としてのｘ値、ｙ値や、候補画像枠の幅ｗ、高さｈの情報を
取得する。

　ステップＦ１０２で制御部３０は、各候補画像枠Ｅ（ｎ）について枠面積Area（ｎ）を算出する。枠面積Area（ｎ）＝幅ｗ×高さｈとして求める。なお、ここでは方形の枠を前提としているが、候補画像枠Ｅ（ｎ）は必ずしも方形でなく、円形、楕円形、不定形などとすることも考えられる。その場合、枠面積Area（ｎ）は、その候補画像枠Ｅ（ｎ）に含まれるピクセル数とすればよい。
　次にステップＦ１０３で制御部３０は、各候補画像枠Ｅ（ｎ）について面積変化量Diff（ｎ）を求める。面積変化量Diff（ｎ）は、前フレームとの差分として求める。即ち
　面積変化量Diff（ｎ）＝Area（ｎ）－Area（ｎ）pre
として求める。Area（ｎ）preは、候補画像枠Ｅ（ｎ）の前フレームの枠面積Area（ｎ）である。例えば１フレーム前の画像を対象とした際のステップＦ１０２で求められた枠面積Area（ｎ）が、現フレームの処理時点では「Area（ｎ）pre」とされる。

　ステップＦ１０４で制御部３０は変数ＴＳＦを確認する。変数ＴＳＦ＝０であればステップＦ１０５に進む。
　なお、例えば主要被写体判定が行われた後であったり、動作モード設定等で主要被写体判定処理が不要な期間などは、変数ＴＳＦ＝１とされていることで、主要被写体判定処理が行われない。
　またユーザ操作や自動的な起動判断で、必要時に図６の主要被写体判定処理を実行するようにする場合などではステップＦ１０４の処理は不要としてもよい。

　ステップＦ１０５、Ｆ１０６、Ｆ１０７では、制御部３０は各候補画像枠Ｅ（ｎ）の面積変化量Diff（ｎ）が、接近を示すものであるか否かを確認する。
　即ち面積変化量Diff（ｎ）が、所定量以上の接近を示す変化量であるか否かを、図５Ｂで説明したように距離判定閾値Ｔｈｄを用いて判定する。
　このため制御部３０はステップＦ１０５で、各候補画像枠Ｅ（ｎ）の面積変化量Diff（ｎ）と距離判定閾値Ｔｈｄを比較し、Diff（ｎ）＞ＴｈｄであればステップＦ１０６で判定フラグFlg（ｎ）＝１（近づいている）とする。またDiff（ｎ）＞ＴｈｄでなければステップＦ１０７で判定フラグFlg（ｎ）＝０（近づいていない）とする。
　判定フラグFlg（ｎ）は図５Ｃで説明した「１」「０」の判定結果に相当する。

　続いてステップＦ１０８、Ｆ１０９、Ｆ１１０で制御部３０は、判定フラグFlg（ｎ）が「１」であるか「０」であるかによりカウント処理用のオフセット値OFS（ｎ）を設定する。
　例えば制御部３０は、判定フラグFlg（ｎ）＝１であればステップＦ１０９でオフセット値OFS（ｎ）＝αとする。αはカウンタをインクリメントする所定値である。例えばα＝１とする。
　また制御部３０は、判定フラグFlg（ｎ）＝０であればステップＦ１１０でオフセット値OFS（ｎ）＝βとする。βはカウント値をキープ、又はカウント値をデクリメントするための所定値である。カウント値をキープする場合は、β＝０とする。カウンタをデクリメントする場合は、例えばβ＝－１とする。

　そしてステップＦ１１１で制御部３０は、接近が観測された時間長を計数するカウンタのカウント値CNT（ｎ）の処理を行う。具体的には、
　CNT（ｎ）＝CNT（ｎ）＋OFS（ｎ）
とする。
　上記のステップＦ１０９でα＝１とされて、オフセット値OFS（ｎ）が設定される場合、カウント値CNT（ｎ）はインクリメントされる。
　ステップＦ１１０でβ＝０（又はβ＝－１）とされて、オフセット値OFS（ｎ）が設定 される場合、カウント値CNT（ｎ）はキープ（又はデクリメント）される。
　このようなカウント値CNT（ｎ）は、接近が検出された際にインクリメントされるため、候補画像枠Ｅ（ｎ）の被写体が近づいていると検出された期間の長さに相当する値となる。なお、接近が検出されない場合（例えば被写体人物が立ち止まった状況）は、カウント値CNT（ｎ）はキープされるようにすれば、カウント値CNT（ｎ）は接近検出の累積値となるため、立ち止まり等があっても近接に応じて上昇する。また、接近が検出されない場合にカウント値CNT（ｎ）はデクリメントされるようにしても、カウント値CNT（ｎ）は平均的な近接に応じて上昇する。但し、近接が検出されない場合は、その値は減算されることで、一時的に立ち止まったり後退すると、次の接近傾向の判断には不利となる。

　そしてステップＦ１１２で制御部３０は各候補画像枠Ｅ（ｎ）について、接近傾向にあるか否かを判定する。具体的には接近検出の時間長を示すカウント値CNT（ｎ）が、所定の時間閾値Ｔｈｔ以上の値となっているか否かを判断する。
　各候補画像枠Ｅ（ｎ）のカウント値Cnt（ｎ）のいずれもが時間閾値Ｔｈｔに達していなければ、ステップＦ１１３で変数ＴＳＦ＝０のままとし、ステップＦ１１６で判定終了とは判断せず、ステップＦ１０１に戻る。この場合、次のフレームについて入力される候補画像枠情報に基づいて、ステップＦ１０１以降の処理を上記同様に実行していく。

　なお、ステップＦ１１６は、変数ＴＳＦ＝０であれば、まだ主要被写体の判定は完了していないとして判定処理継続とし、変数ＴＳＦ＝１であれば、主要被写体判定は完了したとする。先に述べたステップＦ１０４で変数ＴＳＦ＝１が検出された場合、そのまま判定終了となる。
　詳しい説明は省略するが、本例の自動的な主要被写体判定とは並行して、例えばユーザが主要被写体を表示部３４の画面上のタッチ操作、或いは被写体を画面上に所定位置に合わせてシャッタボタンを半押しするなどの操作として、主要被写体選択ができるようにしてもよい。図６の処理の実行中に、ユーザがこのような指定操作を行った場合、ユーザの操作を優先することが好ましい。そこで、そのようなマニュアル操作として主要被写体設定が行われた場合、変数ＴＳＦ＝１とする。この場合、図６の処理はステップＦ１０４，Ｆ１１６の判断により、処理を終了（中断終了）することとすればよい。

　接近判定による主要被写体判定は、或る時間長をもって判定されるため、ある程度の時間（フレーム数）での候補画像枠情報についての処理を経なければ、上記のようにステップＦ１１６で判定終了とはならずにステップＦ１０１に戻って処理が繰り返される。

　ここで、例えば図５で示したように或る候補画像枠Ｅ１が、非連続的でもよいが、複数のフレームで接近が検出される状況があったとする。すると時間が進むにつれ、候補画像枠Ｅ１のカウント値Cnt１のステップＦ１１１でのインクリメントの機会が多く発生し、カウント値Cnt１が、カウント値Cnt２、Cnt３よりも早く進む。
　すると或る時点で、カウント値Cnt１が時間閾値Ｔｈｔに最初に到達することとなる。
　このような場合、制御部３０は処理をステップＦ１１２からＦ１１４に進める。
　ステップＦ１１４で制御部３０は、カウント値Cnt（ｎ）が時間閾値Ｔｈｔに達した候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。つまり、ある期間で平均的に近づいている候補画像の被写体が「接近傾向」にある被写体と判定され、主要被写体に設定されることとなる。
　そしてステップＦ１１５で主要被写体情報が出力され、例えば主要被写体情報を用いるアプリケーションプログラムや制御プログラムに受け渡される。

　この場合ステップＦ１１６で判定終了とされる。即ち例えば候補画像枠Ｅ１が主要被写体と設定されるなどして、図６の接近判定及び主要被写体判定処理が完了することとなる。

　なお、この処理例では変数ＴＳＦ＝１となるまで続けられることになるが、実際には、所定の制限時間を設けておくことが適切である。即ち図６の処理開始時点から所定時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにする。

　以上のように接近判定及び主要被写体判定処理が行われる。
　この接近判定及び主要被写体判定処理では、抽出された候補画像の中で、複数のフレームでの接近傾向が判定される。
　例えばカメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、接近傾向を示すことが多々ある。例えば子供にカメラを向けると、その子供が近寄ってくるということが多くの場合に観察される。そこで近寄ってくる被写体を自動的に主要被写体と設定することで、撮像者にとって適切な処理となり、撮像時の操作性は格段に向上する。撮像操作に不慣れなユーザであっても、そのような主要被写体判定により、自動的にその主要被写体に対してフォーカス制御が行われたり、露光制御が行われるなどすれば、高品位な静止画／動画撮像が可能となる。

　なお、接近判定及び主要被写体判定処理としての具体的処理例は他に多様に考えられる。
　例えば図６のステップＦ１１０でβ＝０とすると、カウント値CNT（ｎ）は、累積的に接近検出がなされた回数の累積値に相当するものとなる。
　また図６のステップＦ１１０でβ＝－１とすると、カウント値CNT（ｎ）は、平均的に接近検出がなされた値とみることができる。
　つまりこのような場合、ステップＦ１１２の接近判定は、累積的或いは平均的に接近しているという判定となる。
　これに対して、所定期間以上、継続的に接近している場合を接近傾向と判定するようにしてもよい。そのためにはステップＦ１０８で判定フラグFlg（ｎ）＝１とされた場合には、カウント値CNT（ｎ）をインクリメントし、ステップＦ１０８で判定フラグFlg（ｎ）＝０とされた場合には、カウント値CNT（ｎ）をゼロにリセットすればよい。すると、判定フラグFlg（ｎ）＝１の状態が継続的に所定時間に達した場合、ステップＦ１１２でカウント値Cnt（ｎ）が時間閾値Ｔｈｔに達して候補画像枠Ｅ（ｎ）が「接近傾向」と判定され、候補画像枠Ｅ（ｎ）が主要被写体と判定されることになる。

　継続的に接近している被写体を接近傾向の被写体として主要被写体とすることによれば、例えば立ち止まったり、或いは一時的に離遠する被写体を主要被写体と判定することを避けることができる。従って主要被写体判定を慎重に行うには適している。逆に言えば、主要被写体の判定を短時間で行いたい場合や、なるべく主要被写体が設定されやすくしたい場合は、平均的或いは累積的に接近している被写体を接近傾向にあると判断することが好適である。
　なお、以上の累積判断、平均判断、継続判断の場合では、それぞれ時間閾値Ｔｈｔに相当する具体的な判断値は異なることが適切である。

　また例えば所定の時間条件で、継続的又は累積的又は平均的という意味で接近が検出される場合を接近傾向と判定しているが、時間的に判定の重みを変化させてもよい。
　例えば図６のステップＦ１０９，Ｆ１１０で設定するオフセット値OFS（ｎ）に代入する値α、βを、処理の進行に伴って変化させる。
　一般に撮像者がカメラを構える場合、最初は主役としたい被写体を特に決めない場合も多い。構えてみて、見える範囲で撮像対象を探すという場合である。その場合に、徐々に接近してくる人を見つけて、その人を写そうとする場合、撮像者は、徐々にその人物を中心に被写体方向を合わせていく動作を行う。つまり、時間が進むにつれ、画像内で接近が観測される被写体は、撮像者が主要被写体としたい被写体であると考えている確率が高い
。そこで接近判定及び主要被写体判定処理の実行中に、時間が進むほど、接近検出の重みを強くする。具体的にはステップＦ１０９でオフセット値OFS（ｎ）に代入する値αを段階的に大きくする。このようにすることで、撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。

　また図６の例では、ある候補画像枠Ｅ（ｎ）のカウント値CNT（ｎ）が時間閾値Ｔｈｔ以上となった時点で主要被写体判定を行い、判定を終了させるため、判定期間は不定である。これに対して、一定の判定期間を設定し、その期間内に、カウント値CNT（ｎ）が最も大きい候補画像枠Ｅ（ｎ）、或いはカウント値CNT（ｎ）が所定値以上となっている１又は複数の候補画像枠Ｅ（ｎ）を、ステップＦ１１４の対象として主要被写体と判定する処理例も考えられる。

　また主要被写体と判定するためには接近傾向の判定に加えて、他の条件（ＡＮＤ条件）を加えることも考えられる。例えば被写体距離が所定距離以内となっていること、被写体画像が所定サイズ以上となっていること、特定の画像種別であること、接近傾向の被写体画像の重心がフレーム画像の中央点から所定距離（ｘ，ｙ座標上での距離）以内であることなどを条件に加えても良い。
　このような条件を加えることで、単に接近傾向にあるというだけでなく、より撮像者が撮像したいと思っている被写体を主要被写体と判定する確率を高めることができる。従ってユーザが、これらの追加条件を選択できるようにしてもよい。

＜５．撮像装置としての第２の実施の形態＞
　第２の実施の形態としての主要被写体判定の動作を説明する。これも第１の実施の形態と同じく図２Ｂで述べたサイズ判定方式の考え方で、近寄ってくる被写体を主要被写体と判定する例としている。
　この第２の実施の形態の場合、撮像装置１０としての構成は図７のようになる。図７において図３と同一部分は同一符号を付し、説明を省略する。

　図７に示す撮像装置は、デジタル信号処理部２０において属性識別部２８が設けられる点で図３と異なる。
　属性識別部２８は、例えば候補検出部２７が画像解析により候補画像とした被写体についての属性を識別し、属性情報を制御部３０に受け渡す。属性情報は、例えば候補画像とした被写体が大人であるか子供であるかの情報であったり、女性であるか男性であるかの情報である。属性識別部２８は、例えば顔画像の特徴点を判別して、性別や年齢層を判定する。
　なお属性識別部２８をデジタル信号処理部２０で実行される機能構成とするのは一例であり、制御部３０における処理機能として属性識別部２８を実現する例も考えられる。

　図８に制御部３０（主要被写体判定部３０ａ及び距離変化演算部３０ｂ）の処理例を示す。上述の図６と同一の処理には同一のステップ番号を付して重複説明を避ける。図６と異なるのは、ステップＦ１０１Ａ、Ｆ１１２Ａの処理である。
　制御部３０は、例えば１フレームタイミング毎にステップＦ１０１～Ｆ１１６の処理を行う。ステップＦ１０１Ａで制御部３０は、候補検出部２７から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠Ｅ（ｎ）について、位置情報として、画像データの二次元（ｘ－ｙ）座標値としてのｘ値、ｙ値や、候補画像枠の幅ｗ、高さｈの情報を取得する。さらに制御部３０は、各候補画像枠Ｅ（ｎ）について、属性識別部２８からの属性情報ＡＴ（ｎ）を取得する。例えば大人・子供の別、男性・女性の別などの識別情報である。具体的には候補画像枠Ｅ１，Ｅ２，Ｅ３が存在した場合、それぞれの属性
情報ＡＴ１，ＡＴ２，ＡＴ３を取得する。例えば属性情報ＡＴ１は「子供／女性」、属性情報ＡＴ２は「大人／男性」、属性情報ＡＴ３は「大人／女性」などとなる。

　ステップＦ１０２～Ｆ１１１では図６と同様に各候補画像枠Ｅ（ｎ）についての接近傾向の判定のための処理を行う。
　この図８の場合、ステップＦ１１２では、接近傾向と判定するための時間閾値を、属性情報に対応した時間閾値Ｔｈｔ（ＡＴｎ）とする。時間閾値Ｔｈｔ（ＡＴｎ）とは、属性情報に応じて時間閾値としての値が切り換えられることを意味する。
　例えば「子供／女性」「子供／男性」の場合は比較的小さい値、大人／女性は比較的大きい値、大人／男性はさらに大きい値などとする。
　制御部３０は内部記憶部でのテーブルデータとして属性情報に応じた閾値を記憶して置いても良いし、或いはプログラム上の数値設定で属性情報に応じた閾値が決められていたも良い。さらには、固定の閾値Ｔｈｔに対する係数値として、属性毎の係数値が設定され、制御部３０はステップＦ１１２Ａの際に、属性情報に応じて閾値Ｔｈｔ（ＡＴｎ）を求めるようにしてもよい。
　ステップＦ１１２Ａで各候補画像枠Ｅ（ｎ）についてのカウント値CNT（ｎ）と時間閾値Ｔｈｔ（ＡＴｎ）が比較され、その結果で接近傾向にあるか否かが判定される。そして接近傾向にある候補画像がステップＦ１１４で主要被写体と判定されることになる。

　この図８の処理例によれば、主要被写体としての判定されやすさが、属性情報によって異なるものとなる。例えば上記のように子供の場合の時間閾値Ｔｈｔ（ＡＴｎ）が小さい値であれば、子供は主要被写体と判定されやすい。また女性の方が男性よりも時間閾値Ｔｈｔ（ＡＴｎ）が小さい値であれば、女性の方が主要被写体と判定されやすい。
　このように被写体の属性によって主要被写体としての判定されやすさ、判定されにくさを調整することができる。従ってユーザの望む主要被写体判定がされやすくなる。例えば主に子供を撮像するユーザにとっては、上記のような時間閾値により主要被写体判定の精度が向上するとともに、判定時間が短縮されることになる。

　特に各種のユースケースに応じて、ユーザが優先順位を設定できるようにするとよい。例えば子供を撮像する場合は、子供を優先させる設定を行う。男性を撮像する場合は男性を優先させる設定を行う。このようにユーザが属性に応じた時間閾値を選択できれば、ユーザの撮像目的に応じた迅速かつ精度の高い主要被写体判定が実現される。

　なお属性情報はさらに多様に考えられる。例えば大人／子供という属性判断よりも細かく年齢を画像から推定し、年代（子供／青年／中年／老年）の識別を行って属性情報としてもよい。
　また顔の個人認識の手法を導入し、自分の子供、家族、知人などを判定し、その場合、時間閾値を下げて、そのような候補画像については主要被写体に判定されやすくすることも考えられる。例えば予め自分の子供や家族等の顔を登録しておき、その特徴データを求めておく。属性識別部２８は特徴データに合致した顔を検出したら、近親者としての属性情報を生成し、制御部３０は、その場合の時間閾値Ｔｈｔ（ＡＴｎ）を小さい値とする。
　また、人物に限らず、犬、猫などの動物、或いは動物種別などの属性情報を生成して、時間閾値を変化させてもよい。
　またこの第２の実施の形態の処理も、第１の実施の形態の処理と同様の変形例が考えられる。

＜６．撮像装置としての第３の実施の形態＞
　第３の実施の形態としての主要被写体判定の動作を説明する。これも第１の実施の形態
と同じく図２Ｂで述べたサイズ判定方式の考え方であるが、遠ざかってく被写体を主要被写体と判定する例とする。

　図９Ａ、図９Ｂ、図９Ｃは、先に説明した図５Ａ、図５Ｂ、図５Ｃと同様に、仮に候補画像枠Ｅ１，Ｅ２，Ｅ３が、ある期間継続してフレーム（ＦＲ１，ＦＲ２・・・）内に存在し続けたとして、算出される枠面積の変化、面積変化量、及び距離判定閾値Ｔｈｄを用いた判定結果を示したものである。
　この図９Ａに示す場合、候補画像枠Ｅ１に注目すると、徐々に枠面積が小さくなっている。ここで、図９Ｂの面積変化量は、図５Ｂの面積変化量で説明した場合の、
　（面積変化量）＝（現在のフレームの枠面積）－（前フレームの枠面積）
という定義とは異なり、
　（面積変化量）＝（前フレームの枠面積）－（現在のフレームの枠面積）
とする。すると、面積変化量の値は、枠面積が小さくなって行く場合に大きい値をとることとなり、例えば図９Ａの枠面積変化に応じて図９Ｂのようになる。この面積変化量について、距離判定閾値Ｔｈｄと比較して判定を行うと、各候補画像枠Ｅ１、Ｅ２、Ｅ３について図９Ｃのようになる。
　この例の場合、候補画像枠Ｅ１は判定結果が「１」となることが継続している。
　候補画像枠Ｅ２は面積変化量が高い値をとった期間、判定結果は「１」となっている。
　候補画像枠Ｅ３は面積変化量が常時低い値をとっていることで、Ｅ３判定結果は継続して「０」となっている。
　第１の実施の形態と同様、判定結果が「１」となる継続期間や累積期間などの期間長をカウントすれば、平均的、累積的又は継続的に遠ざかっている被写体、つまり離遠傾向の被写体を判定できる。この図９の場合、候補画像枠Ｅ１はある程度の時間、平均的、累積的又は継続的に遠ざかっていることから、離遠傾向の被写体と判定される。

　図１０に制御部３０（主要被写体判定部３０ａ及び距離変化演算部３０ｂ）の離遠判定及び主要被写体判定処理の例を示す。上述の図６と同一の処理には同一のステップ番号を付して重複説明を避ける。図６と異なるのは、ステップＦ１０３Ｂの処理である。
　制御部３０は、例えば１フレームタイミング毎にステップＦ１０１～Ｆ１１６の処理を行う。この際にステップＦ１０３Ｂで制御部３０は、各候補画像枠Ｅ（ｎ）についての面積変化量Diff（ｎ）としては、
　面積変化量Diff（ｎ）＝Area（ｎ）pre－Area（ｎ）
とする。Area（ｎ）preは、候補画像枠Ｅ（ｎ）の前フレームの枠面積Area（ｎ）である。例えば１フレーム前の画像を対象とした際のステップＦ１０２で求められた枠面積Area（ｎ）が、現フレームの処理時点では「Area（ｎ）pre」とされる。
　以降のステップＦ１０４～Ｆ１１６の処理は、図６と同様に行う。

　ステップＦ１０３Ｂにおいて面積変化量Diff（ｎ）を上記のように算出すると、枠面積が前フレームより小さくなる（＝被写体が遠ざかる）場合に、面積変化量の値は高くなる。
　そのため、ステップＦ１０５～Ｆ１０７で距離判定閾値Ｔｈｄと比較して判定フラグFlg（ｎ）を設定し、ステップＦ１０８～Ｆ１１１でカウント値Cnt（ｎ）の処理を行うと、平均的又は累積的に遠ざかっている被写体の候補画像枠Ｅ（ｎ）について、ある時点でステップＦ１１２でカウント値Cnt（ｎ）が時間閾値Ｔｈｔに達する。この場合、当該候補画像枠Ｅ（ｎ）の被写体は、離遠傾向にあるとして、ステップＦ１１４で主要被写体と選定されることになる。

　この図１０の離遠判定及び主要被写体判定処理では、抽出された候補画像の中で、複数のフレームでの離遠傾向が判定される。そして離遠傾向の判定結果に基づいて主要被写体が判定される。

　例えばカメラを構えている撮像者にとっては、遠ざかる被写体を狙うというケースは多々ある。列車、航空機、モータスポーツなどの高速移動する被写体の写真を撮りたい場合や、野鳥、動物など、通常人間からは離れる方向に移動するものを撮りたい場合は、遠ざかる被写体を自動的に主要被写体と設定することで、撮像者にとって適切な処理となり、撮像時の操作性は格段に向上する。
　撮像操作に不慣れなユーザであっても、そのような主要被写体判定により、自動的にその主要被写体に対してフォーカス制御が行われたり、露光制御が行われるなどすれば、高品位な静止画／動画撮像が可能となる。

　なお、離遠判定及び主要被写体判定処理としての具体的処理例は他に多様に考えられる。例えば図６の近接判定の際に説明したが、図１０の場合でもステップＦ１１０でβ＝０とすると累積的に遠ざかる状況が検出された場合に離遠傾向と判定される。またステップＦ１１０でβ＝－１とすると、平均的に遠ざかる状況が検出された場合に離遠傾向と判定される。さらには、ステップＦ１０８で判定フラグFlg（ｎ）＝０とされた場合にカウント値CNT（ｎ）をゼロにリセットするものとすれば、継続して遠ざかる被写体のみが離遠傾向と判定されることとなる。
　継続的に離遠している被写体を離遠傾向と判定して主要被写体とすることによれば、主要被写体判定を慎重に行うには適している。特に遠ざかる列車、航空機等、或いは野鳥、動物などは、ほとんどの場合、継続的に遠ざかる状況が多い。そのような対象の撮像目的であれば継続判定によって主要被写体判定精度は向上する。
　一方で、必ずしも継続的な移動が観測されない被写体を目的とした場合に主要被写体の判定を短時間で行いたい場合や、なるべく主要被写体が多様に設定されやすくしたい場合は、平均的或いは累積的に離遠している被写体を離遠傾向にあると判断することが好適である。
　なお、以上の累積判断、平均判断、継続判断の場合では、それぞれ時間閾値Ｔｈｔに相当する具体的な判断値は異なることが適切である。

　また例えば所定の時間条件で、継続的又は累積的又は平均的という意味で離遠が検出される場合を離遠傾向と判定しているが、時間的に判定の重みを変化させてもよい。具体的にはステップＦ１０９でオフセット値OFS（ｎ）に代入する値αを段階的に大きくしたり、或いは逆に小さくしたりする。
　また一定の判定期間を設定し、その期間内に、カウント値CNT（ｎ）が最も大きい候補画像枠Ｅ（ｎ）、或いはカウント値CNT（ｎ）が所定値以上となっている１又は複数の候補画像枠Ｅ（ｎ）を、ステップＦ１１４の対象として主要被写体と判定する処理例も考えられる。
　また主要被写体と判定するためには離遠傾向の判定に加えて、他の条件をＡＮＤ条件として加えることも考えられる。例えば被写体距離が所定距離以上となっていること、被写体画像が所定サイズ以下となっていること、特定の画像種別であること、離遠傾向の被写体画像の重心がフレーム画像の中央点から所定距離（ｘ，ｙ座標上での距離）以内であることなどを条件に加えても良い。
　このような条件を加えることで、単に離遠傾向にあるというだけでなく、より撮像者が撮像したいと思っている被写体を主要被写体と判定する確率を高めることができる。従ってユーザが、これらの追加条件を選択できるようにしてもよい。

　また離遠傾向の判定についても第２の実施の形態の考え方を適用して、属性情報に応じて異なる時間閾値Ｔｈｔ（ＡＴｎ）を用いるようにしてもよい。

＜７．撮像装置としての第４の実施の形態＞
　第４の実施の形態としての主要被写体判定の動作を説明する。これは図２Ｃで述べたブロック判定方式の考え方で、近寄ってくる被写体を主要被写体と判定する例としている。
　この第２の実施の形態の場合、撮像装置１０としての構成は図１１のようになる。図１１において図３と同一部分は同一符号を付し、説明を省略する。

　図１１の撮像装置１０は、距離センサ１７を備えること、及びデジタル信号処理部２０に距離算出部２９としての機能を備える。
　距離センサ１７は撮像方向の被写体距離を検出する。距離算出部２９は距離センサ１７の検出値を用いて、撮像画像を分割した分割領域（ブロック）毎の被写体距離を算出する。
　なお距離センサ１７及び距離算出部２９による被写体距離の検出技術については、位相差センサ方式、Time of Flight方式、Kinect方式など、公知の技術を用いることができる。例えば位相差センサ方式は、左右に配置したイメージャの撮像画像において、同一の対象被写体が検出される画素間の距離（ピクセル数）から、当該対象被写体の距離を求める方式である。またTime of Flight方式は、距離センサ１７が赤外線の発光及び受光を行い、出射した赤外線が対象被写体に反射して受光されるまでの時間を赤外線速度で除算して距離を求める方式である。

　図１２にブロック毎の距離検出動作を示している。
　図１２Ａは撮像装置１０の光学系１１，イメージャ１２の動作によりデジタル信号処理部２０に入力される撮像画像信号の各フレームＦＲ１，ＦＲ２，ＦＲ３・・・を示している。このような画像入力と並行して、距離センサ１７では被写体の距離測定のための動作が行われており、その検出情報が距離算出部２９に入力される。
　距離算出部２９は、各フレーム画像データＦＲ１，ＦＲ２，ＦＲ３・・・について、それぞれブロック毎の被写体距離を算出する。
　制御部３０には、主要被写体判定部３０ａ及び距離変化演算部３０ｂとしての機能が設けられる。

　このような撮像装置１０において、図１で説明した画像処理装置１の構成部分は次のようになる。
　図１の画像処理装置１における主要被写体判定部２に相当する構成は、撮像装置１０の制御部３０において主要被写体判定部３０ａとしてソフトウエアにより実装される。また被写体距離変化判定部３に相当する構成は、距離算出部２９と距離変化演算部３０ｂとしてハードウエア又はソフトウエアにより実装される。
　なお、この図１２の例では距離算出部２９はデジタル信号処理部２０で実行される機能構成としているが、これは一例であり、制御部３０に距離算出部２９としての機能をソフトウエアにより実装することも考えられる。

　図１２Ｂに、分割領域としてのブロックの例を示している。１つの画像データを、破線で示すように多数のブロックに分割する。図１２Ｂ下部に示すように、各ブロックを説明上、ブロックＢＫ（ＢＫ１、ＢＫ２・・・ＢＫ（Ｍ））とする。
　距離算出部２９は、各ブロックＢＫ１、ＢＫ２・・・ＢＫ（Ｍ）について、被写体距離を求める。図１２Ｂ下部には、各ブロックＢＫの被写体距離を例示している（メートル数値、又は無限遠∞）。例えばブロックＢＫ４は２０ｍ、ブロックＢＫ３は無限遠∞として例示している。
　距離算出部２９は、例えばフレーム毎にこのように各ブロックＢＫについて被写体距離を求め、制御部３０に各ブロックＢＫの距離情報を受け渡す。

　図１３Ａは、各ブロックＢＫについて、各フレーム毎に算出された被写体距離の変化の様子を示したものである。ここではブロックＢＫ１，ＢＫ２，ＢＫ（ｘ）を例示している
。
　この例では、ブロックＢＫ（ｘ）に写っている被写体は、徐々に距離が短くなっている。ブロックＢＫ１，ＢＫ２に写っている被写体は、多少の変化はあっても平均的には大きな距離変化はない。
　なお、必ずしも同一の被写体が、撮像画像データ上で同じブロックに位置するわけではない。ここでは判定開始から判定終了までの期間、ブロックＢＫ１，ＢＫ２，ＢＫ（ｘ）には、それぞれ同一の被写体（例えば人物Ａ，人物Ｂ，人物Ｃ）が写っているものとする。実際には被写体が撮像装置１０に対して左右方向に動いたり、或いは撮像者が撮像装置１０をパンニング、チルティングさせたりすると、ある被写体が写し込まれるブロックは、フレーム毎に変化する。そのような事情を考慮する必要性から、後述の図１４の処理例ではステップＦ２０２でブロック毎の時間対応付け処理を加えている。

　今、図１３ＡのブロックＢＫ１，ＢＫ２，ＢＫ（ｘ）には、継続して各フレームに人物Ａ，人物Ｂ，人物Ｃが写っていたと仮定して説明を続ける。
　図１３Ｂは、各ブロックＢＫ１，ＢＫ２，ＢＫ（ｘ）の距離の変化量の遷移を示している。例えば各ブロックＢＫについての現在のフレームでの距離から前フレームでの距離を減算した差分として、各時点の値を示したものである。従ってブロックＢＫ内に存在する被写体が、前の時点より撮像装置１０に対する相対距離が近づくと、距離変化量の値は小さく（マイナス値）、相対距離が変わらなければ距離化量は０、遠ざかると距離変化量は大きな値になる。
　そこで、まず距離変化量によって、近づいているか否かを判定する距離判定閾値Ｔｈｄを用いて、各ブロックＢＫについての判定結果を得る。距離変化量が距離判定閾値Ｔｈｄ未満の場合は、その時点において、当該ブロックＢＫの被写体は、所定距離以上の接近有りと判定される。

　図１３ＣにブロックＢＫ１，ＢＫ２，ＢＫ（ｘ）についての判定結果を示している。これは距離変化量が距離判定閾値Ｔｈｄ未満のときに「Ｈ」レベルとなるフラグとする。
　図からわかるように、ブロックＢＫ（ｘ）の判定結果は「１」を継続している。ブロックＢＫ２は、一時的な接近を示すように、ある期間のみ「１」となっている。ブロックＢＫ１の判定結果は継続して「０」となっている。

　本例では、ある程度の時間、平均的、累積的、又は継続的に近寄っている被写体を接近傾向の被写体と判定する。図１３Ｃの判定結果が「１」となる期間が長い被写体を接近傾向の被写体と判定することになる。例えば判定結果が「１」となる継続期間や累積期間などの期間長をカウントすれば、接近傾向の判定ができる。
　例えばブロックＢＫ（ｘ）については、判定結果が「１」であり期間が長いため、この判定期間において、当該ブロックＢＫ（ｘ）に含まれる被写体は接近傾向にあると判定できることになる。
　なお、ブロックＢＫ２は、例えば一時的に接近したり離れたりした被写体が含まれたブロックであるといえる。またブロックＢＫ１は、比較的遠い位置を維持している被写体が含まれたブロックである。

　なお判定開始から判定終了までの期間は具体的な処理例によって異なる。後述の図１４の処理例では、判定結果が「１」となる期間長をカウントし、その期間長が所定時間に達したら、そのブロックＢＫの被写体を接近傾向と判定する。その場合、例えばブロックＢＫ（ｘ）のように常時判定結果が「１」となる被写体が存在すれば、判定終了のタイミングは早くなる。つまり判定処理の状況によって判定期間長が変動する。他の例として判定開始から判定終了までの期間を固定期間長とする例もある。

　図１４で制御部３０の接近判定及び主要被写体判定処理の具体例を説明する。以下説明
する処理は、制御部３０において距離変化演算部３０ｂと主要被写体判定部３０ａが機能して実行される処理である。

　制御部３０は、接近判定及び主要被写体判定処理を開始する場合、まず初期設定としてステップＦ２００で主要被写体設定済みか否かを示すフラグである変数ＴＳＦ＝０（主要被写体が未判定）とし、またカウント値bCnt（ｍ）＝０とする。
　カウント値bCnt（ｍ）は、上述の距離変化量と距離判定閾値Ｔｈｄを比較した判定結果について、時間長を判定するためのカウンタの値である。

　なお「ｍ」は、自然数１，２，３・・・を表し、カウント値bCnt（ｍ）は、ブロックＢＫ１，ＢＫ２，ＢＫ３・・・ＢＫ（Ｍ）の各ブロックＢＫに対応するカウント値としている。つまり処理上、各ブロックＢＫ１～ＢＫ（Ｍ）についてのカウント値として、bCnt１、bCnt２、・・・bCnt（Ｍ）が用いられる。フローチャートの説明上、カウント値bCnt（ｍ）についての処理とは、カウント値bCnt１、bCnt２、・・・bCnt（Ｍ）のそれぞれを対象とする処理を示すものとする。
　また図１４の処理で説明するDb（ｍ）は各ブロックについて検出された距離、bDiff（ｍ）は各ブロックＢＫの距離変化量を示している。距離Db（ｍ）、距離変化量bDiff（ｍ）についての処理とは、各ブロックＢＫ１～ＢＫ（Ｍ）についての距離及び距離変化量の処理という意味で用いる。
　判定フラグFlg（ｍ）、オフセット値OFS（ｍ）も同様とする。

　制御部３０は、例えば１フレームタイミング毎にステップＦ２０１～Ｆ２１７の処理を行う。
　ステップＦ２０１で制御部３０は、距離算出部２９から或るフレームについての各ブロックＢＫ１～ＢＫ（Ｍ）についての距離情報Db１～Db（Ｍ）を取り込む。例えば図１２Ｂ下段に示した距離の値の情報である。

　そして制御部３０はステップＦ２０２で各ブロックＢＫ毎の時間対応付け処理を行ったうえで、ステップＦ２０３で各ブロックＢＫ毎に距離変化量bDiff（ｍ）を求める。即ち現フレームの距離値と前フレームの距離値との差分である。
　距離変化量bDiff（ｍ）＝Db（ｍ）－Db（ｍ）pre
として求める。Db（ｍ）preは、現在処理対象のブロックＢＫ（ｍ）の前フレームにおける対応ブロックＢＫ（ｍ）の距離値である。

　ここで、ステップＦ２０２の時間対応付け処理について図１５，図１６で説明しておく。先に述べたように、時間が進行すると、必ずしも同一の被写体が、各フレームの撮像画像データ上で同じブロックに位置するわけではない。被写体と撮像装置１０との間の左右上下方向の相対位置が変化すると、例えば１フレーム前ではある被写体がブロックＢＫ４に位置していたのが、現フレームではブロックＢＫ５に位置しているということがある。このような場合を考慮すると、単にブロックＢＫ５の前フレームとの距離差分を出しても、それは被写体の距離変化量とはならない。そこでステップＦ２０２では、被写体とブロックの対応付け（トラッキング）を行うようにしている。

　図１６で模式的に説明する。図１６では現フレームＦＲｃと前フレームＦＲｐｒｅで、ある被写体Ｐの画像内での位置がずれた様子を示している。
　現フレームＦＲｃでは、被写体Ｐの顔部分がブロックＢＫ（ｙ）に存在するとする。ところが前フレームＦＲｐｒｅでは、同じブロックＢＫ（ｙ）ｐｒｅには顔部分が存在せず、ブロックＢＫ（ｚ）ｐｒｅの位置となっている。本来被写体Ｐの距離変化を求めることが必要であるため、現フレームＦＲｃのブロックＢＫ（ｙ）について求めたい距離変化量bDiff（ｙ）は、この場合、前フレームＦＲｐｒｅのブロックＢＫ（ｚ）ｐｒｅの距離値
との差分である。そこで、ここでいうブロックＢＫ（ｚ）ｐｒｅが、ブロックＢＫ（ｙ）についての前フレームのブロックとされるようにする時間対応付け処理を行う。

　ステップＦ２０２の時間対応付け処理を図１５に詳しく示している。
　制御部３０はまず図１５のステップＦ２３０で、現フレームＦＲｃの対象のブロックＢＫ（ｍ）に対応する、前フレームＦＲｐｒｅのブロックＢＫ（ｍ）ｐｒｅを中心とした９ブロックの距離情報を確認する。
　図１６のブロックＢＫ（ｙ）についていえば、前フレームＦＲｐｒｅの同じブロックＢＫ（ｙ）ｐｒｅを中心として、太枠で囲った９個のブロックを確認する。図示のようにこれらの９ブロックをＢＫｘ１～ＢＫｘ９とする。各ブロックＢＫｘ１～ＢＫｘ９の距離値は図示のように「１０」「１０」「９」「１０」「７」「６」「９」「７」「５」（単位は例えばメートル）であるとする。なお、現フレームのブロックＢＫ（ｙ）の距離値は「５」とする。

　このように各ブロックＢＫｘ１～ＢＫｘ９の距離値を確認したら、ステップＦ２３１で制御部３０は、現フレームＦＲｃの対象のブロックＢＫ（ｍ）に対応する、前フレームＦＲｐｒｅの各ブロックＢＫｘ１～ＢＫｘ９との絶対距離差bDiffX1～bDiffX9を次のように算出する。
　bDiffX1＝｜Db（ｍ）－Db(BKx1）｜
　bDiffX2＝｜Db（ｍ）－Db(BKx2）｜
・・・
　bDiffX9＝｜Db（ｍ）－Db(BKx9）｜
　ここで距離Db（ｍ）は、対象のブロックＢＫ（ｍ）の距離値であり、図１６の例でいえばブロックＢＫ（ｙ）の距離値「５」である。
　距離Db(BKx1）～Db(BKx9）は９個の各ブロックＢＫｘ１～ＢＫｘ９の距離値であり、図１６の例でいえば上記の「１０」「１０」「９」「１０」「７」「６」「９」「７」「５」の各値となる。

　ステップＦ２３２で制御部３０は、絶対距離差bDiffX1～bDiffX9のうちで最小値となるものを判定する。そしてステップＦ２３３で、絶対距離差が最小値となったブロックが、現在対象のブロックＢＫ（ｍ）に対応する前フレームのブロックＢＫであるとし、そのブロックＢＫの距離Dbを、前フレームの距離Db（ｍ）preとする。そしてこの距離Db（ｍ）preを用いて、図１４のステップＦ２０３の距離変化量bDiff（ｍ）＝Db（ｍ）－Db（ｍ）preの演算を行う。
　例えば図１６の例でいえば、ブロックＢＫｘ９が絶対距離差が最小のブロックとなるため、処理対象のブロックＢＫ（ｙ）に対応する前フレームのブロックはブロックＢＫｘ９であり、その距離値Db（ｍ）pre＝５とされることとなる。
　つまり１フレームの時間では、被写体距離や左右上下の位置は殆ど変わらないという前提のもと、現フレームのブロックについて、前フレームにおける同一ブロック近辺で、絶対距離差の小さいブロックを探索し、それを対応する（同一被写体の）ブロックとすることになる。
　図１４のステップＦ２０２では、このように各ブロックＢＫについて対応付けを行う。これによりステップＦ２０３で算出される各ブロックＢＫ（ｍ）についての距離変化量bDiff（ｍ）は、同じ被写体についての距離変化を表すこととなる。

　ステップＦ２０４で制御部３０は変数ＴＳＦを確認する。変数ＴＳＦ＝０であればステップＦ２０５に進む。このステップＦ２０４の意味は図６のステップＦ１０４と同じである。

　ステップＦ２０５、Ｆ２０６、Ｆ２０７では、制御部３０は各ブロックＢＫ（ｍ）の距
離変化量bDiff（ｍ）が、接近を示すものであるか否かを確認する。
　即ち距離変化量bDiff（ｍ）が、所定量以上の接近を示す変化量であるか否かを、図１３Ｂで説明したように距離判定閾値Ｔｈｄを用いて判定する。
　このため制御部３０はステップＦ２０５で、各ブロックＢＫの距離変化量bDiff（ｍ）と距離判定閾値Ｔｈｄを比較し、bDiff（ｍ）＜ＴｈｄであればステップＦ２０６で判定フラグFlg（ｍ）＝１（近づいている）とする。またbDiff（ｍ）＜ＴｈｄでなければステップＦ２０７で判定フラグFlg（ｍ）＝０（近づいていない）とする。
　判定フラグFlg（ｎ）は図１３Ｃで説明した「１」「０」の判定結果に相当する。

　続いてステップＦ２０８、Ｆ２０９、Ｆ２１０で制御部３０は、判定フラグFlg（ｍ）が「１」であるか「０」であるかによりカウント処理用のオフセット値OFS（ｍ）を設定する。
　例えば制御部３０は、判定フラグFlg（ｍ）＝１であればステップＦ２０９でオフセット値OFS（ｍ）＝αとする。αはカウンタをインクリメントする所定値である。例えばα＝１とする。
　また制御部３０は、判定フラグFlg（ｍ）＝０であればステップＦ２１０でオフセット値OFS（ｍ）＝βとする。βはカウント値をキープ、又はカウント値をデクリメントするための所定値である。カウント値をキープする場合は、β＝０とする。カウンタをデクリメントする場合は、例えばβ＝－１とする。

　そしてステップＦ２１１で制御部３０は、接近が観測された時間長を計数するカウンタのカウント値bCNT（ｍ）の処理を行う。具体的には、
　bCNT（ｍ）＝bCNT（ｍ）＋OFS（ｍ）
とする。
　上記のステップＦ２０９でα＝１とされて、オフセット値OFS（ｍ）が設定される場合、カウント値bCNT（ｍ）はインクリメントされる。
　ステップＦ２１０でβ＝０（又はβ＝－１）とされて、オフセット値OFS（ｍ）が設定される場合、カウント値bCNT（ｍ）はキープ（又はデクリメント）される。
　このようなカウント値bCNT（ｍ）は、接近が検出された際にインクリメントされるため、ブロックＢＫ（ｍ）の被写体が近づいていると検出された期間の長さに相当する値となる。なお、接近が検出されない場合（例えば被写体人物が立ち止まった状況）は、カウント値bCNT（ｍ）がキープされるようにすれば、カウント値bCNT（ｍ）は接近検出の累積値となるため近接検出が多ければ上昇する。また、接近が検出されない場合にカウント値bCNT（ｍ）がデクリメントされるようにしても、カウント値bCNT（ｍ）は平均的な近接に応じて上昇する。但し、近接が検出されない場合は、その値は減算されることで、一時的に立ち止まったり後退すると、次の接近傾向の判断には不利となる。

　そしてステップＦ２１２で制御部３０は各ブロックＢＫ（ｍ）について、接近傾向にあるか否かを判定する。具体的には接近検出の時間長を示すカウント値bCNT（ｍ）が、所定の時間閾値Ｔｈｔ以上の値となっているか否かを判断する。
　各ブロックＢＫ（ｍ）のカウント値bCnt（ｍ）のいずれもが時間閾値Ｔｈｔに達していなければ、ステップＦ２１３で変数ＴＳＦ＝０のままとし、ステップＦ２１７で判定終了とは判断せず、ステップＦ２０１に戻る。この場合、次のフレームについて入力される各ブロックＢＫ（ｍ）の距離情報Ｄｂ（ｍ）に基づいて、ステップＦ２０１以降の処理を上記同様に実行していく。

　なお、ステップＦ２１７は、変数ＴＳＦ＝０であれば、まだ主要被写体の判定は完了していないとして判定処理継続とし、変数ＴＳＦ＝１であれば、主要被写体判定は完了したとする。図６のステップＦ１１６と同様である。また例えば並行したユーザのマニュアル操作としての主要被写体設定が行われた場合も、ステップＦ２１７から処理を終了（中断
終了）することとすればよい。
　接近判定による主要被写体判定は、或る時間長をもって判定されるため、ある程度の時間（フレーム数）での各ブロックＢＫ（ｍ）についての処理を経なければ、ステップＦ２１７で判定終了とはならずにステップＦ２０１に戻って処理が繰り返される。

　ここで、例えば図１３で示したように或るブロックＢＫ（ｘ）について、非連続的でもよいが、複数のフレームで被写体の接近が検出される状況があったとする。すると時間が進むにつれ、ブロックＢＫ（ｘ）のカウント値bCnt（ｘ）のステップＦ２１１でのインクリメントの機会が多く発生し、カウント値bCnt（ｘ）が、他のブロックのカウント値bCnt１、bCnt２等よりも早く進む。すると或る時点で、カウント値bCnt（ｘ）が時間閾値Ｔｈｔに最初に到達することとなる。
　このような場合、制御部３０は処理をステップＦ２１２からＦ２１４に進める。
　ステップＦ２１４で制御部３０は、カウント値bCnt（ｍ）が時間閾値Ｔｈｔに達したブロックＢＫ（ｍ）が、主要被写体を含むブロックであると判定し、主要被写体設定を行う。つまり、ある期間で平均的に被写体が近づいているブロックが「接近傾向」にある被写体を含むブロックと判定され、主要被写体設定が行われる。そしてステップＦ２１５で変数ＴＳＦ＝１とする。
　そしてステップＦ２１６で主要被写体情報が出力され、例えば主要被写体情報を用いるアプリケーションプログラムや制御プログラムに受け渡される。
　この場合ステップＦ２１７で判定終了とされる。

　ここで、ステップＦ２１４での主要被写体設定について説明する。この図１４の処理例の場合、ステップＦ２１２で接近傾向が判定されるのはブロックＢＫ単位であって、必ずしも被写体単位ではない。そこでステップＦ２１４では、ブロックに基づいて被写体範囲を探索し、その範囲を主要被写体と判定することが行われる。
　図１７，図１８で詳しく説明する。

　図１８Ａに、１フレームの画像データの一部を示している。破線はブロックＢＫを示す。
　今、被写体Ｐが近接していたとし、或る時点で或るブロックＢＫ（ｐ）について、ステップＦ２１２で接近傾向と判定されたとする。ところがこのブロックＢＫ（ｐ）は被写体Ｐの一部であって、ブロックＢＫ（ｐ）の部分のみを主要被写体とするのは適切ではない。そこで、この被写体Ｐの範囲を主要被写体と設定するために、制御部３０はステップＦ２１４で図１７に示す処理を行う。

　まずステップＦ２４０では、ステップＦ２１２で接近傾向と判定されたブロックＢＫ（ｍ）について、他の各ブロックＢＫとの距離差を算出する。つまり当該ブロックＢＫ（ｍ）として、例えば図１８ＡのブロックＢＫ（ｐ）と、当該フレームにおける他の全ブロックＢＫ１～ＢＫ（Ｍ）（但しブロックＢＫ（ｐ）を除く）との距離の値の差を求める。そしてステップＦ２４１で、距離差が所定値以内のブロックＢＫを抽出する。
　図１８Ｂの斜線を付したブロックＢＫが、ブロックＢＫ（ｐ）と距離差が所定値以内であったとする。
　次に制御部３０はステップＦ２４２で、以上のように抽出したブロックＢＫのうちで、接近傾向と判定されたブロックＢＫ（ｍ）（図１８のブロックＢＫ（ｐ））と連続するブロックをグルーピングする。連続するブロックとは、ブロックＢＫ（ｐ）と隣接するブロック及び隣接ブロックにさらに隣接するブロックというように、画像平面上で物理的に連続する関係にあるブロックをいう。例えば図１８Ｃに示すブロック群ＭＡがグルーピングされることとなる。
　そしてステップＦ２４３で制御部３０は、グルーピングされたブロック群ＭＡを、主要
被写体画像を構成する領域とし、この画像範囲を主要被写体と設定して主要被写体情報を生成する。
　なお、結果的にステップＦ２４２で他のブロックに該当がなく、グルーピングされるのは１つのブロックのみということもあり得る。その場合は、接近傾向と判定されたブロックＢＫ（ｍ）の範囲のみが主要被写体と判定されればよい。

　このような処理を行うことで、ブロック単位で接近傾向の判定がなされた場合に、そのブロックに基づいて或る被写体の画像領域を適切に主要被写体画像と設定できる。同じ被写体であれば、距離の値の差は殆どないはずであるため、上記のように距離差の小さいブロックを抽出し、かつ連続ブロックをグルーピングすることで、被写体の範囲を適切に判定できるためである。
　なお、主要被写体と設定される被写体画像の領域は、グルーピングされたブロック群の領域そのものとしてもよいし、この複数ブロックの領域を円形、楕円形、方形に近似して主要被写体画像の領域と設定してもよい。
　さらにグルーピングされたブロック群の範囲で画像解析を行って顔検出、身体検出などで輪郭を判定し、それを主要被写体と判定してもよい。

　またステップＦ２１４の主要被写体判定のための処理は、上記処理以外でも可能である。例えば第１の実施の形態のように、デジタル信号処理部２０もしくは制御部３０内に候補検出部２７を備えるようにして、図１４の処理とは並行して候補画像抽出を行うようにしていてもよい。その場合、ステップＦ２１２で接近傾向と判定されたブロックＢＫ（ｍ）が含まれる候補画像枠を探して、その候補画像枠の被写体を主要被写体と設定すればよい。

　以上のように接近判定及び主要被写体判定処理が行われる。
　この接近判定及び主要被写体判定処理では、画像を分割したブロック毎に複数のフレームでの接近傾向が判定される。そして近接傾向のブロックの判定に基づいて主要被写体設定が行われる。これによって第１の実施の形態と同様に撮像時の操作性は格段に向上する。また主要被写体判定により、自動的にその主要被写体に対してフォーカス制御が行われたり、露光制御が行われるなどすれば、高品位な静止画／動画撮像が可能となる。

　なお、接近判定及び主要被写体判定処理としての具体的処理例は他にも多様に考えられる。例えば図６の近接判定の際にも説明したように、図１４の場合でもステップＦ２１０でβ＝０とすると累積的に接近する状況が検出された場合に接近傾向と判定される。またステップＦ２１０でβ＝－１とすると、平均的に接近する状況が検出された場合に接近傾向と判定される。さらには、ステップＦ２０８で判定フラグFlg（ｎ）＝０とされた場合にカウント値bCNT（ｍ）をゼロにリセットするものとすれば、継続して接近するブロックＢＫのみが接近傾向と判定されることとなる。それぞれ第１の実施の形態で説明した利点が得られる。

　また例えば所定の時間条件で、継続的又は累積的又は平均的という意味で接近が検出される場合を接近傾向と判定しているが、時間的に判定の重みを変化させてもよい。具体的にはステップＦ２０９でオフセット値OFS（ｍ）に代入する値αを段階的に大きくしたり、或いは逆に小さくしたりする。
　また一定の判定期間を設定し、その期間内に、カウント値bCNT（ｍ）が最も大きいブロックＢＫ（ｍ）、或いはカウント値bCNT（ｍ）が所定値以上となっている１又は複数のブロックＢＫ（ｍ）を、ステップＦ２１４の対象として主要被写体と判定する処理例も考えられる。
　また主要被写体と判定するためには接近傾向の判定に加えて、他の条件をＡＮＤ条件として加えることも考えられる。例えばブロックＢＫ（ｍ）の被写体距離が所定距離以内と
なっていること、ブロックＢＫ（ｍ）に含まれる被写体が特定の画像種別であること、フレーム画像の中央点から所定距離（ｘ，ｙ座標上での距離）以内のブロックＢＫ（ｍ）であることなどを条件に加えても良い。

　また、全ブロックＢＫ１～ＢＫ（Ｍ）を対象として処理を行うものとしたが、例えば画像データの中央部近辺のブロックＢＫのみなど、一部のブロックＢＫを対象として図１４の処理を行うものとしてもよい。例えば主要被写体としたいと撮像者が考えている被写体は、撮像者はなるべく画像の中央部近辺に捉えるように撮像方向を調整することを考えれば、中央部近辺のブロックＢＫのみを対象として図１４の処理を行うことで、主要被写体設定の精度を向上させることができる。さらには制御部３０の処理負荷の軽減にもなる。

　また図１４ではステップＦ２０２で図１５，図１６で説明した時間対応付け処理を行うようにしたが、これを行わない処理例も考えられる。
　ブロック毎の時間対応付け処理を行わない場合、ブロックＢＫと被写体が判定期間中に継続して一致するのは、或る被写体が正面から撮像装置１０の方向に直進して接近してくる場合のみとなる。例えば斜め方向に近づいてくる被写体の場合、その被写体はフレームが進むにつれて異なるブロックＢＫに含まれるような状況となる。
　これを逆に考えれば、ブロック毎の時間対応付け処理を行わなければ、自然に正面から近づいてくる被写体のみが主要被写体と選択されうるということになる。つまり正面方向での接近傾向ということを主要被写体の判定条件とする場合、図１４のステップＦ２０２を無くした処理例とすればよい。

　ブロックＢＫの分割は多様に考えられる。
　上記例ではブロックＢＫ１～ＢＫ（Ｍ）として説明したが、分割数は４分割、６分割、８分割、９分割・・・３０分割、４０分割など多様に考えられる。
　ブロック数が多いほど、近接判定の処理負担は増えるが、ズーム状態や被写体が小さい場合なども確度の高い主要被写体判定ができる。逆にブロック数が少ないほど処理負担は軽くなる。

　分割する各ブロックＢＫは、全てが同一の面積や同一の領域形状でなくてもよい。例えば画像の端部は１つのブロックＢＫを広い範囲とし、画面の中央部は細かいブロックＢＫに分割することなども考えられる。主要被写体の存在する位置として画面中央付近の確率が高いことを考えれば、画面中央部で細かく領域分割することは適切となる。

＜８．プログラム及びコンピュータ装置への適用＞
　以上、画像処理装置１、撮像装置１０の実施の形態を説明してきたが、上述した主要被写体判定処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

　実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
　即ちこのプログラムは、画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する処理と、判定された各被写体の接離傾向に基づいて主要被写体を判定する処理とを演算処理装置に実行させるプログラムである。

　具体的には、実施の形態のプログラムは、図２、図６、図８、図１０又は図１４に示し
た処理を演算処理装置に実行させるプログラムとすればよい。
　このようなプログラムにより、上述した主要被写体判定を実行する装置を、演算処理装置を用いて実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、本開示の画像処理装置とすることができる。
　例えば、図１９に示されるようなコンピュータ装置において、図１の画像処理装置１や撮像装置１０における主要被写体判定処理と同様の処理が実行されるようにすることもできる。

　図１９において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

　入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

　入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。

　上述した主要被写体判定処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

　この記録媒体は、例えば図１９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク、ＣＤ－ＲＯＭ、ＤＶＤを含む）、光磁気ディスク（MD（Mini
Disc）を含む）、若しくは半導体メモリなどよりなるリ ムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

　このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の被写体距離変化判定部３、主要被写体判定部２の機能、即ち図２、図６、図８、図１０又は図１４のような処理を実行することで、入力された画像データについて自動的に主要被写体判定を行うことができる。

＜９．変形例＞
　上述の実施の形態は、各種の変形例が考えられる。
　例えば第３の実施の形態として、図２Ｂで述べたサイズ判定方式の考え方で離遠傾向を判定する例を示したが、図２Ｃで述べたブロック判定方式の場合も、離遠傾向を判定し、遠ざかっていく被写体（ブロックＢＫ）の中から主要被写体を判定することも可能である。一例として、図１４の処理のステップＦ２０３を、距離変化量bDiff（ｍ）＝Db（ｍ）pre－Db（ｍ）の演算を行うように変形すれば良い。このようにすればブロック判定方式の場合でも離遠傾向のブロックを判定できることとなる。

　また、接近傾向の判定、離遠傾向の判定として各種処理を説明したが、ユーザが目的とする被写体に応じて、接近判定モード、離遠判定モードを切り換えることができるようにしてもよい。例えば子供等の人物を写すときは近接判定モードを選択する。すると第１の実施の形態の処理が実行される。一方、列車、航空機、野鳥等を撮像したい場合は離遠判定モードとする。すると第３の実施の形態の処理が実行されるようにするなどである。
　また、カメラモード（風景モード、ポートレートモード等）に応じて自動的に接近判定モードと離遠判定モードの切換が行われるようにしてもよい。
　また近接判定と離遠判定を同時に並行して行うことも考えられる。その場合、接近傾向、離遠傾向のいずれかで該当する被写体が見つけられた時点で、主要被写体と判定することなどが考えられる。

　各実施の形態の説明した時間閾値Ｔｈｔ、距離判定閾値Ｔｈｄの設定は、撮像装置１０や画像処理装置１としての製品、使用態様などに応じて適宜変更することが好適である。またユーザが任意に所望の値を設定できるようにしてもよい。
　時間閾値Ｔｈｔや距離判定閾値Ｔｈｄの設定により、主要被写体となりえる画像（候補画像枠Ｅ（ｎ）やブロックＢＫ（ｍ））の基準を変更できる。また時間閾値Ｔｈｔの設定により、迅速な判定を優先させるか、或いは確度の高い判定を優先するかを選択できる。

　また主要被写体情報は、画像効果処理や画像編集処理にも利用できると述べたが、そのためには再生画像を対象として主要被写体判定処理を行うことも好適である。
　このような再生画像を対象とする主要被写体判定処理は、図１の画像処理装置、図１９の情報処理装置などにおいても当然に想定される。

　また、主要被写体判定処理の結果については、その後撮像されて記録された静止画データや動画データに、メタデータとして付加してもよい。つまり主要被写体を示す情報を静止画ファイル等に付加する。

　また、スルー画を表示させ、同時に主要被写体判定処理を行っている間に、撮像者の操
作による主要被写体指定操作を可能としてもよい。

　また、実施の形態では、主に静止画撮像を想定して主要被写体を判定する処理を説明したが、動画撮像のためのスタンバイ中や、動画の撮像及び記録の実行中においても、撮像される複数のフレームから主要被写体判定を行う処理として、上記実施の形態の処理を適用できる。

　なお本技術は以下のような構成も採ることができる。
　（１）画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する被写体距離変化判定部と、
　上記被写体距離変化判定部で判定された各被写体の接離傾向に基づいて主要被写体を判定する主要被写体判定部と、
　を備えた画像処理装置。
　（２）上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への接近傾向の判定を行い、
　上記主要被写体判定部は、上記接近傾向の判定結果に基づいて主要被写体を判定する上記（１）に記載の画像処理装置。
　（３）上記被写体距離変化判定部は、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する上記（１）又は（２）に記載の画像処理装置。
　（４）上記被写体距離変化判定部は、画像内で抽出された１又は複数の候補画像としての被写体画像について、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する上記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している被写体を、接近傾向の被写体と判定し、
　上記主要被写体判定部は、接近傾向にあると判定された被写体の全部又は一部を主要被写体と判定する上記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）被写体の属性を識別して属性情報を出力する属性識別部を備え、
　上記被写体距離変化判定部は、被写体についての接近傾向の判定条件を上記属性情報に応じて変化させる上記（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）上記被写体距離変化判定部は、画像内の分割領域毎の被写体の距離の時間的変化を検出する上記（１）又は（２）に記載の画像処理装置。
　（８）上記被写体距離変化判定部は、現在の処理対象の画像の分割領域の被写体が、単位時間前の画像において位置する分割領域を判定し、該判定した分割領域の被写体距離と、現在の処理対象の画像の分割領域の被写体距離の差分として、被写体の距離の時間的変化を検出する上記（７）に記載の画像処理装置。
　（９）上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している分割領域の被写体を、接近傾向の被写体と判定し、
　上記主要被写体判定部は、被写体が接近傾向にあると判定された分割領域の情報に基づいて主要被写体を判定する上記（７）又は（８）に記載の画像処理装置。
　（１０）上記主要被写体判定部は、被写体が接近傾向にあると判定された一の分割領域に含まれる被写体と、同一の被写体が含まれる他の分割領域をグルーピングし、グルーピングした１又は複数の分割領域の範囲に基づいて、主要被写体としての画像範囲を設定する上記（９）に記載の画像処理装置。
　（１１）上記主要被写体判定部は、上記一の分割領域と、被写体距離の距離差が所定値以内であって、かつ上記一の分割領域から連続した領域となる上記他の分割領域をグルーピングする上記（１０）に記載の画像処理装置。
　（１２）上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への離遠傾向の判定を行い、

　上記主要被写体判定部は、上記離遠傾向の判定結果に基づいて主要被写体を判定する上記（１）に記載の画像処理装置。

　１…画像処理装置、２…主要被写体判定部、３…ローカル動き検出部、４…グローバル動き検出部、１０…撮像装置、１１…光学系、１２…イメージャ、１３…光学系駆動部、１４…センサ部、１５…記録部、１６…通信部、１７…距離センサ、２０…デジタル信号処理部、２１…前処理部、２２…同時化部、２３…ＹＣ生成部、２４…解像度変換部、２５…コーデック部、２７…候補検出部、２８…属性識別部、２９…距離算出部、３０…制御部、３０ａ…主要被写体判定部、３０ｂ…距離変化演算部、３２…ＵＩコントローラ、３３…ユーザインターフェース、３４…表示部、３５…操作部、７０…コンピュータ装置、７１…ＣＰＵ

Claims (14)

1. 　画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する被写体距離変化判定部と、
   　上記被写体距離変化判定部で判定された各被写体の接離傾向に基づいて主要被写体を判定する主要被写体判定部と、
   　を備えた画像処理装置。
2. 　上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への接近傾向の判定を行い、
   　上記主要被写体判定部は、上記接近傾向の判定結果に基づいて主要被写体を判定する請求項１に記載の画像処理装置。
3. 　上記被写体距離変化判定部は、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する請求項１に記載の画像処理装置。
4. 　上記被写体距離変化判定部は、画像内で抽出された１又は複数の候補画像としての被写体画像について、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する請求項１に記載の画像処理装置。
5. 　上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している被写体を、接近傾向の被写体と判定し、
   　上記主要被写体判定部は、接近傾向にあると判定された被写体の全部又は一部を主要被写体と判定する請求項１に記載の画像処理装置。
6. 　被写体の属性を識別して属性情報を出力する属性識別部を備え、
   　上記被写体距離変化判定部は、被写体についての接近傾向の判定条件を上記属性情報に応じて変化させる請求項１に記載の画像処理装置。
7. 　上記被写体距離変化判定部は、画像内の分割領域毎の被写体の距離の時間的変化を検出する請求項１に記載の画像処理装置。
8. 　上記被写体距離変化判定部は、現在の処理対象の画像の分割領域の被写体が、単位時間前の画像において位置する分割領域を判定し、該判定した分割領域の被写体距離と、現在の処理対象の画像の分割領域の被写体距離の差分として、被写体の距離の時間的変化を検出する請求項７に記載の画像処理装置。
9. 　上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している分割領域の被写体を、接近傾向の被写体と判定し、
   　上記主要被写体判定部は、被写体が接近傾向にあると判定された分割領域の情報に基づいて主要被写体を判定する請求項７に記載の画像処理装置。
10. 　上記主要被写体判定部は、被写体が接近傾向にあると判定された一の分割領域に含まれる被写体と、同一の被写体が含まれる他の分割領域をグルーピングし、グルーピングした１又は複数の分割領域の範囲に基づいて、主要被写体としての画像範囲を設定する請求項９に記載の画像処理装置。
11. 　上記主要被写体判定部は、上記一の分割領域と、被写体距離の距離差が所定値以内であって、かつ上記一の分割領域から連続した領域となる上記他の分割領域をグルーピングする請求項１０に記載の画像処理装置。
    
12. 　上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への離遠傾向の判定を行い、
    　上記主要被写体判定部は、上記離遠傾向の判定結果に基づいて主要被写体を判定する請求項１に記載の画像処理装置。
13. 　画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定し、
    　判定された各被写体の接離傾向に基づいて主要被写体を判定する画像処理方法。
14. 　画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する処理と、
    　判定された各被写体の接離傾向に基づいて主要被写体を判定する処理と、
    　を演算処理装置に実行させるプログラム。

Images