WO2018179695A1 - 制御装置、撮像装置、制御方法及びプログラム - Google Patents

Abstract

第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部とを有する制御装置である。 図４

Description

制御装置、撮像装置、制御方法及びプログラム

　本開示は、制御装置、撮像装置、制御方法及びプログラムに関する。

　従来から自動的に焦点を検出する様々な方式（ＡＦ(Auto Focus)の方式）が提案されている（例えば、下記特許文献１を参照のこと）。

特開２００７－２３３０３４号公報

　このような分野では、オートフォーカスの対象を的確に検出することが望まれている。

　本開示は、オートフォーカスの対象を的確に検出することができる制御装置、撮像装置、制御方法及びプログラムを提供することを目的の一つとする。

　本開示は、例えば、
　第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、
　第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、
　主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部と
　を有する制御装置である。

　本開示は、例えば、
　上述した制御装置と、
　撮像部と
　を有する撮像装置である。

　本開示は、例えば、
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
　制御方法である。

　本開示は、例えば、
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
制御方法をコンピュータに実行させるプログラムである。

　本開示の少なくとも実施形態によれば、オートフォーカスの対象を的確に検出することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。

図１は、本開示の一実施形態に係る撮像装置の概略構成を示す図である。 図２は、本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。 図３は、オートフォーカスを行う上で考慮すべき問題を説明するための図である。 図４は、制御部における各機能ブロックが行う処理を説明するための図である。 図５Ａ～図５Ｃは、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図６Ａ及び図６Ｂは、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図７は、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図８は、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図９は、本開示の一実施形態に係る撮像装置において行われる処理の流れを示すフローチャートである。 図１０は、本開示の一実施形態に係る撮像装置において行われる第１の制御を説明するうえで参考する図である。 図１１は、本開示の一実施形態に係る撮像装置において行われる第１の制御の処理の流れを示すフローチャートである。 図１２は、本開示の一実施形態に係る撮像装置において行われる第１の制御を説明するうえで参考する図である。 図１３は、本開示の一実施形態に係る撮像装置において行われる第２の制御の処理の流れを示すフローチャートである。 図１４は、本開示の一実施形態に係る撮像装置において行われる第２の制御を説明するうえで参考する図である。 図１５は、本開示の一実施形態に係る撮像装置において行われる第３の制御の処理の流れを示すフローチャートである。 図１６は、車両制御システムの概略的な構成の一例を示すブロック図である。 図１７は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．一実施形態＞
＜２．変形例＞
＜３．応用例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

＜１．一実施形態＞
［撮像装置の構成例］
　始めに、本開示の一実施形態に係る撮像装置の構成例について説明する。図１は、本開示の一実施形態に係る撮像装置１の概略構成を示す断面模式図である。

　撮像装置１は、筐体（ボディ）１０、撮影レンズ２２を備える光学撮像系２０、半透過ミラー１１、撮像素子１２Ａ、像面位相差ＡＦセンサ１２Ｂ、専用位相差ＡＦセンサ１３、電子ビューファインダ１４、ディスプレイ１５を備えている。例えば、撮像素子１２Ａと光学撮像系２０とを含む構成により撮像部が構成される。

　図１に示されるように、筐体１０に対して光学撮像系２０が設けられている。光学撮像系２０は、例えば交換可能ないわゆるレンズ部であり、鏡筒２１内に撮影レンズ２２、絞り等が設けられている。撮影レンズ２２は、フォーカス駆動系（図示しない）によって駆動され、ＡＦ(Auto Focus)動作が可能とされている。なお、光学撮像系２０は、筐体１０と一体ものとして構成しても良いし、光学撮像系２０が所定のアダプタを介して筐体１０に着脱可能としても良い。

　半透過ミラー１１は、筐体１０内において、撮影レンズ２２と筐体１０内の撮像素子１２Ａとの間に設けられている。半透過ミラー１１には、撮影レンズ２２を介して被写体光が入射する。半透過ミラー１１は、撮影レンズ２２を介して入射する被写体光の一部を上方の専用位相差ＡＦセンサ１３の方向に反射させ、また、被写体光の一部を撮像素子１２Ａへと透過させる。なお、半透過ミラー１１の透過度、反射率等は任意に設定することが可能である。

　筐体１０内には撮影画像生成用の撮像素子１２Ａが設けられている。撮像素子１２Ａとしては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。撮像素子１２Ａは、撮影レンズ２２を介して入射する被写体光を光電変換して電荷量に変換し、画像を生成する。画像信号は、ホワイトバランス調整処理、ガンマ補正処理などの所定の信号処理が施されて最終的に画像データとして、撮像装置１内の記憶媒体や撮像装置１に着脱可能とされる可搬型のメモリ等に保存される。

　撮像素子１２Ａは、通常の撮像画素である例えば、Ｒ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素を有するとともに、位相差焦点検出を行う像面位相差ＡＦセンサ１２Ｂを有している。すなわち、撮像素子１２Ａの一部に像面位相差画素が配置されることにより像面位相差ＡＦセンサ１２Ｂが構成されている。撮像素子を構成する各画素は被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。

　専用位相差ＡＦセンサ１３は、例えば、筐体１０内において半透過ミラー１１の上方に、且つ、撮像素子１２Ａの前方に位置するように設けられている。専用位相差ＡＦセンサ１３は、例えば、位相差検出方式のＡＦ専用モジュールである。撮影レンズ２２により集光された被写体光は半透過ミラー１１で反射することによって専用位相差ＡＦセンサ１３に入射する。専用位相差ＡＦセンサ１３により検出された焦点検出信号は撮像装置１内においてデフォーカス量の算出を行う処理部などに供給される。このように、一実施形態に係る撮像装置１は、専用位相差ＡＦセンサ１３と像面位相差ＡＦセンサ１２Ｂとを用いてＡＦを行う。但し、これに限定されるものではなく、撮像装置１が行うＡＦの方式は、専用位相差ＡＦセンサ１３及び像面位相差ＡＦセンサ１２Ｂの一方を用いたＡＦ方式でも良いし、別の公知のＡＦ方式を用いたものであっても良い。複数のＡＦ方式のハイブリッドによるＡＦ方式を用いたものであっても良い。なお、撮像装置１が専用位相差ＡＦセンサ１３を備えない場合には、像面位相差ＡＦセンサ１２Ｂを用いてＡＦを行う。

　筐体１０には電子ビューファインダ（EVF：Electronic View Finder）１４が設けられている。電子ビューファインダ１４は、例えば、液晶ディスプレイ（Liquid Crystal Display（ＬＣＤ））、有機ＥＬ(Electroluminescence:電界発光) ディスプレイなどを備える。電子ビューファインダ１４には、撮像素子１２Ａから取り出された画像信号を信号処理部（図示しない）で処理することにより得られる画像データが供給される。電子ビューファインダ１４は、それらの画像データに対応する画像をリアルタイム画像（スルー画像）として表示する。

　筐体１０には、ディスプレイ１５が設けられている。ディスプレイ１５は、液晶ディスプレイ、有機ＥＬ等のフラットディスプレイなどである。ディスプレイ１５には、撮像素子１２Ａから取り出された画像信号を信号処理部（図示しない）で処理して得られる画像データが供給され、ディスプレイ１５はそれらをリアルタイム画像（いわゆるスルー画像）として表示する。図１においては、ディスプレイ１５は、筺体の背面側に設けられているが、これに限られず、筺体上面などに設けても良く、可動式や取り外し式としても良い。ディスプレイ１５は筐体１０になくても良く、この場合、撮像装置１に接続されたテレビジョン装置等がディスプレイ１５として機能しても良い。また、ディスプレイ１５には、モードに応じたＡＦが行われるエリア（以下、ＡＦエリアと適宜、称する）がリアルタイム画像に重畳されて表示される。

［撮像装置の内部構成例］
　次に、図２のブロック図を参照して、撮像装置１の内部構成例（主に信号処理に係る構成例）について説明する。撮像装置１は、上述した光学撮像系２０、専用位相差ＡＦセンサ１３、撮像素子１２Ａ、像面位相差ＡＦセンサ１２Ｂ、ディスプレイ１５の他に、例えば、前処理回路３１、カメラ処理回路３２、画像メモリ３３、制御部３４、グラフィックＩ／Ｆ（Interface）３５、入力部３６、Ｒ／Ｗ（リーダ／ライタ）３７および記憶媒体３８を備えている。

　光学撮像系２０は、被写体からの光を撮像素子１２Ａに集光するための撮影レンズ２２（フォーカスレンズ、ズームレンズなどを含む）、フォーカスレンズを移動させてフォーカス調整を行うレンズ駆動機構２２Ａ、シャッタ機構、アイリス機構などから構成されている。これらは制御部３４からの制御信号に基づいて駆動される。レンズ駆動機構２２Ａは、撮影レンズ２２を制御部３４（例えば、後述するＡＦ制御部３４Ｄ）から供給された制御信号に応じて光軸方向に沿って移動させることにより、ＡＦ動作を実現する。光学撮像系２０を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子１２Ａ上に結像される。

　専用位相差ＡＦセンサ１３は、例えば、位相差検出方式のオートフォーカス専用センサである。撮影レンズ２２により集光された被写体光は、半透過ミラー１１で反射されることによって専用位相差ＡＦセンサ１３に入射する。専用位相差ＡＦセンサ１３により検出された焦点検出信号は制御部３４に供給される。

　撮像素子１２Ａは、上述したように、通常の撮像画素と位相差検出用画素とを有するものである。像面位相差ＡＦセンサ１２Ｂは、複数の位相差検出用画素からなるオートフォーカス用センサである。像面位相差ＡＦセンサ１２Ｂにより検出された焦点検出信号は制御部３４に供給される。

　前処理回路３１は、撮像素子１２Ａから出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。

　カメラ処理回路３２は、前処理回路３１からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。

　画像メモリ３３は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリであり、前処理回路３１およびカメラ処理回路３２によって所定の処理が施された画像データを一時的に蓄えておくものである。

　制御部３４は、例えばＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)およびＲＯＭ(Read Only Memory)などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ実行されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１全体の制御を行う。

　また、制御部３４は、機能ブロックとして、例えば、主要被写体検出部３４Ａと、距離情報算出部の一例であるＤｅｐｔｈ検出部３４Ｂと、検出部の一例である前景Ｄｅｐｔｈ範囲検出部３４Ｃと、ＡＦ制御部３４Ｄとを有している。これらの各機能ブロックが行う処理については後述する。なお、本明細書では、主要被写体を前景と称し、主要被写体ではない被写体を背景と称する。主要被写体とは、複数の被写体のうちユーザにとって重要と考えられる被写体であり、より具体的には、ユーザがピントを合わせたいと考える部分を含む被写体である。

　グラフィックＩ／Ｆ３５は、制御部３４から供給された画像信号から、ディスプレイ１５に表示させるための画像信号を生成して、この信号をディスプレイ１５に供給することにより画像を表示させる。ディスプレイ１５には、撮像中のスルー画、記憶媒体３８に記録された画像などが表示される。

　入力部３６は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、ディスプレイ１５と一体に構成されたタッチスクリーンなどからなる。入力部３６に対して入力がなされると、当該入力に応じた制御信号が生成されて制御部３４に出力される。そして、制御部３４は当該制御信号に対応した演算処理や制御を行う。

　Ｒ／Ｗ３７には、撮像により生成された画像データなどを記録する記憶媒体３８が接続されるインターフェースである。Ｒ／Ｗ３７は、制御部３４から供給されたデータを記憶媒体３８に書き込み、また、記憶媒体３８から読み出したデータを制御部３４に出力する。記憶媒体３８は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧなどの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。

[撮像装置の基本的な動作例]
　ここで、上述した撮像装置１における基本的な動作について説明する。画像の撮像前には、撮像素子１２Ａによって受光されて光電変換された信号が、順次、前処理回路３１に供給される。前処理回路３１では、入力信号に対してＣＤＳ処理、ＡＧＣ処理などが施され、さらに画像信号に変換される。

　カメラ処理回路３２は、前処理回路３１から供給された画像信号を画質補正処理し、スルー画像の信号として、制御部３４を介してグラフィックＩ／Ｆ３５に供給する。これにより、スルー画像がディスプレイ１５に表示される。ユーザはディスプレイ１５に表示されるスルー画像を見て画角合わせを行うことができる。

　この状態で、入力部３６のシャッタボタンが押下されると、制御部３４は、光学撮像系２０に制御信号を出力して、光学撮像系２０を構成するシャッタを動作させる。これにより撮像素子１２Ａからは、１フレーム分の画像信号が出力される。

　カメラ処理回路３２は、撮像素子１２Ａから前処理回路３１を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を制御部３４に供給する。制御部３４は、入力された画像信号を圧縮符号化し、生成した符号化データを、Ｒ／Ｗ３７に供給する。これにより、撮像された静止画像のデータファイルがＲ／Ｗ３７を介して記憶媒体３８に記憶される。なお、動画の撮影時には、動画撮影の指示に応じて上述した処理がリアルタイムに行われる。動画撮影中にシャッタボタンを押すことにより、動画撮影中に静止画を撮影することも可能である。

　一方、記憶媒体３８に記憶された画像ファイルを再生する場合には、制御部３４は、入力部３６からの操作入力に応じて、選択された静止画像ファイルを記憶媒体３８からＲ／Ｗ３７を介して読み込む。読み込まれた画像ファイルに対して伸張復号化処理が施される。そして、復号化された画像信号が制御部３４を介してグラフィックＩ／Ｆ３５に供給される。これにより、記憶媒体３８に記憶された静止画像がディスプレイ１５に表示される。

[オートフォーカスについて考慮すべき問題]
　ここで、オートフォーカスについて考慮すべき問題について説明する。種々の画像処理技術を用いて主要被写体検出処理を行うことにより主要被写体を認識し、当該主要被写体に優先的にピントを合わせる技術が提案されている。しかしながら、主要被写体検出処理によって検出された主要被写体は必ずしもユーザが意図する主要被写体と一致しない場合がある。特にプロカメラマンのようなハイエンドユーザにとって、自身の意図する被写体が主要被写体と認識されずに、他の被写体にピントが合ってしまうことは好ましくなく、決定的なシーンを逃してしまうことさえあり得る。ハイエンドユーザは自ら設定したＡＦエリア内でＡＦを行うことを望むことが多いが、一方で限定されたＡＦエリア内に被写体を置き続けることはプロのカメラマンにとっても困難である。

　また、主要被写体検出処理はＡＦ用の距離情報検出処理（測距演算）に比べてより長い計算時間を必要とすることが多く、その場合は最新の測距結果に対してタイムラグ（遅延）が生じる。最新の測距結果を用いてＡＦを行おうとする場合、主要被写体の認識結果は時間的に前（古い）結果しか存在しないため、遅延が生じる時間での被写体の動きは考慮されないことになってしまう。反対に、主要被写体検出処理の演算が終了した後にＡＦを行うと、時間的に前となる測距結果によってピント合わせが行われるため、被写体のＺ軸方向（奥行き方向）への動きに対してＡＦの追従性が悪くなる。

　この点について、図３を参照して説明する。ある時刻Ｔａで入力画像として画像ＩＭａが取得（入力）されたとする。画像ＩＭａに対して主要被写体検出処理が行われ、例えば、中央付近に位置するアメリカンフットボールのプレーヤＨＡの顔ＦＡが主要被写体として検出されたとする。一方で、画像ＩＭａに対する距離情報検出処理が行われ、画像ＩＭａ内の被写体に対する距離情報が測距結果として得られる。図３では、プレーヤＨＡの測距結果として距離情報Ｄ１が得られ、他のプレーヤであるプレーヤＨＢの測距結果として距離情報Ｄ２が得られた例が示されている。

　次の（時間的に後の）時刻Ｔｂにおいて、入力画像として画像ＩＭｂが取得されたとする。画像ＩＭｂは、画像ＩＭａに対して例えば１フレーム後の画像である。画像ＩＭｂは、画像ＩＭａに対して数フレーム後の画像であっても良い。画像ＩＭｂには、上述したプレーヤＨＡ、ＨＢの他にプレーヤＨＣが含まれている。画像ＩＭｂに対して距離情報検出処理が行われ、画像ＩＭｂ内の被写体に対する距離情報が測距結果として得られる。図３では、プレーヤＨＡの測距結果として距離情報Ｄ１が得られ、プレーヤＨＢの測距結果として距離情報Ｄ２が得られ、プレーヤＨＣの測距結果として距離情報Ｄ３が得られた例が示されている。

　上述したように、主要被写体検出処理は距離情報検出処理に比べてより長い計算時間を必要とする。このため、距離情報検出処理が終了し測距結果が得られた段階では主要被写体検出処理が終了していないため、時刻Ｔｂにおける測距結果を用いてＡＦを行う場合には、上述したように、時刻Ｔａ、Ｔｂ間における被写体の動きが考慮されないことになる。一方で、主要被写体検出処理が終了するまで処理を待つとその間にプレーヤＨＡが被写体のＺ軸方向（奥行き方向）に動き、実際の距離と測距結果との間にズレが生じてしまい、被写体のＺ軸方向への動きに対してＡＦの追従性が悪くなる。以下、これらの点を踏まえ、本開示の一実施形態について詳細に説明する。

［撮像装置の動作例］
（前景Ｄｅｐｔｈ範囲を検出する動作）
　撮像装置１の動作例について説明する。始めに、図４～図８を参照して、前景Ｄｅｐｔｈ範囲を検出する動作例について説明する。前景Ｄｅｐｔｈ範囲とは、主要被写体が含まれる距離であり、本実施形態では主要被写体が含まれる所定の距離範囲として説明するが、距離そのものであっても良い。図４では、制御部３４を構成する機能ブロックである主要被写体検出部３４Ａ、Ｄｅｐｔｈ検出部３４Ｂ、前景Ｄｅｐｔｈ範囲検出部３４Ｃ及びＡＦ制御部３４Ｄがそれぞれ示されている。

　ある時刻Ｔ１に、入力画像として画像ＩＭ１（第１画像の一例）が撮像装置１により取得されたとする。図５Ａには、画像ＩＭ１の一例が示されている。画像ＩＭ１は、前側に草が存在し、その奥側に画面の右から左に走る人物Ｈ１が存在し、背景に森（図５Ａでは３本の木により示されている）が存在する画像である。

　画像ＩＭ１が主要被写体検出部３４Ａ、Ｄｅｐｔｈ検出部３４Ｂのそれぞれに入力される。主要被写体検出部３４Ａは、画像ＩＭ１に含まれる被写体のうち主要被写体（第１主要被写体）を検出する主要被写体検出処理を行う。主要被写体検出部３４Ａは、例えば、フレーム間の差分に基づいて動きを検出し、動きが検出された被写体を主要被写体とみなす。主要被写体検出部３４Ａは、主要被写体検出処理を行うことにより主要被写体を検出し、当該主要被写体を示す主要被写体マップＭＡ１（主要被写体情報の一例）を取得する。すなわち、この主要被写体マップＭＡ１は、主要被写体が存在する領域を示す情報である。主要被写体マップＭＡ１の一例が図５Ｂに示されている。主要被写体マップＭＡ１における白い箇所が、動きのある主要被写体として識別されている。なお、図５Ｂに示す主要被写体マップＭＡ１ではノイズの影響により、人物Ｈ１に対応する箇所以外にも白い箇所が局所的に存在している。主要被写体マップＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。

　Ｄｅｐｔｈ検出部３４Ｂは、距離情報検出処理を行うことにより、画像ＩＭ１に含まれる被写体の距離を検出する。Ｄｅｐｔｈ検出部３４Ｂは、例えば、像面位相差ＡＦセンサ１２Ｂ及び専用位相差ＡＦセンサ１３から得られるセンサ情報を利用して、距離情報検出処理を行う。なお、距離情報を検出するエリアに応じて、像面位相差ＡＦセンサ１２Ｂ及び専用位相差ＡＦセンサ１３の一方から得られるセンサ情報を利用して距離情報検出処理が行われても良い。Ｄｅｐｔｈ検出部３４Ｂは、画像ＩＭ１に含まれる被写体の距離を検出し、ＤｅｐｔｈマップＤＭＡ１（第１距離情報の一例）を取得する。ＤｅｐｔｈマップＤＭＡ１の一例が図５Ｃに示されている。図５Ｃに示されるＤｅｐｔｈマップＤＭＡ１では、距離の遠近が白黒の濃淡で表されており、距離が近いほど白になり距離が遠くなるほど黒になるように表されている。ＤｅｐｔｈマップＤＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。

　前景Ｄｅｐｔｈ範囲検出部３４Ｃは、主要被写体マップＭＡ１及びＤｅｐｔｈマップＤＭＡ１に基づいて、前景Ｄｅｐｔｈ範囲を検出する。前景Ｄｅｐｔｈ範囲検出部３４Ｃにより行われる、前景Ｄｅｐｔｈ範囲を検出する処理の一例について説明する。前景Ｄｅｐｔｈ範囲検出部３４Ｃは、ＤｅｐｔｈマップＤＭＡ１を有限のクラスタに分解するクラスタリング（クラスタ分析やクラスタ分類とも称される）を行う。クラスタリングの方法としては、例えば、ｋ－ｍｅａｎｓ法と称される方法を適用することができる。

　クラスタリングがなされたＤｅｐｔｈマップの一例が、ＤｅｐｔｈマップＣＤＭＡ１として図６Ａに示されている。前景Ｄｅｐｔｈ範囲検出部３４Ｃのクラスタリングにより、ＤｅｐｔｈマップＤＭＡ１により示される距離情報が６個のクラスタ（クラスタＣＬ１～ＣＬ６）に分類される。

　クラスタＣＬに対応する距離情報の一例が図７に示されている。例えば、クラスタＣＬ１が０～３ｍ（メートル）に対応しており、クラスタＣＬ２が３～６ｍに対応しており、クラスタＣＬ３が６～９ｍに対応しており、クラスタＣＬ４が９～１２ｍに対応しており、クラスタＣＬ５が１２～１５ｍに対応しており、クラスタＣＬ６が１５～∞ｍに対応している。なお、各クラスタＣＬの境界値は、何れかのクラスタＣＬに含まれていれば良い。例えば、クラスタＣＬ１とクラスタＣＬ２との境界値である３ｍは、クラスタＣＬ１に含まれていても良いし、クラスタＣＬ２に含まれていても良い。

　次に、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、クラスタリング後のＤｅｐｔｈマップＣＤＭＡ１と主要被写体マップＭＡ１とを照合する照合処理を行う。照合処理の結果が図６Ｂに示されている。そして、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、各クラスタＣＬに含まれる主要被写体の割合を求める。この割合は、例えば、各クラスタＣＬを構成する面積（画素数）に対して主要被写体の面積（画素数）が占める割合により示される。なお、各クラスタＣＬの面積に対して主要被写体の面積が占める割合を求める際に、主要被写体の面積に対して、主要被写体の画面（マップ）上の位置に応じた重み付けや、主要被写体らしさに応じた重み付けを行うこともできる。このとき、位置に応じた重み付けの例としては、例えば画面の中央に近いほど、より大きな（強い）重み付けを行うことができる。また、主要被写体らしさに応じた重み付けの例としては、公知の認識技術等に基づき主要被写体らしさを示す評価値を取得し、当該評価値が大きいほどより主要被写体らしいものとしてより大きな（強い）重み付けを行うことができる。

　各クラスタＣＬに含まれる主要被写体の割合の一例が図７に示されている。前景Ｄｅｐｔｈ範囲検出部３４Ｃは、主要被写体の割合がある閾値以上のクラスタを前景Ｄｅｐｔｈ範囲として検出する。すなわち、前景Ｄｅｐｔｈ範囲は、検出されたクラスタの領域を示す情報である。図７に示すように、例えば、クラスタＣＬ１に含まれる主要被写体の割合が６％であり、クラスタＣＬ２に含まれる主要被写体の割合が０％であり、クラスタＣＬ３に含まれる主要被写体の割合が４２％であり、クラスタＣＬ４に含まれる主要被写体の割合が０％であり、クラスタＣＬ５に含まれる主要被写体の割合が３％であり、クラスタＣＬ６に含まれる主要被写体の割合が０％であるとする。このとき、例えば、閾値を６ｍと設定している場合、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、クラスタＣＬ３に対応する距離の範囲（６～９ｍ）を前景Ｄｅｐｔｈ範囲として検出する。なお、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、主要被写体の割合が最も大きいクラスタを前景Ｄｅｐｔｈ範囲として検出することもできる。前景Ｄｅｐｔｈ範囲検出部３４Ｃは、検出した前景Ｄｅｐｔｈ範囲を示す情報である前景Ｄｅｐｔｈ範囲情報ＭＤ（主要被写体距離情報の一例）を取得する。そして、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、前景Ｄｅｐｔｈ範囲情報ＭＤをＡＦ制御部３４Ｄに供給する。ＡＦ制御部３４Ｄに供給された前景Ｄｅｐｔｈ範囲情報ＭＤは、制御部３４が有するメモリ等に保持される。なお、前景Ｄｅｐｔｈ範囲を検出する処理は、周期的、例えば、フレーム周期に応じて行われる。

　次に、時刻Ｔ１より時間的に後の時刻Ｔ２に、入力画像として画像ＩＭ２（第２画像の一例）が撮像装置１により取得されたとする。画像ＩＭ２は、例えば、画像ＩＭ１の１フレーム後の画像であり、時間的に最も後に取得された画像である。画像ＩＭ２の一例が図８Ａに示されている。

　Ｄｅｐｔｈ検出部３４Ｂは、距離情報検出処理を行うことにより、画像ＩＭ２に含まれる被写体毎の距離を検出し、ＤｅｐｔｈマップＤＭＡ２（第２距離情報の一例）を取得する。ＤｅｐｔｈマップＤＭＡ２の一例が図８Ｂに示されている。図８Ｂに示されるＤｅｐｔｈマップＤＭＡ２では、ＤｅｐｔｈマップＤＭＡ１と同様に、距離の遠近が白黒の濃淡で表されており、距離が近いほど白になり距離が遠くなるほど黒になるように表されている。ＤｅｐｔｈマップＤＭＡ２がＡＦ制御部３４Ｄに供給される。

　ＡＦ制御部３４Ｄは、前フレームを用いて検出された前景Ｄｅｐｔｈ範囲情報ＭＤに基づいて、ＤｅｐｔｈマップＤＭＡ２に含まれる主要被写体、すなわち、画像ＩＭ２に含まれる主要被写体（第２主要被写体）を検出する。ＡＦ制御部３４Ｄは、ＤｅｐｔｈマップＤＭＡ２を有限のクラスタに分解するクラスタリングを行う。クラスタリングの方法としては、例えば、Ｄｅｐｔｈ検出部３４Ｂと同様のｋ－ｍｅａｎｓ法と称される方法を適用することができる。

　クラスタリングがなされたＤｅｐｔｈマップの一例が、ＤｅｐｔｈマップＣＤＭＡ２として図８Ｃに示されている。動く被写体であっても、１フレーム間の時刻及び距離情報検出処理が行われる間におけるＺ軸方向の動きは僅かである。したがって、ＤｅｐｔｈマップＣＤＭＡ２は、ＤｅｐｔｈマップＣＤＭＡ１と略同様のクラスタ（例えば、６個のクラスタＣＬ１～ＣＬ６）に分類される。

　ＡＦ制御部３４Ｄは、例えば、上述したように前景Ｄｅｐｔｈ範囲が６～９ｍの場合には、ＤｅｐｔｈマップＤＭＡ２における６～９ｍの範囲、すなわちクラスタＣＬ３に対応する領域に主要被写体が存在すると検出する。主要被写体が存在すると検出された範囲の一例が図８Ｃにおいて太線で囲まれている。

　このように、時刻Ｔ２において主要被写体検出処理が終了しておらず主要被写体マップが存在しなくても、過去のフレーム（例えば、前のフレーム）を使用して得られた前景Ｄｅｐｔｈ範囲を使用して、最新フレームのどこに主要被写体が存在するかを検出することができる。

　図９は、前景Ｄｅｐｔｈ範囲を検出する処理の流れを示すフローチャートである。ステップＳＴ１１では、時刻Ｔ１における入力画像である画像ＩＭ１に対して、主要被写体検出部３４Ａが主要被写体検出処理を行い、画像ＩＭ１における主要被写体を検出する。検出結果である主要被写体マップＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。そして、処理がステップＳＴ１２に進む。

　ステップＳＴ１２では、Ｄｅｐｔｈ検出部３４Ｂが、画像ＩＭ１に対して距離情報検出処理を行い、画像ＩＭ１における各被写体の距離情報を検出する。検出結果であるＤｅｐｔｈマップＤＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。そして、処理がステップＳＴ１３に進む。

　ステップＳＴ１３では、前景Ｄｅｐｔｈ範囲検出部３４Ｃが、主要被写体マップＭＡ１及びＤｅｐｔｈマップＤＭＡ１を用いて前景Ｄｅｐｔｈ範囲を検出する。前景Ｄｅｐｔｈ範囲検出部３４Ｃが前景Ｄｅｐｔｈ範囲を検出する処理の内容は上述してあるので、重複した説明を省略する。前景Ｄｅｐｔｈ範囲を示す前景Ｄｅｐｔｈ範囲情報ＭＤがＡＦ制御部３４Ｄに供給される。そして、処理がステップＳＴ１４に進む。

　ステップＳＴ１４では、時刻Ｔ１より時間的に後の時刻Ｔ２における入力画像として画像ＩＭ２が入力される。Ｄｅｐｔｈ検出部３４Ｂが、画像ＩＭ２に対して距離情報検出処理を行い、画像ＩＭ２における各被写体の距離情報を検出する。検出結果であるＤｅｐｔｈマップＤＭＡ２がＡＦ制御部に供給される。そして、処理がステップＳＴ１５に進む。以降は、主要被写体検出部３４Ａによる主要被写体検出処理が行われるタイミングごとに、当該主要被写体検出処理により得られる最新の主要被写体情報に基づき、ステップＳＴ１１から続く同様の処理が行われる。

　ＡＦ制御部３４Ｄは、前景Ｄｅｐｔｈ範囲情報ＭＤに基づいて、ＤｅｐｔｈマップＤＭＡ２に含まれる主要被写体を検出し、画像ＩＭ２に含まれる主要被写体を検出する。ＡＦ制御部３４Ｄが、前景Ｄｅｐｔｈ範囲情報ＭＤに基づいて主要被写体を検出する処理は上述してあるので重複した説明を省略する。以上の処理により、画像ＩＭ２に対する主要被写体検出部３４Ａによる主要被写体検出処理が終了していない場合でも、現フレームにおける主要被写体を検出することができる。

（第１の制御例）
　前景Ｄｅｐｔｈ範囲情報ＭＤは、撮像装置１の様々な処理、例えば、ＡＦ制御における処理に用いることができる。具体的には、ＡＦ制御部３４Ｄが時間的に最も後の画像に含まれる主要被写体（例えば、上述した画像ＩＭ２に含まれる第２主要被写体）の検出結果に基づいてレンズの移動を制御する処理に、前景Ｄｅｐｔｈ範囲情報ＭＤを用いることができる。以下、前景Ｄｅｐｔｈ範囲情報ＭＤを使用したＡＦ制御の例（第１～第３の制御例）について説明する。なお、以下の説明では、前景Ｄｅｐｔｈ範囲の検出処理で説明した内容と同一、同質の構成に関しては同一の参照符号を付し、重複した説明を適宜、省略する。

　以下の制御は、ＵＩ（User Interface）として提示される複数のＡＦエリアのうち、ＡＦエリアが局所的に選択されるモードで行われる制御である。ＡＦエリアは、例えば、色が付された矩形の枠によりディスプレイ１５に表示されることにより、ユーザに提示される。ユーザは、複数のＡＦエリアのうちＡＦを行うエリアとして、例えば１個のＡＦエリアを選択する。このようなＡＦモードは、スポット等と称される。以下では、ＡＦモードの例としてスポットが選択された例を説明するが、スポットと異なるＡＦモードにおいて以下に説明する処理が行われても良い。

　図１０Ａは、時刻Ｔ３でディスプレイ１５に表示される画像ＩＭ３の一例を示している。時刻Ｔ３は、上述した時刻Ｔ２と同じ時刻でも良い。ディスプレイ１５には、ユーザが設定したＡＦエリアＡＲ１が示されている。ＡＦエリアＡＲ１で指定された範囲でＡＦが行われる。なお、ＡＦエリアＡＲ１はＵＩとして提示される領域であり、ＡＦエリアＡＲ１で行われるＡＦに使用されるセンサ情報は必ずしも、ＡＦエリアＡＲ１内のセンサ（例えば、像面位相差ＡＦセンサ１２Ｂ）から出力されるセンサ情報とは限らない。すなわち、ＵＩとして使用されるＡＦエリアＡＲ１と、ＡＦを信号処理的に行う際に用いられるＡＦセンサの範囲とは必ずしも一致していなくても良い。

　ここで、ユーザとしては例えばプロのカメラマンを想定する。このようなユーザは、局所的であり狭い範囲である１個のＡＦエリアＡＲ１に、動きのある主要被写体（例えば、人物Ｈ１の顔）を合わせるようなカメラワークを行うことができる。しかしながら、プロとカメラマンと言えども人為的な操作には限界があることから、図１０に示すように、主要被写体（例えば、人物Ｈ１の顔）がＡＦエリアＡＲ１から抜けてしまい、背景にＡＦが行われてしまう場合がある。このように、意図しないでピントが背景に合ってしまう現象は、背景抜けなどとも称される。特に、人物Ｈ１がアメリカンフットボール、サッカー等の動きの激しいスポーツのプレーヤである場合には、背景抜けが生じるおそれが高くなる。

　そこで、第１の制御例では、ＡＦ操作中に、ＡＦエリアＡＲ１内に背景しか存在しない場合には、有効なＡＦエリアを周辺まで拡大して、拡大後のＡＦエリアに主要被写体が存在するか否かを判断する。拡大後のＡＦエリアに主要被写体が存在すれば、当該ＡＦエリアでＡＦを行う。これにより、背景にＡＦがなされてしまうことを防止する。

　図１１及び図１２を参照して、第１の制御例について具体的に説明する。図１１は、第１の制御の処理の流れを示すフローチャートであり、図１２は、時間的に最も後に取得された画像ＩＭ３のＤｅｐｔｈマップであるＤｅｐｔｈマップＤＭＡ３を示している。なお、前景Ｄｅｐｔｈ範囲は、画像ＩＭ３より時間的に前に取得された画像を用いて上述した制御により取得することができ、本例では、クラスタＣＬ３（例えば、６～９ｍ）とする。以下の処理は、制御部３４（例えば、ＡＦ制御部３４Ｄ）が行う。

　図１１のフローチャートにおけるステップＳＴ２１では、設定されたＡＦエリアＡＲ１に主要被写体が存在するか否かが判断される。例えば、図１２に示すように、ＤｅｐｔｈマップＤＭＡ３を使用して、ＡＦエリアＡＲ１内にクラスタＣＬ３が含まれているか否かが判断される。ここで、ＡＦエリアＡＲ１内にクラスタＣＬ３が含まれている場合には、ＡＦエリアＡＲ１内に主要被写体があるものとして処理がステップＳＴ２２に進む。

　ステップＳＴ２２では、ＡＦエリアＡＲ１でＡＦが行われ、ＡＦエリアＡＲ１に対応する領域にピント（焦点）が合うように、レンズの位置が制御される。レンズの位置は、ＡＦ制御部３４Ｄがレンズ駆動機構２２Ａを制御することにより行われる。

　本例では図１２に示すように、ＡＦエリアＡＲ１内にクラスタＣＬ３が含まれていない。すなわち、ステップＳＴ２１における判断が否定判断となるので、処理がステップＳＴ２３に進む。

　ステップＳＴ２３では、ＡＦの探索範囲を広げる処理が行われ、ＡＦエリアを変更する処理が行われる。図１２では、変更後のＡＦエリアであるＡＦエリアＡＲ２が点線により示されている。ＡＦエリアＡＲ２の大きさは適宜、設定することができる。例えば、ＡＦエリアＡＲ２の大きさはＡＦエリアＡＲ１の数個分の大きさである。そして、処理がステップＳＴ２４に進む。

　ステップＳＴ２４では、変更後のＡＦエリアＡＲ２に主要被写体が存在するか否かが判断される。本例では、ＡＦエリアＡＲ２にクラスタＣＬ３が含まれている、すなわち、ＡＦエリアＡＲ２に主要被写体が存在することから、処理がステップＳＴ２５に進む。

　ステップＳＴ２５では、ＡＦエリアＡＲ２でＡＦが行われ、ＡＦエリアＡＲ２に対応する領域にピントが合うように、レンズの位置が制御される。

　ステップＳＴ２４の判断において、変更後のＡＦエリアＡＲ２にクラスタＣＬ３が含まれてない、すなわち、ＡＦエリアＡＲ２に主要被写体が存在しないことから、処理がステップＳＴ２６に進む。

　ステップＳＴ２６では、設定されているＡＦエリアＡＲ１の周囲にも主要被写体が存在しないことから、元々設定されていたＡＦエリアであるＡＦエリアＡＲ１でＡＦが行われ、ＡＦエリアＡＲ１に対応する領域にピントが合うように、レンズの位置が制御される。

　第１の制御例では、ユーザが設定したＡＦエリアに主要被写体がない場合でも、当該ＡＦエリア周辺に主要被写体が存在することが多い点を考慮し、ＡＦエリアの範囲を拡大する。拡大後のＡＦエリアに主要被写体が存在すれば拡大後のＡＦエリアでＡＦを行う。これにより、ユーザが設定したＡＦエリアに主要被写体がない場合に、背景にＡＦが行われてしまうことを防止することができる。

　なお、変更後のＡＦエリアＡＲ２は、ユーザの意図（設定したＡＦエリアがＡＦエリアＡＲ１である意図）を尊重してディスプレイ１５に表示されないことが好ましいが、表示されても良い。表示させる場合には、ＡＦエリアの範囲を拡大したことをユーザに認識させるために一時的に表示させ、その後通常の範囲のＡＦエリアを表示させることができる。また、ＡＦエリアを拡大する際に、複数のステップで徐々にＡＦエリアを拡大していき、各ステップにおいて変更後のＡＦエリア内に主要被写体が存在するか否かが判断されるようにしても良い。

（第２の制御例）
　次に、第２の制御について説明する。例えば、主要被写体を切り替える等の際に、撮像装置１を大きく振る操作がなされたとする。操作終了後のタイミングで、ユーザにより設定されているＡＦエリアＡＲ１には背景のみが存在し、当該背景にピントが合った場合を考える。この後、ユーザが、ＡＦエリアＡＲ１内に主要被写体が含まれるように素早く撮像装置１を移動する。

　ところで、撮像装置では、一度ピントが合った箇所の前を人物等が一時的に横切った場合等を考慮して、１回ＡＦした箇所をロックし、横切った人物等にＡＦしないようにレンズ位置を固定したりレンズ移動の反応性を調整する、いわゆる安定化処理と称される処理が行われることが一般的である。この安定化処理のため、ユーザが、ＡＦエリアＡＲ１内に主要被写体が含まれるように素早く撮像装置１を移動しても主要被写体にＡＦが行われない場合がある。一方で、安定化処理を行わずに常に前側にＡＦしてしまうと、主要被写体の前を横切ったものにＡＦしてしまいＡＦの安定性が損なわれる問題がある。第２の制御例は、前景Ｄｅｐｔｈ範囲情報ＭＤを使用してこれらの問題を回避する制御である。

　図１３及び図１４を参照して、第２の制御例について詳細に説明する。図１３は、第２の制御における処理の流れを示すフローチャートである。図１４Ａは、ある時刻Ｔ５で取得される画像ＩＭ５のＤｅｐｔｈマップＤＭＡ５を示し、図１４Ｂは、時間的に最も後の時刻Ｔ６で取得される画像ＩＭ６のＤｅｐｔｈマップＤＭＡ６を示している。なお、前景Ｄｅｐｔｈ範囲は、画像ＩＭ５、ＩＭ６よりも時間的に前に取得された画像を用いて上述した処理と同様にして取得することができ、本例では、クラスタＣＬ３（例えば、６～９ｍ）とする。以下の処理は、制御部３４（例えば、ＡＦ制御部３４Ｄ）が行う。

　図１３のフローチャートにおけるステップＳＴ３１では、時刻Ｔ５におけるＡＦエリアＡＲ１に背景が存在していると判断される。例えば、図１４Ａに示すように、ユーザにより設定されたＡＦエリアＡＲ１内にはクラスタＣＬ３の領域は含まれないことから、ＡＦエリアＡＲ１には主要被写体が存在せず背景が存在していると判断される。そして、処理がステップＳＴ３２に進む。

　ステップＳＴ３２では、時刻Ｔ５より時間的に後の時刻Ｔ６に撮像装置１を移動させる操作がなされる。そして、時刻Ｔ６において、ＡＦエリアＡＲ１内に主要被写体が存在するか否かが判断される。例えば、図１４Ｂに示すように、ＤｅｐｔｈマップＤＭＡ６において、ＡＦエリアＡＲ１に対応する領域にクラスタＣＬ３が含まれている場合には、ＡＦエリアＡＲ１内に主要被写体が存在すると判断される。そして、処理がステップＳＴ３３に進む。

　ステップＳＴ３３では、安定化処理を無効化する処理が行われ、安定化処理が行われないようにする制御がなされる。そして、ＡＦエリアＡＲ１でＡＦが行われ、主要被写体である人物Ｈ１の顔にピントが合わせられる。これにより、主要被写体ではない背景等にＡＦが行われてしまっている状態から、ＡＦエリアＡＲ１を主要被写体に合わせた状態に遷移した場合に、ＡＦが背景等に抜けてしまった状態からの復帰を高速化することができる。

　ステップＳＴ３２において、ＡＦエリアＡＲ１内に主要被写体が存在しないと判断された場合には、処理がステップＳＴ３４に進む。ステップＳＴ３４では、必要に応じて安定化処理が行われる。撮像装置１の移動操作後、ＡＦエリアＡＲ１に含まれるものがクラスタＣＬ５やＣＬ６に相当する距離の場合は、安定化処理を行う必要はない。一方で、撮像装置１の移動操作後、ユーザの意図がＡＦエリアＡＲ１内に主要被写体を含めたつもりだったとしても、主要被写体の前側に意図しない人物が存在したり通り過ぎる場合もある。但し、撮像装置１により近い箇所に存在する人物は、ＡＦエリアＡＲ１内でクラスタＣＬ１やＣＬ２として検出されるはずである。したがって、このような場合には安定化処理を行うことにより、ＡＦの安定性が損なわれてしまうことを防止することができる。そして、処理がステップＳＴ３１に戻り、上述した処理が繰り返される。

（第３の制御例）
　次に、第３の制御について説明する。第３の制御は、主要被写体の動きに追従している場合には、安定化処理を行う例である。

　図１５は、第３の制御における処理の流れを示すフローチャートである。ステップＳＴ４１では、ユーザにより設定されたＡＦエリアＡＲ１に主要被写体が存在することが検出される。例えば、ＡＦエリアＡＲ１内にはクラスタＣＬ３の領域が含まれている場合に、ＡＦエリアＡＲ１内に主要被写体が存在すると判断される。そして、処理がステップＳＴ４２に進む。

　ステップＳＴ４２では、時間的に最も後に取得された画像におけるＡＦエリアＡＲ１から主要被写体がなくなったか否かが判断される。ＡＦエリアＡＲ１から主要被写体が存在し続ける場合には、処理がステップＳＴ４１に戻る。また、ＡＦエリアＡＲ１から主要被写体がなくなった場合は、処理がステップＳＴ４３に進む。

　ステップＳＴ４３では、主要被写体からフレーミングを外した場合でも、ピントが背景に合ってしまわないように安定化処理が行われる。例えば、制御部３４によりレンズ駆動機構２２Ａが制御され、レンズの位置が固定される。なお、安定化処理が開始された後、例えば数フレームにわたって、ＡＦエリアＡＲ１に主要被写体が存在しない場合には、当該ＡＦエリアＡＲ１に対応する領域にピントを合わせるようにしても良い。

　以上説明したように、第３の制御によれば、ＡＦ操作中に、ＡＦエリアＡＲ１に前景Ｄｅｐｔｈ範囲が存在していたら、換言すれば、主要被写体が存在すれば、ＡＦが主要被写体にあっている状態と判断し、ピント位置が大きく動かなくなるようにロックする。これにより、撮像装置１で主要被写体を追い続けている途中で、ＡＦエリアＡＲ１から主要被写体が一時的に外れてしまった場合でもピントが背景に合わないようにすることができる。

　このように、前景Ｄｅｐｔｈ範囲情報ＭＤを利用して最新フレームにおける主要被写体を検出できるとともに、ＡＦの様々な制御を実現することができる。

＜２．変形例＞
　上述した一実施形態における第１～第３の制御は独立した制御でなく、関連する制御であっても良い。例えば、第１の制御において、拡張されたＡＦエリアＡＲ１内に主要被写体が存在しないと判断された後に、第２の制御が行われるようにしても良い。また、撮像装置１に設定されるモードに応じて、行われる制御が異なるようにしても良い

　上述した一実施形態では、主要被写体検出部３４Ａがフレーム間の差分に基づいて動きを検出し、動きのなる被写体を主要被写体とみなす例について説明したが、これに限定されるものではない。例えば、主要被写体検出部３４Ａは、オプティカルフローにより動きを検出するものであっても良い。また、顔認識や人物認識等の被写体認識を利用したり、被写体追尾を利用したりして、その結果に基づいて、主要被写体を特定しても良い。ユーザにより指定された領域に存在する被写体や、ユーザの指定した特定の色範囲を主要被写体とみなしても良い。主要被写体らしさを学習し、その結果得られるものを主要被写体とみなしても良い。画面上の顕著な領域を抽出する技術であるセイレンシーを用いて主要被写体を特定するようにしても良い。また、これらの方法を組み合わせて主要被写体を特定するようにしても良い。

　上述した一実施形態では、Ｄｅｐｔｈ検出部３４Ｂが、像面位相差ＡＦセンサ１２Ｂ及び専用位相差ＡＦセンサ１３により取得されるセンサ情報を利用して距離情報を得るようにしたが、これに限定されるものではない。例えば、Ｄｅｐｔｈ検出部３４Ｂが、多眼カメラによるステレオ視の結果に基づいて距離情報を取得しても良いし、ライトフィールドカメラを使用して距離情報を取得しても良いし、三角測量センサを利用して距離情報を取得するようにしても良い。また、複数フレームの画像を利用して（動体視差を利用して）距離情報を取得するようにしても良いし、ボケの程度を利用して距離情報を取得するようにしても良い。ボケの程度を利用して距離情報を取得する方法は、ＤＦＤ（Depth from defocus）と称される。

　上述した一実施形態におけるクラスタリングの方法は、ｋ－ｍｅａｎｓ法に限定されるものではなく、公知の方法を適用することができる。

　上述した一実施形態において、最新のフレームにおいて主要被写体が存在する距離の範囲を着色したり、枠で囲む等してユーザにＵＩとして提示しても良い。例えば、ディスプレイ１５を提示部として機能させ、最新のフレームにおいて主要被写体が存在する距離の範囲を他の箇所と区別してディスプレイ１５に表示しても良い。ディスプレイ１５は、撮像装置１と別体とされていても良い。

　上述した第１～第３の制御における処理の順序が変更されても良いし、並列的に行われても良い。例えば、図９に示す処理の流れにおいて、ステップＳＴ１１、ＳＴ１２の処理が並列的に行われても良い。

　上述した一実施形態では、安定化処理の一例としてレンズの位置を固定する処理を説明したが、ピントが大きくずれない範囲でレンズの多少の動きがあってもよい。レンズの位置を固定するとは、レンズ位置の動きが０の他、ピントが大きくずれない範囲での多少の動きを許容する意味である。また、安定化処理に対する感度を設定できるようにしても良い。例えば、設定された感度に応じて、レンズの位置が固定または所定の範囲で可変とされても良い。

　上述した実施形態における撮像装置は、顕微鏡等の医療用の機器やスマートフォン、コンピュータ装置、ゲーム機器、ロボット、防犯カメラ、移動体（車両、電車、飛行機、ヘリコプター、小型飛行体、工事用車両、農業用車両等）に組み込まれていても良い。

　本開示は、制御部３４を有する制御装置（例えば、１チップのマイクロコンピュータ）により実現することも可能であるし、複数の装置からなる撮像システムとして実現することも可能である他、方法、プログラム等により実現することもできる。例えば、一実施形態で説明した制御を行うプログラムをダウンロード可能とし、一実施形態で説明した制御機能を有しない撮像装置（例えば、スマートフォンに備えられる撮像装置）が当該プログラムをダウンロードしてインストールすることにより、当該撮像装置において一実施形態で説明した制御を行うことが可能となる。

　＜３．応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。本開示の測距結果を、例えば、センシングにおける注目領域の設定・維持、危険運転等の自動運転アシストなどに利用することができる。

　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図１７は、撮像部１２０３１の設置位置の例を示す図である。

　図１７では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図２の撮像装置１を、撮像部１２０３１に適用することができる。例えば、自動車に本開示に係る技術を適用することにより、車外の障害物までの距離を適切に検出できるので、自動運転制御システムや自動ブレーキシステムが適切に動作し、安全で快適な運転を可能にする。なお、測距結果を、例えば、センシングにおける注目領域の設定・維持、危険運転等の自動運転アシストなどに利用した場合は、制御部３４により実行される制御は測距結果に応じたレンズ制御に限定されるものではない。

　本開示は、以下の構成も採ることができる。
（１）
　第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、
　前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、
　前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部と
　を有する制御装置。
（２）
　前記距離情報算出部は、前記第１画像よりも時間的に後に取得される第２画像に含まれる被写体の距離を検出し、当該距離を示す第２距離情報を取得し、
　前記主要被写体距離情報及び前記第２距離情報に基づいて、前記第２画像に含まれる前記被写体のうちの第２主要被写体を検出する制御部を有する
　（１）に記載の制御装置。
（３）
　前記制御部は、前記第２主要被写体の検出結果に基づいてレンズの移動を制御する
　（２）に記載の制御装置。
（４）
　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第２主要被写体が存在する場合には、前記第１領域に焦点が合うようにレンズの移動を制御し、前記第１領域に前記第２主要被写体が存在しない場合には、前記第１領域を拡大した第２領域を設定する制御を行う
　（２）または（３）に記載の制御装置。
（５）
　前記制御部は、前記第２領域に前記第２主要被写体が存在する場合には、前記第２領域に焦点が合うように前記レンズの移動を制御し、前記第２領域に前記第２主要被写体が存在しない場合には、前記第１領域に焦点が合うように前記レンズの移動を制御する
　（４）に記載の制御装置。
（６）
　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在せず、前記第１領域に前記第２主要被写体が存在する場合には、安定化処理を無効にする制御を行う
　（２）または（３）に記載の制御装置。
（７）
　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在し、前記第１領域に前記第２主要被写体が存在しない場合には、安定化処理を有効にする制御を行う
　（２）または（３）に記載の制御装置。
（８）
　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が所定の閾値以上のクラスタを示す情報を前記主要被写体距離情報として取得する
　（１）～（７）の何れかに記載の制御装置。
（９）
　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が最も大きいクラスタを示す情報を前記主要被写体距離情報として取得する
　（１）～（７）の何れかに記載の制御装置。
（１０）
　前記距離は、所定の距離範囲を示す
　（１）～（９）の何れかに記載の制御装置。
（１１）
　前記第１領域は、表示部に表示され、選択可能な複数のオートフォーカス領域のうち、ユーザにより選択された１個の領域である
　（４）、（５）、（９）の何れかに記載の制御装置。
（１２）
　前記第２領域は、前記表示部に表示されない領域である
　（４）、（７）、（８）、（９）の何れかに記載の制御装置。
（１３）
　前記第２領域は、前記表示部に一時的に表示される領域である
　（４）、（７）、（８）、（９）の何れかに記載の制御装置。
（１４）
　前記安定化処理は、レンズの位置を固定する処理である
　（４）、（７）、（８）、（９）に記載の制御装置。
（１５）
　前記第２画像は、時間的に最も後に取得された画像である
　（２）～（１４）の何れかに記載の制御装置。
（１６）
　（１）～（１５）の何れかに記載の制御装置と、
　撮像部と
　を有する撮像装置。
（１７）
　前記第２主要被写体の範囲を提示する提示部を有する
　（１６）に記載の撮像装置。
（１８）
　レンズ駆動部を有し、
　前記制御装置により前記レンズ駆動部が制御されることにより、レンズの移動が制御される
　（１６）に記載の撮像装置。
（１９）
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
　制御方法。
（２０）
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
制御方法をコンピュータに実行させるプログラム。

１・・・撮像装置、１５・・・ディスプレイ、３４・・・制御部、３４Ａ・・・主要被写体検出部、３４Ｂ・・・Ｄｅｐｔｈ検出部、３４Ｃ・・・前景Ｄｅｐｔｈ範囲検出部、３４Ｄ・・・ＡＦ制御部、ＩＭ１・・・第１画像、ＩＭ２・・・第２画像、ＭＡ１・・・主要被写体マップ、ＤＭＡ１・・・Ｄｅｐｔｈマップ、ＭＤ・・・前景Ｄｅｐｔｈ範囲情報、ＣＬ・・・クラスタ、ＡＲ・・・ＡＦエリア

Claims (20)

1. 　第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、
   　前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、
   　前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部と
   　を有する制御装置。
2. 　前記距離情報算出部は、前記第１画像よりも時間的に後に取得される第２画像に含まれる被写体の距離を検出し、当該距離を示す第２距離情報を取得し、
   　前記主要被写体距離情報及び前記第２距離情報に基づいて、前記第２画像に含まれる前記被写体のうちの第２主要被写体を検出する制御部を有する
   　請求項１に記載の制御装置。
3. 　前記制御部は、前記第２主要被写体の検出結果に基づいてレンズの移動を制御する
   　請求項２に記載の制御装置。
4. 　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第２主要被写体が存在する場合には、前記第１領域に焦点が合うようにレンズの移動を制御し、前記第１領域に前記第２主要被写体が存在しない場合には、前記第１領域を拡大した第２領域を設定する制御を行う
   　請求項２に記載の制御装置。
5. 　前記制御部は、前記第２領域に前記第２主要被写体が存在する場合には、前記第２領域に焦点が合うように前記レンズの移動を制御し、前記第２領域に前記第２主要被写体が存在しない場合には、前記第１領域に焦点が合うように前記レンズの移動を制御する
   　請求項４に記載の制御装置。
6. 　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在せず、前記第１領域に前記第２主要被写体が存在する場合には、安定化処理を無効にする制御を行う
   　請求項２に記載の制御装置。
7. 　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在し、前記第１領域に前記第２主要被写体が存在しない場合には、安定化処理を有効にする制御を行う
   　請求項２に記載の制御装置。
8. 　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が所定の閾値以上のクラスタを示す情報を前記主要被写体距離情報として取得する
   　請求項１に記載の制御装置。
9. 　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が最も大きいクラスタを示す情報を前記主要被写体距離情報として取得する
   　請求項１に記載の制御装置。
10. 　前記距離は、所定の距離範囲を示す
    　請求項１に記載の制御装置。
11. 　前記第１領域は、表示部に表示され、選択可能な複数のオートフォーカス領域のうち、ユーザにより選択された１個の領域である
    　請求項４に記載の制御装置。
12. 　前記第２領域は、前記表示部に表示されない領域である
    　請求項１１に記載の制御装置。
13. 　前記第２領域は、前記表示部に一時的に表示される領域である
    　請求項１１に記載の制御装置。
14. 　前記安定化処理は、レンズの位置を固定する処理である
    　請求項６に記載の制御装置。
15. 　前記第２画像は、時間的に最も後に取得された画像である
    　請求項２に記載の制御装置。
16. 　請求項１に記載の制御装置と、
    　撮像部と
    　を有する撮像装置。
17. 　前記第２主要被写体の範囲を提示する提示部を有する
    　請求項１６に記載の撮像装置。
18. 　レンズ駆動部を有し、
    　前記制御装置により前記レンズ駆動部が制御されることにより、レンズの移動が制御される
    　請求項１６に記載の撮像装置。
19. 　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
    　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
    　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
    　制御方法。
20. 　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
    　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
    　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
    制御方法をコンピュータに実行させるプログラム。

Images