JP7435592B2 - 画像処理装置、画像処理方法、プログラム、撮像装置 - Google Patents

Description

本技術は画像処理装置、画像処理方法、プログラム、撮像装置に関し、特に被写体の撮像についての技術に関する。

撮像画像上の或る任意の点位置に対して、フォーカスレンズを自動的に合焦させるオートフォーカスに関する技術や、撮像面の光量を最適値に自動制御するＦ値制御に関する技術がある。
下記引用文献１には、或る任意の点位置に対して、マニュアル操作によりフォーカスレンズを合焦させる際に、当該点位置におけるデフォーカス量に関する情報を表示する撮像装置が記載されている。

特開２０１６－１９７２３１号公報

しかしながら、或る任意の点位置についてフォーカスレンズを合焦させる場合は、点位置のデフォーカス量のみを確認してフォーカス制御を行えばよいが、例えば撮像の表現技法として当該点位置をあえてぼかそうとする場合には、撮像画像の各位置のデフォーカス量と点位置のデフォーカス量との関係が把握できないため、撮像者の意図を反映させたフォーカス制御が円滑に行えないことがあった。
そこで本技術では、撮像画像の或る任意の領域におけるデフォーカス量の分布を表示させることを目的とする。

本技術に係る画像処理装置は、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置にそれぞれの位置におけるデフォーカス量を示す色を付すことにより撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、を備え、出力する外部の出力機器に応じて、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力、又はデフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力が行われる。
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。

上記した本技術に係る画像処理装置においては、前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する。
これにより、撮像素子部における像面位相差画素により検出された位相差情報を用いてデフォーカス量が算出される

上記した本技術に係る画像処理装置においては、前記マップデータ生成部は、撮像画像内で設定された対象領域内の複数位置のデフォーカスマップデータを生成し、前記表示制御部は、前記対象領域についてのデフォーカスマップ画像を生成することが考えられる。
これにより、撮像画像の対象領域内における複数位置のデフォーカス量の分布がデフォーカスマップ画像として表示される。

上記した本技術に係る画像処理装置においては、前記マップデータ生成部は、算出したデフォーカス量に基づいて前記撮像素子部による撮像画像の複数位置における被写体距離を算出し、前記算出した前記被写体距離を示すデプスマップデータを生成し、前記表示制御部は、前記マップデータ生成部が生成したデプスマップデータを用いて、撮像画像における前記被写体距離の分布を示すデプスマップ画像を生成し、表示制御を行うことが考えられる。
これにより、撮像画像における被写体距離の分布がデプスマップ画像として表示される。また、デプスマップ画像とデフォーカスマップ画像が切り換え可能に表示される。

上記した本技術に係る画像処理装置においては、前記表示制御部は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成することが考えられる。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。

上記した本技術に係る画像処理装置においては、前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成することが考えられる。
これにより、デフォーカスマップ画像における各デフォーカス量表示アイコンの表示態様から、各デフォーカス量表示アイコンに対応する位置のデフォーカス量の分布が表示される。

上記した本技術に係る画像処理装置においては、前記デフォーカス量表示アイコンは円環状に形成され、デフォーカス量に応じて前記デフォーカス量表示アイコンの径を変化させることが考えられる。
これにより、デフォーカス量に応じて径の異なる円環状のデフォーカス量表示アイコンが表示される。

上記した本技術に係る画像処理装置においては、前記表示制御部は、オートフォーカスモードによるフォーカス制御動作により合焦状態とされたことに応じてデフォーカスマップ画像を表示させる制御を行うことが考えられる。
これにより、合焦位置及び合焦位置以外の領域におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。

上記した本技術に係る画像処理装置においては、前記表示制御部は、マニュアルフォーカスモードによるユーザからのフォーカス調整操作又は絞り調整操作の検知に応じてデフォーカスマップ画像を表示させる制御を行うことが考えられる。
これにより、撮像画像におけるデフォーカス量の分布を示すデフォーカスマップ画像を表示させた状態でユーザからのフォーカス調整操作又は絞り調整操作が行われる。

上記した本技術に係る画像処理装置においては、前記表示制御部は、撮像画像の録画が開始されることに応じてデフォーカスマップ画像を表示させる制御を行うことが考えられる。
これにより、撮像画像（撮像動画）の録画中における撮像画像のデフォーカス量の分布の変化がデフォーカスマップ画像により表示される。

上記した本技術に係る画像処理装置においては、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力と、デフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力と、が行われることが考えられる。
これにより、第１の画像出力を受信した出力機器にはデフォーカスマップ画像が表示されず、第２の画像出力を受信した出力機器にはデフォーカスマップ画像が表示される。
ここでいう出力機器とは、画像処理装置を内蔵する機器であり、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮像装置である。また、出力機器は、画像処理装置を内蔵する機器から出力された画像信号に基づいて画像を表示する表示機器であってもよい。

上記した本技術に係る画像処理装置においては、前記表示制御部は、デフォーカスマップ画像の表示制御を開始してから所定時間が経過すると、デフォーカスマップ画像の表示制御を終了することが考えられる。
これにより、ユーザ操作によりデフォーカスマップ画像の表示制御を終了させることなしに、デフォーカスマップ画像の表示制御が終了する。

上記した本技術に係る画像処理装置においては、ユーザ操作により指定された撮像画像内の領域を前記対象領域として設定する対象領域設定部を有することが考えられる。
これにより、ユーザ操作により指定された撮像画像内の領域にデフォーカスマップ画像が表示される。

上記した本技術に係る画像処理装置においては、撮像画像内容に応じて前記対象領域を設定する対象領域設定部を有することが考えられる。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。

上記した本技術に係る画像処理装置においては、前記対象領域設定部は撮像画像内で検出された顔領域を前記対象領域として設定することが考えられる。
これにより、撮像画像内の顔領域にデフォーカスマップ画像が表示される。

上記した本技術に係る画像処理装置においては、前記対象領域設定部は撮像画像内で検出された瞳領域を前記対象領域として設定することが考えられる。
これにより、撮像画像内の瞳領域にデフォーカスマップ画像が表示される。

上記した本技術に係る画像処理装置においては、前記マップデータ生成部が生成したデフォーカスマップデータを、撮像画像に対する付加情報として記録する記録制御部を備えることが考えられる。
これにより、撮像画像内の各位置におけるデフォーカス量情報が、撮像画像のメタデータとして記録される。

本技術に係る撮像装置は、上記のマップデータ生成部と、表示制御部とを少なくとも備える。
本技術に係る画像処理方法は、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成する手順と、前記生成したデフォーカスマップデータを用いて、撮像画像の各位置にそれぞれの位置におけるデフォーカス量を示す色を付すことにより撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う手順と、出力する外部の出力機器に応じて、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力、又はデフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力を行わせる手順と、を含むものである。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。

本技術の実施の形態で用いられる機器の説明図である。 実施の形態で用いられる機器の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像素子部の説明図である。 実施の形態のコンピュータ装置のブロック図である。 実施の形態の画像処理装置としての機能構成の説明図である。 実施の形態のデフォーカスマップデータの説明図である。 実施の形態のデプスマップデータの説明図である。 実施の形態の撮像画像の表示例の説明図である。 実施の形態のデフォーカスマップ画像の表示例の説明図である。 実施の形態のデプスマップ画像の表示例の説明図である。 実施の形態の顔領域における撮像動作制御例の説明図である。 実施の形態の瞳領域における撮像動作制御例の説明図である。 実施の形態のデフォーカス量表示アイコンの表示例の説明図である。 実施の形態のデフォーカス量表示アイコンの撮像動作制御例の説明図である。 実施の形態のデフォーカス量表示アイコンの撮像動作制御例の説明図である。 実施の形態のデフォーカス量表示アイコンの撮像動作制御例の説明図である。 第１の実施の形態の処理例のフローチャートである。 第１の実施の形態の処理例のフローチャートである。 第２の実施の形態の処理例のフローチャートである。 第２の実施の形態の処理例のフローチャートである。 第３の実施の形態の処理例のフローチャートである。 第３の実施の形態の処理例のフローチャートである。 第４の実施の形態の処理例のフローチャートである。 第４の実施の形態の処理例のフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．撮像装置の構成＞
＜３．マップ画像の表示態様及び撮像動作制御＞
＜４．画像処理装置が実行する処理＞
＜５．まとめ及び変形例＞
なお、以下の説明において、同様の内容については同一符号を付し、説明を省略するものとする。

また、使用する各用語の意味は以下の通りである。
デフォーカスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置のデフォーカス量を示すものである。デフォーカス量とは、撮像画像内の或る位置におけるデフォーカス（ボケ）の状態を定量的に示したもので、例えばデフォーカスサークルの直径に相当する。
デプスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置の被写体距離を示すものである。被写体距離とは、撮像画像内の或る位置からフォーカスレンズまでの距離を示したものである。
デフォーカスマップデータ画像とは、デフォーカスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域におけるデフォーカス量の分布を示す画像である。
デプスマップデータ画像とは、デプスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域における被写体距離の分布を示す画像である。
以下の説明では、デフォーカスマップデータとデプスマップデータをまとめてマップデータと、デフォーカスマップ画像とデプスマップ画像をまとめてマップ画像とも表記する。

＜１．画像処理装置として適用できる機器の構成＞
以下では、主に撮像装置により本開示に係る画像処理装置が実現される例を説明するが、画像処理装置は、各種の機器において実現できる。

本開示の技術を適用できる機器について説明する。図１は、画像処理装置となりうる機器の例を示している。
画像処理装置となりうる機器としては、デジタルスチルカメラ１Ａやデジタルビデオカメラ１Ｂなどの撮像装置１、スマートフォンなどの携帯端末２が想定される。

例えば撮像装置１では、当該撮像装置１の内部のマイクロコンピュータ等が画像処理を行う。つまり撮像装置１が撮像によって生成した画像ファイルに対して画像処理を行うことで、画像処理結果に基づく画像出力及び撮像動作制御を行うことができる。出力された画像データにより撮像装置１に撮像画像が表示される。

携帯端末２も撮像機能を備えることで、撮像によって生成した画像ファイルについて上記の画像処理を行うことで、画像処理結果に基づく画像出力及び撮像動作制御を行うことができる。出力された画像データにより携帯端末２に撮像画像が表示される。
なお、撮像装置１や携帯端末２に限らず、画像処理装置となりうる機器は他にも各種考えられる。

図２は、画像ソースになり得る機器と、画像ソースから画像ファイルを取得する画像処理装置となり得る機器との例を示している。
画像ソースとなり得る機器としては、撮像装置１、携帯端末２などが想定される。画像処理装置となる得る機器としては、携帯端末２やパーソナルコンピュータ３などが想定される。

画像ソースとしての撮像装置１や携帯端末２は、動画撮像によって得られた画像ファイルを有線通信や無線通信を介して画像処理装置としての携帯端末２やパーソナルコンピュータ３に転送する。

画像処理装置としての携帯端末２やパーソナルコンピュータ３は、上記の画像ソースから取得した画像ファイルに対する上記の画像処理が可能とされている。
なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置として機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースとなることもある。

上記の画像処理結果に基づく画像出力により、画像処理装置としての携帯端末２やパーソナルコンピュータ３に撮像画像が表示される。
なお、画像処理装置としての携帯端末２やパーソナルコンピュータ３は、上記の画像処理結果によって得られた画像ファイルを有線通信や無線通信を介して画像ソースとしての撮像装置１や携帯端末２に転送し、当該撮像装置１や携帯端末２に撮像画像を表示することもできる。

以上のように実施の形態の画像処理装置として機能する装置及び画像ソースは多様であるが、以下では、撮像装置１が画像処理装置として実現される例について説明する。

＜２．撮像装置の構成＞
画像処理装置としての撮像装置１の構成例を図３を参照して説明する。
なお、図２で説明したように、撮像装置１で撮像した画像ファイルを有線通信や無線通信を介して画像処理装置としての携帯端末２やパーソナルコンピュータ３に転送し、当該転送した携帯端末２やパーソナルコンピュータ３で画像処理を行ってもよい。

図３に示すように撮像装置１は、レンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２０、センサ部２１、位相差検出部２２を有する。

レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。

ドライバ部２０には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構駆動モータに対するモータドライバ等が設けられている。
ドライバ部２０は、カメラ制御部１８やカメラ信号処理部１３からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させる。

絞り機構は絞り機構駆動モータによって駆動され、後述する撮像素子部１２への入射光量を制御する。フォーカスレンズはフォーカスレンズ駆動モータによって駆動され、焦点調節に用いられる。ズームレンズはズームレンズ駆動モータによって駆動され、ズームの調節に用いられる。

撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。イメージセンサ１２ａは、被写体の画像を撮像するための撮像画素と、被写体の光像の位相差を検出するための像面位相差画素とから構成される。

撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。撮像素子部１２は、デジタルデータとしての撮像信号を、カメラ信号処理部１３やカメラ制御部１８に出力する。

位相差検出部２２は、デフォーカス量を算出するために用いられる位相差情報を検出する。位相差検出部２２は、例えば撮像素子部１２における像面位相差画素である。
像面位相差画素（位相差検出部２２）は一対の位相差信号を検出し、撮像素子部１２は、像面位相差画素により検出した一対の位相差信号を出力する。当該位相差信号はデフォーカス量を算出するための相関演算に用いられる。
撮像素子部１２は、位相差信号をカメラ信号処理部１３やカメラ制御部１８に出力する。

図４は、本技術におけるイメージセンサ１２ａ（撮像素子）の画素配列の一例を示している。
図４では、イメージセンサ１２ａ（撮像素子）の画素配列の一例として、撮像素子１００Ａ、１００Ｂの画素配列の一部がそれぞれ示されている。

撮像素子１００Ａは、撮像画素と像面位相差画素の機能を一画素として形成する例である。
撮像素子１００Ａの撮像面には、２列×２行の画素からなる複数の画素群１０１が設けられている。画素群１０１はそれぞれベイヤー配列のカラーフィルタにより覆われており、各画素群１０１において、Ｒの分光感度を有する画素１０１Ｒが左下の位置に、Ｇの分光感度を有する画素１０１Ｇが左上と右下の位置に、Ｂの分光感度を有する画素１０１Ｂが右上の位置に配置されている。

撮像素子１００Ａは、位相差信号の検出を行うために、各画素は、１つのマイクロレンズ１０４に対し、複数のフォトダイオード（光電変換部）を保持している。各画素は、２列×１行に配列された２つのフォトダイオード１０２、１０３を有している。

撮像素子１００Ａは、２列×２行の画素（４列×２行のフォトダイオード）からなる画素群１０１を撮像面上に多数配置することで、撮像信号及び位相差信号の取得を可能としている。
各画素では、光束がマイクロレンズ１０４により分離され、フォトダイオード１０２、１０３に結像される。そして、フォトダイオード１０２、１０３からの信号により撮像信号及び位相差信号が読み出される。

また撮像素子は、全ての画素が複数のフォトダイオードを有する上記構成に限られず、撮像素子１００Ｂに示すように、画素内にＲ，Ｇ，Ｂの各撮像用画素とは別に像面位相差画素を離散的に設けてもよい。

撮像素子１００Ｂの撮像面には、被写体の画像を撮像するための２列×２行の撮像画素からなる撮像画素群１０５と、被写体の光像の位相差を検出するための一対の像面位相差画素１０６とが設けられている。一対の像面位相差画素１０６は、撮像面において複数の撮像画素の間に離散的に配置されている。

一対の位相差検出画素１０６には、例えば撮像レンズの瞳領域を左右の２つの分割領域に分割した場合に、左の分割領域から入射する光束を受光する位相差検出画素１０６ａと、右の分割領域から入射する光束を受光する位相差検出画素１０６ｂとが設けられている。位相差検出画素１０６ａと位相差検出画素１０６ｂから得られる分割領域ごとの被写体の画像の位相差信号を読み出すことができる。
位相差検出画素１０６が設けられていない領域については、カメラ信号処理部１３が機械学習等の画像処理による超解像処理を実行することで、各位置についての位相差を補完する。

撮像画素群１０５はそれぞれベイヤー配列のカラーフィルタにより覆われており、撮像画素群１０５が受光した光を光電変換して得た電気信号から撮像信号を読み出すことができる。

以上により、像面位相差画素は、Ｒ，Ｇ，Ｂの撮像画素と一体に形成される、又は周辺に配置されるため、読み出した位相差信号からデフォーカス量を数μｍ画素単位で精密に算出することができる。

なお、位相差検出部２２は、撮像素子部１２とは別に設けられた位相差センサであってもよい。例えば、撮像装置１のレンズ系１１から導かれた光線が、撮像素子部１２へ向かう透過光と位相差センサに向かう反射光とにトランスルーセントミラーを透過することで分割され、当該分割された反射光を位相差センサが受光することで位相差情報が検出されるような構成が想定される。

図３に戻り、カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。カメラ信号処理部１３には画像処理装置３０が設けられており、後述する処理を実行する。

カメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、各種補正処理、解像度変換処理、コーデック処理等を行う。

前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。

カメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルに付加するメタデータの生成も行う。
また図３では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルには動画としての画像データとともに音声データも含まれるようにしてもよい。

記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像、生成されたデフォーカスマップデータ等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。

表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば、カメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う。これによりスタンバイ中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、レンズ情報の取得、ユーザの操作に応じた撮像動作や記録動作、動画記録の開始／終了制御、記録した画像ファイルの再生動作、オートフォーカス（ＡＦ）制御とマニュアルフォーカス（ＭＦ）制御の切り換え、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

センサ部２１は、撮像装置１に搭載される各種のセンサを包括的に示している。センサ部２１としては、例えば位置情報センサ、照度センサ、加速度センサ等が搭載されている。
以上の撮像装置１は、撮像によって生成した画像ファイルに対して画像処理を行う。

また、携帯端末２、パーソナルコンピュータ３が画像処理を行う場合には、例えば図５に示す構成を備えたコンピュータ装置４０として実現できる。

図５において、コンピュータ装置４０のＣＰＵ（Central Processing Unit）４１は、ＲＯＭ( Read Only Memory)４２に記憶されているプログラム、または記憶部４８からＲＡＭ( Random Access Memory )４３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ４３にはまた、ＣＰＵ４１が各種の処理を実行する上において必要なデータなども適宜記憶される。ＣＰＵ４１には、画像処理装置３０が設けられている。

ＣＰＵ４１、ＲＯＭ４２、及びＲＡＭ４３は、バス４４を介して相互に接続されている。このバス４４には、入出力インタフェース４５も接続されている。
入出力インタフェース４５には、キーボード、マウス、タッチパネルなどよりなる入力装置４６、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力装置４７、ＨＤＤ（Hard Disk Drive）が接続されている。

例えば出力装置４７は、ＣＰＵ４１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また出力装置４７はＣＰＵ４１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース４５には、ハードディスクや固体メモリなどより構成される記憶部４８や、モデムなどより構成される通信部４９が接続される場合もある。
通信部４９は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。

入出力インタフェース４５にはまた、必要に応じてドライブ５０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体５１が適宜装着される。

ドライブ５０により、リムーバブル記録媒体５１からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部４８に記憶されたり、データファイルに含まれる画像や音声が出力装置４７で出力されたりする。またリムーバブル記録媒体５１から読み出されたコンピュータプログラム等は必要に応じて記憶部４８にインストールされる。

このコンピュータ装置４０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部４９によるネットワーク通信やリムーバブル記録媒体５１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ４２や記憶部４８等に記憶されていてもよい。

なお、コンピュータ装置４０は、図５のように単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としてのコンピュータ装置が含まれてもよい。

画像処理装置３０の機能構成について、図６を参照して説明する。
例えば以下のソフトウエア（アプリケーションプログラム）によって、図６のような機能構成が画像処理装置３０において構築される。
即ち、画像処理装置３０は、マップデータ生成部３１、表示制御部３２、対象領域設定部３３、動作制御部３４、記録制御部３５としての機能を備える。

マップデータ生成部３１は、撮像素子部１２における像面位相差画素により検出した位相差信号（位相差情報）から算出される、撮像素子部１２による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成する。
例えば図７のように、マップデータ生成部３１は、撮像画像の水平方向をＸ軸、垂直方向をＹ軸とすると、撮像画像におけるＸ軸座標（Ｘ１，Ｘ２，Ｘ３・・・）とＹ軸座標（Ｙ１，Ｙ２，Ｙ３・・・）により特定される位置のデフォーカス量の値（ＤＦ１，ＤＦ２，ＤＦ３・・・）をデフォーカスマップデータとして生成する。

またマップデータ生成部３１は、生成したデフォーカスマップデータとレンズ情報に基づいて撮像素子部１２による撮像画像の複数位置における被写体距離を算出し、算出した被写体距離を示すデプスマップデータを生成することができる。
例えば図８のように、マップデータ生成部３１は、撮像画像におけるＸ軸座標（Ｘ１，Ｘ２，Ｘ３・・・）とＹ軸座標（Ｙ１，Ｙ２，Ｙ３・・・）により特定される位置の被写体距離の値（ＤＰ１，ＤＰ２，ＤＰ３・・・）をデプスマップデータとして生成する。

表示制御部３２は、マップデータ生成部３１が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う。
表示制御部３２は、例えば、撮像画像にデフォーカスマップ画像を重畳させることで、デフォーカスマップ画像が撮像装置１の表示部１５に表示される。
表示制御部３２は、所定のタイミングに応じて通常の撮像画像についてデフォーカスマップ画像を重畳表示するか否かを切り換える。
なお、表示制御部３２は、デフォーカスマップ画像をαブレンディング（α値を掛け合わせることで半透明な画像を重ねる処理）により表示させてもよいし、デフォーカスマップ画像を単独で出力することにより表示させてもよい。

表示制御部３２は、マップデータ生成部３１が生成したデプスマップデータを用いて、撮像画像における被写体距離の分布を示すデプスマップ画像を生成し、表示制御を行う。
表示制御部３２は、所定のタイミングに応じて通常の撮像画像についてデプスマップ画像を重畳表示するか否かを切り換える。

表示制御部３２は、マップ画像を様々なタイミングで表示を開始させ、又は終了させる。例えば表示制御部３２は、ユーザ操作に応じてマップ画像の表示を開始させ、又は終了させる。
また表示制御部３２は、例えば、オートフォーカスモードによるフォーカス制御動作の開始時、オートフォーカスモードでのフォーカス制御動作による合焦時、マニュアルフォーカスモードでのユーザからのフォーカス調整操作又は絞り調整操作の検知時、撮像画像の録画開始時等、他にも様々なタイミングでマップ画像を表示させることができる。
また、表示制御部３２は、マップ画像の表示から所定の時間経過後等にマップ画像の表示制御を終了する。
表示制御部３２は、デフォーカスマップ画像とデプスマップ画像を互いに切り替える表示制御を行うことも可能である。

対象領域設定部３３は、撮像画像内の対象領域を設定する。対象領域とは、撮像画像の全部又は一部の領域である。
対象領域設定部３３は、例えば撮像画像内容に応じて対象領域を設定する。
撮像画像内容は、例えば撮像装置１において設定されたモードである。例えば顔検出モードに設定されている場合、対象領域設定部３３は画像解析処理により顔領域を検出し、当該検出した顔領域を対象領域として設定する。また瞳検出モードに設定されている場合、対象領域設定部３３は画像解析処理により瞳領域を検出し、当該検出した瞳領域を対象領域として設定する。
また対象領域設定部３３は、例えばユーザ操作により指定された撮像画像内の領域を対象領域として設定することができる。

対象領域設定部３３により撮像画像内で対象領域が設定されている場合、マップデータ生成部３１は、対象領域内のデフォーカスマップデータやデプスマップデータを生成することができる。

動作制御部３４は、マップデータ生成部３１が生成したデフォーカスマップデータを用いて例えば対象領域における撮像動作制御を行う。動作制御部３４は、例えばレンズ系１１のフォーカスレンズや絞り機構の動作制御を行う。動作制御部３４は、フォーカスレンズの動作を制御することでフォーカス制御を行い、絞り機構の動作を制御することで被写界深度に変化を生じさせる制御を行う。
なお、動作制御部３４は撮像動作制御にあたり、デフォーカスマップデータを用いずに取得した位相差信号に基づいて撮像動作制御を行うこととしてもよい。

記録制御部３５は、マップデータ生成部３１が生成したデフォーカスマップデータやデプスマップデータを、撮像画像のフレームデータに対する付加情報として記録させる。

なお、図３では画像処理装置３０が撮像装置１のカメラ信号処理部１３に内蔵されている例について説明しているが、画像処理装置３０は、カメラ制御部１８に内蔵されていてもよいし、図５に示すコンピュータ装置４０のＣＰＵ４１に内蔵されていてもよい。
また、画像処理装置３０の各機能は複数の画像処理装置３０により実現されてもよい。例えば、カメラ信号処理部１３に内蔵された画像処理装置３０がマップデータ生成部３１、対象領域設定部３３、記録制御部３５の機能を有し、カメラ制御部１８に内蔵された画像処理装置３０が表示制御部３２、動作制御部３４の機能を有することとしてもよい。

以上の図６の機能を備えた画像処理装置３０を有する撮像装置１により、本技術を実現するための処理が行われる。

＜３．マップ画像の表示態様及び撮像動作制御＞
本技術におけるマップ画像の表示態様及び撮像動作制御の一例について、図９から図１７を参照して説明する。
図９から図１１は、撮像画像全体が対象領域として設定されたマップ画像の表示態様の例である。

図９は、撮像装置１において撮像された撮像画像の表示例を示している。図９では、撮像画像６０にマップ画像が重畳表示されていない状態である。撮像画像６０はライブビュー画像として撮像装置１の表示部１５に表示される。表示部１５は例えば液晶モニタやビューファインダー等である。

図１０は、撮像画像にデフォーカス量の情報を付加したデフォーカスマップ画像の表示例を示している。図１０では、撮像装置１の表示部１５には、デフォーカスマップ画像６１とデフォーカスメーター６２が表示される。
デフォーカスマップ画像６１は撮像画像６０に重畳表示されており、例えば、撮像画像の各位置のデフォーカス量に応じて色分けを行い、ヒートマップのように表示させる。これにより、撮像画像全体の各位置のデフォーカス量を視覚的に認識することができる。なお、図１０では、色分けを模式的に点描で表し、点描の密度の差を色の差として示している。デフォーカスマップ画像６１は、デフォーカスマップデータを用いて画像処理装置３０により生成される。

デフォーカスメーター６２は、デフォーカスマップ画像６１の色に対応するデフォーカス量の値を示している。これにより、デフォーカスマップ画像６１に表示された色がデフォーカス量としてどのくらいであるかを視覚的に容易に認識することができる。

このように、デフォーカスマップ画像６１が表示されることにより、撮像画像６０の各位置のデフォーカス量の分布が色の変化により視覚的に容易に認識できる。
例えば図１０では、被写体６３は合焦状態となっており、被写体６３の前方に位置する被写体６４は合焦度の低下により前ボケ状態になっており、被写体６３の後方に位置する被写体６５は合焦度の低下により後ボケ状態になっていることが視覚的に確認できる。

また図１０では、撮像画像６０における被写体６３、被写体６４、被写体６５を含む背景といった、画像全体での定量的な合焦度合い（前後ボケ量によるボケ具合）を視覚的に認識することができる。これにより、例えばユーザがマニュアルフォーカス操作を行う際に、撮像画像全体の合焦度合いを考慮したピント合わせを行うことが可能となる。

図１１は、撮像画像のデプスマップ画像の表示例を示している。図１１では、撮像装置１の表示部１５には、デプスマップ画像６６とデプスメーター６７が表示される。
デプスマップ画像６６は撮像画像６０に重畳表示されており、撮像画像６０の各位置の被写体距離に応じて色分けされている。なお、図１１では、被写体距離の違いを模式的に点描で表し、点描の密度の差を被写体距離の違いとして示している。デプスマップ画像６６は、デプスマップデータを用いて画像処理装置３０により生成される。

デプスメーター６７は、デプスマップ画像６６の色に対応する被写体距離の値を示している。これにより、デプスマップ画像６６に表示された色に対応する被写体距離を視覚的に容易に認識することができる。

このように、デフォーカスマップ画像６１が表示されることにより、撮像画像６０の各位置の被写体距離が色の変化により視覚的に容易に認識できる。
例えば図１１では、被写体６３よりも被写体６５が後方に位置し、被写体６３よりも被写体６４が前方に位置することが視覚的に認識できる。これにより、例えば撮像画像全体における各被写体の被写体距離を考慮した被写界深度の調整が可能となる。

なお、所定のデフォーカス量の範囲に該当する一部の領域を対象領域として、デフォーカスマップ画像として表示することもできる。これにより、所定のデフォーカス量の領域を視覚的に容易に確認することができる。
また、所定の被写体距離の範囲に該当する領域のみを対象領域として、デプスマップ画像として表示することもできる。これにより、所定の被写体距離の領域を視覚的に容易に確認することができる。
デフォーカス量の範囲及び被写体距離の範囲は、あらかじめ設定されていてもよいし、ユーザ操作により適宜設定されてもよい。

図１２から図１７は、撮像画像内の一部の対象領域について行う撮像動作制御の例である。
図１２及び図１３は、撮像画像内から検出された対象領域に応じて合焦位置が自動的に調整される例を示している。

図１２では、被写体の顔領域を対象領域とする場合における合焦位置を調整する例について説明する。

図１２Ａの撮像画像６０は、対象領域（顔領域）の合焦位置の調整がされていない状態を示しており、被写体７１の顔領域７２には目尻、頬、顎などに比較的しわの目立つ画像となる。これは、撮像装置１（画像処理装置３０）の高画素化、高階調化に伴い、被写体のディテールをより詳細に表示することが可能となったことによるものである。

次に、図１２Ａの撮像画像６０について、対象領域（顔領域）の合焦位置の調整を行ったものを図１２Ｂに示す。
図１２Ｂでは、撮像画像６０内の被写体７１の顔領域７２を検出し、検出した顔領域７２を合焦位置から微小にずらす撮像動作制御が行われる。これにより、被写体７１の顔領域７２に僅かにボケが生じ、顔領域７２の目尻、頬、顎などのしわを目立たなくさせることができる。
合焦位置からのずらし量は、検出した顔領域７２の属性、即ち、顔領域７２の大きさ、数、位置、年齢、性別等に応じてそれぞれ設定することができる。合焦位置からのずらし量はあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の撮像動作制御は、撮像画像６０で顔領域７２が検出されると自動的に行われる。

撮像装置１（画像処理装置３０）の撮像性能の向上により、被写体をより鮮明に表示することができる反面、被写体のリアリティが高くなりすぎてしまい、撮像を行うシチュエーションによっては、撮像画像を閲覧したユーザに却って不自然な印象を与えてしまうおそれがあるが、撮像画像における被写体によっては、あえて被写体を合焦位置から微小にずらすことで、ユーザに違和感を与えない撮像画像を提供することができる。

また図１２Ｃ及び図１２Ｄに示すように、顔領域７２にデフォーカスマップ画像７３を重畳表示させることもできる。デフォーカスマップ画像７３の例では、顔領域７２についてデフォーカス量の分布を、デフォーカス量に応じた色により表示している。
図１２Ｃは顔領域７２が合焦位置となる場合のデフォーカスマップ画像７３を示しており、図１２Ｄは顔領域７２を合焦位置から微小にずらす撮像動作制御が行われた後のデフォーカスマップ画像７３を示している。
これにより、顔領域７２におけるデフォーカス量の変化を視覚的に認識することができる。

図１３では、被写界深度を調節することで、被写体の瞳領域を対象領域とした場合における瞳領域の各部分でのボケ具合を調整する例について説明する。

図１３Ａは、撮像画像６０の瞳領域８１における睫毛領域８２と睫毛以外の領域８３の両方がボケていない状態を示しており、図１３Ｂは、睫毛領域８２がボケておらず、睫毛以外の領域８３がボケている状態を示している。図１３Ａ及び図１３Ｂでは、ボケていない領域を実線で示し、ボケが生じている領域を破線で示している。

撮像画像の表現手法として、例えば瞳領域８１における睫毛領域８２と睫毛以外の領域８３において、睫毛領域８２をくっきりとボケずに表示させ、睫毛以外の領域８３を僅かにボケさせることがある。高画素化、高階調化に伴い、瞳の微細な深度の表現がモニタ上に反映されるようになったため、このような高精細な表現手法が有用になっている。

例えば瞳領域８１における被写界深度をあらかじめ設定しておくことで自動的にＦ値制御を行い、睫毛領域８２と睫毛以外の領域８３のボケ具合を調節することができる。
瞳領域８１における被写界深度の調節量は、例えば検出した瞳領域の大きさ、位置、年齢、性別等の情報に応じてあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の例によれば、睫毛と瞳のボケ味のバランスを面で捉えて最適な被写界深度となるようにＦ値を自動制御することができる。

また図１３Ｃ及び図１３Ｄに示すように、瞳領域８１における睫毛領域８２と睫毛以外の領域８３のそれぞれにデフォーカスマップ画像８４を重畳表示させることもできる。デフォーカスマップ画像８４の例では、瞳領域８１のデフォーカス量の分布を、各部分のデフォーカス量に応じた色により表示している。これにより、瞳領域８４における各位置のデフォーカス量を視覚的に認識することができる。

図１３Ｃは、瞳領域８１における睫毛領域８２と睫毛以外の領域８３が、共に同じデフォーカス量である状態を示している。この状態から、被写界深度の調節が行われることで、例えば図１３Ｄに示すように、睫毛領域８２のデフォーカス量が変化する。

次に、図１４を参照して、デフォーカスマップ画像の他の表示態様、即ち、撮像画像における各位置のデフォーカス量をデフォーカス量表示アイコンにより表示する例について説明する。
デフォーカス量表示アイコンは、例えば環状や四角状の枠、ボケ量を意味するバー等、様々な記号により表示することができる。

図１４Ａに示す例では、デフォーカス量表示アイコンは円環状とされ、デフォーカス量に応じて径が異なる円環状アイコンＢＣがデフォーカスマップ画像において表示される。
円環状アイコンＢＣ１、ＢＣ２、ＢＣ３、ＢＣ４は、撮像画像６０の各位置におけるデフォーカス量に応じて、それぞれ異なる径で表示されている。例えば円環状アイコンＢＣの径はデフォーカス量の絶対値とされ、円環状アイコンＢＣの径が大きくなるにしたがって、ボケ具合が大きくなるように表示される。

ユーザは、デフォーカスマップ画像として表示された円環状アイコンＢＣの大きさを視認することで、視覚的、感覚的に撮像画像６０における各位置のデフォーカス量を認識することができる。
このような表示態様は、例えば被写体の瞳領域といったように比較的狭い対象領域における複数位置のデフォーカス量の分布を表示する際に有用である。

また図１４Ａに示す例では、例えばタッチパネルでのユーザ操作により、円環状アイコンＢＣをピンチイン又はピンチアウトすることで、円環状アイコンＢＣの径を変化させ、各円環状アイコンＢＣに対応する位置のデフォーカス量を調整することもできる。
例えばピンチアウト操作により円環状アイコンＢＣの径を大きくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンＢＣに対応する位置のデフォーカス量が大きくなる。また、ピンチイン操作により円環状アイコンＢＣの径を小さくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンＢＣに対応する位置のデフォーカス量が小さくなる。

図１４Ｂは、ユーザが操作により選択した撮像画像内の領域についてのデフォーカス量を、デフォーカス量表示アイコン（矢印ＤＦ）により表示する例である。
例えば、ユーザがタッチパネルをタッチすることにより撮像画像６０内の領域９１を選択すると、領域９１のデフォーカス量がデフォーカスメーター６２において矢印ＤＦにより指し示される。

また図１４Ｂで示す例では、デフォーカスメーター６２に設けられた矢印ＤＦをユーザ操作により上下にスライドさせ、矢印ＤＦを所望のデフォーカス量の位置まで移動させることで、領域９１が矢印ＤＦで示されたデフォーカス量となるように、フォーカスレンズや絞り機構の動作制御が行われる。
これにより、ユーザは撮像画像内の或る位置のデフォーカス量を確認したうえで、所望のデフォーカス量（ボケ具合）となるように調整を直感的に行うことができる。

また、ユーザにより選択された領域９１について、図１２Ｃ等で示すようなデフォーカス量に応じて色分けされたデフォーカスマップ画面を表示してもよい。これにより、操作によるデフォーカス量の変化（ボケ具合の変化）を直感的に認識できる。
さらに、図１４Ｂの撮像画像６０全体のデフォーカス量の分布を、図１０に示すように色分けして表示してもよい。これにより、ユーザが矢印ＤＦを操作する際に、他の領域のデフォーカス量を考慮することができる。

次に、図１５から図１７を参照して、撮像画像内における複数の被写体におけるデフォーカス量表示アイコンの表示態様及びその制御について説明する。

図１５の例では、撮像画像６０内にデフォーカス量表示アイコンとして複数の円環状アイコン（例えば３列×３行で構成されている）を一体として形成したアイコン群９２、９３が表示されている。アイコン群９２、９３を構成する円環状アイコンの径は、例えばデフォーカス量の絶対値を示している。

アイコン群９２、９３は、例えばタッチパネルでのユーザのタッチ操作により選択された２箇所の領域にそれぞれ表示される。図１５では、撮像画像６０内の被写体９４と被写体９５の顔領域が選択され、それぞれにアイコン群９２、９３が表示されている。
円環状アイコン群９２、９３は、それぞれの位置のデフォーカス量に応じて異なる大きさで表示されている。図１５では被写体９４の顔領域にはボケが生じておらず（合焦位置）、被写体９５の顔領域にはボケが生じている状態である。

このときユーザは、操作によりアイコン群９２、９３の何れかの大きさを変更することで、アイコン群９２、９３に対応する位置について、それぞれの合焦位置からのずれを調節することができる。このとき、アイコン群９２の円環状アイコンの径の変化に応じてフォーカスレンズの移動が制御されることで、合焦位置からのずれを調節が行われる。

例えばユーザは、タッチパネルでアイコン群９２のピンチアウト操作を行い、アイコン群９２の円環状アイコンの径を大きくすることで被写体９４の顔領域のデフォーカス量が大きくなり、合焦位置からずらすことができる（ボケ具合が大きくなる）。このとき、アイコン群９２が大きくなると、相対的にアイコン群９３が小さくなり、アイコン群９３に対応する領域が合焦に近づき、被写体９５の顔領域のデフォーカス量が小さくなる（ボケ具合が小さくなる）。

また逆に、ユーザがアイコン群９３についてピンチイン操作を行うことで、図１６に示すようにアイコン群９３の円環状アイコンの径を小さくすることもできる。これに伴い、図１５で合焦位置からずれていたアイコン群９３に対応する被写体９５の顔領域が、合焦位置に近づくこととなり、当該領域のデフォーカスが小さくなる（ボケ具合が小さくなる）。
アイコン群９３の円環状アイコンの径が小さくなると、相対的にアイコン群９２円環状アイコンの径が大きくなり、アイコン群９２に対応する被写体９４の顔領域が合焦位置からずれるため、当該領域のデフォーカス量が大きくなる（ボケ具合が大きくなる）。

このように、選択した２つの被写体に、それぞれデフォーカス量を示すデフォーカス量表示アイコンとして表示することで、各被写体のボケ具合を視覚的に確認することができ、また、それを踏まえてボケ具合を調節することが可能となる。

また、図１５及び図１６では、被写体９４、９５のボケ具合の調節をフォーカスレンズの移動制御により行う例について説明したが、図１７の例に示すように、絞り機構の動作制御（Ｆ値の制御）により、被写体９４、９５のボケ具合を調節することもできる。
絞り機構の動作によりＦ値を制御し、被写界深度を深くすることで被写体９４、９５の両方を合焦状態とすることもできる。この場合、図１７に示すように、円環状アイコン群９２、９３の円環状アイコンの径は同じ大きさとして表示される。

以上のように、本技術におけるマップ画像の表示制御及び撮像動作制御は、様々な態様が考えられる。

＜４．画像処理装置の実行する処理＞
本技術におけるマップ画像の表示制御及び撮像動作制御を実現するために行われる画像処理装置の処理を、図１８から図２５を参照して説明する。

本技術の第１の実施の形態について、図１８及び図１９を参照して説明する。
第１の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像がマニュアルフォーカスモード中に表示される例である。

図１８において、画像処理装置３０は、ステップＳ１０１でユーザによるシャッター操作を検知しない場合、ステップＳ１０２に処理を進め、撮像素子部１２からフレーム情報を取得する。
フレーム情報とは、例えば現在の１フレームの画像データ、位相差信号に基づいて生成された各種マップデータのことである。ここでいう１フレームの画像データとは、カメラ信号処理部１３で表示用に処理される画像データである。

画像処理装置３０は、ステップＳ１０３において、対象領域設定処理を行う。これにより、画像処理装置３０は、撮像画像内でのデフォーカスマップデータやデプスマップデータといったマップデータを生成する領域、即ち対象領域を設定する。

ここで、対象領域設定処理の詳細について、図１９を参照して説明する。
画像処理装置３０は、ステップＳ２０１でユーザによる対象領域の選択操作があるか、ステップＳ２０２で撮像装置１が顔認識モードに設定されているか、ステップＳ２０３で撮像装置１が瞳認識モードにも設定されているかを確認する。画像処理装置３０は、上記の何れかにも該当しない場合は、ステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４の順に処理を進める。
そして画像処理装置３０は、ステップＳ２０４において、撮像画像を対象領域として設定し、図１９の処理を終える。これにより、撮像画像の全体が対象領域として設定される。

ステップＳ２０１でユーザによる対象領域の選択操作があった場合、画像処理装置３０はステップＳ２０５に処理を進め、ユーザ操作により選択された選択領域を対象領域として設定し、図１９の処理を終える。例えば図１４Ｂのように、ユーザがタッチパネルを介して選択した領域９１が対象領域として設定される。
なお、ユーザ操作により選択された選択領域とは、あらかじめユーザにより設定された選択領域であってもよい。例えば、所定のデフォーカス量や被写体距離を設定しておき、画像処理装置３０はステップＳ２０５において、所定のデフォーカス量や被写体距離に該当する領域を対象領域として設定することもできる。この場合、撮像画像におけるデフォーカス量や被写体距離は、前フレームにおいて生成された情報を用いればよい。

ステップＳ２０２で撮像装置１が顔認識モードに設定されている場合、画像処理装置３０は、ステップＳ２０６で撮像画像の画像解析処理をすることで、顔領域を検出する。
画像処理装置３０は、ステップＳ２０６で顔領域が検出された場合、ステップＳ２０７、Ｓ２０８の順に処理を進め、顔領域を対象領域として設定し、図１９の処理を終える。
また、ステップＳ２０６で顔領域が検出されなかった場合、画像処理装置３０は、ステップＳ２０７、Ｓ２０４の順に処理を進め、撮像画像全体を対象領域として設定し、図１９の処理を終える。

ステップＳ２０３で撮像装置１が瞳認識モードに設定されている場合、画像処理装置３０は、ステップＳ２０９で撮像画像の画像解析処理をすることで、瞳領域を検出する。
画像処理装置３０は、ステップＳ２０９で瞳領域が検出された場合、ステップＳ２１０、Ｓ２１１の順に処理を進め、瞳領域を対象領域として設定し、図１９の処理を終える。
また、ステップＳ２１０で顔領域が検出されなかった場合、画像処理装置３０はステップＳ２１０、Ｓ２０４の順に処理を進め、撮像画像全体を対象領域として設定し、図１９の処理を終える。
以上の処理により、マップデータを生成する対象領域が設定される。

図１８に戻り、画像処理装置３０は、ステップＳ１０３からステップＳ１０４に処理を進め、生成マップ種別の判定を実行する。即ち、画像処理装置３０は、マップデータの生成にあたり、デフォーカスマップデータとデプスマップデータのどちらのマップデータを生成するかを判定する。
画像処理装置３０は、例えば、デフォーカスマップデータ画像又はデプスマップ画像の何れかを表示するモードであるかを判定し、そのモードに応じてどちらのマップデータを生成するかを判定する。
また、例えば画像処理装置３０は、絞り機構の動作を制御するためのユーザ操作を検知したときは、デプスマップデータを生成することを設定するといったように、ユーザの操作状態に応じてどちらのマップデータを生成するかを判定することもできる。

画像処理装置３０は、ステップＳ１０５において、ステップＳ１０４で判定したデフォーカスマップデータ又はデプスマップデータのマップデータの生成を実行する。
画像処理装置３０は、対象領域についてステップＳ１０２で取得した位相差信号を用いてデフォーカスについての相関演算を行うことで、図７に示すような対象領域内の各位置におけるデフォーカス量を示すデフォーカスマップデータを生成する。
また、画像処理装置３０は、生成したデフォーカスマップデータにおけるデフォーカス情報とレンズ情報に基づいて被写体距離を算出することで、図８に示すような対象領域内の各位置における被写体距離を示すデプスマップデータを生成する。
なお、画像処理装置３０は、ステップＳ１０４において、表示する何れかのマップデータを生成するのみならず、他方マップデータの両方を生成するとしてもよい。これにより、後述するステップＳ１１２において、デフォーカスマップデータとデプスマップデータの両方を記録することができる。

画像処理装置３０は、ステップＳ１０６において、ステップＳ１０５で生成したマップデータであって、ステップＳ１０４で表示すると判定したマップデータについてマップ画像の生成を行う。
例えば、図１０、図１１で示したような、デフォーカス量や被写体距離の分布に応じて色分けされたマップ画像を生成する。またデフォーカスマップ画像であれば、図１４に示すような各位置のデフォーカス量がデフォーカス量表示アイコンにより表示されたデフォーカスマップ画像を生成してもよい。

画像処理装置３０は、ステップＳ１０７において、マップ画像の表示タイミングを判定するタイミング判定処理を実行する。ここで、画像処理装置３０は、撮像装置１がマニュアルフォーカスモードに設定されているかを判定する。

撮像装置１がマニュアルフォーカスモードに設定されていない場合、画像処理装置３０は、ステップＳ１０８においてマップ画像の表示タイミングではないと判定し、ステップＳ１０９に処理を進め、マップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
また、撮像装置１がマニュアルフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ１０８においてマップ画像の表示タイミングであると判定し、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。

なお、ステップＳ１０７でのタイミング判定処理では、画像処理装置３０がユーザ操作の検知に応じてマップ画像の表示タイミングを判定する例も考えられる。
ここでのユーザ操作とは、マップ画像の表示のオン／オフを切り換えるための操作のことであり、例えば、マップ画像の表示を切り換えるためのボタンを設け、当該ボタンのオン／オフ操作をユーザ操作とすることが考えられる。
なお、ユーザ操作には、撮像装置のシャッターボタンの半押し／深押し操作、撮像画像の録画開始／終了操作等、様々な操作が考えられる。例えば、撮像装置のシャッターボタンの半押し／深押し操作の場合は、半押し操作をマップ画像の表示をオンとする操作とし、深押し操作をマップ画像の表示をオフとする操作とすることができる。また撮像画像の録画開始／終了操作の場合は、録画開始操作をマップ画像の表示をオンとする操作とし、録画終了操作をマップ画像の表示をオフとする操作とすることができる。このように様々な操作について、マップ画像表示のオン／オフの切り換える操作を割り当てることが可能である。

この場合、画像処理装置３０は、ステップＳ１０７において、マップ画像の表示をオンとするユーザ操作を検知すると、ステップＳ１０８においてマップ画像の表示タイミングであると判定し、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
また画像処理装置３０は、ステップＳ１０７において、マップ画像の表示をオフとするユーザ操作を検知すると、ステップＳ１０８においてマップ画像の表示タイミングではないと判定し、ステップＳ１０９に処理を進め、マップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。

画像処理装置３０はステップＳ１０９又はステップＳ１１０の処理を終えると、ステップＳ１０１に戻りシャッター操作の検知を確認する。
ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。

画像処理装置３０は、ステップＳ１１２において、取得したフレーム情報及びマップデータを記録する処理を行う。画像処理装置３０は、マップデータをフレーム情報の付加情報として記録する。
これにより、撮像画像内の各位置におけるデフォーカス量情報が、撮像画像のメタデータとして記録される。
画像処理装置３０は、ステップＳ１１２の処理の後ステップＳ１０１に戻り、上記と同様の処理を行う。

なお、上記では、画像処理装置３０が１フレームごとにステップＳ１０３からＳ１０６の処理を実行することで、ステップＳ１０１でシャッター操作を検知した際に、ステップＳ１１２において、いつでもマップデータの記録が可能であるが、ステップＳ１１２で必ずしもマップデータを記憶しなくてもよい。
その場合、画像処理装置３０は、ステップＳ１０２の後にステップＳ１０７、Ｓ１０８の順に処理を行い、ステップＳ１０８において判定フラグがＯＦＦの場合は、ステップＳ１０９に処理を進めることとしてもよい。
これにより、マップ画像を表示する必要のない場合、画像処理装置３０は、ステップＳ１０３からＳ１０６の処理、即ち、マップデータの生成を行うことなく、ステップＳ１０９で撮像画像の表示を行うことができる。この場合、画像処理装置３０は、ステップＳ１０８においてステップＳ１０３からステップＳ３０６でマップ画像を生成した上で、ステップＳ１１０で、撮像画像にマップ画像を重畳表示させる。

以上の処理により、第１の実施の形態における画像処理装置３０によるマップ画像の表示制御が実現される。これにより、例えば撮像装置１がマニュアルフォーカスモードに切り換わると、図１０に示すようなデフォーカスマップ画像６１や、図１１に示すようなデプスマップ画像６６が表示されることになる。
また、撮像装置１が顔認証モードにある場合は、マップ画像の表示タイミングにおいて、図１２Ｃ、図１２Ｄに示すように、検出された顔領域（対象領域）にマップ画像が表示される。同様に、撮像装置１が瞳認証モードにある場合は、図１３Ｃ、図１３Ｄに示すように、検出された瞳領域（対象領域）の各部分におけるマップ画像が表示される。
従って、ユーザは、撮像画面６０の対象領域における各位置のデフォーカス量や被写体距離を視覚的、直感的に認識することができる。また、ユーザは、各位置のデフォーカス量や被写体距離を考慮しつつ、マニュアル操作により、フォーカス制御やＦ値制御を行うことができる。

本技術の第２の実施の形態について、図２０及び図２１を参照して説明する。
第２の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像がオートフォーカスモードやマニュアルフォーカスモードにおける所定のタイミングで表示される例である。また、第２の実施の形態では、画像処理装置３０がマップ画像を表示させてから所定の時間が経過すると、マップ画像の表示を終了する。

図２０において、画像処理装置３０は、ステップＳ１０１でシャッター操作を検知しない場合、ステップＳ１０２に処理を進め、撮像素子部１２からフレーム情報を取得する。そして画像処理装置３０は、ステップＳ１０３において、図１９の対象領域設定処理を行い、撮像画像内の対象領域を設定する。

画像処理装置３０は、ステップＳ１０４で生成マップ種別の判定を行い、ステップＳ１０５で判定したマップ種別に応じたマップデータを生成する。そして画像処理装置３０は、ステップＳ１０６において生成したマップデータを用いてマップ画像の生成を行う。

画像処理装置３０は、ステップＳ１０７において、マップ画像の表示タイミングを判定するタイミング判定処理を実行する。
第２の実施の形態におけるタイミング判定処理の詳細を図２１を参照して説明する。

画像処理装置３０は、ステップＳ３１０において、モード切換操作を検知したか否かを判定する。ここでいうモード切換は、マニュアルフォーカスモードからオートフォーカスモードへの切り換え、又はその逆の切り換えのことである。

画像処理装置３０は、ステップＳ３１０において、モード切換操作を検知しない場合には、ステップＳ３１３に処理を進め、撮像装置１がマニュアルフォーカスモードに設定されているかを判定する。
マニュアルフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ３１４においてフォーカス調整操作を検知したか否かを判定し、ステップＳ３１５において絞り調整操作が検知されたか否かを判定する。
フォーカス調整操作と絞り調整操作の何れも検知されなかった場合、画像処理装置３０はステップＳ３１６に処理を進める。

画像処理装置３０は、ステップＳ３１６において、撮像装置１がオートフォーカスモードに設定されているか否かを判定する。
オートフォーカスモードに設定されている場合、画像処理装置３０は、ステップＳ３２０においてフォーカス制御動作が開始されたか否かを判定し、ステップＳ３２１においてフォーカス制御動作による合焦が完了したか否かを判定する。
フォーカス制御動作が開始されておらず、フォーカス制御動作による合焦が完了していない場合、画像処理装置３０は図２１の処理を終える。

一方で、ステップＳ３１４、Ｓ３１５でマニュアルフォーカスモードにおけるフォーカス調整操作又は絞り調整操作の何れかを検知した場合や、ステップＳ３２０、Ｓ３２１でオートフォーカスモードにおけるフォーカス制御動作が開始されたこと又はフォーカス制御動作による合焦が完了したことの何れかを検知した場合は、ステップＳ３１７へ処理を進める。

画像処理装置３０は、ステップＳ３１７において、タイマカウント中であるか否かを判定する。タイマカウント中とは、タイマカウントがスタートしており、かつタイムアウトしていない状態をいう。第２の実施の形態におけるタイマカウントは、マップ画像の表示とともにカウントが開始されるものであり、タイマカウント中はマップ画像が撮像画像に重畳表示されている状態である。
ここではまだタイマカウントが開始されていないため、像処理装置３０は、ステップＳ３１７からステップＳ３１８に処理を進め、判定フラグをＯＮとし、図２１の処理を終える。
判定フラグとは、マップ画像を表示するタイミングであるか否かを示すフラグであり、判定フラグがＯＮであることは、マップ画像を撮像画像に重畳表示するタイミングであることを示している。

上記のタイミング判定処理によれば、マニュアルフォーカスモードに設定されている場合は、フォーカス調整操作又は絞り調整操作の何れかを検知したときがマップ画像の表示タイミングとなり、オートフォーカスモードに設定されている場合は、フォーカス制御動作の開始やフォーカス制御動作による合焦の完了がマップ画像の表示タイミングとなる。

図２１に戻り、画像処理装置３０は、ステップＳ１０８において判定フラグがＯＮか否かを判定する。判定フラグがＯＦＦの場合には、画像処理装置３０はステップＳ１０９において撮像画像のみを表示する。

判定フラグがＯＮの場合には、画像処理装置３０はステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。
そして画像処理装置３０は、ステップＳ１２０において、タイマカウント中であるか否かを判定する。
タイマカウント中でない場合は、新たにマップ画像の重畳表示が開始されたことを意味するため、画像処理装置３０は、ステップＳ１２１においてタイマをリセットし、新たにタイマカウントをスタートさせる。
ここでタイマは、５秒、３０秒、１分など様々に設定することが考えられる。また、検知されたタイマカウントの開始契機に応じて、それぞれ異なるタイマを設定してもよい。例えば、マニュアルフォーカスモードにおいて、フォーカス調整操作又は絞り調整操作の何れかを検知したときは、タイマを３秒に設定し、オートフォーカスモードにおいて、フォーカス制御動作による合焦の完了からタイマを１分に設定してもよい。

その後、画像処理装置３０は、ステップＳ１０１からＳ１０８、Ｓ１１０、Ｓ１２０の順に処理を進め、タイマカウント中である場合は、ステップＳ１２３、Ｓ１０１と処理を進める。これにより、タイマカウント中は、撮像画像にマップ画像が重畳表示されている状態となる。

またステップＳ１２３においてタイマカウントがタイムアウトした場合、画像処理装置３０は、ステップＳ１２４で判定フラグをＯＦＦにする。その後、画像処理装置３０はステップＳ１０１以降の処理を進め、ステップＳ１０８においてステップＳ１０９に処理を進めることで撮像画像のみを表示させる。即ち、これにより撮像画像におけるマップ画像の重畳表示が終了する。

マップ画像の重畳表示は、マニュアルフォーカスモードとオートフォーカスモードの切り換え時においても終了する。
判定フラグがＯＮかつタイマカウント中の場合、即ち、マップ画像の重畳表示にマニュアルフォーカスモードとオートフォーカスモードの切り換えが行われると、画像処理装置３０は、図２１のイミング判定処理においてステップＳ３１０からステップＳ３１１に処理を進め、タイマカウントを終了し、ステップＳ３１２で判定フラグをＯＦＦに設定し、ステップＳ３１３に処理を進める。
これにより、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を検知しなかった場合は、画像処理装置３０は、図２０のステップＳ１０８においてステップＳ１０９に処理を進め、撮像画像におけるマップ画像の重畳表示を終了し、撮像画像のみを表示させる。

また、判定フラグがＯＮかつタイマカウント中の場合に、図２１のステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を新たに検知した場合、タイマカウントをリセットし、再度タイマカウントを開始する処理が行われる。タイマカウントをリセットすることで、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１のそれぞれの検知に応じて設定されたマップ画像の表示期間を確保することができる。
具体的には、画像処理装置３０は、ステップＳ３１４、Ｓ３１５、Ｓ３２０、Ｓ３２１の何れかの契機を検知するとステップＳ３１７、Ｓ３１９の順に処理を進め、タイマカウントを終了する。そして、画像処理装置３０は、Ｓ３１８、図２０のＳ１０８、Ｓ１１０、Ｓ１２０、Ｓ１２１の順に処理を進め、タイマカウントのリセット／スタートを行う。

ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。

画像処理装置３０は、ステップＳ１１２において、取得したフレーム情報及びマップデータを記録する処理を行う。画像処理装置３０は、ステップＳ１１２の処理の後ステップＳ１０１に戻り、上記と同様の処理を行う。

以上の処理により、第２の実施の形態における画像処理装置３０によるマップ画像の表示制御が実現される。
即ち、マニュアルフォーカスモードにおけるフォーカス調整操作又は絞り調整操作を検知したタイミング、オートフォーカスモードにおけるフォーカス制御動作の開始やフォーカス制御動作による合焦の完了を検知したタイミングにおいて、図１０、図１１、図１２Ｃ、図１２Ｄ、図１３Ｃ、図１３Ｄ等に示すようなマップ画像が撮像画像の対象領域に重畳表示される。

本技術の第３の実施の形態について、図２３を参照して説明する。
第３の実施の形態は、画像処理装置３０がマップ画像の表示制御を実現するための処理であり、マップ画像が撮像動画の記録中に表示されるとともに、画像処理装置３０が画像データを出力する出力機器に応じて異なる表示制御を行う例である。
出力機器とは、画像処理装置を内蔵する機器であり、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮像装置である。また、出力機器は、画像処理装置を内蔵する機器から出力された画像信号に基づいて画像を表示する外部の表示機器であってもよい。

図２２において、画像処理装置３０は、ステップＳ１０２において、撮像素子部１２からフレーム情報を取得する。ここでのフレーム情報はスルー画としての情報を取得する。
そして画像処理装置３０は、ステップＳ１０３において、図１９の対象領域設定処理を行い、撮像画像内の対象領域を設定する。

画像処理装置３０は、ステップＳ１０４で生成マップ種別の判定を行い、ステップＳ１０５で判定したマップ種別に応じたマップデータを生成する。そして画像処理装置３０は、ステップＳ１０６において生成したマップデータを用いてマップ画像の生成を行う。

画像処理装置３０は、ステップＳ１０７において、マップ画像の表示タイミングを判定するタイミング判定処理を実行する。
ここで、図２３でタイミング判定処理について説明する。
画像処理装置３０は、ステップＳ３０１において、撮像装置１が撮像画像（撮像動画）の録画中であるかを判定する。撮像装置１が撮像画像の録画中には、画像処理装置３０は、ステップＳ３０２で判定フラグをＯＮにし、図２３の処理を終える。

また、撮像装置１が撮像画像の録画中でない場合には、画像処理装置３０はステップＳ３０１からステップＳ３０３に処理を進め、判定フラグがＯＮである場合は判定フラグをＯＦＦにして、図２３の処理を終える。

図２２に戻り、画像処理装置３０は、ステップＳ１０８において判定フラグがＯＮか否かを判定する。判定フラグがＯＦＦの場合、画像処理装置３０は、ステップＳ１０９においてマップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
またステップＳ１０８において判定フラグがＯＮの場合、画像処理装置３０は、ステップＳ１３０に処理を進める。

画像処理装置３０は、ステップＳ１３０で第１の画像出力とされた出力については、ステップＳ１０９に処理を進め、撮像画像のみの表示を制御させる。
これにより、第１の画像出力を受信した、例えば撮像装置１に接続された外部の表示機器において撮像画像のみの表示を行うことができる。

また、第１の画像出力と異なる第２の画像出力については、ステップＳ１０８、Ｓ１３０、Ｓ１３１、Ｓ１１０の順に処理を進め、ステップＳ１１０において、マップ画像を撮像画像に重畳表示させる。
これにより、第２の画像出力を受信した、例えば撮像装置１の表示部においてマップ画像を確認することができる。

画像処理装置３０はステップＳ１０９又はＳ１１０の後にステップＳ１０１に処理を戻し、以下、同様の処理を行う。

以上の処理により、第３の実施の形態における画像処理装置３０によるマップ画像の表示制御が実現される。
例えば映画の撮像などを行う際に、撮像装置１による撮像を行っているフォーカスマンにとっては、撮像画像へのマップ画像の重畳表示は、フォーカスや絞り機構を調節するために有用であるが、一方で、撮像装置１に接続された外部モニタ等で撮像画像を確認する監督等にとっては、マップ画像が却って撮像画像の確認の妨げになることもある。
そこで第３の実施の形態の例によれば、内容の異なる複数の画像出力を行うことで、出力機器ごとに異なる表示制御を行うことができる。

本技術の第４の実施の形態について、図２４及び図２５を参照して説明する。
第４の実施の形態は、マップデータを用いた撮像画像の撮像動作制御を実現するための画像処理装置３０による処理である。

図２４において、画像処理装置３０は、ステップＳ１０１でユーザによるシャッター操作を検知しない場合、ステップＳ１０２に処理を進め、撮像素子部１２からフレーム情報を取得する。そして画像処理装置３０は、ステップＳ１０３において、図１９の対象領域設定処理を行い、撮像画像内の対象領域を設定する。
画像処理装置３０は、ステップＳ１０４で生成マップ種別の判定を行い、ステップＳ１０５で判定したマップ種別に応じたマップデータを生成する。

その後、画像処理装置３０は、ステップＳ１４０において、撮像動作制御処理を行う。
ここで、対象領域設定処理の詳細について、図２５を参照して説明する。
画像処理装置３０は、ステップＳ４０１でデフォーカス量表示アイコンに対するユーザ操作を検知したか、ステップＳ４０４で顔検出モードであるか、ステップＳ４０５で瞳検出モードであるかを順に判定する。
ステップＳ４０１、Ｓ４０４、Ｓ４０７の何れにも該当しない場合、画像処理装置３０は撮像動作制御を行うことなく図２５の処理を終える。

ステップＳ４０１で対象領域のデフォーカス量を示すデフォーカス量表示アイコンに対するユーザ操作を検知すると、画像処理装置３０はステップＳ４０２に処理を進め、ユーザ操作に応じた撮像動作制御を行う。
デフォーカス量表示アイコンに対するユーザ操作とは、例えば図１４Ａのように円環状アイコンＢＣの径を変化させるためのピンチイン又はピンチアウト操作である。または図１４Ｂのようなデフォーカスメーター６２に設けられた矢印ＤＦを上下方向にスライドさせる操作である。

画像処理装置３０は、上記のようなユーザ操作の操作量に応じてフォーカスレンズや絞り機構の動作を制御する。これにより、対象領域の合焦位置からのずらし量（デフォーカス量）を調整することができる。
撮像動作制御が終わると、画像処理装置３０は、ステップＳ４０３において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカス量を算出し、デフォーカスマップデータを生成する。
画像処理装置３０は、生成したデフォーカスマップデータからデフォーカスマップ画像を生成し、デフォーカスマップデータとレンズ情報からデプスマップデータを生成する。そして、画像処理装置３０は図２５の処理を終了する。

ステップＳ４０４で顔検出モードである場合、画像処理装置３０は、ステップＳ４０５に処理を進め、撮像画像から画像解析処理により検出した顔領域について属性解析処理を行う。属性解析処理により、画像処理装置３０は検出した顔領域の属性情報を取得する。
属性情報は、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などの対象領域自体に紐付けられた属性に関する情報、被写体の位置、人数、年齢、性別、顔領域の大きさなど対象領域における被写体に紐付けられた属性等、様々な情報が想定される。

そして画像処理装置３０は、ステップＳ４０６において、属性情報に応じて設定されたデフォーカス量の固定値情報を取得する。
固定値は、対象領域の属性情報に応じてあらかじめ設定された値であってもよいし、ユーザにより各位置の値が設定されてもよい。また、固定値は、対象領域の各位置におけるデフォーカス量の数値で設定されていてもよいし、対象領域の各位置におけるデフォーカス量の補正比率であってもよい。

画像処理装置３０は、デフォーカスマップデータにより対象領域の複数位置におけるデフォーカス量情報を取得し、対象領域において設定された各位置におけるデフォーカス量の固定値となるように、レンズ系１１のフォーカスレンズや絞り機構の動作制御を行う。
これにより、対象領域の合焦位置からのずらし量（デフォーカス量）が調整される。例えば、性別、年齢によって顔領域のデフォーカス量の絶対値を大きくすることで、図１３に示すように、顔のしわ等をぼかして表示することができる。

撮像動作制御が終わると、画像処理装置３０は、ステップＳ４０３において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカスマップデータやデプスマップデータを生成し、図２５の処理を終える。

ステップＳ４０７で瞳検出モードである場合、画像処理装置３０は、ステップＳ４０８に処理を進め、撮像画像から画像解析処理により検出した瞳領域について部分解析処理を行う。画像処理装置３０は、部分解析処理により、例えば睫毛領域を検出する。

そして画像処理装置３０は、ステップＳ４０９において、検出した部分に応じて、フォーカスレンズや絞り機構の動作制御を行う。画像処理装置３０は、瞳領域の各部分、例えば睫毛領域に対応付けられた、対象領域の各位置におけるデフォーカス量の固定値情報を取得し、対象領域において設定された各位置におけるデフォーカス量の固定値となるように、絞り機構の動作制御を行う。なお、画像処理装置３０はレンズ系１１のフォーカスレンズ制御を行ってもよい。
対象領域の各部分とは、例えば、瞳領域であれば睫毛部分とそれ以外の部分、顔領域であれば目部分、鼻部分、耳部分、口部分等、対象領域の属性に応じて設定される。

撮像動作制御が終わると、画像処理装置３０は、ステップＳ４０３において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカスマップデータやデプスマップデータを生成し、図２５の処理を終える。

図２４に戻り、画像処理装置３０は、ステップＳ１０６において、図２５のステップＳ４０３で再度生成したマップデータを用いてマップ画像の生成を行う。
画像処理装置３０は、ステップＳ１０７において、例えば上述のようなマップ画像の表示タイミングを判定するタイミング判定処理を実行し、表示タイミングであれば判定フラグをＯＮとし、表示タイミングでなければ判定フラグをＯＦＦとする。

画像処理装置３０は、ステップＳ１０８において判定フラグがＯＮか否かを判定する。判定フラグがＯＦＦの場合、画像処理装置３０は、ステップＳ１０９においてマップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
またステップＳ１０８において判定フラグがＯＮの場合、画像処理装置３０は、ステップＳ１１０に処理を進め、マップ画像を撮像画像に重畳表示させる。

画像処理装置３０はステップＳ１０９又はステップＳ１１０の処理を終えると、ステップＳ１０１に戻りシャッター操作の検知を確認する。
ステップＳ１０１においてシャッター操作を検知すると、画像処理装置３０はステップＳ１１１に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置３０は、生成したマップデータがある場合は、当該マップデータも取得する。

画像処理装置３０は、ステップＳ１１２において、取得したフレーム情報及びマップデータを記録する処理を行う。画像処理装置３０は、ステップＳ１１２の処理の後ステップＳ１０１に戻り、上記と同様の処理を行う。

以上の処理により、第４の実施の形態における画像処理装置３０によるマップデータを用いた撮像画像の撮像動作制御が実現される。
図２５のステップＳ４０１、Ｓ４０２の処理を行うことで、図１５、図１６のように、ユーザが選択した任意の領域について、アイコン群の円環状アイコンの径を変化させることにより、デフォーカス量を調節することができるようになる。
また、ステップＳ４０４、Ｓ４０５、Ｓ４０６の処理を行うことで、図１２に示すような、顔領域におけるデフォーカス量の調節が自動的に行われるようになる。さらに、ステップＳ４０７、Ｓ４０８、Ｓ４０９の処理を行うことで、図１３に示すような、瞳領域における睫毛部分のデフォーカス量の調節が自動的に行われるようになる。

＜５．まとめ及び変形例＞
実施の形態の撮像装置１に搭載された画像処理装置３０は、撮像素子部１２における像面位相差画素（位相差検出部２２）により検出した位相差情報から算出される、撮像素子部１２による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部３１と、マップデータ生成部３１が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部３２と、を備える（図１８）。
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
従って、ユーザは、合焦位置といった点位置でなく、撮像画像の複数位置という面領域としてデフォーカス量の分布を認識することが可能となる。即ち、ユーザは、撮像画像の全体についてのデフォーカス量の分布を知ることができるため、撮像画像の各位置におけるデフォーカス量の調整を行う際に、他の領域のデフォーカス量を考慮しながら調整することができる。

実施の形態の画像処理装置３０において、マップデータ生成部３１は、撮像画像内で設定された対象領域内の複数位置のデフォーカスマップデータを生成し、表示制御部３２は、対象領域についてのデフォーカスマップ画像を生成する（図１８のＳ１０３）。
これにより、撮像画像の対象領域内における複数位置のデフォーカス量の分布がデフォーカスマップ画像として表示される。
例えば撮像にあたり、被写体の顔をボケさせたい場合、ユーザが知りたいのは被写体の顔領域における各位置のデフォーカス量の分布である。そこで、ユーザの目的に応じて様々な対象領域を選択し、当該選択した対象領域についてのデフォーカス量の分布を表示させることで、ユーザの意図を反映させたポイントを絞った表示を行うことができる。
また、撮像画像の全体についてデフォーカスマップ画像を表示する必要がないため、画像処理装置３０のデフォーカスマップデータ及びデフォーカスマップ画像を生成する処理負担を軽減することができる。
なお、画像処理装置３０が、撮像画像内で設定された対象領域内の複数位置のデプスマップデータを生成し、対象領域についてのデプスマップ画像を生成する際にも上記と同様の効果が生じ得る。

実施の形態の画像処理装置３０において、マップデータ生成部３１は、算出したデフォーカス量に基づいて撮像素子部１２による撮像画像の複数位置における被写体距離を算出し、算出した被写体距離を示すデプスマップデータを生成し、表示制御部３２は、マップデータ生成部３１が生成したデプスマップデータを用いて、撮像画像における被写体距離の分布を示すデプスマップ画像を生成し、表示制御を行う（図１８のＳ１０５、Ｓ１０６）。
これにより、撮像画像における被写体距離の分布がデプスマップ画像として表示される。また、デプスマップ画像とデフォーカスマップ画像が切り換え可能に表示される。
従って、ユーザは、撮像画像という面領域における各位置の被写体距離をデプスマップ画像により認識することができる。よって、ユーザは、撮像画像全体の被写体距離を考慮したうえで、被写界深度の深さを調節することができる。
また、デプスマップ画像とデフォーカスマップ画像が切り換え可能であることで、撮像画像の被写体距離を考慮した被写体深度の調整を行うときはデプスマップ画像を表示させ、撮像画像の各位置のデフォーカス量を考慮したフォーカス制御の調整を行うときはデフォーカスマップ画像を表示させるといったように、目的に応じてマップ画像の表示態様を選択することができる。

実施の形態の画像処理装置３０において、表示制御部３２は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成する（図１０、図１１）。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。
従って、撮像画像（対象領域）の各位置のデフォーカス量の値の違いを色で表示することで、撮像画像（対象領域）におけるデフォーカス量の分布を視覚的、直感的に容易に捉えることができるようになる。
また、撮像画像（対象領域）における或る位置のデフォーカス量を変更した際にも、当該位置の色の変化を確認することで、画像が合焦位置に向かって変化しているのか、それとも前ボケ又は後ボケへ変化しているのかを視覚的に容易に認識することができる。
よって、当該色の表示に基づいて、撮像画面での被写体のボケを直感的に容易に調整することができる。

実施の形態の画像処理装置３０において、表示制御部３２は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成する（図１４から図１７）。
これにより、デフォーカスマップ画像における各デフォーカス量表示アイコンの表示態様から、各デフォーカス量表示アイコンに対応する位置のデフォーカス量の分布が表示される。
従って、撮像画像（対象領域）の各位置のデフォーカス量の値の違いをデフォーカス量表示アイコンの表示態様の違いで表示することで、撮像画像（対象領域）におけるデフォーカス量の分布を視覚的、直感的に容易に捉えることができるようになる。

実施の形態の画像処理装置３０において、デフォーカス量表示アイコンは円環状に形成され（円環状アイコンＢＣ）、デフォーカス量に応じてデフォーカス量表示アイコンの径を変化させる（図１４から図１７）。
これにより、図１４Ｂのようなデフォーカス量に応じて径の異なる円環状アイコンＢＣが表示される。デフォーカス量に応じて径が変わるため、円環状アイコンＢＣの大きさによりデフォーカス量を直感的に認識することができる。

実施の形態の画像処理装置３０において、表示制御部３２は、オートフォーカスモードによるフォーカス制御動作が開始されることに応じてデフォーカスマップ画像を表示させる制御を行う（図２１のＳ３２０）。
これにより、フォーカス制御動作に応じて変動した各位置のデフォーカス量に基づいてデフォーカスマップデータが生成され、当該生成されたデフォーカスマップデータを用いたデフォーカスマップ画像が表示される。従って、フォーカス制御中のデフォーカスマップ画像の変化を確認することができる。

実施の形態の画像処理装置３０において、表示制御部３２は、オートフォーカスモードによるフォーカス制御動作により合焦状態とされたことに応じてデフォーカスマップ画像を表示させる制御を行う（図２１のＳ３２１）。
これにより、合焦位置及び合焦位置以外の領域におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
よって、合焦状態における撮像画像のデフォーカス量の分布を視覚的に容易に確認することができる。また、オートフォーカスモードによるフォーカス制御動作により被写体に対して合焦状態とした後に、マニュアル操作により被写体における合焦位置を僅かにずらそうとする場合であっても、合焦状態における撮像画像の全体又は一部領域のデフォーカス量の分布を考慮した繊細なデフォーカス量の調整操作を行うことができる。

実施の形態の画像処理装置３０において、表示制御部３２は、マニュアルフォーカスモードによるユーザからのフォーカス調整操作又は絞り調整操作の検知に応じてデフォーカスマップ画像を表示させる制御を行う（図２１のＳ３１４、Ｓ３１５）。
これにより、撮像画像におけるデフォーカス量の分布を示すデフォーカスマップ画像を表示させた状態でユーザからのフォーカス調整操作又は絞り調整操作が行われる。
従って、ユーザは、撮像画像の各位置におけるデフォーカス量の変化を直感的に確認しながらフォーカス調整操作又は絞り調整操作を行うことができるため、対象領域のデフォーカス量の分布を考慮した繊細なデフォーカス量の調整操作を行うことができる。

実施の形態の画像処理装置３０において、表示制御部３２は、撮像画像の録画が開始されることに応じてデフォーカスマップ画像を表示させる制御を行う（図２３のＳ３０１、Ｓ３０２）。
これにより、撮像画像（撮像動画）の録画中における撮像画像のデフォーカス量の分布の変化がデフォーカスマップ画像により表示される。
従って、ユーザは、対象領域全体のデフォーカス量の分布を考慮しながら撮像動画の録画を行うことができる。これにより、撮像動画の録画中においても対象領域のデフォーカス量の分布を考慮した繊細なデフォーカス量の調整操作を行うことができる。

実施の形態の画像処理装置３０において、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力と、デフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力と、が行われる（図２２のＳ１３０、Ｓ１３１）。
これにより、第１の画像出力を受信した出力機器にはデフォーカスマップ画像が表示されず、第２の画像出力を受信した出力機器にはデフォーカスマップ画像が表示される。
例えば映画の撮像などを行う際に、画像処理装置３０が搭載された撮像装置１により撮像を行っているフォーカスマンにとっては、撮像画像へのマップ画像の重畳表示は、フォーカスや絞り機構を調節するために有用であるが、一方で、撮像装置１に接続された外部モニタ等で撮像画像を確認する監督等にとっては、マップ画像が却って撮像画像の確認の妨げになることもある。そこで、内容の異なる複数の画像出力を行うことで、ユーザの目的が異なる出力機器ごとに異なる表示制御を行うことができる。

実施の形態の画像処理装置３０において、表示制御部３２は、デフォーカスマップ画像の表示制御を開始してから所定時間が経過すると、デフォーカスマップ画像の表示制御を終了する（図２０のＳ１２３、Ｓ１２４）。
これにより、ユーザ操作によりデフォーカスマップ画像の表示制御を終了させることなしに、デフォーカスマップ画像の表示制御が終了する。
従って、ユーザがデフォーカスマップ画像の閲覧をしているときに必要以上に長い間デフォーカスマップ画像が表示されることがなくなるため、快適にデフォーカスマップ画像から撮像画像への切り換えを行うことができる。
また、例えば、マニュアルフォーカスモードにおいて、フォーカス調整操作又は絞り調整操作の何れかを検知したときは、表示時間を３０秒に設定し、オートフォーカスモードにおいて、フォーカス制御動作による合焦の完了からタイマを１分と設定する等、デフォーカスマップ画像を表示する契機ごとに適した表示時間を設定することで、より快適にデフォーカスマップ画像から撮像画像への切り換えを行うことができる。

実施の形態の画像処理装置３０において、ユーザ操作により指定された撮像画像内の領域を対象領域として設定する対象領域設定部３３を有する（図１９のＳ２０１、Ｓ２０５）。
これにより、ユーザ操作により指定された撮像画像内の領域にデフォーカスマップ画像が表示される。従って、ユーザがデフォーカス量の分布を確認したい対象領域について、容易にデフォーカスマップ画像を表示させることができる。

実施の形態の画像処理装置３０において、撮像画像内容に応じて対象領域を設定する対象領域設定部３３を有する（図１９のＳ２０２、Ｓ２０３）。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。従って、ユーザの目的に応じた対象領域についてのデフォーカス量の分布を表示させることで、ユーザの目的を反映させたポイントを絞った表示を行うことができる。

実施の形態の画像処理装置３０において、対象領域設定部３３は撮像画像内で検出された顔領域を対象領域として設定する（図１９のＳ２０２）。
これにより、撮像画像内の顔領域にデフォーカスマップ画像が表示される。顔領域におけるしわ、シミ等が比較的目立つような場合に、顔領域から合焦位置を僅かにずらすことで顔領域をぼかすことができるが、このときにどのくらいボケさせたのかを視覚的に確認できることはユーザにとって有用である。

実施の形態の画像処理装置３０において、対象領域設定部３３は撮像画像内で検出された瞳領域を対象領域として設定する（図１９のＳ２０３）。
これにより、撮像画像内の瞳領域にデフォーカスマップ画像が表示される。瞳領域における睫毛部分とその他の領域のデフォーカス量の違いをデフォーカスマップ画像により視覚的に容易に確認することができる。

実施の形態の画像処理装置３０において、マップデータ生成部３１が生成したデフォーカスマップデータを、撮像画像に対する付加情報として記録する記録制御部３５を備える（図１８のＳ１１２）。
これにより、撮像画像内の各位置におけるデフォーカス量情報が、撮像画像のメタデータとして記録される。従って、ユーザが撮像した撮像画像を後で閲覧する際にも、当該撮像画像にデフォーカスマップ画像を重畳表示させることができる。

実施の形態のプログラムは、図１８から図２５の処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、前記マップデータ生成機能により生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御機能と、を画像処理装置に実行させるプログラムである。このようなプログラムにより、上述した画像処理装置３０を、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

本技術は以下のような構成も採ることができる。
（１）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部と、を備えた
画像処理装置。
（２）
前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する
（１）に記載の画像処理装置。
（３）
前記マップデータ生成部は、撮像画像内で設定された対象領域内の複数位置のデフォーカスマップデータを生成し、
前記表示制御部は、前記対象領域についてのデフォーカスマップ画像を生成する
（１）又は（２）に記載の画像処理装置。
（４）
前記マップデータ生成部は、算出したデフォーカス量に基づいて前記撮像素子部による撮像画像の複数位置における被写体距離を算出し、前記算出した前記被写体距離を示すデプスマップデータを生成し、
前記表示制御部は、前記マップデータ生成部が生成したデプスマップデータを用いて、撮像画像における前記被写体距離の分布を示すデプスマップ画像を生成し、表示制御を行う
（１）から（３）の何れかに記載の画像処理装置。
（５）
前記表示制御部は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成する
（１）から（４）の何れかに記載の画像処理装置。
（６）
前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成する
（１）から（５）の何れかに記載の画像処理装置。
（７）
前記デフォーカス量表示アイコンは円環状に形成され、デフォーカス量に応じて前記デフォーカス量表示アイコンの径を変化させる
（６）に記載の画像処理装置。
（８）
前記表示制御部は、オートフォーカスモードによるフォーカス制御動作により合焦状態とされたことに応じてデフォーカスマップ画像を表示させる制御を行う
（１）から（７）の何れかに記載の画像処理装置。
（９）
前記表示制御部は、マニュアルフォーカスモードによるユーザからのフォーカス調整操作又は絞り調整操作の検知に応じてデフォーカスマップ画像を表示させる制御を行う
（１）から（８）の何れかに記載の画像処理装置。
（１０）
前記表示制御部は、撮像画像の録画が開始されることに応じてデフォーカスマップ画像を表示させる制御を行う
（１）から（９）の何れかに記載の画像処理装置。
（１１）
デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力と、デフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力と、が行われる
（１）から（１０）の何れかに記載の画像処理装置。
（１２）
前記表示制御部は、デフォーカスマップ画像の表示制御を開始してから所定時間が経過すると、デフォーカスマップ画像の表示制御を終了する
（１）から（１１）の何れかに記載の画像処理装置。
（１３）
ユーザ操作により指定された撮像画像内の領域を前記対象領域として設定する対象領域設定部を有する
（３）から（１２）の何れかに記載の画像処理装置。
（１４）
撮像画像内容に応じて前記対象領域を設定する対象領域設定部を有する
（３）から（１２）の何れかに記載の画像処理装置。
（１５）
前記対象領域設定部は撮像画像内で検出された顔領域を前記対象領域として設定する
（１４）に記載の画像処理装置。
（１６）
前記対象領域設定部は撮像画像内で検出された瞳領域を前記対象領域として設定する
（１４）に記載の画像処理装置。
（１７）
前記マップデータ生成部が生成したデフォーカスマップデータを、撮像画像に対する付加情報として記録する記録制御部を備えた
（１）から（１６）の何れかに記載の画像処理装置。
（１８）
前記表示制御部は、オートフォーカスモードによるフォーカス制御動作が開始されることに応じてデフォーカスマップ画像を表示させる制御を行う
（１）から（１７）の何れかに記載の画像処理装置。
（１９）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、
前記生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う
画像処理方法。
（２０）
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、
前記マップデータ生成機能により生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御機能と、を画像処理装置に実行させる
プログラム。
（２１）
画像撮像を行う撮像素子部と、
位相差検出部により検出した位相差情報から算出される、前記撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部と、を備えた
撮像装置。

１ 撮像装置、１２ 撮像素子部、２２ 位相差検出部、３０ 画像処理装置、３１ マップデータ生成部、３２ 表示制御部、３３ 対象領域設定部、３４ 動作制御部、３５ 記録制御部

Claims (18)

1. 位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
   前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置にそれぞれの位置におけるデフォーカス量を示す色を付すことにより撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、を備え、
   出力する外部の出力機器に応じて、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力、又はデフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力が行われる
   画像処理装置。
2. 前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する
   請求項１に記載の画像処理装置。
3. 前記マップデータ生成部は、撮像画像内で設定された対象領域内の複数位置のデフォーカスマップデータを生成し、
   前記表示制御部は、前記対象領域についてのデフォーカスマップ画像を生成する
   請求項１に記載の画像処理装置。
4. 前記マップデータ生成部は、算出したデフォーカス量に基づいて前記撮像素子部による撮像画像の複数位置における被写体距離を算出し、前記算出した前記被写体距離を示すデプスマップデータを生成し、
   前記表示制御部は、前記マップデータ生成部が生成したデプスマップデータを用いて、撮像画像の各位置にそれぞれの位置における前記被写体距離を示す色を付すことにより撮像画像の前記被写体距離の分布を示すデプスマップ画像を生成し、撮像画像にデプスマップ画像を重畳して表示させる表示制御を行う
   請求項１に記載の画像処理装置。
5. 前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成する
   請求項１に記載の画像処理装置。
6. 前記デフォーカス量表示アイコンは円環状に形成され、デフォーカス量に応じて前記デフォーカス量表示アイコンの径を変化させる
   請求項５に記載の画像処理装置。
7. 前記表示制御部は、オートフォーカスモードによるフォーカス制御動作により合焦状態とされたことに応じてデフォーカスマップ画像を表示させる制御を行う
   請求項１に記載の画像処理装置。
8. 前記表示制御部は、マニュアルフォーカスモードによるユーザからのフォーカス調整操作又は絞り調整操作の検知に応じてデフォーカスマップ画像を表示させる制御を行う
   請求項１に記載の画像処理装置。
9. 前記表示制御部は、撮像画像の録画が開始されることに応じてデフォーカスマップ画像を表示させる制御を行う
   請求項１に記載の画像処理装置。
10. 前記表示制御部は、デフォーカスマップ画像の表示制御を開始してから所定時間が経過すると、デフォーカスマップ画像の表示制御を終了する
    請求項１に記載の画像処理装置。
11. ユーザ操作により指定された撮像画像内の領域を前記対象領域として設定する対象領域設定部を有する
    請求項３に記載の画像処理装置。
12. 撮像画像内容に応じて前記対象領域を設定する対象領域設定部を有する
    請求項３に記載の画像処理装置。
13. 前記対象領域設定部は撮像画像内で検出された顔領域を前記対象領域として設定する
    請求項１２に記載の画像処理装置。
14. 前記対象領域設定部は撮像画像内で検出された瞳領域を前記対象領域として設定する
    請求項１２に記載の画像処理装置。
15. 前記マップデータ生成部が生成したデフォーカスマップデータを、撮像画像に対する付加情報として記録する記録制御部を備えた
    請求項１に記載の画像処理装置。
16. 位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成する手順と、
    前記生成したデフォーカスマップデータを用いて、撮像画像の各位置にそれぞれの位置におけるデフォーカス量を示す色を付すことにより撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う手順と、
    出力する外部の出力機器に応じて、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力、又はデフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力を行わせる手順と、を含む
    画像処理方法。
17. 位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、
    前記マップデータ生成機能により生成したデフォーカスマップデータを用いて、撮像画像の各位置に、それぞれの位置におけるデフォーカス量を示す色を付すことにより撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御機能と、
    出力する外部の出力機器に応じて、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力、又はデフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力を行わせる機能と、を画像処理装置に実行させる
    プログラム。
18. 画像撮像を行う撮像素子部と、
    位相差検出部により検出した位相差情報から算出される、前記撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
    前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置に、それぞれの位置におけるデフォーカス量を示す色を付すことにより撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、を備え、
    出力する外部の出力機器に応じて、デフォーカスマップ画像を表示させずに撮像画像を表示させる第１の画像出力、又はデフォーカスマップ画像の表示を含む撮像画像を表示させる第２の画像出力が行われる
    撮像装置。

Images