JP6005246B2 - 撮像装置、ヒストグラムの表示方法、プログラム、画像処理装置 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置と、ヒストグラムの表示方法と、プログラムに関する。特に、本発明は、露出状態を確認するためのヒストグラムを表示する機能を有する撮像装置と、この撮像装置におけるヒストグラムの表示方法と、ヒストグラムを表示するプログラムに関する。

従来、ＣＣＤ等の固体撮像素子を備えた電子スチルカメラには、撮像可能な状態にあるときに被写体画像を逐次取り込み、それをスルー画像として液晶モニタに表示させることにより、液晶モニタにファインダーの機能をも持たせるものが多い。こうした電子スチルカメラは、一般的に、撮像時には常に適正露出が得られるように、自動露出制御（ＡＥ制御、又はプログラムＡＥ制御）機能を有する。しかし、予想外の撮像環境で常に適正露出を得ることや、全ての撮像者の好みに応じた露出調整を行うことは困難である。そのため、このような電子スチルカメラは、一般に、制御目標となる露出値を調整（補正）できる。
露出値の調整を補助するための機構としては、たとえば、特許文献１には、固体撮像素子が撮像している画像から、画素ごとに輝度レベルをカウントし、その輝度分布を示すヒストグラムを液晶モニタに表示する構成が開示されている。このような構成によれば、ユーザーは、ヒストグラムから、撮像時に露出が適正か否かが確認できる。
一方、一般に、画像による三次元計測技術として、視差のついた一対の画像(以下基準画像、参照画像とする)から被写体の距離を計測するいわゆるステレオマッチングが知られている。ステレオマッチングでは、基準画像の特定の領域が参照画像のどの位置に存在するかを相関演算によって求めることで、視差および距離を演算することが出来る。しかしながら、ステレオマッチングには、特定の条件下において、例えば画像変化のない領域や同一パターンが連続するような画像においては、一意に対応点が定まらず、誤った対応付けを行ってしまうという問題がある。このため、特許文献２には、誤対応を軽減するために、ステレオマッチングの演算結果に信頼度を付加し、信頼度の低い領域については再探索範囲を設定し、再探索を行う手法が開示されている。

特開平７−３８８０１号公報 特開２００６−０９０８９６号公報

特許文献１に開示されている構成では、異なる被写体にそれぞれ同一の輝度が含まれている場合には、撮像者がヒストグラムと被写体との対応付けを行うことが困難になるという課題があった。

上記実情に鑑み、本発明の目的は、被写体の輝度値の分布の視認性を向上させることができる撮像装置と、ヒストグラムの表示方法と、プログラムと、画像処理装置とを提供することである。

上記目的を達成するために、本発明は、被写体を撮像し、画像信号を出力する撮像手段と、画像信号に対応する、被写体までの距離を演算する距離演算手段と、前記距離演算手段の演算結果に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するヒストグラム生成手段と、前記複数のヒストグラムを表示媒体に表示する表示制御手段と、を有し、前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とする。
また、本発明は、画像信号を生成するステップと、画像信号に対応する、被写体までの距離を演算するステップと、記被写体までの距離の演算の結果に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するステップと、前記複数のヒストグラムを表示媒体に表示するステップと、を有し、前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とする。
また、本発明は、ヒストグラムを表示媒体に表示する表示制御手段を有する画像処理装置のコンピュータに、画像信号に対応する、被写体までの距離を演算するステップと、
前記被写体までの距離の演算の結果に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するステップと、前記複数のヒストグラムを前記表示媒体に表示するステップと、を実行させ、前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とするプログラムである。
また、本発明は、画像信号と、前記画像信号に対応する、被写体までの距離を示す距離情報を取得する取得手段と、前記画像信号と、対応する前記距離情報に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するヒストグラム生成手段と、前記複数のヒストグラムを表示媒体に表示する表示制御手段と、を有し、前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とする。

本発明によれば、ヒストグラムを被写体までの距離に応じて分離する事で、距離が異なる複数の被写体に同程度の輝度値の画素が含まれている場合であっても、それぞれを分離したヒストグラムを生成し、表示することができる。この結果、ユーザーは、ヒストグラムと被写体の対応関係の把握が容易になり、意図した被写体の露出の適否を確認しやすくなる。

図１は、本発明の実施例における撮像装置の構成を示すブロック図である。 図２（ａ）は、撮像素子の構造を模式的に示す平面図であり、図２（ｂ）は、撮像素子の構造を模式的に示す断面図である。 図３は、撮像素子の画素および光電変換部と、カラーフィルターの配置を模式的に示す平面図である。 図４は、撮像素子とレンズとの光学的な関係を模式的に表した図である。 図５は、ステレオマッチングの概要を模式的に示す図である。 図６は、相関の評価値をプロットした折れ線グラフである。 図７は、ヒストグラム生成の処理を示すフローチャートである。 図８は、推定モードにおけるヒストグラムの生成の処理を示すフローチャートである。 図９は、除外モードにおけるヒストグラムの生成の処理を示すフローチャートである。 図１０は、通常モードにおけるヒストグラムの生成の処理を示すフローチャートである。 図１１（ａ）は、表示部が表示する画像の例を模式的に示す図であり、図１１（ｂ）は、図１１（ａ）の部分拡大図であって、ヒストグラムの表示例を模式的に示す図である。 図１２は、その他の実施例の光学系の構造を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

まず、本発明の第１の実施例にかかわる撮像装置の構成と、撮像装置の全体的な処理および動作について、図１〜図６を参照して説明する。本発明の第１の実施例においては、撮像装置としてデジタルカメラが適用される構成を示す。
図１は、本発明の第１の実施例にかかわるデジタルカメラの要部の構成を模式的に示すブロック図である。
図１において、１００はデジタルカメラである。なお、デジタルカメラ１００は、デジタルスチルカメラとデジタルビデオカメラのいずれであってもよい。本発明の第１の実施例においては、デジタルカメラ１００がデジタルスチルカメラであるものとする。
１０１は撮像光学系である。撮像光学系１０１は、ズームレンズやフォーカシングレンズ（以下、撮像レンズと称する）により構成される。
１０２は、撮像素子である。撮像素子１０２には、ＣＣＤやＣＭＯＳセンサーが適用される。そして、撮像素子１０２は、撮像光学系１０１の撮像レンズによって結像された被写体像を光電変換して画像信号（電気信号）を生成し、生成した画像信号を出力する。撮像素子１０２は、ベイヤー配列される複数の画素を有し、各画素の出力を加算してベイヤー配列の画像信号を生成する。撮像素子の構成については後述する。
１０３は、Ａ／Ｄ変換部である。Ａ／Ｄ変換部１０３は、撮像素子１０２が出力する画像信号を、アナログ信号からデジタル信号に変換する。そして、撮像素子１０２が出力する画像信号は、Ａ／Ｄ変換部１０３を介して信号処理部１０６（後述）および瞳分割画像取得部１０８（後述）に入力される。
１０４はシステム制御用ＣＰＵである。システム制御用ＣＰＵ１０４はデジタルカメラ１００のシステム全体の動作を制御する。
１０５は、メモリである。メモリ１０５は、データを記憶する。
１０６は、信号処理部である。信号処理部１０６には、撮像素子１０２が出力した画像信号が、Ａ／Ｄ変換部１０３によりデジタル信号に変換された後に入力される。そして、信号処理部１０６は、撮像素子１０２が出力するベイヤー配列の画像信号に対して所定の信号処理を行う。
１０７は、画像処理部である。画像処理部１０７は、信号処理部１０６が出力する画像信号に対して、ホワイトバランスの調整などの画像処理を行う。
１０８は瞳分割画像取得部である。瞳分割画像取得部１０８には、撮像素子１０２が出力する画像信号が、Ａ／Ｄ変換部１０３によりデジタル信号に変換された後に入力される。そして、瞳分割画像取得部１０８は、撮像素子１０２によって瞳分割された信号情報に基づいて、左右に視差のついた１対のステレオ画像を生成する。
１０９は、距離演算部である。距離演算部１０９は、瞳分割画像取得部１０８が生成したステレオ画像から、被写体の距離を演算する。被写体の距離の演算の方法には、複数の光電変換領域を有する撮像素子を使用した位相差検出方式が適用される。

ここで、撮像素子１０２の構成と、各画素における被写体の距離の演算の方法について、図２と図３を参照して説明する。
図２（ａ）は、撮像素子１０２の画素の構成を示す平面図であり、図２（ｂ）は、撮像素子１０２の画素の構成を示す断面図である。図２において、７００はマイクロレンズであり、７０３は画素であり、７０１と７０２は画素７０３の光電変換部である。図２に示すように、１つのマイクロレンズ７００に対して、１つの画素７０３を有する。そして、１つの画素７０３は、左右の二つの光電変換部７０１，７０２を有する。このような構成により、撮像素子１０２は、瞳分割を行う。説明の便宜上、左右の光電変換部７０１の一方をＡ画素、他方をＢ画素と称して区別する。また、Ａ画素により形成される画像（＝Ａ画素のみを集めて形成される画像）をＡ画像と称し、Ｂ画素により形成される画像をＢ画像と称する。
図３は、第１の実施例における撮像素子１０２の画素７０３の光電変換部７０１，７０２と、カラーフィルター８０１Ｒ，８０２Ｒ，８０１Ｇ，８０２Ｇ，８０１Ｂ，８０２Ｂの配置を模式的に示す平面図である。なお、図３においては、２列×２列の画素をのみを抜き出して示す。撮像素子１０２の各画素７０３には、Ｒ（赤色）のカラーフィルター８０１Ｒ，８０２Ｒと、Ｇ（緑）のカラーフィルター８０１Ｇ，８０２Ｇと、Ｂ（青）のカラーフィルター８０１Ｂ，８０２Ｂが規則的に並べられる。これにより、撮像素子１０２には、一般的なベイヤー配列が形成される。１つの画素７０３は、それぞれＡ画像とＢ画像のための２つの光電変換部７０１，７０２を有している。例えば、図３では、左上のＧの画素７０３は、左側の光電変換部７０１（符号Ｇ１で示す光電変換部）および右側の光電変換部７０１（符号Ｇ２で示す光電変換部）を有する。このような構成によれば、各画素７０３の２つの光電変換部７０１，７０２は、瞳分割によって異なる射出瞳を通過した光を光電変換する。

ここで、撮像素子１０２を使用した被写体の距離の演算方法の概略を、図４を参照して説明する。図４は、撮像素子１０２と、撮像光学系１０１に含まれるレンズ４００との関係を模式的に示す図である。図４に示すように、デジタルカメラ１００は、撮像光学系１０１に含まれるレンズ４００の互いに異なる２つの射出瞳領域（ここでは、上側の領域Ａと下側の領域Ｂ）を通過した２つの光束を、撮像素子１０２で受光する。ここで、レンズ４００による結像が撮像素子１０２の受光面よりも前（＝レンズ４００の側）に存在すると、図４中の射出瞳の上側の領域Ａを通る半光束は、撮像素子１０２の受光面において、Ａ'に示すように下側にシフトする。一方、図４中の射出瞳の下側の領域Ｂを通過する半光束は、Ｂ'に示すように上側にシフトする。撮像素子１０２は、一方の射出瞳を通過した光束でＡ画像を生成し、他方の射出瞳を通過した光束でＢ画像を生成する。距離演算部１０９は、Ａ画像とＢ画像とのずれ量（すなわち、光束の分割方向の相対的な位置ずれ量）を演算する。そして、距離演算部１０９は、演算したデフォーカス量と、レンズや絞りの各情報とを使用して、デジタルカメラ１００と被写体との距離を演算する。

図１において、１１０は信頼度演算部である。信頼度演算部１１０は、距離演算部１０９による距離の演算の結果の信頼度を演算し、画素ごとに信頼度の高低を決定する。信頼度演算部１１０は、信頼度を、距離演算部１０９による距離の演算の結果の勾配を用いて演算する。

ここで、信頼度について、図５と図６とを参照して説明する。図５（ａ）と図５（ｂ）は、位相の異なる一対の画像から、被写体の像のずれ量を演算する方法を模式的に示す図である。そして、図５（ａ）は基準画像を示し、図５（ｂ）は参照画像を示す。距離演算部１０９は、基準画像の相関演算領域１０００と、参照画像の相関演算領域１００１〜１００５との相関の評価値を、参照画像の相関演算領域１００１〜１００５を順次シフトしながら演算する。具体的には、まず、距離演算部１０９は、基準画像の相関演算領域１０００と参照画像の相関演算領域１００１〜１００５の同じ位置に存在する画素の輝度値の差分をとる。そして、距離演算部１０９は、基準画像の相関演算領域１０００と参照画像の相関演算領域１００１〜１００５内の全ての画素について、輝度値の差分を総和する。この値が相関の評価値となる。基準画像の相関演算領域１０００に含まれる像と、参照画像の相関演算領域１００１〜１００５に含まれる像が完全に一致すると、相関の評価値は０となる。従って、相関の評価値が最小になるシフト数における画素が、参照画像における対応点となる。

図６（ａ）および図６（ｂ）は、基準画像の相関演算領域１０００と参照画像の相関演算領域１００１〜１００５の相関の評価値をプロットした図である。横軸がシフト数であり、縦軸が相関の評価値を表している。図６（ａ）は、信頼度演算部１１０により信頼度が高いと判定される相関の評価値の例を示す。図１１（ａ）では、参照画像の相関演算領域がシフトするごとに、相関の評価値が変動する。そして、評価値が最小値となるシフト数、つまり対応点が一意に定まる。図１１（ｂ）は、信頼度演算部１１０により信頼度が低いと判定される相関の評価値の例を示す。図１１（ｂ）は、輝度値に変化の無い領域について相関演算を行った結果の例である。この場合には、評価値は常に一定になるため、一意に対応点を求めることが出来ない。よって、信頼度は低いと判断される。

図１において、１１１は距離補間演算部である。距離補間演算部１１１は、所定の条件を充足する場合に、信頼度が低い画素の距離情報（＝被写体までの距離を示す情報）を、当該画素の周囲に存在する信頼度が高い画素の距離情報を用いて補間する。詳細は後述する。
１１２はヒストグラム生成部である。ヒストグラム生成部１１２は、複数のヒストグラムを生成する。ヒストグラム生成部１１２は、ヒストグラム演算用のマイコンを有する。そして、ヒストグラム生成部１１２は、設定されているヒストグラム生成モードに応じて、ヒストグラムを生成する。ヒストグラム生成モードについては後述する。
１１３は、表示用画像生成部である。表示用画像生成部１１３は、撮像用画像に、絞り数値や、ＩＳＯ感度や、ヒストグラム生成部１１２が生成したヒストグラムなどの情報を重畳した表示用画像を生成する。なお、撮像用画像とは、撮像素子１０２によって生成され、Ａ／Ｄ変換部１０３と信号処理部１０６と画像処理部１０７によって所定の信号処理と画像処理が施された画像をいう。
１１４は、表示部である。表示部１１４は、ＴＦＴ液晶表示パネルなどの画像表示デバイスを有する。そして、表示部１１４は、表示用画像生成部１１３が生成した表示用画像を、Ｄ／Ａ変換部（図略）を介して表示する。
なお、表示用画像生成部１１３は、撮像用画像をリアルタイムで処理し、表示部１１４は、表示用画像生成部１１３が生成した表示用画像を、リアルタイムで表示できる。これにより、表示部１１４は、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、表示部１１４は、複数のヒストグラムを同時に表示することができる（＝複数のヒストグラムを含む表示用画像を表示できる）。
１１５は、ヒストグラム生成方法切替部である。ヒストグラム生成方法切替部１１５は、ユーザーによるモード切替操作によって、ヒストグラム生成モードを切替える。ヒストグラム生成モードは、「推定モード」と「除外モード」と「通常モード」の３種類のいずれかに設定される。「推定モード」においては、ヒストグラム生成部１１２は、信頼度演算部１１０により信頼度が低いと判定された画素の距離を、周辺の画素から補間してヒストグラムを作成する。「除外モード」においては、ヒストグラム生成部１１２は、信頼度演算部１１０により信頼度が低いと判定された画素の情報を除外してヒストグラムを作成する。「通常モード」においては、ヒストグラム生成部１１２は、信頼度の高低に関わらず、ヒストグラムを作成する。そして、ヒストグラム生成部１１２は、ヒストグラム生成方法切替部１１５により設定されたモードに基づき、複数のヒストグラムを生成する。なお、実施例では、ヒストグラム生成方法切替部１１５は、「推定モード」と「除外モード」と「通常モード」３種類のモードが指定可能であるが、他の種類のモードを選択項目として含む構成であっても良い。

次に、表示部１１４にヒストグラムを表示させる処理について、図７〜図１０を参照して説明する。この処理は、コンピュータプログラム（コンピュータソフトウェア）として、デジタルカメラ１００のメモリ１０５や、図略のＲＯＭや、ヒストグラム演算用のマイコンのＲＯＭなどに格納されている。そして、システム制御用ＣＰＵ、距離補間演算部１１１、ヒストグラム生成部１１２、表示用画像生成部１１３、表示部１１４などが読み出して実行することにより、この処理が実行される。また、この処理においては、表示部１１４は、電子ビューファインダーとして機能し、表示用画像生成部１１３が生成した画像を逐次表示する。

（表示部１１４にヒストグラムを表示させる処理の全体的な流れ）
ここで、表示部１１４にヒストグラムを表示させる処理の全体的な流れについて、図７を参照して説明する。図７は、表示部に複数のヒストグラムを表示させる処理の全体的な流れを示すフローチャートである。
まず、ステップＳ７００において、システム制御用ＣＰＵ１０４は、表示部１１４にヒストグラムを表示させる処理を開始する。
次に、ステップＳ７０１において、システム制御用ＣＰＵ１０４は、ヒストグラム表示モードがＯＮかＯＦＦの判定を行う。ヒストグラム表示モードがＯＦＦの場合は（「ＮＯ」の場合は）、システム制御用ＣＰＵ１０４は、ヒストグラムの生成を行わずにステップＳ７０８に進む。一方、ステップＳ７０１において、ヒストグラム表示モードがＯＮの場合は（「ＹＥＳ」の場合は）、システム制御用ＣＰＵ１０４は、ステップＳ７０２に進む。
ステップＳ７０２においては、システム制御用ＣＰＵ１０４は、距離別ヒストグラムの表示がＯＮかＯＦＦの判定を行う。距離別ヒストグラム表示モードがＯＮの場合は（「ＹＥＳ」の場合は）、システム制御用ＣＰＵ１０４は、ステップＳ７０３に進み、距離別ヒストグラムの生成方法の判定を行う。一方、距離別ヒストグラム表示モードがＯＦＦの場合は（「ＮＯ」の場合は）、システム制御用ＣＰＵ１０４は、ステップＳ７０７に進み、画像全体のヒストグラムを生成する。その後、システム制御用ＣＰＵ１０４は、ステップＳ７０８に進む。
次に、ステップＳ７０３において、システム制御用ＣＰＵ１０４は、設定されているヒストグラム生成モードを判断する。そして、システム制御用ＣＰＵ１０４は、ヒストグラム生成モードが「推定モード」に設定されていればステップＳ７０４に進み、「除外モード」に設定されていればステップＳ７０５に進み、「通常モード」に設定されていればステップＳ７０６に進む。
ステップＳ７０４、Ｓ７０５、Ｓ７０６では、ヒストグラム生成部１１２は、システム制御用ＣＰＵ１０４により判定されたヒストグラム生成モードに応じて、距離範囲ごとの複数のヒストグラムを生成する。なお、距離範囲ごとの複数のヒストグラム作成の方法は後述する。ステップＳ７０４，Ｓ７０５，Ｓ７０６のそれぞれでのヒストグラム生成処理が終了すると、システム制御用ＣＰＵ１０４は、ステップＳ７０８に進む。
ステップＳ７０８では、表示用画像生成部１１３は、ステップＳ７０４，Ｓ７０５，Ｓ７０６，Ｓ７０７のそれぞれで生成した複数のヒストグラムを、画像処理部１０７が画像処理した撮像用画像に合成する。合成された画像が、表示部１１４において表示される表示用画像となる。そして、表示部１１４は、表示用画像生成部１１３が生成した表示用画像を表示する。したがって、表示部１１４には、複数のヒストグラムが同時に表示される。なお、ステップＳ７０１において、ヒストグラム表示がＯＦＦであった場合には、表示用画像生成部１１３は、ステップＳ７０４，Ｓ７０５，Ｓ７０６，Ｓ７０７のそれぞれで生成したヒストグラムを、１０５で画像処理された撮像用画像に合成しない。このため、この場合には、表示部１１４はヒストグラムを表示しない。
ステップＳ７０９において、この処理が終了する。

（推定モードにおけるヒストグラムの生成の処理）
次いで、ヒストグラム生成モードが「推定モード」の場合におけるヒストグラムの生成の処理について、図８を参照して説明する。この処理は、図７のステップＳ７０４に含まれる処理である。
推定モードにおいては、ヒストグラム生成部１１２（＝ヒストグラム演算用のマイコン）は、信頼度の低い画素の距離情報を、当該画素の周辺に存在する信頼度の高い画素の距離情報に基づいて補間する。そして、ヒストグラム生成部１１２は、補正結果を用いて輝度値の分布を示すヒストグラムを生成する。
ステップＳ８００では、ヒストグラム生成部１１２は、推定モードにおけるヒストグラム生成の処理を開始する。
ステップＳ８０１では、ヒストグラム生成部１１２は、ヒストグラムの演算回数を初期化する。そして、ヒストグラム生成部１１２は、初期化が終わるとステップＳ８０２に進む。
ステップＳ８０２では、ヒストグラム生成部１１２は、１フレームの画素数と演算回数を比較する。演算回数が１フレームの画素数よりも大きければ、ヒストグラム生成部１１２は、ヒストグラム作成終了と判断しステップＳ８１０に移行する。一方、演算回数が１フレームの画素数よりも少ない場合は、ヒストグラム生成部１１２は、ステップＳ８０３に移行する。
ステップＳ８０３では、ヒストグラム生成部１１２は、現在演算中の画素に対する距離の演算の結果の信頼度の高低を判定する。信頼度の高低の判定の方法は、前記のとおりである。信頼度が低い場合はステップＳ８０４の補間処理に移行し、信頼度が高い場合はステップＳ８０５へと移行する。
ステップＳ８０４では、ヒストグラム生成部１１２は、距離演算の信頼度の低い画素の距離情報を、当該画素の周辺に存在する信頼度の高い距離情報を有する画素の距離情報で上書きする。このように、ヒストグラム生成部１１２は、ヒストグラム生成モードが「推定モード」に設定されており、かつ、信頼度演算部１１０の出力結果が「低い信頼度」であった場合に、低い信頼度の画素の距離情報を周囲の信頼度高の画素から補間する。
ステップＳ８０５では、ヒストグラム生成部１１２は、各画素の距離情報から、各画素が、特定の閾値により分割された複数の距離範囲のいずれに該当するかを判定する。この実施例では、特定の閾値により分割された複数の距離範囲として、「近距離」と「中距離」と「遠距離」の３つの距離範囲が適用される。そしてこの実施例においては、「近距離」は、被写体までの距離が０〜３ｍの距離範囲に設定される。「中距離」は、被写体までの距離が３〜８ｍの距離範囲に設定される。「遠距離」は、被写体までの距離が８〜∞ｍの距離範囲に設定される。ヒストグラム生成部１１２は、各画素の距離情報が、「近距離」と「中距離」と「遠距離」のいずれであるかを判定する。そして、ヒストグラム生成部１１２は、判定結果に基づいて、ステップＳ８０６，ステップＳ８０７，ステップＳ８０８のいずれかに移行する。具体的には、ヒストグラム生成部１１２は、距離情報が「近距離」（０〜３ｍ）の場合にはＳ８０６へ移行し、距離情報が「中距離」（３〜８ｍ）の場合にはステップＳ８０７へ移行し、距離情報が「遠距離」（８〜∞ｍ）の場合にはステップＳ８０８へ移行する。
なお、前記距離範囲の分割の数および前記特定の閾値は一例であり、本発明は、前記分割数および前記閾値に限定されるものではない。
ステップＳ８０６〜ステップＳ８０８では、ヒストグラム生成部１１２は、ステップＳ８０５で特定の閾値で分割された距離ごとの画素の輝度値のレベルをカウントする。たとえば、輝度値のレベルは２５６段階で分類される。そして、ヒストグラム生成部１１２は、分類した画素の輝度値を、それぞれのヒストグラム演算カウンタに加算する。このように、ステップＳ８０６、ステップＳ８０７、ステップＳ８０８においては、ヒストグラム生成部１１２は、特定の閾値で分割された距離範囲ごとに、輝度値の分布を示すヒストグラムを生成する。
ステップＳ８０９では、ヒストグラム生成部１１２は、現在の演算回数をインクリメントし、ステップＳ８０２へと移行する。
ステップＳ８１０において、推定モードにおけるヒストグラム生成が終了する。

（除外モードにおけるヒストグラムの生成の処理）
次いで、ヒストグラム生成モードが「除外モード」の場合におけるヒストグラムの生成の処理について、図９を参照して説明する。この処理は、図７のステップＳ７０５に含まれる処理である。
除外モードにおいては、ヒストグラム生成部１１２（＝ヒストグラム演算用のマイコン）は、信頼度の低い画素を除外して輝度値の分布を示すヒストグラムを生成する。
ステップＳ９００では、ヒストグラム生成部１１２は、除外モードにおけるヒストグラム生成の処理を開始する。
ステップＳ９０１では、ヒストグラム生成部１１２は、ヒストグラムの演算回数を初期化する。そして、ヒストグラム生成部１１２は、初期化が終わるとステップＳ９０２に進む。
ステップＳ９０２では、ヒストグラム生成部１１２は、１フレームの画素数と演算回数を比較する。演算回数が１フレームの画素数よりも大きければ、ヒストグラム生成部１１２は、ヒストグラム作成終了と判断しステップＳ９０９に移行する。一方、演算回数が１フレームの画素数よりも少ない場合は、ヒストグラム生成部１１２は、ステップＳ９０３に移行する。
ステップＳ９０３では、ヒストグラム生成部１１２は、現在演算中の画素に対する距離の演算の結果の信頼度の高低を判定する。信頼度の判定の方法は、前記のとおりである。信頼度が高い場合はステップＳ９０４に移行し、信頼度が低い場合はステップＳ９０８へ移行する。
ステップＳ９０４では、ヒストグラム生成部１１２は、各画素の距離情報から、各画素が、特定の閾値により分割された複数の距離範囲のいずれに該当するかを判定する。なお、距離範囲の分割数および特定の閾値は、前記の「推定モードにおけるヒストグラムの生成の処理」（Ｓ８０５）と同じ構成が適用される。したがって、ヒストグラム生成部１１２は、各画素の距離情報が、「近距離」と「中距離」と「遠距離」のいずれであるかを判定する。そして、ヒストグラム生成部１１２は、距離情報が「近距離」（０〜３ｍ）の場合にはＳ９０５へ移行し、距離情報が「中距離」（３〜８ｍ）の場合にはステップＳ９０６へ移行し、距離情報が「遠距離」（８〜∞ｍ）の場合にはステップＳ９０７へ移行する。
ステップＳ９０５，ステップＳ９０６、ステップＳ９０７のそれぞれでは、ヒストグラム生成部１１２は、ステップＳ９０４で特定の閾値で分割された距離範囲ごとに画素の輝度値のレベルをカウントする。たとえば、輝度値のレベルは２５６段階で分類される。そして、ヒストグラム生成部１１２は、分類した画素の輝度を、それぞれのヒストグラム演算カウンタに加算する。このように、ステップＳ９０５、ステップＳ９０６、ステップＳ９０７においては、ヒストグラム生成部１１２は、特定の閾値で分割された距離範囲ごとに輝度値の分布を示すヒストグラムを生成する。
ステップＳ９０８では、ヒストグラム生成部１１２は、現在の演算回数をインクリメントし、ステップＳ９０２へと移行する。
ステップＳ９０９において、除外モードにおけるヒストグラム生成の処理が終了する。

（通常モードにおけるヒストグラムの生成の処理）
次いで、ヒストグラム生成モードが「通常モード」の場合におけるヒストグラムの生成の処理について、図１０を参照して説明する。この処理は、図７のステップＳ７０６に含まれる処理である。
通常モードにおいては、ヒストグラム生成部１１２（＝ヒストグラム演算用のマイコン）は、距離の演算の結果のみを用いて、輝度値の分布を示すヒストグラムを生成する。
ステップＳ１０００では、ヒストグラム生成部１１２は、通常モードにおけるヒストグラム生成の処理を開始する。
ステップＳ１００１では、ヒストグラム生成部１１２は、ヒストグラムの演算回数を初期化する。そして、ヒストグラム生成部１１２は、初期化が終わると、ステップＳ１００２に進む。
ステップＳ１００２では、ヒストグラム生成部１１２は、１フレームの画素数と演算回数を比較する。演算回数が１フレームの画素数よりも大きければ、ヒストグラム生成部１１２は、ヒストグラム作成終了と判断し、ステップＳ１００８に移行する。一方、演算回数が１フレームの画素数よりも少ない場合は、ヒストグラム生成部１１２は、ステップＳ１００３に移行する。
ステップＳ１００３では、ヒストグラム生成部１１２は、各画素の距離情報から、各画素が、特定の閾値により分割された複数の距離範囲のいずれに該当するかを判定する。なお、距離範囲の分割数および特定の閾値は、前記の「推定モードにおけるヒストグラムの生成の処理」（Ｓ８０５）と同じ構成が適用される。したがって、ヒストグラム生成部１１２は、各画素の距離情報が、「近距離」と「中距離」と「遠距離」のいずれであるかを判定する。そして、ヒストグラム生成部１１２は、距離情報が「近距離」（０〜３ｍ）の場合にはＳ１００４へ移行し、距離情報が「中距離」（３〜８ｍ）の場合にはステップＳ１００５へ移行し、距離情報が「遠距離」（８〜∞ｍ）の場合にはステップＳ１００６へ移行する。
ステップＳ１００４、ステップＳ１００５、ステップＳ１００６のそれぞれでは、ヒストグラム生成部１１２は、ステップＳ１００３で特定の閾値で分割された距離範囲ごとに、画素の輝度値のレベルをカウントする。たとえば、輝度値のレベルは２５６段階で分類される。そして、ヒストグラム生成部１１２は、分類した画素の輝度を、それぞれのヒストグラム演算カウンタに加算する。このように、ステップＳ１００４、ステップＳ１００５、ステップＳ１００６においては、ヒストグラム生成部１１２は、特定の閾値で分割され距離範囲ごとに輝度値の分布を示すヒストグラムを生成する。
ステップＳ１００７では、ヒストグラム生成部１１２は、現在の演算回数をインクリメントし、ステップＳ１００２へと移行する。
ステップＳ１００８において、通常モードにおけるヒストグラム生成の処理が終了する。

（ヒストグラムの表示の例）
次いで、表示部１１４によるヒストグラムの表示の例について、図１１を参照して説明する。図１１（ａ）は、表示部１１４が表示する表示用画像の全体の例を示す図である。図１１（ｂ）は、表示部１１４が表示する表示用画像に含まれるヒストグラムの表示の態様の例を示す図である。
表示部１１４は、デジタルカメラ１００が撮像可能な状態において電子ビューファインダー６００として機能すると、表示用画像生成部１１３が生成する表示用画像を逐次表示する。
図１１（ａ）において、６０１は、ＩＳＯ感度表示である。ＩＳＯ感度表示６０１は、ＩＳＯ感度の現在の設定値を、撮像用画像に重畳して表示する。
６０２は、Ｆ値および露出補正の設定値表示である。Ｆ値および露出補正の設定値表示６０２は、現在のＦ値および露出補正の設定値を、撮像用画像に重畳して表示する。
６０３は、近距離の被写体を示す。近距離の被写体６０３は、デジタルカメラ１００から０〜３ｍの距離に存在する被写体とする。６０４は、中距離の被写体を示す。中距離の被写体６０４は、デジタルカメラ１００から３〜８ｍの距離に存在する被写体とする。６０５は、遠距離の被写体を示す。遠距離の被写体６０５は、デジタルカメラ１００から８〜∞ｍの距離に存在する被写体とする。
６０６は、ヒストグラム表示である。ヒストグラム表示６０６は、ヒストグラム生成部１１２が生成した距離別の複数のヒストグラムを、撮像用画像に重畳して同時に表示する。図１１（ｂ）は、ヒストグラム表示６０６を拡大して示す図である。
６０７は上段の補助表示である。６１０は、上段のヒストグラムである。上段の補助表示６０７は、上段のヒストグラム６１０が、近距離（０〜３ｍ）の距離範囲のヒストグラムであることを示す。上段のヒストグラム６１０は、近距離の被写体６０３の輝度値の分布を示す。
６０８は中段の補助表示である。６１１は、中段のヒストグラムである。中段の補助表示６０８は、中段のヒストグラム６１１が、中距離（３〜８ｍ）の距離範囲のヒストグラムであることを示す。中段のヒストグラム６１１は、中距離の被写体６０４の輝度値の分布を示す。
６０９は、下段の補助表示である。６１２は、下段のヒストグラムである。下段の補助表示６０９は、下段のヒストグラム６１２が、遠距離（８〜∞ｍ）の距離範囲のヒストグラムであることを示す。下段のヒストグラム６１２は、遠距離の被写体６０５の輝度値の分布を示す。
このように、表示用画像生成部１１３は、撮像用画像に複数のヒストグラムを重畳した表示用画像を生成する。したがって、表示部１１４は、複数のヒストグラムを同時に表示できる。

以上、本発明を好適な実施形態（実施例）に基づいて詳述してきたが、本発明はこれら特定の実施形態（実施例）に限られるものではない。本発明は、その要旨を逸脱しない範囲の様々な形態に変形可能である。そして、変形形態も本発明に含まれる。上述した実施形態（実施例）は本発明の一実施形態（実施例）を示すものにすぎない。

例えば、実施例１では、ヒストグラム生成部１１２が画素の輝度値のレベルを用いてヒストグラムを生成する構成であるが、本発明は、このような構成に限定されない。ヒストグラム生成部１１２が各画素のＧ成分からヒストグラムを生成する構成や、Ｒ成分またはＢ成分からヒストグラムを生成する構成であってもよい。そして、これらの構成も、前記実施例１と同様の効果が得られる。
また、実施例では１つのマイクロレンズに対して複数の光電変換部で瞳分割をした例を示したが、本発明は、このような構成に限定されない。要は、瞳分割されている信号であっても、同様の効果が得られる。たとえば、マイクロレンズと光電変換部の間で遮光することによって瞳分割された信号でも同様の効果がある。
また、実施例１においては、単板の撮像素子による画像を用いる構成を示すが、本発明は、２板以上の撮像素子を有する撮像装置であっても、同様の効果が得られる。また瞳分割は、マイクロレンズと光電変換部の間でなくてもよい。たとえば、１枚の撮像素子が、時間分割によってＡ画像とＢ画像と生成する構成であってもよい。
また、実施例１では、被写体までの距離を演算する方法として、瞳分割された像の一致度を使用して演算する方法を示したが、本発明はこの方法に限定されない。たとえば、被写体までの距離を演算する方法としては、コントラスト法や、コントラスト法とのハイブリッド方式による方法が適用できる。

ここで、２枚の撮像素子を有する撮像装置について、図１２を参照して簡単に説明する。図１２は、２枚の撮像素子を有し、Ａ画像とＢ画像とを別個の撮像素子を用いて生成する構成の撮像装置の光学的な構造を模式的に示す図である。
図１２において、１２０１はミラーである。１２０２は絞りである。１２０３はリレーレンズである。リレーレンズ１２０３は、物体側の焦点位置にある点光源からの光を平行にする。ミラー１２０１は、光を平行領域（＝リレーレンズ１２０３によって光が平行となった領域）において同時に左右に２つに分割する。１２０４，１２０５はミラーである。１２０６，１２０７は結像レンズである。１２０８，１２０９は撮像素子である。ミラー１２０４，１２０５は、左右に２つに分割された光のそれぞれを、左右それぞれの結像レンズ１２０６，１２０７に導き、左右それぞれの結像レンズ１２０６，１２０７に導かれた光は、それぞれ、撮像素子１２０８，１２０９に結像する。このような構成の光学系を有する撮像装置においては、別々の撮像素子１２０８，１２０９がＡ画像とＢ画像とを生成する。そして、このような光学系を有する撮像装置に本発明が適用されると、前記実施例１と同様の効果が得られる。

本発明は、デジタルカメラやビデオカメラ等の撮像装置と、ヒストグラムの表示方法と、のプログラムに有効な技術である。

１００：デジタルカメラ、１０１：撮像光学系、１０２：撮像素子、１０３：Ａ／Ｄ変換部、１０４：システム制御用ＣＰＵ、１０５：メモリ、１０６：信号処理部、１０７：画像処理部、１０８：瞳分割画像取得部、１０９：距離演算部、１１０：信頼度演算部、１１１：距離補間演算部、１１２：ヒストグラム生成部、１１３：表示用画像生成部、１１４：表示部、１１５：ヒストグラム生成方法切替部

Claims (26)

1. 被写体を撮像し、画像信号を出力する撮像手段と、
   画像信号に対応する、被写体までの距離を演算する距離演算手段と、
   前記距離演算手段の演算結果に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するヒストグラム生成手段と、
   前記複数のヒストグラムを表示媒体に表示する表示制御手段と、
   を有し、
   前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とする撮像装置。
2. 前記距離演算手段の演算結果の信頼度を演算する信頼度演算手段をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記信頼度演算手段の演算結果に基づいて、画像信号の対象領域に対応する被写体までの距離を、対象領域以外の領域に対応する被写体までの距離の補間によって演算する補間演算手段を更に備え、
   前記ヒストグラム生成手段は、前記信頼度演算手段により得られる信頼度が基準より高い領域に対応する被写体までの距離としては、前記距離演算手段が演算した前記被写体までの距離を用い、前記信頼度演算手段により得られる信頼度が前記基準より低い領域に対応する被写体までの距離としては、前記信頼度と前記距離演算手段が演算し前記補間演算手段が補間した前記被写体までの距離とを用いて、前記複数のヒストグラムを生成することを特徴とする請求項２に記載の撮像装置。
4. 前記ヒストグラム生成手段による前記ヒストグラムの生成方法には、前記信頼度が前記基準より低いと判定した画素の輝度値を除外して前記複数のヒストグラムを生成する方法が含まれることを特徴とする請求項３に記載の撮像装置。
5. 前記ヒストグラム生成手段は、画像信号の複数の領域について、それぞれ対応する輝度値または色成分と、被写体までの距離を取得し、
   各領域に対応する輝度値または色成分を、対応する被写体までの距離に基づいて距離範囲ごとに分類し、
   距離範囲ごとに設けられた複数のヒストグラム演算カウンタに、それぞれカウントさせることで前記複数のヒストグラムを生成することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記ヒストグラム生成手段は、ヒストグラムの生成方法を切り替えられることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記ヒストグラム生成手段は、ユーザ操作に応じてヒストグラムの生成方法を切り替えることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記表示制御手段は、前記ヒストグラム生成手段が生成した複数のヒストグラムを前記表示媒体の同一画面上に表示することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
9. 前記表示制御手段は、前記複数のヒストグラムを距離順に並べて表示することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記表示制御手段は、前記ヒストグラム生成手段が生成したヒストグラムを前記撮像手段から得られる画像信号に合成して、前記表示媒体に表示することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記距離演算手段は、前記撮像手段により得られる視差を有する対となる画像信号を用いて被写体までの距離を演算することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記撮像手段は、撮像光学系の異なる射出瞳領域を通過した光束をそれぞれ受光して対となる画像信号を出力し、
    前記距離演算手段は、前記対となる画像信号を用いて被写体までの距離を演算することを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
13. 画像信号を生成するステップと、
    画像信号に対応する、被写体までの距離を演算するステップと、
    前記被写体までの距離の演算の結果に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するステップと、
    前記複数のヒストグラムを表示媒体に表示するステップと、
    を有し、
    前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とするヒストグラムの表示方法。
14. ヒストグラムを表示媒体に表示する表示制御手段を有する画像処理装置のコンピュータに、
    画像信号に対応する、被写体までの距離を演算するステップと、
    前記被写体までの距離の演算の結果に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するステップと、
    前記複数のヒストグラムを前記表示媒体に表示するステップと、
    を実行させ、
    前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とするプログラム。
15. 画像信号と、前記画像信号に対応する、被写体までの距離を示す距離情報を取得する取得手段と、
    前記画像信号と、対応する前記距離情報に基づいて、複数の距離範囲についてそれぞれヒストグラムを生成するヒストグラム生成手段と、
    前記複数のヒストグラムを表示媒体に表示する表示制御手段と、
    を有し、
    前記複数のヒストグラムは、前記画像信号から得られた輝度値のレベルのヒストグラムと前記画像信号から得られた色成分のヒストグラムの少なくともいずれかであることを特徴とする画像処理装置。
16. 前記取得手段は、前記距離情報の信頼度に関する情報を取得することを特徴とする請求項１５に記載の画像処理装置。
17. 画像信号に対応する、被写体までの距離を演算する距離演算手段と、
    前記信頼度に基づいて、前記画像信号の対象領域に対応する被写体までの距離を、対象領域以外の領域に対応する被写体までの距離の補間によって演算する補間演算手段と、
    を更に備え、
    前記ヒストグラム生成手段は、前記信頼度が基準より高い領域に対応する被写体までの距離としては、前記距離情報の距離を用い、前記信頼度が前記基準より低い領域に対応する被写体までの距離としては、前記信頼度と前記距離演算手段が演算し前記補間演算手段が補間した前記被写体までの距離とを用いて、前記複数のヒストグラムを生成することを特徴とする請求項１６に記載の画像処理装置。
18. 前記ヒストグラム生成手段による前記ヒストグラムの生成方法には、前記信頼度が前記基準より低いと判定した画素の輝度値を除外して前記複数のヒストグラムを生成する方法が含まれることを特徴とする請求項１７に記載の画像処理装置。
19. 前記ヒストグラム生成手段は、ヒストグラムの生成方法を切り替えられることを特徴とする請求項１５から１８のいずれか１項に記載の画像処理装置。
20. 前記ヒストグラム生成手段は、ユーザ操作に応じてヒストグラムの生成方法を切り替えることを特徴とする請求項１５から１９のいずれか１項に記載の画像処理装置。
21. 前記表示制御手段は、前記ヒストグラム生成手段が生成した複数のヒストグラムを同時に表示することを特徴とする請求項１５から２０のいずれか１項に記載の画像処理装置。
22. 前記表示制御手段は、前記複数のヒストグラムが距離順に並べて表示することを特徴とする請求項１５から２１いずれか１項に記載の画像処理装置。
23. 前記表示制御手段は、前記ヒストグラム生成手段が生成したヒストグラムを前記画像信号に合成して、前記表示媒体に表示することを特徴とする請求項１５から２２のいずれか１項に記載の画像処理装置。
24. 前記距離情報は、視差を有する対となる画像信号を用いて演算されたものであることを特徴とする請求項１５から２３のいずれか１項に記載の画像処理装置。
25. 前記取得手段は、対となる画像信号を取得し、
    前記距離情報は、撮像光学系の異なる射出瞳領域を通過した光束をそれぞれ受光して得られる対となる画像信号を用いて演算されたものであることを特徴とする請求項１５から２４のいずれか１項に記載の画像処理装置。
26. 前記ヒストグラム生成手段は、画像信号の複数の領域について、それぞれ対応する輝度値または色成分と、被写体までの距離を取得し、
    各領域に対応する輝度値または色成分を、対応する被写体までの距離に基づいて距離範囲ごとに分類し、
    距離範囲ごとに設けられた複数のヒストグラム演算カウンタに、それぞれカウントさせることで前記複数のヒストグラムを生成することを特徴とする請求項１５から２５のいずれか１項に記載の画像処理装置。

Images