JP5789330B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

従来、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いたデジタルカメラやデジタルビデオが広く用いられている。しかし、これらの撮像素子は銀塩フィルムと比較してダイナミックスレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生しやすかった。

このような問題に対し、自動的にダイナミックスレンジをコントロール可能なシステムが提案されている。

例えば特許文献１では、撮像された画像から、主要被写体が逆光又はハイコントラストであると検出された場合には、画像のヒストグラムから黒色飽和点及び白色飽和点を特定し、主要被写体の明るさが適正となるように階調補正を行うことが提案されている。

また、特許文献２では、高感度の受光素子と低感度の受光素子を配置した撮像素子を用い、同一シーンを異なる感度の受光素子で撮像してダイナミックレンジの異なる２種類の画像を取得し、それらをシーン解析結果に応じて合成することが提案されている。

特開２００５−２０９０１２号公報 特開２００４−１８６８７６号公報

しかし、特許文献１の方法では、コントラスト感を高めるための効果はあるものの、センサーが飽和するポイントは変わらないため、ダイナミックレンジを拡げる効果は得られない。

また、特許文献２の方法では、ダイナミックレンジを拡げる効果は得られるが、感度の異なる受光素子を配置した特別な撮像素子を用いる必要があるため、コストがかかるという問題点があった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、特別な撮像素子を用いることなく、広ダイナミックレンジの画像を得ることが可能な撮像装置及びその制御方法を提供することを目的の１つとする。

上述の目的は、撮像手段と、撮像手段により撮像を行い得られた画像に基づいて被写体の顔領域の検出を行う検出手段と、検出手段により検出された顔領域の輝度に基づいて第１のヒストグラムを作成し、撮像手段により撮像を行い得られた画像の少なくとも顔領域以外の領域の輝度に基づいて第２のヒストグラムを作成する作成手段と、第１のヒストグラムと第２のヒストグラムとに基づいて露出条件を決定する決定手段と、決定手段により決定された露出条件を用いて撮像手段により撮像を行い得られた画像に対して輝度補正を行う補正手段と、を有し、作成手段は、撮像手段により撮像を行い得られた画像の分割された複数の領域のそれぞれについて第２のヒストグラムを作成し、決定手段は、第１のヒストグラムの累積頻度が第１の所定値となる輝度と、第２のヒストグラムが生成された複数の領域のなかの、第２のヒストグラムの累積頻度が第２の所定値となる輝度が所定の閾値よりも大きい値になる領域の数と、に基づいて露出条件を決定することを特徴とする撮像装置によって達成される。

また、上述の目的は、撮像手段により撮像を行い得られた画像に基づいて被写体の顔領域の検出を行う検出ステップと、検出ステップで検出された顔領域の輝度に基づいて第１のヒストグラムを作成する第１の作成ステップと、撮像手段により撮像を行い得られた画像の少なくとも顔領域以外の領域の輝度に基づいて第２のヒストグラムを作成する第２の作成ステップと、第１のヒストグラムと第２のヒストグラムとに基づいて露出条件を決定する決定ステップと、決定ステップで決定された露出条件を用いて撮像手段により撮像を行い得られた画像に対して輝度補正を行う補正ステップと、を有し、第２の作成ステップは、撮像手段により撮像を行い得られた画像の分割された複数の領域のそれぞれについて第２のヒストグラムを作成し、決定ステップは、第１のヒストグラムの累積頻度が第１の所定値となる輝度と、第２のヒストグラムが生成された複数の領域のなかの、第２のヒストグラムの累積頻度が第２の所定値となる輝度が所定の閾値よりも大きい値になる領域の数と、に基づいて露出条件を決定することを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、特別な撮像素子を用いることなく、広ダイナミックレンジの画像を得ることが可能となる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 原画像から顔が検出される過程を模式的に示した図である。 本発明の実施形態に係る撮像装置の顔検出回路における顔検出動作を説明するためのフローチャートである。 ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図である。 本発明の実施形態に係る撮像装置の顔検出回路が用いる２次元ハイパスフィルタの係数の例を示す図である。 本発明の実施形態に係る撮像装置のＡＦＥ回路の構成例を示すブロック図である。 本発明の実施形態に係る撮像装置のヒストグラム作成回路が作成するヒストグラムの例を模式的に示す図である。 本発明の実施形態に係る撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。 本発明の実施形態に係る撮像装置における、ダイナミックレンジ（Ｄレンジ）拡大量の決定動作を説明するためのフローチャートである。 本発明の実施形態に係る撮像装置において、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的に決定するＤレンジ拡大量の具体例を示す図である。 本発明の実施形態に係る撮像装置におけるＤレンジの概念図を表す図である。 本発明の実施形態に係る撮像装置における、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図である。 本発明の実施形態に係る撮像装置の信号処理回路におけるガンマ補正特性の設定例を示す図である。 本発明の実施形態に係る撮像装置における、Ｄレンジ拡大時の本撮像処理の動作を説明するフローチャートである。

以下、添付図面を参照して、本発明を例示的な実施形態に基づき詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、撮像素子を用いて画像を撮像する機能を有する任意の装置を包含する。このような装置は、デジタルスチルカメラおよびデジタルビデオカメラはもとより、カメラを内蔵または接続した携帯電話、ＰＤＡ、パーソナルコンピュータなどを含む。

図１において、操作部１１２は、ボタン、スイッチなどを含み、ユーザが撮像装置に指示を与えたり、設定を行ったりするために用いられる。シャッターボタンも操作部１１２に含まれ、本実施形態ではシャッターボタンの半押し状態と全押し状態とを検出可能であるものとする。

システムコントローラ１０７は、シャッターボタンの半押し状態を撮像準備開始指示、全押し状態を撮像開始指示として認識する。システムコントローラ１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含み、ＲＯＭに記憶されたプログラムをＲＡＭを用いてＣＰＵが実行することにより、撮像装置の動作全般を制御する。

レンズ装置２００は、フォーカスレンズを含むレンズ群と、フォーカスレンズを駆動する駆動装置と、絞りと、メカニカルシャッターとを有し、システムコントローラ１０７の制御に基づいて動作する。

撮像素子１０１はＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの光電変換素子である。アナログフロントエンド（ＡＦＥ）回路１５０は、撮像素子１０１から出力されるアナログ画像信号に対してゲイン調整やＡ／Ｄ変換などを行い、デジタル画像信号として出力する。ＡＦＥ回路１５０の詳細については後述する。

バッファメモリ１０３は、ＡＦＥ回路１５０が出力するデジタル画像信号を一時的に記憶する。
圧縮・伸長回路１０４は、撮像画像データを記録用の画像ファイル（例えばＪＰＥＧファイル）の形式に符号化したり、記録媒体１０６から読み出された画像ファイルの復号化を行ったりする。

記録装置１０５は、内蔵メモリや、着脱可能なメモリカードのような記録媒体１０６に対し、システムコントローラ１０７の制御に従ってデータの読み書きを行う。
表示制御回路１０８は、システムコントローラ１０７の制御に従い、ＬＣＤなどの表示デバイスを有する表示部１１０への表示動作を制御する。
Ｄ／Ａコンバータ１０９は、表示制御回路１０８が出力する表示用のデジタル画像信号を表示部１１０が表示可能なアナログ画像信号に変換する。

表示部１１０は、撮像した画像の表示はもとより、ユーザが撮像装置に対して各種の設定や指示を行うためのＧＵＩ画面や、撮像装置に関する各種情報などの表示を行う。また、連続的に撮像した画像を表示部１１０に逐次表示することにより、表示部１１０を電子ビューファインダ（ＥＶＦ）として機能させることができる。この、表示部１１０をＥＶＦとして機能させるための逐次撮像・表示動作は、スルー表示、ライブビュー表示とも呼ばれる。

顔検出回路１２０は、バッファメモリ１０３に記憶された、ＹＵＶ形式またはＲＡＷ形式の画像データに対して顔検出処理を行い、画像中の顔領域の大きさ、位置を含む顔検出結果をヒストグラム作成回路１３０に出力する。

顔検出回路１２０が用いる顔検出方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

ここで、図２〜図４を参照して、顔検出回路１２０の具体的な顔検出動作例について説明する。
図２は、原画像から顔が検出される過程を模式的に示した図であり、図２（ａ）が原画像を示している。

図３は、顔検出回路１２０の顔検出動作を説明するためのフローチャートである。
Ｓ１０１で顔検出回路１２０は原画像から、肌色領域を抽出する。図４は、ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図であり、その中の楕円は、肌色である可能性が高い領域である。
顔検出回路１２０は、ＲＧＢ形式の原画像データを公知の方法でＬ＊ａ＊ｂ＊形式に変換し、図４の楕円で示した領域内の色度を有する画素からなる肌色領域を抽出する。図２（ｂ）は、原画像から抽出された肌色領域を模式的に示している。

次に、Ｓ１０２で顔検出回路１２０は、抽出した肌色領域から高周波成分を抽出する。具体的には、顔検出回路１２０は、肌色領域に対してハイパスフィルタを適用する。図５は、２次元ハイパスフィルタの係数の例を示す図である。図２（ｂ）の画像にハイパスフィルタを適用した画像の例を図２（ｃ）に示す。

Ｓ１０３で顔検出回路１２０は、ハイパスフィルタを適用後の画像に対し、図２（ｄ）二示すように目のテンプレートを用いたテンプレートマッチングを行い、画像中における目の検出を行う。
Ｓ１０４で顔検出回路１２０は、Ｓ１０３で検出した目の領域の位置関係などに基づいて顔領域を判定し、顔領域の位置や大きさ等を含んだ顔検出結果を求める。

図１に戻って、ヒストグラム作成回路１３０は、顔領域の検出結果を顔検出回路１２０から取得し、顔領域に含まれる画素の輝度値に関するヒストグラムを作成する。ヒストグラム作成回路１３０はまた、画像を複数に分割した部分領域毎に、含まれる画素の輝度値のヒストグラムも作成することが可能である。作成したヒストグラムはバッファメモリ１０３に格納する。

信号処理回路１４０は、システムコントローラ１０７によって設定される信号処理パラメータ（ホワイトバランス補正係数やガンマパラメータなど）に従って、バッファメモリ１０３に格納されている画像データに対して信号処理を適用する。そして、信号処理回路１４０は、ＹＵＶ形式の画像データを生成し、再びバッファメモリ１０３に格納する。

後述するように、本実施形態の撮像装置は、ＡＦＥ回路１５０における感度調整（ゲイン調整）と、信号処理回路１４０におけるガンマ補正とによって、ダイナミックレンジの拡大を実現する。

図６は、ＡＦＥ回路１５０の構成例を示すブロック図である。
クランプ回路１５１は、撮像素子１０１から出力された信号を、センサーの遮光レベルまたは基準電圧領域の出力値が０となるよう、基準黒レベルにクランプする。
ＣＤＳゲイン回路１５２は、クランプされた信号に対し、ＣＤＳゲイン（アナログゲイン）を適用する。一般的なＡＦＥ回路で適用されるＣＤＳゲインは０，３，６［ｄＢ］といった離散的な値を有する。

アナログゲインが適用された信号は、Ａ／Ｄコンバータ１５３でデジタルデータに変換される。次に、可変利得増幅器（ＶＧＡ）ゲイン回路１５４が、デジタルデータに対してＶＧＡゲインを適用する。本実施形態において、ＶＧＡゲインの値は、例えば０〜３６ｄＢの範囲で、０．１２５ｄＢ単位で調整可能であるとする。ＶＧＡゲインが適用された信号は、クリップ回路１５５で所定のビット数にクリップしてバッファメモリ１０３へ出力する。

本実施形態において、撮像装置の撮像感度（ＩＳＯ感度）設定は、ＡＦＥ回路１５０で適用するＣＤＳゲインおよびＶＧＡゲインの値をシステムコントローラ１０７によって制御することにより実現される。

また、基準光量の光で撮像装置を照射し、撮像装置から一定の輝度信号値が出力されるようにＣＤＳゲインおよびＶＧＡゲインを制御することにより、撮像素子１０１の感度特性のバラツキを補正する感度調整を行うことができる。

本実施形態において、感度設定はＣＤＳゲインとＶＧＡゲインの組み合わせて行う。例えば低感度時に全体で６ｄＢのゲインを設定する場合、例えばＣＤＳゲインを３ｄＢ、ＶＧＡゲインを３ｄＢに設定する。また高感度時に２４ｄＢのゲインを設定する場合には、例えばＣＤＳゲインを６ｄＢ、ＶＧＡゲインを１８ｄＢに設定する。上述の通り、一般にＣＤＳゲインは細かい設定ができないため、大まかなゲインを前段のＣＤＳゲインで設定し、感度調整部分など微妙な感度コントロールを行うためにＶＧＡゲインをコントロールする。

一般的に、ゲイン回路は信号成分と同時にノイズ成分も増幅させる。そのため、アナログ回路で重畳するノイズ成分が増幅されることを抑制するために、合計のゲイン量を実現できるＣＤＳゲインとＶＧＡゲインの組み合わせにおいて、前段のＣＤＳゲインをなるべく高めに設定することが好ましい。そのような設定により、Ａ／Ｄコンバータ１５３の量子化精度を最大限に有効利用可能となるという効果も実現できる。

次に、上述の構成を有する撮像装置における、撮像時の動作について説明する。
撮像モードで動作しており、撮像準備指示や撮像開始指示が入力されていないスタンバイ時において、本実施形態の撮像装置は、表示部１１０をＥＶＦとして機能させている。すなわち、システムコントローラ１０７は、所定のレート（例えば３０フレーム／秒）で連続的に撮像し、撮像した画像から表示用画像を生成して、表示部１１０に表示させる処理を実行している。

顔検出の実行が設定されている場合、顔検出回路１２０は表示用画像（以下、ＥＶＦ画像とも呼ぶ）に対して顔検出し、検出結果をシステムコントローラ１０７に出力する。そして、システムコントローラ１０７は、検出された顔領域をユーザに提示するための顔枠をＥＶＦ画像に重畳表示するよう、顔領域の位置情報とともに表示制御回路１０８に対して指示する。

また、顔検出結果はヒストグラム作成回路１３０にも供給され、ヒストグラム作成回路１３０はＥＶＦ画像中の顔領域に含まれる画素からヒストグラムを作成する。また、ヒストグラム作成回路１３０は、画像全体を複数に分割した領域ごとのヒストグラムを作成することもできる。作成したヒストグラムはバッファメモリ１０３に格納される。

図７は、本実施形態においてヒストグラム作成回路１３０が作成するヒストグラムの例を模式的に示す図である。
図７において、画像全体を縦横それぞれ４等分して得られる部分領域７１の各々についてのヒストグラム７３と、顔領域７２についてのヒストグラム７４がそれぞれ作成されることを示している。なお、図７におけるヒストグラム７３，７４は累積ヒストグラムである。なお、部分領域についてヒストグラムを作成する際、顔領域を除外してもよい。そうすることで、顔領域とそれ以外（背景）とのヒストグラムを作成することができる。

本実施形態において、部分領域７１の累積ヒストグラム７３において、頻度８０％となる輝度値ＹＨｉと、顔領域７２の累積ヒストグラム７４において頻度９０％となる輝度値ＹＨｉＦａｃｅは、後述するように、撮像画像の白飛び領域の評価に用いられる。

ユーザがシャッターボタンを全押しして撮像開始指示が入力されると、システムコントローラ１０７は、自動露出制御（ＡＥ）、自動焦点検出（ＡＦ）などの処理結果に基づく撮像動作を行う。具体的には、システムコントローラ１０７は、レンズ装置２００の焦点位置や絞り、メカニカルシャッター、撮像素子１０１、さらに必要に応じてフラッシュ（図示せず）などを制御し、撮像する。

撮像素子１０１から出力されるアナログ画像信号は、上述したＡＦＥ回路１５０を通じて、デジタル画像データとしてバッファメモリ１０３に格納される。このデジタル画像データに対し、信号処理回路１４０は、システムコントローラ１０７から設定された様々な信号処理パラメータに従って処理し、ＹＵＶ形式の画像データを生成して、バッファメモリ１０３に再度格納する。

信号処理回路１４０で処理された画像データは、圧縮・伸長回路１０４によって例えばＪＰＥＧ形式のファイルに符号化され、記録装置１０５によって記録媒体１０６に記録される。

また、表示制御回路１０８は、バッファメモリ１０３に格納されたＹＵＶ形式の画像データから表示用の画像を生成し、クイックレビュー画像として、Ｄ／Ａコンバータ１０９を通じて表示部１１０に表示させる。

図８は、本実施形態の撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。上述の通り、撮像スタンバイ時において、本実施形態の撮像装置は表示部１１０をＥＶＦとして機能させるための連続的な撮像及び表示を行っている。

撮像素子１０１から出力されたアナログ画像信号は、ＡＦＥ回路１５０によりゲイン調整（感度調整）及びデジタルデータ化される。そして、このＲＡＷ形式の画像データに対して信号処理回路１４０にて画素補間処理やホワイトバランス補正などの所謂現像処理を行い、ＹＵＶ形式のデジタル画像データを生成する。

このデジタル画像データは、バッファメモリ１０３の表示用領域（通称ＶＲＡＭ）１０３ａに格納され、表示制御回路１０８およびＤ／Ａコンバータ１０９を通じて表示部１１０に出力される。

一方、信号処理回路１４０が生成したデジタル画像データは、バッファメモリ１０３の画像解析用領域（画像解析用バッファ）１０３ｂにも格納される。画像解析用バッファ１０３ｂに格納された画像データは、顔検出回路１２０による顔検出および、ヒストグラム作成回路１３０によるヒストグラム作成に用いられる。なお、画像解析用バッファ１０３ｂには、全てのＥＶＦ画像データが格納される必要はなく、顔検出及びヒストグラム作成を行う周期に応じた一部のＥＶＦ画像データが格納される。

顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されている画像データに対して顔検出を行い、顔が検出された場合には、顔領域を特定可能な情報（例えば位置及び大きさ）を含んだ顔検出結果を出力する。

ヒストグラム作成回路１３０は、画像解析用バッファ１０３ｂに格納されている画像データと、顔検出回路１２０からの顔検出結果とに基づいて、ヒストグラムを作成する。上述の通り、ヒストグラム作成回路１３０は、顔領域についての顔領域ヒストグラム１３０ａと、画像全体を分割した領域画像ごとの分割領域ヒストグラム１３０ｂとを作成することができる。

分割領域ヒストグラム１３０ｂは、画像全体について、顔領域を含んだ領域画像毎に作成することも、顔領域を除外した領域画像毎に求めることもできる。前者は処理が容易であるが、白飛びしている領域が顔領域か背景領域かを精度良く検出するためには、後者が好ましい。

上述のように、表示部１１０をＥＶＦとして機能させている間は、連続的に撮像が繰り返され、ＶＲＡＭは短時間で書き換えられてしまう。一般に、顔検出やヒストグラムの作成に要する時間は、ＥＶＦ画像の表示周期（例えば１／３０秒）よりも長い。そのため、本実施形態では、ＶＲＡＭの他に画像解析用バッファ１０３ｂを設け、画像解析用バッファ１０３ｂに格納されている画像データに対する顔検出およびヒストグラム作成が終了するまでは、画像解析用バッファ１０３ｂを更新しない。

この構成により、同一ＥＶＦ画像に対して顔検出及びヒストグラム作成を行うことが可能になり、画像解析を容易かつ高精度に行うことが可能となる。もちろん、ＥＶＦ画像の各フレームに対して顔検出及びヒストグラム作成が可能であれば実行しても構わないが、一般にはフレーム毎に撮像シーンが大幅に変化する可能性は低いため、各フレームに対して実行しなくてもよい。

図９は、本実施形態の撮像装置におけるダイナミックレンジ拡大量（Ｄレンジ拡大量）の決定動作を説明するためのフローチャートである。
本実施形態では、ＥＶＦ画像に対する顔検出結果及びヒストグラム作成結果に基づいて撮像画像における白飛び量を求め、白飛び量に応じてＤレンジ拡大量を決定する。そして、ＥＶＦ画像を用いて予め決定しておいたＤレンジ拡大量を用いて、本撮像時の露出や感度を調整する。

Ｓ２０１で、システムコントローラ１０７は、上述のように連続的に撮像を行い、ＥＶＦ画像を生成させ、信号処理回路１４０から順次バッファメモリ１０３の表示用領域１０３ａに格納させる。また、予め定めた周期で、ＥＶＦ画像をバッファメモリ１０３の画像解析用領域１０３ｂにも格納させる。

Ｓ２０２で顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されたＥＶＦ画像に対して顔検出を行う。
顔検出に成功した場合（Ｓ２０３，Ｙ）、ヒストグラム作成回路１３０は、顔検出回路１２０からの顔検出結果に基づいてＥＶＦ画像の顔領域から顔領域ヒストグラムを作成する（Ｓ２０４）。
Ｓ２０５で、白飛び量算出手段としてのシステムコントローラ１０７は、顔領域のヒストグラムから、顔領域の白飛び量を算出する。

顔検出に失敗した場合（Ｓ２０３，Ｎ）および、顔領域の白飛び量の算出後、Ｓ２０６で、ヒストグラム作成回路１３０は、ＥＶＦ画像全体を分割した領域画像ごとの分割領域ヒストグラムを作成する。

Ｓ２０７で、システムコントローラ１０７は、分割領域ヒストグラムからＥＶＦ画像全体における白飛び量を算出する。
Ｓ２０８で、Ｄレンジ拡大量決定手段としてのシステムコントローラ１０７は、少なくともＳ２０７で求めた画像全体における白飛び量に基づいて、Ｄレンジ拡大量を決定する。

次に、図９のＳ２０５及びＳ２０７でシステムコントローラ１０７が行う白飛び量の算出処理の具体例を説明する。
まず、顔領域の白飛び量の算出処理について説明する。
Ｓ２０５で、システムコントローラ１０７は、Ｓ２０４で作成された顔領域ヒストグラムから、顔領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では９０％）となる輝度値ＹＨｉＦａｃｅを算出する。

そして、Ｓ２０８で、システムコントローラ１０７は、顔領域の白飛び量ＹＨｉＦａｃｅの値と、予め定めたしきい値との大小関係に応じて、顔領域のＤレンジ拡大量（Ｄ＋（顔））を決定する。

具体的には、例えば、予め定めたしきい値を、大きい値から順にＴＨＨｉＦａｃｅ、ＴＨＭｉｄＦａｃｅ、ＴＨＬｏｗＦａｃｅの３段階とすると、
Ｄ＋（顔）＝補正レベル１段 （ＹＨｉＦａｃｅ＞ＴＨＨｉＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル２／３段 （ＴＨＨｉＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＭｉｄＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル１／３段 （ＴＨＭｉｄＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＬｏｗＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル０段 （ＴＨＬｏｗＦａｃｅ≧ＹＨｉＦａｃｅの場合）
と決定する。

またＳ２０６で、システムコントローラ１０７は、Ｓ２０６で作成された分割領域ヒストグラムの各々について、部分領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では８０％）となる輝度値ＹＨｉ＿ｎ（ｎは１〜分割数。図７の例では１６）を算出する。

Ｓ２０７で、システムコントローラ１０７は、輝度値ＹＨｉ＿ｎが、予め定められたしきい値Ｙ＿Ｂ＿Ｔｈを超えた領域の数ＹＨ＿ＢＮｕｍをカウントする。そして、システムコントローラ１０７は、領域の数ＹＨ＿ＢＮｕｍと、予め定めたしきい値との大小関係に応じて、画像全体のＤレンジ拡大量（Ｄ＋（背景））を決定する。

具体的には、例えば、予め定めたしきい値を、大きい値から順にＴｈＹＨ＿ＢＮｕｍＨｉ，ＴｈＹＨ＿ＢＮｕｍＭｉｄ、ＴｈＹＨ＿ＢＮｕｍＬｏｗとすると、
Ｄ＋（背景）＝補正レベル１段 （ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＨｉの場合）
Ｄ＋（背景）＝補正レベル２／３段 （ＴｈＹＨ＿ＢＮｕｍＨｉ≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＭｉｄの場合）
Ｄ＋（背景）＝補正レベル１／３段 （ＴｈＹＨ＿ＢＮｕｍＭｉｄ≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍＬｏｗの場合）
Ｄ＋（背景）＝補正レベル０段 （ＴｈＹＨ＿ＢＮｕｍＬｏｗ≧ＹＨ＿ＢＮｕｍの場合）
と決定する。

つまり、システムコントローラ１０７は、画像中の白飛び領域の面積が多いほど、大きなＤレンジ拡大量を決定する。
なお、白飛び領域の決定方法はここで説明した累積ヒストグラムを用いた手法に限定されず、他の任意の手法を用いることができる。

Ｓ２０８で、システムコントローラ１０７は、最終的なＤレンジ拡大量を決定する。ここで、顔検出が成功している場合、Ｄレンジ拡大量決定手段としてのシステムコントローラ１０７は、Ｓ２０５およびＳ２０７で決定したＤレンジ拡大量を比較して、最終的なＤレンジ拡大量を決定する。例えば、システムコントローラ１０７は、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量のうち、拡大量が大きいほうを最終的なＤレンジ拡大量として決定することができる。

あるいは、操作部１１２に含まれるモードダイヤルなどにより設定されている撮像モードに応じて顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の一方を最終的なＤレンジ拡大量として決定してもよい。例えば、人物の撮像モード（例えばポートレートモード）の場合には、顔領域のＤレンジ拡大量を、風景の撮像モード（例えば風景モード）の場合には、画像全体のＤレンジ拡大量をそれぞれ最終的なＤレンジ拡大量として決定することができる。

また、モードダイヤルなどで予め設定されている撮像モードだけでなく、シーン判別結果に応じて自動的に選択された撮像モードに応じて選択されている場合などにおいても同様に決定することができる。

また、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の一方を選択して最終的なＤレンジ拡大量として決定するだけでなく、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的なＤレンジ拡大量を決定することもできる。

図１０は、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的に決定するＤレンジ拡大量の具体例を示す図である。
図１０に示す例では、撮像モード毎に、最終的に決定されるＤレンジ拡大量の値を変えている。例えば、顔領域のＤレンジ拡大量が１／３段、画像全体のＤレンジ拡大量が０／３段の場合、最終的なＤレンジ拡大量は、Ａｕｔｏモード（図１０（ａ））及びポートレートモード（図１０（ｃ））では１／３段、風景モード（図１０（ｂ））では０／３段である。

システムコントローラ１０７は、以上のように決定したＤレンジ拡大量をバッファメモリ１０３に格納し、本撮像時に参照する。Ｄレンジ拡大量の決定動作は、スタンバイ時において、例えばＥＶＦ画像の一定フレーム毎、あるいは一定時間毎に行うことができ、バッファメモリ１０３には最新のＤレンジ拡大量が格納される。

図１１は、本実施形態におけるＤレンジの概念図を表す図である。
本実施形態において、Ｄレンジとは、適正輝度に対する撮像素子の飽和信号量輝度の比率と定義する。適正輝度とは、自動露出制御（ＡＥ）を行う際の輝度目標値レベルであり、例えばＡＥのモードが平均測光モードであれば、画面輝度の平均値に相当する。

従って、
Ｄレンジ＝センサー飽和信号量輝度／ＡＥ目標値
と定義することができる。
なお、ここでのＡＥ目標値はＡＦＥ回路１５０で感度調整を行う前の、撮像素子１０１の出力信号に基づくＡＥ目標値である。

ＡＥ目標値は、ＡＥのモードに応じて変化してよく、評価測光モードやスポット測光モードであっても、それぞれのモードによるＡＥ目標値を用いることができる。
図１２は、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図である。
図１２から、ＡＥ目標値を下げることにより、Ｄレンジ量を大きくしていくことが可能であることがわかる。

図１３は、本実施形態の信号処理回路１４０におけるガンマ補正特性の設定例を示す図である。
Ｄレンジ拡大量を、通常（０／３段）、＋１／３段、＋２／３段、＋３／３段分の４段階に設定した場合のガンマ特性（明るさ補正量）の設定例を示している。

ここで各Ｄレンジ拡大量に対応したＡＥ目標値は図１２で示したものと同値である。図１３に示すように、各Ｄレンジ拡大時におけるＡＥ目標値に対してガンマ補正した後のＡＥ目標値が、Ｄレンジ拡大量によらず、Ｄレンジ拡大をしない通常のＡＥ目標値となるようにガンマ補正特性を設定する。

図１１および図１２を用いて説明したように、ＡＥ目標値を下げることで、Ｄレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、露出アンダーとなり、撮像画像が暗くなってしまう。そのため、Ｄレンジ拡大量に応じて、撮像後の画像データを明るくするように信号処理回路１４０でガンマ補正することにより、撮像画像の明るさ（露出）を適正にしながら、Ｄレンジを拡大することができる。従って、信号処理回路１４０は補正手段として動作する。

なお、本実施形態では、ＡＥ目標値を下げたことによる撮像画像の輝度低下を、ガンマ補正により補償する構成について例示したが、ルックアップテーブルなど別の手段を用いて同様の輝度補正を行ってもよい。

また、ホワイトバランスを補正するホワイトバランス係数のゲインなどのゲインと、飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やＡＦＥゲインの低減などによりゲインダウンされた画像信号をＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。

図１４は、本実施形態の撮像装置における、Ｄレンジ拡大時の本撮像処理の動作を説明するフローチャートである。
なお、撮像スタンバイ時において、ＥＶＦ画像から上述した方法によりＤレンジ拡大量を例えば一定周期で決定しているものとする。本実施形態ではＤレンジ拡大量（ＡＥ目標値の低減量）を１／３段単位で０／３段から３／３段までの４段階で決定可能であるとする。なお、Ｄレンジ拡大量の範囲および１段階あたりの大きさは任意に設定することが可能である。

そして、撮像スタンバイ時において、操作部１１２に含まれるシャッターボタンが全押しされ、撮像開始指示が入力されたことに応答して、以下の処理を撮像制御手段としてのシステムコントローラ１０７が開始する。

Ｓ４０１で、システムコントローラ１０７は、撮像開始指示が入力される直前に決定されたＤレンジ拡大量をバッファメモリ１０３から取得する。
Ｓ４０２でシステムコントローラ１０７は、取得したＤレンジ拡大量、すなわちＡＥ目標値の低減量が、ＡＦＥ回路１５０における感度調整（ＣＤＳゲイン回路およびＶＧＡゲイン回路の制御）により実現可能であるか否か判定する。この判定は、ＡＦＥ回路１５０で調整可能な感度の範囲とＳ４０１で取得したＤレンジ拡大量とを比較して行うことができる。Ｄレンジ拡大量に相当する感度の低減（ゲインの低減）ができない場合、システムコントローラ１０７は、ＡＦＥ回路１５０での感度調整のみではＤレンジ拡大量を実現できないと判断する。

ＡＦＥ回路１５０における感度調整でＤレンジ拡大量を実現可能な場合、補正量決定手段としてのシステムコントローラ１０７は、Ｓ４０４で、ゲイン設定を撮像条件として算出する。なお、ＣＤＳゲインとＶＧＡゲインとをどのように組み合わせて設定するかには特に制限はなく、任意の組み合わせで設定可能である。

一方、ＡＦＥ回路１５０での感度調整だけではＤレンジ拡大量を実現できないと判断される場合、システムコントローラ１０７はＡＦＥ回路１５０で可能なゲイン制御を行っても依然として不足するゲイン量に基づいて、露出条件を変更する（Ｓ４０５）。具体的には、システムコントローラ１０７は、不足するゲイン量を実現するための露出補正量を算出する。
ここでの露出補正はマイナス補正であり、絞りを小さくする、シャッター速度を早くする、減光フィルタ（ＮＤフィルタ）を挿入するといった、一般的な方法によって実現することができる。

Ｓ４０６でシステムコントローラ１０７は、Ｓ４０５で算出した露出補正が可能か否かを判定する。例えば、ＮＤフィルタを持たない撮像装置では、自動露出制御により、シャッター速度が最高速度に、かつ絞りが最小（絞り値が最大）に既に設定されている場合、露出をマイナス補正することはできない。また、フラッシュ撮像時において、同調可能な最高シャッター速度に設定されている場合には、シャッター速度を上げることはできない。その他、シャッター速度の上限が決定されている場合なども同様である。なお、絞り優先ＡＥモードであれば、ユーザが設定した絞り値を変えないことが好ましいので、既にシャッター速度が最高速であれば、マイナス補正できないとの判定になることもある。シャッター速度優先ＡＥモードであっても同様である。

ゲイン調整での不足分に相当する露出のマイナス補正ができないと判定される場合、システムコントローラ１０７は、Ｓ４０７で、Ｄレンジ拡大量を、感度調整および露出補正によって実現可能な最大な値に補正する。そして、システムコントローラ１０７は、ＡＦＥ回路１５０に設定するゲイン量と、必要に応じてさらに露出補正量を算出する。

Ｓ４０８で、システムコントローラ１０７は、ＡＦＥ回路１５０のＣＤＳゲイン回路１５２およびＶＧＡゲイン回路１５４に、撮像条件としてのゲイン量を設定する。また、露出補正を行う場合には、ＡＥ結果に応じた露出パラメータ（シャッター速度、絞り値、ＮＤフィルタの使用有無の設定など）を、露出補正量に応じて変更し、やはり撮像条件としてレンズ装置２００に設定する。

Ｓ４０９でシステムコントローラ１０７は、Ｄレンジ拡大量に応じたガンマパラメータを信号処理回路１４０に設定する。
Ｓ４１０でシステムコントローラ１０７は、静止画撮像（本露光）を行う。

（他の実施形態）
上述の実施形態においては、静止画撮像において本発明によるＤレンジ拡大を適用した場合について説明したが、ＥＶＦ画像の撮像時や動画撮像時にも同様に適応可能である。この場合、ＡＦＥ回路１５０のゲイン制御（および必要に応じた露出補正）と、信号処理回路１４０におけるガンマ補正とが同じ画像に対して適用されるよう、これらパラメータ設定のタイミングを調整する。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのプログラムは、コンピュータ読み取り可能な記録媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記録媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記録しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記録媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

１０１…撮像素子、１０３…バッファメモリ、１０４…圧縮・伸長回路、１０５…記録装置、１０６…記録媒体、１０７…システムコントローラ、１１０…表示部、１１２…操作部、１２０…顔検出回路、１３０…ヒストグラム作成回路、１４０…信号処理回路、

Claims (6)

1. 撮像手段と、
   前記撮像手段により撮像を行い得られた画像に基づいて被写体の顔領域の検出を行う検出手段と、
   前記検出手段により検出された顔領域の輝度に基づいて第１のヒストグラムを作成し、前記撮像手段により撮像を行い得られた画像の少なくとも前記顔領域以外の領域の輝度に基づいて第２のヒストグラムを作成する作成手段と、
   前記第１のヒストグラムと前記第２のヒストグラムとに基づいて露出条件を決定する決定手段と、
   前記決定手段により決定された露出条件を用いて前記撮像手段により撮像を行い得られた画像に対して輝度補正を行う補正手段と、を有し、
   前記作成手段は、前記撮像手段により撮像を行い得られた画像の分割された複数の領域のそれぞれについて前記第２のヒストグラムを作成し、
   前記決定手段は、前記第１のヒストグラムの累積頻度が第１の所定値となる輝度と、前記第２のヒストグラムが生成された複数の領域のなかの、前記第２のヒストグラムの累積頻度が第２の所定値となる輝度が所定の閾値よりも大きい値になる領域の数と、に基づいて露出条件を決定することを特徴とする撮像装置。
2. 前記第１のヒストグラムの累積頻度及び前記第２のヒストグラムの累積頻度は低輝度側からの累積頻度であって、前記第１の所定値は前記第２の所定値よりも大きいことを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記決定手段により決定された露出条件を用いて前記撮像手段により撮像を行い得られた画像の低輝度部に当該画像の高輝度部よりも大きいゲインをかけて輝度補正を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、前記決定手段により決定された露出条件に基づいて、前記低輝度部に対するゲイン及び前記高輝度部に対するゲインを設定することを特徴とする請求項３に記載の撮像装置。
5. 撮像手段により撮像を行い得られた画像に基づいて被写体の顔領域の検出を行う検出ステップと、
   前記検出ステップで検出された顔領域の輝度に基づいて第１のヒストグラムを作成する第１の作成ステップと、
   前記撮像手段により撮像を行い得られた画像の少なくとも前記顔領域以外の領域の輝度に基づいて第２のヒストグラムを作成する第２の作成ステップと、
   前記第１のヒストグラムと前記第２のヒストグラムとに基づいて露出条件を決定する決定ステップと、
   前記決定ステップで決定された露出条件を用いて前記撮像手段により撮像を行い得られた画像に対して輝度補正を行う補正ステップと、を有し、
   前記第２の作成ステップは、前記撮像手段により撮像を行い得られた画像の分割された複数の領域のそれぞれについて前記第２のヒストグラムを作成し、
   前記決定ステップは、前記第１のヒストグラムの累積頻度が第１の所定値となる輝度と、前記第２のヒストグラムが生成された複数の領域のなかの、前記第２のヒストグラムの累積頻度が第２の所定値となる輝度が所定の閾値よりも大きい値になる領域の数と、に基づいて露出条件を決定することを特徴とする撮像装置の制御方法。
6. 撮像装置のコンピュータに、請求項５に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。