JP5335964B2

JP5335964B2 - 撮像装置およびその制御方法

Info

Publication number: JP5335964B2
Application number: JP2012112664A
Authority: JP
Inventors: 貴明福井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-05-16
Filing date: 2012-05-16
Publication date: 2013-11-06
Anticipated expiration: 2029-02-17
Also published as: JP2012191645A

Description

本発明は、撮像装置およびその制御方法に関する。

従来、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いたデジタルカメラやデジタルビデオが広く用いられている。しかし、これらの撮像素子は銀塩フィルムと比較してダイナミックスレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生しやすかった。

このような問題に対し、自動的にダイナミックスレンジをコントロール可能なシステムが提案されている。

例えば特許文献１では、撮像された画像から、主要被写体が逆光又はハイコントラストであると検出された場合には、画像のヒストグラムから黒色飽和点及び白色飽和点を特定し、主要被写体の明るさが適正となるように階調補正を行うことが提案されている。

また、特許文献２では、高感度の受光素子と低感度の受光素子を配置した撮像素子を用い、同一シーンを異なる感度の受光素子で撮像してダイナミックレンジの異なる２種類の画像を取得し、それらをシーン解析結果に応じて合成することが提案されている。

また、感度設定範囲を１段分高感度側にずらして、高輝度部分の白飛びを抑制する撮像モード（高輝度側・階調優先モード）を有するデジタルカメラも存在する（キヤノン社、EOS 5D Mark2）。

特開２００５−２０９０１２号公報特開２００４−１８６８７６号公報

しかし、特許文献１の方法では、コントラスト感を高めるための効果はあるものの、センサーが飽和するポイントは変わらないため、ダイナミックレンジを拡げる効果は得られない。

また、特許文献２の方法では、ダイナミックレンジを拡げる効果は得られるが、感度の異なる受光素子を配置した特別な撮像素子を用いる必要があるため、コストがかかるという問題点があった。

また、階調優先モードを活用して適切な撮像結果を得るには、ユーザが階調優先モードを設定することに加え、ユーザが適切にシーンを判別できることが要求されていた。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、被写体や夜景シーンを考慮したダイナミックレンジで撮像することが可能な撮像装置及びその制御方法を提供することを目的とする。

また、上述の目的は、静止画撮像の前に撮像される動画像における明るさ及び顔検出の情報に少なくとも基づいて、少なくとも、人物あり夜景シーンと人物なし夜景シーンのシーン判定を行うシーン判定手段と、動画像の所定領域の明るさに基づいて、目標輝度レベルを設定する設定手段と、シーン判定手段により人物あり夜景シーンと判断された場合、動画像で検出された顔領域の明るさに基づいて設定手段により設定された目標輝度レベルを得るために必要な撮像感度よりも撮像感度を低減させて静止画撮像し、静止画撮像された画像に対して撮像感度の低減量を補償するための階調補正を適用する第１の撮像処理を実行し、シーン判定手段により人物なし夜景シーンと判断された場合、入力輝度値の増加割合に対して出力輝度の増加割合を低くする階調補正を静止画撮像された画像に適用する第２の撮像処理を実行する制御手段とを有することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、被写体や夜景シーンを考慮したダイナミックレンジで撮像することが可能な撮像装置及びその制御方法が実現できる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。原画像から顔が検出される過程を模式的に示した図である。本発明の実施形態に係る撮像装置の顔検出回路における顔検出動作を説明するためのフローチャートである。ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図である。本発明の実施形態に係る撮像装置の顔検出回路が用いる２次元ハイパスフィルタの係数の例を示す図である。本発明の実施形態に係る撮像装置のＡＦＥ回路の構成例を示すブロック図である。本発明の実施形態に係る撮像装置のヒストグラム作成回路が作成するヒストグラムの例を模式的に示す図である。本発明の実施形態に係る撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。本発明の実施形態に係る撮像装置における、ダイナミックレンジ（Ｄレンジ）拡大量の決定動作を説明するためのフローチャートである。本発明の実施形態に係る撮像装置において、顔領域のＤレンジ拡大量と画像全体のＤレンジ拡大量の大きさに応じて最終的に決定するＤレンジ拡大量の具体例を示す図である。本発明の実施形態に係る撮像装置におけるＤレンジの概念図を表す図である。本発明の実施形態に係る撮像装置における、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図である。本発明の実施形態に係る撮像装置の信号処理回路における階調特性の設定例を示す図である。本発明の実施形態に係る撮像装置における、本撮像処理の動作を説明するフローチャートである。本発明の実施形態に係る撮像装置における、逆光判定時の領域分割例を示す図である。本発明の実施形態に係る撮像装置において、夜景判定された時に選択する階調特性の例を示したものである。本発明の実施形態に係る撮像装置における、ダイナミックレンジ縮小量（Ｄ−）の決定動作を説明するためのフローチャートである。本発明の実施形態に係る撮像装置において、図１７のＳ５０４で算出された最終的なゲイン値Gain_yhpの値と、撮像感度とに応じた最終ゲインアップ量の関係例を示す図である。本発明の実施形態に係る撮像装置における、ゲインアップ量と階調特性設定値の関係について示した図である。本発明の実施形態に係る撮像装置における、シーン判定結果に応じた、露出制御、ダイナミックレンジ拡大処理（Ｄ＋）、ダイナミックレンジ縮小処理（Ｄ−）、および夜景用階調特性の設定の関係例を示す図である。

以下、添付図面を参照して、本発明を例示的な実施形態に基づき詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、撮像素子を用いて画像を撮像する機能を有する任意の装置を包含する。このような装置は、デジタルスチルカメラおよびデジタルビデオカメラはもとより、カメラを内蔵または接続した携帯電話、ＰＤＡ、パーソナルコンピュータなどを含む。

図１において、操作部１１２は、ボタン、スイッチなどを含み、ユーザが撮像装置に指示を与えたり、設定を行ったりするために用いられる。シャッターボタンも操作部１１２に含まれ、本実施形態ではシャッターボタンの半押し状態と全押し状態とを検出可能であるものとする。

システムコントローラ１０７は、シャッターボタンの半押し状態を撮像準備開始指示、全押し状態を撮像開始指示として認識する。システムコントローラ１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含み、ＲＯＭに記憶されたプログラムをＲＡＭを用いてＣＰＵが実行することにより、撮像装置の動作全般を制御する。

姿勢センサ１３３は、撮像装置の姿勢を検出し、検出結果をシステムコントローラ１０７に出力する。システムコントローラ１０７は、姿勢センサ１３３からの出力に基づいて、撮像装置の姿勢が縦位置か横位置かを判定する。なお、縦位置か横位置かを姿勢センサ１３３が判別し、判別結果をシステムコントローラ１０７へ出力してもよい。

レンズ装置２００は、フォーカスレンズを含むレンズ群と、フォーカスレンズを駆動する駆動装置と、絞りと、メカニカルシャッターとを有し、システムコントローラ１０７の制御に基づいて動作する。

撮像素子１０１はＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの光電変換素子である。アナログフロントエンド（ＡＦＥ）回路１５０は、撮像素子１０１から出力されるアナログ画像信号に対してゲイン調整やＡ／Ｄ変換などを行い、デジタル画像信号として出力する。ＡＦＥ回路１５０の詳細については後述する。

バッファメモリ１０３は、ＡＦＥ回路１５０が出力するデジタル画像信号を一時的に記憶する。
圧縮・伸長回路１０４は、撮像画像データを記録用の画像ファイル（例えばＪＰＥＧファイル）の形式に符号化したり、記録媒体１０６から読み出された画像ファイルの復号化を行ったりする。

記録装置１０５は、内蔵メモリや、着脱可能なメモリカードのような記録媒体１０６に対し、システムコントローラ１０７の制御に従ってデータの読み書きを行う。
表示制御回路１０８は、システムコントローラ１０７の制御に従い、ＬＣＤなどの表示デバイスを有する表示部１１０への表示動作を制御する。
Ｄ／Ａコンバータ１０９は、表示制御回路１０８が出力する表示用のデジタル画像信号を表示部１１０が表示可能なアナログ画像信号に変換する。

表示部１１０は、撮像した画像の表示はもとより、ユーザが撮像装置に対して各種の設定や指示を行うためのＧＵＩ画面や、撮像装置に関する各種情報などの表示を行う。また、連続的に撮像した画像を表示部１１０に逐次表示することにより、表示部１１０を電子ビューファインダ（ＥＶＦ）として機能させることができる。この、表示部１１０をＥＶＦとして機能させるための逐次撮像・表示動作は、スルー表示、ライブビュー表示とも呼ばれる。この逐次撮像動作は、動画像の撮像動作と実質的に同等であり、ＥＶＦ用に撮像、表示される画像の実態は動画像である。

顔検出回路１２０は、撮像した画像から人物を検出するための手法の一例としての顔検出を行う。顔検出回路１２０は、バッファメモリ１０３に記憶された、ＹＵＶ形式またはＲＡＷ形式の画像データに対して顔検出処理を行い、画像中の顔領域の大きさ、位置を含む顔検出結果をヒストグラム作成回路１３０に出力する。

顔検出回路１２０が用いる顔検出方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

ここで、図２〜図４を参照して、顔検出回路１２０の具体的な顔検出動作例について説明する。
図２は、原画像から顔が検出される過程を模式的に示した図であり、図２（ａ）が原画像を示している。

図３は、顔検出回路１２０の顔検出動作を説明するためのフローチャートである。
Ｓ１０１で顔検出回路１２０は原画像から、肌色領域を抽出する。図４は、ＣＩＥ−Ｌ＊ａ＊ｂ＊色空間における代表色を示した色度図であり、その中の楕円は、肌色である可能性が高い領域である。
顔検出回路１２０は、ＲＧＢ形式の原画像データを公知の方法でＬ＊ａ＊ｂ＊形式に変換し、図４の楕円で示した領域内の色度を有する画素からなる肌色領域を抽出する。図２（ｂ）は、原画像から抽出された肌色領域を模式的に示している。

次に、Ｓ１０２で顔検出回路１２０は、抽出した肌色領域から高周波成分を抽出する。具体的には、顔検出回路１２０は、肌色領域に対してハイパスフィルタを適用する。図５は、２次元ハイパスフィルタの係数の例を示す図である。図２（ｂ）の画像にハイパスフィルタを適用した画像の例を図２（ｃ）に示す。

Ｓ１０３で顔検出回路１２０は、ハイパスフィルタを適用後の画像に対し、図２（ｄ）に示すように目のテンプレートを用いたテンプレートマッチングを行い、画像中における目の検出を行う。
Ｓ１０４で顔検出回路１２０は、Ｓ１０３で検出した目の領域の位置関係などに基づいて顔領域を判定し、顔領域の位置や大きさ等を含んだ顔検出結果を求める。

図１に戻って、ヒストグラム作成回路１３０は、顔領域の検出結果を顔検出回路１２０から取得し、顔領域に含まれる画素の輝度値に関するヒストグラムを作成する。ヒストグラム作成回路１３０はまた、画像を複数に分割した部分領域毎に、含まれる画素の輝度値のヒストグラムも作成することが可能である。作成したヒストグラムはバッファメモリ１０３に格納する。

また、部分領域毎の色情報を取得する場合、バッファメモリ１０３に記憶された１画面分の画像解析用画像をリサイズ回路１３１で縮小した縮小画像に対して、色評価値取得回路１３２で部分領域毎の色情報を取得する。色情報は例えば彩度・色相・輝度などの色評価値であってよい。

信号処理回路１４０は、システムコントローラ１０７によって設定される信号処理パラメータ（ホワイトバランス補正係数や階調特性パラメータなど）に従って、バッファメモリ１０３に格納されている画像データに対して信号処理を適用する。そして、信号処理回路１４０は、ＹＵＶ形式の画像データを生成し、再びバッファメモリ１０３に格納する。

後述するように、本実施形態の撮像装置は、ＡＦＥ回路１５０における感度調整（ゲイン調整）と、信号処理回路１４０における階調特性の補正とによって、ダイナミックレンジの制御を実現する。

図６は、ＡＦＥ回路１５０の構成例を示すブロック図である。
クランプ回路１５１は、撮像素子１０１から出力された信号を、センサーの遮光レベルまたは基準電圧領域の出力値が０となるよう、基準黒レベルにクランプする。
ＣＤＳゲイン回路１５２は、クランプされた信号に対し、ＣＤＳゲイン（アナログゲイン）を適用する。一般的なＡＦＥ回路で適用されるＣＤＳゲインは０，３，６［ｄＢ］といった離散的な値を有する。

アナログゲインが適用された信号は、Ａ／Ｄコンバータ１５３でデジタルデータに変換される。次に、可変利得増幅器（ＶＧＡ）ゲイン回路１５４が、デジタルデータに対してＶＧＡゲインを適用する。本実施形態において、ＶＧＡゲインの値は、例えば０〜３６ｄＢの範囲で、０．１２５ｄＢ単位で調整可能であるとする。ＶＧＡゲインが適用された信号は、クリップ回路１５５で所定のビット数にクリップしてバッファメモリ１０３へ出力する。

本実施形態において、撮像装置の撮像感度（ＩＳＯ感度）設定は、ＡＦＥ回路１５０で適用するＣＤＳゲインおよびＶＧＡゲインの値をシステムコントローラ１０７によって制御することにより実現される。

また、基準光量の光で撮像装置を照射し、撮像装置から一定の輝度信号値が出力されるようにＣＤＳゲインおよびＶＧＡゲインを制御することにより、撮像素子１０１の感度特性のバラツキを補正する感度調整を行うことができる。

本実施形態において、感度設定はＣＤＳゲインとＶＧＡゲインを組み合わせて行う。例えば低感度時に全体で６ｄＢのゲインを設定する場合、例えばＣＤＳゲインを３ｄＢ、ＶＧＡゲインを３ｄＢに設定する。また高感度時に２４ｄＢのゲインを設定する場合には、例えばＣＤＳゲインを６ｄＢ、ＶＧＡゲインを１８ｄＢに設定する。上述の通り、一般にＣＤＳゲインは細かい設定ができないため、大まかなゲインを前段のＣＤＳゲインで設定し、感度調整部分など微妙な感度コントロールを行うためにＶＧＡゲインをコントロールする。

一般的に、ゲイン回路は信号成分と同時にノイズ成分も増幅させる。そのため、アナログ回路で重畳するノイズ成分が増幅されることを抑制するために、合計のゲイン量を実現できるＣＤＳゲインとＶＧＡゲインの組み合わせにおいて、前段のＣＤＳゲインをなるべく高めに設定することが好ましい。そのような設定により、Ａ／Ｄコンバータ１５３の量子化精度を最大限に有効利用可能となるという効果も実現できる。

次に、上述の構成を有する撮像装置における、撮像時の動作について説明する。
撮像モードで動作しており、撮像準備指示や撮像開始指示が入力されていないスタンバイ時において、本実施形態の撮像装置は動画像を撮像し、表示部１１０をＥＶＦとして機能させている。すなわち、システムコントローラ１０７は、所定のレート（例えば３０フレーム／秒）で連続的に撮像し、撮像した画像から表示用画像を生成して、表示部１１０に表示させる処理を実行している。

顔検出の実行が設定されている場合、顔検出回路１２０は表示用画像（以下、ＥＶＦ画像とも呼ぶ）に対して顔検出し、検出結果をシステムコントローラ１０７に出力する。そして、システムコントローラ１０７は、検出された顔領域をユーザに提示するための顔枠をＥＶＦ画像に重畳表示するよう、顔領域の位置情報とともに表示制御回路１０８に対して指示する。

また、顔検出結果はヒストグラム作成回路１３０にも供給され、ヒストグラム作成回路１３０はＥＶＦ画像中の顔領域に含まれる画素からヒストグラムを作成する。また、ヒストグラム作成回路１３０は、画像全体を複数に分割した領域ごとのヒストグラムを作成する。作成したヒストグラムはバッファメモリ１０３に格納される。

図７は、本実施形態においてヒストグラム作成回路１３０が作成するヒストグラムの例を模式的に示す図である。
図７は、画像全体を縦横それぞれ４等分して得られる部分領域７１の各々についてのヒストグラム７３と、顔領域７２についてのヒストグラム７４がそれぞれ作成されることを示している。なお、図７におけるヒストグラム７３，７４は累積ヒストグラムである。なお、部分領域についてヒストグラムを作成する際、顔領域を除外してもよい。そうすることで、顔領域とそれ以外（背景）とのヒストグラムを作成することができる。

本実施形態において、部分領域７１の累積ヒストグラム７３において、頻度８０％となる輝度値ＹＨｉと、顔領域７２の累積ヒストグラム７４において頻度９０％となる輝度値ＹＨｉＦａｃｅは、後述するように、撮像画像の白飛び領域の評価に用いられる。

ユーザがシャッターボタンを全押しして撮像開始指示が入力されると、システムコントローラ１０７は、自動露出制御（ＡＥ）、自動焦点検出（ＡＦ）などの処理結果に基づく撮像動作を行う。具体的には、システムコントローラ１０７は、レンズ装置２００の焦点位置や絞り、メカニカルシャッター、撮像素子１０１、さらに必要に応じてフラッシュ（図示せず）などを制御し、撮像する。

撮像素子１０１から出力されるアナログ画像信号は、上述したＡＦＥ回路１５０を通じて、デジタル画像データとしてバッファメモリ１０３に格納される。このデジタル画像データに対し、信号処理回路１４０は、システムコントローラ１０７から設定された様々な信号処理パラメータに従って処理し、ＹＵＶ形式の画像データを生成して、バッファメモリ１０３に再度格納する。

信号処理回路１４０で処理された画像データは、圧縮・伸長回路１０４によって例えばＪＰＥＧ形式のファイルに符号化され、記録装置１０５によって記録媒体１０６に記録される。

また、表示制御回路１０８は、バッファメモリ１０３に格納されたＹＵＶ形式の画像データから表示用の画像を生成し、クイックレビュー画像として、Ｄ／Ａコンバータ１０９を通じて表示部１１０に表示させる。

図８は、本実施形態の撮像装置における、撮像スタンバイ時の信号処理の流れを示したブロック図である。上述の通り、撮像スタンバイ時において、本実施形態の撮像装置は表示部１１０をＥＶＦとして機能させるための連続的な撮像及び表示を行っている。

撮像素子１０１から出力されたアナログ画像信号は、ＡＦＥ回路１５０によりゲイン調整（感度調整）及びデジタルデータ化される。そして、このＲＡＷ形式の画像データに対して信号処理回路１４０にて画素補間処理やホワイトバランス補正などの所謂現像処理を行い、ＹＵＶ形式のデジタル画像データを生成する。

このデジタル画像データは、バッファメモリ１０３の表示用領域（ＶＲＡＭもしくは表示用バッファ）１０３ａに格納され、表示制御回路１０８およびＤ／Ａコンバータ１０９を通じて表示部１１０に出力される。

一方、信号処理回路１４０が生成したデジタル画像データは、バッファメモリ１０３の画像解析用領域（画像解析用バッファ）１０３ｂにも格納される。画像解析用バッファ１０３ｂに格納された画像データは、顔検出回路１２０による顔検出および、ヒストグラム作成回路１３０によるヒストグラム作成に用いられる。なお、画像解析用バッファ１０３ｂには、全てのＥＶＦ画像データが格納される必要はなく、顔検出及びヒストグラム作成を行う周期に応じた一部のＥＶＦ画像データが格納される。

顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されている画像データに対して顔検出を行い、顔が検出された場合には、顔領域を特定可能な情報（例えば位置及び大きさ）を含んだ顔検出結果を出力する。

ヒストグラム作成回路１３０は、画像解析用バッファ１０３ｂに格納されている画像データと、顔検出回路１２０からの顔検出結果とに基づいて、ヒストグラムを作成する。上述の通り、ヒストグラム作成回路１３０は、顔領域についての顔領域ヒストグラム１３０ａと、画像全体を分割した領域画像ごとの分割領域ヒストグラム１３０ｂとを作成する。

分割領域ヒストグラム１３０ｂは、画像全体について、顔領域を含んだ領域画像毎に作成することも、顔領域を除外した領域画像毎に求めることもできる。前者は処理が容易であるが、白飛びしている領域が顔領域か背景領域かを精度良く検出するためには、後者が好ましい。

上述のように、表示部１１０をＥＶＦとして機能させている間は、連続的に撮像が繰り返され、ＶＲＡＭは短時間で書き換えられてしまう。一般に、顔検出やヒストグラムの作成に要する時間は、ＥＶＦ画像の表示周期（例えば１／３０秒）よりも長い。そのため、本実施形態では、ＶＲＡＭの他に画像解析用バッファ１０３ｂを設け、画像解析用バッファ１０３ｂに格納されている画像データに対する顔検出およびヒストグラム作成が終了するまでは、画像解析用バッファ１０３ｂを更新しない。

この構成により、同一ＥＶＦ画像に対して顔検出及びヒストグラム作成を行うことが可能になり、画像解析を容易かつ高精度に行うことが可能となる。もちろん、ＥＶＦ画像の各フレームに対して顔検出及びヒストグラム作成が可能であれば実行しても構わないが、一般にはフレーム毎に撮像シーンが大幅に変化する可能性は低いため、各フレームに対して実行しなくてもよい。そのため、システムコントローラ１０７の負荷を軽減することができる。

また、画像解析用バッファ１０３ｂに格納されている画像データは、リサイズ回路１３１によって縮小され、色評価値取得回路１３２で色評価値が取得される。
例えば、画像解析用バッファ１０３ｂに格納されている画像データがVGAサイズの画像に対応するとする。リサイズ回路１３１は、まず、横640画素、縦480画素のYUV 4:2;2画像データから、例えば横64画素、縦48画素のYUV 4:2:2画像データを生成する。その後、リサイズ回路１３１は、水平方向２画素、垂直方向２画素の４画素からなるブロックでYを平均化し、垂直方向の２画素でUVを平均化して、横32画素、縦24画素のYUV 4:4:4画像データを生成する。
なお、リサイズ回路１３１におけるリサイズ方法は、所定の複数画素単位での平均化、単純リサンプル、線形補間による間引き、バイキュービック補間など、他の方法を用いてもよい。

リサイズ回路１３１が生成した横32画素、縦24画素、YUV 4:4:4フォーマットの縮小画像データに対し、色評価値取得回路１３２は、ブロックごとに、色評価値として輝度情報Ｙ、色相情報Ｈ、彩度情報Ｃを算出する。
色評価値取得回路１３２は、例えば以下の式によって色評価値を算出することができる。
Ｙ＝Ｙ
Ｃ＝√（Ｕ^２＋Ｖ^２）
Ｈ＝ｔａｎ^−１（Ｕ／Ｖ）

もちろん、色評価値はＣＩＥＬａｂの色空間における評価値であっても、他の色空間における評価値であってもよい。また、色評価値の算出も、上記演算を行う数学ライブラリを用いて行ってもよいし、予め用意したルックアップテーブルを参照することにより擬似的に算出してもよい。
このようにして、画面全体を横３２、縦２４に分割したブロックごとに、色評価値として、輝度情報、色相情報及び彩度情報を取得可能である。

図９は、本実施形態の撮像装置におけるダイナミックレンジ拡大量（Ｄ＋）の決定動作を説明するためのフローチャートである。
本実施形態では、ＥＶＦ画像に対する顔検出結果及びヒストグラム作成結果に基づいて撮像画像における白飛び量を求め、白飛び量に応じてダイナミックレンジ拡大量を決定する。そして、ＥＶＦ画像を用いて予め決定しておいたダイナミックレンジ拡大量を用いて、本撮像時の露出や感度を調整する。

Ｓ２０１で、システムコントローラ１０７は、上述のように連続的に撮像を行い、ＥＶＦ画像を生成させ、信号処理回路１４０から順次、表示用バッファ１０３ａに格納させる。また、予め定めた周期で、ＥＶＦ画像をバッファメモリ１０３の画像解析用領域（画像解析用バッファ）１０３ｂにも格納させる。

Ｓ２０２で顔検出回路１２０は、画像解析用バッファ１０３ｂに格納されたＥＶＦ画像に対して顔検出を行う。
顔検出に成功した場合（Ｓ２０３，Ｙ）、ヒストグラム作成回路１３０は、顔検出回路１２０からの顔検出結果に基づいてＥＶＦ画像の顔領域から顔領域ヒストグラムを作成する（Ｓ２０４）。
Ｓ２０５で、白飛び量算出手段としてのシステムコントローラ１０７は、顔領域のヒストグラムから、顔領域の白飛び量を算出する。

顔検出に失敗した場合（Ｓ２０３，Ｎ）および、顔領域の白飛び量の算出後、Ｓ２０６で、ヒストグラム作成回路１３０は、ＥＶＦ画像全体を分割した領域画像ごとの分割領域ヒストグラムを作成する。ここでは一例として、ＥＶＦ画像全体を縦横４等分した１６の分割領域ごとに分割領域ヒストグラムを作成するものとする。

Ｓ２０７で、システムコントローラ１０７は、分割領域ヒストグラムからＥＶＦ画像全体における白飛び量を算出する。
Ｓ２０８で、ダイナミックレンジ拡大量決定手段としてのシステムコントローラ１０７は、少なくともＳ２０７で求めた画像全体における白飛び量に基づいて、ダイナミックレンジ拡大量を決定する。

次に、図９のＳ２０５及びＳ２０７でシステムコントローラ１０７が行う白飛び量の算出処理の具体例を説明する。
まず、顔領域の白飛び量の算出処理について説明する。
Ｓ２０５で、システムコントローラ１０７は、Ｓ２０４で作成された顔領域ヒストグラムから、顔領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では９０％）となる輝度値ＹＨｉＦａｃｅを算出する。

そして、Ｓ２０８で、システムコントローラ１０７は、顔領域の白飛び量ＹＨｉＦａｃｅの値と、予め定めたしきい値との大小関係に応じて、顔領域のダイナミックレンジ拡大量（Ｄ＋（顔））を決定する。

具体的には、例えば、予め定めたしきい値を、大きい値から順にＴＨＨｉＦａｃｅ、ＴＨＭｉｄＦａｃｅ、ＴＨＬｏｗＦａｃｅの３段階とすると、
Ｄ＋（顔）＝補正レベル１段（ＹＨｉＦａｃｅ＞ＴＨＨｉＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル２／３段（ＴＨＨｉＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＭｉｄＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル１／３段（ＴＨＭｉｄＦａｃｅ≧ＹＨｉＦａｃｅ＞ＴＨＬｏｗＦａｃｅの場合）
Ｄ＋（顔）＝補正レベル０段（ＴＨＬｏｗＦａｃｅ≧ＹＨｉＦａｃｅの場合）
と決定する。

またＳ２０６で、システムコントローラ１０７は、Ｓ２０６で作成された分割領域ヒストグラムの各々について、部分領域の白飛び量として、累積ヒストグラムの累積頻度が所定値（図７の例では８０％）となる輝度値ＹＨｉ＿ｎ（ｎは１〜分割数。図７の例では１６）を算出する。

Ｓ２０７で、システムコントローラ１０７は、輝度値ＹＨｉ＿ｎが、予め定められたしきい値Ｙ＿Ｂ＿Ｔｈを超えた領域の数ＹＨ＿ＢＮｕｍをカウントする。そして、システムコントローラ１０７は、領域の数ＹＨ＿ＢＮｕｍと、予め定めたしきい値（との大小関係に応じて、画像全体のダイナミックレンジ拡大量（Ｄ＋（背景））を決定する。

具体的には、例えば、予め定めたしきい値を、大きい値から順にＴｈＹＨ＿ＢＮｕｍ６〜ＴｈＹＨ＿ＢＮｕｍ０とすると、

Ｄ＋（背景）＝補正レベル６／３段（ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍ６の場合）
Ｄ＋（背景）＝補正レベル５／３段（ＴｈＹＨ＿ＢＮｕｍ６≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍ５の場合）
Ｄ＋（背景）＝補正レベル４／３段（ＴｈＹＨ＿ＢＮｕｍ５≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍ４の場合）
Ｄ＋（背景）＝補正レベル３／３段（ＴｈＹＨ＿ＢＮｕｍ４≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍ３の場合）
Ｄ＋（背景）＝補正レベル２／３段（ＴｈＹＨ＿ＢＮｕｍ３≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍ２の場合）
Ｄ＋（背景）＝補正レベル１／３段（ＴｈＹＨ＿ＢＮｕｍ２≧ＹＨ＿ＢＮｕｍ＞ＴｈＹＨ＿ＢＮｕｍ１の場合）
Ｄ＋（背景）＝補正レベル０段（ＴｈＹＨ＿ＢＮｕｍ１≧ＹＨ＿ＢＮｕｍの場合）
と決定する。

つまり、システムコントローラ１０７は、画像中の白飛び領域の面積が多いほど、大きなダイナミックレンジ拡大量を決定する。
なお、白飛び領域の決定方法はここで説明した累積ヒストグラムを用いた手法に限定されず、他の任意の手法を用いることができる。

Ｓ２０８で、システムコントローラ１０７は、最終的なダイナミックレンジ拡大量を決定する。ここで、顔検出が成功している場合、ダイナミックレンジ拡大量決定手段としてのシステムコントローラ１０７は、Ｓ２０５およびＳ２０７で決定したダイナミックレンジ拡大量を比較して、最終的なダイナミックレンジ拡大量を決定する。例えば、システムコントローラ１０７は、顔領域のダイナミックレンジ拡大量と画像全体のダイナミックレンジ拡大量のうち、拡大量が大きいほうを最終的なダイナミックレンジ拡大量として決定することができる。

あるいは、操作部１１２に含まれるモードダイヤルなどにより設定されている撮像モードに応じて顔領域のダイナミックレンジ拡大量と画像全体のダイナミックレンジ拡大量の一方を最終的なダイナミックレンジ拡大量として決定してもよい。例えば、人物の撮像モード（例えばポートレートモード）の場合には、顔領域のダイナミックレンジ拡大量を最終的なダイナミックレンジ拡大量として決定することができる。また、風景の撮像モード（例えば風景モード）の場合には、画像全体または背景領域のダイナミックレンジ拡大量をそれぞれ最終的なダイナミックレンジ拡大量として決定することができる。

また、シーン判定結果に応じてダイナミックレンジ拡大量を制御してもよい。たとえば逆光判別時は背景領域のダイナミックレンジ拡大量を２段（６／３段）まで拡大し、それ以外は１段（３／３段）までに止めるようにしてもよい。

また、顔領域のダイナミックレンジ拡大量と画像全体のダイナミックレンジ拡大量の一方を選択して最終的なダイナミックレンジ拡大量として決定する以外の方法を採用してもよい。例えば、顔領域のダイナミックレンジ拡大量と画像全体のダイナミックレンジ拡大量の大きさに応じて最終的なダイナミックレンジ拡大量を決定することもできる。

図１０は、顔領域のダイナミックレンジ拡大量と画像全体のダイナミックレンジ拡大量の大きさに応じて最終的に決定するダイナミックレンジ拡大量の具体例を示す図である。
図１０（ａ）〜（ｃ）に示す例では、撮像モード毎に、最終的に決定されるダイナミックレンジ拡大量の値を変えている。例えば、顔領域のダイナミックレンジ拡大量が１／３段、画像全体のダイナミックレンジ拡大量が０／３段の場合、最終的なダイナミックレンジ拡大量は、
Ａｕｔｏモード（図１０（ａ））：１／３段
ポートレートモード（図１０（ｃ））：１／３段、
風景モード（図１０（ｂ））：０／３段である。

なお、図１０（ａ）〜（ｃ）に示す例では、背景領域のダイナミックレンジ拡大量は１段分（３／３段分）までとなっている。
図１０（ｄ）は、シーン判定結果に応じて最終的に決定されるダイナミックレンジ拡大量の範囲を変更する例を示している。この例では、逆光シーンであることが判別された場合には、顔領域のダイナミックレンジ拡大量は３／３段までで変化がないが、背景領域のダイナミックレンジ拡大量が６／３段まで拡張されている。

システムコントローラ１０７は、以上のように決定したダイナミックレンジ拡大量をバッファメモリ１０３に格納し、本撮像時に参照する。ダイナミックレンジ拡大量の決定動作は、スタンバイ時において、例えばＥＶＦ画像の一定フレーム毎、あるいは一定時間毎に行うことができ、バッファメモリ１０３には最新のダイナミックレンジ拡大量が格納される。

（シーン判定）
次に、本実施形態の撮像装置におけるシーン判定動作について説明する。
本実施形態の撮像装置が判定するシーンに特に制限はないが、ここでは例示として、人物の有無、夜景シーン、青空シーン、夕景シーン、逆光シーン、及びマクロ撮影の判定動作について説明する。
本実施形態において、シーン判定は、
・測光センサや撮像画像から得られる被写体輝度（Ｂｖ値）などの露出情報、
・オートフォーカス動作で得られる被写体距離情報、
・ホワイトバランス制御によって得られる色温度情報、
・色評価値取得回路１３２によって得られるブロックごとの色評価値、
・ヒストグラム作成回路１３０によって得られるヒストグラム、
・姿勢センサ１３３の出力から得られる撮像素子の姿勢情報、
に基づいて、システムコントローラ１０７が実行する。

（夜景判定）
以下の条件（Ａ１）から（Ａ３）のすべてを満たした場合、夜景であると判定する。
（Ａ１）Ｂｖ値が０[EV]以下
（Ａ２）ブロックごとの色評価値から算出される、画像全体の平均輝度値が所定の値以下
（Ａ３）画像の上から所定の範囲内に、色評価値から得られる平均輝度、平均彩度が以下の条件を満たすブロックが所定割合以上存在する
平均輝度が所定値Y_Th_night以下
平均彩度が所定値C_Th_night以下
なお、画像の上下は、姿勢センサ１３３の出力に基づいて判定することができる。
また、条件をＢｖ値の範囲によって可変してもよい。
さらに、三脚の装着有無を考慮してもよい。三脚の装着有無は、撮像装置が手ぶれ補正用の振動検出センサを内蔵している場合には、振動検出センサの出力から判定できる。また、撮像画像内の被写体の動きに基づいて判定してもよい。三脚の装着が判定される場合には、通常の夜景とは別に、三脚夜景シーンと判定してもよい。
そして、例えば、三脚夜景で人物がいない場合には、手ぶれや被写体ぶれの心配が少ないため、感度を下げて長秒時露光をするような露出制御を行ってもよい。
また、三脚夜景で人物ありの場合には、顔領域および背景の明るさが最適になるよう、露出およびフラッシュ調光の制御をすることが望ましい。
また、長秒時露光を行うことで、黒が浮きやすくなり、ノイズも増加しやすいため、ダーク部分の階調特性をつぶす（低い階調レベルに抑える）ようにすることでより好ましい画像が得られる。

（青空判定）
以下の条件（Ｂ１）から（Ｂ４）のすべてを満たした場合、青空と判定する。
（Ｂ１）Ｂｖ値が５[EV]以上
（Ｂ２）撮影時の被写体距離が所定値以上（マクロ撮影でないこと）
（Ｂ３）色温度が所定の色温度の範囲
（Ｂ４）画像の上から所定の範囲内に、色評価値から得られる平均輝度、平均色相および平均彩度が以下の条件を満たすブロックが所定の割合以上存在する
平均輝度が所定範囲内(Y_Th_Sky_Low以上,Y_Th_Sky_Hi以下)
平均色相が所定範囲内(Hue_Th_Sky_Low以上、Hue_Th_Sky_Hi以上)
平均彩度が所定範囲内(C_Th_Sky_Low以上、C_Th_Sky_Hi以下)
また、各条件を、Ｂｖ値の範囲によって可変してもよい。
例えば、青空で人物なしの場合には、風景写真である確率が高いと考えられる。そのため、青色やその他の色などの全体の彩度を強調し、コントラストを上げるような処理を行うとより好ましい画像が得られる。
また、青空で人物ありの場合には、風景スナップ写真である確率が高い。そのため、青色の彩度を強調しつつも肌色付近の彩度強調は控えめし、顔の露出及び階調が最適になるようなＡＥおよび階調特性設定を行うと好ましい画像が得られる。

（夕景判定）
以下の条件（Ｃ１）から（Ｃ７）のすべてを満たした場合、夕景と判定する。
（Ｃ１）Ｂｖ値が７[EV]以上
（Ｃ２）撮影時の被写体距離が所定値以上（マクロ撮影でないこと）
（Ｃ３）色評価値から算出される画像全体の平均輝度値が所定値以下
（Ｃ４）平均輝度が所定値以上の高輝度のブロックが所定の割合以上存在する
（Ｃ５）色評価値から得られる平均輝度、平均色相および平均彩度が以下の条件を満たすブロックが所定の割合以上存在する
平均輝度が所定範囲内(Y_Th_Sunset_Low以上,Y_Th_Sunset_Hi以下)
平均色相が所定範囲内(Hue_Th_Sunset_Low以上、Hue_Th_Sunset_Hi以下)
平均彩度が所定範囲内(C_Th_Sunset_Low以上、C_Th_Sunset_Hi以下)
（Ｃ６）以下の条件を一つも満たさないブロックの数が所定値以下であること
夕景判定の（Ｃ５）の条件
青空判定の（Ｂ４）の条件
平均彩度が所定値以下
平均輝度が所定値以上（高輝度ブロック）
平均輝度が所定値以下（低輝度ブロック）
（Ｃ７）色評価値における色相や彩度のヒストグラムが所定値以上の分散を持つ
また、各条件を、Ｂｖ値の範囲によって可変してもよい。色評価値に基づいてスミア領域を除去するようにしてもよい。
夕景と判定された場合、赤・オレンジ系の色の彩度強調や、曇りなどの高色温度方向のＷＢ設定を行うとともに、やや露出アンダーとするＡＥ制御を行うとより好ましい画像が得られる。

（逆光判定）
（１）顔が検出されている場合
顔領域に対応するブロックの色評価値から求めた平均輝度と、他のブロックの色評価値から求めた平均輝度値との差が所定EV値以上の場合、人物あり逆光と判定する。
（２）顔が検出されていない場合
ＡＥが一定期間収束した場合、図１５に示すように、画像全体を外周から順にＡ−Ｄの４種類の領域に分割し、それぞれの領域に対応するブロックの色評価値から、領域ごとの平均輝度値を算出する。
領域Ａの平均輝度値と、領域Ｂ−Ｄのそれぞれの平均輝度値とを比較し、所定EV値以上の差が検出された場合、人物なし逆光と判定する。
ここで述べた方法以外にも、ＣＣＤＲＡＷ画像をブロック分割して得られる輝度情報を用いてもよいし、ヒストグラムの情報を使用してもよい。
本実施形態における逆光判定は、輝度の２次元的なパターンを検出しており、白飛びの検出で行ったような、ブロックや領域ごとの輝度の白飛びの程度を検出とは異なる。したがって、逆光判定と白飛び検出とは異なる処理である。
しかしながら、逆光判定されたシーンは、高輝度部分の階調つぶれが生じる可能性が高いと考えられるので、逆光判定された場合にはダイナミックレンジ拡大量をより大きく設定することで、より好ましい画像を得ることができる。

（マクロ判定）
マクロ撮影かどうかは、合焦した被写体距離に基づいて判定することができる。被写体距離は、例えばフォーカスレンズの位置から、あらかじめ設定されている対応表を参照して得ることができる。被写体距離が所定値以下の場合、マクロ撮影であると判定とする。
近距離でストロボ撮影を行うと白飛びを起こす可能性が高いため、マクロ撮影と判定された場合にはなるべくストロボを発光させないように露出制御することが望ましい。また、ストロボ撮影した場合には、信号処理回路１４０で高輝度部分を寝かせた諧調特性を用いるように設定して、ハイライト部分の階調が飽和しにくくなるようにしてもよい。

図１４は、本実施形態の撮像装置における本撮像処理の動作を説明するフローチャートである。
なお、撮像スタンバイ時において、システムコントローラ１０７は、ＥＶＦ画像から上述した方法によりダイナミックレンジ拡大量を例えば一定周期で決定しているものとする。本実施形態ではダイナミックレンジ拡大量（ＡＥ目標値の低減量）を１／３段単位で０／３段から３／３段までの４段階で決定可能であるとする。なお、ダイナミックレンジ拡大量の範囲および１段階あたりの大きさは任意に設定することが可能である。また、システムコントローラ１０７は、例えば、操作部１１２に含まれるシャッターボタンが半押しされ、撮像準備指示が入力されると、ＥＶＦ画像とＡＦ制御およびＡＥ制御の結果を用いて、上述したシーン判定処理を実行する。

そして、撮像スタンバイ時において、操作部１１２に含まれるシャッターボタンが全押しされ、撮像開始指示が入力されたことに応答して、以下の処理を撮像制御手段としてのシステムコントローラ１０７が開始する。

Ｓ４００で、システムコントローラ１０７は、シーン判定の結果、夕景と判定されたかどうか判断する。夕景と判定された場合、システムコントローラ１０７は、Ｓ４０８で夕景用の露出補正量を算出し、ダイナミックレンジ拡大量の算出は行わない。一方、夕景と判定されていない場合は、システムコントローラ１０７は、Ｓ４０１で、撮像開始指示が入力される直前に決定されたダイナミックレンジ拡大量をバッファメモリ１０３から取得する。

Ｓ４０２でシステムコントローラ１０７は、取得したダイナミックレンジ拡大量、すなわちＡＥ目標値の低減量が、ＡＦＥ回路１５０における感度調整（ＣＤＳゲイン回路およびＶＧＡゲイン回路の制御）により実現可能であるか否か判定する。この判定は、ＡＦＥ回路１５０で調整可能な感度の範囲とＳ４０１で取得したダイナミックレンジ拡大量とを比較して行うことができる。ダイナミックレンジ拡大量に相当する感度の低減（ゲインの低減）ができない場合、システムコントローラ１０７は、ＡＦＥ回路１５０での感度調整のみではダイナミックレンジ拡大量を実現できないと判断する。

ＡＦＥ回路１５０における感度調整でダイナミックレンジ拡大量を実現可能な場合、補正量決定手段としてのシステムコントローラ１０７は、Ｓ４０４で、ゲイン設定を撮像条件として算出する。なお、ＣＤＳゲインとＶＧＡゲインとをどのように組み合わせて設定するかには特に制限はなく、任意の組み合わせで設定可能である。

一方、ＡＦＥ回路１５０での感度調整だけではダイナミックレンジ拡大量を実現できないと判断される場合、システムコントローラ１０７はＡＦＥ回路１５０で可能なゲイン制御を行っても依然として不足するゲイン量に基づいて、露出条件を変更する（Ｓ４０５）。具体的には、システムコントローラ１０７は、不足するゲイン量を実現するための露出補正量を算出する。
ここでの露出補正はマイナス補正であり、絞りを小さくする、シャッター速度を早くする、減光フィルタ（ＮＤフィルタ）を挿入するといった、一般的な方法によって実現することができる。

Ｓ４０６でシステムコントローラ１０７は、Ｓ４０５で算出した露出補正が可能か否かを判定する。例えば、ＮＤフィルタを持たない撮像装置では、自動露出制御により、シャッター速度が最高速度に、かつ絞りが最小（絞り値が最大）に既に設定されている場合、露出をマイナス補正することはできない。また、フラッシュ撮像時において、同調可能な最高シャッター速度に設定されている場合には、シャッター速度を上げることはできない。その他、シャッター速度の上限が決定されている場合なども同様である。なお、絞り優先ＡＥモードであれば、ユーザが設定した絞り値を変えないことが好ましいので、既にシャッター速度が最高速であれば、マイナス補正できないとの判定になることもある。シャッター速度優先ＡＥモードであっても同様である。

ゲイン調整での不足分に相当する露出のマイナス補正ができないと判定される場合、システムコントローラ１０７は、Ｓ４０７で、ダイナミックレンジ拡大量を、感度調整および露出補正によって実現可能な最大な値に補正する。そして、システムコントローラ１０７は、ＡＦＥ回路１５０に設定するゲイン量と、必要に応じてさらに露出補正量を算出する。

Ｓ４０９で、システムコントローラ１０７は、ＡＦＥ回路１５０のＣＤＳゲイン回路１５２およびＶＧＡゲイン回路１５４に、撮像条件としてのゲイン量を設定する。また、露出補正を行う場合には、ＡＥ結果に応じた露出パラメータ（シャッター速度、絞り値、ＮＤフィルタの使用有無の設定など）を、露出補正量に応じて変更し、やはり撮像条件としてレンズ装置２００に設定する。

Ｓ４１０でシステムコントローラ１０７は、静止画撮像（本露光）を行う。
Ｓ４１１でシステムコントローラ１０７は、本露光前の処理で、ダイナミックレンジが拡大されているかどうか判別する。ここでは、システムコントローラ１０７は、ダイナミックレンジの拡大量が０段である場合と、Ｓ４００で夕景と判定された場合には、ダイナミックレンジが拡大されていないと判別する。
Ｓ４１２でシステムコントローラ１０７は、本露光前のシーン判定処理の結果、夜景と判定されたかどうか判断する。夜景と判定されている場合、Ｓ４１５でダイナミックレンジ拡大量に応じた夜景用階調特性の選択を行う。夜景判定されていない場合には、Ｓ４１３で本露光用の画像からヒストグラムを算出し、Ｓ４１４でダイナミックレンジの縮小量（Ｄ−量）を決定する。

図１６は、夜景判定された時に選択する階調特性の例を示す。図示したように、通常の階調特性に対し、暗部の特性をつぶす（入力輝度値の増加割合に対して出力輝度の増加割合を低くする）ことで、暗部におけるノイズを目立たなくすることができ、夜景撮影時の画像として黒が締まった好ましい画像となる。
もちろん、これらの階調特性は感度や絞りやズームポジションなどによって可変してもよい。たとえば絞りが開放のときにはレンズの周辺光量が落ちやすいため、黒をつぶす程度を軽減してもよい。

Ｓ４１６でシステムコントローラ１０７は、
・ダイナミックレンジ拡大量に応じた階調特性（拡大量が０もしくは夕景判定された場合以外）、
・Ｓ４１５で選択した夜景用階調特性、もしくは
・Ｓ４１４で決定したダイナミックレンジ縮小量に応じた階調特性、
のパラメータを信号処理回路１４０に設定する。

図１１は、本実施形態におけるダイナミックレンジの概念図を表す図である。
本実施形態において、ダイナミックレンジとは、適正輝度に対する撮像素子の飽和信号量輝度の比率と定義する。適正輝度とは、自動露出制御（ＡＥ）を行う際の輝度目標値レベルであり、例えばＡＥのモードが平均測光モードであれば、画面輝度の平均値に相当する。

従って、
ダイナミックレンジ＝センサー飽和信号量輝度／ＡＥ目標値
と定義することができる。
なお、ここでのＡＥ目標値はＡＦＥ回路１５０で感度調整を行う前の、撮像素子１０１の出力信号に基づくＡＥ目標値である。

ＡＥ目標値は、ＡＥのモードに応じて変化してよく、評価測光モードやスポット測光モードであっても、それぞれのモードによるＡＥ目標値を用いることができる。
図１２は、ＡＥ目標値、飽和信号値およびダイナミックレンジの関係例を示す図である。
図１２から、ＡＥ目標値を下げることにより、ダイナミックレンジ量を大きくしていくことが可能であることがわかる。

図１３は、本実施形態の信号処理回路１４０における階調特性の設定例を示す図である。
ダイナミックレンジ拡大量を、通常（０／３段）、＋１／３段、＋２／３段、＋３／３段分の４段階に設定した場合の階調特性（明るさ補正量）の設定例を示している。

ここで各ダイナミックレンジ拡大量に対応したＡＥ目標値は図１２で示したものと同値である。図１３に示すように、各ダイナミックレンジ拡大時におけるＡＥ目標値に対して階調補正した後のＡＥ目標値が、ダイナミックレンジ拡大量によらず、ダイナミックレンジ拡大をしない通常のＡＥ目標値となるように階調特性を設定する。

図１１および図１２を用いて説明したように、ＡＥ目標値を下げることで、ダイナミックレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、露出アンダーとなり、撮像画像が暗くなってしまう。そのため、ダイナミックレンジ拡大量に応じて、撮像後の画像データを明るくするように信号処理回路１４０で階調補正することにより、撮像画像の明るさ（露出）を適正にしながら、ダイナミックレンジを拡大することができる。従って、信号処理回路１４０は補正手段として動作する。

なお、本実施形態では、ＡＥ目標値を下げたことによる撮像画像の輝度低下を、階調補正により補償する構成について例示したが、ルックアップテーブルなど別の手段を用いて同様の輝度補正を行ってもよい。

また、ホワイトバランスを補正するホワイトバランス係数のゲインなどのゲインと、飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やＡＦＥゲインの低減などによりゲインダウンされた画像信号をＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。

ここで、感度設定（ＡＦＥ回路１５０のゲイン設定）と、撮像素子１０１の飽和との関係について説明を行う。
一般に、光量およびカメラの露出値（入力）に対して、出力が所定の関係を満たすように、撮像素子の出力信号に対するゲインが制御される。

しかしながら、撮像素子が有するフォトダイオードに蓄積可能な電荷量は上限がある。そのため、撮像素子の撮像感度を下げる目的で、ＡＦＥ回路１５０で適用するゲインを下げると、ゲイン適用後の最大信号量も低下する。従って、ゲインの低下とともに飽和信号量も低下する。

このように、撮像素子の感度を増加させる方向については、ノイズの増幅を無視すれば所望の感度設定を行うことは可能であるのに対し、感度を低減させる方向では、飽和信号量から生じる限界値が存在する。

図１４のＳ４０８において、感度が下げられない場合は、撮像装置で設定可能な最低感度が既に設定されている場合であることが多い。これは、撮像素子の出力信号に対するゲインがすでに最低感度に相当にする値まで低減されていることを意味する。そのため、ＡＦＥ回路１５０のゲインを制御することによってさらに感度を低減することはできない。従って、本実施形態では、ＡＦＥ回路１５０のゲインを制御しても目標のＡＥ目標値（感度）低減量を実現できない場合、露出補正によってさらなる感度低減を実現する。

露出補正によって感度を低減した撮像を行い、得られた暗い画像に対して信号処理回路１４０で階調補正して明るさを補正する操作は、結局のところ感度を増加することと同じであり、階調補正時にノイズも増幅され、画質の劣化を生じる。

しかし、本実施形態においては、ダイナミックレンジ拡大量に対応する撮像感度の低減をＡＦＥ回路１５０のゲイン制御で実現できる場合には、ゲイン制御での撮像感度低減を優先して行う。そして、ゲイン制御のみではダイナミックレンジ拡大量に対応する撮像感度の低減を実現できない場合でも、ゲインを最低まで低減し、不足分の感度低減を露出補正で補っている。この場合、階調補正時にノイズが増幅されたとしても、既にＡＦＥ回路１５０のゲインが最低感度に相当するレベルまで低減されているため、ノイズ自体が大きくない。そのため、画質の劣化は最低限に抑制することができる。

図１７は、本実施形態の撮像装置におけるダイナミックレンジ縮小量（Ｄ−）の決定動作を説明するためのフローチャートである。図１７に示す動作は、図１２のＳ４１３のヒストグラム取得およびＳ４１４のダイナミックレンジ縮小量決定動作に対応する。
Ｓ５０１で、システムコントローラ１０７は、バッファメモリ１０３に格納されたＣＣＤＲＡＷ画像データに対して、Ｒ，Ｇ，Ｂの色毎にホワイトバランス係数（ＷＢ係数）を乗算する。ここで用いるＷＢ係数は、本撮像された画像から算出したものであっても、本撮像の直近のＥＶＦ画像から算出したＷＢ係数でもよい。ただし、後者の場合、本撮像でフラッシュ撮影された場合には、フラッシュ光の色温度に応じたＷＢ係数や、Ｄ５５光源またはデイライト用のＷＢ係数を用いることができる。
ＷＢ係数を乗算することで、色毎の飽和量を正確に検出することが可能となり、特定の色が飽和するような被写体であっても検出することが可能となる。

Ｓ５０２で、システムコントローラ１０７は、ヒストグラム作成回路１３０を用いて、ＷＢ係数を乗算した画像に関する色毎の累積ヒストグラムを取得する。
Ｓ５０３で、システムコントローラ１０７は、累積ヒストグラムの頻度が所定の値（例えば８０％）となる輝度値Y_Hpを、ハイライト輝度値として色ごとに取得する。
Ｓ５０４で、システムコントローラ１０７は、あらかじめ定められている飽和目標値Sat_TargetYに対するゲイン値Gain_yhpを色毎に下記の式にて算出する。
Gain_yhp=Sat_TargetY/Y_hp
そして、システムコントローラ１０７は、色ごとに算出したGain_yhpの中で最小のゲイン値を、最終的なダイナミックレンジ縮小量に対応したゲイン値Gain_yhpとする。

Ｓ５０５でシステムコントローラ１０７は、Ｓ５０４で算出したゲイン値に対応した階調特性パラメータを選択する。
図１８は、Ｓ５０４で算出された最終的なゲイン値Gain_yhpの値と、撮像感度とに応じた最終ゲインアップ量の関係例を示す図である。
本実施形態においては、最終ゲインアップ量が０，１．１２，１．２５，１．４１の４通りとされ、システムコントローラ１０７は、
１．１２→露出が１／６段アップ相当の階調特性
１．２５→露出が１／３段アップ相当の階調特性
１．４１→露出が１／２段アップ相当の階調特性
をそれぞれ選択する。

図１９は、ゲインアップ量と階調特性設定値の関係について示した図である。露出を１／６段あげるということは、ＡＥ目標値を１／６段あげることと同じである。このように、ダイナミックレンジ縮小処理は、本露光により得られた画像の階調特性を補正し、最終ゲインアップ量に応じた段数、画像を明るくする。

本実施形態においては、階調特性設定を可変させることで、ダイナミックレンジ縮小量を可変させたが、ルックアップテーブルを用いたり、ＷＢ係数を制御してダイナミックレンジ縮小量を可変させることもできる。
また、本実施形態においては、本露光時のＲＡＷ画像に対してヒストグラム解析を行い、ダイナミックレンジ縮小量を決定した。しかし、ダイナミックレンジ拡大量の決定と同様、ＥＶＦ画像に対してヒストグラム解析を行い、ダイナミックレンジ縮小量を決定して露出制御してもよい。この場合、階調特性によってゲインアップする必要がないので、ゲインアップによるノイズ増幅を伴わずにダイナミックレンジの縮小が可能である。
しかし、例えばフラッシュ撮影時など、本露光するまで画像の白飛び具合を判断することはできない場合もある。そのため、例えばフラッシュ非発光時にはＥＶＦ画像に基づいてダイナミックレンジ縮小量を決定して露出制御し、フラッシュ発光時には本露光画像の解析結果を用いるようにしてもよい。

図２０は、本実施形態の撮像装置における、シーン判定結果に応じた、露出制御、ダイナミックレンジ拡大処理（Ｄ＋）、ダイナミックレンジ縮小処理（Ｄ−）、および夜景用階調特性の設定の関係例を示す図である。なお、本実施形態ではダイナミックレンジ拡大されていない場合にダイナミックレンジ縮小処理を行う。従って、図２０において、Ｄ＋、Ｄ−の両方に○（もしくは◎）が記載されているのは、Ｄ＋またはＤ−の実行が可能であることを示し、両方を行うことを示しているのではない。

シーンが夜景と判定され、かつ人物がいない場合（顔検出回路１２０によって顔が検出されない場合）には、ＥＶＦ画像に基づいて決定したダイナミックレンジ拡大量に応じたダイナミックレンジ拡大処理を行う。また、上述したように、暗部をつぶした階調特性を選択する。
一方、夜景の場合、暗い部分の面積が大きいため、ヒストグラムなどの輝度情報を用いてダイナミックレンジ縮小処理を行うと、感度アップした階調特性が選択されてしまう。しかし、夜景は通常のシーンと比較して、ある程度暗く撮影されていたほうが好ましいため、ダイナミックレンジ縮小処理（Ｄ−）は行わない。

一方、夜景と判定され、かつ人物が含まれる場合には、ダイナミックレンジの拡大または縮小処理を行い、夜景用の階調特性は選択しない。
夜景で人物を含む場合、夜景用の階調特性を選択すると顔のコントラストが上がりすぎ、顔の暗部の階調性がつぶれて好ましい画像が取得できない。また夜景で人物が含まれる場合、フラッシュ撮影されることが多いが、ズームレンズの望遠側で撮像される場合など、被写体距離が遠い場合には、フラッシュ光が十分に到達しない場合も多くなる。そのため、人物の顔領域などについてダイナミックレンジ縮小処理を行う方が好ましい画像が取得できる。

夕景と判定され、かつ人物が含まれない場合には、本露光で通常撮影時よりも露出アンダーとなるように露出制御するとともに、ダイナミックレンジ拡大処理を禁止する。
夕景と判定されるシーンには太陽が画角に入っている場合が多い。そのため、自動露出制御の結果は露出アンダーの傾向にあるため、さらにマイナス補正してダイナミックレンジを拡大させる効果が少ない。むしろ、ダイナミックレンジ拡大処理（Ｄ＋）は、撮像感度を上げてしまう場合もあり、その場合はノイズが増幅されて好ましくない画像となる可能性が高くなる。また、赤を強調するように彩度を制御する。

また、夕景で人物が含まれる場合で、フラッシュ発光しない場合は、顔の明るさを制御することはできない。従って、顔優先の露出決定（顔優先ＡＥ）を実施するとともに、ダイナミックレンジ拡大処理（Ｄ＋）または縮小処理（Ｄ−）を行うことで、好ましい画像を取得することが可能となる。
一方、夕景で人物が含まれ、かつフラッシュ発光する場合、フラッシュの調光制御により、顔の明るさを制御することが可能である。そのため、人物なしの場合と同様、露出アンダーで撮像し、ダイナミックレンジ拡大処理を禁止することで、好ましい画像を取得可能である。また、夕景で人物が含まれる場合には、肌色の色調に影響を与えないよう、赤の再度強調は行わない。

逆光と判定され、人物が含まれない場合、十分に明るいシーンであることが多い。つまり、撮像感度は低く、高速なシャッタースピードが撮像装置によって設定されている場合が多い。この結果、ダイナミックレンジ拡大処理が行えない可能性が高い。そして、人物が含まれず、風景がメイン被写体である撮像の場合、ノイズが少ない画像のほうが好まれることが多い。
一方、人物が含まれる場合は、人物が日陰や、室内の暗い所にいて、かつ背景が日向や屋外などである場合が多い。このように、異なる光源が一つの撮影シーンに混在している場合などは、ダイナミックレンジ拡大量が１段で足りない場合が多い。また、スナップ写真のような場合には、顔や背景が撮影されていたほうが好ましい。

このように、逆光シーンでは、人物が含まれる場合にはダイナミックレンジ拡大量を大きくし、人物が含まれない場合には、ダイナミックレンジ拡大量を大きく設定しないことで、より好ましい画像が撮影可能となる。たとえば、通常のシーン判定結果においては、ダイナミックレンジ拡大量を最大で１段までとし、逆光で、人物が含まれるシーンの場合には、ダイナミックレンジ拡大量を例えば２段分まで拡張する。
もちろん、ダイナミックレンジ拡大処理で決定する拡大量の上限は、撮像感度を上げる度合いに応じて決定してもよいことは言うまでもない。例えば、高感度で撮影する明るさの場合にはダイナミックレンジ拡大量を大きくし、そうでない場合にはダイナミックレンジ拡大量を小さくするように制御することができる。

青空と判定された場合、青の彩度を強調すること以外、通常シーンと同様である。
ただし、青空と判定され、かつ青色部分の輝度が高く、シアン色相方向であるのブロックが多い場合には、ダイナミックレンジ拡大量の上限を拡張してもよい。これにより、空部分のとび具合を積極的に判定しながらダイナミックレンジ拡大量を決定することが可能となる。
また、人物シーンの場合、人物優先のＡＥを行うとともに、ダイナミックレンジの拡大または縮小処理を行う。

通常のシーン（夜景、夕景、逆光でなく、人物が検出されていない場合）、ダイナミックレンジの拡張処理は、撮像感度が変わらない範囲で行い、ダイナミックレンジ縮小処理は低撮像感度時のみ行い、ノイズの増加を抑制することが可能となる。
青空（人物なし）と判定された場合、青の彩度を強調すること以外、通常シーンと同様である。
ただし、青空と判定され、かつ青色部分の輝度が高く、シアン色相方向であるのブロックが多い場合には、ダイナミックレンジ拡大量の上限を拡張してもよい。これにより、空部分のとび具合を積極的に判定しながらダイナミックレンジ拡大量を決定することが可能となる。

（他の実施形態）
上述の実施形態においては、静止画撮像において本発明によるダイナミックレンジ拡大を適用した場合について説明したが、ＥＶＦ画像の撮像時や動画撮像時にも同様に適応可能である。この場合、ＡＦＥ回路１５０のゲイン制御（および必要に応じた露出補正）と、信号処理回路１４０における階調補正とが同じ画像に対して適用されるよう、これらパラメータ設定のタイミングを調整する。

Claims

静止画撮像の前に撮像される動画像における明るさ及び顔検出の情報に少なくとも基づいて、少なくとも、人物あり夜景シーンと人物なし夜景シーンのシーン判定を行うシーン判定手段と、
前記動画像の所定領域の明るさに基づいて、目標輝度レベルを設定する設定手段と、
前記シーン判定手段により人物あり夜景シーンと判断された場合、前記動画像で検出された顔領域の明るさに基づいて前記設定手段により設定された目標輝度レベルを得るために必要な撮像感度よりも撮像感度を低減させて静止画撮像し、該静止画撮像された画像に対して前記撮像感度の低減量を補償するための階調補正を適用する第１の撮像処理を実行し、前記シーン判定手段により人物なし夜景シーンと判断された場合、入力輝度値の増加割合に対して出力輝度の増加割合を低くする階調補正を該静止画撮像された画像に適用する第２の撮像処理を実行する制御手段とを有することを特徴とする撮像装置。
前記制御手段は、前記シーン判定手段により人物あり夜景シーンと判断され、前記第１の撮像処理における前記撮像感度の低減量が０である場合には、前記設定手段により設定された目標輝度レベルを得るために必要な撮像感度で静止画撮像し、前記動画像又は該静止画撮像された画像のハイライト輝度値と予め定められている飽和目標値に基づく階調補正を該静止画撮像された画像に適用する第３の撮像処理を実行することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記シーン判定手段により人物なし夜景シーンと判断された場合、前記第３の撮像処理を実行しないことを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記撮像における絞りの状態に応じて、前記第２の撮像処理における階調補正の度合いを軽減することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
シーン判定手段が、静止画撮像の前に撮像される動画像における明るさ及び顔検出の情報に少なくとも基づいて、少なくとも、人物あり夜景シーンと人物なし夜景シーンのシーン判定を行うシーン判定工程と、
設定手段が、前記動画像の所定領域の明るさに基づいて、目標輝度レベルを設定する設定工程と、
制御手段が、前記シーン判定工程により人物あり夜景シーンと判断された場合、前記動画像で検出された顔領域の明るさに基づいて前記設定工程により設定された目標輝度レベルを得るために必要な撮像感度よりも撮像感度を低減させて静止画撮像し、該静止画撮像された画像に対して前記撮像感度の低減量を補償するための階調補正を適用する第１の撮像処理を実行し、前記シーン判定工程により人物なし夜景シーンと判断された場合、入力輝度値の増加割合に対して出力輝度の増加割合を低くする階調補正を該静止画撮像された画像に適用する第２の撮像処理を実行する制御工程とを有することを特徴とする撮像装置の制御方法。
前記制御工程において前記制御手段は、前記シーン判定工程により人物あり夜景シーンと判断され、前記第１の撮像処理における前記撮像感度の低減量が０である場合には、前記設定工程により設定された目標輝度レベルを得るために必要な撮像感度で静止画撮像し、前記動画像又は該静止画撮像された画像のハイライト輝度値と予め定められている飽和目標値に基づく階調補正を該静止画撮像された画像に適用する第３の撮像処理を実行することを特徴とする請求項５に記載の撮像装置の制御方法。
前記制御工程において前記制御手段は、前記シーン判定工程により人物なし夜景シーンと判断された場合、前記第３の撮像処理を実行しないことを特徴とする請求項６に記載の撮像装置の制御方法。
前記制御工程において前記制御手段は、前記撮像における絞りの状態に応じて、前記第２の撮像処理における階調補正の度合いを軽減することを特徴とする請求項５〜７のいずれか１項に記載の撮像装置の制御方法。
撮像装置のコンピュータに、請求項５〜８のいずれか１項に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。