JP5351663B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

従来、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を用いたデジタルカメラやデジタルビデオが広く用いられている。しかし、これらの撮像素子は銀塩フィルムと比較してダイナミックスレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白とび）が発生しやすかった。

このような問題に対し、自動的にダイナミックスレンジをコントロール可能なシステムが提案されている。
例えば特許文献１では、撮像された画像から、主要被写体が逆光又はハイコントラストであると検出された場合には、画像のヒストグラムから黒色飽和点及び白色飽和点を特定し、主要被写体の明るさが適正となるように階調補正を行うことが提案されている。

また、特許文献２では、高感度の受光素子と低感度の受光素子を配置した撮像素子を用い、同一シーンを異なる感度の受光素子で撮像してダイナミックレンジの異なる２種類の画像を取得し、それらをシーン解析結果に応じて合成することが提案されている。

さらに、撮像感度の設定範囲を１段高感度よりにシフト（ISO 100-3200をISO 200-6400にシフト）することで、ハイライト部分の階調表現性を向上させる高輝度側階調優先モードを有する撮像装置も知られている（非特許文献１）。

特開２００５−２０９０１２号公報 特開２００４−１８６８７６号公報

EOS 5D MarkII使用説明書[online]、CANON INC. 2008 ［平成２１年８月２５日検索］、インターネット＜URL: http://cweb.canon.jp/manual/eosd/pdf/eos5dmkii-im-ja.pdf＞

しかし、特許文献１の方法では、コントラスト感を高めるための効果はあるものの、センサーが飽和するポイントは変わらないため、ダイナミックレンジを拡げる効果は得られない。

また、特許文献２の方法では、ダイナミックレンジを拡げる効果は得られるが、感度の異なる受光素子を配置した特別な撮像素子を用いる必要があるため、コストがかかるという問題点があった。

また、非特許文献１に記載される撮像装置においては、高輝度側の階調性を向上させるべきか否かを、シーンに応じてユーザが都度判断しなければならない。そのため、高輝度側階調優先モードを有効に利用できるかどうかは、ユーザが正しく判断し、かつ正しくモードの設定を行った場合に限られる。

一方、被写体のダイナミックレンジが拡大されても、出力装置のダイナミックレンジは変わらないため、撮像画像のコントラストが低下するといった弊害も発生しうる。また、最適なダイナミックレンジ拡大量もシーンにより異なるため、シーンを解析して最適なダイナミックレンジ拡大量を決定する必要がある。

たとえば、近年では、画面内の顔を検出し、顔の明るさが適正となるように自動露出制御する顔ＡＥ機能を搭載する撮像装置が一般的になっている。このような顔ＡＥ機能を搭載している撮像装置で、人物を逆光で撮像する場合には、顔の明るさが最適になるように露出制御すると、背景が露出オーバーとなり白とび領域が多くなる場合がある。このような状況での撮像では、全体のコントラストよりも、主被写体である人物の顔の明るさが適正で、かつ背景の白とびをなるべく抑えることが重視される。そのため、ダイナミックレンジの拡大量を大きく設定したほうが好ましい画像が得られる。

逆に、砂浜や雪山のような白い被写体が含まれるようなシーンにおいては、白とびを抑えるようにダイナミックレンジの拡大量を大きくすると、コントラストが低く、好ましくない画像が得られてしまう場合がある。

つまり、ダイナミックレンジの制御は、被写体や撮像シーンに応じてきめ細かに、かつ自動で行うことが望まれるが、従来はこのようなダイナミックレンジの制御は実現できていなかった。

本発明はこのような従来技術の問題点に鑑みなされたものであり、被写体や撮像シーンに応じてきめ細かに、かつ自動でダイナミックレンジの制御を行うことのできる撮像装置及びその制御方法を提供する。

上述の目的を達成するため、本発明の第１の見地による撮像装置は、撮像を行い画像データを取得する撮像手段と、撮像手段により取得された画像データの輝度のヒストグラムに基づいて第１の補正量を算出する第１の算出手段と、撮像手段により取得された画像データの領域間の輝度差に基づいて第２の補正量を算出する第２の算出手段と、第１の補正量及び第２の補正量を比較した結果に基づいて、撮像感度及び露出の少なくとも一方の低減量を決定する決定手段と、決定手段により決定された低減量に基づいて撮像手段により撮像を行い、取得された画像データに対して低減量を補う信号処理を適用する補正手段とを有することを特徴とする。

このような構成により、本発明によれば、被写体や撮像シーンに応じてきめ細かに、かつ自動でダイナミックレンジの制御を行うことができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図。 図１の露出制御回路１６０の構成例を示すブロック図。 本発明の実施形態における露出制御回路１６０が自動露出制御において用いる画面領域ごとの重みの例を示す図。 本発明の実施形態において輝度のヒストグラムを求める領域の例を示す図。 （ａ）は本発明の第１の実施形態に係る撮像装置における撮像動作を説明するためのフローチャート、（ｂ）は本発明の第２の実施形態に係る撮像装置における撮像動作を説明するためのフローチャート。 本発明の実施形態に係る撮像装置のヒストグラム作成回路が作成するヒストグラムの例を模式的に示す図。 （ａ）は本発明の実施形態に係る撮像装置におけるＤレンジの概念図を表す図、（ｂ）は本発明の実施形態に係る撮像装置における、ＡＥ目標値、飽和信号値およびＤレンジの関係例を示す図。 本発明の実施形態に係る撮像装置の信号処理回路におけるガンマ補正特性の設定例を示す図。

（第１の実施形態）
以下、添付図面を参照して、本発明を例示的な実施形態に基づき詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、撮像素子を用いて画像を撮像する機能を有する任意の装置を包含する。このような装置は、デジタルスチルカメラおよびデジタルビデオカメラはもとより、カメラを内蔵または接続した携帯電話、ＰＤＡ、パーソナルコンピュータなどを含む。

図１において、操作部１１２は、ボタン、スイッチなどを含み、ユーザが撮像装置に指示を与えたり、設定を行ったりするために用いられる。シャッターボタンも操作部１１２に含まれ、本実施形態ではシャッターボタンの半押し状態と全押し状態とを検出可能であるものとする。

システムコントローラ１０７は、シャッターボタンの半押し状態を撮像準備開始指示、全押し状態を撮像開始指示として認識する。システムコントローラ１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含み、ＲＯＭに記憶されたプログラムをＲＡＭを用いてＣＰＵが実行することにより、撮像装置の動作全般を制御する。

レンズ装置２００は、フォーカスレンズを含むレンズ群と、フォーカスレンズを駆動する駆動装置と、絞りと、メカニカルシャッターとを有し、システムコントローラ１０７の制御に基づいて動作する。

撮像素子１０１はＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの光電変換素子である。アナログフロントエンド（ＡＦＥ）回路１５０は、撮像素子１０１から出力されるアナログ画像信号に対してゲイン調整やＡ／Ｄ変換などを行い、デジタル画像信号として出力する。

バッファメモリ１０３は、ＡＦＥ回路１５０が出力するデジタル画像信号を一時的に記憶する。
圧縮・伸長回路１０４は、撮像画像データを記録用の画像ファイル（例えばＪＰＥＧファイル）の形式に符号化したり、記録媒体１０６から読み出された画像ファイルの復号化を行ったりする。

記録装置１０５は、内蔵メモリや、着脱可能なメモリカードのような記録媒体１０６に対し、システムコントローラ１０７の制御に従ってデータの読み書きを行う。
表示制御回路１０８は、システムコントローラ１０７の制御に従い、ＬＣＤなどの表示デバイスを有する表示部１１０への表示動作を制御する。
Ｄ／Ａコンバータ１０９は、表示制御回路１０８が出力する表示用のデジタル画像信号を表示部１１０が表示可能なアナログ画像信号に変換する。

表示部１１０は、撮像した画像の表示はもとより、ユーザが撮像装置に対して各種の設定や指示を行うためのＧＵＩ画面や、撮像装置に関する各種情報などの表示を行う。また、連続的に撮像した画像を表示部１１０に逐次表示することにより、表示部１１０を電子ビューファインダ（ＥＶＦ）として機能させることができる。この、表示部１１０をＥＶＦとして機能させるための逐次撮像・表示動作は、スルー表示、ライブビュー表示とも呼ばれる。

顔検出回路１２０は、バッファメモリ１０３に記憶された、ＹＵＶ形式またはＲＡＷ形式の画像データに対して顔検出処理を行い、画像中の顔領域の大きさ、位置を含む顔検出結果をヒストグラム作成回路１３０に出力する。

顔検出回路１２０が用いる顔検出方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。本実施形態の顔検出回路１２０は、一対の目（両目）、鼻、口を検出し、これらの相対位置より人物の顔領域を決定する手法により顔検出処理を行うものとする。

ヒストグラム作成回路１３０は、顔領域の検出結果を顔検出回路１２０から取得し、バッファメモリ１０３に記憶された画像データのうち、顔領域に含まれる画素の輝度のヒストグラムを作成する。ヒストグラム作成回路１３０はまた、画像を複数に分割した部分領域毎に、含まれる画素の輝度のヒストグラムも作成することが可能である。作成したヒストグラムはバッファメモリ１０３に格納する。本実施形態では、画面を縦横４分割した１６の領域に分割し、領域毎のヒストグラムを作成する。

信号処理回路１４０は、システムコントローラ１０７によって設定される信号処理パラメータ（ホワイトバランス補正係数やガンマパラメータなど）に従って、バッファメモリ１０３に格納されている画像データに対して信号処理を適用する。そして、信号処理回路１４０は、ＹＵＶ形式の画像データを生成し、再びバッファメモリ１０３に格納する。

露出制御回路１６０はバッファメモリ１０３に記憶された画像データ、顔検出回路１２０による顔検出結果、並びに露出制御に関する設定値（シーンモードや、顔優先モード、絞り又はシャッタースピード優先モードなど）に基づいて自動露出制御を行う。露出制御回路１６０は、自動露出制御により決定した露出パラメータ（絞り、シャッタースピード、感度）をシステムコントローラ１０７に通知する。

次に、上述の構成を有する撮像装置における、撮像時の動作について説明する。
撮像モードで動作しており、撮像準備指示や撮像開始指示が入力されていないスタンバイ時において、本実施形態の撮像装置は、表示部１１０をＥＶＦとして機能させている。すなわち、システムコントローラ１０７は、所定のレート（例えば３０フレーム／秒）で連続的に撮像し、撮像した画像から表示用画像を生成して、表示部１１０に表示させる処理を実行している。

顔検出の実行が設定されている場合、顔検出回路１２０は表示用画像（以下、ＥＶＦ画像とも呼ぶ）に対して顔検出し、検出結果をシステムコントローラ１０７に出力する。そして、システムコントローラ１０７は、検出された顔領域をユーザに提示するための顔枠をＥＶＦ画像に重畳表示するよう、顔領域の位置情報とともに表示制御回路１０８に対して指示する。

また、顔検出結果はヒストグラム作成回路１３０にも供給され、ヒストグラム作成回路１３０はＥＶＦ画像中の顔領域に含まれる画素からヒストグラムを作成する。また、ヒストグラム作成回路１３０は、画像全体を複数に分割した領域ごとのヒストグラムを作成することもできる。作成したヒストグラムはバッファメモリ１０３に格納される。

ユーザがシャッターボタンを全押しして撮像開始指示が入力されると、システムコントローラ１０７は、自動露出制御（ＡＥ）、自動焦点検出（ＡＦ）などの処理結果に基づく撮像動作を行う。具体的には、システムコントローラ１０７は、レンズ装置２００の焦点位置や絞り、メカニカルシャッター、撮像素子１０１、さらに必要に応じてフラッシュ（図示せず）などを制御し、撮像する。

撮像素子１０１から出力されるアナログ画像信号は、上述したＡＦＥ回路１５０を通じて、デジタル画像データとしてバッファメモリ１０３に格納される。このデジタル画像データに対し、信号処理回路１４０は、システムコントローラ１０７から設定された様々な信号処理パラメータに従って処理し、ＹＵＶ形式の画像データを生成して、バッファメモリ１０３に再度格納する。

信号処理回路１４０で処理された画像データは、圧縮・伸長回路１０４によって例えばＪＰＥＧ形式のファイルに符号化され、記録装置１０５によって記録媒体１０６に記録される。

また、表示制御回路１０８は、バッファメモリ１０３に格納されたＹＵＶ形式の画像データから表示用の画像を生成し、クイックレビュー画像として、Ｄ／Ａコンバータ１０９を通じて表示部１１０に表示させる。

次に、図２を用いて、本実施形態の露出制御回路１６０における自動露出制御の具体的な処理について説明する。
領域輝度値演算出部２０２は、画面を横６、縦６に分割した３６の領域(I,J)（Ｉ，Ｊ＝０〜５）ごとに、バッファメモリ１０３に記憶されたＲＡＷ形式の画像データ（ＲＡＷ画像データ）２０１の平均輝度Ｙ(I,J)を算出する。

領域輝度値演算出部２０２は算出した平均輝度値Ｙ(I,J)を、画面全体輝度算出部２０３、画面上部輝度算出部２０４、主被写体輝度算出部２０５へそれぞれ供給する。

画面全体輝度算出部２０３は、図３（ａ）のような、領域(I,J)ごとの重みＷ(I,J)を用い、以下の式（１）に示す加重平均演算により画面全体輝度Ｙallを算出する。
Ｙall＝ΣＹ(I,J)×Ｗ(I,J)／ΣＷ(I,J) （１）
ただしＩ，Ｊ＝０〜５

画面上部輝度算出部２０４は、領域ごとの輝度値Ｙ(I,J)をもとに画面上部輝度値Ｙupperを式（２）に従って求める。
Ｙupper＝（Ｙ(0,0)＋Ｙ(1,0)＋Ｙ(2,0)＋Ｙ(3,0)＋Ｙ(4,0)＋Ｙ(5,0)）／６ 式（２）

主被写体輝度算出部２０５は、主被写体領域の輝度値を求める。本実施形態では、図１の顔検出回路１２０により顔が検出された場合、顔領域の大きさ及び位置が露出制御回路１６０に供給される。主被写体輝度算出部２０５は、検出された顔領域が１つであればその顔領域を、検出された顔領域が複数ある場合はその位置と大きさ（又はユーザの選択）により１つを主被写体領域として決定する。そして、主被写体輝度算出部２０５は、主被写体領域に含まれる画素の平均輝度値を主被写体輝度Ｙmainとして求める。

たとえば検出された顔領域が１つで、かつ図３（ｂ）のような位置にある場合、主被写体輝度算出部２０５は、以下の式（３）のように、顔検出領域に全体が含まれる４つの領域の画素値の平均輝度を主被写体輝度Ｙmainとしてを求める。
Ｙmain＝（Ｙ(1,2)+Ｙ(1,3)＋Ｙ(2,2)＋Ｙ(2,3)）／４ 式（３）

また、主被写体輝度算出部２０５は、顔検出回路１２０で顔が検出されなかった場合は、画面中心に主被写体があると仮定して、以下の式（４）のように、画面中心部の平均輝度値を主被写体輝度Ｙmainとして求める。すなわち、
Ｙmain＝（Ｙ(2,2)＋Ｙ(2,3)＋Ｙ(3,2)＋Ｙ(3,3)）／４ 式（４）
画面全体輝度Ｙall、画面上部輝度値Ｙupper、および主被写体輝度Ｙmainは、それぞれ露出制御値決定部２０６に供給される。
なお、画面全体輝度Ｙall、画面上部輝度値Ｙupper、および主被写体輝度Ｙmainが具体的な画像においてどのような領域の輝度値に対応するかの例を、図４に示す。

露出制御値決定部２０６は、以下のように画面全体輝度Ｙallおよび主被写体輝度Ｙmainの各々と目標露出値との差分を、露出制御データＤｅｌｔａＢｖとして求める。通常の自動露出制御では、画面上部輝度値Ｙupperは用いられない。
顔が検出されている場合
ＤｅｌｔａＢｖ ＝Ｌｏｇ２（Ｙmain／Ｙref） 式（５）
顔が検出されていない場合
ＤｅｌｔａＢｖ ＝Ｌｏｇ２（Ｙall／Ｙref） 式（６）
ただしＹrefは目標輝度値

ここで求められた露出制御データＤｅｌｔａＢｖは目標輝度値（すなわち、適正輝度値）からの差分である。従って、輝度値を求めたＲＡＷ画像データ２０１を撮像したときの露出パラメータを、露出制御データＤｅｌｔａＢｖを用いて補正して撮像することで、適正な明るさの画像を得ることが可能となる。

次に、図５（ａ）のフローチャートを参照して、本実施形態の撮像装置における、ダイナミックレンジ拡大処理を伴う撮像処理について説明する。
図５（ａ）に示す動作は、撮像スタンバイ時において、操作部１１２に含まれるシャッターボタンが全押しされ、撮像開始指示が入力されたことに応答して、システムコントローラ１０７が開始するものとする。なお、以下では、説明及び理解を容易にするため、図６（ａ）に示すように、顔検出回路１２０によって顔領域が１つだけ検出されている（すなわち、検出されている顔領域が主被写体領域である）ものとする。

まず、第１の算出手段としてのシステムコントローラ１０７は、以下のように第１ダイナミックレンジ拡大量を算出する（Ｓ５０１）。
まず、システムコントローラ１０７は、ヒストグラム作成回路１３０により、図６（ａ）〜図６（ｃ）に示すように、主被写体領域７２（ここでは顔領域）に含まれる画素の輝度値の累積ヒストグラム７４を作成させる。また、システムコントローラ１０７は、画面を４×４に分割した領域７１ごとの画素値の累積ヒストグラム７３も、ヒストグラム作成回路１３０に作成させる。そして、システムコントローラ１０７は顔領域の累積ヒストグラム７４を用いて、累積ヒストグラムが全体に対する所定割合（ここでは９０％とする）となる輝度値ＹHiFaceを算出する。また同様に、分割した個々の領域７１についても、累積ヒストグラム７３が所定割合（ここでは８０％とする）となる輝度値ＹHi(I,J)（Ｉ，Ｊ＝０〜３）を求める。
ここで得られる値ＹHiFace及びＹHi(I,J)の値が大きいほど白とび（高輝度）領域が多いことを意味する。

次にシステムコントローラ１０７は、ＹHiFace，ＹHi(I,J)をあらかじめ設定されている閾値と比較する。
ここで、閾値を、大きい方からＴＨHiFace、ＴＨMidFace、ＴＨLowFaceの３段階とすると、システムコントローラ１０７は、顔領域より計算されるダイナミックレンジ拡大量ＤｐFaceを以下のように求める。ここでは、ダイナミックレンジ拡大量ＤｐFaceを、露出段数により表している。
ＤｐFace＝３／３段 （ＹHiFace＞ＴＨHiFaceの場合）
ＤｐFace＝２／３段 （ＴＨHiFace≧ＹHiFace＞ＴＨMidFaceの場合）
ＤｐFace＝１／３段 （ＴＨMidFace≧ＹHiFace＞ＴＨLowFaceの場合）
ＤｐFace＝０ （ＹHiFace≦ＴＨLowFaceの場合）

一方、システムコントローラ１０７は、ＹHi(I,J)をあらかじめ決定されている輝度閾値ＹhiThと比較し、ＹhiThを超える領域の数をカウントする。ここで、カウントした結果をＹH_BNum、閾値を大きい方からＴｈＹH_BNum3、ＴｈＹH_BNum2、ＴｈＹH_BNum1の３段階とする。システムコントローラ１０７は、分割領域ヒストグラムから求められるダイナミックレンジ拡大量ＤｐAreaを以下のように求める。ここでは、ダイナミックレンジ拡大量ＤｐAreaを、露出段数により表している。
ＤｐArea＝３／３段 （ＹH_BNum＞ＴｈＹH_BNum3の場合）
ＤｐArea＝２／３段 （ＴｈＹH_BNum3≧ＹH_BNum＞ＴｈＹH_BNum2の場合）
ＤｐArea＝１／３段 （ＴｈＹH_BNum2≧ＹH_BNum＞ＴｈＹH_BNum1の場合）
ＤｐArea＝０ （ＹH_BNum≦ＴｈＹH_BNum1の場合）

そして、システムコントローラ１０７は、ダイナミックレンジ拡大量ＤｐFaceとＤｐAreaを比較し、大きい値を第１ダイナミックレンジ拡大量Ｄｐ１とする。
すなわち、
Ｄｐ１＝ＤｐFace （ＤｐFace＞ＤｐAreaの場合）
Ｄｐ１＝ＤｐArea （ＤｐFace≦ＤｐAreaの場合）
である。
このように、第１ダイナミックレンジ拡大量Ｄｐ１は主被写体領域のハイライト輝度が高いほど、分割領域のうちハイライト輝度が高い領域の数が多いほど大きくなる。

第１ダイナミックレンジ拡大量Ｄｐ１を算出すると、第２の算出手段としてのシステムコントローラ１０７は次に第２ダイナミックレンジ拡大量Ｄｐ２を算出する（Ｓ５０２）。
システムコントローラ１０７は、露出制御回路１６０で得られる画面全体輝度Ｙall、画面上部輝度値Ｙupper、および主被写体輝度Ｙmainをもとに第２ダイナミックレンジ拡大量Ｄｐ２を算出する。

まず、システムコントローラ１０７は、画面全体輝度Ｙall、画面上部輝度値Ｙupper、および主被写体輝度Ｙmainを、それぞれ以下の式を用いて対応する露出段数ＤｅｌｔａＢｖAll、ＤｅｌｔａＢｖFace、ＤｅｌｔａＢｖMainに換算する。
ＤｅｌｔａＢｖAll＝Ｌｏｇ２（Ｙall／Ｙref）
ＤｅｌｔａＢｖUpper＝Ｌｏｇ２（Ｙupper／Ｙref）
ＤｅｌｔａＢｖMain＝Ｌｏｇ２（Ｙmain／Ｙref）
ここで、Ｙrefは目標輝度値である。

次にシステムコントローラ１０７は、段数換算した値から、以下のようにして被写体と背景の差分値を求める。
ＤｅｌｔａＢｖ０１＝ＤｅｌｔａＢｖAll−ＤｅｌｔａＢｖMain
ＤｅｌｔａＢｖ０２＝ＤｅｌｔａＢｖUpper−ＤｅｌｔａＢｖMain

ここで求められるＤｅｌｔａＢｖ０１は主被写体と画面全体の輝度の差分である。たとえば顔が検出されている場合は、顔領域の輝度が目標輝度値となるように、すなわちＤｅｌｔａＢｖMainが０になるように自動露出制御されているため、ＤｅｌｔａＢｖ０１が大きいほど、背景が露出オーバーであると判別できる。また、ＤｅｌｔａＢｖ０２は主被写体と画面上部の輝度の差分である。一般に画面上部は空などの明るい被写体が撮像されていることが多く、ＤｅｌｔａＢｖ０２が大きいほど、画面上部に露出オーバーな被写体が撮像されていると判別できる。

ＤｅｌｔａＢｖ０１とＤｅｌｔａＢｖ０２のより大きい値をＤｅｌｔａＢｖＭａｘとする。すなわち、
ＤｅｌｔａＢｖＭａｘ＝ＤｅｌｔａＢｖ０１ （ＤｅｌｔａＢｖ０１＞ＤｅｌｔａＢｖ０２の場合）
ＤｅｌｔａＢｖＭａｘ＝ＤｅｌｔａＢｖ０２ （ＤｅｌｔａＢｖ０２≧ＤｅｌｔａＢｖ０１の場合）
である。

そして、システムコントローラ１０７は、ＤｅｌｔａＢｖＭａｘの大きさを６つの閾値（大きい方からＤｅｌｔａＭａｘＴｈ６〜ＤｅｌｔａＭａｘＴｈ１とする）と比較し、最大２段分、１／３刻みの第２ダイナミックレンジ拡大量Ｄｐ２を算出する。
Ｄｐ２＝６／３段 （ＤｅｌｔａＢｖＭａｘ＞ＤｅｌｔａＭａｘＴｈ６の場合）
Ｄｐ２＝５／３段 （ＤｅｌｔａＭａｘＴｈ６≧ＤｅｌｔａＢｖＭａｘ＞ＤｅｌｔａＭａｘＴｈ５の場合）
Ｄｐ２＝４／３段 （ＤｅｌｔａＭａｘＴｈ５≧ＤｅｌｔａＢｖＭａｘ＞ＤｅｌｔａＭａｘＴｈ４の場合）
Ｄｐ２＝３／３段 （ＤｅｌｔａＭａｘＴｈ４≧ＤｅｌｔａＢｖＭａｘ＞ＤｅｌｔａＭａｘＴｈ３の場合）
Ｄｐ２＝２／３段 （ＤｅｌｔａＭａｘＴｈ３≧ＤｅｌｔａＢｖＭａｘ＞ＤｅｌｔａＭａｘＴｈ２の場合）
Ｄｐ２＝１／３段 （ＤｅｌｔａＭａｘＴｈ２≧ＤｅｌｔａＢｖＭａｘ＞ＤｅｌｔａＭａｘＴｈ１の場合）
Ｄｐ２＝０ （ＤｅｌｔａＢｖＭａｘ≦ＤｅｌｔａＭａｘＴｈ１の場合）

本実施形態において、ＤｅｌｔａＭａｘＴｈ６＝６／３、ＤｅｌｔａＭａｘＴｈ５＝５／３、ＤｅｌｔａＭａｘＴｈ４＝４／３、ＤｅｌｔａＭａｘＴｈ３＝３／３、ＤｅｌｔａＭａｘＴｈ２＝２／３、ＤｅｌｔａＭａｘＴｈ１＝１／３とする。

本実施形態では、第２ダイナミックレンジ拡大量Ｄｐ２の上限値を、第１ダイナミックレンジ拡大量の上限値より大きい２段分にしている。これは、ＤｅｌｔａＢｖＭａｘが１段より大きくなる場合は、逆光のようなシーンが多く、より広いダイナミックレンジ拡大が必要となるためである。

第１ダイナミックレンジ拡大量Ｄｐ１と第２ダイナミックレンジ拡大量Ｄｐ２を算出すると、第３の算出手段としてのシステムコントローラ１０７は、最終ダイナミックレンジ拡大量Ｄｐを以下のように算出する（Ｓ５０３）。
Ｄｐ＝Ｄｐ１ （Ｄｐ１＞Ｄｐ２の場合）
Ｄｐ＝Ｄｐ２ （Ｄｐ１≦Ｄｐ２の場合）

次に、決定手段としてのシステムコントローラ１０７は、ＡＦＥ回路１５０に、最終ダイナミックレンジ拡大量Ｄｐに応じた感度設定値としてゲイン量を設定する。また、システムコントローラ１０７は、ＡＦＥ回路１５０での感度設定のみによってはダイナミックレンジ拡大量Ｄｐを実現できない場合、露出補正量を算出する（Ｓ５０４）。

Ｓ５０４における動作についてさらに説明する。図７（ａ）は、本実施形態におけるダイナミックレンジ（Ｄレンジ）の概念図を表す図である。

本実施形態において、ダイナミックレンジとは、適正輝度に対する撮像素子の飽和信号量輝度の比率と定義する。適正輝度とは、自動露出制御（ＡＥ）を行う際の輝度目標値レベル（Ｙref）であり、例えばＡＥのモードが平均測光モードであれば、画面輝度の平均値に、顔ＡＥモードであれば顔領域輝度の平均値に相当する。
従って、
ダイナミックレンジ＝センサー飽和信号量輝度／ＡＥ目標値
と定義することができる。

なお、ここでのＡＥ目標値はＡＦＥ回路１５０で感度調整を行う前の、撮像素子１０１の出力信号に基づくＡＥ目標値である。
ＡＥ目標値は、ＡＥのモードに応じて変化してよく、評価測光モードやスポット測光モードであっても、それぞれのモードによるＡＥ目標値を用いることができる。

図７（ｂ）は、ＡＥ目標値、飽和信号値およびダイナミックレンジの関係例を示す図である。
図７（ｂ）から、ＡＥ目標値を下げることにより、ダイナミックレンジ量を大きくしていくことが可能であることがわかる。すなわち、ダイナミックレンジ拡大を行うためには、最終ダイナミックレンジ拡大量Ｄｐ分だけ、露出アンダーで撮像する必要があることがわかる。

Ｓ５０４でシステムコントローラ１０７は、最終ダイナミックレンジ拡大量Ｄｐ、すなわちＡＥ目標値の低減量が、ＡＦＥ回路１５０における感度調整（ＣＤＳゲイン回路およびＶＧＡゲイン回路の制御）により実現可能であるか否か判定する。この判定は、ＡＦＥ回路１５０で調整可能な感度の範囲とＳ５０３で算出した最終ダイナミックレンジ拡大量Ｄｐとを比較して行うことができる。最終ダイナミックレンジ拡大量Ｄｐに相当する感度の低減（ゲインの低減）ができない場合、システムコントローラ１０７は、ＡＦＥ回路１５０での感度調整のみでは最終ダイナミックレンジ拡大量Ｄｐを実現できないと判断する。

ＡＦＥ回路１５０における感度調整で最終ダイナミックレンジ拡大量Ｄｐを実現可能な場合、システムコントローラ１０７は、最終ダイナミックレンジ拡大量Ｄｐを実現するゲイン設定を算出する。なお、ＡＦＥ回路１５０のＣＤＳゲインとＶＧＡゲインとをどのように組み合わせて最終ダイナミックレンジ拡大量Ｄｐを実現するかには特に制限はなく、任意の組み合わせで設定可能である。

一方、ＡＦＥ回路１５０での感度調整だけでは最終ダイナミックレンジ拡大量Ｄｐを実現できないと判断される場合、システムコントローラ１０７は、感度調整を行っても依然として不足する感度低減量を実現するための露出補正量を算出する。

ここでの露出補正はマイナス補正であり、絞りを小さく（絞り値を大きく）する、シャッター速度を早くする、減光フィルタ（ＮＤフィルタ）を挿入するといった、一般的な方法によって実現することができる。

システムコントローラ１０７は、ＡＦＥ回路１５０のＣＤＳゲインおよびＶＧＡゲインを設定する。また、露出補正を行う場合には、ＡＥ結果に応じた露出パラメータ（シャッター速度、絞り値、ＮＤフィルタの使用有無の設定など）を、露出補正量に応じて変更し、レンズ装置２００に設定する。

次に、撮像制御手段としてのシステムコントローラ１０７は、静止画撮像（本露光）を行う（Ｓ５０５）。撮像により得られたＲＡＷ画像データはバッファメモリ１０３に記憶される。

システムコントローラ１０７は、ＲＡＷ画像データに対して所謂現像処理を適用するするために必要な各種パラメータを信号処理回路１４０に設定する。この場合、最終ダイナミックレンジ拡大量Ｄｐに応じた段数分て露出アンダーな撮像条件で撮像されているため、システムコントローラ１０７は、明るさを補うようなガンマパラメータを信号処理回路１４０に設定する（Ｓ５０６）。

図８は、本実施形態の信号処理回路１４０におけるガンマ補正特性の設定例を示す図である。

ダイナミックレンジ拡大量を、通常（０／３段）、＋１／３段、＋２／３段、＋３／３段分の４段階に設定した場合のガンマ特性（明るさ補正量）の設定例を示している。なお、１段分を超えてダイナミックレンジを拡大する場合にも、同様な考え方で設定すればよい。

ここで各ダイナミックレンジ拡大量に対応したＡＥ目標値は図７（ｂ）で示したものと同値である。図８に示すように、各ダイナミックレンジ拡大時におけるＡＥ目標値に対してガンマ補正した後のＡＥ目標値が、ダイナミックレンジ拡大量によらず、ダイナミックレンジ拡大をしない通常のＡＥ目標値となるようにガンマ補正特性を設定する。すなわち、最終ダイナミックレンジ拡大量Ｄｐに応じて、あらかじめ用意されたガンマ補正特性が選択的に設定される。

図７（ａ）および図７（ｂ）を用いて説明したように、ＡＥ目標値を下げることで、ダイナミックレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、露出アンダーとなり、撮像画像が暗くなってしまう。そのため、ダイナミックレンジ拡大量に応じて、撮像後の画像データを明るくするように信号処理回路１４０でガンマ補正することにより、撮像画像の明るさ（露出）を適正にしながら、ダイナミックレンジを拡大することができる。

なお、本実施形態では、ＡＥ目標値を下げたことによる撮像画像の輝度低下を、ガンマ補正により補償する構成について例示したが、ルックアップテーブルなど別の手段を用いて同様の輝度補正を行ってもよい。

ガンマ補正特性が設定されると、信号処理回路１４０はＲＡＷ画像データの現像処理を行い、ＹＵＶ形式の画像データをバッファメモリ１０３に格納する（Ｓ５０７）。信号処理回路１４０で現像処理された画像データは、圧縮・伸長回路１０４によって例えばＪＰＥＧ形式のファイルに符号化され、記録装置１０５によって記録媒体１０６に記録される（Ｓ５０８）。

本実施形態において、第１ダイナミックレンジ拡大量の決定に用いる分割領域ごとのヒストグラムを、画面を４×４に分割した１６の領域について作成した。しかし、分割数はこれに限られるものではなく、Ｍ×Ｎ（Ｍ、Ｎは任意の整数）であってよい。

また、顔領域のヒストグラムと分割領域ごとのヒストグラムの両方を使用して第１ダイナミックレンジ拡大量を決定したが、演算処理の簡略化のため、どちらか一方のみを用いて決定してもよい。また、他の情報（全体ヒストグラム情報、非等分割領域ヒストグラム等）を使って拡大量を決定してもよい。

また、画面全体輝度、画面上部輝度、主被写体輝度を用いて第２ダイナミックレンジ拡大量を決定したが、画面左右輝度、画面下部輝度などと主被写体輝度との輝度差や、他の画面内の領域間の輝度差を用いて決定してもよい。

また、第１ダイナミックレンジ拡大量と第２ダイナミックレンジ拡大量を求めるにあたり、ノイズの増加を考慮して、高感度撮像時には低感度撮像時に比べてダイナミックレンジ拡大量を低減するようにしてもよい。具体例としては、設定されている撮像感度に応じて各閾値（ＴＨHiFace、ＴＨMidFace、ＴＨLowFace、ＹhiTh、ＤｅｌｔａＭａｘ６〜ＤｅｌｔａＭａｘ１）の値が大きくなるように変更すればよい。

以上説明したように、本実施形態によれば、主被写体と画像全体の少なくとも一方の輝度が高い多いほど大きくなる第１ダイナミックレンジ拡大量と、画面内の領域間の輝度の差が大きいほど大きくなる第２ダイナミックレンジ拡大量を求める。そして、いずれか大きい方のダイナミックレンジ拡大量を適用する。これにより、画面の一部の白い被写体が白とびするようなシーンに対しては第１ダイナミックレンジ拡大量が、逆光シーンのように主被写体と背景の輝度差が大きいシーンについては第２ダイナミックレンジ拡大量が適応的に決定される。そのため、シーンに応じたダイナミックレンジ拡大量を自動的に設定することができる。

また、第１ダイナミックレンジ拡大量の上限値よりも第２ダイナミックレンジ拡大量の上限値を大きく設定している。そのため、砂浜や雪山のような白い被写体が含まれるようなシーンにおいて、ダイナミックレンジ拡大量が大きいことによるコントラスト低下を抑制できる。また、人物を逆光で撮像した場合には、より大きなダイナミックレンジ拡大量が適用可能となるため、主被写体である人物の顔の明るさが適正で、かつ背景の白とびをなるべく抑えることが可能になる。

（第２の実施形態）
次に、本発明の第２の実施形態について、第１の実施形態と異なる部分のみ説明する。説明がない部分に関しては、第１の実施形態と同じである。
図５（ｂ）は、本実施形態の撮像装置における、ダイナミックレンジ拡大処理を伴う撮像処理について説明するフローチャートであり、第１の実施形態と異なる処理のみ記載している。

本実施形態では、
・Ｓ５０１の後にＳ５１０の逆光判定処理が追加され、逆光と判定された場合においてのみ第２ダイナミックレンジ拡大算出処理が実施されること、
・逆光と判定されなかった場合はＳ５０３で第１ダイナミックレンジ拡大量のみから最終ダイナミックレンジ拡大量を算出すること、が第１の実施形態と異なる。

Ｓ５１０における逆光判定処理について説明する。
逆光判定は、露出制御回路１６０の画面全体輝度算出部２０３、画面上部輝度算出部２０４、主被写体輝度算出部２０５で求められる画面全体輝度Ｙall、画面上部輝度値Ｙupper、および主被写体輝度Ｙmainを用いて行う。

システムコントローラ１０７は、画面全体輝度Ｙall、画面上部輝度値Ｙupper、および主被写体輝度Ｙmainを、以下の式を用いて対応する露出段数ＤｅｌｔａＢｖAll、ＤｅｌｔａＢｖFace、ＤｅｌｔａＢｖMainに換算する。
ＤｅｌｔａＢｖAll＝Ｌｏｇ２（Ｙall／Ｙref）
ＤｅｌｔａＢｖUpper＝Ｌｏｇ２（Ｙupper／Ｙref）
ＤｅｌｔａＢｖMain＝Ｌｏｇ２（Ｙmain／Ｙref）
ここで、Ｙrefは目標輝度値である。

次にシステムコントローラ１０７は、段数換算した値から、以下のようにして被写体と背景の差分値を求める。
ＤｅｌｔａＢｖ０１＝ＤｅｌｔａＢｖAll−ＤｅｌｔａＢｖMain
ＤｅｌｔａＢｖ０２＝ＤｅｌｔａＢｖUpper−ＤｅｌｔａＢｖMain

そして、システムコントローラ１０７は、算出したＤｅｌｔａＢｖ０１、ＤｅｌｔａＢｖ０２を、それぞれあらかじめ設定されている閾値ＢａｃｋＬｉｇｈｔＴｈ０１、ＢａｃｋＬｉｇｈｔＴｈ０２と比較する。システムコントローラ１０７は、以下の２つの条件のどちらかが満たされた場合に逆光と判定する。
条件１： ＤｅｌｔａＢｖ０１＞ＢａｃｋＬｉｇｈｔＴｈ０１
条件２： ＤｅｌｔａＢｖ０２＞ＢａｃｋＬｉｇｈｔＴｈ０２

条件１は、画面全体輝度が主被写体輝度に対し、一定値ＢａｃｋＬｉｇｈｔＴｈ０１より大きいことを意味する。また条件２は、画面上部輝度が主被写体輝度に対して一定値ＢａｃｋＬｉｇｈｔＴｈ０２より大きいことを意味する。いずれの場合も、主被写体よりも背景の輝度が一定値を超えて高いことを意味するため、逆光であると判定することができる。なお、閾値ＢａｃｋＬｉｇｈｔＴｈ０１、ＢａｃｋＬｉｇｈｔＴｈ０２の値は例えば経験的に求めることができる。

なお、本実施形態で、システムコントローラ１０７は、Ｓ５１０で逆光と判定されず、第２ダイナミックレンジ拡大量Ｄｐ２を算出しなかった場合には、Ｓ５０３において、第１ダイナミックレンジ拡大量Ｄｐ１を最終ダイナミックレンジ拡大量Ｄｐとする。

なお、Ｓ５１０で逆光と判定して第２ダイナミックレンジ拡大量Ｄｐ２を算出する場合、ＤｅｌｔａＢｖ０１及びＤｅｌｔａＢｖ０２を改めて算出する必要はなく、Ｓ５１０で求めた値を用いることができる。

本実施形態においては、画面全体輝度、画面上部輝度、主被写体輝度の関係から逆光の判定をしているが、逆光判定方法としてはこれに限られるものではない。例えば、画面全体のヒストグラム情報を用いて、ハイライト部、ダーク部の画面全体に対する比率等の情報から逆光を判別してもよい。

また、本実施形態においては、第１ダイナミックレンジ拡大量を算出した後に逆光判定を実施するようにしているが、第１ダイナミックレンジ拡大量を算出する前に逆光判定を実施してもよい。この場合、逆光と判定されなければ第１ダイナミックレンジ拡大量のみを算出して最終ダイナミックレンジ拡大量とし、逆光と判定された場合のみ、第１ダイナミックレンジ拡大量算出と第２ダイナミックレンジ拡大量算出を実施するようにしてもよい。
本実施形態によれば、より少ない処理負荷で、第１の実施形態と同様の効果を得ることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮像を行い画像データを取得する撮像手段と、
   前記撮像手段により取得された画像データの輝度のヒストグラムに基づいて第１の補正量を算出する第１の算出手段と、
   前記撮像手段により取得された画像データの領域間の輝度差に基づいて第２の補正量を算出する第２の算出手段と、
   前記第１の補正量及び第２の補正量を比較した結果に基づいて、撮像感度及び露出の少なくとも一方の低減量を決定する決定手段と、
   前記決定手段により決定された前記低減量に基づいて前記撮像手段により撮像を行い、取得された画像データに対して前記低減量を補う信号処理を適用する補正手段とを有することを特徴とする撮像装置。
2. 前記第１の算出手段は、前記撮像手段により取得された画像データから検出された主被写体領域の輝度のヒストグラムに基づく補正量と、前記撮像手段により取得された画像データを分割した複数の領域それぞれの輝度のヒストグラムに基づく補正量とを算出し、いずれか大きい方を前記第１の補正量とすることを特徴とする請求項１記載の撮像装置。
3. 前記第２の算出手段は、前記撮像手段により取得された画像データから検出された主被写体領域の平均輝度と、前記撮像手段により取得された画像データの全体もしくは前記撮像手段により取得された画像データの予め定められた一部の平均輝度との差が大きいほど大きくなるように前記第２の補正量を算出することを特徴とする請求項１又は請求項２記載の撮像装置。
4. 前記第２の補正量の上限値が、前記第１の補正量の上限値よりも高く設定されることを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記第１の補正量の上限値及び前記第２の補正量の上限値が、前記第１の補正量及び第２の補正量を算出する前の撮像感度が高いほど小さく設定されることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記決定手段は、前記第１の補正量及び第２の補正量のうち大きい方の補正量に基づいて、前記低減量を決定することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 前記撮像手段により取得された画像データに基づく画像が逆光シーンであるか否かを、当該画像データの領域間の輝度差によって判定する判定手段をさらに有し、
   前記第２の算出手段は、前記判定手段により逆光シーンであると判定された場合のみ前記第２の補正量を算出し、
   前記決定手段は、前記判定手段により逆光シーンでないと判定された場合には、前記第１の補正量に基づいて前記低減量を決定することを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. 撮像を行い画像データを取得する撮像手段を有する撮像装置の制御方法であって、
   第１の算出手段が、前記撮像手段により取得された画像データの輝度のヒストグラムに基づいて第１の補正量を算出する第１の算出工程と、
   第２の算出手段が、前記撮像手段により取得された画像データの領域間の輝度差に基づいて第２の補正量を算出する第２の算出工程と、
   決定手段が、前記第１の補正量及び第２の補正量を比較した結果に基づいて、撮像感度及び露出の少なくとも一方の低減量を決定する決定工程と、
   補正手段が、前記決定工程で決定された前記低減量に基づいて前記撮像手段により取得された画像データに対して前記低減量を補う信号処理を適用する補正工程とを有することを特徴とする撮像装置の制御方法。

Images