JP5460909B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は、画像の階調補正の技術に関する。

従来、好ましい明るさ、コントラストの画像を得るために、取得した画像の輝度ヒストグラムや被写体情報を解析して、階調補正を行う方式が知られている。

特に、主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンでは、撮影した画像の主被写体部分が暗くなってしまうため、階調補正が有効である。また、背景の明るさが著しく明るくなるいわゆる「飛び」に関しては、以下の方法がある。まず、撮像素子を露光する段階で、飛びを抑えるように適正露出よりも暗めの露出で撮像しておく。そして、得られた画像データの輝度値を所定の出力輝度値に変換する補正テーブル（トーンカーブ）を用いて、暗めに撮影された領域の輝度値は適正レベルに、既に明るく撮影された領域の輝度値に関してはそのままのレベルになるように階調補正する。これは、撮像素子のダイナミックレンジを擬似的に拡大するのに効果のある方法として知られている。（例えば、特許文献１参照。）

また、画像の輝度成分の低周波成分信号を用いて階調補正することで、いわゆる覆い焼きのような効果を得る方法が提案されている。この方法では、画像のコントラストを維持したまま、暗く撮影されてしまった被写体を明るくするような階調補正を行うことができる。（例えば、特許文献２参照。）

一方、白い壁や雪景色などのように画面内に白い部分があっても、自動露出制御では所定の輝度レベルになるように露出決定するため、本来白いものが灰色に近い色で撮影されてしまう場合がある。このようなシーンに対して、高輝度成分が少ないか存在しない場合に、高輝度な入力輝度に割り当てる出力輝度領域を狭くし、不要な領域への階調割当を無くすように階調補正を行うことで、白いものを白く撮るような効果を得ることも知られている。

特開２００７−１２４６０４号公報 特開２００８−０７２６０４号公報

しかしながら、特許文献１のように、トーンカーブを用いて画像の暗い部分を明るく補正し、もともと明るい部分は補正を抑えるような階調補正を行うと、主被写体と背景の中間の輝度帯域においてコントラストが失われ、のっぺりとした画像になることがあった。

また、特許文献２のように、画像の輝度成分の低周波成分信号を用いて階調補正を行うと、シーンによってはコントラストがありすぎるために不自然な画像になることがあった。

本発明は上記問題点を鑑みてなされたものであり、撮像した画像の輝度分布に応じて、画質劣化を起こすことなく、その画像に適した階調補正を行うことを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像して得られた画像データに対し、出力輝度の輝度範囲に対応する入力輝度の輝度範囲を変更する階調補正を実施するための第１の補正データを決定する第１の決定手段と、撮像して得られた画像データに対し、輝度周波数の高さに応じた階調補正を実施するための第２の補正データを決定する第２の決定手段と、前記第１及び第２の補正データの一方を用いた階調補正が実施される画像データに対し、前記第１及び第２の補正データの他方を用いた階調補正の実施を制限する制御手段と、を有する。

本発明によれば、撮像した画像の輝度分布に応じて、その画像に適した階調補正を行うことができる。

本発明の実施の形態における撮像装置の構成を示すブロック図である。 本発明の実施の形態における階調補正方法の流れを示すフローチャートである。 本発明の実施の形態におけるＤ＋量の仮決定処理を示すフローチャートである。 本発明の実施の形態における絞り、シャッタ、ゲイン、Ｄ＋量の決定処理を示すフローチャートである。 本発明の実施の形態におけるＤ−量の決定処理を示すフローチャートである。 本発明の実施の形態における暗部補正量の決定処理を示すフローチャートである。 本発明の実施の形態における画像処理の手順を示すフローチャートである。 本発明の実施の形態におけるＤ−補正の概要を説明するための図である。 本発明の実施の形態における暗部補正の概要を説明するための図である。 本発明の実施の形態における暗部補正のための解像度変換の様子を示す図である。 本発明の実施の形態における暗部補正に用いられるトーンカーブの一例を示す図である。 本発明の実施の形態におけるＤ＋補正で用いるトーンカーブの一例を示す図である。 本発明の実施の形態におけるＤ＋量算出にかかるＳＷ１ＯＮ前後の処理のタイミングを示すタイミング図である。 本発明の実施の形態における階調補正処理のＳＷ２ＯＮ後のタイミング図である。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

●撮像装置の構成
図１は、本発明の実施の形態における撮像装置１００の構成を示すブロック図である。

図１において、６０は撮像装置１００全体の動作を制御するシステム制御部である。

１０は撮影レンズであり、外光を集光する。図ではレンズは１枚として表しているが、通常、複数枚のレンズから構成されている。撮影レンズ１０は、レンズ駆動回路４２により、例えば、光軸に沿って前後に動かすことで、焦点を調節するためのフォーカスレンズ及び画角を調節するズームレンズを含む。更に、ブレ量検知回路４４で測定したカメラのブレ量を基にして、手ブレ補正回路４０によりレンズを動かして手ブレをキャンセルする方向に光軸を変化させることで光学的な手ブレ補正を行うブレ補正レンズなどを含む。また、撮影レンズ１０を含む鏡筒部を繰り出し及び繰り込みさせる方式とし、カメラ未使用時の本体体積を小さくして携帯性を向上することが可能である。

なお、ブレ量検知回路４４はジャイロセンサを含み、図１ではレンズを駆動することで手ブレ補正を実現しているが、後述する撮像素子１６を駆動することで同様に手ブレを補正することも可能である。

１２はメカニカルシャッタ（以下、単に「シャッタ」と呼ぶ。）である。システム制御部６０は、メカニカルシャッタ制御情報をシャッタ駆動回路２８に伝達することで、シャッタ１２を制御することが可能である。静止画撮影時の露光時間は、シャッタ１２の開閉時間により決定されるが、システム制御部６０がこの開閉時間を判断し、シャッタ駆動回路２８に指示を出す。

１４は撮影レンズ１０を通過した光の光量を調節する絞りである。絞り１４としては、例えば、複数枚の羽から構成された虹彩絞りや、あらかじめ、板を様々な径で穴を打ち抜いた丸絞りがある。システム制御部６０は、絞り制御情報を絞り駆動回路２６に伝達することで、絞り１４を制御することが可能である。システム制御部６０は絞り１４と絞り駆動回路２６を用い、被写体輝度が高い場合は絞りを絞って光量を落とすように制御し、被写体輝度が低い場合は絞りを開いて光をより多く取り込むように制御することができる。

１６はＣＣＤやＣＭＯＳセンサ等の撮像素子であり、撮影レンズ１０、シャッタ１２、絞り１４を介して入射した被写体の光学像を電気信号（画像信号）に変換して出力する。システム制御部６０は、撮像素子制御信号をＴＧ（Timing Generator）２４に伝達することで、撮像素子１６を制御することができる。

ＴＧ２４は、システム制御部６０から受信した制御情報をもとに撮像素子１６を駆動する。撮像素子１６は各画素における電荷の蓄積と、蓄積した電荷の読み出し動作を周期的に行っており、この動作はＴＧ２４からの駆動信号を基準にして行われる。撮像素子１６に蓄積された電荷の内、特定のラインや特定の領域のみから電荷を読み出してくることが可能である。これは、ＴＧ２４から出力される読み出し制御パルスにより読み出し方を変更することで実現することができる。システム制御部６０は状況に応じて最適な読み出し方式を決定し、ＴＧ２４に指示する。例えば、静止画撮影時は高解像度が要求されるため撮像素子１６の全データを読み出し、電子ファインダー時や動画撮影時は３０ｆｐｓや６０ｆｐｓなどの高いフレームレートが要求されるため特定のラインだけ間引いて読み出す、といった使い分けを行う。またＴＧ２４を介して、撮像素子１６の露光時間を制御することが可能である。任意のタイミングで、撮像素子１６がチャージした電荷をクリアするように、ＴＧ２４から撮像素子１６へ駆動信号を出すことでこれを可能としている。

１８は、撮像素子１６から出力された電気信号（画像信号）に対して、相関二重サンプリング方式により画像データのノイズ成分を除去する、ＣＤＳ（Correlated Double Sampler）回路である。２０は、画像データのレベルを減衰／増幅するＰＧＡ（Programmable Gain Amplifier）回路であって、増幅量は、後述するシステム制御部６０により制御される。通常、適正なレベルの画像データを得るために、絞り１４で撮像素子１６への入射光量を、また、シャッタ１２により露光時間を適切に設定することで、撮像素子１６の露出を適正にする。これに加えて、ＰＧＡ回路２０で画像データ信号を減衰／増幅することで、擬似的に画像データの露出を変える役割を担うことができる。これは、絞りやシャッタ速度と並ぶ撮影時の露出条件の一つとして、感度という概念でユーザーに機能提供することが可能である。

ＰＧＡ回路２０により処理された画像データは、Ａ／Ｄ（Analog/Digital）回路２２にてアナログ信号からデジタル信号へ変換される。デバイスにより、デジタル信号のビット幅は１０ビット、１２ビット、１４ビットなどがある。後段の画像処理回路５０は、複数種類のビット幅に対応可能である。図１では、ＣＤＳ回路１８、ＰＧＡ回路２０、Ａ／Ｄ回路２２をそれぞれ別の構成として表しているが、一つのＩＣパッケージにこれらの回路の機能を搭載したものを採用することも可能である。

Ａ／Ｄ回路２２から出力されたデジタル化された画像データは画像処理回路５０へ入力される。画像処理回路５０は複数のブロックから構成され、さまざまな機能を実現している。

例えば、撮像素子１６はカラーフィルタを通して画素毎に特定の色成分の光を抽出して、抽出した光を光電変換するのが一般的である。Ａ／Ｄ回路２２から出力される画像信号は撮像素子１６の画素及びカラーフィルタ配置に対応したデータ形式になっており、輝度成分のみを評価して露出制御を行う自動露出制御（AE:AutoExposureControl）で使用するには適さない。そこで、画像処理回路５０は、画像信号から色情報を排除し、輝度情報のみを抜き出す機能を備えている。

さらに、画像処理回路５０は、撮像素子１６から読み出された画像信号の周波数成分のみを抜き出す機能を備え、自動ピント合わせ制御（AF:AutoFocus）時に使用することができる。撮像素子１６から読み出された画像信号のどの領域の周波数成分を抽出するか、または、領域内を分割設定できる機能を備えている。このＡＦ処理時には、撮像素子１６の駆動を焦点調節に適した駆動にすることが可能である。撮像素子１６を使用したテレビＡＦの場合、撮像素子１６から画像信号を読み出す度にフォーカスレンズを新たなピント位置に駆動するため、撮像素子１６のフレームレートが高いほうが、フォーカスレンズを素早く多くのピント位置に動かすことができる。このため、ＡＦ時のみ速いフレームレートになるように撮像素子１６を駆動することができる。逆にフレームレートを遅くし、撮像素子１６からより多くの画素データを読み出すようにすることで、画像処理回路５０で周波数解析可能なデータが増え、より正確な焦点調節制御が可能になるという面もある。このような撮像素子１６の使い方は、カメラの撮影モードや、被写体の明るさに応じて適応的に決めることが可能である。

さらに、画像処理回路５０は、Ａ／Ｄ回路２２によりデジタル化された画像データのレベルの増減、画像の色効果などを操作する機能を備え、撮影画像の画質を調節するという役割も担っている。画像データのレベルに関しては、画像全体に一律の増幅率でレベルを増減させる機能や、元の信号レベルの大小に応じて信号レベルを変換するトーンカーブ（ガンマ）機能がある。他に、画面内の領域毎の周波数成分に応じた増幅率でレベルを増減させる機能など、様々なレベル調節をすることができる。

Ａ／Ｄ回路２２によりデジタル化された画像データは画像処理回路５０へ入力すると同時に、一時記憶メモリ３０に記憶することができる。一時記憶メモリ３０に一旦記憶した画像データは再度読み出すことができ、システム制御部６０から画像データを参照したり、読み出した画像データを画像処理回路５０に入力することが可能である。さらに、画像処理回路５０で画像処理した画像データを一時記憶メモリ３０に書き戻したり、システム制御部６０から任意のデータを書き込むことも可能である。

画像処理回路５０で適切に処理された画像データを、画像認識回路３８に入力することができる。画像認識回路３８は、入力された画像の明るさ状況、合焦状況、色状況の認識に加え、人物の顔認識とその表情、文字がある場合はその文字情報を認識することができる。また、画像認識回路３８には複数の画像を入力することができ、例えば２つの画像を入力し、その２つの画像の特徴を比較することで、同一の画像かどうかを判定することができる。画像認識回路３８での画像認識処理に加え、システム制御部６０でも画像認識処理を行うことができる。システム制御部６０はＣＰＵ上で予め符号化されたプログラムを実行することができるが、一時記憶メモリ３０に記憶された画像データを読み出し、その画像データを解析してシーンの状況を認識することができる。

７０は操作部であり、電源ＯＮ／ＯＦＦスイッチ１０２、シャッタスイッチ１０４、モード切替スイッチ１１０、パラメータ選択スイッチ群１５１等を含む。シャッタスイッチ１０４は、浅く押下する場合（ＳＷ１）と深く押下する場合（ＳＷ２）の２段階の押下操作により、撮影の準備及び開始を指示する。自動露出制御や自動焦点調節制御を行う撮像装置の場合、シャッタスイッチ１０４を浅く押す（ＳＷ１ＯＮ）ことで撮影準備として自動露出制御と自動焦点調節制御を行い、深く押す（ＳＷ２ＯＮ）ことで静止画撮影や画像認識の指示を行う操作が実現可能である。モード切替スイッチ１１０は、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えることができる。ここでは、数モードを切り替え可能な部材として表現するが、撮影する特定のシーンに最適化した、風景撮影モードや人物撮影モードなどの多くの静止画モードを備えることも可能である。また、パラメータ選択スイッチ群１５１ａ〜１５１ｅにより、測距領域や測光モードをはじめとする撮影時の撮影条件の選択や、撮影画像再生時のページ送り、カメラの動作設定全般などをユーザーが選択することができる。さらに前述の電子ファインダーのＯｎ／Ｏｆｆを選択することもできる。また、画像表示装置１０８は画像を表示すると共に、タッチパネルとして入力装置となる構成とすることもできる。

１０８はＬＣＤなどにより構成される画像表示装置である。画像表示装置１０８に画像を出力する場合、画像処理回路５０で画像処理を行った画像データをＶＲＡＭ３４上に展開しておき、それをデジタル／アナログ（Ｄ／Ａ）回路３６にてアナログデータに変換してから表示する。また、電子ファインダ機能は、撮像素子１６から読み出される連続した画像を、順次、画像表示装置１０８に表示更新していくことで実現することができる。ＶＲＡＭ３４上に画像データを展開する際、１つの画像データを画像表示装置１０８に最も大きくなるように、または複数の画像をマルチ画面表示するように、など、様々な表示形態に対応するようにＶＲＡＭ３４上に展開することができる。

また、画像表示装置１０８には、画像だけでなく任意の情報を単独、もしくは画像と共に表示することが可能である。カメラの状態表示や、ユーザーが選択あるいはカメラが決定したシャッタ速度や絞り値、感度情報などの文字情報や、画像処理回路５０で測定した輝度分布のようなヒストグラムや、顔認識結果、シーン認識結果等も表示可能である。情報の表示位置、表示色も任意に選択可能である。これら様々な情報を表示することで、ユーザーインタフェースとすることが可能となる。また、画像表示装置１０８には、画像記憶媒体８２に記憶されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張回路３２にて伸張し、ＶＲＡＭ３４にデータを展開する。この展開したデータをＤ／Ａ回路３６にてアナログデータに変換して出力する。

なお、従来からの光学ファインダを併設する構成とすることも可能である。その場合、電子ファインダ機能をＯＦＦにし、光学ファインダを使用することで、電力消耗を減らすことが可能である。

画像記憶媒体８２は不揮発性のものであり、画像記憶媒体インタフェース８０を介して、主に撮影した画像データを記憶することが可能である。画像データの記憶に関しては、例えば、フォルダ階層を持たせたり、撮影した順にフォルダやファイル名が昇順に命名されるようにすることができる。各画像データには、絞り値やシャッタ速度、ＩＳＯ感度などの撮影情報や、撮影した時刻などを付加することができ、それらを画像データと共に記憶することが可能となっている。さらに、記憶した画像データの読み出しはもちろん、画像の複製、移動、消去も可能である。

また、８６は、プリンタやＰＣ、表示装置等の外部装置であって、外部機器インタフェース８４を介して接続される。

次に、上記構成を有する撮像装置１００において実行される、本実施の形態における階調補正方法について説明する。本実施の形態では、以下に示す３種類の階調補正方法を用いる場合について説明する。

（１）第１の階調補正方法
本実施の形態では、第１の階調補正方法として、低輝度の被写体と高輝度の被写体とが混在しているシーンにおいて、高輝度側の白飛び（飽和）を抑制する階調補正方法とする。以後、この第１の階調補正方法をＤ＋補正と呼ぶ。

より具体的に説明すると、通常、撮影前に、撮影条件として絞り値、シャッタ速度、ゲイン量等を決定するが、この時、画面の輝度情報や人物の顔の有無に応じて適切な露出で撮影しようとする。しかしながら、撮像素子のダイナミックレンジはさほど広くは無く、どのように絞り、シャッタ、ゲインを設定しても、太陽を背にして立つ人物を撮影する時のような逆光シーンでは、人物が暗すぎる、あるいは背景が明るすぎる、といったことが起こる。このような、背景が明るすぎる現象を軽減するのがＤ＋補正である。

Ｄ＋補正では、先ず、高輝度部分の白飛びが発生しないように露出アンダーとなる露出値を設定して撮影を行い、得られた画像データの低輝度部分の輝度を持ち上げるように設定されたガンマカーブ（トーンカーブ）を用いて、補正を行う。

（２）第２の階調補正方法
本実施の形態では、第２の階調補正方法として、撮影した画像の高輝度領域の輝度データの状況に応じて不要な階調割当を行わない階調補正方法とする。以後、この第２の階調補正方法をＤ−補正と呼ぶ。図８（ａ）はＤ−補正が有効なシーンのヒストグラムの一例を示す図である。画面内に、暗い輝度から明るい輝度まで均等に輝度分布がある場合には、図８（ａ）のようなヒストグラムにならない。図８（ａ）では高輝度側には輝度が分布しておらず、画面内の輝度差がさほど激しくないシーンであると判断できる。

輝度分布が広範囲に亘っている場合には、どの入力輝度に対しても出力輝度が割り当たるように、図８（ｂ）に示す通常ガンマカーブ３０２のようなガンマカーブを設定する。しかし、図８（ａ）のヒストグラムのように高輝度領域に分布が無い場合、その入力輝度に対して出力輝度を割り当てても有効な階調表現にはならない。従って、ヒストグラムの分布が存在する最大輝度値である輝度値３１２を入力輝度の上限とし、その輝度値３１２を画像データが取り得る最大輝度値に割り当てる、図８（ｂ）に示すＤ−ガンマカーブ３２０のようなガンマカーブを設定する。Ｄ−ガンマカーブ３２０は入力輝度３２４までの入力輝度に対して有効に出力輝度を割り当て、入力輝度３２４を超えた輝度に対しては割当を行わない。なお、図８（ｂ）では輝度分布領域とＤ−ガンマカーブ３２０の入力輝度の割り当て範囲が完全に一致している場合を示している。しかしながら、予め用意した複数のＤ−ガンマカーブのいずれかを選択する方式とする場合、入力輝度分布とＤ−ガンマカーブの入力輝度の割り当て範囲が完全には一致しない場合もある。

（３）第３の階調補正方法
本実施の形態では、第３の階調補正方法として、撮影した画像の低周波領域、輝度情報、人物顔の有無といった状況に応じて、低周波かつ低輝度な領域の輝度レベルを調節する階調補正方法とする。以後、この第３の階調補正方法を暗部補正と呼ぶ。

図９に、暗部補正が有効なシーンと、そのシーンを暗部補正した結果のイメージ図を示す。図９は人物が太陽を背にして立っているシーンである。暗部補正前は、人物顔、人物の体、地面などが逆光シーンのせいで暗く写っている。この暗くなった暗部を明るくするように、一律のトーンカーブで階調補正を行おうとすると、人物の黒目や着用している横縞シャツの模様も必要以上に明るく補正されてしまう場合がある。その場合には、画像としてはコントラストが低下したような質の低い画像となってしまう。そこで、低周波輝度成分を抽出し、低輝度領域がある程度の面積を持った場合に階調補正を行うように暗部補正を行う。

図１０にその様子を示す。画像の低周波成分を抽出するために、図１０ではオリジナル画像から３つの異なる解像度の画像を生成する。図１０（ａ）はほぼオリジナル画像の解像度を保っているが、図１０（ｂ）、図１０（ｃ）と解像度を落としている。図１０（ｃ）に至っては人物の判別が困難になっている。この解像度の低下の程度は、得たい暗部補正効果により様々に設定するようにしても良い。これら複数の画像に対し、図１１に示すような暗部補正用ガンマをかける。このガンマは、入力輝度が低い領域は高い出力輝度が得られるような変換テーブルとなっている。それぞれの画像の階調補正を行った後、３つの画像を加算平均するように合成する。すると、目や洋服の模様といったある程度の輝度周波数を持つ領域はそれほど暗部補正がかからず、ズボンや地面といった、輝度周波数の低い領域に対しては暗部補正がかかってくる効果が得られる。

●全体の補正処理の流れ
次に、上述した３つの階調補正方法を用いて、より適切な階調の画像を得るための全体の流れを図２〜図７のフローチャートを参照しながら説明する。

撮像装置１００の起動後、各種デバイスの初期化、起動を経てＥＶＦ画像表示などの撮影準備作業を行い、シャッタスイッチ１０４の押下によるＳＷ１のＯＮ待ちに入る（Ｓ２０１）。ＳＷ１ＯＮが検知されると、Ｄ＋補正に用いるＤ＋量の仮決定処理を実行する（Ｓ２０３）。ここで、Ｄ＋量の仮決定処理について、図３を参照して説明する。

まず、撮像素子１６により撮影して得られた画像データを、画像処理回路５０において、例えば縦横４ブロックに均等分割し、ブロック毎にヒストグラムを生成して輝度分布を取得する（Ｓ３０１）。なお、ここで生成するヒストグラムは、画面全体のものであってもよいが、ブロック毎に生成することで、より詳細な分布状況を把握することができる。そして、システム制御部６０は、各ブロックのヒストグラムの特に高輝度側の輝度分布を解析し、このままの露出で撮影するとどれくらいの白飛びが発生するかを判断する（Ｓ３０３）。そして、白飛びの発生を抑えるためにはどの程度露出を抑えればよいかを算出するが（Ｓ３０５）、これをＤ＋量と呼ぶ。なお、画像全体の白飛び状況から判断するので、ここで得られるＤ＋量を、以下、「全体Ｄ＋量ＤＰAll」と呼ぶ。本実施の形態では全体Ｄ＋量ＤＰAllとして、画像全体の白飛び状況に応じて、補正無し（ＤＰAll＝０）、弱補正（ＤＰAll＝Ｌｏｗ）、中補正（ＤＰAll＝Ｍｉｌｄ）、強補正（ＤＰAll＝Ｈｉｇｈ）の４段階とする。

また、画像認識回路３８は同じ画像データから、例えば人の顔などの予め設定された被写体（以下、「人の顔」として説明する。）を検出し、顔の有無、顔領域の座標及び大きさを含む顔情報を取得する（Ｓ３１５）。ここで、画像中に顔が無いと判断された場合（Ｓ３１７でＮＯ）、ステップＳ３０５で求めた全体Ｄ＋量ＤＰAllを仮Ｄ＋量ＤＰ１として採用する（Ｓ３３７）。一方、画像中に顔が有ると判断された場合（Ｓ３１７でＹＥＳ）、主顔領域付近のヒストグラムを生成して輝度分布を取得する（Ｓ３１９）。そして、システム制御部６０は、顔領域付近の輝度分布の高輝度領域を解析し、顔領域に限定した白飛び状況を把握し（Ｓ３２１）、この白飛び状況に応じてＤ＋量を決定する（Ｓ３２３）。なお、顔領域に限定した白飛び状況から判断するので、ここで得られるＤ＋量を、以下、「顔Ｄ＋量ＤＰFace」と呼ぶ。本実施の形態では、顔Ｄ＋量ＤＰFaceとして、ステップＳ３０５と同様に、補正無し（ＤＰＦａｃｅ＝０）、弱補正（ＤＰFace＝Ｌｏｗ）、中補正（ＤＰFace＝Ｍｉｌｄ）、強補正（ＤＰFace＝Ｈｉｇｈ）の４段階とする。なお、Ｄ＋量は段数で表し、本実施の形態では、Ｌｏｗ＝１／３段、Ｍｉｌｄ＝２／３段、Ｈｉ＝１段とする。

そして、全体Ｄ＋量ＤＰAllと顔Ｄ＋量ＤＰFaceとを比較する（Ｓ３３５）。比較の結果、全体Ｄ＋量ＤＰAllの方が大きければ全体Ｄ＋量ＤＰAllを（Ｓ３３７）、そうでなければ顔Ｄ＋量ＤＰFaceを（Ｓ３３９）、仮Ｄ＋量ＤＰ１として採用する。

Ｄ＋量の仮決定が終了すると、図２の処理に戻ってステップＳ２０５に進み、図３で求めた仮Ｄ＋量ＤＰ１に基づいて、最終的な絞り値、シャッタ速度、ゲイン、Ｄ＋量を決定する最終決定処理を行う（Ｓ２０５）。ここで、この最終決定処理について図４を参照して説明する。

まず、撮像素子１６により撮影して得られた画像データから、被写体輝度Ｂｖ１を取得する（Ｓ４０１）。この被写体輝度は画面を縦横２４ｘ１６程度の細かさのブロックに分割し、それぞれの輝度積分値をもとに算出する。スポット測光などのように、画面内の任意の狭い領域の測光を行う測光方式の場合、ブロック分割せずにその場所の１ブロックの輝度積分値から輝度値を算出することもできる。求めた被写体輝度Ｂｖ１と撮影感度Ｓｖから露出値Ｅｖ１を求め、露出値と絞り値、シャッタ速度、ゲインの組み合わせを表現した公知のプログラム線図テーブルに基づいて、絞り値Ａｖ１、シャッタ速度Ｔｖ１、ゲインＧａｉｎ１を求める（Ｓ４０３）。なお、このプログラム線図は、撮影モードごとに異なる線図を持つ構成にすることも可能である。

次に、図３で説明した仮Ｄ＋量ＤＰ１分、露出を抑えるために必要なゲイン及びシャッタ速度の調整を行う。まず、プログラム線図から求めたゲインＧａｉｎ１と仮Ｄ＋量ＤＰ１とを比較する（Ｓ４０５）。ゲインＧａｉｎ１が大きい場合、ゲインＧａｉｎ１から仮Ｄ＋量ＤＰ１を引いた値を新たなゲイン値Ｇａｉｎ２とする（Ｓ４０７）。この場合、ゲインを調整するのみでＤ＋量を露出アンダーにできるため、シャッタ速度はプログラム線図から求めたＴｖ１をそのまま採用してＴｖ２とする（Ｓ４０９）。一方、ゲインＧａｉｎ１が仮Ｄ＋量ＤＰ１以下の場合、ゲインだけでは仮Ｄ＋量ＤＰ１分、露出アンダーにすることができないことになる。そこで、まず、ゲインを設定可能な最小値ＭｉｎＧａｉｎにする（Ｓ４１１）。続いて、シャッタ速度を速くすることで、仮Ｄ＋量ＤＰ１分の露出アンダーを実現する。ここでは、プログラム線図から求めたＴｖ１に対し、ゲインで調整しきれなかった段数分だけシャッタ速度を速くし、Ｔｖ２とする（Ｓ４１３）。

上述したようにして、仮Ｄ＋量ＤＰ１分だけ露出アンダーとなるようにゲインとシャッタ速度を調整した後、この露出が実現可能かどうかをチェックする（Ｓ４１５）。この撮像装置１００で設定されている撮影モードにおける露出限界は、メカ的な制御限界から決められるのはもちろん、モード毎に制御限界を設定することが可能である。そのため、絞り値、シャッタ速度、ゲインからなる露出値が、露出限界ＭａｘＥｖ（これ以上シャッター速度を速くしたり、ゲインを下げたりすることができない状態での露出）を超えていないかをチェックする。限界内に収まっている場合、仮Ｄ＋量ＤＰ１を最終的なＤ＋量ＤＰ２として確定する（Ｓ４１７）。逆に、限界を超えていた場合、仮Ｄ＋量ＤＰ１を超過分だけ補正した値を最終的なＤ＋量ＤＰ２として確定する（Ｓ４１９）。これは、被写体が高輝度のために、設定された露出値が露出限界付近である場合、Ｄ＋補正を実施すれば効果的ではあるが、Ｄ＋補正を実施できない状態であるためである。なお、Ｄ＋補正を行う必要が無い場合には仮Ｄ＋量ＤＰ１＝０であり、必ずＧａｉｎ１よりも小さくなる。そのため、ステップＳ４０５、Ｓ４０７、Ｓ４０９の流れにより、ステップＳ４０３で求めたＡｖ１、Ｔｖ１、Ｇａｉｎ１がそのまま露出値（Ａｖ１、Ｔｖ２、Ｇａｉｎ２）として確定すると共に、Ｄ＋量ＤＰ２＝０となる。

図１３は、ＳＷ１ＯＮ前後の撮像素子１６の垂直同期信号ＶＤ、撮像素子１６への露光、撮像素子１６からの蓄積電荷の読み出し、顔検出、ヒストグラム生成、測光用ブロック輝度検出、Ｄ＋量算出、露出値算出のタイミングを示すタイミング図である。露光及び蓄積電荷の読み出しは毎垂直期間行われる。図１３では、顔検出は２垂直期間に１回の周期で行われることを示しているが、この限りではなく、画像認識回路３８による画像認識処理の性能次第で検出周期は変わってくる。ヒストグラム生成に関して、同一露光で得られた画像データに基づく顔検出とヒストグラム生成が行われた結果を用いてＤ＋量算出を行いたいため、顔検出周期にあわせてヒストグラムを生成する周期になるように制御している。

このような関係において、ＳＷ１がＯＮとなった場合、直前に検出されていた顔検出結果（５）と、画像データ（５）から生成されたヒストグラム（５）とを用いて、Ｄ＋量算出を行う。Ｄ＋量仮決定処理５１１では、図３を参照して説明した処理が実行される。Ｄ＋量仮決定処理５１１が終了した後、絞り値、シャッタ速度、ゲイン、Ｄ＋量の最終決定が行われる（５１３）。自動露出制御で使用する測光結果は、同様に画像データ（５）から検出された画面ブロック分割輝度を元に算出されたものを使用する。露出値算出５１３では、図４を参照して説明した処理が実行される。

上述したようにして、Ｄ＋補正のための絞り値、シャッタ速度、ゲイン、Ｄ＋量が確定すると、図２に戻って、ＳＷ２のＯＮ待ちに入る（Ｓ２０７）。ＳＷ２ＯＮが検知されると、ステップＳ２０５で求めた露出値を用いて撮像素子１６を露光し、露光時間経過後に電荷を読み出して、画像データに変換する（Ｓ２０９）。そして得られた画像データに対し、ステップＳ２０５で決定したＤ＋量ＤＰ２から、Ｄ＋補正を実施するか否かを判断する（Ｓ２１１）。具体的には、Ｄ＋量ＤＰ２＞０であるかどうかを判断する。Ｄ＋補正を実施しない場合（つまり、ＤＰ２が０の場合）は、Ｄ−量の決定処理を行う（Ｓ２１３）。ここで、Ｄ−量の決定処理について、図５を参照して説明する。

まず、撮像素子１６により撮影して得られた画像データから、画像処理回路５０において画面全体のヒストグラムを生成する（Ｓ５０１）。そして、システム制御部６０はこのヒストグラムにより得られた輝度分布情報のうち、特に高輝度領域の状況を解析し、高輝度領域にどれくらいのデータが存在するかを把握する。そして、ガンマ出力輝度を割り当てる必要が無い領域がどの程度存在するかを分析し、ガンマ出力輝度割当が不要な領域の程度に応じて、Ｄ−量ＤＭ１を決定する（Ｓ５０５）。本実施の形態では、Ｄ−量ＤＭ１は、ガンマ出力輝度割当が不要な領域の程度に応じて、補正無し（ＤＭ１＝０）、弱補正（ＤＭ１＝Ｌｏｗ）、中補正（ＤＭ１＝Ｍｉｌｄ）、強補正（ＤＭ１＝Ｈｉｇｈ）の４段階とする。なお、Ｄ−量は段数で表し、本実施の形態では、Ｌｏｗ＝１／３段、Ｍｉｌｄ＝２／３段、Ｈｉ＝１段とする。

続いて、ステップＳ２０５で求めたＤ＋量ＤＰ２が０より大きいか否か、すなわち、Ｄ＋補正を行うかどうかを再度チェックする（Ｓ５１５）。そして、Ｄ＋補正を行わない場合にはステップＳ５０５で決定したＤＭ１をＤ−量として確定し、Ｄ＋補正を行う場合には念のためＤ−補正が行われないようににＤＭ１を０に設定する（Ｓ５１７）。このように、本実施の形態では、Ｄ＋補正実施時にはＤ−補正を行わない処理としているが、これは、Ｄ＋補正とＤ−補正を同時に行う必要があるシーンは想定しづらいからである。Ｄ＋補正は高輝度による白飛びの発生の恐れがあるシーンに対して作用するが、図４で説明したように白飛びを防ぐために露出アンダーとなるように露出値を決定した場合、高輝度領域ぎりぎりまで輝度分布があるようなヒストグラムになることが想定される。このようなヒストグラムを有する画像データに対してＤ−補正を実施する必要は無い。

上述したようにしてＤ−量が確定すると、図２の処理に戻る。ステップＳ２１５では、Ｄ−補正を実施するか否かを判断する（Ｓ２１５）。上述したように、Ｄ＋補正を実施する場合にはＤ−補正を行わないので、ステップＳ２１１でＹＥＳであれば、ここではＮＯの判断となる。また、ステップＳ２１３で設定されたＤ−値ＤＭ１＝０であれば実施しない、Ｄ−値ＤＭ１＝０でなければ実施する、と判断する。Ｄ−補正を実施しない場合には、暗部補正量の決定処理を行う（Ｓ２１７）。一方、Ｄ−補正を実施する場合は、暗部補正は行わない。これは、Ｄ−補正と暗部補正は共に輝度レベルを上げる効果を持ち、ここで両者の補正を行うように判断してしまうと、必要以上に補正がかかり、明るすぎる画像となってしまう可能性があるからである。また、Ｄ−補正がかかるシーンは高輝度領域に輝度分布が無いシーンであるため、逆光シーンのような輝度差が激しいシーンである可能性が低く、暗部補正をかける必要がないシーンであることが想定される。ここで、ステップＳ２１７で行われる暗部補正量の決定処理について、図６を参照して説明する。

まず、撮像素子１６により撮影して得られた画像データを、画像処理回路５０において複数ブロックに分割し、ブロック毎に積分値を求めることで、ブロック輝度を取得する（Ｓ６０１）。求めたブロック輝度に対して、ステップＳ２０５で求めたＤ＋量ＤＰ２により、簡易的に輝度補正を行う（Ｓ６０２）。これは、Ｄ＋補正が行われている場合、撮像素子１６から読み出したままの画像データはＤ＋量分だけ露出アンダーであるため、本来の輝度レベルに戻すために簡易的な輝度補正を行う。続いて、画像認識回路３８により輝度補正した画像データから、顔の有無、顔座標、顔の大きさを含む顔情報を取得する（Ｓ６０５）。そして、得られた顔情報とブロック輝度から、顔付近の輝度値（顔輝度）を計算すると共に（Ｓ６０７）、画面全体のヒストグラムを生成する（Ｓ６０９）。システム制御部６０は、画面全体のヒストグラムから低輝度領域への輝度分布がどの程度あるのかを解析するが（Ｓ６１１）、これは、低輝度領域に輝度分布が無い場合は暗部補正を実施する必要がないため、その判断に用いる。次に、露出条件としてＩＳＯ感度（ゲイン）情報を取得する（Ｓ６１３）。暗部補正は、低輝度レベルの画素のレベルを増幅する効果を得るために行うものであるが、低輝度レベルであるがゆえに、Ｓ／Ｎ悪化による画質劣化が露呈しやすい。もともと高ＩＳＯ感度（高ゲイン）で得られた画像データであれば、既にＳ／Ｎが悪化している可能性があるので、ゲイン値に応じて暗部補正量を抑える判断を行うためにＩＳＯ感度情報を取得する。

そして、得られた各種情報を基にして、最大暗部補正量を決定する（Ｓ６１５）。人物顔が検出されている場合、例え逆光シーンであっても、あまりに大きい暗部補正をかけると人物顔のＳ／Ｎが悪化し、印象の悪い画像となってしまう。そのため、先に述べたように、画像データのもともとのＳ／Ｎを知る為にＩＳＯ感度情報も加味して最大暗部補正量を決定する。

次に、ヒストグラム解析結果、及び、最大暗部補正量に基づいて、画面全体としてどの程度の暗部補正を実施すべきかどうかを決定する（Ｓ６１７）。ここで決められた補正量を全体暗部補正量DarkGainAllとする。続いて、顔の有無を判断し（Ｓ６１９）、顔が無い場合、先に求めた全体暗部補正量DarkGainAllを暗部補正量DarkGain1として採用する（Ｓ６２５）。一方、顔がある場合には、ステップＳ６０７で求めた顔輝度、及び、最大暗部補正量に基づいて顔暗部補正量DarkGainFaceを決定する（Ｓ６２１）。そして、全体暗部補正量DarkGainAllと顔暗部補正量DarkGainFaceとを比較し（Ｓ６２３）、補正量の大きいほうを暗部補正量DarkGain1として採用する（Ｓ６２５またはＳ６２７）。

以上のようにして暗部補正量DarkGain1が決まると、図２の処理に戻る。ステップＳ２１７までの処理により、各補正の実施、非実施、実施の際の補正量が決定されているので、これらの情報に基づいて画像処理を行い（Ｓ２１９）、補正後の画像データをメモリカード等へ保存する。ここで、図７を参照して、ステップＳ２１９で行割れる画像処理の詳細について説明する。

まずＤ＋量ＤＰ２を参照し、ＤＰ２が０より大きいかどうか、即ち、Ｄ＋補正を行うかどうかを判断し（Ｓ７０３）、Ｄ＋補正を行う場合、Ｄ＋量ＤＰ２からトーンカーブを決定する（Ｓ７０７）。

通常撮影時は自動焦点調節処理で求めた絞り、シャッタ、ゲインで撮影するが、Ｄ＋補正では、上述したように、この露出条件に対して、算出されたＤ＋量分だけ露出アンダーで露光することで白飛びを抑えている。しかしながら、白飛びを抑えるために露出アンダーにすると、画面全体の輝度がアンダーとなってしまう。ここで、アンダー露出撮影により得られた画像データのうち、本来アンダーにすべきでない輝度領域の輝度値をアンダー分だけ元に戻すように補正されるようにトーンカーブを設定すれば、高輝度領域の白飛びは抑えられる。また、白飛びしていない輝度領域の輝度レベルも暗くなりすぎず、良好な結果が得られるはずである。

図１２は、Ｄ＋補正で用いるトーンカーブの一例を説明する図であり、Ｄ＋補正を行わない場合の通常ガンマカーブ３０２に対し、１段分のＤ＋補正を行うＤ＋ガンマカーブ３００を示している。Ｄ＋補正を行わずに適正露光で通常撮影した場合のある入力輝度３０４を通常ガンマカーブ３０２で変換すると、出力輝度３０８となる。これに対し、図４を参照して説明したようにＤ＋量分（１段分）、露出アンダーで露光した場合、入力輝度３０４は輝度レベルが半分の入力輝度３０６となる。そこで、この半分の輝度レベルになっている入力輝度３０６を、露出アンダーではない、つまり、適正露出で撮影した場合と同じ出力輝度３０８に変換するために、Ｄ＋ガンマカーブ３００を適用して変換する。ここで、露出アンダーで露光した場合には、高輝度領域では白飛びが抑えられているはずである。そこで、Ｄ＋ガンマカーブ３００に示すように、低輝度部分では輝度を持ち上げ、高輝度にいくほどカーブを寝かせていくことで、白とびが抑えられたままの出力輝度を得ることができる。なお、図１２ではＤ＋量を１段とした場合のガンマカーブを示しているが、本発明はこれに限るものではなく、例えば１／３段、２／３段、という風に、Ｄ＋量をさらに細かい段数にすることも可能である。その場合、各Ｄ＋量に応じたガンマカーブを設定することが必要となる。また、上述したようにＤ＋量に応じてトーンカーブを予め複数種類用意し、その中から選択する方法でも良いが、Ｄ＋量からトーンカーブを計算して求めてもよい。

Ｄ＋補正を行わない場合（Ｓ７０３でＮＯ）、Ｄ−量ＤＭ１を参照し、ＤＭ１が０より大きいかどうか、即ち、Ｄ−補正を行うかどうかを判断する（Ｓ７０５）。Ｄ−補正を行う場合、Ｄ−量ＤＭ１から、図８を参照して上述したようにしてトーンカーブを決定する（Ｓ７０９）。このトーンカーブもＤ＋補正用のトーンカーブと同様に、複数のＤ−用トーンカーブから選択するようにしても、Ｄ−量からトーンカーブを計算して求めてもよい。

Ｄ＋補正もＤ−補正も行わない場合、特定の階調補正を実施する必要がないと判断し、デフォルトのトーンカーブ（例えば、通常ガンマカーブ３０２）を選択する（Ｓ７１１）。そして、このようにして選択されたいずれかのトーンカーブにより、画像データにトーンカーブ処理を施す（Ｓ７１３）。

その後、暗部補正を実施するか否かを判断するためにＤ−量ＤＭ１を参照する（Ｓ７１５）。ＤＭ１＞０ではない場合（即ち、Ｄ−補正を行わない場合）、暗部補正の実施が許可され、ステップＳ２１７で求めた暗部補正量DarkGain1から暗部補正用トーンカーブを決定する（Ｓ７１７）。そして、このトーンカーブを用いて、暗部補正処理を行う（Ｓ７１９）。暗部補正処理では図１０に示した低解像度画像と、図１１で示した暗部補正用トーンカーブを用い、低輝度周波数かつ低輝度な領域の輝度を明るく補正するように処理を行う。

このように、暗部補正量DarkGain1を用いて、図１０及び図１１を参照して上述した低解像度画像と暗部補正用トーンカーブ処理を行うことで、コントラストを損なわずに暗部の輝度レベルを補正することができる。

一方、Ｄ−補正が行われる場合には、暗部補正の実施が制限される。本実施の形態では、実施が許可されず、そのまま処理を終了する。

図１４は、図７に示す階調補正処理のＳＷ２ＯＮ後のタイミング図である。ＳＷ２のＯＮ後、撮像素子１６を露光して読み出された電荷信号（５５４）は、画像データとして一時記憶メモリ３０に保存される（５５６）と同時に、輝度検出（５５８）、顔検出（５６０）、輝度低周波検出が行われる（５６２）。そうして得られた検出結果を基に、暗部補正量や、Ｄ−量の算出を行い（５６４）、画像処理回路５０にて階調補正（５６６）が行われる。

上記の通り本実施の形態によれば、画像の異なる輝度分布にそれぞれ適した複数の階調補正方法を実行可能な撮像装置において、撮像した画像の輝度分布に応じて、複数の階調補正方法の実施／非実施を判断する。そして、実行する階調補正方法のＤ＋量、またはＤ−量、及び暗部補正量から適切なトーンカーブを設定して補正することで、明るさ及びコントラストが良好な画像を得ることができる。特に、共に輝度レベルを上げる効果を持つＤ−補正と暗部補正の両者の補正を行わないように制限している。これにより、必要以上に補正がかかり、明るすぎる画像となってしまうことを回避できるので、画質の低下を起こすこともない。

＜変形例＞
上記実施の形態では、Ｄ−補正を行う場合、暗部補正の実施が許可されなかったが、実施する量を制限するようにしてもよい。その場合、図７のステップＳ７１５において、ＤＭ１＞０と判断された後に、ステップＳ７１７及びＳ７１９と同様の処理を行うが、図１１に示した暗部補正ガンマよりも変化が少ないガンマを決定し、これに基づいて補正を行う。即ち、Ｄ−補正を行わない場合よりも、輝度領域間のゲインの差が少ないガンマとする。

１０：撮影レンズ、１２：メカニカルシャッタ、１４：絞り、１６：撮像素子、１８：ＣＤＳ、２０：ＰＧＡ回路、２２：Ａ／Ｄ回路、２４：ＴＧ、２６：絞り駆動回路、２８：シャッタ駆動回路、３４：ＶＲＡＭ、３６：Ｄ／Ａ回路、３８：画像認識回路、５０：画像処理回路、６０：システム制御部、７０：操作部、１０８：画像表示装置

Claims (6)

1. 撮像して得られた画像データに対し、出力輝度の輝度範囲に対応する入力輝度の輝度範囲を変更する階調補正を実施するための第１の補正データを決定する第１の決定手段と、 撮像して得られた画像データに対し、輝度周波数の高さに応じた階調補正を実施するための第２の補正データを決定する第２の決定手段と、
   前記第１及び第２の補正データの一方を用いた階調補正が実施される画像データに対し、前記第１及び第２の補正データの他方を用いた階調補正の実施を制限する制御手段と、 を有することを特徴とする撮像装置。
2. 前記第１の決定手段は、前記撮像して得られた画像データの輝度分布に基づいて前記第１の補正データを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の決定手段は、前記撮像して得られた画像データの高輝度領域の輝度に基づいて前記第１の補正データを決定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２の決定手段は、前記撮像して得られた画像データの輝度分布に基づいて前記第２の補正データを決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１及び第２の補正データの一方を用いた階調補正が実施される画像データに対し、前記第１及び第２の補正データの他方を用いた階調補正を実施しないことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 第１の決定手段が、撮像して得られた画像データに対し、出力輝度の輝度範囲に対応する入力輝度の輝度範囲を変更する階調補正を実施するための第１の補正データを決定する第１の決定工程と、
   第２の決定手段が、撮像して得られた画像データに対し、輝度周波数の高さに応じた階調補正を実施するための第２の補正データを決定する第２の決定工程と、
   制御手段が、前記第１及び第２の補正データの一方を用いた階調補正が実施される画像データに対し、前記第１及び第２の補正データの他方を用いた階調補正の実施を制限する制御工程と、
   を有することを特徴とする画像処理方法。