JP5096089B2 - 画像信号処理装置、画像信号処理方法及び撮像装置 - Google Patents

Description

本発明は、画像信号の諧調特性を変換する画像信号処理装置、画像信号処理方法及び撮像装置に関するものである。

従来、カメラの測光値等の被写界の輝度分布情報や、撮影画像の輝度分布情報をもとに、撮影画像の階調特性を変更する技術が知られている（例えば、特許文献１，２参照）。また、画像の領域に応じて局所的に階調特性を変更するような画像処理が知られている（例えば、特許文献３参照）。また、特開２００６−２１７２７７号公報には、主要被写体の輝度と大きさの情報に基づいてダイナミックレンジ圧縮に用いるパラメータを設定する技術が開示されている。また、特開２００６−１９５６５１号公報には、局所的な階調変換、換言すると、ヒスグラム平滑化を行うカメラにおいて、顔領域に対する階調平滑化のクリッピング処理を変更することにより、階調特性を強化する技術が開示されている。
特開２００３−２３４９５５号公報 特開２００３−６９８２１号公報 特開２００５−３１８０６３号公報 特開２００６−２１７２７７号公報 特開２００６−１９５６５１号公報

しかしながら、上述した特許文献１、２に開示されている技術では、輝度差のかなり大きいシーンに対しては、階調変換による十分な効果を得ることができなかった。また、特許文献３に開示されている技術では、輝度差の大きなシーンにおける階調変換による効果は高いが、シーンによっては逆にコントラストがつきすぎてしまい不自然な画像になったり、不必要な部分が強調された画像になったりしてしまうことがあった。また、特許文献４には主要被写体領域を考慮することが開示されているものの具体的な開示がなく、特許文献５に関しては主要被写体領域のみ領域分割して処理を変更するので、主要被写体領域とその周辺の領域のつなぎ目が不自然になる、平滑化処理方法を領域ごとに変えるために主要被写体領域が複雑になり相当時間要する、シーンに応じて様々な平滑化処理方法を用意しなければならないなどの不都合があった。

本発明は、上記問題を解決するためになされたもので、シーンや主要被写体に応じた最適な諧調特性の画像を得ることが可能であるとともに、処理の簡略化を図ることのできる画像信号処理装置、画像信号処理方法及び撮像装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、画像信号中の主要被写体を検出する主要被写体検出手段と、前記主要被写体にかかわる主要被写体情報として、少なくとも前記主要被写体の前記画像信号中の大きさ、前記主要被写体の明るさ及び前記主要被写体の明るさと前記主要被写体の周囲の明るさとの差分の情報を取得する主要被写体情報取得手段と、前記画像信号の注目画素に対して、前記主要被写体情報に基づいて選択される階調変換特性曲線を用いて一律な階調変換処理を行うとともに、前記一律な階調変換処理後の前記画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行う画像処理手段と、を具備し、前記画像処理手段は、前記主要被写体情報として主要被写体の前記画像信号中の大きさが所定の閾値よりも小さく、前記主要被写体の明るさが周囲の明るさよりも暗く、前記主要被写体の明るさと前記主要被写体の周囲の明るさとの差分が所定の閾値よりも大きい場合、他の場合に比べて主要被写体の明るさをより増加させるような階調変換特性曲線により階調変換処理を行うことを特徴とする画像信号処理装置を提供する。

本発明によれば、シーンや主要被写体に応じた最適な階調特性の画像を得ることが可能であるとともに、処理の簡略化を図ることができるという効果を奏する。

以下に、本発明に係る画像信号処理装置及び撮像装置の実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示したブロック図である。本実施形態に係る撮像装置１は、例えば、デジタルカメラであり、撮像部２と画像処理装置（画像信号処理装置）３とを備えている。撮像部２は、レンズ１０、シャッタ１１、ＣＣＤ１２、ＣＣＤ制御部１３、レンズ駆動部１４、及びストロボ１５を備えている。
レンズ１０には、ピント調節および焦点距離調節用の撮影レンズと、開口量を調節するための絞り１０ａが配置されている。この絞り１０ａの役割は、撮影制御部２０からの制御指令に基づいて、撮像面へ照射する光の明るさと深度を調整することであるが、深度調整の必要性の少ない廉価な撮像装置においては、明るさ調節の目的のために、例えば、光量調節のためのＮＤフィルタで代用することも可能である。

レンズ１０は、後述する撮影制御部２０の制御によりレンズ駆動部１４が作動することにより駆動される。これにより、撮影制御部２０からの制御指令に基づいて、ピント合わせ、ズーム駆動等が行われる。ストロボ１５は、撮影制御部２０の制御により、被写体に光を照射可能となっている。
レンズ１０の後方には、露光時間制御用のシャッタ１１が配置されている。このシャッタ１１は撮影制御部２０によって駆動制御される。
シャッタ１１はスルー画像撮影時には常に開いた状態とされる。このとき、ＣＣＤ１２の露光量制御はＣＣＤ１２の有する電子シャッタ機能を用いて実現される。また、いわゆる静止画（以下「スチル撮影」という。）撮影時にはシャッタ１１によりＣＣＤ１２への露光量が制御される。

シャッタ１１の後方には二次元撮像素子としてのＣＣＤ１２が配置されており、レンズ１０によって結像される被写体像を電気信号に光電変換する。なお、本実施形態では撮像素子としてＣＣＤを用いているが、これに限らずＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の二次元撮像素子を使用できることはいうまでもない。

ＣＣＤ制御部１３はＣＣＤインターフェイス２１に接続されている。ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１を介して後述するシーケンスコントローラ（以下「ボディＣＰＵ」という。）からの制御信号を受信し、この制御信号に基づいてＣＣＤ１２の電源のオン・オフ制御等を行い、撮像のタイミングを調整し、光電変換信号の増幅（ゲイン調整）等を行う。

ＣＣＤ１２により取得されたアナログ信号の画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、画像処理装置３に入力される。
画像処理装置３は、例えば、ＡＳＩＣであり、上述の撮影制御部２０、ＣＣＤインターフェイス２１、ボディＣＰＵ２２、輝度算出部２３、ＡＦ演算部２４、第１画像処理部２５、顔検出部（顔検出手段）２６、第２画像処理部（画像処理手段）２７、及び第３画像処理部２８等を備えている。これら各部は、画像処理装置３内のデータバス３０を介して相互に接続されている。

ボディＣＰＵ２２は、撮像装置１が備える各部の制御を行う。
輝度算出部２３は、画像信号を所定の分割エリアごとに平均して、輝度信号に変換し、被写体の輝度分布情報を算出する。
ＡＦ演算部２４は、画像信号を所定の領域に分割し、領域毎にコントラスト情報を算出し、レンズ駆動部１４の制御と同期して、所定領域のコントラストが最大となるように、レンズ１０を駆動することにより、被写体に焦点を合わせる。

第１画像処理部２５、第２画像処理部２７、及び第３画像処理部２８は、撮像部２により取得された画像信号に対してＯＢ減算、色補正、階調変換、白黒・カラーモード処理、スルー画像処理といった各種の画像処理を行う。
顔検出部２６は、画像信号を元に、顔検出に適したサイズの画像を作成し、例えば、特開２００６−２２７９９５号公報に開示されているような公知の技術を用いて、処理対象画像中から顔の部品に類似する特徴量を持つ部分を探索して顔候補領域を抽出し、顔候補領域の種々の情報を用いて、顔か否かの判断を行い、顔領域の位置と大きさを検出する。

ここで、より具体的な顔検出方法は、例えば、Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊｏｎｅｓ， “Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ，” Ｐｒｏｃ． ｏｆ ＣＶＰＲ， ２００１に開示されているような、Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法である。Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法は、Ａｄａｂｏｏｓｔの学習によって選択された顔検出に最適な矩形フィルターを顔検出対象画像に照合させ、顔を検出する方法である。前記矩形フィルターをカスケード型に配することで処理を高速化している。また、上記検出処理時に各矩形フィルターとの照合結果を積算し規格化したものを評価値とし、上記処理により顔が検出された場合には、検出した顔の信頼度をあらわす指標として顔検出結果とともに出力する。本実施形態では、この指標を顔検出信頼性と記載し、検出した顔の確からしさを表す指標として、顔検出結果を使用するシーケンスで使用する。

また、上記データバス３０には、上述した構成要素のほか、圧縮部３１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）制御部３２、フラッシュメモリ制御部３３、操作検出部３４、記録媒体制御部３５、ビデオ信号出力部３６などが接続されている。

圧縮部３１は後述するＳＤＲＡＭ４１に記憶された画像データ等をＪＰＥＧで圧縮するためのブロックである。なお、画像圧縮はＪＰＥＧに限らず、他の圧縮方法も適用できる。フラッシュメモリ制御部３３は、フラッシュメモリ４２に接続されている。このフラッシュメモリ４２には、撮像装置１における各処理を制御するための画像処理プログラムが記憶されており、ボディＣＰＵ２２はこのフラッシュメモリ４２に記憶されたプログラムに従って各部の制御を行う。なお、フラッシュメモリ４２は、電気的に書換可能な不揮発性メモリである。ＳＤＲＡＭ４１は、ＳＤＲＡＭ制御部３２を介してデータバス３０に接続されている。ＳＤＲＡＭ４１は、第１画像処理部２５等によって画像処理された画像情報または圧縮部３１によって圧縮された画像情報を一時的に記憶するためのメモリである。

撮影制御部２０は、データバス３０を介してボディＣＰＵ２２等の各部と接続している。記録媒体制御部３５は、記録媒体４３に接続され、この記録媒体４３への画像データ等の記録の制御を行う。記録媒体４３は、ｘＤピクチャーカード（登録商標）、コンパクトフラッシュ（登録商標）、ＳＤメモリカード（登録商標）、メモリスティック（登録商標）またはハードディスクドライブ（ＨＤ）等の書換可能な記録媒体で構成され、撮像装置本体に対して着脱可能とされている。

ビデオ信号出力部３６は、表示モニタ制御部４５を介して表示モニタ４６に接続されている。ビデオ信号出力部３６は、ＳＤＲＡＭ４１または記録媒体４３に記憶された画像データを、表示モニタ４６に表示するためのビデオ信号に変換するための回路である。表示モニタ４６は、例えば、撮像装置本体の背面に配置されている液晶表示装置であるが、撮影者が観察できる位置であれば、背面に限らないし、また液晶に限らず他の表示装置でも構わない。

操作部４７は、撮像装置１の撮影指示を示すレリーズを検出するスイッチや、モードダイヤル、パワースイッチ、コントロールダイヤル、再生ボタン、メニューボタン、十字キー、ＯＫ釦等を含み、操作検出部３４を介してデータバス３０に接続されている。

このような構成を備える撮像装置１において、ユーザによってパワースイッチ（図示略）がオンされると、以下に示す表示シーケンスがボディＣＰＵ２２によって実行され、ボディＣＰＵ２２からの制御により各部が作動する。以下、表示シーケンスの動作フローについて図２を参照して説明する。

〔表示シーケンス〕
まず、ユーザによって電源がオンされると、撮像部２によるスルー画像の撮影が行われ、画像信号が取得される（ステップＳＡ１）。この画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、変換後の画像信号（以下「スルー画像信号」という。）が画像処理装置３内に入力される。

次に、スルー画像信号に対して第１画像処理部２５、第２画像処理部２７、第３画像処理部２８により、色変換処理、強調処理、階調変換処理、圧縮、リサイズ等の処理が行われ（ステップＳＡ２）、処理後のスルー画像信号が表示モニタ４６に表示される（ステップＳＡ３）。なお、スルー画像信号に対しても、後述する局所的な階調変換処理を実施すれば、よりスチル撮影に近い画像を得ることができる。

続いて、顔検出部２６によりスルー画像信号が顔検出に適した画像に変換され、所定の領域毎に顔の特徴量とのマッチング比較が行われ、顔の位置と大きさが検出される（ステップＳＡ４）。この結果、顔が検出された場合には、検出結果がモニタ表示される。
なお、顔検出に使用するスルー画信号は、上記もろもろの処理の途中で、顔検出に適した画像を格納しておき、使用する。
次に、顔検出の結果が前回の検出結果と変化したか否かを判断する（ステップＳＡ５）。この結果、検出結果が変動していた場合、例えば、前回のスルー画像信号においては顔検出がされたのに、今回のスルー画像信号においては検出されなかった場合や、逆に、前回のスルー画像信号においては顔検出がされなかったのに今回のスルー画像信号において検出された場合や、顔の位置や大きさが変化した場合にはステップＳＡ６に進む。

ステップＳＡ６では、被写体の距離が前回のスルー画像信号のときと変動しているか否かを判定する。この距離の変動は、例えば、以前にオートフォーカスを行って取得したスルー画像信号における合焦エリアと今回得られたスルー画像信号の同エリアにおけるコントラストの差分を算出し、その差分が所定値以上であれば、被写体の距離が変動していると判断する。この結果、被写体の距離が変動していた場合には、ステップＳＡ７に進む。

ステップＳＡ７では、オートフォーカスを行う。具体的には、オートフォーカス用に撮影とレンズ駆動を複数回繰り返し、撮影により得られた信号を複数のエリアに分割（例えば、縦１０分割、横１５分割）し、エリア毎のコントラストを算出し、コントラスト値が最大となる位置にレンズ１０を駆動することで、被写体への合焦動作を行う。
分割したエリアのうち、どのエリアのコントラストを重視して、レンズ駆動を行うかは、公知のアルゴリズムにより決定される。例えば、本実施形態では、直前の顔検出の結果を用いて、顔が検出された場合には、顔の位置情報、大きさ情報を元に顔に近いエリアを重視し、顔検出が検出されなかった場合には最も至近のエリアを重視する。そして、レンズ駆動終了後に、各撮影時のコントラスト情報とそのときのレンズ位置、最終駆動終了時のレンズ位置情報を元に、現在の撮影距離と焦点距離ならびに、各エリアの被写体距離を算出する。そして、この撮影距離、焦点距離、被写体距離を被写体距離分布情報として所定のメモリに記憶するとともに、重視したエリア並びにそのエリアのコントラスト値についてもメモリに記憶する。この処理が終了すると、ステップＳＡ８に進む。

一方、上記ステップＳＡ５において顔検出の結果が前回と今回とで変化していなかった場合（ステップＳＡ５において「ＮＯ」）、或いは、ステップＳＡ６において距離変動がなかった場合には（ステップＳＡ６において「ＮＯ」）、ステップＳＡ８に進む。

ステップＳＡ８では、スルー画像信号を用いて、被写体の輝度分布を算出するとともに、上記顔検出結果を用いて、被写体エリア、被写体周辺エリアの輝度を算出する。続くステップＳＡ９では、ステップＳＡ８で得られた被写体の輝度分布情報をもとに、スルー画中のシャッタ速度、絞り、ＩＳＯ感度を決定し、これらのＡＰＥＸ値（ａｖ，ｔｖ，ｓｖ）をメモリに記憶し、次回のスルー画露出時に反映する。なお、顔輝度分布算出に使用するスルー画信号は、上記もろもろの処理の途中で、顔輝度分布算出に適した画像を格納しておき、使用する。
ステップＳＡ１０では、操作検出部３４で撮影者によりレリーズボタンが押されたかどうかを判定し、レリーズボタンが押された場合には、ステップＳＡ１１に進み、スチル撮影を実施する。
そして、スチル撮影が終了した場合、或いは、ステップＳＡ１０においてレリーズボタンが押されていない場合には、ステップＳＡ１に戻り、ユーザによって電源がオフされるまで上述の処理を繰り返し実行する。

なお、上記表示シーケンスにおいて、システム構成等の関係により、ステップＳＡ３以降の処理に時間がかかるような場合には、上記ステップＳＡ１からＳＡ３の処理を他の処理と並行に行うこととしてもよい。

〔スチル撮影〕
次に、上記表示シーケンスのステップＳＡ１１において行われるスチル撮影について図３を参照して説明する。図３は、スチル撮影のシーケンスを示した図である。
まず、図３のステップＳＢ１において、プリ撮影が実施される（ステップＳＢ１）。撮像部２にて取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル化された後、撮像処理装置３内の各部へ転送される。

ステップＳＢ２では、プリ撮影で得られた画像信号に対してＯＢ処理等の第１画像処理を行い、続くステップＳＢ３において顔検出を行い、ステップＳＢ４において、顔検出の結果に基づくオートフォーカスを行う。顔検出処理、オートフォーカス処理については、上述した表示シーケンスにおけるステップＳＡ４，ステップＳＡ７と同様であるので、説明を省略する。
ステップＳＢ５では、被写体の輝度分布を算出するとともに、オートフォーカスの結果並びに顔検出の結果を用いて、被写体エリア及び被写体周辺エリアの輝度を算出する。なお、この輝度分布算出処理についての詳細は後述する。
ステップＳＢ６では、ステップＳＢ４において求められた撮影距離、現在のレンズの焦点距離を用いて以下の（１）式により撮影倍率を計算する。
撮影倍率＝焦点距離／撮影距離 （１）

ステップＳＢ７では、ステップＳＢ５にて得られた被写体の輝度分布情報をもとに露光条件を決定するための目標輝度を求め、この目標輝度に基づいて本撮影でのシャッタ速度、絞り、ＩＳＯ感度を決定し、これらのＡＰＥＸ値（ａｖ，ｔｖ，ｓｖ）を記憶する。

続いて、ステップＳＢ８において、ストロボの発光の必要性の有無を判断する。例えば、逆光時や低輝度時には、ストロボの発光が必要であると判断する。この結果、ストロボ発光が必要でないと判断された場合には、ステップＳＢ９において、絞り１０ａ、シャッタ１１、ＣＣＤ１２を制御し、ステップＳＢ７にて決定した露光条件で、撮影を行う。撮像部２において取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。

また、ステップＳＢ８において、ストロボの発光が必要であると判断された場合には、ステップＳＢ１０においてストロボ発光と撮像を行うプリ露光を実施し、得られたＣＣＤ出力データを読み出して所定の処理を行う。続くステップＳＢ１１では、ステップＳＢ１０にて得られたＣＣＤ出力データを元にストロボ光照射時の被写体の輝度分布情報を作成し、その値に基づいてストロボ発光量を演算する。そして、ステップＳＢ１２において、絞り１０ａ、シャッタ１１、ストロボ１５、ＣＣＤ１２等を制御して、ステップＳＢ７にて決定された露光条件とステップＳＢ１１で得られた発光量で、ストロボ発光および撮影を行う。撮像部２にて得られた画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。

続くステップＳＢ１３では、第１画像処理部２５にて、画像信号に対して公知のＯＢ減算、ホワイトバランス補正等の第１画像処理が実施され、処理後の画像信号が第２画像処理部２７に転送される。
ステップＳＢ１４では、第２画像処理部２７において、第１画像処理部２５から転送されてきた画像信号に対して階調変換処理等の第２画像処理が実施され、処理後の画像信号が第３画像処理部２８に転送される。なお、ここで行われる第２画像処理の詳細については後述する。

ステップＳＢ１５では、第３画像処理部２８において、第２画像処理部２７から転送されてきた画像信号に対して色補正、ノイズ補正、ＹＣ変換、圧縮等の第３画像処理が実施される。続く、ステップＳＢ１６において、画像処理の終了した画像が記録媒体４３に記録され、ステップＳＢ１７において、画像処理の終了した画像がビデオ信号出力部３６等を介して表示モニタ４６に表示される。なおここでは、階調変換後に、色補正、ノイズ補正、ＹＣ変換、圧縮等の種々の画像処理が行われているがこれらの実施順序は、処理の速度や画質性能に応じて入れ替え可能である。

〔輝度分布算出処理〕
次に、上記スチル撮影シーケンスのステップＳＢ５において実行される輝度分布算出処理について図４を参照して詳しく説明する。図４は、輝度分布算出処理のシーケンスを示した図である。

まず、ステップＳＣ１において、画像信号を図５に示すように複数の分割エリア（本実施形態では、縦３０分割、横２０分割）に分割し、分割エリア毎の輝度の平均値を算出する。本実施形態では、撮影された画像信号のグリーンの出力信号の分割エリア平均値をもとに、プリ撮影時の撮影条件を用いて演算し、ＡＰＥＸ単位での各分割エリアの輝度信号に変換して扱う。
例えば、左上の分割エリア（ｉ，ｊ）＝（１，１）のグリーンの出力信号をＧ１１、輝度信号をｂｖ１１、プリ撮影時のシャッタ速度、絞り値、感度に相当するＡＰＥＸ値をそれぞれＴＶ、ＡＶ、ＳＶとすると、輝度信号ｂｖ１１は以下の式で表される。
ｂｖ１１＝ＡＶ＋ＴＶ−ＳＶ＋ｌｏｇ２（Ｇ１１／基準Ｇ値）
これを各分割エリアにおいてそれぞれ実施することで、撮像画像の輝度分布に相当する値が得られる。ここで、基準Ｇ値とは所定のＡＶ、ＴＶ−ＳＶで所定の光源で所定の輝度を撮影したときのグリーン出力平均値であり、あらかじめカメラごとに設定されている。

このようにして、各分割エリアの輝度平均値が得られると、続くステップＳＣ２において、分割エリア毎の各輝度ｂｖから最大輝度のものをｍａｘ輝度、最小輝度のものをｍｉｎ輝度として輝度差Δｂｖを以下の式で算出する。
Δｂｖ＝ｍａｘ輝度−ｍｉｎ輝度

続いて、ステップＳＣ３では、顔検出がされたか否かを判定する。具体的には、スチル撮影の直前に得られたスルー画像信号で顔検出がされたか否かを判定する。この結果、顔検出がされていた場合には、ステップＳＣ４に進む。

ステップＳＣ４では、検出された顔位置と大きさに基づいて顔エリアを特定し、この顔エリアの輝度平均値を算出する。続くステップＳＣ５では、ステップＳＣ４において算出した顔エリアの輝度平均値を被写体輝度ｂｖ＿ｏとする。例えば、図５に示されるように顔エリアが特定された場合、この顔エリアに属する７×７のエリアの輝度平均値が被写体輝度ｂｖ＿ｏとなる。

続いて、ステップＳＣ６では、ステップＳＣ４で特定した顔エリアの情報に基づいて被写体周辺エリアの輝度を算出する。この被写体周辺エリアは、顔エリアを左右上下にそれぞれ４エリア拡張したエリアとする。例えば、図５に示されるように顔エリアが特定された場合には、この顔エリアを囲むように１５×１５の被写体周辺エリア（顔エリアを除く）が特定される。このようにして、被写体周辺エリアを特定すると、被写体周辺エリアの輝度平均値を算出し、これを被写体周辺輝度ｂｖ＿ｎｅａｒとする。
次に、ステップＳＣ７において、顔エリアの面積を求め、当該輝度分布算出処理を終了する。

他方、上記ステップＳＣ３において、顔検出がされなかったと判定された場合には、ステップＳＣ８に進み、被写体までの距離が計測可能か否かを判断する。換言すると、図３のステップＳＢ４においてオートフォーカス可能であったかを判定する。この結果、オートフォーカス可能だった場合には、測距可能であると判断し、ステップＳＣ９に進む。

ステップＳＣ９では、測距時に重視したエリアである測距点を特定し、続くステップＳＣ１０にて測距点近辺の所定の大きさのエリアを測距エリアとして特定し、ステップＳＣ１１にて測距エリアに属するエリアの輝度平均値を算出し、ステップＳＣ１２にて測距エリアの輝度平均値を被写体輝度ｂｖ＿ｏ及び被写体周辺輝度ｂｖ＿ｎｅａｒに設定し、当該輝度分布算出処理を終了する。
ここで、ｂｖ＿ｎｅａｒ＝ｂｖ＿ｏとする理由は、測距点情報によって被写体の位置についてはわかるが、被写体の大きさについては正確な情報が得られないことから、処理上問題のない輝度に設定するためである。図６は、測距点および測距エリアの一例を示した図であり、測距エリアを８×８の分割エリアで構成している。

他方、ステップＳＣ８において測距不可と判断した場合には、ステップＳＣ１３に進む。ステップＳＣ１３では、図７に示されるように撮影エリアの中央に所定の大きさの中央エリアを特定し、中央エリアの輝度平均値を算出する。本実施形態では、中央エリアを１３×１３の分割エリアで構成している。
ステップＳＣ１４では、中央エリアの輝度平均値を被写体輝度ｂｖ＿ｏ及び被写体周辺輝度ｂｖ＿ｎｅａｒに設定し、当該輝度分布算出処理を終了する。

〔第２画像処理〕
次に、上述したように露光が調整されたスチル撮影にて得られた画像信号に対して第２画像処理部（画像処理手段）２７が実施する第２画像処理について説明する。この処理は、図３のステップＳＢ１４において実行される処理である。ここでは、第２画像処理のうち、特に階調変換に関する処理に焦点を当てて主に説明する。
図８は、第２画像処理部２７（図１参照）にて行われる第２画像処理のシーケンスを示した図である。

まず、ステップＳＤ１において、撮影時にストロボ発光したか否かを判断する。この結果、発光していなかった場合にはステップＳＤ２に進む。ステップＳＤ２では、上述した輝度分布算出処理のステップＳＣ２において取得した輝度差Δｂｖが４よりも大きいか否かを判定する。この結果、輝度差Δｂｖが４よりも大きければステップＳＤ３に進む。

ステップＳＤ３では、図３のステップＳＢ６で得られた撮影倍率が１／１０倍よりも大きいか否かを判定する。この結果、撮影倍率が１／１０以下であった場合にはステップＳＤ４に進み、図３の露出演算処理（ステップＳＢ７）で得た撮影時の絞り値のＦＮｏがＦ２よりも小さいか否かを判定する。この結果、ＦＮｏがＦ２よりも大きかった場合にはステップＳＤ５に進み、顔検出がされたか否かを判定する。この結果、顔検出がされていた場合には、ステップＳＤ６に進み、撮影領域の面積に対する顔エリアの面積（図４のステップＳＣ７参照）の割合が３０％よりも大きいか否かを判定する。この結果、３０％を超えていなかった場合にはステップＳＤ７に進む。

ステップＳＤ７では、図９に示される階調変換特性曲線γ４〜γ７の中からいずれか一つを主被写体情報に基づいて選択する。図９において、横軸は階調変換の入力データ或いはＣＣＤの出力に所定処理を施した入力データである。例えば、１２ｂｉｔのデータであれば、０から４０９６の値をとりうる。入力データは撮像面への照射光量に比例する。縦軸は階調変換の出力データであり、選択された階調変換特性曲線にしたがって出力される。本実施形態では、ここでｂｉｔ長の変換も行われており、出力データは８ｂｉｔデータとなるように変換曲線が設定されている。したがって、本実施形態においては、０から２５５の値を取りうる。

階調変換特性曲線の選択は、図３のステップＳＢ７における露光演算において決定したスチル撮影時の露光条件（絞り、シャッタ、感度）のＡＰＥＸ値（ａｖ，ｔｖ，ｓｖ）、図３のステップＳＢ５の輝度分布算出で算出した被写体輝度ｂｖ＿ｏ、被写体周辺輝度ｂｖ＿ｎｅａｒ、及び予め登録されている第１特性選択テーブルに基づいて行われる。

図１０に第１特性選択テーブルの一例を示す。図１０では、撮影領域の面積に対する顔の面積の割合が１５％以上、または、ｂｖ＿ｏ≦ｂｖ＿ｎｅａｒ＋ｔｈ３である場合において、ｂｖ＿ｏ＜ａｖ＋ｔｖ−ｓｖ＋ｔｈ１を満たす場合にγ４を、ａｖ＋ｔｖ−ｓｖ＋ｔｈ１≦ｂｖ＿ｏ≦ａｖ＋ｔｖ−ｓｖ＋ｔｈ２を満たす場合にγ５を、ｂｖ＿ｏ≧ｂｖ＿ｎｅａｒ＋ａｖ＋ｔｖ−ｓｖ＋ｔｈ２を満たす場合にγ６を選択する。また、撮影領域の面積に対する顔の面積の割合が１５％よりも小さく、かつ、ｂｖ＿ｏ＜ｂｖ＿ｎｅａｒ＋ｔｈ３である場合に、γ７を選択する。図１０において、ｔｈ１〜ｔｈ３はそれぞれγ選択のスレッシュ値であり、本実施形態においてはｔｈ１＝１．４、ｔｈ２＝−１．０、ｔｈ３＝−２である。なお、このスレッシュ値ｔｈ１〜ｔｈ３は任意に設定できる値である。

上述したような第１特性選択テーブルを用いることによる効果の例を以下にあげる。本実施の形態では基本の階調変換特性はγ５である。主要被写体の輝度と大きさと露光量との関係から撮影された画像をγ５で諧調変換を行い後続の処理である局所的な階調変換を行ったときの主要被写体の明るさが推定できるので、表示時において主要被写体が暗いと推定できる場合にはγ６を選択することで主要被写体の明るさを増加させ、後続の処理である局所的な階調変換処理による効果が得られる明るさレベルに調整するとともに、周囲輝度とのバランスをとる。また、逆に、主要被写体が明るくなりすぎる推定できる場合にはγ４を選択することで主要被写体の明るさを低減し、後続の処理である局所的な階調変換処理による効果が得られる明るさレベルに調整するとともに、周囲輝度とのバランスをとることができる。

局所的な階調変換でヒストグラム平滑化を行う場合に、初期画像が明るい方が安定した結果を得やすいため、γ４〜γ６は少し持ち上げ気味、つまり局所的な階調変換を行わない場合の階調曲線に比べて明るさが大きくなるような階調曲線となっている。また、主要被写体が小さく、かつ、暗く、主要被写体輝度と周囲輝度との輝度差が大きい場合には、局所的な階調変換処理を行う際に主要被写体と周囲とを含んでヒストグラム平滑化処理が行われてしまうことにより、主要被写体が更に暗くなってしまうことが予想される。このような場合には、主要被写体の明るさをより増加させるγ７を選択する。ここで、本実施形態ではγ７を選択することとしているが、このような条件では局所的な階調変換処理を行わないこととしてもよい。この場合、処理は簡略化されるが局所的な階調変換が行われないために、黒つぶれや白とびが発生しやすくなる。本実施形態によれば、より主要被写体の情報を失わず、黒つぶれや白とびの少ない画像を得ることができ、かつ、主要被写体の明るさを確保でき、自然な画像を得ることが可能となる。

このようにして、γ４〜γ７のいずれかの階調変換特性曲線が選択されると、図８のステップＳＤ８において、選択した階調変換特性曲線を用いた一律な階調変換処理をスチル画像に実施する。γ４〜γ７の階調変換特性曲線は、例えば、ルックアップテーブルとしてＳＤＲＡＭ４１（図１参照）に記憶されている。続くステップＳＤ９では、局所的な階調変換処理を行い、ステップＳＤ１０では階調変換処理に応じた色の補正を行い、その後、当該第２画像処理を終了する。なお、ステップＳＤ９で実施される局所的な階調変換処理の詳細は後述する。

一方、ステップＳＤ１においてストロボ発光があった場合には、ステップＳＤ１１に進み、階調変換特性曲線として図９に示されるγ２を選択し、続くステップＳＤ１３において選択した階調変換特性曲線γ２を用いた一律な階調変換処理を実施し、ステップＳＤ１４において階調変換処理に応じた色の補正を行い、当該第２階調処理を終了する。

また、ステップＳＤ２において「ＮＯ」、ＳＤ３において「ＹＥＳ」、ステップＳＤ４において「ＹＥＳ」、ステップＳＤ６において「ＹＥＳ」の場合には、ステップＳＤ１２に進み、図９に示される階調変換特性曲線γ１〜γ３の中から所定の条件に基づいていずれか一つを選択する。これら階調変換特性曲線γ１〜γ３はルックアップテーブルとしてＳＤＲＡＭ４１（図１参照）に予め記憶されている。
ステップＳＤ１２における階調変換特性曲線の選択は、図４のステップＳＣ２で算出された輝度差Δｂｖと予め登録されている第２特性選択テーブルとを用いて行われる。

図１１にステップＳＤ２での選択時における第２特性選択テーブルの一例を示す。図１１では、輝度差Δｂｖ≦ｂｖｔｈ２のときにγ１を、ｂｖｔｈ２＜Δｂｖ≦ｂｖｔｈ１のときにγ２を、ｂｖｔｈ１＜Δｂｖのときにγ３を選択する。図１１において、ｂｖｔｈ１、ｂｖｔｈ２はそれぞれγ選択のスレッシュ値であり、本実施形態においてはｂｖｔｈ１＝３、ｂｖｔｈ２＝２である。なお、このスレッシュ値ｂｖｔｈ１、ｂｖｔｈ２は任意に設定できる値である。

このようにして、γ１〜γ３のいずれかの階調変換特性曲線が選択されると、ステップＳＤ１３において、選択した階調変換特性曲線を用いた一律な階調変換処理を実施し、ステップＳＤ１４において階調変換処理に応じた色の補正を行い、当該第２画像処理を終了する。

次に、図８のステップＳＤ９において行われる局所的な階調変換処理について図１２を参照して説明する。
まず、ステップＳＥ１において、注目画素を中心とする局所領域、例えば１６×１６画素単位の局所領域を順次抽出する。ステップＳＥ２において、各局所領域のヒストグラムを作成する。ステップＳＥ３において、ヒストグラムを累積、正規化することで階調変換特性曲線を作成する。ステップＳＥ４では、ステップＳＥ３において作成された階調変換特性曲線に基づき、注目画素に対して階調変換処理を行う。ステップＳＥ５において、全画素が完了したかを判断し、完了していない場合はステップＳＥ１に戻り、次の注目画素が素に対して局所領域を抽出し、全ての画素について処理を繰り返す。完了した場合は当該局所的な階調変換処理を終了する。

上述のように、本実施形態に係る第２画像処理では、ストロボが非発光（ステップＳＤ１において「ＮＯ」）、輝度差Δｂｖが大きい被写体（ステップＳＤ２において「ＹＥＳ」）、撮影倍率が高すぎない場合、換言すると、マクロ撮影でない場合（ステップＳＤ３において「ＮＯ」）、絞りが明るすぎない被写体、換言すると、背景ボケ量が大きくない被写体（ステップＳＤ４において「ＮＯ」）、かつ、人の顔が被写体であって撮影領域に対する主要被写体の面積割合が大きい場合には（ステップＳＤ５において「ＹＥＳ」かつ、ステップＳＤ６において「ＮＯ」）、ステップＳＤ８において、準備処理として画像の位置によらない一律の階調変換特性曲線（γ４〜γ７のいずれか）に従って一律の階調変換処理を行った後に、更に、ステップＳＤ９において、撮影画面を局所領域に分割し、局所のヒストグラムが平滑化されるように再度、局所的な階調変換処理を行う。このように、局所的に階調を調整することで、輝度差の大きなシーンであっても極端に白とびとりしたり黒つぶれしたりすることのない自然な諧調の画像を得ることが可能となる。

一方、局所的な階調変換処理を行ってしまうと不都合が生ずる可能性のあるシーン、例えば、１）コントラストの少ない画像で局所のコントラストが若干不自然になり、ムラのように見える可能性がある画像、２）コントラストが強くなることによって、ボケ味が汚くなるおそれのある画像、３）人口光が照射されたような画像等のように、人口光照射による光量ムラが助長されるような画像、４）主要被写体が人の顔であるような場合において、極端なアップの画像等のように、顔のコントラストが不自然になる可能性がある画像、５）主要被写体があるようなシーンにおいて主要被写体が小さく、主要被写体とその周囲との輝度差が大きいような画像等においては、主要被写体と周囲の輝度差がより強調され、不自然な画像となることがある。このように、主要被写体が明るすぎたり、暗すぎたりした場合には局所的な階調変換の効果が十分に得られないことがある。

したがって、本実施形態では、このような局所的な階調変換処理に適していないシーンであるか否かをまずは判定し（図８のステップＳＤ１〜ＳＤ６）、その結果、局所的な階調変換処理に適していないと判定された場合には、局所的な階調変換を行わず、一律な階調変換処理のみを行うこととしている（ステップＳＤ１１〜ＳＤ１４）。これにより、局所的な階調変換による不都合を解消でき、良好な画像を得ることが可能となる。

ここで、上記局所的な階調変換処理に適していない具体的なシーンとしては、例えば、以下のようなシーンがあげられる。
一面の壁など輝度変化の少ない被写体を含む画像のように輝度差の少ないフラットなシーン、マクロ撮影時の背景等のように絞りが明るいシーン、ストロボを発光させて撮影したシーン、アップのポートレートシーン、空などを背にして逆光で主要被写体（例えば、人物）を撮影し、かつ、主要被写体が小さいようなシーン、主要被写体が極端に暗かったり明るかったりするような輝度差の大きいシーン。
また、一律な階調変換処理のみを行う場合においても、シーンに応じて採用する階調変換特性曲線を変化させることにより、シーンに適した階調変換処理を実施することが可能となる。

一方、一律な階調変換処理と局所的な階調変換処理とを行う場合には（ステップＳＤ８〜ＳＤ１０）、一律な階調変換処理に用いられる階調変換特性曲線をシーンに応じて変更することで、周辺との輝度差を減らし、主要被写体の明るさを中間レベル近辺にすることが可能となる。これにより、局所的な階調変換処理の効果を更に高めることができ、主要被写体が適正な明るさでかつ自然な画像を得ることが可能となる。

このように、シーンに応じて一律な階調変換処理のみを行うのか、或いは、一律な階調変換処理と局所的な階調変換処理との両方を行うのかを選択することにより、シーンに応じた適切な階調変換処理を実行することが可能となる。
更に、一律な階調変換処理で採用する階調変換特性曲線を撮影シーンの輝度差、主要被写体と周囲の輝度関係に応じて変更することで、より最適な階調を得ることが可能となる。

以上、説明してきたように、本実施形態に係る撮像装置によれば、局所的な階調変換処理の問題点を考慮し、一律な階調変換処理でも良好な画像が得られるシーンにおいては一律な階調変換処理を行い、また、局所的な階調変換処理で良好な画像が得られるシーンにおいては一律な階調変換処理を行った後に、局所的な階調変換処理を行っている。更に、本実施形態では、各階調変換処理を行う際に、シーンに応じた階調変換特性曲線を選択するので、各シーンに応じた良好な階調の画像を得ることが可能となる。

なお、本実施形態では、ストロボ発光情報、被写体輝度情報、顔検出結果、オートフォーカスに関する情報（主要被写体情報）を用いて、シーン判定を行うこととしたが、シーン判定はこれらのいずれか一つのみを用いてもよく、またこれに限られることなく、例えば公知の露出モードやシーンモード選択可能な撮像装置においては、モード情報を用いることとしてもよい。この場合には、例えば、ボケ量が多いことが予想されるマクロモードやポートレートモード、フラットな部分の多い画像が予想される夜景モードやドキュメントモードにおいては、局所的な階調変換を用いず、また、輝度差の大きいモード、例えば、ビーチ・アンド・スノウ（Ｂｅａｃｈ ａｎｄ Ｓｎｏｗ）モード、記念撮影モードでは局所的な階調変換処理を用いることとしてもよい。このようにモードに応じて局所的な階調変換処理を行うか否かを決めることで、より撮影者の意図に即した画像を得ることが可能となる。

また、本実施形態では、撮像素子のプリ撮影の結果に基づいた被写体輝度分布を用いて階調変換処理を行うこととしたが、これに代えて、本撮影の被写体輝度分布を用いることとしてもよい。この場合、撮影に要する時間は増加するが、より精度のよいデータが得られることとなる。
また、例えば、一眼レフデジタルカメラ等に応用する場合には撮像素子とは別個に用意された、公知の被写体輝度測定用センサ等の出力を上記被写体輝度分布に代えて用いることとしてもよい。

また、上記ストロボ発光情報、被写体輝度情報、顔検出結果、オートフォーカスに関しては、本実施形態に記載されている以外のアルゴリズム等に基づくことも可能である。例えば、顔検出として公知の肌色検出に用顔検出等を行っても良い。
また、本実施形態では、上述した第２画像処理をスチル撮影時にのみ実施しているが、同様にスルー画撮影時の画像に応用しても良い。この場合、撮影者が撮影前に効果を確認できるという効果が得られる。
また、これらの処理を全てハードウエアで構成するようにしても良い。このような構成とすれば処理速度が速くなり、使用感が向上する。また、本実施形態では、階調変換処理を実施後にＹＣ変換等を行っているが、例えば、それらの順番を入れ替えることも可能である。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図を用いて説明する。
上述した第１の実施形態に係る撮像装置１においては、局所的な階調変換処理の問題点を考慮し、撮影シーンに応じて一律な階調変換処理のみを行うか、或いは、一律な階調変換処理と局所的な階調変換処理との両方を行うかを選択するものであった。これに対し、本実施形態では、同一画像に対して一律な階調変換処理のみを行う第１階調変換処理（第１階調変換手段）と、一律な階調変換処理および局所的な階調変換処理の両方を実行する第２階調変換処理（第２階調変換手段）との両方をそれぞれ個別に実施し、処理後の画像を所定の比率でブレンド（合成）処理することとしている。また、撮影シーンに応じて、ブレンドの比率を局所的に変更することにより、より幅広いシーンに対して局所的な階調変換処理を効果的に行うことができる構成とされている。
以下、本実施形態に係る撮像装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１３は、本実施形態に係る第２画像処理の手順を示したフローチャートである。
まず、ステップＳＦ１では、処理前の画像をコピーして第１画像及び第２画像を作成し、メモリに格納する（画像複製手段）。ステップＳＦ２では、第１画像に対して第１階調変換処理を実施する。具体的には、第１画像に対して一律な階調変換処理を実行する。ステップＳＦ３では、第２画像に対して第２階調変換処理を実行する。具体的には、第２画像に対して一律的な階調変換処理を実施し、更に、この画像に対して局所的な階調変換処理を実施する。ステップＳＦ４では、処理後の第１画像と第２画像とのブレンド量（合成比率）とブレンドエリア（合成エリア）を算出する。

ステップＳＦ５では、ステップＳＦ４で求めたブレンド量及びブレンドエリアの情報を用いて処理後の第１画像と第２画像とをブレンドすることで、最終的な階調変換画像を作成し、その後、当該第２画像処理を終了する。
具体的には、ステップＳＦ５では、例えば、ステップＳＦ４において求められたブレンド量がα％であるとすると、このα％と以下の式を用いて各画素値（ｉ，ｊ）を算出する。今、処理済の第１画像のある位置（ｉ，ｊ）にある画素をｋ１（ｉ，ｊ）、処理済の第２画像のある位置（ｉ，ｊ）にある画素をｋ２（ｉ，ｊ）とすると、最終画像の画素ｋ（ｉ，ｊ）は以下の式で得られる。
ｋ（ｉ，ｊ）＝（１−α（ｉ，ｊ）／１００）ｋ１（ｉ，ｊ）＋（α（ｉ，ｊ）／１００）ｋ２（ｉ，ｊ）

次に、図１３のステップＳＦ２で行われる第１階調変換処理について図１４を参照して説明する。
第１階調変換処理では、まず、ステップＳＧ１において、標準的な階調変換特性曲線、本実施形態では、図９に示される階調変換特性γ２を選択し、ステップＳＧ２において選択した階調変換特性γ２を用いて第１画像に対して一律な階調変換処理を実行し、ステップＳＧ３において階調に応じた色補正処理を行い、ステップＳＧ４において変換した画像を処理済の第１画像としてメモリに格納する。なお、上記標準的な階調変換特性曲線に代えて、例えば、図８のステップＳＤ１２で行ったように、第２特性選択テーブルにしたがってγ１〜γ３の中からいずれか一つを選択することとしてもよい。また、図１７の第３特性選択テーブルにしたがってγ１〜γ３を例えば図１６のγ８〜１０のように、全体に若干コントラストが低めの階調曲線に設定するようにしてもよい。この場合、後続のステップにおいて局所的な階調変換処理が実行された画像とブレンドされた場合にコントラストが少し強くなってしまうのを相殺するため、より効果的になる。

次に、図１３のステップＳＦ３で行われる第２階調変換処理について図１５を参照して説明する。
第２階調変換処理では、ステップＳＨ１において一律的な階調変換処理に用いる階調変換特性曲線を選択する。具体的には、図３のステップＳＢ７における露光演算において決定したスチル撮影時の露光条件（絞り、シャッタ、感度）のＡＰＥＸ値（ａｖ，ｔｖ，ｓｖ）、図３のステップＳＢ５の輝度分布算出で算出した被写体輝度ｂｖ＿ｏ、及び予め登録されている第３特性選択テーブルに基づいて、図１６に示される階調変換特性曲線γ８〜γ１０のいずれかを選択する。

図１７に第３特性選択テーブルの一例を示す。図１７では、被写体輝度ｂｖ＿ｏ＜ａｖ＋ｔｖ−ｓｖ＋ｔｈ４を満たす場合にγ８を、ａｖ＋ｔｖ−ｓｖ＋ｔｈ４≦ｂｖ＿ｏ≦ａｖ＋ｔｖ−ｓｖ＋ｔｈ５を満たす場合にγ９を、ｂｖ＿ｏ＞ａｖ＋ｔｖ−ｓｖ＋ｔｈ５を満たす場合にγ１０を選択する。図１７において、ｔｈ４，ｔｈ５はそれぞれγ選択のスレッシュ値である。なお、このスレッシュ値ｔｈ４、ｔｈ５は任意に設定できる値である。
図１６に示される階調変換特性曲線γ８〜γ１０は、主要被写体が画面上で暗い場合には若干明るく修正される階調曲線になっている。

このようにして、γ８〜γ１０のいずれかの階調変換特性曲線が選択されると、続くステップＳＨ２において、ステップＳＨ１で選択したいずれかの階調変換特性曲線を補正するための係数ａを予め登録されている係数作成テーブルに基づいて決定する。図１８に係数作成テーブルの一例を示す。
ここでは、主要被写体の大きさに基づいて図１８に示される関数ｆ１〜ｆ３のいずれかを選択し、主要被写体と周囲の輝度差Δｂｖとから係数ａを演算する。例えば主被写体の面積が撮影領域の面積の５０％以上の場合にはｆ３、主被写体の面積が撮影領域の面積の３０％以下の場合にはｆ１、それ以外の場合にはｆ２を選択する。
係数ａは、被写体の面積が大きいほど小さな値に設定されているとともに、周囲に対する主要被写体の輝度が高いほど大きな値に設定されている。これにより、主要被写体と周囲の輝度差が大きく、かつ、被写体が小さいほどａが大きくなり、明るさを増加させるような特徴を持つ階調変換特性曲線に補正することが可能となる。

このようにして、主要被写体の大きさおよび周囲と主要被写体との輝度差に基づいて係数ａを決定すると、ステップＳＨ３において、この係数ａとステップＳＨ１にて選択した階調変換特性曲線ｆ（ｘ）（γ８〜γ１０のいずれか）を用いて第２画像に対して一律な階調変換処理を実施する。例えば、入力値をｘ、ステップＳＨ１にて選択した階調変換特性曲線をｆ（ｘ）、変換後の出力ｙとすると、ｙ＝ｆ（ｘ）^ａとなるような階調変換処理を第２画像に行う。
顔検出が実施されている場合には被写体の大きさと明るさが精度よく検出されるので、きめ細かな制御ができ、より自然な絵を得ることが可能となる。

ステップＳＨ３では顔検出があるか否かを判定し、顔があると判定された場合には、ステップＳＨ４において撮影領域の面積に対する顔の面積の割合が１％よりも大きく、３０％未満か否かを判定する。この結果、この条件を満たしていた場合には、ステップＳＨ５において、顔エリアの大きさに合わせて予め登録されている局所領域の大きさを変更する。具体的には、局所領域の大きさがデフォルトとしてｍ画素×ｍ画素（ｍ＝撮影エリア横画素数×０．０５）に設定されている場合、顔検出の結果に基づいて以下の式に基づいて局所領域の大きさを決定する。
ｍ＝顔の横の大きさの画素数×０．８
このようにして、局所領域の大きさを変更するとステップＳＨ６に進む。

一方、顔が検出されなかった場合、或いは、顔の面積がステップＳＨ４の条件を満たしていなかった場合には、局所領域の設定を変更することなく、つまりデフォルトのまま、ステップＳＨ６に移行する。
ステップＳＨ６では、局所的な階調変換処理を行い、ステップＳＨ７では階調に応じた色補正処理を行い、その後、処理済みの第２画像をメモリに格納する。

次に、図１３のステップＳＦ４で行われるブレンド量及びブレンド率の算出処理について図１９及び図２０を参照して説明する。
この処理では、スチル撮影時の顔検出結果、被写体の輝度分布情報、オートフォーカスの結果、及びストロボ発光情報等を用いて、シーンに応じた最適なブレンド領域とブレンド量を算出する処理である。

まず、ステップＳＪ１において、撮影時にストロボ発光したかどうかを判断する。この結果、発光していない場合はステップＳＪ２に進み、図３の輝度分布算出処理で得た輝度差Δｂｖが４よりも大きいか否かを判定する。この結果、Δｂｖが４以上の場合にはステップＳＪ３に進む。

ステップＳＪ３では、図３の撮影倍率算出処理で得た撮影倍率が１／１０未満であるか否かを判定する。この結果、撮影倍率≦１／１０の場合にはステップＳＪ４に進む。ステップＳＪ４では、図３の露出演算処理で得た撮影時の絞り値のＦＮｏがＦ２よりも明るいか否かを判定し、明るくなければステップＳＪ５に進む。ステップＳＪ５では、顔検出がされたか否かを判定し、顔検出されていればステップＳＪ６へ、されていなければステップＳＪ７に進む。ステップＳＪ６では、撮影領域の面積に対する顔部分の面積の割合が１％よりも大きく３０％未満であるかを判定し、この条件を満たす場合にはステップＳＪ７に進み、全エリアのブレンド率を一律４０％に設定し、当該処理を終了する。

一方、ステップＳＪ３及びステップＳＪ４のいずれかにおいて条件を満たしていた場合、換言すると、マクロ撮影や、撮影ＦＮｏが明るい場合のように、ボケ量が多いと推定されるようなシーンの画像の場合には、ステップＳＪ８に進み、オートフォーカスの結果に基づいて、撮影エリアの被写体距離分布情報を算出する。オートフォーカスでは撮影エリア横１５分割縦１０分割の各分割エリアの被写体距離を算出し、被写体距離分布情報として格納する。次に、全てのエリアにおける距離情報をＡＰＥＸの単位にするために、以下の式に基づいて、距離に関するＡＰＥＸ量ｄｖを計算する。横ｉ番目縦ｊ番目のＡＦエリアの距離をｍ（ｉ，ｊ）、このＡＰＥＸ変換値をｄｖ（ｉ，ｊ）とすると、ｄｖ（ｉ，ｊ）は以下の式にて得られる。
ｄｖ（ｉ，ｊ）＝ｌｏｇ２（ｍ（ｉ，ｊ）^２）
これにより、例えば、図２１のような画像については、図２２に示されるようなデータが得られる。

ステップＳＪ９では、オートフォーカスで最終駆動終了時のレンズ位置情報をもとに算出した合焦撮影距離ｄｖ＿ｌｅｎｓについて以下の式を用いて同様に換算する。
ｄｖ＿ｌｅｎｓ＝ｌｏｇ２（Ｌ^２）
ここで、Ｌは撮影距離である。

ステップＳＪ１０では、ステップＳＪ８，ＳＪ９の情報を元にボケエリアを抽出する。ボケエリアの判定は以下の式を用いる。以下の条件を満たすエリアは全てボケエリアとなる。
｜ｄｖ（ｉ，ｊ）−ｄｖ＿ｌｅｎｓ｜＞０．５
例えば、図２０に示されるようなシーンの画像撮影時において、合焦撮影距離ｄｖ＿ｌｅｎｓ＝−２．２であった場合には、図２２においてメッシュが施されていないエリアがボケエリアとなる。
続くステップＳＪ１１では、被写体エリアとして上記のボケエリア以外のエリアを設定する。例えば、図２２のメッシュエリアが被写体エリアとして設定される。

ステップＳＪ１２では、被写体周辺エリアを抽出する。被写体周辺エリアはＡＦエリアのエリア分割において被写体エリアに接しているエリアを周囲エリアとして設定する。そして、ステップＳＪ１３では、ステップＳＪ１１，ＳＪ１２で選択したエリア以外のエリアをボケエリアとして設定する。
このようにして、被写体エリア、被写体周辺エリア、それ以外のエリア（ボケエリア）が設定されると、各エリアのブレンド率をそれぞれ設定する。本実施形態では、
被写体エリアのブレンド率α１＝３０％
被写体周辺エリアのブレンド率α２＝１５％
被写体以外のエリアのブレンド率α３＝０％
に設定する。

これにより、例えば、図２１に示されるシーンであれば図２４のようにブレンド率が画像の各局所においてそれぞれ設定される。ここで、上述のように周囲エリアを用いている理由はブレンド率が急激に変化すると画像が不自然になるためである。ここでは、ＡＦエリアのエリア分割において、被写体エリアに接しているエリアのみを周囲エリアとしているが、コントラストの急激な変動を避けるために複数の周囲エリアを用意し、段階的にブレンド率を変更したり、所定の関数にしたがって変化するようにしたりしてもよい。また、被写体エリアとして上記のボケエリア以外のエリアを設定することも可能である。例えば、図２３に示されるメッシュエリアを被写体エリアとしてもよい。

図１９に戻り、主要被写体が人の顔であるような画像で、かつ、顔の大きさが所定範囲内であるような画像の場合には（ステップＳＪ５、ＳＪ６において「ＹＥＳ」）、図２０のステップＳＪ１７に進む。ステップＳＪ１７では、顔検出の結果に基づいて顔エリアの領域を被写体領域に設定する。図２５では、例えば、被写体領域が３×４の場合を示している。ステップＳＪ１８では、被写体周辺エリアを抽出する。被写体周辺エリアは、ＡＦエリアのエリア分割において被写体エリアに接しているエリア、並びにそのエリアに接しているエリアとされる。図２５の画像の場合、被写体周辺エリアは図２６に示されるように設定される。

ステップＳＪ１９では、ステップＳＪ１７，１８で設定されたエリア以外のエリアをボケエリアとして設定する。ステップＳＪ２０では被写体エリアのブレンド率α１を４０％に設定し、ステップＳＪ２１では被写体エリアのブレンド率α２を２０％に設定し、ステップＳＪ２２では被写体エリアのブレンド率α３を１０％に設定し、当該処理を終了する。これによりたとえば図２７のように、画像の局所によってブレンド率が変化するように設定される。

また、被写体輝度差が少ない場合（図１９のステップＳＪ２において「ＹＥＳ」）の場合、並びに、輝度差Δｄｖが４よりも小さかった場合には、ステップＳＪ２３に進み、全エリアのブレンド率αを１０％に設定し、当該処理を終了する。

以上説明してきたように、本実施形態に係る撮像装置によれば、同一画像を複製することにより第１画像及び第２画像を作成し、第１画像に対して一律な階調変換処理を行う第１階調変換処理を実行するとともに、第２画像に対して一律な階調変換処理及び局所的な階調変換処理２を実行する。この場合において、各階調変換処理が実施された第１画像及び第２画像は、画像のシーンに応じた比率でブレンド処理されるので、撮影シーンに応じた最適なブレンド比率の画像を得ることが可能となる。

さらに、撮影シーンや主要被写体情報に基づいてブレンドの比率を局所的に変更することにより、より幅広いシーンに対して、局所的な階調変換処理を効果的に行うことが可能となる。例えば、背景がボケているような画像や、主要被写体が人の顔である場合であっても、局所的な階調変換処理の効果を得ることができる。
また、局所的な階調変換処理を実施する処理エリアの大きさをシーンに応じて変更することにより、よりシーンに適合した処理が可能となる。例えば、主要被写体が人で、顔の周辺の輝度差が大きく、一律なエリアでの局所的な階調平滑化では効果が少ないような画面であっても効果を得ることができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態に係る撮像装置の全体概略構成を示した図である。 表示シーケンスを示した図である。 スチル撮影のシーケンスを示した図である。 輝度分布算出処理のシーケンスを示した図である。 被写体が顔である場合の顔エリアおよび被写体周辺エリアを説明するための図である。 被写体が顔以外であり、測距可能であった場合の測距エリアおよび被写体周辺エリアを説明するための図である。 被写体が顔以外であり、測距不可能であった場合の中央エリアおよび被写体周辺エリアを説明するための図である。 第２画像処理のシーケンスを示した図である。 階調変換特性曲線の一例を示した図である。 第１特性選択テーブルの一例を示した図である。 第２特性選択テーブルの一例を示した図である。 局所的な階調変換処理のシーケンスを示した図である。 本発明の第２の実施形態に係る第２画像処理のシーケンスを示した図である。 本発明の第２実施形態に係る第１階調変換処理のシーケンスを示した図である。 本発明の第２実施形態に係る第２階調変換処理のシーケンスを示した図である。 本発明の第２の実施形態に係る階調変換特性曲線の一例を示した図である。 第３特性選択テーブルの一例を示した図である。 係数作成テーブルの一例を示した図である。 ブレンド量及びブレンド率の算出処理のシーケンスを示した図である。 ブレンド量及びブレンド率の算出処理のシーケンスを示した図である。 顔検出がされない場合の画像の一例を示した図である。 図２１に示されたシーンにおけるＡＰＥＸ変換値を示した図である。 図２１に示されたシーンにおける中央エリアと撮影エリアとを示した図である。 図２１に示されたシーンにおけるブレンド率を示した図である。 主要被写体が人物である場合の画像の一例を示した図である。 図２５に示されたシーンにおける顔エリアと周囲エリアとを示した図である。 図２５に示されたシーンにおけるブレンド率を示した図である。

符号の説明

１ 撮像装置
２ 撮像部
３ 画像処理装置
１０ レンズ
１１ シャッタ
１２ ＣＣＤ
１３ ＣＣＤ制御部
１４ レンズ駆動部
１５ ストロボ
２０ 撮影制御部
２１ ＣＣＤインターフェイス
２２ システムコントローラ
２３ 輝度算出部
２４ ＡＦ演算部
２５ 第１画像処理部
２６ 顔検出部
２７ 第２画像処理部
２８ 第３画像処理部
３０ データバス
４１ ＳＤＲＡＭ
４２ フラッシュメモリ
４３ 記録媒体
４７ 操作部
４６ 表示モニタ

Claims (9)

1. 画像信号中の主要被写体を検出する主要被写体検出手段と、
   前記主要被写体にかかわる主要被写体情報として、少なくとも前記主要被写体の前記画像信号中の大きさ、前記主要被写体の明るさ及び前記主要被写体の明るさと前記主要被写体の周囲の明るさとの差分の情報を取得する主要被写体情報取得手段と、
   前記画像信号の注目画素に対して、前記主要被写体情報に基づいて選択される階調変換特性曲線を用いて一律な階調変換処理を行うとともに、前記一律な階調変換処理後の前記画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行う画像処理手段と、
   を具備し、
   前記画像処理手段は、前記主要被写体情報として主要被写体の前記画像信号中の大きさが所定の閾値よりも小さく、前記主要被写体の明るさが周囲の明るさよりも暗く、前記主要被写体の明るさと前記主要被写体の周囲の明るさとの差分が所定の閾値よりも大きい場合、他の場合に比べて主要被写体の明るさをより増加させるような階調変換特性曲線により階調変換処理を行うことを特徴とする画像信号処理装置。
2. 前記主要被写体検出手段は顔検出手段を含む請求項１に記載の画像信号処理装置。
3. 前記主要被写体情報は露光の目標とする明るさレベルと主要被写体の明るさレベルとの差分を含む請求項１又は請求項２に記載の画像信号処理装置。
4. 画像信号中の主要被写体を検出する主要被写体検出手段と、
   前記主要被写体にかかわる主要被写体情報を取得する主要被写体情報取得手段と、
   前記画像信号の注目画素に対して、前記主要被写体情報に基づいて選択される階調変換特性曲線を用いて一律な階調変換処理を行うとともに、前記一律な階調変換処理後の前記画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行う画像処理手段と、
   を具備し、
   前記画像処理手段は、
   前記被写体の前記画像信号中の大きさが所定の閾値よりも大きい場合には、前記画像信号の注目画素に対して、所定の階調変換特性曲線を用いた一律な階調変換処理を実行した後、該画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行なわず、前記被写体の前記画像信号中の大きさが所定の閾値よりも小さい場合には、前記画像信号の注目画素に対して、前記主要被写体情報に基づいて選択されるとともに前記所定の階調変換特性曲線とは異なる階調変換特性曲線を用いて一律な階調変換処理を行うとともに、処理後の該画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行うことを特徴とする画像信号処理装置。
5. 前記画像処理手段は、
   前記画像信号を複製することにより第１画像と第２画像とを作成する画像複製手段と、
   前記第１画像に対して一律な階調変換処理を実行する第一階調処理手段と、
   前記第２画像に対して一律な階調変換処理及び局所的な階調変換処理を実行する第二階調処理手段と、
   階調変換処理後の第１画像と階調変換処理後の第２画像とを合成する合成手段と
   を備え、
   前記第１画像と前記第２画像との合成比率及び合成対象エリアの少なくともいずれか一方が、前記画像信号の撮影時のストロボ発光の有無、撮影倍率、絞り値、及び前記主要被写体の前記画像信号中の大きさの少なくとも一つに基づいて決定される請求項１から請求項３のいずれかに記載の画像信号処理装置。
6. 前記主要被写体情報は、被写体までの距離及び撮影倍率の少なくともいずれか一方を含んでいる請求項５に記載の画像信号処理装置。
7. 請求項１から請求項６のいずれかに記載の画像信号処理装置を備える撮像装置。
8. 画像信号中の主要被写体を検出する主要被写体検出ステップと、
   前記主要被写体にかかわる主要被写体情報として、少なくとも前記主要被写体の前記画像信号中の大きさ、前記主要被写体の明るさ及び前記主要被写体の明るさと前記主要被写体の周囲の明るさとの差分の情報を取得する主要被写体情報取得ステップと、
   前記画像信号の注目画素に対して、前記主要被写体情報に基づいて選択される階調変換特性曲線を用いて一律な階調変換処理を行うとともに、前記一律な階調変換処理後の前記画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行う画像処理ステップと、
   を具備し、
   前記画像処理ステップは、前記主要被写体情報として主要被写体の前記画像信号中の大きさが所定の閾値よりも小さく、前記主要被写体の明るさが周囲の明るさよりも暗く、前記主要被写体の明るさと前記主要被写体の周囲の明るさとの差分が所定の閾値よりも大きい場合、他の場合に比べて主要被写体の明るさをより増加させるような階調変換特性曲線により階調変換処理を行うことを特徴とする画像信号処理方法。
9. 画像信号中の主要被写体を検出する主要被写体検出ステップと、
   前記主要被写体にかかわる主要被写体情報を取得する主要被写体情報取得ステップと、
   前記画像信号の注目画素に対して、前記主要被写体情報に基づいて選択される階調変換特性曲線を用いて一律な階調変換処理を行うとともに、前記一律な階調変換処理後の前記画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行う画像処理ステップと、
   を具備し、
   前記画像処理ステップは、
   前記被写体の前記画像信号中の大きさが所定の閾値よりも大きい場合には、前記画像信号の注目画素に対して、所定の階調変換特性曲線を用いた一律な階調変換処理を実行した後、該画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行なわず、前記被写体の前記画像信号中の大きさが所定の閾値よりも小さい場合には、前記画像信号の注目画素に対して、前記主要被写体情報に基づいて選択されるとともに前記所定の階調変換特性曲線とは異なる階調変換特性曲線を用いて一律な階調変換処理を行うとともに、処理後の該画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行うことを特徴とする画像信号処理方法。

Images