JP4853414B2 - 撮像装置、画像処理装置およびプログラム - Google Patents

Description

本発明は、撮影画像に関する画像処理技術に関する。

撮影画像中から人物を検出し当該人物が適正な明るさとなるように当該撮影画像の明るさを調整することが可能な撮像装置が存在する。例えば、特許文献１においては、人物の肌色領域を検出し、当該人物の肌色領域を適正露出とするように露出を調整することが示されている（特許文献１参照）。

特開平４−１５０６９２号公報

しかしながら、このような技術では、様々な肌色領域が存在する場合において、人物の肌色領域を適正な明るさで表現できない、という問題が存在する。

例えば、順光撮影において手前の人物が明るく且つ背景のレンガ建造物が比較的暗い場合に、手前の人物の顔部分に加えて背景のレンガの色も肌色と認識されることがある。そして、レンガが人物よりも暗いときには、人物の肌色領域とレンガの肌色領域との両方を含む肌色領域の輝度値の平均値は、人物の肌色領域のみの平均値よりも小さく（暗く）なる。そして、このような暗い領域を適正な輝度にするためには、輝度を必要以上に大きくする補正が行われることになる。そのため、人物の肌色領域は、必要以上に明るくなるように補正され、状況によっては白飛びを生じてしまうこともある、という問題が存在する。

また、逆光の場合には、逆の現象、すなわち、人物の肌色領域が十分な明るさを有する状態に補正されないという問題が存在する。詳細には、例えば、海岸の砂浜を背景にして人物を逆光で撮影する場合において、人物の肌色に加えて背景の砂浜も肌色と認識されることがある。このとき、両方の肌色の輝度値の平均値は、人物の肌色のみの平均値よりも大きく（明るく）なる。そして、この場合には、画像の明るさ補正において本来必要な程度よりも小さな程度しか明るさが増大されないか、或いは明るさを抑える補正（明るさを低減する補正）が施されるため、人物の顔は比較的暗く表現されてしまう、という問題が存在する。

そこで、この発明は、人物の肌色領域を適正な明るさに補正することが可能な撮像装置、画像処理装置およびそれらに関連する技術を提供することを課題とする。

本発明の第１の側面は、撮影画像が順光画像であるか逆光画像であるかを判定する判定手段と、前記撮影画像における複数のＡＦエリアのうち、デフォーカス量が所定値よりも小さなＡＦエリア周辺の肌色領域を検出する検出手段と、前記撮影画像が順光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、高輝度域に対する重み付けを低輝度域に対する重み付けよりも大きくし、前記肌色領域に関する修正前の平均輝度よりも大きくなるように前記肌色領域に関する輝度を修正した修正輝度を算出すると共に、前記撮影画像が逆光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、前記高輝度域に対する重み付けを前記低輝度域に対する重み付けよりも小さくし、前記肌色領域に関する修正前の平均輝度よりも小さくなるように前記修正輝度を算出する算出手段と、前記撮影画像が順光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも小さい補正量で前記撮影画像の明るさを補正すると共に、前記撮影画像が逆光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも大きい補正量で前記撮影画像の明るさを補正する補正手段とを備える撮像装置である。

本発明の第２の側面は、撮影画像が順光画像であるか否かを判定する判定手段と、前記撮影画像中の肌色領域を検出する検出手段と、前記撮影画像が順光画像であると判定される場合には、前記肌色領域のうち比較的高輝度の高輝度領域が比較的低輝度の低輝度領域よりも適正輝度に近づくように前記撮影画像の明るさを補正する補正手段とを備える撮像装置である。

本発明の第３の側面は、撮影画像が逆光画像であるか否かを判定する判定手段と、前記撮影画像中の肌色領域を検出する検出手段と、前記撮影画像が逆光画像であると判定される場合には、前記肌色領域のうち比較的低輝度の低輝度領域が比較的高輝度の高輝度領域よりも適正輝度に近づくように前記撮影画像の明るさを補正する補正手段とを備える撮像装置である。

本発明の第４の側面は、撮影画像が順光画像であるか逆光画像であるかを判定する判定手段と、前記撮影画像における複数のＡＦエリアのうち、デフォーカス量が所定値よりも小さなＡＦエリア周辺の肌色領域を検出する検出手段と、前記撮影画像が順光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、高輝度域に対する重み付けを低輝度域に対する重み付けよりも大きくし、前記肌色領域に関する修正前の平均輝度よりも大きくなるように前記肌色領域に関する輝度を修正した修正輝度を算出すると共に、前記撮影画像が逆光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、前記高輝度域に対する重み付けを前記低輝度域に対する重み付けよりも小さくし、前記肌色領域に関する修正前の平均輝度よりも小さくなるように前記修正輝度を算出する算出手段と、前記撮影画像が順光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも小さい補正量で前記撮影画像の明るさを補正すると共に、前記撮影画像が逆光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも大きい補正量で前記撮影画像の明るさを補正する補正手段とを備える画像処理装置である。

本発明の第５の側面は、撮影画像が順光画像であるか否かを判定する判定手段と、前記撮影画像中の肌色領域を検出する検出手段と、前記撮影画像が順光画像であると判定される場合には、前記肌色領域のうち比較的高輝度の高輝度領域が比較的低輝度の低輝度領域よりも適正輝度に近づくように前記撮影画像の明るさを補正する補正手段とを備える画像処理装置である。

本発明の第６の側面は、撮影画像が逆光画像であるか否かを判定する判定手段と、前記撮影画像中の肌色領域を検出する検出手段と、前記撮影画像が逆光画像であると判定される場合には、前記肌色領域のうち比較的低輝度の低輝度領域が比較的高輝度の高輝度領域よりも適正輝度に近づくように前記撮影画像の明るさを補正する補正手段とを備える画像処理装置である。

本発明の第７の側面は、コンピュータに、a)撮影画像が順光画像であるか逆光画像であるかを判定する手順と、b)前記撮影画像における複数のＡＦエリアのうち、デフォーカス量が所定値よりも小さなＡＦエリア周辺の肌色領域を検出する手順と、c)前記撮影画像が順光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、高輝度域に対する重み付けを低輝度域に対する重み付けよりも大きくし、前記肌色領域に関する修正前の平均輝度よりも大きくなるように前記肌色領域に関する輝度を修正した修正輝度を算出すると共に、前記撮影画像が逆光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、前記高輝度域に対する重み付けを前記低輝度域に対する重み付けよりも小さくし、前記肌色領域に関する修正前の平均輝度よりも小さくなるように前記修正輝度を算出する手順と、d)前記撮影画像が順光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも小さい補正量で前記撮影画像の明るさを補正すると共に、前記撮影画像が逆光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも大きい補正量で前記撮影画像の明るさを補正する手順とを実行させるためのプログラムである。

本発明の第８の側面は、コンピュータに、a)撮影画像が順光画像であるか否かを判定する手順と、b)前記撮影画像中の肌色領域を検出する手順と、c)前記撮影画像が順光画像であると判定される場合には、前記肌色領域のうち比較的高輝度の高輝度領域が比較的低輝度の低輝度領域よりも適正輝度に近づくように前記撮影画像の明るさを補正する手順とを実行させるためのプログラムである。

本発明の第９の側面は、コンピュータに、a)撮影画像が逆光画像であるか否かを判定する手順と、b)前記撮影画像中の肌色領域を検出する手順と、c)前記撮影画像が逆光画像であると判定される場合には、前記肌色領域のうち比較的低輝度の低輝度領域が比較的高輝度の高輝度領域よりも適正輝度に近づくように前記撮影画像の明るさを補正する手順とを実行させるためのプログラムである。

本発明によれば、人物の肌色領域を適正な明るさに補正することが可能である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１−１．構成概要＞
図１および図２は、本発明の第１実施形態に係る撮像装置１（１Ａ）の外観構成を示す図である。ここで、図１は、撮像装置１の正面外観図であり、図２は、撮像装置１の背面外観図である。この撮像装置１は、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。なお、撮像装置１は、後述のような画像処理を実行する画像処理装置であるとも表現される。

図１に示すように、撮像装置１は、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能である。

撮影レンズユニット３は、主として、鏡胴３６、ならびに、鏡胴３６の内部に設けられるレンズ群３７（図３参照）及び絞り等によって構成される。レンズ群３７（撮影光学系）には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。

また、カメラ本体部２は、その正面左上部にモード設定ダイヤル８２を備え、その正面右上部に制御値設定ダイヤル８６を備えている。モード設定ダイヤル８２を操作することによれば、カメラの各種モード（各種撮影モード（人物撮影モード、風景撮影モード、およびフルオート撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことが可能である。また、制御値設定ダイヤル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。

また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えばリチウムイオン電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード９０（図３参照）が着脱可能に収納される。

レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）との２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子５（後述）を用いて被写体像（被写体の光像）に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。

図２において、カメラ本体部２の背面略中央上部には、ファインダ窓（接眼窓）１０が設けられている。撮影者は、ファインダ窓１０を覗くことによって、撮影レンズユニット３から導かれた被写体の光像を視認して構図決定を行うことができる。すなわち、光学ファインダを用いて構図決めを行うことが可能である。

図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。背面モニタ１２は、撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード９０に記録された撮影画像を再生表示したりすることができる。

背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。

背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とを、それぞれ検出できるように構成されている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出できる。

背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。

＜１−２．機能ブロック＞
つぎに、図３を参照しながら、撮像装置１の機能の概要について説明する。図３は、撮像装置１の機能構成を示すブロック図である。

図３に示すように、撮像装置１は、操作部８０、全体制御部１０１、フォーカス制御部１２１、ミラー制御部１２２、シャッタ制御部１２３、タイミング制御回路１２４、およびデジタル信号処理回路５０等を備える。

操作部８０は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部８０に対するユーザーの入力操作に応答して、全体制御部１０１が各種動作を実現する。

全体制御部１０１は、マイクロコンピュータとして構成され、主にＣＰＵ、メモリ、及びＲＯＭ等を備える。全体制御部１０１は、ＲＯＭ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種の機能を実現する。

例えば、全体制御部１０１は、判定部２１と算出部２２と補正制御部２３とを含む各処理部を実現する。判定部２１は、撮影画像が順光画像であるか逆光画像であるかを判定する。算出部２２は、判定部２１の判定結果に応じて、肌色領域に関する輝度ヒストグラムにおける比較的高輝度の区域（高輝度域）に含まれる画素の輝度と比較的低輝度の区域（低輝度域）に含まれる画素の輝度とに対する重み付けを設定し、当該重み付けに基づいて、肌色領域に関する輝度を修正した「修正輝度」を算出する。また、補正制御部２３は、γ補正回路５５等を用いて、「修正輝度」に基づき撮影画像の明るさを補正する。全体制御部１０１は、これらの処理部を用いて、後述するような肌色部分の検出動作および当該検出結果に基づく輝度調整動作等を実現する。

また、全体制御部１０１は、ＡＦモジュール２０およびフォーカス制御部１２１等と協動して、フォーカスレンズの位置を制御する合焦制御動作を行う。全体制御部１０１は、ＡＦモジュール２０によって検出される被写体の合焦状態に応じて、フォーカス制御部１２１を用いてＡＦ動作を実現する。なお、ＡＦモジュール２０は、ミラー機構６を介して進入してきた光を用いて、位相差方式等の合焦状態検出手法により被写体の合焦状態を検出することが可能である。

フォーカス制御部１２１は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ１を駆動することによって、撮影レンズユニット３のレンズ群３７に含まれるフォーカスレンズを移動する。また、フォーカスレンズの位置は、撮影レンズユニット３のレンズ位置検出部３９によって検出され、フォーカスレンズの位置を示すデータが全体制御部１０１に送られる。このように、フォーカス制御部１２１および全体制御部１０１等は、フォーカスレンズの光軸方向の動きを制御する。

ミラー制御部１２２は、ミラー機構６が光路から退避した状態（ミラーアップ状態）とミラー機構６が光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。ミラー制御部１２２は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ２を駆動することによって、ミラーアップ状態とミラーダウン状態とを切り替える。

シャッタ制御部１２３は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ３を駆動することによって、シャッタ４の開閉を制御する。

タイミング制御回路１２４は、撮像素子５等に対するタイミング制御を行う。

撮像素子（ここではＣＣＤセンサ（単にＣＣＤとも称する））５は、光電変換作用により被写体の光像を電気的信号に変換して、本撮影画像に係る画像信号（記録用の画像信号）を生成する。撮像素子５は、記録画像取得用の撮像素子であるとも表現される。

撮像素子５は、タイミング制御回路１２４から入力される駆動制御信号（蓄積開始信号および蓄積終了信号）に応答して、受光面に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。また、撮像素子５は、タイミング制御回路１２４から入力される読出制御信号に応答して、当該画像信号を信号処理部５１へ出力する。また、タイミング制御回路１２４からのタイミング信号（同期信号）は、信号処理部５１及びＡ／Ｄ（アナログ／デジタル）変換回路５２にも入力される。

撮像素子５で取得された画像信号は、信号処理部５１において所定のアナログ信号処理が施され、当該アナログ信号処理後の画像信号はＡ／Ｄ変換回路５２によってデジタル画像データ（画像データ）に変換される。この画像データは、デジタル信号処理回路５０に入力される。

デジタル信号処理回路５０は、Ａ／Ｄ変換回路５２から入力される画像データに対してデジタル信号処理を行い、撮像画像に係る画像データを生成する。デジタル信号処理回路５０は、黒レベル補正回路５３、ホワイトバランス（ＷＢ）回路５４、γ補正回路５５及び画像メモリ５６を備える。

黒レベル補正回路５３は、Ａ／Ｄ変換回路５２が出力した画像データを構成する各画素データの黒レベルを基準の黒レベルに補正する。ＷＢ回路５４は、画像のホワイトバランス調整を行う。γ補正回路５５は、撮像画像の階調変換を行う。画像メモリ５６は、生成された画像データを一時的に記憶するための、高速アクセス可能な画像メモリであり、複数フレーム分の画像データを記憶可能な容量を有する。

本撮影時には、画像メモリ５６に一時記憶される画像データは、全体制御部１０１において適宜画像処理（圧縮処理等を含む）が施された後、カードＩ／Ｆ１３２を介してメモリカード９０に記憶される。

また、画像メモリ５６に一時記憶される画像データは、全体制御部１０１によって適宜ＶＲＡＭ１３１に転送され、背面モニタ１２に画像データに基づく画像が表示される。これによって、撮影画像を確認するための確認表示（アフタービュー）、および撮影済みの画像を再生する再生表示等が実現される。

＜１−３．撮影動作＞
図４を参照しながら、撮像装置１の動作について説明する。図４は、撮像装置１の撮影動作直後における動作を示すフローチャートである。

レリーズボタン１１が全押し状態Ｓ２にまで押下されて撮影指令が付与されると、撮像装置１は、シャッタ４を所定の露光時間にわたって開放し、被写体に関する画像データを撮像素子５を用いて取得する。そして、撮像装置１は、当該画像データに対して次述するような輝度調整処理等を施す。この結果、輝度調整動作等が施された画像データが、本撮影画像として生成され、メモリカード９０に記録される。以下では、撮像素子５により取得された露光画像（画像データ）が画像メモリ５６に一時的に読み出された状態からメモリカード９０に記録されるまでの動作について、輝度調整動作に関連する動作を中心に説明する。

ここでは、図５に示されるような画像Ｇ１、具体的には、順光状態において、手前の人物が明るく且つ背景のレンガ建造物が比較的暗い画像Ｇ１を撮影している状況を想定する
まず、ステップＳＰ１においては、撮影画像Ｇ１が順光状態で撮影された画像（「順光画像」とも称する）であるか否か、および、当該撮影画像Ｇ１が逆光状態で撮影された画像（「逆光画像」とも称する）であるか否かが判定される。

詳細には、図６に示すように、撮影画像Ｇ１を縦方向および横方向にそれぞれ３等分にし、合計９個の領域Ｒ１１〜Ｒ１９に区分する。そして、各領域Ｒ１１〜Ｒ１９の明るさをそれぞれ求め、その分布パターンによって、当該撮影画像Ｇ１が順光画像であるか否かおよび逆光画像であるか否かが求められる。例えば、撮影画像Ｇ１において上側の３つの領域Ｒ１１〜Ｒ１３と右側の領域Ｒ１６，Ｒ１９との合計５つの領域が比較的暗く、且つ、その他の領域Ｒ１４，Ｒ１５，Ｒ１７，Ｒ１８のいずれか１つの領域が比較的明るいときには、当該撮影画像Ｇ１は順光画像であると判定される。また、逆に、撮影画像Ｇ１において上側の３つの領域Ｒ１１〜Ｒ１３と右側の領域Ｒ１６，Ｒ１９との合計５つの領域が比較的明るく、且つ、その他の領域Ｒ１４，Ｒ１５，Ｒ１７，Ｒ１８のいずれか１つの領域が比較的暗いときには、当該撮影画像Ｇ１は逆光画像であると判定される。

ステップＳＰ１においては、さらに、順光度合い又は逆光度合いを求めておくことが好ましい。具体的には、最も明るい領域の平均輝度と最も暗い領域の平均輝度との差（詳細は当該差の絶対値）を、順光度合い又は逆光度合いを示す指標値として定めることができる。例えば、両平均輝度の差が大きくなるにつれて、当該指標値が大きくなり、順光度合い（または逆光度合い）が大きくなるものとして求めればよい。

次のステップＳＰ２〜ＳＰ７では、撮像装置１の複数のＡＦエリアＦＲｉ（ここでは４個のＡＦエリアＦＲ１〜ＦＲ４）のうち、画像Ｇ１の撮影時におけるデフォーカス量が所定の閾値よりも小さいＡＦエリアが選択される。そして、当該選択されたＡＦエリア付近のブロックＢｊ（後述）についてのみ肌色領域の検出処理等が実行される。

これによれば、画面全体のうち、合焦状態に近いＡＦエリア付近の画像情報が輝度調整動作に利用される。例えば、図５の画像Ｇ１に関しては、単一のＡＦエリアＦＲ３（図８）付近の画像情報、あるいは、３つのＡＦエリアＦＲ１〜ＦＲ３付近の画像情報等、が利用される。主要被写体としての人物は合焦状態にされて撮影されることが多いため、合焦状態に近いＡＦエリア付近の画像情報を用いることによれば人物を正確に抽出することが可能である。

詳細には、まずステップＳＰ２において、ＡＦモジュール２０に設けられた複数のＡＦエリアＦＲｉにおけるデフォーカス量（フォーカスレンズ位置に関する合焦位置からのずれ量）がそれぞれ求められる。そして、ステップＳＰ３において、複数のＡＦエリアＦＲｉのうち、そのデフォーカス量が所定の閾値よりも小さいＡＦエリアであることが判定されると、ステップＳＰ４〜ＳＰ６の処理に進む。それ以外の場合には、当該ＡＦエリアについてはステップＳＰ４〜ＳＰ６の処理を実行することなく、次のＡＦエリアに関する判定処理を実行する。

ステップＳＰ４においては、ＡＦエリアＦＲｉの周辺の肌色ブロックが検出される。

図７は、画像Ｇ１における複数のブロックＢｊを示す図である。画面Ｇ１は、横方向に４０個および縦方向に３０個に区分され、合計１２００個の小領域（ブロックＢｊ）に区分されている。

まず、これら１２００個のブロックＢｊのうち、ＡＦエリアＦＲｉの周辺のブロックが処理対象のブロックとして選択される。例えば、図８に示すように、ＡＦエリアＦＲ３の周辺に存在する複数のブロック（横方向に６個および縦方向に１０個配置された６０個のブロック）が選択される。

そして、選択された６０個のブロックＢｊのうち、その色が肌色に分類されるブロック（「肌色ブロック」とも称する）をさらに抽出する。具体的には、まず、当該ブロックＢｊ内の各画素のＲＧＢ成分の画素値を輝度値Ｙと色成分Ｃｒ，Ｃｂとに変換する。そして、当該ブロックＢｊ内の各画素の変換後の色成分Ｃｒ，Ｃｂが、図９に示すように、Ｃｒ−Ｃｂ空間において肌色を表す所定の範囲（肌色エリア）内に存在すると当該画素は肌色画素であると判定される。さらに、或るブロックＢｊにおいて、このような肌色画素が所定の割合（例えば８割）を超えると、当該ブロックＢｊが肌色ブロックであると判定される。ただし、これに限定されず、ブロックＢｊ内の１つ又は複数の代表画素の色によって当該ブロックＢｊの色を決定するようにしてもよい。

このようにして肌色ブロックＢｊが抽出されるとステップＳＰ５からステップＳＰ６に進む。一方、肌色ブロックＢｊが全く抽出されなかった場合には、ステップＳＰ５からステップＳＰ７に進む。

ステップＳＰ６では、肌色ブロックＢｊに関する輝度ヒストグラムが生成される。詳細には、肌色ブロックＢｊ内の複数の画素のそれぞれについての輝度に基づいて、輝度値Ｙのヒストグラム（度数分布）が求められる。

例えば、図５のような画像Ｇ１を撮影する場合には、人物の明るい肌色部分に対応するブロックＢｊに加えて、背景のレンガ部分に対応するブロックＢｊも「肌色ブロック」であると判定される。図１０は、このような場合における輝度値Ｙのヒストグラムの曲線Ｃ１を示す図である。図１０に示すように、このヒストグラム曲線Ｃ１においては２つのピークＰＫ１，ＰＫ２が現れている。比較的明るい部分のピークＰＫ１は人物の顔の肌色部分に対応し、比較的暗い部分のピークＰＫ２は背景のレンガの肌色部分に対応する。

その後、ステップＳＰ７で全ＡＦエリアＦＲｉについての処理が終了したか否かが判定され、未処理のＡＦエリアＦＲｉが残っている場合には再びステップＳＰ３に戻り、未処理のＡＦエリアＦＲｉが残っていない場合にはステップＳＰ８に進む。

なお、上記のステップＳＰ６の処理が、デフォーカス量が小さな全てのＡＦエリアＦＲｉの近傍のブロックＢｊについて実行されることによって、肌色ブロックに関する輝度ヒストグラムが取得される。

ステップＳＰ８では、このような輝度ヒストグラムを用いて、肌色ブロックについての「修正輝度」を算出する。具体的には、選択された肌色ブロックＢｊに関して、輝度値Ｙごとの重み付け係数を用いて各画素の輝度値を修正し、当該修正後の各画素の輝度値ＹＭの平均値である修正輝度値ＹＭaveを「修正輝度」として算出する。

図１１は、各輝度値yの重み付け係数Ｗyを示す重み付け曲線Ｌ１等を示す図である。例えば、ステップＳＰ１で撮影画像が順光画像であると判定される場合には、重み付け曲線として曲線Ｌ１が採用される。

そして、次式（１）を用いて修正輝度値ＹＭaveを求める。

ここで、Ｗyは各輝度yの重み付け係数を表し、Ｓyは各輝度yを有する画素の数（度数）を表す。

重み付け曲線Ｌ１は、比較的高輝度の高輝度域ＺＡ（図１０および図１１参照）の輝度値に対する重み付けが比較的大きく、比較的低輝度の低輝度域ＺＢの輝度値に対する重み付けが比較的小さい、という特質を有している。また、曲線Ｌ１による重み付けＷｙを用いて修正された修正輝度値ＹＭaveは、修正前の輝度値Ｙの平均値（修正前の平均輝度値）Ｙaveよりも大きな値になる。

このようにして、順光状態であるとの判定結果に応じて設定された重み付けに基づいて肌色領域に関する輝度を修正した修正輝度値ＹＭaveが算出される。具体的には、高輝度域ＺＡに対する重み付けを低輝度域ＺＢに対する重み付けよりも大きくし、且つ、肌色領域に関する修正前の平均輝度値Ｙaveよりも大きくなるように修正輝度値ＹＭaveが算出される。

次のステップＳＰ９においては、得られた修正輝度値ＹＭaveに基づいて、撮影画像Ｇ１の明るさを補正する。具体的には、修正輝度値ＹＭaveが適正輝度となるように撮影画像Ｇ１の明るさが補正される。より詳細には、肌色ブロックの修正輝度値ＹＭaveを目標値ＹＴに近づけるγ（ガンマ）補正曲線が採用され、当該γ補正曲線に基づくγ補正が施される。

図１２は、複数のγ補正曲線を示す図である。「＋３０」、「＋５０」、「＋７０」は画像全体の輝度（明るさ）を増加させる曲線であり、「−３０」、「−５０」、「−７０」は画像全体の輝度（明るさ）を減少させる曲線である。また、正負の符号の後の数値が大きくなるにつれて、その曲線による補正の程度が大きくなることを示している。

ステップＳＰ９においては、例えば、修正輝度値ＹＭave（値７０）を目標値ＹＴ（値１２０）にするためには、平均値を約５０増加させる（「＋５０」）γ補正曲線が採用される。

このようにして、修正輝度値ＹＭaveに基づいて撮影画像の明るさが補正される。

ここにおいて、仮に修正前の平均輝度値Ｙaveに基づいて撮影画像の明るさを補正する技術を比較例として想定し、上記の実施形態と比較する。

当該比較例においては、修正前の輝度値Ｙaveが値５０であるとすると、当該輝度値Ｙaveを目標値ＹＴにするために平均値を約７０増加させる（「＋７０」）γ補正曲線が採用される。この場合には、上述したように、必要以上に明るく補正されてしまうことになる。状況によっては、白飛びも生じ得る。

これに対して、上記の実施形態によれば、肌色領域に関する輝度ヒストグラムにおける高輝度域ＺＡに含まれる画素の輝度と低輝度域ＺＢに含まれる画素の輝度とに対する重み付けを、順光および逆光に関する判定結果に応じて設定し、当該重み付けに基づいて算出された「修正輝度」に基づいて前記撮影画像の明るさが補正される。詳細には、撮影画像が順光画像であると判定されるときには、曲線Ｌ１と式（１）とを用いて修正輝度が算出される。この場合、修正輝度は元の輝度よりも大きくなるように修正される。例えば、修正輝度値ＹＭaveは、修正前の平均輝度値Ｙave（＝５０）よりも大きな値（７０）として取得される。そして、当該修正輝度値ＹＭaveが適正輝度ＹＴとなるように、「＋７０」ではなく「＋５０」のγ補正曲線を用いて、比較的程度の小さな明るさ補正が撮影画像Ｇ１に対して施される。したがって、上記の比較例と比べて、順光画像における人肌部分の輝度が高くなり過ぎることを防止し、人物の肌色領域ＲＡを適正な明るさに補正することが可能である。

なお、このような態様は、撮影画像が順光画像であると判定される場合には、肌色領域のうち比較的高輝度の高輝度領域（例えば図５の人物の肌色領域ＲＡ）が比較的低輝度の低輝度領域（例えば図５のレンガの肌色領域ＲＢ）よりも適正輝度に近づくように撮影画像の明るさを補正するものである、とも表現される。

＜１−４．逆光画像に対する補正処理＞
また、この実施形態においては、撮影画像が逆光画像の場合は次述するような動作が実行される。以下では、撮影画像が順光画像の場合との相違点を中心に説明する。

ここでは、図１３に示されるような画像Ｇ２、具体的には、海岸（砂浜）において逆光状態で人物の撮影画像Ｇ２を得る状況を想定する。

まず、ステップＳＰ１で撮影画像Ｇ２が逆光画像であると判定される。

また、ステップＳＰ８においては、重み付け曲線として曲線Ｌ２（図１１）を採用する。この曲線Ｌ２は、比較的高輝度の高輝度域ＺＡ（図１０参照）の輝度値に対する重み付けが比較的小さく、比較的低輝度の低輝度域ＺＢの輝度値に対する重み付けが比較的大きい、という特質を有している。また、曲線Ｌ２による重み付けＷｙを用いて修正された修正輝度値ＹＭave（例えば値７０）は、修正前の平均輝度値Ｙave（例えば値９０）よりも小さな値になる。

次のステップＳＰ９においては、得られた修正輝度値ＹＭaveに基づいて、画像Ｇ２の明るさを補正する。

ステップＳＰ９においては、例えば、修正輝度値ＹＭave（値７０）を目標値ＹＴ（値１２０）にするためには、平均値を約５０増加させる（「＋５０」）γ補正曲線が採用される。

このようにして、修正輝度値ＹＭaveに基づいて撮影画像の明るさが補正される。

ここにおいて、仮に修正前の平均輝度値Ｙaveに基づいて撮影画像の明るさを補正する場合を比較例として想定し、上記の実施形態と比較する。

当該比較例においては、修正前の輝度値Ｙaveが値９０であるとすると、当該輝度値Ｙaveを目標値ＹＴ（値１２０）にするために平均値を約３０増加させる（「＋３０」）γ補正曲線が採用される。この場合には、人物の肌色領域ＲＣ（図１３参照）が十分な明るさを有する状態に補正されない、すなわち本来必要な程度よりも小さな程度しか明るさが増大されない、という問題が存在する。

これに対して、上記の実施形態によれば、撮影画像が逆光画像であると判定されるときには、曲線Ｌ２と式（１）とを用いて修正輝度値ＹＭaveが算出される。これによれば、修正輝度値ＹＭave（例えば値７０）は、修正前の平均輝度値Ｙave（例えば値９０）よりも小さくなるように修正される。そして、このような修正輝度（例えばＹＭave＝７０）が適正輝度（ＹＴ＝１２０）となるように、「＋３０」ではなく「＋５０」のγ補正曲線を用いて、比較的大きな程度の明るさ補正が撮影画像Ｇ２に対して施されるので、逆光画像における比較的暗い人肌部分が十分に明るく補正され、人物の肌色領域ＲＣを適正な明るさに補正することが可能である。

また、このような態様は、撮影画像が逆光画像Ｇ２であると判定される場合には、肌色領域のうち比較的低輝度の低輝度領域（例えば図１３の人物の肌色領域ＲＣ）が比較的高輝度の高輝度領域（例えば図１３の砂浜の肌色領域ＲＤ）よりも適正輝度に近づくように撮影画像の明るさを補正するものである、とも表現される。

なお、この実施形態においては、撮影画像が順光画像であるか逆光画像であるかを判定し、当該判定結果に基づいて曲線Ｌ１，Ｌ２のいずれを採用するかを決定している。ただし、これに限定されず、例えば、さらに順光の度合いおよび／または逆光の度合いにも応じて肌色領域の輝度の修正の度合いを変更するようにしてもよい。詳細には、順光の度合いが小さいときには、水平方向に対する曲線Ｌ１の傾斜を小さくするようにしてもよい。また、逆光の度合いが小さいときには、水平方向に対する曲線Ｌ２の傾斜を小さくするようにしてもよい。すなわち傾斜の緩い重み付け曲線を用いても良い。あるいは、逆に、順光または逆光の度合いが大きいときには、さらに急な傾斜を有する重み付け曲線を用いてもよい。そして、順光の度合い或いは逆光の度合いに応じて変更された重み付け曲線を用いて修正輝度を算出し、当該修正輝度に基づいて撮影画像の明るさを補正するようにしてもよい。

また、撮影画像が順光画像Ｇ１である場合において、この第１実施形態のように式（１）および曲線Ｌ１に基づいて求めた平均輝度値ＹＭaveが適正輝度となるように撮影画像Ｇ１の明るさを補正する場合には、次のような利点をさらに得ることができる。

第１実施形態では、肌色領域の画素の輝度が高輝度域ＺＡと低輝度域ＺＢとにおいて２つのピークＰＫ１，ＰＫ２を有する撮影画像Ｇ１（図５、図１０参照）を想定した。しかしながら、実際には、肌色領域の画素の輝度が単一のピーク（例えば高輝度域ＺＡでのピークＰＫ１のみ、或いは低輝度域ＺＢでのピークＰＫ２のみ）を有する撮影画像も存在する。なお、肌色ブロックにおける輝度は、当該各ピーク周辺に度数分布が集中していることが多い。

肌色領域の画素の輝度が単一のピークを有し且つピーク周辺に度数分布が集中している撮影画像に関しては、式（１）および曲線Ｌ１を用いて算出される修正輝度値ＹＭaveは、修正前の輝度値ＹＭaveとほぼ同様の値になる。これは、曲線Ｌ１において、低輝度域ＺＢおよび高輝度域ＺＡを含む略全輝度域にわたって重み付け係数Ｗｙが正（非ゼロ）の値に定められていること、および、式（１）（特に分母）において重み付け係数と度数分布との積を用いた正規化処理を行っていることなどに基づく。

したがって、当該修正輝度値ＹＭaveに基づく補正を行うことによって、低輝度域ＺＢにのみ人物の肌色領域の画素が存在する場合においても良好に補正を行うことが可能である。すなわち、肌色領域の画素の輝度が単一のピークを有する場合と、肌色領域の画素の輝度が複数のピークを有する場合との双方において、補正手法を変更することなく良好に補正を行うことが可能である。

また、撮影画像が逆光画像Ｇ２の場合についても同様である。すなわち、式（１）および曲線Ｌ２に基づいて求めた平均輝度値ＹＭaveが適正輝度となるように撮影画像Ｇ２の明るさを補正する場合には、肌色領域の画素の輝度が単一のピークを有する場合でも、補正手法を変更することなく、良好に補正を行うことが可能である。

＜２．第２実施形態＞
上記第１実施形態においては、撮影画像が順光画像であると判定されるときには、高輝度領域に対する重み付けを低輝度領域に対する重み付けよりも大きくして、肌色領域に関する修正前の平均輝度よりも大きくなるように修正輝度を算出し、修正輝度が適正輝度となるように撮影画像の明るさを補正する場合を例示した。

この第２実施形態においては、当該重み付けが極端な場合を例示する。具体的には、撮影画像が順光画像であると判定されるときには、図１４に示すような重み付け曲線Ｌ３と式（１）とを用いて修正輝度を算出し、修正輝度が適正輝度となるように撮影画像の明るさを補正する。重み付け曲線Ｌ３においては、低輝度域ＺＢでは重み付け係数がゼロであり、高輝度域ＺＡでは重み付け係数が非ゼロの所定値（例えば１）である。

この技術は、撮影画像が順光画像であると判定されるときには、高輝度域ＺＡの画素が適正輝度となるように撮影画像の明るさを補正するものである、とも表現される。

このような態様によっても、２つの輝度ピークを有する肌色領域に関して、元の平均輝度Ｙaveよりも高く修正された修正輝度値ＹＭaveが適正輝度となるように撮影画像Ｇ１の明るさが補正されるので、順光画像における人肌領域ＲＡ（図５）の輝度が高くなり過ぎることを防止し、人物の肌色領域ＲＡを適正な明るさに補正することが可能である。

また、同様にして、撮影画像が逆光画像であると判定されるときには、図１５に示すような重み付け曲線Ｌ４と式（１）とを用いて修正輝度を算出し、修正輝度が適正輝度となるように撮影画像の明るさを補正するようにしてもよい。重み付け曲線Ｌ４においては、低輝度域ＺＢでは重み付け係数が非ゼロの所定値（例えば１）であり、高輝度域ＺＡでは重み付け係数がゼロである。

この技術は、撮影画像が逆光画像であると判定されるときには、低輝度域ＺＢの画素が適正輝度となるように撮影画像の明るさを補正するものである、とも表現される。

このような態様によっても、２つの輝度ピークを有する肌色領域に関して、元の平均輝度Ｙaveよりも低くなるように修正された修正輝度値ＹＭaveが適正輝度となるように、比較的大きな程度の明るさ補正が撮影画像Ｇ２に対して施される。したがって、逆光画像における比較的暗い人肌領域ＲＣ（図１３）が十分に明るく補正され、人物の肌色領域を適正な明るさに補正することが可能である。

＜３．その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記第１実施形態および第２実施形態においては、重み付けを用いて修正輝度を求める場合を例示したが、これに限定されない。例えば、順光状態であると判定される場合には、肌色領域に関する元の平均画素よりも大きな値を肌色領域に関する「修正輝度」として求めるようにしてもよい。詳細には、順光度合いに応じた設定値を元の平均画素に対して加算した値を「修正輝度」として得ればよい。そして、このような修正輝度が適正輝度となるように画像Ｇ１の明るさを補正するようにしてもよい。このような態様によっても、画像Ｇ１の肌色領域における白飛びを防止し、適切な明るさに補正することが可能である。なお、このような態様は、撮影画像が順光画像であると判定される場合には、肌色領域のうち比較的高輝度の高輝度領域が比較的低輝度の低輝度領域よりも適正輝度に近づくように撮影画像の明るさを補正するものである、とも表現される。

同様に、逆光状態であると判定される場合には、元の平均画素よりも小さな値を「修正輝度」として求めるようにしてもよい。そして、このような修正輝度が適正輝度となるように画像Ｇ２の明るさを補正するようにしてもよい。このような態様によっても、画像Ｇ２の肌色領域を充分に明るい領域に補正することが可能である。なお、このような態様は、撮影画像が逆光画像であると判定される場合には、肌色領域のうち比較的低輝度の低輝度領域が比較的高輝度の高輝度領域よりも適正輝度に近づくように撮影画像の明るさを補正するものである、とも表現される。

また、上記実施形態においては、撮像装置１において記録用の撮影画像（本撮影画像）を得る際の画像処理技術に本発明の思想を適用する場合を例示したが、これに限定されない。例えば、撮像装置１によって取得された撮影画像に対して、パーソナルコンピュータ等のコンピュータを用いて画像処理を行う場合に本発明の思想を適用するようにしてもよい。具体的には、パーソナルコンピュータにおいて上記の機能を実現するプログラムを実行し、撮像装置１によって取得された撮影画像の明るさを補正するようにしてもよい。

撮像装置の正面外観図である。 撮像装置の背面外観図である。 撮像装置の機能構成を示すブロック図である。 撮影動作直後の動作を示すフローチャートである。 撮影画像（順光画像）の例を示す図である。 撮影画像に関する区分領域を示す図である。 撮影画像における複数のブロックを示す図である。 或るＡＦエリア周辺において選択されるブロックを示す図である。 色空間における肌色領域を示す図である。 輝度ヒストグラムを示す図である。 重み付け曲線を示す図である。 γ補正曲線を示す図である。 撮影画像（逆光画像）の例を示す図である。 重み付け曲線の別の例を示す図である。 重み付け曲線のさらに別の例を示す図である。

符号の説明

１ 撮像装置
５０ デジタル信号処理回路
Ｂｊ ブロック
ＦＲｉ ＡＦエリア
Ｇ１，Ｇ２ 撮影画像
Ｃ１ ヒストグラム曲線
Ｌ１〜Ｌ４ 重み付け曲線
Ｒ１１〜Ｒ１９ （順光／逆光判定用）領域
Ｙave （修正前の）平均輝度値
ＹＭave 修正輝度値

Claims (6)

1. 撮影画像が順光画像であるか逆光画像であるかを判定する判定手段と、
   前記撮影画像における複数のＡＦエリアのうち、デフォーカス量が所定値よりも小さなＡＦエリア周辺の肌色領域を検出する検出手段と、
   前記撮影画像が順光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、高輝度域に対する重み付けを低輝度域に対する重み付けよりも大きくし、前記肌色領域に関する修正前の平均輝度よりも大きくなるように前記肌色領域に関する輝度を修正した修正輝度を算出すると共に、前記撮影画像が逆光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、前記高輝度域に対する重み付けを前記低輝度域に対する重み付けよりも小さくし、前記肌色領域に関する修正前の平均輝度よりも小さくなるように前記修正輝度を算出する算出手段と、
   前記撮影画像が順光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも小さい補正量で前記撮影画像の明るさを補正すると共に、前記撮影画像が逆光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも大きい補正量で前記撮影画像の明るさを補正する補正手段と
   を有する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記補正手段は、前記撮影画像が順光画像であると判定されるときには、前記高輝度域の画素が適正輝度となるように前記撮影画像の明るさを補正する撮像装置。
3. 請求項１に記載の撮像装置において、
   前記補正手段は、前記撮影画像が逆光画像であると判定されるときには、前記低輝度域の画素が適正輝度となるように前記撮影画像の明るさを補正する撮像装置。
4. 請求項１に記載の撮像装置において、
   前記算出手段は、順光度合いまたは逆光度合いに応じて前記肌色領域の輝度の修正の度合いを変更して、前記修正輝度を算出する撮像装置。
5. 撮影画像が順光画像であるか逆光画像であるかを判定する判定手段と、
   前記撮影画像における複数のＡＦエリアのうち、デフォーカス量が所定値よりも小さなＡＦエリア周辺の肌色領域を検出する検出手段と、
   前記撮影画像が順光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、高輝度域に対する重み付けを低輝度域に対する重み付けよりも大きくし、前記肌色領域に関する修正前の平均輝度よりも大きくなるように前記肌色領域に関する輝度を修正した修正輝度を算出すると共に、前記撮影画像が逆光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、前記高輝度域に対する重み付けを前記低輝度域に対する重み付けよりも小さくし、前記肌色領域に関する修正前の平均輝度よりも小さくなるように前記修正輝度を算出する算出手段と、
   前記撮影画像が順光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも小さい補正量で前記撮影画像の明るさを補正すると共に、前記撮影画像が逆光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも大きい補正量で前記撮影画像の明るさを補正する補正手段と
   を有する画像処理装置。
6. コンピュータに、
   a)撮影画像が順光画像であるか逆光画像であるかを判定する手順と、
   b)前記撮影画像における複数のＡＦエリアのうち、デフォーカス量が所定値よりも小さなＡＦエリア周辺の肌色領域を検出する手順と、
   c)前記撮影画像が順光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、高輝度域に対する重み付けを低輝度域に対する重み付けよりも大きくし、前記肌色領域に関する修正前の平均輝度よりも大きくなるように前記肌色領域に関する輝度を修正した修正輝度を算出すると共に、前記撮影画像が逆光画像であると判定されるときには、前記肌色領域に関する輝度ヒストグラムにおいて、前記高輝度域に対する重み付けを前記低輝度域に対する重み付けよりも小さくし、前記肌色領域に関する修正前の平均輝度よりも小さくなるように前記修正輝度を算出する手順と、
   d)前記撮影画像が順光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも小さい補正量で前記撮影画像の明るさを補正すると共に、前記撮影画像が逆光画像であると判定されるときには、前記修正輝度が適正輝度となるように、前記修正前の平均輝度から前記適正輝度への補正量よりも大きい補正量で前記撮影画像の明るさを補正する手順と
   を実行させるためのプログラム。

Images