JP5381354B2 - 画像処理装置、画像処理方法、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、画像の明るさを補正する画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。

撮影により得られた画像は、逆光状態での撮影あるいは夜間撮影のために露出不足で被写体が暗く写っていたり、物陰に該当する部分を含んでいるために画像の一部分が暗かったりするケースがある。そこで、近年では、デジタルカメラに対して、このような明るさが不適切な画像に対してユーザが補正レベルやガンマ形状を指定して明るさ補正を行う機能や、画像特徴に基づいて自動的にガンマテーブルを作成してガンマ変換する明るさ補正を行う機能が搭載されるようになってきている。

特に、人物の肌の色には、多くの人が好ましいと感じる色や明るさが存在する。そのため、画像中の顔あるいは人物の肌色を何らかの方法で検知し、好ましい明るさになるようなガンマテーブルを選択または作成して明るさ補正することは、従来から行われており、また重要視もされている。

例えば、特許文献１には、マルチバンド画像データから画像中の特定物体の領域を識別し、識別結果に基づきマルチバンド画像データに対して所定のデータ処理を施すようにした技術が記載されている。ここで、特定物体とは例えば人間の肌であり、特許文献１では、人間の肌の領域が適切な明るさになるような補正テーブルを選択して画像全体の明度補正を行うようにしている。

また、従来から、Retinex（レチネックス）理論に基づき、画像を照明光成分と反射率成分とに分解し、反射率成分を出力する技術が知られている。人間の目は、照明光に依らず明るさや色を知覚できる明るさの恒常性、色の恒常性を持っている。これを網膜モデルとしてモデル化したのが、このレネチックス理論である。このレチネックス理論に基づく明るさ補正方法では、画像全体の明るさや主被写体の明るさを狙い通りにコントロールすることが一般的に困難とされている。特許文献２には、処理するデジタル画像の主被写体、例えば顔の明るさに対して最適に明るさ分布を改善するパラメータを適切に設定する方法が記載されている。

さらに、特許文献３には、通常の線形特性領域だけの撮影センサに対して、線形特性領域と対数特性領域からなる光電変換特性を有する撮影センサ（リニアログセンサ）を用いて広ダイナミックレンジで撮影された画像のダイナミックレンジを圧縮することで、明るさ分布の改善を図るようにした技術が記載されている。

すなわち、特許文献３では、リニアログセンサで撮影された広ダイナミックレンジ画像から反射率成分と照明光成分とを予測し、予測された照明光成分をダイナミックレンジ圧縮して、予測された反射率成分と合成する。これにより、コントラストを維持したまま、広ダイナミックレンジ画像に対応していない表示系（モニタなど）のダイナミックレンジに収まるように、入力画像のダイナミックレンジを圧縮する。また、特許文献３では、主要被写体（例えば人物の顔）において照明光成分が圧縮されて階調が潰れるのを防ぐため、主要被写体の輝度から設定されたレベル値以上のみを、対数特性に基づきダイナミックレンジ圧縮するようにしている。

上述した特許文献１によれば、顔の明るさを狙い通りの適切な明るさに補正することができる一方で、１つのガンマテーブルで画像全体の明るさを補正するため、階調潰れが発生する輝度範囲が存在するというトレードオフがある。したがって、階調潰れによりコントラストが低下し、ぼけてシャープネスが低下した印象の画像になってしまうおそれがあるという問題点があった。

特許文献２では、レチネックス理論に基づき入力画像から低周波成分を抽出することで照明光成分を予測する。最も一般的なランダムウォーク型のレチネックスでは、入力画像にガウシアンフィルタをかけることで低周波成分を抽出して照明光成分を予測する。反射率成分からなる画像は、入力画像から照明むらを取り除いた均一照明下におけるシーンの見えを再現するものとみなすことができ、コントラストを維持したまま明るさ補正を行うことができる。

しかしながら、特許文献２による補正は、明るいところが暗くなり、暗いところが明るくなる補正であり、全体的に奥行き感のない不自然な印象の画像になってしまうことがしばしば生じるという問題点があった。例えば、特許文献２による補正では、白い花びらの画像が暗く補正されて灰色の色が付いてしまうというようなことが起こる。

一方、レチネックス理論の応用として、入力画像から照明光成分を分離して残りの反射率成分を出力するのではなく、分離した照明光成分をガンマ変換し、反射率成分とガンマ変換後の照明光成分とを合成した画像を出力するようにした明るさ補正方法も提案されている。これは、反射率成分の除去ではなく反射率成分の置き換えになるため、上述したような白い花びらに灰色の色が付いてしまうような不自然なことは起こらず、コントラストを維持したまま適度に画像の明るさを補正することができる。

上述した特許文献３は、撮影センサとしてリニアログセンサを用いて撮影された広ダイナミックレンジ画像を入力画像として、撮影センサの特性に基づき決定されるガンマテーブルを用いて照明光成分の置き換えを行っている。この場合の照明光成分の置き換えは、ダイナミックレンジ圧縮に該当し、リニアログセンサの特性に基づいてガンマテーブルが決定される。

ところで、照明光成分の置き換えによる明るさ補正を行うに当たり、従来では、照明光成分を変換するガンマテーブルを適切に設定する方法が確立されていなかったという問題点があった。すなわち、従来では、照明光成分を変換するためのガンマテーブルの、画像毎に適した明るさ補正を行うための設定方法や、画像全体の明るさ、特に主要被写体を狙い通りの明るさに補正するための設定方法などが確立されていなかった。これは、通常の撮影画像に対して明るさ補正を行う場合に限らず、広ダイナミックレンジ画像が対象であってもダイナミックレンジ圧縮だけでなく好ましい明るさへの補正も併せて行う場合でも同様であった。

照明光成分の置き換えを行う方法は、特許文献３のように広ダイナミックレンジ画像に対して適用される例が多かった。照明光成分の置き換えを行う方法を通常撮影画像に対して適用する例としては、画像に関わらず固定のガンマテーブルを用いる例や、予め準備された数種類のガンマテーブルからユーザが選択する例などに限られていた。

例えば、特許文献１に示されるような、顔の明るさが適切に補正されるようなガンマテーブルを照明光成分に対して適用すると、顔の明るさは、周辺の明るさ（≒照明光成分）とのコントラストが小さければ略狙いに近い明るさに補正できるが、コントラストが大きい場合は狙いから大きくずれた明るさに補正されてしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、画像の明るさを適切に補正することができる画像処理装置、画像処理方法、プログラムおよび記憶媒体を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定手段と、入力画像の照明光成分を画素毎に予測する予測手段と、照明光成分に対してガンマテーブルによる変換を行う変換手段と、照明光成分と、変換手段で照明光成分が変換された変換照明光成分との比を、入力画像の輝度を補正するための補正量として算出する算出手段と、算出手段で算出された補正量を用いて入力画像の輝度を画素毎に補正する補正手段とを有することを特徴とする。

また、本発明は、入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定ステップと、入力画像の照明光成分を画素毎に予測する予測ステップと、照明光成分に対してガンマテーブルによる変換を行う変換ステップと、照明光成分と、変換手段で照明光成分が変換された変換照明光成分との比を、入力画像の輝度を補正するための補正量として算出する算出ステップと、算出ステップで算出された補正量を用いて入力画像の輝度を画素毎に補正する補正ステップとを有することを特徴とする。

本発明によれば、入力画像の照明光成分に対して、入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルによる変換を行うようにしているため、画像の明るさを適切に補正することができるという効果を奏する。

図１は、第１の実施形態による画像処理装置の一例の構成を示すブロック図である。 図２は、ガンマテーブル設定部によるガンマテーブル設定処理を示す一例のフローチャートである。 図３は、補正量決定部における補正量Ｐの一例の決定処理を示すフローチャートである。 図４は、顔無し用の補正量Ｐ_nfを求める際の補正量決定部の機能を示す一例の機能ブロック図である。 図５−１は、ガンマテーブルｇ₁()によるガンマ曲線の一例を示す略線図である。 図５−２は、補正量Ｐ_nfを用いて明るさ補正を行った場合の、注目画素の輝度Ｙ_iと補正後の輝度Ｙ_oとの一例の関係を示す略線図である。 図６は、顔有り用の補正量Ｐ_fを求める際の補正量決定部の機能を示す一例の機能ブロック図である。 図７は、顔出力輝度決定部の機能を示す一例の機能ブロック図である。 図８は、輝度比算出部が輝度比Ｒを算出する際の一例の処理を示すフローチャートである。 図９−１は、顔の輝度Ｙ_fを補正目標値である変換顔輝度ｇ₂(Ｙ_f)に変換するガンマテーブルｇ₂()によるガンマ曲線の一例を示す略線図である。 図９−２は、第１の算出方法により算出される補正量Ｐ_fによる一例の補正を示す略線図である。 図９−３は、第２の算出方法により算出される補正量Ｐ_fによる一例の補正を示す略線図である。 図９−４は、第３の算出方法により算出される補正量Ｐ_fによる一例の補正を示す略線図である。 図９−５は、第１乃至第３の算出方法について説明するための略線図である。 図１０は、第２の実施形態による、顔有り用の補正量Ｐ_fを求める際の補正量決定部の機能を示す一例の機能ブロック図である。 図１１は、第２の実施形態における輝度比算出部による顔有り用の補正量Ｐ_fを算出する際の一例の処理を示すフローチャートである。 図１２−１は、逆光／順光判定部により逆光と判定された場合の処理を説明するための略線図である。 図１２−２は、逆光／順光判定部により順光と判定された場合の処理を説明するための略線図である。 図１３は、第３の実施形態による画像処理装置の一例の構成を示すブロック図である。 図１４は、顔有り用のガンマ設定を行うガンマテーブル設定部の機能を示す一例の機能ブロック図である。 図１５−１は、ガンマテーブル調整部により仮ガンマテーブルｇ₂()がガンマテーブルｇ₃()に変換される例を示す略線図である。 図１５−２は、ガンマテーブル調整部により仮ガンマテーブルｇ₂()がガンマテーブルｇ₃()に変換される例を示す略線図である。

＜第１の実施形態＞
以下に添付図面を参照して、この発明に係る画像処理装置の最良な実施の形態を詳細に説明する。図１は、本発明の第１の実施形態による画像処理装置の一例の構成を示す。Ｒ_i（赤色）、Ｇ_i（緑色）およびＢ_i（青色）の各色の画素からなるビットマップ形式の画像データが入力画像(Ｒ_ｉ,Ｇ_ｉ,Ｂ_ｉ)として入力され、輝度変換部１および明るさ補正部９にそれぞれ供給される。輝度変換部１は、入力画像(Ｒ_ｉ,Ｇ_ｉ,Ｂ_ｉ)における各画素のＲＧＢ値を、次式（１）に従い輝度Ｙ_iに変換する。
Ｙ_i＝０.３０×Ｒ_i＋０.５９×Ｇ_i＋０.１１×Ｂ_i …（１）

輝度変換部１から出力された輝度Ｙ_iは、補正量決定部８、照明光成分予測部５、顔座標取得部２、顔輝度検出部３およびガンマテーブル設定部４にそれぞれ供給される。

顔座標取得部２は、入力画像に含まれる顔画像の、入力画像データにおける座標を取得する。例えば、顔座標取得部２は、図示されない表示部に表示される入力画像に基づき図示されない操作部を介してユーザが指定した顔位置を示す矩形の座標を、顔画像の座標として取得する。取得された顔画像の座標を示す顔座標情報は、顔輝度検出部３、ガンマテーブル設定部４および補正量決定部８にそれぞれ供給される。顔座標取得部２は、入力画像に顔が含まれないときは、顔の有無を示す情報を顔座標情報として出力する。

なお、顔座標取得部２は、ユーザ操作により指示された矩形の座標を顔座標として出力するのに限らず、供給された輝度Ｙ_iに基づき既知の手法により顔検出を行い、検出結果に基づき顔の有無および顔座標を求めるようにしてもよい。

顔輝度検出部３は、輝度変換部１から供給された輝度Ｙ_iと、顔座標取得部２から供給された顔座標情報とに基づき、顔の輝度Ｙ_fを求める。より具体的には、顔輝度検出部３は、顔座標情報に示される矩形（以下、顔領域と呼ぶ）内の肌色領域を検出し、検出された肌色領域の輝度Ｙ₁に基づき当該肌色領域の平均輝度を求めて、顔の輝度Ｙ_fとする。顔の輝度Ｙ_fは、ガンマテーブル設定部４、顔輝度ガンマ変換部７および補正量決定部８にそれぞれ供給される。

一例として、肌色領域の検出は、顔領域内の輝度Ｙ₁から輝度のヒストグラムを生成する。この顔領域の輝度ヒストグラムには、髪、眉および瞳からなる輝度が低い側のピークと、肌色領域からなる輝度が高い側のピークとの２つのピークが存在する。顔輝度検出部３は、判別分析法により、これら２つのピークの間にある極小値を取る輝度Ｙ_minを求め、この輝度Ｙ_minよりも大きい輝度からなる領域を肌色領域とする。

ガンマテーブル設定部４は、顔座標取得部２から出力される顔の有無を示す情報に基づき、入力画像の明るさ補正に用いるガンマテーブルを設定する。図２は、ガンマテーブル設定部４によるガンマテーブル設定処理を示す一例のフローチャートである。ガンマテーブル設定部４は、先ず、顔座標取得部２から供給される顔座標情報に基づき入力画像に顔が含まれるか否かを判定する（ステップＳ１０）。

若し、入力画像に顔が含まれると判定されたら、処理はステップＳ１１に移行され、ガンマテーブルに対して顔有り用のガンマ設定を行う。顔有り用のガンマ設定では、顔の輝度Ｙ_fに基づき顔の輝度を補正目標値に変換するようなガンマテーブルを設定する。この顔有り用のガンマテーブルは、例えば予め与えられるものである。

一方、入力画像に顔が含まれないと判定されたら、処理はステップＳ１２に移行され、ガンマテーブルに対して顔無し用のガンマ設定を行う。顔無し用のガンマ設定では、例えば、入力画像の輝度Ｙ_iから輝度ヒストグラムを作成し、この輝度ヒストグラムが平滑化されるようなガンマテーブルを設定する。輝度ヒストグラムからガンマテーブルを設定する方法としては、例えば特開２０００−６９３２７号公報に記載されるような、入力される輝度信号を複数の信号レベルに分割してその分布数に基づきヒストグラムを作成し、ヒストグラムの情報から二次曲線で表されるガンマ補正関数の定数値を決定する方法を用いることができる。

なお、ガンマテーブルは、顔有り用および顔無し用の何れも、上に凸の形状の曲線をなすものとする。ガンマテーブル設定部４で設定されたガンマテーブルは、照明光ガンマ変換部６および顔輝度ガンマ変換部７にそれぞれ供給される。

以下では、ガンマテーブルを一般的に関数ｇ()と表し、顔無し用のガンマテーブルを関数ｇ₁()、顔有り用のガンマテーブルを関数ｇ₂()でそれぞれ表す。また、ガンマテーブルを表す関数ｇ_x()を、適宜、ガンマテーブルｇ_x()と呼ぶ。

一方、照明光成分予測部５は、注目画素の照明光成分の輝度Ｌ（以下、照明光成分Ｌと呼ぶ）を予測する。例えば、照明光成分予測部５は、式（２）に示されるように、注目画素および当該注目画素の周辺画素の輝度Ｙ_iに対して、式（３）および式（４）に示されるガウシアン関数Ｆとの畳み込み積和演算を行う。この演算により注目画素および周辺画素による画像の低周波成分を抽出し、抽出されたこの低周波成分を、注目画素の照明光成分Ｌとして予測する。なお、式（２）〜式（４）において、座標(ｘ,ｙ)は、注目画素の位置を示す。また、値σは、ガウシアン関数のパラメータである標準偏差である。

照明光成分予測部５で予測された照明光成分Ｌは、照明光ガンマ変換部６および補正量決定部８にそれぞれ供給される。

照明光ガンマ変換部６は、照明光成分予測部５から供給された照明光成分Ｌを、ガンマテーブル設定部４で設定されたガンマテーブルｇ₁()またはｇ₂()を用いて変換し、変換照明光成分ｇ(Ｌ)を得る。変換照明光成分ｇ(Ｌ)は、補正量決定部８に供給される。

顔輝度ガンマ変換部７は、入力画像に対して顔画像が含まれる場合に機能する。顔輝度ガンマ変換部７は、例えばガンマテーブル設定部４において顔有り用のガンマテーブルｇ₂()が設定された場合に、顔輝度検出部３から供給された顔輝度Ｙ_fを当該ガンマテーブルｇ₂()を用いて変換し、変換顔輝度ｇ(Ｙ_f)を得る。変換顔輝度ｇ(Ｙ_f)は、補正量決定部８に供給される。

補正量決定部８は、注目画素の輝度Ｙ_i、照明光成分Ｌ、ならびに、変換照明光成分ｇ(Ｌ)および変換顔輝度ｇ(Ｙ_f)に基づき、後述するようにして、明るさ補正部９で入力画像の明るさを補正するために用いる補正量Ｐを、画素毎に決定する。補正量決定部８で決定された補正量Ｐは、明るさ補正部９に供給される。

明るさ補正部９は、入力画像(Ｒ_ｉ,Ｇ_ｉ,Ｂ_ｉ)をこの補正量Ｐに基づき画素毎に補正して、出力画像(Ｒ_ｏ,Ｇ_ｏ,Ｂ_ｏ)を出力する。

より具体的には、明るさ補正部９は、補正量決定部８から供給された補正量Ｐを、下記の式（５）に例示されるように、入力画像(Ｒ_i,Ｇ_i,Ｂ_i)の各画素のＲＧＢ値それぞれに乗じることで、注目画素に対する明るさ補正を行う。なお、式（５）において、min(ａ,ｂ)は、括弧内に併記された値のうち最小の値を選択することを意味する。
Ｒ_o＝min(Ｒ_i×Ｐ,Ｙ_max)
Ｇ_o＝min(Ｇ_i×Ｐ,Ｙ_max)
Ｂ_o＝min(Ｂ_i×Ｐ,Ｙ_max) …（５）

上述した式（１）により、ＲＧＢ値のそれぞれと輝度Ｙとは線形変換の関係にある。したがって、上述の式（５）に例示されるように、ＲＧＢ値それぞれに対して補正量Ｐを乗ずると、出力画像(Ｒ_o,Ｇ_o,Ｂ_o)に対応する輝度は、入力画像(Ｒ_i,Ｇ_i,Ｂ_i)に対応する輝度Ｙ_iに補正量Ｐを乗算した値と等しくなる。すなわち、入力画像(Ｒ_i,Ｇ_i,Ｂ_i)の輝度成分を補正量Ｐ倍していることになる。

＜明るさ補正に用いる補正量の算出＞
次に、本発明の第１の実施形態による明るさ補正処理について説明する。本第１の実施形態では、式（６）に示されるように、照明光成分Ｌとガンマ変換後の変換照明光成分ｇ(Ｌ)との比を注目画素の輝度Ｙ_iに対して乗ずることで、注目画素の輝度Ｙ_iの照明光成分Ｌを変換照明光成分ｇ(Ｌ)に置き換えた、補正後の輝度Ｙ_oを得る。
Ｙ_o＝{ｇ(Ｌ)／Ｌ}×Ｙ_i …（６）

公知理論として、ディジタルカメラなどで撮影されて得られた入力画像Ｉは、照明光成分Ｌと反射率成分Ｒとを式（７）に従い合成したものとして表される。
Ｉ＝Ｌ×Ｒ …（７）

ここで、照明光成分Ｌを所定に変換された照明光成分Ｌ’で置き換えると、式（７）は、次式（８）のように表すことができる。
Ｉ’＝Ｌ’×Ｒ …（８）

式（７）および式（８）から、次式（９）が成り立ち、これは式（１０）のように表すことができる。
Ｉ’／Ｉ＝Ｌ’／Ｌ …（９）
Ｉ’＝(Ｌ’／Ｌ)×Ｉ …（１０）

したがって、この式（１０）と上述の式（６）とから、式（６）は、注目画素の輝度Ｙ_iの照明光成分Ｌをガンマ変換された変換照明光成分ｇ(Ｌ)に置き換えた場合の、注目画素の輝度Ｙ_iに対する補正後の輝度Ｙ_oを表していると考えることができる。

補正量決定部８は、式（６）における入力画像Ｙ_iに対する係数ｇ(Ｌ)／Ｌを、補正量Ｐとして求める。図３は、補正量決定部８における補正量Ｐの一例の決定処理を示すフローチャートである。補正量決定部８は、顔座標取得部２から供給される顔座標情報に基づき、入力画像に顔が含まれるか否かを判定する（ステップＳ２０）。若し、入力画像に顔が含まれると判定したら、処理はステップＳ２１に移行し、後述する処理により顔有り用の補正量Ｐ_fを求め、この顔有り用の補正量Ｐ_fを最終的な補正量Ｐに決定する。一方、入力画像に顔が含まれないと判定したら、処理はステップＳ２２に移行し、後述する処理により顔無し用の補正量Ｐ_nfを求め、この顔無し用の補正量Ｐ_nfを最終的な補正量Ｐに決定する。

＜顔無し用の補正量Ｐ_nf＞
先ず、ステップＳ２２の、顔無し用の補正量Ｐ_nfを求める方法について説明する。図４は、顔無し用の補正量Ｐ_nfを求める際の補正量決定部８の機能を示す一例の機能ブロック図である。補正量決定部８は、輝度比算出部８０により、照明光成分Ｌと変換照明光成分ｇ₁(Ｌ)とから上述した係数ｇ(Ｌ)／Ｌを算出し、補正量Ｐ_nfとして出力する。

図５−１は、ガンマテーブルｇ₁()によるガンマ曲線の一例を示す。このように、ガンマテーブルｇ₁()は、単調増加で上に凸の形状を有するガンマ曲線をなす。図５−２は、上述した式（６）により得られた補正量Ｐ_nfを用いて明るさ補正を行った場合の、注目画素の輝度Ｙ_iと補正後の輝度Ｙ_oとの一例の関係を示す。

図５−２において、点線で示される曲線２００は、図５−１に例示される関数ｇ()で示されるガンマテーブルと同一である。また、上述した式（６）による注目画素の輝度Ｙ_iと補正後の輝度Ｙ_oとの関係の例を、直線２０１、２０２および２０３により示す。ここでは、図５−２において、注目画素の輝度Ｙ_iが輝度Ｙ_bであるものとして説明する。

直線２０１は、注目画素の輝度Ｙ_i（＝輝度Ｙ_b）と、照明光成分Ｌとが等しい場合の例である。直線２０２は、照明光成分Ｌの輝度が輝度Ｙ_c（＞輝度Ｙ_b）であって、注目画素の輝度Ｙ_iが照明光成分Ｌよりも小さい場合の例である。また、直線２０３は、照明光成分Ｌの輝度が輝度Ｙ_a（＜輝度Ｙ_b）であって、注目画素の輝度Ｙ_iが照明光成分Ｌよりも大きい場合の例である。

この図５−２および上述した式（６）から明らかなように、照明光成分Ｌが注目画素の輝度Ｙ_iと等しければ、注目画素の輝度Ｙ_iは、曲線２００で示されるガンマテーブルｇ₁()に従い補正される。すなわち、注目画素の輝度Ｙ_iを輝度Ｙ_bとしたとき、当該注目画素の輝度Ｙ_iは、輝度ｇ₁(Ｙ_b)に補正される。

一方、例えば照明光成分Ｌが注目画素の輝度Ｙ_iよりも高ければ、注目画素の輝度Ｙ_iは、式（６）に従い、ガンマテーブルｇ₁()より補正された輝度よりも低い輝度に補正される。図５−２の例では、照明光成分Ｌの輝度が輝度Ｙ_c（＞輝度Ｙ_b）であれば、注目画素の輝度Ｙ_i（＝輝度Ｙ_b）は、傾きがｇ₁(Ｌ)／Ｌである直線２０２に従い、上述した輝度ｇ₁(Ｙ_b)より低い、輝度Ｙ_dに補正される。

また、例えば照明光成分Ｌが注目画素の輝度Ｙ_iよりも高ければ、注目画素の輝度Ｙ_iは、式（６）に従い、ガンマテーブルｇ₁()により補正された輝度よりも高い輝度に補正される。図５−２の例では、照明光成分Ｌの輝度が輝度Ｙ_a（＜輝度Ｙ_b）であれば、注目画素の輝度Ｙ_i（＝輝度Ｙ_b）は、傾きがｇ₁(Ｌ)／Ｌである直線２０３に従い、上述した輝度ｇ₁(Ｙ_b)より高い、輝度Ｙ_eに補正される。

以上をまとめると、下記のようになる。
（ａ）Ｌ＝Ｙ_iの場合は、Ｙ_o＝ｇ₁(Ｙ_i)になる。
（ｂ）Ｌ＞Ｙ_iの場合は、Ｙ_o＜ｇ₁(Ｙ_i)になる。
（ｃ）Ｌ＜Ｙ_iの場合は、Ｙ_o＞ｇ₁(Ｙ_i)になる。
これは、ガンマテーブルによるガンマ曲線の形状と上述した式（６）から明らかである。

＜顔有り用の補正量Ｐ_f＞
次に、ステップＳ２１の、顔有り用の補正量Ｐ_fを求める方法について説明する。図６は、顔有り用の補正量Ｐ_fを求める際の補正量決定部８の機能を示す一例の機能ブロック図である。補正量決定部８は、顔出力輝度決定部８２と、輝度比算出部８１とを有する。輝度比算出部８１は、顔出力輝度決定部８２から出力された第２の顔の出力輝度Ｙ_fo2と、注目画素の輝度Ｙ_iと、照明光成分Ｌと、変換照明光成分ｇ(Ｌ)と、顔の輝度Ｙ_fと、変換顔輝度ｇ(Ｙ_f)とから、注目画素の輝度Ｙ_iとの輝度比を算出し、顔有り用の補正量Ｐ_fを求める。

図７は、顔出力輝度決定部８２の機能を示す一例の機能ブロック図である。顔出力輝度決定部８２は、第１の顔の出力輝度算出部８３と、第２の顔の出力輝度算出部８４とを有する。第１の顔の出力輝度算出部８３は、顔の輝度Ｙ_fと、照明光成分Ｌと、変換照明光成分ｇ(Ｌ)とから、顔領域の注目画素の輝度Ｙ_i＝Ｙ_fに対する第１の顔の出力輝度Ｙ_fo1を、上述の式（６）を用いて算出する。より具体的には、第１の顔の出力輝度Ｙ_fo1を求める式は、下記の式（１１）のようになる。すなわち、第1の出力輝度Ｙ_fo1は、照明光成分Ｌを変換照明光成分ｇ(Ｌ)に置き換えた場合の顔の輝度Ｙ_fである。
Ｙ_fo1＝{ｇ(Ｌ)／Ｌ}×Ｙ_f …（１１）

第２の顔の出力輝度算出部８４は、第１の顔の出力輝度算出部８３で算出された第１の顔の出力輝度Ｙ_fo1と、顔輝度ガンマ変換部７から供給される変換顔輝度ｇ(Ｙ_f)とを用いて、下記の式（１２）に従い、第２の顔の出力輝度Ｙ_fo2を算出する。この第２の顔の出力輝度Ｙ_fo2は、顔の輝度Ｙ_fに対する明るさ補正後の輝度である。
Ｙ_fo2＝(１−Ｅ)×Ｙ_fo1＋Ｅ×ｇ(Ｙ_f) …（１２）

すなわち、顔出力輝度決定部８２は、第１の顔の出力輝度算出部８３で算出された、照明光成分Ｌを変換照明光成分ｇ(Ｌ)に置き換えた場合の顔の出力輝度Ｙ_fo1と、補正目標値である変換顔輝度ｇ₂(Ｙ_f)とを、調整パラメータＥで決まる割合で合成して、第２の顔出力輝度Ｙ_fo2を算出する。

ここで、調整パラメータＥは、０≦Ｅ≦１の範囲をとる。調整パラメータＥ＝０であれば、第２の顔の出力輝度Ｙ_fo2＝第１の顔の出力輝度算Ｙ_fo1となり、図５−１および図５−２を用いて説明した、顔無し用の補正量Ｐ_nfを求める場合と同様にして顔有り用の補正量Ｐ_fが求められる。一方、調整パラメータＥ＝１であれば、第２の顔の出力輝度Ｙ_fo2＝変換顔輝度ｇ(Ｙ_f)となり、顔の輝度Ｙ_fが、補正目標値である顔有り用のガンマテーブルｇ₂()による輝度ｇ₂(Ｙ_f)に補正される。

照明光成分Ｌをガンマ変換された変換照明光成分ｇ(Ｌ)に置き換えて明るさ補正を行う場合の利点は、コントラスト維持の効果を保ったまま、顔の輝度を補正目標値に近くなるように補正できることにある。この利点を生かすためには、調整パラメータＥを０.５付近の値に設定するのが適当であると考えられる。これに限らず、調整パラメータＥの値は、ユーザ操作などにより変更可能としてもよい。例えば、ユーザが、明るさ補正後の画像を確認しながら、調整パラメータＥの値を０乃至１の範囲で適宜調整できるようにする。

補正量決定部８において、輝度比算出部８１は、顔出力輝度決定部８２から出力された第２の顔の出力輝度Ｙ_fo2の、注目画素の輝度Ｙ_iに対する比Ｒを算出する。算出されたこの輝度比Ｒが、顔有り用の補正量Ｐ_fとして、補正量決定部８から出力されることになる。

輝度比算出部８１は、顔有り用の補正量Ｐ_fを、当該補正量Ｐ_fによる補正後の輝度が、式（１２）を用いて説明した第２の顔の出力輝度Ｙ_fo2になるように決定する。これにより、顔の輝度Ｙ_fが補正目標値に近い輝度に変換される。

式（１２）は、式（６）に基づく第1の出力輝度Ｙ_fo1（＝{ｇ(Ｌ)／Ｌ}×Ｙ_f）の項を含む。そのため、本第1の実施形態では、輝度比Ｒすなわち顔有り用の補正量Ｐ_fを、図５−２を用いて説明した顔無し用の補正量Ｐ_nfを求める場合と同様に、照明光成分Ｌと、顔の輝度Ｙ_fとの関係に基づき、場合分けをして求める。

図８は、輝度比算出部８１が輝度比Ｒを算出する際の一例の処理を示すフローチャートである。輝度比算出部８１は、照明光成分Ｌと顔の輝度Ｙ_fとを比較し、比較結果に基づき輝度比Ｒの算出方法を選択する。

図８において、輝度比算出部８１は、ステップＳ３０で、照明光成分Ｌと顔の輝度Ｙ_fとが一致するか否かを判定し、一致する（照明光成分Ｌ＝顔の輝度Ｙ_f）と判定されたら、処理をステップＳ３１に移行させ、第１の算出方法で輝度比Ｒを算出する。一方、ステップＳ３０で照明光成分Ｌと顔の輝度Ｙ_fとが一致しないと判定されたら、処理はステップＳ３２に移行される。ステップＳ３２で、輝度比算出部８１は、照明光成分Ｌが顔の輝度Ｙ_fを超えているか否かを判定し、超えている（照明光成分Ｌ＞顔の輝度Ｙ_f）と判定されたら、処理をステップＳ３３に移行させ、第２の算出方法で輝度比Ｒを算出する。一方、照明光成分Ｌが顔の輝度Ｙ_f未満である（照明光成分Ｌ＜顔の輝度Ｙ_f）と判定されたら、処理はステップＳ３４に移行され、第３の算出方法で輝度比Ｒを算出する。

図９−１乃至図９−５を用いて、上述した第１乃至第３の算出方法について説明する。図９−１は、顔の輝度Ｙ_fを補正目標値である変換顔輝度ｇ₂(Ｙ_f)に変換するガンマテーブルｇ₂()によるガンマ曲線の一例を示す。このように、ガンマテーブルｇ₂()によるガンマ曲線は、単調増加で上に凸の形状を有する。

図８のステップＳ３１における、第１の算出方法について説明する。照明光成分Ｌと顔の輝度Ｙ_fとが等しい場合には、下記の式（１３）に従い変換照明光成分ｇ₂(Ｌ)と照明光成分Ｌとの比を求め、輝度比Ｒすなわち顔有り用の補正量Ｐ_fとする。
Ｐ_f＝ｇ₂(Ｌ)／Ｌ …（１３）

図９−２は、第１の算出方法により算出される補正量Ｐ_fによる一例の補正を示す。図９−２で実線２０４で例示されるように、、照明光成分Ｌと顔の輝度Ｙ_fとが等しい場合には、注目画素の輝度Ｙ_iは、顔有り用のガンマテーブルｇ₂()に従い変換される。

図８のステップＳ３３における、第２の算出方法について説明する。この場合、注目画素の輝度Ｙ_i、顔の輝度Ｙ_fおよび照明光成分Ｌとの関係に基づき、下記に式（１４）、（１５）および（１６）として例示するように、３通りに場合分けを行って輝度比Ｒすなわち顔有り用の補正量Ｐ_fを求める。なお、以下において、輝度Ｙ_mは、照明光成分Ｌ＞顔の輝度Ｙ_fの場合の第２の顔の出力輝度Ｙ_fo2とする。

（ｄ）０≦Ｙ_i＜Ｙ_fの場合：
Ｐ＝Ｙ_m／Ｙ_f …（１４）

（ｅ）Ｙ_f≦Ｙ_i＜Ｌの場合：
Ｐ＝{(ｇ₂(Ｌ)−Ｙ_m)／(Ｌ−Ｙ_f)×(Ｙ_i−Ｙ_f)＋Ｙ_m}／Ｙ_i …（１５）

（ｆ）Ｌ≦Ｙ_i≦Ｙ_maxの場合：
Ｐ＝ｇ₂(Ｌ)／Ｌ …（１６）

なお、輝度Ｙ_maxは、画素が取り得る輝度の最大値、すなわち、入力画像(Ｒ_ｉ,Ｇ_ｉ,Ｂ_ｉ)の最大値を表す。

図９−３は、第２の算出方法により算出される補正量Ｐ_fによる一例の補正を示す。図９−３に実線２０５で例示されるように、照明光成分Ｌが顔の輝度Ｙ_fを超えている場合には、注目画素の輝度Ｙ_iは、顔の輝度Ｙ_fと照明光成分Ｌとを境界として、式（１４）、式（１５）および式（１６）に基づきそれぞれ変換される。

このように、第２の算出方法によれば、０≦Ｙ_i≦Ｌの入力輝度範囲で補正量が調整され、顔の輝度Ｙ_fが近似的に第２の顔の出力輝度Ｙ_fo2になるように補正することができるようになる。

図８のステップＳ３４における、第３の算出方法について説明する。この場合、注目画素の輝度Ｙ_i、顔の輝度Ｙ_fおよび照明光成分Ｌとの関係に基づき、下記に式（１７）、（１８）および（１９）として例示するように、３通りに場合分けを行って輝度比Ｒすなわち顔有り用の補正量Ｐ_fを求める。なお、以下において、輝度Ｙ_nは、照明光成分Ｌ＜顔の輝度Ｙ_fの場合の第２の顔の出力輝度Ｙ_fo2とする。

（ｇ）０≦Ｙ_i≦Ｌの場合：
Ｐ＝ｇ2(Ｌ)／Ｌ …（１７）

（ｈ）Ｌ＜Ｙ_i≦Ｙ_fの場合：
Ｐ＝{(ｇ₂(Ｌ)−Ｙ_n)／(Ｌ−Ｙ_f)×(Ｙ_i−Ｙ_f)＋Ｙ_n}／Ｙ_i …（１８）

（ｉ）Ｙ_f＜Ｙ_i≦Ｙ_maxの場合：
Ｐ＝[{(ｇ₂(Ｙ_f)／Ｙ_f×Ｙ_max)−Ｙ_n}／(Ｙ_max−Ｙ_f)×(Ｙ_i−Ｙ_f)＋Ｙ_n]／Ｙ_i …（１９）

図９−４は、第３の算出方法により算出される補正量Ｐ_fによる一例の補正を示す。図９−４に実線２０６で例示されるように、照明光成分Ｌが顔の輝度Ｙ_f未満である場合には、注目画素の輝度Ｙ_iは、顔の輝度Ｙ_fと照明光成分Ｌとをそれぞれ境界として、式（１７）、式（１８）および式（１９）に基づきそれぞれ変換される。

図９−５は、上述した図９−２乃至図９−４をまとめて示した図である。照明光成分Ｌの輝度が顔の輝度Ｙ_fと等しい場合には、注目画素の輝度Ｙ_iは、第１の算出方法に基づき、実線２０４に従い顔有り用のガンマテーブルｇ₂()に従い変換される。一方、照明光成分Ｌの輝度が顔の輝度Ｙ_fを超える輝度Ｙ_cの場合には、第２の算出方法に基づき、注目画素の輝度Ｙ_iが式（１４）〜式（１６）に基づく実線２０５に従い変換される。また、照明光成分Ｌの輝度が顔の輝度Ｙ_f未満の輝度Ｙ_aの場合には、第３の算出方法に基づき、注目画素の輝度Ｙ_iが式（１７）〜式（１９）に基づく実線２０６に従い変換される。

このように、第３の算出方法によれば、Ｌ＜Ｙ_i≦Ｙ_maxの入力輝度範囲で補正量が調整され、顔の輝度Ｙ_fが近似的に第２の顔の出力輝度Ｙ_fo2になるように補正することができるようになる。

上述したようにして、補正量決定部８で画素毎に算出された、顔有り用の補正量Ｐ_fまたは顔無し用の補正量Ｐ_nfは、明るさ補正部９に供給される。明るさ補正部９は、既に説明したように、補正量決定部８から供給された補正量Ｐ_fまたは補正量Ｐ_nfを、式（６）に従い入力画像(Ｒ_i,Ｇ_i,Ｂ_i)の各画素のＲＧＢ値それぞれに乗じることで、注目画素に対する明るさ補正を行う。

以上説明したように、本発明の第１の実施形態によれば、照明光成分をガンマテーブルを用いて変換した値で置き換えることにより入力画像に対する明るさ補正を行う。その際に、輝度ヒストグラムや顔の輝度といった入力画像の特徴に基づき設定されたガンマテーブルを、入力画像から低周波成分を抽出して予測した照明光成分に適用している。

これにより、注目画素の輝度と照明光成分とが等しい場合にはガンマテーブル通りの明るさ補正が行われる。また、注目画素の輝度と照明光成分とが異なる場合には、照明光成分が注目画素の輝度より高い場合にはより暗い方向に補正がなされ、照明光成分が注目画素の輝度より低い場合にはより明るい方向に補正がなされる。そのため、入力画像に対して直接的にガンマテーブルを適用する方法と比較して、画像全体の明るさを略同等に制御することができる。

また、本第１の実施形態によれば、主要被写体である顔の輝度周辺の補正量を、ガンマテーブル通りの補正量に近付けるようにしている。これにより、コントラストを維持し自然な明るさ補正が行える利点を生かしたまま、顔の明るさを狙いに近い明るさに補正することができ、総合的にバランスの良い明るさ補正が行える。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、従来技術で説明した照明光成分の置き換えによる明るさ補正に比べて、顔の輝度周辺でのコントラスト維持効果が減少するおそれがある。本第２の実施形態では、上述した第１の実施形態に対し、入力画像に顔が含まれる場合に当該顔の画像が逆光状態および順光状態の何れであるかの判定を行い、顔有り用の補正量Ｐ_fを、この逆光／順光の判定結果をさらに用いて決定することで、顔の輝度周辺でのコントラスト維持効果の減少を抑制する。

図１０は、本第２の実施形態による、顔有り用の補正量Ｐ_fを求める際の補正量決定部８の機能を示す一例の機能ブロック図である。なお、図１０において、上述した図６に示す構成と共通する部分には同一の符号を付し、詳細な説明を省略する。また、本第２の実施形態は、上述した第１の実施形態に対して顔有り用の補正量Ｐ_fの決定処理のみが異なるので、煩雑さを避けるために、第１の実施形態と共通する部分については説明を省略する。

図１０において、補正量決定部８は、輝度比算出部８１’および顔出力輝度決定部８２に加えて、顔位置の照明光成分抽出部８５および逆光／順光判定部８６を有する。顔位置照明光抽出部８５は、顔座標取得部２から出力された顔座標情報に基づき、照明光成分予測部５から供給された照明光成分Ｌから顔領域の中心位置（以下、顔位置と呼ぶ）における照明光成分Ｌ_fを抽出する。

顔位置照明光抽出部８５で抽出された顔位置の照明光成分Ｌ_fは、逆光／順光判定部８６に供給される。また、逆光／順光判定部８６には、顔輝度検出部３から出力された顔の輝度Ｙ_fが供給される。逆光／順光判定部８６は、これら顔位置の照明光成分Ｌ_fと、顔の輝度Ｙ_fとに基づき、顔が照明光よりも所定以上暗い場合に逆光と判定し、照明光が顔よりも所定以上明るい場合に順光と判定する。

より具体的には、逆光／順光判定部８６は、顔位置の照明光成分Ｌ_fと顔の輝度Ｙ_fとを比較する。比較の結果、顔位置の照明光成分Ｌ_fよりも顔の輝度Ｙ_fの方が小さく、且つ、顔位置の照明光成分Ｌ_fと顔の輝度Ｙ_fとの差分の絶対値が閾値以上である場合に、逆光であると判定する。一方、逆光／順光判定部８６は、顔位置の照明光成分Ｌ_fよりも顔の輝度Ｙ_fの方が大きく、且つ、顔位置の照明光成分Ｌ_fと顔の輝度Ｙ_fとの差分の絶対値が閾値以上である場合に、順光であると判定する。

また、逆光／順光判定部８６は、顔位置の照明光成分Ｌ_fよりも顔の輝度Ｙ_fの方が小さい場合と、顔位置の照明光成分Ｌ_fよりも顔の輝度Ｙ_fの方が大きい場合の何れにおいても、顔位置の照明光成分Ｌ_fと顔の輝度Ｙ_fとの差分の絶対値が閾値未満であれば、逆光および順光の何れでもないと判定する。

逆光／順光判定部８６による判定結果は、輝度比算出部８１’に供給される。また、顔出力輝度決定部８２は、上述した第１の実施形態の場合と同様に、式（１２）に従い第２の顔の出力輝度Ｙ_fo2を算出し、輝度比算出部８１’に供給する。

輝度比算出部８１’は、上述した第１の実施形態による顔有り用の補正量Ｐ_fの決定処理の際に用いる第２の顔の出力輝度Ｙ_fo2と、注目画素の輝度Ｙ_iと、照明光成分Ｌと、変換照明光成分ｇ(Ｌ)と、顔の輝度Ｙ_fと、変換顔輝度ｇ(Ｙ_f)とに加え、逆光／順光判定部８６による判定結果をさらに用いて、顔有り用の補正量Ｐ_fを算出する。

図１１は、本第２の実施形態における輝度比算出部８１’による、輝度比Ｒすなわち顔有り用の補正量Ｐ_fを算出する際の一例の処理を示すフローチャートである。輝度比算出部８１’は、逆光／順光判定部８６による判定結果と、照明光成分Ｌおよび顔の輝度Ｙ_fの比較結果とに基づき、顔有り用の補正量Ｐ_fの算出方法を、図８および図９−１乃至図９−５を用いて説明した第１、第２および第３の算出方法から選択する。

図１１において、輝度比算出部８１’は、ステップＳ４０で逆光／順光判定部８６の判定結果が逆光を示しているか否かを判定する。若し、逆光を示していると判定されたら、処理はステップＳ４１に移行され、顔の輝度Ｙ_fが照明光成分Ｌ以上であるか否かが判定される。若し、顔の輝度Ｙ_fが照明光成分Ｌ以上であると判定されたら、処理はステップＳ４２に移行され、上述した第１の算出方法により、式（１３）に従い顔有り用の補正量Ｐ_fを算出する。一方、ステップＳ４１で、顔の輝度Ｙ_fが照明光成分Ｌ未満であると判定されたら、処理はステップＳ４３に移行され、上述した第２の算出方法により、式（１４）〜式（１６）に従い顔有り用の補正量Ｐ_fを算出する。

すなわち、逆光／順光判定部８６により逆光と判定された場合、図１２−１に例示されるように、ガンマテーブルｇ₂()による曲線２１０の下側、つまり、照明光成分Ｌが顔の輝度Ｙ_fよりも明るい場合（Ｌ＞Ｙ_f）についてのみ、顔の輝度Ｙ_fが目標補正値である顔有り用のガンマテーブルｇ₂()による輝度ｇ₂(Ｙ_f)に近付くように、顔有り用の補正量Ｐ_fを調整する。

ステップＳ４０で、逆光／順光判定部８６の判定結果が逆光を示していないと判定されたら、処理はステップＳ４４に移行され、当該判定結果が順光を示しているか否かを判定する。若し、順光を示していると判定されたら、処理はステップＳ４５に移行され、照明光成分Ｌが顔の輝度Ｙ_f以上であるか否かが判定される。若し、照明光成分Ｌが顔の輝度Ｙ_f以上であると判定されたら、処理はステップＳ４６に移行され、第１の算出方法により顔有り用の補正量Ｐ_fを算出する。一方、ステップＳ４５で、照明光成分Ｌが顔の輝度Ｙ_f未満であると判定されたら、処理はステップＳ４７に移行され、上述した第３の算出方法により、式（１７）〜式（１９）に従い顔有り用の補正量Ｐ_fを算出する。

すなわち、逆光／順光判定部８６により順光と判定された場合、図１２−２に例示されるように、ガンマテーブルｇ₂()による曲線２１０の上側、つまり、照明光成分Ｌが顔の輝度Ｙ_fよりも暗い場合（Ｌ＜Ｙ_f）についてのみ、顔の輝度Ｙ_fが目標補正値である顔有り用のガンマテーブルｇ₂()による輝度ｇ₂(Ｙ_f)に近付くように、顔有り用の補正量Ｐ_fを調整する。

上述のステップＳ４４で、逆光／順光判定部８６の判定結果が順光を示していないと判定された場合、当該判定結果は、逆光および順光の何れでもないことを示している。この場合には、処理がステップＳ４８に移行され、第１の算出方法により顔有り用の補正量Ｐ_fが算出される。この場合には、顔有り用の補正量Ｐ_fの調整が行われないことになる。

以上説明したように、本第２の実施形態によれば、主要被写体である顔の輝度周辺の補正量を、顔有り用のガンマテーブル通りの補正量に近付けるように調整する処理を、逆光／順光を判定し、判定結果に応じて必要最小限に行うようにしている。そのため、上述した第１の実施形態と同様に顔の明るさを狙いに近い明るさに補正することができ、且つ、顔の輝度周辺でのコントラスト維持効果の減少を最小限に抑えることができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１および第２の実施形態では、入力画像に顔が含まれている場合に明るさ補正の補正量を調整することで、顔の輝度を補正目標値に近い明るさに補正するようにしていた。これに対して、本第３の実施形態では、顔の出力輝度を考慮してガンマテーブルを調整することにより、顔の輝度を補正目標値に近い明るさへ補正する。

図１３は、本第３の実施形態による画像処理装置の一例の構成を示す。なお、図１３において、上述した図１に示した構成と共通する部分には同一の符号を付し、詳細な説明を省略する。

図１３から分かるように、本第３の実施形態による画像処理装置は、図１に示した第１の実施形態による画像処理装置に対し、ガンマテーブル設定部４とは異なる構成のガンマテーブル設定部１０と、補正量決定部８とは異なる構成の補正量決定部１１がそれぞれ用いられる。また、顔輝度ガンマ変換部７が省略されている。ガンマテーブル設定部１０は、照明光成分Ｌ、顔座標情報および顔の輝度Ｙ_fに基づき、本第３の実施形態によるガンマテーブル調整を行う。

ガンマテーブル設定部１０による処理について、より詳細に説明する。ガンマテーブル設定部１０は、顔座標取得部２から出力される顔座標情報に基づき（ステップＳ１０）、上述した図２のフローチャートと同様にして、顔有り用のガンマ設定を行うのか（ステップＳ１１）、顔無し用のガンマ設定を行うのか（ステップＳ１２）を決定する。ステップＳ１２による顔無し用のガンマ設定は、上述した第１の実施形態において図４ならびに図５−１および図５−２を用いて説明した処理と同様に行うことができるため、ここでの説明を省略する。

ステップＳ１１の、顔有り用のガンマ設定処理の例について説明する。図１４は、顔有り用のガンマ設定を行うガンマテーブル設定部１０の機能を示す一例の機能ブロック図である。顔位置照明光成分抽出部１０１は、顔座標取得部２から供給される顔座標情報に基づき、入力画像の顔位置における照明光成分Ｌを求め、顔位置照明光成分Ｌ_fとして出力する。顔位置照明光成分Ｌ_fは、照明光ガンマ変換部１０２、顔出力輝度決定部１０３およびガンマテーブル調整部１０４にそれぞれ供給される。

顔輝度検出部３から出力された顔の輝度Ｙ_fがガンマテーブル設定部１０に入力され、仮ガンマテーブル設定部１０５、顔輝度ガンマ変換部１０６およびガンマテーブル調整部１０４にそれぞれ供給される。仮ガンマテーブル設定部１０５は、顔の輝度Ｙ_fが補正目標値に変換されるように、ガンマテーブルの値を設定する。ここで設定されるガンマテーブルを、仮ガンマテーブルと呼ぶ。この仮ガンマテーブルは、上述した第１の実施形態においてガンマテーブル設定部４で設定される、顔有り用のガンマテーブルｇ₂()と同一のものである。以下、仮ガンマテーブルを、関数ｇ₂()として表す。

仮ガンマテーブル設定部１０５で設定された仮ガンマテーブルｇ₂()は、顔位置照明光ガンマ変換部１０２、顔輝度ガンマ変換部１０６およびガンマテーブル調整部１０４にそれぞれ供給される。

照明光ガンマ変換部１０２は、顔位置照明光成分抽出部１０１から供給された顔位置照明光成分Ｌ_fを、仮ガンマテーブルｇ₂()を用いてガンマ変換し、変換顔位置照明光成分ｇ₂(Ｌ_f)とする。同様に、顔輝度ガンマ変換部１０６は、顔の輝度Ｙ_fを仮ガンマテーブルｇ₂()を用いてガンマ変換し、変換顔輝度ｇ₂(Ｙ_f)とする。変換顔位置照明光成分ｇ₂(Ｌ_f)および変換顔輝度ｇ₂(Ｙ_f)は、それぞれ顔出力輝度決定部１０３に供給される。

顔出力輝度決定部１０３は、顔の輝度Ｙ_f、顔位置照明光成分Ｌ_f、変換顔位置照明光成分ｇ₂(Ｌ_f)および変換顔輝度ｇ₂(Ｙ_f)を、上述した第１の実施形態における式（１１）に対応する下記の式（２０）に従い、注目画素の輝度Ｙ_i＝顔の輝度Ｙ_fに対する第１の顔の出力輝度Ｙ_fo1を求める。
Ｙ_fo1＝{ｇ(Ｌ_f)／Ｌ_f}×Ｙ_f …（２０）

顔出力輝度決定部１０３は、この第１の顔の出力輝度Ｙ_fo1を上述した式（１２）と同様の下記の式（２１）に適用して、第２の顔の出力輝度Ｙ_fo2を求める。なお、調整パラメータＥは、予め与えられる０≦Ｅ≦１の範囲の値である。調整パラメータＥを、ユーザが当該範囲内で設定可能としてもよい。
Ｙ_fo2＝(１−Ｅ)×Ｙ_fo1＋Ｅ×ｇ₂(Ｙ_f) …（２１）

顔出力輝度決定部１０３で求められた第２の顔の出力輝度Ｙ_fo2は、ガンマテーブル調整部１０４に供給される。ガンマテーブル調整部１０４は、上述の第１の実施形態で式（６）を用いて説明した、照明光成分Ｌの変換照明光成分ｇ(Ｌ)への置き換えによる明るさ補正が、後段の補正量決定部１１で行われることを見越してガンマテーブルの調整を行い、出力する。

すなわち、ガンマテーブル調整部１０４は、顔位置照明光成分Ｌ_f、第２の顔の出力輝度Ｙ_fo2および顔の輝度Ｙ_fに基づき、顔の輝度Ｙ_fが第２の顔の出力輝度Ｙ_fo2に補正されるように仮ガンマテーブルｇ₂()を調整して、関数ｇ₃()によるガンマテーブルｇ₃()を求める。これを、ガンマテーブル設定部１０の出力とする。

より具体的には、ガンマテーブル調整部１０４は、下記の式（２２）〜（２４）により、仮ガンマテーブルｇ₂()を調整してガンマテーブルｇ₃()を求める。

先ず、式（２２）に従い、顔位置照明光Ｌ_fがガンマテーブルｇ₃()で変換されるべき輝度ｇ₃(Ｌ_f)を求める。
ｇ₃(Ｌ_f)＝(Ｙ_fo2／Ｙ_f)×Ｌ_f …（２２）

次に、式（２３）に従い、顔位置照明光Ｌ_fがガンマテーブルｇ₃()で変換されるべき輝度ｇ₃(Ｌ_f)、ならびに、ガンマテーブルｇ₂()で変換される輝度ｇ₂(Ｌ_f)それぞれの顔位置照明光Ｌ_fとの差分の比の値ｋを求める。
ｋ＝(ｇ₃(Ｌ_f)−Ｌ_f)／(ｇ₂(Ｌ_f)−Ｌ_f) …（２３）

注目画素の輝度ａに対する調整後のガンマテーブルｇ₃()による出力値ｇ₃(ａ)は、上述の式（２３）で求めた比の値ｋを用いて、下記の式（２４）で求められる。
ｇ₃(ａ)＝(ｇ₂(ａ)−ａ)×ｋ＋ａ …（２４）

図１５−１および図１５−２は、ガンマテーブル調整部１０４により仮ガンマテーブルｇ₂()がガンマテーブルｇ₃()に変換される例を示す。顔の輝度Ｙ_f＜顔位置照明光Ｌ_fの場合、図１５−１に例示されるように、ガンマテーブルｇ₃()は、曲線２２１（実線で示す）で例示されるように、元のガンマテーブルｇ₂()に対してより上に凸の形状を有するガンマ曲線となる。

一方、顔の輝度Ｙ_f＞顔位置照明光Ｌ_fの場合、ガンマテーブルｇ₃()は、曲線２２２（実線で示す）で例示されるように、元のガンマテーブルｇ₂()に対して上への凸が抑えられた形状のガンマ曲線となる。

すなわち、ガンマテーブルｇ₃()の形状のみからいえば、顔の輝度Ｙ_fが顔位置の照明光成分Ｌ_fよりも小さい（暗い）場合には、図１５−１に曲線２２１として例示されるように、顔の輝度Ｙ_fを、仮ガンマテーブルｇ₂()により変換した場合よりも大きな値に変換するガンマテーブルになる。これは、換言すれば、補正目標値よりも明るい値に変換するガンマテーブルになるといえる。

一方、顔の輝度Ｙ_fが顔位置の照明光成分Ｌ_fよりも大きい（明るい）場合には、図１５−２に曲線２２２として例示されるように、顔の輝度Ｙ_fを仮ガンマテーブルｇ₂()により変換した場合よりも小さな値に変換するガンマテーブルになる。これは、換言すれば、補正目標値よりも暗い値に変換するガンマテーブルになるといえる。

また、顔の輝度Ｙ_fと顔位置照明光Ｌ_fとが等しい場合、仮ガンマテーブルｇ₂()とガンマテーブルｇ₃()とが一致する。この場合、仮ガンマテーブルｇ₂()に対する調整は行われないことになる。

ガンマテーブル調整部１０４で求められたガンマテーブルｇ₃()は、照明光ガンマ変換部６に供給される。照明光ガンマ変換部６は、照明光成分予測部５から供給された照明光成分Ｌを、ガンマテーブル設定部１０で設定されたガンマテーブルｇ₁()（顔無しの場合）またはｇ₃()（顔有りの場合）を用いて変換し、変換照明光成分ｇ(Ｌ)を得る。変換照明光成分ｇ(Ｌ)は、補正量決定部１１に供給される。

補正量決定部１１は、照明光成分予測部５から供給された照明光成分Ｌと、照明光ガンマ変換部６から供給された変換照明光成分ｇ(Ｌ)とから、第１の実施形態において説明した式（６）に従い、補正量Ｐを次式（２５）により求める。
Ｐ＝ｇ(Ｌ)／Ｌ …（２５）

顔位置における補正量Ｐは、Ｐ＝ｇ₃(Ｌ_f)／Ｌ_fとなり、式（２４）は、次式（２６）のようになる。
Ｐ_f＝ｇ₃(Ｌ_f)／Ｌ_f＝{(ｇ₂(Ｌ_f)−Ｌ_f)×ｋ＋Ｌ_f}／Ｌ_f …（２６）

式（２６）に上述した式（２３）を代入すると、次式（２７）のようになる。
Ｐ_f＝{(ｇ2(Ｌ_f)−Ｌ_f)×(ｇ₃(Ｌ_f)−Ｌ_f]／(ｇ₂(Ｌ_f)−Ｌ_f)＋Ｌ_f}／Ｌ_f＝ｇ₃(Ｌ_f)／Ｌ_f …（２７）

したがって、上述の式（２２）により、次式（２８）が導かれ、補正量Ｐが求められる。補正量Pを用いて明るさ補正を行うことにより、顔の輝度Ｙ_fが第２の顔の出力輝度Ｙ_fo2に補正される。
Ｐ_f＝Ｙ_fo2／Ｙ_f …（２８）

こうして求められた補正量Ｐ_f（または補正量Ｐ_nf）が明るさ補正部９に供給される。明るさ補正部９は、補正量決定部１１から供給されたこの補正量Ｐ_f（または補正量Ｐ_nf）を用いて、上述した式（５）に従い、注目画素に対する明るさ補正を行う。

以上、本第３の実施形態によれば、後段で照明光成分の置き換えによる明るさ補正が行われることを見越して、主要被写体である顔の出力輝度を考慮してガンマテーブルを調整するようにしている。これにより、コントラストを維持し自然な明るさ補正が行える利点を生かしたまま、顔を狙いに近い明るさに補正することができる。

また、上述した第１および第２の実施形態により補正量を調整する場合と比較して、画像全体の明るさが多少変化する一方で、第１および第２の実施形態のように、顔の輝度周辺でコントラスト維持効果が減少することがなく、コントラスト維持の点で優れている。

なお、上述の第１〜第３の実施形態では、顔を主要被写体と見做し、顔の有無によって処理を切り替える場合を例にとって説明したが、この発明はこれに限られるものではない。すなわち、本発明は、入力画像のうち顔以外の領域を主要被写体と見做して補正量Ｐを決定する場合にも適用可能なものである。

一例として、ユーザに主要被写体の領域を例えば矩形で指定させると共に、補正目標値を指定させる。そして、指定された主要被写体領域における輝度の平均値を主要被写体の輝度（上述した第１〜第３の実施形態における顔の輝度に相当）として、上述した第１〜第３の実施形態による補正量の決定方法を適用する。これにより、指定された主要被写体の輝度を、コントラストを維持しつつ、補正目標値に近い明るさに補正することが可能となる。

以上説明したように、本発明によれば、入力画像に含まれる顔などの主要被写体に対する補正目標値に基づいたガンマテーブルを設定し、入力画像から画素毎に予測された照明光成分に対して当該ガンマテーブルによる変換を行うようにしている。そのため、コントラストを維持し自然な明るさ補正が可能な照明光成分の置き換えによる明るさ補正の利点を生かしたまま、画像全体の明るさの制御を、入力画像に対してガンマテーブルを直接的に適用する方法と略同等に行うことができる。また、主要被写体の明るさと周辺の明るさとのコントラストが比較的小さければ、主要被写体の輝度は、ガンマテーブルによる変換値に近い値に変換されるので、主要被写体の明るさを狙いに近い明るさに補正することができる。

また、本発明の第１の実施形態によれば、注目画素の輝度が照明光成分と異なる場合であっても、注目画素の輝度が主要被写体の輝度と等しければ、注目画素の輝度を補正目標値に近い値になるように補正量を調整するようにしている。そのため、コントラストを維持し自然な明るさ補正が行える照明光成分の置き換えによる明るさ補正の利点を生かしたまま、主要被写体の明るさと周辺の明るさとのコントラストが比較的大きい場合も、主要被写体を狙いに近い明るさに補正することができる。

さらに、本発明の第１の実施形態によれば、主要被写体に対する補正目標値に基づいたガンマテーブルに従い変換した輝度と、照明光成分を当該ガンマテーブルに従い変換した変換照明成分で該照明成分を置き換えた場合の主要被写体の輝度とから主要被写体の出力輝度を求め、主要被写体の輝度が当該出力輝度になるように補正量を調整している。そのため、従来の照明光成分の置き換えによる明るさ補正に比べ、主要被写体の出力輝度を補正目標値により近づけることができる。

さらにまた、本発明の第１の実施形態によれば、主要被写体が上述の出力輝度に補正されるように主要被写体の輝度周辺の補正量を調整し、主要被写体の輝度周辺以外の輝度範囲では当該出力輝度に依存しない補正量を算出するため、主要被写体を狙いに近い明るさに補正し、かつ、主要被写体の輝度周辺以外の輝度範囲ではコントラストを維持することができる。

また、本発明の第２の実施形態によれば、主要被写体が逆光状態か順光状態かを判定し、判定結果に応じて主要被写体の輝度周辺の補正量を調整するため、主要被写体の輝度周辺におけるコントラスト維持効果の減少を抑制することができる。

さらに、本発明の第３の実施形態によれば、主要被写体の輝度成分を補正目標値に変換する仮ガンマテーブルを設定し、上述の出力輝度に応じて仮ガンマテーブルを調整してガンマテーブルを作成することで、後段で照明光成分の置き換えによる明るさ補正が行われることを見越してガンマテーブルを調整するようにしている。これにより、主要被写体を狙いに近い明るさに補正し、かつ、主要被写体の輝度周辺におけるコントラスト維持効果の減少が抑制された明るさ補正が行える。

＜他の実施形態＞
上述した本発明の第１、第２および第３の実施形態による画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ(Read Only Memory)やＲＡＭ(Random Access Memory)などの記憶装置と、ＨＤＤ（ハードディスクドライブ）、ディスク記録媒体のためのドライブ装置などの外部記憶装置とを備え、通常のコンピュータを利用したハードウェア構成となっている。これに限らず、当該画像処理装置は、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置とをさらに備えてもよい。

上述の各実施形態による画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、各実施形態による画像処理装置で実行される画像処理プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、各実施形態による画像処理装置で実行される画像処理プログラムをインターネットなどのネットワーク経由で提供または配布するように構成しても良い。

また、各実施形態による画像処理プログラムを、ＲＯＭなどに予め組み込んで提供するように構成してもよい。

上述の各実施形態による画像処理装置で実行される画像処理プログラムは、上述した各部（輝度変換部１、顔座標取得部２、顔輝度検出部３、ガンマテーブル設定部４または１０、照明光成分予測部５、照明光ガンマ変換部６、顔輝度ガンマ変換部７、補正量決定部８または１１、ならびに、明るさ補正部９）を含むモジュール構成となっており、実際のハードウェアとしては、ＣＰＵ（プロセッサ）が上述所記憶媒体から画像処理プログラムを読み出して実行することにより上述の各部が主記憶装置上にロードされ、輝度変換部１、顔座標取得部２、顔輝度検出部３、ガンマテーブル設定部４または１０、照明光成分予測部５、照明光ガンマ変換部６、顔輝度ガンマ変換部７、補正量決定部８または１１、ならびに、明るさ補正部９が主記憶装置上に生成されるようになっている。

１ 輝度変換部
２ 顔座標取得部
３ 顔輝度検出部
４，１０ ガンマテーブル設定部
５ 照明光成分予測部
６ 照明光ガンマ変換部
７ 顔輝度ガンマ変換部
８，１１ 補正量決定部
９ 明るさ補正部
８０，８１，８１’ 輝度比算出部
８２ 顔出力輝度決定部
８５，１０１ 顔位置照明光成分抽出部
８６ 逆光／順光判定部
１０４ ガンマテーブル調整部
１０５ 仮ガンマテーブル設定部

特開２００５−３９４０８号公報 特開２００５−５１４０７号公報 特開２００７−８２１８０号公報

Claims (11)

1. 入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定手段と、
   前記入力画像の照明光成分を画素毎に予測する予測手段と、
   前記照明光成分に対して前記ガンマテーブルによる変換を行う変換手段と、
   前記照明光成分と、前記変換手段で該照明光成分が変換された変換照明光成分との比を、前記入力画像の輝度を補正するための補正量として算出する算出手段と、
   前記算出手段で算出された前記補正量を用いて前記入力画像の輝度を画素毎に補正する補正手段と
   を有する
   ことを特徴とする画像処理装置。
2. 前記補正目標値と、前記主要被写体の輝度を前記照明光成分と前記変換照明光成分との比で補正した出力輝度とを所定の比率で合成した合成輝度を算出する合成輝度算出手段をさらに有し、
   前記算出手段は、
   該主要被写体の輝度を前記合成輝度に補正するための補正量を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、
   前記主要被写体の輝度が前記入力画像中の注目画素の前記照明光成分よりも小さい場合に、
   前記注目画素の輝度が、該注目画素の照明光成分よりも小さければ、該主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
   前記注目画素の輝度が該注目画素の前記照明光成分以上であれば、前記照明光成分と前記変換照明光成分との比を前記補正量として算出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記算出手段は、
   前記入力画像中の注目画素の前記照明光成分が前記主要被写体の輝度よりも小さい場合に、
   前記注目画素の輝度が該注目画素の前記照明光成分より大きければ、該主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
   前記注目画素の輝度が該注目画素の前記照明光成分以下であれば、前記照明光成分と前記変換照明光成分との比を前記補正量として算出する
   ことを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記主要被写体が逆光状態および順光状態の何れであるかを判定する判定手段をさらに有し、
   前記算出手段は、
   前記判定手段の判定結果が前記逆光状態を示していたら、前記照明光成分が前記主要被写体の輝度以上の場合に、前記主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
   前記判定手段の判定結果が前記順光状態を示していたら、前記照明光成分が前記主要被写体の輝度以下の場合に、前記主要被写体の輝度を前記合成輝度に補正する前記補正量を算出し、
   前記判定手段の判定結果が前記逆光状態および前記順光状態の何れも示していなければ、前記照明光成分と前記変換照明光成分との比を前記補正量として算出する
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記判定手段は、
   前記入力画像中の前記主要被写体位置での前記照明光成分と該主要被写体の輝度との差分が所定以上の場合に、
   前記入力画像中の前記主要被写体位置での前記照明光成分が該主要被写体の輝度より大きければ前記逆光状態であると判定し、
   前記入力画像中の前記主要被写体位置での前記照明光成分が該主要被写体の輝度より小さければ前記逆光状態であると判定し、
   前記入力画像中の前記主要被写体位置での前記照明光成分と該主要被写体の輝度との差分が所定未満の場合に、前記逆光状態および前記順光状態の何れでもないと判定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記補正目標値と、前記主要被写体の輝度を前記照明光成分と前記変換照明光成分との比で補正した出力輝度とを所定の比率で合成した合成輝度を算出する合成輝度算出手段をさらに有し、
   前記設定手段は、
   前前記主要被写体の輝度が、前記補正手段で前記補正量により前記合成輝度に補正されるように、前記ガンマテーブルを設定する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記設定手段は、
   前記主要被写体の位置における照明光成分を置き換えて該主要被写体の輝度を前記合成輝度に変換する変換主要被写体照明光成分を算出し、
   前記主要被写体の位置における照明光成分を前記変換主要被写体照明光成分に変換するガンマテーブルを設定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定ステップと、
   前記入力画像の照明光成分を画素毎に予測する予測ステップと、
   前記照明光成分に対して前記ガンマテーブルによる変換を行う変換ステップと、
   前記照明光成分と、前記変換手段で該照明光成分が変換された変換照明光成分との比を、前記入力画像の輝度を補正するための補正量として算出する算出ステップと、
   前記算出ステップで算出された前記補正量を用いて前記入力画像の輝度を画素毎に補正する補正ステップと
   を有する
   ことを特徴とする画像処理方法。
10. 入力画像に含まれる主要被写体に対する補正目標値に基づいたガンマテーブルを設定する設定ステップと、
    前記入力画像の照明光成分を画素毎に予測する予測ステップと、
    前記照明光成分に対して前記ガンマテーブルによる変換を行う変換ステップと、
    前記照明光成分と、前記変換手段で該照明光成分が変換された変換照明光成分との比を、前記入力画像の輝度を補正するための補正量として算出する算出ステップと、
    前記算出ステップで算出された前記補正量を用いて前記入力画像の輝度を画素毎に補正する補正ステップと
    をコンピュータに実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images