JP4602688B2 - 画像処理方法、画像処理装置およびそのプログラム - Google Patents

Description

本発明は、デジタルスチルカメラで撮影されたデジタル画像の信号値を補正する画像処理方法、画像処理装置およびそのプログラムに関するものである。

従来、身分証明書、各種免許証、パスポートなどに添付する証明用写真を作成する画像処理装置では、被写体（人物）の上半身像を撮影入力して印刷出力するようになっている。これらの画像処理装置では、入力条件が変動した場合においても同じ状態の印刷物が作成されるように、画像の補正が行なわれている。具体的には、マウスなどで画像の肌色領域を指定して、標準データと比較することにより、肌色を補正する方法が提案されている（例えば、特許文献１など）。

また、証明用写真を作成する画像処理装置では、顔が画面上に位置するエリアは椅子１５の高さ調節により一定範囲に撮影されるので、この位置データと肌色を有する画素エリアとを用いることにより自動的に補正する顔エリアを抽出して、顔エリアの色平均濃度を用いた特性値を算出する。そして、予め設定されている標準画像の顔エリアの色平均濃度と、抽出された顔エリアの色平均濃度とのずれ量に応じて補正係数が求め、この補正係数を用いて画像データを補正する方法が提案されている（例えば、特許文献２、特許文献３など）。

さらに、特許文献２では、顔エリアの他に着衣エリアを含めて特性値を算出し、顔エリアと着衣エリアとの特性値、例えば、色平均濃度を加重平均して顔エリアの特性値を重視した補正値を求める方法も提案されている。
特開平５−６８２６２号公報 特開平１０−２２１７７３号公報 特開２０００−２６１６５０公報

しかしながら、上述の各手法は再現しようとする記憶媒体のダイナミックレンジが広い画像の場合には画像を明るくする方向、暗くする方向ともに良好な結果が得られるが、デジタルスチルカメラで撮影された画像データのように８ビットの記憶レンジしか持たない画像では、Ｒ、Ｇ、Ｂ値は、０〜２５５の範囲でしか表されず、それを超えた情報は失われることになる。オーバー撮影されたような画像の顔の領域内にも（Ｒ、Ｇ、Ｂ）＝（255、255、255）を越えた領域が現れ、このような顔濃度を適正に補正しようとしてもグレーにしかならず好ましい画像に補正できるとは限らない。また、オーバー撮影されていない場合であっても、顔を含んだ画像を暗くする補正は顔がくすんだ画像にしかならない場合が多い。

そこで、本発明ではこの課題に鑑みて、デジタルスチルカメラなどで撮影して得られたデジタル画像の濃度補正を行う際、被写体の顔が潰れたり、くすんだりしないようにする画像処理方法、画像処理装置およびその方法を実行するプログラムを提供することを目的とするものである。

本発明の画像処理方法は、撮影して得られた撮影画像の平均信号値を所定の基準値に一致するように補正する画像処理方法において、
前記撮影画像から得られた平均信号値と前記所定の基準値とを比較して、前記撮影画像を明るくする補正であるか暗くする補正であるかを判定する判定ステップと、
該判定ステップにより前記撮影画像を明るくする補正であると判定されたときのみに、前記撮影画像の画素の信号値から所定の補正量補正した補正信号値を持つ補正画像を作成する補正ステップとを備え、
該補正ステップが、前記撮影画像の画素の信号値の表す明るさが所定の明るさ以上の信号値では、前記撮影画像の信号値の表す明るさが明るくなるに従い前記補正量を徐々に少なくするものであることを特徴とするものである。

また、本発明の画像処理装置は、撮影して得られた撮影画像の平均信号値を所定の基準値に一致するように補正する画像処理装置において、
前記撮影画像から得られた平均信号値と前記所定の基準値とを比較して、前記撮影画像を明るくする補正であるか暗くする補正であるかを判定する判定手段と、
該判定手段により前記撮影画像を明るくする補正であると判定されたときのみに、前記撮影画像の画素の信号値から所定の補正量補正した補正信号値を持つ補正画像を作成する補正手段とを備え、
該補正手段が、前記撮影画像の画素の信号値の表す明るさが所定の明るさ以上の信号値では、前記撮影画像の信号値の表す明るさが明るくなるに従い前記補正量を徐々に少なくするものであることを特徴とするものである。

また、本発明のプログラムは、撮影して得られた撮影画像の平均信号値を所定の基準値に一致するように補正する画像処理方法をコンピュータに実行させるためのプログラムであって、
前記撮影画像から得られた平均信号値と前記所定の基準値とを比較して、前記撮影画像を明るくする補正であるか暗くする補正であるかを判定する判定ステップと、
該判定ステップにより前記撮影画像を明るくする補正であると判定されたときのみに、前記撮影画像の画素の信号値から所定の補正量補正した補正信号値を持つ補正画像を作成する補正ステップとを備え、
該補正ステップが、前記撮影画像の画素の信号値の表す明るさが所定の明るさ以上の信号値では、前記撮影画像の信号値の表す明るさが明るくなるに従い前記補正量を徐々に少なくするものであることを特徴とするものである。

「撮影画像から得られた平均信号値」は、撮影画像全体の平均信号値であっても、撮影画像の一部の平均信号値であってもよい。

「信号値」は、輝度濃度、ＲＧＢ濃度、光量リニアな輝度値やＲＧＢ値等である。

また、該補正ステップは、前記補正信号値が明るい方向に飽和しないようにするものが望ましい。

また、前記撮影画像は、顔領域を含む画像であってもよい。

また、撮影画像から得られた平均信号値は、前記顔領域の平均信号値である方が望ましい。

また、前記補正量が、前記撮影画像の顔領域中の信号値が最も明るい信号値よりも明るい信号値を持つ画素の信号値は補正しないように決められることが望ましい。

本発明によれば、撮影画像から得られた平均信号値と基準値とを比較して、撮影画像を明るくする方向にのみ補正し、信号値が所定の明るさ以上のときには、補正量を徐々に少なくするようにしたり、補正信号値が明るい方向に飽和しないようにすれば、顔が白くつぶれることもなく、撮影画像を補正して適正な信号値に仕上げることができる。また、顔のような低濃度の領域が補正によりくすんだ画像になることもなくなる。

また、平均信号値が撮影画像に含まれる顔領域の平均信号値であれば、顔濃度が常に一定の状態になるように補正することが可能である。

また、撮影画像の顔領域中の信号値のうち最も明るい信号値を基準に補正するようにすれば、顔領域が白く潰れることがない。

以下、図面を参照して、本発明の画像処理方法を実施する画像処理装置の実施形態について説明する。

本発明の画像処理装置１は、図１に示すように、撮影画像Ｐ１を明るくする補正であるか暗くする補正であるかを判定する判定手段１０と、判定手段１０により撮影画像Ｐ１を明るくする補正であると判定されたときのみに、撮影画像Ｐ１の画素の信号値が基準値に近づくように補正した補正画像Ｐ２を作成する補正手段２０を備える。さらに、画像処理装置１は、撮影画像Ｐ１から顔領域を検出する顔領域検出手段３０を備える。

撮影画像Ｐ１は、デジタルスチルカメラなどで撮影されたデジタル画像データである。

判定手段１０は、撮影画像Ｐ１を基準値に近い画像となるように補正を行う際、撮影画像Ｐ１から得られた平均信号値と所定の基準値とを比較して、撮影画像Ｐ１を暗くする方向に補正するものか、明るくする方向に補正するものかを判定する。

補正手段２０は、撮影画像Ｐ１の平均信号値が基準値に近づくように、撮影画像Ｐ１の各画素の信号値Ｙから所定の補正量ｄＹを補正した補正信号値Ｘとなる補正画像Ｐ２を作成する。

顔検出手段３０は、撮影画像Ｐ１より顔らしい領域を顔領域として検出する。顔検出方法には特に限定はないが、一例として、肌色・円形状抽出による顔検出、顔輪郭・円形状抽出による顔検出、胴体・円形状抽出による顔検出、眼部（顔内部構造）・円形状抽出による顔検出、頭髪部抽出・円形状抽出による顔検出等が挙げられる（詳細は、本出願人に係る特開平８−１８４９２５号公報等を参照）。

ここで、本発明の画像処理装置１により撮影画像Ｐ１の信号値を補正する処理の動作について図２に基づいて説明する。ここでは、信号値を輝度濃度とし、輝度濃度を基準にして補正する場合について説明する。

撮影画像Ｐ１の補正は、撮影画像Ｐ１の平均濃度値を算出し、標準的な画像の基準値に近づくように撮影画像Ｐ１を補正するが、デジタル画像データは、所定のビット幅（例えば、８ビット）のレンジでしか画素の情報を持ち得ないため、オーバー撮影された顔のような領域では、量子化する際に、所定の輝度を越えた画素の画素値は全て（Ｒ、Ｇ、Ｂ）＝（２５５、２５５、２５５）となり、この値を越えた情報は失われることになる。そのため、暗くするほうに画素値を補正しても、オーバー撮影された顔の領域はグレーにしかならず良好な結果は得られない。そこで、撮影画像Ｐ１を基準値に近づくように補正する場合には明るくなる方向には補正を行なうが、暗くなる方向には補正を行なわないようにする。

まず、判定手段１０では、撮影画像Ｐ１を暗くする方に変化させるのか、明るくする方に変化させるのかを判定する。

まず、撮影画像Ｐ１の原画像からＲＧＢ濃度の画像と輝度値ＹのＹ濃度画像を作成する（Ｓ１、Ｓ２）。ＲＧＢ値をＹＣｒＣｂ値に変換する変換式は、
Y = 0.299R + 0.587G + 0.114B （１）
Cr = 0.500R - 0.419G - 0.081B （２）
Cb = -0.169R - 0.332G + 0.500B （３）
で与えられる。

そこで、撮影画像Ｐ１の濃度Ｙを算出して、撮影画像Ｐ１の平均濃度値Ｙ_averageを算出する（Ｓ３）。撮影画像Ｐ１は明るくなるような補正のみを行ない暗くなるような補正は行なわないようにするために、平均濃度値と基準値Ｙ_targetとを比較して、Ｙ_average＞Ｙ_targetの場合には補正を行い、Ｙ_average＜Ｙ_targetの場合には補正を行わないようにする。

補正手段２０では、Ｙ_average＞Ｙ_targetの場合にのみ補正を行い、補正画像Ｐ２の各画素の濃度値Ｘから補正量ｄＹを差し引いて、補正濃度値Ｘを、
Ｘ＝Ｙ−ｄＹ （４）
として求める。

また、補正量ｄＹは、基準値Ｙ_targetと平均濃度値Ｙ_averageから、
ｄＹ＝Ｙ_target − Ｙ_average （５）
とすることができる（Ｓ４）。また、被写体の顔領域の濃度が常に一定になるように補正するためには、（５）式の平均濃度値Ｙ_averageは、後述の顔検出手段３０により検出した顔領域の平均濃度値を用いるようにすればよい。

しかし、一律に明るくなるように補正をすると、低濃度のところ（図３(a)のＤの部分）では補正した濃度値が負の値となり、その部分は濃度値が０として扱われる。そのため、低濃度のところでは白く潰れる領域が現れることになる。

そこで、図３に示すように、濃度値Ｈ（＞ｄＹ）以下の低濃度のところは軟調化し、補正濃度値Ｘが０以下にならないように、補正量ｄＹを徐々に小さくする。例えば、全ての領域において白くつぶれる領域がないように、図３(b)に示すように補正量ｄＹ＝ｆ_１(Ｙ)を決めると、入力濃度（撮影画像Ｐ１）と出力濃度（補正画像Ｐ２）との関係はＬ_１のようになる（同図(a)参照）。あるいは、後述の顔検出手段３０により顔領域を検出し、検出された顔領域に存在する画素を基準に顔領域のデータが白く潰れないように、図４(b)に示すように顔領域中の最小濃度min−Yを基準に補正量ｄＹ＝ｆ_２(Ｙ)を決めると、入力濃度（撮影画像Ｐ１）と出力濃度（補正画像Ｐ２）との関係はＬ_２のようになる（同図(a)参照）。

そこで、顔検出手段３０で、例えば、肌色・円形状抽出による顔検出を行なう場合には、まず、撮影画像Ｐ１から肌色の抽出と円形状の抽出を行うことにより、顔領域を検出する（Ｓ５）。すなわち、撮影画像Ｐ１から各画素の色相および彩度を検出し、人の肌の肌色と推定できる画素領域（肌色領域）を抽出し、次いで、人の顔は一般的に楕円形であることから、抽出した肌色領域から人の顔であると推定される（楕）円形状を抽出して、これを顔領域候補とする。また、特開平８−１２２９４４号、特開平９−８０６５２号、特開平９−１０１５７９号、特開平９−１３８４７０号、特開平９−１３８４７１号等の各公報に開示される、各種の主要部抽出方法も利用することが可能である。

さらに、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像と学習した識別器を用いて、顔領域候補として抽出された領域が、真に顔領域であるの判別を行なう。

例えば、撮影画像Ｐ１の顔領域に対して図５（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して水平方向のエッジを検出し、撮影画像Ｐ１の顔領域Ｓ０に対して図５（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して垂直方向のエッジを検出する。そして、撮影画像Ｐ１上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図６に示すように、各画素における勾配ベクトルＫを算出する。このようにして算出された勾配ベクトルＫは、図７（ａ）に示すような人物の顔の場合、図７（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。

また、顔であることが分かっているサンプル画像に撮影されている目、頬の部分、額の部分の位置は顔の大きさに応じて略決まった位置に存在し、被写体による個体差は少ない。そこで、図７（ｂ）に示すように勾配ベクトルから右目と左目の中心位置を検出し、この右目と左目の中心位置を基準にして、抽出された顔領域の所定の位置に、図８に示すような、右目の中心となる位置Ｑ１、右側の頬の部分となる位置Ｑ２、額の部分となる位置Ｑ３および左側の頬のとなる位置Ｑ４を設定し、各位置おける勾配ベクトルＫを求め、この勾配ベクトルＫから得られる特徴量（例えば、勾配ベクトルＫの方向および大きさ）に基づいて、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像を用いて識別器の学習を行なう。

識別器は、例えば、正の値が得られる画像は顔である可能性が高く、負の値が得られる画像は顔でない可能性が高くなるように構成し、得られた値が高いものを顔領域であると判定する。

そこで、顔検出手段３０により得られた顔領域より、前述のように、濃度勾配より右目と左目の中心位置を検出し、図９に示すように、両目の中心位置間の距離Ｄを基準に一辺がＤの正方形内に存在する画素から前述の顔の平均濃度値や最小濃度値min−Yを求めることができる。

また、ＹＣｒＣｂ値からＲＧＢ値に逆変換する変換式は、
R= Y+1.402Cr （６）
G= Y-0.714Cr-0.344Cb （７）
B= Y+1.772Cb （８）
で与えられる。従って、撮影画像Ｐ２の濃度値Ｙを補正量ｄＹ分明るくした場合、撮影画像Ｐ２のＲＧＢ値（Ｒ、Ｇ、Ｂ）から補正画像Ｐ２のＲＧＢ値（Ｒ’、Ｇ’、Ｂ’）は、
R’＝R＋ｆ(Ｙ) （９）
G’＝G＋ｆ(Ｙ) （10）
B’＝B＋ｆ(Ｙ) （11）
但し、ｆ（） ： ｆ_１()またはｆ_２()
として求められる（Ｓ６）。

また、輝度と光学濃度との関係は、図１１に示す光学濃度曲線のようになる。人物が撮影された証明用写真などを補正する場合には、経験的に濃度値が0.4〜0.5の範囲になるように補正したものが望ましい。また、上述の軟調化する低濃度域の濃度値Ｈは光学濃度の値で0.7から1.0の間に設定したものが好ましい結果が得られる。

上述では、輝度濃度を基準として補正する場合について説明したが、ＲＧＢの各濃度に対しても上述と同様の補正をするようにしてもよい。例えば、Ｒ値、Ｇ値、Ｂ値の各平均信号値と各目標値から式（５）と同様に補正量を求め，ＲＧＢの補正量を図３(b)または図４(b）と同様に所定の濃度値以下の低濃度のところは軟調化し、
R’＝R＋ｆ(R) （12）
G’＝G＋ｆ(G) （13）
B’＝B＋ｆ(B) （14）
但し、ｆ（） ： ｆ_１()またはｆ_２()
として求めてもよい。

また、このとき、顔領域ではＲ値の濃度が低いため、顔領域中のＲ値の最小濃度値min-Rを求めて、Ｒ値に関しては最小濃度値min-R以上になるような補正（図４のＹ値をＲ値とし、min-Yをmin-Rとする）を行うようにすれば、より顔領域で潰れるケースが少なくなる。

さらに、上述では、８ビットの濃度軸上で補正を行う場合について説明を行ったが、光量リニアな信号軸上で補正を行うようにしてもよい。具体的には、通常の８ビットの輝度濃度Ｙ_8bitを光量リニア輝度信号値Ｙ_linearに変換する場合には、
Ｙ_linear＝｛（Ｙ_8bit/255＋0.055)/1.055｝^{１／０．４５} (15）
となり、光量リニア輝度信号Ｙ_linearから輝度濃度Ｙ_densityへの信号は、
Ｙ_density＝−log10(Ｙ_linear) (16）
となる。

この場合、光量リニア輝度信号値の補正量ｄＹ_linearは、基準値Ｙ_targetと平均信号値Ｙ_averageから、
ｄＹ_linear＝Ｙ_target ／ Ｙ_average (17)
として求められ、補正した光量リニア輝度信号値Ｘ_linearは、
Ｘ_linear＝Ｙ_linear・ｄＹ_linear (18）
となる。また、ｄＹ_linearは、図１０(b)に示すように、所定の信号値Ｈ以下のところは軟調化すると、入力信号（撮影画像Ｐ１）と出力信号（補正画像Ｐ２）との関係は同図(a)のＬのようになる。

上式（15）から(18)は、ＲＧＢについても同じ関係が得られ、ＲＧＢ濃度を光量リニアＲＧＢ信号で補正を行うようにしてもよい。

また、画像処理装置としては、上述の画像処理装置の各機能を実行可能なプログラムを記録媒体に記憶して、パソコンやワークステーション等のコンピュータにインストールしたものや、ネットワークを介してダウンロードしたプログラムをコンピュータにインストールしたものであってもよい。

以上詳細に説明したように、デジタルの画像の濃度を補正する際に、人物の顔に多く現れる低濃度のところでは軟調化し、全ての領域において白くつぶれる領域がないように補正を行うことが可能になる。

本発明の画像処理装置の概略構成を示す図 画像処理装置の処理の動作を説明するための図 濃度値の軟調化を示す図（その１） 濃度値の軟調化を示す図（その２） エッジ抽出フィルタの一例を表す図 勾配ベクトルを説明するための図 人物の顔上の勾配ベクトルの向きを表す図 顔の特徴を示す位置の一例を表す図 顔領域の平均濃度値を求める領域の一例を表す図 信号値の軟調化を示す図（その３） 光学濃度曲線の図

符号の説明

１ 画像処理装置
10 判定手段
20 補正手段
30 顔領域検出手段
P1 撮影画像
P2 補正画像

Claims (5)

1. 撮影して得られた撮影画像の平均信号値を所定の基準値に一致するように補正する画像処理方法において、
   前記撮影画像が、顔領域を含む画像であり、
   顔領域を判別する識別器を用いて、前記撮影画像から顔領域を検出する顔領域検出ステップと、
   前記撮影画像中の前記検出された顔領域から得られた平均信号値と前記所定の基準値とを比較して、前記撮影画像の顔領域を明るくする補正であるか暗くする補正であるかを判定する判定ステップと、
   該判定ステップにより前記撮影画像の顔領域を明るくする補正であると判定されたときのみに、前記顔領域の平均信号値が前記所定の基準値に一致するように前記撮影画像の画素の信号値から所定の補正量補正した補正信号値を持つ補正画像を作成する補正ステップとを備え、
   該補正ステップが、前記撮影画像の画素の信号値の表す明るさが所定の明るさ以上の信号値では、前記撮影画像の信号値の表す明るさが明るくなるに従い前記補正量を徐々に少なくして、該補正した信号値が明るい方向に飽和しないようにするものであることを特徴とする画像処理方法。
2. 前記補正量が、前記撮影画像の顔領域中の信号値が最も明るい信号値よりも明るい信号値を持つ画素の信号値は補正しないように決められることを特徴とする請求項１記載の画像処理方法。
3. 前記補正ステップが、信号値をＲＧＢ値で補正するものであり、前記顔領域中のＲ値の最小濃度値を求めて、前記撮影画像のＲ値が前記Ｒ値の最小濃度値以上になるような補正を行うことを特徴とする請求項１または２記載の画像処理方法。
4. 撮影して得られた撮影画像の平均信号値を所定の基準値に一致するように補正する画像処理装置において、
   前記撮影画像が、顔領域を含む画像であり、
   顔領域を判別する識別器を用いて、前記撮影画像から顔領域を検出する顔領域検出手段と、
   前記撮影画像中の前記検出された顔領域から得られた平均信号値と前記所定の基準値とを比較して、前記撮影画像の顔領域を明るくする補正であるか暗くする補正であるかを判定する判定手段と、
   該判定手段により前記撮影画像の顔領域を明るくする補正であると判定されたときのみに、前記顔領域の平均信号値が前記所定の基準値に一致するように前記撮影画像の画素の信号値から所定の補正量補正した補正信号値を持つ補正画像を作成する補正手段とを備え、
   該補正手段が、前記撮影画像の画素の信号値の表す明るさが所定の明るさ以上の信号値では、前記撮影画像の信号値の表す明るさが明るくなるに従い前記補正量を徐々に少なくして、該補正した信号値が明るい方向に飽和しないようにするものであることを特徴とする画像処理装置。
5. 撮影して得られた撮影画像の平均信号値を所定の基準値に一致するように補正する画像処理方法をコンピュータに実行させるためのプログラムにおいて、
   前記撮影画像が、顔領域を含む画像であり、
   顔領域を判別する識別器を用いて、前記撮影画像から顔領域を検出する顔領域検出ステップと、
   前記撮影画像中の前記検出された顔領域から得られた平均信号値と前記所定の基準値とを比較して、前記撮影画像の顔領域を明るくする補正であるか暗くする補正であるかを判定する判定ステップと、
   該判定ステップにより前記撮影画像の顔領域を明るくする補正であると判定されたときのみに、前記顔領域の平均信号値が前記所定の基準値に一致するように前記撮影画像の画素の信号値から所定の補正量補正した補正信号値を持つ補正画像を作成する補正ステップとを備え、
   該補正ステップが、前記撮影画像の画素の信号値の表す明るさが所定の明るさ以上の信号値では、前記撮影画像の信号値の表す明るさが明るくなるに従い前記補正量を徐々に少なくして、該補正した信号値が明るい方向に飽和しないようにするものであることを特徴とするプログラム。

Images