JP6844295B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

入力画像をHSV色空間画像に変換するHSV変換部、HSV色空間画像から照明光を分離して、この照明光成分についてレティネックス演算に基づく、階調補正を行う階調補正部、階調補正後のHSVデータを入力画像の色空間データに再変換する再変換部、を備え、HSV色空間に変換された入力画像の彩度データについて、照明光の値が小さい領域について彩度を低く調整する第１のモードと、照明光の値が小さい領域について彩度を高く調整する第２のモードが切り替え可能に構成されており、いずれかのモードを特定する選択命令が与えられると、選択されたモードに基づき、HSV変換部から与えられる彩度データを調整した調整後彩度データを再変換部に与える彩度調整部を有する階調補正装置は知られている（例えば、特許文献１参照）。

特開２０１４−２１１９１４号公報

ここで、ＨＳＶ色空間のように、明度を変えると色味も変わることがある色空間でレティネックス処理を行うと、照明色によっては少なくとも一部の領域の彩度が強調されて不自然に見えることがある。例えば、照明色の彩度が高い場合や照明色の色相が暖色系の色相に近い場合に、肌領域の彩度が強調されて不自然に見える等である。しかしながら、照明光の値が小さい領域について彩度を低く調整するか高く調整するかを切り替える構成を採用した場合には、照明色に応じて彩度を調整することができないので、照明色によって少なくとも一部の領域の彩度が強調されて不自然に見えることを抑制することはできない。

本発明の目的は、明度を変えると色味も変わることがある色空間でレティネックス処理を行う際に、照明光の値が小さい領域について彩度を低く調整するか高く調整するかを切り替えるよう構成された場合に比較して、照明色によって少なくとも一部の領域の彩度が強調されて不自然に見えることを抑制することにある。

請求項１に記載の発明は、原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、前記第２の明度画像と前記第２の色度画像とを合成する合成手段と、前記照明色を推定する推定手段とを備え、前記明度画像生成手段は、前記第１の明度画像から、当該第１の明度画像の照明成分を画素値とする照明画像を生成し、当該第１の明度画像と、当該照明画像とから、当該第１の明度画像の反射率成分を画素値とする反射率画像を生成し、少なくとも当該反射率画像から、前記第２の明度画像を生成し、前記推定手段は、前記原画像と、前記照明画像とから、前記照明色を推定することを特徴とする画像処理装置である。
請求項２に記載の発明は、原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、前記第２の明度画像と前記第２の色度画像とを合成する合成手段と、前記原画像から、人の肌を表す領域である肌領域を抽出する抽出手段とを備え、前記色度画像生成手段は、前記照明色に応じて、前記第１の色度画像の前記肌領域における彩度を調整することにより、前記第２の色度画像を生成することを特徴とする画像処理装置である。
請求項３に記載の発明は、原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、前記第２の明度画像と前記第２の色度画像とを合成する合成手段とを備え、前記色度画像生成手段は、前記照明色の色相が暖色系の色相に近いことを示す予め定められた条件が満たされる場合に、前記第１の色度画像の彩度が低くなるように、予め定められた調整量を用いて、前記第１の色度画像の前記少なくとも一部の領域における彩度を調整することを特徴とする画像処理装置である。
請求項４に記載の発明は、前記色度画像生成手段は、前記照明色の色相が暖色系の色相に近いほど、前記予め定められた調整量を大きくすることを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、前記第２の明度画像と前記第２の色度画像とを合成する合成手段とを備え、前記色度画像生成手段は、前記照明色の彩度が高く、かつ、前記照明色の色相が暖色系の色相に近いことを示す予め定められた条件が満たされる場合に、前記第１の色度画像の彩度が低くなるように、予め定められた調整量を用いて、前記第１の色度画像の前記少なくとも一部の領域における彩度を調整することを特徴とする画像処理装置である。
請求項６に記載の発明は、前記色度画像生成手段は、前記照明色の彩度が高いほど、かつ、前記照明色の色相が暖色系の色相に近いほど、前記予め定められた調整量を大きくすることを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、前記第２の明度画像と前記第２の色度画像とを合成する合成手段とを備え、前記色度画像生成手段は、前記原画像の前記少なくとも一部の領域の色が赤味が強いことを示す予め定められた条件が満たされる場合に、前記第１の色度画像の彩度が低くなるように、予め定められた調整量を用いて、前記第１の色度画像の前記少なくとも一部の領域における彩度を調整することを特徴とする画像処理装置である。
請求項８に記載の発明は、前記色度画像生成手段は、前記原画像の前記少なくとも一部の領域の色が赤味が強いほど、前記予め定められた調整量を大きくすることを特徴とする請求項７に記載の画像処理装置である。
請求項９に記載の発明は、原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、前記第２の明度画像と前記第２の色度画像とを合成する合成手段とを備え、前記色度画像生成手段は、第１の照明色の照明を用いて取得された前記原画像の色味が、当該第１の照明色の彩度よりも低い彩度及び当該第１の照明色の色相よりも暖色系の色相から遠い色相の少なくとも何れか一方を有する第２の照明色の照明を用いて取得された前記原画像の色味に近付くように、前記第１の色度画像を調整することを特徴とする画像処理装置である。
請求項１０に記載の発明は、コンピュータに、原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する機能と、前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する機能と、前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する機能と、前記第２の明度画像と前記第２の色度画像とを合成する機能と、前記原画像から、人の肌を表す領域である肌領域を抽出する機能とを実現させ、前記第２の色度画像を生成する機能は、前記照明色に応じて、前記第１の色度画像の前記肌領域における彩度を調整することにより、前記第２の色度画像を生成することを特徴とするプログラムである。

請求項１の発明によれば、照明色を入力する場合や、照明色をレティネックス処理とは関係なく推定する場合に比較して、照明色を効率的に把握することができる。
請求項２の発明によれば、明度を変えると色味も変わることがある色空間でレティネックス処理を行う際に、照明光の値が小さい領域について彩度を低く調整するか高く調整するかを切り替えるよう構成された場合に比較して、照明色によって特に肌領域の彩度が強調されて不自然に見えることを抑制することができる。
請求項３の発明によれば、明度を変えると色味も変わることがある色空間でレティネックス処理を行う際に、照明光の値が小さい領域について彩度を低く調整するか高く調整するかを切り替えるよう構成された場合に比較して、特に照明色の色相が暖色系の色相に近いことによって少なくとも一部の領域の彩度が強調されて不自然に見えることを抑制することができる。
請求項４の発明によれば、照明色の色相が暖色系の色相に近ければ少なくとも一部の領域の彩度を調整する場合に比較して、照明色の色相が暖色系の色相に近いことによってその領域の彩度が強調されて不自然に見えることを高精度に抑制することができる。
請求項５の発明によれば、明度を変えると色味も変わることがある色空間でレティネックス処理を行う際に、照明光の値が小さい領域について彩度を低く調整するか高く調整するかを切り替えるよう構成された場合に比較して、照明色の彩度が高く色相が暖色系の色相に近いことによって少なくとも一部の領域の彩度が強調されて不自然に見えることを抑制することができる。
請求項６の発明によれば、照明色の彩度が高く色相が暖色系の色相に近ければ少なくとも一部の領域の彩度を調整する場合に比較して、照明色の彩度が高く色相が暖色系の色相に近いことによってその領域の彩度が強調されて不自然に見えることを高精度に抑制することができる。
請求項７の発明によれば、照明色に応じて少なくとも一部の領域の彩度を一律に調整するよう構成された場合に比較して、少なくとも一部の領域の彩度が強調されて不自然に見えることを抑制することができる。
請求項８の発明によれば、少なくとも一部の領域の色が赤味が強ければその領域の彩度を調整する場合に比較して、その領域の色が赤味が強いことによってその領域の彩度が強調されて不自然に見えることを高精度に抑制することができる。
請求項９の発明によれば、明度を変えると色味も変わることがある色空間でレティネックス処理を行う際に、照明光の値が小さい領域について彩度を低く調整するか高く調整するかを切り替えるよう構成された場合に比較して、照明色の彩度が高いこと及び照明色の色相が暖色系の色相に近いことの少なくとも何れか一方によって少なくとも一部の領域の彩度が強調されて不自然に見えることを抑制することができる。
請求項１０の発明によれば、明度を変えると色味も変わることがある色空間でレティネックス処理を行う際に、照明光の値が小さい領域について彩度を低く調整するか高く調整するかを切り替えるよう構成された場合に比較して、照明色によって特に肌領域の彩度が強調されて不自然に見えることを抑制することができる。

本発明の第１の実施の形態における画像処理装置の機能構成例を示したブロック図である。 多層画像生成部が明度画像から多層画像を生成する様子を示した図である。 （ａ）〜（ｃ）は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。 照明色の彩度Ｓ_{ＬＩＧＨＴ}及び照明色の色相Ｈ_{ＬＩＧＨＴ}を２軸とするグラフ上に重みｗを異ならせる領域を示した図である。 照明色の彩度Ｓ_{ＬＩＧＨＴ}と重みとの関係を示す関数ｆ（Ｓ_{ＬＩＧＨＴ}）のグラフである。 照明色の色相Ｈ_{ＬＩＧＨＴ}と重みとの関係を示す関数ｇ（Ｈ_{ＬＩＧＨＴ}）のグラフである。 本発明の第１の実施の形態における画像処理装置の動作例を示したフローチャートである。 本発明の第２の実施の形態における画像処理装置の機能構成例を示したブロック図である。 肌色特性値ｔと肌色補正量ｚ（ｔ）との関係を示すグラフである。 本発明の第２の実施の形態における画像処理装置の動作例を示したフローチャートである。 本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置１０は、色空間変換部１１と、照明成分推定部１２と、反射率成分推定部１３と、視認性再現部１４と、肌領域抽出部１５と、照明色推定部１６と、色調整部１８と、再合成部１９とを備える。尚、ここでは、原画像のプレーンがＲＧＢの３プレーンであるものとして説明する。

色空間変換部１１は、ＲＧＢ色空間における原画像（ＲＧＢ画像）を、例えばＨＳＶ色空間における明度画像（Ｖ画像）及び色度画像（ＨＳ画像）に変換する。このような色空間の変換は、数式１に示すような一般的な変換式を用いて行ってもよいし、ＤＬＵＴ等の変換テーブルを用いて行ってもよい。

本実施の形態では、原画像の明度を表す画像である第１の明度画像の一例として、明度画像を用いており、原画像の色度を表す画像である第１の色度画像の一例として、色度画像を用いている。また、原画像を第１の明度画像及び第１の色度画像に変換する変換手段の一例として、色空間変換部１１を設けている。

照明成分推定部１２は、明度画像の位置（ｘ，ｙ）に対する画素値をＩ（ｘ，ｙ）、照明成分をＩ_Ｌ（ｘ，ｙ）とすると、Ｉ（ｘ，ｙ）に基づいてＩ_Ｌ（ｘ，ｙ）を推定する（以下、この推定された照明成分の画像を「照明推定画像」という）。視覚認知の１つの特性として、網膜に入った光の１点（画像では１つの画素）の知覚量は、その１点の周辺輝度の平均に影響することが知られている。周辺輝度は推定された照明成分に相当し、照明成分の推定は、例えば、移動平均法又は以下のガウス関数で表されるコンボリューションを行うことにより実施される。

ここで、ｘ，ｙはある画素の位置を表し、ｋは画像処理のフィルタサイズの画素分で積分した場合に結果が１になるように正規化する係数を表し、σは平滑化度合い（スケール）を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式２を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

レティネックス原理によれば、人の視覚特性は、注目領域の周辺から照明光を推定していることが知られている。従って、平滑化した画像は、推定された照明光を表すことになる。しかしながら、シーンによって適するスケールが異なるため、例えば、照明光の推定は、以下のようにスケール１からスケールＮまでのＮ層の画像の加重合計をとるのが望ましい。

ここで、Ｉ_Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｇ_ｎ（ｘ，ｙ）はスケールｎに対する数式２を表し、Ｉ（ｘ，ｙ）は明度画像の画素値を表し、Ｗ_ｎはスケールｎに対する重みを表し、「×」を「○」で囲んだ記号は畳み込みを表す。尚、Ｗ_ｎは、簡易的に１／Ｎとしてもよいし、層に応じて可変としてもよい。

尚、照明成分推定部１２内の多層画像生成部１２０による多層画像の生成の様子を図２に示す。図２には、明度を表すＶプレーンから、多層画像として、スケール１からスケールＮまでのＮ層の画像が生成される例を示している。ここで、スケール１、スケール２、・・・、スケールＮの層は、数式２のσを変化させることにより得られる層であるため、平滑化度合いが異なることになる。図３（ａ）〜（ｃ）に示すように、σを変化させると画像の周波数が変化する。具体的には、（ａ）に示すようにσが小さいと高周波になり、（ｃ）に示すようにσが大きいと低周波になり、（ｂ）に示すようにσが中程度だと周波数も中程度になる。

また、ここでは、ＭＳＲ（Multi-Scale Retinex）で用いられる複数のスケールの層の画像から照明推定画像を生成したが、ＳＳＲ（Single-Scale Retinex）で用いられる１つのスケールの層の画像をそのまま照明推定画像としても構わない。

本実施の形態では、原画像の照明成分を画素値とする照明画像の一例として、照明推定画像を用いており、明度画像生成手段の照明画像を生成する部分の一例として、照明成分推定部１２を設けている。

反射率成分推定部１３は、反射率成分をＩ_Ｒ（ｘ，ｙ）とすると、明度画像の画素値Ｉ（ｘ，ｙ）と照明成分Ｉ_Ｌ（ｘ，ｙ）とに基づいて、以下のようにＩ_Ｒ（ｘ，ｙ）を推定する（以下、この推定された反射率成分の画像を「反射率推定画像」という）。

本実施の形態では、原画像の反射率成分を画素値とする反射率画像の一例として、反射率推定画像を用いており、明度画像生成手段の反射率画像を生成する部分の一例として、反射率成分推定部１３を設けている。

視認性再現部１４は、レティネックスの再現処理を行う。この再現処理は、例えば、数式５の再現式を用いて行うとよい。即ち、視認性再現部１４は、明度画像の反射率成分を強調した反射率強調画像を再現する。

ここで、Ｉ（ｘ，ｙ）は明度画像の画素値を表し、Ｉ_Ｒ（ｘ，ｙ）は反射率推定画像の画素値を表し、Ｉ＾（ｘ，ｙ）は反射率強調画像の画素値を表す。また、αは反射率成分を強調するための再現パラメータである。Ｉ＾（ｘ，ｙ）は、α＝０の場合、明度画像の画素値そのものとなり、α＝１の場合、反射率成分そのものとなる。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

また、レティネックス再現式は幾つか提案されているが、反射率成分の重みを変えるようなものであれば、如何なる再現式を用いても構わない。例えば以下のような式を用いてもよい。

ここで、αは反射率のゲインを表すパラメータであり、γは再現式の切片を表すパラメータである。図１は、視認性再現部１４が明度画像を用いて反射率強調画像を生成する場合について示したが、この数式６を用いた場合、視認性再現部１４は明度画像を用いずに反射率強調画像を生成することになる。

本実施の形態では、視認性向上処理の一例として、レティネックス処理を用いており、第２の明度画像の一例として、反射率強調画像を用いている。また、明度画像生成手段の第２の明度画像を生成する部分の一例として、視認性再現部１４を設けている。

肌領域抽出部１５は、原画像中から人の肌を表す領域（以下、「肌領域」という）を抽出する。肌領域の抽出は、代表的な肌の値に近い画素を抽出する方法や、オブジェクト認識等で人間を認識してその情報と色情報とを用いて抽出する方法等、如何なる方法を用いて行ってもよい。

本実施の形態では、原画像から肌領域を抽出する抽出手段の一例として、肌領域抽出部１８を設けている。

照明色推定部１６は、照明成分推定部１２により推定された照明推定画像の画素値と原画像の画素値との加重平均をとることにより、照明色を推定する。推定した照明色は、数式７で表される。

ここで、Ｉ_Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｉ_Ｃ（ｘ，ｙ）は原画像の画素のＲＧＢの各成分を表し、Ｎは原画像内の画素数（照明推定画像内の画素数も同じ）を表し、Ｌ_Ｃは推定した照明色のＲＧＢの各成分を表す。このようにＬ_ＣはＲＧＢの各値となっているため、数式１を用いてこれをＨＳＶの各値に変換し、そのうちＨ値及びＳ値を照明色として扱うとよい。

尚、照明色としては、本方法で推定したものに限らず、グレー仮説等の理論や照明光と物体の物理的な特性を利用した手法、或いはニューラルネットワーク等を用いて算出したものを用いてもよい。

本実施の形態では、照明色を推定する推定手段の一例として、照明色推定部１６を設けている。

色調整部１８は、肌領域抽出部１５により抽出された肌領域について、色空間変換部１１による変換後の色度画像の彩度を、照明色推定部１６により推定された照明色に応じて調整することにより、彩度調整画像を生成する。つまり、色度画像の彩度をＳ、照明色に応じて彩度を制御する重みをｗ、彩度調整画像の彩度をＳ’とすると、Ｓ’は数式８のように表される。

ここで、図４を参照すると、重みｗは、照明色の彩度Ｓ_{ＬＩＧＨＴ}が高く、かつ、照明色の色相Ｈ_{ＬＩＧＨＴ}が赤からオレンジに略相当する暖色系に近い領域（領域Ａ）ほど小さく、その領域から離れた領域（例えば、領域Ｂ，Ｃ）ほど大きくなるようにするとよい。尚、このような重みｗと色相Ｈ_{ＬＩＧＨＴ}及び彩度Ｓ_{ＬＩＧＨＴ}との関係は、ＬＵＴとして定義しておくとよい。

また、図４には、各領域内での重みｗの設定方法について示さなかったが、如何なる設定方法を採用してもよい。例えば、領域Ａ内では、彩度Ｓ_{ＬＩＧＨＴ}及び色相Ｈ_{ＬＩＧＨＴ}の如何なる組み合わせに対しても同じ重みｗを設定してよい。この場合、彩度Ｓ_{ＬＩＧＨＴ}及び色相Ｈ_{ＬＩＧＨＴ}の組み合わせが領域Ａ内にあることは、照明色の彩度が高く、かつ、照明色の色相が暖色系の色相に近いことを示す予め定められた条件の一例であり、同じ重みｗを用いた場合の彩度Ｓの変化量は、予め定められた調整量の一例である。

或いは、図５に示すように、彩度Ｓ_{ＬＩＧＨＴ}が高いほど重みが小さくなる関数ｆ（Ｓ_{ＬＩＧＨＴ}）と、図６に示すように、色相Ｈ_{ＬＩＧＨＴ}が赤からオレンジに略相当する暖色系の色相の場合に重みが最も小さくなり、その色相から離れるほど重みが大きくなる関数ｇ（Ｈ_{ＬＩＧＨＴ}）とを定義し、これらの関数を用いて重みｗを算出してもよい。この場合、重みｗは、数式９で表すことができる。

尚、関数としては、上記特性を有するものであれば如何なる関数を用いてもよい。

また、図５では、彩度Ｓ_{ＬＩＧＨＴ}が高いほど重みが小さくなるようにしているが、彩度Ｓ_{ＬＩＧＨＴ}の高さが閾値以上である場合には、如何なる彩度Ｓ_{ＬＩＧＨＴ}に対しても同じ重みを設定してよい。この場合、彩度Ｓ_{ＬＩＧＨＴ}の高さが閾値以上であることは、照明色の彩度が高いことを示す予め定められた条件の一例であり、同じ重みを用いた場合の彩度Ｓの変化量は、予め定められた調整量の一例である。

更に、図６では、色相Ｈ_{ＬＩＧＨＴ}が暖色系の色相に近いほど重みが小さくなるようにしているが、色相Ｈ_{ＬＩＧＨＴ}の暖色系の色相への近さが閾値以上である場合には、如何なる色相Ｈ_{ＬＩＧＨＴ}に対しても同じ重みを設定してよい。この場合、色相Ｈ_{ＬＩＧＨＴ}の暖色系の色相への近さが閾値以上であることは、照明色の色相が暖色系の色相に近いことを示す予め定められた条件の一例であり、同じ重みを用いた場合の彩度Ｓの変化量は、予め定められた調整量の一例である。

本実施の形態では、第２の色度画像の一例として、彩度調整画像を用いており、第２の色度画像を生成する色度画像生成手段の一例として、色調整部１８を設けている。

再合成部１９は、視認性再現部１４により再現された反射率強調画像と、色調整部１８により生成された彩度調整画像とを合成することにより、再現画像を生成する。

本実施の形態では、第２の明度画像と第２の色度画像とを合成する合成手段の一例として、再合成部１９を設けている。

図７は、本発明の第１の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

原画像が入力されると、まず、色空間変換部１１が、原画像に対して原画像の色空間から明度及び色度の色空間への色変換を行うことにより、明度画像及び色度画像を生成する（ステップ１０１）。

次に、照明成分推定部１２が、図２に示したように、ステップ１０１で生成された明度画像から、複数の平滑化された画像を含む多層画像を生成し、これらの多層画像を用いて、照明推定画像を生成する（ステップ１０２）。

次いで、反射率成分推定部１３が、ステップ１０１で生成された明度画像と、ステップ１０２で生成された照明推定画像とに基づいて、反射率推定画像を生成する（ステップ１０３）。

その後、視認性再現部１４が、ステップ１０１で生成された明度画像と、ステップ１０３で生成された反射率推定画像とに基づいて、反射率強調画像を生成する（ステップ１０４）。尚、ここでは、数式５を用いて反射率強調画像を生成する場合を想定して明度画像を用いることとしたが、数式６を用いて反射率強調画像を生成する場合は、ステップ１０４で明度画像を用いなくてもよい。

一方で、肌領域抽出部１５が、原画像から肌領域を抽出する（ステップ１０５）。ここで、ステップ１０５はステップ１０４の後に実行されることとしたが、原画像が入力された後であれば、如何なるタイミングで実行されてもよい。

また、照明色推定部１６が、原画像と、ステップ１０２で生成された照明推定画像とから、照明色を推定する（ステップ１０６）。ここで、ステップ１０６はステップ１０５の後に実行されることとしたが、ステップ１０２が実行された後であれば、如何なるタイミングで実行されてもよい。

その後、色調整部１８が、ステップ１０５で抽出された肌領域について、ステップ１０１で生成された色度画像の彩度を、ステップ１０６で推定された照明色に応じて調整することにより、彩度調整画像を生成する（ステップ１０７）。

最後に、再合成部１９が、ステップ１０４で生成された反射率強調画像と、ステップ１０７で生成された彩度調整画像とを再合成することにより、再現画像を生成する（ステップ１０８）。

尚、第１の実施の形態において、色調整部１８は、肌領域について、色度画像の彩度を調整するようにしたが、これには限らない。人の肌を表さないが肌色に類似する色の領域や、肌色以外の領域について、色度画像の彩度を調整するようにしてもよい。つまり、色調整部１８は、少なくとも一部の領域について、色度画像の彩度を調整するものとしてよい。

また、第１の実施の形態において、色調整部１８は、照明色を推定することにより把握するようにしたが、これには限らない。例えば、ユーザの色温度等による指定を受け付けることにより把握するようにしてもよい。

更に、第１の実施の形態において、色調整部１８は、照明の彩度Ｓ_{ＬＩＧＨＴ}が高いほど、かつ、照明の色相Ｈ_{ＬＩＧＨＴ}が暖色系の色相に近いほど、重みｗが小さくなるようにしたが、これには限らない。照明の色相Ｈ_{ＬＩＧＨＴ}に関係なく、照明の彩度Ｓ_{ＬＩＧＨＴ}が高いほど重みｗが小さくなるようにしてもよいし、照明の彩度Ｓ_{ＬＩＧＨＴ}に関係なく、照明の色相Ｈ_{ＬＩＧＨＴ}が暖色系の色相に近いほど重みｗが小さくなるようにしてもよい。

［第２の実施の形態］
第１の実施の形態では、抽出した肌領域について、照明色に応じて一律に彩度を調整したが、第２の実施の形態では、抽出した肌領域について、肌色の特性値（以下、「肌色特性値」という）も考慮して彩度を調整する。

図８は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置１０は、色空間変換部１１と、照明成分推定部１２と、反射率成分推定部１３と、視認性再現部１４と、肌領域抽出部１５と、照明色推定部１６と、肌色補正量解析部１７と、色調整部１８と、再合成部１９とを備える。ここで、色空間変換部１１、照明成分推定部１２、反射率成分推定部１３、視認性再現部１４、肌領域抽出部１５、照明色推定部１６及び再合成部１９については、第１の実施の形態と同じなので説明を省略し、以下では、肌色補正量解析部１７及び色調整部１８についてのみ説明する。

肌色補正量解析部１７は、抽出した肌領域について、肌色特性値を考慮した補正量（以下、「肌色補正量」という）を算出する。肌色においてはＧ信号やＢ信号よりもＲ信号が高くなることが多いため、Ｒ信号を分母にしたＧ／Ｒ又はＢ／Ｒを肌色特性値として、肌色補正量を算出する。具体的には、Ｇ／Ｒ又はＢ／Ｒをｔとし、肌色補正量をｚ（ｔ）とすると、図９に示すように、ｔが小さいほど、赤味が強くなるため、ｚ（ｔ）を小さくし、ｔが大きいほど、ｚ（ｔ）を大きくすればよい。ここで、図９に示した関数としては、例えば、数式１０で表されるロジスティック関数を用いることできる。但し、これはあくまで一例であり、ｔが小さいほどｚ（ｔ）が小さくなり、ｔが大きいほどｚ（ｔ）が大きくなるものであれば、如何なる関数を用いてもよい。

ここで、ｋ１及びｋ２は、定数を表すものとする。

或いは、ｔが小さいほど、赤味が強くなるため、ｚ（ｔ）を小さくし、ｔが中間の値のときにｚ（ｔ）が最も高くなるようにしてもよい。その場合、ｚ（ｔ）としては、例えば、上に凸の二次関数等を用いればよい。

また、ｚ（ｔ）としては、抽出された肌領域の全画素についての肌色特性値を考慮した補正量の平均値を算出し、これを肌領域の全体についての肌色補正量として用いてもよい。或いは、抽出された肌領域の各画素についての肌色特性値を考慮した補正量を算出し、これを肌領域の画素ごとの肌色補正量として用いてもよい。

色調整部１８は、肌領域抽出部１５により抽出された肌領域について、色空間変換部１１による変換後の色度画像の彩度を、照明色推定部１６により推定された照明色に応じて調整することにより、彩度調整画像を生成する。つまり、色度画像の彩度をＳ、照明色に応じて彩度を制御する重みをｗ、彩度調整画像の彩度をＳ’とすると、Ｓ’は、第１の実施の形態と同様に、数式１１のように表される。

但し、第２の実施の形態では、肌色補正量解析部１７により算出された肌色補正量ｚ（ｔ）と、彩度Ｓ_{ＬＩＧＨＴ}が高いほど重みが小さくなる関数ｆ（Ｓ_{ＬＩＧＨＴ}）と、色相Ｈ_{ＬＩＧＨＴ}が赤からオレンジに略相当する暖色系の色相の場合に重みが最も小さくなり、その色相から離れるほど重みが大きくなる関数ｇ（Ｈ_{ＬＩＧＨＴ}）とを定義し、これらの関数を用いて重みｗを算出する。この場合、重みｗは、数式１２で表すことができる。

尚、関数としては、上記特性を有するものであれば如何なる関数を用いてもよい。

また、図９では、肌色特性値ｔが小さいほど重みが小さくなるようにしているが、肌色特性値ｔの大きさが閾値以下である場合には、如何なる肌色特性値ｔに対しても同じ肌色補正量ｚ（ｔ）を設定してよい。この場合、肌色特性値ｔの大きさが閾値以下であることは、肌領域の色が赤味が強いことを示す予め定められた条件の一例であり、同じ肌色補正量ｚ（ｔ）を用いた場合の彩度Ｓの変化量は、予め定められた調整量の一例である。

本実施の形態では、第２の色度画像の一例として、彩度調整画像を用いており、第２の色度画像を生成する色度画像生成手段の一例として、色調整部１８を設けている。

図１０は、本発明の第２の実施の形態における画像処理装置１０の動作例を表すフローチャートである。ここで、ステップ１５１〜１５６は、図７のステップ１０１〜１０６と同じなので説明を省略し、以下では、ステップ１５７以降について説明する。

ステップ１５６で照明色が推定されると、肌色補正量解析部１７は、ステップ１５５で抽出された肌領域について、肌色補正量を算出する（ステップ１５７）。ここで、ステップ１５７はステップ１５６の後に実行されることとしたが、ステップ１５５が実行された後であれば、如何なるタイミングで実行されてもよい。

その後、色調整部１８が、ステップ１５５で抽出された肌領域について、ステップ１５１で生成された色度画像の彩度を、ステップ１５６で推定された照明色に応じて、かつ、ステップ１５７で算出された肌色補正量を用いて、調整することにより、彩度調整画像を生成する（ステップ１５８）。

最後に、再合成部１９が、ステップ１５４で生成された反射率強調画像と、ステップ１５８で生成された彩度調整画像とを再合成することにより、再現画像を生成する（ステップ１５９）。

尚、第２の実施の形態において、色調整部１８は、肌領域について、色度画像の彩度を調整するようにしたが、これには限らない。人の肌を表さないが肌色に類似する色の領域や、肌色以外の領域について、色度画像の彩度を調整するようにしてもよい。つまり、色調整部１８は、少なくとも一部の領域について、色度画像の彩度を調整するものとしてよい。

また、第２の実施の形態において、色調整部１８は、照明色を推定することにより把握するようにしたが、これには限らない。例えば、ユーザの色温度等による指定を受け付けることにより把握するようにしてもよい。

更に、第２の実施の形態において、色調整部１８は、肌領域の肌色特性値ｔが小さいほど、照明の彩度Ｓ_{ＬＩＧＨＴ}が高いほど、かつ、照明の色相Ｈ_{ＬＩＧＨＴ}が暖色系の色相に近いほど、重みｗが小さくなるようにしたが、これには限らない。照明の彩度Ｓ_{ＬＩＧＨＴ}及び色相Ｈ_{ＬＩＧＨＴ}に関係なく、肌領域の肌色特性値ｔが小さいほど重みｗが小さくなるようにしてもよい。

［画像処理装置のハードウェア構成］
本実施の形態における画像処理装置１０は、例えばＰＣにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置１０として実現される。

図１１は、このような画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random Access Memory）２２と、ＲＯＭ（Read Only Memory）２３と、ＨＤＤ（Hard Disk Drive）２４と、操作パネル２５と、画像読取部２６と、画像形成部２７と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）２８とを備える。

ＣＰＵ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、後述する各機能を実現する。

ＲＡＭ２２は、ＣＰＵ２１の作業用メモリ等として用いられるメモリである。

ＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶するメモリである。

ＨＤＤ２４は、画像読取部２６が読み取った画像データや画像形成部２７における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

操作パネル２５は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル２５は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

画像読取部２６は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部２６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

画像形成部２７は、記録媒体に画像を形成する。ここで、画像形成部２７は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

通信Ｉ／Ｆ２８は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像処理装置、１１…色空間変換部、１２…照明成分推定部、１３…反射率成分推定部、１４…視認性再現部、１５…肌領域抽出部、１６…照明色推定部、１７…肌色補正量解析部、１８…色調整部、１９…再合成部

Claims (10)

1. 原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、
   前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、
   前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、
   前記第２の明度画像と前記第２の色度画像とを合成する合成手段と、
   前記照明色を推定する推定手段と
   を備え、
   前記明度画像生成手段は、前記第１の明度画像から、当該第１の明度画像の照明成分を画素値とする照明画像を生成し、当該第１の明度画像と、当該照明画像とから、当該第１の明度画像の反射率成分を画素値とする反射率画像を生成し、少なくとも当該反射率画像から、前記第２の明度画像を生成し、
   前記推定手段は、前記原画像と、前記照明画像とから、前記照明色を推定することを特徴とする画像処理装置。
2. 原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、
   前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、
   前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、
   前記第２の明度画像と前記第２の色度画像とを合成する合成手段と、
   前記原画像から、人の肌を表す領域である肌領域を抽出する抽出手段と
   を備え、
   前記色度画像生成手段は、前記照明色に応じて、前記第１の色度画像の前記肌領域における彩度を調整することにより、前記第２の色度画像を生成することを特徴とする画像処理装置。
3. 原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、
   前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、
   前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、
   前記第２の明度画像と前記第２の色度画像とを合成する合成手段と
   を備え、
   前記色度画像生成手段は、前記照明色の色相が暖色系の色相に近いことを示す予め定められた条件が満たされる場合に、前記第１の色度画像の彩度が低くなるように、予め定められた調整量を用いて、前記第１の色度画像の前記少なくとも一部の領域における彩度を調整することを特徴とする画像処理装置。
4. 前記色度画像生成手段は、前記照明色の色相が暖色系の色相に近いほど、前記予め定められた調整量を大きくすることを特徴とする請求項３に記載の画像処理装置。
5. 原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、
   前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、
   前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、
   前記第２の明度画像と前記第２の色度画像とを合成する合成手段と
   を備え、
   前記色度画像生成手段は、前記照明色の彩度が高く、かつ、前記照明色の色相が暖色系の色相に近いことを示す予め定められた条件が満たされる場合に、前記第１の色度画像の彩度が低くなるように、予め定められた調整量を用いて、前記第１の色度画像の前記少なくとも一部の領域における彩度を調整することを特徴とする画像処理装置。
6. 前記色度画像生成手段は、前記照明色の彩度が高いほど、かつ、前記照明色の色相が暖色系の色相に近いほど、前記予め定められた調整量を大きくすることを特徴とする請求項５に記載の画像処理装置。
7. 原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、
   前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、
   前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、
   前記第２の明度画像と前記第２の色度画像とを合成する合成手段と
   を備え、
   前記色度画像生成手段は、前記原画像の前記少なくとも一部の領域の色が赤味が強いことを示す予め定められた条件が満たされる場合に、前記第１の色度画像の彩度が低くなるように、予め定められた調整量を用いて、前記第１の色度画像の前記少なくとも一部の領域における彩度を調整することを特徴とする画像処理装置。
8. 前記色度画像生成手段は、前記原画像の前記少なくとも一部の領域の色が赤味が強いほど、前記予め定められた調整量を大きくすることを特徴とする請求項７に記載の画像処理装置。
9. 原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する変換手段と、
   前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する明度画像生成手段と、
   前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する色度画像生成手段と、
   前記第２の明度画像と前記第２の色度画像とを合成する合成手段と
   を備え、
   前記色度画像生成手段は、第１の照明色の照明を用いて取得された前記原画像の色味が、当該第１の照明色の彩度よりも低い彩度及び当該第１の照明色の色相よりも暖色系の色相から遠い色相の少なくとも何れか一方を有する第２の照明色の照明を用いて取得された前記原画像の色味に近付くように、前記第１の色度画像を調整することを特徴とする画像処理装置。
10. コンピュータに、
    原画像を、当該原画像の明度を表す画像である第１の明度画像及び当該原画像の色度を表す画像である第１の色度画像に変換する機能と、
    前記第１の明度画像に対して、前記原画像における被写体の視認性を向上させる視認性向上処理を行うことにより、第２の明度画像を生成する機能と、
    前記原画像を取得する際に用いられた照明の色である照明色に応じて、前記第１の色度画像の少なくとも一部の領域における彩度を調整することにより、第２の色度画像を生成する機能と、
    前記第２の明度画像と前記第２の色度画像とを合成する機能と、
    前記原画像から、人の肌を表す領域である肌領域を抽出する機能と
    を実現させ、
    前記第２の色度画像を生成する機能は、前記照明色に応じて、前記第１の色度画像の前記肌領域における彩度を調整することにより、前記第２の色度画像を生成することを特徴とするプログラム。

Images