JP4382832B2 - 画像処理装置およびプログラム - Google Patents

Description

この発明は、画像処理装置およびプログラムに係る発明であり、たとえば、画像に含まれる肌領域と肌以外のその他の領域とで、補正効果を変える画像処理を行うことができる画像処理装置およびプログラムに適用できる。

従来の画像処理装置では、画像内の肌領域に対して他の領域と同様な補正処理が掛かっていた。したがって、画像内の人物の肌部分への画質的悪影響が発生していた。たとえば、画像処理として輪郭強調を行う補正を実施した場合、画像内の顔のシミ、シワ、吹き出物等の粗が際立ってしまっていた。またたとえば、画像処理として逆光補正を実施した場合、画像内の顔が他と比べて不自然に感じる程度に明るくなったり、あるいは暗くなったりしていた。なお以下では、画像内における人の肌の領域を「肌領域」と称する。

上記問題を解決する従来技術として、たとえば、特許文献１または特許文献２等が存在する。これらの文献に係る技術では、画像内の肌領域を検出し、当該肌領域に対しては補正量を小さくしている。これにより、肌領域への画質的悪影響を抑えている。

具体的に、特許文献１に係る技術では、肌領域を検出する際には、画像を輝度・色差で表し、その色差成分を用いて肌色度を求め、肌色度の高い領域を肌領域として特定している。画像をＹ（輝度），Ｃｂ（色差），Ｃｒ（色差）で表し、肌色の中心となるＣｂ，Ｃｒの値との差を肌色度として用いる。また、特許文献２に係る技術では、画像をＹ，Ｈ，Ｃで表し、Ｈ（色相），Ｃ（彩度）の値を用いて肌領域を特定している。

特開２００５−３４１５２７号公報 特開２００４−１７３３２８号公報

しかし、上記特許文献１，２に係る技術において、肌領域検出の際の誤判定率が高くなっており、検出精度を高めることが課題となっている。

また、肌領域か肌以外の領域かの判別だけでは、色のグラデーション部等において、処理切り替えの段差が見えることがあった。

そこで、本発明は、肌領域かどうかの判別だけではなく、肌領域の検出精度を高めながら、グラデーション部における処理切り替え段差を小さくできる画像処理装置およびプログラムを提供することを目的とする。

上記の目的を達成するために、本発明に係る請求項１に記載の画像処理装置は、輝度信号と、色差信号を構成する第一の色差成分とから、前記輝度信号および前記第一の色差成分の色空間での第一の肌色検出領域を規定する複数の第一の肌色検出境界関数により算出され、前記輝度信号の変化および前記第一の色差成分の変化に対して連続的に変化する、第一の肌色度を求める第一の肌色度算出部と、前記輝度信号と、前記色差信号を構成する、前記第一の色差成分と直交しない第二の色差成分とから、前記輝度信号および前記第二の色差成分の色空間での第二の肌色検出領域を規定する複数の第二の肌色検出境界関数により算出され、前記輝度信号の変化および前記第二の色差成分の変化に対して連続的に変化する、第二の肌色度を求める第二の肌色度算出部と、画像の一部である所定の局所領域おける、前記第一の肌色度および前記第二の肌色度のうち、小さい方を局所領域肌色度として求める局所肌色度算出部とを、備えており、前記第一の肌色度算出部では、前記第一の肌色検出境界関数として、前記輝度信号が小さいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する肌色検出境界関数と、前記輝度信号が大きいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、複数の前記第一の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第一の肌色度を求め、前記第二の肌色度算出部では、前記第二の肌色検出境界関数として、前記輝度信号が小さいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する肌色検出境界関数と、前記輝度信号が大きいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、複数の前記第二の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第二の肌色度を求める。

また、本発明に係る請求項１３に記載のプログラムは、輝度信号と、色差信号を構成する第一の色差成分とから、前記輝度信号および前記第一の色差成分の色空間での第一の肌色検出領域を規定する複数の第一の肌色検出境界関数により算出され、前記輝度信号の変化および前記第一の色差成分の変化に対して連続的に変化する、第一の肌色度を求めるステップと、前記輝度信号と、前記色差信号を構成する、前記第一の色差成分と直交しない第二の色差成分とから、前記輝度信号および前記第二の色差成分の色空間での第二の肌色検出領域を規定する複数の第二の肌色検出境界関数により算出され、前記輝度信号の変化および前記第二の色差成分の変化に対して連続的に変化する、第二の肌色度を求めるステップと、画像の一部である所定の局所領域おける、前記第一の肌色度および前記第二の肌色度のうち、小さい方を局所領域肌色度として求めるステップとを、備えており、前記第一の肌色度を求めるステップでは、前記第一の肌色検出境界関数として、前記輝度信号が小さいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する肌色検出境界関数と、前記輝度信号が大きいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、複数の前記第一の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第一の肌色度を求め、前記第二の肌色度を求めるステップでは、前記第二の肌色検出境界関数として、前記輝度信号が小さいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する肌色検出境界関数と、前記輝度信号が大きいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、複数の前記第二の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第二の肌色度を求める。

本発明の請求項１，１３に記載の画像処理装置またはプログラムは、輝度信号と第一の色差成分とから第一の肌色度を算出し、輝度信号と第二の色差成分とから第二の肌色度を算出している。第一、二の肌色度は、輝度信号の変化および第一、二の色差成分の変化に対して連続的に変化する。さらに、第一の肌色度および第二の肌色度のうち、小さい方を局所領域肌色度とし、当該領域肌色度に基づいて、所定の局所領域が肌領域であるか否かを判断している。

つまり、輝度信号の変化および各色差成分の変化に対して局所肌色度が連続変化するようにしたので、色のグラデーション部において発生していた段差を改善することができる。なお、輝度成分と色差成分とを用いて肌領域を検出しているので、当該肌領域を高精度に検出できる。

以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。

＜実施の形態１＞
図１は、本実施の形態に係る画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、局所平均輝度算出部２、局所肌色度算出部３、補正量（効果）算出部４、画像変換処理部５、輝度信号遅延部８、および色差信号遅延部９から構成されている。

ここで、画像処理装置１に入力された映像信号のうち、輝度信号（Ｙ）は、局所平均輝度算出部２、局所肌色度算出部３、および輝度信号遅延部８に入力される。他方、当該映像信号のうち、色差信号（Ｃ）は、局所肌色度算出部３および色差信号遅延部９に入力される。

局所平均輝度算出部２では、局所領域の平均輝度（局所平均輝度値）を計算し、当該算出した局所平均輝度値を画像変換処理部５へ出力する。

ここで局所領域としては、注目画素の周辺の所定画素数領域を用いて構成することができる。また、画面（画像）を所定の大きさの複数のブロックに分割した際の、注目画素が含まれるブロックを局所領域として用いても良い。また、局所領域は、前述のように画面（画像）を複数のブロックに分割した場合の、１つのブロックだけではなく、複数のブロックとしても良い。

当該局所領域において何かしらの値（代表値）を求める（以下、局所領域化と称する）際には、局所領域を構成する各画素毎の値から導出される平均値、または所定の重み付けを行いながら求める重み付け平均値、あるいは、中央値、あるいはそれらを複合して求めた値を用いる。

局所肌色度算出部３では、局所領域のたとえば平均の肌色度を計算し、当該算出した平均の肌色度（局所肌色度と称する）を補正量（効果）算出部４へ出力する。なお、局所肌色度算出部３内の動作については、図２に示すブロック図を用いて後ほど詳細に説明する。

補正量（効果）算出部（肌領域判断部であると把握できる）４では、図２を用いて後述する局所肌色度Ｓｏに基づいて、所定の局所領域が肌領域であるか否かを判断する。補正量（効果）算出部４は、局所肌色度算出部３から出力された局所肌色度Ｓｏによって連続的に変化させる、画像処理の補正量（または、局所肌色度が高い場合と低い場合で補正効果を変える場合には、補正効果を変えるための補正指標）を求めて、画像変換処理部５へ出力する。

また、輝度信号遅延部８は、輝度信号（Ｙ）を、局所平均輝度算出部２での遅延量に相当する分だけ、または局所肌色度算出部３と補正量（効果）算出部４とでの遅延量に相当する分だけ遅延させ、当該遅延後の信号を画像変換処理部５へ出力する。

補正量（効果）算出部４は、当該局所肌色度を用いて補正パラメータを算出している。そして、当該補正パラメータを用いて、画像変換処理部５は、画像（所定の局所領域）の補正を行っている。よって、画像変換処理部５は、局所肌色度に基づいて画像の補正を行っていると把握できる。なお、図１に示す構成では、画像変換処理部５は、当該補正パラメータおよび局所平均輝度算出部２の算出結果である所定の局所領域における平均輝度値を用いて、画像（所定の局所領域、輝度信号とも理解できる）の補正を実施している。

画像変換処理部５では、肌領域であると判定された所定の局所領域と当該肌領域以外の領域である判定された所定の領域とで、補正効果を変えることができる。

具体的に、画像変換処理部５では、局所平均輝度算出部２から入力される局所平均輝度値と、補正量（効果）算出部４から入力される補正量（または、補正効果を変えるための指標）を元にして、画像処理の補正量（または補正効果と補正量）を決定する。そして、画像変換処理部５は、当該決定した補正量等に基づいて、輝度信号遅延部８にて遅延された輝度信号（Ｙ）に対して画像処理を行う。なお、画像処理後（補正後）の輝度信号（Ｙ）は、画像処理装置１から出力される。

さらに、色差信号遅延部９では、画像変換処理部５から出力される画像処理後の輝度信号（Ｙ）と位相を揃えるために、色差信号（Ｃ）を遅延する。なお、当該遅延後の色差信号（Ｃ）は、画像処理装置１から出力される。

次に、図２を用いて、局所肌色度算出部３の内部構成について具体的に説明する。ここで、図２は、当該局所肌色度算出部３の内部構成を示すブロック図である。

図２に示すように、局所肌色度算出部３は、第一の色差成分算出部３１、第二の色差成分算出部３２、第一の肌色度算出部３３、第二の肌色度算出部３４、肌色度算出部３５、および局所領域化部３６により構成されている。

第一の色差成分算出部３１は、入力された色差信号（Ｃｂ，Ｃｒ）から第一の色差成分を算出し、当該算出した結果を第一の肌色度算出部３３に向けて出力する。また、第二の色差成分算出部３２は、入力された色差信号（Ｃｂ，Ｃｒ）から第二の色差成分を算出し、当該算出した結果を第二の肌色度算出部３４に向けて出力する。

第一の肌色度算出部３３は、上記第一の色差成分と、局所肌色度算出部３に入力された輝度信号（Ｙ）とから、画素単位毎に第一の肌色度Ｓ１を算出する。そして、第一の肌色度算出部３３は、当該算出した第一の肌色度Ｓ１を肌色度算出部３５に向けて出力する。また、第二の肌色度算出部３４は、上記第二の色差成分と、局所肌色度算出部３に入力された輝度信号（Ｙ）とから、画素単位毎に第二の肌色度Ｓ２を算出する。そして、第二の肌色度算出部３４は、当該算出した第二の肌色度Ｓ２を肌色度算出部３５に向けて出力する。

ここで、上記第一の肌色度Ｓ１は、第一の色差成分の変化に対して連続的に変化する。これに対して、上記第二の肌色度Ｓ２は、第二の色差成分の変化に対して連続的に変化する。

肌色度算出部３５では、画素単位毎に上記第１の肌色度Ｓ１と上記肌色度Ｓ２とを比較し、より値の小さい方を所定の画素単位における肌色度Ｓとして求める。つまり、肌色度Ｓ＝ｍｉｎ（Ｓ１，Ｓ２）である。そして、肌色度算出部３５は、当該肌色度Ｓを局所領域化部３６に向けて出力する。また、局所領域化部３６は、肌色度Ｓを局所領域化する（つまり、局所領域化部３６は、肌色度Ｓを基に、上記所定の局所領域毎に局所肌色度Ｓｏを算出する）。そして、局所領域化部３６は、局所肌色度Ｓｏを局所肌色度算出部３から出力する。

肌色度算出部３５および局所領域化部３６により、局所肌色度算出部が構成されている。ここで、図２の構成では、画素単位レベルの肌色度Ｓを求めた後、局所領域化を行った（局所領域における局所肌色度Ｓｏを算出した）。しかし、図３の構成を採用することも可能である（つまり、肌色度Ｓ１，Ｓ２を求める前に、予め局所領域化を行う構成も採用可能である）。

具体的に、第一の局所領域化部４７において、所定の局所領域における色差成分（局所領域化された色差信号と称する）を求めた後に、これを第一の色差成分算出部４１および第二の色差成分算出部４２に向けて出力する。第一の色差成分算出部４１では、局所領域化された色差信号（Ｃｂ，Ｃｒ）から第一の色差成分を算出する。他方、第二の色差成分算出部４２では、局所領域化された色差信号（Ｃｂ，Ｃｒ）から第二の色差成分を算出する。

第一の肌色度算出部４３では、上記第一の色差成分と、第二の局所領域化部４６から出力された所定の領域における輝度信号（つまり、局所領域化された輝度信号）Ｙ１とから、所定の局所領域における第一の肌色度Ｓ１を算出する。また、第二の肌色度算出部４４は、上記第二の色差成分と、上記局所領域化された輝度信号（Ｙ１）とから、所定の局所領域における第二の肌色度Ｓ２を算出する。

ここで、上記第一の肌色度Ｓ１は、第一の色差成分の変化に対して連続的に変化する。これに対して、上記第二の肌色度Ｓ２は、第二の色差成分の変化に対して連続的に変化する。

肌色度算出部４５では、上記第１の肌色度Ｓ１と上記肌色度Ｓ２とを比較し、より値の小さい方を所定の局所領域における肌色度、すなわち局所肌色度Ｓｏとして求める。つまり、局所肌色度Ｓｏ＝ｍｉｎ（Ｓ１，Ｓ２）である。

なお、各局所領域化部４６，４７および肌色度算出部４５により、局所肌色度算出部が構成されている。

次に、図２において、色差信号（Ｃｂ，Ｃｒ）から、第一の色差成分算出部３１および第二の色差成分算出部３２にて、各色差成分を算出する方法について説明する。

図４は、実際に複数の画像に含まれる全ての肌の部分について、色差の値の分布をＣｂ，Ｃｒ座標空間上にプロットしたものを模式的に示す図である。ここで、図４は、所定の輝度信号Ｙの値に限定した場合のプロット図である。

図４において、実際の複数の画像では、肌色分布領域５０２で示す部分に、高頻度に（重点的に）肌色の色差値が収まっている。また、領域５０２を除く肌色分布領域５０１の領域で示す部分に、低頻度に肌色の色差値が収まっている。なお、肌色分布領域５０１の範囲内で、ほぼ全ての肌色の色差値が収まる。

ここで、色差成分Ｃｂおよび色差成分Ｃｒの座標軸にて、それぞれ独立に肌色度を算出した場合の（図２に示す構成において、第一の色差成分としてＣｂ、第二の色差成分としてＣｒを用いることに相当する）肌色として検出する領域を、模式的に図５の肌色検出領域５０３として示す。

図５から分かるように、肌色分布領域５０２の全部分は肌色検出領域５０３に収まっており、肌色分布領域５０１の大部分が肌色検出領域５０３に収まっている。しかし、肌色検出領域５０３の右上（Ａ点付近）と左下（Ｂ点付近）で、肌以外の色に対しても肌色と誤った判定をしている。したがって、図５に示したケースでは、この誤判定する領域の色差値を持つ画像の肌以外の部分（たとえば、図５のＡ，Ｂ点付近）にも、肌色として画像処理（補正）が掛かってしまっていた。

図５で示した肌色度算出方法における誤判定を少なくするために、座標軸が直交しない第一の色差成分と第二の色差成分とを用いる。本実施の形態では、第一の色差成分としてＣｂ、第二の色差成分として（Ｃｂ＋Ｃｒ）を用いている。ここで、第二の色差成分としてＣｂとＣｒとの平均値（Ｃｂ＋Ｃｒ）／２を用いることも、前述と等価である。

第一の色差成分としてＣｂ、第二の色差成分として（Ｃｂ＋Ｃｒ）を、座標軸として用いた場合の肌色として検出する領域を、模式的に図６の肌色検出領域５０４として示す。図６より、図５に示したケースよりも、誤判定する色差の値の範囲を小さくできていることが分かる。つまり、領域５０４と領域５０１との間で生じる隙間領域（たとえば、Ｃ点付近等）が、図５の場合よりも小さくできる。つまり、第一の色差成分Ｃｂと第二の色差成分（Ｃｂ＋Ｃｒ）とで形成される平行四辺形の形状が、領域５０１の形状に近づく。

さらに、肌色度算出方法における誤判定を少なくするために、色差成分を第一の色差成分および第二の色差成分だけで分解するのではなく、色差成分を第一の色差成分、第二の色差成分および第三の色差成分で分解する構成を採用しても良い。

つまり、図２，３に示す回路構成において、色差信号Ｃを構成する第三の色差成分Ｃｒを算出する第三の色差成分算出部、輝度信号Ｙと第三の色差成分Ｃｒとから第三の肌色度を算出する第三の肌色度算出部をさらに備える。ここで、第三の肌色度は、輝度信号Ｙの変化および第三の色差成分Ｃｒの変化に対して連続的に変化する。さらに、局所肌色度算出部と把握できるブロックでは（符号３５，３６または符号４６，４７，４５）、第一の肌色度、第二の肌色度、および第三の肌色度のうち、最も小さい方を局所領域肌色度とする。

なお、上記の場合、第一の色差成分はＣｂであり、第二の色差成分は（Ｃｂ＋Ｃｒ）であり、第三の色差成分はＣｒである。これらの３つの座標軸を用いた場合の肌色として検出する領域を、模式的に図７の肌色検出領域５０５として示す。図７に示すように、２つの座標軸上で処理をした場合（図６の場合であり、特に図６におけるＣ点付近について）よりも、誤判定する色差の値の範囲を小さくできていることが分かる。つまり、第一の色差成分Ｃｂと第二の色差成分（Ｃｂ＋Ｃｒ）と第三の色差成分Ｃｒとで形成される領域の形状が、領域５０１の形状により近づく。

次に、第一の肌色度算出部３３および第二の肌色度算出部３４にて、各色差成分に対応する肌色度Ｓ１，Ｓ２を算出する方法について説明する。

第一の色差成分としてＣｂを用いて、第一の肌色度を算出する場合の輝度色差座標空間の肌色検出領域を図８に示す。図８において、横軸は輝度Ｙであり、縦軸は第一の色差成分Ｃｂである。また、灰色（砂地）の領域が肌色として検出する領域に当たる。

具体的に、第一の肌色度算出部３３では、肌色検出境界関数６１１よりもＣｂの値が大きく、肌色検出境界関数６１２よりもＣｂの値が大きく、肌色検出境界関数６１３よりもＣｂの値が大きく、肌色検出境界関数６１４よりもＣｂの値が小さい領域を、肌色として検出を行う。

上記のように、第一の肌色度検出部３３は、第一の色差成分Ｃｂだけでなく、輝度成分（輝度信号）をも用いて、第一の肌色度の検出（算出）を行っている。したがって、特に高輝度領域や低輝度領域において肌色の検出精度を高くすることができる。

第二の色差成分として（Ｃｂ＋Ｃｒ）／２を用いて、第二の肌色度を算出する場合の輝度色差座標空間の肌色検出領域を図９に示す。図９において、横軸は輝度Ｙであり、縦軸は第一の色差成分（Ｃｂ＋Ｃｒ）／２である。また、灰色（砂地）の領域が肌色として検出する領域に当たる。

具体的に、第二の肌色度算出部３４では、肌色検出境界関数６０１よりも（Ｃｂ＋Ｃｒ）／２の値が小さく、肌色検出境界関数６０２よりも（Ｃｂ＋Ｃｒ）／２の値が小さく、肌色検出境界関数６０３よりも（Ｃｂ＋Ｃｒ）／２の値が小さく、肌色検出境界関数６０４よりも（Ｃｂ＋Ｃｒ）／２の値が大きい領域を、肌色として検出を行う。

上記のように、第二の肌色度検出部３４は、第二の色差成分（Ｃｂ＋Ｃｒ）／２だけでなく、輝度成分（輝度信号）をも用いて、第二の肌色度の検出（算出）を行っている。したがって、特に高輝度領域や低輝度領域において肌色の検出精度を高くすることができる。

また、色差成分Ｃを三成分に分関した場合における第三の色差成分としてＣｒを用いて、他の肌色度を算出する場合の輝度色差座標空間の肌色検出領域を図１０に示す。図１０において、横軸は輝度Ｙであり、縦軸は第三の色差成分Ｃｒである。また、灰色（砂地）の領域が肌色として検出する領域に当たる。

具体的に、第三の肌色度算出部（図２，３において図示せず）では、肌色検出境界関数６２１よりもＣｒの値が小さく、肌色検出境界関数６２２よりもＣｒの値が小さく、肌色検出境界関数６２３よりもＣｒの値が小さく、肌色検出境界関数６２４よりもＣｒの値が大きい領域を、肌色として検出を行う。

上記のように、第三の肌色度検出部は、第三の色差成分Ｃｒだけでなく、輝度成分（輝度信号）をも用いて、第三の肌色度の検出（算出）を行う。したがって、特に高輝度領域や低輝度領域において肌色の検出精度を高くすることができる。

次に、肌色度の連続性について説明する。

所定の局所領域において、当該所定の局所領域が肌領域であるか否かを検出する際に、輝度信号Ｙや各色差成分（たとえば色差成分Ｃｂ，Ｃｒ，（Ｃｂ＋Ｃｒ）／２等）の変化に対して肌色度が不連続となる場合を想定する。この場合には、肌色度によって補正量または補正効果を変化させているため、肌色度の不連続点で急激に補正量または補正効果が変化する。したがって、色のグラデーション部等において、処理切り替えの段差が見えるという問題があった。

当該問題を改善するために、輝度信号Ｙの変化および各色差成分（Ｃｂ，Ｃｒ，（Ｃｂ＋Ｃｒ）／２）の変化に対して、常に肌色度（第一、二、三の肌色度）が連続して変化するように、肌色度算出部３５，４５を構成する。

たとえば、図８で示した輝度成分Ｙと色差成分Ｃｂの輝度色差座標空間上で考えると、入力輝度値Ｙｉと色差値Ｃｂｉとが与えられた場合、Ｙ＝Ｙｉと各肌色検出境界関数６１１〜６１４との交点となる色差成分Ｃｂの各座標は次の通りであるとする。つまり、肌色検出境界関数６１１との交点Ｃｂ１、肌色検出境界関数６１２との交点Ｃｂ２、肌色検出境界関数６１３との交点Ｃｂ３、肌色検出境界関数６１４との交点Ｃｂ４とする。

上記において、たとえば肌色度算出部３５では、ｄ１＝Ｃｂｉ−Ｃｂ１、ｄ２＝Ｃｂｉ−Ｃｂ２、ｄ３＝Ｃｂｉ−Ｃｂ３、およびｄ４＝Ｃｂｉ−Ｃｂ４の各演算を行う。次に、肌色度算出部３５では、ｄ１〜ｄ４の中で最小となる値（最小差分値ｄと称する）を求める（ｄ＝ｍｉｎ（ｄ１，ｄ２，ｄ３，ｄ４））。

ここで、最小差分値ｄと第一の肌色度Ｓ１との関係を図１１に示すグラフ６５１，６５２，６５３のように定義する。すると、最小差分値ｄにより第一の肌色度Ｓ１は一意に求めることができる。ここで、入力輝度値Ｙｉの変化および色差値Ｃｂｉの変化に対して、ｄ１〜ｄ４は連続であるため、最小差分地ｄも連続となる。

したがって、図１１に示すように、最小差分値ｄの変化に対して第一の肌色度Ｓ１も連続であるため、入力輝度値Ｙｉの変化および色差値Ｃｂｉの変化に対して、第一の肌色度Ｓ１も連続となる。

なお、上記のことは、色差成分Ｃｂ以外の他の色差成分Ｃｒ，（Ｃｂ＋Ｃｒ）／２に関しても同様である。

さらに、局所肌色度Ｓｏ＝ｍｉｎ（Ｓ１，Ｓ２）であるため、局所肌色度Ｓｏも連続となる。このように、輝度信号の変化および各色差成分の変化に対して局所肌色度Ｓｏが連続変化するようにしたので、色のグラデーション部において発生していた段差を改善することができる。

以上のように、本実施の形態に係る画像処理装置１では、第一の肌色度算出部３３は、輝度信号と第一の色差成分とから第一の肌色度Ｓ１を算出している。また、第二の肌色度算出部３４は、輝度信号と第二の色差成分とから第二の肌色度Ｓ２を算出している。ここで、各肌色度Ｓ１，Ｓ２は、輝度信号の変化および第一、二の色差成分の変化に対して連続的に変化する。そして、肌色度算出部３５では、肌色度ＳをＳ＝ｍｉｎ（Ｓ１，Ｓ２）により求めている。そして、肌色度Ｓを局所領域化することで、局所肌色度Ｓｏを求めている。

したがって、輝度信号の変化および各色差成分の変化に対して局所肌色度Ｓｏが連続変化するようにしたので、色のグラデーション部において発生していた段差を改善することができる。なお、輝度成分と色差成分とを用いて肌領域を検出しているので、当該肌領域を高精度に検出できる。

また、本実施の形態に係る画像処理装置１では、相互に直交しない第一の色差成分（たとえば色差成分Ｃｂ）および第二の色差成分（たとえば、色差成分（Ｃｂ＋Ｃｒ））を用いて局所肌色度Ｓｏを算出している。したがって、図６を用いて説明したように、肌色領域の判定における誤判定を少なくできるという効果がある。

また、本実施の形態に係る画像処理装置１は、輝度信号と第三の色差成分とから第三の肌色度を算出する第三の肌色度算出部（図示せず）を、さらに備えていても良い。ここで、第三の肌色度は、輝度信号の変化および第三の色差成分の変化に対して連続的に変化する。そして、第一〜三の色差成分を用いて、局所肌色度Ｓｏを求めるように構成することも可能である。

したがって、図７を用いて説明したように、より高精度に肌領域の判定処理を行うことができる。

＜実施の形態２＞
図１２は、本実施の形態に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、実施の形態１に係る画像処理装置１とほぼ同じ構成である。しかし、画像処理装置１００では、輝度信号に補正効果を加える画像変換処理として、所定の局所領域に対する局所コントラスト補正であると限定している。つまり、画像変換処理部５が、局所コントラスト補正部１１５に特化されている。

また、画像処理装置１００では、補正量（効果）算出部４は、入力されてくる局所肌色度Ｓｏによって、補正を行うための階調変換テーブル（マッピングカーブ）を連続的に変化させる。

より具体的に、補正量（効果）算出部４は、局所肌色度Ｓｏが高い場合には（当該補正量（効果）算出部４が、所定の局所領域が肌領域であると判断した場合には）、所定の局所領域のコントラスト補正の補正量を抑える（換言すれば、局所的なコントラストを低く変換する補正（美肌補正）を強くする。）パラメータを生成し、当該パラメータを局所コントラスト補正部１１５に向けて出力する。

他方、補正量（効果）算出部４は、局所肌色度Ｓｏが引い場合には（当該補正量（効果）算出部４が、所定の局所領域が非肌領域であると判断した場合には）、所定の局所領域のコントラストを高めるパラメータを生成し、当該パラメータを局所コントラスト補正部１１５に向けて出力する。

上記局所コントラスト補正部１１５では、上記パラメータを用いてマッピングカーブを変化させ、そのマッピングカーブにより局所平均輝度算出部２から出力される輝度信号（Ｙ）を変換する。これにより、局所コントラスト補正部１１５は、輝度信号Ｙに局所コントラスト補正を掛け、補正後の輝度信号Ｙを画像処理装置１００から出力させる。図１３に、局所コントラスト強調と美肌補正を両立するマッピングカーブの例を示す。

上記を換言すると、局所コントラスト補正部１１５の補正動作は次の通りである。

つまり、補正量（効果）算出部４から肌度合いが高いパラメータが出力された場合（つまり、所定の局所領域が肌領域と判断された場合）は、肌領域用マッピングカーブ７１１を用いる。これにより、たとえば図１４の補正前の局所的なヒストグラム７５１が、図１５の肌領域補正後ヒストグラム７５３のように階調のダイナミックレンジが小さくなる（所定の局所領域の階調の変化を抑える補正と把握でき、当該補正の結果、明暗の差が小さくなる）。このように、明暗の差が小さくなる（局所的なコントラストが下がる）ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる（美肌補正）。

一方、補正量（効果）算出部４から肌度合いが高いパラメータが出力された場合（つまり、局所領域を非肌領域と判断された場合）には、非肌領域用マッピングカーブ７１２を用いる。これにより、たとえば図１４の補正前の局所的なヒストグラム７５２が、図１５の非肌領域補正後ヒストグラム７５４のように階調のダイナミックレンジが大きくなる（所定の局所領域の階調の変化を高める補正と把握でき、当該補正の結果、明暗差が大きくなる）。このように、明暗の差が大きくなる（局所的なコントラストが上がる）ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。

上記から分かるように、局所コントラスト補正１１５における補正処理は、局所領域が肌領域として検出された場合と、非肌領域として検出された場合とで、局所領域に対する補正効果を変えている。

なお、上記では、局所コントラスト強調と美肌補正の例を示したが、フィルタの係数を連続的に変化させても良い。この場合、フィルタの係数をＬＰＦとＨＰＦの間で変化させる。これにより、局所領域の肌度合いが高い場合には、ＬＰＦとして肌の凹凸をぼかしたりノイズ削減をする。他方、局所領域の肌度合いが低い場合には、ＨＰＦとしてエッジ強調を行うことができる。

本実施の形態に係る画像処理装置１００では、局所領域が肌領域と判断された場合は、階調のダイナミックレンジを抑える補正を実施する。これに、明暗の差が小さくなる（局所的なコントラストが低くなる）ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる。

また、本実施の形態に係る画像処理装置１００では、局所領域を非肌領域と判断された場合は、階調のダイナミックレンジを高める補正を実施する。これにより、明暗の差が大きくなる（局所的なコントラストが高める）ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。

なお、上記本発明は、撮像装置で撮影したデジタル画像を、表示、保存、送信する前に行う、エッジ強調や局所コントラスト改善、あるいは、人の肌をきめ細やかに見せるための画像処理の際に適用できる。

また、局所平均輝度を基に局所領域の輝度補正量を決定し、その補正量に基づいて輝度値を補正する階調補正処理においては、階調が連続するグラデーション部分に対して階調補正した後でも階調の連続性が保たれることが特に求められる。

例えば他の方式で、パターンマッチングなどの顔認識技術を用いて人の顔を検出し、検出した人の顔の領域だけに対して階調補正をする場合には、顔として検出した領域とその他の領域との境界において、階調が不連続となる箇所が発生することがあった。

本発明では、肌領域らしさの指標である肌度合いを連続的に変化させるようにしたので、階調補正処理に適用することで、人の肌のグラデーション領域において補正後にも肌の滑らかさを保つことができるため、特に大きな効果が得られる。特に顔と顔以外の部分の境界についての差は顕著である。

また、上記各実施の形態では、概略的に図１６に示す処理を行っている。つまり、局所領域における輝度平均および局所領域における肌色度を算出した後、補正量（効果）を算出し、当該補正量（効果）に基づいて画像変換処理を実施する。

また、上記各実施の形態の説明から分かるように、局所領域における肌色度の算出は、図１７に示すフローに従って実施される。つまり、第一、二の色差成分算出後、当該算出した第一、二の色差成分に基づいて第一、二の肌色度を算出する。その後、第一の肌色度、第二の肌色度のうち小さい方を肌色度として算出（求める）。その後、局所領域化することにより、局所領域における肌色度を求める。ここで、図１７に示すフローにおいて、局所領域化を最先に行っても良い。

当該図１６，１７に示すフローチャートを構成する各ステップを備えるプログラムを、コンピュータにより読み取り可能な記録媒体に記録されていても良い。

より具体的には、輝度信号と、色差信号を構成する第一の色差成分とから算出され、輝度信号の変化および第一の色差成分の変化に対して連続的に変化する、第一の肌色度を求めるステップと、輝度信号と、色差信号を構成する第二の色差成分とから算出され、輝度信号の変化および第二の色差成分の変化に対して連続的に変化する、第二の肌色度を求めるステップと、画像の一部である所定の局所領域おける、第一の肌色度および第二の肌色度のうち、小さい方を局所領域肌色度として求めるステップと、局所領域肌色度に基づいて、所定の局所領域が肌領域であるか否かを判断するステップとを、備えているプログラムを、コンピュータにより読み取り可能なプログラム記録媒体に記録しても良い。

これらのプログラム記録媒体に記憶されているプログラムをコンピュータが読み取り、実行することにより、上記各実施の形態で示した装置と同じ働きを奏することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 局所肌色度算出部３の内部構成を示すブロック図である。 局所肌色度算出部３の他の内部構成を示すブロック図である。 Ｃｂ，Ｃｒ座標空間における肌色分布の様子を示す図である。 色差成分Ｃｂと色差成分Ｃｒとが直交する場合における肌色検出領域を示す図である。 色差成分Ｃｂと色差成分Ｃｒとが直交しない場合における肌色検出領域を示す図である。 Ｃｂ，Ｃｒ成分における他の肌色検出領域を示す図である。 輝度Ｙ・色差Ｃｂ座標空間における肌色検出領域を示す図である。 輝度Ｙ・色差（Ｃｂ＋Ｃｒ）／２座標空間における肌色検出領域を示す図である。 輝度Ｙ・色差Ｃｒ座標空間における肌色検出領域を示す図である。 輝度信号の変化および色差成分の変化に対して、所定の肌色度が連続的に変化することを説明するための図である。 実施の形態２に係る画像処理装置の構成を示すブロック図である。 階調変換テーブルの一例を示す図である。 補正前のヒストグラムを示す図である。 補正後のヒストグラムを示す図である。 本発明に係る画像処理動作の概要を示すフロー図である。 局所領域における肌色度算出ステップの概要を示すフロー図である。

符号の説明

１，１００ 画像処理装置、２ 局所平均輝度算出部、３ 局所肌色度算出部、４ 補正量（効果）算出部、５ 画像変換処理部、８ 第一の遅延部、９ 第二の遅延部、３１ 第一の色差成分算出部、３２ 第二の色差成分算出部、３３ 第一の肌色度算出部、３４ 第二の肌色度算出部、３５ 肌色度算出部、３６ 局所領域化部、１１５ 局所コントラスト補正部。

Claims (12)

1. 輝度信号と、色差信号を構成する第一の色差成分とから、前記輝度信号および前記第一の色差成分の色空間での第一の肌色検出領域を規定する複数の第一の肌色検出境界関数により算出され、前記輝度信号の変化および前記第一の色差成分の変化に対して連続的に変化する、第一の肌色度を求める第一の肌色度算出部と、
   前記輝度信号と、前記色差信号を構成する、前記第一の色差成分と直交しない第二の色差成分とから、前記輝度信号および前記第二の色差成分の色空間での第二の肌色検出領域を規定する複数の第二の肌色検出境界関数により算出され、前記輝度信号の変化および前記第二の色差成分の変化に対して連続的に変化する、第二の肌色度を求める第二の肌色度算出部と、
   画像の一部である所定の局所領域おける、前記第一の肌色度および前記第二の肌色度のうち、小さい方を局所領域肌色度として求める局所肌色度算出部とを、備えており、
   前記第一の肌色度算出部では、前記第一の肌色検出境界関数として、
   前記輝度信号が小さいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する肌色検出境界関数と、
   前記輝度信号が大きいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、
   複数の前記第一の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第一の肌色度を求め、
   前記第二の肌色度算出部では、前記第二の肌色検出境界関数として、
   前記輝度信号が小さいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する肌色検出境界関数と、
   前記輝度信号が大きいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、
   複数の前記第二の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第二の肌色度を求める、
   ことを特徴とする画像処理装置。
2. 前記第一の色差成分は、Ｃｂであり、
   前記第二の色差成分は、（Ｃｂ＋Ｃｒ）である、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の色差成分は、Ｃｂであり、
   前記第二の色差成分は、（Ｃｂ＋Ｃｒ）／２である、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記輝度信号と、前記色差信号を構成する色差成分がＣｒである第三の色差成分とから、前記輝度信号および前記第三の色差成分の色空間での第三の肌色検出領域を規定する複数の第三の肌色検出境界関数により算出され、前記輝度信号の変化および前記第三の色差成分の変化に対して連続的に変化する、第三の肌色度を求める第三の肌色度算出部を、さらに備えており、
   前記局所肌色度算出部は、
   前記所定の局所領域おける前記第一の肌色度、前記第二の肌色度および前記第三の肌色度のうち、最も小さい方を前記局所領域肌色度とし、
   前記第三の肌色度算出部では、前記第三の肌色検出境界関数として、
   前記輝度信号が小さいほど前記第三の色差成分の前記第三の肌色検出領域の範囲を制限する肌色検出境界関数と、
   前記輝度信号が大きいほど前記第三の色差成分の前記第三の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、
   複数の前記第三の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第三の肌色度を求める、
   ことを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記局所領域肌色度に基づいて前記画像の補正を行う画像変換処理部を、さらに備えている、
   ことを特徴とする請求項１または請求項４に記載の画像処理装置。
6. 前記画像変換処理部は、
   前記所定の局所領域の階調の変化を抑える補正を実施する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記画像変換処理部は、
   前記所定の局所領域の階調の変化を高める補正を実施する、
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記画像変換処理部は、
   入力されてきた輝度信号に対して、前記所定の局所領域におけるコントラスト補正を実施する、
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記画像変換処理部は、
   前記所定の局所領域のコントラストを低くする、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記画像変換処理部は、
    前記所定の局所領域のコントラストを高める、
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記所定の局所領域の局所平均輝度を算出する局所平均輝度算出部を、さらに備えており、
    前記画像変換処理部は、
    前記局所平均輝度を用いて前記画像を補正する、
    ことを特徴とする請求項５に記載の画像処理装置。
12. 輝度信号と、色差信号を構成する第一の色差成分とから、前記輝度信号および前記第一の色差成分の色空間での第一の肌色検出領域を規定する複数の第一の肌色検出境界関数により算出され、前記輝度信号の変化および前記第一の色差成分の変化に対して連続的に変化する、第一の肌色度を求めるステップと、
    前記輝度信号と、前記色差信号を構成する、前記第一の色差成分と直交しない第二の色差成分とから、前記輝度信号および前記第二の色差成分の色空間での第二の肌色検出領域を規定する複数の第二の肌色検出境界関数により算出され、前記輝度信号の変化および前記第二の色差成分の変化に対して連続的に変化する、第二の肌色度を求めるステップと、
    画像の一部である所定の局所領域おける、前記第一の肌色度および前記第二の肌色度のうち、小さい方を局所領域肌色度として求めるステップとを、備えており、
    前記第一の肌色度を求めるステップでは、前記第一の肌色検出境界関数として、
    前記輝度信号が小さいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する肌色検出境界関数と、
    前記輝度信号が大きいほど前記第一の色差成分の前記第一の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、
    複数の前記第一の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第一の肌色度を求め、
    前記第二の肌色度を求めるステップでは、前記第二の肌色検出境界関数として、
    前記輝度信号が小さいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する肌色検出境界関数と、
    前記輝度信号が大きいほど前記第二の色差成分の前記第二の肌色検出領域の範囲を制限する他の肌色検出境界関数とを、含み、
    複数の前記第二の肌色度検出境界関数について差分値を求めて前記差分値の最小値から前記第二の肌色度を求める、
    ことを特徴とするプログラム。

Images