JPWO2008013050A1 - 画像処理方法、画像処理プログラム、および画像処理装置 - Google Patents

Abstract

入力画像情報に基づいて色差画像情報を生成し、色差画像情報で構成される被判定画像内において、対象物を判定するための判定対象領域を設定し、判定対象領域および判定対象領域の周囲に設定した複数の周辺領域のそれぞれの前記色差画像情報に基づいて、各領域の色差平均値を算出し、判定対象領域における色差平均値が示す色情報が、対象物に関してあらかじめ定められた特徴色の情報であるかを評価し、判定対象領域における色差平均値と周辺領域の色差平均値との差分に基づいて、判定対象領域と周辺領域とが分離された領域であるかを評価し、特徴色の情報であるか否かの評価結果および分離された領域であるか否かの評価結果に基づいて、判定対象領域が対象物を含むか否かを判定する。

Description

本発明は、画像処理方法、画像処理プログラム、および画像処理装置に関する。

次のような画像処理方法が知られている。この画像処理方法では、撮影された画像の中から人物の顔を検出するために、肌色を有する画像領域を顔候補領域として検出し、検出された顔候補領域に対して顔判定処理を行う（特許文献１参照）。

特開２０００−４８１８４号公報

しかしながら、従来の方法においては、被写体を照明する光の色温度が低い場合や背景に木製の壁などがある場合には、画像の大半が肌色領域として検出されてしまい、人物の顔を含まない画像領域も顔候補領域として誤検出してしまう可能性があった。

本発明の第１の態様によると、画像処理方法は、入力画像情報に基づいて色差画像情報を生成し、色差画像情報で構成される被判定画像内において、対象物を判定するための判定対象領域を設定し、判定対象領域および判定対象領域の周囲に設定した複数の周辺領域のそれぞれの色差画像情報に基づいて、各領域の色差平均値を算出し、判定対象領域における色差平均値が示す色情報が、対象物に関してあらかじめ定められた特徴色の情報であるかを評価し、判定対象領域における色差平均値と周辺領域の色差平均値との差分に基づいて、判定対象領域と周辺領域とが分離された領域であるかを評価し、特徴色の情報であるか否かの評価結果および分離された領域であるか否かの評価結果に基づいて、判定対象領域が対象物を含むか否かを判定する。
本発明の第２の態様によると、第１の態様の画像処理方法において、対象物は人物の顔であることが好ましい。
本発明の第３の態様によると、第２の態様の画像処理方法において、対象物の特徴色の情報は、前記人物の顔の肌色であることが好ましい。
本発明の第４の態様によると、第１〜第３のいずれかの態様の画像処理方法において、判定対象領域における色差画像情報に基づいて、当該領域における色差の分散を評価し、特徴色の情報であるか否かの評価結果、分離された領域であるか否かの評価結果、および色差の分散の評価結果に基づいて、判定対象領域が対象物を含か否かを判定することが好ましい。
本発明の第５の態様によると、第１〜第４のいずれかの態様の画像処理方法において、色差画像情報を積分して積分画像情報を生成し、積分画像情報に基づいて色差平均値を算出することが好ましい。
本発明の第６の態様によると、第１〜第５のいずれかの態様の画像処理方法において、被判定画像内において、対象物の特徴色の情報に対応する色情報を有する領域の割合を算出し、算出された領域の割合が大きいほど、分離された領域であるか否かの評価結果を重視して判定を行うことが好ましい。
本発明の第７の態様によると、第１〜第６のいずれかの態様の画像処理方法において、あらかじめ取得した特徴色のサンプルの色差値のばらつきを最小にする第１の色空間座標軸、および第１の色空間座標軸に対して直交する第２の色空間座標軸のそれぞれに対して、判定対象領域における色差平均値を射影し、それぞれの射影値を変換して得られた評価値に基づいて、判定対象領域における色差平均値が示す色情報が対象物の特徴色の情報であるかを評価することが好ましい。
本発明の第８の態様によると、第１〜第７のいずれかの態様の画像処理方法において、入力画像に基づいて第１の色差画素値を生成し、あらかじめ取得した特徴色のサンプルの色差値のばらつきを最小にする第１の色空間座標軸、および第１の色空間座標軸に対して直交する第２の色空間座標軸のそれぞれに対して、第１の色差画素値を射影した値を第２の色差画素値として算出し、
第２の色差画像値で構成される色差画像情報に対して判定対象領域を設定することが好ましい。
本発明の第９の態様によると、画像処理プログラムは、第１〜第８のいずれかの態様の画像処理方法における処理をコンピュータに実行させる。
本発明の第１０の態様によると、画像処理装置は、画像を入力する画像入力部と、第９の態様の画像処理プログラムを実行して、画像入力部から入力された入力画像に対して画像処理を実行する実行部とを備える。
本発明の第１１の態様によると、第１０の態様の画像処理装置において、実行部は、入力画像情報に基づいて色差画像情報を生成する色差画像情報生成部と、色差画像情報で構成される被判定画像内において、対象物を判定するための判定対象領域を設定する判定対象領域設定部と、判定対象領域および判定対象領域の周囲に設定した複数の周辺領域のそれぞれの色差画像情報に基づいて、各領域の色差平均値を算出する色差平均値算出部と、判定対象領域における色差平均値が示す色情報が、対象物に関してあらかじめ定められた特徴色の情報であるかを評価する特徴色評価部と、判定対象領域における色差平均値と周辺領域の前記色差平均値との差分に基づいて、判定対象領域と周辺領域とが分離された領域であるかを評価する分離領域評価部と、特徴色の情報であるか否かの評価結果および分離された領域であるか否かの評価結果に基づいて、判定対象領域が対象物を含むか否かを判定する判定部とを含むことが好ましい。
本発明の第１２の態様によると、カメラは、被写体像を撮像して画像情報を取得する画像取得部と、第１０または第１１の態様の画像処理装置とを備え、画像入力部は、画像取得部で取得した画像情報を入力する。

本発明によれば、判定対象領域が対象物を含む領域であるか否かを精度高く判定することができる。

画像処理装置の一実施の形態の構成を示すブロック図。 制御装置１０３が有する各部によって実行される処理の流れを示す図。 第１の実施の形態における顔候補判定処理の流れを示す図。 顔候補判定対象領域および周辺領域の設定例を示す図。 肌色評価値Ｅｓを算出する際に用いるパラメータの設定方法を示す図。 第２の実施の形態における顔候補判定処理の流れを示す図。 第３の実施の形態における顔候補判定処理の流れを示す図。 プログラムをパーソナルコンピュータに提供する様子を示す図。

―第１の実施の形態―
図１は、第１の実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置１００は、例えばパソコンであり、入力装置１０１と、外部インターフェース１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。

入力装置１０１は、キーボードやマウスなど、使用者によって操作される種々の入力部材を含んでいる。外部インターフェース１０２は、後述する画像処理対象の画像をデジタルカメラなどの外部機器から取り込むためのインターフェースであり、例えばＵＳＢインターフェースや無線ＬＡＮインターフェースが用いられる。制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路で構成され、後述する色空間変換部１０３ａと、色差画像縮小部１０３ｂと、輝度画像縮小部１０３ｃと、色差画像顔候補検出部１０３ｄと、顔判定部１０３ｅとを有している。

ＨＤＤ１０４は、外部インターフェース１０２を介して取り込んだ画像データや画像処理部１０３ａによって実行される画像処理プログラムなど種々のデータが記録される。モニタ１０５は、画像処理装置１００を操作するための操作画面やＨＤＤ１０４に記録されている画像などを表示する。なお、ＨＤＤ１０４へのデータの記録、およびモニタ１０５への表示は、制御装置１０３によって制御される。

次に、制御装置１０３が有する１０３ａ〜１０３ｅの各部による処理について説明する。これらの各部による処理によって、ＨＤＤ１０４に記憶されている任意の画像や外部インターフェース１０２を介して取り込まれた画像内における人物の顔が含まれる領域を特定する。このとき、従来行われていたように、画像内から肌色の領域を顔候補領域として検出する場合には、人物の顔の背景が木製の壁である場合など、背景の色が肌色に類似する場合には、人物の顔と背景とを正確に分離することができず、画像内から正確に顔候補領域を検出することが困難であった。また、画像撮影時のホワイトバランスが適正でない場合には、画像内の人物の顔が肌色とは異なる可能性があり、この場合にも画像内から正確に顔候補領域を検出することが困難であった。

そこで本実施の形態では、従来の肌色による顔候補検出方法では検出することが困難であった顔候補領域を精度高く検出する方法について説明する。以下、図２を用いて１０３ａ〜１０３ｅの各部による処理について説明する。

制御装置１０３がＨＤＤ１０４や外部インターフェース１０２から処理対象の画像データを読み込むことによって、色空間変換部１０３ａに画像が入力される。色空間変換部１０３ａは、入力された画像（入力画像）を色変換して色差画像と輝度画像とを生成する。なお、ここでは色空間変換部１０３ａは、入力画像をＬａｂ表色系に変換して色差画像と輝度画像とを生成する例について説明するが、これに限定されず、その他ＹＣｂＣｒなどの表色系に変換してもよい。色空間変換部１０３ａによって生成された色差画像は色差画像縮小部１０３ｂへ出力され、輝度画像は輝度画像縮小部１０３ｃへ出力される。

輝度画像縮小部１０３ｃは、入力された輝度画像をそれぞれ縮小倍率を異にして、複数の縮小輝度画像を生成する。例えば、０〜３１までの整数ｎに対して縮小倍率ｋを次式（１）で与え、異なる縮小倍率で縮小した３２通りの縮小倍率ｋで縮小された縮小輝度画像を生成する。
ｋ＝０．９^ｎ ・・・（１）
なお、縮小方法としては、例えば公知のＣｕｂｉｃ変倍や線形変倍を用いればよい。このようにして異なる縮小倍率で縮小された複数の縮小輝度画像は、顔判定部１０３ｅへ出力される。

色差画像縮小部１０３ｂは、入力された色差画像をそれぞれ縮小倍率を異にして、複数の縮小色差画像を生成する。縮小倍率ｋは、輝度画像縮小部１０３ｃによる処理の場合と同一とし、式（１）によって３２通りの縮小倍率ｋで縮小された縮小色差画像を生成する。なお、縮小方法は、輝度画像縮小部１０３ｃによる処理よりも簡易な方法でよく、例えばニアレストネイバー法を用いればよい。このようにして異なる縮小倍率で縮小された複数の縮小色差画像は、色差画像顔候補検出部１０３ｄへ出力される。

色差画像顔候補検出部１０３ｄは、色差画像縮小部１０３ｂから入力された複数の縮小色差画像のそれぞれに対して、後述する顔候補判定処理を実行して、各縮小色差画像内で人物の顔を含んでいる可能性が高い領域を顔候補領域として抽出する。その結果、複数の縮小色差画像のうち、少なくとも１つの縮小色差画像から顔候補領域が抽出された場合には、その縮小色差画像の縮小倍率ｋと、その縮小倍率ｋで縮小された縮小色差画像内における顔候補領域の座標値（Ｘ´，Ｙ´）との対を顔判定部１０３ｅへ出力する。なお、抽出される顔候補領域の大きさは、後述するように１９×１９画素であるものとする。

顔判定部１０３ｅは、色差画像顔候補検出部１０３ｂから入力された縮小倍率ｋと同じ縮小倍率ｋで輝度画像縮小部１０３ｃによって生成された縮小輝度画像を読み込む。そして、色差画像顔候補検出部１０３ｂから入力された座標値（Ｘ´，Ｙ´）に基づいて、顔候補領域から最終的に顔画像であるか否かを特定する。顔判定部１０３ｅは、公知の顔判定処理を行って、顔候補領域内に人物の顔が含まれているか否かを判定する。なお、顔判定処理としては、例えばニューラルネットワーク、ＳＶＭ、またはＡｄａＢｏｏｓｔなどの公知の方法を用いればよく、縮小輝度画像内の１９×１９画素の大きさの顔候補領域に対してこれらの方法で顔判定処理を行えばよい。この顔判定部１０３ｅによる処理をさらに行うことで、色差画像顔候補検出部１０３ｄで抽出された顔候補領域を再評価し、高い精度で人物の顔が含まれる領域を特定することができる。

顔判定部１０３ｅは、縮小輝度画像内の顔候補領域内に人物の顔が含まれると判定した場合には、縮小画像に対する人物の顔の大きさ、すなわち顔候補領域のサイズＳ´＝１９、縮小画像内における顔候補領域の座標値（Ｘ´，Ｙ´）、および縮小倍率ｋに基づいて、処理対象の画像（入力画像）に対する人物の顔の大きさＳ、および入力画像における顔候補領域の座標値（Ｘ，Ｙ）を算出する。具体的には、次式（２）〜（４）により算出する。
Ｓ＝Ｓ´／ｋ ・・・（２）
Ｘ＝Ｘ´／ｋ ・・・（３）
Ｙ＝Ｙ´／ｋ ・・・（４）
これによって、入力画像内における人物の顔が含まれる領域を特定することができる。

次に、色差画像顔候補検出部１０３ｄによって実行される顔候補判定処理について、図３を用いて説明する。色差画像顔候補検出部１０３ｄは、顔候補判定対象領域設定部３ａ、色差平均値算出部３ｂ、肌色評価部３ｃ、分離評価部３ｄ、および顔候補判定部３ｅの各部の工程に分割することができ、ここでは、これら各部ごとに処理の内容を説明する。

色差画像縮小部１０３ｂから出力された複数の縮小色差画像は、顔候補判定対象領域設定部３ａへ入力される。顔候補判定対象領域設定部３ａは、各縮小色差画像のそれぞれに対して顔候補判定対象領域を設定する。顔候補判定対象領域は、縮小色差画像上の様々な位置に設定され、例えば、隣接する顔候補判定対象領域の間隔が２画素程度となるように格子点上に設定される。また、各顔候補判定対象領域の大きさは、上述したように１９×１９画素程度とする。

顔候補判定対象領域設定部３ａは、さらに、設定した顔候補判定対象領域の上下左右に周辺領域を設定する。周辺領域を設定した場合の具体例を図４に示す。この図４に示すように、顔候補判定対象領域４ａの右側に周辺領域４ｂ、下側に周辺領域４ｃ、左側に周辺領域４ｄ、上側に周辺領域４ｅをそれぞれ設定する。ここで、各周辺領域の大きさは、周辺領域４ｂおよび４ｄは横６画素×縦１９画素とし、周辺領域４ｃおよび４ｅは横１９画素×縦６画素とする。

色差平均値算出部３ｂは、設定した各顔候補判定対象領域内の色差の平均値（ａ＊，ｂ＊）、周辺領域４ｂ内の色差の平均値（ａ_１＊，ｂ_１＊）、周辺領域４ｃ内の色差の平均値（ａ_２＊，ｂ_２＊）、周辺領域４ｄ内の色差の平均値（ａ_３＊，ｂ_３＊）、および周辺領域４ｅ内の色差の平均値（ａ_４＊，ｂ_４＊）をそれぞれ算出する。なお、顔候補判定処理の前処理として、色差画像の積分画像を作成しておくことにより、色差平均値の算出を高速に行えるようになる。

すなわち、色差画像Ｃ（ｘ，ｙ）の積分画像Ｉ（ｘ，ｙ）は、次式（５）で定義される。

そして、４点（ｘ，ｙ）、（ｘ＋ｗ，ｙ）、（ｘ，ｙ＋ｈ）、（ｘ＋ｗ，ｙ＋ｈ）を頂点とする長方形領域内で色差画像Ｃ（ｘ，ｙ）を積分したＣｓｕｍは、次式（６）により算出される。

つまり、４点の画素値の加減算を行うだけで積分が求まるので、高速な演算が可能となる。そして、長方形領域の積算値Ｃｓｕｍをその領域の画素数で割ると平均値が求まる。

肌色評価部３ｃは、顔候補判定対象領域４ｂ内の色差の平均値（ａ＊，ｂ＊）を次式（７）および（８）に代入し、さらに次式（９）によって肌色評価値Ｅｓを算出する。この肌色評価値Ｅｓは、顔候補判定対象領域４ｂ内の色差の平均値（ａ＊，ｂ＊）がどれくらい肌色に近いかを示す指標であり、その値が大きいほど色差の平均値（ａ＊，ｂ＊）がより肌色に近いことを示す。

ここで、σ_ｘ、σ_ｙ、ａ_ｍ、ｂ_ｍ、ｅ_ｘａ、ｅ_ｘｂ、ｅ_ｙａ、ｅ_ｙｂの各パラメータは、次のようにして算出する。まず、顔画像のサンプルをたくさん集め、各画像の顔領域の色差の平均値（ａ_ｎ，ｂ_ｎ）を算出する。この（ａ_ｎ，ｂ_ｎ）の分布を図示すると、例えば図５の斜線で示す領域５ａのようになる。そして、この（ａ_ｎ，ｂ_ｎ）の平均を（ａ_ｍ，ｂ_ｍ）として算出する。また、（ａ_ｎ，ｂ_ｎ）のばらつきが最小となる方向にＣｙ軸を設定し、それに直交する方向にＣｘ軸を設定する。そして、Ｃｘ軸方向とＣｙ軸方向の単位ベクトルをそれぞれ、（ｅ_ｘａ，ｅ_ｘｂ）、（ｅ_ｙａ，ｅ_ｙｂ）とする。

さらに、各画像の顔領域の色差平均値（ａ_ｎ，ｂ_ｎ）をＣｘ軸方向とＣｙ軸方向に射影した値の標準偏差をそれぞれ求め、その標準偏差を３割程度増加させた値をσ_ｘおよびσ_ｙとして算出する。これによって、例えば、σ_ｘ＝１６、σ_ｙ＝８、ａ_ｍ＝１２、ｂ_ｍ＝２０、（ｅ_ｘａ，ｅ_ｘｂ）＝（０．４８，０．８７）、（ｅ_ｙａ，ｅ_ｙｂ）＝（−０．８７，０．４９）が設定される。なお、図５を用いて各パラメータを算出する代わりに主成分分析などのその他の手法を用いてもよい。

分離評価部３ｄは、顔候補判定対象領域４ａの色差の平均値（ａ＊，ｂ＊）、および周辺領域４ｂ〜４ｅのそれぞれの色差の平均値（ａ_１＊，ｂ_１＊）〜（ａ_４＊，ｂ_４＊）に基づいて、分離評価値Ｅｄを次式（１０）〜（１４）により算出する。なお、分離評価値Ｅｄは、顔候補判定対象領域４ａと周辺領域４ｂ〜４ｅのそれぞれとの色差の平均値の差がどの程度であるかを示す指標であり、その値が大きいほど顔候補判定対象領域４ａと周辺領域４ｂ〜４ｅのそれぞれとの色差の平均値の差が大きいことを示す。

ここで、式（１１）〜（１４）において、σ_ｄは、例えば５程度に設定すればよい。

顔候補判定部３ｅは、肌色評価値Ｅｓと分離評価値Ｅｄとに基づいて、顔候補判定対象領域４ａが人物の顔を含む領域、すなわち顔候補であるか否かを判定する。顔候補判定部３ｅは、例えば肌色評価値Ｅｓと分離評価値Ｅｄが次式（１５）を満たすときに顔候補判定対象領域が顔候補であると判定し、その顔候補判定対象領域を顔候補領域として検出する。なお、次式（１５）において、ｔｈは例えば０．６程度とする。
０．５×Ｅｄ＋０．５×Ｅｓ＞ｔｈ ・・・（１５）

これにより、画像撮影時のホワイトバランスが適正でない場合や背景が肌色に類似する色である場合など、従来の手法では画像内から正確に顔候補領域を検出することができなかった場合でも、顔候補領域を正確に検出することができる。式（１５）による具体的な判定例を以下の（Ａ）〜（Ｅ）に示す。

（Ａ）顔候補判定対象領域が人物の顔画像上に設定され、ホワイトバランスが適正かつ背景が肌色ではない場合
この場合には、肌色評価値Ｅｓも分離評価値Ｅｄも大きな値となり、式（１５）によって当該顔候補判定対象領域は顔候補と判定される。

（Ｂ）顔候補判定対象領域が人物の顔画像上に設定され、ホワイトバランスが適正だが、背景が肌色に類似する場合
この場合には、肌色評価値Ｅｓは大きな値になる。また、背景が肌色に類似していても顔候補判定対象領域と全く同じ色ではない。このため、分離評価値Ｅｄはある程度大きな値となる。よって、式（１５）によって当該顔候補判定対象領域は顔候補と判定される。

（Ｃ）顔候補判定対象領域が人物の顔画像上に設定され、背景が肌色ではないが、ホワイトバランスが不適切である場合
この場合には、肌色評価値Ｅｓが小さい値となる可能性がある。しかし、分離評価部Ｅｄは大きな値となり、式（１５）によって当該顔候補判定対象領域は顔候補と判定される。

（Ｄ）顔候補判定対象領域が肌色に類似する壁面上に設定されている場合
この場合には、肌色評価値Ｅｓは大きな値となるが、分離評価値Ｅｄはほぼ０に近い値になるため、式（１５）によって当該顔候補判定対象領域は顔候補ではないと判定される。

（Ｅ）顔候補判定対象領域が肌色ではない物体上に設定されている場合
この場合には、肌色評価値Ｅｓはほぼ０に近い値になり、仮に分離評価値が大きな値になっても式（１５）によって当該顔候補判定対象領域は顔候補ではないと判定される。

顔候補判定部３ｅは、顔候補領域を検出した場合には、上述したように、顔候補領域を検出した縮小色差画像の縮小倍率ｋと、その縮小倍率ｋで縮小された縮小色差画像内における顔候補領域の座標値（Ｘ´，Ｙ´）との対を顔判定部１０３ｅへ出力する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）肌色評価値Ｅｓと分離評価値Ｅｄを算出し、これらの評価値に基づいて顔候補判定対象領域が顔候補であるか否かを判定するようにした。これによって、顔候補判定対象領域内の肌色らしさと周辺領域との色差の差とに基づいて、周知の顔検出方法では見分け難かった画像から人物の顔を含む顔候補領域を検出することができる。

（２）すなわち、画像撮影時のホワイトバランスが適正でない場合や背景が肌色である場合など、従来の手法によれば画像内から正確に顔候補領域を検出することができなかった場合でも、本実施の形態における発明によれば、顔候補領域を正確に検出することができる。

（３）肌色評価値Ｅｓと分離評価値Ｅｄとを算出し、これらの評価値が式（１５）を満たすか否かによって顔候補判定対象領域が顔候補であるか否かを判定するようにしたので、簡易な構成で顔候補領域を検出することができ、回路規模や処理時間を節約することができる。

―第２の実施の形態―
上述した第１の実施の形態では、色差画像顔候補検出部１０３ｄは、縮小色差画像上に設定した顔候補判定対象領域４ａに対して肌色評価値Ｅｓおよび分離評価値Ｅｄを算出し、これらの評価値に基づいて顔候補領域を検出する場合について説明した。この場合、例えば顔候補判定対象領域４ａ内に赤い花と緑の葉があるような場合には、顔候補判定対象領域４ａの色差平均が肌色に等しくなり、顔候補判定対象領域４ａ内に人物の顔が含まれていないにも関わらず、当該顔候補判定対象領域４ａを顔候補領域として誤検出してしまう可能性がある。

そこで、第２の実施の形態では、色差画像顔候補検出部１０３ｄは、肌色評価値Ｅｓと分離評価値Ｅｄとに加えて、さらに顔候補判定対象領域４ａの色差の分散を加味して縮小色差画像から顔候補領域を検出する。なお、図１に示したブロック図、図２に示したフロー図、図４に示した顔候補判定対象領域および周辺領域の設定例を示す図、および図５に示した肌色評価値Ｅｓを算出する際に用いるパラメータの設定方法を示す図については、第１の実施の形態と同様のため説明を省略する。

図６は、第２の実施の形態における色差画像顔候補検出部１０３ｄによって実行される顔候補判定処理の流れを示す図である。第２の実施の形態では、色差画像顔候補検出部１０３ｄは、顔候補判定対象領域設定部３ａ、色差平均値算出部３ｂ、肌色評価部３ｃ、分離評価部３ｄ、顔候補判定部３ｅ、色差分散値算出部６ａ、および分散評価部６ｂの各部の工程に分割することができる。なお、顔候補判定対象領域設定部３ａ、色差平均値算出部３ｂ、肌色評価部３ｃ、分離評価部３ｄの各部における処理については、第１の実施の形態と同じため説明を省略する。

色差分散値算出部６ａは、顔候補判定対象領域４ａにおける色差の分散（色差分散値）を算出する。そして、算出した色差分散値をそれぞれσ_ａ ^２、σ_ｂ ^２として、次式（１６）により分散評価値Ｅｂを算出する。この分散評価値Ｅｂは、顔候補判定対象領域４ａ内の色差分散値の大きさを評価するための指標であり、その値が大きいほど顔候補判定対象領域４ａ内の色差分散値が小さいことを示す。

ここで、Ｄの値は例えば１０とする。

なお、顔候補判定処理の前処理として、色差画像の積分画像と色差画像の画素値の二乗の積分画像を作成しておくことにより、色差分散値の算出を高速に行うことができる。

顔候補判定部３ｅは、肌色評価値Ｅｓ、分離評価値Ｅｄ、および分散評価値Ｅｂに基づいて、顔候補判定対象領域が人物の顔を含む領域、すなわち顔候補であるか否かを判定する。顔候補判定部３ｅは、例えば肌色評価値Ｅｓ、分離評価値Ｅｄ、および分散評価値Ｅｂが次式（１７）を満たすときに顔候補判定対象領域が顔候補であると判定し、その顔候補判定対象領域を顔候補領域として検出する。なお、次式（１７）において、ｔｈは例えば０．６程度とする。
０．４×Ｅｄ＋０．４×Ｅｓ＋０．２×Ｅｂ＞ｔｈ ・・・（１７）

このように、肌色評価値Ｅｓ、分離評価値Ｅｄだけでなく分散評価値Ｅｂも加味して顔候補を判定することによって、顔候補判定対象領域４ａ内に人物の顔が含まれていないにも関わらず顔候補判定対象領域４ａの色差平均が肌色に等しくなる場合でも、分散評価値Ｅｂは小さな値となることから、式（１７）によって、このような顔候補判定対象領域４ａは顔候補ではないと判定することができる。

顔候補判定部３ｅは、顔候補領域を検出した場合には、上述したように、顔候補領域を検出した縮小色差画像の縮小倍率ｋと、その縮小倍率ｋで縮小された縮小色差画像内における顔候補領域の座標値（Ｘ´，Ｙ´）との対を顔判定部１０３ｅへ出力する。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、以下のような効果を得ることができる。すなわち、肌色評価値Ｅｓ、分離評価値Ｅｄに加えて分散評価値Ｅｂも加味して顔候補領域を検出するようにしたため、顔候補判定対象領域４ａ内に人物の顔が含まれていないにも関わらず顔候補判定対象領域４ａの色差平均が肌色に等しくなる場合には、当該顔候補判定対象領域４ａは顔候補ではないと判定することができ、さらに精度高く顔候補領域を検出することができる。

―第３の実施の形態―
第１および第２の実施の形態で上述した肌色評価値Ｅｓは、被写体を照明する光の色温度が低い場合や背景に木製の壁などがある場合など、画像の大半が肌色領域として検出されるような場合には、その信頼度が低くなる可能性がある。よって、第３の実施の形態では、このような場合に分離評価値Ｅｄを肌色評価値Ｅｓよりも重視して顔候補を判定するようにして、顔候補の判定精度を向上させる。

なお、図１に示したブロック図、図２に示したフロー図、図４に示した顔候補判定対象領域および周辺領域の設定例を示す図、および図５に示した肌色評価値Ｅｓを算出する際に用いるパラメータの設定方法を示す図については、第１の実施の形態と同様のため説明を省略する。

図７は、第３の実施の形態における色差画像顔候補検出部１０３ｄによって実行される顔候補判定処理の流れを示す図である。第２の実施の形態では、色差画像顔候補検出部１０３ｄは、係数算出部７ａ、顔候補判定対象領域設定部３ａ、色差平均値算出部３ｂ、肌色評価部３ｃ、分離評価部３ｄ、および顔候補判定部３ｅの各部の工程に分割することができる。なお、顔候補判定対象領域設定部３ａ、色差平均値算出部３ｂ、肌色評価部３ｃ、分離評価部３ｄの各部における処理については、第１および第２の実施の形態と同じため説明を省略する。

係数算出部７ａは、縮小色差画像内における肌色に類似する色の割合を求め、その算出結果に応じて分離評価値Ｅｄの重視度を示す係数ｋを算出する。具体的には、まず、縮小色差画像を数百個程度の複数画素からなるブロックに分割し、それぞれのブロックで色差の平均値を求める。そして、色差の平均値が肌色に類似するブロックをカウントし、縮小色差画像内の全ブロックに対する肌色に類似するブロックの割合ｐを算出する。

ここで、各ブロックが肌色に類似するか否かは、例えば、各ブロックの色差平均値を式（７）〜（９）に代入して肌色評価値Ｅｓを算出し、肌色評価値Ｅｓが０．４以上のブロックを肌色に類似するブロックと判定する。また、異なる縮小倍率で縮小された縮小色差画像のうち、いずれか１枚について肌色に類似するブロックの割合ｐを算出し、その他の縮小色差画像にも同じ値を適用するようにしてもよい。係数算出部７ａは、このようにして算出したｐを用いて、次式（１８）により、分離評価値Ｅｄの重視度を示す係数ｋを算出する。
ｋ＝０．５＋ｐ／２ ・・・（１８）

顔候補判定部３ｅは、肌色評価値Ｅｓ、分離評価値Ｅｄ、および分離評価値Ｅｄの重視度を示す係数ｋに基づいて、顔候補判定対象領域が顔候補であるか否かを判定する。顔候補判定部３ｅは、例えば肌色評価値Ｅｓ、分離評価値Ｅｄ、および分離評価値Ｅｄの重視度を示す係数ｋが次式（１９）を満たすときに顔候補判定対象領域が顔候補であると判定し、その顔候補判定対象領域を顔候補領域として検出する。なお、次式（１９）において、ｔｈは例えば０．６程度とする。
ｋ×Ｅｄ＋（１−ｋ）×Ｅｓ＞ｔｈ ・・・（１９）

このように、分離評価値Ｅｄの重視度を示す係数ｋを用いて肌色評価値Ｅｓおよび分離評価値Ｅｄを重み付けして顔候補を判定することによって、被写体を照明する光の色温度が低い場合や背景に木製の壁などがある場合など、画像の大半が肌色領域として検出されるような場合でも、顔候補の判定精度を向上させることができる。

顔候補判定部３ｅは、顔候補領域を検出した場合には、上述したように、顔候補領域を検出した縮小色差画像の縮小倍率ｋと、その縮小倍率ｋで縮小された縮小色差画像内における顔候補領域の座標値（Ｘ´，Ｙ´）との対を顔判定部１０３ｅへ出力する。

以上説明した第３の実施の形態によれば、分離評価値Ｅｄの重視度を示す係数ｋを用いて肌色評価値Ｅｓおよび分離評価値Ｅｄを重み付けして顔候補を判定するようにした。これによって、第１および第２の実施の形態の作用効果に加えて、画像の広い範囲が肌色に類似するような場合には、分離評価値Ｅｄを肌色評価値Ｅｓよりも重視して顔候補を判定することができ、顔候補判定処理の精度をさらに向上することができるという効果を得ることができる。

―第４の実施の形態―
第１〜第３の実施の形態では、色空間変換部１０３ａは、入力された画像を色変換して色差画像と輝度画像とを生成し、それぞれの画像を色差画像縮小部１０３ｂと輝度画像縮小部１０３ｃへ出力する例について説明した。これに対して第４の実施の形態では、色空間変換部１０３ａは、入力された画像を色変換して色差画像と輝度画像とを生成した後、色差画像については、さらに色差画像顔候補検出部１０３ｄによる肌色評価に適した色空間に変換してから色差画像縮小部１０３ｂへ出力する例について説明する。

なお、図１に示したブロック図、図２に示したフロー図、図３に示した顔候補判定処理の流れを示すフロー図、図４に示した顔候補判定対象領域および周辺領域の設定例を示す図、および図５に示した肌色評価値Ｅｓを算出する際に用いるパラメータの設定方法を示す図については、第１の実施の形態と同様のため説明を省略する。また、図２において、色空間変換部１０３ａおよび色差画像顔候補検出部１０３ｄ以外の各部による処理は、第１〜第３の実施の形態と同じため説明を省略し、相違点を中心に説明する。

色空間変換部１０３ａは、入力画像の画素値をＬａｂ表色系に変換した後、画素ごとの色差（ａ，ｂ）を次式（２０）および（２１）に代入してさらに変換し、第二の色差（Ｃｘ，Ｃｙ）を生成する。

そして、色空間変換部１０３ａは、算出した第二の色差（Ｃｘ，Ｃｙ）を画素値とする色差画像を色差画像縮小部１０３ｂへ出力する。

色差画像顔候補検出部１０３ｄによって実行される顔候補判定処理を図３を用いて説明する。なお、第４の実施の形態では、色差画像顔候補検出部１０３ｄが有する顔候補判定対象領域設定部３ａ、および顔候補判定部３ｅにおける処理については、第１の実施の形態と同じため説明を省略する。

色差平均値算出部３ｂは、顔候補判定対象領域４ａの第二の色差の平均値（Ｃｘ＊，Ｃｙ＊）、周辺領域４ｂ内の第二の色差の平均値（Ｃｘ_１＊，Ｃｙ_１＊）、周辺領域４ｃ内の第二の色差の平均値（Ｃｘ_２＊，Ｃｙ_２＊）、周辺領域４ｄ内の第二の色差の平均値（Ｃｘ_３＊，Ｃｙ_３＊）、および周辺領域４ｅ内の第二の色差の平均値（Ｃｘ_４＊，Ｃｙ_４＊）をそれぞれ算出する。

肌色評価部３ｃは、顔候補判定対象領域４ａの第二の色差の平均値（Ｃｘ＊，Ｃｙ＊）を次式（２２）に代入して、肌色評価値Ｅｓを算出する。なお、次式（２２）における各パラメータの値は第１の実施の形態と同様に設定すればよい。

分離評価部３ｄは、顔候補判定対象領域４ａの第二の色差の平均値（Ｃｘ＊，Ｃｙ＊）、および周辺領域４ｂ〜４ｅのそれぞれの第二の色差の平均値（Ｃｘ_１＊，Ｃｙ_１＊）〜（Ｃｘ_４＊，Ｃｙ_４＊）に基づいて、分離評価値Ｅｄを次式（２３）〜（２７）により算出する。

ここで、式（２３）〜（２７）において、σ_ｄは、例えば５程度に設定すればよい。

以上説明した第４の実施の形態によれば、色空間変換部１０３ａにおいて、色差画像を肌色評価に適した色空間に変換するようにしたので、色差画像顔候補検出部１０３ｄにおいて肌色評価値Ｅｓを算出する際の計算量を削減することができる。

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した第２、第３、および第４の実施の形態における顔候補判定処理は、それぞれ第１の実施の形態を変形した場合について説明した。しかしながら、第２、第３、および第４の実施の形態をそれぞれ組み合わせて顔候補判定処理を行うようにしてもよい。

（２）上述した第１〜第４の実施の形態では、画像処理装置１００としてパソコンを用いる例について説明した。しかしこれに限定されず、画像処理装置１００をデジタルカメラに搭載し、デジタルカメラで撮影した画像内から人物の顔領域を判定するようにしてもよい。

（３）上述した第１〜第４の実施の形態では、肌色評価値Ｅｓによって肌色らしさを評価し、画像内に存在する人物の顔を判定する例について説明した。すなわち、判定の対象物を人物の顔とし、その人物の顔の特徴的な色（特徴色）である肌色を肌色評価値Ｅｓによって評価する例について説明した。しかしながら、特徴的な色を有するその他の対象物を判定する場合にも本発明は適用可能である。すなわち、画像処理装置１００は、入力画像に基づいて色差画像を生成する色差画像生成工程と、色差画像に対して対象物を判定するための判定対象領域を設定する領域設定工程と、判定対象領域および判定対象領域の周囲に設定した複数の周辺領域のそれぞれにおいて、各領域の色差平均値を算出する色差平均値算出工程と、判定対象領域における色差平均値が対象物に関してあらかじめ定められた特徴色であるかを評価する色評価工程と、判定対象領域における色差平均値と周辺領域の色差平均値との差分に基づいて、判定対象領域と周辺領域とが分離された領域であるかを評価する分離評価工程と、色評価工程による評価結果および分離評価工程による評価結果に基づいて、判定対象領域が対象物を含む領域であるか否かを判定する判定工程とを備えるようにし、画像内におけるその対象物の特徴色を肌色評価値Ｅｓと等価な指標を用いて評価して、画像内に存在する対象物を判定するようにしてもよい。

（４）また、パーソナルコンピュータなどに適用する場合、上述した制御に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図８はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にこれらのプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００に送信する。すなわち、プログラムをデータ信号として搬送波にembodyして、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第２０２３１３号（２００６年７月２５日出願）

Claims (12)

1. 入力画像情報に基づいて色差画像情報を生成し、
   前記色差画像情報で構成される被判定画像内において、対象物を判定するための判定対象領域を設定し、
   前記判定対象領域および前記判定対象領域の周囲に設定した複数の周辺領域のそれぞれの前記色差画像情報に基づいて、各領域の色差平均値を算出し、
   前記判定対象領域における前記色差平均値が示す色情報が、前記対象物に関してあらかじめ定められた特徴色の情報であるかを評価し、
   前記判定対象領域における前記色差平均値と前記周辺領域の前記色差平均値との差分に基づいて、前記判定対象領域と前記周辺領域とが分離された領域であるかを評価し、
   前記特徴色の情報であるか否かの評価結果および前記分離された領域であるか否かの評価結果に基づいて、前記判定対象領域が前記対象物を含むか否かを判定する画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記対象物は、人物の顔である画像処理方法。
3. 請求項２に記載の画像処理方法において、
   前記対象物の特徴色の情報は、前記人物の顔の肌色を表す色情報である画像処理方法。
4. 請求項１〜３のいずれか一項に記載の画像処理方法において、
   前記判定対象領域における色差画像情報に基づいて、当該領域における色差の分散を評価し、
   前記特徴色の情報であるか否かの評価結果、前記分離された領域であるか否かの評価結果、および前記色差の分散の評価結果に基づいて、前記判定対象領域が前記対象物を含むか否かを判定する画像処理方法。
5. 請求項１〜４のいずれか一項に記載の画像処理方法において、
   前記色差画像情報を積分して積分画像情報を生成し、前記積分画像情報に基づいて前記色差平均値を算出する画像処理方法。
6. 請求項１〜５のいずれか一項に記載の画像処理方法において、
   前記被判定画像内において、前記対象物の特徴色の情報に対応する色情報を有する領域の割合を算出し、
   算出された前記領域の割合が大きいほど、前記分離された領域であるか否かの評価結果を重視して判定を行う画像処理方法。
7. 請求項１〜６のいずれか一項に記載の画像処理方法において、
   あらかじめ取得した前記特徴色のサンプルの色差値のばらつきを最小にする第１の色空間座標軸、および前記第１の色空間座標軸に対して直交する第２の色空間座標軸のそれぞれに対して、前記判定対象領域における前記色差平均値を射影し、それぞれの射影値を変換して得られた評価値に基づいて、前記判定対象領域における前記色差平均値が示す色情報が前記対象物の特徴色の情報であるかを評価する画像処理方法。
8. 請求項１〜７のいずれか一項に記載の画像処理方法において、
   入力画像に基づいて第１の色差画素値を生成し、あらかじめ取得した前記特徴色のサンプルの色差値のばらつきを最小にする第１の色空間座標軸、および前記第１の色空間座標軸に対して直交する第２の色空間座標軸のそれぞれに対して、前記第１の色差画素値を射影した値を第２の色差画素値として算出し、
   前記第２の色差画像値で構成される色差画像情報に対して前記判定対象領域を設定する画像処理方法。
9. 請求項１〜８のいずれか一項に記載の画像処理方法における処理をコンピュータに実行させるための画像処理プログラム。
10. 画像情報を入力する画像入力部と、
    請求項９に記載の画像処理プログラムを実行して、前記画像入力部から入力された入力画像情報に対して画像処理を実行する実行部とを備える画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記実行部は、
    前記入力画像情報に基づいて色差画像情報を生成する色差画像情報生成部と、
    前記色差画像情報で構成される被判定画像内において、対象物を判定するための判定対象領域を設定する判定対象領域設定部と、
    前記判定対象領域および前記判定対象領域の周囲に設定した複数の周辺領域のそれぞれの前記色差画像情報に基づいて、各領域の色差平均値を算出する色差平均値算出部と、
    前記判定対象領域における前記色差平均値が示す色情報が、前記対象物に関してあらかじめ定められた特徴色の情報であるかを評価する特徴色評価部と、
    前記判定対象領域における前記色差平均値と前記周辺領域の前記色差平均値との差分に基づいて、前記判定対象領域と前記周辺領域とが分離された領域であるかを評価する分離領域評価部と、
    前記特徴色の情報であるか否かの評価結果および前記分離された領域であるか否かの評価結果に基づいて、前記判定対象領域が前記対象物を含むか否かを判定する判定部とを含むことを特徴とする画像処理装置。
12. 被写体像を撮像して画像情報を取得する画像取得部と、
    請求項１０または１１に記載の画像処理装置とを備えたカメラであって、
    前記画像入力部は、前記画像取得部で取得した画像情報を入力することを特徴とするカメラ。

Images