JP4722467B2 - 画像において画素を分類する方法、前記方法を使用して肌を検出する方法、前記方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法および装置、前記方法を実行するように構成される装置、前記方法をコンピュータに実行させるコンピュータプログラム、ならびにコンピュータプログラムを格納するコンピュータ読取可能記憶媒体 - Google Patents

Description

本発明は、特に色を使用して、画像中の肌等の特定のコンテンツタイプの領域を検出する方法および装置に関する。本発明は、特に、画像中の第１および第２のコンテンツタイプが、特定の色空間において、または特定の方法を使用する場合において等の特定の条件下で、類似するかまたは区別できない場合に、第１のコンテンツタイプの領域を第２のコンテンツタイプの領域から識別することに関する。本発明は、特に、肌を検出し、目下既知の肌検出システム下で知覚的に類似する毛髪等の他の領域から、肌を識別することに関する。

この明細書では、コンテンツタイプという用語を、独特な画像の特徴または関連する特徴空間における分布により表現されまたは識別可能である、肌、毛髪等の画像の特徴を意味するものとして使用する。たとえば、肌等のコンテンツタイプを、特定の色空間における色分布によって表すことができる。コンテンツタイプはまた、コンテンツタイプのグループ、たとえば同様の分布を有するグループまたはより大きい分布に含まれるグループを含む。画像という用語は、静止画像、またはビデオシーケンス等の画像のシーケンスの一部を形成する画像を含み、かつ、インタレース画像のフレームまたはフィールドを含む。また、画像という用語を、画像の領域を意味するものとして使用してもよい。画像の領域は画素または画素のグループを含み、画素のグループを、いかなる種類の形状に配置してもよく、かつ空間的に結合しても分離してもよい。上記解釈は、特に明記がある場合および文脈から明らかである場合を除き、適用される。

自動的な人間の肌の検出は、さまざまな画像およびビデオ処理用途の分野で一般に使用される方法であり、２つの最も有名なものは、画像分類、たとえば猥褻画像の検出と、顔検出および追跡、たとえば携帯電話または監視システムで有用なものと、である。既知の技法の例は、欧州特許出願公開第１３５３５１６号明細書、Fleck, M.、Forsyth, D.、Bregler, C.著の「Finding naked people」（Proceedings of European conference on Computer Vision ECCV'96, 1996, vol.2, pp.593-602）、Yoo、T.W.、Oh、I.S.著の「A Fast Algorithm for Tracking Human Faces Based on Chromatic Histograms」（Pattern Recognition Letters, vol.20, no.10, pp.967-978, October 1999）、Yang, J.、Waibel, A.著の「A Real-Time Face Tracker」（Proceedings of Third IEEE Workshop on Applications of Computer Vision, pp.142-147, 1996）において述べられている。

デジタル画像およびビデオにおける自動的な人間の肌の検出の問題が、さまざまな研究者によって調査されてきた。上に挙げた例に加えて、他の例には、Soriano, M.、Martinkauppi, B.、Huovinen, S.、Laaksonen, M.著の「Skin Detection in Video Under Changing Illumination Conditions」（Proceedings of 15^th International Conference on Pattern Recognition ICPR 2000, vol.1, pp.1839-1842, 2000）、Sobottka, K.、Pitas, I.著の「Face Localization and Facial Feature Extraction Based on Shape and Color Information」（Proceedings of IEEE International Conference on Image Processing ICIP'96, pp.483-486, 1996）、Jones, M.J.、Rehg, J.M.著の「Statistical Color Models with Application to Skin Detection」（Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition CVPR'99, pp.274-280, June 1999）がある。報告された解決法には相違があるが、研究者らは、肌検出の最も強力な手がかりは色であるということで意見が一致している。報告された方法の相違は、色表現系（たとえば、ＲＧＢ、ＨＳＬ、ＹＣ_ｂＣ_ｒ等）の選択、検出に利用される情報（たとえば、３次元フルカラー、２次元クロミナンス等）、採用される肌色モデルのタイプ（たとえば、ヒストグラム、ガウス(Gaussian)または複数のガウスの混合、単純な発見的色値ルール等）等の態様にある。しかしながら、一般に、色ベースの肌検出は、画像の各画素を新たな色空間に変換すること、その色情報の一部またはすべてを肌色モデルとともに利用することにより肌色確率を取得すること、およびこの確率に基づき、当該画素を肌として分類すべきか否かを判断することを含む可能性がある。モデルのタイプ（たとえばガウスまたはヒストグラム）に関わらず、クロミナンスベースの肌色モデル（たとえば、正規化ｒｇ、ＨＳＬのＨＳ、ＹＣ_ｂＣ_ｒのＣ_ｂＣ_ｒ等）は、フルカラーモデル（たとえば、フルＲＧＢ）より好ましく、文献において優位を占めている。これは、クロミナンスベースのモデルが照明強度(illumination intensity)に対する頑強性特性を有し、また、異なる人および異なる人種（たとえば、アフリカ人、白人、アジア人等）の肌の色は、主に色彩情報自体ではなく強度(intensity)に関して異なるためである。

色ベース、特にクロミナンスベースの、肌検出の一般的な問題は、肌の色は実際には肌に限定されないため、非肌画素(non-skin pixel)が肌であるとして検出されることが多い、ということである。肌として検出される非肌画素は、全般的には低い確率で検出されるため、肌色確率閾値を使用することにより、この問題をある程度まで緩和することができる。誤って検出された非肌領域が完全に除去されない場合であっても、それらは通常、後続する連結成分分析および小領域除去アルゴリズムがそれらを除去することができる程度まで断片化され、一方、空間フィルタリング方法により、閾値処理プロセスの結果として誤って除去された正当な肌画素を再度取り込むことができる。しかしながら、肌に対して略同一のクロミナンスを有するために通常高い肌色確率で検出され、肌に連結されているため空間処理ではほとんど除去することができない、非肌素材がある。この素材は毛髪である。この種の誤検出は、画像またはビデオ処理適用の全体の性能に対して大きく影響を与える可能性がある。たとえば、顔検出および追跡において、このような誤検出は、顔窓(face window)の正しい計算に重大な影響を与える可能性がある。画像分類において、このような誤検出は、重大な分類エラーをもたらす可能性がある。目標が、たとえば特殊効果において、正確な肌検出と後続する色調(tone)変更とである適用では、このような誤検出は悪影響をもたらす可能性がある。

自動肌検出中の誤った毛髪検出の問題は、現在まで広範囲に研究されておらずまた十分に解決されていない。上述したFleck他は、クロミナンスベースの肌検出モデルの性能を補強する、すなわち誤った許容の率（非肌画素が肌として検出される）を低減することに対し総合的な機能強化を提案している。この機能強化は、肌が比較的均一であるということに基づき、テクスチャ強度情報を使用することである。ここで、テクスチャ強度は、元の強度の画像とそのメディアンフィルタリングされたバージョンとの差として定義される。Fleck他によって提案された方法の１つの問題は、テクスチャ画像の計算および処理が、色ベースの肌検出プロセスが含む画素ベースの処理と比較して、計算的に高価であるということである。別の問題は、何らかの局所近傍における肌領域のテクスチャ強度は、画像の空間解像度および雑音レベルが変化することによって変化する、ということである。この手法のさらなる問題は、肌領域の縁に現れる正当な肌画素は、非肌画素として非常に容易に除去される可能性がある、ということである。

上述したJonesおよびRehgもまた、色ベースの肌検出の性能を総合的に向上させる方法を提案している。この方法では、統計的肌色モデルが統計的非肌色モデルとともに使用される。この手法の問題点は、非肌を記述するモデルの作成が、関連するデータの収集という点で極めて困難である、ということである。正しい統計的非肌色モデルをうまく作成することができる場合であっても、かかるモデルは、特定の肌／毛髪混同問題に対して最適な解決法を提供するには一般的すぎるものになる。

欧州特許出願公開第１２１１６３８号明細書および欧州特許出願公開第１２２３５５０号明細書において、ChenおよびRayは、自動肌検出の際の誤った毛髪検出の問題を直接扱っている。より詳細には、かかる発明者等は、画像肌色検出における金髪画素除去の方法を提示している。この方法では、デジタル画像において肌画素を検出するために、ｒｇベースの肌色モデルが使用される。彼らは、誤って検出された金髪画素から、正しく検出された肌画素を、１次元色相空間(1D Hue space)におけるそれらの値に基づいて分離することを提案している。より詳細には、初期のクロミナンスベースの肌色モデルによって肌として検出された画素は、その色相値が１５°未満である場合は肌として保持され、そうでない場合は毛髪として拒否される。それにも関わらず、本発明者による実験では、この手法が、図１において分かるように肌検出プロセスに悪影響をもたらすことが分かった。図１（ａ）は、１（最小値）から２５５（最大値）までの範囲の肌色確率閾値θの関数として、ＦＲ（誤った拒否（False Rejection）、すなわち、誤って拒否された肌画素）とＦＡ（誤った許容（False Acceptance）、すなわち、誤って許容された毛髪画素）とに関し、ｒｇベースの肌色モデルの性能を示す。図１（ｂ）は、ChenおよびRayが示唆するように、かかる発明者等が後処理ステップとして提案した方法を取り入れた後の同じ統計を示す。肌色モデルは、さまざまな照明下のさまざまな白人の肌の色調を包含するデータから作成された。この評価で使用したデータは、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人等の肌の色調と、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人等の毛髪の色調とを包含する。これは公正な試験である。なぜなら、（ｉ）クロミナンスベースの肌色モデルは、異なる人種の人々からもたらされる非常に異なる肌の色調に対するのと同様に、照明強度変化に対しても頑強であるように意図されており、（ｉｉ）自動肌検出システムでは、画像における被写体の正確な肌の色調、照明状態、毛髪の色等が概して知られていないためである。提案された方法は、ＦＡ率を低下させる（最大ＦＡが、図１（ａ）の〜７６．３４％から図１（ｂ）の〜２２．３４％まで低下する）が、ＦＲ率には悪影響を及ぼす（最小ＦＲは図１（ａ）の〜３．１６％から図１（ｂ）の〜４３．９７％まで増大する）、ということが分かる。明らかに、誤った毛髪画素検出をさらに抑制するという点で、かつこの毛髪除去プロセスの結果として正当な肌画素の拒否を最小限にするという点で、大幅な改善が望ましい。

本発明は、デジタル画像またはビデオシーケンスにおける肌検出プロセスの際の誤った毛髪検出の問題に対処する。

本発明は、ChenおよびRayの肌／毛髪分離方法で見られるような、ＦＡ抑制のプロセスにおける（すなわち、毛髪画素を除去しようと試みる間）激しいＦＲ劣化（すなわち、正当な肌画素を間違って拒否すること）の問題に対処する。提案する方法は、正当な肌画素を誤って除去することに関する劣化を最低限にして毛髪画素を除去することに大いに成果を上げる。

ChenおよびRayによって提案された方法とは対照的に、本発明は、望ましい分類エラーコストおよび事前の生起確率(prior probabilities of occurrence)を反映することができるように、肌／毛髪分離プロセスを用途特定、画像特定または画像領域特定でカスタマイズすることができるようにする。提案する方法により、毛髪画素を除去する際にこの方法がどの程度緩やか（mild）であるかまたは積極的（aggressive）であるかを定義することができ、それは、肌画素をうまく保持することに影響を与える。

Fleck他によって提案された方法とは対照的に、本発明は、異なる画像スケール下では信頼性が低い可能性がありまた必然的に計算負荷を増大させるテクスチャ情報に頼る必要がない。

本発明の態様を、添付の特許請求の範囲において述べる。

好ましい実施形態では、本発明を、肌を毛髪から識別するために使用する。肌を検出することには非常に成果を上げるが毛髪もまた検出するという点で脆弱な肌検出プロセスＸが与えられた場合、本実施形態の特徴は以下の通りである。

肌色モデルＹ１と毛髪色モデルＹ２とを作成する。好ましくは、毛髪モデルを、ありとあらゆる毛髪色に対してではなく、初期肌検出プロセスを混乱させる毛髪に対して作成する。それらモデルに対し、各モデルが（ａ）それぞれの素材をうまく検出し、（ｂ）他方のモデルの素材に対してたいてい(largely)無反応であり、（ｃ）その他の素材に対していかに挙動するかは重要でないように、色空間を選択する。この最後の部分（ｃ）は重要である。なぜなら、それがなければ、（ａ）と（ｂ）とをともに満足させることが不可能な場合があるためである。これは、初期検出プロセスＸが最初に始めなければならない問題である。たとえば、Ｙ１は、肌を検出することに適しており、毛髪には無反応でなければならず、それが他の物質、たとえば木材や砂等もまた検出するか否かは問題とならない。Ｙ２の場合も同様である。初期検出プロセスＸによって肌として検出された画素がある場合、確率ｐ _Ｙ１ およびｐ _Ｙ２ を割り当てるモデルＹ１およびＹ２がその画素を調査する。これらの確率を比較することにより、それが肌であるか毛髪であるかを判断する。たとえば幾分か毛髪を除去するが肌の保持を優先事項とするか、または肌検出にいかに影響するかにかかわらずすべての毛髪を除去しようと試みる等のシステムを作成するために、確率に対する重み係数を導入することができる。Ｙ１およびＹ２が肌および毛髪以外の素材に対していかに反応するかが重要でない理由は、かかる素材は初期フィルタＸによって拒否されるであろうためである。Ｘが他の「脆弱性」を有する、たとえば肌／木材を混同する場合、Ｙ１およびＹ２の場合と同じ色空間であってもよい何らかの色空間において肌と木材とに対しモデルＺ１およびＺ２を作成することによって等、プロセスを繰り返すことができる。

概して、本発明の実施形態を、以下のように表すことができる。素材Ａを誤って拒否しないことに非常に成果を上げるが誤った許容もまた行う方法に対し、上記誤った許容を１つまたは複数のグループＢ、Ｃ、Ｄ等にグループ化する。Ａと少なくとも１つの他のグループとの間の混同を解決する色空間を特定し、該色空間においてモデルを作成する。初期方法の優れた検出特性に対する影響を最低限にしつつ、上記誤った許容を除去する、多重分類子構成において上記モデルを使用する。上記多重分類子構成は、所望の分類エラーコストと事前の生起確率とを反映するようにパラメータ化可能である。

上記において、グループ化は、本明細書で行ったように、たとえば毛髪は１つのグループであり、木材は別のグループである等、概念のグループ化を意味してもよい。グループ化はまた、より形式的な(formal)プロセスであってもよい。たとえば、初期検出プロセスの色空間では、グループを自動的に確定するためにクラスタリングを実行する。これにより、金髪と砂とが１つのグループになり、黒髪と木材とが別のグループになる、等の可能性がある。

本発明の実施形態を、添付図面を参照して説明する。

図２は、本発明の一実施形態を示す。肌画素のデータベースに対し、２次元Ｃ_ｂＣ_ｒクロミナンス空間における統計的ヒストグラムベースモデルとして、肌色モデルＸを作成する。簡単に言えば、データベースの肌画素のすべてを、Ｃ_ｂＣ_ｒ空間に変換しヒストグラムに表す。
これらの新しい色座標は、以下の式を用いてＲＧＢから導出される。
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｃｒ＝＋０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
そして、このヒストグラムを、何らかの最大値に正規化する。肌フィルタリングの結果は通常、検査され視覚的に表示されるため、この特定の実施形態の場合のように、ヒストグラムを整数範囲［０…２５５］で正規化することは一般的である。また、ヒストグラムは、この特定の実施形態では２５６^２のビンを有するが、いかなるビンサイズ(bin size)に一般化してもよい。

肌／毛髪分離に適した２次元色空間を特定した。第１の次元は、元のＲＧＢ表現のＢ平面(B plane)である。これは、強度情報に直接的に関連づけられている。第２の次元は、Ｂ平面と同じ範囲を有するようにスケーリングされシフトされた、元のＲＧＢ表現の差Ｒ−Ｇである。これは、付加的な照明強度変化（明るさ）に対して不変である。本発明者は、単一表現系ではこれら２つの成分の組合せを見出さなかったため、結果としての色表現系を（Ｂ，Ｒ−Ｇ）と呼ぶ。

Ｘの作成に使用したものと同じデータベースから肌色モデルＹ１を作成する。それは、（Ｂ，Ｒ−Ｇ）空間における統計的ヒストグラムベースモデルである。毛髪色モデルＹ２の場合、毛髪画素データベースを使用する。このデータベースを、最初に肌モデルＸによってフィルタリングする。Ｘによりゼロでない確率が与えられる毛髪画素を、同様に（Ｂ，Ｒ−Ｇ）における統計的ヒストグラムベースモデルの形態をとる毛髪色モデルＹ２の作成に使用する。Ｘについて、この実施形態では、Ｙ１およびＹ２ヒストグラムもまた、２５６^２のビンを有するが、異なるビンサイズに一般化してもよい。

図２は、単一の「複合」または「多重分類子」フィルタにおけるフィルタＸ、Ｙ１およびＹ２の１つの可能な組合せを示す。

デジタル画像をシステムに入力し、各画素を個々に調査する。画素の色値は、特定の色空間に関して表現されている。この値は、図２に示される段階１に対する入力のためにＣ_ｂＣ_ｒ空間に、また、図２に示される段階２に対する入力のための（Ｂ，Ｒ−Ｇ）空間に変換される。

下に説明するように、関連する色空間の画素の値を、上述したデータベースを使用して導出されたヒストグラムモデルと比較することにより、確率を確定する。

１．肌検出のプロセスにおいて、デジタル画像の各画素に対し、複合フィルタの段階１、すなわちモデルＸにより肌色確率値ｐ_ｘを割り当てる。
２．ｐ_ｘ≠０である場合、
ａ．段階２を起動して当該画素を調査する。段階２では、その画素に対し、それぞれモデルＹ_１およびＹ_２により確率ｐ_Ｙ１およびｐ_Ｙ２を割り当てる。
ｂ．融合層において、新たな肌色確率ｐ’_ｘを計算する。より詳細には、ｐ_Ｙ１＜ｗ・ｐ_Ｙ２である場合、ｐ’_ｘ＝０である。そうでない場合、ｐ’_ｘ＝ｐ_ｘである。
３．ｐ_ｘ＝０である場合、融合層においてｐ’_ｘ＝０である。
４．判断層において、閾値θとともに最終肌色確率ｐ’_ｘを調査し、分類判断を達成する。

この定義において暗黙的なのは、ｐ_Ｙ１＝ｐ_Ｙ２＝０である場合、元の肌色確率は変更されない、という事実である。簡単に言えば、第２のフィルタリング段階において判断を下すことができない場合、それは無視され、第１の段階の出力は保持される。重みｗを、所望の分類エラーコストと事前の確率とを反映するように調整してもよい。たとえば、ｗ＜１と設定することにより、正しく検出された肌画素に対する悪影響がごくわずかであるかまたは存在することなく、毛髪除去プロセスが次第に緩やかになる。同様に、ｗ>１と設定することにより、毛髪除去プロセスが次第に積極的になる。このため、本実施形態では、正確かつ調整可能な選択的除去が可能になる。値ｗを、適用実施態様に対して固定してもよいが、異なる用途間で変更してもよく、あるいは、画像レベルで可変であってもよく、あるいは下位画像(sub-image)レベルで可変であってもよい。たとえば、後者に関して、連結成分分析アルゴリズムが、第１のフィルタＸの出力に基づいて肌領域を特定してもよく、その後、毛髪分離フィルタを使用して各肌領域を精緻化してもよい。

図３は、提案した方法の性能を示す。より詳細には、基準として、図３（ａ）は、１（最小値）から２５５（最大値）までの範囲の肌色確率閾値θの関数としての、ＦＲ（誤った拒否、すなわち、誤って拒否された肌画素）とＦＡ（誤った許容、すなわち、誤って許容された毛髪画素）とに関し独立したモデルＸの性能を示す。肌色モデルＸを、さまざまな照明下でのさまざまな白人の肌の色調を包含するデータから作成した。この評価で使用したデータは、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人等の肌の色調と、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人等の毛髪の色調と、を包含する。上述したように、これは、公正な試験である。なぜなら、（ｉ）クロミナンスベースの肌色モデルは、異なる人種の人々からもたらされる非常に異なる肌の色調に対するのと同様に、照明強度変化に対しても頑強であるように意図されており、（ｉｉ）自動肌検出システムでは、画像の被写体の正確な肌の色調、照明状態、毛髪の色等が概して知られていないためである。複合フィルタに対し、Ｘに対するデータと同じデータを使用して肌色モデルＹ１を作成した。ゼロでない肌色確率を有する毛髪画素のみが保持されるようにするモデルＸによるフィルタリングを行った後に、毛髪色モデルＹ２を、さまざまな照明下でのさまざまな白人の毛髪の色調のデータベースから作成した。図３（ｂ）、図３（ｃ）および図３（ｄ）は、それぞれ０．５５、０．７５および１．００の重みｗを有する複合フィルタに対する同じ評価データに対する同じ統計を示す。複合フィルタが、誤った肌拒否に対する影響を最小限にして誤った毛髪検出を著しく抑制することが分かった。重みｗの異なる値に対する異なるＦＡおよびＦＲ曲線により、誤って検出された毛髪を除去する際のその「積極性（aggressiveness）」に関するフィルタのカスタマイズ可能性もまた、明白に示されている。図４および図５は、いくつかの絵による例を示す。図４（ａ）は元の画像であり、図４（ｂ）は段階１の出力を示し、図４（ｃ）は複合フィルタの出力を示す。この例では、ｗ＝０．８０である。同様に、図５（ａ）は元の画像であり、図５（ｂ）は段階１の出力を示し、図５（ｃ）は複合フィルタの出力を示す（ｗ＝０．７５）。なお、複合フィルタは、段階１によって肌として検出された、肌でも毛髪でもない領域も除去する。

上記実施形態に対する変形形態および代替形態の例を下に述べる。

ここに提示した実施形態では、各ピクセルについて、モデルによって提供される確率に基づく分類がなされる。代替実施形態では、これらの確率に対して、または元の画像のピクセルに対して、たとえば中央値や平均値といった様々な空間フィルタリング技法を適用し得る。このような拡張は本発明の範囲内である。
確率が使用される場合、これらは２つまたはそれ以上の値を有する離散的なものであってもよく、また連続的なものであってもよい。

代替実施態様では、モデルＸは、理論的には任意のタイプであってもよく、任意の次元の任意の色空間にあってもよく、任意の情報内容を有するものであってもよく、任意の色ベース技法（ヒストグラムベース、ガウス等）、またはテクスチャベース技法等の非色技法、もしくはそれらの組合せを含んでもよい。同じことがモデルＹに適用され、それらは、必ずしも色ベース技法に限定されない。

（Ｂ，Ｒ−Ｇ）色空間は、肌から毛髪を分離する点において良好な特性を有する色空間の一つである。他の空間（たとえば、（Ｒ，Ｂ−Ｇ））および／または他の色空間次元および／または他の情報内容（たとえば、（Ｉ，Ｒ−Ｇ）等の輝度を直接含む色空間）を使用してもよい。また、ここではヒストグラムベースモデルを使用するが、本発明は、モデルＹ_１およびＹ_２がいかなるタイプに従うべきかを指定しない。異なる実施態様（ただし、依然として本発明の範囲内にある）は、モデルＹ_１およびＹ_２に対し異なるタイプ（たとえば、ガウス）を想定してもよい。

ここに記載される実施形態は、１つのピクセルに対する新たな確率が、古い確率またはゼロのいずれかになる。しかしながら、代替実施態様は、入力される確率のうちの１つまたは複数もしくはすべての任意の関数から新たな確率を導出してもよい。

１つの素材が別の素材から分離可能である色表現系、たとえば、毛髪から肌を分離するための（Ｂ，Ｒ−Ｇ）を見い出したため、両方の素材に対するモデルを作成する必要がない。たとえば、図２のものに対する代替実施態様は、閾値とともにモデルＹ_１のみまたはモデルＹ_２のみを使用してもよい。本出願人による実験により、これは複合フィルタの性能を劣化させることが分かったが、関連する計算複雑性が低減される実行可能な代替形態である。また、モデルＹ_１およびＹ_２を計算したため、代替実施態様において、モデル自体を融合し（たとえば、図２の確率融合に沿った、モデルの重み付き減算）、その後単一の融合モデルを使用してもよい。

図２のフィルタＸ自体が、図２に示すような複合フィルタであってもよい。たとえば、新たな複合フィルタでは、段階１は、誤って肌を拒否しないことに大いに成果を上げるが、いくつかの特定の種類の誤った許容がある、何らかの手段であってもよく、後続する段階は、これらの誤った許容の各々に対処する。このため、融合層に達するまで、段階２は、上述したように、誤って検出された毛髪を除去し、段階３は、誤って検出された木材を除去し、段階４は、誤って検出された砂を除去する等、を行う。

図２は、段階１がゼロでない確率をもたらす場合にのみ段階２が起動されるという意味で、逐次トポロジを示す。並列トポロジでは、各画素に対して段階１と段階２の両方が常に動作してもよく、融合層において適当な関数が与えられると、段階２の出力が段階１の出力を、後者がゼロの場合であっても修正することができる。上述した複数の素材に対し、ハイブリッドトポロジを検討することも可能である。

本発明の適用の例には、顔追跡を伴う携帯テレビ電話(mobile videophone)（たとえば、本出願人の同時係属中の欧州特許出願公開１３５３５１６号明細書を参照）、もしくは人を検出しかつ／または追跡するため等の監視システム、ビデオ会議等がある。

本発明を、ソフトウェアおよび／またはハードウェアを適切に変更して、たとえばコンピュータシステムで実施してもよい。本発明の態様を、ソフトウェアおよび／またはハードウェア形態で提供してもよく、あるいは、チップ等、特定用途向け装置または特定用途向けモジュールにおいて提供してもよい。

本発明のいくつかの特徴に対し好ましい色空間系を提案したが、所望のコンテンツ抽出のために好ましく選択される任意の適当な色空間を使用してもよい。

（ａ）および（ｂ）は、従来技術における誤った許容と誤った拒否とを示すグラフである。 本発明の実施形態を説明するブロック図である。 （ａ）〜（ｄ）は、異なった重み値が与えられた本発明の実施形態の誤った許容と誤った拒否とを示すグラフである。 本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。 本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。

Claims (33)

1. 第１および第２のコンテンツタイプの画素を含む画像であって、さらに他のコンテンツタイプの画素を含む可能性のある画像において、第１のコンテンツタイプの画素を識別するために、画像において画素を分類する方法であって、
   前記各コンテンツタイプは画像の色特徴であり、
   前記各コンテンツタイプは、特有の画像特徴によって、または、関連する色空間における分布によって、表現されるかまたは識別可能であり、
   前記第１のコンテンツタイプは肌コンテンツタイプであり、
   前記方法は、検出プロセスＡと、プロセスＢとを含み、
   前記検出プロセスＡは、第１のモデル（Ｘ）を用いて前記肌コンテンツタイプの画素を識別するためのものであり、
   前記プロセスＡは第１の色空間において動作し、
   前記プロセスＡは、前記第２のコンテンツタイプの画素を、前記肌コンテンツタイプに属するものとして誤って識別する可能性があり、
   前記プロセスＢは、別の第２の色空間において、前記肌コンテンツタイプを含むタイプの識別された画素と前記第２のコンテンツタイプを含むタイプの画素とを区別するためのものであり、
   前記プロセスＢは、第１のさらなる検出プロセスＣおよび第２のさらなる検出プロセスＤに基づき、
   前記第１のさらなる検出プロセスＣは、第２のモデル（Ｙ１）を用いて、前記肌コンテンツタイプと、前記他のコンテンツタイプを含む可能性のある前記第２のコンテンツタイプを含むコンテンツとを区別するためのものであり、
   前記プロセスＣは前記第２の色空間において動作し、
   前記第２のさらなる検出プロセスＤは、第３のモデル（Ｙ２）を用いて、前記第２のコンテンツタイプと、前記他のコンテンツタイプを含む可能性のある前記肌コンテンツタイプを含むコンテンツとを区別するためのものであり、
   前記プロセスＤは前記第２の色空間において動作する、方法。
2. 前記第１、第２および第３のモデルは、関連するコンテンツタイプを表すヒストグラムモデルである、請求項１に記載の方法。
3. １つまたは複数のコンテンツタイプに対し、コンテンツタイプの既知の例を使用することによりモデルを導出する、たとえばヒストグラムを導出することによりモデルを導出することを含む、請求項２に記載の方法。
4. プロセスＡの結果を使用することにより、プロセスＣおよびＤを使用するか否かを判断することを含む、請求項１〜３のいずれか一項に記載の方法。
5. プロセスＡの結果と、プロセスＣの結果およびプロセスＤの結果とを結合することを含む、請求項１〜４のいずれか一項に記載の方法。
6. ある画素についてプロセスＣおよびＤの各々によって生じる結果は、ある画素が所与のコンテンツタイプに属するか否かの確率の測度であり、
   前記確率の測度は、少なくとも２つの値の範囲にわたる、請求項１〜５のいずれか一項に記載の方法。
7. 前記プロセスＣおよびＤのうちの少なくとも一方は、それが生じる確率値の空間フィルタリングを伴い、前記空間フィルタリングは、ある画素の確率値を任意の近傍における近傍画素の確率値に基づいて、たとえば空間的平滑化プロセス中に修正することを含む、請求項６に記載の方法。
8. プロセスＡによって生じる結果は、プロセスＣおよびＤのうちの一方または両方によって生じる確率値によって修正される、請求項６または７に記載の方法。
9. ある画素について、プロセスＣによって生じる確率値と、プロセスＤによって生じる確率値とを比較することを含み、
   前記比較の結果は、プロセスＡによって生じる結果を修正するために用いられる、請求項８に記載の方法。
10. プロセスＣの前記確率値およびプロセスＤの前記確率値のうちの少なくとも一方は重み付けされ、各重みは他方に依存しない、請求項９に記載の方法。
11. 前記重み値は可変であり、かつ／または前記方法の使用者によって指定される、請求項１０に記載の方法。
12. ある画素について、プロセスＡによって生じる結果は、次のルール
    （Ｉ）ｗ_Y1・ｐ_Y1≧ｗ_Y2・ｐ_Y2である場合、プロセスＡの結果を許容し、
    （ＩＩ）ｗ_Y1・ｐ_Y1＜ｗ_Y2・ｐ_Y2である場合、プロセスＡの結果を拒否する
    に従って修正され、
    ｐ_Y1およびｐ_Y2はそれぞれ、プロセスＣおよびＤによって生じる確率値であり、
    ｗ_Y1およびｗ_Y2はそれぞれ、ｐ_Y1およびｐ_Y2にかかる重みである、請求項６〜１１のいずれか一項に記載の方法。
13. ある画素についてプロセスＡ、ＣおよびＤの各々によって生じる結果は、ある画素が所与のコンテンツタイプに属するか否かの確率の測度であり、
    前記確率の測度は、少なくとも２つの値の範囲にわたる、請求項１〜５のいずれか一項に記載の方法。
14. 前記プロセスＡ、ＣおよびＤのうちの少なくとも１つは、それが生じる確率値の空間フィルタリングを伴い、前記空間フィルタリングは、ある画素の確率値を任意の近傍における近傍画素の確率値に基づいて、たとえば空間的平滑化プロセス中に修正することを含む、請求項１３に記載の方法。
15. プロセスＡによって生じる確率値は、プロセスＣおよびＤのうちの一方または両方によって生じる確率値によって修正される、請求項１３または１４に記載の方法。
16. ある画素について、プロセスＣによって生じる確率値と、プロセスＤによって生じる確率値とを比較することを含み、
    前記比較の結果は、プロセスＡによって生じる確率値を修正するために用いられる、請求項１５に記載の方法。
17. プロセスＣおよびＤの前記確率値のうちの少なくとも一方は重み付けされ、各重みは他方に依存しない、請求項１６に記載の方法。
18. 前記重み値は可変であり、かつ／または前記方法の使用者によって指定される、請求項１７に記載の方法。
19. ある画素について、プロセスＡによって生じる確率値ｐ_Xは、ｐ’_Xとなるように次のルール
    （Ｉ）ｐ_X≠０である場合、
    （ｉ）ｗ_Y1・ｐ_Y1＜ｗ_Y2・ｐ_Y2である場合にｐ’_X＝０であり、
    （ｉｉ）ｗ_Y1・ｐ_Y1≧ｗ_Y2・ｐ_Y2である場合にｐ’_X＝ｐ_Xであり、
    （ＩＩ）ｐ_X＝０である場合、ｐ’_X＝０である
    に従って修正され、
    ｐ_Y1およびｐ_Y2はそれぞれ、プロセスＣおよびＤによって生じる確率値であり、
    ｗ_Y1およびｗ_Y2はそれぞれ、ｐ_Y1およびｐ_Y2にかかる重みである、請求項１３〜１８のいずれか一項に記載の方法。
20. ある画素が前記第１のコンテンツタイプのものである確率を反映する値を導出することを含み、
    前記確率値は、判断を得るために閾値と比較される、請求項１〜１９のいずれか一項に記載の方法。
21. 前記閾値は可変であり、かつ／または前記方法の使用者によって指定される、請求項２０に記載の方法。
22. ある画素が、プロセスＡ、ＣおよびＤのうちの少なくとも１つのために、別の色空間に変換される、請求項１〜２１のいずれか一項に記載の方法。
23. プロセスＣおよびＤは２次元以上の次元数の色空間を使用する、請求項１〜２２のいずれか一項に記載の方法。
24. 前記入力値を、照明変化に対して実質的に不変である色空間、たとえば２次元Ｃ_bＣ_r空間に変換することを含む、請求項１〜２３のいずれか一項に記載の方法。
25. 前記入力値を、照明変化に対して部分的に不変である色空間、たとえば２次元（Ｂ，Ｒ−Ｇ）空間に変換することを含み、
    Ｒ、ＧおよびＢはＲＧＢ表現の成分を表す、請求項１〜２４のいずれか一項に記載の方法。
26. 前記第２のコンテンツタイプは毛髪または木材または同様のものである、請求項１〜２５のいずれか一項に記載の方法。
27. 第１、第２および第３のコンテンツタイプの画素を含む画像であって、さらに他のコンテンツタイプの画素を含む可能性のある画像において、第１のコンテンツタイプの画素を識別するために、画像において画素を分類する方法であって、
    前記各コンテンツタイプは画像の色特徴であり、
    前記各コンテンツタイプは、特有の画像特徴によって、または、関連する色空間における分布によって、表現されるかまたは識別可能であり、
    前記第１のコンテンツタイプは肌コンテンツタイプであり、
    前記方法は、前記肌コンテンツタイプに属する画素を識別するための請求項１に記載の検出プロセスＡ２を含み、前記プロセスＡ２は、前記第３のコンテンツタイプの画素を、前記肌コンテンツタイプに属するものとして誤って識別する可能性があり、
    前記方法は、プロセスＢ２を含み、前記プロセスＢ２は、肌コンテンツタイプを含むタイプの識別された画素と前記第３のコンテンツタイプを含むタイプとを区別するためのものであり、
    前記プロセスＢ２は、さらなる検出プロセスＣ２およびさらなる検出プロセスＤ２に基づき、
    前記さらなる検出プロセスＣ２は、第２のモデル（Ｙ１）を用いて、前記肌コンテンツタイプと、前記他のコンテンツタイプを含む可能性のある前記第３のコンテンツタイプを含むコンテンツとを区別するためのものであり、
    前記プロセスＣ２は前記第２の色空間において動作し、
    前記さらなる検出プロセスＤ２は、第３のモデル（Ｙ２）を用いて、前記第３のコンテンツタイプと、前記他のコンテンツタイプを含む可能性のある前記肌コンテンツタイプを含むコンテンツとを区別するためのものであり、
    前記プロセスＤ２は前記第２の色空間において動作する、方法。
28. 請求項１〜２７のいずれか一項に記載の方法を使用して肌を検出する方法。
29. 請求項１〜２８のいずれか一項に記載の方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法または装置。
30. 請求項１〜２９のいずれか一項に記載の方法を実行するように構成される装置。
31. コンピュータシステムである請求項３０に記載の装置。
32. 請求項１〜２９のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
33. 請求項３２に記載のコンピュータプログラムを格納するコンピュータ読取可能記憶媒体。

Images