JP4519681B2 - 人物の唇領域マスクデータの作成方法および作成装置 - Google Patents

Description

本発明は、コンピュータを用いた画像処理技術に関し、特に、人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する方法および装置に関する。

写真画像をデジタルデータとしてコンピュータに取り込み、コンピュータ上で画像に対する種々の加工処理を施すフォトレタッチ技術は、様々な分野で利用されている。最近では、コンピュータの性能向上に伴い、パソコンを用いても写真画像に対する種々のレタッチ処理を施すことができるようになってきており、個人ユーザがデジカメ写真に対して加工を施すことも一般化してきている。

商用の写真画像にしても、個人レベルの写真画像にしても、最も典型的な写真画像は人物画像である。この人物画像をコンピュータに取り込んで種々のデジタル処理を施す場合、当該人物の肌領域を示すマスクデータや唇領域を示すマスクデータが必要になることが少なくない。ここで、肌領域とは、写真画像中、人物の肌として認識される領域であり、人物の上半身像の場合、顔から首にかけての領域（目、眉、唇、鼻孔など、肌色以外の領域を除く）ということになる。また、唇領域とは、写真画像中、文字どおり人物の唇として認識される領域である。たとえば、写真の人物に赤みを帯びたファンデーションを用いた化粧を施すシミュレーションを行うために、肌の部分に対して赤みを増すような色補正を行う場合、写真画像全体の中から肌領域のみを抽出して色補正を行う必要があるので、肌領域を示すマスクデータが必要になる。あるいは、ピンク色の口紅を塗った状態のシミュレーションを行うために、唇の部分に対してピンク色を加色する色補正を行う場合、写真画像全体の中から唇領域のみを抽出して色補正を行う必要があるので、唇領域を示すマスクデータが必要になる。

このような事情から、人物画像の中から肌色の領域を認識するための手法が研究されている。たとえば、下記の特許文献１には、三原色ＲＧＢの各画素値をもった画素の集合からなるデジタル画像について統計的な解析を行うことにより、個々の画素の色が肌色であるか否かを判断し、肌領域を示すマスクデータを作成する手法が開示されている。同様に、人物画像の中から唇の領域を認識するための手法も研究されている。たとえば、下記の特許文献２には、人物画像データの濃度ヒストグラムを利用して、人物の口に相当する領域を抽出して、マスクデータを作成する手法が開示されている。
特開２００２−１９７４５７号公報 特開平９−０１６７７１号公報

しかしながら、従来提案されている肌領域や唇領域の認識手法は、多種多様な人物画像に共通して適用することが困難であるという問題がある。一般に、人物の肌の色にはそれぞれ個人差があるため、「共通の肌色」を画素値として定量的に定義することは非常に困難である。すなわち、「肌色」の範囲を狭く設定しすぎると、人物によっては、本来の肌の部分が肌領域から漏れてしまう可能性があり、逆に、「肌色」の範囲を広く設定しすぎると、人物によっては、本来の肌の部分ではないのに、肌領域に含まれてしまう可能性がある。人物の唇の色についても全く同様である。

しかも、このような問題は、「人物ごとの肌や唇の色の個体差」という要因によって生じるだけでなく、「写真撮影時の環境」という要因によっても生じることになる。たとえば、全く同一人物を写真撮影したとしても、撮影時の照明光の位置・色特性・強度、撮影時の人物の向き、カメラの露出条件などの要因によって、肌領域や唇領域の色合いは変ってしまう。このように、同一人物の写真ですら、写真撮影時の環境によって肌領域や唇領域の色調が種々変化するのであるから、不特定多数の人物画像に対して、共通して適用可能な「肌の色」や「唇の色」の数値的な定義を行うことは極めて困難である。

したがって、従来提案されているアルゴリズムを利用して、人物画像から肌領域や唇領域の自動抽出処理を行ったとしても、十分に正確な領域抽出を行うことはできない。このため、オペレータが、ディスプレイ画面上に人物画像を表示させた状態で、手作業により肌領域や唇領域の境界線を指示してゆく操作を行っているのが現状である。

そこで本発明は、多種多様な人物画像から唇領域を自動抽出することが可能な人物の唇領域マスクデータの作成方法および作成装置を提供することを目的とする。

(1) 本発明の第１の態様は、人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する人物の唇領域マスクデータの作成方法において、
コンピュータが、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力段階と、
オペレータが、コンピュータ上で、当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域を定義する参照領域定義段階と、
コンピュータが、参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算段階と、
オペレータが、コンピュータ上で、当該人物の唇が包含されている領域と推定される推定領域を定義する推定領域定義段階と、
コンピュータが、人物画像データを構成する推定領域内の各画素の中から、平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する処理を実行する唇領域抽出段階と、
を行うようにしたものである。

(2) 本発明の第２の態様は、人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する人物の唇領域マスクデータの作成方法において、
コンピュータが、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力段階と、
コンピュータが、当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域を、所定のアルゴリズムに基づいて、コンピュータに定義する参照領域定義段階と、
コンピュータが、参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算段階と、
コンピュータが、当該人物の唇が包含されている領域と推定される推定領域を、所定のアルゴリズムに基づいて定義する推定領域定義段階と、
コンピュータが、人物画像データを構成する推定領域内の各画素の中から、平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する処理を実行する唇領域抽出段階と、
を行うようにしたものである。

(3) 本発明の第３の態様は、上述の第２の態様に係る人物の唇領域マスクデータの作成方法において、
参照領域定義段階では、人物画像から右目領域および左目領域を認識し、これら両領域の位置および大きさに基づいて、参照領域の定義を行うアルゴリズムを用い、
推定領域定義段階では、これら両領域の位置および大きさに基づいて、推定領域の定義を行うアルゴリズムを用いるようにしたものである。

(4) 本発明の第４の態様は、上述の第３の態様に係る人物の唇領域マスクデータの作成方法において、
参照領域定義段階では、右目領域の重心点と左目領域の重心点とを結ぶ両目基準線分もしくは右目領域の左目領域に対する最近接点と左目領域の右目領域に対する最近接点とを結ぶ両目基準線分を定義し、この両目基準線分についての垂直二等分線に関して左右対称となり、両目基準線分の長さに応じて定まる所定距離だけ両目基準線分の下方に隔たって位置し、両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、参照領域と定義するアルゴリズムを用い、
推定領域定義段階では、両目基準線分についての垂直二等分線に関して左右対称となり、両目基準線分の長さに応じて定まる所定距離だけ両目基準線分の下方に隔たって位置し、かつ、参照領域の下方に位置し、両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、推定領域と定義するアルゴリズムを用いるようにしたものである。

(5) 本発明の第５の態様は、上述の第１〜第４の態様に係る人物の唇領域マスクデータの作成方法において、
人物画像入力段階では、人物画像データを、３つの色成分のそれぞれについての画素値を有する画素の集合として入力し、
平均画素値演算段階では、各色成分ごとにそれぞれ平均画素値を求め、
唇領域抽出段階では、三次元色空間上で、平均画素値をもつ標準点を定め、この標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とするようにしたものである。

(6) 本発明の第６の態様は、上述の第５の態様に係る人物の唇領域マスクデータの作成方法において、
人物画像入力段階では、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
平均画素値演算段階では、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求め、
唇領域抽出段階では、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および平均画素値を、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とするようにしたものである。

(7) 本発明の第７の態様は、上述の第５の態様に係る人物の唇領域マスクデータの作成方法において、
人物画像入力段階では、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
平均画素値演算段階では、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求め、
唇領域抽出段階では、Ｌ^＊ａ^＊ｂ^＊三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および平均画素値を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第１の処理と、ＹＩＱ三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および平均画素値を、ＹＩＱ三次元色空間上の画素値に変換し、ＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第２の処理と、を実行し、第１の処理で作成されたマスクデータと第２の処理で作成されたマスクデータとの論理和によって得られるマスクデータを、求める唇領域マスクデータとするようにしたものである。

(8) 本発明の第８の態様は、人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する人物の唇領域マスクデータの作成装置において、
対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力手段と、
入力した人物画像データを用いてディスプレイ画面上に人物画像を表示し、オペレータの指示に基づいて、人物画像上に所定の参照領域を定義する参照領域定義手段と、
参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算手段と、
入力した人物画像データを用いてディスプレイ画面上に人物画像を表示し、オペレータの指示に基づいて、人物画像上に当該人物の唇が包含されている領域と推定される推定領域を定義する推定領域定義手段と、
人物画像データを構成する推定領域内の各画素の中から、平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する唇領域抽出手段と、
を設けるようにしたものである。

(9) 本発明の第９の態様は、人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する人物の唇領域マスクデータの作成装置において、
対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力手段と、
当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域を、所定のアルゴリズムに基づいて、自動的に定義する参照領域定義手段と、
参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算手段と、
当該人物の唇が包含されている領域と推定される推定領域を、所定のアルゴリズムに基づいて、自動的に定義する推定領域定義手段と、
人物画像データを構成する推定領域内の各画素の中から、平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する唇領域抽出手段と、
を設けるようにしたものである。

(10) 本発明の第１０の態様は、上述の第９の態様に係る人物の唇領域マスクデータの作成装置において、
参照領域定義手段が、人物画像から右目領域および左目領域を認識し、これら両領域の位置および大きさに基づいて、参照領域の定義を行い、
推定領域定義手段が、これら両領域の位置および大きさに基づいて、推定領域の定義を行うようにしたものである。

(11) 本発明の第１１の態様は、上述の第１０の態様に係る人物の唇領域マスクデータの作成装置において、
参照領域定義手段が、右目領域の重心点と左目領域の重心点とを結ぶ両目基準線分もしくは右目領域の左目領域に対する最近接点と左目領域の右目領域に対する最近接点とを結ぶ両目基準線分を定義し、この両目基準線分についての垂直二等分線に関して左右対称となり、両目基準線分の長さに応じて定まる所定距離だけ両目基準線分の下方に隔たって位置し、両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、参照領域と定義し、
推定領域定義手段が、両目基準線分についての垂直二等分線に関して左右対称となり、両目基準線分の長さに応じて定まる所定距離だけ両目基準線分の下方に隔たって位置し、かつ、参照領域の下方に位置し、両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、推定領域と定義するようにしたものである。

(12) 本発明の第１２の態様は、上述の第８〜第１１の態様に係る人物の唇領域マスクデータの作成装置において、
人物画像入力手段が、人物画像データを、３つの色成分のそれぞれについての画素値を有する画素の集合として入力し、
平均画素値演算手段が、各色成分ごとにそれぞれ平均画素値を求める演算を行い、
唇領域抽出手段が、三次元色空間上で、平均画素値をもつ標準点を定め、この標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とするようにしたものである。

(13) 本発明の第１３の態様は、上述の第１２の態様に係る人物の唇領域マスクデータの作成装置において、
人物画像入力手段が、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
平均画素値演算手段が、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求める演算を行い、
唇領域抽出手段が、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および平均画素値を、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とするようにしたものである。

(14) 本発明の第１４の態様は、上述の第１２の態様に係る人物の唇領域マスクデータの作成装置において、
人物画像入力手段が、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
平均画素値演算手段が、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求める演算を行い、
唇領域抽出手段が、Ｌ^＊ａ^＊ｂ^＊三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および平均画素値を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第１の処理と、ＹＩＱ三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および平均画素値を、ＹＩＱ三次元色空間上の画素値に変換し、ＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第２の処理と、を実行し、第１の処理で作成されたマスクデータと第２の処理で作成されたマスクデータとの論理和によって得られるマスクデータを、求める唇領域マスクデータとするようにしたものである。

(15) 本発明の第１５の態様は、上述の第８〜第１４の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、抽出した選出画素の集合からなる閉領域が複数存在する場合に、これら複数の閉領域をディスプレイ画面上に表示し、オペレータの指示により選択された１つの閉領域に基づいて唇領域を示すマスクデータを作成するようにしたものである。

(16) 本発明の第１６の態様は、上述の第８〜第１４の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、抽出した選出画素の集合からなる閉領域が複数存在する場合に、人物画像の顔の正中線から外れる閉領域を除外する除外処理を実行し、この除外処理後に残った閉領域に基づいて唇領域を示すマスクデータを作成するようにしたものである。

(17) 本発明の第１７の態様は、上述の第１６の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、除外処理を行う際に、人物画像の右目領域の重心点と左目領域の重心点とを結ぶ両目基準線分もしくは右目領域の左目領域に対する最近接点と左目領域の右目領域に対する最近接点とを結ぶ両目基準線分についての垂直二等分線を正中線と定義し、複数の閉領域のそれぞれについてその重心点を求め、求めた重心点と正中線との距離が所定の許容範囲を超える閉領域を、正中線から外れる閉領域として除外するようにしたものである。

(18) 本発明の第１８の態様は、上述の第１６または第１７の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、除外処理後に複数の閉領域が残った場合に、残った閉領域の中から、唇領域の可能性の最も高い閉領域を１つだけ選択する択一処理を実行し、この択一処理により選択した閉領域に基づいて唇領域を示すマスクデータを作成するようにしたものである。

(19) 本発明の第１９の態様は、上述の第１８の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、択一処理を行う際に、面積の最も大きな閉領域を１つだけ選択するようにしたものである。

(20) 本発明の第２０の態様は、上述の第１８の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、択一処理の対象となる３つの閉領域が存在する場合、これら３つの閉領域の正中線方向への並び順を考慮し、中央に配置されている閉領域を１つだけ選択するようにしたものである。

(21) 本発明の第２１の態様は、上述の第１８の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、択一処理を行う際に、複数の閉領域のそれぞれについてその重心点を求め、求めた重心点と推定領域の重心点との距離が最小となる閉領域を１つだけ選択するようにしたものである。

(22) 本発明の第２２の態様は、上述の第１８の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、択一処理を行う際に、複数の閉領域のそれぞれについての平均画素値を求め、Ｌ^＊ａ^＊ｂ^＊三次元色空間上もしくはＹＩＱ三次元色空間上に、この複数の閉領域についての平均画素値をそれぞれ比較点としてプロットするとともに、平均画素値演算手段によって演算された参照領域に関する平均画素値を標準点としてプロットし、ａ^＊ｂ^＊投影面上もしくはＩＱ投影面上に比較点および標準点を投影することにより、投影比較点および投影標準点を求め、投影標準点に対する距離が最も大きな投影比較点に対応する閉領域を１つだけ選択するようにしたものである。

(23) 本発明の第２３の態様は、上述の第１８の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、標準的な唇の輪郭形状を示す標準パターンを記憶しており、択一処理を行う際に、複数の閉領域のそれぞれについて標準パターンに対する類似性を評価し、最も高い評価が得られた閉領域を１つだけ選択するようにしたものである。

(24) 本発明の第２４の態様は、上述の第８〜第２３の態様に係る人物の唇領域マスクデータの作成装置において、
唇領域抽出手段が、空洞部を包含する閉領域について、当該空洞部を除去する処理を行うようにしたものである。

(25) 本発明の第２５の態様は、上述の第８〜２４の態様に係る人物の唇領域マスクデータの作成装置としてコンピュータを機能させるためのプログラムを用意し、このプログラムをコンピュータ読み取り可能な記録媒体に記録して配付できるようにしたものである。

本発明に係る人物の唇領域マスクデータの作成方法および作成装置によれば、まず、処理対象となる人物画像上の鼻を跨ぐ部分に定義された参照領域内の画素値を基準として、肌色の認識が行われる。そして更に、唇が包含されている領域と推定される推定領域内について、参照領域内の画素値を基準として、唇領域の認識が行われるため、多種多様な人物画像から唇領域を自動抽出することが可能になる。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１．本発明に係る肌領域抽出の基本原理 ＞＞＞
本発明によって作成される肌領域マスクデータは、写真画像中の人物の肌として認識される領域である。ここでは、便宜上、図１に示すような正面向き上半身の人物画像１０が、デジタルデータとして与えられた具体的な事例に即して、以下の説明を行うことにする。この図１に示す人物画像１０に基づいて、当該人物の肌領域を示すマスクを抽出すると、図２にハッチングを施して示すような領域が、マスク２０として得られることになる。この肌領域を示すマスク２０のハッチング部分は、図１に示す人物画像１０上で、顔から首にかけて視覚的に肌色と認識される部分に相当し、目、眉、唇、鼻孔など、肌色以外の領域は除かれている。もちろん、背景や髪の部分も除かれている。

この図２に示すような肌領域を示すマスク２０は、肌領域に対して種々の画像処理を施す際に不可欠のものである。たとえば、人物画像１０が、蛍光灯照明下で撮影された写真であったとすると、肌の色が若干青みがかった画像になることが多い。そこで、肌色の部分についてのみ、赤色成分を増加させる色補正を行う必要が生じたとしよう。このような場合は、図２に示すマスク２０を利用して、このマスク２０内の領域の画素についてのみ、赤色成分を増加させる色補正処理を実行すればよい。

また、最近は、化粧品の販促用デモンストレーションの一環として、顧客に、コンピュータを利用したメイクアップシミュレーションサービスを提供するような機会も増えてきている。たとえば、化粧の下地として肌に塗られるファンデーションには、様々な色合いのものが市販されている。そこで、化粧品売場の店頭で、顧客が、自分に似合う色のファンデーションを選ぶ際の一助となるように、特定の色のファンデーションを塗ったと仮定した場合の顧客の顔を、コンピュータ上でシミュレートして提示するサービスが提案されている。このようなサービスを行うには、来店した顧客の顔写真をデジカメなどで撮影して、図１に示すような人物画像１０としてコンピュータに取り込み、図２に示すような肌領域を示すマスク２０を作成した上で、このマスク２０を利用して、肌領域に対する色補正を行い、特定色のファンデーションを肌に塗った状態の画像を顧客に提示することになる。

このような店頭のデモンストレーションでは、顧客を長時間待たせることはできないので、図１に示すような人物画像１０に基づいて、図２に示すような肌領域を示すマスク２０を即座に作成する必要がある。しかしながら、既に述べたとおり、従来提案されている肌領域の認識手法では、不特定多数の人物画像に対して、共通して適用可能な「肌色」を数値的に定義することが困難であるため、任意の人物画像１０から肌領域を示すマスク２０を即座に作成することができず、オペレータは、肌領域の輪郭線を指示する入力操作を行わざるを得ない。その結果、マスク２０の作成に時間がかかり、顧客を待たせることになる。

本発明に係る肌領域抽出の基本原理は、図３に示すように、対象となる人物画像１０上に参照領域１１を定義し、この参照領域１１内の画素を基準として、肌領域の認識を行う点にある。すなわち、図３に示すように、参照領域１１を定義したら、この参照領域１１内に含まれる各画素の画素値の平均を平均画素値として求め、人物画像１０全体を構成する各画素の中から、この平均画素値に対する色差が所定範囲内の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の肌領域を示すマスクデータ２０を作成するのである。

ここで重要な点は、参照領域１１の定義方法である。本願発明者は、試行錯誤を繰り返すことより、図３に示すように両目の下方に参照領域１１を定義すると（より厳密に言えば、当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域１１を定義すると）、この参照領域１１内には、当該人物画像１０の肌領域の構成色もしくはその類似色がほぼ万遍なく含まれている、という事実を見出した。要するに、参照領域１１として、当該人物の鼻の両脇の輪郭を跨ぐのには十分であるが、髪にはかからない横幅を有し、当該人物の目および鼻孔にはかからない縦幅を有する領域を定義すれば、その中には、当該人物の肌の色の標準色が含まれていることになる。

結局、このような条件を満たす参照領域１１を定義すると、人物画像１０の肌領域を構成する額、頬、あご、耳、首などの各部の色は、この参照領域１１内に含まれているいずれかの色にほぼ近似することなる。そこで、このような事実を逆に利用すれば、上述の条件を満たすような参照領域１１を定義し、この参照領域１１内に存在する各画素のもつ色に近似する色をもった画素を、人物画像１０全体から抽出すれば、抽出された画素は肌領域を構成する画素ということになるので、抽出された画素の集合からなる領域を、肌領域として取り扱うことが可能になる。

既に述べたとおり、多種多様な人物画像に対して共通して適用することが可能な「肌の色」を定義することが困難な理由は、人物の肌の色にはそれぞれ個人差があり、また、撮影時の照明光の色特性などによっても、人物画像の肌領域の色合いが変ってくるためである。しかしながら、上述した本発明の原理を利用すれば、個々の人物画像それ自身の一部を参照領域として用い、この参照領域内の色を「標準となる肌の色」と定義し、この「標準となる肌の色」に近似する色をもった領域を肌領域として抽出することができるので、肌の色の個人差や照明光の色特性などの要因とは無関係に、肌領域の抽出ができるようになる。

また、全く同一人物を写真撮影した場合でも、撮影時の照明光の位置や人物の向きなどの要因によって、陰影の領域が変ってしまうことになるが、上述の条件を満たすような位置に参照領域１１を定義すると、この参照領域１１内には、照明によって生じる陰影の色差バリエーションがほぼ網羅されることになる、という事実も、本発明の作用効果を理解する上で重要である。すなわち、所定の照明環境で人物の写真を撮影する以上、得られる人物画像には、照明による陰影が生じることは避けられず、この陰影の影響で、肌領域各部の色合い（主として明度）に変化が生じることになる。ところが、人物の鼻の両脇の輪郭を跨ぐのに十分な横幅を有する参照領域１１を定義すると、この参照領域１１内には、陰影の影響による色合いの変化がひととおり含まれることになる。これは、人物の鼻の部分が隆起しているため、その両脇の輪郭を跨ぐように参照領域１１を定義すると、照明がいずれの方向から当たっていた場合でも、参照領域１１内には、陰影による明暗のバリエーションがひととおり含まれるようになるためであるものと考えられる。

もちろん、参照領域１１内には、通常の肌の色とは異なる色を呈する髪、目、鼻孔が含まれないようにする必要がある。したがって、参照領域１１は、横幅に関しては、鼻の両脇の輪郭を跨ぐために十分な幅を設定する必要があるが、髪の位置までくるほどの広い幅を設定することはできない。また、縦幅に関しては、両目よりも下、鼻孔よりも上の位置に配置する必要があるため、両目の下端から鼻孔の上端までの距離よりは短い縦幅を設定せざるを得ない。一般的には、図３に示す例のように、参照領域１１は、横長の領域として定義するのが好ましい。なお、図３では、横長の矩形領域として参照領域１１を定義しているが、参照領域は必ずしも矩形である必要はなく、任意形状の領域にしてかまわない。ただ、実用上は、矩形領域に設定した方が、個々の画素が参照領域の内外いずれに存在するのかを認識する演算処理を単純化することができるので好ましい。

＜＜＜ §２．本発明に係る肌領域抽出方法の基本手順 ＞＞＞
図４は、本発明に係る人物の肌領域マスクデータの作成方法の基本手順を示す流れ図であり、図１に示すような人物画像１０のデータに基づいて、図２に示すような肌領域を示すマスク２０のデータを作成する手順が示されている。

まず、ステップＳ１の人物画像入力段階において、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として、コンピュータに入力する処理が行われる。具体的には、図１に示すような人物画像１０の情報が、デジタルデータとしてコンピュータに取り込まれることになる。一般的には、デジカメで撮影した人物の上半身画像を、そのままコンピュータに入力すればよい。もちろん、銀塩フィルムを用いたカメラで撮影した写真画像を、スキャナ装置などで取り込んでもかまわない。なお、本発明では、人物画像１０がカラー画像であることを前提としているので、実用上は、ステップＳ１で入力される人物画像データは、三原色ＲＧＢあるいは三原色ＣＭＹで表現される画像データということなる。

続いて、ステップＳ２の参照領域定義段階において、図３に示すような参照領域１１の定義を行う。具体的には、ステップＳ１でコンピュータに取り込んだ人物画像１０を、ディスプレイの画面上に表示させた状態で、オペレータに、上述した条件を満たす参照領域１１を定義する指示入力を行わせるようにすればよい。

図５は、このようにして定義された参照領域１１の位置を示す図である。この実施形態の場合、参照領域１１は、人物の鼻の両脇の輪郭Ｃ１，Ｃ２を跨ぐような位置に、かつ、人物の髪、両目Ｅ１，Ｅ２、鼻孔Ｈ１，Ｈ２にはかからない位置に配置された矩形領域として定義される。この参照領域１１の横幅Ｌｘは、鼻の両脇の輪郭Ｃ１，Ｃ２を跨ぐために十分な幅に設定されるが、髪の位置までくるほどの広い幅を設定することはできない。一般的には、参照領域１１の左右の端が、両目Ｅ１，Ｅ２の外側近傍位置までくれば十分である。一方、縦幅Ｌｙは、参照領域１１の上辺が両目Ｅ１，Ｅ２よりも下の位置にくるように、かつ、参照領域１１の下辺が鼻孔Ｈ１，Ｈ２よりも上の位置にくるようになれば、任意の幅に設定してかまわない。

このような条件を満たす参照領域１１の定義は、たとえば、人物画像１０を表示させたディスプレイ画面上において、オペレータに、２点Ｐ１，Ｐ２を指定する入力操作を行わせることにより、容易に行うことができる。人物が真っすぐに立った状態で写っている人物画像１０をディスプレイ画面上に表示させ、この画面上において、２点Ｐ１，Ｐ２を指定する入力操作を行わせれば、これら２点Ｐ１，Ｐ２を対角位置とし、ディスプレイ画面に対して正則な矩形を一義的に定義することができ、当該矩形の内部の領域を参照領域１１として定義することができる。具体的には、オペレータに点Ｐ１の位置でマウスボタンを押し込む操作を行わせ、そのままマウスを右下へと移動させながらドラッグ操作を行わせ、点Ｐ２の位置でマウスボタンを放す操作を行わせればよい。このドラッグ操作中に、点Ｐ１と現時点でのドラッグ位置とを対角位置とする矩形を目安として逐次表示させると、点Ｐ２の位置確認が容易になる。

次に、ステップＳ３の平均画素値演算段階において、定義した参照領域１１内に含まれる各画素の画素値の平均を、平均画素値として求める演算を実行する。前述したとおり、ステップＳ１で入力した人物画像１０は、それぞれ所定の画素値を有する多数の画素の集合から構成されているので、参照領域１１内にも多数の画素が存在する。ステップＳ３では、これらの画素についての画素値の平均が求められる。

なお、前述したとおり、ステップＳ１で入力される人物画像１０は、実用上は、三原色ＲＧＢあるいは三原色ＣＭＹで表現されるカラー画像データであり、３つの色成分ＲＧＢあるいはＣＭＹのそれぞれについて所定の画素値を有する画素の集合である。したがって、ステップＳ３で参照領域１１内の画素のもつ画素値の平均を求める際には、各色成分ごとにそれぞれ平均画素値を求めるようにする。たとえば、参照領域１１内に全部でＮ個の画素が含まれており、そのうちの第ｉ番目の画素が、Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）なる３つの画素値をもっていたとしよう。この場合、ステップＳ３では、各色ごとの平均画素値Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）が、次の式で求められる。
Ｒ（ｍ） ＝ Σ _ｉ＝1〜N Ｒ（ｉ） ／ Ｎ
Ｇ（ｍ） ＝ Σ _ｉ＝1〜N Ｇ（ｉ） ／ Ｎ
Ｂ（ｍ） ＝ Σ _ｉ＝1〜N Ｂ（ｉ） ／ Ｎ
こうして求められた平均画素値Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）は、参照領域１１内の画素のもつ標準的な画素値ということになり、この人物の肌の色（撮影時の照明環境などを考慮した人物画像１０上での肌の色）の標準的な色合いを示すパラメータとして機能する。

最後に、ステップＳ４の肌領域抽出段階において、ステップＳ１で入力した人物画像データを構成する各画素の中から、ステップＳ３で求めた平均画素値に対する色差が所定範囲内の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の肌領域を示すマスクデータを作成する処理を実行する。別言すれば、ステップＳ３で求めた平均画素値Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）に近似する画素値をもつ画素が、選出画素として抽出されることになる。

ここで、平均画素値に対する色差が所定範囲内か否かの判定、すなわち、選出画素か否かの判定は、たとえば、所定の許容範囲δｒ，δｇ，δｂを定めておき、３つの色成分ＲＧＢの各画素値Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）が次の条件をすべて満足する画素を選出画素と決定する方法を採ることができる。
Ｒ（ｍ）＋δｒ ≧ Ｒ（ｉ） ≧ Ｒ（ｍ）−δｒ
Ｇ（ｍ）＋δｇ ≧ Ｇ（ｉ） ≧ Ｇ（ｍ）−δｇ
Ｂ（ｍ）＋δｂ ≧ Ｂ（ｉ） ≧ Ｂ（ｍ）−δｂ

もっとも、一般論としては、２つの色が相互に近似するか否かの判定は、３つの色成分の画素値を総合的に考慮して行うのが好ましい。たとえば、色成分Ｒについての色差は、許容範囲δｒを若干越えてしまっているが、色成分Ｇ，Ｂについての色差はゼロに近い、というようなケースの場合、上の条件式に基づく判定では、選出画素からは漏れてしまうことになるが、実際には、選出画素として抽出した方が好ましい。そこで、実用上は、上の条件式に基づく判定方法を採る代わりに、三次元色空間上で、平均画素値をもつ標準点を定め、この標準点からの距離が所定範囲内となるような画素値をもつ画素を選出画素とする方法を採るのが好ましい。具体的には、三次元色空間上での距離の許容範囲ｒを設定しておき、３つの色成分ＲＧＢの各画素値Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）が次の条件を満足する画素を選出画素と決定すればよい。
ｒ ≧ √（（Ｒ（ｉ）−Ｒ（ｍ））^２
＋（Ｇ（ｉ）−Ｇ（ｍ））^２
＋（Ｂ（ｉ）−Ｂ（ｍ））^２）

以上、人物画像データが三原色ＲＧＢで表現されるカラー画像データである場合の例を説明したが、三原色ＣＭＹで表現されるカラー画像データの場合も全く同様である。

＜＜＜ §３．本発明に係る肌領域抽出装置の基本構成 ＞＞＞
続いて、本発明に係る人物の肌領域マスクデータの作成装置の基本構成を、図６のブロック図を参照しながら説明する。ここに示す作成装置は、図４に示す流れ図の各ステップを実行する構成要素の集合によって構成されており、図示のとおり、人物画像入力手段１１０，参照領域定義手段１２０，平均画素値演算手段１３０，肌領域抽出手段１４０の各構成要素からなる。この作成装置を利用すれば、人物画像１０のデータに基づいて、当該人物の肌領域を示すマスク２０のデータを作成することができる。

人物画像入力手段１１０は、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する機能をもった構成要素であり、三原色ＲＧＢあるいは三原色ＣＭＹで表現されるカラー画像データとして、人物画像１０を取り込む機能を果たす。一般的には、デジカメやスキャナ装置などによって、人物画像入力手段１１０を構成することができる。もちろん、ＭＯやＣＤ−Ｒなどの情報記録媒体に予め記録されている人物画像データを読み込む場合であれば、ＭＯドライブ装置あるいはＣＤドライブ装置などによって人物画像入力手段１１０を構成することも可能であるし、通信回線を介して、人物画像データを取り込む場合であれば、種々の通信機器によって人物画像入力手段１１０を構成することも可能である。

参照領域定義手段１２０は、人物画像入力手段１１０によって入力された人物画像データを用いて、ディスプレイ画面上に人物画像１０を表示し、オペレータの指示に基づいて、この人物画像１０上に所定の参照領域１１を定義する機能をもった構成要素である。たとえば、図５に示すように、オペレータから、２点Ｐ１，Ｐ２を指定する指示入力があった場合には、この指示入力に基づいて、図示のような矩形状の参照領域１１を定義する処理が行われる。

平均画素値演算手段１３０は、人物画像入力手段１１０によって入力された人物画像１０のうち、参照領域定義手段１２０によって定義された参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する構成要素である。人物画像１０が、三原色ＲＧＢで表現されるカラー画像データの場合、各色成分ごとにそれぞれ平均画素値を求める演算が実行されることは、既に§２で述べたとおりである。その結果、たとえば、Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）のような各色成分ごとの平均画素値が求められる。

肌領域抽出手段１４０は、人物画像入力手段１１０によって入力された人物画像１０を構成する各画素の中から、平均画素値演算手段１３０によって求められた平均画素値に対する色差が所定範囲内の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の肌領域を示すマスクデータ２０を作成する機能をもった構成要素である。ここで、色差が所定範囲内の画素値か否かの具体的な判定方法は、§２でステップＳ４の手順として述べたとおりである。

なお、この図６に示すマスクデータの作成装置は、実際には、コンピュータに専用の処理プログラムを組み込むことにより実現される装置であり、図６にブロックとして示す各構成要素１１０〜１４０は、コンピュータ上で動作する所定のプログラムの機能によって実現される構成要素である。もちろん、このプログラムは、コンピュータ読み取り可能な記録媒体に記録して配付することも可能であるし、電子通信回線を介して配付することも可能である。

＜＜＜ §４．異なる表色系の色空間を用いる変形例 ＞＞＞
図４の流れ図における肌領域抽出段階Ｓ４および図６のブロック図における肌領域抽出手段１４０の説明では、人物画像１０が、三原色ＲＧＢで表現されるカラー画像データである場合について、三次元色空間上で、平均画素値をもつ標準点を定め、この標準点からの距離が所定範囲内となるような画素値をもつ画素を選出画素とする方法を例示した。

図７は、このような方法による選出画素の決定プロセスの概念を示す色空間図である。図示のとおり、この色空間は、Ｒ軸，Ｇ軸，Ｂ軸の３つの座標軸をもったＲＧＢ三次元色空間であり、三原色ＲＧＢの各画素値で表現される画素の色は、この色空間内の１点として表現することができる。たとえば、各色成分の画素値が８ビットのデータで表現されていた場合、個々の画素値は０〜２５５の範囲内の値をとることになり、１つの画素の色は、３つの画素値をそれぞれ座標値とする色立体上の１点で示される。

したがって、たとえば、図４の流れ図におけるステップＳ３、あるいは、図６のブロック図における平均画素値演算手段１３０で、平均画素値Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）が求められたとすると、この色立体上で座標値（Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ））をもつ点が、平均画素値をもつ標準点Ｓということになる。そして、この標準点Ｓからの距離が所定範囲内となるような画素値をもつ画素とは、図７に示すように、この三次元色空間上において、標準点Ｓからのユークリッド距離が所定範囲内となるような画素値をもつ画素ということになる。

具体的には、前述したように、距離の許容範囲ｒを設定しておき、３つの色成分ＲＧＢの各画素値Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）が、
ｒ ≧ √（（Ｒ（ｉ）−Ｒ（ｍ））^２
＋（Ｇ（ｉ）−Ｇ（ｍ））^２
＋（Ｂ（ｉ）−Ｂ（ｍ））^２）
なる条件を満足する画素を選出画素として抽出することにした場合、図７に示すとおり、標準点Ｓを中心とした半径ｒの球内にプロットされる画素が、選出画素として抽出されることになる。

このように、ＲＧＢ三次元色空間（あるいはＣＭＹ三次元色空間）上で、標準点Ｓから所定範囲内の距離にある画素を、選出画素として抽出する手法は、本発明の一実施形態として十分有効に機能する手法である。しかしながら、本願発明者が行った実験によると、肌領域抽出段階Ｓ４における選出画素の抽出処理は、ＲＧＢ三次元色空間やＣＭＹ三次元色空間上で行うよりも、Ｌ^＊ａ^＊ｂ^＊三次元色空間またはＹＩＱ三次元色空間上で行う方がより効果的であることが確認できた。その理由についての理論的な解析は、現段階ではなされていないが、本願発明者は、ＲＧＢ表色系やＣＭＹ表色系が、単に、三原色の色成分の物理的な輝度値を数値化した表色系であるのに対し、Ｌ^＊ａ^＊ｂ^＊表色系やＹＩＱ表色系が、人間の色に対する知覚を反映した表色系になっているためであると考えている。

たとえば、Ｌ^＊ａ^＊ｂ^＊表色系を用いると、図８(a) に示すようなＬ^＊ａ^＊ｂ^＊三次元色空間を定義することができる。ここで、Ｌ^＊は正の値のみをとり、輝度を示すパラメータとなり、ａ^＊は、赤から緑に至る色調を示し（正の値は赤の程度を示し、負の値は緑の程度を示す）、ｂ^＊は、黄から青に至る色調を示す（正の値は黄の程度を示し、負の値は青の程度を示す）。このＬ^＊ａ^＊ｂ^＊表色系の特徴は、Ｌ^＊ａ^＊ｂ^＊三次元色空間上での２点間のユークリッド距離が、人間の知覚による色差の程度に近くなるという点にある。したがって、肌領域抽出段階Ｓ４における選出画素の抽出処理を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上で行うようにすれば、人間の知覚を反映した近似色を選出することができるようになる。

一方、ＹＩＱ表色系を用いると、図８(b) に示すようなＹＩＱ三次元色空間を定義することができる。ここで、Ｙは正の値のみをとり、輝度を示すパラメータとなり、Ｉは、赤・黄から青・シアンに至る色調を示し（正の値は赤・黄の程度を示し、負の値は青・シアンの程度を示す）、Ｑは、マゼンタから緑に至る色調を示す（正の値はマゼンタの程度を示し、負の値は緑の程度を示す）。このＹＩＱ表色系は、主としてカラーテレビに利用されている表色系であり、やはり人間の知覚による色差の程度を反映したパラメータになっている。したがって、肌領域抽出段階Ｓ４における選出画素の抽出処理を、ＹＩＱ三次元色空間上で行うようにしても、人間の知覚を反映した近似色を選出することができるようになる。

肌領域抽出段階Ｓ４における選出画素の抽出処理を、Ｌ^＊ａ^＊ｂ^＊三次元色空間またはＹＩＱ三次元色空間上で行うためには、たとえば、次のような手順を踏めばよい。まず、ステップＳ１の人物画像入力段階では、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、ステップＳ３の平均画素値演算段階では、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求める処理を行えばよい。別言すれば、ステップＳ１〜Ｓ３までは、これまで述べた実施形態と全く同様の手順でよい。その結果、平均画素値は、たとえば、Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）のようなＲＧＢ表色系、あるいはＣ（ｍ），Ｍ（ｍ），Ｙ（ｍ）のようなＣＭＹ表色系で求められることになる。

最後に、ステップＳ４の肌領域抽出段階では、図８(a) に示すようなＬ^＊ａ^＊ｂ^＊または図８(b) に示すようなＹＩＱ三次元色空間を定義し、ステップＳ１で入力した人物画像データを構成する各画素の画素値（ＲＧＢまたはＣＭＹ表色系）およびステップＳ３で求めた平均画素値（ＲＧＢまたはＣＭＹ表色系）を、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上の画素値（Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ表色系）に変換し、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上において、標準点からの距離が所定範囲内となるような画素値をもつ画素を選出画素とする処理を行うようにすればよい。

ＲＧＢ表色系の色を、Ｌ^＊ａ^＊ｂ^＊表色系またはＹＩＱ表色系の色に変換する処理は、所定の演算式を用いて一義的に行うことができる。同様に、ＣＭＹ表色系の色を、Ｌ^＊ａ^＊ｂ^＊表色系またはＹＩＱ表色系の色に変換する処理も、所定の演算式を用いて一義的に行うことができる。したがって、これら表色系を変換する処理は、コンピュータ上での単純な算術演算処理として実行すればよい。

たとえば、Ｌ^＊ａ^＊ｂ^＊表色系への変換処理を行った場合、ステップＳ３で求められた平均画素値Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）あるいはＣ（ｍ），Ｍ（ｍ），Ｙ（ｍ）は、Ｌ^＊ａ^＊ｂ^＊表色系の平均画素値Ｌ^＊（ｍ），ａ^＊（ｍ），ｂ^＊（ｍ）へと変換され、図８(a) に示すように、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、標準点Ｓ１が定義されることになる。一方、ステップＳ１で入力した人物画像１０を構成する各画素の画素値も、Ｌ^＊ａ^＊ｂ^＊表色系の画素値に変換され、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、標準点Ｓ１からの距離が所定の許容範囲ｒ内にあるか否かが判定されることになる。この場合も、色空間上で定義された標準点Ｓ１を中心とする半径ｒの球内に入るか否かが判定基準となるが、§３までに述べた基本的な実施形態とは、色空間の座標軸を構成する表色系が異なるため、得られる結果も若干異なったものとなる。

ＹＩＱ表色系への変換処理を行った場合も全く同様である。この場合は、図８(b) に示すように、ＹＩＱ三次元色空間上において、標準点Ｓ２が定義されることになり、ステップＳ１で入力した人物画像１０を構成する各画素の画素値も、ＹＩＱ表色系の画素値に変換され、ＹＩＱ三次元色空間上において、標準点Ｓ２からの距離が所定の許容範囲ｒ内にあるか否かが、別言すれば、標準点Ｓ２を中心とする半径ｒの球内に入るか否かが判定される。

本願発明者は、多数の人物画像をサンプル画像として用い、図７に示すＲＧＢ三次元空間上で選出画素の抽出判定を行ったケースと、図８(a) に示すＬ^＊ａ^＊ｂ^＊三次元色空間上で選出画素の抽出判定を行ったケースと、図８(b) に示すＹＩＱ三次元色空間上で選出画素の抽出判定を行ったケースと、について、最終的に得られる肌領域マスクデータの精度を比較する実験を行ってみた。その結果、ＲＧＢ三次元空間上で抽出判定を行った場合よりも、Ｌ^＊ａ^＊ｂ^＊三次元色空間上あるいはＹＩＱ三次元色空間上で抽出判定を行った場合の方が、一般的に良好な結果が得られた。

また、これらの実験を更に進展させた結果、意外な事実が確認できた。すなわち、Ｌ^＊ａ^＊ｂ^＊三次元色空間上で抽出判定を行うことにより肌領域マスクデータを作成する第１の処理と、ＹＩＱ三次元色空間上で抽出判定を行うことにより肌領域マスクデータを作成する第２の処理と、の双方を実施し、最後に、第１の処理で作成されたマスクデータと第２の処理で作成されたマスクデータとの論理積によって得られるマスクデータを、最終的に求める肌領域マスクデータとすれば、非常に良好なマスクデータが得られることが確認できた。ここでの論理積は、図形演算上の論理積であり、結局、第１の処理で作成されたマスクデータと第２の処理で作成されたマスクデータとの重なり合う部分を新たなマスクデータとして取り出す処理を行うことになる。

いわばこの方法は、Ｌ^＊ａ^＊ｂ^＊三次元色空間上での抽出判定方式と、ＹＩＱ三次元色空間上での抽出判定方式との双方を利用するハイブリッド方式と言うべき方法である。このハイブリッド方式の採用により、より好ましい結果が得られる理由についての詳細な解析は、現時点ではなされていないが、両判定方式が相補的に作用し、他方の方式の欠点が相互に補われる結果になったものと推測される。

結局、このハイブリッド方式を採る場合には、まず、ステップＳ１の人物画像入力段階では、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、ステップＳ３の平均画素値演算段階では、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求めればよい。すなわち、ステップＳ１〜Ｓ３までは、前述した基本的な実施形態の手順と全く同様である。そして、ステップＳ４の肌領域抽出段階では、次の２とおりの処理を実行する。まず、第１の処理は、Ｌ^＊ａ^＊ｂ^＊三次元色空間を定義し、ステップＳ１で入力した人物画像データを構成する各画素の画素値およびステップＳ３で求めた平均画素値を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、標準点からの距離が所定範囲内となるような画素値をもつ画素を選出画素としてマスクデータを作成する処理である。そして第２の処理は、ＹＩＱ三次元色空間を定義し、ステップＳ１で入力した人物画像データを構成する各画素の画素値およびステップＳ３で求めた平均画素値を、ＹＩＱ三次元色空間上の画素値に変換し、ＹＩＱ三次元色空間上において、標準点からの距離が所定範囲内となるような画素値をもつ画素を選出画素としてマスクデータを作成する処理である。これら２つの処理を実行したら、最後に、第１の処理で作成されたマスクデータと第２の処理で作成されたマスクデータとの論理積によって得られるマスクデータを、求める肌領域マスクデータとすればよい。

＜＜＜ §５．参照領域を自動的に定義させる変形例 ＞＞＞
これまで述べてきた基本的な実施形態では、図４のステップＳ２の参照領域定義段階において、オペレータが、所定の条件を満たす参照領域を定義する操作入力を行っていた。前述したように、本発明において定義すべき参照領域は、人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、人物の髪、目、鼻孔にはかからない位置に配置された領域である必要がある。そして、前述した基本的な実施形態では、人物画像１０をディスプレイ画面上に表示させた上で、たとえば、図５に示す２点Ｐ１，Ｐ２をオペレータに指定させることにより、参照領域１１の定義を行っていた。別言すれば、図６に示す参照領域定義手段１２０は、オペレータの指示入力に基づいて、参照領域の定義を行う機能を果たすだけであり、いわばオペレータによる参照領域の定義操作を支援する機能を果たしているだけである。

ここで述べる変形例は、この参照領域定義手段１２０に、オペレータの指示入力なしに、自動的に参照領域の定義を行う機能をもたせたものである。すなわち、この変形例に係る装置では、参照領域定義手段１２０は、人物画像入力手段１１０が入力した人物画像データに、所定のアルゴリズムに基づく処理を施すことにより、当該人物の鼻の両脇の輪郭を跨ぐような位置に配置され、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置されるような参照領域を、自動的に定義する機能をもっている。参照領域定義手段１２０に、このような参照領域の自動定義機能をもたせておけば、図４のステップＳ２の参照領域定義段階は、オペレータの指示入力なしに実行されることになるので、オペレータの操作負担はより軽減されることになる。

参照領域を自動定義するためのアルゴリズムとしては、種々の方針に基づくアルゴリズムが利用可能であるが、本願発明者は、人物の両目の領域に基づいて参照領域の定義を行うアルゴリズムが最も合理的であると考えている。すなわち、まず、人物画像１０から、右目領域および左目領域を認識し、これら両領域の位置および大きさに基づいて、参照領域の定義を行うアルゴリズムを用いるようにすればよい。

一般に、人物の顔の画像データに基づいて、当該人物の目、眉、唇などを認識するパターン認識手法は、古くから研究されている。特に、顔の画像データに基づいて、人物の右目および左目を構成する領域を抽出する手法は、既にいくつものアルゴリズムが公知であり、実用化されている。本発明において定義すべき参照領域の第１の条件は、人物の鼻の両脇の輪郭を跨ぐような位置に配置される、という条件であり、第２の条件は、当該人物の髪、目、鼻孔にはかからない位置に配置される、という条件である。これら２条件を満たすような領域は、結局のところ、両目の下方近辺に配置された領域にならざるを得ないので、右目領域および左目領域を認識し、これら両領域の位置および大きさに基づいて、参照領域の定義を行うことは非常に合理的である。

ここでは、このような両目領域を基準とした参照領域の定義アルゴリズムの一例を、図９を参照しながら説明しておく。この定義アルゴリズムでは、まず、人物画像データに基づいて、図９に示すような右目領域Ｅ１と左目領域Ｅ２とを定義する（ここでの左右は、人物自身から見た左右とする）。前述したとおり、人物の顔の画像を解析して、右目領域Ｅ１と左目領域Ｅ２とを認識する手法は、既に種々のアルゴリズムが公知であるため、ここでは詳しい手順の説明は省略する。

続いて、右目領域Ｅ１の重心点Ｇ１と左目領域Ｅ２の重心点Ｇ２とを演算によって求める。ここでは、これら両重心点Ｇ１，Ｇ２を結ぶ線分（図では一点鎖線で示す）を、両目基準線分Ｆ１と呼ぶことにする。そして、この両目基準線分Ｆ１についての垂直二等分線Ｆ２を定義し、この垂直二等分線Ｆ２に関して左右対称となり、次のような条件を満足する領域を、参照領域として定義するのである。すなわち、図９に示すとおり、両目基準線分Ｆ１の長さＬに応じて定まる所定距離ｄ（たとえば、所定の比例定数ｋ１に基づいて、ｄ＝ｋ１・Ｌで定まる距離ｄ）だけ両目基準線分Ｆ１の下方に隔たって位置する線分Ｆ３を縦方向の中心線として、両目基準線分Ｆ１の長さＬに応じて定まる所定の横幅Ｌｘ（たとえば、所定の比例定数ｋ２に基づいて、Ｌｘ＝ｋ２・Ｌで定まる幅Ｌｘ）および縦幅（たとえば、所定の比例定数ｋ３に基づいて、Ｌｙ＝ｋ３・Ｌで定まる幅Ｌｙ）を有する領域（図９の例の場合、ハッチングを施して示す矩形領域）を、参照領域として定義すればよい。

このようなアルゴリズムに基づき、比例定数ｋ１，ｋ２，ｋ３をそれぞれ適当な値に設定して処理を行えば、人物の鼻の両脇の輪郭を跨ぐような位置に配置され、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置されるような参照領域を、自動的に定義することが可能になる。もちろん、図９に示す具体的なアルゴリズムは、参照領域を自動的に定義する手法のほんの一例を示すものであり、本発明は、このような具体的なアルゴリズムに限定されるものではない。

たとえば、図１０に示す例は、図９に示すアルゴリズムの変形例である。この変形例においても、まず、右目領域Ｅ１と左目領域Ｅ２とが定義される。図９に示す例では、これら各領域の重心点Ｇ１，Ｇ２を求めたが、図１０に示す例では、右目領域Ｅ１と左目領域Ｅ２との最近接点Ｑ１，Ｑ２が求められる。ここで、最近接点Ｑ１は、左目領域Ｅ２を構成する各画素との距離の合計が最も小さくなるような右目領域Ｅ１内の画素の位置として求められ、最近接点Ｑ２は、右目領域Ｅ１を構成する各画素との距離の合計が最も小さくなるような左目領域Ｅ２内の画素の位置として求められる。

続いて、これら最近接点Ｑ１，Ｑ２を結ぶ線分（図では一点鎖線で示す）を、両目基準線分Ｆ１として、その垂直二等分線Ｆ２を定義する。そして、この垂直二等分線Ｆ２に関して左右対称となり、両目基準線分Ｆ１の長さＬに応じて定まる所定距離ｄ（たとえば、所定の比例定数ｋ１に基づいて、ｄ＝ｋ１・Ｌで定まる距離ｄ）だけ両目基準線分Ｆ１の下方に隔たって位置する線分Ｆ３を縦方向の中心線として、両目基準線分Ｆ１の長さＬに応じて定まる所定の横幅Ｌｘ（たとえば、所定の比例定数ｋ２に基づいて、Ｌｘ＝ｋ２・Ｌで定まる幅Ｌｘ）および縦幅（たとえば、所定の比例定数ｋ３に基づいて、Ｌｙ＝ｋ３・Ｌで定まる幅Ｌｙ）を有する領域（図１０の例の場合、ハッチングを施して示す矩形領域）を、参照領域として定義すればよい。

＜＜＜ §６．本発明に係る唇領域抽出の基本原理 ＞＞＞
これまで述べた、§１〜§５では、図１に示すような人物画像１０から、図２に示すような肌領域を示すマスク２０を作成する手順を説明したが、この肌領域の抽出手法を利用すると、同じく図１に示すような人物画像１０から、図１１に示すような唇領域を抽出して、唇領域を示すマスク３０を作成することが可能になる。なお、図１１において、唇領域は、図にハッチングを施して示した領域であり、破線によって描かれた顔の輪郭は、この唇領域の相対位置を示す便宜のために示されたもので、マスク３０を構成するものではない。

この図１１に示すような唇領域を示すマスク２０は、唇領域に対して種々の画像処理を施す際に不可欠のものである。たとえば、化粧品売場の店頭で、顧客が、自分に似合う色の口紅を選ぶ際の一助となるように、特定の色の口紅を塗ったと仮定した場合の顧客の顔を、コンピュータ上でシミュレートして提示するサービスを行う場合、来店した顧客の顔写真をデジカメなどで撮影して、図１に示すような人物画像１０としてコンピュータに取り込み、図１１に示すような唇領域を示すマスク３０を作成した上で、このマスク３０を利用して、唇領域に対する色補正を行い、特定色の口紅を唇に塗った状態の画像を顧客に提示することになる。

ここでは、これまで述べてきた肌領域抽出の基本原理を利用して、唇領域の抽出原理を説明する。実は、図２に示す肌領域を示すマスク２０と、図１１に示す唇領域を示すマスク３０とを比較すればわかるとおり、唇領域を示すマスク３０は、肌領域を示すマスク２０の一部分を白黒反転させたものになっている。すなわち、図２のマスク２０から口元部分のみを切り出し、白黒反転（論理反転）させれば、図１１のマスク３０を得ることができる。したがって、これまで述べてきた肌領域抽出の手順に、口元部分のみを切り出す手順を付加すれば、唇領域の抽出が可能になる。これが本発明に係る唇領域抽出の基本原理である。

別言すれば、図２に示す肌領域を示すマスク２０は、図３に示す参照領域１１内に含まれる各画素の画素値の平均を平均画素値として求め、人物画像１０全体を構成する各画素の中から、この平均画素値に対する色差が「所定範囲内」の画素値をもつ画素の集合として得られたわけであるが、図１１に示す唇領域を示すマスク３０は、この平均画素値に対する色差が「所定範囲外」の画素値をもつ画素の集合として得られることになる。もっとも、単に「所定範囲外」の画素値をもつ画素の集合領域を抽出すると、図２のマスクを単に白黒反転したものとなり、髪、眉、目、鼻孔、背景などの部分を含む領域が抽出されてしまう。そこで、人物画像１０全体から、口元部分のみを切り出す手順を付加する必要が生じるのである。

図１２は、本発明に係る人物の唇領域マスクデータの作成方法の基本手順を示す流れ図であり、図１に示すような人物画像１０のデータに基づいて、図１１に示すような唇領域を示すマスク３０のデータを作成する手順が示されている。ここで、ステップＳ１〜Ｓ３までの手順は、図４に示す肌領域マスクデータの作成方法の基本手順と全く同じである。すなわち、ステップＳ１の人物画像入力段階において、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として、コンピュータに入力する処理が行われ、ステップＳ２の参照領域定義段階において、当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域（図３に示すような参照領域１１）の定義が行われ、ステップＳ３の平均画素値演算段階において、定義した参照領域１１内に含まれる各画素の画素値の平均を、平均画素値として求める演算が行われる。ここで、ステップＳ２の参照領域定義段階は、オペレータの操作入力に基づく定義でもよいし、もちろん、§５で述べた手法による自動定義でもよい。

図１２に示す流れ図において、ステップＳ１〜Ｓ３が完了すると、続いて、ステップＳ５の推定領域定義段階が行われる。ここで、推定領域とは、人物画像１０上において、当該人物の唇が包含されている領域と推定される領域である。図１３は、図１に示す人物画像上に参照領域１１および推定領域１２を定義した一例を示す平面図である。上述したとおり、参照領域１１は、鼻の両脇の輪郭を跨ぐような位置に定義される領域であるため、唇が包含されていると推定される推定領域１２は、当然、参照領域１１よりも下方に定義される。

唇が包含されている領域と推定される推定領域１２の定義は、参照領域１１の定義と同様に、人物画像１０を表示させたディスプレイ画面上において、オペレータに、領域を指示するための入力操作（たとえば、対角２点の位置入力操作）を行わせることにより、容易に行うことができる。オペレータは、ディスプレイ画面上の人物画像１０を目視することにより、唇を包含すると推定される領域を指定することが可能である。顔の唇領域を認識するための人間の能力はかなり高いため、オペレータの直感的な操作としては、「唇が包含されていると推定される領域を指定する」というよりは、むしろ「唇を完全に囲うような領域を指定する」という操作になろう。

なお、実用上は、ここで定義する推定領域１２は、「唇が完全に包含されている」という条件とともに、「鼻孔、頬の影、えくぼ、顎の輪郭外領域などが包含されていない」という条件を満たしていた方が好ましい（§９で述べるように、鼻孔などが包含されていたとしても、これらの領域を唇領域から除外することは可能であるが）。したがって、オペレータは、できるだけ、「唇を完全に囲うような最小限の領域」を推定領域１２として指定するように心がけるのが好ましい。なお、参照領域１１の定義と同様に、この推定領域１２も、オペレータの入力操作なしに自動的に定義することも可能である。その具体的な手法に関しては、§８で述べることにする。

こうして、推定領域１２の定義が完了すると、最後に、ステップＳ６の唇領域抽出段階が行われる。すなわち、このステップＳ６では、ステップＳ１で入力した人物画像データを構成する全画素のうち、ステップＳ５で定義した推定領域内の各画素に着目し、この着目した画素の中から、ステップＳ３で求めた平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出する処理が行われる。そして、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータの作成が行われる。

図１４は、この唇領域抽出段階で行われる抽出手順を具体的に示すための平面図である。図示のとおり、推定領域１２は、唇を完全に包含すると推定される領域であり、参照領域１１の下方に定義される。具体的には、オペレータが、人物画像１０上において、２つの対角位置Ｐ３，Ｐ４を指定する入力操作を行うことにより、推定領域１２を定義することができる。

この推定領域１２内の画素のうち、画素Ｐ１１，Ｐ１２のように、唇領域外に位置する画素は、本来、肌領域に所属する画素であり、参照領域１１内の画素に近い色をもった画素ということになる。これに対して、画素Ｐ１３，Ｐ１４のように、唇領域内に位置する画素は、肌領域からは除外されるべき画素であり、参照領域１１内の画素とは異なる色をもった画素ということになる。上述したステップＳ６の手順によれば、これら各画素Ｐ１１〜Ｐ１４の画素値は、それぞれ参照領域１１についての平均画素値と比較され、両者の色差が所定範囲外である場合には、唇領域内の画素として選出されることになる。この例では、画素Ｐ１１，Ｐ１２は、色差が所定範囲内であるために選出からは漏れ、画素Ｐ１３，Ｐ１４は、色差が所定範囲外であるために選出されることになる。こうして、選出された画素の集合からなる領域に基づいて、図１１に示すような唇領域を示すマスク３０の作成が行われる。

ここで、平均画素値に対する色差が所定範囲外か否かの判定、すなわち、唇領域として選出すべき画素か否かの判定は、§２で述べた肌領域として選出すべき画素か否かの判定（色差が所定範囲内か否かの判定）と逆の論理の判定を行えばよい。実用上は、三次元色空間上で、平均画素値をもつ標準点を定め、この標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とする方法を採るのが好ましい。

たとえば、３つの色成分ＲＧＢを用いて比較判定を行うのであれば、ＲＧＢ三次元色空間上での距離の許容範囲ｒを設定しておき、３つの色成分ＲＧＢの各画素値Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）が次の条件を満足する画素を選出画素と決定すればよい。
ｒ ＜ √（（Ｒ（ｉ）−Ｒ（ｍ））^２
＋（Ｇ（ｉ）−Ｇ（ｍ））^２
＋（Ｂ（ｉ）−Ｂ（ｍ））^２）
ここで、Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ）は、参照領域１１についての平均画素値のＲＧＢ成分である。これは、図７に示すＲＧＢ三次元色空間上において、座標値（Ｒ（ｍ），Ｇ（ｍ），Ｂ（ｍ））をもつ点を平均画素値をもつ標準点Ｓとしてプロットし、この標準点Ｓを中心とした半径ｒの球外にプロットされる画素を、選出画素として抽出することに他ならない。

もちろん、色成分ＲＧＢの代わりに、色成分ＣＭＹを用いて比較判定を行うことも可能であるし、§４で述べたように、異なる表色系の色空間上での比較判定を行うことも可能である。たとえば、Ｌ^＊ａ^＊ｂ^＊表色系を用いた場合は、図８(a) に示すようなＬ^＊ａ^＊ｂ^＊三次元色空間上に、平均画素値Ｌ^＊（ｍ），ａ^＊（ｍ），ｂ^＊（ｍ）をもつ標準点Ｓ１をプロットし、この標準点Ｓ１を中心とした半径ｒの球外にプロットされる画素を、選出画素として抽出すればよい。同様に、ＹＩＱ表色系を用いた場合は、図８(b) に示すようなＹＩＱ三次元色空間上に、平均画素値Ｙ（ｍ），Ｉ（ｍ），Ｑ（ｍ）をもつ標準点Ｓ２をプロットし、この標準点Ｓ２を中心とした半径ｒの球外にプロットされる画素を、選出画素として抽出すればよい。

もちろん、Ｌ^＊ａ^＊ｂ^＊三次元色空間上での抽出判定方式と、ＹＩＱ三次元色空間上での抽出判定方式との双方を利用するハイブリッド方式を利用することも可能である。このハイブリッド方式で「肌領域」を抽出する場合、§４で述べたように、Ｌ^＊ａ^＊ｂ^＊三次元色空間上での抽出判定処理により作成されたマスクデータと、ＹＩＱ三次元色空間上での抽出判定処理により作成されたマスクデータと、の「論理積」によって得られるマスクデータを、求める肌領域マスクデータとすると、非常に良好な結果が得られた。これに対して、ここで述べる「唇領域」の抽出判定は、「肌領域」の抽出判定とは論理が逆になるので、２つのマスクデータの「論理和」によって得られるマスクデータを、求める唇領域マスクデータとすると、非常に良好な結果が得られる。

すなわち、ハイブリッド方式により唇領域を抽出するのであれば、Ｌ^＊ａ^＊ｂ^＊三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および参照領域についての平均画素値を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、平均画素値に対応する標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第１の処理と、ＹＩＱ三次元色空間を定義し、人物画像データを構成する推定領域内の各画素の画素値および参照領域についての平均画素値を、ＹＩＱ三次元色空間上の画素値に変換し、ＹＩＱ三次元色空間上において、平均画素値に対応する標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第２の処理と、を実行し、第１の処理で作成されたマスクデータと第２の処理で作成されたマスクデータとの論理和によって得られるマスクデータを、求める唇領域マスクデータとすればよい。

＜＜＜ §７．本発明に係る唇領域抽出装置の基本構成 ＞＞＞
続いて、本発明に係る人物の唇領域マスクデータの作成装置の基本構成を、図１５のブロック図を参照しながら説明する。ここに示す作成装置は、図１２に示す流れ図の各ステップを実行する構成要素の集合によって構成されており、図示のとおり、人物画像入力手段１１０，参照領域定義手段１２０，平均画素値演算手段１３０，推定領域定義手段１５０，唇領域抽出手段１６０の各構成要素からなる。この作成装置を利用すれば、人物画像１０のデータに基づいて、当該人物の唇領域を示すマスク３０のデータを作成することができる。

ここで、人物画像入力手段１１０，参照領域定義手段１２０，平均画素値演算手段１３０は、図６に示す肌領域マスクデータの作成装置の各構成要素と全く同じものである。すなわち、人物画像入力手段１１０は、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する機能をもった構成要素であり、参照領域定義手段１２０は、人物画像入力手段１１０によって入力された人物画像データを用いて、ディスプレイ画面上に人物画像１０を表示し、オペレータの指示入力に基づいて、この人物画像１０上に所定の参照領域１１を定義する機能をもった構成要素である。また、平均画素値演算手段１３０は、人物画像入力手段１１０によって入力された人物画像１０のうち、参照領域定義手段１２０によって定義された参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する構成要素である。

一方、推定領域定義手段１５０は、人物画像入力手段１１０によって入力された人物画像データを用いて、ディスプレイ画面上に人物画像１０を表示し、オペレータの指示に基づいて、この人物画像１０上に所定の推定領域１２を定義する機能をもった構成要素である。たとえば、図１４に示すように、オペレータから、２点Ｐ３，Ｐ４を指定する指示入力があった場合には、この指示入力に基づいて、図示のような矩形状の推定領域１２を定義する処理が行われる。ここで、推定領域１２は、既に述べたとおり、人物の唇が包含されている領域と推定される領域であり、ここに示す基本的実施形態の場合、オペレータの判断によって決定される領域である。

唇領域抽出手段１６０は、人物画像入力手段１１０によって入力された人物画像１０を構成する全画素のうち、推定領域定義手段１５０によって定義された推定領域１２内に位置する各画素の中から、平均画素値演算手段１３０によって求められた平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータ３０を作成する機能をもった構成要素である。ここで、色差が所定範囲外の画素値か否かの具体的な判定方法は、§６でステップＳ６の手順として述べたとおりである。

なお、この図１５に示すマスクデータの作成装置も、実際には、コンピュータに専用の処理プログラムを組み込むことにより実現される装置であり、図１５にブロックとして示す各構成要素１１０〜１６０は、コンピュータ上で動作する所定のプログラムの機能によって実現される構成要素である。もちろん、このプログラムは、コンピュータ読み取り可能な記録媒体に記録して配付することも可能であるし、電子通信回線を介して配付することも可能である。

また、参照領域定義手段１２０としては、オペレータの指示入力に基づいて参照領域１１の定義を行う構成要素に代えて、§５で述べたとおり、所定のアルゴリズムに基づいて自動的に参照領域１１の定義を行う構成要素を用いることも可能である。同様に、推定領域定義手段１５０としては、オペレータの指示入力に基づいて推定領域１２の定義を行う構成要素に代えて、後述する§８で説明するとおり、所定のアルゴリズムに基づいて自動的に推定領域１２の定義を行う構成要素を用いることも可能である。また、唇領域抽出手段１６０としては、後述する§９で説明するとおり、唇領域の検出精度を向上させるための種々の処理機能を備えた構成要素を用いることも可能である。

＜＜＜ §８．推定領域を自動的に定義させる変形例 ＞＞＞
§６および§７で述べた基本的な実施形態では、図１２のステップＳ５の推定領域定義段階において、オペレータが、推定領域１２を定義する操作入力を行っており、図１５に示す推定領域定義手段１５０は、オペレータの指示入力に基づいて、推定領域１２の定義を行っていた。ここで述べる変形例では、この推定領域定義手段１５０に、オペレータの指示入力なしに、自動的に推定領域の定義を行う機能をもたせたものである。すなわち、この変形例に係る装置では、推定領域定義手段１５０は、人物画像入力手段１１０が入力した人物画像データに、所定のアルゴリズムに基づく処理を施すことにより、当該人物の唇が包含されている領域と推定される推定領域を、自動的に定義する機能をもっている。推定領域定義手段１５０に、このような推定領域の自動定義機能をもたせておけば、図１２のステップＳ５の推定領域定義段階は、オペレータの指示入力なしに実行されることになるので、オペレータの操作負担はより軽減されることになる。

推定領域を自動定義するためのアルゴリズムとしては、種々の方針に基づくアルゴリズムが利用可能であるが、§５で説明した参照領域の自動定義と同様に、人物の両目の領域に基づいて定義を行うアルゴリズムが最も合理的である。ここで、参照領域１１は、人物の鼻の両脇の輪郭を跨ぐような位置に配置される領域であるから、推定領域１２は、当然、この参照領域１１よりも下方に位置する領域になる。

図１６は、両目領域を基準とした推定領域の自動定義アルゴリズムの一例を示す平面図である。この推定領域の自動定義アルゴリズムの原理は、§５で説明した参照領域の自動定義アルゴリズムとほとんど同じである。すなわち、まず、人物画像データに基づいて、図１６に示すような右目領域Ｅ１と左目領域Ｅ２とを定義する。続いて、右目領域Ｅ１の重心点Ｇ１と左目領域Ｅ２の重心点Ｇ２とを演算によって求め、これら両重心点Ｇ１，Ｇ２を結ぶ両目基準線分Ｆ１（図では一点鎖線で示す）を求める。そして、この両目基準線分Ｆ１についての垂直二等分線Ｆ２を定義し、この垂直二等分線Ｆ２に関して左右対称となり、次のような条件を満足する領域を、推定領域として定義するのである。すなわち、図１６に示すとおり、両目基準線分Ｆ１の長さＬに応じて定まる所定距離ｄｄ（たとえば、所定の比例定数ｋ４に基づいて、ｄｄ＝ｋ４・Ｌで定まる距離ｄｄ）だけ両目基準線分Ｆ１の下方に隔たって位置する線分Ｆ４を縦方向の中心線として、両目基準線分Ｆ１の長さＬに応じて定まる所定の横幅Ｌｘｘ（たとえば、所定の比例定数ｋ５に基づいて、Ｌｘｘ＝ｋ５・Ｌで定まる幅Ｌｘｘ）および縦幅（たとえば、所定の比例定数ｋ６に基づいて、Ｌｙｙ＝ｋ６・Ｌで定まる幅Ｌｙｙ）を有する領域（図１６の例の場合、ハッチングを施して示す矩形領域）を、推定領域１２として定義すればよい。

このようなアルゴリズムに基づき、比例定数ｋ４，ｋ５，ｋ６をそれぞれ適当な値に設定して処理を行えば、人物の唇をそっくり包含すると推定される推定領域を、自動的に定義することが可能になる。もちろん、図１６に示す具体的なアルゴリズムは、推定領域を自動的に定義する手法のほんの一例を示すものであり、本発明は、このような具体的なアルゴリズムに限定されるものではない。

たとえば、図１７に示す例は、図１６に示すアルゴリズムの変形例である。この変形例においても、まず、右目領域Ｅ１と左目領域Ｅ２とが定義される。図１６に示す例では、これら各領域の重心点Ｇ１，Ｇ２を求めたが、図１７に示す例では、右目領域Ｅ１と左目領域Ｅ２との最近接点Ｑ１，Ｑ２が求められる。ここで、最近接点Ｑ１は、左目領域Ｅ２を構成する各画素との距離の合計が最も小さくなるような右目領域Ｅ１内の画素の位置として求められ、最近接点Ｑ２は、右目領域Ｅ１を構成する各画素との距離の合計が最も小さくなるような左目領域Ｅ２内の画素の位置として求められる。

続いて、これら最近接点Ｑ１，Ｑ２を結ぶ線分（図では一点鎖線で示す）を、両目基準線分Ｆ１として、その垂直二等分線Ｆ２を定義する。そして、この垂直二等分線Ｆ２に関して左右対称となり、両目基準線分Ｆ１の長さＬに応じて定まる所定距離ｄｄ（たとえば、所定の比例定数ｋ４に基づいて、ｄｄ＝ｋ４・Ｌで定まる距離ｄｄ）だけ両目基準線分Ｆ１の下方に隔たって位置する線分Ｆ４を縦方向の中心線として、両目基準線分Ｆ１の長さＬに応じて定まる所定の横幅Ｌｘｘ（たとえば、所定の比例定数ｋ５に基づいて、Ｌｘｘ＝ｋ５・Ｌで定まる幅Ｌｘｘ）および縦幅（たとえば、所定の比例定数ｋ６に基づいて、Ｌｙｙ＝ｋ６・Ｌで定まる幅Ｌｙｙ）を有する領域（図１７の例の場合、ハッチングを施して示す矩形領域）を、推定領域１２として定義すればよい。

＜＜＜ §９．唇領域の抽出精度を向上させる変形例 ＞＞＞
これまで、§６〜§８において、人物画像から唇領域を抽出するための方法および装置を説明したが、これらの方法および装置によって、常に正確な唇領域を抽出できるとは限らない。たとえば、推定領域の定義が不適切であると、上述した方法では、正しい唇領域の抽出ができなくなる。ここでは、唇領域の抽出精度をより向上させるための工夫を述べる。

たとえば、図１８の例を見てみる。この図は、推定領域１２の定義が不適切であった一例を示す平面図である。図示のとおり、矩形状の推定領域１２は、本来の唇領域４１を完全に包含するような領域として定義されており、「唇が包含されていると推定される領域」という条件を満たしている。したがって、§６〜§８で述べてきた手法には合致していることになるが、実際に、このような推定領域１２を用いて唇領域の抽出を行うと、図１９にハッチングを施して示すように、領域Ａ１〜Ａ７という７つの領域が唇領域として抽出されることになり、この結果に基づいてマスクデータを作成すると、図１９にハッチングを施して示す７つの領域を含んだ唇領域マスクデータができる。

このように、不正確な唇領域が抽出される理由は、参照領域１１内の平均画素値に対して大きな色差を示す領域が、推定領域１２内に複数存在するためである。すなわち、図１８に示す推定領域１２内には、本来の唇領域４１の他、顎の輪郭外領域４２（ハッチングを施した２カ所）、両頬の影領域４３（２カ所）、鼻孔領域４４（２カ所）が含まれており、これらの領域が、参照領域１１内の平均画素値（標準となる肌色）に対して大きな色差を示すため、いずれも唇領域として抽出されることになる。

実は、図１４に示す人物画像と、図１８に示す人物画像とは、両目の位置が全く同じ画像であるので、§５および§８で述べた方法により、参照領域および推定領域を自動的に定義すると、全く同じ位置に同じ大きさの参照領域１１および推定領域１２が定義されることになる。両人物画像の相違は、唇の位置、顎の輪郭の位置、頬の影の有無、鼻孔の位置である。これは、§５および§８で述べた手法で領域を自動定義すると、対象となる人物画像によっては、本来の唇領域以外の領域が、唇領域として抽出されてしまう事態が起こり得ることを示している。

このような事態は、各領域を自動定義せずに、オペレータ自身が推定領域１２の位置を指示したとしても起こり得る。たとえば、推定領域１２を矩形領域として指定する場合、唇のみを囲うような領域指定が幾何学上不可能であり、顎の輪郭外領域、両頬の影領域、鼻孔領域などが含まれてしまうことが避けられないケースでは、オペレータが指示しても、やはり本来の唇領域以外の領域が、唇領域として抽出されてしまうことになる。

このように、§６〜§８で述べてきた手法によって唇領域を抽出する処理を実行した結果、複数の閉領域が抽出された場合には、この複数の閉領域の中の１つの閉領域を、本来の唇領域として選択し、この選択された１つの閉領域に基づいて唇領域を示すマスクデータを作成すればよい。たとえば、図１９に示す例の場合、７つの閉領域Ａ１〜Ａ７の中から、閉領域Ａ５を選択してマスクデータを作成すれば、図１１に示すような正しい唇領域を示すマスク３０が得られる。

抽出された複数の閉領域の中から、本来の唇領域を１つだけ選択する方法として、最も簡単な方法は、オペレータ自身に選択させる方法である。たとえば、図１９に示すような７つの閉領域Ａ１〜Ａ７をディスプレイ画面上に表示し、オペレータにいずれか１つの閉領域を選択する指示入力を行わせ、この指示入力に基づいて、１つの閉領域を選択するようにすればよい。オペレータは、表示された複数の閉領域の中から、唇領域の可能性が最も高いと判断できる閉領域を１つだけ選択すればよい。図示の例の場合、オペレータによって、閉領域Ａ５が選択されることになろう。

このように、オペレータの指示入力に基づく選択を行う場合には、図１５に示す唇領域抽出手段１６０に、抽出した選出画素の集合からなる閉領域が複数存在する場合、これら複数の閉領域をディスプレイ画面上に表示し、オペレータの指示により選択された１つの閉領域に基づいて唇領域を示すマスクデータを作成する機能をもたせておけばよい。

もっとも、実用上は、オペレータの指示入力なしに、複数の閉領域の中から、唇領域の可能性が最も高いと判断できる閉領域を自動的に１つだけ選択する機能を、唇領域抽出手段１６０に用意しておくのが好ましい。以下、このような自動選択を可能にするためのアルゴリズムを述べる。

図１９に示すような複数の閉領域Ａ１〜Ａ７の中から本来の唇領域を自動選択するための１つの手法は、「唇領域の可能性が低い閉領域を候補から除外する」という、いわゆる消去法というべき方法である。本願発明者は、唇が顔の正中線上に配置されているという点に着目し、顔の正中線から外れる閉領域を候補から除外する方法の着想に至った。この方法を採るのであれば、唇領域抽出手段１６０に、人物画像の顔の正中線から外れる閉領域を除外する除外処理を実行し、この除外処理後に残った閉領域に基づいて唇領域を示すマスクデータを作成する機能をもたせておけばよい。たとえば、図１９に示す例の場合、顔の正中線上に配置されているのは、閉領域Ａ５のみであり、その他の閉領域はいずれも正中線から外れている。これら正中線から外れた閉領域を候補から除外する除外処理を実行すれば、閉領域Ａ５だけが除外されずに残るので、必然的に、閉領域Ａ５が唇領域として選択されることになる。

この除外処理を行う上では、個々の閉領域が顔の正中線から外れているか否かを判定する必要がある。そのような判定は、たとえば、人物画像の両目の位置を基準に用いて行うことができる。具体的には、図２０に示すように、人物画像の右目領域Ｅ１の重心点Ｇ１と左目領域Ｅ２の重心点Ｇ２とを結ぶ両目基準線分Ｆ１についての垂直二等分線Ｆ２を正中線と定義し、複数の閉領域Ａ１〜Ａ７のそれぞれについてその重心点ｇ１〜ｇ７を求め、求めた重心点ｇ１〜ｇ７と正中線Ｆ２との距離が所定の許容範囲を超える閉領域を、正中線から外れる閉領域として除外すればよい。

図示の例の場合、所定の許容範囲を示す寸法として、「重心点ｇ５と正中線Ｆ２との距離よりも大きく、重心点ｇ１，ｇ２と正中線Ｆ２との距離よりも小さい寸法」を設定しておけば、正中線Ｆ２との距離がこの許容範囲内となる重心点は、重心点ｇ５のみとなるので、閉領域Ａ５のみが除外されずに残り、それ以外の閉領域Ａ１〜Ａ４，Ａ６，Ａ７は、すべて除外されることになる。かくして、閉領域Ａ５が本来の唇領域として自動選択されることになる。

もちろん、正中線の定義は、図２０に示す例のみに限定されるわけではない。たとえば、図１７に示すように、右目領域Ｅ１の左目領域Ｅ２に対する最近接点Ｑ１と左目領域Ｅ２の右目領域Ｅ１に対する最近接点Ｑ２とを結ぶ両目基準線分Ｆ１についての垂直二等分線Ｆ２を正中線と定義することもできる。あるいは、両耳の代表点を結ぶ基準線分の垂直二等分線を正中線と定義することもできよう。

なお、上述した除外処理では、重心点と正中線との距離が所定の許容範囲を超える閉領域を、正中線から外れる閉領域として除外する、という選別手法を採っているが、その代わりに、重心点と正中線との距離が最小となる閉領域のみを残し、それ以外の閉領域をすべて除外する、という選別手法を採ることもできる。前者の選別手法では、最終的に残る閉領域が必ずしも１つではないのに対して、後者の選別手法では、最終的に残る閉領域は必ず１つになる。このため、図２０に示すような例の場合には、後者の選別手法を採った方が好ましい。なぜなら、前者の手法を採ると、許容範囲を大きく設定していた場合、重心点ｇ１，ｇ２と正中線Ｆ２との距離が、許容範囲内と判定され、最終的に、閉領域Ａ１，Ａ２，Ａ５の３つが除外されずに残ってしまう事態になる。後者の手法では、正中線との距離が最小となるのは、重心点ｇ５であるから、閉領域Ａ５のみが除外されずに残ることになる。

しかしながら、実用上は、上述した後者の選別手法ではなく、前者の選別手法を採るのが好ましい。その理由は、「顔の正中線に配置されている閉領域が、必ずしもすべて唇領域であるとは限らない」という事情があるからである。たとえば、図２１に示す例を見てみよう。この図は、§６〜§８で述べてきた手法によって唇領域を抽出する処理を実行した結果、顔の正中線に配置された３つの閉領域が抽出された例を示す図である。ここで、本来の唇領域は、閉領域Ａ５のみである。閉領域Ａ８は、唇の上方に形成された影領域、閉領域Ａ９は、唇の下方に形成された影領域である。

これら３つの閉領域Ａ５，Ａ８，Ａ９は、いずれも正中線に配置されているため、重心点と正中線との距離が最小となる閉領域のみを残し、それ以外の閉領域をすべて除外する、という前述した後者の選別手法を採ると、本来の唇領域Ａ５ではなく、閉領域Ａ８もしくはＡ９が、唇領域として誤って抽出されてしまう可能性がある。実用上、前述した前者の選別手法、すなわち、重心点と正中線との距離が所定の許容範囲を超える閉領域を、正中線から外れる閉領域として除外する、という選別手法を採るのが好ましい理由は、このような誤った抽出がなされることを防ぐためである。

もちろん、この前者の選別手法を採ると、正中線との位置関係に基づく除外処理によって、唇領域の候補を１つに絞り込むことはできなくなる。実際、図２１に示す３つの閉領域Ａ５，Ａ８，Ａ９は、いずれも重心点と正中線との距離が、所定の許容範囲内と判断され、上述した除外処理では除外されずに残ってしまうことになる。そこで、唇領域抽出手段１６０には、この除外処理後に複数の閉領域が候補として残った場合に、残った閉領域の中から、唇領域の可能性の最も高い閉領域を１つだけ選択する択一処理を実行し、この択一処理により選択した閉領域に基づいて唇領域を示すマスクデータを作成する機能を用意しておくようにする。複数の閉領域の中から、唇領域の可能性の最も高い閉領域を１つだけ選択する択一処理として、以下に５通りの方法を述べておく。

択一処理の第１の方法は、択一処理の対象となる複数の閉領域の中で、面積の最も大きな閉領域を１つだけ選択する方法である。これは、正中線上に配置された複数の閉領域が存在する場合、最も面積の大きな閉領域が、本来の唇領域である可能性が高い、という特徴に着目した方法である。たとえば、図２１の例の場合、３つの閉領域Ａ８，Ａ５，Ａ９が候補として残っているが、この中で面積が最大である閉領域Ａ５が択一処理で選択されることになり、最終的な唇領域として抽出されることになる。

択一処理の第２の方法は、択一処理の対象となる３つの閉領域が存在する場合、これら３つの閉領域の正中線方向への並び順を考慮し、中央に配置されている閉領域を１つだけ選択する方法である。たとえば、図２１の例の場合、３つの閉領域の正中線方向への並び順は、閉領域Ａ８，Ａ５，Ａ９の順となっているので、中央に配置されている閉領域Ａ５が択一処理で選択されることになり、最終的な唇領域として抽出されることになる。これは、正中線上に３つの閉領域が存在する場合、一番上方に配置されている閉領域は、唇の上方に形成された影であり、一番下方に配置されている閉領域は、唇の下方に形成された影である可能性が高く、中央に配置されている閉領域が、本来の唇領域である可能性が高い、という特徴を利用した方法である。

択一処理の第３の方法は、択一処理の対象となる複数の閉領域のそれぞれについてその重心点を求め、求めた重心点と推定領域の重心点との距離が最小となる閉領域を１つだけ選択する方法である。たとえば、図２２は、図２１に示されている３つの閉領域Ａ８，Ａ５，Ａ９についての重心点ｇ８，ｇ５，ｇ９と、推定領域１２の重心点ＧＧ（推定領域１２の両対角線の交点）と、の位置関係を示す平面図である。図示のとおり、各重心点ｇ８，ｇ５，ｇ９と重心点ＧＧとの距離に着目すると、重心点ｇ５と重心点ＧＧとの距離が最小である（別言すれば、重心点ＧＧに対して最も近いのが重心点ｇ５である）ことが認識できる。よって、重心点ｇ５をもつ閉領域Ａ５が択一処理で選択されることになり、最終的な唇領域として抽出されることになる。これは、そもそも推定領域１２が、「唇が包含されている領域と推定される領域」として定義されたものであるため、本来の唇領域は、この推定領域１２の中心に配置されている可能性が高い、という特徴を利用した方法である。

択一処理の第４の方法は、択一処理の対象となる複数の閉領域のそれぞれについての平均画素値を求め、Ｌ^＊ａ^＊ｂ^＊三次元色空間上に、前記複数の閉領域についての平均画素値をそれぞれ比較点としてプロットするとともに、平均画素値演算手段１３０によって演算された参照領域に関する平均画素値を標準点としてプロットし、ａ^＊ｂ^＊投影面上に各比較点および標準点を投影することにより、投影比較点および投影標準点を求め、投影標準点に対する距離が最も大きな投影比較点に対応する閉領域を１つだけ選択する方法である。以下、この方法を具体例で示そう。

図２３は、この択一処理の第４の方法を説明するための色空間図である。ここでは、図２１に示すような３つの閉領域Ａ５，Ａ８，Ａ９を対象とした具体的な択一処理の手順を示そう。まず、この３つの閉領域Ａ５，Ａ８，Ａ９のそれぞれについて、平均画素値を求め、図２３(a) に示すように、Ｌ^＊ａ^＊ｂ^＊三次元色空間上に、各平均画素値をそれぞれ比較点としてプロットする。図に示す比較点Ｋ５，Ｋ８，Ｋ９は、それぞれ閉領域Ａ５，Ａ８，Ａ９について求めた平均画素値を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上にプロットした点ということになる。同様に、平均画素値演算手段１３０によって演算された参照領域１１に関する平均画素値を標準点としてプロットする。図２３(a) の標準点Ｓ１は、このようにしてプロットされた点である。結局、図２３(a) における標準点Ｓ１は、参照領域１１についての平均的な色合い（肌色）を示す点であり、比較点Ｋ５，Ｋ８，Ｋ９は、各閉領域Ａ５，Ａ８，Ａ９についての平均的な色合いを示す点ということになる。

こうして、Ｌ^＊ａ^＊ｂ^＊三次元色空間上に、比較点Ｋ５，Ｋ８，Ｋ９および標準点Ｓ１がプロットされたら、続いて、これら各点を、ａ^＊ｂ^＊投影面上に投影することにより、図２３(a) に示すとおり、投影比較点ＫＫ５，ＫＫ８，ＫＫ９および投影標準点ＳＳ１を求める。図２３(b) は、ａ^＊ｂ^＊投影面を示す平面図であり、このようにして投影された投影比較点ＫＫ５，ＫＫ８，ＫＫ９および投影標準点ＳＳ１が示されている。このａ^＊ｂ^＊投影面上で、投影標準点ＳＳ１に対する距離が最も大きな投影比較点は、点ＫＫ５であるから、この投影比較点ＫＫ５に対応する閉領域Ａ５が、最終的な唇領域として選択されることになる。

この第４の択一処理の基本原理は、色相、彩度、明度という色のパラメータを考えた場合、本来の唇領域は、参照領域（標準的な肌色を示す領域）に対して、色相が最も異なる領域になる、という特徴を利用したものである。唇の上方もしくは下方に形成された影の領域（たとえば、図２１の閉領域Ａ８，Ａ９）は、若干暗くなった肌領域というべきものであり、本来、肌領域の色相を有している領域である。これに対して、唇領域（図２１の閉領域Ａ５）は、肌領域の色相とは異なる色相（通常、肌色よりも赤みがかった色相）を有している領域である。上述した第４の択一処理は、このような色相の相違を利用した選択を行っていることになる。

すなわち、Ｌ^＊ａ^＊ｂ^＊三次元色空間のＬ^＊軸は、輝度を示す軸であり、ａ^＊軸およびｂ^＊軸が色相を示す軸となる。このため、ａ^＊ｂ^＊投影面上に得られた投影標準点ＳＳ１や投影比較点ＫＫ５，ＫＫ８，ＫＫ９は、いずれも輝度の因子を排除した情報になっており、このａ^＊ｂ^＊投影面上での各点の距離は、色相の相違を示すパラメータになる。結局、このａ^＊ｂ^＊投影面上で、投影標準点ＳＳ１に対する距離が最も大きな点として、投影比較点ＫＫ５が選択されたということは、閉領域Ａ５の色相が、参照領域１１の色相（肌色の標準的な色相）と最も異なっていることを意味し、閉領域Ａ５が、唇領域の可能性の最も高い閉領域であることを意味している。

なお、このような色相の相違を判断するには、必ずしもＬ^＊ａ^＊ｂ^＊三次元色空間およびａ^＊ｂ^＊投影面を用いる必要はない。たとえば、ＹＩＱ三次元空間およびＩＱ投影面を用いても、同様の結果を得ることが可能である。

択一処理の第５の方法は、予め、唇領域抽出手段１６０に、標準的な唇の輪郭形状を示す標準パターンを記憶させておき、択一処理を行う際に、複数の閉領域のそれぞれについて標準パターンに対する類似性を評価し、最も高い評価が得られた閉領域を１つだけ選択する方法である。これは、唇の形状は、個人個人によって様々ではあるが、人間の唇であれば、ある程度は類似した形状を有している、という特徴を利用した方法である。

たとえば、図２４の右側に示すような標準パターンＡｒを予め用意しておき、択一処理の対象となる閉領域Ａ８，Ａ５，Ａ９の輪郭形状を、この標準パターンＡｒの輪郭形状と比較して類似性の評価値を求め、評価値の最も高い閉領域を唇領域として選択すればよい。なお、２つの形状の類似性を評価する手法は、既に、種々の方法が公知であるため、ここでは評価手法についての詳細な説明は省略する。

以上、除外処理後に複数の閉領域が候補として残った場合に、残った閉領域の中から、唇領域の可能性の最も高い閉領域を１つだけ選択する択一処理の具体例をいくつか述べたが、もちろん、択一処理の方法は上述した処理のみに限定されるものではなく、この他にも種々の方法を利用することが可能である。また、上述したいくつかの方法を組み合わせた択一処理を実施することも可能であるし、オペレータの指示入力に基づく択一処理を実施することも可能である。なお、本来の唇領域の一部が、推定領域１２から食み出してしまった場合には、上述した手法では、本来の唇領域を正確に抽出することはできない。したがって、実用上は、唇領域の全体を完全に包含すると推定されるような領域を、推定領域１２として定義するよう留意すべきである。

唇領域の抽出が不正確になるもう１つの要因は、抽出した閉領域内に空洞部が生じることである。たとえば、図２５は、最終的に唇領域として抽出された閉領域Ａ５内に、空洞部Ｖが含まれていた例を示す平面図である。このような空洞部Ｖは、主として、照明環境に依存して生じることになる。具体的には、照明光が反射した唇上の一部の領域内の画素について、参照領域１１についての平均画素値に近似した画素値が得られてしまった場合などに、このような空洞部Ｖが生じることになる。

もっとも、このような空洞部Ｖは、必ずしも不適切なものとは限らない。たとえば、化粧品売場の店頭で、顧客が、特定の色の口紅を塗った状態のシミュレーションを行う場合に、唇領域を示すマスク３０に空洞部Ｖが含まれていたとしても、この空洞部Ｖは、そもそも照明光の反射部分なので、口紅による色補正が行われなくても支障がないケースも少なくない。むしろ、この照明光の反射部分については、口紅による色補正を行わない方が好ましいケースもあり得る。このような場合には、図２５に示すように、抽出した唇領域Ａ５内に空洞部Ｖが含まれていても、そのまま唇領域を示すマスク３０を作成しても問題はない。

ただ、マスク３０の利用形態によっては、このような空洞部Ｖを除去する処理を行っておいた方が好ましい場合もあろう。そのような要求に応じるためには、唇領域抽出手段１６０に、空洞部Ｖを包含する閉領域について、当該空洞部Ｖを除去する処理を行う機能を付加しておくのが好ましい。

このように、１つの閉領域内に存在する空洞部を除去する処理アルゴリズムは、既に、いくつもの方法が公知である。たとえば、輪郭線を領域外へ向けて所定量だけ一度膨張させた後、同じ量だけ縮小する処理を行うと、空洞部の除去が可能になる。図２６は、このような原理に基づく空洞部除去処理の手順の一例を示す平面図である。図２６(a) に示すような閉領域（ハッチングを施して示す黒画素の集合からなる領域）内に、空洞部Ｖ（白抜きの６画素からなる領域）が存在する場合、まず、輪郭線を形成する黒画素に接している白画素を黒画素に置換して、輪郭線を領域外へ向けて１画素分だけ膨張させる処理を行う。図２６(b) は、この膨張処理後の状態を示す平面図である。この膨張処理は、閉領域の外側へ向かって行われるとともに、空洞部Ｖの内部に対しても行われるため、この処理により空洞部Ｖは除去されることになる。この後、輪郭線を形成する黒画素を白画素に置換して、輪郭線を領域内へ向けて１画素分だけ縮小させる処理を行うと、図２６(c) に示すように、もとの閉領域から空洞部Ｖを除去することができる。

図２７は、空洞部Ｖを除去するための別なアルゴリズムを示す平面図である。このアルゴリズムでは、画像を構成する画素配列を１行ごとにチェックしてゆき、閉領域外を示す画素値「０」（白画素）と閉領域内を示す画素値「１」（黒画素）との並び順を確認する処理を行う。空洞部Ｖのない閉領域の場合、画素値「０」の並びから、画素値「１」の並びに変わり、再び画素値「０」の並びに変わるはずであるが、空洞部Ｖが存在すると、画素値「１」の並びの中に、画素値「０」の並びが混入することになる。そこで、画素値「１」の並びに挟まれた画素値「０」の並びの部分を、画素値「１」に置き換える処理を行えば、空洞部Ｖを除去することが可能になる。

最後に、この§９で述べた唇領域の抽出精度を向上させる手法を盛り込んだ唇領域抽出処理の手順を、図２８の流れ図を参照しながら説明する。まず、ステップＳ６１では、§６で述べたとおり、推定領域１２に含まれ、三次元色空間上で、標準点（参照領域１１についての平均画素値を示す点）からの距離が所定範囲外となる画素値をもつ画素の集合により、閉領域を形成する処理を行う。そして、ステップＳ６２において、得られた閉領域が１つだけであるかを判断する。ここで、複数の閉領域が形成されていた場合には、まず、ステップＳ６３において除外処理（顔の正中線から外れる閉領域を除外する処理）を実行する。そして、ステップＳ６４において、残った閉領域が１つだけかを判断する。残った閉領域が複数あった場合には、ステップＳ６５において択一処理（唇領域の可能性の最も高い閉領域を１つだけ選択する処理）を実行する。

結局、ステップＳ６２〜Ｓ６５の処理により、１つの閉領域のみが唇領域として抽出されることになる。こうして、１つの閉領域が決定したら、続いて、ステップＳ６６において、当該閉領域内に空洞部が存在するか否かの判定が行われ、空洞部が存在する場合には、ステップＳ６７において、空洞部除去処理が行われる（あるいは、前述したとおり、意図的に除去処理を行わないようにしてもかまわない）。最後に、ステップＳ６８において、残った閉領域を唇領域として抽出する処理を実行し、抽出された唇領域に基づいてマスクデータを作成すればよい。

＜＜＜ §１０．その他の変形例 ＞＞＞
以上、本発明を図示するいくつかの実施形態に基づいて説明したが、本発明はこれらの実施形態に限定されるものではなく、この他にも種々の形態で実施可能であり、種々の変形例の下で実施することができる。

たとえば、これまで述べた例では、参照領域や推定領域をいずれも矩形領域として定義しているが、参照領域や推定領域は必ずしも矩形形状にする必要はなく、楕円形状にしたり、任意の形状にすることが可能である。ただ、種々の処理の演算負担を軽減する上では、矩形形状にするのが好ましい。

また、これまでの実施形態では、三次元色空間上にプロットされた標準点に対する距離に基づいて、選出画素として抽出すべきか否かを判定する際に、距離の許容範囲ｒを設定しておき、３つの色成分ＲＧＢの各画素値Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）が、
ｒ ≧ √（（Ｒ（ｉ）−Ｒ（ｍ））^２
＋（Ｇ（ｉ）−Ｇ（ｍ））^２
＋（Ｂ（ｉ）−Ｂ（ｍ））^２） （肌領域抽出の場合）
または ｒ ＜ √（（Ｒ（ｉ）−Ｒ（ｍ））^２
＋（Ｇ（ｉ）−Ｇ（ｍ））^２
＋（Ｂ（ｉ）−Ｂ（ｍ））^２） （唇領域抽出の場合）
なる条件を満足する画素を選出画素として抽出する、という判定方法を採っていた。この判定方法は、図７や図８に示すとおり、標準点Ｓ，Ｓ１，Ｓ２を中心とした半径ｒの球を判定基準立体図形として定義し、この判定基準立体図形の中に含まれる画素（肌領域抽出の場合）もしくはこの判定基準立体図形の外に位置する画素（唇領域抽出の場合）を選出画素として抽出する、という選別法である。しかしながら、判定基準立体図形は、必ずしも球にする必要はなく、任意の立体図形であってもかまわない。

たとえば、所定の係数ｗ１，ｗ２，ｗ３を定義し、３つの色成分ＲＧＢの各画素値Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）が、
ｒ ≧ √（ｗ１（Ｒ（ｉ）−Ｒ（ｍ））^２
＋ｗ２（Ｇ（ｉ）−Ｇ（ｍ））^２
＋ｗ３（Ｂ（ｉ）−Ｂ（ｍ））^２） （肌領域抽出の場合）
または ｒ ＜ √（ｗ１（Ｒ（ｉ）−Ｒ（ｍ））^２
＋ｗ２（Ｇ（ｉ）−Ｇ（ｍ））^２
＋ｗ３（Ｂ（ｉ）−Ｂ（ｍ））^２） （唇領域抽出の場合）
なる条件を満足する画素を選出画素として抽出する、という判定方法を採れば、３つの色成分ＲＧＢの色差に、係数ｗ１，ｗ２，ｗ３による重みづけを考慮した判定が可能になる。もちろん、このような重みづけを考慮した判定は、ＲＧＢ三次元色空間上での判定だけでなく、ＣＭＹ三次元色空間上での判定、Ｌ^＊ａ^＊ｂ^＊三次元色空間上での判定、ＹＩＱ三次元色空間上での判定でも同様である。

更に、本発明に適用するための人物画像１０は、図１に示すように、基本的には正面向きの上半身像が好ましいが、必ずしも厳密に顔の正面から撮影した人物画像を用意する必要はなく、上述した条件を満足する参照領域を定義することが可能な画像であれば、若干斜めを向いた人物画像を利用しても問題はない。なお、人物画像の背景部分や洋服部分に、肌の色に近似した色が含まれていると、肌領域として誤検出される要因になるので、実用上は、背景色や洋服色には、肌の色に近似した色が含まれないように配慮するのが好ましい。

本発明に係るマスクデータの作成方法の適用対象となる人物画像の一例を示す平面図である。 図１に示す人物画像に基づいて作成された肌領域を示すマスクの一例を示す平面図である。 本発明に係るマスクデータの作成方法を実施するために、図１に示す人物画像上に参照領域を定義した一例を示す平面図である。 本発明に係る人物の肌領域マスクデータの作成方法の基本手順を示す流れ図である。 図１に示す人物画像上に定義された参照領域の一例を示す詳細平面図である。 本発明に係る人物の肌領域マスクデータの作成装置の基本構成を示すブロック図である。 ＲＧＢ三次元色空間上での選出画素の決定プロセスの概念を示す色空間図である。 Ｌ^＊ａ^＊ｂ^＊三次元色空間およびＹＩＱ三次元色空間上での選出画素の決定プロセスの概念を示す色空間図である。 両目領域を基準とした参照領域の自動定義アルゴリズムの一例を示す平面図である。 両目領域を基準とした参照領域の自動定義アルゴリズムの別な一例を示す平面図である。 図１に示す人物画像に基づいて作成された唇領域を示すマスクの一例を示す平面図である。 本発明に係る人物の唇領域マスクデータの作成方法の基本手順を示す流れ図である。 本発明に係る唇領域マスクデータの作成方法を実施するために、図１に示す人物画像上に参照領域および推定領域を定義した一例を示す平面図である。 図１２に示す唇領域抽出段階で行われる抽出手順を具体的に示すための平面図である。 本発明に係る人物の唇領域マスクデータの作成装置の基本構成を示すブロック図である。 両目領域を基準とした推定領域の自動定義アルゴリズムの一例を示す平面図である。 両目領域を基準とした推定領域の自動定義アルゴリズムの別な一例を示す平面図である。 人物画像上に定義した推定領域が不適切である一例を示す平面図である。 図１８に示す人物画像および推定領域に基づいて唇領域として抽出された複数の閉領域を示す平面図である。 図１９に示す複数の閉領域について、顔の正中線から外れているか否かを判定する具体的な方法の一例を示す平面図である。 唇領域として抽出された、顔の正中線に配置された３つの閉領域を示す平面図である。 図２１に示されている３つの閉領域Ａ８，Ａ５，Ａ９についての重心点ｇ８，ｇ５，ｇ９と、推定領域１２の重心点ＧＧと、の位置関係を示す平面図である。 複数の閉領域の中から１つの閉領域のみを本来の唇領域として抽出するための択一処理の一例を示す色空間図である。 複数の閉領域の中から１つの閉領域のみを本来の唇領域として抽出するための択一処理の別な一例を示す平面図である。 最終的に唇領域として抽出された閉領域Ａ５内に、空洞部Ｖが含まれていた例を示す平面図である。 閉領域内に存在する空洞部を除去する処理の一例を示す平面図である。 閉領域内に存在する空洞部を除去する処理の別な一例を示す平面図である。 唇領域の抽出精度を向上させる手法を盛り込んだ唇領域抽出処理の手順を示す流れ図である。

符号の説明

１０…人物画像
１１…参照領域
１２…推定領域
２０…肌領域を示すマスク
３０…肌領域を示すマスク
４１…本来の唇領域
４２…顎の輪郭外領域
４３…両頬の影領域
４４…鼻孔領域
１１０…人物画像入力手段
１２０…参照領域定義手段
１３０…平均画素値演算手段
１４０…肌領域抽出手段
１５０…推定領域定義手段
１６０…唇領域抽出手段
Ａ１〜Ａ９…閉領域
Ａｒ…標準パターン
Ｃ１，Ｃ２…鼻の両脇の輪郭
ｄ，ｄｄ…距離
Ｅ１，Ｅ２…両目
Ｆ１…両目基準線分
Ｆ２…垂直二等分線
Ｆ３，Ｆ４…中心線
Ｇ１，Ｇ２，ＧＧ…重心点
ｇ１〜ｇ９…重心点
Ｈ１，Ｈ２…鼻孔
Ｋ５，Ｋ８，Ｋ９…比較点
ＫＫ５，ＫＫ８，ＫＫ９…投影比較点
Ｌ…両目基準線分の長さ
Ｌｘ…参照領域の横幅
Ｌｘｘ…推定領域の横幅
Ｌｙ…参照領域の縦幅
Ｌｙｙ…推定領域の縦幅
Ｐ１〜Ｐ４…オペレータによる指定点
Ｐ１１〜Ｐ１４…画素
Ｑ１，Ｑ２…最近接点
ｒ…球の半径
Ｓ，Ｓ１，Ｓ２…標準点
ＳＳ１…投影標準点
Ｓ１〜Ｓ６…流れ図の各ステップ
Ｓ６１〜Ｓ６８…流れ図の各ステップ
Ｖ…空洞部

Claims (25)

1. 人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する方法であって、
   コンピュータが、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力段階と、
   オペレータが、コンピュータ上で、当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域を定義する参照領域定義段階と、
   コンピュータが、前記参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算段階と、
   オペレータが、コンピュータ上で、当該人物の唇が包含されている領域と推定される推定領域を定義する推定領域定義段階と、
   コンピュータが、前記人物画像データを構成する前記推定領域内の各画素の中から、前記平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する処理を実行する唇領域抽出段階と、
   を有することを特徴とする人物の唇領域マスクデータの作成方法。
2. 人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する方法であって、
   コンピュータが、対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力段階と、
   コンピュータが、当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域を、所定のアルゴリズムに基づいて定義する参照領域定義段階と、
   コンピュータが、前記参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算段階と、
   コンピュータが、当該人物の唇が包含されている領域と推定される推定領域を、所定のアルゴリズムに基づいて定義する推定領域定義段階と、
   コンピュータが、前記人物画像データを構成する前記推定領域内の各画素の中から、前記平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する処理を実行する唇領域抽出段階と、
   を有することを特徴とする人物の唇領域マスクデータの作成方法。
3. 請求項２に記載の作成方法において、
   参照領域定義段階では、人物画像から右目領域および左目領域を認識し、これら両領域の位置および大きさに基づいて、参照領域の定義を行うアルゴリズムを用い、
   推定領域定義段階では、前記両領域の位置および大きさに基づいて、推定領域の定義を行うアルゴリズムを用いることを特徴とする人物の唇領域マスクデータの作成方法。
4. 請求項３に記載の作成方法において、
   参照領域定義段階では、右目領域の重心点と左目領域の重心点とを結ぶ両目基準線分もしくは右目領域の左目領域に対する最近接点と左目領域の右目領域に対する最近接点とを結ぶ両目基準線分を定義し、この両目基準線分についての垂直二等分線に関して左右対称となり、前記両目基準線分の長さに応じて定まる所定距離だけ前記両目基準線分の下方に隔たって位置し、前記両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、参照領域と定義するアルゴリズムを用い、
   推定領域定義段階では、前記両目基準線分についての垂直二等分線に関して左右対称となり、前記両目基準線分の長さに応じて定まる所定距離だけ前記両目基準線分の下方に隔たって位置し、かつ、前記参照領域の下方に位置し、前記両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、推定領域と定義するアルゴリズムを用いることを特徴とする人物の唇領域マスクデータの作成方法。
5. 請求項１〜４のいずれかに記載の作成方法において、
   人物画像入力段階では、人物画像データを、３つの色成分のそれぞれについての画素値を有する画素の集合として入力し、
   平均画素値演算段階では、各色成分ごとにそれぞれ平均画素値を求め、
   唇領域抽出段階では、三次元色空間上で、前記平均画素値をもつ標準点を定め、この標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とすることを特徴とする人物の唇領域マスクデータの作成方法。
6. 請求項５に記載の作成方法において、
   人物画像入力段階では、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
   平均画素値演算段階では、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求め、
   唇領域抽出段階では、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間を定義し、前記人物画像データを構成する推定領域内の各画素の画素値および前記平均画素値を、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とすることを特徴とする人物の唇領域マスクデータの作成方法。
7. 請求項５に記載の作成方法において、
   人物画像入力段階では、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
   平均画素値演算段階では、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求め、
   唇領域抽出段階では、Ｌ^＊ａ^＊ｂ^＊三次元色空間を定義し、前記人物画像データを構成する推定領域内の各画素の画素値および前記平均画素値を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第１の処理と、ＹＩＱ三次元色空間を定義し、前記人物画像データを構成する推定領域内の各画素の画素値および前記平均画素値を、ＹＩＱ三次元色空間上の画素値に変換し、ＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第２の処理と、を実行し、前記第１の処理で作成されたマスクデータと前記第２の処理で作成されたマスクデータとの論理和によって得られるマスクデータを、求める唇領域マスクデータとすることを特徴とする人物の唇領域マスクデータの作成方法。
8. 人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する装置であって、
   対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力手段と、
   入力した人物画像データを用いてディスプレイ画面上に人物画像を表示し、オペレータの指示に基づいて、前記人物画像上に所定の参照領域を定義する参照領域定義手段と、
   前記参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算手段と、
   入力した人物画像データを用いてディスプレイ画面上に人物画像を表示し、オペレータの指示に基づいて、前記人物画像上に当該人物の唇が包含されている領域と推定される推定領域を定義する推定領域定義手段と、
   前記人物画像データを構成する前記推定領域内の各画素の中から、前記平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する唇領域抽出手段と、
   を備えることを特徴とする人物の唇領域マスクデータの作成装置。
9. 人物画像データに基づいて、当該人物の唇領域を示すマスクデータを作成する装置であって、
   対象となる人物画像データを、それぞれ所定の画素値を有する多数の画素の集合として入力する人物画像入力手段と、
   当該人物の鼻の両脇の輪郭を跨ぐような位置に、かつ、当該人物の髪、目、鼻孔にはかからない位置に配置された参照領域を、所定のアルゴリズムに基づいて、自動的に定義する参照領域定義手段と、
   前記参照領域内に含まれる各画素の画素値の平均を平均画素値として求める演算を実行する平均画素値演算手段と、
   当該人物の唇が包含されている領域と推定される推定領域を、所定のアルゴリズムに基づいて、自動的に定義する推定領域定義手段と、
   前記人物画像データを構成する前記推定領域内の各画素の中から、前記平均画素値に対する色差が所定範囲外の画素値をもつ画素を選出画素として抽出し、この選出画素の集合からなる領域により、当該人物の唇領域を示すマスクデータを作成する唇領域抽出手段と、
   を備えることを特徴とする人物の唇領域マスクデータの作成装置。
10. 請求項９に記載の作成装置において、
    参照領域定義手段が、人物画像から右目領域および左目領域を認識し、これら両領域の位置および大きさに基づいて、参照領域の定義を行い、
    推定領域定義手段が、前記両領域の位置および大きさに基づいて、推定領域の定義を行うことを特徴とする人物の唇領域マスクデータの作成装置。
11. 請求項１０に記載の作成装置において、
    参照領域定義手段が、右目領域の重心点と左目領域の重心点とを結ぶ両目基準線分もしくは右目領域の左目領域に対する最近接点と左目領域の右目領域に対する最近接点とを結ぶ両目基準線分を定義し、この両目基準線分についての垂直二等分線に関して左右対称となり、前記両目基準線分の長さに応じて定まる所定距離だけ前記両目基準線分の下方に隔たって位置し、前記両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、参照領域と定義し、
    推定領域定義手段が、前記両目基準線分についての垂直二等分線に関して左右対称となり、前記両目基準線分の長さに応じて定まる所定距離だけ前記両目基準線分の下方に隔たって位置し、かつ、前記参照領域の下方に位置し、前記両目基準線分の長さに応じて定まる所定の横幅および縦幅を有する領域を、推定領域と定義することを特徴とする人物の唇領域マスクデータの作成装置。
12. 請求項８〜１１のいずれかに記載の作成装置において、
    人物画像入力手段が、人物画像データを、３つの色成分のそれぞれについての画素値を有する画素の集合として入力し、
    平均画素値演算手段が、各色成分ごとにそれぞれ平均画素値を求める演算を行い、
    唇領域抽出手段が、三次元色空間上で、前記平均画素値をもつ標準点を定め、この標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とすることを特徴とする人物の唇領域マスクデータの作成装置。
13. 請求項１２に記載の作成装置において、
    人物画像入力手段が、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
    平均画素値演算手段が、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求める演算を行い、
    唇領域抽出手段が、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間を定義し、前記人物画像データを構成する推定領域内の各画素の画素値および前記平均画素値を、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊またはＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素とすることを特徴とする人物の唇領域マスクデータの作成装置。
14. 請求項１２に記載の作成装置において、
    人物画像入力手段が、人物画像データを、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとの画素値をもった画素の集合として入力し、
    平均画素値演算手段が、三原色ＲＧＢまたは三原色ＣＭＹの各色成分ごとにそれぞれ平均画素値を求める演算を行い、
    唇領域抽出手段が、Ｌ^＊ａ^＊ｂ^＊三次元色空間を定義し、前記人物画像データを構成する推定領域内の各画素の画素値および前記平均画素値を、Ｌ^＊ａ^＊ｂ^＊三次元色空間上の画素値に変換し、Ｌ^＊ａ^＊ｂ^＊三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第１の処理と、ＹＩＱ三次元色空間を定義し、前記人物画像データを構成する推定領域内の各画素の画素値および前記平均画素値を、ＹＩＱ三次元色空間上の画素値に変換し、ＹＩＱ三次元色空間上において、標準点からの距離が所定範囲外となるような画素値をもつ画素を選出画素としてマスクデータを作成する第２の処理と、を実行し、前記第１の処理で作成されたマスクデータと前記第２の処理で作成されたマスクデータとの論理和によって得られるマスクデータを、求める唇領域マスクデータとすることを特徴とする人物の唇領域マスクデータの作成装置。
15. 請求項８〜１４のいずれかに記載の作成装置において、
    唇領域抽出手段が、抽出した選出画素の集合からなる閉領域が複数存在する場合に、これら複数の閉領域をディスプレイ画面上に表示し、オペレータの指示により選択された１つの閉領域に基づいて唇領域を示すマスクデータを作成することを特徴とする人物の唇領域マスクデータの作成装置。
16. 請求項８〜１４のいずれかに記載の作成装置において、
    唇領域抽出手段が、抽出した選出画素の集合からなる閉領域が複数存在する場合に、人物画像の顔の正中線から外れる閉領域を除外する除外処理を実行し、この除外処理後に残った閉領域に基づいて唇領域を示すマスクデータを作成することを特徴とする人物の唇領域マスクデータの作成装置。
17. 請求項１６に記載の作成装置において、
    唇領域抽出手段が、除外処理を行う際に、人物画像の右目領域の重心点と左目領域の重心点とを結ぶ両目基準線分もしくは右目領域の左目領域に対する最近接点と左目領域の右目領域に対する最近接点とを結ぶ両目基準線分についての垂直二等分線を正中線と定義し、複数の閉領域のそれぞれについてその重心点を求め、求めた重心点と前記正中線との距離が所定の許容範囲を超える閉領域を、正中線から外れる閉領域として除外することを特徴とする人物の唇領域マスクデータの作成装置。
18. 請求項１６または１７に記載の作成装置において、
    唇領域抽出手段が、除外処理後に複数の閉領域が残った場合に、残った閉領域の中から、唇領域の可能性の最も高い閉領域を１つだけ選択する択一処理を実行し、この択一処理により選択した閉領域に基づいて唇領域を示すマスクデータを作成することを特徴とする人物の唇領域マスクデータの作成装置。
19. 請求項１８に記載の作成装置において、
    唇領域抽出手段が、択一処理を行う際に、面積の最も大きな閉領域を１つだけ選択することを特徴とする人物の唇領域マスクデータの作成装置。
20. 請求項１８に記載の作成装置において、
    唇領域抽出手段が、択一処理の対象となる３つの閉領域が存在する場合、これら３つの閉領域の正中線方向への並び順を考慮し、中央に配置されている閉領域を１つだけ選択することを特徴とする人物の唇領域マスクデータの作成装置。
21. 請求項１８に記載の作成装置において、
    唇領域抽出手段が、択一処理を行う際に、複数の閉領域のそれぞれについてその重心点を求め、求めた重心点と推定領域の重心点との距離が最小となる閉領域を１つだけ選択することを特徴とする人物の唇領域マスクデータの作成装置。
22. 請求項１８に記載の作成装置において、
    唇領域抽出手段が、択一処理を行う際に、複数の閉領域のそれぞれについての平均画素値を求め、Ｌ^＊ａ^＊ｂ^＊三次元色空間上もしくはＹＩＱ三次元色空間上に、前記複数の閉領域についての平均画素値をそれぞれ比較点としてプロットするとともに、平均画素値演算手段によって演算された参照領域に関する平均画素値を標準点としてプロットし、ａ^＊ｂ^＊投影面上もしくはＩＱ投影面上に前記比較点および前記標準点を投影することにより、投影比較点および投影標準点を求め、前記投影標準点に対する距離が最も大きな投影比較点に対応する閉領域を１つだけ選択することを特徴とする人物の唇領域マスクデータの作成装置。
23. 請求項１８に記載の作成装置において、
    唇領域抽出手段が、標準的な唇の輪郭形状を示す標準パターンを記憶しており、択一処理を行う際に、複数の閉領域のそれぞれについて前記標準パターンに対する類似性を評価し、最も高い評価が得られた閉領域を１つだけ選択することを特徴とする人物の唇領域マスクデータの作成装置。
24. 請求項８〜２３のいずれかに記載の作成装置において、
    唇領域抽出手段が、空洞部を包含する閉領域について、当該空洞部を除去する処理を行うことを特徴とする人物の唇領域マスクデータの作成装置。
25. 請求項８〜２４のいずれかに記載の人物の唇領域マスクデータの作成装置としてコンピュータを機能させるためのプログラム。