JP5290585B2 - 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 - Google Patents

肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 Download PDF

Info

Publication number
JP5290585B2
JP5290585B2 JP2008008370A JP2008008370A JP5290585B2 JP 5290585 B2 JP5290585 B2 JP 5290585B2 JP 2008008370 A JP2008008370 A JP 2008008370A JP 2008008370 A JP2008008370 A JP 2008008370A JP 5290585 B2 JP5290585 B2 JP 5290585B2
Authority
JP
Japan
Prior art keywords
skin color
evaluation
color distribution
face
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008008370A
Other languages
English (en)
Other versions
JP2009169758A (ja
Inventor
拓伸 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to JP2008008370A priority Critical patent/JP5290585B2/ja
Priority to PCT/JP2009/050347 priority patent/WO2009090948A1/ja
Priority to US12/812,274 priority patent/US20100284610A1/en
Priority to KR1020107013924A priority patent/KR20100105627A/ko
Priority to EP09702552A priority patent/EP2234063A1/en
Priority to CN2009801023563A priority patent/CN101911118B/zh
Publication of JP2009169758A publication Critical patent/JP2009169758A/ja
Application granted granted Critical
Publication of JP5290585B2 publication Critical patent/JP5290585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Description

本発明は、肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体に係り、特に高精度に肌色を評価するための肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体に関する。
従来、顔の肌色を診断、評価する手法としては、例えば色彩計を用いて顔のある１〜数点を測色し、その結果を肌色データとして評価するという手法が用いられていた（例えば、非特許文献１，２参照。）。この手法の長所は、一定の部位に対して多くのデータを取得することで、例えばその部位の日本人女性の分布範囲や平均値を算出することができ、個人の肌色データをこれらの指標と比較することで評価することができる点にある。
ここで、図１は、従来手法における肌色評価の一例を示す図である。なお、図１の例では、縦軸に明度を示し、横軸に色相を示している。また、図１に示す例では、多数の測定結果から、例えば日本人女性のほお下の肌色の平均値１１と、日本人女性のほお下の肌色の９５％信頼楕円１２が示されており、ある被験者がほお下の肌色を測定し、その測定した結果が平均値１１や領域に対してどの位置に存在するか（例えば、９５％信頼楕円１２の外側か内側か等）を判断することにより、個人の肌色評価を行っている。また、同一人での化粧料の使用前後の肌色比較や他人との二者間での肌色の比較による評価も行われている。
しかしながら、「顔の中のわずか数点のデータでは、顔全体の肌色を代表できない」という問題や、顔全体の様々な部位を同時に取得して評価したいというニーズがある。そこで、最近では、デジタルカメラにより撮影した画像データにより肌色評価を行う手法が開発されている（例えば、非特許文献３，４参照。）。この手法の長所は、顔全体を数百万箇所に分け、それらの部位の肌色が把握できる点にある。
柴谷他、「皮膚色とメークアップ効果に関する研究（第１報）−皮膚色測定法の開発とベースメークアップ効果研究−」、粧技誌、Ｖｏｌ．１７、Ｎｏ．２、１９８３． Ｊ．Ｓｈｉｂａｔａｎｉ ｅｔ ａｌ．，「Ｍｅａｓｕｒｅｍｅｎｔｓ ｏｆ Ａｇｉｎｇ Ｅｆｆｅｃｔ ｏｆ Ｆａｃｉａｌ Ｃｏｌｏｒ Ｄｉｓｔｒｉｂｕｔｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ」，Ｊ．Ｓｏｃ．Ｃｏｓｍｅｔ．Ｃｈｅｍ．Ｊａｐａｎ．Ｖ１９、Ｎ１、１９８５． 渋江他、「女性顔面の肌色及び色ムラ評価の新しい試み−偏光画像解析システムの開発と色ムラ評価への応用−」、粧技誌、Ｖｏｌ．２６、Ｎｏ．２、１９９２． Ｌ．Ｃａｉｓｅｙ他、「異なった人種グループに属する女性の皮膚の色とメイクアップ戦略」、ＦＲＡＧＲＡＮＣＥ ＪＯＵＲＮＡＬ ２００７−４．
しかしながら、従来の手法に示すように、デジタルカメラで撮影された画像を用いる場合には、同じ（ｘ，ｙ）座標であっても人によって顔内の相対的な位置が異なり、また同一人であっても撮影毎に位置が異なってしまう場合がある。そのため、座標点同士で単純にデータの比較や差分を取っても高精度な評価を行うことができない。
また、有益な指標である肌色分布や平均値も算出が不可能であり、結果的に顔全体の平均値を算出したり、顔の一部分のデータのみを使用するといった活用に留まっている。更に、上述したように、容易に肌色の差分が取れないため、同一人の化粧料使用前後の比較、過去の同一箇所との比較、他人との二者間での肌色の比較をするためには２つの画像に誤差が生じるため、高精度な評価を行うことができない。
本発明は、上述した課題に鑑みてなされたものであって、高精度に肌色を評価するための肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体を提供することを目的とする。
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
請求項１に記載された発明は、入力された顔領域を含む画像から肌色を評価する肌色評価方法において、前記画像の顔領域全体に対して予め設定される少なくとも２５箇所からなる第１特徴点と、前記第１特徴点を用いて設定される第２特徴点とにより所定の領域に分割する分割ステップと、前記分割ステップにより分割された領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値を求め、求められた平均値による肌色分布を生成し、測定結果に基づく評価を行う肌色分布評価ステップと、前記測定結果又は評価結果を画面に表示する画面生成ステップとを有し、前記肌色分布評価ステップは、前記平均値により類似する領域毎に集約し、集約した領域の肌色分布に基づいて評価を行うことを特徴とする。
請求項１記載の発明によれば、所定の分割条件により分割したそれぞれの領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値による肌色分布を用いて肌色評価を行うため、高精度に肌色を評価することができる。また、予め設定された特徴に基づいて類似する領域毎に集約することで、肌色分布の評価を容易に行うことができる。
請求項２に記載された発明は、前記分割ステップは、前記少なくとも２５箇所を、顔全体画像における額、左右目付近、鼻、口、及び目より下のフェースライン毎に複数設定することを特徴とする。
請求項２記載の発明によれば、顔の部位により肌色が異なることがわかっているため、それを考慮して特徴点を設定することで、肌色の異なる領域の評価を高精度に行うことができる。
請求項３に記載された発明は、前記分割ステップは、前記第１特徴点及び前記第２特徴点から選択される３箇所以上の特徴点により囲まれる９３の領域に分割することを特徴とする。
請求項３記載の発明によれば、特徴点を選択して最適な領域を設定することで、肌色分布の正確な評価を行うことができる。
請求項４に記載された発明は、前記肌色分布評価ステップは、前記Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて、分割された各領域の平均値により作成した肌色分布について、予め用意される複数の顔画像をモーフィング処理により合成し、顔形状を平均化させた平均顔から分割した各領域毎の肌色分布と対応付けて評価を行うことを特徴とする。
請求項４記載の発明によれば、複数の顔形状をモーフィング処理により合成し、顔形状を平均化させた平均顔に基づいて、高精度に評価することができる。
請求項５に記載された発明は、前記肌色分布評価ステップは、比較用の肌色分布として、予め設定される理想的な肌色分布、過去の肌色分布、他人の肌色分布、複数の肌色分布の平均値、及び前記集約した領域の肌色分布のうち、少なくとも１つを生成して、対象となる個人データとの比較を行い、肌色分布の評価を行うことを特徴とする。
請求項５記載の発明によれば、あるカテゴリー（年齢別、職業別、性別）に属する人々の平均値データや、タレント等の理想的な人のデータ、個人の過去のデータ、他人のデータ等の二者間の差分値の取得が可能となるため、化粧品販売時のカウンセリング等に役立たせることができる。
請求項６に記載された発明は、入力された顔領域を含む画像から肌色を評価する肌色評価装置において、前記画像の顔領域全体に対して予め設定される少なくとも２５箇所からなる第１特徴点と、前記第１特徴点を用いて設定される第２特徴点とにより所定の領域に分割する分割手段と、前記分割手段により分割された領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値を求め、求められた平均値による肌色分布を生成し、測定結果に基づく評価を行う肌色分布評価手段と、前記測定結果又は評価結果を画面に表示するための画面生成手段とを有し、前記肌色分布評価手段は、前記平均値により類似する領域毎に集約し、集約した領域の肌色分布に基づいて評価を行うことを特徴とする。
請求項６記載の発明によれば、所定の分割条件により分割したそれぞれの領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値による肌色分布を用いて肌色評価を行うため、高精度に肌色を評価することができる。また、予め設定された特徴に基づいて類似する領域毎に集約することで、肌色分布の評価を容易に行うことができる。
請求項７に記載された発明は、前記分割手段は、前記少なくとも２５箇所を、顔全体画像における額、左右目付近、鼻、口、及び目より下のフェースライン毎に複数設定することを特徴とする。
請求項７記載の発明によれば、顔の部位により肌色が異なることがわかっているため、それを考慮して特徴点を設定することで、肌色の異なる領域の評価を高精度に行うことができる。
請求項８に記載された発明は、前記分割手段は、前記第１特徴点及び前記第２特徴点から選択される３箇所以上の特徴点により囲まれる９３の領域に分割することを特徴とする。
請求項８記載の発明によれば、特徴点を選択して最適な領域を設定することで、肌色分布の正確な評価を行うことができる。
請求項９に記載された発明は、前記肌色分布評価手段は、前記Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて、分割された各領域の平均値により作成した肌色分布について、予め用意される複数の顔画像をモーフィング処理により合成し、顔形状を平均化させた平均顔から分割した各領域毎の肌色分布と対応付けて評価を行うことを特徴とする。
請求項９記載の発明によれば、複数の顔形状をモーフィング処理により合成し、顔形状を平均化させた平均顔に基づいて、高精度に評価することができる。
請求項１０に記載された発明は、前記肌色分布評価手段は、比較用の肌色分布として、予め設定される理想的な肌色分布、過去の肌色分布、他人の肌色分布、複数の肌色分布の平均値、及び前記集約した領域の肌色分布のうち、少なくとも１つを生成して、対象となる個人データとの比較を行い、肌色分布の評価を行うことを特徴とする。
請求項１０記載の発明によれば、あるカテゴリー（年齢別、職業別、性別）に属する人々の平均値データや、タレント等の理想的な人のデータ、個人の過去のデータ、他人のデータ等の二者間の差分値の取得が可能となるため、化粧品販売時のカウンセリング等に役立たせることができる。
請求項１１に記載された発明は、請求項１乃至５の何れか１項に記載の肌色評価方法を実行させるようにコンピュータを動作させることを特徴とする肌色評価プログラムである。
請求項１１記載の発明によれば、所定の分割条件により分割したそれぞれの領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値による肌色分布を用いて肌色評価を行うため、高精度に肌色を評価することができる。また、予め設定された特徴に基づいて類似する領域毎に集約することで、肌色分布の評価を容易に行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における肌色分布評価を容易に実現することができる。
請求項１２に記載された発明は、請求項１１に記載の肌色評価プログラムが記録されたコンピュータ読み取り可能な記録媒体である。
請求項１２記載の発明によれば、記録媒体により他の複数のコンピュータに容易に評価プログラムをインストールすることができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における肌色分布評価を容易に実現することができる。
本発明によれば、高精度に肌色を評価することができる。
＜本発明の概要＞
本発明は、入力される顔画像を所定の手法により分割することで顔肌色分布が把握でき、また平均顔等の標準的な顔に、その色を置き換えることで、顔の形状を除外した色情報のみのわかりやすい表現を可能とする。また、あるカテゴリーに属する人々の平均値や二者間の差分値の取得が可能となる
以下に、本発明における肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体を好適に実施した形態について、図面を用いて説明する。
＜評価装置：機能構成例＞
本実施形態における肌色評価装置の機能構成の一例について図を用いて説明する。図２は、本実施形態における肌色評価装置の機能構成の一例を示す図である。図２に示す肌色評価装置２０は、入力手段２１と、出力手段２２と、蓄積手段２３と、顔分割手段２４と、肌色分布評価手段２５と、画面生成手段２６と、制御手段２７とを有するよう構成されている。
入力手段２１は、ユーザ等により入力される顔領域を含む画像（もしくは映像等）に対する顔分割指示や、肌色分布評価指示、画面生成指示の各種指示の開始や終了等の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。また、入力手段２１は、デジタルカメラ等の撮像手段等により撮影されたユーザ（例えば、被施術者等）の撮像部分を含む画像を入力する機能も有する。
また、出力手段２２は、入力手段２１により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段２２は、ディスプレイやスピーカ等からなる。更に、出力手段２２としてプリンタ等の機能を有していてもよく、その場合には、例えば入力画像や顔領域の分割結果、肌色分布評価結果等、画面生成手段２６により生成される各画面等を紙等の印刷媒体に印刷して、ユーザ等に提供することもできる。
また、蓄積手段２３は、顔分割手段２４による顔分割結果、肌色分布評価手段２５による肌色分布評価、画面生成手段２６における各種画面生成結果等の各種データを蓄積する。なお、蓄積手段２３は、各種画像や各処理結果等のデータが蓄積する際には、ファイル名や日時、撮影した人（被験者）の氏名や年齢（年代）、性別、人種等の個人識別情報等を付加して蓄積してもよい。また、蓄積手段２３は、必要に応じて蓄積されている各種データを読み出すことができる。
また、顔分割手段２４は、入力される画像に対して予め設定された手法により、所定の領域に分割を行う。具体的には、顔分割手段２４は、例えば顔全体に対して予め特徴点を設定し、設定した特徴点から少なくとも３点を選択して、選択された特徴点により囲まれる領域による分割手法等を用いることで、肌色分布の評価を行うための適切な領域で分割することができる。なお、本実施形態における顔の分割手法の詳細については後述する。
肌色分布評価手段２５は、顔分割手段２４により得られる分割結果に基づいて、分割された領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値による肌色分布を測定する。また、肌色分布評価手段２５は、測定結果に基づく肌色分布の評価を行う。
なお、上述のメラニン量及びヘモグロビン量は、例えば、舛田他、「新しいシミ計測法の開発」、粧技誌、Ｖｏｌ．３５、Ｎｏ．4、２００１に示されているように、予め設定されるメラニン量、ヘモグロビン量と三刺激値Ｘ、Ｙ、Ｚとの関係式を用いて算出される計測手法等により得ることができるが、この手法に限定されるものではない。
また、肌色分布評価手段２５は、測定結果に基づく肌色分布について、予め用意される複数の顔画像を、例えばコンピューターグラフィックス技術の１つであるモーフィング処理により合成し、顔形状を平均化させた平均顔から分割した各領域毎の肌色分布と対応付けて評価を行う。
また、肌色分布評価手段２５は、比較用の肌色分布として、予め蓄積された複数の画像データ、肌色分布データ等を用いて、例えば予め設定される理想的な肌色分布、過去の肌色分布、他人の肌色分布、複数の肌色分布の平均値、及び所定の領域毎に集約した領域の肌色分布のうち、少なくとも１つを生成し、生成した肌色分布を用いて、評価対象画像の取得データとの差分を取ることにより、肌色分布の比較、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量及びヘモグロビン量のうち、少なくとも１つを用いて平均値の類似する領域毎に集約（グループ化）し、集約後の領域の肌色分布（肌色分布プロファイル）に基づく評価等を行う。
なお、比較用の肌色分布としては、具体的には、例えば蓄積された各種データに付加されている個人識別情報等を用いて、年代別の平均顔肌色分布や人種別肌色分布等を生成する。
更に、肌色分布評価手段２５は、上述した肌色分布プロファイルと予め用意された比較用肌色分布プロファイルとを比較して評価を行うこともできる。
画面生成手段２６は、ユーザ等からの入力手段２１による入力指示に基づいて、顔分割手段２４から得られる画像データや、肌色分布評価手段２５により得られる評価結果等に基づいて、ユーザ（被験者）等に提示する画面を生成して、出力手段２２により表示出力する。なお、画面生成手段２６は、得られる画像や数値等のデータから、例えば所定の領域に着色したり、グラフや表等を生成することもできる。
また、制御手段２７は、評価装置２０の各構成部全体の制御を行う。具体的には、制御手段２７は、例えばユーザ等による入力手段２１からの指示等に基づいて、顔分割処理や肌色分布評価処理、画面生成処理等の各制御を行う。
＜肌色評価装置２０：ハードウェア構成＞
ここで、上述した肌色評価装置２０における各構成については、各機能をコンピュータに実行させることができる実行プログラム（評価プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における肌色評価処理等を実現することができる。
ここで、本実施形態における肌色評価処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図３は、本実施形態における肌色評価処理が実現可能なハードウェア構成の一例を示す図である。
図３におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
入力装置３１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置３１は、カメラ等の撮像手段から撮影された被験者の顔の一部又は全部を含む画像を入力する入力ユニットを有している。
出力装置３２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
なお、入力装置３１と出力装置３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し、必要に応じて入出力を行うことができる。
メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、肌色分布評価における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置３４から取得することができ、また実行結果等を格納することもできる。
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
上述したようなハードウェア構成により、本発明における肌色評価処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における肌色評価処理を容易に実現することができる。
＜肌色評価処理手順＞
次に、本実施形態における肌色評価処理手順について説明する。図４は、本実施形態における肌色評価処理手順の一例を示すフローチャートである。
図４に示す肌色評価処理は、まずカメラ等の撮像手段により撮影された顔を含む評価対象画像を入力し（Ｓ０１）、入力した顔画像を予め設定された分割手法により所定数に分割する（Ｓ０２）。なお、Ｓ０１により得られる画像は、例えば、全体が均一に照明された顔をデジタルカメラ等の撮影装置で撮影された画像を用いることができ、例えば「舛田他、画像解析を用いたしみ・そばかす定量化システムの開発、粧技誌、Ｖｏｌ．２８、Ｎｏ．２、１９９４．」等に示されている記載された撮影装置を用いて撮影された画像を用いることができる。
具体的には、顔画像を同一条件で取り込むための照明ボックスを使用し、照明ボックス内で顔面を均一に照明するために、照明ボックスの前面に複数のハロゲン電球を配置し、ＴＶカメラにより顔面を撮影し、撮影した顔画像を取得する。なお、本発明において用いられる画像ついては、特にこれに制限されるものではなく、例えば蛍光灯等の一般的な照明環境で撮影された画像を用いることもできる。
次に、所定の領域毎に分割した画像から肌色分布を生成し（Ｓ０３）、また予め蓄積されている各種データ等を用いて、例えば比較用肌色分布を生成する（Ｓ０４）。また、Ｓ０３の処理で得られた個人の肌色分布と、Ｓ０４の処理で得られた比較用肌色分布とを用いて肌色等を比較し（Ｓ０５）、肌色分布プロファイルによる評価を行う（Ｓ０６）。
また、Ｓ０６の処理により得られた評価結果からユーザ等に表示する画面等を生成し（Ｓ０７）、生成した画面（評価結果内容等）を出力する（Ｓ０８）。
ここで、肌色評価を継続するか否かを判断し（Ｓ０９）、肌色評価を継続する場合（Ｓ０９において、ＹＥＳ）、Ｓ０２の処理に戻り、例えば前回とは異なる分割手法による分割を行い、後述する処理を行う。Ｓ０９の処理において、肌色評価を継続しない場合（Ｓ０９において、ＮＯ）、処理を終了する。
これにより、顔の形状に関わらず高精度に肌色を評価することができる。具体的には、入力される顔画像を本発明における分割手法により所定数に分割することで、肌色分布が把握できる。また、画面生成の際には、例えば平均顔等の標準的な顔に測定した肌色を置き換えることで、顔の形状を除外した色情報のみのわかり易い表現が可能となる。
また、あるカテゴリー（年齢別、職業別、性別）に属する人々の平均値データや、タレント等の理想的な人のデータ、個人の過去のデータ、他人のデータ等の二者間の差分値の取得が可能となるため、化粧品販売時のカウンセリング等に役立たせることができる。
次に、上述した本実施形態における肌色評価処理の各主要部分の詳細について説明する。
＜顔分割手段２４：Ｓ０２＞
次に、上述した顔分割手段２４における顔分割手法について具体的に説明する。顔分割手段２４は、入力される顔を含むデジタル画像に対して所定の分割を行う。
図５は、本実施形態における特徴点と分割された領域の一例を示す図である。本実施形態では、一例として図５に示すように、顔全体を９３個の領域に分割し、分割した各領域の平均肌色を求め、９３個の肌色データにより顔肌色の分布を表現し、その分布等から肌色評価を行う。
これにより、従来手法の長所である一定の部位に対し、多くのデータを取得することで、例えばその部位の日本人女性（なお、外国人（他人種）でもよく、また男性でもよい。）の分布範囲や平均値を算出でき、その結果個人の肌色データをこれらの指標と比較することで評価することができる。また、例えば同一人物による化粧料の使用前後の肌色比較や他人との二者間での肌色の比較等も可能となる。
ここで、図５に示す分割手法は、一例として１０９個の特徴点を有している。また、図５に示す分割領域は、一例として３個又は４個の特徴点により構成された３角形又は４角形の形状を有する９３個の領域（例えば、図５において番号１〜９３で示された領域）である。
また、図６は、上述した図５に対応した１０９個の特徴点の顔内の位置関係の一例を示す図である。また、図７は、上述した図５に対応する各領域を構成する特徴点の組合せの一例を示す図である。なお、図６に示されている各特徴点の「Ｎｏ．」、「名称」、図７に示されている各領域の「領域Ｎｏ．」、「構成点」の名称は、上述した図５に示された内容に対応している。
ここで、分割内容を設定する際には、顔分割手段２４は、例えば図６に示す特徴点のうち、最初にＮｏ．１〜３７の特徴点（例えば、図５において「●」で示された点）を第１特徴点として設定する。なお、この３７個の特徴点は、例えば全顔領域のうち、額部分に５点、左右目付近に１０点、鼻に７点、口に９点、目より下のフェースラインに６点設けることが好ましい。
次に、顔分割手段２４は、上述した３７の特徴点（第１特徴点）を基準として、例えば図６に示すＮｏ．３８〜１０９の特徴点（例えば、図５において「△」で示された点）を第２特徴点として設定する。
例えば、図６に示すように、Ｎｏ．１〜３７の予め定義される特徴点１〜３７と、その特徴点のうち少なくとも２つの特徴点間を通る複数の直線の交点により求まる点３８〜４９と、２点間の線分を所定の比率で内分する点５０〜５７，６７〜１０９と、２つの特徴点間を通る直線上にあり、ある特定の点と同一の縦座標又は横座標を持つ点５８〜６６等により、合計１０９点が得られる。
また、第１及び第２特徴点（１０９点）のうち、図７に示すように少なくとも３個を構成点として囲まれる領域に分割する。なお、領域を構成する点の数は、図７に示すように３点又は４点でもよく、また５点以上でもよい。
ここで、図５に示す各領域（領域Ｎｏ．１〜９３）は、多くの肌色を観察した経験を元に生理学的に意味のある分割になるよう設定されている。つまり、図５に示すような設定を行うことにより、色むらが起こり易い部分は領域が狭くなるように分割し、そうでない部分は領域が広くなるように分割している。
具体的には、図５〜７に示す分割例において、例えば額の部分は分割される領域を広く設定し、目の回りや口元、頬等は領域を狭く設定している。このように、設定される分割領域は、肌色を評価する上で重要な部分（領域）について、その領域を狭く設定することで、より詳細に高精度な評価を行うことができる。
なお、分割領域は、その領域がそれぞれどのような肌色が出易いかを予め過去のデータ等により判断し、その色の度合い等を基準に集約（グループ分け）することができる。これにより、そのグループ毎に容易に評価することができる。
ここで、上述した図５〜７の例では、予め定義される特徴点を３７個（Ｎｏ．１〜３７）としているが、本発明においてはこれに限定されるものではなく、例えば少なくとも２５個の特徴点（第１特徴点）を設定することで、同様の分割を行うことができる。
図８は、他の第１特徴点設定の一例を示す図である。例えば、図８に示すように、第１特徴点として額部分に４〜５点（例えば、図８において「●」に示された４点）、左右目付近に８〜１０点（例えば、図８において「■」に示された８点）、鼻に５〜７点（例えば、図８において「◆」に示された５点）、口に４点〜９点（例えば、図８において「▼」で示された４点）、目より下のフェースラインに４〜６点（例えば、図８において「＋」で示された４点）となるように、少なくとも２５個の第１特徴点を設定し、第１特徴点に基づいて第２特徴点を設定することで、上述した図５〜７に示す特徴点を用いた場合と同様の領域の分割を実現することができる。
＜顔の分割と顔肌色分布図の生成＞
次に、分割した顔について顔肌色分布の生成について具体的に説明する。なお、本実施形態として、顔全体を均一に照明する照明装置とデジタルカメラを用いた撮影装置は、例えば、「舛田他、画像解析を用いたしみ・そばかす定量化システムの開発、粧技誌、Ｖ２８、Ｎ２、１９９４．」等を用いて取得した顔画像に対して肌色分布図を生成する例について説明するが、本発明において用いられる撮影されたデジタル画像の撮影方法については、特にこれに制限されるものではない。
ここで、図９は、撮影により得られる画像に対する顔分割の流れを説明するための一例の図である。なお、図９では、上述した従来の撮影装置を用いて撮影した３０代女性モデルＡの画像である。
なお、図９（ａ）に示すように、所定の位置にセットされた被験者を撮影し、上述したように顔分割手段２４により例えば３７個の第１特徴点を指定することで、合計１０９個の特徴点を算出することができる。
また、顔分割手段２４は、１０９個の特徴点から上述した図７に示すような設定により９３個の領域に分割する。このとき、各領域の平均色で領域内を塗りつぶした結果が図９（ｂ）に示す画像である。なお、この肌色分布は、領域毎に領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値により生成される。なお、この場合には、例えば、Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系、及び色相Ｈ，明度V，彩度Cの３要素を採用して画像を生成する。
図９（ｂ）において、全領域の外部及び領域内でも肌色ではない部分は評価対象外となるため、例えば肌色から大きく離れたシアン色等のある特定の色で着色されている。更に、図９（ｂ），（ｃ）では、皮膚の細かい情報が消えて顔肌色の分布が把握し易くなっており、例えば図９で利用されているモデルＡの「目まわりの肌色が濃い」という特徴がわかる。
なお、本実施形態における肌色評価装置２０において、撮影された顔の周辺部は照明の均一性が低いことがあるため、肌色分布評価手段２５は、周辺部のデータを除外することができる。具体的には、肌色分布評価手段２５は、分割される合計９３個の領域のうち、図９（ｂ），（ｃ）に示すように所定の枠４１を設定し、その枠４１内にある所定数の領域（図９においては６１個）を有効データとして、その有効データを用いて評価処理を行う。
また、同様の手法で「平均顔」を領域に分割し、得られたモデルＡの９３個の肌色により各領域を着色すると、例えば図９（ｃ）に示すように、モデルの顔形状情報を除外した純粋な色情報を把握することができる。
上述した処理を行うことで、分割した領域を基準に評価することができるため、人物の顔形状情報が除外でき、顔形状が異なる人同士の肌色分布の比較を容易に行うことができる。したがって、この特徴を活かして、例えばモデルＡの顔肌色分布を同年代の平均値と比較を行って評価することもできる。
なお、上述した図９（ｂ），（ｃ）は画像生成手段２６により生成される。また、生成された画像は、出力手段２２によりユーザ等に表示してもよく、蓄積手段２３に蓄積されてもよい。
＜比較用の顔肌色分布の生成例：Ｓ０４＞
次に、肌色分布評価手段２５における比較用の顔肌色分布の生成例について説明する。図１０は、比較用の顔肌色分布の一例を示す図である。なお、図１に示す例では、年代別肌色分布の一例を示している。また、図１０（ａ）〜（ｅ）は、それぞれ２０代〜６０代の各年代別の色分布結果を示している。
図１０に示すように、年代毎の平均肌色分布として、まず蓄積手段２３から対応する年代の人物が撮影されている顔画像を領域分解し、その後、例えばＬ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値による肌色分布を求め、年代毎に平均値を算出することで平均肌色分布を求める。
なお、図１０に示すように、求めた２０代から６０代までの各年代日本人女性の平均肌色分布のデータを用いて平均顔の各領域を着色する。なお、この着色した画像は、画面生成手段２６により生成され、出力手段２２により出力したり、蓄積手段２３に蓄積される。このように、直色して表示することで、図１０に示すような年代毎の平均肌色分布を生成することができ、このデータと比較することで、評価対象画像の高精度な肌色評価を行うことができる。
＜肌色分布の比較＞
次に、肌色分布の比較例について具体的に説明する。本実施形態では、肌色分布評価手段２５により、差分を取ることによる肌色分布の比較を行う。例えば、上述した図９に示すモデルＡ（３０代）を図１０（ｂ）における３０代平均肌色分布と比較すると、モデルＡの方が顔の上部の色が濃いことがわかる。
ここで、図１１は、差分を取ることによる肌色分布の比較例を説明するための図である。図１１に示す例では、各領域の色彩値から求めたメラニン量に関して、平均顔とモデルＡの顔の両者の差分を取り、枠４１内においてモデルＡの方がメラニン量の多い部分を斜線で示している。
図１１に示すように、モデルＡの顔の上半分は、同年代の平均よりメラニン量が多いということがわかる。なお、比較する対象は、肌色分布の平均値だけでなく理想とする顔肌色分布でもよい。
上述した本実施形態により、顔画像を所定の各領域に分割することで顔肌色分布が把握でき、また平均顔等の標準的な顔にその色を置き換えることで、顔の形状を除外した色情報のみのわかり易い表現が可能となる。あるカテゴリー（年齢別、職業別、性別）に属する人々の平均値データや、タレント等の理想的な人のデータ、個人の過去のデータ、他人のデータ等の二者間の差分値の取得が可能となるため、化粧品販売時のカウンセリング等に役立たせることができる。
＜肌色分布の集約（グルーピング）と肌色分布プロファイル生成例＞
ここで、本実施形態において、肌色分布評価手段２５は、肌色の領域において、色の傾向が類似する領域を、過去のデータ等を主成分分析し、主成分を求めることで集約（グループ分け）することができる。これにより、そのグループ毎に容易に評価することができる。
図１２は、グループ分けされた領域の一例を示す図である。また、図１３は、図１２に対応する各グループの色の特徴と、各グループを構成する領域番号の一例を示す図である。なお、図１２，図１３に示す領域を構成する特徴点は、上述した図５〜７に対応している。
図１２，図１３に示す例では、部位（１）ほお下、（２）ほお正面、（３）まぶた・くま部位、（４）額、（５）鼻まわり、（６）口まわりがグループ分けされている。また、色の特徴として、「（１）ほお下」は高明度であり、「（２）ほお正面」は赤みよりでやや高明度であり、「（３）まぶた・くま部位」は黄みよりでやや低明度であり、「（４）額」は黄みよりでやや高明度であり、「（５）鼻まわり」は赤みよりでやや低明度であり、「（６）口まわり」は赤みよりで低明度である。
ここで、一例として２０〜６７歳の５９名における唇の４領域を除いた有効５７個の領域について色相Ｈの主成分分析を実施した結果、６個の主成分で５７個のデータの９０．１％が説明可能であるとわかった。
そこで、本実施形態では、上述した主成分を基に５７個の領域を上述した（１）ほお下、（２）ほお正面、（３）まぶた・くま部位、（４）額、（５）鼻まわり、（６）口まわりの６種に分類する。また、その主成分得点のバランス（肌色プロファイル）で肌色分布を評価することもできる。
図１４は、肌色分布の評価結果の一例を示す図である。図１４に示す例では、レーダーチャートとして上述した（１）〜（６）の主成分に対する主成分得点を示している。なお、線５１は、一例として３０代女性の主成分得点の平均値を示し、線５２は、上述したモデルＡにおける主成分得点を示している。
なお、図１４の例では、一例として、まずモデルＡの唇の４領域を除いた５７個の領域のメラニン量から６種の主成分に対する主成分得点（図１４において「○」で示され点）を求め、顔肌色プロファイルを生成する。また、同様にして、３０代の平均値からなる６種の主成分得点（図１４において「△」で示された点）を求め、３０代の平均プロファイルを生成する。これらの結果が図１４に示されており、この結果により「モデルＡは額や目まわりのメラニン量が同年代平均より多い」と一目で個人の肌色分布の特徴がわかり、肌色の高精度な評価を実現することができる。なお、上述した図１４においては、６種の主成分の全てを示さなくてもよく、少なくとも１種を用いて評価結果を示してもよい。
これにより、僅か６個の情報で評価することができ、一目で肌色分布の特徴が把握できるようなわかり易い指標をユーザ等に提供することができる。なお、上述した図１４においては、６種の主成分の全てを示さなくてもよく、少なくとも１種を用いて評価結果を示してもよい。
つまり、上述した図４に示す肌色評価処理手順では、Ｓ０５の処理において、Ｓ０３の処理で得られた個人の肌色分布とＳ０４の処理で得られた比較用肌色分布とを用いて肌色等を比較したが、本発明においてはこれに限定されるものではなく、例えば図１２〜図１４等に示されるように、測定結果から肌色分布プロファイルを生成し、生成した肌色分布プロファイルを予め蓄積された比較用肌色分布プロファイルと対応させて評価することもできる。
なお、図１２〜１４に示すように生成された画像や値等は、出力手段２２によりユーザ等に表示してもよく、蓄積手段２３に蓄積されてもよい。
＜従来手法と本手法との比較＞
次に、従来手法と本手法との比較について説明する。図１５は、グループの差による色相Ｈ、明度Ｖを説明するための一例を示す図であり、図１６は、図１５に対応する色相Ｈと、明度Ｖとのヒストグラムの一例を示す図である。なお、図１６（ａ）は、色相Ｈのヒストグラムを示し、図１６（ｂ）は、明度Ｖのヒストグラムを示している。また、図１６（ａ）は、横軸に色相Ｈの範囲を示し、縦軸に頻度（％）を示している。また、図１６（ｂ）は、横軸に明度Ｖの範囲を示し、縦軸に頻度（％）を示している。
本発明は、デジタルカメラによる肌色評価を行っており、ある一点のデータを取得する色彩計を用いた先行手法（非特許文献１及び２）と比較して、被験者の顔を詳細に分割して評価することができ、必要に応じて更に細分化することも容易である。
また、例えば顔の中で色彩的に同じ傾向にある類似する領域をグループ化する場合も、主成分分析という統計的手法を用いているため精度が高く、その結果、例えば非特許文献１では首を除いた顔の領域を４つのグループに分けているが、本発明では統計的解析により６つに分けられることがわかり、その分け方も従来手法とは異なっている。
また、肌色プロファイルの表示法についても、非特許文献２では色相と明度の平面にその実測値を表示しているが、本発明では、例えば図１４に示すように１つの色彩値に対するレーダーチャートを採用し、個人の値と比較対象となる平均値等の値を表示する。
また同様に、デジタルカメラを用いて顔の肌色の不均一性を評価した先行研究（非特許文献３及び非特許文献４）もあるが、その手法はある範囲の全画素の明度Ｌ＊や黄みの強さｂ＊の標準偏差を求める、または、頬と顎のＬ＊の差分を取るといった手法であり、顔全体の肌色の分布を解析するには至っていない。
具体的には、非特許文献１において、額中央部（○１）、（○２）は、ゾーンＡ（ｄａｒｋ ａｎｄ ｒｅｄｄｉｓｈ：暗く赤み）に分類されている。一方、同じ額でも、左額（○３）は、ゾーンＣ（ｄａｒｋ ａｎｄ ｙｅｌｌｏｗｉｓｈ：暗く黄み）に分類され，左目の上（○４）及び左目の下（○５）と同じ分類となっている。
ここで、本発明を用いて、額中央部（本発明では領域Ｎｏ．１３，１８に対応）、左額（領域Ｎｏ．１４，１９）、左目の上及び左目の下（領域Ｎｏ．２６，２８，３７）の色彩特性を調べると図１５に示すようになる。
つまり、図１５に示すように、色相Ｈに関しては、３領域（額中央部、左額、左目の上及び下）の平均値に殆ど差がなく、また図１６（ａ）に示すヒストグラムを見ても同様の傾向があり、特に２つに分類する根拠は得られない。
一方、明度Ｖでは、額中央部と左額が近く、左目の上及び左目の下は明度が低いため、額中央部と左額は同じ分類とし、左目の上及び下はこれらとは別の分類にすべきであることがわかる。これは、図１６（ｂ）に示すヒストグラムからも同様のことがいえる。
したがって、本発明では、上述の事実に基づき額中央部（○１）（○２）に該当する領域Ｎｏ．１３，１８と左額（○３）に該当する領域Ｎｏ．１４，１９を同じ分類である「（４）額」とし、左目の上（○４）、左目の下（○５）に該当するＮｏ．２６，２８，３７は、それとは異なる「（２）まぶた・くま部位」としている。
このように、本発明における顔分割手法によるグルーピングを用いることで、より高精度に肌色評価を行うことができる。
上述したように本発明によれば、顔の形状に関わらず高精度に肌色を評価することができる。具体的には、入力される顔画像を所定の領域に分割することで肌色分布を把握することができ、また平均顔等の標準的な顔にその色を置き換えることで、顔の形状を除外した色情報のみのわかり易い表現を可能とする。また、あるカテゴリーに属する人々の平均値や二者間の差分値の取得が可能となる。
なお、上述した本実施形態では、肌色評価の対象を顔にして説明したが、本発明においてはこれに限定されるものではなく、腕や手の他の部位であってもよい。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
従来手法における肌色評価の一例を示す図である。 本実施形態における肌色評価装置の機能構成の一例を示す図である。 本実施形態における肌色評価処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態における肌色評価処理手順の一例を示すフローチャートである。 本実施形態における特徴点と分割された領域の一例を示す図である。 上述した図５に対応した１０９個の特徴点の顔内の位置関係の一例を示す図である。 上述した図５に対応する各領域を構成する特徴点の組合せの一例を示す図である。 他の第１特徴点設定の一例を示す図である。 撮影により得られる画像に対する顔分割の流れを説明するための一例の図である。 比較用の肌色分布の一例を示す図である。 差分を取ることによる肌色分布の比較例を説明するための図である。 グループ分けされた領域の一例を示す図である。 図１２に対応する各グループの主成分毎の色の特徴と、各グループを構成する領域番号の一例を示す図である。 肌色分布の評価結果の一例を示す図である。 グループの差による色相Ｈ、明度Ｖを説明するための一例を示す図である。 図１５に対応する色相Ｈと、明度Ｖとのヒストグラムの一例を示す図である。
符号の説明
１１ 平均値
１２ ９５％信頼楕円
２０ 肌色評価装置
２１ 入力手段
２２ 出力手段
２３ 蓄積手段
２４ 顔分割手段
２５ 肌色分布評価手段
２６ 画面生成手段
２７ 制御手段
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ装置
３６ ＣＰＵ
３７ ネットワーク接続装置
３８ 記録媒体
４１ 枠
５１，５２ 線

Claims (12)

  1. 入力された顔領域を含む画像から肌色を評価する肌色評価方法において、
    前記画像の顔領域全体に対して予め設定される少なくとも２５箇所からなる第１特徴点と、前記第１特徴点を用いて設定される第２特徴点とにより所定の領域に分割する分割ステップと、
    前記分割ステップにより分割された領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値を求め、求められた平均値による肌色分布を生成し、測定結果に基づく評価を行う肌色分布評価ステップと、
    前記測定結果又は評価結果を画面に表示する画面生成ステップとを有し、
    前記肌色分布評価ステップは、前記平均値により類似する領域毎に集約し、集約した領域の肌色分布に基づいて評価を行うことを特徴とする肌色評価方法。
  2. 前記分割ステップは、
    前記少なくとも２５箇所を、顔全体画像における額、左右目付近、鼻、口、及び目より下のフェースライン毎に複数設定することを特徴とする請求項１に記載の肌色評価方法。
  3. 前記分割ステップは、
    前記第１特徴点及び前記第２特徴点から選択される３箇所以上の特徴点により囲まれる９３の領域に分割することを特徴とする請求項１又は２に記載の肌色評価方法。
  4. 前記肌色分布評価ステップは、
    前記Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて、分割された各領域の平均値により作成した肌色分布について、予め用意される複数の顔画像をモーフィング処理により合成し、顔形状を平均化させた平均顔から分割した各領域毎の肌色分布と対応付けて評価を行うことを特徴とする請求項１乃至３の何れか１項に記載の肌色評価方法。
  5. 前記肌色分布評価ステップは、
    比較用の肌色分布として、予め設定される理想的な肌色分布、過去の肌色分布、他人の肌色分布、複数の肌色分布の平均値、及び前記集約した領域の肌色分布のうち、少なくとも１つを生成して、対象となる個人データとの比較を行い、肌色分布の評価を行うことを特徴とする請求項１乃至４の何れか１項に記載の肌色評価方法。
  6. 入力された顔領域を含む画像から肌色を評価する肌色評価装置において、
    前記画像の顔領域全体に対して予め設定される少なくとも２５箇所からなる第１特徴点と、前記第１特徴点を用いて設定される第２特徴点とにより所定の領域に分割する分割手段と、
    前記分割手段により分割された領域毎に、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて平均値を求め、求められた平均値による肌色分布を生成し、測定結果に基づく評価を行う肌色分布評価手段と、
    前記測定結果又は評価結果を画面に表示するための画面生成手段とを有し、
    前記肌色分布評価手段は、前記平均値により類似する領域毎に集約し、集約した領域の肌色分布に基づいて評価を行うことを特徴とする肌色評価装置。
  7. 前記分割手段は、
    前記少なくとも２５箇所を、顔全体画像における額、左右目付近、鼻、口、及び目より下のフェースライン毎に複数設定することを特徴とする請求項６に記載の肌色評価装置。
  8. 前記分割手段は、
    前記第１特徴点及び前記第２特徴点から選択される３箇所以上の特徴点により囲まれる９３の領域に分割することを特徴とする請求項６又は７に記載の肌色評価装置。
  9. 前記肌色分布評価手段は、
    前記Ｌ＊ａ＊ｂ＊表色系におけるＬ＊，ａ＊，ｂ＊、Ｃａｂ ＊、ｈａｂ、ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚ、ＲＧＢの各値、色相Ｈ、明度Ｖ、彩度Ｃ、メラニン量、及びヘモグロビン量のうち、少なくとも１つを用いて、分割された各領域の平均値により作成した肌色分布について、予め用意される複数の顔画像をモーフィング処理により合成し、顔形状を平均化させた平均顔から分割した各領域毎の肌色分布と対応付けて評価を行うことを特徴とする請求項６乃至８の何れか１項に記載の肌色評価装置。
  10. 前記肌色分布評価手段は、
    比較用の肌色分布として、予め設定される理想的な肌色分布、過去の肌色分布、他人の肌色分布、複数の肌色分布の平均値、及び前記集約した領域の肌色分布のうち、少なくとも１つを生成して、対象となる個人データとの比較を行い、肌色分布の評価を行うことを特徴とする請求項６乃至９の何れか１項に記載の肌色評価装置。
  11. 請求項１乃至５の何れか１項に記載の肌色評価方法を実行させるようにコンピュータを動作させることを特徴とする肌色評価プログラム。
  12. 請求項１１に記載の肌色評価プログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2008008370A 2008-01-17 2008-01-17 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 Active JP5290585B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008008370A JP5290585B2 (ja) 2008-01-17 2008-01-17 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体
PCT/JP2009/050347 WO2009090948A1 (ja) 2008-01-17 2009-01-14 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体
US12/812,274 US20100284610A1 (en) 2008-01-17 2009-01-14 Skin color evaluation method, skin color evaluation apparatus, skin color evaluation program, and recording medium with the program recorded thereon
KR1020107013924A KR20100105627A (ko) 2008-01-17 2009-01-14 피부색 평가방법, 피부색 평가장치 및 피부색 평가프로그램이 기록된 기록매체
EP09702552A EP2234063A1 (en) 2008-01-17 2009-01-14 Skin color evaluation method, skin color evaluation apparatus, skin color evaluation program, and recording medium with the program recorded thereon
CN2009801023563A CN101911118B (zh) 2008-01-17 2009-01-14 肤色评价方法、肤色评价装置、肤色评价程序、以及存储了该程序的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008008370A JP5290585B2 (ja) 2008-01-17 2008-01-17 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体

Publications (2)

Publication Number Publication Date
JP2009169758A JP2009169758A (ja) 2009-07-30
JP5290585B2 true JP5290585B2 (ja) 2013-09-18

Family

ID=40885337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008008370A Active JP5290585B2 (ja) 2008-01-17 2008-01-17 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体

Country Status (6)

Country Link
US (1) US20100284610A1 (ja)
EP (1) EP2234063A1 (ja)
JP (1) JP5290585B2 (ja)
KR (1) KR20100105627A (ja)
CN (1) CN101911118B (ja)
WO (1) WO2009090948A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893968B2 (ja) * 2008-06-05 2012-03-07 花王株式会社 顔画像の合成方法
US8319857B2 (en) * 2009-02-26 2012-11-27 Access Business Group International Llc Apparatus and method for correcting digital color photographs
JP5405994B2 (ja) * 2009-12-03 2014-02-05 花王株式会社 画像処理装置、画像処理方法、画像処理システム、肌評価方法
JP5650012B2 (ja) * 2011-02-25 2015-01-07 花王株式会社 顔画像処理方法、美容カウンセリング方法および顔画像処理装置
JP4831259B1 (ja) * 2011-03-10 2011-12-07 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
US9668653B2 (en) 2012-03-15 2017-06-06 Access Business Group International Llc, A Michigan Limited Liability Company Quantification of under-eye skin color
JP2013212177A (ja) * 2012-03-30 2013-10-17 Shiseido Co Ltd 画像解析方法、画像解析装置、及び画像解析プログラム
CN103152476B (zh) * 2013-01-31 2015-01-28 广东欧珀移动通信有限公司 检测皮肤状态的手机及其使用方法
US9542595B2 (en) * 2013-03-25 2017-01-10 Brightex Bio-Photonics Llc Systems and methods for recommending cosmetic products for users with mobile devices
FR3004536B1 (fr) * 2013-04-15 2016-04-15 Oreal Dispositif d'evaluation d'un produit a l'application
US10667744B2 (en) 2013-06-28 2020-06-02 Panasonic Intellectual Property Corporation Of America Skin function evaluation device and skin evaluation method
US20150030243A1 (en) * 2013-07-24 2015-01-29 Di Qu Chart for evaluating skin color and its application to efficacy evaluation of anti-aging and skin lightening products
CN104732200B (zh) * 2015-01-28 2018-04-03 广州远信网络科技发展有限公司 一种皮肤类型和皮肤问题的识别方法
JP6566240B2 (ja) * 2015-04-16 2019-08-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018079255A1 (ja) * 2016-10-24 2018-05-03 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN106570909B (zh) * 2016-11-02 2020-01-17 华为技术有限公司 一种肤色检测方法、装置及终端
CN106846421A (zh) * 2017-02-14 2017-06-13 深圳可思美科技有限公司 一种肤色检测方法及装置
CN106952313A (zh) * 2017-03-21 2017-07-14 北京工商大学 基于HSI和Lab混合颜色模型的皮肤肤色评价方法
JP6677221B2 (ja) * 2017-06-06 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN109300164A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 皮肤基底色调判断方法与电子装置
WO2019037014A1 (zh) * 2017-08-24 2019-02-28 华为技术有限公司 一种图像检测的方法、装置及终端
CN107633443A (zh) * 2017-08-29 2018-01-26 昆山市那美信息科技有限公司 一种智能全景展示的评价贴标系统
KR102631708B1 (ko) * 2018-06-19 2024-01-31 삼성전자주식회사 항산화 지수 측정 장치 및 방법
JP2020012668A (ja) * 2018-07-13 2020-01-23 株式会社リコー 評価装置、計測装置、評価方法および評価プログラム
KR102653079B1 (ko) 2019-04-23 2024-04-01 더 프록터 앤드 갬블 캄파니 미용 피부 속성을 측정하기 위한 장치 및 방법
CN113767439A (zh) 2019-04-23 2021-12-07 宝洁公司 用于将美容皮肤属性可视化的设备和方法
US11341759B2 (en) * 2020-03-31 2022-05-24 Capital One Services, Llc Image classification using color profiles
CN111539932B (zh) * 2020-04-22 2023-03-14 四川省肿瘤医院 一种血色素测量仪及测量方法
CN111831193A (zh) * 2020-07-27 2020-10-27 北京思特奇信息技术股份有限公司 自动换肤方法、装置、电子设备及存储介质
CN113139930B (zh) * 2021-03-17 2022-07-15 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585177B2 (ja) * 1993-03-26 1997-02-26 株式会社エイ・ティ・アール通信システム研究所 物体形状表示装置
DE69636695T2 (de) * 1995-02-02 2007-03-01 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsvorrichtung
JP3577154B2 (ja) * 1995-02-02 2004-10-13 松下電器産業株式会社 画像処理装置
JP3426052B2 (ja) * 1995-05-23 2003-07-14 ポーラ化成工業株式会社 肌の評価装置
FR2749077B1 (fr) * 1996-05-23 1999-08-06 Oreal Procede et dispositif de mesure de la couleur
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7233693B2 (en) * 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
KR101158156B1 (ko) * 2004-10-22 2012-06-19 가부시키가이샤 시세이도 피부상태 진단시스템 및 미용을 위한 카운셀러 시스템
ES2432515T3 (es) * 2005-04-28 2013-12-04 Shiseido Company, Limited Método de análisis del estado de la piel, aparato de análisis del estado de la piel y medio legible por ordenador que almacena un programa de análisis del estado de la piel
WO2007083600A1 (ja) * 2006-01-17 2007-07-26 Shiseido Company, Ltd. メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
US8401300B2 (en) * 2009-12-14 2013-03-19 Conopco, Inc. Targeted image transformation of skin attribute

Also Published As

Publication number Publication date
WO2009090948A1 (ja) 2009-07-23
CN101911118B (zh) 2013-06-12
EP2234063A1 (en) 2010-09-29
JP2009169758A (ja) 2009-07-30
US20100284610A1 (en) 2010-11-11
KR20100105627A (ko) 2010-09-29
CN101911118A (zh) 2010-12-08

Similar Documents

Publication Publication Date Title
JP5290585B2 (ja) 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体
TWI585711B (zh) 獲得保養信息的方法、分享保養信息的方法及其電子裝置
TWI514291B (zh) 年齡估計方法
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
US8591414B2 (en) Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program
JP5261586B2 (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP6026655B2 (ja) 透明感評価装置、透明感評価装置の作動方法、透明感評価方法および透明感評価プログラム
TWI669660B (zh) 斑點評估裝置、斑點評估方法及程式
JP2009064423A (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
CN102782727B (zh) 用于使用谱图像数据来生成3d rgb模型的皮肤治疗分析的系统
JP2022529677A (ja) 美容的皮膚特性を視覚化するための装置及び方法
CN108024719B (zh) 肌肤的光泽评价装置、光泽评价方法及记录介质
TWI452998B (zh) System and method for establishing and analyzing skin parameters using digital image multi-area analysis
Bernardis et al. Quantifying alopecia areata via texture analysis to automate the salt score computation
JP2009082338A (ja) エントロピーを用いた肌の鑑別方法
JP2013212177A (ja) 画像解析方法、画像解析装置、及び画像解析プログラム
Imai et al. Facial cues to age perception using three-dimensional analysis
Flament et al. Developing an Artificial Intelligence (AI)‐based descriptor of facial appearance that fits with the assessments of makeup experts
JP2014093043A (ja) 顔画像分析装置及び顔画像分析方法
JP2004102359A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7234086B2 (ja) 生体情報取得装置およびプログラム
JP2017192767A (ja) 画像解析方法、画像解析装置、及び画像解析プログラム
TW201331857A (zh) 皮脂量的推定方法
WO2023060720A1 (zh) 情绪状态展示方法、装置及系统
Lienhard et al. Photo rating of facial pictures based on image segmentation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130606

R150 Certificate of patent or registration of utility model

Ref document number: 5290585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250