以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
本発明の実施の形態1は、本発明の基本的態様の一例である。
図1は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
図1において、メイクアップ支援装置100は、画像取得部220、顔部品取得部230、顔用メイク選択部250、肌状態取得部260、肌補正用メイク選択部280、およびメイク提示部290を有する。
画像取得部220は、顔を撮影した画像を取得する。
顔部品取得部230は、撮影された画像から、顔の顔部品の領域を取得する。
顔用メイク選択部250は、顔部品毎に、顔用メイクを選択する。ここで、顔用メイクとは、顔用メイクアップの仕方(種類)である。
肌状態取得部260は、顔の肌状態を取得する。
肌補正用メイク選択部280は、取得された肌状態に基づいて、肌補正用メイク/スキンケアを選択する。すなわち、肌補正用メイク選択部280は、肌補正用メイクおよびスキンケアの少なくとも一方について、肌状態に基づいた選択を行う。ここで、肌補正用メイクとは、肌補正用メイクアップの仕方(種類)である。また、スキンケアとは、基礎化粧の仕方(種類)である。
メイク提示部290は、ユーザに対して、選択された顔用メイクを対応する顔部品の領域に対応付けて提示すると共に、選択された肌補正用メイク/スキンケアを提示する。
メイクアップ支援装置100は、図示しないが、例えば、CPU(Central Processing Unit)、制御プログラムを格納したROM(Read Only Memory)等の記憶媒体、およびRAM(Random Access Memory)等の作業用メモリを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。
このようなメイクアップ支援装置100は、ユーザに対して、顔用メイクを対応する領域に対応付けて提示するだけでなく、肌状態に基づいて選択された肌補正用メイク/スキンケアを提示することができる。すなわち、メイクアップ支援装置100は、適切な肌補正用メイク/スキンケアを、適切な顔用メイクのシミュレーション画像と併せて提示することができる。したがって、メイクアップ支援装置100は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。
(実施の形態2)
本発明の実施の形態2は、本発明の具体的態様の一例であり、本発明を、デジタルビデオカメラとタッチパネル付きディスプレイとを同一面側に備えた装置に適用した例である。
<用語の説明>
まず、本実施の形態において用いられる用語について説明する。
「顔部品」とは、目、眉、鼻、頬(ほお)骨、唇、輪郭等、部分的な肌の状態以外で顔の印象を特徴付ける部分を指すものとする。
「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。
「顔部品特徴量」とは、顔の特徴を示す所定のパラメータの値である。ここでは、顔の幅に対する顔の長さの比、両目の間の間隔に対する鼻の長さの比、および、顔の幅に対する目の幅の比等の、複数の値から成る多変量データであるものとする。
「分割顔領域」とは、顔の顔領域を分割した領域を指すものとする。
「肌状態」とは、しみ(班)の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも1つを含むものとする。
「肌状態特徴量」とは、肌状態の特徴を示す所定のパラメータの値である。ここでは、目の隈の状態の強度、および、しみの状態の強度等の、複数の値から成る多変量データであるものとする。ここで、強度とは、例えば、顔領域の肌の色の平均値との差分の大きさである。なお、肌状態特徴量は、顔における相対位置に関する値を含んでもよい。
「要肌補正領域」とは、肌状態が肌補正用メイクを適用すべき所定のレベルに達している分割顔領域であるものとする。
「顔用メイク」とは、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方(種類)を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。
「肌補正用メイク」は、肌の状態を部分的に補正して審美性の向上を図るメイクアップの仕方(種類)を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。
「スキンケア」は、肌の状態を整えるための基礎化粧の仕方(種類)を示し、基礎化粧品の種類、1回当たりの塗布量、塗布範囲、塗布頻度、塗布する時間帯、塗布の仕方等を含むものとする。
<メイクアップ支援装置の構成>
次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
図2は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。メイクアップ支援装置は、例えば、カメラ付きタッチパネル端末である。
図2において、メイクアップ支援装置100は、撮影部210、画像取得部220、顔部品取得部230、顔用メイクテーブル格納部240、顔用メイク選択部250、肌状態取得部260、肌補正用メイクテーブル格納部270、肌補正用メイク選択部280、メイク提示部290、および表示部300を有する。
撮影部210は、例えば上述のデジタルビデオカメラであり、メイクアップ支援装置100のユーザの顔の映像を撮影する。そして、撮影部210は、撮影した映像を、画像取得部220へ出力する。映像は、時系列の複数の画像(フレーム画像)により構成される。
画像取得部220は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部220は、取得した画像を、顔部品取得部230、肌状態取得部260、およびメイク提示部290へ出力する。
顔部品取得部230は、入力された画像から、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる(例えば、特許文献2参照)。そして、顔部品取得部230は、取得した顔部品の識別情報および領域を示す情報(以下「顔部品情報」という)を、顔用メイク選択部250へ出力する。
顔用メイクテーブル格納部240は、顔用メイクテーブルを格納している。顔用メイクテーブルは、画像から取得され得る顔部品特徴量と、その顔部品特徴量を有する顔に適切な顔用メイクとを、予め対応付けて登録したテーブルである。顔用メイクテーブルは、例えば、メイクアップ支援装置100に備えられた通信回路(図示せず)を介して、インターネット上のサーバから定期的に更新される。
本実施の形態では、予め、過去にメイクアップ技術者によって顔用メイクが行われた不特定多数の顔の顔用特徴量のサンプルに対して、主成分分析が行われているものとする。そして、主成分分析結果は、主成分値が1σ以上であるか否か等を判定基準とする公知の主成分層別法により、予めグルーピングされているものとする。そして、顔用メイクテーブルには、顔用特徴量のグループ毎に、そのグループにする顔に対して過去に行われた顔用メイクが、登録されているものとする。
また、顔用メイクテーブルには、顔用メイク毎に、その顔用メイクを適用するのに必要な肌用化粧品に関する情報(以下「化粧品情報」という)が、更に登録されているものとする。
顔用メイク選択部250は、顔の顔部品特徴量を取得し、顔用メイクテーブルを参照して、顔部品毎に、顔用メイクを選択する。なお、顔用メイク選択部250は、顔部品特徴量を、顔部品取得部230から入力された顔部品情報から取得してもよいし、画像取得部220が取得した画像を解析することにより画像から取得してもよい。そして、顔用メイク選択部250は、選択した顔用メイクを示す情報(以下「顔用メイク情報」という)を、メイク提示部290へ出力する。
なお、上述の通り、顔用メイクテーブルには、顔用特徴量のグループ毎に、顔用メイクが登録されている。したがって、顔用メイク選択部250は、顔から取得された顔部品特徴量が、顔用メイクテーブルに登録されたグループのいずれに属するかを判定し、判定されたグループに対応する顔用メイクを選択する。この判定は、例えば、取得された顔部品特徴量と各グループの代表値(セントロイド)との距離を算出することにより行われる。
また、顔用メイク選択部250は、顔用メイクテーブルから、取得した顔用メイクの化粧品情報を取得する。そして、顔用メイク選択部250は、取得した化粧品情報を、顔用メイクと対応付けて、メイク提示部290へ出力する。
肌状態取得部260は、顔の分割顔領域毎に、肌状態を取得する。肌状態の取得は、例えば、顔部品取得部230が取得した顔部品の領域に基づいて、画像から肌領域を取得し、取得した肌領域の画像を解析することにより行われる(例えば、特許文献3参照)。肌状態取得部260は、取得した各分割顔領域の肌状態を数値化し、得られた数値を上記所定のレベルを示す値と比較することにより、要肌補正領域を検出する。そして、肌状態取得部260は、検出した要肌補正領域およびその肌状態を示す情報(以下「肌状態情報」という)を、肌補正用メイク選択部280へ出力する。
肌補正用メイクテーブル格納部270は、肌補正用メイクテーブルを格納している。肌補正用メイクテーブルは、画像から取得され得る肌状態特徴量と、その肌状態特徴量を有する肌部分に適切な肌補正用メイクとを予め対応付けて登録したテーブルである。肌補正用メイクテーブルは、例えば、メイクアップ支援装置100に備えられた通信回路(図示せず)を介して、インターネット上のサーバから定期的に更新される。
本実施の形態では、予め、過去にメイクアップ技術者によって肌補正用メイクが行われた不特定多数の肌部分から得られた肌状態特徴量のサンプルに対して、最近隣法あるいは最遠隣法等による公知のクラスタ分析が行われているものとする。そして、肌状態特徴量のサンプルは、クラスタ分析結果により、グルーピングされて登録されているものとする。そして、肌補正用メイクテーブルには、肌状態特徴量のグループ毎に、そのグループにする肌部分に対して過去に行われた肌補正用メイクが、登録されているものとする。
また、肌補正用メイクテーブルには、肌補正用メイク毎に、その肌補正用メイクを適用するのに必要な肌用化粧品の化粧品情報が、更に登録されているものとする。
肌補正用メイク選択部280は、分割顔領域のうち要肌補正領域を対象として、その肌状態特徴量を取得する。そして、肌補正用メイク選択部280は、肌補正用メイクテーブルを参照して、要肌補正領域毎に、肌補正用メイクを選択する。なお、肌補正用メイク選択部280は、肌状態特徴量を、肌状態取得部260から入力された肌状態情報から取得してもよいし、画像取得部220が取得した画像を解析することにより画像から取得してもよい。そして、肌補正用メイク選択部280は、選択した肌補正用メイクを示す情報(以下「肌補正用メイク情報」という)を、メイク提示部290へ出力する。
なお、上述の通り、肌補正用メイクテーブルには、肌状態特徴量のグループ毎に、肌補正用メイクが登録されている。したがって、肌補正用メイク選択部280は、分割顔領域から取得された肌状態特徴量が、グループ肌補正用メイクテーブルに登録されたグループのうちいずれに属するかを判定し、判定されたグループに対応する肌補正用メイクを、選択する。この判定は、例えば、取得された肌状態特徴量と各グループの代表値(セントロイド)との距離を算出することにより行われる。
また、肌補正用メイク選択部280は、肌補正用メイクテーブルから、取得した肌補正用メイクの化粧品情報を取得する。そして、肌補正用メイク選択部280は、取得した化粧品情報を、肌補正用メイクと対応付けて、メイク提示部290へ出力する。
メイク提示部290は、選択された顔用メイクおよび肌補正用メイクを、対応する顔部品の領域および分割顔領域に対応付けてユーザに提示する。より具体的には、メイク提示部290は、入力された画像、顔用メイク情報、および肌補正用メイク情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部300に出力する。ここで、シミュレーション画像は、入力(撮影)された画像に、顔に対して選択された顔用メイクおよび肌補正用メイクを適用したときの画像を、重畳して得られる画像である。
なお、画像の重畳は、例えば、アルファ(α)ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値(α)は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式(1)〜(3)で表される。ここで、r1、g1、b1は、撮影された画像の任意の領域のRGB値であり、r2、g2、b2は、メイクの画像の対応する領域のRGB値である。そして、R、G、Bは、シミュレーション画像の対応する領域のRGB値である。
R = r1×α+r2×(1−α) ・・・(1)
G = g1×α+g2×(1−α) ・・・(2)
B = b1×α+b2×(1−α) ・・・(3)
また、メイクのそれぞれに、顔に重ねて塗布する場合の順序(以下「塗布順序」という)が設定されており、かつ、メイクを適用したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。
また、メイク提示部290は、画像取得部220から取得した映像を構成する画像毎に、順次、一旦選択された顔用メイクおよび肌補正用メイクを用いて、シミュレーション画像を生成して表示部300に出力する(表示させる)。すなわち、メイク提示部290は、1つの映像に対して、一旦選択されたメイクを維持して提示する。
また、メイク提示部290は、選択された顔用メイクおよび肌補正用メイクを適用するのに必要な肌用化粧品に関する情報(化粧品情報)を、更に提示する。より具体的には、メイク提示部290は、上記シミュレーション画像に、入力された化粧品情報を示す画像あるいはテキストを、重畳あるいは追加する。
表示部300は、例えば、タッチパネル付きディスプレイのディスプレイ部分であり、メイクアップ支援装置100のユーザに対して、入力されたシミュレーション画像および化粧品情報を表示(提示)する。
なお、メイクアップ支援装置100は、図示しないが、例えば、CPU、制御プログラムを格納したROM等の記憶媒体、およびRAM等の作業用メモリを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。
以上のような構成により、メイクアップ支援装置100は、顔用メイクを対応する領域に対応付けて提示することに加え、肌状態に基づいて選択された肌補正用メイクを、当該メイクが必要な領域に対応付けてユーザに提示することができる。
すなわち、メイクアップ支援装置100は、適切な肌補正用メイクを含めたメイクのシミュレーション画像を提示することができる。したがって、メイクアップ支援装置100は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。
<テーブルの構成>
次に、顔用メイクテーブルおよび肌補正用メイクテーブルの例について説明する。
顔用メイクテーブルは、例えば、顔用メイクIDテーブル、顔用メイクテーブル、および顔用化粧品テーブルから構成される。
図3は、顔用メイクIDテーブルの一例を示す図である。
図3に示すように、顔用メイクIDテーブル410は、例えば、顔部品特徴量のグループ411毎に、顔用メイクID412を記述している。ここで、「顔用メイクID」とは、1つの顔に対して一度に行われる1つまたは複数の顔用メイクのパターンを識別する情報である。
例えば、「FG1」という顔部品特徴量のグループ411には、「FM1」という顔部品メイクIDが対応付けられている。したがって、顔用メイク選択部250は、顔から取得された顔部品特徴量が、「FG1」という顔部品特徴量のグループ411に属する場合、「FM1」という顔部品メイクID412を取得する。
図4は、顔用メイクテーブルの一例を示す図である。
図4に示すように、顔用メイクテーブル420は、例えば、顔部品メイクID421毎に、対応するメイク種別422を記述している。顔部品メイクID421は、顔用メイクIDテーブル410の顔用メイクID412と対応している。メイク種別422は、ここでは簡略化して図示しているが、具体的には、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。
そして、顔用メイクテーブル420は、顔部品メイクID421とメイク種別422との組み合わせ毎に、色423、濃度424、範囲425、および化粧品ID426を記述している。色423は、ここでは簡略化して図示しているが、具体的には、RGB値および光沢度等である。濃度424は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲425は、ここでは簡略化して図示しているが、具体的には、特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。すなわち、色423、濃度424、および範囲425の組は、少なくとも画像化に必要な情報を含む。
なお、顔用メイクテーブル420は、肌用化粧品の塗りパターンを更に記述してもよい。肌用化粧品の塗りパターンとは、例えば、アイシャドウの場合、アイホールか、アイラインか、目の下か等、顔部品に対する相対的な範囲を示す情報である。
例えば、「FM1」というメイクID421には、「T1」〜「T4」というメイク種別422が対応付けられている。また、例えば、「FM1」というメイクID421と「T1」というメイク種別422との組み合わせに対しては、「C1」という色423、「D1」という濃度、「A1」という範囲、および「I1」という化粧品ID426が、対応付けられている。したがって、顔用メイク選択部250は、取得された顔用メイクID421(412)が「FM1」である場合、「T1」というメイク種別422に対応して、「C1、D1、A1」を、顔用メイク情報として取得する。
また、顔用メイク選択部250は、取得された顔用メイクID412(421)が「FM1」である場合、「I1」という化粧品ID426を取得する。
更に、顔用メイク選択部250は、同様に、「T2」〜「T4」というメイク種別422に対応する顔用メイク情報および化粧品ID426を取得する。
図5は、顔用化粧品テーブルの一例を示す図である。
図5に示すように、顔用化粧品テーブル430は、化粧品ID431毎に、会社ID432および品番433を記述している。化粧品ID431は、顔用メイクテーブル420の化粧品ID426に対応している。会社ID432は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番433は、肌用化粧品の品番である。
例えば、「I1」という化粧品ID431には、「B1」という会社ID432および「b11」という品番433が対応付けられている。したがって、顔用メイク選択部250は、取得された化粧品ID431(426)が「I1」である場合、「B1」という会社ID432および「b11」という品番433を、顔用メイクの化粧品情報として取得する。
なお、図3〜図5に示す顔用メイクIDテーブル410、顔用メイクテーブル420、および顔用化粧品テーブル430は、1つのテーブルに統合されていてもよい。
肌補正用メイクテーブルは、例えば、肌補正用メイクIDテーブル、肌補正用メイクテーブル、および肌補正用化粧品テーブルから構成される。
図6は、肌補正用メイクIDテーブルの一例を示す図である。
図6に示すように、肌補正用メイクIDテーブル460は、例えば、肌状態特徴量のグループ461毎に、肌補正用メイクID462を記述している。ここで、「肌補正用メイクID」とは、1つの分割顔領域に対して一度に行われる1つまたは複数の肌補正用メイクのパターンを識別する情報である。
例えば、「SG2」という肌状態特徴量のグループ461には、「SM2」という肌補正用メイクID462が対応付けられている。したがって、肌補正用メイク選択部250は、分割顔領域から取得された肌状態特徴量が、「SG2」という肌状態特徴量のグループ461に属する場合、「SM2」という肌補正用メイクID462を取得する。
図7は、肌補正用メイクテーブルの一例を示す図である。
図7に示すように、肌補正用メイクテーブル470は、例えば、肌補正用メイクID471毎に、対応するメイク種別472を記述している。肌補正用メイクID471は、肌補正用メイクIDテーブル460の肌補正用メイクID462と対応している。そして、肌補正用メイクテーブル470は肌補正用メイクID471とメイク種別472との組み合わせ毎に、色473、濃度474、範囲475、および化粧品ID476を記述している。
例えば、「SM2」というメイクID471には、「T6」というメイク種別472が対応付けられている。また、例えば、「SM2」というメイクID471と「T6」というメイク種別472との組み合わせに対しては、「C4」という色473、「D3」という濃度、「A5」という範囲、および「I5」という化粧品ID476が、対応付けられている。したがって、肌補正用メイク選択部250は、取得された肌補正用メイクID471(462)が「SM2」である場合、「T6」というメイク種別472に対応して、「C4、D3、A5」を、肌補正用メイク情報として取得する。
また、肌補正用メイク選択部250は、取得された肌補正用メイクID462(471)が「SM2」である場合、「I5」という化粧品ID476を取得する。
図8は、肌補正用化粧品テーブルの一例を示す図である。
図8に示すように、肌補正用化粧品テーブル480は、化粧品ID481毎に、会社ID482および品番483を記述している。化粧品ID481は、肌補正用メイクテーブル470の化粧品ID476に対応している。
例えば、「I5」という化粧品ID481には、「B3」という会社ID482および「b32」という品番483が対応付けられている。したがって、肌補正用メイク選択部250は、取得された化粧品ID481(476)が「I5」である場合、「B3」という会社ID482および「b32」という品番483を、肌補正用メイクの化粧品情報として取得する。
なお、図6〜図8に示す肌補正用メイクIDテーブル460、肌補正用メイクテーブル470、および肌補正用化粧品テーブル480は、1つのテーブルに統合されていてもよい。
また、図5に示す顔用化粧品テーブル430および図8に示す肌補正用化粧品テーブル480は、1つのテーブルに統合されていてもよい。
また、顔用メイクと肌補正用メイクとの間では、ファンデーション等、同一の化粧品が用いられ得る。更に、アイシャドウによって目元の傷痕を隠し得る場合等、顔用メイクと肌補正用メイクとの間では、メイクそのものが同一と成り得る。
<メイクアップ支援装置の動作>
次に、メイクアップ支援装置100の動作について説明する。
図9は、メイクアップ支援装置100の動作の一例を示すフローチャートである。
まず、ステップS1100において、撮影部210は、ユーザの顔を撮影し、画像取得部220は、撮影された映像を構成する画像を取得する。
図10は、図9のステップS1100において取得される、画像の一例を示す図である。
図10に示すように、画像510は、ユーザの顔の画像(以下「顔画像」という)511を含む。ユーザは、メイクアップをしていない状態であり、図10に示すように、例えば、両目の下に隈512、513を有し、額にしみ514を有しているものとする。
そして、図9のステップS1200において、顔部品取得部230は、画像510から、顔部品を取得する。この際、顔部品取得部230は、例えば、画像510を解析することにより、画像510から顔の(顔部品の)特徴点を抽出する。そして、顔部品取得部230は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部230は、取得した顔部品の領域から、顔部品情報を生成する。
図11は、図9のステップS1200において抽出される、顔の特徴点の配置の一例を示す図である。
図11に示すように、顔画像511からは、複数の特徴点(記号「●」で示す)が抽出される。例えば、第1〜第4の特徴点521〜524は、右目を構成する。したがって、顔部品取得部230は、第1〜第4の特徴点521〜524により囲まれる領域525を、右目の領域として取得する。
図12は、図9のステップS1200において生成される、顔部品情報の一例を示す図である。
図12に示すように、顔部品情報530は、例えば、顔部品ID531毎に、領域532および人ID533を記述している。顔部品ID531は、左目、上唇等の、顔部品の識別情報である。領域532は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ID533は、人の識別情報である。人ID533は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
そして、図9のステップS1300において、顔用メイク選択部250は、顔部品特徴量を取得し、顔用メイクを選択する。顔部品特徴量は、上述の通り、顔の特徴を示す所定のパラメータについての多変量データである。顔用メイク選択部250は、例えば、画像510(図10参照)から、顔の特徴点群(図11参照)から、もしくは、顔部品情報(図12参照)から、顔部品特徴量を取得する。そして、顔用メイク選択部250は、取得した顔部品特徴量に対応する顔用メイク情報および化粧品情報を、顔用メイクテーブル(図3〜図5参照)から取得する。
そして、ステップS1400において、肌状態取得部260は、分割顔領域毎に、肌状態を取得する。この際、肌状態取得部260は、例えば、顔部品取得部230が抽出した顔の特徴点(図11参照)を結ぶ線により、顔の領域を多数の分割顔領域に分割する。そして、肌状態取得部260は、分割顔領域毎に、画像を解析して、要肌補正領域であるか否かを判断する。
要肌補正用メイク領域であるか否かの条件は、例えば、顔領域の肌の色の平均値との差分を示す値が所定の閾値よりも高い部分を有し、かつ、顔面積に対する当該部分の面積の比が所定の閾値以上であることである。
そして、肌状態取得部260は、要肌補正領域毎に、肌状態情報を生成する。なお、肌状態取得部260は、連続する要肌補正領域を、1つの要肌補正領域として扱ってもよい。
図13は、図9のステップS1400において生成される、肌状態情報の一例を示す図である。
図13に示すように、肌状態情報540は、例えば、領域ID541毎に、領域542、色差分543、面積比544、および人ID545を記述している。
領域ID541は、要肌補正領域の識別情報である。領域542は、画像における要肌補正領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。色差分543は、例えば、色が顔領域の肌の色と大きく異なる部分の、顔領域の肌の色の平均値との差分であり、ここでは簡略化して図示しているが、具体的には、RGB値およびHSV値等である。面積比544は、ここでは簡略化して図示しているが、具体的には、色が顔領域の肌の色と大きく異なる部分の面積の、顔面積に対する比等である。人ID545は、人の識別情報であり、顔部品情報530の人ID533(図12参照)に対応している。
そして、図9のステップS1500において、肌補正用メイク選択部280は、肌状態特徴量を取得し、肌補正用メイクを選択する。肌状態特徴量は、上述の通り、肌状態の特徴を示す所定のパラメータについての多変量データである。肌補正用メイク選択部280は、例えば、肌状態情報(図13参照)から、肌状態特徴量を取得する。そして、肌補正用メイク選択部280は、取得した肌状態特徴量に対応する肌補正用メイク情報および化粧品情報を、肌補正用メイクテーブル(図6〜図8参照)から取得する。
そして、ステップS1600において、メイク提示部290は、顔用メイク情報および肌補正用メイク情報に基づいて、シミュレーション画像を生成し、表示部300に表示させる。この際、メイク提示部290は、化粧品情報についても、表示部300に表示させる。
図14は、図9のステップS1600において生成される、シミュレーション画像の一例を示す図である。
図14に示すように、シミュレーション画像550は、顔画像511に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、顔用メイクの画像551〜555を重畳した画像となっている。
更に、図14に示すように、シミュレーション画像550は、顔画像511に、しみ用のコンシーラおよび隈用のコンシーラといった、肌補正用メイクの画像556、557を重畳した画像となっている。この結果、元の画像511に映し出されていた隈512、513やしみ514(図10参照)が隠れた状態となっている。
すなわち、シミュレーション画像550は、適切な肌補正用メイクと、適切な顔用メイクとの両方が仮想的に適用された状態を、表示する。
また、シミュレーション画像550には、化粧品情報を示す情報表示エリア558が追加されている。すなわち、シミュレーション画像550には、選択された顔用メイクおよび肌補正用メイクを適用するのに必要な肌用化粧品の化粧品情報も、表示される。ユーザは、表示されているシミュレーション画像550が示すメイクを気に入った場合、表示された化粧品情報に基づいて、必要な肌用化粧品を入手することができ、実際のメイクアップを容易に行うことができる。
そして、ステップS1700において、画像取得部220は、映像の入力が継続しているか否かを判断する。画像取得部220は、映像の入力が継続している場合(S1700:YES)、ステップS1100へ戻り、次の画像に処理を移す。また画像取得部220は、映像の入力が終了した場合(S1700:NO)、一連の処理を終了する。
以上のような動作により、メイクアップ支援装置100は、映像に追従して、顔用メイクおよび肌補正用メイクの両方を、対応する領域に対応付けて、ユーザに提示することができる。したがって、ユーザは、顔の向きや表情を変化させながら、メイクアップの効果を確認することができ、あたかも実際にメイクアップを行った状態を鏡に映して見ているかのような体験をすることができる。
<本実施の形態の効果>
以上のように、本実施の形態に係るメイクアップ支援装置100は、顔用メイクを対応する領域に対応付けて提示するだけでなく、肌状態に基づいた肌補正用メイクを、当該メイクが必要な領域に対応付けて提示することができる。これにより、メイクアップ支援装置100は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。
<スキンケアの提示>
なお、上述の実施の形態では、メイクアップ自体のみに着目したメイクアップの支援について説明したが、メイクアップの効果は、顔の肌のスキンケアの状態に依存する場合が多い。スキンケアとは、ここでは、肌状態の改善を目的として行う行動を指し、例えば、肌状態を改善させるために肌に施す手入れの仕方、および、体内から肌状態を改善させる(インナービューティを向上させる)行動を含む。前者としては、例えば、化粧水の塗布、マッサージ等が挙げられる。後者としては、例えば、サプリメントの摂取、自然食品摂取、ヨガ等の運動等が挙げられる。
したがって、メイクアップ支援装置100は、肌補正用メイク選択部280において、肌状態に基づいて、顔毎に、スキンケアを更に選択し、メイク提示部290において、この選択されたスキンケアを、顔に対応付けて更に提示してもよい。ただし、この場合は、顔全体の肌状態を総合的に解析して、適切なスキンケアを選択する必要がある。すなわち、スキンケア選択のための肌状態情報は、上述の、肌補正用メイク選択のための肌状態情報とは、異なる場合がある。
また、メイクアップ支援装置100は、顔部品あるいは分割顔領域毎に、スキンケアの選択および提示を行ってもよい。この場合、メイクアップ支援装置100は、対応する領域に対応付けて、スキンケアの提示を行うことが望ましい。
また、メイクアップ支援装置100は、例えばスチーマー、美顔器などのスキンケア機器と接続され、メイク提示部290において、上記スキンケア機器の使用方法等の機器情報を、ユーザに提示してもよい。この場合、メイク提示部290は、例えば、接続された機器と通信を行い、当該機器から機器情報を取得してもよいし、当該機器から識別情報のみ取得してインターネットから対応する機器情報を取得してもよい。なお、メイク提示部290は、上記スキンケア機器の使用方法を、ユーザの肌状態に基づいて、ユーザ毎に異なった内容で提示してもよい。
図15は、肌状態取得部260がスキンケア選択のために取得すべき、肌状態情報の一例を示す図である。
図15に示すように、スキンケア選択用の肌状態情報560は、例えば、肌項目561毎に、色562、位置563、形状564、個数565、面積566、伝導度567、および反射率568を記述している。
肌項目561は、しみ、くすみ等、スキンケアが必要とされる肌状態の種別を示す。色562は、例えば、RGB値あるいはHSV値である。これは、絶対値でもよいし、上述の通り、顔全体の肌色の平均値に対する差分であってもよい。
位置563は、画像における肌項目561に該当する領域の範囲を示す情報であり、画像上に設定された座標系の座標値リストである。なお、かかる座標系は、上述の顔の特徴点からの相対座標値のリストであってもよい。
形状は、肌項目561に該当する領域の範囲の形状を示す情報であり、例えば、半径(長軸径および短軸径)、長さ、枝分かれの本数、あるいは深さ等である。
個数565は、例えば、肌項目561に該当する個々の領域の数(本数)である。
面積566は、例えば、肌項目561に該当する領域の面積[mm2]、あるいは、かかる領域の指定範囲(例えば顔領域)に対する面積比[%]である。
伝導度567は、例えば、インピーダンス[Ω]あるいは肌からの蒸散量[mg/sec]である。
反射率568は、例えば、光の反射率[%]である。
肌補正用メイク選択部280は、例えば、顔全体の肌状態の特徴量を、スキンケア選択用の肌状態情報560から取得する。また、メイクアップ支援装置100は、例えば、スキンケア選択用の肌状態情報560の成分として、取得され得る顔全体の肌状態の特徴量とスキンケアとを予め対応付けて登録したテーブルを、格納している。そして、肌補正用メイク選択部280は、かかるテーブルを参照して、取得した特徴量に対応するスキンケアを取得し、当該スキンケアを示す情報を、メイク提示部290へ出力する。メイク提示部290は、例えば、かかるスキンケアを示す情報を、シミュレーション画像と一緒に、または別に、表示部300に表示させる。
このように、メイクアップ支援装置100は、適切なスキンケアをユーザに更に提示することにより、スキンケアの段階からメイクアップを総合的に支援することができる。
なお、メイクアップ支援装置100は、肌補正用メイクあるいはスキンケアを提示する際に、検出した肌状態を示す情報を併せて提示してもよい。この場合、メイクアップ支援装置100は、肌状態を示す情報を、肌状態の良し悪しを直感的に把握することが可能な数値により、提示することが望ましい。
例えば、メイクアップ支援装置100は、人の平均的な肌状態を50、非常に悪い肌状態を0、非常に良い肌状態を100に設定し、検出可能な各肌状態を0−100の範囲内で割り振る。そして、メイクアップ支援装置100は、この割り振りにおいて肌状態に対応する値を、肌状態を示す値の範囲が0−100であることと併せて、ユーザに提示する。これにより、ユーザは、提示された値が50から上下どちらの方向にどの程度離れているかに応じて、自己のスキンケアの良し悪しを直感的に把握することができる。
<メイクの選択肢>
また、本実施の形態に係るメイクアップ支援装置100は、顔部品特徴量および肌状態特徴量から1つのメイクを選択したが、これに限定されない。例えば、メイクアップ支援装置100は、複数のメイクを選択肢として提示し、選択されたメイクを、メイク提示部290による提示の対象としてもよい。
この場合、例えば、メイクアップ支援装置100は、顔用メイク選択部250において、複数の顔用メイクを選択し、選択した複数の顔用メイクの識別情報を、表示部300に表示させる。そして、メイクアップ支援装置100は、タッチパネル付きディスプレイに対する操作等を介してユーザにより選択された顔用メイクの顔用メイク情報を、顔用メイク選択部250からメイク提示部290へと出力される。
特に、顔用メイクテーブルでは、顔部品特徴量の各グループに複数の顔用メイクが対応付けられており、それら複数の顔用メイクに市場での人気順等の優先度が設定されているとする。この場合、メイクアップ支援装置100は、顔用メイク選択部250において、例えば、優先度が1位から3位までの顔用メイクを、選択肢として提示する。これにより、ユーザは、流行に合った顔用メイクを選択することができる。
また、この場合、メイクアップ支援装置100は、任意のタイミングで、提示の対象となるメイクの切り替えを、ユーザから受け付けることが望ましい。これにより、ユーザは、複数のメイクの中から、適切かつユーザの好みに合ったメイクを、迅速に判断することができる。
<他のメイクの選択手法>
また、メイクアップ支援装置100は、顔部品特徴量および肌状態特徴量以外のパラメータに基づいて、提示の対象となるメイクを選択してもよい。例えば、メイクアップ支援装置100は、インターネット上の不特定多数のユーザの評価等、外部での評価が高いメイクを、優先的に選択してもよい。
また、メイクアップ支援装置100は、人の属性を考慮して、メイクを選択してもよい。例えば、メイクアップ支援装置100は、過去にメイクアップ技術者によって施されたメイクアップのメイクの中から、ユーザと年齢層や居住地域が一致する人に対して適用されたメイクを、優先的に選択する。この場合、顔用メイクテーブルおよび肌補正用メイクテーブルに登録されるメイク、および、撮影される画像に対して、人ID、職業、年齢等の、人の属性に関する情報が設定される必要がある。これにより、人の属性に応じて適切なメイクが異なる場合に、より適切なメイクを優先的に提示することが可能となる。
<化粧品情報の応用>
また、メイクアップ支援装置100は、表示する化粧品情報に、肌用化粧品を購入することができるウェブサイトへのリンク情報を対応付けておいてもよい。この場合、メイクアップ支援装置100は、ユーザがメイクに対する決定操作を行ったとき、インターネットを介して、対応するウェブサイトを表示させることが可能となり、メイクアップを更に効果的に支援することができる。また、化粧品会社に対しては、化粧品の販売を促進させることができる。
<他の提示内容>
また、メイクアップ支援装置100は、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置100は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置100は、ユーザに対して、適切なメイクアップの順序を提示することができる。
また、メイクアップ支援装置100は、選択したメイクの領域との対応付け、および、選択したメイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約4cmの範囲に、B1社の品番b55のチークを、濃い目に塗布して下さい。」、「両目の下の幅1cmの範囲に、B2社の品番78のコンシーラを、薄目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでもメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。
<他の提示手法>
また、メイクアップ支援装置100は、シミュレーション画像以外の手法で、顔用メイクおよび肌補正用メイクの提示を行ってもよい。
例えば、メイクアップ支援装置100は、肌用化粧品の化粧剤を所定の薄膜(紙状媒体)に転写するプリンタに接続される。かかる薄膜は、転写された化粧剤を剥離容易に担持する。このため、薄膜上の化粧剤は、肌に押し付けられことにより、肌に容易に転写されるようになっている。
そして、メイクアップ支援装置100は、メイク提示部290において、撮影された顔の実空間における領域と同じ形状および面積を薄膜に設定し、顔用メイクおよび肌補正用メイクを対応する領域に転写するように、プリンタに指示する。なお、薄膜は、平面状であっても、立体状であってもよい。
これにより、メイクアップ支援装置100は、顔用メイクおよび肌補正用メイクを、薄膜上で、それぞれに対応する領域に対応付けて、ユーザに提示することができる。
ユーザは、この薄膜に印刷された左右の目尻を示す点を、ユーザの左右の目尻に合わせた状態で、薄膜の全体を顔に押し付けることにより、シミュレーション画像に基づいて選択したメイクを実際に行うことができる。すなわち、ユーザは、顔部品毎に化粧剤を塗るといった作業を行うことなく、簡単かつ迅速に、所望のメイクを行うことができる。
<その他の構成の変形例>
また、顔用メイクテーブルおよび肌補正用メイクテーブルは、必ずしもメイクアップ支援装置100に格納されていなくてもよい。例えば、メイクアップ支援装置100がネットワークに接続可能である場合、メイクアップ支援装置100は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、顔用メイクおよび肌補正用メイクを選択すればよい。
また、メイクアップ支援装置100は、例えば、図2に示す機能部のうち、撮影部210および表示部300のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
また、肌状態取得部260は、画像からではなく、肌に接触させて肌状態を検出するセンサ機器のセンサ情報、肌には接触させずに肌情報を取得する非接触方式のセンサ機器のセンサ情報(例えば肌表面の温度情報等)から、肌情報を取得してもよい。また、肌情報取得部260は、ユーザがタッチパネル付きディスプレイに対する等の操作により入力した情報から、肌状態を取得してもよい。
また、肌状態取得部260は、紫外線光を顔に当てたときの画像等、シミュレーション画像に用いる画像とは別の画像から、肌状態情報を取得してもよい。
また、肌状態取得部260は、外光を検出し、画像から、外光の影響を軽減した状態で、顔部品特徴量や肌状態特徴量の取得を行うようにしてもよい。
また、メイクの具体的内容は、上述の例に限定されない。例えば、提示の対象となる顔用メイクには、マスカラ、リップグロス等が含まれる。また、提示の対象となる肌補正用メイクには、ハイライト等が含まれる。
本開示のメイクアップ支援装置は、顔を撮影した画像を取得する画像取得部と、前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部と、前記顔の肌状態を取得する肌状態取得部と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク/基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク/前記スキンケアを提示するメイク提示部と、を有する。
なお、上記メイクアップ支援装置において、前記肌状態取得部は、前記顔の顔領域を分割した分割顔領域毎に、肌状態を取得し、前記肌補正用メイク選択部は、前記分割顔領域毎に取得された前記肌状態に基づいて、前記分割顔領域毎に、前記肌補正用メイクを選択し、前記メイク提示部は、前記肌補正用メイクを、対応する前記分割顔領域に対応付けて提示してもよい。
また、上記メイクアップ支援装置において、前記メイク提示部は、前記画像に、前記顔に対して前記顔用メイクおよび前記肌補正用メイクを適用したときの前記前記顔用メイクおよび前記肌補正用メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。
また、上記メイクアップ支援装置において、前記肌状態取得部は、肌状態が前記肌補正用メイクを適用すべき所定のレベルに達している前記分割顔領域である、要肌補正領域を検出し、前記肌補正用メイク選択部は、前記要肌補正領域を、前記肌補正用メイクの選択の対象としてもよい。
また、上記メイクアップ支援装置は、前記ユーザの顔の映像を撮影する撮影部と、前記ユーザに対して前記シミュレーション画像を表示する表示部と、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記メイク提示部は、前記映像に対して一旦選択された前記顔用メイクおよび前記肌補正用メイクを維持しつつ、前記映像を構成する前記画像毎に、順次、前記シミュレーション画像を生成して前記表示部に表示させてもよい。
また、上記メイクアップ支援装置において、前記顔用メイク選択部は、前記顔の顔部品特徴量を取得し、取得され得る顔部品特徴量と顔用メイクとを予め対応付けて登録した顔用メイクテーブルを参照して、前記顔用メイクを選択し、前記肌補正用メイク選択部は、前記分割顔領域毎に肌特徴量を取得し、取得され得る肌特徴量と肌補正用メイクとを予め対応付けて登録した肌補正用メイクテーブルを参照して、前記顔用メイクを選択してもよい。
また、上記メイクアップ支援装置において、前記肌状態は、しみ(班)の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも1つを含んでもよい。
また、上記メイクアップ支援装置において、前記顔用メイクおよび前記肌補正用メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、前記メイク提示部は、選択された前記顔用メイクおよび前記肌補正用メイクを適用するのに必要な化粧品に関する情報を、更に提示してもよい。
また、メイクアップ支援装置100は、撮影される顔を照明する照明部を新たに備えてもよい。この照明部は、調光機能を有し、ユーザの指示によりユーザが希望する環境光(オフィスの蛍光灯、キャンドル光、バーの照明、自然光等)を再現可能であることが望ましい。これにより、メイクアップ支援装置100は、ユーザが、実際に希望する環境光の下でのメイクの見栄えを確認しながら、メイクシミュレーションすることを可能にする。
本開示のメイクアップ支援方法は、顔を撮影した画像を取得するステップと、前記画像から、顔部品の領域を取得するステップと、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択するステップと、前記顔の肌状態を取得するステップと、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク/基礎化粧の仕方であるスキンケアを選択するステップと、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク/前記スキンケアを提示するステップと、を有する。
本開示のメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像を取得する処理と、前記画像から、顔部品の領域を取得する処理と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する処理と、前記顔の肌状態を取得する処理と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク/基礎化粧の仕方であるスキンケアを選択する処理と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク/前記スキンケアを提示する処理と、を実行させる。