JP6956389B2 - メイクアップ支援装置およびメイクアップ支援方法 - Google Patents

メイクアップ支援装置およびメイクアップ支援方法 Download PDF

Info

Publication number
JP6956389B2
JP6956389B2 JP2018527432A JP2018527432A JP6956389B2 JP 6956389 B2 JP6956389 B2 JP 6956389B2 JP 2018527432 A JP2018527432 A JP 2018527432A JP 2018527432 A JP2018527432 A JP 2018527432A JP 6956389 B2 JP6956389 B2 JP 6956389B2
Authority
JP
Japan
Prior art keywords
image
face
make
user
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018527432A
Other languages
English (en)
Other versions
JPWO2018012136A1 (ja
Inventor
千枝 西
理惠子 浅井
さち子 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018012136A1 publication Critical patent/JPWO2018012136A1/ja
Application granted granted Critical
Publication of JP6956389B2 publication Critical patent/JP6956389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本開示は、ユーザのメイクアップを支援するメイクアップ支援装置およびメイクアップ支援方法に関する。
例えば、ユーザが、化粧品売場等において店員によりメイクアップ（以下「メイク」という）を顔に施してもらった後、改めてそのメイクを自分で自分の顔に施してみようとすると、上手く再現できないことがある。また、例えば、ユーザが、再度、化粧品売場等を訪問し、上記店員とは別の店員に上記メイクを施してもらった場合、上手く再現できないことがある。
そこで、メイクを施したときのメイクの状態を示す画像を顔画像に重畳してシミュレーション画像を生成する技術（例えば、特許文献１参照）を利用することが考えられる。顔画像に重畳される画像（以下「メイクパーツ画像」という）は、例えば、アイシャドウやチークといったメイクアイテムを示す画像が挙げられる。
例えば、化粧品売場等に備えられた店舗端末は、店員が勧めるメイクを示すシミュレーション画像を生成し、そのシミュレーション画像をスマートフォン等のユーザ端末に送信する。これにより、ユーザは、ユーザ端末に表示されたシミュレーション画像を見ながら自分でメイクを行えるため、メイクの再現性が向上する。また、シミュレーション画像は店舗端末に保存されて店員の間で共有されるため、ユーザが再来店して店員に上記メイクを施してもらう場合でも、メイクの再現性が向上する。
特許第１７１５３５７号公報
メイクパーツ画像は、モデルの顔画像における各顔パーツ（例えば、眉、まぶた、頬、唇など）に対して、各種メイクアイテムの描画を行うことで作成される。しかしながら、ユーザの顔とモデルの顔とにおいて、全ての顔パーツの特徴が同じであることは稀である。特徴が異なる顔パーツに対応するメイクパーツ画像が選択された場合、そのメイクパーツ画像は、ユーザの顔パーツの特徴に合わせて変形されて表示される。その結果、顔全体の調和がとれていない不自然なメイクを示すシミュレーション画像になってしまうおそれがある。
そこで、本開示の一態様は、顔全体の調和がとれた自然なメイクをユーザに提示できるメイクアップ支援装置を提供する。
本開示のメイクアップ支援装置は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、上記一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用する画像決定部と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、を有する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、顔全体の調和がとれた自然なメイクをユーザに提示できる。
本開示に係るメイクアップ支援システムおよびメイクアップ支援装置の構成の一例を示すブロック図 本開示に係るメイクアップ支援装置の全体動作の一例を示すフローチャート 本開示に係るメイクパーツ画像テーブルの一例を示す図 本開示に係るメイクアップ支援装置のメイクパーツ画像決定処理の流れの一例を示すフローチャート 本開示に係る特徴量比較処理の具体例を説明する図 本開示に係るメイク手順情報の表示例を示す図 本開示に係るテンプレートデータ生成処理の流れの一例を示すフローチャート 本開示に係るアレンジデータ生成処理の流れの一例を示すフローチャート 本開示に係る特徴量比較処理の具体例を説明する図 本開示に係る特徴量比較処理の具体例を説明する図
以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
（発明に至った知見）
メイクシミュレーションシステムに用いられるメイクパーツ画像は、例えば、プロのメイクアップアーティスト等が、モデルの顔画像に対して、顔パーツ（例えば、眉、まぶた、頬、唇など）毎に各種メイクアイテム（例えば、アイブロウ、アイシャドウ、チーク、口紅など）を描画することにより、作成される。このようにして作成されたメイクパーツ画像は、メイクシミュレーションシステムにおいて、ユーザまたは化粧品売場等の店員により選択され、ユーザの顔画像に重畳されて表示される。
しかしながら、ユーザの顔とモデルの顔とにおいて、全ての顔パーツの特徴が同じであることは稀である。選択されたメイクパーツ画像に対応する顔パーツの特徴が、ユーザの顔パーツの特徴と異なる場合、メイクシミュレーションシステムは、選択されたメイクパーツ画像を、ユーザの顔パーツの特徴に合わせて変形して表示する。その結果、顔全体の調和がとれていない不自然なメイクを示すシミュレーション画像が表示されてしまう。
そこで、本発明では、顔全体の調和がとれた自然なメイクをユーザに提示できるようにする。
＜システム構成＞
まず、本実施の形態に係るメイクアップ支援装置を含むメイク支援システムの構成について、図１を用いて説明する。
図１は、メイク支援システムおよびメイクアップ支援装置の一例を示すブロック図である。
図１に示すメイク支援システム１は、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。
図１に示すように、メイク支援システム１は、メイクアップ支援装置１００、撮像装置２００、表示装置３００、操作装置４００、記憶装置５００、および端末装置６００を含む。
メイクアップ支援装置１００は、ユーザのメイクを支援する装置であり、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。メイクアップ支援装置１００は、据え置き型の装置でもよいし、容易に持ち運ぶことも可能なポータブル型の装置でもよい。メイクアップ支援装置１００の構成については後述する。
撮像装置２００は、ユーザの正面の顔を撮影する。ここで、撮影される顔は、例えば、メイクが施されていない顔である。なお、以下では、メイクが施されていないユーザの正面顔を撮影した静止画像を「ユーザ顔画像」という。
撮像装置２００は、ユーザ顔画像をメイクアップ支援装置１００へ出力する。
表示装置３００は、メイクパーツ画像が重畳されたユーザ顔画像、または、メイクパーツ画像が重畳されたターゲット顔画像などを表示する。
メイクパーツ画像とは、メイクアイテムの形状および色を表す画像である。メイクアイテムは、例えば、アイブロウ、アイシャドウ、アイライン、マスカラ、チーク、口紅等が挙げられる。
ターゲット顔画像とは、ユーザが「なりたい顔」として選択するモデルの、メイクが施されていない正面顔を撮影した静止画像である。モデルは、プロフェッショナルのモデルに限らず、例えば、一般人であってもよい。ターゲット顔画像として、複数のモデルの正面顔を撮影した複数の静止画像をあらかじめ記憶装置５００に記憶しておいてもよい。さらに、撮像装置２００あるいはネットワークを通じて、ターゲット顔画像となる静止画像を取得し、記憶装置５００に記憶してもよい。
なお、以下では、メイクパーツ画像が重畳されたユーザ顔画像を「メイク後ユーザ顔画像」といい、メイクパーツ画像が重畳されたターゲット顔画像を「メイク後ターゲット顔画像」という。なお、メイク後ユーザ顔画像は、「シミュレーション画像」と言い換えてもよい。
操作装置４００は、ユーザによる各種操作（例えば、後述するメイク後ターゲット顔画像の選択操作など）を受け付け、操作の内容をメイクアップ支援装置１００へ通知する。
記憶装置５００は、例えばネットワーク上のサーバ装置（図示略）に備えられ、種々の情報を記憶する。例えば、記憶装置５００は、メイクパーツ画像テーブル（詳細は後述。図３参照）を記憶する。また、例えば、記憶装置５００は、ユーザ（ユーザ識別情報）毎に、メイク手順情報（詳細は後述）などを記憶する。さらに、記憶装置５００は、複数のターゲット顔画像及び複数のメイク後ターゲット顔画像を記憶する。これらのメイク後ターゲット顔画像は、あらかじめ記憶装置５００に記憶されていてもよいし、ネットワーク等を通じて取得し、記憶させるようにしてもよい。
端末装置６００は、例えば、ユーザによって使用される、スマートフォンやタブレット等のユーザ端末である。端末装置６００は、メイクアップ支援装置１００と通信可能である。
なお、撮像装置２００、表示装置３００、操作装置４００、および記憶装置５００のうち少なくとも１つの装置は、メイクアップ支援装置１００に備えられてもよい。
＜装置の構成＞
次に、メイクアップ支援装置１００の構成について、図１を用いて説明する。
図１に示すように、メイクアップ支援装置１００は、画像取得部１０１、画像解析部１０２、画像決定部１０３、および情報生成部１０４を有する。
図示は省略するが、メイクアップ支援装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、図１に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
画像取得部１０１は、撮像装置２００からユーザ顔画像を取得し、そのユーザ顔画像を、記憶装置５００に記憶させるとともに画像解析部１０２へ出力する。記憶装置５００に記憶されたユーザ顔画像は、ユーザ識別情報と関連付けられる。
画像解析部１０２は、画像取得部１０１からユーザ顔画像を受け取ると、そのユーザ顔画像から顔特徴量を抽出する。例えば、画像解析部１０２は、複数の顔特徴点（図５、図９、図１０参照）を抽出し、それらの顔特徴点に基づいて顔パーツ（例えば、目、まぶた、頬、鼻、唇、おでこ、あご等）の形状および位置等を抽出する。また、例えば、画像解析部１０２は、ユーザの髪、肌、瞳、唇の色を抽出する。
なお、顔特徴点の抽出方法および顔パーツの抽出方法としては、既知の分類方法、パターン認識方法、クラスタリング方法、および最適化方法を採用することができる。既知の分類方法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識方法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング方法としては、例えば、ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ｋ−ＮＮ、ｋ近傍法）、ｋ−ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化方法としては、例えば、遺伝的アルゴリズムが挙げられる。
画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報を画像決定部１０３へ出力する。顔特徴情報は、例えば、抽出された各顔パーツの形状および位置（顔特徴点）、髪、肌、瞳、唇の色（ＲＧＢ、輝度）などの内容を含む。
画像決定部１０３は、画像解析部１０２から顔特徴情報を受け取ると、その顔特徴情報をユーザ識別情報と関連付けて記憶装置５００に記憶させる。
そして、画像決定部１０３は、記憶装置５００から複数のメイク後ターゲット顔画像を取得し、それらを表示装置３００に表示させる。画像決定部１０３における処理の詳細については、図４等を用いて後述する。
ここで、ユーザは、選択肢として表示された複数のメイク後ターゲット顔画像から所望のものを選択する操作（メイク後ターゲット顔画像の選択操作）を行う。例えば、ユーザは、自分が希望するメイクのイメージに合ったメイク後ターゲット顔画像を選択する。なお、選択肢として表示されるメイク後ターゲット顔画像は、モデルの顔画像にメイクパーツ画像を重畳した画像でもよいし、または、実際にメイクが施されたモデルの顔を撮影した写真の画像でもよい。なお、ユーザは、メイク後ターゲット顔画像の一覧から、自身のなりたいイメージに近いメイク後ターゲット顔画像を手動で選択することができる。あるいは、「二重」「面長」「シャープな印象」といった「なりたい顔」のイメージを表すキーワードをユーザに選択させ、後述するメイクパーツ画像テーブル中のターゲット顔画像及びアレンジ顔画像から最も近いものを「なりたい顔」として抽出してもよい。
画像決定部１０３は、操作装置４００がユーザによるメイク後ターゲット顔画像の選択操作を受け付けると、メイクパーツ画像決定処理を行う。メイクパーツ画像決定処理とは、ユーザに選択されたメイク後ターゲット顔画像、そのメイク後ターゲット顔画像に関連付けられた少なくとも１以上のアレンジ顔画像（詳細は後述）に基づいて、ユーザに提示する各メイクパーツ画像（メイクアイテム）を決定する処理である。メイクパーツ画像決定処理については、図３、図４を用いて後述する。
そして、画像決定部１０３は、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、各メイクパーツ画像に対応するメイクアイテムの名称の情報（以下「アイテム名情報」という）と、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムの肌への塗布方法など）の情報（以下「メイク手法情報」という）とを含む決定結果情報を情報生成部１０４へ出力する。
なお、メイク手法情報は、例えば、ブラシ等の筆圧を示す情報、塗布方向を示す情報、ぼかしの程度を示す情報、メイクパーツ画像の作成者（メイクアイテムの描画者）のコメントを示す情報などを含んでもよい。
情報生成部１０４は、画像決定部１０３から決定結果情報を受け取ると、その決定結果情報と、記憶装置５００から取得したユーザ顔画像とに基づいてメイク手順情報を生成し、端末装置６００へ出力する。メイク手順情報は、各メイクパーツ画像に示されるメイクアイテムを使用する際の手順などをユーザに提示する内容を含む。メイク手順情報の詳細については、後述する。
＜装置の動作＞
次に、メイクアップ支援装置１００の全体動作（メイク手順情報の生成動作）について、図２を用いて説明する。
図２は、メイクアップ支援装置１００の全体動作の一例を示すフローチャートである。
ステップＳ１０１において、画像取得部１０１は、撮像装置２００からユーザ顔画像を取得する。そして、画像取得部１０１は、ユーザ顔画像を画像解析部１０２へ出力する。また、画像取得部１０１は、ユーザ顔画像にユーザ識別情報を関連付けて記憶装置５００に記憶させる。
ステップＳ１０２において、画像解析部１０２は、画像取得部１０１から受け取ったユーザ顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報を画像決定部１０３へ出力する。
ステップＳ１０３において、画像決定部１０３は、記憶装置５００から、複数のメイク後ターゲット顔画像を取得し、それらを選択肢として表示装置３００に表示させる。画像決定部１０３における処理の詳細については、図４等を用いて後述する。
ステップＳ１０４において、画像決定部１０３は、操作装置４００がユーザによるメイク後ターゲット顔画像の選択操作を受け付けると、後述するメイクパーツ画像決定処理を行う。そして、画像決定部１０３は、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、アイテム名情報と、メイク手法情報とを含む決定結果情報を情報生成部１０４へ出力する。
ステップＳ１０５において、情報生成部１０４は、記憶装置５００から取得したユーザ顔画像と、画像決定部１０３から受け取った決定結果情報とに基づいて、メイク手順情報を生成する。そして、情報生成部１０４は、メイク手順情報を端末装置６００へ出力する。
以上、メイクアップ支援装置１００の全体動作の一例について説明した。
次に、メイクアップ支援装置１００のメイクパーツ画像決定処理（図２のステップＳ１０４）の一例について、図３、図４を用いて説明する。
図３は、メイクパーツ画像決定処理に用いられるメイクパーツ画像テーブルの一例を示す図である。図４は、メイクアップ支援装置１００のメイクパーツ画像決定処理の流れの一例を示すフローチャートである。
まず、図３を参照して、メイクパーツ画像テーブルについて説明する。
メイクパーツ画像テーブルは、図３に示すように、１つのテンプレートデータに対して、複数のアレンジデータ（図３の例では、３つのアレンジデータ）が関連付けて登録されている。
テンプレートデータは、例えば、ターゲット顔画像１０、メイクパーツ画像１１〜１５、顔特徴情報を含む。
ターゲット顔画像１０は、メイクが施されていないモデルの正面顔の顔画像（静止画像）である。ターゲット顔画像１０は、メイクパーツ画像１１〜１５が重畳されてメイク後ターゲット顔画像となり、上述したとおり、選択肢として表示装置３００に表示される。
メイクパーツ画像１１は、眉毛（顔パーツの一例）に施されるアイブロウ（メイクアイテムの一例）の形状と色を示す画像である。
メイクパーツ画像１２は、目（顔パーツの一例）に施されるアイシャドウ（メイクアイテムの一例）の形状と色を示す画像である。
メイクパーツ画像１３は、目（顔パーツの一例）に施されるアイライン（メイクアイテムの一例）の形状と色を示す画像である。
メイクパーツ画像１４は、目（顔パーツの一例）に施されるマスカラ（メイクアイテムの一例）の形状と色を示す画像である。
メイクパーツ画像１５は、頬（顔パーツの一例）に施されるチーク（メイクアイテムの一例）の形状と色を示す画像である。
なお、ここではメイクパーツ画像１１〜１５がメイクアイテムの形状と色を示す場合を例に挙げたが、メイクパーツ画像１１〜１５を形状のみを示す画像とし、メイクパーツ画像１１〜１５の色を示す情報は別途登録されてもよい。
顔特徴情報は、ターゲット顔画像１０から抽出された顔特徴量を示す情報である。図３の例では、顔パーツ（例えば、輪郭、目、口）の形状、肌の色、髪の色を例示しているが、これらに限定されず、顔パーツの位置、唇の色などを含んでもよい。また、図３の例では、説明を簡便にするため、顔特徴量の内容を文章で示しているが、顔特徴量を示す値（例えば、顔特徴点の座標、ＲＧＢ値、輝度値等）が登録されてもよい。ここで「輪郭」とは毛髪部分を除いた顔の外周の形状であり、目、鼻、口、頬、等の他の顔パーツとともに顔を構成する顔パーツであるとする。
なお、図示は省略しているが、テンプレートデータには、図３に示したもののほか、メイク手法情報が含まれる。メイク手法情報とは、上述したとおり、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムを使用した肌への塗布方法など）を示す情報である。また、テンプレートデータには、各メイクアイテムに関して付加的に入力された付加情報（詳細は後述）などが含まれてもよい。
テンプレートデータの作成処理については、図７を用いて後述する。
各アレンジデータも、テンプレートデータと同様に、顔画像（以下「アレンジ顔画像」という）、各種メイクパーツ画像、各種顔特徴情報を含む。アレンジ顔画像とは、ターゲット顔画像と比較して一部の顔パーツの特徴が異なるモデルの正面顔（メイクが施されていない顔）を撮影した画像である。
例えば、第１アレンジデータでは、ターゲット顔画像１０と比較して目（目のキワ）の形状が異なる顔画像として、アレンジ顔画像２０が登録されている。また、第１アレンジデータでは、目（目のキワ）に対応するアイラインのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１３と異なる形状のメイクパーツ画像２３が登録されている。
また、例えば、第２アレンジデータでは、ターゲット顔画像１０と比較して眉毛と目（まつげ）の形状が異なる顔画像として、アレンジ顔画像３０が登録されている。また、第２アレンジデータでは、眉毛に対応するアイブロウのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１１と異なる形状のメイクパーツ画像３１が登録されている。また、第２アレンジデータでは、目（まつげ）に対応するマスカラのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１４と異なる形状のメイクパーツ画像３４が登録されている。
また、例えば、第３アレンジデータでは、ターゲット顔画像１０と比較して目（目のキワ）と頬（輪郭の頬部分）の形状が異なる顔画像として、アレンジ顔画像４０が登録されている。また、第３アレンジデータでは、目（目のキワ）に対応するアイラインのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１３と異なる形状のメイクパーツ画像４３が登録されている。また、第３アレンジデータでは、頬（輪郭の頬部分）に対応するチークのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１５と異なる形状のメイクパーツ画像４５が登録されている。
なお、図示は省略しているが、各アレンジデータには、テンプレートデータと同様に、メイク手法情報が含まれる。また、各アレンジデータには、付加情報（詳細は後述）などが含まれてもよい。
また、図３の例では、アレンジデータの数を３つとしたが、これに限定されない。ただし、ユーザの顔の特徴により適合したメイクパーツ画像を決定するためには、アレンジデータの数は多い方が好ましい。
アレンジデータの作成処理については、図８を用いて後述する。
このようなメイクパーツ画像テーブルは、例えば、１つのターゲット顔画像（１つのテンプレートデータ）につき１つ作成される。よって、メイクパーツ画像テーブルは、選択肢としてユーザに提示されるメイク後ターゲット顔画像の数に応じて作成される。
以上、メイクパーツ画像テーブルについて説明した。
次に、図４を参照して、メイクパーツ画像決定処理の流れについて説明する。メイクパーツ画像決定処理では、メイクパーツ画像テーブルに登録されているメイクパーツ画像（メイクアイテム）の種類毎に、テンプレートデータまたはアレンジデータのいずれかに登録されているメイクパーツ画像が決定される。
ステップＳ２０１において、画像決定部１０３は、第ｉの顔パーツについて第１の差分値を算出する。
ｉは、メイクパーツ画像テーブルに登録されている顔パーツの種類の数である。図３のメイクパーツ画像テーブルの場合、眉毛（ｉ＝１）、まぶた（ｉ＝２）、目のキワ（ｉ＝３）、まつ毛（ｉ＝４）、頬（ｉ＝５）の５種類の顔パーツが登録されている。
第１の差分値とは、ユーザ顔画像から抽出された第ｉの顔パーツに関する特徴量と、ターゲット顔画像から抽出された第ｉの顔パーツに関する特徴量との差分を示す値である。例えば、顔パーツが目である場合（例えば、アイシャドウの画像、アイラインの画像、マスカラの画像を決定する場合）、ユーザ顔画像における目の形状と、ターゲット顔画像における目の形状とを比較する処理を行う。この具体例について、図５を用いて説明する。
図５は、例えば、ユーザ顔画像から抽出された左目周辺の顔特徴点の一例を示している。図５において、画像決定部１０３は、上まぶたの顔特徴点５１、目尻の顔特徴点５２、目頭の顔特徴点５３の３点から成る三角形の相似度を算出する。図示は省略するが、同様に、画像決定部１０３は、ターゲット顔画像において、上まぶたの顔特徴点、目尻の顔特徴点、目頭の顔特徴点の３点から成る三角形の相似度を算出する。そして、画像決定部１０３は、算出された２つの相似度の差分を算出する。
なお、特徴量の比較による第１の差分値の算出方法は、図５で説明したものに限定されない。その他の例については、後述する。
ステップＳ２０２において、画像決定部１０３は、第１の差分値が予め定められた閾値以下であるか否かを判定する。この閾値は、例えば、比較される２つの顔パーツの特徴が類似するとみなすことができる上限値である。
第１の差分値が閾値より大きい場合（ステップＳ２０２：ＮＯ）、フローはステップＳ２０５へ進む。ステップＳ２０５以降については後述する。
第１の差分値が閾値以下である場合（ステップＳ２０２：ＹＥＳ）、フローはステップＳ２０３へ進む。
ステップＳ２０３において、画像決定部１０３は、第ｉの顔パーツについては、ターゲット顔画像に関連付けられたメイクパーツ画像を採用する。例えば、図３において、ｉ＝１である場合（顔パーツが眉毛である場合）、画像決定部１０３は、ターゲット顔画像１０に関連付けられているメイクパーツ画像１１（アイブロウの画像）を採用する。
ステップＳ２０４において、画像決定部１０３は、全ての顔パーツに対してメイクパーツ画像を採用したか否かを判定する。
全ての顔パーツに対してメイクパーツ画像を採用した場合（ステップＳ２０４：ＹＥＳ）、一連の処理は終了する。
一方、全ての顔パーツに対してメイクパーツ画像を採用していない場合、換言すれば、メイクパーツ画像が採用されていない顔パーツが残っている場合（ステップＳ２０４：ＮＯ）、フローはステップＳ２０１へ戻る。
ステップＳ２０２において、第１の差分値が閾値より大きい場合（ステップＳ２０２：ＮＯ）、ユーザ顔画像における第ｉの顔パーツの特徴と、ターゲット顔画像における第ｉの顔パーツの特徴とが類似していないこととなる。この場合、画像決定部１０３は、テンプレートデータに関連付けられたアレンジデータから、第ｉの顔パーツに対応するメイクパーツ画像を選択する。
ステップＳ２０５において、画像決定部１０３は、第ｊのアレンジ顔画像を選択する。
ｊは、メイクパーツ画像テーブルに登録されているアレンジ顔画像の数である。図３のメイクパーツ画像テーブルの場合、アレンジ顔画像２０、３０、４０の３つが登録されている。
ステップＳ２０６において、画像決定部１０３は、第ｉの顔パーツについて第２の差分値を算出する。ここで、画像決定部１０３は、算出された第２の差分値を一時的に記憶しておく。
第２の差分値とは、ユーザ顔画像から抽出された第ｉの顔パーツに関する特徴量と、第ｊのアレンジ顔画像から抽出された第ｉの顔パーツに関する特徴量との差分を示す値である。例えば、顔パーツが目である場合、ユーザ顔画像における目の形状と、第ｊのアレンジ顔画像における目の形状とを比較する。この具体例については、図５を用いた上記説明と同様であるので、ここでの説明は省略する。
ステップＳ２０７において、画像決定部１０３は、第２の差分値が予め定められた閾値以下であるか否かを判定する。この閾値は、例えば、ステップＳ２０２で用いた閾値と同じである。
第２の差分値が閾値より大きい場合（ステップＳ２０７：ＮＯ）、フローはステップＳ２０５へ進む。
第２の差分値が閾値以下である場合（ステップＳ２０７：ＹＥＳ）、フローはステップＳ２０８へ進む。
ステップＳ２０８において、画像決定部１０３は、全てのアレンジ顔画像を選択したか否かを判定する。
全てのアレンジ顔画像を選択していない場合（ステップＳ２０８：ＮＯ）、フローはステップＳ２０５へ進む。
全てのアレンジ顔画像を選択した場合（ステップＳ２０８：ＹＥＳ）、フローはステップＳ２０９へ進む。
ステップＳ２０９において、画像決定部１０３は、第ｉの顔パーツについて、第２の差分値が最小であるアレンジ顔画像に関連付けられたメイクパーツ画像を採用する。例えば、図３において、ｉ＝３である場合（顔パーツが目（目のキワ）である場合）、画像決定部１０３は、メイクパーツ画像２３またはメイクパーツ画像４３のいずれかのうち、第２の差分値が小さい方のアレンジ顔画像に関連付けられたメイクパーツ画像（アイラインの画像）を採用する。
なお、ステップＳ２０９において、複数の第２の差分値が最小である場合、所定の重み付けに基づいてアレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像が採用されてもよい。この例については、後述する。
ステップＳ２０９の後、フローはステップＳ２０４へ進む。
なお、既に説明したとおり、図４に示したメイクパーツ画像決定処理の終了後、画像決定部１０３は、採用された各メイクパーツ画像、アイテム名情報、およびメイク手法情報等を含む決定結果情報を情報生成部１０４へ出力する。
このように、メイクパーツ画像決定処理では、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似する場合、その顔パーツに対応してターゲット顔画像に関連付けられているメイクパーツ画像を採用する。一方、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似しない場合、その顔パーツに対応してアレンジ顔画像に関連付けられているメイクパーツ画像を採用する。これにより、ユーザの各顔パーツの特徴に合わせたメイクパーツ画像が採用されるので、顔全体の調和がとれた自然なメイクをユーザに提示できる。
以上、メイクパーツ画像決定処理の一例について説明した。
次に、情報生成部１０４により生成されるメイク手順情報の一例について説明する。
情報生成部１０４は、記憶装置５００から取得したユーザ顔画像と、画像決定部１０３から受け取った決定結果情報とに基づいて、メイク手順情報を生成する。決定結果情報は、少なくとも、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、各メイクパーツ画像に対応するメイクアイテムの名称を示すアイテム名情報と、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムの肌への塗布方法など）を示すメイク手法情報を含む。
例えば、情報生成部１０４は、メイク手法情報の一例として画面情報を生成し、端末装置６００へ出力する。画面情報は、端末装置６００の表示部（図示略）に表示される。
端末装置６００における画面情報の表示例について説明する。図６は、画面情報の表示例を示す図である。
図６に示すように、メイクアイテム毎に、ユーザ顔画像７０に重畳されたメイクパーツ画像７１、アイテム名情報７２、メイクアイテムの使用順序を示す使用順序情報７３、メイクアイテムの肌への塗布方法を示す塗布方法情報７４が表示される。なお、図示は省略しているが、メイク手法情報に含まれる各種情報（例えば、ブラシ等の筆圧を示す情報、塗布方向（ブラシ等を動かす方向）を示す情報、ぼかしの程度を示す情報、メイクアイテムの描画者のコメントを示す情報など）が、所定の態様で表示されてもよい。
また、図６に示すように、メイクアイテム毎に、製品情報７５、アドバイス情報７６が表示されてもよい。製品情報７５は、例えば、メイクアイテムの型番やメイクアイテムの特徴などを示す情報である。アドバイス情報７６は、メイクアイテムを使用する際のアドバイスを示す情報である。製品情報７５およびアドバイス情報７６は、付加情報の一例であり、例えば、化粧品売場等の店員により入力され、メイクパーツ画像テーブルに登録される。この場合、情報生成部１０４へ出力される決定結果情報には、製品情報７５およびアドバイス情報７６が含まれる。
なお、図６では図示を省略しているが、ユーザ顔画像７０に全てのメイクパーツ画像（図６の例では、アイブロウの画像、アイシャドウの画像、チークの画像、口紅の画像）を重畳した、メイク後ユーザ顔画像（シミュレーション画像）をメイク後顔見本として表示してもよい。
このように画面情報には、メイクアイテムの使用順序や塗布方法などの詳細な内容が含まれるため、ユーザは、端末装置６００に表示された図６の画面情報を参照してメイクを行うことで、所望のメイクを再現することができる。
なお、メイク手順情報（例えば、画面情報）には、図６に示した各種情報以外にも、例えば、メイクのイメージを示す情報、ユーザ識別情報、画面情報を識別可能な情報、メイクアイテムを識別可能な情報などが含まれてもよい。
以上、メイク手順情報の一例について説明した。
次に、テンプレートデータの作成処理の一例について、図７を用いて説明する。
図７は、テンプレートデータの作成処理の流れを示すフローチャートである。
ステップＳ３０１において、画像取得部１０１は、例えば、撮像装置２００により撮影されたターゲット顔画像を取得する。そして、画像取得部１０１は、ターゲット顔画像を画像解析部１０２へ出力する。
ステップＳ３０２において、画像解析部１０２は、ターゲット顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報と、ターゲット顔画像とを画像決定部１０３へ出力する。
ステップＳ３０３において、画像決定部１０３は、画像解析部１０２から受け取ったターゲット顔画像を表示装置３００に表示させる。
ここで、メイクパーツ画像の作成者（メイクアイテムの描画者。例えば、プロのメイクアップアーティスト）は、表示されたターゲット顔画像上に、各種メイクアイテムを所定の形状と所定の色で描画する操作を行う。また、必要に応じて、作成者は、描画されたメイクアイテムについてのコメントを入力する操作を行う。
操作装置４００は、上記操作を受け付け、描画の内容やコメントなどを示す描画情報を画像決定部１０３へ出力する。描画情報に含まれる描画の内容は、例えば、各メイクアイテムが描画された順序、各メイクアイテムの形状と色、各メイクアイテムのぼかしの程度、各メイクアイテムの位置、各メイクアイテムが描画されたときの筆圧、各メイクアイテムが描画されたときの塗布方向などである。
ステップＳ３０４において、画像決定部１０３は、操作装置４００から受け取った描画情報に基づいて、各メイクパーツ画像を抽出する。
ステップＳ３０５において、画像決定部１０３は、操作装置４００から受け取った描画情報に基づいて、メイク手法情報を抽出する。
また、例えば、作成者により各種メイクアイテムが描画された後、必要に応じて、例えば、化粧品売場等の店員は、付加情報を入力する操作を行う。付加情報は、例えば、図６に示した製品情報７５およびアドバイス情報７６などである。
操作装置４００は、上記操作を受け付け、付加情報を画像決定部１０３へ出力する。
ステップＳ３０６において、画像決定部１０３は、操作装置４００から付加情報を取得する。
ステップＳ３０７において、画像決定部１０３は、ターゲット顔画像に対して顔特徴情報、各メイクパーツ画像、メイク手法情報、および付加情報を関連付けてテンプレートデータを作成する。そして、画像決定部１０３は、作成されたテンプレートデータを記憶装置５００に記憶させる。
以上、テンプレートデータの作成処理の一例について説明した。
次に、アレンジデータの作成処理の一例について、図８を用いて説明する。
図８は、アレンジデータの作成処理の流れを示すフローチャートである。
ステップＳ４０１において、画像取得部１０１は、例えば、撮像装置２００により撮影されたアレンジ顔画像を取得する。そして、画像取得部１０１は、アレンジ顔画像を画像解析部１０２へ出力する。
ここで取得されるアレンジ顔画像は、上述したとおり、ターゲット顔画像の顔特徴量と比較して、一部の顔特徴量が異なるものである。例えば、画像取得部１０１は、ターゲット顔画像の所定の顔パーツ（例えば、目）の特徴と比べてその顔パーツの特徴が異なるモデルを撮影した顔画像を、アレンジ顔画像として撮像装置２００から取得する。
なお、記憶装置５００に予め用意された複数の顔画像から、所定の条件を満たしたものをアレンジ顔画像として取得してもよい。この例については、後述する。
ステップＳ４０２において、画像解析部１０２は、アレンジ顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報と、アレンジ顔画像とを画像決定部１０３へ出力する。
ステップＳ４０３において、画像決定部１０３は、画像解析部１０２から受け取ったアレンジ顔画像を表示装置３００に表示させる。
ここで、メイクパーツ画像の作成者（メイクアイテムの描画者。例えば、プロのメイクアップアーティスト）は、表示されたアレンジ顔画像上に、各種メイクアイテムを所定の形状と所定の色で描画する操作を行う。また、必要に応じて、作成者は、描画されたメイクアイテムについてのコメントを入力する操作を行う。
なお、ステップＳ４０３において、アレンジ顔画像にターゲット顔画像の各メイクパーツ画像を重畳して表示してもよい。ここで重畳表示されるメイクパーツ画像は、アレンジ顔画像の顔特徴量との差分が閾値以下となる顔特徴量を有する顔パーツに対応するものである。よって、アレンジ顔画像において、ターゲット顔画像の顔特徴量との差分が閾値より大きい顔特徴量を有する顔パーツには、メイクパーツ画像は表示されない。この場合、作成者は、アレンジ顔画像において、メイクパーツ画像が表示されていない顔パーツに対して、メイクアイテムを描画すればよい。したがって、作成者は、全てのメイクアイテムを描画する必要が無く、手間が省ける。
操作装置４００は、上記操作を受け付け、描画の内容やコメントなどを示す描画情報を画像決定部１０３へ出力する。描画情報に含まれる内容は、上記テンプレートデータの作成処理で説明した内容と同様であるため、ここでの説明は省略する。
ステップＳ４０４〜ステップＳ４０６における各処理は、図７のステップＳ３０４〜ステップＳ３０６と同様であるため、ここでの説明は省略する。
ステップＳ４０７において、画像決定部１０３は、アレンジ顔画像に対して顔特徴情報、各メイクパーツ画像、メイク手法情報、および付加情報を関連付けてアレンジデータを作成する。
ステップＳ４０８において、画像決定部１０３は、作成されたアレンジデータをテンプレートデータに関連付けてメイクパーツ画像テーブルを作成し、記憶装置５００に記憶させる。
複数のアレンジデータをテンプレートデータに関連付ける場合は、図８に示したフローを繰り返し行えばよい。これにより、例えば図３に示したメイクパーツ画像テーブルが作成される。
以上、アレンジデータの作成処理の一例について説明した。
＜本実施の形態の効果＞
以上説明したように、本実施の形態のメイクアップ支援装置１００は、ユーザ顔画像と、所定形状と所定色のメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色のメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部１０１と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められたメイクアイテムを採用し、差分値が閾値より大きい場合、アレンジ顔画像に定められたメイクアイテムを採用する画像決定部１０３と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部１０４と、を有する。
すなわち、本実施の形態のメイクアップ支援装置１００によれば、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似する場合、その顔パーツに対応するメイクパーツ画像をターゲット顔画像に関連付けられているものに決定し、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似しない場合、その顔パーツに対するメイクパーツ画像をアレンジ顔画像に関連付けられているものに決定する。これにより、ユーザの各顔パーツの特徴に合わせたメイクパーツ画像が採用されるので、顔全体の調和がとれた自然なメイクをユーザに提示できる。
＜本実施の形態の変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。
（変形例１）
上記実施の形態では、顔パーツの特徴量の比較処理の一例として、図５を用いて目の形状を比較する場合を例に挙げて説明したが、これに限定されない。
例えば、ユーザ顔画像とターゲット顔画像とにおける輪郭の形状を比較してもよい。この場合、画像決定部１０３は、図９に示すように、顔の横幅ｗ１（顔特徴点５４と顔特徴点５５との間の距離）の長さ、顔の縦幅ｗ２（顔特徴点５５と顔特徴点５６との間の距離）の長さ、あごの顔特徴点５７、右頬の顔特徴点５８、左頬の顔特徴点５９を結んだ逆三角形ｔ１の形状（相似度）についてユーザ顔画像とターゲット顔画像とを比較し、それぞれの第１の差分値を算出する。
そして、顔の横幅ｗ１、顔の縦幅ｗ２、逆三角形ｔ１のそれぞれに関する第１の差分値が所定の閾値以下である場合、画像決定部１０３は、ユーザ顔画像とターゲット顔画像とで輪郭が同じ（または類似する）と判定し、ターゲット顔画像に関連付けられているメイクパーツ画像（例えば、チーク、ハイライト、シェーディング等、輪郭に対応するメイクアイテムを表す画像）を採用する。
なお、上記輪郭の形状の比較処理は、ユーザ顔画像とターゲット顔画像とを比較する場合だけでなく、ユーザ顔画像とアレンジ顔画像とを比較する場合にも適用できる。
（変形例２）
上記実施の形態および変形例１では、顔パーツの特徴量の比較処理の一例として、図５、図９を用いて顔パーツ（目、輪郭）の形状を比較する場合を例に挙げて説明したが、これに限定されない。
例えば、ユーザ顔画像とターゲット顔画像とにおける顔パーツ間の相対関係を比較してもよい。この場合、画像決定部１０３は、図１０に示すように、目尻の顔特徴点６０と眉山の顔特徴点６１との間の距離Ｌ（まぶたの上下方向の幅）の長さについてユーザ顔画像とターゲット顔画像とを比較し、第１の差分値を算出する。
そして、距離Ｌに関する第１の差分値が所定の閾値以下である場合、画像決定部１０３は、ユーザ顔画像とターゲット顔画像とで目（まぶた）が同じ（または類似する）と判定し、ターゲット顔画像に関連付けられているメイクパーツ画像（例えば、アイシャドウ等、まぶたに対応するメイクアイテムを表す画像）を採用する。
なお、上記輪郭の形状の比較処理は、ユーザ顔画像とターゲット顔画像とを比較する場合だけでなく、ユーザ顔画像とアレンジ顔画像とを比較する場合にも適用できる。
また、上記説明では、顔パーツ間の相対関係の一例として、顔パーツ間（眉と目の間）の距離を例に挙げて説明したが、これに限定されない。例えば、顔の縦幅または横幅に対する各顔パーツの位置の比、または、顔パーツの大きさの比率などを比較対象としてもよい。
また、上記顔パーツ間の相対関係（例えば、顔パーツ間の距離、顔の縦幅または横幅に対する各顔パーツの位置の比、顔パーツの大きさの比率など）を、メイクパーツ画像決定処理（例えば、図４のステップＳ２０９）における重み付けに利用してもよい。例えば、ユーザ顔画像と複数のアレンジ顔画像とにおいて所定の顔パーツの形状の比較（例えば、図５、図９で説明した処理）を行った結果、複数の第２の差分値が同じとなった場合、画像決定部１０３は、顔パーツ間の相対関係に関する第２の差分値が小さい方のアレンジ顔画像からメイクパーツ画像を採用するようにしてもよい。
（変形例３）
上記実施の形態において、画像決定部１０３は、ユーザ顔画像から抽出された髪、肌、唇等の色情報（例えば、色相、彩度、明度）とターゲット顔及びアレンジ顔の色情報を比較し、所定のメイクアイテム（例えば、ファンデーション、コンシーラ、アイブロウ、チーク、口紅等）を表すメイクパーツ画像の色を、差分値が閾値以上、または最少となる顔画像に設定されている色に決定／変更してもよい。
（変形例４）
上記実施の形態では、メイクアップ支援装置１００がアレンジ顔画像を撮像装置２００から取得する場合を例に挙げて説明したが、これに限定されない。
例えば、メイクアップ支援装置１００は、記憶装置５００に記憶されている複数の顔画像の中から、ターゲット顔画像の所定の顔パーツ（例えば、輪郭）の顔特徴量に対して差分が最も大きくなる顔パーツ（例えば、輪郭）の顔特徴量を有する顔画像を、アレンジ顔画像として取得してもよい。
また、例えば、メイクアップ支援装置１００は、顔パーツ毎の顔特徴量の差分の大きさの設定操作を受け付け、その設定に基づいて、アレンジ顔画像を取得してもよい。例えば、メイクアップ支援装置１００は、輪郭についての第２の差分が閾値以下であり、輪郭以外の顔パーツ（例えば、目、鼻、唇等）についての第２の差分が閾値より大きいという内容の設定を受け付ける。その場合、メイクアップ支援装置１００は、記憶装置５００に記憶されている複数の顔画像の中から、設定された条件を満たすアレンジ顔画像を取得する。設定される条件は、メイクアップ支援装置１００のユーザが任意に設定できる。
（変形例５）
上記実施の形態では、図６に示したように、両目が開いた状態を示すユーザ顔画像にアイシャドウのメイクパーツ画像を重畳して表示する場合を例に挙げて説明したが、これに限定されない。
例えば、両目が開いた状態のユーザ顔画像に加えて、片目を閉じた状態のユーザ顔画像も撮影しておき、後者のユーザ顔画像のまぶた（目を閉じている方）に対してアイシャドウのメイクパーツ画像を重畳して表示してもよい。このメイクパーツ画像は、目を閉じた状態のまぶたに対して描画されたアイシャドウを示す画像である。
なお、アイシャドウのメイクパーツ画像は、目を閉じた状態に対応するものおよび目を開いた状態に対応するものを用いてもよいし、顔特徴点に基づいて変形することで目を閉じた状態と目を開いた状態の両方に対応するものを用いてもよい。
（変形例６）
上記実施の形態では、図６に示したように、ユーザ顔画像に重畳される各メイクパーツ画像は、メイクアイテムの形状と色を表す画像である場合を例に挙げて説明したが、メイクアイテムの形状のみを表す画像であってもよい。メイクアイテムの形状のみを表す画像は、例えば、メイクアイテムの外周を点線または実線で示す画像である。
（変形例７）
上記実施の形態では、メイク手順情報を静止画像で画面表示する場合を例に挙げて説明したが、静止画像の画面表示に加えて、音声または動画などを用いてメイク手順情報の所定の内容をユーザに通知してもよい。
（変形例８）
上記実施の形態では、図４に示したメイクパーツ画像決定処理（例えば、図４のステップＳ２０９）において、第２の差分値が最小となるアレンジ顔画像からメイクパーツ画像を採用する場合を例に挙げて説明したが、複数の第２の差分値が最小となる場合、ユーザに関する情報（以下「ユーザ関連情報」という）を重み付けに利用して、メイクパーツ画像の採用対象となるアレンジ顔画像を選択してもよい。
ユーザ関連情報は、例えば、ユーザのメイクの好み（メイクアイテムの色の種類、メイクアイテムの色の濃淡など）、ユーザのメイクアイテム（化粧品）の購買履歴、ユーザが現在保持しているメイクアイテム（化粧品）などの内容を含む。
例えば、図４のステップＳ２０９において、複数の第２の差分値が最小となる場合、メイクアップ支援装置１００は、ユーザ関連情報に示される内容に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
（変形例９）
上記実施の形態において、メイクパーツ画像決定処理で決定されたメイクパーツ画像に対して、例えば化粧品売場等の店員が手動操作でアレンジを加えてもよい。アレンジの内容は、例えば、決定された所定のメイクパーツ画像の形状、色、または位置の変更、決定されたメイクパーツ画像以外のメイクパーツ画像の追加などである。メイクアップ支援装置１００は、メイク手順情報を生成する際、アレンジの内容を反映させる。
なお、メイクアップ支援装置１００は、アレンジの内容を示す情報（以下「アレンジ情報」という）をユーザ毎に記憶装置５００に記憶させてもよい。例えば、１人のユーザにつき同じアレンジ（例えば、アイシャドウのメイクパーツ画像の色の変更）が複数回行われた場合、メイクアップ支援装置１００は、複数のアレンジ情報に基づいてアレンジの傾向を学習する。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習した傾向に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
（変形例１０）
上記実施の形態において、１人のユーザがメイクアップ支援装置１００を複数回利用することで、そのユーザにつき複数のメイク手順情報が生成される場合、メイクアップ支援装置１００は、ユーザ毎に複数のメイク手順情報を記憶装置５００に記憶させてもよい。
メイクアップ支援装置１００は、複数のメイク手順情報に基づいて、採用される各メイクパーツ画像の特徴（例えば、色の種類、色の濃淡等）を学習する。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習した特徴に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
（変形例１１）
上記実施の形態において、ユーザは、メイク手順情報に基づいて実際にメイクを行った後、その感想などを示すフィードバック情報を端末装置６００に入力し、例えば記憶装置５００に送信してもよい。
フィードバック情報は、例えば、メイク手順情報（例えば、塗布方法情報７４）が参考になったメイクアイテム、ユーザが気に入ったメイクアイテムや製品（型番または商品名）などの内容を含む。
例えば、図４のステップＳ２０９において、複数の第２の差分値が最小となる場合、メイクアップ支援装置１００は、フィードバック情報に示される内容に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
なお、１人のユーザにつき複数のフィードバック情報が記憶装置５００に記憶されている場合、メイクアップ支援装置１００は、複数のフィードバック情報に基づいて、ユーザの好み（例えば、各メイクアイテムの色の種類や濃淡等）を学習してもよい。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習したユーザの好みに合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
ここで、ユーザがフィードバック情報を送信する手段の一つとして、ユーザがソーシャル・ネットワーキング・サービス（ＳＮＳ）へフィードバック情報を投稿できるようにしてもよい。ユーザによる投稿を促進するため、例えば、図６のメイク手順情報にフェイスブック、ツイッター（登録商標）、インスタグラム、グーグルプラス等のＳＮＳへのリンク情報を含ませておいてもよい。ユーザがSNSに投稿する際には、投稿内容に自動的にハッシュタグを埋め込んでもよい。これにより、後から投稿情報を収集し、ユーザに人気のメイクデザインや人気の商品の分析を可能にすることができる。
（変形例１２）
変形例８で説明したユーザ関連情報には、上述した内容のほか、例えば、ユーザの年齢、性別、国籍、居住地、出身地、肌の悩み、理想の肌状態、医療機関（皮膚科、美容皮膚科、美容整形外科など）で受けた治療の履歴（医療機関名、治療日、治療箇所等）といった内容が含まれてもよい。
これらの内容は、例えば、店舗、医療機関等の関係者またはユーザ自身によって所定の装置（例えば、メイクアップ支援装置１００、端末装置６００等）から入力される。そして、入力された内容を含むユーザ関連情報は、所定の装置から記憶装置５００に送信され、記憶装置５００においてユーザ識別情報に紐付けられて記憶される。
そして、メイクアップ支援装置１００は、例えば、メイク手順情報を生成した際に、ユーザ関連情報（例えば、国籍、年齢、性別など）と、生成されたメイク手順情報とを対応付けて、所定の装置（例えば、化粧品の開発会社や販売店舗）へ出力してもよい。これらの情報の対応付けにより、どのような属性のユーザがどのようなメイクが好みであるかが分かる。そのため、化粧品の開発、接客の際のアドバイスや商品の推薦等に活用できる。
（変形例１３）
上記実施の形態では、メイクパーツ支援装置１００が、テンプレートデータおよびアレンジデータ（メイクパーツ画像テーブル）の作成処理、および、メイク手順情報の生成処理の両方を行う場合を例に挙げて説明したが、テンプレートデータおよびアレンジデータ（メイクパーツ画像テーブル）の作成処理は、メイクアップ支援装置１００以外の装置で行われてもよい。
（変形例１４）
メイクアップ支援装置１００の構成要素（画像取得部１０１、画像解析部１０２、画像決定部１０３、情報生成部１０４）の一部は、他の構成要素と物理的に離隔していてもよい。この場合、離隔された構成要素同士は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、メイクアップ支援装置１００の機能の一部は、クラウド化されていてもよい。
（変形例１５）
また、図６のメイク手順情報に記載の製品情報７５には、各製品の購入サイトへのリンク情報が含まれていてもよい。これにより、ユーザはメイク手順情報から任意の製品情報を選択して製品購入サイトを表示し、オンラインで製品を購入することができる。この時、ユーザは、製品情報から製品購入サイトに直接アクセスするのではなく、製品情報から購入サイトアクセス情報取得サイトを経由して製品購入サイトへアクセスする。購入サイトアクセス情報取得サイトにおいて、各ユーザがメイク手順情報から製品購入サイトへアクセスしたことを記録する。これにより、複数のユーザによる製品購入サイトへのアクセス情報が記録され蓄積されるため、特定のユーザの好みの製品や、複数のユーザに人気の製品やトレンドを分析することが可能になる。
（変形例１６）
図１の情報生成部１０４により生成されたメイク手順情報は、メイクアップ支援装置１００と物理的に接続された端末装置６００で表示されてもよいし、メイクアップ支援装置１００と物理的に接続されていない別の端末装置（以下、表示端末という）で表示されてもよい。表示端末がメイクアップ支援装置１００と物理的に接続されていない場合であっても、さまざまな無線通信の手法によりネットワーク接続可能である。メイクアップ支援装置１００と物理的に接続されていない表示端末でメイク手順情報を表示する手法としては、生成されたメイク手順情報を情報生成部１０４がクラウド上にアップロードし、表示端末がクラウド上のメイク手順情報にアクセスして取得し、表示してもよい。この場合、表示端末がメイク手順情報へアクセスするための方法として、電子メールでメイク手順情報へのURLを表示端末に通知する、または、QRコード（登録商標）を表示端末で読み取ることにより、表示端末がメイク手順情報へのリンクを取得するようにしてもよい。
＜本開示のまとめ＞
本開示のメイクアップ支援装置は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が前記閾値より大きい場合、一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用する画像決定部と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、を有する。
なお、上記メイクアップ支援装置において、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、ターゲット顔画像から抽出された所定の顔パーツに関する顔特徴量との第１の差分値が、閾値以下であるかを判定し、第１の差分値が閾値以下である場合、ターゲット顔画像において所定の顔パーツに定められているメイクアイテムを採用し、第１の差分値が閾値より大きい場合、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、アレンジ顔画像から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、第２の差分値が閾値以下である場合、アレンジ顔画像において所定の顔パーツに定められているメイクアイテムを採用する。
また、上記メイクアップ支援装置において、画像取得部は、複数のアレンジ顔画像を取得し、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、複数のアレンジ顔画像の各々から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、閾値以下である第２の差分値のうち最小値のアレンジ顔画像に定められているメイクアイテムを採用する。
また、上記メイクアップ支援装置において、画像取得部は、複数のアレンジ顔画像を取得し、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、複数のアレンジ顔画像の各々から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、第２の差分値が閾値以下であるアレンジ顔画像のうち、予め重み付けがされた前記アレンジ顔画像に定められているメイクアイテムを採用する。
また、上記メイクアップ支援装置において、重み付けは、ユーザの属性を示す情報、ユーザのメイクの嗜好を示す情報、または、ユーザ顔画像から抽出された所定の顔パーツ間の相対関係を示す情報に基づいて設定される。
また、上記メイクアップ支援装置において、画像決定部は、採用されたメイクアイテムの画像をユーザ顔画像に重畳したシミュレーション画像を生成し、所定の表示装置へ出力する。
また、上記メイクアップ支援装置において、メイク手順情報は、少なくとも、採用されたメイクアイテムの名称の情報、該メイクアイテムの使用方法の情報、該メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を含む。
また、上記メイクアップ支援装置において、メイクアイテムの画像は、予め定められたメイクアイテムの形状と色を示す画像、または、予め定められたメイクアイテムの形状のみを示す画像のいずれかである。
本開示のメイクアップ支援方法は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得し、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、上記一部の顔パーツについては記アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用し、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成する。
本開示に係るメイクアップ支援装置およびメイクアップ支援方法は、ユーザのメイクを支援するメイクアップ支援装置およびメイクアップ支援方法として有用である。
１ メイク支援システム
１００ メイクアップ支援装置
１０１ 画像取得部
１０２ 画像解析部
１０３ 画像決定部
１０４ 情報生成部
２００ 撮像装置
３００ 表示装置
４００ 操作装置
５００ 記憶装置
６００ 端末装置

Claims (8)

  1. ユーザ顔画像と、所定形状と所定色とを有するメイクパーツ画像が顔パーツ毎に定められたターゲット顔画像と、前記ターゲット顔画像と比較して一部の顔パーツの形状が異なり、所定形状と所定色とを有するメイクパーツ画像が顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、
    前記ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、前記ターゲット顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第１の差分値が、閾値以下であるかを判定し、
    前記第１の差分値が前記閾値以下である場合、前記ターゲット顔画像において前記所定の顔パーツに定められている前記メイクパーツ画像を採用し、
    前記第１の差分値が前記閾値より大きい場合、前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記アレンジ顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第２の差分値が、前記閾値以下であるかを判定し、
    前記第２の差分値が前記閾値以下である場合、前記アレンジ顔画像において前記所定の顔パーツに定められている前記メイクパーツ画像を採用する、画像決定部と、
    採用された前記メイクパーツ画像のメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、
    を有する、メイクアップ支援装置。
  2. 前記画像取得部は、
    複数の前記アレンジ顔画像を取得し、
    複数の前記アレンジ顔画像各々は、前記ターゲット顔画像と形状が異なる顔パーツの部位が異なっており、
    前記画像決定部は、
    前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記複数のアレンジ顔画像の各々から抽出された前記所定の顔パーツに関する顔特徴量との前記第２の差分値が、前記閾値以下であるかを判定し、
    前記閾値以下である前記第２の差分値のうち最小値の前記アレンジ顔画像に定められている前記メイクパーツ画像を採用する、
    請求項１に記載のメイクアップ支援装置。
  3. 前記画像取得部は、
    複数の前記アレンジ顔画像を取得し、
    複数の前記アレンジ顔画像各々は、前記ターゲット顔画像と形状が異なる顔パーツの部位が異なっており、
    前記画像決定部は、
    前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記複数のアレンジ顔画像の各々から抽出された前記所定の顔パーツに関する顔特徴量との前記第２の差分値が、前記閾値以下であるかを判定し、
    前記第２の差分値が前記閾値以下である前記アレンジ顔画像のうち、予め重み付けがされた前記アレンジ顔画像に定められている前記メイクパーツ画像を採用する、
    請求項１に記載のメイクアップ支援装置。
  4. 前記重み付けは、
    前記ユーザの属性を示す情報、前記ユーザのメイクの嗜好を示す情報、または、前記ユーザ顔画像から抽出された所定の顔パーツ間の相対関係を示す情報に基づいて設定される、
    請求項３に記載のメイクアップ支援装置。
  5. 前記画像決定部は、
    採用された前記メイクパーツ画像を前記ユーザ顔画像に重畳したシミュレーション画像を生成し、所定の表示装置へ出力する、
    請求項１に記載のメイクアップ支援装置。
  6. 前記メイク手順情報は、
    少なくとも、採用された前記メイクパーツ画像のメイクアイテムの名称の情報、該メイクアイテムの使用方法の情報、該メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を含む、
    請求項１に記載のメイクアップ支援装置。
  7. 前記メイクパーツ画像は、
    予め定められたメイクアイテムの形状と色を示す画像、または、予め定められたメイクアイテムの形状のみを示す画像のいずれかである、
    請求項６に記載のメイクアップ支援装置。
  8. ユーザ顔画像と、所定形状と所定色とを有するメイクパーツ画像が顔パーツ毎に定められたターゲット顔画像と、前記ターゲット顔画像と比較して一部の顔パーツの形状が異なり、所定形状と所定色とを有するメイクパーツ画像が顔パーツ毎に定められたアレンジ顔画像と、を取得し、
    前記ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、前記ターゲット顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第１の差分値が、閾値以下であるかを判定し、
    前記第１の差分値が前記閾値以下である場合、前記ターゲット顔画像において前記所定の顔パーツに定められている前記メイクパーツ画像を採用し、
    前記第１の差分値が前記閾値より大きい場合、前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記アレンジ顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第２の差分値が、前記閾値以下であるかを判定し、
    前記第２の差分値が前記閾値以下である場合、前記アレンジ顔画像において前記所定の顔パーツに定められている前記メイクパーツ画像を採用し、
    採用された前記メイクパーツ画像のメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成する、
    メイクアップ支援方法。
JP2018527432A 2016-07-14 2017-06-01 メイクアップ支援装置およびメイクアップ支援方法 Active JP6956389B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016139500 2016-07-14
JP2016139500 2016-07-14
PCT/JP2017/020453 WO2018012136A1 (ja) 2016-07-14 2017-06-01 メイクアップ支援装置およびメイクアップ支援方法

Publications (2)

Publication Number Publication Date
JPWO2018012136A1 JPWO2018012136A1 (ja) 2019-04-25
JP6956389B2 true JP6956389B2 (ja) 2021-11-02

Family

ID=60952570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018527432A Active JP6956389B2 (ja) 2016-07-14 2017-06-01 メイクアップ支援装置およびメイクアップ支援方法

Country Status (5)

Country Link
US (1) US10799010B2 (ja)
EP (1) EP3485762A4 (ja)
JP (1) JP6956389B2 (ja)
CN (1) CN109310196B (ja)
WO (1) WO2018012136A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN109299636A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示腮红区域的身体信息分析装置
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
CN109165571B (zh) * 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
US20220277542A1 (en) * 2019-08-21 2022-09-01 L'oreal A computing device, method and apparatus for recommending at least one of a makeup palette or a hair coloration scheme
JP7413691B2 (ja) * 2019-09-24 2024-01-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US11636391B2 (en) * 2020-03-26 2023-04-25 International Business Machines Corporation Automatic combinatoric feature generation for enhanced machine learning
KR20210070377A (ko) * 2020-04-29 2021-06-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 처리 방법 및 장치
CN111833340B (zh) 2020-07-21 2024-03-26 阿波罗智能技术(北京)有限公司 图像检测方法、装置、电子设备及存储介质
JP7308317B1 (ja) * 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7308318B1 (ja) * 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5772484A (en) 1980-10-22 1982-05-06 Toshiba Corp Conversational design device
JP4128680B2 (ja) * 1998-12-28 2008-07-30 花王株式会社 化粧アドバイスシステム
JP2002324126A (ja) * 2001-04-25 2002-11-08 Sharp Corp メイクアップアドバイス情報供給システム
JP5085636B2 (ja) * 2007-02-21 2012-11-28 正 五井野 化粧顔画像生成装置、その方法、サーバ及びプログラム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
CN102184108A (zh) * 2011-05-26 2011-09-14 成都江天网络科技有限公司 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序
JP6128309B2 (ja) * 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN105210110A (zh) * 2013-02-01 2015-12-30 松下知识产权经营株式会社 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序
JP2014149677A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
CN103995911A (zh) * 2013-02-15 2014-08-20 北京银万特科技有限公司 基于智能信息终端的美容选配方法与系统
EP2988486B1 (en) * 2013-04-17 2020-03-11 Panasonic Intellectual Property Management Co., Ltd. Selection of a suitable image for receiving on-screen control
GB2518589B (en) * 2013-07-30 2019-12-11 Holition Ltd Image processing
JP2016081441A (ja) * 2014-10-22 2016-05-16 パナソニックＩｐマネジメント株式会社 美容支援装置、美容支援システムおよび美容支援方法
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US10324739B2 (en) * 2016-03-03 2019-06-18 Perfect Corp. Systems and methods for simulated application of cosmetic effects
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法

Also Published As

Publication number Publication date
EP3485762A4 (en) 2019-07-24
CN109310196A (zh) 2019-02-05
US10799010B2 (en) 2020-10-13
US20190104827A1 (en) 2019-04-11
EP3485762A1 (en) 2019-05-22
WO2018012136A1 (ja) 2018-01-18
CN109310196B (zh) 2021-08-10
JPWO2018012136A1 (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
JP6956389B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
TWI573093B (zh) 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
Zhang et al. Computer models for facial beauty analysis
KR102316723B1 (ko) 인공지능을 이용한 신체 맞춤형 코디 시스템
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
WO2018029963A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
US11178956B1 (en) System, method and mobile application for cosmetic and skin analysis
JP7242848B2 (ja) 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法
US11776187B2 (en) Digital makeup artist
US11961169B2 (en) Digital makeup artist
US20220202168A1 (en) Digital makeup palette
CN111968248A (zh) 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质
Dantcheva et al. Assessment of female facial beauty based on anthropometric, non-permanent and acquisition characteristics
KR20210019182A (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
US11321882B1 (en) Digital makeup palette
KR102465453B1 (ko) 가상화장 합성 처리 인공지능 장치 및 방법
WO2023194466A1 (en) Method for recommending cosmetic products using a knn algorithm
KR102532561B1 (ko) 개인 스타일에 대한 컨설팅 데이터를 제공하는 방법
KR20230117240A (ko) 디지털 메이크업 팔레트
WO2022146766A1 (en) Digital makeup artist
KR20240009440A (ko) 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들
JP2024028059A (ja) 頭髪スタイルの視覚化を支援する方法、情報処理装置及びプログラム
KR20220022431A (ko) 코스메틱 오브젝트의 레코멘딩을 통한 선택적 메이크업 이펙팅 적용 시스템
JP2023177260A (ja) プログラム、情報処理装置、及び方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210917