JPWO2018008138A1 - 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム - Google Patents

化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム Download PDF

Info

Publication number
JPWO2018008138A1
JPWO2018008138A1 JP2016555364A JP2016555364A JPWO2018008138A1 JP WO2018008138 A1 JPWO2018008138 A1 JP WO2018008138A1 JP 2016555364 A JP2016555364 A JP 2016555364A JP 2016555364 A JP2016555364 A JP 2016555364A JP WO2018008138 A1 JPWO2018008138 A1 JP WO2018008138A1
Authority
JP
Japan
Prior art keywords
color
cosmetic
unit
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016555364A
Other languages
English (en)
Other versions
JP6055160B1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6055160B1 publication Critical patent/JP6055160B1/ja
Publication of JPWO2018008138A1 publication Critical patent/JPWO2018008138A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

化粧品情報提供システムは、第1の色の化粧が施された顔を表す第1の画像(311)を取得する第1の取得部と、第1の取得部により取得された第1の画像(311)を解析して、第1の色に対応する化粧品を決定する決定部と、決定部により決定された化粧品を識別する情報を出力する出力部とを備える。

Description

本発明は、化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラムに関する。
化粧のシミュレーションを行う技術が知られている。例えば特許文献1には、ユーザの顔を撮影した動画像にメイクアップ処理を施すメイクアップシミュレーションシステムが記載されている。特許文献2には、ユーザの顔画像を用いて化粧のシミュレーションを行うゲーム装置が記載されている。
特開2012−113747号公報 特開2010−17360号公報
特許文献1に記載の技術では、既存の化粧品を用いた化粧等の予め決められた化粧しかシミュレーションすることができない。しかし、必ずしも予め決められた化粧の色の中に、ユーザの所望の色があるとは限らない。そのため、特許文献1に記載の技術では、ユーザの所望の色の化粧をシミュレーションしたり、所望の色に対応する化粧品の情報を得たりすることができない場合がある。
特許文献2に記載の技術は、単に化粧のシミュレーションを楽しむためのものである。シミュレーションの結果、気に入った化粧を見つけても、その化粧を実現するための化粧品の情報を得ることはできない。
本発明は、ユーザの所望の色に対応する化粧品の情報を提供することを目的とする。
課題を解決する手段
本発明は、第1の色の化粧が施された顔を表す第1の画像を取得する第1の取得部と、前記取得された第1の画像を解析して、前記第1の色に対応する化粧品を決定する決定部と、前記決定された化粧品を識別する情報を出力する出力部とを備える化粧品情報提供システムを提供する。
本発明によれば、ユーザの所望の色に対応する化粧品の情報を提供することができる。
第1実施形態に係る化粧品情報提供システム1の構成の一例を示す図。 サーバ10のハードウェア構成の一例を示す図。 商品テーブル131の一例を示す図。 色テーブル132の一例を示す図。 ユーザテーブル133の一例を示す図。 サーバ10の機能構成の一例を示す図。 ユーザ端末20のハードウェア構成の一例を示す図。 ユーザ端末20の機能構成の一例を示す図。 第1実施形態に係る購入支援処理の一例を示すシーケンス図。 第1実施形態に係る購入支援処理におけるユーザ端末20の画面遷移の一例を示す図。 類似度の一例を示す図。 補正処理を示すシーケンス図。 第2実施形態に係るユーザ端末20の機能構成の一例を示す図。 第2実施形態に係る購入支援処理を示すシーケンス図。 第2実施形態に係る購入支援処理におけるユーザ端末20の画面遷移の一例を示す図。 変形例に係る画面36の一例を示す図。 変形例に係る画面37の一例を示す図。 変形例に係る画面38の一例を示す図。 変形例に係るサーバ10の機能構成の一例を示す図。 変形例に係る優先度の一例を示す図。 変形例に係る商品テーブル134の一例を示す図。 変形例に係る商品テーブル135の一例を示す図。
1…化粧品情報提供システム、10…サーバ、20…ユーザ端末、101…第1の取得部、102…抽出部、103…第1の算出部、104…決定部、105…送信部、106…第3の取得部、107…第2の算出部、108…補正部、109…付与部、201、206…第2の取得部、202、209…生成部、203、207…送信部、204、208…受信部、205、210…出力部
1.第1実施形態
1−1.構成
図1は、第1実施形態に係る化粧品情報提供システム1の構成の一例を示す図である。化粧品情報提供システム1は、サーバ10とユーザ端末20とを備える。サーバ10とユーザ端末20とは、ネットワーク2を介して接続される。ネットワーク2は、例えばインターネットである。ただし、ネットワーク2は、インターネットに限定されず、他の通信回線であってもよい。
サーバ10は、ユーザの所望の色に対応する化粧品の情報をユーザ端末20に提供する。ユーザ端末20は、ユーザに使用される。例えばユーザは、ユーザ端末20を使用して化粧のカラーシミュレーションを行う。また、ユーザは、ユーザ端末20を使用してサーバ10から提供された化粧品の情報を閲覧する。
図2は、サーバ10のハードウェア構成の一例を示す図である。サーバ10は、コンピュータである。サーバ10は、制御部11と、通信部12と、記憶部13とを備える。
制御部11は、サーバ10の各部を制御する。制御部11としては、例えばCPU(Central Processing Unit)等のプロセッサと、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリとが用いられる。このプロセッサ及びメモリの数は、それぞれ単数であってもよいし、複数であってもよい。通信部12は、ネットワーク2に接続される通信インタフェースである。通信部12は、制御部11の制御の下、ネットワーク2を介してユーザ端末20とデータ通信を行う。
記憶部13は、各種のデータ及びプログラムを記憶する。記憶部13としては、例えばハードディスクドライブが用いられる。記憶部13に記憶されるプログラムには、サーバプログラムが含まれる。サーバプログラムには、後述する購入支援処理、補正処理、及びフィードバック処理におけるサーバ10側の手順が記述される。また、記憶部13には、商品テーブル131と、色テーブル132と、ユーザテーブル133とが記憶される。
図3は、商品テーブル131の一例を示す図である。商品テーブル131は、化粧品に関する情報を格納する。商品テーブル131には、化粧品の名称と、画像データと、商品情報とが格納される。化粧品の名称は、化粧品を識別する情報である。画像データは、化粧品の画像を示すデータである。この画像は、例えば化粧品のパッケージである外観を撮影した写真である。商品情報は、化粧品の詳細情報である。例えば、商品情報には、化粧品の価格やブランド名が含まれる。また、商品情報には、化粧品の発売日や人気度が含まれてもよい。
図4は、色テーブル132の一例を示す図である。色テーブル132は、化粧品の色に関する情報を格納する。具体的には、色テーブル132には、化粧品の名称と、色情報とが格納される。化粧品の名称は、商品テーブル131に格納された化粧品の名称と同一のものである。色情報は、化粧品を用いた化粧の色を示す情報である。色情報としては、例えばマンセル値が用いられる。なお、色情報として、他の表示系で表される値が用いられてもよい。また、色情報は、単一の化粧品を用いた化粧の色であってもよいし、複数の化粧品を組み合わせて用いた化粧の色であってもよい。例えば、色情報「C2」は、アイシャドウBとアイシャドウCとを重ねて塗ったときの化粧の色を示す。
図5は、ユーザテーブル133の一例を示す図である。ユーザテーブル133は、ユーザに関する情報を格納する。具体的には、ユーザテーブル133には、ユーザIDと、肌の色のタイプと、技術レベルと、化粧道具の種別と、お気に入りのブランド名とが格納される。ユーザIDは、ユーザを識別する情報である。肌の色のタイプは、ユーザの肌の色のタイプである。技術レベルは、ユーザの化粧の技術レベルである。化粧道具の種別は、ユーザが所有する化粧道具の種別である。お気に入りのブランド名は、ユーザが気に入っている化粧品のブランドの名称である。これらの情報は、例えばユーザにより予め登録される。
図6は、サーバ10の機能構成の一例を示す図である。サーバ10は、第1の取得部101、抽出部102、第1の算出部103、決定部104、送信部105、第3の取得部106、第2の算出部107、及び補正部108の機能を有する。第1の取得部101、送信部105、及び第3の取得部106は、制御部11の制御の下、通信部12により実現される。抽出部102、第1の算出部103、決定部104、第2の算出部107、及び補正部108は、制御部11により実現される。例えば、これらの機能は、プロセッサがサーバプログラムをメモリに格納し、実行することにより実現される。
第1の取得部101は、第1の色の化粧が施された顔を表す第1の画像をユーザ端末20から取得する。第1の画像は、例えばユーザの顔画像を用いて生成される。抽出部102は、第1の取得部101により取得された第1の画像から第1の色を抽出する。この色には、色の種類だけではなく、色の濃度や質感も含まれる。
第1の算出部103は、抽出部102により抽出された第1の色と、予め決められた化粧品を用いた化粧の第2の色との類似度を算出する。この予め決められた化粧品は、例えば商品テーブル131に情報が格納された化粧品である。この化粧品は、単一の化粧品であってもよいし、複数の化粧品の組み合わせであってもよい。決定部104は、第1の算出部103により算出された類似度が閾値より高い化粧品を決定する。この閾値は、例えば予め設定される。
送信部105は、決定部104により決定された化粧品を識別する情報をユーザ端末20に送信する。化粧品を識別する情報としては、例えば化粧品の名称が用いられる。ただし、化粧品を識別する情報は、化粧品の名称に限定されず、化粧品を識別できる情報であればどのような情報であってもよい。また、化粧品を識別する情報としては、バーコードや二次元コード等、化粧品を識別する情報を符号化した画像が用いられてもよい。
第3の取得部106は、決定部104により決定された化粧品を識別する情報がユーザ端末20から出力された後に、この化粧品を用いて第3の色の化粧が施されたユーザの顔を表す第5の画像をユーザ端末20から取得する。第2の算出部107は、第1の色と第3の色との差に応じて、補正値を算出する。補正部108は、第1の取得部101により、第4の色の化粧が施された顔を表す第6の画像が取得されると、第2の算出部107により算出された補正値を用いて、第4の色を補正する。
図7は、ユーザ端末20のハードウェア構成の一例を示す図である。ユーザ端末20は、タブレット端末やパーソナルコンピューター等のコンピュータである。ユーザ端末20は、制御部21と、通信部22と、記憶部23と、入力部24と、表示部25と、撮像部26と、画像読取部27とを備える。
制御部21は、ユーザ端末20の各部を制御する。制御部21としては、例えばCPU等のプロセッサと、ROMやRAM等のメモリとが用いられる。このプロセッサ及びメモリの数は、それぞれ単数であってもよいし、複数であってもよい。通信部22は、ネットワーク2に接続される通信インタフェースである。通信部22は、制御部21の制御の下、ネットワーク2を介してサーバ10とデータ通信を行う。
記憶部23は、各種のデータ及びプログラムを記憶する。記憶部23としては、例えばハードディスクドライブが用いられる。記憶部23に記憶されるプログラムには、クライアントプログラムが含まれる。クライアントプログラムには、後述する購入支援処理、補正処理、及びフィードバック処理におけるユーザ端末20側の手順が記述される。また、記憶部23に記憶されるデータには、目、頬、口等の化粧が施される顔の各部位の化粧パターンが記憶される。この化粧パターンは、少なくとも対応する部位に応じた形状を有する。
入力部24は、ユーザの操作に応じた情報を入力する。入力部24としては、例えばマウス及びキーボードが用いられる。あるいは、入力部24として、タッチパネルが用いられてもよい。表示部25は、各種の情報を表示する。表示部25としては、例えば液晶ディスプレイが用いられる。
撮像部26は、画像を撮影する。撮像部26としては、例えばカメラが用いられる。画像読取部27は、画像を読み取る。画像読取部27としては、例えばスキャナが用いられる。
図8は、ユーザ端末20の機能構成の一例を示す図である。ユーザ端末20は、第2の取得部201、生成部202、送信部203、受信部204、及び出力部205の機能を有する。送信部203及び受信部204は、制御部21の制御の下、通信部22により実現される。第2の取得部201、生成部202、及び出力部205は、制御部21により実現される。これらの機能は、例えばプロセッサがクライアントプログラムをメモリに格納し、実行することにより実現される。
第2の取得部201は、ユーザの顔を表す第2の画像を撮像部26から取得する。生成部202は、第2の取得部201により取得された第2の画像を用いて、ユーザにより選択された色の化粧が施された顔を表す第3の画像を生成する。送信部203は、生成部202により生成された第3の画像を示す画像データをサーバ10に送信する。受信部204は、化粧品を識別する情報をサーバ10から受信する。
出力部205は、受信部204により受信された情報を出力する。例えば、出力部205は、情報を表示部25に表示させる。ただし、情報の出力は、情報の表示に限定されない。例えば、ユーザ端末20がプリンターを備える場合には、プリンターにより情報がプリントされて出力されてもよい。他の例として、ユーザ端末20がスピーカーを備える場合には、情報が音としてスピーカーから出力されてもよい。
1−2.購入支援処理
図9は、第1実施形態に係る購入支援処理の一例を示すシーケンス図である。図10は、この購入支援処理におけるユーザ端末20の画面遷移の一例を示す図である。この購入支援処理では、ユーザの顔画像を用いて化粧のカラーシミュレーションが行われる。このカラーシミュレーションの結果を見てユーザが気に入った色を選択すると、その色に対応する化粧品がレコメンドされる。
ステップS11において、カラーシミュレーション処理が行われる。具体的には、まずユーザは、撮像部26を用いて自分の顔画像311を撮影する。顔画像311は、本発明に係る「第2の画像」の一例である。第2の取得部201は、撮像部26により撮影された顔画像311を取得する。
顔画像311が撮影されると、図10に示す画面31が表示部25に表示される。画面31には、顔画像311が含まれる。画面31は、化粧を施す部位(以下、「第1の対象部位」という。)を選択する操作を受け付ける。例えば、ユーザが入力部24を用いて目を選択する操作を行うと、第1の対象部位として目が選択される。なお、ここでいう「目」とは、瞼の間の眼球部分ではなく、アイホールのことをいう。
第1の対象部位が選択されると、図10に示す画面32が表示部25に表示される。画面32には、複数の色の見本321が含まれる。この見本321の色は、既存の化粧品の色であってもよいし、既存の化粧品とは無関係の色であってもよい。画面32は、これらの見本321の色の中から化粧の色を選択する操作を受け付ける。例えば、ユーザが入力部24を用いてブラウンを選択する操作を行うと、化粧の色としてブラウンが選択される。
化粧の色が選択されると、図10に示す画面33が表示部25に表示される。画面33は、選択された色の特徴を調整する操作を受け付ける。この特徴には、色の濃度や質感が含まれる。ただし、色の特徴は、色の濃度や質感に限定されず、色が有するそれ以外の特徴であってもよい。画面33には、スライダー331〜333が含まれる。スライダー331〜333は、化粧の色の濃度、パールの量、及びラメの量を調整する操作に用いられる。このパールの量及びラメの量は、色の質感に影響を及ぼす。ユーザは、入力部24を用いてスライダー331〜333を操作することにより、色の特徴を調整する。また、画面33には、調整された色の見本334が含まれる。この見本334は、ユーザの操作により色の特徴が調整される度に、調整後の色を表す。さらに、画面33には、決定ボタン335が含まれる。色の特徴の調整が完了すると、ユーザは、入力部24を用いて決定ボタン335を押す。以下の説明では、調整後の色を「第1の対象色」という。第1の対象色は、本発明に係る「第1の色」の一例である。
決定ボタン335が押されると、生成部202は、上述した顔画像311を用いて、第1の対象部位に第1の対象色の化粧が施されたユーザの顔画像341を生成する。顔画像341は、本発明に係る「第1の画像」及び「第3の画像」の一例である。具体的には、生成部202は、画像認識により、顔画像311から第1の対象部位を特定する。生成部202は、特定された第1の対象部位の上に、第1の対象色の化粧パターンを重ねる。この化粧パターンは、目用の化粧のパターンであり、アイホールに応じた形状を有する。この化粧パターンは、記憶部23から読み出して用いられる。このようにして、ユーザの顔画像341が生成される。
ユーザの顔画像341が生成されると、図10に示す画面34が表示部25に表示される。画面34には、顔画像341が含まれる。また、画面34には、決定ボタン342が含まれる。ユーザは、第1の対象色が気に入った場合には、入力部24を用いて決定ボタン342を押す。決定ボタン342が押されると、この処理はステップS12に進む。
図9に戻り、ステップS12において、送信部203は、ユーザ端末20を使用するユーザのユーザIDとともに、ユーザの顔画像341を示す画像データと第1の対象部位を示す部位情報とをサーバ10に送信する。このユーザIDとしては、例えばユーザがユーザ端末20にログインする際に、入力部24を用いた操作により入力されたものが用いられる。ユーザ端末20から送信されたユーザID、画像データ、及び部位情報は、ネットワーク2を介してサーバ10に到達する。第1の取得部101は、このユーザID、画像データ、及び部位情報を受信する。
ステップS13において、受信された画像データが表す顔画像341を解析することにより、第1の対象部位に施された化粧の色、すなわち第1の対象色に対応する化粧品が決定される。
具体的には、まず抽出部102は、画像認識により、顔画像341から第1の対象部位の領域を特定する。この特定は、例えば目、鼻、口等の特徴点の位置関係を用いた周知の顔認識技術を用いて行われる。例えば、第1の対象部位が目である場合には、アイホールの領域が特定される。続いて、抽出部102は、特定された領域から第1の対象色を抽出する。
第1の算出部103は、第1の対象部位に対応する化粧品の色情報を色テーブル132から読み出す。第1の対象部位に対応する化粧品とは、第1の対象部位の化粧に用いられる化粧品のことをいう。例えば、第1の対象部位が目である場合には、第1の対象部位に対応する化粧品はアイシャドウになる。この場合、例えば図4に示す色テーブル132から、アイシャドウA〜Dに対応付けて格納された色情報C1〜C3が読み出される。
続いて、第1の算出部103は、抽出部102により抽出された第1の対象色と、色テーブル132から読み出された色情報が示す色との類似度を算出する。この色情報が示す色は、本発明に係る「第2の色」の一例である。例えば、第1の対象色と色情報C1〜C3が示す色との類似度が算出される。
図11は、算出された類似度の一例を示す図である。この例では、第1の対象色と色情報C1が示す色との類似度は「98」である。第1の対象色と色情報C2が示す色との類似度は「92」である。第1の対象色と色情報C3が示す色との類似度は「89」である。
決定部104は、第1の算出部103により算出された類似度が閾値より高い色の化粧品を決定する。決定部104により決定される化粧品は、単一の化粧品であってもよいし、複数の化粧品の組み合わせであってもよい。ここでは、閾値が「90」である場合を想定する。この場合、第1の対象色と色情報C1が示す色との類似度「98」と、第1の対象色と色情報C2が示す色との類似度「92」とが閾値より高くなる。したがって、アイシャドウAと、アイシャドウB及びCの組み合わせとが決定される。
図9に戻り、ステップS14において、送信部105は、ステップS13で決定された化粧品の情報をユーザ端末20に送信する。この化粧品の情報には、商品テーブル131に格納された化粧品の名称、画像データ、及び商品情報が含まれる。この例では、アイシャドウAの名称、画像データ及び商品情報と、アイシャドウBの名称、画像データ及び商品情報と、アイシャドウCの名称、画像データ、及び商品情報とが、商品テーブル131から読み出されて送信される。サーバ10から送信された化粧品の情報は、ネットワーク2を介してユーザ端末20に到達する。受信部204は、この化粧品の情報を受信する。
ステップS15において、出力部205は、受信された化粧品の情報に基づいて、表示部25に購入画面35を表示させる。この例では、図10に示すように、購入画面35には、アイシャドウAの名称、画像、及び商品情報と、アイシャドウBの名称、画像、及び商品情報と、アイシャドウCの名称、画像、及び商品情報とが含まれる。
また、購入画面35には、購入ボタン351及び352が含まれる。購入ボタン351は、アイシャドウAの購入を実行する操作に用いられる。購入ボタン351は、アイシャドウB及びCの購入を実行する操作に用いられる。例えば、ユーザは、アイシャドウAを購入する場合には、入力部24を用いて購入ボタン351を押す。購入ボタン351が押されると、電子商取引によりアイシャドウAを購入する手続きが行われる。これにより、アイシャドウAの購入が完了する。
1−3.補正処理
図12は、補正処理を示すシーケンス図である。補正処理は、上述した購入支援処理によりユーザが実際に化粧品を購入した後に行われる。上述した購入支援処理において、ユーザは、カラーシミュレーションを行った色に近い色の化粧品を購入する。しかし、カラーシミュレーションを行った色と、実際に購入した化粧品を使用したときの色との間に差が生じる場合がある。この補正処理は、次回の購入支援処理においてこの差を減らすために行われる。
ここで、記憶部13には、上述したステップS12でユーザ端末20から受信したユーザID、画像データ、及び部位情報が記憶される。以下の説明では、この画像データを「参照画像データ」という。
図12に示すステップS21において、ユーザは、購入した化粧品を用いて化粧を施した後、撮像部26を用いて自分の顔画像を撮影する。例えば、上述した購入支援処理によりアイシャドウAが購入された場合、アイシャドウAを用いて化粧を施したユーザの顔画像が撮影される。この顔画像は、本発明に係る「第5の画像」の一例である。
ステップS22において、送信部203は、ユーザ端末20を使用するユーザのユーザIDとともに、ステップS21で撮影された顔画像を示す画像データをサーバ10に送信する。このユーザIDとしては、例えばユーザがユーザ端末20にログインする際に、入力部24を用いた操作により入力されたものが用いられる。また、以下の説明では、この画像データを「対象画像データ」という。ユーザ端末20から送信されたユーザID及び画像データは、ネットワーク2を介してサーバ10に到達する。第3の取得部106は、このユーザID及び対象画像データを受信する。
ステップS23において、受信された対象画像データと記憶部13に記憶された参照画像データとを用いて、補正値が算出される。具体的には、抽出部102は、上述した購入支援処理のステップS103と同様に、参照画像データが示す顔画像341から、第1の対象部位に施された化粧の色(以下、「理想の色」という。)を抽出する。理想の色は、本発明に係る「第1の色」の一例である。また、抽出部102は、対象画像データが示す顔画像から、第1の対象部位に施された化粧の色(以下、「実際の色」)を抽出する。実際の色は、本発明に係る「第3の色」の一例である。第2の算出部107は、抽出部102により抽出された理想の色と実際の色とを比較して、これらの色の差を求める。第2の算出部107は、この色の差に基づいて、補正値を算出する。例えば、実際の色が理想の色よりも濃い場合には、色の濃度を下げる補正値が算出される。算出された補正値は、記憶部13に記憶される。
以後、購入支援処理においてステップS13に進むと、補正部108は、記憶部13に記憶された補正値を用いて、抽出部102により抽出された第1の対象色を補正する。この第1の対象色は、第1の取得部101により新たに取得されたユーザの顔画像に含まれる化粧の色である。この顔画像は、本発明に係る「第6の画像」の一例である。この顔画像に含まれる化粧の色は、本発明に係る「第4の色」の一例である。例えば、補正値が色の濃度を下げるものである場合には、補正値を用いて第1の対象色の濃度が下げられる。第1の算出部103は、補正後の第1の対象色を用いて、類似度を算出する。これにより、補正後の第1の対象色に対応する化粧品が決定され、決定された化粧品の情報が提供される。
1−4.フィードバック処理
上述した購入支援処理においてユーザにより選択された第1の対象色は、ユーザの所望の化粧の色である。この第1の対象色の情報は、化粧品の製造や開発を行うメーカー等の組織にとって有益な情報であると考えられる。特に、第1の対象色が既存の化粧品にはない色である場合や、多くのユーザにより同様の第1の対象色が選択される場合には、第1の対象色の情報は、新たな化粧品の開発に役立つと考えられる。そこで、第1の対象色を示す色情報が化粧品の製造や開発を行うメーカー等の組織に提供されてもよい。
ここでは、この組織がネットワーク2に接続された外部装置を有する場合を想定する。この場合、送信部203は、第1の対象色を示す色情報を外部装置に送信する。他の例として、図10に示すように、購入画面35には、閉じるボタン563が含まれる。ユーザは、購入画面35に購入したい化粧品の情報が含まれない場合には、入力部24を用いて閉じるボタン563を押す。これにより、購入画面35が閉じられる。このように、購入画面35から化粧品の購入が行われなかった場合には、第1の対象色は既存の化粧品にはない色である可能性が高い。そのため、送信部203は、閉じるボタン563が押された場合に限り、第1の対象色を示す色情報を外部装置に送信してもよい。他の例として、サーバ10の送信部105が、第1の対象色を示す色情報を外部装置に送信してもよい。
第1実施形態によれば、ユーザの所望の色に対応する化粧品の情報が提供される。ユーザは、この情報を閲覧することにより、所望の色に対応する化粧品を購入することができる。なお、この所望の色は、既存の化粧品を用いた化粧の色に限定されず、これ以外の色であってもよい。
2.第2実施形態
2−1.構成
第2実施形態では、第1実施形態とは異なる購入支援処理が行われる。第2実施形態に係る化粧品情報提供システム1の構成、サーバ10のハードウェア構成、及びユーザ端末20のハードウェア構成は、第1実施形態と同じである。サーバ10の機能構成は、基本的には第1実施形態と同じである。ただし、第1の取得部101は、ユーザとは異なる人物の顔を表す第1の画像を取得する。一方、ユーザ端末20の機能構成は、第1実施形態と異なる。
図13は、第2実施形態に係るユーザ端末20の機能構成の一例を示す図である。ユーザ端末20は、第2の取得部206、送信部207、受信部208、生成部209、及び出力部210の機能を有する。送信部207及び受信部208は、制御部21の制御の下、通信部22により実現される。第2の取得部206、生成部209、及び出力部210は、制御部21により実現される。例えば、これらの機能は、プロセッサがクライアントプログラムをメモリに格納し、実行することにより実現される。
第2の取得部206は、ユーザとは異なる人物の顔を表す第1の画像を画像読取部27又は撮像部26から取得する。送信部207は、第2の取得部206により取得された第1の画像を示す画像データをサーバ10に送信する。受信部208は、サーバ10から化粧品を識別する情報を受信する。出力部210は、受信部208により受信された情報を出力する。例えば、出力部210は、情報を表示部25に表示させる。ただし、第1実施形態で説明したように、情報の出力は、情報の表示に限定されない。
また、第2の取得部206は、ユーザの顔を表す第2の画像を撮像部26から取得する。生成部209は、第2の取得部206により取得された第2の画像を用いて、受信部208により受信された情報により識別される化粧品を用いた化粧が施された顔を表す第4の画像を生成する。出力部210は、生成部209により生成された第4の画像を出力する。
2−2.購入支援処理
図14は、第2実施形態に係る購入支援処理の購入支援処理を示すシーケンス図である。図15は、この購入支援処理におけるユーザ端末20の画面遷移の一例を示す図である。購入支援処理では、ユーザは、気に入った化粧が施された他人の顔画像をユーザ端末20に入力する。これにより、この化粧の色に対応する化粧品がレコメンドされる。また、ユーザの顔画像を用いて、レコメンドされた化粧品を用いた化粧のシミュレーションが行われる。
ステップS31において、ユーザは、化粧が施された他人の顔画像411をユーザ端末20に入力する。この顔画像411は、ユーザとは異なる人物の顔画像である。例えば、ユーザが雑誌に掲載されたモデルの化粧を気に入った場合を想定する。この場合、ユーザは、このモデルが掲載されたページを画像読取部27に読み取らせる。これにより、モデルの顔画像411がユーザ端末20に入力される。
他の例として、ユーザが友達の化粧を気に入った場合を想定する。この場合、ユーザは、撮像部26を用いて友達の顔画像411を撮影する。これにより、友達の顔画像411がユーザ端末20に入力される。以下の説明では、ステップS31で入力された顔画像411を「モデル画像411」という。モデル画像411は、本発明に係る「第1の画像」の一例である。
モデル画像411が入力されると、図15に示す画面41が表示部25に表示される。画面41には、モデル画像411が含まれる。画面41は、化粧が施された部位を選択する操作を受け付ける。ここでは、ユーザがモデル画像411に含まれる目の化粧を気に入った場合を想定する。この場合、ユーザは、入力部24を用いて目を選択する操作を行う。これにより、目が選択される。以下の説明では、ユーザの操作により選択された部位を「第2の対象部位」という。第2の対象部位が選択されると、この処理はステップS32に進む。
図14に戻り、ステップS32において、送信部207は、ユーザ端末20を使用するユーザのユーザIDとともに、ステップS31において入力されたモデル画像411を表す画像データと第2の対象部位を示す部位情報とをサーバ10に送信する。このユーザIDとしては、上述した第1実施形態と同様に、例えばユーザがユーザ端末20にログインする際に、入力部24を用いた操作により入力されたものが用いられる。ユーザ端末20から送信されたユーザID、画像データ、及び部位情報は、ネットワーク2を介してサーバ10に到達する。第1の取得部101は、このユーザID、画像データ、及び部位情報を受信する。
ステップS33において、受信された画像データが表すモデル画像411を解析することにより、第2の対象部位に施された化粧の色に対応する化粧品が決定される。
具体的には、まず抽出部102は、上述した第1実施形態と同様に、画像認識により、モデル画像411から第2の対象部位の領域を特定し、特定された領域から化粧の色を抽出する。以下の説明では、抽出された化粧の色を「第2の対象色」という。第2の対象色は、本発明に係る「第1の色」の一例である。
第1の算出部103は、上述した第1実施形態と同様に、第2の対象部位に対応する化粧品の色情報を色テーブル132から読み出し、抽出部102により抽出された第2の対象色と、読み出された色情報が示す色との類似度を算出する。この色情報が示す色は、本発明に係る「第2の色」の一例である。決定部104は、上述した第1実施形態と同様に、算出された類似度が閾値より高い色の化粧品を決定する。ここでは、アイシャドウAと、アイシャドウB及びCの組み合わせとが決定された場合を想定する。
ステップS34において、送信部105は、上述した第1実施形態と同様に、ステップS33で決定された化粧品の情報をユーザ端末20に送信する。サーバ10から送信された化粧品の情報は、ネットワーク2を介してユーザ端末20に到達する。受信部204は、この化粧品の情報を受信する。
ステップS35において、化粧シミュレーション処理が行われる。具体的には、まず図15に示す画面42が表示部25に表示される。画面42は、受信された化粧品の情報に基づいて表示される。この例では、画面42には、アイシャドウAの名称、画像、及び商品情報と、アイシャドウBの名称、画像、及び商品情報と、アイシャドウCの名称、画像、及び商品情報とが含まれる。
画面42は、化粧品を選択する操作を受け付ける。画面42には、選択ボタン421及び422が含まれる。選択ボタン421は、アイシャドウAを選択する操作に用いられる。選択ボタン422は、アイシャドウB及びCの組み合わせを選択する操作に用いられる。ここでは、ユーザがアイシャドウAの化粧をシミュレーションしたい場合を想定する。この場合、ユーザは、入力部24を用いて選択ボタン421を押す。これにより、アイシャドウAが選択される。以下の説明では、選択された化粧品を「対象化粧品」という。
続いて、ユーザは、撮像部26を用いて自分の顔画像を撮影する。この顔画像は、本発明に係る「第2の画像」の一例である。第2の取得部206は、撮像部26により撮影された顔画像を取得する。他の例として、ユーザの顔画像を示す画像データが予め記憶部23に記憶されていてもよい。この場合、記憶部23から画像データが読み出されて用いられる。
生成部202は、上述した第1実施形態と同様に、取得された顔画像を用いて、対象化粧品を用いた化粧が第2の対象部位に施されたユーザの顔画像431を生成する。顔画像431は、本発明に係る「第4の画像」の一例である。
ユーザの顔画像431が生成されると、図15に示す画面43が表示部25に表示される。画面43には、顔画像431が含まれる。また、画面43には、進むボタン432が含まれる。ユーザは、この化粧が気に入った場合には、入力部24を用いて進むボタン432を押す。進むボタン432が押されると、この処理はステップS36に進む。
図14に戻り、ステップS36において、出力部210は、表示部25に購入画面44を表示させる。購入画面44は、受信された化粧品の情報のうち、対象化粧品の情報が含まれる。この例では、図15に示すように、購入画面44には、アイシャドウAの名称、画像、及び商品情報が含まれる。
また、購入画面44には、購入ボタン441が含まれる。購入ボタン441は、アイシャドウAの購入を実行する操作に用いられる。例えば、ユーザは、アイシャドウAを購入する場合には、入力部24を用いて購入ボタン441を押す。購入ボタン441が押されると、電子商取引によりアイシャドウAを購入する手続きが行われる。これにより、アイシャドウAの購入が完了する。
第2実施形態において、第1実施形態で説明した補正処理及びフィードバック処理が行われてもよい。
第2実施形態によれば、ユーザの所望の色に対応する化粧品の情報が提供される。この所望の色は、ユーザとは異なる人物の顔画像から抽出される。ユーザは、この情報を閲覧することにより、所望の色に対応する化粧品を購入することができる。
3.変形例
本発明は上述した実施形態に限定されない。実施形態は、以下のように変形してもよい。また、以下の変形例を組み合わせて実施してもよい。
3−1.変形例1
上述したカラーシミュレーション処理において、ユーザが化粧の色を選択する方法は第1実施形態で説明した方法に限定されない。
例えば、ユーザが化粧の色を選択する際に、ユーザに似合う色がレコメンドされてもよい。この場合、ユーザ端末20は、図8に示す機能に加えて、抽出部及び判定部の機能を有する。抽出部及び判定部は、制御部21により実現される。例えば、抽出部及び判定部は、プロセッサがクライアントプログラムをメモリに格納して、実行することにより実現される。また、表示部25には、画面32に代えて画面36が表示される。
図16は、画面36の一例を示す図である。画面36には、複数の色の見本361に加えて、ユーザに似合う色の見本362が含まれる。このユーザに似合う色は、例えば以下のような方法で決定される。まず、抽出部は、画像認識により、第2の取得部201により取得されたユーザの顔画像311から肌の色を抽出する。判定部は、抽出部により抽出された色に基づいて、ユーザに似合う色のタイプを判定する。例えば、ユーザの肌の色が黄みがかった色である場合には、ユーザに似合う色のタイプとして黄色ベースの色が判定される。この場合、ユーザに似合う色として、黄色ベースの色が決定される。画面36は、ユーザに似合う色を含む複数の色から、化粧の色を選択する操作を受け付ける。この変形例によれば、ユーザは自分に似合う色を容易に選択することができる。
他の例として、ユーザにより複数の色を用いて新たな色が生成され、生成された色が化粧の色として選択されてもよい。この場合、表示部25には、画面32に代えて画面37が表示される。
図17は、画面37の一例を示す図である。画面37には、複数の色の見本371が含まれる。画面37は、複数の色を選択する操作を受け付ける。ユーザが入力部24を用いて複数の色を選択する操作を行うと、これらの色を混ぜ合わせた新たな色が生成される。画面37には、生成された新たな色の見本372が含まれる。画面37は、生成された新たな色を選択する操作を受け付ける。この変形例によれば、複数の色の見本371の中に、ユーザの所望の色がない場合に、複数の色を用いて所望の色を生成することができる。
他の例として、ユーザ端末20に入力された画像から色が選択されてもよい。この画像は、例えば画像読取部27を用いてユーザ端末20に入力される。この画像は、人物の顔画像である必要はない。この画像は、色を有する画像であれば、どのような画像であってもよい。
ここでは、ユーザがある花の色を気に入った場合を想定する。この場合、ユーザは、撮像部26を用いてこの花の画像381を撮影する。これにより、ユーザ端末20に花の画像381が入力される。表示部25には、画面32に代えて画面38が表示される。
図18は、画面38の一例を示す図である。画面38には、花の写真381が含まれる。画面38は、花の写真381に含まれる色の中から、色を選択する操作を受け付ける。例えば、ユーザが入力部24を用いて花のある部分を選択する操作を行うと、この部分の色が選択される。この変形例によれば、ユーザが気に入った色を見つけたときに、その色を化粧の色として選択することができる。
3−2.変形例2
ユーザの所望の色に対応する化粧品を決定する方法は、上述した第1実施形態又は第2実施形態で説明した方法に限定されない。
例えば、ユーザの肌の色を加味して、化粧品が決定されてもよい。この変形例に係る抽出部102は、第1の取得部101により取得された画像から肌の色を抽出する。第1の算出部103は、抽出部102により抽出された色の上に化粧の色を重ねることにより得られる色と、予め定められた化粧品を用いた化粧の色との類似度を算出する。これにより、ユーザが実際に化粧品を用いたときに、所望の色に近い色の化粧を実現できる化粧品を決定することができる。
他の例として、付加情報を加味して、化粧品が決定されてもよい。
図19は、この変形例に係るサーバ10の機能構成の一例を示す図である。サーバ10は、図6に示す機能の他に、付与部109の機能を有する。
付与部109は、第1の算出部103により算出された類似度が閾値より高い化粧品に対して、この化粧品又はユーザに関する付加情報に基づいて優先度を付与する。この付加情報には、例えば化粧品の価格、化粧品の人気度、化粧品の発売日、ユーザの肌の色のタイプ、お気に入りの化粧品のブランド名、化粧の技術レベル、又はユーザが所有する化粧道具の種別が含まれる。
化粧品の価格、化粧品の人気度、及び化粧品の発売日は、例えば商品テーブル131に格納された商品情報に含まれる。例えば、ユーザに付与されたユーザIDが「001」である場合には、商品テーブル131においてユーザID「001」と対応付けて格納された商品情報からこれらの情報が抽出されて使用される。
ユーザの肌の色のタイプ、お気に入りの化粧品のブランド名、化粧の技術レベル、及びユーザが所有する化粧道具の種別は、例えばユーザテーブル133に格納されている。例えば、ユーザに付与されたユーザIDが「001」である場合には、ユーザID「001」と対応付けて格納されたこれらの情報がユーザテーブル133から読み出されて使用される。
例えば、付加情報に化粧品の価格が含まれる場合、化粧品の価格が安い程、優先度が高くなる。あるいは、化粧品の価格が高い程、優先度が高くなってもよい。付加情報に化粧品の人気度が含まれる場合、人気度が高い程、優先度が高くなる。付加情報に化粧品の販売日が含まれる場合、発売日が新しい程、優先度が高くなる。
付加情報にユーザの肌の色のタイプが含まれる場合、このタイプに合う色の化粧品の優先度は、他の化粧品の優先度より高くなる。例えば、ユーザの肌の色のタイプが黄色ベースである場合には、黄色ベースの色の化粧品の優先度は、他の化粧品の優先度より高くなる。
付加情報にユーザのお気に入りの化粧品のブランド名が含まれる場合、このブランドの化粧品の優先度は、他のブランドの化粧品の優先度より高くなる。例えば、ユーザがある化粧品のブランドがお気に入りの場合には、このブランドの化粧品の優先度が高くなる。
付加情報にユーザの化粧技術のレベルが含まれる場合、この化粧技術のレベルに合う化粧品の優先度は、他の化粧品の優先度より高くなる。例えば、ユーザの化粧技術のレベルが低い場合には、簡単に使用できる化粧品の優先度が他の化粧品の優先度より高くなる。
付加情報にユーザが所有する化粧道具の種別が含まれる場合、この化粧道具を使用する化粧品の優先度は、他の化粧道具を使用する化粧品の優先度より高くなる。例えば、ユーザがブラシを有している場合には、ブラシを使用する化粧品の優先度が他の化粧品の優先度より高くなる。
この変形例に係る決定部104は、付与部109により付与された優先度が高い順番に所定の数の化粧品を決定する。
図20は、付与された優先度の一例である。なお、以下の説明では、上述した第1実施形態で用いられた第1の対象色と上述した第2実施形態で用いられた第2の対象色とを総称して「対象色」という。この例では、上述した図11と同様に、対象色と色情報C1が示す色との類似度は「98」である。対象色と色情報C2が示す色との類似度は「92」である。対象色と色情報C3が示す色との類似度は「89」である。ただし、ここでは、閾値が80である場合を想定する。この場合、これらの類似度はいずれも閾値より高くなる。
この場合、アイシャドウA、アイシャドウB及びCの組み合わせ、及びアイシャドウDに、優先度が付与される。この例では、アイシャドウAには、優先度「1」が付与される。アイシャドウB及びCの組み合わせには、優先度「3」が付与される。アイシャドウDには、優先度「2」が付与される。ここでは、所定の数が2個である場合を想定する。この場合、優先度「1」が付与されたアイシャドウAと、優先度「2」が付与されたアイシャドウDとが決定される。この変形例によれば、よりユーザへの訴求力が大きい化粧品を決定することができる。
他の例として、第2の算出部107は、表示部25の特性に応じて、補正値を算出してもよい。補正部108は、上述した補正処理と同様に、第2の算出部107により算出された補正値を用いて、対象色を補正する。これにより、表示部25の特性の差による色の差を減らすことができる。
3−3.変形例3
上述した第1実施形態及び第2実施形態において、決定部104により決定された化粧品を用いた化粧方法の説明情報が提供されてもよい。この変形例に係る記憶部13には、商品テーブル131に代えて、商品テーブル134が記憶される。
図21は、商品テーブル134の一例を示す図である。商品テーブル134には、図3に示す商品テーブル131に格納された化粧品の名称、色情報、画像データ、及び商品情報に加えて、化粧方法の説明情報が格納される。化粧方法の説明情報は、化粧品を用いた化粧の仕方を説明する情報である。この情報は、文字で示されてもよいし、画像で示されてもよい。
この変形例に係る送信部105は、決定部104により決定された化粧品に対応する化粧方法の説明情報をユーザ端末20に送信する。この化粧方法の説明情報は、商品テーブル134から読み出されて使用される。例えば、決定部104によりアイシャドウAが決定された場合には、アイシャドウAの名称に対応付けられた化粧方法の説明情報が読み出されて送信される。
サーバ10から送信された化粧方法の説明情報は、ネットワーク2を介してユーザ端末20に到達する。受信部204は、この化粧方法の説明情報を受信する。出力部205は、受信部204により受信された化粧方法の説明情報を出力する。例えば、出力部205は、化粧方法の説明情報を表示部25に表示させる。
例えば、第1実施形態では、図10に示す購入画面35に化粧方法の説明情報が含まれてもよい。第2実施形態では、図15に示す画面43又は購入画面44に化粧方法の説明情報が含まれてもよい。他の例として、この化粧方法に従ってユーザの顔画像に化粧を施す動画が生成されてもよい。この動画は、例えば図15に示す画面43に含まれる。これにより、ユーザは、所望の色に対応する化粧品の情報とともに、その化粧品を用いた化粧方法を知ることができる。
他の例として、ユーザの化粧の技術レベルに応じた化粧方法の説明情報が提供されてもよい。この変形例に係る商品テーブル134には、化粧方法の説明情報が化粧の技術レベル毎に格納される。
この変形例に係る送信部105は、決定部104により決定された化粧品及びユーザの化粧の技術レベルに対応する化粧方法の説明情報をユーザ端末20に送信する。この化粧の技術レベルは、ユーザテーブル133に格納されている。例えば、決定部104によりアイシャドウAが決定されるとともに、ユーザの化粧の技術レベルが「1」である場合には、アイシャドウAの名称及び技術レベル「1」に対応付けられた化粧方法の説明情報が商品テーブル134から読み出されて送信される。
サーバ10から送信された化粧方法の説明情報は、ネットワーク2を介してユーザ端末20に到達する。受信部204は、この化粧方法の説明情報を受信する。出力部205は、受信部204により受信された化粧方法の説明情報を出力する。例えば、出力部205は、上述と同様に、化粧方法の説明情報を表示部25に表示させる。この変形例によれば、ユーザは、自分の化粧の技術レベルに応じた化粧方法を知ることができる。
3−4.変形例4
上述した第1実施形態及び第2実施形態において、化粧品とともに、その化粧品を用いて化粧を施す際に使用される化粧道具がレコメンドされてもよい。この変形例に係る記憶部13には、商品テーブル131に代えて、商品テーブル135が記憶される。
図22は、商品テーブル135の一例を示す図である。商品テーブル135には、図3に示す商品テーブル131に格納された化粧品の名称、画像データ、及び商品情報に加えて、化粧に対応する化粧道具の名称、画像データ、及び商品情報が格納される。化粧道具の名称は、化粧道具を識別する情報である。化粧道具の画像データは、化粧道具の画像を示すデータである。この画像は、例えば化粧道具の写真である。化粧道具の商品情報は、化粧道具の詳細情報である。例えば、商品情報には、化粧道具のブランド名や価格が含まれる。
送信部105は、決定部104により決定された化粧品に対応する化粧道具の情報をユーザ端末20に送信する。この化粧道具の情報には、化粧道具の名称、画像データ、及び商品情報が含まれる。例えば、決定部104によりアイシャドウAが決定された場合には、アイシャドウAに対応付けて格納された化粧道具の名称、画像データ、及び商品情報が、商品テーブル135から読み出されて送信される。
サーバ10から送信された化粧道具の情報は、ネットワーク2を介してユーザ端末20に到達する。受信部204は、この化粧道具の情報を受信する。出力部205は、受信部204により受信された化粧道具の情報を出力する。例えば、出力部205は、化粧道具の情報を表示部25に表示させる。
例えば、第1実施形態では、図10に示す購入画面35に化粧道具の情報が含まれてもよい。第2実施形態では、図15に示す購入画面44に化粧道具の情報が含まれてもよい。また、購入画面35及び44には、この化粧道具の購入を実行する操作に用いられる購入ボタンが含まれてもよい。この変形例によれば、ユーザは、化粧品を使用する際に必要な化粧道具を容易に購入することができる。
3−5.変形例5
上述した第1実施形態及び第2実施形態において、化粧が施されたユーザの顔画像341又は431が生成される際に、ユーザの肌の状態に応じて顔画像341又は431の色が変更されてもよい。この変形例に係るユーザ端末20は、図8に示す機能に加えて、上述した変形例1で説明した抽出部及び判定部と同様の機能を有する。
抽出部は、画像認識により、ユーザの顔画像から肌の色を抽出する。判定部は、抽出部により抽出された肌の色に応じて、ユーザの肌の状態を判定する。この肌の状態には、例えば肌の色、凹凸、又は滑らかさが含まれる。生成部202は、判定部により判定された肌の状態に応じて、上述したカラーシミュレーション処理又は化粧シミュレーション処理で生成される顔画像341又は431の色を変更する。例えば、肌の色がくすんでいる場合には、化粧の色の彩度を下げる等の方法により、化粧の発色が悪く見えるように顔画像341又は431の色を変更する。これにより、カラーシミュレーション処理又は化粧シミュレーション処理で生成される顔画像341又は431の化粧の色を、ユーザが実際に化粧を施した場合の化粧の色に近づけることができる。
他の例として、化粧が施されたユーザの顔画像341又は431が生成される際に、朝、昼、晩、外、室内等のシーンに応じて顔画像341又は431の明るさや光の当たり具合が変更されてもよい。これにより、様々なシーンに合う化粧をシミュレーションすることができる。
3−6.変形例6
化粧品情報提供システム1の機能と、その機能の実行主体との組み合わせは、上述した第1実施形態及び第2実施形態に限定されない。例えば、ユーザ端末20が有する機能の一部を、サーバ10が有していてもよい。例えば、サーバ10が生成部202を有していてもよい。また、サーバ10が購入画面353又は442を生成してもよい。この場合、生成された購入画面353又は442を示す画面データがサーバ10からユーザ端末20に送信される。
他の例として、サーバ10が有する全ての機能をユーザ端末20が有していてもよい。この場合、ユーザ端末20は、本発明に係る「化粧品情報提供装置」の一例として機能する。また、サーバ10を設ける必要はない。
他の例として、サーバ10が有する機能の少なくとも一部又はユーザ端末20が有する機能の少なくとも一部を、サーバ10及びユーザ端末20以外の装置が有していてもよい。
3−7.変形例7
本発明は、化粧品情報提供システム1において行われる処理のステップを備える化粧品情報提供方法として提供されてもよい。また、本発明は、サーバ10において実行されるサーバプログラム又はユーザ端末20において実行されるクライアントプログラムとして提供されてもよい。これらのプログラムは、インターネット等のネットワーク2を介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

Claims (11)

  1. 第1の色の化粧が施された顔を表す第1の画像を取得する第1の取得部と、
    前記取得された第1の画像を解析して、前記第1の色に対応する化粧品を決定する決定部と、
    前記決定された化粧品を識別する情報を出力する出力部と
    を備える化粧品情報提供システム。
  2. ユーザの顔を表す第2の画像を取得する第2の取得部と、
    前記取得された第2の画像を用いて、前記ユーザにより選択された色の化粧が施された顔を表す第3の画像を生成する生成部とを更に備え、
    前記第1の画像は、前記生成された第3の画像である
    請求項1に記載の化粧品情報提供システム。
  3. 前記第1の画像は、ユーザとは異なる人物の顔を表す
    請求項1に記載の化粧品情報提供システム。
  4. 前記ユーザの顔を表す第2の画像を取得する第2の取得部と、
    前記取得された第2の画像を用いて、前記決定された化粧品を用いた化粧が施された顔を表す第4の画像を生成する生成部とを更に備え、
    前記出力部は、前記生成された第4の画像を出力する
    請求項3に記載の化粧品情報提供システム。
  5. 前記取得された第1の画像から前記第1の色を抽出する抽出部と、
    前記抽出された第1の色と、予め定められた化粧品を用いた化粧の第2の色との類似度を算出する第1の算出部を更に備え、
    前記決定部は、前記算出された類似度が閾値より高い化粧品を決定する
    請求項1から4のいずれか1項に記載の化粧品情報提供システム。
  6. 前記抽出部は、前記取得された第1の画像から肌の色を抽出し、
    前記第1の算出部は、前記抽出された肌の色の上に前記抽出された第1の色を重ねたときに得られる色と前記第2の色との類似度を算出する
    請求項5に記載の化粧品情報提供システム。
  7. 前記予め定められた化粧品又はユーザに関する付加情報に基づいて、前記算出された類似度が閾値より高い化粧品に優先度を付与する付与部を更に備え、
    前記決定部は、前記優先度が高い順番に所定の数の化粧品を決定する
    請求項5に記載の化粧品情報提供システム。
  8. 前記出力部により前記情報が出力された後、前記決定された化粧品を用いて第3の色の化粧が施されたユーザの顔を表す第5の画像を取得する第3の取得部と、
    前記第1の色と前記第3の色との差に応じて、補正値を算出する第2の算出部と、
    前記第1の取得部により、第4の色の化粧が施された顔を表す第6の画像が取得されると、前記算出された補正値を用いて、前記第4の色を補正する補正部とを更に備え、
    前記決定部は、前記補正された第4の色に対応する化粧品を決定する
    請求項1から7のいずれか1項に記載の化粧品情報提供システム。
  9. 第1の色の化粧が施された顔を表す第1の画像を取得する第1の取得部と、
    前記取得された第1の画像を解析して、前記第1の色に対応する化粧品を決定する決定部と、
    前記決定された化粧品を識別する情報を出力する出力部と
    を備える化粧品情報提供装置。
  10. 第1の色の化粧が施された顔を表す第1の画像を取得するステップと、
    前記取得された第1の画像を解析して、前記第1の色に対応する化粧品を決定するステップと、
    前記決定された化粧品を識別する情報を出力するステップと
    を備える化粧品情報提供方法。
  11. コンピュータに、
    第1の色の化粧が施された顔を表す第1の画像を取得するステップと、
    前記取得された第1の画像を解析して、前記第1の色に対応する化粧品を決定するステップと、
    前記決定された化粧品を識別する情報を出力するステップと
    を実行させるためのプログラム。
JP2016555364A 2016-07-08 2016-07-08 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム Active JP6055160B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070212 WO2018008138A1 (ja) 2016-07-08 2016-07-08 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6055160B1 JP6055160B1 (ja) 2016-12-27
JPWO2018008138A1 true JPWO2018008138A1 (ja) 2018-07-05

Family

ID=57582288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555364A Active JP6055160B1 (ja) 2016-07-08 2016-07-08 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム

Country Status (3)

Country Link
US (1) US10607372B2 (ja)
JP (1) JP6055160B1 (ja)
WO (1) WO2018008138A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022505760A (ja) * 2018-10-25 2022-01-14 ロレアル 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6986676B2 (ja) * 2016-12-28 2021-12-22 パナソニックIpマネジメント株式会社 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ
WO2018203555A1 (ja) * 2017-05-02 2018-11-08 日本電信電話株式会社 信号検索装置、方法、及びプログラム
CN109508587A (zh) * 2017-09-15 2019-03-22 丽宝大数据股份有限公司 身体信息分析装置及其底妆分析方法
KR102343251B1 (ko) * 2018-04-13 2021-12-27 샤넬 파르퓜 보트 의도된 사용자를 위한 화장품의 선택 방법
KR102081947B1 (ko) * 2018-04-24 2020-02-26 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
CN110811115A (zh) * 2018-08-13 2020-02-21 丽宝大数据股份有限公司 电子化妆镜装置及其脚本运行方法
JP6912611B1 (ja) * 2020-01-31 2021-08-04 株式会社Zozo メガネ、推奨化粧品提示制御システム及び推奨化粧品提示制御方法
US11676354B2 (en) * 2020-03-31 2023-06-13 Snap Inc. Augmented reality beauty product tutorials
KR20220157502A (ko) 2020-03-31 2022-11-29 스냅 인코포레이티드 증강 현실 미용 제품 튜토리얼들
US11423652B2 (en) 2020-06-10 2022-08-23 Snap Inc. Adding beauty products to augmented reality tutorials
US20220122354A1 (en) * 2020-06-19 2022-04-21 Pinterest, Inc. Skin tone determination and filtering
WO2022215772A1 (ko) * 2021-04-07 2022-10-13 이지현 화장품 추천 방법 및 이를 구현하는 화장품 표시 시스템
US11373059B2 (en) * 2021-07-23 2022-06-28 MIME, Inc. Color image analysis for makeup color prediction model
JP7308318B1 (ja) * 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7308317B1 (ja) * 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
US11816144B2 (en) 2022-03-31 2023-11-14 Pinterest, Inc. Hair pattern determination and filtering
WO2024048274A1 (ja) * 2022-08-29 2024-03-07 株式会社 資生堂 情報処理装置、情報処理方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001268594A (ja) * 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
JP2001292832A (ja) * 2000-04-13 2001-10-23 Shiseido Co Ltd メーキャップカラーイメージ分類法およびメーキャップカラーイメージマップ
JP4487961B2 (ja) 2006-03-22 2010-06-23 花王株式会社 メイクアップシミュレーション方法
JP5324031B2 (ja) * 2006-06-20 2013-10-23 花王株式会社 美容シミュレーションシステム
JP5261586B2 (ja) 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009251850A (ja) 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
JP5442966B2 (ja) 2008-07-10 2014-03-19 株式会社 資生堂 ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
JP4862955B1 (ja) * 2010-10-29 2012-01-25 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2014021782A (ja) * 2012-07-19 2014-02-03 Canon Inc 画像処理装置、その制御方法及びプログラム
EP2953090A4 (en) * 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP5991536B2 (ja) 2013-02-01 2016-09-14 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
EP3005085A1 (en) * 2013-05-29 2016-04-13 Nokia Technologies Oy An apparatus and associated methods
KR101713086B1 (ko) * 2013-06-07 2017-03-07 후지필름 가부시키가이샤 투명감 평가 장치, 투명감 평가 방법 및 투명감 평가 프로그램
EP3039990B1 (en) * 2013-08-30 2019-07-24 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
EP3040939B1 (en) * 2013-08-30 2018-10-10 Panasonic Intellectual Property Management Co., Ltd. Makeup support device, makeup support method, and makeup support program
US10553006B2 (en) * 2014-09-30 2020-02-04 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
JP6275086B2 (ja) * 2015-07-25 2018-02-07 株式会社オプティム サーバ、データ提供方法及びサーバ用プログラム
US10373348B2 (en) * 2016-08-05 2019-08-06 Optim Corporation Image processing apparatus, image processing system, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022505760A (ja) * 2018-10-25 2022-01-14 ロレアル 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法

Also Published As

Publication number Publication date
US10607372B2 (en) 2020-03-31
WO2018008138A1 (ja) 2018-01-11
JP6055160B1 (ja) 2016-12-27
US20190197736A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6055160B1 (ja) 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム
US11854070B2 (en) Generating virtual makeup products
US11854072B2 (en) Applying virtual makeup products
US11908052B2 (en) System and method for digital makeup mirror
JP6389888B2 (ja) 鏡における仮想化の装置、システム、及び方法
US10783672B2 (en) Makeup part generating apparatus, makeup part utilizing apparatus, makeup part generating method, makeup part utilizing method, non-transitory computer-readable recording medium storing makeup part generating program, and non-transitory computer-readable recording medium storing makeup part utilizing program
US10360715B2 (en) Storage medium, information-processing device, information-processing system, and avatar generating method
US10373348B2 (en) Image processing apparatus, image processing system, and program
JP3984191B2 (ja) 仮想化粧装置及びその方法
JP4435809B2 (ja) 仮想化粧装置及びその方法
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
US20230377291A1 (en) Generating augmented reality content based on third-party content
US11069089B2 (en) Information processing apparatus, information processing method, and computer program product
JP2010211308A (ja) メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム
KR20230029945A (ko) 제품 데이터에 기초한 증강 현실 콘텐츠
KR101520863B1 (ko) 얼굴인식을 이용한 캐릭터 제작 방법 및 이를 지원하는 단말
CN113454673A (zh) 信息处理装置以及程序
CN111582965A (zh) 扩增实境影像的处理方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161201

R150 Certificate of patent or registration of utility model

Ref document number: 6055160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250