TWI754530B - 眼鏡、推薦化妝品提示控制系統及推薦化妝品提示控制方法 - Google Patents
眼鏡、推薦化妝品提示控制系統及推薦化妝品提示控制方法 Download PDFInfo
- Publication number
- TWI754530B TWI754530B TW110103359A TW110103359A TWI754530B TW I754530 B TWI754530 B TW I754530B TW 110103359 A TW110103359 A TW 110103359A TW 110103359 A TW110103359 A TW 110103359A TW I754530 B TWI754530 B TW I754530B
- Authority
- TW
- Taiwan
- Prior art keywords
- color
- user
- data
- glasses
- cosmetic
- Prior art date
Links
- 239000011521 glass Substances 0.000 title claims abstract description 146
- 239000002537 cosmetic Substances 0.000 title claims description 238
- 238000000034 method Methods 0.000 title claims description 49
- 238000012545 processing Methods 0.000 claims description 54
- 230000001815 facial effect Effects 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims description 7
- 230000037308 hair color Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 28
- 238000012937 correction Methods 0.000 description 27
- 230000015654 memory Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 239000003086 colorant Substances 0.000 description 10
- 210000003128 head Anatomy 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000010485 coping Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000004298 light response Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007517 polishing process Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
- G02C13/003—Measuring during assembly or fitting of spectacles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/463—Colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0621—Item configuration or customization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Tourism & Hospitality (AREA)
- Optics & Photonics (AREA)
- Ophthalmology & Optometry (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Eyeglasses (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
眼鏡(10)係根據對已戴上的使用者進行攝影的第1畫像資料(有眼鏡臉部畫像)、對未戴上該眼鏡的使用者進行攝影的第2畫像資料(無眼鏡臉部畫像),電腦系統判定使用者的臉部的各位置的顏色時所使用的眼鏡。此外,眼鏡(10)係在預先設定的位置具有位置判定用的標誌(13),且在預先設定的位置配色有預先設定的顏色(配色樣板(14))。電腦系統使用標誌(13)及配色,由第1畫像資料及第2畫像資料判定使用者的臉部的各位置的顏色。
Description
本發明係關於使用在電腦系統判定眼鏡配戴者的臉部顏色時的眼鏡等。
對化妝者,尤其日常化妝者而言,挑選用以實現適合自己的化妝品或所希望的化妝的化妝品為日常之事,極為重要。使用者大多以自己蓄積的化妝相關知識、由網際網路等所得的資訊、由店舖的化妝品賣場的店員所聽到的建議等作為參考來選擇/購入化妝品。以用以選擇化妝品的電腦系統的技術而言,已知一種由資料庫所登錄的化妝品之中,根據使用者的膚色來提示推薦化妝品的推薦系統(參照例如專利文獻1)的技術。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本特開2019-195619號公報
(發明所欲解決之問題)
但是,為了電腦系統提示推薦化妝品,如何取得使用者肌膚正確顏色資訊,乃極為重要。在專利文獻1的技術中,為了取得使用者的膚色,必須準備特殊的照明環境或特殊的攝影機材,對使用者進行攝影。對一般使用者而言,例如,在自家卸妝時使用自身的智慧型手機簡單進行攝影,藉此應會有欲以自身1人利用推薦化妝品的提示服務的要求,惟以專利文獻1的技術甚為難以實現。
本發明所欲解決的課題在提供無須需要特殊的控制照明環境或特殊的攝影機材,用以簡易且正確取得使用者的臉部的顏色資訊的技術。
(解決問題之技術手段)
本發明之第1態樣係具備:眼鏡、及電腦系統的推薦化妝品提示控制系統。前述眼鏡係在預先設定的位置具有位置判定用的標誌,在預先設定的位置配色有預先設定的顏色。前述電腦系統係具備:畫像取得部,其係取得對戴上前述眼鏡的使用者進行攝影的第1畫像資料、及對未戴上前述眼鏡的前述使用者進行攝影的第2畫像資料;判定部,其係使用前述標誌及前述配色,由前述第1畫像資料及前述第2畫像資料,判定前述使用者的臉部的各位置的顏色;及提示控制部,其係進行以下控制:根據前述判定部的判定結果,由特定的化妝品資料庫之中選擇推薦給前述使用者的化妝品來進行提示。
在此所稱之「電腦系統」當然意指單數電腦,亦可為複數電腦合作實現者。
此外,在此所稱之「眼鏡」亦可為無鏡片之所謂無鏡片眼鏡。
前述眼鏡係具有:用以判定使用者的臉部的各位置的顏色的預先設定的顏色(配色樣板:供顏色判定用的基準色)、及用以判定該顏色被配色在眼鏡何處的相對位置的標誌。
在使用者戴上該眼鏡的狀態的第1畫像資料中,作為顏色判定對象的臉部、與成為顏色判定基準的配色樣板映現在極為接近的位置。此外,第1畫像資料中的環境光的狀態、與第2畫像資料中的環境光的狀態可謂為大致相同。僅以使用者拿下眼鏡的細微動作,可由第1畫像資料的攝影,直接以連續性的程序進行第2畫像資料的攝影之故。
因此,即使為使用者在自家以智慧型手機的攝影機對自己臉部進行攝影般的攝影環境,拿下眼鏡的前後的環境光的照射情況大致相同,「以由配色樣板所映射的部分所讀取的顏色進行校正,由臉部所映射的部分讀取臉部的顏色資訊」,藉此可讀取正確顏色。亦即,可實現無須需要特殊的控制照明環境或特殊的攝影機材,可簡便且正確取得使用者的臉部的顏色資訊的系統。此外,可實現使用使用者的臉部的各位置的顏色,對使用者提示推薦化妝品的系統。
此外,前述眼鏡亦可具備:鏡框,其係具有前述標誌,而且已被施加前述配色。
在此所稱之「鏡框」係一般使用的眼鏡的“鏡框”的涵義,指鏡片以外的構造物。以一般眼鏡來說,鏡圈、鼻橋、樁頭、鼻墊、鼻墊支架、鉸鏈、鏡腿、掛耳、成為取代鉸鏈的帶子、帶子配戴部等相當於此。
此外,亦可前述第1畫像資料係對戴上前述眼鏡的前述使用者,改變臉部的方向進行攝影的資料,前述判定部係執行:根據前述第1畫像資料所包含的前述使用者的臉部的方向不同的畫像,進行對前述鏡框的攝影畫像部分的第1油光應對處理;及使用前述第1油光應對處理後的前述鏡框的攝影畫像部分的顏色、與前述鏡框的前述配色的顏色的不同,判定前述使用者的臉部的各位置的顏色。
在此所稱之「油光」係指若光照射在物體的表面,藉由物體表面的折射或反射、擴散,在物體表面局部發生的相對高亮度區域、或在攝影畫像中發生亮度的不均。被稱為高亮度、反射眩光等的現象相當於此。若發生油光,變得無法正確讀取該物體原本的顏色。在使用者在自家以智慧型手機的攝影機對自身的臉部進行攝影般的攝影環境下,有環境光偏置的情況多,容易發生油光。另一方面,油光係若改變攝影角度,有無發生、發生位置、油光的程度即改變。
藉此,將第1畫像資料設為改變臉部的方向的複數資料,且執行第1油光處理,藉此,推薦化妝品提示控制系統係即使在第1個第1畫像資料中,在某場所發生油光的情形下,亦可由在該場所未發生油光的別的第1畫像資料讀取該場所的顏色。
亦可前述第2畫像資料係對未戴上前述眼鏡的前述使用者,改變臉部的方向進行攝影的資料,前述判定部係根據前述第2畫像資料所包含的前述使用者的臉部的方向不同的畫像,進行對前述使用者的臉部的各攝影畫像部分的第2油光應對處理。
油光亦在使用者的肌膚產生。
將第2畫像資料設為改變臉部的方向的複數資料,且執行第2油光處理,藉此,推薦化妝品提示控制系統係即使在第1個第2畫像資料中,在某臉部的部位發生油光的情形下,亦可由在該部位未發生油光的別的第2畫像資料讀取該部位的顏色。
亦可前述判定部係判定前述使用者的髮色,前述提示控制部係進行以下控制:根據藉由前述判定部被判定出的髮色,選擇化妝品來進行提示。
藉此,推薦化妝品提示控制系統係可考慮髮色與臉部部位的顏色之雙方來選擇/提示化妝品。
亦可前述提示控制部係進行以下控制:按每個模型,由將被適用在該模型的化妝品的資訊建立對應進行記憶的模型資料庫之中,選擇滿足前述判定部的判定結果與特定的符合條件的模型,提示與該模型建立對應的化妝品。
亦可前述模型資料庫係將前述模型在化妝前的狀態下進行了藉由前述畫像取得部所為之畫像資料的取得及藉由前述判定部所為之判定後的結果的資料亦即化妝前模型資料,與該模型建立對應進行記憶,前述提示控制部係進行以下控制:根據前述化妝前模型資料,選擇關於前述使用者的前述判定部的判定結果與滿足前述符合條件的模型,且提示與該模型建立對應的化妝品。
藉此,推薦化妝品提示控制系統係可由登錄有已被施行化妝的人物亦即模型(model)、與該化妝所使用的化妝品的資訊的模型資料庫中,選擇臉部部位的顏色與使用者符合的模型,且選擇有關該模型的化妝的化妝品來進行提示。請實際的人(模型)作範本,根據被使用在該模型的化妝的化妝品的組合,選擇/提示化妝品,藉此對使用者而言,較容易理解。亦即,可提升對使用者而言的便利性。
亦可前述判定部係具有:臉部特徵量判定部,其係根據攝影畫像中的前述標誌的位置,判定關於前述使用者的臉部及有關臉部的部位的大小、形狀、位置的臉部特徵量,前述模型資料庫係將前述模型的臉部特徵量的資料與該模型建立對應進行記憶,前述提示控制部係進行以下控制:選擇前述模型的臉部特徵量的資料滿足前述臉部特徵量判定部的判定結果與前述符合條件的模型,且提示與該模型建立對應的化妝品。
藉此,推薦化妝品提示控制系統係可提示容貌與使用者類似的模型的化妝所使用的化妝品。若對使用者而言來看,容易得知以所被提示的化妝品,在化妝後自己可得什麼樣的外觀。亦即,可更加提升對使用者而言的便利性。
本發明之第2態樣係一種眼鏡,其係具備:位置判定用的標誌,其係設在預先設定的位置;及配色,其係在預先設定的位置已被施加預先設定的顏色,電腦系統可根據對戴上前述眼鏡的使用者進行攝影的第1畫像資料、對未戴上前述眼鏡的前述使用者進行攝影的第2畫像資料、前述標誌、及前述配色,來判定前述使用者的臉部的各位置的顏色。
在此所稱之「眼鏡」亦可為無鏡片之所謂無鏡片眼鏡。
前述眼鏡係具有:用以判定使用者的臉部的各位置的顏色的預先設定的顏色(配色樣板:供顏色判定用的基準色)、與用以判定該顏色被配色在眼鏡何處的相對位置的標誌。
在使用者戴上該眼鏡的狀態的第1畫像資料中,作為顏色判定對象的臉部、與成為顏色判定基準的配色樣板映現在極為接近的位置。此外,第1畫像資料中的環境光的狀態、與第2畫像資料中的環境光的狀態可謂為大致相同。僅以使用者拿下眼鏡的細微動作,可由第1畫像資料的攝影,直接以連續的程序進行第2畫像資料的攝影之故。
因此,即使為使用者在自家以智慧型手機的攝影機對自己臉部進行攝影般的攝影環境,拿下眼鏡的前後的環境光的照射狀況大致相同,「以由配色樣板所映射的部分所讀取的顏色進行校正,由臉部所映射的部分讀取臉部的顏色資訊」,藉此可讀取正確顏色。亦即,無須需要特殊的控制照明環境或特殊的攝影機材,可簡便且正確取得使用者的臉部的顏色資訊。
前述眼鏡亦可具備:鏡框,其係具有前述標誌,而且已被施加前述配色。
在此所稱之「鏡框」係一般使用的眼鏡的“鏡框”的涵義,指鏡片以外的構造物。以一般眼鏡而言,鏡圈、鼻橋、樁頭、鼻墊、鼻墊支架、鉸鏈、鏡腿、掛耳、成為取代鉸鏈的帶子、帶子配戴部等相當於此。
本發明之第3態樣係一種推薦化妝品提示控制方法,其係電腦系統所執行的推薦化妝品提示控制方法,其係包含:取得對戴上在預先設定的位置具有位置判定用的標誌且在預先設定的位置配色有預先設定的顏色的眼鏡的前述使用者進行攝影的第1畫像資料、及對未戴上前述眼鏡的前述使用者進行攝影的第2畫像資料;使用前述標誌及前述配色,由前述第1畫像資料及前述第2畫像資料,判定前述使用者的臉部的各位置的顏色;及進行以下控制:根據在前述判定步驟的判定結果,由特定的化妝品資料庫之中選擇推薦給前述使用者的化妝品來進行提示。
藉由本態樣,可實現獲得與上述電腦系統之第1態樣相同效果的推薦化妝品提示控制方法。
以下說明本發明之實施形態之一例,惟可適用本發明的形態並非侷限於以下之實施形態,自不待言。
[第1實施形態]
圖1係顯示推薦化妝品提示控制系統的構成例的圖。
推薦化妝品提示控制系統1000係包含:可透過網路9相互進行資料通訊的伺服器系統1100與使用者終端機1500。推薦化妝品提示控制系統1000係以使用使用者終端機1500與眼鏡10的使用者2為對象,提供:(1)對使用者提示上妝化妝品(以下僅稱為「化妝品」)的推薦化妝品提示服務、(2)將所被提示的化妝品進行線上購入的線上購物服務、及(3)SNS(Social Network Service,社群網路服務)的電腦系統。當然,推薦化妝品提示控制系統1000亦可附加地進行其他服務的提供。
網路9意指可進行資料通訊的通訊路。亦即,網路9意指除了藉由供直接連接用的專用線(專用纜線)或乙太網路(註冊商標)等所得之LAN(Local Area Network,區域網路)之外,包含電話通訊網或纜線網、網際網路等通訊網的涵義,此外,關於通訊方法係有線/無線不拘。
伺服器系統1100係具有例如:本體裝置1101、鍵盤1106、觸控面板1108、及儲存器1140,在本體裝置1101係裝載控制基板1150。
在控制基板1150係裝載有:CPU(Central Processing Unit,中央處理單元)1151或GPU(Graphics Processing Unit,圖形處理單元)、DSP(Digital Signal Processor,數位訊號處理器)等各種微處理器、VRAM或RAM、ROM等各種IC記憶體1152、通訊裝置1153。其中,控制基板1150的一部分或全部亦可藉由ASIC (Application Specific Integrated Circuit,特殊應用積體電路)、或FPGA(Field-Programmable Gate Array,現場可程式化閘陣列)、SoC(System on a Chip,單晶片系統)來實現。
伺服器系統1100係藉由控制基板1150根據特定的程式及資料進行運算處理,實現提供推薦化妝品提示服務、線上購物服務、及SNS的功能。在該等功能之中,係有關該等服務的提供,亦包含提供可在使用者終端機1500執行的程式、或執行程式所需的各種資料。
其中,在圖1中係僅描繪1台使用者終端機1500,惟在實際的系統運用中,複數使用者終端機1500可同時在伺服器系統1100進行存取。
此外,在圖1中係將伺服器系統1100描繪成1台伺服器裝置,惟亦可為由複數裝置所實現的構成。例如,伺服器系統1100亦可為裝載分擔各功能的複數刀鋒伺服器而可相互透過內部匯流排作資料通訊地相連接的構成。此外,構成伺服器系統1100的硬體的設置場所不拘。亦可為藉由使設置在遠離的場所的獨立的複數伺服器,透過網路9進行資料通訊,整體而言作為伺服器系統1100來發揮功能的構成。
圖2係顯示使用者終端機1500的構成例的正面圖。
使用者終端機1500係使用在供已經由登錄手續的使用者利用本實施形態之推薦化妝品提示控制系統1000之用的電腦系統,且為可透過網路9在伺服器系統1100進行存取的電子裝置(電子機器)。其中,使用者終端機1500係被分類為所謂智慧型手機,惟若為電腦,亦可為智慧型手錶等可穿戴式電腦、或攜帶型遊戲裝置、平板型電腦、個人電腦等。若智慧型手機、與通訊連接於該智慧型手機的智慧型手錶的組合等複數電子機器有機地結合而發揮1個功能時,係可將該等複數電子機器視為一個使用者終端機1500。
使用者終端機1500係具備:方向輸入鍵1502、按鈕開關1504、作為兼畫像顯示元件的接觸位置輸入元件發揮功能的觸控面板1506、內置電池1509、揚聲器1510、麥克風1512、攝影機1520、控制基板1550、及可由屬於電腦可讀出記憶媒體的記憶卡1540讀寫資料的記憶卡讀取裝置1542。此外,設有未圖示的電源按鈕、音量調節按鈕等。此外,亦可設為設置可對可支付推薦化妝品提示控制系統1000的利用報酬等的IC卡型信用卡或預付卡非接觸地進行資料讀寫的IC卡讀取裝置等。
攝影機1520係可以影像感測器模組來實現。
控制基板1550係裝載(1)CPU1551、或GPU、DSP等各種微處理器、(2)VRAM或RAM、ROM等各種IC記憶體1552、(3)用以與連接於網路9的行動電話基地台或無線LAN基地台等作無線通訊的無線通訊模組1553、(4)介面電路1557等。
在介面電路1557係包含有:(1)接收來自觸控面板1506的驅動器電路、方向輸入鍵1502及按鈕開關1504的訊號的電路、(2)對揚聲器1510輸出聲音訊號的輸出放大器電路、(3)生成在麥克風1512所集到的聲音的訊號的輸入訊號生成電路、(4)輸入以攝影機1520所攝影到的畫像的畫像資料的電路、(5)對記憶卡讀取裝置1542的訊號輸出入電路等。
裝載在控制基板1550的該等要素係透過匯流排電路等作電性連接,且可進行資料的讀寫或訊號的收送訊地相連接。其中,亦可以ASIC或FPGA、SoC構成控制基板1550的一部分或全部。接著,控制基板1550係將用以使作為使用者終端機的功能實現的程式或各種資料記憶在IC記憶體1552。
其中,在本實施形態中,使用者終端機1500係形成為從伺服器系統1100下載程式或各種設定資料的構成,惟亦可形成為從另外取得的記憶卡1540等記憶媒體讀出的構成。
圖3係眼鏡10的正面圖。其中,鏡腿或掛耳隱藏在鏡圈而看不見,但是是存在的。
眼鏡10係具有:透光部11、及鏡框12。
透光部11係鏡片或不具視力調整力的透光材或僅為一個空間。若形成為僅為一個空間,眼鏡10係成為無鏡片的所謂無鏡片眼鏡。
鏡框12係形成透光部11的外周部的部分。在一般的二片鏡片構成的視力調整用眼鏡的構成中所稱之處之相當於鏡圈/鼻橋/樁頭/鼻墊的部位即相當於鏡框12。若取無鏡圈眼鏡的形態,可將透光部11的外周部視為鏡框12。
鏡框12係在正面具有至少2個標誌13(13a、13b、…)。在圖3之例中,在鏡框12的上部左右兩端部分別具有第1標誌13a與第2標誌13b。此外,鏡框12係在鼻橋的左右分別具有第3標誌13c、及第4標誌13d,在鼻墊部的左右分別具有第5標誌13e、及第6標誌13f。
標誌13(13a、13b、…)係具有藉由畫像辨識而個別辨識的固有的花樣與特定尺寸,以特定的幾何位置關係,藉由塗裝或印刷而設至鏡框12。或者,標誌13係形成為貼紙進行黏貼來實現。
標誌13係設為用以判定將對眼鏡10進行攝影的畫像進行畫像辨識時的位置或距離等幾何位置關係的基準點。此外,設為用以判定眼鏡10的方向或姿勢的基準點。
例如,第1標誌13a至第6標誌13f的尺寸及相互的實際距離係設定為特定值。因此,可由被攝影到的畫像所映現的標誌13的尺寸、與標誌間的畫像座標系距離,求出幾何上眼鏡10對攝影機光軸(被攝影到的畫像的深度方向)的傾斜、或由攝影機至眼鏡10的距離、眼鏡10與畫像所映現的物體的尺寸。此外,可藉由被攝影到的畫像所映現的標誌13的大小或變形、標誌13彼此的位置關係,得知眼鏡10的傾斜。
鏡框12係具有複數配色樣板14,在預先設定的位置配色有預先設定的顏色。
具體而言,鏡框12係以素材而言為黑色的塑膠鏡框,沿著鏡圈區分為複數大致矩形區域而形成複數配色樣板14。但是,區分的位置關係或形狀係預先設定。配色樣板14的著色係可藉由例如印刷或貼紙的黏貼來實現。亦可藉由色樹脂的一體成形來實現。順帶一提,在圖3之例中,係以影線圖樣的不同來表現顏色的不同。
眼鏡10係除了圖3所示之設計之外,可準備複數種類,其種類係可以標誌13的組合來作判別。接著,使用者2係可使用喜歡的設計的眼鏡10。
圖4係顯示眼鏡登錄資料530的資料構成例的圖。
眼鏡登錄資料530係儲存依眼鏡10的每個種類作準備且連結於該種類的眼鏡10的各種資訊,且在伺服器系統1100予以記憶。眼鏡登錄資料530係包含:固有的眼鏡種類531、標誌定義資料532、及配色設定資料533。當然,亦可適當包含該等以外的資料。
標誌定義資料532係儲存定義與該登錄資料相連結的眼鏡10的標誌的種類與相對位置關係的資料。具體而言,依標誌13別,將表示用以將該標誌進行畫像辨識的所謂字典資料的作用的資料(圖4中以標記本身描繪)、與被攝影到的畫像的畫像座標系中的位置座標值建立對應進行儲存。標誌13係位置判定用的基準,且兼作眼鏡的種類判定用的資訊,因此標誌定義資料532亦可謂為位置判定及種類判定用的資料。
其中,被攝影到的畫像的畫像座標系可適當設定,例如可如下所示進行設定。亦即,形成為第1標誌13a→第3標誌13c→第4標誌13d→第2標誌13b配置成直線狀者,通過該等4個標誌的直線與被攝影到的畫像的畫像座標系的X軸(圖4中的Xf)呈平行。接著,將由畫像座標系的X軸(Xf)具有第5標誌13e、第6標誌13f之側設為畫像座標系的Y軸(圖4中的Yf),形成為藉由該等2軸所得之右手座標系來設定畫像座標系的Z軸。
配色設定資料533係依配色樣板14別,將配色樣板名534、畫像座標系中的相對位置座標535、及定義該配色樣板的顏色的設定值536(RGB值)建立對應進行儲存。設定值536所示顏色成為色彩校正用的基準色。
接著,說明推薦化妝品提示服務。
該服務係由在使用者終端機1500被攝影到的使用者2的臉部畫像,自動讀取使用者2的臉部的各位置的顏色(判定顏色),且自動檢索化妝品而提示給該使用者的服務。
使用者2若以使用者終端機1500輸入特定的推薦化妝品提示服務的開始操作,如圖5所示,在使用者終端機1500顯示鏡框確認用畫面W5。
使用者終端機1500係在顯示鏡框確認用畫面W5的期間,對伺服器系統1100持續傳送在攝影機1520所攝影的畫像資料。伺服器系統1100係對該畫像資料進行畫像辨識處理來檢測臉部部分與標誌13。接著,伺服器系統1100係由檢測結果進行攝影鏡框的適當判定。具體而言,若辨識全部標誌13、與特定的臉部部分(例如頭髮/雙眉/雙眼/鼻/口/雙耳),即判定為適當的攝影鏡框。
若在標誌或臉部部分有辨識不足,伺服器系統1100係使使用者終端機1500顯示以調整使用者終端機1500與使用者2之間的距離的方式進行催促、或以調整變焦的方式進行催促的適當化導引。接著,伺服器系統1100若判定出為適當攝影鏡框,在使用者終端機1500使特定的完成通知顯示,而執行關於第1畫像資料的取得的處理(圖5中為第1畫像攝影步驟)。
關於第1畫像資料的取得的處理係如圖6所示,包含有關色彩校正所需之戴上眼鏡10的使用者2的畫像的取得/保存的各種處理。
具體而言,在使用者終端機1500顯示第1畫像攝影用畫面W6a、W6b。在第1畫像攝影用畫面W6a、W6b中,以使用者2為對象,以在戴上眼鏡10的狀態下朝向使用者終端機1500左右搖頭的方式,而且在戴上眼鏡10的狀態下朝向使用者終端機1500上下擺頭的方式進行催促,特定的倒數之後對該樣子進行動態畫像攝影。被攝影到的「有眼鏡動態畫像」成為色彩校正用的素材。
若被攝影到「有眼鏡動態畫像」,伺服器系統1100係執行第1油光應對處理(步驟S40)。在同處理中,伺服器系統1100係由「有眼鏡動態畫像」擷取「有眼鏡的正面臉部畫像」(步驟S42),由所擷取到的臉部畫像,讀取各配色樣板14的顏色(步驟S44)。各配色樣板14的讀取係藉由由該畫像所映現的標誌13判定眼鏡種類531,且判定該種類的配色設定資料533的相對位置座標535所示之像素的顏色來實現。
所讀取到的結果係形成為例如圖7所示之眼鏡顏色讀取結果資料720而被保存在伺服器系統1100。眼鏡顏色讀取結果資料720係按每個配色樣板名721,將所讀取到的顏色的資訊亦即讀取值722、與讀取完成旗標723建立對應進行儲存。
讀取完成旗標723係若可適當讀取作為色彩校正用的基準色,即設定為「1」。在此所稱之「適當作為色彩校正用的基準色」的判定係依在該配色樣板14是否發生油光4來作判定。
在此所稱之「油光」係指若光照射在物體的表面,因物體表面的折射或反射、擴散,在物體表面局部發生之相對高亮度區域或亮度的不均。被稱為高亮度(highlight)、反射眩光等的現象即相當於此。若發生油光4,變得無法正確讀取該物體原本的顏色。在使用者在自家以智慧型手機的攝影機對自身的臉部進行攝影般的攝影環境下,有環境光偏置的情況多,容易發生油光4。另一方面,油光4係若改變攝影角度,有無發生、發生位置、油光4的程度即改變。
具體而言,如圖8所示,伺服器系統1100係若讀取全部配色樣板14的顏色,求出各配色樣板14的設定值536(參照圖4)與讀取值722(參照圖7)的RGB各成分的亮度差ΔR/ΔG/ΔB,且標繪在將該等設為各軸成分的3軸座標系(圖表中的白圈表示標繪)。
發生油光4的配色樣板14的亮度差係比未發生油光的其他配色樣板14(適當色讀取群7)的亮度差,以成為高亮度差的方式產生顯著差異。因此,可識別產生油光4而無法正確讀取顏色的配色樣板14。或者,亦可在亮度差設定適當的顏色讀取適當範圍6,將亮度差ΔR/ΔG/ΔB不在該範圍內的配色樣板14判定為發生油光4。
返回至圖6,若由「有眼鏡的正面臉部畫像」讀取顏色一完成,伺服器系統1100係判定是否有由動態畫像擷取別角度的臉部畫像的必要(步驟S46)。該判定係藉由例如由「有眼鏡的正面臉部畫像」讀取到特定數的配色樣板14、或讀取到全部配色樣板14來判定。
若該判定為肯定(步驟S46的YES),伺服器系統1100係由「有眼鏡動態畫像」擷取別角度的靜態畫像(非正面臉部畫像)(步驟S48),讀取未正確讀取顏色的配色樣板14的顏色(步驟S44)。
若無由動態畫像擷取別角度的臉部畫像的必要(步驟S46的NO),亦即若可讀取配色樣板14的顏色作為充分色彩校正用的基準色,伺服器系統1100係去掉第1油光應對處理,將使配色樣板14的讀取值722與各個的設定值536相一致或所需充分近似的色彩校正用的顏色補正值決定為顏色補正設定。在圖6之例中,係顯示將顏色補正設定設定為一組RGB值之例,惟顏色補正設定並非侷限於將一組值適用在畫像全域時。例如,亦可在臉部的部位別、或臉部所設定的區域別(例如,由正面看臉部為左/中央/右等)設定顏色補正值。
接著,若顏色補正設定已決定,伺服器系統1100係執行關於第2畫像資料的取得的處理(圖6中為第2畫像攝影步驟)。
圖9係用以說明關於第2畫像資料的取得的處理的圖。
該處理係有關未戴上眼鏡10的使用者2的畫像的取得/保存的處理。具體而言,在使用者終端機1500顯示第2畫像攝影用畫面W9a、W9b。在第2畫像攝影用畫面W9a、W9b中,係以使用者2為對象,以未戴上眼鏡10而朝向使用者終端機1500左右搖頭的方式,而且以未戴上眼鏡10而朝向使用者終端機1500上下擺頭的方式進行催促,在特定的倒數之後對該樣子進行動態畫像攝影。被攝影到的「無眼鏡動態畫像」成為用以讀取使用者2的臉部的各位置的顏色(判定顏色)的素材。
若被攝影到「無眼鏡動態畫像」,伺服器系統1100係執行第2油光應對處理(步驟S70)。在同處理中,伺服器系統1100係由「無眼鏡動態畫像」擷取「無眼鏡的正面臉部畫像」(步驟S71)。接著,伺服器系統1100係算出使用者2的臉部特徵量(步驟S73),針對臉部的特定部位各個,讀取顏色(步驟S75)。
讀取顏色的位置係設為由臉部特徵點預先決定的相對位置或以該相對位置為中心的特定範圍。此外,讀取顏色時,適用先設定的顏色補正設定。具體而言,在對讀取對象的畫像施行顏色補正設定之後讀取顏色、或對讀取到的顏色施行顏色補正設定。
由未戴上眼鏡的使用者的臉部畫像(第2畫像資料)所讀取到的資訊係被保存作為例如圖10所示之提示用基礎資料740。提示用基礎資料740係包含:固有的基礎資料ID741、使用者帳號743、臉部特徵量750、及臉部顏色資訊760。當然,亦可適當包含該等以外的資料。
臉部特徵量750係用以將使用者2的「外貌」「容貌」作分類且判定類似性的資訊。例如,可使用將臉部部位的特徵點依特定順序進行列表化的特徵點座標列表751、特徵點間向量列表752、特徵點三角形特徵列表753、臉部3次元模型754等,作為臉部特徵量750。由該等資料,可視需要得知有關使用者2的臉部及臉部部位的大小、形狀、臉部部位的臉部全體中的位置關係、相對比率等。使用什麼資訊作為臉部特徵量750,係可按照採用分類或臉部的類似性作為判定用的演算法來適當選擇。
臉部顏色資訊760係儲存由被擷取到的使用者2的臉部畫像所讀取到的臉部的顏色資訊。例如,包含所讀取到的位置ID762、由該位置所讀取到的顏色(被判定出的顏色)亦即讀取色763、及讀取完成旗標764。
讀取完成旗標764係初期值為「0(讀取未完成之意)」,若在該位置未產生油光的狀態下進行顏色的讀取(顏色的判定),設定為「1(讀取完成之義)」。臉部的各位置的顏色讀取中的油光係可辨識為以局部亮度上升所包圍的區域。
例如,以包含讀取顏色的位置的周圍特定範圍的肌膚的亮度,作成拉普拉斯直方圖(Laplacian Histogram),若該位置包含在亮度上升區域,在該處產生油光,判斷為無法讀取正確顏色,讀取完成旗標764係維持現狀的「0」。若未產生油光,所讀取到的顏色係被推測為正確,因此將讀取完成旗標764設為「1」。當然,油光的辨識亦可以除此之外的考量方式來檢測。
返回至圖9,伺服器系統1100係判定是否有由無眼鏡動態畫像擷取別角度的臉部畫像的必要(步驟S77)。該判定係在例如應由「無眼鏡的正面臉部畫像」所讀取的全部臉部的部位中,以是否以無油光而可讀取到顏色來進行判定。
若該判定為肯定(步驟S77的YES),伺服器系統1100係由「無眼鏡動態畫像」擷取別角度的靜態畫像(步驟S79),讀取由新擷取到的臉部畫像未正確讀取顏色的臉部的位置的顏色(步驟S75)。
若無由動態畫像擷取別角度的臉部畫像的必要,伺服器系統1100係去掉第2油光應對處理,進至有關使用者所希望的化妝例的選擇的處理(圖9中為化妝例選擇步驟)。
化妝品的選擇係達及複數群類(category)(例如粉底、遮瑕膏、腮紅、口紅、…),惟必須達及哪個群類,係取決於使用者。此外,在日常化妝中,粉底係以符合使用者膚色為適當,惟在講究化妝中,無法謂為必定如此,亦有希望為在意圖上與肌膚不同的顏色的情形。此外,粉底的顏色即使相同,應選擇的口紅或腮紅、眼影等應選擇的顏色最終依以什麼樣的化妝為目標而改變。此外,依使用者,亦有欲進行模仿喜歡的製造商、喜歡的模型或藝人的化妝的情形。
因此,在推薦化妝品提示服務中,係採用以配合臉部部位的顏色為主要目的的「讀取色基準推薦」、及以使用者所選擇之對臉部模型的化妝例為基準的「模型基準推薦」等2種推薦形態。有關使用者所希望的化妝例的選擇的處理係為了後者所為的處理。
圖11係用以說明「讀取色基準推薦」的圖。
伺服器系統1100為了決定「讀取色基準推薦」,對使用者2不求喜好等的選擇。伺服器系統1100係依化妝品的群類別,選擇第1~第3推薦。伺服器系統1100係在被施行該群類的化妝品的臉部的各位置的顏色,由化妝品資料庫510選擇類似色的化妝品作為第1推薦。伺服器系統1100係由化妝品資料庫510選擇比類似色稍亮的明側類似色的化妝品作為第2推薦。伺服器系統1100係由化妝品資料庫510選擇比類似色為稍暗的暗側類似色的化妝品作為第3推薦。接著,將該等第1~第3推薦提示作為「讀取色基準推薦」的化妝品。
在此所稱之「類似色」並非必定侷限於最類似的顏色,亦可包含一定程度的容許範圍所包含的類似色。因此,亦可形成為近似的特定範圍的顏色。此外,「明側類似色」及「暗側類似色」亦可以給予的明度差而階段式地設定,亦可在將顏色的類似以明度差對化妝品進行檢索/排序之後,依接近類似色的順序選擇特定數。
類似色/明側類似色/暗側類似色係根據對應於與該群類預先建立對應的塗布臉部部位的讀取色763來決定。若塗布臉部部位達及複數色讀取位置,求出相符的臉部部位置的讀取色763的統計值(例如平均值、眾數值等)而使用此。當然,亦可另外準備決定演算法來按照此。其中,塗布臉部部位亦可以特徵點三角形進行定義,且參照特徵點三角形亮度統計值列表765,來決定類似色/明側類似色/暗側類似色。
化妝品資料庫510係藉由伺服器系統1100予以管理。化妝品資料庫510係在化妝品的類別具有化妝品登錄資料511。在一個化妝品登錄資料511係儲存有型號、群類、製造商、製品名、顏色資訊等各種資訊。
決定「讀取色基準推薦」時,不問製造商而抽出該群類的化妝品,藉由該等的顏色資訊、與類似色/明側類似色/暗側類似色的類似檢索,選擇第1推薦、第2推薦、第3推薦的化妝品。
選擇結果係作為讀取色基準推薦化妝品列表771而在伺服器系統1100予以記憶。具體而言,在讀取色基準推薦化妝品列表771中,依群類772別,參照位置ID773、與第1推薦至第3推薦的各列表(符號774、775、…)建立對應進行儲存。參照位置ID773係表示當選擇該群類的化妝品時,應參照臉部的哪個位置的讀取色,與所登錄的哪個化妝品的顏色進行類似判定,為預先設定者。
圖12係用以說明「模型基準推薦」的圖。
伺服器系統1100係記憶/管理具有複數臉部模型登錄資料541的模型資料庫540。臉部模型登錄資料541係已實際施行化妝的人物(臉部模型)的登錄資料,按每個臉部模型作成。
一個臉部模型登錄資料541係包含:固有的臉部模型ID542、臉部特徵量543、臉部顏色資訊544、未化妝的素顏的無眼鏡臉部畫像亦即素顏畫像資料545、及單數或複數化妝例登錄資料550。當然,在臉部模型登錄資料541亦可適當包含該等以外的資料。
臉部特徵量543及臉部顏色資訊544係臉部模型在化妝前的狀態下進行無眼鏡的臉部畫像(第1畫像資料)的取得、及臉部的各位置的顏色的讀取(顏色的判定)的結果,應亦稱為「化妝前模型資料」的資料。
亦即,臉部特徵量543及臉部顏色資訊544係具有與針對使用者2所求出的提示用基礎資料740(參照圖10)的臉部特徵量750及臉部顏色資訊760同樣的資料構成,在類似檢索時予以參照。
化妝例登錄資料550係依在臉部模型所施行的化妝的類型別作準備,儲存關於該化妝的各種資訊。一個化妝例登錄資料550係包含:固有的化妝例ID551、化妝主題標籤552、化妝畫像資料553、使用化妝品列表554、及使用用具列表555。化妝主題標籤552係登錄有該化妝的主題或供分類用的單詞的標籤資料。化妝畫像資料553係已被施行該化妝的臉部畫像的資料。使用化妝品列表554係被使用在該化妝的化妝品的識別資訊(例如型號、名稱等)的資料。使用用具列表555係該化妝所使用的化妝用具或品項(例如特殊的化妝刷、或假睫毛等)的識別資訊的資料。當然,在化妝例登錄資料550亦可適當包含該等以外的資料。
伺服器系統1100係有關「模型基準推薦」選擇推薦化妝品時,首先,檢索外貌或臉部的部位的顏色與使用者2類似的臉部模型。
具體而言,伺服器系統1100係按每個臉部模型,比較臉部特徵量543及臉部顏色資訊544、與使用者2的提示用基礎資料740的臉部特徵量750及臉部顏色資訊760來進行類似檢索。檢索中符合的臉部模型數係可適當設定。
接著,伺服器系統1100係在使用者終端機1500使使用者2由被施行在臉部模型的化妝例之中選擇喜歡的化妝。
具體而言,伺服器系統1100係在使用者終端機1500使喜好選擇畫面W12顯示,且在該畫面使單數或複數選擇操作圖標20顯示。各選擇操作圖標20係分別與作類似檢索的臉部模型的化妝例登錄資料550以1對1建立對應,在該圖標畫像係使用化妝畫像資料553。其中,選擇操作圖標20亦可將對應的化妝畫像資料553,兼作在使用者終端機1500顯示較大的放大顯示操作圖標。
伺服器系統1100係若由使用者終端機1500取得藉由使用者2所得之選擇操作圖標20的操作資訊,例如圖13所示,在使用者終端機1500使提示畫面W13顯示。
在提示畫面W13係準備與「讀取色基準推薦」與「模型基準推薦」各個建立對應的標籤22(22a、22b),使用者2係觸控標籤22來作選擇操作,藉此可切換所推薦的化妝品的基準。接著,與此時所選擇的標籤22相對應的基準推薦的結果在推薦顯示部24,依化妝品的群類別作分類,以每個化妝品的化妝品圖標26(26a、26b、…)予以顯示。接著,化妝品圖標26係兼作對應的化妝品的詳細資訊及使購入手續開始的操作圖標。
具體而言,伺服器系統1100係若選擇出「讀取色基準推薦」的標籤22a,在推薦顯示部24提示讀取色基準推薦化妝品列表771(參照圖11)的第1推薦列表774等的化妝品。
若選擇出「模型基準推薦」的標籤22b,在推薦顯示部24提示在喜好選擇畫面W12(參照圖12)中使用者2所選擇出的喜歡的臉部模型的化妝例的使用化妝品列表554的化妝品。當然,化妝例的使用用具列表555的用具亦可一起提示。
接著,說明用以實現如此之推薦化妝品提示服務的功能構成。
圖14係顯示伺服器系統1100的功能構成例的功能區塊圖。伺服器系統1100係具備:操作輸入部100s、伺服器處理部200s、聲音輸出部390s、畫像顯示部392s、通訊部394s、及伺服器記憶部500s。
操作輸入部100s係用以輸入供伺服器管理的各種操作的手段。圖1的鍵盤1106即相當於此。
伺服器處理部200s係除了例如CPU或GPU、ASIC、FPGA等成為運算電路的處理器之外,藉由IC記憶體等電子零件來實現,且在與包含操作輸入部100s或伺服器記憶部500s的各功能部之間進行資料的輸出入控制。接著,根據特定的程式或資料、來自操作輸入部100s的操作輸入訊號、由使用者終端機1500等所接收到的資料等,執行各種運算處理,而統合控制伺服器系統1100的動作。
伺服器處理部200s係包含:使用者管理部202、負責有關SNS的控制的SNS管理部204、線上購物管理部206、推薦化妝品提示控制部210、計時部280s、聲音生成部290s、畫像生成部292s、及通訊控制部294s。當然,該等以外的功能部亦可適當包含。
使用者管理部202係進行有關使用者登錄手續的處理及與使用者帳號相連結的各種資訊的記憶管理。具體而言,使用者管理部202係進行:(1)對登錄使用者賦予固有的使用者帳號、(2)依使用者帳號別登錄管理個人資訊的登錄資訊管理、(3)有關SNS的利用的資訊(例如好友登錄等)的管理、(4)在線上購物的品項等的購入履歷的管理、(5)在線上購物所使用的電子結帳用資訊的管理等。當然,亦可適當包含與該等以外的帳號相連結的其他資料的管理功能。
在此所稱之「電子結帳用資訊」係指為了以電子結帳支付對推薦化妝品提示控制系統1000所提供的服務的報酬所使用的資訊。例如,在採用信用卡或預付卡號、會員卡的電子結帳的構成中,卡號、密碼等相當於此。此外,若採用預先藉由消費使用者進行購入手續所登錄的虛擬貨幣或虛擬品項、點數而進行結帳的構成,該虛擬貨幣或虛擬品項、點數的餘額相當於此。
線上購物管理部206係負責關於以化妝品或化妝用品為代表之各種物品的線上購物的控制。
推薦化妝品提示控制部210係進行有關推薦化妝品提示服務的各種控制。具體而言,推薦化妝品提示控制部210係具有:畫像取得控制部212、臉部關連色判定部214、及提示控制部230。
畫像取得控制部212係進行取得對戴上眼鏡10的使用者2進行攝影的第1畫像資料、及對未戴上眼鏡10的使用者進行攝影的第2畫像資料的控制。用以由使用者終端機1500取得有眼鏡動態畫像(參照圖6)與無眼鏡動態畫像(參照圖9)的資料的控制即相當於此。
臉部關連色判定部214係進行使用藉由標誌13及配色樣板14所為之配色,由第1畫像資料及第2畫像資料來判定使用者的臉部的各位置的顏色的控制。臉部的各位置的顏色的讀取相當於此(參照圖9的步驟S75)。
接著,臉部關連色判定部214係包含:臉部辨識控制部216、第1油光應對處理部220、及第2油光應對處理部222。
臉部辨識控制部216係進行辨識畫像內所映現的臉部部位的控制。此外,臉部辨識控制部216係具有臉部特徵量判定部218,根據攝影畫像中的眼鏡10的標誌13的位置,判定關於使用者2的臉部及有關臉部部位的大小、形狀、位置的臉部特徵量。
第1油光應對處理部220係根據第1畫像資料所包含的使用者的臉部的方向不同的畫像,進行對眼鏡10的鏡框12的攝影畫像部分的第1油光應對處理(參照圖6)。臉部關連色判定部214係使用第1油光應對處理後的鏡框的攝影畫像部分的顏色、與鏡框12的配色的顏色的不同,判定使用者的臉部的各位置的顏色。
第2油光應對處理部222係根據第2畫像資料所包含的使用者的臉部的方向不同的畫像,進行對使用者的臉部的各攝影畫像部分的第2油光應對處理(參照圖9)。
提示控制部230係進行依群類別,根據臉部關連色判定部214的判定結果,由特定的化妝品資料庫510(參照圖11)之中選擇推薦給使用者的化妝品且進行提示的控制。臉部關連色判定部214係判定髮色,作為臉部的各位置的顏色之一,因此提示控制部230亦可謂為進行根據藉由臉部關連色判定部214所判定出的髮色,選擇化妝品來進行提示的控制。
此外,提示控制部230係進行按每個模型,由將適用於該模型的化妝品的資訊建立對應進行記憶的模型資料庫540(參照圖12)之中,選擇滿足臉部關連色判定部214的判定結果與特定的符合條件的模型,且提示與該模型建立對應的化妝品的控制。在此所稱之「滿足符合條件的模型」的選擇中,係關於圖12,檢索臉部特徵量與臉部顏色資訊與使用者的各個類似的模型的類似檢索相當於此。
計時部280s係利用系統時鐘來進行現在日期時間或限制時間等的計時。
聲音生成部290s係藉由進行聲音資料的生成或解碼的IC或軟體的執行來實現,生成或解碼伺服器系統1100的系統管理或各服務提供時的操作音或效果音、BGM等聲音資料。接著,關於系統管理的聲音訊號係輸出至聲音輸出部390s。
聲音輸出部390s係將聲音訊號進行放音。在圖1之例中,本體裝置或觸控面板1108所具備的揚聲器(未圖示)即相當於此。
畫像生成部292s係進行畫像的生成、畫像的合成、使畫像顯示部392s顯示該等的畫像訊號的輸出。在本實施形態中,係負責生成關於伺服器系統1100的系統管理的畫像、或在使用者終端機1500有關推薦化妝品提示服務等各種服務的畫面(或用以使該等顯示的資料)等的功能的一部分。
畫像顯示部392s係以平面顯示器、或頭戴式顯示器、投影機等使畫像顯示的裝置來實現。在圖1之例中,觸控面板1108相當於此。
通訊控制部294s係執行有關資料通訊的資料處理,且透過通訊部394s,實現與外部裝置交換資料。
通訊部394s係與網路9相連接來實現通訊。例如,藉由無線通訊機、數據機、TA(終端機配接器)、有線用的通訊纜線的插孔或控制電路等予以實現。在圖1之例中,通訊裝置1153相當於此。
伺服器記憶部500s係記憶用以實現用以使伺服器處理部200s統合控制伺服器系統1100的諸功能的程式或各種資料等。此外,暫時性記憶被使用作為伺服器處理部200s的作業區域且伺服器處理部200s按照各種程式所執行的運算結果等。該功能係藉由例如RAM或ROM等IC記憶體、硬碟等磁碟、CD-ROM或DVD等光碟、線上儲存器等來實現。在圖1之例中,本體裝置所裝載的IC記憶體1152或硬碟等記憶媒體、及儲存器1140相當於此。
圖15係顯示本實施形態中之伺服器記憶部500s所記憶的程式或資料之例的圖。本實施形態中之伺服器記憶部500s係記憶:伺服器程式501、配訊用客戶端程式503、SNS管理資料506、線上購物管理資料509、化妝品資料庫510(參照圖11)、顏色讀取位置定義資料520、眼鏡登錄資料530(參照圖4)、及模型資料庫540(參照圖12)。
此外,伺服器記憶部500s係記憶使用者管理資料600、進展管理資料700、及現在日期時間800,作為逐次生成/管理的資料。伺服器記憶部500s係亦適當記憶其他程式或資料(例如計時器、或計數器、各種旗標等)。
伺服器程式501係用以藉由伺服器處理部200s讀出來執行,使作為使用者管理部202、SNS管理部204、線上購物管理部206、推薦化妝品提示控制部210的功能實現的程式。
配訊用客戶端程式503係被提供給使用者終端機1500的客戶端程式的原件(original)。
顏色讀取位置定義資料520係指定要讀取使用者2的臉部畫像的何處的顏色(判定顏色嗎)的資料,按每個讀取位置作準備。一個顏色讀取位置定義資料520係將固有的讀取位置ID、與位置定義資料建立對應進行儲存。位置定義資料係以單數或複數臉部特徵點為基準的相對位置座標或在相對位置座標的範圍內予以定義。若以範圍來定義,由該範圍的顏色資訊來指定如何決定代表該範圍的顏色(例如取平均值、取眾數值等)的資料亦適當儲存在顏色讀取位置定義資料520。
使用者管理資料600係按每個已做特定登錄手續的使用者作準備,儲存有關該使用者的各種資料。1個使用者管理資料600係例如圖16所示,包含:固有的使用者帳號601、SNS的好友列表603、電子結帳用媒體資訊605、線上購物購入履歷資料607、及提示重現用資料610。當然,亦可適當包含該等以外的資料。
提示重現用資料610係儲存用以可重現過去提供的推薦化妝品提示服務的結果的各種資料。按每個推薦化妝品提示服務作追加。
具體而言,提示重現用資料610係包含:提示日期時間611、顏色補正設定資料612、無眼鏡正面臉部畫像資料613、提示用基礎資料614、讀取色基準推薦化妝品列表615、使用者選擇化妝例ID616、及模型基準推薦化妝品列表617。顏色補正設定資料612~模型基準推薦化妝品列表617的資料分別為進展管理資料700所包含的同名的資料的副本。
返回至圖15,進展管理資料700係儲存有關推薦化妝品提示服務的進展管理的各種資料。具體而言,例如圖17所示,包含:固有的服務ID701、表示提示目的端的使用者2的使用者帳號703、儲存有關臉部辨識控制的各種資料的臉部辨識控制用資料705、有眼鏡動態畫像資料710、有眼鏡正面臉部畫像資料712、有眼鏡非正面臉部畫像資料714、眼鏡顏色讀取結果資料720(參照圖7)、顏色補正設定資料728(參照圖6、8)、無眼鏡動態畫像資料730、無眼鏡正面臉部畫像資料732、無眼鏡非正面臉部畫像資料734、提示用基礎資料740(參照圖10)、及推薦化妝品選擇控制資料770。當然,亦可適當包含該等以外的資料。
推薦化妝品選擇控制資料770係儲存有關所提示的推薦化妝品的選擇過程的各種資料。具體而言,推薦化妝品選擇控制資料770係包含:讀取色基準推薦化妝品列表771(以讀取到的臉部顏色資訊760為基準作類似檢索的化妝品資料庫510的化妝品的列表)、類似臉部模型ID776、使用者選擇化妝例ID777(在喜好選擇畫面W12所選擇出的化妝例的ID)、及模型基準推薦化妝品列表778。
圖18係顯示使用者終端機1500的功能構成例的功能區塊圖。使用者終端機1500係具備:操作輸入部100、攝影部120、終端機處理部200、聲音輸出部390、畫像顯示部392、通訊部394、及終端機記憶部500。
操作輸入部100係將按照藉由使用者所進行的各種操作輸入的操作輸入訊號輸出至終端機處理部200。圖2的方向輸入鍵1502、或按鈕開關1504、觸控面板1506等相當於此。
攝影部120係對外部的樣子進行攝影,且生成其畫像資料而輸出至終端機處理部200。圖2的攝影機1520亦即影像感測器模組相當於此。
終端機處理部200係藉由例如CPU或GPU等微處理器、或IC記憶體等電子零件來實現,在與包含操作輸入部100或終端機記憶部500的各功能部之間進行資料的輸出入控制。接著,根據特定的程式或資料、來自操作輸入部100的操作輸入訊號、由伺服器系統1100所接收到的各種資料,執行各種運算處理,來控制使用者終端機1500的動作。圖2的控制基板1550相當於此。
接著,本實施形態中之終端機處理部200係具有:使用者終端機運算部260、計時部280、聲音生成部290、及通訊控制部294。
使用者終端機運算部260係進行使使用者終端機1500實現作為與伺服器系統1100進行通訊的客戶端裝置的功能的控制。具體而言,使用者終端機運算部260係包含:操作訊號送訊控制部261、及顯示控制部262。
操作訊號送訊控制部261係執行用以按照對操作輸入部100所進行的操作,將各種資料或要求送訊至伺服器系統1100的處理。
顯示控制部262係進行用以根據由伺服器系統1100所接收到的各種資料等來顯示有關服務的各種畫面等的控制。接著,將用以使該等畫像顯示的畫像訊號的生成輸出等輸出至畫像顯示部392。
畫像顯示部392係根據由顯示控制部262被輸入的畫像訊號,顯示各種畫像。例如,可藉由平面顯示器、投影機、頭戴式顯示器等畫像顯示裝置來實現。在本實施形態中,圖2的觸控面板1506相當於此。
其中,形成為在伺服器系統1100生成有關被提供給使用者的各種服務的畫面的畫像的構成,但是亦可為在使用者終端機1500生成的構成。此時,顯示控制部262係執行例如配置在用以生成3DCG的虛擬3次元空間的物件的控制等用以生成畫面的各種控制、畫像合成處理等。
計時部280係利用系統時鐘來進行現在日期時間或限制時間等的計時。
聲音生成部290係藉由例如數位訊號處理器(DSP)、或聲音合成IC等處理器、可再生聲音檔案的音訊編解碼器等來實現,生成樂曲或效果音、各種操作音的聲音訊號,且輸出至聲音輸出部390。
聲音輸出部390係藉由根據由聲音生成部290被輸入的聲音訊號來進行聲音輸出(放音)的裝置來實現。圖2的揚聲器1510相當於此。
通訊控制部294係執行有關資料通訊的資料處理,透過通訊部394來實現與外部裝置交換資料。
通訊部394係與網路9相連接來實現通訊。例如,藉由無線通訊機、數據機、TA(終端機配接器)、有線用的通訊纜線的插孔或控制電路等來實現,圖2的無線通訊模組1553相當於此。
終端機記憶部500係記憶用以使終端機處理部200實現給予的功能的程式、或各種資料等。此外,暫時性記憶被使用作為終端機處理部200的作業區域且終端機處理部200按照各種程式所執行的運算結果或由操作輸入部100被輸入的輸入資料等。如此功能係藉由例如RAM或ROM等IC記憶體、硬碟等磁碟、CD-RO或DVD等光碟等來實現。圖2的控制基板1550所裝載的IC記憶體1552或記憶卡1540相當於此。亦可為利用線上儲存器的構成。
具體而言,終端機記憶部500係記錄用以使終端機處理部200作為使用者終端機運算部260發揮功能的客戶端程式502、操作輸入資料690、及現在日期時間800。當然,該等以外的資料亦可適當記憶。
圖19與圖20係用以說明有關推薦化妝品提示服務的伺服器系統1100及使用者終端機1500中的處理流程的流程圖。在此說明的處理流程係藉由執行客戶端程式502的使用者終端機1500對執行伺服器程式501的伺服器系統1100進行通訊連接來實現。若使用者2操作使用者終端機1500,操作輸入係被送訊至伺服器系統1100。
如圖19所示,使用者終端機1500與伺服器系統1100係進行登入手續的處理(步驟S2、S4)。
登入後,使用者終端機1500係若檢測特定的「推薦化妝品提示服務開始操作」的輸入,對伺服器系統1100傳送該服務的要求(步驟S6)。
伺服器系統1100係若接收該要求,開始推薦化妝品提示服務的進展管理處理(步驟S8)。伴隨此,作成進展管理資料700(參照圖17)。接著,伺服器系統1100係對使用者終端機1500傳送攝影開始要求(步驟S10)。
使用者終端機1500係若接收攝影開始要求,執行鏡框確認步驟(步驟S20)。藉此,在使用者終端機1500顯示鏡框確認用畫面W5,在攝影機1520被攝影到的畫像的資料被傳送至伺服器系統1100(參照圖5)。
伺服器系統1100係由在使用者終端機1500被攝影的畫像,進行眼鏡10的標誌13的檢測或臉部部位的檢測,進行攝影鏡框的適當檢查(步驟S22)。視需要,在伺服器系統1100與使用者終端機1500之間,進行用以將攝影鏡框適當化的導引顯示控制與顯示(步驟S24、S26)。接著,若判斷攝影鏡框為適當,伺服器系統1100係對使用者終端機1500進行適當檢查的完成通知(步驟S28)。
該完成通知係兼作移行指示,使用者終端機1500係開始第1畫像攝影步驟,亦即有眼鏡動態畫像的攝影處理(步驟S30)。在使用者終端機1500中,顯示第1畫像攝影用畫面W6a、W6b(參照圖6),被攝影到的「有眼鏡動態畫像」的資料係被傳送至伺服器系統1100。
伺服器系統1100係保存有眼鏡動態畫像資料710(參照圖17)(步驟S32),且執行第1油光應對處理(步驟S40;參照圖6)。在該處理之中,讀取眼鏡10的各配色樣板14的顏色,伺服器系統1100係決定色彩校正用的顏色補正值(步驟S60),對使用者終端機1500傳送特定的移行指示(步驟S62)。
若接收該移行指示,使用者終端機1500係開始第2畫像攝影步驟亦即無眼鏡動態畫像的攝影處理(步驟S64)。在使用者終端機1500中,係顯示第2畫像攝影用畫面W9a、W9b(參照圖9),被攝影到的「無眼鏡動態畫像」的資料係被傳送至伺服器系統1100。
移至圖20,伺服器系統1100係保存無眼鏡動態畫像資料730(參照圖17)(步驟S66),且執行第2油光應對處理(步驟S70;參照圖9)。接著,伺服器系統1100係保存在第2油光應對處理所得之使用者2的臉部特徵量750或臉部顏色資訊760等資訊作為提示用基礎資料740(步驟S90;參照圖10)。
接著,伺服器系統1100係執行有關推薦化妝品的選擇的處理(步驟S92~步驟S102)。
具體而言,伺服器系統1100係選擇讀取色基準推薦的化妝品(步驟S92;參照圖11),且保存該結果作為讀取色基準推薦化妝品列表771。
接著,伺服器系統1100係選擇與使用者2的臉部類似的臉部模型,且保存選擇結果作為類似臉部模型ID776(步驟S94)。
接著,伺服器系統1100係對使用者終端機1500提供特定的移行指示、與臉部模型的化妝畫像資料553(參照圖12)(步驟S96)。
接收到該移行指示的使用者終端機1500係執行化妝例選擇步驟的處理,且顯示喜好選擇畫面W12,將藉由使用者2所得之選擇結果傳送至伺服器系統1100(步驟S100)。
伺服器系統1100係以與所接收到的使用者選擇的結果相對應的化妝例的使用化妝品列表554(參照圖12),決定模型基準推薦的推薦化妝品,且保存作為模型基準推薦化妝品列表778(步驟S102;參照圖17)。
接著,伺服器系統1100係將特定的移行指示與推薦化妝品的畫像傳送至使用者終端機1500(步驟S104),且在使用者2的使用者管理資料600追加新的提示重現用資料610(步驟S106)。
另一方面,接收到步驟S104的移行指示等的使用者終端機1500係顯示提示畫面W13(參照圖13),而對使用者2提示推薦化妝品(步驟S110)。提示畫面W13的化妝品縮圖畫像26c係兼作對應的化妝品的詳細資訊及使購入手續開始的操作圖標。因此,使用者終端機1500係若檢測對化妝品縮圖畫像26c的觸控操作,將對應該縮圖畫像的化妝品的資訊提供及購入手續的要求傳送至伺服器系統1100(步驟S112)。
伺服器系統1100係若接收購入手續的要求,執行用以利用線上購物服務來購入所被要求的化妝品的處理(步驟S114)。
以上,藉由本實施形態,藉由使用眼鏡10,色彩校正用的基準色、與讀取顏色的對象物映射在相同畫像內且極為接近的距離,因此即使在例如使用者在自家以智慧型手機的攝影機對自己臉部進行攝影般的攝影環境下,亦可簡便且正確地取得使用者的臉部的顏色資訊。
藉由形成為在第1畫像資料(有眼鏡動態畫像及自此擷取的畫像)進行色彩校正,且在第2畫像資料(眼鏡動態畫像及自此擷取的畫像)讀取臉部的顏色(判定顏色)等2階段構成,亦可讀取隱藏在眼鏡而看不見的部分的顏色,且亦可進行不受眼鏡印影影響的讀取。
在實際的運用場面中,嚴謹而言,亦可能有第1畫像資料中的環境光的狀態、與第2畫像資料中的環境光的狀態無法謂為相同的情形。但是,位於前者與後者之間的僅有使用者拿下眼鏡的細微動作,可由第1畫像資料的攝影直接以連續的程序進行第2畫像資料的攝影,兩者的環境光的狀態大致相同。
由使用者來看,亦可利用網際網路與智慧型手機,使用者在自家等的同時,接受符合自己的化妝品的推薦,而一邊居家一邊購入所被推薦的化妝品。因此,可實現推薦便利性比以往更為優異的推薦化妝品的系統。
[第2實施形態]
接著,說明第2實施形態。若將第2實施形態與第1實施形態作比較,在第1實施形態中,係以伺服器系統1100實現推薦化妝品提示控制部210的功能,惟在第2實施形態中,係以使用者終端機1500實現該等,此點不同。其中,以下主要敘述與第1實施形態的差異,關於與第1實施形態同樣的構成要素,係賦予與第1實施形態相同的符號,而省略重複說明。
圖21係顯示本實施形態中之使用者終端機1500B的功能構成例的功能區塊圖。本實施形態的使用者終端機1500B係在第1實施形態的使用者終端機運算部260包含推薦化妝品提示控制部210。
對應此,雖未特別圖示,由本實施形態之伺服器系統1100的功能構成係省略推薦化妝品提示控制部210。此外,本實施形態之客戶端程式502B係包含使終端機處理部200實現作為推薦化妝品提示控制部210的功能的要素。接著,在終端機記憶部500係記憶進展管理資料700。
圖22與圖23係相當於第1實施形態的圖19與圖20的流程圖。
如該等圖所示,有關推薦化妝品提示控制部210的步驟主要在使用者終端機1500B被執行。但是,資料庫及各種定義資料在本實施形態中亦在伺服器系統1100予以記憶/管理,使用者終端機1500B係在必須進行該等之參照之時,適當將參照要求傳送至伺服器系統1100,伺服器系統1100係每逢此即執行參照對應處理(例如步驟S36、S88)。
在參照對應處理中,伺服器系統1100係將經參照要求的資訊的提供送訊/提供至使用者終端機1500B。具體而言,對應本實施形態的步驟S34,伺服器系統1100係將眼鏡登錄資料530傳送至使用者終端機1500B作為參照對應處理(步驟S36)。此外,對應本實施形態的步驟S70,伺服器系統1100係將顏色讀取位置定義資料520傳送至使用者終端機1500B(步驟S88)。
讀取色基準推薦的化妝品的選擇係若使用者終端機1500B連同選擇要求將提示用基礎資料740傳送至伺服器系統(步驟S91),伺服器系統1100選擇讀取色基準推薦的化妝品(步驟S92),而對使用者終端機1500B提供選擇結果(步驟S93)。
移至圖23,使用者終端機1500係若由伺服器系統1100接受推薦化妝品的畫像的提供,將提示重現用資料610(參照圖16)的複製源資料傳送至伺服器系統1100(步驟S105)。伺服器系統1100係根據所接收到的資料,追加提示重現用資料610(步驟S106)。
藉由本實施形態,可得與第1實施形態同樣的效果。
[變形例]
以上說明適用本發明的實施形態,惟可適用本發明的形態並非為限定於上述形態者,可適當施行構成要素的追加/省略/變更。
(變形例之1)
例如,在第1實施形態中,係顯示將推薦化妝品提示控制部210的功能全部在伺服器系統1100實現,在第2實施形態中,係顯示將同功能全部在使用者終端機1500B實現之例,惟亦可為其中間的構成。亦即,亦可為使推薦化妝品提示控制部210的功能在伺服器系統1100與使用者終端機1500作分擔的構成。
(變形例之2)
此外,在上述實施形態中,讀取色基準推薦及模型基準推薦的化妝品的選擇方法係無關於眼鏡10的種類而均為相同,惟亦可為按照眼鏡10的種類,在讀取色基準推薦及模型基準推薦的化妝品的選擇附加特別條件的構成。
例如,圖24的眼鏡10B係具有藉由化妝品製造商與推薦化妝品提示控制系統1000的營運者的合作所作成的專用的半鏡圈類型(或Blow type)的設計。
接著,在對應眼鏡10B的眼鏡登錄資料530係如圖25所示,包含:讀取色基準推薦化妝品限制設定資料537、及模型基準推薦化妝品限制設定資料538。以讀取色基準推薦化妝品限制設定資料537而言,設定合作端的化妝品製造商名、合作端的化妝品製造商的化妝品的系列名、合作端的化妝品製造商的製品的列表。以模型基準推薦化妝品限制設定資料538而言,形成為合作端的化妝品製造商所備妥的臉部模型登錄資料541的臉部模型ID542的列表(參照圖12)。
接著,在讀取色基準推薦的化妝品的選擇步驟(例如圖20的步驟S92)中,若使用眼鏡10B,由被登錄在化妝品資料庫510的化妝品之中,抽出符合讀取色基準推薦化妝品限制設定資料537所示之內容的化妝品,由其中作選擇。此外,若未使用眼鏡10B,亦可相反地由將符合讀取色基準推薦化妝品限制設定資料537所示之內容的化妝品除外之中,選擇推薦化妝品。
同樣地,在臉部模型的選擇步驟(例如圖20的步驟S94)中,若使用眼鏡10B,抽出符合模型基準推薦化妝品限制設定資料538所示之內容的臉部模型,且由其中選擇類似的臉部模型。此外,若未使用眼鏡10B,亦可相反地由將符合模型基準推薦化妝品限制設定資料538所示之內容的臉部模型除外之中,選擇臉部模型。
亦即,若使用某特定的眼鏡10B,亦可為可追加由該眼鏡的合作端的製造商的化妝品群之中選擇推薦化妝品般的構成、或僅限於使用眼鏡10B的情形下,使用者2由限定的化妝例之中選擇喜歡的化妝例,藉此選擇推薦化妝品般的構成。
(變形例之3)
此外,使用者管理資料600的提示重現用資料610(參照圖16)係可形成為與該資料建立對應的使用者可在利用伺服器系統1100所提供的其他服務時進行參照的構成。
例如,若伺服器系統1100提供化妝模擬服務,伺服器處理部200s負責執行有關化妝模擬的控制的化妝模擬管理部,將在推薦化妝品提示服務被推薦的化妝品,生成在已接受到提示的使用者使用時的的模擬畫像且提示給使用者。
接著,伺服器系統1100係當生成模擬畫像時,在無眼鏡正面臉部畫像資料613(參照圖16),合成讀取色基準推薦化妝品列表615及模型基準推薦化妝品列表617的化妝品的顏色而生成。此時,亦可伺服器系統1100使用顏色補正設定資料612,將無眼鏡正面臉部畫像資料613與讀取色基準推薦化妝品列表615及模型基準推薦化妝品列表617的化妝品的顏色均配合來進行色彩校正。藉由該構成,可以正確的化妝品的顏色生成模擬畫像。
(變形例之4)
此外,例如,如圖26所示,亦可將提示重現用資料610的利用不限於擁有者使用者,該擁有者使用者的好友使用者亦可利用。
具體而言,若根據第1實施形態來作例示,使用者終端機1500若檢測特定的再提示操作輸入(步驟S150),將特定的再提示要求傳送至伺服器系統1100(步驟S152)。伺服器系統1100若接收該要求,可檢索地提供所要求的使用者、與該使用者的好友使用者(好友列表603所登錄的使用者;參照圖16)的各個的提示重現用資料610(步驟S154)。
使用者終端機1500係若取得提示重現用資料610與使用者帳號的套組,對使用者可選擇地提示要重現該等之中哪個提示(步驟S156),根據被選擇出的提示重現用資料610,在提示畫面W13(參照圖13)再提示推薦化妝品(步驟S158)。
提示畫面W13的化妝品縮圖畫像26c兼作對應的化妝品的詳細資訊及使購入手續開始的操作圖標係與第1實施形態相同。
因此,若檢測使用者對經再提示的化妝品縮圖畫像26c的觸控操作,使用者終端機1500係對伺服器系統1100傳送對應該縮圖畫像的化妝品的資訊提供及購入手續的要求(步驟S160)。伺服器系統1100係若接收購入手續的要求,執行用以利用線上購物服務來購入所被要求的化妝品的處理(步驟S162)。
藉由該構成,提示重現用資料610的擁有者使用者的好友使用者亦可購入對該擁有者使用者的推薦化妝品作為禮物。
(變形例之5)
此外,在上述實施形態中,係形成為由「無眼鏡臉部畫像」讀取(判定)臉部的各位置的顏色的構成。此係為了沒有以眼鏡10所隱藏的部位,而且去除眼鏡10的影子或光的反射對顏色讀取造成影響的可能性之故。但是,若將讀取顏色的位置限定在不會衍生如上所述之虞慮的位置時,並不限於此。此時,可省略「無眼鏡動態畫像」的取得、由該動態畫像的「無眼鏡臉部畫像」的擷取、及由「無眼鏡臉部畫像」的顏色的讀取等有關第2畫像資料的構成要素。
(變形例之6)
此外,可使用上述實施形態作為在化妝品販賣店的店舖販賣的系統。具體而言,在上述實施形態中,係例示使用者終端機1500作為使用者所具有的智慧型手機,形成為具有與使用者終端機1500相同功能的店舖安置的資訊終端機(例如,將大型智慧型手機如化妝鏡般使用之所謂「智慧型鏡子」等)。接著,伺服器系統1100兼作將管理每個販賣化妝品的店舖的庫存資訊的庫存資料庫進行記憶管理的庫存管理伺服器,選擇推薦化妝品時,亦可有別於由化妝品資料庫510所做的選擇,在庫存資料庫中由「有庫存」商品之中作選擇來進行提示。
此外,若使用上述實施形態作為店舖販賣的系統,亦可以具有攝影機的店舖安置的主資訊終端機、與店舖員工所掌握的次資訊終端機的二個,來構成上述實施形態中之使用者終端機1500。接著,作為顧客的使用者的「有眼鏡畫像」「無眼鏡畫像」係可形成為以主資訊終端機進行攝影,推薦化妝品的提示係在次資訊終端進行的構成。此時,由於可對店舖員工提示推薦化妝品、且有庫存的商品,因此促銷效果優異。
其中,在店舖間的客戶端資訊的管理係以伺服器系統1100予以一元管理。因此,在店舖安置的資訊終端機,由作為顧客的使用者的「有眼鏡畫像」進行臉部認證,可讀出該使用者的使用者管理資料600。即使店舖不同,亦可利用過去的資料、或接受同樣的服務。順帶一提,以臉部認證用的字典資料而言,係可利用提示用基礎資料614、或無眼鏡正面臉部畫像資料613(參照圖16)。當然,用以讀出使用者管理資料600的臉部認證亦可依使用者別發行使用者登錄卡,且以藉由該卡片所為之認證替代。
2:使用者
4:油光
6:顏色讀取適當範圍
7:適當色讀取群
9:網路
10,10B:眼鏡
11:透光部
12:鏡框
13:標誌
13a:第1標誌
13b:第2標誌
13c:第3標誌
13d:第4標誌
13e:第5標誌
13f:第6標誌
14:配色樣板
20:選擇操作圖標
22,22a,22b:標籤
24:推薦顯示部
26,26a~26e:化妝品圖標
100,100s:操作輸入部
120:攝影部
200:終端機處理部
200s:伺服器處理部
202:使用者管理部
204:SNS管理部
206:線上購物管理部
210:推薦化妝品提示控制部
212:畫像取得控制部
214:臉部關連色判定部
216:臉部辨識控制部
218:臉部特徵量判定部
220:第1油光應對處理部
222:第2油光應對處理部
230:提示控制部
260:使用者終端機運算部
261:操作訊號送訊控制部
262:顯示控制部
280:計時部
290:聲音生成部
294:通訊控制部
280s:計時部
290s:聲音生成部
292s:畫像生成部
294s:通訊控制部
390,390s:聲音輸出部
392,392s:畫像顯示部
394,394s:通訊部
500:終端機記憶部
500s:伺服器記憶部
501:伺服器程式
502,502B:客戶端程式
503:配訊用客戶端程式
506:SNS管理資料
509:線上購物管理資料
510:化妝品資料庫
511:化妝品登錄資料
520:顏色讀取位置定義資料
530:眼鏡登錄資料
531:眼鏡種類
532:標誌定義資料
533:配色設定資料
534:配色樣板名
535:相對位置座標
536:設定值
537:讀取色基準推薦化妝品限制設定資料
538:模型基準推薦化妝品限制設定資料
540:模型資料庫
541:臉部模型登錄資料
542:臉部模型ID
543:臉部特徵量
544:臉部顏色資訊
545:素顏畫像資料
550:化妝例登錄資料
551:化妝例ID
552:化妝主題標籤
553:化妝畫像資料
554:使用化妝品列表
555:使用用具列表
600:使用者管理資料
601:使用者帳號
603:好友列表
605:電子結帳用媒體資訊
607:線上購物購入履歷資料
610:提示重現用資料
611:提示日期時間
612:顏色補正設定資料
613:無眼鏡正面臉部畫像資料
614:提示用基礎資料
615:讀取色基準推薦化妝品列表
616:使用者選擇化妝例ID
617:模型基準推薦化妝品列表
690:操作輸入資料
700:進展管理資料
701:服務ID
703:使用者帳號
705:臉部辨識控制用資料
710:有眼鏡動態畫像資料
712:有眼鏡正面臉部畫像資料
714:有眼鏡非正面臉部畫像資料
720:眼鏡顏色讀取結果資料
721:配色樣板名
722:讀取值
723:讀取完成旗標
728:顏色補正設定資料
730:無眼鏡動態畫像資料
732:無眼鏡正面臉部畫像資料
734:無眼鏡非正面臉部畫像資料
740:提示用基礎資料
741:基礎資料ID
743:使用者帳號
750:臉部特徵量
751:特徵點座標列表
752:特徵點間向量列表
753:特徵點三角形特徵列表
754:臉部3次元模型
760:臉部顏色資訊
761:顏色讀取結果資料
762:位置ID
763:讀取色
764:讀取完成旗標
765:特徵點三角形亮度統計值列表
766:臉部全體平均RGB值
770:推薦化妝品選擇控制資料
771:讀取色基準推薦化妝品列表
772:群類
773:參照位置ID
774:第1推薦列表
775:第2推薦列表
776:類似臉部模型ID
777:使用者選擇化妝例ID
778:模型基準推薦化妝品列表
800:現在日期時間
1000:推薦化妝品提示控制系統
1100:伺服器系統
1101:本體裝置
1106:鍵盤
1108:觸控面板
1140:儲存器
1150:控制基板
1151:CPU(Central Processing Unit,中央處理單元)
1152:IC記憶體
1153:通訊裝置
1500,1500B:使用者終端機
1502:方向輸入鍵
1504:按鈕開關
1506:觸控面板
1509:內置電池
1510:揚聲器
1512:麥克風
1520:攝影機
1540:記憶卡
1542:記憶卡讀取裝置
1550:控制基板
1551:CPU
1552:IC記憶體
1553:無線通訊模組
1557:介面電路
W5:鏡框確認用畫面
W6a,W6b:第1畫像攝影用畫面
W9a,W9b:第2畫像攝影用畫面
W12:喜好選擇畫面
W13:提示畫面
[圖1]係顯示推薦化妝品提示控制系統的構成例的圖。
[圖2]係顯示使用者終端機的構成例的正面圖。
[圖3]係眼鏡的正面圖。
[圖4]係顯示眼鏡登錄資料的資料構成例的圖。
[圖5]係用以說明推薦化妝品提示服務的圖(其1)。
[圖6]係用以說明推薦化妝品提示服務的圖(其2)。
[圖7]係顯示眼鏡顏色讀取結果資料的資料構成例的圖。
[圖8]係用以說明油光判定的圖。
[圖9]係用以說明推薦化妝品提示服務的圖(其3)。
[圖10]係顯示提示用基礎資料的資料構成例的圖。
[圖11]係用以說明「讀取色基準推薦」的圖。
[圖12]係用以說明「模型基準推薦」的圖。
[圖13]係顯示提示畫面的顯示例的圖。
[圖14]係顯示第1實施形態中之伺服器系統的功能構成例的功能區塊圖。
[圖15]係顯示第1實施形態中之伺服器記憶部所記憶的程式或資料之例的圖。
[圖16]係顯示使用者管理資料的資料構成例的圖。
[圖17]係顯示進展管理資料的資料構成例的圖。
[圖18]係顯示第1實施形態中之使用者終端機的功能構成例的功能區塊圖。
[圖19]係用以說明有關推薦化妝品提示服務的伺服器系統及使用者終端機中的處理流程的流程圖。
[圖20]係由圖19接續的流程圖。
[圖21]係顯示第2實施形態中之使用者終端機的功能構成例的功能區塊圖。
[圖22]係用以說明第2實施形態中之有關推薦化妝品提示服務的伺服器系統及使用者終端機的處理流程的流程圖。
[圖23]係由圖22接續的流程圖。
[圖24]係顯示眼鏡的變形例的圖。
[圖25]係顯示眼鏡登錄資料的變形例的圖。
[圖26]係顯示提示重現用資料的利用之一例的流程圖。
10:眼鏡
11:透光部
12:鏡框
13:標誌
13a:第1標誌
13b:第2標誌
13c:第3標誌
13d:第4標誌
13e:第5標誌
13f:第6標誌
14:配色樣板
Claims (11)
- 一種推薦化妝品提示控制系統,其係具備: 眼鏡;及 電腦系統, 前述眼鏡係在預先設定的位置具有位置判定用的標誌, 在預先設定的位置配色有預先設定的顏色, 前述電腦系統係具備: 畫像取得部,其係取得對戴上前述眼鏡的使用者進行攝影的第1畫像資料、及對未戴上前述眼鏡的前述使用者進行攝影的第2畫像資料; 判定部,其係使用前述標誌及前述配色,由前述第1畫像資料及前述第2畫像資料,判定前述使用者的臉部的各位置的顏色;及 提示控制部,其係進行以下控制:根據前述判定部的判定結果,由特定的化妝品資料庫之中選擇推薦給前述使用者的化妝品來進行提示。
- 如請求項1之推薦化妝品提示控制系統,其中,前述眼鏡係具備: 鏡框,其係具有前述標誌,而且已被施加前述配色。
- 如請求項2之推薦化妝品提示控制系統,其中,前述第1畫像資料係對戴上前述眼鏡的前述使用者,改變臉部的方向進行攝影的資料, 前述判定部係執行: 根據前述第1畫像資料所包含的前述使用者的臉部的方向不同的畫像,進行對前述鏡框的攝影畫像部分的第1油光應對處理;及 使用前述第1油光應對處理後的前述鏡框的攝影畫像部分的顏色、與前述鏡框的前述配色的顏色的不同,判定前述使用者的臉部的各位置的顏色。
- 如請求項2或3之推薦化妝品提示控制系統,其中,前述第2畫像資料係對未戴上前述眼鏡的前述使用者,改變臉部的方向進行攝影的資料, 前述判定部係根據前述第2畫像資料所包含的前述使用者的臉部的方向不同的畫像,進行對前述使用者的臉部的各攝影畫像部分的第2油光應對處理。
- 如請求項1至3中任一項之推薦化妝品提示控制系統,其中,前述判定部係判定前述使用者的髮色, 前述提示控制部係進行以下控制:根據藉由前述判定部被判定出的髮色,選擇化妝品來進行提示。
- 如請求項1至3中任一項之推薦化妝品提示控制系統,其中,前述提示控制部係進行以下控制:按每個模型,由將被適用在該模型的化妝品的資訊建立對應進行記憶的模型資料庫之中,選擇滿足前述判定部的判定結果與特定的符合條件的模型,提示與該模型建立對應的化妝品。
- 如請求項6之推薦化妝品提示控制系統,其中,前述模型資料庫係將前述模型在化妝前的狀態下進行了藉由前述畫像取得部所為之畫像資料的取得及藉由前述判定部所為之判定後的結果的資料亦即化妝前模型資料,與該模型建立對應進行記憶, 前述提示控制部係進行以下控制:根據前述化妝前模型資料,選擇關於前述使用者的前述判定部的判定結果與滿足前述符合條件的模型,且提示與該模型建立對應的化妝品。
- 如請求項6之推薦化妝品提示控制系統,其中,前述判定部係具有: 臉部特徵量判定部,其係根據攝影畫像中的前述標誌的位置,判定關於前述使用者的臉部及有關臉部的部位的大小、形狀、位置的臉部特徵量, 前述模型資料庫係將前述模型的臉部特徵量的資料與該模型建立對應進行記憶, 前述提示控制部係進行以下控制:選擇前述模型的臉部特徵量的資料滿足前述臉部特徵量判定部的判定結果與前述符合條件的模型,且提示與該模型建立對應的化妝品。
- 一種眼鏡,其係具備: 位置判定用的標誌,其係設在預先設定的位置;及 配色,其係在預先設定的位置已被施加預先設定的顏色, 電腦系統可根據對戴上前述眼鏡的使用者進行攝影的第1畫像資料、對未戴上前述眼鏡的前述使用者進行攝影的第2畫像資料、前述標誌、及前述配色,來判定前述使用者的臉部的各位置的顏色。
- 如請求項9之眼鏡,其中,具備:鏡框,其係具有前述標誌,而且已被施加前述配色。
- 一種推薦化妝品提示控制方法,其係電腦系統所執行的推薦化妝品提示控制方法,其係包含: 取得對戴上在預先設定的位置具有位置判定用的標誌且在預先設定的位置配色有預先設定的顏色的眼鏡的前述使用者進行攝影的第1畫像資料、及對未戴上前述眼鏡的前述使用者進行攝影的第2畫像資料; 使用前述標誌及前述配色,由前述第1畫像資料及前述第2畫像資料,判定前述使用者的臉部的各位置的顏色;及 進行以下控制:根據在前述判定步驟的判定結果,由特定的化妝品資料庫之中選擇推薦給前述使用者的化妝品來進行提示。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020014570A JP6912611B1 (ja) | 2020-01-31 | 2020-01-31 | メガネ、推奨化粧品提示制御システム及び推奨化粧品提示制御方法 |
JP2020-014570 | 2020-01-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202139120A TW202139120A (zh) | 2021-10-16 |
TWI754530B true TWI754530B (zh) | 2022-02-01 |
Family
ID=77057393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110103359A TWI754530B (zh) | 2020-01-31 | 2021-01-29 | 眼鏡、推薦化妝品提示控制系統及推薦化妝品提示控制方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230033535A1 (zh) |
EP (1) | EP4099260A4 (zh) |
JP (4) | JP6912611B1 (zh) |
CN (1) | CN114930376A (zh) |
CA (1) | CA3163534A1 (zh) |
TW (1) | TWI754530B (zh) |
WO (1) | WO2021153305A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114119154A (zh) * | 2021-11-25 | 2022-03-01 | 北京百度网讯科技有限公司 | 虚拟化妆的方法及装置 |
WO2023119983A1 (ja) * | 2021-12-22 | 2023-06-29 | 株式会社ニコン・エシロール | カラーレンズ決定方法、カラーレンズ決定装置及びプログラム |
ES2970625A1 (es) * | 2023-10-18 | 2024-05-29 | Univ Madrid Complutense | Test de control de calibrado para uso en cámaras presentes en gafas de realidad virtual (VR) o realidad aumentada (AR). |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101668451A (zh) * | 2007-03-08 | 2010-03-10 | 惠普开发有限公司 | 用于基于从图像估计的皮肤色彩推荐产品的方法和系统 |
JP2011176397A (ja) * | 2010-02-23 | 2011-09-08 | Seiko Epson Corp | 映像信号変換装置及び電子機器 |
CN106909538A (zh) * | 2015-12-21 | 2017-06-30 | 腾讯科技(北京)有限公司 | 使用效果展示方法及装置 |
JP2017191300A (ja) * | 2016-04-15 | 2017-10-19 | 株式会社ジュン | メガネフレーム及びメガネ |
CN108256500A (zh) * | 2018-02-05 | 2018-07-06 | 广东欧珀移动通信有限公司 | 信息的推荐方法、装置、终端及存储介质 |
CN108932654A (zh) * | 2018-06-12 | 2018-12-04 | 苏州诚满信息技术有限公司 | 一种虚拟试妆指导方法及装置 |
CN109658167A (zh) * | 2017-10-10 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 试妆镜设备及其控制方法、装置 |
CN109840825A (zh) * | 2017-11-29 | 2019-06-04 | 迪特技术公司 | 基于用户的物理特征的推荐系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634103B2 (en) * | 2001-10-01 | 2009-12-15 | L'oreal S.A. | Analysis using a three-dimensional facial image |
JP4095864B2 (ja) * | 2002-08-23 | 2008-06-04 | 泰尊 中田 | 化粧品販売システムおよび化粧品の販売方法 |
JP4787481B2 (ja) * | 2004-10-14 | 2011-10-05 | 花王株式会社 | ベースメイク推奨方法およびそれに用いる装置、並びにそれに用いる情報ツール |
JP2006318375A (ja) * | 2005-05-16 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 顔画像検索装置および顔画像検索方法 |
US20070058858A1 (en) * | 2005-09-09 | 2007-03-15 | Michael Harville | Method and system for recommending a product based upon skin color estimated from an image |
JP4870651B2 (ja) * | 2007-11-20 | 2012-02-08 | 株式会社エヌ・ティ・ティ・ドコモ | 情報入力システムおよび情報入力方法 |
JP2013030824A (ja) * | 2011-07-26 | 2013-02-07 | Toshiba Corp | 映像表示装置及び映像表示方法 |
WO2015126361A1 (en) * | 2014-02-18 | 2015-08-27 | Lisa Laforgia | Cosmetic base matching system |
US20150356661A1 (en) * | 2014-06-09 | 2015-12-10 | Jillianne Rousay | Cosmetic matching and recommendations |
FR3053509B1 (fr) * | 2016-06-30 | 2019-08-16 | Fittingbox | Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe |
WO2018008138A1 (ja) * | 2016-07-08 | 2018-01-11 | 株式会社オプティム | 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム |
WO2018029963A1 (ja) * | 2016-08-08 | 2018-02-15 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置およびメイクアップ支援方法 |
KR102343251B1 (ko) | 2018-04-13 | 2021-12-27 | 샤넬 파르퓜 보트 | 의도된 사용자를 위한 화장품의 선택 방법 |
WO2020014695A1 (en) * | 2018-07-13 | 2020-01-16 | Shiseido Americas Corporation | System and method for adjusting custom topical agents |
-
2020
- 2020-01-31 JP JP2020014570A patent/JP6912611B1/ja active Active
-
2021
- 2021-01-18 CN CN202180008150.5A patent/CN114930376A/zh active Pending
- 2021-01-18 EP EP21747808.0A patent/EP4099260A4/en active Pending
- 2021-01-18 US US17/791,604 patent/US20230033535A1/en active Pending
- 2021-01-18 WO PCT/JP2021/001445 patent/WO2021153305A1/ja unknown
- 2021-01-18 CA CA3163534A patent/CA3163534A1/en active Pending
- 2021-01-29 TW TW110103359A patent/TWI754530B/zh active
- 2021-07-08 JP JP2021113352A patent/JP6945762B1/ja active Active
- 2021-09-14 JP JP2021149376A patent/JP6964209B1/ja active Active
- 2021-10-18 JP JP2021170316A patent/JP7469278B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101668451A (zh) * | 2007-03-08 | 2010-03-10 | 惠普开发有限公司 | 用于基于从图像估计的皮肤色彩推荐产品的方法和系统 |
JP2011176397A (ja) * | 2010-02-23 | 2011-09-08 | Seiko Epson Corp | 映像信号変換装置及び電子機器 |
CN106909538A (zh) * | 2015-12-21 | 2017-06-30 | 腾讯科技(北京)有限公司 | 使用效果展示方法及装置 |
JP2017191300A (ja) * | 2016-04-15 | 2017-10-19 | 株式会社ジュン | メガネフレーム及びメガネ |
CN109658167A (zh) * | 2017-10-10 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 试妆镜设备及其控制方法、装置 |
CN109840825A (zh) * | 2017-11-29 | 2019-06-04 | 迪特技术公司 | 基于用户的物理特征的推荐系统 |
CN108256500A (zh) * | 2018-02-05 | 2018-07-06 | 广东欧珀移动通信有限公司 | 信息的推荐方法、装置、终端及存储介质 |
CN108932654A (zh) * | 2018-06-12 | 2018-12-04 | 苏州诚满信息技术有限公司 | 一种虚拟试妆指导方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP4099260A1 (en) | 2022-12-07 |
US20230033535A1 (en) | 2023-02-02 |
JP2021121880A (ja) | 2021-08-26 |
WO2021153305A1 (ja) | 2021-08-05 |
JP7469278B2 (ja) | 2024-04-16 |
TW202139120A (zh) | 2021-10-16 |
JP2021180012A (ja) | 2021-11-18 |
JP6912611B1 (ja) | 2021-08-04 |
JP6945762B1 (ja) | 2021-10-06 |
JP2022009212A (ja) | 2022-01-14 |
EP4099260A4 (en) | 2024-04-10 |
JP2022002116A (ja) | 2022-01-06 |
CN114930376A (zh) | 2022-08-19 |
CA3163534A1 (en) | 2021-08-05 |
JP6964209B1 (ja) | 2021-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI754530B (zh) | 眼鏡、推薦化妝品提示控制系統及推薦化妝品提示控制方法 | |
US11867979B2 (en) | Method and system to create custom, user-specific eyewear | |
CN105378657A (zh) | 装置和相关方法 |