TW202103484A - 具改善之影像擷取之用於外用劑之產生的系統及方法 - Google Patents

具改善之影像擷取之用於外用劑之產生的系統及方法 Download PDF

Info

Publication number
TW202103484A
TW202103484A TW109111961A TW109111961A TW202103484A TW 202103484 A TW202103484 A TW 202103484A TW 109111961 A TW109111961 A TW 109111961A TW 109111961 A TW109111961 A TW 109111961A TW 202103484 A TW202103484 A TW 202103484A
Authority
TW
Taiwan
Prior art keywords
image
body part
data
color
sensor
Prior art date
Application number
TW109111961A
Other languages
English (en)
Inventor
萊斯利 楊 哈維爾
肖恩 阿索諾
Original Assignee
日商資生堂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商資生堂股份有限公司 filed Critical 日商資生堂股份有限公司
Publication of TW202103484A publication Critical patent/TW202103484A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0272—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/524—Calibration of colorimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/526—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts for choosing a combination of different colours, e.g. to produce a pleasing effect for an observer
    • G01J3/528—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts for choosing a combination of different colours, e.g. to produce a pleasing effect for an observer using colour harmony theory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明描述一種方法，其包含將一使用者之身體部分影像顯示於由該使用者採用之一裝置之一光學顯示器上。該裝置可包含一影像感測器且該身體部分影像由該感測器感測。該方法包含：判定該身體部分影像相對於該感測器之一位置是否可接受允許記錄該身體部分影像；判定與該感測器相關聯之一照明環境是否可接受允許記錄該身體部分影像；使用該感測器來記錄該影像以提供具有影像資料之一記錄影像；處理該記錄影像以判定與該照明環境相關聯之照明模型資料；及基於該記錄影像及該照明模型資料來判定與該身體部分相關聯之反射率及色彩特性。在一實施例中，該光學顯示器具有一照明體，且當該照明環境不可接受用於記錄時，該方法指示該使用者修改該照明環境使得該身體部分之照明小於由該照明體提供之照明之約2%，使用該照明體來以恆定白光照射該身體部分，且藉由將該身體部分之一輪廓顯示於該光學顯示器上以將該身體部分定位於該感測器之視域中來判定該照明身體部分是否相對於該感測器定位以允許記錄該身體部分影像。在此情況中，處理該影像可包含直接運算以判定該照明模型。

Description

具改善之影像擷取之用於外用劑之產生的系統及方法
本發明之領域大體上係關於影像分析及外用劑配方，且更具體言之，本發明之領域係關於使用改善之影像擷取技術基於彩色臉部影像來判定一客製化或精選化妝品配方之系統及方法。
此項技術中需要提供使用(例如)先進影像分析技術基於一個體之特定需要之一判定來提供客製或精選外用劑(例如化妝品)之方式。因此，已開發系統及方法來解決此等問題且允許一使用者使用一行動裝置來擷取準確、可重複彩色樣本。用於產生針對一特定使用者所最佳化之一美容及防護外用劑之一配方且將所得產品提供給使用者之方法由申請人在本文中開發且揭示於美國專利第8,933,994號、第9,122,918號及第9,122,919號及/或美國專利公開申請案第2018/0189853 A1號及第2018/0260871 A1號(「背景專利」)中，該等案之各者之相關部分以引用的方式併入本文中。此等及其他系統之實施方案現用於工業中且可在市場中購得。諸如MATCHCo之公司提供用於生產此等試劑之一全棧解決方案。此等專利中所揭示之系統及方法具有諸多益處，不僅能夠實際生產此等美容試劑，且亦能夠使此等系統及方法特徵化一給定使用者之特性且使用此等特性來導出或推薦一使用者特定化妝品配方且透過使用者互動及回饋基於一初始配方來提供修改化妝品配方。因此，可針對一個別使用者基於此等系統來特別調配、選擇及/或修改一新配方。
系統(諸如背景專利中所描述之系統)揭示用於互動性指導一使用者擷取影像且使用用於量測臉部區域之具有一影像感測器之一裝置(其可為諸如一行動電話之一手持裝置)來處理使用者互動及所得影像以導致一客製外用劑(諸如一化妝品)之判定及最終製造的技術。然而，與此等技術相關聯之使用者效能要求(其包含使用者互動時間)會相對較高。例如，一些先前方法需要自複數個臉部區域循序收集資料來校準裝置感測器以獲得最準確影像資料。此等效能要求會導致最終使用者減少採用。因此，需要用於互動性擷取影像資料之最佳化方法。
存在用於同時(即，在一單一影像擷取中)擷取複數個臉部區域之使用者光學資料之若干既有方法。用於擷取一使用者之光學影像資料之最簡單方法係使一使用者拍攝其自身自畫像或「自拍」影像。此影像資料可由通常可用於具有攝影機及互動顯示器之手持裝置之作業系統上之機器視覺服務增強。此外，可藉由收集三維(3D)表面資料來擴增此影像資料。可用於手持裝置之作業系統上之機器視覺服務由記錄3D表面資料之光學系統擴增變得越來越常見。再者，既有裝置常用於提供用於追蹤一使用者之臉部之特定區域(稱為臉部特徵)之服務。此等特徵可藉由此項技術之一實踐者熟知之方法來與一3D表面相關、映射至一3D表面上或用於產生一3D表面。
然而，儘管已知使用一自拍，但此項技術中仍需改善校準及光學及攝影機資料收集程序及所得色彩準確度以考量可能干擾一準確及校準影像之環境光源之影響。
本發明包含旨在改善校準及光學及攝影機資料收集程序及所得色彩準確度之數個實施例，其亦包含藉此適當考量可能干擾一準確及校準影像之環境光源之影響。在此概述本發明之例示性實施例。
在一實施例中，本發明包含一種方法，其包括：將一使用者之一身體部分之一影像顯示於由該使用者採用之一裝置之一光學顯示器上，其中該裝置包括一影像感測器且該使用者之該身體部分之該影像由該感測器感測；判定該身體部分影像相對於該感測器之一位置是否可接受允許記錄該身體部分之該影像；判定與該感測器相關聯之一照明環境是否可接受允許記錄該身體部分之該影像；使用該感測器來記錄該影像以提供具有影像資料之一記錄影像；處理該記錄影像以判定與該照明環境相關聯之照明模型資料；及基於該記錄影像及該照明模型資料來判定與該使用者之該身體部分相關聯之反射率及色彩特性。
在該方法之一實施例中，判定該身體部分相對於該感測器之該位置是否可接受用於記錄該身體部分之該影像可包括將一彩色光顯示於該光學顯示器上。
在該方法之另一實施例中，判定該身體部分相對於該感測器之該位置是否可接受用於記錄該身體部分之該影像可包括將該身體部分之一照明輪廓顯示於該光學顯示器上。
此外，該方法可包含：判定該身體部分相對於該感測器之該位置是否可接受用於記錄該身體部分之該影像可包括致動該裝置上之一觸覺或可聽指示器。
在該方法之另一實施例中，判定該照明環境是否可接受用於記錄該身體部分之該影像可包括將一彩色光顯示於該光學顯示器上。
本文之一方法中進一步包含：判定該照明環境可接受用於記錄該身體部分之該影像可包括顯示該身體部分之一照明輪廓。
在該方法之另一實施例中，判定該照明環境可接受用於記錄該身體部分之該影像可包括致動該裝置上之一觸覺或可聽指示器。
該方法中之判定該照明模型可包括：量測與該裝置相關聯之曝光資料；判定描述該裝置上之一照明體與該影像感測器之一光圈之間的一關係的資料；判定描述該照明環境與該影像感測器之間的一關係的資料；及判定描述該影像感測器、該照明體及該身體部分之一表面之間的一關係的資料。
該方法亦可進一步包括部分基於該反射率及該等色彩特性來判定一客製化化妝品配方。
在本文之一方法中，該記錄影像之各種處理可用於不同照明環境。例示性實施例包含：該光學顯示器可包括一照明體；其中藉由該照明環境之該身體部分之照明可小於由該照明體提供之該照明之約2%；且其中處理該記錄影像以判定該照明模型資料可包括直接運算。該光學顯示器可包括一照明體；其中藉由該照明環境之該身體部分之照明可介於由該照明體提供之該照明之約2%至約10%之間；且其中處理該記錄影像以判定該照明模型資料可包括執行影像濾波。該光學顯示器可包括一照明體；其中藉由該照明環境之該身體部分之照明可介於由該照明體提供之該照明之約10%至約25%之間；且其中處理該記錄影像以判定該照明模型資料可包括執行左右對稱之一統計估計。此外，該光學顯示器可包括一照明體；其中藉由該照明環境之該身體部分之照明可介於由該照明體提供之該照明之約25%至約40%之間；且其中處理該記錄影像以判定該照明模型資料可包括採用一機器學習技術。
在另一實施例中，該光學顯示器可包括一照明體；且其中當判定與該感測器相關聯之該照明環境不可接受用於記錄該身體部分之表示時，該方法接著可進一步包括：指示該使用者修改該照明環境，使得該身體部分之該照明小於由該照明體提供之該照明之約2%；使用該照明體來以恆定白光照射該身體部分；及藉由將該使用者之該身體部分之一輪廓顯示於該光學顯示器上以將該身體部分定位於該感測器之視域內來判定該照明身體部分是否相對於該感測器定位以允許記錄該身體部分之該影像；其中處理該記錄影像以判定該照明模型資料包括直接運算。
本發明亦包含一系統之一實施例，其包括：一或多個處理器及非暫時性記憶體；機器可讀指令，其等儲存於該記憶體中，該等機器可讀指令在由該一或多個處理器執行之後引起該系統實施包括以下各者之操作：將一使用者之一身體部分之一影像顯示於由該使用者採用之一裝置之一光學顯示器上，其中該裝置包括一影像感測器且該使用者之該身體部分之該影像由該感測器感測；判定該身體部分影像相對於該感測器之一位置是否可接受允許記錄該身體部分之該影像；判定與該感測器相關聯之一照明環境是否可接受允許記錄該身體部分之該影像；使用該感測器來記錄該影像以提供具有影像資料之一記錄影像；處理該記錄影像以判定與該照明環境相關聯之照明模型資料；及基於該記錄影像及該照明模型資料來判定與該使用者之該身體部分相關聯之反射率及色彩特性。
本文中進一步包含一種方法，其包括：(a)使用與一裝置之一光學顯示器相關聯之一照明源來以已知強度及色彩之光照射一使用者之一身體部分；(b)將該身體部分之一表示顯示於該光學顯示器上，該身體部分由該光學裝置之一影像感測器感測，其中該身體部分之該表示包括與該身體部分相關聯之一輪廓且其中該表示允許該使用者將該身體部分定位於該光學顯示器內；(c)記錄由該影像感測器感測之該身體部分之一影像；(d)記錄描述包含該照明光之該已知強度及色彩之該光學顯示器之性質及包含該影像感測器之曝光設定之該影像感測器之性質的資料；及(e)基於與該身體部分之該記錄影像相關聯之資料、描述該光學顯示器之性質的該資料及描述該影像感測器之該等性質的該資料來判定該身體部分之一表面色彩。
在該方法之一實施例中，該方法可進一步包含判定自該影像感測器至該身體部分之該表面的一距離，其中該距離進一步用於判定該身體部分之該表面色彩。在另一實施例中，判定該身體部分之該表面色彩包括比較與該身體部分之該記錄影像相關聯之該資料與描述該光學顯示器之性質的該資料及描述該影像感測器之該等性質的該資料。該方法亦可進一步包括使用來自反射於一反射鏡中之該照明源之一記錄影像的資料來校準該照明源及該影像感測器之一曝光敏感度。在此實施例中，可藉由使用一加權函數網路處理自該影像感測器至該身體部分之該表面的該距離、與該身體部分之該記錄影像相關聯之該資料、描述該光學顯示器之性質的該資料及描述該影像感測器之性質的該資料來判定該身體部分之該表面色彩。
本文中亦包含一種系統，其包括：一或多個處理器及非暫時性記憶體；機器可讀指令，該等機器可讀指令儲存於該記憶體中，該等機器可讀指令在由該一或多個處理器執行之後引起該系統實施包括以下各者之操作：(a)使用與一裝置之一光學顯示器相關聯之一照明源來以已知強度及色彩之光照射一使用者之一身體部分；(b)將該身體部分之一表示顯示於該光學顯示器上，該身體部分由該光學裝置之一影像感測器感測，其中該身體部分之該表示包括與該身體部分相關聯之一輪廓且其中該表示允許該使用者將該身體部分定位於該光學顯示器內；(c)記錄由該影像感測器感測之該身體部分之一影像；(d)記錄描述包含該照明光之該已知強度及色彩之該光學顯示器之性質及包含該影像感測器之曝光設定之該影像感測器之性質的資料；及(e)基於與該身體部分之該記錄影像相關聯之資料、描述該光學顯示器之性質的該資料及描述該影像感測器之該等性質的該資料來判定該身體部分之一表面色彩。
本文中亦包含一種方法，其包括：將一使用者之一身體部分之一影像顯示於由該使用者採用之一裝置之一光學顯示器上，其中該裝置包括一影像感測器且該使用者之該身體部分之該影像由該感測器感測；使用該感測器來記錄該身體部分之該影像之一第一版本及一第二版本以提供相關聯之記錄高動態範圍影像，其中將該裝置之該光學顯示器上之該顯示器照明設定為白色以記錄該影像之該第一版本且其中將該裝置之該光學顯示器上之該顯示器照明設定為黑色以記錄該影像之該第二版本；自該影像之該第一版本移除該影像之該第二版本中之至少一些該照明以產生該影像之一第三版本；處理與該影像之該第三版本相關聯之資料以產生該身體部分之三維模型，該三維模型與一系列頂點相關聯，該等頂點之各者與一色彩相關聯；校正與該等頂點之各者相關聯之該色彩以考量該感測器至該身體部分之距離及該感測器相對於該身體部分之一角度以判定經校正色彩頂點；及使用一機器學習模型來處理該等經校正色彩頂點以估計該身體部分之色彩特性。
在一些實施例中，該方法可進一步包括使用一應用程式來依自畫像模式操作該影像感測器。該方法可進一步包括使用該應用程式來控制具有該影像感測器之該裝置之設定。在該方法之一實施例中，其可進一步包括在一暗室照明環境中拍攝該影像之該第一版本且亦進一步以白光照射該光學顯示器。
在一些實施例中，該方法可進一步包括依臉部資料格式儲存該影像之該第三版本。在該方法中，各頂點可包括以下之一或多者：與該身體部分上之該頂點位置相關聯之一標記、自該影像之該第三版本取得之一RGB色彩、自該影像感測器之深度資料取得之該頂點之一深度、該頂點相對於該影像感測器之視點的一空間位置及該頂點相對於該影像感測器之視點的投影法向位置。在此方法之一實施例中，該方法可進一步包括使用來自該裝置之影像資料基於該裝置之類型來校正色彩之一預處理步驟。
在此方法中，該機器學習模型可包含一色彩校正學習模型，且該方法進一步包括在訓練面容色彩模型且包含來自不同類型之裝置(其包含具有該影像感測器之該裝置)的影像作為該面容色彩模型中之訓練資料時校正該裝置之類型。可在訓練該機器學習模型之前平滑化及篩選用於該機器學習模型中之該訓練資料。
此外，在該方法中，可使用來自人類主體之訓練資料來構建及訓練該機器學習模型，其中該訓練資料包含以下之一或多者：調查資料、來自該等人類主體之自述資料、該等人類主體之參考照片及一比色圖表、由一分光光度計在用於地表實況量測之至少一臉部區域中量測之來自該等人類主體之膚色資料及來自使用者之臉部影像資料。該至少一臉部區域係選自一手腕、一前額、一右臉頰、一左臉頰、一右下頷線、一左下頷線及一肩部。
可使用一分量中值法來將該方法中之該訓練資料(即，來自用於地表實況量測之該至少一臉部區域之膚色資料)組合成一單一CIELAB色彩，且接著可使用各臉部區域之該單一CIELAB色彩作為一機器學習模型之一輸入，且該機器學習模型之輸出係一臉部化妝品之一統一色彩。
替代地，可使用一複合法來組合該方法中之該訓練資料(即，來自用於地表實況量測之該至少一臉部區域之膚色資料)，其中來自該至少一區域之該膚色資料經受跨該至少一臉部區域之線性加權以判定該至少一區域之哪一個最佳匹配一地表實況資料組中之一膚色之一單一CIELAB值。在此實施例中，在該機器學習模型中，該至少一臉部區域之各者之一CIELAB向量係該模型之一輸入且一地表實況色彩CIELAB單一向量係輸出。該線性加權可計算為經正規化之多變數線性迴歸之一結果。該機器學習模型可包含具有夏季月份中所擷取之地表實況資料及冬季月份中所擷取之地表實況資料的一地表實況資料組。
相關申請案之交叉參考 本申請案根據35 U.S.C. §119(e)主張2019年4月9日申請之美國臨時專利申請案第62/831,667號、第62/859,676號及第62/951,970號之權利，該等案之各者之名稱為「System and Method For Creation Of Topical Agents With Improved Image Capture」，該等案之全文以引用的方式併入本文中。
下文描述本發明之實施例且在相關部分中以引用的方式併入與基本系統及方法相關之背景專利之揭示內容以界定可用於本發明中之先前系統及方法。
本申請案中所描述之發明及其實施例提供一光學顯示器(諸如一照射型液晶顯示器)，其用於向一使用者提供回饋，同時亦充當以一已知光量照射使用者以量測臉部區域之面容色彩的一構件。因此，實施例提供受控照明之一形式及臉部特徵追蹤及臉部表面重構以構建用於並行光學資料擷取(即，其中可一次擷取光學資料之若干形式)之唯一照明環境之一模型。如本文中所使用，術語「照明模型」或模型化一照明環境之參考係指由一照明源提供之光之物理傳播、其與實體表面之互動及隨後藉由一光學系統之感測之一數學模型。此一模型可簡化成一實際應用作為資料及程式碼且用於提供關於影像資料之資訊。
另外，擷取資料及建構照明模型可在本文中用於訓練一機器學習系統。再者，即時擷取資料、建構照明模型可由經訓練機器學習系統處理以提供詳細面容色彩資料(即，CIE l*a*b*、CIELAB色彩)、面容特徵資料(例如皺紋、雀斑、痤瘡、胎記)且提供客製外用劑之互動產生、修改及製造之製造指南。
本文中所揭示之本發明之實施例亦允許使用本文所更詳細描述之最佳化技術來自一使用者之複數個臉部區域並行收集光學反射率資料。
在背景方面，使用一光學裝置之感測器/攝影機來準確記錄(即，資料之量測及儲存)色彩以記錄一影像需要控制、知道或模型化感測器、照明及物理環境之物理性質。
如本文中所使用，光學資料係指由感測器擷取且由透鏡之一光學系統處理以將一真實影像聚焦至一光感測構件陣列(諸如一電荷耦合裝置(CCD))上之資料。光學系統之輸出係由色彩通道或一灰階通道組成之一影像。光學資料可包含由包含攝影機之光學系統及使用其他感測法擷取之其他資料。例如，可使用一光學系統來感測深度資料，光學系統使用多個攝影機及定時或結構化光輸出，諸如用於使用結構化光之飛行時間感測器及深度系統中。
藉由透過作業系統讀取光學串流中之嵌入式資料(例如可包括一彩色影像之光學資料、以一影像陣列表示之深度資料及以(例如)可交換影像檔案格式(EXIF)或標籤影像檔案格式(TIFF)格式表示之攝影機設定)或相關聯硬體中之嵌入式資料來判定感測器之物理性質。嵌入式資料可包含主要由含有關於一資料串流(例如可用於裝置之作業系統(OS)中之應用程式設計介面(API)中之一串列資料串流)之額外資訊的原始或壓縮影像資料組成之資料串流中之資料。嵌入式資料可包含(但不限於)用於影像擷取中之曝光時間、用於影像擷取中之一透鏡系統之孔徑、用於影像擷取之一影像記錄裝置之敏感度(ISO)、GPS座標中之影像擷取之位置及成像設備之廠牌及型號。
如本文中所使用，照明係指可見光源，其可包含局部面光源(諸如燈)、擴散面源(諸如光板)及遠距離光源(諸如來自太陽及月亮之光)。
如本文中所使用，物理環境係指亦包含結合影像擷取所執行之活動附近之表面之色彩及反射率的一室內空間(諸如一房屋中之一房間或一汽車或車輛之內部)或一室外空間。
如本文中所更完全描述，可使用由裝置/攝影機中之3D感測功能供應之資料來感測及模型化感測器、光及目標之表面反射率的關係。替代地，可使用辨識臉部特徵且將此等特徵擬合至使用者之影像的技術(例如使用數學方法之幾何資料擬合技術)來感測及模型化關係。此技術可由裝置之作業系統中之電腦視覺演算法或其他可用源(其包含開源項目(諸如STASM、OpenCV)或工業API (諸如Apple之ARKit或Google之Vision API))供應。可使用裝置之光學顯示器來控制照明及使用者互動，如本文中所更完全描述。
可依若干方式獲得係光學感測器之曝光資料(即，ISO、快門時間及孔徑)的嵌入式資料。在一例示性實施例中，監測嵌入於攝影機資料串流中之曝光資料以判定感測器之曝光值。在另一實施例中，系統將攝影機之快門時間及ISO敏感度設定為特定設定。無論何種情況，可使用曝光資料來量測場景中之光量。
可藉由量測照明體及攝影機系統之光圈之相對位置及定向來判定照明體(例如「閃光」或在拍攝一自畫像/自拍時來自光學顯示器之照明)與攝影機之間的關係(即，相對於彼此之幾何關係/放置(6個自由度))、位置(xyz)、定向(圍繞一軸線之擺動、俯仰、橫擺或旋轉)。此資料可被量測及儲存於一資料源中以備後用。
環境照明體與攝影機之間的關係(即，幾何關係，相同於上文)亦需判定且可根據局部照明(照明環境)及其相對於攝影機光圈之物理環境中之對應輻射度映射來改變。針對低光/暗室情境，判定環境光相對於攝影機之位置、定向及後續貢獻之間的關係可與偵測嵌入式影像資料中之曝光資訊何時指示此額外光之強度較小一樣簡單。針對其中環境照明較低之情境，可簡化量測表面色彩之直接運算。一低照明環境係(例如)其中周圍或其他環境照明源之總貢獻小於由針對表面反射率所發現之CIELAB色彩量測之人類可感知亮度或色彩變異數之約2%的照明環境，其中使用標準觀察者模型來將CIELAB設計為亮度及色彩之人類感知之一接近近似值。
在知道攝影機、皮膚表面及光之相對位置且知道光量(即，因為不存在除顯示器之外的光源)且知道攝影機之曝光之後，可藉由解算輻射度方程式來實施此直接運算，膚色可解算為一物理系統。
儘管暗室環境簡化解算照明模型之總程序(即，因為不具有外部光消除解算一未知變數之問題)，但出現其他困難，如現所描述。
諸多手持裝置含有攝影機系統且能夠使用一光學顯示器來與裝置互動。手持裝置上之光學顯示器隨時間不斷提高解析度、光度及色彩之品質。提高此等裝置中之光度及色彩保真度之品質允許其充當照明及顯示系統。此用途已是眾所周知，且通常由裝置上之嵌入式軟體使用以充當攝影機程式碼介面中之一「閃光」或補光。通常亦將攝影機之即時輸出展示於此一光學顯示器上作為至自拍使用者之回饋。然而，在此即時回饋期間，在一暗室環境中，無法使用顯示器作為一照明體。此係因為在一暗室中將一視訊影像顯示於某人之顯示螢幕上衰減螢幕上所顯示之光。螢幕上所顯示之暗光無法照射自拍主體。一暗室中缺少照明使適當定位使用者之臉用於自拍照片變得困難(若非不可能)。
本發明之特定態樣有助於解決此問題。在一實施例中，光學顯示器用於回饋及在一暗室環境中用作一照明體，其涉及在光學顯示器上指示影像感測器經定位使得可(例如)使用本文中所描述之臉部特徵偵測技術來自動偵測係自拍掃描之主體的身體部分，且光學顯示器使用大於其他光源之光通量來照射身體部分。更特定言之，手持裝置可經程式化以使用白色背景上之恆定/接近恆定亮度(此照明來自電話之照明顯示器)來向使用者展示表示其自身之一輪廓、畫線或其他稀疏顯像表示(如下文將更詳細描述)。此一顯像可依若干方式完成。在一實施例中，可使用用於認定邊緣之一影像處理演算法(諸如坎尼邊緣偵測(Canny Edge Detection))來認定臉之邊緣。此等邊緣可展示為一白色背景上之光線。此允許裝置將定位回饋給予使用者，同時提供接近恆定/連續照明。
現描述用於產生使用者之臉之一畫線/稀疏顯像表示的一方法。可使用一臉部特徵偵測演算法(例如由先前所提及之手持裝置作業系統或臉部特徵偵測API之機器視覺服務提供)來定位使用者之臉之關鍵點(如圖1中所展示)。軟體知道臉之點。可藉由使用與既有點之比例關係來添加新點。接著，藉由連接點來產生畫線。可使用此等點來在一白色背景上建構一淺黃畫線(如圖2中所展示)以藉此允許系統將定位回饋給予使用者，同時提供接近恆定照明。此顯像可將使用者之位置展示於圖框中，使得其可適當定位自畫像。依此方式，可在一暗室環境中將光學顯示器用作一照明體及定位及對準之回饋兩者。
另外，在主要適用於房間具有至少一些光之特定實施例中，顯像可變動以在使用者已將攝影機定位於一接近最佳位置及距離處時顯示。可由若干因數判定最佳使用者定位。一因數係使用者與攝影機之距離。例如，在一非常接近距離處，使用者之所有需要特徵不可見，使用者之特徵模糊，及/或用於定位臉部特徵之(若干)演算法失效。若使用者距攝影機太遠，則表示使用者之特徵之像素之數目會減少以損及資料收集。若使用者不居中於影像區域內，則會削減關鍵使用者特徵。若使用者之頭側轉，則使用者之該定向會隱藏特定特徵。
在一實施例中，顯像可在電話位於適當位置中時為描述臉之輪廓的一畫線及在臉不位於適當位置中時變成環繞臉之一橢圓。更特定言之，臉部特徵偵測軟體能夠偵測臉部特徵之位置以判定使用者之臉部特徵是否可見於圖框內及是否可接受用於記錄影像。若臉部特徵非全部可見於影像圖框內，則呈現一橢圓。
在另一例示性實施例中，顯像可在電話位於適當位置(如圖2所示)中時顯示臉之淺色線性邊緣及在臉不位於適當位置(如圖3所示)中時變成使用者之一低對比度明亮視訊顯像。在一些實施例中，放寬低周圍及環境光之要求，且使用採用牛頓(Newton)法之額外運算來解算整個照明環境，如將在以下章節中描述。然而，即使在此等實施例中，由光學顯示器使用先前段落中所描述之方法來提供使用者回饋仍有用，因為即使針對其中存在更多周圍/環境光之情形，仍需要由光學顯示器直接照明。
針對一明室環境，為考量較大環境光照明，認定攝影機與環境照明體之間的關係會更複雜。一例示性解決方案涉及使用多個照明體來擷取多個影像以調整經計算表面色彩。在此實施例中，由使用者使用上述自拍方法來記錄一影像，其中光學顯示器之色彩係一已知經校準白色。在一實施例中，螢幕色彩及光度係針對電話之一給定模型來量測且用作一常數。在其他實施例中，當電話之一給定模型之螢幕色彩及光度變動太大且無法被視為恆定時，可藉由使使用者對著鏡子自拍來校準白色螢幕。該影像可用於校準電話之白色螢幕，即，影像中之白光可被量測且因此變成已知。背景專利中之一實例中描述及本文將進一步描述此步驟之實施例之技術。例如，在一例示性實施例中，使用者由一系列使用者介面螢幕指導以向一共用反射鏡展示手持裝置之顯示器。將攝影機/電話之曝光設定設定為已知值。要求使用者按壓一使用者介面元素以使用手持裝置之前置攝影機來記錄螢幕影像之一影像。手持裝置上之軟體使用記錄影像、已知曝光設定、手持裝置之類型及影像中之明亮顯示之大小及記錄光度來校準顯示器之照明及攝影機之曝光敏感度。此校準資訊接著可用於藉由使用相對於攝影機之曝光特性之認定顯示器照明光度及色彩調整用於色彩轉換之白點來改善面容色彩之計算。
現返回至考量明室環境中之環境光照明之一方法之描述，在自拍之後，改變光學顯示器照明體之色彩(例如變成黃色)且記錄影像。使用彩色(例如黃色照明)影像來偵測其中存在一不同頻率之照明色彩(即，除黃色之外一的色彩)的影像區域。此資訊用於自第一(即，白色經校準)影像移除環境照明。
現更詳細描述此實施例，手持裝置上之軟體將一系列單獨背景色彩顯示於光學顯示器上，且針對各單獨照明體記錄一影像。此等照明體之一者可為由sRGB標準界定之深黃色(R=1，G=1，B=0)。另一照明體可為sRGB標準中所界定之白色(R=1，G=1，B=1)。接著，可由軟體執行以下步驟以偵測及移除周圍光：1. 認定使用黃色照明體之使用者影像之非黃色(藍色)區域；2. 處理此等區域以移除曝光飽和之假影，其藉由衰減高曝光之區域來完成；3. 處理此等區域以移除雜訊，其可藉由應用一中值影像濾波器來完成；4. 使用此等認定區域來衰減使用白色照明體之使用者影像之曝光；5. 可使用所得經校正影像來改進表面色彩之後續計算。在本發明中，曝光飽和之假影係在記錄影像中顯現為純白色之非常明亮反射。此等可由亮度之一直方圖偵測，被認定，且被移除。在本發明中，可藉由使用已知技術將半徑1.0之一分量中值濾波器應用於擷取影像來執行移除雜訊。
在明室環境中，手持裝置可經程式化以提供可收集影像資料之一指示及可不收集影像資料之另一指示。例如，在一實施例中，當自攝影機資料串流讀取之嵌入式曝光資料指示周圍光環境太亮或否則不可接受光學顯示器成為使用者之主照明體時，可作出一指示(例如係一紅點，如圖3之顯示器之左上角中所展示)，但當嵌入式曝光指示周圍光環境足夠暗以使光學顯示器成為使用者之主照明體且照明環境係可接受時，可作出一不同指示(例如係一綠點，如圖2之左上角中所展示)。在其他實施例中，指示器不可見，但可聽或可觸。
現更具體描述此實施例，並非為光學顯示器之周圍、環境及其他光源會在其總貢獻大於光學顯示器之貢獻時被視為「太亮」，使得一軟體演算法或方法難以準確解算使用者面容之所要區域之表面反射率。可容忍或可接受更多或更少光，其取決於可用於考量此光之技術，即，直接解算照明模型對周圍光非常敏感，但一機器學習系統可經訓練以忽略更多周圍光。例如，在其中直接解算反射率(例如藉由未由影像濾波輔助之逆顯像技術、額外統計或機器學習技術，如本文中別處所描述)之實施例中，除由光學顯示器提供之照明量之外的所需照明量可相當小。例如，因為此額外照明將直接影響面容色彩之認定量測之容限，所以需要落於待量測之面容表面上之額外或周圍照明小於由光學顯示器提供之照明之約2% (即，來自除顯示器之外的源之允許周圍光量在其照射皮膚時占自顯示器輸出之光之一百分比)。
在另一實施例中，當周圍或其他額外照明可由上述影像濾波衰減時，需要落於待量測之面容表面上之額外或周圍照明小於由光學顯示器提供之照明之約10%。
在添加估計臉部區域之反射光之允許變異數之一統計技術及已知照明下之臉部之反射率之左右對稱之統計估計的又一實施例中，需要落於待量測之面容表面上之額外或周圍照明小於由光學顯示器提供之照明之約25%。例如，因為來自光學顯示器之光大致居中且已偵測到臉之特徵，所以使用左右對稱來比較臉部區域之照明係有用的(鑑於人類係大致左右對稱)。若臉之右側之認定反射色彩顯著不同於左側，則差異可用於偵測臉之較亮側上之外部光。
在使用由各種可能面容、照明及周圍輸入訓練之一機器學習系統來調整先前實施例之輸出的另一實施例中，需要落於待量測之面容表面上之額外或周圍照明小於由光學顯示器提供之照明之約40%。在此等實施例中，測試且已知對額外或周圍照明之所需限制，且可藉由監測嵌入於影像資料串流中之資料之輸出來偵測額外照明量。
亦需判定感測器、照明體及目標表面之間的物理關係(如先前之物理關係)。在一實施例中，光學顯示器(其係自畫像/自拍操作模式中之照明體)位於相對於光學感測器/攝影機之一固定位置中。系統可判定其操作之裝置之類型且使用此關係(即，顯示器相對於攝影機之物理距離及定向，其不會因電話之一給定模型而改變)來判定感測器/攝影機相對於照明體之物理關係。為判定感測器及照明體與目標表面之關係，必須判定目標表面之各種深度。在一實施例中，手持裝置(例如智慧型電話)具有將深度量測為一陣列之一感測器。
圖4將此一陣列之深度輸出展示為一灰階影像。在圖4中，較亮區域更靠近攝影機光圈，且較暗區域更遠離攝影機光圈。應瞭解，灰色之各色調表示與攝影機光圈之一固定經校準距離，且因此可用於建構與光學影像相關之一3D表面。依此方式判定目標表面相對於攝影機之關係。在另一實施例中，使用一機器視覺技術來認定影像上之臉部特徵(例如使用先前所提及之API)。圖1展示使用用於臉部特徵追蹤之作業系統中之一服務來自一手持裝置輸出之二維(2D)點。點依其陣列順序由一線鏈接。圖5展示使用一擬合演算法來擴增以構建節點及弧線之一圖形以形成一組經連接之3D多面體的圖1中之點。用於保持此圖形之資料結構稱為一翼邊(Winged-Edge)模型。用於此實例中之擬合演算法使用認定臉部特徵來判定一預製圖形之新位置，位置由一系統使用替換、縮放、內插及外推來認定。存在可用於執行此一擬合之已知演算法。例如，奇異值分解可用於構建一特徵子集之齊次投影矩陣，且此等矩陣可用於將翼邊模型之區段映射至特徵位置。可使用諸如圖4中所繪示之一深度圖來將感測深度位置應用於經變換翼邊模型。圖6展示已使用選擇性細分來平滑化之一翼邊模型。此細分技術係已知的。接著，可判定此等表面至攝影機之距離，即，因為參考攝影機光圈來量測臉部區域之深度。
現描述上文所提及之程序之額外細節。更特定言之，以下描述(其包含下文將提及之偽碼)提供用於自臉部特徵產生一臉之一多邊形結構的例示性步驟。
臉部特徵係自臉部特徵偵測軟體(諸如先前所提及之臉部特徵偵測軟體)讀取。圖1展示經編號之輸入頂點。與各頂點相關聯之編號將稱為其指數。臉部區域多邊形由指數界定。例如，圖1中使用指數1...65。採用一零基計數，因此在此實例中，碼中之指數在自0至64 (包含0及64)之範圍內。使用額外頂點來構建多邊形。使用加權內插及外推來合成此等額外頂點： synthLinearPoint使用一權重及兩個輸入頂點來內插一新頂點。 synthTriPoint使用兩個點之垂直法線、兩個點之形心及一權重來外推一新頂點以放置新頂點。 synthQuadPoint使用兩個點之垂直法線、一第三點之位置及一權重來外推一新頂點以放置新頂點。
使用偽碼synthUVs()來合成各新頂點65...92。
藉由依序橫穿gFaceRegionsRegions來產生一翼邊模型。參考圖5來繪示一例示性翼邊模型。已知及描述用於產生此模型之一方法，例如Bruce G. Baumgart之「Winged Edge Polyhedron Representation」，史丹佛大學，Artificial Intelligence Project (1972)，其以引用的方式併入本文中。
接著，細分翼邊模型。已知及描述一例示性細分技術，例如Tony DeRose、Michael Kass及Tien Truong之「Subdivision Surfaces in Character Animation」(SIGGRAPH '98)，其以引用的方式併入本文中。
使用基於所使用之裝置之類型之模型之已知值來計算攝影機之一4×4投影矩陣。針對細分表面中之各頂點：取樣深度圖中之一對應點；應用深度表示之一標度校正；設定頂點之z深度值；及使用4×4投影矩陣之逆算來反投影頂點。針對細分表面中之各多邊形，自可見光照片影像取樣色彩。圖7中展示此程序之一例示性輸出。
以下表示可用於實施上述程序之程式碼。
下文提供臉部區域多邊形之界定，其中第一數字係頂點多邊形計數，接著為臉部特徵頂點之編號指數。超過65之頂點指數由加權內插合成。 int32 gRightEyeRegion[] = { 3, 16, 17, 64, 3, 17, 18, 64, 3, 18, 19, 64, 3, 19, 20, 64, 3, 20, 21, 64, 3, 21, 22, 64, 3, 22, 23, 64, 3, 23, 16, 64, 0 }; int32 gRightEyeTopRegion[] = { 4, 4, 17, 16, 59, 4, 4, 5, 18, 17, 4, 5, 6, 19, 18, 4, 6, 7, 20, 19, 3, 7, 50, 20, 0 }; int32 gRightCheekUpperRegion[] = { 4, 16, 23, 66, 59, 4, 23, 22, 68, 66, 4, 22, 21, 67, 68, 4, 21, 20, 50, 67, 3, 50, 49, 67, 0 }; int32 gRightCheekLowerRegion[] = { 4, 66, 68, 72, 57, 4, 68, 67, 71, 72, 4, 67, 49, 48, 71, 0 }; int32 gRightJawRegion[] = { 3, 29, 72, 71, 3, 71, 75, 29, 4, 71, 48, 47, 75, 4, 30, 29, 75, 77, 4, 77, 75, 47, 46, 0 }; int32 gLeftEyeRegion[] = { 3, 8, 9, 63, 3, 9, 10, 63, 3, 10, 11, 63, 3, 11, 12, 63, 3, 12, 13, 63, 3, 13, 14, 63, 3, 14, 15, 63, 3, 15, 8, 63, 0 }; int32 gLeftEyeTopRegion[] = { 3, 8, 40, 0, 4, 0, 1, 9, 8, 4, 1, 2, 10, 9, 4, 2, 3, 11, 10, 4, 3, 51, 12, 11, 0 }; int32 gLeftCheekUpperRegion[] = { 4, 12, 51, 93, 13, 4, 13, 93, 70, 14, 4, 14, 70, 69, 15, 4, 15, 69, 40, 8, 3, 40, 69, 41, 0 }; int32 gLeftCheekLowerRegion[] = { 4, 41, 69, 73, 42, 4, 69, 70, 74, 73, 4, 70, 93, 53, 74, 0 }; int32 gLeftJawRegion[] = { 3, 33, 76, 73, 3, 73, 74, 33, 4, 73, 76, 43, 42, 4, 33, 32, 78, 76, 4, 76, 78, 44, 43, 0 }; int32 gForeheadRegion[] = { 4, 82, 86, 0, 40, 4, 86, 88, 1, 0, 4, 88, 84, 2, 1, 4, 84, 90, 3, 2, 4, 90, 80, 65, 3, 4, 80, 89, 4, 65, 4, 89, 83, 5, 4, 4, 83, 87, 6, 5, 4, 87, 85, 7, 6, 4, 85, 81, 50, 7, 0 }; int32 *gFaceRegionsRegion[] = { gRightEyeRegion, gRightEyeTopRegion, gRightCheekUpperRegion, gRightCheekLowerRegion, gRightJawRegion, gLeftEyeRegion, gLeftEyeTopRegion, gLeftCheekUpperRegion, gLeftCheekLowerRegion, gLeftJawRegion, gForeheadRegion, gNoseBridgeRegion, gNoseRegion, gUpperMouthRegion, gUpperLipRegion, gLowerLipRegion, gChinRegion, NULL }; char *gFaceRegionNames[] = { "RightEye", "RightEyeTop", "RightCheekUpper", "RightCheekLower", "RightJaw", "LeftEye", "LeftEyeTop", "LeftCheekUpper", "LeftCheekLower", "LeftJaw", "Forehead", "NoseBridge", "Nose", "UpperMouth", "UpperLip", "LowerLip", "Chin" };
以下自三個頂點及一權重計算一第四頂點： Vec2f synthQuadPoint(int32 dex0, int32 dex1, int32 dex2, real32 scale) { Vec2f diff = uvs[dex2] - uvs[dex0]; Vec2f perpDiff(diff.y, -diff.x); perpDiff *= scale; Vec2f result = uvs[dex1] + perpDiff; return(result); }
以下自兩個頂點及一權重計算一第三頂點： Vec2f synthTriPoint(int32 dex0, int32 dex1, real32 t, real32 scale) { Vec2f diff = uvs[dex1] - uvs[dex0]; Vec2f perpDiff(diff.y, -diff.x); Vec2f midPoint = (diff*t) + uvs[dex0]; perpDiff *= scale; Vec2f result = midPoint + perpDiff; return(result); }
以下自兩個頂點及一權重內插一頂點： Vec2f synthLinearPoint(int32 dex0, int32 dex1, real32 scale) { Vec2f result = ((uvs[dex1] - uvs[dex0]) * scale) + uvs[dex0]; return(result); }
以下自原始特徵頂點合成所有額外頂點： void synthUVs(real32 foreheadScale) { if (uvs.size() == 65) { uvs.resize(95); uvs[65] = synthLinearPoint(3, 4, 0.5f);         //中眉 uvs[66] = synthQuadPoint(57, 58, 59, 0.2f);   //右鼻臉頰 uvs[93] = synthQuadPoint(51, 52, 53, 0.2f);   //左鼻臉頰 uvs[94] = synthLinearPoint(62, 61, 0.50f); uvs[67] = synthLinearPoint(49, 66, 0.30f);     //右臉頰0 uvs[68] = synthLinearPoint(49, 66, 0.65f);    //右臉頰1 uvs[69] = synthLinearPoint(41, 93, 0.30f);    //左臉頰0 uvs[70] = synthLinearPoint(41, 93, 0.65f);    //左臉頰1 uvs[71] = synthLinearPoint(48, 57, 0.35f);    //右下臉頰0 uvs[72] = synthLinearPoint(48, 57, 0.7f);     //右下臉頰1 uvs[73] = synthLinearPoint(42, 53, 0.35f);   //左下臉頰0 uvs[74] = synthLinearPoint(42, 53, 0.7f);     //左下臉頰1 uvs[75] = synthLinearPoint(47, 29, 0.5f);    //右下頷 uvs[76] = synthLinearPoint(43, 33, 0.5f);    //左下頷 uvs[77] = synthLinearPoint(46, 30, 0.45f);  //右下巴 uvs[78] = synthLinearPoint(44, 32, 0.45f);  //左下巴 uvs[79] = synthLinearPoint(45, 31, 0.6f);   //中下巴 uvs[80] = synthLinearPoint(45, 60, 1.0f + foreheadScale);  //上前額 Vec2f rightHeadWidth = uvs[50] - uvs[60]; Vec2f leftHeadWidth = uvs[40] - uvs[60]; Vec2f templeMid = synthLinearPoint(60, 80, 0.6f); uvs[81] = templeMid + rightHeadWidth;            //右太陽穴 uvs[82] = templeMid + leftHeadWidth;              //左太陽穴 uvs[83] = synthTriPoint(80, 81, 0.45f, -0.15f);   //右中弧 uvs[84] = synthTriPoint(80, 82, 0.45f, 0.15f);    //左中弧 uvs[85] = synthTriPoint(81, 83, 0.45f, 0.10f);    //向右填充 uvs[86] = synthTriPoint(82, 84, 0.45f, -0.10f);   //向左填充 uvs[87] = synthTriPoint(85, 83, 0.5f, 0.10f);      //向右填充 uvs[88] = synthTriPoint(86, 84, 0.5f, -0.10f);    //向左填充 uvs[89] = synthTriPoint(80, 83, 0.50f, -0.01f);  //向右填充 uvs[90] = synthTriPoint(84, 80, 0.50f, -0.01f);  //向左填充 uvs[91] = synthQuadPoint(55, 56, 57, 0.45f);    //右鼻孔 uvs[92] = synthQuadPoint(53, 54, 55, 0.45f);    //左鼻孔 } }
依上述方式收集之彙總資料在本文中指稱濾波資料。可使用濾波資料來解算一照明模型。
現描述用於解算照明模型之方法。可藉由讀取影像串流中之嵌入式資料或藉由設定手持裝置上之一或多個前置攝影機之曝光設定(如先前所描述)來特徵化感測器/攝影機之曝光。可判定待量測之感測器、照明體及(若干)表面之物理關係，如先前所描述。可藉由耦合光學顯示器來控制照明體以用作受控照明，如先前所描述。可使用此資訊來估算由攝影機觀看之場景之照明模型。解算一照明模型以使用額外照明及幾何資料自一已知場景認定經認定幾何形狀之反射率、色彩及表面特性的一般問題稱為一逆顯像。對一特定場景瞭解越多，所導出之照明模型及認定幾何形狀之量測表面特性更準確。逆顯像係一已知技術且更詳細描述於Patow及Pueyo之「A Survey of Inverse Rendering Problems」(Computer Graphics Forum，P663-687，V22，N4，https://doi.org/10.1111/j.1467-8659.2003.00716.x (2003))中，其以引用的方式併入本文中。
在一實施例中，已知主照明源，且藉由自自拍掃描擷取之一彩色影像取樣色彩來認定臉之定向及關鍵平面。此取樣之結果可見於圖7中。可使用一逆顯像技術來解算圖7中所展示之臉之一或多個平面之反射率及色彩特性。在一實施例中，用於解算此等特性之一最佳化逆顯像技術描述於Boivin及Gagalowicz之「Inverse Rendering from a Single Image」(Dynamic Graphics Project，加拿大多倫多大學，Mirages Project，法國INRIA-Rocquencourt，www.dgp.toronto.edu/~boivin/pubs/cgiv2002.pdf (2002))，其以引用的方式併入本文中。
選擇一給定技術以基於其匹配存在於待解決問題中之已知數及未知數之特定組的程度來解算反射率及色彩特性。存在兩大類逆顯像：一類係「直接解算」，其可用於周圍光較低或存在很少未知數時；或「間接解算」，其可用於存在更多未知數(例如更多周圍光)時。
逆顯像技術使用一既有影像、認定幾何形狀及主要照明來猜測表面反射率之一初始值。接著，演算法因其透過表面反射率參數之最可能改變反覆以減小誤差而最小化合成顯像與擷取影像之間的誤差。如本文中所使用，合成顯像係指使用電腦圖形技術來繪畫不存在之某物。在本發明中，存在一3D模型，已知光及攝影機特性，因此吾人可合成吾人認為吾人應看見之事物，且比較其與實際存在之事物。接著，可改變變數(如皮膚表面之色彩、皮膚之反光度等等)，直至顯像及實際臉部表面匹配。透過反覆(例如使用牛頓法)來解算模型。若存在更多未知數(諸如額外光)，則亦需估算該等未知數，其使解決問題更加困難及複雜。若手持裝置之光學顯示器係主光源或當額外光可由本文中所描述之方法校正/考量時，此技術產生足夠準確之結果來判定臉之一離散區域之色彩及表面特性。針對其中存在更多周圍或直接光之環境，需要額外處理來減小誤差。
儘管在一例示性實施例中使用一逆顯像技術來判定表面反射率，但可使用此項技術中已知之其他技術。
例如，在另一實施例中，可使用一相對光傳輸模型來解算面容表面之色彩及反射率特性。傳輸模型由掃描認定之表面、光學顯示器之光區域及攝影機或成像裝置之間的連接之一非定向圖形組成。圖形之各節點係一表面區域、光區域或攝影機視點。圖形之弧線連接各節點且含有各節點之間的輻射傳遞之部分。為簡單起見，連接弧線可受限於連接至鄰接表面節點、光學顯示器及攝影機之表面節點。各表面之色彩及亮度之相對改變由其與相鄰表面節點之一局部均值的差判定。傳輸圖形中之各表面節點標記有臉上之一位置。傳輸圖形之局部區域根據其相較於已知圖形之物理光傳遞之輻射量測計算所含之誤差量來分級。比較具有低誤差之區域與來自實例性面容之類似標記之預定相對傳輸圖形。使用一支援向量機來解算已知面容之貢獻。
在另一替代實施例中，可使用一全域照明模型來解算來自擷取影像之表面之表面反射率。全域照明模型假設：臉之大部分區域由相同照明模型照射，且因此可一般化該模型且降低複雜性。在一方法中，將臉之各表面之記錄掃描色彩映射至一球面上。藉由使用表面補片或平面之定向來執行映射以認定球面上之一匹配定向。在一實施例中，使用一平均數來彙總各球面區域之色彩。在另一實施例中，其經收集及分類以計算一分量中值。球面之位置由基於凸度之各貢獻表面之一加權平均數判定。球面之直徑由貢獻表面之加權程度判定。藉由比較光學顯示器之已知位置、攝影機之已知位置及球面之各區域之角度及位置來判定具有最高鏡面光之球面區域，認定區域係入射光角匹配相對於該區域表面之入射視角的位置。認定具有最高漫射光之球面區域，該區域係其表面大部分完全面向光學顯示器之光的區域。可使用一照明模型(例如馮氏照明(Phong Illumination)模型，如Bui Tuong Phong之「Illumination for Computer Generated Pictures」(Communications of ACM 18 (1975)，no. 6，311-317))中所獲知及描述，其以引用的方式併入本文中)來解算漫射反射率、鏡面反射率及周圍反射率之一初始值。計算球面之各區域之一模型反射率值。基於與模型化色彩之距離來分級球面之各區域。超過一誤差臨限值之球面區域可經標記用於模型化環境照明中。容限內之球面區域可用於改進使用者面容之預測色彩及表面特性/反射率。
現描述全域照明模型之額外細節。在一此實施例中，可藉由使用一顯像技術反覆估算與使用裝置/攝影機所擷取之目標之照明及表面相關之資料來認定此照明及表面資料，顯像技術採用實施為運行於一數位電腦上之程式碼的一系列功能。功能組及其流程在本文中指稱全域照明模型。全域照明模型之輸入(輸入資料)包含以下各者： - 呈編碼為稱為sRGB之色彩空間中之紅、綠及藍值之一2維像素陣列之形式之使用攝影機/裝置所擷取之使用者之數位影像(本文中指稱影像圖)。 - 呈深度值之一2維陣列之形式之與擷取數位影像相關聯之擷取深度影像(本文中指稱深度圖)。此等值係攝影機至影像圖中之對應像素之距離之線性表示。 - 本文中所描述之翼邊多邊形模型。 - 結合使用者之數位影像之擷取來使用之曝光設定(即，ISO、快門速度及孔徑)。 - 攝影機光圈相對於顯示器之照明部分之中心的位置(本文中指稱位置資料)。 - 顯示器之照明部分之大小(本文中指稱照明資料)。 - 針對用於擷取影像之裝置之模型的顯示器之照明部分之校準光特性。 - 針對裝置之模型來調整以提供SI單位之用於擷取影像圖之攝影機/裝置之CCD之回應曲線(本文中指稱影像光曲線)。曲線表示為離散值之一0...0x0001000陣列以提供一16位元像素值之一直接查找。 - 影像至攝影機變換，其係使用呈0,0,0之攝影機光圈點來將一深度圖x,y,深度像素轉換成一x,y,z向量之4×4變換矩陣。 - 光至攝影機變換，其係使用呈0,0,0之攝影機光圈點來將一顯示器照明像素UV轉換成一x,y,z向量之4×4變換矩陣。 - 光SI，針對裝置之模型之一恆定SI照明值。 建構中間資料以用於反覆估算與擷取數位影像相關聯之影像圖中之照明及表面資料。
用於表示輸入資料之3維表面特性的中間資料稱為表面圖。在一實施例中，使用包含以下各者之一系列步驟來建構表面圖。重取樣及組合影像圖及深度圖以形成含有紅、綠、藍、深度及遮罩之值之一結構之一2維陣列，本文中指稱表面圖。將一中值濾波器應用於深度圖以移除雜訊。判定表面圖之一大小，其通常將為深度圖尺寸之寬度及高度之2倍。分配表面圖。使用雙三次插值來縮放深度圖以擬合表面圖。將表面圖之深度分量設定為深度圖值。將影像圖自sRGB變換成線性RGB，且藉由使用影像光曲線之查找來將線性RGB變換成SI單位。使用縮放因數*1.5之倒數作為高斯(Gaussian)函數之θ來將一高斯濾波器應用於表面圖。使用點取樣來縮放影像圖以擬合表面圖。將表面圖之紅、綠及藍分量設定為影像圖值。將表面圖之所有遮罩分量設定為零。標記表示待估算之表面的模型中之多邊形。因為自臉部特徵偵測構建模型，所以此等多邊形對於輸入資料之所有例項而言將為相同的。使模型中之標記多邊形顯像成表面圖之遮罩分量，使得遮罩區域被設定為一值1。
用於將表面圖之3維表面特性表示為一全域照明模型之中間資料在本文中指稱球面圖。在一實施例中，使用包含以下各者之一系列步驟來建構球面圖。重取樣及組合表面圖以形成含有紅、綠、藍、深度及累加之值的球面圖值結構之一2維陣列。此在本文中指稱球面圖。判定球面圖之一大小。此通常為寬度及高度之二次方。其經選擇以小至足以提供模型之足夠角解析度且大至不存在來自輸入表面圖之少量樣本。在一例示性實施例中，大小係256×256。分配球面圖。 For each pixel in the SurfaceMap: If (SurfaceMap[thisPixel] ].Mask = 1) A triangle with 3d vertices is built using neighboring pixels. Vertex0 is this pixel. Vertex1 is the pixel of the column to the right. Vertex2 is the pixel of column to the right and the row to the bottom. The triangle vertices are transformed to Camera space. Vertex0  = ImageToCamera * Vertex0… The normal of the triangle is found. The normal is scaled to 128.0. The normal is offset by 128, 128. U,V indicies are set, U = N.x, V = N.y For the U,V pixel in the SphereMap: SphereMap[V][U].Red += SurfaceMap[thisPixel] ].Red SphereMap[V][U].Green += SurfaceMap[thisPixel] ].Green SphereMap[V][U].Blue += SurfaceMap[thisPixel] ].Blue SphereMap[V][U].Depth += SurfaceMap[thisPixel] ].Depth SphereMap[V][U].Accum += 1 For each pixel in SphereMap: If (SphereMap[thisPixel].Accum ＞ 0) SphereMap[V][U].Red /= SphereMap[V][U].Accum SphereMap[V][U].Green /= SphereMap[V][U].Accum SphereMap[V][U].Blue /= SphereMap[V][U].Accum SphereMap[V][U].Depth /= SphereMap[V][U].Accum SphereMap[V][U].Accum /= SphereMap[V][U].Accum
用於表示螢幕區域在攝影機空間中之位置的中間資料稱為光圖。在一實施例中，使用包含以下各者之步驟來建構光圖。光圖係3D頂點之一2維陣列。光圖之高度及寬度具有相同於用於擷取影像圖之裝置模型之顯示器照明體之縱橫比。光圖之高度及寬度經計算使得： 光圖寬度=((以毫米為單位之顯示器寬度)+2.5)/5； 光圖高度=((以毫米為單位之顯示器高度)+2.5)/5； 分配光圖。光圖像素經設定： 光圖[V][U].xyz=(V,U)*光至攝影機。
自全域照明模型輸出之資料(輸出資料)包含： 合成球面圖——含有紅、綠、藍之值作為SI單位之一結構之一2維陣列； CIELAB表面色彩——設定為與球面圖UV {128,128}相距16個像素之球面圖中之像素之平均值； 鏡面γ=1.8； 鏡面標度=0.23； 誤差項=無窮大； 最大反覆=1000； 最小誤差=0.02。
在一例示性實施例中，由本文中所描述之顯像技術採用之函數包含以下各者： GetSpherePixelNormal(REAL u, REAL v) -＞ {a, b, c} { a = (u – 128) / 128 b = (v – 128) / 128 c = sqrt(1.0 – (a*a+b*b)) return({a, b, c} } RGBsiToCIELAB(RGB rgb) -＞{lab} { return(XYXtoLAB(LinRGBtoXYX(SiToLinRGB(rgb)))) } CIELABtoRGBsi(RGB rgb) -＞{lab} { return(LinRGBToRGBsi(XYZ(ToLinRGB(LABToXYZ(rgb)))) } BlinnPhong(SphereMapValue v,  SI light, RGBsi rgb ) -＞ {rgb} { toLight = light - v.xyz; d = length(toLight) lightNomal = normalize(toLight) surfaceNormal = GetSpherePixelNormal(v.uv) halfVector = normalize(surfaceNormal + lightNomal ) falloff = 1.0/(d*d) specular = dot(halfVector, {0, 0, 1}) specular = pow(specular, SpecularGamma) specular = specular * SpecularScale specular = specular * falloff diffuse = dot(lightNomal, surfaceNormal) * falloff return((rgb * diffuse) + (specular * LightColor)) } AdjustSpecular(SpecularAmount, AccumRGBError) -＞ SpecularAmount { error = average(AccumRGBError) SpecularAmount += error * 0.1 return(SpecularAmount) }
用於產生輸出資料之反覆循環在本文中指稱解算照明模型。其由誤差項及最大反覆之狀態界限如下： 1.  testRGB = CIELABtoRGBsi(SurfaceColor) 2.  While (MaxIteration ＞ 0 and ErrorTerm ＞ MinError) a. Render SynthSphereMap i. For every pixel in SphereMap 1. For every pixel in SphereMap a. If (SphereMap.accum ＞ 0) i. For every pixel in LightMap 1. SynthSphereMap[currentPixel] = BlinnPhong(SphereMap[currentPixel, LightMap, testRGB) b. Compare SphereMap and SynthSphereMap i. RGBsi AccumRGBError = 0; ii. AccumCount = 0 iii. For every pixel in SphereMap 1. If (SphereMap.accum ＞ 0) a. AccumCount++ b. AccumRGBError += SphereMap[currentPixel].rgb - SynthSphereMap[currentPixel].rgb) iv. If AccumCount 1. AccumRGBError = AccumRGBError / AccumCount v. Else 1. Error, no data in SphereMap c. If (length(AccumRGBError) ＜ ErrorTerm) i. ErrorTerm = length(AccumRGBError) d. MaxIteration--. e. testRGB = testRGB + (AccumRGBError * 0.1) 3. SurfaceColor = RGBsiToCIELAB(testRGB)
在此實例中，鏡面量不受影響但可藉由添加額外反覆循環來解算。例如，可藉由保存鏡面γ來替換步驟1；可執行步驟2a...2d；及由鏡面量替換步驟2e=調整鏡面(鏡面量，累加RGB誤差)。
在另一實施例中，可藉由判定球面圖與合成球面圖之間的平均誤差且棄用具有大於2倍平均誤差之一誤差的像素來自球面圖過濾周圍光。
在另一實施例中，可藉由比較跨側半球之圖之區域(即，u=128-30與u=128+30)來自球面圖過濾周圍光。可棄用此比較期間所認定之亮像素。
逆顯像或其他技術之解算輸出係複數個臉部區域之表面色彩及反射率。色彩及反射率可結構化為一CIELAB色彩及一鏡面反射量。CIELAB色彩及鏡面反射率可結構化為一搜尋鍵，且搜尋鍵可用於認定及解算可經組合以產生一客製化妝品之離散外用劑之一混合物或比例，如背景專利中所揭示。
直接解算物理照明模型存在限制。例如，Bovin及Gagalowicz之技術非常適合於待解算之變數之數目相對較低時。由未知色彩之額外光源引入至照明模型之未知數之數目面臨解算時間及解算解析度難以克服之挑戰。然而，可組合一混合系統以藉由訓練解算路徑最可能相關之一機器學習(ML)系統且使用此等指導一逆顯像技術來改善Bovin及Gagalowicz之技術之效能。在一實施例中，可藉由訓練一隱藏式馬可夫模型(Hidden Markov Model)選擇特定狀態轉變來增強一逆顯像演算法之解算路徑。
現更具體參考一ML系統之使用，可使用濾波資料來訓練複數個臉部區域之色彩及表面反射率之輸出之一ML模型。在一例示性實施例中，將ML系統分成解算使用者之面容之中間表示的分量。可訓練一分量來解算臉之已知區域之CIELAB色彩。可訓練另一分量來解算由表皮上層之皮脂含量引起之表面反射率。此等分量之輸出可用於產生一搜尋鍵以導出一混合物且產生一客製外用劑。
現更詳細描述此實施例，訓練資料可包含使用複數個手持裝置類型所擷取之濾波資料，且一系列使用者具有複數個面容特性。可標記用於訓練系統之濾波資料之各單元以使其與一特定手持裝置、一特定使用者及各使用者之面容之量化量測相關聯。此等量測可包含(但不限於)：(1)各種臉部區域之色譜；(2)各種臉部區域之CIELAB色彩；及(3)各種臉部區域之反射率特性。
在一實施例中，使用一資料收集程序來收集及組織資料以訓練一ML系統。此程序包含一系列步驟：1. 參考主體臉型納入(Casting Intake)；2. 參考主體組群識別；3. 參考主體訓練資料收集工作階段；4. 訓練資料分析；5. 訓練資料結構化；6. ML訓練；7. ML驗證。
參考主體臉型納入試圖接觸及吸引具有各種面容類型及特性之各種主體。此等類型包含(但不限於)自暗至亮之各種面容色調、自暖至冷之各種面容底色、各種皮脂含量、對陽光之各種回應及/或各種皮膚異常生長物及局部著色。採訪主體，且對包含(但不限於)手腕、前額、臉頰、上頷、下頷、下頸及上胸部區域之各種面容區域進行分光光度計掃描。應注意頭髮及眼睛色彩及毛孔大小及面容皮脂含量之一量測或估計。拍攝皮膚區域之顯微照片。此初始資料經結構化且放置於一資料儲存器中。
參考主體組群識別試圖自可表示一參考主體組群或群組之參考主體臉型識別關鍵個體。首先可藉由基於由CIELAB色彩及皮脂含量組成之一n維向量的k值叢集來執行組群之識別。向量之其他分量可包含毛孔大小及皮膚異常生長物(諸如雀斑或斑點)之頻率。可藉由基於統計平均值移除離群值來進一步篩選組群列表。
參考主體訓練資料收集工作階段試圖收集呈用於開發一ML網路之一訓練組之形式的資料。收集過量資料用於驗證。為了訓練，其收集呈由手持裝置及相關聯軟體構件取得之掃描資料之類型之形式的參考訓練資料。可在各種不同裝置上取得若干此等掃描。其收集與手持裝置掃描資料相關聯之面容表面資料。面容表面資料將包含由ML系統輸出之各面容區域之CIELAB色彩及皮脂含量、小皮膚異常生長物(諸如雀斑、斑點及痤瘡)之位置及類型、眼睛色彩、髮色、較大面容異常生長物(諸如皺紋、暗斑或黑眼圈)之位置及類型、膚色或色調變動。例如，此資料可由離散掃描、顯微照片、高解析度照片或高解析度3D掃描收集。
訓練資料結構化試圖將來自參考主體訓練資料收集工作階段之資料組織及結構化成可訓練選定ML系統之一形式。在一實施例中，此藉由首先處理來自手持裝置及相關聯軟體構件之掃描資料來完成。將各掃描轉換成一上述翼邊模型。翼邊模型含有表面相對於攝影機及光學顯示器照明體之3D位置。模型亦含有在用於此訓練之每個經訓練翼邊模型(全部結構類似以形成一標準)中一致之一組關鍵2D座標，其將指稱UV座標。模型亦包含自由手持裝置上之軟體收集之一或多個影像累加之一CIELAB色彩。一經解算照明模型與翼邊模型相關聯且用於解算翼邊模型中之各多面體之表面反射率之一最初近似值。在輸入之後，添加翼邊模型之各多面體之所要訓練輸出。此輸出包含(但不限於)藉由該區域之分光光度計之CIELAB資料掃描、該區域之皮脂含量、小皮膚異常生長物之位置及類型及該區域內之較大皮膚異常生長物之位置及類型。其亦包含一系列影像圖。將此等圖鍵入至翼邊模型之UV座標。各圖含有描述小及大皮膚異常生長物(其包含(但不限於)雀斑、暗點、痤瘡、皮膚變色、皺紋及黑眼圈)之各種標記影像區域。
ML訓練試圖促進發開一組ML圖形及此等圖形中之關機係數、權重或常數以將手持裝置掃描資料之輸入(即，在其轉換成含有上述整組輸入資料之一翼邊模型之後)轉換成由含有各多面體區域之資訊(其含有上述收集訓練資料輸出之一子集)的一翼邊模型組成之輸出資料。在一實施例中，ML系統實施為TensorFlow (https://www.tensorflow.org/)中之一模型。透過TensorFlow中所實施之一圖形網路，在訓練程序期間設定ML網路權重、常數及係數以輸出來自標準化翼邊模型之一組有序多面體(各多面體具有相對3D資料)、來自記錄影像之濾波CIELAB色彩、來自經解算照明模型之估計反射CIELAB色彩及經解算表面反射率之一誤差度量。
ML驗證試圖驗證或證明ML訓練中所產生之各ML網路之訓練在一特定容限內提供一輸出。在此程序期間，參考主體訓練資料收集工作階段期間所收集之額外資料用作ML系統之輸入。輸出與所蒐集之輸出資料核對且認定系統之容限。若系統在容限內，則可封裝及部署ML系統。若系統超出容限，則ML訓練重新開始，且修改ML圖形之結構且再訓練圖形。
在一些實施例中，在初始訓練之後，ML系統無法再接收訓練，或網路可使用熟習技術者已知之各種技術來接收間歇訓練。在一些實施例中，在訓練之後，可使用一組單獨已知訓練資料來確證ML系統。接著，ML系統可用於駐留於一伺服器(如下文將參考圖8B描述)上之一服務中或駐留於手持裝置上以將使用者資料處理成針對一特定臉部區域之CIELAB資料之一輸出。
在所描述之實施例中，可依此方式訓練ML系統之各分量。在此等實施例中，兩個單獨ML網路之CIELAB輸出及皮脂含量輸出可作為輸入連接至經訓練以輸出一特定產品之配方的ML系統。
在另一例示性實施例中，ML分量可採取CIELAB色彩、皮脂含量及一化妝品之特性，且解算一客製外用劑或混合物之成分之比例。此分量將替換使用一搜尋鍵且解算一混合物之一或多個背景專利中之方法。
ML系統可由供應輸入及訓練資料至一分佈式節點網路且與輸入、輸出及一訓練輸入連接之一進一步處理級組成。各節點具有一權重或一組權重且具有可觸發一信號至其輸出之一相關聯非線性函數。節點之分層可具有諸多位準。訓練輸入可經建構使得其允許基於輸入及輸出狀態來調整權重。節點可依稱為一神經網路之一方式建構，或其可依稱為一馬可夫模型之一方式建構。輸入可直接與資料輸入相關，或輸入連接可在作為網路之輸入進入之前通過額外邏輯，使得網路之寬度可遠大於輸入之離散數目，或一些輸入可受限於所表示之寬度。可基於基於訓練結果之輸出品質來自動組態網路之寬度及深度。
在訓練ML系統之後，系統可用於將手持裝置上互動性蒐集之使用者資料處理成可針對終端使用者來客製化或否則選擇之一外用劑之製造指南。因此，例如，使用者可使用一電話來拍攝一圖片；電話可包含執行本文中所描述之特定處理(例如3D模型擬合及資料預處理)的軟體；接著，電話可將具有點(臉之皮膚及其他部分，諸如眼睛及嘴唇)及相關聯色彩之3D模型傳輸至伺服器。接著，運行於伺服器上之ML系統判定照明模型及臉之各區域之面容色彩(例如膚色、髮色、唇色)，如同一圖。
圖8A及圖8B分別繪示一方法800及高階系統架構870，其等繪示一例示性實施例中之與使用者活動及資料流相關聯之步驟及組件。在步驟801中，使用者在其手持裝置850上運行一軟體應用程式。
在步驟802中，應用程式在手持裝置850之光學顯示器851上呈現一顯示以展示描繪使用者之即時位置之其一畫線(例如圖2中所繪示)。在此，光學顯示器851充當一連續照明源(例如在一變暗環境中)且促進使用者將其臉適當定位於光學顯示器851中。
在步驟803中，應用程式判定環境之照明及使用者之臉之定位是否可接受用於擷取一良好品質影像。特定言之，裝置可經程式化以偵測周圍或額外光之一可接受位準且使使用者知道移動至一較暗位置。可比較儲存於影像資料串流中之曝光資料與針對使用光學顯示器之照明所預期之曝光，且計算額外照明量之一近似值。使用者介面/裝置可以一給定環境適合於或不適合於掃描回應使用者，應用程式可藉由改變光學顯示器851上之一指示器之色彩或一些其他指示器(視覺、可聽或觸覺)來指示使用者應移動至具有更少光之一位置(例如圖3中所繪示)或室內照明可接受用於掃描(例如圖2中所繪示)。
進一步舉例而言，應用程式可指示使用者應移動手持裝置以使其影像居中於螢幕上，且藉由改變顯示器顯像來指示此完成(例如圖2及圖3中所繪示，其中圖2展示具有一照明線顯示之使用者之臉之輪廓及臉部特徵之一顯示，且其中圖3展示一圓圈以指示臉之定位不適宜拍照)。
在按壓手持裝置850上之一按鈕之後，在步驟804中擷取一影像。該影像可包括複數個影像(例如，一單一按鈕按壓拍攝複數個影像)及相關聯資料，諸如深度資料、臉部特徵資料及彩色影像資料。在步驟805 (如圖8C中所進一步繪示及描述)中，可篩選資料且使用其來導出一照明模型(如上文所描述)，且在步驟806中，將資料傳輸至一電腦伺服器852。在步驟807中，電腦伺服器852可使用照明模型及一處理技術(諸如逆顯像)來解算臉之一或多個平面之反射率及色彩特性。
現參考圖8C來描述獲得濾波資料(步驟805)之一例示性方法。尤其應注意，此例示性方法中所繪示之步驟之順序不是限制；根據本發明之實施例，步驟可依不同於所展示及描述之順序的一順序發生。在步驟810中，判定手持裝置850中之光學感測器之曝光資料(例如自嵌入於攝影機影像資料串流或組中之資料)。在步驟811中，量測手持裝置850中之照明體與感測器/攝影機之光圈之間的關係。針對各種不同類型之手持裝置850，此資料可經判定且儲存於伺服器852中或可用於伺服器852以用於處理。在步驟812中，判定環境照明體與感測器/攝影機之間的關係。可採用上文步驟802及803中所描述之獲得使用者之適當照明及定位/對準之技術來判定反映此關係之資料。在步驟813中，判定感測器/攝影機及照明體(如步驟811中所判定)與目標表面之間的關係，其中可根據先前所描述之技術來建構目標表面之一3D模型。在步驟814中，可使用來自步驟810、811、812及813之資料來判定(例如估算或導出)由攝影機觀看之場景之一照明模型。
在一些實施例中，可使用先前所描述之一ML系統來增強由伺服器852採用之處理技術(步驟807)。ML系統之中間結果可供應面容資料，可將該面容資料傳輸至手持裝置850以由使用者觀看。
在參考圖8A、圖8B及圖8C所描述之步驟之後，程序可依一或多個背景專利中所描述之方式進行以排序及製造使用者之一外用劑(例如一客製化或選定化妝品)。
現描述涉及本發明之替代態樣之一例示性實施例。如同先前實施例，目標係使用由終端使用者之手持裝置(例如行動電話)所拍攝之一影像來判定終端使用者之膚色ID。挑戰係考量其中存在終端使用者之照明環境。類似於上述其他實施例，在此實施例中，裝置(例如一手持裝置或電話)之顯示螢幕可用作一暗室環境(例如一低照明環境)中之一校準光源以使用作為擷取裝置之前置攝影機來進行一自拍掃描。併入至裝置軟體中以判定經偵測以擷取一影像之一身體部分之深度(例如一臉或臉部區域之深度)的深度感測器(臉部深度感測器)可用於提供自裝置之螢幕至影像目標(例如臉)之表面之距離之一量測。可使用已知校準光源(顯示器螢幕)及包含臉部表面距離資料之自拍掃描資料來運算一臉部面容色彩(即，膚色ID)。
現描述一工作實例。終端使用者定位於具有很少或無周圍照明之一暗室環境中，較佳地與終端使用者可用之一環境一樣暗，諸如不具有窗戶或使百葉窗及/或窗簾垂下且關閉諸如燈或運算裝置顯示器之光源之一房間。終端使用者打開先前下載至一手持裝置(例如一行動電話)上之一應用程式，且應用程式操作以依自畫像模式(即，「自拍掃描」模式)打開行動電話上之攝影機。在一較佳實施例中，應用程式偵測房間是否足夠暗以進行程序且判定足夠接近預定容限內之實際膚色ID的使用者之一膚色ID。若房間不夠暗，則依此發信號給終端使用者(使用本文中先前所描述之方法或此項技術中已知之其他方法)且指導終端使用者移動至或創建一較暗環境。若房間足夠暗，則藉由首先提供一足夠暗照明環境之一指示至使用者來自動或視情況以一白光照射手持裝置之顯示器(亦如本文中先前所描述)。
在一例示性實施例中，白光呈填充整個或幾乎整個手持裝置顯示器螢幕之一矩形之形狀。在一些實施例中，白光在應用程式偵測到一足夠暗房間之後自動顯示。接著，使用手持裝置上之攝影機來擷取終端使用者之一自拍影像。此影像在本文中指稱照明影像。用於擷取照明影像之來自手持裝置之唯一光源係白光顯示器。足夠暗之暗室環境中之照明影像擷取可足以估計終端使用者之膚色ID。
然而，實際上將存在一些周圍光(例如來自電腦監視器、門底或百葉窗側處之空間等等)。為獲得膚色ID之儘可能最準確估計，應考量此周圍光。因此，在較佳實施例中，使用手持裝置上之攝影機來擷取終端使用者之一第二影像。此第二影像(指稱周圍影像)在無來自手持裝置之照明的情況下擷取且因此將僅包含來自周圍源之光。如下文將更完全描述，可自照明影像移除存在於周圍影像中之光以藉此考量周圍光以在終端使用者之影像中僅留下已知照明條件。可基於此等已知照明條件及本文中更完全描述之其他資料點來更準確預測終端使用者之膚色ID。
在一較佳實施例中，彼此時間極其接近地拍攝照明影像及周圍影像以避免終端使用者在影像擷取之間移動。
現描述例示性實施例之進一步細節。如同上述其他實施例，存在於裝置/電話本身上之軟體可用於特定功能，例如獲得終端使用者之一3D影像，其包含自目標(例如各種點處之終端使用者之臉部表面)至裝置之攝影機光圈的距離。另外，其他軟體可呈下載至裝置/電話之一應用程式的形式。此下載軟體應用程式可控制裝置顯示器螢幕及攝影機設置、影像擷取及/或影像資料之資料處理，其包含(但不限於)以下之一或多者： - 控制裝置攝影機應用程式設計介面(API)之設置，其控制攝影機之低階設定(諸如曝光設定、圖框大小、色彩及深度(3D資料)設定)及將使用裝置上之哪個攝影機(若存在兩個或更多個攝影機)； - 控制電腦視覺API設置之設置，其提供自攝影機取得影像資料且反過來回傳高階資料(例如取得表示一臉之一影像的資料且回傳對應於特定臉部特徵之一系列2D影像點)之一組功能； - 初始化自拍掃描顯示器之一視域； - 提供周圍光通知(例如環境太亮以致無法用於一自拍掃描之一通知)； - 發信號給使用者以調整擷取場景用於最佳資料收集(例如指示使用者調整擷取物體與使用者之間的距離)； - 控制影像擷取程序(例如定時、顯示器照明及曝光設定)； - 執行與處理影像資料相關之功能；及 - 儲存誤差資訊且提供警示。
在此例示性實施例中，在一暗室環境中，當使用者打開應用程式時，可產生及顯示使用者之臉之一畫線(如先前所描述)以使使用者能夠適當對準其臉。然而，在當前實施例中，不是如先前所描述般使用一黃色照明體，而是不使用照明來展示影像。如先前所描述，擷取終端使用者之臉之一系列影像。在一較佳實施例中，所擷取之影像係高動態範圍(HDR)影像。HDR技術在此項技術中已眾所周知且使用標準方法來將使用不同曝光設定所取得之多個影像組合成具有一高動態範圍之一單一影像以比非HDR影像更清楚得多地展示細節。使用一組預定校準值曝光來擷取HDR影像。本文中所描述之用於產生HDR影像之曝光設定係唯一的，因為其由一裝置模型之校準判定以表示由裝置顯示器(照明影像)及在使用中遇到之周圍光(周圍影像)提供之照明範圍。
一般而言，藉由使用由裝置/電話之作業系統提供之程式設計介面請求一系列分類影像來收集一HDR影像。使用此一介面，可使用不同指定曝光接連快速拍攝若干影像。例如，可請求接連快速拍攝具有相同快門速度及孔徑但具有不同ISO設定之一組影像。可選擇ISO設定以覆蓋各種照明。例如，可選擇第一ISO設定以使用來自裝置之顯示器螢幕之光來提供最佳曝光。可選擇第二ISO設定以提供2倍於該照明之最佳曝光，即，其中周圍光等於來自裝置之顯示器之光。可選擇第三ISO設定以提供4倍於第一設定之照明之最佳曝光。可使用此最終曝光來量測3倍於裝置之顯示器之照明的周圍光。一單一曝光(例如第一設定)之裝置之CCD之回應曲線使得超過裝置之顯示器光的照明飽和且無法被準確量測。回應於具有上述曝光之影像而檢查CCD允許量測照明之一較大振幅。
為進一步理解此實例，本發明在此參考「亮度影像」及「周圍影像」。
周圍影像係由使用鎖定為預定校準值之曝光設定來設定為黑色之裝置上之顯示器照明擷取之一影像。可拍攝一系列之三個影像來提供HDR，如上文所描述。此等可使用用於亮度影像中之相同系列之曝光設定來記錄。
亮度影像係由使用設定為自動曝光(本文中指稱一主掃描)之曝光設定來設定為白色之裝置上之顯示器照明擷取之一影像。此提供可適應各種照明條件之一參考影像。如上文所描述，可拍攝一系列影像來提供HDR，且此等可使用用於周圍影像中之相同系列之曝光設定來記錄。記錄亮度影像掃描之深度資料(即，自裝置感測器至目標表面之距離)。
可藉由校準一給定裝置模型來判定用於周圍及亮度影像之曝光設定。例如，一給定裝置模型將具有在將螢幕設定為顯示一白場且將裝置設定為全光度時發射之已知光量。可量測該光量，且可判定在一共同距離最佳照射使用者之面容之攝影機之一曝光。裝置OS允許系統/軟體應用程式判定使用裝置之哪個模型，且可自一資料儲存器獲得已依上述方式預定之該裝置模型之校準設定。使用鎖定為剛剛描述之預定校準值之曝光設定來擷取之具有設定為黑色之裝置上之顯示器照明之一影像提供僅展示周圍光之一參考影像(周圍影像)。記錄周圍影像掃描之深度資料(即，自裝置感測器至目標表面之距離)。
一系列HDR周圍及亮度影像允許軟體應用程式偵測一較大範圍內之光。在一實施例中，可使用以下步驟來處理周圍及亮度影像。
將三個周圍影像組合成一單一HDR影像。此可藉由校正CCD之回應曲線之各影像來完成。接著，針對各影像之各對應像素，由曝光因數縮放R、G及B值(例如第一者1倍、第二者2倍及第三者3倍)。將此等值加在一起，且使用增大數值解析度來儲存結果。例如，若各輸入R、G及B通道由一無符號8位元值表示，則其可儲存為一16位元值。
將三個亮度影像組合成一單一HDR影像，如結合周圍影像所描述。
可自HDR亮度影像減去HDR周圍影像以導致一「經校正亮度影像」。此所得經校正亮度影像藉由移除周圍光來考量周圍光。在此實施例中，已被移除之周圍光可亮於自裝置上之顯示器照射主體之面容之光。此可藉由使用HDR成像重新編碼各影像來實現。
與經校正亮度影像相關聯之資料可儲存為臉部資料格式(例如結構化及表示於一翼邊模型中，如上文所詳細提及)。翼邊模型含有一系列頂點，各頂點包括映射至擷取影像中之臉部特徵的2D點及所建構之3D點，亦如上文先前所描述。
各頂點與一色彩相關聯。在一實施例中，可藉由以下步驟來認定翼邊模型中之一頂點之色彩。
如先前所提及，可將翼邊模型細分成一更精細結構。可依使得模型中之一平均多邊形可表示主體面容之一面積(其近似為(例如) 1平方厘米之1/4)之方式細分模型。可在本發明之範疇內使用其他細分尺度。
針對模型中之各多邊形取樣經校正亮度影像中之像素之色彩。在一實施例中，藉由逆顯像來執行此取樣。例如，針對可經顯像以描述多邊形之各像素，將該像素之R、G、B資料累加為一平均值。依高於原始像素資料之一解析度收集及儲存此資料。例如，若R、G、B資料表示為16位元無符號整數，則該資料可累加為64位元雙倍精度浮點數且使用模型中之各多邊形來儲存。
可藉由使用翼邊資料結構中之鏈接累加鏈接至翼邊模型中之各頂點之各多邊形之色彩來判定該頂點之R、G及B色彩值。接著，可使用模型中之各頂點來儲存R、G及B值。
在一些實施例中，由模型中之頂點表示之色彩解析度可為全部所需。例如，為量測面容色彩，0.5厘米補片之取樣可足夠。在其他應用(諸如判定一特定皮膚異常生長物(諸如雀斑、胎記或皺紋)之位置)中，需要更大解析度且可使用翼邊模型來儲存經校正亮度影像之選擇部分。
如先前所提及，因為使用臉部特徵來組合翼邊模型，所以細分模型中之各頂點及多邊形保持與此等臉部特徵之一唯一位置關係。另外，因為可對其影像被記錄之各主體執行相同位準之細分，所以只要認定臉部特徵，則此將導致相同結構鏈接(即，多邊形至頂點及邊緣)。可知道一給定多邊形將總是落於(例如)鼻尖上或左臉頰中間。此允許與一色彩樣本相關聯之各頂點由位置標記。例如，可標記包括前額之一特定區域的所有頂點，使得其等可被定位。依此方式，可橫穿翼邊模型且獲得已知面容位置之色彩量測。
因此，翼邊模型中之各頂點可含有：指示其表示之臉之部分的一標記；自經校正亮度影像累加之一RGB色彩；自裝置之3D攝影機之深度圖獲得之Z深度；頂點相對於手持裝置之攝影機視點的X、Y、Z位置；及頂點相對於手持裝置之攝影機視點的A、B、C法線。
除翼邊模型中所表示之資料之外，本文中所描述之系統及方法可使用預計算資料，諸如校準資料。此係不隨掃描而改變且表示掃描裝置之物理性質、其他常數(諸如人類皮膚之反射率範圍)及系統操作之常數的資料。在一些實施例中，此等可包含：一手持裝置之一特定模型之快門定時，其可用於指定上述HDR成像之曝光系列；可接受之信雜比，其由自裝置之顯示器發射用於照明之光與HDR周圍影像中所偵測之光量的比例表示；依計量單位之絕對光量，其用作觸發一狀態轉變至及轉變自周圍影像擷取之一臨限值；及一手持裝置之一特定模型之CCD之色彩回應曲線。
包括翼邊模型之資料可經編碼用於傳輸。例如，可使用GL傳輸格式(GLTF)，其允許由應用程式藉由最小化資源大小及解壓縮及使用此資源所需之運行時間處理兩者來高效傳輸及載入3D影像及模型。
接著，臉部模型資料GLTF檔案可使用一加密傳送協定(例如HTTPS)來自裝置/電話傳輸至一遠端伺服器或運算服務且儲存於一儲存庫中。例如，一AWS S3、Amazon網頁服務簡單儲存服務儲存庫可用於此目的。使用此儲存服務提供諸多優點。其允許加密(例如)至及來自服務之臉部模型資料之傳輸。服務提供自一手持裝置發送之臉部模型資料之儲存且支援由手持裝置使用之各種作業系統。服務允許存取臉部模型資料用於進一步處理及導致製造客製化妝品之其他交易及顧客支援。服務亦允許依一安全方式私人內部網路存取。
在傳輸至運算服務(例如遠端雲端伺服器)之後，處理臉部模型資料。可使用一服務(例如一AWS Lambda服務)來實施資料之處理，其允許應用程式對新資訊作出快速回應。
現描述用於處理臉部模型資料之流程。在一些實施例中，可使用一預處理步驟，其可涉及用於考量裝置本身(即，螢幕及前置攝影機)之色彩校正。自影像資料識別裝置之類型且校正與特定裝置類型(例如電話型號)相關聯之光及曝光(即，白點及色偏差)。
在其他實施例中，在訓練面容色彩模型(例如，訓練資料包含使用不同裝置/模型類型所取得之影像且機器學習引擎考量訓練程序期間之差異)時併入考量裝置類型之色彩校正，且在此等例項中，無需一單獨預處理步驟。
接著，執行各頂點之色彩校正以考量深度資料，例如裝置顯示器光至影像目標(例如臉)之表面的距離。基於影像之3D模型，使用一照明方程式來計算距離衰減。亦基於角衰減來移除照明貢獻。更特定言之，一表面上之照明隨著其越來越傾斜於光而變暗。為此，使用3D模型及一照明方程式來計算餘弦衰減。
下文將更詳細描述頂點資料之預處理/篩選，在一些實施例中，其可在此資料用作機器學習系統之一輸入之前使用： 1. 可基於用於記錄人類主體之影像的手持裝置之特定模型之回應曲線來校正色彩。此將校正CCD回應。 2. 基於頂點之表面法線相對於裝置之顯示器及裝置之攝影機的定向之餘弦及角衰減。可篩選或移除依相對於攝影機之一斜角轉動之頂點。 3. 基於頂點與裝置之顯示器及裝置之攝影機之距離的光振幅衰減。 4. 基於照明之頂點之色彩校正以移除周圍照明。
上述處理步驟之各者之實施可根據此方法之替代實施例而不同。例如，振幅衰減可模型化為隨與一點源之距離的衰減或隨與表示裝置之顯示器區域之幾何形狀的一表面之距離的衰減。然而，篩選之基本順序係恆定的，因為其自作為光之資訊之傳輸之逆過程導出。特定言之，光離開顯示器，由頂點表示之面容之一區域反射，且由攝影機接收。接著，使用攝影機之一校正、用於表面定向之一校正(其包含篩選斜角)及返回至光源之距離之一校正來執行篩選。應瞭解，可為了簡單或操作速度而組合及因數分解各濾波函數，因為可簡化任何數學方程組來解算。在所有實施例中，在資料依任何方式用作一機器學習引擎之輸入之前執行用於考量影像擷取程序之此資料濾波。
在一些實施例中，根據以下方程式來使用距離平方衰減： FallCorrectedLum = Lum * (Magnitude(vertex.XYZ)2)。
可應用餘弦衰減之逆顯像方程式。在一實施例中，根據以下方程式來使用無限衰減之點光： CosCorrectedLum = FallCorrectedLum * (1.0/Dot(vertex.ABC, light.Normal))。
接著，使用一機器學習引擎(本文中指稱一面容色彩模型)來處理資料。首先，必須使用與人類主體相關聯之資料來構建及訓練機器學習模型。可自各種源獲得用於訓練模型之資料，該等源包含：由(若干)人類主體自述之調查資料；(若干)人類主體之(若干)參考照片及一比色圖表；由一分光光度計在主體之臉之若干區域(例如前額、臉頰(左及右)、下頷(左及右)及肩部)中量測、用作地表實況量測之(若干)人類主體之膚色；及使用本文中所描述之自拍掃描技術所獲得之臉部影像資料。
依最適合於滿足特定應用之需要的一方式選擇人類主體組群。在一實施例中，用於訓練機器學習系統之面容資料收集之設計使用以下步驟。識別人類主體之一大組群。可透過使用一代理列表、廣告或其他方法來發現此組群。量測此大組群之面容特性。此可使用一反射分光光度計來完成。可取得特定臉部區域(諸如手腕、前額、右及左臉頰、右及左下頷線及肩部)之讀數。可儲存各主體之以下資料且其可包含(例如)：人類主體之姓名；分光光度計資料，其可經轉換且儲存為CIELAB資料；可儲存手腕、前額、右及左臉頰、右及左下頷線及肩部之資料；及區域資料可使用一分量中值操作來組合成一單一CIELAB色彩且儲存為主體之面容色彩。可將大組群資料處理成一測試組群。可藉此改善色彩取樣以簡化測試簡單及為了操作效率。在一實施例中，使用k值叢集來處理大組群。叢集可經執行使得各叢集之中心係來自其他之3.0 DeltaE 2000。
訓練資料組之品質及數量極大影響所得模型之效能。
使用此資料來構建及訓練模型，例如上文段落中所描述之一tensor flow模型。
現更詳細描述模型之訓練。在一實施例中，使用具有一已知亮度之一LCD顯示器面板來校準周圍光以產生機器學習模型之一些訓練資料。可依以下方式收集此資料。各人類主體使用一組預定指令來記錄一系列自拍掃描。使用不同量之已知周圍光來記錄掃描(在例示性實施例中，3次)。透過使用以下技術來知道周圍光之量。在此等工作階段內，將具有已知亮度之一LCD顯示器面板放置成距離人類主體2米。電腦軟體引起LCD顯示器面板顯示衰減由LCD顯示器發射之光的一系列.PNG影像。各.PNG影像在其被展示時覆蓋整個顯示器。.PNG影像係一平面單色影像。即，影像中之各像素具有相同值。.PNG影像係一8位元RGB編碼影像。當R,G,B={0,0,0}時，8位元影像呈黑色。當R,G,B={80,80,80}時，8位元影像呈深灰色。當R,G,B={116,116,116}時，8位元影像呈中灰色。在一2米距離處記錄由LCD顯示器針對各.PNG影像所發射之亮度。主體進行各使用一不同.PNG影像來照射之3次掃描以藉此產生一已知周圍光。
一般而言，訓練程序使用資料組(自拍掃描資料(GLTF)及地表實況量測之對)來改進面容色彩模型之權重。針對臉部區域(即，各由一組頂點表示之前額、左臉頰、左下頷、肩部、右下頷及右臉頰)，使用組之經校正頂點色彩(如上文所提及)作為輸入，使用分光光度計CIELAB地表實況資料來訓練臉部區域內之補片之權重。訓練各皮膚區域之曲線擬合權重。
繼續描述用於構建及訓練機器學習模型之程序，判定模型之輸入。在此實施例中，將翼邊模型之特定標記頂點用作輸入。將各頂點之RGB值變換成CIE l*a*b色彩空間。構建具有一特定標記之所有頂點之一輸入通道。基於應用需要及訓練資料來判定模型之輸出。例如，可將一輸出通道指定為將表示一臉部區域之一面容色彩的一單一CIE l*a*b色彩。將一訓練輸入通道指定為將使用臉部區域之分光光度計掃描來蒐集之一單一CIE l*a*b色彩。模型設計可呈一神經網路模型之形式。相對於較小向量輸出減小相對較大向量輸入非常適合於神經網路之特定形式。存在平台來可靠地運行此類型之模型且使其縮放以服務大生產系統。基於輸入之複雜性來判定模型之深度及連接性。使用各種掃描輸入來訓練模型。保留隨機訓練資料用於測試。使用測試資料來評估模型。測試及最佳化濾波、深度及連接性改變。可將機器學習之一第二階段應用於第一階段之輸出，如下文將描述。最終應用需要供應一單一色彩，其可用於調配提供一使用者之面容之一統一色彩的一化妝品。在一實施例中，可藉由取得來自機器學習之第一階段的區域色彩輸出之分量中值來計算該色彩。
在其他實施例中，可期望訓練機器學習之一第二階段供應一單一化妝品色彩建議。此之訓練資料可為第一階段之訓練輸入之一分量中值，或其可為由一化妝師指定之一統一色彩。在一實施例中，依以下方式構建及訓練一第二階段機器學習網路。判定模型之輸入。在此實施例中，使用由機器學習之第一階段供應之各臉部區域之CIE l*a*b色彩輸出。輸入由一CIE l*a*b色彩及一臉部區域標記或輸入位置組成。一大向量輸入由此等組成。基於應用需要及訓練資料來判定模型之輸出。指定一臉部化妝品之一統一色彩的一單一CIE l*a*b色彩係輸出。訓練資料係一化妝師之推薦之一濾波組。可將平滑化應用於一連串類似訓練輸入。可將分量中值濾波應用於一連串類似訓練輸入。化妝師訓練輸入可基於額外化妝師輸入來與分光光度計掃描組合。可採用一神經網路模型，因為模仿藝術選擇係神經網路之一已知使用。存在平台來可靠地運行此類型之模型且使其縮放以服務大生產系統。模型之深度及連接性可基於針對美容選擇所設計之先前網路模型。使用各種掃描輸入來訓練模型。例如，自表示一地理區域之一大組群選擇人類主體之一分佈式叢集提供各種面容類型。在若干工作階段內、在不同時間及較佳地依類似但不同人類主體分組自一化妝師美容色彩選擇收集輸入資料將提供一較大資料組且將導致比一較小組更準確地擷取化妝師之意圖。選擇一手持裝置模型且接著使用諸多此等裝置而非僅一單一裝置來收集資料以提供該模型之照明及曝光特性之一較佳取樣。
在一實施例中，自一組臉部位置色彩匹配判定一單一化妝品色彩可體現於以下步驟中。對具有上述各種面容類型之人類主體之一樣本組執行一系列測試。對各主體進行一掃描。將各臉部區域之CIELAB色彩之分量中值計算為CIELAB輸入。使用CIELAB輸入及由本申請人擁有之其他專利(諸如背景專利)中所揭示之方法來認定一化妝品之配方。生產配方且由一化妝師將其應用於主體。化妝師核准匹配或建議一色彩校正。若經核准，則記錄及儲存量測色彩及核准色彩。若未核准，則將色彩校正應用於CIELAB色彩且重複測試。基於CIELAB L*分量來對量測色彩與核准色彩之間的差異執行曲線擬合。若認定匹配化妝師之意圖之一函數，則可使用該函數來調整各臉部區域之CIELAB色彩之分量中值。在一些情況中，此函數可在L*映射中之曲線之一些部分中提供朝向略淺L*值之一偏移、A*值之一減小及B*值之一略微增大。若美容選擇不具有使用一曲線擬合之表觀擬合，則可基於作為輸入之各臉部區域之CIELAB色彩及作為訓練資料之化妝師之核准色彩來構建一機器學習系統。
用於估算個體之膚色之CIELAB色彩之分量中值法之一替代實施例係複合法。一般而言，當使用基於分量中值之上述方法時，多個臉部區域(此較佳區域係前額、左臉頰、左下頷、肩部、右下頷及右臉頰)之各者輸出每區域之一單一CIELAB色彩。接著，使用CIE l*、a*及b*通道之各者之中值來輸出一單一l*、a*及b*通道值以使用每通道之中值計算來表示整張臉。接著，使用此中值計算值來表示使用者之膚色作為相較於地表實況之一估計。在一方法中，自一分光光度計獲得此資料。
替代地，在複合法中，跨多個區域(諸如上述六個較佳區域)尋求一線性加權以較佳匹配地表實況。複合法允許更深入判定六個區域之哪個提供最佳匹配地表實況之膚色表示的單一CIELAB值之一較佳表示。此可藉由限制加權(即，約束權重和為1)以因此產生藉由其來允許直接觀察哪一(些)區域對最終輸出貢獻最大及最小之一方法來完成。藉由跨人類模型之資料組使用多個區域及複合法(其中各臉部區域之CIELAB向量作為輸入且地表實況色彩CIELAB單一向量(例如來自一分光光度計)作為輸出)，可自經正規化之多變數線性迴歸計算線性加權。
為計算各皮膚區域之權重(例如使用上述六個較佳區域)，可使用多變數線性迴歸。另外，為確保加權和為1，可實施使用法方程式之θ正規化。此給出如下：
Figure 02_image001
例如，若m係樣本輸入至輸出之數目(區域及輸出分光光度計之x6 L*a*b值)且n係皮膚區域之數目(在此實例中，6)，則
Figure 02_image003
其中X係CIELAB之n個皮膚區域之m個樣本色彩之m×(n+1)矩陣，且
Figure 02_image005
y=各自樣本之各者之輸出CIELAB色彩之m×1矩陣。
θ係加權值(即，展示六個區域之各者之影響的線性權重)，其中0表明無影響且1表明絕對有影響，其中值在[0,1]之範圍內。
λ係正規化參數，且
Figure 02_image007
使用上述實例性區域且在實踐中，肩部區域表現遠高於其他區域之加權位準以導致與地表實況色彩一致之一較高準確度。此結果亦與化妝師之直覺及觀察一致，因為此區域通常由化妝師用作其評估膚色時之一主要色彩基礎。
另外，複合法可用於基於判定膚色之其他外部因數(諸如季節變化)來調適加權。若在冬季期間擷取一資料組且在夏季期間擷取另一資料組，則權重可存在微妙但重要差異來適當識別使用者之膚色。接著，可饋送模型之一額外資料源可能為基於個體之地域性、室外生活方式等等之日照。
資料組之訓練資料需要藉由將一高斯濾波器應用於各臉部區域之CIELAB色彩及化妝師之核准色彩之分量中值或複合法結果之差異來平滑化。例如使用分量中值，將平滑化Δ添加至分量中值，且此用作訓練輸入。此程序可表示如下： 1. 平滑化及篩選訓練資料： a. 使ListA成為化妝師之核准色彩。 b. 使ListM成為各臉部區域之CIELAB色彩之分量中值。 c. 使ListT成為訓練資料結果。 i. ListT=Gaussian(ListA-ListM)+ListM 2. 使用濾波資料來訓練ML系統。 3. 驗證ML系統結果。 a. 可進行其中化妝師檢查由ML系統所作之推薦的一測試。
在構建及訓練之後，面容色彩模型可部署為一AWS EC2例項或使用其他廣泛可用服務來代管。運算例項可同步或非同步操作。運算例項提供一API介面以執行面容色彩模型。可使用一廣泛可用機器學習平台來實施機器學習系統，且機器學習模型可表示為機器學習平台用來構建及運行機器學習模型之一資料描述。運行於運算例項上之程式碼： 1. 透過API來接收一請求以將一使用者掃描處理成一色彩推薦。 2. 載入一特定主體之臉部模型資料(例如一GLTF檔案)。 3. 視需要載入及管理機器學習模型。 4. 將裝置色彩校正應用於翼邊頂點。 5. 將逆顯像校正應用於翼邊頂點。 6. 將翼邊頂點變換成機器學習輸入。 7. 運行機器學習模型。 8. 回傳請求之機器學習輸出資料。
總言之，使用服務來評估臉部模型資料(例如一GLTF檔案)以預測(透過推斷) CIE L*a*b空間中之一面容色彩。所擷取之影像資料(即，一GLTF檔案中之臉部模型資料)包括來自裝置顯示器之光及量測膚色。模型使用一已知光源(裝置顯示器)及擷取影像來解算膚色，如先前所更詳細描述。
儘管本文中所描述之特定例示性實施例參考包括應用於皮膚之一試劑(諸如一皮膚粉底)的一外用劑，但本發明之實施例亦適用於臉之其他區域(諸如眼睛或嘴唇)之外用劑及/或用於判定允許匹配或選擇應用於其他區域(諸如頭髮)之試劑的色彩。
可在一使用者裝置上之軟體及/或硬體中實施一些或所有描述功能。一使用者裝置可包含(但不限於)智慧型電話、智慧型手錶、智慧型眼鏡、平板電腦、可攜式電腦、電視、遊戲裝置、音樂播放器、行動電話、虛擬實境護目鏡、膝上型電腦、掌上電腦、智慧型或愚笨型終端、網路電腦、個人數位助理、家庭助理(諸如AlexaTM 或Google® HomeTM )(其較佳具有攝影機)、無線裝置、資訊設備、工作站、小型電腦、大型電腦或操作為可執行本文中所描述之功能之一通用電腦或一專用硬體裝置的其他運算裝置。例如，軟體可實施於呈一電腦之形式的一通用運算裝置上，電腦包含一處理單元、一系統記憶體及將包含系統記憶體之各種系統組件耦合至處理單元之一系統匯流排。
另外或替代地，可遠端、雲端或經由軟體即服務來執行一些或所有功能。例如，可在一或多個遠端伺服器或與使用者裝置通信之上述其他裝置上執行匹配功能。遠端功能可在伺服器類電腦上執行，伺服器類電腦具有足夠記憶、資料儲存及處理能力且運行一伺服器類作業系統(例如Oracle® Solaris®、GNU/Linux®及Microsoft® Windows®族之作業系統)。
系統可包含儲存於一記憶體中且執行於一處理器上之複數個軟體處理模組。舉例說明，程式模組可呈經轉換成機器語言或目標碼以允許一或若干處理器執行指令之一或多個適合程式設計語言之形式。軟體可呈依一適合程式設計語言或框架實施之一獨立應用程式之形式。
可藉由一或多個可程式化處理器執行一或多個電腦程式以藉由操作輸入資料及產生輸出來執行功能來執行本文中所描述之技術之方法步驟。方法步驟亦可由專用邏輯電路(例如一FPGA (場可程式化閘陣列)或一ASIC (專用積體電路))執行，且設備可實施為專用邏輯電路。模組可係指實施該功能之電腦程式及/或處理器/專用電路之部分。
適合於執行一電腦程式之處理器包含(例如)通用及專用兩種微處理器。一般而言，一處理器將自一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之基本元件係用於執行指令之一處理器及用於儲存指令及資料之一或多個記憶體裝置。適合於體現電腦程式指令及資料之資訊載體包含所有形式之非揮發性記憶體，其包含(例如)：半導體記憶體裝置，例如EPROM、EEPROM及快閃記憶體裝置；磁碟，例如內部硬碟或可抽換磁碟；磁光碟；及CD-ROM及DVD-ROM磁碟。一或多個記憶體可儲存媒體資源(例如音訊、視訊、圖形、介面元素及/或其他媒體檔案)、組態檔案及/或在由一處理器執行時形成模組、引擎及本文中所描述之其他組件且執行與組件相關聯之功能的指令。處理器及記憶體可由專用邏輯電路補充或併入於專用邏輯電路中。
在各種實施方案中，一使用者裝置包含促進本文中所描述之功能執行的一網頁瀏覽器、原生應用程式或兩者。一網頁瀏覽器允許裝置請求一網頁或其他可下載程式、小程式或具有一網頁請求之文件(例如來自(若干)伺服器)。一網頁之一實例係一資料檔案，其包含電腦可執行或可解譯資訊、圖形、聲音、文字及/或視訊，可經顯示、執行、播放、處理、串流傳輸及/儲存，且可含有至其他網頁之鏈接或指標。在一實施方案中，裝置之一使用者自伺服器手動請求一網頁。替代地，裝置使用網頁瀏覽器來自動發出請求。市售網頁瀏覽器軟體之實例包含Google® Chrome®、Microsoft® Internet Explorer®、Mozilla® Firefox®及 Apple® Safari®。
在一些實施方案中，使用者裝置包含客戶端軟體。客戶端軟體提供功能至裝置，裝置提供本文中所描述之特徵之實施及執行。客戶端軟體可依各種形式實施，例如，其可呈一原生應用程式、網頁、介面工具集及/或Java、JavaScript、.Net、Silverlight、Flash及/或下載至裝置且結合網頁瀏覽器來運行之其他小程式或插件的形式。客戶端軟體及網頁瀏覽器可為一單一客戶端-伺服器介面之部分。例如，客戶端軟體可實施為至網頁瀏覽器或至另一框架或作業系統之一插件。其他適合客戶端軟體架構(其包含(但不限於)介面工具集框架及小程式技術)亦可與客戶端軟體一起採用。
一通信網路可使裝置與一或多個伺服器連接及/或使裝置彼此連接。通信可透過媒體來發生，諸如(例如)標準電話線、LAN或WAN鏈路(例如T1、T3、56kb、X.25)、寬頻連接(ISDN、訊框中繼、ATM)、無線鏈路(802.11 (Wi-Fi)、Bluetooth、GSM、CDMA等等)。其他通信媒體係可行的。網路可承載TCP/IP協定通信及由一網頁瀏覽器發出之HTTP/HTTPS請求，且客戶端與伺服器之間的連接可透過此等TCP/IP網路來通信。其他通信協定係可行的。
亦可在分佈式運算環境中實踐系統，其中由透過一通信網路來鏈接之遠端處理裝置執行任務。在一分佈式運算環境中，程式模組可定位於本端及遠端兩種電腦儲存媒體(其包含記憶體儲存裝置)中。亦可使用除本文中所描述之系統硬體及軟體之外的其他類型之系統硬體及軟體，其取決於裝置之容量及所需資料處理能力。亦可在執行虛擬化作業系統(諸如上文所提及之虛擬化作業系統)且操作具有硬體(諸如本文中所描述之硬體)之一或多個電腦的一或多個虛擬機上實施系統。
在一些情況中，相關或其他結構化資料庫可提供此功能(例如)作為儲存資料用於處理之一資料庫管理系統。資料庫之實例包含由加州ORACLE Corp. of Redwood Shores提供之MySQL資料庫伺服器或ORACLE資料庫伺服器、由加州PostgreSQL Global Development Group of Berkeley提供之PostgreSQL資料庫伺服器或由IBM提供之DB2資料庫伺服器。
亦應注意，系統及方法之實施方案可提供為體現於一或多個製品上或一或多個製品中之一或多個電腦可讀程式。可將程式指令編碼於一人工產生之傳播信號上，例如經產生以編碼資訊用於傳輸至適合接收器設備以由一資料處理設備執行之一機器產生之電、光或電磁信號。一電腦儲存媒體可為以下各者或包含於以下各者中：一電腦可讀儲存裝置、一電腦可讀儲存基板、一隨機或串列存取記憶體陣列或裝置或其等之一或多者之一組合。此外，當一電腦儲存媒體並非一傳播信號時，一電腦儲存媒體可為編碼成一人工產生之傳播信號之電腦程式指令之一源或目的地。電腦儲存媒體亦可為一或多個分離實體組件或媒體(例如多個CD、磁碟或其他儲存裝置)或包含於該一或多個分離實體組件或媒體中。
熟習技術者應瞭解，可在不背離上述實施例之廣泛發明概念之情況下改變上述實施例。因此，應瞭解，本發明不受限於所揭示之特定實施例，而是意欲涵蓋由隨附申請專利範圍界定之本發明之精神及範疇內之修改。
800:方法 801:步驟 802:步驟 803:步驟 804:步驟 805:步驟 806:步驟 807:步驟 810:步驟 811:步驟 812:步驟 813:步驟 814:步驟 850:手持裝置 851:光學顯示器 852:電腦伺服器 870:高階系統架構
將結合附圖來較佳理解以上概述及本發明之較佳實施例之以下詳細描述。為繪示本發明，圖式中展示當前較佳實施例。然而，應瞭解，本發明不受限於所展示之精確配置及手段。在圖式中，相同元件符號一般係指所有不同視圖中之相同部分。此外，圖式未必按比例繪製，而是一般將重點放在繪示本發明之原理。
在圖式中：
圖1繪示所偵測之臉部特徵之一顯像；
圖2描繪具有組合之線顯示及照明之一例示性光學顯示器；
圖3描繪具有向使用者指示一自畫像掃描期間之不佳使用者定位之回饋之一例示性光學顯示器；
圖4繪示臉部區域之一深度圖；
圖5繪示自臉部特徵偵測導出之臉部區域之幾何形狀之一顯像；
圖6描繪具有深度取樣之來自一幾何框架之細分幾何形狀；
圖7描繪可與一照明模型一起使用之臉部區域之平面樣本；
圖8A及圖8C係用於採用本發明之最佳化影像擷取技術之一例示性方法之步驟之流程圖；及
圖8B係可結合本發明之實施例使用之一高階例示性系統架構。
800:方法
801:步驟
802:步驟
803:步驟
804:步驟
805:步驟
806:步驟
807:步驟

Claims (38)

  1. 一種方法，其包括： 將一使用者之一身體部分之一影像顯示於由該使用者採用之一裝置之一光學顯示器上，其中該裝置包括一影像感測器且該使用者之該身體部分之該影像由該感測器感測； 判定該身體部分影像相對於該感測器之一位置是否可接受允許記錄該身體部分之該影像； 判定與該感測器相關聯之一照明環境是否可接受允許記錄該身體部分之該影像； 使用該感測器來記錄該影像以提供具有影像資料之一記錄影像； 處理該記錄影像以判定與該照明環境相關聯之照明模型資料；及 基於該記錄影像及該照明模型資料來判定與該使用者之該身體部分相關聯之反射率及色彩特性。
  2. 如請求項1之方法，其中判定該身體部分相對於該感測器之該位置是否可接受用於記錄該身體部分之該影像包括：將一彩色光顯示於該光學顯示器上。
  3. 如請求項1之方法，其中判定該身體部分相對於該感測器之該位置是否可接受用於記錄該身體部分之該影像包括：將該身體部分之一照明輪廓顯示於該光學顯示器上。
  4. 如請求項1之方法，其中判定該身體部分相對於該感測器之該位置是否可接受用於記錄該身體部分之該影像包括：致動該裝置上之一觸覺或可聽指示器。
  5. 如請求項1之方法，其中判定該照明環境是否可接受用於記錄該身體部分之該影像包括：將一彩色光顯示於該光學顯示器上。
  6. 如請求項1之方法，其中判定該照明環境可接受用於記錄該身體部分之該影像包括：顯示該身體部分之一照明輪廓。
  7. 如請求項1之方法，其中判定該照明環境是否可接受用於記錄該身體部分之該影像包括：致動該裝置上之一觸覺或可聽指示器。
  8. 如請求項1之方法，其中判定該照明環境包括： 量測與該裝置相關聯之曝光資料； 判定描述該裝置上之一照明體與該影像感測器之一光圈之間的一關係的資料； 判定描述該照明環境與該影像感測器之間的一關係的資料；及 判定描述該影像感測器、該照明體及該身體部分之一表面之間的一關係的資料。
  9. 如請求項1之方法，其進一步包括： 部分基於該反射率及該等色彩特性來判定一客製化化妝品配方。
  10. 如請求項1之方法，其中該光學顯示器包括一照明體；其中藉由該照明環境之該身體部分之照明小於由該照明體提供之照明之約2%；且其中處理該記錄影像以判定該照明模型資料包括直接運算。
  11. 如請求項1之方法，其中該光學顯示器包括一照明體；其中藉由該照明環境之該身體部分之照明介於由該照明體提供之照明之約2%至約10%之間；且其中處理該記錄影像以判定該照明模型資料包括執行影像濾波。
  12. 如請求項1之方法，其中該光學顯示器包括一照明體；其中藉由該照明環境之該身體部分之照明介於由該照明體提供之照明之約10%至約25%之間；且其中處理該記錄影像以判定該照明模型資料包括執行左右對稱之一統計估計。
  13. 如請求項1之方法，其中該光學顯示器包括一照明體；其中藉由該照明環境之該身體部分之照明介於由該照明體提供之照明之約25%至約40%之間；且其中處理該記錄影像以判定該照明模型資料包括採用一機器學習技術。
  14. 如請求項1之方法，其中該光學顯示器包括一照明體；且其中當判定與該感測器相關聯之該照明環境不可接受用於記錄該身體部分之表示時，該方法進一步包括： 指示該使用者修改該照明環境，使得該身體部分之該照明小於由該照明體提供之該照明之約2%； 使用該照明體來以恆定白光照射該身體部分；及 藉由將該使用者之該身體部分之一輪廓顯示於該光學顯示器上以將該身體部分定位於該感測器之視域內來判定該照明身體部分是否相對於該感測器以允許記錄該身體部分之該影像； 其中處理該記錄影像以判定該照明模型資料包括直接運算。
  15. 一種系統，其包括： 一或多個處理器及非暫時性記憶體； 機器可讀指令，其等儲存於該記憶體中，該等機器可讀指令在由該一或多個處理器執行之後引起該系統實施包括以下各者之操作： 將一使用者之一身體部分之一影像顯示於由該使用者採用之一裝置之一光學顯示器上，其中該裝置包括一影像感測器且該使用者之該身體部分之該影像由該感測器感測； 判定該身體部分影像相對於該感測器之一位置是否可接受允許記錄該身體部分之該影像； 判定與該感測器相關聯之一照明環境是否可接受允許記錄該身體部分之該影像； 使用該感測器來記錄該影像以提供具有影像資料之一記錄影像； 處理該記錄影像以判定與該照明環境相關聯之照明模型資料；及 基於該記錄影像及該照明模型資料來判定與該使用者之該身體部分相關聯之反射率及色彩特性。
  16. 一種方法，其包括： (a)使用與一裝置之一光學顯示器相關聯之一照明源來以已知強度及色彩之光照射一使用者之一身體部分； (b)將該身體部分之一表示顯示於該光學顯示器上，該身體部分由該光學裝置之一影像感測器感測， 其中該身體部分之該表示包括與該身體部分相關聯之一輪廓且其中該表示允許該使用者將該身體部分定位於該光學顯示器內； (c)記錄由該影像感測器感測之該身體部分之一影像； (d)記錄描述包含該照明光之該已知強度及色彩之該光學顯示器之性質及包含該影像感測器之曝光設定之該影像感測器之性質的資料；及 (e)基於與該身體部分之該記錄影像相關聯之資料、描述該光學顯示器之性質的該資料及描述該影像感測器之該等性質的該資料來判定該身體部分之一表面色彩。
  17. 如請求項16之方法，其進一步包括： 判定自該影像感測器至該身體部分之表面的一距離，其中該距離進一步用於判定該身體部分之該表面色彩。
  18. 如請求項16之方法，其中判定該身體部分之該表面色彩包括比較與該身體部分之該記錄影像相關聯之該資料與描述該光學顯示器之性質的該資料及描述該影像感測器之該等性質的該資料。
  19. 如請求項16之方法，其進一步包括： 使用來自反射於一反射鏡中之該照明源之一記錄影像的資料來校準該照明源及該影像感測器之一曝光敏感度。
  20. 如請求項17之方法，其中藉由使用一加權函數網路處理自該影像感測器至該身體部分之該表面的該距離、與該身體部分之該記錄影像相關聯之該資料、描述該光學顯示器之性質的該資料及描述該影像感測器之性質的該資料來判定該身體部分之該表面色彩。
  21. 一種系統，其包括： 一或多個處理器及非暫時性記憶體； 機器可讀指令，其等儲存於該記憶體中，該等機器可讀指令在由該一或多個處理器執行之後引起該系統實施包括以下各者之操作： (a)使用與一裝置之一光學顯示器相關聯之一照明源來以已知強度及色彩之光照射一使用者之一身體部分； (b)將該身體部分之一表示顯示於該光學顯示器上，該身體部分由該光學裝置之一影像感測器感測，其中該身體部分之該表示包括與該身體部分相關聯之一輪廓且其中該表示允許該使用者將該身體部分定位於該光學顯示器內； (c)記錄由該影像感測器感測之該身體部分之一影像； (d)記錄描述包含該照明光之該已知強度及色彩之該光學顯示器之性質及包含該影像感測器之曝光設定之該影像感測器之性質的資料；及 (e)基於與該身體部分之該記錄影像相關聯之資料、描述該光學顯示器之性質的該資料及描述該影像感測器之該等性質的該資料，來判定該身體部分之一表面色彩。
  22. 一種方法，其包括： 將一使用者之一身體部分之一影像顯示於由該使用者採用之一裝置之一光學顯示器上，其中該裝置包括一影像感測器且該使用者之該身體部分之該影像由該感測器感測； 使用該感測器來記錄該身體部分之該影像之一第一版本及一第二版本以提供相關聯之記錄高動態範圍影像， 其中將該裝置之該光學顯示器上之該顯示器照明設定為白色以記錄該影像之該第一版本，且 其中將該裝置之該光學顯示器上之該顯示器照明設定為黑色以記錄該影像之該第二版本； 自該影像之該第一版本移除該影像之該第二版本中之至少一些該照明以產生該影像之一第三版本； 處理與該影像之該第三版本相關聯之資料以產生該身體部分之三維模型，該三維模型與一系列頂點相關聯，該等頂點之各者與一色彩相關聯； 校正與該等頂點之各者相關聯之該色彩以考量該感測器至該身體部分之距離及該感測器相對於該身體部分之一角度以判定經校正色彩頂點；及 使用一機器學習模型來處理該等經校正色彩頂點以估計該身體部分之色彩特性。
  23. 如請求項22之方法，其進一步包括使用一應用程式來依自畫像模式操作該影像感測器。
  24. 如請求項23之方法，其進一步包括使用該應用程式來控制具有該影像感測器之該裝置之設定。
  25. 如請求項22之方法，其進一步包括在一暗室照明環境中拍攝該影像之該第一版本。
  26. 如請求項25之方法，其進一步包括以白光照射該光學顯示器。
  27. 如請求項22之方法，其進一步包括依臉部資料格式儲存該影像之該第三版本。
  28. 如請求項27之方法，其中各頂點包括以下之一或多者：與該身體部分上之該頂點位置相關聯之一標記、自該影像之該第三版本取得之一RGB色彩、自該影像感測器之深度資料取得之該頂點之一深度、該頂點相對於該影像感測器之視點的一空間位置及該頂點相對於該影像感測器之視點的投影法向位置。
  29. 如請求項22之方法，其進一步包括使用來自該裝置之影像資料基於該裝置之類型來校正色彩之一預處理步驟。
  30. 如請求項22之方法，其中該機器學習模型包含一色彩校正學習模型，且該方法進一步包括在訓練面容色彩模型且包含來自包含具有該影像感測器之該裝置的不同類型之裝置的影像作為該面容色彩模型中之訓練資料時校正該裝置之類型。
  31. 如請求項22之方法，其中在訓練該機器學習模型之前平滑化及篩選用於該機器學習模型中之訓練資料。
  32. 如請求項22之方法，其中使用來自人類主體之訓練資料來構建及訓練該機器學習模型，其中該訓練資料包含以下之一或多者：調查資料、來自該等人類主體之自述資料、該等人類主體之參考照片及一比色圖表、由一分光光度計在用作地表實況量測之至少一臉部區域中量測之來自該等人類主體之膚色資料及來自使用者之臉部影像資料。
  33. 如請求項32之方法，其中該至少一臉部區域係選自一手腕、一前額、一右臉頰、一左臉頰、一右下頷線、一左下頷線及一肩部。
  34. 如請求項32之方法，其中使用一分量中值法來將該訓練資料組合成一單一CIELAB色彩，該訓練資料係來自用於地表實況量測之該至少一臉部區域之膚色資料，且各臉部區域之該單一CIELAB色彩用作一機器學習模型之一輸入，且該機器學習模型之輸出係一臉部化妝品之一統一色彩。
  35. 如請求項32之方法，其中使用一複合法來組合該訓練資料，該訓練資料係來自用於地表實況量測之該至少一臉部區域之膚色資料，在該複合法中，來自該至少一區域之該膚色資料經受跨該至少一臉部區域之線性加權以判定該至少一區域之哪一個最佳匹配一地表實況資料組中之一膚色之一單一CIELAB值。
  36. 如請求項35之方法，其中在該機器學習模型中，該至少一臉部區域之各者之一CIELAB向量係該模型之一輸入且一地表實況色彩CIELAB單一向量係該輸出。
  37. 如請求項36之方法，其中將該線性加權計算為經正規化之多變數線性迴歸之一結果。
  38. 如請求項36之方法，其中該機器學習模型可包含具有夏季月份中所擷取之地表實況資料及冬季月份中所擷取之地表實況資料的一地表實況資料組。
TW109111961A 2019-04-09 2020-04-09 具改善之影像擷取之用於外用劑之產生的系統及方法 TW202103484A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962831667P 2019-04-09 2019-04-09
US62/831,667 2019-04-09
US201962859676P 2019-06-10 2019-06-10
US62/859,676 2019-06-10
US201962951970P 2019-12-20 2019-12-20
US62/951,970 2019-12-20
WOPCT/IB2020/000271 2020-04-03
PCT/IB2020/000271 WO2020208421A1 (en) 2019-04-09 2020-04-03 System and method for creation of topical agents with improved image capture

Publications (1)

Publication Number Publication Date
TW202103484A true TW202103484A (zh) 2021-01-16

Family

ID=70978287

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109111961A TW202103484A (zh) 2019-04-09 2020-04-09 具改善之影像擷取之用於外用劑之產生的系統及方法

Country Status (5)

Country Link
US (1) US20220026276A1 (zh)
JP (1) JP2022529230A (zh)
CN (1) CN114174783A (zh)
TW (1) TW202103484A (zh)
WO (1) WO2020208421A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7453956B2 (ja) 2018-07-13 2024-03-21 株式会社 資生堂 カスタム外用薬を調整するためのシステムおよび方法
US11810329B2 (en) * 2020-11-19 2023-11-07 Huawei Technologies Co., Ltd. Method, system, and device for color measurement of a surface
WO2022213099A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Facial synthesis for head turns in augmented reality content
CN115439845B (zh) * 2022-08-02 2023-05-02 北京邮电大学 基于图神经网络的图像外推方法、装置、存储介质及终端
US20240069630A1 (en) * 2022-08-24 2024-02-29 Meta Platform Technologies, LLC Headset Adjustment
US20240087229A1 (en) * 2022-09-12 2024-03-14 Mikhail Vasilkovskii Three-dimensional asset reconstruction

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2799022B1 (fr) * 1999-09-29 2002-02-01 Oreal Dispositif d'aide au maquillage et ensemble constitue d'un tel dispositif et d'un dispositif permettant de delivrer un produit ayant une brdf predeterminee, selectionne par le dispositif d'aide au maquillage
JP4396873B2 (ja) * 1999-10-01 2010-01-13 株式会社資生堂 口紅又はアイシャドーの選択方法
JP4421071B2 (ja) * 2000-04-21 2010-02-24 株式会社資生堂 メーキャップカウンセリング装置
EP1202209B1 (en) * 2000-04-21 2012-03-21 Shiseido Company Limited Makeup counseling apparatus
US20040125996A1 (en) * 2002-12-27 2004-07-01 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Skin diagnostic imaging method and apparatus
KR20060062263A (ko) * 2004-12-03 2006-06-12 엘지전자 주식회사 이동통신 단말기를 이용한 메이크업 정보 제공장치 및제공 방법
CN101046410A (zh) * 2006-03-31 2007-10-03 彭伟春 反射式颜色采集设备座
CN101523169A (zh) * 2006-10-02 2009-09-02 强生消费者公司 用于使用L*a*b*色空间来分析皮肤的装置和方法
US7764303B2 (en) * 2006-10-02 2010-07-27 Johnson & Johnson Consumer Companies, Inc. Imaging apparatus and methods for capturing and analyzing digital images of the skin
FR2975804B1 (fr) * 2011-05-27 2022-06-17 Lvmh Rech Procede de caracterisation du teint de la peau ou des phaneres
CN102359819B (zh) * 2011-09-21 2013-10-02 温州佳易仪器有限公司 多光源彩色影像颜色检测方法及其所用的颜色采集箱
FR2987118A1 (fr) * 2012-02-17 2013-08-23 Franck Hennebelle Procede et dispositif de mesure de la couleur d'un objet
US9449412B1 (en) * 2012-05-22 2016-09-20 Image Metrics Limited Adaptive, calibrated simulation of cosmetic products on consumer devices
CN202630927U (zh) * 2012-06-08 2012-12-26 刘亮 一种获得物体三维和颜色数据的系统
US8976252B2 (en) * 2013-01-30 2015-03-10 Hewlett-Packard Development Company, L.P. Acquisition of color calibration charts
WO2014127431A1 (en) * 2013-02-25 2014-08-28 Commonwealth Scientific And Industrial Research Organisation 3d imaging method and system
US8933994B2 (en) 2013-03-15 2015-01-13 Skin Republic, Inc. Systems and methods for specifying and formulating customized topical agents
KR101821284B1 (ko) * 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
EP2887275A1 (en) * 2013-12-20 2015-06-24 BASF Coatings GmbH Method and system for determining a color formula
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
JP7161473B2 (ja) 2016-12-02 2022-10-26 株式会社 資生堂 カスタマイズされた局所用剤を製造するためのシステム、方法および装置
GB201702008D0 (en) * 2017-02-07 2017-03-22 Anthropics Tech Ltd A method of matching colours
KR102581945B1 (ko) * 2017-02-07 2023-09-25 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
US20180260871A1 (en) 2017-03-07 2018-09-13 Matchco. System and Method for Adjusting Custom Topical Agents
CN107192456B (zh) * 2017-06-22 2018-07-10 温州大学 一种基于led照明的颜色测量多光谱成像系统
CN108701217A (zh) * 2017-11-23 2018-10-23 深圳和而泰智能控制股份有限公司 一种人脸肤色识别方法、装置和智能终端

Also Published As

Publication number Publication date
WO2020208421A1 (en) 2020-10-15
JP2022529230A (ja) 2022-06-20
CN114174783A (zh) 2022-03-11
US20220026276A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
TW202103484A (zh) 具改善之影像擷取之用於外用劑之產生的系統及方法
JP3575679B2 (ja) 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
Gardner et al. Linear light source reflectometry
CN106133796B (zh) 用于在真实环境的视图中表示虚拟对象的方法和系统
Romeiro et al. Passive reflectometry
KR101799174B1 (ko) 피부 진단 및 화상 처리 시스템, 장치 및 물품
US20200082572A1 (en) Techniques for capturing dynamic appearance of skin
KR101800102B1 (ko) 피부 진단 및 화상 처리 방법
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
CN102301391B (zh) 彩色图像处理方法、彩色图像处理设备以及彩色图像处理程序
JP6407607B2 (ja) アピアランスデータをデジタル的に生成する方法および装置
US8532736B1 (en) Apparatus and a method for quantifying properties of skin
JP2009075109A (ja) コラーゲンの厚みを測定する方法及び装置
JP2009211151A (ja) 顔画像処理装置
Ciortan et al. A practical reflectance transformation imaging pipeline for surface characterization in cultural heritage
CN109565577A (zh) 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序
Gevaux et al. Three-dimensional maps of human skin properties on full face with shadows using 3-D hyperspectral imaging
JP6323097B2 (ja) 色測定装置、色測定システム、色測定方法、および、プログラム
Tominaga et al. Spectral image acquisition, analysis, and rendering for art paintings
Lyu et al. Validation of physics-based image systems simulation with 3-D scenes
Marques et al. Spatially and color consistent environment lighting estimation using deep neural networks for mixed reality
JP7234086B2 (ja) 生体情報取得装置およびプログラム
KR100740879B1 (ko) 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법
US8611674B1 (en) System and method for invariant-based normal estimation
JP2010272097A (ja) 緑視率測定装置、方法及びプログラム