TWI227444B - Simulation method for make-up trial and the device thereof - Google Patents

Description

1227444 玖、發明說明： 【發明所屬之技術領域】 本發明係關於一種彩妝試用模擬方法及其裝置，尤浐 一種虛擬寫實之彩妝試用模擬方法及其裝置，其適用範^ 5包括應用於影像擷取並搭配影像處理之技術領域中。 【先前技術】 “按，愛美是人的天性，因此市面上各大廠商皆推出】 10 15 花八門的保養品及化妝品以供消f者選購。―般消費者遇 購化妝扣最直接的方法，就是將化妝品實際塗抹於使用匈 位’以由其所呈現的試用效果或色澤來判斷是否符合使斥 需求、流行趨勢、或消費者本身的膚色/膚質狀況等。铁而， 由於需親自試用，因此次混用各種不同的產品，將益 ^蜀立顯現出每樣產品的特殊效果，故消費者必須先將: 河試用的產品擦卸乾淨後、才能對下—樣產品進行試用， 才目當耗時費力’亦可能造成膚f受損，且彩妝試用品亦有 八成本考量’使得㈣者往往僅在試用兩三樣 定欲購買的品項。 交p而决 隨者資訊科技不斷演進’故習知係發展出彩妝或保 養品試用模擬裝置來取代實地試用。以化妝品講物網站為 =，其，提供複數組臉型樣本以供消費者選定相符的臉 型、，官、或膚色等限制條件後，再根據消費者所選取的 ^妝时來進仃影像處理，進而取得上妝後的效果。然而， 這種由消費者所選定的臉型畢竟並非消費者真正的臉型， 1227444 因此消費者親自使用後的真實效果將未必等同於網頁所呈 現的效果’並非十分理想。 習知亦有由使用者將本身照片上傳至美容網站或彩妝 公司的作法，例如消費者可以使用手機取像，以將自己臉 5孔的數位相片傳送至對方，再透過一些影像處理技術^ 加上保養品材質特性參數後，對這張相片作修正，例如可 據以對消費者展現在保養一個月後的成效等。然而，由於 在上述應用中，僅輸入使用者的平面相片而已，不但無法 取得其他不同角度的展示效果，更難以藉由平面相片^呈 川現出立體感，以致於不夠寫實貼切。此外，習知相片往返 傳送的作法極易對消費者的隱私權造成侵害，且亦可能典 限於網路頻寬的限制而浪費時間。由此可知，習知彩妝二 用模擬方法及裝置仍存在諸多缺失而有予以改進之^要°。 15 【發明内容】 本發明之主要目的係在提供一種彩妝試用模擬方法 及其裝置，係根據影像感測器及深度感測器以建立使用者 所傳來目標影像之立體影像，俾能結合使用者所選定的彩 7乡數以即日寸呈現目標影像上妝後之立體彩妝效果，進而 :仏貼切於使用者之仿真彩妝效果，以減少測試品的成 本，並增進工作效率。 本發明之另—目的係在提供—種彩妝試用模擬方法 及其裝置，係根據使用者轉動角度的變化，以即時運算出 1227444 目才币影像轉動後之彩妝效果 示功能。 俾能呈現立體1多角度的展 &之再一目的係在提供一種彩妝 及其襄置，係供使用者於本 =用核擬方法 並月b /肖弭網路頻寬的使用限制。 ， " 及1 = 目的係在提供—種彩妝試用模擬方法 向為主盆：：以行動通訊平台為主，並提供-以數位取 10 15 =利應用在網路環境來試用化妝品及= 首先㈣取&明之—特色’所提出之彩妝試用模擬方法，

If擷取—目標影像之影像參數及輪廓參數；之後藉由 =辦_參數以取得目標影像之立體影= =貝π例如嘴唇輪廓、眼睛輪廓等；並接收—輸入參數， 羞=用以將-彩妝參數與目標影像結合，此彩妝參數係定 ^:化妝品之使用效果；據此’將可自對應詩 取ί此彩妝參數之設定值；以將立體影像及紋路資訊、併 ^妝彡數進心像整合運算，以取得—彩㈣像 加以顯示出來。 交 \發明之另—特色，係提出-種彩妝試用模擬裝 /、、係由'顯示模組、一感測器模組、一輸入模組、及 於u處理器所組成。其中，感測器模組係擷取目標影像之 影像參數及輪廓參數；輸人模組可供輸人一輸人指令，盆 係用以將彩妝參數與目標影像結合；微處理器則可分析影 1227444 士參數及輪廓參數以取得目標影像之立體影像及竹路資 ，，並於擷取彩妝參數之設定值後，將立體影像及紋路資 汛、併同彩妝參數進行整合影像運算，以取得一彩妝影像， 再透過顯示模組加以顯示。 〜其中，本發明係可透過網路以自遠端資料庫中讀取出 :妝參數之設定值，亦可直接於彩妝試用模擬裝置中所插 ^彩妝資料擴充卡來讀取出彩妝參數設定值；且彩妝試 用柄擬裝置係可視硬體運算效能而據以對使用者之全臉影 像j局部影像進行運算。本發明亦可加入目標場景所對應: 〇 2如度參數、壳度參數、及飽和度參數來進行整合影像運 异:以使計算出之彩妝影像能符合場景所需。此外，本發 明係能根據目標影像之轉換角纟以即時運算出轉換後之目x 標影像所對應的彩妝影像。 15【實施方式】 為月b讓貴審查委員能更瞭解本發明之技術内容，特 舉較佳具體實施例說明如下。 *明先參閱圖1之貫施環境示意圖，本實施例之彩妝試 用模擬裝置較佳係以行動裝置丨作為實作平台，例如以智慧 20型手機（smartphone)、個人數位助理（pers〇nal叫㈣ assistant，PDA)、或等效之可攜式資訊裝置作為一基礎平 台，並藉由外接（plug_in)或内嵌（embedded) 一感測器模組2 以加快特徵擷取運算的速度，進而實現行動彩妝盒的功 能。當然，彩妝試用模擬裝置亦可使用個人電腦作為基礎 1227444 平台’以提雨系統運算處理效能。此外，本實施例之行動 裝置1係具有網路通訊功能以供連線至遠端彩妝資料庫3來 讀取對應彩妝參數設定值，亦具有插卡功能以藉由插設之 彩妝資料擴充卡4來讀取出彩妝參數，惟實際應用並不在此 5限，可視裝置之硬體配備而選擇自遠端伺服器或擴充卡來 讀取彩妝參數設定值。 請一併參閱圖2，係以外接感測器模組2之彩妝試用模 擬裝置為例，如圖所示，感測器模組2係由一影像感測器 (image sensor)21 及一深度感測器（deep sensor)22 組成，影 10像感測器21例如為一電荷耦合元件（charge c〇upled device， CCD)、或一互補金屬氧化半導體（c〇mpiementary oxide semiconductor，CMOS)元件，用以擷取目標影像51的 數位讯號，殊度感測器22較佳係為一紅外線感測元件用以 擷取目標影像5 1的類比訊號。而行動裝置1之顯示模組i j 15較佳為一液晶顯示器（liquid crystal display，LCD)，輸入模 組12較佳係為一觸控板（t〇uch panei)，並可於觸控板之對應 位置顯示各種化妝品之彩妝色調，以供使用者直接點選來 進行彩妝試用模擬，當然顯示模組丨丨與輸入模組丨2亦可合 併為具有觸控功此之液晶顯示器，或使用雙螢幕行動電 20活以將一螢幕作為顯示模組丨丨、另一螢幕作為輸入模組12。 接著請參閱圖3之流程圖，當使用者欲利用本實施例 之彩妝試用模擬裝置來模擬彩妝試用效果時，將先由感測 裔杈組2擷取使用者之目標影像5丨所對應的影像參數及輪 廊參數（步驟S301 )，例如當使用者欲測試唇膏上妝效果 1227444 時，則目標影像51即定義為嘴唇影像，此時，行動裝置i 可根據習用之影像擷取技術以擷取出臉部影像中的嘴唇影 像；同理，若使用者欲測試眼影上妝效果時，目標影像將 是眼睛影像；當然若行動裝置1具有高度運算能力，則目標 5 影像亦可以是全臉影像。 請參閱圖4感測器模組2之功能方塊圖，顯示影像感測 器21將把在目標影像區域所接收到的數位訊號（例如ccd 訊號）交給訊號輸入處理單元29的數位訊號輸入介面291加 以處理’以使用點座標描述技術來拮員取出複數個點座標參 10數、並使用區域影像萃取技術以擷取出目標影像5 1的區域 影像（即唇形影像）；而深度感測器22則會把所接收到的類 比rfL ϊ虎父給類比訊號輸入介面292處理，由於必須將所有資 訊轉換為數位訊號後方可進行運算，因此類比訊號需經過 訊號放大器11以進行訊號放大、過濾、等前處理程序，以操 15取出複數個點深度參數，之後再交由數位/類比轉換器24 將類比訊號轉換為數位訊號，最後經過微處理器％整合數 位訊號及類比訊號後 '透過介面處理單元25將影像參數及 輪廓參數傳送至行動裝置1，介面處理單元25較佳係採用目 前行動裝置1插卡之普遍規格，例如PCMCIA、SDIO、戍 2 0 C F等介面。至於訊息顯示單元2 7通常係為發光二極體（丨丨g h丈 emitting diode，LED)燈號用以顯示感測器模組2的作動情 形；時脈產生器28則為一基本數位電路元件，故不在此贅 述其功能；而資料儲存單元201係與微處理器％連結，較佳 為一快閃記憶體等非揮發性記憶體，用以儲存資料，例如 1227444 軟體程式等。此外，感測器模組2可採用自己獨立之電源， 例如附帶電池，或是由行動裝置1來供應電源。 請繼續參閱圖3之流程圖，待接收到目標影像5丨的影 像參數及輪廓參數之後，行動裝置1續將分析上述參數以取 5得目標影像51之立體影像與紋路資訊（步驟S302)。如圖5所 示’為計算出立體嘴唇影像，因此行動裝置丨係結合影像感 測器21擷取到的數位訊號所提供之點座標參數、及深度咸 測器22擷取到的類比訊號所提供之點深度參數，以進行上 下唇形曲線套配（curve fitting)，進而取得立體唇形的上下 。幵^/曲線方程式’其中’本貫施例係擷取六個基準點以測 知嘴唇的上下唇曲線；此外，影像感測器2丨並可擷取出嘴 唇區域的影像，即嘴唇紋路，並經由行動裝置1進行亮度及 衫度等色調分佈轉換，以取得嘴唇區域影像的紋路資訊。 接著，將接收使用者透過輸入模組丨2所下達的輸入指 15令（步驟S303)，如圖2所示，輸入模組12之觸控板上係提供 複數種唇彩色調以供使用者點選輸入，例如使用者先點選 所需唇色後、再點選目標影像51，以告知行動裝置丨需於目 標影像51著上對應唇色。於本實施例中.，每一種唇彩色調 白已疋義有其對應唇膏之使用效果的設定值。此外，需注 20意的是，若使用者所點選之影像不符合彩妝參數之設定， ^如使用者先點選唇色後、卻點選眼睛而非嘴唇，則行動 雇置1將可忽略此筆輸入指令以減少系統運算負擔。 〜據此，行動裝置1即可擷取出被點選之唇色所對應之 彩妝參數的設定值（步驟S304);以將立體影像及紋路資 1227444 訊、併同彩妝參數進行影像整合運算，進而取得一塗上辰 彩後的彩妝影像（步驟咖），當然亦可將目標場景參數考 里進去w由其所定義之亮度參數、彩度參數、及飽和度 參數來呈現符合於各種特定場景的彩妝效果，例如適用於 5晚宴場合之目標場景參數、或隨著光源角度而有不同參數 設定等。其中’於步驟8304中，行動裝置Η系可自遠端彩 妝資料庫3、或插設之彩妝資料擴充卡钟讀取出彩妝參 數倘若使用者奴嘗試另一系，之唇彩色調時，則行動裝 置1僅需^結至另-彩妝f料庫、或更換彩妝資料擴充卡即 10可’具有尚度應用彈性。此外，遠端彩妝資料庫3或彩妝資 料擴充卡4亦可内建有彩妝手法樣本，係分別定義符合各種 化妝。口之上妝手法資訊，以供行動裝置j根據使用者所選取 之化妝品來選用對應之彩妝手法參數。 請參閱圖6虛擬展現立體唇形之示意圖，顯示步驟 15 S305係結合於圖5中所取得的上下唇形曲線方程式、及區 域影像，併同彩妝參數與目標場景參數以進行影像整合運 算，以計算出塗上唇彩後的彩妝影像52。其中，上下唇形 曲線方程式係使用區域差補技術以取得立體影像；區域影 像係透過紋路擷取技術以取得其紋路貼圖資訊；各調整係 20數則在經過光影色彩調整後，取得色彩修正係數。 最後’即可透過顯示模組11將彩妝影像52顯示出來（步 驟S306)。由於感測器模組2係可動態持續擷取影像，因此 當使用者轉動臉部或移動感測器模組2時，目標影像51將隨 之有所改變’此時，行動裝置1將隨著目標影像5丨的改變而 12 1227444 \ 生更新後的衫妝影像（步驟S307)，以於顯示模組11 動態:立體、且多角度的彩妝效果，需注意的是， 置1 ϋ由設定目標影像51在轉動角度超過-預設 5 10 15 20 管才汁π更新後的彩妝影像，如此將可減少複雜運 成的龜大Μ料！。此外，使用者係可將彩妝影像52 :子於订動裝置卜或記憶卡中（步驟s谓），亦可繼續試用 义種4顏色’或將目標影像更換為眼睛後、開始試用. 又〜類化妝⑽。由於本實施例每次係以局部影像為單位， 當使用者欲整合各種不同化妝品的使用效果時，則可 擷取出之别針對各部位所儲存的彩妝影像加以結合後形 整體彩妝影像。 根據上述之說明，顯示本發明係可根據感測器所傳來 之影像及深度資料以建立目標影像對應之立體影像，之後 對立體影像進行扣立體繪圖加工，加人包括色彩、打光、 飽和等參數自動作調整，藉以提供符合目標場景之寫直效 果來滿足使用者的彩妝需求，有別於平面影像的處理效 果。本發明㈣針對化妝品設㈣㈣質的參數，據以建 立彩妝資料庫，此外’更可針對上妝畫法建立彩妝手法 本庫，以取得更寫實的彩妝效果，實為一大進步。 ， 上述實施例僅係為了方便說明而舉例而已，本發 主張之權利範圍自應以申請專利範圍所述為準χ 於上述實施例。 惶1艮 【圖式簡單說明】 13 1227444 圖1係本發明一較佳實施例之實施環境示意圖。 圖2係本發明一較佳實施例之彩妝試用模擬裝置 面不意圖。 圖3係本發明一較佳實施例之流程圖。 5圖4係本發明一較佳實施例之感測器模組之功能 圖5係本發明—較佳實施㈣測立體唇形之示意圖: 圖6係本發明一較佳實施例虛擬展現立體唇形之示意圖。

【圖號說明】 顯示模組1 1 感測器模組2 影像感測器2 1 訊號放大器23 介面處理單元25 訊息顯示單元27 訊號輸入處理單元29 類比訊號輸入介面292 彩妝資料擴充卡4 彩妝影像52

10 行動裝置1 輸入模組1 2 資料儲存單元201 深度感測器22 數位/類比轉換器24 15 微處理器26 時脈產生器28 數位訊號輸入介面291 遠端彩妝資料庫3 目標影像51 14

Claims (1)

1227444 拾、申請專利範圍： l 一種彩妝試用模擬方法，包括下列步驟： (A) 擷取一目標影像之影像參數及輪廓參數； (B) 分析該影像參數及輪廓參數以取得該目標影像之 5 立體影像及紋路資訊； (C) 接收一輸入指令，其係用以將一彩妝參數與該目 標影像結合，該彩妝參數係定義—化妝品之使用效果； (D) 擷取該彩妝參數之設定值； ⑻將该立體影像及該紋路資訊、併同該彩妝參數豸 φ 10行影像整合運算，以取得一彩妝影像；以及 (F)顯示該彩妝影像。 2.如申請專職圍第i項所述之方*，其係動態根據 該目標影像之轉換角度以即時運算出轉換後之目標影像所 對應的彩妝影像。 15 3.如申請專利範圍第1項所述之方法，其中，步驟(A) 係使用-點座標描述技術以自該目標影像之數位訊號中擷 取出複數個點座標參數、並使用—區域影像萃取技術以拍頁φ 取出該目標影像之區域影像，以形成該影像參數。 4·如申請專利範圍第1項所述之方法，其中，步驟（Α) 20係使用一訊號過遽與前處理技術，以自該目標影像之類比 訊號中掏取出複數個點深度參數，以形成該輪廓來數。 5.如申請專利範圍第i項所述之方法，其中，步驟⑼ 係透過網路以自-遠端彩妝資料庫中讀取出該彩妝參數之 設定值。 15 1227444 6.如申請專利範圍第1項所述之 係自一裝設於一資訊裝置中之彩路次、、法，其中，步驟（D) 彩妝參數之設定值。 7貝料擴充卡中讀取出該 7·如申請專利範圍第丨項所述之 ;係將該立體影像及該紋路資訊、併〔，其中，步驟（Ε) 場景參數以進行影像整合運算，該5 :心妝參數及一目標 義一目標場景之彩度參數、亮度表^知景參數係用以定 &如申請專利範圍第㈣所述之方^飽和度參數。 係將該立體影像及該紋路資訊、 ，，其中，步驟（Ε) ίο 15 手法參數以進行影像整合運算，二4知妝參數及一彩妝 合該化妝品之上妝手法資訊。4妝手法參數係定義符 9·如申請專利範圍第丨項所述之 ⑺後’係包括一步驟⑼用以儲存該彩妝影像。’於步驟 10.如申請專利範圍第丨 影像係為一使用者臉部之局部方法，其中’該目標 u·如申請專利範圍第10項 不同局部影像卿叙祕· H方法，錢藉由結合 之全臉影像所對應之彩妝影像。（、貝不出該使用者臉部 U·如申請專利範圍第丨項 影像係為-使用者臉部之全臉::之方法，其中，該目標 13· —種彩妝試用模擬裝置，勺 —顯示模組； 匕括· —感測器模組，係擷取一 參數； 目軚影像之影像參數及輪廓 20 1227444 一輸入模組，用以輸入一輸入指令，其係用以將一彩 妝參數與該目標影像結合，該彩妝參數係定義一化妝品之 使用效果；以及 一微處理器，係分析該影像參數及輪廓參數以取得該 5目標影像之立體影像及紋路資訊，並於擷取該彩妝參數之 設定值後，將該立體影像及該紋路資訊、併同該彩妝參數 進行整合影像運算，以取得一彩妝影像，再透過該顯示模 組顯示出來。 14·如申請專利範圍第13項所述之裝置，其中，該感測 10器模組係包括一影像感測器，係使用一點座標描述技術以 自該目標影像之數位訊號中擷取出複數個點座標參數、並 使用一區域影像萃取技術以擷取出該目標影像之區域影 像，以形成該影像參數。 15·如申請專利範圍第13項所述之裝置，其中，該感測 15器杈組係包括一深度感測器，係使用一訊號過濾與前處理 技術’以自該目標影像之類比訊號中擷取出複數個點深度 參數，以形成該輪廓參數。 16.如申請專利範圍第13項所述之裝置，其中，該感測 器模組係為一外接式模組。 20 17·如申請專利範圍第13項所述之裝置，其中，該感測 器係内嵌於該彩妝試用模擬裝置中。 18.如申請專利範圍第13項所述之裝置，其中，該輸入 模組係為一觸控板。 17 1227444 19·如申請專利範圍第13項所述之裝置，其中，該微處 理器係透過網路以自一遠端彩妝資料庫中讀取出該彩妝參 數之設定值。 20.如申請專利範圍第丨3項所述之裝置，其係插設有一 二料擴充卡，以由該微處理器自該彩妝資料擴充卡 ^出該彩妝參數之設定值。

18