TWI608446B - 提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置 - Google Patents

提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置 Download PDF

Info

Publication number
TWI608446B
TWI608446B TW104119554A TW104119554A TWI608446B TW I608446 B TWI608446 B TW I608446B TW 104119554 A TW104119554 A TW 104119554A TW 104119554 A TW104119554 A TW 104119554A TW I608446 B TWI608446 B TW I608446B
Authority
TW
Taiwan
Prior art keywords
facial
dimensional
face
virtual
model
Prior art date
Application number
TW104119554A
Other languages
English (en)
Other versions
TW201606702A (zh
Inventor
林偉博
鄭義錡
廖耿德
Original Assignee
華碩電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華碩電腦股份有限公司 filed Critical 華碩電腦股份有限公司
Priority to US14/819,426 priority Critical patent/US20160042557A1/en
Publication of TW201606702A publication Critical patent/TW201606702A/zh
Application granted granted Critical
Publication of TWI608446B publication Critical patent/TWI608446B/zh

Links

Landscapes

  • Processing Or Creating Images (AREA)

Description

提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置
本案是有關於一種提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置,且特別是有關於一種能夠即時提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置。
目前用來提供虛擬彩妝的方法主要是在臉部的二維影像上找尋特徵點(例如眼睛、嘴唇等),之後在此二維影像上的對應位置提供虛擬彩妝(例如虛擬眼影、虛擬唇膏等)。
然而,在此種方法中,在使用者的頭部轉動、擺動以及遮蔽部分五官的情況下,容易搜尋不到特徵點或是誤認特徵點,而導致虛擬彩妝被安排到不適當的位置上或是無法採用虛擬彩妝。此外,在傳統的方法中,虛擬彩妝的形狀與大小大致上是固 定的,雖然適用於使用者正臉面對攝影機的理想情況,但若使用者並非是正臉面對攝影機,未能即時改變形狀與大小的虛擬彩妝會顯得相當不自然。
本案提供一種提供虛擬彩妝的方法,其可隨著臉部的移動或轉動即時調整虛擬彩妝的形狀、大小與位置。
本案提供一種虛擬彩妝電子系統,其可隨著臉部的移動或轉動即時提供適當的虛擬彩妝。
本案提供一種具備虛擬彩妝電子系統之電子裝置,其可隨著臉部的移動或轉動即時提供適當的虛擬彩妝並顯示出來。
本案的一種提供虛擬彩妝的方法,適用於一電子裝置。此提供虛擬彩妝的方法包括:取得一臉部在不同角度的多個臉部影像,以建構出臉部所對應的一立體臉部模型。即時記錄臉部的一即時臉部影像,並使立體臉部模型對應於即時臉部影像的位置與角度以即時連動於臉部。對立體臉部模型提供一三維虛擬彩妝。依據即時臉部影像的位置與角度,將三維虛擬彩妝轉換成一二維虛擬彩妝。結合即時臉部影像以及二維虛擬彩妝以產生一輸出影像。顯示輸出影像。
本案的一種虛擬彩妝電子系統,執行於一電子裝置。虛擬彩妝電子系統包括一影像接收單元、一立體臉部模型建構單元、一立體臉部模型運動單元、一彩妝資訊接收單元、一虛擬彩 妝單元及一資料處理單元。影像接收單元用以接收一臉部的不同角度的多個臉部影像以及臉部的一即時臉部影像。立體臉部模型建構單元耦接於影像接收單元,立體臉部模型建構單元利用這些臉部影像建構一立體臉部模型。立體臉部模型運動單元耦接於影像接收單元與立體臉部模型建構單元,立體臉部模型運動單元依據即時臉部影像的位置與角度而改變立體臉部模型的位置與角度。彩妝資訊接收單元用以接收一彩妝資訊。虛擬彩妝單元耦接於立體臉部模型建構單元、立體臉部模型運動單元與彩妝資訊接收單元,虛擬彩妝單元依據彩妝資訊對立體臉部模型提供一三維虛擬彩妝。資料處理單元耦接於影像接收單元與虛擬彩妝單元,資料處理單元依據即時臉部影像的位置與角度,將三維虛擬彩妝轉換成一二維虛擬彩妝,且將即時臉部影像與二維虛擬彩妝結合以產生一輸出影像。
本案的一種具備虛擬彩妝電子系統之電子裝置,包括一影像擷取模組、一處理模組及一顯示螢幕。影像擷取模組用以擷取一臉部的一即時臉部影像。處理模組電性連接至影像擷取模組,處理模組適於利用臉部在不同角度的多個臉部影像建構出一立體臉部模型。處理模組依據即時臉部影像而將立體臉部模型即時連動於臉部。處理模組對立體臉部模型提供一三維虛擬彩妝,依據即時臉部影像的位置與角度,將三維虛擬彩妝轉換成一二維虛擬彩妝,且將即時臉部影像與二維虛擬彩妝結合以產生一輸出影像。顯示螢幕電性連接至處理模組,其中顯示螢幕顯示輸出影 像。
基於上述,本案的提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置藉由利用不同角度的臉部影像建構出立體臉部模型,立體臉部模型會即時連動於臉部。處理模組會對立體臉部模型提供三維虛擬彩妝,並依據即時臉部影像的位置與角度(例如是影像擷取模組對應於臉部的角度),將三維虛擬彩妝轉換成二維虛擬彩妝,此二維虛擬彩妝的位置、形狀、大小、角度能夠隨著即時臉部影像的變化(也可以說是臉部移動或轉動)對應地改變。再將即時臉部影像以及二維虛擬彩妝結合以產生輸出影像。顯示模組會顯示輸出影像。因此,即便臉部轉到某些角度而使得即時臉部影像上的特徵點與正臉狀態不同(例如當臉部側向60度角時兩眼的大小與間距不同於正臉時兩眼的大小與間距)或是部分特徵點被遮蓋,透過上述的程序,在輸出影像中仍能具有如同是真實彩妝一般的二維虛擬彩妝,而呈現出比較自然的狀態
為讓本案的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
10‧‧‧即時臉部影像
12‧‧‧特徵點
14‧‧‧眼睛
16‧‧‧鼻子
18‧‧‧嘴唇
20‧‧‧三維虛擬彩妝
22‧‧‧三維虛擬眼妝
24‧‧‧三維虛擬腮紅
26‧‧‧三維虛擬唇妝
20a‧‧‧二維虛擬彩妝
22a‧‧‧二維虛擬眼妝
24a‧‧‧二維虛擬腮紅
26a‧‧‧二維虛擬唇妝
30‧‧‧立體臉部模型
32‧‧‧眼睛
34‧‧‧鼻子
36‧‧‧嘴唇
40‧‧‧輸出影像
100‧‧‧提供虛擬彩妝的方法
110~150‧‧‧步驟
200‧‧‧具備虛擬彩妝電子系統之電子裝置
210‧‧‧影像擷取模組
220‧‧‧處理模組
230‧‧‧儲存模組
240‧‧‧感測模組
250‧‧‧顯示螢幕
300‧‧‧虛擬彩妝電子系統
310‧‧‧影像接收單元
320‧‧‧立體臉部模型建構單元
330‧‧‧立體臉部模型運動單元
340‧‧‧彩妝資訊接收單元
350‧‧‧虛擬彩妝單元
360‧‧‧資料處理單元
370‧‧‧立體臉部模型資料庫
380‧‧‧光線資訊接收單元
圖1是依照本案的一實施例的一種提供虛擬彩妝的方法的流程圖。
圖2是依照本案的一實施例的一種具備虛擬彩妝電子系統之電子裝置的示意圖。
圖3A與圖4A分別是兩即時臉部影像的示意圖。
圖3B與圖4B分別是依據圖3A與圖4A所建立的立體臉部模型的示意圖。
圖3C與圖4C分別是立體臉部模型以及施加在立體臉部模型上的三維虛擬彩妝的示意圖。
圖3D與圖4D分別是由圖3C與圖4C中的三維虛擬彩妝所轉換的二維虛擬彩妝的示意圖。
圖3E與圖4E分別是結合即時臉部影像與二維虛擬彩妝的輸出影像的示意圖。
圖5是依照本案的一實施例的一種虛擬彩妝電子系統的示意圖。
圖1是依照本案的一實施例的一種提供虛擬彩妝的方法的流程圖。圖2是依照本案的一實施例的一種具備虛擬彩妝電子系統之電子裝置的示意圖。請同時參閱圖1與圖2,在本實施例中,提供虛擬彩妝的方法100可透過圖2的具備虛擬彩妝電子系統之電子裝置200來對使用者提供即時的二維虛擬彩妝。如圖2所示,具備虛擬彩妝電子系統之電子裝置200以一筆記型電腦為例,但具備虛擬彩妝電子系統之電子裝置200也可以是一桌上型 電腦、一平板電腦或者是專門用來提供虛擬彩妝功能的電子裝置,當然,具備虛擬彩妝電子系統之電子裝置200的種類並不以此為限制。
在本實施例中,具備虛擬彩妝電子系統之電子裝置200包括一影像擷取模組210、一處理模組220、一儲存模組230及一顯示螢幕250。影像擷取模組210例如是筆記型電腦的一鏡頭,處理模組220為一中央處理器,儲存模組230為一硬碟。影像擷取模組210、儲存模組230與顯示螢幕250分別電性連接至處理模組220。
本實施例的提供虛擬彩妝的方法100包括下列步驟:首先,取得一臉部的不同角度的多個臉部影像,以建構出一立體臉部模型(步驟110)。在本實施例中,使用者可透過將臉部在影像擷取模組210前轉動不同角度而拍攝出多張不同角度的臉部影像,影像擷取模組210可為一二維影像擷取模組或一三維影像擷取模組,以擷取平面影像或是立體影像。或者,這些臉部影像也可以是使用者由其他的單一個或是多個相機鏡頭拍攝之後,再將這些照片輸入具備虛擬彩妝電子系統之電子裝置200而來。
在本實施例中,處理模組220依據這些臉部影像上的多個特徵點12(標示於圖3A至圖4B)建構立體臉部模型30(標示於圖3C與圖4C),其中這些特徵點12包括五官資訊(步驟112)。舉例而言,處理模組220可辨識在臉部影像上的五官資訊,例如是眉毛、眼睛14(標示於圖3A至圖4A)、鼻子16(標示於圖3A 至圖4A)、嘴巴18(標示於圖3A至圖4A)、耳朵與臉部輪廓等資訊,處理模組220在辨識出這些五官資訊之後,可以經過計算眉眼距離、兩眼間距、嘴巴寬度等等的資訊建構出虛擬的臉部模型。特別注意的是,在本實施例中,處理模組220除了比對單張即時臉部影像10上的這些特徵點12之外,還會比對不同角度的這些即時臉部影像10上的這些特徵點12,以建構出更接近實際臉部的立體臉部模型30。建構完成的立體臉部模型30可被儲存至儲存模組230。
另一種較快速地建構出立體臉部模型30可如同步驟114所述,設計者可先在儲存裝置230中先行儲存一立體臉部模型資料庫,此立體臉部模型資料庫內已經收集數百筆立體臉部模型的資訊。處理模組220在分析這些即時臉部影像10時,可根據這些即時臉部影像10中較主要的特徵點12(可由設計者或使用者自行定義)所計算出的資訊,直接在立體臉部模型資料庫中選擇出接近的一樣版模型套用,以建構出對應於立體臉部模型30(步驟114)。當然,雖然若採用步驟114的方式,有可能兩個長相相似的使用者會使用到相同的立體臉部模型30,但可簡化處理模組220的處理程序而具有較佳的工作效率。
再來,記錄臉部的一即時臉部影像10,並使立體臉部模型30對應於即時臉部影像10的位置與角度以即時連動於臉部(步驟120)。在本實施例中,影像擷取模組210會即時拍攝前方的使用者而得到即時臉部影像10。處理模組220會持續分析各即時臉 部影像10的特徵點以即時調整立體臉部模型30的位置與角度(步驟122)。如此一來,立體臉部模型30便會隨著臉部的運動而即時運動。圖3A與圖4A分別是兩即時臉部影像10的示意圖。圖3B與圖4B分別是依據圖3A與圖4A所建立的立體臉部模型30的示意圖。如同圖3A與4A所示,立體臉部模型30便會依據即時臉部影像10的位置與角度而隨著臉部即時運動。
在本實施例中,當位在影像擷取模組210前方的使用者轉動臉部時,影像擷取模組210可擷取到不同時序的即時臉部影像10。由於不同時序的即時臉部影像10可能不同(例如臉部轉動或偏頭),對應於不同時序的即時臉部影像10的二維虛擬彩妝20a(在圖3E與圖4E中標示)也會不同,才會能夠呈現出自然的狀態。詳細地說,在圖4A中,側臉的即時臉部影像10的兩頰面積、兩眼的形狀不同,並且圖4A中五官的位置也與圖3A中的正臉的即時臉部影像10不同,欲施加在即時臉部影像10上的二維虛擬彩妝20a的形狀與涵蓋範圍會對應地改變。本實施例便是利用立體臉部模型30便會隨著臉部的運動而即時運動的方式,來對即時臉部影像10提供自然的妝效。
此外,為了能夠更佳地反映實際上使用者周圍的環境光線對所欲得到的二維虛擬彩妝20a(標示於圖3D、圖3E、圖4D與圖4E)的影響,而使最後顯示出來的輸出影像40上的二維虛擬彩妝20a能夠呈現出更自然的色彩跟光影。在本實施例中,具備虛擬彩妝電子系統之電子裝置200更包括一感測模組240,感測 模組240電性連接至處理模組220。感測模組240可以是內建或是外掛於筆記型電腦上。感測模組240偵測臉部周圍的一光線資訊(步驟130)。在本實施例中,光線資訊可包括光線強度與光線的方向。
圖3C與圖4C分別是立體臉部模型30以及施加在立體臉部模型30上的三維虛擬彩妝20的示意圖。請參閱圖3C與圖4C,處理模組220會依據使用者的指令對立體臉部模型提供一三維虛擬彩妝20並依據光線資訊調整三維虛擬彩妝20的亮暗與色彩(步驟140)。在此,三維虛擬彩妝20以三維虛擬眼妝22、三維虛擬腮紅24與三維虛擬唇妝26為例,但三維虛擬彩妝20的種類不以此為限制。
在本實施例中,在影像擷取模組210拍攝臉部的過程中,感測模組240同時感測臉部周圍的光線資訊,處理模組220也會依據所接收到的光線資訊去調整三維虛擬彩妝20的亮暗與光影,而得到較自然的效果。舉例來說,若使用者位在高亮度的環境,三維虛擬彩妝20的顏色可對應地變淡,或者,光線若從使用者的左方向照向使用者,則使用者的左臉會比右臉來得亮,在立體臉部模型30的不同區塊上的三維虛擬彩妝20的亮度甚至是色調也會對應地調整。
接著,圖3D與圖4D分別是由圖3C與圖4C中的三維虛擬彩妝20所轉換的二維虛擬彩妝20a的示意圖。請參閱圖3D與圖4D,處理模組220會依據即時臉部影像10的位置與角度,將 三維虛擬彩妝20轉換成一二維虛擬彩妝20a(步驟150)。再來,圖3E與圖4E分別是結合即時臉部影像10與二維虛擬彩妝20a的輸出影像40的示意圖。請參閱圖3E與圖4E,處理模組220會結合即時臉部影像10以及二維虛擬彩妝20a而產生一輸出影像40(步驟160)。最後,顯示螢幕250顯示輸出影像40(步驟170)。在本實施例中,結合有即時臉部影像10以及虛擬彩妝20的輸出影像40會輸出至顯示螢幕250,而讓使用者在顯示螢幕250便能夠直接看到帶有二維虛擬彩妝20a的輸出影像40。若以與他人視訊為例,使用者可不必真的化妝,便能在顯示螢幕250看到化妝後的效果。
在本實施例中,由於處理模組220是對立體臉部模型30提供三維虛擬彩妝20,再依據即時臉部影像10的位置與角度(例如是影像擷取模組210對應於臉部的角度),將三維虛擬彩妝20轉換成二維虛擬彩妝20a,即便臉部轉到某些角度而使得即時臉部影像10上的特徵點12與正臉狀態不同或是部分特徵點12被遮蓋,輸出影像40上仍能具有適當的二維虛擬彩妝20a。換句話說,二維虛擬彩妝20a的位置、形狀、大小、角度、亮暗、光影能夠隨著臉部移動或轉動對應地改變,而使得在顯示螢幕250上所顯示的輸出影像40的二維虛擬彩妝20a可呈現出比較自然的狀態。
更明確地說,在圖4E中,二維虛擬眼妝22a與二維虛擬腮紅24a在左右兩側的範圍與形狀會因即時臉部影像10的兩頰面積、兩眼的形狀不同而不同。圖4E的左半部的二維虛擬眼妝22a 與二維虛擬腮紅24a的範圍會對應地縮減,而避免發生二維虛擬眼妝22a與二維虛擬腮紅24a超出即時臉部影像10上的眼睛與臉頰位置的狀況。
此外,比對圖3E與圖4E可知,二維虛擬眼妝22a的睫毛會隨著即時臉部影像10的角度不同而改變角度,也就是說,無論使用者的臉部角度如何改變,二維虛擬眼妝22a看起來會接近於真實眼妝,而可避免將正臉的睫毛顯示在側臉的即時臉部影像10上或是二維虛擬眼妝22a在使用者側臉時消失的狀況。也就是說,在本實施例中,處理模組220會依據不同時序的立體臉部模型30的位置與角度來對即時臉部影像10提供如同真實狀態的二維虛擬彩妝20a。
本案更提供一種虛擬彩妝電子系統300,其可執行於一電子裝置(例如是圖2所示的電子裝置),電子裝置可以是桌上型電腦、筆記型電腦、平板電腦、手機或是專門用來提供虛擬彩妝的裝置等。當然,用來執行虛擬彩妝電子系統的電子裝置的種類並不以此為限制。
圖5是依照本案的一實施例的一種虛擬彩妝電子系統的示意圖。請參閱圖5,本實施例的虛擬彩妝電子系統300包括一影像接收單元310、一立體臉部模型建構單元320、一立體臉部模型運動單元330、一彩妝資訊接收單元340、一虛擬彩妝單元350及一資料處理單元360。
在本實施例中,影像接收單元310用以接收一臉部的不 同角度的多個臉部影像以及臉部的一即時臉部影像。彩妝資訊接收單元340用以接收一彩妝資訊。雖然在圖5中,影像接收單元310與彩妝資訊接收單元340是不同的元件,但在其他實施例中,也可以是由相同的接收單元來接收臉部影像、即時臉部影像與彩妝資訊。
立體臉部模型建構單元320耦接於影像接收單元310,立體臉部模型建構單元320利用這些臉部影像建構一立體臉部模型。在本實施例中,虛擬彩妝電子系統300更包括一立體臉部模型資料庫370,耦接於立體臉部模型建構單元320,其中立體臉部模型建構單元320根據這些臉部影像的多個特徵點,而在立體臉部模型資料庫370中選擇出接近的一樣版模型套用,以建構出立體臉部模型。當然,在其他實施例中,虛擬彩妝電子系統300也可以不具有立體臉部模型資料庫370,而是立體臉部模型建構單元320直接以這些臉部影像上的特徵點來建構出立體臉部模型。
立體臉部模型運動單元330耦接於影像接收單元310與立體臉部模型建構單元320,立體臉部模型運動單元330依據即時臉部影像的位置與角度而改變立體臉部模型的位置與角度。也就是說,立體臉部模型能夠即時連動於臉部。
虛擬彩妝單元350耦接於立體臉部模型建構單元320、立體臉部模型運動單元330與彩妝資訊接收單元340,虛擬彩妝單元350依據彩妝資訊對立體臉部模型提供一三維虛擬彩妝。也就是說,三維虛擬彩妝會隨著立體臉部模型轉動或是移動而改變面 積、顏色、形狀、大小,以符合真實的狀況。在本實施例中,虛擬彩妝電子系統300更包括一光線資訊接收單元380,耦接於虛擬彩妝單元350,光線資訊接收單元380用以接收一光線資訊,虛擬彩妝單元350依據光線資訊調整三維虛擬彩妝的亮暗與色彩。
資料處理單元360耦接於影像接收單元310與虛擬彩妝單元350,資料處理單元360依據即時臉部影像的位置與角度,將三維虛擬彩妝轉換成一二維虛擬彩妝,且將即時臉部影像與二維虛擬彩妝結合以產生一輸出影像。在本實施例中,輸出影像中的二維虛擬彩妝能夠配合即時臉部影像的角度與位置,而較具有真實感。
綜上所述,本案的提供虛擬彩妝的方法以及具備虛擬彩妝電子系統之電子裝置藉由利用不同角度的臉部影像建構出立體臉部模型,立體臉部模型會即時連動於臉部。處理模組會對立體臉部模型提供三維虛擬彩妝,並依據即時臉部影像的位置與角度(例如是影像擷取模組對應於臉部的角度),將三維虛擬彩妝轉換成二維虛擬彩妝,此二維虛擬彩妝的位置、形狀、大小、角度能夠隨著即時臉部影像的變化(也可以說是臉部移動或轉動)對應地改變。再將即時臉部影像以及二維虛擬彩妝結合以產生輸出影像。顯示模組會顯示輸出影像。因此,即便臉部轉到某些角度而使得即時臉部影像上的特徵點與正臉狀態不同(例如當臉部側向60度角時兩眼的大小與間距不同於正臉時兩眼的大小與間距)或是部分特徵點被遮蓋,透過上述的程序,在輸出影像中仍能具有 如同是真實彩妝的二維虛擬彩妝,而呈現出比較自然的狀態。
雖然本案已以實施例揭露如上,然其並非用以限定本案,任何所屬技術領域中具有通常知識者,在不脫離本案之精神和範圍內,當可作些許之更動與潤飾,故本案之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧提供虛擬彩妝的方法
110~170‧‧‧步驟

Claims (12)

  1. 一種提供虛擬彩妝的方法,配合一具備虛擬彩妝電子系統之電子裝置,該提供虛擬彩妝的方法包括:取得一臉部的不同角度的多個臉部影像,以建構一立體臉部模型;記錄該臉部的一即時臉部影像,根據該即時臉部影像上的多個特徵點來即時調整該立體臉部模型的位置與角度,並使該立體臉部模型對應於該即時臉部影像的位置與角度以即時連動於該臉部;提供一三維虛擬彩妝於該立體臉部模型上;依據該即時臉部影像的位置與角度,將該三維虛擬彩妝轉換成一二維虛擬彩妝;結合該即時臉部影像以及該二維虛擬彩妝以產生一輸出影像;以及顯示該輸出影像。
  2. 如申請專利範圍第1項所述的提供虛擬彩妝的方法,其中在取得該臉部的不同角度的該些臉部影像,以建構該立體臉部模型的該步驟中,更包括:依據該些臉部影像上的多個特徵點建構該立體臉部模型,其中該些特徵點包括五官資訊。
  3. 如申請專利範圍第1項所述的提供虛擬彩妝的方法,其中在取得臉部的不同角度的該些臉部影像,以建構該立體臉部模型 的該步驟中,更包括:提供一立體臉部模型資料庫,根據該些臉部影像的多個特徵點,而在該立體臉部模型資料庫中選擇出接近的一樣版模型套用,以建構出該立體臉部模型。
  4. 如申請專利範圍第1項所述的提供虛擬彩妝的方法,更包括:偵測該臉部周圍的一光線資訊,並且依據該光線資訊調整該三維虛擬彩妝的亮暗與色彩。
  5. 一種虛擬彩妝電子系統,執行於一電子裝置,該虛擬彩妝電子系統包括:一影像接收單元,用以接收一臉部的不同角度的多個臉部影像以及該臉部的一即時臉部影像;一立體臉部模型建構單元,耦接於該影像接收單元,該立體臉部模型建構單元利用該些臉部影像建構一立體臉部模型;一立體臉部模型運動單元,耦接於該影像接收單元與該立體臉部模型建構單元,該立體臉部模型運動單元根據該即時臉部影像上的多個特徵點來即時調整該立體臉部模型的位置與角度,並依據該即時臉部影像的位置與角度而改變該立體臉部模型的位置與角度;一彩妝資訊接收單元,用以接收一彩妝資訊;一虛擬彩妝單元,耦接於該立體臉部模型建構單元、該立體臉部模型運動單元與該彩妝資訊接收單元,該虛擬彩妝單元依據 該彩妝資訊對該立體臉部模型提供一三維虛擬彩妝;以及一資料處理單元,耦接於該影像接收單元與該虛擬彩妝單元,該資料處理單元依據該即時臉部影像的位置與角度,將該三維虛擬彩妝轉換成一二維虛擬彩妝,且將該即時臉部影像與該二維虛擬彩妝結合以產生一輸出影像。
  6. 如申請專利範圍第5項所述的虛擬彩妝電子系統,更包括:一立體臉部模型資料庫,耦接於該立體臉部模型建構單元,其中該立體臉部模型建構單元根據該些臉部影像的多個特徵點,而在該立體臉部模型資料庫中選擇出接近的一樣版模型套用,以建構出該立體臉部模型。
  7. 如申請專利範圍第5項所述的虛擬彩妝電子系統,更包括:一光線資訊接收單元,耦接於該虛擬彩妝單元,該光線資訊接收單元用以接收一光線資訊,該虛擬彩妝單元依據該光線資訊調整該三維虛擬彩妝的亮暗與色彩。
  8. 一種具備虛擬彩妝電子系統之電子裝置,包括:一影像擷取模組,用以擷取一臉部的一即時臉部影像;一虛擬彩妝處理模組,電性連接至該影像擷取模組,該處理模組適於利用該臉部在不同角度的多個臉部影像建構出一立體臉部模型,該處理模組依據該即時臉部影像而將該立體臉部模型即時連動於該臉部,該處理模組對該立體臉部模型提供一三維虛擬彩妝,依據該即時臉部影像的位置與角度,將該三維虛擬彩妝轉換成一二維虛擬彩妝,且將該即時臉部影像與該二維虛擬彩妝結 合以產生一輸出影像;以及一顯示螢幕,電性連接至該虛擬彩妝處理模組,其中該顯示螢幕顯示該輸出影像。
  9. 如申請專利範圍第8項所述的具備虛擬彩妝電子系統之電子裝置,更包括:一儲存模組,電性連接至該處理模組以儲存該立體臉部模型。
  10. 如申請專利範圍第9項所述的具備虛擬彩妝電子系統之電子裝置,其中該儲存模組儲存一立體臉部模型資料庫,該處理模組根據該些臉部影像的多個特徵點,而在該立體臉部模型資料庫中選擇出接近的一樣版模型套用,以建構出該立體臉部模型。
  11. 如申請專利範圍第8項所述的具備虛擬彩妝電子系統之電子裝置,更包括:一感測模組,電性連接至該處理模組,其中該感測模組偵測該臉部周圍的一光線資訊,且該處理模組依據該光線資訊調整該三維虛擬彩妝的亮暗與色彩。
  12. 如申請專利範圍第8項所述的具備虛擬彩妝電子系統之電子裝置,其中該影像擷取模組為一二維影像擷取模組或一三維影像擷取模組。
TW104119554A 2014-08-08 2015-06-17 提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置 TWI608446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/819,426 US20160042557A1 (en) 2014-08-08 2015-08-06 Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201462034800P 2014-08-08 2014-08-08

Publications (2)

Publication Number Publication Date
TW201606702A TW201606702A (zh) 2016-02-16
TWI608446B true TWI608446B (zh) 2017-12-11

Family

ID=55810100

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104119554A TWI608446B (zh) 2014-08-08 2015-06-17 提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置

Country Status (1)

Country Link
TW (1) TWI608446B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136272B (zh) * 2018-02-09 2023-05-30 英属开曼群岛商玩美股份有限公司 用于向远程用户虚拟应用彩妆效果的系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200739446A (en) * 2005-03-16 2007-10-16 Marie-Anne Senckeisen Real time method for assisting application of make-up and device for implementation thereof
US20120067364A1 (en) * 2010-09-21 2012-03-22 Zong Jing Investment, Inc. Facial make-up application machine and make-up application method using the same
US20140016823A1 (en) * 2012-07-12 2014-01-16 Cywee Group Limited Method of virtual makeup achieved by facial tracking
CN103970525A (zh) * 2013-01-25 2014-08-06 韩国电子通信研究院 用于虚拟化妆的设备和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200739446A (en) * 2005-03-16 2007-10-16 Marie-Anne Senckeisen Real time method for assisting application of make-up and device for implementation thereof
US20120067364A1 (en) * 2010-09-21 2012-03-22 Zong Jing Investment, Inc. Facial make-up application machine and make-up application method using the same
US20140016823A1 (en) * 2012-07-12 2014-01-16 Cywee Group Limited Method of virtual makeup achieved by facial tracking
CN103970525A (zh) * 2013-01-25 2014-08-06 韩国电子通信研究院 用于虚拟化妆的设备和方法

Also Published As

Publication number Publication date
TW201606702A (zh) 2016-02-16

Similar Documents

Publication Publication Date Title
US11533489B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US10733804B2 (en) Method and system for representing a virtual object in a view of a real environment
JP7036879B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
US10701253B2 (en) Camera systems for motion capture
US20160042557A1 (en) Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
KR102390781B1 (ko) 얼굴 표정 추적
US9740282B1 (en) Gaze direction tracking
US8760499B2 (en) Three-dimensional imager and projection device
US9348141B2 (en) Low-latency fusing of virtual and real content
US20180158246A1 (en) Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
US20140176591A1 (en) Low-latency fusing of color image data
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
EP2933781A2 (en) Method and system for representing a virtual object in a view of a real environment
US11403811B1 (en) Estimating optical parameters of surfaces
TWI608446B (zh) 提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置
CN113628322B (zh) 图像处理、ar显示与直播方法、设备及存储介质
US11170578B1 (en) Occlusion detection
US20230336679A1 (en) Motion capture using synchronized and aligned devices
Dreher et al. Towards Tattoo Previewing and Other Augmented/Mixed Reality Applications with Microsoft Kinect