TWI433049B - 眼鏡虛擬試戴互動服務系統與方法 - Google Patents

眼鏡虛擬試戴互動服務系統與方法 Download PDF

Info

Publication number
TWI433049B
TWI433049B TW100112053A TW100112053A TWI433049B TW I433049 B TWI433049 B TW I433049B TW 100112053 A TW100112053 A TW 100112053A TW 100112053 A TW100112053 A TW 100112053A TW I433049 B TWI433049 B TW I433049B
Authority
TW
Taiwan
Prior art keywords
feature points
face
virtual
feature
glasses
Prior art date
Application number
TW100112053A
Other languages
English (en)
Other versions
TW201241781A (en
Inventor
Nien Chu Wu
Rui Min Chih
Chi Neng Liu
Chiou Shan Chou
Wei Ming Chen
Original Assignee
Claridy Solutions Inc
Kobayashi Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Claridy Solutions Inc, Kobayashi Optical Co Ltd filed Critical Claridy Solutions Inc
Priority to TW100112053A priority Critical patent/TWI433049B/zh
Publication of TW201241781A publication Critical patent/TW201241781A/zh
Application granted granted Critical
Publication of TWI433049B publication Critical patent/TWI433049B/zh

Links

Description

眼鏡虛擬試戴互動服務系統與方法
本發明係關於一種提供真人影像之眼鏡三維(3D)虛擬試戴互動服務系統與方法,尤指一種用於電子商務互動系統上之眼鏡3D試戴互動服務系統與方法。
隨著電子商務的蓬勃發展,愈來愈多的消費者也愈來愈來依賴電子商務互動平台系統來選擇自己喜愛的貨物與商品。而商品與模特兒的合併展示圖片、電子商品試戴系統與軟體,也愈來愈吸引消費者的注意,也進而引起消費者的購買慾望。而提供真人影像之眼鏡試戴系統更是受到消費者注目與歡迎的試戴系統之一,使用者只要應用自己的照片,便可從數以萬計的眼鏡商品中找到自己喜愛與合適的眼鏡。
然而,傳統的眼鏡試戴系統多為二維(2D)平面,使用者只能觀看自己試戴眼鏡的正面影像,而無法由左右側面來觀看自己試戴眼鏡的側面影像。且傳統的眼鏡試戴系統也並無法隨著消費者臉部的移動與轉動,適當地將眼鏡與消費者的臉部作合成,因此,往往造成所合成的影像過於突兀或不真實。
因此,鑑於傳統眼鏡試戴系統與方法缺乏一有效且經濟機制來解決傳統的問題,因此亟需提出一新穎的眼鏡虛擬試戴互動服務系統與方法,能夠藉由精確的模擬與運算,以解決上述之問題。
為解決上述問題,本發明係提供真人影像之眼鏡虛擬試戴互動服務系統與方法,藉由精確的模擬與運算,以解決當消費者臉部的移動與轉動時,無法將眼鏡與消費者的臉部作適當的合成,以產生合成影像過於突兀或不真實之問題。
根據一實施例,本發明提供真人影像之一種眼鏡虛擬試戴互動服務方法,包括:透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像;對該第一人臉影像之眼睛,取得複數個第一特徵點;在每個第一特徵點周圍取樣複數個第一特徵資訊,並儲存該複數個第一特徵資訊;利用畫面比對判斷該人臉是否有動態移動,並透過下一個該畫面取得該第二人臉影像;結合搜尋比對範圍與追蹤特徵資訊方法取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵點定位資訊;比對該第一人臉影像與該第二人臉影像的相對位置資訊差異,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置;以及將預設的一眼鏡模型合成於該複數個第二特徵點的位置。
根據一實施例,本發明提供真人影像之一種眼鏡虛擬試戴互動服務系統,包括:一影像擷取單元,透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像;一處理單元,耦接該影像擷取單元,對該第一人臉影像之眼睛,取得複數個第一特徵點,且在每個第一特徵點周圍設計取樣模式以取得有利的複數個第一特徵資訊,並儲存該複數個第一特徵資訊,且利用畫面比對判斷該人臉是否有動態移動,並透過下一個該畫面取得該第二人臉影像,結合搜尋比對範圍與追蹤特徵資訊方法並取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵點定位資訊;一分析單元,耦接該處理單元,用以比對該第一人臉影像與該第二人臉影像的相對位置資訊差異,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置;以及一合成單元,耦接該分析單元,將預設的一虛擬眼鏡模型合成於該複數個第二特徵點的位置。後續以此方法類推取得動態的第三、第四..的特徵點的位置。
根據另一實施例,本發明提供一種隱形眼鏡虛擬試戴互動服務方法,包括:透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像;對該第一人臉影像之眼睛瞳孔,取得複數個第一特徵點;在每個第一特徵點周圍取樣複數個第一特徵資訊,並儲存該複數個第一特徵資訊;以及將預設的一隱形眼鏡模型合成於該複數個第二特徵點的位置。後續以此方法類推取得動態的第三、第四..的特徵點的位置。
為進一步對本創作有更深入的說明,乃藉由以下圖示、圖號說明及發明詳細說明,冀能對 貴審查委員於審查工作有所助益。
茲配合下列之圖式說明本創作之詳細結構,及其連結關係,以利於 貴審委做一瞭解。
圖一係顯示根據本發明之一實施例之真人影像之一種眼鏡虛擬試戴互動服務方法,其包括:透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像(步驟s101),例如,如圖二A所示,於本實施例於一畫面上顯示一虛線框架並要求使用者臉部正面進入框架,以符合虛線框大小並將雙眼對齊橫線,以定位使用者的臉部,並拍攝下該第一人臉影像。接著,對該第一人臉影像之眼睛特徵處如兩側眼角,取得複數個第一特徵點(步驟s102),此複數個第一特徵點可以但不限於包括左右眼的兩側眼角以及嘴角兩側。例如,如圖二B中畫叉所示,於本實施例,可以手動點選該第一人臉影像之左右眼的兩側眼角點以及嘴角兩側點,以分別取得一或多個第一特徵點。另外,於另一實施例也可以使用人臉辨識方式讓程式自動抓取特徵點。此外,於本實施例在此步驟(s102)之後,更可根據複數個第一特徵點,以判斷該該第一人臉影像是否符合人臉邏輯,若否,則重新取得該第一人臉影像或該複數個第一特徵點。若是,則進行下一步動作,應用一搜尋運算,以判斷該複數個第一特徵點是否位於該框架內,若否,則重新取得該第一人臉影像或該複數個第一特徵點,若是,則進行下一步動作。其中,判斷特徵點位置是否符合人臉邏輯的方式有左(右)眼的兩側眼角點是否在虛線框左(右)半邊、同一隻眼的內外眼角是否相隔一定間距、同一隻眼的內外眼角或左右嘴角高度是否差距過大等。若有一項不符 合上述限定條件,則要求重新取得該第一特徵點或該第一人臉影像。
接下來,在每個第一特徵點周圍設計取樣模式以取得有利的複數個第一特徵資訊,並儲存該複數個第一特徵資訊(步驟s103),且更包括同時儲存該複數個第一特徵點與該複數個第一特徵點間的點間距。取樣模式進一步而言,該特徵資訊係為像素色彩資訊,且該像素色彩資訊係由每一個該特徵點輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,且該m與n係為正整數。或者是,該像素色彩資訊係由每一個該特徵點呈半圓輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,且該m與n係為正整數以及該半圓至少涵蓋一眼角。如圖二C所示,於本實施例以取樣模式的方法抓取特徵點之鄰近像素色彩資訊,同時記錄各特徵點之間的點間距。例如,由特徵點以半圓輻射擴散的方式向外延伸8個方向,並分別取7個點共56個色彩資訊當作此特徵點的特徵資訊,且該半圓至少完全涵蓋一眼角。或者是,如圖二D所示,於另一實施例,該取樣模式由特徵點以輻射擴散的方式向外延伸8個方向,並分別取7個點共56個色彩資訊當作此特徵點的特徵資訊。
接著,取得下一個畫面中之該第二人臉影像,並利用畫面比對判斷該人臉是否有動態移動(步驟s104)。其中於時間間隔內,比對該畫面與下一個該畫面中之人臉,並動態追蹤該複數個第一特徵點是否有移動軌跡。例如,於本實施例,該畫面與下一個該畫面像素以相減的方式比對在此時間間隔內移動的物體,若特徵點附近有明顯移動痕跡,表示人臉在這段時間有動作,則進行後續步驟與運算。反之,若人臉沒有動作,則不做後續追蹤處理。於另一實施例,亦可以一背景圖與該畫面相減的方式,比對在此時間間隔內移動的物體。或者是,藉由前後畫面像素差之特徵資訊中的白點(動點)數量決定目前影像中移動量的程度,若白點數量多,則表示人臉正在移動,則進行後續步驟與運算。反之,若特徵點附近沒有白點,表示人臉沒有明顯移動痕跡,則不作後續追蹤處理。
接著,應用一雜訊濾除法,以濾除下一個該畫面內的雜訊,以避免後面比對過程中受到雜訊干擾而提高失誤率,且該雜訊濾除法係為高斯模糊法、中值法與均值法之其中之一。
當前述有移動痕跡時,將進一步結合搜尋比對範圍並追蹤特徵資訊,進而取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵資訊(步驟s105),並且比對該第一人臉影像與該第二人臉影像的相對位置資訊差異,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置(步驟s106)。其中,至少預設一比對範圍,以比對該複數個第一特徵資訊與該複數個第二特徵資訊,並取該複數個第一特徵資訊與該複數個第二特徵資之間複數個誤差值,且排序該複數個誤差值,並取得前i個最小誤差值,進而取得該複數個第二特徵點的位置。於本實施例,根據二種不同的狀態而有不同的決定法:(1)搜尋狀態:當剛點選完特徵點第一次開始偵測時或追蹤失敗時會進入此狀態,在此狀態下,比對的範圍是靜態的,僅侷限在使用者初次點選特徵點的鄰近範圍內作比對,意即強迫使用者臉對到虛線框的位置,才有可能進入比對範圍。(2)追蹤狀態:在前一個畫面有成功比對到特徵點的情況下則為追蹤狀態,在此狀態下,比對的區域為上一個畫面中比對到的特徵點之鄰近區域,意即此區域是動態會跟著目前追到的特徵點移動的。且在比對的範圍內,會包含依設計的取樣模式取N個像素,每個像素會以取樣模式之方法來取得該像素點的臨近56個點,將這些點的RGB與YCbCr色彩資訊與起初錄的第一特徵資訊作比對,兩者誤差值為Error 1~Error N,將該這N個值作排序,取最小誤差的前i個像素為候選點,例如10個,且再作一次分群去除離群值,最後平均這些較集中的像素值座標,該結果即是最後追蹤結果。如果,若在N個點中找出的Error值都太大,則表示使用者移動程度已超出追蹤範圍,或有額外的遮蔽物出現在特徵點前,此時則判定追蹤失敗,不再進行後面的運算。
此外,於本實例更可進行一幾何計算,例如,根據該複數個第一特徵點與該複數個第二特徵點的位置,以斜率計算該人臉的傾斜度、根據該複數個第一特徵點間之距離與該複數個第二特徵點間之距離,以長度變化計算該人臉的遠近比例以及根據該複數個第一特徵點與該複數個第二特徵點的比例,以比例變化計算該人臉的旋轉角度與俯仰角度。若該人臉的傾斜度、遠近比例、旋轉角度或俯仰角度超過一預設容許值,則重新取得該第二人臉影像。如圖三A所示,根據該第一人臉影像中之兩眼兩側眼角點的座標位於水平軸,而該第二人臉影像之兩眼兩側眼角點座標則為上仰角度,因此,可以用斜率計算該人臉的傾斜度。如圖三B所示,根據該第一人臉影像中兩眼眼角間的距離D1與該第二人臉影像中兩眼眼角間的距離D2,以長度變化計算該人臉的遠近比例。如圖三C所示,根據該第一人臉影像中兩眼兩側眼角的比例1:1與該第二人臉影像中兩眼眼角的比例相比於該第一人臉影像中兩眼兩側眼角的比例為1.1:1或1.2:1,以比例變化計算該人臉的旋轉角度以及根據該第一人臉影像中兩眼與嘴巴位於水平軸,而該第二人臉影像中兩眼與嘴巴相較於該第一人臉影像中兩眼與嘴巴之比例為1:1.1,則以比例變化計算該人臉的俯仰角度。
接著,由一預設的眼鏡資料庫提取預設的一眼鏡模型,以合成於該複數個第二特徵點的位置(步驟s107),且根據該人臉的尺寸、該複數個第一特徵點與誤差值,以縮放與旋轉該眼鏡模型,進而合適地合成至該人臉,且該眼鏡資料庫用以儲存眼鏡模型的資料。如圖四所示,由上述步驟所計算出的三維空間資訊,即可將眼鏡模型智慧性地旋轉到符合目前使用者動向的位置,又由於人臉大小不同,需配合該複數的第一特徵點座標對眼鏡尺寸作縮放與旋轉,並合成於該人臉上。於此步驟後,可結束該方法,或者是繼續下一個搜尋與追蹤的步驟。於本實施例,該眼鏡模型係為一三維(3D)眼鏡模型,其製作方法可透過攝像裝置(例如,數位相機)由一實體眼鏡的正面、正左側面與正右側面三個方向個別取得該實體眼鏡的平面影像(如圖五A與五B所示),但不受限於此。或者是,將該實體眼鏡作正負90度之旋轉,以取得該實體眼鏡的正面、正左側面與正右側面三個平面影像。接著,將所取得的該三個平面影像應用影像合成軟體與硬體,將其組合成該三維眼鏡模型(如圖五C所示)。當該三維眼鏡模型製作完成後,亦可應用各種參數(例如,旋轉參數、色彩參數、比例參數與透明度參數等),用以調整該三維眼鏡的位置與顏色,或者是應用選項(例如,選擇正面視圖或左右側視圖)來欣賞該三維眼鏡模型(如圖五C所示)。於本實施例僅考慮不具有眼鏡鏡片之三維鏡框的製作,然而,熟悉此技藝人士皆應明瞭本發明應也可用於製作具有眼鏡鏡片之眼鏡模型。
圖六係顯示根據本發明之另一實施例之一隱形眼鏡虛擬試戴互動服務方法。本實施例與上述之實施例差異在於本實施例是以眼睛瞳孔為特徵點與結合取樣模式以取得特徵資訊,且適用於虛擬模擬試戴隱形眼鏡,而其餘方法與運算皆與上述實施例近似,故於本實例僅詳述這些差異處的細節,而與上述實施例近似之步驟與方法,則不再贅述。於本實施例之3D模擬方法包括:透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像(步驟s601)。對該第一人臉影像之眼睛瞳孔特徵處,取得複數個第一特徵點(步驟s602),且複數個第一特徵點包括左右眼的瞳孔以及嘴角兩側,例如,如圖七A中畫叉所示,於本實施例,手動點選該第一人臉影像之左右眼的瞳孔點以及嘴角兩側點,以分別所取得一或多個第一特徵點。在每個第一特徵點周圍取樣複數個第一特徵資訊,並儲存該複數個第一特徵資訊(步驟s603)。而於本實施例,判斷特徵點位置是否符合人臉邏輯的方式有左(右)眼的瞳孔是否在虛線框左(右)半邊、同一隻眼的瞳孔與兩側眼角否相隔一定間距、眼睛的瞳孔與左右嘴角高度是否差距過大等。若有一項不符合上述限定條件,則要求重新取得該第一特徵點或該第一人臉影像。
接著,取得下一個畫面中之該第二人臉影像,並判斷該人臉是否有動態移動(步驟s604),然後,搜尋比對範圍並追蹤特徵資訊,進而取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵資訊(步驟s605),且更包括同時儲存該複數個第一特徵點間的點間距。如圖七B所示,於本實施例以取樣的方法抓取特徵點之鄰近像素色彩資訊,同時記錄各特徵點之間的點間距,例如,由特徵點以輻射擴散的方式向外延伸8個方向,並分別取7個點共56個色彩資訊當作此特徵點的特徵資訊。比對該第一人臉影像與該第二人臉影像,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置(步驟s606),例如,根據該第一人臉影像中之瞳孔點的座標位於水平軸,而該第二人臉影像瞳孔點座標則為上仰角度,因此,可以用斜率計算該人臉的傾斜度。例如,根據該第一人臉影像中兩眼瞳孔間的距離與該第二人臉影像中兩眼瞳孔間的距離,以長度變化計算該人臉的遠近比例。例如,根據該第一人臉影像中兩眼瞳孔與該第二人臉影像中兩眼瞳孔之比例,以比例變化計算該人臉的旋轉角度以及根據該第一人臉影像中兩眼瞳孔與嘴巴與而該第二人臉影像中兩眼瞳孔與嘴巴間之比例,相較於該第一人臉影像中兩眼與嘴巴之比例,以比例變化計算該人臉的旋轉角度與俯仰角度。若該人臉的傾斜度、遠近比例、旋轉角度或俯仰角度超過一預設容許值,則重新取得該第二人臉影像。以及將預設的一隱形眼鏡模型合成於該複數個第二特徵點的位置(步驟607),且根據該人臉的尺寸與該複數個第一特徵點,以縮放與旋轉該眼鏡模型,進而合適地合成至該人臉。於此步驟後,可結束該方法,或者是繼續下一個搜尋與追蹤的步驟。
圖八係顯示根據本發明之一實施例之一眼鏡虛擬試戴互動服務系統。該系統包括:一擷取單元81、一處理單元82、一分析單元83與一合成單元84。該擷取單元81透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像,且該擷取單元81係可為一攝影裝置,例如,網路攝影機等。該處理單元82,耦接該擷取單元81,對該第一人臉影像之眼睛特徵處如兩側眼角,取得複數個第一特徵點,且在每個第一特徵點周圍依取樣模式取樣複數個第一特徵資訊,並儲存該複數個第一特徵資訊,且取得下一個畫面中之該第二人臉影像,並判斷該人臉是否有動態移動,且取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵資訊,且複數個第一特徵點包括但不限於左右眼的兩側眼角以及嘴角兩側。且處理單元82更包括根據複數個第一特徵點,以判斷該該第一人臉影像是否符合人臉邏輯,若否,則重新取得該第一人臉影像。若是,則進行下一步動作,該處理單元82更包括應用一搜尋運算,以判斷該複數個第一特徵點是否位於該框架內,若否,則重新取得該第一人臉影像,若是,則進行下一步動作。上述取樣模式之該特徵資訊係為像素色彩資訊,且該處理單元82係由每一個該特徵點輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,其中該m與n係為正整數。或者是,該處理單元82由每一個該特徵點呈半圓輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,且該半圓至少涵蓋一眼角,其中該m與n係為正整數。
該分析單元83,耦接該處理單元82,用以比對該第一人臉影像與該第二人臉影像的相對位置資訊之差異,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置。該分析單元83於時間間隔內,比對該畫面與下一個該畫面中之人臉,並追蹤該複數個第一特徵點是否有移動軌跡,並應用一雜訊濾除法,以濾除下一個該畫面內的雜訊,且該雜訊濾除法係為高斯模糊法、中值法與均值法之其中之一。該分析單元更用於預設至少一比對範圍,以比對該複數個第一特徵資訊與該複數個第二特徵資訊,並取該複數個第一特徵資訊與該複數個第二特徵資之間複數個誤差值,且排序該複數個誤差值,並取得前i個最小誤差值,進而取得該複數個第二特徵點的位置,上述之i係為正整數。該分析單元根據該複數個第一特徵點與該複數個第二特徵點的位置,以斜率計算該人臉的傾斜度、根據該複數個第一特徵點間之距離與該複數個 第二特徵點間之距離,以長度變化計算該人臉的遠近比例以及根據該複數個第一特徵點與該複數個第二特徵點的比例,以比例變化計算該人臉的旋轉角度與俯仰角度,且若該人臉的傾斜度、遠近比例、旋轉角度或俯仰角度超過一預設容許值,則重新取得該第二人臉影像。合成單元84,耦接該分析單元83,由一預設的眼鏡資料庫85提取預設的一眼鏡模型並將預設的該眼鏡模型合成於該複數個第二特徵點的位置,且該合成單元根據該人臉的尺寸與該複數個第一特徵點,以縮放與旋轉該眼鏡模型,進而合成至該人臉。於本實例之眼鏡試戴虛擬模擬系統,透過適當的修改操作與步驟亦可適用於隱形眼鏡虛擬試戴互動服務系統。
唯以上所述者,僅為本發明之較佳實施例而已,當不能以之限定本發明所實施之範圍,即大凡依本發明申請專利範圍所作之均等變化與修飾,皆應仍屬於本發明專利涵蓋之範圍內,謹請 貴審查委員明鑑,並祈惠准,是所至禱。
步驟s101~s107
步驟s601~s607
81...影像擷取單元
82...處理單元
83...分析單元
84...合成單元
85...眼鏡資料庫
圖一係顯示根據本發明之一實施例之一種眼鏡虛擬試戴互動服務方法;
圖二A、B、C、D係顯示根據圖一方法之操作手段;
圖三A、B、C係顯示人臉的傾斜、轉動與移動角度;
圖四係顯示眼鏡合成人臉的狀態示意圖;
圖五A、B、C係顯示根據本發明之一實施例之一三維眼鏡製作方法;
圖六係顯示根據本發明之另一實施例之一種隱形眼鏡虛擬試戴互動服務方法;
圖七A、B係顯示根據圖六方法之操作手段;
圖八係顯示根據本發明之一實施例之一種眼鏡虛擬試戴互動服務系統。
步驟s101~s107

Claims (41)

  1. 一種眼鏡虛擬試戴互動服務方法,包括:透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像;於眼睛特徵處,依取樣模式取得複數個第一特徵點與特徵資訊並儲存該複數個第一特徵資訊與該複數個第一特徵點間的點間距;用動態影像判斷與搜尋追蹤該特徵資訊取得下一個畫面中之一第二人臉影像,並取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵資訊;比對該第一人臉影像與該第二人臉影像的相對位置資訊之差異,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置;以及將預設的一眼鏡模型合成於該複數個第二特徵點的位置。
  2. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,其中該複數個第一特徵點包括左右眼的兩側眼角。
  3. 如申請專利範圍第2項所述之眼鏡虛擬試戴互動服務方法,其中該複數個第一特徵點更包括嘴角兩側。
  4. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,更包括:根據該複數個第一特徵點,以判斷該該第一人臉影像是否符合人臉邏輯,若否,則重新取得該第一人臉影像或該複數個第一特徵點。
  5. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,更包括:應用一搜尋運算,以判斷該複數個第一特徵點是否位於該框架內,若否,則重新取得該第一人臉影像或該複數個第一特徵點。
  6. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,其中該特徵資訊係為像素色彩資訊。
  7. 如申請專利範圍第6項所述之眼鏡虛擬試戴互動服務方法,其中該像素色彩資訊係由每一個特徵點輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,且該m與n係為正整數。
  8. 如申請專利範圍第6項所述之眼鏡虛擬試戴互動服務方法,其中該像素色彩資訊係由每一個特徵點呈半圓輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,且該m與n係為正整數以及該半圓至少涵蓋一眼角。
  9. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,更包括:於時間間隔內,比對該畫面與下一個該畫面中之人臉,並動態追蹤該複數個第一特徵點是否有移動軌跡。
  10. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,更包括:應用一雜訊濾除法,以濾除下一個該畫面內的雜訊。
  11. 如申請專利範圍第10項所述之眼鏡三維試戴互動服務方法,其中該雜訊濾除法係為高斯模糊法、中值法與均值法之其中之一。
  12. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,更包括:預設一比對範圍,以比對該複數個第一特徵資訊與該複數個第二特徵資訊,並取該複數個第一特徵資訊與該複數個第二特徵資之間複數個誤差值,且排序該複數個誤差值,並取得前i個最小誤差值,進而取得該複數個第二特徵點的位置。
  13. 如申請專利範圍第1項所述之眼鏡虛擬互動服務方法,更包括:根據該複數個第一特徵點與該複數個第二特徵點的位置,以斜率計算該人臉的傾斜度。
  14. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,更包括:根據該複數個第一特徵點間之距離與該複數個第二特徵點間之距離,以長度變化計算該人臉的遠近比例。
  15. 如申請專利範圍第1項所述之眼鏡虛擬試戴互動服務方法,更包括:根據該複數個第一特徵點與該複數個第二特徵點的比例,以比例變化計算該人臉的旋轉角度與俯仰角度。
  16. 如申請專利範圍第13、14或15項所述之眼鏡虛擬試戴互動服務方法,更包括:若該人臉的傾斜度、遠近比例、旋轉角度或俯仰角度超過一預設容許值,則重新取得該第二人臉影像。
  17. 如申請專利範圍第1項所述之眼鏡虛擬互動服務方法,更包括: 根據該人臉的尺寸與該複數個第一特徵點,以縮放與旋轉該眼鏡模型,進而合成至該人臉。
  18. 如申請專利範圍第1項所述之眼鏡虛擬互動服務方法,其中該眼鏡模型係為一三維眼鏡模型。
  19. 如申請專利範圍第18項所述之眼鏡三維虛擬互動服務方法,更包括:透過一攝像裝置,由至少三個方向拍攝一實體眼鏡,並取得該三個方向之平面影像;以及組合該三個方向之平面影像,以取得該三維眼鏡模型。
  20. 一種眼鏡虛擬試戴互動服務系統,包括:一擷取單元,透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像;一處理單元,耦接該擷取單元,係於眼睛特徵處,依取樣模式取得複數個第一特徵點與特徵資訊並儲存該複數個第一特徵資訊與該複數個第一特徵點間的點間距,且利用動態影像判斷與搜尋追蹤特徵資訊取得下一個畫面中之一第二人臉影像,並取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵資訊;一分析單元,耦接該處理單元,用以比對該第一人臉影像與該第二人臉影像的相對位置資訊之差異,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置;一合成單元,耦接該分析單元,將預設的一眼鏡模型合成於該複數個第二特徵點的位置;以及 一眼鏡資料庫,該資料庫儲存眼鏡模型的資料。
  21. 如申請專利範圍第20項所述之眼鏡虛擬試戴互動服務系統,其中該擷取單元係可為一攝影裝置。
  22. 如申請專利範圍第20項所述之眼鏡虛擬試戴互動服務系統,其中該複數個第一特徵點包括左右眼的兩側眼角。
  23. 如申請專利範圍第22項所述之眼鏡虛擬試戴互動服務系統,其中該複數個第一特徵點更包括嘴角兩側。
  24. 如申請專利範圍第20項所述之眼鏡虛擬試戴互動服務系統,其中該處理單元更包括根據複數個第一特徵點,以判斷該該第一人臉影像是否符合人臉邏輯,若否,則重新取得該第一人臉影像或該複數個第一特徵點。
  25. 如申請專利範圍第20項所述之眼鏡虛擬試戴互動服務系統,其中該處理單元更包括應用一搜尋運算,以判斷該複數個第一特徵點是否位於該框架內,若否,則重新取得該第一人臉影像或該複數個第一特徵點。
  26. 如申請專利範圍第20項所述之眼鏡虛擬試戴互動服務系統,其中該特徵資訊係為像素色彩資訊,且該處理單元係由每一個該特徵點輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,其中該m與n係為正整數。
  27. 如申請專利範圍第20項所述之眼鏡虛擬試戴互動服務系統,其中該特徵資訊係為像素色彩資訊,且該處理單元由每一個該特徵點呈半圓輻射出m個方向,並在每 一個方向上取得n個像素點,以作為色彩資訊,且該半圓至少涵蓋一眼角,其中該m與n係為正整數。
  28. 如申請專利範圍第20項所述之眼鏡虛擬試戴互動服務系統,其中該分析單元於時間間隔內,比對該畫面與下一個該畫面中之人臉,並追蹤該複數個第一特徵點是否有移動軌跡,並應用一雜訊濾除法,以濾除下一個該畫面內的雜訊。
  29. 如申請專利範圍第28項所述之眼鏡虛擬試戴互動服務系統,其中該雜訊濾除法係為高斯模糊法、中值法與均值法之其中之一。
  30. 如申請專利範圍第20項所述之之眼鏡虛擬試戴互動服務系統,其中該分析單元預設一比對範圍,以比對該複數個第一特徵資訊與該複數個第二特徵資訊,並取該複數個第一特徵資訊與該複數個第二特徵資之間複數個誤差值,且排序該複數個誤差值,並取得前i個最小誤差值,進而取得該複數個第二特徵點的位置。
  31. 如申請專利範圍第20項所述之之眼鏡虛擬試戴互動服務系統,其中該分析單元根據該複數個第一特徵點與該複數個第二特徵點的位置,以斜率計算該人臉的傾斜度、根據該複數個第一特徵點間之距離與該複數個第二特徵點間之距離,以長度變化計算該人臉的遠近比例以及根據該複數個第一特徵點與該複數個第二特徵點的比例,以比例變化計算該人臉的旋轉角度與俯仰角度,且若該人臉的傾斜度、遠近比例、旋轉角度或俯仰角度超過一預設容許值,則重新取得該第二人臉影像。
  32. 如申請專利範圍第20項所述之之眼鏡虛擬試戴互動服務系統,其中該合成單元根據該人臉的尺寸與該複數個第一特徵點,以縮放與旋轉該眼鏡模型,進而合成至該人臉。
  33. 一種眼鏡虛擬試戴互動服務方法,包括:透過一畫面內之一框架以定位一人臉,並取得一第一人臉影像;於眼睛瞳孔特徵處,依取樣模式取得複數個第一特徵點與複數個特徵資訊並儲存該複數個第一特徵資訊與該複數個第一特徵點間的點間距;利用動態影像判斷與搜尋追蹤特徵資訊取得下一個畫面中之一第二人臉影像,並取得該第二人臉影像內複數個第二特徵點,進而取得複數個第二特徵資訊;比對該第一人臉影像與該第二人臉影像的相對位置資訊之差異,以判斷該人臉的位置、移動狀態與縮放比例,進而計算出該複數個第二特徵點的位置;以及將預設的一隱形眼鏡模型合成於該複數個第二特徵點的位置。
  34. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,其中該複數個第一特徵點更包括嘴角兩側。
  35. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,更包括:根據複數個第一特徵點,以判斷該該第一人臉影像是否符合人臉邏輯,若否,則重新取得該第一人臉影像或該複數個第一特徵點。
  36. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,更包括:應用一搜尋運算,以判斷該複數個第一特徵點是否位於該框架內,若否,則重新取得該第一人臉影像或該複數個第一特徵點。
  37. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,其中該特徵資訊係為像素色彩資訊,且該像素色彩資訊係由每一個該特徵點輻射出m個方向,並在每一個方向上取得n個像素點,以作為色彩資訊,且該m與n係為正整數。
  38. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,更包括:於時間間隔內,比對該畫面與下一個該畫面中之人臉,並動態追蹤該複數個第一特徵點是否有移動軌跡,並應用一雜訊濾除法,以濾除下一個該畫面內的雜訊。
  39. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,更包括:預設一比對範圍,以比對該複數個第一特徵資訊與該複數個第二特徵資訊,並取該複數個第一特徵資訊與該複數個第二特徵資之間複數個誤差值,且排序該複數個誤差值,並取得前i個最小誤差值,進而取得該複數個第二特徵點的位置。
  40. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,更包括:根據該複數個第一特徵點與該複數個第二特徵點的 位置,以斜率計算該人臉的傾斜度、根據該複數個第一特徵點間之距離與該複數個第二特徵點間之距離,以長度變化計算該人臉的遠近比例以及根據該複數個第一特徵點與該複數個第二特徵點的比例,以比例變化計算該人臉的旋轉角度與俯仰角度,且若該人臉的傾斜度、遠近比例、旋轉角度或俯仰角度超過一預設容許值,則重新取得該第二人臉影像。
  41. 如申請專利範圍第33項所述之眼鏡虛擬試戴互動服務方法,更包括:根據該人臉的尺寸與該複數個第一特徵點,以縮放與旋轉該眼鏡模型,進而合成至該人臉。
TW100112053A 2011-04-07 2011-04-07 眼鏡虛擬試戴互動服務系統與方法 TWI433049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100112053A TWI433049B (zh) 2011-04-07 2011-04-07 眼鏡虛擬試戴互動服務系統與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100112053A TWI433049B (zh) 2011-04-07 2011-04-07 眼鏡虛擬試戴互動服務系統與方法

Publications (2)

Publication Number Publication Date
TW201241781A TW201241781A (en) 2012-10-16
TWI433049B true TWI433049B (zh) 2014-04-01

Family

ID=47600174

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100112053A TWI433049B (zh) 2011-04-07 2011-04-07 眼鏡虛擬試戴互動服務系統與方法

Country Status (1)

Country Link
TW (1) TWI433049B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI501751B (zh) * 2013-01-31 2015-10-01 Univ Southern Taiwan Sci & Tec 視力測驗系統
TWI492174B (zh) * 2013-02-23 2015-07-11 南臺科技大學 雲端體感虛擬實境配戴眼鏡系統
TW201445457A (zh) * 2013-05-29 2014-12-01 Univ Ming Chuan 虛擬眼鏡試戴方法及其裝置
US9867533B2 (en) * 2015-04-02 2018-01-16 Coopervision International Holding Company, Lp Systems and methods for determining an angle of repose of an asymmetric lens
US10825260B2 (en) 2019-01-04 2020-11-03 Jand, Inc. Virtual try-on systems and methods for spectacles
KR20230002738A (ko) 2020-04-15 2023-01-05 와비 파커 인코포레이티드 참조 프레임을 사용하는 안경용 가상 시착 시스템
CN112418138B (zh) * 2020-12-04 2022-08-19 兰州大学 一种眼镜试戴系统

Also Published As

Publication number Publication date
TW201241781A (en) 2012-10-16

Similar Documents

Publication Publication Date Title
US11495002B2 (en) Systems and methods for determining the scale of human anatomy from images
US11616919B2 (en) Three-dimensional stabilized 360-degree composite image capture
TWI433049B (zh) 眼鏡虛擬試戴互動服務系統與方法
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN109288333B (zh) 捕获和显示外观的装置、系统和方法
JP4473754B2 (ja) 仮想試着装置
JP2017517794A (ja) 画像処理方法および画像処理装置
CN104881526B (zh) 一种基于3d的物品穿戴方法及眼镜试戴方法
Im et al. High quality structure from small motion for rolling shutter cameras
GB2464453A (en) Determining Surface Normals from Three Images
JP2016091553A (ja) 画像から自動化されたテクスチャリングマッピングおよびアニメーション
CN102867321A (zh) 眼镜虚拟试戴互动服务系统与方法
CN110986768B (zh) 一种用于目标物3d信息高速采集测量设备
US20210264684A1 (en) Fitting of glasses frames including live fitting
CN111340959B (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
JP2017194301A (ja) 顔形状測定装置及び方法
KR20190019059A (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
JP2022133133A (ja) 生成装置、生成方法、システム、およびプログラム
Tang et al. Making 3D eyeglasses try-on practical
CN113115024B (zh) 一种3d信息采集设备
US20220395176A1 (en) System and method for digital optician measurements
CN111121620B (zh) 一种旋转式3d信息快速采集设备
EP4227731A1 (en) Method and mobile device for determining a visual point of a person
CN117882031A (zh) 用于进行对象的数字测量的系统和方法
Yacoub Quality evaluation for stitched panoramic videos