TW201445457A - 虛擬眼鏡試戴方法及其裝置 - Google Patents

虛擬眼鏡試戴方法及其裝置 Download PDF

Info

Publication number
TW201445457A
TW201445457A TW102118866A TW102118866A TW201445457A TW 201445457 A TW201445457 A TW 201445457A TW 102118866 A TW102118866 A TW 102118866A TW 102118866 A TW102118866 A TW 102118866A TW 201445457 A TW201445457 A TW 201445457A
Authority
TW
Taiwan
Prior art keywords
image
point
glasses
eye
area
Prior art date
Application number
TW102118866A
Other languages
English (en)
Other versions
TWI506564B (zh
Inventor
Chao-He Xie
Wan-Yu Huang
Zheng-Sheng Ye
Original Assignee
Univ Ming Chuan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Ming Chuan filed Critical Univ Ming Chuan
Priority to TW102118866A priority Critical patent/TW201445457A/zh
Priority to US13/922,408 priority patent/US8919955B2/en
Publication of TW201445457A publication Critical patent/TW201445457A/zh
Application granted granted Critical
Publication of TWI506564B publication Critical patent/TWI506564B/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本發明係提供一種虛擬眼鏡試戴方法及其裝置,其包含:一影像擷取單元,其係擷取一使用者影像;一處理裝置,其係由該使用者影像偵測一臉部影像;且該處理裝置係儲存至少一眼鏡模型,並於所述眼鏡模型分別於其之其一鏡片界定第一特徵點,於其鏡架中心界定第二特徵點,並由第一特徵點及第二特徵點之垂直向量求得一第三特徵點;該處理裝置係於該臉部影像搜尋二眼部影像後,將所述眼部影像二值化形成一二值化圖像,並予以劃分為眼部區域及非眼部區域;並於該眼部區域中最左右兩端之第一極值及第二極值間求得一中心點,並取該第一極值與該中心點之垂直向量求得一範例點;將其一所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,分別對應該第一極值、中心點及範例點進行仿射變換並貼合於該臉部影像,以形成一試戴影像;藉之,本發明係擷取並搜尋臉部及眼部之影像,以隨時獲取其位置及方向,並可依照使用者的臉部大小及眼部位置以自動調整眼鏡模型之位置及角度,使眼鏡模型可隨時且確實貼合於臉部影像之正確位置,令使用者可自行虛擬試戴眼鏡,以利挑選其合適之眼鏡者。

Description

虛擬眼鏡試戴方法及其裝置
本發明係提供一種虛擬眼鏡試戴方法及其裝置,尤指一種將眼鏡模型依臉部大小及眼部位置,予以貼合於臉部影像之正確位置者。
按,隨科技發展,人們對於生活品質之要求亦逐漸上升,因此造就人們求新求變之思維,故眼鏡不僅係用以輔助近視、散光或老花,將眼鏡作為飾品業已日漸成為趨勢,故眼鏡之種類及式樣亦逐漸提升;而習知於選配眼鏡時,若使用者人數過多而致服務人員即無法即時予以服務,此將造成使用者須長時間等候之困擾;此外,網路購物近年來非常蓬勃發展,但眼鏡購買者往往只能觀看眼鏡圖片,無法現場試戴,缺乏真實感。
因此,習知提供一種如clearlycontacts眼鏡網站線上試戴服務,其係提供複數臉部畫面及眼鏡模型,亦可自行上傳臉部畫面,並選定其眼睛位置,令眼鏡模型貼合於臉部畫面;然而,其僅能於單一之固定視角下進行試戴,無法提供各臉部角度下之試戴畫面予以查看,故亦無法呈現使用者實際配戴情形。
習知另提供一種如megane SUPER網站線上眼鏡試戴服務,其係提供二臉部模型及眼鏡模型,亦可透過使用者自行上傳照片,以透過影像編輯校正,令照片形成臉部模型,使用者可自行予以選配眼鏡模型,以令眼鏡模型貼合於臉部模型者,此外,眼鏡模型可據以調整其大小,度數及位置等參數,且臉部模型及眼鏡模型可隨滑鼠游標方向轉動,以令使用者可觀察其配戴眼鏡後各角度之態樣;惟其自行上傳照片具有諸多限制,並非所有照片皆能進行影像編輯校正而形成臉部模型;透過因其係利用影像編輯校正形成之臉部模型,故臉部模型可旋轉之角度受限,所呈現之臉部影像亦不真實,故其仍無法呈現使用者實際配戴情形。
而習知另提供一種如DITTO網站線上試戴眼鏡服務,其係使用者須依網頁指示,拍攝一水平轉動臉部之影片,方將眼鏡模型貼合於影片中之臉部;惟此,其影片錄製容易失敗,操作過程繁雜不便,且並無法即時呈現使用者試戴之影像,此外,其角度僅接納水平轉動之臉部影片,故若係使用者呈抬頭或低頭姿勢,則無法觀看試戴影像。
有鑑於此,吾等發明人乃潛心進一步研究虛擬眼鏡之試戴,並著手進行研發及改良,期以一較佳設作以解決上述問題,且在經過不斷試驗及修改後而有本發明之問世。
為達致以上目的,吾等發明人提供一種虛擬眼鏡試戴方法,其步驟包含:於至少一眼鏡模型分別於其之其一鏡片界定第一特徵點,於其鏡架中心界定第二特徵點,並由第一特徵點及第二特徵點之垂直向量求得一第三特徵點;擷取一使用者影像,並由該使用者影像偵測一臉部影像;於臉部影像搜尋二眼部影像;將所述眼部影像二值化,形成一二值化圖像,並劃分為眼部區域及非眼部區域;定義該眼部區域中,位於最左右兩端之點者為第一極值及第二極值,並於該第一極值及第二極值間求得一中心點;取該第一極值與該中心點之垂直向量,求得一範例點;以及將其一所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,分別對應該第一極值、中心點及範例點進行仿射變換並貼合於該臉部影像,以形成一試戴影像。
據上所述之虛擬眼鏡試戴方法,其中,該使用者影像及該試戴影像皆為連續動態影像;所述眼鏡模型係對應貼合於該使用者影像之每一畫面以形成該試戴影像;且每一畫面所需仿射變換之矩陣,係由所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,以及每一畫面中,該臉部影像之第一極值、中心點及範例點估算而得者。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:於使用者影像中偵測出臉部影像,並將臉部影像以一矩形區域涵蓋者。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:於該矩形區域以十字劃分為四等分,並定義位於上部之二等分者為特徵區域;以及於該特徵區域搜尋所述眼部影像者。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:於臉部影像搜尋二眼部特徵區域,並將所述眼部特徵區域之起始座標向下平移該眼部特徵區域二分之一之高度,並將所述眼部特徵區域之高度降低二分之一,藉以求得所述眼部影像者。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:將所述眼部影像由RGB色彩空間轉換為灰階影像;以及界定一閥值,令灰階影像對比該閥值以形成該二值化圖像。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:建立一眼鏡資料庫,並於該眼鏡資料庫儲存所述眼鏡模型。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:建立一使用者介面;以及於該使用者介面界定一選取區域及成像區域;該選取區域係對應呈現所述眼鏡模型之選單,而該成像區域係對應呈現該使用者影像;待選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
據上所述之虛擬眼鏡試戴方法,其中,該選取區域為滾動式選單。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:擷取一手部影像;將該手部影像二值化為一二值化手部圖像,並於該二值化手部圖像界定一手部區域及一非手部區域;定義該手部區域之最高點為選取點;以及待該選取點選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
據上所述之虛擬眼鏡試戴方法,更包含子步驟:將該手部影像由RGB色彩空間轉換為YCbCr色彩空間;界定一Cr值及一Cb值;以及將該手部影像對比該Cr值及Cb值以形成該二值化手部圖像。
據上所述之虛擬眼鏡試戴方法,其中,該Cr值及一Cb值係藉由藉由一膚色區間值予以界定者。
本發明另提供一種虛擬眼鏡試戴裝置,其包含:一影像擷取單元,其係擷取一使用者影像;以及,一處理裝置,其耦接於該影像擷取單元,該處理裝置係由該使用者影像偵測一臉部影像;且該處理裝置係儲存至少一眼鏡模型,並於所述眼鏡模型分別於其之其一鏡片界定第一特徵點,於其鏡架中心界定第二特徵點,並由第一特徵點及第二特徵點之垂直向量求得一第三特徵點;該處理裝置係於該臉部影像搜尋二眼部影像後,將所述眼部影像二值化形成一二值化圖像,並予以劃分為眼部區域及非眼部區域;並於該眼部區域中最左右兩端之第一極值及第二極值間求得一中心點,並取該第一極值與該中心點之垂直向量求得一範例點;將其一所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,分別對應該第一極值、中心點及範例點進行仿射變換並貼合於該臉部影像,以形成一試戴影像。
據上所述之虛擬眼鏡試戴裝置,其中,該使用者影像及該試戴影像皆為連續動態影像;所述眼鏡模型係對應貼合於該使用者影像之每一畫面以形成該試戴影像;且每一畫面所需仿射變換之矩陣,係由所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,以及每一畫面中,該臉部影像之第一極值、中心點及範例點估算而得者。
據上所述之虛擬眼鏡試戴裝置,其中,該處理裝置更設有一眼鏡資料庫,且該眼鏡資料庫係儲存所述眼鏡模型。
據上所述之虛擬眼鏡試戴裝置,更包含一顯示單元,其耦接於該處理裝置,該處理裝置設有一使用者介面,該顯示單元係對應顯示該使用者介面;且該使用者介面設有一選取區域及成像區域;該選取區域係對應呈現所述眼鏡模型之選單,而該成像區域係對應呈現該使用者影像。
據上所述之虛擬眼鏡試戴裝置,其中,該選取區域為滾動式選單。
據上所述之虛擬眼鏡試戴裝置,其中,該影像擷取單元更擷取一手部影像,且將該手部影像二值化為一二值化手部圖像,並於該二值化手部圖像界定一手部區域及一非手部區域,並取該手部區域之最高點為選取點,待該選取點選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
據上所述之虛擬眼鏡試戴裝置,更包含一輸入單元,其耦接於該處理裝置,該輸入單元係操控選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
據上所述之虛擬眼鏡試戴裝置,其中,該輸入單元為鍵盤、滑鼠或手指虛擬觸控裝置。
藉由上述設置,本發明之使用者影像及該試戴影像皆為連續動態影像,所述眼鏡模型係對應貼合於該使用者影像之每一畫面以形成試戴影像,故使用者可隨其臉部之移動或轉動,而立即觀看其試戴影像,以提升本發明操作時之便利性,且本發明透過於所述眼鏡模型界定第一特徵點、第二特徵點及第三特徵點,而透過二值化圖像之眼部區域中,取該第一極值與該中心點之垂直向量以求得之範例點,令眼鏡模型之第一特徵點、第二特徵點及第三特徵點,分別對應該第一極值、中心點及範例點進行仿射變換並貼合於該臉部影像,使眼鏡模型確實可依照使用者臉部之大小與角度,及眼部之位置與角度,予以即時調整眼鏡模型之旋轉角度,令眼鏡模型可精確貼合於臉部影像;且透過於該臉部影像以十字劃分為四等分,並由上部之二等分之特徵區域搜尋所述眼部影像,使增進搜尋眼部影響之效率,以降低延遲;此外,本發明除可藉由輸入單元,諸如:鍵盤、滑鼠,進行眼鏡模型選取之外,亦可透過手部影像,以遠端進行選定眼鏡模型,使更提升本發明於操控時便利性及適用性者。
關於吾等發明人之技術手段,茲舉數種較佳實施例配合圖式於下文進行詳細說明,俾供  鈞上深入了解並認同本發明。
請先參閱圖1至圖15所示,其係本發明之第一實施例,本發明係一種虛擬眼鏡試戴裝置,其包含:
一影像擷取單元1,其係擷取一使用者影像2;以及,
一處理裝置3,其耦接於該影像擷取單元1,該處理裝置3係由該使用者影像2偵測一臉部影像;且該處理裝置3係儲存至少一眼鏡模型4,並於所述眼鏡模型4分別於其之其一鏡片界定第一特徵點41,於其鏡架中心界定第二特徵點42,並由第一特徵點41及第二特徵點42之垂直向量求得一第三特徵點43;該處理裝置3係於該臉部影像搜尋二眼部影像22後,將所述眼部影像22二值化形成一二值化圖像23,並予以劃分為眼部區域231及非眼部區域232;並於該眼部區域231中最左右兩端之第一極值233及第二極值234間求得一中心點235,並取該第一極值233與該中心點235之垂直向量求得一範例點236;將其一所述眼鏡模型4之第一特徵點41、第二特徵點42及第三特徵點43,分別對應該第一極值233、中心點235及範例點236進行仿射變換並貼合於該臉部影像,以形成一試戴影像5;該使用者影像2及該試戴影像5皆為連續動態影像;所述眼鏡模型4係對應貼合於該使用者影像2之每一畫面以形成該試戴影像5;每一畫面所需仿射變換之矩陣,係由所述眼鏡模型4之第一特徵點41、第二特徵點42及第三特徵點43,以及每一畫面中,該臉部影像之第一極值233、中心點235及範例點236估算而得者。
一顯示單元6,其耦接於該處理裝置3,該處理裝置3設有一使用者介面7,該顯示單元6係對應顯示該使用者介面7;且該使用者介面7設有一選取區域71及成像區域72;該選取區域71係對應呈現所述眼鏡模型4之選單,而該成像區域72係對應呈現該使用者影像2,該選取區域71為滾動式選單;該影像擷取單元1更擷取一手部影像8,且將該手部影像8二值化為一二值化手部圖像81,並於該二值化手部圖像81界定一手部區域811及一非手部區域812,並取該手部區域811之最高點為選取點813,待該選取點813選定該選取區域71內之其一所述眼鏡模型4時,該成像區域72係對應呈現該試戴影像5。
請參閱圖1所示,本發明係提供一種虛擬眼鏡試戴方法,其步驟包含:
請參閱圖2所示,建立一眼鏡資料庫,並於該眼鏡資料庫儲存至少一眼鏡模型4,於至少一眼鏡模型4分別於其之其一鏡片界定第一特徵點41,於其鏡架中心界定第二特徵點42,並由第一特徵點41及第二特徵點42之垂直向量求得一第三特徵點43;
如圖3所示,建立一使用者介面7;並於該使用者介面7界定一選取區域71及成像區域72;該選取區域71係對應呈現所述眼鏡模型4之選單,該選取區域71為滾動式選單,舉例而言,可將選取區域71分為六個區塊711,最上端之區塊711a及最下端之區塊711b為選單切換鈕,其餘區塊711c則係置放相異之眼鏡模型4,而該最上端之區塊711a及最下端之區塊711b係切換區塊711c內呈現之眼鏡模型4,而該成像區域72係對應呈現該使用者影像2,為並不以此作為限定;
如圖4及圖5所示,藉由影像擷取單元1擷取一使用者影像2,該使用者影像2為連續動態影像,並可使用openCV(Open Source Computer Vision Library)之人臉偵測器以偵測並偵測臉部影像,並將臉部影像以一矩形區域21涵蓋者,該人臉偵測器以Haar feature做為辨識特徵,且使用Cascade Adaboost分類器,作為人臉特徵學習機制,訓練該人臉分類器;
如圖6所示,於該矩形區域21以十字劃分為四等分,並定義位於上部之二等分者為特徵區域211,並於該特徵區域211之範圍內,以Haar feature作為辨識特徵,且使用Cascade Adaboost分類器訓練出左眼偵測器及右眼偵測器,以偵測眼部之位置,並由特徵區域211中搜尋二眼部特徵區域212,進而搜尋二眼部影像22,意即,搜尋臉部中左眼及右眼之範圍,並藉由從特徵區域211搜尋眼部影像22,以提高眼部搜尋之精確度及速度;並如圖6及圖7所示,設眼部特徵區域212之高度為h,於眼部特徵區域212之起始座標向下平移該眼部特徵區域212二分之一之高度,即定義新座標為,並將所述眼部特徵區域212之高度h降低二分之一而成為,藉以求得眼部影像22,藉以將眼部之眉毛部分由眼部特徵區域212中移除;
如圖8至圖9所示,將所述眼部影像22由RGB色彩空間轉換為灰階影像,並界定一閥值(threshold),今灰階影像對比該閥值,將所述眼部影像22二值化,形成一二值化圖像23,並劃分為眼部區域231及非眼部區域232;並定義該眼部區域231中,位於最左右兩端之點者為第一極值233及第二極值234,藉以求得左眼及右眼外側眼角之位置,並於該第一極值233及第二極值234間求得一中心點235;
如圖10所示,取該第一極值233與該中心點235之垂直向量,求得一範例點236,假設第一極值233之座標為;而中心點235之座標為;該範例點236之座標為;則範例點236概如下列數學式1:
藉此,如圖11所示,本發明於各式角度之臉部影像下,仍可隨之定義或求得第一極值233、中心點235及範例點236;
如圖12所示,待該選定該選取區域71內之其一所述眼鏡模型4時,將該區塊711內所呈現之眼鏡模型4之第一特徵點41、第二特徵點42及第三特徵點43,分別對應該第一極值233、中心點235及範例點236進行仿射變換;舉例而言,若由座標仿射變換為座標,則其概如下列數學式2至數學式5:
其中,A為n×n階實矩陣;而b為n維實向量;h為仿射變換矩陣;藉由仿射變換矩陣即可求得a、b、c、d、e及f,故假設第一特徵點41、第二特徵點42及第三特徵點43之座標分別為,而第一極值233、中心點235及範例點236之座標分別為,因此,將眼鏡模型4之第一特徵點41、第二特徵點42及第三特徵點43代入下列數學式6:
即可將眼鏡模型4仿射變換為臉部影像中第一極值233、中心點235及範例點236之角度及位置,藉使眼鏡模型4可精確貼合於臉部影像,以形成一試戴影像5,並於該成像區域72呈現該試戴影像5,該試戴影像5為連續動態影像,所述眼鏡模型4係對應貼合於該使用者影像2之每一畫面以形成該試戴影像5,且每一畫面所需仿射變換之矩陣,係由所述眼鏡模型4之第一特徵點41、第二特徵點42及第三特徵點43,以及每一畫面中,該臉部影像之第一極值233、中心點235及範例點236估算而得者,故使用者可隨其臉部之移動或轉動,而立即觀看其試戴影像5,以提升本發明操作時之便利性;而如圖13所示,本發明可確實將眼鏡模型4貼合於各式角度及位置之臉部影像,藉以增進便利性及適用性,令使用者可自行於各角度下即時查看其於實際配戴眼鏡時之態樣,因此無須服務人員協同作業,可有效提升眼鏡選配之效率;
續就選定該選取區域71內之其一所述眼鏡模型4而言,如圖14所示,該影像擷取單元1擷取一手部影像8;將該手部影像8由RGB色彩空間轉換為較不易受亮度影響之YCbCr色彩空間,且定義該影像擷取單元1之背景為綠色,藉以降低偵錯之機率;以及
界定一Cr值及一Cb值;並將該手部影像8對比該Cr值及Cb值,以將該手部影像8二值化為一二值化手部圖像81,並於該二值化手部圖像81界定一手部區域811及一非手部區域812,該Cr值及一Cb值係藉由藉由一膚色區間值予以界定者,概如下列數學式7所示:
藉之,如圖15所示,手部影像8之膚色部分,將於該二值化手部圖像81呈現白色,其即為手部區域811;反之,手部影像8之非膚色部分,將於該二值化手部圖像81呈現黑色,其即為非手部區域812;並定義該手部區域811之最高點為選取點813;如圖12及圖13所示,當該選取點813於該選取區域71中之其一區塊711疊合時,該成像區域72係對應呈現該試戴影像5。
續請參閱圖16所示,其係本發明之第二實施例,其與第一實施例之差別在於,本實施例更包含一輸入單元9,其為鍵盤、滑鼠或手指虛擬觸控裝置,該輸入單元9係耦接於該處理裝置3,該輸入單元9係操控選定該選取區域71內之其一所述眼鏡模型4時,該成像區域72係對應呈現該試戴影像5;藉之,本發明亦可透過輸入單元9進行實體操作,使更進一步增進本發明之便利性及適用性。
綜上所述,本發明所揭露之技術手段確能有效解決習知等問題,並達致預期之目的與功效,且申請前未見諸於刊物、未曾公開使用且具長遠進步性,誠屬專利法所稱之發明無誤,爰依法提出申請,懇祈  鈞上惠予詳審並賜准發明專利,至感德馨。
惟以上所述者,僅為本發明之數種較佳實施例,當不能以此限定本發明實施之範圍,即大凡依本發明申請專利範圍及發明說明書內容所作之等效變化與修飾,皆應仍屬本發明專利涵蓋之範圍內。
1...影像擷取單元
2...使用者影像
21...矩形區域
211...特徵區域
212...眼部特徵區域
22...眼部影像
23...二值化圖像
231...眼部區域
232...非眼部區域
233...第一極值
234...第二極值
235...中心點
236...範例點
3...處理裝置
4...眼鏡模型
41...第一特徵點
42...第二特徵點
43...第三特徵點
5...試戴影像
6...顯示單元
7...使用者介面
71...選取區域
711、711a、711b、711c...區塊
72...成像區域
8...手部影像
81...二值化手部圖像
811...手部區域
812...非手部區域
813...選取點
9...輸入單元
〔圖1〕係本發明之流程示意圖。〔圖2〕係本發明於眼鏡模型定義並求得第一特徵點、第二特徵點及第三特徵點之示意圖。〔圖3〕係本發明之結構示意圖。〔圖4〕係本發明之顯示單元呈現使用者介面之示意圖。〔圖5〕係本發明拍攝使用者影像並偵測臉部影像之示意圖。〔圖6〕係本發明於矩形區域劃分為四等分,並於上部之二等分者為特徵區域搜尋眼部影像之示意圖。〔圖7〕係本發明將眼部之眉毛部分由眼部特徵區域中移除,以求得眼部影像之示意圖。〔圖8〕係本發明二值化圖像於眼部區域中,定義第一極值及第二極值之示意圖。〔圖9〕係本發明由第一極值及第二極值求得中心點之示意圖。〔圖10〕係本發明求得範例點之示意圖。〔圖11〕係本發明於各式角度之臉部影像下,第一極值、中心點及範例點之示意圖。〔圖12〕係本發明選取點疊合於區塊時,該眼鏡模型貼合於臉部影像之示意圖。〔圖13〕係本發明於各式角度之臉部影像下,試戴影像之示意圖。〔圖14〕係本發明手部影像之示意圖。〔圖15〕係本發明二值化手部圖像之示意圖。〔圖16〕係本發明第二實施例之示意圖。

Claims (20)

  1. 一種虛擬眼鏡試戴方法,其步驟包含:於至少一眼鏡模型分別於其之其一鏡片界定第一特徵點,於其鏡架中心界定第二特徵點,並由第一特徵點及第二特徵點之垂直向量求得一第三特徵點;擷取一使用者影像,並由該使用者影像偵測一臉部影像;於臉部影像搜尋二眼部影像;將所述眼部影像二值化,形成一二值化圖像,並劃分為眼部區域及非眼部區域;定義該眼部區域中,位於最左右兩端之點者為第一極值及第二極值,並於該第一極值及第二極值間求得一中心點;取該第一極值與該中心點之垂直向量,求得一範例點;以及將其一所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,分別對應該第一極值、中心點及範例點進行仿射變換並貼合於該臉部影像,以形成一試戴影像。
  2. 如申請專利範圍第1項所述之虛擬眼鏡試戴方法,其中,該使用者影像及該試戴影像皆為連續動態影像;所述眼鏡模型係對應貼合於該使用者影像之每一畫面以形成該試戴影像;且每一畫面所需仿射變換之矩陣,係由所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,以及每一畫面中,該臉部影像之第一極值、中心點及範例點估算而得者。
  3. 如申請專利範圍第1項所述之虛擬眼鏡試戴方法,更包含子步驟:於使用者影像中偵測出臉部影像,並將臉部影像以一矩形區域涵蓋者。
  4. 如申請專利範圍第3項所述之虛擬眼鏡試戴方法,更包含子步驟:於該矩形區域以十字劃分為四等分,並定義位於上部之二等分者為特徵區域;以及於該特徵區域搜尋所述眼部影像者。
  5. 如申請專利範圍第1或4項所述之虛擬眼鏡試戴方法,更包含子步驟:於臉部影像搜尋二眼部特徵區域,並將所述眼部特徵區域之起始座標向下平移該眼部特徵區域二分之一之高度,並將所述眼部特徵區域之高度降低二分之一,藉以求得所述眼部影像者。
  6. 如申請專利範圍第1項所述之虛擬眼鏡試戴方法,更包含子步驟:將所述眼部影像由RGB色彩空間轉換為灰階影像;以及界定一閥值,令灰階影像對比該閥值以形成該二值化圖像。
  7. 如申請專利範圍第1項所述之虛擬眼鏡試戴方法,更包含子步驟:建立一眼鏡資料庫,並於該眼鏡資料庫儲存所述眼鏡模型。
  8. 如申請專利範圍第1項所述之虛擬眼鏡試戴方法,更包含子步驟:建立一使用者介面;以及於該使用者介面界定一選取區域及成像區域;該選取區域係對應呈現所述眼鏡模型之選單,而該成像區域係對應呈現該使用者影像;待選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
  9. 如申請專利範圍第1項所述之虛擬眼鏡試戴方法,其中,該選取區域為滾動式選單。
  10. 如申請專利範圍第8項所述之虛擬眼鏡試戴方法,更包含子步驟:擷取一手部影像;將該手部影像二值化為一二值化手部圖像,並於該二值化手部圖像界定一手部區域及一非手部區域;定義該手部區域之最高點為選取點;以及待該選取點選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
  11. 如申請專利範圍第10項所述之虛擬眼鏡試戴方法,更包含子步驟:將該手部影像由RGB色彩空間轉換為YCbCr色彩空間;界定一Cr值及一Cb值;以及將該手部影像對比該Cr值及Cb值以形成該二值化手部圖像。
  12. 如申請專利範圍第11項所述之虛擬眼鏡試戴方法,其中,該Cr值及一Cb值係藉由藉由一膚色區間值予以界定者。
  13. 一種虛擬眼鏡試戴裝置,其包含:一影像擷取單元,其係擷取一使用者影像;以及,一處理裝置,其耦接於該影像擷取單元,該處理裝置係由該使用者影像偵測一臉部影像;且該處理裝置係儲存至少一眼鏡模型,並於所述眼鏡模型分別於其之其一鏡片界定第一特徵點,於其鏡架中心界定第二特徵點,並由第一特徵點及第二特徵點之垂直向量求得一第三特徵點;該處理裝置係於該臉部影像搜尋二眼部影像後,將所述眼部影像二值化形成一二值化圖像,並予以劃分為眼部區域及非眼部區域;並於該眼部區域中最左右兩端之第一極值及第二極值間求得一中心點,並取該第一極值與該中心點之垂直向量求得一範例點;將其一所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,分別對應該第一極值、中心點及範例點進行仿射變換並貼合於該臉部影像,以形成一試戴影像。
  14. 如申請專利範圍第13項所述之虛擬眼鏡試戴裝置,其中,該使用者影像及該試戴影像皆為連續動態影像;所述眼鏡模型係對應貼合於該使用者影像之每一畫面以形成該試戴影像;且每一畫面所需仿射變換之矩陣,係由所述眼鏡模型之第一特徵點、第二特徵點及第三特徵點,以及每一畫面中,該臉部影像之第一極值、中心點及範例點估算而得者。
  15. 如申請專利範圍第13項所述之虛擬眼鏡試戴裝置,其中,該處理裝置更設有一眼鏡資料庫,且該眼鏡資料庫係儲存所述眼鏡模型。
  16. 如申請專利範圍第13項所述之虛擬眼鏡試戴裝置,更包含一顯示單元,其耦接於該處理裝置,該處理裝置設有一使用者介面,該顯示單元係對應顯示該使用者介面;且該使用者介面設有一選取區域及成像區域;該選取區域係對應呈現所述眼鏡模型之選單,而該成像區域係對應呈現該使用者影像。
  17. 如申請專利範圍第16項所述之虛擬眼鏡試戴裝置,其中,該選取區域為滾動式選單。
  18. 如申請專利範圍第16項所述之虛擬眼鏡試戴裝置,其中,該影像擷取單元更擷取一手部影像,且將該手部影像二值化為一二值化手部圖像,並於該二值化手部圖像界定一手部區域及一非手部區域,並取該手部區域之最高點為選取點,待該選取點選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
  19. 如申請專利範圍第16項所述之虛擬眼鏡試戴裝置,更包含一輸入單元,其耦接於該處理裝置,該輸入單元係操控選定該選取區域內之其一所述眼鏡模型時,該成像區域係對應呈現該試戴影像。
  20. 如申請專利範圍第19項所述之虛擬眼鏡試戴裝置,其中,該輸入單元為鍵盤、滑鼠或手指虛擬觸控裝置。
TW102118866A 2013-05-29 2013-05-29 虛擬眼鏡試戴方法及其裝置 TW201445457A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102118866A TW201445457A (zh) 2013-05-29 2013-05-29 虛擬眼鏡試戴方法及其裝置
US13/922,408 US8919955B2 (en) 2013-05-29 2013-06-20 Virtual glasses try-on method and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102118866A TW201445457A (zh) 2013-05-29 2013-05-29 虛擬眼鏡試戴方法及其裝置

Publications (2)

Publication Number Publication Date
TW201445457A true TW201445457A (zh) 2014-12-01
TWI506564B TWI506564B (zh) 2015-11-01

Family

ID=51984730

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102118866A TW201445457A (zh) 2013-05-29 2013-05-29 虛擬眼鏡試戴方法及其裝置

Country Status (2)

Country Link
US (1) US8919955B2 (zh)
TW (1) TW201445457A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784743A (zh) * 2017-10-18 2018-03-09 任克颖 一种智能租售共享眼镜机以及眼镜租售方法
CN111429409A (zh) * 2020-03-13 2020-07-17 深圳市雄帝科技股份有限公司 对图像中人物佩戴眼镜的识别方法、系统及其存储介质
CN112328084A (zh) * 2020-11-12 2021-02-05 北京态璞信息科技有限公司 一种三维虚拟眼镜的定位方法、装置及电子设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11503378B2 (en) * 2013-03-06 2022-11-15 David A. Taylor Media sharing and communication system
GB2536060B (en) * 2015-03-06 2019-10-16 Specsavers Optical Group Ltd Virtual trying-on experience
US9395562B1 (en) * 2015-04-07 2016-07-19 Perfect Squares, Inc. Method and apparatus for eye and eyewear characteristics measurement
KR101697286B1 (ko) 2015-11-09 2017-01-18 경북대학교 산학협력단 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
CN106384388B (zh) * 2016-09-20 2019-03-12 福州大学 基于html5和增强现实技术的互联网眼镜实时试戴方法及系统
CN106775535A (zh) * 2016-12-26 2017-05-31 温州职业技术学院 一种基于边缘检测的眼镜镜片虚拟试戴装置及方法
CN108513668B (zh) * 2016-12-29 2020-09-08 华为技术有限公司 图片处理方法和装置
US10789693B2 (en) * 2017-01-05 2020-09-29 Perfect Corp. System and method for performing pre-processing for blending images
WO2018191784A1 (en) * 2017-04-19 2018-10-25 SPEQS Limited Eyeglasses ordering system and digital interface therefor
CN107563874A (zh) * 2017-09-14 2018-01-09 广州便雅悯视光网络科技有限公司 一种太阳镜的虚拟试戴方法及装置
CN109993021A (zh) * 2017-12-29 2019-07-09 浙江宇视科技有限公司 人脸正脸检测方法、装置及电子设备
CN109255337B (zh) * 2018-09-29 2020-04-28 北京字节跳动网络技术有限公司 人脸关键点检测方法和装置
US10685457B2 (en) 2018-11-15 2020-06-16 Vision Service Plan Systems and methods for visualizing eyewear on a user
CN111461814B (zh) * 2020-03-11 2024-03-26 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
CN112418138B (zh) * 2020-12-04 2022-08-19 兰州大学 一种眼镜试戴系统
US20230252745A1 (en) * 2022-02-09 2023-08-10 Google Llc Validation of modeling and simulation of virtual try-on of wearable device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7441895B2 (en) * 2004-03-26 2008-10-28 Hoya Corporation Spectacle lens supply system, spectacle wearing parameter measurement apparatus, spectacle wearing test system, spectacle lens, and spectacle
TW200741586A (en) * 2006-04-24 2007-11-01 Pre Action Internat Pty Ltd Method for determining rectangular size of human face
CN100583157C (zh) * 2007-05-17 2010-01-20 谢亦玲 计算机配镜装置
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
TWI354242B (en) * 2007-12-10 2011-12-11 Univ Southern Taiwan Tech Management method for digital images
FR2945365B1 (fr) * 2009-05-11 2011-06-24 Acep France Procede et systeme de selection en ligne d'une monture de lunettes virtuelle
TWI428807B (zh) * 2011-04-01 2014-03-01 Wistron Corp 光學式座標輸入裝置及其座標計算之方法
TWI433049B (zh) * 2011-04-07 2014-04-01 Claridy Solutions Inc 眼鏡虛擬試戴互動服務系統與方法
US8708494B1 (en) * 2012-01-30 2014-04-29 Ditto Technologies, Inc. Displaying glasses with recorded images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784743A (zh) * 2017-10-18 2018-03-09 任克颖 一种智能租售共享眼镜机以及眼镜租售方法
CN111429409A (zh) * 2020-03-13 2020-07-17 深圳市雄帝科技股份有限公司 对图像中人物佩戴眼镜的识别方法、系统及其存储介质
CN112328084A (zh) * 2020-11-12 2021-02-05 北京态璞信息科技有限公司 一种三维虚拟眼镜的定位方法、装置及电子设备
CN112328084B (zh) * 2020-11-12 2024-06-28 北京态璞信息科技有限公司 一种三维虚拟眼镜的定位方法、装置及电子设备

Also Published As

Publication number Publication date
US20140354947A1 (en) 2014-12-04
TWI506564B (zh) 2015-11-01
US8919955B2 (en) 2014-12-30

Similar Documents

Publication Publication Date Title
TW201445457A (zh) 虛擬眼鏡試戴方法及其裝置
US11908052B2 (en) System and method for digital makeup mirror
CN110032271B (zh) 对比度调节装置及其方法、虚拟现实设备及存储介质
CN107209849B (zh) 眼睛跟踪
KR102266361B1 (ko) 거울을 가상화하는 디바이스들, 시스템들 및 방법들
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
CN103383595B (zh) 基于用户人脸的分析控制移动终端的装置和方法
JP2020522807A (ja) セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
US20170169501A1 (en) Method and system for evaluating fitness between wearer and eyeglasses
Wang et al. Realtime 3D eye gaze animation using a single RGB camera
TWI694809B (zh) 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置
US20140226900A1 (en) Methods for extracting objects from digital images and for performing color change on the object
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
CN109274891B (zh) 一种图像处理方法、装置及其存储介质
CN107111863A (zh) 角膜成像的设备和方法
TWI557601B (zh) 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
WO2018005884A1 (en) System and method for digital makeup mirror
TW201516755A (zh) 電子文件標記方法及裝置
US20120133753A1 (en) System, device, method, and computer program product for facial defect analysis using angular facial image
WO2021095277A1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
WO2024045350A1 (zh) 一种基于深度学习的眼动活体检测方法和系统
CN109328355A (zh) 用于智能群体肖像的方法和系统
JP2021077333A (ja) 視線検出方法、視線検出装置、及び制御プログラム
Cao et al. Gaze tracking on any surface with your phone
US20240078846A1 (en) Grid-Based Enrollment for Face Authentication

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees