TWI663561B - 虛擬眼鏡選配方法與系統 - Google Patents
虛擬眼鏡選配方法與系統 Download PDFInfo
- Publication number
- TWI663561B TWI663561B TW106118167A TW106118167A TWI663561B TW I663561 B TWI663561 B TW I663561B TW 106118167 A TW106118167 A TW 106118167A TW 106118167 A TW106118167 A TW 106118167A TW I663561 B TWI663561 B TW I663561B
- Authority
- TW
- Taiwan
- Prior art keywords
- frame
- user
- nose
- width
- image
- Prior art date
Links
Landscapes
- Image Analysis (AREA)
Abstract
一種虛擬眼鏡選配方法與系統,提供使用者使用電腦裝置或手持裝置,利用拍攝或掃描得到之使用者自己的影像,藉由配鏡應用程式篩選出複數個備選鏡框後,對於該備選鏡框依次進行虛擬試戴而選出適合之鏡框。虛擬眼鏡選配方法包括:拍攝或取得使用者的臉部的數位影像;解析或量測該數位影像而得到瞳距、臉寬、鼻樑高度、鼻樑寬度、及眼耳距離之臉部特徵中任一種;基於該臉部特徵數值資料從鏡框資料庫中篩選出複數個備選鏡框;以及讓使用者對於該複數個備選鏡框依次進行虛擬試戴,藉以選出適合之鏡框。
Description
本發明關於一種提供使用者選擇眼鏡的技術,特別是一種以軟體方法透過影像處理的方式提供使用者在平面影像或立體影像中選配虛擬眼鏡的方法與系統。
一般市面上眼鏡公司是選擇配戴眼鏡的消費者的首選,消費者會在眼鏡公司或是醫院取得驗光的資訊後,可至眼鏡公司或是醫院配合的配眼鏡的店家選配鏡框與鏡片,常見由公司員工介紹各式鏡框,讓消費者在鏡子前試戴,之後再選擇所需的鏡片樣式,接著業者將根據消費者的一些配戴數據製作眼鏡,配戴數據如眼鏡度數,以及瞳距、兩眼位置、在鼻梁上的配戴高度、鏡面彎度和鏡架傾斜角度等。大部分數據是讓消費者在領取眼鏡時由自我配戴感覺來告知服務者才即時調整。
本發明揭露一種虛擬眼鏡選配方法,提供使用者使用電腦裝置或手持裝置拍攝或掃描自己的影像,在根據自己的臉部或頭部特徵選配符合的眼鏡,並能即時將配戴虛擬眼鏡的影像顯示在電腦裝置的顯示螢幕上,達到如照鏡子一般即時預覽的效果,以及讓使用者彈性選擇眼鏡樣式的虛擬體驗的目的。
本發明的虛擬眼鏡選配方法包括影像取得步驟:拍攝或取得使用者臉部的一數位影像;臉部特徵數值量測步驟:解析或量測該數位影
像而得到使用者的瞳距、臉寬、鼻樑高度、鼻樑寬度、及眼耳距離之臉部特徵中任一種;鏡框篩選步驟:基於該臉部特徵數值資料、及使用方程式1:P=-1.036X2+23.365X-2.089Y+Z±5(其中,P為鏡框寬度(mm);X為使用者之鼻樑高度(mm);Y為使用者之鼻樑寬度(mm);Z為使用者之眼耳距離(mm))從鏡框資料庫中篩選出複數個備選鏡框;以及鏡框決定步驟:藉由配鏡應用程式使用者對於該複數個備選鏡框依次進行虛擬試戴而選出適合之鏡框;其中該配鏡應用程式為至少包括影像傳輸介面、鏡框篩選介面、及鏡框虛擬試戴介面;其中該影像傳輸介面為用以接收及傳送使用者之臉部影像;該鏡框篩選介面為用以接受使用者之鏡框篩選條件並基於該鏡框篩選條件從鏡框資料庫中選出複數個備選鏡框;該鏡框虛擬試戴介面為讓使用者對於該複數個備選鏡框依次進行虛擬試戴。
本發明更提出一種虛擬眼鏡選配方法,其係進一步包括將識別物件配戴於使用者的臉部中,並拍攝使用者用以建立數位影像;根據識別物件的位置識別立體影像中使用者的兩眼睛、鼻子與兩耳朵的位置以獲得臉部特徵資訊步驟;基於該臉部特徵篩數值資料、及使用方程式1:P=-1.036X2+23.365X-2.089Y+Z±5(其中,P為鏡框寬度(mm);X為使用者之鼻樑高度(mm);Y為使用者之鼻樑寬度(mm);Z為使用者之眼耳距離(mm));或者使用方程式3:R=Z+13+F(其中,R表示鏡腳長度(mm);Z表示眼耳距離(mm);F表示上下限值(mm),一般介於0~40mm之範圍)從鏡框資料庫中選出複數個備選鏡框;藉由上述配鏡應用程式使用者對於該複數個備選鏡框依次進行虛擬試戴而選出適合之鏡框。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配方法,其中該數位影像可以是二維影像、三維影像、或擴增實境影像。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配方法,其中在該鏡框篩選步驟之中進一步包含基於至少兩個以上之該臉
部特徵篩選出複數個備選鏡框;例如,使用方程式2:M=180-Q=180-Tan-1((X/(Y/2))(其中,M為鼻托角度;Y表示鼻樑寬度;X表示鼻樑高度:Q表示鼻樑傾斜度。);或者例如使用方程式3:R=Z+13+F(mm)(其中,R表示鏡腳長度(mm);Z表示眼耳距離(mm);F表示上下限值(mm),一般介於0~40mm之範圍)。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配方法,本發明還可以提供一種虛擬眼鏡選配方法,其中該鏡框決定步驟進一步包括在一顯示螢幕中將該數位影像與該備選鏡框結合,以供使用者決定鏡框是否適合。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配方法,其中該鏡框篩選步驟之後進一步包括鏡框精選步驟:由使用者手動輸入篩選條件,並且基於該篩選條件篩選出複數個備選鏡框。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配方法,其中該篩選條件可以是鏡框之寬度、鼻樑傾斜度、鼻托距寬度、鼻托距長度、鏡腳長度、形狀、及顏色中之任一種或一種以上。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配方法,其中該臉部寬度符合下列關係式:臉寬T=-1.036X2+23.365X-2.089Y+Z
(其中,T為使用者之臉寬、X為使用者之鼻樑高度、Y為使用者之鼻樑寬度、Z為使用者之眼耳距)。
又,因為鏡框寬度的篩選範圍P為約略等於臉部寬度加減一上下限閾值。該上下限閾值,例如,可以是5mm或者其他的數值。因此,當該上下限閾值設為5mm時,該鏡框寬度的篩選範圍P就滿足以下方程式1:P=-1.036X2+23.365X-2.089Y+Z±5-------(方程式1)
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選
配方法,其中該鏡框確定步驟之後進一步包含實體配戴步驟:從倉庫中取出使用者所選擇之鏡框實體供使用者配戴並確認是否符合需求。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配方法,其中該鏡框篩選步驟、該鏡框精選步驟、及該鏡框決定步驟可以重覆實施。
除前述實施態樣外,本發明另提出一種虛擬眼鏡選配系統,其係包括鏡框資料庫與電腦裝置。雲端伺服器用於存儲複數筆眼鏡鏡框模型;電腦裝置具有處理單元、攝像單元、顯示單元、通訊單元與儲存單元,處理單元電性連接於攝像單元、顯示單元、通訊單元與儲存單元,通訊單元網路連接於雲端伺服器,儲存單元存儲配鏡應用程式。攝像單元用於對使用者拍攝數位影像,處理單元用以執行配鏡應用程式,並得到使用者的第一臉部特徵與第二臉部特徵,;配鏡應用程式為至少包括影像傳輸介面、鏡框篩選介面、及鏡框虛擬試戴介面;其中該影像傳輸介面為用以接收及傳送使用者之臉部影像;該鏡框篩選介面為用以接受使用者之鏡框篩選條件並基於該鏡框篩選條件從鏡框資料庫中選出複數個備選鏡框;該鏡框虛擬試戴介面為讓使用者對於該複數個備選鏡框依次進行虛擬試戴。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配系統,其包括:一鏡框資料庫,用於存儲複數副鏡框;以及一電腦裝置,該電腦裝置具有一處理單元、一攝像單元、一顯示單元、一通訊單元與一儲存單元,該處理單元電性連接於該攝像單元、一顯示單元、該通訊單元與該儲存單元,該通訊單元網路連接於該鏡框資料庫,該儲存單元存儲一配鏡應用程式,該處理單元執行該配鏡應用程式;其中該配鏡應用程式可以包括:用以接收及傳送使用者之臉部影像的影像傳輸介面、用以接受使用者之鏡框篩選條件並基於該鏡框篩選條件從鏡框資料庫中篩選出複數個備選鏡框之鏡框篩選介面、及對於該複數個備選鏡框依次進行虛擬試戴之
鏡框虛擬試戴介面;其中該鏡框篩選係基於該臉部特徵數值資料、及使用方程式1:P=-1.036X2+23.365X-2.089Y+Z±5(其中,P為鏡框寬度(mm);X為使用者之鼻樑高度(mm);Y為使用者之鼻樑寬度(mm);Z為使用者之眼耳距離(mm))從鏡框資料庫中篩選出複數個備選鏡框。
依據某一特定的實施例,本發明還可以提供一種虛擬眼鏡選配系統,其中該數位影像可以經由攝像單元拍攝、或經由該通訊單元傳送至該處理單元而得。
本發明所提供的虛擬眼鏡選配方法與系統提供使用者可以透過圖形使用者介面選擇鏡框類型與鏡框相關參數,本發明的眼鏡選配系統可以根據瞳距的條件提供眼鏡鏡框模型。選配系統可以將所選擇的眼鏡鏡框模型即時的繪製在使用者的數位影像上,並且根據使用者的臉型自動調整鏡框大小、鼻托位置或鏡腳長短等。
有關本發明的特徵與實作,茲配合圖式作最佳實施例詳細說明如下。
110‧‧‧鏡框資料庫
111‧‧‧眼鏡鏡框模型
112‧‧‧鏡框基礎數據
120‧‧‧電腦裝置
121‧‧‧處理單元
122‧‧‧攝像單元
123‧‧‧顯示單元
124‧‧‧通訊單元
125‧‧‧儲存單元
131‧‧‧數位影像
132‧‧‧配鏡應用程式
30‧‧‧人臉影像
301‧‧‧眼睛高度示意線
510‧‧‧識別物件
520‧‧‧使用者
601、602‧‧‧耳朵
611、612‧‧‧耳朵特徵描述點
63‧‧‧鼻子
631、632、633‧‧‧鼻子特徵描述點
610、613‧‧‧眉骨彎度示意線
d‧‧‧距離
701‧‧‧耳朵頭部連接示意線
702‧‧‧眼球表面示意線
圖1係為本發明的硬體架構示意圖。
圖2係為本發明的實施態樣的流程示意圖。
圖3係為本發明的眼睛高度示意線示意圖。
圖4係為本發明的使用者頭部的立體數位影像示意圖。
圖5係為本發明拍攝使用者側臉的數位影像的示意圖。
圖6係為本發明之一實施例中之影像上傳示意圖。
圖7係為本發明之一實施例中之鏡框篩選示意圖。
圖8係為本發明之一實施例中之虛擬試戴示意圖。
圖9係為本發明之另一實施例中之立體頭部影像拍攝示意圖。
請參考圖1所示,其係為本發明的虛擬眼鏡選配系統架構示意圖。本發明的虛擬眼鏡選配系統包括鏡框資料庫110與電腦裝置120。鏡框資料庫110網路連結於電腦裝置120。鏡框資料庫110中存儲多筆眼鏡鏡框模型111與鏡框基礎數據112。本發明的眼鏡鏡框模型111除了平面眼鏡鏡框圖形外,也可以是立體的眼鏡鏡框影像。每一組眼鏡鏡框模型111係具有各自的預設的鏡框基礎數據112,鏡框基礎數據112係至少包括鏡片材質、鏡腳長度、鼻托角度、鼻托寬度、鏡框寬度、及鏡框顏色。本發明的電腦裝置120經由比對鏡框基礎數據112及使用在鏡框篩選步驟中所指定的鏡框篩選範圍而選出之數個備選鏡框後,再根據使用者之指定從備選框中識別被指定的鏡框而自動地配戴於使用者臉部影像並進行相應的調整,以讓使用者自身進行評價及決定是否符合其需求。
電腦裝置120具有處理單元121、攝像單元122、顯示單元123、通訊單元124與儲存單元125。處理單元121電性連接於攝像單元122、顯示單元123、通訊單元124與儲存單元125。電腦裝置120的種類不限定是計算機(computer),也可以是行動電話(mobile phone)或平板電腦(tablet)等具有所述計算能力的電子裝置。攝像單元122用於拍攝數位影像131(digital image)。本發明中所述的數位影像131可以是經由攝像單元122所拍攝或錄製得到之使用者的平面二維影像或立體影像;或者也可以是經由通訊單元124傳送至處理單元121之使用者的平面二維影像或立體影像。
顯示單元123,除了顯示所拍攝的數位影像131,也可以顯示擴充實境(Augmented Reality,簡稱AR)的影像與操作擴充實境影像中的物件。為方便說明,本發明的顯示單元123係透過觸控顯示屏幕以供使
用者觀看畫面與輸入操作指令。舉例來說,當電腦裝置120拍攝立體影像時,使用者可以透過顯示單元123縮放觀看數位影像131中的物件,或是旋轉數位影像131中的物件等動作。在其他應用的狀況中,電腦裝置120可以透過人機介面(HID)進行相關的操作。通訊單元124用於連接於鏡框資料庫110,通訊單元124可以透過網路連接外,也可以以電纜方式連接於鏡框資料庫110。
儲存單元125存儲配鏡應用程式132與使用者的選配記錄歷程。配鏡應用程式132包括能夠用於識別使用者的數位影像131中之兩眼睛、鼻子與兩耳朵等之各個臉部特徵的位置及量測上述各種臉部特徵之距離、角度等之數值資料。配鏡應用程式132除了具有人臉識別與自動追蹤的功能外,也提供使用者選擇眼鏡鏡框模型111的相關介面;包括:用以接收及傳送使用者之臉部影像的影像傳輸介面、用以接受使用者之鏡框篩選條件並基於該鏡框篩選條件從鏡框資料庫中選出複數個備選鏡框之鏡框篩選介面、及對於該複數個備選鏡框依次進行虛擬試戴之鏡框虛擬試戴介面。為進一步說明各種數位影像131的臉部特徵的識別過程與眼鏡鏡框模型111的配對過程,請配合參考圖2所示,本發明虛擬眼鏡選配方法包括以下步驟:步驟S210:拍攝或取得使用者臉部的數位影像;步驟S220:解析或量測該數位影像而得到臉部特徵;步驟S230:基於該臉部特徵篩選出複數個備選鏡框;步驟S240:使用者對於該複數個備選鏡框依次進行虛擬試戴而選出適合之鏡框。
在本實施態樣中,經由步驟S210可以進一步解析使用者的
臉部平面影像或立體影像以獲得臉部影像特徵數據資料,臉部影像特徵數據資料包括臉部中的兩眼睛之間的瞳距、瞳距、臉寬、鼻樑高度、鼻樑寬度、及眼耳距離之臉部特徵中任一種。首先,例如,經由攝像取得使用者之數位影像的情況下,電腦裝置120拍攝使用者的正面的數位影像131。隨即,處理單元121運行配鏡應用程式132,且載入數位影像131並顯示影像在顯示單元123之中。若是使用者未曾記錄於電腦裝置120中,則可以啟動配鏡應用程式132對於數位影像131進行影像特徵的辨識。接著,經由步驟220可以進一步解析或量測該使用者的臉部之數位影像;換言之,配鏡應用程式132可以從數位影像131中自動定位或是由使用者自行選取瞳孔、臉寬、鼻樑高度、鼻樑寬度、及眼耳距離之各個臉部的特徵位置,藉以得到瞳距、臉寬、鼻樑高度、鼻樑寬度、及眼耳距離之各個臉部的特徵之數據資料。
此外,顯示單元123會跳現另一輸入介面,用於提供輸入使用者的鏡框篩選範圍。在該鏡框篩選步驟之中,配鏡應用程式132能夠由數位影像131中所包含的至少兩個以上之該臉部特徵做為鏡框篩選範圍而篩選出複數個備選鏡框。
舉例來說,配鏡應用程式132可以使用例如方程式2:M=180-Q=180-Tan-1(X/(Y/2))(其中,M為鼻托角度;Y表示鼻樑寬度;X表示鼻樑高度:Q表示鼻樑傾斜度。);或者例如使用方程式3:R=Z+13+F(其中,R表示鏡腳長度(mm);Z表示眼耳距離(mm);F表示上下限值(mm),一般介於0~40mm之範圍)來篩選出複數個備選鏡框。
另外,使用者可以從電腦裝置120上開啟眼鏡鏡框模型選擇介面,並且指定篩選條件為瞳距、臉寬、眼耳距、或鼻樑寬度。處理單元130基於使用者所指定的篩選條件從鏡框資料庫110中篩選出符合該篩選條件的鏡框後顯示在選擇介面上。使用者可以從選擇介面上觀看各項眼鏡
鏡框模型111並且選擇偏好之款式進行虛擬試戴。當使用者選擇任一眼鏡鏡框模型111時,處理單元130將眼鏡鏡框模型111與數位影像131結合,並將結合畫面顯示於虛擬試戴介面供使用者查看試戴畫面。
在本實施態樣中,使用者所拍攝的數位影像131係為使用者人臉影像30。在進行虛擬試戴之步驟S240中,處理單元121還可以進一步包括執行根據使用者的鼻樑位置與眼鏡鏡框模型111的鼻托位置來判斷並決定列為備選的眼鏡鏡框模型111是否合適的機能。此外,處理單元121也可以根據使用者的雙眼進一步繪製相應的眼睛高度示意線,如圖3所示。處理單元121也可以經由配鏡應用程式132進一步根據前述的鼻托與眼睛高度示意線來判斷並決定列為備選的眼鏡鏡框模型111是否合適。一般而言,眼鏡鏡框模型對於使用者的臉部的最佳位置為「使用者以眼睛下眼瞼與鏡架的水準基準線相切的水平線」,此一水平線亦可以定義為如眼睛高度示意線301。另外,使用者也可以自行移動眼鏡鏡框模型111在使用者臉部的位置,藉以觀察及判斷該列為備選的複數個眼鏡鏡框模型111之中哪一者才是最合適的。
除了前述的實施態樣外,本發明另可以應用在使用者與眼鏡鏡框模型111的擴增實境的結合。在本實施態的虛擬眼鏡選配系統包括鏡框資料庫110與電腦裝置120,硬體架構與組成請配合參考圖1。本實施態樣的硬體架構與元件作用與圖1相同,對於硬件的連接就不重複說明。
本實施態樣的攝像單元122除了拍攝單一的影像外,也可以持續的拍攝數位影像131,藉以應用於使用者的立體影像與眼鏡鏡框模型111的影像合成。本實施態樣包括將識別物件配戴於使用者的臉部中,並拍攝使用者用以建立數位影像;根據識別物件的位置識別立體影像中使用者的兩眼睛、鼻子與兩耳朵的位置以獲得臉部特徵資訊;基於該臉部特徵篩選出複數個備選鏡框;以及使用者進行虛擬試戴,以選出適合之鏡框。
在本實施態樣中,首先,可以將識別物件510配戴於使用者520的臉上。識別物件510可以是眼鏡、卡片或偵測器。一般而言,識別物件510的配戴位置可以根據開發廠商進而設定不同的位置。舉例來說,可以將識別物件510放置於使用者520額頭、臉頰兩側或鼻頭。假設識別物件510配置於使用者520的額頭上。配鏡應用程式132可以根據識別物件510的實際大小判別數位影像131中識別物件510的影像縮放比例。處理單元121可以具備根據影像縮放比例進一步自動識別使用者520的兩眼睛、鼻子與兩耳朵的位置之機能。配鏡應用程式132可以依據將眼睛、鼻子與耳朵的位置之第一臉部特徵做為鏡框篩選範圍而從資料庫中選出複數個備選鏡框。又,該第一臉部特徵可以是使用者520的正面影像中之兩耳朵與眼睛連接形成的直線距離(臉寬)。
另外,在本實施態樣中,還可以藉由電腦裝置120拍攝使用者520之臉部的其他位置所得到之影像,進而從該影像中取得額頭、臉頰兩側或鼻頭等之距離、高度角度等之數據資料來做為該第一臉部特徵。舉例來說,例如可以使用由俯視拍攝使用者520的左右側臉或臉型的影像。本發明根據拍攝不同臉部位置分別定義各自的臉部特徵。
另外,在本實施態樣中,還可以使用第二臉部特徵、第三臉部特徵、第四臉部特徵、或其他的特徵。具體而言,例如,第二臉部特徵可以是使用者520正面時同側邊的眼睛的切面至耳朵的距離(即,眼耳距)。第三臉部特徵可以是使用者520正面時兩眼睛內側的間距的鼻寬度,與數位影像131於使用者520側面時鼻子的鼻高度。第四臉部特徵可以是於數位影像131於俯視使用者520時兩眼睛的一眉骨彎度。
圖4為使用者520頭部的立體數位影像131。立體數位影像是透過立體攝影機掃描使用者520頭部得到,取得使用者520頭部的數位影像131。如圖4所示,使用者的頭部影像60包括有耳朵601,602的影
像,以及鼻子63的影像。在一實施態樣中,可以使用耳朵特徵描述點611,612來做為第二臉部特徵;也可以根據鼻子63的位置並繪製鼻子特徵描述點631,632,633來做為第三臉部特徵;還可以是以眉骨彎度示意線613的曲率半徑或弧度來做為第四臉部特徵。
另外,也可以如圖5所示,利用由拍攝使用者520側臉所得到的數位影像131中之一耳朵頭部連接示意線701,與眼球表面示意線702間之距離,即耳朵至眼球表面的距離d來做為第二臉部特徵。以上所使用的第二臉部特徵、第三臉部特徵、第四臉部特徵僅是用以舉例而已,在不脫離本發明精神範圍內可以進行隨意的變更與修正,熟習本項技術皆應明瞭此等亦包括在本發明之範圍以內。
配合圖4所示,電腦裝置120根據配鏡應用程式132得出的數位影像131擷取眼睛、鼻子、耳朵與頭型影像特徵,例如,當將臉寬長度設為T毫米、鼻樑高度設為X毫米、鼻子寬度設為Y毫米、以及耳朵至鼻(眼球表面)之垂直距離設為Z毫米時;藉由如上述的作法取得大量的臉部特徵資料並利用數學擬合進行大數據分析後,本發明人等研究發現鏡框寬度(P)、鼻樑高度(X)、鼻樑寬度(Y)、及眼耳距離(Z)之間,具有如以下方程式1所示之一定的函數比例關係:P=T±5=-1.036X2+23.365X-2.089Y+Z±5-----(方程式1)
(其中,P為鏡框寬度(mm);T為使用者之臉寬(mm);X為使用者之鼻樑高度(mm);Y為使用者之鼻樑寬度(mm);Z為使用者之眼耳距離(mm)。)
又,本發明人進一步對於為數眾多的眼鏡框進行測量與並利用數學擬合進行大數據分析的結果,發現臉寬(T)、鼻樑傾斜度(Q)、鏡腳長度(R)、鏡框寬度(P)、鼻托角度(M)、鼻樑高度(X)、鼻樑寬度(Y)、及眼耳距離(Z)之間具有某種程度以上之相關性。例如,鼻托角度M與鼻樑傾斜度(Q)臉寬存在如以下方程式2所示之關係:M=180-Q=180-Tan-1(X/(Y/2))…(方程式2)
(其中,M表示鼻托角度(°)Y表示鼻樑寬度(mm);X表示鼻樑高度(mm):Q表示鼻樑傾斜度(°)。)
另外,本發明人進一步對於為數眾多的眼鏡框進行測量與並利用數學擬合進行大數據分析的結果,發現鏡腳長度(R)、及眼耳距離(Z)之間存在如以下方程式3所示之關係:R=Z+13+F…(方程式3)
(其中,Z表示眼耳距離(mm);R表示鏡腳長度(mm)F表示上下限值(mm),一般介於0~40mm之範圍。)
接著,使用者可以從電腦裝置120上開啟鏡框篩選介面,並
且指定篩選條件為瞳距、臉寬、眼耳距、鼻樑寬度、或鼻樑高度。處理單元130基於使用者所指定的篩選條件從鏡框資料庫110中篩選出符合該篩選條件的鏡框後顯示在鏡框篩選介面上。使用者可以從鏡框篩選介面上觀看各項眼鏡鏡框模型111並且選擇偏好之款式進行虛擬試戴。當使用者選擇任一眼鏡鏡框模型111時,處理單元130將眼鏡鏡框模型111與數位影像131結合,並將結合畫面顯示於虛擬試戴介面供使用者觀看試戴畫面。
另外,在本發明之另一個實施態樣中,使用者也可以進一步手動方式輸入篩選條件,包括鏡框的寬度、鼻托角度、鏡腳長度、顏色、或形狀,藉以調整備選鏡框之數量。
當使用者進一步選擇鏡框的寬度為篩選條件時,可以臉寬加上一上下限度範圍做為篩選條件之修正值,例如,以臉寬±5mm做為鏡框之篩選條件;接著,處理單元121將依據該使用者所設定之該鏡框篩選條件而篩選出複數個備選之鏡框。
以上所例示的框篩選條件之修正方式僅是用以舉例而已,在不脫離本發明精神範圍內可以進行隨意的變更與修正,熟習本項技術皆應明瞭此等亦包括在本發明之範圍以內。
當使用者輸入鼻托角度作為篩選條件時,處理單元121會依據表1篩選出相應之鏡框。另外,鼻托角度M也可以經由以下方程式2換算而得。
鼻托角度M=180-Q=180-Tan-1(X/(Y/2))…(方程式2)
(其中,M表示鼻托角度(°)Y表示鼻樑寬度(mm);X表示鼻樑高度(mm):
Q表示鼻樑傾斜度(°)。)
又,當使用者選擇鏡腳長度作為篩選條件時,可以輸入鏡腳長的校正值;接著,處理單元121會依據以下方程式3篩選出符合使用者設定之鏡框:
R=Z+13+F…(方程式3)
(其中,Z表示眼耳距離(mm);R表示鏡腳長度(mm);F表示上下限值(mm),一般介於0~40mm之範圍。)
以上實施態樣中,拍攝或掃描使用者520臉部影像時執行臉部辨識的技術可參考本專利發明人前案:美國專利申請第14/447652號(申請日期:2014年7月31日);而透過已知尺寸參考物件計算真實瞳距與虛擬瞳距的比例的技術可參考相同發明人的專利申請案:美國專利申請第14/469569號(申請日期:2014年8月26日)與第14/447652號。並且,透過立體攝影機的3D鏡頭掃描人臉部精細的臉部影像的技術可參考3D地圖與人臉演算法,如本案發明人美國專利申請第13/649170號、中國專利申請第CN201310117970.5號等,使得系統匹配資料庫中的眼鏡鏡框模型111後,讓使用者可直接透過電腦裝置120以自動取得符合自己尺寸以及好看的真實鏡框。
為清楚說明本發明對於不同臉形的使用者的選擇過程,以下茲以實施例1-3具體說明本發明之虛擬眼鏡選配方法。
實施例1
首先,開啟本發明之配鏡應用程式。接著,請參閱圖6,其為使用者影像上傳示意圖,使用者A可以辨識目標來源中選擇影像的來源:包含3D攝像、2D攝像、上傳攝像;或是選擇匯入臉部資訊將先前已分析臉部資訊檔案匯入程式中;另外,也可以選擇輸入臉部資訊以手動方式直接輸入臉部各個特徵的數值。在本實施例中,使用者A是從影像傳輸介面
中點選上傳攝像之選項,然後從目標來源選擇介面中選擇數位影像檔的所在路徑,將臉部正面及側面的數位影像檔上傳至配鏡系統中,影像傳輸介面中的攝像辨識狀態顯示成功,可知本發明之配鏡應用程式已取得如下表2所示之使用者的臉部特徵資料。
接著,利用上述之方程式1、方程式2、方程式3、分別計算出鏡框寬度(mm)、鼻托角度(度)、鏡腳長度(mm)等並以之為鏡框的篩選條件A1、A3。
P=-1.036X2+23.365X-2.089Y+Z±5……(方程式1)
M=(180-Q)=180-Tan-1(X/(Y/2))…………(方程式2)
R=Z+13+F(mm)……………………(方程式3)
接著,請參考圖7,其為鏡框篩選示意圖;在鏡框篩選介面中顯示出使用者A的臉部特徵資訊,包括臉部寬度、鼻樑高度、鼻樑寬度、及眼耳距離。使用者A在辨識資訊介面指定以上述的鏡框篩選條件A1、A3中之交集者。例如,以A1鏡框寬度138.7mm做為鏡框的篩選條件,然後應用程式自動從鏡框資料庫中進行篩選,總計篩選出318副符合上述條
件的備選鏡框;而由鏡腳長度進行篩選出387副。鏡腳長度落在131mm至141mm之間的眼鏡鏡框;鼻托角度為在47.82度至55.68度之間,平均值為53.26度,確認出貨時調整到適合消費者的角度。A1、A3中之交集數量為184隻,消費者可就篩選後的鏡框試戴。
接著,請參考圖8,其為進行虛擬試戴之示意圖,使用者A在於備選鏡框中點選偏好的鏡框款式,接著應用程式自動將被選取的鏡框與使用者A的臉部影像進行結合,並將結合畫面顯示在虛擬試戴介面之中,以便使用者A從虛擬試戴介面之中查看試戴的效果。
使用者A經反覆選擇備選鏡框並察看試戴畫面後,選定外觀造型符合期待之鏡框,在虛擬試戴介面中右側的篩選鏡框款式中選擇「是」之選項,表示已選定鏡框;接著店家會根據使用者A所選定的鏡框資料從倉庫中取出相符之鏡框實體供使用者A配戴並確認是否符合需求。
實施例2
首先,開啟本發明之配鏡應用程式。與實施例1相同地,使用者B可以辨識目標來源中選擇影像的來源,包含3D攝像、2D攝像、上傳攝像;或是選擇匯入臉部資訊將先前已分析臉部資訊檔案匯入程式中;另外,也可以選擇輸入臉部資訊以手動方式直接輸入臉部各個特徵的數值。在本實施例中,使用者B是選擇3D攝像做為影像來源;請參閱圖9,其為使用者B的立體頭部影像拍攝示意圖,使用立體攝影機掃描使用者B的頭部以獲得使用者B的立體頭部影像後經由無線網路直接將影像傳輸至配鏡系統中,影像傳輸介面中的攝像辨識狀態顯示成功,可知本發明之配鏡應用程式已取得如下表所示之使用者B的臉部特徵資料。
接著,利用上述之方程式1、方程式2、方程式3、分別計算出鏡框寬度(mm)、鼻托角度(度)、鏡腳長度(mm)等並以之為鏡框的篩選
條件B1、B3。
接著,在鏡框篩選介面指定以上述的鏡框篩選條件B1、B3中之交集者。例如,以B1鏡框寬度(133.5mm)、及B3鏡腳長度(138mm)做為鏡框的篩選條件,然後應用程式自動從鏡框資料庫進行篩選,總計篩選出58副符合上述條件的備選鏡框。該58副眼鏡鏡框之寬度落在128.5mm至138.5mm之間,平均值為133.5mm;鏡腳長度落在133mm至143m之間,平均值為138mm;鼻托寬度落在11.5至15.5mm之間,平均值為在13.9mm。
然後,使用者B於備選鏡框中點選偏好的鏡框款式,接著應用程式自動將被選取的鏡框與使用者B的頭部影像進行結合,並將結合畫面顯示在虛擬試戴介面之中,以便使用者B從虛擬試戴介面之中查看試戴的效果。
使用者B經反覆選擇備選鏡框並察看試戴畫面後,選定外觀造型符合期待之鏡框,在虛擬試戴介面中右側的篩選鏡框款式中選擇「是」之選項,表示已選定鏡框;接著,店家會根據使用者B所選定的鏡框資料
從倉庫中取出相符之鏡框實體供使用者B配戴並確認是否符合需求。
實施例3
首先,開啟安裝於行動裝置的本發明之配鏡應用程式。接著,直接以行動裝置的攝像鏡頭對準使用者C,使得使用者C的頭部影像出現在行動裝置的顯示螢幕上,藉由使用者C在攝像鏡頭前轉動頭部以取得如下表4所示之使用者C的臉部特徵資料。
接著,利用上述之方程式1、方程式2、方程式3、分別計算出鏡框寬度(mm)、鼻托角度(度)、鏡腳長度(mm)等並以之為鏡框的篩選條件C1、C3。
接著,在鏡框篩選介面指定以上述的鏡框篩選條件C1、C3中之交集者。例如,以C1鏡框寬度(125.5mm)、C3鏡腳長度(125mm)或鼻樑寬度做為鏡框的篩選條件,然後應用程式自動從鏡框資料庫進行篩選,總計篩選出45副符合上述條件的備選鏡框。該45副眼鏡鏡框之寬度落120.2至130.2mm之間,平均值為125.2mm;鏡腳長度落在120至130
mm之間,平均值為125mm;鼻樑傾斜度為在27.4度至33.8度之間,平均值為31.4度。
然後,使用者C於備選鏡框中點選偏好的鏡框款式,接著應用程式自動將被選取的鏡框顯示在虛擬試戴介面之中,而使用者C可以透過行動裝置的攝像鏡頭將其頭部影像同步顯示於虛擬試戴介面,並且經由移動頭部調整其頭部影像在虛擬試戴介面之中位置,藉以查看試戴的效果。
使用者C經反覆選擇備選鏡框並察看試戴畫面後,選定外觀造型符合期待之鏡框,在虛擬試戴介面中右側的篩選鏡框款式中選擇「是」之選項,表示已選定鏡框;接著店家會根據使用者C所選定的鏡框資料從倉庫中取出相符之鏡框實體供使用者C配戴並確認是否符合需求。
綜上所述,根據上述實施例描述的虛擬眼鏡選配方法與系統,其中除了利用平面影像得出決定眼鏡鏡框模型的瞳距外,亦採用了立體眼鏡模擬技術,使用者透過圖形使用者介面選擇鏡框類型與鏡框相關參數,系統可以根據瞳距的條件提供眼鏡鏡框模型,然而,更能進一步根據眼球與耳朵位置取得耳朵至眼球表面的距離、根據鼻子的特徵取得鼻樑高度與寬度,以及眉骨彎度,讓使用者可以透過電腦裝置,如行動裝置,就可以自動地找到符合自己尺寸以及喜好而決定眼鏡的樣式,達到如同親至眼鏡公司配眼鏡的虛擬眼鏡選配的目的。
雖然本發明以前述之較佳實施例揭露如上,然其並非用以限定本發明,任何熟習相像技藝者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。
Claims (4)
- 一種虛擬眼鏡選配方法,其包括:影像取得步驟:拍攝或取得使用者臉部的一數位影像;臉部特徵數值量測步驟:解析或量測該數位影像而得到使用者的鼻樑高度、鼻樑寬度、及眼耳距離之臉部特徵數據資料;鏡框篩選步驟:基於該臉部特徵篩數據資料、及使用下列方程式1從鏡框資料庫中選出複數個備選鏡框:P=-1.036X2+23.365X-2.089Y+Z±5…(方程式1)(其中,P為鏡框寬度(mm);X為使用者之鼻樑高度(mm);Y為使用者之鼻樑寬度(mm);Z為使用者之眼耳距離(mm));以及鏡框決定步驟:使用者對於該複數個備選鏡框依次進行虛擬試戴而選出適合之鏡框。
- 如請求項1所述之虛擬眼鏡選配方法,其中在鏡框篩選步驟中進一步包括使用下列方程式2而從鏡框資料庫中選出複數個備選鏡框:M=180-Q=180-Tan-1(X/(Y/2))…(方程式2)(其中,M表示鼻托角度(°)Y表示鼻樑寬度(mm);X表示鼻樑高度(mm): Q表示鼻樑傾斜度(°))。
- 如請求項1所述之虛擬眼鏡選配方法,其中在鏡框篩選步驟中進一步包括使用下列方程式3而從鏡框資料庫中選出複數個備選鏡框:R=Z+13+F(mm)…(方程式3)(其中,R表示鏡腳長度(mm);Z表示眼耳距離(mm);F表示上下限值(mm),一般介於0~40mm之範圍)。
- 如請求項1所述之虛擬眼鏡選配方法,其中該臉部特徵數據資料進一步包括瞳距、臉寬、鼻托距長度、鏡腳長度、形狀、及顏色中之至少任一種。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106118167A TWI663561B (zh) | 2017-06-02 | 2017-06-02 | 虛擬眼鏡選配方法與系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106118167A TWI663561B (zh) | 2017-06-02 | 2017-06-02 | 虛擬眼鏡選配方法與系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201903673A TW201903673A (zh) | 2019-01-16 |
TWI663561B true TWI663561B (zh) | 2019-06-21 |
Family
ID=65803222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106118167A TWI663561B (zh) | 2017-06-02 | 2017-06-02 | 虛擬眼鏡選配方法與系統 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI663561B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3734507A1 (en) * | 2019-05-03 | 2020-11-04 | Essilor International | Apparatus for machine learning-based visual equipment selection |
CN110533775B (zh) * | 2019-09-18 | 2023-04-18 | 广州智美科技有限公司 | 一种基于3d人脸的眼镜匹配方法、装置及终端 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102376051A (zh) * | 2010-08-16 | 2012-03-14 | 李照教 | 一种符合人体工学的电脑试戴配镜系统及其方法 |
US8733936B1 (en) * | 2012-01-30 | 2014-05-27 | Ditto Technologies, Inc. | Fitting glasses frames to a user |
CN104574504A (zh) * | 2014-12-26 | 2015-04-29 | 上海沙斐网络科技有限公司 | 一种基于终端的眼镜虚拟试戴方法和眼镜虚拟试戴装置 |
CN104809638A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种基于移动终端的眼镜虚拟试戴方法和系统 |
CN105408906A (zh) * | 2013-07-26 | 2016-03-16 | 埃西勒国际通用光学公司 | 自助处方眼镜亭 |
US20160178936A1 (en) * | 2014-12-23 | 2016-06-23 | Multimedia Image Solution Limited | Method of Virtually Trying on Eyeglasses |
CN105809507A (zh) * | 2016-02-29 | 2016-07-27 | 北京酷配科技有限公司 | 一种虚拟试戴方法、虚拟试戴装置 |
-
2017
- 2017-06-02 TW TW106118167A patent/TWI663561B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102376051A (zh) * | 2010-08-16 | 2012-03-14 | 李照教 | 一种符合人体工学的电脑试戴配镜系统及其方法 |
US8733936B1 (en) * | 2012-01-30 | 2014-05-27 | Ditto Technologies, Inc. | Fitting glasses frames to a user |
CN105408906A (zh) * | 2013-07-26 | 2016-03-16 | 埃西勒国际通用光学公司 | 自助处方眼镜亭 |
US20160178936A1 (en) * | 2014-12-23 | 2016-06-23 | Multimedia Image Solution Limited | Method of Virtually Trying on Eyeglasses |
CN104574504A (zh) * | 2014-12-26 | 2015-04-29 | 上海沙斐网络科技有限公司 | 一种基于终端的眼镜虚拟试戴方法和眼镜虚拟试戴装置 |
CN104809638A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种基于移动终端的眼镜虚拟试戴方法和系统 |
CN105809507A (zh) * | 2016-02-29 | 2016-07-27 | 北京酷配科技有限公司 | 一种虚拟试戴方法、虚拟试戴装置 |
Also Published As
Publication number | Publication date |
---|---|
TW201903673A (zh) | 2019-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12067689B2 (en) | Systems and methods for determining the scale of human anatomy from images | |
US11783557B2 (en) | Virtual try-on systems and methods for spectacles | |
CN105026989B (zh) | 眼镜镜片的设计系统、供给系统、设计方法及制造方法 | |
JP6023801B2 (ja) | シミュレーション装置 | |
US20170169501A1 (en) | Method and system for evaluating fitness between wearer and eyeglasses | |
EP3029511A1 (en) | Multiple-reference based system and method for ordering eyeglasses | |
CN104036169B (zh) | 生物认证方法及生物认证装置 | |
CN108490642A (zh) | 基于3d头部数据的眼镜自动设计方法 | |
JPWO2013027755A1 (ja) | 眼鏡装用シミュレーション方法、プログラム、装置、眼鏡レンズ発注システム及び眼鏡レンズの製造方法 | |
KR20100050052A (ko) | 안경 가상 착용 방법 | |
KR102231239B1 (ko) | 안경 착용 시뮬레이션 방법 | |
JP2017524163A (ja) | 選択された眼鏡フレームの画像データに基づいた使用者データの決定 | |
KR20170071967A (ko) | 안경 온라인 판매 시스템의 안경 추천 방법 | |
KR102444768B1 (ko) | 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치 | |
TWI663561B (zh) | 虛擬眼鏡選配方法與系統 | |
JP2024531840A (ja) | 対象のデジタル測定のためのシステム及び方法 | |
CN115867238A (zh) | 视觉辅助 | |
CN109003298A (zh) | 虚拟眼镜选配方法与系统 | |
JP2013226397A (ja) | 近業目的距離測定装置、並びに近業目的距離測定装置を用いた眼鏡レンズの製造方法及び製造システム | |
KR20220002280A (ko) | 자연스럽게 바라보는 자세로 있는 대상자의 머리에 대한 유향 3d 표현을 구현하는 방법 | |
KR20110111830A (ko) | 안경형 마우스 시스템 | |
TW202115365A (zh) | 可經由校準及影像處理以測量精確瞳距的方法與系統 | |
EP4220114B1 (en) | Method and system for determining an absolute value of at least one optical parameter of a spectacle lens | |
EP4227732A1 (en) | Method for head image recording and corresponding mobile device | |
CN117882031A (zh) | 用于进行对象的数字测量的系统和方法 |