TW202040348A - 用於眼鏡之虛擬試戴系統及方法 - Google Patents

用於眼鏡之虛擬試戴系統及方法 Download PDF

Info

Publication number
TW202040348A
TW202040348A TW109100106A TW109100106A TW202040348A TW 202040348 A TW202040348 A TW 202040348A TW 109100106 A TW109100106 A TW 109100106A TW 109100106 A TW109100106 A TW 109100106A TW 202040348 A TW202040348 A TW 202040348A
Authority
TW
Taiwan
Prior art keywords
user
glasses
image
dimensional model
computer
Prior art date
Application number
TW109100106A
Other languages
English (en)
Other versions
TWI755671B (zh
Inventor
大衛 戈德柏格
麥可 拉科斯基
班哲明 科漢
班 貨爾
布萊恩 本柏格
漢娜 紮克里
Original Assignee
美商傑德公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商傑德公司 filed Critical 美商傑德公司
Publication of TW202040348A publication Critical patent/TW202040348A/zh
Application granted granted Critical
Publication of TWI755671B publication Critical patent/TWI755671B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本技術之各個態様係關於用於諸如眼鏡之品項之虛擬試戴的系統、方法，及機器可讀媒體。一虛擬試戴介面可在一伺服器處或在一使用者裝置處實施，且可使用該等眼鏡之三維模型與一使用者之面部及頭部之三維模型之間的碰撞偵測來判定用於虛擬試戴之該等眼鏡的正確大小及位置。以該經判定大小及位置，將該等眼鏡之一虛擬表示疊加於該使用者之一影像上。

Description

用於眼鏡之虛擬試戴系統及方法
本發明大體上係關於擴增實境，且更特定而言係關於用於眼鏡之虛擬試戴系統及方法。
已開發擴增實境應用，其中虛擬物件數位地疊加於真實世界物件之影像上。在一些情況下，當一使用者導覽由一智慧型電話或平板電腦顯示之一場景時，將諸如遊戲角色之虛擬物件添加至該場景之影像。在其他情況下，將諸如卡通動物面部特徵之卡通特徵添加至一智慧型電話或平板電腦之一使用者之一面部之一影像，該影像已由智慧型電話或平板電腦之相機捕獲。在此等習知擴增實境系統中，虛擬物件之卡通化或非真實性質允許虛擬物件相對於真實世界物件之大小、形狀、定向及放置之準確性之大的餘地。
本發明提供一種用於一副眼鏡鏡框之虛擬試戴(VTO)之系統。所揭示系統及方法允許一VTO介面之一使用者在無需接達實體眼鏡鏡框之情況下判定眼鏡鏡框將在使用者面部上如何表現。在所揭示系統及方法中，藉由一相機捕獲使用者之一影像，將眼鏡鏡框之一虛擬表示疊加於經捕獲影像上，且將合成影像呈現回給使用者。
然而，當形成一真實虛擬試戴體驗時(包含(i)針對一特定使用者之獨特面部量測及特性之眼鏡鏡框之真實定大小，及(ii)眼鏡鏡框如其等將靜置於使用者之真實三維面部上般之真實定位)，存在兩個主要挑戰。
根據本發明之態様，提供克服此等挑戰兩者之系統及方法。例如，上述挑戰(i)可至少部分地藉由判定經捕獲影像中之使用者之絕對大小及距離來克服，且上述挑戰(ii)可藉由反覆地使眼鏡鏡框之一三維模型與使用者之面部及頭部之各個態様之三維位置資訊相交來克服，如後文中進一步詳細描述。
根據本發明之一些態様，提供一種電腦實施方法。該方法包含：運用一電子裝置之一相機捕獲一使用者之一面部之一影像；使用該電子裝置之一感測器獲得該使用者之三維位置資訊；獲得一副眼鏡之一三維模型；基於該影像及該三維位置資訊判定該等眼鏡之虛擬表示之一位置；基於該影像及該三維位置資訊判定該等眼鏡之一虛擬表示之一大小；及運用該電子裝置之一顯示器顯示以該經判定大小及該經判定位置包含該使用者之該影像及該等眼鏡之該虛擬表示之一經組合影像。
根據本發明之一些態様，提供一種電腦實施方法。該方法包含：捕獲一使用者之一面部之一影像；在該影像之一捕獲時間獲得該使用者之一三維模型；獲得一副眼鏡之一三維模型；基於該影像、在該影像之該捕獲時間之該使用者之該三維模型及該副眼鏡之該三維模型判定該等眼鏡之一虛擬表示之一大小及一位置；及顯示以該經判定大小且在該經判定位置處疊加於該使用者之該面部之該影像上之該等眼鏡之該虛擬表示。
根據本發明之一些態様，提供一種系統，該系統包含：一伺服器，其具有儲存複數副眼鏡之三維模型之一資料庫；及一使用者之一使用者裝置。該使用者裝置包含儲存程式碼之記憶體，該程式碼在由該使用者裝置之一處理器執行時致使該處理器：捕獲該使用者之一面部之一影像；獲得該使用者之一三維模型；自該伺服器獲得該等副眼鏡之一選定者之該三維模型；基於該影像、該使用者之該三維模型及該等副眼鏡之該選定者之該三維模型判定該等副眼鏡之該選定者之一虛擬表示之一大小及一位置；及提供以該經判定大小且在該經判定位置處疊加於該使用者之該面部之該影像上之該等副眼鏡之該選定者之該虛擬表示用於顯示。
應理解，自下文詳細描述，本技術之其他組態對於熟習此項技術者而言將容易變得顯而易見，其中本技術之各種組態以繪示方式展示及描述。如將認知，本技術能夠具有其他及不同組態且其若干細節能夠在各種其他方面進行修改，皆不背離本技術之範疇。據此，圖式及詳細描述本質上應被視為繪示性且非限制性。
在下文詳細描述中，闡述諸多特定細節以提供對本發明之一全面理解。然而，對於一般技術者而言將顯而易見的是，可在沒有一些此等特定細節之情況下實踐本發明之實施例。在其他情況下，未詳細展示熟知結構及技術以免混淆本發明。總體概述
本文中揭示虛擬試戴系統及方法。虛擬試戴系統及方法對於在真實世界中眼鏡或眼鏡鏡框將在使用者之面部上如何表現之觀看特別有用，而使用者無需接達真實世界眼鏡或鏡框。然而，亦應明白，本文中所描述之系統及方法可應用於其他物件在使用者之身體之其他部位上之虛擬試戴，例如用於眼鏡配件、頭飾、耳環、其他身體穿刺配件、珠寶、衣物或類似者之虛擬試戴。本文中所揭示之虛擬試戴系統及方法允許使用者可視化一特定真實世界品項將在使用者之特定身體上表現之方式。
然而，已發現，提供不遭受一真實性缺乏之VTO實施方案可能具挑戰性。在一些案例中，一VTO系統可能無法接達有關使用者之三維資訊且可因此猜測相對於一影像中之一使用者之面部特徵多大地製作一副虛擬眼鏡。此係因為自一影像中估計一使用者之面部特徵之實體大小並不簡單，尤其是在影像中或對於影像不存在比例參考時。一些VTO系統可假定使用者之頭部係一平均大小以便判定虛擬眼鏡之適當大小。然而，此類型之假定將產生具有小於或大於平均值之頭部之使用者之不真實結果。
此外，在沒有無法自一二維影像獲得之三維資訊之情況下，一VTO系統可基於典型使用者之典型面部特徵猜測眼鏡位於顧客之面部上之位置。然而，實際上，一副特定眼鏡位於一特定使用者之面部上之細節係依據眼鏡之正面之精確形狀及顧客之鼻子及鼻樑之三維形狀。據此，典型特徵之使用將引致具有不同於所假定典型特徵之特徵之顧客之不真實結果。
在一些案例中，一VTO系統可請求使用者將額外資訊(一經捕獲影像中之特定面部特徵之面部量測或識別符)提供(諸如輸入)至VTO系統。然而，此等額外使用者輸入可能不準確且非期望地耗時，此可能阻礙VTO系統之使用者使用提供VTO介面(例如，至由一競爭對手提供之一VTO系統)之應用或網站。
根據本發明之態様，提供VTO系統及方法，其等使用一使用者之面部之一經捕獲影像連同使用者之面部之一三維表示以及有關該影像中之使用者之面部之大小之資訊一起提供特定使用者之面部上之真實世界眼鏡之實際外觀之一真實表示。因為直接量測經捕獲影像中之使用者之面部之大小，所以本文中所描述之VTO系統及方法可以相對於使用者之面部之正確大小顯現眼鏡之一虛擬表示。後文中進一步詳細描述如眼鏡將靜置於實際使用者之面部上般之眼鏡之虛擬表示相對於使用者之面部之影像之準確放置(例如，定位及/或定向)。
儘管本文中所提供之諸多實例將一使用者之裝置或實體特徵描述為被識別及/或儲存，但各使用者可對待收集、共用及/或儲存之此使用者資訊授予明確許可。可使用整合至所揭示系統中之隱私控制授予明確許可。可向各使用者提供將在明確同意之情況下儲存此使用者資訊之通知，且各使用者可在任何時間結束儲存該資訊，且可刪除任何經儲存使用者資訊。經儲存使用者資訊可經加密以保護使用者安全。儘管根據任何及所有適用州及/或聯邦法規，本文中所描述之一些實施例可受益於將一使用者之生物特徵資料暫時儲存於一遠端伺服器上，但通常一使用者之生物特徵資料僅在使用者之裝置上儲存及處理，且一旦一當前VTO會話結束便被丟棄。
使用者可在任何時間自記憶體刪除使用者資訊及/或選擇不將使用者資訊儲存於記憶體中。此外，使用者可在任何時間調整適當隱私設定以選擇性地限制儲存於記憶體中之使用者資訊之類型，或選擇其中儲存使用者資訊之記憶體(例如，本端地儲存於使用者之裝置上而非遠端地儲存於一伺服器上)。在諸多實例中，除非使用者另有具體提供或指導，否則使用者資訊不包含及/或共用使用者之特定識別(例如，使用者之名稱)。實例系統架構
圖1繪示用於眼鏡之虛擬試戴之一實例架構100，其適於實踐本發明之一些實施方案。架構100包含透過一網路150連接之試戴伺服器130及使用者裝置110。如所展示，第三方伺服器140亦可經由網路150通信地耦合至試戴伺服器130及/或使用者裝置110。試戴伺服器130可包含與可運用使用者裝置110之一或多者虛擬地試戴之物件相關聯之資訊之資料庫142。例如，試戴伺服器130之資料庫142可包含可供購買之各副眼鏡鏡框(具有或沒有鏡片)之三維模型(例如，來自試戴伺服器本身、來自一傳統實體商店或來自另一伺服器，諸如第三方伺服器140)。在一些實施方案中，試戴伺服器130亦可儲存程式碼，該程式碼在由伺服器之一處理器執行時致使處理器提供執行本文中所描述之試戴方法及操作之一試戴介面(例如，一試戴網路介面)。在一些實施方案中，用於試戴介面之程式碼亦可或替代地儲存於使用者裝置110之一或多者處。在此等實施方案中，一使用者裝置運行一試戴介面(例如，由在使用者裝置上運行之一試戴應用程式產生)可自試戴伺服器130獲得眼鏡之三維模型且在使用者裝置處執行如本文中所描述之試戴操作。
第三方伺服器140可包含處置眼鏡之銷售之伺服器，該等眼鏡之三維表示經儲存於試戴伺服器130處，或第三方伺服器140可儲存可使用由試戴伺服器130及/或使用者裝置110提供之試戴介面(例如，藉由將其他物件之三維模型儲存於資料庫144中)且將三維模型提供至試戴伺服器130及/或使用者裝置110而試戴之其他物件之三維表示。
試戴伺服器130可各運用具有一適當處理器、記憶體及通信能力來代管一試戴介面及/或儲存眼鏡或其他物件之三維模型之任何裝置實施。使用者裝置110可為例如桌上型電腦，行動電腦(諸如膝上型電腦)，平板電腦(例如，包含電子書閱讀器)，行動電子裝置(例如，一智慧型電話、平板電腦或PDA)或具有適當成像(例如，可見光成像及/或紅外成像)、照明(例如，可見光照明及/或紅外光照明)、處理器、記憶體及通信能力來提供一虛擬試戴介面之任何其他裝置。網路150可包含例如一區域網路(LAN)、一廣域網路(WAN)、網際網路及類似者之任何一或多者。此外，網路150可包含但不限於以下網路拓撲之任何一或多者，包含一匯流排網路、一星形網路、一環形網路、一網狀網路、一星形匯流排網路、樹形或階層式網路及類似者。實例虛擬試戴 (VTO) 介面
圖2係繪示在使用者裝置110之一者上運行之一虛擬試戴(VTO)介面202之一示意圖。虛擬試戴介面202可為基於在一遠端裝置(諸如試戴伺服器130之一者)處執行之程式碼之一網路介面，或可為在使用者裝置本身上運行之一本端虛擬試戴應用程式。
在圖2之實例中，一使用者之一影像200已被捕獲(例如，使用使用者裝置110之一可見光相機205)且運用使用者裝置110之一顯示器201顯示。可見可在影像200中識別使用者之面部之各種特徵。例如，可藉由使用者裝置110及/或試戴伺服器130在影像200中看見且識別使用者之眼睛206、鼻子223及頭髮222。亦可藉由使用者裝置110及/或試戴伺服器130看見且識別更詳細特徵，諸如使用者之鼻樑點(sellion) 208、瞳孔中心204、耳上基點(otobasion superius) 218、眶上基點(orbitale superius) 216、眉間(glabella) 225及/或鼻突點(pronasale) 210。亦可或替代地藉由使用者裝置110及/或試戴伺服器130在影像200中看見且識別之其他面部特徵點包含使用者之內眥點(endocanthion)、外眥點(exocanthion)、耳屏點(tragion)、顴點(zygion)、瞼上基點(palpebrale superius)、瞼下基點(palpebrale inferius)、額顳點(frontotemporale)、上頜額葉(maxilla frontal)、眶點(orbitale)、鼻根點(nasion)及下巴(menton)(作為實例)。
然而，影像200可為不包含關於該影像中之使用者之特徵之任一者之大小及/或絕對位置之任何資訊之一二維影像。可使用一額外感測器209 (諸如另一相機、一運動感測器(例如，用於視覺慣性里程計)、一近接感測器、一飛行時間感測器、一雷射測距儀或能夠捕獲相機205之視場中之一物件之三維位置資訊之任何其他感測器)獲得使用者之此等及/或其他特徵之三維位置資訊。在一項實例中，感測器209可經實施為另一可見光相機，其在空間上偏離相機205，使得視差資訊(例如，由兩個立體成像相機205及209捕獲之影像之間的一視差效應)及相機之間的已知距離可提供三維位置資訊。在另一實例中，可基於使用者相對於相機205及/或經實施為一相機之感測器209之運動，使用運動結構操作產生三維位置資訊。
在另一實例中，感測器209可為一紅外相機，其自使用者之面部及/或頭部捕獲紅外光，諸如由一紅外光源207發射之一或多個紅外光束之反射。例如，紅外光源207可發射若干(例如，數十、數百或數千)紅外光束，該等紅外光束在使用者之面部及/或頭部上之各種量測位置處產生若干紅外光點，該等紅外光點之經反射部分可由感測器209成像。經捕獲紅外影像中之紅外光點之畸變可連同紅外光束之已知大小及形狀一起用來判定至紅外光點之各者之絕對距離。據此，感測器209(無論經實施為一相機或其他三維感測器)允許判定使用者之面部之絕對大小及/或影像200中之使用者之面部之各種特徵(例如，藉由判定影像200中具有對應特徵之各種量測位置之絕對三維位置之間的距離)。
使用者裝置110 (及/或試戴伺服器130)可產生及/或儲存使用者之三維位置資訊，諸如量測點絕對三維位置211、基於量測點絕對三維位置211之使用者之一三維模型213及/或面部特徵點絕對位置215。將經儲存之三維位置資訊映射至影像200中之對應特徵之二維位置。面部特徵點絕對位置215可為量測點絕對三維位置211之一子集，可經平均化、經內插及/或以其他方式組合量測點絕對三維位置211，或可基於三維模型213判定。三維模型213可基於量測點絕對三維位置211或基於已自量測點絕對三維位置211提取或產生之面部特徵點絕對位置215產生。在各項實施方案中，可使用由使用者裝置110提供至伺服器之資料(例如，量測點絕對三維位置211)在使用者裝置110處或在試戴伺服器130處產生三維模型213及/或面部特徵點絕對位置215。
影像200中表示之使用者可期望試戴與使用者無法實體接達之一物件，諸如圖3之眼鏡300。如圖3中所展示，眼鏡300包含實體特徵，諸如鏡框302及安裝於該鏡框中之鏡片304。
鏡框302包含一橋接部308、鼻托310、鏡腿306、端件316及鏡腿尖端(耳部件(earpiece)) 309。鼻托310可經建置至該鏡框(例如，醋酸鹽鏡框)中或可為安置於自該鏡框(例如，金屬或混合材料鏡框)延伸之托臂(例如，可調整臂)上之單獨托。鏡框302之各個部分可為與一佩戴者之面部之對應部分之接觸點，此取決於彼佩戴者之特定特性。例如，針對具有整合式鼻托310之醋酸鹽鏡框，橋接部308通常抵靠一佩戴者之鼻樑點208靜置，而整合式鼻托靜置於使用者之鼻子之鼻樑部分212上。在另一實例中，針對在托臂上具有鼻托之金屬鏡框，橋接部308將浮離使用者之皮膚，或將抵靠使用者上之一相對較高位置(例如，眉間225)靜置，其中眼鏡主要由鼻托310與使用者之鼻子之鼻樑部分212之間的接觸件支撐。
對於任何鏡框材料，在具有無框或部分無框鏡框之眼鏡中，框之底端314 (例如，在鏡片304下方)或鏡片304之底部可浮離與使用者之接觸，或可抵靠使用者之皮膚之顴骨部分214靜置。類似地，對於任何鏡框材料，鏡片上方之鏡框之部分312 (或安裝於無框鏡框中之鏡片之頂部部分)可浮離與使用者之接觸，或可抵靠眉毛、眶上基點216或使用者之皮膚之鄰近部分靜置。類似地，對於任何鏡框材料，鏡框302之鏡腿306將抵靠耳上基點218及/或鏡腿尖端309之部分可抵靠使用者之耳朵220後方之使用者之頭部之部分靜置。眼鏡300與使用者之面部及頭部之間的接觸點針對具有高對稱特徵之使用者可在使用者之面部及頭部之左側及右側上對稱，或針對具有一或多個非對稱特徵之使用者可不同。
圖3中所述之眼鏡300之特徵及/或眼鏡300之其他特徵藉由由試戴伺服器130儲存之眼鏡300之一三維模型來描述(例如，針對可用於訂購或購買之各副眼鏡)。
如本文中所描述之使用者之面部及/或頭部之三維模型可包含參考點及參數化數學函數，該等數學函數具有致使該等數學函數連接沿對應於使用者之面部及/或頭部之輪廓之路徑之參考點之參數。如本文中所描述之眼鏡之三維模型可包含參考點及參數化數學函數，該等數學函數具有致使該等數學函數連接沿對應於眼鏡之輪廓之路徑之參考點之參數。在一些案例中，可產生使用者之面部及/或頭部及眼鏡之一整合式三維模型。
一旦已獲得影像200、該影像中之使用者的三維位置資訊(例如，圖2之211、213及/或215)，及一副特定眼鏡300的三維模型，便可將眼鏡300之一虛擬表示疊加於影像200上，使得使用者可看見當佩戴於彼使用者之特定面部特徵上時，彼副特定眼鏡300將在真實世界中如何表現。
例如，圖4繪示眼鏡300之一虛擬表示400已經定大小，使得準確地表示眼鏡300相對於使用者之面部之實際大小的實際大小。應明白，虛擬表示400未經定大小以匹配影像中之使用者之特徵的外觀大小，而是匹配使用者之特徵的真實世界大小。由於此原因，若實際眼鏡300對於真實世界中之使用者而言將過大或過小，則眼鏡300之虛擬表示400可相對於使用者頭部及面部特徵之大小表現為過大或過小(與圖4之實例相反，其中該大小表現為對於使用者而言近似正確)。例如，若眼鏡300係成人大小眼鏡且使用者係一兒童，則眼鏡300之虛擬表示400將在影像200上表現為過大。
在一些實施方案中，VTO介面202可基於眼鏡之已知大小及三維位置資訊來偵測一副大小不符之眼鏡，以警告使用者一大小不符及/或以識別及/或提供可更適當地定大小之一或多副不同眼鏡之一推薦以試戴。
在圖4之實例中，於其中虛擬表示400已相對於使用者之影像定位及定大小以如眼鏡300將被靜置於真實世界中之使用者之面部上般表現之一組態中，顯示經疊加於影像200上眼鏡300之虛擬表示400。顯示眼鏡之虛擬表示(如在圖4之實例中，以經判定大小及在經判定位置處疊加於使用者之面部的影像上)可包含將眼鏡之三維模型變換成對應於經顯示二維影像之一座標系，據此(例如，基於經變換眼鏡之色彩、大小及形狀)判定二維影像之一經修改版本中之各像素之一亮度及一色彩，使得虛擬表示400正確地表現，及操作裝置110之顯示器201之顯示像素以針對彼像素以經判定亮度及色彩來顯示經修改影像之像素之各者。
在圖4之實例中，眼鏡300之虛擬表示400經疊加於影像200上以展示鼻托310靜置於使用者之鼻子之鼻樑部分212上且在鼻樑點208上方並遠離鼻樑點208支撐橋接部308。鏡腿306被展示為靜置於使用者之耳朵220之耳上基點218處。
然而，一副特定眼鏡300與一特定使用者之面部之間的接觸點或接觸點組合將判定彼副特定眼鏡將如何靜置於彼特定使用者之面部上。據此，為了判定一特定使用者之一影像200上之眼鏡300之一虛擬表示400之位置及定向，可將該等眼鏡之三維模型放置於具有使用者之三維位置資訊(例如，量測點絕對三維位置211、三維模型213及/或面部特徵點絕對位置215)之一虛擬場景中，且執行一測試以判定兩個實體是否相交。在一相交測試中，使用者裝置110及/或伺服器130判定對應於使用者之面部之表面之一幾何表面(基於量測點絕對三維位置211、三維模型213及/或面部特徵點絕對位置215)在任何點處是否與對應於眼鏡之外表面之一幾何表面重合(基於眼鏡之三維模型)。若兩個幾何表面重合，則可識別接觸點或一接觸點集(例如，對應於兩個幾何表面之間的一或多個相交曲線)。可以相對於使用者之三維位置資訊具有眼鏡300之三維模型之不同位置及/或定向之一反覆方式執行多個相交測試，以識別正確接觸點集，且判定眼鏡300之一虛擬表示400在一特定使用者之一影像200上之正確位置及定向。
此等反覆相交測試可被稱為實體放置操作，且可經執行以模擬當一顧客實際上將眼鏡放置於其等面部上時發生之實體程序。
實體放置操作可包含指定一面部座標系，諸如圖5中所展示之面部座標系。在圖5之實例中，x 軸指代定義一使用者之左側及右側(例如，在左側與右側之間延伸)之軸，其中正x 軸自原點朝向使用者自身之左側延伸。圖5中之y 軸指代定義使用者之頭部之頂部及底部(例如，在頂部與底部之間延伸)之軸，其中正y 軸正交於x軸自原點朝向使用者之頭部之頂部延伸。如所展示，z 軸指代定義使用者之頭部之前方及後方(例如，在前方與後方延伸之間)之軸，其中正z 軸正交於x 軸及y 軸且自原點朝向使用者之頭部之前方延伸。
實體放置操作可包含識別用作面部座標系之原點之一面部特徵點。以此方式，眼鏡之放置可被描述為自面部座標系之原點的偏離。一個特別有用之參考點係鼻樑點208，其指代形成於鼻子與前額之間的角度之最深中線點，或使用者之眼睛之間的「缺塊(divot)」中之最深點。鼻樑點208之位置可藉由使用者裝置110及/或試戴伺服器130使用使用者之影像200及/或三維位置資訊來識別。實體放置操作可包含識別一眼鏡座標系之一原點，諸如眼鏡之橋接部308之水平中心中之最底部、最後方點。
取決於在執行虛擬試戴操作之裝置處可用之運算資源(例如，處理能力、記憶體及/或通信頻寬)，可調整實體放置操作以提供變化位準之複雜性及真實性。在一項實例中，實體放置操作可包含(i)將眼鏡座標系之原點與面部座標系之間的x 偏移設定為零，及(ii)選擇眼鏡座標系之原點與面部座標系之間(例如，在鼻樑點與眼鏡原點之間)的固定y 及z 偏移。在此實例中，可基於鏡框之類型(例如，醋酸鹽或金屬)及/或使用者之一面部特徵點集之位置選擇固定y 及z 偏移。此類型之固定y 及z 偏移可用於低運算能力或低頻寬案例中以為顧客及眼鏡之諸多組合提供真實結果，但具有結果將不在所有情況下皆真實的可能性。例如，在一些情況下，固定y 及z 偏移將導致眼鏡模型與面部模型之間的不真實相交，從而致使眼鏡不適當地表現為在面部「後方」或嵌入使用者之面部內，如圖6中所展示。在圖6之實例中，眼鏡300之虛擬表示400之部分600不適當地嵌入使用者之面部內。在其他情況下，眼鏡可表現為不真實地浮置於使用者之面部前方。
為了提供一更真實試戴體驗，實體放置操作可包含一或多個反覆相交操作。圖7A至圖7D及圖8A至圖8D中展示繪示兩組反覆相交操作之實例。
圖7A至圖7D繪示使用一固定z 偏移(例如，複數個測試位置處之一共同z 偏移)及一可變y 偏移之一反覆相交操作，其可用於放置具有剛性正面且在穿戴時通常被向上推抵鼻樑點之醋酸鹽鏡框。在圖7A至圖7D之實例中，繪示該副眼鏡之三維模型在面部座標系中之多個測試位置，各測試位置將眼鏡300之三維模型之原點與面部座標系之原點之間的x 偏移設定為零。可選擇兩個原點之間(例如，在鼻樑點與眼鏡原點之間)之一固定z 偏移(例如，基於眼鏡與鼻樑點之間的一預定典型間隔)。為了判定眼鏡300之虛擬表示400之最終位置之最終y 偏移，可改變y 偏移(例如，如圖7A至圖7D中所繪示)以產生多個測試位置以找到導致眼鏡恰與面部接觸之y 偏移之值。在圖7A至圖7D之實例中，面部座標系中之四個實例測試位置之各者具有沿y 軸之一不同y 偏移、沿x 軸之一零x 偏移及沿z 軸之一共同z 偏移。
在圖7A之實例中，已選擇一第一測試位置(例如，具有一固定z 偏移及零x 偏移之一第一y 偏移)。然而，在此第一測試位置中，眼鏡300之三維模型部分地嵌入使用者之面部之三維表示(例如，三維位置資訊)中，該三維表示若被顯示則將致使眼鏡300之虛擬表示400消失於使用者之面部之影像中，如所展示。可(例如，由使用者裝置110或試戴伺服器130)藉由執行一相交操作來偵測此嵌入，該相交操作包含在眼鏡300之三維模型與使用者之面部之三維表示之間的一碰撞偵測操作。
當偵測到圖7A中所展示之類型之一嵌入式接觸時，眼鏡300之三維模型可移動至一新測試位置(例如，依具有相同的共同z 偏移及零x 偏移之一新y 偏移)，如圖7B中所繪示。例如，新測試位置可為一增量不同之新測試位置或在眼鏡300之三維模型與使用者之面部之三維表示之間不存在接觸之一新測試位置(例如，如運用新位置處之另一碰撞偵測操作所判定)。新測試位置可對應於描述一初始平移增量之一參數。
若(例如，由使用者裝置110或試戴伺服器130)判定在眼鏡300之三維模型與使用者之面部之三維表示之間不存在接觸(如在圖7B之實例中)，則可例如使用如熟習此項技術者將理解之一二元搜尋操作或其他搜尋演算法判定另一新測試位置(例如，另一新y 偏移)，且在彼下一新測試位置處執行另一相交(例如，碰撞偵測)操作。例如，在圖7C之實例中，新y 偏移近似在圖7B之y 偏移與一零y 偏移之一半位置(halfway)。然而，在圖7C中所展示之測試位置處，使用者裝置110或試戴伺服器130可判定在眼鏡300之三維模型與使用者之面部之三維表示之間仍不存在接觸(例如，如藉由在圖7C之新位置處執行另一碰撞偵測操作所判定)。
實體放置操作包含依一或多個額外y 偏移(例如，各使用一二元搜尋演算法來判定)之一或多個額外碰撞偵測(相交)操作，直至識別眼鏡300之三維模型在使用者之面部之三維表示上之正確靜置位置為止(例如，如圖7D中所繪示)。正確靜置位置可為眼鏡之三維模型300在自一非接觸位置移動時與使用者之面部之三維表示進行任何接觸之第一位置。然而，在一些案例中，實體放置操作可包含額外操作，諸如判定彼第一接觸是否為眼鏡在使用者之面部上將穩定之一靜置接觸或第一接觸是否為一不穩定接觸。
例如，若第一接觸係橋接部308與使用者之鼻樑點208之間或鼻托310與使用者之鼻子之鼻樑部分212之間的接觸，則可判定該接觸為一穩定或靜置接觸。然而，在一些案例中，第一接觸可在與橋接部308或鼻托310接觸之前位於使用者之面部與鏡框302之底部部分314之間，此可指示一不穩定接觸(例如，此係因為眼鏡將可能掉落或滑動至另一位置，其中橋接部308或鼻托310之至少一者與使用者接觸，而不管在掉落或滑動期間或之後是否維持與底部部分314接觸)。
若在第一接觸之後執行額外位置處之額外相交，則可選擇額外位置以避免嵌入及/或避免分離第一接觸點，直至至少一個其他接觸點接管眼鏡相對於使用者之面部之位置之控制為止(例如，藉由模擬沿使用者面部滑動鏡框之底部部分直至鼻托或橋接部接觸為止)。
圖8A至圖8D繪示使用一固定y 偏移(例如，所有測試位置之一共同y 偏移)及一可變z 偏移之一反覆相交操作，其可用於放置具有允許更大放置靈活性之可調整鼻托之金屬及/或混合材料鏡框(例如，由於使用者以後可在真實世界中調整鼻托以獲得正確y 偏移，從而在放置操作期間允許呈現正確y 偏移且保持固定)。在圖8A至圖8D之實例中，面部座標系中之四個測試位置之各者具有沿z 軸之一不同z 偏移、沿x 軸之一零x 偏移及沿y 軸之一共同y 偏移。
在圖8A之實例中，已選擇一第一測試位置(例如，具有一固定y 及零x 偏移之一第一z 偏移)。然而，在此第一測試位置中，眼鏡300之三維模型經嵌入使用者之面部之三維表示中，其若被顯示則將致使眼鏡300之虛擬表示400之至少部分消失於使用者之面部中，如所展示。可(例如，由使用者裝置110或試戴伺服器130)藉由執行一相交操作來偵測此嵌入，該相交操作包含在眼鏡300之三維模型300與使用者之面部之三維表示之間的一碰撞偵測操作。
當偵測到圖8A中所展示之類型之一嵌入式接觸時，眼鏡300之三維模型可移動至一新測試位置(例如，依一新z 偏移)，如圖8B中所繪示。例如，新測試位置可為一增量不同之新測試位置或在眼鏡300之三維模型與使用者之面部之三維表示之間不存在接觸之一新測試位置(例如，如運用新位置處之另一碰撞偵測操作所判定)。
若(例如，由使用者裝置110或試戴伺服器130)判定在眼鏡300之三維模型與使用者之面部之三維表示之間不存在接觸(如在圖8B之實例中)，則可例如使用如熟習此項技術者將理解之一二元搜尋操作或其他搜尋演算法判定另一新測試位置(例如，另一新z 偏移)，且在彼下一新測試位置處執行另一相交(例如，碰撞偵測)操作。例如，在圖8C之實例中，新z 偏移近似在圖8B之z 偏移與一零z 偏移之一半位置。然而，在圖8C中所展示之測試位置處，使用者裝置110或試戴伺服器130可判定在眼鏡300之三維模型與使用者之面部之三維表示之間仍不存在接觸(例如，如藉由在圖8C之新位置處執行另一碰撞偵測操作所判定)。
實體放置操作包含依一或多個額外z 偏移(例如，各使用一二元搜尋演算法判定)之一或多個額外碰撞偵測(相交)操作，直至識別眼鏡300之三維模型在使用者之面部之三維表示上之正確靜置位置為止(例如，如圖8D中所繪示)。正確靜置位置可為眼鏡之三維模型300在自一非接觸位置移動時與使用者之面部之三維表示進行任何接觸之位置。然而，在一些案例中，實體放置操作可包含額外操作，諸如判定彼第一接觸是否為眼鏡在使用者之面部上將穩定之一靜置接觸或第一接觸是否為一不穩定接觸，如本文中所描述。
在圖7D及圖8D之實例中，因為眼鏡模型精確地定位成與面部模型接觸，所以當虛擬表示400經疊加於影像200上時，在眼鏡模型與面部模型之間將不存在不真實相交。應明白，儘管分別單獨地繪示圖7A至圖7D及圖8A至圖8D之y 及z 變動，但在一些案例中，可運用眼鏡之三維模型之測試位置在面部座標系之x 、y 及/或z 方向上之變動執行反覆相交操作。
在一些試戴操作中，可執行高保真度位置改良操作，其中眼鏡300之額外特徵(例如，鏡框302之質量、撓性、材料及/或其他特性，及/或鏡片304之質量、放大倍數及/或其他性質)及/或使用者之額外特徵(例如，使用者之皮膚之彈性、使用者之頭部之傾斜角度、各種面部特徵之相對投影距離等)經併入至三維模型及/或相交操作中以判定最終位置。例如，可首先建立沒有鏡框302或使用者之皮膚之任何變形之一靜置接觸位置(例如，使用上文結合圖7A至圖7D及8A至圖8D所描述之程序)，之後係一高保真度位置增強操作，其中重力與重力方向及鏡框之質量與撓性及/或使用者之皮膚之柔韌性經併入以判定一改良式靜置位置。
例如，圖9繪示在一接觸位置904處與使用者之皮膚之一部分902靜置接觸之眼鏡300之一部分900之一截面圖。部分900可表示與部分902接觸之橋接部308之一部分，該部分902表示使用者之鼻子之一部分，使得接觸位置904在鼻樑點208處或附近。在另一實例中，部分900可表示與部分902接觸之鏡框302之底部部分314之一部分，該部分902表示使用者之面部之顴骨部分214，其中該等鏡框亦在一或多個其他位置處抵靠使用者之面部及/或頭部靜置。在一些案例中，圖9中所繪示之靜置接觸配置可用作眼鏡300之三維模型之最終位置以顯示虛擬表示400。然而，在高保真度位置增強操作中，可判定重力將部分900壓入真實世界中之使用者之皮膚之部分902中。
例如，如圖10中所繪示，使用者裝置110及/或試戴伺服器130可判定一重力方向1000、眼鏡300之一質量、使用者之皮膚之部分902之輪廓形狀1004及使用者之皮膚之柔韌性，以判定歸因於眼鏡之重量將發生之部分902之一些或全部之一壓縮1006。影像200及/或眼鏡300之虛擬表示400之位置可經修改以向使用者指示彼壓縮1006將針對彼副特定眼鏡發生。
此等高保真度操作亦可用來模擬眼鏡相對於使用者之面部或頭部之運動(例如，歸因於一松配合及一傾斜頭部、歸因於使用者之頭部之前後或上下運動、鏡框歸因於重力而沿使用者之鼻子滑落、運用使用者之手部調整眼鏡之虛擬表示之位置或類似者)，以將有關一副特定眼鏡在佩戴時將如何配合及/或表現之更多資訊提供給使用者。
圖11繪示根據一或多項實施方案之用於眼鏡之虛擬試戴之一實例程序之一流程圖。出於解釋性目的，本文中主要參考圖1及圖2之一或多個裝置(特定地參考試戴伺服器130及/或使用者裝置110)描述圖11之程序，該程序可由圖1之伺服器130及/或使用者裝置110之一或多個處理器執行。然而，圖11之程序不限於伺服器130及/或使用者裝置110，且該程序之一或多個方塊(或操作)可由其他合適裝置之一或多個其他組件來執行。進一步出於解釋性目的，圖11之程序之方塊在本文中被描述為串列地或線性地出現。然而，圖11之程序之多個方塊可並列地出現。另外，圖11之程序之方塊不需要以所展示順序執行及/或圖10之程序之一或多個方塊不需要被執行及/或可由其他操作取代。
在方塊1100處，可獲得一使用者之一影像。例如，可使用一相機(諸如使用者裝置110之相機205)捕獲一影像(諸如圖2之影像200)。
在方塊1102處，可獲得使用者之三維位置資訊。例如，三維位置資訊可包含量測點絕對三維位置211、基於量測點絕對三維位置211之使用者之一三維模型213及/或面部特徵點絕對位置215，如本文中所描述。例如，可使用一額外感測器(諸如感測器209)及/或一光源(諸如光源207)(例如，參見圖2及圖13)獲得三維位置資訊。
在方塊1104處，獲得眼鏡(諸如眼鏡300)之一三維模型。可自模型之一資料庫(例如，圖1之資料庫142之一者)獲得眼鏡之三維模型，各模型對應於一副真實世界眼鏡，該等模型經儲存於試戴伺服器130或另一伺服器處。獲得眼鏡之三維模型可包含將眼鏡之三維模型自伺服器下載至使用者裝置110 (例如，若在使用者裝置處執行試戴操作)。
在方塊1106處，基於影像、使用者之三維位置資訊及/或眼鏡之三維模型判定眼鏡之數位表示之一位置及/或一定向。判定眼鏡之數位表示之位置及/或定向可包含執行如上文結合例如圖7A至圖7D及圖8A至圖8D所描述且如在後文中結合圖12進一步描述之實體放置操作。實體放置操作可包含一或多個反覆碰撞偵測(相交)及二元位置搜尋操作之一組合，且可包含一或多個高保真度位置改良操作。
在方塊1108處，基於影像、使用者之三維位置資訊及/或眼鏡之三維模型判定眼鏡之一虛擬表示之一大小。經判定大小可為一像素大小(以影像像素為單位)，其準確地對應於眼鏡相對於使用者之面部之真實世界大小。例如，判定大小可包含：使用三維位置資訊判定使用者之面部之一實體大小；使用影像及經判定實體大小判定使用者之面部之一大小(以影像像素為單位)；使用經判定實體大小及使用者之面部之大小判定影像中之各影像像素之一像素大小(以影像像素為單位)；基於眼鏡之一已知大小及經判定像素大小針對經判定位置及/或定向判定眼鏡之虛擬表示之大小(例如，以像素為單位)。
在方塊1110處，顯示一經組合影像，其中例如眼鏡之虛擬表示以經判定大小、位置及/或定向疊加於使用者之影像上用於顯示(例如，使用使用者裝置110之顯示器201)，如例如圖4中所繪示。
圖12繪示根據一或多項實施方案之用於判定如結合圖11之方塊1108所描述之眼鏡之一虛擬表示之位置及/或定向之一實例程序之一流程圖。出於解釋性目的，本文中主要參考圖1及圖2之一或多個裝置(特定地參考試戴伺服器130及/或使用者裝置110)描述圖12之程序，該程序可由伺服器130及/或使用者裝置110之一或多個處理器來執行。然而，圖12之程序不限於伺服器130及/或使用者裝置110，且該程序之一或多個方塊(或操作)可由其他合適裝置之一或多個其他組件來執行。進一步出於解釋性目的，圖12之程序之方塊在本文中被描述為串列地或線性地出現。然而，圖12之程序之多個方塊可並列地出現。另外，圖12之程序之方塊不需要以所展示順序執行及/或圖12之程序之一或多個方塊不需要被執行及/或可由其他操作取代。
在方塊1200處，識別眼鏡之三維模型相對於使用者之三維位置資訊之一初始位置(例如，一初始測試位置)。初始位置可具有如上文結合圖7A或圖8A所描述之一零x 偏移及一固定y 或z 偏移。
在方塊1202處，使用者裝置110及/或試戴伺服器130判定眼鏡之三維模型是否與使用者之三維位置資訊相交。判定眼鏡之三維模型是否與使用者之三維位置資訊相交可包含執行眼鏡之三維模型與使用者之三維位置資訊之間的一碰撞偵測操作(例如，藉由判定在初始位置處眼鏡之三維模型是否與量測位置211、三維模型213或面部特徵點位置215之任一者相交)。
若判定不存在相交(例如，眼鏡之虛擬表示將表現為浮離影像200中之使用者之面部)，則在方塊1204處可判定眼鏡之三維模型(在面部座標系中)之一新測試位置。判定新測試位置可包含執行一二元位置搜尋操作，增量地朝向面部座標系之原點移動眼鏡之三維模型，或以其他方式判定一新測試位置(例如，偽隨機地)。在識別新測試位置之後，可對新測試位置重複方塊1202之操作。
若判定(在方塊1204處)眼鏡之三維模型與使用者之三維位置資訊相交，則在方塊1206處使用者裝置110及/或試戴伺服器130判定該相交是否為一接觸相交(例如，如圖7D、圖8D及圖9中所繪示)或一嵌入式相交(例如，如圖6、圖7A及圖8A中所繪示)。可藉由偵測單個接觸點或藉由判定所有接觸點在兩個模型之外邊緣處來判定一接觸相交(作為實例)。可藉由判定三維模型之一者中之一內部點與另一模型之一部分接觸來判定一嵌入式相交。
若判定(在方塊1206處)該相交係一嵌入式相交(例如，如圖6、圖7A及圖8A中所繪示)，則在方塊1208處可判定眼鏡之三維模型(在面部座標系中)之一新測試位置。判定新測試位置可包含執行一二元位置搜尋操作，增量地朝向面部座標系之原點移動眼鏡之三維模型，或以其他方式判定一新測試位置(例如，偽隨機地)。在方塊1208處識別新測試位置之後，可對新測試位置重複方塊1202之操作。
若判定(在方塊1206處)該相交係一接觸相交(例如，如圖7D、圖8D及圖9中所繪示)，則使用者裝置110及/或試戴伺服器130可直接繼續進行至方塊1214且將當前測試位置識別為最終位置，以在方塊1110處或在方塊1210處顯示，使用者裝置110及/或試戴伺服器130可判定接觸位置是否為一靜置接觸位置(例如，或一不穩定接觸位置)。例如，接觸相交可包含在橋接部308與使用者之鼻樑點208之間或在鼻托310與使用者之鼻子之鼻樑部分212之間的接觸，在此情況下可判定該接觸為一穩定或靜置接觸。在其他實例中，接觸相交可為在與橋接部308或鼻托310接觸之前於鏡框302之底部部分314之間的接觸，此可指示一不穩定接觸。
若在方塊1210處判定接觸相交並非一靜置接觸，則使用者裝置110及/或試戴伺服器130可返回至方塊1204，在該方塊1204處判定眼鏡之三維模型(在面部座標系中)之一新測試位置。若在方塊1206處偵測接觸相交之後使用額外測試位置，則額外測試位置可係使用二元搜尋或其他預接觸演算法來選擇，或可被選擇來避免嵌入及/或避免分離接觸相交之接觸點，直至至少一個其他接觸點接管眼鏡相對於使用者面部之位置的控制為止(例如，藉由虛擬地沿使用者面部滑動鏡框之底部部分直至鼻托或鼻樑接觸為止)。在識別新測試位置之後，可對新測試位置重複方塊1202、1206及1210之操作，或若已選擇新測試位置來維持接觸且避免嵌入，則使用者裝置110及/或試戴伺服器130可運用新測試位置直接返回至方塊1210。
若判定(在方塊1210處)該相交係一接觸相交(例如，如圖7D、圖8D及圖9中所繪示)，則使用者裝置110及/或試戴伺服器130可直接前繼續進行至方塊1214，且將當前測試位置識別為最終位置以在方塊1110處或在方塊1212處顯示，使用者裝置110及/或試戴伺服器130可執行高保真度放置改良操作(例如，如上文結合圖10所描述)。
在方塊1210處，可將眼鏡之三維模型於面部座標系中之當前位置及定向識別為最終位置，以在方塊1110處顯示虛擬表示400 (例如，如在上文圖4之實例中)。
儘管各項實例在本文中被描述為在如圖5中所展示之一面部座標系中實行，但應明白，各種實體放置操作之任一者可在任何座標系中(例如，在眼鏡座標系或另一座標系中)執行。
例如上文結合圖1、圖2、圖11及圖12描述使用者裝置110及/或試戴伺服器130可基於量測點絕對三維位置211及/或面部特徵點絕對位置215獲得、產生及/或儲存一使用者在一經捕獲影像200中之量測點絕對三維位置211。圖13、圖14及圖15分別繪示量測點絕對三維位置211、基於量測點絕對三維位置211之使用者之三維模型213及面部特徵點絕對位置215。
圖13繪示在圖1之三維感測器209之一項實例性實施方案中使用者裝置110可如何(例如，使用光源207)產生自使用者之面部上之各種入射位置1302反射之多個光束，諸如紅外光束1300。各光束1300在入射位置1302處產生一光點，該光點具有由至彼位置之距離及彼位置處之表面之形狀判定之一大小及一畸變。使用光束1300之已知光束大小及由感測器209 (在此實例中實施為一紅外感測器)捕獲之光點之一紅外影像，可判定至各入射位置1302之距離。各入射位置1302可表示一量測點絕對三維位置211。
圖14繪示基於量測點絕對三維位置211之使用者之三維模型213之一二維顯現1400 (例如，在捕獲影像200之時間)。顯現1400可藉由繪製由參考點及/或連接定義模型之參考點之數學函數定義之點及/或線來產生。可藉由儲存參考點、數學函數、數學函數之參數值及/或其他模型資料來儲存模型，而不管是否曾經顯現模型以供觀看。模型本身可與眼鏡300之三維模型相交，而不顯現任一模型。
圖15繪示各種面部特徵點絕對位置215之表示1500。面部特徵點絕對位置215可為在各種面部特徵點處之量測點絕對三維位置211之一選定子集，可自量測點絕對三維位置211之兩者或更多者平均化或內插，或可自三維模型213導出或提取。在其中直接自量測點絕對三維位置211直接導出(例如，經由平均化、內插或其他組合)面部特徵點絕對位置215之一些案例中，可基於面部特徵點絕對位置215作為輸入資料點來產生三維模型213。可針對其等判定絕對三維位置之面部特徵點包含(但不限於)鼻樑點、內眥點、外眥點、耳屏點、顴點、耳上基點(otobasion superius)、耳上眶點(orbitale superius)、瞼上基點、瞼下基點、瞳孔中心點(center point of the pupil)、眉間(glabella)、額顳點、上頜額葉、眶點、鼻根點、鼻突點(pronasale)及下巴。硬體概述
圖16係繪示一實例性電腦系統1600之一方塊圖，可運用實例性電腦系統1600實施圖1之使用者裝置110、(若干)試戴伺服器130及/或第三方伺服器140。在特定態様中，電腦系統1600可使用硬體或軟體及硬體之一組合(在一專用伺服器中或經整合至另一實體或跨多個實體分佈)來實施。
電腦系統1600包含用於傳達資訊之一匯流排1608或其他通信機構，及與匯流排1608耦合以處理資訊之一處理器1602。舉例而言，電腦系統1600可運用一或多個處理器1602來實施。處理器1602可為一通用微處理器、一微控制器、一數位信號處理器(DSP)、一特定應用積體電路(ASIC)、一場可程式化閘陣列(FPGA)、一可程式化邏輯裝置(PLD)、一控制器、一狀態機、閘控邏輯、離散硬體組件或可執行資訊之計算或其他操作之任何其他合適實體。
除硬體之外，電腦系統1600亦可包含為所討論之電腦程式形成一執行環境之程式碼，例如，構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統或其等之一或多者之一組合且儲存於一所包含記憶體(諸如一隨機存取記憶體(RAM)、一快閃記憶體、一唯讀記憶體(ROM)、一可程式化唯讀記憶體(PROM)、一可擦除PROM (EPROM))、暫存器、一硬碟、一可移除磁碟、一CD-ROM、一DVD或耦合至匯流排1608以儲存待由處理器1602執行之資訊及指令之任何其他合適儲存裝置)中之程式碼。處理器1602及記憶體1604可由專用邏輯電路補充或被併入專用邏輯電路中。
指令可經儲存於記憶體1604中且在一或多個電腦程式產品中實施，即，在一電腦可讀媒體上編碼以由電腦系統1600執行或控制電腦系統1600之操作且根據熟習此項技術者熟知之任何方法之電腦程式指令之一或多個模組，包含但不限於電腦語言，諸如資料導向語言(例如，SQL、dBase)、系統語言(例如，C、Objective-C、C++、Assembly)、架構語言(例如，Java、.NET)及應用程式語言(例如，PHP、Ruby、Perl、Python)。指令亦可以電腦語言實施，諸如陣列語言、態様導向語言、組合語言、編輯語言、命令列介面語言、編譯語言、同作式語言、波形括號語言、資料流語言、資料結構化語言、說明性語言、深奧語言、擴展語言、第四代語言、函數式語言、對話模式語言、解釋語言、反覆運算語言、基於清單之語言、小眾語言、基於邏輯之語言、機器語言、巨集語言、元程式設計語言、多範例語言、數值分析、基於非英語之語言、物件導向的基於類的語言、物件導向的基於原型的語言、超越規則的語言、過程語言、反射語言、基於規定之語言、指令碼語言、基於堆疊之語言、同步語言、語法處置語言、可視語言、沃思語言(wirth language)及基於xml之語言。記憶體1604亦可用於在執行待由處理器1602執行之指令期間儲存暫時性變數或其他中間資訊。
如本文中所論述之一電腦程式不一定對應於一檔案系統中之一檔案。一程式可經儲存於保存其他程式或資料之一檔案之一部分中(例如，儲存於一標記語言文件中之一或多個指令碼)，儲存於專用於所討論程式之單個檔案中或儲存於多個協調檔案(例如，儲存一或多個模組、子程式或程式碼之部分之檔案)中。可部署一電腦程式以在一個電腦或定位於一個位點處或跨多個位點分佈且藉由一通信網路互連之多個電腦上執行。本說明書中所描述之程序及邏輯流程可由執行一或多個電腦程式以藉由對輸入資料進行操作且產生輸出而執行功能之一或多個可程式化處理器來執行。
電腦系統1600進一步包含耦合至匯流排1608以儲存資訊及指令之一資料儲存裝置1606，諸如一磁碟或光碟。電腦系統1600可經由輸入/輸出模組1610耦合至各種裝置。輸入/輸出模組1610可為任何輸入/輸出模組。實例性輸入/輸出模組1610包含資料埠，諸如USB埠。輸入/輸出模組1610經組態以連接至一通信模組1612。實例性通信模組1612包含網路化介面卡，諸如乙太網路卡及數據機。在特定態様中，輸入/輸出模組1610經組態以連接至複數個裝置，諸如一輸入裝置1614及/或一輸出裝置1616。實例性輸入裝置1614包含一使用者可藉由其將輸入提供至電腦系統1600之一鍵盤及一指向裝置(例如，一滑鼠或一軌跡球)。其他種類之輸入裝置1614亦可用來提供與一使用者之互動，諸如一觸覺輸入裝置、視覺輸入裝置、音訊輸入裝置或腦機介面裝置。例如，提供給使用者之回饋可為任何形式之感覺回饋，例如視覺回饋、聽覺回饋或觸覺回饋；且可以任何形式接收來自使用者之輸入，包含聲音、語音、觸覺或腦波輸入。實例性輸出裝置1616包含顯示裝置(諸如一LCD (液晶顯示器)或發光二極體(LED)顯示器)以向使用者顯示資訊。
根據本發明之一個態様，可回應於處理器1602執行記憶體1604中所含之一或多個指令之一或多個序列而使用一電腦系統1600來實施使用者裝置110、試戴伺服器130及/或第三方伺服器140。此等指令可自另一機器可讀媒體(諸如資料儲存裝置1606)讀取至記憶體1604中。主記憶體1604中所含之指令序列之執行致使處理器1602執行本文中所描述之程序步驟。亦可採用一多處理配置中之一或多個處理器來執行記憶體1604中所含之指令序列。在替代態様中，可使用硬連線電路取代軟體指令或與軟體指令組合以實施本發明之各個態様。因此，本發明之態様不限於硬體電路及軟體之任何特定組合。
本說明書中所描述之標的物之各個態様可在一運算系統中實施，該運算系統包含：一後端組件(例如，作為一資料伺服器)；或一中間件組件(例如，一應用程式伺服器)；或一前端組件，例如具有一使用者可透過其與本說明書中所描述之標的物之一實施方案互動之一圖形使用者介面或一網路瀏覽器之一客戶端電腦；或一或多個此等後端、中間件或前端組件之任何組合。系統之組件可藉由任何形式或媒體之數位資料通信(例如，一通信網路)互連。通信網路(例如，網路150)可包含例如一LAN、一WAN、網際網路及類似者之任何一或多者。此外，通信網路可包含但不限於例如以下網路拓撲之任何一或多者，包含一匯流排網路、一星形網路、一環形網路、一網狀網路、一星形匯流排網路、樹形或階層式網路或類似者。通信模組可為例如數據機或乙太網路卡。
電腦系統1600可包含客戶端及伺服器。一客戶端及伺服器通常遠離彼此且通常透過一通信網路互動。客戶端與伺服器之關係憑藉在各自電腦上運行且彼此具有一客戶端-伺服器關係之電腦程式產生。電腦系統1600可為例如且不限於一桌上型電腦、膝上型電腦或平板電腦。電腦系統1600亦可經嵌入另一裝置中，例如但不限於一行動電話、一PDA、一行動音訊播放器、一全球定位系統(GPS)接收器、一視訊遊戲機及/或一電視機上盒。
如本文中所使用，術語「機器可讀儲存媒體」或「電腦可讀媒體」指代參與將指令提供至處理器1602以供執行之任何媒體或若干媒體。此一媒體可採取諸多形式，包含但不限於非揮發性媒體、揮發性媒體及傳輸媒體。非揮發性媒體包含例如光碟或磁碟，諸如資料儲存裝置1606。揮發性媒體包含動態記憶體，諸如記憶體1604。傳輸媒體包含同軸電纜、銅線及光纖，包含包括匯流排1608之導線。機器可讀媒體之常見形式包含例如一軟碟、一軟性磁碟、一硬碟、磁帶、任何其他磁性媒體、一CD-ROM、DVD、任何其他光學媒體、打孔卡、紙帶、具有孔圖案之任何其他實體媒體、一RAM、一PROM、一EPROM、一FLASH EPROM、任何其他記憶體晶片或盒帶、或一電腦可自其讀取之任何其他媒體。機器可讀儲存媒體可為一機器可讀儲存裝置、一機器可讀儲存基板、一記憶體裝置、實現一機器可讀傳播信號之物質之一組合物或其等之一或多者之一組合。
如本文中所使用，一系列品項之前的片語「…之至少一者」(其中術語「及」或「或」用來分離該等品項之任一者)整體上修飾清單，而非清單之各成員(即，各品項)。片語「…之至少一者」不要求選擇至少一個品項；相反，該片語允許包含該等品項之任一者之至少一者及/或該等品項之任何組合之至少一者及/或該等品項之各者之至少一者之一含義。舉例而言，片語「 A、B及C之至少一者」或「 A、B或C之至少一者」各指代僅A、僅B或僅C；A、B及C之任何組合；及/或A、B及C之各者之至少一者。
在於描述或發明申請專利範圍中使用術語「包含」、「具有」或類似者之範圍內，此術語意欲於以類似於術語「包括」之一方式為涵蓋性的，如同「包括」在一請求項中用作一過渡詞時所解釋般。字詞「實例性」在本文中用來意謂「用作一實例、例項或闡釋」。本文中被描述為「實例性」之任何實施例不一定被解釋為比其他實施例較佳或有利。
除非具體陳述，否則對單數形式之一元件之一引用並非意欲於意謂「一個且僅一個」，而係「一或多個」。一般技術者已知或以後將知之貫穿本發明所描述之各種組態之元件之所有結構及功能等效物以引用方式明確地併入本文中且意欲於被本技術涵蓋。此外，本文中所揭示之任何內容皆非意欲於專用於公眾，而不管上文描述中是否明確地敘述此揭示內容。
雖然本說明書含有諸多細節，但此等細節不應被解釋為對所主張內容之範疇之限制，而是應被解釋為對本標的物之特定實施方案之描述。在單獨實施例之背景中於本說明書中所描述之特定特徵亦可在單項實施例中組合地實施。相反，在單項實施例之背景中所描述之各種特徵亦可單獨地在多項實施例中或以任何合適子組合來實施。此外，儘管特徵可在上文被描述為以特定組合起作用且甚至最初如此主張，但在一些情況下來自一所主張組合之一或多個特徵可自該組合剔除，且所主張組合可係關於一子組合或一子組合之變動。
已根據特定態様描述本說明書之標的物，但其他態様可經實施且在下文發明申請專利範圍之範疇內。例如，雖然在圖式中以一特定順序描繪操作，但此不應被理解為要求以所展示之特定順序或以循序順序執行此等操作，或執行所有所繪示操作以達成期望結果。發明申請專利範圍中所敘述之動作可以一不同順序執行且仍達成期望結果。作為一項實例，附圖中所描繪之程序不一定要求所展示之特定順序或循序順序來達成期望結果。在特定情況下，多任務及並行處理可能係有利的。此外，上文所描述之態様中之各種系統組件之分離不應被理解為在所有態様中皆要求此分離，且應理解，所描述之程式組件及系統通常可一起整合於單個軟體產品中或封裝成多個軟體產品。其他變動係在下文發明申請專利範圍之範疇內。
100:架構 110:使用者裝置 130:試戴伺服器 140:第三方伺服器 142:資料庫 144:資料庫 150:網路 200:影像 201:顯示器 202:虛擬試戴(VTO)介面 204:瞳孔中心 205:可見光相機 206:眼睛 207:紅外光源 208:鼻樑點 209:額外感測器 210:鼻突點 211:量測點絕對三維位置 212:鼻樑部分 213:三維模型 214:顴骨部分 215:面部特徵點絕對位置 216:眶上基點 218:耳上基點 220:耳朵 222:頭髮 223:鼻子 225:眉間 300:眼鏡 302:鏡框 304:鏡片 306:鏡腿 308:橋接部 309:鏡腿尖端 310:鼻托 312:部分 314:底端 316:端件 400:虛擬表示 600:部分 900:部分 902:部分 904:接觸位置 1000:重力方向 1004:輪廓形狀 1006:壓縮 1100:方塊 1102:方塊 1104:方塊 1106:方塊 1108:方塊 1110:方塊 1200:方塊 1202:方塊 1204:方塊 1206:方塊 1208:方塊 1210:方塊 1212:方塊 1214:方塊 1300:紅外光束 1302:入射位置 1400:二維顯現 1500:表示 1602:處理器 1604:記憶體 1606:資料儲存裝置 1608:匯流排 1610:輸入/輸出模組 1612:通信模組 1614:輸入裝置 1616:輸出裝置
經包含以提供進一步理解且被併入本說明書中並構成本說明書之一部分之隨附圖式繪示所揭示實施例且連同描述一起用來解釋所揭示實施例之原理。在圖式中：
圖1繪示適於實踐本發明之一些實施方案之用於虛擬試戴之一實例架構。
圖2係繪示根據本發明之特定態様之一虛擬試戴介面之一示意圖。
圖3繪示根據本發明之特定態様之一副實例眼鏡。
圖4係繪示根據本發明之特定態様之在一使用者之一影像上顯示眼鏡之一虛擬表示之一虛擬試戴介面之一示意圖。
圖5係繪示根據本發明之特定態様之一面部座標系之一示意圖。
圖6係繪示根據本發明之特定態様之在眼鏡之一三維模型與一使用者之一三維模型之間的一嵌入式接觸之一示意圖。
圖7A至圖7D繪示根據本發明之特定態様之在用於虛擬試戴之實例性實體放置操作期間眼鏡之一三維模型在一面部座標系中之各種測試位置。
圖8A至圖8D繪示根據本發明之特定態様之在用於虛擬試戴之其他實例性實體放置操作期間眼鏡之一三維模型在一面部座標系中之各種測試位置。
圖9繪示根據本發明之特定態様之與一使用者之面部或頭部之一部分接觸之一副眼鏡之一部分之一截面圖。
圖10繪示根據本發明之特定態様之壓縮一使用者之面部或頭部之部分之圖9之該副眼鏡之部分之一截面圖。
圖11繪示根據本發明之特定態様之用於眼鏡之虛擬試戴之一實例程序。
圖12繪示根據本發明之特定態様之用於判定眼鏡之一虛擬表示之一位置之一實例程序。
圖13係繪示根據本發明之特定態様之獲得一使用者之絕對量測位置之一示意圖。
圖14係繪示根據本發明之特定態様之一使用者之一三維模型之一二維顯現之一示意圖。
圖15係繪示根據本發明之特定態様之一使用者之面部特徵點(landmark)絕對位置之一示意圖。
圖16係繪示根據本發明之特定態様之一實例電腦系統之一方塊圖，可運用該實例電腦系統實施圖1之使用者裝置、試戴伺服器及/或第三方伺服器。
100:架構
110:使用者裝置
130:試戴伺服器
140:第三方伺服器
142:資料庫
144:資料庫
150:網路

Claims (23)

  1. 一種電腦實施方法，其包括： 運用一電子裝置之一相機來捕獲一使用者之一面部之一影像； 使用該電子裝置之一感測器來獲得該使用者之三維位置資訊； 獲得一副眼鏡之一三維模型； 基於該影像及該三維位置資訊來判定該等眼鏡之一虛擬表示之一位置； 基於該影像及該三維位置資訊來判定該等眼鏡之該虛擬表示之一大小；及 運用該電子裝置之一顯示器來顯示包含該使用者之該影像及該經判定大小及該經判定位置之該等眼鏡之該虛擬表示之一經組合影像。
  2. 如請求項1之電腦實施方法，其中分別判定該等眼鏡之該虛擬表示之該大小及該位置以準確地表示該經組合影像中之該等眼鏡之該大小及該等眼鏡之該位置，宛若該等眼鏡實體上被放置於該使用者之該面部上所表現。
  3. 如請求項2之電腦實施方法，其中判定該大小包括： 使用該三維位置資訊來判定該使用者之該面部之一實體大小； 使用該影像及該經判定實體大小，以影像像素為單位來判定該使用者之該面部之一大小； 使用該經判定實體大小及以影像像素為單位之該使用者之該面部之該大小來判定該影像中之各影像像素之一像素大小；及 基於該等眼鏡之一已知大小及該經判定像素大小來判定該等眼鏡之該虛擬表示之該大小。
  4. 如請求項3之電腦實施方法，其中判定該等眼鏡之該虛擬表示之該位置包括使該等眼鏡之該三維模型與該使用者之該三維位置資訊相交。
  5. 如請求項4之電腦實施方法，其中該相交包括執行該等眼鏡之該三維模型與該使用者之該三維位置資訊之間的至少一個碰撞偵測操作。
  6. 如請求項5之電腦實施方法，其中執行該至少一個碰撞偵測操作包括反覆地在該等眼鏡之該三維模型之對應複數個位置處執行該等眼鏡之該三維模型與該使用者之該三維位置資訊之間的複數個碰撞偵測操作。
  7. 如請求項6之電腦實施方法，其中反覆地執行該複數個碰撞偵測操作包括反覆地使用一二元搜尋操作來判定該複數個位置。
  8. 如請求項5之電腦實施方法，其中該使用者之該三維位置資訊包括以下至少一者：複數個量測點絕對三維位置、該使用者之一三維模型，及複數個面部特徵點絕對位置。
  9. 如請求項8之電腦實施方法，其中該感測器包括一額外相機，該方法進一步包括： 運用該電子裝置之一光源來產生複數個光束，該複數個光束之至少一些經導向於該使用者之該面部；及 在該等光束之至少一些經導向於該使用者之該面部的同時，使用該額外相機來捕獲一第二影像。
  10. 如請求項9之電腦實施方法，進一步包括基於該經捕獲第二影像中之該等光束之該至少一些的反射來判定該複數個量測點絕對三維位置。
  11. 如請求項1之電腦實施方法，其中該感測器包括一額外相機，該方法進一步包括： 使用該額外相機來捕獲該使用者之一額外影像；及 基於該相機與該額外相機之間之一已知距離及該影像與該額外影像之間之一視差效應來產生該使用者之該三維位置資訊。
  12. 如請求項1之電腦實施方法，其中該感測器包括一飛行時間感測器、一雷射測距儀、一運動感測器、一近接感測器、一結構化光感測器，及一額外相機中之至少一者。
  13. 一種電腦實施方法，其包括： 捕獲一使用者之一面部之一影像； 在該影像之一捕獲時間獲得該使用者之一三維模型； 獲得一副眼鏡之一三維模型； 基於該影像、在該影像之該捕獲時間之該使用者之該三維模型及該副眼鏡之該三維模型來判定該等眼鏡之一虛擬表示之一大小及一位置；及 顯示以該經判定大小且在該經判定位置處疊加於該使用者之該面部之該影像上之該等眼鏡的該虛擬表示。
  14. 如請求項13之電腦實施方法，其中判定該虛擬表示之該位置包括執行該使用者之該三維模型與該副眼鏡之該三維模型之間的複數個碰撞偵測操作，其中在一面部座標系中之複數個測試位置處之該副眼鏡之該三維模型在該使用者之該三維模型上之一面部特徵點處具有一原點。
  15. 如請求項14之電腦實施方法，其中： 該面部座標系之該原點係在該影像之該捕獲時間位於該使用者之該三維模型之一鼻樑點處； 在該影像之該捕獲時間，該面部座標系之一x 軸在該使用者之該三維模型之一左側與一右側之間延伸，其中在該影像之該捕獲時間，一正x 軸自該原點朝向該使用者之該三維模型之該左側延伸； 在該影像之該捕獲時間，該面部座標系之一y 軸正交於該x 軸且在該使用者之該三維模型之一頂部與一底部之間延伸，其中在該影像之該捕獲時間，一正y 軸自該原點朝向該使用者之該三維模型之該頂部延伸；及 在該影像之該捕獲時間，一z 軸正交於該x 軸及該y 軸在該使用者之該三維模型之一前方與一後方之間延伸，其中在該影像之該捕獲時間，一正z 軸自該原點朝向該使用者之該三維模型之該前方延伸。
  16. 如請求項15之電腦實施方法，其中該面部座標系中之該複數個測試位置之各者具有沿該y軸之一不同y 偏移、沿該x 軸之一零x 偏移，及沿該z軸之一共同z 偏移。
  17. 如請求項16之電腦實施方法，其中該等眼鏡包含一醋酸鹽鏡框。
  18. 如請求項15之電腦實施方法，其中該面部座標系中之該複數個測試位置之各者具有沿該z 軸之一不同z 偏移、沿該x 軸之一零x 偏移，及沿該y 軸之一共同y 偏移。
  19. 如請求項18之電腦實施方法，其中該等眼鏡包含金屬鏡框，該等金屬鏡框在自該等金屬鏡框延伸之可調整臂上具有鼻托。
  20. 如請求項14之電腦實施方法，其中該複數個測試位置包含至少一個測試位置，在該至少一個測試位置處，於該影像之該捕獲時間，該使用者之該三維模型不與該副眼鏡之該三維模型接觸，且其中判定該虛擬表示之該位置包括反覆地朝向該面部座標系之該原點移動該測試位置及執行該複數個碰撞偵測操作，直至偵測到在該影像之該捕獲時間該使用者之該三維模型與該副眼鏡之該三維模型之間之一第一接觸為止。
  21. 如請求項13之電腦實施方法，進一步包括將複數副眼鏡之三維模型儲存於一伺服器處。
  22. 如請求項21之電腦實施方法，進一步包括： 基於該使用者之該三維模型及該等眼鏡之該三維模型來判定該等眼鏡對於該使用者而言大小不符； 基於該使用者之該三維模型來識別該等副眼鏡之一不同者；及 提供針對該等副眼鏡之該經識別不同者之一推薦。
  23. 一種系統，其包括： 一伺服器，其具有儲存複數副眼鏡之三維模型之一資料庫；及 一使用者之一使用者裝置，其中該使用者裝置包含儲存程式碼之記憶體，該程式碼在由該使用者裝置之一處理器執行時致使該處理器： 捕獲該使用者之一面部之一影像； 獲得該使用者之一三維模型； 自該伺服器獲得該等副眼鏡之一選定者之該三維模型； 基於該影像、該使用者之該三維模型及該等副眼鏡之該選定者之該三維模型來判定該等副眼鏡之該選定者之一虛擬表示之一大小及一位置；及 提供以該經判定大小且在該經判定位置處疊加於該使用者之該面部之該影像上之該等副眼鏡之該選定者之該虛擬表示用於顯示。
TW109100106A 2019-01-04 2020-01-02 用於眼鏡之虛擬試戴系統及方法 TWI755671B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/239,745 2019-01-04
US16/239,745 US10825260B2 (en) 2019-01-04 2019-01-04 Virtual try-on systems and methods for spectacles

Publications (2)

Publication Number Publication Date
TW202040348A true TW202040348A (zh) 2020-11-01
TWI755671B TWI755671B (zh) 2022-02-21

Family

ID=69374370

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100106A TWI755671B (zh) 2019-01-04 2020-01-02 用於眼鏡之虛擬試戴系統及方法

Country Status (11)

Country Link
US (3) US10825260B2 (zh)
EP (1) EP3830799A1 (zh)
JP (1) JP7109655B2 (zh)
KR (2) KR20220066991A (zh)
CN (1) CN113168733B (zh)
AU (2) AU2019419376B2 (zh)
CA (1) CA3112222A1 (zh)
IL (1) IL281827B1 (zh)
MX (2) MX2021002233A (zh)
TW (1) TWI755671B (zh)
WO (1) WO2020142295A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI770874B (zh) * 2021-03-15 2022-07-11 楷思諾科技服務有限公司 使用點擊及捲動以顯示模擬影像之方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825260B2 (en) * 2019-01-04 2020-11-03 Jand, Inc. Virtual try-on systems and methods for spectacles
US10866716B2 (en) * 2019-04-04 2020-12-15 Wheesearch, Inc. System and method for providing highly personalized information regarding products and services
US11676347B2 (en) 2020-04-15 2023-06-13 Warby Parker Inc. Virtual try-on systems for spectacles using reference frames
CN112328084A (zh) * 2020-11-12 2021-02-05 北京态璞信息科技有限公司 一种三维虚拟眼镜的定位方法、装置及电子设备
EP4006628A1 (de) * 2020-11-27 2022-06-01 Fielmann Ventures GmbH Computerimplementiertes verfahren zum bereitstellen und platzieren einer brille sowie zur zentrierung von gläsern der brille
GB202100314D0 (en) * 2021-01-11 2021-02-24 Cubitts Kx Ltd Frame adjustment systems
US11439257B1 (en) * 2021-02-24 2022-09-13 Richard H. Weiland, JR. Photographic mirror assembly
US20220300728A1 (en) * 2021-03-22 2022-09-22 Snap Inc. True size eyewear experience in real time
US11562548B2 (en) * 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
WO2022261489A1 (en) * 2021-06-10 2022-12-15 EyesMatch Ltd. System and method for digital measurements of subjects
FR3124069A1 (fr) * 2021-06-18 2022-12-23 Acep France Procédé d’essayage de lunettes virtuelles
FR3124070B1 (fr) * 2021-06-18 2023-05-19 Acep France Procédé de simulation de produits optiques
DE102021129171B3 (de) * 2021-11-09 2023-04-06 YOU MAWO GmbH Verfahren, system und computerprogramm zur virtuellen voraussage eines realen sitzes eines realen brillengestells am kopf einer person mit individueller kopfgeometrie
JP7095849B1 (ja) * 2021-11-26 2022-07-05 アイジャパン株式会社 アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム
CN114581635B (zh) * 2022-03-03 2023-03-24 上海涞秋医疗科技有限责任公司 一种基于HoloLens眼镜的定位方法及系统
US20240005387A1 (en) * 2022-07-01 2024-01-04 Warby Parker Inc. Systems and methods for spectacle removal and virtual try-on
CN115981467B (zh) * 2022-12-27 2023-09-01 北京字跳网络技术有限公司 一种图像合成参数确定方法、图像合成方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3948202B2 (ja) * 2000-10-03 2007-07-25 松下電工株式会社 避難仮想体験システム
US7016824B2 (en) * 2001-02-06 2006-03-21 Geometrix, Inc. Interactive try-on platform for eyeglasses
US20110071804A1 (en) * 2007-02-21 2011-03-24 Yiling Xie Method And The Associated Mechanism For 3-D Simulation Stored-Image Database-Driven Spectacle Frame Fitting Services Over Public Network
JP4793451B2 (ja) * 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
US20130088490A1 (en) * 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
TWI433049B (zh) * 2011-04-07 2014-04-01 Claridy Solutions Inc 眼鏡虛擬試戴互動服務系統與方法
EP3401879B1 (fr) 2012-03-19 2021-02-17 Fittingbox Procédé de modélisation d'un objet tridimensionnel à partir d'images bidimensionnelles de cet objet prises sous différents angles
US9286715B2 (en) * 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US20130335416A1 (en) * 2012-05-23 2013-12-19 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a virtual try-on product
US9470911B2 (en) * 2013-08-22 2016-10-18 Bespoke, Inc. Method and system to create products
WO2015172115A1 (en) * 2014-05-08 2015-11-12 Glasses.Com Inc. Systems and methods for scaling an object
CN104217350B (zh) * 2014-06-17 2017-03-22 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN104408764B (zh) * 2014-11-07 2017-05-24 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统
US9817248B2 (en) * 2014-12-23 2017-11-14 Multimedia Image Solution Limited Method of virtually trying on eyeglasses
CN107408315B (zh) * 2015-02-23 2021-12-07 Fittingbox公司 用于实时、物理准确且逼真的眼镜试戴的流程和方法
US10244175B2 (en) * 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
CN104809638B (zh) * 2015-05-20 2018-04-06 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN108884568B (zh) 2016-03-31 2020-06-02 富士胶片株式会社 导电性层叠体的制造方法、层叠体及导电性层叠体
FR3053509B1 (fr) 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US9990780B2 (en) * 2016-10-03 2018-06-05 Ditto Technologies, Inc. Using computed facial feature points to position a product model relative to a model of a face
US10082682B2 (en) * 2016-12-08 2018-09-25 Perfect Vision Technology (Hk) Ltd. Methods and systems for measuring human faces for fitting, selecting, and optimizing eyeglasses
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3410178A1 (de) 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
CN107330969A (zh) * 2017-06-07 2017-11-07 深圳市易尚展示股份有限公司 眼镜虚拟三维试戴方法和眼镜虚拟三维试戴系统
CN109583285B (zh) * 2017-09-29 2023-03-07 阿里巴巴集团控股有限公司 对象识别方法
US10643383B2 (en) * 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
US10501048B2 (en) * 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection
US10825260B2 (en) 2019-01-04 2020-11-03 Jand, Inc. Virtual try-on systems and methods for spectacles
US11488239B2 (en) * 2019-08-26 2022-11-01 Warby Parker Inc. Virtual fitting systems and methods for spectacles
US20220207539A1 (en) * 2020-12-24 2022-06-30 Jand, Inc. System and method for predicting a fit quality for a head wearable device and uses thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI770874B (zh) * 2021-03-15 2022-07-11 楷思諾科技服務有限公司 使用點擊及捲動以顯示模擬影像之方法
US11625158B2 (en) 2021-03-15 2023-04-11 Casenode Technology Service Co., Ltd. Method for displaying simulation images through clicking and rolling operations

Also Published As

Publication number Publication date
AU2019419376B2 (en) 2021-05-27
IL281827B1 (en) 2024-03-01
EP3830799A1 (en) 2021-06-09
KR102399289B1 (ko) 2022-05-17
JP2021534516A (ja) 2021-12-09
US11783557B2 (en) 2023-10-10
AU2019419376A1 (en) 2021-04-01
AU2021215179B2 (en) 2023-03-09
US10825260B2 (en) 2020-11-03
US20200219326A1 (en) 2020-07-09
AU2021215179A1 (en) 2021-09-02
IL281827A (en) 2021-05-31
US20220101621A1 (en) 2022-03-31
MX2021002233A (es) 2022-08-03
KR20220066991A (ko) 2022-05-24
CN113168733A (zh) 2021-07-23
TWI755671B (zh) 2022-02-21
CA3112222A1 (en) 2020-07-09
WO2020142295A1 (en) 2020-07-09
MX2022006782A (es) 2022-07-11
US20210049830A1 (en) 2021-02-18
CN113168733B (zh) 2023-07-28
KR20210062000A (ko) 2021-05-28
US11200753B2 (en) 2021-12-14
JP7109655B2 (ja) 2022-07-29

Similar Documents

Publication Publication Date Title
TWI755671B (zh) 用於眼鏡之虛擬試戴系統及方法
US11495002B2 (en) Systems and methods for determining the scale of human anatomy from images
US9842246B2 (en) Fitting glasses frames to a user
AU2020336048B2 (en) Virtual fitting systems and methods for spectacles
US9990780B2 (en) Using computed facial feature points to position a product model relative to a model of a face
US8733936B1 (en) Fitting glasses frames to a user
US11960146B2 (en) Fitting of glasses frames including live fitting
EP4136563A1 (en) Virtual try-on systems for spectacles using reference frames
US20220351467A1 (en) Generation of a 3d model of a reference object to perform scaling of a model of a user's head

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees