TW202305454A - 基於面部影像提供客製化頭盔之系統及方法 - Google Patents

基於面部影像提供客製化頭盔之系統及方法 Download PDF

Info

Publication number
TW202305454A
TW202305454A TW111120819A TW111120819A TW202305454A TW 202305454 A TW202305454 A TW 202305454A TW 111120819 A TW111120819 A TW 111120819A TW 111120819 A TW111120819 A TW 111120819A TW 202305454 A TW202305454 A TW 202305454A
Authority
TW
Taiwan
Prior art keywords
facial
user
interface
data
head
Prior art date
Application number
TW111120819A
Other languages
English (en)
Inventor
塞繆爾 戴維森 亞倫
安德魯 勞 伊恩
宋 詹姆斯
艾倫 貝里曼 加思
克里斯托弗 霍格 邁可
Original Assignee
澳大利亞商瑞思邁私人股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 澳大利亞商瑞思邁私人股份有限公司 filed Critical 澳大利亞商瑞思邁私人股份有限公司
Publication of TW202305454A publication Critical patent/TW202305454A/zh

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明提供一種收集供客製化用於虛擬實境或擴增實境系統之一頭戴式顯示介面之一面部介面結構的資料的系統及方法。諸如藉由掃描一使用者之面部而使面部影像資料與該使用者關聯。根據該面部影像資料判定與該面部介面結構相關之面部特徵資料。根據該面部特徵資料判定該面部介面結構之尺寸。儲存包括該等經判定尺寸的一客製化面部介面結構之一設計以產生該客製化面部介面結構。

Description

基於面部影像提供客製化頭盔之系統及方法
本發明大體上係關於設計特殊化頭盔,且更具體而言係關於收集面部資料以便客製化用於虛擬實境或擴增實境系統之頭戴式顯示器的系統
沉浸技術係指一種嘗試藉由建立周圍感官性感覺而藉助於數位或虛擬環境來複製或擴充實體環境,從而建立沉浸感的技術。詳言之,沉浸技術提供使用者視覺沉浸,且基於實際環境(例如擴增實境(Augmented Reality,AR))及/或虛擬環境(例如虛擬實境)建立虛擬物件。沉浸技術亦可提供其他五種感官中之至少一者的沉浸。
虛擬實境(Virtual Reality,VR)為一種向使用者呈現的電腦生成之三維影像或環境。換言之,該環境可為完全虛擬的。具體而言,使用者觀察電子螢幕以便在虛擬環境或在擴增實境環境中觀察虛擬或電腦生成影像。由於所建立環境對於VR為完全虛擬的,因此使用者與其實體環境之交互可能受阻擋及/或阻礙(例如,其可能無法聽見/看見其當前所在實體環境中的實體物件)。
電子螢幕可支撐於使用者之視線內(例如安裝至使用者頭部)。在觀察電子螢幕時,電子螢幕輸出及使用者觀察到之視覺回饋可產生意欲模擬實際環境之虛擬環境。舉例而言,使用者可能能夠藉由轉頭或旋轉其整個身體而環顧四周(例如360°),且經由電子螢幕而與使用者可觀察到之虛擬物件交互。此可為使用者提供沉浸體驗,其中虛擬環境刺激使用者之五感中之至少一者,且在使用者使用VR裝置時替代實體環境之對應刺激。通常,刺激至少與使用者之視覺相關(亦即,因為其正在觀看電子螢幕),但亦可包括其他感官。電子螢幕通常安裝於使用者頭部,以使得其可位於靠近使用者眼睛處,從而允許使用者容易觀察虛擬環境。
VR/AR裝置可產生除視覺回饋以外的其他形式之回饋。舉例而言,VR/AR裝置可包括及/或連接至揚聲器以便提供聽覺回饋。VR/AR裝置亦可包括觸覺回饋(例如呈觸覺反應形式),其可對應於視覺及/或聽覺回饋。從而可建立更具沉浸性之虛擬環境,因為使用者會接受對應於超過一種使用者感官之刺激。
在使用VR/AR裝置裝置時,使用者可能希望有所限制以阻斷周圍刺激。舉例而言,使用者可能想要避免看見及/或聽見周圍環境,以便更好地處理來自虛擬環境中之VR/AR裝置之刺激。因此,VR/AR裝置可限制及/或防止使用者之眼睛接收周圍光線。在一些實例中,此舉可藉由在使用者面部提供密封罩進行。在一些實例中,罩蓋可安置於使用者面部附近(例如接觸或密切接觸),但可不密封於使用者面部。在任一實例中,周圍光線皆不可到達使用者之眼睛,以使得使用者可觀察到之唯一光線係來自電子螢幕。
在其他實例中,VR/AR裝置可限制及/或防止使用者之耳朵聽見周圍雜訊。在一些實例中,此舉可藉由為使用者提供耳機(例如降噪耳機)進行,該等耳機可輸出來自VR/AR裝置之聲音及/或限制使用者聽到來自其實體環境之雜訊。在一些實例中,VR/AR裝置可按足以限制使用者聽到周圍雜訊的音量輸出聲音。
在任一實例中,使用者可能均不想受到過度刺激(例如,受其實體環境及虛擬環境兩者刺激)。因此,阻斷及/或限制周圍環境刺激使用者有助於使用者專注於虛擬環境,而不可能因周圍環境分心。
通常,單一VR/AR裝置可包括至少兩個不同類別。舉例而言,VR/AR裝置可根據其可攜帶性及顯示單元耦接至介面其餘部分的方式來分類。此等類別可互不相關,使得一組之類別(例如單元可攜帶性)不會預先判定另一組之類別。亦可存在將VR裝置分類的額外分類,下文未明確列舉。
在一些形式中,VR/AR裝置可結合如電腦或視訊遊戲主控台之獨立裝置使用。此類VR/AR裝置可經固定,因為其不能在沒有電腦或視訊遊戲主控台之情況下使用,因此其可使用之地點受限(例如受限於電腦或視訊遊戲主控台之位置)。
由於VR/AR裝置可結合電腦或視訊遊戲控制台使用,故VR/AR裝置可連接至電腦或視訊遊戲控制台。舉例而言,電線可將兩個系統繫在一起。還可「固定」VR/AR裝置之位置,因為戴上VR裝置之使用者無法自電腦或視訊遊戲控制台移動超出電線之長度。在其他實例中,VR/AR裝置可無線連接(例如經由藍牙、Wi-Fi等),但仍可藉由無線信號之強度相對固定。
連接至電腦或視訊遊戲主控台可為VR/AR裝置提供控制功能。可傳達控制(亦即,經由有線連接器或以無線方式),以便幫助操作VR/AR裝置。在固定單元VR/AR裝置之實例中,此等控制可能係必需的,以便操作顯示螢幕,且VR/AR裝置在不連接至電腦或視訊遊戲主控台之情況下可能不可操作。
在一些形式中,電腦或視訊遊戲主控台可為VR/AR裝置提供電力,使得使用者無需在頭部頂個電池。如此可使得VR/AR裝置佩戴更舒適,因為使用者無需支撐電池之重量。
使用者亦可經由VR/AR裝置而不是經由電視或監視器至少部分地接收來自電腦或視訊遊戲主控台之輸出,此可在使用者使用電腦或視訊遊戲控制台(例如玩視訊遊戲)時提供更沉浸之體驗。換言之,VR/AR裝置之顯示器輸出可與來自電腦監視器或電視之輸出實質上相同。輸出此等影像所需之一些控件及/或感測器可容置於電腦或視訊遊戲主控台中,此可進一步減輕使用者需要用身體支撐之重量。
在一些形式中,移動感測器可定位於遠離VR/AR裝置處,且連接至電腦或視訊遊戲主控台。舉例而言,至少一個攝影機可面對使用者以便追蹤使用者頭部之移動。可由電腦或視訊遊戲主控台進行攝影機所記錄之資料的處理,之後傳輸至VR/AR裝置。雖然此可有助於VR/AR裝置之重量減輕,但亦可進一步限制VR/AR裝置可使用的範圍。換言之,VR/AR裝置必須在攝影機之視線範圍內。
在一些形式中,VR/AR裝置可為包括電源及感測器之整裝單元,使得VR/AR裝置無需連接至電腦或視訊遊戲主控台。此為使用者提供更多使用及移動自由。舉例而言,使用者不會受限於在電腦或視訊遊戲主控台附近使用VR/AR裝置,且可在戶外或不包括電腦或電視之其他環境中使用VR/AR裝置。
由於VR/AR裝置在使用時不連接至電腦或視訊遊戲控制台,故要求VR/AR裝置支援所有必需電子組件。該等電子組件包括電池、感測器及處理器。此等組件使VR/AR裝置增重,使用者必須用其身體去支撐。可能需要適當地分配重量,使得此增加之重量不會增加佩戴VR/AR裝置之使用者的不適。
在一些形式中,在使用時,VR/AR裝置之電組件包含在單一殼體中,該殼體可直接安置於使用者面部前方。此組態可稱作「磚塊(brick)」。在此組態中,沒有定位與穩定結構之VR/AR裝置之重心直接處於使用者面部前方。為了對抗重力產生之力矩,耦接至磚塊組態之定位與穩定結構必須提供例如藉由頭套帶產生的定向至使用者面部之力。雖然磚塊組態可有益於製造(例如,因為所有電組件皆很靠近)且可實現定位與穩定結構之互換性(例如,因為其不包括電連接),但維持VR/AR裝置之位置所需的力(例如頭套中之張力)可能讓使用者不適。具體而言,VR/AR裝置可能嵌入使用者面部,導致使用者皮膚疼痛或產生印記。當使用者頭部接收到來自其面部之顯示器殼體的力或來自其頭部後方之頭套的力時,各種力的集合可能讓人感覺像被「夾住」。如此可能使得使用者不太願意佩戴VR/AR裝置。
當VR及其他混合實境裝置可能以涉及使用者頭部及/或其整個身體之用力動作之方式使用時(例如在遊戲中),可能存在較大力量/力矩會破壞裝置在使用者頭部上的位置。僅僅使裝置更緊地壓在使用者頭部來應對較大破壞力可能不可接受,因為此可能讓使用者不適或僅在較短時段後就導致不適。
在一些形式中,電組件可能在整個VR/AR裝置中間隔開來,而不是整體處於使用者面部前方。舉例而言,一些電組件(例如電池)可安置於定位與穩定結構上,尤其是後接觸部上。以此方式,電池(或其他電組件)之重量可產生在與VR/AR裝置之剩餘部分(例如顯示器)產生之力矩相反的方向上的力矩。因此,可能足以使定位與穩定結構施加更小夾緊力,從而產生更小的對抗使用者面部的力(例如在其皮膚上產生更少印記)。然而,在一些此類現有裝置中,由於電連接的原因,可能更難以清潔及/或更換定位與穩定結構。
在一些形式中,使電組件分隔開可能涉及將一些電組件與VR/AR裝置之其餘部分分開定位。舉例而言,電池及/或處理器可電連接,但與VR/AR裝置之其餘部分分開攜載。不同於在上文描述之「固定單元」中,電池及/或處理器可為攜帶型的,連同VR/AR裝置之剩餘部分。舉例而言,電池及/或處理器可攜載於使用者之腰帶上或使用者之口袋中。如此可有益於減輕使用者頭部上的重量,但不會產生反作用力矩。定位與穩定結構提供之張力可能仍小於「磚塊」組態,因為頭部支撐之總重量更小。
頭戴式顯示介面使得使用者能夠具有虛擬環境之沉浸體驗,且在諸如通信、訓練、內科與外科實踐、工程及視訊遊戲之領域中獲得廣泛應用。
不同頭戴式顯示介面可各自提供不同沉浸程度。舉例而言,一些頭戴式顯示介面可為使用者提供完全沉浸式體驗。一個完全沉浸式體驗之實例為虛擬實境(VR)。頭戴式顯示介面亦可提供與使用擴增實境(AR)裝置一致的部分沉浸。
VR頭戴式顯示介面通常提供為一種包括顯示單元之系統,該顯示單元經配置以固持於使用者面部前方之可操作位置。顯示單元通常包括含有顯示器之殼體以及經構造及配置而與使用者面部呈相對關係的使用者介面結構。使用者介面結構可在顯示器周圍延伸且與殼體結合而限定顯示器之觀看開口。使用者介面結構可與面部貼合且包括讓使用者舒適之襯墊及/或為光密封的以阻斷顯示器之周圍光線。頭戴式顯示介面系統進一步包含安置於使用者頭部以將顯示單元維持於適當位置的定位與穩定結構。
其他頭戴式顯示介面可提供次於完全沉浸之體驗。換言之,使用者可體驗其實體環境以及虛擬環境之要素。次於完全沉浸之體驗的實例為擴增實境(AR)及混合實境(Mixed Reality,MR)。
AR及/或MR頭戴式顯示介面亦通常提供為一種包括顯示單元之系統,該顯示單元經配置以固持於使用者面部前方之可操作位置。同樣,顯示單元通常包括含有顯示器之殼體以及經構造及配置而與使用者面部呈相對關係的使用者介面結構。AR及/或MR頭戴式顯示器之頭戴式顯示介面系統亦與VR類似,因為其進一步包含安置於使用者頭部以將顯示單元維持於適當位置的定位與穩定結構。然而,AR及/或MR頭戴式顯示器不包括完全密封顯示器之周圍光線的襯墊,因為此等次於完全沉浸之體驗需要實體環境之要素。相反,擴增及/或混合實境之頭戴式顯示器允許使用者看見實體環境以及虛擬環境之組合。
在任何類型之沉浸技術中,重要的均為使頭戴式顯示介面舒適以便讓使用者佩戴頭戴式顯示器之時段延長。另外,重要的是使顯示器能夠隨使用者頭部之位置及/或定向變化而提供變化影像,以便建立類似於完全實體之環境或複製完全實體之環境的部分抑或完全虛擬之環境。
頭戴式顯示器可包括使用者介面結構。由於介面部分直接接觸使用者面部,故介面部分之形狀及組態可直接影響顯示單元之效果及舒適度。此外,介面部分可在使用者必須實際上四處移動之應用中提供穩定性。穩定介面部分防止使用者為了穩定而使顯示器過緊。
使用者介面結構之設計提出了眾多挑戰。面部具有複雜之三維形狀。個人的鼻部及頭部之大小與形狀大不相同。由於頭部包括骨頭、軟骨及軟組織,故面部之不同區域對機械力的反應不同。
一種類型之介面結構在顯示單元之周邊延伸且意欲在對具有正面貼合使用者面部之介面結構的使用者介面施加力時密封在使用者面部上。介面結構可包括由聚胺酯(Polyurethane,PU)製成的護墊。關於此類型之介面結構,介面結構與面部之間存在間隙,且可能需要額外的力來迫使顯示單元抵住面部以便實現所要接觸。
完全不與使用者介面貼合之區域可能任面部介面與使用者面部之間形成間隙,非所欲光污染可能經由此間隙而進入顯示單元(例如,尤其在使用虛擬實境時)。光污染或「光洩漏」可能降低使用者之整體沉浸體驗之效果及享受性。另外,先前之系統可能難以進行調整以應用於各種各樣的頭部大小。此外,顯示單元及相關聯之穩定結構通常可能相對較重並且可能難以清潔,因此可能進一步限制系統之舒適度及可用性。
另一類性質介面結構併有薄層材料之瓣閥式密封件,其定位於顯示單元之一部分周邊周圍,以與使用者面部相抵地提供密封作用。如同先前之介面結構式樣,若面部與介面結構之間的匹配不良,則在使用時可能需要額外的力來達成密封,或光可能漏入顯示單元。此外,若介面結構之形狀不能與使用者匹配,則可能在使用時起皺或變彎,導致非所欲光透入。
使用者介面可部分地根據介面結構在使用中將與面部貼合之位置的設計意圖特徵化。一些介面結構可受限於與使用者面部上突出超過介面結構之面部貼合表面之彎曲弧線的區域貼合。此等區域通常可包括使用者之前額及顴骨。此可導致使用者在局部應力點感覺不適。其他面部區域可能完全不與介面結構貼合或可能僅以可忽略方式貼合,因此不足以增加夾緊壓力之平移距離。此等區域通常可包括使用者面部側,或使用者鼻部附近及周圍之區域。在使用者面部與介面結構不匹配之意義上,有利地是使介面結構或相關組件可調適以便形成適當接觸或其他關係。
為了將顯示單元固持於其正確可操作位置,頭戴式顯示介面系統進一步包含安置於使用者頭部上之定位與穩定結構。此等結構可負責提供對抗頭戴式顯示器及/或介面結構之重力或其他歸因於頭部運動之加速度的力。過去,此等結構由可擴展剛性結構形成,該等可擴展剛性結構通常在張力下應用於頭部以便將顯示單元維持於其可操作位置。此類系統容易對使用者面部施加夾緊壓力,可能導致使用者在局部應力點感到不適。又,先前之系統可能難以進行調整以允許廣泛應用頭部大小。此外,顯示單元及相關聯穩定結構通常較重,難以清潔,從而進一步限制系統之舒適度及可用性。
某些其他頭戴式顯示介面系統可能在功能上不適合當前領域。舉例而言,經設計用於觀賞及視覺美學之定位與穩定結構可能不具有在面部周圍維持適合壓力的結構性能力。舉例而言,過量夾緊壓力可能導致使用者不適,或替代地,使用者面部上不足之夾緊壓力可能無法有效密封顯示器以防止周圍光線。
由於此等挑戰,一些頭戴式顯示器具有以下缺點中之一或多者:難看、不夠美觀、昂貴、不合身、難用以及不舒適,尤其是長時間佩戴或使用者不熟悉系統時。大小不合適之定位與穩定結構可能導致舒適度降低且進而導致使用時段縮短。
需要一種允許基於使用者之個別特徵來提供用於沉浸應用(諸如VR及AR)之頭戴式顯示器的系統。還需要一種收集面部特徵資料並修改頭戴式顯示器尺寸以最佳地與使用者適配的系統。 [相關申請案的參考]
本發明主張2021年6月4日申請之美國臨時專利申請案第63/197,167號的優先權及權益。彼申請案之內容藉此以全文引用之方式併入。
一個所揭示實例為一種收集供客製化一頭戴式顯示介面之一面部介面結構之資料的方法。使面部影像資料與一使用者關聯。根據該面部影像資料判定面部特徵資料。根據該面部特徵資料判定該面部介面結構之尺寸。儲存包括該等經判定尺寸的一客製化面部介面結構之一設計。
在該實例方法之另一實施中,該頭戴式顯示介面為一虛擬實境系統、一擴增實境系統或一修改實境系統之部分。在另一實施中,該面部影像資料係獲自具有用以捕捉該使用者之該面部影像之一應用的一行動裝置。在另一實施中,該實例方法進一步包括顯示用於使用者輸入之一特徵選擇介面,且該設計包括該使用者輸入。在另一實施中,該使用者輸入為包括該客製化面部介面結構之一客製化頭戴式顯示介面之一選擇。在另一實施中,該使用者輸入為該面部介面結構之一顏色、一識別符、一型式或一式樣之一。在另一實施中,該使用者輸入為用於該面部介面結構之一緩衝材料。在另一實施中,該特徵選擇介面之該等尺寸之該判定包括評估該使用者之人口資料、族群及頭盔使用。在另一實施中,該面部特徵資料包括前額彎曲度、頭部寬度、顴骨、鼻縫點輪廓(Rhinion profile)及鼻部寬度。在另一實施中,判定面部特徵資料包括偵測該面部影像資料中的該使用者之一或多個面部特徵以及該面部影像資料中的具有一已知尺寸之一預定參考特徵。在另一實施中,判定面部特徵資料包括處理根據該面部影像資料之影像像素資料,以量測基於該預定參考特徵偵測之該一或多個面部特徵之一態樣。在另一實施中,將來自該像素資料之2D像素座標轉換成3D座標以供進行距離之3D分析。在另一實施中,該預定參考特徵為該使用者之虹膜。在另一實施中,判定該面部介面結構之尺寸包括基於該面部特徵資料與關於一組標準面部介面大小之大小設定資訊的資料記錄的一比較以及該面部特徵資料,自該組標準面部介面大小選擇一面部介面大小。在另一實施中,判定面部特徵資料包括應用一人體測量校正因子。在另一實施中,判定該面部介面結構之尺寸包括判定該使用者之面部與該面部介面結構之貼合點。在另一實施中,判定該面部介面結構之該等尺寸以最小化該面部介面結構在該使用者佩戴時之光洩漏。在另一實施中,判定該面部介面結構之該等尺寸以最小化該使用者之面部與該面部介面結構之間的間隙。在另一實施中,該實例方法包括訓練機器學習模型以輸出至少一個面部特徵與該面部介面結構之尺寸之間的關聯性,判定該面部介面結構之尺寸包括該經訓練機器學習模型之輸出。在另一實施中,該訓練包括基於面部介面結構之良好操作結果之輸出以及使用者面部特徵輸入及自使用者收集之主觀資料為機器學習模型提供一訓練資料集。
另一所揭示實例為一種電腦程式產品,其包含在由一電腦執行時使得該電腦實行上述方法的指令。在該電腦程式產品之另一實施中,該電腦程式產品為一非暫時性電腦可讀媒體。
另一所揭示實例為一種系統,其包括包含一或多個處理器之一控制系統以及其上儲存有機器可讀指令之一記憶體。該控制系統耦接至該記憶體,且該等上文描述之方法係在由該控制系統之該一或多個處理器中之至少一者執行該記憶體中之該等機器可執行指令時實施。
另一所揭示實例為一種電腦程式產品,其包含在由一電腦執行時使得該電腦實行上述方法的指令。在該電腦程式產品之另一實施中,該電腦程式產品為一非暫時性電腦可讀媒體。
另一所揭示實例為一種製造用於一頭戴式顯示介面之一面部介面結構的方法。使面部影像資料與一使用者關聯。根據該面部影像資料判定面部特徵資料。根據該面部特徵資料判定該面部介面結構之尺寸。儲存包括該等經判定尺寸的一客製化面部介面結構之一設計。該客製化面部介面結構係基於該經儲存設計藉由一製造系統製造。
在該實例方法之另一實施中,該製造系統包括一加工機器、一模製機器或一3D列印機中之至少一者。在另一實施中,該頭戴式顯示介面為一虛擬實境系統、一擴增實境系統或一修改實境系統之部分。在另一實施中,該面部影像資料係獲自具有用以捕捉該使用者之該面部影像之一應用的一行動裝置。在另一實施中,該實例方法包括顯示一特徵選擇介面及自該使用者收集關於該客製化面部介面結構之一顏色、一識別符、一型式或一式樣的偏好資料。該製造包括併入來自該使用者之該偏好資料。在另一實施中,該實例方法包括顯示一特徵選擇介面及自該使用者收集關於該客製化面部介面結構之緩衝材料的偏好資料。該製造包括併入該使用者偏好之該緩衝材料。
另一所揭示實例為一種產生用於一頭戴式顯示介面之一客製化面部介面結構的製造系統。該系統包括儲存該使用者之面部影像資料的一儲存裝置。一控制器耦接至該儲存裝置。該控制器根據該面部影像資料判定該使用者之面部特徵資料且根據該面部特徵資料判定該面部介面結構之尺寸。該控制器將包括該等經判定尺寸的該客製化面部介面結構之一設計儲存於該儲存裝置中。一製造裝置耦接至該控制器且基於該所儲存設計而製造該客製化面部介面。
另一所揭示實例為一種收集供客製化一頭戴式顯示介面之一面部介面結構之資料的方法。經由一處理器使一儲存裝置中儲存之面部影像資料與一使用者關聯。經由該處理器執行一面部分析應用來根據該面部影像資料判定面部特徵資料。經由該處理器根據該面部特徵資料判定該面部介面結構之尺寸。將包括該等經判定尺寸的一客製化面部介面結構之一設計儲存於該儲存裝置中。
以上發明內容不意欲代表本發明之每一實施例或每一態樣。確切而言,前述發明內容僅提供一些本文所述之新穎態樣及特徵之實例。根據下文關於實施本發明之代表性實施例及模式之詳細描述,結合隨附圖式及所附申請專利範圍,以上特徵及優點以及本發明之其他特徵及優點將顯而易見。
本發明可以許多不同形式實施。代表性實施例展示於圖式中,且將在本文中予以詳細描述。本發明為本發明原理之實例或說明,且不欲將本發明之廣泛態樣限於所示實施例。為此,例如在摘要、發明內容及實施方式部分中揭示但未詳述於申請專利範圍中之元件及限制不應以暗示、推斷或其他方式單獨或集合地併入申請專利範圍中。出於本實施方式之目的,除非明確否認,否則單數包括複數且反之亦然,且字語「包括」意謂「包括但不限於」。此外,舉例而言,諸如「約」、「幾乎」、「實質上」、「大約」等之近似字語在本文中可用於意謂「處於」、「接近」、「幾乎處於」可接受製造公差或其任何邏輯組合,或「在可接受製造公差或其任何邏輯組合之3-5%內」,或「在可接受製造公差或其任何邏輯組合內」。
本發明係關於一種無需受訓練人員或其他人幫助而設定擴增實境(AR)/虛擬實境(VR)/混合實境(MR)面部介面(下文亦稱作「面部介面」)之客製化大小的系統及方法。一種本發明技術形式之另一態樣為基於自使用者收集之資料自動量測對象(例如使用者)之面部特徵。一種本發明技術形式之另一態樣為基於自使用者收集之資料與對應資料記錄之間的比較而自動判定面部介面大小。
一種本發明技術形式之另一態樣為行動應用,其基於單個(正面)或多個二維影像便利地判定特定使用者之適當面部介面大小。一種本發明技術形式之另一態樣為行動應用,其基於三維影像便利地判定特定使用者之適當面部介面大小。
該方法可包括接收由影像感測器捕捉之影像資料。所捕捉影像資料可含有面部介面之預期使用者的與具有已知尺寸之預定參考特徵(諸如眼虹膜)相關聯的一或多個面部特徵。該方法可包括偵測所捕捉影像資料中的使用者之一或多個面部特徵。該方法可包括偵測所捕捉影像資料中之預定參考特徵。該方法可包括處理影像之影像像素資料以基於預定參考特徵量測影像中經偵測之一或多個面部特徵之態樣。該方法可包括基於一或多個面部特徵之經量測態樣與關於一組標準面部介面大小之大小設定資訊的資料記錄的比較以及該一或多個面部特徵之經量測態樣,自該組標準面部介面大小選擇一面部介面大小。
本發明技術之一些變化形式包括自動設計與特定使用者之面部特徵互補之面部介面的系統。系統可包括行動計算裝置。行動計算裝置可經組態以經由網路與一或多個伺服器通信。行動計算裝置可經組態以接收面部特徵之所捕捉影像資料。所捕捉影像資料可含有使用者的與具有已知尺寸之預定參考特徵相關聯的一或多個面部特徵。影像資料可用影像感測器捕捉。行動計算裝置可經組態以偵測所捕捉影像資料中使用者之一或多個面部特徵。行動計算裝置可經組態以偵測所捕捉影像資料中之預定參考特徵。行動計算裝置可經組態以處理影像之影像像素資料以基於預定參考特徵量測影像中經偵測之一或多個面部特徵之態樣。行動計算裝置可經組態以基於一或多個面部特徵至經量測態樣而客製化面部介面顯示器。
圖1展示呈向使用者100顯示各種影像之面部式虛擬實境(VR)磁頭組形式的系統,包括佩戴頭戴式顯示介面系統1000之使用者100。使用者站立,同時佩戴著頭戴式顯示介面系統1000。介面系統1000之磁頭組亦可用於為使用者客製化之擴增實境(AR)或混合實境(MR)應用。
圖2A展示頭戴式顯示介面系統1000之前方透視圖,且圖2B展示頭戴式顯示介面系統1000之後方透視圖。根據本發明技術之一個態樣的頭戴式顯示介面系統1000包含以下功能性態樣:面部介面結構1100、頭戴式顯示單元1200及定位與穩定結構1300。在一些形式中,一個功能性態樣可提供一或多個實體組件。在一些形式中,一或多個實體組件可提供一或多個功能性態樣。頭戴式顯示都那樣頭戴式顯示單元1200可包含顯示器。在使用時,頭戴式顯示單元1200經配置以定位於使用者眼睛附近及前面,以便使用者能夠觀看顯示器。
在其他態樣中,頭戴式顯示介面系統1000亦可包括顯示單元殼體1205、光學透鏡1240、控制器1270、揚聲器1272、電源1274及/或控制系統1276。在一些實例中,此等組件可為頭戴式顯示介面系統1000之整體部件,但在其他實例中,此等組件可為模組化的且在使用者需要時併入至頭戴式顯示介面系統1000中。
頭戴式顯示單元1200可包括用於為使用者提供可觀察輸出之結構。具體而言,頭戴式顯示單元1200經配置以固持於(例如手動地、藉由定位與穩定結構等)使用者面部前方之可操作位置。
在一些實例中,頭戴式顯示單元1200可包括顯示螢幕1220、顯示單元殼體1205、面部介面結構1100及/或光學透鏡1240。此等組件可永久組裝於單一頭戴式顯示單元1200中,或其可為分開的且由使用者選擇性地連接以形成頭戴式顯示單元1200。另外,顯示螢幕1220、顯示單元殼體1205、介面結構1100及/或光學透鏡1240可包括於頭戴式顯示介面系統1000中,但可不為頭戴式顯示單元1200之部分。
一些形式之頭戴式顯示單元1200包括圖2B中未展示但提供於顯示單元殼體1205內之顯示器,例如顯示螢幕。顯示螢幕可包括向使用者提供可觀察輸出之電組件。在一個本發明技術形式中,顯示螢幕提供可由使用者觀察之光學輸出。光學輸出允許使用者觀察虛擬環境及/或虛擬物件。顯示螢幕可定位於靠近使用者眼睛處,以便允許使用者觀看顯示螢幕。舉例而言,顯示螢幕可定位在使用者眼睛前面。顯示螢幕可輸出電腦生成影像及/或虛擬環境。在一些形式中,顯示螢幕為電子顯示器。顯示螢幕可為液晶顯示器(Liquid Crystal Display,LCD)或發光二極體(Light-Emitting Diode,LED)螢幕。在某些形式中,顯示螢幕可包括背光,其可有助於照亮顯示螢幕。當在黑暗環境中觀看顯示螢幕時,此可能尤其有益。在一些形式中,顯示螢幕可延伸比使用者瞳孔之間的距離寬的距離。顯示螢幕亦可比使用者面頰之間的距離寬。在一些形式中,顯示螢幕可顯示至少一個可供使用者觀察之影像。舉例而言,顯示螢幕可顯示基於預定條件(例如,時間推移、使用者移動、來自使用者之輸入等)而變化之影像。在某些形式中,顯示螢幕之部分可為使用者之僅一隻眼睛可見。換言之,顯示螢幕之部分可定位於使用者之僅一隻眼睛(例如右眼)附近及前面,且擋住另一隻眼(例如左眼)之視線。在一個實例中,顯示螢幕可分為兩側(例如左側及右側),且可一次顯示兩個影像(例如一側一個影像)。顯示螢幕之每一側可顯示一類似影像。在一些實例中,影像可完全相同,而在其他實例中,影像可稍微不同。總之,顯示螢幕上之兩個影像可形成雙目顯示,其可為使用者提供更逼真VR體驗。換言之,使用者之大腦可將來自顯示螢幕1220之兩個影像一起處理成單一影像。提供兩個(例如不完全相同之)影像可允許使用者觀看其周邊之虛擬物件,且擴展其在虛擬環境中之視野。在某些形式中,顯示螢幕可經定位以便使用者之雙眼可見。顯示螢幕每次可輸出可由雙眼觀看之單一影像。相較於多影像顯示螢幕,此可簡化處理。
在如圖2A至圖2B中所示之本發明技術之一些形式中,顯示單元殼體1205為顯示螢幕提供支撐結構,以便維持顯示螢幕之至少一些組件相對於彼此之位置,且另外亦可保護頭戴式顯示單元1200之顯示螢幕及/或其他組件。顯示單元殼體1205可由適合為顯示螢幕提供衝擊力保護之材料構造。顯示單元殼體1205亦可接觸使用者面部,且可由適合減少使用者之疼痛的生物相容性材料構造。
根據本發明技術之一些形式的顯示單元殼體1205可由硬性、剛性或半剛性材料(諸如塑膠)構造。在一些形式中,剛性或半剛性材料可至少部分用軟性及/或可撓性材料(例如紡織物、矽樹脂等)包覆。如此可改良生物相容性及/或使用者舒適度,因為使用者貼近(例如用手抓住)的顯示單元殼體1205之至少一部分包括軟性及/或可撓性材料。根據本發明技術之其他形式的顯示單元殼體1205可由柔性、可撓性、彈性材料(諸如矽橡膠)構造。在一些形式中,顯示單元殼體1205可具有實質上矩形或實質上橢圓形輪廓。顯示單元殼體1205可具有帶實質上矩形或實質上橢圓形輪廓之三維形狀。
在某些形式中,顯示單元殼體1205可包括上表面1230、下表面1232、左側面1234、右側面1236及前表面1238。顯示螢幕1220在使用時可固持於該等表面內。在某些形式中,上表面1230及下表面1232可具有實質上相同之形狀。在一個形式中,上表面1230及下表面1232可為實質上平坦的,且沿著平行平面延伸(例如在使用時實質上平行於法蘭克福平面(Frankfort horizontal))。在某些形式中,左側面1234及右側面1236可具有實質上相同之形狀。在一個形式中,左側面1234及右側面1236可在上表面1230與下表面1232之間彎曲及/或倒圓。倒圓及/或彎曲面的左側面1234、右側面1236可能讓使用者在戴上及/或脫下頭戴式顯示介面系統1000時抓握更舒適。
在某些形式中,前表面1238可在上表面1230與下表面1232之間延伸。前表面1238可形成頭戴式顯示介面系統1000之最前部分。在一個形式中,前表面1238可為實質上平面表面,且可在使用者佩戴頭戴式顯示介面系統1000時實質上平行於冠狀面。在一個形式中,前表面1238可不具有形狀與前表面1238實質上相同之對應相對面(例如後表面)。顯示單元殼體1205之後部分可為至少部分開口的(例如在往前方向上凹入),以便容納使用者面部。
在一些形式中,顯示螢幕經永久整合至頭戴式顯示介面系統1000中。顯示螢幕可為僅可作為頭戴式顯示介面系統1000之部分使用的裝置。在一些形式中,顯示單元殼體1205可包圍顯示螢幕,可保護顯示螢幕及/或限制使用者對顯示螢幕之組件的干擾(例如移動及/或破壞)。
在某些形式中,顯示螢幕可實質上密封於顯示單元殼體1205內,以便限制塵土或其他碎屑在顯示螢幕表面堆積,此堆積可能對使用者能否觀看顯示螢幕輸出之影像產生不利影響。可能不需要使用者破壞密封及接近顯示螢幕,因為顯示螢幕不可自顯示單元殼體1205拆卸。在一些形式中,顯示螢幕經可拆卸地整合至頭戴式顯示介面系統1000中。顯示螢幕可為可整體獨立於頭戴式顯示介面系統1000使用之裝置。舉例而言,顯示螢幕可設置於智慧型手機或其他攜帶型電子裝置上。
在一些形式中,顯示單元殼體1205可包括隔層。顯示螢幕之一部分可能以可拆卸方式容納於隔層內。舉例而言,使用者可將顯示螢幕可拆卸地定位於隔層中。此可能在顯示螢幕於頭戴式顯示單元1200外部執行額外功能(例如,作為攜帶型電子裝置,如手機)時有用。另外,自顯示單元殼體1205拆卸顯示螢幕可有助於使用者清潔及/或替換顯示螢幕。顯示單元殼體1205之某些形式包括通至隔層之開口,從而允許使用者更容易地將顯示螢幕插入及自隔層拆卸。顯示螢幕可經由摩擦嚙合而保持於隔層內。在某些形式中,罩蓋可選擇性地覆蓋隔層,且可在顯示螢幕1220定位於隔層內時為其提供額外保護及/或保障。在某些形式中,隔層可在上表面上開口。當使用者佩戴頭戴式顯示介面系統1000時,顯示螢幕可在實質上豎直方向上插入隔層內
如圖2A至圖2B中所示,本發明技術之一些形式包括對介面結構1100進行定位及/或配置以便復合使用者面部之形狀,且可在使用者佩戴及/或使用頭戴式顯示介面系統1000時為其提供額外舒適度。在一些形式中,介面結構1100耦接至顯示單元殼體1205之表面。在一些形式中,介面結構1100可至少部分地在顯示單元殼體1205周圍延伸,且可形成觀看開口。觀看開口可在使用時至少部分容納使用者面部。具體而言,使用者之眼睛可容納於介面結構1100形成之觀看開口內。
在一些形式中,根據本發明技術之介面結構1100可由生物相容性材料構造。在一些形式中,根據本發明技術之介面結構1100可由軟性、可撓性及/或彈性材料構造。在某些形式中,根據本發明技術之介面結構1100可由矽橡膠及/或泡沫體構造。在一些形式中,介面結構1100可接觸使用者面部之敏感區域,其可為不適之位置。形成介面結構1100之材料可為此等敏感區域提供緩衝,且減少使用者在佩戴頭戴式顯示介面系統1000時之不適。在某些形式中,此等敏感區域可包括使用者之前額。具體而言,此區域可包括使用者頭部上靠近額骨之區域,如顱頂及/或眉間。此區域可能敏感,因為來自使用者皮膚與骨頭之間的肌肉及/或脂肪的天然緩衝有限。類似地,使用者之鼻嵴亦可能幾乎沒有天然緩衝。 在一些形式中,介面結構1100可包含單一元件。在一些實施例中,介面結構1100可經設計以供大量製造。舉例而言,介面結構1100可經設計以舒適地適配多種多樣的不同臉型及大小。在一些形式中,介面結構1100可包括覆蓋於使用者面部之不同區域的不同元件。介面結構1100之不同部分可由不同材料構造,且在不同區域為使用者提供不同紋理及/或緩衝。
頭戴式顯示介面系統1000之一些形式可包括遮光罩,該遮光罩可由不透明材料構造且可阻擋周圍光達至使用者眼睛。遮光罩為介面結構1100之部分或可為單獨的元件。在一些實例中,除了為頭戴式顯示單元1200與使用者面部之間的接觸提供舒適接觸部分,介面結構1100亦可藉由為使用者眼睛屏蔽周圍光而形成遮光罩。在一些實例中,遮光罩可由共同起作用以阻擋周圍光的多個組件形成。
圖2C展示與頭戴式顯示單元1200一起使用之定位與穩定結構1300的透視圖。圖2D展示使用者面部之前視圖,示出介面結構在使用時之位置。介面結構1100用作密封形成結構,且提供目標密封形成區域。目標密封形成區域為密封形成結構上可能進行密封之區域。實質上進行密封之區域—實際密封區域可視一系列因素在給定期間內、每天及因使用者而異地變化,該等因素包括但不限於顯示單元殼體1205置於面部之位置、定位與穩定結構1300中之張力及/或使用者面部之形狀。在一個形式中,目標密封形成區域位於介面結構1100之外表面上。在一些形式中,遮光罩可形成密封形成結構且密封於使用者面部。在本發明技術之某些形式中,提供一系統以使介面結構1100成型為對應於不同大小及/或形狀。舉例而言,介面結構1100可針對大碼頭及小碼頭予以定製。
如圖2B中所示,至少一個透鏡1240可安置於使用者眼睛與顯示螢幕1220之間。使用者可經由透鏡1240觀看顯示螢幕1220提供之影像。至少一個透鏡1240可有助於將顯示螢幕1220與使用者面部遠遠隔開以減少眼疲勞。至少一個透鏡1240亦可有助於更佳地觀察顯示螢幕1220正顯示之影像。在一些形式中,透鏡1240為菲涅耳透鏡。在一些形式中,透鏡1240可具有實質上截頭圓錐形形狀。在使用中,透鏡1240之較寬端可安置為靠近顯示螢幕1220,且透鏡1240之較窄端可安置為靠近使用者眼睛。在一些形式中,透鏡1240可具有實質上圓柱形形狀,且在使用中靠近顯示螢幕1220及靠近使用者眼睛之距離可實質上相同。在一些形式中,至少一個透鏡1240亦可放大顯示螢幕1220之影像,以便有助於使用者觀看影像。
在一些形式中,頭戴式顯示介面系統1000包括兩個透鏡1240(例如,雙目顯示),一個用於使用者之一隻眼睛。換言之,使用者之每一隻眼睛可經由定位於各別瞳孔前方之單獨的透鏡觀看。每一透鏡1240可完全相同,但在一些實例中,一個透鏡1240可不同於另一透鏡1240(例如具有不同放大率)。在某些形式中,顯示螢幕1220可同時輸出兩個影像。使用者之每一隻眼睛可能只能看見兩個影像中之一者。該等影像並排顯示於顯示螢幕1220上。每一透鏡1240僅准許每一隻眼睛觀察靠近各別眼睛之影像。使用者可將此等兩個影像一起作為單一影像進行觀察。在一些形式中,每一透鏡1240之後周長可大約為使用者眼眶之大小。後周長可稍微大於使用者眼眶之大小以便確保使用者之整個眼睛能夠看入各別透鏡1240。舉例而言,每一透鏡1240之外邊緣可在向上方向上與使用者之額骨對準(例如靠近使用者之眉毛),且可在向下方向上與使用者之上頜骨對準(例如靠近外頰區域)。透鏡1240之該定位及/或大小設定可使使用者在虛擬環境中具有大約360°之周邊視覺,以便更近似地模擬實體環境。
在一些形式中,頭戴式顯示介面系統1000包括單一透鏡1240(例如單目顯示)。透鏡1240可定位於雙眼前方(例如,使得雙眼經由透鏡1240觀看來自顯示螢幕1220之影像)或可僅定位於一隻眼睛前方(例如在僅可用一隻眼睛觀看來自替換顯示螢幕1220之影像)。
透鏡1240可耦接至經定位靠近顯示螢幕1220(例如在顯示螢幕1220與介面結構1100之間)的墊圈,使得透鏡1240不直接接觸顯示螢幕1220(例如以便限制透鏡1240以免劃傷顯示螢幕1220)。舉例而言,透鏡1240可相對於介面結構1100凹入,使得透鏡1240安置於觀察開口內。在使用時,使用者之每一隻眼睛與各別透鏡1240對準,同時使用者面部容納於觀察開口內(例如可操作位置)。在一些形式中,每一透鏡1240之前周長可覆蓋顯示螢幕1220之大約一半。實質上較小之間隙可沿顯示螢幕1220之中心線存在於兩個透鏡1240之間。此可允許使用者經由兩個透鏡1240觀看,從而能夠觀看實質上整個顯示螢幕1220以及所有輸出給使用者之影像。在某些形式中,顯示螢幕1220之中心(例如沿兩個透鏡1240之間的中心線)可不輸出影像。舉例而言,在雙目顯示中(例如在顯示螢幕1220之每一側輸出實質上相同之影像的情況下),每一影像可在顯示螢幕1220上間隔開來。此可允許兩個透鏡1240定位成十分靠近顯示螢幕1220,同時允許使用者觀看顯示螢幕1220上顯示之整個影像。
在一些形式中,保護層1242可形成於透鏡1240之至少一部分周圍。在使用時,保護層1242可定位於使用者面部與顯示螢幕1220之間。在一些形式中,每一透鏡1240之一部分可在向後方向上突出穿過保護層1242。舉例而言,在使用時,每一透鏡1240之較窄端可向後突出而超過保護層1242。在一些形式中,保護層1242可為不透明的,使得來自顯示螢幕1220之光無法穿過。另外,使用者若不經由透鏡1240觀看,則可能無法觀看顯示螢幕1220。在一些形勢下,保護層1242可為非平面的,且可包括實質上匹配使用者面部輪廓線之輪廓線。舉例而言,保護層1242之一部分可在向前方向上凹入,以便容納使用者鼻部。在某些形式中,使用者在佩戴頭戴式顯示介面系統1000時可不接觸保護層1242。此可有助於減輕因使用者面部之額外接觸(例如抵住鼻嵴敏感區域)產生之疼痛。
如圖2A至圖2B中所示,本發明技術之頭戴式顯示介面系統1000之顯示螢幕1220及/或顯示單元殼體1205在使用時可藉由定位與穩定結構1300固持於適當位置。為將顯示螢幕1220及/或顯示單元殼體1205固持於其正確可操作位置,定位與穩定結構1300理想地應舒適地抵靠使用者頭部,以便以最小化因延長使用導致之面部印記及/或疼痛的方式適應由顯示單元重量導致之負載。亦需要在不犧牲舒適度、可用性及製造成本之情況下實現普遍適配。該設計準則可包括預定範圍內之可調整性,以及具有低靈巧度臨限值之低觸控簡單設定解決方案。其他考慮因素包括迎合可能會使用頭戴式顯示介面系統1000之動態環境。作為虛擬環境之沉浸體驗的部分,使用者可在使用頭戴式顯示介面系統1000時進行交流,亦即交談。如此,使用者之頜或下頜骨可相對於顱骨之其他骨頭移動。另外,在頭戴式顯示介面系統1000之整個使用週期期間,整個頭部可能移動。例如,使用者之上身的移動及在一些情況下下身的移動,以及尤其頭部相對於上身及下身之移動。
在一個形式中,定位與穩定結構1300提供保持力以克服顯示螢幕1220及/或顯示單元殼體1205上重力之影響。在本發明技術之一個形式中,提供之定位與穩定結構1300係以符合使用者舒適佩戴之方式組態。在一個實例中,定位與穩定結構1300具有低剖面或橫截面厚度,以減小裝置之感官體積或實際體積。在一個實例中,定位與穩定結構1300包含至少一個具有矩形橫截面之條帶。在一個實例中,定位與穩定結構1300包含至少一個扁平帶。
在本發明技術之一個形式中,提供之定位與穩定結構1300經組態成不會過大及過於笨重而妨礙使用者舒適地移動其頭部。在本發明技術之一個形式中,定位與穩定結構1300包含由紡織使用者接觸層、泡沫體內層及紡織外層之積層構造的條帶。在一個形式中,泡沫體為多孔的,以允許水分(例如汗液)穿過條帶。在一個形式中,條帶之皮膚接觸層係由幫助以毛細作用自使用者面部帶走水分之材料形成。在一個形式中,紡織外層包含環狀材料以與鉤狀材料部分嚙合。
在本發明技術之某些形式中,定位與穩定結構1300包含可延伸,例如彈性延伸之條帶。舉例而言,條帶可經組態以在使用時處於張力下,且導引力將顯示螢幕1220及/或顯示單元殼體1205拉向使用者面部之一部分,尤其靠近使用者眼睛並與其視野成直線之部分。在一實例中,條帶可經組態呈綁帶形式。
如圖2C中所示,頭戴式顯示介面系統1000或定位與穩定結構1300之一些形式包括顳部連接器1250,其各自可在使用時覆蓋使用者之顳骨中之各別者。顳部連接器1250之一部分在使用時接觸使用者頭部靠近使用者之每一隻耳朵之上(亦即上方)之區域。在一些實例中,顳部連接器1250為定位與穩定結構1300之條帶部分。在其他實例中,顳部連接器1250為頭戴式顯示單元1200之臂1210。在一些實例中,頭戴式顯示介面系統1000之顳部連接器1250可部分地由定位與穩定結構1300之條帶部(例如側帶部1330)且部分地由頭戴式顯示單元1200之臂1210形成。
顳部連接器1250可為定位與穩定結構1300之側部,因為每一顳部連接器1250定位於使用者頭部之左側或右側。在一些形式中,顳部連接器1250可在前後方向上延伸,且可實質上平行於矢狀面。在一些形式中,顳部連接器1250可耦接至顯示單元殼體1205。舉例而言,顳部連接器1250可連接至顯示單元殼體1205之側面。舉例而言,每一顳部連接器1250可耦接至左側面1234及右側面1236中之各別者。在某些形式中,顳部連接器1250可樞轉地連接至顯示單元殼體1205,且可在每一顳部連接器1250與顯示單元殼體1205之間提供相對旋轉。
在某些形式中,顳部連接器1250可以可拆卸地連接至顯示單元殼體1205(例如經由磁鐵、機械緊固件、鉤狀及環狀材料等)。在一些形式中,顳部連接器1250可在使用時經配置以大體上沿著或平行於頭部之法蘭克福平面且在顴骨之上(例如在使用者顴骨上方)延行。在一些形式中,顳部連接器1250可類似於眼鏡臂抵靠使用者頭部而定位,且定位為比每一各別耳朵之對耳輪更靠上。
如圖2C中所示,定位與穩定結構1300之一些形式可包括有助於靠近使用者眼睛支撐顯示螢幕及/或顯示單元殼體1205的後支撐部1350(圖2B所示)。後支撐部1350可有助於將顯示螢幕及/或顯示單元殼體1205穩固至使用者頭部,以便使顯示螢幕靠近使用者眼睛適當地定向。
在一些形式中,後支撐部1350可經由顳部連接器1250耦接至顯示單元殼體1205。在某些形式中,顳部連接器1250可直接耦接至顯示單元殼體1205及後支撐部1350。在一些形式中,後支撐部1350可具有三維輪廓曲線以適配使用者頭部之形狀。舉例而言,後支撐部1350之三維形狀可具有適於在使用時覆蓋使用者頭部之頂骨及枕骨之一部分的大體上圓形三維形狀。在一些形式中,後支撐部1350可為定位與穩定結構1300之後部。後支撐部1350可提供至少部分定向在向前方向上的穩固力。
在某些形式中,後支撐部1350為定位與穩定結構1300之最下部。舉例而言,後支撐部1350可接觸使用者頭部於枕骨與斜方肌之間的區域。後支撐部1350可鉤住枕骨之下緣(例如枕部)。後支撐部1350可提供定向在向上方向及/或向前方向上之力,以便維持與使用者之枕部的接觸。在某些形式中,後支撐部1350為整個頭戴式顯示介面系統1000之最下部。舉例而言,後支撐部1350可定位於使用者頸部底部(例如覆蓋比使用者眼睛更下方之枕骨及斜方肌),使得後支撐部1350比顯示螢幕1220及/或顯示單元殼體1205更靠下。在一些形式中,後支撐部1350可包括填充材料,其可接觸使用者之頭部(例如覆蓋枕骨與斜方肌之間的區域)。填充材料可為使用者提供額外舒適度,且減少由向使用者頭部牽拉之後支撐部1350引起之印記。
定位與穩定結構1300之一些形式可包括前額支撐件1360或額部支撐部,其經組態以在使用時接觸使用者眼睛上方之使用者頭部。圖2B中所示之定位與穩定結構1300包括前額支撐件1360。在一些實例中,圖2A中所示之定位與穩定結構1300可包括前額支撐件1360。前額支撐件1360可覆蓋使用者頭部之額骨。在某些形式中,前額支撐件1360亦可比蝶骨及/或顳骨更靠上。亦可使前額支撐件1360高於使用者之眉毛。
在一些形式中,前額支撐件1360可為定位與穩定結構1300之前部,且可安置於使用者頭部上比定位與穩定結構1300之任何其它部分更靠前處。後支撐部1350可提供至少部分定向在向後方向上的穩固力。
在一些形式中,前額支撐件1360可包括緩衝材料(例如紡織物、泡沫體、矽樹脂等),其可接觸使用者且可幫助減少由定位與穩定結構1300引起之印記。前額支撐件1360及介面結構1100可共同作用以便為使用者提供舒適度。
在一些形式中,前額支撐件1360可與顯示單元殼體1205分開,且可與顯示單元殼體1205不同(例如更靠上)之位置接觸使用者頭部。在一些形式中,前額支撐件1360可經調整以允許定位與穩定結構1300適應使用者面部之形狀及/或組態。在一些形式中,顳部連接器1250可耦接至前額支撐件1360(例如在前額支撐件1360之側面)。顳部連接器1250可至少部分地在向下方向上延伸以便耦接至後支撐部1350。
在某些形式中,定位與穩定結構1300可包括多對顳部連接器1250。舉例而言,一對顳部連接器1250可耦接至前額支撐件1360,且一對顳部連接器1250可耦接至顯示單元殼體1205。在一些形式中,前額支撐件1360可處於大體上平行於使用者頭部以為使用者提供改良之舒適度的角度。舉例而言,前額支撐件1360可能以覆蓋額骨且實質上平行於冠狀面之定向定位在使用者身上。使前額支撐件1360實質上平行於冠狀面定位可減少可能由不平整外觀所導致的壓瘡的可能性。
在一些形式中,前額支撐件1360可自與使用者頭部之後方區域接觸之後支撐件或後支撐部1350(例如覆蓋枕骨及斜方肌之區域)偏移。換言之,沿著後條帶之軸線不會貫穿前額支撐件1360,該前額支撐件1360可經安置而比沿後條帶之軸線更靠下及靠前。前額支撐件1360與後條帶之間產生之偏移可產生與顯示螢幕1220及/或顯示單元殼體1205之重力相反之力矩。較大偏移可產生較大力矩,且因此更有助於維持顯示螢幕1220及/或顯示單元殼體1205之適當位置。可藉由將前額支撐件1360移動至更靠近使用者眼睛(例如沿使用者頭部更靠前及靠下)處及/或增大後條帶之角度而使得其更加豎直來增大偏移。
在一些形式中,顯示單元殼體1205可包括至少一個環或眼孔1254,且顳部連接器1250中之至少一者可穿過彼環並且自身對折。穿過各別眼孔1254之顳部連接器1250之長度可由使用者選擇,以便調整定位與穩定結構1300提供之張力。舉例而言,使顳部連接器1250之更多長度穿過眼孔1254可支撐更大張力。
在一些形式中,顳部連接器1250中之至少一者可包括調整部1256及容納部1258。調整部1256可穿過眼孔1254定位於顯示單元殼體1205上,且可耦接至容納部1258(例如藉由自身對折)。調整部1256可包括鉤狀材料,且容納部1258可包括環狀材料(或反之亦然),使得調整部1256可以可拆卸地固持於所要位置。在一些實例中,鉤狀材料及環狀材料可為維可牢(Velcro)。
在一些形式中,定位與穩定結構1300可包括頂部條帶部1340,其可覆蓋使用者頭部之上區域。在一些形式中,頂部條帶部1340可在頭戴式顯示介面系統1000之前部與頭戴式顯示介面系統1000之後區域之間。在一些形式中,頂部條帶部1340可由可撓性材料構造,且可經組態以符合使用者頭部之形狀。
圖3A展示使用者100的人臉之前視圖,包括諸如內眥(endocanthion)、鼻翼(nasal ala)、鼻唇溝(nasolabial sulcus)、上下唇、上下唇紅部(vermillion)以及口角。亦展示嘴寬、將頭部分為左部分及右部分之矢狀面以及方向指示符。方向指示符指示徑向向內/外方向以及上/下方向。圖3A亦展示人臉之側視圖,包括眉間、鼻根點、鼻嵴、鼻突點、鼻中隔下點、上下唇、頦上點(supramenton)、鼻翼頂點以及耳上基點及耳下基點。
以下為圖3A中所示之人臉特徵的更詳細說明。
鼻翼(Ala):每一鼻孔之外壁或「翼」(複數:alar)
鼻翼端(Alare):鼻翼上之最外側點。
鼻翼彎曲(或鼻翼頂)點:每一鼻翼之彎曲基線中的最後點,在鼻翼與面頰組合形成之褶皺中。
耳廓(Auricle):耳朵之整個外部可見部分。
小柱(Columella):隔開鼻孔且自鼻突點延行至上唇的皮膚狹長部。
小柱角:穿過鼻孔之中點的線與垂直於法蘭克福平面同時與鼻中隔下點相交的線之間的角度。
眉間(Glabella):位於軟組織上,前額之中矢狀面中的最凸點。
鼻孔(Nare/Nostril):形成鼻腔入口之大致橢圓形孔。鼻孔(nares)之單數形式為鼻孔(naris/nostril)。鼻孔由鼻中隔分開。
鼻唇溝(Naso-labial sulcus或Naso-labial fold):自鼻部之每一側延行至嘴角的皮褶或皮溝,將面頰與上唇分開。
鼻唇角(Naso-labial angle):小柱與上唇之間與鼻中隔下點相交的角。
耳下基點(Otobasion inferior):耳廓與面部皮膚之最低連接點。
耳上基點(Otobasion superior):耳廓與面部皮膚之最高連接點。
鼻突點(Pronasale):鼻部之最凸點或尖端,其可在頭部之剩餘部分之側視圖中識別。
人中(Philtrum):上唇區域中自鼻中隔下缘延行至唇部頂端的中線溝。
頦前點(Pogonion):位於軟組織上,頦之最前中點。
嵴(鼻):鼻嵴為鼻部之中線突出,自鼻根點延伸至鼻突點。
矢狀面(Sagittal plane):自前(anterior/front)至後(posterior/rear),將身體分為右半部及左半部的豎直平面。
鼻根點(Sellion):位於軟組織上,覆蓋於額鼻縫區域之最凹點。
中隔軟骨(鼻):鼻中隔軟骨形成中隔之部分且分出鼻腔之前部分。
鼻翼下點(Subalare):鼻翼基部下緣之點,其中鼻翼基部與上唇皮膚接合。
鼻下點(Subnasal point):位於軟組織上,為小柱在中矢狀面中與上唇交匯的點。
頦上點(Supramenton):下唇中線中下唇中點(labrale inferius)與軟組織頦前點之間的最凹點。
如下文將說明,存在若干來自面部之相關尺寸及特徵,其可用以選擇介面結構,諸如圖1至圖2中之頭戴式顯示介面系統1000之介面結構1100的大小。圖3A展示用於針對個別使用者客製化VR/AR頭盔的不同相關尺寸及特徵的前視圖及側視圖。因此,圖3A展示用以判定眼睛之間的距離、鼻部角度及頭部寬度以及髮際線、眼窩周圍之點及眼部與眉毛周圍之點的特徵點。圖3B至圖3I展示用於設計使用者客製化VR/AR頭盔之其他相關尺寸。
圖3B-1展示使用者100之與面部及鼻部相關之三維的前視圖,圖3B-2展示側視圖,且圖3B-3展示仰視圖。圖3B-3展示識別了若干特徵之鼻部仰視圖,該等特徵包括鼻唇溝、下唇、上唇紅部、鼻孔、鼻中隔下點、小柱、鼻突點、鼻孔之主軸以及矢狀面。圖3B-1及圖3B-2中之線3010表示面部高度,其為鼻根點與頦上點之間的距離。圖3B-1及圖3B-3中之線3012表示左鼻翼點與右鼻翼點之間的鼻部寬度。圖3B-2中之線3014表示鼻部深度。
圖3C為頭部之側視圖及前視圖,其中前額高度尺寸3020經識別;前額高度尺寸3020為眉毛眉間與估計之髮際線之間的豎直距離(垂直於法蘭克福平面)。圖3D為頭部之前視圖,其中頭圍尺寸3030經識別;頭圍尺寸3030係在眉毛之最凸點之水平面,平行於法蘭克福平面量測的。圖3E為頭部之側視圖及前視圖,其中瞳距尺寸3040經識別;瞳距尺寸為兩個瞳孔中心(cop-r、cop-l)之間的直線距離。
圖3F為使用者100的頭部之側視圖及前視圖,其中鼻根寬度尺寸3050經識別;鼻根寬度尺寸3050為在根部之最深凹陷之高度處(鼻根點特徵點)的鼻部水平寬度,其係在與鼻樑(se)至眼睛(cop)之距離之一半相等的深度處之平面上量測。圖3G為使用者100的頭部之側視圖及前視圖,其中耳朵頂部至頭頂的距離尺寸3060經識別;耳朵頂部至頭頂的距離尺寸3060為突出至中矢狀面、自耳朵頂部至頭頂垂直於法蘭克福平面的豎直距離。
圖3H為使用者100的頭部之側視圖及前視圖,其中眉毛高度尺寸3070經識別;眉毛高度尺寸3037為瞳孔中心(cop-r、cop-l)與眉毛處之額骨前點g之間的豎直高度。該距離係垂直於法蘭克福平面量測。記錄值為左瞳孔距離與右通孔距離之平均值。圖3I為使用者100的頭部之側視圖及前視圖,其中耳屏點間冠狀弧尺寸3080經識別;耳屏點間冠狀弧尺寸3080為在頭部處於法蘭克福平面中時頭頂上自一個右耳屏點(t-r)至左耳屏點(t-l)的弧。
因此,本發明技術允許使用者更快速方便地藉由掃描處理程序判定的各別使用者之面部特徵資料來獲得VR介面、AR介面或MR介面,諸如頭戴式顯示介面。掃描處理程序允許使用者使用諸如桌上型電腦、平板電腦、智慧型手機或其他行動裝置在自己家舒適地快速量測其面部解剖特徵。面部資料亦可以其他方式,諸如自與預先儲存之面部影像搜集。此等預先儲存之面部影像最佳地在盡可能拍攝近期使用,因為面部特徵可能隨時間變化。掃描處理程序可利用識別使用者影像上之相關特徵點之技術中已知的任何技術。舉例而言,電腦視覺(Computer Vision,CV)技術及/或機器學習(Machine Learning,ML)可用以識別使用者影像上之特徵點。此等技術可為半自動的,併入有CV或ML技術未識別之特徵點之人工識別,或其可為完全自動的。在一些情況下,可採用全人工處理程序,藉此人工識別影像上之特徵點。人工識別可由顯示於計算裝置上之指令導引。人工識別可由使用者或第三方執行。
在此實例中,可自製造商或第三方伺服器下載至具有整合式攝影機之智慧型手機或平板電腦的應用可用以收集面部資料。在啟動時,該應用可提供視訊及/或音訊指令。根據指示,使用者可站立於鏡子前並按下使用者介面上之攝影機按鈕。所啟用處理過程隨後可獲取一系列使用者面部圖像(較佳地來自不同角度及位置),且隨後獲得面部尺寸以供選擇介面(基於處理器分析圖像)。如下文將說明,此類應用可用以收集對頭戴式顯示介面之其他特徵至額外選擇。
使用者可捕捉一個或一系列其面部結構之影像。由儲存於電腦可讀媒體上之應用提供之指令,諸如在由處理器執行時,偵測影像內之各種面部特徵點,量測並縮放此等特徵點之間的距離、比較此等距離與資料記錄,且實現客製化頭戴式顯示介面之產生。存在幾個至幾千個特徵點。2D像素座標可轉換成3D座標以供進行距離之3D分析。或者,應用可自現存模型中推薦適當頭戴式顯示介面。
圖4描繪可經實施以自使用者收集面部特徵資料的實例系統200。系統200亦可包括自動面部特徵量測。系統200可大體上包括伺服器210、通信網路220及計算裝置230中之一或多者。伺服器210及計算裝置230可經由通信網路220通信,通信網路220可為有線網路222、無線網路224或具有無線鏈接之有線網路226。在一些實例例中,伺服器210可藉由向計算裝置230提供資訊而與計算裝置230單向通信,或反之亦然。在其他實施例中,伺服器210及計算裝置230可共用資訊及/或處理任務。該系統200可經實施以例如准許自動購買頭戴式顯示介面,其中該處理程序可包括本文中更詳細描述之自動大小設定處理程序。舉例而言,客戶可在運行藉由對客戶之面部特徵進行影像分析而自動識別合適頭戴式顯示器大小的面部選擇處理程序後在線訂購頭戴式顯示器。
計算裝置230可為桌上型或膝上型電腦232,或行動裝置,諸如智慧型手機234或平板電腦236。圖5描繪計算裝置230之一般架構300。計算裝置230可包括一或多個處理器310。計算裝置230亦可包括顯示介面320、使用者控制/輸入介面331、感測器340及/或用於一或多個感測器之感測器介面、慣性量測單元(Inertial Measurement Unit ,IMU)342及非揮發性記憶體/資料儲存器350。
感測器340可為併入計算裝置230中的一或多個攝影機(例如,CCD電荷耦合裝置或主動像素感測器),諸如提供於智慧型手機或膝上型電腦中之彼等者。或者,在計算裝置230為桌上型電腦之情況下,計算裝置230可包括用於與外部攝影機(諸如圖4中所描繪之網路攝影機233)耦接的感測器介面。可與計算裝置230整合或在其外部的可用以輔助本文中描述之方法的其他例示性感測器包括用於捕捉三維影像之立體攝影機,或能夠偵測自雷射或閃爍/結構化光源反射之光的光偵測器。
使用者控制/輸入介面331允許使用者提供命令或回應於提供給使用者之提示或指令。此介面可為例如觸控板、鍵盤、滑鼠、麥克風及/或揚聲器。
顯示介面320可包括監視器、LCD面板或類似者一顯示提示、輸出資訊(諸如面部量測結果或頭戴式顯示器大小推薦)及其他資訊,諸如捕捉顯示,如下文更詳細描述。
記憶體/資料儲存器350可為計算裝置之內部記憶體,諸如隨機存取記憶體(Random Access Memory,RAM)、快閃記憶體或唯讀記憶體(Read-Only Memory,ROM)。在一些實施例中,舉例而言,記憶體/資料儲存器350亦可為鏈接至計算裝置230之外部記憶體,諸如SD卡、伺服器、USB快速驅動器或光碟。在其他實施例中,記憶體/資料儲存器350可為外部及內部記憶體之組合。記憶體/資料儲存器350包括所儲存資料354及指示處理器310執行某些任務之處理器控制指令352。所儲存資料354可包括感測器340所接收之資料,諸如所捕捉影像,以及提供為應用之組成部分之其他資料。處理器控制指令352亦可提供為應用之組成部分。
如上文所說明,面部影像可由諸如智慧型手機234之行動計算裝置230捕捉。在計算裝置230或伺服器210上執行的適當應用可提供相關三維面部資料,以有助於選擇適當VR/AR頭戴式顯示介面。該應用可使用任何適當面部掃描方法。
一個此類應用為用於面部特徵量測及/或使用者資料收集之應用360,其可為可下載至諸如智慧型手機234及/或平板電腦236之行動裝置的應用。應用360亦可收集已持續使用頭戴式顯示介面之使用者的面部特徵及資料,以更好地收集來自此類介面之回饋。可儲存於諸如記憶體/資料儲存器350之電腦可讀媒體上的應用360包括供處理器310執行與面部特徵量測相關之某些任務的程式化指令。該應用360亦可包括可藉由自動化方法論之演算法處理的資料。此類資料可包括資料記錄、參考特徵及校正因子,如下文更詳細說明。
應用360係由處理器310執行,以使用二維或三維影像量測使用者面部特徵及提供客製化頭戴式顯示器。該方法之特徵可大體上在於包括三或四個不同階段:捕捉前階段、捕捉階段、捕捉後影像處理階段及比較與輸出階段。
在一些情況下,用於面部特徵量測之應用可控制處理器310在顯示介面320上輸出包括參考特徵之視覺顯示。較佳地,將參考特徵置於前額以避免距離縮放問題。使用者可諸如藉由移動攝影機而將該特徵定位於鄰近其面部特徵處。或者,參考特徵可為面部之部分,諸如眼虹膜。當滿足某些條件,諸如對準條件時,處理器310則可捕捉並儲存於參考特徵相關聯之面部特徵之一或多個影像。此舉可在鏡子之輔助下完成。鏡子將所顯示參考特徵及使用者面部反射至攝影機。該應用隨後控制處理器310識別影像內之某些面部特徵並量測其間之距離。藉由影像分析處理,隨後可使用縮放因子來基於參考特徵將可為像素計數之面部特徵量測結果轉換成標準面具量測值。此等值可例如為標準化量測單位,諸如公尺或吋,以及以適合於設定面具大小之單位表述之值。
可將額外校正因子應用於量測結果。可將面部特徵量測結果與資料記錄進行比較,該資料記錄包括對應於特定使用者頭戴式顯示器介面形式之不同支撐介面大小的量測結果範圍。可在任何較佳使用者位置之舒適度範圍內便利地調節此處理程序。該應用可在數秒內執行此方法。在一個實例中,該應用即時執行此方法。
在捕捉前階段,處理器310首先幫助使用者建立用於捕捉供大小設定處理之一或多個影像的適當條件。一些此等條件包括例如適當光照及攝影機定向,以及不穩定之人手固持計算裝置230引起的運動模糊。
使用者可在計算裝置230處將用於執行自動量測及大小設定之應用自伺服器(諸如第三方應用商店伺服器)便利地下載至其計算裝置230上。在下載後,此應用360可儲存於計算裝置230之內部非揮發性記憶體350,諸如RAM或快閃記憶體上。計算裝置230較佳地為行動裝置,諸如智慧型手機234或平板電腦236。
當使用者啟用應用360時,處理器310可經由顯示介面320提示使用者提供使用者特定資訊。然而,處理器310可在任何時候提示使用者輸入此資訊,諸如在量測使用者之面部特徵後及在使用者使用頭戴式顯示介面後。處理器310亦可提供教程,其可以音訊及/或視訊方式提供,由應用提供以幫助使用者理解其在過程中之角色。提示亦可能需要關於頭戴式顯示介面設計之特徵的資訊。又,在捕捉前階段,應用可基於已由使用者諸如在接收到所捕捉之使用者面部影像後搜集之資訊及基於機器學習技術或經由人工智慧來推斷使用者特定資訊。其他資訊亦可經由如下文將說明之介面收集。
當使用者準備繼續(此可由經由使用者控制/輸入介面331進行的使用者輸入或對提示之回應指示),處理器310如處理器控制指令352所指示啟用感測器340。感測器340較佳地為行動裝置之前置攝影機,其與顯示介面320位於行動裝置之相同側。攝影機大體上經組態以捕捉二維影像。捕捉二維影像之行動裝置攝影機很普遍。本發明技術充分利用此普遍性以避免使用者因需要獲得專業設備而有負擔。
大約在啟用感測器/攝影機340同時,處理器310如應用所指示在顯示介面320上提供捕捉顯示。捕捉顯示可包括攝影機實景拍攝預覽、參考特徵、瞄準框及一或多個狀態指示符或其任何組合。在此實例中,參考特徵顯示於顯示介面之中央,且寬度對應於顯示介面320之寬度。參考特徵之豎直位置可使得參考特徵之頂緣鄰接顯示介面320之最上緣,或參考特徵之底緣鄰接顯示介面320之最下緣。顯示介面320之一部分將顯示攝影機實景拍攝預覽324,通常在使用者處於正確位置及定向時即時展示感測器/攝影機340捕捉的使用者之面部特徵。
參考特徵為計算裝置230已知(預先判定)且向處理器310提供參考圖框的特徵,該參考圖框允許處理器310縮放所捕捉影像。參考特徵可較佳地為除使用者之面部特徵或解剖學特徵以外的特徵。因此,在影像處理階段,參考特徵有助於處理器310判定何時滿足某些對準條件,諸如在捕捉前階段。參考特徵可為快速回應(Quick Response,QR)程式碼或已知範例或標誌,其可為處理器310提供某些資訊,諸如縮放資訊、定向及/或可視情況根據QR程式碼之結構判定的任何其他所需資訊。QR程式碼可具有方形或矩形形狀。當顯示於顯示介面320上時,參考特徵具有諸如以毫米或公分為單位的預定尺寸,其值可經寫碼至應用360中且在適當時候傳達至處理器310。參考特徵326之實際尺寸可因計算裝置不同而變化。在一些版本中,應用可經組態為特定於計算裝置230模型,其中參考特徵326之尺寸在顯示於特定模型上時為已知的。然而,在其他實施例中,應用360可指示處理器310自裝置230獲得某些資訊,諸如顯示大小及/或變焦特性,從而允許處理器310經由縮放計算顯示介面320上所顯示之參考特徵之現實世界/實際尺寸。無論如何,此類計算裝置的顯示介面320上所顯示之參考特徵之實際尺寸通常在捕捉後影像處理之前已知。
瞄準框可與參考特徵一起顯示於顯示介面320上。瞄準框允許使用者在瞄準框中將某些組件與捕捉顯示322對準,此為成功影像捕捉所需。
狀態指示符為使用者提供關於處理程序狀態之資訊。此有助於確保使用者不會在影像捕捉完成前對感測器340/攝影機之位置進行大幅調整。
因此,當使用者將顯示介面320固持為平行於待量測之面部特徵且向鏡子或其他反射表面呈現使用者顯示介面320時,顯著地顯示參考特徵,且參考特徵覆蓋攝影機/感測器340可見及鏡子反射之即時影像。此參考特徵可固定在顯示介面320頂部附近。參考特徵以至少部分使得感測器340可清楚地看見參考特徵以便處理器310可容易地識別特徵的方式顯著地顯示。另外,參考特徵可覆蓋使用者面部之實時視圖,幫助避免使用者困惑。
使用者亦可由處理器310,經由顯示介面320,藉由計算裝置230之揚聲器之聲音指令指示,或由教程提前指示,以將顯示介面320定位於待量測之面部特徵之平面中。舉例而言,使用者可經指示定位使用者介面320,使得其面向前並在對準待量測之某些面部特徵之平面中置於使用者之頦下方、相抵或鄰近處。舉例而言,顯示介面320可經置放與鼻根點及頦上點平面對準。由於最終捕捉之影像為二維的,故平面對準幫助確保參考特徵326之比例同樣適用於面部特徵量測。就此而言,鏡子與使用者面部特徵及顯示器兩者之間的距離將大致相同。可向使用者提供其他指令。舉例而言,使用者可經指示移除或移動可能阻擋面部特徵之物件,諸如眼睛或頭髮。使用者亦可經指示做出最有利於捕捉所要影像之中性面部表情或在將虹膜用作參考特徵時不要眨眼。
當使用者位於鏡子前且包括參考特徵之顯示介面320大致處於與待量測面部特徵平面對準時,處理器310核對某些條件以幫助確保充分對準。如先前提及之可由應用建立之一個例示性條件為必須在瞄準框328內偵測到整個參考特徵以便繼續。若處理器310偵測到參考條件並非整個定位於瞄準框內,則處理器310可禁止或延遲影像捕捉。使用者隨後可移動其面部以及顯示介面320以維持平面度,直至如實景拍攝預覽中所顯示之參考特徵位於瞄準框內為止。此舉幫助相對於用於影像捕捉之鏡子最佳對準面部特徵及顯示介面320。
當處理器310偵測瞄準框內之整個參考特徵時,處理器310可讀取計算裝置之IMU 342以偵測裝置傾斜角。IMU 342可包括例如加速計或陀螺儀。因此,處理器310可諸如藉由與一或多個臨限值比較來評估裝置傾斜度以確保其在合適範圍內。舉例而言,若判定計算裝置230以及因此顯示介面320及使用者面部特徵在任何方向上傾斜約± 5度,則處理程序可進行至捕捉階段。在其他實施例中,供繼續之傾斜角可在約± 10度、± 7度、± 3度或± 1度內。若偵測到過度傾斜,則可顯示或播報警告訊息以校正非所欲傾斜。此對於輔助使用者尤其在前後方向上禁止或減少過度傾斜而言尤其有用,若不校正過度傾斜,則可能構成量測誤差源,因為所捕捉參考影像不會具有適當縱橫比。
當如應用所控制之處理器310已判定對準時,處理器310繼續至捕捉階段。捕捉階段較佳地一旦滿足對準參數及任何其他條件先例即自動發生。然而,在一些實施例中,使用者可回應於進行此舉之提示而起始捕捉。
當起始影像捕捉時,處理器310經由感測器340捕捉數目n個影像,其較佳地多於一個影像。舉例而言,處理器310可經由感測器340捕捉約5至20個影像、10至20個影像、或10至15個影像等。所捕捉之影像的量可為連續的,諸如視訊。換言之,捕捉之影像之數目可基於可由感測器340在預定時間間隔期間捕捉之具有預定解析度的影像之數目。舉例而言,若感測器340可在1秒內以預定解析度捕捉之影像的數目為40個影像且捕獲預定時間間隔為1秒,則感測器340將捕捉40個影像以供處理器310處理。影像序列可有助於使用ML方法(諸如光流)減少特徵點位置之顫動。影像之量可為使用者定義的、由伺服器210基於所偵測環境條件之人工智慧或機器學習或基於所欲精確度目標判定。舉例而言,若需要高精確度,則可能需要捕捉更多影像。雖然較佳地捕捉多個影像以供處理,但考慮一個影像且該影像可成功用於獲得精確量測結果。然而,一個以上影像實現所要獲得之平均量測結果。此舉可減少誤差/不一致且提高精確度。影像可由處理器310置於記憶體/資料儲存器350所儲存資料354中以供捕捉後處理。
另外,精確度可藉由來自多個視圖之影像增強,尤其對於3D面部形狀。對於此等3D面部形狀,正面影像、側面輪廓及之間的一些影像可用於捕捉面部形狀。關於頭套大小估計,頭部側面、頂部及背面之影像可增加與頭套相關之精確度。當組合來自多個視圖之特徵點時,可進行求平均,但求平均有固有不精確性。此不確定性經指派至特徵點位置,且在重建期間對特徵點進行不確定性加權。舉例而言,來自正面影像之特徵點將用以重建面部之前面部分,且來自輪廓照之特徵點將用於重建頭部側面。通常,影像將與頭部姿勢(旋轉角度)相關聯。以此方式,確保捕捉到來自不同視圖之數個影像。舉例而言,若眼虹膜用作縮放特徵,則需要捨棄在虹膜被閉合(例如當使用者眨眼)時之影像,因為其不可縮放。此為需要多個影像之另一原因,因為可在不請求重新掃描之情況下捨棄可能無用之某些影像。
一旦捕捉到影像,則處理器310處理影像以偵測或識別面部特徵/特徵點並量測其間之距離。所得量測結果可用於推薦適當頭戴式顯示介面大小。此處理可替代地由接收所傳輸之經捕捉影像及/或在使用者之計算裝置230(例如智慧型手機)上的伺服器210執行。處理亦可由處理器310及伺服器210之組合進行。
如由應用控制之處理器310自所儲存資料354擷取一或多個所捕捉影像。隨後由處理器310提取影像以識別包含所捕捉二維影像之每一像素。處理器310隨後偵測像素形成物內之某些預先指定面部特徵。
偵測可由處理器310使用邊緣偵測(諸如Canny、Prewitt、Sobel、Robert之邊緣偵測)及更先進的基於深度類神經網路(Deep Neural Networks,DNN)(諸如卷積類神經網路(Convolutional Neural Network,CNN))之方法執行。此等邊緣偵測技術/演算法幫助識別像素形成物內之某些面部特徵之位置,該等面部特徵對應於經提供用於影像捕捉的使用者實際面部特徵。舉例而言,邊緣偵測技術可首先識別影像內使用者之面部且亦識別影像內對應於特定面部特徵的像素位置,特定面部特徵諸如每隻眼睛及其邊緣、嘴巴及嘴角、左鼻翼及右鼻翼、鼻根點、頦上點、眉間以及左鼻唇溝及右鼻唇溝等。可使用多個特徵點替代邊緣偵測。處理器310隨後可標記、標示或儲存每一此等面部特徵之特定像素位置。或者,或若處理器310/伺服器210之此偵測不成功,則可由人類操作員經由處理器310/伺服器210之使用者介面查看存取所捕捉影像來偵測以及標記、標示或儲存預先指定之面部特徵。
一旦識別此等面部特徵之像素座標,則應用360控制處理器310量測某些所識別特徵之間的像素距離。舉例而言,距離通常可藉由每一特徵之數個像素判定且可包括縮放。舉例而言,可採用左鼻翼與右鼻翼之間的量測結果來判定鼻部之像素寬度,及/或採用鼻根點與頦上點之間的量測結果來判定面部之像素高度。其他實例包括每隻眼睛之間、嘴角之間以及左鼻唇溝與右鼻唇溝之間的像素距離,以獲得如嘴之特定結構之額外量測資料。可量測面部特徵之間的其他距離。在此實例中,某些面部尺寸可用於為使用者提供客製化頭戴式顯示介面的處理程序。
可使用其他面部識別方法。舉例而言,可使用DNN進行3D形變模型(3D Morphable Model,3DMM)與2D影像之擬合。此等DNN方法之最終結果為可全部自單一影像或多個多視圖影像預測的面部、耳朵及頭部之完整3D表面(包含數千個頂點)。可應用涉及使用光度損耗擬合模型之差分渲染。此最小化3DMM之經渲染版本與影像之間的誤差(包括像素層級)。
一旦獲得預先指定面部特徵之像素量測結果,即可將人體測量校正因子應用於量測結果。應理解,此校正因子可在應用如下文所描述之縮放因子之前或之後加以應用。人體測量校正因子可校正自動化處理程序中可出現之誤差,其經觀測為在使用者之間一致。換言之,不使用校正因子,單獨之自動化處理程序可能在使用者之間產生一致結果,但彼等結果可導致某一量之錯誤設定大小之介面。理想地,面部特徵點預測之精確度應為能夠容易地區分介面大小。若僅存在1至2個介面大小,則其可需要2至3 mm之精確度。隨著介面大小數目增加,精確度範圍降低至1至2 mm或更低。可以經驗自人口測試提取之校正因子使結果更接近真實量測結果,從而有助於降低或估計錯誤大小設定。隨著每一使用者之量測及大小設定資料自各別計算裝置傳達至伺服器210,此類資料在伺服器處可進一步經處理以改良校正因子,此校正因子可隨著時間推移在精確度上有所改善及改良。
為了將面部特徵量測結果應用於介面大小設定,無論是經人口量測校正因子校正抑或未校正,量測結果可自像素單位縮放至準確反應所提供用於影像捕捉之使用者面部特徵之間的距離的其他值。參考特徵可用以獲得一或多個縮放值。因此,處理器310類似地判定參考特徵之尺寸,其可包括整個參考特徵之像素寬度及/或像素高度(x及y)量測結果(例如像素計數)。亦可判定包含QR程式碼參考特徵之許多方形/點之像素尺寸及/或參考特徵及其組成部分所佔據之像素面積的更詳細量測結果。因此,QR程式碼參考特徵之每一方形或點可以像素單位量測,以基於每一點之像素量測結果判定縮放因子,隨後在量測之所有方形或點之間求平均,相較於QR程式碼參考特徵之完整大小之單一量測結果,此可提高縮放因子之精確度。然而,應理解,無論採用參考特徵之哪種量測結果,均可利用量測結果來將參考特徵之像素量測結果縮放至參考特徵之對應已知尺寸。
一旦處理器310進行了參考特徵之量測,則由應用控制之處理器310計算縮放因子。使參考特徵之像素量測結果與參考特徵(例如由顯示介面320顯示以用於影像捕捉的參考特徵326)之已知對應尺寸相關,以獲得轉換或縮放因子。此縮放因子可成長度/像素或面積/像素A2之形式。換言之,可用已知尺寸除以對應像素量測結果(例如計數)。
處理器310隨後將縮放因子應用於面部特徵量測結果(像素計數)以將量測結果自像素單位轉換成其他單位,以反應適合於頭戴式顯示介面大小設定的使用者實際面部特徵之間的距離。此通常可能涉及用縮放因子乘以與頭戴式顯示介面大小設定相關的面部特徵之距離之像素計數。
真的每一所捕捉影像重複針對面部特徵及參考特徵之此等計算步驟及計算步驟,直至集合中之每一影像具有經縮放及/或校正之面部特徵量測結果。
隨後可由處理器310藉由某一統計度量(諸如不確定性)視情況對影像集合之經校正及縮放量測結果求平均或加權,以獲得使用者面部解剖之最終量測結果。此等量測結果可反應使用者面部特徵之間的距離。
在對比與輸出階段,可將來自捕捉後影像處理階段之結果輸出(顯示)至感興趣之個人或與資料記錄比較,以獲得對現存頭戴式顯示介面之自動推薦。一旦判定所有量測結果,則可由處理器310經由顯示介面320向使用者顯示結果(例如平均值)。在一個實施例中,可結束自動化處理程序。使用者可記錄較簡單量測結果以供未來使用。
或者,最終量測結果可自動或在使用者之命令下經由通信網路220自計算裝置230轉送至伺服器210。伺服器210或伺服器側之個人可基於更複雜量測資料進行進一步處理及分析以判定客製化頭戴式顯示介面。
在另一實施例中,由處理器310將反應使用者之實際面部特徵之間的距離的最終面部特徵量測結果與諸如在資料記錄中的不同頭戴式顯示介面之尺寸資料進行比較。該資料記錄可為用於自動面部特徵量測及頭戴式顯示介面大小設定之應用的部分。此資料記錄可包括例如可由處理器310存取之查找表,該查找表可包括對應於面部特徵距離/值範圍的頭戴式顯示介面大小。多個表可包括於資料記錄中,其中之許多可對應於頭戴式顯示介面之特定形式及/或製造商提供之頭戴式顯示介面之特定模型。
用於選擇頭戴式顯示介面之實例處理程序自藉由上文提及之方法捕捉之面部影像識別關鍵特徵點。在此實例中,與可能介面之初始關聯涉及面部特徵點,諸如鼻部深度。應用收集此等面部特徵點量測結果以有助於諸如經由上文描述之一或多個查找表選擇相容介面之大小。可判定其他面部特徵點或特徵以便客製化針對特定使用者定製的頭戴式顯示介面之面部介面結構。如將說明,此等特徵點可包括對於諸如VR護目鏡或AR頭盔之裝置可能適當的前額彎曲度、頭部寬度、顴骨位置、鼻縫點輪廓及鼻部寬度。可識別或以其他方式表征其他面部特徵,以用於設計頭戴式顯示介面之支撐介面以便最小化或避免可能引起不適的面部區域接觸。
可應用機器學習以提供面部介面結構類型及特性與諸如介面持續使用而使用者無不適之因素之間的額外關聯。可採用該等關聯來選擇或設計新穎頭戴式顯示介面設計之特性。此機器學習可由伺服器210執行。可基於良好操作結果輸出及包括使用者人口統計、介面大小及類型以及自使用者收集之主觀資料的輸入用訓練資料集學習面部介面分析演算法。可使用機器學習發現所要介面特性與來自VR裝置之諸如面部尺寸、使用者人口統計及操作資料之預測性輸入之間的關聯。機器學習可採用諸如類神經網路、叢集或傳統回歸技術之技術。可使用測試資料測試不同類型之機器學習演算法及判定哪一種具有與預測關聯相關之最佳精確度。舉例而言,可發現最大化舒適度(在介面處,頸部上之重量及壓力)但最小化光洩漏之ML模型為最佳模型。
用於選擇最佳面部介面結構之模型可藉由來自圖4中之系統之新輸入資料持續更新。因此,模型可隨著分析平台使用變多而變得越來越精確。
本發明處理程序實現回饋資料之收集及與面部特徵資料之關聯,以為介面設計者提供用於設計其他面部介面結構或其他頭盔之資料。作為收集面部資料之應用360或由計算裝置(諸如圖4中之計算裝置230或智慧型手機234)執行之另一應用的部分,可收集與介面相關之回饋資訊。
在此實例中,應用360收集一系列影像之使用以生成使用者頭部之模型。影像資料或由影像資料導出之資料(諸如模型)實現關鍵特徵點之量測,以便客製化面部介面結構,諸如圖2A中之面部介面結構1100。因此,客製化可包括執行應用360以基於自面部特徵資料導出之模型判定面部介面結構之尺寸的處理器310或控制器。
此實例中之面部介面結構1100之關鍵特徵點為:前額彎曲度、頭部寬度、顴骨尺寸、鼻縫點輪廓(光密封件在此處貼合使用者)及鼻孔之間的鼻部寬度。亦可考慮此等特徵點之位置之關係。可自所掃描面部影像或由使用者面部特徵影像導出之面部模型導出此等面部特徵。
圖6A為由收集用於個性化頭戴式顯示器之用戶名資料之應用360搜集的介面600之螢幕影像。用戶名可與用於虛擬實境服務之用戶名一致。圖6B為收集用於個性化頭戴式顯示器之使用者人口資料的介面610之螢幕影像。介面610收集年齡及性別人口資料。可併入此資料以更好地最佳化個性化頭戴式顯示器之尺寸。
圖6C為收集用於個性化頭戴式顯示器之使用者人口資料之族群的介面620之螢幕影像。圖6D為收集個性化頭戴式顯示器之使用資料的介面630之螢幕影像。使用者可提供關於每週時間及使用頭戴式顯示器之時間量的資訊。介面630亦收集關於可能與頭戴式顯示器之特徵相關的頭戴式顯示器使用類別(諸如工作與娛樂)的資訊。此實例中之類別包括遊戲、訓練、工作及鍛煉。
圖7A至圖7F為選擇介面,其允許使用者選擇與用於進一步個性化其頭戴式顯示器之面部尺寸無關的不同特徵。因此,圖7A為允許選擇個性化頭戴式顯示器之顏色的介面700之螢幕影像。介面700顯示可提供用於介面700之可用顏色,且展示呈可用顏色之介面700的不同圖形。使用者可選擇呈所要顏色之介面的圖形以進入顏色輸入。圖7B為允許應用個性化頭戴式顯示器之識別符的介面720之螢幕影像。介面720允許輸入要在頭戴式顯示器上標記之名稱或其他識別符。使用者可輸入姓名且輸入姓名將顯示於介面之圖形上以向使用者展示輸入姓名在頭戴式顯示器上之外觀。圖7C為允許選擇個性化頭戴式顯示器之型式的介面730之螢幕影像。介面730顯示為針對使用者舒適度、抓握或熱管理之不同紋理或形狀的型式之選擇。
圖7D為允許選擇個性化頭戴式顯示器之材料的介面740之螢幕影像。在此實例中,介面740允許在可穿戴矽樹脂、舒適泡沫體及光滑紡織物之間進行選擇。圖7E為允許選擇個性化頭戴式顯示器之式樣的介面750之螢幕影像。舉例而言,可用式樣可包括穩重式樣、美學式樣或輕巧式樣。式樣可影響功能特性,諸如減少使用者移動其頭部時頭戴式顯示器之移動或長時段佩戴頭戴式顯示器時的重量。圖7F為允許選擇用於個性化頭戴式顯示器之條帶之顏色的介面760之螢幕影像,且展示呈可用顏色之條帶的圖形。使用者可選擇呈所要顏色之條帶的圖形以進入顏色輸入。
圖8A為指示使用者捕捉其面部影像之介面800的螢幕影像。介面800由應用360生成且提供關於捕捉面部影像資料之上文處理程序的資訊。圖8B為指示使用者對準其面部以進行影像捕捉並顯示瞄準十字線的介面810之螢幕影像。一旦使用者準備好,應用360將開始捕捉面部影像。在此實例中,應用360需要正面面部影像及側面面部影像以收集量測上文描述之特徵點所需之面部影像。影像可為不同類型之影像,諸如深度影像、RGB影像或點雲。
圖8C為經顯示以捕捉正面面部影像之介面820之螢幕影像。正面影像用作額外影像之起始點。應用360將指示使用者轉頭。圖8D為在使用者已拍攝正面面部影像且轉向一側後捕捉一個側面面部影像集合的介面830之螢幕影像。圖8E為在捕捉第一側面影像集合後捕捉另一側面面部影像集合的介面840之螢幕影像。在使用者轉向另一側時顯示介面840。圖8F為顯示根據所捕捉面部影像判定之3D頭部模型的介面850之螢幕影像。儲存所捕捉影像資料,且可將其發送至外部裝置以供進一步處理。
圖9為可運行以實現針對使用者之特定介面設計的面部資料收集的流程圖。圖9中之流程圖表示用於收集並分析面部資料以選擇用於沉浸體驗(諸如VR或AR)之頭戴式顯示介面之客製化面部介面結構之特徵的實例機器可讀指令。在此實例中,機器可讀指令包含由以下執行的演算法:(a)處理器;(b)控制器;及/或(c)一或多個其他適合處理裝置。該演算法可體現於儲存在諸如快閃記憶體、CD-ROM、軟碟、硬碟驅動器、數位光碟(光碟)(DVD)或其他記憶裝置之有形媒體上的軟體中。然而,一般熟習此項技術者將容易了解,整個演算法及/或其部分可替代地由除處理器以外之裝置執行,及/或以熟知方式體現於韌體或專用硬體中(例如其可由特殊應用積體電路(Application Specific Integrated Circuit,ASIC)、可程式化邏輯裝置(Programmable Logic Device ,PLD)、現場可程式化邏輯裝置(Field Programmable Logic Device ,FPLD)、現場可程式化閘陣列(Field Programmable Gate Array ,FPGA)、離散邏輯等實施)。舉例而言,介面之任何或所有組件可由軟體、硬體及/或韌體實施。又,流程圖所表示之一些或所有機器可讀指令可手動實施。此外,儘管參考圖9中所示之流程圖描述了實例演算法,但一般熟悉此項技術者將容易了解,可替代地使用許多實施實例機器可讀指令之其他方法。舉例而言,可改變方塊之執行順序,及/或可改變、刪除或組合所描述方塊中之一些。
該首先判定是否已收集使用者之面部資料910。若尚未收集面部資料,則啟用應用360以請求使用運行上文描述之應用的行動裝置(諸如圖4中之智慧型手機234)掃描使用者面部912。
在收集面部影像資料912後或若已自先前掃描儲存面部資料,則存取儲存在儲存裝置中之面部影像資料並使資料與使用者關聯。隨後,存取自使用者收集之偏好資料914。偏好資料係自計算裝置230執行之使用者應用360之介面收集。如上文所說明,偏好資料可經由為使用者提供對顏色、型式等之選擇的介面收集。
隨後,分析客觀資料(諸如來自面部影像資料之面部特徵資料)以及用於修改初級頭戴式顯示介面之尺寸的主觀資料(修改頭戴式顯示介面之尺寸916)。主觀資料可包括來自佩戴現有介面的使用者回饋。隨後,應用用於所選特徵之資料,諸如提供顏色、型式、材料及類似者(提供特徵資料918)。隨後,將用於客製化頭戴式顯示介面之設計資料儲存在儲存裝置中(儲存客製化設計920)。
圖9中之流程亦基於諸如與面部區域接觸之區域的標準介面之不同特性來提供設計修改推薦。此資料亦可持續更新實例機器學習驅動關聯引擎。亦可收集資料以在不存在特定客製生產時推薦選擇一組可最佳地適配使用者的介面。亦可修改以在計算裝置230上生成基於使用者面部影像展示頭戴式顯示介面之模型的顯示介面。顯示介面之影像可半透明以允許使用者核對顯示介面是否恰好適合其面部。亦可修改影像以展示使用者對顏色、紋理、型式、材料、識別標籤以及諸如不同條帶之其他附件的選擇。
圖10為基於自圖4中之資料收集系統200收集之資料產生客製化介面的實例製造系統1400。伺服器210將由應用360自個別使用者以及使用者群體搜集之偏好資料提供至分析模組1420。偏好資料儲存於使用者資料庫260中。
分析模組1420包括對介面資料庫270之存取,介面資料庫270包括與一或多個不同製造商之介面之不同模型相關之資料。分析模組1420可包括機器學習程式,以提供對特定使用者之面部介面結構或使用者群體之一小群使用的面部介面結構之特性或特徵的建議改變。舉例而言,所收集操作及使用者輸入資料連同面部影像資料可輸入至分析模組1420以為現存介面設計提供新特性,或使用現存介面設計作為基線來提供完全客製化之介面。用於現存介面設計的諸如CAD/CAM檔案之製造資料儲存於資料庫1430中。經修改設計係由分析模組產生,且傳達至製造系統1440以根據個性化面部特徵點/特徵以及諸如顏色、型式、式樣及類似者之使用者選擇偏好來產生具有尺寸、大小設定、材料等修改的面部介面結構。在此實例中,製造系統1440可包括加工機器、模製機器、3D列印系統及類似者以產生面罩或其他類型之介面。
對於比積層製造更有效的製造客製組件之方法,製造系統1440中之模製工具可基於所提出修改而迅速製造原型(例如3D列印)。在一些實例中,迅速三維打印加工可提供具成本效益的小體積製造方法。鋁及/或熱塑軟工具亦為可行的。軟工具提供少量模製部分且相較於鋼工具更具成本效益。
亦可在製造客製組件期間使用硬工具。在基於所收集回饋資料產生喜好體積之介面的情況下可能需要硬工具。硬工具可由各種等級之鋼或在模製/機械加工製程期間使用的其他材料製成。製造處理程序亦可包括使用快速原型製造、軟工具及硬工具之任何組合來製造頭戴式顯示介面之任何組件。工具之構造亦可在工具本身內部有所不同,使用任何或所有類型之工具,例如:可限定部件之更一般特徵之一半工具可由硬工具製成,而限定客製組件之一半工具可由快速原型製造或軟工具製成。硬工具及軟工具之組合亦可行。
其他製造技術亦可包括用於同一組件內具有不同材料之介面的多重射入模製。舉例而言,襯墊或護墊可在頭戴式顯示介面之不同區域包括不同材料或不同柔軟等級之材料。亦可使用涉及加熱塑膠薄片及將薄片真空處理至模工具並接著冷卻薄片直至其具有模具之形狀的熱成型(例如真空成型)。在另一形式中,可使用最初可延展之材料來產生客製化使用者框(或任何其他適合組件,諸如頭盔或其部分,諸如加固件)。可使用本文描述之一或多種技術產生使用者之「陽」模,之後可置放可延展「模板」組件來使組件成型為與使用者適配。隨後,可是客製化組件「固化」以固定組件使得其不在處於可延展狀態。此類材料之一個實例可為最初在達至特定溫度之前可延展的熱固性聚合物(之後不可逆地固化),或在高於特定溫度時變得可延展的熱軟性塑膠(亦稱作熱塑性塑膠)。亦可使用客製織物編織/針織/成型。此技術與三維列印處理程序類似,但用紗線替代塑膠。紡織物組件之結構可針織成任何三維形狀,其對於製造客製面部介面結構而言是理想的。
如本申請案中所用,術語「組件」、「模組」、「系統」或類似者一般指代電腦相關實體,即硬體(例如電路)、硬體及軟體之組合、軟體或與具有一或多種特定功能之可操作機器相關的實體。舉例而言,組件可為但不限於在處理器(例如數位信號處理器)上運行的處理程序、處理器、物件、可執行程式、執行線程、程式及/或電腦。以說明方式,在控制器上運行之應用以及控制器可作為組件。一或多個組件可駐留於處理程序及/或執行線程內,且組件可定位於一個電腦上及/或分佈在兩個或更多個電腦之間。此外,「裝置」可呈以下形式:特殊設計硬體;藉由其上之軟體執行而特殊化的使得硬體能夠執行特定功能的一般化硬體;儲存於電腦可讀媒體上之軟體;或其組合。
本文所用術語僅處於描述特定實施例之目的,且不欲限制本發明。如本文所用,單數形式「一」及「該」意欲亦包括複數形式,除非上下文另有清晰指示。此外,就在實施方式及/或申請專利範圍中使用的術語「包括」、「具有」、「帶有」或其變體而言,此等術語意欲以類似於術語「包含」之方式成包含性的。
雖然本發明已參考一或多個實施例或實施方案加以描述,但熟習此項技術者將認識到可在不脫離本發明之精神及範疇之情況下對其進行任何改變。將此等實施方案及其明顯變化形式中之每一者考慮為落入本發明之精神及範疇。亦考慮,根據本發明之態樣之額外實施方案或替代實施方案可組合來自本文描述之任何實施方案(例如下文描述之替代實施方案中)之任何數目之特徵。
100:使用者 1000:頭戴式顯示介面系統(介面系統) 1100:面部介面結構(介面結構) 1200:頭戴式顯示單元 1205:顯示單元殼體 1210:臂 1220:顯示螢幕 1230:上表面 1232:下表面 1234:左側面 1236:右側面 1238:前表面 1240:光學透鏡(透鏡) 1242:保護層 1250:顳部連接器 1254:眼孔 1256:調整部 1258:容納部 1270:控制器 1272:揚聲器 1274:電源 1276:控制系統 1300:定位與穩定結構 1330:側帶部 1340:頂部條帶部 1350:後支撐部 1360:前額支撐件 3010:線(面部高度) 3012:線(鼻部寬度) 3014:線(鼻部深度) 3020:前額高度尺寸 3030:頭圍尺寸 3040:瞳距尺寸 3050:鼻根寬度尺寸 3060:耳朵頂部至頭頂的距離尺寸 3070:眉毛高度尺寸 3080:耳屏點間冠狀弧尺寸 cop-r:瞳孔中心 cop-l:瞳孔中心 cop:眼睛 se:鼻樑 g:額骨前點 t-r:右耳屏點 t-l:左耳屏點 200:系統 210:伺服器 220:通信網路 222:有線網路 224:無線網路 226:具有無線鏈接之有線網路 230:計算裝置 232:膝上型電腦 233:網路攝影機 234:智慧型手機 236:平板電腦 260:使用者資料庫 270:介面資料庫 300:一般架構 310:處理器 320:顯示介面 322:捕捉顯示 326:參考特徵 328:瞄準框 331:使用者控制/輸入介面 340:感測器 342:IMU 350:記憶體/資料儲存器 352:處理器控制指令 354:所儲存資料 360:應用 600、610、620、630:介面 700、710、720、730、740、750:介面 800、810、820、830、840、850:介面 910:判定是否已收集使用者之面部資料 912:掃描使用者面部 914:存取自使用者收集之偏好資料 916:修改頭戴式顯示介面之尺寸 918:提供特徵資料 920:儲存客製化設計 1420:分析模組 1430:資料庫 1440:製造系統
根據參考隨附圖式進行的例示性實施例之以下描述,本發明將更好理解,在隨附圖式中: 圖1展示佩戴針對使用者面部特徵而經客製化之頭戴式顯示器的使用者; 圖2A為實例頭戴式顯示介面之前方透視圖; 圖2B展示圖2A之頭戴式顯示器之後方透視圖; 圖2C展示與圖2A之頭戴式顯示器一起使用的定位與穩定結構之透視圖; 圖2D展示使用者面部之前視圖,示出介面結構在使用時之位置; 圖3A為具有表面解剖之若干特徵的面部之前視圖及側視圖; 圖3B-1為面部之前視圖,其中面部及鼻部之若干尺寸經識別; 圖3B-2為面部之側視圖,其中面部及鼻部之若干尺寸經識別; 圖3B-3為面部之仰視圖,其中面部及鼻部之若干尺寸經識別; 圖3C為頭部之側視圖及前視圖,其中前額高度尺寸經識別; 圖3D為頭部之前視圖,其中前額高度尺寸經識別; 圖3E為頭部之側視圖及前視圖,其中瞳距尺寸經識別; 圖3F為頭部之側視圖及前視圖,其中鼻根寬度尺寸經識別; 圖3G為頭部之側視圖及前視圖,其中耳朵頂部至頭頂的距離尺寸經識別; 圖3H為頭部之側視圖及前視圖,其中眉毛高度尺寸經識別; 圖3I為頭部之側視圖及前視圖,其中耳屏點間冠狀弧尺寸經識別; 圖4為收集用於提供客製化頭戴式顯示介面之面部資料的實例系統的圖,該實例系統包括計算裝置; 圖5為用於捕捉面部資料之計算裝置之組件的圖; 圖6A為收集用於個性化頭戴式顯示器之用戶名資料之介面的螢幕影像; 圖6B為收集用於個性化頭戴式顯示器之用戶名資料之介面的螢幕影像; 圖6C為收集用於個性化頭戴式顯示器之使用者人口資料之介面的螢幕影像; 圖6D為收集個性化頭戴式顯示器之使用資料之介面的螢幕影像; 圖7A為允許選擇個性化頭戴式顯示器之顏色的介面之螢幕影像; 圖7B為允許應用個性化頭戴式顯示器之識別符的介面之螢幕影像; 圖7C為允許選擇個性化頭戴式顯示器之型式的介面之螢幕影像; 圖7D為允許選擇個性化頭戴式顯示器之型式的介面之螢幕影像; 圖7E為允許選擇個性化頭戴式顯示器之顏色的介面之螢幕影像; 圖7F為允許選擇用於個性化頭戴式顯示器之條帶之顏色的介面之螢幕影像; 圖8A為指示使用者捕捉其面部影像之介面的螢幕影像; 圖8B為指示使用者對準其面部以進行影像捕捉的介面之螢幕影像; 圖8C為捕捉正面面部影像之介面之螢幕影像; 圖8D為捕捉一側面部影像之介面之螢幕影像; 圖8E為捕捉另一側面部影像之介面之螢幕影像; 圖8F為顯示根據所捕捉面部影像判定之3D頭部模型的介面之螢幕影像; 圖9為自使用者收集資料以判定用於個性化頭戴式顯示器之特徵的處理程序之流程圖;及 圖10為基於所收集資料產生客製化個性化頭戴式顯示介面的製造系統的圖。
210:伺服器
230:計算裝置
260:使用者資料庫
270:介面資料庫
1420:分析模組
1430:資料庫
1440:製造系統

Claims (31)

  1. 一種收集用於客製化一用於一頭戴式顯示介面之面部介面結構之資料的方法,該方法包含: 使一面部影像資料與一使用者關聯; 根據該面部影像資料判定面部特徵資料; 根據該面部特徵資料判定該面部介面結構之尺寸;及 儲存包括該等經判定尺寸的一客製化面部介面結構之一設計。
  2. 如請求項1之方法,其中該頭戴式顯示介面為一虛擬實境系統、一擴增實境系統或一修改實境系統之部分。
  3. 如請求項1至請求項2中任一項之方法,其中該面部影像資料係獲自具有用以捕捉該使用者之該面部影像之一應用的一行動裝置。
  4. 如請求項1之方法,其進一步包含在一顯示器上顯示用於一使用者輸入之一特徵選擇介面,其中該設計包括該使用者輸入。
  5. 如請求項4之方法,其中該使用者輸入為包括該客製化面部介面結構之一客製化頭戴式顯示介面之一選擇。
  6. 如請求項4之方法,其中該使用者輸入為該面部介面結構之一顏色、一識別符、一型式或一式樣之一。
  7. 如請求項4之方法,其中該使用者輸入為用於該面部介面結構之一緩衝材料。
  8. 如請求項1之方法,其中該特徵選擇介面之該等尺寸之該判定包括評估該使用者之人口資料、族群及頭盔使用。
  9. 如請求項1之方法,其中該面部特徵資料包括前額彎曲度、頭部寬度、顴骨、鼻縫點輪廓及鼻部寬度。
  10. 如請求項1之方法,其中判定面部特徵資料包括偵測該面部影像資料中該使用者之一或多個面部特徵以及該面部影像資料中具有一已知尺寸之一預定參考特徵。
  11. 如請求項10之方法,其中判定面部特徵資料包括處理根據該面部影像資料之影像像素資料,以量測基於該預定參考特徵偵測之該一或多個面部特徵之一態樣。
  12. 如請求項11之方法,其中將來自該像素資料之2D像素座標轉換成3D座標以供進行距離之3D分析。
  13. 如請求項11之方法,其中該預定參考特徵為該使用者之虹膜。
  14. 如請求項1之方法,其中判定該面部介面結構之尺寸包括基於該面部特徵資料與關於一組標準面部介面大小之大小設定資訊的資料記錄的一比較以及該面部特徵資料,自該組預定面部介面大小選擇一面部介面大小。
  15. 如請求項1之方法,其中判定面部特徵資料包括應用人體測量校正因子。
  16. 如請求項1之方法,其中判定該面部介面結構之尺寸包括判定該使用者之該面部與該面部介面結構之貼合點。
  17. 如請求項16之方法,其中判定該面部介面結構之該等尺寸以最小化該面部介面結構在該使用者佩戴時之光洩漏。
  18. 如請求項16之方法,其中判定該面部介面結構之該等尺寸以最小化該使用者之該面部與該面部介面結構之間的間隙。
  19. 如請求項1之方法,其進一步包含訓練一機器學習模型以輸出至少一個面部特徵與該面部介面結構之尺寸之間的一關聯,其中判定該面部介面結構之尺寸包括由一處理器執行的該經訓練機器學習模型之該輸出。
  20. 如請求項19之方法,其中該訓練包括基於面部介面結構之良好操作結果之輸出、使用者面部特徵輸入及自使用者收集之主觀資料為機器學習模型提供一訓練資料集。
  21. 一種系統,其包含: 一控制系統,其包含一或多個處理器;及 一記憶體,其上儲存有機器可讀指令; 其中該控制系統耦接至該記憶體,且如請求項1至20中任一項之方法係在由該控制系統之該一或多個處理器中之至少一者執行該記憶體中之該等機器可執行指令時實施。
  22. 一種電腦程式產品,其包含在由一電腦執行時使得該電腦實行如請求項1至20中任一項之方法的指令。
  23. 如請求項22之電腦程式產品,其中該電腦程式產品為非暫時性電腦可讀媒體。
  24. 一種製造一用於一頭戴式顯示介面之客製化面部介面結構的方法,該方法包含: 使面部影像資料與一使用者關聯; 根據該面部影像資料判定面部特徵資料; 經由一處理器根據該面部特徵資料判定該面部介面結構之尺寸; 將包括該等經判定尺寸的一客製化面部介面結構之一設計儲存於一儲存裝置中;及 基於該經儲存設計經由一製造系統製造該客製化面部介面結構。
  25. 如請求項24之方法,其中該製造系統包括一加工機器、一模製機器或一3D列印機中之至少一者。
  26. 如請求項24之方法,其中該頭戴式顯示介面為一虛擬實境系統、一擴增實境系統或一修改實境系統之部分。
  27. 如請求項24至請求項26中任一項之方法,其中該面部影像資料係獲自具有用以捕捉該使用者之該面部影像之一應用的一行動裝置。
  28. 如請求項24之方法,其進一步包含顯示一特徵選擇介面及自該使用者收集關於該客製化面部介面特徵之一顏色、一識別符、一型式或一樣式的偏好資料,其中該製造包括併入來自該使用者之該偏好資料。
  29. 如請求項24之方法,其進一步包含顯示一特徵選擇介面及自該使用者收集關於該客製化面部介面特徵之緩衝材料的偏好資料,其中該製造包括併入基於該所收集偏好資料之該緩衝材料。
  30. 一種產生一用於一頭戴式顯示介面之客製化面部介面結構的製造系統,該系統包含: 一儲存裝置,其儲存一使用者之面部影像; 一控制器,耦合至該儲存裝置,該控制器可操作以: 根據該面部影像資料判定該使用者之面部特徵資料; 根據該面部特徵資料判定該面部介面結構之尺寸;及 將包括該等經判定尺寸的該客製化面部介面結構之一設計儲存於該儲存裝置中;及 一製造裝置,耦接至該控制器且基於所儲存的該設計而製造該客製化面部介面。
  31. 一種收集用於客製化一用於一頭戴式顯示介面之面部介面結構之資料的方法,該方法包含: 經由一處理器使一儲存裝置中儲存之面部影像資料與一使用者關聯; 經由該處理器執行一面部分析應用來根據該面部影像資料判定面部特徵資料; 經由該處理器根據該面部特徵資料判定該面部介面結構之尺寸;及 將包括該等經判定尺寸的一客製化面部介面結構之一設計儲存於該儲存裝置中。
TW111120819A 2021-06-04 2022-06-06 基於面部影像提供客製化頭盔之系統及方法 TW202305454A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163197167P 2021-06-04 2021-06-04
US63/197,167 2021-06-04

Publications (1)

Publication Number Publication Date
TW202305454A true TW202305454A (zh) 2023-02-01

Family

ID=84322837

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111120819A TW202305454A (zh) 2021-06-04 2022-06-06 基於面部影像提供客製化頭盔之系統及方法

Country Status (3)

Country Link
US (1) US20240273593A1 (zh)
TW (1) TW202305454A (zh)
WO (1) WO2022254409A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024216575A1 (zh) * 2023-04-20 2024-10-24 中国科学院深圳先进技术研究院 基于惯性导航技术的颅内穿刺轨迹定向瞄准方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9146397B2 (en) * 2012-05-30 2015-09-29 Microsoft Technology Licensing, Llc Customized see-through, electronic display device
WO2014082023A1 (en) * 2012-11-23 2014-05-30 Greenbaum Eric Head mounted display
JP6099232B2 (ja) * 2013-08-22 2017-03-22 ビスポーク, インコーポレイテッド カスタム製品を創作するための方法及びシステム
US10209524B2 (en) * 2015-09-21 2019-02-19 Facebook Technologies, Llc Facial interface assemblies for use with head mounted displays
US10838203B2 (en) * 2018-07-17 2020-11-17 Apple Inc. Adjustable electronic device system with facial mapping
EP4022386A1 (en) * 2019-09-24 2022-07-06 Bespoke, Inc. d/b/a Topology Eyewear Systems and methods for adjusting stock eyewear frames using a 3d scan of facial features

Also Published As

Publication number Publication date
US20240273593A1 (en) 2024-08-15
WO2022254409A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
KR102495139B1 (ko) 생체 인증 보안을 위한 청색 광 조정
CN112444996B (zh) 具有张紧调节的头戴式设备
US11061240B2 (en) Head-mountable apparatus and methods
US9400923B2 (en) Patient interface identification system
WO2016165052A1 (en) Detecting facial expressions
US20220143346A1 (en) Facial mask apparatus and method of making
JP2008501375A (ja) マスク適合システムおよび方法
CN111213375B (zh) 信息处理装置、信息处理方法以及程序
KR20220145329A (ko) 위치 설정, 안정화, 및 인터페이싱 구조와 동일한 것을 통합하는 시스템
US20240210709A1 (en) Positioning, stabilising, and interfacing structures and system incorporating same
TW202305454A (zh) 基於面部影像提供客製化頭盔之系統及方法
CN116368529A (zh) 基于当前用户外观的用户的表示
US20220143345A1 (en) Facial mask apparatus with removable filter
CN220473782U (zh) 头戴式显示系统
WO2024011291A1 (en) Positioning, stabilising, and interfacing structures and system incorporating same
JP7541106B2 (ja) 位置決め構造、安定化構造、およびインターフェーシング構造ならびにそれを用いたシステム
TWI816175B (zh) 頭戴式顯示器系統
US12147052B2 (en) Head-mounted device with tension adjustment
KR20240157757A (ko) 위치 설정, 안정화 및 인터페이스 구조 및 이를 포함하는 시스템
WO2024221056A1 (en) Positioning, stabilising, and interfacing structures and system incorporating same
CN117980856A (zh) 可穿戴设备
NZ762184B2 (en) Methods and systems for providing interface components for respiratory therapy