TW201737024A - 用於將實體環境之虛擬影像整合至虛擬實境之空間關係 - Google Patents

用於將實體環境之虛擬影像整合至虛擬實境之空間關係 Download PDF

Info

Publication number
TW201737024A
TW201737024A TW106102353A TW106102353A TW201737024A TW 201737024 A TW201737024 A TW 201737024A TW 106102353 A TW106102353 A TW 106102353A TW 106102353 A TW106102353 A TW 106102353A TW 201737024 A TW201737024 A TW 201737024A
Authority
TW
Taiwan
Prior art keywords
physical objects
physical
image
user
mounted display
Prior art date
Application number
TW106102353A
Other languages
English (en)
Inventor
伊凡 羅伯特 西爾德瑞斯
法蘭西斯 伯納德 麥克道高爾
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201737024A publication Critical patent/TW201737024A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供一種供一實體環境中之一頭戴式顯示器使用的方法，其包括獲得該實體環境之深度資訊及捕捉該實體環境之一視覺影像。該方法亦包括基於該深度資訊判定該頭戴式顯示器之一使用者與包括於該實體環境中的一或多個實體物件之間的一空間關係。接著基於該空間關係將該視覺影像分段以產生包括該一或多個實體物件的一經分段影像。接著將該經分段影像覆疊於一虛擬影像上以在該頭戴式顯示器上顯示該虛擬影像及該一或多個實體物件兩者。

Description

用於將實體環境之虛擬影像整合至虛擬實境之空間關係
本發明之態樣大體上係關於虛擬實境，且特定言之，係關於將實體環境之視覺影像整合至在頭戴式顯示器上呈現的虛擬影像。
虛擬實境(VR)為向使用者提供沉浸式多媒體或電腦模擬環境的新興技術。此類環境可模擬使用者在虛構世界或在真實地點之後模型化的世界中的實體存在。VR技術可向使用者呈現圖形、音訊及其他感覺增強以改良使用者在虛擬環境內的體驗。 然而，當今VR技術中之一些仍具有挑戰性。舉例而言，許多VR耳機遮擋使用者對真實世界(亦即，實體環境)的視野。亦即，為了向使用者呈現更具沉浸感之視覺外觀，VR耳機可完全或大部分遮擋使用者對除VR耳機之顯示器以外的所有事物的檢視。因此，在穿戴VR耳機及參與VR模擬時，使用者常常被阻止對其現實世界環境進行視覺感測及與其現實世界環境互動。在穿戴VR耳機時對現實世界之視覺感測的此缺少可對使用者造成若干困難及/或問題。舉例而言，可阻止或至少阻礙使用者嘗試在電腦鍵盤上定向其手。在另一實例中，使用者可能不能夠著所要物件，諸如飲料或電話。在又一實例中，使用者可能不會注意到進入房間或來到其附近的另一個人。甚至，使用者可甚至太晚才能夠看見其將撞上牆壁。 一些習知VR系統提供追蹤使用者之手且接著提供其手在VR模擬內之表示(例如，化身)的追蹤系統。然而，此類系統通常限於向使用者提供與存在於VR模擬中之僅虛擬物件互動的機制，且對上文所論述問題有極少幫助。
在一項態樣中，一種供實體環境中之頭戴式顯示器使用的方法包括獲得實體環境之深度資訊及捕捉實體環境之視覺影像。該方法亦包括基於深度資訊判定頭戴式顯示器之使用者與包括於實體環境中的一或多個實體物件之間的空間關係。接著基於空間關係將視覺影像分段以產生包括一或多個實體物件的經分段影像。接著將該經分段影像覆疊於虛擬影像上以藉由頭戴式顯示器顯示虛擬影像及一或多個實體物件兩者。 在另一態樣中，一種頭戴式顯示器包括用於捕捉實體環境之深度資訊的構件及用於捕捉實體環境之視覺影像的視覺攝影機。該頭戴式顯示器亦包括用於基於深度資訊判定頭戴式顯示器之使用者與包括於實體環境中的一或多個實體物件之間的空間關係的構件。用於基於空間關係將視覺影像分段以產生包括一或多個實體物件之經分段影像的構件及用於藉由頭戴式顯示器顯示虛擬影像的構件進一步包括於頭戴式顯示器中。該頭戴式顯示器進一步包括用於將經分段影像覆疊於虛擬影像上以顯示虛擬影像及由視覺攝影機捕捉的一或多個實體物件兩者的構件。 另一態樣係有關於一種頭戴式顯示器。該頭戴式顯示器包括視覺攝影機及顯示器。該頭戴式顯示器亦包括至少一個處理器及耦接至該至少一個處理器的至少一個記憶體。該至少一個處理器及該至少一個記憶體經組態以指導頭戴式顯示器執行以下操作：(i)獲得實體環境之深度資訊，其中實體環境包括一或多個實體物件；(ii)藉由視覺攝影機捕捉實體環境之視覺影像；(iii)基於深度資訊判定頭戴式顯示器之使用者與包括於實體環境中的一或多個實體物件之間的空間關係；(iv)基於空間關係將視覺影像分段以產生包括一或多個實體物件之經分段影像；(v)藉由顯示器顯示虛擬影像；及(vi)將經分段影像覆疊於虛擬影像上以顯示虛擬影像及由視覺攝影機捕捉的一或多個實體物件兩者。 在又一態樣中，一種非暫時性電腦可讀媒體包括儲存於其上之程式碼。該程式碼包括在經執行時使得頭戴式顯示器執行以下操作的指令：(i)獲得實體環境之深度資訊，其中實體環境包括一或多個實體物件；(ii)藉由視覺攝影機捕捉實體環境之視覺影像；(iii)基於深度資訊判定頭戴式顯示器之使用者與包括於實體環境中的一或多個實體物件之間的空間關係；(iv)基於空間關係將視覺影像分段以產生包括一或多個實體物件之經分段影像；(v)藉由頭戴式顯示器顯示虛擬影像；及(vi)將經分段影像覆疊於虛擬影像上以顯示虛擬影像及由視覺攝影機捕捉的一或多個實體物件兩者。 此[發明內容]在具有以下理解之情況下提交：其將不用於解譯或限制申請專利範圍之範疇或意義。此[發明內容]既不意欲識別所主張標的物之關鍵或基本特徵，亦不意欲在判定所主張標的物之範疇時用作輔助。
圖1為說明能夠執行本文中所論述之處理程序的頭戴式顯示器(HMD) 100的功能方塊圖。在一個實例中，HMD 100為能夠將實體環境之視覺影像整合至虛擬實境影像(諸如，下文描述的處理程序400)的使用者裝置。一般而言，控制單元106經耦接以自視覺攝影機102接收實體環境之視覺影像103。控制單元106經組態以接著將視覺影像103整合至由VR引擎122產生的虛擬影像。接著借助於顯示器126向使用者顯示虛擬影像。在一項實施中，顯示器126、視覺攝影機102、深度攝影機104、控制單元106、感測器105及/或使用者介面108經整合至可由HMD 100之使用者穿戴的單一單元中。在另一實施中，控制單元106與HMD 100分離。亦即，控制單元106可藉由電腦、電話、平板電腦、「平板手機(電話+平板電腦)」電腦、智慧型手機、膝上型電腦及桌上型電腦及借助於有線或無線連接耦接至HMD 100之類似者而實施。因而，控制單元106可包括應用程式設計介面(API)或用於與HMD 100通信的其他介面。無關於控制單元106與HMD 100整合抑或單獨地實施，在某些態樣中，視覺攝影機102、可選深度攝影機104及感測器107在HMD 100內與顯示器126整合，如下文將更詳細論述。 在一項實施中，視覺攝影機102為彩色攝影機，諸如RGB攝影機。視覺攝影機102經組態以捕捉現實世界場景(亦即，實體環境)之視覺影像103且將視覺影像103提供至控制單元106。視覺攝影機102可包括單一單目攝影機、立體攝影機及/或全向攝影機。在一項態樣中，視覺攝影機102經校正，以使得攝影機參數(例如，焦距、光學中心之位移、徑向失真、切向失真等)為吾人所知。此外，如上文所論述，視覺攝影機102與HMD 100整合。視覺攝影機102可與HMD 100整合，以使得由使用者(亦即，穿戴者)進行的對HMD 100之定向的改變導致視覺攝影機102之定向的相同或類似改變。 HMD 100亦包括可選深度攝影機104。深度攝影機104經組態以將深度資訊105提供至控制單元106。在一些態樣中，深度攝影機104為測距攝影機，諸如飛行時間(ToF)攝影機。在其他態樣中，深度攝影機104為結構化光攝影機或立體攝影機。深度資訊105可包括實體環境之3維(3D)點雲。因而，深度攝影機104可與HMD 100整合，以使得由使用者(亦即，穿戴者)進行的對HMD 100之定向的改變導致深度攝影機104之定向的相同或類似改變。然而，如上文所提及，深度攝影機104可為可選的。亦即，在一些實施中，深度資訊105可經由使用一或多個基於模型之追蹤演算法自視覺影像103自身導出。舉例而言，同步定位及映射(SLAM)演算法可由控制單元106利用以基於一或多個視覺影像103產生深度資訊105。SLAM演算法可自由視覺攝影機102捕捉的傳入影像序列重建構3D點以建置實體環境之3D地圖。自視覺影像103產生深度資訊105的其他已知演算法可根據本文中的教示而實施。 圖1中亦展示感測器107。在一項態樣中，感測器107包括用以提供獨立於可自視覺影像103及/或深度資訊105導出之運動資料的移動及/或定向資訊的運動感測器。作為實例，感測器107可包括加速度計(例如，MEMS裝置)、陀螺儀、地磁感測器(例如，羅盤)、高度計(例如，大氣壓力高度計)及/或任何其他類型的移動偵測感測器。此外，感測器107可包括複數個不同類型之裝置且組合其輸出以便提供運動資訊。舉例而言，感測器107可使用多軸加速度計及定向感測器之組合以提供計算在二維(2-D)及/或三維(3-D)座標系統中之位置的能力。如同視覺攝影機102，感測器107可與HMD 100整合，以使得由感測器107量測到的定向之改變表示藉由使用者(亦即，穿戴者)進行的對HMD 100之定向的改變。 HMD 100亦包括使用者介面108，該使用者介面包括能夠顯示由HMD 100產生的VR場景之顯示器126。如上文所提及，VR場景可包括由視覺攝影機102捕捉的實體環境之現實世界(亦即，實體)物件。使用者介面1008亦可包括可選小鍵盤128或其他輸入裝置，使用者可經由其將資訊輸入至HMD 100中。使用者介面108亦可包括麥克風130及揚聲器132。 控制單元106連接至視覺攝影機102、深度攝影機104、感測器107及使用者介面108且與以上各者通信。控制單元106接受及處理自視覺攝影機102接收之視覺影像103。控制單元106亦接受及處理自感測器107接收之資料以用於追蹤HMD 100之姿態。控制單元106可由處理單元110及相關聯記憶體116、硬體112、韌體114、軟體118及圖形引擎124提供。 控制單元106可進一步包括虛擬實境(VR)引擎122。VR引擎122可經組態以執行與將實體環境之視覺影像整合至虛擬實境影像相關的一或多個程序，諸如下文將參考圖4之處理程序400描述。由視覺攝影機102捕捉的視覺影像103以及由深度攝影機104產生的深度資訊105及由感測器107產生的資料可經提供至VR引擎122。VR引擎122可接著在HMD 100上顯現或以其他方式產生影像中之VR場景之視覺元素。 處理單元110及VR引擎122係出於明晰之目的而分開予以說明，但可為單一單元及/或基於處理單元110中執行之軟體118中之指令而實施於處理單元110中。處理單元110以及VR引擎122可(但無需一定)包括一或多個微處理器、嵌入式處理器、控制器、特殊應用積體電路(ASIC)、數位信號處理器(DSP)及其類似者。術語處理器及處理單元描述藉由系統而非特定硬體實施之功能。此外，如本文中所使用，術語「記憶體」係指任何類型之電腦儲存媒體，包括與HMD 100相關聯之長期記憶體、短期記憶體或其他記憶體，且不限於任何特定類型之記憶體或特定數目個記憶體，或上面儲存有記憶體之特定類型的媒體。 本文中所描述之處理程序可取決於應用而藉由各種構件予以實施。舉例而言，此等處理程序可以硬體112、韌體114、硬體112與軟體118之組合或其任何組合中予以實施。對於硬體實施，處理單元可在一或多個特殊應用積體電路(ASIC)、數位信號處理器(DSP)、數位信號處理裝置(DSPD)、可程式化邏輯裝置(PLD)、場可程式化閘陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、經設計以執行本文中所描述之功能的其他電子單元或其組合內實施。 對於韌體及/或硬體與軟體組合實施，處理程序可藉由執行本文中所描述之功能的模組(例如，程序、函式等)實施。有形地體現指令之任何電腦可讀媒體可用於實施本文中所描述之處理程序。舉例而言，程式碼可儲存於記憶體116中且由處理單元110執行。記憶體可在處理單元110內部或外部予以實施。 若以韌體及/或硬體/軟體組合實施，則該等功能可在電腦可讀媒體上儲存為一或多個指令或程式碼。實例包括編碼有資料結構之非暫時性電腦可讀媒體及編碼有電腦程式之電腦可讀媒體。電腦可讀媒體包括實體電腦儲存媒體。儲存媒體可為可由電腦存取之任何可用媒體。作為實例而非限制，此類電腦可讀媒體可包含RAM、ROM、快閃記憶體、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存裝置或其他磁性儲存裝置，或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體；如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 圖2說明根據本文中所描述的技術之一或多項實施的在實體環境200中的頭戴式顯示器(HMD) 204之使用者202。在一個實例中，HMD 204可經實施為圖1之HMD 100。HMD 204之所說明實例經展示為包括顯示器126、視覺攝影機102及深度攝影機104。然而，如上文所提及，深度攝影機104可為可選的且HMD 204可進一步包括用於在使用者202在實體環境200內移動時提供HMD 204之定向量測的運動感測器(例如，感測器107)。 如圖2中所示，使用者202位於包括一或多個實體物件之實體環境200內。此等實體物件可包括台子/桌子212、鍵盤214及監視器216。然而，任何實體物件可包括於實體環境200中，諸如牆壁、門、飲料、電話、另一個人等。如上文所提及，HMD 204之顯示器126可至少遮擋使用者202對實體環境200之視野的一部分。亦即，當不穿戴HMD 204時，使用者202可具有對實體環境200之無阻擋視野218。然而，當穿戴HMD 204時，藉由HMD 204自身擋住視野218之一些或全部。因此，根據本文中的教示，HMD 204經組態以將實體物件(例如，212、214、216)中之一或多者的視覺影像整合至正向使用者202顯示的虛擬影像以允許使用者202在不必移除HMD 204及/或中斷VR模擬的情況下感測實體環境及/或與實體環境互動。 在一項態樣中，HMD 204包括與顯示器126整合的視覺攝影機102，以使得由視覺攝影機102捕捉的實體環境200之視野為使用者202之被阻擋視野218。亦即，視覺攝影機102之視野可與在使用者202未穿戴HMD 204之情況下的使用者202之視野相同或類似。 HMD 204亦可包括與頭戴式顯示器126整合的深度攝影機104以捕捉深度資訊(例如，點雲)。深度攝影機104之視野可與視覺攝影機102之視野(例如，視野218)相同或類似。 在操作中，HMD 204經組態以基於由深度攝影機104捕捉的深度資訊將由視覺攝影機102捕捉的實體環境200之視覺影像分段。然而，如上文所提及，深度攝影機104可為可選的。因此，在一些實施中，深度資訊105可經由使用一或多個基於模型之追蹤演算法(例如，SLAM演算法)自視覺影像103自身而導出。如下文將更詳細地描述，視覺影像之分段可產生包括存在於實體環境200中之實體物件中之一或多者的經分段影像。舉例而言，經分段影像可包括使用者之手210 (單獨)、桌子212 (單獨)、鍵盤214 (單獨)、監視器216 (單獨)或其任何組合。HMD 204接著將經分段影像覆疊至經由顯示器126正向使用者202顯示的虛擬影像上，因此將實體環境200之視覺影像整合至VR。 因此，使用者202可接著能夠在不必移除HMD 204及/或不必中斷VR模擬(例如，遊戲)的情況下感測實體環境200及/或與其互動。舉例而言，將實體環境200之視覺影像整合至VR可允許使用者202將其手210正確地定向於鍵盤214上，夠著位於桌子/台子212上的物件(亦即，飲料)，感測進入實體環境或嘗試得到使用者202之注意的另一個人，及/或感測其將接觸的實體阻擋物(例如，其將撞上的牆壁)。根據一些態樣，HMD 204無需分類或瞭解實體物件為何物，藉此支援任意實體物件呈現成VR模擬。 圖3說明根據本文中所描述的技術之一或多項實施的基於深度資訊將使用者手之視覺影像整合至虛擬影像的處理程序。實體環境200之深度影像302可由HMD 204之深度攝影機104捕捉。在一項態樣中，深度攝影機104及/或VR引擎122可經組態以基於深度影像302產生深度資訊105，諸如實體環境200之3D點雲。然而，在其他實例中，深度資訊105可借助於應用於由視覺攝影機102產生之視覺影像103的一或多個演算法而導出。舉例而言，圖3說明由視覺攝影機102捕捉的實體環境200之視覺影像304。如所示，視覺影像304包括使用者202之手210、桌子/台子212、鍵盤214及監視器216的影像資料。VR引擎122可經組態以基於深度影像302 (亦即，深度資訊)將視覺影像304分段，且接著基於包括於深度影像302中之深度資訊將視覺影像304之部分分類為前景物件。儘管VR引擎122經組態以將視覺影像之部分(例如，對應於實體物件之部分)分類為前景物件，但VR引擎122可完成此前景分類而不需分類或理解實體物件為何物。因此，視覺影像304可包括任意實體物件，VR引擎122不具有關於該等任意實體物件之先驗瞭解。在圖3的實例中，手210藉由VR引擎122分類為藉此產生阿爾法(alpha)遮罩306之深度影像302內的前景物件。VR引擎122接著將阿爾法遮罩306應用於視覺影像304以產生經分段影像308。如所示，經分段影像308包括僅手210的影像資料。因此，手已與包括於視覺影像304中的其他實體物件分段。 VR引擎122亦產生借助於顯示器126向使用者202顯示的虛擬影像310。虛擬影像310可為使用者202當前參與的VR模擬(例如，遊戲)之部分。VR引擎122接著將經分段影像308覆疊至虛擬影像310上以經由顯示器126向使用者202呈現組合影像312。因此，組合影像312包括虛擬影像310及由視覺攝影機102捕捉的實體物件(例如，手210)兩者。在一項態樣中，VR引擎122可根據虛擬場景照明調節經分段影像308以產生更符合組合影像312內的虛擬影像310的手210之外觀，藉此增加由使用者202感到的沉浸感覺。作為實例，根據虛擬場景照明調節經分段影像308可在將阿爾法遮罩306應用於視覺影像304時藉由VR引擎122而實施。在此實例中，VR引擎122可基於3D點雲產生經偵測前景物件(例如，手210)之3D網格。視覺影像304之對應於手210的一部分接著經映射至3D網格上以產生經分段影像308。 取決於VR模擬，由深度影像302提供的深度資訊可經利用，以使得實體物件(例如，手210)可由虛擬影像310中之接近虛擬物件遮擋。舉例而言，VR引擎122可經組態以比較所顯現VR場景之z緩衝區與由深度影像302提供之深度資訊以判定一或多個虛擬物件是否應在組合影像312中在手210的前方呈現(亦即，遮擋手)。 如上文所論述，除僅能夠檢視其自身的手以外，使用者202可需要能夠在不必移除HMD 204及/或不需中斷VR模擬的情況下感測實體環境200中之一或多個其他實體物件及/或與其互動。因此，圖4為說明根據本文中所描述的技術之一或多項實施的利用空間關係用於將實體環境之視覺影像整合至虛擬實境的處理程序400之流程圖。處理程序400為藉由圖1之HMD 100及/或圖2之HMD 204執行的一個可能處理程序。 在處理程序區塊402中，捕捉實體環境200之深度資訊105。如上文所提及，深度資訊105可由深度攝影機104捕捉及/或藉由將一或多個基於模型之演算法應用於由視覺攝影機102捕捉的一或多個視覺影像而捕捉。深度資訊105可包括實體環境200之3D點雲。 在處理程序區塊404中，視覺攝影機102捕捉實體環境200之視覺影像103。視覺影像103可為彩色(例如，RGB)影像或其可為灰度影像。接下來，在處理程序區塊406中，VR引擎122基於深度資訊105判定HMD之使用者(例如，HMD 204之使用者202)與包括於實體環境200中的一或多個實體物件(例如，桌子/台子212、鍵盤214及監視器216)之間的空間關係。如下文將更詳細論述，判定空間關係可部分地基於使用者202是否正觸碰實體物件、使用者202與實體物件之間的距離、使用者202之手示意動作，及/或實體環境200之一或多個過去模型。 在處理程序區塊408中，VR引擎122基於空間關係將視覺影像103分段以產生包括一或多個實體物件之經分段影像。在一個實例中，將視覺影像103分段包括基於3D點雲產生一或多個實體物件之3D網格。視覺影像103之對應於一或多個實體物件的一部分接著經映射至3D網格上以產生經分段影像。接下來，在處理程序區塊410中，VR引擎122將虛擬影像呈現/產生為VR模擬之部分以用於在顯示器126上顯示。在處理程序區塊412中，VR引擎122將經分段影像覆疊於虛擬影像上以顯示虛擬影像及由視覺攝影機102捕捉的一或多個實體物件兩者。 圖5說明根據本文中所描述的技術之一或多項實施的基於使用者與實體物件之間的空間關係將實體物件之視覺影像整合至虛擬影像的處理程序。 實體環境200之深度影像502由HMD 204之深度攝影機104捕捉。圖5亦說明由視覺攝影機102捕捉的實體環境200之視覺影像504。如所示，視覺影像504包括使用者202之手210、桌子/台子212、鍵盤214及監視器216的影像資料。VR引擎122可經組態以根據由(例如)感測器107判定的HMD 204之位置及定向而變換深度影像502。在另一實例中，VR引擎122可藉由對齊處理程序變換深度影像502，其中深度影像502與過去深度影像比較以判定變換(在具有或不具有感測器107輔助之情況下)。經變換深度影像502接著與過去深度影像506組合以便將靜態物件識別為背景。舉例而言，比較深度影像502與過去深度影像506揭露桌子/台子212、鍵盤214及監視器216全部為靜態物件且因此被分類為背景，而手210被分類為前景。 VR引擎122可接著藉由比較深度影像502與過去深度影像506而將視覺影像504分段以產生前景阿爾法遮罩508。接下來，VR引擎122識別觸碰或靠近所識別前景物件的背景物件。舉例而言，VR引擎122可將鍵盤214 (亦即，背景物件)識別為靠近或觸碰手210 (前景物件)，且因此VR引擎可將視覺影像504分段以亦產生僅包括鍵盤214的背景阿爾法遮罩510。在一個實例中，將視覺影像504分段以產生背景阿爾法遮罩510包括基於背景物件之特性(諸如，表面結構及/或視覺外觀(例如，色彩及/或紋理))擴大所選擇背景物件以將整個背景物件分段。因此，即使手210可僅觸碰或靠近鍵盤214的一部分，仍可產生對應於整個鍵盤214的背景阿爾法遮罩510。在一些實施中，相對較大的背景物件(例如，牆壁)可整體經分段。然而，在其他實施中，相對較大的背景物件(例如，牆壁)可僅部分地經分段，其中大背景物件的僅一部分經分段。舉例而言，VR引擎122可經組態以僅將與最靠近使用者的物件上之點相距在臨限距離內的大背景物件(例如，牆壁)的一部分分段。作為實例，VR引擎122可辨識到使用者202觸碰鍵盤214且因此將整個鍵盤214分段以使得整個鍵盤214出現在組合影像516中。然而，當VR引擎122辨識到使用者202正觸碰桌子/台子212時，僅桌子/台子212之在使用者202之夠著範圍內的部分可出現在組合影像516中，以便減少虛擬影像之遮擋。 VR引擎122接著組合前景阿爾法遮罩508與背景阿爾法遮罩510以產生組合之阿爾法遮罩512，其接著應用於視覺影像504以產生經分段影像514。如圖5中所示，經分段影像514包括由視覺攝影機102捕捉的一或多個實體物件(亦即，鍵盤214)以及手210。 VR引擎122接著將經分段影像514覆疊至虛擬影像上以經由顯示器126向使用者202顯示組合影像516。因此，組合影像516包括虛擬影像以及由視覺攝影機102捕捉的手210及實體物件(例如，手210)。在一項態樣中，VR引擎122可根據虛擬場景照明調節經分段影像514以產生更符合組合影像516內之虛擬影像的手210之外觀。在一個實例中，VR引擎122可藉由基於3D點雲產生所偵測前景物件(例如，手210)及所偵測背景物件(例如，鍵盤214)之3D網格而調節經分段影像514。視覺影像504之對應於手210及鍵盤214的部分接著經映射至3D網格上以產生(已調節之)經分段影像514。 在一些實施中，VR引擎122可在將經分段影像514覆疊至虛擬影像上時調節使用者手210及/或鍵盤214之透明度，以使得虛擬影像不完全由經分段影像514遮擋。亦即，經分段影像514之透明度可經調節以使得實體物件出於使用者之需要而充分可見(例如，允許使用者在鍵盤上正確地定向手)，但不會顯著干擾VR模擬(例如，不會顯著遮擋遊戲)。在一項態樣中，VR引擎122可在一段時間內增加包括於經分段影像514中的一或多個實體物件之透明度直至一或多個實體物件完全透明。作為實例，鍵盤214之透明度可在鍵盤214自組合影像516之視圖淡出之前在一段時間內增加以允許使用者202將其手定向於鍵盤214上方。在一些實施中，背景物件之透明度可獨立於前景物件之透明度而經控制。舉例而言，VR引擎122可在組合前景阿爾法遮罩508與背景阿爾法遮罩510時調節背景物件之透明度，以使得背景物件(亦即，鍵盤214)為部分透明的，而前景物件(亦即，手210)完全不透明。如上文所論述，對於相對較大的背景物件，VR引擎122可僅將實體物件的與最靠近使用者的物件上之點相距在臨限距離內的彼等部分分段。因此，當產生背景阿爾法遮罩510時，VR引擎122可與距實體物件上的彼點之距離成比例地調節背景物件之透明度，以使得實體物件之距使用者更遠的部分與實體物件之更靠近使用者的部分相比更透明。 如上文所提及，判定使用者與實體環境中之一或多個實體物件之間的空間關係可基於使用者是否正觸碰及/或靠近實體物件。因此，HMD 100的VR引擎122可經組態以判定使用者與實體環境200中之一或多個實體物件之間的距離，其中若距離小於臨限值，則一或多個實體物件僅包括於經分段影像(例如，516)中。臨限之值可經選擇以使得若使用者正觸碰一或多個實體物件，則經分段影像包括一或多個實體物件。臨限之值亦可經選擇以使得若使用者至少靠近一或多個實體物件，則經分段影像包括一或多個實體物件。因此，圖6說明根據本文中所描述的技術之一或多項實施基於距離判定使用者與實體物件之間的空間關係的實例實施。 圖6說明位於實體環境200中的使用者202之手210及一或多個實體物件(鍵盤214及監視器216)。因此，HMD 100可經組態以藉由分別判定手210與實體物件214、216之間的距離602、604而判定使用者與一或多個實體物件之間的距離。亦即，所說明實例包括基於使用者之手與實體物件之間的距離判定使用者與實體物件之間的空間關係。然而，其他實例可包括判定使用者之其他態樣與實體物件之間的距離。舉例而言，距離可基於自使用者之身體(例如，軀幹)至實體物件的距離、自使用者之腳至實體物件的距離，及/或自使用者之頭至實體物件的距離。此外，判定使用者與實體物件之間的距離無需包括利用使用者自身之實體屬性，而改為利用使用者控制之指示符。舉例而言，使用者可控制(例如，藉由在其手中固持)手寫筆、指標、標籤或其他標誌，其中所判定距離為使用者控制之指示符與實體物件之間的距離。在一些實施中，使用者與實體物件之間的距離可基於來自包括於HMD 100中的一或多個感測器及/或攝影機之資料而判定。舉例而言，HMD 100可基於視覺影像103、深度資訊105及/或由感測器107提供的資料中之一或多者判定使用者與一或多個實體物件之間的距離。 此外，在一些實例中，圖6中所說明的距離602及距離604可分別為至物件214及物件216的表面、邊緣或邊界上之點的距離。然而，在其他實例中，距離602及距離604可為至表示整個各別物件之位置(例如，參考位置，諸如中心、拐角等)的距離。作為實例，返回參看處理程序400，在處理程序區塊406中視覺影像尚未經分段，且因此可尚未知曉表示整個實體物件之位置。處理程序區塊406可接著選擇在距使用者某一距離內或在空間區域內的點雲之種子點。處理程序區塊408可接著包括基於所選擇種子點將實體物件中之一或多者分段，其中彼等種子點用以生長實體物件直至其邊界被偵測到(例如，基於色彩、紋理及/或幾何結構均勻性)。一旦實體物件之邊界經判定，VR引擎122便可接著判定表示整個實體物件的位置以便決定物件是否在使用者之臨限距離內或在所界定空間區域(下文論述)內。 如圖6中所示，手與鍵盤214相距第一距離602且與監視器216相距第二較大距離604。第一距離602及第二距離604可各自與臨限值比較以判定經分段影像中是否包括各別實體物件。舉例而言，臨限之值亦可經選擇以使得若手210至少靠近一或多個實體物件，則經分段影像包括一或多個實體物件。因此，距離602小於臨限值，以使得鍵盤214包括於經分段影像中，而距離604不小於臨限值且因此監視器216不包括於經分段影像中。 在另一實例中，臨限之值可經選擇以使得僅在使用者正觸碰一或多個實體物件之情況下經分段影像才包括一或多個實體物件。亦即，臨限之值可為零(或接近於零)。因此，距離602及604指示手210既不觸碰鍵盤214亦不觸碰監視器216，且因此實體物件皆不可包括於經分段影像中。 在一些態樣中，使用者與實體物件之間的距離可用於調節顯示於HMD 100之顯示器126上的實體物件之透明度。亦即，VR引擎122可經組態以基於使用者與一或多個實體物件之間的距離調節包括於經分段影像中的一或多個實體物件之透明度。在一項實施中，可基於使用者與實體物件之間的初始距離設定實體物件之透明度，且接著透明度可隨距離減小而減小(使實體物件更加可見)。舉例而言，參看圖6，可最初基於距離602設定鍵盤214之透明度，以使得鍵盤214至少部分透明(例如，在圖5之組合影像516中部分透明)。接著，當手210朝向鍵盤214移動，藉此減小距離602時，透明度可減小，從而使得手210愈接近鍵盤214，鍵盤214愈來愈可見。在一項實施中，鍵盤214之透明度可與距離602之減小成比例地減小。 在一些實施中，一或多個實體物件可基於使用者之手示意動作或手姿態而整合至藉由HMD 100之顯示器126顯示的VR場景中。亦即，使用者與一或多個實體物件之間的空間關係可部分地藉由辨識使用者之手的手示意動作以識別將包括於經分段影像中的一或多個實體物件而判定。在一些實例中，頭戴式顯示器(例如，HMD 100)回應於辨識手示意動作而產生在3D點雲內且接近使用者之手的空間區域。經分段影像可接著僅包括至少部分位於空間區域內的彼等實體物件。 舉例而言，圖7說明根據本文中所描述的技術之一或多項實施的基於第一手示意動作判定使用者與實體物件之間的空間關係的實施。圖7之手210為張開手示意動作，其中手210隨手指伸展而張開。回應於辨識張開手示意動作，HMD 100可產生為由座標系統702界定的3D點雲內之閉合3D形狀的空間區域。如本文中所使用，閉合3D形狀為在所有側面上定界的任何3D形狀。在圖7之所說明實例中，閉合3D形狀為球體710，但亦可實施其他閉合3D形狀，諸如立方體、長方體、角錐體、圓錐體、稜柱體、圓柱體及其類似者。此外，球體710與手210重合且圍繞手210定向。在一些態樣中，球體710之中心為手210之中心。然而，在其他實例中，球體710可自手210偏移(例如，球體710可經定位，以使得球體710之表面與手210相切)。球體710亦包括直徑712。在一些實施中，直徑712與手210之手指之間的伸展量714成比例。因此，隨著使用者202改變其手指之間的伸展量714，直徑712可相應地動態改變。亦即，隨著伸展量714增加，直徑712可按比例增加，且隨著伸展量714減小，直徑712可按比例減小。 圖7進一步說明以3D點雲表示的若干實體物件704、706及708。實體物件704完全位於球體710內且因此包括於由VR引擎122產生的經分段影像中。實體物件706至少部分位於球體710內且因此亦包括於經分段影像中。然而，實體物件708無部分位於球體710內且因此可不包括於經分段影像內。 圖8說明根據本文中所描述的技術之一或多項實施的基於第二手示意動作判定使用者與實體物件之間的空間關係的實例實施。在圖8之實例中，手210為手指指向示意動作，其中手210包括經展開的至少一個手指804。回應於辨識手指指向示意動作，HMD 100可產生為由座標系統702界定的3D點雲內之開放性空間區域的空間區域。如本文中所使用，開放性空間區域可指並不在所有側面上定界的2D或3D形狀。亦即，開放性空間區域之至少一個側面可不定界以使得開放性空間區域可動態地延伸至點雲中。在圖8之所說明實例中，開放性空間區域係由圓錐體形狀806界定，但亦可實施其他開放性形狀(諸如，立方體、長方體、角錐體、圓錐體、稜柱體、圓柱體及其類似者)。此外，圓錐體形狀806自手指804延伸至3D點雲中。因此，圓錐體形狀806可包括在手指804之尖端處重合的頂點808。然而，在其他實例中，頂點808可自手指804之尖端偏移。 圓錐體形狀806亦展示為根據座標系統702基於手指804之定向810延伸遠離手指804。在一些實施中，圓錐體形狀806之定向812與手指804之定向810相同或類似。因此，隨著使用者202改變手指804之定向810，圓錐體形狀806之定向812可相應地動態改變。亦即，當使用者指向實體環境200內之區域時，圓錐體形狀806之定向812可改變以涵蓋位於彼區域中之一或多個實體物件。如圖8中所示，實體物件814至少部分位於圓錐體形狀806內且因此包括於經分段影像中。 在一些實施中，HMD 100及/或HMD 204之使用者可需要感測另一個人或物件何時進入實體環境或接近使用者。因此，某些態樣可包括藉由判定一或多個實體物件對於實體環境是否為新實體物件而判定使用者與一或多個實體物件之間的空間關係。舉例而言，圖9說明根據本文中所描述的技術之一或多項實施基於實體環境之過去模型將實體物件之視覺影像整合至虛擬影像的處理程序。 實體環境200之深度影像902係由HMD 204之深度攝影機104捕捉。圖9亦說明由視覺攝影機102捕捉的實體環境200之視覺影像904。如所示，視覺影像904包括已進入實體環境200的個人916以及牆壁918之影像資料。VR引擎122可經組態以根據由(例如)感測器104判定的HMD 204之位置及定向變換深度影像902。經變換深度影像902接著與過去模型(亦即，過去深度影像906)組合以便將靜態物件識別為現有背景物件。舉例而言，比較深度影像902與過去深度影像906揭露牆壁918全部為靜態物件且因此經分類為現有背景物件，而個人916經分類為新的背景物件。 VR引擎122可接著藉由比較深度影像902與過去深度影像906而將視覺影像904分段以產生背景德耳塔(delta)遮罩908。VR引擎122接著將背景德耳塔遮罩908應用於視覺影像904以產生經分段影像910。如圖9中所示，經分段影像910包括由視覺攝影機102捕捉的一或多個新實體物件(亦即，個人916)。 VR引擎122接著將經分段影像910覆疊至虛擬影像912上以經由顯示器126向使用者202顯示組合影像914。因此，組合影像914包括虛擬影像912以及由視覺攝影機102捕捉的個人916。在一項態樣中，VR引擎122可根據虛擬場景照明調節經分段影像910以產生更符合組合影像914內之虛擬影像912的個人916之外觀。作為實例，VR引擎122可經組態以在將背景德耳塔遮罩908應用於視覺影像904時根據虛擬場景照明調節經分段影像910。亦即，VR引擎122可基於3D點雲產生所偵測新實體物件(例如，個人916)的3D網格，其中視覺影像904之對應於個人916的部分接著經映射至3D網格上以產生經分段影像910。 圖10為說明組件之若干樣本態樣的簡化方塊圖，該等組件可用於經組態以整合實體環境之視覺影像(如本文中所教示)的使用者裝置設備1000中。使用者裝置設備1000為圖1的HMD 100及/或圖2的HMD 204中之一個可能實施，其表示為一系列相關聯功能模組。 用於捕捉實體環境之深度資訊的模組1010可至少在一些態樣中對應於(例如)圖1之深度攝影機104及/或視覺攝影機102。用於捕捉實體環境之視覺影像的模組1020可至少在一些態樣中對應於(例如)圖1之視覺攝影機102。用於基於深度資訊判定頭戴式顯示器之使用者與包括於實體環境中的一或多個實體物件之間的空間關係的模組1030可至少在一些態樣中對應於(例如)圖1之VR引擎122。用於基於空間關係將視覺影像分段以產生包括一或多個實體物件之經分段影像的模組1040可至少在一些態樣中對應於(例如)圖1之VR引擎122。用於向頭戴式顯示器呈現虛擬影像的模組1050可至少在一些態樣中對應於(例如)與圖1之顯示器126組合的VR引擎122。用於將經分段影像覆疊於虛擬影像上以呈現虛擬影像及由視覺攝影機捕捉的一或多個實體物件兩者的模組1060可至少在一些態樣中對應於(例如)與圖1之頭戴式顯示器126組合的VR引擎122。 圖1之模組1010至1060的功能性可以與本文中之教示一致的各種方式實施。在一些設計中，此等模組1010至1060之功能性可實施為一或多個電組件。在一些設計中，此等模組1010至1060之功能性可實施為包括一或多個處理器組件之處理系統。在一些設計中，可使用(例如)一或多個積體電路(例如，ASIC)的至少一部分而實施此等模組1010至1060之功能性。如本文中所論述，積體電路可包括處理器、軟體、其他相關組件，或其某一組合。因此，不同模組之功能性可實施為(例如)積體電路之不同子集、軟體模組集合之不同子集，或其組合。又將瞭解，給定子集(例如，積體電路及/或軟體模組集合之子集)可針對大於一個模組提供功能性之至少一部分。 此外，可使用任何合適構件實施由圖10表示的組件及功能以及本文中所描述之其他組件及功能。亦可至少部分使用如本文中所教示之對應結構來實施此構件。舉例而言，上文所描述的組件連同圖10之「用於」組件「之模組」亦可對應於類似指定的「用於」功能性「之構件」。因此，在一些態樣中，可使用處理器組件、積體電路或如本文中所教示之其他合適結構中之一或多者實施此類構件中之一或多者。 本文中參考用於特定應用之說明來描述一或多項實施。應理解，實施不意欲為限制性的。可獲得本文中所提供的教示之熟習此項技術者將認識到其範疇內的額外修改、應用及實施以及技術將具有顯著實用性的額外領域。在實例實施之以上描述中，出於解釋之目的，闡述特定數目、材料、組態及其他細節以便較好解釋所主張的實施。然而，熟習此項技術者將顯而易見，可使用不同於本文中所描述之實例的細節實踐申請專利範圍。在其他情況下，熟知特徵經省去或簡化以闡明實例實施之描述。
100‧‧‧頭戴式顯示器(HMD)
102‧‧‧視覺攝影機
103‧‧‧視覺影像
104‧‧‧深度攝影機
105‧‧‧深度資訊
106‧‧‧控制單元
107‧‧‧感測器
108‧‧‧使用者介面
110‧‧‧處理單元
112‧‧‧硬體
114‧‧‧韌體
116‧‧‧記憶體
118‧‧‧軟體
120‧‧‧網路配接器
122‧‧‧VR引擎
124‧‧‧圖形引擎
126‧‧‧顯示器
128‧‧‧小鍵盤
130‧‧‧麥克風
132‧‧‧揚聲器
200‧‧‧實體環境
202‧‧‧使用者
204‧‧‧頭戴式顯示器(HMD)
210‧‧‧手
212‧‧‧台子/桌子/實體物件
214‧‧‧鍵盤/實體物件
216‧‧‧監視器/實體物件
218‧‧‧視野
302‧‧‧深度影像
304‧‧‧視覺影像
306‧‧‧阿爾法遮罩
308‧‧‧經分段影像
310‧‧‧虛擬影像
312‧‧‧組合影像
400‧‧‧利用空間關係用於將實體環境之視覺影像整合至虛擬實境的處理程序
402‧‧‧處理程序區塊
404‧‧‧處理程序區塊
406‧‧‧處理程序區塊
408‧‧‧處理程序區塊
410‧‧‧處理程序區塊
412‧‧‧處理程序區塊
502‧‧‧深度影像
504‧‧‧視覺影像
506‧‧‧過去深度影像
508‧‧‧前景阿爾法遮罩
510‧‧‧背景阿爾法遮罩
512‧‧‧組合之阿爾法遮罩
514‧‧‧經分段影像
516‧‧‧組合影像
602‧‧‧第一距離
604‧‧‧第二距離
702‧‧‧座標系統
704‧‧‧實體物件
706‧‧‧實體物件
708‧‧‧實體物件
710‧‧‧球體
712‧‧‧直徑
714‧‧‧伸展量
804‧‧‧手指
806‧‧‧圓錐體形狀
808‧‧‧頂點
810‧‧‧定向
812‧‧‧定向
814‧‧‧實體物件
902‧‧‧深度影像
904‧‧‧視覺影像
906‧‧‧過去深度影像
908‧‧‧背景德耳塔遮罩
910‧‧‧經分段影像
912‧‧‧虛擬影像
914‧‧‧組合影像
916‧‧‧個人
918‧‧‧牆壁
1000‧‧‧使用者裝置設備
1010‧‧‧用於捕捉實體環境之深度資訊的模組
1020‧‧‧用於捕捉實體環境之視覺影像的模組
1030‧‧‧用於基於深度資訊判定頭戴式顯示器之使用者與包括於實體環境中的一或多個實體物件之間的空間關係的模組
1040‧‧‧用於基於空間關係將視覺影像分段以產生包括一或多個實體物件之經分段影像的模組
1050‧‧‧用於向頭戴式顯示器呈現虛擬影像的模組
1060‧‧‧用於將經分段影像覆疊於虛擬影像上以呈現虛擬影像及由視覺攝影機捕捉的一或多個實體物件兩者的模組
圖1為說明能夠執行本文中所論述之處理程序的頭戴式顯示器的功能方塊圖。 圖2說明根據本文中所描述的技術之一或多項實施的在實體環境中的頭戴式顯示器之使用者。 圖3說明根據本文中所描述的技術之一或多項實施的基於深度資訊將使用者手之視覺影像整合至虛擬影像的處理程序。 圖4為說明根據本文中所描述的技術之一或多項實施的利用空間關係用於將實體環境之視覺影像整合至虛擬實境的處理程序之流程圖。 圖5說明根據本文中所描述的技術之一或多項實施的基於使用者與實體物件之間的空間關係將實體物件之視覺影像整合至虛擬影像的處理程序。 圖6說明根據本文中所描述的技術之一或多項實施的基於距離判定使用者與實體物件之間的空間關係的實例實施。 圖7說明根據本文中所描述的技術之一或多項實施的基於第一手示意動作判定使用者與實體物件之間的空間關係的實例實施。 圖8說明根據本文中所描述的技術之一或多項實施的基於第二手示意動作判定使用者與實體物件之間的空間關係的實例實施。 圖9說明根據本文中所描述的技術之一或多項實施的基於實體環境之過去模型將實體物件之視覺影像整合至虛擬影像的處理程序。 圖10為說明組件之若干樣本態樣的簡化方塊圖，該等組件可用於經組態以整合實體環境之視覺影像(如本文中所教示)的使用者裝置中。 [實施方式]參考附圖。在諸圖中，參考數字之最左數位識別首次出現該參考數字之圖。貫穿圖式使用相同數字參考相似特徵及組件。
400‧‧‧利用空間關係用於將實體環境之視覺影像整合至虛擬實境的處理程序
402‧‧‧處理程序區塊
404‧‧‧處理程序區塊
406‧‧‧處理程序區塊
408‧‧‧處理程序區塊
410‧‧‧處理程序區塊
412‧‧‧處理程序區塊

Claims (46)

  1. 一種供一實體環境中之一頭戴式顯示器使用的方法，該方法包含： 獲得該實體環境之深度資訊，其中該實體環境包括一或多個實體物件； 藉由一視覺攝影機捕捉該實體環境之一視覺影像； 基於該深度資訊判定該頭戴式顯示器之一使用者與包括於該實體環境中的該一或多個實體物件之間的一空間關係； 基於該空間關係將該視覺影像分段以產生包括該一或多個實體物件之一經分段影像； 在該頭戴式顯示器上顯示一虛擬影像；及 將該經分段影像覆疊於該虛擬影像上以顯示該虛擬影像及由該視覺攝影機捕捉的該一或多個實體物件兩者。
  2. 如請求項1之方法，其中判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係包含判定該使用者與該一或多個實體物件之間的一距離，且其中將該視覺影像分段包含僅在該距離小於一臨限值之情況下才在該經分段影像中包括該一或多個實體物件。
  3. 如請求項2之方法，其中該臨限值之一值使得若該使用者正觸碰該一或多個實體物件，則該經分段影像包括該一或多個實體物件。
  4. 如請求項2之方法，其中該臨限之該值使得若該使用者至少靠近該一或多個實體物件，則該經分段影像包括該一或多個實體物件。
  5. 如請求項2之方法，其中該使用者與該一或多個實體物件之間的該距離為該使用者之一手與該一或多個實體物件之間的一距離。
  6. 如請求項2之方法，其中將該經分段影像覆疊於該虛擬影像上包含基於該使用者與該一或多個實體物件之間的該距離調節由該視覺攝影機捕捉的該一或多個實體物件之一透明度。
  7. 如請求項6之方法，其中調節該一或多個實體物件之該透明度包含與該使用者與該一或多個實體物件之間的該距離的一減小成比例地減小該透明度。
  8. 如請求項1之方法，其中將該經分段影像覆疊於該虛擬影像上包含調節由該視覺攝影機捕捉的該一或多個實體物件之一透明度，以使得該虛擬影像不完全由該一或多個實體物件遮擋。
  9. 如請求項8之方法，其進一步包含在一段時間內增加該虛擬影像中之該一或多個實體物件之該透明度直至該一或多個實體物件完全透明。
  10. 如請求項1之方法，其中判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係包含辨識該使用者之一手的一手示意動作以識別將包括於該經分段影像中的該一或多個實體物件。
  11. 如請求項10之方法，其中該深度資訊包含該實體環境之一3維(3D)點雲，該方法進一步包含： 回應於辨識該手示意動作而產生在該3D點雲內且接近該使用者之該手的一空間區域，且其中將該視覺影像分段包含僅在該一或多個實體物件至少部分位於該空間區域內之情況下才在該經分段影像中包括該一或多個實體物件。
  12. 如請求項11之方法，其中產生該空間區域包含回應於辨識該手示意動作而產生一閉合3D形狀，且其中將該視覺影像分段包含僅在該一或多個實體物件至少部分位於該閉合3D形狀內之情況下才在該經分段影像中包括該一或多個實體物件。
  13. 如請求項12之方法，其中該手示意動作為一張開手示意動作，且其中該閉合3D形狀為一球體。
  14. 如請求項13之方法，其中該球體係圍繞該使用者之該手而定向且具有與該使用者之該手的手指之一伸展量成比例的一直徑。
  15. 如請求項11之方法，其中產生該空間區域包含回應於辨識該手示意動作而產生自該使用者之該手延伸至該3D點雲中的一開放性空間區域，且其中將該視覺影像分段包含僅在該一或多個實體物件至少部分位於該開放性空間區域內之情況下才在該經分段影像中包括該一或多個實體物件。
  16. 如請求項15之方法，其中該手示意動作為一手指指向手示意動作，其中該開放性空間區域為由具有在該使用者的該手之一手指處的一頂點的一圓錐體形狀界定的一區域，且其中該圓錐體形狀基於該手指之一定向遠離該手指延伸至該實體環境中。
  17. 如請求項1之方法，其中基於該空間關係將該視覺影像分段以產生一經分段影像包含根據該虛擬影像之虛擬場景照明調節該經分段影像。
  18. 如請求項17之方法，其中該深度資訊包含該實體環境之一3維(3D)點雲，且其中根據該虛擬影像之虛擬場景照明調節該經分段影像包含： 基於該3D點雲產生該一或多個實體物件之一3D網格；及 將該視覺影像的一部分映射至該一或多個實體物件之該3D網格上。
  19. 如請求項1之方法，其中將該視覺影像分段包含基於該深度資訊將該一或多個實體物件與包括於該實體環境中的一或多個其他實體物件分段。
  20. 如請求項1之方法，其中將該視覺影像分段包含產生該經分段影像以包括由該視覺攝影機捕捉的該一或多個實體物件及該使用者之一手。
  21. 如請求項1之方法，其中由該視覺攝影機捕捉的該實體環境之一視野為由該頭戴式顯示器阻擋的該使用者之一視野。
  22. 如請求項1之方法，其中判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係包含： 獲得該實體環境之一過去模型；及 基於該過去模型判定該一或多個實體物件對於該實體環境是否為新實體物件，其中將該視覺影像分段包含回應於判定該一或多個實體物件對於該實體環境為新實體物件而在該經分段影像中包括該一或多個實體物件。
  23. 一種頭戴式顯示器，其包含： 用於獲得一實體環境之深度資訊的構件，其中該實體環境包括一或多個實體物件； 一視覺攝影機，其用於捕捉該實體環境之一視覺影像； 用於基於該深度資訊判定該頭戴式顯示器之一使用者與包括於該實體環境中的該一或多個實體物件之間的一空間關係的構件； 用於基於該空間關係將該視覺影像分段以產生包括該一或多個實體物件之一經分段影像的構件； 用於在該頭戴式顯示器上顯示一虛擬影像的構件；及 用於將該經分段影像覆疊於該虛擬影像上以顯示該虛擬影像及由該視覺攝影機捕捉的該一或多個實體物件兩者的構件。
  24. 如請求項23之頭戴式顯示器，其中用於判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係的該構件包含用於判定該使用者與該一或多個實體物件之間的一距離的構件，且其中用於將該視覺影像分段的該構件包含用於僅在該距離小於一臨限值之情況下才在該經分段影像中包括該一或多個實體物件的構件。
  25. 如請求項24之頭戴式顯示器，其中該使用者與該一或多個實體物件之間的該距離為該使用者之一手與該一或多個實體物件之間的一距離。
  26. 如請求項23之頭戴式顯示器，其中用於判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係的該構件包含用於辨識該使用者的一手之一手示意動作以識別將包括於該經分段影像中的該一或多個實體物件的構件。
  27. 如請求項26之頭戴式顯示器，其中該深度資訊包含該實體環境之一3維(3D)點雲，該頭戴式顯示器進一步包含： 用於回應於辨識該手示意動作而產生在該3D點雲內且接近該使用者之該手的一空間區域的構件，且其中用於將該視覺影像分段的該構件包含用於僅在該一或多個實體物件至少部分位於該空間區域內之情況下才在該經分段影像中包括該一或多個實體物件的構件。
  28. 如請求項27之頭戴式顯示器，其中用於產生該空間區域的該構件包含用於回應於辨識該手示意動作而產生一閉合3D形狀的構件，且其中用於將該視覺影像分段的該構件包含用於僅在該一或多個實體物件至少部分位於該閉合3D形狀內之情況下才在該經分段影像中包括該一或多個實體物件的構件。
  29. 如請求項27之頭戴式顯示器，其中用於產生該空間區域的該構件包含用於回應於辨識該手示意動作而產生自該使用者之該手延伸至該3D點雲中的一開放性空間區域的構件，且其中用於將該視覺影像分段的該構件包含用於僅在該一或多個實體物件至少部分位於該開放性空間區域內之情況下才在該經分段影像中包括該一或多個實體物件的構件。
  30. 如請求項23之頭戴式顯示器，其中用於判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係的該構件包含： 用於獲得該實體環境之一過去模型的構件；及 用於基於該過去模型判定該一或多個實體物件對於該實體環境是否為新實體物件的構件，其中用於將該視覺影像分段的該構件包含用於回應於判定該一或多個實體物件對於該實體環境為新實體物件而在該經分段影像中包括該一或多個實體物件的構件。
  31. 一種頭戴式顯示器，其包含： 一視覺攝影機； 一顯示器； 至少一個處理器；及 至少一個記憶體，其耦接至該至少一個處理器，該至少一個處理器及該至少一個記憶體經組態以指導該頭戴式顯示器執行以下操作： 獲得實體環境之深度資訊，其中該實體環境包括一或多個實體物件； 藉由該視覺攝影機捕捉該實體環境之一視覺影像； 基於該深度資訊判定該頭戴式顯示器之一使用者與包括於該實體環境中的該一或多個實體物件之間的一空間關係； 基於該空間關係將該視覺影像分段以產生包括該一或多個實體物件之一經分段影像； 在該顯示器上顯示一虛擬影像；及 將該經分段影像覆疊於該虛擬影像上以顯示該虛擬影像及由該視覺攝影機捕捉的該一或多個實體物件兩者。
  32. 如請求項31之頭戴式顯示器，其中該至少一個處理器及該至少一個記憶體經進一步組態以指導該頭戴式顯示器執行以下操作： 藉由判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的一距離而判定該使用者與該一或多個實體物件之間的該空間關係；及 藉由僅在該距離小於一臨限值之情況下才在該經分段影像中包括該一或多個實體物件而將該視覺影像分段。
  33. 如請求項32之頭戴式顯示器，其中該使用者與該一或多個實體物件之間的該距離為該使用者之一手與該一或多個實體物件之間的一距離。
  34. 如請求項31之頭戴式顯示器，其中該至少一個處理器及該至少一個記憶體經進一步組態以指導該頭戴式顯示器執行以下操作： 藉由辨識該頭戴式顯示器之該使用者之一手的一手示意動作以識別將包括於該經分段影像中的該一或多個實體物件而判定該使用者與該一或多個實體物件之間的該空間關係。
  35. 如請求項31之頭戴式顯示器，其中該深度資訊包含該實體環境之一3維(3D)點雲，其中該至少一個處理器及該至少一個經進一步組態以指導該頭戴式顯示器執行以下操作： 回應於辨識該手示意動作而產生在該3D點雲內且接近該使用者之該手的一空間區域； 藉由僅在該一或多個實體物件至少部分位於該空間區域內之情況下才在該經分段影像中包括該一或多個實體物件而將該視覺影像分段。
  36. 如請求項35之頭戴式顯示器，其中該至少一個處理器及該至少一個記憶體經進一步組態以指導該頭戴式顯示器執行以下操作： 藉由回應於辨識該手示意動作而產生一閉合3D形狀來產生該空間區域；及 藉由僅在該一或多個實體物件至少部分位於該閉合3D形狀內之情況下才在該經分段影像中包括該一或多個實體物件而將該視覺影像分段。
  37. 如請求項35之頭戴式顯示器，其中該至少一個處理器及該至少一個記憶體經進一步組態以指導該頭戴式顯示器執行以下操作： 藉由回應於辨識該手示意動作而產生自該使用者之該手延伸至該3D點雲中的一開放性空間區域來產生該空間區域； 藉由僅在該一或多個實體物件至少部分位於該開放性空間區域內之情況下才在該經分段影像中包括該一或多個實體物件而將該視覺影像分段。
  38. 如請求項31之頭戴式顯示器，其中該至少一個處理器及該至少一個記憶體經進一步組態以指導該頭戴式顯示器藉由以下操作判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係： 獲得該實體環境之一過去模型； 基於該過去模型判定該一或多個實體物件對於該實體環境是否為新實體物件；及 藉由回應於判定該一或多個實體物件對於該實體環境為新實體物件而在該經分段影像中包括該一或多個實體物件來將該視覺影像分段。
  39. 如請求項31之頭戴式顯示器，其進一步包含一深度攝影機，其中該至少一個處理器及該至少一個記憶體經進一步組態以指導該頭戴式顯示器藉由該深度攝影機捕捉該實體環境之該深度資訊。
  40. 一種非暫時性電腦可讀媒體，其包括儲存於其上之程式碼，該程式碼包含在經執行時使得一頭戴式顯示器執行以下操作的指令： 獲得一實體環境之深度資訊，其中該實體環境包括一或多個實體物件； 藉由一視覺攝影機捕捉該實體環境之一視覺影像； 基於該深度資訊判定該頭戴式顯示器之一使用者與包括於該實體環境中的該一或多個實體物件之間的一空間關係； 基於該空間關係將該視覺影像分段以產生包括該一或多個實體物件之一經分段影像； 在該頭戴式顯示器上顯示一虛擬影像；及 將該經分段影像覆疊於該虛擬影像上以顯示該虛擬影像及由該視覺攝影機捕捉的該一或多個實體物件兩者。
  41. 如請求項40之非暫時性電腦可讀媒體，其中用以判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係的該等指令包含用以判定該使用者與該一或多個實體物件之間的一距離的指令，且其中用以將該視覺影像分段的該等指令包含用以僅在該距離小於一臨限值之情況下才在該經分段影像中包括該一或多個實體物件的指令。
  42. 如請求項40之非暫時性電腦可讀媒體，其中用以判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係的該等指令包含用以辨識該使用者之一手的一手示意動作以識別將包括於該經分段影像中的該一或多個實體物件的指令。
  43. 如請求項42之非暫時性電腦可讀媒體，其中該深度資訊包含該實體環境之一3維(3D)點雲，該非暫時性電腦可讀媒體進一步包含用以指導該頭戴式顯示器執行以下操作的指令： 回應於辨識該手示意動作而產生在該3D點雲內且接近該使用者之該手的一空間區域；及 藉由僅在該一或多個實體物件至少部分位於該空間區域內之情況下才在該經分段影像中包括該一或多個實體物件而將該視覺影像分段。
  44. 如請求項43之非暫時性電腦可讀媒體，其中用以產生該空間區域的該等指令包含用以回應於辨識該手示意動作而產生一閉合3D形狀的指令，且其中用以將該視覺影像分段的該等指令包含用以僅在該一或多個實體物件至少部分位於該閉合3D形狀內之情況下才在該經分段影像中包括該一或多個實體物件的指令。
  45. 如請求項43之非暫時性電腦可讀媒體，其中用以產生該空間區域的該等指令包含用以回應於辨識該手示意動作而產生自該使用者之該手延伸至該3D點雲中的一開放性空間區域的指令，且其中用以將該視覺影像分段的該等指令包含用以僅在該一或多個實體物件至少部分位於該開放性空間區域內之情況下才在該經分段影像中包括該一或多個實體物件的指令。
  46. 如請求項40之非暫時性電腦可讀媒體，其中用以判定該頭戴式顯示器之該使用者與該一或多個實體物件之間的該空間關係的該等指令包含用以指導該頭戴式顯示器執行以下操作的指令： 獲得該實體環境之一過去模型； 基於該過去模型判定該一或多個實體物件對於該實體環境是否為新實體物件；及 藉由回應於判定該一或多個實體物件對於該實體環境為新實體物件而在該經分段影像中包括該一或多個實體物件來將該視覺影像分段。
TW106102353A 2016-03-24 2017-01-23 用於將實體環境之虛擬影像整合至虛擬實境之空間關係 TW201737024A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US15/080,363 US10665019B2 (en) 2016-03-24 2016-03-24 Spatial relationships for integration of visual images of physical environment into virtual reality

Publications (1)

Publication Number Publication Date
TW201737024A true TW201737024A (zh) 2017-10-16

Family

ID=58018228

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106102353A TW201737024A (zh) 2016-03-24 2017-01-23 用於將實體環境之虛擬影像整合至虛擬實境之空間關係

Country Status (9)

Country Link
US (1) US10665019B2 (zh)
EP (3) EP3855288B1 (zh)
JP (1) JP2019514101A (zh)
KR (1) KR20180122637A (zh)
CN (2) CN114138118B (zh)
BR (1) BR112018069351A2 (zh)
CA (1) CA3015508A1 (zh)
TW (1) TW201737024A (zh)
WO (1) WO2017164971A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786700B (zh) * 2020-06-30 2022-12-11 美商索尼互動娛樂有限責任公司 利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11714880B1 (en) * 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11854308B1 (en) 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
CN109416575A (zh) * 2016-04-12 2019-03-01 锐思拓公司 在虚拟化环境中呈现图像的方法和设备
GB2551473A (en) * 2016-04-29 2017-12-27 String Labs Ltd Augmented media
US10639510B2 (en) * 2017-03-20 2020-05-05 The Trustees Of Columbia University In The City Of New York Human musculoskeletal support and training system methods and devices
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
DE102017218215A1 (de) * 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP2019100995A (ja) * 2017-12-08 2019-06-24 株式会社トプコン 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム
EP3508882A1 (en) * 2018-01-09 2019-07-10 Vivior AG An apparatus and a method for passive scanning of an object or a scene
CN108479067B (zh) * 2018-04-12 2019-09-20 网易（杭州）网络有限公司 游戏画面的渲染方法和装置
US20210097754A1 (en) * 2018-06-22 2021-04-01 Hewlett-Packard Development Company, L.P. Virtual display monitors
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
DE112019004485T5 (de) * 2018-09-07 2021-07-01 Apple Inc. Wechseln zwischen bildern und tönen einer virtuellen umgebung und einer realen umgebung
WO2020070630A1 (en) 2018-10-02 2020-04-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
US11681834B2 (en) 2019-01-30 2023-06-20 Augmntr, Inc. Test cell presence system and methods of visualizing a test environment
US11133993B2 (en) * 2019-02-28 2021-09-28 At&T Intellectual Property I, L.P. Augmented/mixed reality virtual venue pipeline optimization
CN113678191A (zh) * 2019-03-29 2021-11-19 索尼互动娱乐股份有限公司 边界显示控制设备，边界显示控制方法和程序
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
JP2022537817A (ja) 2019-06-28 2022-08-30 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
JP7242448B2 (ja) * 2019-07-03 2023-03-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 仮想現実制御装置、仮想現実制御方法およびプログラム
US11189103B2 (en) * 2019-08-01 2021-11-30 Apple Inc. Visual search refinement for computer generated rendering environments
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
US11409364B2 (en) * 2019-09-13 2022-08-09 Facebook Technologies, Llc Interaction with artificial reality based on physical objects
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
CN112835445B (zh) * 2019-11-25 2024-04-26 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
CN112887631B (zh) * 2019-11-29 2022-08-12 北京字节跳动网络技术有限公司 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
KR20210069491A (ko) 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
WO2021115623A1 (en) 2019-12-13 2021-06-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11636726B2 (en) * 2020-05-08 2023-04-25 Aristocrat Technologies, Inc. Systems and methods for gaming machine diagnostic analysis
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11656679B2 (en) * 2020-08-27 2023-05-23 Microsoft Technology Licensing, Llc Manipulator-based image reprojection
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11580703B1 (en) * 2020-09-15 2023-02-14 Meta Platforms Technologies, Llc Adaptive model updates for dynamic and static scenes
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
WO2022140432A1 (en) * 2020-12-22 2022-06-30 Facebook Technologies, Llc Partial passthrough in virtual reality
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments
US11436806B1 (en) * 2021-04-07 2022-09-06 Penumbra, Inc. Dual perspective rendering in virtual reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
TWI797761B (zh) * 2021-10-04 2023-04-01 邦鼎科技有限公司 虛擬實境的顯示方法
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
GB2619552A (en) * 2022-06-10 2023-12-13 Sony Interactive Entertainment Europe Ltd Computer implemented method and system for providing an augmented reality entertainment environment
DE102022206395A1 (de) * 2022-06-24 2024-01-04 Siemens Aktiengesellschaft Verfahren zum Simulieren eines Raums als virtuelle Realität mittels einer Simulationsvorrichtung, Computerprogrammprodukt, computerlesbares Speichermedium sowie Simulationsvorrichtung
US20240029363A1 (en) * 2022-07-20 2024-01-25 Qualcomm Incorporated Late stage occlusion based rendering for extended reality (xr)
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7343566B1 (en) 2002-07-10 2008-03-11 Apple Inc. Method and apparatus for displaying a window for a user interface
US7359564B2 (en) * 2004-10-29 2008-04-15 Microsoft Corporation Method and system for cancellation of ambient light using light frequency
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
AU2010302959B2 (en) * 2009-09-30 2015-11-12 National Ict Australia Limited Object tracking for artificial vision
CN102884490B (zh) 2010-03-05 2016-05-04 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
JP5765133B2 (ja) * 2011-08-16 2015-08-19 富士通株式会社 入力装置、入力制御方法及び入力制御プログラム
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
US9720505B2 (en) * 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
CN105229720B (zh) * 2013-05-21 2018-05-15 索尼公司 显示控制装置、显示控制方法以及记录介质
CA2888943C (en) * 2013-10-03 2015-08-18 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
KR20150101612A (ko) 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
US20150262412A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
JP2017520336A (ja) * 2014-03-17 2017-07-27 コア スポーツ テクノロジー グループＣｏｒｅ Ｓｐｏｒｔｓ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ 人体および物体運動への生体力学フィードバックを送達するための方法およびシステム
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
CN104536579B (zh) 2015-01-20 2018-07-27 深圳威阿科技有限公司 交互式三维实景与数字图像高速融合处理系统及处理方法
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
CN104657103B (zh) * 2015-03-16 2017-06-16 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
EP3332313B1 (en) * 2015-08-06 2019-10-09 PCMS Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
US10497177B1 (en) * 2017-09-19 2019-12-03 Bentley Systems, Incorporated Tool for onsite augmentation of reality meshes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786700B (zh) * 2020-06-30 2022-12-11 美商索尼互動娛樂有限責任公司 利用第二螢幕裝置掃描３ｄ物件以插入虛擬環境中

Also Published As

Publication number Publication date
KR20180122637A (ko) 2018-11-13
CN114138118B (zh) 2024-05-07
EP3855288C0 (en) 2024-01-17
EP4332742A2 (en) 2024-03-06
EP3433704A2 (en) 2019-01-30
EP4332742A3 (en) 2024-05-22
CN108780357B (zh) 2021-11-23
EP3433704B1 (en) 2020-12-23
WO2017164971A3 (en) 2017-11-02
EP3855288B1 (en) 2024-01-17
US20170278304A1 (en) 2017-09-28
EP3855288A1 (en) 2021-07-28
JP2019514101A (ja) 2019-05-30
US10665019B2 (en) 2020-05-26
BR112018069351A2 (pt) 2019-01-22
CN108780357A (zh) 2018-11-09
CA3015508A1 (en) 2017-09-28
WO2017164971A2 (en) 2017-09-28
CN114138118A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN114138118B (zh) 用于将物理环境的视觉图像集成到虚拟实境的空间关系
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
CN106575154B (zh) 全息对象的智能透明度
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
US11854147B2 (en) Augmented reality guidance that generates guidance markers
WO2014066861A2 (en) Planar surface detection
CN116583816A (zh) 与环境中的对象进行交互的方法
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US10146299B2 (en) Face tracking for additional modalities in spatial interaction
US11889291B2 (en) Head-related transfer function
US11741679B2 (en) Augmented reality environment enhancement
US12008153B2 (en) Interactive augmented reality experiences using positional tracking
US11863963B2 (en) Augmented reality spatial audio experience