TWI839532B - 計算裝置及延伸實境整合 - Google Patents

計算裝置及延伸實境整合 Download PDF

Info

Publication number
TWI839532B
TWI839532B TW109120251A TW109120251A TWI839532B TW I839532 B TWI839532 B TW I839532B TW 109120251 A TW109120251 A TW 109120251A TW 109120251 A TW109120251 A TW 109120251A TW I839532 B TWI839532 B TW I839532B
Authority
TW
Taiwan
Prior art keywords
displayed
content
display
composite representation
user input
Prior art date
Application number
TW109120251A
Other languages
English (en)
Other versions
TW202107249A (zh
Inventor
道格拉斯 布雷姆斯
羅伯特 塔茲
羅賓 特瑞莎 奧利弗
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202107249A publication Critical patent/TW202107249A/zh
Application granted granted Critical
Publication of TWI839532B publication Critical patent/TWI839532B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供用於整合行動裝置與延伸實境體驗的技術。延伸實境技術可包括虛擬實境(VR)、擴增實境(AR)、混合實境(MR)等。在一些實例中，一裝置(例如，一行動裝置，諸如一行動電話或其他類型之裝置)之一合成(或虛擬)表示可經產生，且與由一VR裝置(例如，一頭戴式顯示器(HMD))顯示之VR內容一起顯示。在另一實例中，來自該裝置之內容(例如，由該裝置顯示之視覺內容及/或播放的音訊內容)可與藉由該VR裝置顯示的VR內容一起輸出。在另一實例中，藉由該裝置之一攝影機捕捉的一或多個影像及/或藉由該裝置之一麥克風獲得的音訊可藉由一虛擬實境裝置自該裝置獲得，且可藉由該虛擬實境裝置輸出。

Description

計算裝置及延伸實境整合
本發明大體上是關於用於提供計算裝置與延伸實境體驗之整合的技術及系統。
延伸實境技術可用以呈現虛擬內容至使用者，及/或可組合來自該實體世界之真實環境與虛擬環境以向使用者提供延伸實境體驗。術語延伸實境可涵蓋虛擬實境、擴增實境、混合實境及其類似者。延伸實境之此等形式中的每一者允許使用者體驗沉浸式虛擬環境或內容或者與沉浸虛擬環境或內容互動。舉例而言，延伸實境體驗可允許使用者與真實或實體環境相互作用，該真實或實體環境運用虛擬內容增強或擴增。延伸實境技術可經實施以增強在廣泛範圍之情形下，諸如娛樂、保健、零售、教育、社交媒體等中的使用者體驗。
在一些實例中，描述用於整合計算裝置與延伸實境體驗的系統、方法及電腦可讀媒體。舉例而言，本文所述之技術可允許使用者享受延伸實境體驗以順暢地用計算裝置(例如，行動裝置，諸如行動電話、可穿戴式裝置，或者其他類型之裝置)或者計算裝置之一或多個功能性而不中斷延伸實境體驗。
在一個繪示性實例中，一使用者之計算裝置(例如，行動裝置，諸如行動電話、可穿戴式裝置或其他類型之裝置)之合成(或虛擬)表示可經產生且與由虛擬實境裝置(例如，頭戴式顯示器(HMD)顯示之虛擬實境內容一起顯示。在另一實例中，來自計算裝置之內容(例如，由裝置顯示之內容、由計算裝置接收到的訊息、由計算裝置產生的通知，及/或其他內容)可與由虛擬實境裝置顯示的虛擬實境內容一起顯示。在另一實例中，來自計算裝置之音訊內容(例如，話音訊息、視訊訊息、瀏覽器內容、電話呼叫、串流傳輸或本端儲存之音樂及/或其他音訊內容)可藉由虛擬實境裝置(例如，經由虛擬實境裝置的一或多個揚聲器)播放。在一些情況下，音訊內容可藉由虛擬實境裝置播放，同時顯示來自計算裝置的視覺內容。在此等實例中，使用者可檢視計算裝置及/或來自計算裝置的內容連同虛擬實境內容，從而允許使用者在不移除虛擬實境裝置情況下(例如，仍穿戴HMD同時)與計算裝置互動(例如，控制行動電話的一或多個應用)。該虛擬實境內容在計算裝置的合成表示經顯示時可繼續藉由虛擬實境置顯示；或可在計算裝置之合成表示藉由虛擬實境裝置顯示之時暫停。
在另一繪示性實例中，藉由計算裝置(例如，行動裝置，諸如行動電話、可穿戴式裝置，或其他類型之裝置)之攝影機捕捉的一或多個影像可藉由虛擬實境裝置自裝置獲得。虛擬實境裝置可顯示一或多個影像連同經由虛擬實境裝置(例如，HMD)檢視的虛擬實境內容。在此類實例中，使用者可在不移除虛擬實境裝置情況下(例如，在仍穿戴HMD同時)檢視真實世界(如藉由一或多個影像所捕捉)。在一些情況下，來自計算裝置之麥克風的音訊可提供至虛擬實境裝置。舉例而言，提供來自計算裝置之麥克風的音訊可允許使用者感知何物進入真實世界中而不必移除虛擬實境裝置。
根據一個繪示性實例，提供一種判定一或多個物件之一或多個大小的方法。該方法包括:藉由一第一裝置顯示虛擬實境內容；藉由該第一裝置獲得一第二裝置之一合成表示；藉由該第一裝置使該第二裝置之該合成表示與該虛擬實境內容一起顯示；藉由該第一裝置接收輸入，該輸入請求該第二裝置之功能性的一改變；及基於藉由該第一裝置接收之該輸入顯示該第二裝置之該合成表示的一改變，該第二裝置之該合成表示的該改變表示該第二裝置之功能性的該改變。
在另一實例中，提供一種用於判定一或多個物件之一或多個大小的設備，該設備包括一記憶體，其經組態以儲存一或多個影像；及實施於電路系統中且耦接至記憶體的一或多個處理器。該一或多個處理器經組態以且可：使得虛擬實境內容顯示於一顯示器上；獲得一裝置之一合成表示；使得該裝置之該合成表示與該虛擬實境內容一起顯示於該顯示器上；接收輸入，該輸入請求該裝置之功能性的一改變；及基於所接收輸入，使得該裝置之該合成表示的一改變顯示於該顯示器上，該裝置之該合成表示的該改變表示該裝置之功能性的改變。
在另一實例中，提供一種上面儲存有指令之非瞬時電腦可讀媒體，該等指令在由一或多個處理器執行時使得一或多個處理器進行以下操作：使得虛擬實境內容藉由該第一裝置顯示；藉由該第一裝置獲得一第二裝置之一合成表示；使得該第二裝置之該合成表示與該虛擬實境內容一起顯示；藉由該第一裝置接收輸入，該輸入請求該第二裝置之功能性的一改變；及基於藉由該第一裝置接收之該輸入，使得藉由該第一裝置顯示該第二裝置之該合成表示的一改變，該第二裝置之該合成表示的該改變表示該第二裝置之功能性的該改變。
在另一實例中，提供一種用於判定一或多個物件之一或多個大小的設備。該設備包括：用於藉由一第一裝置顯示虛擬實境內容的構件；用於藉由該第一裝置獲得一第二裝置之一合成表示的構件；用於藉由該第一裝置使該第二裝置之該合成表示與該虛擬實境內容一起顯示的構件；用於藉由該第一裝置接收輸入的構件，該輸入請求該第二裝置之功能性的一改變；及用於基於藉由該第一裝置接收之該輸入顯示該第二裝置之該合成表示的一改變的構件，該第二裝置之該合成表示的該改變表示該第二裝置之功能性的該改變。
在一些態樣中，該第二裝置之該合成表示包括該第二裝置之一顯示的一合成表示，其中藉由該第二裝置顯示之內容顯示於該第二裝置之該顯示器的該合成表示中。
在一些態樣中，上述方法、設備及電腦可讀媒體進一步包含：藉由該第一裝置接收藉由該第二裝置處理之一或多個輸入的一指示；及基於藉由該第二裝置處理之該一或多個輸入的該指示顯示該第二裝置之該合成表示的一額外改變，該第二裝置之該合成表示的該額外改變表示該第二裝置之功能性的一額外改變。
在一些態樣中，該第二裝置之該合成表示覆疊於該虛擬實境內容上方。在一些態樣中，該第一裝置包括一虛擬實境頭戴式顯示器。在一些態樣中，該第二裝置包括一行動裝置。
在一些態樣中，上述方法、設備及電腦可讀媒體進一步包含：藉由該第一裝置自該第二裝置獲得音訊內容；及藉由該第一裝置播放來自該第二裝置的該音訊內容。
在一些態樣中，上述方法、設備及電腦可讀媒體進一步包含：藉由該第一裝置獲得由該第二裝置之一麥克風捕捉的音訊內容；及藉由該第一裝置播放該音訊內容。
在一些態樣中，上述方法、設備及電腦可讀媒體進一步包含：藉由該第一裝置獲得由該第二裝置之一攝影機捕捉的一或多個影像；及藉由該第一裝置使該一或多個影像與該虛擬實境內容一起顯示。在一些態樣中，該一或多個影像為藉由該第二裝置之該攝影機捕捉之一視訊的部分。在一些態樣中，該一或多個影像與作為該第二裝置之該合成表示之部分的該虛擬實境內容一起顯示。在一些態樣中，該一或多個影像在該第二裝置之一顯示之一合成表示內顯示。
在一些態樣中，上述方法、設備及電腦可讀媒體進一步包含：藉由該第一裝置獲得由該第二裝置之一麥克風捕捉的音訊內容；及藉由該第一裝置在顯示該一或多個影像與該虛擬實境內容的同時播放該音訊內容。
在一些態樣中，上述方法、設備及電腦可讀媒體進一步包含：接收一觸發；及基於接收到該觸發而使該第二裝置之該合成表示與該虛擬實境內容一起顯示。在一些態樣中，該觸發係基於自該第二裝置接收的資訊。
在一些態樣中，上述方法、設備及電腦可讀媒體進一步包含：接收一移除觸發；及藉由該第一裝置基於接收到該觸發自顯示中移除該第二裝置的該合成表示。
此發明內容並不意欲識別所主張標的物之關鍵或基本特徵，亦不意欲單獨使用以判定所主張標的物之範疇。應參考此專利之整個說明書之適當部分、任何或所有圖式及每一技術方案來理解標的物。
在參考以下說明書、申請專利範圍及隨附圖式之後，前述內容連同其他特徵及實施例將變得更顯而易見。
在下文提供本發明之某些態樣及實施例。此等態樣及實施例中之一些可獨立地應用，且其中之一些可以對於熟習此項技術者將顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本申請案之實施例的透徹理解。然而，將顯而易見的是，可在無此等特定細節之情況下實踐各種實施例。諸圖及描述不意欲為限定性的。
隨後描述僅提供例示性實施例且並不意欲限制本發明的範疇、可應用性或組態。實際上，例示性實施例之隨後描述將為熟習此項技術者提供能夠實施例示性實施例之描述。應理解，可在不背離如所附申請專利範圍中所闡述之本申請案之精神及範疇的情況下對元件之功能及配置做出各種變化。
如先前所描述，延伸實境(XR)技術可提供虛擬內容至使用者，及/或組合真實或實體環境與虛擬環境(由虛擬內容構成)以向使用者提供延伸實境體驗。延伸實境體驗包括虛擬實境(VR)、擴增實境(AR)、混合實境(MR)及/或其他沉浸式內容。本文所述之實例為繪示性目的將使用VR。然而，熟習此項技術者將瞭解，本文中所描述之技術可應用至其他延伸實境體驗，諸如AR及MR。舉例而言，在一些情況下，本文所述之技術可用於AR裝置及/或MR裝置。MR裝置可使用視訊通過(例如，如圖5中所展示且下文關於圖5所描述)以顯現實體實境連同虛擬內容。然而，歸因於典型視訊通過裝置之不良品質，使用者在其保持電話直至MR裝置(例如，MR頭戴套件或頭戴式顯示器)情況下可看到使用者之電話的輪廓，但歸因於解析度、失真、顫動及/或與視訊通過相關聯的潛時可能不能看到/讀取內容。使用下文描述之技術，內容可易於由使用者在MR裝置顯示器(例如，MR頭戴套件之顯示器或頭戴式顯示器)上檢視。
VR描述以看起來真實的或實體方式互動之三維的有時電腦產生的環境。隨著體驗VR環境之使用者在真實世界中移動，在虛擬環境中顯現之影像亦改變，從而向使用者給予使用者正在虛擬環境內移動之感知。舉例而言，使用者可左轉或右轉，上看或下看，及/或前後移動，因此改變虛擬環境的使用者之視點。呈現給該使用者的VR內容可隨著使用者移動而相應改變，使得使用者之體驗如在真實世界中同樣順暢。VR內容在一些情況下可包括VR視訊，該VR視訊可以極高品質被捕捉且顯現，從而潛在地提供真實沉浸式虛擬實境體驗。VR應用包括遊戲、訓練、教育、視訊(例如，體育賽事、電影、展覽外加其他)、線上購物、遠端操作(例如，機器人之遙控、無人駕駛飛行器、遠端手術外加其他)及/或其他應用。
各種裝置可用以顯現XR內容。舉例而言，VR內容可使用VR裝備，諸如頭戴式顯示器(HMD)或其他VR頭戴套件來顯現及顯示，該HMD或VR頭戴套件在VR體驗期間充分覆蓋使用者的耳部。圖1為繪示藉由VR頭戴套件102顯示之虛擬內容之實例的圖，該VR頭戴套件由使用者100穿戴。如圖所示，使用者充分沉浸於VR環境(如由VR圖框110所繪示)。
因為VR裝備可充分覆蓋使用者之眼部且在一些情況下覆蓋使用者的耳部，所以使用者可能不能在沉浸於虛擬實境環境中同時與其他裝置(例如，行動電話)及/或真實世界互動。舉例而言，在一些情況下，使用者之電話或其他計算裝置可用做針對VR頭戴套件(或其他VR裝置)的控制器，但對於使用者而言不存在在沉浸於VR體驗中同時與電話的應用程式及/或其他功能性互動的能力。另外，當使用VR頭戴套件時，使用者可感覺到易受正在圍繞其的真實世界環境中發生的事項影響且不能觸控此些事項。在一些情況下，藉由VR頭戴套件提供之音訊可防止使用者聽到來自外部世界的聲音。當參與VR體驗時，將為有益的是為使用者提供容易方式以在不移除VR頭戴套件情況下且在不暫停或停止虛擬實境體驗情況下視覺上及/或聽覺上檢查哪些事項正在真實世界中發生。雖然VR頭戴套件可被移除(在該狀況下，VR內容可需要被暫停或停止)使得使用者可檢查實體環境及/或與另一裝置互動，但每當使用者想要檢視其電話(或其他計算裝置)或檢查環境時移除頭戴套件可變得繁瑣且可導致差的VR使用者體驗。
本文中描述用於整合計算裝置與延伸實境體驗的系統、方法及電腦可讀媒體。如上所指出，實例在本文中將使用VR作為XR體驗的實例予以提供。然而，一般熟習此項技術者將瞭解，本文中所描述的技術可應用其他類型之XR體驗。
根據本文中所描述之技術，VR裝置可包括多個不同操作模式。VR裝置可包括VR頭戴套件，諸如頭戴式顯示器(HMD)。VR裝置可允許使用者在不使由VR裝置顯示之VR體驗暫停或停止情況下在多個模式之間捺跳。舉例而言，使用者可在之間捺跳的各種模式包括：常規VR模式(圖1中所展示，上文所論述)、具有實際、真實生活計算裝置及/或來自覆疊於VR內容頂部上之計算裝置之內容的合成表示的VR模式(圖2及圖3中所展示且下文所論述)、具有覆疊於VR內容頂部上之外部世界之瞄孔的VR模式(展示在圖4中且下文所論述)，及/或在經由VR裝置檢視VR內容與檢視真實世界環境之間的完全切換(圖5中所展示且下文所論述)。計算裝置可包括行動裝置(例如，行動電話、平板電腦或其他行動裝置)、可穿戴式裝置(例如，智慧型手錶、心跳速率監視器或其他可穿戴式裝置)、物聯網(IoT)裝置、遠端控制器(例如，電視遠端或其他遠端控制器)，或其他類型裝置。
使用者可使用一或多個輸入在不同模式之間捺跳。用於切換至模式中之一或多者的輸入可包括由使用者提供的任何合適輸入，諸如使用VR裝置及/或計算裝置之音訊輸入裝置(例如，麥克風)偵測到的話音輸入，VR裝置及/或計算裝置之觸控界面上的觸控式輸入，使用VR裝置及/或計算裝置之一或多個感測器偵測到的示意動作輸入，VR裝置或計算裝置之實體按鈕、可控制VR裝置之VR控制器裝置上的實體按鈕的選擇，藉由VR裝置或計算裝置顯示之圖標或虛擬按鈕的選擇(例如，使用者按下圖標、使用者凝視圖標、如使用凝視偵測所偵測，或其他類型的選擇)、其任何組合，及/或其他輸入。可引起模式改變之觸控式輸入的實例可包括歷時臨限時間量，諸如一秒、兩秒或兩秒以上及/或以某量的壓力(例如，如藉由加速計或可量測壓力或力的其他組件所量測)地在計算裝置之觸控式螢幕上按下手指。觸控式輸入之另一實例可包括筆劃示意動作，該筆劃示意動作可包括使用者運用一個筆劃圍繞觸控式螢幕劃出一個圓；及/或某其他筆劃示意動作。觸控式輸入之另一實例可包括觸控式螢幕上之強的觸按示意動作，該強的觸按示意動作可包括以高於力臨限值(例如，如藉由加速計所量測)的壓力或力在觸控式螢幕上的手指觸按。
在一些實例中，計算裝置之大於臨限量的移動(例如，加速度、速度等)可經偵測並用以觸發模式中的一或多者(例如，具有實際計算裝置之合成表示及/或來自計算裝置的覆疊於VR內容之頂部上的內容的VR模式、具有覆疊於VR內容之頂部上的外部世界之瞄孔的VR模式等)。在一些實例中，VR裝置可偵測(例如，使用VR裝置之面朝外攝影機、使用光學感測器、使用運動偵測或其他合適技術)，使用者已將電話置放於VR裝置(例如，HMD)前方，在該狀況下，VR裝置可切換至模式中的一或多者(例如，具有實際計算裝置之合成表示及/或來自計算裝置的覆疊於VR內容之頂部上的內容的VR模式、具有覆疊於VR內容之頂部上的外部世界之瞄孔的VR模式等)。
在一些實例中，VR裝置可使用6-自由度(6DOF)輸入介面偵測使用者輸入。XR裝置，諸如VR頭戴套件可恆定或週期性地追蹤其自身在實體世界中的方位，以便執行VR功能性。此追蹤可被稱作內外6DOF追蹤-內外，此是因為裝置可在無任何外部信標或傳輸器及6DOF的情況下追蹤自身、因為裝置可依據三個旋轉向量(俯仰、橫擺及滾動)及三個平移向量(上/下、左/右、前/後)追蹤其自身的位置。一或多個感測器可用以偵測使用者輸入及/或執行追蹤，諸如一或多個慣性量測單元(IMU)、一或多個全球定位系統(GPS)裝置、一或多個加速計、一或多個陀螺儀、其任何組合及/或其他感測器。在一些情況下，追蹤可運用視覺慣性量距(VIO)實現，該視覺慣性量距為視覺資料(來自一或多個攝影機感測器)與慣性資料(來自陀螺儀及加速計)融合在一起以量測裝置在實體世界中之移動距離的程序。VIO可同步地用以判定裝置在世界上的位置(定位)且繪製與裝置相關聯之場景(在世界中)的地圖。
圖2為繪示VR頭戴套件102之VR模式之實例的圖，該VR模式允許VR頭戴套件102顯示覆疊於VR內容之圖框210之頂部上的實際行動裝置204 (實體裝置)的合成表示214。如圖2中所繪示，行動裝置204之合成表示214包括行動裝置204之顯示器(或螢幕)的合成表示216。藉由真實世界中之實際行動裝置204顯示的內容在行動裝置204之顯示器的合成表示216中顯示為虛擬內容。在此VR模式中，使用者100可看到藉由VR頭戴套件102之顯示器呈現的行動裝置204之顯示器的表示。在一些實例中，來自行動裝置204之音訊內容可藉由VR頭戴套件102播放，同時顯示行動裝置204的合成表示214。舉例而言，當使用者選擇行動裝置204上的話音發信應用時，可播放話音訊息。在其他實例中，可播放視訊(包含視訊之視覺及音訊部分)、視訊訊息、來自網頁瀏覽器之音訊、電話呼叫、來自網路方位(例如，來自基於網際網路的供應商)的經串流傳輸的音樂、本端儲存之音樂(例如，先前下載的音樂)及/或其他音訊內容。VR內容在行動裝置204的合成表示經顯示及/或音訊內容正在播放時可繼續藉由VR頭戴套件102顯示，或在行動裝置204之合成表示經顯示同時及/或在音訊內容由VR頭戴套件102播放時暫停。
使用者可與實際行動裝置204互動(在不自使用者頭部移除VR頭戴套件102情況下)，且可看到行動裝置204顯示(且在一些情況下聽到藉由行動裝置204輸出的音訊)但在VR頭戴套件102內部的所有事物。在一些情況下，使用者可使用行動裝置204的輸入介面(例如，觸控式螢幕、按鈕、話音輸入端、觸控懸停回饋等)與實際行動裝置204互動，且行動裝置204之功能性的改變將顯示於行動裝置204之顯示器的合成表示216上。在一些情況下，使用者可藉由提供輸入至VR頭戴套件102，諸如使用示意動作輸入、凝視輸入、話音輸入、VR遠端控制器、其任何組合及/或其他可提供至VR頭戴套件102的合適輸入與行動裝置204互動。在一個繪示性實例中，使用者100可將示意動作輸入，包括在向下方向上移動食指提供至VR頭戴套件102，該示意動作輸入在藉由VR頭戴套件102偵測到之後可使得顯示於行動裝置204之顯示器之合成表示216上的內容朝向下方滾動。在另一繪示性實例中，使用者100可向VR頭戴套件102提供示意動作輸入，包括在深度方向移動食指遠離VR頭戴套件102(例如，如同使用者選擇圖示一般)，該示意動作輸入在由VR頭戴套件102偵測到時便可使得顯示於行動裝置204之顯示器之合成表示216上的內容之項目被選擇。在另一繪示性實例中，使用者可使用VR遠端控制器作為指標而與行動裝置204互動。
引起顯示於行動裝置204之顯示器之合成表示216之內容改變的輸入(例如，示意動作、凝視、話音等)亦可使得藉由實際行動裝置204顯示的內容改變。在一個繪示性實例中，發信圖標使用藉由VR頭戴套件102偵測到之示意動作的選擇可使得發信應用程式顯示於行動裝置204之顯示器的合成表示216上及實際行動裝置204的顯示器上。
在一些實例中，使用者可使用觸控懸停回饋與實際行動裝置204互動。舉例而言，觸控懸停回饋可包括使用者距行動裝置204之實體顯示器達某距離(例如，0.5公分(cm)、0.75 cm、1 cm、1.25 cm或其他合適距離)地固持手指或拇指，且對應於手指或拇指在上方之項目的顯示元件(例如，圖標、清單中之項目或行動裝置204之顯示器的合成表示216中的其他顯示元件)可展示行動裝置204之顯示器之合成表示216中的焦點狀態(例如，可反白顯示顯示元件、使得顯示元件更大及/或以其他方式強調顯示元件)。顯示元件之選擇可接著藉由選擇經反白顯示的顯示元件(例如，使用示意動作輸入、凝視輸入、觸控式輸入、話音輸入、及/或其他輸入，如上文所述)由使用者執行。觸控懸停回饋允許與行動裝置204之合成表示214的互動藉由允許使用者在作出選擇之前正確地定位手指為更易使用。此情形在圖2中所展示之實例中可特別有用，在該實例中，使用者不可直接檢視行動裝置204的顯示器以便以選擇為目標。
在一些實施方案中，動作通知215可顯示於圖框210上方。動作通知215向使用者指示，動作必須在在行動裝置204處發生。在一些實例中，動作通知215可包括訊息已藉由行動裝置204接收到(例如，新本文訊息已被接收到、新電子郵件已被接收到，至行動裝置204之傳入電話的通知、社交媒體告示已由行動裝置204通知，緊急警示已被行動裝置204接收到，及/或其他訊息)的通知。在一些實例中，動作通知215可包括已接收到的實際訊息。在一些情況下，使用者可選擇動作通知215以使得行動裝置204的合成表示214被顯示(若尚未被顯示)。
行動裝置204之合成表示214可使用各種技術藉由VR頭戴套件102產生。在一個繪示性實例中，VR頭戴套件102的使用者可提供輸入，從而指示使用之行動裝置204的類型(例如，行動裝置204的廠牌、型號及版本，諸如SamsungTM Galaxy S10TM )，且VR頭戴套件102可產生或獲得具有與行動裝置的該類型相同之特徵及尺寸的虛擬表示。在另一實例中，VR頭戴套件102可捕捉行動裝置204的一或多個影像，且VR頭戴套件102可使用一或多個影像來產生行動裝置204的視覺表示。
行動裝置204之合成表示214可顯示於VR座標系統中的各種方位處。舉例而言，在一些情況下，合成表示214可經顯示以便顯現於電話的實際真實世界方位中。在一個繪示性實例中，若使用者正在使用者前方固持行動電話在使用者右手中時，行動裝置204的合成表示214可顯示於圖框210之右下隅角處。在其他實例中，合成表示214可顯示於圖框210之邊緣處或圖框210中的另一方位處，使得合成表示214並不與VR內容及/或與圖框210內具有最大重要性的與區(例如，圖框210的對應於VR使用者之視場的中心)重疊。在一些實例中，行動裝置204之合成表示214經顯示所在的方位可為使用者可選擇的。舉例而言，使用者可指示，合成表示214應顯示於藉由VR頭戴套件102顯示之圖框的左上隅角中。
在一些情況下，藉由實際行動裝置204顯示的內容及/或輸出的音訊內容可經傳輸或串流傳輸至VR頭戴套件102，且VR頭戴套件102可在行動裝置204之顯示器的合成表示216中顯示內容。在一些情況下，藉由行動裝置204顯示之內容鏡像成像(例如，使用螢幕鏡像成像，諸如使用同級間WiFi Direct標準或AirPlay的Miracast)在VR頭戴套件102的顯示器上。
圖6為繪示XR裝置，諸如VR裝置(例如，VR頭戴套件102或其他VR裝置)、MR裝置及/或AR裝置之組件之實例的圖。該等組件操作以使由實際行動裝置204 (例如，行動裝置204)顯示的內容及/或輸出的音訊內容能夠藉由XR裝置顯示。XR裝置可包括一或多個應用程式632。應用程式可註冊藉由執行階段引擎634提供的執行階段服務(例如，顯現及/或其他執行階段服務)。執行階段引擎634可處置可藉由XR裝置顯示之每一顯示或圖形層的顯現。執行階段引擎634亦可處理每一層的頭部追蹤位姿及輸入事件(例如，控制器、手部示意動作、話音及/或其他輸入事件)。在一些情況下，執行階段引擎634可為來自一或多個應用程式632之一應用程式的部分、作業系統(OS) 638的部分，或在執行階段引擎634協調可包括合成的XR活動時的情況下與合成器引擎636組合。
合成器引擎636可將多個圖形層(例如，窗、圖塊外加其他)編織在一起從而在XR (例如，VR會話)內檢視。合成器引擎636亦可執行程序即XR相關程序，諸如時間扭曲、空間扭曲外加其他。在一些情況下，合成器引擎636可為如上文所述之執行階段引擎634的部分，或可為OS 638的部分。OS 638可為任何合適OS，諸如AndroidTM 或其他合適OS。
圖7為繪示可藉由執行階段引擎634處置之不同圖形層之實例的圖。舉例而言，展示於圖7中的層A對應於由行動裝置(例如，行動裝置204)顯示的內容，且層B對應於由XR裝置(例如，VR頭戴套件102)顯示的XR內容。VR內容將用作XR內容的實例。然而，熟習此項技術者將瞭解，XR內容可包括MR內容、AR內容及/或其他內容。OS 638 (例如，Android或其他OS)可將行動裝置使用者介面(UI)指派給一個顯示器(例如，主要顯示器)，且VR視圖可被指派給另一顯示器(例如，次要顯示器)。執行階段引擎634可顯現作為層(例如，圖7中之層A)指派給行動裝置內容的主要顯示器，其可被視為作為另一層(例如，圖7中的層B)顯現的次要VR顯示器上的視訊串流。合成器引擎636可將每一層編織在一起，使得行動裝置視圖層(層A)顯現於前景中，且VR視圖層(層B)在層A後方的背景中運行。
執行階段引擎634可處置來自分層VR會話的輸入事件(例如，控制器、手部示意動作、話音等)。舉例而言，選擇行動裝置層(層A)上之項目的輸入事件可使得執行階段引擎634將輸入事件映射至觸控事件，該觸控事件接著被傳遞回至行動裝置以供處理。在另一實例中，選擇VR層(層B)上之項目的輸入事件可使得執行階段引擎634將輸入事件傳遞至VR裝置以供處理。
圖8為繪示虛擬實境裝置之組件之另一實例的圖。如圖所示，XR應用程式832控制XR應用程式832的XR應用程式使用者介面(UI) 833。行動裝置804控制行動裝置804的行動裝置UI 835。藉由使用者提供至行動裝置804之使用者輸入可藉由行動裝置804提供至行動裝置UI 835。類似地，藉由使用者提供至XR裝置的使用者輸入可藉由XR裝置提供至XR應用程式UI 833。使用者可使用輸入裝置，諸如控制器、指標、凝視、手部追蹤輸入、話音外加其他與行動裝置UI 835及/或XR應用程式UI 833互動。XR執行階段引擎834可處理使用者輸入且可處置每一圖形層的顯現，該圖形層可藉由XR裝置之一或多個XR裝置顯示器846顯示於XR場景使用者介面844中。XR場景使用者介面844包括藉由XR裝置顯示的所有內容，包括XR裝置上之XR應用程式UI 833及/或其他XR應用程式之UI的內容。
在一些情況下，行動裝置(例如，行動電話)可具有多個顯示器，該等顯示器可支援UI互動(例如，智慧型電話UI互動)且同時顯示與XR應用程式的互動及顯示。藉由行動裝置804 (例如，行動裝置UI 835)顯示於行動裝置顯示器84上的內容可全部表示於XR場景使用者介面844中(例如，藉由行動裝置顯示之所有內容可運用XR內容顯示)，或可以組件形式表示(例如，單一應用程式UI或單一應用程式UI的UI片段可與XR內容一起顯示)。
行動裝置UI 835可在如下各者上可見：行動裝置顯示器842、一或多個XR裝置顯示器846、行動裝置顯示器842及一或多個XR裝置顯示器846兩者，或前述兩個顯示器上皆不顯示。在一些情況下，XR執行階段引擎834可駐留於XR應用程式832內或外部。在一些情況下，XR執行階段引擎834可駐留於OS內或外部，如上文所述。在一些情況下，XR執行階段引擎834可共同駐留於行動裝置及XR裝置上。在一些情況下，XR執行階段引擎834可駐留於已連接裝置上，諸如合併有行動裝置的一體式VR頭戴套件。XR裝置與已連接裝置之間的連接可為有線或無線的(例如，使用WiFi、BluetoothTM 、ZigbeeTM ，或其他無線連接)。
使用展示於圖2中之模式，使用者100可檢視呈現於VR頭戴套件102之顯示器上的行動裝置204 (且在一些情況下，可聽取來自行動裝置204的音訊內容)，同時仍檢視VR內容，且可與行動裝置204之功能性的全部互動，如同使用者與行動裝置204直接互動一般。在一些情況下，VR內容可繼續播放，同時使用者100與行動裝置204互動。在一些情況下，VR頭戴套件102可向使用者100提供選項以暫停VR內容，同時與行動裝置204互動。在任一情況下，使用者可在不需要移除VR頭戴套件102情況下與行動裝置204互動。
圖3為繪示VR頭戴套件102之VR模式之實例的圖示，該實例允許VR頭戴套件102將來自行動裝置204之內容顯示為覆疊於VR內容之圖框310之頂部上。藉由真實世界中之實際行動裝置204顯示的內容在虛擬內容之圖框310上方顯示為虛擬內容317。在VR模式中，使用者100可看到哪些事項藉由行動裝置204顯示，但不顯示行動裝置204之合成表示。虛擬內容317可顯示於VR座標系統中的各種方位中。舉例而言，在一些情況下，虛擬內容317可經顯示以便顯現於電話的實際真實世界方位中。在其他實例中，虛擬內容317可顯示於圖框310之邊緣上(例如，如圖3中所展示)或以其他方式定位於圖框310中，使得虛擬內容317並不與VR內容衝突及/或與具有最高重要性的區衝突(例如，圖框310之中心對應於VR使用者的視場)。在一些實例中，虛擬內容317顯示所在之方位可為使用者可選擇的。
在一些實例中，來自行動裝置204之音訊內容可藉由VR頭戴套件102播放，同時顯示來自行動裝置204的內容。VR內容在來自行動裝置204的內容經顯示時及/或在音訊內容正在播放時可繼續藉由VR頭戴套件102顯示，或在來自行動裝置204的內容經顯示同時及/或在音訊內容由VR頭戴套件102播放時暫停。
類似於關於圖2中所示出之模式所描述，使用者可與實際行動裝置204互動(在不移除VR頭戴套件102情況下)，且可看到藉由電話顯示但在VR頭戴套件102內部的所有事項。類似於上文關於圖2所描述的內容，使用者可使用行動裝置204之輸入介面與實際行動裝置204互動，及/或可藉由提供輸入至VR頭戴套件102與行動裝置204互動。
行動裝置204之合成表示214可基於藉由使用者提供的指示使用之行動裝置204之類型的輸入、基於藉由VR頭戴套件102捕捉的行動裝置204之一或多個影像，及/或使用任何其他合適技術藉由VR頭戴套件102產生。由實際行動裝置204顯示之內容可經傳輸或串流傳輸至VR頭戴套件102，可鏡像成像(例如，使用螢幕鏡像)在VR頭戴套件102的顯示器上，或使用任何其他合適技術提供至VR頭戴套件102。
類似關於圖2所描述的動作通知，動作通知315可顯示於圖框310上方。動作通知315可指示，動作，諸如接收到訊息或電話呼叫已發生於行動裝置204處。在一些實例中，動作通知315可包括已接收到的實際訊息。使用者可選擇動作通知315以使得來自行動裝置204的虛擬內容317被顯示(若尚未正在顯示)。舉例而言，來自行動裝置204之發信應用程式回應於選擇動作通知315而顯示於VR裝置102上。
使用展示於圖3中之模式，使用者100可檢視來自行動裝置204的呈現於VR頭戴套件102之顯示器上的內容同時仍檢視VR內容，且可與行動裝置204之功能性的全部互動，如同使用者與行動裝置204直接互動。
圖4為繪示VR頭戴套件102之VR模式之實例的圖，該模式允許VR頭戴套件102藉由以下操作來提供外部世界的瞄孔：顯示藉由行動裝置204捕捉之一或多個影像(包括影像418)為覆疊於VR內容之圖框410頂部上的覆層。一或多個影像可藉由行動裝置204之一攝影機或多個攝像機捕捉，且可包括一或多個靜態影像，或包括多個連續影像的視訊。在一些情況下，行動裝置204之用以捕捉一或多個影像的攝影機可為後置攝影機(定位於行動裝置204的背側上)，及/或行動裝置204之另一攝影機(例如，前置攝影機、前置攝影機及後置攝影機、多個前置及/或後置攝影機或類似者)。行動裝置204可傳輸一或多個影像至VR頭戴套件102，該VR頭戴套件可接著顯示一或多個影像於VR頭戴套件102的顯示器上。在一些情況下，來自行動裝置204之麥克風的音訊可被提供至VR頭戴套件102，且VR頭戴套件102可使用VR頭戴套件102之一或多個揚聲器輸出音訊。提供來自行動裝置204之麥克風的音訊可向使用者提供更多資訊以允許使用者在不必移除頭戴套件情況下感知到哪些事項進入真實世界中。
展示於圖4中之實例包括作為行動裝置204之合成表示414之部分顯示的影像418。在一些實施方案中，藉由行動裝置204捕捉之一或多個影像(包括影像418)顯示於虛擬內容上方，在該情況下，行動裝置204的合成表示414並非藉由VR頭戴套件102顯示。在一些實施方案中，一或多個影像可充分顯示於VR頭戴套件102的顯示器上(例如，以全螢幕模式)，在該狀況下，無VR內容藉由VR頭戴套件102顯示，同時一或多個影像經顯示。在一些實施方案中，使用者100可控制VR頭戴套件102之顯示器中的多少用於顯示一或多個影像。
使用圖4中示出之模式，使用者100可自行動裝置204之攝影機查看呈現於VR頭戴套件102之顯示器上的真實世界環境的視圖，同時仍檢視VR內容。如上文所指出，使用者亦可具備來自行動裝置204之麥克風的音訊，其可允許使用者聽取發生於真實世界環境中的任何聲音。在一些情況下，VR頭戴套件102可向使用者100提供選項以在檢視來自行動裝置204之一或多個影像同時暫停VR內容。在任一情況下，使用者可看到真實世界環境之視圖(且在一些情況下可聽取哪些事項發生於真實世界環境中)而不需要移除VR頭戴套件102。
圖5為繪示VR頭戴套件102之VR模式之實例的圖，該實例允許VR頭戴套件102在虛擬VR內容之顯示與真實世界之顯示之間切換。舉例而言，VR內容之圖框(包括圖框510)可藉由VR頭戴套件102顯示，該VR頭戴套件基於使用者的位姿包括虛擬環境的場景。回應於使用者輸入，VR頭戴套件102可切換至現實世界顯示模式，且一旦處於現實世界顯示模式便可基於使用者的位姿顯示真實世界環境的視圖(包括圖框520)。
在一些情況下，為VR頭戴套件102之部分的外部攝影機可用以捕捉真實世界環境的影像。當使用者切換至現實世界顯示模式時，所捕捉的影像可藉由VR頭戴套件102的顯示器顯示。捕捉影像可包括一或多個靜態影像，或包括多個連續影像的視訊。靜態影像或視訊可經顯示，直至使用者提供輸入，從而指導VR頭戴套件102切換回至VR內容經顯示而無一或多個靜態影像的全VR模式。
使用展示於圖5中之模式，使用者100可在VR世界之視圖與使用者定位所在的真實世界環境之間捺跳，而不需要取下VR頭戴套件102以便與真實世界環境互動。舉例而言，使用者100可具備使用者100擱置之房間的完整視圖，使得使用者100可與房間中之物件互動，同時仍穿戴VR頭戴套件102。
現將描述使用本文中所描述之技術執行的程序之實例。圖9為繪示用於顯示虛擬內容之程序900之實例的流程圖。在區塊902處，程序900包括藉由第一裝置顯示虛擬實境內容。第一裝置可包括虛擬實境(VR)頭戴套件(例如，HMD或其他類型VR頭戴套件)，諸如展示於圖1至圖5中的VR頭戴套件102。
在區塊904處，程序900包括藉由第一裝置產生一第二裝置的合成表示。第二裝置可包括行動裝置，諸如展示於圖1至圖4中的行動裝置204。在區塊906處，程序900包括藉由第一裝置使該第二裝置的合成表示與虛擬內容一起顯示。在一些實例中，第二裝置之合成表示覆疊於該虛擬內容上方。舉例而言，使用圖2作為繪示性實例，行動裝置204的合成表示214與虛擬內容圖框210一起顯示。
第二裝置之合成表示(例如，圖2中示出之合成表示214)可包括第二裝置之顯示器的合成表示。藉由第二裝置顯示之內容顯示於第二裝置之顯示器的合成表示中。舉例而言，如圖2中所展示，行動裝置204之合成表示214亦包括行動裝置204之顯示器的合成表示216，且由行動裝置204顯示之內容展示於行動裝置204之顯示器的合成表示216中。
在一些情況下，程序900可包括基於第二裝置處理之一或多個輸入的指示來顯示第二裝置之合成表示的改變。第二裝置之合成表示的改變表示第二裝置之功能性改變。舉例而言，使用者可與第二裝置(例如，行動裝置)互動以便使得第二裝置執行一或多個功能(例如，使用發信應用程式發送本文訊息、使用社交網路連接應用程式投遞訊息至社交網路連接帳戶、發送電子郵件外加其他)。藉由第二裝置顯示的基於第二裝置之功能性之改變的內容改變亦可顯示為第二裝置之合成表示的改變，合成表示之改變表示第二裝置之功能性的改變。
在一些情況下，程序900可包括基於藉由第一裝置接收到之輸入而顯示第二裝置之合成表示的改變。第二裝置之合成表示的改變表示第二裝置之功能性改變。舉例而言，使用者可與第一裝置(例如，VR頭戴套件)或第二裝置互動以便使得第二裝置執行一或多個功能(例如，使用發信應用程式發送本文訊息、使用社交網路連接應用程式投遞訊息至社交網路連接帳戶、發送電子郵件外加其他)。使用者可與第二裝置互動以使得第二裝置使用任何合適輸入來執行一或多個功能，諸如上文描述的功能(例如，使用行動裝置的輸入介面，藉由提供輸入至VR頭戴套件、使用觸控懸停回饋，或其他合適輸入)。藉由第二裝置顯示的基於第二裝置之功能性之改變的內容改變亦可顯示為第二裝置之合成表示的改變，合成表示之改變表示第二裝置之功能性的改變。
在一些實例中，程序900包括偵測觸發，及回應於觸發而顯示第二裝置的合成表示(連同藉由第二裝置顯示的內容)。在一些情況下，觸發係基於自第二裝置接收的資訊。在一個繪示性實例中，自第二裝置接收之資訊包括訊息已藉由第二裝置接收到(例如，新的本文訊息或電子郵件已被接收到)的通知、藉由第二裝置接收到的輸入(例如，被提供至第二裝置的使用者輸入)，及/或其他通知。在一些情況下，觸發係基於第二裝置移動超出臨限量。舉例而言，第二裝置之加速計或其他感測器可提供指示第二裝置之移動量的資訊。在一些情況下，觸發係基於使用者朝向第二裝置的凝視之偵測，如藉由第一裝置(例如，使用6DOF循軌)所偵測。在一些情況下，觸發係基於時間量。舉例而言，在尚未接收到其他觸發情況下，第二裝置之合成表示(連同藉由第二裝置顯示之內容)可藉由第一裝置每臨限時間間隔一次地(例如，每五分鐘、每十分鐘或任何其他時段一次地)與虛擬內容一起顯示。在一些情況下，觸發係基於運用虛擬內容顯示之圖標的選擇。舉例而言，使用者可使用示意動作、眼部凝視、語音命令及/或其他輸入來選擇圖標。在一些實例中，觸發係基於藉由使用者提供的話音輸入。舉例而言，使用者可大聲講出「展示我的行動裝置」或其他片語，該片語可藉由第一裝置作為輸入接收到，且解譯為使得第二裝置之合成表示的觸發被顯示。在一些實例中，觸發係基於使用者提昇行動裝置及/或使行動裝置解鎖(例如，經由指紋輸入、藉由按下硬按鈕、經由面部辨識或面部識別(ID)，或使用用於對裝置解鎖的另一機構)。
第二裝置之合成表示可基於各種移除觸發而藉由第一裝置自顯示中移除。舉例而言，使用者可提供觸控式輸入(例如，撥動使用者介面上之輸入)、話音輸入、凝視輸入、示意動作輸入及/或其他輸入至第一裝置或該第二裝置，該輸入可藉由第一裝置解譯為移除觸發，該移除觸發觸發第一裝置以自顯示的內容移除第二裝置的合成表示。在另一實例中，移除觸發可係基於使用者移動第二裝置至特定點或使用特定運動(例如，藉由減低裝置，如藉由加速計或該第二裝置的其他感測器所偵測)，從而使得第一裝置自顯示中移除第二裝置的合成表示。在另一實例中，第二裝置之合成表示可基於自與第二裝置的最後互動起的一時間量來移除。舉例而言，若臨限時間量自輸入已自第二裝置接收到起或自使用者已與第二裝置之合成表示互動起已經過，則合成表示可自顯示中移除。由於自顯示中移除了第二裝置之合成表示，所以虛擬內容將經顯示而無第二裝置的合成表示。
圖10為繪示用於顯示虛擬內容之程序1000之另一實例的流程圖。在區塊1002處，程序1000包括藉由第一裝置顯示虛擬實境內容。第一裝置可包括虛擬實境(VR)頭戴套件(例如，HMD或其他類型VR頭戴套件)，諸如展示於圖1至圖5中的VR頭戴套件102。
在區塊1004處，程序1000包括藉由第一裝置獲得由第二裝置顯示的內容。第二裝置可包括行動裝置，諸如展示於圖1至圖4中的行動裝置204。在區塊1006處，程序1000包括藉由第一裝置使該內容與虛擬內容一起顯示。在一些情況下，內容包括來自由第二裝置執行之至少一個應用程式的資訊，該至少一個應用程式是諸如電子郵件應用程式、發信應用程式、社交網路連接應用程式、企業應用程式、地圖應用程式及/或其他合適應用程式。在一些實例中，內容覆疊於虛擬內容上方。舉例而言，使用圖3作為繪示性實例，由行動裝置204顯示之內容作為虛擬內容317顯示於虛擬內容的圖框310上方。在一些實例中，第二裝置之合成表示覆疊於虛擬內容上方，且內容可運用第二裝置的合成表示來顯示(例如，如圖2中所展示)。
在一些情況下，程序1000可包括基於由第二裝置處理之一或多個輸入的指示而顯示該第二裝置的內容改變。內容改變表示第二裝置之功能性的改變。舉例而言，使用者可與第二裝置(例如，行動裝置)互動以便使得第二裝置執行一或多個功能(例如，使用發信應用程式發送本文訊息、使用社交網路連接應用程式投遞訊息至社交網路連接帳戶、發送電子郵件外加其他)。由第二裝置顯示的基於第二裝置之功能性改變的內容改變亦可顯示為表示第二裝置之功能性改變的內容改變。
在一些實例中，程序1000可包括基於由第一裝置接收到的輸入顯示第二裝置的內容改變。第二裝置內容之內容改變表示第二裝置之功能性改變。舉例而言，使用者可與第一裝置(例如，VR頭戴套件)互動以便使得第二裝置執行一或多個功能(例如，使用發信應用程式發送本文訊息、使用社交網路連接應用程式投遞訊息至社交網路連接帳戶、發送電子郵件外加其他)。由第二裝置顯示的基於第二裝置之功能性改變的內容改變亦可顯示為第二裝置的表示第二裝置之功能性改變的內容改變。
在一些實例中，程序1000包括偵測觸發，及回應於觸發而使該內容與虛擬內容一起顯示。在一些情況下，觸發係基於自第二裝置接收的資訊。在一個繪示性實例中，自第二裝置接收之資訊包括訊息已由第二裝置接收到(例如，新的本文訊息或電子郵件已被接收到)的通知、由第二裝置接收到的輸入(例如，被提供至第二裝置的使用者輸入)，及/或其他通知。在一些情況下，觸發係基於第二裝置移動超出臨限量。舉例而言，第二裝置之加速計或其他感測器可提供指示第二裝置之移動量的資訊。在一些情況下，觸發係基於使用者朝向第二裝置的凝視之偵測，如藉由第一裝置所偵測。在一些情況下，觸發係基於時間量。舉例而言，若尚未接收到其他觸發，則來自第二裝置之內容可藉由第一裝置每臨限時間間隔一次地(例如，每五分鐘、每十分鐘或其他合適時間段一次)與虛擬內容一起顯示。在一些情況下，觸發係基於運用虛擬內容顯示之圖標的選擇。舉例而言，使用者可使用示意動作、眼部凝視、語音命令及/或其他輸入來選擇圖標。在一些實例中，觸發係基於藉由使用者提供的話音輸入。舉例而言，使用者可大聲講出「展示我的行動裝置」或其他片語，該片語可藉由第一裝置作為輸入接收到，且解譯為使得藉由第二裝置顯示之內容被顯示。在一些實例中，觸發係基於使用者提昇行動裝置及/或使行動裝置解鎖(例如，經由指紋輸入、藉由按下硬按鈕、經由面部辨識或面部識別(ID)，或使用用於對裝置解鎖的另一機構)。
第二裝置顯示之內容可基於各種移除觸發藉由第一裝置自顯示中移除。舉例而言，使用者可提供觸控式輸入(例如，撥動使用者介面上之輸入)、話音輸入、凝視輸入、示意動作輸入及/或其他輸入至第一裝置或該第二裝置，該輸入可藉由第一裝置解譯為移除觸發，該移除觸發觸發第一裝置以移除藉由第二裝置顯示的內容使其不顯示於第一裝置上。在另一實例中，移除觸發可係基於使用者將第二裝置移動至特定點，或使用特定運動(例如，藉由減低裝置，如藉由第二裝置的加速計或其他感測器所偵測)。在另一實例中，藉由第二裝置顯示之內容可基於自與第二裝置的最後互動起的一時間量來移除。舉例而言，若臨限時間量自輸入已自第二裝置接收到起或自使用者已與來自第二裝置的由第一裝置顯示的內容互動起已經過，則藉由第二裝置顯示的內容可自第一裝置上的顯示中移除。由於自顯示中移除了藉由第二裝置顯示的內容，所以虛擬內容將經顯示而無第二裝置顯示的內容。
圖11為繪示用於顯示虛擬內容之程序1100之另一實例的流程圖。在區塊1102處，程序1100包括藉由第一裝置顯示虛擬實境內容。第一裝置可包括虛擬實境(VR)頭戴套件(例如，HMD或其他類型之VR頭戴套件)，諸如展示於圖1至圖5中的VR頭戴套件102。
在區塊1104處，程序1100包括藉由第一裝置獲得由第二裝置之攝影機捕捉的一或多個影像。第二裝置可包括行動裝置，諸如展示於圖1至圖4中的行動裝置204。在區塊1106處，程序1100包括藉由第一裝置使一或多個影像與虛擬內容一起顯示。在一些實例中，一或多個影像覆疊於虛擬內容上方。舉例而言，使用圖4作為繪示性實例，藉由行動裝置204捕捉的影像418與虛擬內容圖框410一起顯示。在一些實例中，一或多個影像包括藉由第二裝置之攝影機捕捉的視訊。在一些實例中，一或多個影像包括藉由第二裝置之攝影機捕捉的至少一個靜態影像。
在一些實施方案中，程序1100包括使用第一裝置使第二裝置的合成表示與虛擬內容一起顯示。一或多個影像可作為第二裝置之合成表示之部分與虛擬內容一起顯示。舉例而言，一或多個影像可在該第二裝置之顯示器之合成表示內顯示。在出於繪示性目的而使用圖4之一個實例中，展示行動裝置204之合成表示414，其中影像418顯示於表示行動裝置204之實際顯示器的顯示器之合成表示中。
在一些實例中，程序900、1000及/或1100可藉由計算裝置或設備執行，諸如具有展示於圖12中之計算裝置架構1200的計算裝置。在一個繪示性實例中，計算裝置(例如，執行程序900、1000及/或1100)可包括延伸實境顯示裝置，諸如頭戴式顯示器(HMD)或其他類型的XR頭戴套件。
在一些狀況下，計算裝置或設備可包括輸入裝置、輸出裝置、一或多個處理器、一或多個微處理器、一或多個微電腦，及/或經組態以進行程序900、1000及/或1100之步驟的其他組件。計算裝置之組件(例如，一或多個處理器、一或多個微處理器、一或多個微電腦及/或其他組件)可實施於電路系統中。舉例而言，組件可包括電子電路或其他電子硬體及/或可使用電子電路或其他電子硬體實施，電子電路或其他電子硬體可包括一或多個可程式化電子電路(例如，微處理器、圖形處理單元(GPU)、數位信號處理器(DSP)、中央處理單元(CPU)及/或其他合適的電子電路)，及/或可包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合實施，以執行本文中所描述之各種操作。計算裝置可進一步包括顯示器(作為輸出裝置之實例或除該輸出裝置外)、經組態以傳達及/或接收資料的網路介面、其任何組合及/或其他組件。網路介面可經組態以傳達及/或接收基於網際網路協定(IP)之資料或其他類型之資料。
程序900、1000及1100被繪示為邏輯流程圖，該等程序之操作表示可以硬體、電腦指令或其組合實施之一系列操作。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上之當藉由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、物件、組件、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或與實施程序並行地組合。
另外，程序900、1000及/或1100可在經組態有可執行指令之一或多個電腦系統之控制下執行且可被實施為藉由硬體或其組合共同執行於一或多個處理器上之程式碼(例如，可執行指令、一或多個電腦程式或者一或多個應用程式)。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。
圖12繪示可實施本文中描述之各種技術的實例計算裝置之實例計算裝置架構1200。計算裝置架構1200之組件展示為使用連接件1205，諸如匯流排彼此電連通。實例計算裝置架構1200包括處理單元(CPU或處理器) 1210及計算裝置連接件1205，該計算裝置連接將包括諸如唯讀記憶體(ROM) 1220及隨機存取記憶體(RAM) 1225之計算裝置記憶體1215的各種計算裝置組件耦接至處理器1210。
計算裝置架構1200可包括與處理器1210直接連接、緊密接近處理器1210，或整合為處理器1210之部分的高速記憶體之快取記憶體。計算裝置架構1200可將來自記憶體1215及/或儲存裝置1230之資料複製至快取記憶體1212，以供處理器1210快速存取。以此方式，快取記憶體可提供避免處理器1210在等待資料時發生延遲的效能提昇。此等及其他模組可控制或經組態以控制處理器1210來執行各種動作。其他計算裝置記憶體1215亦可係可供使用的。記憶體1215可包括具有不同效能特性之多個不同類型記憶體。處理器1210可包括任一通用處理器及經組態以控制處理器1210以及其中軟體指令併入至處理器設計中之專用處理器的硬體或軟體服務(諸如儲存於儲存器件1230中的服務1 1232、服務2 1234及服務3 1236)。處理器1210可為自含系統，其含有多個核心或處理器、匯流排、記憶體控制器、快取記憶體等等。多核心處理器可為對稱或不對稱的。
為使得使用者能夠與計算裝置架構1200互動，輸入裝置1245可表示任何數目之輸入機構，諸如用於語音之麥克風、用於示意動作或圖形輸入之觸敏式螢幕、鍵盤、滑鼠、運動輸入件、揚聲器等等。輸出裝置1235亦可為熟習此項技術者已知的若干輸出機構中之一或多者，諸如顯示器、投影儀、電視、揚聲器裝置等。在一些情況下，多峰式計算裝置可使得使用者能夠提供多個類型之輸入，以與計算裝置架構1200進行通信。通信介面1240可大體上控管並管理使用者輸入及計算裝置輸出。不存在對任一特定硬體配置上之操作的限制，且因此此處基本特徵可在其被開發時容易地取代改良之硬體或韌體配置。
儲存裝置1230為非揮發性記憶體，且可為可儲存由電腦存取之資料的硬碟或其他類型之電腦可讀媒體，諸如磁性卡帶、快閃記憶卡、固態記憶體裝置、數位通用磁碟、卡匣、隨機存取記憶體(RAM) 1225、唯讀記憶體(ROM) 1220及其混合。儲存裝置1230可包括用於控制處理器1210的服務1232、1234、1236。涵蓋其他硬體或軟體模組。儲存裝置1230可連接至計算裝置連接件1205。在一個態樣中，執行特定功能之硬體模組可包括結合必要硬體組件(諸如處理器1210、連接件1205、輸出裝置1235等)以實施功能的儲存於電腦可讀媒體中的軟體組件。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等應用是諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP動態自適應串流傳輸(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
如本文中所用，術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存裝置、光學儲存裝置，及能夠儲存、含有或攜載指令及/或資料的各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料並且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、諸如緊密光碟(CD)或數位化通用光碟(DVD)之光學儲存媒體、快閃記憶體、記憶體或記憶體裝置。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，該等程式碼及/或機器可執行指令可表示程序、函數、子程式、程式、常式、次常式、模組、軟體套件、類別，或指令、資料結構或程式語句之任何組合。一個碼段可藉由傳遞及/或接收資訊、資料、論證、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或類似者之任何合適方式傳遞、轉遞或傳輸。
在一些實施例中，電腦可讀儲存裝置、媒體及記憶體可包括含有位元串流及類似者之纜線或無線信號。然而，當提及時，非暫時性電腦可讀儲存媒體明確地排除諸如能量、載波信號、電磁波及信號本身之媒體。
在以上描述中提供特定細節以提供對本文中所提供之實施例及實例的透徹理解。然而，一般熟習技術者應瞭解，實施例可在無需此等特定細節之情況下實踐。為了解釋之清楚起見，在一些情況下，本發明技術可呈現為包括個別功能區塊，該等個別功能區塊包括功能區塊，該等功能區塊包含軟體或硬體及軟體之組合中所體現的裝置、裝置組件、方法中之步驟或常式。除諸圖中展示及/或本文中所描述的彼等組件以外，可使用額外組件。舉例而言，電路、系統、網路、程序及其他組件可以方塊圖形式展示為組件以免以不必要的細節混淆實施例。在其他情況下，可在無不必要之細節的情況下展示熟知電路、程序、演算法、結構及技術以免混淆實施例。
個別實施例可在上文描述為描繪為流程圖(flowchart, a flow diagram)、資料流程圖、結構圖或方塊圖的程序或方法。儘管流程圖可能將操作描述為順序程序，但許多操作可並行地或同時加以執行。另外，可再配置操作之次序。程序在其操作完成時終止，但可具有不包括於圖中之額外步驟。程序可對應於方法、函式、程序、次常式、次程式等。在程序對應於函式時，其終止可對應於函式傳回至調用函式或主函式。
可使用儲存或以其他方式可自電腦可讀媒體獲得的電腦可執行指令實施根據上文所描述之實例的程序及方法。此等指令可包括(例如)導致或以其他方式組態通用電腦、專用電腦或處理裝置以執行某一功能或功能群組之指令及資料。可經由網路存取所使用的電腦資源之部分。電腦可執行指令可為(例如)二進位中間格式指令，諸如，組合語言、韌體、原始程式碼等。可用於儲存指令、所使用資訊及/或根據所描述實例之方法期間所產生的資訊之電腦可讀媒體的實例包括磁碟或光碟、快閃記憶體、具備非揮發性記憶體之USB裝置、網路連接儲存裝置等等。
實施根據此等揭示內容之程序及方法的裝置可包括硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合，且可採取多種外觀尺寸中之任一者。當以軟體、韌體、中間軟體或微碼實施時，執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。外觀尺寸之典型實例包括膝上型電腦、智慧型手機、行動電話、平板電腦裝置或其他小外觀尺寸個人電腦、個人數位助理、機架式裝置、獨立式裝置等。本文中所描述之功能性亦可體現於周邊裝置或附加卡中。作為進一步實例，此功能性亦可實施於不同晶片上當中的電路板上或在單個裝置中執行之不同程序。
該等指令、用於輸送此等指令之媒體、用於執行此等媒體之計算資源，及用於支援此等計算資源之其他結構為用於提供本發明中所描述之功能的實例構件。
在前述描述中，參考申請案之特定實施例描述申請案之態樣，但熟習此項技術者將認識到，本申請案不限於此。因此，儘管本文中已詳細描述了申請案之繪示性實施例，但應理解，本發明概念可以其他方式不同地體現並使用，且所附申請專利範圍意欲解釋為包括除先前技術所限制外的此等變化。上文所描述之申請案的各種特徵及態樣可個別地或聯合地使用。另外，實施例可用於超出本文中所描述之彼等環境及應用的任何數目個環境及應用，而不脫離本說明書之更廣泛精神及範疇。因此，本說明書及圖式被視為繪示性而非限定性。出於繪示之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同之次序來執行該等方法。
一般熟習此項技術者將瞭解，在不脫離本說明書之範疇之情況下，本文中所使用之小於(「＜」)及大於(「＞」)符號或術語可分別用小於或等於(「≤」)及大於或等於(「≥」)符號替換。
在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合之電子電路)以執行操作或其任何組合來實現此組態。
片語「耦接至」係指任何組件直接地或間接地實體連接至另一組件，及/或任何組件直接地或間接地與另一組件通信(例如，經由有線或無線連接及/或其他合適通信介面連接至其他組件)。
敍述集合「中之至少一者」及/或集合「中之一或多者」的技術方案語言或其他語言指示該集合之一個成員或該集合之多個成員(以任何組合)滿足該技術方案。舉例而言，敍述「A及B中之至少一者」的技術方案語言意謂A、B或A及B。在另一實例中，敍述「A、B及C中之一或多者」的技術方案語言意謂A、B、C，或A及B，或A及C，或B及C，或A及B及C。語言一集合「中之至少一者」及/或一集合「中之一或多者」並不將該集合限制為該集合的所列出之物件。舉例而言，敍述「A及B中之至少一者」的技術方案語言可意謂A、B或A及B，且可另外包括A及B之集合中未列舉的項。
結合本文中所揭示之實施例而描述的各種繪示性邏輯區塊、模組、電路及演算法步驟可實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地繪示硬體與軟體之此可互換性，各種繪示性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以了描述。將此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統上之設計約束。熟習此項技術者可針對每一特定應用而以變化之方式實施所描述之功能性，而但不應將此等實施決策解譯為致使脫離本發明之範疇。
本文中所描述之技術亦可實施於電子硬體、電腦軟體、韌體或其任何組合中。此等技術可實施於多種裝置中之任一者中，諸如，通用電腦、無線通信裝置手機或具有多種用途(包括在無線通信裝置手機及其他裝置中之應用)的積體電路裝置。可將描述為模組或組件之任何特徵共同實施於整合式邏輯裝置中或分開實施為離散但可互操作之邏輯裝置。若以軟體實施，則該等技術可至少部分由包含包括指令之程式碼的電腦可讀資料儲存媒體實現，該等指令在經執行時執行上文所描述之方法中的一或多者。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及其類似者。另外或替代地，該等技術可至少部分由電腦可讀通信媒體實現，電腦可讀通信媒體攜載或傳達呈指令或資料結構形式且可由電腦存取、讀取及/或執行的程式碼，諸如，經傳播的信號或波。
程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路系統。此處理器可經組態以執行本發明中所描述的技術中的任一者。通用處理器可為微處理器；但在替代方案中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可經實施為計算裝置之組合，例如，DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任一其他此組態。因此，如本文中所使用之術語「處理器」可指前述結構中之任一者、前述結構之任何組合或適合於實施本文中所描述之技術的任何其他結構或設備。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組內，或併入於組合式視訊編碼器-解碼器(編碼解碼器)中。
100:使用者 102:虛擬實境(VR)頭戴套件/虛擬實境(VR)裝置 110:虛擬實境(VR)圖框 204行動裝置 210:圖框 214:合成表示 215:動作通知 216:合成表示 310:圖框 315:動作通知 317:虛擬內容 410:虛擬內容圖框 414:合成表示 418:影像 510:圖框 520:圖框 632:應用程式 634:執行階段引擎 636:合成器引擎 638:作業系統(OS) 804:行動裝置 832:延伸實境(XR)應用程式 833:延伸實境(XR)應用程式使用者介面(UI) 834:延伸實境(XR)執行階段引擎 835:行動裝置使用者介面(UI) 842:行動裝置顯示器 844:延伸實境(XR)場景使用者介面 846:延伸實境(XR)裝置顯示器 900:用於顯示虛擬內容之程序 902:區塊 904:區塊 906:區塊 1000:用於顯示虛擬內容之程序 1002:區塊 1004:區塊 1006:區塊 1100:用於顯示虛擬內容之程序 1102:區塊 1104:區塊 1106:區塊 1200:計算裝置架構 1205:計算裝置連接件 1210:處理單元/中央處理單元(CPU)/處理器 1212:快取記憶體 1215:計算裝置記憶體 1220:唯讀記憶體(ROM) 1225:隨機存取記憶體(RAM) 1230:儲存裝置 1232:服務1 1234:服務2 1235:輸出裝置 1236:服務3 1240:通信介面 1245:輸入裝置
下文參看以下諸圖詳細描述本申請案之繪示性實施例：
圖1為根據一些實例的繪示藉由虛擬實境裝置顯示之虛擬內容之實例的圖；
圖2為根據一些實例的繪示裝置之與虛擬內容一起顯示之合成表示的實例之圖，其中裝置之合成表示與虛擬內容藉由虛擬實境裝置顯示；
圖3為根據一些實例的繪示與虛擬內容一起顯示的裝置之內容之實例的圖，其中裝置之內容及虛擬內容藉由虛擬實境裝置顯示；
圖4為根據一些實例的繪示與虛擬內容一起顯示的藉由裝置捕捉之影像之實例的圖，其中影像及虛擬內容藉由虛擬實境裝置顯示；
圖5為根據一些實例的繪示藉由虛擬實境裝置進行的虛擬內容之顯示與真實世界之顯示之間的切換之實例的圖；
圖6為根據一些實例的繪示虛擬實境裝置之組件之實例的圖；
圖7為根據一些實例之繪示不同顯示層之實例的圖；
圖8為根據一些實例的繪示虛擬實境裝置之組件之另一實例的圖；
圖9為根據一些實例的繪示用於顯示虛擬內容之程序之實例的流程圖；
圖10為根據一些實例的繪示用於顯示虛擬內容之程序之另一實例的流程圖；
圖11為根據一些實例的繪示用於顯示虛擬內容之程序之另一實例的流程圖；且
圖12為可實施本文中描述之各種技術的實例計算裝置之實例計算裝置架構。
100:使用者
102:虛擬實境(VR)頭戴套件/虛擬實境(VR)裝置
204:行動裝置
210:圖框
214:合成表示
215:動作通知
216:合成表示

Claims (35)

  1. 一種用於延伸實境整合的方法，其包含：由一第一裝置顯示虛擬實境內容，該第一裝置包括一虛擬實境頭戴式顯示器；由該第一裝置顯示位於真實世界的一第二裝置之一合成表示，該第二裝置的該合成表示與該虛擬實境內容一起顯示以回應於一第一使用者輸入；由該第一裝置接收與該第二裝置之功能性的一改變相關的資訊，其中與該第二裝置之功能性的該改變相關的該資訊是基於由該第二裝置接收與處理的一或多個輸入；基於由該第一裝置接收到之該資訊而顯示該第二裝置之該合成表示的一改變，該第二裝置之該合成表示的該改變表示該第二裝置之功能性的該改變；及由該第一裝置基於由該第二裝置接收的一第二使用者輸入從顯示中移除該第二裝置的該合成表示。
  2. 如請求項1之方法，其中該第二裝置之該合成表示包括該第二裝置之一顯示器的一合成表示，其中由該第二裝置顯示之內容顯示於該第二裝置之該顯示器的該合成表示中。
  3. 如請求項1之方法，其中該第二裝置包括一行動裝置。
  4. 如請求項1之方法，其進一步包含：由該第一裝置自該第二裝置獲得音訊內容；及由該第一裝置播放來自該第二裝置的該音訊內容。
  5. 如請求項1之方法，其進一步包含：由該第一裝置獲得由該第二裝置之一麥克風捕捉的音訊內容；及由該第一裝置播放該音訊內容。
  6. 如請求項1之方法，其進一步包含：由該第一裝置獲得由該第二裝置之一攝影機捕捉的一或多個影像；及由該第一裝置使該一或多個影像與該虛擬實境內容一起顯示。
  7. 如請求項1之方法，其中該第一使用者輸入為由該第一裝置接收。
  8. 如請求項7之方法，其中該第一使用者輸入包含一示意動作輸入。
  9. 如請求項7之方法，其中該第一使用者輸入包含一語音命令。
  10. 如請求項1之方法，其中該第一使用者輸入為由該第二裝置接收。
  11. 如請求項10之方法，其中該第一使用者輸入包含一觸控式輸入。
  12. 如請求項10之方法，其中該第一使用者輸入包含該第二裝置的一移動。
  13. 如請求項1之方法，其中該第二裝置的該合成表示被顯示為出現在該第二裝置在真實世界的一位置上。
  14. 如請求項1之方法，其中該第二裝置的該合成表示被顯示在關於該虛擬實境內容的一靜態位置。
  15. 如請求項1之方法，其中該第二裝置接收與處理的該一或多個輸入包括一使用者輸入。
  16. 如請求項1之方法，其中該第二裝置接收與處理的該一或多個輸入包括一通知。
  17. 一種用於延伸實境整合的第一裝置，其包含：一記憶體，其經組態以儲存內容以供顯示；及一或多個處理器，其實施於電路系統中且耦接至該記憶體，該一或多個處理器經組態以：使得虛擬實境內容顯示於一顯示器上；使得位於真實世界的一第二裝置之一合成表示被顯示，該第二裝置的該合成表示與該虛擬實境內容一起顯示於該顯示器上以回應於一第一使用者輸入； 接收與該第二裝置之功能性的一改變相關的資訊，其中與該第二裝置之功能性的該改變相關的該資訊是基於由該第二裝置接收與處理的一或多個輸入；及基於所接收的該資訊，使得該第二裝置之該合成表示的一改變顯示於該顯示器上，該第二裝置之該合成表示的該改變表示該第二裝置之功能性的該改變；及基於由該第二裝置接收的一第二使用者輸入從顯示中移除該第二裝置的該合成表示。
  18. 如請求項17之第一裝置，其中該第二裝置之該合成表示包括該第二裝置之一顯示器的一合成表示，其中由該第二裝置顯示之內容顯示於該第二裝置之該顯示器的該合成表示中。
  19. 如請求項17之第一裝置，其中該第一裝置包括一虛擬實境頭戴式顯示器，該虛擬實境頭戴式顯示器包括該顯示器。
  20. 如請求項17之第一裝置，其中該第二裝置包括一行動裝置。
  21. 如請求項17之第一裝置，其中該一或多個處理器經組態以：自該第二裝置獲得音訊內容；及播放來自該第二裝置的該音訊內容。
  22. 如請求項17之第一裝置，其中該一或多個處理器經組態以： 獲得由該第二裝置之一麥克風捕捉的音訊內容；及播放該音訊內容。
  23. 如請求項17之第一裝置，其中該一或多個處理器經組態以：獲得由該第二裝置之一攝影機捕捉的一或多個影像；及使得該一或多個影像與該虛擬實境內容一起顯示。
  24. 如請求項17之第一裝置，其中該第一使用者輸入為由該第一裝置接收。
  25. 如請求項24之第一裝置，其中該第一使用者輸入包含一示意動作輸入。
  26. 如請求項24之第一裝置，其中該第一使用者輸入包含一語音命令。
  27. 如請求項17之第一裝置，其中該第一使用者輸入為由該第二裝置接收。
  28. 如請求項27之第一裝置，其中該第一使用者輸入包含一觸控式輸入。
  29. 如請求項27之第一裝置，其中該第一使用者輸入包含該第二裝置的一移動。
  30. 如請求項17之第一裝置，其中該第二裝置的該合成表示被顯示為出現在該第二裝置在真實世界的一位置上。
  31. 如請求項17之第一裝置，其中該第二裝置的該合成表示被顯示在關於該顯示器的一靜態位置。
  32. 如請求項17之第一裝置，其中該第二裝置接收與處理的該一或多個輸入包括一使用者輸入。
  33. 如請求項17之第一裝置，其中該第二裝置接收與處理的該一或多個輸入包括一通知。
  34. 如請求項17之第一裝置，其中該第二使用者輸入為由該第二裝置接收。
  35. 一種儲存指令之非暫時性的電腦可讀儲存媒體，該等指令在經執行時使得一第一裝置之一或多個處理器執行以下操作：使得由該第一裝置顯示虛擬實境內容，該第一裝置包括一虛擬實境頭戴式顯示器；使得位於真實世界的一第二裝置之一合成表示與該虛擬實境內容一起顯示；該第二裝置的該合成表示回應於一第一使用者輸入而被顯示；由該第一裝置接收與該第二裝置之功能性的一改變相關的資訊，其 中與該第二裝置之功能性的該改變相關的該資訊是基於由該第二裝置接收與處理的一或多個輸入；基於由該第一裝置接收到之該資訊，使得由該第一裝置顯示該第二裝置之該合成表示的一改變，該第二裝置之該合成表示的該改變表示該第二裝置之功能性的該改變；及基於由該第二裝置接收的一第二使用者輸入從顯示中移除該第二裝置的該合成表示。
TW109120251A 2019-08-03 2020-06-16 計算裝置及延伸實境整合 TWI839532B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962882488P 2019-08-03 2019-08-03
US62/882,488 2019-08-03
US16/741,617 2020-01-13
US16/741,617 US11231827B2 (en) 2019-08-03 2020-01-13 Computing device and extended reality integration

Publications (2)

Publication Number Publication Date
TW202107249A TW202107249A (zh) 2021-02-16
TWI839532B true TWI839532B (zh) 2024-04-21

Family

ID=74258701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109120251A TWI839532B (zh) 2019-08-03 2020-06-16 計算裝置及延伸實境整合

Country Status (8)

Country Link
US (1) US11231827B2 (zh)
EP (1) EP4007947A1 (zh)
JP (1) JP2022542295A (zh)
KR (1) KR20220038689A (zh)
CN (1) CN114207559A (zh)
BR (1) BR112022001190A2 (zh)
TW (1) TWI839532B (zh)
WO (1) WO2021025787A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093922A (ko) * 2019-01-29 2020-08-06 삼성전자주식회사 전자 장치의 외부 전자 장치를 제어하는 방법, 전자 장치 및 저장 매체
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
KR20220014213A (ko) * 2020-07-28 2022-02-04 삼성전자주식회사 전자 장치 및 오디오 볼륨 제어 방법
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) * 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
CN113784105B (zh) * 2021-09-10 2024-07-26 上海曼恒数字技术股份有限公司 一种沉浸式vr终端的信息处理方法及系统
US11960652B2 (en) * 2021-10-12 2024-04-16 Qualcomm Incorporated User interactions with remote devices
KR20230067197A (ko) * 2021-11-09 2023-05-16 삼성전자주식회사 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치
EP4339873A4 (en) 2021-11-09 2024-05-01 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
US11726734B2 (en) 2022-01-13 2023-08-15 Motorola Mobility Llc Configuring an external presentation device based on an impairment of a user
TWI818613B (zh) * 2022-07-01 2023-10-11 國立臺北科技大學 非對稱式ｖｒ遠端醫療協作指導系統及訓練方法
WO2024049175A1 (ko) * 2022-09-01 2024-03-07 삼성전자 주식회사 Hmd(head mounted display) 장치를 착용 중, 디스플레이 방법 및 그 장치
CN115967854A (zh) * 2022-12-21 2023-04-14 维沃移动通信有限公司 拍照方法、装置及电子设备
CN219266680U (zh) * 2023-03-31 2023-06-27 荆晨 延展现实显示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201443760A (zh) * 2013-03-14 2014-11-16 Julian Michael Urbach 用以擴增實境及虛擬實境之目鏡
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20190037166A1 (en) * 2015-10-14 2019-01-31 Utility Associates, Inc. Article of clothing with video recording device support

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713886B (zh) * 2012-09-29 2017-11-10 腾讯科技（深圳）有限公司 一种数据处理设备中的提醒装置及其提醒处理方法
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10157039B2 (en) * 2015-10-05 2018-12-18 Motorola Mobility Llc Automatic capturing of multi-mode inputs in applications
EP3236423A1 (en) 2016-04-22 2017-10-25 Thomson Licensing Method and device for compositing an image
US10692113B2 (en) 2016-06-21 2020-06-23 Htc Corporation Method for providing customized information through advertising in simulation environment, and associated simulation system
US10802787B2 (en) 2016-09-30 2020-10-13 Sony Interactive Entertainment Inc. Integrating audience participation content into virtual reality content
KR20180044687A (ko) 2016-10-24 2018-05-03 엘지전자 주식회사 Hmd 디바이스
US10595012B2 (en) 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
US10754496B2 (en) 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
EP3682310B1 (en) 2017-09-11 2024-07-17 Google LLC Switchable virtual reality and augmented reality device
US11176956B2 (en) * 2018-03-28 2021-11-16 Qualcomm Incorproated Application directed latency control for wireless audio streaming
US10740924B2 (en) * 2018-04-16 2020-08-11 Microsoft Technology Licensing, Llc Tracking pose of handheld object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201443760A (zh) * 2013-03-14 2014-11-16 Julian Michael Urbach 用以擴增實境及虛擬實境之目鏡
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment
US20190037166A1 (en) * 2015-10-14 2019-01-31 Utility Associates, Inc. Article of clothing with video recording device support
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction

Also Published As

Publication number Publication date
JP2022542295A (ja) 2022-09-30
CN114207559A (zh) 2022-03-18
TW202107249A (zh) 2021-02-16
US11231827B2 (en) 2022-01-25
WO2021025787A1 (en) 2021-02-11
US20210034222A1 (en) 2021-02-04
KR20220038689A (ko) 2022-03-29
BR112022001190A2 (pt) 2022-03-15
EP4007947A1 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
TWI839532B (zh) 計算裝置及延伸實境整合
KR102358939B1 (ko) 시선 추적 방법 및 디바이스에서의 시각적 변경의 비시각적 피드백
US10817066B2 (en) Information privacy in virtual reality
JP6612250B2 (ja) 会話検出
KR102085181B1 (ko) 데이터 전송 방법, 데이터 수신 방법, 및 디바이스
CN109407822B (zh) 协作虚拟现实的防恶心和视频流式传输技术
US10841534B2 (en) Real-world awareness for virtual reality
EP2972559B1 (en) Methods and apparatus for displaying images on a head mounted display
EP3400580B1 (en) Method and apparatus for facilitating interaction with virtual reality equipment
JP2018505463A (ja) 音声ベース装置の外部視覚的インタラクション
WO2014130329A1 (en) Context-aware augmented reality object commands
US10254850B1 (en) Apparatus and method to navigate media content using repetitive 3D gestures
WO2017215198A1 (zh) 控制工作状态的方法和装置
KR102710460B1 (ko) 전자 장치, 그 제어 방법 및 전자 시스템
JP2018106364A (ja) 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
GB2566142A (en) Collaborative virtual reality anti-nausea and video streaming techniques
US11934627B1 (en) 3D user interface with sliding cylindrical volumes
JP2024018907A (ja) Ｘｒマルチウィンドウ制御
JPWO2018101162A1 (ja) ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム
JP2018102911A (ja) 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置