TWI571130B - 體積式視訊呈現 - Google Patents

體積式視訊呈現 Download PDF

Info

Publication number
TWI571130B
TWI571130B TW101113630A TW101113630A TWI571130B TW I571130 B TWI571130 B TW I571130B TW 101113630 A TW101113630 A TW 101113630A TW 101113630 A TW101113630 A TW 101113630A TW I571130 B TWI571130 B TW I571130B
Authority
TW
Taiwan
Prior art keywords
image
viewer
data
head mounted
mounted display
Prior art date
Application number
TW101113630A
Other languages
English (en)
Other versions
TW201301892A (zh
Inventor
巴希克史帝文
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201301892A publication Critical patent/TW201301892A/zh
Application granted granted Critical
Publication of TWI571130B publication Critical patent/TWI571130B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

體積式視訊呈現
本發明係關於體積式(volumetric)視訊呈現。
視訊內容可以二維形式或三維形式呈現。三維視訊呈現通常涉及使用濾光眼鏡(filtering eyewear)，以允許對觀看者之左眼及右眼傳送些許不同之影像。在這樣的視訊呈現中，儘管所顯示之影像看來有三個維度，但改變使用者的角度(perspective)卻不會改變觀看的內容，也就是不管觀看者在觀看環境中的角度如何，相同的影像仍送達觀看者的雙眼。
虛擬世界和其他互動式電腦圖形呈現法，可允許使用者透過使用者輸入改變觀看場景之角度為第一人稱或第三人稱之角色，以觀看該場景的不同部分。使用者可透過來自如鍵盤、搖桿及類似裝置之使用者輸入裝置的輸入，來控制在虛擬世界或其他電腦圖形環境中所觀看的角度。
在此揭示不同之實施例，係關於透過頭戴式顯示器在呈現空間中視訊影像之呈現，使得使用者可藉由改變在 該呈現空間內的角度，以觀看體積式影像資料的不同角度。例如，所揭示的一實施例包含自位置及方位感測系統接收觀看者位置資料及方位資料，且自該觀看者位置資料及該觀看者方位資料，在呈現空間中定位觀看者，決定該使用者面朝的方向，且決定該頭戴式顯示器系統的方位。自該已決定位置、方向、及方位，根據體積式影像之部分及方位，該體積式影像係根據在該呈現空間內之觀看者之視野映射至位於觀看者之視野內之該呈現空間，以決定用於傳送至該頭戴式顯示器系統的呈現影像。該呈現影像接著被傳送至該頭戴式顯示器。
本【發明內容】係供以簡要形式介紹一些概念，在【實施方式】部分將進一步描述。本【發明內容】並未意圖指出所申請發明的關鍵特徵或基本特徵，也並未意圖被用於為所申請發明之範疇設限。此外，所申請之發明不限於解決本揭示案任何部分指出之任一或全部缺點的實施例。
如上所述，虛擬世界和其他電腦圖形呈現法可允許使用者透過使用者輸入改變觀看場景之角度為第一人稱或第三人稱之角色，以觀看該場景的不同部分。使用者可透過來自如鍵盤、搖桿及類似裝置之使用者輸入裝置的輸入，來控制在虛擬世界或其他電腦圖形環境中所觀看 的角度。
然而，玩家於目前虛擬世界體驗可享有的互動性程度，可受限於運用來控制使用者在虛擬世界中之移動的機制。例如，使用如鍵盤、搖桿、方向鍵(directional pad)等手動輸入裝置來導覽虛擬世界，讓使用者無法享有與世界更真實的互動，如在虛擬世界場景內步行欣賞該場景不同的角度。
此外，如上所述，視訊呈現可能不提供觀看者在視訊內容項目內改變角度的能力。例如，不像電腦圖形呈現，視訊觀看者可能沒有能力藉由選擇改變角度180度，來觀看在視訊觀看者之觀看點背後所發生之動作。
因此，在此揭示關於視訊內容呈現之實施例，其中使用者可在視訊內容呈現空間內移動，以從不同角度觀看視訊內容呈現。例如，欣賞美式足球賽的觀看者可以在該觀看環境內移動，以更近觀看比賽的爭球線。同樣地，欣賞戲劇呈現的觀看者可在場景所在的房間內移動，以從房間不同角度觀看角色。
所揭示之實施例運用頭戴式顯示器以對觀看者顯示影像，及位置及方位追蹤系統以追蹤在呈現空間內使用者的動作及方位。此位置及方位追蹤系統可包含例如：一或更多個攝影機，該一或更多個攝影機經配置以顯像呈現空間；及/或在該頭戴式顯示器上之一或更多個動作感測器，以追蹤使用者的頭部沿著翻滾軸線、俯仰軸線及/或擺動軸線的方位。
位置及方位追蹤系統也可包含攝影機受信系統(camera beacon system)。例如，在該呈現空間內之物件可經配置以發送參考訊號，該訊號係關聯於空間並結構化，使得在該頭戴式顯示器系統上的攝影機可發現並追蹤該結構化燈光樣式。該結構化燈光樣式的影像可接著被用以決定使用者位置及方位。在其他實施例中，在該呈現空間中可提供單一廣角攝影機，且該頭戴式顯示器系統發送關聯於空間並結構化的信標(beacon)，該信標可由該攝影機觀看以決定使用者位置及方位。類似的系統可運用射頻信標。將理解該等位置及方位追蹤系統係為示範之目的而描述，且並未意圖以任何方式設限，且可使用任何其他適當之動作追蹤系統，例如磁性系統。
自該位置及方位追蹤系統，可獲得描述觀看者雙眼在該呈現空間中的位置及方位的資料，該資料可用以計算及描繪用以透過該頭戴式顯示器來顯示的影像。此位置及方位分析法可針對每個畫面進行，或僅在偵測到使用者在該呈現空間內有所動作時進行。不論何種情況，使用者藉由在該呈現空間內實際移動，可以觀看視訊呈現的許多不同角度。
此系統可允許藉由映射體積式視訊資料至例如房間之呈現空間，而在該呈現空間中呈現視訊資料。在此所用之術語「體積式視訊資料」係指自複數個觀看點所擷取之視訊資料，使得在該視訊資料中之物件的外觀關係及空間關係，可在該觀看空間體內從不同角度適當地描繪 出來。一個更明確的範例是，戲劇呈現可藉由在複數個不同角度的攝影機來錄影，例如大致圍著圓形舞台。接著，來自該等攝影機的影像資料可接合在一起，而形成視訊檔案，該視訊檔案涵蓋藉由該複數個攝影機所擷取之角度範圍內所有的影像資料。了解內容生產空間的幾何，戲劇呈現係在該空間由視訊所擷取，可允許該生產空間被映射至該所擷取視訊資料。接著，此映射可應用至該視訊資料被呈現所在之該呈現空間。以這種方式該呈現空間的容體內可充滿經映射之視訊資料，使得在該呈現空間中的觀看者透過該頭戴式顯示器系統，可從該呈現空間內之任何適當角度欣賞視訊內容。應理解，在該呈現空間與在該視訊資料中所擷取之該內容生產空間容體之間的幾何上不符合，可藉由以下方式處理：裁切視訊內容的邊界、在該呈現空間邊緣處致使使用者捲動視訊內容以進入及/或離開視野(例如藉由一或更多個影像感測器所偵測之手勢輸入)、限制使用者可在該視訊資料容體內移動(不同於觀看)的部分及/或任何其他合適的方式。
第1圖描繪此體積式視訊呈現之範例使用情境。觀看者100被描繪在呈現空間102中，該呈現空間包含位在該房間內不同位置的複數個攝影機104、106。攝影機104、106可被用以追蹤觀看者100在呈現空間102內的位置。儘管為說明之目的而圖示兩個攝影機，但應理解任何合適數目之攝影機可被用以追蹤觀看者100在呈現 空間102內的位置。亦應進一步理解該呈現空間可包含任何其他合適的位置及方位追蹤系統，包含以上所述但不限於此。
此外，呈現空間102包含頭戴式顯示器系統110，由觀看者100穿戴以觀看體積式影像呈現。儘管為說明之目的而描繪單一觀看者100，但應理解多個觀看者可在呈現空間102內觀看視訊呈現。
呈現空間102進一步包含視訊呈現計算裝置112。視訊呈現計算裝置112經配置以接收用於視訊呈現的體積式視訊資料，並映射該體積式視訊資料至該呈現空間。應理解體積式視訊資料可為接收自任何合適之來源，包括如DVD播放器之本機來源，及/或透過網路之遠端來源，但不限於此。
視訊呈現計算裝置112經進一步配置以自攝影機104、106接收觀看者追蹤影像資料，以及來自在頭戴式顯示器系統110上之各種感測器的動作資料(如下所述)，以允許追蹤在呈現空間102中之觀看者100的雙眼的位置及方位。此外，在某些實施例中，來自在頭戴式顯示器系統110上之眼球追蹤攝影機的輸入，可針對觀看者視線朝向的方向提供輸入。從該等輸入，視訊呈現計算裝置112可決定影像用以傳送至頭戴式顯示器系統110以呈現給觀看者100。
藉由針對每個畫面進行此處理程序，隨著觀看者在呈現空間102內移動，可呈現不同影像給該觀看者。例如， 第1圖描繪觀看者100在觀看棒球賽。於時間t0的第一角度，觀看者100所在的位置，該位置視角在本壘後方。接著於時間t1，觀看者100在呈現空間102內移動至位置及方位，使允許從沿著一壘線觀看棒球賽。然後，於時間t2，觀看者100沿著一壘線移動更遠，且改變方位，以觀看朝右外野的打擊。以這種方式，觀看者100只需藉由在呈現空間102內移動，即可改變觀看比賽的角度。應理解，取決於該呈現空間至該體積式視訊資料的映射，及在該體積式資料可及之角度的範圍，觀看者可以改變成在棒球場地上的角度，如在投手或捕手背後，或是到任何其他合適角度。
第2圖描繪第1圖之觀看環境的方塊圖。第1圖的呈現空間102以虛線圖示，且圖示為包含視訊呈現計算裝置112。然而，應理解視訊呈現計算裝置112及/或任何其他合適組件之實體所在可與呈現空間102分離，只要在視訊呈現計算裝置112與在呈現空間102中使用之各種輸入感測器及輸出裝置之間存在有通訊管道。
頭戴式顯示器系統110可包含各種感測器及輸出裝置。例如，頭戴式顯示器系統110可包含透通顯示器(see-through display)子系統200，使得影像可被投影至鏡片202上，或由位在鏡片202內之影像產生元件(例如透通有機發光二極體(OLED)顯示器)所產生。頭戴式顯示器系統110可進一步包含一或更多個影像感測器204。例如，影像感測器204可包含眼部追蹤影像感測 器，該眼部追蹤影像感測器係經配置以獲取影像資料，以允許觀看者之眼球被追蹤。同樣地，影像感測器204可包含例如一或更多個朝外之影像感測器，以致使手勢為主之使用者輸入。在某些實施例中，手勢為主之使用者輸入也可透過呈現空間攝影機104、106所偵測，而在其他實施例中不運用手勢為主之輸入。頭戴式顯示器系統110可進一步包含一或更多個麥克風206，以允許使用語音命令作為使用者輸入。另一做法，亦或額外地，可使用分離於頭戴式顯示器系統110的觀看環境麥克風207，以偵測觀看者語音命令。
頭戴式顯示器系統110可進一步包含一或更多個動作感測器208，以偵測當觀看者戴上頭戴式顯示器系統110時該觀看者頭部的移動。動作感測器208可輸出動作資料，以供應至視訊呈現計算裝置112，用於追蹤觀看者頭部動作及眼部方位。此動作資料可促進偵測使用者頭部沿著滾動軸線、俯仰軸線及/或擺動軸線的傾斜，而此種資料亦可稱為方位資料。同樣地，動作感測器208也可被採用為使用者輸入裝置，使得使用者可透過頸部及頭部，甚至身體的姿勢，來與頭戴式顯示器系統110互動。將理解第2圖中圖示的感測器僅因示範之目的而圖示，並未意圖以任何方式設限，可以運用任何其他合適之感測器及/或感測器之組合。
頭戴式顯示器系統110進一步包含具有邏輯子系統212及資料保存子系統214的控制器210，該控制器與頭 戴式顯示器系統110的各種輸入裝置及輸出裝置通訊。資料保存子系統214包含有指令儲存於該資料保存子系統上，該等指令係由邏輯子系統212執行，用以例如：透過通訊子系統216，接收來自感測器的輸入並轉送至視訊呈現計算裝置112(以未經處理或經處理的形式)；接收來自視訊呈現計算裝置112的影像資料；及透過透通顯示器子系統200呈現此等影像給觀看者。透過在頭戴式顯示器系統上的一或更多個喇叭218，或是透過在該呈現空間中另一音效輸出端220，可呈現音效。
頭戴式顯示器系統110可具有任何合適的實體形式。例如在某些實施例中，頭戴式顯示器系統110可採用一副太陽眼鏡的形式，如第3圖所示。在其他實施例中，頭戴式顯示器系統110可具有任何其他合適的形式，其中在觀看者的一眼或雙眼前支撐透通顯示器系統。應注意第3圖圖示朝外影像感測器204以及眼部追蹤影像感測器300兩者。
回到第2圖，第1圖的攝影機104、106被圖示為攝影機1及任意攝影機n，表示包括但不限於二之任何合適數目的攝影機，可被用來追蹤在呈現空間102中使用者的動作，且提供觀看者位置資料至視訊呈現計算裝置。此外，應理解任何其他合適的位置及方位偵測系統可得以使用。
在複數個攝影機被運用於觀看者位置追蹤之情況中，這些攝影機可以任何合適方式針對該呈現空間而校正。 在某些實施例中，該等攝影機可經配置為自行校正。例如，各攝影機可包含結構化燈光投影系統，該結構化燈光投影系統投影結構化燈光樣式進至該呈現空間。此結構化燈光樣式可接著由該攝影機所偵測，以針對該呈現環境校正其自身。接著，要針對在該呈現空間中另一攝影機的位置來校正一攝影機的位置，可在一攝影機發送結構化燈光樣式時，另一攝影機擷取影像。該視訊呈現計算裝置可接著使用在該影像中該結構化燈光樣式的外觀及位置，連同已知何台攝影機發送該結構化燈光樣式之事實，來校正各攝影機所獲取之影像之間的重疊部分。以上可對於所有攝影機組對進行，直到各攝影機之間視野重疊部分都已決定為止。
視訊呈現計算裝置112被描繪成與頭戴式顯示器系統110、攝影機104、106、麥克風207及呈現空間102內之音效輸出端220通訊。此外，視訊呈現計算裝置112被描繪成自複數個內容來源接收輸入，包含位在呈現空間102內的內容來源1 222，及位在呈現空間102外部的內容來源2 224及內容來源n 226。
內容來源222可代表任何合適之本機內容來源，如DVD播放器、數位視訊錄影機(DVR)或其他此類本機媒體資料來源。同樣地，內容來源224、226可代表由視訊呈現計算裝置112可存取之任何遠端內容來源。例如，內容來源2及/或n可代表網站，體積式視訊資料可自該等網站串流(streamed)或下載。同樣地，內容來 源224、226可代表任何合適遠端媒體來源，如有線電視提供者、衛星電視提供者、電腦網路可存取之串流媒體提供者等等。因此，網路228可代表任何合適之一或更多個網路，內容可在該一或更多個網路上自遠端來源被接收。
第4圖圖示流程圖，描繪透過頭戴式顯示器呈現體積式視訊資料之方法400的實施例。應理解，在進行方法400之前，視訊呈現計算裝置可針對該呈現空間的容體，校正位在該呈現空間內的影像感測器。此校正可以任何合適方式及任何合適頻率進行，包含但不限於系統設定時。
方法400首先包含在402接收體積式影像資料並映射該體積式影像資料至該呈現空間。此映射步驟可包含例如：決定該體積式影像資料之部分，該部分代表在該體積式影像中該使用者可在該體積式影像中移動之區域；接著將在該影像之該部分的像素與在該呈現空間內的位置相關聯。
在某些情況下，整個影像容體可為互動的，讓使用者得以從任何所欲角度觀看各影像畫面的物件。作為更明確的範例，體積式戲劇呈現可從足夠數目的攝影機角度予以錄影，以允許使用者在所顯示之場景的周圍移動，也可穿過該場景的整個容體，且從彼區域內所有角度觀看演員的影像。此種呈現的一特定範例中，在該場景中的牆壁之影像的位置，可對應於在呈現空間中真實牆壁 的位置。應理解該影像可具有任何其他合適的邊界外觀。
在其他情況下，影像體中僅部分可為互動的，使得使用者不可移動以顯現在體積式視訊內容中之物件及/或人的某些角度。
映射該體積式視訊資料至該呈現空間後，方法400包含在404擷取該體積式視訊資料的畫面，並接著進行各種處理程序，以決定用以傳送至該頭戴式顯示器以呈現給該觀看者的影像。例如在408，方法400可包含自在該呈現空間內之影像感測器接收觀看者追蹤資料，且在410，透過該追蹤影像資料，在該呈現空間中定位觀看者。應理解，以此種方式，可識別在該呈現空間中之多個觀看者。同樣地，如412所示，觀看者追蹤資料也可被用以決定使用者在該呈現空間內面朝之方向。
此外，來自該頭戴式顯示器系統上之動作感測器的資料，可用以協助決定欲呈現給該觀看者的影像。例如在414所示，方法400可包含從在該頭戴式顯示器系統上之一或更多個動作感測器接收動作資料，並接著在416決定該頭戴式顯示器(因此還有該使用者的雙眼)的方位。
在某些實施例中，如418所示，可從在該頭戴式顯示器系統上之影像感測器接收眼球追蹤資料。此種資料可接著被用以決定該觀看者視線相對於該頭戴式顯示器系統的視軸所指向的方向，該視軸對應於該觀看者朝前直視，如420所示。
接著，根據該觀看者追蹤資料、方位資料及/或眼球追蹤資料，方法400在422包含根據該呈現空間至該影像資料之映射，決定位在該呈現空間中觀看者視野內的體積式影像資料之目前畫面中的部分及方位。接著在424，該視訊呈現計算裝置決定呈現影像，以傳送至該頭戴式顯示器系統而呈現，而在426傳送該影像。藉由針對體積式視訊資料的各畫面進行處理程序404至處理程序426，可如428所示呈現體積式視訊呈現至該觀看者。
在某些實施例中，也可為觀看者呈現例如互動式圖形化使用者介面，以允許控制視訊呈現。第5圖圖示流程圖，描繪呈現互動式圖形化使用者介面之方法500，而第6圖及第7圖圖示此種使用者介面的範例實施例。方法500包含在502偵測對於圖形化使用者介面的使用者請求，及在504傳送使用者介面影像至該頭戴式顯示器系統。使用者可以任何合適方式請求圖形化使用者介面。例如，參看第6圖，使用者藉由進行手勢，如以特定姿勢往前伸長手602，來請求使用者介面。回應於此，包含複數個例如按鈕606之可按元件的圖形化使用者介面604，被顯示於使用者伸手可及之處。應理解可呈現任何合適類型之使用者介面元件，包含但不限於可按下的、可拉起的、可平移的、可旋轉的等等元件。此外，應理解手602可代表透過該頭戴式顯示器系統可見的使用者之真正的手，或者可代表作為該使用者介面影像之部分而顯示給使用者的虛擬使用者(avatar)，該虛擬使 用者經配置以追蹤該使用者真正的手的動作。
方法500接著包含在506偵測使用者手勢與該使用者介面影像之互動。回應於此，方法500包含在508傳送圖示該使用者手勢之效果的經修改使用者介面影像，及在510進行該所請求動作。例如，參看第7圖，使用者藉由伸出手指按下按鈕606，來與該使用者介面影像互動。回應於此，該按鈕圖示為在被啟動狀態(例如相較於其他按鈕為按下，或者相較於其他按鈕具有任何其他合適的視覺差異方式)。
在某些實施例中，除了透過手勢之外或是取代之，使用者可透過語音命令與視訊呈現計算裝置112互動。因此，方法500包含在512接收音效輸入，並在該音效輸入中偵測語音命令，接著在514進行在該音效輸入中所請求的動作。該音效輸入可透過位在該頭戴式顯示器上的或是在該呈現空間中其他地方的麥克風接收。應進一步理解，使用者可以任何其他合適方式與該視訊呈現計算裝置互動。
應理解，在使用者介面互動期間，該視訊呈現可以各種方式顯示。例如，參看第6圖及第7圖，在使用者介面動作期間該視訊呈現圖示為暫停。在其他實例中，該視訊呈現可繼續，或可完全不顯示。
在此描述之視訊內容的呈現，因此相較現有之視訊內容呈現方法，可允許更身臨其境的體驗，且可允許各觀看者選擇自己較有興趣的視角。
在某些實施例中，以上所述之方法及處理程序可結合包含一或更多個電腦的計算系統，如視訊呈現計算裝置112。特定言之，在此描述之方法及處理程序可實施為電腦應用程式、電腦服務、電腦API、電腦函式庫及或其他電腦程式產品。
第8圖示意性圖示非設限計算系統800，該非設限計算系統可進行一或更多個以上所述之方法及處理程序。計算裝置800以簡化方式圖示。應理解，實質上任何電腦架構皆可使用，而未背離本揭示案之範疇。在不同實施例中，計算系統800可採用以下之形式，但不限於此：大型電腦、伺服器電腦、桌上型電腦、膝上型電腦、平板電腦、家庭娛樂電腦、網路計算裝置、行動計算裝置、行動通訊裝置、遊戲裝置等等。
計算系統800包含邏輯子系統802及資料保存子系統804。計算系統800可選擇性包括顯示器子系統806、通訊子系統808及/或其他第8圖中未圖示之組件。計算系統800亦可選擇性包括使用者輸入裝置，如鍵盤、滑鼠、遊戲控制器、攝影機、麥克風及/或觸控螢幕。
邏輯子系統802可包括經配置以執行一或更多個指令的一或更多個實體裝置。例如，邏輯子系統可經配置以執行一或更多個指令，該等指令係為一或更多個應用程式、服務、程式、常式、函式庫、物件、組件、資料結構或其他邏輯結構之部分。此種指令可經實施以進行工作、實施資料類型、轉換一或更多個裝置的狀態，不然 亦或產生所欲結果。
該邏輯子系統可包含一或更多個處理器，該一或更多個處理器經配置以執行軟體指令。額外地或取而代之地，該邏輯子系統可包含一或更多個硬體邏輯機器或韌體邏輯機器，該等邏輯機器經配置以執行硬體指令或韌體指令。該邏輯子系統之處理器可為單核心或多核心，且在該單核心或多核心上執行之該等程式可經配置以平行或分散處理。該邏輯子系統可選擇性包含分散於兩個或兩個以上裝置的個別組件，該等裝置可位於遠端及/或經配置以用於協調處理。該邏輯子系統的一或更多個態樣可虛擬化，並藉由遠端可存取之網路計算裝置所執行，該等網路計算裝置係以雲端計算配置而配置。
資料保存子系統804可包括一或更多個實體而非暫態裝置，該等裝置經配置以保存可由該邏輯子系統所執行之資料及/或指令，以實施在此所述之方法及處理程序。當此類方法及處理程序被實施，資料保存子系統804之狀態可被轉換(例如，保存不同資料)。
資料保存子系統804可包括可移除式媒體及/或內建裝置。資料保存子系統804可包括光學記憶體裝置(例如CD、DVD、HD-DVD、藍光光碟等等)、半導體記憶體裝置(例如RAM、EPROM、EEPROM等等)及/或磁性記憶體裝置(例如硬碟機、軟碟機、磁帶機、MRAM等等)，但不止於此。資料保存子系統804可包括具有一或更多個下列特性的裝置：揮發性、非揮發性、動態、 靜態、讀寫、唯讀、隨機存取、循序存取、位置可定址(location addressable)、檔案可定址(file addressable)及內容可定址(content addressable)。在某些實施例中，邏輯子系統802及資料保存子系統804可整合成為一或更多個共用裝置，如應用程式特定積體電路，或單晶片系統。
第8圖也以可移除式電腦可讀儲存媒體810的形式圖示該資料保存子系統的態樣，該可移除式電腦可讀儲存媒體可用於儲存及/或傳遞資料及/或可執行之指令，以實施本文所述之方法及處理程序。可移除式電腦可讀儲存媒體810可採取以下形式：CD、DVD、HD-DVD、藍光光碟、EEPROM及/或磁碟片，但不止於此。
應理解，資料保存子系統804包括一或更多個實體非暫態裝置。相反地，在某些實施例中，本文所述之該等指令之態樣可藉由單純的訊號(例如電磁訊號、光學訊號等等)而以暫態之形式傳播，該訊號至少有限期間內並未由實體裝置保存。此外，資料及/或相關於本揭示案之其他形式之資訊，可藉由單純訊號所傳播。
術語「模組」、「程式」、「引擎」可用於描述計算系統800之態樣，該計算系統經實施以進行一或更多個特定功能。在某些情況下，透過執行資料保存子系統804所保存之指令的邏輯子系統802，可實體化此種模組、程式或引擎。應理解，不同之模組、程式及/或引擎，可從相同之應用程式、服務、程式碼塊、物件、函式庫、常 式、API、函式等等而得以實體化。同樣地，相同模組、程式及/或引擎，可藉由不同之應用程式、服務、程式碼塊、物件、常式、API、函式等等而實體化。術語「模組」、「程式」、「引擎」係意謂涵蓋個別之可執行檔、資料檔、函式庫、驅動程式、指令碼、資料庫紀錄等等，或以上之群組。
當包含顯示器子系統806時，顯示器子系統806可用於呈現資料保存子系統804所保存之資料的視覺化表示法。當本文所述之方法及處理程序改變資料保存子系統804所保存之資料，且因此轉換該資料保存子系統的狀態時，顯示器子系統806的狀態可同時被轉換為視覺地表示底層資料中的改變。顯示器子系統806可包括實質上運用任何類型之科技的一或更多個顯示器裝置。此類顯示器裝置可與邏輯子系統802及/或資料保存子系統804結合而共用外殼，或者此種顯示器裝置可為週邊顯示器裝置，如上述之頭戴式顯示器系統。
當包含通訊子系統808時，通訊子系統808可經配置以在通訊上耦接計算裝置800及一或更多個其他計算裝置。通訊子系統808可包括相容於一或更多個不同通訊協定的有線及/或無線通訊裝置。舉例但非設限，該通訊子系統可經配置以透過無線電話網路、無線區域網路、有線區域網路、無線寬域網路、有線寬域網路等等來通訊。在某些實施例中，該通訊子系統可允許計算系統800透過如網際網路之網路，來傳送訊息至其他裝置及/或從 其他裝置接收訊息。
應理解，在此所述之配置及/或方法性質上係為例示，且該等特定實施例或範例不應被當作限制，因為無數變化皆為可行。在此所述之特定常式或方法，可代表任意數目之處理程序策略其中一或更多個。因此，在此所述之不同動作的進行可依所述之順序、依其他順序、平行進行，或在某些情況下省略。同樣地，上述之處理程序的順序可以改變。
本揭示案之所申請發明，包含在此所揭示之各種處理程序、系統及配置，及其他特徵、功能、動作及/或屬性以及任一或全部之均等物之所有新穎及非顯而易見的組合及子部分組合。
100‧‧‧觀看者
102‧‧‧呈現空間
104‧‧‧攝影機
106‧‧‧攝影機
110‧‧‧頭戴式顯示器系統
112‧‧‧視訊呈現計算裝置
200‧‧‧透通顯示器子系統
202‧‧‧鏡片
204‧‧‧影像感測器
206‧‧‧麥克風
207‧‧‧觀看環境麥克風
208‧‧‧動作感測器
210‧‧‧控制器
212‧‧‧邏輯子系統
214‧‧‧資料保存子系統
216‧‧‧通訊子系統
218‧‧‧喇叭
220‧‧‧音效輸出端
222‧‧‧內容來源1
224‧‧‧內容來源2
226‧‧‧內容來源n
228‧‧‧網路
300‧‧‧眼部追蹤影像感測器
400‧‧‧方法
402‧‧‧方塊
404‧‧‧方塊
408‧‧‧方塊
410‧‧‧方塊
412‧‧‧方塊
414‧‧‧方塊
416‧‧‧方塊
418‧‧‧方塊
420‧‧‧方塊
422‧‧‧方塊
424‧‧‧方塊
426‧‧‧方塊
428‧‧‧方塊
500‧‧‧方法
502‧‧‧方塊
504‧‧‧方塊
506‧‧‧方塊
508‧‧‧方塊
510‧‧‧方塊
512‧‧‧方塊
514‧‧‧方塊
602‧‧‧手
604‧‧‧圖形化使用者介面
606‧‧‧按鈕
800‧‧‧計算系統
802‧‧‧邏輯子系統
804‧‧‧資料保存子系統
806‧‧‧顯示器子系統
808‧‧‧通訊子系統
810‧‧‧可移除式電腦可讀取儲存媒體
t0‧‧‧時間
t1‧‧‧時間
t2‧‧‧時間
第1圖圖示觀看者在呈現空間中的示意圖，並也圖示按照本發明之實施例，在該呈現空間中視訊影像以觀看者之視角的函數被呈現給使用者。
第2圖圖示體積式視訊呈現系統之實施例的方塊圖。
第3圖圖示頭戴式顯示器系統的實施例。
第4圖圖示流程圖，描繪向觀看者呈現體積式視訊影像之方法的實施例。
第5圖圖示流程圖，描繪呈現互動式圖形化使用者介面之方法的實施例。
第6圖圖示互動式視覺介面的實施例，在接收使用者 互動之前的狀態。
第7圖圖示第6圖之使用者介面在接收使用者互動之後的狀態。
第8圖圖示計算裝置的示範實施例。
100‧‧‧觀看者
102‧‧‧呈現空間
104‧‧‧攝影機
106‧‧‧攝影機
110‧‧‧頭戴式顯示器系統
112‧‧‧視訊呈現計算裝置
t0‧‧‧時間
t2‧‧‧時間
t1‧‧‧時間

Claims (20)

  1. 一種計算裝置，該計算裝置包含：一邏輯子系統；以及一資料保存子系統，包含指令儲存於該資料保存子系統上，該等指令可藉由該邏輯子系統執行以：自一位置及方位感測系統，接收觀看者位置資料及觀看者方位資料，該位置及方位感測系統包含一或更多個動作感測器及一或更多個影像感測器，該一或更多個動作感測器位於一呈現空間中的一頭戴式顯示器系統上，該一或更多個影像感測器位於該呈現空間中但不位於該頭戴式顯示器系統上；從該觀看者位置資料及該觀看者方位資料，在該呈現空間中定位一觀看者，決定該觀看者在該呈現空間中面朝的一方向，且決定該頭戴式顯示器系統在該呈現空間中的一方位；根據該觀看者位置資料及該觀看者方位資料，藉由決定一體積式影像之一部分以及一方位，該體積式影像係映射至位在該觀看者之視野內的該呈現空間之一部分，以決定要傳送至該頭戴式顯示器系統的一呈現影像，該呈現影像對應於在該體積式影像中的一物件的一第一視角；傳送該呈現影像至該頭戴式顯示器系統；偵測在該觀看者位置資料及該觀看者方位資料中 的一改變；以及根據在該觀看者位置資料及該觀看者方位資料中所偵測的該改變，來決定要傳送至該頭戴式顯示器系統的一不同的呈現影像，該不同的呈現影像對應於在該體積式影像中的該物件的一不同的第二視角。
  2. 如請求項1所述之計算裝置，其中該等指令係進一步可執行以自該頭戴式顯示器系統上之一眼球追蹤影像感測器接收眼球追蹤資料，並進一步根據該眼球追蹤資料決定該呈現影像。
  3. 如請求項1所述之計算裝置，其中該等指令經進一步配置以接收該體積式影像之一輸入，而映射該體積式影像至該呈現空間。
  4. 如請求項1所述之計算裝置，其中該體積式影像資料包含自複數個角度所擷取之一場景的視訊影像資料。
  5. 如請求項1所述之計算裝置，其中該等指令係進一步可執行以自該觀看者方位資料偵測該頭戴式顯示器系統之翻滾(roll)、俯仰(pitch)及擺動(yaw)。
  6. 如請求項1所述之計算裝置，其中該等指令係進一步可執行以： 偵測請求一使用者介面之一使用者輸入；決定一使用者介面影像以傳送至該頭戴式顯示器系統以供顯示，該使用者介面影像包含一使用者介面元件；傳送該使用者介面影像至該頭戴式顯示器系統；偵測與該使用者介面影像互動之一使用者手勢；以及傳送一經修改使用者介面影像作為回應，該經修改使用者介面影像圖示該使用者手勢對該使用者介面影像之一效果。
  7. 如請求項6所述之計算裝置，其中該使用者介面元件包含一可按下及/或可拉起元件。
  8. 如請求項1所述之計算裝置，其中該等指令係進一步可執行以偵測在該呈現空間中之複數個觀看者，及根據在該呈現空間中各觀看者的一位置，決定欲傳送給該複數個觀看者之各者的不同影像。
  9. 如請求項1所述之計算裝置，其中該等指令係進一步可執行以接收一音效輸入，偵測在該音效輸入中之一語音命令，及回應於該音效輸入而進行一功能。
  10. 一種用於在一呈現空間中呈現體積式視訊影像內容的系統，該系統包含： 複數個影像擷取裝置，該複數個影像擷取裝置經配置以擷取該呈現空間的影像；一頭戴式顯示器系統，該頭戴式顯示器系統包含一或更多個動作感測器，該一或更多個動作感測器經配置以偵測沿著複數個軸線的傾角；以及一計算裝置，該計算裝置包含一邏輯子系統及一資料保存子系統，該資料保存子系統包含指令儲存於該資料保存子系統上，該等指令可藉由該邏輯子系統執行以供：接收體積式視訊影像資料的一輸入；映射該體積式視訊影像資料至該呈現空間；自該複數個影像擷取裝置，接收觀看者追蹤影像資料；自該觀看者追蹤影像資料，在該呈現空間中定位一觀看者，且決定在該呈現空間中該觀看者面朝的一方向；自該頭戴式顯示器系統接收方位資料；自該方位資料，決定在該呈現空間中該頭戴式顯示器系統的一方位；根據該觀看者追蹤影像資料及該觀看者方位資料，藉由決定該體積式視訊影像資料之一部分以及一方位，該體積式視訊影像資料係映射至位在該觀看者之視野內的該呈現空間之一部分，以決定要傳送至該頭戴式顯示器系統的一呈現影像；以及傳送該呈現影像至該頭戴式顯示器系統。
  11. 如請求項10所述之系統，其中該頭戴式顯示器系統包含一眼球追蹤感測器，且其中該計算裝置係經配置以自該頭戴式顯示器系統接收眼球追蹤資料，及進一步根據該眼球追蹤資料決定該呈現影像。
  12. 如請求項10所述之系統，其中該頭戴式顯示器系統包含一朝外頭戴式影像感測器，且其中該計算裝置係經配置以自該朝外頭戴式影像感測器接收影像資料，並根據來自該朝外頭戴式影像感測器的該影像資料以偵測一使用者手勢。
  13. 如請求項10所述之系統，其中該頭戴式顯示器系統包含一麥克風，且其中該計算裝置係經配置以自該麥克風接收音效資料，並在該音效資料中偵測一語音命令。
  14. 如請求項10所述之系統，其中該等指令係進一步可執行以：偵測請求一使用者介面之一使用者輸入；決定一使用者介面影像以傳送至該頭戴式顯示器系統供顯示，該使用者介面影像包含一使用者介面元件；傳送該使用者介面影像至該頭戴式顯示器系統；偵測與該使用者介面影像互動之一使用者手勢；以及傳送一經修改使用者介面影像作為回應，該經修改使 用者介面影像圖示該使用者手勢對該使用者介面影像之一效果。
  15. 一種呈現體積式視訊影像資料的方法，該方法包含以下步驟：接收該體積式視訊影像資料；映射該體積式視訊影像資料至一呈現空間；自複數個影像擷取裝置，接收觀看者追蹤資料；透過該觀看者追蹤影像資料，在該呈現空間中定位一觀看者，並決定該使用者在該呈現空間面朝的一方向；自一頭戴式顯示器系統上的一動作感測器接收方位資料；自該方位資料，決定在該呈現空間中該頭戴式顯示器系統的一方位；自該頭戴式顯示器系統上一影像感測器接收眼球追蹤資料；自該眼球追蹤資料，決定該觀看者之視線朝向的一方向；根據該觀看者追蹤影像資料、該觀看者方位資料及該眼球追蹤資料，藉由決定該體積式視訊影像之一部分及一方位，該體積式視訊影像係映射至位在該觀看者之視野內的該呈現空間部分，以決定要傳送至該頭戴式顯示器系統的一呈現影像；以及傳送該呈現影像至該頭戴式顯示器系統。
  16. 如請求項15所述之方法，進一步包含以下步驟：偵測顯示一使用者介面之一請求，且回應以傳送一使用者介面影像至該頭戴式顯示器系統。
  17. 如請求項16所述之方法，進一步包含以下步驟：偵測與該使用者介面影像互動之一使用者手勢，以傳送一經修改使用者介面影像作為回應，該經修改使用者介面影像圖示該使用者手勢對該使用者介面影像之一效果。
  18. 如請求項16所述之方法，其中顯示該使用者介面的該請求包含透過位在該頭戴式顯示器系統上之該影像感測器所偵測之一手勢。
  19. 如請求項15所述之方法，進一步包含以下步驟：接收一音效輸入，偵測在該音效輸入中之一語音命令，及回應於該音效輸入而進行一功能。
  20. 如請求項15所述之方法，進一步包含以下步驟：定位在該呈現空間中之複數個觀看者，根據在該呈現空間中各觀看者的一位置，決定欲傳送給該複數個觀看者之各者的不同影像，及傳送用於顯示之一相應影像至各觀看者。
TW101113630A 2011-06-17 2012-04-17 體積式視訊呈現 TWI571130B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/163,407 US8964008B2 (en) 2011-06-17 2011-06-17 Volumetric video presentation

Publications (2)

Publication Number Publication Date
TW201301892A TW201301892A (zh) 2013-01-01
TWI571130B true TWI571130B (zh) 2017-02-11

Family

ID=47353374

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101113630A TWI571130B (zh) 2011-06-17 2012-04-17 體積式視訊呈現

Country Status (7)

Country Link
US (1) US8964008B2 (zh)
EP (1) EP2721443A4 (zh)
JP (1) JP6223965B2 (zh)
KR (1) KR101925658B1 (zh)
CN (1) CN103608716B (zh)
TW (1) TWI571130B (zh)
WO (1) WO2012173998A2 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US20130083252A1 (en) * 2011-10-04 2013-04-04 David John Boyes Gesture recognition capable picture video frame
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
CN104020935A (zh) * 2013-02-28 2014-09-03 国际商业机器公司 用于控制显示屏上的显示对象的方法和装置
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
AU2014295814B2 (en) * 2013-07-23 2019-07-11 Ayvri Holdings Pty Ltd Geo-located activity visualisation, editing and sharing
KR102120764B1 (ko) 2013-09-16 2020-06-09 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
WO2015037784A1 (en) * 2013-09-16 2015-03-19 Lg Electronics Inc. Portable device and control method thereof
US9083860B2 (en) 2013-10-09 2015-07-14 Motorola Solutions, Inc. Method of and apparatus for automatically controlling operation of a user-mounted recording device based on user motion and event context
US9635424B2 (en) * 2014-07-18 2017-04-25 Sony Interactive Entertainment America Llc Virtual high definition video player
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN104216533B (zh) * 2014-08-28 2017-06-06 东华大学 一种基于DirectX9的头戴式虚拟现实显示器
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
TWI530821B (zh) * 2014-09-25 2016-04-21 中強光電股份有限公司 頭戴式顯示系統及其操作方法
KR102309281B1 (ko) 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
KR20160059765A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 전자 장치의 디스플레이 방법 및 장치
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US9721385B2 (en) 2015-02-10 2017-08-01 Dreamworks Animation Llc Generation of three-dimensional imagery from a two-dimensional image using a depth map
US9897806B2 (en) 2015-02-10 2018-02-20 Dreamworks Animation L.L.C. Generation of three-dimensional imagery to supplement existing content
US20160261908A1 (en) * 2015-03-05 2016-09-08 Htc Corporation Media streaming system and control method thereof
CN107439010B (zh) * 2015-05-27 2022-01-04 谷歌公司 流传输球形视频
KR20160139461A (ko) 2015-05-27 2016-12-07 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
EP3307407B1 (en) 2015-06-14 2020-09-09 Sony Interactive Entertainment Inc. Expanded field of view re-rendering for vr spectating
CN108702451A (zh) * 2016-02-17 2018-10-23 高途乐公司 用于呈现和观看球形视频片段的系统和方法
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
KR101916863B1 (ko) * 2016-06-13 2018-11-08 주식회사 네비웍스 가상현실게임제어장치 및 그 동작 방법
WO2018002882A1 (en) * 2016-06-30 2018-01-04 Nokia Technologies Oy Method and apparatus for rotation and switching of video content
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
JP7067481B2 (ja) * 2016-10-20 2022-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、およびコミュニケーションシステム
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
GB2561882A (en) * 2017-04-27 2018-10-31 Nokia Technologies Oy Virtual reality viewport adaption
US11093752B2 (en) * 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN108337573A (zh) * 2018-03-26 2018-07-27 京东方科技集团股份有限公司 一种赛事实时解说的实现方法和介质
WO2020012071A1 (en) * 2018-07-10 2020-01-16 Nokia Technologies Oy A method, an apparatus and a computer program product for volumetric video coding
US11089281B2 (en) 2018-11-27 2021-08-10 At&T Intellectual Property I, L.P. Volumetric video creation from user-generated content
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing
WO2020127226A1 (en) * 2018-12-21 2020-06-25 Koninklijke Kpn N.V. Streaming volumetric and non-volumetric video
WO2020153946A1 (en) 2019-01-22 2020-07-30 Hewlett-Packard Development Company, L.P. Mixed reality presentation
US11074697B2 (en) 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11012675B2 (en) 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US20230008125A1 (en) * 2019-12-16 2023-01-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Augmenting a view of a real-world environment with a view of a volumetric video object
US11330252B2 (en) * 2020-02-12 2022-05-10 At&T Intellectual Property I, L.P. Apparatus and method for providing content with multiplane image transcoding
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
JP2023159708A (ja) 2022-04-20 2023-11-01 キヤノン株式会社 撮像システムの制御装置および制御方法
US20240071007A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Multi-dimensional experience presentation using augmented reality
US20240073404A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Controlling and editing presentation of volumetric content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696892A (en) * 1992-07-10 1997-12-09 The Walt Disney Company Method and apparatus for providing animation in a three-dimensional computer generated virtual world using a succession of textures derived from temporally related source images
US20080261693A1 (en) * 2008-05-30 2008-10-23 Sony Computer Entertainment America Inc. Determination of controller three-dimensional location using image analysis and ultrasonic communication

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH10504115A (ja) * 1994-08-10 1998-04-14 ヴァーチャリティ （アイピー） リミテッド ヘッドマウントディスプレイ光学
US6608622B1 (en) * 1994-10-14 2003-08-19 Canon Kabushiki Kaisha Multi-viewpoint image processing method and apparatus
JPH08116556A (ja) * 1994-10-14 1996-05-07 Canon Inc 画像処理方法および装置
US6327381B1 (en) 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
KR19980023727U (ko) * 1996-10-31 1998-07-25 배순훈 지문인식을 이용한 자동차 도어 열림장치
KR20020025301A (ko) 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
JP2003244728A (ja) * 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
AU2003291304A1 (en) 2002-11-06 2004-06-03 Julius Lin Virtual workstation
US7352340B2 (en) 2002-12-20 2008-04-01 Global Imagination Display system having a three-dimensional convex display surface
US20050020910A1 (en) * 2003-04-30 2005-01-27 Henley Quadling Intra-oral imaging system
WO2005010623A2 (en) 2003-07-24 2005-02-03 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
US7814436B2 (en) * 2003-07-28 2010-10-12 Autodesk, Inc. 3D scene orientation indicator system with scene orientation change capability
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
CN1877390A (zh) * 2005-06-08 2006-12-13 大学光学科技股份有限公司 具有数字内容显示的焦距可调整的头戴式显示系统及用于实现该系统的装置
US7843449B2 (en) 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
WO2010062479A1 (en) 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696892A (en) * 1992-07-10 1997-12-09 The Walt Disney Company Method and apparatus for providing animation in a three-dimensional computer generated virtual world using a succession of textures derived from temporally related source images
US20080261693A1 (en) * 2008-05-30 2008-10-23 Sony Computer Entertainment America Inc. Determination of controller three-dimensional location using image analysis and ultrasonic communication

Also Published As

Publication number Publication date
CN103608716B (zh) 2016-03-30
EP2721443A2 (en) 2014-04-23
KR20140033144A (ko) 2014-03-17
US8964008B2 (en) 2015-02-24
JP6223965B2 (ja) 2017-11-01
WO2012173998A2 (en) 2012-12-20
KR101925658B1 (ko) 2019-02-27
EP2721443A4 (en) 2015-04-22
US20120320169A1 (en) 2012-12-20
JP2014525049A (ja) 2014-09-25
TW201301892A (zh) 2013-01-01
CN103608716A (zh) 2014-02-26
WO2012173998A3 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
TWI571130B (zh) 體積式視訊呈現
US11389726B2 (en) Second screen virtual window into VR environment
US10497175B2 (en) Augmented reality virtual monitor
US10078917B1 (en) Augmented reality simulation
US10671239B2 (en) Three dimensional digital content editing in virtual reality
US9024844B2 (en) Recognition of image on external display
RU2677593C2 (ru) Привлечение взгляда зрителей устройств отображения
US10048751B2 (en) Methods and systems for gaze-based control of virtual reality media content
JP6321150B2 (ja) 三次元ゲームプレイの共有
US20130141419A1 (en) Augmented reality with realistic occlusion
US11128984B1 (en) Content presentation and layering across multiple devices
CN109407821B (zh) 与虚拟现实视频的协作交互
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US9294670B2 (en) Lenticular image capture
US20150213784A1 (en) Motion-based lenticular image display
US20230400956A1 (en) Displaying Representations of Environments
EP3619617B1 (en) Methods, systems, and media for presenting media content previews
EP3553629B1 (en) Rendering a message within a volumetric data

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees