TWI831796B - 用於產生場景之影像的設備及方法 - Google Patents

用於產生場景之影像的設備及方法 Download PDF

Info

Publication number
TWI831796B
TWI831796B TW108121913A TW108121913A TWI831796B TW I831796 B TWI831796 B TW I831796B TW 108121913 A TW108121913 A TW 108121913A TW 108121913 A TW108121913 A TW 108121913A TW I831796 B TWI831796 B TW I831796B
Authority
TW
Taiwan
Prior art keywords
pose
anchor
viewer
gesture
posture
Prior art date
Application number
TW108121913A
Other languages
English (en)
Other versions
TW202016692A (zh
Inventor
克莉斯汀 維爾甘
派崔克 凡德沃爾
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202016692A publication Critical patent/TW202016692A/zh
Application granted granted Critical
Publication of TWI831796B publication Critical patent/TWI831796B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種設備包含一儲存器(209)，該儲存器儲存用於一場景之一組錨點姿勢，以及一般用於該場景之3D影像資料。一接收器(201)接收用於一觀看者的觀看者姿勢；及一演現姿勢處理器(203)針對觀看者姿勢之一目前觀看者姿勢來判定在該場景中的一演現姿勢，其中該演現姿勢係相對於一參考錨點姿勢判定。一擷取器(207)擷取用於該參考錨點姿勢的3D影像資料；及一合成器(205)回應於該3D影像資料而合成用於該演現姿勢之影像。一選擇器從該組錨點姿勢選擇該參考錨點姿勢，且經配置以回應於該等觀看者姿勢而使該參考錨點姿勢從該組錨點姿勢之第一錨點姿勢切換至該組錨點姿勢之第二錨點姿勢。

Description

用於產生場景之影像的設備及方法
本發明係關於一種用於產生一場景之影像的設備及方法，且具體而言，但非排他地，係關於產生用於存取一虛擬場景之一虛擬實境應用的影像。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及「環視」。
此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法係衆所周知，來自例如遊戲應用（諸如在第一人稱射擊遊戲類別中），用於電腦及主控台。
亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
一般而言，虛擬實境應用固有地受限於，虛擬實境應用係基於預定場景模型，且一般係基於虛擬世界的人工模型。若虛擬實境體驗可基於真實世界攝取而提供，則其將係所欲的。然而，在許多情況中，此類方法非常受限制或往往要求從真實世界攝取來建置真實世界的虛擬模型。然後，藉由評估此模型來產生虛擬實境體驗。
然而，目前的方法往往是次佳的，且往往經常具有高運算或通訊資源需求及/或提供例如降低品質或受限制自由度的次佳使用者體驗。
作為一應用之實例，虛擬實境眼鏡已問市。這些眼鏡允許觀看者體驗經攝取的360度（全景）或180度視訊。這些360度視訊經常使用攝影機承架來預攝取，其中個別影像經拼接在一起成為單一球面映圖。180或360視訊的常見立體模式係上/下(top/bottom)及左/右(left/right)。類似於非全景立體視訊，左眼及右眼圖片經壓縮作為單一H.264視訊串流的部分。在解碼單一圖框之後，觀看者轉動他/她的頭以觀看圍繞他/她的世界。一實例係一記錄片，其中觀看者可體驗360度環視效果，且可離散地在從不同位置所記錄的視訊串流之間切換。當切換時，另一視訊串流被載入，其會使體驗中斷。
立體全景視訊方法的一個缺點在於，觀看者無法改變在虛擬世界中的位置。除了全景立體視訊外，亦編碼與傳輸全景深度圖可允許在用戶端側補償觀看者的小平移運動，但此類補償將固有地受限於小的變化及移動，且無法提供身歷其境與自由虛擬實境體驗。
相關技術係自由視點視訊，其中編碼具有深度圖的多個視點，且在單一視訊串流中傳輸。除了熟知的時間預測方案，亦可藉由利用視點之間的角相依性而減少視訊串流的位元率。然而，該方法仍需要高位元率，且在可產生的影像方面受限制。實務上，該方法無法提供在三維虛擬實境世界中完全自由移動的體驗。
不幸地，先前技術皆無法實現理想體驗，但經常往往限制位置變化及觀看方向上的自由度。此外，該等技術往往需要非常高的資料速率且提供資料串流，該等資料串流包括比產生個別影像/視圖所需者更多的資料。
實際上，雖然虛擬實境服務及應用的數目及變化增加，但提供改善的使用者體驗仍係所欲的。具體而言，希望提供更靈活且直覺的使用者體驗。具體而言，希望應用不僅提供高品質視覺回應，而且亦希望使用者控制及輸入係直覺、自然、靈活、且容易使用。
因此，用於產生場景之影像（具體而言，用於虛擬實境體驗/應用）的改良方法將是有利的。具體而言，允許改善操作、增加靈活性、減小資料速率、促進散佈、降低複雜度、促進實施、降低儲存需求、增加影像品質、改善及/或促進使用者控制、改善虛擬實境體驗、及/或改善效能及/或操作的方法將是有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之一態樣，提供用於產生一場景之影像的設備，該設備包含：一儲存器，其用於儲存該場景之一組錨點姿勢；一接收器，其用於接收用於一觀看者的觀看者姿勢；一選擇器，其用於從該組錨點姿勢選擇一參考錨點姿勢；一演現姿勢處理器，其用於針對該等觀看者姿勢之一目前觀看者姿勢來判定在該場景中的一第一演現姿勢；一擷取器，其擷取用於該參考錨點姿勢的第一三維影像資料；一合成器，其用於回應於該第一三維影像資料而合成用於該演現姿勢之一影像；其中該選擇器經配置以回應於該等觀看者姿勢之一變化符合一準則，而使該參考錨點姿勢從該組錨點姿勢之一第一錨點姿勢切換至該組錨點姿勢之一第二錨點姿勢，且該演現姿勢處理器經配置以從觀看者姿勢對演現姿勢之一映射來判定該第一演現姿勢，其中該映射取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢。
本發明可回應於觀看者的觀看者姿勢而提供經改善及/或更實用的場景影像之產生。在許多實施例中，方法可提供高度適合用於靈活、有效率且高效能虛擬實境(Virtual Reality, VR)應用的影像資料。在許多實施例中，可允許或實現經改善的VR使用者體驗。在許多實例中，該方法可提供其中使用者可體驗小移動的自然視差、但仍能夠更大幅地變更視圖以例如環視周遭事物的使用者體驗。使用者可例如體驗大多數運動的自然視差，但當需要不同視點時，仍能夠瞬間移動至不同視點。進一步地，在許多實施例中，該方法可提供有利且直覺的使用者控制。例如，使用者能夠基於自然且簡單的頭部移動來控制不同的體驗及功能。
該方法可減少提供所欲的例如虛擬實境體驗所需的功能複雜度。例如，可基於僅非常少的攝影機攝取場景來提供靈活體驗。該方法可係高度有利於例如真實世界事件的廣播或傳輸，諸如運動事件的實況轉播時間傳輸或廣播。
所產生之影像可對應於頭部姿勢的視埠影像。可產生該等影像以形成一連續資料串流，且可例如係對應於視圖影像的立體圖框串流。
該場景可係一虛擬場景且可具體而言係一人工虛擬場景，或可係例如經攝取之真實世界場景、或擴增實境場景。觀看者姿勢可表示真實世界中觀看者的姿勢，且具體而言，可對應於觀看者的頭部姿勢，例如，諸如藉由VR頭戴裝置所偵測者。可以真實世界座標系統表示觀看者姿勢。可以場景座標系統表示演現姿勢及錨點姿勢。
在一些實施例中，觀看者姿勢、演現姿勢、及/或錨點姿勢可分別係觀看者位置、演現位置、及/或錨點位置。錨點姿勢可係用於其中可取得表示場景之三維影像資料的姿勢。具體而言，錨點姿勢可係攝取場景之姿勢（具體而言，攝取場景之實際或虛擬攝影機的姿勢）。
該選擇器經配置以若該等觀看者姿勢（一目前觀看者姿勢）符合一切換準則，則使該參考錨點姿勢從該組錨點姿勢之一第一錨點姿勢切換至該組錨點姿勢之一第二錨點姿勢。在一些實施例中，該選擇器可經配置以回應於該等觀看者姿勢之一變化符合一準則，而使該參考錨點姿勢從該組錨點姿勢之該第一錨點姿勢切換至該組錨點姿勢之該第二錨點姿勢。
所使用之特定準則將取決於個別實施例之特定需求及偏好以及欲達成的所欲效果。同樣地，該映射之性質以及此如何隨著錨點姿勢而變化將取決於個別實施例的特定需求與偏好以及欲達成的所欲效果。
在許多實施例中，該映射可僅考慮目前觀看者姿勢而不考慮任何其他觀看者姿勢，而該準則可包括對不是該目前觀看者姿勢的至少一觀看者姿勢的考慮（涉及至少一觀看者姿勢之需求）。一般而言，該映射可包括僅該目前觀看者姿勢，而用於切換該參考錨點姿勢的該準則可包括對過去觀看者姿勢的考慮。具體而言，該準則可包括用於選擇該參考錨點姿勢的遲滯。該錨點姿勢的該選擇可取決於該等觀看者姿勢的歷史記錄，而該映射可僅考慮該目前觀看者姿勢。
該映射可係一對一映射。當切換錨點姿勢時，該映射之該變化可在一些實施例中係瞬間的且可在其他實施例中係漸進的。在一些實施例中，不同錨點姿勢之相對映射可係使得對於不同參考錨點姿勢，觀看者姿勢之相對變化映射至演現姿勢之相同相對變化（即，在參考錨點姿勢之變化不存在的情況中）。
根據本發明之一可選特徵，該演現姿勢處理器經配置以：對於該第一錨點姿勢經選擇作為該參考錨點姿勢及對於該第二錨點姿勢經選擇作為該參考錨點姿勢，映射一觀看者姿勢值至不同演現姿勢值。
在許多實施例中，此可提供經改善體驗及/或效能。
根據本發明之一可選特徵，該映射包含取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢，應用一不同偏移至該演現姿勢。
在許多實施例中，此可提供特別有利的操作。在許多實施例中，可針對各錨點姿勢應用相同的相對/差異映射，且錨點姿勢之間的變化導致演現姿勢的姿勢偏移變化。
根據本發明之一可選特徵，演現姿勢處理器經配置以對於相同參考錨點姿勢而映射觀看者姿勢至演現姿勢，使得在一第一方向的該等觀看者姿勢之一變化被映射至在該第一方向的該等演現姿勢之一變化。
在許多實施例中，此可提供特別有利的操作。
根據本發明之一可選特徵，對於從該演現姿勢至該參考錨點姿勢的一距離不超過一臨限，該映射係一恆定線性映射。
在許多實施例中，此可提供特別有利的操作，且具體而言，可允許針對觀看者姿勢中之相對小變化的自然觀看體驗。
在一些實施例中，對於從該演現姿勢至該參考錨點姿勢的一距離不超過一臨限，該映射係一恆定線性映射。
根據本發明之一可選特徵，該線性映射具有不小於50%且不大於150%之縮放因子。
此提供經改善的體驗，且具體而言可提供自然體驗，但仍允許一些操作調適。在許多實施例中，縮放因子可係100%，導致具有自然視差的更自然體驗。縮放因子可反映觀看者姿勢之姿勢距離與對應（映射）演現姿勢中之姿勢距離之間的比率。
根據本發明之一可選特徵，該選擇器經配置以回應於偵測到一第一觀看者姿勢符合一準則而切換該參考錨點姿勢，該準則包含介於該第一觀看者姿勢與一參考觀看者姿勢之間的一第一距離超過一臨限的一需求。
此可提供有效率且直覺的體驗，但仍需要僅低複雜度。具體而言，該參考觀看者姿勢可係映射至該參考錨點姿勢的一姿勢。
根據本發明之一可選特徵，該選擇器經配置以取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢，而修改該參考觀看者姿勢。
在許多實施例中，此可提供經改善的體驗。具體而言，可允許對何時切換參考錨點姿勢的改善控制。例如，可允許一種其中對於觀看者姿勢的不同姿勢區域映射至不同參考錨點姿勢從而促進控制的方法。
根據本發明之一可選特徵，該第一距離取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢。
在許多實施例中，此可提供經改善效能。
根據本發明之一可選特徵，該第一距離係介於該第一觀看者姿勢之一位置與該參考觀看者姿勢之一位置之間的一距離，且該選擇器經配置以取決於介於該觀看者姿勢之一定向及一參考定向之間的一差異而調適該臨限。
此可提供經改善的體驗。具體而言在許多實施例中，可允許對使用者是否正在轉動其頭部或該使用者是否正在移動其頭部以環視例如前景物體的經改善調適及估計。
根據本發明之一可選特徵，該臨限依據該差異而單調地增加。
此可提供經改善的體驗。
根據本發明之一可選特徵，該選擇器經配置以回應於該等觀看者姿勢之一變化率而切換該參考錨點姿勢。
在許多情景中，此可對一使用者提供一經改善體驗。例如，針對該等觀看者姿勢之一定向的一增加變化率，可減少切換錨點姿勢所需的該臨限距離。
根據本發明的一可選之特徵，該擷取器進一步經配置以擷取用於該組錨點姿勢之一第二錨點姿勢的第二三維影像資料；且該合成器經配置以使用該第二三維資料來合成該影像；其中該第一三維資料具有高於該第二三維資料的一品質位準。
在許多應用中，此可允許改良的影像品質，而不會使資料速率非所欲地大幅增加。
根據本發明之一態樣，提供一種產生一場景之影像之方法，該方法包含：儲存用於該場景之一組錨點姿勢；接收用於一觀看者的觀看者姿勢；從該組錨點姿勢選擇一參考錨點姿勢；針對該等觀看者姿勢之一目前觀看者姿勢來判定在該場景中的一第一演現姿勢，該第一演現姿勢係相對於該參考錨點姿勢判定；擷取用於該參考錨點姿勢的第一三維影像資料；回應於該第一三維影像資料，合成用於該演現姿勢之一影像；其中該選擇包含回應於該等觀看者姿勢之一變化符合一準則，而使該參考錨點姿勢從該組錨點姿勢之一第一錨點姿勢切換至該組錨點姿勢之一第二錨點姿勢。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
允許使用者在一虛擬世界中四處移動的虛擬體驗已變得越來越流行，且正在開發服務以滿足此需求。然而，提供有效率的虛擬實境服務非常具挑戰性，尤其若體驗係基於攝取真實世界環境，而非基於完全虛擬地產生的人工世界。
在許多虛擬實境應用中，反映虛擬場景中之虛擬觀看者的姿勢而判定觀看者姿勢輸入。然後，虛擬實境設備/系統/應用產生對應於用於觀看者的對應於觀看者姿勢的虛擬場景之視圖及視埠的一或多個影像。
一般而言，虛擬實境應用產生呈用於左眼及右眼的分開視圖影像形式的三維輸出。然後，這些視圖影像可藉由合適手段（諸如一般而言，VR頭戴裝置之個別左眼顯示器及右眼顯示器）來呈現給使用者。在其他實施例中，一或多個視圖影像可例如呈現在一裸視立體(autostereoscopic)顯示器上，或實際上在一些實施例中，可僅產生單一二維影像（例如，使用習知二維顯示器）。
在不同應用中，可以不同方式判定觀看者姿勢輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之位置的（例如，視覺）識別符。
在一些系統中，可藉由手動方段來提供觀看者姿勢，例如，由使用者手動控制操縱桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一類比操縱桿而使虛擬觀看者在虛擬場景內四處移動，且以另一手來手動移動第二類比操縱桿而手動控制虛擬觀看者的觀看方向。
在一些應用中，可使用手動及自動化方法之組合來產生輸入觀看者姿勢。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。
影像之產生係基於虛擬世界/環境/場景的合適表示。在一些應用中，可提供場景的完整三維模型，且可藉由評估此模型來判定來自特定觀看者姿勢之場景的視圖。在其他系統中，可由對應於自不同攝取姿勢所攝取之視圖的影像資料來表示虛擬場景。例如，對於複數個攝取姿勢，全球形影像可與三維（深度資料）儲存在一起。在此類方法中，可藉由三維影像處理（具體而言，諸如使用視圖移位演算法）產生用於除攝取姿勢外的視圖之影像。在其中藉由經儲存用於離散視點/位置/姿勢的視圖資料來描述/參考場景的系統中，這些離散視點/位置/姿勢亦可稱為錨點視點/位置/姿勢。一般而言，當已藉由攝取來自不同點/位置/姿勢的影像來攝取真實世界環境，這些攝取點/位置/姿勢亦係錨點/位置/姿勢。
據此，典型的VR應用：針對目前觀看者姿勢之虛擬場景而以動態更新的影像來提供（至少）對應於視埠的影像，以反映觀看者姿勢之變化；及以基於表示虛擬場景/環境/世界的資料所產生的影像來提供對應於視埠的影像。
在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、相機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別性質。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。
許多VR應用係基於具有最大自由度（即，位置及定向之各者的三個自由度導致總共六個自由度）的姿勢。因此姿勢可藉由代表六個自由度的一組六個值或六個值的向量表示，且因此姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。
基於提供最大自由度給觀看者之系統或實體一般稱為具有6個自由度(6DoF)。許多系統及實體僅提供定向或位置，且這些系統及實體一般已知為具有3個自由度(3DoF)。
在一些系統中，可藉由例如獨立裝置（其不使用任何遠端VR資料或處理，或甚至具有對任何遠端VR資料或處理的任何存取）來本端提供VR應用給觀看者。例如，諸如遊戲主控台之裝置可包含：儲存器，其用於儲存場景資料；輸入，其用於接收/產生觀看者姿勢；及處理器，其用於從場景資料產生對應的影像。
在其他系統中，可在觀看者的遠端處實施及執行VR應用。例如，在使用者本端處的裝置可偵測/接收經傳輸至遠端裝置的移動/姿勢資料，該遠端裝置處理該資料以產生觀看者姿勢。然後，該遠端裝置可基於描述場景資料的場景資料來產生觀看者姿勢的合適視圖影像。然後，該等觀看影像被傳輸至在觀看者本端處的裝置，在該裝置處呈現該等觀看影像。例如，該遠端裝置可直接產生直接由該本端裝置呈現的視訊串流（一般為立體/3D視訊串流）。因此，在此類實例中，該本端裝置可不執行任何VR處理，惟傳輸移動資料及呈現所接收視訊資料除外。
在許多系統中，功能性可跨本端裝置及遠端裝置分佈。例如，本端裝置可處理所接收之輸入及感測器資料，以產生連續地傳輸至遠端VR裝置的觀看者姿勢。然後，該遠端VR裝置可產生對應的視圖影像且傳輸這些影像至本端裝置以供呈現。在其他系統中，該遠端VR裝置可不直接產生視圖影像，但可選擇相關場景資料且傳輸此場景資料至本端裝置，然後，可產生所呈現之視圖影像。例如，遠端VR裝置可識別最接近的攝取點，且提取對應的場景資料（例如，從攝取點提取球面影像及深度資料）且傳輸此場景資料至本端裝置。然後，本端裝置可處理所接收場景資料以產生用於特定目前觀看姿勢的影像。
圖1繪示其中遠端VR伺服器103與用戶端VR裝置101例如經由網路105（諸如網際網路）聯絡的VR系統的此類實例。遠端VR伺服器103可經配置以同時支援潛在大量用戶端VR裝置101。
在許多情景中，此類方法可提供例如介於不同裝置的複雜度與資源需求、通訊需求等之間改善的權衡。例如，可依較大間隔傳輸觀看者姿勢及對應場景資料，其中本端裝置本端地處理觀看者姿勢及所接收場景資料，以提供即時低延遲體驗。此可例如實質上減少所需的通訊頻寬，同時提供低延遲體驗，且同時允許集中儲存、產生、及維持場景資料。例如，適用於其中VR體驗提供給複數個遠端裝置的應用。
圖2繪示根據本發明之一些實施例之用於回應於觀看者姿勢而產生虛擬場景之影像的設備。具體而言，方法可適用於其中例如針對由相對低數目個攝取裝置（一般係3D攝影機）攝取之實況轉播事件提供虛擬實境體驗的實施例。
作為一闡明與說明性實例，可考慮一種應用，其中藉由少數個空間偏移之3D攝影機（例如，立體攝影機或測距攝影機，其可提供影像及相關聯的深度圖，或實際上，提供立體影像及相關聯的3D圖）來攝取運動事件（諸如籃球比賽）。例如，該事件可由排成一行且在攝影機之間具有例如50 cm之距離的三個3D攝影機攝取。該等攝影機可例如經定位而對應於在籃球比賽之第一排上的三個連續座位。
在此類情況中，可例如使用圖2之設備來提供給予使用者感覺實際坐在第一排的使用者體驗。可例如支援使用者環視且具有調適於頭部移動的視圖。如將描述，方法亦可允許使用者更多地改變其視點，以便例如環視物體。
具體而言，在此實例中，該設備可提供VR體驗，其提供觀看者有限量的運動自由度，使得就座的觀看者可稍許移動其頭部，且看見視點的相對應小變化（視差移位）。為了增加身歷其境位準，該方法可支援觀看者而能夠繞過遮擋的前景物體觀看。舉例來說，在籃球比賽期間，可支援觀看者能夠繞過遮擋球或重要動作的球員觀看，或者，在網球比賽期間，可允許使用者繞過網球球員觀看以看見球的路徑。
圖2之設備包含接收器201，該接收器經配置以接收觀看者的觀看者姿勢。該設備可產生對應於觀看姿勢的一或多個視圖影像。
在一些實施例中，接收器201可直接接收例如來自VR頭戴裝置或來自內部處理器的定義觀看姿勢之觀看姿勢資料，該內部處理器經配置以基於感測器輸入資料來判定及計算觀看姿勢。例如，該設備可包含一感測器輸入處理器（未圖示），該感測器輸入處理器經配置以接收來自感測器的資料，該等感測器偵測觀看者或與觀看者相關之設備的移動。感測器輸入經特別配置以接收指示觀看者之頭部姿勢的資料。回應於感測器輸入，感測器輸入處理器經配置以判定/估計觀看者的目前頭部姿勢，如將為所屬技術領域中具有通常知識者所熟知。例如，基於加速度、陀螺儀、及來自頭戴裝置之攝影機感測器資料，感測器輸入處理器可估計且追蹤頭戴裝置（且因此觀看者之頭部）之位置及定向。替代地或額外地，攝影機可例如用以攝取正在觀看的環境，且來自攝影機的影像可用來估計及追蹤觀看者之頭部位置及定向。下列描述將聚焦於其中以六個自由度來判定頭部姿勢的實施例，但將理解，在其他實施例中，可考慮較少自由度。然後，感測器輸入處理器201可將頭部姿勢饋送至接收器201以用作為觀看者姿勢。
接收器耦接至一演現姿勢處理器203，該演現姿勢處理器經配置以從觀看者姿勢產生演現姿勢。觀看者姿勢反映在真實世界中的使用者姿勢，且具體而言，可經提供作為反映真實世界座標參考的一組向量參數值。具體而言，觀看姿勢可指示使用者頭部在真實世界中之位置變化。
產生演現姿勢以指觀看姿勢，且具體而言，在虛擬場景中的視點及觀看方向。具體而言，演現姿勢指示在虛擬場景之座標系統中的姿勢。演現姿勢反映在虛擬場景/世界中待產生其視圖影像的所欲姿勢。因此，由演現姿勢反映演現視圖影像的所欲基礎姿勢。具體而言，演現姿勢可經提供作為反映虛擬場景/世界座標參考的一組向量參數值。
具體而言，演現姿勢處理器203可映射觀看者姿勢至演現姿勢，且因此具體而言，可映射在真實世界參考/座標系統中的頭部/觀看者姿勢至在虛擬場景/世界參考/座標系統中的演現姿勢。據此，演現姿勢處理器203可以觀看者運動為基礎而判定對應於觀看者之虛擬觀看姿勢的虛擬場景中之對應演現姿勢。演現姿勢處理器203可經配置以執行從目前觀看者姿勢至演現姿勢的映射，其獨立於除目前觀看者姿勢外的所有其他觀看者姿勢（且具體而言，獨立於過去及未來觀看者姿勢）。
演現姿勢處理器203耦接至一影像合成器205，該影像合成器經配置以合成用於演現姿勢的影像。具體而言，影像合成器205可針對給定演現姿勢產生對應於虛擬場景中之視埠的視圖影像。具體而言，視圖影像可係對應於左眼視埠及右眼視埠的立體影像。因此，被例如以VR頭戴裝置呈現這些影像的使用者，將被提供視圖，該等視圖係在虛擬世界中定位在由演現姿勢所給定的位置及定向的觀看者將體驗者。
演現姿勢處理器203經配置以基於描述場景之三維(3D)影像資料來產生影像。該3D影像資料係由擷取器207擷取。在一些實施例中，擷取器207可經配置以從一內部來源擷取適當的3D影像資料。
例如，包括所有三個攝影機饋送的籃球比賽記錄可在Blu-ray™ 光碟上提供，或可例如接著下載後儲存在本端記憶體中。然後，擷取器207可擷取用於例如中心攝影機的3D影像資料串流且饋送此給影像合成器205，該影像合成器可產生用於目前演現姿勢的適當視圖影像。
在其他實施例中，擷取器207可經配置以從遠端源擷取3D影像資料。例如，遠端源可針對實況轉播事件即時地廣播攝影機饋送，且擷取器207可包含一接收器，該接收器經配置以接收該等串流且饋送合適串流至影像合成器205，然後，該影像合成器可處理這些串流以產生適當的視圖影像。
在又其他實施例中，可回應於來自用戶端的明確請求而由遠端伺服器（諸如圖1的遠端VR伺服器103）來提供3D影像資料。在此類實施例中，擷取器207可在例如週期性時間產生對3D影像資料的請求及將此等請求傳輸至伺服器，該伺服器將提供所請求的3D影像資料。在許多實施例中，可使用更靈活的方法，其中請求係針對待提供的資料串流，然後，持續提供所請求串流，直到傳輸新請求。例如，繼請求之後，來自一個攝影機的資料串流形式的3D影像資料可連續地從伺服器提供至擷取器207，直到傳輸例如對伺服器的新請求，而非提供來自不同攝影機的資料串流。
應理解，所提供之特定3D影像資料及由影像合成器205用以產生影像所使用的特定演算法將取決於個別實施例的偏好及需求。實際上，已知許多用於基於3D影像資料來產生用於特定演現姿勢的視圖影像的許多不同方法，且可使用任何合適的方法而不減損本發明。
例如，在許多實施例中，可以針對攝影機之位置（即，針對攝取位置）的立體影像或影像+深度形式提供3D影像資料。然後，影像合成器205可使用此資料執行視圖合成，以使用習知視圖移位演算法來產生用於目前演現姿勢之特定視埠的視圖影像，如將為所屬技術領域中具有通常知識者所熟知。
在一些實施例中，可以立體影像的形式提供3D影像資料，其中各立體影像（即，針對左及右眼兩者的立體影像）可進一步與一深度圖相關聯。
在圖2之設備中，演現姿勢之產生及3D影像資料之擷取不僅基於觀看者姿勢或觀看者的移動，且亦進一步考慮場景中的錨點，且具體而言，取決於場景的目前所選擇之參考錨點姿勢。
該設備包含一錨點姿勢儲存器209，該錨點姿勢儲存器儲存一組錨點姿勢。各錨點姿勢可由定向及位置兩者表示，或在一些實施例中，可例如由僅一定向或僅一位置表示。進一步地，針對各錨點姿勢所定義之參數數目可取決於個別實施例，且一般取決於攝取姿勢的自由度。例如，針對籃球比賽實例，該三個立體攝影機可具有朝向籃球場的固定定向，且已知處於具有已知方向的直線。據此，在此實例中，各（立體）攝影機的錨點姿勢可由單一位置座標（在下文中稱為x座標）表示。
一般而言，錨點姿勢可對應於在可取得3D影像資料之場景內的姿勢。因此，該場景可由用於複數個錨點姿勢的3D影像資料來表示，且錨點姿勢儲存器209中儲存的該組錨點姿勢可包含這些錨點姿勢的至少兩者。在許多實施例中，錨點姿勢可對應於攝影機姿勢或針對場景之攝取姿勢（包括可能的虛擬攝影機/攝取姿勢）。
該設備包含一選擇器211，該選擇器耦接至接收器201及錨點姿勢儲存器209。選擇器211經配置以從該組參考姿勢選擇一參考錨點姿勢，且將此選擇饋送至演現姿勢處理器203。然後，演現姿勢處理器203相對於此演現姿勢來判定演現姿勢，使得演現姿勢取決於目前選擇之參考錨點姿勢及觀看者姿勢兩者。因此，演現姿勢將取決於如在觀看者姿勢中所反映的觀看者之移動以及對參考錨點姿勢的選擇兩者。參考錨點姿勢的變化將引起演現姿勢的變化，且實際上，對於被選擇作為參考錨點姿勢的不同錨點姿勢，相同觀看者姿勢的演現姿勢可不同。
參考錨點姿勢的選擇係基於觀看者姿勢，且具體而言，選擇器211經配置以回應於該等觀看者姿勢（且具體而言，若該等觀看者姿勢符合一準則）而使該參考錨點姿勢從該組錨點姿勢之第一錨點姿勢切換至該組錨點姿勢之第二錨點姿勢。該準則可取決於/包括考慮除目前觀看者姿勢外的其他觀看者姿勢，且具體而言，可取決於先前觀看者姿勢，直接藉由考慮其他觀看者姿勢或藉由考慮目前或先前選擇之參考錨點姿勢（其已基於先前觀看者姿勢而選擇）。
因此，若選擇器211目前已選擇第一錨點姿勢作為參考錨點姿勢，則其可連續地監測觀看者姿勢。若偵測到觀看者姿勢符合給定選擇準則（一般可考慮目前錨點姿勢或先前觀看者姿勢），則選擇器211可使參考錨點姿勢的選擇從第一錨點姿勢改變成第二錨點姿勢。
方法可藉由對應於先前提及之特定實例的應用來說明，其中三個立體攝影機正在攝取籃球比賽，其中該等攝影機經定位成一行且具有50 cm之間距。在此類實施例中，圍繞標稱居中定位之立體對的小移動可直接映射至虛擬世界中的對應移動。例如，使用者最初可處於由給定觀看者姿勢表示之標準/標稱位置中。該設備可初始地選擇參考錨點姿勢為中心立體攝影機的參考錨點姿勢，及目前觀看者姿勢可映射至此參考錨點姿勢。因此，該設備將針對此觀看者姿勢產生對應於位在場景中之中央立體攝影機之位置處的觀看者之視圖影像。
對於小移動，該設備可產生演現姿勢以遵循觀看者姿勢，使得在虛擬世界中觀看者的移動（如由演現姿勢所表示）遵循真實世界中觀看者的移動（如由觀看者姿勢所表示）。此可導致完整的自然體驗，其中所得的視差遵循頭部移動，且將自然體驗提供給使用者。
然而，若使用者平移（使其頭部在x方向側向移動）超過一特定量（即，5 cm），則選擇器211可偵測到觀看者姿勢已改變超過一給定臨限，且其可改變所選擇之參考錨點姿勢。例如，若使用者使頭部向左移動達多於一給定量，則選擇器211可將參考錨點姿勢從對應於中心攝影機的錨點姿勢切換成對應於左攝影機的錨點姿勢。此參考錨點姿勢變化被饋送至演現姿勢處理器203，該演現姿勢處理器繼續進行以判定演現姿勢現在處於左立體攝影機右方例如5 cm的位置處。若使用者持續向左移動，使用者將遵循移動且提供相關於左立體攝影機位置的正確視差。
因此，使用者將體驗一種情況，其中只要移動保持相對小，使用者可以針對各位置的正確視差而從三個不同位置觀看籃球比賽。此外，使用者可使用較大的頭部移動以在不同視點之間切換，其中大幅頭部移動有效地引起從一個視點虛擬瞬間移動至另一視點，諸如具體而言從一個攝影機位置至其他攝影機位置。
可藉由圖3繪示方法，圖中展示在虛擬世界中的三個攝影機/攝取/錨點位置301，其中位置彼此相距50 cm。圖式進一步展示在真實世界中之頭部位置的三個10 cm間隔303。該三個間隔303係藉由操作該設備以映射至錨點位置301附近的三個10 cm間隔，其中間隔的中點映射至錨點位置。因此，在該實例中，在30 cm間隔內的使用者側向運動被映射至在三個相異間隔中的虛擬移動，其中間隔內之移動直接對應於彼此，從而提供正確視差，且在真實世界間隔之間的變轉導致虛擬世界中不同的離散間隔之間的瞬間移動。
亦可藉由圖4繪示該實例，圖中展示從觀看者姿勢所表示的觀看者移動/位置至由演現姿勢所表示的虛擬移動/位置的所得映射。在實例中，藉由將標稱觀看者位置之左側0至5 cm內之位置1:1映射至相距於中心錨點位置之左側0至5 cm內之位置，且將標稱觀看者位置之左側5至10 cm內之位置1:1映射至左錨點位置之右側0至5 cm內之位置，來將真實世界/觀看者姿勢座標系統中的x位置映射至虛擬世界/演現姿勢座標系統中的x位置。因此，在觀看者姿勢座標系統中的[0; 0.05]之間隔401被線性映射至在演現姿勢座標系統中的間隔[0; 0.05]；及在觀看者姿勢座標系統中的[0.05; 0.1]之間隔403被線性映射至在演現姿勢座標系統中的間隔[0.45; 0.5]。據此，在虛擬場景中有未使用且無觀看者位置映射至其的[0.05; 0.45]之間隔405。
因此，不僅考慮觀看者姿勢且亦考慮錨點姿勢的組合方法提供增強效果，經發現在許多實施例中係非常所欲的。具體而言，對於小移動，使用者將體驗真實的運動視差，但對於較高的移動，使用者將瞬間移動至不同的位置/姿勢。此可提供其中在大部分時間體驗自然視差的效果，同時仍允許使用者藉由變更其位置而例如繞過前景物體觀看。進一步，瞬間移動效果及自然視差移動兩者隨使用者移動而變化，且因此提供一種直覺且使用者友善的控制。此外，該方法可確保高品質，此係因為可產生用於相對接近可取得3D影像資料之錨點姿勢的演現姿勢之視圖影像。可避免或至少顯著減少從許多系統已知的顯著位置相依的影像劣化。
作為一實例，所感知效果可係當使用者正常坐在椅中時，使用者將能夠例如以自然視差體驗圍繞中心位置的小視點變化。當觀看者需要繞物體右方觀看時，觀看者可使其頭部進一步向右移動。此刻，觀看者的運動將係誇張的，且觀看者將會快速地瞬間移動至其即將停頓的在其右側的新虛擬觀看位置。快速地瞬間移動與視圖融合的組合將隱藏視圖內插假影。
所述方法的另一優點在於可僅以少數個攝取位置/攝影機來提供非常所欲且靈活體驗。實際上，提供觀看者更多運動自由度的問題是，其立即轉化成對3D場景資訊之處理的較高需求及/或對用於攝取/表示場景之攝影機數目的更高需求。該方法可避免需要大量攝影機的需求，該等攝影機甚至可提供否則不能履行的應用。對攝影機饋送/攝取點資料的減少需求亦實質上有助於編碼、傳輸、及演現。
該方法的關鍵特徵在於，系統不是僅係關於產生對應於目前觀看者姿勢的影像，而是取決於所選擇錨點姿勢，此觀看者姿勢被映射至演現姿勢。目前演現姿勢的判定係藉由應用對目前觀看者姿勢的映射。然而，該映射不是恆定映射，而是取決於所選擇之錨點姿勢。取決於觀看者姿勢，系統選擇一錨點姿勢，且基於用於此錨點姿勢所提供的3D影像資料而產生用於演現姿勢之影像。進一步，所選擇之錨點姿勢的變化亦導致映射變化，即，映射取決於所選擇之錨點姿勢。因此，取決於選擇哪個錨點姿勢，相同觀看者姿勢可導致不同的演現姿勢。演現姿勢取決於目前觀看者姿勢及所選擇之錨點姿勢（其再次亦取決於觀看者姿勢）兩者。
此方法允許取決於個別錨點姿勢之映射的特定選擇及切換錨點姿勢的準則而達成的效果範圍。亦應注意，該具體方法不同於簡單地提供對觀看者姿勢的更複雜映射以判定演現姿勢。而是，映射的選擇及調適與用於產生用於演現位置之影像的影像資料緊密相關。該方法可例如提供一效果，其中演現姿勢密切釘至一個錨點姿勢（具有高品質），直到其移動足夠遠而跳至另一演現姿勢（此後，該演現姿勢釘至此新姿勢）。然而，當然，許多其他效果及應用係可行的，且可藉由選擇欲應用的映射及用於切換錨點姿勢的準則，來針對特定應用設計這些效果及應用。然而，所有效果及應用的共同點在於，映射不僅取決於觀看者姿勢，且亦取決於目前用於提供用於合成的3D影像資料的錨點姿勢。
所使用之特定映射及用於選擇錨點的準則將取決於個別實施例及應用的特定需求而選擇，且應理解，可使用無限數目種演算法、映射、準則及效果。該方法可允許更靈活的方法，其中具體地在許多實施例中，可達成朝向（或實際上遠離，若需要）錨點姿勢的偏向。該方法可調適於目前錨點姿勢組態且可提供用於一系列錨點姿勢組態的有利效能。
該方法的一特殊優點在於，其可提供一致的高影像品質。具體而言，該方法可限制視點成為非常接近針對其提供3D影像資料的錨點姿勢。因此，雖然例如視圖移位可用以從其3D影像資料不包括明確資料的視點產生影像，但是所需的視圖移位一般係小的，且因此可經執行而無高劣化。實際上，對於大部分時間，觀看者可從錨點位置觀看場景，且因此可不需要視圖移位。例如，若3D影像資料係呈用於攝取姿勢之立體影像的形式，則可直接呈現這些影像，而無由任何3D處理造成的任何劣化。
在許多實施例中，因此，演現姿勢處理器203經配置以從觀看者姿勢至演現姿勢的映射來判定演現姿勢，其中該映射取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢。
已關於圖3及圖4來描述觀看者姿勢與演現姿勢之間的例示性映射，其中該演現姿勢經判定為觀看者位置加上取決於所選擇錨點姿勢的偏移。在這些實例中，觀看者姿勢與演現姿勢之間的映射係具有一對一對應（對射函數）的一對一映射，其中錨點姿勢之變化係用以引入輸出範圍中的間隙。在該實例中，該映射包含取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢，應用不同偏移至該演現姿勢。具體而言，對於圖3的實例，若選擇中心錨點姿勢，則應用零偏移，若選擇左方錨點姿勢，則應用-40 cm的偏移，且若選擇右方錨點姿勢，則應用+40 cm的偏移（假設攝影機之間的距離係50 cm，且x方向係從左至右，即，增加的正值指示進一步向右的位置）。
在其他實施例中，可使用其他映射。實際上，可應用任何合適的映射及錨點姿勢相依性，其中特定映射經選擇以提供所欲效果，例如，諸如朝向及/或遠離錨點姿勢的所欲偏向。在許多映射中，取決於所選擇之錨點姿勢（對於至少一些觀看者姿勢），相同觀看者姿勢可映射至不同位置。圖5中繪示此的實例，該實例亦基於演現姿勢處理器203取決於哪個錨點姿勢經選擇作為該參考錨點姿勢而應用不同偏移，以判定演現姿勢。該實例對應於圖3的實例，惟偏移不同、且錨點姿勢之間的選擇不再僅取決於觀看者姿勢、而是亦取決於哪個錨點姿勢目前經選擇作為該參考錨點姿勢除外。
在此實例中，對於中心錨點姿勢被選擇，則偏移仍係零，但是若選擇左錨點姿勢，則偏移係-43 cm，且若選擇右方錨點姿勢，則偏移係+43 cm。
從中心錨點姿勢切換至左錨點姿勢的臨限仍是-5 cm，且從中心錨點姿勢切換至右錨點姿勢的臨限仍是+5 cm。然而，從左錨點姿勢切換至中心錨點姿勢的臨限現在是-2 cm，且從右錨點姿勢切換至中心錨點姿勢的臨限現在是+2 cm。
在此情況中，取決於哪個錨點姿勢目前/先前經選擇作為該參考錨點姿勢，針對在-5 cm至-2 cm範圍中及+2 cm至+5 cm範圍中的觀看者姿勢判定演現姿勢。若選擇左錨點姿勢，則[-0.05;-0.02]的範圍映射至[-0.48;-0.45]，且若選擇中心錨點姿勢，則映射至[-0.05;-0.02]。類似地，若選擇右錨點姿勢，則[0.02;0.05]的範圍映射至[0.45;0.48]，且若選擇中心錨點姿勢，則映射至[0.02;0.05]。進一步，只要觀看者姿勢不超過這些範圍，不會發生參考錨點姿勢變化。
此類方法經常可提供具有較少視圖移位/瞬間移動的更穩定體驗。此類方法可引入提供使用者之經改善體驗的遲滯效果。
在許多實施例中，包括所描述的實例，演現姿勢處理器203經配置以針對相同參考錨點姿勢而單調地映射觀看者姿勢至演現姿勢。因此，只要未發生參考錨點姿勢變化，觀看者姿勢映射至演現姿勢，使得觀看者在給定方向的移動映射至相同方向上的演現姿勢變化/移動。
進一步，在許多實施例中，對於從演現姿勢至參考錨點姿勢的距離不超過臨限，映射係恆定線性映射。因此，在許多實施例中，經應用而導致其至參考錨點姿勢的距離不超過臨限的演現姿勢的映射係線性映射。在一些實施例中，導致其至參考錨點姿勢的距離超過臨限的姿勢的映射亦係線性映射（且整個映射可係線性映射），但是在許多實施例中，可包括非線性元素，諸如步進函數。恆定映射可係非時變的。在許多實施例中，在具有恆定映射因數的意義上，線性映射可係恆定的。
映射函數可係一對一函數，具體而言，介於從觀看者姿勢至對應於參考錨點姿勢之觀看者參考姿勢的距離與從演現姿勢至參考錨點姿勢的距離之間。映射函數可係單調函數，具體而言，介於從觀看者姿勢至對應於參考錨點姿勢之觀看者參考姿勢的距離與從演現姿勢至參考錨點姿勢的距離之間。在此類實施例中，其至參考錨點姿勢的距離不超過臨限的演現姿勢之範圍/設定可係其至觀看者錨點姿勢的距離不超過第二臨限的觀看者姿勢之範圍/設定的映射。
因此，對於演現姿勢與參考錨點姿勢之間的差異足夠低，映射係線性，使得在觀看者姿勢域中（具體而言，在真實世界中）的相同相對移動導致虛擬域中的相同相對移動，而不管觀看者的絕對位置。此可提供更逼真體驗給使用者，此係因為其對應於真實觀眾將體驗到的體驗。
在許多情況中，針對給定參考錨點姿勢的所有可能位置，可提供線性映射。例如，在圖3至圖5之實例中，在對應於一個錨點姿勢的觀看者姿勢間隔中之一給定位置間隔的整個範圍係線性映射至一演現姿勢間隔。然而，將理解，在一些實施例中，可針對接近錨點姿勢的位置範圍來執行線性映射，而不同的例如非線性映射可應用至距錨點姿勢較遠的位置。此可例如提供朝向間隔端部的增加位置改變的效果，從而給予使用者瞬間移動動作方法的指示。
在許多實施例中，線性映射可具有不小於50%且不大於150%之縮放因子。因此，在此類實施例中，觀看者姿勢在給定方向的相對位置變化可導致不小於原始變化之50%且不大於150%的演現姿勢之相對變化。此可提供其中所感知移動非常密切地對應於實際移動的效果，從而提供自然效果。在許多實施例中，縮放因子可確切地設定為100%（如同圖3至圖5之實例中）以提供對應於其已由實際觀看者所體驗的體驗。然而，在一些實施例中，可視為有利於使移動削弱或誇張以提供增強效果。
如前文所描述，在許多實施例中，選擇器211可經配置以回應於偵測到觀看者姿勢偏離標稱位置達一給定量而切換參考錨點姿勢至不同錨點姿勢。
因此，在一些實施例中，選擇器211可經配置以回應於偵測到目前觀看者姿勢符合一準則而切換參考錨點姿勢至不同錨點姿勢，該準則包含介於觀看者姿勢與參考觀看者姿勢之間的一距離超過臨限的需求，或確實由介於觀看者姿勢與參考觀看者姿勢之間的一距離超過臨限的需求所組成。參考觀看者姿勢可係標稱觀看者姿勢，在一些實施例中，標稱觀看者姿勢可係固定的預定姿勢。例如，在圖3中，若觀看者姿勢指示在一標稱位置305之5 cm內之位置，則選擇器211可維持參考錨點姿勢作為中心錨點姿勢，但是若其超過5 cm，則其可切換至另一錨點姿勢（左或右錨點姿勢）。
在許多實施例中，選擇器211經配置以取決於哪個錨點姿勢經選擇作為參考錨點姿勢，而修改參考觀看者姿勢。例如，對於錨點姿勢之各者，在觀看者姿勢之座標系統中可有對應的參考觀看者姿勢。例如，在圖5之實例中，針對錨點姿勢之各者判定參考觀看者姿勢501。在實例中，選擇器211可據此繼續比較目前觀看者姿勢與目前選擇之錨點姿勢的參考觀看者姿勢501。若所得距離超過給定臨限（在實例中，5 cm），選擇器211將進行至另一錨點姿勢。此將導致在比較中使用新參考觀看者姿勢，但在特定實例中，可使用相同準則，具體而言，可判定距離是否超過5 cm。
在許多實施例中，參考觀看者姿勢可設定為在觀看者姿勢之座標系統中之一位置，該位置對應於演現姿勢之座標系統中的錨點姿勢之位置。具體而言，對於目前錨點姿勢的參考觀看者姿勢可設定為映射至目前錨點姿勢的觀看者姿勢之值。然而，在其他實施例中，可取決於欲達成之所欲效果而不同地設定參考觀看者姿勢。例如，其可由使用者手動設定。
亦將理解，雖然已參照在真實世界/觀看者姿勢之座標系統中進行比較來說明上文的選擇實例，但是可在虛擬場景/演現姿勢之座標系統中等效地執行需求。具體而言，可比較目前觀看者姿勢至演現姿勢與錨點姿勢的映射，且可例如比較這些姿勢之間的距離與臨限。
在許多實施例中，該距離臨限可取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢。例如，對於中心錨點姿勢的距離臨限可高於非中心錨點姿勢的距離臨限。例如，可修改圖1之實例，使得選擇中心錨點姿勢，除非觀看者姿勢相距對應參考觀看者姿勢超過10 cm，而對於右及左錨點姿勢的切換距離可保持在5 cm。此類方法可提供朝向中心視圖的較強偏向，在許多實施例中可係有利的，例如，諸如其中用於中心錨點姿勢的3D影像資料品質較高（例如包括一些解除遮擋資料）。
進一步，在許多實施例中，針對至少一些錨點姿勢的距離臨限可取決於差異方向。例如，對於圖3之側錨點姿勢，距離臨限可係朝向中心5 cm，但遠離中心無限。
在上述實例中，參考錨點姿勢的選擇描述為僅取決於位置，但是應理解，在其他實施例中，可考慮僅定向，或可考慮位置及定向兩者。
作為一實例，在許多實施例中，選擇準則可考慮介於觀看者姿勢之位置與參考觀看者姿勢/參考錨點姿勢之位置之間的距離，例如，如上文所述。然而，何時切換錨點姿勢的決策臨限可取決於觀看者姿勢的定向。具體而言，觀看者姿勢之定向與參考定向之間的差異可視為且用以調適距離臨限。依此方式，何時切換錨點姿勢的決策不僅取決於使用者的位置（具體而言，平移位置），且亦取決於觀看者的定向（例如，角方向）。據此，選擇可取決於觀看者之位置且取決於觀看者觀看何處。
具體而言，距離臨限可依據介於目前觀看者姿勢與參考定向之間的差異而單調地增加。例如，針對籃球應用，臨限可依據介於觀看者定向與對應於朝向籃球場向前平視的方向之間增加的角度差異而增加。觀看者轉動頭部愈多，切換錨點姿勢所需的平移移動可因此增加。
因此，雖然圖3至圖5之實例聚焦在其中演現完全由觀看者之側向x位置所判定的情況，然而可考慮觀看者的更多特性以決定何時瞬間移至不同視點（即，何時切換參考錨點姿勢至不同錨點姿勢）。作為一實例，可考慮圖6及圖7展示之實驗位置及定向資料。圖6展示反映使用者旋轉其頭部以在不同方向上看著場景之不同部分的資料，且圖7展示反映使用者平移其頭部以嘗試繞過阻礙其觀看之前景物體觀看的資料。圖式清楚建議，當考慮觀看者之側向x 位置及相對於錨點姿勢之觀看方向的定向角度θ 時，可更佳地估計觀看者之意欲運動，即，使用者是否正僅旋轉其頭部（圖6）或嘗試環視一物體（圖7）。
在一些實施例中，該設備可試圖基於位置及定向兩者，來偵測何時觀看者想要瞬間移至新觀看位置，以起始快速頭部運動誘發的平移，即，何時使用者試圖瞬間移動至新視點。
在實例中，選擇器211可考慮觀看者姿勢之側向x 位置及相對於觀看方向之定向角度θ 兩者。如圖8中所繪示，當環視時，觀看者的眼睛一般與定向變化組合來執行小側向平移運動。觀看者環視遮擋物體時往往與如圖9所示之（通常更大且更快）側向運動組合地保持在相同定向觀看。可建立隨側向x 位置及定向角度θ 而變化的決策邊界（對於中心錨點姿勢/攝影機），如圖10所展示。若側向位置（距離，y軸）超過定向角度（x軸）之函數，則選擇器211切換參考錨點姿勢，否則參考錨點姿勢保持不變。該實例展示決策邊界，其中側向x 位置隨定向角度θ 而單調地增加。低於決策邊界，則從原始位置（不改變參考錨點姿勢）進行演現，但高於決策邊界，則使用者向目前位置右方（或左方，若適合）瞬間移至新觀看位置（即，選擇用於參考錨點姿勢的新錨點姿勢）。可針對其他錨點姿勢/攝影機判定對應的決策邊界。
在一些實施例中，選擇器211可經配置以回應於該等觀看者姿勢之一變化率而切換參考錨點姿勢。例如，在一些實施例中，使用者可能夠藉由例如在所欲方向上執行敏捷的頭部移動或例如藉由迅速轉動頭部來在錨點姿勢之間切換。若所判定之觀看者姿勢變化率超過給定臨限，則當靜態地觀看場景時，該移動視為不是自然移動，且因此，該移動可解譯為切換錨點姿勢的輸入指令以切換至不同觀看位置。
在其他實施例中，可例如應用更細微的修改。例如，在錨點姿勢切換發生之前所需的相距標稱位置之距離可取決於位置變化之速度。若使用者緩慢移動其頭部，則視為使用者很可能僅移動其頭部作為自然觀看體驗之部分，且因此在切換前需要相對長距離。然而，若使用者迅速移動其頭部，則此可解譯為指示使用者可能嘗試環視前景物體，且可減小距離以導致較早視點移位/瞬間移動。
如前文所論述，擷取器207擷取用於所選擇參考錨點姿勢的3D影像資料，且影像合成器205在產生用於演現姿勢的影像時使用此資料。在一些實施例中，擷取器207可進一步經配置以擷取用於第二錨點姿勢的3D影像資料，且此第二3D影像資料亦可饋送至影像合成器205且用以產生用於演現姿勢的影像。
此第二3D影像資料可用以改善演現品質，以產生改善的視圖影像。例如，用於第二錨點姿勢的額外3D影像資料可用以藉由使第一3D影像資料從參考錨點姿勢移位至演現姿勢來改善可被解除遮擋之區域的填隙。來自第二錨點姿勢的3D影像資料可表示來自不同位置的場景，且可據此具有來自參考錨點姿勢的被遮擋場景之部分的資訊。
然而，在許多此類實施例中，第二3D影像資料的品質位準低於第一3D影像資料，即，針對參考錨點姿勢的所擷取之3D影像資料的品質位準高於第二錨點姿勢。具體而言，較高品質位準可係較高資料速率（空間或時間）。
例如，在擷取器207明確向伺服器請求3D影像資料的實施例中，伺服器可繼續提供資料串流，該資料串流具有用於參考錨點姿勢的高品質之3D影像資料以及用於一或多個相鄰錨點姿勢的低品質之3D影像資料。
作為具體實例，對於三個攝影機之籃球比賽實例，如圖11中所繪示，伺服器可繼續提供用於所選擇之錨點姿勢的高品質影像及深度以及用於（多個）相鄰錨點姿勢之低品質影像及深度（在實例中，影像及深度圖的品質係由對應物體之大小所指示，其反映例如空間解析度的差異）。
因此，在此實例中，所提供之資料串流亦包括例如用於相鄰錨點姿勢之3D影像資料的低解析度版本，其中此資料用於錨點之間的視圖合成及融合。當觀看者處於接近中心位置的位置時，觀看者看見由中心影像（對）及深度（對）產生的視圖。一旦偵測到觀看者大幅移動，則藉由選擇參考錨點姿勢的變化來起始瞬間移至下一位置。所傳輸之內容因此以全解析度變更至新位置，且再次具有較低解析度的相鄰者。
應理解，在不同實施例中可使用不同實施方案。例如，該方法可藉由執行一種方法的一或多個處理器來實施，其中例如一個副常式使用查找表來從（一般而言，相對）觀看者姿勢映射至（一般而言，相對）演現姿勢。此副常式可依給定重複頻率下執行，以提供依給定頻率更新的演現姿勢。一第二副常式可評估觀看者姿勢以查看變更錨點姿勢的準則是否符合。若是，則可變更錨點姿勢且因此提供不同影像資料至合成器。此外，錨點姿勢的變化與應用至映射副常式的不同映射相關聯，例如，簡單地藉由以連結至新錨點姿勢的查找表來覆寫記憶體中的LUT。一般而言，此第二副常式之重複率很可能低於（且經常實質上低於）第一副常式之重複率，但實際上可能是相同速率，或甚至高於第一副常式之重複率。該兩個副常式可彼此同步（即，循序執行），但不需要是且可容易地是兩個平行及非同步的程序。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
101:用戶端VR裝置 103:遠端VR伺服器 105:網路 201:接收器/感測器輸入處理器 203:演現姿勢處理器 205:影像合成器 207:擷取器 209:錨點姿勢儲存器 211:選擇器 301:攝影機/攝取/錨點位置 303:間隔 305:標稱位置 401:間隔 403:間隔 405:間隔 501:參考觀看者姿勢
將僅以舉例之方式參考圖式描述本發明的實施例，其中 ［圖1］繪示用於提供虛擬實境體驗的主從式配置(client server arrangement)的實例； ［圖2］繪示根據本發明之一些實施例之設備之元件的實例； ［圖3］繪示藉由圖2之設備的一些例示性實施方案來映射觀看者姿勢至演現姿勢的實例； ［圖4］繪示藉由圖2之設備的一些例示性實施方案來映射觀看者姿勢至演現姿勢的實例； ［圖5］繪示藉由圖2之設備的一些例示性實施方案來映射觀看者姿勢至演現姿勢的實例； ［圖6］繪示觀看者移動的實例； ［圖7］繪示觀看者移動的實例； ［圖8］繪示觀看者移動的實例； ［圖9］繪示觀看者移動的實例； ［圖10］繪示由圖2之設備的一些例示性實施方案所使用之決策邊界的實例；及 ［圖11］繪示由圖2之設備的一些例示性實施方案所使用之3D影像資料的實例。
201:接收器/感測器輸入處理器
203:演現姿勢處理器
205:影像合成器
207:擷取器
209:錨點姿勢儲存器
211:選擇器

Claims (15)

  1. 一種用於產生一場景之影像的設備，該設備包含：一記憶體電路，其中該記憶體電路經配置以儲存該場景之一組錨點(anchor)姿勢；一接收器電路，其中該接收器電路經配置以接收一觀看者的觀看者姿勢；一選擇器電路，其中該選擇器電路經配置以從該組錨點姿勢選擇一參考錨點姿勢；其中該選擇器電路經配置以回應於一第一觀看者姿勢符合一準則之一偵測而切換該參考錨點姿勢，其中該準則包含一第二距離超過一臨限的一需求，其中該第二距離介於該第一觀看者姿勢與一參考觀看者姿勢之間；一演現(render)姿勢處理器電路，其中該演現姿勢處理器電路經配置以針對該等觀看者姿勢之一目前觀看者姿勢來判定在該場景中的一第一演現姿勢；一擷取器電路，其中該擷取器電路經配置以擷取用於該參考錨點姿勢的第一三維影像資料；及一合成器電路，其中該合成器電路經配置以回應於該第一三維影像資料而合成用於該第一演現姿勢之一影像；其中該組錨點姿勢包含一第一錨點姿勢及一第二錨點姿勢，其中該選擇器電路經配置以回應於該等觀看者姿勢符合一準則， 而使該參考錨點姿勢從該第一錨點姿勢切換至該第二錨點姿勢，其中該演現姿勢處理器電路經配置以從觀看者姿勢對演現姿勢之一映射來判定該第一演現姿勢，其中該映射取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢。
  2. 如請求項1之設備，其中該演現姿勢處理器電路經配置以對於該第一錨點姿勢映射一觀看者姿勢值至不同演現姿勢值，其中該第一錨點姿勢經選擇作為該參考錨點姿勢，其中該第二錨點姿勢經選擇作為該參考錨點姿勢。
  3. 如請求項1之設備，其中該映射包含取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢，應用一不同偏移至該演現姿勢。
  4. 如請求項1之設備，其中該演現姿勢處理器電路經配置以對於相同參考錨點姿勢而映射觀看者姿勢至演現姿勢，使得在一第一方向的該等觀看者姿勢之一變化被映射至在該第一方向的該等演現姿勢之一變化。
  5. 如請求項1之設備，其中該選擇器電路經配置以取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢，而修改該參考觀看者姿勢。
  6. 如請求項1之設備，其中該第二距離取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢。
  7. 如請求項1之設備，其中該第二距離係介於該第一觀看者姿勢之一位置與該參考觀看者姿勢之一位置之間的一距離，其中該選擇器電路經配置以取決於介於該觀看者姿勢之一定向與一參考定向之間的一差異而調適該臨限。
  8. 如請求項7之設備，其中該臨限隨該差異而單調地(monotonically)增加。
  9. 如請求項1之設備，其中該選擇器電路經配置以回應於該等觀看者姿勢之一變化率而切換該參考錨點姿勢。
  10. 如請求項1之設備，其中該擷取器電路經配置以擷取用於該組錨點姿勢之一第二錨點姿勢的第二三維影像資料，其中該合成器電路經配置以使用該第二三維資料來合成該影像，其中該第一三維資料具有高於該第二三維資料的一品質位準。
  11. 一種產生一場景之影像的方法，該方法包含：儲存用於該場景之一組錨點姿勢；接收用於一觀看者的觀看者姿勢；從該組錨點姿勢選擇一參考錨點姿勢；其中該組錨點姿勢包含一第一錨點姿勢及一第二錨點姿勢，其中該選擇包含回應於該等觀看者姿勢符合一準則而使該參考錨 點姿勢從該第一錨點姿勢切換至該第二錨點姿勢；針對該等觀看者姿勢之一目前觀看者姿勢來判定在該場景中的一第一演現姿勢，其中該第一演現姿勢係相對於該參考錨點姿勢而判定；擷取用於該參考錨點姿勢的一第一三維影像資料；回應於該第一三維影像資料而合成用於該第一演現姿勢之一影像；從該等觀看者姿勢對演現姿勢之一映射來判定該第一演現姿勢，其中該映射取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢，其中該映射係對於從該演現姿勢至該參考錨點姿勢之一第一距離之一恆定線性映射，其中該第一距離不超過一臨限。
  12. 如請求項11之方法，進一步包含對於該第一錨點姿勢映射一觀看者姿勢值至不同演現姿勢值，其中該第一錨點姿勢經選擇作為該參考錨點姿勢，其中該第二錨點姿勢經選擇作為該參考錨點姿勢。
  13. 如請求項11之方法，其中該映射包含取決於該組錨點姿勢之哪個錨點姿勢經選擇作為該參考錨點姿勢，應用一不同偏移至該演現姿勢。
  14. 如請求項11之方法，進一步包含對於相同參考錨點姿勢而映射觀看 者姿勢至演現姿勢，使得在一第一方向的該等觀看者姿勢之一變化被映射至在該第一方向的該等演現姿勢之一變化。
  15. 一種儲存於一非暫時性媒體之電腦程式，其中該電腦程式在一處理器上運行時執行請求項11之方法。
TW108121913A 2018-06-26 2019-06-24 用於產生場景之影像的設備及方法 TWI831796B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18179841.4 2018-06-25
EP18179841.4A EP3588249A1 (en) 2018-06-26 2018-06-26 Apparatus and method for generating images of a scene

Publications (2)

Publication Number Publication Date
TW202016692A TW202016692A (zh) 2020-05-01
TWI831796B true TWI831796B (zh) 2024-02-11

Family

ID=62814818

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108121913A TWI831796B (zh) 2018-06-26 2019-06-24 用於產生場景之影像的設備及方法

Country Status (9)

Country Link
US (1) US11694390B2 (zh)
EP (2) EP3588249A1 (zh)
JP (1) JP7401472B2 (zh)
KR (1) KR20210024071A (zh)
CN (1) CN112602042B (zh)
BR (1) BR112021000289A2 (zh)
CA (1) CA3105400A1 (zh)
TW (1) TWI831796B (zh)
WO (1) WO2020002115A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111659117B (zh) * 2020-07-08 2023-03-21 腾讯科技（深圳）有限公司 虚拟对象展示方法、装置、计算机设备及存储介质
WO2022226502A1 (en) * 2021-04-20 2022-10-27 Qualcomm Incorporated Anchoring a scene description to a user environment for streaming immersive media content
KR20220153396A (ko) * 2021-05-11 2022-11-18 삼성전자주식회사 Ar 원격 렌더링 프로세스를 위한 방법 및 장치
EP4320854A1 (en) 2021-08-23 2024-02-14 Samsung Electronics Co., Ltd. Method and electronic device for auto focus of scene
CN114173139B (zh) * 2021-11-08 2023-11-24 北京有竹居网络技术有限公司 一种直播互动方法、系统及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US20160253809A1 (en) * 2015-03-01 2016-09-01 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
TW201800902A (zh) * 2016-06-20 2018-01-01 國立中興大學 影像導覽系統之互動結合方法
WO2018060334A1 (en) * 2016-09-29 2018-04-05 Koninklijke Philips N.V. Image processing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533895B2 (ja) 2003-09-30 2010-09-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像レンダリングのための動き制御
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
WO2010013171A1 (en) 2008-07-28 2010-02-04 Koninklijke Philips Electronics N.V. Use of inpainting techniques for image correction
US8896631B2 (en) 2010-10-25 2014-11-25 Hewlett-Packard Development Company, L.P. Hyper parallax transformation matrix based on user eye positions
JP6073307B2 (ja) 2011-06-22 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ディスプレイ用信号の生成方法及び装置
EP2860606B1 (en) 2012-06-12 2018-01-10 Sony Corporation Information processing device, information processing method, and program for an augmented reality display
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
JP6532393B2 (ja) 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
CN106919248A (zh) * 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
US10163251B2 (en) * 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
CN106101741B (zh) * 2016-07-26 2020-12-15 武汉斗鱼网络科技有限公司 在网络视频直播平台上观看全景视频的方法及系统
EP3422708A1 (en) 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
EP3511910A1 (en) 2018-01-12 2019-07-17 Koninklijke Philips N.V. Apparatus and method for generating view images
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US20160253809A1 (en) * 2015-03-01 2016-09-01 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
TW201800902A (zh) * 2016-06-20 2018-01-01 國立中興大學 影像導覽系統之互動結合方法
WO2018060334A1 (en) * 2016-09-29 2018-04-05 Koninklijke Philips N.V. Image processing

Also Published As

Publication number Publication date
JP2022501685A (ja) 2022-01-06
EP3588249A1 (en) 2020-01-01
BR112021000289A2 (pt) 2021-04-06
JP7401472B2 (ja) 2023-12-19
CN112602042A (zh) 2021-04-02
US20210264658A1 (en) 2021-08-26
CN112602042B (zh) 2024-04-05
US11694390B2 (en) 2023-07-04
TW202016692A (zh) 2020-05-01
WO2020002115A1 (en) 2020-01-02
EP3811185A1 (en) 2021-04-28
KR20210024071A (ko) 2021-03-04
CA3105400A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
TWI831796B (zh) 用於產生場景之影像的設備及方法
TWI818899B (zh) 影像處理設備及用於提供一影像之方法
JP7480065B2 (ja) 画像データストリームを生成するための装置および方法
EP3857898B1 (en) Apparatus and method for generating and rendering a video stream
JP2022522504A (ja) 画像の奥行きマップの処理
JP7471307B2 (ja) シーンの画像表現
JP7479386B2 (ja) シーンを表す画像信号