TWI810233B - 用於產生視圖影像之設備及方法 - Google Patents

用於產生視圖影像之設備及方法 Download PDF

Info

Publication number
TWI810233B
TWI810233B TW108101090A TW108101090A TWI810233B TW I810233 B TWI810233 B TW I810233B TW 108101090 A TW108101090 A TW 108101090A TW 108101090 A TW108101090 A TW 108101090A TW I810233 B TWI810233 B TW I810233B
Authority
TW
Taiwan
Prior art keywords
viewing
scene
viewer
orientation
data
Prior art date
Application number
TW108101090A
Other languages
English (en)
Other versions
TW201941595A (zh
Inventor
威和莫司 漢卓克司 愛芬瑟司 布爾斯
克莉斯汀 維爾甘
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201941595A publication Critical patent/TW201941595A/zh
Application granted granted Critical
Publication of TWI810233B publication Critical patent/TWI810233B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種用於產生用於一場景之觀看影像的設備包含一儲存器(101)，該儲存器儲存表示來自一觀看區域之該場景的三維場景資料。該三維場景資料可例如係從該觀看區域內的擷取位置擷取的影像及深度圖。一移動處理器(105)接收一使用者的運動資料（諸如頭部或眼睛追蹤資料），及從該運動資料判定一觀察者觀看位置及一觀察者觀看定向。一變化處理器(109)針對該觀察者觀看定向判定一定向變化測量，及一適配器(111)經配置以回應於該定向變化測量而減少自該觀察者觀看位置相對於該觀看區域的一距離。一影像產生器(103)從該場景資料產生用於該觀察者觀看位置及該觀察者觀看定向的視圖影像。

Description

用於產生視圖影像之設備及方法
本發明關於產生用於場景的視圖影像，並具體地但不排他地關於產生用於虛擬或擴增實境應用的視圖影像。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向（觀看姿勢）的能力，諸如例如允許觀看者在所呈現的場景中移動及「環視」。
此類特徵可具體地能夠提供虛擬實境體驗給使用者。這可允許使用者在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法是眾所周知，例如用於電腦及主控台的遊戲應用，例如在第一人稱射擊遊戲類別中。
亦希望，特別是對於虛擬或擴增實境應用，所呈現的影像係三維影像。實際上，為了最佳化觀看者的身歷其境，一般而言較佳地，使用者將所呈現場景體驗為三維場景。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
在支援基於場景之表示（特別係所擷取的三維表示）的各種服務中的一個主要問題係需要大量的資料。此導致高資源需求，諸如需要大的儲存資源。
為了支援許多此類新應用及服務，希望能夠準確擷取場景。與其中單一視區用於單一視點（例如，習知視訊序列）一般係足夠的傳統應用相比，希望可準確地擷取全3D場景資訊。
例如，運用基於6DoF（six degrees of freedom，六自由度，對應於用於視點位置的三個自由度及用於定向的三個自由度）虛擬實境攝影機的擷取，一般而言在多個方向從多個位置擷取場景，以擷取關於整個場景的準確且完整之資訊。在從此類擷取播放6DoF內容期間，在許多應用中，觀察者可在場景內自由地移動且動態合成視圖以對應於觀察者的目前虛擬姿勢(pose)。所呈現的視圖可例如係使用合適演算法從附近的最初擷取視圖合成的內插視圖。這實現平滑轉變及/或減少所需的擷取光場資料量。一般而言，對於此類視圖內插，使用深度資訊進行合成，其中深度資訊一般係自立體影像直接擷取或評估。另一實例可係使用所擷取之視圖來發展場景之三維模型。
在許多應用中，可藉由移動手持攝影機來擷取靜態場景。在擷取後，所擷取影像的攝影機位置及觀看方向被導出且用作為用於視圖合成的基礎影像或產生場景之三維模型。
然而，為了使基於所擷取影像的此類表示足夠準確，需要藉由該等影像擷取足夠的相關資訊量。此傾向需要相對高的空間擷取頻率/密度，其再次導致高資源需求（例如，儲存及通訊）。
在一些應用中，此種問題可至少部分地藉由提供場景的更有限表示而解決。例如，許多虛擬實境應用可將僅允許受限制的移動及定向變化且不提供在場景中四處移動的完全自由度之場景的視圖提供給使用者。例如，虛擬實境應用可針對相對靜止的使用者（例如，坐或站在侷限區中，諸如在螢幕前方）。
對於此種應用，可將場景的表示減少成基於來自相對小區域（或實際上來自單一觀看位置）的擷取。例如，場景可擷取自，比如說，以具有常小於50cm的總尺寸之規則的5×5網格配置的25個位置。此種擷取可對擷取區域內的視點提供場景的良好擷取，但也允許產生用於與其相距某個距離之視點的視圖（例如，取決於場景的特性至多一公尺或更少）。
然而，所產生的視圖影像的品質傾向隨著與擷取區域的距離而劣化，且例如得自於在期望視點的解除遮擋及深度缺陷的假影、扭曲、及誤差變得越來越顯著。問題係使用者並不總能輕易地或明顯地知道要在何方向上移動以再次處於「最有效點(sweetspot)」中。此在實務中傾向減少體驗的感知品質，其可導致虛擬觀察者的移動係由應用所限制。
因此，用於產生視圖影像的改善方法將係有利的。尤其是允許改善及/或促進操作或實施方案、改善使用者彈性及自由度、減少擷取需求、改善影像品質、改善使用者體驗、及/或改善效能的方法將是有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明的一態樣，提供一種用於產生用於一場景之視圖影像的設備，該設備包含：一儲存器，其用於儲存表示來自一觀看區域之該場景的三維場景資料；一移動處理器，其用於接收一使用者的運動資料，及用於從該運動資料判定一觀察者觀看位置及一觀察者觀看定向；一變化處理器，其用於針對該觀察者觀看定向判定一定向變化測量；一適配器，其用於回應於該定向變化測量而減少自該觀察者觀看位置相對於該觀看區域的一距離；及一影像產生器，其用於從該場景資料產生用於該觀察者觀看位置及該觀察者觀看定向的視圖影像。
本發明可在許多實施例及應用中提供改善的操作、效能、及/或使用者體驗。該方法可在許多應用中以來自較小場景資料量的較高影像品質提供改善的使用者體驗。在許多實施例中，三維視圖影像（例如，右眼及左眼影像）可基於僅在該觀看區域內擷取的場景資料而對一場景產生。可產生該等視圖影像以追蹤該等使用者移動及反映該等姿勢變化。儘管基於例如採用該場景的一全向立體(omni directional stereo, ODS)表示之形式的場景資料，該系統在許多情形中可提供立體視覺及運動視差二者。此外，該觀察者觀看位置朝向該觀看區域的一偏向可達到所產生的視圖影像具有一般具有較少誤差、假影、及扭曲的較高的影像品質。可將該偏向限制在該偏向的影響（例如，以不準確的運動視差的形式）最不為使用者可感知時的時間。
該方法可允許，例如，除了在高旋轉移動的時間期間外，當該等視圖返回至觀看區域時，所提供的視圖影像以正確的立體視覺及視差跟隨使用者的虛擬或擴增實境體驗（例如，在使用者朝向觀看區域拉動時提供「橡皮筋(rubber band)」效應）。在實務中已發現此種使用者體驗對許多應用具有高度吸引力。
該適配器可經配置以藉由修改該觀察者觀看位置及該觀看區域的至少一參考位置的至少一者而減少該距離。
該定向變化測量可係一旋轉運動測量，並可指示該使用者移動的一旋轉分量，並可獨立於該使用者移動的一平移分量。運動可包括加速度、或實際上包括一位置的任何變化或微分階(order of derivative)。
該場景資料可具體地係所擷取的資料，並可具體地包含所擷取的影像及來自該觀看區域內的一組擷取位置/姿勢的深度資料。
該定向變化測量可指示該觀察者觀看定向的變化的大小（例如，在時間間隔內）或速率。
根據本發明的一可選特徵，該適配器經配置以僅若該定向改變測量超過一臨限時減少該距離。
此可提供改善的操作及/或效能及/或可在許多應用中提供有吸引力的使用者體驗。該方法可允許朝向該觀看區域的該偏向在該使用者運動與所產生的視圖影像之間所得的差異較不為該使用者/觀看者所注意（或實際上不可注意）時施加。
根據本發明的一可選特徵，該適配器經配置以逐漸減少該距離。該距離可係減少至一某值，使得該觀察者足夠接近對應於該擷取資料/有效區域的該觀看圓。該值可係零。
此可在許多情景及應用中提供改善的使用者體驗。
根據本發明的一可選特徵，該距離的一減少速率係該定向變化測量的一單調遞增函數。
此可在許多情景及應用中提供改善的使用者體驗。在許多實施例中可允許一較強偏向（例如，「橡皮筋式變形(rubber banding)」）施加至該觀看區域，同時維持在使用者移動與所產生的視圖影像之間所得的差異的低感知性。
根據本發明的一可選特徵，該適配器經配置以將一上限加諸在該減少速率上。
此可在許多情境中提供改善的使用者體驗。
根據本發明的一可選特徵，該運動資料包含頭部運動追蹤資料。
該系統可針對取決於該頭部運動提供用於一場景之視圖影像的應用提供非常有吸引力的使用者體驗。儘管例如僅基於在一相對小區域中擷取的場景資料，可提供可感覺非常真實的虛擬實境體驗。
根據本發明的一可選特徵，該運動資料包含眼睛-瞳孔追蹤資料。
該系統可針對取決於瞳孔運動提供用於一場景之視圖影像的應用提供非常有吸引力的使用者體驗。儘管例如僅基於在一相對小區域中擷取的場景資料，可提供可感覺非常真實的虛擬實境體驗。
根據本發明的一可選特徵，該變化處理器經配置以回應於由該頭部運動追蹤資料及該眼睛-瞳孔追蹤資料指示的該等相對移動而判定該定向變化測量。
該系統可藉由考慮頭部追蹤資料及眼睛-瞳孔追蹤資料二者而提供特別有吸引力的使用者體驗。例如，頭部及眼睛/瞳孔的該等相對運動可一起考慮以使用反映該凝視之定向變化的該定向變化測量產生一有效凝視追蹤。當該頭部移動及該瞳孔移動彼此補償以減少凝視上的該總體變化時（該等眼睛/瞳孔及頭部運動在相反方向上），此可減少朝向該觀看位置的該偏向。類似地，當將該頭部移動及該眼睛/瞳孔移動合計以增加凝視的總體變化時（眼睛/瞳孔及頭部運動在相同方向上），可增加朝向該觀看位置的該偏向。
根據本發明的一可選特徵，該適配器經配置以藉由修改該三維場景資料的座標而減少該距離。
此在許多實施例中可促進操作及/或實施方案。在許多情形中可提供改善的反向相容性(backwards compatibility)，及例如允許不修改或很少修改地重復使用用於從運動資料判定該觀察者觀看定向及觀察者觀看位置，或用於產生視圖影像的現有演算法。
根據本發明的一可選特徵，該三維場景資料係參考一第一參考座標系統，且該觀察者觀看位置係參考一第二參考座標系統，且該適配器經配置以藉由改變從該第一參考座標系統至該第二參考座標系統的一映射而修改用於該三維場景資料的該等座標。
此在許多實施例中可促進操作及/或實施方案。
根據本發明的一可選特徵，該三維場景資料包含該場景之一具有深度的全向立體表示，且該適配器經配置以藉由減少該觀察者觀看位置與該具有深度的全向立體表示的一觀看圓之一中心位置之間的該距離而減少該距離。
該方法可僅基於一ODS及該場景的深度表示而提供該場景的一真實感知，並可因此實質減少儲存及擷取需求。
根據本發明的一可選特徵，該影像產生器經進一步配置以基於在該觀看圓及該深度上的視圖藉由實施視點偏移而針對不在該觀看圓上的視圖產生視圖影像。
該方法可僅基於一ODS及該場景的深度表示而提供該場景的一真實感知。可允許產生為從該觀看圓偏離的移動提供立體視覺及運動視差二者的視圖影像。
根據本發明的一可選特徵，該設備經配置以執行一虛擬實境或擴增實境應用，且其中該等視圖影像係用於該虛擬實境或擴增實境應用之一觀察者的視圖影像。
本發明可支援或實現有吸引力的虛擬實境或擴增實境應用。
根據本發明的一態樣，提供一種產生用於一場景之視圖影像的方法，該方法包含：儲存表示來自一觀看區域之該場景的三維場景資料；接收一使用者的運動資料，及用於從該運動資料判定一觀察者觀看位置及一觀察者觀看定向；針對該觀察者觀看定向判定一定向變化測量；回應於該定向變化測量而減少自該觀察者觀看位置相對於該觀看區域的一距離；及從該場景資料產生用於該觀察者觀看位置及該觀察者觀看定向的視圖影像。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
下文描述聚焦於可應用於用於虛擬或擴增實境應用之視圖影像的產生的本發明之實施例。然而，將理解本發明不限於此應用，但可應用於例如許多不同影像處理及演現應用上。
圖1繪示根據本發明的一些實施例之視圖影像產生設備的實例。該視圖影像產生設備經配置以產生對應於用於給定觀察者觀看姿勢之場景的視圖的影像。在許多實施例中，該視圖影像產生設備經配置以產生用於給定觀察者姿勢的立體影像，或可等效地為對應於觀看者雙眼之間的偏置之略微不同的觀看者姿勢產生二個影像。
在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、攝影機、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別性質。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。本說明將聚焦在其中一個姿勢具有最大自由度的實施例及實例，即，位置及定向之各者的三個自由度導致總共六個自由度。因此該姿勢可藉由代表六個自由度的一組六個值或六個值之向量予以表示，且因此該姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。
視圖影像產生設備可例如係回應於從遠端客戶端接收的運動資料而提供視圖影像至該客戶端的伺服器。然而，在圖1的具體實例中，視圖影像產生設備可係經由本機顯示器或例如本機連接的頭部單元（例如，虛擬實境頭戴裝置(headset)/護目鏡）的顯示器提供虛擬體驗的本機裝置（諸如，個人電腦）。
在該實例中，視圖影像產生設備經配置以基於表示來自給定觀看區域之場景的三維場景資料產生視圖影像。在一些實施例中，視圖區域可係單一位置或一組一維位置，諸如來自定位在一線上的攝影機之一組影像的位置。在其他實施例中，觀看區域可係二維面積（諸如來自觀看位置之網格的影像）或三維體積（諸如來自觀看位置之立方體的影像）。
將理解到三維場景資料可係允許用於其他視點的影像可自其產生之場景的表示的任何場景資料。例如，三維場景資料可包括3D模型資料或具有關聯紋理資訊的網格/網目。在具體實施例中，三維場景資料包含用於觀看區域中的一組觀看姿勢的影像。此外，包括用於影像的深度資訊，諸如具體地藉由具有關聯深度（/視差）圖的各影像。
三維場景資料在實例中係具體用於真實世界場景的擷取資料。場景資料可具體地包含從不同位置及不同方向對場景擷取的影像。然而，由於對大數目的位置及方向產生擷取傾向係非常麻煩且耗時的並需要大量工作量，場景資料僅包括來自可係相對小之給定觀看區域（或擷取場景資料之具體實例中的擷取區域）的擷取。
作為一實施例的具體實例，場景的擷取可使用錨點位置的預定義網格實施。在該實例中，虛擬攝影機之網格形成高於地表面的單一水平平面。圖2繪示姿勢之圖案/網格。在圖中，擷取位置被視覺化為球形/圓形，且四個箭頭指示待針對各擷取位置擷取的四個水平方向/定向。如所示，網格可由25個擷取位置組成，各位置具有四個擷取定向，產生總共100個擷取姿勢。在實例中，網格係大約在眼睛高度(1.7m)的水平網格。（圖2的實例可更適於將單一攝影機移動至不同擷取位置的循序擷取。使用圖2之同時具有多個攝影機的擷取圖案將導致攝影機阻擋來自其他攝影機的視圖。在此種情形下，對應於例如僅在圖案之邊緣上的擷取位置的擷取圖案可係更實際的）。
在實例中，擷取位置的高度（例如，y方向）恆定，然而不同擷取位置的側向(x)及進/出(z)方向二者均不同。類似地，對於定向，y分量固定，而x及z方向改變。實際上，對於定向，所有擷取方向係水平的，並且攝影機之旋轉亦係靜態（影像係水平的），使得可藉由單一變數來表示定向，例如具體地，相對於例如x方向的角度。因此，在實例中，姿勢可由具有三個分量姿勢之一向量予以表示。
以下描述將聚焦在場景資料係根據已知為全向立體(ODS)的特定現有3D影像格式表示的實施例。對於ODS，產生用於左眼及右眼影像的光線，使得此等光線具有在具有一般等於例如約6.3 cm的瞳孔距離之直徑的圓上的彼等原點。對於ODS，窄角影像部分係針對對應於觀看圓之正切的相反方向並以觀看圓周圍的規則角距離擷取（參見圖3）
對於給定定向（視角），影像可藉由組合針對與給定定向之視埠內的觀看方向匹配之方向的窄角影像部分而產生。因此，給定視圖影像係藉由組合對應於不同方向上之擷取的窄角影像部分，但以來自該圓上的不同位置的不同窄角影像部分而形成。因此，視圖影像包含來自觀看圓上的不同位置而非僅來自單一視點的擷取。然而，若ODS表示的觀看圓足夠小（相對於場景的內容），則可將此影響減少至可接受的程度。此外，當沿著給定方向的擷取可重復使用於數個不同的觀看定向時，在所需影像資料量上達到大量減少。用於觀看者雙眼的視圖影像一般將藉由針對該等適當正切的相反方向上的擷取而產生。
於圖4中繪示可由ODS支援之理想頭部旋轉的實例。在該實例中，頭部旋轉使得雙眼沿著具有等於瞳孔距離之直徑的圓移動。假設此對應於ODS觀看圓的寬度，不同定向的視圖影像可簡單地藉由選擇對應於不同視圖定向的合適窄角影像部分而判定。
然而，對於標準ODS，觀察者將感知立體視覺但非運動視差。即使係較小的觀察者運動（約數公分），缺少運動視差傾向提供令人不悅的體驗。例如，若觀看者移動使得眼睛不再確切落在ODS觀看圓上（諸如圖4所繪示的），基於簡單地選擇及組合合適的窄角影像部分以產生視圖影像將導致所產生的視圖影像如同使用者眼睛停留在觀看圓上，且據此應得自於使用者移動其頭部的視差將不被表示，且此將導致感知無法相對於真實世界移動。
為解決此問題，並允許基於ODS資料產生運動視差，可將ODS格式擴展以包括深度資訊。可針對各窄角影像部分添加一窄角深度圖部分。此深度資訊可用以實施視點偏移，使得所產生的影像對應於觀看圓外側（或內側）的新位置（例如，各視圖影像或窄角影像部分可使用已知的基於影像及深度的視點偏移演算法處理）。例如，3D網目可對各眼睛產生，且基於用於左眼及右眼之網目及紋理的ODS資料的演現可用以引入運動視差。
然而，此種視圖偏移可引入誤差、假影、及/或扭曲，且為了以不引入尤其是扭曲/拉伸的方式達到演現，將需要觀察者的眼睛保持在觀看圓上。
當觀看者經由小的頭部平移及/或旋轉而僅稍微改變位置時（例如，在圖5的實例中），此方法可引入所欲的視差，同時一般允許非所要的扭曲保持小的。然而，當觀看者做出較大移動時，諸如當開始環視時，其眼睛將位移到遠離該圓的位置，由於扭曲及解除遮擋而潛在地導致大的誤差。此一實例顯示於圖6中，其中上身旋轉或全身旋轉可將觀看者移動遠離對應於擷取資料/有效區域的觀看圓。因為原始光線（虛線箭頭）需要位移大距離，結果係將發生不可接受的扭曲。
更通常而言，由於在實務中傾向係昂貴的且常不可能使用大數目的攝影機/擷取姿勢，實務方法常基於有效的經擷取及經處理的3D場景資料可用於其的限制空間3D區域。用於此擷取或觀看區域外側之視點的影像的演現一般仍可能基於場景資料，且具體地基於影像及深度資料。因此，仍可能演現在觀看區域外側的影像，但此種視點偏移的風險係引入誤差、假影、及扭曲，諸如例如拉伸或不正確的解除遮擋。
此可對使用者導致具有減少的感知品質及/或具有受限制自由度的劣化的使用者體驗。例如，使用者可經限制以將其頭部保持在非常小的區中以避免顯著的劣化或損失自然感知（具體而言，損失自然視差）。
圖1的視圖影像產生設備採用可在許多實施例中提供改善效能，並可具體地對許多應用提供具有增加的品質及/或使用者彈性及自由度之改善的使用者體驗的方法。
視圖影像產生設備包含儲存器101，該儲存器經配置以儲存表示來自觀看區域之場景的三維場景資料。在具體實例中，場景資料包含具有深度表示的ODS。此ODS格式具有左眼紋理，該左眼紋理具有關聯的深度圖，且對右眼也一樣。因此在總共四個影像中，可選地將其等之二個代表深度封裝在一起。可將ODS圓半徑設定成標稱的6.5 cm，但可取決於內容和使用情形選擇更小或更大的值。
視圖影像產生設備進一步包含影像產生器103，該影像產生器從場景資料產生用於觀察者觀看位置及觀察者觀看定向的視圖影像。因此，基於觀察者姿勢，影像產生器103可繼續以產生分別用於右眼及左眼的視圖影像。
在具體實例中，影像產生器103經配置以藉由首先將深度圖轉換成3D網目（頂點和邊緣），然後使用標準紋理映射以產生用於給定新位置的視圖影像，以產生用於給定觀察者姿態的影像。所屬技術領域中具有通常知識者將意識到用於此種影像合成的數個已知的替代技術（諸如塊形映射(bump mapping)、視差映射等），且此將為了簡潔因此不進一步討論。
視圖影像產生設備進一步包含移動處理器105，該移動處理器經配置以接收使用者的運動資料，並用於從此運動資料判定觀察者觀看位置及觀察者觀看定向。
運動資料可接收自任何合適來源及/或感測器，並可以任何合適形式表示運動。在具體實例中，移動處理器105耦接至由使用者穿戴且包含感測使用者頭部之運動的感測器（諸如，陀螺儀及加速度感測器）的頭部單元107。
感測器資料在一些實施例中可直接提供給移動處理器105，該移動處理器可基於所接收的感測器資料繼續判定使用者的移動。然而，在許多實施例中，頭部單元107可包含用於處理感測器資料以例如直接提供指示例如平移、旋轉、加速度等之資料的功能性。實際上，在一些實施例中，頭部單元可直接提供例如由提供三個位置及三個定向值的六維向量表示的使用者姿勢。
因此，當使用者移動其頭部時，頭部單元107偵測移動，且移動處理器105判定對應的觀察者姿勢，並將其饋送至影像產生器103，該影像產生器從此姿勢對於場景之觀察者的眼睛產生對應視圖影像。所產生的視圖影像可例如經由包含在頭部單元中的左眼顯示器及右眼顯示器呈現給使用者。因此，可將可跟隨使用者的移動之場景的三維視圖提供給使用者。
然而，在圖1的視圖影像產生設備中，觀察者位置並不總是完全跟隨使用者移動。而是，視圖影像產生設備包含用於適應觀察者姿態的功能性，使得此不係使用者移動的直接一對一映射。而是，觀察者姿勢可朝向觀看區域偏向而非自由地跟隨使用者移動。
具體而言，視圖影像產生設備包含變化處理器109，該變化處理器經配置以針對觀察者觀看定向判定定向變化測量。定向變化測量可具體地指示如藉由運動資料所指示的在使用者定向上的變化的速度、量、或程度。因此，更大且更快的定向變化一般將導致更高的定向變化測量。
定向變化測量反映定向上而非使用者位置上的變化，並可具體地指示使用者的旋轉而非平移。因此，定向變化測量可指示使用者移動的旋轉分量但與平移分量無關。例如，若使用者姿勢係藉由N（例如，3）個位置值及M（例如，3）個定向值表示，定向變化測量可與N個位置值無關並反映M個定向值的至少一者。在一些實施例中，可將定向變化測量判定為依據使用者移動之角旋轉分量而變動。定向變化測量可係旋轉運動測量。
變化處理器109在此實例中耦接至移動處理器105，並經配置以自此接收運動資料。例如，變化處理器109可連續地接收使用者定向值（諸如例如方位角）並連續地監視此角之變化的大小及/或速率。
變化處理器109進一步耦接至適配器111，該適配器進一步耦接至影像產生器103。適配器111接收定向變化測量，且作為回應，其經配置以調適處理使得觀察者觀看位置與觀看區域之間的距離減少。距離上的減少取決於定向變化測量，例如其中調適/減少僅在定向變化測量指示超過給定臨限的速率/大小（例如，在預定的時間間隔內）時實施。
如將於稍後更詳細地描述的，可使用不同方法以基於定向變化測量減少距離。在一些實施例中，適配器111可簡單地經配置以修改觀察者位置，使得將其移動至更接近觀看/擷取區域。例如，在許多實施例中，可將觀察者觀看位置產生為從給定原點的相對移動，且適配器可經配置以若定向變化測量超過臨限，將觀察者觀看位置改變成對應於觀看原點上的位置。然後相對於此新的參考在觀察者觀看位置上進行後續變化。可進行參考位置上的變化而無需改變觀看定向。
具體實例繪示於圖7中。在此情形中，使用者最初係以在所儲存之ODS資料的觀看圓701上的眼睛定位。影像產生器103據此產生用於此第一觀看姿勢703的視圖影像，該第一觀看姿勢的中心剛好居中在ODS觀看圓701的中心上。當使用者隨後移動時，姿勢可在位置及定向二者上改變。因此，移動處理器105繼續追蹤觀察者觀看位置及觀察者觀看定向，且影像產生器103產生用於此等姿勢的視圖影像。因此，當使用者四處移動時，影像係更新以反映姿勢。只要移動接近ODS觀看圓701，所得的視圖影像相對準確且係高品質的。然而，當使用者進一步移動遠離ODS觀看圓701時，扭曲、誤差、及假影可變得更顯著。
然而，若視圖影像產生設備的影像產生器103偵測定向變化測量超過臨限，假設對應於使用者作出顯著的旋轉移動，適配器111調整觀察者觀看位置使得此係朝向ODS觀看圓701偏向，且具體地說，若定向變化測量足夠大，觀察者觀看位置可移動至ODS觀看圓701的中心。例如，在圖7的實例中，快速旋轉移動可將觀察者觀看姿勢從開始觀看姿勢703移動至所得的觀看姿勢705。然而，由於偵測大的旋轉移動，適配器111將觀察者觀看位置改變至ODS觀看圓701的中心而導致最終觀看姿勢707。觀察者觀看位置上的此變化係在觀察者觀看定向上沒有任何變化的情況中實施。然後影像產生器103繼續產生用於最終觀看姿勢707的視圖影像。
該方法允許系統實作可跟隨使用者的移動的視圖偏移，尤其是對於可跟隨使用者的移動的相對小的移動。此提供使用者自然的體驗，並特別提供一致且匹配的具有立體視覺且更重要地提供運動視差二者的三維感知。然而，對於大的旋轉移動，將觀察者觀看姿態移動回至觀看區域（例如，其可「扣合」至ODS圓），從而確保觀察者觀看位置保持接近場景資料可用於其的區域。此允許保持低的誤差、假影、及扭曲。
例如，視圖影像產生設備可偵測使用者正在實施頭部、上身、或全身旋轉，並可在該情形中在該旋轉動作期間相對於觀察者觀看位置修改場景的位置，使得當觀察者結束其頭部旋轉動作時，其將在空間上保持更接近（場景資料可用於其的）有效觀看區域。
該方法係基於觀察者觀看位置的偏移不僅在許多情境及應用中係可接受的，且也可藉由在實施調整時的小心控制將其影響及可察覺性保持至最小的認識。觀察者觀看位置的變化在其對應於不自然的3D線索（例如，錯誤或甚至相對的運動視差等）時可係對使用者非常不安。然而，目前方法反映此種不自然行為當與定向/旋轉移動的大及/或快速變化重合時有效地在使用者感知中將該不自然行為遮蔽的認識。在此種情境中，對使用者的視覺線索可非常快速變化而不能被完全處理，且不自然線索的感知顯著性因此被遮蔽（在此等快速變化期間，使用者將無法追蹤視覺物體/背景，且偏向或偏移藉此將更不可感知且一般實質上未受到注意的）。
該方法因此可提供將場景的使用者的視圖朝向（潛在地基本上扣合至）場景的具體觀看區域偏向的體驗。使用者可四處移動其頭部，且所呈現的視圖影像可跟隨此移動，視圖影像產生設備仍可每當適合的時候將觀看位置移動回到所欲的觀看區域。然而此種方法可能不適合例如使用者具有完全自由度以在虛擬環境中四處移動的虛擬實境應用，已發現對使用者在環境中相對靜止，但仍具有一些自由度以例如在此更靜止位置周圍移動其頭部的應用提供更有吸引力的使用者體驗。尤其是可提供非常高品質的影像、立體視覺、及運動視差深度線索、及基於低場景資料量的自然體驗二者。
在上述實例中，藉由直接將距離減少至零的步階變化達到觀看區域與，具體地說，ODS觀看圓（的中心）之間的距離的減少。然而，將理解，在許多實施例中，將實作朝向觀看區域的更漸進偏向。
例如，在一些實施例中，觀察者觀看位置將藉由某速率朝向觀看區域偏置，亦即由適配器111引入的偏移或變化逐漸增加或改變，以將觀察者觀看位置逐漸地朝向觀看區域移動。確切的變化速率可例如係預定的，且適配器111可經配置以在定向變化測量指示旋轉移動高於給定臨限時施加朝向觀看區域的此偏向。
在一些實施例中，觀察者觀看位置與觀看圓之間的距離的減少速率取決於定向變化測量的值。具體而言，變化速率可對增加的定向變化測量增加，亦即使用者的旋轉移動越快，朝向觀看區域的偏移或移動越快。
距離的降低速率可具體地係定向變化測量的單調遞增函數。例如，觀察者觀看位置的偏移可係藉由與定向變化測量的值成比例的速率。一般而言，可將臨限進一步實作使得偏移僅在定向變化測量高於給定位準時引入，且據此沒有偏移係對小或實質平移的移動引入。
在一些實施例中，該速率可係定向變化測量的非線性函數。例如，沒有偏移可對低於第一臨限的定向變化測量引入。對於在第一臨限與第二臨限之間的定向變化測量，可施加漸進相依性，諸如例如與定向變化測量成比例的變化速率。對於高於第二臨限之定向變化測量的值，適配器111可例如施加步階變化，例如若定向變化測量增加至高於給定位準，重設觀察者觀看位置以與ODS觀看圓的中心重合。
在一些實施例中，適配器111可經配置以將上限加諸在減少速率上。例如，變化速率可與定向變化測量成比例，直到沒有進一步改變速率增加施加的給定臨限。此可確保將位置中的偏移維持得足夠低以相對地不可察覺。
在許多實施例中，運動資料可包含頭部運動追蹤資料，例如來自先前描述的虛擬實境單元。
然而，在一些實施例中，運動資料可替代地或一般額外地包含眼睛-瞳孔追蹤資料（該追蹤資料可具體地係反映瞳孔相對於頭部的移動的瞳孔追蹤資料）。
例如，在一些實施例中，運動資料可不僅追蹤頭部移動，亦可追蹤眼睛/瞳孔移動。在此種情形中，可將定向變化測量判定成指示頭部移動及眼睛/瞳孔移動二者。例如，若偵測到頭部移動或眼睛/瞳孔移動高於給定位準，可將觀察者觀看位置移動至ODS觀看圓的中心。
然而，一般而言，頭部移動及眼睛/瞳孔移動並不獨立地考慮，而係組合成單一定向變化測量。定向變化測量可具體地回應於由頭部運動追蹤資料及眼睛-瞳孔追蹤資料所指示的相對運動而判定。具體而言，可在偵測到頭部移動及眼睛/瞳孔移動係在相同方向上時判定比在偵測到彼等係在相反方向上時更高的定向變化測量，從而彼此補償（例如，對應於使用者正在轉動頭部而維持其觀看方向的狀況，亦即移動其眼睛以保持注視相同物體）。
實際上，在許多實施例中，使用眼睛-瞳孔運動追蹤器可允許更好地決定於何時及如何相對於觀看區域修改觀察者觀看位置。眼睛/瞳孔追蹤可例如藉由將紅外線眼睛/瞳孔追蹤器感測器包括在虛擬實境頭戴裝置內而實作，該虛擬實境頭戴裝置可偵測眼睛/瞳孔相對於頭戴裝置的移動。
在此種實施例中，可偵測/測量眼睛是否例如正在移動至右方或上方等，而同時可藉由例如頭戴裝置的陀螺儀偵測頭部移動。據此可偵測到眼睛/瞳孔的運動是否與頭戴裝置的運動在相同方向上或例如在相反方向上（且因此「補償」頭部運動）。在後者情形中，沒有偏移可在觀察者觀看位置中施加，然而在前者情形中，更強的偏移由於其變得更難為使用者注意到此種偏移而可能引入。
在許多實施例中，可組合頭部運動及眼睛-瞳孔運動的追蹤以直接追蹤使用者的凝視，且定向變化測量可從該凝視追蹤判定。例如，可將頭部及眼睛/瞳孔運動資料組合至例如反映使用者目前凝視之定向的3個分量向量中。然後可產生定向變化測量以反映此凝視向量上的變化。因此，當（且僅當）定向變化測量指示使用者之凝視的定向以高於給定臨限的速率改變時，可施加調整。
在一些實施例中，差異化操作也可取決於頭部及眼睛的相對運動實施。例如，若頭部不旋轉但眼睛快速地改變方向，可採取不同動作。在該情形中，可施加朝向觀看區域的小偏向或偏移。若頭部旋轉及凝視旋轉二者均很小，則不施加調整。
先前描述聚焦在調整係藉由改變或偏置觀察者觀看位置而引入的實例。然而，將理解，在其他實施例中，觀察者觀看位置與觀看區域之間的距離的減少可藉由額外地或替代地改變其他參數（諸如，其他實體的座標或座標參考）而達到。
具體而言，適配器111在一些實施例中可經配置以藉由修改三維場景資料的座標而減少距離。因此，可改變其他場景元件的座標而非改變觀察者觀看位置。此在例如運動追蹤、觀察者觀看位置判定、及影像產生係基於可係難以調適的所建立演算法的許多實施例中可係有吸引力的。在許多實際實施方案中，更有效率的方法可用於實際調適場景座標。具體而言，在許多實施例中，場景資料可包含來自一組觀看位置的一或多個擷取影像。例如，針對ODS方法，場景資料可包含連同ODS觀看圓之座標表示的ODS影像。在許多實施例中，藉由修改場景資料的座標（諸如，ODS觀看圓的座標）而非修改觀察者觀看位置，可在計算上更有效率地減少距離。
在許多實施例中，系統可對不同態樣/實體/參數使用不同的座標系統。例如，場景資料可以在場景資料產生時候（例如，當擷取時）採用的座標系統表示的座標儲存。此座標系統可係可例如稱為場景座標系統的第一參考座標系統。擷取影像之視點的座標係參考此場景座標系統表示。
然而，運動資料可相對於使用者在真實世界中的移動而提供，且因此最初與場景座標系統無關。在許多實施例中，處理運動資料以相對於第二參考座標系統產生運動資訊及觀看姿勢，該第二參考座標系統可稱為世界座標系統。在許多實施例中，可實際上在此世界座標系統中處理運動資料並產生觀察者觀看位置。
為了協調不同參數，二個參考座標系統可彼此映射。作為簡單實例，在許多實施例中，可將場景座標系統及世界座標系統設定成具有相同原點（及相同尺度）。
然而，在許多實施例中，觀察者觀看位置相對於觀看區域的調適可藉由動態地改變二個參考座標系統之間的映射而達到。具體而言，可改變場景與世界座標系統之間的偏置。此可例如藉由改變場景座標系統的原點在世界座標系統中的座標而改變。作為具體實例，若定向變化測量足夠高，則場景座標系統在世界座標系統中的原點將係設定使得ODS觀看圓的中心與目前觀察者觀看位置重合。
將於下文描述實施方案的具體實例。對於此描述，令ω [rad/s]表示頭部單元在給定時刻所具有之角速度的量值。高於給定的最小角速度量值，ω min [rad/s]定向變化測量指示使用者正在開始頭部旋轉動作。更複雜的機制可使用更長的頭部單元的姿勢歷史以識別觀察者是否已開始頭部旋轉。
一旦已偵測到頭部旋轉，將場景參考座標系統係位移以跟隨觀察者觀看位置以使光線位移保持恆定或甚至減少此等位移。一旦使用者停止旋轉(ω ≤ω min )，場景參考座標系統停止平移。在此時刻之後，動態地產生視圖影像以反映目前觀察者觀看位置，且因此呈現運動視差。
頭部旋轉期間的時間係用以降低觀察者觀看位置與視圖區域之間的差。令xscene 表示場景座標系統原點在世界座標系統的位置，且其中觀看區域係居中在此原點上。一般而言，在應用開始時，xscene 將與世界座標系統原點重合。
取決於由定向變化測量指示的角速度，視圖影像產生設備現在持續地在從頭部單元的感測器判定觀察者觀看位置(xobserver )的狀態迴路中更新場景：， 其中α 係判定場景/觀看區域朝向目前觀察者觀看位置的拉動有多強的「拉動因數」（亦即，具體而言，觀看區域與觀察者觀看位置之間的距離減少得有多快），且f 係姿勢測量系統的更新頻率[Hz]。對於更高的更新頻率，場景座標系統需要較少平移，或換言之，「拉動因數」α 可獨立於姿勢測量系統的更新頻率而指定。從上述方程式可看出xscene 原則上持續地更新。然而，場景位置變化僅在角頭部速度超過給定臨限(ω≥ωmin )時大於零。
「拉動因數」α 可取決於角速度及增益K [rad-1 ]，該增益判定速度差ω -ω min 如何修改「拉動因數」α ：
如可在此方程式中看出者，當ω ≤ω min 時，「拉動因數」α =0且因此場景位置未被修改。觀察者在該情形中可任意地移動遠離ODS觀看圓。若增益K 變大，則α 已針對小角速度差ω -ω min 變成1。然後影響係觀看區域立即朝向觀察者觀看位置拉動，且所產生的視圖影像的扭曲品質將改善。rad/s的可能值係觀察者在四秒內將其頭部旋轉超過90度角的角速度。若假設四倍的此速度，應將距離減少至零，則 。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可實作在單一單元中、實作在複數個單元中、或實作為其他功能單元的部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。在申請專利範圍中的元件符號僅提供作為一闡明實例，且不應解讀為依任何方式限制申請專利範圍之範疇。
101‧‧‧儲存器 103‧‧‧影像產生器 105‧‧‧移動處理器 107‧‧‧頭部單元 109‧‧‧變化處理器 111‧‧‧適配器 701‧‧‧觀看圓 703‧‧‧觀看姿勢 705‧‧‧觀看姿勢 707‧‧‧觀看姿勢
將僅以舉例之方式參考圖式描述本發明的實施例，其中 ［圖1］繪示根據本發明的一些實施例之視圖影像產生設備之元件的實例； ［圖2］繪示場景的擷取圖案的實例； ［圖3］繪示全向立體表示的實例； ［圖4］繪示相對於用於場景擷取的全向立體表示的觀看圓之觀看姿勢的實例； ［圖5］繪示相對於用於場景擷取的全向立體表示的觀看圓之觀看姿勢的實例； ［圖6］繪示相對於用於場景擷取的全向立體表示的觀看圓之觀看姿勢的實例； ［圖7］繪示相對於用於場景擷取的全向立體表示的觀看圓之觀看姿勢的實例。
101‧‧‧儲存器
103‧‧‧影像產生器
105‧‧‧移動處理器
107‧‧‧頭部單元
109‧‧‧變化處理器
111‧‧‧適配器

Claims (14)

  1. 一種用於產生用於一場景之視圖影像的設備，該設備包含：一儲存器(101)，其用於儲存表示來自一觀看區域之該場景的三維場景資料；一移動處理器(105)，其用於接收一使用者的運動資料，及用於從該運動資料判定一觀察者觀看位置及一觀察者觀看定向；一變化處理器(109)，其用於針對該觀察者觀看定向判定一定向變化測量；一適配器(111)，其用於回應於該定向變化測量而減少自該觀察者觀看位置相對於該觀看區域的一距離；及一影像產生器(103)，其用於從該場景資料產生用於該觀察者觀看位置及該觀察者觀看定向的視圖影像，其中該三維場景資料包含該場景之一具有深度的全向立體表示，且該適配器(111)經配置以藉由減少該觀察者觀看位置與該具有深度的全向立體表示的一觀看圓之一中心位置之間的距離而減少該距離。
  2. 如請求項1之設備，其中該適配器(111)經配置以僅若該定向變化測量超過一臨限時減少該距離。
  3. 如請求項1或2之設備，其中該適配器(111)經配置以逐漸減少該距離。
  4. 如請求項1或2之設備，其中該距離的一減少速率係該定向變化測量的一單調遞增函數。
  5. 如請求項4之設備，其中該適配器(111)經配置以將一上限加諸在該減少速率上。
  6. 如請求項1或2之設備，其中該運動資料包含頭部運動追蹤資料。
  7. 如請求項6之設備，其中該運動資料包含眼睛-瞳孔追蹤資料。
  8. 如請求項7的設備，其中該變化處理器(109)經配置以回應於由該頭部運動追蹤資料及該眼睛-瞳孔追蹤資料所指示的相對移動而判定該定向變化測量。
  9. 如請求項1或2之設備，其中該適配器(111)經配置以藉由修改用於該三維場景資料的座標而減少該距離。
  10. 如請求項1或2之設備，其中該三維場景資料係參考一第一參考座標系統，且該觀察者觀看位置係參考一第二參考座標系統，且適配器(111)經配置以藉由改變從該第一參考座標系統至該第二參考座標系統的一映射而修改用於該三維場景資料的該等座標。
  11. 如請求項10之設備，其中該影像產生器(103)經進一步配置以基於在該觀看圓及該深度上的視圖藉由實施視點偏移而針對不在該觀看圓上的視圖產生視圖影像。
  12. 如請求項1或2之設備，其經配置以執行一虛擬實境或擴增實境應用，且其中該等視圖影像係用於該虛擬實境或擴增實境應用之一觀察者的視圖影像。
  13. 一種產生用於一場景之視圖影像的方法，該方法包含：儲存三維場景資料，該三維場景資料包含該場景之一具有深度的全向立體表示，且表示來自一觀看區域的該場景；接收一使用者的運動資料，及用於從該運動資料判定一觀察者觀看位置及一觀察者觀看定向；針對該觀察者觀看定向判定一定向變化測量； 回應於該定向變化測量而減少該觀察者觀看位置與該具有深度之全向立體表示的一觀看圓之一中心位置之間的一距離；及從該場景資料產生用於該觀察者觀看位置及該觀察者觀看定向的視圖影像。
  14. 一種包含電腦程式碼構件之電腦程式產品，其經調適以當在一電腦上執行該程式時執行如請求項13之方法之所有步驟。
TW108101090A 2018-01-12 2019-01-11 用於產生視圖影像之設備及方法 TWI810233B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??18151385.4 2018-01-12
EP18151385.4 2018-01-12
EP18151385.4A EP3511910A1 (en) 2018-01-12 2018-01-12 Apparatus and method for generating view images

Publications (2)

Publication Number Publication Date
TW201941595A TW201941595A (zh) 2019-10-16
TWI810233B true TWI810233B (zh) 2023-08-01

Family

ID=60972071

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108101090A TWI810233B (zh) 2018-01-12 2019-01-11 用於產生視圖影像之設備及方法

Country Status (10)

Country Link
US (1) US11480786B2 (zh)
EP (2) EP3511910A1 (zh)
JP (1) JP6915165B2 (zh)
KR (1) KR20200128661A (zh)
CN (1) CN111712859B (zh)
BR (1) BR112020014275A2 (zh)
CA (1) CA3088903A1 (zh)
RU (1) RU2020126876A (zh)
TW (1) TWI810233B (zh)
WO (1) WO2019137821A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588249A1 (en) 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US20210287382A1 (en) * 2020-03-13 2021-09-16 Magic Leap, Inc. Systems and methods for multi-user virtual and augmented reality
US11743442B2 (en) * 2020-11-09 2023-08-29 Tencent America LLC Bitstream structure for immersive teleconferencing and telepresence for remote terminals

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
US20100128121A1 (en) * 2008-11-25 2010-05-27 Stuart Leslie Wilkinson Method and apparatus for generating and viewing combined images
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
TWI527429B (zh) * 2008-10-28 2016-03-21 皇家飛利浦電子股份有限公司 三維顯示系統
US20170230633A1 (en) * 2015-07-08 2017-08-10 Korea University Research And Business Foundation Method and apparatus for generating projection image, method for mapping between image pixel and depth value

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533895B2 (ja) 2003-09-30 2010-09-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像レンダリングのための動き制御
US7872665B2 (en) * 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
DE102006018689A1 (de) * 2006-04-13 2007-10-25 Seereal Technologies S.A. Verfahren zum Rendern und Generieren computergenerierter Videohologramme in Echtzeit
WO2010013171A1 (en) 2008-07-28 2010-02-04 Koninklijke Philips Electronics N.V. Use of inpainting techniques for image correction
JP5364666B2 (ja) * 2010-09-13 2013-12-11 株式会社東芝 立体画像表示装置、方法およびプログラム
JP2012170044A (ja) * 2011-02-14 2012-09-06 Fujifilm Corp 立体視画像表示装置
TR201819457T4 (tr) 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
ITTO20111150A1 (it) * 2011-12-14 2013-06-15 Univ Degli Studi Genova Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento
KR101322910B1 (ko) * 2011-12-23 2013-10-29 한국과학기술연구원 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
JP6380881B2 (ja) * 2012-07-31 2018-08-29 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
US9123142B2 (en) * 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
CA2938159C (en) * 2013-02-04 2021-07-27 Valorisation-Recherche, Limited Partnership Omnistereo imaging
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
US9380295B2 (en) 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
US10368046B2 (en) * 2014-06-19 2019-07-30 Koninklijke Philips N.V. Method and apparatus for generating a three dimensional image
US20170363949A1 (en) 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
US10390063B2 (en) * 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
TWI527429B (zh) * 2008-10-28 2016-03-21 皇家飛利浦電子股份有限公司 三維顯示系統
US20100128121A1 (en) * 2008-11-25 2010-05-27 Stuart Leslie Wilkinson Method and apparatus for generating and viewing combined images
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20170230633A1 (en) * 2015-07-08 2017-08-10 Korea University Research And Business Foundation Method and apparatus for generating projection image, method for mapping between image pixel and depth value

Also Published As

Publication number Publication date
EP3511910A1 (en) 2019-07-17
CA3088903A1 (en) 2019-07-18
EP3738104A1 (en) 2020-11-18
WO2019137821A1 (en) 2019-07-18
US11480786B2 (en) 2022-10-25
TW201941595A (zh) 2019-10-16
JP6915165B2 (ja) 2021-08-04
KR20200128661A (ko) 2020-11-16
JP2021507425A (ja) 2021-02-22
CN111712859B (zh) 2024-03-08
BR112020014275A2 (pt) 2020-12-08
RU2020126876A (ru) 2022-02-14
CN111712859A (zh) 2020-09-25
EP3738104B1 (en) 2021-09-08
US20200396436A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US10539797B2 (en) Method of providing virtual space, program therefor, and recording medium
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
TWI810233B (zh) 用於產生視圖影像之設備及方法
JP7224350B2 (ja) 画像キャプチャ装置及び画像キャプチャ方法
US12026903B2 (en) Processing of depth maps for images
JP6768933B2 (ja) 情報処理装置、情報処理システム、および画像処理方法
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
TWI846808B (zh) 表示場景之影像信號
JP7471307B2 (ja) シーンの画像表現
TW202126035A (zh) 影像合成系統及其方法
TWI850320B (zh) 場景的影像表示
JP7377861B2 (ja) 画像生成装置及び方法
US11119313B1 (en) Imaging systems and methods for expanding field of view of captured images
JP2021007231A (ja) 情報処理装置、情報処理システム、および画像処理方法