TWI818899B - 影像處理設備及用於提供一影像之方法 - Google Patents

影像處理設備及用於提供一影像之方法 Download PDF

Info

Publication number
TWI818899B
TWI818899B TW106133643A TW106133643A TWI818899B TW I818899 B TWI818899 B TW I818899B TW 106133643 A TW106133643 A TW 106133643A TW 106133643 A TW106133643 A TW 106133643A TW I818899 B TWI818899 B TW I818899B
Authority
TW
Taiwan
Prior art keywords
position parameter
images
image
parameter vector
viewing
Prior art date
Application number
TW106133643A
Other languages
English (en)
Other versions
TW201816726A (zh
Inventor
克莉斯汀 維爾甘
派崔克 路克 艾爾斯 凡德沃爾
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201816726A publication Critical patent/TW201816726A/zh
Application granted granted Critical
Publication of TWI818899B publication Critical patent/TWI818899B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係關於一種設備，其包括一儲存器(201)，該儲存器(201)儲存對應於一場景之不同位置及觀看方向之影像及用於該等影像之相關聯之位置參數向量，其中用於一影像之向量包括指示一觀看位置及一觀看方向之資料。一接收器(205)自一遠端客戶端裝置(101)接收一觀看位置參數向量。一選擇器(207)回應於該觀看位置參數向量與該等相關聯之位置參數向量之一比較而選擇一組影像。一影像合成器(209)自該組影像產生一影像。一資料產生器(215)產生用於該合成影像之指示用於該合成影像之一觀看位置及方向之一參考位置參數向量。一影像編碼器(211)編碼該合成影像且一輸出產生器(213)產生包括該經編碼之合成影像及該參考位置參數向量之一輸出影像信號。將該輸出影像信號傳輸至該遠端客戶端。

Description

影像處理設備及用於提供一影像之方法
本發明係關於影像處理，且特定言之(但不具有限制性)，本發明係關於一種用於在一虛擬實境系統中提供三維影像之系統。
近年來，由於利用及消耗視訊之新服務及方式正在不斷發展及引入，所以影像及視訊應用之種類及範圍實質上已經增加。
例如，越來越流行之一個服務係以觀看者能夠主動且動態地與系統互動而改變演現之參數之此一方式提供視訊。諸多應用中之一十分引起興趣之特徵係改變觀看者之有效觀看位置及觀看方向之能力，諸如(例如)允許觀看者在正呈現之場景中移動及「遊覽」。
此一特徵具體言之可允許將一虛擬實境經歷提供至一使用者。此可允許使用者(相對)自由地在一場景中四處走動且動態地改變他所見之處。通常，此等虛擬實境應用係基於具有經動態地評估以提供特定請求之視域之模型之場景之一三維模型。此做法在(例如)用於電腦及遊戲機之遊戲應用中係常見的，諸如第一人稱射擊遊戲這類遊戲應用。
然而，此等應用有固有限制，在於其等係基於場景之一預定模型。對於諸多應用來說，期望在能夠選擇觀看位置及方向之使用者之情況下可針對現實擷取之視訊實施一虛擬實境效應。已藉由使用具有不同觀看位置 及方向之多個相機以及選自視為係最靠近觀看者當前位置之相機之視訊來實施此一特徵之一嘗試。然而，此一做法趨向於需要分佈相對較多數目之平行視訊流且亦為清楚地注意到視域何時自一個相機切換至另一相機之使用者提供一次優經歷。
特定言之，在虛擬實境應用中亦期望正呈現之影像係一三維影像。實際上，為了最佳化觀看者之沉浸經歷，通常使用者較佳將呈現之場景經歷為一三維場景。實際上，一虛擬實境經歷較佳應允許一使用者選擇他/她本身相對於一虛擬世界之位置、相機視點及時刻。在一「理想」虛擬世界中，由相機感測器自所有位置且沿所有方向不斷擷取動態場景。
舉一實例，虛擬實境眼鏡當前正進入市場。此等眼鏡允許觀看者經歷擷取之360度(全景)視訊。通常使用其中將個別影像一起拼接為一單一球形映射之相機裝置預先擷取此等360度視訊。用於360視訊之共同立體格式係頂部/底部及左/右。類似於非全景立體視訊，將左眼及右眼圖片壓縮為一單一H.264視訊流之一部分。在解碼一單一圖框之後，觀看者旋轉他/她之頭部以觀看圍繞他/她之世界。一當前實例係由Google製作之卡內基音樂廳中之一音樂會之一錄製[https：//performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall]。在此實例中，觀看者可經歷一360度遊覽效應，且可在自不同位置記錄之三個視訊流之間離散地切換。當切換時，下載中斷該經歷之另一視訊流。
立體全景視訊做法之一個缺陷係觀看者不可改變虛擬世界中之位置。編碼且傳輸除全景立體視訊外之一全景深度映射可允許補償客戶端側處之觀看者之小平移運動，但此等補償將固有地限制於小變動及移動且將 不能夠提供一沉浸及自由虛擬實境經歷。
一相關技術係其中編碼具有深度映射之多個視點且在一單一視訊流中傳輸該等視點之自由視點視訊。除了已知時間預測方案外，可藉由探索視點之間之角度相依性來減少視訊流之位元率。然而，該做法仍然需要一高位元速率且在可產生之影像方面受限制。實際上無法提供在一三維虛擬實境世界中完全自由移動之一經歷。
然而，無先前技術可傳遞一理想經歷，其等趨向於在位置及觀看方向之改變之自由度中受限制。另外，該等技術趨向於需要一十分高之資料速率且提供包含比產生個別影像/視域所需之更多之資料之資料流。
因此，一改良之影像處理做法將係有利的。特定言之，允許改良之操作、增加之靈活性、用於產生對應於不同觀看位置及方向之影像之增加之範疇、一改良之虛擬實境經歷、減少之資料速率、促進之分佈、減少之複雜性、促進之實施方案及/或改良之效能及/或操作之一做法將係有利的。
據此，本發明力求較佳減輕、緩和或消除單一或以任何組合之形式出現之以上提及之缺點之一或多者。
根據本發明之一態樣，提供一種設備，其包括：一儲存器，其儲存一三維場景之複數個影像，該等影像對應於該場景之不同位置及觀看方向，且該儲存器進一步經配置以儲存用於該複數個影像之相關聯之位置參數向量，用於該複數個影像之一影像之一相關聯之位置參數向量包括指示用於該影像之一觀看位置及一觀看方向之資料；一接收器，其用於自一遠端客戶端接收一觀看位置參數向量；一選擇器，其用於回應於該觀看位置 參數向量與該等相關聯之位置參數向量之一比較而選擇該複數個影像之一組影像；一影像合成器，其用於自該組影像產生一合成影像；一資料產生器，其經配置以產生用於該合成影像之一參考位置參數向量，該參考位置參數向量指示用於該合成影像之一觀看位置及一觀看方向；一影像編碼器，其用於編碼該合成影像以產生一經編碼之合成影像；一輸出產生器，其用於產生包括該經編碼之合成影像及該參考位置參數向量之一輸出影像信號；及一傳輸器，其用於將該輸出影像信號傳輸至該遠端客戶端。
本發明可提供一種用於(例如)基於現實影像擷取而支援客製化使用者經歷之改良之做法。該做法具體言之可提供(例如)基於事件/場景之擷取之虛擬實境經歷之改良之支援。該做法可允許產生客製化經歷，其中一遠端客戶端可改變且控制一觀看者在由儲存於儲存器中之影像表示之一環境中之移動。
特定言之，在諸多實施例中，該做法可有效地支援一設置，其中一遠端客戶端可基於自操作為一伺服器之設備接收之影像而提供一虛擬實境經歷。可根據伺服器處之虛擬實境應用之當前條件及需求有效地客製化由該伺服器提供之影像，藉此最小化遠端客戶端需要之後處理量。然而，該伺服器可仍然提供允許該伺服器精選接收之影像以調整由傳遞之影像表示之當前觀看者位置/方向之任何偏差之資訊。
在諸多實施例中，可提供一改良之經歷及一更自由之可控制經歷。此外，可在無需過量帶寬之情況下提供此經歷且實際上在大多數實施例中，可基於擷取之視訊達成一可適應及靈活虛擬實境經歷且同時僅需要伺服器至客戶端中之對應於一單一視訊流之帶寬之一帶寬。
在諸多實施例中，複數個影像可作為場景之擷取影像，且具體言之 該複數個影像可係由相機在一現實場景中擷取之影像。儲存於儲存器中之複數個影像可係擷取一現實場景之影像。在諸多實施例中，該複數個影像可包含在不同時間點處取得之影像且據此其等可反映該場景中之動態變化。該複數個影像具體言之可包含一現實場景之擷取之視訊之圖框。
一位置參數向量可為包括指示一或多個參數之一或多個值之一資料結構或配置，其中至少一參數指示一觀看位置且至少一參數指示一觀看方向。針對擷取之影像而言，當擷取影像時，該觀看位置及方向可對應於相機位置及定向/方向。表示一位置參數向量之資料可以任何適合方式經配置且可(例如)包含通常針對複數個影像提供之值。
接收器可經配置以經由可包含一網路(且具體言之其可包含網際網路)之一通信媒體自一遠端客戶端接收觀看位置參數向量。該觀看位置參數向量可指示正由設備/伺服器產生之合成影像之一所要觀看位置及觀看方向。在諸多實施例中，該觀看位置參數向量可經產生以表示一使用者在由儲存於儲存器中之影像表示之一虛擬場景中之一位置及觀看方向。
影像組之選擇具體言之可係回應於該觀看位置參數向量及該等相關聯之位置參數向量之一接近準則。具體言之，可判定該觀看位置參數向量與個別相關聯之觀看位置參數向量之間之一距離量測且該選擇可係回應於此距離量測。通常，該組影像可經選擇以包含其中距離量測符合一準則(諸如(例如)距離量測低於一臨限值或係N個最低差異量測之一者)之影像。
合成影像可包括基於該組影像之複數個影像之一合成。具體言之，在諸多實施例中，該合成包括基於該組影像之複數個影像而執行視域合成。在一些實施例中，該合成可包括自該組影像選擇一單一影像(諸如最 靠近之一者)。在諸多實施例中，該合成係回應於該組影像之觀看位置參數向量及相關聯之位置參數向量。具體言之，該觀看位置參數向量可視為表示一所要觀看位置及方向。
在一些實施例中，可藉由該組影像之一或多個影像之影像之視域變換而產生合成影像，其中該視域變換對應於視點及方向自一或多個影像之視點及方向變換為所要觀看位置及方向。在一些實施例中，然而，合成影像之觀看位置及方向可藉由考慮影像之觀看位置及方向而自由觀看位置參數向量表示之所要觀看位置及方向修改。例如，若一儲存之影像具有十分靠近該位置參數向量之一位置參數向量，則可將合成影像之觀看位置及方向設置成儲存之影像之觀看位置及方向。
資料產生器可經配置以回應於第一組影像之影像之相關聯之位準參數向量且有時回應於觀看位置參數向量而產生用於合成影像之參考位置參數向量。例如，該產生之參考觀看位置參數向量可經產生為其中已產生合成影像之觀看方向及位置。
在諸多實施例中，該設備可同時支援複數個遠端客戶端。具體言之，該設備可自複數個遠端客戶端之各者接收觀看位置參數向量，且該設備可作為回應而產生用於各個別遠端客戶端/觀看位置參數向量之合成影像且將此等合成影像返回傳輸至適當客戶端。
觀看位置及觀看方向可具有對由影像表示之場景之參考。該等觀看位置及觀看方向可提供為由此等影像表示之虛擬世界/場景中之位置及方向。
根據本發明之一選用特徵，相關聯之位準參數向量之至少一者及觀看位置參數向量包含一時間參數，且影像組之選擇包含觀看位置參數向量 之一時間參數值與相關聯之位置參數向量之至少一者之時間參數值之間之一差異之一比較。
在諸多實施例中，此可提供改良之操作及/或改良之使用者經歷/服務。特定言之，其可提供改良之支援以動態地改變場景。例如，其可支援提供一現實及動態事件之一虛擬實境經歷，諸如一音樂會或體育賽事。
合成影像可簡單地係一產生之影像，且可由對該產生之影像之參考來替代對該合成影像之參考。
根據本發明之一選用特徵，選擇器經配置以自複數個接收之觀看位置參數向量預測一修改之觀看位置參數向量，且該選擇器經配置以回應於該經修改之觀看位置參數向量而選擇影像組；或影像合成器經配置以回應於該經修改之觀看位置參數向量而產生合成影像。
在諸多實施例及案例中，此可提供改良之操作。特定言之，當遠端客戶端接收影像時，可導致該設備產生可能更靠近遠端客戶端所需之影像之一合成影像。複數個接收之觀看位置參數向量可包含當前/最近接收之觀看位置參數向量。
根據本發明之一選用特徵，該設備進一步包括一快取記憶體及一預先選擇器，該預先選擇器經配置以：自複數個接收之觀看位置參數向量預測一修改之觀看位置參數向量；且回應於該經修改之觀看位置參數向量與相關聯之位置參數向量之一比較而自該複數個影像預先選擇一組預測影像；且將該組預測影像儲存於該快取記憶體中；且該選擇器經配置以自儲存於該快取記憶體中之該組預測影像擷取影像組之至少一影像。
在諸多實施例及案例中，此可提供改良之操作。其可允許更快地產生合成影像且因此減少回應中之延遲。該做法可減少整體延時且因此導致 該設備將一影像提供至可能需要遠端客戶端之較少後處理之伺服器。複數個接收之觀看位置參數向量可包含當前/最近接收之觀看位置參數向量。
根據本發明之一選用特徵，儲存器進一步包括用於影像之深度資料且影像合成器經配置以回應於用於影像組之深度資料而進一步產生用於該合成影像之深度資料，且產生器經配置以包含輸出影像信號中之深度資料。
此可促進及/或改良接收之影像之遠端客戶端中之後處理以使得此後處理更密切對應於當前條件。特定言之，其可改良視點變換。在諸多實施例中，該深度資料可為一深度映射或一三維網格之形式。
根據本發明之一選用特徵，該設備經配置以接收一系列觀看位置參數向量且產生輸出影像信號以包括對應於該系列觀看位置參數向量之一序列合成影像。
該做法可支援其中遠端客戶端連續傳輸觀看位置參數向量之連續操作且該設備作為回應而連續產生返回傳輸至該遠端客戶端之合成影像。在諸多實施例中，該設備可產生實際上形成可由該遠端客戶端處理且演現之一視訊流之一系列影像。
在諸多實施例中，該設備可經配置以針對正接收之各觀看位置參數向量產生複數個合成影像。例如，可重複傳輸相同影像直至接收一新觀看位置參數向量。此可(例如)適合用於一靜態世界中之十分慢之移動應用。在其他實施例中，可以對應於一所要圖框速率之一速率產生新合成影像。此等影像可各基於相同觀看位置參數向量但基於不同影像，且具體言之係基於不同時間點處之影像。此可(例如)提供反映在場景中發生之動態事件之一視訊流，但其中此等動態事件係自相同觀看位置且沿相同方向看到的 (例如，一觀眾在一體育賽事中靜坐且沿相同方向觀看)。
在一些實施例中，該設備可經配置以內插於不同接收之觀看位置參數向量之間，或可能夠在正接收觀看位置參數向量之間之時間內預測觀看位置參數向量。在此情況中，可在接收觀看位置參數向量之時間點之間使用此等內插/預測之觀看位置參數向量。
根據本發明之一選用特徵，接收器經配置以將一低通濾波器應用於該系列觀看位置參數向量之至少一參數。
在諸多實施例中，此可提供或允許一改良之使用者經歷。具體言之，其可允許達成經歷之視域之一更平滑之更新及改變。可進一步促進影像/視訊編碼且通常可針對一給定品質減少所需資料速率。該濾波器通常可為一時間低通濾波器。
根據本發明之一選用特徵，接收器進一步經配置以接收一選擇指令，且該選擇器經配置以調適一選擇準則以用於回應於該選擇指令而選擇影像組。
特定言之，此可允許對個別使用者/應用之個別偏好及需求之增加之客製化及調適。具體言之，其可提供不同虛擬實境模式/服務之間之支援、控制及/或切換之一有效方式。
根據本發明之一選用特徵，該選擇器經配置以回應於接收請求忽視觀看位置參數向量之一參數之一選擇指令而忽視比較中之觀看位置參數向量之該參數。
此可提供對個別使用者/應用之個別偏好及需求之一極其有效之客製化及調適。該參數通常可係一時間參數。
根據本發明之一選用特徵，儲存器經配置以儲存一範圍樹結構中之 相關聯之位置參數向量，且該選擇器經配置以回應於該範圍樹結構中之一搜索而選擇子集。
此可提供一極其有效之做法且特定言之可允許有效搜索且選擇符合適合用於(例如)虛擬實境經歷之需求之適合影像。在諸多案例中，可允許即時提供基於大量儲存之視訊流之一可受控視訊流。
根據本發明之一態樣，提供一種影像處理設備，其包括：一位置處理器，其用於判定包括指示一觀看位置及觀看方向之參數之一第一觀看位置參數向量；一傳輸器，其用於將該觀看位置參數向量傳輸至一遠端影像伺服器；一接收器，其用於自該遠端影像伺服器接收一信號，該信號包括一第一影像及指示該第一影像之一觀看者方向及一觀看者位置之一參考位置參數向量；一更新處理器，其經配置以判定反映觀看者位置及觀看方向中之相對於第一觀看位置參數向量之變化之一更新之觀看位置參數向量；及一影像合成器，其經配置以回應於該參考位置參數向量及該更新之觀看位置參數向量而自該第一影像產生一合成影像。
本發明可提供一種用於支援(例如)基於現實影像擷取之客製化使用者經歷之改良之做法。該做法具體言之可提供(例如)基於事件/場景之擷取之虛擬實境經歷之改良之支援。該做法可允許產生客製化經歷，其中一遠端客戶端可改變且控制一觀看者在由儲存於儲存器中之影像表示之一環境中之移動。
該做法允許影像處理設備操作為提供一場景之影像之一影像/視訊伺服器之一遠端客戶端。該影像處理設備可基於傳輸之觀看位置參數向量而控制場景中之觀看位置及方向。可(例如)使用將自遠端伺服器接收之(若干)影像呈現至一使用者來提供一虛擬實境經歷。該使用者可在此虛擬實 境場景中利用影像處理設備移動，該影像處理設備控制該遠端伺服器提供跟隨此移動之適當影像。
此外，藉由影像處理設備動態地更新觀看位置參數向量且執行局部後處理以產生/合成反映與初始傳輸之觀看位置參數向量之差異之一影像，可提供改良之經歷。具體言之，該做法可補償延時且導致無任何可感知之滯後之虛擬實境經歷。
根據本發明之一選用特徵，影像合成器經配置以將一視域變換應用於對應於更新之觀看位置參數向量與參考位置參數向量之間之一觀看差異之第一影像。
此可提供一改良之使用者經歷以及正呈現之更密切反映當前條件之一影像。
回應於參考位置參數向量及更新之觀看位置參數向量自第一影像產生合成影像具體言之可包含執行反映該更新之位置參數向量與該觀看位置參數向量之間之觀看位置及/或觀看方向中之差異之視域變換。此視域變換可(例如)係基於與影像一起接收之深度資料(亦自遠端伺服器接收)。
根據本發明之一態樣，提供一種影像處理系統，其包括：一影像伺服器，其包括如以上描述之設備；及一影像客戶端，其包括如以上描述之影像處理設備。
根據本發明之一態樣，提供一種用於提供一影像之方法，該方法包括：儲存一三維場景之複數個影像，該等影像對應於該場景之不同位置及觀看方向；儲存用於該複數個影像之相關聯之位置參數向量，用於該複數個影像之一影像之一相關聯之位置參數向量包括指示用於該影像之一觀看位置及一觀看方向之資料；自一遠端客戶端接收一觀看位置參數向量；回 應於該觀看位置參數向量與該等相關聯之位置參數向量之一比較而選擇該複數個影像之一組影像；自該組影像產生一合成影像；產生用於該合成影像之一參考位置參數向量，該參考位置參數向量指示用於該合成影像之一觀看位置及一觀看方向；編碼該合成影像以產生一經編碼之合成影像；產生包括該經編碼之合成影像及該參考位置參數向量之一輸出影像信號；且將該輸出影像信號傳輸至該遠端客戶端。
根據本發明之一態樣，提供一種方法，其包括：判定包括指示一觀看位置及觀看方向之參數之一第一觀看位置參數向量；將該觀看位置參數向量傳輸至一遠端影像伺服器；自該遠端影像伺服器接收一信號，該信號包括一第一影像及指示該第一影像之一觀看者方向及一觀看者位置之一參考位置參數向量；判定反映觀看者位置及觀看方向中之相對於第一觀看位置參數向量之變化之一更新之觀看位置參數向量；且回應於參考位置參數向量及更新之觀看位置參數向量而自該第一影像合成一合成影像。
將參考下文描述之(若干)實施例明白且闡明本發明之此等及其他態樣、特徵及優勢。
101:客戶端裝置
103:顯示器
105:使用者介面
107:遠端影像伺服器
109:網路
111:相機
201:儲存器/記憶體
203:網路介面
205:接收器
207:選擇器
209:影像合成器
211:影像編碼器
213:輸出產生器
215:資料產生器
301:虛擬實境處理器
303:位置處理器
305:網路介面
307:客戶端影像合成器
309:更新處理器
401:軌跡
501:軌跡
將參考圖式且僅以實例方式描述本發明之實施例，其中圖1繪示根據本發明之一些實施例之一影像處理及分佈系統之元件之一實例；圖2繪示圖1之系統之一影像伺服器之元件之一實例；圖3繪示圖1之系統之一影像客戶端之元件之一實例；圖4及圖5繪示相對於相機位置及方向之觀看位置及方向之實例。
以下描述著重可應用於支援一三維虛擬實境應用之一影像處理及分佈系統之本發明之實施例。然而，將明白本發明不限制於此申請案，而係可應用於諸多其他影像處理演算法及系統。
圖1繪示基於一客戶端/伺服器做法之一影像/視訊分佈系統。將參考其中一客戶端裝置101將一三維(3D)虛擬實境經歷提供至一使用者之一實例描述該系統。在實例中，客戶端裝置101耦合至具體言之可包括於一虛擬實境耳機中之一顯示器103。顯示器103可呈現由客戶端裝置101產生之影像以將虛擬實境經歷提供至使用者。具體言之，提供一3D深度經歷之立體影像可投影至使用者之眼睛。
客戶端裝置101進一步耦合至一使用者介面105，使用者可通過使用者介面105控制使用者在虛擬世界中之虛擬移動。使用者介面105通常可提供用於控制使用者沿觀看方向之移動及變化兩者之方法。使用者介面105可使用需要使用者直接控制運動之主動輸入(例如，一操縱桿)或可(例如)包含自動偵測一使用者之移動之較被動之輸入。例如，使用者介面105可包含偵測一使用者之頭部移動之偵測器(諸如加速度計)。舉一特定實例，可(至少部分)由一虛擬實境耳機實施使用者介面105及顯示器103兩者。
一虛擬實境經歷較佳應允許使用者適時選擇相對於一虛擬世界之位置、視點/方向及移動。然而，此可在基於圖形模型之人工虛擬實境經歷(諸如在電腦遊戲中)中實施，十分難以有效地且準確地達成基於現實擷取之影像或視訊之經歷。實際上，在一「理想」虛擬世界中，將由相機感測器自所有位置及所有方向不斷擷取動態場景。然而，此一做法明顯係不可行的。
此繪示基於(通常由相機)擷取現實特徵之一虛擬世界經歷與其中離線產生3D模型及紋理且使用已知電腦圖形技術產生一虛擬世界之純電腦圖形情況之間之一根本差異。例如，針對視訊直播來說，此一做法係不可行的。實際上，儘管可能想像可自視訊直播發展一單一幾何模型，但自動產生具有高準確性及細節之此一世界將係不切實可行的。因此，該做法對大多數應用來說係不可行的，且特定言之對即時應用係不可行的。
在圖1之系統中，基於自一遠端影像伺服器107接收之影像/視訊而將3D虛擬實境經歷提供至使用者。客戶端裝置101及遠端影像伺服器107經由在特定實例中由一網路109實施之一通信通道耦合在一起。網路109具體言之可為或包括網際網路。
在系統中，遠端影像伺服器107將影像提供至客戶端裝置101，客戶端裝置101基於此而產生呈現至使用者之影像。遠端影像伺服器107耦合至潛在大量影像擷取裝置(在特定實例中係視訊相機111)。相機111通常沿諸多不同方向且自諸多不同觀看位置擷取一現實場景。此等影像/視訊流儲存於遠端影像伺服器107中且用於將影像提供至客戶端裝置101，使得此可產生對應於擷取之場景之影像且同時允許使用者動態地控制此場景內之移動及觀看方向。在一些實施例中，該場景可為一靜態場景但在諸多實施例中亦可為依據時間而變化之一動態場景(諸如(例如)一體育賽事之一錄製)。
為了提供一實際可使用之系統，減少遠端影像伺服器107與客戶端裝置101之間之資料速率係重要的。因此，簡單地傳輸經擷取之影像流/視訊係不可行的。此外，簡單地允許使用者在擷取之視訊之間切換導致一實質上減少之經歷且通常將不允許一實際虛擬實境經歷。除擷取問題外，將需 要串流傳輸至使用者之影像資料量將額外地增長且觀看者除了選擇一視域方向外在3D空間中取得一任意位置之自由度增加。
在圖1之系統中，遠端影像伺服器107儲存一局部記憶體中之相機111中之影像/視訊。客戶端裝置101經配置以將一觀看位置參數向量傳輸至遠端影像伺服器107，其中該觀看位置參數向量指示場景中之(所要)觀看位置及方向。基於接收之觀看位置參數向量，遠端影像伺服器107經配置以自記憶體擷取適當影像且產生/合成關於該接收之觀看位置參數向量之一影像。具體言之，所產生之影像(被稱為合成影像)經產生為對應於沿在接收之觀看位置參數向量中指示之位置及方向之視域之一者。
將該合成影像返回傳輸至客戶端裝置101，其中該合成影像可在呈現至使用者之前經處理(具體言之，可使用一相對較小之視域轉變來調整早期傳輸之觀看位置參數向量與當前觀看位置/方向之間之差異)。
具體言之，在系統中，基於儲存之視訊流，一客製化視訊由遠端影像伺服器107編碼且傳輸至一使用者，此取決於個別使用者在虛擬世界中之位置及觀看方向。獲得一個且相同虛擬實境資料庫之兩個使用者將據此接收不同編碼之視訊流(例如，在H.264中)，此取決於其等在虛擬3D空間中之當前位置及觀看方向。
因此，用於個別使用者之視訊流針對個別使用者經客製化且具體言之可靠近對應於當前觀看位置及方向之視域。然而，由於延時，自觀看位置參數向量被傳輸以來，位置及觀看方向可能已經改變，且相應地，客戶端裝置101可修改接收之影像以考量此偏差。
因此，在系統中，僅需要將一個影像自遠端影像伺服器107傳輸至客戶端裝置101，且因此資料速率可保持較低。然而，該系統仍然允許將一 準確影像呈現至使用者，其中該影像密切對應於使用者之當前位置及觀看方向。該做法藉由使用其中用於使用者之影像之合成跨遠端影像伺服器107及客戶端裝置101分佈之一客製化做法而達成此舉，其中遠端影像伺服器107產生通常將靠近對應於當前位置及觀看方向之影像之一適合影像，且其中客戶端裝置101微調此影像以考量任何偏差。
舉一特定實例，遠端影像伺服器107可經由一預先儲存之影像資料庫上之多方向查詢而產生用於個別使用者之個人H.264視訊流。該查詢通常使用包括反映虛擬世界中之使用者當前情況之六個參數(三個用於位置，兩個用於觀看方向及一個時間參數)之一觀看位置參數向量。在視訊編碼程序期間，遠端影像伺服器107可自客戶端裝置101接收使用者位置及觀看方向之實際量測。取決於此等參數，自記憶體/資料庫擷取一組影像。使用基於影像之演現自此等影像合成使用者之實際視域且將該結果加入至一H.264編碼流。因此，回應於使用者之改變之位置及觀看方向參數而即時產生一個人視訊。
一實際實例性應用可為一流行音樂會之錄製。例如，100個人可正擷取該事件之一視訊。一「傳統」儲存做法將可在伺服器側處儲存此等100個視訊流。接著，若一用戶想要在人群中導航，則此將導致對伺服器之一系列請求，從而每次自一個視訊流切換至另一個視訊流(且開始另一解碼程序)。
相比而言，根據本文描述之例示性做法，所有100個擷取之視訊流可在一單一資料庫中儲存為個別影像，其中各影像(例如)經編索引具有一位置、定向及時間。接著，用於可視化之提及之工作流程可為如下：1.客戶端裝置101將位置/定向/時間發送至遠端影像伺服器107； 2.執行一搜索以判定相關影像；3.遠端影像伺服器107自該等相關影像合成一觀看影像；4.遠端影像伺服器107將經合成之觀看影像加入至當前輸出視訊流；5.客戶端裝置101自遠端影像伺服器107接收具有後設資料(位置及觀看方向以及視情況一時間參數)之視訊；6.客戶端裝置101取決於當前(裝置)觀看位置、方向及時間合成(若干)當前視域。
圖2更詳細地繪示圖1之遠端影像伺服器107之一些元件。
遠端影像伺服器107包括其中記錄來自相機111之擷取之影像/視訊流之一儲存器/記憶體201。除了影像/視訊流外，將儲存指示位置、相機方向(觀看方向)及可能係用於個別影像之時間之後設資料。該後設資料可儲存為普通後設資料，因而(例如)針對一固定相機，可將位置及可能之相機方向簡單地提供至影像/視訊流。然而，在諸多實施例中，可儲存反映改變相機位置及/或方向之時間之後設資料，且不同影像可據此具有不同相關聯之後設資料。
在下文中，當係指在系統中提供之信號時，術語影像/視訊將交替使用，但將明白，視訊流固有地由個別影像(圖框)組成且該做法不必要求影像之序列但可應用於單一影像。
因此，與影像儲存於記憶體201中之後設資料可提供包含複數個參數之一資料向量。用於個別影像之此等參數提供指示用於該影像之(至少)一觀看位置及一觀看方向之值。例如，一向量可包含指示一觀看位置之三個參數，具體言之諸如虛擬世界中之一x、y及z座標。另外，該向量可包含指示一觀看方向之兩個參數，諸如一方位角及一仰角值。對應地，位置參 數向量可為包含界定一位置及(觀看方向)之參數值之一資料設置或結構。在該實例中，包含三個位置參數/座標及兩個方向參數，但將明白在其他實施例中可使用其他數目。亦將明白，資料向量可以任何適合方式表示、儲存或處理且無需為(例如)一起儲存在(例如)連續記憶體位置中之5個或6個值。確切而言，該向量可為提供用於包含(至少)一觀看位置及觀看方向之一指示之一影像之參數之任何表示方法。
例如，若一相機遵循通過虛擬世界之一預定路徑，則此路徑可表達為一單一變量之一函數且該向量可能僅由表示此變量之一單一參數值表示。在此情況中，該相機之特定位置及觀看方向可經計算為該變量之一預定函數。將明白在此等實施例中，一位置參數向量可視為對應於由於評估該函數導致之值(例如，計算之位置或觀看方向之座標)或對應於(若干)輸入變量本身。
亦將明白在諸多實施例中，針對複數個影像，一位置參數向量之參數值可係隱含或普通的。例如，一群組相機可經定位以與(例如)相同x座標一致。在此一情況中，可由其後跟著用於改變位置/觀看方向參數之個別參數值之指示該群組之x座標之一單一值儲存/表示對應位置參數向量。
在諸多實施例中，諸如一音樂會或體育賽事之特定例示性應用，時間態樣係重要的。具體言之，針對一靜態虛擬世界經歷，通常可忽視時間參數且將針對相同觀看位置及方向(不管時間)產生相同影像。此一應用之一實例可係已自諸多不同位置及諸多不同方向拍攝之一空博物館。針對所有影像，可儲存反映用於該個別影像之位置及相機方向之一相關聯之位置參數向量。然而，由於場景係靜止的且不隨著時間而改變，所以亦無需或無理由記錄擷取之時間。據此，可針對影像儲存一個五參數資料向量。
在此等實例中，客戶端裝置101可將一觀看位置參數向量提供至亦包括五個參數值之遠端影像伺服器107。回應於此，遠端影像伺服器107可產生一適合影像而不用考慮任何時間態樣。該做法可(例如)允許客戶端裝置101產生其中使用者可在一三維虛擬博物館中自由走動以觀看各種展覽之一虛擬實境經歷。
在大多數應用中，諸如(例如)一音樂會或一體育賽事之一演現，然而擷取之場景隨著時間而改變。在此等情況中，儲存之影像通常亦與一時間參數相關聯，即相關聯之位置參數向量亦包含一時間參數。此允許提供反映一動態即時事件之一虛擬經歷。以下描述將著重於應用該做法以提供一暫態事件之一虛擬實境經歷(而非僅一靜態虛擬實境世界)，諸如(例如)一音樂會或一體育賽事。
該等相機可藉由來自諸多不同位置及諸多不同方向之一系列影像(具體言之一視訊流)擷取一動態場景。遠端影像伺服器107可將動態虛擬世界儲存於記憶體201中作為分離圖片以及相關聯之位置參數向量。
具體言之，該等影像可儲存於對應於一範圍樹之一結構中(https：//en.wikipedia.org/wiki/Range_tree)。實際上，發明者已意識到對特定應用來說，使用一範圍樹結構提供極其有利之做法，因為其實質上可促進針對一給定接收之觀看位置參數向量而識別及選擇適合影像。
在特定實例中，相關聯之位置參數向量表示六個不同參數且據此可由六維參數向量表示該範圍樹中之單點： v =(x,y,z,θ,φ,t),其中x、y、z表示歐式(Euclidian)座標中之相機位置，θ係相機極角、φ係相機方位角，且t表示時間。
遠端影像伺服器107進一步包括經配置以使得遠端影像伺服器107介接至網路109，使得遠端影像伺服器107可與其他裝置通信之一網路介面203。具體言之，網路介面203經配置以自客戶端裝置101接收資料且將資料傳輸至客戶端裝置101。將明白，熟習技術者將清楚知道用於在兩個裝置之間通信之諸多做法，包含經由一網路(諸如網際網路)通信。為清楚起見，據此將不再詳細描述此等做法，但將明白可使用使得遠端影像伺服器107與客戶端裝置101彼此通信之任何適合做法。
遠端影像伺服器107包括具體言之可自客戶端裝置101接收一觀看位置參數向量之一接收器205。該觀看位置參數向量可包括數個參數且提供一觀看者之一位置及其中觀看者正在虛擬世界中觀看之方向之一指示。該觀看者位置參數向量提供其中客戶端裝置101請求提供(虛擬世界/場景之)一影像之觀看位置及方向之一指示。因此，觀看位置參數向量通常可指示使用者在於客戶端裝置101處產生之三維虛擬世界中移動之一特定觀看者位置及方向。
通常，該觀看位置參數向量包括可進一步包含先前討論之一時間參數之一組參數。例如，針對一體育賽事應用，該觀看位置參數向量可包含指示觀看者之位置之三個參數值、指示觀看方向之兩個參數值及表示期望影像出現之時間點之一個參數值。
因此，對應於針對記憶體201中之影像儲存之相關聯之位置參數向量，觀看位置參數向量具體言之可由六維參數向量表示： v c =(x,y,z,θ,φ,t),其中x、y、z表示觀看者在歐式座標中之位置，θ係極角且φ係其中觀看者觀看之方向之方位角，且t表示時間。
接著，遠端影像伺服器107可繼續合成對應於觀看位置參數向量之一影像，即當在時間t處沿θ、φ之方向觀看時，遠端影像伺服器107可繼續產生對應於x、y、z之位置中之視域之一影像。
為了完成此舉，遠端影像伺服器107首先自記憶體201選擇一組適合之儲存影像，然後基於該組選定影像合成對應於觀看位置參數向量之一影像。
據此，接收器205連接至經配置以回應於觀看位置參數向量與相關聯之位置參數向量之一比較而選擇儲存於記憶體中之影像之一組影像之一選擇器207。該選擇通常將包括選擇符合一給定接近需求之影像。例如，可針對所有儲存之影像界定且評估位置參數向量之參數值之間之一距離量測。接著，影像組可(例如)經選擇為具有低於一給定臨限值之一距離量測之影像或(例如)經選擇為具有最低距離量測之N個影像。
大體上，搜索所有儲存之影像在諸多系統中可係一十分複雜及耗費資源之操作。然而，在描述之實例中，該等影像儲存於一範圍樹結構中，且具體言之圍繞位置參數向量之參數組織該範圍樹結構。該範圍樹可為一N維樹，其中N係向量之維度，即其反映參數之數目。
在特定實例中，在接收之觀看位置參數向量(反映由客戶端提供之實際位置/旋轉及時間)之情況下，在範圍樹中實施一遞歸二元搜索以找出滿足(例如)下者之所有影像： v c,k -△ k < v k
Figure 106133643-A0305-02-0023-6
v c,k +△ k
對所有k而言，其中k係表示向量之個別參數之一指數，且 v c 係觀看位置參數向量。個別參數k之可接受偏差值△ k 可針對不同參數而不同，且在一些實施例中可由客戶端裝置101控制，如將在下文中所描述。
該比較通常可(除非(例如)提供一靜態世界虛擬實境經歷)包含對一時間參數之一考量。具體言之，在以上方程式中，k之一個值可對應於該時間參數。通常將針對時間參數而將可接受偏差△ k 設置地相對較低以確保影像之一時間一致產生(具體言之確保產生一時間一致視訊)。
基於一範圍樹之此特定搜索可係高效且實際上複雜性可判定為O((log n) d +k),其中n係資料(影像)之數目，d係搜索空間之維度，且k係請求之間隔中之影像數目。
取決於可接受偏差△ k ，範圍搜索可導致0至N個擷取之影像。若找到對應於係空白之影像組之0個影像，則此指示使用者正移動至由虛擬世界(由遠端影像伺服器107/擷取之影像支援)表示之空間外。在此情況中，遠端影像伺服器107可(例如)返回一錯誤訊息及/或提供對應於最接近之擷取之影像之一影像。
遠端影像伺服器107亦包含經配置以產生/合成對應於選定及擷取之影像組中之觀看位置參數向量之一影像之一影像合成器209。此合成具體言之可包含可(例如)使用該組影像之影像執行視域轉變、內插等等之一視域合成操作。在一些實施例中，該合成可進一步包含選擇該組影像之一子集且僅將此子集用於該合成。在諸多情況中，該合成係基於複數個影像且具體言之可涉及該組影像之至少兩個影像之間之視域插值。
舉合成之過程之一實例，影像合成器209可執行在參數空間中靠近且推斷一深度映射之影像對之間之像差估計。可基於該深度映射合成一新影像。
影像合成器209耦合至經配置以一適合格式編碼合成影像之一影像編碼器211。例如，遠端影像伺服器107可產生發送至客戶端裝置101之一 H.264編碼之視訊流，且影像編碼器211可經配置以根據該H.264編碼格式編碼合成影像。將明白，可使用任何適合之視訊或影像編碼格式。
影像編碼器211耦合至經配置以產生為包括編碼之合成影像之一資料流之形式之一輸出信號之一輸出產生器213。輸出產生器213耦合至經配置以將該輸出資料流傳輸至客戶端裝置101之網路介面203。
因此，回應於傳輸指示一觀看位置、方向及一般而言時間之一觀看位置參數向量，客戶端裝置101將自遠端影像伺服器107接收對應於此等參數之一影像。據此，客戶端裝置101之使用者可界定虛擬世界中之一位置及觀看方向(及時間)，且作為回應將接收力求提供使用者將自此位置及方向(且在此時)感知到之虛擬世界之視域之一影像。
遠端影像伺服器107進一步包括經配置以產生用於合成影像之一參考位置參數向量之一資料產生器215，其中該參考位置參數向量指示該合成影像之一觀看位置及觀看方向及一般而言一時間點。
該參考位置參數向量可係與相關聯之位置參數向量及/或觀看位置參數向量相同之格式。其提供用於合成影像之對應資訊且通常亦可以一向量之形式提供： v =(x,y,z,θ,φ,t),其中x、y、z表示歐式座標中之觀看位置，θ係觀看方向極角、φ係觀看方向方位角，且t表示時間。實際上，相對於該觀看位置參數向量(及相關聯之位置參數向量)提供之注釋亦與參考位置參數向量相關(作了必要的修正)。
因此，該參考位置參數向量提供用於合成影像之一參考點且具體言之指示其中產生影像之位置及觀看方向(及時間)。此等位置及觀看方向可 與接收之值不同，即該參考位置參數向量可與觀看位置參數向量不同。此可(例如)歸因於擷取之影像之細微度而發生。例如，藉由針對與觀看位置參數向量之位置或時間稍不同之一位置或時間而產生合成影像，可能更直接地使用儲存之影像之一或多者且此可提供一較高影像品質。
舉另一實例，伺服器可具有處於適當位置之可預測使用者正看向何處且使用者係如何適時移動之一預測模型。作出一預測意謂伺服器將返回發送與客戶端請求之不同之一參數向量。
因此，然而通常參考位置參數向量可與觀看位置參數向量偏離，該偏離通常將相對較小且實際上客戶端裝置101通常將接收十分靠近其中該客戶端裝置101請求之該等參數之影像之一合成影像。
資料產生器215耦合至經配置以包含發送至客戶端裝置101之產生之資料流中之參考位置參數向量之輸出產生器213。
圖3更詳細地繪示圖1之客戶端裝置101之一些元件。
客戶端裝置101包括經配置以執行基於自遠端影像伺服器107接收之影像而將一虛擬實境經歷提供至一使用者之一虛擬實境應用之一虛擬實境處理器301。虛擬實境處理器301具體言之可與一虛擬實境耳機及/或(例如)一操縱桿介接以追蹤一虛擬世界中之一使用者之移動及頭部移動。虛擬實境處理器301可將3D影像提供至虛擬實境耳機且基於自該虛擬實境耳機之輸入而追蹤該使用者係如何移動其頭部的。
虛擬實境處理器301耦合至經配置以判定包括指示虛擬世界中之一觀看位置及觀看方向之參數之一當前觀看位置參數向量之一位置處理器303。位置處理器303具體言之可自虛擬實境處理器301接收位置及觀看方向之資訊且可以一適合資料結構打包此資料。其可進一步加入一時間參 數，諸如當前時間點(例如，即時或在虛擬實境之時間圖框中)。在一些實施例中，位置處理器303亦可自虛擬實境處理器301接收時間資訊。
位置處理器303耦合至經配置以使得客戶端裝置101介接至網路109，使得客戶端裝置101可與其他裝置(且具體言之與遠端影像伺服器107)通信之一網路介面305。將明白，在其他實施例中可使用其他通信方法。
因此，客戶端裝置101經配置以產生一觀看位置參數向量且將該觀看位置參數向量傳輸至將網路介面203用作為一傳輸器之遠端影像伺服器107。作為回應，遠端影像伺服器107合成一對應影像且將該對應影像與先前描述之一參考位置參數向量一起傳輸至客戶端裝置101。
網路介面305支援雙向通信且因此亦充當為接收包括該影像及參考位置參數向量之此信號/資料流之一接收器。網路介面305耦合至經配置以基於該接收之影像合成一輸出影像之一客戶端影像合成器307。將此合成之輸出影像饋入至接著可將該合成之輸出影像呈現至使用者之虛擬實境處理器301。
然而，歸因於該系統之延時，自觀看位置參數向量傳輸至遠端影像伺服器107後，使用者在虛擬世界中之當前位置可已改變。據此，客戶端裝置101包括經配置以判定反映相對於傳輸之觀看位置參數向量之觀看位置及觀看方向中之變化之一更新之觀看位置參數向量之一更新處理器309。
在一些實施例中，該更新之觀看位置參數向量可經產生作為(例如)指示當前值與傳輸之觀看位置參數向量值之間之差異之一相對向量。然而，在其他實施例中，該更新之觀看位置參數向量可簡單地為一當前觀看位置參數向量。因此，在一些實施例中，更新處理器309可簡單地請求位置處 理器303中之一當前觀看位置參數向量。實際上，位置處理器303可連續產生觀看位置參數向量且將其等傳輸至遠端影像伺服器107，且亦可將此等觀看位置參數向量提供至更新處理器309。當前正發送之觀看位置參數向量據此亦可為一先前發送之觀看位置參數向量(且因此係一當前接收之影像/參考位置參數向量)之一更新之觀看位置參數向量。
將更新之觀看位置參數向量饋入至繼續基於接收之影像、參考位置參數向量及更新之觀看位置參數向量而合成輸出影像之客戶端影像合成器307。
使用者之位置及觀看方向中之變化以及由遠端影像伺服器107處之處理引入之任何偏差通常係相對較小的。據此，更新之觀看位置參數向量與參考位置參數向量之間之差異通常係相對較小的。通常，該等差異指示使用者之位置及/或他正觀看之方向之相對較小之變化。
據此，當合成輸出影像時，客戶端影像合成器307可執行接收之影像之相對較小之校正。具體言之，客戶端影像合成器307可藉由適當地平移像素在立體影像中之位置而執行視域旋轉或平移。例如，可由客戶端接收具有相關聯之3D網格之一影像。接著，可使用紋理映射合成當前視域。據此，可由客戶端接收具有相關聯之深度映射之一影像。接著，該客戶端可基於其後再次跟著紋理映射之每像素深度而產生一網格以合成新視域。在另一實例中，客戶端可使用一基於深度影像之演現方法自具有相關聯之深度映射之影像產生一新視域。
因此，客戶端影像合成器307具體言之可經配置以在演現之前對接收之影像執行一觀看點/方向變換，其中該觀看點/方向變換取決於接收之參考位置參數向量與產生之更新之觀看位置參數向量之間之差異。
可由圖4及圖5繪示在客戶端側處應用一視域變換之優勢。圖4繪示當擷取具有多方向影像之場景時由一相機遵循之一軌跡401，沿此軌跡在各位置處擷取該等多方向影像(具有一適合細微度/步階尺寸)。圖5繪示可由一使用者在虛擬環境中取得之一軌跡501之一實例。在各觀看位置處，可將最靠近之可得擷取之影像加入至視訊流(例如，選擇器207可選擇最靠近之影像)。客戶端裝置101可解碼此最靠近點之影像。然而，如所指示，該等位置可不係相同的，而確切言之可存在一小差異。由於遠端影像伺服器107亦提供一參考位置參數向量，所以客戶端影像合成器307可比較該參考位置參數向量與更新之觀看位置參數向量且執行據此補償此比較結果之一視域變換。因此，此變換補償更新之觀看位置參數向量與參考位置參數向量之間之觀看差異。此可補償接收之參數量測中之延時事件及可能之不準確性。
在諸多動態實施例中，該程序亦可考量一時間參數。此可(例如)用於內插於一系列接收之影像之間及/或可(例如)用於匹配接收之影像/參考位置參數向量與局部產生之更新之觀看位置參數向量。
因此，該系統提供其中一使用者可動態且流動地具有基於現實擷取之影像之一三維經歷之一做法。該做法可提供虛擬世界中之運動之一高度靈活性及流動性。實際上，在諸多應用中，使用者可具有在運動方面看起來連續無限制且通常具有高影像品質(針對沉浸經歷)之一經歷。在一些應用中，該影像品質可不如消費者在(例如)高品質TV廣播中所習慣之品質。
該做法係基於跨一伺服器及一客戶端裝置101分佈影像產生，其中該伺服器提供可在客戶端裝置101處精選之一通常粗糙但大致正確之影像。 此可用於解決由遠端影像伺服器107中之處理引起之諸如延時或假影或由於有限數目個擷取點或裝置中固有之細微度之問題。
此外，該服務需要之資料速率及帶寬保持為較低，其中個別客戶端裝置101僅需一單一影像/視訊流。因此，不需要多個平行影像/視訊流。
在諸多實施例中，影像合成器209及/或客戶端影像合成器307之影像合成可係基於執行一3D視域變換(基於深度資料)。該深度資料可為(例如)用於該影像之一3D網格或可(例如)為包括(例如)用於該影像之像素之深度或像差值之一深度映射之形式。
據此，在諸多實施例中，記憶體201除該等影像外亦可儲存深度資訊，諸如一深度映射。可(例如)由相機111(為3D相機)直接產生該深度映射。
當提取影像組時，選擇器207亦可提取用於此等影像之深度資料(具體言之深度映射)。接著，可由影像合成器209使用該等影像及相關聯之深度映射來作出調整。除了產生一合成影像外，影像合成器209亦可產生深度資訊，諸如用於該合成影像之一深度映射或一網格。此深度映射/網格亦可饋入至輸出產生器213且可包含於輸出檔案中。
在一些實施例中，影像合成器209可藉由選擇最靠近之影像而簡單地合成影像。在此等情況中，輸出深度映射/網格可簡單地對應於該影像之儲存之深度映射/網格。
因此，在一些實施例中，客戶端裝置101除對應於觀看位置參數向量之一影像外亦接收此影像之深度資料。此深度資料通常可為一深度映射或網格之一形式且可直接由客戶端影像合成器307用於執行視域變換。例如，當(例如)觀看者正平移時個別像素之位移取決於深度。具體言之，靠 近觀看者之物體將比距該觀看者更遠之物體轉變地更多。
所描述做法之一特定優勢係其極其適合一動態使用者經歷。實際上，可支援客戶端裝置101連續提供觀看位置參數向量且作為回應遠端影像伺服器107提供一串連續影像(且具體言之係一視訊流)之一動態過程。此外，僅使用對應於實質上一單一視訊流之一正向帶寬及對應於一低速率資料連接之一逆向帶寬有效地實現此動態過程。
因此，在諸多實施例中，遠端影像伺服器107可接收(例如)具有5Hz至100Hz之一更新速率之一系列觀看位置參數向量。作為回應，遠端影像伺服器107可產生合成影像且將其等返回至客戶端裝置101(例如)作為具有一適合圖框速率(或可能具有比需要更高或更低之一圖框速率，因為客戶端裝置101基於包含之時間參數而執行圖框速率調適(例如，使用插值))之一視訊流。因此，遠端影像伺服器107可產生輸出影像信號以包括對應於該系列觀看位置資料向量之一序列合成影像。
實際上，在諸多實施例中，該做法可允許一動態即時虛擬實境經歷具有高影像品質及帶寬需求兩者。
該做法亦可允許遠端影像伺服器107同時支援複數個使用者。具體言之，遠端影像伺服器107可自複數個客戶端裝置接收觀看位置參數向量且可作為回應產生用於各客戶端裝置/使用者之一客製化及個性化視訊流。
在一些實施例中，選擇器207可經配置以自複數個接收之觀看位置參數向量(包含當前一者)預測一經修改之觀看位置參數向量。例如，選擇器207可包含一多維預測濾波器，諸如一卡爾曼(Kalman)濾波器。此可預測使用者在三維虛擬空間中之一軌跡且可(例如)另外或替代地預測觀看方向。舉一簡單實例，甚至可由一第一階線性預測濾波器簡單地預測圖5之 實例中之使用者之軌跡。
因此，基於一系列接收之觀看位置參數向量，可由遠端影像伺服器107預測進一步觀看位置參數向量(或其等之至少部分參數)。因此，在一些實施例中，選擇器207可包括預測可對應於一未來時間之觀看位置及/或觀看方向之一估計之一修改之觀看位置參數向量之一預測器。
可以不同方式使用此預測。
例如，在一些實施例中，選擇器207可經配置以回應於該經修改之觀看位置參數向量而選擇影像組及/或客戶端影像合成器307可經配置以回應於該經修改之觀看位置參數向量合成合成影像。
具體言之，可使用先前描述之做法，但相較於直接使用接收之觀看位置參數向量，可使用經修改之觀看位置參數向量。此可導致產生對應於一通常稍經修改之位置/觀看方向之一影像。具體言之，遠端影像伺服器107可估計一延時(例如，藉由回音檢查客戶端裝置101或基於包含於遠端影像伺服器107與客戶端裝置101之間之訊息中之時序資訊而施加一時序估計程序)。接著，可使用該預測器估計將預期在由此延時偏移之一時間處接收之觀看位置參數向量。因此，遠端影像伺服器107可依此方式在由客戶端裝置101接收或演現影像之時力求預測使用者位置/觀看方向。接著，可提供對應於此位置/觀看方向之一合成影像。在諸多實施例中，可能導致更靠近所要視域之一影像且因此可減少客戶端裝置101需要之後處理/視域變換之量。
替代地或另外，可使用該預測執行一預先選擇。例如，遠端影像伺服器107可包含其中影像可在自記憶體201擷取之後儲存之一快取記憶體。該快取記憶體可(例如)對應於GPU記憶體或客戶端影像合成器307之 專屬記憶體。據此，可比自記憶體201更快地取得此快取記憶體中之影像(通常將針對容量而非速度最佳化該等影像)。
在一些實施例中，選擇器207可包括基於一預測之修改之觀看位置參數向量而選擇自記憶體201提取且儲存於快取記憶體中之一組影像之一預先選擇器。該修改之觀看位置參數向量具體言之可為下一觀看位置參數向量之一預測且當接收此下一觀看位置參數向量時，可自該快取記憶體而非記憶體201擷取選定影像(若實際上已預先選擇該等選定影像)。
舉一實例，該預先選擇可係基於恰好與該選擇相同之原理，但(例如)允許一較大偏差。例如，該預先選擇亦可係基於找出滿足(例如)下者之所有影像： v c,k -△ k < v k
Figure 106133643-A0305-02-0033-7
v c,k +△ k ,然而，實質上針對預先選擇可比後續選擇選擇的值△ k 更高以補償預測中之不確定性。
基於作出關於使用者去何處之預測之參考視域之此一預先提取可減少產生一合成影像之時間延遲且據此可減少整體延時。
在一些實施例中，接收器可經配置以將一低通濾波器應用於該系列觀看位置參數向量之至少一參數。例如，可單獨濾波一系列連續觀看位置參數向量之接收之x、y及z座標以提供一平滑位置軌跡。因此，個別參數可有效地經暫態低通濾波以反映一較平滑操作。因此，該做法允許使用者經歷之一極其有效之平滑化且無需(例如)由客戶端裝置101後續接收之影像/圖框之間之時間插值。該做法特定言之可允許序列之後續影像上方之一較高一致及平滑變動。此可促進視訊編碼。
實際上，對視訊流之一有效編碼而言，視訊較佳暫時遵循一平滑運 動。為了確保此，可由遠端影像伺服器107濾波使用者位置及觀看方向參數以產生隨著時間之推移平順地變化之一視訊。針對相同品質，此減少位元速率。可由客戶端側視域合成(使用傳輸之網格或深度映射)補償相對於實際位置及定向之引入之差異，即客戶端影像合成器307執行視域變換之做法允許濾波引入相對於接收之觀看位置參數向量之偏差，若無此舉則將無理由地劣化所感知之品質。因為可存在一未知返回延遲，所以遠端影像伺服器107可如先前提及之發送具有各視訊圖框之一參考位置參數向量。客戶端裝置101可將此資訊用於一正確視域合成。為了避免新接收之資料與當前合成資料之間之時間不一致性，可使用α混合來提供一平滑運動經歷。
在一些實施例中，客戶端裝置101可進一步經配置以發送影響遠端影像伺服器107之操作之控制資料。此可(例如)用於控制由遠端影像伺服器107產生之影像之特性且特定言之可用於(例如)在不同操作模式之間且在不同虛擬實境經歷之間選擇。具體言之，其可控制對合成影像之產生施加之限制。
在一些實施例中，客戶端裝置101具體言之可經配置以傳輸控制選擇器207係如何選擇影像組之選擇指令。因此，客戶端裝置101可將一選擇指令傳輸至遠端影像伺服器107且回應於接收此選擇指令，遠端影像伺服器107可調適由選擇器207使用之選擇準則。
該選擇指令具體言之可包含應如何確定不同參數之優先級或(例如)不同參數可接受多大之一偏差之一指示。例如，該選擇指令可指示(即)x方向中之相對較大之變動係可接受的而y方向中之變動必須保持較小。
特定言之，該選擇指令可指示當選擇影像時應忽略一特定參數(或該 組參數)。特定言之，該選擇指令可指示應忽略時間參數且應包含足夠靠近指示之位置及觀看方向之所有影像(不管何時取得)。舉另一實例，該選擇指令可指示應包含一不對稱準則且應僅包含在當前時間點之後(在虛擬世界中)擷取之影像。
包含此等選擇指令可(例如)允許客戶端裝置101在(例如)由一使用者控制之不同模式中操作。
例如，取決於背景內容之類型，一使用者可想要以不同方式探索擷取之環境。在以上描述之設置中，此可使用可由自客戶端裝置101傳輸至遠端影像伺服器107之一選擇指令控制之間隔參數△ k 之不同設置來處置。
例示性操作模式可(例如)包含：
1.計時模式：事件發生之時間次序係重要的。可暫停重播，但最後圖框絕不應返回。將僅允許時間參數△ t 中之小變動。
實例：一音樂會(其中聲音係最重要之部分)、一體育賽事。
2.靜態世界模式：該記錄經探索為一靜態3D模型，所以擷取圖框之時間已變得不相關。六參數空間現在已減少至一五參數空間。此將導致自其擷取資料之一更密集空間且因此導致觀看者之更密集之有效位置/觀看角度。
實例：一虛擬博物館參觀、建築。
3.軌跡模式：該記錄經探索為一靜態3D世界。接著，可沿不同方向及不同路徑探索3D空間(x、y、z)中之此一軌跡或路徑。
實例：一遠足路徑。
對一些應用而言，搜索空間之維度可進一步減少：
1.在以上描述之靜態世界模式中，時間維度缺失，從而導致一5D空 間。
2.在以上描述之軌跡模式中，時間維度缺失，且(x、y、z)位置可沿該軌跡減少至一單一參數s。此導致一3D空間。
3.針對體育賽事，時間維度係至關重要的，但觀看位置及方向通常可受限制(觀看者通常觀看運動場而非體育館本身)。
例如，使用者可決定他想要在一相當長之時間間隔△ t 中經歷虛擬世界。在該情況中，使用者將接收僅取決於一短時間段內之位置及定向之一視訊且在場景中除由使用者本身之運動引起之移動外無物體移動。
在一些實施例中，客戶端影像合成器307可進一步當產生合成影像時能夠剪裁接收之影像。因此，在一些實施例中，由合成影像表示之呈現至使用者之觀看角度可比接收之影像之觀看角度更小。該剪裁可取決於更新之觀看位置參數向量及參考位置參數向量。
因此，在一些實施例中，遠端影像伺服器107可產生具有比顯示器(用於將影像呈現至使用者)實際需要之更大之一視域之一影像。此可促進客戶端影像合成器307之操作，因為其可允許選擇用於產生待經選擇以最佳對應於更新之觀看位置參數向量之合成影像之接收之影像。舉一低複雜性實例，若自已傳輸觀看位置參數向量後一使用者已將其頭部轉至左側，則客戶端影像合成器307可選擇更朝向接收之影像之左手側之一影像區段且將此影像用於合成。若反之該使用者已將其頭部轉向右側，則可使用更朝向影像之右手側之一影像區段。
將明白，為清楚起見，以上描述已參考不同功能電路、單元及處理器來描述本發明之實施例。然而，將明白可在不背離本發明之情況下使用不同功能電路、單元或處理器之間之任何適合之功能分佈。例如，經繪示 由分離處理器或控制器執行之功能可由相同處理器或控制器執行。因此，參考特定功能單元或電路將僅視為參考用於提供描述之功能之適合方法而非指示一嚴格邏輯或實體結構或組織。
本發明可以任何適合形式實施，包含硬體、軟體、韌體或此等之任何組合。本發明可視情況至少部分實施為在一或多個資料處理器及/或數位信號處理器上運行之電腦軟體。可以任何適合方式實體地、功能性地及邏輯性地實施本發明之一實施例之元件及組件。實際上，該功能可在一單一單元、複數個單元中實施或實施為其他功能單元之一部分。因而，本發明可在一單一單元中實施或可實體地且功能性地分佈於不同單元、電路及處理器之間。
儘管已結合一些實施例描述本發明，但不意欲將本發明限制於本文闡述之特定形式中。確切而言，僅由隨附申請專利範圍限制本發明之範疇。另外，儘管可表現為結合特定實施例描述一特徵，但熟習技術者將意識到可根據本發明組合描述之實施例之各種特徵。在申請專利範圍中，術語包括不排除存在其他元件或步驟。
此外，儘管單獨列出，但可由(例如)一單一電路、單元或處理器實施複數個構件、元件、電路或方法步驟。另外，儘管個別特徵可包含於不同申請專利範圍中，但此等特徵可能有利地經組合且包含於不同申請專利範圍中不意謂特徵之一組合不可用及/或有利。再者，將一特徵包含於一類申請專利範圍中不意謂對此類申請專利範圍之一限制，確切而言係指示若適當則該特徵同樣地可應用於其他申請專利範圍類別中。此外，申請專利範圍中之特徵之順序不意謂其中特徵必須按此起作用之任何特定順序且特定言之，一方法申請專利範圍中之個別步驟之順序不意謂必須以此順序執 行該等步驟。確切而言，可以任何適合順序執行該等步驟。另外，單數參考不排除一複數形式。因此，參考「一」(a、an)、「第一」、「第二」等等不排除一複數形式。申請專利範圍中之參考符號僅提供為一清楚實例且不應解釋為以任何方式限制申請專利範圍之範疇。
107:遠端影像伺服器
201:儲存器/記憶體
203:網路介面
205:接收器
207:選擇器
209:影像合成器
211:影像編碼器
213:輸出產生器
215:資料產生器

Claims (20)

  1. 一種影像處理設備，其包括：一記憶體，其中該記憶體經配置以儲存一三維場景之複數個影像，其中該複數個影像對應於該三維場景之不同位置及觀看方向，其中該記憶體經配置以儲存用於該複數個影像之相關聯之位置參數向量，其中用於該複數個影像之一影像之一相關聯之位置參數向量包括指示用於該影像之一觀看位置及一觀看方向之資料；一接收器電路，其中該接收器電路經配置以自一遠端客戶端接收一觀看位置參數向量，其中該觀看位置參數向量指示該三維場景之一所要觀看位置及一所要觀看方向；一選擇器電路，其中該選擇器電路經配置以回應於該觀看位置參數向量與該等相關聯之位置參數向量之一比較而自該複數個影像選擇一組影像；一影像合成器電路，其中該影像合成器電路經配置以自該組影像產生一合成影像；一資料產生器電路，其中該資料產生器電路經配置以產生用於該合成影像之一參考位置參數向量，其中該參考位置參數向量指示用於該合成影像之一觀看位置及一觀看方向；一影像編碼器電路，其中該影像編碼器電路經配置以編碼該合成影像以產生一經編碼之合成影像； 一輸出產生器電路，其中該輸出產生器電路經配置以產生包括該經編碼之合成影像及用於該合成影像之該參考位置參數向量之一輸出影像信號；一傳輸器電路，其中該傳輸器電路經配置以將包含該經編碼之合成影像及用於該合成影像之該參考位置參數向量之該輸出影像信號傳輸至該遠端客戶端；一快取記憶體；及一預先選擇器電路，其中該預先選擇器電路經配置以自複數個接收之觀看位置參數向量預測一修改之觀看位置參數向量，其中該預先選擇器電路經配置以回應於該經修改之觀看位置參數向量與該等相關聯之位置參數向量之一比較而自該複數個影像預先選擇一組預測影像，其中該預先選擇器電路經配置以將該組預測影像儲存於該快取記憶體中，其中該選擇器電路經配置以自儲存於該快取記憶體中之該組預測影像擷取該組影像之至少一影像。
  2. 如請求項1之設備，其中該等相關聯之位置參數向量之至少一者包含一第一時間參數，其中該觀看位置參數向量包含一第二時間參數，其中該組影像之選擇包含該第一時間參數與該第二時間參數間之一差異之一比較。
  3. 如請求項1之設備，其中該預先選擇器電路經配置以自複數個接收之觀看位置參數向量預測該經修改之觀看位置參數向量，且其中該選擇器電路經配置以回應於該經修改之觀看位置參數向量而選擇該組影像。
  4. 如請求項1之設備，其中該記憶體經配置以儲存用於該複數個影像之一第一深度資料，其中該影像合成器電路經配置以回應於該組影像之該第一深度資料而產生用於該合成影像之一第二深度資料，且其中該輸出產生器電路經配置以將該第二深度資料包含於該輸出影像信號中。
  5. 如請求項1之設備，其中該設備經配置以接收一系列觀看位置參數向量，且其中該設備經配置以產生該輸出影像信號以包括對應於該系列觀看位置參數向量之一序列合成影像。
  6. 如請求項5之設備，其中該接收器電路經配置以將一低通濾波器應用於該系列觀看位置參數向量之至少一參數。
  7. 如請求項1之設備， 其中該接收器電路經配置以接收一選擇指令，且其中該選擇器電路經配置以調適一選擇準則以用於回應於該選擇指令而選擇該組影像。
  8. 如請求項7之設備，其中該選擇器電路經配置以回應於請求忽視該觀看位置參數向量之一參數之該接收之選擇指令而忽視該比較中之該觀看位置參數向量之該參數。
  9. 如請求項1之設備，其中該記憶體經配置以將該等相關聯之位置參數向量儲存於一範圍樹結構中，且其中該選擇器電路經配置以回應於該範圍樹結構中之一搜索而選擇子集。
  10. 如請求項1之設備，其中該預先選擇器電路經配置以自複數個接收之觀看位置參數向量預測該經修改之觀看位置參數向量，且其中該影像合成器經配置以回應於該經修改之觀看位置參數向量而合成該合成影像。
  11. 一種用於提供一影像之方法，該方法包括：儲存一三維場景之複數個影像，其中該等影像對應於該三維場景之不同位置及觀看方向； 儲存用於該複數個影像之相關聯之位置參數向量，其中該等相關聯之位置參數向量之至少一者包括指示用於該影像之一觀看位置及一觀看方向之資料；自一遠端客戶端接收一觀看位置參數向量；回應於該觀看位置參數向量與該等相關聯之位置參數向量之一比較而自該複數個影像選擇一組影像；自該組影像產生一合成影像；產生用於該合成影像之一參考位置參數向量，其中該參考位置參數向量指示用於該合成影像之一觀看位置及一觀看方向；編碼該合成影像以產生一經編碼之合成影像；產生一輸出影像信號，其中該一輸出影像信號包括該經編碼之合成影像及用於該合成影像之該參考位置參數向量；將包含該經編碼之合成影像及用於該合成影像之該參考位置參數向量之該輸出影像信號傳輸至該遠端客戶端；自複數個接收之觀看位置參數向量來預測一修改之觀看位置參數向量；回應於該經修改之觀看位置參數向量與該等相關聯之位置參數向量之一比較而自該複數個影像預先選擇一組預測影像；將該組預測影像儲存於一快取記憶體中；及自儲存於該快取記憶體中之該組預測影像擷取該組影像之至少一影像。
  12. 如請求項11之方法， 其中該等相關聯之位置參數向量之至少一者包含一第一時間參數，其中該觀看位置參數向量包含一第二時間參數，其中該組影像之選擇包含該第一時間參數與該第二時間參數間之一差異之一比較。
  13. 如請求項11之方法，其中該選擇經配置以自複數個接收之觀看位置參數向量預測該經修改之觀看位置參數向量，且其中該選擇經配置以回應於該經修改之觀看位置參數向量而選擇該組影像。
  14. 如請求項11之方法，其中該選擇經配置以自複數個接收之觀看位置參數向量預測該經修改之觀看位置參數向量，且其中回應於該經修改之觀看位置參數向量而產生該合成影像。
  15. 如請求項11之方法，其中該儲存包括儲存用於該複數個影像之一第一深度資料，且其中該合成影像之該產生回應於用於該組影像之該第一深度資料而產生用於該合成影像之一第二深度資料。
  16. 一種影像處理設備，其包括：一處理器電路； 一記憶體，其中該記憶體經配置以儲存一三維場景之複數個影像，其中該等影像對應於該三維場景之不同位置及觀看方向，其中該記憶體經配置以儲存用於該複數個影像之相關聯之位置參數向量，且其中用於該複數個影像之一影像之一相關聯之位置參數向量指示用於該影像之一觀看位置及一觀看方向；執行於該處理器電路上之一接收器韌體，其中該接收器韌體經配置以自一遠端客戶端接收一觀看位置參數向量；執行於該處理器電路上之一選擇器韌體，其中該選擇器韌體經配置以回應於該觀看位置參數向量與該等相關聯之位置參數向量之一比較而選擇該複數個影像之一組影像；執行於該處理器電路上之一影像合成器韌體，其中該影像合成器韌體經配置以自該組影像產生一合成影像；執行於該處理器電路上之一資料產生器韌體，其中該資料產生器韌體經配置以產生用於該合成影像之一參考位置參數向量，其中該參考位置參數向量指示用於該合成影像之一觀看位置及一觀看方向；執行於該處理器電路上之一影像編碼器韌體，其中該影像編碼器韌體經配置以編碼該合成影像以產生一經編碼之合成影像；執行於該處理器電路上之一輸出產生器韌體，其中該輸出產生器韌體經配置以產生包括該經編碼之合成影像及用於該合成影像之該參考位置參數向量之一輸出影像信號；執行於該處理器電路上之一傳輸器韌體，其中該傳輸器韌體經配置 以將包括該經編碼之合成影像及用於該合成影像之該參考位置參數向量之該輸出影像信號傳輸至該遠端客戶端；一快取記憶體；及執行於該處理器電路上之一預先選擇器韌體，其中該預先選擇器韌體經配置以自複數個接收之觀看位置參數向量預測一修改之觀看位置參數向量，其中該預先選擇器韌體經配置以回應於該經修改之觀看位置參數向量與該等相關聯之位置參數向量之一比較而自該複數個影像預先選擇一組預測影像，其中該預先選擇器韌體經配置以將該組預測影像儲存於該快取記憶體中，其中該選擇器韌體經配置以自儲存於該快取記憶體中之該組預測影像擷取該組影像之至少一影像。
  17. 一種影像處理設備，其包括：一記憶體，其中該記憶體經配置以儲存一三維場景之複數個影像，其中該複數個影像對應於該三維場景之不同位置及觀看方向，其中該記憶體經配置以儲存用於該複數個影像之相關聯之位置參數向量，其中用於該複數個影像之一影像之一相關聯之位置參數向量包括指示用於該影像之一觀看位置及一觀看方向之資料；一接收器電路，其中該接收器電路經配置以自一遠端客戶端接收一 觀看位置參數向量，其中該觀看位置參數向量指示該三維場景之一所要觀看位置及一所要觀看方向；一選擇器電路，其中該選擇器電路經配置以回應於該觀看位置參數向量與該等相關聯之位置參數向量之一比較而自該複數個影像選擇一組影像；一影像合成器電路，其中該影像合成器電路經配置以自該組影像產生一合成影像；一資料產生器電路，其中該資料產生器電路經配置以產生用於該合成影像之一參考位置參數向量，其中該參考位置參數向量指示用於該合成影像之一觀看位置及一觀看方向；一影像編碼器電路，其中該影像編碼器電路經配置以編碼該合成影像以產生一經編碼之合成影像；一輸出產生器電路，其中該輸出產生器電路經配置以產生包括該經編碼之合成影像及用於該合成影像之該參考位置參數向量之一輸出影像信號；一傳輸器電路，其中該傳輸器電路經配置以將包含該經編碼之合成影像及用於該合成影像之該參考位置參數向量之該輸出影像信號傳輸至該遠端客戶端，其中該記憶體經配置以將該等相關聯之位置參數向量儲存於一範圍樹結構中，其中該範圍樹結構係圍繞該等相關聯之位置參數向量之參數而組織，其中該選擇器電路經配置以回應於藉由使用該參考位置參數向量進 行搜索之該範圍樹結構中之一搜索而選擇子集。
  18. 如請求項17之設備，其中該等相關聯之位置參數向量之至少一者包含一第一時間參數，其中該觀看位置參數向量包含一第二時間參數，其中該組影像之選擇包含該第一時間參數與該第二時間參數間之一差異之一比較。
  19. 如請求項17之設備，其中該選擇器電路經配置以自複數個接收之觀看位置參數向量預測一修改之觀看位置參數向量，且其中該選擇器電路經配置以回應於該經修改之觀看位置參數向量而選擇該組影像。
  20. 如請求項17之設備，其中該記憶體經配置以儲存用於該複數個影像之一第一深度資料，其中該影像合成器電路經配置以回應於該組影像之該第一深度資料而產生用於該合成影像之一第二深度資料，且其中該輸出產生器電路經配置以將該第二深度資料包含於該輸出影像信號中。
TW106133643A 2016-09-29 2017-09-29 影像處理設備及用於提供一影像之方法 TWI818899B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16191405.6 2016-09-29
EP16191405 2016-09-29
??16191405.6 2016-09-29

Publications (2)

Publication Number Publication Date
TW201816726A TW201816726A (zh) 2018-05-01
TWI818899B true TWI818899B (zh) 2023-10-21

Family

ID=57083147

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106133643A TWI818899B (zh) 2016-09-29 2017-09-29 影像處理設備及用於提供一影像之方法

Country Status (9)

Country Link
US (1) US11050991B2 (zh)
EP (1) EP3520414A1 (zh)
JP (1) JP7065836B6 (zh)
KR (1) KR102376593B1 (zh)
CN (1) CN109792537B (zh)
BR (1) BR112019005855A2 (zh)
RU (1) RU2746431C2 (zh)
TW (1) TWI818899B (zh)
WO (1) WO2018060334A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3383035A1 (en) 2017-03-29 2018-10-03 Koninklijke Philips N.V. Image generation from video
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
EP3588249A1 (en) * 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US10681332B1 (en) * 2018-07-27 2020-06-09 Gopro, Inc. Systems and methods for stabilizing views of videos
EP3629585A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Image synthesis
EP3644604A1 (en) 2018-10-23 2020-04-29 Koninklijke Philips N.V. Image generating apparatus and method therefor
US11961178B2 (en) 2019-05-10 2024-04-16 Roderick V. Kennedy Reduction of the effects of latency for extended reality experiences by split rendering of imagery types
KR102518819B1 (ko) * 2019-10-07 2023-04-06 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11363094B2 (en) 2020-07-20 2022-06-14 International Business Machines Corporation Efficient data processing in a mesh network of computing devices
US11659043B1 (en) * 2022-01-27 2023-05-23 Meta Platforms Technologies, Llc Systems and methods for predictively downloading volumetric data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184416A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996024216A1 (en) 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
EP1099343A4 (en) 1998-05-13 2007-10-17 Infinite Pictures Inc PANORAMIC FILMS SIMULATING A DISPLACEMENT IN A MULTI-DIMENSIONAL SPACE
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP4094942B2 (ja) * 2002-12-11 2008-06-04 日本電信電話株式会社 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体
KR100519779B1 (ko) * 2004-02-10 2005-10-07 삼성전자주식회사 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치
JP4896470B2 (ja) * 2004-09-30 2012-03-14 株式会社東芝 画像処理装置、医用画像診断装置及び画像処理方法
JP2007150747A (ja) * 2005-11-28 2007-06-14 Matsushita Electric Ind Co Ltd 受信装置及び本線映像配信装置
JP4796435B2 (ja) 2006-04-28 2011-10-19 富士フイルム株式会社 画像ビューア
JP4828506B2 (ja) * 2007-11-05 2011-11-30 日本電信電話株式会社 仮想視点画像生成装置、プログラムおよび記録媒体
JP5536676B2 (ja) * 2008-03-04 2014-07-02 トムソン ライセンシング 仮想参照ビュー
KR101473215B1 (ko) * 2008-04-18 2014-12-17 삼성전자주식회사 파노라마 이미지 생성장치 및 그 방법
JP5252703B2 (ja) * 2008-09-26 2013-07-31 独立行政法人情報通信研究機構 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
KR101313797B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
WO2011085812A1 (en) * 2010-01-14 2011-07-21 Telefonaktiebolaget L M Ericsson (Publ) Provision of a freeze-and-view-around effect at the user device
JP5520146B2 (ja) * 2010-06-30 2014-06-11 キヤノン株式会社 映像受信装置、及びその制御方法
SG188630A1 (en) 2010-09-24 2013-04-30 Gnzo Inc Video bit stream transmission system
CN103181171B (zh) * 2010-11-04 2016-08-03 皇家飞利浦电子股份有限公司 深度指示图的产生
JPWO2012147363A1 (ja) * 2011-04-28 2014-07-28 パナソニック株式会社 画像生成装置
CN107071476B (zh) * 2011-06-30 2020-12-08 索尼公司 图像解码设备和图像解码方法
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016111068A1 (ja) * 2015-01-05 2016-07-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN108243629B (zh) * 2015-11-11 2020-09-08 索尼公司 图像处理设备和图像处理方法
US10674205B2 (en) * 2015-11-17 2020-06-02 Rovi Guides, Inc. Methods and systems for selecting a preferred viewpoint for media assets

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184416A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
期刊 Arpad Huszak Advanced free viewpoint video streaming techniques Multimedia Tools and Applications 76 Springer Science+Business Media, LLC, part of Springer Nature 2015/11/11 373–396; *
期刊 Marek Domanski New results in free-viewpoint television systems for horizontal virtual navigation 2016 IEEE International conference on Multimedia and Expo (ICME) IEEE 2016/07/11 1-6 *

Also Published As

Publication number Publication date
CN109792537B (zh) 2023-06-23
KR20190052713A (ko) 2019-05-16
US11050991B2 (en) 2021-06-29
US20190273902A1 (en) 2019-09-05
JP2019537303A (ja) 2019-12-19
KR102376593B1 (ko) 2022-03-21
JP7065836B2 (ja) 2022-05-12
CN109792537A (zh) 2019-05-21
JP7065836B6 (ja) 2022-06-06
BR112019005855A2 (pt) 2019-06-11
TW201816726A (zh) 2018-05-01
WO2018060334A1 (en) 2018-04-05
RU2746431C2 (ru) 2021-04-14
RU2019112847A3 (zh) 2020-10-29
EP3520414A1 (en) 2019-08-07
RU2019112847A (ru) 2020-10-29

Similar Documents

Publication Publication Date Title
TWI818899B (zh) 影像處理設備及用於提供一影像之方法
US11694390B2 (en) Apparatus and method for generating images of a scene
JP7480065B2 (ja) 画像データストリームを生成するための装置および方法
US11317124B2 (en) Apparatus and method for generating an image data stream
JP7138653B2 (ja) ビデオからの画像生成