TWI757455B

TWI757455B - 自視訊的影像產生

Info

Publication number: TWI757455B
Application number: TW107110189A
Authority: TW
Inventors: 克莉斯汀維爾甘; 巴特庫倫
Original assignee: 荷蘭商皇家飛利浦有限公司
Priority date: 2017-03-29
Filing date: 2018-03-26
Publication date: 2022-03-11
Also published as: US10931928B2; US20200045287A1; RU2019134387A; JP2020515977A; EP3603053A1; TW201904277A; EP3603053B1; BR112019020155A2; RU2019134387A3; WO2018177681A1; CN110679146A; KR102464524B1; KR20190135502A; CN110679146B; EP3383035A1; RU2760228C2; JP7138653B2

Abstract

本發明揭示一種設備，該設備包括一儲存區(101)，該儲存區(101)用於儲存一N維空間中之一組路線之路線資料，其中該組路線中之每一路線與包含圖框之一視訊項相關聯，該等圖框包括影像及深度資訊兩者。一輸入(105)接收一觀看者位置指示，且一選擇器(107)回應於取決於一距離度量之一選擇準則而選擇該組路線中之一第一路線，該距離度量取決於該觀看者位置指示及該組路線中之該等路線之位置。一檢索器(103、109)自一視訊源(203)檢索與該第一路線相關聯之一第一視訊項。一影像產生器(111)針對該觀看者位置指示由來自該第一視訊項之一第一組圖框產生至少一個視圖影像。在系統中，該選擇準則相對於該組路線中之其他路線偏向於一當前所選擇路線。

Description

自視訊的影像產生

本發明係關於自視訊項之影像產生，且特定而言(但非排他地)，係關於針對一虛擬現實環境的自所儲存視訊項之視圖影像產生，該等所儲存視訊項可源自對真實世界環境之視訊擷取。

近年來，隨著利用及消費視訊之新服務及方式之不斷開發及推出，影像及視訊應用之種類及範圍已大幅增加。舉例而言，日益流行之一種服務係以使得觀看者能夠主動地且動態地與系統互動以改變呈現之參數之一方式提供影像序列。諸多應用中之一極具吸引力特徵係改變觀看者之有效觀看位置及觀看方向之能力，例如，允許觀看者在正呈現之場景中移動及「環視」。此一特徵可特別允許給一使用者提供一虛擬現實體驗。此可允許使用者在一虛擬環境中(相對)自由地四處移動且動態地改變其位置及其正觀看之地方。通常，此等虛擬現實應用係基於場景之一個三維模型，其中該模型被動態地評估以提供特定請求之視圖。對於電腦及控制台而言，此方法在(例如)遊戲應用中(諸如，在第一人稱射擊遊戲之類別中)係熟知的。特別係對於虛擬現實應用而言，亦期望所呈現之影像係一個三維影像。實際上，為使觀看者之沉浸感最佳化，對於使用者而言作為一個三維場景來體驗所呈現場景通常係較佳的。實際上，一虛擬現實體驗較佳地應允許一使用者選擇其自身之位置、攝影機視點及相對於一虛擬世界之時刻。通常，虛擬現實應用係固有地受限的，此乃因虛擬現實應用係基於場景之一預定模型，且通常係基於一虛擬世界之一人造模型。若一虛擬現實體驗可基於真實世界擷取而提供，則將係可取的。然而，在諸多情形中，此一方法極受限制或往往需要真實世界之一虛擬模型係依據真實世界擷取而構建。然後藉由評估此模型而產生虛擬現實體驗。然而，當前方法往往係次最佳，且通常往往具有一高計算或通信資源要求及/或提供具有(例如)降低之品質或有限自由度之一次最佳使用者體驗。作為一應用之一實例，虛擬現實眼鏡當前正進入市場。此等眼鏡允許觀看者體驗所擷取之360度(全景)視訊。此等360度視訊通常係使用攝影機裝備預先擷取的，其中個別影像拼接在一起成為一單一球形映射。360視訊之常見立體格式係上/下及左/右。類似於非全景立體視訊，左眼圖片及右眼圖片被壓縮為一單一H.264視訊串流之一部分。在解碼一單一圖框之後，觀看者旋轉其頭來觀看其周圍世界。一當前實例係由穀歌(Google)做出的對卡內基音樂廳(Carnegie Hall)中之一音樂會之一記錄[https://performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall] 。在此實例中，觀看者可體驗一360度環視效應，且可離散地在自不同位置記錄之三個視訊串流之間進行切換。在切換時，載入另一視訊串流會中斷體驗。立體全景視訊方法之一個缺點係觀看者無法改變在虛擬世界中之位置。除全景立體視訊之外，一全景深度圖之編碼及傳輸可允許補償觀看者在用戶端側之小幅平移運動，但此等補償將固有地限於小幅變化及移動且將無法提供一沉浸式且自由之虛擬現實體驗。一相關技術係其中具有深度圖之多個視點在一單一視訊串流中進行編碼及傳輸之自由視點視訊。除眾所周知之時間預測方案之外，亦可藉由利用視點之間的角度相依性來減小視訊串流之位元速率。然而，該方法仍需要一高位元速率且在可產生之影像方面係受限制的。該方法實際上無法提供在一個三維虛擬現實世界中完全自由移動之一體驗。遺憾地，先前技術中沒有一者可產生一理想體驗，而是通常往往在位置及觀看方向之改變之自由度方面受限制。另外，該等技術往往需要一極高資料速率且提供包含比產生個別影像/視圖所需更多之資料之資料串流。此外，先前技術方法往往需要大儲存容量，以便儲存大量(例如)個別擷取之影像。此外，先前技術方法往往需要相對複雜處理且具有高資源計算需求。除此之外，先前技術方法往往導致視圖影像之一次最佳產生，且特定而言，通常給移動於一虛擬世界中之一使用者提供一不連貫且相對不一致體驗。舉例而言，KR2017 0007098 A揭示一種用於針對可不同於已擷取場景之一影像之擷取姿態之一給定使用者姿態而產生影像之系統。該方法可選擇一最近擷取姿態，且依據來自該最近擷取姿態之影像針對使用者姿態而產生一視圖影像。然而，該方法往往具有上文所描述之所有缺點，且特定而言，需要高計算資源、係複雜的、係基於複雜且困難之擷取操作，且往往產生不具有最佳品質且此外在一使用者移動時往往不一致的視圖影像。因此，一經改良方法將係有利的。特定而言，允許改良操作、增大靈活性、增大用於產生對應於不同觀看位置及方向之影像之範疇、改良虛擬現實體驗、減小資料速率、促進分配、減小複雜性、促進實施、減小儲存要求及/或改良效能及/或操作的一方法將係有利的。

因此，本發明尋求單一地或以任一組合來較佳地減輕、緩和或消除上文所提及缺點中之一或多者。根據本發明之一態樣，提供一種設備，該設備包括：一儲存區，其用於儲存表示空間姿態 之一N維空間中之一組路線，該組路線包括複數個路線，且該組路線中之每一路線描述穿過該 N 維空間之一攝影機姿態軌跡 且連結至包含圖框之一視訊項，該等圖框包括針對該路線之攝影機姿態 之影像及深度資訊兩者；一輸入，其用於接收一觀看者位置指示；一選擇器，其用於回應於取決於一距離度量之一選擇準則而選擇該組路線中之一第一路線，該距離度量取決於該觀看者位置指示及該組路線中之該等路線之位置；一檢索器，其用於自一視訊源檢索與該第一路線相關聯之一第一視訊項；一影像產生器，其用於針對該觀看者位置指示由來自該第一視訊項之一第一組圖框產生至少一個視圖影像；其中該選擇準則相對於該組路線中之其他路線偏向於一當前所選擇路線。在諸多情景中且針對諸多應用，該方法可提供經改良效能及/或操作。特定而言，在諸多情景中，該方法可提供一經改良虛擬現實體驗。特定而言，通常可達成具有低延時、高品質、低通信資源要求、低儲存資源要求及/或低計算資源要求之一高效方法。舉例而言，該方法可允許對一用戶端伺服器配置之減小之通信或計算資源要求，該用戶端伺服器配置用於基於儲存視訊項之一伺服器而在一用戶端裝置處提供一虛擬現實體驗，且可能地亦提供路線資料。舉例而言，該方法可用於基於與路線資料相關聯(連結至路線資料)之視訊項而非基於個別影像及相關聯位置而表示一虛擬環境。舉例而言，此可允許使用高效視訊編碼技術，從而產生減小之儲存及通信資源。在諸多實施例中，該方法可允許促進自真實世界擷取產生表示一虛擬環境之資料。舉例而言，基於在真實世界環境中四處移動時所擷取之視訊項可有效地產生對應於一真實世界環境之一虛擬環境中之一虛擬體驗。特定而言，N維空間可包括與在N維空間中之一位置及/或視圖定向有關之維度。N係一整數，特定而言，N可表示反映一虛擬環境中之一位置之1-3個空間維度及反映虛擬環境中之一視圖定向之1-3個空間維度。特定而言，觀看者位置指示可係對N維空間中之一位置之一M維(其中M通常等於N)指示。特定而言，觀看者位置指示可表示反映一虛擬環境中之一位置之1-3個空間維度及反映虛擬環境中之一視圖定向之1-3個空間維度。視訊項包含影像及深度資訊兩者，藉此允許自可不同於藉由視訊項而擷取之視點之視點之視圖影像產生。此可提供一經改良體驗，例如允許一使用者相對於視訊項之影像之攝影機方向而轉彎。每一路線可連結至一個視訊項，其中該路線描述穿過對應於該視訊項之N維空間之一(可能地虛擬)攝影機軌跡。沿著該路線之位置可與視訊項之圖框之位置相關聯。選擇器可經配置以增大回應於針對一給定路線之距離度量指示觀看者位置指示與給定路線之間的一減小之距離而選擇給定路線之機率。距離度量可(例如)係基於一適合範數。視圖影像可經產生而對應於一觀看者在由觀看者位置指示給定之N維空間中之一位置處將感知之視圖。輸入可接收一系列觀看者位置指示，且該設備可經配置以產生一系列對應視圖影像。該設備之操作可動態地反覆進行，藉此提供一動態使用者體驗。舉例而言，觀看者位置指示可描述穿過N維空間之路徑或路線，且作為回應，該設備可產生對應於一觀看者沿著彼路徑或路線移動將體驗之視圖之一系列影像。當前所選擇路線可係針對一先前觀看者位置指示而選擇之一路線，且特定而言可係針對最近所接收觀看者位置指示而選擇之一路線。特定而言，觀看者位置指示可係一系列觀看者位置指示中之一觀看者位置指示，且當前所選擇路線可係針對在當前觀看者位置指示之前所接收之最近觀看者位置指示而選擇之路線。視訊項可係經編碼視訊項。視訊項可包括經圖框內編碼圖框及經圖框間編碼圖框。經圖框內編碼圖框係獨立於其他圖框而編碼。經圖框間編碼圖框係相對於至少一個其他圖框而編碼。視訊項可包括I圖框以及B及/或P經編碼圖框。可藉由與針對該組路線中之其他路線不同的針對當前所選擇路線之選擇準則而實施朝向當前所選擇路線之偏向。選擇準則相對於當前所選擇路線及該組路線中之其他路線可係非對稱的。特定而言，相對於針對該組路線中之其他路線之距離度量，選擇準則相對於針對當前所選擇路線之一距離度量可係非對稱的。選擇準則可經配置以導致針對觀看者位置指示之不同值而選擇不同路線。偏向可使得將選擇當前所選擇路線，除非至另一路線之距離度量比至當前路線之距離度量短一半以上。第一組圖框可係一或多個圖框。在某些實施例中，該影像產生器可經配置以回應於來自一個以上視訊項之圖框而進一步產生視圖影像。舉例而言，若選擇一新路線，則可依據先前所選擇路線及新選擇之路線之圖框而產生視圖影像。根據本發明之一選用特徵，該影像產生器經配置以相對於該觀看者位置指示回應於該第一視訊項之圖框之路線位置資料而選擇第一圖框。在諸多實施例中，此可提供經改良效能及/或操作。根據本發明之一選用特徵，該影像產生器經配置以：若該第一路線被選擇作為該當前所選擇路線，則使該第一組圖框之選擇偏向於至該第一視訊項之一第一組當前所選擇圖框具有一較小時間距離之圖框。在諸多實施例中，此可提供經改良效能及/或操作。特定而言，其可提供經改良時間一致性且可減輕時間上變化之假影。根據本發明之一選用特徵，該影像產生器經配置以：若該第一路線被選擇作為該當前所選擇路線，則基於一圖框選擇度量而執行該第一組圖框之該選擇，該圖框選擇度量隨著至該第一視訊項之一當前所選擇圖框之時間距離之一減小而增大。在諸多實施例中，此可提供經改良效能及/或操作。特定而言，其可提供經改良時間一致性且可減輕時間上變化之假影。根據本發明之一選用特徵，該儲存區進一步經配置以儲存視訊序列之路線之相交位置；且該選擇準則係取決於該等相交位置。在諸多實施例中，此可提供經改良效能，且特定而言，可提供對適合視訊項之經改良選擇。舉例而言，在某些實施例中，其可(例如)藉由允許設備檢索針對與當前路線相交之可能未來路線之視訊項而減小延時。該等相交位置可指示路線之間的相交點，且可(例如)以N維空間之維度(中之至少某些維度)之座標形式提供，或相對於路線資料或視訊項(諸如，例如一圖框編號)可(例如)係給定的。若兩個路線之位置處於低於一臨限值之一距離，則可視為存在一相交點。一相交點可係任何叉路口，包含一T型叉路口或一個路線之結束與另一路線之開始之間的一叉路口。根據本發明之一選用特徵，該選擇器經配置以針對對應於相交位置之觀看者位置指示而減小朝向該當前所選擇路線之該偏向。此可提供經改良效能，且特定而言，可藉由使不同視訊項之間的轉變與其他地方相比更可能發生於相交點處而改良此等轉變。在某些實施例中，可僅在相交點處允許至一新路線之轉變。根據本發明之一選用特徵，其中朝向該當前所選擇路線之該偏向取決於該觀看者位置指示與相交位置之間的一距離。此可提供經改良效能，且特定而言，可藉由使不同視訊項之間的轉變與其他地方相比更可能發生於相交點處而改良此等轉變。在某些實施例中，可僅在相交點處允許至一新路線之轉變。根據本發明之一選用特徵，該儲存區經配置以儲存具有作為節點之相交點及由邊緣反映之路線之一圖表。在諸多實施例中，此可提供特別高效之操作。根據本發明之一選用特徵，與至少某些視訊序列之相交點位置相關聯之圖框係經圖框內編碼圖框。在諸多實施例中，此可促進及/或改良操作。舉例而言，其可促進不同路線/視訊項之間的轉變，此乃因其可減小需要被解碼之圖框之數目。根據本發明之一選用特徵，該影像產生器經配置以依據該第一組圖框中之至少一第一圖框及來自一先前所選擇第二路線之一第二圖框而產生該視圖影像。在諸多實施例中，此可促進及/或改良操作。該第一圖框可被選擇作為一經圖框內編碼圖框，及/或該第二圖框可被選擇作為一經圖框內編碼圖框。特定而言，該第一圖框可係一相交點圖框。該視圖影像之產生可包含依據來自一先前所選擇路線之一經圖框內編碼(I)圖框及來自該第一路線之一經圖框內編碼(I)圖框(第一圖框)而解碼一所預測圖框(通常為一雙向(B)圖框)。(先前所選擇路線可對應於在選擇第一路線之前的當前所選擇路線，尤其係在選擇器選擇該第一路線作為與當前所選擇路線(在選擇第一路線之前)不同之一路線時)。此通常可係設備自一個路線切換至另一路線時之情景。根據本發明之一選用特徵，該第二圖框係和該第一路線與該先前所選擇第二路線之間的一相交點相關聯之一圖框。在諸多實施例中，此可促進及/或改良操作。根據本發明之一選用特徵，該儲存區進一步經配置以儲存指示該組路線中之各路線之間的一空間關係之關係資料，且該第一路線之該選擇係回應於該關係資料而做出。在諸多實施例中，此可提供經改良效能及/或操作。根據本發明之一選用特徵，該關係資料可依據如下群組而指示兩個路線之間的至少一種空間關係：該兩個路線之一交叉；該兩個路線之一叉路口；該兩個路線中之一第一路線對應於該兩個路線中之一第二路線之一相反移動方向；及該兩個路線平行。在諸多實施例中，此可提供經改良效能及/或操作。根據本發明之一選用特徵，該等視訊項係包括經圖框內編碼圖框及經圖框間編碼圖框兩者之經編碼視訊項，且該選擇器經配置以相對於對應於經圖框間編碼圖框之觀看者位置指示針對對應於經圖框內編碼圖框之觀看者位置指示而減小朝向該當前所選擇路線之該偏向。此可減小計算資源使用，且特定而言，可減小用於解碼適於產生視圖影像之圖框之複雜性及資源使用。根據本發明之一態樣，提供一種方法，該方法包括：儲存表示空間姿態 之一N維空間中之一組路線，該組路線包括複數個路線，且該組路線中之每一路線描述穿過該 N 維空間之一攝影機姿態軌跡 且連結至包含圖框之一視訊項，該等圖框包括針對該路線之攝影機姿態 之影像及深度資訊兩者；接收一觀看者位置指示；回應於取決於一距離度量之一選擇準則而選擇該組路線中之一第一路線，該距離度量取決於該觀看者位置指示及該組路線中之該等路線之位置；自一視訊源檢索與該第一路線相關聯之一第一視訊項；針對該觀看者位置指示由來自該第一視訊項之一第一組圖框產生至少一個視圖影像；其中該選擇準則相對於該組路線中之其他路線偏向於一當前所選擇路線。參考下文中所描述之實施例將明瞭且闡明本發明之此等及其他態樣、特徵及優點。

允許一使用者在一虛擬世界中四處移動之虛擬體驗變得日益流行，且正開發滿足此一需求之服務。然而，提供高效虛擬現實服務係極具挑戰性的，特別係在體驗將係基於一真實世界環境之一擷取而非基於一完全虛擬產生之人造世界之情況下。用於提供一虛擬現實服務之一方法係儲存大量影像，其中每一影像連結至一特定位置及通常視圖定向/方向。給定虛擬世界中之一使用者位置，可搜尋所儲存位置以檢索彼位置(或一接近位置)之一影像，且此可適當地呈現給為使用者。舉例而言，一伺服器可接收使用者之位置，且可自一本端影像儲存區提取相關影像並產生對應於使用者穿過虛擬世界之路徑之一專用視訊序列。然而，此一方法將需要儲存大量資料以便確保虛擬環境之充分覆蓋。所需之影像之密度及因此需要儲存之影像之總數可藉由連同影像一起儲存深度資訊而減小。此可允許針對不與所儲存位置及方向確切對準之視圖位置及方向之視圖影像之一本端產生。然而，通常仍需要大量所儲存影像。此外，個別地儲存影像及相關聯位置所需之資料結構通常不允許最佳化之儲存效率。此外，該方法產生通常具有一相對高計算及通信資源使用之一相對高複雜性。特定而言，該方法不能很好地擴展至(例如)經由網際網路存取一共同伺服器之愈來愈多之使用者。在此一情形中，伺服器將需要針對每一使用者產生一專用視訊信號，且因此針對每一使用者個別地執行(通常複雜)視訊編碼。圖1圖解說明在諸多情景中可提供一經改良虛擬現實使用者體驗之一設備。在某些實施例中，該設備可係一用戶端裝置201，該用戶端裝置(例如)經由一網路205 (諸如，網際網路)與一遠端伺服器203建立聯繫，如圖2中所圖解說明。伺服器203可經配置以同時支援潛在大量用戶端裝置201。該設備經配置以針對一給定觀察者觀看姿態而產生對應於一場景之視圖之影像。在諸多實施例中，該設備經配置以針對一給定觀察者姿態而產生立體影像，或等效地，可針對對應於一觀看者之兩眼之間的偏移之稍微不同觀察者姿態而產生兩個影像。在該領域中，術語放置及姿態用作位置及/或方向/定向之一共同術語。例如一物件、一攝影機或一視圖之位置與方向/定向之組合可稱為一姿態或放置。因此，一放置或姿態指示可包括六個值/分量/自由度，其中每一值/分量通常描述對應物件之定位/位置或定向/方向之一個別性質。當然，在諸多情況中，舉例而言，若一或多個分量被視為固定的或不相關的，則一放置或姿態可被視為具有較少分量或用較少分量表示(例如，若所有物件被視為處於相同高度且具有一水平定向，則四個分量可提供對一物件之姿態之一全面表示)。在下文中，術語姿態用於指代可由一至六個值(對應於最大可能自由度)表示之一位置及/或定向。說明將集中於一姿態具有最大自由度(亦即，位置及定向中之每一者之三個自由度產生總共六個自由度)之實施例及實例。因此，姿態可由表示六個自由度之六個值之一集合或向量表示，因此，姿態向量可提供一個三維位置及/或一個三維方向指示。然而，將瞭解，在其他實施例中，姿態可由較少值表示。該設備包括一儲存區101，該儲存區經配置以儲存一N維空間(其中N係一整數)中之一組路線之路線資料。該N維空間可係一虛擬世界之空間，且特定而言，可係對應於使用者在該空間中之位置之一個三維空間。在某些實施例中，維度中之一或多者可對應於虛擬空間中之一視圖定向。因此，在某些實施例中，使用者可由三個自由度(3DoF)表示，且在其他實施例中，由(例如)對應於一個三維位置及一個三維定向之六個自由度(6DoF)表示。該N維空間表示空間姿態，且特定而言，表示在一 N維空間中之姿態，該 N維空間表示一虛擬世界中之空間維度。 因此，儲存區101儲存N維空間中之路線(例如，路徑或軌跡)。路線中之每一者提供穿過虛擬現實世界之一路徑或軌跡。此外，已儲存之該組路線中之每一者與一視訊項相關聯/連結至一視訊項。因此，每一路線連結至包括對應於路線之位置及/或定向之一系列影像之一視訊項。等效地，每一視訊項可提供對應於沿著該路線之視圖之一系列影像。因此，針對一給定路線之視訊項包括對應於在沿著該路線移動時之視圖之一系列影像。因此，針對一特定路線之視訊項提供在沿著該路線移動時將由一攝影機擷取或等效地將由沿著該路線移動之一虛擬使用者體驗的影像，而非對應於一靜態影像、位置或視圖。每一視訊項包含包括針對所連結路線之攝影機姿態之 影像及深度資訊兩者之圖框，且每一路線描述穿過 N 維空間之一對應攝影機姿態軌跡 ( 攝影機姿態 ) 。每一視訊項可包括對應於沿著路線之一系列位置之一系列影像。播放視訊項將提供一人或攝影機沿著路線移動之視圖。路線中之每一者可由沿著該路線之一系列位置表示。在某些實施例中，可考量僅明確定義之位置(舉例而言，針對每一圖框可包含一個位置)，而在其他實施例中，儲存區中所儲存之明確值之間的位置可藉由內插而判定。在其他實施例中，每一路線可(舉例而言)藉由提供(例如)隨一時間變數而變之三個位置值之一數學函數而定義。時間變數可(例如)量化為對應於對應視訊項之圖框時間之時間段。在該實例中，儲存區101耦合至將用戶端裝置201介接至網路205 (在以下說明中，其將被視為網際網路)之一網路介面103。特定而言，網路介面103可為用戶端裝置201提供連接至伺服器203之功能性。在該實例中，伺服器203係同時可伺服複數個使用者之一共同伺服器。圖3中圖解說明伺服器203之某些元件。在該實例中，伺服器203包括一伺服器網路介面301，該伺服器網路介面經配置以將伺服器203介接至網路205，藉此允許伺服器203與用戶端裝置201通信。伺服器網路介面301耦合至一伺服器控制器303，該伺服器控制器經配置以控制且執行伺服器203之諸多操作。伺服器控制器303耦合至一視訊儲存區305及一路線儲存區307。在該實例中，路線儲存區307儲存該組路線之路線資料，且視訊儲存區305儲存對應所連結視訊項。特定而言，伺服器203可按一組路線用相關聯視訊項表示一虛擬現實世界，如先前所描述。舉例而言，一虛擬環境可由穿過虛擬環境之N維空間之(可能相對大)數目個路線表示。針對路線中之每一者，儲存表示沿著該等路線之視圖之一視訊項，亦即，可產生用以表示在沿著該路線移動時一攝影機或使用者之視圖之視訊項。在諸多實施例中，虛擬環境可係一真實環境之一表示，且視訊項及路線可藉由一真實環境中之一記錄/擷取而產生。舉例而言，可使一位置感知視訊攝影機穿過真實環境，且所擷取視訊可儲存為一視訊項，且對應位置資訊可儲存為一路線。在某些實施例中，可(例如)藉由使一虛擬攝影機移動穿過虛擬環境而自一虛擬環境之一虛擬模型產生視訊項及路線資料。所儲存視訊項包括表示沿著路線之視圖之一系列圖框/影像。該方法之一特定優點係可使用視訊編碼技術來編碼圖框/影像，藉此產生視訊項。此允許極高效編碼，從而針對一給定影像品質產生較低資料速率，且藉此通常允許比在編碼個別影像時更加高效之編碼。特定而言，可使用諸如運動估計及(通常雙向)預測性視訊編碼之視訊編碼技術來減小資料量。在特定實施例中，將圖框編碼為I圖框(圖框內–在不依賴於任何其他圖框之情況下進行編碼)或編碼為B圖框(雙向圖框–特定而言基於來自I圖框之運動估計，相對於I圖框而編碼之剩餘圖框)。此外，除減小之儲存及通信要求之外，視訊編碼之使用亦允許使用高效之現成編碼及解碼功能性(包含專用硬體)。舉例而言，可使用之視訊編碼技術包含H.264或MPEG2編碼。視訊項包括影像及深度資訊兩者。特定而言，視訊項可係3D視訊項，其中光強度影像/圖框與圖框之深度資訊相關聯。將瞭解，可使用不同方法來提供深度資訊，包含立體影像、明確深度或視差圖等。深度資訊允許視圖產生之靈活性，且特定而言，允許、促進或改良對應於與路線/視訊項提供一影像之位置並不確切對齊之位置(/定向)之視圖影像之產生。在該實例中，虛擬環境因此由(例如)藉由使一攝影機移動穿過一真實世界環境而擷取之一組通常相對稀疏空間路線表示。每一路線連結至一視訊項以及呈路線資料形式之後設資料，該路線資料提供視訊項之位置資訊，且特定而言，可提供針對視訊項之每一圖框之一位置指示。圖4圖解說明一個二維環境可如何被若干(可能地相當任意)路線覆蓋之一實例。在該實例中，用戶端裝置201經配置以自伺服器203請求路線資料及視訊項，且作為回應，伺服器203將接著提供所請求資料。然而，在該實例中，用戶端裝置201不僅僅下載所有資料並在本端處理該資料，而是首先檢索僅有路線資料，然後使用該路線資料來動態地判定哪一(哪些)路線靠近於所要位置。然後自伺服器203選擇性地檢索針對所選擇路線之視訊項並使用該等視訊項來產生適合視圖。因此，在特定實例中，當用戶端裝置201起始一虛擬現實應用時，用戶端裝置201自伺服器203請求路線資料。作為回應，伺服器203自路線儲存區307提取路線資料且將路線資料傳輸至用戶端裝置201。然而，最初，不提供視訊資料，且僅在網路205上傳輸路線資料。更詳細地，當使一新虛擬現實應用初始化時，網路介面103將用以傳輸路線儲存區307中所儲存之路線資料之一請求傳輸至伺服器203。作為回應，伺服器203傳輸此路線資料。該路線資料由網路介面103接收且儲存於儲存區101中。因此，在初始下載之後，儲存區101儲存針對N維空間中之一組路線之路線資料之一本端複本。儘管路線中之每一者與表示路線之視圖之一對應視訊項相關聯(/連結至對應視訊項)，但不下載此等視訊項，而是將此等視訊項保留在伺服器處。用戶端裝置201進一步包括經配置以接收一觀看者位置指示之一位置輸入105。觀看者位置指示係指示一觀看者在虛擬環境之N維空間中之一位置，且因此指示虛擬環境之一所要視圖。在某些實施例中，觀看者位置指示可回應於一特定使用者輸入而產生，諸如，例如由一使用者直接提供一位置或例如控制一搖桿或一滑鼠。在其他實施例中，觀看者位置指示可藉由(例如)亦在用戶端裝置201上運行之一應用而產生。舉例而言，觀看者位置指示可藉由一遊戲應用而產生。觀看者位置指示可係提供一觀看者之一個三維位置及三維定向之一完整六維姿態指示。在其他實施例中，例如，可提供僅一個二維位置以及一個二維定向(例如，當觀看者始終被被視為處於相同高度且路線本質上係二維路線時)。用戶端裝置201進一步包括耦合至儲存區101及位置輸入105之一選擇器107。選擇器107經配置以基於所接收觀看者位置指示而自一組所儲存路線選擇若干路線。特定而言，針對一給定觀看者位置指示，選擇器107經配置以評估取決於距離度量之一選擇準則，該距離度量取決於觀看者位置指示及該組路線中之路線之位置。因此，基於觀看者位置指示及所儲存路線之位置資料，評估一距離度量且視情況選擇一或多個路線來產生針對當前觀看者位置指示之視圖影像。用戶端裝置201進一步包括耦合至選擇器107及網路介面103之一檢索器109。檢索器109接收關於哪一(哪些)視訊項已被選擇之資訊，且作為回應，經由網路介面103而與伺服器203通信以檢索選擇性視訊項。用戶端裝置201進一步包括用於針對觀看者位置指示依據來自第一視訊項之一第一組圖框而產生至少一個視圖影像之一影像產生器111。所檢索視訊項被轉送至影像產生器111，該影像產生器接著產生對應於一觀看者在由觀看者位置指示所指示的虛擬環境中之位置處將看到之影像之一影像。用於產生視圖影像之圖框之選擇亦可係基於觀看者位置指示及一空間距離度量。實際上，由於視訊項中之圖框具有沿著路線之位置，因此可選擇(例如，受製於其他參數或考量因素)最緊密對應於觀看者位置指示之位置之圖框。因此，針對一給定觀看者位置指示，用戶端裝置201可接著選擇此視訊片段之一適當視訊項(或若干視訊項)及一適當圖框(或若干圖框)且使用所選擇圖框來產生一視圖影像。在某些實施例及情景中，所選擇圖框可直接充分緊密地對應於針對觀看者位置指示之視圖影像，且所產生視圖影像可直接作為所選擇圖框之一複本而產生。然而，在大部分實施例及情景中，圖框之位置(包含定向)與觀看者位置指示之間的差異可藉由處理圖框而補償。特定而言，此處理可係基於深度資訊之一視圖變換。將瞭解，用於此視圖變換之諸多方法對於熟習此項技術者將係已知的，且可在不減損本發明之情況下使用。因此，用戶端裝置201經配置以基於一所接收觀看者位置指示而產生一視圖影像。實際上，所描述程序係反覆的，且因此，用戶端裝置201可回應於一系列觀看者位置指示而產生一系列視圖影像。特定而言，用戶端裝置201可針對一觀看者沿著一路線移動穿過虛擬環境而產生一系列視圖。所產生影像可提供一觀看者在遵循由一系列觀看者位置指示所指示之一軌跡移動穿過虛擬環境時將看到之視圖。然而，在該實例中，此係依據一基於視訊項及路線之方法而達成而非藉由依靠個別影像而達成。此提供一更加高效之方法，且允許高效編碼、經促進擷取、減小之複雜性、減小之儲存要求等。此外，該系統可允許實質上減小用戶端裝置201中之通信要求及儲存要求，此乃因僅需要檢索及下載所需視訊項。因此，該方法可區分路線資料與視訊項資料之處理，且特定而言，區分路線資料與視訊項資料之傳遞。由於路線資料通常將比視訊資料低至少一數量級，因此此可提供下載通信要求之一實質減小。適當路線之選擇係基於一距離度量，該距離度量反映觀看者位置指示(之位置)與路線之位置之間的一距離。特定而言，距離度量可反映觀看者位置指示與針對當前所選擇之視訊項/路線之一當前圖框之一位置之間的距離，及觀看者位置指示與針對當前未選擇之路線之路線位置之間的一最小距離。該等距離可根據任何適合範數或(例如)藉由一適合範數之一單調增大函數而判定。此一距離度量可藉由指示哪一路線具有最靠近所要位置之一位置而提供對一適合路線之一良好指示。然而，在圖1之用戶端裝置201中，選擇準則不僅僅係基於距離度量，且不僅僅選擇最靠近所要視點之路線。而是，選擇器107經配置以使用相對於其他路線偏向於一當前所選擇路線之一選擇準則。因此，該選擇準則可偏向於停留在當前路線上，且因此基於相同視訊項而產生視圖影像而非跳轉至另一視訊項。在圖1之用戶端裝置201中，選擇器107之選擇準則相對於針對當前所選擇路線(及因此視訊項)及針對當前未選擇之其他路線(及因此視訊項)之距離度量係非對稱的。特定而言，在選擇其他路線之前，亦即，在用戶端裝置201將切換至另一路線/視訊項之前，所使用之選擇準則將需要針對另一路線之距離度量比針對當前路線之距離度量小一特定裕量或臨限值。參考圖5可提供一特定實例，圖5圖解說明兩個平行路線RT1及RT2，其中RT1係具有基於對應視訊項當前所產生之視圖影像之當前所選擇路線。一觀看者穿過環境之一路線RT3位於兩個所擷取路線RT1、RT2之間，其中距兩個路線具有變化距離。此實例之一選擇準則之一實例可係

其中r _curent 係當前所選擇路線，d_r 係至路線r之最短距離，且r _selected 係所選擇路線。此選擇準則具有如下結果：切換至一不同路線及視訊僅發生於偏離當前路線超過一臨限值距離Δ時。因此，只有在至當前所選擇路線之距離超過一特定臨限值Δ時，路線才被選擇作為至觀看者位置指示具有最短距離之路線。圖5圖解說明正應用此選擇準則。在該實例中，儘管RT2在某些位置處更靠近觀看者位置參數向量，但所選擇路線始終係RT1。選擇準則偏向於當前所選擇路線在實踐中可提供實質益處。首先，其往往提供具有減小之通信要求之一更高效方法，此乃因需要檢索及下載之視訊項之數目通常可被實質上減小。此外，其可提供具有較少可感知假影之一實質上更一致輸出。實際上，發現提供虛擬環境之一更穩定且時間上及空間上一致體驗。在某些實施例中，路線資料不限於路線之位置資訊，且亦包含提供關於路線如何彼此相關之資訊之資料。特定而言，路線資料可進一步包括與路線之間的相交點有關之資訊。舉例而言，如圖4中所例示，在諸多實施例中，路線可係基於相對隨機路線，且此可產生路線之間的諸多相交點及重疊。實際上，相交點通常亦可發生於有意地產生特定路線以提供對一環境之一良好覆蓋時。舉例而言，可藉由有意地走過若干平行及正交路線以便產生一柵格路線系統而覆蓋一給定空間。在此一實例中，不同正交路線之間將存在諸多相交點。在不同實施例中，可使用不同準則來考量一相交點將存在於路線之間。在兩個路線具有一共同位置時，可視為兩個路線之間發生一相交。一相交點包含兩個路線之間的任何叉路口(諸如一T形叉路口)或兩個以上路線之間的一叉路口。在某些實施例中，當一個路線上之一位置與另一路線上之一位置之間的距離低於一臨限值時，可視為存在一相交點/叉路口。該臨限值通常極低，且因此，僅在兩個路線至少在一個位置處實質上重疊時，通常視為存在一相交點。在諸多實施例中，選擇準則進一步取決於所儲存相交點位置。特定而言，選擇器107可經配置以針對對應於相交位置之觀看者位置指示而降低朝向當前所選擇路線之偏向。在當前路線上的最佳地匹配當前觀看者位置指示(例如，最短距離)之位置係當前路線與另一路線相交之一相交點時，觀看者位置指示可對應於一相交位置。因此，在某些實施例中，選擇準則將使在處於當前路線與新路線之間的一相交點時(特定而言，在觀看者位置指示至當前路線上之映射係一相交點時)比不處於一相交點時更容易選擇一新路線。實際上，在某些實施例中，僅在觀看者位置指示對應於一相交點/位置時才可能選擇一新路線。在此一實施例中，觀看者位置指示可(舉例而言)根據穿過虛擬環境之一所要路徑或軌跡而改變。此觀看者位置指示將投影至當前路線上，且當前所選擇視訊之對應圖框可經提取且用於產生對應於觀看者位置指示之視圖影像。然而，針對當前所選擇路線上的不處於一相交點處之所投影位置，選擇器107可不選擇一新路線，亦即，在此情形中，朝向當前所選擇路線之偏向係極端的，此乃因其允許選擇任何新路線。然而，當觀看者位置指示改變至其中當前所選擇路線上之所投影或對應位置匹配一相交點之一值時，選擇準則可允許選擇在此相交點處之任何其他路線。因此，朝向當前所選擇路線之極端偏向被降低且可能地被完全移除，例如，在某些實施例中，選擇器107可僅選擇該路線作為最靠近觀看者位置指示之相交點之路線。因此，此一方法可允許用戶端裝置201「鎖定(snap)」至可獲得路線且僅在相交點處「跳轉」至另一路線。儘管此可導致基於空間上比(來自其他視訊項之)其他可獲得圖框更遠離觀看者位置指示之圖框而產生視圖影像，但在諸多情景中，該方法可提供一較佳使用者體驗。特定而言，其允許所產生輸出視圖影像序列中之經改良一致性，且可減小錯誤或假影之數目及顯著性。在諸多實施例中，其他路線之選擇不限於相交點，而是執行偏向之一更漸變變化。在諸多實施例中，朝向當前所選擇路線之偏向可係取決於指示觀看者位置指示與相交位置之間的一距離之一距離度量。在諸多實施例中，距離度量可係一適合範數，或在某些實施例中，可沿著路線且特定而言沿著當前所選擇路線而量測距離。因此，觀看者位置指示可投影至當前所選擇路線上(例如，路線上的至觀看者位置指示具有最短距離之位置)，且可判定沿著路線自此所投影位置至相交點之距離。在大部分實施例中，針對至相交點之減小之距離將降低朝向當前所選擇路線之偏向。在此一實例中，用戶端裝置201仍將尋求「鎖定」至當前路線，但即使不在一相交點處其亦可允許不同路線之間的一「跳轉」。此方法可允許一更靈活方法，例如，此可允許在適當時路線之間的某一「隅角切割」。用於針對一給定觀看者位置指示而產生一視圖影像之圖框或若干圖框之選擇可係基於不同考量因素自所選擇視訊項(對應於所選擇路線)而選擇。然而，圖框通常係相對於觀看者位置指示回應於第一視訊項之圖框之路線位置資料由影像產生器111選擇。特定而言，比較所選擇視訊項中之圖框之位置與觀看者位置指示，且可判定一距離度量。在某些實施例中，可僅作為空間上最靠近觀看者位置指示之圖框而選擇圖框或若干圖框。在某些實施例中，圖框之選擇可進一步考量一時間態樣。特定而言，當用於產生視圖影像之圖框係來自當前所選擇路線/視訊之圖框時，亦即，當系統停留在相同路線上且尚未跳轉至一新路線時，該選擇可使圖框選擇偏向於(視訊項中)時間上接近於當前所選擇圖框之圖框。因此，在不改變正使用之視訊項之情況下選擇新圖框時，該等新圖框經選擇使得存在朝向視訊項中之一較小時間距離之一偏向。舉例而言，若兩組圖框至觀看者位置指示在空間上等距，則影像產生器111將接著選擇最靠近先前所選擇圖框之圖框。特定而言，可使用針對至視訊項之一當前所選擇圖框之一減小之時間距離而增大之一圖框選擇度量。特定而言，視訊項中之圖框編號之間的差異愈小，圖框選擇度量可愈大。在諸多實施例中，該方法可提供經改良效能。特定而言，在諸多情景中，該方法可提供經改良操作，其中當前路線實際上自身相交。圖6中提供此一路線之一實例。在該實例中，該路線自身重疊，藉此形成一相交點。若圖框之選擇僅係基於空間距離，則保持在相交點周圍且可能稍微移動(例如，隨機)之一觀看者位置指示可導致用於產生視圖影像之該組圖框中之一頻繁移位，亦即，其可在第一次到達相交點之圖框至第二次到達相交點之圖框之間切換。因此，所選擇圖框將隨機地且可能頻繁地在視訊項中之極不同時間處之圖框之間切換。此將導致基於不同圖框之影像產生，且此可能產生實質時間雜訊。然而，藉由適當地偏向於時間上跳轉至相同視訊項之不同部分，此可得以避免，且可產生一更加一致且穩定之輸出。例如，針對圖6之實例，若使用者自圖片之底部朝向對應於相交點之一區移動，則當使用者處於該區中時，視圖影像將係基於第一次到達相交點之圖框，且將繼續如此。然而，若使用者自圖片之左邊接近對應於相交點之區時，則當使用者處於該區中時，視圖影像將係基於第二次到達相交點之圖框，且將繼續如此。所描述系統係基於使用對應於穿過虛擬空間之路線(/路徑/軌跡)之一個(或多個)視訊項來產生適合視圖影像。此一系統中之一關鍵考量因素係如何選擇將使用視訊項，且特定而言何時切換路線/視訊項。在用戶端裝置201中，該方法尋求呈現來自相同視訊之視圖影像，且偏向於切換至新視訊項。在一類似脈絡中，當選擇在一視訊項內將使用哪些圖框時，用戶端裝置201偏向於時間跳轉。此提供若干優點且係基於各種考量因素。舉例而言： 1. 通常，使用一立體攝影機來估計用於視圖合成之視差/深度，且使用時間深度濾波來加強時間穩定性。雖然深度值可能不正確，但深度值自一個圖框至下一圖框通常係一致的，此意指通常避免了時間假影。 2. 對應於一單一視訊中之毗鄰圖框之虛擬攝影機位置通常緊挨著。舉例而言，在每秒30個圖框下，虛擬攝影機可相隔3 mm至1 cm。來自不同視訊之虛擬攝影機位置可間隔遠至20 cm或更大，此意指將參考視點突然移位此一大距離可能會產生假影。 3. 頻繁切換將增大編碼之額外負擔，此乃因一單一視訊串流內之每一大跳轉或視訊之間的每一跳轉將需要下載及解碼一經圖框內編碼圖框。因此，該方法涉及表示一環境，使得影像可針對在環境中不限於一特定姿態之使用者之不同觀看姿態而產生。在該領域中且針對此等應用之主要挑戰中之一者係如何以一如下方式有效表示及擷取環境：允許針對不同姿態而產生高品質影像，同時仍可在不需要過多記憶體之情況下儲存該等高品質影像；呈允許在不具有過多複雜性及不需要過多計算資源之情況下進行適合處理及影像產生之一格式；可降低用戶端/伺服器應用中之通信要求等。另一極大挑戰係達成較佳地不需要太昂貴或專門電路且不繁重或苛刻之一實際擷取操作。習用方法係僅自通常預定觀看姿態拍攝場景之個別圖片(影像及深度)然後儲存此等影像及深度圖片。通常，擷取姿態係預定的，且使用者必須將一攝影機手動移動至一新姿態、拍攝圖片、將攝影機移動至下一姿態、拍攝另一圖片等。此係一極耗時且繁瑣程序。另一選擇為，可使用大量攝影機，但此不僅昂貴且亦極繁瑣，此乃因所有攝影機皆需要以正確姿態小心地定位。此外，需要大量圖片來用於一準確操作，且因此需要以一可存取方式儲存大量個別圖片。在習用方法中，接著藉由使用眾所周知之視點移位演算法中之一者自可獲得且所儲存圖片進行視點切換而產生針對一給定觀看姿態之視圖影像。在所描述方法中，場景不由個別圖片表示，而是由複數個路線及所連結視訊項表示。舉例而言，該方法允許一擷取程序，其中一或多個人可僅在一給定環境中四處移動，從而擷取具有相關聯位置之一視訊。舉例而言，一群人可僅在一場景中四處走動，從而隨其沿著(例如)隨機路線走動而擷取視訊。然後可編譯具有相關聯路線資料之視訊項以提供具有相關聯視訊項之一組複數個路線，藉此提供對場景之一表示。因此，該方法可允許一更加簡化之擷取操作，且可(舉例而言)允許藉由隨視訊擷取大量隨機路線而簡單地執行擷取。因此，使用路線及視訊串流允許擷取更大量之資訊藉此通常不需要在有利位置處進行嚴格受控影像擷取，而非需要使用個別影像進行一細緻且有計劃之擷取以便產生對場景之一充分準確表示。特定而言，藉由使場景表示以視訊項(及相關聯路線資訊)為基礎而非僅僅以個別影像為基礎，可實質上減小記憶體/儲存要求，及/或可儲存之資訊量可更高。對視訊進行編碼比對個別影像進行編碼更加高效。視訊編碼不僅利用一影像內之冗餘來減小所需之資料量，且亦(且通常更有效地)利用不同圖框之間的冗餘來實質上減小每一圖框之資料量(例如，使用運動估計)。對於(例如)虛擬現實應用之諸多典型場景(例如，靜態場景)，不同圖框之間的相關性高至足以可達成資料之一極大減少。因此，與使用離散影像相比，使用具有相關聯路線之視訊項之一個效應係其允許更加高效之壓縮，在實踐中，該更加高效之壓縮允許執行一完全不同擷取操作，其中表示並非係基於來自仔細選擇之位置之影像，而是基於通常可係實質上隨機之複數個(及通常相對大數目個)路線。該方法通常減小儲存要求，且極大地減小擷取表示之複雜性及工作量。然而，所描述方法不僅與藉由複數個經連結路線及視訊項做出之環境表示有關。而是，其亦與如何自此一表示產生影像有關。在所描述方法中，對用以產生視圖影像之一適合基礎之判定依賴於一基於路線之選擇程序。一選擇準則用於選擇一路線，且影像係依據經連結視訊之至少一個圖框而產生。選擇係基於距觀看者位置之一距離，而選擇準則進一步包括朝向當前所選擇路線之一偏向。因此，選擇準則進一步包括相對於其他路線朝向當前所選擇路線之一偏向，而非僅選擇最近路線。因此，系統不僅選擇最近圖框，而且可偏向於繼續基於屬相同路線之圖框之一時間上一致選擇而產生影像。系統可有效地「鎖定」至一路線上並停留在此路線上(作為用於產生影像之基礎)，直至偏向不再足以使使用者鎖定至此路線為止。舉例而言，選擇準則可藉由如下要求而偏向於當前路線：切換一不同路線需要至此另一路線之距離小於至當前路線之距離之一半。該方法在很大程度上取決於藉由複數個路線及所連結視訊項而表示場景之特定方法。所描述方法之影像(圖框)及擷取位置並非獨立且孤立於其他影像及擷取位置，而是視訊項包括緊密關聯之圖框，且此等圖框與路線緊密關聯。實際上，視訊項之圖框具有一空間關係且彼此相關，亦即，視訊項之連續圖框通常具有一高度相關性。類似地，路線定義了與視訊項直接有關之若干個位置，且因此，路線不僅提供關於在空間中之位置之資訊，而且提供時間資訊，諸如關於位置針對視訊鏈中之圖框如何改變之資訊(其固有地係一時間表示)。發明人已意識到此等差異，且意識到，僅選擇最接近於當前視圖之影像資訊之一方法不太適於不僅針對僅由位置定義之孤立擷取而且提供具有緊密相關性質(特定而言，在一視訊項中具有一時間關係)之一系列緊密相關擷取的表示及擷取資料。特定而言，發明人已意識到，雖然僅選擇最近圖片(及因此在基於視訊項之擷取中之圖框)可確實係可能的，但此在計算上將係極複雜的，且因圖框與擷取位置之間的相關性被忽略而往往將產生錯誤。特定而言，發明人已意識到，視訊項之圖框並非作為個別圖框而編碼，而是參考視訊項中之其他圖框而編碼。通常，一視訊項包含某些經圖框內編碼圖框，其中通常具有實質上更大數目個經圖框間編碼圖框，該等經圖框間編碼圖框係參考其他圖框而編碼且具有比經圖框內編碼圖框更高之一效率。此尤其使得難以提取個別影像，此乃因提取個別影像將需要提取兩個相關經圖框內編碼圖框、解碼相關經圖框內編碼圖框、提取預測所要圖框所依據之任何所預測圖框、使用經圖框內編碼圖框來解碼所預測圖框、提取所要圖框、解碼所要圖框以及最後所有此等操作之組合。此具有一極高計算負擔。此外，編碼錯誤、雜訊及假影不可避免，且此等可降低所得影像品質。發明人已進一步意識到，藉由不僅考量位置且亦考量觀看者位置之歷史，適應及利用視訊項中存在之時間及圖框間相關性係可能的。此藉由基於路線而非僅考量個別位置做出選擇且藉由使此選擇進一步偏向於「固守」於相同路線上而完成。此產生(特定而言)對於視訊編碼之性質更加高效之一方法，且其(特定而言)解決了自視訊項產生影像之問題。特定而言，在實踐中已發現其極大地減小了計算負擔。基於路線之選擇及自相同視訊項/路線選擇(通常連續)圖框之增大之一致性導致經圖框內編碼圖框之實質重複使用，該等經圖框內編碼圖框針對基於其而編碼之所有經圖框間編碼圖框僅需要被解碼一次。類似地，若已使用中間圖框來產生先前影像，則針對另一圖框而產生此等中間所預測圖框之需要將不引入一額外負擔。另外，不可避免之編碼/解碼錯誤及假影在該方法中針對連續影像往往將更加一致。舉例而言，針對一經圖框內編碼圖框而發生之一編碼/解碼假影在基於來自相同視訊項/路線之使用彼經圖框內編碼圖框編碼之圖框而產生之所有影像中將等同地表示。此對於可能不太明顯之錯誤或假影通常可係較佳的，然而該等錯誤或假影在連續產生之影像之間不太一致。因此，針對路線/視訊項之一基於所偏向路線之選擇之方法提供一實質上經改良效能，且特定而言允許更低之計算複雜性及資源使用、減小之儲存要求、促進之視圖影像產生、改良之影像品質。其亦可減小(例如)對基於用戶端伺服器之應用之通信要求。在某些實施例中，路線資料可包含藉由使相交點作為節點且使路線作為邊緣而表示之一圖表。圖7中提供對應於一房屋之一虛擬環境之一實例。在該實例中，因此，每一節點表示路線之間的一相交點，包含t形叉路口(n2)。在此一圖表中，一相交點可進一步反映一個路線結束且另一路線開始之一位置。在該實例中，因此，每一路線由兩個節點定界，其中節點針對複數個路線通常係共同的。該方法特別適用於其中路線及視訊項藉由專用且有計劃擷取而產生或其中所擷取路線及視訊項已被劃分成較小路線及視訊項之一情景。該圖表可(例如)編碼為一個二進制部分或一文字(例如xml)，且在使應用初始化時可(至少部分地)自伺服器203傳輸至用戶端裝置201。一圖表之使用在諸多實施例中可係高效且可提供一高效操作。舉例而言，圖表結構允許判定在一給定路線之結尾處，若干(0、1、...)個所定義其他路線可開始，且因此可提前起始對應視訊之檢索及解碼，藉此減小可能遲滯及中斷。在某些實施例中，路線資料可進一步包含指示該組路線中之若干路線之間的一空間關係之關係資料。然後，關係資料可用於針對當前觀看者位置指示之路線之選擇中。作為一特定實例，關係資料可針對每一路線提供對該路線交叉之其他路線之一指示。在某些實施例中，選擇器107然後可針對當前所選擇路線檢查關係資料以查看當前所選擇路線與哪些其他路線交叉且具有相交點。然後，選擇器107在判定是否選擇一不同路線時可接著考量(例如)僅此等特定路線。在某些實施例中，關係資料可提供對哪些路線彼此形成叉路口之一指示。此資料可由選擇器107用來選擇用於視圖合成之適當視訊及圖框。舉例而言，當接近一T形叉路口時，可基於位置資料提前預料使用者在此叉路口處係傾向於右轉還是左轉。在某些實施例中，關係資料可提供對某些路線對應於相同路徑之相反移動方向之一指示。當觀看者在其路徑上轉彎(例如，180度)時，選擇器107可使用此資料來切換方向。在某些實施例中，關係資料可提供對實質上彼此平行之路線之一指示。選擇器107可使用此資料來決定切換至更佳地表示一使用者前進之方向之另一路徑。舉例而言，該等關係可以一圖表之形式提供，該圖表具有作為節點之路線以及指示對應兩個節點之間的關係之邊緣。圖8中圖解說明此一圖表之一實例。如先前所提及，在不減損本發明之情況下可使用視訊項之任何適合視訊編碼。在諸多實施例中，視訊項可使用不考量任何其他圖框而編碼之經圖框內編碼圖框及相對於至少一個其他圖框而編碼之所預測圖框兩者來編碼。所預測圖框可相對於一或多個經圖框內編碼圖框及/或一或多個所預測圖框而編碼。所預測圖框可係僅相對於一或多個較早圖框(亦即，在視訊項中時間上較早)而編碼之圖框，或可(例如)係相對於一或多個較早圖框且相對於一或多個較晚圖框(亦即，相對於在當前圖框之前及之後的圖框)而編碼之雙向預測圖框。視訊編碼可係一H.264或H.265視訊編碼。在諸多實施例中，僅使用I圖框(經圖框內編碼圖框圖片)以及B圖框(雙向預測圖框)對於編碼程序而言可係特別有利的。在諸多實施例中，此可導致視圖影像之低延時產生。因此，視訊項可係經編碼視訊項，包括經圖框內編碼圖框及所預測/經圖框間編碼圖框。在某些實施例中，所預測圖框可僅係雙向預測/經編碼圖框。因此，視圖影像之產生可包含影像產生器111解碼用於產生視圖影像之圖框。特定而言，所描述方法尋求基於一組複數個路線而提供一虛擬環境之視圖之高效擷取、儲存及回放。視訊項而非個別影像之使用減小儲存要求、通信頻寬要求等。此得以達成係因為視訊編碼往往比單獨影像之編碼更佳高效。尤其係，使用所預測圖框可極顯著減小表示一圖框所需之資料量。然而，視訊擷取及編碼之使用對於表示其中使用者可自由移動之一虛擬環境係反直覺的。舉例而言，在此等情況中，使用者可沿視訊被擷取之方向之相反方向移動，藉此不僅不遵循視訊內容之空間與時間關係，而且甚至與視訊內容之空間與時間關係正好相反。然而，發明人已意識到，該方法可提供一極高效操作。具有朝向停留在相同路線上之一偏向之基於路線之選擇之所描述方法提供經改良操作。特定而言，發明人已意識到，當使用者繼續連結至相同路線而非切換至另一路線時(亦即，當路線之選擇自一個路線改變為另一路線時)，由於對對應於使用者視點之圖框進行圖框間編碼(預測)，因此此一偏向(除產生時間上更穩定視圖合成品質之外)導致一極大減小之頻寬要求(用於檢索/傳遞圖框之減小之資料速率)。在諸多實施例中，該選擇在選擇路線時可將視訊編碼考量在內。特定而言，在諸多實施例中，選擇器107可經配置以針對對應於經圖框內編碼圖框之觀看者位置指示而降低朝向當前所選擇路線之偏向。選擇器107可經配置以相對於對應於經圖框間編碼(所預測)圖框之觀看者位置指示針對對應於經圖框內編碼圖框之觀看者位置指示而降低朝向當前所選擇路線之偏向。因此，當觀看者位置對應於一經圖框間編碼/所預測圖框時，選擇器可更可能選擇一新路線而非繼續留在相同路線上。在某些實施例中，所考量圖框(其影響偏向)可係當前/先前所選擇路線之一圖框，或可係新候選路線之一圖框。因此，該圖框可係將用於針對當前/先前所選擇路線(若此路線被選擇)而產生視圖影像之圖框，或可係將用於針對候選路線(若此路線被選擇)而產生視圖影像之圖框。因此，該圖框可係當前所選擇路線或第一路線(所選擇之路線)之圖框。在諸多實施例中，針對為一經圖框內編碼圖框之目標/候選圖框且針對為一經圖框內編碼圖框之當前/先前所選擇路線圖框兩者，可降低偏向。若一給定路線被選擇，則針對一觀看者位置指示之對應圖框可係該給定路線之將用於針對該觀看者位置指示而產生一視圖影像之圖框。一對應圖框通常可係給定路線中最靠近由觀看者位置指示所指示之姿態/位置(通常使用亦用於選擇路線之距離度量)之圖框。在諸多實施例中，在自一個路線切換至另一路線之後，第一圖框可經選擇作為一經圖框內編碼圖框。當切換至一新路線時，影像產生器111因此可接著首先選擇一經圖框內編碼圖框且使用該經圖框內編碼圖框來產生視圖影像。在諸多實施例中，此等方法可用於在不同路線之間建立鏈路。舉例而言，圖9圖解說明具有與經圖框內編碼圖框相關聯之複數個位置(由小圓圈指示)之兩個路線901、903。在此一實施例中，針對經圖框內編碼圖框可降低對停留在相同路線上之偏向，且針對新路線而選擇之圖框可對應於另一經圖框內編碼圖框。特定而言，針對發生於兩個經圖框內編碼圖框之間的路線切換可(通常極大地)降低朝向當前路線之偏向。因此，「跳轉」往往將發生於經圖框內編碼圖框之間，如由圖9中之箭頭所指示。在實踐中，此可藉由在表示路線之圖表中包含此等考量因素而達成，如先前所描述。實際上，在此一圖表中，節點可接近交叉點/相交點而產生。此外，節點可經選擇為對應於經圖框內編碼圖框，其中經圖框內編碼圖框之間的區段對應於經圖框間編碼圖框。然後可提供連結此等節點之進一步資料，例如指示節點之間的關係(諸如，例如「交叉」或「返回路徑」)。如稍後所描述，系統可(特定而言)在路線之間的相交點處產生經圖框內編碼圖框(例如，藉由轉碼一視訊項)。在諸多實施例中，此外，在一給定路線之I圖框之間使用相對大量B圖框可係較佳的。此方法產生一高效率，此乃因B圖框(其係在補償預測之後的剩餘圖框)通常比I圖框壓縮更多。由於一靜態場景中之毗鄰攝影機位置之間的高同調性，因此大量B圖框之使用通常係可接受的。在I圖框之間具有大量B圖框對於視訊回放亦具有吸引力，此乃因針對使用者之一給定移動需要解碼較少I圖框。然而，為減輕在因選擇一新路線而改變視訊項時使用大量B圖框之潛在缺點，該方法可使用I圖框之一選擇性分配。在諸多實施例中，I圖框可經產生且包含於針對相交點之視訊項中。因此，與相交點相關聯之圖框可被編碼為I圖框。在諸多實施例中，此可提供特別有吸引力之效能，此乃因其可促進路線之切換。實際上，使相交點圖框編碼為I圖框往往將導致在相交點處執行切換，從而提供以一I圖框開始及/或結束之相關聯視訊項，且因此避免為編碼一B圖框而必須編碼額外I圖框。實際上，若一相交點圖框被編碼為一I圖框，則相同I圖框可能被用於先前所選擇路線及新選擇之路線兩者。因此，來自先前所選擇路線之一I圖框可與用於新選擇之路線之一I圖框一起使用以便解碼新選擇之路線之一B圖框。在某些實施例中，此可使用先前路線之一I圖框而達成，該I圖框不完全處於一相交點處，但可能靠近於相交點，且因此提供一合理估計。然而，在一較佳方法中，先前所選擇路線之I圖框可係一相交點處之一圖框，且實際上，I圖框可甚至係用於與先前所選擇路線相關聯之視訊項及用於與新選擇之路線相關聯之視訊項之一共同圖框。在諸多實施例中，可實施B圖框及I圖框之有利組織及結構。舉例而言，伺服器203可首先提供適合I圖框。即使不直接與當前觀看者位置指示相關聯，此等I圖框亦可由用戶端裝置201解碼。然而，當影像產生器111選擇適當B圖框以用於產生視圖影像時，經解碼I圖框然後可提供允許適當B圖框之快速解碼之參考圖框。實際上，在諸多實施例中，可使用一階層式視訊編碼方法，其中B圖框經配置呈一階層式結構，使得某些B圖框可進一步被用作用於其他B圖框之參考圖框。在此等情形中，適當B圖框可進一步被解碼以準備用作用於其他B圖框之參考圖框。因此，在某些實施例中，檢索器109可因此包括一解碼器，該解碼器解碼若干I圖框及可能地B圖框，以準備將此等B圖框用於解碼已相對於此等圖框而編碼之其他B圖框。因此，在某些實施例中，可採取B圖框之一階層式排序，從而允許來自視訊之隨機存取及雙向回放，同時藉由避免大部分I圖框而維持高編碼效率。舉例而言，在任何時候，解碼器皆可具有至少兩個I圖框以及準備好(經解密且經解碼)用作用於解碼B圖框之參考之若干(0個或更多) B圖框。諸如H.264/MPEG-4 AVC及HEVC之較新視訊編碼方案可支援此等方法。將瞭解，雖然以上說明集中於一用戶端伺服器方法，如由圖2所例示，但該等概念不限於此，而是同樣適合於諸多其他功能性配置及分配。舉例而言，在某些實施例中，儲存視訊項之視訊儲存區可係一本端儲存區，且檢索器109可自本端儲存區檢索視訊。在某些實施例中，該方法可用於儲存視訊項及路線資料兩者且回應於一所接收觀看者位置指示而產生視圖影像的一單一獨立裝置中。將瞭解，為清楚起見，上文說明已參考不同功能電路、單元及處理器描述了本發明之實施例。然而，將明瞭，在不減損本發明之情況下可使用功能性在不同功能電路、單元或處理器之間的任何適合分配。舉例而言，圖解說明為由單獨處理器或控制器執行之功能性可由相同處理器或控制器執行。因此，對特定功能單元或電路之提及僅視為對用於提供所描述功能性之適合構件之提及，而非指示一嚴格邏輯或實體結構或組織。本發明可以包含硬體、軟體、韌體或此等之任何組合之任何適合形式實施。本發明可視情況至少部分地實施為在一或多個資料處理器及/或數位信號處理器上運行之電腦軟體。可採用任何合適方式在實體上、功能上及邏輯上實施本發明之一實施例之各元件及組件。實際上，該功能性可在一單一單元中、複數個單元中或作為其他功能單元之一部分實施。因此，本發明可實施於一單一單元中或可在實體上及功能上分配於不同單元、電路及處理器之間。儘管已結合某些實施例描述了本發明，但本發明並非意欲限於本文中所陳述之具體形式。而是，本發明之範疇僅受隨附申請專利範圍限制。另外，儘管一特徵可能看起來係結合特定實施例加以描述，但熟習此項技術者將認識到，可根據本發明組合所描述實施例之各種特徵。在申請專利範圍中，術語「包括(comprising)」並不排除其他元件或步驟之存在。此外，儘管個別地列出，但複數個構件、元件、電路或方法步驟可由(例如)一單一電路、單元或處理器實施。另外，儘管可在不同請求項中包含個別特徵，但此等特徵可有利地加以組合，且包含於不同請求項中並非暗示特徵之一組合不可行及/或不利。此外，在一種類別之請求項中包含一特徵並不暗示對此類別之一限制，而是指示該特徵視需要同樣適用於其他請求項類別。此外，請求項中各特徵之次序並不暗示該等特徵在起作用時所必須遵循之任何特定次序，且特定而言，一方法請求項中之個別步驟之次序並不暗示必須按此次序來執行該等步驟。而是，可按任何適合次序來執行該等步驟。另外，單數提及形式並不排除複數形式。因此，所提及之「一(a)」、「一(an)」、「第一」、「第二」等並不排除複數。申請專利範圍中之參考符號經提供僅作為一闡明實例而無論如何不應視為限制申請專利範圍之範疇。

101‧‧‧儲存區 103‧‧‧網路介面/檢索器 105‧‧‧位置輸入/輸入 107‧‧‧選擇器 109‧‧‧檢索器 111‧‧‧影像產生器 201‧‧‧用戶端裝置 203‧‧‧遠端伺服器/伺服器/視訊源 205‧‧‧網路 301‧‧‧伺服器網路介面 303‧‧‧伺服器控制器 305‧‧‧視訊儲存區 307‧‧‧路線儲存區 n₂‧‧‧t形叉路口 RT1‧‧‧平行路線/所擷取路線 RT2‧‧‧平行路線/所擷取路線 RT3‧‧‧路線 Δ‧‧‧臨限值距離/特定臨限值

將參考圖式僅以實例方式描述本發明之實施例，在圖式中：圖1圖解說明根據本發明之某些實施例之用於回應於一觀看者位置指示而產生視圖影像之一裝置之元件之一實例；圖2圖解說明包含圖1之裝置作為一用戶端裝置之用戶端伺服器配置之一實例；圖3圖解說明針對圖2之用戶端伺服器配置之一伺服器之一實例；圖4圖解說明用於擷取一環境之擷取路線之一實例；圖5圖解說明一觀看者路線相對於一虛擬環境中之擷取路線之一實例；圖6圖解說明針對一虛擬環境之擷取路線之一實例；圖7圖解說明表示一虛擬環境之擷取路線/視訊項之一圖表之一實例；且圖8圖解說明表示一虛擬環境之擷取路線/視訊項之間的關係之一圖表之一實例。

101‧‧‧儲存區

103‧‧‧網路介面/檢索器

105‧‧‧位置輸入/輸入

107‧‧‧選擇器

109‧‧‧檢索器

111‧‧‧影像產生器

201‧‧‧用戶端裝置

Claims

一種用於產生影像之設備，其包括：一儲存區(101)，其用於儲存表示空間姿態之一N維空間中之一組路線，該組路線包括複數個路線，且該組路線中之每一路線描述穿過該N維空間之一攝影機姿態軌跡且連結至包含圖框之一視訊項，該等圖框包括針對該路線之攝影機姿態之影像及深度資訊兩者；一輸入(105)，其用於接收一觀看者位置指示；一選擇器(107)，其用於回應於取決於一距離度量之一選擇準則而選擇該組路線中之一第一路線，該距離度量取決於該觀看者位置指示及該組路線中之該等路線之位置；一檢索器(103、109)，其用於自一視訊源(203)檢索與該第一路線相關聯之一第一視訊項；一影像產生器(111)，其用於針對該觀看者位置指示由來自該第一視訊項之一第一組圖框產生至少一個視圖影像；其中該選擇準則相對於該組路線中之其他路線偏向於一當前所選擇路線，其中該儲存區(101)進一步經配置以儲存視訊序列之路線之相交位置；且其中該選擇準則係取決於該等相交位置。
如請求項1之設備，其中該影像產生器(111)經配置以相對於該觀看者位置指示回應於該第一視訊項之圖框之路線位置資料而選擇該第一組圖框。
如請求項1或2之設備，其中該影像產生器(111)經配置以：若該第一路線被選擇作為該當前所選擇路線，則使該第一組圖框之選擇偏向於至該第一視訊項之一第一組當前所選擇圖框具有一較小時間距離之圖框。
如請求項1或2之設備，其中該影像產生器(111)經配置以：若該第一路線被選擇作為該當前所選擇路線，則基於一圖框選擇度量而執行該第一組圖框之該選擇，該圖框選擇度量隨著至該第一視訊項之一當前所選擇圖框之時間距離之一減小而增大。
如請求項1之設備，其中該選擇器(107)經配置以針對對應於相交位置之觀看者位置指示而降低朝向該當前所選擇路線之該偏向。
如請求項1之設備，其中朝向該當前所選擇路線之該偏向取決於該觀看者位置指示與相交位置之間的一距離。
如請求項1、5或6中任一項之設備，其中該儲存區(101)經配置以儲存具有作為節點之相交點及由邊緣反映之路線之一圖表。
如請求項1、5或6中任一項之設備，其中與至少某些視訊序列之相交點位置相關聯之圖框係經圖框內編碼圖框。
如請求項1、5或6中任一項之設備，其中該影像產生器經配置以依據該第一組圖框中之至少一第一圖框及來自連結至一先前所選擇第二路線之一視訊項之一第二圖框而產生該視圖影像。
如請求項9且依附於請求項1、5或6中任一項之設備，其中該第二圖框係和該第一路線與該先前所選擇第二路線之間的一相交點相關聯之一圖框。
如請求項1之設備，其中該儲存區(101)進一步經配置以儲存指示該組路線中之各路線之間的一空間關係之關係資料，且該第一路線之該選擇係回應於該關係資料而做出。
如請求項11之設備，其中該關係資料可依據如下群組而指示兩個路線之間的至少一種空間關係：該兩個路線之一交叉；該兩個路線之一叉路口；該兩個路線中之一第一路線對應於該兩個路線中之一第二路線之一相反移動方向；及該兩個路線平行。
如請求項1至2中任一項之設備，其中該等視訊項係包括經圖框內編碼圖框及經圖框間編碼圖框兩者之經編碼視訊項，且該選擇器經配置以相對於對應於經圖框間編碼圖框之觀看者位置指示針對對應於經圖框內編碼圖框之觀看者位置指示而降低朝向該當前所選擇路線之該偏向。
一種產生影像之方法，其包括：儲存表示空間姿態之一N維空間中之一組路線，該組路線包括複數個路線，且該組路線中之每一路線描述穿過該N維空間之一攝影機姿態軌跡且連結至包含圖框之一視訊項，該等圖框包括針對該路線之攝影機姿態之影像及深度資訊兩者；接收一觀看者位置指示；回應於取決於一距離度量之一選擇準則而選擇該組路線中之一第一路線，該距離度量取決於該觀看者位置指示及該組路線中之該等路線之位置；自一視訊源檢索與該第一路線相關聯之一第一視訊項；針對該觀看者位置指示由來自該第一視訊項之一第一組圖框產生至少一個視圖影像；其中該選擇準則相對於該組路線中之其他路線偏向於一當前所選擇路線，其中該儲存區(101)進一步經配置以儲存視訊序列之路線之相交位置；且其中該選擇準則係取決於該等相交位置。