TWI664857B - 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器 - Google Patents

用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器 Download PDF

Info

Publication number
TWI664857B
TWI664857B TW106134928A TW106134928A TWI664857B TW I664857 B TWI664857 B TW I664857B TW 106134928 A TW106134928 A TW 106134928A TW 106134928 A TW106134928 A TW 106134928A TW I664857 B TWI664857 B TW I664857B
Authority
TW
Taiwan
Prior art keywords
quality
spatial
scene
media
encoded
Prior art date
Application number
TW106134928A
Other languages
English (en)
Other versions
TW201820884A (zh
Inventor
羅伯特 史庫濱
寇尼拉斯 黑爾吉
湯瑪士 夏以爾
雅構 夏契茲德拉富恩特
迪米崔 帕德柏斯奇
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201820884A publication Critical patent/TW201820884A/zh
Application granted granted Critical
Publication of TWI664857B publication Critical patent/TWI664857B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述針對媒體內容串流化之各種概念。一些概念允許以一空間不均等方式串流化空間場景內容，以使得使用者之可見品質增加，或串流化擷取位點處之處理複雜度或必需頻寬減小。其他概念允許以增大對其他應用情境之適用性之方式串流化空間場景內容。

Description

用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器
本申請案係關於諸如在虛擬實境(VR)串流化中進行之空間不均等串流化。
VR串流化通常涉及極高解析度視訊之傳輸。人類中央窩之解析能力為每度約60個像素。若考慮360°×180°之完整球之傳輸，則傳輸可藉由發送約22k×11k個像素之解析度而結束。由於發送此高解析度將產生極高的頻寬需求，因此另一解決方案為僅發送頭戴式顯示器(HMD)處所展示之檢視區，其具有90°×90°之視野，從而產生約6k×6k個像素之視訊。以最高解析度發送完整視訊與僅發送檢視區之間的折衷為以高解析度發送檢視區且以較低解析度或較低品質發送一些相鄰資料(或球體視訊之其餘部分)。
在DASH情境中，全向視訊(亦稱為球體視訊)可以之前所描述的混合解析度或混合品質視訊係由DASH用戶端控制之方式提供。DASH用戶端僅需要知道描述內容如何提供之資訊。
一個實例可為提供具有不同投影之不同表示，其具有不對稱特性，諸如針對視訊之不同部分的不同品質及失真。每一表示將對應於一給定檢視區且將使該檢視區以比內容之其餘部分高的品質/解析度進行編碼。知道了定向資訊(內容已經編碼而具較高品質/解析度之檢視區之方向)，DASH用戶端可動態地選擇一個或另一表示以在任何時間匹配使用者之檢視方向。
DASH用戶端為全向視訊選擇此不對稱特性之更靈活選項可為當將視訊分裂成若干空間區時，其中每一區可以不同解析度或品質獲得。一個選項可為基於柵格而將視訊分裂成矩形區(亦稱為圖塊)，但可預見其他選項。在此情況下，DASH用戶端將需要關於藉以提供不同區之不同品質的某一傳信，且DASH用戶端可以不同品質下載不同區，使得向使用者展示之檢視區的品質優於其他未展示內容。
在先前情況中之任一者中，當使用者交互作用發生且檢視區已改變時，DASH用戶端會需要一些時間對使用者移動做出反應且以匹配新檢視區之方式下載內容。在使用者移動與DASH用戶端調適其請求以匹配新檢視區之間的時間期間，使用者會在檢視區中同時看見高品質及低品質之一些區。雖然可接受品質/解析度差異係內容相依的，但使用者看見之品質在任何狀況下都降低。
因此，即將具有緩解或更有效地顯現或甚至增大關於藉由自適應串流化而串流化之空間場景內容之部分呈現的使用者可見品質之概念可為有利的。
發明概要 因此，本發明之目的為提供用於以一空間不均等方式串流化空間場景內容，以使得使用者之可見品質增加，或串流化擷取位點處之處理複雜度或必需頻寬減小的概念，或提供用於以增大對其他應用情境之適用性之方式串流化空間場景內容的概念。
此目標藉由申請中之獨立技術方案之標的物來達成。
本申請案之第一態樣係基於如下發現：以一空間不均等方式串流化關於一時間變化之空間場景之媒體內容(諸如視訊)可在選擇及擷取媒體片段時關於可比較頻寬消耗下之可見品質及/或串流化接收位點處之計算複雜度得到改良，及/或自伺服器獲得之一信號作用藉由用以將該時間變化之空間場景的不同部分編碼至該等所選擇及所擷取之媒體片段中之品質而為擷取裝置提供關於將遵守之預定關係的提示。否則，擷取裝置可能不會預先知道以不同品質編碼至所選擇及所擷取之媒體片段中之部分的並列對使用者所體驗之總體可見品質有何負面影響。含於該等媒體片段中之資訊及/或自伺服器獲得之一信號作用(諸如，在資訊清單檔案(媒體呈現描述)或自伺服器至用戶端之額外串流化相關控制訊息(諸如SAND訊息)內)使得擷取裝置能夠於在伺服器處提供之媒體片段當中進行適當選擇。以此方式，視訊內容之虛擬實境串流化或部分串流化可變得相對於品質降級更穩固，此是因為該串流化或者可因可用頻寬至向使用者呈現之時間變化之空間場景的此空間區段上之分佈不足之緣故而發生。
本發明之另一態樣係基於如下發現：以一空間不均等方式(諸如在第一部分使用第一品質及在第二部分使用較低的第二品質或保留第二部分不串流)串流化關於一時間變化之空間場景之媒體內容(諸如視訊)可在可見品質上得到改良，及/或關於串流化擷取側處之頻寬消耗及/或計算複雜度變得較不複雜，此藉由視含於媒體片段中之資訊及/或自伺服器獲得之一信號作用而定判定第一部分之大小及/或位置來達成。舉例而言，對於基於圖塊之串流化，設想時間變化之空間場景可以基於圖塊之方式在伺服器處提供，亦即該等媒體片段可表示時間變化之空間場景之光譜時間部分，該等部分中之每一者可為在空間場景經細分成的圖塊之分佈之對應圖塊內的空間場景之一施加片段。在此情況下，直至擷取裝置(用戶端)關於如何在空間場景中(即，以圖塊粒度)分佈可用頻寬及/或計算能力作出決定。擷取裝置可執行對媒體片段之選擇，以至空間場景之第一部分(其分別地跟隨追蹤空間場景的時間變化之檢視區段)係以預定品質編碼至所選擇及所擷取之媒體片段中，該預定品質可(例如)為在當前頻寬及/或計算能力條件下可實行之最高品質。舉例而言，空間上鄰近的空間場景之第二部分可不編碼至所選擇及所擷取之媒體片段中，或可以相對於該預定品質降低之另一品質編碼至該等媒體片段中。在此情形中，計算鄰近圖塊之數目/計數在計算上複雜或甚至不可實行，該等圖塊之聚集體完全覆蓋時間變化之檢視區段，與檢視區段之定向無關。視經選擇以便將空間場景映射至個別圖塊上之投影而定，每個圖塊之角形場景涵蓋範圍可在此場景中變化，且個別圖塊可相互重疊之事實甚至使得對就空間而言(與檢視區段之定向無關)足以覆蓋檢視區段之鄰近圖塊之計數的計算更困難。因此，在此情形中，前述資訊可將第一部分之大小分別地指示為圖塊之計數N或圖塊之數目。藉由此措施，裝置將能夠藉由選擇具有以預定品質經編碼之N個圖塊之共置聚集體的彼等媒體片段來追蹤時間變化之檢視區段。此等N個圖塊之聚集體充分地覆蓋檢視區段之事實可藉助於指示N之資訊來保證。另一實例可為含於媒體片段中之資訊及/或自伺服器獲得之一信號作用，其指示相對於檢視區段自身之大小的第一部分之大小。舉例而言，此資訊可在某種程度上設定實際檢視區段周圍之「安全區帶」或預取區帶，以便顧及時間變化之檢視區段的移動。時間變化之檢視區段移動越過空間場景時的速率愈大，安全區帶將愈大。因此，前述資訊可以相對於時間變化之檢視區段之大小的方式(諸如以增量或縮放方式)來指示第一部分之大小。根據此資訊設定第一部分之大小之擷取裝置將能夠避免品質降級，品質降級可因空間場景之未擷取或低品質部分在檢視區段中可見之緣故而另外發生。此處，此場景係以基於圖塊之方式提供或以某其他方式提供係不相關的。
與本申請案之剛才提及態樣相關，可使得編碼有視訊之視訊位元串流可以增加之品質解碼，條件為該視訊位元串流具備關於該視訊內之聚焦區域之大小的信號作用，用於解碼視訊之解碼能力應集中至該聚焦區域。藉由此措施，解碼來自位元串流之視訊之解碼器可將其解碼能力集中至或甚至限於解碼視訊至具有在該視訊位元串流中所傳信的聚焦區域之大小之一部分上，藉此知道(例如)如此解碼之部分可藉由可用解碼能力來解碼，且在空間上覆蓋視訊之所要區段。舉例而言，如此傳信的聚焦區域之大小可選擇為足夠大，以便覆蓋檢視區段之大小及此檢視區段之移動，從而考慮解碼視訊時之解碼潛時。或者，換言之，傳信含於視訊位元串流中的視訊之建議較佳檢視區段區域可允許解碼器以較佳方式來處理此區域，藉此允許解碼器相應地集中其解碼能力。無論是否執行區域特定解碼能力集中，區域信號作用可轉遞至一平台，在該平台上選擇哪些媒體片段要下載，亦即將品質增加之部分置放於何處及如何對品質增加之部分設定尺寸。
本申請案之第一及第二態樣本與申請案之第三態樣密切相關，根據第三態樣，利用大量擷取裝置串流化來自伺服器之媒體內容的事實，以便獲得資訊，可隨後使用該資訊以便適當地設定前述類型之資訊，從而允許設定第一部分之大小或大小及/或位置，及/或適當地設定第一品質與第二品質之間的預定關係。因此，根據本申請案之此態樣，擷取裝置(用戶端)發出日誌訊息，該等日誌訊息記錄以下各者中之一者：量測第一部分之空間位置及/或移動之一瞬時量測結果或一統計值；量測至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一瞬時量測結果或一統計值；以及量測第一部分之品質或至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一瞬時量測結果或一統計值。瞬時量測結果及/或統計值可具備與已獲得各別瞬時量測結果或統計值時之時間有關的時間資訊。該等日誌訊息可發送至提供媒體片段所在之伺服器，或發送至評估入埠日誌訊息之某其他裝置，以便基於該等日誌訊息而更新用以設定第一部分之大小或大小及/或位置的前述資訊之當前設定，及/或基於該等日誌訊息而導出預定關係。
根據本申請案之另一態樣，詳言之以基於圖塊之方式串流化關於時間變化之空間場景的媒體內容(諸如視訊)就藉由提供一媒體呈現描述來避免無用串流化試驗而言更有效，該媒體呈現描述包含：至少一個版本，對於基於圖塊之串流化，時間變化之空間場景係以該至少一個版本提供；及對於該至少一個版本中之每一者，用於自該基於圖塊之串流化獲益該時間變化之空間場景的各別版本的利益要求之一指示。藉由此措施，擷取裝置能夠使該至少一個版本之該等利益要求與擷取裝置本身或與擷取裝置交互作用之另一裝置的關於基於圖塊之串流化之一裝置能力匹配。舉例而言，該等利益需求可與解碼能力要求有關。亦即，若用於解碼經串流/經擷取之媒體內容的解碼能力將不足以解碼覆蓋時間變化之空間場景的一檢視區段所需之所有媒體片段，則嘗試串流化及呈現媒體內容將浪費時間、頻寬及計算能力，且因此，在任何情況下都不嘗試串流化及呈現媒體內容可更有效。舉例而言，若(例如)與特定圖塊有關之媒體片段形成與關於另一圖塊之媒體片段分離的媒體串流(諸如視訊串流)，則解碼能力要求可指示各別版本所需之解碼器執行個體的數目。舉例而言，解碼能力要求亦可關於其他資訊，諸如適合預定解碼設定檔及/或層級所必需的解碼器執行個體之特定分率，或可指示使用者輸入裝置以足夠快之方式移動供使用者觀看場景用之檢視區/區段的特定最小能力。視場景內容而定，低移動能力可能不夠使用者用於觀看場景之受關注部分。
本發明之另一態樣係關於串流化關於時間變化之空間場景之媒體內容的擴展。詳言之，根據此態樣之想法為：空間場景實際上不僅可在時間上變化，並且關於至少一個其他參數暗示(例如，視圖及位置、檢視深度或某其他實體參數)變化。擷取裝置可藉由如下操作而在此上下文中使用自適應串流化：視檢視區方向及至少一個其他參數而計算媒體片段之位址，該等媒體片段描述在時間上變化之一空間場景及該至少一個參數；以及使用該等計算出之位置自一伺服器擷取該等媒體片段。
本申請案之上文所概述之態樣及作為附屬申請專利範圍之目標的該等態樣之有利實施可個別地組合或組合在一起。
較佳實施例之詳細說明 為了容易理解對本申請案之實施例關於本申請案之各種態樣的描述，圖1展示本申請案之隨後描述之實施例可應用且有利地使用的環境之一實例。詳言之，圖1展示由經由自適應串流化而交互作用之用戶端10及伺服器20組成的系統。舉例而言，HTTP動態自適應串流化(dynamic adaptive streaming over HTTP，DASH)可用於用戶端10與伺服器20之間的通訊22。然而，隨後概述之實施例不應被解譯為限於DASH之使用，且同樣地，諸如媒體呈現描述(media presentation description，MPD)之詞應寬泛地理解，以便亦涵蓋定義與DASH中不同的資訊清單檔案。
圖1說明經組配以實施虛擬實境應用之系統。亦即，該系統經組配以向穿戴抬頭顯示器24之使用者(即經由抬頭顯示器24之內部顯示器26)呈現出自時間變化之空間場景30的檢視區段28，該區段28對應於由一內部定向感測器32 (諸如抬頭顯示器24之慣性感測器)例示性地量測的抬頭顯示器24之一定向。亦即，向使用者呈現之區段28形成空間場景30之一區段，該區段之空間位置對應於抬頭顯示器24之定向。在圖1之情況下，時間變化之空間場景30經描繪為全向視訊或球體視訊，但圖1之描述及隨後解釋之實施例亦可容易地轉移至其他實例，諸如呈現視訊中之一區段，其中區段28之空間位置係由面部存取或眼部存取與虛擬或真實投影牆或其類似物之相交判定。此外，感測器32及顯示器26可分別(例如)由不同裝置(諸如，遙控器及對應電視)包含，或感測器及顯示器可為手持型裝置(諸如行動裝置，諸如平板電腦或行動電話)之部分。最後，應注意，稍後所描述之實施例中之一些亦可應用於如下情境：向使用者呈現之區域28一直覆蓋整個時間變化之空間場景30，其中呈現時間變化之空間場景時之不均勻性與(例如)品質在空間場景中之不均等分佈有關。
關於伺服器20、用戶端10及在伺服器20處提供空間內容30之方式的另外細節係在圖1中說明且在下文中描述。然而，此等細節亦不應被視為限制隨後解釋之實施例，而實際上應充當如何實施隨後解釋之實施例中之任一者的實例。
詳言之，如圖1中所示，伺服器20可包含儲存器34及控制器36，諸如經適當規劃之電腦、特殊應用積體電路或類似者。儲存器34具有儲存於其上之媒體片段，該等媒體片段表示時間變化之空間場景30。將在下文關於圖1之說明更詳細地概述一特定實例。控制器36藉由將所請求之媒體片段重新發送至用戶端10來回答由用戶端10發送之請求，且一媒體呈現描述可將關於其自身之資訊發送至用戶端10。關於此之詳情亦在下文陳述。控制器36可自儲存器34提取所請求之媒體片段。其他資訊亦可儲存於此儲存器內，諸如媒體呈現描述或其部分，其在自伺服器20發送至用戶端10之其他信號中。
如圖1中所示，伺服器20可視情況另外包含串流修改器38，該串流修改器回應於來自用戶端10之請求而修改自伺服器20發送至該用戶端之媒體片段，以便在用戶端10處產生媒體資料串流，該媒體資料串流形成可由一個相關聯解碼器解碼之一個單一媒體串流，但(例如)由用戶端10以此方式擷取之媒體片段實際上係自若干媒體串流聚集。然而，此串流修改器38之存在係可選的。
圖1之用戶端10經例示性描繪為包含一用戶端裝置或控制器40或多個解碼器42及再投影器44。用戶端裝置40可為一經適當規劃之電腦、一微處理器、一經規劃硬體裝置(諸如FPGA或特殊應用積體電路)或其類似者。用戶端裝置40承擔自於伺服器20處所提供之複數個46媒體片段中選擇待自伺服器20擷取之片段的職責。為此目的，用戶端裝置40首先自伺服器20擷取一資訊清單或媒體呈現描述。自該伺服器，用戶端裝置40獲得用於計算複數個46媒體片段中之媒體片段之位址的一計算規則，該等媒體片段對應於空間場景30之特定所需空間部分。如此選擇之該等媒體片段係藉由將各別請求發送至伺服器20而由用戶端裝置40自伺服器20擷取。此等請求含有計算出之位址。
由用戶端裝置40如此擷取之該等媒體片段將由該用戶端裝置轉遞至一或多個解碼器42以進行解碼。在圖1之實例中，如此擷取及解碼之媒體片段針對每一時間時間單元僅表示時間變化之空間場景30中的一空間區段48，但如上文已指示，根據(例如)待呈現之檢視區段28一直覆蓋整個場景之其他態樣，此空間區段可不同。再投影器44可視情況再投影待向使用者顯示之檢視區段28，且自所選擇、所擷取且經解碼之媒體片段的所擷取且經解碼之場景內容中切除該檢視區段。為此目的，如圖1中所示，用戶端裝置40可(例如)連續地追蹤檢視區段28之空間位置且回應於來自感測器32之使用者定向資料而更新該空間位置，且通知再投影器44 (例如)場景區段28之此當前空間位置，以及將應用於待映射至形成檢視區段28之面積上的所擷取且經解碼之媒體內容的再投影映射。再投影器44可相應地將一映射及一內插應用於(例如)待顯示於顯示器26上的像素之規則網格。
圖1說明已使用立方體映射將空間場景30映射至圖塊50上之情況。該等圖塊因此被描繪為具有球體形式之場景30已投影至的立方體之矩形子區。再投影器44逆轉此投影。然而，亦可應用其他實例。舉例而言，替代立方體投影，可使用至截短錐形或無截斷之錐形上之投影。此外，儘管圖1之圖塊關於覆蓋空間場景30被描繪為不重疊，但細分成圖塊可涉及相互之圖塊重疊。且如在下文將更詳細地概述，場景30在空間上細分成圖塊50 (如下文將進一步解釋，每一圖塊形成一個表示)亦非強制性的。
因此，如圖1中所描繪，整個空間場景30在空間上經細分為圖塊50。在圖1之實例中，立方體之六個面中之每一者經細分為4個圖塊。出於說明目的，列舉該等圖塊。針對每一圖塊50，伺服器20提供一視訊52，如圖1中所描繪。為了更精確，伺服器20甚至每個圖塊50提供多於一個視訊52，此等視訊之品質Q#不同。甚至進一步，該等視訊52在時間上經細分為時間片段54。所有圖塊T#之所有視訊52之時間片段54分別地形成或經編碼成儲存於伺服器20之儲存器34中的複數個46媒體片段之媒體片段中之一者。
甚至再次強調，圖1中所說明的基於圖塊之串流化之實例僅形成可能與之有許多偏差的實例。舉例而言，雖然圖1似乎表明關於場景30之品質較高之表示的媒體片段係關於與媒體片段所屬之圖塊一致之圖塊，該等圖塊將場景30以品質Q1編碼至其中，但此一致並非必需的且不同品質之圖塊甚至可與場景30之不同投影之圖塊對應。此外，儘管迄今為止未論述，但有可能，圖1中所描繪之對應於不同品質位準之媒體片段的不同之處在於空間解析度及/或信號雜訊比及/或時間解析度或其類似者。
最後，不同於基於圖塊之串流化概念，根據該概念，可由裝置40個別地自伺服器20擷取之媒體片段係關於場景30經空間細分成之圖塊50，伺服器20處所提供之媒體片段可替代地(例如)各自以空間完整方式以空間變化之取樣解析度將場景30編碼至其中，然而，取樣解析度在場景30中之不同空間位置處達到最大。舉例而言，該情況可藉由在伺服器20處提供與場景30至截短錐體上之投影上相關的片段54之序列來達成，截短錐體之截頭尖端可定向至互相不同之方向，藉此導致定向不同之解析度峰值。
此外，關於視情況存在之串流修改器38，應注意，該串流修改器可替代地作為用戶端10之部分，或該串流修改器甚至可定位在用戶端10與伺服器20之間、在一網路裝置內，用戶端與伺服器經由網路裝置交換本文中所描述之信號。
在已較整體地解釋伺服器20及用戶端10之系統之後，將關於根據本申請案之第一態樣之一實施例更詳細地描述用戶端裝置40之功能性。為此目的，參看圖2，該圖更詳細地展示裝置40。如上文已解釋，裝置40用於串流化關於時間變化之空間場景30之媒體內容。如關於圖1所解釋，裝置40可經組配而使得經串流化之媒體內容就空間而言連續地關於整個場景，或僅關於該場景之一區段28。在任何情況下，裝置40包含：選擇器56，其用於自於伺服器20上可獲得之複數個46媒體片段中選擇適當媒體片段58；及擷取器60，其用於根據各別請求(諸如HTTP請求)而自伺服器20擷取該等選定媒體片段。如上所述，選擇器56可使用媒體呈現描述以便計算選定媒體片段之位址，擷取器60在擷取選定媒體片段58時使用此等位址。舉例而言，媒體呈現描述中所指示之用以計算位址之計算規則可取決於品質參數Q、圖塊T及某一時間片段t。舉例而言，該等位址可為URL。
如上文亦已論述，選擇器56經組配以執行該選擇，使得該等選定媒體片段至少具有編碼至其中的時間變化之空間場景之一空間區段。該空間區段可在空間上連續地覆蓋整個場景。圖2在61說明裝置40調適場景30之空間區段62以重疊及圍繞檢視區段28的例示性情況。然而，如上文已提及，情況未必如此，且該空間區段可連續地覆蓋整個場景30。
此外，選擇器56執行該選擇以使得該等選定媒體片段以空間不均等品質之方式將區段62編碼至其中。更精確地，空間區段62之第一部分64 (在圖2中由陰影線指示)係以預定品質編碼至選定媒體區段中。此品質可(例如)為伺服器20所提供之最高品質或可為「良好」品質。舉例而言，裝置42以在空間上跟隨時間變化之檢視區段28之方式移動或調適第一部分64。舉例而言，選擇器56選擇繼承檢視區段28之當前位置之彼等圖塊的當前時間片段54。如此選擇後，如在下文中關於其他實施例所解釋，選擇器56可視情況保持組成第一部分64之圖塊之數目恆定。在任何情況下，區段62之第二部分66係以另一品質(諸如較低品質)編碼至選定媒體片段58中。舉例而言，選擇器56選擇與在空間上鄰近部分64之圖塊且屬於較低品質之圖塊的當前時間片段對應的媒體片段。舉例而言，為了定址檢視區段28移動過快以致於在對應於當前時間片段之時間間隔結束之前離開部分64且與部分66重疊且選擇器56將能夠在空間上重新配置部分64的可能時刻，選擇器56主要選擇與部分66對應之媒體片段。在此情形下，突出至部分66中之區段28之部分可仍然(即以降低的品質)向使用者呈現。
裝置40不可能向使用者評估哪種負品質降級可係由預先向使用者呈現降低品質之場景內容以及具有較高品質的部分64內之場景內容所引起。詳言之，可由使用者清楚可見的此等兩個品質結果之間的轉變。至少，此等轉變可視區段28內之當前場景內容而可見。此轉變在使用者之視野內之負面影響的嚴重性係由伺服器20提供之場景內容之特性且不可由裝置40預報。
因此，根據圖2之實施例，裝置40包含推演器66，該推演器導出部分64之品質與部分66之品質之間將滿足的一預定關係。推演器66自資訊導出此預定關係，該資訊可含於媒體片段中(諸如，在媒體片段58內之輸送塊內)及/或含於自伺服器20獲得之一信號作用中(諸如，在媒體呈現描述或自伺服器20發送之專屬信號(諸如SAND訊息)或其類似者內)。在下文呈現關於資訊68看上去如何之實例。由推演器66基於資訊68導出之預定關係70將由選擇器56使用，以便適當地執行選擇。舉例而言，與對部分64及66之品質之完全獨立選擇相比，選擇部分64及66之品質時的限制影響用於擷取關於區段62之媒體內容之可用頻寬至部分64及66上的分佈。在任何情況下，選擇器56選擇媒體片段，以使得將部分64及66編碼至最後所擷取之媒體片段中所用的品質滿足該預定關係。關於預定關係看起來如何之實例亦在下文陳述。
所選擇且最後由擷取器60擷取之媒體片段最後被轉遞至一或多個解碼器42以進行解碼。
舉例而言，根據第一實例，由資訊68體現之傳信機制涉及資訊68，該資訊向裝置40 (其可為DASH用戶端)指示哪些品質組合係所提供之視訊內容可接受的。舉例而言，資訊68可為向使用者或裝置40指示不同區64及66可以最大品質(或解析度)差異混合之品質配對的清單。裝置40可經組配以不可避免地將特定品質位準(諸如，伺服器10處所提供之最高品質位準)用於部分64，且自資訊68導出將部分66寫碼至選定媒體片段中所用之品質位準，其中該資訊以(例如)用於部分68之品質位準之清單的形式包含。
資訊68可指示用於部分68之品質與部分64之品質之間的差異之一量度之一可忍受值。可使用媒體片段58之品質索引作為品質差異之「量度」，媒體片段係藉助於品質索引在媒體呈現描述中區分，且媒體片段之位址係藉助於品質索引使用媒體呈現描述中所描述之計算規則而計算。在MPEG-DASH中，指示品質之對應屬性可為(例如)@qualityRanking。裝置40在執行該選擇時可考慮可將部分64及66寫碼至選定媒體片段中所用之可選擇品質位準配對中的限制。
然而，替代此差異量度，品質差異可替代地(例如)以位元速率差異(亦即，將部分64及66分別編碼至對應媒體片段中所用之位元速率的可忍受差異)來量測，假定位元速率通常隨品質增加而單調增加。資訊68可指示將部分64及66編碼至選定媒體片段中所用之品質的選項之允許配對。替代地，資訊68簡單地指示用於寫碼部分66之允許品質，藉此間接地指示允許或可忍受之品質差異，假定主要部分64係使用某一預設品質(諸如，可能或可獲得之最高品質)進行編碼。舉例而言，資訊68可為可接受表示ID之一清單或可指示關於與部分66有關之媒體片段的最小位元速率位準。
然而，替代地，可能需要更漸進之品質差異，其中，替代品質配對，可指示品質群組(多於兩個品質)，其中，視與區段28 (檢視區)之距離而定，品質差異可增加。亦即，以視與檢視區段28之距離之方式，資訊68可指示用於部分64及66之品質之間的差異之量度之可忍受值。此指示可藉助於與檢視區段之各別距離與用於超過各別距離之品質差異之量度的對應可忍受值之對的清單進行。低於該各別距離，品質差異必須較低。亦即，每一配對可針對對應距離指示：部分66內離開區段28比該對應距離遠的一部分與部分64之品質可具有一品質差異，該品質差異超過此清單輸入項之對應可忍受值。
可忍受值可隨與檢視區段28之距離增加而增加。對剛剛所論述之品質差異之接受性常常取決於向使用者展示此等不同品質之時間。舉例而言，具有高品質差異之內容在該內容僅展示持續200微秒之情況下可為可接受的，而具有較低品質差異之內容在該內容展示持續500微秒之情況下可為可接受的。因此，根據另一實例，除例如前述品質組合之外，或除允許品質差異之外，資訊68亦可包括一時間間隔，在該時間間隔中，組合/品質差異可為可接受的。換言之，資訊68可指示部分66及64之品質之間的可忍受或最大允許差異，以及最大允許時間間隔之指示，在最大允許時間間隔中，部分66可與部分64同時展示於檢視區段28內。
如先前已提及，品質差異之接受性取決於內容本身。舉例而言，不同圖塊50之空間位置對接受性有影響。預期具低頻信號之均勻背景區中之品質差異比前景物件中之品質差異可接受。此外，因改變內容所致，時間位置對接受性亦有影響。因此，根據另一實例，形成資訊68之信號被間歇地(諸如，在DASH中每表示或週期)發送至裝置40。亦即，由資訊68指示之預定關係可間歇地經更新。另外及/或替代地，由資訊68實現之傳信機制在空間中可變化。亦即，可使資訊68具有空間相依性，諸如，藉助於DASH中之SRD參數。亦即，針對場景30之不同空間區，不同預定關係可由資訊68指示。
如關於圖2所描述，裝置40之實施例係關於如下事實：裝置40希望在能夠改變區段62及部分64之位置以便使該區段及該部分適應區段28造成的位置改變之前，保持短暫在區段28中可見之視訊內容30之所擷取區段62內的因預提取之部分66所致之品質降級儘可能低。亦即，在圖2中，部分64及66為區段62之不同部分，該等部分之品質經限制直至其可能組合藉助於資訊68受關注，而兩個部分64與66之間的轉變連續地經移位或經調適以便追蹤或超過移動中之檢視區段28。根據圖3中所示之一替代實施例，裝置40使用資訊68以便控制部分64及66之品質之可能組合，然而，根據圖3之實施例，該等部分係以例如媒體呈現描述中所定義的方式(亦即，以獨立於檢視區段28之位置的方式)界定為彼此不同或有區別之部分。部分64及66之位置及該等部分之間的轉變可為恆定的或在時間上變化。若在時間上變化，則該等變化歸因於場景30之內容之改變。舉例而言，部分64可與值得消耗較高品質之興趣區對應，而部分66為在考慮部分64之品質降低之前，應考慮(例如)由於低頻寬條件之品質降低的部分。
在下文中，描述了裝置40之有利實施之另一實施例。詳言之，圖4展示裝置40，其在結構上與圖2及3對應，但操作模式經改變以便與本申請案之第二態樣對應。
亦即，裝置40包含選擇器56、擷取器60及推演器66。選擇器56自由伺服器20提供之複數個46媒體片段58做出選擇，且擷取器60自該伺服器擷取該等選定媒體片段。圖4假定裝置40如關於圖2及圖3所描繪及所說明地操作，即，選擇器56執行選擇而使得選定媒體片段58以此空間區段跟隨空間位置在時間上變化之檢視區段28的方式將場景30之空間區段62編碼至其中。然而，隨後將關於圖5描述與本申請案之同一態樣對應之變型，其中，針對每一時間瞬間t，所選擇且經擷取之媒體片段58將整個場景或恆定空間區段62編碼至其中。
在任何情況下，類似於關於圖2及3之描述，選擇器56選擇媒體片段58，以使得區段62內之第一部分64係以預定品質編碼至所選擇且經擷取之媒體片段中，而區段62之第二部分66 (其在空間上鄰近第一部分64)係以相對於部分64之預定品質減小之品質編碼至該等選定媒體片段中。選擇器56限制對媒體片段之選擇及擷取的變型係關於追蹤檢視區28之位置的移動中模板，且其中該等媒體片段以預定品質將區段62完全編碼至其中，使得第一部分64完全覆蓋區段62，同時由圖6中所描繪之未編碼部分72包圍。在任何情況下，選擇器56執行選擇而使得第一部分64跟隨空間位置在時間上變化之檢視區段28。
在此情形中，亦不容易由用戶端40對區段62或部分64應多大進行預報。視場景內容而定，大部分使用者可在移動檢視區段28越過場景30時做出類似動作，且因此，相同動作適用於檢視區段28的間隔，檢視區段28大概可能以此速率移動越過場景30。因此，根據圖4至圖6之實施例，資訊74係由伺服器20提供至裝置40，以便幫助裝置40視資訊74而分別設定第一部分64之大小或大小及/或位置，或區段62之大小或大小及/或位置。關於將資訊74自伺服器20傳輸至裝置40之可能性，如上文關於圖2及圖3所描述之情況適用。亦即，該資訊可含於媒體片段58內，諸如在媒體片段之事件塊內，或為此目的，可使用媒體呈現描述或自伺服器發送至裝置40之專屬訊息(諸如SAND訊息)內之傳輸。
亦即，根據圖4至圖6之實施例，選擇器56經組配以視源於伺服器20之資訊74而設定第一部分64之大小。在圖4至圖6中所說明之實施例中，大小係以圖塊50為單位設定，但如上文關於圖1已描述的，情形可與使用在伺服器20處提供品質在空間上變化之場景30的另一概念時略微不同。
根據一實例，資訊70可(例如)包括檢視區段28之檢視區之給定移動速率的機率。如上文已表示，資訊74可導致媒體呈現描述可供用戶端裝置40 (其可為例如DASH用戶端)使用，或一些帶內機制可用以輸送資訊74，諸如事件塊，亦即，在DASH情況下之EMSG或SAND訊息。資訊74亦可以任何容器格式包括，容器格式諸如ISO檔案格式或超過MPEG-DASH之傳輸格式(諸如MPEG-2TS)。該資訊亦可在視訊位元串流中(諸如，在如稍後所以描述之SEI訊息中)輸送。換言之，資訊74可指示針對檢視區段28之空間速率之量度的預定值。以此方式，資訊74指示部分64之大小，其呈示數(scaling)的形式或呈相對於檢視區段28之大小之增量的形式。亦即，資訊74自覆蓋區段28之大小必需的部分64之「基本大小」開始，且使此「基本大小」適當地(諸如遞增地或按比例)增大。舉例而言，檢視區段28的前述移動速率可用以相應地定標檢視區段28之當前位置之周界，以便判定(例如)沿著在此時間間隔之後可行之任何空間方向的檢視區段28之周界之其他位置，例如，判定調整部分64之空間位置時的潛時，諸如，與媒體片段58之時間長度對應的時間片段54之持續時間。假定非移動檢視區28，速率乘以此持續時間增加全向的檢視區28之當前位置之周界，可因此導致此最壞情況周界且可用以判定部分64相對於部分64之某一最小擴展之放大。
資訊74可甚至係關於對使用者行為之統計資料之評估。隨後，描述適合於饋給評估程序之實施例。舉例而言，資訊74可指示關於一定百分比使用者之最大速率。舉例而言，資訊74可指示90%之使用者以低於0.2弧度/秒之速率移動且98%在使用者以低於0.5弧度/秒之速率移動。資訊74或攜載該資訊之訊息可經定義而使得機率-速率配對經定義或該等訊息可經定義而傳信固定百分比之使用者(例如，始終99%之使用者)的最大速率。移動速率傳信74可另外包含方向資訊，亦即，2D中之角度，或2D加3D中之深度(亦被稱作光場應用)。資訊74可針對不同移動方向指示不同的機率-速率配對。
換言之，資訊74可應用於給定時間跨度，諸如，媒體區段之時間長度。該資訊可由路徑、速度、距離或較佳面積的基於軌跡(x百分位數，平均使用者路徑)或基於速度之配對(x百分位數，速率)或基於距離之配對(x百分位數，孔隙/直徑/較佳) 或基於面積之配對(x百分位數，建議recommended preferred area)或單一最大邊界值。替代使該資訊與百分位數關聯，單一頻率分級可根據大部分使用者以特定速率移動，第二大部分使用者以另一速率移動等而進行。另外或替代地，資訊74不限於指示檢視區段28之速率，而是同樣可指示待分別檢視之較佳區域，以引導設法追蹤檢視區段28之部分62及/或64至具有或不具有關於指示之統計顯著性的一指示(諸如已遵守彼指示之使用者的百分比或指示是否與已最常記錄之使用者檢視速率/檢視區段一致的指示)，及具有或不具有指示之時間持續。資訊74可指示檢視區段28之速率之另一量度，諸如針對在一特定時間段內(諸如，在媒體片段之時間長度內，或更詳細地在時間片段54之時間長度內)的檢視區段28之行進距離之量度。替代地，資訊74可以在檢視區段28可行進所在之特定移動方向之間有區別的方式傳信。此情況係關於指示檢視區段28在特定方向上之速率或速度以及指示檢視區段28關於特定移動方向之行進距離兩者。此外，部分64之擴展可藉助於資訊74全向地或以區分不同移動方向之方式直接傳信。此外，所有剛才概述之實例可加以修改，因為資訊74指示此等值以及使用者之百分比，此等值對於該等使用者而言足以解釋在移動檢視區段28時之統計行為。就此而言，應注意，檢視速率(亦即，檢視區段28之速率)可相當大且不限於(例如)使用者頭部之速率值。實際上，檢視區段28可視(例如)使用者之眼睛移動而移動，在此情況下，檢視速率可顯著較大。檢視區段28亦可根據另一輸入裝置移動(諸如，根據平板電腦或其類似物之移動)而移動。由於使得使用者能夠移動區段28之所有此等「輸入可能性」引起檢視區段28之不同預期速率，因此資訊74可甚至經設計以使得該資訊區別用於控制檢視區段28之移動之不同概念。亦即，資訊74可以指示用於控制檢視區段28之移動之不同方法的不同大小之方式來指示部分64之大小，且裝置40可將由資訊74指示之大小用於正確的檢視區段控制。亦即，裝置40獲得關於檢視區段28由使用者控制之方式的知識，亦即，檢查檢視區段28是否由頭部移動、眼睛移動或平板電腦移動或其類似移動來控制，且根據與此種檢視區段控制對應的資訊74之部分來設定大小。
通常，移動速率可根據內容、時段、表示、片段、根據SRD位置、根據像素、根據圖塊(例如，以任何時間或空間粒度或其類似者)來傳信。移動速率亦可區分頭部移動及/或眼睛移動，如剛才所概述。此外，關於使用者移動機率之資訊74可作為關於高解析度預取(亦即，使用者檢視區外之視訊區域，或球體涵蓋範圍)之推薦而輸送。
圖7a至圖7c簡要地概述關於資訊74在其由裝置40使用以分別修正部分64或部分62之大小及/或該等部分之位置的方面所解釋之選項中之一些。根據圖7a中所示之選項，裝置40將區段28之周界放大與傳信速率v與持續時間Δt之乘積對應的一距離，該持續時間可對應於與經編碼於個別媒體片段50a中之時間片段54之時間長度對應的時間段。另外及/或替代地，速率愈大，部分62及/或64之位置可離開區段28之當前位置愈遠地置放，或使部分62及/或64之當前位置處於傳信速率或移動之方向中，如資訊74所傳信。速率及方向可自測量或外插資訊74所指示之建議較佳區域之新近或改變導出。替代全向地應用v×Δt，速率可針對不同空間方向而由資訊74不同地傳信。圖7d中所描繪之替代例展示，資訊74可指示直接放大檢視區段28之周界之距離，此距離係由圖7b中之參數s指示。再次，可應用區段之方向變化之放大。圖7c展示，區段28之周界之放大可根據面積增加由資訊74指示，諸如，呈經放大區段之面積與區段28之原始面積相比的比率之形式。在任何情況下，區域28在放大後之周界(在圖7a至圖7c中由76指示)可由選擇器56使用，以尺寸設定或設定部分64之大小，以使得部分64至少以一預定量覆蓋經放大區段76內之整個區域。顯然，區段76愈大，例如，部分64內之圖塊之數目愈大。根據另一替代例，區段74可直接指示部分64之大小，諸如呈構成部分64之圖塊之數目的形式。
在圖5中描繪了傳信部分64之大小的後一可能性。圖5之實施例可加以修改，其方式與圖4之實施例由圖6之實施例修改相同，亦即，區段62之整個區域可以部分64之品質藉助於片段58自伺服器20提取。
在任何情況下，在圖5結束時，資訊74區分檢視區段28之不同大小，亦即，由檢視區段28看到的不同視野。資訊74簡單地指示視裝置40目前瞄準之檢視區段28之大小而定的部分64之大小。此使得伺服器20之服務能夠由具有檢視區段28之不同視野或不同大小之裝置使用，而無需諸如裝置40之裝置必須應對計算或另外猜測部分64之大小，使得部分64足以覆蓋檢視區段28而不顧及區段28之任何移動(如關於圖4、圖6及圖7所論述)的問題。如自圖1之描述可變得清楚，很容易評估(例如)哪個恆定數目之圖塊可足以完全覆蓋檢視區段28之特定大小(亦即，特定視野)，而不顧及用於空間定位30的檢視區段28之方向。此處，資訊74緩解此情形，且裝置40能夠在資訊74內簡單地查找部分64之大小之值以用於應用於裝置40之檢視區段28之大小。亦即，根據圖5之實施例，可供DASH用戶端或一些意欲機構使用之媒體呈現描述(諸如事件塊或SAND訊息)可包括分別關於表示集合或圖塊集合之球體涵蓋範圍或視野的資訊74。一個實例可為提供M個表示之圖塊，如圖1中所描繪。資訊74可指示下載建議數目n ＜ M個圖塊(稱作表示)以用於覆蓋給定終端裝置視野，例如，在如圖1中所描繪的圖塊化成6×4個圖塊之立方體表示中，認為12個圖塊足以覆蓋90°×90°之視野。歸因於終端裝置視野未必總是完美地與圖塊邊界對準，此建議不能全部由裝置40自身產生。裝置40可藉由下載(例如)至少N個圖塊而使用資訊74，亦即，媒體片段58與N個圖塊有關。利用該資訊之另一方法可為著重於區段62內的最接近終端裝置之當前檢視中心之N個圖塊的品質，亦即，將N個圖塊用於構成區段62之部分64。
關於圖8a，描述了關於本申請案之另一態樣之一實施例。此處，圖8a展示用戶端裝置10及伺服器20，該兩者根據上文關於圖1至圖7所描述之可能性中之任一者而彼此通訊。亦即，裝置10可根據關於圖2至圖7所描述之實施例中之任一者而具體化，或可無需此等細節而以上文關於圖1所描述之方式簡單地動作。然而，有利地，裝置10係根據上文關於圖2至圖7所描述之實施例中之任一者或其任何組合而具體化，且另外繼承現在關於圖8a所描述之操作模式。詳言之，裝置10在內部被理解為如上文關於圖2至圖8所描述，亦即，裝置40包含選擇器56、擷取器60及視情況之推演器66。選擇器56執行選擇以用於瞄準不均等串流化，亦即，以一方式選擇媒體片段而使得媒體內容係以品質在空間上變化之方式及/或存在未編碼部分之方式編碼至所選擇及擷取之媒體片段中。然而，除此之外，裝置40亦包含將記錄在(例如)以下各者中之日誌訊息發出至伺服器20或評估裝置82的日誌訊息發送器80： 量測第一部分64之空間位置及/或移動之一瞬時量測結果或一統計值， 量測至經編碼至選定媒體片段中時且至在檢視區段28中可見時的該時間變化之空間場景之一品質的一瞬時量測結果或一統計值，及/或 量測該第一部分之品質或至編碼至選定媒體片段中時且至在檢視區段28中可見時的時間變化之空間場景30之品質之一瞬時量測結果或一統計值。
動機如下。
為了能夠推演統計資料，諸如最感興趣之區或速率-機率配對，如先前所描述，需要來自使用者之報告機制。對ISO/IEC23009-1之附錄D中所定義之統計資料的額外DASH度量係必需的。
一個度量可為作為DASH度量之用戶端視野，其中DASH用戶端將關於視野的終端裝置之特性發送回至度量伺服器(其可與DASH伺服器或另一伺服器相同)。
一個度量可為ViewportList，其中DASH用戶端將由每一用戶端看到之檢視區及時地發送回至度量伺服器(其可與DASH伺服器或另一伺服器相同)。此訊息之實例化可如下。
對於檢視區(興趣區)訊息，可要求DASH用戶端在檢視區改變發生時進行報告，可能具有給定粒度(避免或無需避免報告極小移動)或給定週期性。此訊息可作為屬性@reportViewPortPeriodicity或元素或描述符而包括於MPD中。此訊息亦可在帶外指示，諸如利用SAND訊息或任何其他手段。
檢視區亦可關於圖塊粒度傳信。
另外或替代地，日誌訊息可關於回應於使用者輸入改變之其他當前場景相關參數做出報告，該等參數諸如下文關於圖10所論述之參數中之任一者，諸如與場景中心之當前使用者距離及/或當前檢視深度。
另一度量可為ViewportSpeedList，其中DASH用戶端指示在移動發生時給定檢視區之移動速率。
此訊息可僅在用戶端執行檢視區移動時發送。然而，如同針對先前情況，伺服器可指示訊息應僅在移動明顯時發送。此組態可有些類似@minViewportDifferenceForReporting，用於傳信以像素或角度或需要針對所發送之訊息改變的任何其他量值】計之大小。
VR-DASH服務(其中提供如上所述之不對稱品質)之另一重要事項為評估使用者自一檢視區之不對稱表示或不均等品質/解析度表示集合切換至另一檢視區之更充分之另一表示或表示集合有多快。利用此度量，伺服器可導出幫助其理解影響QoE之相關因素中統計資料。此度量可看起來如下。
替代地，之前所描述之持續時間可作為平均值給出。
對於其他DASH度量，所有此等度量可另外具有量測已執行之時間。
在一些情況下，可能發生：若不均等品質內容經下載且不良品質(或良好與不良品質之混合)經展示足夠長時間(其可能僅為幾秒)，則使用者會不高興且離開會話。在離開會話之條件下，使用者可發送具有展示於最近x時間間隔中之品質之訊息。
替代地，可報告最大品質差異或報告檢視區之max_quality及min_quality。
如自關於圖8a之以上描述變得清楚，為了使基於圖塊之DASH串流化服務操作員以有意義的方式(例如，關於解析度比、位元率及片段持續時間)設置及最佳化其服務，服務操作員能夠導出需要實例在上文描述之用戶端報告機制之統計資料係有利的。在下文中陳述除上文所定義度量外及除[A1]之附錄D外的額外DASH度量。
設想基於圖塊之串流化服務使用具有如圖1中所描繪之立方體投影的視訊。用戶端側之重建係說明於圖8b中，其中小圓圈198指示等角地水平及垂直分佈在用戶端之檢視區28內之檢視方向至由個別圖塊50覆蓋之圖像區域上的二維分佈之投影。用影線標記之圖塊指示高解析度圖塊，因此形成高解析度部分64，而非影線展示之圖塊50表示低解析度圖塊，因此形成低解析度部分66。可看到，由於檢視區28改變，使用者被部分地呈現低解析度圖塊，此係因為對片段選擇及下載之最近更新判定立方體上之每一圖塊之解析度，經寫碼至可下載片段58中之圖塊50之投影平面或像素陣列落在該立方體上。
儘管以上描述實際上通常(尤其)指示回饋或日誌訊息，其指示視訊在檢視區中向使用者呈現之品質，但在下文中，將概述就此而言可適用的更特定且有利之度量。現在所描述之度量可自用戶端側報告返回且被稱作有效檢視區解析度。推測該量度向服務操作員指示用戶端之檢視區中之有效解析度。在所報告之有效檢視區解析度指示使用者僅被呈現關於低解析度圖塊之解析度的解析度之情況下，服務操作員可相應地改變平鋪組態、解析度比或片段長度，以達成更高之有效檢視區解析度。
一個實施例可為在投影平面中量測的檢視區28中之平均像素計數，經寫碼至片段58中之圖塊50之像素陣列落在該投影平面中。該量測可相對於檢視區28之覆蓋視野(FoV)區分或特定於水平方向204與垂直方向206。下表展示可含於日誌訊息中以便傳信概述之檢視區品質量度的合適語法及語義之可能實例。
水平及垂直方向中之分解可改為使用平均像素計數之純量值停止。與亦可向日誌訊息之接收者(即評估器82)報告的檢視區28之孔隙或大小之指示一起，該平均計數指示檢視區內之像素密度。
將針對度量所考慮的視野減小至小於實際上向使用者呈現之檢視區的視野可為有利的，藉此排除朝向檢視區之邊界的僅用於周邊視覺且因此對主觀品質感知不具有影響之區域。此替代例係由虛線202說明，該虛線包圍處於檢視區28之此中心區段中之像素。針對關於檢視區28之總視野之經報告度量的所考慮視野202之報告亦可傳信至日誌訊息接收者82。下表展示先前實例之對應擴展。
根據另一實施例，不藉由在投影平面中以空間均勻方式對品質平均化(如實際上迄今為止關於含有EffectiveFoVResolutionH/V之實例所描述的實例中之情況)來量測平均像素密度，而是以對像素(亦即，投影平面)以非平均方式對此平均化加權之方式量測。平均化可以球體均勻之方式執行。作為一實例，平均化可關於如圓圈198分佈之樣本點均勻地執行。換言之，可藉由按照一權重對區域密度加權來執行平均化，該權重以二次式方式隨區域投影平面距離增加而減小且根據區域投影傾斜相對於與檢視點連接之線的正弦而增加。訊息可包括可選(旗標控制式)步進以針對可用投影(諸如等矩形投影)中之一些的固有過取樣進行調整，例如藉由使用均勻的球體取樣網格。一些投影並不具有大的過取樣問題，且強迫計算移除過取樣可產生不必要的複雜度問題。此必須不限於等矩形投影。報告並不需要區分水平解析度與垂直解析度，而是可組合該等解析度。以下給出一個實施例。
在圖8e中說明了在平均化中應用等角均勻性，展示了以檢視點306為中心之球體304上的等角地水平及垂直分佈之點302 (就在檢視區28內而言)如何投影至圖塊之投影平面308 (此處為立方體)上，以便執行按陣列(按行及列)配置於投影區域中之像素的像素密度308之平均化，以便根據點302至投影平面上之投影198之區域密度來設定用於像素密度之區域權重。圖8f中描繪了非常類似之方法。此處，點302在垂直於檢視方向312之檢視區平面中等距離地分佈，亦即在行及列中水平且垂直均勻地分佈，且至投影平面308上之投影界定點198，該等點之區域密度控制權重，由於檢視區28內之高及低解析度圖塊而變化的區域密度像素密度308以該權重有助於平均化。在諸如最新表之以上實例中，圖8f之替代例可替代圖8e中所描繪之實例而使用。
在下文中，描述了另一分類之日誌訊息之一實施例，其與具有多個媒體緩衝器300之DASH用戶端10有關，如圖8a中所例示性描繪，亦即DASH用戶端10將下載之片段58轉遞至由一或多個解碼器42進行的後續解碼(比較圖1)。片段58至該等緩衝器上之分佈可以不同方式進行。舉例而言，可作出分佈而使得360視訊之特定區係彼此分開地下載，或在下載至單獨緩衝器中之後緩衝。以下實例藉由關於以下各者做出指示而說明不同分佈：哪些如圖1中所示之索引為#1至#24之圖塊T (對映體具有合計25個)係以品質#1至#M (1為最佳且M為最差)中之何種品質Q經編碼至哪些個別可下載之表示R #1至#P中，及此等P個表示R可如何分組成MPD中索引為#1至#S之自適應集A (可選)，及P個表示R之片段58可如何分佈至索引為#1至#N之緩衝器B之緩衝器上。
此處，表示可在伺服器處提供且在MPD中通告以供下載，該等表示中之每一者係關於一個圖塊50，亦即場景之一個區段。與一個圖塊50相關，但以不同品質編碼此圖塊50之表示可在分組可選之自適應集中概述，但此精確分組係用於關聯至緩衝器。因此，根據此實例，每個圖塊50，或換言之，每個檢視區(檢視區段)編碼將存在一個緩衝器。 另一表示集合及分佈可為
根據此實例，每一表示可覆蓋整個區，但高品質區將聚焦在一個半球上，而較低品質係用於另一半球。僅在以此方式使用之精確品質上有差異(亦即在較高品質半球之位置中均等)之表示可收集在一個自適應集中，且根據此特性而分佈至緩衝器(此處例示性地，六個)上。
因此，以下描述假設應用了根據與自適應集或其類似物相關聯之不同檢視區編碼(視訊子區，諸如圖塊)的至緩衝器之此分佈。圖8c說明基於圖塊之串流化情形中的兩個單獨緩衝器(例如，圖塊1及圖塊2)隨時間之緩衝器充滿度位準，此情境已在最後但不重要之表中說明。使用戶端能夠報告其所有緩衝器之充滿度位準允許服務操作員可將資料與其他串流化參數關聯，以理解其服務設置之體驗品質(QoE)影響。
其優點在於，用戶端側上之多個媒體緩衝器之緩衝器充滿度可用度量報告，且經識別且關聯至緩衝器類型。舉例而言，關聯類型如下。 ● 圖塊 ● 檢視區 ● 區 ● 自適應集 ● 表示 ● 完整內容之低品質版本
本發明之一個實施例係在表1中給出，該表定義用於報告經識別且關聯之每一緩衝器之緩衝器位準狀態事件的度量。表 1 ：緩衝器層級之清單
使用檢視區相依編碼之另一實施例如下。 在檢視區相依串流情境中，DASH用戶端下載且預先緩衝與特定檢視定向(檢視區)相關之若干媒體片段。若經預先緩衝之內容之量過高，且用戶端改變其檢視定向，則將在檢視區改變之後播放之經預先緩衝之內容的部分不呈現且清除各別媒體緩衝器。此情境描繪於圖8d中。
另一實施例可係關於具有同一內容之多個表示(品質/位元率)且編碼視訊內容所用之品質可在空間上均勻的傳統視訊串流情境。
分佈因而可看上去如下。
亦即，此處，每一表示可以不同品質(即空間上均勻之品質)覆蓋例如可能並非全景360場景之完整場景，且此等表示可個別地分佈至緩衝器上。最後三個表中所陳述之所有實例應被視為不限制將在伺服器處提供之表示之片段58分佈至緩衝器上所用之方式。存在不同方法，且規則可基於片段58至表示之隸屬、片段58至自適應集之隸屬、將場景空間不均等地寫碼至各別片段所屬之表示中的區域增加之品質之方向、將場景編碼至所屬各別片段中所用之品質等。
用戶端可維持每個表示之緩衝器，且在經歷可用輸送量之升高後，決定在播放之前清除剩餘低品質/位元速率媒體緩衝器且將具有持續時間之高品質媒體片段下載於現有低品質/位元速率緩衝器內。可針對基於圖塊之串流化及檢視區相依編碼建構類似實施例。
服務操作員可能對理解何量及何種資料經下載而不呈現有興趣，此係因為此在伺服器側引入無增益之成本且使用戶端側之品質降低。因此，本發明應提供使容易解譯之兩個事件「媒體下載」及「媒體呈現」相關之報告度量。本發明避免冗長地報告的關於每一個媒體片段下載及播放狀態之資訊被分析，且僅允許高效地報告清除事件。本發明亦包括如上所述的緩衝器之識別及至類型之關聯。本發明之一實施例係在表2中給出。表 2 ：清除事件之清單
圖9展示如何有利地實施裝置40之另一實施例，圖9之裝置40可對應於上文關於圖1至圖8所陳述之實例中之任一者。亦即，裝置可能包含如上文關於圖8a所論述之鎖定傳訊器，但未必包含，且可使用如上文關於圖2及圖3所論述之資訊68或如上文關於圖5至圖7c所論述之資訊74，但未必使用。然而，不同於圖2至圖8之描述，關於圖9，假定真實地應用基於圖塊之串流化方法。亦即，場景內容30係在伺服器20處以基於圖塊之方式提供，基於圖塊之方式經論述為上文關於圖2至圖8之選項。
雖然裝置40之內部結構可不同於圖9中所描繪之內部結構，但裝置40經例示性展示為包含上文關於圖2至圖8已論述之選擇器56及擷取器60，及可選之推演器66。然而，另外，裝置40包含媒體呈現描述分析器90及匹配器92。MPD分析器90用於根據自伺服器20獲得之媒體呈現描述導出：至少一個版本，對於基於圖塊之串流化，時間變化之空間場景30係以該至少一個版本提供；及對於該至少一個版本中之每一者，用於自該基於圖塊之串流化獲益該時間變化之空間場景的各別版本的利益要求之一指示。「版本」之含義將自以下描述變得清楚。詳言之，匹配器92使如此獲得之利益要求與裝置40或與裝置40交互作用之另一裝置的裝置能力(諸如，一或多個解碼器42之解碼能力、解碼器42之數目或其類似者)匹配。圖9之概念所隱含之背景或思想如下。設想，假定檢視區段28之特定大小，基於圖塊之方法需要特定數目個圖塊由區段62包含。此外，可假定屬於特定圖塊之媒體片段形成一個媒體串流或視訊串流，該串流應藉由一單獨解碼實例化來解碼，與解碼屬於另一圖塊之媒體片段分開。因此，對應媒體片段係由選擇器56選擇的區段62內之特定數目個圖塊之移動聚集需要特定解碼能力，諸如存在呈例如對應數目個解碼實例化(亦即對應數目個解碼器42)形式之各別解碼資源。若不存在此數目個解碼器，則由伺服器20提供之服務不可用於用戶端。因此，由伺服器20提供之MPD可指示「利益要求」，即使用所提供之服務所需之解碼器的數目。然而，伺服器20可針對不同版本提供MPD。亦即，用於不同版本之不同MPD可由伺服器20獲得，或由伺服器20提供之MPD可在內部經結構化，以便區分可服務可使用之不同版本。舉例而言，版本可在視野(亦即，檢視區段28之大小)上不同。視野之不同大小用於區段62內之不同數目個圖塊來表現自身，且因此可在利益要求上不同，此係因為(例如)此等版本可需要不同數目個解碼器。同樣可想像其他實例。舉例而言，雖然視野不同之版本可涉及同樣的複數個媒體片段46，但根據另一實例，針對伺服器20處之圖塊串流所提供之場景30的不同版本的不同之處甚至可在於根據對應版本所涉及之複數個46媒體片段。舉例而言，根據一個版本之圖塊分割與根據另一版本之場景的圖塊-連字符分割相比較粗糙，藉此需要(例如)較少數目個解碼器。
匹配器92匹配該等利益要求，且因此選擇對應版本或完全拒絕所有版本。
然而，該等利益要求可另外關注一或多個解碼器42必須能夠解決之設定檔/位準。舉例而言，DASH MPD包括允許指示設定檔之多個位置。典型設定檔描述可在MPD處存在之屬性、元素，以及針對每一表示所提供之串流的視訊或音訊設定檔。
利益要求之其他實例關注(例如)用戶端側的使檢視區28移動越過場景之能力。該等利益要求可指示必要檢視區速率，其應可供使用者使用以使檢視區移動，從而能夠真正享受所提供之場景內容。匹配器可檢查(例如)此要求是否得到滿足，例如，插入於諸如HMD 26之使用者輸入裝置中。替代地，假定用於使檢視區移動的不同類型之輸入裝置與定向意義上之典型移動速率相關聯，「足夠類型之輸入裝置」之集合可藉助於利益要求來指示。
在球體視訊之圖塊化串流服務中，有過多組態參數可動態地設定，例如品質之數目、圖塊之數目。在圖塊係需要由單獨解碼器解碼器之獨立位元串流的情況下，若圖塊之數目過高，則具有幾個解碼器之硬體裝置將不能同時解碼所有位元串流。一可能性為保留此作為自由度，且DASH裝置剖析所有可能表示且對解碼所有表示或覆蓋裝置之視野之給定數目個表示需要多少個解碼器計數，且因此導出DASH用戶端是否可能消費內容。然而，針對互操作性及能力協商之更聰明解決方案為使用映射至一種設定檔之MPD中之傳信，該設定檔係用作對用戶端之承諾：若支援一設定檔，則可消費所提供之VR內容。此傳信應以可在MPD層級或在自適應集處封裝之URN (諸如urn::dash-mpeg::vr::2016)之形式進行。此解析將意謂X設定檔處之N個解碼器足夠用於消費內容。視設定檔而定，DASH用戶端可忽略或接受MPD或MPD之部分(自適應集)。另外，存在不包括所有資訊之若干機制，諸如Xlink或MPD鏈接，其中用於選擇之很少傳信可使用。在此情況下，DASH用戶端將不能夠導出其是否可消費內容。需要藉助於此urn (或類似事物)關於解碼器之數目及每一者解碼器之設定檔/層級來暴露解碼能力，以使得DASH用戶端現在可對於是否執行Xlink或MPD鏈接或類似機制有意義。傳信亦可意謂不同操作點，諸如具有X設定檔/層級之N個解碼器或具有Y設定檔/層級之Z個解碼器。
圖10進一步說明，用戶端、裝置40、伺服器等的關於圖1至圖9所呈現之上述實施例及描述中之任一者可擴展至如下範圍：所提供服務經擴展至時間變化之空間場景不僅在時間上變化，而且視另一參數而變化的範圍。舉例而言，圖10說明圖1之變型，其中在伺服器上得到複數個可用媒體片段針對檢視中心100之不同位置描述場景內容30。在圖10中所示之示意圖中，場景中心經描繪為僅沿著一個方向X變化，但明顯的，檢視中心可沿著多於一個空間方向(諸如二維地三維地)變化。舉例而言，此對應於使用者的使用者位置在特定虛擬環境中之改變。視虛擬環境中之使用者位置而定，可獲得之視圖改變，且相應地，場景30改變。因此，除了描述場景30經細分為圖塊及時間片段以及不同品質之媒體片段之外，其他媒體片段針對場景中心100之不同位置描述場景30之不同內容。裝置40或選擇器56分別視檢視區段位置及至少一個參數(諸如參數X)而計算複數個46媒體片段中的將在選擇程序內擷取之媒體片段之位址，且可接著使用計算出之位址自伺服器擷取此等媒體片段。為此目的，媒體呈現描述可描述視圖塊索引、品質索引、場景中心位置以及時間t而定之功能，且產生各別媒體片段之對應位址。因此,根據圖10之實施例，媒體呈現描述可包含此計算規則，除了上文關於圖1至圖9所闡述之參數以外，該計算規則亦取決於一或多個額外參數。參數X可經量化至層級中之任一者上，針對該等層級，各別場景表示係藉助於伺服器20中之複數個46媒體片段內之對應媒體片段而經寫碼。
作為替代方案，X可為定義檢視深度(亦即在徑向上與場景中心100之距離)之參數。儘管在檢視中心部分X不同之不同版本中提供場景允許使用者「走」過場景，但在檢視深度不同之不同版本中提供場景可允許使用者在場景中來回地「徑向變焦」。
針對多個非同心檢視區，MPD因此可使用當前檢視區之位置之另一傳信。傳信可在片段、表示或時段層級或其類似物上進行。
非同心球體：為了使使用者移動，不同球體之空間關係應在MPD中傳信。此傳信可藉助於相對於球體直徑之任意單位之座標(x,y,z)來進行。另外，應針對每一球體指示球體之直徑。球體可「足夠良好」以供處於其中心及額外空間(內容針對其將良好)中之使用者使用。若使用者可移動超過所傳信之直徑，則應使用另一球體以用於展示內容。
檢視區之例示性傳信可相對於空間中之預定義中心點進行。將相對於彼中心點傳信每一檢視區。在MPEG-DASH中，此可(例如)在AdaptationSet元素中傳信。
最後，圖11說明諸如或類似於上文關於元件符號74所描述之資訊的資訊可駐存在視訊位元串流110中，視訊112係編碼至該視訊位元串流中。解碼此視訊110之解碼器114可使用資訊74來判定視訊112內之聚焦區域116之大小，用於解碼視訊110之解碼能力應集中至該聚焦區域。舉例而言，資訊74可在視訊位元串流110之SEI信息內輸送。舉例而言，聚焦區域可專門地經解碼，或解碼器114可經組配以在聚焦區域，而非(例如)在左上方圖像角落，開始視訊之每一圖像，及/或解碼器114可在已解碼聚焦區域116後停止解碼視訊之每一圖像。另外或替代地，資訊74可存在於資料串流中以僅用於轉遞至用戶端或片段選擇器的後續顯現器或檢視區控制或串流設備，以用於決定哪些片段要下載或串流以便完全或以增加或預定品質覆蓋空間區段。舉例而言，如上文所概述，資訊74指示建議之較佳區域，作為置放檢視區段62或區段66以與此區域一致或覆蓋或追蹤此區域之推薦。該資訊可由用戶端之片段選擇器使用。正如相對於關於圖4至圖7c之描述為真，資訊74可絕對地設定區域116之尺寸(諸如以圖塊之數目計)，或可例如根據使用者輸入或其類似物而設定區域移動所用的區域116之速率，以便在時空上跟隨視訊之受關注內容，藉此縮放區域116以便隨速度之增加指示而增加。
儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述之態樣亦表示對應設備之對應區塊或物件或特徵的描述。可由(或使用)硬體設備(例如，微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可由此設備執行最重要之方法步驟中之一或多者。
上文出現之信號(諸如，經串流化之信號、MPD或所提及信號中之任何其他信號)可儲存於數位儲存媒體上，或可在傳輸媒體(諸如，無線傳輸媒體或有線傳輸媒體，諸如網際網路)上傳輸。
取決於某些實施要求，本發明之實施例可以硬體或以軟體實施。可使用數位儲存媒體來執行該實施，數位儲存媒體例如軟碟、DVD、藍光(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電可讀控制信號，該等電可讀控制信號與可規劃電腦系統協作(或能夠協作)以使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電可讀控制信號之資料載體，其能夠與可規劃電腦系統協作，以使得執行本文中所描述之方法中之一者。
通常，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上執行時，程式碼操作性地用於執行方法中之一者。程式碼可(例如)儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中之一者的電腦程式。
換言之，因此，發明方法之實施例為電腦程式，其具有用於在電腦程式於電腦執行上時，執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或所記錄媒體通常係有形的及/或非瞬變的。
因此，本發明方法之另一實施例為資料串流或信號序列，其表示用於執行本文中所描述之方法中之一者的電腦程式。資料串流或信號序列可(例如)經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
另一實施例包括經組配以或適於執行本文中所描述之方法中之一者的處理構件，例如電腦或可規劃邏輯裝置。
另一實施例包含電腦，該電腦於其上安裝有用於執行本文中所描述之方法中之一者的電腦程式。
根據本發明之另一實施例包含經組配以(例如，以電方式或以光學方式)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器之設備或系統。接收器可(例如)為電腦、行動裝置、記憶體裝置或其類似者。設備或系統可(例如)包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法之功能性中的一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，該等方法較佳由任何硬體設備執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來執行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或由軟體來執行。
上述實施例僅說明本發明之原理。應理解，熟習此項技術者將顯而易見本文中所描述之配置及細節的修改及變化。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉助於描述及解釋本文中實施例所呈現的特定細節限制。 參考文獻 [A1] ISO/IEC 23009-1:2014, Information technology -- Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats
10‧‧‧用戶端
20‧‧‧伺服器
22‧‧‧通訊
24‧‧‧抬頭顯示器
26‧‧‧內部顯示器
28‧‧‧檢視區段
30‧‧‧時間變化之空間場景
32‧‧‧內部定向感測器
34‧‧‧儲存器
36‧‧‧控制器
38‧‧‧串流修改器
40‧‧‧用戶端裝置或控制器
42、114‧‧‧解碼器
44‧‧‧再投影器
46、58‧‧‧媒體片段
48、62‧‧‧空間區段
50‧‧‧圖塊
52、112‧‧‧視訊
54‧‧‧時間片段
Q1‧‧‧品質
56‧‧‧選擇器
60‧‧‧擷取器
61‧‧‧例示性情況
64‧‧‧第一部分/高解析度部分
66‧‧‧第二部分
66‧‧‧推演器
68、74‧‧‧資訊
70‧‧‧預定關係/資訊
72‧‧‧未編碼部分
76‧‧‧周界/經放大區段
80‧‧‧日誌訊息發送器
82‧‧‧評估器/日誌訊息接收者
90‧‧‧媒體呈現描述分析器
92‧‧‧匹配器
100‧‧‧場景中心/檢視中心
110‧‧‧視訊位元串流
116‧‧‧聚焦區域
198‧‧‧小圓圈/投影/點
202‧‧‧虛線/視野
204‧‧‧水平方向
206‧‧‧垂直方向
300‧‧‧緩衝器
302‧‧‧點
304‧‧‧球體
306‧‧‧檢視點
308‧‧‧投影平面
310‧‧‧檢視區平面
312‧‧‧檢視方向
下文中關於圖式闡述了本申請案之較佳實施例，在該等圖式之中： 圖1展示一示意圖，其將用於虛擬實境應用的用戶端及伺服器之系統說明為關於可有利地使用以下圖式中所闡述之實施例之情況的實例； 圖2展示用戶端裝置之方塊圖以及根據本申請案之一實施例的用以描述用戶端裝置之可能操作模式的媒體片段選擇程序之示意性說明，其中伺服器10為裝置提供關於向使用者呈現之媒體內容內之可接受或可忍受品質變化的資訊； 圖3展示圖2之修改，品質增加之部分並不關心追蹤檢視區之檢視區段的部分，而是關心自伺服器傳信之用戶端之媒體場景內容的興趣區； 圖4展示用戶端裝置之方塊圖以及根據一實施例之媒體片段選擇程序之示意性說明，其中伺服器提供關於如何設定品質增加之部分的大小或大小及/或位置，或媒體場景之實際所擷取區段的大小或大小及/或位置的資訊； 圖5展示圖5之變型，其中由伺服器發送之資訊直接指示部分64之大小，而非視檢視區之預期移動而縮放該部分； 圖6展示圖4之變型，根據該變型，所擷取區段具有預定品質且其大小係藉由源於伺服器之資訊判定； 圖7a至圖7c展示說明根據圖4及圖6之資訊74經由對應放大檢視區之大小而使以預定品質擷取之部分的大小增加所用之方式的示意圖； 圖8a展示說明一實施例之示意圖，在該實施例中，用戶端裝置將日誌訊息發送至伺服器或用於評估此等日誌訊息之特定評估器，以便(例如)針對關於圖2至圖7c所論述之資訊之類型導出適當設定； 圖8b展示360場景至圖塊上的基於圖塊之立方體投影之示意圖，及圖塊中之一些如何藉由檢視區之一例示性位置覆蓋的一實例。小圓圈指示等角分佈之檢視區中之位置，且陰影圖塊係以比不具陰影之圖塊高的解析度在所下載片段中經編碼； 圖8c及圖8d展示了展示沿著時間軸線(水平的)，用戶端之不同緩衝器之緩衝器充滿度(垂直軸線)可如何發展的圖式之示意圖，其中圖8c假設緩衝器將用以緩衝寫碼特定圖塊之表示，而圖8d假設緩衝器將用以緩衝具有以不均勻品質(即朝著各別緩衝器特定之某一方向增加)編碼至其中之場景的全向表示； 圖8e及圖8f展示檢視區28內之不同像素密度量測結果之三維圖，不同之處在於球體或檢視平面意義上之均勻性； 圖9展示用戶端裝置之方塊圖，及當裝置檢測源於伺服器之資訊以便評估由伺服器提供基於圖塊之串流化所在的特定版本對於用戶端裝置是否可接受時，媒體片段選擇程序之示意性說明； 圖10展示根據一實施例的說明由伺服器提供之複數個媒體片段之示意圖，從而允許媒體場景不僅取決於時間，而且取決於另一非時間參數(即，此處例示性為場景中心位置)； 圖11展示一示意圖，其說明包含操縱或控制經編碼至位元串流中之視訊內的聚焦區域之大小之資訊的視訊位元串流，以及能夠利用此資訊之視訊解碼器之一實例。

Claims (115)

  1. 一種用於串流化關於一時間變化之空間場景之媒體內容的裝置，該裝置係組配來：從可於一伺服器上獲得之複數個媒體片段中選擇媒體片段，該等選定媒體片段來自該伺服器，其中該裝置係組配來：執行該選擇，使得該等選定媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分係以另一品質編碼至該等選定媒體片段中，該另一品質相對於該預定品質滿足一預定關係，且自含於該等選定媒體片段中之資訊及/或自該伺服器獲得之一信號化作用而導出該預定關係，其中該資訊指示用於該另一品質與該預定品質之間的一差異之一量度之一可忍受值。
  2. 如請求項1之裝置，其中該等複數個媒體片段中之每一媒體片段具有編碼至其中的處於一組品質位準中之一相關聯品質位準下的該時間變化之空間場景之一相關聯時空部分。
  3. 如請求項2之裝置，其中編碼至該等複數個媒體片段中的該時間變化之空間場景之該等時空部分中之每一者係處於該時間變化之空間場景在空間上細分成之圖塊中之一個別圖塊處的該時間變化之空間場景之時間片段。
  4. 如請求項1之裝置，其中以取決於與檢視區段之一距離之一方式，該資訊指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值。
  5. 如請求項1之裝置，其中藉助於與檢視區段之一個別距離及用於超出該個別距離的該差異之該量度之一對應可忍受值之對的一清單，該資訊以取決於與該檢視區段之一距離之一方式指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值。
  6. 如請求項1之裝置，其中該資訊指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值，使得該可忍受值隨著與該檢視區段之距離增加而增加。
  7. 如請求項1之裝置，其中該資訊指示用於該另一品質與該預定品質之間的該差異之該量度之該可忍受值，以及該第二部分可與該第一部分一起在該檢視區段內的一最大允許時間間隔之一指示。
  8. 如請求項7之裝置，其中該資訊指示用於該另一品質與該預定品質之間的該差異之該量度之另一可忍受值，以及該第二部分可與該第一部分一起在該檢視區段內的另一最大允許時間間隔之一指示。
  9. 如請求項1之裝置，其中該資訊係時變及/或空間變化的。
  10. 一種用於串流化關於一時間變化之空間場景之媒體內容的裝置，該裝置係組配來：從可於一伺服器上獲得之複數個媒體片段中選擇媒體片段，該等選定媒體片段來自該伺服器，其中該裝置係組配來：執行該選擇，使得該等選定媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分係以另一品質編碼至該等選定媒體片段中，該另一品質相對於該預定品質滿足一預定關係，且自含於該等選定媒體片段中之資訊及/或自該伺服器獲得之一信號化作用而導出該預定關係，其中該資訊指示用於該另一品質及該預定品質之所允許並行設定對。
  11. 如請求項1或10之裝置，其中該裝置係組配來執行該選擇，使得該第一部分跟隨該時間變化之空間場景的一時間變化之檢視區段。
  12. 如請求項11之裝置，其中該裝置係組配成使得該時間變化之檢視區段之一空間位置根據使用者輸入而改變。
  13. 如請求項1或10之裝置，其中該裝置係組配來決定該第一部分以便與一感興趣區對應。
  14. 如請求項13之裝置，其中該裝置係組配來從該伺服器擷取關於該感興趣區之資訊。
  15. 一種用於關於一時間變化之空間場景之媒體內容的串流化伺服器，該串流化伺服器係組配來：使複數個媒體片段得以供一裝置擷取，藉此使該裝置能夠選擇供擷取之媒體片段，該等媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分係以另一品質編碼至該等選定媒體片段中，且在該等媒體片段中及/或藉助於至該裝置之一信號化作用而傳信關於一預定關係之資訊，該預定關係將相對於該預定品質由該另一品質滿足，其中該資訊指示用於該另一品質與該預定品質之間的一差異之一量度之一可忍受值。
  16. 如請求項15之串流化伺服器，其中該等複數個媒體片段中之每一媒體片段具有編碼至其中的處於一組品質位準中之一相關聯品質位準下的該時間變化之空間場景之一相關聯時空部分。
  17. 如請求項16之串流化伺服器，其中編碼至該等複數個媒體片段中的該時間變化之空間場景之該等時空部分中之每一者，係處於該時間變化之空間場景在空間上細分成之圖塊中之一個別圖塊處的該時間變化之空間場景之時間片段。
  18. 如請求項15之串流化伺服器，其中以取決於與檢視區段之一距離之一方式，該資訊指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值。
  19. 如請求項15之串流化伺服器，其中藉助於與該檢視區段之一個別距離及用於超出該個別距離的該差異之該量度之一對應可忍受值之對的一清單，該資訊以取決於與該檢視區段之一距離之一方式指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值。
  20. 如請求項15之串流化伺服器，其中該資訊指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值，使得該可忍受值隨著與該檢視區段之距離增加而增加。
  21. 如請求項15之串流化伺服器，其中該資訊指示用於該另一品質與該預定品質之間的該差異之該量度之該可忍受值，以及該第二部分可與該第一部分一起在該檢視區段內的一最大允許時間間隔之一指示。
  22. 如請求項21之串流化伺服器，其中該資訊指示用於該另一品質與該預定品質之間的該差異之該量度之另一可忍受值，以及該第二部分可與該第一部分一起在該檢視區段內的另一最大允許時間間隔之一指示。
  23. 如請求項15之串流化伺服器，其中該資訊係時變及/或空間變化的。
  24. 一種用於關於一時間變化之空間場景之媒體內容的串流化伺服器，該串流化伺服器係組配來：使複數個媒體片段得以供一裝置擷取，藉此使該裝置能夠選擇供擷取之媒體片段，該等媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分係以另一品質編碼至該等選定媒體片段中，且在該等媒體片段中及/或藉助於至該裝置之一信號化作用而傳信關於一預定關係之資訊，該預定關係將相對於該預定品質由該另一品質滿足，其中該資訊指示用於該另一品質及該預定品質之所允許並行設定對。
  25. 如請求項15或24之串流化伺服器，其中該裝置係組配來將關於一感興趣區之資訊發送至該裝置。
  26. 一種儲存有媒體呈現描述之非暫態數位儲存媒體，該媒體呈現描述包含：關於計算複數個媒體片段之位址的資訊，使得一裝置使用該資訊可自該等複數個媒體片段中選擇及擷取媒體片段，該等媒體片段至少具有編碼至其中的時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分係以另一品質編碼至該等選定媒體片段中，以及關於一預定關係之資訊，該預定關係將相對於該預定品質由該另一品質滿足，其中該資訊指示用於該另一品質與該預定品質之間的一差異之一量度之一可忍受值。
  27. 如請求項26之非暫態數位儲存媒體，其中該等複數個媒體片段中之每一媒體片段具有編碼至其中的處於一組品質位準中之一相關聯品質位準下的該時間變化之空間場景之一相關聯時空部分。
  28. 如請求項27之非暫態數位儲存媒體，其中編碼至該等複數個媒體片段中的該時間變化之空間場景之該等時空部分中之每一者，係處於該時間變化之空間場景在空間上細分成之圖塊中之一個別圖塊處的該時間變化之空間場景之時間片段。
  29. 如請求項26之非暫態數位儲存媒體，其中以取決於與檢視區段之一距離之一方式，該資訊指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值。
  30. 如請求項26之非暫態數位儲存媒體，其中藉助於與該檢視區段之一個別距離及用於超出該個別距離的該差異之該量度之一對應可忍受值之對的一清單，該資訊以取決於與該檢視區段之一距離之一方式指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值。
  31. 如請求項26之非暫態數位儲存媒體，其中該資訊指示用於該另一品質與該預定品質之間的一差異之該量度之該可忍受值，使得該可忍受值隨著與該檢視區段之距離增加而增加。
  32. 如請求項26之非暫態數位儲存媒體，其中該資訊指示用於該另一品質與該預定品質之間的該差異之該量度之該可忍受值，以及該第二部分可與該第一部分一起在該檢視區段內的一最大允許時間間隔之一指示。
  33. 如請求項32之非暫態數位儲存媒體，其中該資訊指示用於該另一品質與該預定品質之間的該差異之該量度之另一可忍受值，以及該第二部分可與該第一部分一起在該檢視區段內的另一最大允許時間間隔之一指示。
  34. 如請求項26之非暫態數位儲存媒體，其中該資訊係時變及/或空間變化的。
  35. 一種儲存有媒體呈現描述之非暫態數位儲存媒體，該媒體呈現描述包含：關於計算複數個媒體片段之位址的資訊，使得一裝置使用該資訊可自該等複數個媒體片段中選擇及擷取媒體片段，該等媒體片段至少具有編碼至其中的時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分係以另一品質編碼至該等選定媒體片段中，以及關於一預定關係之資訊，該預定關係將相對於該預定品質由該另一品質滿足，其中該資訊指示用於該另一品質及該預定品質之所允許並行設定對。
  36. 如請求項26或35之非暫態數位儲存媒體，其中該媒體呈現描述包含關於一感興趣區之資訊。
  37. 一種用於串流化關於一時間變化之空間場景之媒體內容的裝置，該裝置係組配來：從可於一伺服器上獲得之複數個媒體片段中選擇媒體片段，其中該裝置係組配來：執行該選擇，使得該等選定媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分不編碼至該等選定媒體片段中或以相對於該預定品質降低之另一品質編碼至該等選定媒體片段中，且使得該第一部分跟隨該時間變化之空間場景的一時間變化之檢視區段，以及視含於該等選定媒體片段中之資訊及/或自該伺服器獲得之一信號化作用而設定該第一部分之一大小及/或位置。
  38. 如請求項37之裝置，其中該資訊以相對於該時間變化之檢視區段之一大小的一增量或該時間變化之檢視區段之一大小的一縮放之形式指示該大小。
  39. 如請求項37之裝置，其中該資訊指示用於該檢視區段之一空間速率之一量度的一預定值。
  40. 如請求項39之裝置，其中該資訊針對以下項目指示用於該檢視區段之該空間速率之該量度的該預定值：一量測之空間速率不超過該預定值的使用者之一預設百分位數，及/或以及指示一量測之空間速率不超過該預定值的使用者之一百分位數的一百分位數值，及/或以及指示該檢視區段處於一預定區域中的使用者之一百分位數的一百分位數值，及/或以及指示該預定值可適用的控制該檢視區段之一移動之使用者輸入的一或多個類型之一提示。
  41. 如請求項39之裝置，該裝置係組配來執行該設定，使得：其中用於該檢視區段之該空間速率之量度的該預定值愈高，該大小愈大。
  42. 如請求項37之裝置，其中該資訊指示用於該檢視區段之一移動方向之一機率的一量度之一預定值。
  43. 如請求項42之裝置，該裝置係組配來執行該設定，使得：一個別移動方向之機率愈高，該第一部分延伸至該個別移動方向中愈多。
  44. 如請求項37之裝置，其中該資訊以一時變及/或空間變化及/或方向變化之方式指示該預定空間速率。
  45. 如請求項37之裝置，該裝置係組配成使得該第一部分與該空間區段一致。
  46. 如請求項37之裝置，其中編碼至該等複數個媒體片段中的該時間變化之空間場景之該等時空部分中之每一者，係處於該時間變化之空間場景在空間上細分成之圖塊中之一個別圖塊處的該時間變化之空間場景之時間片段。
  47. 如請求項46之裝置，其中該等複數個媒體片段中之每一媒體片段具有編碼至其中的處於一組品質位準中之一相關聯品質位準下的該時間變化之空間場景之一相關聯時空部分。
  48. 如請求項37之裝置，其中該裝置係組配來取決於該資訊而以獨立於該時間變化之檢視區段之一大小的一方式來設定該大小。
  49. 如請求項37之裝置，其中該資訊包含用於該時變檢視區段之不同大小選項的關於該大小之不同值，而該裝置將由該資訊包含之該值用於適合該時變檢視區段之一實際大小的一大小選項。
  50. 如請求項48之裝置，其中該資訊用圖塊之數目指示該大小。
  51. 一種用於關於一時間變化之空間場景之媒體內容的串流化伺服器，該串流化伺服器係組配來：使複數個媒體片段得以供一裝置擷取，藉此使該裝置能夠選擇供擷取之媒體片段，該等媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分不編碼至該等選定媒體片段中或以相對於該預定品質降低之另一品質編碼至該等選定媒體片段中，且使得該第一部分跟隨該時間變化之空間場景的一時間變化之檢視區段，且在該等媒體片段中及/或藉助於至該裝置之一信號化作用而傳信關於如何設定該第一部分之一大小及/或位置之資訊。
  52. 一種定義一媒體呈現描述之信號，其包含：關於計算複數個媒體片段之位址的資訊，使得一裝置使用該資訊可自該等複數個媒體片段中選擇及擷取媒體片段，該等媒體片段至少具有編碼至其中的時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分不編碼至該等選定媒體片段中或以相對於該預定品質降低之另一品質編碼至該等選定媒體片段中，且使得該第一部分跟隨該時間變化之空間場景的一時間變化之檢視區段，以及該等媒體片段中及/或藉助於至該裝置之一信號化作用的關於如何設定該第一部分之一大小及/或之資訊。
  53. 如請求項52之信號，其中該資訊以相對於該時間變化之檢視區段之一大小的一增量或該時間變化之檢視區段之一大小的一縮放之形式指示該大小。
  54. 如請求項52之信號，其中該資訊指示用於該檢視區段之一空間速率之一量度的一預定值。
  55. 如請求項54之信號，其中該資訊針對以下項目指示用於該檢視區段之該空間速率之該量度的該預定值：一量測之空間速率不超過該預定值的使用者之一預設百分位數，及/或以及指示一量測之空間速率不超過該預定值的使用者之一百分位數的一百分位數值，及/或以及指示該檢視區段處於一預定區域中的使用者之一百分位數的一百分位數值，及/或以及指示該預定值可適用的控制該檢視區段之一移動之使用者輸入的一或多個類型之一提示。
  56. 如請求項54之信號，該信號係組配來執行該設定，使得：其中用於該檢視區段之該空間速率之量度的該預定值愈高，該大小愈大。
  57. 如請求項52之信號，其中該資訊指示用於該檢視區段之一移動方向之一機率的一量度之一預定值。
  58. 如請求項57之信號，該信號係組配來執行該設定，使得：一個別移動方向之機率愈高，該第一部分延伸至該個別移動方向中愈多。
  59. 如請求項52之信號，其中該資訊以一時變及/或空間變化及/或方向變化之方式指示該預定空間速率。
  60. 如請求項52之信號，其係組配成使得該第一部分與該空間區段一致。
  61. 如請求項52之信號，其中編碼至該等複數個媒體片段中的該時間變化之空間場景之該等時空部分中之每一者，係處於該時間變化之空間場景在空間上細分成之圖塊中之一個別圖塊處的該時間變化之空間場景之時間片段。
  62. 如請求項61之信號，其中該等複數個媒體片段中之每一媒體片段具有編碼至其中的處於一組品質位準中之一相關聯品質位準下的該時間變化之空間場景之一相關聯時空部分。
  63. 如請求項52之信號，其中該裝置係組配來取決於該資訊而以獨立於該時間變化之檢視區段之一大小的一方式該大小。
  64. 如請求項52之信號，其中該資訊包含用於該時變檢視區段之不同大小選項的關於該大小之不同值，而該裝置將由該資訊包含之該值用於適合該時變檢視區段之一實際大小的一大小選項。
  65. 如請求項62之信號，其中該資訊用圖塊之數目指示該大小。
  66. 一種儲存有視訊位元串流之非暫態數位儲存媒體，該視訊位元串流具有編碼至其中之一視訊，該視訊位元串流包含用於解碼該視訊之一解碼能力應集中至該視訊內之聚焦區域之一大小及該視訊之一建議較佳檢視區段區域中的一或多者之一信號化作用。
  67. 一種用於將視訊從視訊位元串流解碼出來之解碼器，該解碼器係組配來：從該視訊位元串流導出該視訊內之一聚焦區域之一大小的一信號化作用，且將用於解碼該視訊之一解碼能力集中至該聚焦區域。
  68. 如請求項67之解碼器，該解碼器係組配來專門解碼該聚焦區域。
  69. 如請求項67之解碼器，該解碼器係組配來解碼開始解碼該聚焦區域處的該視訊之每一圖像。
  70. 如請求項67之解碼器，該解碼器係組配來在解碼該聚焦區域後停止解碼該視訊之每一圖像。
  71. 如請求項67之解碼器，其中該信號化作用絕對地指示該大小，或解碼器係組配來根據含於該信號化作用中之一參數來縮放聚焦區域之一大小。
  72. 一種用於串流化關於一時間變化之空間場景之媒體內容的裝置，該裝置係組配來：從一媒體呈現描述導出：至少一個版本，對於基於圖塊之串流化，該時間變化之空間場景係以該至少一個版本提供，對於該至少一個版本中之每一者，用於自該基於圖塊之串流化使該時間變化之空間場景的該個別版本獲益的利益要求之一指示，使該至少一個版本之該等利益要求與該裝置或與該裝置交互作用之另一裝置的關於該基於圖塊之串流化之一裝置能力匹配。
  73. 如請求項72之裝置，其中該等利益要求及該裝置能力係關於解碼能力。
  74. 如請求項72之裝置，其中該等利益要求及該裝置能力係關於可用解碼器之數目。
  75. 如請求項72之裝置，其中該等利益要求及該裝置能力係關於層級及/或設定檔描述符。
  76. 如請求項72之裝置，其中該等利益要求及該裝置能力係關於用於使一檢視區段移動越過該時間變化之空間場景之輸入裝置的一類型，或係關於使用該輸入裝置使該檢視區段移動越過該時間變化之空間場景的一速度。
  77. 如請求項72之裝置，其中該裝置係組配來：從可於該伺服器上獲得之複數個媒體片段中選擇媒體片段，該選擇藉由使用由該媒體呈現描述包含之一計算規則來計算該等選定媒體片段之位址，使用該等計算出之位址自該伺服器擷取該等選定媒體片段，其中該裝置係組配來執行該選擇，使得該等選定媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分不編碼至該等選定媒體片段中或以相對於該預定品質降低之另一品質編碼至該等選定媒體片段中，且使得該第一部分跟隨該時間變化之空間場景的一時間變化之檢視區段。
  78. 一種用於串流化關於一時間變化之空間場景之媒體內容的串流化伺服器，其係組配來：提供一媒體呈現描述，自該媒體呈現描述可導出：至少一個版本，對於基於圖塊之串流化，該時間變化之空間場景係以該至少一個版本提供，對於該至少一個版本中之每一版本，用於自該基於圖塊之串流化使個別版本獲益的利益要求之一指示，藉此使串流化來自該串流化伺服器之該媒體內容之一裝置能夠：使該至少一個版本之該等利益要求與該裝置或與該裝置交互作用之另一裝置的關於該基於圖塊之串流化之一裝置能力匹配。
  79. 一種儲存有媒體呈現描述之非暫態數位儲存媒體，該媒體呈現描述包含：關於至少一個版本之資訊，對於基於圖塊之串流化，一時間變化之空間場景係以該至少一個版本提供，對於該至少一個版本中之每一者，用於自該基於圖塊之串流化使個別版本獲益的利益要求之一指示。
  80. 如請求項79之非暫態數位儲存媒體，其中該等利益要求及該裝置能力係關於解碼能力。
  81. 如請求項79之非暫態數位儲存媒體，其中該等利益要求及該裝置能力係關於可用解碼器之數目。
  82. 如請求項79之非暫態數位儲存媒體，其中該等利益要求及該裝置能力係關於層級及/或設定檔描述符。
  83. 如請求項79之非暫態數位儲存媒體，其中該等利益要求及該裝置能力係關於用於使一檢視區段移動越過該時間變化之空間場景之輸入裝置的一類型，或係關於使用該輸入裝置使該檢視區段移動越過該時間變化之空間場景的一速度。
  84. 如請求項79之非暫態數位儲存媒體，其中進一步包含一計算規則，使用該計算規則，該裝置能夠：從可於該伺服器上獲得之複數個媒體片段中選擇媒體片段，該選擇係藉由使用所包含之該計算規則來計算該等選定媒體片段之位址。
  85. 一種用於串流化關於一時間變化之空間場景之媒體內容的裝置，該裝置係組配來：視一空間檢視區位置及至少一個參數來計算媒體片段之位址，該等媒體片段描述在時間上變化之一空間場景及該至少一個參數，使用該等計算出之位址來擷取該等媒體片段。
  86. 如請求項85之裝置，其中該至少一個參數包含一檢視中心之一或多個座標及/或一檢視深度。
  87. 一種儲存有媒體呈現描述之非暫態數位儲存媒體，該媒體呈現描述包含：一計算規則，其用於視一空間檢視區位置及至少一個參數來計算媒體片段之位址，該等媒體片段描述在時間上變化之一空間場景及該至少一個參數，以便使用該等計算出之位址來擷取該等媒體片段。
  88. 一種用於允許一裝置串流化來自伺服器的關於一時間變化之空間場景之媒體內容的串流化伺服器，該串流化伺服器係組配來提供一媒體呈現描述，該媒體呈現描述包含：一計算規則，其用於視一空間檢視區位置及至少一個參數來計算媒體片段之位址，該等媒體片段描述在時間上變化之一空間場景及該至少一個參數，以便使用該等計算出之位址來擷取該等媒體片段。
  89. 一種用於串流化關於一時間變化之空間場景之媒體內容的裝置，該裝置係組配來：從可於一伺服器上獲得之複數個媒體片段中選擇媒體片段，其中該裝置係組配來：將該時間變化之空間場景之一第一部分，以與該第一部分之一空間鄰域相比增加的一品質或以使得該第一部分之該空間鄰域不編碼至該等選定媒體片段中之一方式，予以編碼至其中，發出日誌訊息，該等日誌訊息記錄：量測該第一部分之一空間位置及/或移動之一瞬時量測結果；及/或量測該第一部分之一空間位置及/或移動之一統計值，諸如一時間平均值；及/或量測至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一瞬時量測結果；及/或參與緩衝該等選定媒體片段之該裝置之緩衝器之一集合的一指示、在將該等選定媒體片段分佈至緩衝器之該集合上時所應用之一分佈規則的一描述及緩衝器之該集合中之每一者的一瞬時緩衝器充滿度；及/或尚未自用於經歷解碼之該裝置之一緩衝器輸出的該等選定媒體片段之一量之一量測結果；及/或量測至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一統計值，諸如一時間平均值；及/或量測該第一部分之該品質或至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一瞬時量測結果；及/或量測該第一部分之該品質或至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一統計值，諸如一時間平均值；及/或由該檢視區段涵蓋之一視野；及/或量測相對於一場景中心之一使用者位置或檢視深度之一瞬時量測結果；及/或量測相對於一場景中心之一使用者位置或檢視深度之一統計值，諸如一時間平均值。
  90. 如請求項89之裝置，其中該第一部分之該品質或至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質，係量測為一較低品質部分連同一較高品質部分在該檢視區段中可見時的一持續時間。
  91. 如請求項89之裝置，該裝置係組配來執行該選擇，使得該時間變化之空間場景之該第一部分釘住該檢視區段。
  92. 如請求項89之裝置，該裝置係組配來發出日誌訊息，該等日誌訊息將量測至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的該瞬時量測結果記錄為以下各者之一：量測落入該檢視區段中之像素之一平均密度的一量度，該時間變化之空間場景係以該平均密度編碼至該等選定媒體片段中。
  93. 如請求項92之裝置，該裝置係組配成使得該量度藉由以相對於經寫碼至該等選定媒體片段中之圖像之一像素網格的一空間均勻方式對該像素密度平均化來量測像素之該平均密度。
  94. 如請求項92之裝置，該裝置係組配成使得該量度藉由以相對於經寫碼至該等選定媒體片段中之圖像之一像素網格的一空間不均勻方式對該像素密度平均化來量測像素之該平均密度。
  95. 如請求項92之裝置，該裝置係組配成使得該等發出之日誌訊息指示該量度是否藉由以下操作來量測像素之該平均密度：以相對於經寫碼至該等選定媒體片段中之圖像之一像素網格的一空間均勻方式對該像素密度平均化，或以相對於經寫碼至該等選定媒體片段中之圖像之一像素網格的一空間不均勻方式對該像素密度平均化。
  96. 如請求項94之裝置，其中以一空間不均勻方式的該像素密度平均化對應於：以一球體均勻方式之平均化，或相對於一檢視區平面空間上均勻之平均化，該檢視區平面垂直於該檢視區段之一中心檢視方向。
  97. 如請求項92之裝置，該裝置係組配成使得該量度藉由如下操作來量測像素之該平均密度：以將該平均化限於該檢視區段之一中心子部分之一方式對該像素密度平均化，或與在該中心子部分周圍的該檢視區段之一邊緣部分相比，將一較高平均化權重應用於該中心子部分。
  98. 如請求項92之裝置，該裝置係組配成使得該量度以分別單獨地沿著一水平檢視區段軸線及一垂直檢視區段軸線之方式來量測像素之該平均密度。
  99. 如請求項92之裝置，該裝置係組配來間歇地發出日誌訊息。
  100. 如請求項92之裝置，該裝置係組配來以由一資訊清單檔案控制之一速率發出日誌訊息，該裝置基於該速率而執行對用於下載之該等媒體片段之該選擇。
  101. 如請求項92之裝置，其中可於該伺服器上獲得之該等複數個媒體片段各自屬於該時間變化之空間場景的複數個表示型態中之一者，該等表示型態的不同之處在於以下一或多者：編碼至媒體片段中的該時間變化之空間場景之場景區段，將該時間變化之空間場景編碼至媒體片段中所用的品質，將該時間變化之空間場景編碼至媒體片段中所用的空間品質變化，其中該裝置係組配來發出日誌訊息，該等日誌訊息以每一緩衝器與以下各者中之一者或兩者或更多者之一組合之一關聯的形式來記錄在將該等選定媒體片段分佈至緩衝器之該集合上時所應用之該分佈規則的該描述：該場景區段，該品質，該空間品質分佈，表示型態。
  102. 如請求項92之裝置，其中該等表示型態係根據以下各者中之一或多者而分組成自適應集：編碼至媒體片段中的該時間變化之空間場景之該場景區段，將該時間變化之空間場景編碼至媒體片段中所用的該空間品質變化，其中該裝置係組配來組配該等發出的日誌訊息，該等日誌訊息以每一緩衝器與該等自適應集中之一者之一關聯的形式來記錄在將該等選定媒體片段分佈至緩衝器之該集合上時所應用之該分佈規則的該描述，或以每一緩衝器與該等表示型態中之一者之一關聯的形式來記錄在將該等選定媒體片段分佈至緩衝器之該集合上時所應用之該分佈規則的該描述。
  103. 如請求項92之裝置，其中該裝置係組配來發出日誌訊息，該等日誌訊息以一時間量測結果之形式來記錄尚未自用於經歷解碼之該裝置之一緩衝器輸出的該等選定媒體片段之數量之該量測結果。
  104. 如請求項103之裝置，其中該裝置係組配成使得尚未自用於經歷解碼之該裝置之一緩衝器輸出的該等選定媒體片段之該數量之該量測結果，呈以小於該等媒體片段之一時間長度之時間單位計的一時間量測結果之形式及/或獨立於該等媒體片段之一時間長度而定義及/或以毫秒計。
  105. 如請求項92之裝置，其中該裝置係組配來發出日誌訊息，該等日誌訊息以根據以下一或多者分類之一格式來記錄尚未自用於經歷解碼之該裝置之一緩衝器輸出的該等選定媒體片段之該數量之該量測結果：該個別媒體片段已緩衝所在的該解碼器之一緩衝器，經編碼至該個別媒體片段中之一場景區段，將該時間變化之空間場景編碼至該個別媒體片段中所用的一品質，將該時間變化之空間場景編碼至該個別媒體片段中所用的一空間品質分佈。
  106. 一種用於串流化關於一時間變化之空間場景之媒體內容的方法，包含：從可於一伺服器上獲得之複數個媒體片段中選擇媒體片段，從該伺服器擷取該等選定媒體片段，執行該選擇，該選擇經執行而使得該等選定媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分係以另一品質編碼至該等選定媒體片段中，該另一品質相對於該預定品質滿足一預定關係，且該方法進一步包含自含於該等選定媒體片段中之資訊及/或自該伺服器獲得之一信號化作用而導出該預定關係，其中該資訊指示用於該另一品質與該預定品質之間的一差異之一量度之一可忍受值，或其中該資訊指示用於該另一品質及該預定品質之所允許並行設定對。
  107. 一種用於串流化關於一時間變化之空間場景之媒體內容的方法，包含：使複數個媒體片段得以供一裝置擷取，藉此使該裝置能夠選擇供擷取之媒體片段，該等媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分以另一品質編碼至該等選定媒體片段中，且在該等媒體片段中及/或藉助於至該裝置之一信號化作用而傳信關於一預定關係之資訊，該預定關係將相對於該預定品質由該另一品質滿足，其中該資訊指示用於該另一品質與該預定品質之間的一差異之一量度之一可忍受值，或其中該資訊指示用於該另一品質及該預定品質之所允許並行設定對。
  108. 一種用於串流化關於一時間變化之空間場景之媒體內容的方法，包含：從可於一伺服器上獲得之複數個媒體片段中選擇媒體片段，從該伺服器擷取該等選定媒體片段，其中執行該選擇，使得該等選定媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分不編碼至該等選定媒體片段中或以相對於該預定品質降低之另一品質編碼至該等選定媒體片段中，且使得該第一部分跟隨該時間變化之空間場景的一時間變化之檢視區段，且該方法進一步包含視含於該等選定媒體片段中之資訊及/或自該伺服器獲得之一信號化作用而設定該第一部分之一大小。
  109. 一種用於串流化關於一時間變化之空間場景之媒體內容的方法，包含：使複數個媒體片段得以供一裝置擷取，藉此使該裝置能夠選擇供擷取之媒體片段，該等媒體片段至少具有編碼至其中的該時間變化之空間場景之一空間區段，編碼方式為：該空間區段之一第一部分係以一預定品質編碼至該等選定媒體片段中，且在空間上鄰近該第一部分的該時間變化之空間場景之一第二部分不編碼至該等選定媒體片段中或以相對於該預定品質降低之另一品質編碼至該等選定媒體片段中，且使得該第一部分跟隨該時間變化之空間場景的一時間變化之檢視區段，以及在該等媒體片段中及/或藉助於至該裝置之一信號化作用而傳信關於如何設定該第一部分之一大小之資訊。
  110. 一種用於解碼來自一視訊位元串流之一視訊之方法，包含：從該視訊位元串流導出該視訊內之一聚焦區域之一大小的一信號化作用，以及將用於解碼該視訊之一解碼能力集中至該聚焦區域。
  111. 一種由一裝置執行的用於串流化關於一時間變化之空間場景之媒體內容的方法，包含：從一媒體呈現描述導出：至少一個版本，對於基於圖塊之串流化，該時間變化之空間場景係以該至少一個版本提供，對於該至少一個版本中之每一者，用於自該基於圖塊之串流化使個別版本獲益的利益要求之一指示，使該至少一個版本之該等利益要求與該裝置或與該裝置交互作用之另一裝置的關於該基於圖塊之串流化之一裝置能力匹配。
  112. 一種用於串流化關於一時間變化之空間場景之媒體內容的方法，包含：從可於一伺服器上獲得之複數個媒體片段中選擇媒體片段，從該伺服器擷取該等選定媒體片段，執行時其中係執行該選擇，使得該等選定媒體片段具有以與該時間變化之空間場景之一第一部分之一空間鄰域相比增加的一品質或以使得該第一部分之該空間鄰域不編碼至該等選定媒體片段中之一方式編碼至其中的該時間變化之空間場景之該第一部分，該方法進一步包含發出日誌訊息，該等日誌訊息記錄：量測該第一部分之一空間位置及/或移動之一瞬時量測結果；及/或量測該第一部分之一空間位置及/或移動之一統計值，諸如一時間平均值；及/或量測至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一瞬時量測結果；及/或參與緩衝該等選定媒體片段之該裝置之緩衝器之一集合的一指示、在將該等選定媒體片段分佈至緩衝器之該集合上時所應用之一分佈規則的一描述及緩衝器之該集合中之每一者的一瞬時緩衝器充滿度；及/或尚未自用於經歷解碼之該裝置之一緩衝器輸出的該等選定媒體片段之一量之一量測結果；及/或量測至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一統計值，諸如一時間平均值；及/或量測該第一部分之該品質或至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一瞬時量測結果；及/或量測該第一部分之該品質或至經編碼至該等選定媒體片段中時且至在一檢視區段中可見時的該時間變化之空間場景之一品質的一統計值，諸如一時間平均值；及/或由該檢視區段涵蓋之一視野；及/或量測相對於一場景中心之一使用者位置或檢視深度之一瞬時量測結果；及/或量測相對於一場景中心之一使用者位置或檢視深度之一統計值，諸如一時間平均值。
  113. 一種用於串流化關於一時間變化之空間場景之媒體內容的方法，包含：提供一媒體呈現描述，自該媒體呈現描述可導出：至少一個版本，對於基於圖塊之串流化，該時間變化之空間場景係以該至少一個版本提供，對於該至少一個版本中之每一者，用於自該基於圖塊之串流化使該時間變化之空間場景的個別版本獲益的利益要求之一指示，藉此使串流化來自一串流化伺服器之該媒體內容之一裝置能夠：使該至少一個版本之該等利益要求與該裝置或與該裝置交互作用之另一裝置的關於該基於圖塊之串流化之一裝置能力匹配。
  114. 一種用於允許一裝置串流化來自伺服器的關於一時間變化之空間場景之媒體內容的方法，其包含提供一媒體呈現描述，而該媒體呈現描述包含有：一計算規則，其用於視一空間檢視區位置及至少一個參數來計算媒體片段之位址，該等媒體片段描述在時間上變化之一空間場景及該至少一個參數，以便使用該等計算出之位址來擷取該等媒體片段。
  115. 一種儲存有具有程式碼之電腦程式的非暫態數位儲存媒體，該程式碼於該程式在一電腦上執行時用以執行如請求項106至114中任一項之方法。
TW106134928A 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器 TWI664857B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
??16193601.8 2016-10-12
EP16193601 2016-10-12
??17180403.2 2017-07-08
EP17180403 2017-07-08

Publications (2)

Publication Number Publication Date
TW201820884A TW201820884A (zh) 2018-06-01
TWI664857B true TWI664857B (zh) 2019-07-01

Family

ID=60083314

Family Applications (4)

Application Number Title Priority Date Filing Date
TW108118409A TWI753263B (zh) 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器
TW110148591A TWI810763B (zh) 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器
TW106134928A TWI664857B (zh) 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器
TW112124225A TW202408246A (zh) 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW108118409A TWI753263B (zh) 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器
TW110148591A TWI810763B (zh) 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112124225A TW202408246A (zh) 2016-10-12 2017-10-12 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器

Country Status (7)

Country Link
US (11) US11218530B2 (zh)
JP (11) JP2019537338A (zh)
KR (10) KR102433821B1 (zh)
CN (11) CN114928735B (zh)
MX (11) MX2022004787A (zh)
TW (4) TWI753263B (zh)
WO (1) WO2018069412A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891850B (zh) 2016-09-09 2023-04-04 Vid拓展公司 用于减少360度视区自适应流媒体延迟的方法和装置
KR102433821B1 (ko) 2016-10-12 2022-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간적으로 불균등한 스트리밍
KR102391126B1 (ko) * 2017-03-23 2022-04-27 브이아이디 스케일, 인크. 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지
KR102395395B1 (ko) * 2018-03-22 2022-05-10 브이아이디 스케일, 인크. 뷰포트 의존성 비디오 스트리밍 이벤트
US11917127B2 (en) * 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
EP3797515A4 (en) * 2018-09-11 2021-04-28 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD TO SUPPORT THE SWITCHING OF VIDEOBITSTREAMS
US10779014B2 (en) 2018-10-18 2020-09-15 At&T Intellectual Property I, L.P. Tile scheduler for viewport-adaptive panoramic video streaming
WO2020154206A1 (en) * 2019-01-24 2020-07-30 Pcms Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
CN113966600A (zh) * 2019-05-20 2022-01-21 弗劳恩霍夫应用研究促进协会 沉浸式媒体内容呈现和交互式360°视频通信
US11831861B2 (en) * 2019-08-12 2023-11-28 Intel Corporation Methods for viewport-dependent adaptive streaming of point cloud content
US10893218B1 (en) * 2019-09-20 2021-01-12 Gopro, Inc. Systems and methods for generating panoramic visual content
US11765333B1 (en) * 2020-12-16 2023-09-19 Apple Inc. Systems and methods for improved transitions in immersive media
US11570417B2 (en) 2021-05-20 2023-01-31 Apple Inc. Immersive video streaming using view-adaptive prefetching and buffer control
JPWO2023058258A1 (zh) * 2021-10-05 2023-04-13

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017885A1 (en) * 2005-07-01 2010-01-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup identifier for alterable promotional segments
CN103081487A (zh) * 2011-08-10 2013-05-01 通用仪表公司 用于使用可变持续时间媒体段流送媒体内容的方法和装置
TW201411479A (zh) * 2012-07-20 2014-03-16 Intel Corp 基於聚焦點判定之解碼視訊圖框的選擇性後處理技術
WO2015131934A1 (en) * 2014-03-05 2015-09-11 2Kb Beteiligungs Gmbh System and method for live video streaming
WO2016050283A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003049450A2 (en) 2001-12-04 2003-06-12 Koninklijke Philips Electronics N.V. Methods for multimedia content repurposing
US8964830B2 (en) * 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
CN2806473Y (zh) 2005-03-28 2006-08-16 何业明 气化炉的净化催化装置
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
CN101558652B (zh) * 2006-10-20 2011-08-17 诺基亚公司 用于实现低复杂度多视点视频编码的系统和方法
EP2757788B1 (en) * 2007-06-19 2020-03-11 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
KR100935388B1 (ko) 2007-07-03 2010-01-06 동아공업 주식회사 낌방지 적층형 가스켓
DE102007043535A1 (de) 2007-09-12 2009-03-19 Robert Bosch Gmbh FMCW-Radarortungsvorrichtung und entsprechendes FMCW-Radarortungsverfahren
CN101822064A (zh) * 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
CN102056015B (zh) * 2009-11-04 2012-12-05 沈阳迅景科技有限公司 一种全景虚拟现实漫游中的流媒体应用方法
US8997160B2 (en) * 2010-12-06 2015-03-31 Netflix, Inc. Variable bit video streams for adaptive streaming
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9049464B2 (en) * 2011-06-07 2015-06-02 Qualcomm Incorporated Multiple description coding with plural combined diversity
US9591593B2 (en) * 2011-07-22 2017-03-07 Qualcomm Incorporated Systems, methods and apparatus for radio uplink power control
MX2014005021A (es) 2011-11-08 2014-07-09 Ericsson Telefon Ab L M Tamaño de baldosa de codificacion de video.
KR20190097306A (ko) * 2012-01-19 2019-08-20 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
CN104584547B (zh) 2012-06-05 2017-03-08 Lg电子株式会社 用于处理3d广播服务的广播信号的方法和装置
JP2015530886A (ja) 2012-06-27 2015-10-29 バウチャー、ライアン 医療診断情報を取得するための装置、方法、およびシステム、ならびに遠隔医療サービスの提供
CN115442631A (zh) * 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
WO2014011848A2 (en) * 2012-07-12 2014-01-16 Huawei Technologies Co., Ltd. Signaling and processing content with variable bitrates for adaptive streaming
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
KR101968070B1 (ko) * 2012-10-12 2019-04-10 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
KR102270844B1 (ko) * 2012-12-28 2021-06-30 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
CN103092696A (zh) * 2012-12-29 2013-05-08 深圳先进技术研究院 三维空间数据预调度方法及其系统
US9762642B2 (en) * 2013-01-16 2017-09-12 Futurewei Technologies, Inc. Storing and transmitting content for downloading and streaming
KR101861979B1 (ko) * 2013-01-18 2018-05-28 캐논 가부시끼가이샤 미디어 데이터 영역 및 메타 데이터 영역을 포함하는 미디어 파일의 생성 방법 및 디바이스
GB2509954B (en) * 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
CN105075273B (zh) * 2013-02-27 2019-03-26 苹果公司 自适应流式传输技术
GB2512310A (en) * 2013-03-25 2014-10-01 Sony Corp Media Distribution
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
KR101798741B1 (ko) * 2013-04-19 2017-11-16 후아웨이 테크놀러지 컴퍼니 리미티드 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 비디오 스트리밍에서의 미디어 품질 정보 시그널링
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
KR102016551B1 (ko) * 2014-01-24 2019-09-02 한화디펜스 주식회사 위치 추정 장치 및 방법
US20150237351A1 (en) * 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
KR101953679B1 (ko) * 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US20160027772A1 (en) * 2014-07-22 2016-01-28 Mediatek Inc. Integrated capacitor in an integrated circuit
US9918094B2 (en) * 2014-10-20 2018-03-13 Google Llc Compressing and representing multi-view video
US10498976B2 (en) * 2014-12-05 2019-12-03 Microsoft Technology Licensing, Llc Virtual focus feedback
US20160182594A1 (en) * 2014-12-19 2016-06-23 Cable Television Laboratories, Inc. Adaptive streaming
US10104415B2 (en) 2015-01-21 2018-10-16 Microsoft Technology Licensing, Llc Shared scene mesh data synchronisation
US20170061700A1 (en) 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN108476324B (zh) * 2015-10-08 2021-10-29 皇家Kpn公司 增强视频流的视频帧中的感兴趣区域的方法、计算机和介质
GB2543320B (en) * 2015-10-14 2020-05-13 Sony Interactive Entertainment Inc Head-mountable display system
US10593028B2 (en) * 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
US10582201B2 (en) 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
GB2550589B (en) * 2016-05-23 2019-12-04 Canon Kk Method, device, and computer program for improving streaming of virtual reality media content
WO2018038523A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
US11172005B2 (en) 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
KR102433821B1 (ko) 2016-10-12 2022-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간적으로 불균등한 스트리밍

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017885A1 (en) * 2005-07-01 2010-01-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup identifier for alterable promotional segments
CN103081487A (zh) * 2011-08-10 2013-05-01 通用仪表公司 用于使用可变持续时间媒体段流送媒体内容的方法和装置
TW201411479A (zh) * 2012-07-20 2014-03-16 Intel Corp 基於聚焦點判定之解碼視訊圖框的選擇性後處理技術
WO2015131934A1 (en) * 2014-03-05 2015-09-11 2Kb Beteiligungs Gmbh System and method for live video streaming
WO2016050283A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
US20160277772A1 (en) * 2014-09-30 2016-09-22 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video

Also Published As

Publication number Publication date
MX2022004789A (es) 2023-03-09
JP7464674B2 (ja) 2024-04-09
US20220166821A1 (en) 2022-05-26
KR102420290B1 (ko) 2022-07-13
CN115037918A (zh) 2022-09-09
CN114928734B (zh) 2023-07-18
CN115037917A (zh) 2022-09-09
KR20190062565A (ko) 2019-06-05
CN114928736B (zh) 2024-04-19
US11496539B2 (en) 2022-11-08
KR20220098271A (ko) 2022-07-11
CN114928736A (zh) 2022-08-19
US20220166822A1 (en) 2022-05-26
JP2023011615A (ja) 2023-01-24
CN115037919B (zh) 2024-05-07
KR20220100097A (ko) 2022-07-14
US20220166819A1 (en) 2022-05-26
JP2023011620A (ja) 2023-01-24
US20200220913A1 (en) 2020-07-09
CN114928737A (zh) 2022-08-19
CN114928733A (zh) 2022-08-19
TW201820884A (zh) 2018-06-01
JP7436599B2 (ja) 2024-02-21
TW202408246A (zh) 2024-02-16
JP7405931B2 (ja) 2023-12-26
CN115037916A (zh) 2022-09-09
US11496538B2 (en) 2022-11-08
JP2023011616A (ja) 2023-01-24
MX2022004791A (es) 2023-03-09
US20220166817A1 (en) 2022-05-26
US20220166823A1 (en) 2022-05-26
KR20220098278A (ko) 2022-07-11
JP2023011617A (ja) 2023-01-24
US11546404B2 (en) 2023-01-03
MX2022004790A (es) 2023-06-28
MX2022004792A (es) 2023-03-09
US11218530B2 (en) 2022-01-04
CN115037919A (zh) 2022-09-09
KR102498840B1 (ko) 2023-02-10
US20230093377A1 (en) 2023-03-23
KR102433821B1 (ko) 2022-08-18
MX2019004221A (es) 2019-08-01
JP2023011618A (ja) 2023-01-24
KR102511320B1 (ko) 2023-03-17
US11496541B2 (en) 2022-11-08
KR102498842B1 (ko) 2023-02-10
US11283850B2 (en) 2022-03-22
JP7464673B2 (ja) 2024-04-09
KR20210123420A (ko) 2021-10-13
KR20220100112A (ko) 2022-07-14
JP7460722B2 (ja) 2024-04-02
JP2023011619A (ja) 2023-01-24
CN110089118A (zh) 2019-08-02
CN110089118B (zh) 2022-06-28
CN115037918B (zh) 2024-05-07
CN115037920A (zh) 2022-09-09
KR20220101767A (ko) 2022-07-19
JP7436598B2 (ja) 2024-02-21
CN114928735A (zh) 2022-08-19
MX2022004801A (es) 2022-05-16
KR20220101757A (ko) 2022-07-19
US11516273B2 (en) 2022-11-29
JP2019537338A (ja) 2019-12-19
MX2022004795A (es) 2022-12-16
MX2022004793A (es) 2023-03-09
JP2023011621A (ja) 2023-01-24
KR102560639B1 (ko) 2023-07-27
KR102433820B1 (ko) 2022-08-18
MX2022004788A (es) 2023-02-23
KR102433822B1 (ko) 2022-08-18
US20220109714A1 (en) 2022-04-07
CN114928737B (zh) 2023-10-27
CN114928734A (zh) 2022-08-19
US20190238609A1 (en) 2019-08-01
JP7157836B2 (ja) 2022-10-20
CN114928735B (zh) 2023-07-18
TW202011748A (zh) 2020-03-16
KR102511319B1 (ko) 2023-03-17
TWI753263B (zh) 2022-01-21
KR102310040B1 (ko) 2021-10-06
US11489900B2 (en) 2022-11-01
MX2022004787A (es) 2022-12-01
TWI810763B (zh) 2023-08-01
JP2023012468A (ja) 2023-01-25
KR20220101760A (ko) 2022-07-19
US11496540B2 (en) 2022-11-08
JP2021093746A (ja) 2021-06-17
CN114928733B (zh) 2023-10-24
KR20220101768A (ko) 2022-07-19
US20220166820A1 (en) 2022-05-26
JP2023011622A (ja) 2023-01-24
US11539778B2 (en) 2022-12-27
TW202236855A (zh) 2022-09-16
US20220166818A1 (en) 2022-05-26
MX2022007809A (es) 2022-08-02
WO2018069412A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
TWI664857B (zh) 用於串流化之裝置、伺服器、非暫態數位儲存媒體、信號及方法、與解碼器