TW201817231A - 產生及處理用於部份解碼及最感興趣之區域的檔案的系統及方法 - Google Patents

產生及處理用於部份解碼及最感興趣之區域的檔案的系統及方法 Download PDF

Info

Publication number
TW201817231A
TW201817231A TW106134764A TW106134764A TW201817231A TW 201817231 A TW201817231 A TW 201817231A TW 106134764 A TW106134764 A TW 106134764A TW 106134764 A TW106134764 A TW 106134764A TW 201817231 A TW201817231 A TW 201817231A
Authority
TW
Taiwan
Prior art keywords
image
image block
video
motion
representation
Prior art date
Application number
TW106134764A
Other languages
English (en)
Inventor
伏努 亨利
益魁 王
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201817231A publication Critical patent/TW201817231A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本發明提供用於處理視訊資料之技術及系統。舉例而言，360度視訊資料可經獲得以用於藉由一編碼器件或一解碼器件來處理。該360度視訊資料包括分成運動受限制圖像塊之圖像。該360度視訊資料可用以產生包括複數個播放軌之一媒體檔案。該複數個播放軌中之每一者含有該等運動受限制圖像塊中的至少一者之一集合。該等運動受限制圖像塊中之至少一者的該集合對應於該360度視訊資料之複數個檢視區中的至少一者。一第一圖像塊表示可經產生用於該媒體檔案。該第一圖像塊表示囊封該複數個播放軌中之一第一播放軌，且該第一播放軌包括在該360度視訊資料之該等圖像中之一第一圖像塊位置處的該等運動受限制圖像塊中之至少一者的一第一集合。該等運動受限制圖像塊中之至少一者的該第一集合對應於該360度視訊資料之一檢視區。

Description

產生及處理用於部份解碼及最感興趣之區域的檔案的系統及方法
本申請案係關於視訊寫碼及壓縮。更特定言之，本申請案係關於產生及處理用於部分解碼及最感興趣之區域的檔案的系統和方法。
許多器件及系統允許處理並輸出視訊資料以供消耗。數位視訊資料包括大量資料以滿足消費者及視訊提供者之需求。舉例而言，視訊資料之消費者需要具有最優品質(具有高保真度、解析度、圖框速率及其類似者)之視訊。結果，滿足此等需求所需之大量視訊資料對處理及儲存視訊資料之通信網路及器件造成負擔。 各種視訊寫碼技術可用於壓縮視訊資料。根據一或多個視訊寫碼標準執行視訊寫碼。舉例而言，視訊寫碼標準包括高效視訊寫碼(HEVC)、進階視訊寫碼(AVC)、活動圖像專家組(MPEG)寫碼，或其類似者。視訊寫碼通常使用利用存在於視訊影像或序列中之冗餘的預測方法(例如，框間預測、框內預測或其類似者)。視訊寫碼技術之重要目標為將視訊資料壓縮成使用較低位元速率之形式，同時避免視訊品質之降級或使視訊品質之降級最小化。隨著不斷演進的視訊服務變得可用，需要具有較佳寫碼效率之編碼技術。
在一些實例中，本文中描述用於產生及處理用於檢視區相關360度視訊寫碼內容及/或用於視訊內容中之最感興趣之區域的媒體檔案的技術及系統。舉例而言，檢視區相關視訊寫碼內容可藉由將視訊串流之圖像分成運動受限制圖像塊而編碼。僅僅顯示顯示器件之當前檢視區(亦稱作視場)所需要的圖像之圖像塊可經提供用於顯示。被稱作「最感興趣之區域」的區域亦可基於使用者統計而判定或可經使用者定義。舉例而言，360度視訊圖像中之最感興趣區域可包括統計上最可能在圖像之呈現時間向使用者再現的區域(例如，藉由一或多個圖像塊覆蓋)中之一者。最感興趣之區域可用於各種目的，諸如用於360度視訊自適應串流傳輸中之資料預提取、用於在360度視訊經轉碼時的轉碼最佳化、用於快取記憶體管理、用於內容管理，外加其他。 媒體檔案可經產生用於發信檢視區相關360度視訊寫碼內容及/或視訊內容中之最感興趣之區域。媒體檔案可包括任何合適之串流傳輸媒體檔案，諸如用於根據經由超文字傳送協定(HTTP)之動態自適應串流傳輸(稱為DASH)的自適應位元速率串流傳輸媒體之媒體呈現描述(MPD)，或根據任何其他合適之自適應串流傳輸協定之其他合適檔案。 在一些態樣中，圖像塊表示可經產生以包括於媒體檔案中。圖像塊表示可囊封攜載視訊圖像中之圖像塊位置處的運動受限制圖像塊的播放軌。舉例而言，藉由圖像塊表示囊封的播放軌可包括在360度視訊串流之圖像中之特定圖像塊位置處的圖像塊之群組。在一些狀況下，調適集合亦可經產生用於媒體檔案，且可包括360度視訊串流之各種圖像塊表示，其中圖像塊表示對應於不同檢視區。調適集合中之圖像塊表示可包括一或多個增強層之運動受限制圖像塊，及基層之圖像(當基層未分成圖像塊時)，或基層之圖像之運動受限制圖像塊(當基層分成圖像塊時)。在一些狀況下，圖像塊基本表示亦可經產生(例如，用於調適集合中之不同層中的每一者)以用於包括於媒體檔案中。圖像塊基本表示可囊封給定層的圖像之所有運動受限制圖像塊(例如，圖像塊表示)。元素可與具有一值之圖像塊基本表示相關聯，該值含有對應於由圖像塊基本表示囊封之運動受限制圖像塊的所有圖像塊表示之一清單。 根據至少一個實例，提供一種處理視訊資料之方法。該方法包含獲得360度視訊資料。360度視訊資料包括分成複數個運動受限制圖像塊之複數個圖像。該方法進一步包含使用360度視訊資料產生包括複數個播放軌之媒體檔案。該複數個播放軌中之每一者含有該複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。該方法進一步包含產生媒體檔案之第一圖像塊表示。第一圖像塊表示囊封複數個播放軌之第一播放軌。第一播放軌包括在該複數個圖像中之第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之第一集合。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在另一實例中，提供一種用於處理視訊資料之裝置，其包括：一記憶體，其經組態以儲存360度視訊資料；及一處理器。該處理器經組態以且可獲得360度視訊資料。360度視訊資料包括分成複數個運動受限制圖像塊之複數個圖像。處理器經進一步組態以且可使用360度視訊資料產生包括複數個播放軌之媒體檔案。該複數個播放軌中之每一者含有該複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。處理器經進一步組態以且可產生媒體檔案之第一圖像塊表示。第一圖像塊表示囊封複數個播放軌之第一播放軌。第一播放軌包括在該複數個圖像中之第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之第一集合。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在另一實例中，提供一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器：獲得360度視訊資料，該360度視訊資料包括分成複數個運動受限制圖像塊之複數個圖像；使用該360度視訊資料產生包括複數個播放軌之媒體檔案，該複數個播放軌中之每一者含有該複數個運動受限制圖像塊中的至少一者之集合，其中該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者；及產生媒體檔案之第一圖像塊表示，其中該第一圖像塊表示囊封複數個播放軌之第一播放軌，該第一播放軌包括在該複數個圖像中之第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之第一集合，其中該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在另一實例中，提供用於處理視訊資料之裝置。該裝置包括用於獲得360度視訊資料之構件。360度視訊資料包括分成複數個運動受限制圖像塊之複數個圖像。裝置進一步包括用於使用360度視訊資料產生包括複數個播放軌之媒體檔案的構件。該複數個播放軌中之每一者含有該複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。裝置進一步包括用於產生媒體檔案之第一圖像塊表示的構件。第一圖像塊表示囊封複數個播放軌之第一播放軌。第一播放軌包括在該複數個圖像中之第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之第一集合。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在一些態樣中，第一圖像塊表示包括經由HTTP之動態自適應串流傳輸(DASH)表示。在一些態樣中，媒體檔案包括與自適應串流傳輸格式相關聯的資訊清單檔案。舉例而言，媒體檔案可包括媒體呈現描述(MPD)。 在一些態樣中，360度視訊資料包括複數個圖像層。該複數個圖像層包括不同解析度、不同品質或不同圖框速率或其組合中之至少一或多者。 在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包含：產生用於媒體檔案之調適集合，該調適集合包括360度視訊資料之對應於不同檢視區的複數個圖像塊表示。在一些狀況下，該複數個圖像塊表示對應於不同檢視區且對應於不同解析度、不同品質或不同圖框速率或其組合中之至少一或多者。 在一些態樣中，該複數個圖像塊表示包括該複數個運動受限制圖像塊，其中分成該複數個運動受限制圖像塊之該複數個圖像為至少一個增強層之部分，且其中該複數個圖像塊表示進一步包括基層之複數個圖像。在一些狀況下，基層之複數個圖像不包括運動受限制圖像塊。在一些狀況下，基層之複數個圖像包括運動受限制圖像塊。 在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包含：產生調適集合，該調適集合包括對應於不同檢視區(及，在一些狀況下，不同解析度、不同品質或不同圖框速率或其組合中之至少一或多者)的圖像塊表示之集合；及對於至少一個層產生圖像塊基本表示，其中圖像塊基本表示囊封至少一個層中之圖像之所有運動受限制圖像塊。舉例而言，圖像塊基本表示可經產生用於位元串流之每一層。在一些態樣中，圖像塊基本表示包括DASH表示。在一些實例中，適用於360度視訊資料之複數個圖像的後設資料經定義用於圖像塊基本表示。後設資料包括與視訊投影類型、一或多個檢視區方向或圖像之逐區域映射或其組合中之至少一或多者相關聯的資訊。 在一些態樣中，補充性質元素經定義用於圖像塊基本表示，該補充性質元素指示圖像塊基本表示為圖像塊基本表示。在一些態樣中，補充性質元素之值包括識別圖像塊基本表示之複數個圖像塊表示的表示識別符之清單。 在一些態樣中，後設資料經定義用於第一圖像塊表示。後設資料適用於360度視訊資料之圖像中的藉由在360度視訊資料之圖像中的第一圖像塊位置處之運動受限制圖像塊覆蓋的區域。後設資料包括與視訊投影類型、一或多個檢視區方向或第一圖像塊表示之區域資訊或其組合中之至少一或多者相關聯的資訊。區域資訊可包括最感興趣之區域、逐區域映射或其他合適基於圖像區域之資訊。 在一些態樣中，補充性質元素經定義用於第一圖像塊表示，該補充性質元素指示該第一圖像塊表示為圖像塊表示。在一些態樣中，補充性質元素之值包括描述圖像中運動受限制圖像塊之位置的一或多個偏移。在一些狀況下，一或多個偏移包括左偏移及上偏移。舉例而言，偏移可指示第一圖像塊表示中之圖像塊中之最左上方拐角自整個圖像中之最左上方拐角的偏移。 在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體可進一步包含產生指示360度視訊資料中之一或多個最感興趣之區域的描述符。在一些態樣中，在圖像塊基本表示層級上產生描述符。圖像塊基本表示囊封至少一個層中之圖像的所有運動受限制圖像塊。在一些實例中，描述符包括含有360度視訊資料中之最感興趣之區域的圖像塊表示之識別符。在一些實例中，描述符包括指示360度視訊資料之圖像中最感興趣之區域的位置的一或多個偏移。在一些狀況下，描述符包括指示最感興趣之區域之寬度的寬度參數及指示最感興趣之區域之高度的高度參數。 根據至少一個其他實例，提供一種處理一或多個媒體檔案之方法。方法包含獲得包括複數個播放軌之媒體檔案。複數個播放軌中之每一者含有表示360度視訊資料的複數個圖像之複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。方法進一步包含處理媒體檔案。媒體檔案包括媒體檔案之第一圖像塊表示。第一圖像塊表示囊封複數個播放軌之第一播放軌。第一播放軌包括在該複數個圖像中之第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之第一集合。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在另一實例中，提供一種用於處理一或多個媒體檔案之裝置，其包括：一記憶體，其經組態以儲存包含360度視訊資料之一或多個媒體檔案；及一處理器。處理器經組態以且可獲得包括複數個播放軌之媒體檔案。複數個播放軌中之每一者含有表示360度視訊資料的複數個圖像之複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。處理器經進一步組態以且可處理媒體檔案。媒體檔案包括媒體檔案之第一圖像塊表示。第一圖像塊表示囊封複數個播放軌之第一播放軌。第一播放軌包括在該複數個圖像中之第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之第一集合。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在另一實例中，提供一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器：獲得包括複數個播放軌之媒體檔案，該複數個播放軌中的每一者含有表示360度視訊資料的複數個圖像之複數個運動受限制圖像塊中的至少一者之集合，其中該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者；及處理媒體檔案，該媒體檔案包括媒體檔案之第一圖像塊表示，其中第一圖像塊表示囊封複數個播放軌之第一播放軌，第一播放軌包括在複數個圖像中之第一圖像塊位置處的複數個運動受限制圖像塊中的至少一者之第一集合，其中該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在另一實例中，提供一種用於處理一或多個媒體檔案之裝置。該裝置包括用於獲得包括複數個播放軌之媒體檔案的構件。複數個播放軌中之每一者含有表示360度視訊資料的複數個圖像之複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。該裝置進一步包括用於處理媒體檔案的構件。媒體檔案包括媒體檔案之第一圖像塊表示。第一圖像塊表示囊封複數個播放軌之第一播放軌。第一播放軌包括在該複數個圖像中之第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之第一集合。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。 在一些態樣中，第一圖像塊表示包括經由HTTP之動態自適應串流傳輸(DASH)表示。在一些態樣中，媒體檔案包括與自適應串流傳輸格式相關聯的資訊清單檔案。舉例而言，媒體檔案可包括媒體呈現描述(MPD)。 在一些態樣中，360度視訊資料包括複數個圖像層。該複數個圖像層包括不同解析度、不同品質或不同圖框速率或其組合中之至少一或多者。 在一些態樣中，媒體檔案包括調適集合。調適集合包括360度視訊資料之對應於不同檢視區的複數個圖像塊表示。在一些狀況下，該複數個圖像塊表示對應於不同檢視區且對應於不同解析度、不同品質或不同圖框速率或其組合中之至少一或多者。 在一些狀況下，複數個圖像塊表示包括複數個運動受限制圖像塊，且分成複數個運動受限制圖像塊之複數個圖像為至少一個增強層之部分。該複數個圖像塊表示進一步包括基層之複數個圖像。在一些實例中，基層之複數個圖像不包括運動受限制圖像塊。在一些實例中，基層之複數個圖像包括運動受限制圖像塊。 在一些態樣中，媒體檔案包括一包括對應於不同檢視區(且在一些狀況下，不同解析度、不同品質或不同圖框速率或其組合中之至少一或多者)之圖像塊表示之集合的調適集合。在此等態樣中，對於至少一個層，媒體檔案包括囊封圖像之所有運動受限制圖像塊的圖像塊基本表示。舉例而言，圖像塊基本表示可經產生用於位元串流之每一層。舉例而言，圖像塊基本表示可經產生用於位元串流之每一層。在一些態樣中，圖像塊基本表示包括DASH表示。在一些狀況下，適用於360度視訊資料之複數個圖像的後設資料經定義用於圖像塊基本表示。後設資料包括與視訊投影類型、一或多個檢視區方向或圖像之逐區域映射或其組合中之至少一或多者相關聯的資訊。 在一些態樣中，補充性質元素經定義用於圖像塊基本表示，該補充性質元素指示圖像塊基本表示為圖像塊基本表示。在一些實例中，補充性質元素之值包括識別圖像塊基本表示之複數個圖像塊表示的表示識別符之清單。 在一些態樣中，後設資料經定義用於第一圖像塊表示。後設資料適用於360度視訊資料之圖像中的藉由在360度視訊資料之圖像中的第一圖像塊位置處之運動受限制圖像塊覆蓋的區域。在一些狀況下，後設資料包括與視訊投影類型、一或多個檢視區方向或第一圖像塊表示之區域資訊或其組合中之至少一或多者相關聯的資訊。區域資訊可包括最感興趣之區域、逐區域映射或其他合適基於圖像區域之資訊。 在一些態樣中，補充性質元素經定義用於第一圖像塊表示，該補充性質元素指示該第一圖像塊表示為圖像塊表示。在一些實例中，補充性質元素之值包括描述圖像中運動受限制圖像塊之位置的一或多個偏移。在一些態樣中，一或多個偏移包括左偏移及上偏移。 在一些態樣中，媒體檔案包括指示360度視訊資料中之一或多個最感興趣之區域的描述符。在一些狀況下，在圖像塊基本表示層級上產生描述符。圖像塊基本表示囊封至少一個層之圖像的所有運動受限制圖像塊。在一些實例中，描述符包括含有360度視訊資料中之最感興趣之區域的圖像塊表示之識別符。在一些態樣中，描述符包括指示360度視訊資料之圖像中最感興趣之區域的位置的一或多個偏移。在一些實例中，描述符包括指示最感興趣之區域之寬度的寬度參數及指示最感興趣之區域之高度的高度參數。 此發明內容並不意欲識別所主張標的物之關鍵或基本特徵，亦不意欲孤立使用以判定所主張標的物之範疇。應參照此專利之整個說明書之合適部分、任何或所有圖式及每一申請專利範圍來理解標的物。 當參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
下文提供本發明之某些態樣及實施例。此等態樣及實施例之一些可獨立地應用且其中之一些可以將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述眾多特定細節以便提供對本發明之實施例之透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將是顯而易見的。圖式及描述不意欲為限定性的。 隨後描述僅提供例示性實施例且並不意欲限制本發明之範疇、可應用性或組態。相反地，例示性實施例之隨後描述將為熟習此項技術者提供用於實施例示性實施例之能夠實現之描述。應理解，可在不脫離如所附申請專利範圍中所闡述之本發明之精神及範疇的情況下對元件之功能及配置做出各種變化。 在以下描述中給定特定細節從而提供實施例之透徹理解。然而，一般熟習此項技術者應瞭解，實施例可在無需此等特定細節之情況下實踐。舉例而言，電路、系統、網路、處理程序及其他組件可在區塊圖形式中展示為組件以便在不必要細節下不與實施例混淆。在其他情況下，可在無不必要之細節的情況下展示熟知電路、處理程序、演算法、結構及技術以便避免混淆實施例。 又，應注意，個別實施例可描述為經描繪為流程圖、作業圖、資料流程圖、結構圖或方塊圖之處理程序。儘管流程圖可能將操作描述為順序處理程序，但許多操作可並行地或同時來執行。另外，可再配置操作之次序。處理程序在其操作完成時終止，但可具有不包括於圖中之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式，等等。當處理程序對應於函式時，其終止可對應於函式返回至呼叫函式或主函式。 術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存器件、光儲存器件及能夠儲存、含有或攜載指令及/或資料的各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料並且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、光學儲存媒體，諸如緊密光碟(CD)或數位化通用光碟(DVD)、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可具有儲存於其上之碼及/或機器可執行指令，該等碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、套裝軟體、種類或指令、資料結構或程式語句之任何組合。可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容將一碼段耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何合適方式傳遞、轉遞或傳輸。 此外，可由硬體、軟體、韌體、中間軟體、微碼、硬件描述語言或其任何組合實施實施例。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。一或多個處理器可執行必要任務。 在一些實例中，本文中描述之一或多個系統和方法係關於產生及處理用於檢視區相關360度視訊寫碼內容及/或用於視訊內容中之最感興趣之區域的媒體檔案。舉例而言，如下文更詳細地描述，檢視區相關視訊寫碼內容可藉由將視訊串流之圖像分成運動受限制圖像塊而編碼。此處，運動受限制圖像塊為在圖像(或圖框)中之特定位置處的僅僅可使用在其他圖像中之相同位置處之一或多個圖像塊來寫碼的圖像塊區域。舉例而言，僅僅在特定圖像塊位置內之參考圖像的區域可用以編碼或解碼在當前圖像中之彼特定圖像塊位置處之圖像塊。顯示顯示器件之當前檢視區(亦稱作視場(FOV))所需要的圖像之圖像塊僅僅可被提供用於顯示。如下文更詳細地描述，最感興趣之區域亦可基於使用者統計而判定。最感興趣之區域可用於各種目的。媒體檔案係使用本文中所描述之技術而產生，且用於發信檢視區相關360度視訊寫碼內容及/或視訊內容中之最感興趣之區域。 視訊內容可經捕捉及寫碼為360度視訊內容(亦稱作虛擬實境(VR)內容)。360度視訊可包括經捕捉、電腦產生抑或其類似方式產生的不管虛擬實境視訊、擴增實境資料或任何其他類型的360度類型視訊內容。舉例而言，360度視訊可提供虛擬存在於藉由再現藉由沉浸使用者之移動而相關的自然及/或合成影像(及在一些狀況下聲音)建立的非實體世界中之能力，從而允許使用者與彼世界互動。360度視訊可表示可以看起來真實或實體方式互動的三維環境。在一些狀況下，體驗360度視訊環境之使用者使用諸如頭戴顯示器(HMD)及視情況某些工具或衣物(例如，配備有感測器之手套)的電子裝備以與虛擬環境交互。隨著使用者在真實世界中移動，在虛擬環境中再現之影像亦改變，從而給予使用者使用者正在虛擬環境內移動之感知。在一些狀況下，虛擬環境包括與使用者之移動相關之聲音，從而給予使用者聲音來源於特定方向或來源之視聽。360度視訊可以極高品質捕捉及再現，潛在地提供真實沉浸式360度視訊或虛擬實境體驗。360度視訊應用包括遊戲、訓練、教育、體育視訊及線上購物外加其他。 360度視訊為經捕捉用於在360度環境中顯示的視訊。在一些應用中，相較於電腦產生之圖形，來自真實世界之視訊可用於虛擬實境環境之呈現(諸如可在遊戲及虛擬世界中發現)。在此等應用中，使用者可以使用者可體驗使用者之目前位置的相同方式體驗另一位置。舉例而言，使用者可在使用定位於舊金山之360度視訊系統時體驗柏林之步行旅行。 360度視訊系統可包括視訊捕捉器件及視訊顯示器件，且可能亦包括諸如伺服器、資料儲存器及資料傳輸裝備之其他中間器件。視訊捕捉器件可包括攝影機集合，其可包括多個攝影機之集合，每一攝影機定向於不同方向且捕捉不同視圖。在一個說明性實例中，六個攝影機可用以捕捉以攝影機集合之位置為中心的完整360度視圖。一些視訊捕捉器件可使用更少攝影機。舉例而言，一些視訊捕捉器件主要捕捉邊至邊視圖或使用具有寬視場之透鏡。視訊通常包括圖框或圖像，其中圖框或圖像為場景之經電子式寫碼之靜態影像。攝影機每秒捕捉某數目個圖框，其通常被稱作攝影機之圖框速率。 在一些狀況下，為提供無縫360度視圖，可對由攝影機集合中之攝影機中之每一者捕捉的視訊執行影像縫合。在360度視訊產生之狀況下的影像縫合涉及組合或合併來自視訊圖框重疊或將以其他方式連接所在之區域中的鄰近攝影機之視訊圖框。結果將為大體球形圖框，且類似於麥卡托(Mercator)投影，經合併之資料可以平面樣式表示。舉例而言，經合併視訊圖框中之像素可經映射至立方體形狀或某其他三維平面形狀(例如，棱錐、八面體、十面體等)之平面上。視訊捕捉及視訊顯示器件可基於柵格原理操作(意謂視訊圖框被視為像素之網格)，在此狀況下正方形平面、矩形平面或其他經適當成形之平面可用以表示球體環境。 映射至平面表示之360度視訊圖框可經編碼及/或壓縮以供儲存及/或傳輸。編碼及/或壓縮可使用視訊編解碼器(例如，與高效視訊寫碼(HEVC)標準(其亦稱為H.265)、進階視訊寫碼標準(其稱為H.264或其他合適編解碼器)相容的程式碼)來實現且產生經壓縮視訊位元串流(或經編碼視訊位元串流)或位元串流之群組。下文進一步詳細地描述使用視訊編解碼器對視訊資料進行編碼。 在一些實施中，經編碼視訊位元串流可以媒體格式或檔案格式儲存及/或囊封。一或多個所儲存位元串流可(例如)經由網路傳輸至接收器器件，該接收器器件可解碼並再現視訊以供顯示。此接收器器件本文中可被稱作視訊顯示器件。舉例而言，360度視訊系統可自經編碼視訊資料(例如，使用國際標準組織(ISO)基本媒體檔案格式及/或導出之檔案格式)產生經囊封檔案。舉例而言，視訊編解碼器可編碼視訊資料，且囊封引擎可藉由將視訊資料囊封於一或多個ISO格式媒體檔案中而產生媒體檔案。替代地或另外，一或多個所儲存位元串流可直接自儲存媒體提供至接收器器件。 接收器器件亦可實施編解碼器以解碼及/或解壓縮經編碼視訊位元串流。在以媒體格式或檔案格式儲存及/或囊封一或多個經編碼視訊位元串流情況下，接收器器件可支援用以將視訊位元串流封裝至一檔案(或多個檔案)中的媒體或檔案格式，且可提取視訊(及亦可能音訊)資料以產生經編碼視訊資料。舉例而言，接收器器件可運用經囊封視訊資料剖析媒體檔案以產生經編碼視訊資料，且接收器器件中之編解碼器可解碼經編碼視訊資料。 接收器器件接著可發送經解碼視訊信號至再現器件(例如，視訊顯示器件、播放器器件或其他合適之再現器件)。舉例而言，再現器件包括(例如)頭戴式顯示器、虛擬實境電視及其他180度或360度顯示器件。大體而言，頭戴式顯示器能夠追蹤穿戴者之頭部的移動及/或穿戴者之眼睛的移動。頭戴式顯示器可使用追蹤資訊來再現對應於穿戴者正觀察之方向的360度視訊之部分，使得穿戴者以與穿戴者將體驗真實世界相同之方式體驗虛擬環境。再現器件可以捕捉視訊之相同圖框速率或以不同圖框速率再現視訊。 360度視訊內容之視訊圖像可使用時間框間預測(TIP)而編碼為單層位元串流，且整個寫碼位元串流可儲存於伺服器處。在一些狀況下，360度視訊內容之圖像可使用TIP及層間預測(ILP)而編碼為多層位元串流。若需要，則位元串流可傳輸至接收器側，完全藉由解碼器解碼，且對應於當前檢視區之經解碼圖像的區域再現給使用者。 圖1為說明視訊寫碼系統100之實例的方塊圖，該視訊寫碼系統包括編碼器件104及解碼器件112。編碼器件104可為源器件之部分，且解碼器件112可為接收器件之部分。源器件及/或接收器件可包括電子器件，諸如行動或靜止電話手機(例如，智慧型電話、蜂巢式電話或其類似者)、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件、網際網路協定(IP)攝影機或任何其他合適的電子器件。在一些實例中，源器件及接收器件可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術適用於各種多媒體應用中之視訊寫碼，包括串流視訊傳輸(例如，經由網際網路)、電視廣播或傳輸、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統100可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲及/或視訊電話之應用。 編碼器件104 (或編碼器)可用以使用視訊寫碼標準或協定編碼視訊資料以產生經編碼視訊位元串流。視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展，及高效視訊寫碼(HEVC)或ITU-T H.265。存在處理多層視訊寫碼之HEVC之各種擴展，包括範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。HEVC及其擴展已藉由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼擴展開發聯合協作小組(JCT-3V)開發。MPEG及ITU-T VCEG已亦形成聯合探索視訊小組(JVET)，以探索用於下一代視訊寫碼標準之新寫碼工具。參考軟體被稱作JEM(聯合探索模型)。 本文中所描述之許多實施例提供使用JEM模型、HEVC標準及/或其擴展的實例。然而，本文中所描述之技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、其擴展或已可用或尚不可用或尚未開發之其他合適的寫碼標準。因此，雖然可參考特定視訊寫碼標準描述本文中所描述之技術及系統，但一般熟習此項技術者將瞭解，描述不應解譯為僅適用於彼特定標準。 參看圖1，視訊源102可將視訊資料提供至編碼器件104。視訊源102可為源器件之部分，或可為除源器件以外的器件之部分。視訊源102可包括視訊捕捉器件(例如，視訊攝影機、攝影機電話、視訊電話或其類似者)、含有經儲存視訊之視訊存檔、提供視訊資料之視訊伺服器或內容提供者、自視訊伺服器或內容提供者接收視訊之視訊饋入介面、用於產生電腦圖形視訊資料之電腦圖形系統、此等源之組合或任何其他合適的視訊源。 來自視訊源102之視訊資料可包括一或多個輸入圖像或圖框。視訊之圖像或圖框為場景之靜態影像。編碼器件104之編碼器引擎106(或編碼器)編碼視訊資料以產生經編碼視訊位元串流。在一些實例中，經編碼視訊位元串流(或「視訊位元串流」或「位元串流」)為一系列之一或多個經寫碼視訊序列。經寫碼視訊序列(CVS)包括始於具有基層中並具有某些性質之隨機存取點圖像之AU，直至且不包括具有在基層中且具有某些性質之隨機存取點圖像的下一AU的一系列存取單元(AU)。舉例而言，開始CVS之隨機存取點圖像的某些性質可包括等於1之RASL旗標(例如，NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。存取單元(AU)包括一或多個經寫碼圖像及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼圖塊在位元串流層級囊封至稱為網路抽象層(NAL)單元之資料單元中。舉例而言，HEVC視訊位元串流可包括一或多個CVS，該一或多個CVS包括NAL單元。NAL單元中之每一者具有NAL單元標頭。在一個實例中，標頭對於H.264/AVC (除了多層擴展以外)為一個位元組且對於HEVC為兩個位元組。NAL單元標頭中之語法元素取經指定位元，且因此對所有種類之系統及輸送層可見，諸如輸送串流、即時輸送(RTP)協定、檔案格式外加其他。 兩種類別之NAL單元存在於HEVC標準中，包括視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個圖塊或圖塊片段(如下描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。在一些狀況下，NAL單元可被稱作封包。HEVC AU包括含有經寫碼圖像資料之VCL NAL單元及對應於經寫碼圖像資料之非VCL NAL單元(若存在)。 NAL單元可含有形成視訊資料之經寫碼表示(諸如，視訊中之圖像的經寫碼表示)的位元序列(例如，經編碼視訊位元串流、位元串流之CVS或其類似者)。編碼器引擎106藉由將每一圖像分割成多個圖塊而產生圖像之經寫碼表示。一圖塊獨立於其他圖塊，以使得在不依賴於來自同一圖像內之其他圖塊之資料的情況下寫碼該圖塊中之資訊。一圖塊包括一或多個圖塊片段，該一或多個圖塊片段包括獨立圖塊片段及(若存在)取決於先前圖塊片段之一或多個相關圖塊片段。圖塊接著分割成明度樣本及色度樣本之寫碼樹型區塊(CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同樣本之語法被稱為寫碼樹型單元(CTU)。CTU為用於HEVC編碼之基本處理單元。CTU可經分裂成具有不同大小之多個寫碼單元(CU)。CU含有被稱為寫碼區塊(CB)之明度及色度樣本陣列。 明度及色度CB可進一步被分裂成預測區塊(PB)。PB為對於框間預測或塊內複製預測(在可用或經啟用以供使用時)使用相同運動參數的明度分量或色度分量之樣本之區塊。明度PB及一或多個色度PB以及相關聯語法形成預測單元(PU)。對於框間預測，運動參數(例如，一或多個運動向量、參考索引或其類似者)之集合係針對每一PU在位元串流中發信且用於明度PB及一或多個色度PB之框間預測。運動參數亦可被稱作運動資訊。CB亦可分割成一或多個變換區塊(TB)。TB表示色彩分量之樣本之正方形區塊，對該正方形區塊應用同一二維變換以用於寫碼預測殘餘信號。變換單元(TU)表示明度及色度樣本之TB及對應語法元素。 CU之大小對應於寫碼模式之大小，且可為正方形形狀。舉例而言，CU之大小可為8×8樣本、16×16樣本、32×32樣本、64×64樣本或任何其他適當大小達至對應CTU之大小。片語「N×N」在本文中用於指就垂直及水平尺寸而言視訊區塊之像素尺寸(例如，8像素×8像素)。可按列及行來排列區塊中之像素。在一些實施例中，區塊在水平方向上可不具有與在垂直方向上相同的數目個像素。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經框內預測模式編碼抑或經框間預測模式編碼之間有所不同。PU可分割成非正方形形狀。與CU相關聯的語法資料亦可描述(例如)根據CTU將CU分割成一或多個TU。TU之形狀可為正方形或非正方形。 根據HEVC標準，可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。可基於給定CU內之PU的大小而對TU設定大小。TU可與PU大小相同或小於PU。在一些實例中，對應於CU之殘餘樣本可使用四分樹結構(稱為殘餘四分樹(RQT))再分為較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。變換係數可接著由編碼器引擎106量化。 一旦視訊資料之圖像被分割成CU，編碼器引擎106便使用預測模式來預測每一PU。預測單元或預測區塊接著自原始視訊資料減去以得到殘餘(下文所描述)。對於每一CU，可使用語法資料在位元串流內部發信預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。框內預測利用圖像內之空間相鄰樣本之間的相關性。舉例而言，使用框內預測時，使用(例如)DC預測以發現PU之平均值、使用平坦預測以使平坦表面擬合於PU、使用方向預測以自相鄰資料外推或使用任何其他合適類型之預測，自同一圖像中之相鄰影像資料預測每一PU。框間預測使用圖像之間的時間相關性以便導出影像樣本之區塊的運動補償預測。舉例而言，在使用框間預測之情況下，使用運動補償預測自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可(例如)在CU層級作出使用圖像間預測抑或圖像內預測來寫碼圖像區域的決策。 在一些實例中，圖像之一或多個圖塊被指派有圖塊類型。圖塊類型包括I圖塊、P圖塊及B圖塊。I圖塊(框內預測圖框，可獨立解碼)為僅藉由框內預測寫碼之圖像的圖塊，且因此可獨立解碼，此係因為I圖塊僅需要圖框內之資料來預測圖塊之任何預測單元或預測區塊。P圖塊(單向預測圖框)為可藉由框內預測及單向框間預測寫碼之圖像的圖塊。藉由框內預測或框間預測寫碼P圖塊內之每一預測單元或預測區塊。當應用框間預測時，僅藉由一個參考圖像預測該預測單元或預測區塊，且因此參考樣本僅來自一個圖框之一個參考區域。B圖塊(雙向預測性圖框)為可藉由框內預測及框間預測(例如，雙向預測或單向預測)寫碼的圖像之圖塊。B圖塊之預測單元或預測區塊可自兩個參考圖像雙向預測，其中每一圖像貢獻一個參考區域且兩個參考區域之樣本集合經加權(例如，運用相等權重或運用不同權重)以產生雙向預測區塊之預測信號。如上文所解釋，一個圖像之圖塊被獨立寫碼。在一些狀況下，圖像可僅作為一個圖塊而被寫碼。 PU可包括與預測處理程序相關之資料(例如，運動參數或其他合適資料)。舉例而言，當使用框內預測編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間預測編碼PU時，PU可包括定義用於PU之運動向量的資料。定義用於PU之運動向量的資料可描述(例如)運動向量之水平分量(∆x )、運動向量之垂直分量(∆y )、用於運動向量之解析度(例如，整數精度、四分之一像素精度或八分之一像素精度)、運動向量指向之參考圖像、參考索引、用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)，或其任何組合。 編碼器件104接著可執行變換及量化。舉例而言，在預測之後，編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包含正被寫碼的像素之當前區塊(PU)與用以預測當前區塊之預測區塊(例如，當前區塊之預測版本)之間的像素差值。舉例而言，在產生預測區塊(例如，發出框間預測或框內預測)之後，編碼器引擎106可藉由自當前區塊減去由預測單元產生之預測區塊來產生殘餘區塊。殘餘區塊包括量化當前區塊之像素值與預測區塊之像素值之間的差的一組像素差值。在一些實例中，殘餘區塊可以二維區塊格式(例如，像素值之二維矩陣或陣列)表示。在此等實例中，殘餘區塊為像素值之二維表示。 使用區塊變換來變換可在執行預測之後剩餘的任何殘餘資料，此變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換、其他合適之變換函數或其任何組合。在一些狀況下，一或多個區塊變換(例如，大小32×32、16×16、8×8、4×4或其他合適大小)可應用於每一CU中之殘餘資料。在一些實施例中，TU可用於藉由編碼器引擎106實施的變換及量化處理程序。給定之具有一或多個PU的CU亦可包括一或多個TU。如下文進一步詳細描述，可使用區塊變換將殘餘值變換成變換係數，且接著可使用TU來量化且掃描以產生用於熵寫碼之串列化變換係數。 在一些實施例中，在使用CU之PU進行框內預測性或框間預測性寫碼之後，編碼器引擎106可計算CU之TU的殘餘資料。PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包含變換域中之係數。如先前所提及，殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括CU之殘餘資料的TU，且接著可變換TU以產生CU之變換係數。 編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以減少用以表示係數之資料的量而提供進一步壓縮。舉例而言，量化可減小與係數中之一些或全部相關聯的位元深度。在一個實例中，具有n位元值之係數可在量化期間經降值捨位為m位元值，其中n大於m。 在執行量化後，經寫碼視訊位元串流包括經量化變換係數、預測資訊(例如，預測模式、運動向量、區塊向量，或其類似者)、分割資訊及任何其他合適之資料，諸如其他語法資料。接著可藉由編碼器引擎106對經寫碼視訊位元串流之不同元素進行熵編碼。在一些實例中，編碼器引擎106可利用預定義掃描次序掃描經量化變換係數以產生可經熵編碼的串列化向量。在一些實例中，編碼器引擎106可執行自適應掃描。在掃描經量化變換係數以形成向量(例如，一維向量)之後，編碼器引擎106可熵編碼向量。舉例而言，編碼器引擎106可使用上下文自適應可變長度寫碼、上下文自適應二進位算術編碼、基於語法之上下文自適應二進位算術編碼、機率區間分割熵寫碼或另一合適之熵編碼技術。 如先前所描述，HEVC位元串流包括NAL單元之群組，包括VCL NAL單元及非VCL NAL單元。VCL NAL單元包括形成經寫碼視訊位元串流之經寫碼圖像資料。舉例而言，形成經寫碼視訊位元串流之位元序列存在於VCL NAL單元中。除了其他資訊以外，非VCL NAL單元亦可含有具有與經編碼視訊位元串流相關之高層級資訊的參數集。舉例而言，參數集可包括視訊參數集(VPS)、序列參數集(SPS)及圖像參數集(PPS)。參數集之目標之實例包括位元速率效率、錯誤復原及提供系統層介面。每一圖塊參考單個作用中PPS、SPS及VPS以存取解碼器件112可用於解碼圖塊之資訊。可針對每一參數集寫碼識別符(ID)，包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一圖塊標頭包括PPS ID。使用ID，可識別針對給定圖塊之作用中參數集。 PPS包括適用於給定圖像中之所有圖塊的資訊。因此，圖像中之所有圖塊參考同一PPS。不同圖像中之圖塊亦可參考同一PPS。SPS包括適用於同一經寫碼視訊序列(CVS)或位元串流中之所有圖像的資訊。如先前所描述，經寫碼視訊序列為一系列存取單元(AU)，其始於在基層中且具有某些性質(如上文所描述)之隨機存取點圖像(例如，瞬時解碼參考(IDR)圖像或斷鏈存取(BLA)圖像或其他適當的隨機存取點圖像)，直至且不包括具有在基層中且具有某些性質之隨機存取點圖像的下一AU (或位元串流之末端)。SPS中之資訊可不在經寫碼視訊序列內在圖像間變化。經寫碼視訊序列中之圖像可使用同一SPS。VPS包括適用於經寫碼視訊序列或位元串流內之所有層的資訊。VPS包括具有適用於整個經寫碼視訊序列之語法元素的語法結構。在一些實施例中，可與經編碼位元串流一起頻帶內傳輸VPS、SPS或PPS。在一些實施例中，可在與含有經寫碼視訊資料之NAL單元分開的傳輸中帶外傳輸VPS、SPS或PPS。 視訊位元串流亦可包括補充增強資訊(SEI)訊息。舉例而言，SEI NAL單元可為視訊位元串流之部分。在一些狀況下，SEI訊息可含有解碼程序未必需要的資訊。舉例而言，SEI訊息中之資訊對於解碼器解碼位元串流之視訊圖像可能並不重要，但解碼器可使用資訊以改良圖像之顯示或處理(例如，經解碼輸出)。SEI訊息中之資訊可為嵌入型後設資料。在一個說明性實例中，SEI訊息中之資訊可由解碼器側實體使用以改良內容之可見性。在一些情況下，某些應用標準可強制此類SEI訊息在位元串流中之存在以使得符合應用標準之所有器件可達成品質之改良(例如，用於圖框可相容平面立體3DTV視訊格式之圖框封裝SEI訊息的攜載，其中針對視訊之每一圖框攜載SEI訊息；恢復點SEI訊息之處置；拉移式掃描矩形SEI訊息在DVB中之使用；外加許多其他實例)。 編碼器件104之輸出端110可經由通信鏈路120將組成經編碼視訊位元串流資料之NAL單元發送至接收器件之解碼器件112。解碼器件112之輸入端114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的通道。無線網路可包括任何無線介面或無線介面之組合，且可包括任何適合之無線網路(例如，網際網路或其他廣域網路、基於封包之網路、WiFiTM 、射頻(RF)、UWB、WiFi-Direct、蜂巢式、長期演進(LTE)、WiMaxTM 或其類似者)。有線網路可包括任何有線介面(例如，光纖、乙太網路、電力線乙太網路、經由同軸電纜之乙太網路、數位信號線(DSL)或其類似者)。可使用各種裝備來實施有線及/或無線網路，該等裝備諸如基地台、路由器、存取點、橋接器、閘道器、交換器或其類似者。可根據通信標準(諸如，無線通信協定)調變經編碼視訊位元串流資料，且將其傳輸至接收器件。 在一些實例中，編碼器件104可將經編碼視訊位元串流資料儲存於儲存器108中。輸出端110可自編碼器引擎106或自儲存器108擷取經編碼視訊位元串流資料。儲存器108可包括多種分散式或本端存取之資料儲存媒體中之任一者。舉例而言，儲存器108可包括硬碟機、儲存碟、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。 解碼器件112之輸入端114接收經編碼視訊位元串流資料，且可將視訊位元串流資料提供至解碼器引擎116，或提供至儲存器118以供稍後由解碼器引擎116使用。解碼器引擎116可藉由熵解碼(例如，使用熵解碼器)及提取組成經編碼視訊資料的一或多個經寫碼視訊序列之元素來解碼經編碼視訊位元串流資料。解碼器引擎116可接著重新按比例調整經編碼視訊位元串流資料且對經編碼視訊位元串流資料執行反變換。殘餘資料接著傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素之區塊(例如，PU)。在一些實例中，預測被添加至反變換之輸出(殘餘資料)。 解碼器件112可將經解碼視訊輸出至視訊目的地器件122，視訊目的地器件可包括用於將經解碼視訊資料顯示給內容之消費者的顯示器或其他輸出器件。在一些態樣中，視訊目的地器件122可為包括解碼器件112之接收器件之部分。在一些態樣中，視訊目的地器件122可為不同於接收器件的獨立器件之部分。 在一些實施例中，視訊編碼器件104及/或視訊解碼器件112可分別與音訊編碼器件及音訊解碼器件整合。視訊編碼器件104及/或視訊解碼器件112亦可包括實施上文所描述之寫碼技術所必需的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器件104及視訊解碼器件112可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)之部分。下文參看圖23描述編碼器件104之特定細節的實例。下文參看圖24描述解碼器件112之特定細節的實例。 對HEVC標準之擴展包括多視圖視訊寫碼擴展(被稱作MV-HEVC)及可調式視訊寫碼擴展(被稱作SHVC)。MV-HEVC及SHVC擴展共用分層寫碼之概念，其中不同層包括於經編碼視訊位元串流中。經寫碼視訊序列中之每一層係由唯一層識別符(ID)定址。層ID可存在於NAL單元之標頭中以識別NAL單元所相關聯之層。在MV-HEVC中，不同層可表示視訊位元串流中之同一場景的不同視圖。在SHVC中，提供以不同空間解析度(或圖像解析度)或不同重構保真度表示視訊位元串流的不同可調式層。可調式層可包括基層(具有層ID=0)及一或多個增強層(具有層ID=1、2、…n)。基層可符合HEVC之第一版本的設定檔，且表示位元串流中之最低可用層。與基層相比，增強層具有增加之空間解析度、時間解析度或圖框速率及/或重構保真度(或品質)。增強層經階層式組織，且可(或可不)取決於較低層。在一些實例中，可使用單一標準編解碼器來寫碼不同層(例如，使用HEVC、SHVC或其他寫碼標準編碼所有層)。在一些實例中，可使用多標準編解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基層，而可使用對HEVC標準之SHVC及/或MV-HEVC擴展來寫碼一或多個增強層。 一般而言，層包括VCL NAL單元之集合及非VCL NAL單元之對應集合。NAL單元被指派特定層ID值。在層可取決於較低層的意義上，層可為階層式的。層集合指表示於位元串流內之獨立的層之集合，意謂層集合內之層在解碼處理程序中可取決於層集合中之其他層，但並不取決於任何其他層來進行解碼。因此，層集合中之層可形成可表示視訊內容之獨立位元串流。可藉由子位元串流提取處理程序之操作自另一位元串流獲得層集合中之層的集合。層集合可對應於待在解碼器希望根據某些參數操作時被解碼之層集合。 在一些實施中，用於捕捉360度視訊之攝影機集合可包括全向攝影機、反射折射攝影機(使用透鏡及彎曲鏡之攝影機)、裝備有魚眼透鏡之攝影機，及/或其他合適攝影機。全向攝影機之一個實例為理光Theta-S，其使用以相反方向聚焦之兩個魚眼透鏡。 全向攝影機(諸如反射折射攝影機及具有魚眼透鏡之攝影機)通常捕捉具有大量失真之影像。圖2A及圖2B說明由使用魚眼透鏡捕捉寬視場之全向攝影機捕捉的視訊圖框之實例。在圖2A之實例中，視訊圖框200包括圓形魚眼影像。魚眼透鏡能夠捕捉極寬角度，諸如280度或更大。因此，裝備有背對背定位之兩個魚眼透鏡的攝影機可捕捉共同提供360度視野(或更多)之兩個影像。非廣角魚眼透鏡捕捉近似45度至約90度之視場。視場可替代地或另外以弧度表達。 為了捕捉寬角，魚眼透鏡使場景之影像失真。如圖2A中所說明，在視訊圖框200中捕捉之場景形狀為圓形，且自中心變形至此圓形區域之外部邊緣。因為攝影機感測器為矩形，所以視訊圖框200為矩形且影像包括非場景之部分的區域，此處使用點畫說明。此等區域中之像素視為不可用，此係由於此等像素並非為場景之部分。 圖2B之實例包括一包括完整圖框魚眼影像之視訊圖框202。在此類型視訊圖框202中，寬角視場亦已在圓形區域中捕捉，其中場景經變形成圓形區域。在此實例中，影像已按比例調整(例如，放大)如此場景填充矩形圖框之邊緣。此實例視訊圖框202不包括不可用區域，且可由透鏡捕捉的場景之一些部分已經裁剪或並未被捕捉。 使用魚眼影像捕捉寬視場的360度視訊可再映射成其他格式。此等其他格式可用以儲存、傳輸及/或觀看360度視訊。一個實例格式為球面投影格式。圖3說明球面投影視訊圖框300之實例。在此實例球面投影視訊圖框300中，來自兩個魚眼影像302A、302B之可用像素(例如，圓形區域中之像素)已經映射成球面投影格式。在此實例中，每一魚眼影像302A、302B包括180度或更大視場，以使得兩個魚眼影像302A、302B共同涵蓋360度視場(可能具有某一重疊)。 映射來自魚眼影像302A、302B之像素具有解變形魚眼影像302A、302B中捕捉之場景，及朝向視訊圖框300之邊緣拉伸像素的效應。所得球面投影影像可在視訊圖框300之上部及下部呈現拉伸。熟知球面投影投影為麥卡托投影，其中地球之地理係以正交緯度及經度線呈現。 在各種實施中，魚眼影像302A、302B可映射成其他格式，諸如映射至藉由立方體、圓柱形、棱錐、截短棱錐或某其他幾何形狀形成的面上。在此等狀況中之每一者中，存在於魚眼影像302A、302B中之失真可經校正且不可用像素可經消除。平坦資料亦可經封裝用於儲存及/或傳輸，且可用於顯示360度視訊。 在一些狀況下，中間格式可係有用的，(例如)用於儲存及/或傳輸360度視訊資料，或用於將視訊資料轉換成另一格式。舉例而言，球面投影表示可映射成球體格式(例如，球體幾何形狀)以顯示視訊資料，如圖4中所說明。 圖4說明正用於360度視訊呈現中的球面投影視訊圖框400之實例。球面投影視訊圖框400可映射至球體幾何形狀上，且所得球體表示可使用頭戴式顯示器或某其他360度視訊顯示器件向觀看者420顯示。在其他實例中，球面投影視訊圖框400可映射成立方形、圓柱形、錐形或某其他幾何形狀，其中幾何形狀可藉由360度視訊顯示器件使用以顯示視訊。 如上文所提及，球面投影視訊圖框400可捕捉完整360度視場，其中在上部及下部區域中之像素呈現拉伸及/或壓縮。為使用360度視訊呈現中之球面投影視訊圖框400，球面投影視訊圖框400中之像素可映射成球體表示。此映射可具有朝向球體表示之上及下(例如，分別「北極」及「南極」)擴大球面投影視訊圖框400之上部及下部區域的效應。擴大上部及下部區域可校正球面投影視訊圖框400中顯而易見的此等區域中之失真。 將球面投影視訊圖框400映射成球體表示可進一步具有圍繞球體表示之中心(例如，赤道)變形圖框之寬度的效應。球面投影視訊圖框400之左及右邊緣可相互緊靠地映射，以使得無「縫隙」呈現。 在球面投影視訊圖框400已映射成球體表示後，可顯示球體表示。使用頭戴式顯示器或另一360度視訊顯示器件，觀看者420可觀看來自球體表示內之球體表示。在大多數狀況下，觀看者420經定位，以使得自觀看者之視角來看「地面」係球體表示之最下方點。在一些狀況下，球體表示之赤道定位於觀看者之眼位準處。在各種實施中，球體表示可經擴展或經收縮以滿足觀看者之高度及/或位置(例如，在觀看者坐著、站立或在某其他位置中的情況下)。 然而，在一些狀況下，諸如球面投影格式之中間格式並非必要的。在各種實施中，360度視訊中之魚眼影像可直接映射成可顯示的表示，而非首先映射成球面投影形狀。圖5A及圖5B說明其中360度視訊圖框500中之魚眼影像已直接映射成半球形表示510的實例。如上文所論述，圖5A之視訊圖框500形狀為矩形，其中矩形形狀對應於攝影機之影像捕捉感測器的大小及形狀。視訊圖框500包括包括捕捉場景之像素的圓形區域502。視訊圖框500之拐角504(其中無像素被捕捉)可為左空白或可包括像素(例如，具有0或255之像素值)。 圓形區域502中捕捉的像素包括某一視場，其中該視場係由透鏡及/或攝影機指示。舉例而言，圓形區域502可包括90度視場、180度視場、270度視場，或某其他度之視場，此取決於攝影機之透鏡、鏡及/或感測器的構造。視場可替代地或另外以弧度表達。為使視場擬合於視訊圖框500，像素以線性或非線性方式變形成圓形區域502。 在各種實施中，下文所描述之技術將圓形區域502中之像素映射成半球形表示510，其實例係在圖5B中說明。半球形表示510可接著用以使用360度視訊顯示器件向觀看者520呈現視訊圖框500。半球形表示510可為球體之二分之一(其表示180度視圖)、小於球體二分之一(例如，當視訊圖框500捕捉小於180度視圖時)，或超過二分之一球體(例如，當視訊圖框500捕捉大於180度視圖時)。 在各種實施中，將視訊圖框500之圓形區域502映射成半球形表示510可具有將圓形區域502中之像素拉伸成半球形形狀的效應。舉例而言，圓形區域502之中心512可對應於半球形表示510之中心522或頂點。作為另一實例，圓形區域502之最上點514a可對應於半球形表示510的最上點524a(例如，北極)，且圓形區域502之最下點514b可對應於半球形表示510的最下點524b(例如，南極)。類似地，圓形區域502之極右514c及極左514d可對應於在此實例中為半球形表示510之極右524c及不可見之極左524d之物。圓形區域502之中心512與邊緣之間的像素可進一步均勻分散於半球形表示510之表面上。 所得半球形表示510可用以在360度視訊呈現中呈現平面視訊圖框500。使用360度視訊顯示器件，半球形表示510可經再現，以使得觀看者520被給予他在由藉由半球形表示510捕捉之像素表示的場景之內部的視聽。在一些狀況下，半球形表示510之頂點可經定向為在觀看者之視場的中心中。 在各種實施中，額外半球形表示可經提供用於將在觀看者520後面的視圖。舉例而言，如上文所提及，攝影機可裝備有背對背定位的兩個魚眼透鏡。該攝影機可捕捉一起提供場景之360度視圖(或更多)的兩個影像。在此類實例中，攝影機可捕捉第二魚眼影像(未展示)，其可包括於與圖5中展示之魚眼影像相同的圖框500中或可為包括於不同圖框中。第二魚眼影像可直接映射成直接在觀看者520後面的另一半球形表示(未展示)。兩個半球組成完整球體，其可經再現用於顯示以提供由一或多個視訊圖框捕捉的場景之完整360度視圖。 除支援媒體之本端播放外，一些視訊系統支援經由網路串流傳輸媒體資料。舉例而言，一或多個ISO基本媒體檔案格式檔案可包括電影呈現且可包括提示播放軌，其含有可輔助串流傳輸伺服器形成並傳輸檔案作為封包的指令。舉例而言，此等指令可包括供伺服器發送之資料(例如標頭資訊)或對媒體資料之片段的參考。檔案可包括用於不同串流傳輸協定之獨立提示播放軌。提示播放軌亦可在不需要重新格式化檔案之情況下添加至檔案。 現參看圖6，其說明用於串流傳輸之實例系統600。系統600包括經由網路606基於網路連接協定以通信方式彼此耦接的伺服器602及用戶端器件604。舉例而言，伺服器602可包括習知HTTP網頁伺服器，且用戶端器件604可包括習知HTTP用戶端。可建立HTTP通信通道，其中用戶端器件604可傳輸HTTP請求至伺服器602以請求一或多個網路資源。伺服器602可將包括經請求網路資源之HTTP回應傳輸回至用戶端器件604。藉由伺服器602主控之網路資源之一個實例可為媒體內容，其可分成媒體片段。媒體片段可包括視訊圖框之序列。用戶端器件604可包括用以經由網路606與伺服器602建立串流傳輸會話的串流傳輸應用程式608。在串流傳輸會話期間，串流傳輸應用程式608可經由網路606傳輸對於一或多個媒體片段之請求至伺服器602之請求處理器610。串流傳輸應用程式608可接收經請求一或多個媒體片段，且可在傳輸對於其他媒體片段之後續請求之前在用戶端器件604上再現所接收媒體片段中之一些或全部。使用此HTTP串流傳輸，串流傳輸應用程式608在用戶端器件604處再現媒體內容之前不需要等待直至整個媒體內容已完全下載，此可促進網路資源之較好使用並改良使用者體驗。 為實現使用習知HTTP網頁伺服器的媒體內容之高品質串流傳輸，可使用自適應位元速率串流傳輸。在自適應位元速率串流傳輸情況下，對於每一媒體片段，用戶端器件604可具有關於替代片段檔案620及640之集合的資訊。此處，媒體片段可指與特定播放時戳及持續時間相關聯的媒體位元串流之部分。替代片段檔案620及640之每一集合可對應於媒體片段(例如，與特定播放時戳及持續時間相關聯)之特定表示。表示可指編碼具有不同品質(例如，具有不同位元速率、圖框速率或其類似者)之某一媒體內容之特定結果。媒體片段檔案之每一集合當中，每一媒體片段檔案可與性質(包括(例如)特定位元速率、圖框速率、解析度、音訊語言或其類似者)之集合相關聯。基於本端資訊(例如，網路606之頻寬、用戶端器件604之解碼/顯示能力、使用者偏好或其他資訊)，串流傳輸應用程式608可選擇來自集合之特定媒體片段檔案用於每一表示。作為說明性實例，用戶端器件604可傳輸對於與來自媒體片段檔案620之第一解析度相關聯之媒體片段檔案的請求。隨後，歸因於網路606之頻寬的變化，用戶端器件604可傳輸對於與第二解析度相關聯的媒體片段檔案之另一請求。 關於替代片段檔案620及640之集合的資訊可為藉由伺服器602維持的描述檔案660(或資訊清單檔案)之部分。用戶端器件604可自伺服器602獲得描述檔案660，且可基於描述檔案660傳輸對於媒體片段檔案之請求。描述檔案660可包括(例如)用於媒體內容之每一表示的替代媒體片段檔案之集合之清單，及與每一替代媒體片段檔案相關聯的性質(例如，位元速率、圖框速率、解析度、音訊語言等)。描述檔案660亦可包括與替代媒體片段檔案之儲存位置相關聯的位置識別符(例如，統一資源定位符(URL)、統一資源指示符(URI)等)。 存在用於自適應位元速率串流傳輸之各種協定。一個實例為經由超文字傳送協定(HTTP)之動態自適應串流，或DASH(定義於ISO/IEC 23009-1:2014中)。DASH，其亦稱為MPEG-DASH。在DASH情況下，描述檔案660可包括媒體呈現描述(MPD)。圖7為說明MPD 701之實例的圖式。在一些狀況下，MPD 701可以可延伸標示語言(XML)表示。MPD 701可包括定義調適集合702的元素之集合。調適集合702可包括替代表示703及704之集合。一般熟習此項技術者將瞭解除了表示703及704之外調適集合702亦可包括額外表示。每一替代表示703及704可與特定位元速率、解析度或其他品質相關聯，且可包括媒體片段之集合。舉例而言，表示703包括媒體片段707及709，及亦標頭資訊705。表示704包括媒體片段708及710，及亦標頭資訊706。標頭資訊705及706可包括(例如)「表示」元素(例如，包括識別符、頻寬、寬度及高度屬性，或其類似者)。媒體片段707及709中的每一者可在MPD 701中與媒體片段檔案之URL(其可表示為元素「SegmentURL」)相關聯。MPD 701中之元素之集合中的每一者可與定義(例如)調適集合702、表示703及/或704或其他資訊之性質的屬性之集合相關聯。 以下為MPD之部分的實例： ＜AdaptationSet mimeType="video/mp2t"＞ ＜Representation id="720p" bandwidth="3200000" width="1280" height="720"＞ . . . ＜SegmentURL media="segment-1.DASH"/＞ ＜SegmentURL media="segment-2.DASH"/＞ . . . 在以上展示之實例MPD中，諸如「時段(Period)」、「AdaptationSet」、「表示(Representation)」、「SegmentURL」等之本文為元素，而「mimeType」、「id」、「頻寬(bandwidth)」、「寬度(width)」及「高度(height)」、「媒體(media)」等為屬性。在此實例中，調適集合包括與特定頻寬及圖框大小相關聯之一個表示，且包括由其URL表示的媒體片段之集合。 用於自適應位元速率串流傳輸之另一實例為HTTP實時串流傳輸(HLS)，其提供與傳輸串流(TS)格式相關聯的檔案片段之串流傳輸。傳輸串流指定囊封經封包化基本串流(PES)之容器格式。每一PES包含來自視訊或音訊解碼器之順序資料位元組至PES封包中的囊封。使用HLS，伺服器可提供播放清單檔案(亦稱作描述檔案或資訊清單檔案)之集合至媒體播放器器件。播放清單檔案中之每一者可包括至呈TS格式並與特定位元速率相關聯的檔案片段之序列的鏈接。在一些狀況下，播放清單檔案可呈.m3u8格式之格式。變體播放清單檔案可指播放清單檔案之集合，其中之每一者可與用於相同呈現(例如，視訊圖框之序列)之媒體片段檔案之集合相關聯，且播放清單檔案之集合中之每一者可與不同位元速率相關聯。接收器器件可具有變體播放清單檔案，且基於本端條件(例如，網路頻寬)，選擇與特定頻寬、位元速率、圖框速率等相關聯的播放清單檔案。接收器器件接著可使用所選擇播放清單檔案之資訊以獲得媒體片段檔案以供串流傳輸。 在一些實例中，可使用檢視區相關360度(或VR)視訊系統。與正常(非360度或非VR)視訊相比，360度視訊之不同特徵為，在360度視訊中，通常僅僅顯示由視訊圖像(對應於觀察器件之當前視場(FOV)或檢視區)表示的整個視訊區域之子集，而在正常視訊應用中，通常顯示整個視訊區域。FOV或檢視區為當前正由顯示器件呈現且由使用者或觀測者見到的區域。術語FOV與檢視區在本文中可互換使用。基於檢視區之特徵可用以改良360度視訊系統之效能。舉例而言，可執行檢視區相關投影映射及/或檢視區相關視訊寫碼。基於此等基於檢視區之特徵的效能改良可至少包括在呈現給使用者的視訊部分之相同解析度及/或品質情況下與習知360度視訊系統相比較低的傳輸帶寬及較低的解碼複雜度中之任一者或兩者。 在一些狀況下，如上文所提及，可執行檢視區相關投影映射。檢視區相關投影映射亦可被稱作不對稱投影映射。一個實例為子取樣立方體貼圖。典型立方體貼圖包括六個相等大小之面。在子取樣立方體貼圖之一個實例中，該等面中之一者可保持不變，而相對側上之面可經子取樣或向下按比例調整至在原始面形狀之中心區域處定位的較小大小，且其他面相應地幾何學上按比例調整(仍保持六個面)。極端實例係將相對側上之面向下按比例調整為單一點，且因此立方體變為棱錐。在子取樣立方體貼圖之另一實例中，一些面係諸如藉由2×2比(例如，在平行於面之邊緣的每一方向中之2:1)或其他合適比按比例向下設定大小。此向下設定大小按比例調整亦可應用於其他投影映射之不同區域，諸如球面投影。一個實例為將上部及下部區域(極)兩者向下設定大小。 在一些狀況下，可執行檢視區相關視訊寫碼。檢視區相關視訊寫碼亦可被稱作基於檢視區之部分視訊解碼。檢視區相關視訊寫碼之關鍵特徵將實現整個經編碼區域之視訊僅僅部分之解碼以提供充足資訊以用於顯示當前檢視區或FOV。 在檢視區相關視訊寫碼之一個實例中，360度(或VR)視訊係使用運動受限制圖像塊集合來寫碼，以使得覆蓋檢視區之每一潛在區域可自其他區域獨立地解碼。對於特定當前檢視區，覆蓋當前檢視區之可獨立解碼圖像塊的最小集合之經寫碼視訊資料經發送至用戶端、經解碼並經顯示。此方法被稱為基於簡單圖像塊部分解碼(STPD)，且描繪於圖8中。在一些狀況下，覆蓋當前檢視區的圖像塊之視訊資料可使用HTTP串流協定(諸如DASH或其他合適協定)發送至用戶端。 如圖8中所示，視訊序列(例如，視訊表示之視訊片段)之完整圖像802a、802b、802c至802n經編碼且儲存於編碼器件或其他傳輸器側器件處。如所示，圖像802a、802b、802c至802n分成運動受限制圖像塊，其中每一圖像包括24個運動受限制圖像塊。每一圖像塊在每一圖像中具有對應位置，如下文關於圖13更詳細地描述。如所示，時間框間預測可經執行以使用圖像802a、802b、802c至802n中之一或多者作為參考圖像來編碼圖像802a、802b、802c至802n。 來自覆蓋當前檢視區的完整圖像802a、802b、802c至802n之圖像塊的部分僅僅經傳輸至用戶端器件(例如，VR耳機、行動器件或其他合適之360度啟用觀看器件)並藉由該用戶端器件解碼。舉例而言，部分圖像804a、804b、804c至804n包括為解碼對應於藉由用戶端器件之使用者觀看的當前檢視區的圖像802a、802b、802c至802n之部分所必需的圖像塊。如所示，時間框間預測經執行以使用部分圖像804a、804b、804c至804n中之一或多者作為參考圖像來解碼部分圖像804a、804b、804c至804n。 STPD方法之缺點為當使用者將他或她的頭部迅速轉至未藉由所發送視訊資料(例如，覆蓋當前檢視區之圖像塊)覆蓋(完全或部分)之新的檢視區時，未由視訊資料之圖像塊覆蓋的區域不可在覆蓋新檢視區之資料到達且被解碼及顯示之前見到。舉例而言，新的區域(由新檢視區而非舊檢視區覆蓋)中無一者可在覆蓋新檢視區的圖像塊之視訊資料到達且視訊資料根據緩衝時刻表充分緩衝之前見到。除非網路之往返時間極低(例如，在10毫秒或其他值之量值處)，否則此延遲可容易地出現，此並不可行或為今天或在不久的將來的至少一大的挑戰，其中網路頻寬常常受到限制及/或其中限制性網路訊務係合乎需要的。 在檢視區相關視訊寫碼之另一實例中，多個品質(例如，解析度、位元速率、圖框速率或其組合)之視訊位元串流係使用可調式視訊編解碼器(諸如SHVC或其他可調式視訊編解碼器)來可調式寫碼。在此檢視區相關視訊寫碼中，可始終發送最低品質視訊(例如，基層)之整個位元串流。在一些狀況下，最低品質視訊不需要使用圖像塊或運動受限制圖像塊集合來寫碼。在其他狀況下，最低品質視訊可使用圖像塊或運動受限制圖像塊集合來寫碼。基於可調式檢視區相關視訊寫碼之其他態樣類似於上文所描述的STPD技術。基於可調式檢視區相關視訊寫碼方法允許最低品質視訊之更高效寫碼，此係因為圖像塊或圖像塊之圖像塊運動受限制集合的寫碼減少寫碼效率，且亦歸因於層間預測之使用而允許較高品質的串流之更高效寫碼。另外，此方法亦允許更高效檢視區切換，此係因為在檢視區切換開始後，傳輸器側器件(例如，伺服器或邊緣伺服器)可即刻停止發送來自更高解析度(與基層相比)之視訊串流且並不覆蓋新檢視區之任一區域的視訊資料。若覆蓋當前檢視區的最低解析度之視訊資料在檢視區切換期間不發送(在此狀況下，僅僅發送覆蓋當前檢視區的最高品質之視訊資料)，則伺服器有時將必須繼續發送來自最高品質之視訊串流且僅僅覆蓋舊檢視區或其部分的視訊資料，以準備好使得在使用者轉回至舊檢視區或其部分之情況下使用者可至少見到最低品質視訊。 兩個方案可能基於SHVC編解碼器以用於此檢視區相關視訊寫碼，包括基於可調式寫碼部分解碼(SLPD)#1及SLPD#2。在SLDP#1中，360度視訊係使用具有多個品質(例如，解析度、位元速率、圖框速率或其他品質)之SHVC空間可擴展性來可調式寫碼。最低品質視訊(被稱作基層(BL)，其可具有(例如)最低解析度、位元速率、圖框速率或其他品質)之位元串流始終被完全發送用於解碼及播放，使得在任一時間處及對於任一檢視區，至少最低品質視訊可供用於再現。最低品質視訊完全不需要使用圖像塊來寫碼，但若最低品質視訊係使用圖像塊或運動受限制圖像塊寫碼，則系統將起作用。 在SLPD#1中，亦可寫碼比基層更高品質視訊之一或多個位元串流(被稱作增強層，其可具有(例如)與基層相比逐漸更高之解析度、位元速率、圖框速率或其他品質)。增強層(EL)係使用運動受限制圖像塊來寫碼，使得覆蓋檢視區之每一潛在區域可跨越時間自其他區域獨立地解碼，其中層間預測(ILP)經啟用。對於特定當前檢視區，覆蓋檢視區的圖像塊之最小集合經發送至用戶端器件，且可接著藉由用戶端器件解碼及再現。自儲存器觀點(在編碼器側器件上)，所有品質/層之完整串流需要被儲存。 當大於兩個層被寫碼時，覆蓋不同檢視區之圖像塊可選自不同品質(例如，解析度、位元速率、圖框速率或其組合)。舉例而言，對於當前檢視區(當前正使用用戶端器件再現及觀看)，圖像塊可選自最高品質；對於與當前檢視區相鄰之檢視區，圖像塊可選自第二最高品質；等。 圖9為說明基於第一可調式寫碼之360度視訊部分解碼技術(SLDP#1)的圖式。使用SLDP#1，視訊序列(例如，視訊表示之視訊片段)之最低品質層的完整圖像903a、903b、903c至903n係在編碼器件或其他傳輸器側器件處編碼及儲存。最低品質層可被稱作基層，其可具有(例如)最低解析度、位元速率、圖框速率或視訊序列之所有層的其他品質。視訊序列之增強層的完整圖像902a、902b、902c至902n亦經編碼且儲存於編碼器件或其他傳輸器側器件處。在SLDP#1中，增強層之完整圖像902a、902b、902c至902n分成運動受限制圖像塊，而基層之完整圖像903a、903b、903c至903n不分成圖像塊。完整圖像902a、902b、902c至902n中之每一者具有24個運動受限制圖像塊，其中每一圖像塊在每一圖像中具有對應位置，如下文關於圖13更詳細地描述。 如圖9中所示，時間框間預測可經執行以使用完整圖像902a、902b、902c至902n中之一或多者作為參考圖像而編碼完整圖像902a、902b、902c至902n。時間框間預測亦可經執行以使用完整圖像903a、903b、903c至903n中之一或多者作為參考圖像編碼完整圖像903a、903b、903c至903n。另外，層間預測可經執行以使用基層之完整圖像903a、903b、903c至903n中之一或多者作為參考圖像來編碼增強層之完整圖像902a、902b、902c至902n。 來自覆蓋當前檢視區的完整圖像902a、902b、902c至902n之圖像塊的部分僅僅經傳輸至用戶端器件(例如，VR耳機、行動器件或其他合適之360度啟用觀察器件)並藉由該用戶端器件解碼。舉例而言，部分圖像904a、904b、904c至904n包括為解碼對應於藉由用戶端器件之使用者觀看的當前檢視區的完整圖像902a、902b、902c至902n之部分所必需的增強層圖像之圖像塊。如所示，基層之完整圖像903a、903b、903c至903n經傳輸至用戶端器件並藉由用戶端器件解碼。使用此技術，最低品質視訊圖像始終經提供至播放器器件(或其他用戶端器件)，以使得當使用者轉動其頭部及/或器件時，播放器器件可再現新檢視區之至少低品質版本直至檢視區的視訊資料之較高品質版本可傳輸至播放器器件以用於解碼及再現。 如圖9中所示，時間框間預測可經執行以使用部分圖像904a、904b、904c至904n中之一或多者作為參考圖像來解碼部分圖像904a、904b、904c至904n。時間框間預測亦可經執行以使用完整圖像903a、903b、903c至903n中之一或多者作為參考圖像解碼完整圖像903a、903b、903c至903n。層間預測亦可經執行以使用來自基層之完整圖像903a、903b、903c至903n中之一或多者作為參考圖像來解碼來自增強層之部分圖像904a、904b、904c至904n。 在SLDP#2中，360度(或VR)視訊亦使用具有多個品質之SHVC空間可擴展性而可調式寫碼。基層與SLPD#1中相同而寫碼，而一或多個增強層類似於SLPD#1中(但其中時間框間預測(TIP)停用)而寫碼。用於SLPD#1之TIP可導致延遲，此係因為在此狀況下自顯示來自第一圖像塊集合(用於第一檢視區)之視訊資料切換至第二圖像塊集合(用於第二檢視區)可延遲。舉例而言，圖像之圖像塊需要經發送用於隨機存取圖像及取決於隨機存取圖像之所有圖像。在一些狀況下，隨機存取圖像在位元串流中以長持續時間出現(例如，每1秒、每2秒或其類似者1個隨機存取圖像)，此可導致延遲。此延遲可導致不良使用者體驗。因為增強層之圖像之間的TIP被消除，所以可使用來自基層之圖像作為參考圖像(使用層間預測)來預測增強層圖像。 圖10為說明基於第二可調式寫碼之360度視訊部分解碼技術(SLDP#2)的圖式。使用SLDP#2情況下，視訊序列(例如，視訊表示之視訊片段)的最低品質層之完整圖像1003a、1003b、1003c至1003n經編碼並儲存於編碼器件或其他傳輸器側器件處。最低品質層可被稱作基層，其可具有(例如)最低解析度、位元速率、圖框速率或視訊序列之所有層的其他品質。視訊序列之增強層的完整圖像1002a、1002b、1002c至1002n亦經編碼且儲存於編碼器件或其他傳輸器側器件處。類似於SLDP#1，在SLDP#2中，增強層之完整圖像1002a、1002b、1002c至1002n分成運動受限制圖像塊，而基層之完整圖像1003a、1003b、1003c至1003n不分成圖像塊。完整圖像1002a、1002b、1002c至1002n中之每一者具有24個運動受限制圖像塊，其中每一圖像塊在每一圖像中具有對應位置，如下文關於圖13更詳細地描述。 如圖10中所示，對於使用完整圖像1002a、1002b、1002c至1002n中之一或多者作為參考圖像來編碼完整圖像1002a、1002b、1002c至1002n，停用時間框間預測(如藉由圖中其上具有「X」之箭頭所表示)。時間框間預測可經執行以使用完整圖像1003a、1003b、1003c至1003n中之一或多者作為參考圖像編碼基層之完整圖像1003a、1003b、1003c至1003n。為編碼來自增強層之完整圖像1002a、1002b、1002c至1002n，層間預測可使用來自基層之完整圖像1003a、1003b、1003c至1003n中之一或多者作為參考圖像來執行。 來自覆蓋當前檢視區的增強層之完整圖像1002a、1002b、1002c至1002n之圖像塊的部分僅僅經傳輸至用戶端器件(例如，VR耳機、行動器件或其他合適之360度啟用觀看器件)且藉由該用戶端器件解碼。舉例而言，部分圖像1004a、1004b、1004c至1004n包括為解碼對應於藉由用戶端器件之使用者觀看的當前檢視區的完整圖像1002a、1002b、1002c至1002n之部分所必需的增強層圖像之圖像塊。基層之完整圖像1003a、1003b、1003c至1003n經傳輸至用戶端器件並藉由用戶端器件解碼。類似於SLDP#1，最低品質視訊圖像始終經提供至播放器器件(或其他用戶端器件)，以使得當使用者調整其頭部位置及/或器件時，播放器器件可再現新檢視區之至少低品質版本直至檢視區的視訊資料之較高品質版本可傳輸至播放器器件以用於解碼及再現為止。 如圖10中所示，對於解碼部分圖像1004a、1004b、1004c至1004n停用時間框間預測。時間框間預測可經執行以使用完整圖像1003a、1003b、1003c至1003n中之一或多者作為參考圖像來解碼基層之完整圖像1003a、1003b、1003c至1003n。層間預測可經執行以使用基層之完整圖像1003a、1003b、1003c至1003n中之一或多者作為參考圖像來解碼來自增強層之部分圖像1004a、1004b、1004c至1004n。 檢視區相關視訊寫碼之另一實例在本文中稱為獨立多解析度寫碼(IMRC)(亦被稱作基於聯播寫碼之部分解碼(SMPD))。使用SMPD技術，球體、全景或其他視訊係以彼此獨立的多個不同解析度(及/或其他品質，諸如位元速率及/或圖框速率)來編碼，且(不同解析度及/或其他品質之)每一表示係使用圖像塊之運動受限制集合來寫碼。接收器選擇以不同品質解碼球體、全景或其他類型之視訊的不同部分。舉例而言，當前藉由使用者觀察到的球體視訊(或其他格式化視訊)之部分(當前檢視區或FOV)為以最高解析度(及/或其他品質)寫碼的視訊位元串流之部分。在當前FOV周圍之區域為使用稍微較低解析度(及/或其他品質)寫碼的視訊位元串流之部分，等。直接在使用者頭部後面之全景的部分為以最低解析度(及/或其他品質)寫碼的視訊位元串流之部分。在一些情況下，在使用者頭部移動之狀況下，使用者體驗將在大多數情況下僅僅少量降級，且最嚴重之品質降級僅僅在極大急劇頭部移動之狀況下出現。 可執行SMPD方案之兩個變體，包括SMPD#1及SMPD#2。圖11為說明基於第一聯播寫碼之VR視訊部分解碼技術(SMPD#1)的圖式。除不使用層間預測(如藉由圖中其上具有「X」之箭頭所表示)以外，SMPD#1與SLPD#1相同。如圖11中所示，視訊序列(例如，視訊表示之視訊片段)之基層的完整圖像1103a、1103b、1103c至1103n經編碼且儲存於編碼器件或其他傳輸器側器件處。基層可具有(例如)最低解析度、位元速率、圖框速率或視訊序列之所有層的其他品質。視訊序列之增強層的完整圖像1102a、1102b、1102c至1102n亦經編碼且儲存於編碼器件或其他傳輸器側器件處。在SMDP#1中，增強層之完整圖像1102a、1102b、1102c至1102n分成運動受限制圖像塊，而基層之完整圖像1103a、1103b、1103c至1103n不分成圖像塊。完整圖像1102a、1102b、1102c至1102n中之每一者具有24個運動受限制圖像塊，其中每一圖像塊在每一圖像中具有對應位置，如下文關於圖13更詳細地描述。 如圖11中所示，時間框間預測可經執行以使用完整圖像1102a、1102b、1102c至1102n中之一或多者作為參考圖像來編碼增強層之完整圖像1102a、1102b、1102c至1102n。時間框間預測亦可經執行以使用完整圖像1103a、1103b、1103c至1103n中之一或多者作為參考圖像來編碼基層之完整圖像1103a、1103b、1103c至1103n。如所示，對於編碼增強層之完整圖像1102a、1102b、1102c至1102n，停用層間預測。 來自覆蓋當前檢視區的完整圖像1102a、1102b、1102c至1102n之圖像塊僅僅經傳輸至用戶端器件(例如，VR耳機、行動器件或其他合適之360度啟用觀看器件)並藉由該用戶端器件解碼。舉例而言，部分圖像1104a、1104b、1104c至1104n包括為解碼對應於藉由用戶端器件之使用者觀看的當前檢視區的完整圖像1102a、1102b、1102c至1102n之部分所必需的增強層的圖像之圖像塊。基層之完整圖像1103a、1103b、1103c至1103n經傳輸至用戶端器件並藉由用戶端器件解碼。 如圖11中所示，時間框間預測可經執行以使用部分圖像1104a、1104b、1104c至1104n中之一或多者作為參考圖像來解碼部分圖像1104a、1104b、1104c至1104n。時間框間預測亦可經執行以使用完整圖像1103a、1103b、1103c至1103n中之一或多者作為參考圖像來解碼完整圖像1103a、1103b、1103c至1103n。對於使用來自基層之完整圖像1103a、1103b、1103c至1103n中之一或多者作為參考圖像解碼來自增強層之部分圖像1104a、1104b、1104c至1104n，停用層間預測(如藉由圖中其上具有「X」之箭頭所表示)。 圖12為說明基於第二聯播寫碼之VR視訊部分解碼技術(SMPD#2)的圖式。在SMPD#2與SMPD#1之間存在兩個差異，包括:1)在SMPD#2中，亦使用與一或多個增強層之圖像塊相同的運動受限制圖像塊來寫碼最低品質(例如，解析度、位元速率及/或圖框速率)；及2)當使用SMPD#2時，最低品質亦並未被完全發送，而是覆蓋幾何學上距離當前檢視區最遙遠的檢視區及並未由來自其他品質之所發送圖像塊覆蓋的任何其他檢視區之僅僅圖像塊。 如圖12中所示，視訊序列(例如，視訊表示之視訊片段)的基層之完整圖像1203a、1203b、1203c至1203n經編碼及儲存於編碼器件或其他傳輸器側器件處。基層可具有(例如)最低解析度、位元速率、圖框速率或視訊序列之所有層的其他品質。視訊序列之增強層的完整圖像1202a、1202b、1202c至1202n亦經編碼且儲存於編碼器件或其他傳輸器側器件處。在SMDP#2中，基層之完整圖像1203a、1203b、1203c至1203n分成運動受限制圖像塊。增強層之完整圖像1202a、1202b、1202c至1202n亦分成運動受限制圖像塊。完整圖像1203a、1203b、1203c至1203n及完整圖像1202a、1202b、1202c至1202n中之每一者具有24個運動受限制圖像塊，其中每一圖像塊在每一圖像中具有對應位置，如下文關於圖13更詳細地描述。 如圖12中所示，時間框間預測可經執行以使用完整圖像1202a、1202b、1202c至1202n中之一或多者作為參考圖像來編碼增強層之完整圖像1202a、1202b、1202c至1202n。時間框間預測亦可經執行以使用完整圖像1203a、1203b、1203c至1203n中之一或多者作為參考圖像來編碼基層之完整圖像1203a、1203b、1203c至1203n。對於編碼增強層之完整圖像1202a、1202b、1202c至1202n，停用層間預測(如藉由圖中其上具有「X」之箭頭所表示)。 來自覆蓋當前檢視區的增強層之完整圖像1202a、1202b、1202c至1202n之圖像塊僅僅經傳輸至用戶端器件(例如，VR耳機、行動器件或其他合適之360度啟用觀看器件)且藉由該用戶端器件解碼。舉例而言，部分圖像1204a、1204b、1204c至1204n包括為解碼對應於藉由用戶端器件之使用者觀看的當前檢視區的完整圖像1202a、1202b、1202c至1202n之部分所必需的增強層的圖像之圖像塊。覆蓋當前檢視區之來自基層的完整圖像1203a、1203b、1203c至1203n之圖像塊僅僅經傳輸至用戶端器件並藉由用戶端器件解碼。舉例而言，部分圖像1205a、1205b、1205c至1205n包括為解碼對應於藉由用戶端器件之使用者觀看的當前檢視區的完整圖像1203a、1203b、1203c至1203n之部分所必需的基層的圖像之圖像塊。 如圖12中所示，時間框間預測可經執行以使用部分圖像1204a、1204b、1204c至1204n中之一或多者作為參考圖像來解碼部分圖像1204a、1204b、1204c至1204n。時間框間預測亦可經執行以使用部分圖像1205a、1205b、1205c至1203n中之一或多者作為參考圖像來解碼基層之部分圖像1205a、1205b、1205c至1205n。對於使用來自基層之部分圖像1205a、1205b、1205c至1205n中之一或多者作為參考圖像來解碼來自增強層之部分圖像1204a、1204b、1204c至1204n，停用層間預測。 圖13為說明基於圖像塊之視訊圖像1302a、1302b至1302n的圖式。圖像1302a、1302b至1302n可包括任何數目個圖像，且可與視訊檔案內之某一時段相關聯。舉例而言，時段可包括電影檔案之分鐘3:00至分鐘10:00。圖像1302a、1302b至1302n可為基層(例如，SMPD#2中)之部分或增強層(例如，SLPD#1、SLPD#2、SMPD#1或SMPD#2中之任一者中)之部分。圖像1302a、1302b至1302n中之圖像塊為運動受限制圖像塊，以使得層中之所有圖像具有相同圖像塊結構。在此等狀況下，圖像塊跨越位元串流之給定層的所有圖框具有相同位置。舉例而言，如所示，每一圖像塊跨越不同圖像1302a、1302b至1302n具有指定位置。在一個實例中，第一圖像塊在1302a、1302b至1302n中具有(0, 0)之位置。在一些狀況下，圖像塊可經編號，諸如圖像塊編號0至23、圖像塊編號1至24，或其他合適編號。如圖13中所示，圖像塊彼此不重疊。 時間框間預測可以基於圖像塊之方式執行。舉例而言，在圖像中之特定位置處的運動受限制圖像塊可僅使用在其他圖像中之相同位置處的一或多個圖像塊來寫碼。特定圖像塊位置內的參考圖像之區域僅可用以編碼或解碼在當前圖像中之彼位置處的圖像塊。舉例而言，在圖像1302a、1302b至1302n中之位置(0, 0)處的圖像塊可僅使用在其他圖像中之位置(0, 0)處的其他圖像塊作為用於框間預測之參考。使用此技術，即使當圖像塊之僅僅一部分被傳輸至用戶端器件以用於解碼及再現特定檢視區時，參考圖像塊仍將係可用的。 與最感興趣區域相關之資訊的產生及使用亦可用以增強360度視訊系統。與最感興趣區域相關的資訊之產生及發信可藉由服務或內容提供者基於使用者統計使用使用者提供之輸入或使用其他合適技術來執行。在一些實例中，內容之創建者(例如，導演、生產者、作者或其類似者)可定義視訊中之最感興趣區域。在一些實例中，最感興趣區域可使用已經請求及/或當經由串流服務提供某一360度(或VR)視訊內容時藉由使用者見到最多的區域之統計來判定。360度視訊圖像中之最感興趣區域可包括統計上最可能在圖像之呈現時間向使用者再現的區域中之一者。 關於最感興趣區域之資訊可用於各種360度視訊效能改良目的。舉例而言，最感興趣區域資訊可用於藉由邊緣伺服器或用戶端在360度視訊自適應串流化中的資料預提取。在另一實例中，當VR視訊經轉碼(例如，至不同編解碼器、至不同投影映射，或其他轉碼操作)時，最感興趣區域資訊可用於轉碼最佳化。在其他實例中，最感興趣區域資訊可用於藉由邊緣伺服器或快取記憶體進行之快取記憶體管理、藉由360度視訊串流伺服器進行之內容管理，或其他用途。在一些狀況下，最感興趣區域之發信可(例如)藉由使用視訊位元串流中之SEI訊息、媒體檔案中之檔案格式樣本群組，或經由HTTP之動態自適應串流(DASH)媒體呈現描述(MPD)元素或屬性，使用樣本群組而執行。 當執行檢視區相關視訊寫碼及上文所描述之最感興趣區域技術時碰到各種問題。在一些狀況下，存在關於DASH發信(或其他基於串流傳輸之發信)以支援360度(或VR)視訊之部分解碼的問題。舉例而言，當前不存在用以描述使用如ISO/IEC 14496-15條款10中所定義之圖像塊播放軌在ISOBMFF中儲存的視訊之媒體呈現描述(MPD)中之DASH內容的發信機制。當360度(或VR)視訊圖像經寫碼成多個圖像塊且每一圖像塊經囊封至一個DASH表示中時，不存在用以使含有組成完整360度視訊圖像的圖像塊之所有表示相關的機制。 在一些狀況下，亦存在關於最感興趣區域之當前DASH發信(或其他基於串流傳輸之發信)的問題。舉例而言，用於關於360度(或VR)視訊之最感興趣的區域之資訊的發信的現有設計具有問題，以使得無機制可用於確保關於360度視訊之最感興趣區域的資訊可在資訊所關於的視訊圖像被接收到之前藉由自適應串流傳輸用戶端或邊緣伺服器接收。為達成此，如下文更詳細地描述，最感興趣區域資訊可在MPD(或其他合適檔案)中發信，以使得DASH用戶端(或其他基於串流傳輸之用戶端)可預先接收區域資訊。用戶端可剖析MPD(或其他檔案)中之資訊，且在進行向串流傳輸伺服器請求哪一資訊的決策時使用最感興趣區域資訊。 本文中描述用於提供用於檢視區相關視訊寫碼的資訊及/用於360度視訊中之一或多個最感興趣的區域的資訊之進階發信的系統和方法。舉例而言，與VR視訊之最感興趣區域相關的資訊可在資訊所相關的視訊圖像之前藉由自適應串流傳輸用戶端或邊緣伺服器接收。本文中所描述方法中之一或多者可經獨立地或結合其他方法而應用。 在一些實例中，為支援DASH中(以及其他基於串流傳輸系統中，諸如HTTP實時串流傳輸(HLS))之基於圖像塊之檢視區相關部分360度視訊編碼及解碼方案，媒體檔案可經產生以包括與基於圖像塊之檢視區相關部分360度視訊內容相關的資訊。媒體檔案可包括任何合適之串流傳輸媒體檔案，諸如用於DASH內容之媒體呈現描述(MPD)。檔案可包括用於其他基於串流傳輸之系統的任何其他合適之檔案，諸如用於HLS系統之一或多個播放清單檔案。 如上文所描述，檢視區相關視訊寫碼內容可藉由將視訊串流之圖像分成運動受限制圖像塊而編碼。在一些狀況下，視訊內容之增強層的圖像可分成圖像塊。在一些狀況下，視訊內容之基層的圖像亦可分成圖像塊。視訊內容可包括電影、電視節目、家庭視訊或任何其他合適之視訊內容。顯示正藉由用戶端器件再現之當前檢視區所需要的圖像之圖像塊僅僅可經提供至用戶端器件。 在一些實例中，圖像塊表示可經產生以包括於媒體檔案中。舉例而言，攜載運動受限制圖像塊之每一播放軌可經囊封至一個DASH表示中。此DASH表示稱為圖像塊表示。舉例而言，視訊可使用如ISO/IEC 14496-15條款10中所定義之圖像塊播放軌儲存於ISO基本媒體格式檔案(ISOBMFF)中。舉例而言，如上文所論述經編碼之視訊位元流可使用ISOBMFF、自ISOBMFF導出之檔案格式、某其他檔案格式及/或包括ISOBMFF之檔案格式的組合來寫入或封裝至一或多個檔案中。檔案可使用視訊播放器器件播放，可經傳輸且接著經顯示，及/或被儲存。舉例而言，檔案可使用DASH發信，或其他基於串流傳輸之發信而發信。 圖14包括含有根據ISOBMFF格式化之用於視訊呈現之資料及後設資料的ISO基本媒體檔案1400之實例。ISOBMFF經設計而以靈活且可擴展格式含有計時媒體資訊，該計時媒體資訊促進媒體之互換、管理、編輯及呈現。媒體之呈現對於含有呈現之系統可為「本端的」，或呈現可係經由網路或其他串流遞送機制。 如ISOBMFF規範中所定義之「呈現」為圖像序列，其常常由於由視訊捕捉器件依序捕捉而相關或由於某其他原因而相關。本文中，呈現亦可被稱作電影或視訊呈現。在一些狀況下，呈現可包括音訊。單一呈現可含於一或多個檔案中，其中一個檔案含有用於整個呈現之後設資料。後設資料包括資訊，諸如時序及成框資料、描述符、指標、參數，及描述呈現之其他資訊。後設資料自身並不包括視訊及/或音訊資料。除含有後設資料之檔案以外的檔案無需根據ISOBMFF而格式化，且僅僅需要經格式化以使得此等檔案可藉由後設資料參考。 ISO基本媒體檔案之檔案結構為物件定向式結構，且檔案中之個別物件之結構可直接自物件之類型來推斷。ISOBMFF規範將ISO基本媒體檔案中之物件稱作「框」。ISO基本媒體檔案經構造為框之序列，其可含有其他框。框大體包括提供框之大小及類型的標頭。大小描述框之整個大小，包括標頭、欄位及含有於框內之所有框。播放器器件不能識別之類型的框通常被忽略並跳過。 如藉由圖14之實例所說明，在檔案之頂部層級，ISO基本媒體檔案1400可包括檔案類型框1410、電影框1420及一或多個電影片段框1430a至1430n。可在此層級處包括但未在此實例中表示的其他框包括自由空間框、後設資料框及媒體資料框外加其他。 檔案類型框1410可藉由框類型「ftyp」識別。檔案類型框1410識別最適合於剖析檔案之ISOBMFF規範。「最」在此情況下意謂，ISO基本媒體檔案1400可能已根據特定ISOBMFF規範格式化，但很可能與規範之其他反覆相容。此最合適規範被稱作主流品牌。播放器器件可使用主流品牌來判定器件是否能夠解碼並顯示檔案之內容。檔案類型框1410亦可包括版本號，該版本號可用以指示ISOBMFF規範之版本。檔案類型框1410亦可包括相容品牌之清單，該清單包括檔案相容之其他品牌的清單。ISO基本媒體檔案可與大於一個主流品牌相容。 當ISO基本媒體檔案1400包括檔案類型框1410時，存在僅一個檔案類型框。ISO基本媒體檔案1400可省略檔案類型框1410以便與其他早期播放器器件相容。當ISO基本媒體檔案1400不包括檔案類型框1410時，播放器器件可假定預設主流品牌(例如「mp41」)、次要版本(例如，「0」)及相容品牌(例如，「mp41」)。檔案類型框1410通常儘可能早地置放於ISO基本媒體檔案1400中。 ISO基本媒體檔案可進一步包括電影框1420，其可含有後設資料以供呈現。電影框1420係藉由框類型「moov」識別。ISO/IEC 14496-12規定，含於一個檔案抑或多個檔案中之呈現可包括僅一個電影框1420。頻繁地，電影框1420靠近ISO基本媒體檔案之開始。電影框1420包括電影標頭框1422，且可包括一或多個播放軌框1424以及其他框。 藉由框類型「mvhd」識別之電影標頭框1422可包括與媒體無關且與作為整體之呈現相關的資訊。舉例而言，電影標頭框1422可包括資訊，諸如創建時間、修改時間、時間標度及/或針對呈現之持續時間外加其他。電影標頭框1422亦可包括識別呈現中之下一播放軌的識別符。舉例而言，在所說明之實例中，識別符可指向由電影框1420含有之播放軌框1424。 藉由框類型「trak」識別之播放軌框1424可含有用於呈現之播放軌的資訊。呈現可包括一或多個播放軌，其中每一播放軌獨立於呈現中之其他播放軌。每一播放軌可包括對於播放軌中之內容特定之時間及空間資訊，且每一播放軌可與媒體框相關聯。播放軌中之資料可為媒體資料，在此狀況下，播放軌為媒體播放軌；或資料可為用於串流傳輸協定之封包化資訊，在此狀況下，播放軌為提示播放軌。舉例而言，媒體資料包括視訊及音訊資料。在所說明之實例中，實例播放軌框1424包括播放軌標頭框1424a及媒體框1424b。播放軌框可包括其他框，諸如播放軌參考框、播放軌群組框、編輯框、使用者資料框、後設框及其他框。 由框類型「tkhd」識別之播放軌標頭框1424a可指定含於播放軌框1424中之播放軌的特性。舉例而言，播放軌標頭框1424a可包括播放軌之創建時間、修改時間、持續時間、播放軌識別符、層識別符、群組識別符、音量、寬度及/或高度，外加其他。對於媒體播放軌，播放軌標頭框1424a可進一步識別播放軌是否經啟用，播放軌是否應作為呈現之部分而播放，或播放軌是否可用以預覽呈現，外加其他。播放軌之呈現通常假定為處於呈現之開始處。播放軌框1424可包括此處未說明之編輯清單框，該編輯清單框可包括顯式時刻表圖。時刻表圖可指定播放軌之偏移時間外加其他，其中偏移指示在呈現開始之後播放軌之開始時間。 在所說明之實例中，播放軌框1424亦包括由框類型「mdia」識別之媒體框1424b。媒體框1424b可含有物件及關於播放軌中之媒體資料之資訊。舉例而言，媒體框1424b可含有處置程式參考框，其可識別播放軌之媒體類型以及藉以呈現播放軌中之媒體之處理程序。作為另一實例，媒體框1424b可含有媒體資訊框，其可指定播放軌中媒體的特性。媒體資訊框可進一步包括樣本表，其中每一樣本描述包括(例如)用於樣本之資料之位置的媒體資料(例如，視訊或音訊資料)之塊。樣本之資料儲存於下文進一步論述之媒體資料框中。如同大部分其他框一般，媒體框1424b亦可包括媒體標頭框。 在所說明之實例中，實例ISO基本媒體檔案1400亦包括呈現之多個片段1430a、1430b、1430c、1430n。片段1430a、1430b、1403c、1430n並非為ISOBMFF框，而是描述電影片段框1432及藉由電影片段框1432參考之媒體資料框1438。電影片段框1432及媒體資料框1438為頂部層級框，但此處分組在一起以指示電影片段框1432與媒體資料框1438之間的關係。 藉由框類型「moof」識別之電影片段框1432可藉由包括將以其他方式儲存於電影框1420中之額外資訊而擴展呈現。使用電影片段框1432，呈現可經遞增地建置。電影片段框1432可包括電影片段標頭框1434及播放軌片段框1436以及此處未說明之其他框。 藉由框類型「mfhd」識別之電影片段標頭框1434可包括序號。播放器器件可使用序號來驗證片段1430a包括資料之下一段以供呈現。在一些狀況下，檔案之內容或用於呈現之檔案可無序地被提供至播放器器件。舉例而言，網路封包可以不同於最初傳輸封包之次序的次序頻繁地到達。在此等狀況下，序號可輔助播放器器件判定片段之正確次序。 電影片段框1432亦可包括藉由框類型「traf」識別之一或多個播放軌片段框1436。電影片段框1432可包括一組播放軌片段(每播放軌零或多個)。播放軌片段可含有零或多個播放軌行程，其中之每一者描述播放軌的樣本之連續行程。除添加樣本至播放軌外，播放軌片段可用以將空的時間添加至播放軌。 藉由框類型「mdat」識別之媒體資料框1438含有媒體資料。在視訊播放軌中，媒體資料框1438將含有視訊圖框。媒體資料框可替代地或另外地包括音訊資料。呈現可包括含於一或多個個別檔案中之零或多個媒體資料框。媒體資料藉由後設資料描述。在所說明之實例中，媒體資料框1438中之媒體資料可藉由包括於播放軌片段框1436中之後設資料描述。在其他實例中，媒體資料框中之媒體資料可藉由電影框1420中之後設資料來描述。後設資料可藉由在檔案1400內之絕對偏移參考特定媒體資料，以使得媒體資料標頭及/或媒體資料框1438內之自由空間可被跳過。 ISO基本媒體檔案1400中之其他片段1430b、1430c、1430n可含有類似於針對第一片段1430a說明之彼等的框，及/或可含有其他框。 除支援媒體之本端播放外，ISOBMFF包括對經由網路串流傳輸媒體資料的支援。包括一個電影呈現之檔案可包括稱為提示播放軌之額外播放軌，其含有可輔助串流傳輸伺服器形成並傳輸檔案作為封包的指令。舉例而言，此等指令可包括供伺服器發送之資料(例如標頭資訊)或對媒體資料之片段的參考。檔案可包括用於不同串流傳輸協定之獨立提示播放軌。提示播放軌亦可在不需要重新格式化檔案之情況下添加至檔案。 如先前所描述，一種用於串流傳輸媒體資料之方法為DASH，其為使用習知HTTP網頁伺服器實現媒體內容之高品質串流傳輸的自適應位元速率串流傳輸技術。DASH藉由將媒體內容打斷成一系列基於HTTP之小檔案片段來操作，其中每一片段含有短時間間隔之內容。使用DASH，伺服器可以不同位元速率提供媒體內容。播放媒體之用戶端器件可在下載下一片段時在替代位元速率當中選擇(例如，媒體內容項之替代表示，諸如電影、節目或其他媒體內容項)，且因此可適應於變化之網路條件。DASH使用網際網路之HTTP網頁伺服器基礎架構來經由全球資訊網遞送內容。DASH與用以編碼及解碼媒體內容之編解碼器無關，且因此可運用編解碼器(諸如H.264及HEVC)以及當前可用或在未來可用的其他編解碼器來操作。 ISOBMFF說明書指定適用於DASH之6種類型串流存取點(SAP)。前兩種SAP類型(類型1及2)對應於H.264/AVC及HEVC中之瞬時解碼再新(IDR)圖像。舉例而言，IDR圖像為圖像內(I圖像)圖像，其在解碼器處完全再新或重新初始化解碼程序且開始新的經寫碼視訊序列。在一些實例中，IDR圖像及按解碼次序在IDR圖像之後的任何圖像不可取決於按解碼次序在IDR圖像之前出現的任何圖像。 第三SAP類型(類型3)對應於開放GOP(圖像群組)隨機存取點，因此對應於HEVC中之斷鏈存取(BLA)或清潔隨機存取(CRA)圖像。舉例而言，CRA圖像亦為I圖像。CRA圖像可能並不再新解碼器，且可能不開始新CVS，從而允許CRA圖像之前置圖像取決於按解碼次序在CRA圖像之前出現的圖像。隨機存取可藉由解碼以下各者在CRA圖像處進行：CRA圖像、並不取決於按解碼次序在CRA圖像之前出現之任何圖像的與CRA圖像相關聯之前置圖像，及按解碼次序及輸出次序兩者在CRA之後的所有相關聯圖像。在一些狀況下，CRA圖像可能並不具有相關聯前置圖像。在一些實施例中，在多層狀況下，屬於具有大於0之層ID之層的IDR或CRA圖像可為P圖像或B圖像，但此等圖像可僅使用來自屬於與IDR或CRA圖像相同之存取單元且具有小於含有IDR或CRA圖像之層的層ID的其他圖像之層間預測。 第四種SAP類型(類型4)對應於漸次性解碼再新(GDR)隨機存取點。 如上文所提及，稱為圖像塊表示之表示(例如，DASH表示)可經產生以用於包括於媒體檔案中(例如，在MPD中)以囊封攜載視訊圖像之運動受限制圖像塊的播放軌。舉例而言，ISOBMFF播放軌可藉由圖像塊表示囊封。播放軌可包括在360度視訊串流之圖像中的特定圖像塊位置處的圖像塊之群組。在一個說明性實例中，參看圖13，可產生總共24個圖像塊表示，其中一個圖像塊表示經產生用於每一圖像塊位置。舉例而言，檔案中之一個圖像塊表示可包括一包括在位元串流之層的圖像群組中之位置(1, 0)處的所有圖像塊的播放軌，且另一圖像塊表示可包括一包括在圖像群組中之位置(1, 1)處的所有圖像塊的播放軌。 亦可產生用於媒體檔案之調適集合。用於不同品質(例如解析度、位元速率、圖框速率或其組合，諸如與不同層相關聯的彼等品質)並攜載不同區域之視訊位元串流的所有表示可包括於一個調適集合中。舉例而言，調適集合可包括在不同品質(例如，不同層)處並攜載不同檢視區的360度視訊串流之表示。調適集合中之表示可包括包括一或多個增強層之運動受限制圖像塊之圖像塊表示。當基層並未分成圖像塊時，調適集合中之表示亦可包括基層之整個圖像。當基層分成圖像塊時，調適集合可包括包括基層之圖像的運動受限制圖像塊的圖像塊表示。 在含有不同品質之圖像塊表示之集合的調適集合中，對於由多個圖像塊表示表示的每一品質，可定義與完整VR視訊圖像相關聯之一個DASH表示。此DASH表示稱為圖像塊基本表示。舉例而言，圖像塊基本表示可經產生用於調適集合中之每一品質(例如，每一不同層)以用於包括於媒體檔案中。圖像塊基本表示可囊封給定層(具有某一解析度、位元速率、品質或其組合)的圖像中之所有運動受限制圖像塊。 圖15為說明MPD 1501之實例的圖式。MPD 1501包括在媒體檔案(例如，電影檔案、遊戲檔案或其他類型之媒體檔案)中的在每一經定義時段持續時間中的調適集合。舉例而言，在第一時段持續時間1中產生調適集合1 1502，在第二時段持續時間2中產生調適集合2 1520，等，直至在時段持續時間n中產生調適集合n。n之值可為任一非負整數值。時段持續時間可包括時間時段、位元組之時段或其他合適時段持續時間。 調適集合1 1502經產生以包括兩個圖像塊基本表示1503及1504。在基層之圖像分成圖像塊的情況下，圖像塊基本表示1504可包括來自基層之圖像的圖像塊之圖像塊表示。在其他狀況下，當基層之圖像未被分成圖像塊時，圖像塊基本表示1504可包括包括來自最低品質增強層之圖像之圖像塊的圖像塊表示。在此等狀況下，當基層圖像未分成圖像塊時，調適集合1 1502亦包括單一表示(未展示)，該單一表示包括歷時時段持續時間1之基層之圖像。圖像塊基本表示1503可包括來自增強層之圖像之圖像塊的圖像塊表示。其他表示(例如，圖像塊基本表示或其他合適表示)亦可包括於調適集合1 1502中。舉例而言，額外圖像塊基本表示可基於可供用於視訊內容的具有不同品質(例如，解析度、圖框速率或其類似者)之數個增強層而產生用於調適集合1 1502。 如圖15中所示，圖像塊基本表示1503包括圖像塊表示0 1507、圖像塊表示1 1509至圖像塊表示n 1511。每一圖像塊表示囊封攜載在視訊檔案之某一時段中的特定位置處之運動受限制圖像塊的播放軌。時段可包括時間時段，諸如電影檔案之前五分鐘。在一個實例中，參看圖13，圖像塊表示0 1507可包括視訊檔案之時段中在圖像1302a、1302b至1302n中之位置(0, 0)處的所有圖像塊，圖像塊表示1 1509可包括視訊檔案之時段中在位置(0, 1)處的所有圖像塊，且圖像塊表示n 1511可包括視訊檔案之時段中在位置(5, 3)處的所有圖像塊。在圖13中所示之實例中，圖像塊基本表示1503亦可包括用於圖像1302a、1302b至1302n中之其他圖像塊位置的21個其他圖像塊表示。 圖像塊基本表示1504包括圖像塊表示0 1508、圖像塊表示1 1510至圖像塊表示n 1512。類似於圖像塊基本表示1503之圖像塊表示，圖像塊基本表示1504中之每一圖像塊表示囊封攜載視訊檔案之某一時段中特定位置處之運動受限制圖像塊的播放軌。 圖像塊基本表示1503及1504亦分別包括標頭資訊1505及1506。標頭資訊1505(例如)可包括元素、描述符或其類似者，其中資訊與圖像塊表示0 1507、圖像塊表示1 1509至圖像塊表示n 1511有關。在一個說明性實例中，標頭資訊1505可包括指示播放軌或其他視訊資料定位於視訊檔案中之何處的時序或位元組偏移資訊。 在一些實例中，資料可經產生以用於包括於媒體檔案中(例如，MPD 1501中)，其可係關於圖像塊基本表示及/或個別圖像塊表示。舉例而言，對於圖像塊基本表示，360度視訊特定後設資料(或VR特定後設資料)可經產生並包括於媒體檔案中。當存在時，後設資料適用於視訊之特定部分(例如，某一持續時間)中之每一完整360度視訊圖像。舉例而言，EssentialProperty元素可經呈現以描述關於投影類型、視角或FOV方向、逐區域映射或其他資訊的資訊。投影類型指示將球體空間中之像素(或pel)投影至二維(2D)圖像之方法。投影類型之實例可包括立方體貼圖投影、截短方錐投影及/或其他類型之投影。視角(或FOV)方向資訊可指示為關注焦點之球體(亦即，球體區域之子集)內的區域之方向。視角(或FOV)方向資訊亦可經定義為投影至圖像之2D區域的球體內的區域之方向。逐區域映射資訊包括2D圖像上之投影如何配置的映射。舉例而言，對於立方體貼圖投影，立方體之6面可經配置於不同配置中，諸如3×2映射(3行、2列)、4×3映射(4行(其中第一行中具有3個立方體面)，及3列(其中中間列中具有4個立方體面))，或任何其他合適之映射配置。 在一些實例中，元素亦可經產生用於圖像塊基本表示，其指示表示之類型及圖像塊基本表示之內容。舉例而言，SupplementalProperty元素可經呈現以指示表示為圖像塊基本表示，且可包括含有對應於藉由圖像塊基本表示囊封之運動受限制圖像塊的圖像塊表示之全部之清單的值。舉例而言，圖像塊基本表示的SupplementalProperty元素之值可含有其圖像塊表示之表示識別符(ID)之清單。在一些狀況下，可使SupplementalProperty元素為必選以使得該元素應包括於用於圖像塊基本表示之MPD中。 圖16為說明用於圖像塊基本表示的SupplementalProperty元素(或描述符)之@值之實例的圖表。圖像塊基本表示之SupplementalProperty描述符具有等於「urn:mpeg:dash:tilebaserep:2017」之@schemeIdUri，其指示該表示為圖像塊基本表示。如圖16中展示之圖表所定義，SupplementalProperty之@值提供非負整數之空格符分開的清單，該等非負整數提供形成每一完整360度視訊圖像之圖像塊表示的表示ID。 亦對於圖像塊基本表示，當上文所描述之SLPD#1或SLPD#2方法中之任一者被執行時，值@dependencyId可經適當設定以指向其相關表示。dependencyId係指在當前表示可被處置(例如，解碼)之前需要被處置(例如，解碼)的表示之識別符(Id)。舉例而言，用於第一表示之dependencyId可為由用於層間預測之第一表示使用的第二表示之Id。在一個說明性實例中，若基層係在表示1中且增強層為表示2，則表示2具有其中dependencyId等於1之相關性。應注意SLPD#1及SLPD#2中之相關表示(基層)並非為圖像塊基本表示。在一些狀況下，可使得值@dependencyId經設定以指向其相關表示為必選。 對於圖像塊表示，可存在360度視訊(或VR)特定後設資料。當存在時，後設資料適用於360度視訊圖像中之由圖像塊覆蓋的區域。舉例而言，EssentialProperty元素可經呈現以描述關於投影類型、FOV方向、區域資訊或與由圖像塊覆蓋的區域相關之其他資訊的資訊。區域資訊可包括逐區域之資訊、最感興趣區域資訊或其他合適資訊。 在一些實例中，元素亦可經產生用於指示表示之類型及360度視訊圖像中的對應圖像塊之位置的圖像塊表示。舉例而言，SupplementalProperty元素可經呈現以指示表示為圖像塊表示，且可包括含有界定圖像塊表示中之圖像塊之位置的一或多個偏移的值。舉例而言，圖像塊表示之SupplementalProperty元素之值可含有描述完整360度視訊圖像中之圖像塊之位置的偏移(例如，左上偏移)。在一些狀況下，可使得SupplementalProperty元素為必選，以使得元素應包括於用於圖像塊表示之MPD中。偏移可指示圖像塊中之最左上方拐角(例如，像素)自整個圖像中之最左上方拐角(例如，像素)的偏移。 圖17為說明用於圖像塊基本表示的SupplementalProperty元素(或描述符)之@值之實例的圖表。圖像塊表示之SupplementalProperty描述符具有等於「urn:mpeg:dash:tilerep:2017」之指示表示為圖像塊表示的@schemeIdUri。SupplementalProperty之@值為在圖17中展示之圖表中指定的值之逗號分開之清單。舉例而言，tile_hor_offset參數提供指示相對於完整360度視訊圖像(或VR圖像)之左上拐角的圖像塊之左上方拐角的水平座標(例如，以明度樣本、色度樣本或其他合適量測值計)之非負整數。tile_ver_offset參數提供指示相對於完整360度視訊圖像之左上拐角的圖像塊之左上方拐角的垂直座標(例如，以明度樣本、色度樣本或其他合適量測值計)之非負整數。 當上文所描述的SLPD#1或SLPD#2方法中之任一者被執行時，及當圖像塊表示並非為最低品質(例如，並非為基層，當執行SLPD#1或SLPD#2時其並未並分成圖像塊)時，值@dependencyId可經適當設定以指向其相關表示。在一些狀況下，可使得值@dependencyId經設定以指向其相關表示為必選。 圖18為說明定義調適集合、圖像塊基本表示及包括於圖像塊基本表示中之多個圖像塊表示的MPD 1800之實例的XML程式碼表示。MPD 1800係用於使用SLPD編碼之視訊。舉例而言，VR視訊(亦表示為360度視訊)係使用具有兩個解析度之HEVC標準(SHVC)的可調式擴展來寫碼。第一解析度係在用於基層之1920×960(像素)處，且第二解析度係在用於增強層之3840×1920處。基層未運用圖像塊寫碼，而增強層係運用十二個運動受限制圖像塊寫碼，每一圖像塊具有960×640之解析度。 如所示，調適集合經定義以包括多個表示，包括具有等於1之表示ID的基層表示、具有等於2之表示ID的圖像塊基本表示，及用於增強層之圖像的十二個運動受限制圖像塊中之每一者的圖像塊表示。圖像塊基本表示之第一圖像塊表示具有等於3之表示ID，第二圖像塊表示具有等於4之表示ID，第三圖像塊表示具有等於5之表示ID，第四圖像塊表示具有等於6之表示ID，第五圖像塊表示具有等於7之表示ID，第六圖像塊表示具有等於8之表示ID，第七圖像塊表示具有等於9之表示ID，第八圖像塊表示具有等於10之表示ID，第九圖像塊表示具有等於11之表示ID，第十圖像塊表示具有等於12之表示ID，第十一圖像塊表示具有等於13之表示ID，且第十二圖像塊表示具有等於14之表示ID。 MPD 1800指示基層具有1920像素之寬度、960像素之高度、60之圖框速率，以及其他特性。EssentialProperty元素1802經提供用於基層。如上文所提及，EssentialProperty元素1802可描述關於投影類型、FOV方向、逐區域映射及/或其他資訊的資訊。舉例而言，此資訊可藉由使用EssentialProperty而含於MPD 1800中，在此狀況下不同schemeIdUri可經定義用於每一資訊類型。在一個說明性實例中，若schemeIdUri「urn:mpeg:dash:360VideoProjection:2017」與投影類型相關聯且「CMP」意謂立方體貼圖投影，則吾人可將關於EssantialProperty元素中之立方體貼圖投影類型的資訊定義如下：＜EssentialProperty schemeIdUri=“urn:mpeg:dash:360VideoProjection:2017” value=”CMP”/＞ EssentialProperty元素1804經提供用於圖像塊基本表示。EssentialProperty元素1804可描述關於投影類型、FOV方向、逐區域映射及/或其他資訊之資訊。SupplementalProperty元素1806亦經提供用於圖像塊基本表示。如所示，SupplementalProperty元素1806具有等於「urn:mpeg:dash:tilebaserep:2017」之@schemeIdUri以向媒體播放器(或其他用戶端器件)指示具有等於2之ID的表示為圖像塊基本表示。SupplementalProperty元素1806之@值將非負整數之空格符分開之清單提供給形成每一完整360度視訊圖像的圖像塊表示之表示ID。舉例而言，如所示，值包括對應於來自增強層之圖像之十二個圖像塊表示的表示ID{3 4 5 6 7 8 9 10 11 12 13 14}。圖像塊基本表示之dependencyId設定成1，其指示基層可用於對增強層之圖像進行層間預測。舉例而言，具有Id=「1」之表示為含有基層之表示。具有Id=「2」之表示為覆蓋具有Id 3至14之表示的圖像塊基本表示。具有Id 3至14之表示為含有增強層之圖像塊的表示。具有Id 3至14之所有表示具有對基層之依賴性，基層為具有id=「1」之表示，此係具有Id 3至14之表示具有dependencyId=「1」的原因。 EssentialProperty元素亦經提供用於圖像塊表示中之每一者。舉例而言，EssentialProperty元素1808經提供用於具有等於3之表示ID的圖像塊表示。EssentialProperty元素1808可描述關於投影類型、FOV方向、區域資訊及/或與圖像塊表示有關的其他資訊的資訊。SupplementalProperty元素1810亦經提供用於具有等於3之表示ID的圖像塊表示。SupplementalProperty元素1810具有等於「urn:mpeg:dash:tilerep:2017」之@schemeIdUri以向媒體播放器指示具有等於3之ID的表示為圖像塊表示。其他圖像塊表示(ID 4至14)亦具有等於「urn:mpeg:dash:tilerep:2017」之@schemeIdUri。圖像塊表示中的每一者之dependencyId設定成1，其指示基層可用於對增強層之圖像進行層間預測。 用於具有等於3之表示ID的圖像塊基本表示之SupplementalProperty元素1810的@值含有增強層之360度視訊圖像中之圖像塊的左(或水平)偏移及上(或垂直)偏移。如所示，用於第一圖像塊之左偏移及上偏移為0, 0，其指示圖像塊為圖像中之最上方及最左方圖像塊(類似於圖13中之位置(0, 0)處的圖像塊)。其他圖像塊表示(ID 4至14)亦具有等於圖像塊表示中之圖像塊之各別偏移的各別SupplementalProperty元素之@值。作為一個實例，用於具有等於4之表示ID的圖像塊基本表示之SupplementalProperty元素的@值含有等於960之左偏移，及等於0之上偏移，其指示圖像塊係在上部列中且為來自圖像中之左方的第二圖像塊(類似於圖13中之位置(0, 1)處的圖像塊)。偏移可指示圖像塊中之最左上方拐角(例如，像素)自整個圖像中最左上方拐角(例如，像素)的偏移。 如前所提及，最感興趣區域可經產生並用以增強360度視訊系統。在一些狀況下，最感興趣區域可使用已經請求及/或當經由串流服務提供某一360度視訊內容時藉由使用者見到最多的區域之統計來判定。舉例而言，360度視訊圖像中之最感興趣區域可包括統計上最可能在圖像之呈現時間向使用者再現的區域(例如，藉由一或多個圖像塊覆蓋)中之一者。在一些狀況下，內容之創建者(例如，導演、生產者、作者或其類似者)可定義視訊中之最感興趣區域。 關於最感興趣的區域之資訊可使用具有等於「urn:mpeg:dash:mir:2017」之@schemeIdUri的SupplementalProperty描述符(或元素)在MPD(或其他合適檔案)中發信。在一些狀況下，最感興趣區域描述符可在其指示調適集合或表示含有360度(或VR)視訊資料時(例如，當調適集合或表示具有360度或VR投影之類型的指示時)呈現於表示層級上。在一些狀況下，最感興趣區域描述符不應存在於僅僅含有360度(或VR)視訊圖像(諸如圖像塊表示)之一部分而非完整360度(或VR)視訊圖像的表示中。換言之，當360度(或VR)視訊圖像經編碼成多個圖像塊且每一圖像塊在一個表示(亦即，圖像塊表示)中時，最感興趣區域描述符可存在於圖像塊基本表示中而非在圖像塊表示之任一者中。 SupplementalProperty描述符之@值為在圖19中展示之圖表中指定的值之逗號分開之清單。如所示，SupplementalProperty描述符之@value包括用於source_id參數、用於mir_hor_offset參數、用於mir_ver_offset參數、用於mir_width參數及用於mir_height參數之值。source_id參數包括十進位表示中之非負整數，提供表示之識別符含有最感興趣區域。mir_hor_offset參數包括指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角之水平座標(例如，以明度樣本、色度樣本或其他合適量測值計)的非負整數。mir_ver_offset參數包括指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角之垂直座標(例如，以明度樣本、色度樣本或其他合適量測值計)的非負整數。mir_width參數包括指示最感興趣區域之寬度(例如，以像素、明度樣本、色度樣本或其類似者計)的非負整數。mir_height參數包括指示最感興趣區域之高度(例如，以像素、明度樣本、色度樣本或其類似者計)的非負整數。 圖20A及圖20B包括說明定義在兩個不同時段持續時間中之兩個調適集合2002及2004的MPD 2000之實例的XML程式碼表示。MPD 1800係用於使用SLPD編碼之視訊。舉例而言，VR視訊(亦表示為360度視訊)係使用具有兩個解析度之HEVC標準(SHVC)的可調式擴展來寫碼。第一解析度係在用於基層之1920×960(像素)處，且第二解析度係在用於增強層之3840×1920處。基層未運用圖像塊寫碼，而增強層係運用十二個運動受限制圖像塊寫碼，每一圖像塊具有960×640之解析度。 MPD 2000中定義之VR視訊具有3分鐘長度且分成兩個時段持續時間(PTOH1MO.000S及PTOH2MO.000S)。在第一時段中，最感興趣區域經定義以具有300×300明度像素之大小，且含於第一圖像塊表示(具有等於3之表示ID)內。在第二時段中，最感興趣區域並不完全含於一個圖像塊表示中，而是含於兩個圖像塊表示(具有等於5及6之表示ID)中。 如圖20A及圖20B中所示，圖像塊基本表示經產生用於每一調適集合。在其他實例中，多個圖像塊基本表示可經產生用於調適集合，如上文所描述。類似於圖18中展示之實例MPD 1800，MPD 2000具有包括於圖像塊基本表示中之每一者中的多個圖像塊表示。MPD 200之每一圖像塊基本表示具有用於最感興趣區域之補充性質元素。參看圖20A，第一圖像塊基本表示至少部分藉由補充性質元素2006而定義用於第一調適集合2002。補充性質元素2008經產生用於第一圖像塊基本表示以指示第一圖像塊基本表示中之在第一時段持續時間中含有最感興趣區域的圖像塊。補充性質元素2008具有等於「urn:mpeg:dash:mir:2017」之@schemeIdUri以向播放器器件(或其他器件)指示元素與最感興趣區域有關。如所示，補充性質元素2008之@值包括值之逗號分開的清單{3, 100, 100, 300, 300}。第一值係用於source_id參數，第二值係用於mir_hor_offset參數，第三值係用於mir_ver_offset參數，第四值係用於mir_width參數，且第五值係用於mir_height參數。 用於source_id參數之值3指示具有等於3之表示ID的圖像塊表示(具有0, 0之偏移)為含有最感興趣區域的圖像塊表示。用於mir_hor_offset參數之值100指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角之水平座標(例如，以明度樣本、色度樣本或其他合適量測值計)為100。用於mir_ver_offset參數之值100指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角的垂直座標(例如，以明度樣本、色度樣本或其他合適量測值計)為100。用於mir_width參數之值300指示最感興趣之區域之寬度為300個樣本(例如，以像素、明度樣本、色度樣本或其類似者計)，且用於mir_height參數之值300指示最感興趣之區域的高度為300個樣本。 如圖20B中所示，第二圖像塊基本表示至少部分藉由補充性質元素2010而定義用於第二調適集合2004。兩個補充性質元素2012及2014經產生用於第二圖像塊基本表示以指示第二圖像塊基本表示中之兩個圖像塊在第二時段持續時間中含有最感興趣之區域。在此狀況下，由第二圖像塊基本表示中定義之最感興趣之區域含於兩個圖像塊內。補充性質元素2012及補充性質元素2014兩者具有等於「urn:mpeg:dash:mir:2017」的@schemeIdUri以向播放器器件(或其他器件)指示該等元素與圖像塊基本表示之最感興趣之區域相關。 補充性質元素2012之@值包括逗號分開之值的清單{5, 2730, 100, 150, 300}，其描述在具有等於5之表示ID的第一圖像塊中的最感興趣之區域的部分之參數。補充性質元素2014之@值包括不同逗號分開之值的清單{6, 2880, 100, 150, 250}，其描述在具有等於6之表示ID的第二圖像塊中的最感興趣之區域的部分之參數。 用於補充性質元素2012的source_id參數之值5指示具有等於5之表示ID的圖像塊表示(具有1920, 0之偏移)為含有最感興趣之區域之一部分的圖像塊表示。用於mir_hor_offset參數之值2730指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角的水平座標(例如，以明度樣本、色度樣本或其他合適量測值計)係在2730處。用於mir_ver_offset參數之值100指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角的垂直座標(例如，以明度樣本、色度樣本或其他合適量測值計)為100。用於mir_width參數之值150指示在具有圖像塊表示ID=5之圖像塊內的最感興趣之區域的部分之寬度為150個樣本(例如，以像素、明度樣本、色度樣本或其類似者計)，且用於mir_height參數之值300指示在具有圖像塊表示ID=5之圖像塊內的最感興趣之區域的部分之高度為300個樣本。 用於補充性質元素2014之source_id參數的值6指示具有等於6之表示ID之圖像塊表示(具有1920, 0之偏移)為來自含有最感興趣區域之部分的第二圖像塊基本表示之其他圖像塊表示。用於mir_hor_offset參數之值2880指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角的水平座標(例如，以明度樣本、色度樣本或其他合適量測值計)係在2880處。此處應注意，由補充性質元素2014定義之最感興趣區域之部分的左上方拐角的水平座標與圖像塊(在具有ID=6之圖像塊表示中)的左上方拐角之水平偏移相同，其指示最感興趣區域越過具有ID=6之圖像塊表示中的圖像塊之左上方拐角並穿過具有ID=5之圖像塊表示中的圖像塊。 用於補充性質元素2014之mir_ver_offset參數的值100指示最感興趣之區域的左上方拐角相對於完整360度視訊圖像之左上拐角的垂直座標(例如，以明度樣本、色度樣本或其他合適量測值計)為100。用於mir_width參數之值150指示在具有圖像塊表示ID=6之圖像塊內的最感興趣之區域的部分之寬度為150個樣本(例如，以像素、明度樣本、色度樣本或其類似者計)，且用於mir_height參數之值250指示在具有圖像塊表示ID=6之圖像塊內的最感興趣之區域的部分之高度為250個樣本。 圖21為說明使用本文中所描述之技術中之一或多者處理視訊資料的處理程序2100之實例的流程圖。在區塊2102處，處理程序2100包括獲得360度視訊資料。360度視訊資料包括分成複數個運動受限制圖像塊之複數個圖像。在一些狀況下，360度視訊資料包括複數個圖像層，該複數個圖像層包括不同解析度、不同品質或不同圖框速率中之至少一或多者。舉例而言，360度視訊資料可包括至少一個增強層之分成運動受限制圖像塊的圖像，及亦包括基層之未分成運動受限制圖像塊的圖像。在另一實例中，360度視訊資料可包括至少一個增強層之分成運動受限制圖像塊的圖像，及亦包括基層之分成運動受限制圖像塊的圖像。 在區塊2104處，處理程序2100包括使用360度視訊資料產生包括複數個播放軌之媒體檔案。該複數個播放軌中之每一者含有該複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。在一些實例中，媒體檔案包括與自適應串流傳輸格式相關聯的資訊清單檔案。舉例而言，媒體檔案可包括媒體呈現描述(MPD)。在另一實例中，媒體檔案可包括HLS播放清單檔案，或與自適應串流傳輸格式相關聯的任何其他合適之資訊清單檔案。 在區塊2106處，處理程序2100包括產生媒體檔案之第一圖像塊表示。第一圖像塊表示囊封複數個播放軌之第一播放軌。在一些狀況下，第一圖像塊表示包括經由HTTP之動態自適應串流(DASH)表示。第一播放軌包括在360度視訊資料之複數個圖像中的第一圖像塊位置處之複數個運動受限制圖像塊中的至少一者之第一集合。舉例而言，複數個運動受限制圖像塊可在圖13中展示之位置(3, 0)處。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。舉例而言，在第一圖像塊位置處之複數個運動受限制圖像塊中的至少一者之第一集合可經提供至播放器器件以用於再現檢視區之一部分或整個檢視區。在一些狀況下，諸如當檢視區藉由多個圖像塊位置覆蓋時，在圖像中之不同圖像塊位置處的多個圖像塊可經提供至播放器器件以用於再現檢視區。 在一些實例中，處理程序2100包括產生媒體檔案之調適集合。調適集合包括360度視訊資料之對應於不同檢視區的複數個圖像塊表示。在一些狀況下，複數個圖像塊表示對應於不同檢視區且對應於不同解析度、不同品質或不同圖框速率或其任何合適之組合，不同解析度、不同品質或不同圖框速率或其任何合適之組合對應於圖像塊表示為其之一部分的層。圖15中展示調適集合之實例。在一些狀況下，複數個圖像塊表示包括複數個運動受限制圖像塊，且分成複數個運動受限制圖像塊之複數個圖像為至少一個增強層之部分。在此等狀況下，複數個圖像塊表示進一步包括基層之複數個圖像。如上文所提及，在一些實例中，基層之複數個圖像不包括運動受限制圖像塊。在其他實例中，基層之複數個圖像包括運動受限制圖像塊。 在一些實例中，處理程序2100包括產生調適集合。如上文所提及，調適集合包括對應於不同檢視區的圖像塊表示之集合。在此等實例中，處理程序2100亦包括對於至少一個層(其中不同層具有不同解析度、品質及/或不同圖框速率)產生圖像塊基本表示。圖像塊基本表示囊封至少一個層中之圖像的所有運動受限制圖像塊。舉例而言，圖像塊基本表示可經產生用於具有基於圖像塊之經寫碼圖像的位元串流之每一層(對應於特定解析度、品質、圖框速率或其組合)。在圖15中展示具有圖像塊基本表示之調適集合的實例。在一些狀況下，圖像塊基本表示包括DASH表示。 在一些實例中，後設資料經定義用於圖像塊基本表示且適用於來自360度視訊資料之分成複數個運動受限制圖像塊的複數個圖像。後設資料可包括與視訊投影類型、一或多個檢視區方向、圖像之逐區域映射或其任何組合中之至少一或多者相關聯的資訊。在一些狀況下，補充性質元素經定義用於圖像塊基本表示。補充性質元素指示圖像塊基本表示為圖像塊基本表示。舉例而言，如上文所提及，圖像塊基本表示之補充性質元素可具有等於「urn:mpeg:dash:tilebaserep:2017」的@schemeIdUri以指示表示為圖像塊基本表示。在一些狀況下，補充性質元素之值包括識別圖像塊基本表示之複數個圖像塊表示的複數個圖像塊表示識別符之清單。如上文所提及，圖像塊基本表示之圖像塊表示包括完整視訊圖像內的所有圖像塊之圖像塊表示。 在一些實例中，後設資料經定義用於第一圖像塊表示。後設資料適用於360度視訊資料之圖像中之藉由在360度視訊資料之圖像中之第一圖像塊位置處的運動受限制圖像塊(藉由第一圖像塊表示囊封)覆蓋的區域。後設資料可包括與視訊投影類型、一或多個檢視區方向、第一圖像塊表示之區域資訊或其任何組合中之至少一或多者相關聯的資訊。在一些狀況下，補充性質元素經定義用於第一圖像塊表示。補充性質元素指示第一圖像塊表示為圖像塊表示。舉例而言，如上文所提及，圖像塊表示之補充性質元素可具有等於「urn:mpeg:dash:tilerep:2017」的@schemeIdUri以指示表示為圖像塊表示。在一些狀況下，補充性質元素之值包括描述圖像中運動受限制圖像塊之位置的一或多個偏移。一或多個偏移可包括左偏移及上偏移，或用以指示圖像塊相對於整個圖像在何處的任何其他合適之偏移。 在一些實例中，處理程序2100包括產生指示360度視訊資料中之一或多個最感興趣之區域的描述符。在一些狀況下，描述符係在圖像塊基本表示層級上產生，在此狀況下圖像塊基本表示囊封至少一個層中之圖像之所有運動受限制圖像塊，如上文所描述。描述符可包括含有360度視訊資料中之最感興趣之區域的圖像塊表示之識別符。使用圖20A作為實例，補充性質元素2008包括用於source_id參數之值3，指示具有等於3之表示ID的圖像塊表示為含有最感興趣之區域的圖像塊表示。描述符亦可包括指示360度視訊資料之圖像中最感興趣之區域的位置的一或多個偏移。舉例而言，補充性質元素2008包括用於mir_hor_offset參數之值100，其指示最感興趣之區域之左上方拐角相對於完整360度視訊圖像之左上拐角的水平座標為100。補充性質元素2008亦包括用於mir_ver_offset參數之值100，其指示最感興趣之區域之左上方拐角的垂直座標為100。描述符亦可包括指示最感興趣之區域之寬度的寬度參數及指示最感興趣之區域之高度的高度參數。再次參看圖20A，補充性質元素2008包括用於mir_width參數之值300(指示最感興趣之區域之寬度為300個樣本(例如，以像素、明度樣本、色度樣本中或其類似者計))，及用於mir_height參數之值300(其指示最感興趣之區域的高度為300個樣本)。 圖22為說明使用本文中所描述技術中之一或多者處理一或多個視訊檔案的處理程序2200之實例的流程圖。在區塊2202處，處理程序2200包括獲得包括複數個播放軌之媒體檔案。複數個播放軌中之每一者含有表示360度視訊資料的複數個圖像之複數個運動受限制圖像塊中的至少一者之集合。該複數個運動受限制圖像塊中的至少一者之集合對應於360度視訊資料之複數個檢視區中的至少一者。 在區塊2204處，處理程序2200包括處理媒體檔案。媒體檔案包括媒體檔案之第一圖像塊表示。在一些實例中，媒體檔案包括與自適應串流傳輸格式相關聯的資訊清單檔案。舉例而言，媒體檔案可包括媒體呈現描述(MPD)。在另一實例中，媒體檔案可包括HLS播放清單檔案，或與自適應串流傳輸格式相關聯的任何其他合適之資訊清單檔案。第一圖像塊表示囊封複數個播放軌之第一播放軌。在一些狀況下，第一圖像塊表示包括經由HTTP之動態自適應串流(DASH)表示。第一播放軌包括在360度視訊資料之複數個圖像中的第一圖像塊位置處之複數個運動受限制圖像塊中的至少一者之第一集合。舉例而言，複數個運動受限制圖像塊中的至少一者之第一集合可在圖13中展示之位置(3, 2)處。該複數個運動受限制圖像塊中的至少一者之第一集合對應於360度視訊資料之檢視區。舉例而言，在第一圖像塊位置處的複數個運動受限制圖像塊中之至少一者的第一集合可用以再現檢視區之一部分或整個檢視區。在一些狀況下，在圖像中之不同圖像塊位置處的多個圖像塊需要用於再現檢視區。 在一些實例中，媒體檔案包括調適集合。調適集合包括360度視訊資料之對應於不同檢視區的複數個圖像塊表示。在一些狀況下，複數個圖像塊表示對應於不同檢視區且對應於不同解析度、不同品質或不同圖框速率或其任何合適之組合，不同解析度、不同品質或不同圖框速率或其任何合適之組合對應於圖像塊表示為其之一部分的層。圖15中展示調適集合之實例。在一些狀況下，複數個圖像塊表示包括複數個運動受限制圖像塊，且分成複數個運動受限制圖像塊之複數個圖像為至少一個增強層之部分。在此等狀況下，複數個圖像塊表示進一步包括基層之複數個圖像。在一些實例中，基層之複數個圖像不包括運動受限制圖像塊。在其他實例中，基層之複數個圖像包括運動受限制圖像塊。 在一些實例中，媒體檔案包括一包括對應於不同檢視區之圖像塊表示之集合的調適集合。在此等實例中，對於至少一個層(其中不同層具有不同解析度、品質及/或不同圖框速率)，媒體檔案包括囊封至少一個層中之圖像之所有運動受限制圖像塊的圖像塊基本表示。舉例而言，圖像塊基本表示可經產生用於具有基於圖像塊之經寫碼圖像的位元串流之每一層(對應於特定解析度、品質、圖框速率或其組合)。在圖15中展示具有圖像塊基本表示之調適集合的實例。在一些狀況下，圖像塊基本表示包括DASH表示。 在一些實例中，後設資料經定義用於圖像塊基本表示且適用於來自360度視訊資料之分成複數個運動受限制圖像塊的複數個圖像。後設資料可包括與視訊投影類型、一或多個檢視區方向、圖像之逐區域映射或其任何組合中之至少一或多者相關聯的資訊。在一些狀況下，補充性質元素經定義用於圖像塊基本表示。補充性質元素指示圖像塊基本表示為圖像塊基本表示。舉例而言，如上文所提及，圖像塊基本表示之補充性質元素可具有等於「urn:mpeg:dash:tilebaserep:2017」的@schemeIdUri以指示表示為圖像塊基本表示。在一些狀況下，補充性質元素之值包括識別圖像塊基本表示之複數個圖像塊表示的複數個圖像塊表示識別符之清單。如上文所提及，圖像塊基本表示之圖像塊表示包括完整視訊圖像內的所有圖像塊之圖像塊表示。 在一些實例中，後設資料經定義用於第一圖像塊表示。後設資料適用於360度視訊資料之圖像中之藉由在360度視訊資料之圖像中之第一圖像塊位置處的運動受限制圖像塊(藉由第一圖像塊表示囊封)覆蓋的區域。後設資料可包括與視訊投影類型、一或多個檢視區方向、第一圖像塊表示之區域資訊或其任何組合中之至少一或多者相關聯的資訊。在一些狀況下，補充性質元素經定義用於第一圖像塊表示。補充性質元素指示第一圖像塊表示為圖像塊表示。舉例而言，如上文所提及，圖像塊表示之補充性質元素可具有等於「urn:mpeg:dash:tilerep:2017」的@schemeIdUri以指示表示為圖像塊表示。在一些狀況下，補充性質元素之值包括描述圖像中運動受限制圖像塊之位置的一或多個偏移。一或多個偏移可包括左偏移及上偏移，或用以指示圖像塊相對於整個圖像在何處的任何其他合適之偏移。 在一些實例中，媒體檔案包括指示360度視訊資料中之一或多個最感興趣之區域的描述符。在一些狀況下，描述符係在圖像塊基本表示層級上產生，在此狀況下圖像塊基本表示囊封至少一個層中之圖像之所有運動受限制圖像塊，如上文所描述。描述符可包括含有360度視訊資料中之最感興趣之區域的圖像塊表示之識別符。使用圖20B作為實例，補充性質元素2012包括用於source_id參數之值5，其指示具有等於5之表示ID的圖像塊表示為含有最感興趣之區域之一部分的圖像塊表示。描述符亦可包括指示360度視訊資料之圖像中最感興趣之區域的位置的一或多個偏移。舉例而言，補充性質元素2012包括用於mir_hor_offset參數之值2730，其指示最感興趣之區域之左上方拐角相對於完整360度視訊圖像之左上拐角的水平座標為2730。補充性質元素2012亦包括用於mir_ver_offset參數之值100，其指示最感興趣之區域之左上方拐角的垂直座標為100。描述符亦可包括指示最感興趣之區域之寬度的寬度參數及指示最感興趣之區域之高度的高度參數。再次參看圖20B，補充性質元素2012包括用於mir_width參數之值150(指示最感興趣之區域之寬度為150個樣本)，及用於mir_height參數之值300(其指示最感興趣之區域之高度為300個樣本)。 在一些實例中，處理程序2100及2200可藉由計算器件或裝置(諸如，圖1中所展示之系統100)執行。在一些實例中，處理程序2100及2200可藉由檔案產生器件、檔案剖析或處理器件、圖1及圖23中展示之編碼器件104、藉由另一視訊傳輸側器件或視訊傳輸器件、藉由圖1及圖24中展示之解碼器件112及/或藉由另一用戶端側器件(諸如播放器器件、顯示器或任何其他用戶端側器件)執行。在一個實例中，處理程序2100可藉由檔案產生器件、圖1及圖23中展示之編碼器件104及/或藉由另一傳輸側器件或視訊傳輸器件執行。在另一實例中，處理程序2200可藉由檔案剖析或處理器件、圖1及圖24中展示之解碼器件112及/或藉由另一用戶端側器件(諸如播放器器件、顯示器或任何其他用戶端側器件)執行。在一些狀況下，計算器件或裝置可包括處理器、微處理器、微電腦或經組態以實施處理程序1600、1700及1800之步驟的器件之其他組件。在一些實例中，計算器件或裝置可包括經組態以捕捉包括視訊圖框之視訊資料(例如，視訊序列)的攝影機。在一些實例中，捕捉視訊資料之攝影機或其他捕捉器件與計算器件分離，在此狀況下，計算器件接收或獲得所捕捉視訊資料。計算器件可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料或其他類型之資料。在一些實例中，計算器件或裝置可包括用於顯示輸出視訊內容(諸如，視訊位元串流之圖像的樣本)之顯示器。 處理程序2100及2200經說明為邏輯流程圖，其中之操作表示可在硬體、電腦指令或其組合中實施的操作之序列。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上當藉由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、物件、組件、邏輯、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或與實施處理程序並行地組合。 另外，處理程序2100及2200可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可被實施為共同在一或多個處理器上執行之程式碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)、藉由硬體實施或其組合。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。 本文所論述之寫碼技術可實施於實例視訊編碼及解碼系統(例如，系統100)中。在一些實例中，系統包括提供稍後由目的地器件解碼之經編碼視訊資料的源器件。詳言之，源器件經由電腦可讀媒體提供視訊資料至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中之任一者，包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機頂盒、諸如所謂的「智慧型」電話之電話手持機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些狀況下，源器件及目的地器件可經裝備以用於無線通信。 目的地器件可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源器件移動至目的地器件的任何類型之媒體或器件。在一個實例中，電腦可讀媒體可包含通信媒體以使得源器件能夠即時地將經編碼視訊資料直接傳輸至目的地器件。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路，諸如網際網路)的一部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件至目的地器件之通信的任何其他裝備。 在一些實例中，經編碼資料可自輸出介面輸出至儲存器件。類似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件產生之編碼視訊的另一中間儲存器件。目的地器件可經由串流傳輸或下載自儲存器件存取所儲存之視訊資料。實例檔案伺服器可為能夠儲存經編碼視訊資料並將該經編碼視訊資料傳輸至目的地器件的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。來自儲存器件之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸，或其組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在一個實例中，源器件包括視訊源、視訊編碼器及輸出介面。目的地器件可包括輸入介面、視訊解碼器及顯示器件。源器件之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣，目的地器件可與外部顯示器件介接，而非包括整合式顯示器件。 以上實例系統僅為一個實例。用於並行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件來執行。儘管本發明之技術通常由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱為「編解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件及目的地器件僅為此等寫碼器件之實例，其中源器件產生經寫碼視訊資料以供傳輸至目的地器件。在一些實例中，源器件及目的地器件可以大體上對稱之方式操作，使得該等器件中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊器件之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 視訊源可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代方案，視訊源可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源為視訊攝影機，則源器件及目的地器件可形成所謂攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一狀況下，可由視訊編碼器對所捕捉、預先捕捉或電腦產生之視訊進行編碼。經編碼視訊資訊接著可由輸出介面輸出至電腦可讀媒體上。 如所提及，電腦可讀媒體可包括暫時媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源器件接收經編碼視訊資料且(例如)經由網路傳輸提供經編碼視訊資料至目的地器件。類似地，媒體產生設施(諸如光碟衝壓設施)之計算器件可自源器件接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體可理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊(其亦由視訊解碼器使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。已描述本發明之各種實施例。 編碼器件104及解碼器件112之特定細節分別展示於圖23及圖24中。圖23為說明可實施本發明中所描述之技術中之一或多者的實例編碼器件104之方塊圖。編碼器件104可(例如)產生本文中所描述的語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼器件104可執行視訊圖塊內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之鄰近或周圍圖框內之時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中的任一者。 編碼器件104包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測單元46。對於視訊區塊重構，編碼器件104亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如解塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。雖然濾波器單元63在圖23中展示為迴路中濾波器，但在其他組態中，濾波器單元63可經實施為後迴路濾波器。後處理器件57可對由編碼器件104產生之經編碼視訊資料執行額外處理。本發明之技術可在一些情況下由編碼器件104實施。然而，在其他情況下，本發明之技術中之一或多者可由後處理器件57實施。 如圖23中所展示，編碼器件104接收視訊資料，且分割單元35將資料分割成視訊區塊。分割亦可包括(例如)根據LCU及CU之四分樹結構分割成圖塊、圖塊片段、圖像塊或其他較大單元，以及視訊區塊分割。編碼器件104通常說明編碼待編碼之視訊圖塊內的視訊區塊之組件。可將圖塊劃分成多個視訊區塊(且可能劃分成被稱作圖像塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼速率及失真等級，或其類似者)選擇複數個可能寫碼模式中之一者(諸如，複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者)以用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料並提供至求和器62以重構經編碼區塊以用於用作參考圖像。 預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊之框內預測寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。 運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而獨立說明。由運動估計單元42執行之運動估計為產生運動向量之處理程序，該等運動向量估計視訊區塊之運動。運動向量(例如)可指示當前視訊圖框或圖像內之視訊區塊的預測單元(PU)相對於參考圖像內之預測性區塊的移位。 預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，編碼器件104可計算儲存於圖像記憶體64中之參考圖像的子整數像素位置之值。舉例而言，編碼器件104可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由將PU之位置與參考圖像之預測性區塊的位置比較而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於藉由運動估計判定之運動向量提取或產生預測性區塊，可能執行內插達子像素精確度。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼器件104藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯的語法元素以由解碼器件112用於解碼視訊圖塊之視訊區塊。 如上文所描述，作為藉由運動估計單元42及運動補償單元44執行的框間預測之替代方案，框內預測處理單元46可框內預測當前區塊。特定而言，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在獨立編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測處理單元46可自經測試模式中選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始、未編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何情況下，在選擇用於區塊之框內預測模式後，框內預測處理單元46可將指示用於區塊之所選框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。編碼器件104可將各種區塊之編碼上下文之定義以及待用於上下文中之每一者的最可能的框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示包括於經傳輸位元串流組態資料中。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。 在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，編碼器件104藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。 變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元率。量化處理程序可減小與係數中之一些或全部相關聯的位元深度。量化程度可藉由調整量化參數來修改。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。 在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至解碼器件112，或加以存檔以供稍後由解碼器件112傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊圖塊之運動向量及其他語法元素。 反量化單元58及反變換處理單元60分別應用反量化及反變換以重構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重構殘餘區塊，以計算子整數像素值以用於運動估計中。求和器62將經重構殘餘區塊添加至由運動補償單元44所產生之運動補償預測區塊以產生用於儲存於圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。 以此方式，圖23之編碼器件104表示經組態以導出LIC參數、適應性地判定模板之大小及/或適應性地選擇權重的視訊編碼器之實例。如上文所描述，編碼器件104可(例如)導出LIC參數、適應性地判定模板之大小，及/或適應性地選擇權重集合。舉例而言，編碼器件104可執行本文中所描述技術中之任一者，包括上文參看圖21及圖22所描述的處理程序。在一些狀況下，本發明之技術中之一些亦可藉由後處理器件57實施。 圖24為說明實例解碼器件112之方塊圖。解碼器件112包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，解碼器件112可執行大體上可逆於關於來自圖23之編碼器件104所描述之編碼遍次的解碼遍次。 在解碼程序期間，解碼器件112接收表示由編碼器件104發送之經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。在一些實施例中，解碼器件112可自編碼器件104接收經編碼視訊位元串流。在一些實施例中，解碼器件112可自網路實體79(諸如，伺服器、媒體感知網路元件(MANE)、視訊編輯器/編接器或經組態以實施上文所描述之技術中之一或多者的其他此類器件)接收經編碼視訊位元串流。網路實體79可或可不包編碼器件104。在網路實體79將經編碼視訊位元串流傳輸至解碼器件112之前，本發明中所描述之技術中的一些可由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼器件112可為獨立器件之部分，而在其他情況下，關於網路實體79描述之功能性可由包含解碼器件112之同一器件執行。 解碼器件112之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。解碼器件112可接收視訊圖塊層級及/或視訊區塊層級之語法元素。熵解碼單元80可處理並剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。 當將視訊圖塊寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，預測處理單元81之運動補償單元82基於運動向量及自熵解碼單元80接收之其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單內之參考圖像中的一者產生。解碼器件112可基於儲存於圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。 運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素以判定用於寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一框間編碼視訊區塊之運動向量、圖塊之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視訊區塊期間由編碼器件104使用的內插濾波器來計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元82可自所接收語法元素判定由編碼器件104使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。 反量化單元86反量化(或解量化)位元串流中所提供，並由熵解碼單元80解碼的經量化之變換係數。反量化處理程序可包括使用由編碼器件104針對視訊圖塊中之每一視訊區塊計算之量化參數以判定應應用之量化程度(同樣地)及反量化程度。反變換處理單元88將反變換(例如，反DCT或其他合適之反變換)、反整數變換或概念上類似的反變換處理程序應用於變換係數以便在像素域中產生殘餘區塊。 在運動補償單元82基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊後，解碼器件112藉由對來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此求和運算之該或該等組件。若需要，亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器(諸如，解區塊濾波器、適應性迴路濾波器(ALF)及樣本適應性偏移(SAO)濾波器)。儘管濾波器單元91在圖17中展示為迴路中濾波器，但在其他組態中，濾波器單元91可實施為後迴路濾波器。給定圖框或圖像中之經解碼視訊區塊接著儲存於圖像記憶體92中，圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如圖1中展示之視訊目的地器件122)上。 以此方式，圖24之解碼器件112表示經組態以導出LIC參數、適應性地判定模板之大小及/或適應性地選擇權重的視訊解碼器之實例。如上文所描述，解碼器件112可(例如)導出LIC參數、適應性地判定模板之大小，及/或適應性地選擇權重集合。舉例而言，解碼器件112可執行本文中所描述技術中之任一者，包括上文參看圖21及圖22所描述的處理程序。 在前述描述中，參考其特定實施例描述申請案之態樣，但熟習此項技術者將認識到本發明不限於此。因此，儘管申請案之說明性實施例已經在本文中詳細地描述，應理解，本發明概念可以其他方式不同地實施並採用，且意欲解釋所附申請專利範圍以包括除先前技術所限制外的此等變化。上文所描述之發明之各種特徵及態樣可單獨地或聯合地使用。另外，實施例可用於超出本文所描述之彼等環境及應用之任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式被視為說明性而不是限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同之次序來執行該等方法。 在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合之電子電路)以執行操作或其任何組合來實現此組態。 結合本文所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以描述。將此功能性實施為硬體或為軟體視特定應用及強加於整個系統上之設計約束而定。熟習此項技術者可針對每一特定應用以不同之方式實施所描述功能性，但不應將此等實施決策解譯為導致脫離本發明之範疇。 本文中所描述之技術亦可實施於電子硬體、電腦軟體、韌體或其任何組合中。此等技術可實施於多種器件中之任何者中，諸如，通用電腦、無線通信器件手機或具有多種用途(包括在無線通信器件手機及其他器件中之應用)之積體電路器件。可將描述為模組或組件之任何特徵共同實施於整合式邏輯器件中或分開實施為離散但可互操作之邏輯器件。若以軟體實施，則該等技術可至少部分由包含包括當經執行時執行上文所描述方法中之一或多者之指令之程式碼的電腦可讀資料儲存媒體實現。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括包裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及類似者。該等技術另外或替代地可至少部分由電腦可讀通信媒體實現，該電腦可讀通信媒體攜載或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如，傳播之信號或波。 程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路。此處理器可經組態以執行本發明中所描述的技術中之任何者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任何其他此組態。因此，如本文中所使用之術語「處理器」可指前述結構、前述結構之任何組合或適合於實施本文中描述之技術的任何其他結構或裝置中之任一者。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組，或併入於組合之視訊編碼器-解碼器(編碼解碼器)中。
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
57‧‧‧後處理器件
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧圖像記憶體
79‧‧‧網路實體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧圖像記憶體
100‧‧‧系統
102‧‧‧視訊源
104‧‧‧編碼器件
106‧‧‧編碼器引擎
108‧‧‧儲存器
110‧‧‧輸出端
112‧‧‧解碼器件
114‧‧‧輸入端
116‧‧‧解碼器引擎
118‧‧‧儲存器
120‧‧‧通信鏈路
122‧‧‧視訊目的地器件
200‧‧‧視訊圖框
202‧‧‧視訊圖框
300‧‧‧球面投影視訊圖框
302A‧‧‧魚眼影像
302B‧‧‧魚眼影像
400‧‧‧球面投影視訊圖框
420‧‧‧觀看者
500‧‧‧360度視訊圖框
502‧‧‧圓形區域
504‧‧‧拐角
510‧‧‧半球形表示
512‧‧‧中心
514a‧‧‧最上點
514b‧‧‧最下點
514c‧‧‧極右
514d‧‧‧極左
520‧‧‧觀看者
522‧‧‧中心/頂點
524a‧‧‧最上點
524b‧‧‧最下點
524c‧‧‧極右
524d‧‧‧極左
600‧‧‧系統
602‧‧‧伺服器
604‧‧‧用戶端器件
606‧‧‧網路
608‧‧‧串流傳輸應用程式
610‧‧‧請求處理器
620‧‧‧媒體片段檔案
640‧‧‧媒體片段檔案
660‧‧‧描述檔案
701‧‧‧媒體呈現描述(MPD)
702‧‧‧調適集合
703‧‧‧表示
704‧‧‧表示
705‧‧‧標頭資訊
706‧‧‧標頭資訊
707‧‧‧媒體片段
708‧‧‧媒體片段
709‧‧‧媒體片段
710‧‧‧媒體片段
802a‧‧‧完整圖像
802b‧‧‧完整圖像
802c‧‧‧完整圖像
802n‧‧‧完整圖像
804a‧‧‧部分圖像
804b‧‧‧部分圖像
804c‧‧‧部分圖像
804n‧‧‧部分圖像
902a‧‧‧完整圖像
902b‧‧‧完整圖像
902c‧‧‧完整圖像
902n‧‧‧完整圖像
903a‧‧‧完整圖像
903b‧‧‧完整圖像
903c‧‧‧完整圖像
903n‧‧‧完整圖像
904a‧‧‧部分圖像
904b‧‧‧部分圖像
904c‧‧‧部分圖像
904n‧‧‧部分圖像
1002a‧‧‧完整圖像
1002b‧‧‧完整圖像
1002c‧‧‧完整圖像
1002n‧‧‧完整圖像
1003a‧‧‧完整圖像
1003b‧‧‧完整圖像
1003c‧‧‧完整圖像
1003n‧‧‧完整圖像
1004a‧‧‧部分圖像
1004b‧‧‧部分圖像
1004c‧‧‧部分圖像
1004n‧‧‧部分圖像
1102a‧‧‧完整圖像
1102b‧‧‧完整圖像
1102c‧‧‧完整圖像
1102n‧‧‧完整圖像
1103a‧‧‧完整圖像
1103b‧‧‧完整圖像
1103c‧‧‧完整圖像
1103n‧‧‧完整圖像
1104a‧‧‧部分圖像
1104b‧‧‧部分圖像
1104c‧‧‧部分圖像
1104n‧‧‧部分圖像
1202a‧‧‧完整圖像
1202b‧‧‧完整圖像
1202c‧‧‧完整圖像
1202n‧‧‧完整圖像
1203a‧‧‧完整圖像
1203b‧‧‧完整圖像
1203c‧‧‧完整圖像
1203n‧‧‧完整圖像
1204a‧‧‧部分圖像
1204b‧‧‧部分圖像
1204c‧‧‧部分圖像
1204n‧‧‧部分圖像
1205a‧‧‧部分圖像
1205b‧‧‧部分圖像
1205c‧‧‧部分圖像
1205n‧‧‧部分圖像
1302a‧‧‧基於圖像塊之視訊圖像
1302b‧‧‧基於圖像塊之視訊圖像
1302n‧‧‧基於圖像塊之視訊圖像
1400‧‧‧使用國際標準組織(ISO)基本媒體檔案
1410‧‧‧檔案類型框
1420‧‧‧電影框
1422‧‧‧電影標頭框
1424‧‧‧播放軌框
1424a‧‧‧播放軌標頭框
1424b‧‧‧媒體框
1430a‧‧‧電影片段框
1430b‧‧‧電影片段框
1430n‧‧‧電影片段框
1432‧‧‧電影片段框
1434‧‧‧電影片段標頭框
1436‧‧‧播放軌片段框
1438‧‧‧媒體資料框
1501‧‧‧媒體呈現描述
1502‧‧‧調適集合1
1503‧‧‧圖像塊基本表示
1504‧‧‧圖像塊基本表示
1505‧‧‧標頭資訊
1506‧‧‧標頭資訊
1507‧‧‧圖像塊表示0
1508‧‧‧圖像塊表示0
1509‧‧‧圖像塊表示1
1510‧‧‧圖像塊表示1
1511‧‧‧圖像塊表示n
1512‧‧‧圖像塊表示n
1520‧‧‧調適集合2
1530‧‧‧調適集合n
1800‧‧‧媒體呈現描述(MPD)
1802‧‧‧EssentialProperty元素
1804‧‧‧EssentialProperty元素
1806‧‧‧SupplementalProperty元素
1808‧‧‧EssentialProperty元素
1810‧‧‧SupplementalProperty元素
2000‧‧‧媒體呈現描述(MPD)
2002‧‧‧第一調適集合
2004‧‧‧第二調適集合
2006‧‧‧補充性質元素
2008‧‧‧補充性質元素
2010‧‧‧補充性質元素
2012‧‧‧補充性質元素
2014‧‧‧補充性質元素
2100‧‧‧使用本文中所描述之技術中之一或多者處理視訊資料的處理程序
2102‧‧‧區塊
2104‧‧‧區塊
2106‧‧‧區塊
2200‧‧‧使用本文中所描述技術中之一或多者處理一或多個視訊檔案的處理程序
2202‧‧‧區塊
2204‧‧‧區塊
下文參考如下圖式詳細描述本發明之說明性實施例： 圖1為說明根據一些實例之編碼器件及解碼器件之實例的方塊圖； 圖2A及圖2B為說明根據一些實例之由使用魚眼透鏡以捕捉寬視場之全向攝影機捕捉的視訊圖框之實例的圖式； 圖3為說明根據一些實例之球面投影視訊圖框之實例的圖式； 圖4為說明根據一些實例之正在360度視訊呈現中使用的球面投影視訊圖框之實例的圖式； 圖5A及圖5B為說明根據一些實例之其中360度視訊圖框中之魚眼影像已直接映射至半球形表示的實例之圖式； 圖6說明根據一些實例之用於媒體串流傳輸的實例系統； 圖7提供根據一些實例之媒體呈現描述(MPD)檔案之實例的圖形表示； 圖8為說明根據一些實例之基於簡單圖像塊之部分解碼(STPD)的圖式； 圖9為說明根據一些實例之基於第一可調式寫碼之360度視訊部分解碼的圖式； 圖10為說明根據一些實例之基於第二可調式寫碼之360度視訊部分解碼的圖式； 圖11為說明根據一些實例之基於第一聯播寫碼之360度視訊部分解碼的圖式； 圖12為說明根據一些實例之基於第二聯播寫碼之360度視訊部分解碼的圖式； 圖13為說明根據一些實例之基於圖像塊之視訊圖像的圖式； 圖14為說明根據一些實例之含有用於視訊呈現之資料及後設資料的ISO基本媒體檔案之實例的圖式； 圖15提供根據一些實例之MPD檔案的實例之圖形表示； 圖16為說明根據一些實例之用於圖像塊基本表示的SupplementalProperty描述符之@值的實例之圖表； 圖17為說明根據一些實例之用於圖像塊表示的SupplementalProperty描述符之@值的實例之圖表； 圖18為說明根據一些實例之MPD檔案之實例的XML程式碼表示； 圖19為說明根據一些實例之用於圖像塊基本表示的SupplementalProperty之@值描述符的實例之圖表； 圖20A及圖20B為說明根據一些實例之MPD檔案的另一實例之XML程式碼表示； 圖21為說明根據一些實例之處理視訊資料的處理程序之實例的流程圖； 圖22為說明根據一些實例之處理一或多個視訊檔案之處理程序的實例之流程圖； 圖23為說明根據一些實例之實例視訊編碼器件之方塊圖； 圖24為說明根據一些實例之實例視訊解碼器件之方塊圖。

Claims (59)

  1. 一種處理視訊資料之方法，該方法包含： 獲得360度視訊資料，該360度視訊資料包括分成複數個運動受限制圖像塊之複數個圖像； 使用該360度視訊資料產生包括複數個播放軌之一媒體檔案，該複數個播放軌中的每一者含有該複數個運動受限制圖像塊中的至少一者之一集合，其中該複數個運動受限制圖像塊中的至少一者之該集合對應於該360度視訊資料之複數個檢視區中的至少一者；及 產生該媒體檔案之一第一圖像塊表示，其中該第一圖像塊表示囊封該複數個播放軌之一第一播放軌，該第一播放軌包括在該複數個圖像中之一第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之一第一集合，其中該複數個運動受限制圖像塊中的至少一者之該第一集合對應於該360度視訊資料之一檢視區。
  2. 如請求項1之方法，其中該第一圖像塊表示包括一經由HTTP之動態自適應串流傳輸(DASH)表示。
  3. 如請求項1之方法，其中該媒體檔案包括與一自適應串流傳輸格式相關聯之一資訊清單檔案。
  4. 如請求項1之方法，其中該媒體檔案包括一媒體呈現描述(MPD)。
  5. 如請求項1之方法，其進一步包含： 產生該媒體檔案之一調適集合，該調適集合包括該360度視訊資料之對應於不同檢視區的複數個圖像塊表示。
  6. 如請求項5之方法，其中該複數個圖像塊表示包括該複數個運動受限制圖像塊，其中分成該複數個運動受限制圖像塊之該複數個圖像為至少一個增強層之部分，且其中該複數個圖像塊表示進一步包括一基層之複數個圖像。
  7. 如請求項6之方法，其中該基層之該複數個圖像不包括運動受限制圖像塊。
  8. 如請求項6之方法，其中該基層之該複數個圖像包括運動受限制圖像塊。
  9. 如請求項1之方法，其進一步包含： 產生一調適集合，該調適集合包括對應於不同檢視區的圖像塊表示之一集合；及 對於至少一個層，產生一圖像塊基本表示，其中該圖像塊基本表示囊封該至少一個層中圖像的所有運動受限制圖像塊。
  10. 如請求項9之方法，其中該圖像塊基本表示包括一DASH表示。
  11. 如請求項9之方法，其中適用於該360度視訊資料之該複數個圖像的後設資料經定義用於該圖像塊基本表示，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該等圖像之逐區域映射中之至少一或多者相關聯的資訊。
  12. 如請求項9之方法，其中後設資料經定義用於該第一圖像塊表示，且其中該後設資料適用於該360度視訊資料的一圖像中之藉由在該360度視訊資料之該等圖像中的該第一圖像塊位置處之一運動受限制圖像塊覆蓋的一區域，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該第一圖像塊表示之區域資訊中之至少一或多者相關聯的資訊。
  13. 如請求項1之方法，其進一步包含產生一描述符，該描述符指示該360度視訊資料中之一或多個最感興趣之區域。
  14. 如請求項13之方法，其中該描述符係在一圖像塊基本表示層級上產生，其中一圖像塊基本表示囊封至少一個層中圖像之所有運動受限制圖像塊。
  15. 一種用於處理視訊資料之裝置，其包含： 一記憶體，其經組態以儲存360度視訊資料；及 一處理器，其經組態以進行以下操作： 獲得該360度視訊資料，該360度視訊資料包括分成複數個運動受限制圖像塊之複數個圖像； 使用該360度視訊資料產生包括複數個播放軌之一媒體檔案，該複數個播放軌中的每一者含有該複數個運動受限制圖像塊中的至少一者之一集合，其中該複數個運動受限制圖像塊中的至少一者之該集合對應於該360度視訊資料之複數個檢視區中的至少一者；及 產生該媒體檔案之一第一圖像塊表示，其中該第一圖像塊表示囊封該複數個播放軌之一第一播放軌，該第一播放軌包括該複數個圖像中之一第一圖像塊位置處的該複數個運動受限制圖像塊中的至少一者之一第一集合，其中該複數個運動受限制圖像塊中的至少一者之該第一集合對應於該360度視訊資料之一檢視區。
  16. 如請求項15之裝置，其中該第一圖像塊表示包括一經由HTTP之動態自適應串流傳輸(DASH)表示。
  17. 如請求項15之裝置，其中該媒體檔案包括與一自適應串流傳輸格式相關聯的一資訊清單檔案。
  18. 如請求項15之裝置，其中該媒體檔案包括一媒體呈現描述(MPD)。
  19. 如請求項15之裝置，其中該處理器經進一步組態以： 產生該媒體檔案之一調適集合，該調適集合包括該360度視訊資料之對應於不同檢視區的複數個圖像塊表示。
  20. 如請求項19之裝置，其中該複數個圖像塊表示包括該複數個運動受限制圖像塊，其中分成該複數個運動受限制圖像塊之該複數個圖像為至少一個增強層之部分，且其中該複數個圖像塊表示進一步包括一基層之複數個圖像。
  21. 如請求項20之裝置，其中該基層之該複數個圖像不包括運動受限制圖像塊。
  22. 如請求項20之裝置，其中該基層之該複數個圖像包括運動受限制圖像塊。
  23. 如請求項15之裝置，其中該處理器經進一步組態以： 產生一調適集合，該調適集合包括對應於不同檢視區的圖像塊表示之一集合；及 對於至少一個層，產生一圖像塊基本表示，其中該圖像塊基本表示囊封該至少一個層中之圖像的所有運動受限制圖像塊。
  24. 如請求項23之裝置，其中該圖像塊基本表示包括一DASH表示。
  25. 如請求項23之裝置，其中適用於該360度視訊資料之該複數個圖像的後設資料經定義用於該圖像塊基本表示，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該等圖像之逐區域映射中之至少一或多者相關聯的資訊。
  26. 如請求項25之裝置，其中後設資料經定義用於該第一圖像塊表示，且其中該後設資料適用於該360度視訊資料的一圖像中之藉由在該360度視訊資料之該等圖像中的該第一圖像塊位置處之一運動受限制圖像塊覆蓋的一區域，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該第一圖像塊表示之區域資訊中之至少一或多者相關聯的資訊。
  27. 如請求項15之裝置，其中該處理器經進一步組態以產生一描述符，該描述符指示該360度視訊資料中之一或多個最感興趣之區域。
  28. 如請求項27之裝置，其中該描述符係在一圖像塊基本表示層級上產生，其中一圖像塊基本表示囊封至少一個層中之圖像之所有運動受限制圖像塊。
  29. 如請求項15之裝置，其中該裝置包含具有用於捕捉圖像之一攝影機的一行動器件。
  30. 一種處理一或多個媒體檔案之方法，其包含： 獲得包括複數個播放軌之一媒體檔案，該複數個播放軌中的每一者含有表示360度視訊資料之複數個圖像之複數個運動受限制圖像塊中的至少一者之一集合，其中該複數個運動受限制圖像塊中的至少一者之該集合對應於該360度視訊資料之複數個檢視區中的至少一者；及 處理該媒體檔案，該媒體檔案包括該媒體檔案之一第一圖像塊表示，其中該第一圖像塊表示囊封該複數個播放軌中之一第一播放軌，該第一播放軌包括該複數個運動受限制圖像塊中的在該複數個圖像中之一第一圖像塊位置處之至少一者之一第一集合，其中該複數個運動受限制圖像塊中的至少一者之該第一集合對應於該360度視訊資料之一檢視區。
  31. 如請求項30之方法，其中該第一圖像塊表示包括一經由HTTP之動態自適應串流傳輸(DASH)表示。
  32. 如請求項30之方法，其中該媒體檔案包括與一自適應串流傳輸格式相關聯的一資訊清單檔案。
  33. 如請求項30之方法，其中該媒體檔案包括一媒體呈現描述(MPD)。
  34. 如請求項30之方法，其中該媒體檔案包括一調適集合，該調適集合包括該360度視訊資料之對應於不同檢視區的複數個圖像塊表示。
  35. 如請求項30之方法，其中該複數個圖像塊表示包括該複數個運動受限制圖像塊，其中分成該複數個運動受限制圖像塊之該複數個圖像為至少一個增強層之部分，且其中該複數個圖像塊表示進一步包括一基層之複數個圖像。
  36. 如請求項35之方法，其中該基層之該複數個圖像不包括運動受限制圖像塊。
  37. 如請求項35之方法，其中該基層之該複數個圖像包括運動受限制圖像塊。
  38. 如請求項30之方法，其中該媒體檔案包括一調適集合，該調適集合包括對應於不同檢視區之圖像塊表示之一集合，且其中，對於至少一個層，該媒體檔案包括囊封該至少一個層中之圖像之所有運動受限制圖像塊的一圖像塊基本表示。
  39. 如請求項38之方法，其中該圖像塊基本表示包括一DASH表示。
  40. 如請求項38之方法，其中適用於該360度視訊資料之該複數個圖像的後設資料經定義用於該圖像塊基本表示，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該等圖像之逐區域映射中之至少一或多者相關聯的資訊。
  41. 如請求項38之方法，其中後設資料經定義用於該第一圖像塊表示，且其中該後設資料適用於該360度視訊資料的一圖像中之藉由在該360度視訊資料之該等圖像中的該第一圖像塊位置處之一運動受限制圖像塊覆蓋的一區域，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該第一圖像塊表示之區域資訊中之至少一或多者相關聯的資訊。
  42. 如請求項30之方法，其中該媒體檔案包括一描述符，該描述符指示該360度視訊資料中之一或多個最感興趣之區域。
  43. 如請求項42之方法，其中該描述符係在一圖像塊基本表示層級上產生，其中一圖像塊基本表示囊封至少一個層中之圖像之所有運動受限制圖像塊。
  44. 一種用於處理一或多個媒體檔案之裝置，其包含： 一記憶體，其經組態以儲存包含360度視訊資料之該一或多個媒體檔案；及 一處理器，其經組態以進行以下操作： 獲得包括複數個播放軌之一媒體檔案，該複數個播放軌中的每一者含有表示該360度視訊資料之複數個圖像之複數個運動受限制圖像塊中的至少一者之一集合，其中該複數個運動受限制圖像塊中的至少一者之該集合對應於該360度視訊資料之複數個檢視區中的至少一者；及 處理該媒體檔案，該媒體檔案包括該媒體檔案之一第一圖像塊表示，其中該第一圖像塊表示囊封該複數個播放軌中之一第一播放軌，該第一播放軌包括在該複數個圖像中之一第一圖像塊位置處之該複數個運動受限制圖像塊中的至少一者之一第一集合，其中該複數個運動受限制圖像塊中的至少一者之該第一集合對應於該360度視訊資料之一檢視區。
  45. 如請求項44之裝置，其中該第一圖像塊表示包括一經由HTTP之動態自適應串流傳輸(DASH)表示。
  46. 如請求項44之裝置，其中該媒體檔案包括與一自適應串流傳輸格式相關聯的一資訊清單檔案。
  47. 如請求項44之裝置，其中該媒體檔案包括一媒體呈現描述(MPD)。
  48. 如請求項44之裝置，其中該媒體檔案包括一調適集合，該調適集合包括該360度視訊資料之對應於不同檢視區的複數個圖像塊表示。
  49. 如請求項48之裝置，其中該複數個圖像塊表示包括該複數個運動受限制圖像塊，其中分成該複數個運動受限制圖像塊之該複數個圖像為至少一個增強層之部分，且其中該複數個圖像塊表示進一步包括一基層之複數個圖像。
  50. 如請求項49之裝置，其中該基層之該複數個圖像不包括運動受限制圖像塊。
  51. 如請求項49之裝置，其中該基層之該複數個圖像包括運動受限制圖像塊。
  52. 如請求項44之裝置，其中該媒體檔案包括一調適集合，該調適集合包括對應於不同檢視區之圖像塊表示之一集合，且其中，對於至少一個層，該媒體檔案包括囊封該至少一個層中之圖像之所有運動受限制圖像塊的一圖像塊基本表示。
  53. 如請求項52之裝置，其中該圖像塊基本表示包括一DASH表示。
  54. 如請求項52之裝置，其中適用於該360度視訊資料之該複數個圖像的後設資料經定義用於該圖像塊基本表示，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該等圖像之逐區域映射中之至少一或多者相關聯的資訊。
  55. 如請求項44之裝置，其中後設資料經定義用於該第一圖像塊表示，且其中該後設資料適用於該360度視訊資料的一圖像中之藉由在該360度視訊資料之該等圖像中的該第一圖像塊位置處之一運動受限制圖像塊覆蓋的一區域，該後設資料包括與一視訊投影類型、一或多個檢視區方向或該第一圖像塊表示之區域資訊中之至少一或多者相關聯的資訊。
  56. 如請求項44之裝置，其中該媒體檔案包括一描述符，該描述符指示該360度視訊資料中之一或多個最感興趣之區域。
  57. 如請求項56之裝置，其中該描述符係在一圖像塊基本表示層級上產生，其中一圖像塊基本表示囊封至少一個層中之圖像之所有運動受限制圖像塊。
  58. 如請求項44之裝置，其進一步包含： 一顯示器，其用於顯示該視訊資料。
  59. 如請求項44之裝置，其中該裝置包含具有用於捕捉圖像之一攝影機的一行動器件。
TW106134764A 2016-10-12 2017-10-11 產生及處理用於部份解碼及最感興趣之區域的檔案的系統及方法 TW201817231A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662407502P 2016-10-12 2016-10-12
US62/407,502 2016-10-12
US15/718,581 2017-09-28
US15/718,581 US10917564B2 (en) 2016-10-12 2017-09-28 Systems and methods of generating and processing files for partial decoding and most interested regions

Publications (1)

Publication Number Publication Date
TW201817231A true TW201817231A (zh) 2018-05-01

Family

ID=61829292

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134764A TW201817231A (zh) 2016-10-12 2017-10-11 產生及處理用於部份解碼及最感興趣之區域的檔案的系統及方法

Country Status (9)

Country Link
US (1) US10917564B2 (zh)
EP (1) EP3526971A1 (zh)
KR (1) KR102348538B1 (zh)
CN (1) CN109792548B (zh)
AU (1) AU2017343554A1 (zh)
BR (1) BR112019007225A2 (zh)
SG (1) SG11201901862YA (zh)
TW (1) TW201817231A (zh)
WO (1) WO2018071421A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI712313B (zh) * 2016-12-07 2020-12-01 美商高通公司 感興趣區之發信號之系統及方法
TWI739464B (zh) * 2019-06-07 2021-09-11 美商尼爾森(美國)有限公司 不調度內容修改操作的方法、內容呈現設備及非暫時性電腦可讀儲存介質

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10623735B2 (en) 2017-01-21 2020-04-14 OrbViu Inc. Method and system for layer based view optimization encoding of 360-degree video
US10560680B2 (en) * 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation
EP3596926A1 (en) * 2017-03-17 2020-01-22 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
FR3066672B1 (fr) * 2017-05-19 2020-05-22 Sagemcom Broadband Sas Procede de communication d'une video immersive
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US10764582B2 (en) 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US11025919B2 (en) * 2017-10-03 2021-06-01 Koninklijke Kpn N.V. Client-based adaptive streaming of nonlinear media
FR3073112B1 (fr) * 2017-11-02 2021-04-02 Ateme Procede et systeme de traitement d'un contenu multimedia dans un reseau de zone metropolitaine
EP3721636A1 (en) * 2017-12-07 2020-10-14 Koninklijke KPN N.V. Method for adaptive streaming of media
CN118042156A (zh) * 2017-12-28 2024-05-14 韩国电子通信研究院 图像编码和解码的方法和装置以及存储比特流的记录介质
CN108111899B (zh) * 2017-12-29 2021-05-11 中兴通讯股份有限公司 视频传输方法与装置、客户端、服务器及存储介质
US10715832B2 (en) * 2018-03-16 2020-07-14 Mediatek Inc. Method and apparatus of block partition for VR360 video coding
US11146802B2 (en) * 2018-04-12 2021-10-12 Mediatek Singapore Pte. Ltd. Methods and apparatus for providing two-dimensional spatial relationships
WO2019200227A1 (en) * 2018-04-13 2019-10-17 Futurewei Technologies, Inc. Signaling spatial region correspondence between virtual reality viewpoints
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10182269B1 (en) * 2018-04-24 2019-01-15 Verizon Patent And Licensing Inc. HTTP live streaming delivery over multicast
KR20190136417A (ko) * 2018-05-30 2019-12-10 삼성전자주식회사 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
EP3576413A1 (en) * 2018-05-31 2019-12-04 InterDigital CE Patent Holdings Encoder and method for encoding a tile-based immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10623736B2 (en) 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10432970B1 (en) * 2018-06-14 2019-10-01 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US11516521B2 (en) 2018-07-30 2022-11-29 Koninklijke Kpn N.V. Generating composite video stream for display in VR
US10699154B2 (en) 2018-08-08 2020-06-30 At&T Intellectual Property I, L.P. Optimizing 360-degree video streaming with video content analysis
US10826964B2 (en) 2018-09-05 2020-11-03 At&T Intellectual Property I, L.P. Priority-based tile transmission system and method for panoramic video streaming
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
CN112690004B (zh) * 2018-09-14 2023-01-13 华为技术有限公司 一种视频译码中的基于分块的寻址方法，译码器以及视频译码设备
US10440416B1 (en) 2018-10-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing quality control in 360° immersive video during pause
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US10779014B2 (en) * 2018-10-18 2020-09-15 At&T Intellectual Property I, L.P. Tile scheduler for viewport-adaptive panoramic video streaming
US10638165B1 (en) 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
US11924442B2 (en) 2018-11-20 2024-03-05 Koninklijke Kpn N.V. Generating and displaying a video stream by omitting or replacing an occluded part
KR102569347B1 (ko) 2018-12-20 2023-08-22 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 비디오 인코딩 및 디코딩에서의 개선된 타일 어드레스 시그널링
JPWO2020137642A1 (ja) * 2018-12-28 2021-11-11 ソニーグループ株式会社 情報処理装置および情報処理方法
EP4084490A1 (en) 2019-01-02 2022-11-02 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11063997B1 (en) * 2019-03-28 2021-07-13 Amazon Technologies, Inc. Higher order manifest data compression
EP3739880A1 (en) * 2019-05-14 2020-11-18 Axis AB Method, device and computer program product for encoding a distorted image frame
EP3987792A4 (en) * 2019-06-21 2022-09-28 Telefonaktiebolaget Lm Ericsson (Publ) VIDEO CODING LAYER RATE INCREASED INDICATION
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11973991B2 (en) * 2019-10-11 2024-04-30 International Business Machines Corporation Partial loading of media based on context
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
KR102272660B1 (ko) * 2019-12-30 2021-07-02 이화여자대학교 산학협력단 전방위 몰입형 비디오에 대한 적응적 디블로킹 필터 적용 방법 및 디코딩 장치
US20200154121A1 (en) * 2020-01-10 2020-05-14 Jill Boyce Multi-dimensional video transcoding
US11991376B2 (en) * 2020-04-09 2024-05-21 Intel Corporation Switchable scalable and multiple description immersive video codec
KR102412410B1 (ko) * 2020-07-14 2022-06-23 성균관대학교산학협력단 타일 기반 360도 영상 전송 방법 및 장치
EP3965422A1 (en) 2020-09-02 2022-03-09 Lemon Inc. Brand for a media file
EP3965423A1 (en) 2020-09-02 2022-03-09 Lemon Inc. Pictures and layers included in a vvc image item
US11750815B2 (en) 2020-09-17 2023-09-05 Lemon, Inc. Versatile video coding track coding
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding
CN114827750B (zh) * 2022-05-31 2023-12-22 脸萌有限公司 视角的预测方法、装置、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
US20140369625A1 (en) * 2013-06-18 2014-12-18 Asustek Computer Inc. Image processing method
WO2015009676A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
GB2524531B (en) 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
CN104159026A (zh) * 2014-08-07 2014-11-19 厦门亿联网络技术股份有限公司 一种实现360度全景视频的系统
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI712313B (zh) * 2016-12-07 2020-12-01 美商高通公司 感興趣區之發信號之系統及方法
TWI739464B (zh) * 2019-06-07 2021-09-11 美商尼爾森(美國)有限公司 不調度內容修改操作的方法、內容呈現設備及非暫時性電腦可讀儲存介質

Also Published As

Publication number Publication date
WO2018071421A1 (en) 2018-04-19
KR20190061002A (ko) 2019-06-04
US20180103199A1 (en) 2018-04-12
AU2017343554A1 (en) 2019-03-28
EP3526971A1 (en) 2019-08-21
SG11201901862YA (en) 2019-04-29
CN109792548B (zh) 2021-09-28
US10917564B2 (en) 2021-02-09
KR102348538B1 (ko) 2022-01-07
CN109792548A (zh) 2019-05-21
BR112019007225A2 (pt) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109792548B (zh) 处理视频数据的方法和设备、处理媒体文件的方法和设备
TWI712313B (zh) 感興趣區之發信號之系統及方法
US11062738B2 (en) Signalling of video content including sub-picture bitstreams for video coding
US10620441B2 (en) Viewport-aware quality metric for 360-degree video
TWI712309B (zh) 容器檔案及視訊位元串流中關注區域之增強信令傳輸
TWI692974B (zh) 在媒體檔案中虛擬實境視訊之儲存
US11532128B2 (en) Advanced signaling of regions of interest in omnidirectional visual media
EP3906699A1 (en) An apparatus, a method and a computer program for video coding and decoding
TW201838407A (zh) 適應性擾動立方體之地圖投影
CN113574903B (zh) 针对媒体内容中的后期绑定的方法和装置
CN115211131A (zh) 用于全向视频的装置、方法及计算机程序