TW201909642A - 用於魚眼虛擬實境視訊之增強的高階發信號 - Google Patents

用於魚眼虛擬實境視訊之增強的高階發信號 Download PDF

Info

Publication number
TW201909642A
TW201909642A TW107123730A TW107123730A TW201909642A TW 201909642 A TW201909642 A TW 201909642A TW 107123730 A TW107123730 A TW 107123730A TW 107123730 A TW107123730 A TW 107123730A TW 201909642 A TW201909642 A TW 201909642A
Authority
TW
Taiwan
Prior art keywords
video data
fisheye video
fisheye
view
video
Prior art date
Application number
TW107123730A
Other languages
English (en)
Other versions
TWI711303B (zh
Inventor
益魁 王
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201909642A publication Critical patent/TW201909642A/zh
Application granted granted Critical
Publication of TWI711303B publication Critical patent/TWI711303B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種處理包括視訊資料之一檔案之方法，其包括：處理包括魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊；基於該判定輸出該魚眼視訊資料以供顯現。

Description

用於魚眼虛擬實境視訊之增強的高階發信號
本發明係關於經編碼媒體資料之輸送。
數位視訊能力可併入至廣泛範圍之裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議裝置及類似者。數位視訊裝置實施視訊壓縮技術，諸如，描述於由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265 (亦稱作高效率視訊寫碼(HEVC))及此等標準之擴展定義的標準中之技術，以更有效率地傳輸及接收數位視訊資訊。
視訊壓縮技術執行空間預測及/或時間預測以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將視訊訊框或截塊分割成巨集區塊。可進一步分割每一巨集區塊。使用關於相鄰巨集區塊之空間預測來編碼經框內寫碼(I)之訊框或截塊中之巨集區塊。經框間寫碼(P或B)訊框或截塊中之巨集區塊可使用關於同一訊框或截塊中之相鄰巨集區塊的空間預測或關於其他參考訊框之時間預測。
在已編碼視訊(及其他媒體資料)資料之後，視訊資料可經封包化以用於傳輸或儲存。可將視訊資料組譯成遵守多種標準中之任一者的視訊檔案，該等標準諸如國際標準化組織(ISO)基本媒體檔案格式及其擴展，諸如，AVC。
一般而言，本發明描述係關於虛擬實境(VR)/360度視訊應用之功能性。更具體言之，本發明描述在容器檔案中及在例如經由HTTP之動態自適應串流(DASH)之自適應串流格式之媒體呈現描述中的用於魚眼VR/360視訊之增強的高階發信號。雖然本文中可在全向媒體格式(OMAF)及/或DASH之情況下或在其他媒體格式中描述該等技術，但應理解，此等技術可通常應用於任何虛擬實境(VR)或360度媒體格式。並且，雖然本發明可參考呈ISO基本媒體檔案格式(ISOBMFF)之形式的檔案格式，但應理解，此等檔案格式可通常在多種類型之檔案格式上應用。
在一個實例中，本發明描述一種處理包括視訊資料之一檔案之方法，該方法包含：處理包括魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊，及基於該判定輸出該魚眼視訊資料以供顯現。
在另一實例中，本發明描述一種經組態以處理包括視訊資料之一檔案之設備，該設備包含經組態以儲存該檔案之一記憶體，及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以：處理包括魚眼視訊資料之該檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊；及基於該判定輸出該魚眼視訊資料以供顯現。
在另一實例中，本發明描述一種經組態以處理包括視訊資料之一檔案之設備，該設備包含：用於處理包括魚眼視訊資料之一檔案之構件，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；用於基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊之構件；及用於基於該判定輸出該魚眼視訊資料以供顯現之構件。
在另一實例中，本發明描述一種非暫時性電腦可讀儲存媒體，其儲存指令，該等指令在執行時使一或多個處理器：處理包括魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊；及基於該判定輸出該魚眼視訊資料以供顯現。
在另一實例中，本發明描述一種產生包括視訊資料之一檔案之方法，該方法包含：接收魚眼視訊資料；產生包括該魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及輸出該檔案。
在另一實例中，本發明描述一種經組態以產生包括視訊資料之一檔案之設備，該設備包含經組態以儲存該檔案之一記憶體，及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以：接收魚眼視訊資料；產生包括該魚眼視訊資料之該檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及輸出該檔案。
在另一實例中，本發明描述一種經組態以產生包括視訊資料之一檔案之設備，該設備包含：用於接收魚眼視訊資料之構件；用於產生包括該魚眼視訊資料之一檔案之構件，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及用於輸出該檔案之構件。
在另一實例中，本發明描述一種非暫時性電腦可讀儲存媒體，其儲存指令，該等指令在執行時使一或多個處理器：接收魚眼視訊資料；產生包括該魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及輸出該檔案。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優點將自描述及圖式及自申請專利範圍顯而易見。
本申請案主張2017年7月10日申請之美國臨時申請案第62/530,497 號之權益，該申請案之全部內容在此被以引用的方式併入。
以下提供本發明之某些態樣及實例。此等態樣及實例中之一些可獨立地應用並且其中之一些可按如將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本發明之實例之透徹理解。然而，將顯而易見的是，可在無此等特定細節之情況下實踐各種實例。圖式及描述不意欲為限制性的。
隨後描述僅提供實例，且並不意欲限制本發明之範疇、可適用性或組態。相反地，實例之隨後描述將為熟習此項技術者提供用於實施本發明之實例之啟發性描述。應理解，可在不脫離如所附申請專利範圍中所闡述之本申請案之精神及範疇的情況下對元件之功能及配置作出各種改變。
在以下描述中給定特定細節以提供對實例之透徹理解。然而，一般熟習此項技術者應理解，該等實例可在無此等特定細節之情況下實踐。舉例而言，電路、系統、網路、過程及其他組件可以方塊圖形式展示為組件以免以不必要的細節混淆實例。在其他實例中，可在無不必要之細節的情況下展示熟知電路、過程、演算法、結構及技術以便避免混淆實例。
又，應注意，個別實例可描述為被描繪為流程圖、流圖、資料流圖、結構圖或方塊圖之處理程序。儘管流程圖可將操作描述為依序處理程序，但許多操作可並行地或同時加以執行。此外，可重新排列該等操作之次序。處理程序在其操作完成時終止，但可具有不包括於圖中之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式等。當處理程序對應於函式時，其終止可對應於函式傳回至調用函式或主函式。
術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存裝置、光儲存裝置，及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料並且不包括載波及/或無線地或經由有線連接傳播之暫時性電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、諸如緊密光碟(CD)或數位化通用光碟(DVD)之光學儲存媒體、快閃記憶體、記憶體或記憶體裝置。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，該等程式碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、套裝軟體、類別，或指令、資料結構或程式語句之任何組合。一個碼段可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或類似者之任何合適方式傳遞、轉遞或傳輸。
此外，可由硬體、軟體、韌體、介體、微碼、硬件描述語言或其任何組合實施本發明之實例。當以軟體、韌體、介體或微碼實施時，執行必要任務之程式碼或程式碼區段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。
一般而言，本發明描述用於用於魚眼虛擬實境(VR)視訊(例如，亦被叫作360度視訊或全向視訊資料)之高階發信號的一些增強型設計、裝置及技術。雖然本文中可在全向媒體格式(OMAF)之情況下描述該等技術，但應理解，此功能性可大體應用於任何VR、全向或360度媒體格式。並且，雖然本發明可參考呈ISO基本媒體檔案格式(ISOBMFF)之形式的檔案格式，但應理解，此等檔案格式可通常在多種類型之檔案格式上應用。舉例而言，本發明揭示魚眼視訊資訊之替代性發信號之多個實例方法。可獨立地或以任何組合執行此等方法中之一或多者。
相關聯之視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264或ISO/IEC MPEG-4 AVC，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展，及高效視訊寫碼(HEVC)，亦被稱為ITU-T H.265及ISO/IEC 23008-2，包括其可調式寫碼擴展(亦即，可調式高效視訊寫碼，SHVC)及多視圖擴展(亦即，多視圖高效視訊寫碼，MV-HEVC)。叫作多功能視訊寫碼(VVC)或ITU-T H.266之新視訊寫碼標準正由聯合視訊專家團隊(JVET)開發。
檔案格式標準包括ISO基本媒體檔案格式(ISOBMFF、ISO/IEC 14496-12)，及自ISOBMFF導出之其他標準，包括MPEG-4檔案格式(ISO/IEC 14496-15)、3GPP檔案格式(3GPP TS 26.244)及用於視訊編解碼器之AVC及HEVC族之檔案格式(ISO/IEC 14496-15)。用於ISO/IEC 14496-12及14496-15之最近的新版之草案文字可分別在http://phenix.int-evry.fr/mpeg/doc_end_user/documents/111_Geneva/wg11/w15177-v6-w15177.zip及http://wg11.sc29.org/doc_end_user/documents/115_Geneva/wg11/w16169 -v2-w16169.zip處獲得。
將ISOBMFF用作用於許多編解碼器封裝格式(諸如，AVC檔案格式)以及用於許多多媒體容器格式(諸如，MPEG-4檔案格式、3GPP檔案格式(3GP)及DVB檔案格式)之基礎。
除諸如音訊及視訊之連續媒體之外，諸如影像之靜態媒體以及後設資料可儲存於遵照ISOBMFF之檔案中。根據ISOBMFF結構化之檔案可用於許多目的，包括本端媒體檔案播放、遠端檔案之漸進式下載、用於將容器用於待串流傳輸之內容及其封包化指令的自適應串流技術(諸如，經由HTTP之動態自適應串流(DASH)、HTTP實況串流(HLS)等)之區段及記錄接收之即時媒體串流。
舉例而言，邏輯框為ISOBMFF中之基本語法結構，包括四字元寫碼邏輯框類型、邏輯框之位元組計數及有效負載。ISOBMFF檔案由一連串邏輯框組成，且邏輯框可含有其他框。電影框(Movie box，「moov」)含有用於存在於檔案中之連續媒體串流的後設資料，每一媒體串流在檔案中表示為播放軌。將用於播放軌之後設資料圍封於播放軌框(「trak」)中，而將播放軌之媒體內容圍封於媒體資料框(「mdat」)中或直接圍封於單獨檔案中。用於播放軌之媒體內容由一連串樣本組成，諸如，音訊或視訊存取單元。
ISOBMFF指定以下類型之播放軌：媒體播放軌，其含有基本媒體串流；提示播放軌，其包括媒體傳輸指令或表示接收之封包串流；及計時後設資料播放軌，其包含時間同步之後設資料。
雖然原先針對儲存而設計，但ISOBMFF已證明對於串流傳輸(例如，對於漸進式下載或DASH)很有價值。為了串流傳輸目的，可使用在ISOBMFF中定義之電影片段。
每一播放軌之後設資料包括取樣描述項之清單，每一項提供在播放軌中使用之寫碼或封裝格式及對於處理彼格式需要之初始化資料。各樣本與播放軌之樣本描述項中之一者相關聯。
ISOBMFF實現藉由各種機制指定樣本特定後設資料。樣本表邏輯框(「stbl」)內之特定邏輯框已經標準化以回應普通需求。舉例而言，同步樣本框(「stss」)用以列舉播放軌之隨機存取樣本。樣本分群機制實現根據四字元分群類型將樣本映射成共用指定為檔案中之樣本群組描述項之同一性質的樣本之群組。已在ISOBMFF中指定若干分群類型。
ISO/IEC 23009-1中指定之經由HTTP之動態自適應串流(DASH)係用於HTTP (自適應)串流應用之標準。DASH指定媒體呈現描述(MPD)之格式，其亦被稱為資訊清單，及媒體區段格式。MPD描述可在伺服器上得到之媒體且在其關注之媒體時間處讓DASH用戶端自主地下載媒體版本。
用於基於DASH之HTTP串流的典型程序之一個實例包括以下步驟： 1) DASH用戶端獲得串流內容之MPD，例如，影片。MPD包括關於串流內容的不同替代性表示之資訊(例如，位元速率、視訊解析度、訊框速率、音訊語言)，以及HTTP資源之URL (初始化區段及媒體區段)。 2) 基於MPD及DASH用戶端之本端資訊中的資訊(例如，網路頻寬、解碼/顯示能力及使用者偏好)，用戶端請求所要的表示，一次一個區段(或其一部分，例如，部分區段)。 3) 當該DASH用戶端偵測到網路頻寬改變時，該DASH用戶端請求具有較好匹配位元速率之不同表示之區段，理想地自以隨機存取點開始的區段開始。
在HTTP串流「會話」期間，為對使用者請求作出回應以反向搜尋過去位置或正向搜尋未來定位，該DASH用戶端請求開始於靠近使用者請求之位置且理想地開始於隨機存取點之區段的過去或未來區段。使用者亦可請求快速轉遞內容，其可藉由請求足夠用於僅解碼經框內寫碼視訊圖像或僅解碼視訊串流之臨時子集的資料來實現。
在諸如DASH之HTTP串流中，頻繁使用之操作包括HEAD、GET及部分GET。HEAD操作檢索與給定的統一資源定位符(URL)或統一資源名稱(URN)相關聯之檔案的標頭，但不檢索與URL或URN相關聯之有效負載。GET操作檢索與給定URL或URN相關聯之整個檔案。部分GET操作接收位元組範圍作為輸入參數且檢索檔案之連續數目個位元組，其中位元組之數目對應於所接收位元組範圍。因此，可提供電影片段以用於HTTP串流，此係因為部分GET操作可得到一或多個個別電影片段。在電影片段中，可能存在不同播放軌之若干播放軌截塊。在HTTP串流中，媒體表現可為用戶端可存取之資料之結構化集合。用戶端可請求且下載媒體資料資訊以向使用者呈現串流服務。
在使用HTTP串流來串流傳輸3GPP資料之實例中，可能存在多媒體內容之視訊及/或音訊資料的多個表示。如下文所解釋，不同表示可對應於不同寫碼特性(例如，視訊寫碼標準之不同設定檔或層級)、不同寫碼標準或寫碼標準之擴展(諸如，多視圖及/或可調式擴展)或不同位元速率。此等表示之資訊清單可在媒體呈現描述(MPD)資料結構中定義。媒體呈現可對應於HTTP串流用戶端裝置可存取之資料之結構化集合。HTTP串流用戶端裝置可請求且下載媒體資料資訊以向用戶端裝置之使用者呈現串流服務。媒體呈現可在MPD資料結構中描述，MPD資料結構可包括MPD之更新。
媒體呈現可含有一或多個週期之序列。每一週期可延長，直至下一週期開始為止，或在最後一個週期的情況下，直至媒體呈現結束為止。每一週期可含有針對同一媒體內容之一或多個表示。表示可為音訊、視訊、計時文字或其他此等資料之許多替代性經編碼版本中之一者。表示可因編碼類型而異，例如，對於視訊資料，因位元速率、解析度及/或編解碼器而異，及對於音訊資料，因位元速率之編解碼器、語言及/或編解碼器而異。術語表示可用以指經編碼音訊或視訊資料的對應於多媒體內容之特定週期且以特定方式編碼之部分。
特定週期之表示可指派至由MPD中之屬性(其指示表示所屬之調適集)指示之群組。同一調適集中之表示通常被視為彼此之替代，此係因為用戶端裝置可在此等表示之間動態地且順暢地切換，例如，以執行寬頻調適。舉例而言，特定週期之視訊資料之每一表示可指派至同一調適集，使得可選擇該等表示中之任一者用於解碼以呈現對應週期之多媒體內容的媒體資料(諸如，視訊資料或音訊資料)。在一些實例中，一個週期內之媒體內容可由來自群組0 (若存在)之一個表示來表示，或由來自每一非零群組的至多一個表示之組合來表示。週期之每一表示之時序資料可相對於該週期之開始時間來表達。
一表示可包括一或多個區段。每一表示可包括一初始化區段，或表示之每一區段可自初始化。當存在時，初始化區段可含有用於存取表示之初始化資訊。一般而言，初始化區段不含有媒體資料。區段可由識別符唯一地參考，諸如，統一資源定位符(URL)、統一資源名稱(URN)或統一資源識別符(URI)。MPD可為每一區段提供識別符。在一些實例中，MPD亦可提供呈範圍 屬性之形式的位元組範圍，該等範圍屬性可對應於可由URL、URN或URI存取之檔案內之區段的資料。
可選擇不同表示以用於大體上同時檢索不同類型之媒體資料。舉例而言，用戶端裝置可選擇音訊表示、視訊表示及計時文字表示，自該等表示檢索區段。在一些實例中，用戶端裝置可選擇特定調適集以用於執行頻寬調適。意即，用戶端裝置可選擇包括視訊表示之調適集、包括音訊表示之調適集及/或包括計時文字之調適集。替代地，用戶端裝置可針對某些類型之媒體(例如，視訊)選擇調適集，及針對其他類型之媒體(例如，音訊及/或計時文字)直接選擇表示。
圖1為說明實施用於經由網路來串流傳輸媒體資料之技術的一實例系統10之方塊圖。在此實例中，系統10包括內容準備裝置20、伺服器裝置60及用戶端裝置40。用戶端裝置40及伺服器裝置60藉由網路74以通信方式耦接，網路74可包含網際網路。在一些實例中，內容準備裝置20與伺服器裝置60亦可藉由網路74或另一網路耦接，或可直接以通信方式耦接。在一些實例中，內容準備裝置20及伺服器裝置60可包含相同裝置。
在圖1之實例中，內容準備裝置20包含音訊源22及視訊源24。音訊源22可包含(例如)產生表示待由音訊編碼器26編碼之所擷取音訊資料之電信號的一麥克風。替代地，音訊源22可包含儲存先前記錄之音訊資料之一儲存媒體、諸如電腦化之合成器之一音訊資料產生器或音訊資料之任何其他來源。視訊源24可包含：一視訊攝影機，其產生待藉由視訊編碼器28編碼之視訊資料；一儲存媒體，其編碼有先前記錄之視訊資料；一視訊資料產生單元，諸如，電腦圖形源；或視訊資料之任何其他來源。內容準備裝置20未必在所有實例中均通信耦接至伺服器裝置60，而可將多媒體內容儲存至由伺服器裝置60讀取之單獨媒體。
原始音訊及視訊資料可包含類比或數位資料。類比資料可在由音訊編碼器26及/或視訊編碼器28編碼前經數位化。音訊源22可在說話參與者正在說話時自說話參與者獲得音訊資料，且視訊源24可同時獲得該說話參與者之視訊資料。在其他實例中，音訊源22可包含包含所儲存之音訊資料的電腦可讀儲存媒體，且視訊源24可包含包含所儲存之視訊資料的電腦可讀儲存媒體。以此方式，本發明中所描述之技術可應用於實況、串流、即時音訊及視訊資料或所存檔的、預先記錄的音訊及視訊資料。
對應於視訊訊框之音訊訊框通常為含有由音訊源22擷取(或產生)之音訊資料的音訊訊框，音訊資料同時伴隨含於視訊訊框內的由視訊源24擷取(或產生)之視訊資料。舉例而言，當說話參與者通常藉由說話而產生音訊資料時，音訊源22擷取音訊資料，且視訊源24同時(意即，在音訊源22正擷取音訊資料時)擷取說話參與者之視訊資料。因此，音訊訊框在時間上可對應於一或多個特定視訊訊框。因此，對應於一視訊訊框之音訊訊框大體對應於同時擷取到的音訊資料及視訊資料且音訊訊框及視訊訊框分別包含同時擷取到的音訊資料及視訊資料的情形。
在一些實例中，音訊編碼器26可編碼每一經編碼音訊訊框中表示記錄經編碼音訊訊框的音訊資料之時間的時戳，且類似地，視訊編碼器28可編碼每一經編碼視訊訊框中表示記錄經編碼視訊訊框的視訊資料之時間的時戳。在此等實例中，對應於視訊訊框之音訊訊框可包含：包含時戳之一音訊訊框及包含同一時戳之一視訊訊框。內容準備裝置20可包括內部時鐘時脈，音訊編碼器26及/或視訊編碼器28可根據該內部時鐘時脈產生時戳，或音訊源22及視訊源24可使用該內部時鐘時脈以分別使音訊資料及視訊資料與時戳相關聯。
在一些實例中，音訊源22可向音訊編碼器26發送對應於記錄音訊資料之時間的資料，且視訊源24可向視訊編碼器28發送對應於記錄視訊資料之時間的資料。在一些實例中，音訊編碼器26可編碼經編碼音訊資料中之序列識別符以指示經編碼音訊資料之相對時間排序，但未必指示記錄音訊資料之絕對時間，且類似地，視訊編碼器28亦可使用序列識別符來指示經編碼視訊資料之相對時間排序。類似地，在一些實例中，序列識別符可用時戳映射或以其它方式與時戳相關。
音訊編碼器26通常產生經編碼音訊資料之串流，而視訊編碼器28產生經編碼視訊資料之串流。每一個別資料串流(不論音訊還是視訊)可被稱作基本串流。基本串流為表示之單一經數位寫碼(可能經壓縮)之分量。舉例而言，表示之經寫碼視訊或音訊部分可為一基本串流。基本串流可在被囊封於視訊檔案內之前被轉換成一封包化基本串流(PES)。在相同表示內，可使用串流ID來區分屬於一個基本串流的PES封包與其他者。基本串流之資料之基本單元為封包化基本串流(PES)封包。因此，經寫碼視訊資料大體對應於基本視訊串流。類似地，音訊資料對應於一或多個各別基本串流。
許多視訊寫碼標準，諸如，ITU-T H.264/AVC及ITU-T H.265/高效視訊寫碼(HEVC)標準，定義無誤差位元串流之語法、語義及解碼過程，該等無誤差位元串流中之任一者遵照某一設定檔或層級。視訊寫碼標準典型地並不指定編碼器，但編碼器具有保證所產生之位元串流對於解碼器而言係標準相容之任務。在視訊寫碼標準之上下文中，「設定檔」對應於演算法、特徵或工具及施加至演算法、特徵或工具之約束的子集。如(例如)H.264標準所定義，「設定檔」為由H.264標準指定的全部位元串流語法之子集。「層級」對應於解碼器資源消耗(諸如，解碼器記憶體及計算)之限制，該等限制與圖像之解析度、位元速率及區塊處理速率有關。設定檔可用profile_idc (設定檔指示符)值發信號，而層級可用level_idc (層級指示符)值發信號。
舉例而言，H.264標準認識到，在由給定設定檔之語法所強加的界限內，仍然可能需要編碼器及解碼器之效能有較大變化，此取決於由位元串流中之語法元素(諸如，經解碼圖像之指定大小)所取得的值。H.264標準進一步認識到，在許多應用中，實施能夠處理一特定設定檔內之語法之所有假設使用的解碼器既不實際又不經濟。因此，H.264標準將「層級」定義為強加於位元串流中之語法元素之值的約束之一指定集。此等約束可為對值的簡單限制。替代地，此等約束條件可呈對值之算術組合(例如，圖像寬度乘以圖像高度乘以每秒解碼的圖像數目）之約束的形式。H.264標準進一步規定，個別實施對於每一所支援設定檔可支援不同層級。
遵照設定檔之解碼器一般支援設定檔中所定義之所有特徵。舉例而言，作為一寫碼特徵，B圖像寫碼在H.264/AVC之基線設定檔不被支援，但在H.264/AVC之其他設定檔中被支援。符合一層級之解碼器應能夠解碼不需要超出該層級中所定義之限制的資源之任何位元串流。設定檔及層級之定義可對可解釋性有幫助。舉例而言，在視訊傳輸期間，可針對整個傳輸工作階段協商及同意一對設定檔定義及層級定義。更特定言之，在H.264/AVC中，層級可定義對需要處理的巨集區塊之數目、經解碼圖像緩衝器(DPB)大小、經寫碼圖像緩衝器(CPB)大小、垂直運動向量範圍、每兩個連續MB的運動向量之最大數目及B區塊是否可具有小於8×8像素的子巨集區塊分割區的限制。以此方式，解碼器可判定解碼器是否能夠恰當地解碼位元串流。
在圖1之實例中，內容準備裝置20之囊封單元30接收包含來自視訊編碼器28之經寫碼視訊資料的基本串流及包含來自音訊編碼器26之經寫碼音訊資料的基本串流。在一些實例中，視訊編碼器28及音訊編碼器26可各自包含用於自經編碼資料形成PES封包之封包化器。在其他實例中，視訊編碼器28及音訊編碼器26可各自與用於自經編碼資料形成PES封包之各別封包化器介接。在再其他實例中，囊封單元30可包括用於自經編碼音訊及視訊資料形成PES封包之封包化器。
視訊編碼器28可以多種方式編碼多媒體內容之視訊資料，從而以各種位元速率且按各種特性產生多媒體內容之不同表示，該等特性諸如像素解析度、訊框速率、對各種寫碼標準之遵照性、對各種寫碼標準之各種設定檔及/或設定檔層級之遵照性、具有一或多個視圖之表示(例如，對於二維或三維播放)或其他此等特性。如本發明中所使用，表示可包含音訊資料、視訊資料、文字資料(例如，用於隱藏字幕)或其他此等資料中之一者。表示可包括諸如音訊基本串流或視訊基本串流之基本串流。每一PES封包可包括stream_id，該stream_id識別PES封包所屬之基本串流。囊封單元30負責將基本串流組譯成各種表示之視訊檔案(例如，區段)。
囊封單元30自音訊編碼器26及視訊編碼器28接收用於表示之基本串流的PES封包且自該等PES封包形成對應的網路抽象層(NAL)單元。經寫碼視訊區段可經組織成NAL單元，其提供定址諸如視訊電話、儲存器、廣播或串流之應用程式的「網路友好」視訊表示。NAL單元可分類為視訊寫碼層(VCL) NAL單元及非VCL NAL單元。VCL單元可含有核心壓縮引擎，且可包括區塊、巨集區塊及/或截塊層級資料。其他NAL單元可為非VCL NAL單元。在一些實例中，一個時間執行個體中之經寫碼圖像(通常呈現為初級經寫碼圖像)可含於存取單元中，該存取單元可包括一或多個NAL單元。
非VCL NAL單元可尤其包括參數集NAL單元及SEI NAL單元。參數集可含有序列層級標頭資訊(在序列參數集(SPS)中)及不頻繁改變的圖像層級標頭資訊(在圖像參數集(PPS)中)。藉由參數集(例如，PPS及SPS)，不頻繁改變的資訊不需要針對每一序列或圖像重複，因此可改良寫碼效率。此外，使用參數集可實現重要標頭資訊之帶外傳輸，從而避免對於用於錯誤回復之冗餘傳輸的需要。在帶外傳輸實例中，參數集NAL單元可在與其他NAL單元(諸如，SEI NAL單元)不同之頻道上傳輸。
補充增強資訊(SEI)可含有對於解碼來自VCL NAL單元之經寫碼圖像樣本並非必要的資訊，但可輔助與解碼、顯示、錯誤回復及其他用途有關之過程。SEI訊息可含於非VCL NAL單元中。SEI訊息為一些標準規範之規範化部分，且因此對於標準相容之解碼器實施並非始終係強制的。SEI訊息可為序列層級SEI訊息或圖像層級SEI訊息。某一序列層級資訊可含於SEI訊息中，諸如，SVC之實例中的可調性資訊SEI訊息，及MVC中的視圖可調性資訊SEI訊息。此等實例SEI訊息可傳達關於(例如)操作點之提取及操作點之特性的資訊。此外，囊封單元30可形成資訊清單檔案，諸如，描述表示之特性的媒體呈現描述符(MPD)。囊封單元30可根據可延伸標示語言(XML)來格式化MPD。
囊封單元30可將用於多媒體內容之一或多個表示之資料連同資訊清單檔案(例如，MPD)提供至輸出介面32。輸出介面32可包含網路介面或用於寫入至儲存媒體之介面，諸如，通用串列匯流排(USB)介面、CD或DVD寫入器或燒錄器、至磁性或快閃儲存媒體之介面或用於儲存或傳輸媒體資料之其他介面。囊封單元30可向輸出介面32提供多媒體內容之表示中之每一者的資料，該輸出介面可經由網路傳輸或儲存媒體向伺服器設備60發送該資料。在圖1之實例中，伺服裝置60包括儲存各種多媒體內容64之儲存媒體62，每一多媒體內容64包括各別資訊清單檔案66及一或多個表示68A至68N (表示68)。在一些實例中，輸出介面32亦可將資料直接發送至網路74 。
在一些實例中，表示68可分成若干調適集。意即，表示68之各種子集可包括各別共同特性集合，諸如編解碼器、設定檔及層級、解析度、視圖之數目、區段之檔案格式、可識別待與待解碼及呈現(例如，由揚聲器)之表示及/或音訊資料一起顯示的文字之語言或其他特性的文字類型資訊、可描述調適集中之表示之場景的相機角度或真實世界相機視角的相機角度資訊、描述對於特定觀眾之內容適合性的分級資訊或類似資訊。
資訊清單檔案66可包括指示對應於特定調適集之表示68之子集以及該等調適集之共同特性的資料。資訊清單檔案66亦可包括表示調適集之個別表示的個別特性(諸如，位元速率)之資料。以此方式，調適集可提供簡化的網路頻寬調適。調適集中之表示可使用資訊清單檔案66之調適集元素的子代元素來指示。
伺服器裝置60包括請求處理單元70及網路介面72。在一些實例中，伺服器裝置60可包括複數個網路介面。此外，伺服器裝置60之特徵中之任一者或全部可在內容傳遞網路之其他裝置(諸如，路由器、橋接器、代理裝置、交換器或其他裝置)上實施。在一些實例中，內容傳遞網路之中間裝置可快取多媒體內容64之資料，且包括大體上與伺服器裝置60之組件一致的組件。一般而言，網路介面72經組態以經由網路74發送及接收資料。
請求處理單元70經組態以接收來自用戶端裝置(諸如，用戶端裝置40)對儲存媒體62之資料的網路請求。舉例而言，請求處理單元70可實施超文字傳送協定(HTTP)版本1.1，如在R. Fielding等人之RFC 2616，「超文字傳送協定- HTTP/1.1」(網路工作群，IETF，1999年6月)中所描述。意即，請求處理單元70可經組態以接收HTTP GET或部分GET請求，且回應於該等請求提供多媒體內容64之資料。請求可指定表示68中之一者的區段，例如，使用區段之URL。在一些實例中，該等請求亦可指定區段之一或多個位元組範圍，因此包含部分GET請求。請求處理單元70可經進一步組態以服務HTTP HEAD請求以提供表示68中之一者之一區段之標頭資料。在任何情況下，請求處理單元70可經組態以處理該等請求以將請求之資料提供至諸如用戶端裝置40之請求裝置。
另外地或替代地，請求處理單元70可經組態以經由諸如eMBMS之廣播或多播協定而傳遞媒體資料。內容準備裝置20可用與如所描述實質上相同的方式產生DASH區段及/或子區段，但伺服器裝置60可使用eMBMS或另一廣播或多播網路傳送協定來傳遞此等區段或子區段。舉例而言，請求處理單元70可經組態以接收來自用戶端裝置40之一多播群組加入請求。意即，伺服器裝置60可對與特定媒體內容(例如，實況事件之廣播)相關聯之用戶端裝置(包括用戶端裝置40)通告與一多播群組相關聯的一網際網路協定(IP)位址。用戶端裝置40轉而可提交加入多播群組之請求。此請求可遍及網路74傳播，例如，經由構成網路74之路由器，使得使該等路由器將去往與多播群組相關聯之IP位址的訊務導引至訂用之用戶端裝置，諸如，用戶端裝置40。
如圖1之實例中所說明，多媒體內容64包括資訊清單檔案66，該資訊清單檔案66可對應於一媒體呈現描述(MPD)。資訊清單檔案66可含有不同替代性表示68 (例如，具有不同品質之視訊服務)的描述，且該描述可包括(例如)編解碼器資訊、設定檔值、層級值、位元率及表示68之其他描述性特性。用戶端裝置40可檢索媒體呈現之MPD以判定如何存取表示68的區段。
詳言之，檢索單元52可檢索用戶端裝置40之組態資料(未圖示)以判定視訊解碼器48之解碼能力及視訊輸出端44之顯現能力。該組態資料亦可包括由用戶端裝置40之使用者選擇的任何或所有語言偏好、對應於由用戶端裝置40之使用者設定之深度偏好的一或多個相機視角及/或由用戶端裝置40之使用者選擇的一分級偏好。檢索單元52可包含(例如)經組態以提交HTTP GET及部分GET請求之一網頁瀏覽器或一媒體用戶端。檢索單元52可對應於由用戶端裝置40之一或多個處理器或處理單元(未圖示)執行的軟體指令。在一些實例中，關於檢索單元52描述的所有或部分功能性可以硬體或硬體、軟體及/或韌體之組合來實施，其中可提供必需的硬體以執行用於軟體或韌體之指令。
檢索單元52可比較用戶端裝置40之解碼及顯現能力與由資訊清單檔案66之資訊指示的表示68之特性。檢索單元52可一開始檢索資訊清單檔案66之至少一部分以判定表示68的特性。舉例而言，檢索單元52可請求描述一或多個調適集之特性的資訊清單檔案66之一部分。檢索單元52可選擇表示68中具有可由用戶端裝置40之寫碼及顯現能力滿足之特性的一子集(例如，一調適集)。檢索單元52可接著判定用於調適集中之表示的位元速率，判定網路頻寬之當前可用量，及自表示中具有可由網路頻寬滿足之一位元速率之一者檢索區段。
一般而言，較高位元速率表示可產生較高品質視訊播放，而較低位元速率表示可在可用網路頻寬減少時提供足夠品質視訊播放。因此，當可用網路頻寬相對高時，檢索單元52可自相對高位元速率表示檢索資料，而當可用網路頻寬低時，檢索單元52可自相對低位元速率表示檢索資料。以此方式，用戶端裝置40可經由網路74串流傳輸多媒體資料，同時亦適應網路74之改變著的網路頻寬可用性。
另外或替代地，檢索單元52可經組態以根據諸如eMBMS或IP多播之廣播或多播網路協定來接收資料。在此等實例中，檢索單元52可提交加入與特定媒體內容相關聯之一多播網路群組的請求。在加入多播群組後，檢索單元52可接收多播群組之資料，而無發出至伺服器裝置60或內容準備裝置20之進一步請求。檢索單元52可提交當不再需要多播群組之資料時離開多播群組之請求，例如，以停止播放或將頻道改變至不同多播群組。
網路介面54可接收並提供選定表示之區段之資料至檢索單元52，檢索單元52又可將該等區段提供至解囊封單元50。解囊封單元50可將一視訊檔案之元素解囊封成構成之PES串流，解封包化該等PES串流以檢索經編碼資料，且將經編碼資料發送至音訊解碼器46或視訊解碼器48，此取決於經編碼資料為音訊還是視訊串流之部分，例如，如由該串流之PES封包標頭指示。音訊解碼器46解碼經編碼音訊資料，且將經解碼音訊資料發送至音訊輸出端42，而視訊解碼器48解碼經編碼視訊資料，且將可包括串流之複數個視圖的經解碼視訊資料發送至視訊輸出端44。
視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、檢索單元52及解囊封單元50各自可實施為適用的多種合適處理電路系統中之任一者，合適處理電路系統諸如一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路系統、軟體、硬體、韌體或其任何組合。視訊編碼器28及視訊解碼器48中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式視訊編碼器/解碼器(CODEC)之部分。同樣地，音訊編碼器26及音訊解碼器46中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式CODEC之部分。包括視訊編碼器28、視訊解碼器48、音訊編碼器26、音訊解碼器46、囊封單元30、檢索單元52及/或解囊封單元50之一設備可包含積體電路、微處理器及/或無線通信裝置(諸如，蜂巢式電話)。
用戶端裝置40、伺服器裝置60及/或內容準備裝置20可經組態以根據本發明之技術操作。出於實例之目的，本發明描述關於用戶端裝置40及伺服器裝置60之此等技術。然而，應理解，替代伺服器裝置60 (或除了伺服器裝置60之外)，內容準備裝置20可經組態以執行此等技術。
如以下將更詳細地描述，內容準備裝置20可經組態以：接收魚眼視訊資料；產生包括該魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及輸出該檔案。類似地，用戶端裝置40可經組態以：處理包括魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊；及基於該判定輸出該魚眼視訊資料以供顯現。
囊封單元30可形成NAL單元，該等NAL單元包含識別NAL所屬之程式的一標頭，以及一有效負載，例如，音訊資料、視訊資料或描述NAL單元對應於的輸送或程式串流之資料。舉例而言，在H.264/AVC中，NAL單元包括一1位元組標頭及變化大小之一有效負載。在其有效負載中包括視訊資料之NAL單元可包含各種粒度等級之視訊資料。舉例而言，NAL單元可包含視訊資料之一區塊、複數個區塊、視訊資料之一截塊或視訊資料之全部圖像。囊封單元30可自視訊編碼器28接收呈基本串流之PES封包之形式的經編碼視訊資料。囊封單元30可使每一基本串流與對應程式相關聯。
囊封單元30亦可組譯來自複數個NAL單元之存取單元。一般而言，存取單元可包含用於表示視訊資料之一訊框以及對應於該訊框之音訊資料(當此音訊資料可用時)的一或多個NAL單元。存取單元通常包括用於一個輸出時間執行個體之所有NAL單元，例如，用於一個時間執行個體之所有音訊及視訊資料。舉例而言，若每一視圖具有20訊框每秒(fps)之訊框速率，則每一時間執行個體可對應於0.05秒之時間間隔。在此時間間隔期間，可同時顯現同一存取單元(同一時間執行個體)之所有視圖的特定訊框。在一個實例中，存取單元可包含一個時間執行個體中之一經寫碼圖像，其可呈現為一初級經寫碼圖像。
因此，一存取單元可包含一共同時間執行個體之所有音訊及視訊訊框，例如，對應於時間X 之所有視圖。本發明亦將一特定視圖之經編碼圖像稱作「視圖分量」。意即，視圖分量可包含在一特定時間用於一特定視圖的一經編碼圖像(或訊框)。因此，存取單元可被定義為包含共同時間執行個體之所有視圖分量。存取單元之解碼次序未必與輸出或顯示次序相同。
媒體呈現可包括媒體呈現描述(MPD)，該媒體呈現描述可含有不同替代性表示(例如，具有不同品質之視訊服務)的描述，且該描述可包括(例如)編解碼器資訊、設定檔值及層級值。MPD為資訊清單檔案(諸如，資訊清單檔案66)之一個實例。用戶端裝置40可檢索媒體呈現之MPD以判定如何存取各種呈現之電影片段。電影片段可位於視訊檔案之電影片段框(moof框)中。
資訊清單檔案66 (其可包含例如MPD)可通告表示68之區段之可用性。意即，MPD可包括指示表示68中之一者之第一片段變得可用之掛鐘時間的資訊，以及指示表示68內的區段之持續時間的資訊。以此方式，用戶端裝置40之檢索單元52可基於在一特定區段前的區段之開始時間以及持續時間來判定每一區段可用之時間。
在囊封單元30已基於所接收之資料將NAL單元及/或存取單元組譯成一視訊檔案之後，囊封單元30將視訊檔案傳至輸出介面32以用於輸出。在一些實例中，囊封單元30可本端儲存視訊檔案或經由輸出介面32將該視訊檔案發送至一遠端伺服器，而非將視訊檔案直接發送至用戶端裝置40。輸出介面32可包含(例如)傳輸器、收發器、用於將資料寫入至一電腦可讀媒體(諸如，光碟機、磁性媒體驅動機(例如，軟碟機))之裝置、通用串列匯流排(USB)端口、網路介面或其他輸出介面。輸出介面32將視訊檔案輸出至電腦可讀媒體，諸如，傳輸信號、磁性媒體、光學媒體、記憶體、隨身碟或其他電腦可讀媒體。
網路介面54可經由網路74接收一NAL單元或存取單元並經由檢索單元52將該NAL單元或存取單元提供至解囊封單元50。解囊封單元50可將一視訊檔案之元素解囊封至構成之PES串流，解封包化該等PES串流以檢索經編碼資料，且將經編碼資料發送至音訊解碼器46或視訊解碼器48，此取決於經編碼資料為音訊還是視訊串流之部分，例如，如由該串流之PES封包標頭指示。音訊解碼器46解碼經編碼音訊資料，且將經解碼音訊資料發送至音訊輸出端42，而視訊解碼器48解碼經編碼視訊資料，且將可包括串流之複數個視圖的經解碼視訊資料發送至視訊輸出端44。
圖2為更詳細地說明圖1之檢索單元52之組件的一實例集合之方塊圖。在此實例中，檢索單元52包括eMBMS介體單元100、DASH用戶端110及媒體應用程式112。
在此實例中，eMBMS介體單元100進一步包括eMBMS接收單元106、快取記憶體104及代理伺服器102。在此實例中，eMBMS接收單元106經組態以經由eMBMS接收資料，例如，根據單向輸送檔案傳遞(FLUTE)，其在T. Paila等人之「FLUTE——單向輸送檔案傳遞」(網路工作群，RFC 6726，2012年11月，可在http://tools.ietf.org/html/rfc6726處獲得)中描述。意即，eMBMS接收單元106可經由來自(例如)伺服器裝置60之廣播接收檔案，伺服器裝置60可充當廣播多播服務中心(BM-SC)。
當eMBMS介體單元100接收用於檔案之資料時，eMBMS介體單元100可將接收之資料儲存於快取記憶體104中。快取記憶體104可包含計算機可讀存儲媒體，諸如，快閃記憶體、硬碟、RAM或任一其他合適的儲存媒體。
代理伺服器102可充當用於DASH用戶端110之一服務器。舉例而言，代理伺服器102可將MPD檔案或其他資訊清單檔案提供至DASH用戶端110。代理伺服器102可通告用於MPD檔案中之區段的可用性時間，以及可檢索區段之超鏈接。此等超鏈接可包括對應於用戶端裝置40之本端主機位址首碼(例如，用於IPv4之127.0.0.1)。以此方式，DASH用戶端110可使用HTTP GET或部分GET請求而向代理伺服器102請求區段。舉例而言，對於可自鏈接http://127.0.0.1/rep1/seg3獲得之區段，DASH用戶端110可建構包括對http://127.0.0.1/rep1/seg3之請求的HTTP GET請求，且將該請求提交至代理伺服器102。代理伺服器102可自快取記憶體104檢索所請求之資料且回應於此等請求而將資料提供至DASH用戶端110。
根據本發明之技術，囊封單元30可發信號且檢索單元52可接收與使用受限制方案儲存之任何或所有視訊資料有關的重要視訊資訊、高動態範圍/廣色域(HDR/WCG)視訊、VR/全向/360視訊、訊框裝填之視訊及具有顯示定向改變之視訊，使得重要視訊資訊可方便地由應用程式用戶端(諸如，DASH用戶端)存取，以作出內容拒絕/選擇/接受/請求決策。如上所指出，重要視訊資訊可包括可用於內容選擇(例如，由檢索單元52進行的對視訊播放軌或其一部分之選擇以供消耗)之資訊。
圖3為說明實例多媒體內容120之元素之概念圖。多媒體內容120可對應於多媒體內容64 (圖1)，或儲存於儲存媒體62中之另一多媒體內容。在圖3之實例中，多媒體內容120包括媒體呈現描述(MPD) 122及複數個表示124A至124N (表示124)。表示124A包括可選標頭資料126及區段128A至128N (區段128)，而表示124N包括可選標頭資料130及區段132A至132N (區段132)。為了方便起見，使用字母N來標明代表示124中之每一者中的最後一個電影片段。在一些實例中，表示124之間可存在不同數目之電影片段。
MPD 122可包含與表示124分開之一資料結構。MPD 122可對應於圖1之資訊清單檔案66。同樣地，表示124可對應於圖1之表示68。一般而言，MPD 122可包括大體描述表示124之特性的資料，諸如，寫碼及顯現特性、調適集、MPD 122對應之設定檔、文字類型資訊、相機角度資訊、等級資訊、特技模式資訊(例如，指示包括時間子序列之表示的資訊)及/或用於檢索遠端週期(例如，用於在播放期間至媒體內容內的目標化之通告插入)之資訊。
標頭資料126當存在時可描述區段128之特性，例如，隨機存取點(RAP，亦被稱作串流存取點(SAP))之時間位置、區段128中之哪一者包括隨機存取點、至區段128內之隨機存取點的位元組偏移、區段128之統一資源定位符(URL)或區段128之其他態樣。標頭資料130當存在時可描述用於區段132之類似特性。另外或替代地，此等特性可充分包括於MPD 122內。
區段128、132包括一或多個經寫碼視訊樣本，其中之每一者可包括視訊資料之訊框或截塊。區段128之經寫碼視訊樣本中之每一者可具有類似特性，例如，高度、寬度及頻寬要求。此等特性可由MPD 122之資料來描述，儘管此資料在圖3之實例中未說明。MPD 122可包括如由3GPP規範所描述之特性，並且添加了本發明中所描述的發信號資訊中之任何者或全部。
區段128、132中之每一者可與唯一的統一資源定位符(URL)相關聯。因此，區段128、132中之每一者可使用串流網路協定(諸如，DASH)來獨立地檢索。以此方式，諸如用戶端裝置40之目的地裝置可使用一HTTP GET請求來檢索區段128或132。在一些實例中，用戶端裝置40可使用HTTP部分GET請求以檢索區段128或132之特定位元組範圍。
圖4為說明一實例視訊檔案150之元素之方塊圖，該實例視訊檔案可對應於表示之區段，諸如，圖3之區段114、124中之一者。區段128、132中之每一者可包括實質上遵照圖4之實例中所說明的資料之佈置之資料。視訊檔案150可稱為囊封一區段。如上所述，根據ISO基本媒體檔案格式及其擴展的視訊檔案將資料儲存於一系列對象(稱作「邏輯框」)中。在圖4之實例中，視訊檔案150包括檔案類型(FTYP)框152、電影(MOOV)框154、區段索引(sidx)框162、電影片段(MOOF)框164及電影片段隨機存取(MFRA)框166。雖然圖4表示視訊檔案之一實例，但應理解，根據ISO基本媒體檔案格式及其擴展，其他媒體檔案可包括類似於視訊檔案150之資料結構化的其他類型之媒體資料(例如，音訊資料、計時文字資料或類似者)。
檔案類型(FTYP)框152大體描述用於視訊檔案150之一檔案類型。檔案類型框152可包括識別描述用於視訊檔案150之最佳用途的規範之資料。檔案類型框152可替代地置放於MOOV框154、電影片段框164及/或MFRA框166前。
在一些實例中，諸如視訊檔案150之區段可包括在FTYP框152前之一MPD更新框(未圖示)。MPD更新框可包括指示待更新對應於包括視訊檔案150之一表示的MPD之資訊，連同用於更新該MPD之資訊。舉例而言，MPD更新框可提供用於待用以更新MPD之資源的一URI或URL。作為另一實例，MPD更新框可包括用於更新MPD之資料。在一些實例中，MPD更新框可緊跟在視訊檔案150之區段類型(STYP)框(未圖示)之後，其中STYP框可定義視訊檔案150之一區段類型。
在圖4之實例中，MOOV框154包括電影標頭(MVHD)框156、視野(FOV)框157、播放軌(TRAK)框158及一或多個電影擴展(MVEX)框160。一般而言，MVHD框156可描述視訊檔案150之一般特性。舉例而言，MVHD框156可包括描述以下之資料：原先創造視訊檔案150之時間、最後修改視訊檔案150之時間、用於視訊檔案150之時間標度、用於視訊檔案150之播放持續時間或大體描述視訊檔案150之其他資料。
TRAK框158可包括用於視訊檔案150之播放軌之資料。TRAK框158可包括描述對應於TRAK方塊158之播放軌的特性之播放軌標頭(TKHD)框。在一些實例中，TRAK框158可包括經寫碼視訊圖像，而在其他實例中，該播放軌之經寫碼視訊圖像可包括於電影片段164中，電影片段可由TRAK框158及/或sidx框162之資料參考。
在一些實例中，視訊檔案150可包括一個以上播放軌。因此，MOOV框154可包括等於視訊檔案150中的播放軌之數目的數目個TRAK框。TRAK框158可描述視訊檔案150之對應播放軌之特性。舉例而言，TRAK框158可描述用於對應播放軌之時間及/或空間資訊。當囊封單元30 (圖3)包括視訊檔案(諸如，視訊檔案150)中之一參數集播放軌時，類似於MOOV框154之TRAK框158的TRAK框可描述參數集播放軌之特性。囊封單元30可在描述參數集播放軌之TRAK框內發信號序列層級SEI訊息存在於參數集播放軌中。{TRAK框158亦可包括如本發明中所描述之樣本表框(stbl)。此樣本表可進一步包括同步樣本框(stss)}
MVEX框160可描述對應電影片段164之特性，例如，發信視訊檔案150除包括於MOOV框154 (若存在)內之視訊資料之外亦包括電影片段164。在串流傳輸視訊資料之情況下，經寫碼視訊圖像可包括於電影片段164中，而非在MOOV框154中。因此，所有經寫碼視訊樣本可包括於電影片段164中，而非在MOOV框154中。
MOOV框154可包括等於視訊檔案150中的電影片段164之數目的數目個MVEX框160。MVEX框160中之每一者可描述電影片段164中之一對應者的特性。舉例而言，每一MVEX框可包括描述用於電影片段164中之該對應者的時距之一電影擴展標頭框(MEHD)框。
如上文所指出，囊封單元30可在視訊樣本中儲存不包括實際經寫碼視訊資料之序列資料集。視訊樣本可大體對應於一存取單元，其為特定時間執行個體下之經寫碼圖像之表示。在AVC之情況下，經寫碼圖像包括一或多個VCL NAL單元(其含有建構存取單元之所有像素的資訊)，及其他相關聯非VCL NAL單元(諸如，SEI訊息)。因此，囊封單元30可在電影片段164中之一者中包括一序列資料集，其可包括序列層級SEI訊息。囊封單元30可進一步將序列資料集及/或序列層級SEI訊息之存在發信號為存在於MVEX框160中之對應於電影片段164中之一者的一者內的電影片段164中之一者中。
SIDX框162為視訊檔案150之可選元素。意即，遵照3GPP檔案格式之視訊檔案或其他此等檔案格式未必包括SIDX框162。根據3GPP檔案格式之實例，SIDX框可用以識別一區段(例如，視訊檔案150內含有之一區段)之子區段。3GPP檔案格式將子區段定義為「具有一或多個對應媒體資料框及含有由電影片段框參考之資料的媒體資料框的一或多個連續電影片段框之自含式集合，必須跟在電影片段框之後，並在含有關於同一軌道之資訊的下一個電影片段框之前」。3GPP檔案格式亦指示SIDX框「含有對由框記錄之(子)區段之子區段的參考之序列。所參考之子區段在呈現時間上相鄰。類似地，由區段索引框參考之位元組始終在區段內相鄰。所參考大小給出所參考材料中之位元組之數目的計數」。
SIDX框162大體表示提供視訊檔案150中包括的一區段之一或多個子區段之資訊。舉例而言，資訊資訊可包括子區段開始及/或結束之播放時間、子區段之位元組偏移、該等子區段是否包括(例如，開始於)串流存取點(SAP)、SAP之類型(例如，SAP為瞬時解碼器再新(IDR)圖像、清潔隨機存取(CRA)圖像、斷鏈存取(BLA)圖像還是類似者)、子區段中的SAP (就播放時間及/或位元組偏移而言)之位置及類似者。
電影片段164可包括一或多個經寫碼視訊圖像。在一些實例中，電影片段164可包括一或多個圖像群組(GOP)，其中之每一者可包括許多經寫碼視訊圖像，例如，訊框或圖像。此外，如上文所描述，在一些實例中，電影片段164可包括序列資料集。電影片段164中之每一者可包括一電影片段標頭框(MFHD，圖4中未展示)。MFHD框可描述對應電影片段之特性，諸如，電影片段之序號。電影片段164可按序號次序包括於視訊檔案150中。
MFRA框166可描述在視訊檔案150之電影片段164內的隨機存取點。此可輔助執行特技模式，諸如，執行對在由視訊檔案150囊封之一區段內的特定時間位置(亦即，播放時間)之搜尋。在一些實例中，MFRA框166通常可選，且不需要包括於視訊檔案中。同樣地，諸如用戶端裝置40之用戶端裝置未必需要參考MFRA框166來正確地解碼及顯示視訊檔案150之視訊資料。MFRA框166可包括等於視訊檔案150之播放軌之數目或在一些實例中等於視訊檔案150之媒體播放軌(例如，非提示播放軌)之數目的數目個播放軌片段隨機存取(TFRA)框(未圖示)。
在一些實例中，電影片段164可包括一或多個串流存取點(SAP)，諸如，IDR圖像。同樣地，MFRA框166可提供對SAP在視訊檔案150內之位置的指示。因此，視訊檔案150之時間子序列可由視訊檔案150之SAP形成。該時間子序列亦可包括其他圖像，諸如，取決於SAP之P訊框及/或B訊框。時間子序列之訊框及/或截塊可配置於區段內，使得時間子序列的取決於子序列之其他訊框/截塊之訊框/截塊可被恰當地解碼。舉例而言，在資料之階層式配置中，用於其他資料之預測的資料亦可包括於時間子序列中。
根據本發明之技術，MOOV框154可包括指示旋轉及/或翻轉中之任一者或兩者是否應用於電影片段164中包括之視訊資料的一或多個框(諸如，SchemeInformationBox及/或RestrictedSchemeInfoBox)。另外或替代地，MOOV框154可含有HDR/WCG視訊之重要資訊。
虛擬實境(VR)為虛擬地存在於藉由顯現自然及/或合成影像及與沉浸使用者之移動相關的聲音而建立的非實體世界中的能力，其允許與彼世界交互。隨著在顯現裝置(諸如，頭戴顯示器(HMD))及VR視訊(通常亦被稱作360度視訊或全向視訊)建立方面取得的最新進展，可提供顯著的體驗品質。VR應用包括遊戲、訓練、教育、運動視訊、線上購物、成人娛樂等等。
VR系統之一個實例包括以下組分及步驟： 1)相機套件，其典型地由指向不同方向且理想地共同地涵蓋該相機套件周圍之所有視點之多個個別攝影機組成。 2)影像拼接，其中由多個個別攝影機拍攝的視訊圖像在時域中經同步並在空間域中拼接，以形成球體視訊，但映射至矩形格式，諸如，等矩形(如世界地圖)或立方體映射。 3)映射之矩形格式中的視訊經使用視訊編解碼器編碼/壓縮，例如，H.265/HEVC或H.264/AVC或其他視訊寫碼標準。 4)經壓縮視訊位元串流可以一媒體格式儲存及/或囊封，且經由網路傳輸(可能僅傳輸僅覆蓋正由使用者看到之區的子集)至一接收器。 5)接收器接收視訊位元串流或其部分，其可能以一格式囊封，且發送經解碼視訊信號或其部分至一顯現裝置。 6)顯現裝置可例如為HMD，其可追蹤頭部移動及甚至眼眼移動時刻，且顯現視訊之對應部分，使得將沉浸式體驗傳遞給使用者。
在本文件之寫作之時，全向媒體格式(OMAF)正由MPEG開發以定義實現全向媒體應用之媒體格式，其聚焦於具有360°視訊及相關聯音訊之VR應用。其首先指定以下清單：可用於將球體或360°視訊轉換成二維矩形視訊之投影方法，繼而如何使用ISO基本媒體檔案格式(ISOBMFF)儲存全向媒體及相關聯後設資料，及如何使用HTTP之動態自適應串流(DASH)囊封、發信號及串流傳輸全向媒體，及最終哪些視訊及音訊編解碼器以及媒體寫碼組態可用於壓縮及播放全向媒體信號。
OMAF將變為ISO/IEC 23090-2，且在此寫作之時，最新草案規範可在以下找到：http://wg11.sc29.org/doc_end_user/documents/119_Torino/wg11/m40849-v1-m40849_OMAF_text_Berlin_output.zip。
本發明中所描述之實例技術與用於全向視訊或影像資料之高階發信號有關。當用某些裝置(例如，頭戴式顯示器及頭戴式耳機)消耗全向媒體內容時，媒體之僅僅對應於使用者之檢視定向的部分被顯現，如同在擷取媒體之處及擷取媒體之時使用者在現場(例如，相機所在之處)。全向媒體應用之最風行形式中之一者為全向視訊，亦稱為360度視訊。全向視訊典型地由覆蓋高達360度場景之多個相機擷取，例如，如上所述。
一般而言，全向視訊由一連串全向影像形成。因此，關於產生全向影像內容描述本發明中所描述之實例技術。接著，對於全向視訊內容，此等全向影像可經依序顯示。在一些實例中，使用者可需要拍攝僅僅全向影像(例如，作為使用者之整個360度環境之快照)，且在本發明中描述之技術亦適用於此等實例狀況。
全向視訊可為立體或單像。當視訊為立體時，向每一眼睛展示不同影像，使得查看者可感知深度。因而，典型地使用面對各自方向之兩個攝影機擷取立體視訊。當視訊為單像時，向兩隻眼睛展示同一影像。
視訊資料可視為魚眼視訊資料，其中使用一或多個魚眼鏡頭擷取視訊資料(或經產生如同使用一或多個魚眼鏡頭擷取)。魚眼鏡頭可為產生意欲建立廣全景或半球形影像之強視覺失真的超廣角鏡頭。
本發明之技術可適用於擷取之視訊內容、VR，及通常適用於視訊及影像顯示。技術可用於行動裝置中，但該等技術不應視為限於行動應用。一般而言，該等技術可用於虛擬實境應用、視訊遊戲應用，或需要360度球體視訊/影像環境之其他應用。
在一些實例中，全向影像內容可用包括兩個魚眼鏡頭之相機裝置擷取。在兩個魚眼鏡頭定位於相機裝置之相對側以擷取影像內容之球體的相對部分之情況下，影像內容可為單像且覆蓋360度視訊之完整球體。類似地，在兩個魚眼鏡頭定位於相機裝置之同一側以擷取影像內容之球體的同一部分的情況下，影像內容可為立體且覆蓋360度視訊之球體的一半。由相機產生之影像為圓形影像(例如，一個影像訊框包括兩個圓形影像)。
圖5A及圖5B為說明根據本發明中描述之一或多個實例技術的用於擷取全向影像內容之實例裝置之方塊圖。如圖5A中所說明，計算裝置210A為包括位於計算裝置210A之相對側上的魚眼鏡頭212A及魚眼鏡頭212B以擷取覆蓋全部球體之單像影像內容(例如，完整360度視訊內容)之視訊擷取裝置。如圖5B中所說明，計算裝置210B為包括位於計算裝置210B之同一側上的魚眼鏡頭212C及魚眼鏡頭212D以擷取覆蓋球體之大約一半的立體影像內容之視訊擷取裝置。計算裝置210A或計算裝置210B可為圖1之內容準備裝置20之視訊源24之部分。
如上文所描述，相機裝置包括複數個魚眼鏡頭。一些實例攝影機裝置包括兩個魚眼鏡頭，但該等實例技術不限於兩個魚眼鏡頭。一個實例相機裝置可包括16個鏡頭(例如，用於拍攝3D VR內容之16相機陣列)。另一實例相機裝置可包括八個鏡頭，每一個具有195度視角(例如，每一鏡頭擷取360度中之195度的影像內容)。其他實例相機裝置包括三個或四個鏡頭。一些實例可包括擷取360度影像內容之360度鏡頭。
本發明中所描述之實例技術大體關於擷取全向影像/視訊之兩個魚眼鏡頭來描述。然而，實例技術不受如此限制。實例技術可適用於包括複數個(例如，兩個或多於兩個)鏡頭(即使該等鏡頭並非魚眼鏡頭)及複數個魚眼鏡頭之實例相機裝置。舉例而言，實例技術描述拼接擷取之影像的方式，且該等技術可適用於存在來自複數個鏡頭(作為一實例，該等鏡頭可為魚眼鏡頭)的複數個擷取之影像之實例。雖然實例技術關於兩個魚眼鏡頭而描述，但實例技術不受如此限制，且適用於用於擷取全向影像/視訊之各種相機類型。
OMAF中支援魚眼VR/360視訊。在此寫作之時，最新草案OMAF規範指定一魚眼VR/360視訊格式，其中替代應用投影及可選地逐個區域包裝以在編碼前產生2D視訊，對於每一存取單元，來自擷取相機之圓形影像直接內嵌於2D圖像中，例如，如圖6中所展示。圖6展示每視訊圖像多個魚眼影像之一實例。如圖6中所展示，第一魚眼影像202及第二魚眼影像204內嵌於2D圖像200中。
此魚眼視訊接著可經編碼且位元串流可囊封於ISOBMFF檔案中且可經進一步囊封為一DASH表示。此外，魚眼視訊之性質(包括指示魚眼視訊之特性的參數)可經發信號並用以在用戶端側處正確地顯現360視訊。魚眼VR/360視訊方法之主要優勢中之一者在於，其藉由行動終端機支援低成本使用者產生之VR內容。
用於受限制視訊樣本項類型'resv'的魚眼全向視訊方案之使用指示經解碼圖像為魚眼視訊圖像。魚眼全向視訊方案之使用由SchemeTypeBox內等於'fodv'(魚眼全向視訊)的scheme_type語法元素之值指示。用含於SchemeInformationBox內之FisheyeOmnidirectionalVideoBox指示魚眼視訊之格式，SchemeInformationBox包括於包括於樣本項中之RestrictedSchemeInfoBox中。在一些實例中，當方案類型為'fodv'時，一個且僅一個FisheyeOmnidirectionalVideoBox應存在於SchemeInformationBox中。當FisheyeOmnidirectionalVideoBox存在於SchemeInformationBox中時，StereoVideoBox及RegionWisePackingBox不應存在於同一SchemeInformationBox中。如OMAF DIS之條款6中指定的FisheyeOmnidirectionalVideoBox含有含有魚眼視訊性質參數之FisheyeOmnidirectionalVideoInfo()語法結構。
FisheyeOmnidirectionalVideoInfo()語法結構之語法及語義在最新草案OMAF規範之條款6中指定。語法如下： aligned(8) class FisheyeOmnidirectionalVideoInfo( ) { bit(24) reserved = 0; unsigned int(8) num_circular_images; for(i=0; i＜ num_circular_images; i++) { unsigned int(32) image_center_x; unsigned int(32) image_center_y; unsigned int(32) full_radius; unsigned int(32) picture_radius; unsigned int(32) scene_radius; unsigned int(32) image_rotation; bit(30) reserved = 0; unsigned int(2) image_flip; unsigned int(32) image_scale_axis_angle; unsigned int(32) image_scale_x; unsigned int(32) image_scale_y; unsigned int(32) field_of_view; bit(16) reserved = 0; unsigned int (16) num_angle_for_displaying_fov; for(j=0; j＜ num_angle_for_displaying_fov; j++) { unsigned int(32) displayed_fov; unsigned int(32) overlapped_fov; } signed int(32) camera_center_yaw; signed int(32) camera_center_pitch; signed int(32) camera_center_roll; unsigned int(32) camera_center_offset_x; unsigned int(32) camera_center_offset_y; unsigned int(32) camera_center_offset_z; bit(16) reserved = 0; unsigned int(16) num_polynomial_coefficeients; for(j=0; j＜ num_polynomial_coefficients; j++) { unsigned int(32) polynomial_coefficient_K; } bit(16) reserved = 0; unsigned int (16) num_local_fov_region; for(j=0; j＜num_local_fov_region; j++) { unsigned int(32) start_radius; unsigned int(32) end_radius; signed int(32) start_angle; signed int(32) end_angle; unsigned int(32) radius_delta; signed int(32) angle_delta; for(rad=start_radius; rad＜= end_radius; rad+=radius_delta) { for(ang=start_angle; ang＜= ang_radius; ang+=angle_delta) { unsigned int(32) local_fov_weight; } } } bit(16) reserved = 0; unsigned int(16) num_polynomial_coefficients_lsc; for(j=0; j＜ num_polynomial_coefficients_lsc; j++) { unsigned int (32) polynomial_coefficient_K_lsc_R; unsigned int (32) polynomial_coefficient_K_lsc_G; unsigned int (32) polynomial_coefficient_K_lsc_B; } } bit(24) reserved = 0; unsigned int(8) num_deadzones; for(i=0; i＜ num_deadzones; i++) { unsigned int(16) deadzone_left_horizontal_offset; unsigned int(16) deadzone_top_vertical_offset; unsigned int(16) deadzone_width; unsigned int(16) deadzone_height; } }
OMAF DIS之當前草案中的FisheyeOmnidirectionalVideoInfo()語法結構之語義如下。
num_circular_images指定此邏輯框適用於的每一樣本之經寫碼圖像中之圓形影像之數目。典型地，該值等於2，但其他非零值亦係可能的。
image_center_x為定點16.16值，其指定在亮度樣本中此邏輯框適用於的每一樣本之經寫碼圖像中的圓形影像之中心的水平座標。
image_center_y為定點16.16值，其指定在亮度樣本中此邏輯框適用於的每一樣本之經寫碼圖像中的圓形影像之中心的垂直座標。
full_radius為定點16.16值，其指定在亮度樣本中自圓形影像之中心至完整圓影像之邊緣的半徑。
picture_radius為定點16.16值，其指定在亮度樣本中自圓形影像之中心至影像邊界之最靠近邊緣的半徑。圓形魚眼影像可藉由相機圖像裁剪。因此，此值指示其中像素可使用的圓之半徑。
scene_radius為定點16.16值，其指定在亮度樣本中自圓形影像之中心至影像中之區之最靠近邊緣的半徑，其中保證不存在來自攝影機主體自身之障礙且在圍封區內不存在鏡頭失真過大而不能用於拼接。
image_rotation為定點16.16值，其指定圓形影像之以度計的旋轉量。影像可旋轉影像+/−90度，或+/−180度，或任何其他值。
image_flip指定影像是否已翻轉及影像如何翻轉，及因此反向翻轉操作需要應用。值0指示影像尚未翻轉。值1指示影像已垂直地翻轉。值2指示影像已水平地翻轉。值3指示影像已垂直地及水平地翻轉。
image_scale_axis_angle、image_scale_x及image_scale_y為三個定點16.16值，其指定影像是否已沿著軸線縮放及影像如何沿著軸線縮放。軸線由如由image_scale_axis_angle以度計之值指示的單一角度定義。0度之角度意謂水平向量極佳為水平且垂直向量極佳為垂直。image_scale_x及image_scale_y之值指示分別平行於及正交於軸線之方向的縮放比率。
field_of_view為定點16.16值，其指定魚眼鏡頭之以度計的視野。用於半球形魚眼鏡頭之典型值為180.0度。
num_angle_for_displaying_fov指定角之數目。根據num_angle_for_displaying_fov之值，displayed_fov及overlapped_fov之多個值係以相等間隔定義，該等間隔在12點鐘處開始並順時針走。
displayed_fov指定顯示之視野及每一魚眼相機影像之對應影像區。overlapped_fov指定包括就多個圓形影像之間的視野而言重疊區域之區域，重疊區域通常用於摻合。displayed_fov及overlapped_fov之值小於或等於field_of_view之值。
注意：field_of_view之值係藉由每一魚眼鏡頭之物理性質判定，而displayed_fov及overlapped_fov之值係藉由多個魚眼鏡頭之組態判定。舉例而言，當num_circular_images之值等於2且兩個鏡頭對稱地定位時，displayed_fov及overlapped_fov之值可分別預設地設定為180及190。然而，值可取決於鏡頭之組態及內容之特性而改變。舉例而言，若具有displayed_fov值(左側攝影機=170且右側攝影機=190)及overlapped_fov值(左側攝影機=185且右側=190)之拼接品質比具有預設值(180及190)之品質好，或若攝影機之實體組態不對稱，則可取不等之displayed_fov與overlapped_fov值。另外，就多個(N＞2)魚眼影像而論，單一displayed_fov值不能指定每一魚眼影像之精確區。如圖6中所展示，displayed_fov(602)根據方向變化。為了操控多個(N＞2)魚眼影像，引入num_angle_for_displaying_fov。舉例而言，若此值等於12，則魚眼影像分成12個扇區，其中每一扇區角為30度。
camera_center_yaw指定點的以2− 16 度為單位之偏航角，每一樣本之經寫碼圖像中之圓形影像的中心像素經投影至球體表面。此為指定相對於全域座標軸之相機外部參數的3個角中之第一者。camera_center_yaw應在−180 * 216 至180 * 216 − 1之範圍中(包括端點)。
camera_center_pitch指定點的以2− 16 度為單位之俯仰角，每一樣本之經寫碼圖像中之圓形影像的中心像素經投影至球體表面。camera_center_pitch應在−90 * 216 至90 * 216 範圍中(包括端點)。
camera_center_roll指定點的以2− 16 度為單位之橫滾角，每一樣本之經寫碼圖像中之圓形影像的中心像素經投影至球體表面。camera_center_roll應在−180 * 216 至180 * 216 − 1之範圍中(包括端點)。
camera_center_offset_x、camera_center_offset_y及camera_center_offset_z為定點8.24值，其指示自單位球體之原點的XYZ偏差值，經寫碼圖像中的圓形影像中之像素投影至該單位球體上。camera_center_offset_x、camera_center_offset_y及camera_center_offset_z應在−1.0至1.0之範圍中(包括端點)。
num_polynomial_coefficients為整數，其指定所存在的多項式係數之數目。多項式係數polynomial_coefficient_K之清單為定點8.24值，其表示多項式中之指定自魚眼空間至無失真平面影像之變換的係數。
num_local_fov_region指定具有不同視野之局部適配區域之數目。
start_radius、end_radius、start_angle及end_angle指定局部適配/翹曲之區域以改變用於在本端顯示之實際視野。start_radius及end_radius為定點16.16值，其指定最小及最大半徑值。start_angle及end_angle指定最小及最大角值，其在12點鐘處起始且以2− 16 度為單位順時針增大。start_angle及end_angle應在−180 * 216 至180 * 216 − 1之範圍中(包括端點)。
radius_delta為定點16.16值，其指定差量半徑值以用於表示每一半徑之不同視野。
angle_delta指定以2− 16 度為單位之差量角值，以用於表示每一角之不同視場。
local_fov_weight為8.24定點格式，其指定由start_radius、end_radius、start_angle、end_angle、角度索引i及半徑索引j指定的位置之視野之加權值。local_fov_weight之正值指定視野之擴大，而負值指定視野之收縮。
num_polynomial_coefficeients_lsc應為鏡頭陰影曲線之多項式概算的階數。
polynomial_coefficient_K_lsc_R、polynomial_coefficient_K_lsc_G及polynomial_coefficient_K_lsc_B為8.24定點格式，其指定LSC參數以補償沿著徑向方向減少色彩之陰影假影。倍增至原始色彩之補償權重(w)係使用多項式表達式近似為自影像中心之半徑之曲線函數。其公式化為，其中p 指示等於polynomial_coefficient_K_lsc_R、polynomial_coefficient_K_lsc_G或polynomial_coefficient_K_lsc_B之系數值，且r 指示在由full_radius歸一化之後的半徑值。N 等於num_polynomial_coefficeients_lsc之值。
num_deadzones為整數，其指定此邏輯框適用於的每一樣本之經寫碼圖像中之死區之數目。
deadzone_left_horizontal_offset、deadzone_top_vertical_offset、deadzone_width及deadzone_height為整數值，其指定像素不可用的死區矩形區之位置及大小。deadzone_left_horizontal_offset及deadzone_top_vertical_offset分別指定在亮度樣本中經寫碼圖像中之死區的左上方拐角的水平及垂直座標。deadzone_width及deadzone_height分別指定亮度樣本中之死區的寬度及高度。為節省用於表示視訊之位元，死區內之所有像素應設定成相同像素值，例如，全黑。
在MPEG文件m40783之第4項中解決高階魚眼視訊發信號。MPEG文件m40783描述以下高階魚眼視訊發信號。該等改變指示如下：(其中分別由開始及結束添加符號「[[+＞]] 」及「[[+＜]] 」包圍之文字為添加，且分別由開始及結束刪除符號「[[-＞]] 」及「[[-＜]] 」包圍之文字為移除；其他部分保持未改變)： 使用FisheyeOmnidirectionalVideoInfo()中的初始24個位元中之一者指示魚眼視訊為單像還是立體，且針對每一圓形影像添加一視圖ID。 … aligned(8) class FisheyeOmnidirectionalVideoInfo( ) {[[+＞]] unsigned int(1) monoscopic_flag;[[+＜]] bit(23) reserved = 0; unsigned int(8) num_circular_images;[[+＞]] for(i=0; i＜ num_circular_images; i++) { unsigned int(8) view_id; bit(24) reserved = 0; }[[+＜]] for(i=0; i＜ num_circular_images; i++) { unsigned int(32) image_center_x; unsigned int(32) image_center_y; … } }[[+＞]] monoscopic_flag等於1指示魚眼全向視訊為單像。值0指示魚眼全向視訊並非單像。 view_id指示圓形影像屬於的視圖之視圖識別符。當對於所有圓形影像僅存在view_id之兩個值0及1時，魚眼視訊為立體的，具有等於0之view_id的圓形影像屬於左視圖，且具有等於1之view_id的圓形影像屬於右視圖。[[+＜]]
本發明識別在對針對魚眼VR視訊之高階發信號方案的實例提議之方法中的問題及缺點。以下為此等問題之三個實例： (1)使用視圖識別語法元素(例如，view_id)發信號魚眼視訊對於在球體表面上空間配置之魚眼相機(或其他配置)可能並非最佳，此係因為由一個魚眼相機擷取之一個圓形影像可屬於多個視圖。 (2)當前技術缺乏用於指示視訊資料是否為立體魚眼VR視訊之任何機制。 (3)當前技術缺乏用於發信號用於DASH之高階魚眼VR視訊資訊之任何機制。
本發明描述技術及功能改善以減少用於魚眼VR視訊之高階發信號方案中的問題之數目。以下描述的提議之技術可獨立應用及/或可按組合來應用。
在本發明之一個實例中，為了解決涉及視圖識別語法元素之使用的問題，內容準備裝置20可經組態以使用FisheyeOmnidirectionalVideoInfo()語法結構(例如，如在OMAF中定義)中初始24個保留之位元中之一或多者來指示魚眼視訊類型資訊。舉例而言，內容準備裝置20可使用FisheyeOmnidirectionalVideoInfo()語法結構中初始24個保留之位元中之一或多者來指示魚眼視訊為單像、立體(例如，由一左視圖及一右視圖組成)還是其他(例如，既非單像，亦非立體)。內容準備裝置20之任一硬體或軟體單元可經組態以產生FisheyeOmnidirectionalVideoInfo()語法結構之位元以指示魚眼視訊類型資訊，包括視訊編碼器28及/或囊封單元30。內容準備裝置20可經組態以在經編碼視訊位元串流中發信號FisheyeOmnidirectionalVideoInfo()語法結構。在一些實例中，內容準備裝置20可經組態以使用FisheyeOmnidirectionalVideoInfo()語法結構中的初始24個保留之位元中之兩個位元指示魚眼視訊類型資訊。在其他實例中，內容準備裝置20可經組態以使用FisheyeOmnidirectionalVideoInfo()語法結構中的初始24個保留之位元中之三個位元指示魚眼視訊類型資訊。
用戶端裝置40可經組態以接收經編碼視訊位元串流且剖析該FisheyeOmnidirectionalVideoInfo()語法結構。用戶端裝置40可經組態以解碼FisheyeOmnidirectionalVideoInfo()語法結構的指示魚眼視訊類型資訊之位元。基於視訊類型資訊，用戶端裝置40可經組態以解碼及/或處理經編碼位元串流中之魚眼視訊資料。舉例而言，用戶端裝置40可基於FisheyeOmnidirectionalVideoInfo()語法結構中之視訊類型資訊指示魚眼視訊資料經指示為立體、單像還是其他(例如，既非音像，亦非立體)來使用不同輸出、解囊封、解碼、處理及/或呈現技術。
在本發明之另一實例中，為了解決涉及指示立體魚眼VR視訊之問題，內容準備裝置20可經組態以產生且添加一旗標至FisheyeOmnidirectionalVideoInfo()語法結構以針對視訊資料之每一圓形影像指示魚眼視訊立體資訊。舉例而言，該旗標可指示魚眼視訊資料之圓形影像屬於左視圖還是右視圖。內容準備裝置20之任一硬體或軟體單元可經組態以產生FisheyeOmnidirectionalVideoInfo()語法結構中之旗標以指示魚眼視訊立體資訊，包括視訊編碼器28及/或囊封單元30。內容準備裝置20可經組態以在經編碼視訊位元串流中發信號FisheyeOmnidirectionalVideoInfo()語法結構。
用戶端裝置40可經組態以接收經編碼視訊位元串流且剖析該FisheyeOmnidirectionalVideoInfo()語法結構。用戶端裝置40可經組態以解碼FisheyeOmnidirectionalVideoInfo()語法結構的指示魚眼視訊立體資訊之旗標。基於視訊類型資訊，用戶端裝置40可經組態以解碼及/或處理經編碼位元串流中之魚眼視訊資料。舉例而言，用戶端裝置40可基於FisheyeOmnidirectionalVideoInfo()語法結構中之魚眼視訊立體資訊指示魚眼視訊資料屬於左視圖還是右視圖來使用不同輸出、解囊封、解碼、處理及/或呈現技術。
以下為以上針對發信號FisheyeOmnidirectionalVideoInfo()語法結構中之位元及旗標以指示魚眼視訊類型資訊及魚眼視訊立體資訊描述的技術之一實例實施。以下對語法結構FisheyeOmnidirectionalVideoInfo()之語法及語義改變如下(其中分別由開始及結束添加符號「[[+＞]] 」及「[[+＜]] 」包圍之文字為添加，且分別由開始及結束刪除符號「[[-＞]] 」及「[[-＜]] 」包圍之文字為移除；其他部分保持未改變)： aligned(8) class FisheyeOmnidirectionalVideoInfo( ) {[[+＞]] unsigned int(2) view_dimension_idc;[[+＜]] bit([[+＞]] 22[[+＜]][[-＞]] 24[[-＜]] ) reserved = 0; unsigned int(8) num_circular_images;[[+＞]] for(i=0; i＜ num_circular_images; i++) if (view_dimension_idc == 1) { unsigned int(1) left_view_flag; bit(7) reserved = 0; }[[+＜]] for(i=0; i＜ num_circular_images; i++) { unsigned int(32) image_center_x; unsigned int(32) image_center_y; … } }[[+＞]] view_dimension_idc等於0指示魚眼全向視訊為單像。值1指示魚眼全向視訊為立體(亦即，由一左視圖及一右視圖組成)。值2指示魚眼全向視訊既非單像，亦非立體。值3為保留。 left_view_flag之值等於1指示圓形影像屬於左視圖。值0指示圓形影像屬於右視圖。[[+＜]]
在本發明之另一實例中，為了解決用於DASH之高階魚眼VR視訊資訊之問題，內容準備裝置20可經組態以產生一DASH魚眼視訊資訊(FVI)描述符以用於發信號魚眼視訊資料為單像、立體(例如，由一左視圖及一右視圖組成)還是其他(例如，既非單像，亦非立體)。當立體時，內容準備裝置20可經組態以在FVI描述符中產生圖像中之圓形影像屬於左視圖還是右視圖之一指示。內容準備裝置20之任一硬體或軟體單元可經組態以產生FVI描述符，包括視訊編碼器28及/或囊封單元30。內容準備裝置20可經組態以在經編碼視訊位元串流中發信號該FVI描述符。
用戶端裝置40及/或伺服器裝置60可經組態以接收經編碼視訊位元串流且剖析該FVI描述符。用戶端裝置40及/或伺服器裝置60可經組態以解碼該FVI描述符。基於FVI描述符之值，用戶端裝置40及/或伺服器裝置60可經組態以解碼及/或處理經編碼位元串流中之魚眼視訊資料。舉例而言，用戶端裝置40及伺服器裝置60可基於FVI描述符中之魚眼視訊立體資訊指示該魚眼視訊資料經指示為立體、單像還是其他(例如，既非單像，亦非立體)或該魚眼視訊資料屬於左視圖還是右視圖來使用不同輸出、解囊封、解碼、處理及/或呈現技術。
以下為用於DASH的FVI描述符之一提議之實施之一實例。此提議之實施例實施包括以下語法及語義。
具有等於「urn:mpeg:omaf:fvi:2017」之@schemeIdUri屬性的一魚眼視訊資訊(FVI)SupplementalProperty元素可存在於調適集層級(亦即，直接在AdaptationSet元素中)，且不應存在於其他層級(亦即，不應存在於MPD層級或直接在任一Representation元素中)。
FVI描述符指示在每一Representation中載有之魚眼視訊為單像、立體(亦即，由一左視圖及一右視圖組成)還是其他，且當立體時，圖像中之圓形影像屬於左視圖還是右視圖。
具有等於「urn:mpeg:omaf:fvi:2017」之@schemeIdUri的FVI描述符之@value為如在下表中指定的值之逗號分開之清單：
圖7為展示根據本發明之技術的用於產生一檔案之一實例方法之流程圖。圖7之技術可由內容準備裝置20之一或多個結構單元(包括視訊編碼器28及/或囊封單元30)執行。
在本發明之一個實例中，內容準備裝置20可經組態以：接收魚眼視訊資料(700)；產生包括該魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元(702)；及輸出該檔案(704)。
在一個實例中，該魚眼視訊類型資訊包括單像魚眼視訊資料之指示或立體魚眼視訊資料之指示中之至少一者。在一個實例中，該語法結構為一全向媒體格式FisheyeOmnidirectionalVideoInfo()語法結構，且該一或多個位元為FisheyeOmnidirectionalVideoInfo()語法結構中的初始24個保留位元中之兩個位元。
在一個實例中，該一或多個位元為一view_dimension_idc語法元素，其中該view_dimension_idc語法元素之值0指示該魚眼視訊資料為立體魚眼視訊資料，且其中view_dimension_idc語法元素之值1指示魚眼視訊資料為單像魚眼視訊資料。在一個實例中，view_dimension_idc語法元素之值2指示魚眼視訊資料既非單像魚眼視訊資料，亦非立體魚眼視訊資料。
在一個實例中，該魚眼視訊資料為立體魚眼視訊資料，且該語法結構進一步包括指示該立體魚眼視訊資料之影像在左視圖還是右視圖中之一或多個旗標。在一個實例中，該一或多個旗標包括一left_view_flag，其中該left_view_flag之值1指示該等影像中之一特定者在左視圖中，且其中該left_view_flag之值0指示該等影像中之一特定者在右視圖中。
圖8為展示根據本發明之技術的用於處理一檔案之一實例方法之流程圖。圖8之技術可由用戶端裝置40之一或多個結構單元(包括視訊解碼器48及/或解囊封單元50)執行。
在本發明之一個實例中，用戶端裝置40可經組態以處理包括魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元(800)；基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊(802)；及基於該判定輸出該魚眼視訊資料以供顯現(804)。
在一個實例中，該魚眼視訊類型資訊包括單像魚眼視訊資料之指示或立體魚眼視訊資料之指示中之至少一者。在一個實例中，該語法結構為一全向媒體格式FisheyeOmnidirectionalVideoInfo()語法結構，且該一或多個位元為FisheyeOmnidirectionalVideoInfo()語法結構中的初始24個保留位元中之兩個位元。
在一個實例中，該一或多個位元為一view_dimension_idc語法元素，其中該view_dimension_idc語法元素之值0指示該魚眼視訊資料為立體魚眼視訊資料，且其中view_dimension_idc語法元素之值1指示魚眼視訊資料為單像魚眼視訊資料。在一個實例中，view_dimension_idc語法元素之值2指示魚眼視訊資料既非單像魚眼視訊資料，亦非立體魚眼視訊資料。
在一個實例中，該魚眼視訊資料為立體魚眼視訊資料，且該語法結構進一步包括指示該立體魚眼視訊資料之影像在左視圖還是右視圖中之一或多個旗標。在一個實例中，該一或多個旗標包括一left_view_flag，其中該left_view_flag之值1指示該等影像中之一特定者在左視圖中，且其中該left_view_flag之值0指示該等影像中之一特定者在右視圖中。
在一個實例中，用戶端裝置40可經進一步組態以基於語法結構之一或多個旗標判定立體魚眼視訊資料之影像在左視圖還是右視圖中，且基於該判定輸出立體魚眼視訊資料以供顯現。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處之任何媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如，信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以檢索指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取之任何其他媒體。又，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為，係針對非暫時性有形儲存媒體。如本文中所使用之磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，本文中所描述之功能性可在經組態用於編碼及解碼之專用硬體及/或軟體模組內提供，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種裝置或設備中，包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必需要由不同硬體單元來實現。相反地，如上文所描述，各種單元可在編解碼器硬體單元中組合，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合與合適軟體及/或韌體一起提供。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧系統
20‧‧‧內容準備裝置
22‧‧‧音訊源
24‧‧‧視訊源
26‧‧‧音訊編碼器
28‧‧‧視訊編碼器
30‧‧‧囊封單元
32‧‧‧輸出介面
40‧‧‧用戶端裝置
42‧‧‧音訊輸出端
44‧‧‧視訊輸出端
46‧‧‧音訊解碼器
48‧‧‧視訊解碼器
50‧‧‧解囊封單元
52‧‧‧檢索單元
54‧‧‧網路介面
60‧‧‧伺服器裝置
62‧‧‧儲存媒體
64‧‧‧多媒體內容
66‧‧‧資訊清單檔案
68A‧‧‧表示
68N‧‧‧表示
70‧‧‧請求處理單元
72‧‧‧網路介面
74‧‧‧網路
100‧‧‧eMBMS介體單元
102‧‧‧代理伺服器
104‧‧‧快取記憶體
106‧‧‧eMBMS接收單元
110‧‧‧DASH用戶端
112‧‧‧媒體應用程式
120‧‧‧多媒體內容
122‧‧‧媒體呈現描述(MPD)
124A‧‧‧表示
124N‧‧‧表示
126‧‧‧可選標頭資料
128A‧‧‧區段
128B‧‧‧區段
128N‧‧‧區段
130‧‧‧可選標頭資料
132A‧‧‧區段
132B‧‧‧區段
132N‧‧‧區段
150‧‧‧視訊檔案
152‧‧‧檔案類型(FTYP)框
154‧‧‧電影(MOOV)框
156‧‧‧電影標頭(MVHD)框
157‧‧‧視野(FOV)框
158‧‧‧播放軌(TRAK)框
160‧‧‧電影擴展(MVEX)框
162‧‧‧區段索引(sidx)框
164‧‧‧電影片段(MOOF)框
166‧‧‧電影片段隨機存取(MFRA)框
200‧‧‧2D圖像
202‧‧‧第一魚眼影像
204‧‧‧第二魚眼影像
210A‧‧‧計算裝置
210B‧‧‧計算裝置
212A‧‧‧魚眼鏡頭
212B‧‧‧魚眼鏡頭
212C‧‧‧魚眼鏡頭
212D‧‧‧魚眼鏡頭
圖1為說明實施用於經由網路來串流傳輸媒體資料之技術的一實例系統之方塊圖。
圖2為更詳細地說明圖1之檢索單元之組件的一實例集合之方塊圖。
圖3為說明實例多媒體內容之元素之概念圖。
圖4為說明一實例視訊檔案之元素之方塊圖，該實例視訊檔案可對應於一表示之一區段。
圖5A及圖5B為說明根據本發明中描述之一或多個實例技術的用於擷取全向影像內容之實例裝置之方塊圖。
圖6為說明每視訊圖像多個魚眼影像之一實例之影像。
圖7為展示根據本發明之技術的用於產生一檔案之一實例方法之流程圖。
圖8為展示根據本發明之技術的用於處理一檔案之一實例方法之流程圖。

Claims (34)

  1. 一種處理包括魚眼視訊資料之一檔案之方法，該方法包含： 處理包括魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元； 基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊；及 基於該判定輸出該魚眼視訊資料以供顯現。
  2. 如請求項1之方法，其中該魚眼視訊類型資訊包括單像魚眼視訊資料之一指示或立體魚眼視訊資料之一指示中之至少一者。
  3. 如請求項1之方法，其中該語法結構為一全向媒體格式FisheyeOmnidirectionalVideoInfo()語法結構，且 其中該一或多個位元為該FisheyeOmnidirectionalVideoInfo()語法結構中的一初始24個保留位元中之兩個位元。
  4. 如請求項3之方法，其中該一或多個位元為一view_dimension_idc語法元素，其中該view_dimension_idc語法元素之一值0指示該魚眼視訊資料為立體魚眼視訊資料，且其中該view_dimension_idc語法元素之一值1指示該魚眼視訊資料為單像魚眼視訊資料。
  5. 如請求項4之方法，其中該view_dimension_idc語法元素之一值2指示該魚眼視訊資料既非單像魚眼視訊資料，亦非立體魚眼視訊資料。
  6. 如請求項1之方法，其中該魚眼視訊資料為立體魚眼視訊資料，且其中該語法結構進一步包括指示該立體魚眼視訊資料之影像在一左視圖還是一右視圖中之一或多個旗標。
  7. 如請求項6之方法，其中該一或多個旗標包括一left_view_idc旗標，其中該left_view_idc旗標之一值1指示該等影像中之一特定者在該左視圖中，且其中該left_view_idc旗標之一值0指示該等影像中之一特定者在該右視圖中。
  8. 如請求項6之方法，其進一步包含： 基於該語法結構之該一或多個旗標判定該立體魚眼視訊資料之影像在該左視圖還是該右視圖中；及 基於該判定輸出該立體魚眼視訊資料以供顯現。
  9. 一種經組態以處理包括視訊資料之一檔案之設備，該設備包含： 一記憶體，其經組態以儲存該檔案；及 一或多個處理器，其與該記憶體通信，該一或多個處理器經組態以： 處理包括魚眼視訊資料之該檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元； 基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊；及 基於該判定輸出該魚眼視訊資料以供顯現。
  10. 如請求項9之設備，其中該魚眼視訊類型資訊包括單像魚眼視訊資料之一指示或立體魚眼視訊資料之一指示中之至少一者。
  11. 如請求項9之設備，其中該語法結構為一全向媒體格式FisheyeOmnidirectionalVideoInfo()語法結構，且 其中該一或多個位元為該FisheyeOmnidirectionalVideoInfo()語法結構中的一初始24個保留位元中之兩個位元。
  12. 如請求項11之設備，其中該一或多個位元為一view_dimension_idc語法元素，其中該view_dimension_idc語法元素之一值0指示該魚眼視訊資料為立體魚眼視訊資料，且其中該view_dimension_idc語法元素之一值1指示該魚眼視訊資料為單像魚眼視訊資料。
  13. 如請求項12之設備，其中該view_dimension_idc語法元素之一值2指示該魚眼視訊資料既非單像魚眼視訊資料，亦非立體魚眼視訊資料。
  14. 如請求項9之設備，其中該魚眼視訊資料為立體魚眼視訊資料，且其中該語法結構進一步包括指示該立體魚眼視訊資料之影像在一左視圖還是一右視圖中之一或多個旗標。
  15. 如請求項14之設備，其中該一或多個旗標包括一left_view_idc旗標，其中該left_view_idc旗標之一值1指示該等影像中之一特定者在該左視圖中，且其中該left_view_idc旗標之一值0指示該等影像中之一特定者在該右視圖中。
  16. 如請求項14之設備，其中該一或多個處理器經進一步組態以： 基於該語法結構之該一或多個旗標判定該立體魚眼視訊資料之影像在該左視圖還是該右視圖中；及 基於該判定輸出該立體魚眼視訊資料以供顯現。
  17. 一種經組態以處理包括視訊資料之一檔案之設備，該設備包含： 用於處理包括魚眼視訊資料之一檔案之構件，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元； 用於基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊之構件；及 用於基於該判定輸出該魚眼視訊資料以供顯現之構件。
  18. 一種非暫時性電腦可讀儲存媒體，其儲存指令，該等指令在執行時使一或多個處理器： 處理包括魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元； 基於該語法結構之該一或多個位元判定用於該魚眼視訊資料之該魚眼視訊類型資訊；及 基於該判定輸出該魚眼視訊資料以供顯現。
  19. 一種產生包括視訊資料之一檔案之方法，該方法包含： 接收魚眼視訊資料； 產生包括該魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及 輸出該檔案。
  20. 如請求項19之方法，其中該魚眼視訊類型資訊包括單像魚眼視訊資料之一指示或立體魚眼視訊資料之一指示中之至少一者。
  21. 如請求項19之方法，其中該語法結構為一全向媒體格式FisheyeOmnidirectionalVideoInfo()語法結構，且 其中該一或多個位元為該FisheyeOmnidirectionalVideoInfo()語法結構中的一初始24個保留位元中之兩個位元。
  22. 如請求項21之方法，其中該一或多個位元為一view_dimension_idc語法元素，其中該view_dimension_idc語法元素之一值0指示該魚眼視訊資料為立體魚眼視訊資料，且其中該view_dimension_idc語法元素之一值1指示該魚眼視訊資料為單像魚眼視訊資料。
  23. 如請求項22之方法，其中該view_dimension_idc語法元素之一值2指示該魚眼視訊資料既非單像魚眼視訊資料，亦非立體魚眼視訊資料。
  24. 如請求項19之方法，其中該魚眼視訊資料為立體魚眼視訊資料，且其中該語法結構進一步包括指示該立體魚眼視訊資料之影像在一左視圖還是一右視圖中之一或多個旗標。
  25. 如請求項24之方法，其中該一或多個旗標包括一left_view_flag，其中該left_view_flag之一值1指示該等影像中之一特定者在該左視圖中，且其中該left_view_flag之一值0指示該等影像中之一特定者在該右視圖中。
  26. 一種經組態以產生包括視訊資料之一檔案之設備，該設備包含： 一記憶體，其經組態以儲存該檔案；及 一或多個處理器，其與該記憶體通信，該一或多個處理器經組態以： 接收魚眼視訊資料； 產生包括該魚眼視訊資料之該檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及 輸出該檔案。
  27. 如請求項26之設備，其中該魚眼視訊類型資訊包括單像魚眼視訊資料之一指示或立體魚眼視訊資料之一指示中之至少一者。
  28. 如請求項26之設備，其中該語法結構為一全向媒體格式FisheyeOmnidirectionalVideoInfo()語法結構，且 其中該一或多個位元為該FisheyeOmnidirectionalVideoInfo()語法結構中的一初始24個保留位元中之兩個位元。
  29. 如請求項28之設備，其中該一或多個位元為一view_dimension_idc語法元素，其中該view_dimension_idc語法元素之一值0指示該魚眼視訊資料為立體魚眼視訊資料，且其中該view_dimension_idc語法元素之一值1指示該魚眼視訊資料為單像魚眼視訊資料。
  30. 如請求項29之設備，其中該view_dimension_idc語法元素之一值2指示該魚眼視訊資料既非單像魚眼視訊資料，亦非立體魚眼視訊資料。
  31. 如請求項26之設備，其中該魚眼視訊資料為立體魚眼視訊資料，且其中該語法結構進一步包括指示該立體魚眼視訊資料之影像在一左視圖還是一右視圖中之一或多個旗標。
  32. 如請求項31之設備，其中該一或多個旗標包括一left_view_flag，其中該left_view_flag之一值1指示該等影像中之一特定者在該左視圖中，且其中該left_view_flag之一值0指示該等影像中之一特定者在該右視圖中。
  33. 一種經組態以產生包括視訊資料之一檔案之設備，該設備包含： 用於接收魚眼視訊資料之構件； 用於產生包括該魚眼視訊資料之一檔案之構件，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及 用於輸出該檔案之構件。
  34. 一種非暫時性電腦可讀儲存媒體，其儲存指令，該等指令在執行時使一或多個處理器： 接收魚眼視訊資料； 產生包括該魚眼視訊資料之一檔案，該檔案包括包括指定該魚眼視訊資料之屬性的複數個語法元素之一語法結構，其中該複數個語法元素包括指示魚眼視訊類型資訊之一或多個位元；及 輸出該檔案。
TW107123730A 2017-07-10 2018-07-09 用於魚眼虛擬實境視訊之增強的高階發信號 TWI711303B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762530497P 2017-07-10 2017-07-10
US62/530,497 2017-07-10
US16/028,934 2018-07-06
US16/028,934 US10659760B2 (en) 2017-07-10 2018-07-06 Enhanced high-level signaling for fisheye virtual reality video

Publications (2)

Publication Number Publication Date
TW201909642A true TW201909642A (zh) 2019-03-01
TWI711303B TWI711303B (zh) 2020-11-21

Family

ID=64903003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107123730A TWI711303B (zh) 2017-07-10 2018-07-09 用於魚眼虛擬實境視訊之增強的高階發信號

Country Status (9)

Country Link
US (1) US10659760B2 (zh)
EP (1) EP3652945A1 (zh)
KR (1) KR102247404B1 (zh)
CN (1) CN110800305A (zh)
AU (1) AU2018299902B2 (zh)
BR (1) BR112020000107A2 (zh)
SG (1) SG11201911331QA (zh)
TW (1) TWI711303B (zh)
WO (1) WO2019014136A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112189341A (zh) * 2018-04-16 2021-01-05 交互数字Vc控股公司 用于视频编码和解码的量化参数预测
US10462486B1 (en) * 2018-05-07 2019-10-29 Tencent America, Llc Fast method for implementing discrete sine transform type VII (DST 7)
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
EP3863290A4 (en) 2018-10-02 2021-12-08 Sony Group Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US11336812B2 (en) * 2019-07-03 2022-05-17 Nokia Technologies Oy Storage and signaling of entrance pupil parameters for immersive media
CN111314715A (zh) * 2020-04-03 2020-06-19 河北环境工程学院 一种基于互联网的中国传统文化教育信息处理系统
USD986364S1 (en) * 2021-06-15 2023-05-16 Karsten Manufacturing Corporation Golf club head

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3025255B1 (ja) * 1999-02-19 2000-03-27 有限会社フィット 画像デ―タ変換装置
JP5577823B2 (ja) * 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR101844227B1 (ko) * 2010-09-19 2018-04-02 엘지전자 주식회사 방송 수신기 및 3d 비디오 데이터 처리 방법
KR101465112B1 (ko) * 2013-05-08 2014-11-25 심영석 카메라 시스템
KR102432085B1 (ko) * 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
EP3466079B1 (en) 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
US10194097B2 (en) 2017-01-13 2019-01-29 Gopro, Inc. Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
JP6721631B2 (ja) * 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト

Also Published As

Publication number Publication date
WO2019014136A1 (en) 2019-01-17
SG11201911331QA (en) 2020-01-30
TWI711303B (zh) 2020-11-21
KR102247404B1 (ko) 2021-05-03
AU2018299902A1 (en) 2020-01-16
US20190014305A1 (en) 2019-01-10
US10659760B2 (en) 2020-05-19
AU2018299902B2 (en) 2021-05-20
BR112020000107A2 (pt) 2020-07-07
CN110800305A (zh) 2020-02-14
KR20200024831A (ko) 2020-03-09
EP3652945A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
TWI748114B (zh) 用於媒體內容之按區塊包裝，內容覆蓋度，以及發信訊框包裝
KR102342274B1 (ko) 이미지에서 가장 관심있는 영역의 진보된 시그널링
TWI703854B (zh) 用於在經由超文本傳輸協定（http）之動態自適應串流（dash）中之魚眼虛擬實境視訊之增強的高階發信號
TW201841512A (zh) 在使用mime類型參數之網路視頻串流中發信重要視頻資訊
TWI711303B (zh) 用於魚眼虛擬實境視訊之增強的高階發信號
US10992961B2 (en) High-level signaling for fisheye video data
CN111034203A (zh) 处理具有动态逐区封装的全向媒体
CN110832878B (zh) 增强区域取向包封及视区独立高效视频译码媒体配置文件

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees