TW201112769A - Signaling characteristics of an MVC operation point - Google Patents

Signaling characteristics of an MVC operation point Download PDF

Info

Publication number
TW201112769A
TW201112769A TW99126516A TW99126516A TW201112769A TW 201112769 A TW201112769 A TW 201112769A TW 99126516 A TW99126516 A TW 99126516A TW 99126516 A TW99126516 A TW 99126516A TW 201112769 A TW201112769 A TW 201112769A
Authority
TW
Taiwan
Prior art keywords
view
operating point
mvc
value
corresponding
Prior art date
Application number
TW99126516A
Other languages
English (en)
Other versions
TWI581635B (zh
Inventor
Ying Chen
Pei-Song Chen
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US23227209P priority Critical
Priority to US24873809P priority
Priority to US26686109P priority
Priority to US12/757,231 priority patent/US8948241B2/en
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201112769A publication Critical patent/TW201112769A/zh
Application granted granted Critical
Publication of TWI581635B publication Critical patent/TWI581635B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336Control signals issued by server directed to the network components or client directed to client directed to decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Description

201112769 六、發明說明: 【發明所屬之技術領域】 本發明係關於經編碼之視訊資料之傳送。 本申請案主張2009年8月7曰申請之美國臨時申請案第 61/232,272號、2009年1〇月5日申請之美國臨時申請案第 61/248,738號及2009年12月4曰申請之美國臨時申請案第 61/266,861號之權利,該等申請案中之每一者之各別全部 内容在此以引用的方式併入。 【先前技術】 數位視訊能力可併入至廣泛範圍之器件中,該等器件包 括數位電視、數位直播系統、無線廣播系統、個人數位助 理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器 件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、 蜂巢式或衛星無線電電話、視訊電話會議器件及其類似 者。數位視訊器件實施諸如以下各者之視訊壓縮技術以較 有效率地傳輸及接收數位視訊資訊:描述於由MpEG_2、 MPEG-4、ITU-T H.263 或 ITU-T H.264/MPEG-4 第 1〇 部分 (進階視rfL編碼(AVC))定義之標準及此等標準之延伸中的 視訊壓縮技術。 視訊壓縮技術執行空間預測及/或時間預測以減少或移 除視訊序列中所固有之冗餘。對於基於區塊之視訊編碼而 言,可將視訊圖框或切片分割成巨集區塊。可進一步分割 每一巨集區塊。使用關於相鄰巨集區塊之空間預測來編碼 圖框内編碼⑴圖框或切片中之巨集區塊。圖框間編碼(P或 150173.doc 201112769 圖框或切片中 圖框之時間預 B)圖框或切片巾之巨集區塊可使關於同— 的相鄰巨集區塊之空間預測或關於其他參考 測。 在已編碼視訊資料7姑i。 貝枓之後可错由多工器將該視訊資料封 包化以供傳輸或儲存。ΜΡΡΓ ?〜 减评MPEGJ包括定義許多視訊編碼標 準之傳送層級之「系姑 音# 糸統」早即。MPEG-2傳送層級系統可 由MPEG-2視訊編碼器使用 的其他視訊編碼器使用。 或由符合不同視訊編碼標準 舉例而言,MPEG-4規定與 MPEG-2之編碼及解碼方法不同的編碼及解碼方法,但實 施MPEG-4標準之技術的視訊編碼器仍可利賴咖傳送 層級方法。 大體而言,在本發明中,對r MPEG_2系統」之參考涉 及由MPEG-2規定之視訊資料的傳送層級。在本發明中, 由MPEG-2規定之傳送層級亦被稱作「MpEG_2傳送串流」 或簡稱作「傳送串流」。同樣地,MPEG_2系統之傳送層級 亦包括節目串流。傳送_流及節目串流大體上包括用於遞 送類似資料之不同格式’其中傳送串流包含一或多個「節 目」,該一或多個「節目」包括音訊及視訊資料兩者,而 節目串流包括一個節目’該節目包括音訊資料與視訊資料 兩者。 已努力基於H.264/AVC開發新的視訊編碼標準。一個此 標準為可按比例調整之視訊編碼(SVC)標準,其為 H.264/AVC之可按比例調整之延伸。另一標準為多視圖視 訊編碼(MVC) ’其成為H.264/AVC之多視圖延伸標準。 150173.doc 201112769 MPEG-2系統規範描述如何可將壓縮多媒體(視訊及音訊)資 料串流與其他資料一起多工以形成適於數位傳輸或儲存的 單一資料串流。在 2006 年 5 月「Information Technology-Generic Coding of Moving Pictures and Associated Audio: Systems, Recommendation H.222.0; International Organisation for Standardisation, ISO/IEC JTC1/SC29/WG11; Coding of Moving Pictures and Associated Audio」中指定MPEG-2 系 統之最新規範。MPEG近來設計了在MPEG-2系統上之MVC 之傳送標準,且此規範之最新版本為「Study of ISO/IEC 13818-1:2007/FPDAM4 Transport of MVC」,ί/oc. N10572, MPEG of ISO/IEC JTC1/SC29/WG11, Maui, Hawaii,USA,2009年 4月。 【發明内容】 大體而言,本發明描述用於改良MPEG-2(動晝專家群 組)系統中之多視圖視訊編碼之技術。詳言之,本發明之 技術係針對用於MPEG-2系統位元串流之操作點之資料結 構,其中該資料結構用信號發送接收器件之呈現能力、接 收器件之解碼能力及(在一些實例中)操作點之位元速率。 該資料結構可對應於包括於該MPEG-2系統位元争流中之 操作點描述符。 為了適當解碼並顯示操作點之視訊資料,接收器件應滿 足由在資料結構中用信號發送之呈現能力及解碼能力所描 述之性質。MPEG-2系統位元串流可包括對應於節目之各 個視圖之複數個操作點。使用節目之不同操作點允許各種 150173.doc 201112769 用戶端态件執行調適。亦即,具有不同呈現及解碼能力之 =二端器件可自同一節目提取視圖以顯示二維或三維視訊 貝料。用戶端器件亦可與飼服器器件協商以榻取具有變化 之位元速率之資料,以適合於具有各種頻寬能力之傳送媒 體0 一在-實例中,一種方法包括:藉由一源器件建構對庫於 - MPEG-2系統標準位元串流之一多視圖視訊編物 操作點的-資料結構,其中該資料結構用信號發送描述一 $收器件使用該MVC操作點待滿足的一呈現能力之—呈現 能力值、描述該接收器件使用該MVC操作點待滿足的一解 碼=力之-解碼能力值及描述該MVC操作點之—位元速率 之一位元速率值,且其中該資料結構經包括作為該位元串 流之部分;及輸出包含”料結構之餘元串流。 於在λ另—實例中,—種裝置包括多工器,其建構對應 於一mpEG.m統標準位元串流之—Mvc操作點的一資料 結構’其中該資料結構用信號發送描述一接收器件使用該 MVC操作點待滿足的—呈現能力之—呈現能力值、描述該 接收益件使用該MVC操作點待滿足的一解碼能力之一解碼 能力值及描述該Μ V C操作點之—位元速率之—位元速率 值’且將該資料結構包括作為該位元串流之部分;及一輸 出介面,其輸出'包含該資料結構之該位元宰流。 在另一實财,—種裝置包括:心建構對應於-Μ㈣-2系統標準位元串流之一默操作點的一資料結構 之構件,其中該資料結構用信號發送描述_接收器件使用 150I73.doc 201112769 該MVC操作點待滿足的一呈現能力之一呈現能力值、描述 該接收器件使用該MVC操作點待滿足的一解碼能力之一解 碼能力值及描述該MVC操作點之一位元速率之一位元速率 值,且其中該資料結構經包括作為該位元串流之部分;及 用於輸出包含該資料結構之該位元亭流之構件。 在另一實例中,一種電腦可讀儲存媒體包含指令,該等 指令使一源器件之一處理器建構對應於一 MPEG-2系統標 準位元串流之一 MVC操作點的一資料結構,其中該資料結 構用信號發送描述一接收器件使用該MVC操作點待滿足的 一呈現能力之一呈現能力值、描述該接收器件使用該MVC 操作點待滿足的一解碼能力之一解碼能力值及描述該MVC 操作點之一位元速率之一位元速率值,且其中該資料結構 經包括作為該位元串流之部分;且使一輸出介面輸出包含 該貢料結構之該位元串流。 在另一實例中,一種方法包括:藉由一目的地器件接收 對應於一 MPEG-2(動晝專家群組)系統標準位元串流之一 MVC操作點的一資料結構,其中該資料結構用信號發送描 述一接收器件使用該MVC操作點待滿足的一呈現能力之一 呈現能力值、描述該接收器件使用該MVC操作點待滿足的 一解碼能力之一解碼能力值及描述該MVC操作點之一位元 速率之一位元速率值;判定該目的地器件之一視訊解碼器 是否能夠基於藉由該資料結構用信號發送之該解碼能力而 解碼對應於該MVC操作點之視圖;判定該目的地器件是否 能夠基於藉由該資料結構用信號發送之該呈現能力而呈現 150173.doc 201112769 對應於該MVC操作點之該等視圖;及在該目的地器件之該 視訊解碼器經判定成能夠解碼並呈現對應於該MVC操作點 之該等視圖時,將對應於該MVC操作點之該等視圖發送至 該目的地器件之該視訊解碼器。 在·另一實例中,一種裝置包括:一輸入介面,其經組態 以接收對應於一 MPEG-2系統標準位元串流之一 MVC操作 點的一資料結構,其中該資料結構用信號發送描述一接收 器件使用該MVC操作點待滿足的一呈現能力之一呈現能力 值、描述該接收器件使用該MVC操作點待滿足的一解碼能 力之一解碼能力值及描述該MVC操作點之一位元速率之一 位元速率值;一視訊解碼器,其經組態以解碼視訊資料; 及一解多工器,其經組態以判定該視訊解碼器是否能夠基 於藉由該資料結構用信號發送之該解碼能力而解碼對應於 該MVC操作點之視圖,判定該裝置是否能夠基於藉由該資 料結構用信號發送之該呈現能力而呈現對應於該MVC操作 點之該等視圖,且在該視訊解碼器經判定成能夠解碼並呈 現對應於該MVC操作點之該等視圖時,將對應於該MVC 操作點之該等視圖發送至該視訊解碼器。 在另一實例中,一種裝置包括:用於接收對應於一 MPEG-2系統標準位元串流之一 MVC操作點的一資料結構 之構件,其中該資料結構用信號發送描述一接收器件使用 該MVC操作點待滿足的一呈現能力之一呈現能力值、描述 該接收器件使用該MVC操作點待滿足的一解碼能力之一解 碼能力值及描述該MVC操作點之一位元速率之一位元速率 150173.doc -9- 201112769 值;用於判定該裝置之-視訊解❹是否能夠基於藉由該 貝枓結構用信號發送之該解碼能力而解碼對應於該Μ%操 作點之視圖之構件;用於判定該裝置是否能夠基於藉由該 資料結構用信號發送之該呈現能力而呈現對應於該Μ%操 作點之該等視圖之構件;及用於在該裝置之該視訊解碼哭 經判定成能夠解碼並呈現對應於該Mvc操作點之該等視圖 時、將對應於該MVC操作點之該等視圖發送至該裝置之該 視訊解碼器之構件。 ^ 在另一實例中,一種電腦可讀儲存媒體包含指令,該等 指令使-目的地器件之—處理器進行以下操作:接收對應 於一 MPEG-2系統標準位元串流之—Mvc操作點的一資二 結構,其中該資料結構用信號發送描述―接收器件使用該 MVC操作點待滿足的一呈現能力之一呈現能力值、描述該 接收器件使用該MVC操作點待滿足的一解碼能力之一解= 能力值及描述該Μ V C操作點之一位元速率之一位元速率 值;判定該目的地器件之一視訊解碼器是否能夠基於藉由 該資料結構用信號發送之該解碼能力而解碼對應於該Μ V C 操作點之視圖;判定該目的地器件是否能夠基於藉由該資 料結構用信號發送之該呈現能力而呈現對應於該Mvc操作 點之該等視圖;及在該目的地器件之該視訊解碼器經判定 成能夠解碼並呈現對應於該Mvc操作點之該等視圖時,將 對應於6亥MVC操作點之該等視圖發送至該目的地器件之該 視訊解石馬器。 在k附圖式及下文之描述中闡述一或多個實例之細節 150173.doc -10- 201112769 其他特徵、目標及優點將自描述及圖式以及自申請專利範 圍顯而易見。 【實施方式】 本發明之技術大體而言係針對增強MPEG-2(動晝專家群 細)系統(亦即’關於傳送層級細節符合MPEG-2之系統)中之 多視圖視訊編碼(MVC)。舉例而言,MPEG-4提供視訊編石馬 之標準,但大體上假定符合MPEG_4標準的視訊編碼器將利 用MPEG-2傳送層級系統。因此,本發明之技術適用於符合 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4或 利用MPEG-2傳送串流及/或節目(program)串流(亦表示為 「節目(programme)串流」)之任何其他視訊編碼標準的視 讯編碼器。 詳言之,本發明之技術可修改用於MPEG-2傳送串流及 節目串流之在傳送層級處之語法元素。舉例而言,本發明 之技術包括一描述符,其在傳送串流中傳輸以描述操作點 之特徵。舉例而言,伺服器器件可在MPEG-2傳送層位元 串Ή提供各種操作點’其中之每一者對應於多視圖視訊 扁碼視Λ =貝料之特定視圖的各別子集。亦即,操作點大體 上對應於位元串流之視圖的一子集。在一些實例+,操作 ’-之每視圖包括在相同圖框速率下之視訊資料。 目的地器件可使用包括於位元串流巾之操作點描述符以 選擇:寺解碼之操作點中之一者並最終向使用纟呈現(例 如^顯不)。目的地器件可僅將選定操作點之視圖發送至 視Κ解碼器,而非在接收後將關於所有視圖之資料傳遞至 150173.doc 11 201112769 視訊解碼器。以此方 ,0 ^ — 的地盗件可丟棄將不被解碼之 視圖之貧料。目的地器件 基於位兀串流之操作點中具有 友之最高品質的一者來選擇操作點。 飼服器器件可在單一值3其虫.A a *早傳运串流或郎目串流中發送複數個 子位元串流(JL中之I _去 U、中之母者可對應於一操作點)。雖鈇在 ^節+,本發明可個別地涉及「傳送$流」或「節目串 >瓜J ’但應理解,本發明夕姓丄_ 不士月之技術大體上適用mMPE(}_2傳送 串流中之—者或兩者。大體而言,本發明描述 ;執订本發明之技術之作為實例資料結構的描述符之 使用。描述符係用以延伸串流之功能性。本發明之描述符 可由傳送串流及節目串流兩者使用以實施本發明之技術。 雖…本發明主要聚焦於可用以用信號發送操作點之呈現能 力值、操作點之解碼能力值及操作點之位元迷率值之作 實例資料結構之描述符,但應理解,亦可使 a 構來執行此等技術。 胃针'”σ 根據本發明之技術’源器㈣可建構描述操作點之特性 之細作點描述符。該等特性可包括(例如)哪些視圖包括於 細作點中及該操作點之該等視圖的圖框速率。操作點描述 付可指定應由視訊解碼器支援以便接收並解石馬操作點之呈 現能力、應由視訊解碼器支援以便接收並解碼操作點之解 碼月b力’及操作點之位元速率。 本發明之技術可大體上將每—操作點表示成好像該操作 點為藉由傳送串流中之節目映射表或節目串流中之節目串 流映射來用信號發送的其自己的節目。或者’當節目含有 150173 .doc •12- 201112769 多個操作點時’本發明之技術提供闕於該等操作點應如何 在操作點描述符巾經重新組譯之#訊。操作點描述符可進 一步用信號發送操作點之相依性,此可節省位元。 圖1為說明音訊/視訊(A/V)源器件20將音訊及視訊資料 傳送至A/V目的地器件40之實例系統1〇的方塊圖。圖i之系 統10可對應於視訊電話會議系統、飼服器/用戶端系統、 廣播器/接收器系統,或視訊資料自源器件(諸如,a/v源 器件20)發送至目的地器件(諸如,Α/ν目的地器件4〇)之任 何其他系,统。在-些實例中,Α/ν源器件2〇及a/v目的地 器件40可執行雙向資訊交換。亦即,Α/ν源器件2〇及^ 目的地器件40可能夠對音訊及視訊資料進行編碼及解碼 (及傳輸及接收)兩者。在—些實例中,音訊編碼器%可包 含一語音編碼器,其亦被稱作聲碼器 在圖1之實例中,A/V源器件2〇包含音訊源22及視訊源 仏音訊源22可包含(例如)麥克⑱’其產生代表待由音訊 編碼器26編碼的所俘獲音訊資料之電錢。或者,音訊源 22可包含儲存先前記錄之音訊資料之儲存媒體、諸如電腦 化合成器之音訊資料產生器,或任何其他音訊資料源。視 源24可包3產生待由視訊編碼器2 8編碼的視訊資料之視 訊相機,編碼有先前記錄之視訊資料之儲存媒體、視訊資 料產生單元,或任何其他視訊資料源。 原始音訊及視訊資料可包含類比或數位資料。類比資料 可在由音訊編石馬器26及/或視訊編碼器職碼之前經數位 化在谠活之參與者正說話時,音訊源22可自該說話之參 150173.doc •13· 201112769 與者獲得音訊資料’且視訊源24可同時獲得該說話之參與 者的視訊資料。在其他實例中,音訊源22可包含一包含所 儲存之音訊資料的電腦可讀儲存媒體,且視訊源24可包含 一包含所儲存之視訊資料的電腦可讀儲存媒體。以此方 式’本發明中所描述之技術可應用於實況、串流、即時音 訊及視訊資料或應用於被封存、預先記錄之音訊及視訊資 料。 對應於視訊圖框之音訊圖框大體上為含有音訊資料之音 訊圖框,該音訊資料由音訊源22俘獲,同時,視訊圖框内 所含有之視訊資料由視訊源24俘獲。舉例而言,在說話之 參與者大體上由於說話產生音訊資料時,音訊源22俘獲該 曰Λ資料,且同時(亦即,在音訊源22正俘獲音訊資料時) 視。fl源24俘獲该說話之參與者之視訊資料。因此,音訊圖 忙可在時間上對應於一或多個特定視訊圖框。因此,音訊 圖框對應於視訊圖框大體上對應於如下㈣:音訊資料及 視訊資料同時被俘獲且音訊圖框及視訊圖框分別包含同時 俘獲之音訊資料及視訊資料。 在些貝例中,音訊編碼器26可在每一經編碼之音訊圖 框中編碼表示經編碼之音訊圖框之音訊資料被記錄之時間 的時戮’絲似地’視訊編碼器28可在每-經編碼之視訊 圖框中編碼表示經編碼之視訊圖框之視訊資料被記錄之時 的時4在此等貫例中,音訊圖框對應於視訊圖框可包 含:音訊圖框包含時戳及-視訊圖框包含相同時戳。A/v 源态件20可包括内部時脈,音訊編碼器臟/或視訊編碼 150173.doc 201112769 器28可自其產生時戮’或音訊源22及視訊源^可用其 使音訊與視訊資料與時戳相關聯。 刀 在-些貫例巾,音訊源22可將對應於音訊資料被記錄之 時間的資料發送至音訊編碼器26’ ^視訊源24可將對應於 視訊資料被記錄之時間的資料發送至視訊編碼器Μ。在二 些實例中’音訊編碼器26可在經編碼之音訊資料中編料 列識別符以指示經編碼之音訊資料之相對時間排序,但未 必指示音訊資料被記錄之絕對時間’且類似地,視訊編碼 器28亦可使用序列識㈣以指示經編碼之視訊資料之相對 時間排序。類似地m财,序列朗符可與時戮 進行映射或以其他方式與時戳相關。 本發明之技術大體而言係針對經編碼之多媒體(例如, 音訊及視訊)資料之傳送,及蛞榴、、, 及經傳达之多媒體資料的接收 以及後績解譯及解碼。本於明夕社& U + 伞\明之技術特定而言適用於多視 圖視訊編碼(MVC)資料(亦卽,七人、Λ , 寸(I即包含複數個視圖之視訊資 料)之傳送。如圖1之實例中所+ 貝列甲所不,視訊源24可將場景之複 數個視圖提供給視訊編碼5| 2 8。Α/ΤΛ,Ρ -r 勺态28 MVC可有用於產生待由三 維顯示器(諸如,立體或自動打挪一 x目勤立體二維顯示器)使用的三維 視訊資料。 A/V源器件20可將「服務担说μ 服務J k供給A/V目的地器件40。 服務大體上對應於MVC資料夕π m、 l貝杆之可用視圖之子集。舉例而 言,MVC資料可用於八個损圖 固祝圖,其以零至七排序。一服務 可對應於具有兩個視圖之立體相 體視訊’而另一I務可對應於 四個視圖’且又一服務可斜庙 J對應於所有八個視圖。大體而 150173.doc -15- 201112769 言’服務對應於可用視圖之任何組合(亦即,任何子华)。 服務亦可對應於可用視圖以及音訊資料之組合。操作:可 對應於服務,以使得A/V源器件2〇 你态件20可向由A/v源器件2〇所 提供之每一服務進一步提供一操作點描述符。 根據本發明之技術,A/V源器件2Q能夠提供對應於視圖 之子集之服務。大體而t,視圖係由視圖識別符(亦稱作 「一―id」)表示。視圖識別符大體上包含可用以識別視 圖之語法兀素。在編碼—視圖時,敎編碼器提供該視圖 之 view_id。view id可由]vrvrfez 成时 m - —由撾¥(:解碼盜用於視圖間預測或由 其他單元用於其他目的(例如,用於呈現)。 視圖間預測為用於參考處於共同時間位置之—或多個圖 框而將-圖框之獄視訊資料編碼為不同視圖之經編碼之 圖框的技術。下文更詳細論述之圖7提供用於視圖間預測 之一實例編碼方案。大體而[可在空間上、時間上及/ 或/考處於,、同%間位置之其他視圖之圖框來預測性編碼 說視訊資料之經編碼之圖框。因此,參考視圖(自其預 測其他視圖)大體上在諸視圖(參考視圖充當其參考)之前被 解碼,以使得在解碼參考視圖時此等經解碼之視圖可用於 參考。解碼次序未必斜廡μ β不乂耵應於Vlew—ld之次序。因此,使用 視圖次序索引來描述視圖之解碼次序。視圖次序索引為指 不存取單元中之對應視圖分量之解碼次序的索引。 貝料之每㈤別串流(無論音訊或是視訊)被稱作基本串 :。基本串流為節目之單-經數位編碼(可能經壓縮)之分 量。舉例而言,節目之經編碼之視訊或音訊部分可為基本 150173.doc -16 - 201112769 串流。在將基本串流多工成節目串流或傳送串流之前,可 將其轉換成封包化之基本串流(PES)。在同一節目内,串 流ID用以區別屬於一基本串流之PES封包與其他PES封 包。基本串流之育料之基本早位為封包化之基本串流 (PES)封包。因此,MVC視訊資料之每一視圖對應於各別 基本串流。類似地,音訊資料對應於一或多個各別基本串 流。 可將MVC經編碼之視訊序列分離成若干子位元串流,其 中之每一者為一基本串流。可使用MVC view_id子集來識 別每一子位元串流。基於每一MVC view_id子集之概念, 定義MVC視訊子位元串流。MVC視訊子位元串流含有在 MVC view_id子集中所列出之視圖之網路抽象層(NAL)單 元。節目_流大體上僅含有來自彼等基本串流之NAL單 元。其亦經設計使得任何兩個基本串流不能含有一相同視 圖。 在圖1之實例中,多工器30自視訊編碼器28接收包含視 訊資料之基本串流且自音訊編碼器26接收包含音訊資料之 基本串流。在一些實例中,視訊編碼器28及音訊編碼器26 可各自包括用於自經編碼之資料形成PES封包之封包化 器。在其他實例中,視訊編碼器28及音訊編碼器26可各自 與用於自經編碼之資料形成PES封包之封包化器介接。在 又其他實例中,多工器30可包括用於自經編碼之音訊及視 訊資料形成PES封包之封包化器。 如本發明中所使用之「節目」可包含音訊資料與視訊資 150173.doc -17- 201112769 料之組合’例如,音句其士由士 # 1 基本宰流及由A/V源器件20之服務 遞送之可用視圖之子集。 ^ ^ μ ^ ^ ^ PES封包包括識別該PES封 匕所屬之基本串流之stream ^ , ~多工态3〇負責將基本串流 以: = 流或傳送串流。節目串流及傳送串流為 叼^用為目標的兩個替代多工產物。 串’即目串流包括關於-個節目之資料,而傳送 串々Μ·可匕括關於一或多個節 提供之服務心 多工器3〇可基於所 二=、媒體(串流將被傳遞至其中)、待發送之節目 I他考4因素而編碼節目串流或傳送串流中之一 或兩者。舉例而言’當視訊資料待編碼於錯存媒體 :,多工器3〇可較可能形成節目串流,而當 =網,而:流傳輸、作為視訊電話之部分而廣播或發送 、夕工态30可較可能使用傳送串流。 器〇可月b偏向於將節目丰流用於儲存單一節目及自 2儲存服務顯示單一節目。節目串流意欲用於無錯誤環 兄或較不易遭遇錯誤之環境中,因為節目争流相當易受錯 誤影響。節目串流僅包含屬於其之基本m通; 7變長度之封包。在節目串流中,自起作用之基本串;; 導出之PES封包組織成「封裝」。封裝包含按照任何次序之 ^裝標頭、選用之系統標頭及自起作用之基本串流中之任 意者獲得之任何數目個PES封包。系統標頭含有節目串流 之特性(諸如’其最大資料速率、起作用之視訊及音訊基 本串流之數目、另外時序資訊或其他資訊)之概述^ 器可使用系統標頭中所含有之資訊以判定該解碼器是否能 150l73.doc •18- 201112769 夠解瑪節目串流。 多工器30可將傳送串流用於經由可 同時遞送複數個節目。傳送串流為經 頻道 播之多節目應用以使得單一傳逆串”:以用於诸如廣 目”丁 η ”傳达串流可容納許多獨立節 之夕工產物。傳送串流可包含一 私4 1 巧甲得达封包’傳送 封匕中之母一者長188位元組。使用較短固定長度 使得與節目串流相比,傳送串 又 匕 呀^:甲抓竿又不易文錯誤影響。 (R由“ ‘準錯誤防護程序(諸如,李德_所羅門 Γ::η)編碼)處理每一188位元組長之傳送封包而 4予㈣包額外錯誤防護。舉例而言,傳送串流之改良之 錯誤回復意謂其具有倖免於在廣播環境中發現之易於出錯 之頻道的較佳機會。 “可看出’與節目串流相比’傳送串流歸因於其增加之錯 誤回復及載運許多fg] y η Λ 1 … 干夕R4卽目之能力而為較佳的。然而,傳 、:串抓為比即目串流複雜之多工產物’且因此與節目串流 匕較難以建立且較複雜解多卫。傳送封包之第一位元 組可為具有值GX47(十六進制47,二進位「W刪⑴」,十 進制:1)的同步位兀組。單一傳送争流可載運許多不同節 目’母一即目包含許多封包化之基本串流。多工器30可使 十一位元之封包識別符(PID)攔位以區別含有一個基本 <·資料的傳送封包與載運其他基本串流之資料的彼等 傳^封包°確保向每—基本串流給予唯一 PID值為多工器 之貝任傳送封包之最後位元組可為連續性計數欄位。多 H 3 0在屬於同_基本串流的連續傳送封包之間使連續性 150173.doc 19 201112769 計數欄位之值遞增。此使目的地器件(諸如,A/v目的地器 件40)之解碼器或其他單元能夠偵測傳送封包之損失或増 显,且有希望隱减1可能另外因此種事件所致之錯誤。 多工器30自音訊編碼器26及視訊編碼器28接收節目之 基本串流之PES封包,且自該等PES封包形成對應網路抽 象層(NAL)單元。在H.264/AVC(進階視訊編碼)之實例 中’經編碼之視訊片段組織成NAL單元,其提供解決諸 如視訊電話、儲存、廣播或串流之應用的「網路易用 (network-friendly)」視訊表示。可將NAL單元分類成視訊 編碼層(VCL)NAL單元及非VCL NAL單元。VCL單元含有 核心壓縮引擎且可包含區塊、巨集區塊及/或切片層級。 其他NAL單元為非VCL NAL單元。 多工器30可形成NAL單元,其包含一識別NAL所屬之節 目之標頭,以及一有效負載(例如,音訊資料、視訊資料 或描述NAL單元所對應的傳送或節目串流之資料)。舉例 而e ’在H.264/AVC中,NAL單元包括一 1位元組標頭及一 具有變化大小之有效負載。在一實例中,NAL單元標頭包 含priority—id元素、temporalJd元素、 素、view_id 元素、non—idr_flag 元素及 inter—view—fUg 元 素。在習知MVC中’留存由Η.264定義之NAL單元,除了 首碼NAL單元及MVC編碼切片NAL單元(其包括4位元組 MVC NAL單元標頭及NAL單元有效負載)之外。 NAL標頭之priority—id元素可用於簡單之單路徑位元串 流調適程序。temporal_id元素可用於指定對應Nal單元之 150173.doc 20- 201112769 時間層級’其中不同時間層級對應於不同圖框速率。 anchor_pie_fiag疋素可指示圖像是料圖像或是非錫定 圖像可正確地解碼銷定圖像及在輸出次序(亦即,顯示 纟序)上在其之後的所有圖像’而不解碼在解碼次序(亦 ? _串仙人序)上之先前圖像,且因此錨定圖像及在 .輸出次序(亦即’顯示次序)上在其之後的所有圖像可用作 隨機存取點。錯定圖像及非錫定圖像可具有不同相依性, 其兩者:在序列參數集合中用信號發送。將論述其他旗標 在早之以下早節中使用其他旗標°此種錯定圖像亦可 被稱作開放GOP(圖像群組)存取點,而在職一此一叫元素 等於零時,封閉G〇P存取點亦得以支援。咖―⑷―叫元素 指不圖像為瞬時解碼器再新(IDR)或是視圖idr(v_id幻圖 像大體而5 ’可正確地解碼mR圖像及在輸出次序或位 一串力L人序上在其之後的所有圖像,而不解碼在解碼次序 或顯示次序上之先前圖像。 view—id元素可包含可用以識別視圖之語法資訊,其可 用於MVC解碼器内部之資料互動以(例如)用於視圖間預測 及解碼器外部之資料互動以(例如)用於呈現。 . lnter-View-flag元素可指定對應NAL單元是否由其他視圖 、 用於視圖間預測。為了傳達基礎視圖之4位元組NAL單元 標頭資訊(其可符合AVC),在MVC中定義首碼NAL單元。 在MVC之情形下,基礎視圖存取單元包括視圖之當前時間 瞬時之VCL NAL單元以及其首碼NAL單元,該首碼NAL單 兀僅含有NAL單元標頭。H.264/AVC解碼器可忽視首碼 J50173.doc -21 · 201112769 NAL單元。 在有效負載中包括視訊資料的NAL單元可包含各種細微 度等級之視訊資料。舉例而言,Nal單元可包含視訊資料 之區塊、巨集區塊、複數個巨集區塊、視訊資料之切片, 或視訊資料之整個圖框。多工器3〇可自視訊編碼器28接收 呈基本串流之PES封包之形式的經編碼之視訊資料。多工 器30可藉由將streamjd映射至(例如,資料庫或其他資料 結構中的)對應節目(諸如,節目映射表(pMT)或節目串流 映射(PSM))而使每一基本串流與對應節目相關聯。 多工器30亦可自複數個NAL單元組譯存取單元。大體而 °存取單元可包含用於表示視訊資料之圖框以及對應於 該圖框之音訊資料(在此音訊資料可用時)之一或多個NAL 單元存取單元大體上包括一輸出時間瞬時之所有NAL單 元’例如’-時間瞬時之所有音訊及視訊資料。舉例而 言,若每一視圖具有20個圖框/秒(fps)之圖框速率,則每 一時間瞬時可對應於_秒之時„隔。在此時間間隔期 間’可同時呈現同一存取單元(同一時間瞬時)之所有視圖 的特定圖框。在對應於H.264/AVC之實例中,存取單元可 包含-時間瞬時中之經編碼之时,其可呈現為主要經編 碼之圖像。因此,存取單元可包含共同時間瞬時之所有立 訊及視訊圖框,㈣,對應於時間仅所有視圖。: 亦將特定視圖之經編碼之圖像稱作「視圖分量」^ 視圖分量可包含力;姑: 3在特疋牯間之特定視圖的經編 (或圖框)。因此,可將留__ + I ^ 圖像 了將存取早凡疋義為包含共同時 150173.doc •22- 201112769 之所有視圖分量。存取單元之解碼次序未必需要與輸出次 序或顯示次序相同。 多工器30亦可將關於節目之資料嵌入於NAL單元中。舉 例而口 #工盜30可建立包含節目映射表(ρΜτ)或節 流映射(顺)之NAL單元。大體而言,ρΜτ用以描述 串流,而蘭用以描述節目串流。如下文關於⑸之實例 二評細描述,多工器3〇可包含資料儲存單元或與資料儲存 :7G互動’邊貝料儲存單元使自音訊編碼器26及視訊編碼 器28接收之基本串流與節目相關聯,且相應地與各別 串流及/或節目串流相關聯。 、 _與大多數視訊編碼標準—樣,H.264/AVC定義無錯誤位 疋串流之語法、語義及解碼程序,其中之每一者符 "又疋檔或層級。H.264/AVC不指定編碼器,但編碼器之 務為保證對於解碼^言所產生之位元串流為符;標準 的。在視訊編碼標準之情形下,「設定檔」對應於算 法特被或工具及施加至演算法、特徵或工具之約束之子 集。舉例而言,如由Η·264標準所定義,「設定槽 Η.264標準指定之整個位元串流語法之子集。「層級」對 於解碼态資源消耗之限制,諸如,與圖像之解析度、位元、 ,率及巨集區塊(Μ Β)處理速率有關之解碼器記憶體及$ 牛例而。,Η.264標準認識到,在由給定設定檔之该法 強加之界限内,視由位元串流中之語法元素所採用之 (★、工解碼之圖像之指定大小)’仍有可能需要編碼器 150173.doc -23· S- 201112769 及T碼器之效能的大變化。Η·264標準進一步認識到,在 許多應用中,實施能夠處理特定設定檔内之語法之所有假 疋用途之解碼器既不實用亦不經濟。因此,Η 標準將 「層級」定義為對位元串流中之語法元素之值所強加的約 束之指定集合。此等約束可為對諸值之簡單限制。或者, 等’力束可採用對諸值之算術組合(例如,圖像寬度乘以 圖像高度乘以每秒所解碼之圖像之數目)之約束之形式。 Η.264標準進一步提供,個別實施可支援每一所支援之設 定檔之不同層級。 符合设定檔之解碼器通常支援該設定檔中所定義之所有 特徵。舉例而言,作為編碼特徵,Β圖像編碼在 H.264/AVC之基線設定檔中未被支援,但在Η 264/Αν〇之 其他設定檔中得以支援。符合層級之解碼器應能夠解碼不 需要超出該層級中所定義之限制的資源之任何位元串流。 设定檔及層級之定義可幫助實現可解譯性。舉例而言,在 視訊傳輸期間,針對整個傳輸作業階段之一對設定檔及層 級疋義可經協商並達成一致。更具體言之,在H 264/avc 中,層級可定義(例如)對以下各項之限制:需要經處理之 巨集區塊之數目、經解碼之圖像緩衝器(DpB)大小、經編 碼之圖像緩衝器(CPB)大小、垂直運動向量範圍、每兩個 連續MB之運動向量之最大數目,及B區塊是否可具有小於 8 x 8像素之子巨集區塊分割區。以此方式,解碼器可判定 遠解碼器是否能夠適當解碼位元串流。 參數集合大體上含有序列參數集合(sps)中之序列層標 150173.doc •24· 201112769 頭資訊及圖像參數集合(PPS)中之偶爾改變之圖像層標頭 資訊。就參數集合而言’每一序列或圖像之此偶爾改變之 資訊無需重複;因此,編碼效率可改良。此外,參數集合 之使用可致使能夠頻帶外傳輸標頭資訊,從而避免為達成 錯誤回復之冗餘傳輸之需要。在頻帶外傳輸中,將參數集 合NAL單元在與其他NAL單元不同的頻道上傳輸。 MPEG-2系統標準藉由「描述符」允許系統之延伸。 PMT與PSM兩者皆包括描述符迴圈,—或多個描述符可插 =於描述符迴圈I大體而t,描述符可包含可用以延伸 節目及/或節目元素之定義的資料結構。本發明描述用於 執行本發明之技術之操作點。士牌 木f^大體而§,本發明之操作點 描述符藉由描述操作點之呈現能力、解碼能力及位元速率 而增強習知MVC延伸描述符。目的地器件(諸如,A/v目的 地器件40)可使用每-操作點之操作點描述符以選擇待解 碼之位元串流之操作點中之一者。 每-.或PSM可包括描述操作點之特性之操作點描述 符。舉例而言’源器件20可提供操作點描述符以提供描述 用戶端ϋ件40之呈現能力之呈現能力值。為了使用戶 件40適當呈現(例如’顯示)操作點之視訊資料,用戶端器 件40應滿足藉由呈現能力值來用信號發送之呈現能力。呈 現能力值可描述(例如)待顯示之視圖之數目(例如,以 為目標之視圖之數目)及/或視圖之視訊資料之圖 因此’用戶端器件40可判定,當用戶端器件利 44能夠在由操作點描述符指 巩輪出 彳日疋之圖框速率下顯示操作點之 150173.doc 、 -25- g.; 201112769 視圖的數目時’呈現能力得以滿足。 在源器件20使用多播或廣播協定傳輸Mvc位元串流之實 例中,源器件20可將整個MVC位元串流封包化成傳送串 流,其可由具有各種呈現能力之用戶端器件接收。舉例而 言,一些三維節目可具有不同數目個視圖(例如,兩個視 圖、四個視圖、六個視圖或八個視圖),且各種器件可能 夠使用一對視圖與四對視圖之間的任何地方。因此,每一 用戶端器件可基於可由用戶端器件顯示的視圖之所支援數 目而判定將使用哪一操作點。舉例而言’用戶端器件4〇可 藉由判定可由視訊輸出44顯示之視圖之數目及視訊輸出44 能夠顯示視訊資料之圖框速率及判定基於視訊輸出料之呈 現能力應使用諸操仙中之哪一纟來判定將使用諸操作點 中之哪一者。 在源器件使用單播協定傳輸Mvc位元串流之實例中,用 戶端器件40可藉由檢查在對應操作點描述符中所指定之呈 覌能力而建立對應於具有可接受數目個視圖之節目之作業 階段。類似地’在MVC位元串流經編碼於電腦可讀儲存媒 體中以供本地播放之實例中,用戶端器件4〇可藉由檢查 PMT或PSM之操作點描述符中所教之呈現能力而選擇合 適節目。 源器件20亦可在操作點描述符中提供解碼能力值。待解 碼之視圖之數目可能未必與待顯示之視圖之數目相同。因 此’操作點描述符可分別用信號發送操作點之待顯示之視 圖之數目及操作點之待解碼之視圖之數目。此外,操作點 150173.doc -26 - 201112769 描述符可特定識別對應於操作點之視圖。特定用戶端器件 可(例如)基於檢視圖度而(針對各種目的)偏好於特定視 圖。因此,用戶端器件40可經組態以基於哪些視圖可用於 操作點中而選擇操作點。 例中’在操作點中用信號發送之解碼能 隹一些 外或替代地指定該操作點所對應之設定檔及層級。在源器 件2 0使用夕播或廣播協定傳輸位元串流之實例中,具有不 ㈣碼能力之各種用戶端器件可接收該位元串流。舉例而 口 ~解碼器可能僅能夠在30 fps下解碼兩個視圖,而 二解碼态可能夠在60 fps下解碼四個視圖。在源器件 使用單播協定傳輸位元串流之實例中,用戶端器件4〇可在 檢查PMT中之描述符中所指定的解碼能力之後建立合適作 業㈣(針對特定三維節目)。類似地,針對本地播放,用 :端器件40可藉由檢查pMT或pSM之操作點描述符中所指 定之解碼能力而選擇合適節目。 次原益件20可另外在操作點描述符中用信號發送位元速率 資訊。位元速率資訊可描述操作點之平均位元速率及/或 速率中之—者或^者。舉例而言,當源器件20使 早播協疋傳輸位元串流時’可在頻寬方面限制用以傳輸 凡串流之頻道。因&,用戶端器㈣可選擇具有通信 'I之可容許最大或平均位元逮率之操作點。 ^些實例中,㈣件2G可進—步在操作點描述符中指 :二:圖框速率。操作點之特定視圖可具有與操作點 圖框速率不匹配之圖框速率。因此,用戶端器件40可判 150173.doc -27- 201112769 定操作點之圖框速率及此視圖之圖框速率以簡化為達成顯 示視訊資料之目的而线組譯經解碼之視訊資料之程序。 在各種實例中’當兩個操作點之圖樞速率不匹配時,用戶 H 4G可丢棄來自具有較高圖框速率之操作點之視圖的 圖框或内插來自具有較低圖框速率之操作點之視圖的圖 框。 「通常’基本串流包括旗標「n〇—sei_nal—她一評价」及 「no—preflx_nal—unit—present」,其分別描述該基本串流是 否包括sEm息及首碼NAL單元。本發明提議用戶端器件 (諸如,用戶端器件40)推斷SEI訊息及/或首碼NAL單元是 否存在於操作點内’而非明確地用信號發補作點之此等 值為了判疋SEI訊息是否存在於操作點中,用戶端器件 4〇可判疋該操作點之基|串流之n。—sei—nal—unit—喊 的最大值是否等於一。類似地,為了判定首碼nal單元是 否存在於操作點中’好端器件4〇可判定該操作點之基本 串流之no—preflx—nal—unit—present值的最大值是否等於 —— ο 上文所論述之實例已聚焦於關於MVC位元串流之每一操 作點所包括之操作點描述符。作為一替代,源器件2 〇可提 供用信號發送類似資料之MVC延伸描述符。舉例而言,源 器件20可使一個以上Mvc延伸描述符與對應於基本串流之 MVC視訊子位元串流相關聯。源器件2〇可在子位元串流之 MVC延伸描述符中指定待顯示之視圖之圖框速率、 view_id子集及待解碼之視圖之數目。源器件2〇可進一步 150173,doc -28- 201112769 用k號發送MVC延伸描述符與對應操作點之間的映射。 諸如 ITU-T H.261、H.262、H.263、MPEG-ι、MPEG-2 及H.264/MPEG-4第10部分之視訊壓縮標準利用運動補償 時間預測以減少時間冗餘。編碼器使用來自一些先前編碼 之圖像(在本文中亦被稱作圖框)之運動補償預測以根據運 動向量預測當前經編碼之圖像。在典型視訊編碼中存在三 種主要圖像類型。其為經圖框内編碼之圖像(Γι圖像」或 「I圖框」)、經預測之圖像(「ρ圖像」或Γρ圖框」)及經 雙向預測之圖像(「Β圖像」或「關框」)。?圖像僅使用 在時間次序上在當前圖像之前的參考圖像。在Β圖像中, 可自一或兩個參考圖像預測Β圖像之每一區塊。此等參考 圖像可在時間次序上位於當前圖像之前或之後。 根據Η.2Μ編碼標準,作為一實例,β圖像使用先前經編 碼之參考圖像之兩個清單,清單〇及清單^。此兩個清單可 ^自含有j時間次序上之過去及/或未來經編碼之圖像。 了按以下若干方式中之—者預測B圖像中之區塊:來自清 =考圖像之運動補償預測、來自清單!參考圖像之運動 ^預測’或來自清單G參考圖像與清單〗參考圖像兩者之 考圖傻運動補仏預測。為了得到清單〇參考圖像與清單1參 亏圖像兩者之鉍人、 -it m ^ ^ °刀別自清單0參考圖像與清單1參考圖 塊传兩個運動補償參考區域。其組合將用以預測當前區 預测標準支援:以各種區塊大小進行之圖框内 ,針對亮度分量之16乘16、8乘8或4乘4以及針 i50l73.doc -29- 201112769 對色度分量之8χ8 ;以及以各種區塊大小進行之圖框間預 測’諸如’針對亮度分量之16χ16、16χ8、8χ16、8x8、 8x4、4x8及4χ4以及針對色度分量之對應按比例調整之大 小。在本發明中,「X」與「乘」可互換地使用以指代在垂 直尺寸與水平尺寸方面的區塊之像素尺寸,例如,16χ16 像素或16乘16像素。大體而言,16χ16區塊將具有垂直方 向上之1 6個像素(y=i6)及水平方向上之16個像素(χ=16)。 同樣地,ΝχΝ區塊大體上具有垂直方向上之Ν個像素及水 平方向上之Ν個像素,其中1^表示非負整數值。可以列及 行配置區塊中之像素。 小於16乘16之區塊大小可被稱作16乘16巨集區塊之分割 區。視訊區塊可包含像素域中之像素資料之區塊,或(例 如)在將諸如離散餘弦變換(DCT)、整數變換、小波變換或 概念上類似之變換的變換應用於殘餘視訊區塊資料之後的 變換域中之變換係數的區塊,該殘餘視訊區塊資料表示經 編碼之視訊區塊與預測性視訊區塊之間的像素差。在一些 狀況下,視訊區塊可包含變換域中之經量化之變換係數的 區塊。 較小視訊區塊可提供較佳解析度,且可用於定位包括高 層級細節之視訊圖框。大體而言,巨集區塊及各種分割區 (有時被稱作子區塊)可被視為視訊區塊。另外,切片可被 視為複數個視訊區塊,諸如,巨集區塊及/或子區塊。每 —切片可為視訊圖框之可獨立解碼之單元。或者,圖框自 身可為可解碼單元,或圖框之其他部分可被定義為可解碼 150173.doc -30、 201112769 單元。術語「經編碼之單元」或「編碼單元」可指代視訊 圖框之任何可獨立解碼的單元,諸如,整個圖框、圖框之 切片、圖像群組(G〇P)(亦被稱作序列),或根據適用編碼 技術所定義之另一可獨立解碼的單元。 術語巨集區塊指代用於根據包含16><16像素之二維像素 陣列編碼圖像及/或視訊資料的資料結構。每一像素包含 一色度分量及一亮度分量。因此,巨集區塊可定義:四個 冗度區塊,其各自包含8x8像素之二維陣列;兩個色度區 塊,其各自包含16x16像章之二維陣列;及一標頭,其包 含語法資訊,諸如,編碼區塊型樣(CBp)、編碼模式(例 如,圖框内(I)或圖框間(P或B)編碼模式)、圖框内編碼之 區塊之分割區的分割大小(例如,16χ16、16χ8、“Μ、 8x8、8x4、4x8或4x4),或圖框間編碼之巨集區塊的一或 多個運動向量。 視訊編碼器28、視訊解碼器48、音訊編碼器%、音訊库 碼器46、多工器3G及解多工器38各自可在適用時實施為多 種合適編碼H或解碼H電路中之任意者,諸如,—或多伯 =處理H、數位信號處判(DSP)、特殊“積體電蹈 二ic)、場可程式化間陣列(FpGA)、離散邏輯電路、軟 ㈣或其任何組合。視訊,W及視訊解碼 之每一者可包括於一或多個編碼器或解碼器中,其 部合!組合之視訊編碼^解碼器(編解碼器)的 门U也,音訊編碼器26及音訊解碼器46中之每一者 可^括於—或多個編碼器或解碼器中,其中任意 150I73.doc 201112769 為組合之編解碼器的部 哭48、立括視戒編碼器28、視訊解碼 〇〇 曰訊編碼器音印站· m Α _ 訊編碼咨26、音訊解碼器46、吝r哭 ===Γ包含峨路、微二 果式®活之無線通信器件。 與關於MVC子仞4 Λ + . 串/瓜之習知技術(其不提供 發信號特性)相士 ^ ^ 。'个扠供铩作點之 發明之技術可提供特定優點。每一 子位7〇宰流可包括對 — _ 4。 、心位兀串w之一或多個視圖。在一此 狀況下,刼作點可對庫於· — ^ _ 耵應於不冋位兀_流之視圖。本發明夕 '「提供識別對應操作點之視圖之操作點描述符。 單㈣Ί料組譯_單元及/或存取 夕工态3〇將該早元傳遞至輸出介面32以供輸 出。輸出介面32可包含(例 以、輸 )得輸态、收發器、用於將資 料寫入至電腦可讀姐辦 ^ 媒體(诸如,光碟機、磁性媒體磁碟機 ^ ^ 。))益件、通用串列匯流排(USB)埠、網 路介面或其他輸出介面。耠ψ八工1 ;早,祠 _ 輸出介面32將NAL·單元或存取單 兀輸出至電腦可靖搜鱗卞 諸如,傳輸信號、磁性媒體、 = 現身碟或其他電腦可讀媒體。 最後,輸入介面3 6 ό Φ 自電知可讀媒體34擷取資料。輸介 面36可包含(例如" 先碟機、磁性媒體磁碟機、USB埠、接 收器、收發器或其他電腦结 J喂媒體介面。輸入介面36可將 NAL單元或存取單元裎徂 ...... ^供至解多工器38。解多工器38可將 傳送串流或節目串、古紘夕

串爪解夕工成構成PES串流,對該等PES 事流解封包化以擷取經編 B、s兮 娜〇之貝枓,且視該經編碼之資料 為音讯串流或是插句{电、'去以丄 、 ° 0IL的部分(例如’如由串流之peS封 150l73.doc • 32 - 201112769 包標頭所指示)而將該經編碼之資料發送至音訊解碼器“ 或視訊解碼!g48。音訊解碼器46解碼經編碼之音訊資料且 將該經解碼之音訊資料發送至音訊輸出42,而視訊解碼器 4 8解碼經編碼之視訊資料且將該經解碼之視訊資料(其可 包括串流之複數個視圖)發送至視訊輪出44。視訊輸出44 可包含使用場景之複數個視圖之顯示器,例如,同時呈現 場景之每一視圖之立體或自動立體顯示器。 詳言之,解多工器38可選擇所接收之位元串流之操作 點。舉例而言,解多卫器38可比較該位元串流之操作點之 特性以選擇待由A/V目的地器件4()使用之適#操作點。大 體而言’冑多工器38可試圖選擇該等操作點中之將向使用 者提供最高品質檢視體驗的可由視訊解碼器48解碼之一操 作點。舉例而言,解多4 38可將視訊解碼器Μ之呈現能 力及解碼能力與藉由位元串流之操作點描述符用信號發送 之所建^義之呈現能力及解碼能力比較。關於解多工器38判 定可由視訊解碼器48適當解碼之操作點,解多工器%可選 擇將提供最n視訊資料(例如,最高®框料及/或位 兀速率)之操作點。在其他實例中,解多工器38可基於其 他考慮(諸如,電力消耗)來選擇所支援之操作點中之一操 作點。 μ 圖2為說明多工器3〇(圖1}之組件之實例配置的方塊圖。 在圖2之實例中,多工器30包括串流管理單元6〇、視訊輸 入介面80、音訊輸入介面82、經多工串流輸出介面84,及 節目特定資訊表88。串流管理單元60包括NAl單元建構器 蠢· 150173.doc •33· 201112769 62、PMT建構器64、串流識別符(串流ID)查詢單元66,及 節目識別符(PID)指派單元68。 在圖2之貫例中,視訊輸入介面8〇及音訊輸入介面^包 括用於自、編碼之視訊資料及經編碼之音訊資料形成 單元的各別封包化。在其他實例中,視訊及/或音訊封 包化ji可包括於在多工器30外部的單元或模組中。關於圖 2之實例’視訊輸入介面8〇可自接收自視訊編碼㈣的經 編碼之視訊資科形成PES封包,且音訊輸入介面82可自接 收自音訊編碼器26的經編碼之音訊資料形成㈣封包。 串流管理單元6G自視訊輸人介㈣及音訊輸人介面Μ接 收PES封包。每一 PES封包包括識別該pEs封包所屬之基本 串流之宰流ID。串流⑴查詢單元66可藉由查詢節目特定資 訊表88而判定PES封包所對應的節目。亦即,串流ID查詢 單元66可判定所接收之卿封包對應於哪一節目。每一節 目可包含複數個基本串流’而大體而言,一個基本串流對 應於僅一個節目。然而,在一 n 二實例中,基本串流可包括 於稷數個節目中。因為各種服 ^ j各自包括可用音訊及視 讯串流之各種子集,所以每_p 以封包可包括於自多工器 3〇輸出之複數個争流中。因此, 争机1D查珣早元66可判定 ,匕疋否應包括於一或多個輪出 ..,.. 热】出串机(例如,一或多個 傳送或郎目串流)中,且特定 ^ ^ <判疋在该等輪出串流中 之那一者中包括該PES封包。 在一貫例中,每一基本串户拟卜 A主士 L對應於一節目。多工器30可

負貝確保每一基本串流與特定節 B 目相關恥,且相應地與節 150173.doc -34- 201112769 目ID(PID)相關聯。當接收包括未由多工器30辨識之串流 ID(例如,未儲存於節目特定資訊表88中之串流ID)的PES 封包時,PID指派單元68在節目特定資訊表88中建立一或 多個新項目以使新串流ID與未使用的PID相關聯。 在判定PES封包所對應的節目之後,NAL單元建構器 62(例如)藉由將該PES封包與NAL單元標頭(其包括該PES 封包之串流ID所對應的節目之PID)囊封在一起而形成包含 該PES封包的NAL單元。在一些實例中,NAL單元建構器 62或串流管理單元60之另一子單元可形成包含複數個NAL 單元的存取單元。 PMT建構器64使用來自節目特定資訊表88之資訊建立多 工器30之對應輸出串流之節目映射表(PMT)。在另一實例 中,串流管理單元60可包含用於建立由多工器30輸出之節 目串流之節目串流映射的PSM建構器。在一些實例中,多 工器30可包含PMT建構器64及PSM建構器兩者且輪出傳送 串流及節目串流中之一者或兩者。在圖2之實例中,PMT 建構器64可建構一 PMT,該PMT包括由本發明描述之新描 述符(例如,操作點描述符以及任何其他必要描述符)及其 PMT資料。PMT建構器64可週期性地(例如,在特定時間 週期之後或在已傳輸特定量之資料之後)發送傳送串流之 後續PMT。PMT建構器64可(例如)將所建立之PMT傳遞至 NAL單元建構器62,以用於藉由將PMT與對應NAL單元標 頭(其包括對應PID)囊封在一起而形成包含PMT的NAL單 元0 150173.doc -35- 201112769 PMT建構器64可建立筋目夕在 即目之母一刼作點之資料結構(諸 二::作點描述符)。由ΡΜΤ建構器“建立之資料結構可 ^號發送訂各者:料接收时㈣軸作點待滿足 =能力之呈現能力值、描述接收器件使用該操作點待 =足的解碼能力之解碼能力值,及描述該操作點之位元速 率之位元速率值。 舉例而。,ΡΜΤ建構器64可基於由節目# — * ^生 存之資訊或經由視訊輸入人面二:即目特…表88儲 輸入;I面80自視訊編碼器28接收之 況來判定操作點之待顯示之視圖的數目及操作點之視圖之 =率,構器64可使用資料結構之呈現能力值用 二二W作點之視圖之數目及操作點之視圖之圖框速率 中的一者或兩者。 ΡΜΤ建構⑽料料㈣點之贿碼 操作點之視圖所對庫之执W & a 明歎目及 吓耵應之叹疋檔的層級值。舉例而言, 建構器64可判定需要經處理之巨集區塊之數目、經解碼之 圖像緩衝器大小、經银踩 > … 1扁碼之圖像緩衝器大小、垂直運動向 ㈣圍、:兩個連續巨集區塊之運動向量之最大數目,及/ 或塊疋^可具有小於㈣像素之子巨集區塊分割區,且 使用此等判疋以判疋操作點之層級。PM建構器64可經由 視訊心介面8〇自視訊編碼器28接收此資訊。而建構号 64可接者❹操作點之解碼能力值表科解碼之 目及/或設定檔之層級值。 双 ΡΜΤ建構116何m⑻㈣狀位元速率值且料 位元速率值編碼於資料結構中。位元速率值可對應於㈣ 150173.doc •36· 201112769 點之平均位元速率或最大位元速率。ΡΜτ建構器64可計曾 操作點之位元速率或自視訊編碼器28接收位元速率之指 經多工串流輸出介面84可自串流管理單元6〇接收—或多 個NAL單元及/或存取單元,例如,包含pES封包(例如, 音訊或視訊資料)之NAL單元及/或包含PMT之NAL單元。 在一些實例中,在自串流管理單元6〇接收對應於共同時間 位置的一或多個NAL單元之後,經多工串流輸出介面料可 自該等NAL單元形成存取單元。經多卫串流輸出介面_ 該等NAL單元或存取單元作為輪出而在對應傳送串流或節 目串流中傳輸。經多工串流輸出介面84亦可自ρΜτ建構器 64接收資料結構且包括該資料結構作為位元串流之部分: 圖3為說明節目特定資訊表88之實例集合的方塊圖。可 基於傳送封包之PID值判定該傳送封包所屬的基本串流。 為了使解碼器適當解碼所接收之資料,該解碼器需要能夠 判定屬於每一節目之基本串流。如包括於節目特定資訊表 88中的節目特定資訊可明择指定節目與分量基本串流之間 的關係。在圖3之實例中1目特定資訊表88包括網路資 訊表_、條件存取表1〇2、節目存取表HM,及節目映射 表1〇6。對於圖3之實例❿言,假定輸出串流包含MPEG.2 傳送串流。在一替代實例φ ,认i a α 乂 π例宁輸出串流可包含節目串流, 在此狀況下,可用節目串流映射替換節目映射表106。 MPEG-2系統規範指定载運於傳送串流中之每-節目具 有-與其㈣聯之“映射表(諸如,節目映射表岡。節 150173.doc •37· 201112769 目映射表H)6可包括關於節目及該節目包括之基本串流之 細節。作為一實例,被識別為節目號3之節目可含有且有 PID 33之視訊基本串流、具有PID 57之英文音訊串流,及 具有PID 60之中文立却由, 文s汛串流。准許PMT包括一個以上節 目° 由Μ·2系統規範指定的基礎節目映射表可附有在該 MPEG-2系統規範内指定的許多描述符中之一些(例如,描 j符108)。描述符108可包括MpEG_2系統規範之指定描述 符中的任意者或全部。大體而言,描述符(諸如,描述符 ⑽)傳達關於節目或節目之分量基本串流或子位元串流之 其他資訊。該等描述符可包括視訊編碼參數、音訊編財 數、語言識別、搖攝及掃描資訊、條件存取細節、版權資 訊’或其他此種資訊。廣播公司或其他使用者可定義額外 私用描述符。 本發明提供-種用以描述符合MpEG_2系統之位元串流 中之操作點之特性的操作點描述符。描述符⑽可包括對 應位元串流之每-操作點之操作點描述符。如圖3中所展 示:描述符⑽包括MVC延伸描述符11〇、階層描述符山 及操作點描述符114。操作點描述符114中之每一者可對應 於位元串流之特定操作點,且用信號發送關於該操作點2 以下各者:描述接收器件使用該操作點待滿足的呈現能力 ^現能力值 '描述接收器件使用該操作點待滿足的:碼 能力之解碼能力值’及描述操作點之位元速率之位元速率 值。在視訊相關之分量基本争流中,亦存在階層描述符, 150173.doc -38· 201112769 其提供資訊以識別含有經階層式編碼的視訊、音訊及私用 串流之分量之節目元素。 下文表1提供包括於MVC延伸描述符110中之資料的一實 例。表1中所展示之各種攔位及該等欄位之位元深度僅為 一實例。在一實例中,每一 MVC視訊子位元-流係與 MVC延伸描述符110中之一對應者相關聯,該相應MVC延 伸描述符指定對應MVC視訊子位元串流之特性。MVC視 訊子位元串流可需要組譯其他MVC視訊子位元_流。亦 即,為了解碼並呈現特定子位元串流,用戶端器件可需要 自包括兩個子位元串流之常見位元串流之其他子位元串流 提取並解碼視訊資料。 表1-MVC延伸描述符 語法 位元之數目 助憶符 MVC_extension_descriptor() { descriptor_tag 8 uimsbf descriptor—length 8 uimsbf average一bit_rate 16 uimsbf maximum_bitrate 16 uimsbf reserved 4 bslbf view_order_index_min 10 bslbf view—order_index_max 10 bslbf temporal_id_start 3 bslbf temporal—id一end 3 bslbf no_sei_nal_unit_present 1 bslbf reserved 1 bslbf } 150173.doc -39- 201112769 在表1之貝例中,描述符標籤欄位可對應於包括於每一 描述符中以特定識別該描述符之八位元描述符標籤攔位, 如由MPEG-2系、统標準所闡述。MpEG_2系统標準定義特定 描述符標籤且將其他描述符標籤值(例如,值36至63)標記 為「保留」。然而,MPEG-2系統標準之修正案4提議將 MVC延伸描述符設定成「49」,其對應於如Μ·』系統規 範中所指定的保留描述符標籤中之_者。因此,本發明提 議將MVC延伸描述符i】〇之邮之值設定成值 「49」。 此外,描述符長度攔位可對應於亦包括於每一描述符中 之八位元描述符長度攔位,如由MpEG_2系統標準所闡 述°多工@3(>可將描述符長度攔位之值設定成等於MVC延 伸描述符110中之緊接描述符長度欄位之後的一對應者之 位疋組之數目。因為MVC延伸描述符之長度不改變,所以 夕工益30可將MVC延伸描述符11〇中之每一者之描述符長 度欄位之值設定成值8,以表示在描述符長度攔位之後存 在資sfl之八個位元組。 平均位元速率攔位可包含指示經重新組譯之AVC視訊串 流之平均位元速率(以每秒千位元計)之十六位元欄位。亦 即,平均位7L速率攔位描述當自Mvc延伸描述符丨丨〇中之 一者所對應的傳送串流或節目串流之構成部分組譯―視訊 串流時該視訊串流之平均位元速率。在_些實例中,多工 器30可將平均位%速率攔位之值設定成零以指示平均位元 速率未由MVC延伸描述符11〇中之一者指示。 150173.doc 201112769 最大位兀速率攔位可包含指示經重新組譯之avc視訊串 流之最大位元速率(以每秒千位元計)之十六位元欄位。亦 即,最大位元速率攔位描述當自MVC延伸描述符丨中之 一者所對應的傳送串流或節目串流之構成部分組譯一視訊 串流時該視訊串流之最大位元速率。在一些實例中,多工 器30可將最大位元迷率攔位之值設定成零以指示最大位元 速率未由MVC延伸描述符11〇中之一者指示。 視圖次序索引最小值欄位可包含指示相關聯之MVC視訊 子位元串流中所含有的所有NAL單元之視圖次序索引之最 小值的十位元欄位。類似地’視圖次序索引最大值欄位為 指示相關聯之MVC視訊子位元串流中所含有的所有ΝΑ單 疋之視圖次序索弓丨之最大值的十位元欄位。 時間ID起始攔位可包含指示相關聯之視訊子位元串 流中所含有的所有單元之說單元標頭語法元素的 temp0ral_lc^最小值之三位元攔位。亦即,時間I。值包括 =母NAL·^ π之標頭中。大體而言,時間值對應於特 定圖框速率,其中相對較大時請值對應於較高圖框速 率。舉例而言,時請之值、可對應於15個圖框/秒 (fps)之圖框速率,日寺_之值Γ1」可對應於3〇如之圖框 速率。以此方;式’在此實例中’將具有〇之時間出之所 圖像聚集至-集合中可用以形成具有15加之圖框速率之 視訊片段,而將具有。之時間1〇之所有圖像及具有以 ID之所有圖像聚集至一不同集合中可用以形成具有 速率之—不同視訊片段。多工器30判賴VC視訊子 150173.doc .. 亦 S' 201112769 位元串流之所有NAL單元之最小時間ID,且將時間ID起始 攔位之值設定成等於此經判定之最小時間ID值。 時:間ID結束欄位可包含指示相關聯之MVC視訊子位元串 流中所含有的所有NAL單元之NAL單元標頭語法元素的時 間ID之最大值之三位元欄位。因此,多工器30判定MVC視 訊子位元串流之所有NAL單元之最大時間ID,且將時間ID 起始搁位之值設定成等於此經判定之最大時間ID值。 無SEI NAL單元存在攔位可包含在設定成「1」時指示 無補充增強資訊NAL單元存在於相關聯之MVC視訊子位元 串流中的一位元旗標。多工器30可判定一或多個補充增強 資訊NAL單元是否已置放於位元串流中,且在位元串流中 不存在SEI NAL單元時將無SEI NAL單元存在欄位之值設 定成值「1」,而在至少一個SEI NAL單元存在於位元串流 中時可將無SEI NAL單元存在欄位之值設定成值「0」。 下文表2提供包括於階層描述符112中之資料的一實例。 在MPEG-2系統中,可針對含有嵌入式視訊節目串流之視 訊之節目串流定義階層描述符。將表2中所展示之各種襴 位及該等欄位之位元深度提供為一實例。 hierarchy_layer_index值識別當前節目串流之層索引,且 hierarchy_embedded_layer」ndex值識別相依層。在 MVC設 計中,一節目串流可視使用階層描述符之另一節目串流而 定。亦即,可基於包括於階層描述符中之資料來判定節目 串流之間的相依性。 150173.doc •42- 201112769 表2-階層描述符 語法 位元之數目 助憶符 hierarchy_descriptor() { descriptor_tag 8 uimsbf descriptor—length 8 uimsbf reserved 1 bslbf temporal_scalability_flag 1 bslbf spatial_scalability_flag 1 bslbf quality_scalability—flag 1 bslbf hierarchy_type 4 Uimsbf reserved 2 bslbf hierarchy_layer—index 6 uimsbf Tref_present_flag 1 bslbf reserved 1 bslbf hierarchy_embedded_layer_index 6 uimsbf reserved 2 bslbf hierarchy_channel } 6 uimsbf 如上文所註,MPEG-2系統規範指定每一描述符包括一 描述符標籤攔位及一描述符長度欄位。因此,階層描述符 112包括一描述符標籤攔位及一描述符長度欄位。根據 MPEG-2系統規範,多工器30可將描述符標籤攔位之值設 定成用於階層描述符112之值「4」。 可先驗判定階層描述符112之長度,因為階層描述符112 之每一例項應包括相同量之資料。在一實例中,多工器3 0 可將描述符長度欄位之值設定成值4,其指示階層描述符 112之例項中在描述符長度欄位之結尾之後的四個位元 150173.doc -43 · 201112769 階層類型攔位描述相關聯之階層式層(hierarchy Uyer)與 其階層式嵌入層之間的階層關係。在—實例中,多工器3〇 基於階層關係設定階層類型欄位之值,例如,如由下文之 表3所描述。作為一實例,當可按比例調整性在一個以上 ^度上適用時,多工器30可將階層類型欄位設定成值 「8」(如表3中所展示之「組合之可按比例調整性」卜且 多=器30根據自各別串流之PES封包及pES封包標頭摘取 之資料來設定時間可按比例調整性旗標攔位、空間可按比 例調整性旗標欄位及品f可按比例調整性旗標攔位之值。 ^體而。’多1器3〇可判定對應於各種視圖及/或音訊資 料串流之不同φ流之間的相依性。多工㈣亦可判定包含 —增強層之相依串流為空間層、信號對雜訊(snr)增強 層、品質增強層或是另一類型之增強層。 作為另一實例,對於MVC視訊子位元串流而言,多工器 3「〇可將階層類型攔位設定成值「9」(如表3中所示之 「MVC」),且可將可按比例調整性旗標攔位、空間可按 比^調純旗標攔位及品f可按比例㈣性旗標欄位中之 每—者之值設定成Γ1」°作為又一實例,對於MVC基礎視 ^子流而言’多工器3G可將階層類型欄位之值設定. 、值15」’且可將可按比例調整性旗標欄位、空間可按 =調整性旗標欄位及品質可按比例調整性旗標欄位之值 :疋^丨」。作為再—實例,對於首碼MVC子位元串流而 :,夕工器30可將階層類型攔位設定成值「14」,且可將 了按比例調整性旗標攔位、空間可按比例調整性旗標搁位 150173.doc 201112769 及品質可按比例調整性旗標欄位設定成「丨」。 階層式層索引攔位可包含定義編碼層階層之表中的相關 聯之節目元素的唯一索引之六位元攔位。索引在單一節目 定義内可為唯一的。對於符合ITU_T Rec· H.264jIS〇/IEC 14496-10之附件G中所定義的一或多個設定檔之avc視訊 串流之視訊子位元串流而言,此為以如下方式來指派的節 目元素索引:在以hierarchy_layer一index之漸增次序重新 組譯同一存取單元之視訊子位元串流的相關聯之svc相依 性表示的情況下,位元串流次序將正確。對於符合ιτυ_τ

Rec. H.264|ISO/IEC 14496-10之附件η中所定義的—或多個 设定檔之AVC視訊_流之Mvc視訊子位元串流而言,此為 以如下方式來指派的節目元素索引:此等值中之任一些大 於在首碼MVC子位元串流之階層描述符中指定的 hierarchy_layer_index 值。 厂白%敢 ·* W ό \我印曰兀京之階層表 引之六位7L攔位’該節目元素f要在解碼與階層描述 m之對應制相„的基本串流之前加以存取。針對 層類型攔位具有值15(亦即’對應於基礎層之值)的情形 本發明保持階層式嵌入層索引攔位之值未經定義。 階層頻道欄位可包含指示傳輸頻道之有序集合中的相 :之節目元素之預期頻道數目之六位元攔位。關於整個. 輸階層定義’最強健傳輸頻道係由階層頻道攔位之最低 定義。注意,給定階層頻道可同時指派給若干節目元素。 保留表1及表2之保留攔位以供未來由未來標準開發{ 150173.doc •45- 201112769 用。本發明之技術此時不提議將語義意義指派給保留欄位 之值。 下文表3說明上文所描述之階層類型欄位之可能值: 表3-階層類型欄位值 值 描述 0 保留 1 空間可按比例調整性 2 SNR可按比例調整性 3 時間可按比例調整性 .4 資料分割 5 延伸位元串流 6 私用串流 7 多視圖設定槽 8 組合之可按比例調整性 9 MVC視訊子位元串流 10-13 保留 14 首碼MVC子位元串流 15 基礎層或MVC基礎視圖子位元串流或 MYC之AVC視訊子位元串流 在一些實例中,階層描述符112可用以用信號發送藉由 遞增式子位元串流及嵌入式子位元串流來用信號發送之 MVC子位元串流。嵌入式子位元串流包括對應於 hierarchy_embeddecl_layer_index之直接相依子位元串流及 此直接相依子位元串流之所有嵌入式子位元串流。在本發 明中,明確含有之視圖被稱為增強視圖,而嵌入之視圖被 稱為相依視圖。 150173.doc -46- 201112769 在多工器3 〇之輪出包含節目串流的一實例中,節目特定 資訊表88可包括節目串流映射(PSM)。pSM可提供對應節 目串机中之基本串流之描述及該等基本_流彼此的關係。 在一些實例中,節目串流映射亦可對應於傳送串流。當载 運於對應傳送串流中時,PSM結構不應加以修改。多工器 30可藉由將PES封包之stream_id值設定成〇xBC(亦即,十 /、進制值BC,其對應於二進位值1〇1〗11〇〇或十進制值188) 而指示PSM存在於該pes封包中。 多工器3G將可用於傳送串流中的所有節目之完整清單維 持於節^關聯表HM中。多工器3()亦可將節目關聯表嵌入 ;_AL單元中多工器3〇可藉由向Nal單元指派Η。值〇而 指π »亥NAL單兀包括一節目關聯表。多丄器可在節目關 聯表ΗΜ中列出每-節目連同含有對應節目映射表之傳送 封包之PID值。使用上文所提及之相同實例,指定節目號3 之基本串流的實例節目映射表具有為職之PID且另一 驗具有為赚之另—仙。此資訊集合或類似資訊隼合 可包括於節目關聯表1〇4中。 節目特定資訊表88亦句括雄!,々次〜士 匕括網路貧訊表(NIT)IOO及條件存 取表(CAT) 1 02。如PA丁中所沪索子μ ,千所才曰疋之卽目號零具有特殊意 義。坪s之’節目號零可用 ώ 、 用以扎明至網路資訊表100之路 線。該表為選用的且當存在時, .町表了提供關於載運傳i英 串流之實體網路之資訊,諸如, 傳k r射“主从 頻運頻率、衛星轉頻器細 即、調變特性、服務發源站、 ,服私名稱及可用替代網路之 150173.doc •47· S-: 201112769 若傳送串流内之任何基本串流被擾亂,則條件存取表 必須存在。條件存取表102提供使用中的擾亂系統之細 卽,且提供含有條件存取管理及權利資訊之傳送封包之 PID值。未在MPEG_2系統標準内指定此資訊之格式。 圖4為說明可包括於操作點描述符114(圖3)中之—者中的 資料之實例集合的方塊圖。在圖4之實例中,操作點描述 符118包括描述符標籤欄位12〇、描述符長度攔位122、圖 框速率攔位124、顯示視圖之數目攔位126、解碼視圖之數 目攔位128、視圖識別符欄位13〇、平均位元速率棚位 132、最大位元速率攔位134、時間識別符攔位136,及保 留尾隨位元攔位13 8。 在圖4之實例中,圖框速率欄位124及顯示視圖之數目攔 位126—對應於實例呈現能力值、解碼視圖之數目攔位對 應於實例解石馬能力冑,且平均位元速率欄位132及最大位 元速率攔位134對應於實例位元速率值。操作點描述符⑴ 僅為可用以用信號發送操作點之特性(諸如,呈現能力、 解碼能力及位元速率)之資料結構的一實例。下文之圖认 圖6提供用彳5號發送此等特性之操作點描述符的替代杏 例。 只 一如上文所描述,MPEG,統規範指定每一描述符具有 :描述符標籤攔位及-描述符長度攔位,其各自為8位 兀因此,多工态30(圖1)可將一值指派給指示Mvc操作 點描述符之描述符標籤攔位120。多工器30亦可判定操作 點之視圖之數目及操作點描述符之保留位元之數目,且接 150173.doc -48. 201112769 =算(心元级計)在描述符長度橘仇122之後的操作點描 W夺之長度。多工器30可在將操作點描述符118實體化 時將此所計算之長度值指派給描述符長度攔位122。 圖框速率攔位i 2 4可包含指示經重新組譯之AV c視訊串 流之最大圖框速率(以每256秒之圖框計)之⑹立元搁位。亦 Z,多卫器3G可計算256秒時間週期之最大圖框速率以設 ^圖框速率攔位!24之值。在_些實例中,除以⑽可導致 f* .、占值轉換呈整數值。在其他實例中,可使用除了 2%秒 之外的時間週期。關於圖框速率櫚位124所描述之W秒時 間週期僅為可用於計算掉作點 τ异铞忭點之最大圖框速率之一個可能 實例。 顯示視圖之數目欄位126可包含指示經重新組譯之AVC 視訊串流之視圖(以輸出為目標)之數目的值之十位元欄 位。大體而言’顯示視圖之數目棚位126表示對應操作點 Μ顯示之視圖的數目。因為不同顯示器可能夠顯示不同 數目個視圖’所以用戶端器件可使用顯示視圖之數目攔位 126之值以選擇具有與用戶端器件之顯示器上的視圖儘可 ,一樣多的待顯示之視圖之操作點。舉例而言,若用戶端 器件能夠顯示四個視圖,則兮田 尤口只亥用戶端器件可選擇顯示視圖 之數目欄位具有指示對應操作點之四個視圖將顯示之值的 操作點。因此,顯示視圖之數目櫚位126可經包括作為呈 現能力值之部分。同樣地,多 夕工态30可根據針對操作點之 待顯示之視圖的數目而設定顯示視圖之數目欄位⑶ 值。 150173.doc •49- 201112769 解碼視圖之數目攔位128可包含指示解碼經重新組譯之 AVC視訊串流所需的視圖之數目的值之十位元攔位。此值 可能不同於由顯示視圖之數目欄位126所指示的待顯示之 視圖之數目。此可能係因歸因於視圖⑽性而使解Ml 特定視圖,但該等視圖實際上未顯示所致。 簡要參看圖7,作為一實例,視圖⑽及S1可為針對操作 點之待顯示之視圖。可在不解碼任何其他視圖的情況下直 接解碼視S1SG。然而,為了解碼視_,亦必須解碼視圖 S2,因為視圖81包括涉及視圖S2之預測資料。因此,在此 實例中,顯示視圖之數目襴位126將具有值2,但解碼視圖 之數目攔位128將具有值3。在一些實例中,待顯示之視圖 可自一或多個其他視圖内插,以使得待顯示之視圖之數目 可大於待解碼之視圖之數目。亦即,使用基礎視圖及深度 資訊’視訊解碼器48(圖啊内插第二視圖。視訊解碼器Μ 可使用兩個或兩個以上視圖以計算深度資訊從而内插新視 圖,或視訊解碼器48可自源器件2〇接收視圖之深度資訊。 解碼視圖之數目攔位128可對應於解碼能力值,因為用 戶&器件之解碼器(諸如,目的地器件4〇之視訊解碼器斗8) 應能夠解碼等於解碼視圖之數目欄位128之值的視圖之數 目。因此,用戶端器件可選擇具有代表用戶端器件之視訊 解碼器能夠解碼之視圖之數目的解碼視圖之數目攔位之操 作點。 圖4之操作點描述符118亦包括視圖識別符欄位㈠^ ^視 圖識別符攔位130中之每一者可包含指示經重新組譯之 150173.doc •50- 201112769 AVC視訊位元串流中所含有的NAL單元之view—丨廿之值的十 位元攔位。因此’使用視圖識別符攔位13〇來用信號發送 操作點之每一顯示之視圖的視圖識別符。亦即,視圖識別 符攔位130之視圖識別符對應於所顯示之視圖。因此,在 圖4之貫例中,並未藉由視圖識別符攔位13〇來用信號發送 經解碼但未顯示之視圖。 平均位元速率攔位132可包含指示經重新組譯之AVC視 訊串流之平均位元速率(以每秒千位元計)的十六位元攔 位。當其經設定成〇時,不指示平均位元速率。亦即,平 均位元速率欄位132之值〇暗示平均位元速率欄位132不應 用於判定經重新組譯之AVC視訊串流之平均位元速率。 最大位70速率攔位134可包含指示經重新組譯之AVC視 Λ串机之最大位元速率(以每秒千位元計)的十六位元欄 位。當其經設定成〇時,不指示最大位元速率。亦即,當 取大位元速率攔位134之值設定成〇時,最大位元速率欄位 134不應用於判定經重新組譯之Avc視訊串流之最大位元 速率。 時間識別符攔位136可包含指示對應於經重新組譯之 視Λ串*之圖框速率的temp〇ral_id之值的三位元欄 位。亦即,temP〇rai_id可用以判定經重新組譯之avc視訊 串流之圖框速率,如上文所論述。 λ例操作點描述符118亦包括保留尾隨位元欄位。在 一實例中,(例如)如下文表4中所展示,保留尾隨位元之數 目可用於額外發信號及填補操作點描述符! ! 8兩者,以使 150173.doc •51· 201112769 付操作點描述付118在位元組邊界上結束。舉例而言,如 上文所論述’操作點描述符11 8可使用十個位元以表示每 一所顯示之視圖之視圖識別符。在此實例中,除了用於視 圖識別符之位元及保留尾隨位元之外的位元之靜態數目為 87。因此,為了確保操作點描述符11 8在位元組邊界上結 束(亦即,具有平均可被8除盡之位元之數目),多工器30可 根據以下公式添加尾隨位元之數目: 尾隨位元=(l+6*num_display_views) % 8 其中「%」表示數學模運算子。亦即,A % B產生A除以B 之餘數,以使得該餘數在0與B-1之間的整數範圍中。 表4概述可包括於圖4之操作點描述符118之實例中的資 料之一實例集合。 表4-MVC操作點描述符 語法 位元之數目 助憶符 MVC_op_descriptor() { descriptor_tag 8 uimsbf descriptor_length 8 uimsbf frame_rate 16 uimsbf num_display_views 10 uimsbf num_decode_views 10 uimsbf for (i=0 ; i< num_display_views; i++) { viewid 10 uimsbf }' average_bit_rate 16 uimsbf maximum一bitrate 16 uimsbf temporal—id 3 uimsbf for (i=0; i<(l+6*num_display_views)%8; i++) { reserved bit 1 bslbf } } 150173.doc •52· 201112769 圖5為說明可包括於操作點描述符U4(圖3)中之—者中的 資料之一替代實例集合的 外 瓜回大體而s,刼作點描述 付114中之每—者應具有共同格式,以使得用戶端器件可 經組態以接收具有單_格式之操作點描述符。因此,操作 點描述符114中之每-者可具有與圖4、圖5或圖6之操作點 描述符類似之格式,或包括類似發信歸料之另-共同格 式。 在圖5之M例中,操作點描述符14〇包括描述符標鐵棚位 142、描述符長度攔位144、㈣仙-⑴c攔位、 level—IDC欄位148、圖框速率攔位149、顯示視圖之數目欄 位150、解碼視圖之數目欄位152、平均位元速率攔位 154、最大位元速率攔位丨56、時間識別符攔位158 '保留 位元攔位160、視圖次序索引欄位162、視圖識別符攔位 164,及保留尾隨位元欄位166。mc代表「識別符」。如下 文所解釋,操作點描述符14〇之實例明確地用信號發送操 作點之profile_idc值及level—idc值,以及關於如何組譯操 作點之資訊。 顯示視圖之數目欄位150及圖框速率攔位149對應於藉由 操作點描述符140來用信號發送之呈現能力值。在圖5之實 例中,profile一IDC攔位146、level—IDC攔位148及解碼視圖 之數目攔位152表示可對應於藉由操作點描述符140來用信 號發送之解碼能力值之資料之實例。平均位元速率攔位 154及最大位元速率欄位156對應於藉由操作點描述符丨4〇 來用信號發送之位元速率值。 150173.doc -53- S-: 201112769 如上文所描述,MPEG-2系統規範指定每一描述符具有 一描述符標籤攔位及一描述符長度欄位,其中之每一者之 長度可為8位元。因此,多工器3〇(圖1}可將一值指派給指 不MVC操作點描述符之描述符標籤攔位142。多工器3〇亦 可判定操作點之視圖之數目及操作點描述符之保留位元之 數目,且接著計算(以位元組計)在描述符長度攔位144之後 的刼作點描述符140之長度。多工器3〇可在將操作點描述 符140實體化時將此所計算之長度值指派給描述符長度欄 位 144。

ProfUe—IDC欄位146可包含指示藉由在操作點描述符14〇 中給予的資訊重新組譯之操作點之pr〇file」dc的八位元攔 位。LeVeUDC攔位148可包含指示藉由在操作點描述符 140中給予的資訊重新組譯之操作點之ievei_idc之八位元 棚位。 、圖框速率攔位丨49可包含指示經重新組譯之AVC視訊串 流之最大圖框速率(以每256秒之圖框計)之16位元棚位。亦 即’多工器30可計算256秒時間週期之最大圖框速率以設 定圖框速率攔位149之值。與圖框速率攔位124一樣,在圖 框速率攔位149之其他實例中,可使用除了 256秒之外的其 他時間週期。 顯示視圖之數目欄位15G可包含指示經重新組譯之AVC 視訊举流之:圖(以輸出為目標)之數目的值之十位元攔 大體而。,顯不視圖之數目搁位1 5〇表示針對對應操 U之#顯7F之視圖的數目。解碼視圖之數目欄位⑴可 150l73.doc -54- 201112769 包含指示解碼經重新組譯之AVC視訊_流所需的視圖之數 目的值之十位元攔位。此值可能不同於由顯示視圖之數目 攔位150所指示的待顯示之視圖之數目。此可能係因歸因 於視圖相依性而使解碼需要特定視圖,但該等視圖實際上 未顯示所致,例如,如上文關於解碼視圖之數目欄位128 所描述。 平均位元速率欄位154可包含指示經重新組譯之AVC視 訊串流之平均位元速率(以每秒千位元計)的十六位元櫚 位。當其經設定成〇時,不指示平均位元速率。亦即,平 均位元速率攔位154之值〇暗示平均位元速率攔位丨54不應 用於判定經重新組譯之Avc視訊串流之平均位元速率。最 大位元速率欄位156可包含指示經重新組譯之avc視訊串 机之最大位元速率(以每秒千位元計)的十六位元欄位。當 其經設定成0時,不指示最大位元速率。亦即,當最大位 元速率攔位156之值設定成〇時,最大位元速率攔位156不 應用於判定經重新組譯之AVC視訊申流之最大位元速率。 時間識別符攔位158可包含指示對應於經重新組譯之 AVC視成串流之圖框速率的^之值的三位元欄 位。亦即,temporal—id可用以判定經重新組譯之AVC視訊 串流之圖框速率’如上文所論述。 操作點描述符140亦包括視圖次序索引欄位162及視圖識 別符攔位164。視圖次序索引攔位162中之每一者可包含指 示操作點中所含有的觀單元之視圖次序索引之值的十位 几欄位1戶端器件可重新組譯對應於所有用信號發送之 I50173.doc -55· 201112769 view一cmierjndex值之NAL單元,該等所有用信號發送之 view一order—index值藉由視圖次序索引襴位i 62來在操作點 描述符140中用信號發送。視圖次序索引攔位162包括待解 碼之視圖中之每一者的視圖次序索引欄位。在給予 view一orderjndex值的情況下,用戶端器件可自基本串流 提取對應NAL單元,此係因為MVC延伸描述符告知彼基本 串流中之視圖次序索引值之範圍且該範圍涵蓋在操作點描 述付中用化虎發送之view—〇rder」ndex值。 視圖識別符攔位164中之每一者可包含指示經重新組譯 之AVC視訊位元申流中所含有的NAL單元之id之值之 十位元欄位。因此,使用視圖識別符欄位164來用信號發 送操作點之每一所顯示之視圖之視圖識別符。亦即,視圖 識別符攔位164之視圖識別符對應於所顯示之視圖。因 此,在圖5之實例中’並未藉由視圖識別符欄位⑹來用信 號發送經解碼但未顯示之視圖。 操作點描述符i 4 〇亦包括保留尾隨位元搁位i 6 6。操作點 描述符M0可包括作為填補之尾隨位元,以使得㈣點描 述符M0中之位元之數目平均可被8除盡。因為視圖次序索 ^攔位及視圖識別符攔位之數目可變化,所以多工器财 刼作點描述符140中所包括的尾隨位元之數目可相應地變 化。舉例而言,可根據以下公式判定尾隨位元之數目 «^^=(^(num_display_views+num_deC0de_views)) % g 其中「%」表示模運算子。 作點描述符140中的資料 表5概述可包括於圖5之實例操 150l73.doc • 56 - 201112769 之一實例集合。 表5-MVC操作點描述符 語法 位元之數目 助憶符 MVC_op_descriptor() { descriptor—tag 8 uimsbf descriptor_length 8 uimsbf profile—idc 8 uimsbf level—idc 8 uimsbf frame_rate 16 uimsbf num_display_views 10 uimsbf num_decode_views 10 uimsbf average_bit_rate 16 maximumbitrate 16 uimsbf temporal_id 3 uimsbf reserved_bit 1 bslbf for ( i=0 ; i< num_decode_views; i++) { view_order_index 10 uimsbf } for ( i=0 ; i< num—display一views; i++) { view_id 10 uimsbf } for ( i=0 ; i<6*(num_display views+ num_decode_views) %8; i++) { reserved—bit 1 bslbf } } 圖6為說明可包括於操作點描述符114(圖3)中之一者中的 資料之另一替代實例集合的方塊圖。在圖6之實例中,操 作點描述符170包括描述符標籤欄位172、描述符長度欄位 150173.doc -57- 201112769 174、pr0file_IDC欄位 176、level—mc攔位 i78、圖框速率 欄位180、顯示視圖之數目攔位182、解碼視圖之數目搁位 184、平均位兀速率攔位186、最大位元速率欄位I"、時 間識別符欄位19〇、保留位元攔位192、操作點識別符搁位 194、操作點相依旗標攔位196、之相依操作點識別符 攔位198、視圖次序索引攔位2〇〇、視圖識別符攔位2〇2, 及保留尾隨位元攔位204。如下文所描述,操作點描述符 170提供視另-操作點而定且用信號發送解碼所需之額外 視圖的一操作點之實例操作點描述符。 顯示視圖之數目攔位182及圖框速率攔位18〇對應於藉由 操作點描述符14〇來用信號發送之呈現能力值。在圖6之實 例中,profUe一IDC欄位176、level_IDC搁位178及解碼視圖 之數目攔位1 8 4表示可對應於藉由操作點描述符⑷來用信 號發送之解碼能力值的資料之實例。平均位元速率棚位 154及最大位元速率欄位156對應於藉由操作點描述符⑽ 來用信號發送之位元速率值。 如上文所描述,MPEG·2系統規範指定每一描述符具有 :描述符標籤攔位及-描述符長度攔位,其各自為8位 元口此夕工器30(圖丨)可將一值指派給指示MVC操作 點描述符之描述符標籤攔位172。多工器3〇亦可判定操作 點^之視圖之數目及操作點描述符之保留位元之數目,且接 著。十算(以位兀組计)在描述符長度欄位之後的操作點描 述符170之長度。多工器3〇在將操作點描述符刚實體化時 將此所計算之長度值指派給描述符長度欄位Μ。 150173.doc •58- 201112769

Pr〇file_IDC欄位176可包含指示藉由在操作點描述符丨7〇 中給予的資訊重新組譯之操作點之pr〇file—idc的八位元欄 位。LeVel_IDC攔位178可包含指示藉由在操作點描述符 1 70中給予的資訊重新組譯之操作點之level—丨心的八位元 攔位。 圖框速率攔位180可包含指示經重新組譯之Avc視訊串 流之最大圖框速率(以每256秒之圖框計)之16位元攔位。亦 即,多工器30可計算256秒時間週期之最大圖框速率以設 定圖框速率欄位149之值。與圖框速率攔位124一樣,在圖 框速率欄位180之其他實例中,可使用除了 256秒之外的其 他時間週期。 顯示視圖之數目攔位182可包含指示經重新組譯之Avc 視訊串流之視圖(以輸出為目標)之數目的值之十位元攔 位。大體而§,顯示視圖之數目攔位丨82表示針對對應操 作點之待顯示之視圖的數目。解碼視圖之數目攔位184可 包含指示解碼經重新組譯之AVC視訊串流所需的視圖之數 目的值之十位元欄位。此值可能不同於由顯示視圖之數目 攔位182所指示的待顯示之視圖之數目。此可能係因歸因 於視圖相依性而使解碼需要特定視圖,但該等視圖實際上 未顯示所致,例如,如上文關於解碼視圖之數目攔位128 所描述。 平均位7L速率攔位i 86可包含指示經重新組譯之AVC視 巩串々IL之平均位元速率(以每秒千位元計)的十六位元欄 位。§其經设定成0時,不指示平均位元速率。亦即,平 150173.doc -59- 201112769 均位元速率攔位186之值0暗示平均位元速率欄位丨86不應 用於判定經重新組譯之AVC視訊串流之平均位元速率。最 大位元速率攔位1 88可包含指示經重新組譯之AVC視訊串 流之最大位元速率(以每秒千位元計)的十六位元欄位。當 其經設定成0時,不指示最大位元速率。詳言之,當最大 位元速率攔位188之值設定成〇時,最大位元速率欄位188 不應用於判定經重新組譯之Avc視訊串流之最大位元速 率。 時間識別符欄位190可包含指示對應於經重新組譯之 AVC視讯串流之圖框速率的temp〇ral—id之值的三位元攔 位。亦即,temporal—id可用以判定經重新組譯之AVc視訊 串流之圖框速率,如上文所論述。保留位元攔位192對應 於經保留以供未來使用之單一位元。 操作點描述符17〇亦包括操作點識別符攔位194及操作點 相依旗標欄位196。操作點識別符攔位194可包含指示由操 作點描述符170所描述之操作點之識別符的十位元攔位。 操作點相依旗標欄位196為指示是否用信號發送當前操作 ··"占關於另一操作點之相依性之單位元旗標。若操作點相依 旗標196具有值丨(或真),則用信號發送相依性;若操作點 相依旗標196之值為〇(或假),則未用信號發送相依性。 當操作點相依旗標196之值為真或1時,操作點描述符 170另外包括相依操作點識別符攔位198。當操作點識別符 欄位198存在時,操作點識別符攔位198可包含指示告 处符所取決於的操作點之識別符之十位元欄位。亦即,當 )50173.(10(: 201112769 多工器3G料操作點描述符m對應於—視另—操作點而 定之操作點時,多工器30將操作點相依旗標之值設定成真 或1 ’且接著用信號發送對應於操作點識別符17〇之操作點 所取決於的操作點之識別符。 ·#作點描述符170亦包括視圖次序索引攔位2〇〇及視圖識 別符攔位202。視圖次序索引攔位2〇2中之每一者可包含一 十位凡攔位,其指示含有於識別符為〇perati〇n—p〇int—W之 當前操作點中但未含有於識別符為dependent_〇perati〇n_ point一id之操作點中的NAL單元之視圖次序索引之值。用 戶端器件可重新組譯對應於所有用信號發送之 view_order」ndex值之NAL單元,該等所有用信號發送之 view一order—index值藉由視圖次序索引欄位2〇〇在操作點描 述符170中用信號發送。視圖次序索引攔位2〇〇包括待解碼 之視圖中之每一者的視圖次序索引攔位。在給予 view—order—index值的情況下,用戶端器件可自基本串流 提取對應NAL單元,因為MVC延伸描述符告知彼基本串流 中之視圖次序索引值之範圍且該範圍涵蓋在操作點描述符 中用信號發送之view—orderjndex值。藉由對應於視圖次 序索引欄位200之所有用信號發送之Wew_〇rder-index值的 NAL 單元及由識別符為 dependent_〇perati〇n_p〇int_id之操 作點所含有的NAL單元重新組譯在操作點描述符17〇中用 信號發送之操作點。 視圖識別符攔位202中之每一者可包含指示經重新組譯 之AVC視訊位元串流中所含有的NAL單元之view__id之值的 150173.doc •61 - 201112769 十位元攔位。因此,使用視圖識別符欄位202來用信號發 送操作點之每一所顯示之視圖的視圖識別符。亦即,視圖 識別符欄位164之視圖識別符對應於所顯示之視圖。因 此,在圖5之實例中,並未藉由視圖識別符欄位202來用信 號發送經解碼但未顯示之視圖。 操作點描述符1 70亦包括保留尾隨位元攔位204。操作點 描述符170可包括作為填補之尾隨位元,以使得操作點描 述符170中之位元之數目平均可被8除盡。因為視圖次序索 引攔位及視圖識別符欄位之數目可變化,所以多工器30在 操作點描述符170中所包括的尾隨位元之數目可相應地變 化。舉例而言,可根據以下公式判定尾隨位元之數目 尾隨位元=(6*(num_display_views+num—decode_views)) % 8 其中「%」表示模運算子。 以下表6概述可包括於圖6之實例操作點描述符170中的 資料之一實例集合。 表6-MVC操作點描述符 語法 位元之數目 助憶符 MVC_op_descriptor() { descriptor_tag 8 uimsbf descriptor_length 8 uimsbf profile—idc 8 uimsbf level_idc 8 uimsbf frame_rate 16 uimsbf num_display_views 10 uimsbf num_decode_views 10 uimsbf average_bit—rate 16 150173.doc -62- 201112769 語法 位元之數目 助憶符 maximum_bitrate 16 uimsbf temporalid 3 uimsbf reserved_bit 1 bslbf operation_point_id 10 uimsbf op_dependent—flag 1 bslbf if (op一dependent一flag) dependent_operation_point_id 10 10 for (i=0 ; i< num_decode_views; i++) { view—order_index 10 uimsbf } for (i=0 ; i< num_display_views; i++) { view—id 10 uimsbf } for (i=0 ; i < 6*(num_display_views+ num_decode_views) % 8; i++) { reserved_bit 1 bslbf } } 作為又一替代,源器件20(圖1)使用除了操作點描述符 之外的資料結構來用信號發送操作點之特性。舉例而言, 源器件20可使用修改之MVC延伸描述符來用信號發送描述 接收器件使用MVC操作點待滿足的呈現能力之呈現能力 值、描述接收器件使用MVC操作點待滿足的解碼能力之解 碼能力值,及描述MVC操作點之位元速率之位元速率值。 以下表7說明此修改之MVC延伸描述符之一實例。 150173.doc -63 - 201112769 表7-MVC延伸描述符 語法 位元之數目 助憶符 MVC_extension_descriptor() { descriptor_tag 8 uimsbf descriptorlength 8 uimsbf framerate 16 uimsbf num一 display一views 16 uimsbf num_decode一views 10 uimsbf for ( i=0 ; i< num_display_views; i++) { view_id 10 uimsbf } average_bit_rate 16 uimsbf maximum_bitrate 16 uimsbf reserved 4 bslbf view_order_index_min 10 bslbf view_order_index_max 10 bslbf temporal_id_start 3 bslbf temporal_id一 end 3 bslbf no—sei_nal_unit_present 1 bslbf reserved 1 bslbf } 多工器30(圖2)可根據由表7所定義之語法建構MVC延伸 描述符110。大體而言,表7之語法元素之語義與關於上文 之表1所描述的通常命名之元素相同。與表1之彼等元素相 比,表7之實例包括額外元素,即,圖框速率欄位、顯示 視圖之數目欄位、解碼視圖之數目欄位及MVC延伸描述符 所對應之操作點之每一視圖的視圖識別符攔位。 圖框速率欄位可包含指示經重新組譯之AVC視訊串流之 150173.doc -64- 201112769 最大圖框速率(以每256秒之圖框計)的十六位元攔位。顯示 視圖之數目欄位「mim—diSplay_views」可包含指示經重新 組譯之AVC視訊串流之視圖(以輸出為目標)之數目的值之 十位元攔位。解碼視圖之數目攔位「num_dec〇de view 可包含指示解碼經重新組譯之AVC視訊串流所需之視圖之 數目的值之十位元攔位。視圖識別符攔位「view—id」中 之每一者可包含指示經重新組譯之Avc視訊位元串流中所 含有的對應視圖之NAL單元之view—id之值的十位元攔位。 在一些實例中,一或多個操作點描述符可包括指示位元 串流之所有MVC操作點之最大時間識別符值及最大圖框速 率值之值。在一些實例中,可在厘¥(::操作點描述符中用信 號發送位元串流之所有MVC操作點之最大時間識別符值及 最大圖框速率值。 圖7為說明實例Mvc預測型樣的概念圖。在圖7之實例 中,說明八個視圖(具有視圖ID「s〇」至「S7」),且針對 每一視圖說明十二個時間位置(r τ〇」至「T1丨」)。亦 即,圖7中之每一列對應於一視圖,而每一行指示一時間 位置。 雖然MVC具有可由H.264/AVC解碼器解碼之所謂的基礎 視圖且立體視圖對亦可由MVC支援,但MVC之優點為其 可支援將兩個以上視圖用作3D視訊輸入且解媽由多個視圖 表不的此3D視訊之實例。具有MVC解碼器之用户端之呈 現器可預期具有多個視圖之3D視訊内容。 使用包括字母之著色區塊在圖7中之每一列及每—行之 150I73.doc -65- 201112769 指示處指示圖7中之圖框,該字母指定對應圖框是經圖框 内編碼(亦即’ 1圖框)或是在一個方向上經圖框間編碼(亦 即’作為P圖框)或在多個方向上經圖框間編碼(亦即’作 為B圖框)。大體而言,用箭頭指示預測,其中所指向至 (pointed to)之圖框將所指向(p〇int_fr〇m)之物件用於預测參 考。舉例而言,自視圖S0之處於時間位置T0之I圖框來預 測視圖S2之處於時間位置T〇ip圖框。 與單視圖視訊編碼一樣,可關於處於不同時間位置之圖 框預測性地編碼多視圖視訊編碼視訊序列之圖框。舉例而 言,視圖S0之處於時間位置丁丨之5圖框具有自視圖卯之處 於時間位置T0之I圖框指向至其之箭頭,從而指示自!圖框 預測該b圖框。然巾,另夕卜,在多視圖視訊編碼之情形 下’可以視®間之方式制圖框n彳見圖分量可將其 他視圖中之視圖分量用於參考。舉例而言,在MVC中,視 圖間預測好像另-視圖中之視圖分量為圖框間_參考一 樣得以實現。在序列參數集合(81>8)“、€:延伸中用信號發 送可能之視Η間參考’且可藉由參考圖像清單建構程序來 修改可能之視圖間參考,此舉實現圖框間預測或視圖間預 測參考之靈活排;^下文表8提供Mvc延伸序列參數集合 之實例定義。

150173.doc -66- 201112769 view_id[ i ] 0 ue(v) for( i=l; i <=num_views_minusl; i++) { num_anchor_refs_10[ i ] 0 ue(v) for( j=0; j < num_anchor一refs—10[ i ]; j++) anchor_ref_10[ i ][ j ] 0 ue(v) num_anchor_refs_ll[ i ] 0 ue(v) for( j=0; j < num_anchor_refs_ll [ i ]; j++) anchor_ref_l 1 [ I ] [ j ] 0 ue(v) } for( i=l; i <=num_views_minusl; i++) { num—non_anchor_refs一 10[ i ] 0 ue(v) for( j=0; j < num_non_anchor_refs_10[ i ]; j++) non_anchor_ref_10[ i ][ j ] 0 ue(v) num_non_anchor_refs_ll [ i ] 0 ue(v) for( j=0; j < num_non—anchor—refs_ll[ i ]; j++) non_anchor_ref_l 1 [ i ][ j ] 0 ue(v) } num_level_values_signalled_minusl 0 ue(v) for(i=0; i<=num_level_values_signalled—minus 1; i++) { level_idc[ i ] 0 u⑻ num_applicable_ops_minusl[ i ] 0 ue(v) for( j=0; j <=num_applicable_ops_minusl[ i ]; j++) { applicable—op—temporal_id[ i ][j ] 0 u(3) applicable—op_num一target_views一minusl[ i ][j ] 0 ue(v) for( k=0; k <= applicable_op_num_target_views_minusl[ i ][ j ]; k++) applicable_op_target—view_id[ i ][ j ][ k ] 0 ue(v) applicable_op—num—views_minusl[ i ][ j ] 0 ue(v) } } } S-. 150173.doc -67- 201112769 圖7提供視圖間預測之各種實例。在圖7之實例中,將視 圖si之圖框說明為自視圖81之處於不同時間位置之圖框加 以預測,以及自視圖S〇與82之處於相同時間位置之圖框的 圖框加以視圖間預測。舉例㈣,自視®S1之處於時間位 置T0與T2的B圖框中之每一者以及視圖8〇與S2之處於時間 位置T1之b圖框預測視圖S1之處於時間位置以之匕圖框。 在圖7之實例中,大寫字母「B」及小寫字母「b」意欲 指示圖框之間的不同階層關係而非不同編碼方法。大體而 言,與小寫字母「b」圖框相比,大寫字母「B」圖框在預 測階層中相對較高。圖7亦使用不同程 測階層之變化,其中與具有較少著色㈣,相::淺月: 彼等圖框相比,較大量之著色(亦即,相對較深)圖框在預 測階層中較高。舉例而t ’以完全著色來說明圖7中之所 有I圖框,而P圖框具有稍微較淺之著色,且B圖框(及小寫 字母b圖框)具有相對於彼此之各種程度之著色,但始終淺 於P圖框及I圖框之著色。 大體而言,關階層與視圖次序索引有_,因為應在解 碼在預測階層中相對較低之圖框之前解碼在該階層中相對 較高之圖框’以使得在該階層中相對較高之彼等二匡可在 解碼在該階層中相對較低之圖框期間用作參考圖框。視圖 次序索引為#示存取單元中之視圖分量之解碼次序的索 引。在如H.264/AVC之附件H(MVC修正案)中所指定的sps MVC延伸中暗示視圖次序索引。在sps中,針對每一索引 卜用信號發送對應viewjd。視圖分量之解碼應遵循視圖 150l73.doc -68 · 201112769 次序索引之遞升次序。若呈頊 0 A 所有視圖’則視圖次庠舍与丨 王自0至num—views—minusj之連續次序。 ’、 以此方式’料參考圖框之難可麵碼參考該等 圖框來編碼的圖框之前加以解碼。視圖次序索 , 取單元中之視圖分量之解碼次序的索引。針對每二:! 序索引-用信號發送對應“⑽id。 θ , -視圖分里之解碼遵循 視圖次序索引之遞升次序。若呈 β右王現所有視圖,則視圖次 索引之集合可包含自〇至比視圖 排序之集合。 圖之王錢目小1經連續 對於處於該階層之相等層級之特㈣框而言,解碼欠序 可能相對於彼此無關緊要。舉例而言,視圖so之處於時間 位置刊之!圖框用作視圖82之處於時間位置刊之卩圖框的參 考圖框,視圖S2之處於時間位ΪΤ(^ρ圖框又用作視圖以 之處於時間位置T0之P圖框的參考圖框。因此,視圖如之 處於時間位置TOiJ圖框應在視圖以之處於時間位置τ〇2ρ 圖框之前加以解碼,視圖S2之處於時間位置丁〇之ρ圖框應 在視圖S4之處於時間位置τ〇之ρ圖框之前加以解碼。然 而,在視圖81與83之間,解碼次序無關緊要,因為視圖si 與S3並不依賴於彼此以用於預測,而是僅自在預測階層中 較高之視圖預測。此外,可在視圖S4之前解碼視圖S1,只 要視圖S 1係在視圖S0與S2之後解碼即可。 以此方式’階層排序可用以描述視圖s〇至S7。令記法 SA > SB意謂應在視圖SB之前解碼視圖SA。在圖7之實例 中使用此記法SO > S2 > S4 > S6 > S7。又,關於圖7之實 150173.doc 69· 201112769 例 ’so>sl、S2>sl、S2>S3、S4>S3s4>suS6> S5。不違背此等妻求的視圖之任何解碼次序係可能的。因 此,在僅具有特定限制的情況下’許多不同的解碼次序係 可能的。下文呈現兩個實例解碼次序,但應理解許多其 他解碼次序係可能的。在下文表9中所說明的一實例中, 儘可能快地解碼視圖。 表9 視圖ID so S1 S2 S3 S4 S5 S6 S7 視圖次序 索引 0 2 1 4 3 6 5 7 表9之實例認識到’可緊接在已解碼視圖8〇與32之後解 碼視圖si ’可緊接在已解碼視圖82與84之後解碼視圖S3, 且可緊接在已解碼視圖S4與S6之後解碼視圖s5。 下文表10提供另一實例解碼次序,其中解碼次序使得用 作另一視圖之參考的任何視圖係在未用作任何其他視圖之 參考的視圖之前加以解碼。 表10 視圖ID so S1 S2 S3 S4 S5 S6 S7 視圖次序 索引 0 5 1 6 2 7 3 4 表10之實例認識到,視圖S1、S3、S5及S7之圖框並不充 當任何其他視圖之圖框的參考圖框,且因此,視圖Si、 S3、S5及S7可在用作參考圖框的彼等視圖(亦即,在圖7之 實例中,視圖SO、S2、S4及S6)之圖框之後加以解碼。視 150I73.doc •70- 201112769 圖S 1 ' S3、S5及S7相對於彼此可以任何次序加以解碼。因 此,在表10之實例中’在視圖S1、S3及S5中之每一者之前 解碼視圖S7。 為清楚起見’在每一視圖之圖框以及每一視圖之圖框之 Ν'間位置之間存在階層關係。關於圖7之實例,處於時間 位置Τ0之圖框自其他視圖之處於時間位置τ〇之圖框加以圖 框内預測或視圖間預測。類似地,處於時間位置Τ8之圖框 自其他視圖之處於時間位置Τ8之圖框加以圖框内預測或視 圖間預測。因此,關於時間階層,時間位置T〇AT8處於該 時間階層之頂部。 在圖7之實例中,與時間位置丁〇與Τ8之圖框相比,處於 時間位置Τ4之圖框在時間階層中較低,因為時間位置以之 圖框係參考時間位置丁〇與丁8之圖框而經Β編碼。與處於時 間位置Τ4之圖框相比,處於時間位置仞與丁6之圖框在時 間階層中較低。最後,與時間位置丁2與16之圖框相比,處 於時間位置T1、Τ3 ' 丁5及Τ7處之圖框在時間階層中較 低0 在MVC中,可提取整個位元串流之子集以形成仍符名 ^VC之子位兀串、流。存在特定應用可基於(例如)由飼服器 提供之服務、—或多個用戶端之解碼ϋ之容量、支援及敍 或或多個用戶端之偏好而需要的許多可能的子位 元串流。舉例而古,Α山 ° 用戶鳊可能僅需要三個視圖,且可能 存在兩種情況。在一眘γ击 貫例中,一個用戶端可需要平滑檢親 體驗且可能偏杯你g 士 . 。、有viewjd值SO、S1及S2的視圖,而 150173.doc -71- 201112769 另其他用戶端可需要視圖可按比例調整性且偏好於具有

Wewjd值SG、S2及S4的視圖。若最初關於表9之實例對 viewjd排序’則在此等兩個實例中,視圖次序索引值分 別為{〇, 1,2}及{〇,1,4}。注意,可將此等兩個子位元串 流解碼為獨立MVC位元串流,且可同時支援此等兩個子位 元串流。 I存在可由MVC解碼器解碼的許多mvc子位元串流。 理論上’滿足以下兩個性質之視圖之任何組合可由符合特 定設定檔或層級之MVC解碼器解碼:⑴每一存取單元中 之視圖分量以視圖次序㈣之漸增次序排序;及⑺對於植 合中之每-視圖而言,其相依視圖亦包括於組合中。 圖“說明用於使用用信號發送操作點之特性之資料結 構的貫例方法之流程圖。亦即,圖8之方法包括使用源器 件(例如,源器件叫圖⑼建構MpEG_2系統位元串流之每 ^乍點之資料結構。圖8之方法亦包括使用所接收之資 料、幻構以選擇㈣點,自該操作點操取多媒體資料以由目 的地器件(諸如’目的地器件4()(圖蘭碼並顯示。 (2 ^ m在圖8之實例中’源器件2 G判定節目之操作點 ()。舉例而言,源器物可選料目之視圖之各種子集 二Si:具有各種能力(例如,呈現及解碼能力)之用戶 •ΐ擇視Γ種操作點。管理員可與源器件20互動(例如)以 圖且建立表示具有變化之呈現及解碼能力之用户端 喿作點或可由源器件2。自動建立之不同操作广 ,疋即目之操作點之後,(例如)在位元串流將作為 150J73.doc •72· 201112769 MPEG-2系統傳送串流被廣播時源器件2〇可在節目映射 表中產生#作點中之每—者之資料結構⑺2)。或者,在位 —串《將作為MPEG-2系統節目串流被廣播時,源器件 可在節目串流映射中產生資料結構。在任何狀泥下,源器 件20可針對母一操作點產生表示對應操作點之特性之資料 ,、。構舉例而s,s亥育料結構可包含對應於圖4至圖6之實 例中的-者之操作點描述符。以此方式,資料結構可用信 號發送對應操作點之呈現特性、解碼特性及位元速率。 源器件20可接著將(例如)圖8之實例中的内之資料結 構輸出(2U)至用戶端器件(例如,目的地器件叫圖⑶。二 此方式,源器件20可輸出該等資料結構作為位元串流之部 分。源器件20可以廣播、單播、多播、任意傳播(停叫 或經由網路(例如,經由無線或有線網路)之其他通信協定 或(例如)根據符合美國高級電視制式委員會(ATSC)標準或 美國國家電視制式判會(NTSC)標準之信號經由電視頻率 之廣播的形式來輸出位元串流。或者’源器件2〇可將位元 串流編碼至諸如DVD-ROM、藍光光碟、隨身碟、磁性磁 碟或其他儲存媒體之電腦可讀儲存媒體中,在此狀況下, 源器件20可形成包括操作點之資料結構之psM且將該psM 編碼至該電腦可讀儲存媒體中。 目的地器件40可最終自源器件2〇接收pMT(或 PSM)(216)。目的地器件40可接著基於藉由包括於?]^丁或 P S Μ中之資料結構來用信號發送之操作點之特性而選擇操 作點中之一者(218)。大體而言,目的地器件可選擇目的 150173.doc -73- 201112769 地器件4G滿足藉由對應資料結構來用信號發送之呈現及解 碼此力之操作點。舉例而言,目的地器件4Q可判定視訊輸 出44疋否月b夠在符合藉由操作點之資料結構來用信號發送 之呈現能力值之圖框速率下將由資料結構指示之視圖之數 目呈現為待顯示之視圖之數目。同樣地,目的地器件4〇可 判疋視訊解碼ϋ 48是否㈣解碼如藉由操作點之解碼能力 值負料結構來用信號發送的操作點之待解碼之視圖的數 目此外,在一些實例中,目的地器件40可使用在資料結 構中用信號發送之位元速率以(例&)基於傳送媒體(目的地 益件40自其接收位元串流)之頻寬限制而選擇適於該傳送 媒體之操作點。 當目的地器件40判定目的地器件⑽能夠呈現並解碼一個 以上刼作點時,目的地器件4〇可選擇用於解碼及呈現之最 咼品質操作點。舉例而言,目的地器件4〇可選擇具有最高 數目個視®、最高位元速率、最高圖框速率或操作點之其 他品質指示的操作點來判定要選擇哪一操作點。 在選擇操作點之後,目的地器件4〇可自位元串流擷取該 操作點之資料⑽)。亦即,目的地器件40可自包括於位元 串流中之喊目提取對應於操作點之視圖中之每一者的資 料。在m中,目的地器件利自位元串流中之一或多 個子位元串流選擇資料以提取關於操作點之資料。在提取 資料之後,目的地器件可解碼並顯示選定操作點之資料 (222)。視訊解碼器48可解碼操作點之待解碼之視圖中的每 一者,而視訊輸出44可顯示操作點之待顯示之視圖中的每 150173.doc • 74· 201112769 者。所顯示之視圖可能未必為經解 描述。 5之視圖’如上文所 人在:或多個實例中,可以硬體、軟體、餘體或其任何植 口來貫施所描述之功能。若以軟體實 十夕始t Λ軟體貫知’則功能可作為_ 日令或程式碼儲存於電腦可讀媒體上或經由電腦可 ^體而傳輸。電腦可讀㈣可包括電腦可讀儲存媒體 ('如,資料儲存媒體)或通信媒體,通信媒體包括促進將 電細程式自一處傳送至另一處 ^ ^ ^ 订媒體。貧料儲存媒體 :為可由-或多個電腦或一或多個處理器存取以擷取指 令、程式碼及/或資料結構以用於實施本發明中所描述之 技術的任何可用媒體。舉例而言且非限制,該等電腦可古賣 儲存媒體可包含RAM、R0M、EEPR〇M、cd r〇m或其他 先碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃呓情 體,或可用以儲存呈指令或資料結構之形式的所要程式^ 且可由電腦存取之任何其他媒體。又,任何連接被適當地 稱為電腦可讀媒體。舉例而言,若使用同轴電纖、光纖纔 線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及 =波之無線技術而自網站、健器或其他遠端源傳輸指 会令’則同軸電缓、光纖纜線、雙絞線、DSL或諸如紅外 線、無線電及微波之無線技術包括於媒體之定義中。然 而’應理解’電腦可讀儲存媒體及資料儲存媒體不包括連 接、载波、信號或其他暫時性媒體。如本文中所使用,磁 2光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位 衫音光碟(DVD)、軟性磁碟及藍光光碟,其令磁碟通常以 150173.doc^ -75- 201112769 磁性方式再生資料,而光碟藉由雷射以光學方式再生資 料。上述各者之組合亦應包括於電腦可讀媒體之範疇内。 才S々可由諸如以下各者之一或多個處理器執行:一或多 個數位信號處理器(DSP)、通用微處理器、特殊應用積體 電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體 或離散邏輯電路。因此,如本文中所使用之術語「處理 器」可指代前述結構或適於實施本文中所描述之技術的任 何其他結構中之任意者。另外,在一些態樣中可將本文 所描述之功能性提供於經組態以用於編碼及解碼的專用硬 體及/或軟體模組内,或併入於組合之編碼解碼器中。 又,該等技術可充分實施於一或多個電路或邏輯元件中。 可在包括無線手機、積體電路(1C)或一組1C(例如,晶片 組)之廣泛多種器件或裝置中實施本發明之技術。各種組 件、模組或單元描述於本發明中以強調經組態以執行所揭 示之技術之器件的功能態樣,但未必需要藉由不同硬體單 兀實現。實情為,如上文所描述,各種單元可組合於編碼 解碼器硬體單元中或由交互操作之硬體單元的集合(包括 如上文所描述之一或多個處理器)結合合適的軟體及/或韌 體來提供》 已描述各種實例。此等及其他實例處於以下申請專利範 圍之範_内。 【圖式簡單說明】 圖1為說明音訊/視訊(A/ν)源器件將音訊及視訊資料傳 送至A/V目的地器件之實例系統的方塊圖。 150173.doc •76· 201112769 圖2為g兒明與本發明一致之多工器 方塊圖。 之組件之實例配置 的 圖3為說明與本發明一 的方塊圖》 致之節目特定資訊表 之實例集合 圖4至圖6為說明可包括於操作 婦忭點描述符中的資料之集合 之各種實例的概念圖。 圖7為說明實例MVC預測型樣的概念圖。 圖8為說明用於使用用信號發送操作點之特性之一資料 結構之實例方法的流程圖。 【主要元件符號說明】 10 糸統 20 音讯/視訊(A/V)源器件 22 音訊源 24 視訊源 26 音訊編碼器 28 視訊編碼器 30 多工器 32 輸出介面 34 電腦可讀媒體 36 輸入介面 38 解多工器 40 音訊/視訊目的地器件 42 音訊輸出 44 視訊輸出 150173.doc -77- 201112769 46 音訊解碼器 48 視訊解碼器 60 串流管理單元 62 網路抽象層(NAL)單元建構器 64 節目映射表建構器 66 串流識別符(串流ID)查詢單元 68 節目識別符(PID)指派單元 80 視訊輸入介面 82 音訊輸入介面 84 經多工_流輸出介面 88 節目特定資訊表 100 網路資訊表(NIT) 102 條件存取表(CAT) 104 節目關聯表 106 節目映射表 108 描述符 110 多視圖視訊編碼延伸描述符 112 階層描述符 114 操作點描述符 118 操作點描述符 120 描述符標籤欄位 122 描述符長度欄位 124 圖框速率欄位 126 顯示視圖之數目欄位 150173.doc -78- 201112769 128 解碼視圖之數目攔位 130 視圖識別符攔位 132 平均位元速率攔位 134 最大位元速率攔位 136 時間識別符攔位 138 保留尾隨位元攔位 140 操作點描述符 142 描述符標籤欄位 144 描述符長度攔位 146 profile—IDC 攔位 148 level_IDC 欄位 149 圖框速率攔位 150 顯不視圖之數目爛位 152 解碼視圖之數目搁位 154 平均位元速率欄位 156 最大位元速率欄位 158 時間識別符欄位 160 保留位元攔位 162 視圖次序索引欄位 164 視圖識別符搁位 166 保留尾隨位元攔位 170 操作點描述符 172 描述符標籤攔位 174 描述符長度攔位 150173.doc -79- 5:- 201112769 176 proHle_IDC 棚位 178 level_IDC 欄位 180 圖框速率攔位 182 顯示視圖之數目攔位 184 解碼視圖之數目欄位 186 平均位元速率欄位 188 最大位元速率欄位 190 時間識別符欄位 192 保留位元欄位 194 操作點識別符欄位 196 操作點相依旗標欄位 198 選用之相依操作點識別符欄位 200 視圖次序索引欄位 202 視圖識別符欄位 204 保留尾隨位元欄位 150173.doc -80-

Claims (1)

  1. 201112769 七、申請專利範圍: 1· 一種方法,其包含: 猎由一源器件建構對應於一 MPEG_2(動晝專家群組)系 統钻準位元串流之一多視圖視訊編碼(Mvc)操作點的一 貧料結構,其中該資料結構用信號發送描述一接收器件 使用遠MVC操作點待滿足的一呈現能力之—呈現能力 值、福述該接收器件使用該MVC操作點待滿足的—解碼 食匕力之—解碼能力值及描述該MVC操作點之一位元速率 之位疋速率值,且其中該資料結構經包括作為該位元 串流之部分;及 用包含該資料結構之該位元串流。 2.如睛求項1之方法,其中建構該、資料結構包含建構該 料結構以使得一或多個二維顯示器件及三維顯示器件 ,争流適合於該一或多個二維顯示器件及三維顯 1件且使各種頻寬之傳送媒體適應該一或多 器件及三維顯示器件。 樣 3·求項!之方法,其中該呈現能力值描述該對應则 刼作點之以呈現為目標的視圖之至少一數目 操作點之視訊資料之—圖框速率及該對應⑹ 點之—時間識別符值。 ^項1之方法’其中該解碼能力值描述該對^ 待解碼之視圖之至少—數目、對應™相 5 層級值及對應於該MVC操作點之—設定槽值。 月項i之方法,其中該位元速率值描述該對應顧 150173.doc 201112769 操作點之一平於你_ ± 70迷率及該對應MVC操作點之最大位 项·千〒之一者。 6 ·如請求項1之古 射表資料社構中之、、中建構該資料結構包含-節目映 勺A N 之一操作點描述符,且其中該位元串流 包含—MPEG_2傳送串流。 7 ·如請求項1之方 ^ ^ ' ”中建構該資料結構包含一節目串 勺勹人 刼作點描述符,且其中該位元串 流包含一MPEG_2節目串流。 8. 如請求項1之方法,其中兮 ^ 、'^貝料、,,°構包含一操作點描述 ’ /、中建構該資科結構包含: 將圖框速率值包括於該摔作點y、f α 士 率值描述包括;#作4^卜該圖框速 r 、μ MVC操作點之視圖中的視訊資料之一 琅大圖框速率; 心 將該MVC操作點夕,v g η 4 值勺 呈現為目標的視圖之視圖識別符 之每-者〇丨中㈣視圖識別符值中 以呈現為目標之該等視圖中之一者; 將該MVC操作點之待解 解馬之視圖的視圖識別符值包括 於該4呆作點描述符φ 付中其中该等視圖識別符值中之每一 者對應於待解碼之該等視圖中之一者;及 將-時間識別符值包括於該操作點描 識別符值對應於自該Mvc 哼間 9. 栎作點之该專視圖之該視訊資 枓組#的一視訊串流之一圖框速率。 如請求項1之方法,其進一 ,., /匕3建構包括於該位元串 &中之每一操作點之操 铞作點描述付,其中輸出該資料結 150173.doc 201112769 ίο. 構包含輪出該等經建構之操作點描述符中之每一者。 一種裝置,其包含: 么*多工器,其建構對應於一MpEG_2(動晝專家群組)系 統私準位兀争流之一多視圖視訊編碼(Mvc)操作點的一 資料結構’其中該資料結構用信號發送描述-接收器件 使用該Mvc操作點待滿足的一呈現能力之-呈現能力 值、描述該接收器件使用該Mvc操作點待滿足的一解媽 能蚊=解碼能力值及描述該MVC操作點之—位元逮率 之一位元速率值,且將該資料結構包括作為該位元串流 之部分;及 一輸出介面’其輪出包含該資料結構之該位元串流。 U. ^請求項1G之裝置,其中該呈現能力值描述該對應MVC 操作點之以5 Ϊ目& η ,, mvcm , 圖之至少—數目、該對應 *黑之視訊資料之—圖框速率及該對應MV 點之一時間識別符值。 ” 12.如5青求項之裝署 裝置其中该解碼能力值描述該對應Mvc =之:解碼之視圖之至少一數目、對應於該MVC操 層級值及對應於該MVC操作點之—設定槽值。 •袭置,其中該位元速率值描述該對應Mvc 之-平均位元速率及該對應Mvc操作 7L速率中之一者。 取人位 14.如請求項1〇之妒 , -節目㈣^ 多卫器將該㈣結構建構為 映射表資料結構中之一操作點描 位凡串流包含-MPEG_2 150173.doc 201112769 15. 如請求項丨社抑 -節目由該多工器將該資料結構建構為 二_串流映射資料結構中之一操作點描述符,且其中 °亥位元串流包含一 MPEG-2節目串流。 16. ^求項1Q之裝置,其中該多1器將該資料結構建構為 一操作點描述符,其中該MVC操作點對應於該位元串流 。'圖之子集,且其中為了建構該資料結構,該多工 =進行二下操作:將—圖框速率值包括於該操作點描述 符中’#亥圖框速率值描述包括於該Mvc操作點之該等視 圖中的視訊資料之一最大圖框速率;將該Mvc操作點之 以呈現為目標的視圖之視圖識別符值包括於該操作點描 述符中,其十該等視圖識別符值t之每一者對應於以呈 現為目標之該等視圖中之一者;將該MVC操作點之待解 碼之視圖的視圖識別符值包括於該操作點描述符中其 中該等視圖識別符值中之每一者對應於待解碼之該等視 圖中之一者;及將一時間識別符值包括於該操作點描述 符中,該時間識別符值對應於自該MVc操作點之該等視 圖之該視訊資料組譯的一視訊串流之一圖框速率。 17. 如請求項10之裝置,其中該多工器經進一步組態以建構 包括於該位元串流中之每一操作點之操作點描述符,其 中輸出該資料結構包含輸出該等經建構之操作點描述符 中之每一者。 18. 如請求項10之裝置’其中該裝置包含以下各項中之至少 一者: 一積體電路; 150173.doc 201112769 一微處理器,及 包括該多工器之一無線通信器件。 19. 20. 21. 22. 一種裝置,其包含: 用於建構對應於一 MPEG-2(動畫專家群組)系統標準位 元串流之一多視圖視訊編碼(MVC)操作點的一資料結構 之構件’其中該資料結構用信號發送描述一接收器件使 用s亥MVC操作點待滿足的一呈現能力之一呈現能力值、 描述該接收器件使用該MVC操作點待滿足的一解碼能力 之一解碼能力值及描述該MVC操作點之一位元速率之一 位兀速率值,且其中該資料結構經包括作為該位元串流 之部分;及 用於輸出包含該資料結構之該位元串流之構件。 如明求項19之裝置,其中該呈現能力值描述該對應 操作點之以呈現為目標的視圖之至少一數目、該對應 操作點之視5孔資料之一圖+匡速率及該對應操作 點之一時間識別符值。 如請求項19之裝置’其中該解碼能力值描述該對應MVC 操作點之待解碼之視圖之至少一數目、對應於該聽操 作2之—層級值及對應於該MVC操作點之一設定檔值。 2求項19之裝置’其中該位元速率值描述該對應MVC 才术作點之_ 始彳— 一 ~ 70速率及該對應MVC操作點之最大位 7G速率中之一者。 Ml 23. 如清求項19之農 符,且其中該用 置其中该資料結構包含一操作點描述 於建構该資料結構之構件包含: 150173.doc 201112769 用於將一圖框速率值包括於該操作點描述符中之構 件,該圖框速率值描述包括於該Mvc操作點之視圖中的 視訊資料之一最大圖框速率; 用於將該MVC操作點之以呈現為目標的視圖之視圖識 別符值包括於該操作點描述符中之構件,其中該等視圖 識別符值中之每-者對應於以呈現為目標之該等視圖中 之一者; 用於將該MVC操作點之待解碼之視圖的視圖識別符值 包括於該操作點描述符中之構件,其中該等視圖識別符 值中之每一者對應於待解碼之該等視圖中之一者;及 用於將-時間識別符值包括於該操作點描述符中之構 件’該時《㈣值對應於自該敎㈣點之該等視圖 之該視訊資料組譯的一視訊串流之一圖框速率。 24. 25. 使一源器件之一處理器進行以下操作: 建構對應於-MPEG姻晝專家群組)系統標準位元 流之-多視圖視訊編碼(Mvc)操作點的_資料社構, 中該資料結制錢發料述—純ϋ件制該MVC 作點待滿足的-呈現能力之―呈現能力值、描述該接 器件使用該歐操作點待滿足的—解碼能力之-解, 力值及描述該MVC操作點之—位^速率之—位元亲 值’且其中該資料結構經包括作為該位元串流之部二 使m面輸出包含該資料結構之該位元串流。 如請求項24之電腦可讀儲存媒體,其中該呈現能力, 150173.doc -6 * 201112769 述該對應MVC操作點之以呈現為目標的視圖之至少一數 目、該對應MVC操作點之視訊資料之一圖框速率及該對 應MVC操作點之一時間識別符值。 26.如請求項24之電腦可讀儲存媒體,其中該解碼能力值描 述該對應MVC操作點之待解碼之視圖之至少一數目、對 應於該MVC操作點之一層級值及對應於該MVC操作點之 一設定檔值。 27·如請求項24之電腦可讀儲存媒體,其中該位元速率值描 述該對應MVC操作點之一平均位元速率及該對應mvc操 作點之最大位元速率中之一者。 如β求項24之電腦可讀儲存媒體,其中該資料結構包含 -操作點描述符,且其巾使該處理器建構該資料結構之 該等指令包含使該處理器進行以下操作之指令: :將11框速率值包括於該操作點描述符巾,該圖框速 率值描述包括於該Mvc操作點之視圖中的視訊資料之一 最大圖框速率; 字〆MVC‘作點之以呈現為目才票的視圖之視圖識別符 值,括於該操作點描述符中,其中該等視圖識別符值中 每者對應於以呈現為目標之該等視圖中之一者; 將相VC操作點之待解碼之視圖的視圖識別符值包括 於該操作點描述符中,其令該等視圖識別符值中之每— 者對應於待解碼之該等視圖中之一者;及 將二時間識別符值包括於該操作點描述符中,該時間 識別付值對應於自該Mvc操作點之該等視圖之該視訊資 150173.doc 201112769 料組譯的一視訊串流之一圖框速率。 29. —種方法,其包含: 藉由一目的地器件接收對應於一MPEG_2(動畫專家群 組)系統標準位元串流之一多視圖視訊編碼(MVC)操作點 的一資料結構’其中該資料結構用信號發送描述一接收 器件使用該MVC操作點待滿足的一呈現能力之一呈現能 力值、描述該接收器件使用該MVC操作點待滿足的一解 碼能力之一解碼能力值,及描述該MVC操作點之一位元 速率之一位元速率值; 判定該目的地器件之一視訊解碼器是否能夠基於藉由 該資料結構用信號發送之該解碼能力而解碼對應於該 MVC操作點之視圖; 判疋忒目的地器件是否能夠基於藉由該資料結構用信 號發送之該呈現能力而呈現對應於該Mvc操作點之該^ 視圖;及 在”玄目的地益件之該視訊解碼器經判定成能夠解碼並 呈現對應於該MVC操作點之該等視圖時,將對應於該 MVC操作點之該等視圖發送至該目的地器件之該視訊解 碼器。 3〇. ^求項29之方法,其中該資料結構包含一操作點描述 付’且其中該操作點描述符包含:—圖框速率值,該圖 =率值描述包括於該Mvc操作點之該等視圖★的視訊 貝料之一最大圖框速率; 忒MVC刼作點之以呈現為目標 視圖之視圖識別符值,其中該等視圖識別符值中之每 150173.doc 201112769 ^ $應於以主現為目標的該等視圖中之一者;該MVC 缸作:之待解碼之視圖的視圖識別符值,其中該等視圖 識別符值中之每一者對應於待解碼之該等視圖中之一 者,及一時間識別符值,該時間識別符值對應於自該 MVC操作點之該等視圖之該視訊資料組譯的一視訊串流 之一圖框速率。 3 1.如靖求項30之方法,其中判定該視訊解碼器是否能夠解 碼該等視圖包含判定該視訊解碼器是否能夠在由該圓框 速率值所私不之該圖框速率下解碼等效於視圖之解碼數 目值的視圖之一數目。 32. 如請求項30之方法,其進一步包含: 接收包括於該位元串、流中之每一操作點之操作點描述 符; 基於該對應操作點描述符選擇一操作點,其中作出選 擇包含判定該視訊解碼器能夠解碼並呈現對應於該選定 操作點之視圖;及 將對應於該選定操作點之該等視圖發送至該視訊解碼 器。 33. 如請求項29之方法’其中該目的地器件係藉由描述可由 該目的地器件呈現的視圖之一最大數目之—最大視圖呈 現益值及描述可由該目的地器件顯.示的視訊資料之—最 大圖框速率之一最大圖框速率值來組態,其中判定該目 的地器件是否能夠呈現對應於該MVC操作點之該等視圖 包含: 150173.doc 201112769 比較對應於該MVC操作點之視圖之一數目與該最大視 圖呈現器值;及 比較對應於該MVC操作點之該等視圖之一圖框速率與 該最大圖框速率值, 其中將對應於該MVC操作點之該等視圖發送至該視訊 解馬器包3 .在對應於該MVC操作點之視圖之該數目小 於或等於§亥最大視圖呈現器值時且在對應於該MVC操作 點之該等視圖之該圖框速率小於或等於該最大圖框速率 值時,將對應於該MVC操作點之該等視圖發送至該視訊 解碼器。 34. 35. 如凊求項33之方法,其中該最大視圖呈現器值與該最大 圖框速率值成反比。 一種裝置,其包含: 一輪入介面’其經組態以接收對應於一 MpEG_2(動晝 專家群組)系統標準位元串流之一多視圖視訊編碼(Mvc) 操作點的一資料結構,其中該資料結構用信號發送描述 一接收器件使用該MVC操作點待滿足的一呈現能力之一 呈現能力值、描述該接收器件使用該Mvc操作點待滿足 的一解碼能力之一解碼能力值,及描述該Mvc操作點之 一位元速率之一位元速率值·, 一視訊解碼器,其經組態以解碼視訊資料;及 一解多工器’其經組態以判定該視訊解碼器是否能夠 基於藉由該資料結構用信號發送之該解碼能力而解碼對 應於該MVC操作點之視圖,判定該裝置是否能夠基於藉 150173.doc -10· 201112769 由遺貧料結構用信號發送之該呈現能力而呈現對應於該 MVC操作點之該等視圖,且在該視訊解碼器經判定成能 夠解碼並呈現對應於該Mvc操作點之料視圖時,將對 應於該MVC操作點之該等視圖發送至該視訊解碼器。 36. ^請求項35之裝置,其中該資料結構包含—操作點描述 付且其中該操作點描述符包含:一圖框速率值,該圖 框速率值描述包括於該MVC操作點之該等視圖中的視訊 資料之彔大圖框速率;該MVC操作點之以呈現為目標 的視圖之視圖識別符值,其中該等視圖識別符值中之: 一者對應於以呈現為目標的該等視圖中之—者;該Μ% 操作點之待解碼之視圖的視圖識別符值,其中該等視圖 識別符值中之每-者對應於待解碼之該等視圖中之一 者;及-時間識別符值,該時間識別符值對應於自該 MVC操作點之該等視圖之該視訊資料組譯的—視訊串流 之一圖框速率。 37·如請求項36之裝置’其中為了判㈣視訊解碼器是否能 夠^碼該等視圖’該解多工諸組態關定該視訊解碼 器是否能夠在由該圖框速率值所指示之該圖框速率下解 碼等效於視圖之解碼數目值的視圖之一數目。 认如請求項36之裝置,其中該解多工器經組態以接收包括 於該位元串流中之每—操作點之操作點描述符;基於該 對應操作點描述符選擇__操作點,其中為了選擇該魔 操作點,該解多工器經組態以判定該視訊解碼器能夠解 碼並呈現對應於該選定操作點之視圖;且將對應於該選 150173.doc 11 201112769 定操作點之該等視圖發送至該視訊解碼器。 39.如請求項35之裝置,其進—步包含—電料讀储存媒 體,㈣腦可讀儲存媒體經組態㈣存描述可由目的地 '件呈現的視圖之-最大數目之-最大視圖呈現器值及 描述可由該目的地!I件顯示的視訊資料之—最大圖框速 率之一最大圖框速率值, 其▲中為了判定該裝置是否能夠呈現對應於該魔操作 點之遠等視圖,該解多工器經組態以比較對應於該Μ” 操作點之視圖之一數目與該最大視圖呈現器值,且比較 對應於該MVC操作點之該等視圖之—圖框速率與該最大 圖框速率值,且 ’、中-亥解夕工斋經組態以在對應於該操作點之視 圖之„亥數目小於或等於該最大視圖呈現器值時且在對應 於該MVC操作點之該等視圖之該圖框速率小於或等於該 最大圖框速率值時’將對應於該MVC操作點之該等視圖 發送至該視訊解碼器。 40. 如明求項39之裝置,纟中該最大視圖呈現器值與該最大 圖框速率值成反比。 41. 如請求項35之裝置’其中該裝置包含以下各項中之至少 一者: 一積體電路; 一微處理器,及 包括該解多工器之—無線通信器件。 42.—種裝置,其包含: 150173.doc -12- 201112769 用於接收對應於-刪G_2(動晝專家群組)系統標準位 兀串流之-多視圖視訊編碼(M v c)操作點的__資料 之構件’其中該資料結制信號發送描述-接收器件使 用該卿C操作點待滿足的一呈現能力之一呈現能力值、 描述該接收器件使用該MVC操作點待滿^的—解碼能力 之一解碼能力值,及描述該Mvc操作點之—位元速率之 一位元速率值; 次用於判定該裝置之—視訊解碼器是否能夠基於藉由該 賴結構用信號發送之該解瑪能力而解韻應於該蒙 操作點之視圖之構件; 用於判定該裝置是否能夠基於藉由該資料結構用信號 發送之該呈現能力而呈現對應於該Mvc操作點之該等視 圖之構件;及 用於在該裝置之該視訊解碼器經判定成能夠解码並呈 現對應於該MVC操作點之該等視圖時、將對應於該聚 操作點之該等視圖發送至該裝置之該視訊解碼器之構 件。 43. 如請求項42之裝置,其中該資料結構包含—操作點描述 符’且其中該操作點描述符包含:_圖框速率值,該圖 框速率值描述包括於該MVC操作點之該等視圖中的視訊 資料之一最大圖框速率;該Mvc操作點之以呈現為目標 的視圖之視圖識別符值’其中該等視圖識別符值中之每 一者對應於以呈現為目標的該等視圖中之—者;該mvc 刼作點之待解碼之視圖的視圖識別符值,其中該等視圖 150173.doc •13- 201112769 識別符值中之每-者對應於待解碼之該等視圖中之— 者;及一時間識別符值’該時間識別符值對應於自該 MVC操作點之該等視圖之該視訊資料組譯的—視訊串= 之一圖框速率。 机 44. 如凊求項43之裝置,其中該用於判定該視訊解碼器是否 能夠解碼該等視圖之構件包含用於判定該視訊解碼器b 否能夠在由該圖框速率值所指示之該圖框速率下解碼= 效於視圖之解碼數目值的視圖之一數目之構件。 45. 如請求項43之裝置,其進一步包含: 用於接收包括於該位元串流中. 描述符之構件; 純权刼作點 用於基於該對應操作點描述符選擇一操作點之構件, =中作出選擇包含判定該視崎碼器能夠解碼並呈 應於该選定操作點之視圖;及 用於將對應於該選定操作點 解碼器之構件。 4視圖發送至該視訊 Μ 2求項42之裝置’其進一步包含用於儲存描述可由目 的地裔件呈現的視圖之一最大數目之—时 值及描述可由該目的_件顯㈣視訊 If現益 框速率之一最大圖框速率值之構件,其中該:::圖 目的i士哭彼θ π π a X用於判足該 目的地斋件疋否能夠呈現對應於 圖之構件包含: &作點之該等視 用於比較對應於該Mvc操作點 大視圖呈現器值之構件;及 見㈡之一數目與該最 150173.doc -14- 201112769 用於比㈣應於該_操作點之該等視圖之 率與該最大圖框速率值之構件, 圆汇速 其令該用於將對應於該MVC操作點之該等視圖發送至 該視訊解碼器之構件包含:用於在對應於該MW操作點 之視圖之該數目小於或等於該最大視圖呈現ϋ值時且在 對應於該MVC操作點之㈣視圖之該圖框速率小於或等 於該最大圖框速率值時、將對應於該Mvc操作點之該等 視圖發送至該視訊解碼器之構件。 〆 47. -種包含指令之電腦可讀儲存媒豸’該等指令在執行時 使一目的地斋件之一處理器進行以下操作: 接收對應於一 MPEG-2(動晝專家群組)系統標準位元串 抓之一多視圖視汛編瑪(MVC)操作點的一資料結構,其 中該資料結構用信號發送描述一接收器件使用該mvc操 作點待滿足的一呈現能力之一呈現能力值、描述該接收 器件使用该MVC操作點待滿足的一解碼能力之一解瑪能 力值,及描述該MVC操作點之一位元速率之一位元速率 值; 判定該目的地器件之一視訊解碼器是否能夠基於藉由 該資料結構用信號發送之該解碼能力而解碼對應於該 MVC操作點之視圖; 判定該目的地器件疋否能夠基於藉由該資料結構用传 號發送之該呈現能力而呈現對應於該MVC操作點之該等 視圖;及 在該目的地器件之该視訊解碼器經判定成能夠解碼並 150173.doc •15· 201112769 呈現對應於該Mvc操作點之該等視圖時,將對應於該 MVC操作點之該等視圖發送至該目的地ϋ件之該視訊解 碼器。 . 48.:請求項47之電腦可讀儲存媒體,纟中該資料結構包含 一操作點描述符,且其中該操作點描述符包含:一圖框 速率值,邊圖框速率值描述包括於該MVC操作點之該等 視圖中的視訊資料之—最大®框速率;該MVC操作點之 以呈現為目標的視圖之視圖識別符值,其中該等視圖識 別符值中之每—者對應於以呈現為目標的該等視圖中之 者-玄MVC操作點之待解碼之視圖的視圖識別符值, 其中該等視®識別符值巾之每—者對應於待解碼之該等 視圖中之一者’及一時間識別符值,該時間識別符值對 應於自該MVC操作點之該等視圖之該視訊資料組譯的_ 視訊串流之一圖框速率。 49.如請求項48之電腦可讀儲存媒體,其中使該處理器判定 該視訊解碼H是否能夠解碼料視圖之該等指令包含使 該處理器判定該視訊解碼器是否㈣在由該圖框速率值 所才曰不之㈣框速率下解碼等效於視圖之解碼數目值的 視圖之一數目之指令。 50. 如請求項48之電腦可讀 理器進行以下操作之指 儲存媒體’其進一步包含使該處 令: 接收包括於該位 符; 元串流中之每一操作點之操作點描述 ,其中作出選 基於該對應操作點 描述符選擇一操作點 150173.doc 201112769 擇包含判疋§亥視§fl解碼器能夠解碼並呈現對應於該選定 操作點之視圖;及 將對應於該選定操作點之該等視圖發送至該視訊解碼 器。 ’ 51.如請求項47之電腦可讀儲存媒體,其中該目的地器件係 - 藉由描述可由該目的地器件呈現的視圖之一最大數目之 一最大視圖呈現器值及描述可由該目的地器件顯示的視 訊資料之一最大圖框速率之一最大圖框速率值來組態, 其中使該處理器判定該目的地器件是否能夠呈現對應於 該MVC操作點之該等視圖之該等指令包含使該處理器進 行以下操作之指令: 比較對應於該MVC操作點之視圖之一數目與該最大視 圖呈現器值;及 比較對應於該MVC操作點之該等視圖之一圖框速率與 該最大圖框速率值, 其中使3亥處理器將對應於該MVC操作點之該等視圖發 送至該視訊解碼器之該等指令包含:使該處理器在對應 於該MVC操作點之視圖之該數目小於或等於該最大視圖 • 呈現器值時且在對應於該MVC操作點之該等視圖之該圖 ' 框速率小於或等於該最大圖框速率值時,將對應於該. MVC操作點之該等視圖發送至該視訊解碼器之指令。 150173>doc •17-
TW099126516A 2009-08-07 2010-08-09 用於處理多視圖視訊編碼操作點的方法、裝置及電腦可讀儲存媒體 TWI581635B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US23227209P true 2009-08-07 2009-08-07
US24873809P true 2009-10-05 2009-10-05
US26686109P true 2009-12-04 2009-12-04
US12/757,231 US8948241B2 (en) 2009-08-07 2010-04-09 Signaling characteristics of an MVC operation point

Publications (2)

Publication Number Publication Date
TW201112769A true TW201112769A (en) 2011-04-01
TWI581635B TWI581635B (zh) 2017-05-01

Family

ID=43534831

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099126516A TWI581635B (zh) 2009-08-07 2010-08-09 用於處理多視圖視訊編碼操作點的方法、裝置及電腦可讀儲存媒體

Country Status (17)

Country Link
US (1) US8948241B2 (zh)
EP (1) EP2462742B1 (zh)
JP (1) JP5602854B2 (zh)
KR (1) KR101293425B1 (zh)
CN (1) CN102474655B (zh)
AU (1) AU2010279256B2 (zh)
BR (1) BR112012002259A2 (zh)
CA (1) CA2768618C (zh)
ES (1) ES2650220T3 (zh)
HK (1) HK1169247A1 (zh)
HU (1) HUE037168T2 (zh)
IL (1) IL217436A (zh)
RU (1) RU2530740C2 (zh)
SG (1) SG177621A1 (zh)
TW (1) TWI581635B (zh)
WO (1) WO2011017661A1 (zh)
ZA (1) ZA201201474B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI504238B (zh) * 2012-09-24 2015-10-11 Qualcomm Inc 處理視訊資料之方法及器件,以及電腦可讀取儲存媒體
TWI562618B (en) * 2011-06-28 2016-12-11 Samsung Electronics Co Ltd Method for video decoding
US10547842B2 (en) 2018-08-31 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video accompanied with arithmetic coding

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5709900B2 (ja) * 2010-01-18 2015-04-30 テレフオンアクチーボラゲット エル エム エリクソン(パブル) コンテンツのプレイアウトをサポートする方法及び装置
US8724710B2 (en) * 2010-02-24 2014-05-13 Thomson Licensing Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
US8374113B2 (en) * 2010-06-03 2013-02-12 Cisco Technology, Inc. Distributed gateway for reliable multicast wireless video
US9191284B2 (en) * 2010-10-28 2015-11-17 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US20130113882A1 (en) * 2011-11-08 2013-05-09 Sony Corporation Video coding system and method of operation thereof
EP2781103A1 (en) * 2011-11-14 2014-09-24 Motorola Mobility LLC Association of mvc stereoscopic views to left or right eye display for 3dtv
US10158873B2 (en) 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
EP2787733A4 (en) * 2011-12-04 2015-07-22 Lg Electronics Inc Digital broadcasting reception method and apparatus capable of displaying stereoscopic images
EP2800391A4 (en) * 2011-12-27 2015-07-29 Lg Electronics Inc Digital broadcast receiving method for displaying three-dimensional image, and receiving device thereof
US20130258052A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US9693032B2 (en) * 2012-04-03 2017-06-27 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
KR20190057417A (ko) * 2012-04-13 2019-05-28 지이 비디오 컴프레션, 엘엘씨 저지연 화상 코딩
JP5949204B2 (ja) * 2012-06-21 2016-07-06 ソニー株式会社 電子機器、電子機器におけるストリーム送受信方法、プログラム、ホストデバイスおよびホストデバイスにおけるストリーム送受信方法
KR101858200B1 (ko) 2012-06-29 2018-05-16 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US9503753B2 (en) * 2012-09-24 2016-11-22 Qualcomm Incorporated Coded picture buffer arrival and nominal removal times in video coding
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US9432664B2 (en) * 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
US9479779B2 (en) * 2012-10-01 2016-10-25 Qualcomm Incorporated Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
US9781413B2 (en) 2012-10-02 2017-10-03 Qualcomm Incorporated Signaling of layer identifiers for operation points
CN104704836B (zh) * 2012-10-03 2018-04-17 寰发股份有限公司 三维视频、多视图视频及可缩放视频的编码方法及装置
US20140098851A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated Indication of video properties
US9380317B2 (en) 2012-10-08 2016-06-28 Qualcomm Incorporated Identification of operation points applicable to nested SEI message in video coding
US9936196B2 (en) * 2012-10-30 2018-04-03 Qualcomm Incorporated Target output layers in video coding
US9257092B2 (en) 2013-02-12 2016-02-09 Vmware, Inc. Method and system for enhancing user experience for remoting technologies
CN103118285A (zh) * 2013-02-22 2013-05-22 浪潮齐鲁软件产业有限公司 一种多场景电视兼容普通电视的方法
CA2908850C (en) 2013-04-08 2018-03-27 Arris Technology, Inc. Individual buffer management in video coding
KR101761523B1 (ko) * 2013-10-17 2017-07-25 미디어텍 인크. 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
US10291922B2 (en) * 2013-10-28 2019-05-14 Arris Enterprises Llc Method and apparatus for decoding an enhanced video stream
US10057582B2 (en) * 2014-05-21 2018-08-21 Arris Enterprises Llc Individual buffer management in transport of scalable video
MX364550B (es) * 2014-05-21 2019-04-30 Arris Entpr Llc Señalización y selección para la mejora de capas en vídeo escalable.
US9930342B2 (en) * 2014-06-20 2018-03-27 Qualcomm Incorporated Systems and methods for signaling hypothetical reference decoder parameters in a parameter set
EP3038358A1 (en) * 2014-12-22 2016-06-29 Thomson Licensing A method for adapting a number of views delivered by an auto-stereoscopic display device, and corresponding computer program product and electronic device
US9930378B2 (en) 2015-02-11 2018-03-27 Qualcomm Incorporated Signaling of operation points for carriage of HEVC extensions
CN106303673A (zh) * 2015-06-04 2017-01-04 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
GB2539462B (en) * 2015-06-16 2019-04-03 Canon Kk Obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US232272A (en) 1880-09-14 Bran-cleaner and middlings-separator
US248738A (en) 1881-10-25 Refrigerati no-chamber
US266861A (en) 1882-10-31 William e
US4829299A (en) 1987-09-25 1989-05-09 Dolby Laboratories Licensing Corporation Adaptive-filter single-bit digital encoder and decoder and adaptation control circuit responsive to bit-stream loading
DE69229786T2 (de) 1991-05-29 2000-08-10 Pacific Microsonics Inc Verbessertes System zur Kodierung/Dekodierung von Signalen
US6748020B1 (en) * 2000-10-25 2004-06-08 General Instrument Corporation Transcoder-multiplexer (transmux) software architecture
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
TWI260591B (en) 2002-10-14 2006-08-21 Samsung Electronics Co Ltd Information storage medium with structure for multi-angle data, and recording and reproducing apparatus therefor
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
US7054536B2 (en) * 2004-05-12 2006-05-30 Molex Incorporated Breakout assembly for flexible circuitry
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
US8154585B2 (en) * 2006-01-12 2012-04-10 Lg Electronics Inc. Processing multiview video
WO2007126511A2 (en) * 2006-03-29 2007-11-08 Thomson Licensing Multi view video coding method and device
JP5135342B2 (ja) * 2006-07-20 2013-02-06 トムソン ライセンシングThomson Licensing マルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US8396121B2 (en) * 2006-10-16 2013-03-12 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
EP2080382B1 (en) * 2006-10-20 2016-07-20 Nokia Technologies Oy System and method for implementing low-complexity multi-view video coding
WO2008085885A2 (en) 2007-01-04 2008-07-17 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
EP2100459B1 (en) * 2007-01-08 2019-04-03 Nokia Technologies Oy System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
BRPI0809585A2 (pt) 2007-04-17 2014-09-23 Thomson Licensing Decodificador de referência hipotética para codificação de vídeo multivisualização
KR101703019B1 (ko) 2007-10-05 2017-02-06 톰슨 라이센싱 멀티-뷰 비디오(mvc) 코딩 시스템 내의 비디오 유용성 정보(vui)를 통합하기 위한 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI562618B (en) * 2011-06-28 2016-12-11 Samsung Electronics Co Ltd Method for video decoding
US9554157B2 (en) 2011-06-28 2017-01-24 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video accompanied with arithmetic coding
US9565455B2 (en) 2011-06-28 2017-02-07 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video accompanied with arithmetic coding
US9668001B2 (en) 2011-06-28 2017-05-30 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video accompanied with arithmetic coding
US10091510B2 (en) 2011-06-28 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video accompanied with arithmetic coding
TWI504238B (zh) * 2012-09-24 2015-10-11 Qualcomm Inc 處理視訊資料之方法及器件,以及電腦可讀取儲存媒體
US10547842B2 (en) 2018-08-31 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video accompanied with arithmetic coding

Also Published As

Publication number Publication date
EP2462742A1 (en) 2012-06-13
CN102474655A (zh) 2012-05-23
HUE037168T2 (hu) 2018-08-28
KR20120054052A (ko) 2012-05-29
RU2530740C2 (ru) 2014-10-10
WO2011017661A1 (en) 2011-02-10
ES2650220T3 (es) 2018-01-17
IL217436D0 (en) 2012-02-29
HK1169247A1 (zh) 2017-06-02
SG177621A1 (en) 2012-03-29
BR112012002259A2 (pt) 2016-06-14
TWI581635B (zh) 2017-05-01
JP5602854B2 (ja) 2014-10-08
ZA201201474B (en) 2013-08-28
AU2010279256A1 (en) 2012-03-01
RU2012108618A (ru) 2013-11-20
US20110032999A1 (en) 2011-02-10
AU2010279256B2 (en) 2013-11-28
CA2768618A1 (en) 2011-02-10
IL217436A (en) 2015-09-24
KR101293425B1 (ko) 2013-08-05
JP2013502097A (ja) 2013-01-17
CN102474655B (zh) 2016-06-29
CA2768618C (en) 2015-12-08
US8948241B2 (en) 2015-02-03
EP2462742B1 (en) 2017-09-20

Similar Documents

Publication Publication Date Title
Chen et al. The emerging MVC standard for 3D video services
JP5072996B2 (ja) 三次元ビデオ符号化に関するシステム及び方法
KR101453239B1 (ko) 인코딩된 비디오 데이터의 스트리밍
CN103069828B (zh) 提供用于串流传输视频数据的序列数据集
CN100473157C (zh) 基于运动图像专家组-4的立体视频因特网广播系统和方法
KR101649207B1 (ko) 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
KR101242472B1 (ko) 트랙 및 트랙 서브세트의 그룹화를 위한 방법 및 장치
JP2008306750A (ja) 両眼/多視点3次元動画像処理システム及びその方法
CN102986218B (zh) 用于串流视频数据的视频切换
JP5964972B2 (ja) 複数のソースからのマルチメディアデータのストリーミング
US9992555B2 (en) Signaling random access points for streaming video data
JP2005533433A (ja) 2次元および3次元立体ビデオ信号の適応変換装置およびその方法
Sjoberg et al. Overview of HEVC high-level syntax and reference picture management
CN101505316B (zh) 重排和复用属于互相关会话的多媒体流的包的方法和设备
JP2015533053A5 (zh)
US20100290483A1 (en) Apparatus and method for transmitting stereoscopic image data
JP2015533053A (ja) ビデオコーディングにおけるビットストリーム適合試験
EP2898698B1 (en) Bitstream properties in video coding
US9185439B2 (en) Signaling data for multiplexing video components
CN106464891B (zh) 用于视频编码和解码的方法和装置
CA2650151C (en) An iptv receiving system and data processing method
EP2596643B1 (en) Arranging sub-track fragments for streaming video data
US9602802B2 (en) Providing frame packing type information for video coding
KR20120036848A (ko) 방송 송신기, 방송 수신기 및 3d 비디오 데이터 처리 방법
JP6342457B2 (ja) コード化ビデオデータのネットワークストリーミング