TWI520575B - 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示 - Google Patents

用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示 Download PDF

Info

Publication number
TWI520575B
TWI520575B TW102134027A TW102134027A TWI520575B TW I520575 B TWI520575 B TW I520575B TW 102134027 A TW102134027 A TW 102134027A TW 102134027 A TW102134027 A TW 102134027A TW I520575 B TWI520575 B TW I520575B
Authority
TW
Taiwan
Prior art keywords
video
indication
video data
frame
stereoscopic
Prior art date
Application number
TW102134027A
Other languages
English (en)
Other versions
TW201424340A (zh
Inventor
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201424340A publication Critical patent/TW201424340A/zh
Application granted granted Critical
Publication of TWI520575B publication Critical patent/TWI520575B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

用於視訊寫碼之訊框封裝立體三維(3D)視訊資料之指示
本申請案主張2012年9月20日申請之美國臨時申請案第61/703,662號及2012年9月27日申請之美國臨時申請案第61/706,647號的權利，該兩個申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減 少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可將視訊切片(亦即，視訊訊框或視訊訊框之一部分)分割成視訊區塊，該等視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)切片中的視訊區塊。圖像之框間寫碼(P或B)切片中之視訊區塊可使用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於在其他參考圖像中之參考樣本的時間預測。可將圖像稱作訊框，且可將參考圖像稱作參考訊框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述用於用信號發送及使用視訊資料呈訊框封裝立體3D視訊資料格式之指示的技術。
在本發明之一實例中，一種用於解碼視訊資料之方法包含：接收視訊資料；接收指示所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示；及根據所接收之指示來解碼所接收之視訊資料。
在本發明之另一實例中，一種用於編碼視訊資料之方法包含：編碼視訊資料；產生指示經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示；及在經編碼視訊位元串流中用信號發 送該指示。
在本發明之另一實例中，一種經組態以解碼視訊資料之裝置包含視訊解碼器，該視訊解碼器經組態以進行以下操作：接收視訊資料；接收指示所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示；及根據所接收之指示來解碼所接收之視訊資料。
在本發明之另一實例中，一種經組態以編碼視訊資料之裝置包含視訊編碼器，該視訊編碼器經組態以進行以下操作：編碼視訊資料；產生指示經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示；及在經編碼視訊位元串流中用信號發送該指示。
在本發明之另一實例中，一種經組態以解碼視訊資料之裝置包含：用於接收視訊資料的構件；用於接收指示所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料之指示的構件；及用於根據所接收之指示來解碼所接收之視訊資料的構件。
在本發明之另一實例中，一種經組態以編碼視訊資料之裝置包含：用於編碼視訊資料的構件；用於產生指示經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料之指示的構件；及用於在經編碼視訊位元串流中用信號發送該指示的構件。
在另一實例中，本發明描述一種電腦可讀儲存媒體，其儲存在執行時使經組態以解碼視訊資料之器件的一或多個處理器執行以下操作的指令：接收視訊資料；接收指示所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示；及根據所接收之指示來解碼所接收之視訊資料。
在另一實例中，本發明描述一種電腦可讀儲存媒體，其儲存在執行時使經組態以編碼視訊資料之器件的一或多個處理器執行以下操 作的指令：編碼視訊資料；產生指示經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示；及在經編碼視訊位元串流中用信號發送該指示。
亦依據經組態以執行技術之裝置以及儲存使一或多個處理器執行技術之指令的電腦可讀儲存媒體來描述本發明之技術。
一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
11‧‧‧經解碼訊框
12‧‧‧源器件
13‧‧‧封裝重配置單元
14‧‧‧目的地器件
15‧‧‧左視圖訊框
16‧‧‧鏈路
17‧‧‧右視圖訊框
18‧‧‧視訊源
19‧‧‧上轉換處理單元
20‧‧‧視訊編碼器
21‧‧‧上轉換處理單元
22‧‧‧輸出介面
23‧‧‧經上轉換之左視圖訊框
25‧‧‧經上轉換之右視圖訊框
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件/儲存器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧經解碼圖像緩衝器
圖1為說明可利用本發明中所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為展示用於使用並列訊框封裝配置來進行訊框相容性立體視訊寫碼之實例程序的概念圖。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖4為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖5為說明根據本發明之一實例之實例視訊編碼方法的流程圖。
圖6為說明根據本發明之一實例之實例視訊解碼方法的流程圖。
本發明描述用於用信號發送及使用指示視訊資料係以訊框封裝配置而寫碼(例如，經寫碼為訊框封裝立體三維(3D)視訊資料)之指示的技術。根據高效率視訊寫碼(HEVC)而寫碼之位元串流可包括訊框封裝配置(FPA)補充增強資訊(SEI)訊息，該等FPA SEI訊息可包括指示視訊是否呈訊框封裝配置之資訊。
然而，經由FPA SEI訊息來支援解碼訊框封裝視訊展現了若干缺 陷。作為其中一個，可存在回溯相容性問題。亦即，一些解碼器不辨識或不經組態以解碼FPA SEI訊息，且因此將忽略訊框封裝視訊之指示，且將如同視訊並非呈訊框封裝立體3D格式來輸出經解碼圖像。因此，所得視訊品質可嚴重失真，從而產生拙劣使用者體驗。
作為另一缺陷，即使對於經組態以解碼FPA SEI訊息的解碼器，一些符合之解碼器仍可以某種方式實施以忽略所有SEI訊息或僅處置該等SEI訊息之子集。舉例而言，一些解碼器可經組態以僅處置緩衝週期SEI訊息及圖像計時SEI訊息，且忽略其他SEI訊息。此等解碼器將亦忽略位元串流中之FPA SEI訊息，且可發生同樣嚴重失真之視訊品質。
此外，許多視訊用戶端或播放器(亦即，經組態以解碼視訊資料之任何器件或軟體)並不經組態以解碼訊框封裝立體3D視訊資料。因為不需要由符合之解碼器來辨識或處理SEI訊息(包括FPA SEI訊息)，所以具有不辨識FPA SEI訊息之符合HEVC之解碼器的用戶端或播放器將忽略此位元串流中之FPA SEI訊息，且如同位元串流僅含有並非訊框封裝立體3D視訊資料之圖像來解碼及輸出經解碼圖像。因此，所得視訊品質可為次最佳的。此外，即使對於具有確實辨識且能夠處理FPA SEI訊息之符合HEVC之解碼器的用戶端或播放器，仍必須檢驗所有存取單元以檢查FPA SEI訊息之缺乏，且在可得出所有圖像為或不為訊框封裝立體3D視訊資料的結論之前必須剖析及解譯所有存在之FPA SEI訊息。
鑒於此等缺陷且如下文將予以更詳細描述，本發明之各種實例提議使用設定檔、層及層級語法中之一位元來用信號發送經寫碼視訊序列是否含有訊框封裝圖像之指示。
圖1為說明實例視訊編碼及解碼系統10之方塊圖，該視訊編碼及解碼系統10可利用本發明中所描述之技術。如圖1中所展示，系統10 包括源器件12，該源器件12產生待由目的地器件14在稍後時間解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板型電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件，或其類似者。在一些狀況下，可裝備源器件12及目的地器件14以用於無線通信。
目的地器件14可經由鏈路16來接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移至自的地器件14之任何類型之媒體或器件。在一實例中，鏈路16可包含用以使得源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多根實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
或者，可將經編碼資料自輸出介面22輸出至儲存器件32。類似地，可由輸入介面自儲存器件32來存取經編碼資料。儲存器件32可包括多種分散式或本端存取之資料儲存媒體(諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體)中之任一者。在另一實例中，儲存器件32可對應於可保存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件32存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14 之任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之組合。經編碼視訊資料自儲存器件32之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。可將該等技術應用於支援多種多媒體應用中之任一者之視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如以下各者之源：視訊俘獲器件(例如，視訊攝影機)、含有先前俘獲之視訊的視訊封存檔、用以自視訊內容提供者接收視訊之視訊饋入介面，及/或用於產生電腦圖形資料以作為源視訊之電腦圖形系統，或此等源之組合。作為一實例，若視訊源18為視訊攝影機，則源器件12及目的器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術可一般適用於視訊寫碼，且可應用於無線及/或有線應用。
可藉由視訊編碼器20來編碼經俘獲、經預先俘獲或經電腦產生之視訊。經編碼視訊資料可經由源器件12之輸出介面22而直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件32上 以供稍後由目的地器件14或其他器件存取，以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16來接收經編碼視訊資料。經由鏈路16所傳達或提供於儲存器件32上之經編碼視訊資料可包括由視訊編碼器20產生以供視訊解碼器(諸如，視訊解碼器30)用於解碼視訊資料的多種語法元素。可將此等語法元素包括於在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料中。
顯示器件32可與目的地器件14整合或位於目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含諸如以下各者之多種顯示器件中之任一者：液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，目前由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)正在開發的高效率視訊寫碼(HEVC)標準)來操作。HEVC之一工作草案(WD)(且在下文中稱作HEVC WD8)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip獲得。
HEVC標準之新近草案(稱作「HEVC工作草案10」或「WD10」)描述於Bross等人之題為「High efficiency video coding(HEVC)text specification draft 10(for FDIS & Last Call)」的文件JCTVC-L1003v34(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)在2013年1月14日至23日於瑞士日內瓦舉行之第12次會議，該文件自2013年6月6日起可自http：//phenix.int- evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下載)中。
HEVC標準之另一草案在本文中被稱作「WD10修訂版」，其描述於Bross等人之題為「Editors' proposed corrections to HEVC version 1」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)在2013年4月於韓國仁川舉行之第13次會議，該文件自2013年6月7日起可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip獲得)中。
出於說明之目的，本發明中將視訊編碼器20及視訊解碼器30描述為經組態以根據一或多個視訊寫碼標準來操作。然而，本發明之技術未必限於任何特定寫碼標準，且可針對多種不同寫碼標準加以應用。其他專屬或產業標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)(包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)，或此等標準之擴展、修改或增添。
視訊編碼器20及視訊解碼器30亦可經組態成以某種檔案格式來儲存視訊資料，或根據即時傳送協定(RTP)格式或經由多媒體服務來傳輸資料。
檔案格式標準包括：ISO基礎媒體檔案格式(ISOBMFF、ISO/IEC 14496-12)；及自ISOBMFF導出之其他檔案格式，包括MPEG-4檔案格式(ISO/IEC 14496-14)、3GPP檔案格式(3GPP TS 26.244)及進階視訊寫碼(AVC)檔案格式(ISO/IEC 14496-15)。當前，MPEG正開發對用於儲存HEVC視訊內容之AVC檔案格式的修正案。此AVC檔案格式修正案亦被稱作HEVC檔案格式。
RTP有效負載格式包括RFC 6184(「RTP Payload Format for H.264 Video」)中之H.264有效負載格式、RFC 6190(「RTP Payload Format for Scalable Video Coding」)中之可按比例調整視訊寫碼(SVC)有效負載格式，及許多其他有效負載格式。當前，網際網路工程工作小組(IETF)正開發HEVC RTP有效負載格式。RFC 6184自2013年7月26日起可自http：//tools.ietf.org/html/rfc6184獲得，其全部內容以引用之方式併入本文中。RFC 6190自2013年7月26日起可自http：//tools.ietf.org/html/rfc6190獲得，其全部內容以引用之方式併入本文中。
3GPP多媒體服務包括經由HTTP之3GPP動態自適應性串流傳輸(3GP-DASH，3GPP TS 26.247)、封包交換串流傳輸(PSS，3GPP TS 26.234)、多媒體廣播及多播服務(MBMS，3GPP TS 26.346)及經由IMS之多媒體電話服務(MTSI，3GPP TS 26.114)。
雖然圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為諸如以下各者之多種合適編碼器電路中之任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編 碼器或解碼器中，其中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器(CODEC))的部分。
JCT-VC已開發出HEVC標準。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM設想視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述：視訊訊框或圖像可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。樹型區塊具有與H.264標準之巨集區塊之目的類似的目的。切片包括按寫碼次序之數個連續樹型區塊。可將視訊訊框或圖像分割成一或多個切片。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。舉例而言，樹型區塊(作為四分樹之根節點)可分裂成四個子代節點，且每一子代節點可又為親代節點且分裂成另外四個子代節點。最後未分裂之子代節點(作為四分樹之葉節點)包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數，且亦可定義寫碼節點之最小大小。
CU包括寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及變換單元(TU)。CU之大小一般對應於寫碼節點之大小，且形狀必須通常為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形。
HEVC標準允許根據TU之變換，該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小，但可能並非始終如此狀況。TU通常具有與PU相同之大小或小於PU。在一些實例中，可使用稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可加以量化之變換係數。
一般而言，PU包括與預測程序有關之資料。舉例而言，當PU經框內模式編碼時，該PU可包括描述該PU之框內預測模式之資料。作為另一實例，當PU經框間模式編碼時，該PU可包括定義該PU之運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
一般而言，TU用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可根據PU自藉由寫碼節點所識別之視訊區塊來計算殘餘值。接著更新寫碼節點以參考殘餘值而非原始視訊區塊。該等殘餘值包含可使用變換及TU中所指定之其他變換資訊而變換為變換係數、量化及掃描以產生供熵寫碼之串列化變換係數的像素差值。可再次更新寫碼節點以參考此等串列化變換係數。本發明通常使用術語「視訊區塊」來指CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」來指包括一寫碼節點以及若干PU及TU的樹型區塊(亦即，LCU或CU)。
視訊序列通常包括一系列視訊訊框或圖像。圖像群組(GOP)一般包含一系列視訊圖像中之一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像之數目的語 法資料。圖像之每一切片可包括描述該各別切片之編碼模式的切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向則分割成25%及75%。CU之對應於25%分割之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」係指在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊一般在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後，視訊編碼器20可計算應用有由CU之TU所指定之變換的殘餘資料。該殘餘資料可對應於未經編碼圖像之像素與對應於CU之預測值之間的像素差。視訊編碼器20可形成CU之殘餘資料，且接著變換該殘餘資料以產生變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化一般指將變換係數量化以可能減少用以表示該等係數之資料之量從而提供進一步壓縮的程序。該量化程序可減小與該等係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義之掃描次序來掃描經量化之變換係數，以產生可經熵編碼之串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用於解碼視訊資料。
為執行CABAC，視訊編碼器20可將內容脈絡模型內之內容脈絡指派給待傳輸之符號。該內容脈絡可能係關於(例如)符號之相鄰值是否為非零。為執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(勝於(例如)針對待傳輸之每一符號使用等長碼字)。機率判定可基於指派給符號之內容脈絡而進行。
對於立體3D視訊，根據HEVC而寫碼之視訊的訊框可包括右影像與左影像兩者之解析度減半的版本。有時將此寫碼格式稱為訊框封裝立體3D視訊。為產生視訊中之3D效應，可同時或幾乎同時展示場景之兩個視圖(例如，左眼視圖及右眼視圖)。可自稍微不同之水平位置(表示檢視者之左眼與右眼之間的水平像差)來俘獲同一場景之兩個圖 像，該等圖像對應於場景之左眼視圖及右眼視圖。藉由同時或幾乎同時顯示此等兩個圖像使得由檢視者之左眼來感知左眼視圖圖像且由檢視者之右眼來感知右眼視圖圖像，檢視者可經歷三維視訊效應。
圖2為展示用於使用並列訊框封裝配置之訊框相容性立體視訊寫碼之實例程序的概念圖。詳言之，圖2展示用於重配置訊框相容性立體視訊資料之經解碼訊框之像素的程序。經解碼訊框11由以並列配置封裝之交織像素組成。並列配置由以行配置之每一視圖(在此實例中為左視圖及右視圖)之像素組成。作為一替代例，自頂向下之封裝配置將以列來配置每一視圖之像素。經解碼訊框11將左視圖之像素描繪為實線且將右視圖之像素描繪為虛線。亦可將經解碼訊框11稱作交織訊框，此係因為經解碼訊框11包括並列交織像素。
封裝重配置單元13根據由編碼器(諸如)在FPA SEI訊息中用信號發送之封裝配置將經解碼訊框11中之像素分裂成左視圖訊框15及右視圖訊框17。如可見，左視圖訊框及右視圖訊框中之每一者的解析度減半，此係因為該左視圖訊框及該右視圖訊框針對訊框之大小僅含有每隔一行像素。
接著分別藉由上轉換處理單元19及21來上轉換左視圖訊框15及右視圖訊框17，以產生經上轉換之左視圖訊框23及經上轉換之右視圖訊框25。可接著藉由立體顯示器來顯示該經上轉換之左視圖訊框23及該經上轉換之右視圖訊框25。
針對HEVC之先前提議包括用以指示視訊資料為訊框封裝立體3D視訊之訊框封裝配置(FPA)SEI訊息的規格。然而，用於藉由SEI訊息來指示基於HEVC之訊框封裝立體視訊資料的現有方法存在多個缺陷。
一缺陷係與在HEVC位元串流中指示基於HEVC之訊框封裝立體3D視訊相關聯。HEVC位元串流可含有訊框封裝立體3D視訊，如由位 元串流中之FPA SEI訊息所指示。由於不需要由符合HEVC之解碼器來辨識或處理SEI訊息，因此不辨識FPA SEI訊息之符合HEVC之解碼器將忽略此等訊息，且如同視訊並非訊框封裝立體3D視訊來解碼及輸出經解碼訊框封裝立體3D圖像。因此，所得視訊品質可嚴重失真，從而產生非常拙劣之使用者體驗。
其他缺陷係關於以檔案格式、RTP有效負載及多媒體服務來指示訊框封裝立體3D視訊資料之存在。作為一實例，針對HEVC檔案格式之提議缺乏用以指示基於HEVC之訊框封裝立體視訊的機制。在HEVC RTP有效負載格式之一些所提議設計及HEVC自身之一些所提議設計的情況下，實施HEVC與HEVC RTP有效負載格式兩者之RTP發送器及RTP接收器將不能夠關於基於HEVC之訊框封裝立體3D視訊之使用而進行協商，且具有不同假定之兩方可發生通信。
舉例而言，發送器可發送基於HEVC之訊框封裝立體3D視訊，而接收器接受基於HEVC之訊框封裝立體3D視訊且如同位元串流並非訊框封裝立體3D視訊來再現該視訊。對於串流或多播應用(其中用戶端基於包括內容之描述的會話描述協定(SDP)來決定是接受內容抑或參加多播會話)，未裝備有對訊框封裝立體3D視訊之恰當處置能力(例如，解封裝)的用戶端可錯誤地接受內容且如同其並非訊框封裝立體3D視訊來播放訊框封裝立體3D視訊。
鑒於此等缺陷，本發明呈現用於對視訊資料是否包括訊框封裝立體3D視訊之指示之改良發信號的技術。本發明之技術允許符合HEVC之解碼器判定位元串流中含有之所接收之視訊是否為訊框封裝立體3D視訊而無需能夠辨識FPA SEI訊息。在本發明之一實例中，藉由在位元串流中包括指示(例如，作為不位於SEI訊息中之旗標(訊框封裝旗標))來實現此判定。該旗標等於0指示不存在FPA SEI訊息，且視訊資料並非呈訊框封裝立體3D格式。該旗標等於1指示存在(或替代 地，可能存在)FPA SEI訊息，且位元串流中之視訊為(或替代地，可能為)訊框封裝立體3D視訊。
在判定視訊為(或替代地，可能為)訊框封裝立體3D視訊之後，視訊解碼器30即可拒絕視訊以避免不良之使用者體驗。舉例而言，若視訊解碼器30不能夠解碼以此配置所組態之資料，則其可拒絕指示為包括訊框封裝立體3D視訊資料之視訊資料。可將訊框封裝立體3D視訊資料之指示包括於視訊參數集(VPS)抑或序列參數集(SPS)或兩者中。
可直接將VPS及/或SPS中所包括之設定檔及層級資訊(包括層資訊)包括於較高系統層級中，例如，在基於ISO之媒體檔案格式檔案(例如，檔案格式資訊)中之HEVC磁軌的樣本描述中、在會話描述協定(SDP)檔案中，或在媒體呈現描述(MPD)中。基於設定檔及層級資訊，用戶端(例如，視訊串流用戶端或視訊電話用戶端)可判定接受或選擇待取用之內容或格式。因而，根據本發明之一實例，可(例如)藉由使用如HEVC WD8中所指定之general_reserved_zero_16bits欄位及/或sub_layer_reserved_zero_16bits欄位[i]中之一位元以表示上文所提及之旗標來包括訊框封裝立體3D視訊之指示作為設定檔及層級資訊之部分。
舉例而言，若視訊解碼器30在設定檔及/或層級資訊中接收到指示視訊係以訊框封裝立體3D配置而編碼之位元，且視訊解碼器30並不經組態以解碼此視訊資料，則視訊解碼器30可拒絕該視訊資料(亦即，不解碼該視訊資料)。若視訊解碼器30經組態以解碼訊框封裝立體3D視訊資料，則可進行解碼。同樣地，若視訊解碼器30在設定檔及/或層級資訊中接收到指示視訊並非以訊框封裝立體3D配置而編碼之位元，則視訊解碼器30可接受視訊資料且繼續進行解碼。
設定檔及層級指定關於位元串流之限制且因此指定關於解碼位元串流所需之能力的限制。設定檔及層級亦可用以指示個別解碼器實 施之間的交互操作性點。每一設定檔指定應由遵照彼設定檔之所有解碼器支援的演算法特徵及限制之子集。每一層級指定關於可由視訊壓縮標準之語法元素採取之值的限制之集合。將層級定義之同一集合供所有設定檔使用，但個別實施可針對每一所支援之設定檔而支援不同層級。對於任何給定設定檔，層級一般對應於解碼器處理負載及記憶體能力。
與FPA SEI訊息相對比，需要HEVC相容性解碼器能夠解譯VPS及SPS中之語法元素。因而，將剖析及解碼包括於VPS或SPS中之訊框封裝立體3D視訊之任何指示(或存在FPA SEI訊息之指示)。此外，由於VPS或SPS應用於一個以上存取單元，因此並非每一存取單元均必須檢查以查找訊框封裝立體3D視訊之指示，正如FPA SEI訊息之狀況一樣。
以下章節描述用於在RTP有效負載中指示訊框封裝立體3D視訊的技術。可如下指定可選之有效負載格式參數，例如，所命名之frame-packed(訊框封裝)。該frame-packed參數用信號發送串流之屬性或接收器實施之能力。該值可等於0抑或1。當該參數不存在時，可推斷該值等於0。
當將該參數用來指示串流之屬性時，以下內容適用。值0指示：串流中所表示之視訊並非訊框封裝視訊，且在該串流中不存在FPA SEI訊息。值1指示：串流中所表示之視訊可為訊框封裝視訊，且在該串流中可存在FPA SEI訊息。當然，可保留值0及1之語義。
當將該參數用於能力交換或會話設置時，以下內容適用。值0指示：對於接收與發送兩者，實體(亦即，視訊解碼器及/或用戶端)僅支援所表示之視訊並非訊框封裝型的串流，且不存在PFA SEI訊息。值1指示：對於接收與發送兩者，實體支援所表示之視訊為訊框封裝型的串流，且可存在FPA SEI訊息。
當存在時，可選參數frame-packed可包括於SDP檔案之「a=fmtp」行中。以frame-packed=0或frame-packed=1之形式而將該參數表達為媒體類型字串。
當使用提議/應答模型中之SDP檔案進行協商來經由RTP而提供HEVC串流時，frame-packed參數為識別HEVC之媒體格式組態之參數中的一者，且可對稱地使用。亦即，應答者可使該參數維持有提議中之值抑或完全移除媒體格式(有效負載類型)。
當以聲明樣式藉由SDP來提議經由RTP之HEVC(如在即時串流協定(RTSP)或會話通知協定(SAP)中)時，frame-packed參數用以僅指示串流屬性而不指示接收串流之能力。在另一實例中，可一般(而非特定於HEVC)在SDP中指定類似發信號，使得其一般應用於視訊編解碼器。
在本發明之另一實例中，frame-packed參數可具有更多值，例如，0指示視訊並非訊框封裝型且串流不具有FPA SEI訊息，且值大於0指示視訊為訊框封裝型且訊框封裝類型係藉由該參數之值來指示。在另一實例中，該參數可含有多個用逗號分開之大於0之值，每一值指示特定訊框封裝類型。
以下展示根據本發明之技術之在設定檔、層及層級語法中指示訊框封裝立體3D視訊資料的語法及語義。提議如下用信號發送設定檔、層及層級之語法及語義。
語法元素general_non_packed_only_flag(亦即，訊框封裝指示)等於1指示：在經寫碼視訊序列中不存在訊框封裝配置SEI訊息。語法元素general_non_packed_only_flag等於0指示：在經寫碼視訊序列中存在至少一FPA SEI訊息。
在遵照此規格之位元串流中，語法元素general_reserved_zero_14bits應等於0。保留general_reserved_zero_14bits之其他值以供ITU-T|ISO/IEC在未來使用。解碼器應忽略general_reserved_zero_14bits之值。
語法元素sub_layer_profile_space[i]、sub_layer_tier_flag[i]、sub_layer_profile_idc[i]、sub_layer_profile_compatibility_flag[i][j]、sub_layer_progressive_frames_only_flag[i]、sub_layer_non_packed_only_flag[i]、sub_layer_reserved_zero_14bits[i]及sub_layer_level_idc[i]分別具有與general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[j]、general_progressive_frames_only_flag、general_non_packed_only_flag、general_reserved_zero_14bits及general_level_idc相同之語義，但應用 於TemporalId等於i之子層之表示。當不存在時，推斷sub_layer_tier_flag[i]之值等於0。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊切片內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊訊框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近訊框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之壓縮模式中之任一者。
在圖3之實例中，視訊編碼器20包括分割單元35、預測處理單元41、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。為達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器(圖3中未展示)以對區塊邊界進行濾波，從而自重建構之視訊移除方塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除解區塊濾波器之外，亦可使用額外迴路濾波器(迴路內或迴路後)。
如圖3中所展示，視訊編碼器20接收視訊資料，且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成切片、影像塊或其他較大單元，以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20一般說明編碼在待編碼之視訊切片內之視訊區塊的組件。可將切片劃分成多個視訊區塊(及可能劃分成被稱作影像塊之視訊區塊集合)。預測處理單元41可基於錯誤結果(例如，寫碼速率及失真程度)針對當前視訊區塊來選擇複數個可能寫碼模式中之一者，諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處 理單元41可將所得經框內寫碼或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，且提供至求和器62以重建構供用作參考圖像之經編碼區塊。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊相同之訊框或切片中之一或多個相鄰區塊的框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣來判定視訊切片之框間預測模式。預定型樣可將序列中之視訊切片指定為P切片、B切片或GPB切片。運動估計單元42及運動補償單元44可高度整合，但為概念目的而單獨加以說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊訊框或圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊的移位。
預測性區塊為被發現在像素差方面緊密匹配待寫碼之視訊區塊之PU的區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋，且以分數像素精度輸出運動向量。
運動估計單元42藉由比較框間寫碼切片中之視訊區塊之PU的位置與參考圖像之預測性區塊之位置來計算該PU之運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該清單0或該清單1中之每一者識別儲存於參考圖像記憶體64中之一或 多個參考圖像。運動估計單元42將計算出之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於藉由運動估計所判定之運動向量來提取或產生預測性區塊，從而可能執行至子像素精度之內插。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44即可將運動向量所指向之預測性區塊定位於參考圖像清單中之一者中。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。該等像素差值形成區塊之殘餘資料，且可包括明度差分量與色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30用於解碼視訊切片之視訊區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自所測試之模式來選擇將使用之適當框內預測模式。舉例而言，框內預測處理單元46可使用針對各種所測試之框內預測模式之速率-失真分析來計算速率-失真值，且在所測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元速率(亦即，位元數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在任何狀況下，在選擇區塊之框內預測模式之後，框內預測處理單元46可將指示該區塊之選定框內預測模式的資訊提供至熵寫碼單元56。熵寫碼單元56可根據本發明之技術來編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦稱作碼字映射表)、各種區塊之編碼內容脈絡之定義，及用於內容脈絡中之每一者的最大機率框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。
在預測處理單元41經由框間預測抑或框內預測來產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊來形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似之變換的變換而將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。該量化程序可減小與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30或經封存以供視訊解碼器30稍後傳輸或 擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊切片的運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以在像素域中重建構殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將該殘餘區塊加至在參考圖像清單中之一者內的參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算子整數像素值以供用於運動估計。求和器62將經重建構之殘餘區塊加至由運動補償單元44產生之經運動補償之預測區塊，以產生參考區塊以供儲存於參考圖像記憶體64中。該參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊訊框或圖像中之區塊進行框間預測。
圖4為說明可實施本發明中所描述之技術之實例視訊解碼器30的方塊圖。在圖4之實例中，視訊解碼器30包括熵解碼單元80、預測處理單元81、反量化單元86、反變換單元88、求和器90及經解碼圖像緩衝器92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，視訊解碼器30可執行大體上與關於來自圖3之視訊編碼器20所描述之編碼遍次互逆的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊切片層級及/或視訊區塊層級處接收語法元素。
當視訊切片經寫碼為框內寫碼(I)切片時，預測處理單元81之框內預測處理單元84可基於用信號發送之框內預測模式及來自當前訊框 或圖像之先前經解碼區塊的資料而產生當前視訊切片之視訊區塊的預測資料。當視訊訊框經寫碼為框間寫碼(亦即，B、P或GPB)切片時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生當前視訊切片之視訊區塊的預測性區塊。該等預測性區塊可自參考圖像清單中之一者內之參考圖像中的一者產生。視訊解碼器30可基於儲存於經解碼圖像緩衝器92中之參考圖像使用預設建構技術來建構參考訊框清單(清單0及清單1)。
運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊切片之視訊區塊的預測資訊，且使用該預測資訊來產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收之語法元素中之一些來判定用以寫碼視訊切片之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、切片之參考圖像清單中之一或多者的建構資訊、切片之每一經框間編碼視訊區塊的運動向量、切片之每一經框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元82亦可基於內插濾波器來執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元82可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
反量化單元86反量化(亦即，解量化)提供於位元串流中且藉由熵解碼單元80解碼之經量化之變換係數。反量化程序可包括使用藉由視訊編碼器20針對視訊切片中之每一視訊區塊所計算之量化參數以判定量化之程度，且同樣地判定應加以應用之反量化的程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似之反變換 程序)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素來產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換處理單元88之殘餘區塊與藉由運動補償單元82所產生之對應預測性區塊求和來形成經解碼視訊區塊。求和器90表示執行此加法運算之一或多個組件。若需要，亦可應用解區塊濾波器以對經解碼區塊進行濾波，以便移除方塊效應假影。其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。給定訊框或圖像中之經解碼視訊區塊接著儲存於經解碼圖像緩衝器92中，該經解碼圖像緩衝器92儲存參考圖像以用於後續運動補償。經解碼圖像緩衝器92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1之顯示器件32)上。
圖5為說明根據本發明之一實例之實例視訊編碼方法的流程圖。可藉由視訊編碼器20之一或多個結構單元來實施圖5之技術。
如圖5中所展示，視訊編碼器20可經組態以進行以下操作：編碼視訊資料(500)；產生指示經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示(502)；及在經編碼視訊位元串流中用信號發送該指示(504)。
在本發明之一實例中，該指示包含旗標。旗標值等於0指示經編碼視訊資料中之所有圖像不含有訊框封裝立體3D視訊資料且經編碼視訊資料不包括訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且旗標值等於1指示在經編碼視訊資料中可存在含有訊框封裝立體3D視訊資料之一或多個圖像且經編碼視訊資料包括一或多個FPA SEI訊息。
在本發明之另一實例中，在視訊參數集(VPS)及序列參數集(SPS)中之至少一者中用信號發送該指示。在本發明之另一實例中，在視訊檔案格式資訊之樣本條目中用信號發送該指示。在本發明之另一實例 中，在樣本描述、會話描述協定(SDP)檔案及媒體呈現描述(MPD)中之一者中用信號發送該指示。
在本發明之另一實例中，該指示為RTP有效負載中之參數。在一實例中，該指示為進一步指示接收器實施之能力要求的參數。在另一實例中，在設定檔語法、層語法及層級語法中之至少一者中用信號發送該指示。
圖6為說明根據本發明之一實例之實例視訊解碼方法的流程圖。可藉由視訊解碼器30之一或多個結構單元來實施圖6之技術。
如圖6中所展示，視訊解碼器30可經組態以進行以下操作：接收視訊資料(600)；及接收指示所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的指示(602)。若視訊解碼器30不能夠解碼訊框封裝立體3D視訊資料(604)，則視訊解碼器30經進一步組態以拒絕該視訊資料(608)。若視訊解碼器30能夠解碼訊框封裝立體3D視訊資料，則視訊解碼器30經進一步組態以根據所接收之指示來解碼所接收之視訊資料(606)。亦即，若該指示指示視訊資料為訊框封裝立體3D視訊資料，則視訊解碼器30將使用訊框封裝技術(例如，上文參看圖2所論述之技術)來解碼視訊資料，且若該指示指示視訊資料並非訊框封裝立體3D視訊資料，則視訊解碼器30將使用其他視訊解碼技術來解碼視訊資料。其他視訊解碼技術可包括不包括訊框封裝立體3D視訊解碼技術之任何視訊解碼技術(包括HEVC視訊解碼技術)。在一些例子中，視訊解碼器30可拒絕指示為係訊框封裝立體3D視訊資料之視訊資料。
在本發明之一實例中，該指示包含旗標。旗標值等於0指示所接收之視訊資料中之所有圖像不含有訊框封裝立體3D視訊資料且所接收之視訊資料不包括訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且旗標值等於1指示在所接收之視訊資料中可存在含有訊框封裝立體3D 視訊資料之一或多個圖像且所接收之視訊資料包括一或多個FPA SEI訊息。
在本發明之另一實例中，在視訊參數集及序列參數集中之至少一者中接收該指示。在本發明之另一實例中，在視訊檔案格式資訊之樣本條目中接收該指示。在本發明之另一實例中，在樣本描述、會話描述協定(SDP)檔案及媒體呈現描述(MPD)中之一者中接收該指示。
在本發明之另一實例中，該指示為RTP有效負載中之參數。在一實例中，該指示為進一步指示接收器實施之能力要求的參數。在另一實例中，在設定檔語法、層語法及層級語法中之至少一者中接收該指示。
在一或多個實例中，可以硬體、軟體、韌體或其任何組合來實施所描述之功能。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體一般可對應於：(1)非暫時性的有形電腦可讀儲存媒體；或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞 線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則將同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如以下各者之一或多個處理器來執行指令：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。因此，如本文中所使用，術語「處理器」可指上述結構或適於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，可將該等技術完全實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但未必要求藉由不同硬體單元來實現。更確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由交互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合適合軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。

Claims (34)

  1. 一種用於解碼視訊資料之方法，該方法包含：接收視訊資料；接收指示該所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的一指示，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中接收；及根據該所接收之指示來解碼該所接收之視訊資料。
  2. 如請求項1之方法，其中該指示包含一旗標，且其中旗標值等於0指示該所接收之視訊資料中之所有圖像不含有訊框封裝立體3D視訊資料且該所接收之視訊資料不包括訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且其中該旗標值等於1指示在該所接收之視訊資料中可存在含有訊框封裝立體3D視訊資料之一或多個圖像且該所接收之視訊資料包括一或多個FPA SEI訊息。
  3. 如請求項1之方法，其中該指示指示在該所接收之視訊資料中可存在含有訊框封裝立體3D視訊資料之一或多個圖像且該所接收之視訊資料包括一或多個訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且其中解碼該所接收之視訊資料包含基於該所接收之指示而不解碼該視訊資料。
  4. 如請求項1之方法，其進一步包含在一視訊參數集及一序列參數集中之至少一者中接收該指示。
  5. 如請求項1之方法，其進一步包含在視訊檔案格式資訊之一樣本條目中接收該指示。
  6. 如請求項5之方法，其進一步包含在一樣本描述、一會話描述協定(SDP)檔案及一媒體呈現描述(MPD)中之一者中接收該指示。
  7. 如請求項1之方法，其中該指示為一RTP有效負載中之一參數。
  8. 如請求項7之方法，其中該指示為進一步指示一接收器實施之一能力要求的一參數。
  9. 一種用於編碼視訊資料之方法，該方法包含：編碼視訊資料；產生指示該經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的一指示，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中產生；及在一經編碼視訊位元串流中用信號發送該指示。
  10. 如請求項9之方法，其中該指示包含一旗標，且其中該旗標值等於0指示該經編碼視訊資料中之所有圖像不含有訊框封裝立體3D視訊資料且該經編碼視訊資料不包括訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且其中該旗標值等於1指示在該經編碼視訊資料中可存在含有訊框封裝立體3D視訊資料之一或多個圖像且該經編碼視訊資料包括一或多個FPA SEI訊息。
  11. 如請求項9之方法，其進一步包含在一視訊參數集及一序列參數集中之至少一者中用信號發送該指示。
  12. 如請求項9之方法，其進一步包含在視訊檔案格式資訊之一樣本條目中用信號發送該指示。
  13. 如請求項12之方法，其進一步包含在一樣本描述、一會話描述協定(SDP)檔案及一媒體呈現描述(MPD)中之一者中用信號發送該指示。
  14. 如請求項9之方法，其中該指示為一RTP有效負載中之一參數。
  15. 如請求項14之方法，其中該指示為進一步指示一接收器實施之一能力要求的一參數。
  16. 一種經組態以解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料；及 一視訊解碼器，其經組態以進行以下操作：接收該視訊資料；接收指示該所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的一指示，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中接收；及根據該所接收之指示來解碼該所接收之視訊資料。
  17. 如請求項16之裝置，其中該指示包含一旗標，且其中旗標值等於0指示該所接收之視訊資料中之所有圖像不含有訊框封裝立體3D視訊資料且該所接收之視訊資料不包括訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且其中該旗標值等於1指示在該所接收之視訊資料中可存在含有訊框封裝立體3D視訊資料之一或多個圖像且該所接收之視訊資料包括一或多個FPA SEI訊息。
  18. 如請求項16之裝置，其中該指示指示在該所接收之視訊資料中可存在含有訊框封裝立體3D視訊資料之一或多個圖像且該所接收之視訊資料包括一或多個訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且其中該視訊解碼器經進一步組態以基於該所接收之指示而不解碼該視訊資料。
  19. 如請求項16之裝置，其中該視訊解碼器經進一步組態以在一視訊參數集及一序列參數集中之至少一者中接收該指示。
  20. 如請求項16之裝置，其中該視訊解碼器經進一步組態以在視訊檔案格式資訊之一樣本條目中接收該指示。
  21. 如請求項20之裝置，其中該視訊解碼器經進一步組態以在一樣本描述、一會話描述協定(SDP)檔案及一媒體呈現描述(MPD)中之一者中接收該指示。
  22. 如請求項16之裝置，其中該指示為一RTP有效負載中之一參數。
  23. 如請求項22之裝置，其中該指示為進一步指示一接收器實施之 一能力要求的一參數。
  24. 一種經組態以編碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料；及一視訊編碼器，其經組態以進行以下操作：編碼該視訊資料；產生指示該經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的一指示，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中產生；及在一經編碼視訊位元串流中用信號發送該指示。
  25. 如請求項24之裝置，其中該指示包含一旗標，且其中該旗標值等於0指示該經編碼視訊資料中之所有圖像不含有訊框封裝立體3D視訊資料且該經編碼視訊資料不包括訊框封裝配置(FPA)補充增強資訊(SEI)訊息，且其中該旗標值等於1指示在該經編碼視訊資料中可存在含有訊框封裝立體3D視訊資料之一或多個圖像且該經編碼視訊資料包括一或多個FPA SEI訊息。
  26. 如請求項24之裝置，其中該視訊編碼器經進一步組態以在一視訊參數集及一序列參數集中之至少一者中用信號發送該指示。
  27. 如請求項24之裝置，其中該視訊編碼器經進一步組態以在視訊檔案格式資訊之一樣本條目中用信號發送該指示。
  28. 如請求項27之裝置，其中該視訊編碼器經進一步組態以在一樣本描述、一會話描述協定(SDP)檔案及一媒體呈現描述(MPD)中之一者中用信號發送該指示。
  29. 如請求項24之裝置，其中該指示為一RTP有效負載中之一參數。
  30. 如請求項29之裝置，其中該指示為進一步指示一接收器實施之一能力要求的一參數。
  31. 一種經組態以解碼視訊資料之裝置，該裝置包含： 用於接收視訊資料的構件；用於接收指示該所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料之一指示的構件，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中接收；及用於根據該所接收之指示來解碼該所接收之視訊資料的構件。
  32. 一種經組態以編碼視訊資料之裝置，該裝置包含：用於編碼視訊資料的構件；用於產生指示該經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料之一指示的構件，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中產生；及用於在一經編碼視訊位元串流中用信號發送該指示的構件。
  33. 一種儲存指令之電腦可讀儲存媒體，該等指令在執行時使經組態以解碼視訊資料之一器件的一或多個處理器執行以下操作：接收視訊資料；接收指示該所接收之視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的一指示，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中接收；及根據該所接收之指示來解碼該所接收之視訊資料。
  34. 一種儲存指令之電腦可讀儲存媒體，該等指令在執行時使經組態以編碼視訊資料之一器件的一或多個處理器執行以下操作：編碼視訊資料；產生指示該經編碼視訊資料中之任何圖像是否含有訊框封裝立體3D視訊資料的一指示，其中該指示係在一設定檔語法、一層語法或一層級語法中之至少一者中產生；及在一經編碼視訊位元串流中用信號發送該指示。
TW102134027A 2012-09-20 2013-09-18 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示 TWI520575B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261703662P 2012-09-20 2012-09-20
US201261706647P 2012-09-27 2012-09-27
US14/029,120 US20140078249A1 (en) 2012-09-20 2013-09-17 Indication of frame-packed stereoscopic 3d video data for video coding

Publications (2)

Publication Number Publication Date
TW201424340A TW201424340A (zh) 2014-06-16
TWI520575B true TWI520575B (zh) 2016-02-01

Family

ID=50274052

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102134025A TWI587708B (zh) 2012-09-20 2013-09-18 用於視訊寫碼之交錯視訊資料之指示
TW102134027A TWI520575B (zh) 2012-09-20 2013-09-18 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102134025A TWI587708B (zh) 2012-09-20 2013-09-18 用於視訊寫碼之交錯視訊資料之指示

Country Status (7)

Country Link
US (2) US20140079116A1 (zh)
EP (1) EP2898693A1 (zh)
JP (1) JP6407867B2 (zh)
CN (2) CN104641645B (zh)
AR (1) AR093235A1 (zh)
TW (2) TWI587708B (zh)
WO (2) WO2014047204A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US20140092992A1 (en) * 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
US20140092962A1 (en) * 2012-10-01 2014-04-03 Sony Corporation Inter field predictions with hevc
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
EP2947879B1 (en) * 2013-01-17 2018-11-07 Samsung Electronics Co., Ltd. Method for decoding video on basis of decoder setting
WO2015007242A1 (en) * 2013-07-19 2015-01-22 Mediatek Inc. Method and apparatus of camera parameter signaling in 3d video coding
EP2854405A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US20160021375A1 (en) * 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
EP3244615A4 (en) * 2015-01-09 2018-06-20 Sony Corporation Image processing device, image processing method, and program, and recording medium
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
EP3249912A4 (en) * 2015-01-23 2018-10-24 LG Electronics Inc. Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
CN112738530B (zh) * 2016-11-17 2024-02-23 英特尔公司 全景视频的建议视口指示
TWI655864B (zh) * 2016-11-22 2019-04-01 聯發科技股份有限公司 視訊編碼中用於運動向量符號預測的方法及裝置
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
US10999605B2 (en) * 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
WO2018131803A1 (ko) * 2017-01-10 2018-07-19 삼성전자 주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
KR102503342B1 (ko) 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
CN106921843B (zh) * 2017-01-18 2020-06-26 苏州科达科技股份有限公司 数据传输方法及装置
US10185878B2 (en) * 2017-02-28 2019-01-22 Microsoft Technology Licensing, Llc System and method for person counting in image data
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
CN110692249A (zh) * 2017-04-11 2020-01-14 Vid拓展公司 使用面部连续性的360度视频编码
TWI653181B (zh) * 2018-01-31 2019-03-11 光陽工業股份有限公司 Battery box opening structure of electric vehicle
TWI674980B (zh) * 2018-02-02 2019-10-21 光陽工業股份有限公司 電動車的電池盒開啟控制結構
EP3759920A1 (en) * 2018-03-21 2021-01-06 Huawei Technologies Co., Ltd. Signaling a constraint flag in a video bitstream
CN110022297B (zh) * 2019-03-01 2021-09-24 广东工业大学 一种高清视频直播系统
CN114080815A (zh) * 2019-06-13 2022-02-22 北京达佳互联信息技术有限公司 用于视频编解码的子块变换的方法和系统
WO2020263817A1 (en) * 2019-06-25 2020-12-30 Intel Corporation Sub-pictures and sub-picture sets with level derivation
US20220337858A1 (en) * 2021-04-18 2022-10-20 Lemon Inc. Constraints for Encapsulation And Adaptative Video Streaming
US11758108B2 (en) * 2021-06-18 2023-09-12 Qingdao Pico Technology Co., Ltd. Image transmission method, image display device, image processing device, image transmission system, and image transmission system with high-transmission efficiency
CN115052170B (zh) * 2022-04-26 2023-06-23 中国传媒大学 一种基于sei时码信息的云上导播方法及装置
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130448A (en) 1998-08-21 2000-10-10 Gentex Corporation Optical sensor package and method of making same
EP1035735A3 (en) * 1999-03-12 2007-09-05 Kabushiki Kaisha Toshiba Moving image coding and decoding apparatus optimised for the application of the Real Time Protocol (RTP)
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2006260611A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 情報記憶媒体、情報再生装置、情報再生方法、及びネットワーク通信システム
US20070139792A1 (en) 2005-12-21 2007-06-21 Michel Sayag Adjustable apodized lens aperture
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US7585122B2 (en) 2006-03-15 2009-09-08 Nokia Corporation Aperture construction for a mobile camera
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
ES2702704T3 (es) * 2006-10-16 2019-03-05 Nokia Technologies Oy Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples
AU2008206744B2 (en) * 2007-01-18 2011-09-22 Nokia Technologies Oy Carriage of SEI messages in RTP payload format
MX2009011217A (es) * 2007-04-18 2009-12-07 Thomson Licensing Sistemas de codificacion.
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8373919B2 (en) 2008-12-03 2013-02-12 Ppg Industries Ohio, Inc. Optical element having an apodized aperture
DK2491720T3 (en) * 2009-10-20 2018-06-06 Ericsson Telefon Ab L M PROVIDING SUPPLEMENTARY TREATMENT INFORMATION
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8885729B2 (en) * 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
JP2012199897A (ja) * 2011-03-04 2012-10-18 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Also Published As

Publication number Publication date
WO2014047202A2 (en) 2014-03-27
JP2015533055A (ja) 2015-11-16
WO2014047204A1 (en) 2014-03-27
TW201424340A (zh) 2014-06-16
CN104641645B (zh) 2019-05-31
TWI587708B (zh) 2017-06-11
EP2898693A1 (en) 2015-07-29
US20140079116A1 (en) 2014-03-20
CN104641652A (zh) 2015-05-20
WO2014047202A3 (en) 2014-05-15
AR093235A1 (es) 2015-05-27
US20140078249A1 (en) 2014-03-20
JP6407867B2 (ja) 2018-10-17
TW201417582A (zh) 2014-05-01
CN104641645A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
TWI520575B (zh) 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
JP6932144B2 (ja) Ｈｅｖｃおよびｌ−ｈｅｖｃファイルフォーマットでのタイルグルーピングおよびサンプルのマッピング
TWI556630B (zh) 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體
TWI633780B (zh) 高效率視訊寫碼擴展中之目標輸出層之選擇
JP6545722B2 (ja) パラメータセットにおいて異なる数のビデオ信号情報シンタックス構造を選択的にシグナリングするためのシステムおよび方法
TWI595772B (zh) 用於高效率視訊寫碼（ｈｅｖｃ）及延伸之視訊參數集
TWI495273B (zh) 於視訊寫碼中自清晰隨機存取圖像之全面隨機存取
JP6440735B2 (ja) マルチレイヤビデオコーデックのためのレベル定義
JP6585096B2 (ja) マルチレイヤビデオコーディング
TWI527460B (zh) 於視訊寫碼中發信用於操作點之層識別符
TWI489877B (zh) 基於乾淨隨機存取（ｃｒａ）圖像之串流適應
JP2017514363A (ja) マルチレイヤビデオコーデックのための特定のｈｅｖｃ ｓｅｉメッセージの使用
TW201509171A (zh) 對多層視訊寫碼之層間預測信令之最佳化
TW201444341A (zh) 用於視訊寫碼中之隨機存取之視訊緩衝操作
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
KR102138407B1 (ko) 색 공간 스케일러빌리티에 대한 3d 칼라 예측을 위한 비트 심도 값들의 시그널링
JP6442067B2 (ja) Ｈｅｖｃ拡張の搬送のための動作点のシグナリング
TW202312739A (zh) 綠色中繼資料訊號傳遞