TWI587708B - 用於視訊寫碼之交錯視訊資料之指示 - Google Patents

用於視訊寫碼之交錯視訊資料之指示 Download PDF

Info

Publication number
TWI587708B
TWI587708B TW102134025A TW102134025A TWI587708B TW I587708 B TWI587708 B TW I587708B TW 102134025 A TW102134025 A TW 102134025A TW 102134025 A TW102134025 A TW 102134025A TW I587708 B TWI587708 B TW I587708B
Authority
TW
Taiwan
Prior art keywords
indication
video
value
flag
frame
Prior art date
Application number
TW102134025A
Other languages
English (en)
Other versions
TW201417582A (zh
Inventor
王益魁
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201417582A publication Critical patent/TW201417582A/zh
Application granted granted Critical
Publication of TWI587708B publication Critical patent/TWI587708B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

用於視訊寫碼之交錯視訊資料之指示
本申請案主張2012年9月20日申請之美國臨時申請案第61/703,662號及2012年9月27日申請之美國臨時申請案第61/706,647號的權利，該兩個申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼而言，可 將視訊切片(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，該等視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)切片中的視訊區塊。圖像之框間寫碼(P或B)切片中之視訊區塊可使用相對於在同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於在其他參考圖像中之參考樣本的時間預測。可將圖像稱作圖框，且可將參考圖像稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述用於用信號發送及使用視訊資料係使用交錯而寫碼之指示的技術。
根據本發明之一實例，一種用於解碼視訊資料之方法包含：接收視訊資料；接收指示所接收之視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示；及根據所接收之第一指示來解碼所接收之視訊資料。
根據本發明之另一實例，一種用於編碼視訊資料之方法包含：編碼視訊資料；產生指示經編碼視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示；及在經編碼視訊位元串流中用信號發送該第一指示。
亦依據經組態以執行技術之裝置以及儲存使一或多個處理器執行技術之指令的電腦可讀儲存媒體來描述本發明之技術。
一或多個實例之細節闡述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件/儲存器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧經解碼圖像緩衝器
圖1為說明可利用本發明中所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2A至圖2C為展示針對不同色度子取樣格式之在頂場及底場中之取樣位置的概念圖。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖4為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖5為說明根據本發明之一實例之實例視訊編碼方法的流程圖。
圖6為說明根據本發明之一實例之實例視訊解碼方法的流程圖。
本發明描述用於用信號發送及使用視訊資料係使用交錯而寫碼之指示的技術。根據高效率視訊寫碼(HEVC)標準而寫碼之位元串流可含有以下類型之經寫碼圖像：
以圖框圖像而寫碼之循序圖框(循序掃描視訊)
以圖框圖像而寫碼之交錯場(交錯視訊)
以場圖像而寫碼之交錯場(交錯視訊)
自以場圖像而寫碼之循序圖框提取的場(交錯視訊)
此等圖像類型係經由視訊可用性資訊(VUI)參數集中之field_seq_flag及場指示補充增強資訊(SEI)訊息來指示。
然而，經由場指示SEI訊息及VUI參數集來支援解碼交錯視訊展現了若干缺陷。作為其中一個，可存在回溯相容性問題。亦即，一些解碼器並不辨識或並不經組態以解碼VUI及場指示SEI訊息，且因此將忽略交錯視訊之指示且如同視訊呈循序掃描格式來輸出經解碼圖像。因此，所得視訊品質可嚴重失真，從而產生拙劣使用者體驗。
作為另一缺陷，即使對於經組態以解碼及剖析VUI及場指示SEI訊息的解碼器，一些符合之解碼器仍可以某種方式實施以忽略所有SEI訊息或僅處置該等SEI訊息之子集，例如，對週期SEI訊息及圖像計時SEI訊息進行緩衝。此等解碼器將亦忽略位元串流中之場指示SEI訊息，且可發生同樣嚴重失真之視訊品質。
此外，許多視訊用戶端或播放器不實施解交錯或其他信號處理能力，以適當地處置不同於係以圖框圖像而寫碼之循序圖框的圖像的圖像類型。由於不需要由符合之解碼器來辨識或處理SEI訊息，所以具有不辨識場指示SEI訊息之符合HEVC之解碼器的用戶端或播放器將忽略此位元串流中之場指示SEI訊息，且如同位元串流僅含有係以圖框圖像而寫碼之循序圖框的圖像來解碼及輸出經解碼圖像。因此，所得視訊品質可為次最佳的。此外，即使對於具有確實辨識且能夠處理場指示SEI訊息之符合HEVC之解碼器的用戶端或播放器，仍必須檢驗所有存取單元以檢查場指示SEI訊息之缺乏，且在可得出所有圖像為以圖框圖像而寫碼之循序圖框的結論之前必須剖析及解譯所有存在之場指示SEI訊息。
鑒於此等缺陷且如下文將予以更詳細描述，本發明之各種實例提議以下各者：
1)用信號發送經寫碼視訊序列是否含有交錯場或自循序圖框提取之場的指示(例如，在設定檔、層及層級語法中之general_reserved_zero_16bits語法元素中)。
2)藉由將progressive_source_flag自SEI訊息移至VUI及藉由自SEI訊息移除field_pic_flag來簡化場SEI訊息語法，該field_pic_flag始終等於VUI中之field_seq_flag。
圖1為說明實例視訊編碼及解碼系統10之方塊圖，該視訊編碼及解碼系統10可利用本發明中所描述之技術。如圖1中所展示，系統10包括源器件12，該源器件12產生待由目的地器件14在稍後時間解碼之經編碼視訊資料。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者，該等器件包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板型電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件，或其類似者。在一些狀況下，可裝備源器件12及目的地器件14以用於無線通信。
目的地器件14可經由鏈路16來接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自源器件12移至目的地器件14之任何類型之媒體或器件。在一實例中，鏈路16可包含用以使得源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多根實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
或者，可將經編碼資料自輸出介面22輸出至儲存器件32。類似地，可由輸入介面自儲存器件32來存取經編碼資料。儲存器件32可包括多種分散式或本端存取之資料儲存媒體(諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用 於儲存經編碼視訊資料之任何其他合適之數位儲存媒體)中之任一者。在另一實例中，儲存器件32可對應於可保存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件32存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之組合。經編碼視訊資料自儲存器件32之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。可將該等技術應用於支援多種多媒體應用中之任一者之視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如以下各者之源：視訊俘獲器件(例如，視訊攝影機)、含有先前俘獲之視訊的視訊封存檔、用以自視訊內容提供者接收視訊之視訊饋入介面，及/或用於產生電腦圖形資料以作為源視訊之電腦圖形系統，或此等源之組合。作為一實例，若視訊源18為視訊攝影機，則源器件12及目的器件14可形 成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術可一般適用於視訊寫碼，且可應用於無線及/或有線應用。
可藉由視訊編碼器20來編碼經俘獲、經預先俘獲或經電腦產生之視訊。經編碼視訊資料可經由源器件12之輸出介面22而直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件32上以供稍後由目的地器件14或其他器件存取，以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16來接收經編碼視訊資料。經由鏈路16所傳達或提供於儲存器件32上之經編碼視訊資料可包括由視訊編碼器20產生以供視訊解碼器(諸如，視訊解碼器30)用於解碼視訊資料的多種語法元素。可將此等語法元素包括於在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料中。
顯示器件32可與目的地器件14整合或位於目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含諸如以下各者之多種顯示器件中之任一者：液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，目前由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)正在開發的高效率視訊寫碼(HEVC)標準)來操作。HEVC之一工作草案(WD)(且在下文中稱作HEVC WD8)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip獲得。
HEVC標準之新近草案(稱作「HEVC工作草案10」或「WD10」) 描述於Bross等人之題為「High efficiency video coding(HEVC)text specification draft 10(for FDIS & Last Call)」的文件JCTVC-L1003v34(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)在2013年1月14日至23日於瑞士日內瓦舉行之第12次會議，該文件自2013年7月26日起可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下載)中。
HEVC標準之另一草案在本文中被稱作「WD10修訂版」，其描述於Bross等人之題為「Editors' proposed corrections to HEVC version 1」(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)在2013年4月於韓國仁川舉行之第13次會議，該文件自2013年7月26日起可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip獲得)中。
視訊編碼器20及視訊解碼器30亦可經組態成以某種檔案格式來儲存視訊資料，或根據即時傳送協定(RTP)格式或經由多媒體服務來傳輸資料。
檔案格式標準包括：ISO基礎媒體檔案格式(ISOBMFF、ISO/IEC 14496-12)；及自ISOBMFF導出之其他檔案格式，包括MPEG-4檔案格式(ISO/IEC 14496-14)、3GPP檔案格式(3GPP TS 26.244)及進階視訊寫碼(AVC)檔案格式(ISO/IEC 14496-15)。當前，MPEG正開發對用於儲存HEVC視訊內容之AVC檔案格式的修正案。此AVC檔案格式修正案亦被稱作HEVC檔案格式。
RTP有效負載格式包括RFC 6184(「RTP Payload Format for H.264 Video」)中之H.264有效負載格式、RFC 6190(「RTP Payload Format for Scalable Video Coding」)中之可按比例調整視訊寫碼(SVC)有效負 載格式，及許多其他有效負載格式。當前，網際網路工程工作小組(IETF)正開發HEVC RTP有效負載格式。RFC 6184自2013年7月26日起可自http：//tools.ietf.org/html/rfc6184獲得，其全部內容以引用之方式併入本文中。RFC 6190自2013年7月26日起可自http：//tools.ietf.org/html/rfc6190獲得，其全部內容以引用之方式併入本文中。
3GPP多媒體服務包括經由HTTP之3GPP動態自適應性串流傳輸(3GP-DASH，3GPP TS 26.247)、封包交換串流傳輸(PSS，3GPP TS 26.234)、多媒體廣播及多播服務(MBMS，3GPP TS 26.346)及經由IMS之多媒體電話服務(MTSI，3GPP TS 26.114)。
雖然圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為諸如以下各者之多種合適編碼器電路中之任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器(CODEC))的部分。
JCT-VC已開發出HEVC標準。HEVC標準化努力係基於視訊寫碼 器件之演進模型，其被稱作HEVC測試模型(HM)。HM設想視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述：視訊圖框或圖像可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。樹型區塊具有與H.264標準之巨集區塊之目的類似的目的。切片包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖像分割成一或多個切片。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。舉例而言，樹型區塊(作為四分樹之根節點)可分裂成四個子代節點，且每一子代節點可又為親代節點且分裂成另外四個子代節點。最後未分裂之子代節點(作為四分樹之葉節點)包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數，且亦可定義寫碼節點之最小大小。
CU包括寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及變換單元(TU)。CU之大小一般對應於寫碼節點之大小，且形狀必須通常為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形。
HEVC標準允許根據TU之變換，該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小，但可能並非始終如此狀況。TU通常具有與PU相同之大小或小於 PU。在一些實例中，可使用稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可加以量化之變換係數。
一般而言，PU包括與預測程序有關之資料。舉例而言，當PU經框內模式編碼時，該PU可包括描述該PU之框內預測模式之資料。作為另一實例，當PU經框間模式編碼時，該PU可包括定義該PU之運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
一般而言，TU用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可根據PU自藉由寫碼節點所識別之視訊區塊來計算殘餘值。接著更新寫碼節點以參考殘餘值而非原始視訊區塊。該等殘餘值包含可使用變換及TU中所指定之其他變換資訊而變換為變換係數、量化及掃描以產生供熵寫碼之串列化變換係數的像素差值。可再次更新寫碼節點以參考此等串列化變換係數。本發明通常使用術語「視訊區塊」來指CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」來指包括一寫碼節點以及若干PU及TU的樹型區塊(亦即，LCU或CU)。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)一般包含一系列視訊圖像中之一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像之數目的語法資料。圖像之每一切片可包括描述該各別切片之編碼模式的切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可 具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向則分割成25%及75%。CU之對應於25%分割之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」係指在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊一般在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後，視訊編碼器20可計算應用有由CU之TU所指定之變換的殘餘資料。該殘餘資料可對應於未經編碼圖像之像素與對應於CU之預測值之間的像素差。視訊編碼器20可形成CU之殘餘資料，且接著變換該殘餘資料以產生變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化一般指將變換係數量化以可能減少用以表示該等係數之資料之量從而提供進一步壓縮的程序。該量化程序可減小與該 等係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義之掃描次序來掃描經量化之變換係數，以產生可經熵編碼之串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以供視訊解碼器30用於解碼視訊資料。
為執行CABAC，視訊編碼器20可將內容脈絡模型內之內容脈絡指派給待傳輸之符號。該內容脈絡可能係關於(例如)符號之相鄰值是否為非零。為執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(勝於(例如)針對待傳輸之每一符號使用等長碼字)。機率判定可基於指派給符號之內容脈絡而進行。
與循序掃描格式相對比，可以交錯格式顯示根據HEVC而寫碼之視訊。在其他實例中，可將循序格式與HEVC一起使用。交錯視訊係由視訊圖框之在兩個不同時間俘獲的兩個場組成。場係僅含有產生完整影像所需之行之一半的影像。顯示圖框中之每一奇數行(亦即，頂場)，且接著顯示圖框中之每一偶數行(亦即，底場)。循序掃描圖框係順序地顯示所俘獲視訊之每一行(與交錯視訊中之僅奇數行或偶數行相對比)的視訊圖框。
針對HEVC之先前提議包括用於指示視訊資料為交錯視訊之場指 示補充增強資訊(SEI訊息)的規格。然而，用於藉由SEI訊息來指示基於HEVC之交錯視訊的現有方法存在多個缺陷。HEVC位元串流可含有呈一或多種交錯格式之經寫碼圖像，該一或多種交錯格式包括交錯場圖像、以圖框圖像而寫碼之交織場或自循序圖框提取之場圖像。然而，一些視訊用戶端或播放器(例如，視訊解碼器)未必裝備有解交錯或其他信號處理能力以適當地解碼及/或顯示此等圖像。更確切而言，此等視訊用戶端或播放器可通常僅適當地解碼及顯示所有圖像為以圖框圖像而寫碼之循序圖框(亦即，循序掃描視訊)的位元串流。
由於不需要由符合HEVC之解碼器來辨識或處理SEI訊息，因此具有不辨識場指示SEI訊息之符合HEVC之解碼器的用戶端或播放器將忽略此等訊息，且如同位元串流僅含有係以圖框圖像而寫碼之循序圖框的圖像來解碼及輸出經解碼之交錯圖像。因此，所得視訊品質可為次最佳的。此外，即使對於具有確實辨識且能夠處理場指示SEI訊息之符合HEVC之解碼器的用戶端或播放器，仍必須檢驗所有存取單元以檢查場指示SEI訊息之存在，且在可得出所有圖像為以圖框圖像而寫碼之循序圖框的結論之前必須剖析及解譯所有存在之場指示SEI訊息。因而，偵測呈交錯格式之視訊係麻煩的且將複雜性添加至視訊解碼器。
其他缺陷係關於以檔案格式、RTP有效負載及多媒體服務指示交錯視訊資料之存在。作為一實例，針對HEVC檔案格式之提議缺乏用以指示基於HEVC之交錯視訊的機制。在HEVC檔案格式之當前設計及HEVC自身之當前設計的情況下，實施HEVC與HEVC檔案格式兩者但未裝備有對交錯視訊之恰當處置能力(例如，解交錯)的播放器(例如，解碼器及顯示器)可如同位元串流僅含有係以圖框圖像而寫碼之循序圖框(亦即，呈循序掃描格式)的圖像來播放交錯視訊。此情形可產生非常拙劣之視訊品質。
針對HEVC RTP有效負載格式之一所提議設計亦缺乏用以指示基於HEVC之交錯視訊的方式。在HEVC RTP有效負載格式之當前設計及HEVC自身之當前設計的情況下，實施HEVC與HEVC RTP有效負載格式兩者的RTP發送器及RTP接收器將不能夠關於基於HEVC之交錯視訊的使用而進行協商，且具有不同假定之兩方可發生通信。舉例而言，發送器可發送基於HEVC之交錯視訊，而接收器接受該交錯視訊且如同位元串流僅含有係以圖框圖像而寫碼之循序圖框的圖像來再現該交錯視訊。對於串流或多播應用(其中用戶端基於包括內容之描述的會話描述協定(SDP)來決定是接受內容抑或參加多播會話)，未裝備有對交錯視訊之恰當處置能力(例如，解交錯)的用戶端可錯誤地接受內容且如同位元串流僅含有係以圖框圖像而寫碼之循序圖框的圖像來播放交錯視訊。
鑒於此等缺陷，本發明呈現用於達成對視訊資料是否包括交錯視訊資料之指示之改良發信號的技術。為解決涉及場指示SEI訊息之第一缺陷，提供以下方法以使得解碼器(例如，視訊解碼器30)或用戶端(亦即，經組態以解碼視訊資料之任何器件或軟體)能夠判定位元串流是否僅含有係經寫碼為圖框圖像之循序圖框(亦即，呈循序掃描格式)的經寫碼圖像，而無需使解碼器能夠辨識場指示SEI訊息及/或無需使解碼器處理位元串流中之所有場指示SEI訊息以判定此條件。
出於此目的，本發明提議在經編碼視訊位元串流中用信號發送指示，例如，語法元素或旗標(general_progressive_frames_only_flag)。作為一實例，general_progressive_frames_only_flag等於1指示所有圖像係以圖框圖像而寫碼之循序圖框。general_progressive_frames_only_flag等於1亦指示不存在場指示SEI訊息。亦即，由於所有圖像呈循序掃描格式，因此場指示SEI訊息係不必要的，此係因為無視訊呈任何類型之SEI格式。 general_progressive_frames_only_flag等於1等效於語法元素field_pic_seq等於0及語法元素progressive_source_flag等於1。語法元素field_pic_seq指示視訊資料中之任一者是否以場而寫碼(亦即，交錯視訊，諸如以場圖像而寫碼之交錯場或自以場圖像而寫碼之循序圖框提取的場)。語法元素progressive_source_flag指示視訊資料中之任一者是否最初以循序掃描格式而寫碼。general_progressive_frames_only_flag等於0指示掃描類型可為交錯型而非循序型，或一些經寫碼圖像可為經寫碼場圖像而非經寫碼圖框圖像。或者，可交換旗標之值0及1的語義。應注意，general_progressive_frames_only_flag指示未必限於兩位元旗標，而是亦可實施為多位元語法元素。
可將general_progressive_frames_only_flag包括於經編碼視訊位元串流中視訊參數集(VPS)、序列參數集(SPS)或兩者中。VPS及SPS為應用於零個或零個以上完整經寫碼視訊序列之參數集。因而，包括於VPS或SPS中之general_progressive_frames_only_flag將分別應用於與VPS或SPS相關聯之所有經寫碼視訊序列。經寫碼視訊序列為存取單元序列。通常，VPS將比SPS應用於更多經寫碼視訊序列。
可直接將VPS及/或SPS中所包括之設定檔及層級資訊(包括層資訊)包括於較高系統層級中，例如，在基於ISO之媒體檔案格式檔案中之HEVC磁軌的樣本描述中、在會話描述協定(SDP)檔案中，或在媒體呈現描述(MPD)中。基於設定檔及層級資訊，用戶端(例如，視訊串流用戶端或視訊電話用戶端)可決定接受或選擇待取用之內容或格式。因而，在一實例中，可(例如)藉由使用如HEVC WD8中所指定之保留欄位(例如，general_reserved_zero_16bits欄位及/或sub_layer_reserved_zero_16bits欄位[i])中之一位元以表示上文所提及之交錯旗標來包括general_progressive_frames_only_flag作為設定檔 及層級資訊之部分。在判定視訊掃描類型可為交錯型而非循序型或一些經寫碼圖像可為經寫碼場圖像而非經寫碼圖框圖像之後，解碼器即可拒絕此視訊以避免不良使用者體驗。
設定檔及層級指定關於位元串流之限制且因此指定關於解碼位元串流所需之能力的限制。設定檔及層級亦可用以指示個別解碼器實施之間的交互操作性點。每一設定檔指定應由遵照彼設定檔之所有解碼器支援的演算法特徵及限制之子集。每一層級指定關於可由視訊壓縮標準之語法元素採取之值的限制之集合。層級定義之同一集合供所有設定檔使用，但個別實施可針對每一所支援之設定檔而支援不同層級。對於任何給定設定檔，層級一般對應於解碼器處理負載及記憶體能力。
與場指示SEI訊息相對比，需要HEVC相容性解碼器能夠解譯VPS及SPS中之語法元素。因而，將剖析及解碼包括於VPS或SPS中之任何交錯旗標。此外，由於VPS或SPS應用於一個以上存取單元，因此並非每一存取單元均必須檢查以查找交錯視訊之指示，正如場指示SEI訊息之狀況一樣。
提議改變設定檔之語法及語義、層及層級語法及語義，如在下表1中以粗體展示。
如上文所解釋，語法元素general_progressive_frames_only_flag等於1指示：在經寫碼視訊序列中，所有圖像為以圖框圖像而寫碼之循序圖框且不存在場指示SEI訊息。語法元素general_progressive_frames_only_flag等於0指示：在經寫碼視訊序列中，可存在場指示SEI訊息且可存在含有交錯場之圖框圖像、含有交錯場之場圖像及含有自循序圖框提取之場的場圖像。經寫碼圖像為交錯圖框、交錯場或循序場。
在遵照此規格之位元串流中，語法元素general_reserved_zero_14bits應等於0。保留general_reserved_zero_14bits之其他值以供ITU-T|ISO/IEC在未來使用。解碼器應忽略general_reserved_zero_14bits之值。
語法元素sub_layer_profile_space[i]、sub_layer_tier_flag[i]、sub_layer_profile_idc[i]、sub_layer_profile_compatibility_flag[i][j]、sub_layer_progressive_frames_only_flag[i]、sub_layer_reserved_zero_14bits[i]及sub_layer_level_idc[i]分別具有與general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[j]、general_progressive_frames_only_flag、 general_reserved_zero_14bits及general_level_idc相同之語義，但應用於TemporalId等於i之子層之表示。當不存在時，推斷sub_layer_tier_flag[i]之值等於0。
對於能夠處置交錯視訊之視訊解碼器，本發明亦提議更改視訊可用性資訊(VUI)及場指示SEI訊息之語法及語義，如表2中所展示。在解碼程序中不需要VUI參數來建構明度或色度樣本，但VUI參數可用以指定視訊資料之其他特性，包括掃描類型(例如，循序型或交錯型)及是否使用場圖像或圖框圖像。以粗體展示根據本發明之技術的更改之語法。
下文未提及之其他VUI語法元素的語義可與HEVC WD8中之情況相同。
語法元素field_seq_flag等於1指示：經寫碼視訊序列輸送表示場之圖像，且指定場指示SEI訊息應存在於當前經寫碼視訊序列之每一存取單元中，例如，其中存取單元可一般指按解碼器次序為連續的且含有經寫碼圖像之網路提取層(NAL)單元之集合。語法元素field_seq_flag等於0指示：經寫碼視訊序列輸送表示圖框之圖像，且場指示SEI訊息可存在於或可不存在於當前經寫碼視訊序列之任何存取單元中。當field_seq_flag不存在時，推斷其等於0。
應注意，所指定之解碼程序並不以不同方式來處理輸送表示場或圖框之圖像的存取單元。表示場之圖像序列將因此經寫碼有個別場之圖像尺寸。舉例而言，含有表示1080i場之圖像的存取單元將通常具有1920×540之裁剪輸出尺寸，而序列圖像速率將通常表達源場之速率(通常在50Hz與60Hz之間)而非源圖框速率(通常在25Hz與30Hz之間)。
語法元素progressive_source_flag等於1指示：應將在經寫碼視訊序列中輸送之所有圖像的掃描類型解譯為循序型。語法元素 progressive_source_flag等於0指示：應將在經寫碼視訊序列中所輸送之所有圖像的掃描類型解譯為交錯型。當不存在時，應推斷progressive_source_flag之值等於1。
表3中定義field_seq_flag及progressive_source_flag值之組合的解譯。
場指示SEI訊息(表4中所展示之語法)僅應用於當前存取單元。當SEI網路提取層(NAL)單元含有場指示SEI訊息且具有等於0之nuh_reserved_zero_6bits時，SEI NAL單元按解碼次序應先於存取單元中之第一視訊寫碼(VCL)NAL單元。
如下指定位元串流中之場指示SEI訊息之存在。
- 若field_seq_flag等於1，則一場指示SEI訊息應存在於當前經寫碼視訊序列之每一存取單元中。
- 否則，若progressive_source_flag等於1，則無場指示SEI訊息應 存在於當前經寫碼視訊序列中。
- 否則，若progressive_source_flag等於0，則一場指示SEI訊息可存在於當前經寫碼視訊序列之任何存取單元中。
圖2A、圖2B及圖2C中展示針對4：2：0、4：2：2及4：4：4色度取樣格式之在頂場及底場中之樣本的標稱垂直取樣位置及水平取樣位置。
語法元素duplicate_flag等於1指示：當前圖像經指示為按輸出次序之先前圖像的複本。語法元素duplicate_flag等於0指示：當前圖像未指示為複製圖像。
應注意，duplicate_flag應用以標記已知源自諸如3：2下拉或其他複製及內插方法之重複程序的經寫碼圖像。將通常在以「傳送穿過」方式來編碼視訊饋入物時使用duplicate_flag，其中藉由將duplicate_flag設定為等於1來標記已知複製圖像。
當field_seq_flag等於1且duplicate_flag等於1時，假定存取單元含有按輸出次序的具有與當前場相同之同位元的先前場之複製場。
語法元素bottom_field_flag指示當field_seq_flag等於1時存取單元內所含有之場的同位元。語法元素bottom_field_flag等於1指示底場同位元。語法元素bottom_field_flag等於0指示頂場同位元。
語法元素top_field_first_flag指示當場已交織以在經寫碼圖框序列中形成圖框時出於顯示目的之較佳場輸出次序。若top_field_first_flag等於1，則頂場經指示為在時間上第一，其後接著為底場。否則(top_field_first_flag等於0)，底場經指示為在時間上第一，其後接著為頂場。
語法元素reserved_zero_1bit應等於0。保留reserved_zero_1bit之值1以供ITU-T|ISO/IEC在未來回溯相容使用。解碼器應忽略reserved_zero_1bit之值。
語法元素reserved_zero_6bits應等於0。保留reserved_zero_6bits之 其他值以供ITU-T|ISO/IEC在未來回溯相容使用。解碼器應忽略reserved_zero_6bits之值。
以下章節描述用於以HEVC檔案格式來指示交錯視訊之技術。作為一實例，可直接將指示包括於在ISO基礎媒體檔案格式檔案中之HEVC磁軌的每一樣本條目中。舉例而言，可將HEVCDecoderConfigurationRecord中之旗標指定為(例如)所命名之progressive_frames_only_flag。此旗標等於1指示：應用有含有HEVC解碼器組態記錄之樣本條目的所有圖像為以圖框圖像而寫碼之循序圖框(亦即，掃描類型為循序型，且每一經寫碼圖像為經寫碼圖框)。此旗標等於0指示應用有該樣本條目之圖像的掃描類型可為交錯型而非循序型，或指示經寫碼圖像中之一些可為經寫碼場圖像而非經寫碼圖框圖像。作為另一實例，可在ISO基礎媒體檔案格式中(例如，在VisualSampleEntry中)指定類似發信號，使得其一般應用於視訊編解碼器。
此章節描述用於在RTP有效負載中指示交錯視訊之技術。RTP(即時傳送協定)為定義用於經由網路(例如，網際網路協定網路)來傳輸音訊及/或視訊之標準化封包格式的協定。RTP有效負載為正使用RTP封包傳輸之資料，且其可包括呈特定格式(例如，HEVC視訊有效負載、H.264視訊有效負載、MP3音訊有效負載等)之音訊及/或視訊。
作為本發明之一實例，可如下指定可選之有效負載格式參數，例如，所命名之progressive-frames-only(僅循序圖框)。該progressive-frames-only參數用信號發送串流之屬性或接收器實施之能力。該值可等於0抑或1。當該參數不存在時，可推斷該值等於1。
當將該參數用來指示串流之屬性時，以下內容適用。值1指示：在串流中，經寫碼圖像全為以圖框圖像而寫碼之循序圖框(亦即，掃描類型為循序型且每一經寫碼圖像為經寫碼圖框，且在串流中不存在 場指示SEI訊息)。值0指示：掃描類型可為交錯型而非循序型，或經寫碼圖像中之一些可為經寫碼場圖像。在此狀況下，可存在場指示SEI訊息，該場指示SEI訊息存在於串流中。當然，可保留值0及1之語義。
當將該參數用於能力交換或會話設置時，以下內容適用。值1指示：對於接收與發送兩者，實體僅支援掃描類型為循序型的串流，每一經寫碼圖像為經寫碼圖框且不存在場指示SEI訊息。值0指示：對於接收與發送兩者，實體支援掃描類型可為循序型或交錯型的串流，經寫碼圖像可為圖框圖像抑或場圖像且可存在場指示SEI訊息。
當存在時，可選參數progressive-frames-only可包括於SDP檔案之「a=fmtp」行中。以progressive-frames-only=1或progressive-frames-only=0之形式而將該參數表達為媒體類型字串。
當使用提議/應答模型中之SDP進行協商來經由RTP而提供HEVC串流時，progressive-frames-only參數為識別HEVC之媒體格式組態之參數中的一者，且可對稱地使用。亦即，應答者可使該參數維持有提議中之值抑或完全移除媒體格式(有效負載類型)。
當以聲明樣式藉由SDP來提議經由RTP之HEVC(如在即時串流協定(RTSP)或會話通知協定(SAP)中)時，progressive-frames-only參數用以僅指示串流屬性而不指示接收串流之能力。在另一實例中，可一般(而非特定於HEVC)在SDP中指定類似發信號，使得其一般應用於視訊編解碼器。
以下為在設定檔、層及層級語法中指示交錯視訊資料之另一實例。提議如下用信號發送設定檔、層及層級之語法及語義。
語法元素general_progressive_frames_only_flag等於1指示：在經寫碼視訊序列中，所有圖像為以圖框圖像而寫碼之循序圖框且不存在場指示SEI訊息。語法元素general_progressive_frames_only_flag等於0指示：在經寫碼視訊序列中，可存在場指示SEI訊息且可存在含有交錯場之圖框圖像、含有交錯場之場圖像及含有自循序圖框提取之場的場圖像。
在遵照此規格之位元串流中，語法元素general_reserved_zero_14bits應等於0。保留general_reserved_zero_14bits之其他值以供ITU-T|ISO/IEC在未來使用。解碼器應忽略general_reserved_zero_14bits之值。
語法元素sub_layer_profile_space[i]、sub_layer_tier_flag[i]、sub_layer_profile_idc[i]、sub_layer_profile_compatibility_flag[i][j]、sub_layer_progressive_frames_only_flag[i]、 sub_layer_non_packed_only_flag[i]、sub_layer_reserved_zero_14bits[i]及sub_layer_level_idc[i]分別具有與general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[j]、general_progressive_frames_only_flag、general_non_packed_only_flag、general_reserved_zero_14bits及general_level_idc相同之語義，但應用於TemporalId等於i之子層之表示。當不存在時，推斷sub_layer_tier_flag[i]之值等於0。
總之，在一些實例中，本發明提議以下各者：
1)用信號發送經寫碼視訊序列是否含有交錯場或自循序圖框提取之場的指示(例如，在設定檔、層及層級語法中之general_reserved_zero_16bits語法元素中)。
2)藉由將progressive_source_flag自SEI訊息移至VUI及藉由自SEI訊息移除field_pic_flag來簡化場SEI訊息語法，該field_pic_flag始終等於VUI中之field_seq_flag。
圖3為說明可實施本發明中所描述之技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊切片內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干基於時間之壓縮模式中之任一者。
在圖3之實例中，視訊編碼器20包括分割單元35、預測處理單元41、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。為達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊 濾波器(圖3中未展示)以對區塊邊界進行濾波，從而自重建構之視訊移除方塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除解區塊濾波器之外，亦可使用額外迴路濾波器(迴路內或迴路後)。
如圖3中所展示，視訊編碼器20接收視訊資料，且分割單元35將資料分割成視訊區塊。此分割亦可包括分割成切片、影像塊或其他較大單元，以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20一般說明編碼在待編碼之視訊切片內之視訊區塊的組件。可將切片劃分成多個視訊區塊(及可能劃分成被稱作影像塊之視訊區塊集合)。預測處理單元41可基於錯誤結果(例如，寫碼速率及失真程度)針對當前視訊區塊來選擇複數個可能寫碼模式中之一者，諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者。預測處理單元41可將所得經框內寫碼或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，且提供至求和器62以重建構供用作參考圖像之經編碼區塊。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊相同之圖框或切片中之一或多個相鄰區塊的框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣來判定視訊切片之框間預測模式。預定型樣可將序列中之視訊切片指定為P切片、B切片或GPB切片。運動估計單元42及運動補償單元44可高度整合，但為概念目的而單獨加以說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對 於參考圖像內之預測性區塊的移位。
預測性區塊為被發現在像素差方面緊密匹配待寫碼之視訊區塊之PU的區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋，且以分數像素精度輸出運動向量。
運動估計單元42藉由比較框間寫碼切片中之視訊區塊之PU的位置與參考圖像之預測性區塊之位置來計算該PU之運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該清單0或該清單1中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將計算出之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於藉由運動估計所判定之運動向量來提取或產生預測性區塊，從而可能執行至子像素精度之內插。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44即可將運動向量所指向之預測性區塊定位於參考圖像清單中之一者中。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。該等像素差值形成區塊之殘餘資料，且可包括明度差分量與色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30用於解碼視訊切片之視訊區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預 測。詳言之，框內預測處理單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自所測試之模式來選擇將使用之適當框內預測模式。舉例而言，框內預測處理單元46可使用針對各種所測試之框內預測模式之速率-失真分析來計算速率-失真值，且在所測試之模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元速率(亦即，位元數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在任何狀況下，在選擇區塊之框內預測模式之後，框內預測處理單元46可將指示該區塊之選定框內預測模式的資訊提供至熵寫碼單元56。熵寫碼單元56可根據本發明之技術來編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦稱作碼字映射表)、各種區塊之編碼內容脈絡之定義，及用於內容脈絡中之每一者的最大機率框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。
在預測處理單元41經由框間預測抑或框內預測來產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊來形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似之變換的變換而將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至 變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。該量化程序可減小與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30或經封存以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊切片的運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以在像素域中重建構殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將該殘餘區塊加至在參考圖像清單中之一者內的參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算子整數像素值以供用於運動估計。求和器62將經重建構之殘餘區塊加至由運動補償單元44產生之經運動補償之預測區塊，以產生參考區塊以供儲存於參考圖像記憶體64中。該參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。
圖4為說明可實施本發明中所描述之技術之實例視訊解碼器30的方塊圖。在圖4之實例中，視訊解碼器30包括熵解碼單元80、預測處 理單元81、反量化單元86、反變換單元88、求和器90及經解碼圖像緩衝器92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，視訊解碼器30可執行大體上與關於來自圖3之視訊編碼器20所描述之編碼遍次互逆的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊切片層級及/或視訊區塊層級處接收語法元素。
當視訊切片經寫碼為框內寫碼(I)切片時，預測處理單元81之框內預測處理單元84可基於用信號發送之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊切片之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(亦即，B、P或GPB)切片時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生當前視訊切片之視訊區塊的預測性區塊。該等預測性區塊可自參考圖像清單中之一者內之參考圖像中的一者產生。視訊解碼器30可基於儲存於經解碼圖像緩衝器92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊切片之視訊區塊的預測資訊，且使用該預測資訊來產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收之語法元素中之一些來判定用以寫碼視訊切片之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、切片之參考圖像清單中之一或多者的建構資訊、切片之每一經框間編碼視訊區塊的運動向量、切片之每一經框間寫碼 視訊區塊的框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元82亦可基於內插濾波器來執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元82可自所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
反量化單元86反量化(亦即，解量化)提供於位元串流中且藉由熵解碼單元80解碼之經量化之變換係數。反量化程序可包括使用藉由視訊編碼器20針對視訊切片中之每一視訊區塊所計算之量化參數以判定量化之程度，且同樣地判定應加以應用之反量化的程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素來產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換處理單元88之殘餘區塊與藉由運動補償單元82所產生之對應預測性區塊求和來形成經解碼視訊區塊。求和器90表示執行此加法運算之一或多個組件。若需要，亦可應用解區塊濾波器以對經解碼區塊進行濾波，以便移除方塊效應假影。其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。給定圖框或圖像中之經解碼視訊區塊接著儲存於經解碼圖像緩衝器92中，該經解碼圖像緩衝器92儲存參考圖像以用於後續運動補償。經解碼圖像緩衝器92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1之顯示器件32)上。
圖5為說明根據本發明之一實例之實例視訊編碼方法的流程圖。可藉由視訊編碼器20之一或多個結構單元來實施圖5之技術。
如圖5中所展示，視訊編碼器20可經組態以進行以下操作：編碼視訊資料(500)；產生指示經編碼視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的第一指示(502)；及在經編碼視訊位元串流中用信號發送該第一指示(504)。
在本發明之一實例中，第一指示包含旗標。旗標值等於0指示經編碼視訊資料中之所有圖像係經寫碼為圖框圖像之循序圖框，且旗標值等於1指示在經編碼視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像。
在本發明之一實例中，在視訊參數集(VPS)及序列參數集(SPS)中之至少一者中用信號發送第一指示。在本發明之另一實例中，在視訊檔案之樣本條目中(例如，在檔案格式資訊中)用信號發送第一指示。在本發明之另一實例中，在HEVCDecoderConfigurationRecord樣本條目及VisualSampleEntry樣本條目中之一者中用信號發送第一指示。在本發明之另一實例中，第一指示為RTP有效負載中之參數。在本發明之另一實例中，在設定檔語法、層語法及層級語法中之至少一者中用信號發送第一指示。
在本發明之另一實例中，視訊編碼器20可經進一步組態以進行以下操作：產生指示經編碼視訊資料是否經寫碼為場圖像之第二指示；及產生指示經編碼視訊資料之源是呈循序掃描抑或交錯格式的第三指示。第二指示具有值0且第三指示具有值1指示：經編碼視訊資料包含以圖框圖像而寫碼之循序圖框。第二指示具有值0且第三指示具有值0指示：經編碼視訊資料包含以圖框圖像而寫碼之交織場。第二指示具有值1且第三指示具有值0指示：經編碼視訊資料包含以場圖像而寫碼之交錯場。第二指示具有值1且第三指示具有值1指示：經編碼視訊資料包含自以場圖像而寫碼之循序圖框提取之場。
在本發明之另一實例中，第二指示為field_seq_flag且第三指示為 progressive_source_flag，且其中field_seq_flag及progressive_source_flag係寫碼於視訊可用性資訊(VUI)參數集中。
圖6為說明根據本發明之一實例之實例視訊解碼方法的流程圖。可藉由視訊解碼器30之一或多個結構單元來實施圖6之技術。
如圖6中所示，視訊解碼器30可經組態以進行以下操作：接收視訊資料(600)；及接收指示所接收之視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的第一指示(602)。若視訊解碼器30不能夠解碼循序圖框(604)，則視訊解碼器可拒絕視訊資料(608)。若視訊解碼器30能夠解碼循序圖框，則視訊解碼器30經進一步組態以根據所接收之第一指示來解碼所接收之視訊資料(606)。
在本發明之一實例中，第一指示包含旗標，且旗標值等於0指示所接收之視訊資料中之所有圖像係經寫碼為圖框圖像之循序圖框，且旗標值等於1指示在所接收之視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像。
在本發明之一實例中，在視訊參數集(VPS)及序列參數集(SPS)中之至少一者中接收第一指示。在本發明之另一實例中，在視訊檔案格式之樣本條目中接收第一指示。在本發明之另一實例中，在HEVCDecoderConfigurationRecord樣本條目及VisualSampleEntry樣本條目中之一者中接收第一指示。在本發明之另一實例中，第一指示為RTP有效負載中之參數。在本發明之另一實例中，在設定檔語法、層語法及層級語法中之至少一者中接收第一指示。
在本發明之另一實例中，視訊解碼器30可經進一步組態以進行以下操作：解碼指示所接收之視訊資料是否經寫碼為場圖像之第二指示；及解碼一指示所接收之視訊資料之源是呈循序掃描抑或交錯格式的第三指示。第二指示具有值0且第三指示具有值1指示所接收之視訊資料包含以圖框圖像而寫碼之循序圖框。第二指示具有值0且第三指 示具有值0指示所接收之視訊資料包含以圖框圖像而寫碼之交織場。第二指示具有值1且第三指示具有值0指示所接收之視訊資料包含以場圖像而寫碼之交錯場。第二指示具有值1且第三指示具有值1指示所接收之視訊資料包含自以場圖像而寫碼之循序圖框提取之場。
在本發明之另一實例中，第二指示為field_seq_flag且第三指示為progressive_source_flag，且field_seq_flag及progressive_source_flag係寫碼於視訊可用性資訊(VUI)參數集中。
在一或多個實例中，可以硬體、軟體、韌體或其任何組合來實施所描述之功能。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體一般可對應於：(1)非暫時性的有形電腦可讀儲存媒體；或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則將同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體 之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如以下各者之一或多個處理器來執行指令：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。因此，如本文中所使用，術語「處理器」可指上述結構或適於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，可將該等技術完全實施於一或多個電路或邏輯元件中。
可將本發明之技術實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但未必要求藉由不同硬體單元來實現。更確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由交互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合適合軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。

Claims (38)

  1. 一種用於解碼視訊資料之方法，該方法包含：接收視訊資料；接收指示該所接收之視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示，其中在一設定檔語法、一層語法及一層級語法中之至少一者中接收該第一指示；及根據該所接收之第一指示來解碼該所接收之視訊資料。
  2. 如請求項1之方法，其中該第一指示包含一旗標，且其中旗標值等於0指示該所接收之視訊資料中之所有圖像係經寫碼為圖框圖像之循序圖框，且其中該旗標值等於1指示在該所接收之視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像。
  3. 如請求項1之方法，其中該第一指示指示在該所接收之視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像，且其中解碼該所接收之視訊資料包含拒絕該視訊資料。
  4. 如請求項1之方法，其進一步包含在一視訊參數集及一序列參數集中之至少一者中接收該第一指示。
  5. 如請求項1之方法，其進一步包含在視訊檔案格式資訊之一樣本條目中接收該第一指示。
  6. 如請求項5之方法，其進一步包含在一HEVCDecoderConfigurationRecord樣本條目及一VisualSampleEntry樣本條目中之一者中接收該第一指示。
  7. 如請求項1之方法，其中該第一指示為一即時傳送協定(RTP)有效負載中之一參數。
  8. 如請求項1之方法，其中根據該所接收之第一指示來解碼該所接 收之視訊資料包含：解碼指示該所接收之視訊資料是否經寫碼為一場圖像的一第二指示；解碼指示該所接收之視訊資料之源是呈循序掃描抑或交錯格式的一第三指示，其中該第二指示具有一值0且該第三指示具有一值1指示該所接收之視訊資料包含以圖框圖像而寫碼之循序圖框，其中該第二指示具有一值0且該第三指示具有一值0指示該所接收之視訊資料包含以圖框圖像而寫碼之交織場，其中該第二指示具有一值1且該第三指示具有一值0指示該所接收之視訊資料包含以場圖像而寫碼之交錯場，且其中該第二指示具有一值1且該第三指示具有一值1指示該所接收之視訊資料包含自以場圖像而寫碼之一循序圖框提取的場。
  9. 如請求項8之方法，其中該第二指示為一field_seq_flag且該第三指示為一progressive_source_flag，且其中該field_seq_flag及該progressive_source_flag係寫碼於一視訊可用性資訊(VUI)參數集中。
  10. 一種用於編碼視訊資料之方法，該方法包含：編碼視訊資料；產生指示該經編碼視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示，其中在一設定檔語法、一層語法及一層級語法中之至少一者中產生該第一指示；及在一經編碼視訊位元串流中用信號發送該第一指示。
  11. 如請求項10之方法，其中該第一指示包含一旗標，且其中旗標值等於0指示該經編碼視訊資料中之所有圖像係經寫碼為圖框圖 像之循序圖框，且其中該旗標值等於1指示在該經編碼視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像。
  12. 如請求項10之方法，其進一步包含在一視訊參數集及一序列參數集中之至少一者中用信號發送該第一指示。
  13. 如請求項10之方法，其進一步包含在視訊檔案格式資訊之一樣本條目中用信號發送該第一指示。
  14. 如請求項13之方法，其進一步包含在一HEVCDecoderConfigurationRecord樣本條目及一VisualSampleEntry樣本條目中之一者中用信號發送該第一指示。
  15. 如請求項10之方法，其中該第一指示為一即時傳送協定(RTP)有效負載中之一參數。
  16. 如請求項10之方法，其進一步包含：產生指示該經編碼視訊資料是否經寫碼為一場圖像的一第二指示；產生指示該經編碼視訊資料之源是呈循序掃描抑或交錯格式的一第三指示，其中該第二指示具有一值0且該第三指示具有一值1指示該經編碼視訊資料包含以圖框圖像而寫碼之循序圖框，其中該第二指示具有一值0且該第三指示具有一值0指示該經編碼視訊資料包含以圖框圖像而寫碼之交織場，其中該第二指示具有一值1且該第三指示具有一值0指示該經編碼視訊資料包含以場圖像而寫碼之交錯場，且其中該第二指示具有一值1且該第三指示具有一值1指示該經編碼視訊資料包含自以場圖像而寫碼之一循序圖框提取的場。
  17. 如請求項16之方法，其中該第二指示為一field_seq_flag且該第三 指示為一progressive_source_flag，且其中該field_seq_flag及該progressive_source_flag係寫碼於一視訊可用性資訊(VUI)參數集中。
  18. 一種經組態以解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及一視訊解碼器，其經組態以進行以下操作：接收該視訊資料；接收指示該所接收之視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示，其中在一設定檔語法、一層語法及一層級語法中之至少一者中接收該第一指示；及根據該所接收之第一指示來解碼該所接收之視訊資料。
  19. 如請求項18之裝置，其中該第一指示包含一旗標，且其中旗標值等於0指示該所接收之視訊資料中之所有圖像係經寫碼為圖框圖像之循序圖框，且其中該旗標值等於1指示在該所接收之視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像。
  20. 如請求項18之裝置，其中該第一指示指示在該所接收之視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像，且其中解碼該所接收之視訊資料包含拒絕該視訊資料。
  21. 如請求項18之裝置，其中該視訊解碼器經進一步組態以在一視訊參數集及一序列參數集中之至少一者中接收該第一指示。
  22. 如請求項18之裝置，其中該視訊解碼器經進一步組態以在視訊檔案格式資訊之一樣本條目中接收該第一指示。
  23. 如請求項22之裝置，其中該視訊解碼器經進一步組態以在一HEVCDecoderConfigurationRecord樣本條目及一 VisualSampleEntry樣本條目中之一者中接收該第一指示。
  24. 如請求項18之裝置，其中該第一指示為一即時傳送協定(RTP)有效負載中之一參數。
  25. 如請求項18之裝置，其中該視訊解碼器經進一步組態以進行以下操作：解碼指示該所接收之視訊資料是否經寫碼為一場圖像的一第二指示；解碼指示該所接收之視訊資料之源是呈循序掃描抑或交錯格式的一第三指示，其中該第二指示具有一值0且該第三指示具有一值1指示該所接收之視訊資料包含以圖框圖像而寫碼之循序圖框，其中該第二指示具有一值0且該第三指示具有一值0指示該所接收之視訊資料包含以圖框圖像而寫碼之交織場，其中該第二指示具有一值1且該第三指示具有一值0指示該所接收之視訊資料包含以場圖像而寫碼之交錯場，且其中該第二指示具有一值1且該第三指示具有一值1指示該所接收之視訊資料包含自以場圖像而寫碼之一循序圖框提取的場。
  26. 如請求項25之裝置，其中該第二指示為一field_seq_flag且該第三指示為一progressive_source_flag，且其中該field_seq_flag及該progressive_source_flag係寫碼於一視訊可用性資訊(VUI)參數集中。
  27. 一種經組態以編碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料；及一視訊編碼器，其經組態以進行以下操作：編碼該視訊資料； 產生指示該經編碼視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示，其中在一設定檔語法、一層語法及一層級語法中之至少一者中產生該第一指示；及在一經編碼視訊位元串流中用信號發送該第一指示。
  28. 如請求項27之裝置，其中該第一指示包含一旗標，且其中旗標值等於0指示該經編碼視訊資料中之所有圖像係經寫碼為圖框圖像之循序圖框，且其中該旗標值等於1指示在該經編碼視訊資料中可存在並非循序圖框或未經寫碼為圖框圖像之一或多個圖像。
  29. 如請求項27之裝置，其中該視訊編碼器經進一步組態以在一視訊參數集及一序列參數集中之至少一者中用信號發送該第一指示。
  30. 如請求項27之裝置，其中該視訊編碼器經進一步組態以在視訊檔案格式資訊之一樣本條目中用信號發送該第一指示。
  31. 如請求項30之裝置，其中該視訊編碼器經進一步組態以在一HEVCDecoderConfigurationRecord樣本條目及一VisualSampleEntry樣本條目中之一者中用信號發送該第一指示。
  32. 如請求項27之裝置，其中該第一指示為一即時傳送協定(RTP)有效負載中之一參數。
  33. 如請求項27之裝置，其中該視訊編碼器經進一步組態以進行以下操作：產生指示該經編碼視訊資料是否經寫碼為一場圖像的一第二指示；產生指示該經編碼視訊資料之源是呈循序掃描抑或交錯格式的一第三指示，其中該第二指示具有一值0且該第三指示具有一值1指示該經 編碼視訊資料包含以圖框圖像而寫碼之循序圖框，其中該第二指示具有一值0且該第三指示具有一值0指示該經編碼視訊資料包含以圖框圖像而寫碼之交織場，其中該第二指示具有一值1且該第三指示具有一值0指示該經編碼視訊資料包含以場圖像而寫碼之交錯場，且其中該第二指示具有一值1且該第三指示具有一值1指示該經編碼視訊資料包含自以場圖像而寫碼之一循序圖框提取的場。
  34. 如請求項33之裝置，其中該第二指示為一field_seq_flag且該第三指示為一progressive_source_flag，且其中該field_seq_flag及該progressive_source_flag係寫碼於一視訊可用性資訊(VUI)參數集中。
  35. 一種經組態以解碼視訊資料之裝置，該裝置包含：用於接收視訊資料之構件；用於接收指示該所接收之視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示之構件，其中在一設定檔語法、一層語法及一層級語法中之至少一者中接收該第一指示；及用於根據該所接收之第一指示來解碼該所接收之視訊資料的構件。
  36. 一種經組態以編碼視訊資料之裝置，該方法包含：用於編碼視訊資料之構件；用於產生指示該經編碼視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示之構件，其中在一設定檔語法、一層語法及一層級語法中之至少一者中產生該第一指示；及用於在一經編碼視訊位元串流中用信號發送該第一指示之構 件。
  37. 一種儲存指令之電腦可讀儲存媒體，該等指令在執行時使經組態以解碼視訊資料之一器件之一或多個處理器執行以下操作：接收視訊資料；接收指示該所接收之視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示，其中在一設定檔語法、一層語法及一層級語法中之至少一者中接收該第一指示；及根據該所接收之第一指示來解碼該所接收之視訊資料。
  38. 一種儲存指令之電腦可讀儲存媒體，該等指令在執行時使經組態以編碼視訊資料之一器件之一或多個處理器執行以下操作：編碼視訊資料；產生指示該經編碼視訊資料中之所有圖像是否係經寫碼為圖框圖像之循序圖框的一第一指示，其中在一設定檔語法、一層語法及一層級語法中之至少一者中產生該第一指示；及在一經編碼視訊位元串流中用信號發送該第一指示。
TW102134025A 2012-09-20 2013-09-18 用於視訊寫碼之交錯視訊資料之指示 TWI587708B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261703662P 2012-09-20 2012-09-20
US201261706647P 2012-09-27 2012-09-27
US14/029,050 US20140079116A1 (en) 2012-09-20 2013-09-17 Indication of interlaced video data for video coding

Publications (2)

Publication Number Publication Date
TW201417582A TW201417582A (zh) 2014-05-01
TWI587708B true TWI587708B (zh) 2017-06-11

Family

ID=50274052

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102134027A TWI520575B (zh) 2012-09-20 2013-09-18 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
TW102134025A TWI587708B (zh) 2012-09-20 2013-09-18 用於視訊寫碼之交錯視訊資料之指示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102134027A TWI520575B (zh) 2012-09-20 2013-09-18 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示

Country Status (7)

Country Link
US (2) US20140078249A1 (zh)
EP (1) EP2898693A1 (zh)
JP (1) JP6407867B2 (zh)
CN (2) CN104641652A (zh)
AR (1) AR093235A1 (zh)
TW (2) TWI520575B (zh)
WO (2) WO2014047202A2 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US20140092992A1 (en) * 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
US20140092962A1 (en) * 2012-10-01 2014-04-03 Sony Corporation Inter field predictions with hevc
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
BR112015017059A2 (pt) * 2013-01-17 2018-09-25 Samsung Electronics Co., Ltd. método decodificador de vídeo, método codificador de vídeo, aparelho decodificador de vídeo, aparelho codificador de vídeo, e mídia de gravação legível por computador.
KR20160003070A (ko) * 2013-07-19 2016-01-08 미디어텍 인크. 3ｄ 비디오 코딩에서의 카메라 파라미터 시그널링의 방법 및 장치
EP2854405A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US9998765B2 (en) * 2014-07-16 2018-06-12 Qualcomm Incorporated Transport stream for carriage of video coding extensions
US10390047B2 (en) * 2015-01-09 2019-08-20 Sony Corporation Image processing apparatus and image processing method for controlling the granularity in trick play
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
WO2016117964A1 (ko) * 2015-01-23 2016-07-28 엘지전자 주식회사 풀 다운된 신호 복원을 위한 방송 신호 송수신 방법 및 장치
KR102519209B1 (ko) 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
EP3823276B1 (en) * 2016-11-17 2024-08-14 INTEL Corporation Indication of suggested regions of interest in the metadata of an omnidirectional video
TWI655864B (zh) * 2016-11-22 2019-04-01 聯發科技股份有限公司 視訊編碼中用於運動向量符號預測的方法及裝置
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
KR102503342B1 (ko) 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
WO2018131803A1 (ko) * 2017-01-10 2018-07-19 삼성전자 주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
US10999605B2 (en) 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
CN106921843B (zh) * 2017-01-18 2020-06-26 苏州科达科技股份有限公司 数据传输方法及装置
US10185878B2 (en) * 2017-02-28 2019-01-22 Microsoft Technology Licensing, Llc System and method for person counting in image data
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
CA3059870A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
TWI653181B (zh) * 2018-01-31 2019-03-11 光陽工業股份有限公司 Battery box opening structure of electric vehicle
TWI674980B (zh) * 2018-02-02 2019-10-21 光陽工業股份有限公司 電動車的電池盒開啟控制結構
WO2019182704A1 (en) * 2018-03-21 2019-09-26 Futurewei Technologies, Inc. Signaling a constraint flag in a video bitstream
WO2020032004A1 (ja) * 2018-08-06 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
CN110022297B (zh) * 2019-03-01 2021-09-24 广东工业大学 一种高清视频直播系统
CN117376559A (zh) * 2019-06-13 2024-01-09 北京达佳互联信息技术有限公司 用于视频编解码的子块变换的方法和系统
KR20220023341A (ko) * 2019-06-25 2022-03-02 인텔 코포레이션 레벨 도출이 있는 서브-픽처 및 서브-픽처 세트
AU2020203330B2 (en) * 2020-05-21 2022-12-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
US20220337878A1 (en) 2021-04-18 2022-10-20 Lemon Inc. Decoding Capability Information In Common Media Application Format
US11758108B2 (en) * 2021-06-18 2023-09-12 Qingdao Pico Technology Co., Ltd. Image transmission method, image display device, image processing device, image transmission system, and image transmission system with high-transmission efficiency
CN115052170B (zh) * 2022-04-26 2023-06-23 中国传媒大学 一种基于sei时码信息的云上导播方法及装置
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200829035A (en) * 2006-10-16 2008-07-01 Nokia Corp System and method for implementing efficient decoded buffer management in multi-view video coding
TW200841740A (en) * 2007-01-18 2008-10-16 Nokia Corp Carriage of SEI messages in RTP payload format
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130448A (en) 1998-08-21 2000-10-10 Gentex Corporation Optical sensor package and method of making same
EP1035735A3 (en) * 1999-03-12 2007-09-05 Kabushiki Kaisha Toshiba Moving image coding and decoding apparatus optimised for the application of the Real Time Protocol (RTP)
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2006260611A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 情報記憶媒体、情報再生装置、情報再生方法、及びネットワーク通信システム
US20070139792A1 (en) 2005-12-21 2007-06-21 Michel Sayag Adjustable apodized lens aperture
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US7585122B2 (en) 2006-03-15 2009-09-08 Nokia Corporation Aperture construction for a mobile camera
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
CN103281563B (zh) * 2007-04-18 2016-09-07 汤姆森许可贸易公司 解码方法
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8373919B2 (en) 2008-12-03 2013-02-12 Ppg Industries Ohio, Inc. Optical element having an apodized aperture
EP2491720B1 (en) * 2009-10-20 2018-03-07 Telefonaktiebolaget LM Ericsson (publ) Provision of supplemental processing information
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8885729B2 (en) * 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
JP2012199897A (ja) * 2011-03-04 2012-10-18 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200829035A (en) * 2006-10-16 2008-07-01 Nokia Corp System and method for implementing efficient decoded buffer management in multi-view video coding
TW200841740A (en) * 2007-01-18 2008-10-16 Nokia Corp Carriage of SEI messages in RTP payload format
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H.264/AVC 技術與應用簡介，楊士萱、陳柏源，2007 *

Also Published As

Publication number Publication date
WO2014047202A3 (en) 2014-05-15
JP6407867B2 (ja) 2018-10-17
EP2898693A1 (en) 2015-07-29
US20140079116A1 (en) 2014-03-20
WO2014047204A1 (en) 2014-03-27
JP2015533055A (ja) 2015-11-16
CN104641645A (zh) 2015-05-20
TW201424340A (zh) 2014-06-16
AR093235A1 (es) 2015-05-27
TWI520575B (zh) 2016-02-01
US20140078249A1 (en) 2014-03-20
CN104641645B (zh) 2019-05-31
WO2014047202A2 (en) 2014-03-27
TW201417582A (zh) 2014-05-01
CN104641652A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
TWI556630B (zh) 用於處理視訊資料之方法及器件及電腦可讀取儲存媒體
JP6542378B2 (ja) 階層化されたビデオファイルフォーマットにおけるサンプルエントリー及び動作点信号伝達の設計
TWI527460B (zh) 於視訊寫碼中發信用於操作點之層識別符
KR101741348B1 (ko) 비디오 코딩에서 시간 스케일러빌리티 지원 하의 점진적 디코딩 리프레시
TWI495273B (zh) 於視訊寫碼中自清晰隨機存取圖像之全面隨機存取
JP6509842B2 (ja) 高効率ビデオコーディング拡張におけるターゲット出力レイヤの選択
JP6177905B2 (ja) 映像コーディングに関する長期基準ピクチャのシグナリング
US9525883B2 (en) Cross-layer alignment of intra random access point pictures
TWI489877B (zh) 基於乾淨隨機存取（ｃｒａ）圖像之串流適應
TWI543593B (zh) 具有一固定長度寫碼之視訊參數集識別之補充增強資訊訊息
KR20190013763A (ko) 별도의 파일 트랙들에서의 시퀀스 종단 및 비트스트림 종단 nal 유닛들
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
TW201509171A (zh) 對多層視訊寫碼之層間預測信令之最佳化
JP2015517279A (ja) リンク破損ピクチャを有するビデオシーケンス中の参照ピクチャのマーキング
JP2014513456A (ja) ランダムアクセスの後に従属ピクチャをコード化するためのビデオコード化技法
TW201517599A (zh) 內部運動補償延伸
TW201444352A (zh) 在視訊寫碼中用於視訊時序之時序資訊關係之圖像次序計數的發信
TW201444341A (zh) 用於視訊寫碼中之隨機存取之視訊緩衝操作