TWI408966B - 用於視訊編碼中單向預測及雙向預測之不同權重 - Google Patents

用於視訊編碼中單向預測及雙向預測之不同權重 Download PDF

Info

Publication number
TWI408966B
TWI408966B TW098123558A TW98123558A TWI408966B TW I408966 B TWI408966 B TW I408966B TW 098123558 A TW098123558 A TW 098123558A TW 98123558 A TW98123558 A TW 98123558A TW I408966 B TWI408966 B TW I408966B
Authority
TW
Taiwan
Prior art keywords
weights
explicit
unit
video
prediction
Prior art date
Application number
TW098123558A
Other languages
English (en)
Other versions
TW201103337A (en
Inventor
Marta Karczewicz
Rahul P Panchal
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201103337A publication Critical patent/TW201103337A/zh
Application granted granted Critical
Publication of TWI408966B publication Critical patent/TWI408966B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於視訊編碼中單向預測及雙向預測之不同權重
本揭示案係關於視訊編碼,且更特定言之,係關於為B-視訊區塊使用雙向加權預測且為P-視訊區塊使用單向加權預測的關於B-單元之視訊編碼技術。
數位多媒體能力可併入於寬範圍之器件中,包括數位電視、數位直播系統、無線通信器件、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器件、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、數位媒體播放器及其類似者。數位多媒體器件可實施視訊編碼技術(諸如MPEG-2、ITU-H.263、MPEG-4,或ITU-H.264/MPEG-4第10部分、先進視訊編碼(AVC)),以更有效地傳輸及接收或儲存及擷取數位視訊資料。視訊編碼技術可經由空間預測及時間預測來執行視訊壓縮,以減少或移除視訊序列中固有之冗餘。
在視訊編碼處理程序中,壓縮通常包括空間預測、運動估計及運動補償。框內編碼依賴於空間預測及變換編碼(諸如離散餘弦變換(DCT)編碼),以減少或移除一給定視訊圖框內視訊區塊之間的空間冗餘。框間編碼依賴於時間預測及變換編碼,以減少或移除一視訊序列之連續視訊圖框之視訊區塊之間的時間冗餘。經框內編碼之圖框(「I-圖框」)通常用作隨機存取點以及其他圖框之框間編碼的參考。然而,I-圖框通常展現比其他圖框少的壓縮。術語I-單元可指代I-圖框、I-切片(I-slice)或I-圖框之其他可獨立解碼的部分。
對於框間編碼而言,一視訊編碼器執行運動估計以追蹤兩個或兩個以上相鄰圖框或其他經編碼單元(諸如圖框之切片)之間的匹配視訊區塊的移動。經框間編碼之圖框可包含:預測圖框(「P-圖框」),其可包括自一先前圖框預測之區塊;及雙向預測圖框(「B-圖框」),其可包括自一視訊序列之一先前圖框及一隨後圖框預測的區塊。在早期之編碼技術將預測限制於特定方向的意義上,術語P-圖框及B-圖框為稍有歷史性的。較新之編碼格式及標準可不限制P-圖框及B-圖框之預測方向。因此,術語「雙向」現指代基於兩個或兩個以上之參考資料清單進行的預測,不管此等參考資料與所編碼之資料的時間關係。
與較新視訊標準(諸如ITU H.264)一致,舉例而言,雙向預測可基於兩個不同清單,該兩個不同清單未必需要具有在時間上位於當前視訊區塊之前及之後的資料。換言之,可自兩個資料清單來預測B-視訊區塊,該兩個資料清單可對應於來自兩個先前圖框、兩個隨後圖框或一個先前圖框及一個隨後圖框的資料。相反,單向預測指代基於一個清單(亦即,一個資料結構)來預測P-視訊區塊,該清單可對應於一個預測圖框(例如,一個先前圖框或一個隨後圖框)。B-圖框及P-圖框可更通常稱為P-單元及B-單元。P-單元及B-單元亦可體現為較小之經編碼單元,諸如圖框之切片或圖框之部分。B-單元可包括B-視訊區塊、P-視訊區塊或I-視訊區塊。P-單元可包括P-視訊區塊或I-視訊區塊。I-單元可僅包括I-視訊區塊。
對於P-視訊區塊及B-視訊區塊而言,運動估計產生運動向量,其指示該等視訊區塊相對於預測參考圖框或其他經編碼單元中之相應預測視訊區塊的移位。運動補償使用該等運動向量來自該(等)預測參考圖框或其他經編碼單元來產生預測視訊區塊。在運動補償之後,藉由自待編碼之原始視訊區塊減去預測視訊區塊來形成一剩餘視訊區塊。視訊編碼器通常應用變換、量化及熵編碼處理程序來進一步減少與剩餘區塊之通信相關聯的位元速率。I-單元及P-單元通常用於定義用於P-單元及B-單元之框間編碼的參考區塊。
本揭示案描述可適用於雙向預測及單向預測之視訊編碼及解碼技術。在雙向預測處理程序中,基於兩個不同預測參考資料清單來對一視訊區塊進行預測性編碼及解碼,而在單向預測處理程序中,基於一預測參考資料清單來對一視訊區塊進行預測性編碼及解碼。顯式加權預測通常指代依賴於在編碼器處定義並在位元流中傳達之顯式權重的單向預測或雙向預測。將該等權重應用於預測參考資料之像素值,以定義在視訊資料之編碼及解碼中所使用之加權參考資料。
本揭示案中所描述之技術提供單向預測權重與雙向預測權重之解耦,尤其對於B-單元內之視訊區塊的顯式加權預測。根據本揭示案,在位元流中傳達之顯式權重可由一解碼器應用於顯式雙向預測,但可將不同權重(其可為預設權重或獨立定義之顯式單向權重)用於顯式單向預測。所描述之技術可相對於將相同顯式權重用於B-單元內之顯式雙向預測及顯式單向預測的技術而改良視訊品質。
在一項實例中,本揭示案描述一種在一視訊解碼器中對視訊資料解碼的方法。該方法包含:在該視訊解碼器處接收一經編碼單元,其中該經編碼單元包括指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;經由該視訊解碼器將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測;及經由該視訊解碼器將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測。
在另一實例中,本揭示案描述一種在一視訊編碼器中對視訊資料編碼的方法。該方法包含:在該視訊編碼器處對一經編碼單元編碼,其中該經編碼單元包括指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;經由該視訊編碼器基於該等顯式權重對該經編碼單元中之一或多個雙向視訊區塊編碼;及經由該視訊編碼器基於一或多個不同權重對該經編碼單元中之一或多個單向視訊區塊編碼。
在另一實例中,本揭示案描述一種視訊解碼裝置,其包含:一熵單元,其接收一經編碼單元且對該經編碼單元之一或多個語法元素解碼,其中該等語法元素指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用的顯式權重;及一預測單元,其將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測,及將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測。
在另一實例中,本揭示案描述一種對視訊資料編碼的視訊編碼裝置。該裝置包含:一記憶體,其儲存該視訊資料及用以對該視訊資料進行預測性編碼的兩個或兩個以上資料清單;及一預測單元,其對一經編碼單元編碼,其中該經編碼單元包括指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用的顯式權重的語法元素,基於該等顯式權重對該經編碼單元中之一或多個雙向視訊區塊編碼,及基於一或多個不同權重對該經編碼單元中之一或多個單向視訊區塊編碼。
在另一實例中,本揭示案描述一種對視訊資料解碼之器件,該器件包含:用於接收一經編碼單元的構件,其中該經編碼單元包括指示該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;用於將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測的構件;及用於將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測的構件。
在另一實例中,本揭示案描述一種對視訊資料編碼的器件,該器件包含:用於對一經編碼單元編碼的構件,其中該經編碼單元包括指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;用於基於該等顯式權重對該經編碼單元中之一或多個雙向視訊區塊編碼的構件;及用於基於一或多個不同權重對該經編碼單元中之一或多個單向視訊區塊編碼的構件。
可以硬體、軟體、韌體或其任何組合來實施本揭示案中所描述之技術。若以軟體來實施,則可在一或多個處理器(諸如微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或數位信號處理器(DSP))中執行軟體。執行該等技術之軟體最初可儲存於一電腦可讀儲存媒體中且載入該處理器中並在該處理器中執行。
因此,本揭示案亦描述一種電腦可讀儲存媒體,其包含在執行時使一處理器對視訊資料解碼的指令。在接收到包括指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素的一經編碼單元後,該等指令使該處理器將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測,及將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測。
另外,本揭示案描述一種電腦可讀儲存媒體,其包含在執行時使一處理器對視訊資料編碼的指令,其中該等指令使該處理器對一經編碼單元編碼,該經編碼單元包括指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;基於該等顯式權重對該經編碼單元中之一或多個雙向視訊區塊編碼;及基於一或多個不同權重對該經編碼單元中之一或多個單向視訊區塊編碼。
本揭示案之一或多個態樣的細節陳述於附圖及下文之描述中。本揭示案中所描述之技術的其他特徵、目標及優點將自實施方式及圖式且自申請專利範圍而變得顯而易見。
本揭示案描述可應用於雙向經編碼單元(例如,B-單元)之視訊編碼及解碼技術,雙向經編碼單元諸如B-圖框、B-切片或至少包括基於兩個不同預測參考資料清單來預測之一些視訊區塊的其他獨立編碼之單元。B-單元可包括許多不同類型之視訊區塊,包括基於兩個不同預測參考資料清單編碼及解碼之B-視訊區塊、基於一預測參考資料清單編碼及解碼之P-視訊區塊,及基於彼相同經編碼單元內之框內資料編碼的I-視訊區塊。
已開發並應用於諸如ITU H.264之編碼標準中的一種編碼技術稱作加權預測。加權預測指代一或多個權重(有時稱作權重因數)經指派至預測資料的預測。在此情況下,可根據權重因數對預測參考資料加權以便定義加權預測參考資料。加權預測通常應用於B-單元,且尤其B-單元內之B-視訊區塊,但亦可應用於P-單元或其他經編碼單元。在B-單元內之B-視訊區塊之情況下,可將權重指派至該兩個不同預測資料清單以便對預測參考資料加權(該預測參考資料接著用以對B-視訊區塊編碼),使得可形成改良之預測參考資料。習知地,在將加權預測用於B-單元時,將指派至不同資料清單之相同權重應用於該B-單元內之B-視訊區塊之雙向預測及該B-單元內之P-視訊區塊之單向預測。
在此情形中,亦存在不同類型之加權預測,其可稱作顯式加權預測、隱含加權預測及預設加權預測。顯式加權預測及隱含加權預測可對應於ITU H.264中定義之不同加權預測模式。預設加權預測可為顯式加權預測之特定情況,其中權重因數係由一預設設定來定義。
顯式加權預測指代權重因數係作為編碼處理程序之一部分而加以動態地定義且編碼至位元流中的加權預測。隱含加權預測指代在加權預測中基於與資料相關聯之一些隱含因數來定義與兩個或兩個以上不同清單相關聯之權重因數的加權預測。舉例而言,可藉由該兩個不同清單中之資料相對於經預測性編碼之資料的時間位置來定義隱含權重因數。若清單0中之資料比清單1中之資料在時間上更接近於經預測性編碼之資料,則在隱含加權預測中清單0中之資料可經指派較大之隱含權重因數。可將該等權重因數應用於該等不同參考資料(例如,參考像素資料)清單中之原始資料以便以加權方式調整預測參考資料,從而促使參考資料比在無權重之情況下所另外達成之參考資料更類似於經編碼資料。
如所提及,預設加權預測指代在加權預測中由某預設設定來預定義與兩個或兩個以上不同清單相關聯之權重因數的加權預測。在一些情況下,預設加權預測可將相等權重指派至該等清單中之每一者。預設權重可在位元流中傳達(如同顯式權重),或在一些情況下,可自位元流排除及在編碼器及解碼器處得知。與預設權重(其對於不同情節通常為靜態的)不同,顯式權重可基於對加權預測資料之分析來定義,以便促進可促進改良壓縮之較高品質之預測資料。在一些情況下,預設加權預測或顯式加權預測用在編碼器處以定義將針對一經編碼單元而傳達之權重。在此情況下,解碼器可將此等兩個情節處理為相同編碼模式(例如,顯式加權預測模式之不同版本)。針對彼經編碼單元在位元流中傳輸之權重對於預設加權預測而言係基於一預設設定來定義的,且對於顯式加權預測而言係基於對預測資料之分析來定義的。
根據本揭示案,在位元流中傳達之顯式權重可由一解碼器應用於顯式雙向預測,但可將不同權重(其可為預設權重或獨立定義之顯式單向權重)用於顯式單向預測。以此方式,B-單元內之B-視訊區塊之雙向預測及該B-單元內之P-視訊區塊之單向預測可應用不同權重因數。習知地,在定義及用信號傳輸用於B-單元之加權預測時,將指派至不同資料清單之相同權重應用於該B-單元內之B-視訊區塊之雙向預測及該B-單元內之P-視訊區塊之單向預測。本揭示案之技術認可可藉由消除此等習知約束來改良編碼效率及編碼品質。
圖1為說明可實施本揭示案之技術的一個例示性視訊編碼及解碼系統10的方塊圖。如圖1所示,系統10包括一經由通信頻道15將經編碼視訊傳輸至目的器件16的源器件12。源器件12及目的器件16可包含寬範圍之器件中之任一者。在一些情況下,源器件12及目的器件16包含無線通信器件,諸如無線手機、所謂的蜂巢式或衛星無線電電話,或可在通信頻道15上傳達視訊資訊的任何器件,其可能或可能不為無線的。然而,本揭示案之技術(其涉及用於B-單元內之視訊區塊之顯式加權預測的單向預測權重與雙向預測權重的解耦)未必限於無線應用或設定。
在圖1之實例中,源器件12可包括一視訊源20、視訊編碼器22、一調變器/解調變器(數據機)23及一傳輸器24。目的器件16可包括一接收器26、一數據機27、一視訊解碼器28及一顯示器件30。根據本揭示案,源器件12之視訊編碼器22可經組態以基於顯式權重對經編碼單元中之一或多個雙向視訊區塊編碼,及基於一或多個不同權重對經編碼單元中之一或多個單向視訊區塊編碼。同樣,視訊解碼器28可將顯式權重應用於經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測,及可經由該視訊解碼器將一或多個不同權重應用於經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測。
圖1所說明之系統10僅為例示性的。本揭示案之技術可由支援單向及雙向運動補償預測之任何編碼器件執行。源器件12及目的器件16僅為此等編碼器件之實例,其中源器件12產生經編碼視訊資料以供傳輸至目的器件16。在一些情況下,器件12、16可以大體上對稱之方式來操作,使得器件12、16中之每一者包括視訊編碼及解碼組件。因此,系統10可支援視訊器件12、16之間的單向或雙向視訊傳輸,例如,用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源20可包括一視訊捕獲器件,諸如視訊相機、含有先前捕獲之視訊的視訊檔案或來自視訊內容提供者之視訊饋入。作為另一替代,視訊源20可產生基於電腦圖形之資料,作為源視訊或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下,若視訊源20為視訊相機,則源器件12及目的器件16可形成所謂的相機電話或視訊電話。在每一情況下,可藉由視訊編碼器22來對所捕獲、預先捕獲或電腦產生之視訊編碼。可接著根據一通信標準(例如,分碼多重存取(CDMA))或另一通信標準藉由數據機23來調變該等經編碼視訊資訊,並經由傳輸器24將該等經編碼視訊資訊傳輸至目的器件16。數據機23可包括各種混頻器、濾波器、放大器或經設計以用於信號調變的其他組件。傳輸器24可包括經設計以用於傳輸資料的電路,包括放大器、濾波器及一或多個天線。
目的器件16之接收器26在頻道15上接收資訊,且數據機27對該資訊解調變。此外,視訊編碼處理程序可實施本文所描述之技術中之一或多者,以解耦雙向預測權重與單向預測權重。與本揭示案一致,在頻道15上傳達之資訊可包括用以定義權重因數的由視訊編碼器22定義之資訊,且此資訊可由視訊解碼器28使用。顯示器件30向使用者顯示經解碼之視訊資料,且可包含各種顯示器件中之任一者,諸如陰極射線管、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器,或另一類型之顯示器件。
在圖1之實例中,通信頻道15可包含任何無線或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線,或無線及有線媒體之任何組合。因此,數據機23及傳輸器24可支援許多可能無線協定、有線協定或有線及無線協定。通信頻道15可形成一基於封包之網路(諸如,區域網路(LAN)、廣域網路(WAN)或諸如網際網路之全球網路)的部分,其包含一或多個網路之互連。通信頻道15通常表示用於將視訊資料自源器件12傳輸至目的器件16的任何合適通信媒體或不同通信媒體之集合。通信頻道15可包括路由器、交換器、基地台或可用於促進自源器件12至目的器件16之通信的任何其他設備。
視訊編碼器22及視訊解碼器28可根據一視訊壓縮標準(諸如ITU-T H.264標準,替代地描述為MPEG-4第10部分、先進視訊編碼(AVC))來操作。然而,本揭示案之技術不限於任何特定編碼標準。此外,在一些方面,本揭示案之技術可不依照ITU-T H.264標準,因為ITU-T H.264標準可定義將用於單向預測及雙向預測之相同權重因數。舉例而言,在ITU-T H.264中,可為兩個不同預測資料清單定義兩個顯式權重。在此情況下,若使用雙向預測,則應用兩個權重。若使用單向預測,則僅應用該等權重中之一者(亦即,對應於用於彼單向預測之清單的權重)。本揭示案之技術可包含傳達四個不同權重(亦即,用於雙向預測之兩個權重及用於單向預測之兩個權重)。然而,在一些情況下,單向權重可為未經傳達而是僅在解碼器處得知及應用的預設權重。在一些情況下,單向權重(尤其此等權重為預設權重時)可在位元流中傳達。在其他情況下,單向權重可在解碼器處得知及應用而未在位元流中傳達。
儘管圖1中未展示於,但在一些態樣中,視訊編碼器22及視訊解碼器28可各自與音訊編碼器及解碼器整合,且可包括適當MUX-DEMUX單元或其他硬體及軟體,以處置對共同資料流或獨立資料流中之音訊及視訊兩者的編碼。若適用,MUX-DEMUX單元可遵照ITU H.223多工器協定,或諸如使用者資料元協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準由ITU-T視訊編碼專家組(VCEG)連同ISO/IEC動畫專家組(MPEG)編制,作為被稱為聯合視訊組(JVT)之集體合夥的產品。在一些態樣中,本揭示案所描述之技術可應用於大體上遵照H.264標準的器件。H.264標準描述於ITU-T研究組之註明日期為2005年3月的ITU-T推薦H.264、一般視聽服務之先進視訊編碼(Advanced Video Coding for generic audiovisual services)中,其在本文中可稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊組(JVT)繼續致力於擴展H.264/MPEG-4 AVC。
在ITU-T之各種網路論壇中進行推進H.264/MPEG-4 AVC標準的工作,諸如「Key Technologies Area(KTA)」網路論壇。KTA網路論壇部分地尋求展現比H.264/AVC標準所展現之編碼效率高的編碼效率的編碼技術。本揭示案所描述之技術可提供相對於H.264/AVC標準之編碼改良,但如本申請案之歸檔處所定義的,該等技術可不依照H.264/AVC標準。
視訊編碼器22及視訊解碼器28各自可實施為一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器22及視訊解碼器28中之每一者可包括於一或多個編碼器或解碼器中,其任一者可整合為在各別行動器件、用戶器件、廣播器件、伺服器或其類似者中之組合編碼器/解碼器(CODEC)的部分。
一視訊序列通常包括一連串視訊圖框。視訊編碼器22及視訊解碼器28可對個別視訊圖框內之視訊區塊操作,以便對視訊資料編碼及解碼。視訊區塊可具有固定或變化之大小,且可根據特定編碼標準而在大小方面不同。每一視訊圖框可包括一連串切片或其他可獨立解碼之單元。每一切片可包括一連串巨集區塊,巨集區塊可經配置成子區塊。作為一實例,ITU-T H.264標準支援各種區塊大小(諸如,用於明亮度(1uma)分量之16乘16、8乘8或4乘4,及用於色度(chroma)分量之8乘8)之框內預測,以及各種區塊大小(諸如,用於明亮度分量之16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4,及用於色度分量之相應經按比例調整之大小)之框間預測。舉例而言,在諸如離散餘弦變換(DCT)編碼或概念類似之變換處理程序的變換處理程序之後,視訊區塊可包含像素資料之區塊或變換係數之區塊。
較小視訊區塊可提供較佳解析度,且可用於包括高細節層次之視訊圖框的定位。大體上,可將巨集區塊及各種子區塊看作視訊區塊。另外,可將切片看作一連串視訊區塊,諸如巨集區塊及/或子區塊。每一切片可為一視訊圖框之一可獨立解碼單元。或者,圖框自身可為可解碼單元,或圖框之其他部分可被定義為可解碼單元。術語「經編碼單元」指代視訊圖框之任何可獨立解碼單元,諸如整個圖框、圖框之切片、圖像群組(GOP)或根據所使用之編碼技術定義的另一可獨立解碼單元。
在基於框間之預測編碼(其包括使用不同權重因數之單向加權預測及雙向加權預測)之後,且在任何變換(諸如在H.264/AVC中所使用之4 x 4或8 x 8整數變換或離散餘弦變換或DCT)之後,可執行量化。量化通常指代將剩餘變換係數量化以減少用於表示該等係數之位元的數目的處理程序。該量化處理程序可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言,在量化期間,可將一16位元值捨位至一15位元值。在量化之後,可(例如)根據內容適應性可變長度編碼(CAVLC)、內容脈絡適應性二進位算術編碼(CABAC)或另一熵編碼方法來執行熵編碼。
本揭示案之技術特別適用於B-單元之視訊區塊的加權預測。在此情況下,對用於對視訊區塊編碼之預測資料加權以調整預測資料之像素值以定義加權預測資料。根據本揭示案,並非為不同預測資料清單(例如,清單0及清單1)指派一組權重,視訊編碼器22可為該等不同清單指派兩組不同權重,一組權重用於雙向預測,且另一組權重用以定義單向預測中所使用之用於不同清單的權重。
如上文所提及,雙向預測為基於兩個不同資料清單的所謂「B-視訊區塊」的預測。可自來自兩個先前圖框之兩個資料清單、來自隨後圖框之兩個資料清單或來自一先前圖框之一個資料清單及來自一隨後圖框之一個資料清單來預測B-視訊區塊。相反,單向預測指代基於一個清單來預測P-視訊區塊,該清單可對應於一個預測圖框(例如,一個先前圖框或一個隨後圖框)。B-圖框及P-圖框可更通常稱為P-單元及B-單元。P-單元及B-單元亦可體現為較小之經編碼單元,諸如圖框之切片或圖框之部分。B-單元可包括B-視訊區塊、P-視訊區塊或I-視訊區塊。P-單元可包括P-視訊區塊或I-視訊區塊。I-單元可僅包括I-視訊區塊。
加權雙向預測指代允許權重因數經指派至兩個不同清單的雙向預測。每一清單可包含與一預測圖框或其他經編碼單元相關聯的一組資料(例如,像素值)。在加權雙向預測中,在產生加權預測資料處理程序中,一個清單可被給予更多權重。舉例而言,若該等清單中之一者具有較類似於經編碼之視訊區塊的資料,則在定義基於該兩個清單之加權預測資料的處理程序中,彼清單可被給予比另一清單更多之權重。
在加權單向預測中,可將一給定清單之一給定權重因數應用於預測資料。可將不同權重應用於該等不同清單,但在此情況下,一給定單向預測將僅使用對應於用於彼單向預測之資料清單的一個權重。根據本揭示案,針對單向預測為該兩個資料清單定義之權重將不同於針對雙向預測定義之權重。如本揭示案申請時所陳述,該等技術可不依照ITU H.264。
對於不同類型之加權雙向預測而言,根據ITU-T H.264,視訊編碼器22及視訊解碼器28可通常支援三種不同類型之預測模式。顯式加權預測指代權重因數係作為編碼處理程序之一部分而加以動態地定義且編碼至位元流中的加權預測。在此方面,顯式加權預測不同於隱含加權預測,例如,顯式加權預測導致經編碼成位元流之部分的權重因數。
隱含加權預測指代在加權預測中基於與資料相關聯之一些隱含因數來定義與兩個或兩個以上不同清單相關聯之權重因數的加權預測。舉例而言,可藉由該兩個不同清單中之資料相對於經預測性編碼之資料的相對時間位置來定義隱含權重因數。在隱含加權預測中,權重因數不包括於位元流中。實情為,視訊解碼器28可經程式化以導出隱含權重因數。
預設加權預測指代在加權預測中由某預設設定來預定義與兩個或兩個以上不同清單相關聯之權重因數的加權預測。在一些情況下,預設加權預測可將相等權重指派至該等清單中之每一者。在預設加權預測中,權重因數可隨位元流發送,或可在編碼器及解碼器處預定義且不在位元流中發送。當預設權重因數係在位元流中發送時,可將預設預測模式看作顯式預測模式之特殊情況(上文所解釋)。因此,亦可將預設預測描述為顯式預測模式之預設權重的應用。在此情況下,可說成僅存在兩個不同加權預測模式(例如,顯式及隱含),但顯式模式可支援預設權重或顯式定義之權重。
圖2為說明可執行與本揭示案一致的技術之視訊編碼器50之一實例的方塊圖。視訊編碼器50可對應於源器件12之視訊編碼器22或一不同器件之視訊編碼器。視訊編碼器50可對視訊圖框內之區塊執行框內及框間編碼,儘管為易於說明而未在圖2中展示框內編碼組件。框內編碼依賴於空間預測以減少或移除一給定視訊圖框內視訊之空間冗餘。框間編碼依賴於時間預測以減少或移除一視訊序列之相鄰圖框內視訊之時間冗餘。框內模式(I-模式)可指代基於空間之壓縮模式,且諸如預測(P-模式)或雙向(B-模式)之框間模式可指代基於時間之壓縮模式。
如圖2所示,視訊編碼器50接收一視訊圖框或切片內之待編碼之當前視訊區塊。在圖2之實例中,視訊編碼器50包括一預測單元31,預測單元31包含運動估計單元32及運動補償單元35。視訊編碼器50亦包括一記憶體34、一加法器48、一變換單元38、一量化單元40及一熵編碼單元46。對於視訊區塊重新建構而言,視訊編碼器50亦包括一反向量化單元42、一反向變換單元44及一加法器51。視訊編碼器50亦可包括一解區塊濾波器(未圖示),以對區塊邊界濾波以自重新建構視訊移除區塊假影。若需要,該解區塊濾波器將通常對加法器51之輸出濾波。
在編碼處理程序期間,視訊編碼器50接收一待編碼之視訊區塊,且運動估計單元32及運動補償單元35執行框間預測編碼。運動估計單元32及運動補償單元35可高度整合,但為概念目的而對其加以獨立說明。通常將運動估計看作產生運動向量之處理程序,該等運動向量估計視訊區塊之運動。舉例而言,一運動向量可指示一預測圖框(或另一經編碼單元)內之一預測區塊相對於當前圖框(或另一經編碼單元)內之經編碼之當前區塊的移位。通常將運動補償看作基於由運動估計判定之運動向量來取回或產生預測區塊的處理程序。此外,運動估計單元32及運動補償單元35可在功能性上整合。為達成演示性目的,將本揭示案所描述之技術描述為由預測單元31執行。
運動估計單元32藉由將待編碼之視訊區塊與一或多個預測經編碼單元(例如,時間方面或時間上之一先前及/或未來圖框)之視訊區塊進行比較來選擇用於該待編碼之視訊區塊的適當運動向量。作為一實例,運動估計單元32可以許多方法來選擇用於B-圖框之運動向量。在一種方法中,運動估計單元32可自第一組圖框(稱作清單0)選擇一先前或未來圖框,且僅使用來自清單0之此先前或未來圖框來判定一運動向量,其為一類單向運動估計。或者,運動估計單元32可自第二組圖框(稱作清單1)選擇一先前或未來圖框,且僅使用來自清單1之此先前或未來圖框來判定一運動向量,其為另一類單向運動估計。在又一方法中,運動估計單元32可選擇來自清單0之一第一圖框及來自清單1之一第二圖框,且選擇來自清單0之第一圖框及清單1之第二圖框的一或多個運動向量。此第三種形式之預測可被稱作雙預測運動估計。
本揭示案之技術可經實施以解耦針對單向運動補償指派至清單0及清單1之權重因數與針對雙向運動補償指派至清單0及清單1之權重因數。針對任一給定清單之選定運動向量可針對最類似於經編碼之視訊區塊的一預測視訊區塊,例如,如諸如該預測區塊之像素值相對於經編碼之區塊的像素值之絕對差和(SAD)或平方差和(SSD)的度量所定義。在基於該等運動向量來產生預測資料時,運動補償單元35可應用適當權重因數。亦即,應用權重因數(其對於單向預測及雙向預測而言為不同的)以對預測資料加權以便定義加權預測資料,其用於對當前視訊區塊之編碼或解碼中。
根據ITU-T H.264/AVC標準,可使用不同運動補償雙向預測演算法或模式來預測B-圖框或其部分,諸如視訊區塊、巨集區塊或B-圖框之任何其他離散及/或連續部分。第一運動補償雙預測演算法或模式(其通常稱作預設加權預測)可涉及將預設權重應用至清單0之該第一圖框及清單1之該第二圖框的每一經識別視訊區塊。對於預設加權預測而言,該等預設權重可根據該標準來程式化且通常經選擇為相等的。接著將該第一圖框與該第二圖框之加權區塊相加並除以預測B-圖框所使用之總圖框數目(例如,在此例子中為二)。通常,藉由將該第一圖框與該第二圖框之加權區塊的相加值加1且接著將該結果向右移一個位元來完成此除法。加1係捨位調整,在一些實施例中,可免除加1之捨位調整。
在一些情況下,可避免在右移一個位元之前加1(捨位調整),因此消除升值偏差捨位(upward biased rounding)。運動補償單元35可產生一具有捨位之加權區塊及一不具有捨位之加權區塊兩者,且可選擇達成最佳編碼效率之區塊。
更大體而言,雙向加權預測可由下式給出:
pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+2r )>>(r+1)
其中pred(i,j)為與加權預測區塊相關聯之資料,pred0(i,j)為來自清單0之資料,pred1(i,j)為來自清單1之資料,w0及w1為權重因數,2r 為捨位項,且>>為右移(r+1)個位元之運算。在一些情況下,可由運動補償單元35產生並考慮pred(i,j)之兩個不同版本。該第一版本與上述方程式一致,且該第二版本與無捨位(亦即,將項「2r 」自該方程式移除)之上述方程式一致。在一些情況下,消除此捨位可達成更好加權預測資料,此可改良編碼效率。運動補償單元35可產生一或多個語法元素,以定義是否將捨位用於一給定視訊區塊或一組視訊區塊。該雙向預測模式及指示是否使用捨位之該一或多個語法元素均可自運動補償單元35輸出至熵編碼單元46,以包括於經編碼位元流中。
B圖像使用兩個先前經編碼參考圖像清單,清單0及清單1。此等兩個清單可各自含有時間次序上為過去及/或未來之經編碼圖像。可以下列幾種方法中之一者來預測B圖像中之區塊:來自清單0參考圖像之運動補償預測、來自清單1參考圖像之運動補償預測,或來自清單0與清單1參考圖像之組合的運動補償預測。為獲得清單0與清單1參考圖像之組合,分別自清單0及清單1參考圖像獲得兩個運動補償參考區域,且該兩個參考區域可以加權方式組合。可接著使用其組合來預測當前區塊。
在本揭示案中,術語「B圖像」將用以大體上指代任何類型之B單元,其可為B圖框、B切片,或可能包括至少一些B視訊區塊的其他視訊單元。如所提及,B圖像可允許3種類型之加權預測,預設、隱含及顯式。此外,有時將預設預測看作顯式權重因數係由預設設定定義的特定類型之顯式預測。為簡單起見,在下文之論述中僅展示單向預測中之前向預測,儘管亦可將後向預測用作另一類型之單向預測。
可由以下方程式分別針對單向預測及雙向預測來定義預設加權預測。
單向預測:pred(i,j)=pred0(i,j)
雙向預測:pred(i,j)=(pred0(i,j)+pred1(i,j)+1)>>1
其中pred0(i,j)及pred1(i,j)為來自清單0及清單1之預測資料。
可由以下方程式分別針對單向預測及雙向預測來定義隱含加權預測。
單向預測:pred(i,j)=pred0(i,j)
雙向預測:pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+32)>>6
在此情況下,每一預測係由權重因數w0或w1按比例調整,其中w0及w1係基於清單0與清單1參考圖像之相對時間位置來計算的。
可由以下方程式分別針對單向預測及雙向預測來定義顯式加權預測。
單向預測:pred(i,j)=(pred0(i,j)*w0+2r-1 )>>r+o1
雙向預測:
pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+2r )>>(r+1)+((o1+o2+1)>>1)
在此情況下,權重因數係由編碼器判定並在切片標頭中傳輸,且o1及o2分別為清單0及清單1參考圖像之圖像偏差值。
習知地,在雙向預測中總是使用捨位調整。根據上述方程式,在預設加權預測中在右移一個位元之前使用1之捨位調整,且在隱含加權預測中在右移六個位元之前使用32之捨位調整。大體上,在右移r個位元之前通常使用2r-1 之捨位調整,其中r表示一正整數。
此等頻繁及偏差捨位運算可降低預測之精確度。此外,在顯式加權預測之雙向預測中,實際上存在2次捨位,一次用於參考圖像且另一次用於偏差值。因此,在此情況下,可累積捨位誤差。根據本揭示案之一項態樣,替代進行2次獨立捨位,視訊編碼器可在右移之前將偏差值加至加權預測,如下:
pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+((o1+o2)<<r)+2r )>>(r+1),
其中pred(i,j)為與捨位相關聯之加權預測資料,pred0(i,j)為來自清單0之資料,pred1(i,j)為來自清單1之資料,w0及w1為權重因數,o1及o2為偏差值,且r及2r 為與右移(r+1)個位元之運算「>>」結合提供捨位的捨位項。此可提供更好之預測準確性。在此情況下,亦可定義一新語法元素以允許將兩個不同偏差值(o1及o2)組合成一個偏差值。此外,在此情況下,一捨位值可包含上述捨位調整(例如,在右移(r+1)個位元之運算之前的2r )以及與該偏差值相關聯的另一捨位值(「r」)。上述方程式亦可稍經修改以為偏差值提供較高精確度。若需要偏差值之較高精確度,則可使偏差值乘以因數(諸如乘以2)且接著捨位至整數。亦可改變左移以指出此添加給了偏差值之精確度。
顯式加權預測之另一問題為單向預測與雙向預測可共用相同權重及偏差值。為具有更多靈活性用於更好預測,根據本揭示案,可解耦單向預測與雙向預測。在此情況下,單向預測及雙向預測可針對一給定類型之預測(預設、隱含或顯式)來定義不同權重及偏差值。可針對顯式預測來定義新語法元素以允許進行更好之預測。一編碼器可將該等語法元素包括於一經編碼位元流中,以用信號傳輸該編碼器所使用之權重因數及該編碼器所使用之可能不同捨位模式,使得解碼器可使用相同權重因數及捨位模式。
適應性地選擇捨位調整為有益的。進行此之一種方法為基於兩組或兩組以上不同之預測資料來產生該兩組或兩組以上不同之預測資料(及可能對一視訊區塊編碼幾次)。一組該預測資料可具有非零捨位,且另一組預測資料可消除捨位。在其他實例中,可考慮升值捨位(upward rounding)、降值捨位(downward rounding)及無捨位。運動補償單元35可產生此等不同類型之預測資料,且可進行速率-失真(RD)分析以針對一給定視訊區塊選擇最佳之預測資料。
速率-失真(RD)分析在視訊編碼中相當普遍,且通常涉及計算指示編碼成本之成本度量。該成本度量可平衡編碼所需之位元數目(速率)及與編碼相關聯之品質級別(失真)。一典型速率-失真成本計算可大體上對應於以下格式:
J(λ)=λR+D,
其中J(λ)為成本,R為位元速率,D為失真,且λ為拉格朗日乘數。
視訊編碼器50識別最合意之預測資料的一種方法為使用運動估計單元32來首先找到運動向量,且接著實施運動補償單元35及加法器48以計算在具有及不具有捨位調整之情況下的預測誤差。運動補償單元35可接著選擇產生最小預測誤差之預測資料。可藉由使用預測資料與經編碼之當前資料之間的絕對差和來計算預測誤差。
根據本揭示案,針對顯式加權預測定義之權重(及視情況偏差值)對於單向預測及雙向預測而言可為不同的。顯式權重可計算為:顯式權重=預設權重*(DC_Current_frame/DC_Reference_frame)在此情況下,術語「DC_Current_frame」為當前圖框(或其他經編碼單元)之所有像素的和,且術語「DC_Reference_frame」為參考圖框(或其他經編碼單元)之所有像素的和,參考圖框可來自清單0或清單1。
清單0及清單1中之每一參考圖框可具有指派至其之顯式權重。此外,每一參考圖框具有用於單向預測之一個權重,且雙向預測中所涉及之每一對參考圖像具有用於兩個參考圖框之一對權重。習知顯式加權預測之問題為單向預測與雙向預測共用相同權重。
作為一實例,若:F=當前圖框
F0=清單0中之參考圖框
F1=清單1中之參考圖框
w0=用於F0之顯式權重
w1=用於F1之顯式權重
wd=預設權重則:
來自清單0之單向預測可由下式給出:pred(i,j)=(pred0(i,j)*w0+2r-1 )>>r來自清單1之單向預測可由下式給出:pred(i,j)=(pred1(i,j)*w1+2r-1 )>>r雙向預測可由下式給出:pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+2r-1 )>>r為了具有更多靈活性用於更好預測,可解耦用於單向預測與雙向預測之權重。
因此,根據本揭示案,來自清單0之單向預測可由下式給出:pred(i,j)=(pred0(i,j)*w0+2r-1 )>>r。來自清單1之單向預測可由下式給出:pred(i,j)=(pred1(i,j)*w1+2r-1 )>>r,及雙向預測可由下式給出:pred(i,j)=(pred0(i,j)*w2+pred1(i,j)*w3+2r-1 )>>r在此情況下,w2不同於w0,且w3不同於w1。
對於單向預測而言,預測單元31可使用原始預設權重並對原始預測權重編碼。對於雙向預測而言,預測單元31可使用藉由最小化一當前圖框(或其他經編碼單元)與一使用來自清單0及清單1之參考圖框所形成的虛擬圖框(或其他參考單元)之間的誤差而計算出的顯式權重並對該等顯式權重編碼。
作為一實例,若:F=當前圖框
F0=清單0中之參考圖框
F1=清單1中之參考圖框
w=顯式權重
Fv=虛擬圖框=wF0+(1-w)F1
e=當前圖框與該虛擬圖框之間的誤差。
則,
e=F-Fv=F-(wF0+(1-w)F1)=F-wF0+wF1-F1=(F-F1)-w(F0-F1)
該誤差可最小化如下:
因此,在此情況下,雙向預測可由下式給出:
pred(i,j)=(pred0(i,j)*w+pred1(i,j)*(1-w)+2r-1 )>>r
此外,在此情況下,根據清單0之單向預測可由下式給出:
pred(i,j)=(pred0(i,j)*wd+2r-1 )>>r
又,在此情況下,根據清單1之單向預測可由下式給出:
pred(i,j)=(pred1(i,j)*wd+2r-1 )>>r
若將B-單元定義為應用加權預測,則可將此等不同權重編碼至一經編碼單元之語法元素中且稍後隨該經編碼單元傳輸(例如,在切片標頭中)。因此,解碼器(未展示於圖2中)可接收此等權重,並僅在一給定區塊需要雙向預測時才使用該等權重。否則,解碼器可將預設權重用於單向預測。該等預設權重可包括於該等語法元素中,或可自該等語法元素排除及在解碼器處預定義為在該語法中不存在顯式權重時所應用之預設權重。
在一些情況下,為了找到最佳加權預測,視訊編碼器50可使用所有可能之權重值來執行編碼且基於速率-失真成本來選擇最佳權重。然而,為了減少複雜性,視訊編碼器50可藉由使用上述技術來執行對權重之第一估計,且接著考慮接近所估計權重之其他權重。換言之,並非藉由考慮每一組可能權重來對最佳預測執行竭盡式搜尋,視訊編碼器50可使用上述技術來估計該等權重,且可接著考慮在一範圍內大於及/或小於所估計權重之其他權重。
作為一實例,該等權重可具有在0與127之間的任何值。識別最佳權重之一種方法為進行一竭盡式搜尋,該竭盡式搜尋考慮每一權重值且基於最低速率-失真成本來選擇最佳權重。然而,識別最佳權重之更快方法可為使用上文所概述之方法來進行對權重之第一猜測,且接著考慮接近於所估計權重(例如,誤差在一因數內)之其他權重。舉例而言,若上述方法產生一權重67,則亦可考慮所估計值67周圍加或減10的值(亦即,57與77之間的值)。在此情況下,可在較小範圍57至77內執行竭盡式搜尋以選擇最佳權重。由於不在整個範圍0至127內執行竭盡式搜尋,所以該等技術相對於完全竭盡式搜尋為簡化的。
為進一步減少編碼器複雜性,在顯式加權預測期間,若所計算權重與預設權重相同,則預測單元31可跳過顯式加權預測步驟。在任何情況下,用於雙向預測及單向預測之不同權重可改良B圖像之品質且達成編碼效率之增益。
在一些情況下,為了找到最佳加權預測,視訊編碼器50可執行多遍編碼且基於速率-失真成本來選擇最佳模式。進行此之一種方法為竭盡式搜尋,其中運動補償單元35產生每一可能加權預測資料並選擇最佳加權預測資料。然而,為減少複雜性,運動補償單元35可實施本揭示案之額外技術,例如,首先在預設加權預測與隱含加權預測之間進行選擇,且接著將該選擇與顯式加權預測進行比較。運動補償單元35可計算與顯式加權預測相關聯之權重及偏差值,且亦可使用顯式加權預測構架來將偏差值加至以不同方式與預設加權預測或隱含加權預測(選擇任一者)相關聯的資料。因此,可由運動補償單元35計算出兩組或兩組以上偏差值。第一組偏差值可藉由使用預設加權預測或隱含加權預測中所使用之已知權重來計算,且第二組偏差值可(例如)藉由最小化運動補償預測誤差作為顯式加權預測之正常計算之部分來與權重聯合地計算。
為進一步減少複雜性,在顯式加權預測期間,若偏差值為零,則運動補償單元35可跳過使用預設權重或隱含權重的顯式加權預測。又,若偏差值為零且所計算權重無改變,則運動補償單元35可跳過使用所計算權重及偏差值的典型顯式加權預測。
如本文所描述,一旦運動補償單元35識別了所要預測資料,視訊編碼器50便藉由自經編碼之原始視訊區塊減去該預測資料來形成一剩餘視訊區塊。加法器48表示執行此減法運算之組件。變換單元38將一變換(諸如離散餘弦變換(DCT)或概念類似之變換)應用於該剩餘區塊,產生包含剩餘變換區塊係數之一視訊區塊。舉例而言,變換單元38可執行概念上類似於DCT之其他變換,諸如由H.264標準定義之彼等變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何情況下,變換單元38將該變換應用於該剩餘區塊,產生剩餘變換係數之一區塊。該變換可將剩餘資訊自像素域轉換至頻域。
量化單元40量化該等剩餘變換係數以進一步減少位元速率。該量化處理程序可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言,在量化期間,可將9位元值捨位至8位元值。另外,量化單元40亦可針對使用偏差值之情況來量化不同偏差值。
在量化之後,熵編碼單元46對量化變換係數進行熵編碼。舉例而言,熵編碼單元46可執行內容適應性可變長度編碼(CAVLC)、內容脈絡適應性二進位算術編碼(CABAC)或另一熵編碼方法。在藉由熵編碼單元46進行熵編碼之後,可將經編碼之視訊傳輸至另一器件或存檔以供稍後傳輸或擷取。經編碼位元流可包括熵編碼剩餘區塊、用於此等區塊之運動向量,及用於傳達用於單向預測及雙向預測之不同權重的諸如本文所描述之語法元素的其他語法。
反向量化單元42及反向變換單元44分別應用反向量化及反向變換,從而以上述方式在像素域中重新建構剩餘區塊(例如)以供稍後用作參考區塊。加法器51將該重新建構剩餘區塊加至由運動補償單元35產生之經運動補償之預測區塊,以產生一重新建構視訊區塊以供儲存於記憶體34中。該重新建構視訊區塊可由運動估計單元32及運動補償單元35用作一用以對一隨後視訊圖框中之一區塊進行框間編碼的參考區塊。
圖3為更詳細地說明圖2之運動補償單元35之一實例的方塊圖。如圖3之實例所示,運動補償單元35耦接至記憶體34,記憶體34將第一組及第二組經編碼單元或參考圖框儲存為清單0 52A及清單1 52B。另外,記憶體34可儲存經編碼之當前視訊資料53。記憶體34可包含一共用記憶體結構,或可能若干個不同記憶體、儲存單元、緩衝器,或促進對本文所論述之任何資料之儲存的其他類型之儲存器。
根據雙向預測,清單0 52A及清單1 52B為與兩個不同預測單元相關聯之資料,例如,來自兩個不同圖框或切片或巨集區塊之資料。此外,雙向預測未必限於任何預測方向,且因此清單0 52A及清單1 52B可儲存來自兩個先前圖框或切片、兩個隨後圖框或切片,或一個先前圖框或切片及一個隨後圖框或切片的資料。此外,在一些情況下,清單0 52A及/或清單1 52B可各自包括與多個圖框、切片或巨集區塊相關聯的資料。清單0 52A及/或清單1 52B僅為兩組不同之可能預測資料,且每一清單可包括相對於經編碼之當前視訊區塊在任何方向上的一個圖框或切片,或若干圖框、切片或巨集區塊。
如圖3所示,運動補償單元35包括一預設加權預測單元54、一隱含加權預測單元56及一顯式加權預測單元58。如本文所描述,單元54、56及58分別執行預設加權預測、隱含加權預測及顯式加權預測。速率-失真(R-D)分析單元64可在此等可能性中選擇加權預測資料,且可實施本揭示案之技術以促進該選擇處理程序。
運動補償單元35亦包括一捨位單元55,其使單元54、56及58中之一或多者產生各別加權預測資料之捨位及未捨位版本。此外,藉由消除捨位,在一些情形中,可改良加權預測資料。
另外,運動補償單元35包括一偏差值計算單元62,其計算偏差值。根據ITU-T H.264/MPEG-4 AVC編碼格式,僅在顯式加權預測中允許偏差值。因此,為在預設加權預測或隱含加權預測之情形中考慮偏差值,可將由預設加權預測單元54或隱含加權預測單元56判定之權重連同由偏差值計算單元62判定之偏差值轉發至顯式加權預測單元58。以此方式,顯式加權預測單元58可藉由將偏差值加至預設加權預測資料或隱含加權預測資料以供R-D分析單元64考慮來利用ITU-T H.264/MPEG-4 AVC編碼格式。在此情況下,顯式加權預測單元58不僅產生正常顯式加權預測資料,且亦產生使用由預設加權預測單元54或隱含加權預測單元56判定之權重結合由偏差值計算單元62判定之偏差值的預測資料。
偏差值計算單元可將偏差值當作經編碼之區塊之視訊區塊值的平均值與預測區塊之視訊區塊值的平均值之間的差來計算。可針對明亮度視訊區塊來計算偏差值,且在一些情況下,可針對明亮度視訊區塊及針對色度視訊區塊來計算偏差值。
R-D分析單元64可分析不同加權預測資料,且可選擇產生品質方面或速率及失真方面最佳之結果的加權預測資料。R-D分析單元64輸出選定加權預測資料,可經由加法器48(圖2)自經編碼之視訊區塊減去該選定加權預測資料。可使用語法元素來向解碼器告知產生該加權預測資料所應使用之方式或方法。該等語法元素(例如)可指示是否使用捨位,且可指示應使用預設加權預測、隱含加權預測還是顯式加權預測。若應使用顯式加權預測,則該等語法元素可進一步識別權重因數及偏差值,該等權重因數及偏差值此外可為與顯式加權預測相關聯之權重因數及偏差值,或可為加上來自偏差值計算單元62之偏差值的實際上由預設加權預測單元54或隱含加權預測單元56定義之權重因數。
顯式加權預測單元58連同R-D分析單元64可執行本揭示案之技術,以針對顯式單向預測及顯式雙向預測定義不同權重。由預設加權預測單元54定義之預設權重可用於顯式單向預測,而由顯式加權預測單元58定義之顯式權重可用 於顯式雙向預測。
圖4為說明例示性視訊解碼器70之方塊圖,視訊解碼器70可執行與上述編碼技術互逆之解碼技術。視訊解碼器70可包括一熵解碼單元72、一預測單元75、一反向量化單元76、一反向變換單元78、一記憶體74及加法器79。預測單元75可包括一運動補償(MC)單元86以及空間預測組件,為便於及易於說明,未展示該等空間組件。
視訊解碼器70接收一經編碼單元,其中該經編碼單元包括指示在該經編碼單元中之一或多個視訊區塊之顯式加權預測期間所將應用之顯式權重的語法元素。熵解碼單元72可對所接收位元流解碼並自該位元流剖析出顯式權重。預測單元75之運動補償單元86將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測。另外,預測單元75之運動補償單元86將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測。
該等顯式權重可包含雙向顯式權重,且該一或多個不同權重可包含單向顯式權重,其可或可不在該經編碼單元中接收到。如上文所提,該一或多個不同權重包含一或多個預設權重。該等預設權重可在MC單元86處預定義且不包括於經編碼單元之語法元素中,或替代地,該等預設權重可包括於經編碼單元之語法元素中。預測單元75亦可支援根據隱含加權預測進行之解碼。舉例而言,解碼單元70可接收不包括顯式權重之另一經編碼單元。在單元72進行熵解碼之後,預測單元75之MC單元86可產生一或多個隱含權重,並將該一或多個隱含權重應用於該另一經編碼單元中之一或多個視訊區塊之隱含加權預測。
通常,熵解碼單元72接收一經編碼位元流且對該位元流進行熵解碼,以產生根據本揭示案所使用之量化係數、運動資訊及其他語法元素。將運動資訊(例如,運動向量)及其他語法元素轉發至預測單元75以用於產生預測資料。預測單元75執行與本揭示案一致之單向預測及雙向預測,根據所接收語法元素將不同權重應用於單向預測及雙向預測。該等語法元素可識別待使用之加權預測類型、在不同情節中應用之權重、將應用之偏差值(若使用顯式加權預測),及在解碼處理程序中是否應使用捨位調整的指示。
將該等量化係數自熵解碼單元72發送至反向量化單元76,其執行反向量化。反向變換單元78接著將解量化係數反向變換回至像素域以產生一剩餘區塊。加法器79將由預測單元75產生之預測資料(例如,一預測區塊)與來自反向變換單元78之剩餘區塊組合以產生一重新建構視訊區塊,其可儲存於記憶體74中及/或自視訊解碼器70輸出作為經解碼視訊輸出。
圖5為說明與本揭示案一致的由一視訊解碼器執行之一例示性處理程序的流程圖。將自圖4之視訊解碼器70之觀點來描述圖5。如圖5所示,熵解碼單元72接收包括顯式權重之一經編碼單元(101)。熵解碼單元72可對該經編碼單元(例如,一圖框或切片)進行熵解碼,並自位元流剖析出該等顯式權重。預測單元75之運動補償單元86將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測(102)。另外,預測單元75之運動補償單元86經由視訊解碼器將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測(103)。視訊解碼器70可將經解碼視訊區塊輸出至一顯示器(圖5中未展示),該顯示器顯示經解碼之視訊區塊(104)。
圖6為說明與本揭示案一致的由一視訊解碼器執行之一例示性處理程序的另一流程圖。亦將自圖4之視訊解碼器70之觀點來描述圖6。如圖6所示,熵解碼單元72接收包括顯式權重之一經編碼單元(111)。熵解碼單元72可對該經編碼單元進行熵解碼,並自位元流剖析出該等顯式權重。預測單元75之運動補償單元86將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測(112)。另外,預測單元75之運動補償單元86將一或多個預設權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測(113)。該等預設權重亦可包括於該經編碼單元之語法元素中,在此情況下,熵解碼單元72可剖析該等語法元素並將該等預設權重轉發至預測單元75。或者,可自語法排除該等預設權重且將其重新程式化至MC單元86中以應用於顯式單向預測。視訊解碼器70可將經解碼視訊區塊輸出至一顯示器(圖5中未展示),該顯示器顯示該經解碼視訊區塊(114)。
圖7為說明與本揭示案一致的由一視訊編碼器執行之用於對一經編碼單元(諸如B-圖框或B-切片)編碼的一例示性處理程序的流程圖。將自圖2之視訊編碼器50之觀點來描述圖7。如圖7所示,預測單元31之運動補償單元35基於顯式權重對一經編碼單元之雙向視訊區塊編碼(121)。舉例而言,運動補償單元35可對該經編碼單元之B-視訊區塊執行速率-失真分析,以選擇最小化與對該等B-視訊區塊編碼相關聯之速率-失真成本度量的雙向權重。
預測單元31之運動補償單元35亦基於不同權重來對該經編碼單元之單向視訊區塊編碼(122)。舉例而言,運動補償單元35可基於預設權重來對該經編碼單元之P-視訊區塊執行編碼。在此情況下,應用於B-視訊區塊之顯式權重不用於P-視訊區塊。實情為,藉由將不同權重應用於預測資料(諸如預設權重)來對P-視訊區塊編碼。可將在對B-視訊區塊編碼中所使用之顯式權重(及可能在對P-視訊區塊編碼中所使用之其他權重)自預測單元31轉發至熵編碼單元46。自加法器48輸出之經編碼視訊區塊(例如,用於P-視訊區塊及B-視訊區塊之剩餘區塊)在發送至熵編碼單元46之前可由單元38變換及由單元40量化。
熵編碼單元46將該等權重編碼至該經編碼單元之語法元素中(123)。詳言之,熵編碼單元46可對該等視訊區塊之經量化及經變換係數進行熵編碼,且可對該經編碼單元之語法元素內的在此編碼中所使用之權重編碼。在此情況下,將應用於B-視訊區塊之顯式權重編碼至該經編碼單元中以由一視訊解碼器應用。應用於P-視訊區塊之其他權重可包括(例如,編碼)至位元流中或可能自位元流排除。舉例而言,應用於P-視訊區塊之預設權重可隨應用於P-視訊區塊之顯式權重一起包括(例如,預設權重可編碼為顯式單向權重),或替代地,應用於P-視訊區塊之預設權重可自該經編碼單元排除且在解碼器處得知,使得此等權重無需在位元流中發送。
在此編碼後,可將該經編碼單元自熵編碼單元46發送至一傳輸器(例如,圖1之傳輸器24)。傳輸器24可接著使用無線通信技術或另一資料通信方法將該經編碼視訊資料傳輸至另一器件(124)。
可在廣泛各種器件或裝置中實施本揭示案之技術,包括無線手機及積體電路(IC)或一組IC(亦即,晶片組)。提供已經描述之任何組件、模組或單元以強調功能態樣且未必要求藉由不同硬體單元來實現。亦可以硬體、軟體、韌體或其任何組合來實施本文所描述之技術。描述為模組、單元或組件之任何特徵可共同實施於整合式邏輯器件中,或獨立地實施為離散但能共同操作之邏輯器件。在一些情況下,可將各種特徵實施為一整合式電路器件,諸如積體電路晶片或晶片組。
若以軟體來實施,則該等技術可至少部分藉由電腦可讀媒體來實現,該電腦可讀媒體包含在處理器中執行時執行上述方法中之一或多者的指令。該電腦可讀媒體可包含一電腦可讀儲存媒體且可形成一電腦程式產品之部分,該電腦程式產品可包括封裝材料。該電腦可讀儲存媒體可包含隨機存取記憶體(RAM)(諸如同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、FLASH記憶體、磁性或光學資料儲存媒體及其類似者。另外或其他,該等技術可至少部分藉由載運或傳達呈指令或資料結構之形式的程式碼且可由電腦存取、讀取及/或執行的電腦可讀通信媒體來實現。
程式碼或指令可由一或多個處理器來執行,諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA),或其他等效整合式或離散邏輯電路。因此,術語「處理器」在本文中使用時可指代前述結構或適於實施本文所述之技術的任何其他結構中之任一者。另外,在一些態樣中,本文所描述之功能性可提供於經組態以用於編碼及解碼的專用軟體模組或硬體模組內,或併入於一組合視訊編碼解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。
本揭示案亦預期包括實施本揭示案中所描述之技術中之一或多者的電路的各種積體電路器件中之任一者。此電路可提供於單一積體電路晶片中或一所謂晶片組中之多個能共同操作之積體電路晶片中。此等積體電路器件可用於各種應用中,其中之一些可包括用於無線通信器件(諸如行動電話手機)中。
已描述本發明之各種實施例。此等及其他實施例係在以下申請專利範圍之範疇內。
10...視訊編碼及解碼系統
12...源器件
15...通信頻道
16...目的器件
20...視訊源
22...視訊編碼器
23...調變器/解調變器(數據機)
24...傳輸器
26...接收器
27...數據機
28...視訊解碼器
30...顯示器件
31...預測單元
32...運動估計單元
34...記憶體
35...運動補償單元
38...變換單元
40...量化單元
42...反向量化單元
44...反向變換單元
46...熵編碼單元
48...加法器
50...視訊編碼器
51...加法器
52A...清單0
52B...清單1
53...視訊資料
54...預設加權預測單元
55...捨位單元
56...隱含加權預測單元
58...顯式加權預測單元
62...偏差值計算單元
64...速率-失真(R-D)分析單元
70...視訊解碼器
72...熵解碼單元
74...記憶體
75...預測單元
76...反向量化單元
78...反向變換單元
79...加法器
86...運動補償單元
圖1為說明可實施本揭示案之技術的一個例示性視訊編碼及解碼系統的方塊圖。
圖2為說明與本揭示案一致的可執行加權預測技術之視訊編碼器之一實例的方塊圖。
圖3為更詳細地說明一運動補償單元之一實例的方塊圖。
圖4為說明與本揭示案一致的可執行加權預測技術之視訊解碼器之一實例的方塊圖。
圖5及圖6為說明與本揭示案一致的可由一視訊解碼器執行之例示性處理程序的流程圖。
圖7為說明與本揭示案一致的可由一視訊編碼器執行之一例示性處理程序的流程圖。
(無元件符號說明)

Claims (15)

  1. 一種在一視訊解碼器中對視訊資料解碼之方法,該方法包含:在該視訊解碼器處接收雙向之一經編碼單元,其中該經編碼單元包含雙向及單向之視訊區塊,且其中該經編碼單元包括指示在該經編碼單元中之該等單向及雙向視訊區塊之顯式加權預測期間所將應用之顯式權重的語法元素;基於由一第一權重因數w2所加權之一第一參考資料清單且基於由一第二權重因數w3所加權之一第二參考資料清單而經由該視訊解碼器將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測;及基於一第三權重因數w0、w1所加權之該第一參考資料清單或該第二參考資料清單而經由該視訊解碼器將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測,該第三權重因數w0、w1不同於用於雙向之該經編碼單元內之該等雙向視訊區塊之該第一權重因數w2及該第二權重因數w3。
  2. 如請求項1之方法,其中該等顯式權重包含雙向顯式權重,且該一或多個不同權重包含單向顯式權重,該方法進一步包含:接收該經編碼單元中之該等單向顯式權重,其中該一或多個不同權重包含一或多個預設權重, 其中該等預設權重係在該視訊解碼器處定義且不包括於該經編碼單元之該等語法元素中,且其中該等預設權重係包括於該經編碼單元之該等語法元素中。
  3. 如請求項1之方法,其進一步包含:接收不包括顯式權重之另一經編碼單元;及產生一或多個隱含權重並將該一或多個隱含權重應用於該另一經編碼單元中之一或多個視訊區塊的隱含加權預測。
  4. 一種在一視訊編碼器中對視訊資料編碼之方法,該方法包含:在該視訊編碼器處對雙向之一經編碼單元編碼,其中該經編碼單元包含雙向及單向之視訊區塊,且其中該經編碼單元包括指示在該經編碼單元中之該等單向及雙向視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;基於由一第一權重因數w2所加權之一第一參考資料清單且基於由一第二權重因數w3所加權之一第二參考資料清單而經由該視訊編碼器基於該等顯式權重對該經編碼單元中之一或多個雙向視訊區塊編碼;及基於一第三權重因數w0、w1所加權之該第一參考資料清單或該第二參考資料清單而經由該視訊編碼器基於一或多個不同權重對該經編碼單元中之一或多個單向視訊區塊編碼,該第三權重因數w0、w1不同於用於雙向之該 經編碼單元內之該等雙向視訊區塊之該第一權重因數及該第二權重因數。
  5. 一種對視訊資料解碼之器件,該器件包含:用於接收雙向之一經編碼單元的構件,其中該經編碼單元包含雙向及單向之視訊區塊,且其中該經編碼單元包括指示在該經編碼單元中之該等單向及雙向視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;用於基於由一第一權重因數w2所加權之一第一參考資料清單且基於由一第二權重因數w3所加權之一第二參考資料清單而將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測的構件;及用於基於一第三權重因數w0、w1所加權之該第一參考資料清單或該第二參考資料清單而將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測的構件,該第三權重因數w0、w1不同於用於雙向之該經編碼單元內之該等雙向視訊區塊之該第一權重因數及該第二權重因數。
  6. 如請求項5之器件,其中該等顯式權重包含雙向顯式權重,且該一或多個不同權重包含單向顯式權重,該器件進一步包含:用於接收該經編碼單元中之該等單向顯式權重的構件。
  7. 如請求項5之器件,其中該一或多個不同權重包含一或多個預設權重。
  8. 如請求項7之器件,其中該等預設權重係在該器件處定義且不包括於該經編碼單元之該等語法元素中。
  9. 如請求項7之器件,其中該等預設權重係包括於該經編碼單元之該等語法元素中。
  10. 如請求項5之器件,其進一步包含:用於接收不包括顯式權重之另一經編碼單元的構件;及用於產生一或多個隱含權重的構件;及用於將該一或多個隱含權重應用於該另一經編碼單元中之一或多個視訊區塊的隱含加權預測的構件。
  11. 一種對視訊資料編碼之器件,該器件包含:用於對雙向之一經編碼單元編碼的構件,該經編碼單元包含雙向及單向之視訊區塊,且其中該經編碼單元包括指示在該經編碼單元中之該等單向及雙向視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素;用於基於由一第一權重因數w2所加權之一第一參考資料清單且基於由一第二權重因數w3所加權之一第二參考資料清單而基於該等顯式權重對該經編碼單元中之一或多個雙向視訊區塊編碼的構件;及用於基於一第三權重因數w0、w1所加權之該第一參考資料清單或該第二參考資料清單而基於一或多個不同權重對該經編碼單元中之一或多個單向視訊區塊編碼的構件,該第三權重因數w0、w1不同於用於雙向之該經編碼單元內之該等雙向視訊區塊之該第一權重因數及該第二 權重因數。
  12. 如請求項11之器件,其中該等顯式權重包含雙向顯式權重,其中該等不同權重包含單向顯式權重,且其中該等語法元素包括該等單向顯式權重。
  13. 如請求項11之器件,其中該等顯式權重包含雙向顯式權重,其中該等不同權重包含預設權重,且其中該等語法元素包括該等預設權重。
  14. 如請求項11之器件,其中該等顯式權重包含雙向顯式權重,其中該等不同權重包含預設權重,且其中該等語法元素不包括該等預設權重。
  15. 一種電腦可讀儲存媒體,其包含在執行時使一處理器對視訊資料解碼的指令,其中:在接收包括指示在雙向之一經編碼單元中之一或多個視訊區塊之顯式加權預測期間將應用之顯式權重的語法元素的該經編碼單元後,其中該經編碼單元包含雙向及單向之視訊區塊,該等指令使該處理器進行以下動作:基於由一第一權重因數w2所加權之一第一參考資料清單且基於由一第二權重因數w3所加權之一第二參考資料清單而將該等顯式權重應用於該經編碼單元中之一或多個雙向視訊區塊之雙向顯式加權預測;及基於一第三權重因數w0、w1所加權之該第一參考資料清單或該第二參考資料清單而將一或多個不同權重應用於該經編碼單元中之一或多個單向視訊區塊之單向顯式加權預測,該第三權重因數w0、w1不同於用於雙向之該 經編碼單元內之該等雙向視訊區塊之該第一權重因數及該第二權重因數。
TW098123558A 2009-07-09 2009-07-10 用於視訊編碼中單向預測及雙向預測之不同權重 TWI408966B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/500,017 US8995526B2 (en) 2009-07-09 2009-07-09 Different weights for uni-directional prediction and bi-directional prediction in video coding

Publications (2)

Publication Number Publication Date
TW201103337A TW201103337A (en) 2011-01-16
TWI408966B true TWI408966B (zh) 2013-09-11

Family

ID=41572418

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098123558A TWI408966B (zh) 2009-07-09 2009-07-10 用於視訊編碼中單向預測及雙向預測之不同權重

Country Status (8)

Country Link
US (1) US8995526B2 (zh)
EP (1) EP2452495B1 (zh)
JP (1) JP5497169B2 (zh)
KR (1) KR101355332B1 (zh)
CN (1) CN102474600B (zh)
BR (1) BR112012000252A2 (zh)
TW (1) TWI408966B (zh)
WO (1) WO2011005267A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US10575051B2 (en) * 2009-11-13 2020-02-25 Triveni Digital Inc. System and method for enhanced television and delivery of enhanced television content
JP2011147049A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012034213A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 画像処理装置、画像処理システムおよび画像処理方法
CN103503458B (zh) 2011-01-07 2017-09-22 诺基亚技术有限公司 视频编码中的运动预测
AU2012205076B2 (en) * 2011-01-07 2016-01-14 Samsung Electronics Co. Ltd. Video prediction method capable of performing bilateral prediction and unilateral prediction and a device thereof, video encoding method and device thereof, and video decoding method and device thereof
US10362327B2 (en) 2011-01-14 2019-07-23 Sony Corporation B-picture syntax change for generalized bi-prediction in high efficiency video coding (HEVC)
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
CN102695061B (zh) * 2011-03-20 2015-01-21 华为技术有限公司 一种权重因子的确定方法和装置,以及一种帧内加权预测方法和装置
US8934552B2 (en) 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
JP5768491B2 (ja) * 2011-05-17 2015-08-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
PL3454561T3 (pl) * 2011-09-14 2020-05-18 Samsung Electronics Co., Ltd. Sposób i urządzenie do kodowania jednostki predykcji (pu) w oparciu o jej rozmiar i odpowiadające urządzenie do dekodowania
US10499063B2 (en) * 2011-09-16 2019-12-03 Hfi Innovation Inc. Method and apparatus for prediction mode and partition mode syntax coding for coding units in HEVC
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
KR20160065939A (ko) * 2013-11-05 2016-06-09 애리스 인터프라이지즈, 인크. 고정밀도 데이터에 대한 비트 심도 변수를 이용한 가중화된 예측 신택스 및 시맨틱들의 간략화된 프로세싱
CN107787582A (zh) * 2015-06-10 2018-03-09 三星电子株式会社 使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备
WO2016203114A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
WO2018008905A1 (ko) 2016-07-05 2018-01-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018008906A1 (ko) * 2016-07-05 2018-01-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN114513657B (zh) * 2016-07-05 2024-06-04 株式会社Kt 对视频进行解码的方法和设备以及对视频进行编码的方法
US10805631B2 (en) * 2016-09-23 2020-10-13 Lg Electronics Inc. Method and apparatus for performing prediction using template-based weight
US10951912B2 (en) 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
CN108268987B (zh) * 2016-12-30 2021-08-06 郑芳田 多样式产品的品质推估方法
KR20180103732A (ko) 2017-03-09 2018-09-19 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102351029B1 (ko) * 2017-05-16 2022-01-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR101963557B1 (ko) * 2017-08-31 2019-03-28 주식회사 알고리고 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 장치
KR101963558B1 (ko) * 2017-08-31 2019-03-28 주식회사 알고리고 어텐션 매트릭스를 이용한 전기차 전력 수요 예측 장치
CN111801946A (zh) 2018-01-24 2020-10-20 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测
TWI730380B (zh) * 2018-08-17 2021-06-11 聯發科技股份有限公司 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質
CN111050177B (zh) * 2018-10-15 2021-07-20 腾讯科技(深圳)有限公司 视频编码、视频解码方法、装置、计算机设备和存储介质
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
US11134246B2 (en) * 2019-01-02 2021-09-28 Shumaker & Sieffert, P.A. Weighted prediction for video coding
KR102080094B1 (ko) * 2019-03-22 2020-02-21 주식회사 알고리고 인코딩 어텐션 가중치 및 디코딩 어텐션 가중치를 이용한 전기차 전력 수요 예측 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200406126A (en) * 2002-07-15 2004-04-16 Thomson Licensing Sa Adaptive weighting of reference pictures in video decoding
WO2005094086A1 (en) * 2004-02-27 2005-10-06 Thomson Licensing Error concealment technique using weighted prediction
WO2007094792A1 (en) * 2006-02-17 2007-08-23 Thomson Licensing Localized weighted prediction handling video data brightness variations

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816552B2 (en) 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CN100532073C (zh) * 2002-01-11 2009-08-26 纤维线公司 一种制造纤维增强结构元件的方法
US7936825B2 (en) * 2002-02-01 2011-05-03 Panasonic Corporation Moving image coding method and moving image decoding method
EP1530829B1 (en) * 2002-07-09 2018-08-22 Nokia Technologies Oy Method and apparatus for selecting interpolation filter type in video coding
JP4756573B2 (ja) * 2002-12-04 2011-08-24 トムソン ライセンシング 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法
MXPA05013727A (es) 2003-06-25 2006-07-06 Thomson Licensing Metodo y aparato para el calculo de prediccion ponderada con el uso de diferencial de cuadro desplazado.
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
CN1926882B (zh) * 2004-04-21 2010-10-06 松下电器产业株式会社 运动补偿装置
US7515637B2 (en) * 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
CN101023673B (zh) 2004-09-16 2011-06-08 汤姆逊许可证公司 具有利用局部亮度变化的加权预测的视频编解码器
US20060146932A1 (en) * 2004-12-30 2006-07-06 Krit Panusopone Method and apparatus for providing motion estimation with weight prediction
US8457203B2 (en) 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
KR100714696B1 (ko) 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP4561508B2 (ja) 2005-07-08 2010-10-13 ソニー株式会社 画像処理装置、画像処理方法およびそのプログラム
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US8311121B2 (en) 2005-10-12 2012-11-13 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
KR101406156B1 (ko) * 2006-02-02 2014-06-13 톰슨 라이센싱 움직임 보상 예측을 위한 적응 가중 선택 방법 및 장치
EP2008461B1 (en) * 2006-03-30 2015-09-16 LG Electronics Inc. A method and apparatus for decoding/encoding a multi-view video signal
WO2007116551A1 (ja) 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US8270492B2 (en) * 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
US8457200B2 (en) 2006-07-07 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
KR101408698B1 (ko) 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
WO2009054347A1 (ja) 2007-10-25 2009-04-30 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
US8831087B2 (en) * 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200406126A (en) * 2002-07-15 2004-04-16 Thomson Licensing Sa Adaptive weighting of reference pictures in video decoding
WO2005094086A1 (en) * 2004-02-27 2005-10-06 Thomson Licensing Error concealment technique using weighted prediction
WO2007094792A1 (en) * 2006-02-17 2007-08-23 Thomson Licensing Localized weighted prediction handling video data brightness variations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jill M. Boyce, "WEIGHTED PREDICTION IN THE H.264/MPEG AVC VIDEO CODING STANDARD", Proceedings of the 2004 International Symposium on Circuits and Systems, vol. 3, pp. 789-792, 2004。 *

Also Published As

Publication number Publication date
BR112012000252A2 (pt) 2016-02-16
CN102474600B (zh) 2015-11-25
EP2452495B1 (en) 2017-10-11
WO2011005267A1 (en) 2011-01-13
EP2452495A1 (en) 2012-05-16
CN102474600A (zh) 2012-05-23
US20110007803A1 (en) 2011-01-13
US8995526B2 (en) 2015-03-31
KR20120031515A (ko) 2012-04-03
KR101355332B1 (ko) 2014-01-27
TW201103337A (en) 2011-01-16
JP2012533212A (ja) 2012-12-20
JP5497169B2 (ja) 2014-05-21

Similar Documents

Publication Publication Date Title
TWI408966B (zh) 用於視訊編碼中單向預測及雙向預測之不同權重
US9609357B2 (en) Non-zero rounding and prediction mode selection techniques in video encoding
KR101377883B1 (ko) 비디오 인코딩에서 넌-제로 라운딩 및 예측 모드 선택 기법들
US8995527B2 (en) Block type signalling in video coding
JP5175397B2 (ja) 効率的な予測モード選択
EP2449786B1 (en) Template matching for video coding