TWI413419B - 視訊編碼中之非零修整與預測模式選擇技術 - Google Patents

視訊編碼中之非零修整與預測模式選擇技術 Download PDF

Info

Publication number
TWI413419B
TWI413419B TW099122752A TW99122752A TWI413419B TW I413419 B TWI413419 B TW I413419B TW 099122752 A TW099122752 A TW 099122752A TW 99122752 A TW99122752 A TW 99122752A TW I413419 B TWI413419 B TW I413419B
Authority
TW
Taiwan
Prior art keywords
data
weighted prediction
video
list
prediction data
Prior art date
Application number
TW099122752A
Other languages
English (en)
Other versions
TW201106704A (en
Inventor
Marta Karczewicz
Peisong Chen
Yan Ye
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201106704A publication Critical patent/TW201106704A/zh
Application granted granted Critical
Publication of TWI413419B publication Critical patent/TWI413419B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視訊編碼中之非零修整與預測模式選擇技術
本發明係關於視訊編碼，且更特定言之，係關於使用雙向預測之視訊編碼技術。
以下同在申請中且共同讓與之申請案以引用的方式明確地併入本文中：Marta Karczewicz、Peisong Chen及Yan Ye的與本申請案同日申請且代理人檔案號碼082069U2之「Non-Zero Rounding And Prediction Mode Selection Techniques In Video Encoding」。
數位多媒體能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線通信器件、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器件、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、數位媒體播放器及其類似者。數位多媒體器件可實施諸如MPEG-2、ITU-H.263、MPEG-4或ITU-H.264/MPEG-4第10部分(進階視訊編碼(AVC))之視訊編碼技術以更有效地傳輸及接收或儲存及擷取數位視訊資料。視訊編碼技術可經由空間及時間預測執行視訊壓縮以減少或移除視訊序列中固有之冗餘。
在視訊編碼中，壓縮常常包括空間預測、運動估計及運動補償。框內編碼依賴於空間預測及變換編碼(諸如，離散餘弦變換(DCT))，以減少或移除給定視訊圖框內之視訊區塊之間的空間冗餘。框間編碼依賴於時間預測及變換編碼以減少或移除視訊序列之連續視訊圖框之視訊區塊之間的時間冗餘。框內編碼之圖框(「I圖框」)常常用作隨機存取點以及其他圖框之框間編碼之參考。然而，I圖框通常展現比其他圖框少之壓縮。術語「I單元」可指代I圖框、I片段或I圖框之其他可獨立解碼部分。
對於框間編碼，視訊編碼器執行運動估計，以追蹤兩個或兩個以上鄰近圖框或其他經編碼之單元(諸如，圖框之片段)之間的匹配視訊區塊之移動。經框間編碼之圖框可包括預測性圖框(「P圖框」)，其可包括自先前圖框預測之區塊；及雙向預測性圖框(「B圖框」)，其可包括自視訊序列之先前圖框及後續圖框預測之區塊。在早期編碼技術將預測限制在特定方向上的意義上，術語「P圖框」及「B圖框」為稍微有歷史性的。較新編碼格式及標準可能不限制P圖框或B圖框之預測方向。因此，術語「雙向」現指代基於兩個或兩個以上參考資料之清單(而不管該等參考資料相對於經編碼之資料的時間關係)之預測。
舉例而言，與諸如ITU H.264之較新視訊標準一致之雙向預測可基於兩個不同清單，該兩個不同清單未必需要具有在時間上位於當前視訊區塊之前及之後之資料。換言之，可自兩個資料清單預測B視訊區塊，該兩個資料清單可對應於來自兩個先前圖框、兩個後續圖框或一先前圖框及一後續圖框之資料。相比而言，基於可對應於一個預測性圖框(例如，一先前圖框或一後續圖框)之一個清單(亦即，一個資料結構)而預測P視訊區塊。B圖框及P圖框可更通常被稱作P單元及B單元。亦可在較小的經編碼單元(諸如，圖框之片段或圖框之部分)中實現P單元及B單元。B單元可包括B視訊區塊、P視訊區塊或I視訊區塊。P單元可包括P視訊區塊或I視訊區塊。I單元可僅包括I視訊區塊。
對於P視訊區塊及B視訊區塊而言，運動估計產生運動向量，其指示視訊區塊相對於預測性參考圖框或其他經編碼單元中的對應預測視訊區塊之移位。運動補償使用運動向量以自預測性參考圖框或其他經編碼單元產生預測視訊區塊。在運動補償之後，藉由自待編碼之原始視訊區塊減去預測視訊區塊而形成殘餘視訊區塊。視訊編碼器通常應用變換、量化及熵編碼程序以進一步減小與殘餘區塊之傳達相關聯的位元率。I單元及P單元通常用以定義用於P單元及B單元之框間編碼之參考區塊。
本發明描述適用於雙向預測之視訊編碼及解碼技術。在雙向預測中，可基於預測性參考資料之兩個不同的清單來預測性地編碼及解碼視訊區塊。在本發明之一態樣中，可特意消除對雙向預測性資料之修整調整以提供缺乏任何修整偏置之預測性資料。在此情況下，可在速率-失真分析中考慮經修整之預測性資料與未經修整之預測性資料兩者以識別用於預測一給定視訊區塊之最佳資料。可編碼一或多個語法元素以指示該選擇，且一解碼器可解譯該一或多個語法元素以便判定是否應使用修整。
在本發明之另一態樣中，描述用於在預設加權預測、隱式加權預測及顯式加權預測當中進行選擇之技術。在此背景下，亦描述用於將偏移加至預測資料之技術，例如，使用顯式加權預測之格式以允許實現原本由隱式或預設加權預測界定的對預測性資料之偏移。
在一實例中，本發明描述一種編碼視訊資料之方法。該方法包含：產生視兩個或兩個以上資料清單而定且包括一修整調整之第一加權預測資料，產生視該兩個或兩個以上資料清單而定且不包括該修整調整之第二加權預測資料，基於預測資料之複數個候選者之一速率-失真分析來選擇用於編碼該視訊資料的預測資料，其中預測資料之該複數個候選者包括該第一加權預測資料及該第二加權預測資料，及使用該選定預測資料編碼該視訊資料。
在另一實例中，本發明描述一種包含以下各項之方法：接收經編碼之視訊資料，接收指示一修整調整是否被用以編碼該經編碼之視訊資料之一或多個語法元素，產生視兩個或兩個以上資料清單而定的加權預測資料，其中在該一或多個語法元素指示該修整調整未用以編碼該經編碼之視訊資料的情況下該加權預測資料不包括該修整調整，及使用該加權預測資料解碼該視訊資料。
在另一實例中，本發明描述一種編碼視訊資料之視訊編碼器裝置。該裝置：包含一記憶體，該記憶體儲存該視訊資料及用以預測性地編碼該視訊資料之兩個或兩個以上資料清單；及一運動補償單元。該運動補償單元產生視該兩個或兩個以上資料清單而定且包括一修整調整之第一加權預測資料，產生視該兩個或兩個以上資料清單而定且不包括該修整調整之第二加權預測資料，且基於預測資料之複數個候選者之一速率-失真分析來選擇用於編碼該視訊資料的預測資料，其中預測資料之該複數個候選者包括該第一加權預測資料及該第二加權預測資料。該視訊編碼器裝置使用該選定預測資料編碼該視訊資料。
在另一實例中，本發明描述一種視訊解碼器裝置，其包含：一熵單元，其接收經編碼之視訊資料，且將指示一修整調整是否被用以編碼該經編碼之視訊資料之一或多個語法元素解碼，及一預測單元，其產生視兩個或兩個以上資料清單而定之加權預測資料，其中在該一或多個語法元素指示該修整調整未用以編碼該經編碼之視訊資料的情況下該加權預測資料不包括該修整調整，其中該視訊解碼器使用該加權預測資料解碼該視訊資料。
在另一實例中，本發明描述一種編碼視訊資料之器件，該器件包含：用於產生視兩個或兩個以上資料清單而定且包括一修整調整之第一加權預測資料之構件，用於產生視該兩個或兩個以上資料清單而定且不包括該修整調整之第二加權預測資料之構件，用於基於預測資料之複數個候選者之一速率-失真分析來選擇用於編碼該視訊資料的預測資料之構件，其中預測資料之該複數個候選者包括該第一加權預測資料及該第二加權預測資料，及用於使用該選定預測資料編碼該視訊資料之構件。
在另一實例中，本發明描述一種器件，其包含：用於接收經編碼之視訊資料之構件，用於接收指示一修整調整是否被用以編碼該經編碼之視訊資料之一或多個語法元素之構件，用於產生視兩個或兩個以上資料清單而定之加權預測資料之構件，其中在該一或多個語法元素指示該修整調整未用以編碼該經編碼之視訊資料時該加權預測資料不包括該修整調整，及用於使用該加權預測資料解碼該視訊資料之構件。
可以硬體、軟體、韌體或其任何組合來實施本發明中所描述之技術。若以軟體實施，則軟體可在一或多個處理器中被執行，諸如，微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或數位信號處理器(DSP)。執行該等技術之軟體可最初儲存於電腦可讀媒體中且載入於處理器中並在處理器中執行。
因此，本發明亦預期一種包含指令之電腦可讀儲存媒體，該等指令在執行時使一處理器：產生視兩個或兩個以上資料清單而定且包括一修整調整之第一加權預測資料，產生視該兩個或兩個以上資料清單而定且不包括該修整調整之第二加權預測資料，基於預測資料之複數個候選者之一速率-失真分析來選擇用於編碼該視訊資料的預測資料，其中預測資料之該複數個候選者包括該第一加權預測資料及該第二加權預測資料，且使用該選定預測資料編碼該視訊資料。
在另一實例中，本發明描述一種包含指令之電腦可讀儲存媒體，該等指令在執行時使一處理器在接收到經編碼之視訊資料，且接收到指示一修整調整是否被用以編碼該經編碼之視訊資料之一或多個語法元素時：產生視兩個或兩個以上資料清單而定之加權預測資料，其中在該一或多個語法元素指示該修整調整未用以編碼該經編碼之視訊資料的情況下該加權預測資料不包括該修整調整；及使用該加權預測資料解碼該視訊資料。
在隨附圖式及下文之描述中闡述本發明之一或多個態樣之細節。本發明中所描述之技術的其他特徵、目標及優點將自描述及圖式以及自申請專利範圍顯而易見。
本發明描述適用於雙向預測之視訊編碼及解碼技術。在雙向預測中，基於預測性參考資料之兩個不同清單而預測性地編碼及解碼視訊區塊。在本發明之一態樣中，可特意消除對雙向預測性資料之修整調整以提供缺乏任何修整偏置之預測性資料。在此情況下，可在速率-失真分析中考慮經修整之預測性資料及未經修整之預測性資料兩者以識別用於預測給定視訊區塊之最佳資料。可編碼一或多個語法元素以指示選擇，且解碼器可解譯該一或多個語法元素以便判定是否應將修整用於解碼程序中。
在本發明之另一態樣中，描述用於在預設加權預測、隱式加權預測及顯式加權預測當中進行選擇之編碼技術。在此背景下，亦描述用於將偏移加至預測資料之技術，例如，使用顯式加權預測之格式以允許實現原本由隱式或預設加權預測判定的對預測性資料之偏移。
加權預測指代可將權重指派至兩個或兩個以上不同的預測性資料集合之雙向預測。預設加權預測指代由某預設設定預定義與兩個或兩個以上不同清單相關聯的權重因子之加權預測。在一些情況下，預設加權預測可向該等清單中之每一者指派相等權重。隱式加權預測指代基於與資料相關聯之一些隱式因子定義與兩個或兩個以上不同清單相關聯的權重因子之加權預測。舉例而言，可藉由兩個不同清單中之資料相對於經預測性編碼之資料的時間位置來定義隱式權重因子。若與清單1中之資料相比，清單0中之資料在時間上更接近於經預測性編碼之資料，則在隱式加權預測中可向清單0中之資料指派較大隱式權重因子。
顯式加權預測指代權重因子作為編碼程序之部分被動態地定義且編碼至位元流中之加權預測。在此方面，顯式加權預測不同於預設加權預測及隱式加權預測，例如，顯式加權預測產生經編碼為位元流之部分之權重因子，而預設及隱式加權預測定義預定義或由解碼器判定之權重因子(在位元流中不存在權重因子)。
根據本發明之一態樣，相對於習知加權預測，可藉由消除對加權預測資料之修整調整而修改加權預測。在此情況下，編碼器可分析且考慮經修整之加權預測資料及未經修整之加權預測資料兩者，且可基於速率-失真分析使用經修整或未經修整之加權預測資料。可定義一或多個語法元素且將一或多個語法元素編碼至位元流中以便識別是使用了經修整之加權預測資料或是使用了未經修整之加權預測資料。解碼器可解譯該一或多個語法元素以便判定在解碼中應使用經修整之加權預測資料或是應使用未經修整之加權預測資料。
根據本發明之另一態樣，描述用於在預設加權預測、隱式加權預測及顯式加權預測當中進行選擇之編碼技術。編碼器可經程式化以在預設加權預測與隱式加權預測之間進行選擇，而非相對於彼此地考慮此等可能性中之每一者。接著，可將該選擇與顯式加權預測比較。可執行顯式加權預測以計算顯式權重因子，但亦可將計算之顯式加權預測與具有對應於由預設加權預測或隱式加權預測定義之權重因子的權重因子之顯式加權預測比較。
相對於預設加權預測及隱式加權預測，顯式加權預測可在以下方面具有優點：顯式加權預測允許將偏移添加至預測性資料。該偏移可偏置或調整預測性資料，且可在解決閃光、變暗的天空、場景改變或視訊圖框之間的其他類型之照明改變方面為極有用的。舉例而言，偏移可提供對視訊區塊之所有值的共同調整，(例如)以將該等值向上或向下偏置。根據本發明，可在顯式加權預測之背景下考慮由預設加權預測或隱式加權預測定義之權重因子，藉此在維持與預設或隱式加權預測相關聯之權重因子的同時促進偏移之添加。以此方式，可改良預測性資料，此在一些情況下可幫助改良資料壓縮。
圖1為說明可實施本發明之技術之一例示性視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括一源器件12，其經由通信頻道15將經編碼之視訊傳輸至目的地器件16。源器件12及目的地器件16可包含廣泛範圍之器件中之任一者。在一些情況下，源器件12及目的地器件16包含無線通信器件，諸如無線手機、所謂的蜂巢式或衛星無線電電話，或可經由通信頻道15傳達視訊資訊之任何器件，通信頻道15可能為無線的或可能並非無線的。然而，本發明之技術(該等技術關於非零修整及預測模式選擇技術)未必限於無線應用或設定。
在圖1之實例中，源器件12可包括視訊源20、視訊編碼器22、調變器/解調變器(數據機)23及傳輸器24。目的地器件16可包括接收器26、數據機27、視訊解碼器28，及顯示器件30。根據本發明，源器件12之視訊編碼器22可經組態以應用非零修整及預測模式選擇技術作為視訊編碼程序之部分。視訊解碼器28可接收指示該選擇且指示是否使用了非零修整之一或多個語法元素。因此，視訊解碼器28可執行在所接收之位元流中所傳訊之適當加權預測。
圖1之所說明系統10僅為例示性的。可藉由支援雙向運動補償預測之任何編碼器件來執行本發明之非零修整及預測模式選擇技術。源器件12及目的地器件16僅為該等編碼器件之實例，其中源器件12產生用於傳輸至目的地器件16的經編碼之視訊資料。在一些情況下，器件12、16可以實質上對稱之方式操作，以使得器件12、16中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、16之間的單向或雙向視訊傳輸，以(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源20可包括視訊俘獲器件，諸如視訊相機、含有先前所俘獲之視訊的視訊存檔，或來自視訊內容提供者之視訊饋入。作為另一替代例，視訊源20可產生基於電腦圖形之資料作為源視訊，或實況視訊、封存視訊及電腦產生之視訊的組合。在一些情況下，若視訊源20為視訊相機，則源器件12與目的地器件16可形成所謂的相機電話或視訊電話。在每一情況下，可由視訊編碼器22來編碼經俘獲、經預先俘獲或電腦產生之視訊。接著可由數據機23根據通信標準(例如，分碼多重存取(CDMA)或另一通信標準)調變經編碼之視訊資訊，且經由傳輸器24將其傳輸至目的地器件16。數據機23可包括各種混頻器、濾波器、放大器或經設計用於信號調變之其他組件。傳輸器24可包括經設計用於傳輸資料之電路，包括放大器、濾波器及一或多個天線。
目的地器件16之接收器26經由頻道15接收資訊，且數據機27解調變該資訊。又，視訊編碼程序可實施本文中所描述之技術中的一或多者以提供與本發明一致之非零修整及預測模式選擇。經由頻道15而傳達之資訊可包括由視訊編碼器22定義之資訊(其可由與本發明一致的視訊解碼器28來使用)。顯示器件30向使用者顯示經解碼之視訊資料，且可包含多種顯示器件中之任一者，諸如，陰極射線管、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
在圖1之實例中，通信頻道15可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線，或無線媒體與有線媒體之任何組合。因此，數據機23及傳輸器24可支援許多可能的無線協定、有線協定，或有線協定與無線協定。通信頻道15可形成諸如區域網路(LAN)、廣域網路(WAN)或全球網路(諸如，網際網路，包含一或多個網路之互連)之基於封包之網路的部分。通信頻道15大體上表示用於將視訊資料自源器件12傳輸至目的地器件16之任何合適通信媒體或不同通信媒體之集合。通信頻道15可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件16之通信的任何其他設備。
視訊編碼器22及視訊解碼器28可根據視訊壓縮標準(諸如，ITU-T H.264標準，或者被描述為MPEG-4，第10部分，進階視訊編碼(AVC))進行操作。然而，本發明之技術不限於任何特定編碼標準。雖然在圖1中未展示，但在一些態樣中，視訊編碼器22及視訊解碼器28可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置一共同資料流或單獨的若干資料流中之音訊與視訊兩者的編碼。若適用，則MUX-DEMUX單元可遵守ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準是作為被稱為聯合視訊小組(JVT)的集體合作之產物由ITU-T視訊編碼專家群(VCEG)連同ISO/IEC動畫專家群(MPEG)制定的。在一些態樣中，可將本發明中所描述之技術應用於大體上遵守H.264標準之器件。H.264標準描述於由ITU-T研究群於2005年3月發佈的ITU-T推薦H.264「Advanced Video Coding for generic audiovisual services」中，該ITU-T推薦H.264在本文中可被稱作H.264標準或H.264規範或H.264/AVC標準或規範。聯合視訊小組(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。
在ITU-T之各種論壇(諸如，關鍵技術領域(KTA)論壇)中正進行推進H.264/MPEG-4 AVC標準之工作。KTA論壇在某種程度上尋求展現比H.264/AVC標準所展現之編碼效率高的編碼效率之編碼技術。本發明中所描述之技術可提供相對於H.264/AVC標準之編碼改良。近期，KTA論壇接收到詳述可被視為與本文中所描述之技術有關或相關的技術之文件，其由Yan Ye、Peisong Chen及Marta Karczewicz提交，編號為VCEG-AI33、題為「High Precision Interpolation and Prediction」且在2008年7月16日至18日在德國柏林的第35次會議上提出，該文件之全部內容在此以引用的方式併入本文。
視訊編碼器22及視訊解碼器28各自可實施為一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體，或其任何組合。視訊編碼器22及視訊解碼器28中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別行動器件、用戶器件、廣播器件、伺服器或其類似者中的組合之編碼器/解碼器(CODEC)之部分。
視訊序列通常包括一系列視訊圖框。視訊編碼器22及視訊解碼器28可對個別視訊圖框內之視訊區塊進行操作以便編碼及解碼視訊資料。視訊區塊可具有固定或變化之大小，且可根據所指定之編碼標準而在大小上不同。每一視訊圖框可包括一系列片段或其他可獨立解碼單元。每一片段可包括一系列巨集區塊，該等巨集區塊可配置成子區塊。作為一實例，ITU-T H.264標準支援：以各種區塊大小之框內預測，諸如，針對明度分量之16乘16、8乘8或4乘4，及針對色度分量之8×8；以及以各種區塊大小之框間預測，諸如，針對明度分量之16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4，及針對色度分量之對應按比例調整之大小。視訊區塊可包含像素資料之區塊，或(例如)在變換程序(諸如，離散餘弦變換或概念上類似之變換程序)之後的變換係數之區塊。
較小視訊區塊可提供較佳解析度，且可用於視訊圖框之包括高層級細節的位置。大體而言，巨集區塊及各種子區塊可被視為視訊區塊。另外，片段可被視為一系列視訊區塊，諸如，巨集區塊及/或子區塊。每一片段可為視訊圖框之可獨立解碼之單元。或者，圖框自身可為可解碼單元，或圖框之其他部分可被定義為可解碼單元。術語「經編碼單元」指代視訊圖框之任何可獨立解碼之單元，諸如，整個圖框、圖框之片段、圖像群組(GOP)，或根據所使用之編碼技術而定義的另一可獨立解碼單元。
在基於框間之預測性編碼(其包括內插及用以有效地選擇用來預測經編碼之單元的預測演算法或模式之本發明之技術)之後及在任何變換(諸如，用於H.264/AVC中之4×4或8×8整數變換或離散餘弦變換或DCT)之後，可執行量化。量化大體上指代將係數量化以可能地減少用以表示該等係數之資料量的程序。量化程序可減小與該等係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間16位元值可向下修整至15位元值。在量化之後，可(例如)根據內容適應性可變長度編碼(CAVLC)、上下文適應性二進位算術編碼(CABAC)或另一熵編碼方法來執行熵編碼。
本發明之技術特別適用於加權雙向預測。如上文所提及，雙向預測為基於兩個不同資料清單對所謂的「B視訊區塊」之預測。可根據來自兩個先前圖框之兩個資料清單、來自後續圖框之兩個資料清單或來自一先前圖框之一個資料清單及來自一後續圖框之一個資料清單來預測B視訊區塊。相比而言，基於可對應於一個預測性圖框(例如，一個先前圖框或一個後續圖框)之一個清單來預測P視訊區塊。B圖框及P圖框可更通常被稱作P單元及B單元。亦可以較小經編碼單元(諸如，圖框之片段或圖框之部分)實現P單元及B單元。B單元可包括B視訊區塊、P視訊區塊或I視訊區塊。P單元可包括P視訊區塊或I視訊區塊。I單元可僅包括I視訊區塊。
加權雙向預測指代允許將權重因子指派至兩個不同清單之雙向預測。每一清單可包含與預測性圖框或其他經編碼單元相關聯的資料集合。在加權雙向預測中，在產生預測性資料的程序中可對一個清單加上較大權重。舉例而言，若該等清單中之一者具有更類似於正被編碼之視訊區塊之資料，則彼清單可比另一清單獲得更大權重。
對於根據ITU-T H.264之不同類型之加權雙向預測而言，視訊編碼器22及視訊解碼器28可大體上支援三種不同類型之預測模式。被稱作「預設加權預測」之第一預測模式指代由某預設設定預定義與兩個或兩個以上不同清單相關聯的權重因子之加權預測。在一些情況下，預設加權預測可向該等清單中之每一者指派相等權重。
被稱作「隱式加權預測」之第二預測模式指代基於與資料相關聯之一些隱式因子來定義與兩個或兩個以上不同清單相關聯的權重因子之加權預測。舉例而言，可藉由兩個不同清單中之資料相對於正被預測性編碼之資料的相對時間位置來定義隱式權重因子。在預設加權預測及隱式加權預測兩者中，權重因子不包括於位元流中。更具體而言，視訊解碼器28可經程式化以知曉權重因子(對於預設)或可經程式化以知曉如何導出權重因子(對於隱式)。
被稱作「顯式加權預測」之第三預測模式指代作為編碼程序之部分動態地定義權重因子且將權重因子編碼至位元流中之加權預測。顯式加權預測在此方面(例如，顯式加權預測產生經編碼為位元流之部分的權重因子)不同於預設加權預測及隱式加權預測。
根據本發明之一態樣，可藉由消除對加權預測資料之修整調整來相對於習知加權預測修改加權預測。在此情況下，編碼器22可分析且考慮經修整之加權預測資料及未經修整之加權預測資料兩者，且可基於速率-失真分析使用經修整或未經修整之加權預測資料。可定義一或多個語法元素且將其編碼至位元流中以便識別是使用了經修整之加權預測資料或是未經修整之加權預測資料。解碼器28可解碼且解譯該(該等)語法元素，且基於該(該等)語法元素，解碼器28可在解碼程序中使用經修整或未經修整之加權預測資料。修整調整之移除可應用於預設加權預測、隱式加權預測及顯式加權預測。
根據本發明之另一態樣，視訊編碼器22可在預設加權預測、隱式加權預測及顯式加權預測當中進行選擇。在此態樣中，編碼器22可經程式化以在預設加權預測與隱式加權預測之間進行選擇，而非相對於彼此地考慮此等可能性中之每一者。接著，可將該選擇與顯式加權預測比較。特定言之，編碼器22可執行顯式加權預測以計算顯式權重因子，但編碼器22亦可將計算之顯式加權預測與具有對應於由預設加權預測或隱式加權預測定義之權重因子的權重因子之顯式加權預測比較。
相對於預設加權預測及隱式加權預測，顯式加權預測可在以下方面具有優點：顯式加權預測允許編碼偏移。該偏移可調整預測性資料且可在解決閃光、變暗的天空、場景改變或視訊圖框之間的其他類型之照明改變方面為極有用的。根據本發明，可由視訊編碼器22在顯式加權預測之背景下考慮由預設加權預測或隱式加權預測定義之權重因子，藉此在維持與預設或隱式加權預測相關聯之權重因子的同時促進偏移之添加。以此方式，在一些情況下，可改良預測性資料，此可幫助改良資料壓縮。
在視訊編碼之背景下，視訊編碼器22可藉由首先將經編碼之明度視訊區塊之明度像素值平均化來計算DC偏移。視訊編碼器22可接著將用以編碼該視訊區塊之預測性視訊區塊之明度像素值平均化。此等計算之值中的每一者可包含DC值。視訊編碼器22可藉由自彼此減去DC值(例如，藉由自用以編碼當前區塊之預測性區塊之平均明度值減去經編碼之當前區塊的平均明度值)來計算DC偏移。亦可(在需要時)針對色度分量定義DC偏移。亦可在給定經編碼單元(例如，圖框或片段)上累積DC偏移，且經編碼之單元的DC偏移經定義為給定經編碼單元之所有區塊之偏移的平均值。
圖2為說明可執行與本發明一致的技術之視訊編碼器50之一實例的方塊圖。視訊編碼器50可對應於源器件12之視訊編碼器22，或不同器件之視訊編碼器。視訊編碼器50可執行視訊圖框內的區塊之框內編碼及框間編碼，但為了便於說明在圖2中未展示框內編碼組件。框內編碼依賴於空間預測以減少或移除給定視訊圖框內之視訊之空間冗餘。框間編碼依賴於時間預測以減少或移除視訊序列之鄰近圖框內之視訊的時間冗餘。框內模式(I模式)可指代基於空間之壓縮模式，且諸如預測(P模式)或雙向(B模式)之框間模式可指代基於時間之壓縮模式。
如圖2中所展示，視訊編碼器50接收待編碼之視訊圖框或片段內之當前視訊區塊。在圖2之實例中，視訊編碼器50包括運動估計單元32、運動補償單元35、記憶體34、加法器48、變換單元38、量化單元40及熵編碼單元46。對於視訊區塊重建構而言，視訊編碼器50亦包括反量化單元42、反變換單元44及加法器51。視訊編碼器50亦可包括用以對區塊邊界進行濾波以自經重建構之視訊移除方塊效應假影之解區塊濾波器(未圖示)。若需要，則解區塊濾波器通常將對加法器51之輸出進行濾波。
在編碼程序期間，視訊編碼器50接收待編碼之視訊區塊，且運動估計單元32及運動補償單元35執行框間預測性編碼。運動估計單元32及運動補償單元35可高度整合，但出於概念上之目的而將其單獨說明。運動估計通常被視為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示預測性圖框(或其他經編碼單元)內之預測性區塊相對於當前圖框(或其他經編碼單元)內之正被編碼的當前區塊之移位。運動補償通常被視為基於由運動估計判定之運動向量而提取或產生預測性區塊之程序。又，運動估計單元32及運動補償單元35可在功能上整合。出於示範之目的，本發明中所描述之技術經描述為由運動補償單元35執行。
運動估計單元32藉由比較待編碼之視訊區塊與一或多個預測性經編碼單元(例如，依據時間或在時間上的先前及/或將來圖框)之視訊區塊來選擇用於該經編碼之視訊區塊之適當運動向量。作為一實例，運動估計單元32可以許多方式來選擇用於B圖框之運動向量。在一方式中，運動估計單元32可自第一圖框集合(稱作清單0)選擇先前或將來圖框，且僅使用來自清單0的此先前或將來圖框判定一運動向量。或者，運動估計單元32可自第二圖框集合(稱作清單1)選擇先前或將來圖框，且僅使用來自清單1的此先前或將來圖框判定一運動向量。在又另一方式中，運動估計單元32可自清單0選擇第一圖框且自清單1選擇第二圖框，且根據清單0之第一圖框及清單1之第二圖框選擇一或多個運動向量。此第三形式之預測可被稱作雙向預測性運動估計。可實施本發明之技術，以便有效地選擇運動補償雙向預測模式。針對任何給定清單之選定運動向量可指向最類似於正被編碼之視訊區塊的預測性視訊區塊，例如，如由諸如預測性區塊之像素值相對於正被編碼之區塊的像素值之絕對差之和(SAD)或平方差之和(SSD)之量度所定義。
根據ITU-T H.264/AVC標準，可使用三種運動補償雙向預測性演算法或模式來預測B圖框或其部分，諸如，B圖框之視訊區塊、巨集區塊或任何其他離散及/或相連部分。通常被稱作預設加權預測的第一運動補償雙向預測性演算法或模式可涉及將預設權重應用於清單0之第一圖框及清單1之第二圖框之每一經識別之視訊區塊。可根據標準將預設權重程式化，且常常將預設加權預測之預設權重選擇為相等的。接著將第一圖框之加權區塊與第二圖框之加權區塊加在一起且除以用以預測B圖框之圖框的總數目(例如，在此例項中為二)。常常，藉由將1加至第一圖框之加權區塊與第二圖框之加權區塊之相加量(addition)且接著將結果向右移位一個位元來實現此除法。1之添加為修整調整。
根據本發明之一態樣，可避免在向右移位一之前加1(修整調整)，因此消除向上偏置之修整。運動補償單元35可產生具有修整之加權區塊與不具有修整之加權區塊兩者，且可選擇達成最佳編碼效率之區塊。
更大體而言，可由以下方程式給出加權預測：
pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+2r )>>(r+1)
其中pred(i,j)為與加權預測區塊相關聯之資料，pred0(i,j)為來自清單0之資料，pred1(i,j)為來自清單1之資料，w0及w1為權重因子，2r 為修整項，且>>為移位(r+1)個位元之右移位操作。與本發明一致，可產生兩個不同版本之pred(i,j)且可由運動補償單元35考慮該兩個不同版本之pred(i,j)。第一版本係與以上之方程式一致，且第二版本與以上不具有修整之方程式(亦即，自該方程式移除項「2r 」)一致。在一些情況下，消除此修整可達成較佳之加權預測性資料，此可改良編碼效率。運動補償單元35可產生用以定義針對給定視訊區塊或視訊區塊集合是否使用了修整之一或多個語法元素。可將雙向預測模式及指示是否使用了修整之一或多個語法元素兩者自運動補償單元35輸出至熵編碼單元46以供包括於經編碼之位元流中。
B圖像使用先前經編碼之參考圖像之兩個清單，清單0及清單1。此等兩個清單可各自含有在時間次序上之過去及/或將來經編碼之圖像。可以以下若干方式中之一者預測B圖像中之區塊：根據清單0參考圖像之運動補償預測、根據清單1參考圖像之運動補償預測，或根據清單0參考圖像與清單1參考圖像兩者之組合之運動補償預測。為了得到清單0參考圖像與清單1參考圖像兩者之組合，分別自清單0與清單1參考圖像獲得兩個運動補償參考區域。其組合將用以預測當前區塊。
在本發明中，術語「B圖像」將用以大體上指代任何類型之B單元，其可為B圖框、B片段，或可能地包括至少一些B視訊區塊之其他視訊單元。如所提及，B圖像可允許3種類型之加權預測。為簡單起見，下文僅展示單向預測中之前向預測，但亦可使用後向預測。
可由以下分別關於單向預測及雙向預測之方程式定義預設加權預測。
單向預測：pred(i,j)=pred0(i,j)
雙向預測：pred(i,j)=(pred0(i,j)+pred1(i,j)+1)>>1其中pred0(i,j)及pred1(i,j)為來自清單0及清單1之預測資料。
可由以下分別關於單向預測及雙向預測之方程式定義隱式加權預測。
單向預測：pred(i,j)=pred0(i,j)
雙向預測：pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+32)>>6在此情況下，根據權重因子w0或w1按比例調整每一預測，其中基於清單0參考圖像與清單1參考圖像之相對時間位置計算w0及w1。
可由以下分別關於單向預測及雙向預測之方程式定義顯式加權預測。
單向預測：pred(i,j)=(pred0(i,j)*w0+2r-1 )>>r+o1
雙向預測：pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+2r )>>(r+1)+((o1+o2+1)>>1)在此情況下，由編碼器判定權重因子，且在片段標頭中傳輸權重因子，且o1及o2分別為清單0參考圖像之圖像偏移及清單1參考圖像之圖像偏移。
習知地，總是在雙向預測中使用修整調整。根據以上之方程式，在預設加權預測中在右移位一之前使用1之修整調整，且在隱式加權預測中在右移位六之前使用32之修整調整。大體而言，通常在右移位r之前使用2r-1 之修整調整，其中r表示正整數。
此等頻繁且偏置之修整運算可減少預測之精度。此外，在顯式加權預測之雙向預測中，實際上存在2個修整，一者針對參考圖像且另一者針對偏移。因此，在此情況下，修整誤差可累積。根據本發明之一態樣，視訊編碼器可在右移位之前將偏移加至加權預測(而非進行2個單獨修整)如下：
pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+((o1+o2)<<r)+2r )>>(r+1)，其中pred(i,j)為與修整相關聯之加權預測資料，pred0(i,j)為來自清單0之資料，pred1(i,j)為來自清單1之資料，w0及w1為權重因子，o1及o2為偏移，且r及2r 為提供與移位(r+1)個位元之右移位操作「>>」相結合之修整的修整項。此可提供較佳預測精度。在此情況下，亦可定義新語法元素以允許兩個不同偏移(o1及o2)組合至一個偏移中。此外，在此情況下，修整值可包含上文所描述之修整調整(例如，在移位(r+1)個位元之右移位操作之前之2r )以及與偏移相關聯之另一修整值(「r」)。亦可稍微修改以上方程式以提供偏移之較高精度。若需要偏移之較高精度，則可將偏移乘以因子(諸如，乘以2)且接著將其修整至整數。亦可改變左移位以考慮到對偏移之此添加之精度。
顯式加權預測之另一問題為單向預測及雙向預測可能共用相同權重及偏移。為了具有用於較佳預測之更多靈活性，可根據本發明將單向預測及雙向預測解耦。在此情況下，單向預測及雙向預測可定義用於給定類型之預測(預設、隱式或顯式)的不同權重及偏移。可定義用於顯式預測之新語法元素以允許較佳預測。編碼器可將語法元素包括於經編碼之位元流中以傳訊由該編碼器使用的不同修整模式，以使得相同修整模式可由解碼器使用。
適應性地選擇修整調整為有益的。進行此之一種方式為基於兩個或兩個以上不同的預測性資料集合而產生兩個或兩個以上不同的預測性資料集合(且可能地將視訊區塊編碼若干次)。一個預測性資料集合可具有非零修整且另一者可消除修整。在又其他實例中，可考慮向上修整、向下修整及無修整。運動補償單元35可產生此等不同類型之預測性資料，且可進行速率-失真(RD)分析以選擇針對給定視訊區塊之最佳預測性資料。
速率-失真(RD)分析在視訊編碼中相當常見，且大體上涉及指示編碼成本之成本量度之計算。成本量度可使編碼所需之位元之數目(速率)和與編碼相關聯之品質水準(失真)平衡。典型速率-失真成本計算可大體上對應於以下格式：
J(λ)=λR+D，
其中J(λ)為成本，R為位元率，D為失真，且λ為拉格朗日乘數。
視訊編碼器50識別最需要的預測資料之一種方式為使用運動估計單元32來首先找出運動向量，且接著實施運動補償單元35及加法器48以計算在具有修整調整及不具有修整調整的情況下之預測誤差。運動補償單元35可接著選擇產生最小預測誤差之預測資料。可藉由使用預測資料與正被編碼之當前資料之間的絕對差之和來計算預測誤差。
在顯式加權預測中，視訊編碼器50之運動補償單元35可實施三種不同模式。在所有三種顯式加權預測模式中，每一參考圖像可具有用於單向預測之一偏移，且每一對參考圖像具有用於雙向預測之一偏移，諸如：
pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+(o<<r)+2r )>>(r+1)，
其中pred(i,j)為第一加權預測資料，pred0(i,j)為來自清單0之資料，pred1(i,j)為來自清單1之資料，w0及w1為權重因子，o為適用於來自清單0之pred0(i,j)及來自清單1之pred1(i,j)的共同偏移，且r及2r 為提供與移位(r+1)個位元之右移位操作「>>」相結合之修整的修整項。第一模式可使用由預設加權預測定義之權重。第二模式可使用由隱式加權預測定義之權重。第三模式允許每一參考圖像具有用於單向預測之一個權重，且在雙向預測中所涉及之每一對參考圖像具有用於兩個參考圖像之一對權重。可適應性地判定針對第三模式所定義之權重，且在一些情況下，顯式加權預測架構可與由預設或隱式加權預測定義之權重一起使用以便允許實現在此等背景下之偏移。此外，在此第三模式中所定義之權重及偏移針對單向預測及雙向預測可能為不同的。亦可稍微修改以上方程式以提供偏移之較高精度。若需要偏移之較高精度，則可將偏移乘以因子(諸如，乘以2)且接著將其修整至整數。亦可改變左移位以考慮到對偏移之此添加之精度(例如，在此情況下，左移位可改變至r-1)。
為了使視訊編碼器50將用於給定視訊區塊或視訊區塊之集合之特定模式傳訊至解碼器，視訊編碼器50可實施2個單位元語法元素：derived_weight_flag及poc_weight_flag。在此情況下，derived_weight_flag可用以在上文所提及之前兩個顯式加權預測模式與第三模式之間進行選擇，且poc_weight_flag可用以在第一顯式加權預測模式與第二顯式加權預測模式之間進行選擇。
為了找出最佳加權預測，視訊編碼器50可執行多遍次(multi-pass)編碼且基於速率-失真成本選擇最佳模式。進行此之一種方式為竭盡式搜尋，其中運動補償單元35產生每一可能的加權預測資料且選擇最佳加權預測資料。然而，為了減小複雜性，運動補償單元35可實施本發明之額外技術(例如)以首先在預設加權預測與隱式加權預測之間進行選擇，且接著將該選擇與顯式加權預測比較。運動補償單元35可計算與顯式加權預測相關聯之權重及偏移，且亦可使用顯式加權預測架構以將偏移加至另外與預設加權預測或隱式加權預測(無論哪一者被選擇)相關聯之資料。因此，可能存在由運動補償單元35計算之兩個偏移集合。可藉由使用用於預設加權預測或隱式加權預測中的已知權重來計算第一偏移集合，且可(例如)藉由最小化運動補償預測誤差連同權重(作為顯式加權預測之正常計算的部分)來計算第二偏移集合。
為了進一步減小複雜性，在顯式加權預測期間，若偏移為0，則運動補償單元35可跳過使用預設權重或隱式權重的顯式加權預測。又，若偏移為0且計算之權重沒有改變，則運動補償單元35可跳過使用計算之權重及偏移的典型顯式加權預測。
一旦所要預測資料由運動補償單元35識別(如本文中所描述)，則視訊編碼器50藉由自正被編碼之原始視訊區塊減去該預測資料而形成殘餘視訊區塊。加法器48表示執行此減法運算之一或多個組件。變換單元38將變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換區塊係數之視訊區塊。舉例而言，變換單元38可執行概念上類似於DCT之其他變換(諸如，由H.264標準定義之彼等變換)。亦可使用小波變換、整數變換、次頻帶變換或其他類型之變換。在任何情況下，變換單元38將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素域轉換至頻域。
量化單元40量化殘餘變換係數以進一步減小位元率。量化程序可減小與該等係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間9位元值可向下修整至8位元值。另外，對於使用偏移之情況，量化單元40亦可量化不同偏移。
在量化之後，熵編碼單元46對經量化之變換係數進行熵編碼。舉例而言，熵編碼單元46可執行內容適應性可變長度編碼(CAVLC)、上下文適應性二進位算術編碼(CABAC)或另一熵編碼方法。在由熵編碼單元46進行之熵編碼之後，可將經編碼之視訊傳輸至另一器件或封存以供稍後傳輸或擷取。經編碼之位元流可包括經熵編碼之殘餘區塊、用於此等區塊之運動向量，及其他語法(諸如，本文中所描述之語法)。
反量化單元42及反變換單元44分別應用反量化及反變換以在像素域中重建構殘餘區塊，(例如)以供稍後按上文所描述之方式用作參考區塊。加法器51將經重建構之殘餘區塊加至由運動補償單元35產生之運動補償預測區塊，以產生經重建構之視訊區塊以供儲存於記憶體34中。經重建構之視訊區塊可由運動估計單元32及運動補償單元35用作參考區塊，以將後續視訊圖框中之區塊框間編碼。
圖3為更詳細說明圖2之運動補償單元35之實例的方塊圖。如圖3之實例中所展示，運動補償單元35耦接至記憶體34，記憶體34將第一經編碼單元或參考圖框之集合及第二經編碼單元或參考圖框之集合儲存為清單0 52A及清單1 52B。另外，記憶體34可儲存經編碼之當前視訊資料53。記憶體34可包含共用記憶體結構，或可能包含若干不同記憶體、儲存單元、緩衝器，或促進本文中所論述之任何資料之儲存的其他類型之儲存器。清單0 52A及清單1 52B為根據雙向預測之與兩個不同預測性單元相關聯之資料，例如，來自兩個不同圖框或片段或巨集區塊之資料。又，雙向預測未必限於任何預測方向，且因此，清單0 52A及清單1 52B可儲存來自兩個先前圖框或片段、兩個後續圖框或片段，或一個先前圖框或片段及一個後續圖框或片段的資料。此外，在一些情況下，清單0 52A及/或清單1 52B可各自包括與多個圖框、片段或巨集區塊相關聯之資料。清單0 52A及/或清單1 52B僅為可能預測性資料之兩個不同的集合，且每一清單可包括在相對於正被編碼之當前視訊區塊之任何方向上的一個圖框或片段，或若干圖框、片段或巨集區塊。
如圖3中所展示，運動補償單元35包括一預設加權預測單元54、一隱式加權預測單元56，及一顯式加權預測單元58。單元54、56及58分別執行如本文中所描述之預設加權預測、隱式加權預測及顯式加權預測。速率-失真(R-D)分析單元64可在此等可能性當中選擇加權預測資料，且可實施本發明之技術以促進選擇程序。
運動補償單元35亦包括修整單元55，該修整單元55使單元54、56及58中之一或多者產生各別加權預測資料之經修整版本及未經修整版本兩者。又，藉由消除修整，可在一些背景下改良加權預測資料。
另外，運動補償單元35包括計算偏移之偏移計算單元62。根據ITU-T H.264/MPEG-4 AVC編碼格式，僅在顯式加權預測中允許偏移。因此，為了考慮在預設加權預測或隱式加權預測之背景下之偏移，可將由預設加權預測單元54或隱式加權預測單元56判定之權重連同由偏移計算單元62判定之偏移一起轉遞至顯式加權預測單元58。以此方式，藉由將偏移加至預設加權預測資料或隱式加權預測資料以供由R-D分析單元64考慮，顯式加權預測單元58可採用ITU-T H.264/MPEG-4 AVC編碼格式。在此情況下，顯式加權預測單元58不僅產生正常顯式加權預測資料，而且產生使用由預設加權預測單元54或隱式加權預測單元56判定之權重結合由偏移計算單元62判定之偏移之預測資料。
偏移計算單元可將偏移計算為正被編碼之區塊之視訊區塊值的平均值與預測區塊之視訊區塊值的平均值之間的差。可計算關於明度視訊區塊之偏移，且在一些情況下，可計算關於明度視訊區塊及關於色度視訊區塊之偏移。
R-D分析單元64可分析不同加權之預測性資料，且可選擇在品質方面或在速率及失真方面產生最佳結果的加權預測性資料。R-D分析單元64輸出選定加權預測性資料，可經由加法器48(圖2)自正被編碼之視訊區塊減去該加權預測性資料。可使用語法元素以向解碼器通知應用以產生加權預測性資料之方式或方法。舉例而言，語法元素可指示是否使用了修整，且可指示是否應使用預設、隱式或顯式加權預測。若應使用顯式加權預測，則語法元素可進一步識別權重因子及偏移，其又可為與顯式加權預測相關聯之權重因子及偏移，或可為實際上由預設加權預測單元54或隱式加權預測單元56定義之權重因子加上來自偏移計算單元62之偏移。
圖4為說明一例示性視訊解碼器70的方塊圖，該例示性視訊解碼器70可執行與上文所描述之編碼技術互逆之解碼技術。視訊解碼器70可包括熵解碼單元72、預測單元75、反量化單元76、反變換單元78、記憶體74及加法器79。預測單元75可包括運動補償(MC)單元86，以及空間預測組件，為簡單及便於說明起見未展示該等空間預測組件。
視訊解碼器70可接收經編碼之視訊資料，及指示修整調整是否被用以編碼經編碼之視訊資料之一或多個語法元素。預測單元75之MC單元86可產生視兩個或兩個以上資料清單而定的加權預測資料，如本文中所描述。根據本發明，在一或多個語法元素指示未使用修整調整來編碼經編碼之視訊資料的情況下，加權預測資料不包括修整調整。視訊解碼器70可使用加權預測資料(例如)藉由調用加法器79將該加權預測資料(例如，預測區塊)加至殘餘資料(例如，殘餘區塊)而解碼視訊資料。
大體而言，熵解碼單元72接收經編碼之位元流且將該位元流熵解碼以產生量化係數、運動資訊及其他語法。將運動資訊(例如，運動向量)及其他語法轉遞至預測單元75以用於產生預測性資料。預測單元75執行與本發明一致之雙向預測，從而(在一些情況下)避免修整調整，且根據所接收之語法元素可能實施預設、隱式或顯式加權預測。語法元素可識別將使用之加權預測之類型、識別在使用顯式加權預測的情況下之係數及偏移，及識別在解碼中是否應使用修整調整。
將量化係數自熵解碼單元72發送至反量化單元76，該反量化單元76執行反量化。反變換單元78接著將該等經解量化之係數反變換回至像素域以產生殘餘區塊。加法器79將由預測單元75產生之預測資料(例如，預測區塊)與來自反變換單元78之殘餘區塊組合以產生經重建構之視訊區塊，其可儲存於記憶體74中及/或自視訊解碼器70輸出作為經解碼之視訊輸出。
圖5為說明由與本發明一致之視訊編碼器執行之一例示性程序的流程圖。將自圖2之視訊編碼器50之觀點來描述圖5。如圖5中所展示，運動補償單元35產生包括修整之第一加權預測資料(101)，且產生不包括修整之第二加權預測資料(102)。運動補償單元35接著基於速率-失真分析自第一加權預測資料及第二加權預測資料選擇預測資料(103)。特定言之，運動補償單元35可判定第一及第二加權預測資料之成本量度(其量化與第一及第二加權預測資料相關聯的編碼速率與編碼品質且使編碼速率與編碼品質平衡)，且可選擇具有最低成本之預測資料。視訊編碼器50可接著基於選定預測資料編碼視訊資料(104)。舉例而言，視訊編碼器50可調用加法器48自正被編碼之視訊資料減去選定預測資料，且接著調用用於變換之變換單元38、用於量化之量化單元40，及用於將經量化及經變換之殘餘係數熵編碼的熵編碼單元46。在此情況下，運動補償單元35可產生用以指示修整是否被用於預測資料之一或多個語法元素，且可將此等語法元素轉遞至熵編碼單元46以包括於經編碼之位元流中。
圖6為說明由與本發明一致之視訊解碼器執行之一例示性程序的流程圖。將自圖4之視訊解碼器70之觀點來描述圖6。如圖6中所展示，視訊解碼器接收經編碼之視訊資料(111)，且接收指示修整調整是否被用以編碼視訊資料之一或多個語法元素(112)。特定言之，熵解碼單元72可接收包括視訊資料及一或多個語法元素之經編碼位元流。在熵解碼之後，熵解碼單元72可將視訊資料輸出為經量化之變換係數，其由單元76反量化且由單元78反變換。熵解碼單元72可將語法元素輸出至預測單元，其包括指示修整調整是否被用以編碼視訊資料、運動向量及可能其他語法之一或多個語法元素。
預測單元75調用運動補償單元86以用於基於區塊之預測性解碼。在進行此時，運動補償單元86基於語法產生加權預測資料(113)。因此，若一或多個語法元素指示使用了修整調整，則運動補償單元86產生包括該修整調整之加權預測資料。然而，若該一或多個語法元素指示未使用修整調整，則運動補償單元86產生缺乏修整調整之加權預測資料。視訊解碼器70可接著使用加權預測資料解碼視訊資料(114)。特定言之，視訊解碼器70可調用加法器79而將加權預測資料(例如，預測區塊)與殘餘視訊資料(例如，殘餘區塊)組合以便產生視訊資料之重建構(例如，經重建構之視訊區塊)。
圖7為說明由與本發明一致之視訊編碼器執行之另一例示性程序的流程圖。將自圖3之運動補償單元35(其可形成圖2之視訊編碼器50之部分)之觀點來描述圖7。如圖7中所展示，預設加權預測單元54執行具有修整的預設加權預測(201)，及執行不具有修整的預設加權預測(202)。可調用修整單元55以定義該修整或該修整之缺乏。隱式加權預測單元56接著執行具有修整的隱式加權預測(203)，且執行不具有修整的隱式加權預測(204)。又，可調用修整單元55以定義該修整或該修整之缺乏。
如上文所解釋，預設加權預測指代由某預設設定預定義與兩個或兩個以上不同清單相關聯的權重因子之加權預測。在一些情況下，預設加權預測可向該等清單中之每一者指派相等權重。隱式加權預測指代基於與資料相關聯之一些隱式因子來定義與兩個或兩個以上不同清單相關聯的權重因子之加權預測。舉例而言，可藉由兩個不同清單中之資料相對於正被預測性編碼之資料之相對時間位置來定義隱式權重因子。
R-D分析單元64選擇預設加權預測或隱式加權預測(205)。特定言之，R-D分析單元64可基於與不同版本之預測資料相關聯的品質及編碼速率而選擇預設加權預測或隱式加權預測。舉例而言，R-D分析單元64可考慮不同版本之預測資料相對於經編碼之視訊區塊之相似性，且可選擇最接近之版本。
若R-D分析單元64選擇預設加權預測(「預設」205)，則可調用顯式加權預測單元58來計算顯式加權預測資料且將該資料與使用預設權重之顯式加權預測資料比較。如所提及，此允許實現在預設權重之背景下的偏移。因此，顯式加權預測可用作用以將不同偏移提供至原本將由預設或隱式加權預測定義之資料之機制。如上文所概述，顯式加權預測指代作為編碼程序之部分動態地定義權重因子且將其編碼至位元流中之加權預測。在此方面，顯式加權預測不同於預設加權預測及隱式加權預測，例如，顯式加權預測產生經編碼為位元流之部分之權重因子，而預設及隱式加權預測定義預定義或由解碼器判定之權重因子(在位元流中不存在權重因子)。
特定言之，顯式加權預測單元58可使用由ITU-T H.264定義之習知顯式加權預測計算顯式權重及顯式偏移(206)。舉例而言，為了計算顯式權重，顯式加權預測單元58可應用最小均方(LMS)演算法以便求解上文所列出之關於權重與偏移的顯式加權預測方程式。另外，顯式加權預測單元58可計算與預設權重相關聯之偏移(207)。可由顯式加權預測單元58調用偏移計算單元62以便計算該偏移。特定言之，偏移計算單元62可將給定偏移計算為正被編碼之視訊資料之像素值與給定版本之加權預測資料之像素值之間的平均差。
顯式加權預測單元58可接著產生兩個不同版本之預測資料。特定言之，顯式加權預測單元58可使用預設權重及對應偏移執行顯式加權預測(208)，且亦可使用計算之權重及對應顯式偏移執行顯式加權預測(209)。可接著將此等兩個不同版本之顯式加權預測資料(根據正常顯式加權預測來計算的一個版本，及使用預設權重加上偏移來計算的另一版本)及具有或不具有修整之預設加權預測發送至R-D分析單元64。R-D分析單元64可基於R-D分析選擇預測模式(210)。特定言之，R-D分析單元64可在此等兩個不同版本之顯式加權預測資料(根據正常顯式加權預測來計算的一個版本，及使用預設權重加上偏移來計算的另一版本)之間進行選擇。R-D分析單元64可考慮不同版本之預測資料相對於正被編碼之視訊區塊之相似性，且可選擇最接近之版本。
在相對於預設加權預測資料選擇隱式加權預測資料時，關於該隱式加權預測資料發生類似程序。亦即，若R-D分 析單元64選擇隱式加權預測(「隱式」205)，則可調用顯式加權預測單元58來計算顯式加權預測資料且將該資料與使用隱式權重之顯式加權預測資料比較。此允許實現在隱式權重之背景下的偏移。特定言之，顯式加權預測單元58可使用由ITU-T H.264定義之習知顯式加權預測來計算顯式權重及顯式偏移(211)。另外，顯式加權預測單元58可計算與隱式權重相關聯之偏移(212)。可由顯式加權預測單元58調用偏移計算單元62以便計算如本文中所描述之偏移。
顯式加權預測單元58可接著產生兩個不同版本之預測資料。在此情況下，顯式加權預測單元58可使用隱式權重及對應偏移執行顯式加權預測(213)，且亦可使用計算之權重及對應顯式偏移來執行顯式加權預測(214)。可接著將此等兩個不同版本之顯式加權預測資料(根據正常顯式加權預測來計算的一個版本，及使用隱式權重加上偏移來計算的另一版本)及具有或不具有修整之隱式加權預測發送至R-D分析單元64。R-D分析單元64可基於R-D分析而選擇預測模式。特定言之，R-D分析單元64可在此等兩個不同版本之顯式加權預測資料(根據正常顯式加權預測來計算的一個版本，及使用隱式權重加上偏移來計算的另一版本)之間進行選擇。R-D分析單元64可考慮不同版本之預測資料相對於正被編碼之視訊區塊之相似性，且可選擇最接近之版本。
可在包括無線手機及積體電路(IC)或一組IC(亦即，晶片組)之廣泛多種器件或裝置中實施本發明之技術。提供已描述之任何組件、模組或單元以強調功能性態樣且未必需要藉由不同硬體單元來實現。亦可以硬體、軟體、韌體或其任何組合來實施本文中所描述之技術。描述為模組、單元或組件之任何特徵可一起實施於整合式邏輯器件中，或單獨實施為離散的但可交互操作之邏輯器件。在一些情況下，各種特徵可實施為諸如積體電路晶片或晶片組之積體電路器件。
若以軟體實施，則該等技術可至少部分地藉由包含指令之電腦可讀媒體來實現，該等指令在於處理器中執行時，執行上文中所描述之方法中的一或多者。該電腦可讀媒體可包含電腦可讀儲存媒體，且可形成電腦程式產品的部分，電腦程式產品可包括包裝材料。電腦可讀儲存媒體可包含隨機存取記憶體(RAM)(諸如，同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體，及其類似者。額外或替代性地，可至少部分地藉由載運或傳達呈指令或資料結構之形式的程式碼且可由電腦存取、讀取及/或執行之電腦可讀通信媒體來實現該等技術。
程式碼或指令可由一或多個處理器執行，該一或多個處理器諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指代前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼的專用軟體模組或硬體模組內，或併入於組合之視訊編碼器/解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明亦預期包括用以實施本發明中所描述之技術中之一或多者的電路之多種積體電路器件中的任一者。此電路可提供於單一積體電路晶片中或所謂的晶片組中之多個可交互操作之積體電路晶片中。此等積體電路器件可用於多種應用中，其中一些應用可包括用於無線通信器件(諸如，行動電話手機)中。
已描述本發明之各種實施例。此等及其他實施例係在以下申請專利範圍之範疇內。
10．．．視訊編碼及解碼系統
12．．．源器件
15．．．通信頻道
16．．．目的地器件
20．．．視訊源
22．．．視訊編碼器
23．．．調變器/解調變器(數據機)
24．．．傳輸器
26．．．接收器
27．．．數據機
28．．．視訊解碼器
30．．．顯示器件
32．．．運動估計單元
34．．．記憶體
35．．．運動補償單元
38．．．變換單元
40．．．量化單元
42．．．反量化單元
44．．．反變換單元
46．．．熵編碼單元
48．．．加法器
50．．．視訊編碼器
51．．．加法器
52A．．．清單0
52B．．．清單1
53．．．當前視訊資料
54．．．預設加權預測單元
55．．．修整單元
56．．．隱式加權預測單元
58．．．顯式加權預測單元
62．．．偏移計算單元
64．．．速率-失真(R-D)分析單元
70．．．視訊解碼器
72．．．熵解碼單元
74．．．記憶體
75．．．預測單元
76．．．反量化單元
78．．．反變換單元
79．．．加法器
86．．．運動補償(MC)單元
圖1為說明可實施本發明之技術之一例示性視訊編碼及解碼系統的方塊圖。
圖2為說明可執行與本發明一致之偏移技術之視訊編碼器之一實例的方塊圖。
圖3為更詳細說明運動補償單元之一實例的方塊圖。
圖4為可執行與本發明一致之偏移技術之視訊解碼器的一實例。
圖5為說明由與本發明一致之視訊編碼器執行之一例示性程序的流程圖。
圖6為說明由與本發明一致之視訊解碼器執行之一例示性程序的流程圖。
圖7為說明由與本發明一致之視訊編碼器執行之另一例示性程序的流程圖。
32．．．運動估計單元
34．．．記憶體
35．．．運動補償單元
38．．．變換單元
40．．．量化單元
42．．．反量化單元
44．．．反變換單元
46．．．熵編碼單元
48．．．加法器
50．．．視訊編碼器
51．．．加法器

Claims (35)

  1. 一種寫碼視訊資料之方法，該方法包含：產生視兩個或兩個以上資料清單而定且包括至少兩個偏移及一修整調整之加權預測資料，其中該加權預測資料係根據以下方程式而近似地產生：pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+((o1+o2)<<r)+2r )>>(r+1)其中pred(i,j)為該加權預測資料，pred0(i,j)及pred1(i,j)為來自該等兩個或兩個以上資料清單之資料，w0及w1為權重因子，o1及o2為該等至少兩個偏移，且r及2r 為該修整調整及提供與一移位(r+1)個位元的右移位操作「>>」相結合之修整；及。使用該加權預測資料寫碼該視訊資料。
  2. 如請求項1之方法，其中該等兩個或兩個以上清單包括一清單0及一清單1，且其中該加權預測資料視來自該清單0之第一資料、來自該清單1之第二資料、兩個不同權重因子、兩個不同偏移及至少兩個不同修整項而定。
  3. 如請求項1之方法，其中o1為適用於來自清單0之該pred0(i,j)之一第一偏移及o2為適用於來自清單1之該pred1(i,j)之一第二偏移。
  4. 如請求項1之方法，其中不同偏移係應用於明度區塊及色度區塊。
  5. 如請求項1之方法，其中該等至少兩個偏移係經結合成一單一偏移o，其中o為適用於來自清單0之該pred0(i,j)及來自清單1之該pred1(i,j)之一共同偏移。
  6. 如請求項1之方法，其中寫碼包含編碼且該加權預測資料包含第一加權預測資料，該方法進一步包含：產生不包括任何修整調整之第二加權預測資料；及基於預測資料之複數個候選者之一速率-失真分析來選擇用於編碼該視訊資料的預測資料，其中預測資料之該複數個候選者包括該第一加權預測資料及該第二加權預測資料。
  7. 如請求項6之方法，其進一步包含：編碼一或多個語法元素以指示該選定預測資料係該包括該修整調整之第一加權預測資料。
  8. 如請求項1之方法，其中寫碼包含編碼，該方法進一步包含輸出一包括該經寫碼視訊資料的經寫碼位元流。
  9. 如請求項1之方法，其中寫碼包含解碼，該方法進一步包含接收一包括該經寫碼視訊資料的經寫碼位元流。
  10. 一種寫碼視訊資料之裝置，該裝置包含：一記憶體，其儲存該視訊資料及用以預測性地寫碼該視訊資料之兩個或兩個以上資料清單；及一處理器，其經組態以產生視該等兩個或兩個以上資料清單而定且包括至少兩個偏移及一修整調整之加權預測資料，及使用該加權預測資料寫碼該視訊資料，其中該處理器根據以下方程式而近似地產生該加權預測資料：pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+((o1+o2)<<r)+2r )>>(r+1)其中pred(i,j)為該加權預測資料，pred0(i,j)及pred1(i,j) 為來自該等兩個或兩個以上資料清單之資料，w0及w1為權重因子，o1及o2為該等至少兩個偏移，且r及2r 為該修整調整及提供與一移位(r+1)個位元的右移位操作「>>」相結合之修整。
  11. 如請求項10之裝置，其中該等兩個或兩個以上清單包括一清單0及一清單1，且其中該加權預測資料視來自該清單0之第一資料、來自該清單1之第二資料、兩個不同權重因子及兩個不同偏移而定。
  12. 如請求項10之裝置，其中o1為適用於來自清單0之該pred0(i,j)之一第一偏移及o2為適用於來自清單1之該pred1(i,j)之一第二偏移。
  13. 如請求項10之裝置，其中不同偏移係應用於明度區塊及色度區塊。
  14. 如請求項10之裝置，其中該等至少兩個偏移係經結合成一單一偏移o，其中o為適用於來自清單0之該pred0(i,j)及來自清單1之該pred1(i,j)之一共同偏移。
  15. 如請求項10之裝置，其中寫碼包含編碼且該加權預測資料包含第一加權預測資料，其中該處理器經組態以：產生不包括任何修整調整之第二加權預測資料；及基於預測資料之複數個候選者之一速率-失真分析來選擇用於編碼該視訊資料的預測資料，其中預測資料之該複數個候選者包括該第一加權預測資料及該第二加權預測資料。
  16. 如請求項15之裝置，其中該處理器進一步經組態以： 編碼一或多個語法元素以指示該選定預測資料係該包括該修整調整之第一加權預測資料。
  17. 如請求項10之裝置，其中寫碼包含編碼，其中該處理器經組態以輸出一包括該經寫碼視訊資料的經寫碼位元流。
  18. 如請求項10之裝置，其中寫碼包含解碼，其中該處理器經組態以解碼一包括該經寫碼視訊資料的經寫碼位元流。
  19. 如請求項10之裝置，其中該裝置包含下列項目中一或多者：一積體電路；一微處理器；一視訊編碼器；一視訊解碼器；一包括一視訊編碼器之無線通信器件；及一包括一視訊解碼器之無線通信器件。
  20. 一種解碼視訊資料之視訊解碼器裝置，該視訊解碼器裝置包含：一處理器，其經組態以產生視兩個或兩個以上資料清單而定且包括至少兩個偏移及一修整調整之加權預測資料，及使用該加權預測資料解碼該視訊資料，其中該處理器根據以下方程式而近似地產生該加權預測資料：pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+((o1+o2)<<r)+2r )>>(r+1) 其中pred(i,j)為該加權預測資料，pred0(i,j)及pred1(i,j)為來自該等兩個或兩個以上資料清單之資料，w0及w1為權重因子，o1及o2為該等至少兩個偏移，且r及2r 為該修整調整及提供與一移位(r+1)個位元的右移位操作「>>」相結合之修整。
  21. 如請求項20之視訊解碼器裝置，其中該等兩個或兩個以上清單包括一清單0及一清單1，且其中該加權預測資料視來自該清單0之第一資料、來自該清單1之第二資料、兩個不同權重因子及兩個不同偏移而定。
  22. 如請求項20之視訊解碼器裝置，其中o1為適用於來自清單0之該pred0(i,j)之一第一偏移及o2為適用於來自清單1之該pred1(i,j)之一第二偏移。
  23. 如請求項20之視訊解碼器裝置，其中不同偏移係應用於明度區塊及色度區塊。
  24. 如請求項20之視訊解碼器裝置，其中該等至少兩個偏移係經結合成一單一偏移o，其中o為適用於來自清單0之該pred0(i,j)及來自清單1之該pred1(i,j)之一共同偏移。
  25. 如請求項20之視訊解碼器裝置，其中該視訊解碼器裝置包含一積體電路、一微處理器、及一無線通信器件中之一或多者。
  26. 一種寫碼視訊資料之器件，該器件包含：用於產生之非過渡構件，其用於產生視該等兩個或兩個以上資料清單而定且包括至少兩個偏移及一修整調整之加權預測資料， 其中該非過渡構件根據以下方程式而近似地產生該加權預測資料：pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+((o1+o2)<<r)+2r )>>(r+1)其中pred(i,j)為該加權預測資料，pred0(i,j)及pred1(i,j)為來自該等兩個或兩個以上資料清單之資料，w0及w1為權重因子，o1及o2為該等至少兩個偏移，且r及2r 為該修整調整及提供與一移位(r+1)個位元的右移位操作「>>」相結合之修整；及用於寫碼之非過渡構件，其用於使用該加權預測資料寫碼該視訊資料。
  27. 如請求項26之器件，其中該等兩個或兩個以上清單包括一清單0及一清單1，且其中該加權預測資料視來自該清單0之第一資料、來自該清單1之第二資料、兩個不同權重因子及兩個不同偏移而定。
  28. 如請求項26之器件，其中o1為適用於來自清單0之該pred0(i,j)之一第一偏移及o2為適用於來自清單1之該pred1(i,j)之一第二偏移。
  29. 如請求項26之器件，其中不同偏移係應用於明度區塊及色度區塊。
  30. 一種包含指令儲存於其上之非過渡電腦可讀儲存媒體，當該等指令在執行時使一處理器：產生視兩個或兩個以上資料清單而定且包括至少兩個偏移及一修整調整之加權預測資料，及使用該加權預測資料寫碼該視訊資料， 其中該加權預測資料係根據以下方程式而近似地產生：pred(i,j)=(pred0(i,j)*w0+pred1(i,j)*w1+((o1+o2)<<r)+2r )>>(r+1)其中pred(i,j)為該加權預測資料，pred0(i,j)及pred1(i,j)為來自該等兩個或兩個以上資料清單之資料，w0及w1為權重因子，o1及o2為該等至少兩個偏移，且r及2r 為該修整調整及提供與一移位(r+1)個位元的右移位操作「>>」相結合之修整。
  31. 如請求項30之非過渡電腦可讀儲存媒體，其中該等兩個或兩個以上清單包括一清單0及一清單1，且其中該加權預測資料視來自該清單0之第一資料、來自該清單1之第二資料、兩個不同權重因子及兩個不同偏移而定。
  32. 如請求項30之非過渡電腦可讀儲存媒體，其中o1為適用於來自清單0之該pred0(i,j)之一第一偏移及o2為適用於來自清單1之該pred1(i,j)之一第二偏移。
  33. 如請求項30之非過渡電腦可讀儲存媒體，其中不同偏移係應用於明度區塊及色度區塊。
  34. 如請求項30之非過渡電腦可讀儲存媒體，其中該等指令使該處理器編碼該視訊資料。
  35. 如請求項30之非過渡電腦可讀儲存媒體，其中該等指令使該處理器解碼該視訊資料。
TW099122752A 2009-07-09 2010-07-09 視訊編碼中之非零修整與預測模式選擇技術 TWI413419B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/499,990 US9161057B2 (en) 2009-07-09 2009-07-09 Non-zero rounding and prediction mode selection techniques in video encoding

Publications (2)

Publication Number Publication Date
TW201106704A TW201106704A (en) 2011-02-16
TWI413419B true TWI413419B (zh) 2013-10-21

Family

ID=42735838

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099122752A TWI413419B (zh) 2009-07-09 2010-07-09 視訊編碼中之非零修整與預測模式選擇技術

Country Status (7)

Country Link
US (2) US9161057B2 (zh)
EP (3) EP2452502A1 (zh)
JP (3) JP5678057B2 (zh)
CN (2) CN104601990B (zh)
HK (1) HK1210344A1 (zh)
TW (1) TWI413419B (zh)
WO (1) WO2011006004A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US20120051432A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd Method and apparatus for a video codec with low complexity encoding
ES2922238T3 (es) 2011-01-07 2022-09-12 Nokia Technologies Oy Predicción de movimiento en codificación de vídeo
CA2828013C (en) * 2011-02-25 2016-07-26 Blackberry Limited Methods and devices for data compression using offset-based adaptive reconstruction levels
JP5768491B2 (ja) * 2011-05-17 2015-08-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
KR20120140592A (ko) 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
WO2012177052A2 (ko) 2011-06-21 2012-12-27 한국전자통신연구원 인터 예측 방법 및 그 장치
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
WO2013039692A1 (en) * 2011-09-16 2013-03-21 Mediatek Singapore Pte. Ltd. Method and apparatus for prediction mode and partition mode syntax coding for coding units in hevc
US20130083845A1 (en) * 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
WO2013126815A1 (en) * 2012-02-22 2013-08-29 Visa International Service Association Data security system using mobile communications device
TWI618397B (zh) * 2012-12-21 2018-03-11 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
EP2939210A4 (en) * 2012-12-31 2016-03-23 Given Imaging Ltd SYSTEM AND METHOD FOR DISPLAYING AN IMAGE STREAM
CN113905238B (zh) 2016-07-05 2024-06-04 株式会社Kt 对视频进行解码或编码的方法和计算机可读介质
US10499078B1 (en) * 2017-02-07 2019-12-03 Google Llc Implicit motion compensation filter selection
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
KR20230074302A (ko) * 2018-02-28 2023-05-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 합성된 예측 및 제한된 병합
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
EP4029261A4 (en) * 2019-10-07 2022-11-23 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ADAPTIVE WEIGHTING PREDICTION PARAMETER PRECISION ADJUSTMENT FOR HARMONIZING NON-RECTANGULAR FUSION MODE AND WEIGHTED PREDICTION
WO2021248135A1 (en) * 2020-06-05 2021-12-09 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for video coding using satd based cost calculation
US20230199217A1 (en) * 2021-12-21 2023-06-22 Mediatek Inc. Shared Architecture For Multiple Video Coding Modes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223499A1 (en) * 2002-04-09 2003-12-04 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US20050259736A1 (en) * 2004-05-21 2005-11-24 Christopher Payson Video decoding for motion compensation with weighted prediction
CN101379829A (zh) * 2006-02-02 2009-03-04 汤姆逊许可公司 用于运动补偿预测的自适应加权选择的方法和设备
TW200921380A (en) * 2007-11-14 2009-05-16 Microsoft Corp Internal test and manipulation of an application
TW200926832A (en) * 2007-10-12 2009-06-16 Qualcomm Inc Layered encoded bitstream structure
TW200930102A (en) * 2007-10-12 2009-07-01 Qualcomm Inc Entropy coding of interleaved sub-blocks of a video block

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816552B2 (en) 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CA2473034C (en) * 2002-01-11 2010-10-05 Fiberline A/S A method of producing a fibre reinforced structural element
DE60318757T2 (de) * 2002-02-01 2009-01-15 Matsushita Electric Industrial Co., Ltd., Kadoma-shi Kodierungsverfahren und Dekodierungsverfahren für bewegliche Bilder
MXPA05000335A (es) 2002-07-09 2005-03-31 Nokia Corp Metodo y sistema para seleccionar tipo de filtro de interpolacion en codificacion de video.
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
MXPA05005988A (es) * 2002-12-04 2005-08-18 Thomson Licensing Sa Codificacion de desvanecimientos de video con el uso de una prediccion ponderada.
EP1636998A2 (en) 2003-06-25 2006-03-22 Thomson Licensing Method and apparatus for weighted prediction estimation using a displaced frame differential
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
BRPI0414397A (pt) * 2003-09-17 2006-11-21 Thomson Licensing geração de imagem de referência adaptativa
CN1860787A (zh) * 2003-09-29 2006-11-08 手持娱乐公司 用于编码信息的方法和装置
US20080225946A1 (en) * 2004-02-27 2008-09-18 Peng Yin Error Concealment Technique Using Weighted Prediction
US8284835B2 (en) * 2004-04-21 2012-10-09 Panasonic Corporation Motion compensating apparatus
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
CN101023673B (zh) * 2004-09-16 2011-06-08 汤姆逊许可证公司 具有利用局部亮度变化的加权预测的视频编解码器
US20060146932A1 (en) * 2004-12-30 2006-07-06 Krit Panusopone Method and apparatus for providing motion estimation with weight prediction
US8457203B2 (en) 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
KR100714696B1 (ko) 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP4561508B2 (ja) 2005-07-08 2010-10-13 ソニー株式会社 画像処理装置、画像処理方法およびそのプログラム
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US8311121B2 (en) 2005-10-12 2012-11-13 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
BRPI0710048A2 (pt) * 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
WO2007132647A1 (ja) * 2006-05-12 2007-11-22 Panasonic Corporation 動画像復号化装置
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
US8457200B2 (en) 2006-07-07 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
KR101408698B1 (ko) 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
CN101836457B (zh) 2007-10-25 2012-07-11 日本电信电话株式会社 活动图像可分级编码方法及解码方法及其装置
US8831087B2 (en) * 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US9161057B2 (en) 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
JP5681667B2 (ja) 2012-05-29 2015-03-11 株式会社野村総合研究所 データベース移行システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223499A1 (en) * 2002-04-09 2003-12-04 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US20050259736A1 (en) * 2004-05-21 2005-11-24 Christopher Payson Video decoding for motion compensation with weighted prediction
CN101379829A (zh) * 2006-02-02 2009-03-04 汤姆逊许可公司 用于运动补偿预测的自适应加权选择的方法和设备
TW200926832A (en) * 2007-10-12 2009-06-16 Qualcomm Inc Layered encoded bitstream structure
TW200930102A (en) * 2007-10-12 2009-07-01 Qualcomm Inc Entropy coding of interleaved sub-blocks of a video block
TW200921380A (en) * 2007-11-14 2009-05-16 Microsoft Corp Internal test and manipulation of an application

Also Published As

Publication number Publication date
US9609357B2 (en) 2017-03-28
HK1210344A1 (zh) 2016-04-15
US20160037181A1 (en) 2016-02-04
EP3322184A1 (en) 2018-05-16
JP5678057B2 (ja) 2015-02-25
US20110007802A1 (en) 2011-01-13
US9161057B2 (en) 2015-10-13
TW201106704A (en) 2011-02-16
CN104601990B (zh) 2018-05-01
EP3442226A1 (en) 2019-02-13
JP5931995B2 (ja) 2016-06-08
CN104601990A (zh) 2015-05-06
WO2011006004A1 (en) 2011-01-13
EP2452502A1 (en) 2012-05-16
CN102474621A (zh) 2012-05-23
JP2014090436A (ja) 2014-05-15
JP2012533225A (ja) 2012-12-20
CN102474621B (zh) 2015-08-26
JP5784689B2 (ja) 2015-09-24
JP2015053701A (ja) 2015-03-19

Similar Documents

Publication Publication Date Title
TWI413419B (zh) 視訊編碼中之非零修整與預測模式選擇技術
JP5587410B2 (ja) ビデオデータを符号化する方法および装置
TWI408966B (zh) 用於視訊編碼中單向預測及雙向預測之不同權重
US8995527B2 (en) Block type signalling in video coding
US8831087B2 (en) Efficient prediction mode selection
US8665964B2 (en) Video coding based on first order prediction and pre-defined second order prediction mode
KR20120042910A (ko) 비디오 코딩을 위한 템플릿 매칭