TWI517671B

TWI517671B - 用於增強型解碼器側移動向量導出（ｄｍｖｄ）處理之系統及方法

Info

Publication number: TWI517671B
Application number: TW100123109A
Authority: TW
Inventors: 邱義真; 蔣宏; 徐利同; 張文豪
Original assignee: 英特爾股份有限公司
Priority date: 2010-07-15
Filing date: 2011-06-30
Publication date: 2016-01-11
Also published as: TW201215152A

Description

用於增強型解碼器側移動向量導出(DMVD)處理之系統及方法

本發明係有關用於增強型解碼器側移動向量導出(DMVD)處理之系統及方法。

在傳統視頻編碼系統中，可在編碼器執行移動估計(ME)以取得當前編碼區塊之移動預測的移動向量。可接著將移動向量編碼成二元流並傳送至解碼器。這允許解碼器執行當前解碼區塊的移動補償。在一些先進視頻編碼標準中，如H.264/AVC，可將巨集區塊(MB)分割成編碼用之較小區塊，並且可分配移動向量至每一子分割區塊。因此，若將MB分成4×4區塊，則針對預測型編碼MB會有高達16個移動向量，且針對雙預測型編碼MB會有高達32個移動向量，其可代表明顯的負擔。考慮到移動編碼區塊具有強的時間及空間關聯之移動編碼區塊，在解碼側可依據重建的參考圖像或重建的空間相鄰區塊執行移動估計。這可讓解碼器自己導出當前區塊之移動向量，取代從編碼器接收移動向量。此解碼器側移動向量導出(DMVD)法可增加解碼器之運算複雜度，但其可藉由節省頻寬來改善現有視頻編解碼系統的效率。

在解碼器側上，若使用DMVD法來編碼區塊，其之移動向量僅可在執行解碼器側移動估計之後得到。這可以下列兩種方面影響平行解碼實施。首先，若解碼器側移動估計使用空間相鄰重建畫素，DMVD區塊之解碼僅可在已解碼其之所有的相鄰區塊(其含有用於移動估計之畫素)之後開始。其次，若在DMVD模式中編碼一區塊，其之移動向量可用於其相鄰區塊的移動向量預測。所以其之相鄰區塊的解碼程序，其針對移動向量預測使用此當前DMVD編碼區塊的移動向量，僅可在結束當前DMVD區塊之移動估計後才開始。因此，在上述程序中有相依性，其中這些相依性可減緩解碼。尤其，在解碼器側之處理較不適合平行DMVD演算法。

另外，在一些實施中，在解碼器側之移動估計可能需要在一搜尋窗中的可能移動向量候選者之中的搜尋。該搜尋可為窮舉式搜尋或可仰賴任何若干已知快速搜尋演算法。即使若使用相對快速的搜尋演算法，在找出最佳候選者前可能需要評估可觀數量的候選者。這亦代表在解碼器側之處理中的無效率。

【發明內容及實施方式】

茲參照附圖敘述一實施例。雖討論特定組態及配置，應了解到這僅是為了說明。熟悉相關技藝人士將認知到可使用其他組態及配置而不背離說明之精神及範疇。對熟悉相關技藝人士明顯的是，亦可用於在此所述外之各種其他系統及應用。

在此揭露的是增強在視頻壓縮/解壓縮系統中之解碼器的處理之方法及系統。

在此所述之增強型處理可發生在分別實施視頻壓縮及解壓縮之視頻編碼器/解碼器系統的情境中。第1圖描繪一示範H.264視頻編碼器架構100，其可包括自身MV導出模組140，其中H.264為視頻編解碼器標準。以複數訊框的形式可從當前的視頻區塊110提供當前的視頻資訊。可傳送當前視頻至差分單元111。差分單元111可為差分脈碼調變(DPCM)(亦稱為核心視頻編碼)迴路的一部分，其可包括移動補償級122及移動估計級118。該迴路亦包括框內預測(intra prediction)級120及框內內插級124。在某些情況中，在該迴路中亦可使用迴路中去區塊過濾器126。

可提供當前視頻至差分單元111並至移動估計級118。移動補償級122或框內內插級124可透過切換器123產生輸出，其可接著從視頻區塊110減去以產生餘數。可接著在變換/量化級112變換並量化餘數並在區塊114中經過熵編碼。在區塊116得到通道輸出。

可提供移動補償級122或框內內插級124的輸出至加總器133，其亦可接收來自逆量化單元130及逆變換單元132的輸入。後兩單元可取消變換/量化級112之變換及量化。逆變換單元132可提供解量化及解變換資訊回到迴路。

自身MV導出模組140可實施在此所述之用於從先前解碼畫素導出移動向量之處理。自身MV導出模組140可接收迴路中去區塊過濾器126的輸出，並可提供輸出至移動補償級122。

第2圖繪示具有自身MV導出模組210之H.264視頻解碼器200。在此，針對第1圖之編碼器100的解碼器200可包括耦合至熵解碼單元240之通道輸入238。可提供來自解碼單元240的輸出至逆量化單元242及逆變換單元244，及至自身MV導出模組210。自身MV導出模組210可耦合至移動補償單元248。亦可提供熵解碼單元240的輸出至框內內插單元254，其可饋送選擇器切換器223。可接著將來自逆變換單元244，及如由切換器223選擇之移動補償單元248或框內內插單元254的資訊加總並提供至迴路中去區塊單元246，並饋送回框內內插單元254。可接著將迴路中去區塊單元246的輸出饋送至自身MV導出模組210。

在編碼器之自身MV導出模組可與視頻解碼器側同步。自身MV導出模組可替代地應用於一般視頻編解碼器架構，且不限於H.264編碼架構。

於上所述之編碼器及解碼器，以及如上述般由它們所執行的處理，可在硬體、韌體、或軟體、或上述的組合中加以實施。另外，在此揭露之任一或更多特徵可在硬體、軟體、韌體、或上述的組合中加以實施，包括離散或積體電路邏輯、特定應用積體電路(ASIC)邏輯、及微控制器，且可實施成特定域積體電路封裝件或積體電路封裝件的組合之一部分。術語「軟體」，如此處所用，意指電腦程式產品，包括具有電腦程式邏輯儲存於其中之電腦可讀取媒體，以令電腦系統執行在此揭露的一或更多特徵及/或特徵之組合。

空間相鄰重建畫素之相依性

解碼器側移動估計(ME)係基於在參考圖像中當前編碼區塊之移動可與其空間相鄰區塊的那些以及其時間相鄰區塊的那些具有強關聯的假設。第3圖至第6圖顯示可採用不同種的關聯之不同解碼器側ME法。

可藉由利用時間移動關聯來在兩參考訊框之間執行第3圖中之鏡射型ME及第4圖中之推演型ME。在第3圖之實施例中，在前向參考訊框320及後向參考訊框330之間可有兩個雙預測訊框(B訊框)310及315。訊框310可為當前編碼訊框。當編碼當前區塊340時，可藉由分別在參考訊框320及330之搜尋窗360及370中執行搜尋來執行鏡射型ME以取得移動向量。如上述，當在解碼器當前輸入區塊不可得時，可以兩參考訊框執行鏡射型ME。

第4圖顯示一示例性的推演型ME程序400，其可使用兩個前像參考訊框，前像(FW)Ref0(顯示為參考訊框420)及FW Ref1(顯示為參考訊框430)。這些參考訊框可用來導出當前訊框P(顯示為訊框410)中之當前目標區塊440的移動向量。可在參考訊框420中指定搜尋窗470，並可在搜尋窗470中指定搜尋路徑。針對在搜尋路徑中之每一移動向量MV0，可在參考訊框430的搜尋窗460中決定其之推演型移動向量MV1。針對每一對的移動向量，MV0及其關聯的移動向量MV1，可計算在(1)在參考訊框420中由MV0所指向之參考區塊480以及(2)在參考訊框430中由MV1所指向之參考區塊450之間的度量，如絕對差的總和。可接著選擇產生最佳度量值(如最小絕對差的總和(SAD))的移動向量MV0作為目標區塊440的移動向量。

欲改善當前區塊之輸出移動向量的準確度，某些實施可包括在解碼器側ME之測量度量中之空間相鄰重建畫素。在第5圖中，可藉由利用空間移動關聯對空間相鄰的區塊執行解碼器側ME。第5圖顯示一實施例500，其可採用在當前圖像(或訊框)510中之一或更多相鄰區塊540(在此顯示成在目標區塊530上方及左邊)。這可允許基於分別在前一參考訊框520及後一參考訊框560中之一或更多相應的區塊550及555之移動向量的產生，其中用語「前」及「後」意指時間順序。可接著應用移動向量至目標區塊530。在一實施例中，光柵掃描編碼順序可用來決定在目標區塊之上方、左邊、左上方、及右上方的空間相鄰區塊。這種方法可用於B訊框，其使用前訊框及後訊框兩者來解碼。

由第5圖所示範的方法可應用至當前訊框中之空間相鄰區塊的可得畫素，只要在序列掃描編碼順序中比目標區塊更早解碼相鄰區塊。此外，此方法可相關於針對當前訊框的參考訊框列表中之參考訊框應用移動搜尋。

第5圖之實施例的處理可如下般發生。首先，可在當前訊框中辨別一或更多的畫素區塊，其中經辨別的區塊鄰接當前訊框之目標區塊。可接著基於在一時間隨後參考訊框中之相應區塊及在前一參考訊框中之相應區塊執行經辨別的區塊之移動搜尋。移動搜尋可產生經辨別的區塊之移動向量。替代地，可在辨別那些區塊之前先決定相鄰區塊的移動向量。可接著使用移動向量來導出目標區塊之移動向量，其可接著用於目標區塊的移動補償。可使用此技藝中具有通常知識者已知的任何適當程序來執行此導出。這種程序可例如但不限於加權平均或中位數過濾。

若當前圖像在參考緩衝器中具有後向及前向參考訊框兩者，則可使用用於鏡射型ME之相同方法來得到圖像級及區塊級適應搜尋範圍向量。否則，若僅可得到前向參考圖像，可使用上述針對推演型ME之方法來得到圖像級及區塊級適應搜尋範圍。

在時間順序中先前及隨後之重建訊框的相應區塊可用來導出移動向量。此方法繪示在第6圖中。欲編碼在當前訊框610中之目標區塊630，使用已經解碼的畫素，其中可在前一圖像(在此顯示為訊框615)之相應的區塊640中以及在下一訊框(在此顯示為圖像655)之相應的區塊665中找到這些畫素。可藉由進行經過參考訊框(圖像)620之一或更多區塊650的移動搜尋來導出相應區塊640的第一移動向量。(諸)區塊650可在參考訊框620中鄰接相應於前一圖像615的相應區塊640之一區塊。可藉由進行經過參考圖像(亦即訊框)660之一或更多區塊670的移動搜尋來導出下一訊框655的相應區塊665的第二移動向量。(諸)區塊670可在另一參考圖像660中鄰接相應於下一訊框655的區塊665之一區塊。依據第一及第二移動向量，可決定目標區塊630的前向及/或後向移動向量。這些後者移動向量可接著用於目標區塊之移動補償。

針對這種情況之ME處理可如下。首先在前一訊框中辨別一區塊，其中此經辨別的區塊可相應於當前訊框之目標區塊。可決定此前一訊框之經辨別區塊的第一移動向量，其中第一移動向量可相較於第一參考訊框之一相應區塊來加以界定。可在一隨後訊框中辨別一區塊，其中此區塊可相應於當前訊框之目標區塊。可決定此後一訊框之經辨別區塊的第二移動向量，其中第二移動向量可相較於第二參考訊框之一相應區塊來加以界定。可使用上述個別的第一及第二移動向量來決定目標區塊之一或兩個移動向量。可在解碼器發生類同的處理。

當編碼/解碼當前圖像時，可得到在前一訊框615與參考訊框620之間的區塊移動向量。使用這些移動向量，可以上述針對推演型ME的方式決定圖像級適應搜尋範圍。在鏡射型ME的情況中，該相應區塊及與該相應區塊空間相鄰的區塊之移動向量可用來導出區塊級適應搜尋範圍。

由於空間相鄰重建畫素可用於解碼器側ME中，於DMVD模式中經編碼的一區塊的解碼僅可在已解碼所有所需之空間相鄰畫素之後才可開始。此解碼相依性會影響區塊解碼之平行實施的效率。

為了讓DMVD編碼的區塊可被平行解碼，可移除解碼器側ME對空間相鄰重建畫素的相依性。接著可僅在兩參考圖像上執行第3及4圖中之鏡射型ME及推演型ME，並且在解碼器側ME的測量度量中可不考慮空間相鄰重建畫素。第5圖中之空間相鄰區塊ME可被第6圖中所示之時間並列區塊ME功能性取代，亦即可針對參考圖像中之並列區塊，而非當前圖像中之空間相鄰區塊執行解碼器側ME。

在第7圖中繪示此解碼策略。在710，可在解碼器接收DMVD編碼區塊。在720，可執行ME。這可使用在參考圖像中之時間相鄰重建畫素來完成。不使用空間相鄰重建畫素。在730，可解碼DMVD編碼區塊。

在一實施例中，該解碼可與非DMVD編碼區塊的解碼平行進行。由於重建的參考圖像在當前圖像之解碼前就已就緒，使得僅可在參考圖像上執行解碼器側ME，DMVD編碼區塊不會對空間相鄰重建畫素有解碼相依性。因此，可平行解碼DMVD編碼區塊及非DMVD編碼的框間編碼區塊。

移動向量預測相依性

雖可以上述系統及方法來解決對空間相鄰重建畫素之解碼相依性，在解碼程序中仍有移動向量預測相依性。在H.264/AVC標準中，欲移除移動向量冗餘，一區塊之移動向量可首先從其之空間或時間相鄰區塊的移動向量加以預測。可接著將最終移動向量與預測移動向量間的差編碼到傳送至解碼器側之位元流中。在解碼器側，欲獲得當前區塊之最終移動向量，可首先從空間或時間相鄰區塊的已解碼移動向量計算預測移動向量，並接著添加已解碼的移動向量差至預測移動向量，以得到當前區塊之最終解碼移動向量。

若使用DMVD模式，則解碼器可自己導出DMVD編碼區塊之移動向量。但若針對非DMVD編碼區塊，則仍可以上述方式解碼其之移動向量。現在，若在DMVD模式中編碼一區塊，其之移動向量僅可在執行該解碼器側ME之後才可得到。若這些移動向量將用來預測其之空間相鄰區塊的移動向量，空間相鄰區塊的解碼僅可在DMVD編碼區塊的解碼器側ME完成後才可開始。此移動向量預測相依性會影響區塊解碼之平行實施的效率。

如第8圖中所示，當編碼一當前區塊時，如區塊810，其之四個空間相鄰區塊(A、B、C、及D)的移動向量可用來預測其之移動向量。若以DMVD模式編碼區塊A、B、C、及D的任一者，則可應用下列方案之一來移除對DMVD區塊的移動向量相依性。

在一實施例中，若一空間相鄰區塊為DMVD區塊，其之移動向量可在移動向量預測程序中標記為不可得。亦即，從非DMVD編碼的相鄰區塊之移動向量預測當前區塊的移動向量。這是繪示在第9圖中。在910，可連同一或更多DMVD區塊接收當前非DMVD區塊。在920，可做出相較於當前的非DMVD區塊是否有空間相鄰DMVD區塊的判斷。尤其，可做出第8圖中所示之位置A...D的任一者中是否有相鄰非DMVD區塊的DMVD區塊之判斷。若是，則將這一DMVD區塊標記成針對非DMVD區塊的移動向量預測為不可得。在930，可使用相鄰非DMVD區塊的移動向量來預測當前非DMVD區塊之移動向量。在940，可解碼當前非DMVD區塊。

在一替代實施例中，若在位置A...D的任一者中有空間相鄰非DMVD區塊之DMVD區塊(參見第8圖)，針對解碼非DMVD區塊可使用不同方法。這一實施例是繪示在第10圖中。在1010，解碼器連同一或更多空間相鄰DMVD區塊接收當前的非DMVD區塊。在1020，若一空間相鄰區塊為DMVD區塊，則計算此DMVD區塊的移動向量。在1030，計算出的移動向量可用來預測當前非DMVD區塊的移動向量。在1040，在有此預測的移動向量的前提下，可解碼當前非DMVD區塊。

由於可在執行解碼器側ME之前準備好此計算出的移動向量，相鄰區塊的解碼程序，例如當前非DMVD區塊，可立刻開始而不需等待DMVD編碼區塊之解碼器側ME程序完成。接著，可平行解碼DMVD編碼區塊及當前非DMVD編碼區塊。

可以任何若干方式決定相鄰DMVD區塊之移動向量。例如，在一實施例中，DMVD區塊之計算的移動向量可為其之可得的空間相鄰區塊移動向量的加權平均。

在一替代實施例中，DMVD區塊之計算的移動向量可為其之可得的空間相鄰區塊移動向量的中位數過濾值。

在一替代實施例中，DMVD區塊之計算的移動向量可為定標可得的時間相鄰區塊移動向量的加權平均。

在一替代實施例中，DMVD區塊之計算的移動向量可為定標可得的時間相鄰區塊移動向量的中位數過濾值。

在一替代實施例中，DMVD區塊之計算的移動向量可為其之可得的空間相鄰區塊移動向量及定標可得的時間相鄰區塊移動向量的加權平均。

在一替代實施例中，DMVD區塊之計算的移動向量可為其之可得的空間相鄰區塊移動向量及定標可得的時間相鄰區塊移動向量的中位數過濾值。

藉由上述方案，可移除對DMVD區塊移動向量之移動向量預測相依性。結合對空間相鄰重建畫素之相依性的移除，解碼器可平行解碼框間編碼區塊(無論它們係以DMVD模式或非DMVD模式編碼)。這可允許在多核心平台上之解碼器的平行實施的較大使用。

移動向量之快速候選者搜尋

可使用在一搜尋窗內之完整搜尋，或使用任何其他快速移動搜尋演算法，來執行DMVD區塊的ME，只要編碼器及解碼器使用相同的移動搜尋方案。在一實施例中，可使用基於快速候選者之ME程序。在此，移動搜尋程序僅需檢查相對小的候選者移動向量組，取代檢查搜尋窗中之所有可能性。編碼器及解碼器使用相同的候選者來避免任何不匹配。

可從空間編碼相鄰區塊及時間編碼相鄰區塊的移動向量導出候選者移動向量。可藉由執行在這種移動向量附近的小範圍移動搜尋來精化候選者移動向量。

在一實施例中，可首先檢查所有候選者移動向量，並選擇最佳者(如產生最小絕對差總和)。可接著在此最佳候選者附近執行小範圍移動搜尋來得到最終之移動向量。

在一實施例中，可在每一候選者移動向量附近執行小範圍移動搜尋以精化之，並可選擇最佳經精化候選者(如具有最小SAD)作為最終之移動向量。

實施

在此藉由繪示方法及系統之功能、特徵、及關係之功能建構區塊的幫助來揭露方法及系統。在此為了方便說明，已經在此任意地界定這些功能建構區塊之至少一些邊界。可界定替代邊界，只要能適當執行其之指定的功能及關係。

在此揭露之一或更多特徵可在硬體、軟體、韌體、及上述的組合中加以實施，包括離散或積體電路邏輯、特定應用積體電路(ASIC)邏輯、及微控制器，且可實施成特定域積體電路封裝件或積體電路封裝件的組合之一部分。術語「軟體」，如此處所用，意指電腦程式產品，包括具有電腦程式邏輯儲存於其中之電腦可讀取媒體，以令電腦系統執行在此揭露的一或更多特徵及/或特徵之組合。

上述之處理的一軟體或韌體實施例係繪示在第11圖中。系統1100可包括處理器1120及記憶體1110之本體，其可包括可儲存電腦程式邏輯1140之一或更多電腦可讀取媒體。記憶體1110可實施成例如硬碟及驅動器、如光碟及驅動器之可移除式媒體、或唯讀記憶體(ROM)裝置。處理器1120及記憶體1110可使用此技藝中具有通常知識者已知的任何若干技術來通訊，如匯流排。包含在記憶體1110中的邏輯可由處理器1120加以讀取並履行。一或更多I/O埠及/或I/O裝置，統一顯示為I/O 1130，亦可連接至處理器1120及記憶體1110。

電腦程式邏輯1140可包括邏輯模組1150至1170。在一實施例中，邏輯1150可負責上述針對當前區塊為DMVD區塊之情況的處理。邏輯1160可負責上述針對當前區塊為非DMVD區塊之情況的處理。邏輯1170可負責上述移動向量之快速候選者搜尋的實施。

雖已經在此揭露各種實施例，應了解到其僅以例示而非限制方式呈現。對熟悉此技藝人士很明顯的是，可在此做出形式及細節上的各種改變而不背離在此揭露之方法及系統的精神及範疇。因此，申請專利範圍之廣度及範疇應不受限於在此揭露之任何範例實施例。

100．．．視頻編碼器架構

110．．．視頻區塊

111．．．差分單元

112．．．變換/量化級

114．．．區塊

118．．．移動估計級

120．．．框內預測級

122．．．移動補償級

123．．．切換器

124．．．框內內插級

126．．．迴路中去區塊過濾器

130．．．逆量化單元

132．．．逆變換單元

133．．．加總器

140．．．自身MV導出模組

200．．．視頻視頻解碼器

210．．．自身MV導出模組

223．．．選擇器切換器

238．．．通道輸入

240．．．熵解碼單元

242．．．逆量化單元

244．．．逆變換單元

246．．．迴路中去區塊單元

248．．．移動補償單元

254．．．框內內插單元

310．．．雙預測訊框

315．．．雙預測訊框

320．．．前向參考訊框

330．．．後向參考訊框

340．．．當前區塊

360．．．搜尋窗

370．．．搜尋窗

410．．．當前訊框

420．．．參考訊框

430．．．參考訊框

440．．．當前目標區塊

450．．．參考區塊

460．．．搜尋窗

470．．．搜尋窗

500．．．實施例

510．．．當前圖像(或訊框)

520．．．參考訊框

530．．．目標區塊

540．．．相鄰區塊

550．．．區塊

555．．．區塊

560．．．參考訊框

610．．．當前訊框

615．．．訊框

620．．．參考訊框

630．．．目標區塊

640．．．區塊

650．．．區塊

655．．．圖像

660．．．參考訊框

665．．．區塊

670．．．區塊

810．．．區塊

1100．．．系統

1120．．．處理器

1130．．．輸入/輸出

1140．．．電腦程式邏輯

1150．．．邏輯模組

1160．．．邏輯模組

1170．．．邏輯模組

第1圖為根據一實施例之視頻編碼器系統的區塊圖。

第2圖為根據一實施例之視頻解碼器系統的區塊圖。

第3圖為繪示根據一實施例在解碼器的鏡射型移動估計(ME)之圖。

第4圖為繪示根據一實施例在解碼器的推演型ME之圖。

第5圖為繪示根據一實施例在解碼器的空間相鄰區塊ME之圖。

第6圖為繪示根據一實施例在解碼器的時間並列相鄰區塊ME之圖。

第7圖為繪示根據一實施例之DMVD編碼區塊的移動估計及解碼之流程圖。

第8圖繪示根據一實施例之當前區塊及可用於當前區塊之解碼的相鄰區塊。

第9圖為繪示根據一實施例之非DMVD編碼區塊的移動估計及解碼之流程圖。

第10圖為繪示根據一替代實施例之非DMVD編碼區塊的移動估計及解碼之流程圖。

第11圖為繪示一實施例之軟體或韌體實施之圖。