TWI739509B - 動態影像預測解碼裝置及動態影像預測解碼方法 - Google Patents

Abstract

動態影像預測解碼裝置(200)係具備：輸入端子(201)、解碼器(202)、逆量化器(203)、逆轉換器(204)、加算器(205)、輸出端子(206)、運動補償器(207)、運動資訊復原器(208)、畫格記憶體(104)、運動資訊用記憶體(113)。運動資訊復原器(208)係具備：第1運動資訊復原器(211)、第0運動資訊復原器(212)。

第0運動資訊復原器(212)，係將第0附加資訊予以輸入，從相鄰區塊之運動資訊，生成第0預測運動向量，將預測運動向量與附加資訊中所含之差分運動向量進行加算，以生成第0運動資訊中所含之運動向量，藉此而復原第0運動資訊。第1運動資訊復原器(211)，係將第1附加資訊予以輸入，從經由L113所得之已解碼之運動資訊，生成第1預測運動向量。將該預測運動向量當成第1運動資訊中所含之運動向量，藉此而復原第1運動資訊。

Description

動態影像預測解碼裝置及動態影像預測解碼方法

本發明係有關於動態影像預測編碼裝置、動態影像預測編碼方法、動態影像預測編碼程式、動態影像預測解碼裝置、動態影像預測解碼方法及動態影像預測解碼程式，尤其是有關於，藉由將2個預測訊號進行平均化以生成最終之區塊預測訊號(雙預測訊號)動態影像預測編碼裝置、動態影像預測編碼方法、動態影像預測編碼程式、動態影像預測解碼裝置、動態影像預測解碼方法及動態影像預測解碼程式。

為了有效率地進行靜止影像或動態影像資料的傳送或積存，採用了壓縮編碼技術。在動態影像的情況下，廣泛地採用MPEG-1~4或ITU(International Telecommunication Union)H.261~H.264之方式。

在這些編碼方式中，是將身為編碼對象的影像，分割成複數區塊，然後才進行編碼、解碼處理。在畫面內的預測編碼時，是使用位於與對象區塊相同畫面內的相鄰之已再生的影像訊號(壓縮影像資料所復原而成者)來生成預 測訊號，然後將該預測訊號，從對象區塊之訊號中加以扣除而成的差分訊號，進行編碼。在畫面間的預測編碼時，是參照位於與對象區塊不同畫面內的相鄰之已再生的影像訊號來進行運動的補正，生成預測訊號，將該預測訊號從對象區塊之訊號中加以扣除而成的差分訊號，進行編碼。

例如在H.264的畫面內預測編碼時，係採用將身為編碼對象之區塊所相鄰的已再生之像素值，往所定之方向進行外插，以生成預測訊號之方法。圖20係ITU H.264中所採用的畫面內預測方法的說明用模式圖。於圖20(A)中，對象區塊802係身為編碼對象之區塊該對象區塊802的交界處所相鄰的像素A~M所成的像素群801係為相鄰領域，是於過去處理中已經被再生的影像訊號。

此時，將位於對象區塊802正上方的相鄰像素亦即像素群801往下方拉長而生成預測訊號。又，在圖20(B)中，係將位於對象區塊804的左方的已再生像素(I~L)往右拉長以生成預測訊號。生成預測訊號的具體方法，係例如記載於專利文獻1中。針對如此以圖20(A)至(I)所示的方法所生成的9個預測訊號之每一者，分別與對象區塊的像素訊號取差分，將差分值最小者視為最佳之預測訊號。如以上，藉由將像素進行外插，就可生成預測訊號。關於以上的內容，係被記載於下記專利文獻1。

在通常的畫面間預測編碼時，關於身為編碼對象之區 塊，是以從已再生之畫面中探索出類似於該像素訊號之訊號的方法，來生成預測訊號。然後，將對象區塊與探索到的訊號所構成之領域之間的空間性位移量亦即運動向量，及對象區塊的像素訊號與預測訊號的殘差訊號，進行編碼。如此對每一區塊，進行運動向量之探索的手法，稱作區塊比對(block matching)。

圖19係區塊比對處理的說明用模式圖。此處，以在編碼對象之畫面701上的對象區塊702為例，來說明預測訊號的生成程序。參照影像703係為已經再生完畢，領域704係與對象區塊702在空間上為同一位置的領域。在區塊比對時，設定圍繞領域704的探索範圍705，從該探索範圍705之像素訊號中，偵測出與對象區塊702之像素訊號的絕對值誤差和呈最小的領域706。該領域706的訊號係成為預測訊號，從領域704往領域706的位移量，係被偵測成為運動向量707。又，準備複數個參照畫面703，就每一對象區塊，選擇要實施區塊比對的參照畫面，偵測出參照畫面選擇資訊的方法，也被經常採用。在H.264中，為了對應於影像的局部性特徵變化，備有將運動向量進行編碼之區塊尺寸是互異的複數種預測形式。關於H.264的預測形式，例如記載於專利文獻2。

在動態影像資料的壓縮編碼時，各畫面(畫格、圖場)的編碼順序係可為任意。因此，參照已再生畫面來生成預測訊號的畫面間預測中，關於編碼順序係有2種手法。第1手法係參照1個已再生影像來生成預測訊號的單預測， 第2手法係參照1或2個已再生影像而將所得之2個預測訊號予以平均化的雙預測。單預測係有參照顯示順序為過去之已再生影像的前方預測，和參照顯示順序上為未來再生之畫面的後方預測。關於畫面間預測的種類，例如記載於專利文獻3。

在H.264中，作為參照畫面703之候補，是作成由複數已再生之畫面所成的2個參照畫面清單，來進行第2畫面間手法(雙預測)。以各參照畫面清單中所被登錄的複數參照畫面為對象而進行區塊比對，偵測出相當於領域706的2個領域，將所偵測到的2個預測訊號進行平均化。

以圖5和圖6來說明參照畫面清單的例子。在圖5(A)中係表示，畫面505係為編碼對象影像，從畫面501至畫面504係為已再生影像。在圖5(B)中係表示，畫面510係為編碼對象畫面，畫面507、508、509與511係表示已再生畫面。各影像(畫面)的識別是以畫格編號(frame_num)來為之。圖6的List0與List1係表示2個參照畫面清單，圖6(A)係表示圖5(A)的參照畫面清單，圖6(B)與(C)係表示圖5(B)的參照畫面清單之例子。在圖6(A)與(C)中，係在各參照畫面清單中分別登錄有4個參照畫面，在圖6(B)中，係在各參照畫面清單中分別登錄有2個參照畫面。各參照畫面係以參照畫面索引(ref_idx)來識別。可登錄在參照畫面清單中的已再生影像，基本上係為任意。此外，在本案中，為了便於理解內容，配合上記的參照畫面清單List0、List1，而採用例如第0運動資訊、第1運動資訊 這樣的稱呼。

[先前技術文獻] [專利文獻]

[專利文獻1]美國專利公報第6765964號

[專利文獻2]美國專利公報第7003035號

[專利文獻3]美國專利公報第6259739號

在雙預測中，藉由類似的2個預測訊號的平均化所致之平滑化效果，就可去除預測訊號中所含的雜訊。可是，此種平滑化效果較大的區塊經常會是紋理領域或含雜訊之平坦領域，在參照畫面內會存在有複數個類似訊號。

由於這些領域的訊號係為隨機性較強，因此若在這些領域中，要從複數參照畫面探索出與對象區塊類似的2個預測訊號，則有時候相鄰區塊間的運動向量會有所參差。由於運動向量係以與相鄰區塊之運動向量的差來進行編碼，因此若相鄰區塊間的運動向量有參差則會導致其編碼量變大。

作為減少雙預測之編碼量的手法，係如先前例子所示，係有在解碼側導出相鄰區塊之狀況下所使用的2個運動向量的方法，但由於可利用的預測訊號之限制過強因此難以提高2個預測訊號的類似性，無法獲得足夠的平滑化 效果。

為了解決上述課題，在本發明中，目的在於提供一種動態影像預測編碼裝置、動態影像預測編碼方法、動態影像預測編碼程式、動態影像預測解碼裝置、動態影像預測解碼方法及動態影像預測解碼程式，係藉由將用來生成與對象區塊類似之預測訊號所需的1個運動向量予以編碼，從已編碼之運動資訊中選擇性地求出另1個運動向量，藉此，對於將2個運動向量予以編碼的雙預測而能以較少的編碼量，而效率良好地抑制預測訊號之雜訊。

本發明之一側面所述之動態影像預測編碼裝置，其特徵為，具備：領域分割手段，係用以將輸入影像分割成複數領域；和預測訊號生成手段，係用以決定運動向量，其係用來從已再生影像取得，已被前記領域分割手段所分割的領域當中、與編碼對象亦即對象領域之相關較高的訊號；和運動資訊記錄手段，係用以保存前記運動向量；和殘差訊號生成手段，係用以生成前記對象領域之預測訊號與前記對象領域之像素訊號的殘差訊號；和殘差訊號壓縮手段，係用以將前記殘差訊號生成手段所生成的殘差訊號，予以壓縮；和殘差訊號復原手段，係用以生成前記殘差訊號之壓縮資料所復原而成的再生殘差訊號；和編碼手段，係用以將預測運動向量其係類似於從前記運動資訊記錄手段中所保存之已再生之運動向量所選擇出來的前記對 象領域之運動向量、和從前記對象領域之運動向量所決定之附加資訊、和前記殘差訊號之壓縮資料，予以編碼；和影像記錄手段，係用以藉由將前記預測訊號與前記再生殘差訊號予以加算以復原前記對象領域之像素訊號，並將已被復原之像素訊號，當作前記已再生影像而加以保存；前記運動向量係包含有：第0預測訊號之生成上所需要的第0運動向量、和第1預測訊號之生成上所需要的第1運動向量；前記預測訊號生成手段係含有：第0運動資訊推定手段，係用以推定用來取得前記第0預測訊號所需的第0運動向量，並且將與所推定之第0運動向量類似的第0預測運動向量，從前記運動資訊記錄手段中所保存的複數運動向量中予以選擇，生成第0附加資訊其中含有：用來識別已選擇之前記預測運動向量所需的第0預測運動資訊索引、和由前記第0運動向量及第0預測運動向量所決定之差分運動向量；和第1運動資訊推定手段，係用以從前記運動資訊記錄手段所保存的複數運動向量之中，選擇出運動向量其係用來生成與對象領域之相關較高的第1預測訊號，生成第1附加資訊其中含有用來將已選擇之運動向量識別成為第1預測運動向量所需的第1預測運動資訊索引，並將前記第1預測運動向量設定成第1運動向量；和預測訊號合成手段，係用以將前記第0預測訊號與前記第1預測訊號加以合成，以生成對象領域的預測訊號。

在上記的動態影像預測編碼裝置中，亦可為，前記第1運動資訊推定手段係還具有以下機能：推定用來取得前 記第1預測訊號所需的第2運動向量，以偵測出第2運動向量，並且，將與所推定之第2運動向量類似的第2預測運動向量，從前記運動資訊記錄手段中所保存的複數運動向量中予以選擇，生成第2附加資訊其中含有：用來識別已選擇之前記預測運動向量所需的第2預測運動資訊索引、和由前記第2運動向量及前記第2預測運動向量所決定之差分運動向量；前記預測訊號生成手段，係當已被前記影像記錄手段所保存之複數已再生影像在顯示順序上全部都是比編碼對象影像較為過去之影像的情況下，則以前記第1運動向量來生成前記第1預測訊號，當已被前記影像記錄手段所保存之複數已再生影像中含有顯示順序比編碼對象影像還未來之影像的情況下，則以前記第2運動向量來生成前記第1預測訊號；前記編碼手段，係當已被前記影像記錄手段所保存之複數已再生影像在顯示順序上全部都是比編碼對象影像較為過去之影像的情況下，則對每一畫面或切片，將用來指示前記第1附加資訊將被編碼的指示資訊，予以編碼，當已被前記影像記錄手段所保存之複數已再生影像中含有顯示順序比編碼對象影像還未來之影像的情況下，則對每一畫面或切片，將用來指示前記第2附加資訊將被編碼的指示資訊，予以編碼；將前記第0附加資訊、和基於前記指示資訊而將第1附加資訊或第2附加資訊之其中一方，當作各對象領域之附加資訊而予以編碼。

本發明之一側面所述之動態影像預測解碼裝置，其特 徵為，具備：解碼手段，係用以從分割成複數領域而被編碼的壓縮資料之中，將解碼對象之解碼對象領域的附加資訊與殘差訊號之壓縮資料，予以解碼；和運動資訊復原手段，係用以從前記附加資訊中復原出，用來生成前記對象領域之預測訊號所需要的運動向量；和運動資訊記錄手段，係用以保存前記運動向量；和運動補償手段，係用以基於前記運動向量，而生成前記對象領域之預測訊號；和殘差訊號復原手段，係用以從前記殘差訊號之壓縮資料，復原出前記對象領域的再生殘差訊號；和影像記錄手段，係用以藉由將前記預測訊號與前記再生殘差訊號予以加算以復原前記解碼對象領域之像素訊號，並將已被復原之像素訊號，當作已再生影像而加以保存；前記解碼手段，係將第0附加資訊與第1附加資訊予以解碼；前記第0附加資訊係含有：第0差分運動向量、和用來把從前記運動資訊記錄手段中所儲存之複數運動向量所選擇出來的1者識別成為第0預測運動向量所需的第0預測運動資訊索引；前記第1附加資訊係含有：用來把從前記運動資訊記錄手段中所儲存之複數運動向量所選擇出來的1者識別成為第1預測運動向量所需的第1預測運動資訊索引；前記運動資訊復原手段係含有：第0運動資訊復原手段，係用以基於前記第0預測運動資訊索引而生成第0預測運動向量，將已生成之第0預測運動向量與前記第0差分運動向量進行加算以復原第0運動向量；和第1運動資訊復原手段，係用以基於前記第1預測運動資訊索引而生成第1預測運 動向量，將已生成之第1預測運動向量予以復原來作為第1運動向量；前記運動補償手段，係將基於前記第0運動向量與第1運動向量而從前記已再生影像所取得的2個訊號加以合成，以生成前記對象領域之預測訊號。

在上記的動態影像預測解碼裝置中，亦可為，前記解碼手段，係還對每一畫面或切片，將用來指示前記第1附加資訊是否含有差分運動向量的指示資訊，予以解碼；若前記指示資訊係表示，前記第1附加資訊是含有第1差分運動向量的情況下，則將差分運動向量予以解碼來作為前記第1附加資訊；前記第1運動資訊復原手段，係當前記指示資訊是表示第1附加資訊不含有第1差分運動向量時，則基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量予以復原來作為第1運動向量；當前記指示資訊是表示第1附加資訊含有差分向量時，則基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量與已解碼之差分運動向量進行加算以生成而復原第1運動向量。

本發明係亦可視為涉及動態影像預測編碼方法的發明、涉及動態影像預測解碼方法的發明、涉及動態影像預測編碼程式的發明、涉及動態影像預測解碼程式的發明，可描述如以下。

本發明之一側面所述之動態影像預測編碼方法，係屬於被動態影像預測編碼裝置所執行的動態影像預測編碼方法，其特徵為，具備：領域分割步驟，係用以將輸入影像 分割成複數領域；和預測訊號生成步驟，係用以決定運動向量，其係用來從已再生影像取得，已被前記領域分割步驟所分割的領域當中、與編碼對象亦即對象領域之相關較高的訊號；和運動資訊記錄步驟，係用以將前記運動向量保存至運動資訊記錄手段；和殘差訊號生成步驟，係用以生成前記對象領域之預測訊號與前記對象領域之像素訊號的殘差訊號；和殘差訊號壓縮步驟，係用以將已被前記殘差訊號生成步驟所生成的殘差訊號，予以壓縮；和殘差訊號復原步驟，係用以生成前記殘差訊號之壓縮資料所復原而成的再生殘差訊號；和編碼步驟，係用以將預測運動向量其係類似於從前記運動資訊記錄手段中所保存之已再生之運動向量所選擇出來的前記對象領域之運動向量、和從前記對象領域之運動向量所決定之附加資訊、和前記殘差訊號之壓縮資料，予以編碼；和影像記錄步驟，係用以藉由將前記預測訊號與前記再生殘差訊號予以加算以復原前記對象領域之像素訊號，並將已被復原之像素訊號，當作前記已再生影像而保存至影像記錄手段；前記運動向量係包含有：第0預測訊號之生成上所需要的第0運動向量、和第1預測訊號之生成上所需要的第1運動向量；前記預測訊號生成步驟係含有：第0運動資訊推定步驟，係用以推定用來取得前記第0預測訊號所需的第0運動向量，並且將與所推定之第0運動向量類似的第0預測運動向量，從前記運動資訊記錄步驟中所保存的複數運動向量中予以選擇，生成第0附加資訊其中含有：用來識別已選擇之前 記預測運動向量所需的第0預測運動資訊索引、和由前記第0運動向量及第0預測運動向量所決定之差分運動向量；和第1運動資訊推定步驟，係用以從前記運動資訊記錄步驟所保存的複數運動向量之中，選擇出運動向量其係用來生成與對象領域之相關較高的第1預測訊號，生成第1附加資訊其中含有用來將已選擇之運動向量識別成為第1預測運動向量所需的第1預測運動資訊索引，並將前記第1預測運動向量設定成第1運動向量；和預測訊號合成步驟，係用以將前記第0預測訊號與前記第1預測訊號加以合成，以生成對象領域的預測訊號。

在上記的動態影像預測編碼方法中，亦可為，在前記第1運動資訊推定步驟中，前記動態影像預測編碼裝置係更進一步推定用來取得前記第1預測訊號所需的第2運動向量，以偵測出第2運動向量，並且，將與所推定之第2運動向量類似的第2預測運動向量，從前記運動資訊記錄步驟中所保存的複數運動向量中予以選擇，生成第2附加資訊其中含有：用來識別已選擇之前記預測運動向量所需的第2預測運動資訊索引、和由前記第2運動向量及前記第2預測運動向量所決定之差分運動向量；在前記預測訊號生成步驟中，前記動態影像預測編碼裝置係當已被前記影像記錄手段所保存之複數已再生影像在顯示順序上全部都是比編碼對象影像較為過去之影像的情況下，則以前記第1運動向量來生成前記第1預測訊號，當已被前記影像記錄手段所保存之複數已再生影像中含有顯示順序比編碼 對象影像還未來之影像的情況下，則以前記第2運動向量來生成前記第1預測訊號；在前記編碼步驟中，前記動態影像預測編碼裝置，係當已被前記影像記錄手段所保存之複數已再生影像在顯示順序上全部都是比編碼對象影像較為過去之影像的情況下，則對每一畫面或切片，將用來指示前記第1附加資訊將被編碼的指示資訊，予以編碼，當已被前記影像記錄手段所保存之複數已再生影像中含有顯示順序比編碼對象影像還未來之影像的情況下，則對每一畫面或切片，將用來指示前記第2附加資訊將被編碼的指示資訊，予以編碼；將前記第0附加資訊、和基於前記指示資訊而將第1附加資訊或第2附加資訊之其中一方，當作各對象領域之附加資訊而予以編碼。

本發明之一側面所述之動態影像預測解碼方法，係屬於被動態影像預測解碼裝置所執行的動態影像預測解碼方法，其特徵為，具備：解碼步驟，係用以從分割成複數領域而被編碼的壓縮資料之中，將解碼對象之解碼對象領域的附加資訊與殘差訊號之壓縮資料，予以解碼；和運動資訊復原步驟，係用以從前記附加資訊中復原出，用來生成前記對象領域之預測訊號所需要的運動向量；和運動資訊記錄步驟，係用以將前記運動向量保存至運動資訊記錄手段；和運動補償步驟，係用以基於前記運動向量，而生成前記對象領域之預測訊號；和殘差訊號復原步驟，係用以從前記殘差訊號之壓縮資料，復原出前記對象領域的再生殘差訊號；和影像記錄步驟，係用以藉由將前記預測訊號 與前記再生殘差訊號予以加算以復原前記解碼對象領域之像素訊號，並將已被復原之像素訊號，當作已再生影像而加以保存；在前記解碼步驟中，前記動態影像預測解碼裝置係將第0附加資訊與第1附加資訊予以解碼；前記第0附加資訊係含有：第0差分運動向量、和用來把從前記運動資訊記錄步驟中所儲存之複數運動向量所選擇出來的1者識別成為第0預測運動向量所需的第0預測運動資訊索引；前記第1附加資訊係含有：用來把從前記運動資訊記錄步驟中所儲存之複數運動向量所選擇出來的1者識別成為第1預測運動向量所需的第1預測運動資訊索引；前記運動資訊復原步驟係含有：第0運動資訊復原步驟，係用以基於前記第0預測運動資訊索引而生成第0預測運動向量，將已生成之第0預測運動向量與前記第0差分運動向量進行加算以復原第0運動向量；和第1運動資訊復原步驟，係用以基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量予以復原來作為第1運動向量；在前記運動補償步驟中，前記動態影像預測解碼裝置係將基於前記第0運動向量與第1運動向量而從前記已再生影像所取得的2個訊號加以合成，以生成前記對象領域之預測訊號。

在上記的動態影像預測解碼方法中，亦可為，在前記解碼步驟中，前記動態影像預測解碼裝置係還對每一畫面或切片，將用來指示前記第1附加資訊是否含有差分運動向量的指示資訊，予以解碼；若前記指示資訊係表示，前 記第1附加資訊是含有第1差分運動向量的情況下，則前記動態影像預測解碼裝置係將差分運動向量予以解碼來作為前記第1附加資訊；在前記第1運動資訊復原步驟中，前記動態影像預測解碼裝置，係當前記指示資訊是表示第1附加資訊不含有第1差分運動向量時，則基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量予以復原來作為第1運動向量；當前記指示資訊是表示第1附加資訊含有差分向量時，則基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量與已解碼之差分運動向量進行加算以生成而復原第1運動向量。

本發明之一側面所述之動態影像預測編碼程式，其特徵為，係用以使電腦發揮以下機能所需的動態影像預測編碼程式：領域分割手段，係用以將輸入影像分割成複數領域；和預測訊號生成手段，係用以決定運動向量，其係用來從已再生影像取得，已被前記領域分割手段所分割的領域當中、與編碼對象亦即對象領域之相關較高的訊號；和運動資訊記錄手段，係用以保存前記運動向量；和殘差訊號生成手段，係用以生成前記對象領域之預測訊號與前記對象領域之像素訊號的殘差訊號；和殘差訊號壓縮手段，係用以將前記殘差訊號生成手段所生成的殘差訊號，予以壓縮；和殘差訊號復原手段，係用以生成前記殘差訊號之壓縮資料所復原而成的再生殘差訊號；和編碼手段，係用以將預測運動向量其係類似於從前記運動資訊記錄手段中 所保存之已再生之運動向量所選擇出來的前記對象領域之運動向量、和從前記對象領域之運動向量所決定之附加資訊、和前記殘差訊號之壓縮資料，予以編碼；和影像記錄手段，係用以藉由將前記預測訊號與前記再生殘差訊號予以加算，以復原前記對象領域之像素訊號，並將已被復原之像素訊號當作前記已再生影像而加以保存；前記運動向量係包含有：第0預測訊號之生成上所需要的第0運動向量、和第1預測訊號之生成上所需要的第1運動向量；前記預測訊號生成手段係含有：第0運動資訊推定手段，係用以推定用來取得前記第0預測訊號所需的第0運動向量，並且將與所推定之第0運動向量類似的第0預測運動向量，從前記運動資訊記錄手段中所保存的複數運動向量中予以選擇，生成第0附加資訊其中含有：用來識別已選擇之前記預測運動向量所需的第0預測運動資訊索引、和由前記第0運動向量及第0預測運動向量所決定之差分運動向量；和第1運動資訊推定手段，係用以從前記運動資訊記錄手段所保存的複數運動向量之中，選擇出運動向量其係用來生成與對象領域之相關較高的第1預測訊號，生成第1附加資訊其中含有用來將已選擇之運動向量識別成為第1預測運動向量所需的第1預測運動資訊索引，並將前記第1預測運動向量設定成第1運動向量；和預測訊號合成手段，係用以將前記第0預測訊號與前記第1預測訊號加以合成，以生成對象領域的預測訊號。

在上記的動態影像預測編碼程式中，亦可為，前記第 1運動資訊推定手段係還具有以下機能：推定用來取得前記第1預測訊號所需的第2運動向量，以偵測出第2運動向量，並且，將與所推定之第2運動向量類似的第2預測運動向量，從前記運動資訊記錄手段中所保存的複數運動向量中予以選擇，生成第2附加資訊其中含有：用來識別已選擇之前記預測運動向量所需的第2預測運動資訊索引、和由前記第2運動向量及前記第2預測運動向量所決定之差分運動向量；前記預測訊號生成手段，係當已被前記影像記錄手段所保存之複數已再生影像在顯示順序上全部都是比編碼對象影像較為過去之影像的情況下，則以前記第1運動向量來生成前記第1預測訊號，當已被前記影像記錄手段所保存之複數已再生影像中含有顯示順序比編碼對象影像還未來之影像的情況下，則以前記第2運動向量來生成前記第1預測訊號；前記編碼手段，係當已被前記影像記錄手段所保存之複數已再生影像在顯示順序上全部都是比編碼對象影像較為過去之影像的情況下，則對每一畫面或切片，將用來指示前記第1附加資訊將被編碼的指示資訊，予以編碼，當已被前記影像記錄手段所保存之複數已再生影像中含有顯示順序比編碼對象影像還未來之影像的情況下，則對每一畫面或切片，將用來指示前記第2附加資訊將被編碼的指示資訊，予以編碼；將前記第0附加資訊、和基於前記指示資訊而將第1附加資訊或第2附加資訊之其中一方，當作各對象領域之附加資訊而予以編碼。

本發明之一側面所述之動態影像預測解碼程式，其特徵為，係用以使電腦發揮以下機能所需的動態影像預測解碼程式：解碼手段，係用以從分割成複數領域而被編碼的壓縮資料之中，將解碼對象之解碼對象領域的附加資訊與殘差訊號之壓縮資料，予以解碼；和運動資訊復原手段，係用以從前記附加資訊中復原出，用來生成前記對象領域之預測訊號所需要的運動向量；和運動資訊記錄手段，係用以保存前記運動向量；和運動補償手段，係用以基於前記運動向量，而生成前記對象領域之預測訊號；和殘差訊號復原手段，係用以從前記殘差訊號之壓縮資料，復原出前記對象領域的再生殘差訊號；和影像記錄手段，係用以藉由將前記預測訊號與前記再生殘差訊號予以加算，以復原前記解碼對象領域的像素訊號，並將已被復原之像素訊號當作已再生影像而加以保存；前記解碼手段，係將第0附加資訊與第1附加資訊予以解碼；前記第0附加資訊係含有：第0差分運動向量、和用來把從前記運動資訊記錄手段中所儲存之複數運動向量所選擇出來的1者識別成為第0預測運動向量所需的第0預測運動資訊索引；前記第1附加資訊係含有：用來把從前記運動資訊記錄手段中所儲存之複數運動向量所選擇出來的1者識別成為第1預測運動向量所需的第1預測運動資訊索引；前記運動資訊復原手段係含有：第0運動資訊復原手段，係用以基於前記第0預測運動資訊索引而生成第0預測運動向量，將已生成之第0預測運動向量與前記第0差分運動向量進行加算 以復原第0運動向量；和第1運動資訊復原手段，係用以基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量予以復原來作為第1運動向量；前記運動補償手段，係將基於前記第0運動向量與第1運動向量而從前記已再生影像所取得的2個訊號加以合成，以生成前記對象領域之預測訊號。

在上記的動態影像預測解碼程式中，亦可為，前記解碼手段，係還對每一畫面或切片，將用來指示前記第1附加資訊是否含有差分運動向量的指示資訊，予以解碼；若前記指示資訊係表示，前記第1附加資訊是含有第1差分運動向量的情況下，則將差分運動向量予以解碼來作為前記第1附加資訊；前記第1運動資訊復原手段，係當前記指示資訊是表示第1附加資訊不含有第1差分運動向量時，則基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量予以復原來作為第1運動向量；當前記指示資訊是表示第1附加資訊含有差分向量時，則基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量與已解碼之差分運動向量進行加算以生成而復原第1運動向量。

若依據本發明的動態影像預測編碼裝置、動態影像預測編碼方法、動態影像預測編碼程式、動態影像預測解碼裝置、動態影像預測解碼方法及動態影像預測解碼程式， 則可基於已編碼之運動資訊而指示對雙預測有效的1個運動向量，因此具有以較少編碼量就能提高雙預測之性能的效果。

100:動態影像預測編碼裝置

101:輸入端子

102:區塊分割器

103:預測訊號生成器

104:畫格記憶體

105:減算器

106:轉換器

107:量化器

108:逆量化器

109:逆轉換器

110:加算器

111:編碼器

112:輸出端子

113:運動資訊用記憶體

121:第1運動資訊推定器

122:第0運動資訊推定器

123:預測訊號合成器

201:輸入端子

202:解碼器

203:逆量化器

204:逆轉換器

205:加算器

206:輸出端子

207:運動補償器

208:運動資訊復原器

211:第1運動資訊復原器

212:第0運動資訊復原器

[圖1]本實施形態所述之動態影像預測編碼裝置的區塊圖。

[圖2]圖1所示的預測訊號生成器的說明用區塊圖。

[圖3]圖2所示的第1運動推定處理的說明用流程圖。

[圖4]圖2所示的第0運動推定處理的說明用流程圖。

[圖5]畫面的編碼順序之例子的說明用模式圖。

[圖6]參照畫面清單之例子的說明圖。

[圖7]相鄰區塊之例子的說明圖。

[圖8]相鄰區塊之另一例子的說明圖。

[圖9]圖1所示的動態影像預測編碼裝置的動態影像預測編碼方法之程序的流程圖。

[圖10]本實施形態所述之動態影像預測解碼裝置的區塊圖。

[圖11]圖10所示的運動資訊復原器的說明用區塊圖。

[圖12]圖11所示的第1運動資訊復原處理的說明用流程圖。

[圖13]圖11所示的第0運動資訊復原處理的說明用流程圖。

[圖14]圖10所示的動態影像預測解碼裝置的動態影像預測解碼方法之程序的流程圖。

[圖15]可執行本實施形態所述之動態影像預測編碼方法之程式的區塊圖。

[圖16]可執行本實施形態所述之動態影像預測解碼方法之程式的區塊圖。

[圖17]將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示。

[圖18]將記錄媒體中所記憶之程式加以執行所需之電腦的斜視圖。

[圖19]畫面間預測時的運動推定處理的說明用模式圖。

[圖20]先前之畫面內預測方法的說明用模式圖。

以下，一面參照添附圖面，一面詳細說明本實施形態。此外，於圖面的說明中，相同或同等要素係標示同一符號，並省略重複說明。又，於本說明書中，構成動態影像的「畫格」、「畫面」、「影像」(圖5的501至511)係在本說明書內的說明中是相同意義。

圖1係本實施形態所述之動態影像預測編碼裝置100的區塊圖。該動態影像預測編碼裝置100係具備：輸入端 子101、區塊分割器102、預測訊號生成器103、畫格記憶體104、減算器105、轉換器106、量化器107、逆量化器108、逆轉換器109、加算器110、編碼器111、輸出端子112、運動資訊用記憶體113。轉換器106及量化器107，係成為殘差訊號壓縮手段而發揮功能，逆量化器108及逆轉換器109係成為殘差訊號復原手段而發揮功能，運動資訊用記憶體係成為運動資訊記錄手段而發揮功能。又，運動資訊用記憶體113係亦可被包含在預測訊號生成器103中。

輸入端子101，係用來輸入複數張影像所成之動態影像之訊號的端子。

區塊分割器102，係將從輸入端子101所輸入之訊號所表示之編碼對象的影像，分割成複數領域(對象區塊、對象領域)。在本實施形態中，雖然是分割成8×8像素所成的區塊，但亦可分割成其以外之區塊大小或形狀。又，亦可在畫面內混合有尺寸不同的區塊。

預測訊號生成器103，係將對象區塊內的各預測區塊的預測訊號之生成所必須的運動資訊予以測出，並且生成預測訊號。又，在解碼裝置中會生成運動資訊之復原上所必需的附加資訊。預測訊號之生成方法在本發明中係無限定，但可以適用如先前技術所說明的畫面間預測(單預測、雙預測)或畫面內預測(畫面內預測係未圖示)。

在本實施形態，是以雙預測來生成預測訊號。雙預測的1個運動資訊係藉由圖19所示的區塊比對，以使得經 由L102所輸入之對象區塊的原始訊號與雙預測訊號之絕對值誤差和呈最小的方式，使用經由L104所取得之影像訊號來進行偵測。然後，另1個運動資訊係基於已編碼之運動資訊而生成。

在本實施形態中，為了說明雙預測，運動資訊是由第0運動資訊和第1運動資訊所構成，分別含有參照畫面索引(ref_idx[0]或ref_idx[1])與運動向量(mv[0][0/1]或mv[1][0/1])。第0運動資訊的參照畫面之候補係被圖6的List0所指示，第1運動資訊的參照畫面之候補係被圖6的List1所指示。此處，[0/1]係為用來識別向量之水平成分與垂直成分的資訊。以下，[0/1]的記述係省略(圖式中也同樣省略)。

此外，圖6所示的參照畫面清單中所被登錄的再生影像，係可依照預先決定的規則而被自動地決定，也可以畫格單位或序列單位而明示性地做編碼。此時，為了識別各參照畫面，可利用如圖5與圖6所示的畫格編號。

已被預測訊號生成器103所生成的運動資訊，係經由L103b而被輸出至運動資訊用記憶體113。

運動資訊用記憶體113係將所輸入之運動資訊加以保存。已保存之運動資訊，係經由L113而被輸入至預測訊號生成器，被利用於後續區塊的運動資訊之編碼。

已被預測訊號生成器103所生成的附加資訊係經由L103c，而被輸出至編碼器111。

已被預測訊號生成器103所生成的預測訊號，係經由 L103a而被輸出至減算器105與加算器110。

減算器105，係從經由線L102所輸入之在區塊分割器102中所分割而輸入的對象區塊之像素訊號，減去經由線L103a而輸入之針對對象區塊的預測訊號，而生成殘差訊號。減算器105，係將減算所得的殘差訊號，經由線L105而輸出至轉換器106。

轉換器106，係將已被輸入之殘差訊號進行離散餘弦轉換的部分。又，量化器107，係將經過轉換器106進行離散餘弦轉換的轉換係數，予以量化的部分。

編碼器111，係將由預測訊號生成器所輸入之附加資訊與從量化器107所輸入之量化轉換係數，進行熵編碼，編碼資料係經由L111而輸出至輸出端子112。熵編碼之方法係沒有限定，但可適用算術編碼或可變長度編碼等。

輸出端子112，係將從編碼器111所輸入之資訊，一併往外部輸出。

逆量化器108，係將已被量化之轉換係數，予以逆量化。逆轉換器109，係藉由逆離散餘弦轉換，而將殘差訊號予以復原。加算器110，係將已被復原的殘差訊號與經由L103a所輸入之預測訊號進行加算，生成編碼對象區塊的訊號，儲存至畫格記憶體104。在本實施形態中雖然使用轉換器106與逆轉換器109，但亦可不使用這些轉換器而改用其他的轉換處理。又，轉換器106及逆轉換器109係並非必須。如此，為了使用在後續的編碼對象區塊的預測訊號生成中，已被編碼過的編碼對象區塊的再生訊號， 係藉由逆處理而被復原並被記憶在畫格記憶體104中。

接著，詳細說明預測訊號生成器103。這裡首先說明運動資訊、預測運動資訊和附加資訊。

如上記所示，雙預測時的運動資訊，是由第0運動資訊和第1運動資訊所構成，分別含有參照畫面索引(ref_idx[0]或ref_idx[1])與運動向量(mv[0]或mv[1])。第0運動資訊的參照畫面之候補係被圖6的List0所指示，第1運動資訊的參照畫面之候補係被圖6的List1所指示。

在本實施形態的雙預測中，是在預測訊號生成器103中，將已編碼之運動資訊，當作預測運動資訊而利用。在已編碼之運動資訊中，含有已編碼之相鄰區塊所附隨的運動資訊、或對象領域的已編碼之運動資訊。此外，所謂附隨於相鄰區塊的運動資訊，係指相鄰區塊是編碼對象時曾經用於預測訊號之生成的運動資訊，是被保存在運動資訊用記憶體113中。

預測運動資訊也是由第0預測運動資訊和第1預測運動資訊所構成，分別含有參照畫面索引(ref_idx[0]或ref_idx[1])與運動向量(mv[0]或mv[1])。第0預測運動資訊的參照畫面之候補係被圖6的List0所指示，第1預測運動資訊的參照畫面之候補係被圖6的List1所指示。

作為預測運動資訊的具體之利用方法，係在參照List0之參照畫面而將區塊比對所偵測出來的第0運動資訊的運動向量進行差分編碼之際，基於第0預測運動資訊，來生成預測運動向量。又，使用List1之參照畫面的 第1運動資訊，是基於第1預測運動資訊而加以生成。

以圖7來說明預測運動資訊之例子。圖7所示的區塊400係為對象區塊，其所相鄰之區塊401至404所附隨的運動資訊，係成為預測運動資訊之候補。相鄰區塊之運動資訊係分別含有第0運動資訊與第1運動資訊。可以雙方當作預測運動資訊之候補，也可限定成一方(在預測第N運動資訊時，係僅將相鄰區塊的第N運動向量當作候補)。

又，區塊410係表示，在參照畫面內與區塊400在空間上相同位置的區塊(co-located block)。區塊410與其所相鄰之區塊411至415所附隨的運動資訊，係成為預測運動資訊之候補。n係表示用來識別預測運動資訊之候補的號碼，已被選擇之候補係由預測運動資訊索引(mvp_idx[0]或mvp_idx[1])而指示。在本實施形態中，為了先將第0運動資訊進行編碼，作為第1預測運動資訊係亦可利用區塊400所附隨之第0運動資訊(例如令n=4)。

此外，預測運動資訊之候補的位置與號碼，係只要在編碼側與解碼側中預先決定即可，在本發明中並無限定。又，預測運動資訊之候補的數目，係可在編碼側與解碼側中預先決定，也可進行編碼。

又，被預測運動資訊ref_idx所識別之參照畫面與被對象區塊之ref_idx所識別之參照畫面有所不同的情況下，係亦可基於編碼對象畫面與2個參照畫面的畫格編號，來進行預測運動資訊中所含之運動向量的比例縮放處 理。亦即，將預測運動資訊中所含之運動向量進行比例縮放，轉換成指示被對象區塊所識別之參照畫面的運動向量，將已轉換之運動向量，當成預測運動向量(pmv[0][0/1]或pmv[1][0/1])來使用。此時，預測運動資訊中所含之參照畫面索引(ref_idx[0]或ref_idx[1])，係被更新成對象區塊的參照畫面索引(ref_idx[0]或ref_idx[1])。此處，[0/1]係為用來識別向量之水平成分與垂直成分的資訊。以下，[0/1]的記述係省略(圖式中也同樣省略)。

附加資訊係由第0附加資訊和第1附加資訊所構成。第0附加資訊係含有，ref_idx[0]與差分運動向量(mvd[0][0/1]=mv[0][0/1]-pmv[0][0/1])和mvp_idx[0]。第1附加資訊係含有ref_idx[1]和mvp_idx[1]。在本實施形態中係令mv[1][0/1]=pmv[1][0/1]，因此mvd[1][0/1]的向量值係總是為0。mvd[1][0/1]係即使不編碼仍可在解碼側上復原，因此不需要包含在第1附加資訊中。此處，[0/1]係為用來識別向量之水平成分與垂直成分的資訊。以下，[0/1]的記述係省略(圖式中也同樣省略)。

圖2係本實施形態所述之預測訊號生成器103之構成的區塊圖。該預測訊號生成器103係具備：第1運動資訊推定器121、第0運動資訊推定器122、預測訊號合成器123。

在第1運動資訊推定器121中，係使用經由L104所輸入之List1的參照畫面，從經由L113所輸入之複數第1預測運動資訊之候補(隨應於參照畫面索引而將運動向量 進行比例縮放而當作預測運動向量)中，選擇出用來生成與經由L102所輸入之對象區塊之原始訊號最類似的第1預測訊號所需的1個第1預測運動資訊之候補與參照畫面索引的組合。將第1預測訊號經由L121a而輸出至預測訊號合成器123，將根據已被選擇之第1預測運動資訊與參照畫面索引之組合而生成的第1運動資訊，經由L121b與L103b1而分別輸出至第0運動資訊推定器122和運動資訊用記憶體113。然後，生成第1附加資訊，經由L103c1而輸出至編碼器111。

在第0運動資訊推定器122中，係使用從L121b所輸入之第1運動資訊和經由L104所輸入之List1的參照畫面，來生成第1預測訊號。然後，探索經由L104所輸入之List0的參照畫面，將根據第1預測訊號與探索到的第0預測訊號之候補所生成的雙預測訊號與經由L102而輸入之對象區塊之原始訊號的絕對值差分和呈最小的第0運動資訊，予以偵測出來。將根據所偵測出之第0運動資訊而生成的第0預測訊號，經由L122而輸出至預測訊號合成器123。又，將第0運動資訊，經由L103b2而輸出至運動資訊用記憶體113。然後，生成第0附加資訊，經由L103c2而輸出至編碼器111。

此外，亦可先執行第0運動資訊推定器122的處理，將第0運動資訊與第0附加資訊早於第0預測訊號而先予以求出。此情況下，係將根據所探索到的第0預測訊號之候補所生成的預測訊號與經由L102所輸入的對象區塊之 原始訊號之絕對值差分和呈最小的第0運動資訊，予以偵測出來。然後，利用第0預測訊號來執行第1運動資訊推定器121。亦即，使用經由L104所輸入之List1的參照畫面，從經由L113所輸入之複數第1預測運動資訊之候補(隨應於參照畫面索引而將運動向量進行比例縮放而當作預測運動向量)，生成第1預測訊號之候補，以使得根據第0預測訊號與第1預測訊號之候補所生成之雙預測訊號會最類似於經由L102而輸入之對象區塊之原始訊號的方式，來選擇第1預測運動資訊之候補與參照畫面索引之組合。此變形係可藉由將第0運動資訊輸入至第1運動資訊推定器121而實施。

在預測訊號合成器123中，係將經由L121a與L122所輸入之第1預測訊號與第0預測訊號進行平均化，生成對象區塊的預測訊號，經由L103a而輸出至減算器105與加算器110。

圖3中係圖示第1運動資訊推定器121的流程圖。首先在步驟S301中，將對象區塊之預測時所用的List1的參照畫面之數目設定成M(在圖6(A)或(C)中係為M=4，在圖6(B)中係為M=2)，並且將第1運動資訊中所含之List1的參照畫面索引ref_idx[1]設定成0，將List1的參照畫面數之計數m予以初期化成0。然後，將運動向量評價值D設定成Max值。接著，在步驟S302中，將預測運動向量的候補數設定成N(在圖7中係為N=11，但是，若第1運動資訊推定器121比第0運動資訊推定器122先實施時， 則由於區塊400的第0運動資訊係尚未決定因此n=4係會略過)，將第1附加資訊中所含之預測運動資訊索引mvp_idx[1]設定成0，將預測運動資訊數之計數n予以初期化成0。

接著，在步驟S303中，從相鄰區塊之運動向量，取得預測運動向量候補n的運動向量，在步驟S304中，生成第n個預測運動向量pmv[1][m][n][0/1](此處，[0/1]係為用來識別向量之水平成分與垂直成分的資訊。以下，[0/1]的記述係省略。圖式中也同樣省略)。此時，將相鄰區塊之運動向量，隨應於對象畫面與參照畫面之距離(被參照畫面索引所示別的畫格編號)而進行比例縮放，作為預測運動向量。其後，在步驟S305中，基於第m個參照畫面與第n個比例縮放後之預測運動向量(pmv[1][m][n])而生成對象區塊之預測訊號，在步驟S306中，判定已生成之預測訊號與對象區塊之原始訊號的差分訊號的絕對值和是否小於運動向量評價值D。若絕對值和是運動向量評價值D以上，則前進至步驟S308。若絕對值和小於運動向量評價值D，則前進至步驟S307，將第1附加資訊中所含之預測運動資訊索引mvp_idx[1]更新成n，將參照畫面索引ref_idx[1]更新成m，將運動向量評價值D更新成步驟S306中所算出之預測訊號與對象區塊之原始訊號的差分訊號的絕對值和。然後將第1運動資訊中所含之運動向量mv[1]，設定成預測運動向量pmv[1][ref_idx[1]][mvp_idx[1]]，將參照畫面索引設定成 ref_idx[1]。其後，前進至步驟S308。

在步驟S308中，判定n之值是否小於N，若n小於N則前進至步驟S309，若n已到達N則前進至步驟S310。步驟S309中，係對n之值加算1，返回步驟S303。其後，直到n到達N以前會一直重複步驟S303至步驟S307。在步驟S310中，判定m之值是否小於M，若m小於M則前進至步驟S311，對m的值加算1，返回步驟S302。其後，直到m到達M以前會一直重複步驟S302至步驟S309。若m已達到M，則在步驟S312中將第1附加資訊(ref_idx[1]、mvp_idx[1])輸出至編碼器111，並且，將第1運動資訊(ref_idx[1]與mv[1])儲存至運動資訊用記憶體113，然後輸出至第0運動資訊推定器122，結束處理。

圖4中係圖示第0運動資訊推定器122的流程圖。首先在步驟S351中，基於第1運動資訊而生成雙預測的第1預測訊號。接著，在步驟S352中，將對象區塊之預測時所用的List0的參照畫面之數目設定成M(在圖6(A)或(C)中係為M=4，在圖6(B)中係為M=2)，並且將第0運動資訊中所含之List0的參照畫面索引ref_idx[0]設定成0，將List0的參照畫面數之計數m予以初期化成0。然後，將運動向量評價值D設定成Max值。接著，在步驟S353中，從複數候補中，決定將第0運動向量進行差分編碼之際所使用的預測運動向量予以識別的預測運動資訊索引mvp_idx[0]。選擇方法係可利用例如圖3的步驟S303至 S309所示的手法。然後，生成預測運動向量之候補pmv[0][m][n]。此時，如圖3的步驟S304中所說明，將相鄰區塊之運動向量，隨應於對象畫面與參照畫面之距離(被參照畫面索引所示別的畫格編號)而進行比例縮放，作為預測運動向量。

接著，在步驟S354中，將畫格記憶體104所儲存的ref_idx[0]所指示的參照畫面加以取得，探索出和第1預測訊號一起進行平均化所得之雙預測訊號與原始訊號之差分訊號的絕對值和呈最小的第0運動向量mv[0]。接著在步驟S355中，生成第0差分運動向量mvd[0](=mv[0]-pmv[0][m][n])。接著，在步驟S356中，判定已生成之雙預測訊號和對象區塊之原始訊號的差分訊號的絕對值和與第0附加資訊(mvd[0]與m與n)的編碼量評價值(λ(QP)×(mvd、m、n之編碼量)，λ係由將預測誤差訊號進行轉換所得之轉換係數予以量化之際的量化精度加以決定之參數QP所決定的權重值)的和，是否小於運動向量評價值D。若絕對值和+編碼量評價值是運動向量評價值D以上，則前進至步驟S358。若絕對值和+編碼量評價值小於運動向量評價值D，則前進至步驟S357，將第0附加資訊中所含之預測運動資訊索引mvp_idx[0]更新成n，將參照畫面索引ref_idx[0]更新成m，將差分運動向量mvd[0]更新成(mv[0]-pmv[0][ref_idx[1]][mvp_idx[1]])，將D更新成步驟S356中所算出之雙預測訊號與對象區塊之原始訊號的差分訊號的絕對值和+編碼量評價值。然後將第0運動 資訊中所含之運動向量mv[0]予以更新。其後，前進至步驟S358。

在步驟S358中，判定m之值是否小於M，若m小於M則前進至步驟S359，對m的值加算1，返回步驟S353。其後，直到m到達M以前會一直重複步驟S353至步驟S359。若m已達到M，則在步驟S360中，將第0附加資訊(ref_idx[0]、mvd[0]、mvp_idx[0])輸出至編碼器111，並且，將第0運動資訊(ref_idx[0]與mv[0])儲存至運動資訊用記憶體113，然後結束處理。

此外，亦可先執行第0運動資訊推定器122，將第0運動資訊與第0附加資訊早於第0預測訊號而先予以求出。此時，圖4的步驟S351係被省略，在步驟S356中，不是求出雙預測訊號，而是求出第0預測訊號與原始訊號之差分訊號的絕對值和。在圖3中，可將圖7的n=4所指示的第0運動資訊當作預測運動資訊之候補來靈活運用。追加基於第0運動資訊來生成雙預測的第0預測訊號之步驟，在步驟S306中，藉由變更成，算出將已生成之第1預測訊號與第0預測訊號進行平均化所生成之雙預測訊號與原始預測訊號之差分訊號的絕對值和，就可實現此變形。

如此，基於已編碼之運動資訊來生成雙預測之第1運動向量，取代運動向量，改為從如圖6與圖7所示之複數候補中將參照畫面索引與識別預測運動資訊的識別資訊予以編碼，就可以較少的編碼量，就可與隨機性高之紋理領 域貨含雜訊之平坦領域之對象區塊之訊號類似的1個類似訊號。然後，在參照畫面上進行探索，偵測出生成第2類似訊號的第0運動向量並予以編碼，藉此，相較於2個運動向量都是從已編碼之運動資訊來求出的情形，可期待雙預測訊號之平滑化效果提高之效果。

圖9係本實施形態所述之動態影像預測編碼裝置100中的動態影像預測編碼方法之程序的流程圖。首先，在區塊分割器102中，將輸入影像分割成8×8的編碼區塊(亦可分割成其他區塊之大小或形狀。又，亦可在畫面內混合有尺寸不同的區塊。)。

首先，構成預測訊號生成器103的第1運動資訊推定器121，係使用從畫格記憶體104所得之List1的參照畫面與從運動資訊用記憶體所得之第1預測運動資訊之候補，來生成與對象區塊類似的第1預測訊號，並且，生成在第1預測訊號之生成上所必需的第1運動資訊與第1附加資訊(步驟S100)。關於該步驟之細節，已經在圖3中說明。接著，第0運動資訊推定器122係使用從畫格記憶體104所得之List0的參照畫面與從運動資訊用記憶體所得之第0預測運動資訊之候補、和從第1運動資訊推定器121所得之第1運動資訊，來生成與對象區塊類似的第0預測訊號，並且，生成在第0預測訊號之生成上所必需的第0運動資訊與第0附加資訊(步驟S150)。關於該步驟之細節，已經在圖4中說明。

接著，將第0附加資訊與第1附加資訊以編碼器111 進行熵編碼，並且將第0運動資訊與第1運動資訊儲存至運動資訊用記憶體113(步驟S101)。接著，在步驟S102中，在構成預測訊號生成器103的預測訊號合成器123裡，將第0預測訊號與第1預測訊號進行平均化，生成對象區塊之雙預測訊號。表示編碼對象區塊之像素訊號與預測訊號的差分的殘差訊號，係被轉換器106、量化器107及編碼器111進行轉換編碼(步驟S103)。附加資訊與量化轉換係數的編碼資料，係透過輸出端子112而被輸出(步驟S104)。為了將後續的編碼對象區塊進行預測編碼，在這些處理之後或平行於這些處理而被編碼之殘差訊號，係被逆量化器108及逆轉換器109所解碼。然後，在加算器110中，已被解碼之殘差訊號與預測訊號會被加算，編碼對象區塊之訊號會被再生。再生訊號係被當成參照畫面而記憶在畫格記憶體104中(步驟S105)。然後，當所有的編碼對象區塊之處理尚未完成時，則返回步驟S100，對下一編碼對象區塊進行處理。若所有的編碼對象區塊之處理都完成時，則處理係結束(步驟S106)。

接著，說明本實施形態所述的動態影像預測解碼方法。圖10係本實施形態所述之動態影像預測解碼裝置200的區塊圖。該動態影像預測解碼裝置200係具備：輸入端子201、解碼器202、逆量化器203、逆轉換器204、加算器205、輸出端子206、運動補償器207、運動資訊復原器208、畫格記憶體104、運動資訊用記憶體113。逆量化器203、逆轉換器204，係成為殘差訊號復原手段 而發揮功能，運動資訊用記憶體113係成為運動資訊記錄手段而發揮功能。逆量化器203及逆轉換器204所構成之解碼手段，係亦可採用這些東西以外的構成來為之。又，亦可沒有逆轉換器204。

輸入端子201，係將已被上述動態影像預測編碼方法所壓縮編碼過的壓縮資料，進行輸入。在該壓縮資料中係含有，針對已被複數分割之編碼區塊，將誤差訊號予以轉換量化而進行熵編碼所生成之量化轉換係數之資訊的編碼資料、和用來生成區塊之雙預測訊號所需的第0附加資訊與第1附加資訊的編碼資料。

解碼器202，係將已被輸入至輸入端子201的壓縮資料加以解析，關於解碼對象區塊，分離成量化轉換係數的編碼資料、附加資訊的編碼資料，進行熵解碼，經由L202a、L202b，而分別輸出至逆量化器203、運動資訊復原器208。

運動資訊復原器208，係將第0附加資訊(ref_idx[0]、mvd[0]、mvp_idx[0])和第1附加資訊(ref_idx[1]、mvp_idx[1])，經由L202b而予以輸入，利用經由L113所取得之已解碼之運動資訊，將第0運動資訊(ref_idx[0]、mv[0])和第1運動資訊(ref_idx[1]、mv[1])予以復原。已被復原之第0運動資訊與第1運動資訊係經由L208a和L208b而被分別輸出至運動補償器207和運動資訊用記憶體113。運動資訊用記憶體係將運動資訊予以保存。

運動補償器207，係基於2筆運動資訊而從畫格記憶體104取得已再生訊號，將2個預測訊號進行平均化，以生成解碼對象區塊的雙預測訊號。所被生成之預測訊號，係經由L207而被輸出至加算器205。

已被解碼器202所解碼之解碼對象區塊中的殘差訊號的量化轉換係數，係經由L203而被輸出至逆量化器203。逆量化器203，係將解碼對象區塊的殘差訊號之量化係數予以逆量化。逆轉換器204，係將逆量化後的資料，進行逆離散餘弦轉換而生成殘差訊號。

加算器205，係將運動補償器207所生成的雙預測訊號，加算至逆量化器203及逆轉換器204所復原出來的殘差訊號，將解碼對象區塊的再生像素訊號，經由線L205而輸出至輸出端子206及畫格記憶體104。輸出端子206，係往外部(例如顯示器)進行輸出。

畫格記憶體104，作為下個解碼處理所需的參照用再生影像，而將從加算器205所輸出的再生影像，當作參照畫面而加以記憶。

圖11係本實施形態所述之運動資訊復原器208之構成的區塊圖。該運動資訊復原器208係具備：第1運動資訊復原器211、第0運動資訊復原器212。

這些第1運動資訊復原器211與第0運動資訊復原器212係可同時動作。

第0運動資訊復原器212，係將第0附加資訊(ref_idx[0]、mvp_idx[0]、mvd[0])予以輸入，從經由L113 所得之相鄰區塊之運動資訊，生成第0預測運動向量(pmv[0][ref_idx[0]][mvp_idx[0]])，將預測運動向量與附加資訊中所含之差分運動向量(mvd[0])進行加算，以生成第0運動資訊中所含之運動向量，藉此而復原第0運動資訊。同樣地，被ref_idx所識別之參照畫面與被對象區塊之ref_idx所識別之參照畫面有所不同的情況下，係亦可基於編碼對象畫面與2個參照畫面的畫格編號，來進行預測運動資訊中所含之運動向量的比例縮放處理。

第1運動資訊復原器211，係將第1附加資訊(ref_idx[1]、mvp_idx[1])予以輸入，從經由L113所得之已解碼之運動資訊，生成第1預測運動向量(pmv[1][ref_idx[1]][mvp_idx[1]])。將該預測運動向量當成第1運動資訊中所含之運動向量(mv[1]=pmv[1][ref_idx[1]][mvp_idx[1])，藉此而復原第1運動資訊。此時，亦可將差分運動向量mvd[1]設定成零向量，將其加算與預測運動向量進行加算，來復原第1運動向量。此外，此時，被ref_idx所識別之參照畫面與被對象區塊之ref_idx所識別之參照畫面有所不同的情況下，係亦可基於編碼對象畫面與2個參照畫面的畫格編號，來進行預測運動資訊中所含之運動向量的比例縮放處理。亦即，將預測運動資訊中所含之運動向量進行比例縮放，轉換成指示被對象區塊所識別之參照畫面的運動向量，已轉換之運動向量當作預測運動向量來使用。

圖13中係圖示第0運動資訊復原器212的流程圖。 首先在步驟S451中輸入第0附加資訊(ref_idx[0]和mvp_idx[0]和mvd[0])的解碼資料。接著，在步驟S452中，基於已被輸入的ref_idx[0]和mvp_idx[0]，從如圖7所示之相鄰區塊之運動資訊(區塊400的運動資訊係為未定因此不包含在內)中，輸入由mvp_idx[0]所指示的運動資訊，導出預測運動向量(pmv[0][ref_idx[0]][mvp_idx[0]])。此時，被ref_idx所識別之參照畫面與被對象區塊之ref_idx所識別之參照畫面有所不同的情況下，係亦可基於編碼對象畫面與2個參照畫面的畫格編號，來進行預測運動資訊中所含之運動向量的比例縮放處理。其後，在步驟S453中，將已生成之預測運動向量和差分運動向量進行加算，以復原第0運動向量(mv[0]=pmv[0][ref_idx[0]][mvp_idx[0]]+mvd[0])。最後在步驟S454中將第0運動資訊(ref_idx[0]和mv[0])輸出至運動補償器207和運動資訊用記憶體113，結束處理。

圖12中係圖示第1運動資訊復原器211的流程圖。首先在步驟S401中輸入第1附加資訊(ref_idx[1]和mvp_idx[1])的解碼資料，在步驟S402中將差分運動向量(mvd[1])的向量值設定成0。接著，在步驟S403中，基於已被輸入的ref_idx[1]和mvp_idx[1]，如圖7所示，從已解碼之運動資訊(可包含n=4)，輸入由mvp_idx[1]所指示的運動資訊，導出預測運動向量(pmv[1][ref_idx[1]][mvp_idx[1]])。此時，被ref_idx所識別之參照畫面與被對象區塊之ref_idx所識別之參照畫面 有所不同的情況下，係亦可基於編碼對象畫面與2個參照畫面的畫格編號，來進行預測運動資訊中所含之運動向量的比例縮放處理。其後，在步驟S404中，將已生成之預測運動向量和差分運動向量進行加算，以復原第1運動向量(mv[1]=pmv[1][ref_idx[1]][mvp_idx[1]]+mvd[1])。最後在步驟S405中將第1運動資訊(ref_idx[1]和mv[1])輸出至運動補償器207和運動資訊用記憶體113，結束處理。此外，由於mvd[1]的向量值總是為0，因此亦可省略步驟S402，而在步驟S404中將預測運動向量設定成運動向量(mv[1]=pmv[1][ref_idx[1]][mvp_idx[1]])。

接著，使用圖14來說明圖10所示之動態影像預測解碼裝置200中的動態影像預測解碼方法。首先，透過輸入端子201，壓縮資料係被輸入(步驟S201)。然後，在解碼器202中進行壓縮資料的資料解析、熵解碼，將雙預測訊號之生成上所必需的第0附加資訊和第1附加資訊、以及量化轉換係數，予以解碼(步驟S202)。

接著，在構成運動資訊復原器208的第0運動資訊復原器212中，使用第0附加資訊和被保存在運動資訊用記憶體113中的相鄰區塊之運動資訊，來復原第0運動資訊(步驟S250)。關於該步驟之細節，已經在圖13中說明。

接著，在構成運動資訊復原器208的第1運動資訊復原器211中，使用第1附加資訊和被保存在運動資訊用記憶體113中的相鄰區塊之運動資訊，來復原第1運動資訊(步驟S200)。關於該步驟之細節，已經在圖12中說明。

接著，基於已被復原之運動資訊，運動補償器207會生成解碼對象區塊的雙預測訊號，並且將運動資訊保存至運動資訊用記憶體113(S207)。

已被解碼器202所解碼之量化轉換係數，係於逆量化器203中被逆量化，於逆轉換器204中進行逆轉換，生成再生殘差訊號(S208)。然後，所生成的雙預測訊號和再生殘差訊號會被加算而生成再生訊號，該再生訊號係為了用來再生下一解碼對象編碼區塊，而被儲存在畫格記憶體104中(步驟S209)。當有下一筆壓縮資料時，則重複S202~S209之處理程序(S210)，直到所有資料都被處理到最後為止。

接著，說明含有本發明之複數雙預測方法的選擇性利用手法。上記所說明的僅將1條差分運動向量予以編碼的雙預測(稱作雙預測類型2)，係可和先前的將2條差分運動向量予以編碼的雙預測(稱作雙預測類型1)以及單預測做適應性組合利用。這些預測方式，係可以用畫面單位、複數區塊所集結而成的切片單位、或區塊單位來做切換利用。切換處理係可利用，將切換資訊予以編碼的方法、或基於參照畫面的畫格編號而在解碼側上進行決定的方法。

此外，雙預測類型1和雙預測類型2的切換處理，係可藉由對圖2的第1運動資訊推定器121，追加區塊比對機能和從已探索之運動向量減去預測向量而算出差分運動向量之機能，並對圖11的第1運動資訊復原器追加從解碼器取得差分運動向量之機能，就可實現。以下說明具體 之方法。

(畫面/切片單位切換、雙預測類型之切換資訊編碼)

以畫面/切片單位來切換雙預測類型1和雙預測類型2時，係將雙預測類型之切換資訊(例如BiPred_type)，包含在畫面或切片的標頭中而予以編碼。

如圖5(A)所示的所有參照畫面之候補，係當顯示順序是比編碼對象畫面還要過去之畫面時，雙預測類型2係為有效，因此在編碼側上選擇雙預測類型2之利用。然後，編碼資訊，係在畫面或切片的標頭資訊中，將表示雙預測類型2的指示資訊(例如BiPred_type=1)予以編碼。另一方面，如圖5(B)所示，若顯示順序相對於編碼對象畫面而較為未來之畫面是被包含在參照畫面之候補中，則編碼裝置係選擇雙預測類型1，在畫面或切片的標頭資訊中，將表示雙預測類型1的指示資訊(例如BiPred_type=0)予以編碼。

在利用雙預測類型1時，是在將畫面內或切片內的區塊予以編碼之際，探索出運動向量mv[1]。和第0附加資訊(將ref_idx[0]和mvd[0]和mvp_idx[0]予以編碼)同樣地，使第1附加資訊中含有mvd[1]，連同ref_idx[1]和mvp_idx[1]一起進行編碼。在利用雙預測類型2時，作為第0附加資訊是將ref_idx[0]和mvd[0]和mvp_idx[0]予以編碼，作為第1附加資訊是將ref_idx[1]和mvp_idx[1]予以編碼。

在解碼側上，基於由畫面或切片的標頭資訊所解碼出來的指示資訊，將畫面內或切片內的各區塊予以解碼之際，會切換mvd[1]的復原方法。亦即，若解碼出表示雙預測類型1的指示資訊(例如BiPred_type=0)時，則在將畫面內或切片內的各區塊予以解碼之際，在第1附加資訊中含有mvd[1]，連同ref_idx[1]和mvp_idx[1]一起進行解碼。若解碼出表示雙預測類型2的指示資訊(例如BiPred_type=1)時，則在將畫面內或切片內的各區塊予以解碼之際，作為第1附加資訊是將ref_idx[1]和mvp_idx[1]予以解碼，將mvd[1]的水平‧垂直向量值設定成0。作為第0附加資訊，是無論指示資訊之值為何，均將ref_idx[0]和mvd[0]和mvp_idx[0]予以解碼。

此外，編碼側上的雙預測類型1與雙預測類型2之切換方法，係不依存於這裡所示的方法。例如，亦可當所有參照畫面是在顯示順序上相對於編碼對象畫面而較為未來之畫面時，利用雙預測類型2。又可採用，實際調查雙預測類型1與雙預測類型2適用時的編碼效率(例如將編碼誤差訊號的平方和+編碼位元數予以轉換後的評價值)，選擇編碼效率較高之一方的方法。

然後，如圖8所示在將複數區塊尺寸做適應性使用的編碼方法中，亦可藉由畫面或切片標頭，對不同區塊尺寸，個別發送用來切換雙預測類型1與雙預測類型2的指示資訊。例如，當區塊尺寸是64×64、32×32、16×16、8×8時，係將4個指示資訊進行編碼。

此外，在區塊之預測方法上使用單預測和雙預測之雙方的情況下，係在編碼側上選擇預測類型(單預測或雙預測)，而包含在附加資訊中進行編碼。然後，僅在選擇了雙預測的區塊上，實施雙預測類型1與雙預測類型2的切換處理。在解碼側上，僅在預測類型是解碼出表示雙預測之資訊的區塊上，實施雙預測類型1與雙預測類型2的切換處理。

(畫面/切片單位切換、基於參照畫面的畫格編號之決定)

圖5(A)或圖5(B)所示之參照畫面之候補，係在編碼側與解碼側上為相同。因此，可基於參照畫面之候補的畫格編號和編碼對象畫面的畫格編號，來決定要使用雙預測類型1與雙預測類型2之哪一者。亦即，若所有的參照畫面之候補都是顯示順序比編碼對象畫面還要過去之畫面，則利用雙預測類型2，若顯示順序相對於編碼對象畫面而較為未來之畫面是被包含在參照畫面之候補中，則利用雙預測類型1。在此方法下，就不需要發送指示資訊。

此外，亦可當所有參照畫面之候補是在顯示順序上相對於編碼對象畫面而較為未來之畫面的情況下，利用雙預測類型2。

(區塊單位切換、雙預測類型之切換資訊編碼)

以區塊單位來切換雙預測類型1和雙預測類型2時，係將雙預測類型之切換資訊(例如BiPred_block_type)，包 含在區塊的附加資訊中而予以編碼。

若雙預測的2個參照畫面係顯示順序比編碼對象畫面還要過去之畫面時，則雙預測類型2係為有效，因此在編碼側上選擇雙預測類型2之利用。然後，編碼資訊，係區塊的附加資訊中含有表示雙預測類型2的指示資訊(例如BiPred_block_type=1)，將第0附加資訊ref_idx[0]、mvd[0]、mvp_idx[0]、和第1附加資訊ref_idx[1]、mvp_idx[1]，一起進行編碼。另一方面，若雙預測的2個參照畫面中含有顯示順序相對於編碼對象畫面而較為未來之畫面時，則選擇雙預測類型1。然後，編碼資訊，係區塊的附加資訊中含有表示雙預測類型1的指示資訊(例如BiPred_block_type=0)，將第0附加資訊ref_idx[0]、mvd[0]、mvp_idx[0]、和第1附加資訊ref_idx[1]、mvd[1](在第1附加資訊中含有mvd[1])，與mvp_idx[1]一起進行編碼。

在解碼側上，在區塊的附加資訊中包含有雙預測類型之切換資訊(例如BiPred_block_type)而進行解碼，基於解碼值來切換mvd[1]的復原方法。亦即，若作為區塊的附加資訊是解碼出表示雙預測類型1的指示資訊(例如BiPred_block_type=0)，則作為第0附加資訊是解碼出ref_idx[0]和mvd[0]和mvp_idx[0]，作為第1附加資訊是解碼出ref_idx[1]和mvd[1]和mvp_idx[1]。另一方面，若作為區塊的附加資訊是解碼出表示雙預測類型2的指示資訊(例如BiPred_block_type=1)，則作為第0附加資訊是解 碼出ref_idx[0]和mvd[0]和mvp_idx[0]，作為第1附加資訊是將ref_idx[1]和mvp_idx[1]予以解碼，並將mvd[1]的水平‧垂直向量值設定成0。

此外，編碼側上的雙預測類型1與雙預測類型2之切換方法，係不依存於這裡所示的方法。例如，亦可當2個參照畫面雙方都是在顯示順序上相對於編碼對象畫面而較為未來之畫面時，利用雙預測類型2。又可採用，對每一區塊實際調查雙預測類型1與雙預測類型2適用時的編碼效率(例如將編碼誤差訊號的平方和+編碼位元數予以轉換後的評價值)，選擇編碼效率較高之一方的方法。

又，在區塊之預測方法上使用單預測和雙預測之雙方的情況下，係在編碼側上選擇預測類型(單預測或雙預測)，而包含在附加資訊中進行編碼。然後，僅在選擇了雙預測的區塊上，實施雙預測類型1與雙預測類型2的切換處理。在解碼側上，僅在預測類型是解碼出表示雙預測之資訊的區塊上，實施雙預測類型1與雙預測類型2的切換處理。

(區塊單位切換、基於參照畫面的畫格編號之決定)

圖5(A)或圖5(A)所示之參照畫面之候補，係在編碼側與解碼側上為相同。因此，可基於作為區塊的附加資訊而被編碼/解碼之用於雙預測的2個參照畫面的畫格編號與編碼對象畫面的畫格編號，來決定要使用雙預測類型1與雙預測類型2之哪一者。亦即，若雙預測中所用的2個 參照畫面，均為顯示順序較編碼對象畫面更為過去之畫面時則利用雙預測類型2，若2個參照畫面之一方或雙方是在顯示順序上相對於編碼對象畫面而較為未來之畫面時，則利用雙預測類型1。在此方法下，就不需要發送指示資訊。此外，亦可當2個參照畫面雙方都是在顯示順序上相對於編碼對象畫面而較為未來之畫面時，則利用雙預測類型2。

(畫面/切片單位切換與區塊單位切換之組合)

以畫面/切片單位，將用來表示是以畫面/切片單位還是區塊單位進行雙預測類型之切換的指示資訊，予以編碼/解碼。

以畫面/切片單位來進行雙預測類型之切換的情況下，係還如上記所說明，將雙預測類型的切換資訊(例如BiPred_type)，包含在畫面或切片之標頭中而進行編碼/解碼。此時，如圖8所示在將複數區塊尺寸做適應性使用的編碼方法中，亦可藉由畫面或切片標頭，對不同區塊尺寸，個別發送用來切換雙預測類型1與雙預測類型2的指示資訊。例如，當區塊尺寸是64×64、32×32、16×16、8×8時，係將4個指示資訊進行編碼。

以區塊畫面單位來進行雙預測類型之切換的情況下，係還如上記所說明，以區塊單位，將雙預測類型的切換資訊(例如BiPred_block_type)，包含在區塊的附加資訊中而進行編碼/解碼。此時，還如圖8所示在將複數區塊尺寸 做適應性使用的編碼方法中，亦可藉由畫面或切片標頭，對不同區塊尺寸，個別發送用來指示是否進行雙預測類型1與雙預測類型2之切換處理的指示資訊。例如，當區塊尺寸是64×64、32×32、16×16、8×8時，係將4個指示資訊進行編碼。

又，亦可以畫面/切片單位，將用來指示是否僅利用雙預測類型1、是否僅利用雙預測類型2、是否在畫面/切片內的各區塊來切換2個雙預測類型的指示資訊，予以編碼/解碼。此時，如圖8所示在將複數區塊尺寸做適應性使用的編碼方法中，係亦可對不同的區塊尺寸，個別地發送指示資訊。

或以畫面/切片單位，將表示是否利用雙預測類型2的指示資訊，予以編碼/解碼。在利用雙預測類型2的畫面/切片中，係亦可還將用來指示是否在畫面/切片內的各區塊上切換雙預測類型1與雙預測類型2、是否在畫面/切片內的所有區塊上利用雙預測類型2的指示資訊，予以編碼/解碼。此時，如圖8所示在將複數區塊尺寸做適應性使用的編碼方法中，係亦可在畫面或切片標頭裡，對不同的區塊尺寸，個別地發送這些指示資訊。

在上記中，係在圖7所示的第1預測運動向量之候補裡，含有對象區塊400的第0運動資訊。然而，亦可另外準備，將第0運動資訊當作第1預測運動資訊，將預測運動資訊基於第0運動資訊中所含之第1參照畫面索引和第1運動資訊中所含之第1參照畫面索引而進行比例縮放來 作為第1運動資訊而利用之方法，當作雙預測類型3。亦即，進行比例縮放，以使得第0運動資訊中所含之運動向量，會變成第1運動資訊的參照畫面索引所指示的參照畫面之運動向量。此情況下，在雙預測類型2下的第1預測運動資訊之候補中，亦可不含對象區塊的第0運動資訊(將圖7的n=4排除在候補之外)。然後，在利用雙預測類型3的情況下，不會進行第1預測運動資訊索引的編碼/解碼。亦即，將第1附加資訊予以編碼/解碼之際，係包含第1參照畫面索引(ref_idx[1])、不包含差分運動向量(mvd[1])與第1預測運動資訊索引(mvp_idx[1])。

作為雙預測類型3的利用方法，係亦可以畫面/切片單位或區塊單位，將切換雙預測類型1與雙預測類型2與雙預測類型3的指示資訊，予以編碼/解碼。又，亦可以畫面/切片單位或區塊單位，將切換雙預測類型1與雙預測類型3、或雙預測類型2與雙預測類型3的指示資訊，予以編碼/解碼。

又，在上記中還可考慮作為雙預測類型1之代用而使用之方法。亦即，亦可為，若複數參照畫面候補中含有顯示順序相對於編碼對象畫面而較為未來之畫面時，則利用雙預測類型3，若複數參照畫面候補在顯示順序上全部都是相對於編碼對象畫面而較為過去之畫面時，則利用雙預測類型2。

或者亦可為，若第0運動資訊中所含之參照畫面索引所指示的參照畫面，是與第1運動資訊的參照畫面索引所 指示的參照畫面不同的情況下，則取代雙預測類型2改為利用雙預測類型3(不須第1預測運動資訊索引之編碼/解碼)，另一方面，若第0運動資訊中所含之參照畫面索引所指示的參照畫面，是和第1運動資訊的參照畫面索引所指示的參照畫面相同的情況下，則利用雙預測類型2(將第1預測運動資訊索引進行編碼/解碼)。

此外，雙預測類型的切換資訊，係並無限定為BiPred_type或BiPred_block_type這類識別資訊。只要是用來表示是否進行差分運動向量之編碼/解碼的資訊即可。例如，亦可將像是mvd_list1_zero_flag或mvd_list0_zero_flag這類用來指示在第1附加資訊或第0附加資訊中是否含有mvd的旗標資訊，予以編碼/解碼。將雙預測類型1、雙預測類型2以及雙預測類型3以畫面/切片單位或區塊單位進行切換的情況下，在利用雙預測類型2或雙預測類型3之任一者的時候，發送用來指示附加資訊裡不含mvd的旗標。雙預測類型2與雙預測類型3的切換，係可如上述般地基於參照畫面索引來進行(第0運動資訊中所含之參照畫面索引所指示的參照畫面，是和第1運動資訊的參照畫面索引所指示的參照畫面相同的情況下，則利用雙預測類型2)，還可將選擇資訊予以編碼/解碼。

圖15係能夠執行動態影像預測編碼方法的程式之模組的區塊圖。如圖15(A)所示，動態影像預測編碼程式P100係具備：區塊分割模組P101、預測訊號生成模組 P103、記憶模組P104、減算模組P105、轉換模組P106、量化模組P107、逆量化模組P108、逆轉換模組P109、加算模組P110、編碼模組P111及運動資訊記憶模組P113。然後，如圖15(B)所示，預測訊號生成模組P103係還具備：第1運動資訊推定模組P121、第0運動資訊推定模組P122及預測訊號合成模組P123。藉由執行上記各模組所實現的機能，係和上述動態影像預測編碼裝置100的機能相同。亦即，動態影像預測編碼程式P100的各模組之機能，係和區塊分割器102、預測訊號生成器103、畫格記憶體104、減算器105、轉換器106、量化器107、逆量化器108、逆轉換器109、加算器110、編碼器111運動資訊用記憶體113、第1運動資訊推定器121、第0運動資訊推定器122及預測訊號合成器123的機能相同。

又，圖16係能夠執行動態影像預測解碼方法的程式之模組的區塊圖。如圖16(A)所示，動態影像預測解碼程式P200係具備：解碼模組P201、運動資訊解碼模組P202、運動補償模組P203、運動資訊記憶模組P204、逆量化模組P205、逆轉換模組P206、加算模組P207及記憶模組P104。然後，如圖16(B)所示，運動資訊解碼模組P202係具備有第1運動資訊復原模組P211及第0運動資訊復原模組P212。

藉由執行上記各模組所實現的機能，係和上述動態影像預測解碼裝置200的各構成要素相同。亦即，動態影像預測解碼程式P200的各模組之機能，係和解碼器202、 運動資訊復原器208、運動補償器207、運動資訊用記憶體113、逆量化器203、逆轉換器204、加算器205、畫格記憶體104、第1運動資訊復原器211及第0運動資訊復原器212的機能相同。

如此構成的動態影像預測編碼程式P100或動態影像預測解碼程式P200，係被記憶在後述的圖17及圖18所示的記錄媒體10，在後述的電腦上執行。

圖17係將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示，圖18係將記錄媒體中所記憶之程式加以執行所需之電腦的斜視圖。此外，執行記錄媒體中所記憶之程式者係不限定於電腦，亦可為具備CPU而可進行軟體所致之處理或控制的DVD播放器、機上盒、行動電話等。

如圖17所示，電腦30，係具備：軟碟驅動裝置、CD-ROM驅動裝置、DVD驅動裝置等讀取裝置12、讓作業系統常駐的作業用記憶體(RAM)14、用來記憶記錄媒體10中所記憶之程式的記憶體16、顯示器這類顯示裝置18、屬於輸入裝置的滑鼠20及鍵盤22、進行資料收送用的通訊裝置24、控制著程式之執行的CPU26。電腦30，係一旦把記錄媒體10插入至讀取裝置12，則從讀取裝置12就可向記錄媒體10中所儲存的動態影像預測編碼．解碼程式進行存取，藉由該當影像編碼．解碼程式，成為本實施形態所述之動態影像編碼裝置或動態影像解碼裝置而動作。

如圖18所示，動態影像預測編碼程式及動態影像解碼程式，係可以被重疊於載波之電腦資料訊號40的方式，透過網路而提供。此時，電腦30，係將通訊裝置24所接收到的動態影像預測編碼程式或動態影像解碼程式，記憶在記憶體16，就可執行該當動態影像預測編碼程式或動態影像預測解碼程式。

本發明甚至可作下記的變形。

(1)第0附加資訊與第1附加資訊之關係

在上記中雖然是，第1附加資訊係含有ref_idx[1]和mvp_idx[1]，第0附加資訊係含有ref_idx[0]和mvd[0]和mvp_idx[0]，但此構成亦可顛倒。亦即，第1附加資訊是含有ref_idx[1]和mvd[1]和mvp_idx[1]，第0附加資訊係含有ref_idx[0]和mvp_idx[0]。此情況下，從相鄰區塊之運動資訊來生成第0預測運動資訊並且生成第0預測訊號，接著，探索出雙預測訊號與對象區塊之原始訊號之絕對值和+附加資訊之評價值呈現最小的第1運動資訊。

又，亦可為，第1附加資訊係含有ref_idx[1]和mvp_idx[1]，第0附加資訊係含有ref_idx[0]和mvp_idx[0]。亦即，差分之運動向量係不被編碼，將2個差分運動向量在解碼側的水平‧垂直向量值，設定成0。或是，將第0預測運動向量與第1預測運動向量，分別設定成第0運動向量與第1運動向量。

(2)參照畫面

在上記中，雖然是將參照畫面索引包含在第1附加資訊內而進行編碼/解碼，但亦可基於mvp_idx所示的相鄰區塊之運動資訊所附隨的參照畫面索引來決定之(例如，關於圖7的相鄰區塊401至404，係直接利用所附隨的List1的參照畫面索引，關於相鄰區塊410至415，係基於對象區塊與相鄰區塊的參照畫面索引所指示的參照畫面之不同，而對相鄰區塊中所含之運動向量實施比例縮放處理)。又，亦可預先決定第1運動資訊的參照畫面索引。這些情況，係可在解碼側被唯一地復原，因此不需要將參照畫面索引ref_idx包含在第1附加資訊中而編碼。

參照畫面之選擇和其清單係不限定於圖5和圖6的例子。參照畫面清單係可以用畫面/切片單位來進行編碼，參照畫面的數目係亦可不是如圖5所示的4張，其他任意數目都可實施本發明。

(3)預測運動資訊

在上記中，雖然是如圖7所示將複數已編碼/解碼之運動資訊當作預測運動資訊之候補，但其數目和所利用的相鄰區塊之位置並無限定。

亦可在第1預測運動向量之候補中包含有相鄰區塊的第0運動向量，即使在第0預測運動向量之候補中含有相鄰區塊之第1運動向量，仍可實施本發明的雙預測。在第1預測運動資訊的候補中，亦可加入之前被編碼/解碼的第0運動資訊。

當已編碼/解碼之運動資訊中所含之參照畫面索引和附隨於對象區塊的運動資訊中所含之參照畫面索引有所不同的情況下，是否進行運動向量之比例縮放處理，這在本發明中也並未有所限定。

此外，當預測運動向量之候補為1個的時候，則沒有必要將預測運動資訊索引mvp_idx包含在第1附加資訊中來進行編碼。

預測運動向量的生成方法在本發明中也沒有限定。例如，亦可採用將奇數個預測運動向量之候補的中央值，當作預測運動向量而採用。此情況下也是，預測運動向量係在解碼側上被唯一決定，因此沒有必要將預測運動資訊索引mvp_idx包含在第1附加資訊中來進行編碼。

如圖8所示，即使是使用複數種區塊尺寸的編碼/解碼方式，只要預測運動資訊之候補的決定方法有被規定，就可實施本發明的雙預測。例如，在圖8的例子中，亦可將對象區塊400所相鄰之區塊421至區塊428當作預測資訊之候補，亦可事先訂定相鄰區塊的標號方法，將以畫面單位或切片單位所指示之數目的相鄰區塊之運動資訊，設定至預測運動向量之候補。

(4)第0運動資訊與附加資訊

此外，關於第0運動資訊與附加資訊之構成，係在本發明中沒有限定，可不將參照畫面索引或預測運動資訊索引進行編碼而設成固定值，亦可以預先決定之方法而加以 導出。

又，關於第0運動資訊或附加資訊也是，可以和第1運動資訊或附加資訊同樣地，亦可不將mvd[0]予以編碼，而在解碼側上設定成mv[0]=pmv[0](或是mvd[0]=0)。

(5)畫格編號

在上記中，在參照畫面或編碼對象畫面之識別上雖然使用畫格編號(frame_num)，但只要是能夠識別參照畫面的資訊即可，亦可為其他資訊，不會影響本發明的實施。

(6)第1差分運動向量mvd[1]的復原

在上記所說明的本發明之雙預測中，第1差分運動向量mvd[1]的向量值係為0。因此，mvd[1]係不編碼，在解碼側上，將mvd[1]的向量值設定成0、或將運動向量mv[1]設定成pmv[1]。作為其他實施形態，將mvd[1]=0包含在第1附加資訊中，將0值高效率地進行熵編碼之方法，也可說是有效的。

若在熵編碼中使用算術編碼，則例如，可將第0差分運動向量與第1差分運動向量以不同的機率模型來進行編碼/解碼。例如，準備差分運動向量之向量值0的機率頻率不同的2個機率模型來給差分運動向量之編碼/解碼使用。然後，當將第1差分運動向量進行編碼/解碼時，係使用差分運動向量之向量值0之頻率設定較高的第2機率 模型，當將第0差分運動向量進行編碼/解碼時，係使用另一第1機率模型。甚至，亦可準備差分運動向量之水平與垂直方向向量值用的個別之機率模型。

此外，亦可僅在適用雙預測類型2之區塊的第1差分運動向量，使用第2機率模型，其以外的差分運動向量之編碼/解碼中，則使用第1機率模型。

若使用可變長度編碼，則將第0差分運動向量與第1差分運動向量使用不同的可變長度表來進行編碼/解碼。例如，備妥了分配給差分運動向量之向量值0的編碼長度為不同的2個可變長度表。然後，當將第1差分運動向量進行編碼/解碼時，係使用將分配給差分運動向量之向量值0的編碼長度設定成較短的第2可變長度表，當將第0差分運動向量進行編碼/解碼時，係使用另一第1可變長度表。甚至，亦可準備差分運動向量之水平與垂直方向向量值用的個別之可變長度表。

此外，亦可僅在適用雙預測類型2之區塊的第1差分運動向量，使用第2可變長度表，其以外的差分運動向量之編碼/解碼中，則使用第1可變長度表。

(7)N預測

在上記中雖然是將畫面間預測的預測類型設成單預測和雙預測，但對於將3個以上之預測訊號加以合成的預測方法，本發明仍可適用。在將3個以上之預測訊號加以合成來生成預測訊號的情況下，只要不含mvd之附加資訊 的數目若為1個以上，則無論多少均可。

(8)轉換器、逆轉換器

殘差訊號的轉換處理，係可用固定的區塊尺寸來進行，也可配合部分領域而將對象領域予以再分割而進行轉換處理。

(9)色彩訊號

在上記中，雖然沒有特別描述色彩格式，但關於色彩訊號或色差訊號，也是可和亮度訊號分開來個別進行預測訊號之生成處理。又，亦可與亮度訊號之處理連動而進行。

以上，將本發明基於其實施形態而詳細說明。可是，本發明係仍並非限定於上記實施施形態。本發明在不脫離其宗旨的範圍內，可作各種變形。

208:運動資訊復原器

211:第1運動資訊復原器

212:第0運動資訊復原器

Claims (2)

1. 一種動態影像預測解碼裝置，其特徵為，

   具備：

   解碼手段，係用以從分割成複數領域而被編碼的壓縮資料之中，將解碼對象之解碼對象領域的附加資訊與殘差訊號之壓縮資料，予以解碼；和

   運動資訊復原手段，係用以從前記附加資訊中復原出，用來生成前記解碼對象領域之預測訊號所需要的運動向量；和

   運動資訊記錄手段，係用以保存前記運動向量；和

   運動補償手段，係用以基於前記運動向量，而生成前記解碼對象領域的預測訊號；和

   殘差訊號復原手段，係用以從前記殘差訊號之壓縮資料，復原出前記解碼對象領域的再生殘差訊號；

   前記解碼手段，係將第1附加資訊與第2附加資訊予以解碼；

   前記第1附加資訊係含有：第1差分運動向量、和用來把從前記運動資訊記錄手段中所儲存之複數運動向量所選擇出來的1者識別成為第1預測運動向量所需的第1預測運動資訊索引；

   前記第2附加資訊係含有：用來把從前記運動資訊記錄手段中所儲存之複數運動向量所選擇出來的1者識別成為第2預測運動向量所需的第2預測運動資訊索引；

   前記運動資訊復原手段係含有：

   第1運動資訊復原手段，係用以基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量與前記第1差分運動向量進行加算以復原第1運動向量；和

   第2運動資訊復原手段，係用以基於前記第2預測運動資訊索引而生成第2預測運動向量，將已生成之第2預測運動向量予以復原來作為第2運動向量；

   前記運動補償手段，係藉由將前記預測訊號與前記再生殘差訊號予以加算以復原前記解碼對象領域之像素訊號，並將從已被復原之像素訊號基於前記第1運動向量與第2運動向量而取得的2個訊號加以合成，以生成前記解碼對象領域之預測訊號；

   前記解碼手段，係還對每一畫面或切片，將用來指示前記第2附加資訊是否含有第2差分運動向量的指示資訊，予以解碼；

   若前記指示資訊係表示，前記第2附加資訊是含有前記第2差分運動向量的情況下，則將前記第2差分運動向量予以解碼來作為前記第2附加資訊；

   前記第2運動資訊復原手段，係

   當前記指示資訊是表示前記第2附加資訊不含有前記第2差分運動向量時，則基於前記第2預測運動資訊索引而生成第2預測運動向量，將已生成之第2預測運動向量予以復原來作為第2運動向量；

   當前記指示資訊是表示前記第2附加資訊含有前記第2差分運動向量時，則基於前記第2預測運動資訊索引而生成第2預測運動向量，將已生成之第2預測運動向量與已解碼之前記第2差分運動向量進行加算以生成並復原第2運動向量。
2. 一種動態影像預測解碼方法，係屬於被動態影像預測解碼裝置所執行的動態影像預測解碼方法，其特徵為，

   具備：

   解碼步驟，係用以從分割成複數領域而被編碼的壓縮資料之中，將解碼對象之解碼對象領域的附加資訊與殘差訊號之壓縮資料，予以解碼；和

   運動資訊復原步驟，係用以從前記附加資訊中復原出，用來生成前記解碼對象領域之預測訊號所需要的運動向量；和

   運動資訊記錄步驟，係用以將前記運動向量保存至運動資訊記錄手段；和

   運動補償步驟，係用以基於前記運動向量，而生成前記解碼對象領域的預測訊號；和

   殘差訊號復原步驟，係用以從前記殘差訊號之壓縮資料，復原出前記解碼對象領域的再生殘差訊號；

   在前記解碼步驟中，前記動態影像預測解碼裝置係將第1附加資訊與第2附加資訊予以解碼；

   前記第1附加資訊係含有：第1差分運動向量、和用來 把從前記運動資訊記錄步驟中所儲存之複數運動向量所選擇出來的1者識別成為第1預測運動向量所需的第1預測運動資訊索引；

   前記第2附加資訊係含有：用來把從前記運動資訊記錄步驟中所儲存之複數運動向量所選擇出來的1者識別成為第2預測運動向量所需的第2預測運動資訊索引；

   前記運動資訊復原步驟係含有：

   第1運動資訊復原步驟，係用以基於前記第1預測運動資訊索引而生成第1預測運動向量，將已生成之第1預測運動向量與前記第1差分運動向量進行加算以復原第1運動向量；和

   第2運動資訊復原步驟，係用以基於前記第2預測運動資訊索引而生成第2預測運動向量，將已生成之第2預測運動向量予以復原來作為第2運動向量；

   在前記運動補償步驟中，前記動態影像預測解碼裝置係藉由將前記預測訊號與前記再生殘差訊號予以加算以復原前記解碼對象領域之像素訊號，並將從已被復原之像素訊號基於前記第1運動向量與第2運動向量而取得的2個訊號加以合成，以生成前記解碼對象領域之預測訊號；

   在前記解碼步驟中，前記動態影像預測解碼裝置係還對每一畫面或切片，將用來指示前記第2附加資訊是否含有第2差分運動向量的指示資訊，予以解碼；

   若前記指示資訊係表示，前記第2附加資訊是含有前記第2差分運動向量的情況下，則前記動態影像預測解碼 裝置係將前記第2差分運動向量予以解碼來作為前記第2附加資訊；

   在前記第2運動資訊復原步驟中，前記動態影像預測解碼裝置，係

   當前記指示資訊是表示前記第2附加資訊不含有前記第2差分運動向量時，則基於前記第2預測運動資訊索引而生成第2預測運動向量，將已生成之第2預測運動向量予以復原來作為第2運動向量；

   當前記指示資訊是表示前記第2附加資訊含有前記第2差分運動向量時，則基於前記第2預測運動資訊索引而生成第2預測運動向量，將已生成之第2預測運動向量與已解碼之前記第2差分運動向量進行加算以生成並復原第2運動向量。

Images