TWI657696B

TWI657696B - 動態影像編碼裝置、動態影像編碼方法、及記錄動態影像編碼程式之記錄媒體

Info

Publication number: TWI657696B
Application number: TW107105042A
Authority: TW
Inventors: 上田基晴; 福島茂; 竹原英樹
Original assignee: 日商Ｊｖｃ建伍股份有限公司
Priority date: 2012-04-16
Filing date: 2013-04-16
Publication date: 2019-04-21
Also published as: TWI700923B; TWI618403B; TW201820877A; TW201717646A; TW201739258A; TWI597976B; TW201924354A; TWI577185B; TW201404177A

Abstract

運動補償預測部(112)，係藉由使用所導出之運動資訊的運動補償來生成編碼對象預測區塊的預測訊號。編碼區塊控制參數生成部(122)，係生成：第1控制參數，係用來指定，是否許可第1尺寸之預測區塊尺寸時的運動補償預測；和第2控制參數，係用來指定，將第2尺寸以下之預測區塊尺寸時的雙預測之運動補償予以禁止的第2尺寸。區塊構造/預測模式資訊附加資訊編碼部(118)，係將含有第1及第2控制參數的用於運動補償預測之資訊，予以編碼。運動補償預測部(112)，係基於第1及第2控制參數，來進行運動補償預測。

Description

動態影像編碼裝置、動態影像編碼方法、及記錄動態影像編碼程式之記錄媒體

本發明係有關於動態影像訊號的編碼及解碼技術，尤其是有關於利用了運動補償預測的動態影像編碼及解碼技術。

在MPEG-4 AVC/H.264(以下稱AVC)等為代表的動態影像編碼中，利用時間方向之相關而壓縮資訊，對於要作為編碼對象之影像訊號亦即編碼對象圖像，將已被編碼並解碼的局部解碼訊號當作參照圖像來使用，以所定之編碼處理單位(以下稱作編碼對象區塊)，偵測出對象圖像與參照圖像之間的運動量(以下稱作運動向量)，生成預測訊號的此種運動補償預測，係被採用。

在AVC中係會採用，在運動補償預測中從1個參照圖像利用1條運動向量而單一方向地生成預測訊號的單預測、和從2個參照圖像利用2條運動向量而生成預測訊號的雙預測。藉由將它們適用於，在身為編碼對象區塊的16×16像素的2維區塊內，使預測處理對象之區塊 (以下稱作預測對象區塊)的大小(以下稱作預測區塊大小)為可變之手法、或從複數參照圖像之中選擇預測所用之參照圖像的手法，又將運動向量之精度以1/4像素精度來加以表現，藉此以提升預測訊號的精度、削減所傳輸之差分(以下稱作預測誤差)的資訊量。在編碼側上，將用來指定預測模式資訊或參照影像的資訊加以選擇而連同運動向量資訊一起傳輸，在解碼側上，依照所被傳輸的用來指定預測模式資訊或參照影像的資訊和已被解碼之運動向量資訊，來實施運動補償預測處理。

關於運動向量之傳輸，係將處理對象區塊所相鄰之已編碼區塊的運動向量當作預測運動向量(以下稱作預測向量)，求出處理對象區塊之運動向量與預測向量的差分，藉由差分向量當作編碼向量而予以傳輸，以提升壓縮效率。

然而，在AVC中，係在縮小了預測區塊尺寸的情況下，對於編碼對象區塊之像素，進行編碼之際所必要之運動向量之數目會增大，對於將預測誤差進行編碼之際所需之編碼量，運動向量之編碼所需的編碼量會增大，無法以足夠的精度來將預測誤差進行編碼，而有所被編碼出來之影像訊號的品質降低之課題存在。

為了解決運動向量之編碼所需的編碼量會增大之課題，在AVC中是利用與預測對象區塊同一位置的參照圖像之區塊的編碼中所使用過的運動向量，而不傳輸編碼向量即實現運動補償預測的運動補償預測，是可採用此種直接運動補償預測。

又，作為其他解決手段，係如專利文獻1所述，在編碼裝置中若預測區塊尺寸較小，則藉由禁止雙預測而僅使用單預測，就可減少要進行編碼的運動向量數，防止運動向量之編碼量增大的手法，為人所知。

[先前技術文獻] [專利文獻]

[專利文獻1] WO2006/082690號公報

上述的直接運動補償預測，係著眼於與預測對象區塊位於同一位置之參照圖像之區塊上的時間方向之運動的連續性，直接利用其他區塊的運動資訊。藉此，就不須將差分向量當作編碼向量並編碼，就進行運動補償預測處理。

然而，在無法充分確保運動的連續性的情況下，或其他區塊之運動資訊中的運動向量並沒有表示正確之運動的情況等，使用直接利用其他區塊的運動資訊之方式之際，會生成使用了發生偏誤之運動資訊的預測影像。此時，無法生成精度良好的運動補償預測影像，而有難以提升編碼效率此一困難點。

再者，藉由以1/4像素之運動向量精度所表現的運動向量，而生成預測訊號之際，使用用到相鄰複數像素的內插濾波器，為了對於被運動向量所指定之1/4像素精度之位置來生成預測像素，為了在運動補償預測時生成預測訊號，必須要對預測區塊尺寸而水平‧垂直個別地取得相當於內插濾波器之節數的像素份之領域的參照圖像之影像訊號，尤其是在縮小了預測區塊尺寸的情況下，會有參照圖像的記憶體存取量增大之課題，即便使用直接運動補償預測之際仍會留下同樣的課題。

若依據專利文獻1的手法，則藉由將預測手法限制成單預測，雖然可將運動向量之數目、連同編碼裝置中的關於參照圖像之記憶體存取量都可予以削減，但在解碼裝置中，由於無法辨識到對於所被編碼之運動向量之數目的限制，因此為了實現即時的解碼處理，必須要有想定了雙預測被施行時的解碼處理能力。又，在使用直接運動補償預測等之不傳輸編碼向量的預測手法時，若默認上是雙預測被使用之條件的情況下，則就有需要生成雙預測的預測訊號，無法削減解碼裝置上所被要求的最大記憶體存取量，沒有解決課題。

本發明係有鑑於此種狀況而研發，其目的在於提供一種，能夠將使用運動補償預測之際的參照圖像的記憶體存取量限制成所定量以下，同時可提升編碼效率之技術。

提供一種動態影像編碼裝置，係屬於從圖像被階段性分割成複數區塊而成的區塊中特定出預測區塊，以該被特定之預測區塊單位，生成編碼串流的動態影像編碼裝置，其特徵為，具備：候補清單建構部，係從與身為編碼對象之預測區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資訊，視作身為前記編碼對象之預測區塊的運動資訊候補，從該被導出之運動資訊之中，登錄所定之運動資訊而建構出運動資訊候補清單；和候補清單追加部，係藉由將前記已被導出之運動資訊加以組合以生成新的運動資訊候補，並將已被生成之前記運動資訊候補，追加至前記運動資訊候補清單；和編碼部，係將用來指定前記運動資訊候補清單內之運動資訊候補的索引資訊予以編碼，該運動資訊候補係被使用於身為前記編碼對象之前記預測區塊；和運動資訊轉換部，係將前記運動資訊候補予以轉換；和運動補償預測部，係基於前記運動資訊候補，藉由單預測或雙預測之任一者來進行運動補償預測而生成身為前記編碼對象之預測區塊的預測訊號；前記運動資訊轉換部，係進行預測轉換，其係在前記運動資訊候補當中，將表示前記雙預測之預測種別資訊，在前記候補清單追加部對前記運動資訊候補清單追加了運動資訊候補之後，轉換成表示前記單預測之預測種別資訊；前記運動補償預測部，係當身為前記編碼對象之預測區塊的區塊尺寸是所定第1尺寸以下時，且預測種別資訊是表示前記雙預測時，則基於藉由前記預測轉換而被轉換成的運動資訊，來進行前記運動補償預測；前記預測轉換係藉由將L1預測資訊設成無效以轉換成往L0預測之前記單預測。

提供一種動態影像編碼方法，係屬於從圖像被階段性分割成複數區塊而成的區塊中特定出預測區塊，以該被特定之預測區塊單位，生成編碼串流的動態影像編碼方法，其特徵為，具備：候補清單建構步驟，係從與身為編碼對象之預測區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資訊，視作身為前記編碼對象之預測區塊的運動資訊候補，從該被導出之運動資訊之中，登錄所定之運動資訊而建構出運動資訊候補清單；和候補清單追加步驟，係藉由將前記已被導出之運動資訊加以組合以生成新的運動資訊候補，並將已被生成之前記運動資訊候補，追加至前記運動資訊候補清單；和編碼步驟，係將身為前記編碼對象之前記預測區塊上所使用的前記運動資訊候補清單內的運動資訊候補予以指定的索引資訊，予以編碼；和運動資訊轉換步驟，係將前記運動資訊候補予以轉換；和運動補償預測步驟，係基於前記運動資訊候補，藉由單預測或雙預測之任一者來進行運動補償預測而生成身為前記編碼對象之預測區塊的預測訊號；前記運動資訊轉換步驟，係進行預測轉換，其係在前記運動資訊候補當中，將表示前記雙預測之預測種別資訊，在前記候補清單追加步驟對前記運動資訊候補清單追加了運動資訊候補之後，轉換成表示前記單預測之預測種別資訊；前記運動補償預測步驟，係當身為前記編碼對象之預測區塊的區塊尺寸是所定第1尺寸以下時，且預測種別資訊是表示前記雙預測時，則基於藉由前記預測轉換而被轉換成的運動資訊，來進行前記運動補償預測；前記預測轉換係藉由將L1預測資訊設成無效以轉換成往L0預測之前記單預測。

提供一種記錄媒體，係記錄有，從圖像被階段性分割成複數區塊而成的區塊中特定出預測區塊，以該被特定之預測區塊單位，生成編碼串流的動態影像編碼程式的媒體，其特徵為，前記動態影像編碼程式係令電腦執行：候補清單建構步驟，係從與身為編碼對象之預測區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資訊，視作身為前記編碼對象之預測區塊的運動資訊候補，從該被導出之運動資訊之中，登錄所定之運動資訊而建構出運動資訊候補清單；和候補清單追加步驟，係藉由將前記已被導出之運動資訊加以組合以生成新的運動資訊候補，並將已被生成之前記運動資訊候補，追加至前記運動資訊候補清單；和編碼步驟，係將身為前記編碼對象之前記預測區塊上所使用的前記運動資訊候補清單內的運動資訊候補予以指定的索引資訊，予以編碼；和運動資訊轉換步驟，係將前記運動資訊候補予以轉換；和運動補償預測步驟，係基於前記運動資訊候補，藉由單預測或雙預測之任一者來進行運動補償預測而生成身為前記編碼對象之預測區塊的預測訊號；前記運動資訊轉換步驟，係進行預測轉換，其係在前記運動資訊候補當中，將表示前記雙預測之預測種別資訊，在前記候補清單追加步驟對前記運動資訊候補清單追加了運動資訊候補之後，轉換成表示前記單預測之預測種別資訊；前記運動補償預測步驟，係當身為前記編碼對象之預測區塊的區塊尺寸是所定第1尺寸以下時，且預測種別資訊是表示前記雙預測時，則基於藉由前記預測轉換而被轉換成的運動資訊，來進行前記運動補償預測；前記預測轉換係藉由將L1預測資訊設成無效以轉換成往L0預測之前記單預測。

此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的態樣而言皆為有效。

若依據本發明，則可將參照圖像之記憶體存取量限制成所定量以下，同時可提升編碼效率。

100‧‧‧輸入端子

101‧‧‧輸入影像記憶體

102‧‧‧編碼區塊取得部

103‧‧‧減算部

104‧‧‧正交轉換‧量化部

105‧‧‧預測誤差編碼部

106‧‧‧逆量化‧逆轉換部

107‧‧‧加算部

108‧‧‧畫格內解碼影像緩衝區

109‧‧‧迴圈濾波器部

110‧‧‧解碼影像記憶體

111‧‧‧運動向量偵測部

112‧‧‧運動補償預測部

113‧‧‧運動補償預測區塊構造選擇部

114‧‧‧畫面內預測部

115‧‧‧畫面內預測區塊構造選擇部

116‧‧‧預測模式選擇部

117‧‧‧編碼區塊構造選擇部

118‧‧‧區塊構造/預測模式資訊附加資訊編碼部

119‧‧‧預測模式資訊記憶體

120‧‧‧多工化部

121‧‧‧輸出端子

122‧‧‧編碼區塊控制參數生成部

1100‧‧‧輸入端子

1101‧‧‧多工分離部

1102‧‧‧預測差分資訊解碼部

1103‧‧‧逆量化‧逆轉換部

1104‧‧‧加算部

1105‧‧‧畫格內解碼影像緩衝區

1106‧‧‧迴圈濾波器部

1107‧‧‧解碼影像記憶體

1108‧‧‧預測模式/區塊構造解碼部

1109‧‧‧預測模式/區塊構造選擇部

1110‧‧‧畫面內預測資訊解碼部

1111‧‧‧運動資訊解碼部

1112‧‧‧預測模式資訊記憶體

1113‧‧‧畫面內預測部

1114‧‧‧運動補償預測部

1115‧‧‧輸出端子

1500‧‧‧運動補償預測生成部

1501‧‧‧預測誤差算出部

1502‧‧‧預測向量算出部

1503‧‧‧差分向量算出部

1504‧‧‧運動資訊編碼量算出部

1505‧‧‧預測模式/區塊構造評價部

1506‧‧‧結合運動資訊算出部

1507‧‧‧結合運動資訊單預測轉換部

1508‧‧‧結合運動補償預測生成部

1600‧‧‧空間結合運動資訊候補清單生成部

1601‧‧‧結合運動資訊候補清單刪除部

1602‧‧‧時間結合運動資訊候補清單生成部

1603‧‧‧第1結合運動資訊候補清單追加部

1604‧‧‧第2結合運動資訊候補清單追加部

3600‧‧‧運動資訊位元串流解碼部

3601‧‧‧預測向量算出部

3602‧‧‧向量加算部

3603‧‧‧運動補償預測解碼部

3604‧‧‧結合運動資訊算出部

3605‧‧‧結合運動資訊單預測轉換部

3606‧‧‧結合運動補償預測解碼部

[圖1]本發明的實施形態1所述之動態影像編碼裝置之構成的圖示。

[圖2]編碼對象影像之分割構造之一例的圖示。

[圖3]CU/預測區塊尺寸之詳細定義的圖示。

[圖4]圖4(a)~(d)係運動補償預測之預測種別的說明圖。

[圖5]本發明的實施形態1所述之動態影像編碼裝置中的編碼區塊單位之編碼處理之動作流程的流程圖。

[圖6]圖5的步驟S503中的CU預測模式/預測訊號生成處理之詳細動作的說明用流程圖。

[圖7]圖6的步驟S608中的運動補償預測區塊(PU)尺寸選擇/預測訊號生成處理之詳細動作的說明用流程圖。

[圖8]圖8(a)(b)係將本發明的實施形態1中的運動補償預測中所使用之運動資訊予以編碼所需的2個預測模式的說明圖。

[圖9]運動補償預測中使用了水平‧垂直7節濾波器時的運動補償預測所必須之參照影像記憶體量之概算值的圖示。

[圖10]本發明的實施形態1所述之，將運動補償預測之區塊尺寸及預測處理加以控制的控制參數的說明圖。

[圖11]本發明的實施形態1所述之動態影像解碼裝置之構成的圖示。

[圖12]本發明的實施形態1所述之動態影像解碼裝置中的編碼區塊單位之解碼處理之動作流程的流程圖。

[圖13]圖12的步驟S1202中的CU單位解碼處理之詳細動作的說明用流程圖。

[圖14]圖13的步驟S1310中的CU單位運動補償預測解碼處理之詳細動作的說明用流程圖。

[圖15]本發明的實施形態1的動態影像編碼裝置中的運動補償預測區塊構造選擇部之詳細構成的圖示。

[圖16]結合運動資訊算出部之構成的圖示。

[圖17]透過圖15之運動補償預測區塊構造選擇部而動作的，圖7之步驟S701、S702、S703、S705亦即運動補償預測模式/預測訊號生成之動作的說明用流程圖。

[圖18]圖17之步驟S1701中的結合運動資訊候補清單生成的詳細動作的說明用流程圖。

[圖19]空間結合運動資訊候補清單生成時所使用的空間候補區塊群的圖示。

[圖20]圖18之步驟S1800中的空間結合運動資訊候補清單生成處理之詳細動作的說明用流程圖。

[圖21]圖18的步驟S1801中的結合運動資訊候補刪除處理之詳細動作的說明用流程圖。

[圖22]結合運動資訊候補為4個時的清單中的候補的比較關係的圖示。

[圖23]圖23(a)(b)係結合運動資訊候補之比較內容之一例的圖示。

[圖24]時間結合運動資訊候補清單生成時所使用的時間候補區塊群的圖示。

[圖25]圖18之步驟S1802中的時間結合運動資訊候補清單生成處理之詳細動作的說明用流程圖。

[圖26]相對於對時間結合運動資訊的基準運動向量值ColMv，對L0預測、L1預測而登錄之運動向量值mvL0t、mvL1t的算出手法的說明圖。

[圖27]圖18之步驟S1803中的第1結合運動資訊候補清單追加處理之詳細動作的說明用流程圖。

[圖28]第1結合運動資訊候補清單追加處理中的，組合檢查次數與結合運動資訊候補M與結合運動資訊候補N之關係的說明圖。

[圖29]圖18之步驟S1804中的第2結合運動資訊候補清單追加處理之詳細動作的說明用流程圖。

[圖30]圖17的步驟S1703中的結合運動資訊候補單預測轉換處理之詳細動作的說明用流程圖。

[圖31]圖17的步驟S1704中的結合預測模式評價值生成處理之詳細動作的說明用流程圖。

[圖32]結合運動資訊候補數為5時的Truncated Unary編碼列的圖示。

[圖33]圖17的步驟S1705中的預測模式評價值生成處理之詳細動作的說明用流程圖。

[圖34]預測區塊的運動資訊之相關語法。

[圖35]將預測區塊尺寸所致之雙預測及預測處理之限制加以控制之參數的相關之語法。

[圖36]本發明的實施形態1的動態影像解碼裝置中的運動資訊解碼部之詳細構成的圖示。

[圖37]圖14的步驟S1402、S1406、S1408、S1410中的預測區塊單位解碼處理之詳細動作的說明用流程圖。

[圖38]圖37的步驟S3702中的運動資訊解碼處理之詳細動作的說明用流程圖。

[圖39]圖38的步驟S3801中的結合預測運動資訊解碼處理之詳細動作的說明用流程圖。

[圖40]圖38的步驟S3805中的預測運動資訊解碼處理之詳細動作的說明用流程圖。

[圖41]與等級連動的預測區塊尺寸控制參數之限制之一例。

[圖42]本發明的實施形態1之另一構成中的預測區塊尺寸之分割構造的圖示。

[圖43]本發明的實施形態1的另一構成中的，將運動補償預測之區塊尺寸及預測處理加以控制的控制參數的說明圖。

[圖44]本發明的實施形態1中，將運動補償預測之區塊尺寸及預測處理加以控制的2個控制參數，整合成1個編碼傳輸參數之一例。

[圖45]本發明的實施形態2所述之，將運動補償預測之區塊尺寸及預測處理加以控制的控制參數的說明圖。

[圖46]本發明的實施形態2所述之，將雙預測加以控制之控制參數與預測區塊尺寸之關係的圖示。

[圖47]本發明的實施形態2中的，將預測區塊尺寸所致之雙預測及預測處理之限制加以控制之參數的相關之語法之一例。

[圖48]本發明的實施形態3中的結合運動資訊候補生成時的空間周邊預測區塊之定義之一例的圖示。

[圖49]本發明的實施形態3中的，運動補償預測區塊(PU)尺寸選擇/預測訊號生成處理之詳細動作的說明用流程圖。

[圖50]本發明的實施形態3中的，運動補償預測模式 /預測訊號生成處理之詳細動作的說明用流程圖。

[圖51]本發明的實施形態3中的，結合預測運動資訊解碼處理之一例之詳細動作的說明用流程圖。

[圖52]本發明的實施形態4中的，運動補償預測區塊生成處理之詳細動作的說明用流程圖。

[圖53]本發明的實施形態5中的，結合運動資訊候補清單生成處理之詳細動作的說明用流程圖。

[圖54]本發明的實施形態5中的，結合運動資訊候補單預測轉換處理之詳細動作的說明用流程圖。

[圖55]本發明的實施形態6中的，結合運動資訊候補單預測轉換處理之詳細動作的說明用流程圖。

以下，連同圖面來詳細說明本發明的實施形態所述之動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式的理想實施形態。此外，圖面的說明中，對同一要素係賦予同一符號，並省略重複說明。

(實施形態1) 〔動態影像編碼裝置全體構成〕

圖1係本發明的實施形態1所述之動態影像編碼裝置之構成的圖示。以下，說明各部的動作。實施形態1所述的動態影像編碼裝置，係具備：輸入端子100、輸入影像記憶體101、編碼區塊取得部102、減算部103、正交轉換‧量化部104、預測誤差編碼部105、逆量化‧逆轉換部106、加算部107、畫格內解碼影像緩衝區108、迴圈濾波器部109、解碼影像記憶體110、運動向量偵測部111、運動補償預測部112、運動補償預測區塊構造選擇部113、畫面內預測部114、畫面內預測區塊構造選擇部115、預測模式選擇部116、編碼區塊構造選擇部117、區塊構造/預測模式資訊附加資訊編碼部118、預測模式資訊記憶體119、多工化部120、輸出端子121、及編碼區塊控制參數生成部122。

由輸入端子100所輸入的影像訊號，係被儲存在輸入影像記憶體101中，藉由輸入影像記憶體101，對編碼對象圖像的處理對象之影像訊號，會被輸入至編碼區塊取得部102。藉由編碼區塊取得部102基於編碼對象區塊的位置資訊而被切出的編碼對象區塊之影像訊號，係被供給至減算部103、運動向量偵測部111、運動補償預測部112、及畫面內預測部114。

圖2係編碼對象影像之一例的圖示。關於實施形態1所述之預測區塊尺寸，係如圖2所示般地，編碼對象影像是以64×64像素的編碼區塊單位而被編碼處理，預測區塊係將編碼區塊當作基準而被構成。最大預測區塊尺寸係為和編碼區塊同樣地64×64像素，最小預測區塊尺寸係為4×4像素。CU的往預測區塊之分割構成，係可為非分割(2N×2N)、對水平‧垂直之分割(N×N)、僅對水平方向之分割(2N×N)、僅對垂直方向之分割(N×2N)。在對水平‧垂直分割的情況下，可將再水平‧垂直地分割之預測區塊視為編碼區塊(CU)而階層式地分割成預測區塊，將其階層以CU分割數來表現。將已被4分割的CU的上位階層CU來看的分割領域，在此定義成分割1、分割2、分割3、分割4。

圖3係預測區塊尺寸之詳細定義之一例的圖示。CU的區塊尺寸(CU尺寸)，係從CU分割數(CU_Depth)為0的64像素×64像素、至CU分割數為3的8×8像素為止而被定義，而會存在有，從最大預測區塊尺寸係為CU_Depth=0且非分割(2N×2N)的64像素×64像素，至最小預測區塊尺寸係為CU_Depth=3且朝水平‧垂直分割(N×N)的4像素×4像素為止的有這些預測區塊尺寸。

使用畫面間之相關來進行預測、進行運動補償預測時的預測區塊尺寸，係相對於CU往預測區塊之分割構成，將僅朝水平方向做分割(2N×N)、僅朝垂直方向做分割(N×2N)設成可能，可以定義共13種預測區塊尺寸，但使用畫面內之相關來進行預測的畫面內預測時的預測區塊尺寸，係不將僅朝水平方向做分割(2N×N)、僅朝垂直方向做分割(N×2N)設成可能，因此定義了共5種預測區塊尺寸。

關於本發明的實施形態1所述之預測區塊的分割構成，並不限定於此一組合。可定義的編碼區塊尺寸，係使用圖3所示的Maximum_cu_size或Minimum_cu_size等之控制參數來設定最大CU尺寸或最小CU尺寸，藉由將這些控制參數予以編碼‧解碼，就可令其產生變化。

回到圖1，減算部103，係將編碼區塊取得部102所供給之影像訊號與編碼區塊構造選擇部117所供給之預測訊號進行減算，以算出預測誤差訊號，將預測誤差訊號供給至正交轉換‧量化部104。

正交轉換‧量化部104，係對於減算部103所供給的預測誤差訊號，實施正交轉換及量化，將已被量化之預測誤差訊號，供給至預測誤差編碼部105及逆量化‧逆轉換部106。

預測誤差編碼部105，係將正交轉換‧量化部104所供給之已被量化之預測誤差訊號，進行熵編碼，生成相對於預測誤差訊號的編碼列，供給至多工化部120。

逆量化‧逆轉換部106，係對正交轉換‧量化部104所供給之已被量化之預測誤差訊號，進行逆量化或逆正交轉換等之處理，生成解碼預測誤差訊號而供給至加算部107。

加算部107，係將逆量化‧逆轉換部106所供給之解碼預測誤差訊號、和編碼區塊構造選擇部117所供給之預測訊號，進行加算，以生成解碼影像訊號，將解碼影像訊號供給至畫格內解碼影像緩衝區108及迴圈濾波器部109。

畫格內解碼影像緩衝區108，係將編碼對象區塊所相鄰之領域的同一畫格內的解碼影像，供給至畫面內預測部114，同時，將加算部107所供給的解碼影像訊號，加以儲存。

迴圈濾波器部109，係對加算部107所供給之解碼影像訊號，藉由施加濾波器而進行編碼所生失真之去除或接近於編碼前影像之復原處理，將進行濾波器處理之結果的解碼影像，供給至解碼影像記憶體110。

解碼影像記憶體110，係將迴圈濾波器部109所供給之進行過濾波器處理的解碼影像訊號，加以儲存。又，針對影像全體之解碼已經完成的解碼影像，係視為參照影像，而記憶1以上之所定影像數，將參照影像號碼供給至運動向量偵測部111與運動補償預測部112。

運動向量偵測部111，係接受編碼區塊取得部102所供給之編碼對象區塊的影像訊號、和解碼影像記憶體110中所記憶之參照影像訊號之輸入，對各參照影像偵測出運動向量，將運動向量值供給至運動補償預測部112及運動補償預測區塊構造選擇部113。

一般的運動向量之偵測方法，係針對從與影像訊號同一位置起移動了所定之移動量的參照影像所相當之影像訊號，算出誤差評價值，將誤差評價值為最小的移動量，當作運動向量。作為誤差評價值，係可利用每一像素的差分絕對值之總和SAD(Sum of Absolute Difference)、或每一像素的平方誤差值的總和SSE(Sum of Square Error)等。甚至，關於運動向量之編碼的編碼量，也可包含在誤差評價值之中。

運動補償預測部112，係依照運動補償預測區塊構造選擇部113所指定的將預測區塊構造加以指定之資訊及參照影像指定資訊、和運動向量偵測部111所輸入的運動向量值，而將解碼影像記憶體110內的參照影像指定資訊所示的參照影像，從與預測區塊的影像訊號同一位置起移動了一運動向量值所示之量的位置的影像訊號加以取得，以生成預測訊號。

被運動補償預測區塊構造選擇部113所指定的預測模式是來自單一參照影像之預測時，則將從1個參照影像所取得之預測訊號，視為運動補償預測訊號，若預測模式是來自2個參照影像的預測時，則將從2個參照影像所取得之預測訊號予以加權平均後的值，視為運動補償預測訊號，將運動補償預測訊號供給至預測模式選擇部116。此處係將雙預測的加權平均之比率，設成1：1。

圖4(a)~(d)係運動補償預測之預測種別的說明圖。將從單一之參照影像進行預測的處理定義為單預測，單預測時係利用稱作L0預測或L1預測之此種參照影像管理清單裡所被登錄的2個參照影像的其中一方，進行預測。

圖4(a)係圖示了單預測且L0預測之參照影像(RefL0Pic)是位於比編碼對象影像(CurPic)還前面之時刻的情形。圖4(b)係圖示了單預測且L0預測之參照影像是位於比編碼對象影像還後面之時刻的情形。同樣地，亦可將圖4(a)及圖4(b)的L0預測之參照影像，置換成L1預測之參照影像(RefL1Pic)而進行單預測。

將從2個參照影像進行預測的處理定義為雙預測，雙預測時係利用L0預測與L1預測之雙方而表現成BI預測。圖4(c)係圖示了雙預測且L0預測之參照影像是位於比編碼對象影像還前面之時刻，且L1預測之參照影像是位於比編碼對象影像還後面之時刻的情形。圖4(d)係圖示了雙預測且L0預測之參照影像與L1預測之參照影像是位於比編碼對象影像還前面之時刻的情形。如此，L0/L1之預測種別與時間的關係，係亦可不限定於L0是過去方向、L1是未來方向而使用之。又，在雙預測時，亦可使用同一參照圖像來分別進行L0預測及L1預測。此外，要將運動補償預測以單預測來進行還是以雙預測來進行的判斷，是根據例如表示是否利用L0預測及是否利用L1預測的資訊(例如旗標)來判斷。

雙預測係必須要對2個參照影像記憶體存取影像資訊，因此相較於單預測，有時候會需要2倍以上的記憶體頻寬。在構成硬體時，運動補償預測之預測區塊尺寸較小時的雙預測，會成為記憶體頻寬的瓶頸，在本發明的實施形態中係抑制記憶體頻寬的瓶頸。

回到圖1，運動補償預測區塊構造選擇部113，係根據運動向量偵測部111所輸入之對各參照影像所測出的運動向量值、和預測模式資訊記憶體119中所儲存之運動資訊(預測種別、運動向量值、及參照影像指定資訊)，而被輸入著由編碼區塊控制參數生成部122所生成的、於實施形態1中所定義之預測區塊尺寸及運動補償預測模式的相關之控制參數，將基於控制參數所決定的、對預測區塊尺寸及運動補償預測模式之各者所分別使用的參照影像指定資訊和運動向量值，設定至運動補償預測部112。藉由所設定的值，使用從運動補償預測部112所供給之運動補償預測訊號、和編碼區塊取得部102所供給之編碼對象區塊的影像訊號，來決定最佳的預測區塊尺寸與運動補償預測模式。

運動補償預測區塊構造選擇部113，係將已決定之預測區塊尺寸、運動補償預測模式、相應於預測模式之預測種別、運動向量、及將參照影像指定資訊加以特定之資訊，連同運動補償預測訊號及對預測誤差之誤差評價值，一起供給至預測模式選擇部116。

畫面內預測部114係依照畫面內預測區塊構造選擇部115所指定的將預測區塊構造予以指定之資訊和所被定義之畫面內預測模式，使用畫格內解碼影像緩衝區108所供給之編碼對象區塊所相鄰之同一畫格內的解碼影像，來生成畫面內預測訊號，並供給至畫面內預測區塊構造選擇部115。

畫面內預測區塊構造選擇部115，係依照預測模式資訊記憶體119中所儲存之畫面內預測模式資訊和複數個已被定義之畫面內預測模式，而被輸入著由編碼區塊控制參數生成部122所生成、實施形態1中所定義之預測區塊尺寸之相關的控制參數，將對基於控制參數而被決定之各個預測區塊尺寸所分別使用的畫面內預測模式，設定至畫面內預測部114。藉由所設定的值，使用從畫面內預測部114所供給之畫面內預測訊號、和編碼區塊取得部102所供給之編碼對象區塊的影像訊號，來決定最佳的預測區塊尺寸與畫面內預測模式。

又，畫面內預測區塊構造選擇部115，係將用來特定已決定之預測區塊尺寸、畫面內預測模式之資訊，連同畫面內預測訊號及對預測誤差之誤差評價值，一起供給至預測模式選擇部116。

預測模式選擇部116，係根據運動補償預測區塊構造選擇部113所供給之已決定之預測區塊尺寸、運動補償預測模式、相應於預測模式之預測種別、運動向量、將參照影像指定資訊加以特定之資訊、及對預測誤差之誤差評價值，和畫面內預測區塊構造選擇部115所供給之已決定之預測區塊尺寸、畫面內預測模式、及對預測誤差之誤差評價值，而將階層式構成的CU尺寸單位的最佳預測模式，比較誤差評價值並選擇之。

作為已被預測模式選擇部116所選擇的CU尺寸單位的最佳預測模式資訊，預測區塊尺寸、預測訊號、誤差評價值的CU尺寸單位之總和，還有，若為運動補償預測已被選擇時則是運動補償預測模式、相應於預測模式之預測種別、運動向量、將參照影像指定資訊加以特定之資訊、及運動補償預測訊號，若為畫面內預測已被選擇時則是畫面內預測模式、及畫面內預測訊號，會被供給至編碼區塊構造選擇部117。

編碼區塊構造選擇部117，係根據預測模式選擇部116所供給之CU尺寸單位的最佳預測模式資訊，而被輸入著由編碼區塊控制參數生成部122所生成、實施形態1中所定義之編碼區塊尺寸的相關之控制參數，在基於控制參數所決定之編碼區塊尺寸構成中選擇最佳的CU_Depth構成，將指定CU分割構成之資訊、和已被指定之每一分割構成的CU尺寸下的最佳之預測模式資訊和關連於預測模式之附加資訊(運動資訊、畫面內預測模式)，供給至區塊構造/預測模式資訊附加資訊編碼部118，並且將已選擇之預測訊號，供給至減算部103及加算部107。

區塊構造/預測模式資訊附加資訊編碼部118，係將編碼區塊構造選擇部117所供給之指定CU分割構成之資訊、和已指定之每一分割構成之CU尺寸下的最佳之預測模式資訊與關連於預測模式之附加資訊，和編碼區塊控制參數生成部122所供給之編碼區塊及預測區塊構造的相關之控制參數，依照所定的語法結構來進行編碼，藉此以將編碼區塊單位的CU分割構成與預測時所使用過的模式資訊，予以編碼，供給至多工化部120，並且將這些資訊，儲存在預測模式資訊記憶體119中。

預測模式資訊記憶體119，係將區塊構造/預測模式資訊附加資訊編碼部118所供給之編碼區塊單位的 CU分割構成與預測時所用之模式資訊，以最小預測區塊尺寸單位為基準而記憶了所定影像之份量。實施形態1係著眼於畫面間之預測亦即運動補償預測，因此對於模式資訊中的關連於運動補償預測之資訊亦即運動資訊(預測種別、運動向量、及參照影像索引)，加以說明。

運動補償預測之處理對象的預測區塊的相鄰區塊之運動資訊，視為空間候補區塊群，將與處理對象之預測區塊位於同一位置的ColPic上的區塊和其周邊區塊的運動資訊，視為時間候補區塊群。

所謂ColPic，係指有別於處理對象之預測區塊的另一已解碼之影像，且在解碼影像記憶體110中當成參照影像而被記憶。在實施形態1中，ColPic係為前一個已解碼之參照影像。此外，雖然在實施形態1中，ColPic係設為前一個已解碼之參照影像，但亦可為顯示順序上前一個參照影像或顯示順序上後一個參照影像，亦可在編碼串流中，直接指定ColPic上所使用的參照影像。

預測模式資訊記憶體119，係將空間候補區塊群和時間候補區塊群的運動資訊，當作候補區塊群的運動資訊而供給至運動補償預測區塊構造選擇部113，並且將畫面內預測區塊的相鄰區塊的畫面內預測模式資訊，供給至畫面內預測區塊構造選擇部115。

多工化部120，係將從預測誤差編碼部105所供給之預測誤差的編碼列、和從區塊構造/預測模式資訊附加資訊編碼部118所供給之編碼區塊單位之CU分割構成和預測時所用之模式資訊及附加資訊的編碼列，進行多工化，以生成編碼位元串流，經由輸出端子121，向記錄媒體、傳輸路等輸出該當編碼位元串流。

編碼區塊控制參數生成部122，係將實施形態1中的定義編碼區塊構造的參數，亦即圖3所示之Maximum_cu_size或Minimum_cu_size等之控制參數、或將運動補償預測之區塊尺寸及預測處理加以限制的控制參數等之用來定義編碼區塊構造或預測區塊構造所需之參數，予以生成，供給至運動補償預測區塊構造選擇部113、畫面內預測區塊構造選擇部115、編碼區塊構造選擇部117、及區塊構造/預測模式資訊附加資訊編碼部118。將運動補償預測之區塊尺寸及預測處理加以限制的控制參數的相關細節，將於後述。

圖1所示的動態影像編碼裝置之構成，係亦可藉由具備CPU(Central Processing Unit)、畫格記憶體、硬碟等的資訊處理裝置等硬體來實現。

圖5係本發明的實施形態1所述之動態影像編碼裝置中的編碼處理之動作流程的流程圖。對每一編碼區塊單位，將CU分割之控制參數亦即CU_Depth予以初期化成0(S500)，藉由編碼區塊取得部102而取得編碼處理對象區塊影像(S501)。運動向量偵測部111，係根據由編碼對象區塊影像相應於CU分割之預測對象的區塊影像與解碼影像記憶體110中所儲存之複數參照影像，而算出相應於CU分割的每一參照影像的運動向量值 (S502)。

接著，運動補償預測區塊構造選擇部113，係使用運動向量偵測部111所供給之運動向量、和預測模式資訊記憶體119中所儲存的運動資訊及畫面內預測模式資訊，而將針對實施形態1中所定義之預測區塊尺寸、運動補償預測模式之各者的預測訊號，使用運動補償預測部112而加以取得，將最佳CU單位之預測區塊尺寸及預測模式的選擇結果，予以輸出。又，畫面內預測區塊構造選擇部115，係將針對預測區塊尺寸、畫面內預測模式之各者的預測訊號，使用畫面內預測部114而加以取得，將最佳CU單位之預測區塊尺寸及預測模式的選擇結果，予以輸出。編碼區塊構造選擇部117，係使用這些結果來生成最佳編碼區塊構造下的預測模式與預測訊號(S503)。步驟S503之處理細節，將於後述。

接著，減算部103，係將編碼區塊取得部102所供給之編碼處理區塊影像與編碼區塊構造選擇部117所供給之預測訊號的差分，當作預測誤差訊號而予以算出(S504)。區塊構造/預測模式資訊附加資訊編碼部118，係將編碼區塊構造選擇部117所供給之編碼結構、預測模式、運動補償預測時的相應於預測模式之預測種別、運動向量、及將參照影像指定資訊加以特定之資訊、畫面內預測時的畫面內預測模式資訊，依照所定的語法結構來進行編碼，生成關連於編碼結構與預測模式資訊的附加資訊的編碼資料(S505)。

接著，預測誤差編碼部105，係將正交轉換‧量化部104所生成之已被量化之預測誤差訊號，進行熵編碼，生成預測誤差的編碼資料(S506)。多工化部120，係將從區塊構造/預測模式資訊附加資訊編碼部118所供給之關連於編碼結構與預測模式資訊的附加資訊的編碼資料、和從預測誤差編碼部105所供給之預測誤差的編碼資料，進行多工化，生成編碼位元串流(S507)。

加算部107，係將逆量化‧逆轉換部106所供給之解碼預測誤差訊號、和編碼區塊構造選擇部117所供給之預測訊號，進行加算，以生成解碼影像訊號(S508)。預測模式資訊記憶體119，作為區塊構造/預測模式資訊附加資訊編碼部118所供給之關連於編碼結構與預測模式資訊的附加資訊，是將運動補償預測被使用時的運動資訊(預測種別、運動向量、及參照影像指定資訊)、和畫面內預測被使用時的畫面內預測模式資訊，以最小的預測區塊尺寸單位而加以儲存(S509)。

藉由加算部107，已被生成之解碼影像訊號係被儲存至畫格內解碼影像緩衝區108中，同時，在迴圈濾波器部109中，實施用來去除失真所需的迴圈濾波器處理(S510)，施行過濾波器之解碼影像訊號係被供給至解碼影像記憶體110而儲存，以後會被使用於進行編碼之編碼影像的運動補償預測處理(S511)。

〔CU單位之預測模式/預測訊號生成處理之細節〕

接著針對圖5之流程圖中的步驟S503亦即CU單位之預測模式/預測訊號生成處理的細節，使用圖6的流程圖來說明。

首先，令已被設定之最大CU尺寸與最小CU尺寸之間的階層數加以表示的值為Max_CU_Depth，判定對象CU的CU_Depth是否小於Max_CU_Depth(S600)。於實施形態1中，是採取圖3所示的CU分割構成，因此Max_CU_Depth=3。

若CU_Depth小於Max_CU_Depth(S600：YES)，則將CU_Depth加算1(S601)，對目前對象CU做4分割而成的下一階層之CU，進行CU單位之預測模式/預測訊號生成處理(S602-S605)。對圖2所示的CU之分割領域，按照分割1領域之處理(S602)、分割2領域之處理(S603)、分割3領域之處理(S604)、分割4領域之處理(S605)的順序，遞迴地進行圖6之流程圖所說明的CU單位之預測模式/預測訊號生成處理。

在各CU分割領域的預測模式算出結果之內，誤差評價值會被積算，算出4個分割CU的誤差評價值總和(S606)。

另一方面，若CU_Depth為Max_CU_Depth以上(S600：NO)，則於圖1的畫面內預測區塊構造選擇部115及畫面內預測部114中，會進行畫面內預測模式的算出與預測訊號的生成(S607)，算出對象CU中的畫面內預測之模式資訊、預測訊號與誤差評價值。

接著，於運動補償預測區塊構造選擇部113及運動補償預測部112中，會進行運動補償預測區塊尺寸之選擇、和已被選擇之預測區塊單位的運動補償預測模式及預測訊號生成(S608)，算出對象CU中的運動補償預測之預測區塊尺寸、模式資訊、運動資訊、預測訊號與誤差評價值。關於步驟S608的細節，將於後述。

接著，編碼區塊構造選擇部117，係將對象CU中的畫面內預測之誤差評價值、與運動補償預測之誤差評價值，進行比較，選擇誤差少的預測手法而進行畫面內/畫面間(運動補償預測)之判定(S609)。

接著，遞迴性施行的圖6之流程圖之處理(圖6的S602-S605)與誤差評價值之總和算出(S606)所生成的針對比對象CU下位階層(CU_Depth較大)之CU的誤差評價值，和對象CU的誤差評價值，進行比較，進行適用於預測的CU_Depth之判定(S610)。

為了遞迴地呼叫圖6之流程圖所示之處理，從最下位(CU_Depth=Max_CU_Depth)之CU對上位之CU，依序進行比較，可選擇CU之每一分割領域的最佳CU_Depth與預測模式。

最後，已被選擇的對象CU與較對象CU下位之CU之間的最佳CU_Depth、預測模式及已被選擇之畫面內預測或運動補償預測的相關之附加資訊，和誤差評價值及預測訊號會被儲存(S611)，結束對象CU中的預測模式/預測訊號生成處理。

〔運動補償預測區塊尺寸選擇/預測訊號生成處理之細節〕

接著針對圖6之流程圖中的步驟S608亦即對象CU中的運動補償預測區塊尺寸選擇、及預測區塊單位之運動補償預測模式/預測訊號生成處理的細節，使用圖7的流程圖來說明。

首先，將對於對象CU而為預測對象的編碼區塊影像，加以取得(S700)。接著，藉由圖3所示之構成，進行每一CU內分割模式的運動補償預測模式/預測訊號生成處理(S701~S705)。

首先，將CU內分割模式為2N×2N時的運動補償預測模式/預測訊號生成處理，把表示分割數的值NumPart設定成1而進行之(S701)。接著，將NumPart設定成2，進行2N×N時(S702)、N×2N時(S703)的運動補償預測模式/預測訊號生成處理。

接著，CU_Depth等於Max_CU_Depth且對象CU尺寸為8×8、後述之inter_4x4_enable旗標為1時(S704：YES)，將NumPart設定成4，進行N×N時的運動補償預測模式/預測訊號生成處理(S705)。步驟S701、S702、S703、S705所實施的運動補償預測模式/預測訊號生成處理的細節，將於後述。若不滿足步驟S704之條件(S704：NO)，則略過步驟S705實施後續的步驟。

在實施形態1中，係以2N×2N(S701)、2N× N(S702)、N×2N(S703)、及N×N(S705)之順序，進行CU內分割時的運動補償預測/預測訊號生成，但關於上記CU分割各個步驟的處理順序，係亦可變更順序而無妨，而在以可平行處理的CPU等來實施處理時，亦可平行地進行S701、S702、S703及S705。

接著，將進行過運動補償預測模式/預測訊號生成的每一CU內分割模式的誤差評價值，進行比較，選擇最佳之CU內分割模式亦即最佳預測區塊尺寸(PU)(S706)。對已被選擇PU的預測模式資訊/誤差評價值/預測訊號會被儲存(S707)，圖6的流程圖中的步驟S608之處理就結束。

〔實施形態1中的運動補償預測模式之定義〕

圖8(a)、(b)係將本發明的實施形態1中的運動補償預測中所使用之運動資訊予以編碼所需的2個預測模式的說明圖。

第一預測模式，係使用預測對象區塊與該當預測對象區塊所相鄰之已編碼區塊的時間方向或空間方向之運動的連續性，該當預測對象區塊係不將自身的運動資訊直接予以編碼，而是將空間及時間上相鄰之區塊的運動資訊使用於編碼的手法，稱作結合預測模式(合併模式)。

此處，所謂空間性相鄰之區塊，係指隸屬於與預測對象區塊相同影像的已編碼區塊之中，相鄰於預測對象區塊的相鄰。此處，所謂時間性相鄰之區塊，係指隸屬於與預測對象區塊不同之已編碼之影像的區塊之中，與預測對象區塊位於同一空間位置及其周邊的區塊。

結合預測模式的情況下，係定義了可根據複數相鄰區塊候補而做選擇性結合的運動資訊，運動資訊係將所使用之相鄰區塊加以指定之資訊(結合運動資訊索引)予以編碼，藉此將根據指定資訊所取得之運動資訊，直接用於運動補償預測。再者，在結合預測模式中，還定義有不會將預測差分資訊予以編碼傳輸，而是將已被結合預測模式所預測之預測訊號視為解碼圖像的Skip模式，僅以結合後之運動資訊的少量資訊，就能再生出解碼影像，具有如此構成。Skip模式係可使用於CU內分割模式是2N×2N的情形，在Skip模式下所傳輸的運動資訊，係和結合預測模式同樣地是將相鄰區塊予以定義的指定資訊。

第二預測模式，係將運動資訊之構成要素個別地全部編碼，將相對於預測區塊而預測誤差較少的運動資訊予以傳輸的手法，稱作運動偵測預測模式。運動偵測預測模式，係和先前的運動補償預測的運動資訊的編碼同樣地，表示是雙預測還是單預測的預測種別、用來特定參照影像的資訊(參照影像索引)、和用來特定運動向量的資訊，是被個別地編碼。

在運動偵測預測模式下，係以預測模式來指示要使用單預測與雙預測之哪一者，若為單預測時則將對 1個參照影像的參照影像加以特定之資訊、和運動向量與預測向量之差分向量，予以編碼。若為雙預測時則將對2個參照影像的參照影像加以特定之資訊、和運動向量，分別予以個別地編碼。對運動向量的預測向量，係和AVC同樣地是從相鄰區塊之運動資訊所生成，但和結合預測模式同樣地，可根據複數相鄰區塊候補而選擇要使用於預測向量的運動向量，運動向量係將使用於預測向量的相鄰區塊加以指定之資訊(預測向量索引)和差分向量這2者加以編碼，藉此而被傳輸。

[實施形態1中的將運動補償預測之區塊尺寸及預測處理加以限制之手法的相關說明]

接著，運動補償預測中的預測時所必須之參照影像記憶體量的相關之概算值示於圖9，說明實施形態1中的預測區塊尺寸與預測處理的限制手法。於運動補償預測中，係藉由將運動的精度變細以促使預測精度提升，若以AVC為例，則可以1/4像素精度來偵測、傳輸運動向量。

在實施形態1中也是，採取以1/4像素精度來偵測、傳輸運動向量之構成，對1/4像素精度之運動，生成運動補償預測訊號之際，將參照影像中所存在的整數運動位置之像素，做複數像素之使用，藉由內插濾波器而算出1/4像素精度的運動位置之參照影像的像素。在實施形態1的動態影像編碼裝置、動態影像解碼裝置中，作為內插濾波器是使用7節的FIR濾波器。

為了實施7節的濾波器，係對最靠近對象位置之水平‧垂直的整數運動位置之像素，必須要取得水平及垂直正負6像素之像素。在預測區塊的右交界部分中取得遠離3/4像素之運動位置之預測影像之際，對最靠近對象位置之整數運動位置之像素，會是屬於預測區塊之1像素外的像素，因此必須要在增加1像素取得之像素，對於預測區塊尺寸，必須要水平及垂直地取得與節數相同的7像素份的濾波器處理所必須之參照影像。

圖9係圖示了，施行7節濾波器時，實施形態1中的圖3所示之運動補償預測之所能定義的各個預測區塊尺寸中，進行單預測及雙預測之際，作為記憶體頻寬而必須要確保的參照影像的記憶體存取量。隨著編碼裝置及解碼裝置的參照影像記憶體之構成，而會有記憶體存取是可以水平4像素單位來進行之構成、或可以水平‧垂直2×2像素單位來進行之構成等，可採取各式各樣之構成，但上記記憶體存取量，係無論參照影像記憶體的構成為何，而圖示了最小限度取得所必須之記憶體存取量的最大值。

無論預測區塊尺寸的大小為何，為了濾波器處理而必須追加且取得的水平‧垂直之尺寸係都不會改變，因此4×4像素尺寸時，編碼區塊尺寸(LCU)單位下的記憶體存取量係為最大，需要將近64×64像素尺寸的6倍之存取。又，雙預測的運動補償預測的情況下，為了從不同位置之參照影像取得2個預測訊號，而必須要有單預測之2倍的記憶體存取。

運動補償預測之區塊尺寸較小的情況，或雙預測之運動補償時所必須確保的記憶體頻寬，係尤其是在進行編碼之影像尺寸很大如高畫質以上的高精細影像的時候會變得更大，而有編碼裝置及解碼裝置難以實現之課題。於本發明中，記憶體頻寬限制所需的、參照影像的記憶體存取最大量是可階段性控制，提供運動補償預測的限制手法與進行限制所需之控制參數的定義及設定手法，可使高精細影像的動態影像編碼裝置之實現性與編碼效率，兩者同時成立。

接著，在圖10中表示本發明的實施形態1的、圖1之編碼區塊控制參數生成部122中所生成的將運動補償預測之區塊尺寸及預測處理加以限制的控制參數之一例，並說明之。

控制參數係由，控制最小運動補償預測區塊尺寸亦即4×4像素之運動補償預測之有效．無效的參數inter_4x4_enable定義了運動補償預測之內僅禁止施行雙預測之預測處理的區塊尺寸的inter_bipred_restriction_idc這2個參數所構成。

若比較圖9之必要的參照影像記憶體量，則從存取量最大的條件起，依序為4×4雙預測、4×8/8×4雙預測、4×4單預測、8×8雙預測、8×16/16×8雙預測、4×8/8×4單預測、16×16雙預測之順序，關於單預測係為，4×4像素的最小預測區塊尺寸以外，存取量會較少。

因此，關於最小預測區塊尺寸，係準備將運動補償預測處理本身予以禁止的控制參數亦即inter_4x4_enable，關於各區塊尺寸，還準備了對雙預測施加限制的inter_bipred_restriction_idc來作為控制參數，就可明示性實現階段性記憶體存取量之控制。

順便一提，關於4×8/8×4單預測，係記憶體存取量比16×16雙預測還多，但對4×8/8×4單預測施加限制的情況下，則必須要對記憶體存取量比其還大的4×4及4×8/8×4雙預測施加限制，此時藉由將最小CU尺寸設定成16×16，可以禁止CU內分割模式為N×N的小於8×8區塊的預測區塊尺寸的運動補償預測全體，因此關於將運動補償預測處理本身予以禁止，係以具有對固定之最小預測區塊尺寸之限制的構成，階段性的記憶體存取量之控制就成為可能。

在進行上記控制時，除了inter_4x4_enable與inter_bipred_restriction_idc以外，還把最小CU尺寸值加以組合，成為進行記憶體存取量之控制的構成。

在實施形態1中，inter_bipred_restriction_idc係如圖10所示般地定義0至5的值，可以控制從對雙預測無限制之狀態，一直到限制16×16區塊以下尺寸的雙預測之狀態，但定義的範圍係為一例，要定義比該值還少或還多的控制值，也可實現成為本發明的實施形態的其他構成。

將控制所定尺寸之運動補償預測全體之無效化的參數、和限制所定尺寸以下之運動補償預測之雙預測的控制參數進行組合，把記憶體存取量的最大值控制成所定範圍內的手法，是本發明的實施形態1的構成。

〔動態影像解碼裝置全體構成〕

圖11係本發明的實施形態1所述之動態影像解碼裝置之構成的圖示。以下，說明各部的動作。實施形態1所述的動態影像解碼裝置，係具備：輸入端子1100、多工分離部1101、預測差分資訊解碼部1102、逆量化‧逆轉換部1103、加算部1104、畫格內解碼影像緩衝區1105、迴圈濾波器部1106、解碼影像記憶體1107、預測模式/區塊構造解碼部1108、預測模式/區塊構造選擇部1109、畫面內預測資訊解碼部1110、運動資訊解碼部1111、預測模式資訊記憶體1112、畫面內預測部1113、運動補償預測部1114、及輸出端子1115。

編碼位元串流係由輸入端子1100而供給至多工分離部1101。多工分離部1101，係將所被供給的編碼位元串流的編碼列分離成：預測誤差訊號的編碼列；和編碼區塊及預測區塊構造的相關之控制參數、編碼區塊單位的CU分割構成與預測時所使用過的模式資訊亦即預測模式、運動補償預測時的相應於預測模式之預測種別、運動向量、及將參照影像指定資訊加以特定之資訊亦即運動資訊、畫面內預測時的畫面內預測模式資訊所構成的編碼列。將該當預測誤差資訊的編碼列供給至預測差分資訊解碼部1102，將控制參數、及該當編碼區塊單位之CU分割構成與預測時所用之模式資訊的編碼列，供給至預測模式/區塊構造解碼部1108。

預測差分資訊解碼部1102，係將多工分離部1101所供給之預測誤差資訊的編碼列予以解碼，生成已被量化之預測誤差訊號。預測差分資訊解碼部1102，係將所生成之已被量化之預測誤差訊號，供給至逆量化‧逆轉換部1103。

逆量化‧逆轉換部1103，係將預測差分資訊解碼部1102所供給之已被量化之預測誤差訊號，進行逆量化或逆正交轉換等之處理而生成預測誤差資訊，將解碼預測誤差訊號供給至加算部1104。

加算部1104，係將逆量化‧逆轉換部1103所供給之解碼預測誤差訊號、和預測模式/區塊構造選擇部1109所供給之預測訊號，進行加算，以生成解碼影像訊號，將解碼影像訊號供給至畫格內解碼影像緩衝區1105及迴圈濾波器部1106。

畫格內解碼影像緩衝區1105，係具有與圖1之動態影像編碼裝置中的畫格內解碼影像緩衝區108相同之機能，向畫面內預測部1113供給同一畫格內的解碼影像訊號來作為畫面內預測之參照影像，同時，將從加算部1104所供給之解碼影像訊號予以儲存。

迴圈濾波器部1106，係具有與圖1之動態影像編碼裝置中的迴圈濾波器部109相同之機能，對加算部 1104所供給之解碼影像訊號，施加失真去除的濾波器，將進行濾波器處理之結果的解碼影像，供給至解碼影像記憶體1107。

解碼影像記憶體1107，係具有和圖1之動態影像編碼裝置中的解碼影像記憶體110相同之機能，將從迴圈濾波器部1106所供給之解碼影像訊號予以儲存，將參照影像訊號供給至運動補償預測部1114。又，解碼影像記憶體1107，係將已儲存之解碼影像訊號配合再生時刻，依照影像的顯示順序而供給至輸出端子1115。

預測模式/區塊構造解碼部1108，係根據多工分離部1101所供給之編碼區塊及預測區塊構造的相關之控制參數，生成圖3所示的定義CU構造的控制參數、或如圖10所示的用來限制運動補償預測之區塊構成及預測處理的控制參數。

又，預測模式/區塊構造解碼部1108，係根據多工分離部1101所供給的該當編碼區塊單位之CU分割構成與預測時所用之模式資訊的編碼列，將編碼區塊單位的CU分割構成與預測時所使用過的模式資訊予以解碼，生成預測區塊尺寸及預測模式，並且將運動補償預測時的相應於預測模式之預測種別、運動向量、及將參照影像指定資訊加以特定之資訊亦即運動資訊、畫面內預測時的畫面內預測模式資訊，加以分離，將該當編碼區塊單位之CU分割構成、和預測模式資訊，供給至預測模式/區塊構造選擇部1109。

預測模式/區塊構造解碼部1108，係若對預測區塊使用了畫面內預測的情況下，則向畫面內預測資訊解碼部1110供給預測區塊尺寸以及畫面內預測模式資訊，若為使用了運動補償預測的情況，則向運動資訊解碼部1111供給預測區塊尺寸、還有運動補償預測模式、以及將符合預測模式的預測方向、運動向量、及參照影像指定資訊予以特定的資訊。

畫面內預測資訊解碼部1110，係將預測模式/區塊構造解碼部1108所供給之預測區塊尺寸、畫面內預測模式資訊，予以解碼，將針對編碼對象區塊的預測區塊構造與各預測區塊中的畫面內預測模式，予以再生。畫面內預測資訊解碼部1110，係將已再生之畫面內預測模式，供給至畫面內預測部1113，並且也對預測模式資訊記憶體1112進行供給。

運動資訊解碼部1111，係將預測模式/區塊構造解碼部1108所供給的預測區塊尺寸、運動補償預測模式、以及將符合預測模式之預測種別、運動向量、及參照影像指定資訊加以特定之資訊，予以解碼來作為運動資訊，根據已解碼之運動資訊、和預測模式資訊記憶體1112所供給之候補區塊群的運動資訊，將運動補償預測中所使用的預測種別、運動向量及參照影像指定資訊，予以再生，供給至運動補償預測部1114。又，運動資訊解碼部1111係將已再生之運動資訊，也對預測模式資訊記憶體1112進行供給。運動資訊解碼部1111之詳細構成，將於後述。

預測模式資訊記憶體1112，係具有與圖1之動態影像編碼裝置中的預測模式資訊記憶體119相同之機能，將運動資訊解碼部1111所供給之已再生之運動資訊、及從畫面內預測資訊解碼部1110所供給之畫面內預測模式，以最小預測區塊尺寸單位為基準而記憶所定影像份。又，預測模式資訊記憶體1112，係將空間候補區塊群和時間候補區塊群的運動資訊，當作候補區塊群的運動資訊而供給至運動資訊解碼部1111，並且將同一畫格內的已解碼相鄰區塊的畫面內預測模式資訊，當作對象預測區塊的模式資訊的預測候補，而供給至畫面內預測資訊解碼部1110。

畫面內預測部1113係具有與圖1之動態影像編碼裝置中的畫面內預測部114相同之機能，依照畫面內預測資訊解碼部1110所供給之畫面內預測模式，由畫格內解碼影像緩衝區1105輸入畫面內預測的參照影像，生成畫面內預測訊號，供給至預測模式/區塊構造選擇部1109。

運動補償預測部1114，係具有與圖1之動態影像編碼裝置中的運動補償預測部112相同之機能，基於運動資訊解碼部1111所供給之運動資訊，將解碼影像記憶體1107內的參照影像指定資訊所示的參照影像，從與預測區塊的影像訊號同一位置起移動了一運動向量值所示之量的位置的影像訊號加以取得，以生成預測訊號。若運動補償預測之預測種別是雙預測，則將各預測種別之預測訊號予以平均而成者加以生成來作為預測訊號，將預測訊號供給至預測模式/區塊構造選擇部1109。

預測模式/區塊構造選擇部1109，係根據預測模式/區塊構造解碼部1108所供給的該當編碼區塊單位之CU分割構成、和預測模式資訊，進行CU分割，隨著已被再生之預測區塊構造單位之預測模式，若為運動補償預測之時，則由運動補償預測部1114輸入運動補償預測訊號，若是畫面內預測時，則由畫面內預測部1113輸入畫面內預測訊號，將已被再生之預測訊號，供給至加算部1104。

輸出端子1115，係將解碼影像記憶體1107所供給之解碼影像訊號，輸出至顯示器等之顯示媒體，藉此，解碼影像訊號係被再生。

圖11所示的動態影像解碼裝置之構成也是，和圖1所示的動態影像編碼裝置之構成同樣地，亦可藉由具備CPU、畫格記憶體、硬碟等的資訊處理裝置等之硬體來實現。

圖12係本發明的實施形態1所述之動態影像解碼裝置中的編碼區塊單位之解碼處理之動作流程的流程圖。首先將CU分割之控制參數亦即CU_Depth予以初期化成0(S1200)，多工分離部1101，係將輸入端子1100所供給之編碼位元串流，分離成預測誤差資訊的編碼列、和該當編碼區塊單位之CU分割構成與預測時所用之模式資訊的編碼列(S1201)。已被分離的編碼區塊單位之預測誤差資訊的編碼列、和該當編碼區塊單位之CU分割構成與預測時所用之模式資訊的編碼列係被供給至預測差分資訊解碼部1102、及預測模式/區塊構造解碼部1108，實施以CU分割構造為基礎的CU單位之解碼處理(S1202)。關於步驟S1202的詳細動作，將於後述。

接著，該當編碼區塊單位之CU分割構成，係在步驟S1202中在預測模式/區塊構造解碼部1108裡被解碼，已被解碼之編碼結構資訊係被儲存在預測模式資訊記憶體1112中(S1203)。

藉由CU單位的解碼處理(S1202)而被解碼的解碼影像訊號，係於迴圈濾波器部1106中被實施迴圈濾波器處理(S1204)，被儲存在解碼影像記憶體1107中(S1205)，結束編碼區塊單位的解碼處理。在實施形態1中，雖然是以編碼區塊單位之處理來施加迴圈濾波器，但施加了迴圈濾波器的解碼影像訊號，係在同一畫格之解碼處理中不被參照，是在後續的畫格的運動補償預測中才會被參照，因此亦可不進行編碼區塊單位的處理，而是在畫格全體的解碼處理完成後，對畫格全體來施行。

〔CU單位之解碼處理的細節〕

接著針對圖12之流程圖中的步驟S1202亦即CU單位之解碼處理的細節，使用圖13的流程圖來說明。

首先，對於已被設定之最大CU尺寸與最小 CU尺寸之間的階層數加以表示的值Max_CU_Depth，判定對象CU的CU_Depth是否較小(S1300)。圖3中的最大CU尺寸及最小CU尺寸的相關之控制參數係會被編碼、傳輸，因此藉由在解碼處理中把控制參數予以解碼，編碼時的Max_CU_Depth就會被解碼。關於定義Max_CU_Depth的編碼資訊之一例，係於後述。

若CU_Depth小於Max_CU_Depth(S1300：YES)，則取得CU分割構成(S1301)。作為一例，1位元的旗標資訊(cu_split_flag)係配合是否分割CU之選擇而被編碼、傳輸，藉由將該旗標資訊予以解碼，就可便是CU是否被分割。

當CU有被分割時(S1302：YES)，為了將CU進行分割而解碼，將CU分割CU_Depth加算1(S1303)而對一階層下的CU進行CU單位之解碼處理(S1304-S1307)，對CU之分割領域以分割1領域之處理(S1304)、分割2領域之處理(S1305)、分割3領域之處理(S1306)、分割4領域之處理(S1307)之順序遞迴地進行圖13的流程圖所說明之處理。

若為CU_Depth為Max_CU_Depth以上之情況(S1300：NO)及CU未被分割之情況下(S1302：NO)，則確定解碼對象的CU之大小，施行相應於已確定之CU內之預測模式的解碼處理。

首先，將用來表示在CU內之預測上是使用畫面內預測、還是使用運動補償預測的資訊，加以取得。 (S1308)。在實施形態1中，以CU單位表示是否為skip模式的skip旗標資訊(skip_flag)、或若CU不是skip模式則表示是否為畫面內預測還是運動補償預測的預測模式旗標資訊(pred_mode_flag)，是在編碼時被當成CU單位的預測模式資訊而編碼，藉由將它們予以解碼，就可取得表示是否為畫面內預測、還是運動補償預測(包含skip模式)的資訊。

接著，若該當CU是畫面內預測時(S1309：YES)，則CU單位的畫面內預測解碼處理，會被圖11的畫面內預測資訊解碼部1110及畫面內預測部1113所進行(S1311)，生成對象CU中的畫面內預測訊號，與解碼誤差訊號進行加算，藉此而生成解碼影像訊號(S1312)，結束CU單位的解碼處理。

若該當CU不是畫面內預測時(S1309：NO)，則CU單位的運動補償預測解碼處理，係被圖11的運動資訊解碼部1111及運動補償預測部1114所進行(S1310)，生成對象CU中的運動補償預測訊號，與解碼誤差訊號進行加算，藉此而生成解碼影像訊號(S1312)，結束CU單位的解碼處理。關於步驟S1310之動作的細節，將於後述。

接著針對圖13之流程圖中的步驟S1310亦即對象CU中的運動補償預測解碼處理之細節，使用圖14的流程圖來說明。首先，將作為表示CU單位之預測模式之資訊而解碼的skip旗標加以取得(S1400)，若skip旗標為1、亦即是skip模式時(S1401：YES)，則CU內的預測區塊分割模式就為2N×2N，NumPart會被設定成1而實施2N×2N預測區塊的預測區塊單位解碼(S1402)。

若skip_flag為0、亦即不是skip模式時(S1401：NO)，則是為CU分割(PU)模式，將編碼時在該當CU上所選擇的運動補償預測區塊尺寸之種別亦即CU內分割模式值，由預測模式資訊加以取得(S1403)，若PU模式是2N×2N時(S1404：YES)，則NumPart會被設定成1而實施2N×2N預測區塊的預測區塊單位解碼(S1402)。

若PU模式不是2N×2N(S1404：NO)，若PU模式是2N×N時(S1405：YES)，則NumPart會被設定成2而實施2N×N預測區塊的預測區塊單位解碼(S1406)。

接著，CU_Depth等於Max_CU_Depth且對象CU尺寸為8×8、後述之inter_4x4_enable旗標為1時(S1407：YES)，則更進一步判定PU模式是否為N×2N(S1409)，若PU模式是N×2N時(S1409：YES)，則NumPart會被設定成2，實施N×2N預測區塊的預測區塊單位解碼(S1408)。

若PU模式不是N×2N時(S1409：NO)，則PU模式係為N×N，將NumPart設定成4，實施N×N預測區塊的預測區塊單位解碼(S1410)。

若不滿足步驟S1407之條件(S1407： NO)，則由於在該當CU中不適用N×N預測區塊，因此NumPart會被設定成2，實施N×2N預測區塊的預測區塊單位解碼(S1408)。步驟S1402、S1406、S1408、S1410所實施的每一PU模式的預測區塊單位解碼處理之細節，將於後述。

在實施形態1中，關於對已解碼之PU模式的預測區塊單位之解碼處理的選擇所需之條件判斷，係如圖14的流程圖所示，是從步驟S1404至S1409依序進行處理，但只要是依照已解碼之PU模式，實施預測區塊單位之解碼處理的構成，則就算用關於條件分歧之順序係為不同的構成，仍可實現之。

實施每一PU模式的預測區塊單位解碼處理後，PU模式及預測區塊單位的運動資訊等之模式資訊，是被儲存在圖11的預測模式資訊記憶體1112(S1411)，結束對該當CU的運動補償預測解碼處理。

〔實施形態1的詳細機能說明〕

接著，本發明的實施形態1所述之動態影像編碼裝置的運動補償預測區塊構造選擇部113之動作，圖7的流程圖中的步驟S701、S702、S703、S705之處理的詳細動作，說明如下。

〔實施形態1中的動態影像編碼裝置中的運動補償預測區塊構造選擇部的詳細動作說明〕

圖15係實施形態1的動態影像編碼裝置中的運動補償預測區塊構造選擇部113之詳細構成的圖示。運動補償預測區塊構造選擇部113，係具有決定最佳運動補償預測模式及預測區塊構造的機能。

運動補償預測區塊構造選擇部113，係含有：運動補償預測生成部1500、預測誤差算出部1501、預測向量算出部1502、差分向量算出部1503、運動資訊編碼量算出部1504、預測模式/區塊構造評價部1505、結合運動資訊算出部1506、結合運動資訊單預測轉換部1507、及結合運動補償預測生成部1508。

對圖1中的運動補償預測區塊構造選擇部113，運動向量偵測部111所輸入之運動向量值，係被供給至運動補償預測生成部1500，預測模式資訊記憶體119所輸入之運動資訊，係被供給至預測向量算出部1502、及結合運動資訊算出部1506。

又，對運動補償預測部112，從運動補償預測生成部1500、及結合運動補償預測生成部1508，會輸出運動補償預測時所使用的參照影像指定資訊與運動向量，由運動補償預測部112，已被生成之運動補償預測影像係被供給至預測誤差算出部1501。預測誤差算出部1501係還會由編碼區塊取得部102供給著，身為編碼對象之預測區塊的影像訊號。

又，從預測模式/區塊構造評價部1505，對預測模式選擇部116係供給著：預測區塊構造、進行編碼的運動資訊與已確定之預測模式資訊、及運動補償預測訊號。

運動補償預測生成部1500，係於各預測區塊構造中，將針對預測時所能使用之各參照影像所算出的運動向量值予以接收，依照圖10所示的雙預測限制資訊來進行運動補償預測，將參照影像指定資訊供給至預測向量算出部1502，將參照影像指定資訊與運動向量予以輸出。

預測誤差算出部1501，係根據所被輸入的運動補償預測影像與處理對象之預測區塊影像，算出預測誤差評價值。作為用來算出誤差評價值的演算，係和運動向量偵測時的誤差評價值同樣地，可使用每一像素的差分絕對值之總和SAD、或每一像素的平方誤差值之總和SSE等。甚至，還考慮在進行預測殘差之編碼之際所施行的、進行正交轉換、量化而在解碼影像中所產生的失真成分的量，藉此可算出更正確的誤差評價值。此種情況下，藉由在預測誤差算出部1501內具有圖1的減算部103、正交轉換‧量化部104、逆量化‧逆轉換部106、加算部107之機能，就可加以實現。

預測誤差算出部1501，係將各預測模式及各預測區塊構造下所算出的預測誤差評價值、和運動補償預測訊號，供給至預測模式/區塊構造評價部1505。

預測向量算出部1502，係被從運動補償預測生成部1500供給著參照影像指定資訊，根據從預測模式資訊記憶體119所供給的相鄰區塊之運動資訊中的候補區塊群，輸入針對已被指定之參照影像的運動向量值，將複數預測向量連同預測向量候補清單一併加以生成，向差分向量算出部1503，連同參照影像指定資訊一併加以供給。預測向量算出部1502，係作成預測向量之候補，當作預測向量候補而加以登錄。

差分向量算出部1503，係對預測向量算出部1502所供給的預測向量候補之每一者，計算與從運動補償預測生成部1500所供給之運動向量值的差分，算出差分向量值。在將已被算出之差分向量值與對預測向量候補的指定資訊亦即預測向量索引予以編碼之際，編碼量會是最少。差分向量算出部1503，係將對於資訊量最少的預測向量的預測向量索引與差分向量值，連同參照影像指定資訊，一起供給至運動資訊編碼量算出部1504。

運動資訊編碼量算出部1504，係根據由差分向量算出部1503所供給之差分向量值、參照影像指定資訊、預測向量索引、及預測模式，而算出各預測區塊構造及各預測模式下的運動資訊所需之編碼量。又，運動資訊編碼量算出部1504，係從結合運動補償預測生成部1508，收取在結合預測模式下有必要傳輸的結合運動資訊索引和用來表示預測模式的資訊，算出結合預測模式下的運動資訊所需之編碼量。

運動資訊編碼量算出部1504，係將各預測區塊構造及各預測模式下所算出之運動資訊及運動資訊所需編碼量，供給至預測模式/區塊構造評價部1505。

預測模式/區塊構造評價部1505，係使用預測誤差算出部1501所供給之各預測模式的預測誤差評價值、和從運動資訊編碼量算出部1504所供給之各預測模式的運動資訊編碼量，算出各預測模式的綜合運動補償預測誤差評價值，選擇最少之評價值的預測模式及預測區塊尺寸，將已選擇之預測模式、預測區塊尺寸與對已選擇之預測模式的運動資訊，輸出至預測模式選擇部116。又，預測模式/區塊構造評價部1505係同樣地，對預測誤差算出部1501所供給之運動補償預測訊號，將已選擇之預測模式、預測區塊尺寸下的預測訊號予以選擇，然後輸出至預測模式選擇部116。

結合運動資訊算出部1506，係使用預測模式資訊記憶體119所供給的相鄰區塊之運動資訊中的候補區塊群，由表示單預測還是雙預測的預測種別、參照影像指定資訊、運動向量值構成運動資訊，將複數運動資訊連同結合運動資訊候補清單一併加以生成，供給至結合運動資訊單預測轉換部1507。

圖16係圖示結合運動資訊算出部1506之構成。結合運動資訊算出部1506係含有：空間結合運動資訊候補清單生成部1600、結合運動資訊候補清單刪除部1601、時間結合運動資訊候補清單生成部1602、第1結合運動資訊候補清單追加部1603及第2結合運動資訊候補清單追加部1604。結合運動資訊算出部1506，係根據空間性相鄰之候補區塊群而以所定順序來作成運動資訊之候補，從其中刪除了帶有相同運動資訊的候補之後，追加根據時間性相鄰之候補區塊群所作成之運動資訊之候補，藉此僅將有效之運動資訊，登錄成為結合運動資訊候補。將該時間結合運動資訊候補清單生成部配置在結合運動資訊候補清單刪除部後段這點，是本實施形態的特徵性構成，將時間結合運動資訊候補排除在刪除相同運動資訊之處理對象之外，藉此就可不降低編碼效率就能削減演算量。關於結合運動資訊算出部1506的詳細動作，將於後述。

回到圖15，結合運動資訊單預測轉換部1507係對結合運動資訊算出部1506所供給之結合運動資訊候補清單及候補清單中所被登錄的運動資訊，按照圖10所示的雙預測限制資訊，將預測種別是雙預測的運動資訊，轉換成單預測的運動資訊，供給至結合運動補償預測生成部1508。

結合運動補償預測生成部1508，係藉由結合運動資訊單預測轉換部1507所供給之結合運動資訊候補清單，對於已被登錄之結合運動資訊候補的每一者，在運動補償預測部112中根據運動資訊，隨應於預測種別而指定1個參照影像(單預測)或不同的2個參照影像(雙預測)之參照影像指定資訊與運動向量值，生成運動補償預測影像，並且將各個結合運動資訊索引，供給至運動資訊編碼量算出部1504。

在圖15的構成中，各個結合運動資訊索引的預測模式評價，係在預測模式/區塊構造評價部1505中實施，但亦可採取以下構成：預測誤差評價值及運動資訊編碼量是從預測誤差算出部1501及運動資訊編碼量算出部1504收取，在結合運動補償預測生成部1508內，確定了最佳之結合運動補償預測的結合運動索引後，進行包含其他預測模式的最佳預測模式之評價。

圖17係圖7的流程圖中的步驟S701、S702、S703、S705步驟的運動補償預測模式/預測訊號生成處理之詳細動作的說明用流程圖。此動作係圖示了圖15的運動補償預測區塊構造選擇部113中的詳細動作。

首先，基於依照已被定義之CU內的預測區塊尺寸分割模式(PU)而被設定的NumPart，對於對象CU內進行PU分割而成的每一預測區塊尺寸(S1700)，執行步驟S1701至步驟S1708的步驟(S1709)。首先，進行結合運動資訊候補清單生成(S1701)。

接著，若預測區塊尺寸是被圖10所示之用來限制雙預測的控制參數inter_bipred_restriction_idc所設定之用來限制雙預測之預測區塊尺寸亦即bipred_restriction_size以下時(S1702：YES)，則在所被生成之結合運動資訊候補清單內將各候補的雙預測之運動資訊置換成單預測的運動資訊，進行結合運動資訊候補單預測轉換(S1703)。若預測區塊尺寸並非bipred_restriction_size以下(S1702：NO)，則前進至後續的步驟S1704。

接著，以已被生成或置換過的結合運動資訊候補清單的運動資訊為基礎，生成結合預測模式評價值(S1704)。接著，生成預測模式評價值(S1705)，藉由和已生成之評價值做比較，以選擇最佳的預測模式(S1706)。可是，步驟S1704及S1705的評價值生成順序係不限定於此。

依照所被選擇之預測模式而輸出預測訊號(S1707)，依照所被選擇之預測模式而輸出運動資訊(S1708)，藉此就結束預測區塊單位的運動補償預測模式/預測訊號生成處理。關於步驟S1701、S1703、S1704及S1705的詳細動作，將於後述。

圖18係圖17的步驟S1701的結合運動資訊候補清單生成的詳細動作的說明用流程圖。此動作係圖示了圖15的結合運動資訊算出部1506中之構成的詳細動作。

圖16的空間結合運動資訊候補清單生成部1600，係根據預測模式資訊記憶體119所供給之空間候補區塊群的領域外的候補區塊、或除了屬於畫面內模式之候補區塊以外的候補區塊，而生成空間結合運動資訊候補清單(S1800)。空間結合運動資訊候補清單生成的詳細動作，將於後述。

接著，結合運動資訊候補清單刪除部1601中，從已被生成之空間結合運動資訊候補清單，將帶有相同運動資訊的結合運動資訊候補予以刪除而更新運動資訊候補清單(S1801)。結合運動資訊候補刪除之詳細動作，將於後述。

時間結合運動資訊候補清單生成部1602係接著根據預測模式資訊記憶體119所供給之時間候補區塊群的領域外的候補區塊、或除了屬於畫面內模式之候補區塊以外的候補區塊，生成時間結合運動資訊候補清單(S1802)，與時間結合運動資訊候補清單做結合而成為結合運動資訊候補清單。時間結合運動資訊候補清單生成的詳細動作，將於後述。

接著，第1結合運動資訊候補清單追加部1603係根據時間結合運動資訊候補清單生成部1602所生成的已被登錄在結合運動資訊候補清單中的結合運動資訊候補，來生成0個至2個第1結合運動資訊候補然後追加至結合運動資訊候補清單(S1803)，將該當結合運動資訊候補清單，供給至第2結合運動資訊候補清單追加部1604。第1結合運動資訊候補清單追加的詳細動作，將於後述。

接著，第2結合運動資訊候補清單追加部1604，係生成不依存於第1結合運動資訊候補清單追加部1603所供給之結合運動資訊候補清單的0個至4個第2結合運動資訊候補，追加至第1結合運動資訊候補清單追加部1603所供給之結合運動資訊候補清單(S1804)，結束處理。第2結合運動資訊候補清單追加的詳細動作，將於後述。

藉由預測模式資訊記憶體119而被供給至結合運動資訊算出部1506的運動資訊的候補區塊群中，係含有空間候補區塊群和時間候補區塊群。首先說明空間結合運動資訊候補清單生成。

圖19係空間結合運動資訊候補清單生成時所使用的空間候補區塊群的圖示。空間候補區塊群，係表示編碼對象影像之預測對象區塊所相鄰的同一影像之區塊。區塊群，其管理是以最小預測區塊尺寸單位來進行，候補區塊的位置，係以最小預測區塊尺寸之單位來管理，但若相鄰區塊之預測區塊尺寸是大於最小預測區塊尺寸時，則對預測區塊尺寸內的所有候補區塊會儲存相同的運動資訊。在實施形態1中，係在相鄰的區塊群之內，將如圖19所示的區塊A0、區塊A1、區塊B0、區塊B1、區塊B2的5區塊，視為空間候補區塊群。

圖20係空間結合運動資訊候補清單生成之詳細動作的說明用流程圖。空間候補區塊群中所含的5個候補區塊當中，針對區塊A0、區塊A1、區塊B0、區塊B1、區塊B2，以區塊A1、區塊B1、區塊B0、區塊A0之順序，重複進行以下處理(S2000~S2003)。

首先檢查候補區塊的有效性(S2001)。若候補區塊既非領域外也非畫面內模式，則候補區塊係為有效。若候補區塊是有效(S2001：YES)，則將候補區塊之運動資訊，追加至空間結合運動資訊候補清單 (S2002)。

接續於步驟S2000至步驟S2003的重複處理，若已被追加至空間結合運動資訊候補清單的候補數未滿4(S2004：YES)，則檢查候補區塊B2的有效性(S2005)。若區塊B2非領域外也非畫面內模式(S2005：YES)，則將區塊B2之運動資訊追加至空間結合運動資訊候補清單中(S2006)。

此處係假設空間結合運動資訊候補清單中是含有4筆以下的候補區塊之運動資訊，但空間候補區塊群係只要是相鄰於處理對象之預測區塊的至少1個以上的已處理之區塊，且會隨著候補區塊之有效性而改變空間結合運動資訊候補清單之數目即可，並非限定於此。

圖21係結合運動資訊候補刪除之詳細動作的說明用流程圖。藉由空間結合運動資訊候補清單作成處理，若令所生成之結合運動資訊候補的最大數為MaxSpatialCand，則對從i=MaxSpatialCand-1至i>0為止的結合運動資訊候補(候補(i))，重複進行以下之處理(S2100~S2106)。

若候補(i)存在(S2101的YES)，則對ii=i-1至ii>=0為止的結合運動資訊候補(候補(ii))，重複進行以下之處理(S2102~S2105)，若候補(i)不存在(S2101的NO)則略過步驟S2102至S2105的針對候補(ii)的重複處理。

首先，檢查候補(i)的運動資訊(運動資訊 (i))和候補(ii)的運動資訊(運動資訊(ii))是否為相同(S2103)，若為相同(S2103的YES)，則將候補(i)從結合運動資訊候補清單中刪除(S2104)，結束針對候補(ii)的重複處理。

若運動資訊(i)與運動資訊(ii)並非相同(S2103的NO)，則從ii減去1，重複針對候補(ii)的處理(S2102~S2105)。

接續於步驟S2100至步驟S2105的重複處理，從i減去1，重複針對候補(i)的處理(S2100~S2106)。

圖22係圖示結合運動資訊候補為4個時的清單中的候補的比較關係。亦即，針對不含時間結合運動資訊候補的4個空間結合運動資訊候補，進行循環比較以判定同一性，刪除重複的候補。

此處，結合預測模式係使用時間方向或空間方向的運動的連續性，預測對象區塊係不將自身的運動資訊直接予以編碼，而是將空間及時間上相鄰之區塊的運動資訊使用於編碼的手法，但相對於空間結合運動資訊候補是基於空間方向之連續性的方法，時間結合運動資訊候補係以基於時間方向之連續性的後述之方法所生成，它們的性質係為不同。因此時間結合運動資訊候補與空間結合運動資訊候補中含有同一運動資訊是很少見的，即使將時間結合運動資訊候補排除在用來刪除同一運動資訊所需的結合運動資訊候補刪除處理的對象之外，最終獲得之結合運動資訊候補清單中含有同一運動資訊仍是很少見的。

又，如後述，時間結合運動資訊候補區塊係以大於最小預測區塊的尺寸亦即最小時間預測區塊單位而被管理，因此當時間性相鄰之預測區塊的大小是小於最小時間預測區塊時，則從原本位置錯開之位置的運動資訊會被使用，其結果為，經常造成運動資訊中含有誤差。因此，會有很多與空間結合運動資訊候補之運動資訊不同的運動資訊，即使排除在用來刪除相同運動資訊所需的結合運動資訊候補刪除處理的對象之外，影響仍很少。

圖23係空間結合運動資訊候補之最大數為4之情況下的結合運動資訊候補刪除時的候補之比較內容之一例。圖23(a)係僅將空間結合運動資訊候補視為結合運動資訊候補刪除處理之對象時的比較內容，圖23(b)係將空間結合運動資訊候補與時間結合運動資訊視為處理對象時的比較內容。藉由僅將空間結合運動資訊候補視為結合運動資訊候補刪除處理之對象，可使運動資訊比較次數，從10次減少為6次。

如此，藉由不把時間結合運動資訊候補當作結合運動資訊候補刪除處理之對象，就可適切地刪除相同的運動資訊，同時將運動資訊的比較次數，從10次削減到6次。

又，不比較所有空間預測候補的同一性，而是僅進行空間位置相近之候補間彼此的比較，藉此亦可削減結合運動資訊候補刪除處理的次數。具體而言，從圖 19之B1位置所算出之結合運動資訊係與A1位置的結合運動資訊進行比較，從B0位置所算出之結合運動資訊係僅和B1位置的結合運動資訊進行比較，從A0位置所算出之結合運動資訊係僅和A1比較，從B2位置所算出之結合運動資訊係僅和A1、B1比較，藉此可將運動資訊的比較次數，限制成最多5次。

如上記僅對特定之空間預測候補進行結合運動資訊的同一比較時，在空間結合運動資訊候補清單生成中(S1800)，就進行了結合運動資訊候補刪除處理(S1801)，同一結合運動資訊不慎殘留而導致編碼效率降低的影響會較少。亦即，在空間結合運動資訊候補清單生成時進行結合運動資訊的同一比較，藉此可以不必追加多餘的結合運動資訊，所以當把圖20的步驟S2004的最大空間預測候補數限制成4個的時候，可提高從B2位置所算出之結合運動資訊被追加的可能性的緣故。

接著說明時間結合運動資訊候補清單生成。圖24係時間結合運動資訊候補清單生成時所使用的時間方向周邊預測區塊之定義的說明圖。時間候補區塊群係表示，與預測對象區塊所屬影像不同之已解碼之影像ColPic中所屬的區塊之中，位於與預測對象區塊相同位置及其周邊的區塊。區塊群，其管理是以最小時間預測區塊尺寸單位來進行，候補區塊的位置，係以最小時間預測區塊尺寸之單位來管理。於本發明的實施形態1中，最小時間預測區塊尺寸係為，將最小預測區塊尺寸往垂直方向、水平方向分別放大2倍之大小。若時間性相鄰之區塊的預測區塊的尺寸是大於最小時間預測區塊尺寸時，則預測區塊尺寸內的所有候補區塊中會儲存相同的運動資訊。另一方面，若預測區塊的尺寸小於最小時間預測區塊尺寸時，則將時間方向周邊預測區塊的左上位置之預測區塊的運動之資訊，當作時間方向周邊預測區塊之資訊。圖24(b)圖示了預測區塊尺寸小於最小時間預測區塊尺寸時的時間方向周邊預測區塊的運動資訊。

圖24(a)中的A1~A4、B1~B4、C、D、E、F1~F4、G1~G4、H、I1~I16之位置的區塊，係為時間上相鄰的區塊群。在實施形態1中，係在這些時間上相鄰的區塊群之內，令時間候補區塊群為區塊H和區塊I6這2個區塊。

圖25係時間結合運動資訊候補清單生成之詳細動作的說明用流程圖。針對時間候補區塊群裡所含的2個候補區塊亦即區塊H和區塊I11(S2500、S2505)，係以區塊H、區塊I11之順序，檢查候補區塊的有效性(S2501)。若候補區塊為有效(S2501：YES)，則會進行步驟S2502~步驟S2504之處理，已被生成之運動資訊會被登錄至時間結合運動資訊候補清單中，結束處理。當候補區塊是表示畫面領域外之位置時、或候補區塊是畫面內預測區塊時(S2501：NO)，候補區塊並非有效，進行下個候補區塊的有效/無效判定。

若候補區塊為有效(S2501：YES)，則根據候補區塊之運動資訊來確定要登錄至結合運動資訊候補的參照影像選擇候補(S2502)。在實施形態1中係將L0預測之參照影像，設成L0預測之參照影像當中距離處理對象影像最近的參照影像，將L1預測之參照影像，設成L1預測之參照影像當中距離處理對象影像最近的參照影像。

此處的參照影像選擇候補的確定手法，係只要能決定L0預測之參照影像與L1預測之參照影像即可，並非限定於此。編碼處理與解碼處理以同一手法來確定參照影像，藉此可確定編碼時所意圖之參照影像。作為其他確定手法，係可使用例如，例如將L0預測之參照影像及L1預測之參照影像的參照影像索引為0的參照影像加以選擇的手法，或將空間相鄰區塊所使用之L0參照影像及L1參照影像加以選擇的手法，或在編碼串流中指定各預測種別之參照影像的手法。

接著，根據候補區塊之運動資訊來確定要登錄至結合運動資訊候補的運動向量值(S2503)。實施形態1中的時間結合運動資訊，係根據候補區塊之運動資訊且為有效之預測種別的運動向量值，算出雙預測的運動資訊。候補區塊的預測種別為L0預測或L1預測的單預測時，係選擇被使用於預測之預測種別(L0預測或L1預測)的運動資訊，將該參照影像指定資訊與運動向量值，當作雙預測運動資訊生成的基準值。

候補區塊的預測種別為雙預測時，係將L0預測或L1預測之其中一方的運動資訊，選擇來作為基準值。基準值的選擇方法，係可舉例如，選擇與ColPic相同預測種別上存在的運動資訊，在候補區塊的L0預測、L1預測之各個參照影像中選擇與ColPic之影像間距離較近者，或是在編碼側做選擇然後以語法來明示性地傳輸等等。

若雙預測運動資訊生成基準的運動向量值已確定，則會算出要登錄至結合運動資訊候補的運動向量值。

圖26係相對於對時間結合運動資訊的基準運動向量值ColMv，對L0預測、L1預測而登錄之運動向量值mvL0t、mvL1t的算出手法的說明圖。

將對基準運動向量值ColMv之ColPic與作為候補區塊之基準的運動向量之對象的參照影像之間的影像間距離，令作ColDist。將L0預測、L1預測之各參照影像與處理對象影像之間的影像間距離，令作CurrL0Dist、CurrL1Dist。將ColMv以ColDist與CurrL0Dist、CurrL1Dist之距離比率進行了比例縮放而成的運動向量，分別視為要進行登錄的運動向量。具體而言，進行登錄的運動向量值mvL0t、mvL1t，係以下記式1、2予以算出。

mvL0t=mvCol×CurrL0Dist/ColDist‧‧‧(式1)

mvL1t=mvCol×CurrL1Dist/ColDist‧‧‧(式2)

回到圖25，將如此所生成的雙預測之參照影像選擇資訊(索引)和運動向量值，追加至結合運動資訊候補(S2504)，時間結合運動資訊候補清單作成處理係結束。

接著說明第1結合運動資訊候補清單追加部1603的詳細動作。圖27係第1結合運動資訊候補清單追加部1603之動作的說明用流程圖。首先，根據時間結合運動資訊候補清單生成部1602所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與結合運動資訊候補最大數(MaxNumMergeCand)，將生成第1追加結合運動資訊候補的最大數MaxNumGenCand，由式3予以算出(S2700)。

MaxNumGenCand=MaxNumMergeCand-NumCandList；(NumCandList>1)MaxNumGenCand=0；(NumCandList<=1) (式3)

接著，檢查MaxNumGenCand是否大於0(S2701)。若MaxNumGenCand並非大於0(S2701：NO)，則結束處理。若MaxNumGenCand大於0(S2701：YES)，則進行以下處理。首先，決定組合檢查次數loopTimes。loopTimes係設定成NumCandList×NumCandList。但是，loopTimes超過8時則loopTimes係限制成8(S2702)。此處，loopTimes係為0至7的整數。重複進行以下的處理loopTimes次(S2702至S2708)。

決定結合運動資訊候補M與結合運動資訊候補N之組合(S2703)。此處，說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係。

圖28係用來說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係的圖。如圖28所示，M與N是不同值，首先將M固定成0而令N的值在1~4(最大值係為NumCandList)中做變化，其後，將N的值固定成0而令M的值在1~4(最大值係為NumCandList)中做變化。此種組合定義係具有以下效果：將被選擇的機率最高的運動資訊亦即結合運動資訊候補清單內最初的運動資訊做有效活用，同時實際上不帶有組合表而藉由計算就可算出組合模態。

檢查是否為結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S2704)。若結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S2704：YES)，則將結合運動資訊候補M的L0預測之運動向量與參照影像與結合運動資訊候補N的L1預測之運動向量與參照影像進行組合，而生成雙結合運動資訊候補(S2705)。若並非結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S2704：NO)，則處理下個組合。此處，作為第1追加結合運動資訊候補，是有L0預測之運動資訊與L1預測是相同的情形，即使以雙預測進行運動補償，仍會獲得和L0預測或是L1預測之單預測相同的結果，因此L0預測之運動資訊與L1預測之運動資訊為相同的追加結合運動資訊候補生成，係成為運動補償預測的演算量增加的主因。因此，通常係比較L0預測之運動資訊與L1預測之運動資訊是否相同，只有在不同的時候，當作是第1追加結合運動資訊候補。

接續於步驟S2705，將雙結合運動資訊候補追加至結合運動資訊候補清單(S2706)。接續於步驟S2706之後，檢查已生成之雙結合運動資訊的數目是否為MaxNumGenCand(S2707)。若已被生成之雙結合運動資訊的數目是MaxNumGenCand(S2707的YES)，則結束處理。若已被生成之雙結合運動資訊的數目不是MaxNumGenCand(S2707的NO)，則處理下個組合。

此處，第1追加結合運動資訊候補，係當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有微妙的偏差時，將已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊予以修正而生成有效的結合運動資訊候補，藉此就可提高編碼效率。

接著說明第2結合運動資訊候補清單追加部1604的詳細動作。圖29係第2結合運動資訊候補清單追加部1604之動作的說明用流程圖。首先，根據第1結合運動資訊候補清單追加部1603所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與結合運動資訊候補最大數(MaxNumMergeCand)，將生成第1追加結合運動資訊候補的最大數MaxNumGenCand，由式4予以算出(S2900)。

MaxNumGenCand=MaxNumMergeCand-NumCandList； (式4)

接著，將以下的處理，針對i重複進行 MaxNumGenCand次(S2901至S2905)。此處，i係為0至MaxNumGenCand-1的整數。生成L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的預測種別為雙預測的第2追加結合運動資訊候補(S2902)。將第2追加結合運動資訊候補追加至結合運動資訊候補清單(S2903)。處理下個i(S2904)。

此處，將第2追加結合運動資訊候補設成，L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的預測種別為雙預測的結合運動資訊候補。這是因為，在一般的動態影像中，L0預測之運動向量與L1預測之運動向量為(0,0)的結合運動資訊候補的發生頻率在統計上較高的緣故。不依存於已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊，只要是統計上利用頻率較高的結合運動資訊候補即可，並非限定於此。例如，L0預測或L1預測之運動向量係亦可分別是(0,0)以外的向量值，亦可設定成L0預測與L1預測的參照索引不同。又，亦可將第2追加結合運動資訊候補，當成已編碼之影像或已編碼之影像之一部分的發生頻率較高的運動資訊，編碼在編碼串流中加以傳輸而設定。此外，此處雖然說明B圖像(B切片)，但若為P圖像(P切片)的情況，係以L0預測之運動向量為(0,0)，生成預測種別為L0預測的第2追加結合運動資訊候補。

此處，作為第2追加結合運動資訊候補，若L0預測之參照影像與L1預測之參照影像是相同，則和第1追加結合運動資訊候補清單生成部同樣地，即使以雙預測進行運動補償，仍會獲得和L0預測或是L1預測之單預測相同的結果，因此L0預測之參照影像與L1預測之參照影像是相同的追加結合運動資訊候補生成，係成為運動補償預測的演算量增加的主因。可是，在本發明的實施形態中係以後述的運動補償部統一進行將雙預測轉換成單預測的處理，因此第2追加結合運動資訊候補清單追加部中的L0預測之運動資訊與L1預測之運動資訊的同一性判斷就可不必進行而可削減演算量。

此處，藉由設定不依存於被當成第2追加結合運動資訊候補而登錄在結合運動資訊候補清單中之結合運動資訊候補的結合運動資訊候補，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補為0個時，就可利用結合預測模式，可提升編碼效率。又，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有所不同的情況下，藉由生成新的結合運動資訊候補來擴展選項的幅度，就可提升編碼效率。

圖30係圖17的步驟S1703中的結合運動資訊候補單預測轉換處理之詳細動作的說明用流程圖。首先，藉由結合運動資訊候補清單生成處理，將已被生成之結合運動資訊候補清單的數目令作num_of_index，則對i =0至num_of_index-1為止的結合運動資訊候補，重複進行以下之處理(S3000至S3005)。

首先，由結合運動資訊候補清單，取得被儲存在索引i的運動資訊(S3001)。接著，若運動資訊的預測種別是單預測(S3002：YES)，則直接結束對索引i中所儲存之運動資訊的處理，前進至下個索引(S3005)。

若運動資訊並非單預測，亦即若運動資訊是雙預測時(S3002：NO)，則為了將雙預測之運動資訊轉換成單預測，將索引i中所儲存之運動資訊的L1資訊設成無效(S3003)。在實施形態1中，係藉由如此把L1資訊設成無效以促使雙預測之運動資訊被轉換成L0預測之單預測，但亦可反之把L0資訊設成無效，促使雙預測之運動資訊被轉換成L1預測之單預測，可藉由定義在轉換成單預測之際默認性設成無效之預測種別來實現之。

接著，將轉換成單預測的索引i的運動資訊予以儲存(S3004)，前進至下個索引(S3005)。針對i=0至num_of_index-1的結合運動資訊候補進行處理，結束結合運動資訊候補單預測轉換處理。

在實施形態1中，預測區塊尺寸所致之結合運動資訊的雙預測限制，係一旦生成了結合運動資訊候補清單之後，進行圖30的流程圖所示的結合運動資訊候補的單預測轉換處理。關於結合運動資訊的單預測轉換處理，係在結合運動資訊候補生成處理的圖18之流程圖所示的處理之內部，增加對每一候補生成的判斷，亦可生成單預測之結合運動資訊候補清單，但此情況下，預測區塊尺寸所致之條件判斷會放入各處理，導致處理變得複雜，增大清單建構處理的負荷。在實施形態1中，係藉由一度建構出清單之後實施運動資訊往單預測的運動資訊轉換處理，就可實現不會造成清單建構處理負荷增大的雙預測之限制處理，具有如此效果。

圖31係圖11的步驟S1702中的結合預測模式評價值生成處理之詳細動作的說明用流程圖。此動作係圖示了，使用圖15的結合運動補償預測生成部1508之構成的詳細動作。

首先將預測誤差評價值設定成最大值，將預測誤差為最小的結合運動資訊索引予以初期化(例如-1等之清單外的值)(S3100)。藉由結合運動資訊候補清單生成處理，將已被生成之結合運動資訊候補清單的數目令作num_of_index，則對i=0至num_of_index-1為止的結合運動資訊候補，重複進行以下之處理(S3101至S3109)。

首先，由結合運動資訊候補清單，取得被儲存在索引i的運動資訊(S3102)。接著算出運動資訊編碼量(S3103)。於結合預測模式中，由於只有結合運動資訊索引被編碼，因此只有結合運動資訊索引會成為運動資訊編碼量。

作為結合運動資訊索引的編碼列，在實施形態1中係使用Truncated Unary編碼列。圖32係結合運動資訊候補數為5時的Truncated Unary編碼列的圖示。使用Truncated Unary編碼列將結合運動資訊索引之值予以編碼時，係結合運動資訊索引越小，被指派給結合運動資訊索引的編碼位元會越小。例如，當結合運動資訊候補數為5個時，若結合運動資訊索引為1則以‘10’之2位元來表現，但若結合運動資訊索引為3則以‘1110’之4位元來表現。此外，此處如上記，雖然是在結合運動資訊索引的編碼時利用Truncated Unary編碼列，但亦可使用其他編碼列生成手法，並非限定於此。

接著，若運動資訊的預測種別是單預測(S3104：YES)，則將對1個參照影像的參照影像指定資訊與運動向量，在圖1中的運動補償預測部112中做設定，生成運動補償單預測區塊(S3105)。若運動資訊並非單預測，亦即運動資訊是雙預測時(S3104：NO)，則將對2個參照影像的參照影像指定資訊與運動向量，在運動補償預測部112中做設定，生成運動補償雙預測區塊(S3105)。

接著，根據運動補償預測區塊與預測對象區塊的預測誤差和運動資訊編碼量，算出預測誤差評價值(S3107)，若預測誤差評價值為最小值則將評價值予以更新，並且更新預測誤差最小索引(S3108)。

針對所有結合運動資訊候補的預測誤差評價值被比較的結果，將已被選擇之預測誤差最小索引，當作結合預測模式中所使用之結合運動資訊索引，連同預測誤差最小值、運動補償預測區塊一起輸出(S3109)，結束結合預測模式評價值生成處理。

圖33係圖17的步驟S1703的預測模式評價值生成處理之詳細動作的說明用流程圖。

首先，判別預測模式是否為單預測(S3300)。圖34中係圖示，預測區塊的運動資訊之相關語法。圖34中的merge_flag係表示是否為結合預測模式，merge_flag為0時係表示運動偵測預測模式。在運動偵測預測模式的情況下可使用雙預測的B切片的時候，將表示預測種別是單預測還是雙預測的旗標inter_pred_flag予以傳輸。此處，即使得預測區塊的尺寸是雙預測限制區塊尺寸以下時，也不禁止雙預測而傳輸inter_pred_flag。這是因為，若隨著預測區塊的尺寸是否為雙預測限制區塊尺寸以下而切換是否傳輸inter_pred_flag，則熵編碼、解碼中會需要條件分歧，所以這是為了要防止處理變複雜。

回到圖33的流程圖，若為單預測(S3300：YES)，則將處理對象的參照影像清單(LX)，設定至預測時所使用之參照影像清單(S3301)。若非單預測，則由於是雙預測，因此此時係將LX設成L0(S3302)。

接著，取得對LX預測的參照影像指定資訊(索引)與運動向量值(S3303)。接著，生成預測向量候補清單(S3304)，從預測向量之中選擇出最佳預測向量，生成差分向量(S3305)。最佳預測向量的選擇手法，係選擇使得預測向量與傳輸之運動向量的差分向量在實際編碼之際的編碼量最少者較為理想，但亦可藉由單純選擇差分向量之水平、垂直成分的絕對值之總和較小者等之手法，而簡易地算出。

接著，再度判別預測模式是否為單預測(S3306)，若預測模式是單預測則前進至步驟S3311。若非單預測、亦即是雙預測，則判定處理對象的參照清單LX是否為L1(S3307)。若參照清單LX是L1，則前進至步驟S3311，若不是L1、亦即為L0的情況下，若預測區塊尺寸是bipred_restriction_size以下(S3308：YES)，則不算出針對L1預測之資訊，將預測模式轉換成單預測(S3310)，前進至步驟S3311。

若預測區塊尺寸是大於bipred_restriction_size(S3308：NO)，則將LX設成L1(S3309)，進行與步驟S3303至步驟S3306之處理相同的處理。

在實施形態1中，係若在解碼裝置中，依照圖34所示之預測區塊的運動資訊的相關之語法而進行解碼的情況下，則在對預測區塊尺寸之雙預測限制時，為了使對象之預測區塊尺寸下雙預測之運動資訊不會被解碼，而採取了使用步驟S3308及步驟S3310之處理，以預測模式評價值生成處理來限制雙預測之構成。

運動向量偵測時，若進行了想定雙預測之運動向量偵測，則會有單預測所使用之運動向量資訊、與上記步驟中藉由限制雙預測而被生成的單預測之運動向量資訊是不同的情形，因此藉由登錄單預測的新運動資訊候補，比起單純限制成不使用雙預測之運動資訊的情形，可更加促使編碼效率提升。

接著，算出運動資訊編碼量(S3311)。若為單預測模式的情況下，作為進行編碼的運動資訊，係為針對1個參照影像的參照影像指定資訊、差分向量值、及預測向量索引之3個要素，若為雙預測模式的情況下，則為針對L0與L1之2個參照影像的參照影像指定資訊、差分向量值、及預測向量索引之總計6個要素，各個已被編碼之編碼量的總量是被算出來作為運動資訊編碼量。作為本實施形態中的預測向量索引的編碼列生成手法，係假設和結合運動資訊索引之編碼列同樣地是使用Truncated Unary編碼列。

接著，將對參照影像的參照影像指定資訊與運動向量，在圖1中的運動補償預測部112中做設定，生成運動補償預測區塊(S3312)。

然後，根據運動補償預測區塊與預測對象區塊的預測誤差和運動資訊編碼量，算出預測誤差評價值(S3313)，將預測誤差評價值、和對參照影像之運動資訊、亦即參照影像指定資訊與差分向量值與預測向量索引，連同運動補償預測區塊一起輸出(S3314)，結束預測模式評價值生成處理。

以上之處理，係為實施形態1中的動態影像編碼裝置中的運動補償預測區塊構造選擇部113的詳細動作。

於本發明的實施形態1中，用來限制運動補償預測時的記憶體存取量所需的控制參數，亦即圖10所示的inter_4x4_enable及inter_bipred_restriction_idc，為了在解碼裝置上辨識之而進行傳輸的語法之一例，示於圖35。

於圖35中是採取了，將圖10所示之控制參數值，直接當成以序列或影像單位所設定之標頭資訊的一部分而予以傳輸之構成。在一例中，係在傳輸序列單位之參數的seq_parameter_set_rbsp( )之內部而被傳輸，對圖3所示之最小CU尺寸的資訊是以log2_min_coding_block_size_minus3且以8為基準(表示8×8)的2的冪乘值而被定義，最大CU尺寸(實施形態1中的編碼區塊尺寸)是當成表示最大CU分割數(Max_CU_Depth)的值的log2_diff_max_min_coding_block_size，而被傳輸。

inter_4x4_enable，係作為inter_4x4_enable_flag，只有在log2_min_coding_block_size_minus3為0亦即最小CU尺寸是8×8時會被傳輸，藉此，僅在inter_4x4_enable所致之控制是有效之條件時，才會送出控制參數，就可防止無效的控制資訊的傳輸。另一方面，關於inter_bipred_restriction_idc，係在最小CU尺寸是16×16時也必須要控制，因此採取總是被傳輸之構成。

在實施形態1中，雖然例示將這些控制參數值以序列單位的參數來編碼傳輸之構成，但亦可以畫格單位等之所定編碼區塊單位以上之間隔來變更設定，不限制成序列單位的控制參數構成，解碼裝置可所定單位地取得控制參數，是實施形態1中的構成特徵。

〔實施形態1中的動態影像解碼裝置中的運動資訊解碼部的詳細動作說明〕

圖36係圖11所示之實施形態1的動態影像解碼裝置中的運動資訊解碼部1111之詳細構成的圖示。運動資訊解碼部1111係含有：運動資訊位元串流解碼部3600、預測向量算出部3601、向量加算部3602、運動補償預測解碼部3603、結合運動資訊算出部3604、結合運動資訊單預測轉換部3605、及結合運動補償預測解碼部3606。

對圖11中的運動資訊解碼部1111，預測模式/區塊構造解碼部1108所輸入的運動資訊的相關之位元串流，係被供給至運動資訊位元串流解碼部3600，預測模式資訊記憶體1112所輸入之運動資訊，係被供給至預測向量算出部3601、及結合運動資訊算出部3604。

又，對運動資訊解碼部1111，從運動補償預測解碼部3603、及結合運動補償預測解碼部3606，會輸出運動補償預測時所使用的參照影像指定資訊與運動向量，含有表示預測種別之資訊的已被解碼之運動資訊，係被供給至運動補償預測部1114及預測模式資訊記憶體1112。

運動資訊位元串流解碼部3600，係將所輸入之運動資訊位元串流，依照編碼語法而逐一進行解碼，生成所被傳輸之預測模式、和相應於預測模式的運動資訊。在已生成之運動資訊之中，結合運動資訊索引係被供給至結合運動補償預測解碼部3606，參照影像指定資訊係被供給至預測向量算出部3601，預測向量索引係被供給至向量加算部3602，差分向量值係被供給至向量加算部3602。

預測向量算出部3601，係根據預測模式資訊記憶體1112所供給之相鄰區塊之運動資訊、和運動資訊位元串流解碼部3600所供給之參照影像指定資訊，生成針對運動補償預測之對象之參照影像的預測向量候補清單，連同參照影像指定資訊一起供給至向量加算部3602。關於預測向量算出部3601之動作，係進行與動態影像編碼裝置中的圖15之預測向量算出部1502相同之動作，生成與編碼時的預測向量候補清單相同的候補清單。

向量加算部3602，係根據預測向量算出部3601所供給之預測向量候補清單及參照影像指定資訊、和從運動資訊位元串流解碼部3600所供給之預測向量索引及差分向量，將預測向量索引所示之位置上所被登錄的預測向量值與差分向量值進行加算，再生出相對於運動補償預測對象之參照影像的運動向量值。已被再生之運動向量值，係連同參照影像指定資訊，一起被供給至運動補償預測解碼部3603。

運動補償預測解碼部3603，係被向量加算部2602供給著針對參照影像的已被再生之運動向量值與參照影像指定資訊，將運動向量值與參照影像指定資訊，設定至運動補償預測部1114，藉此以生成運動補償預測訊號。

結合運動資訊算出部3604，係根據從預測模式資訊記憶體1112所供給之相鄰區塊之運動資訊，生成結合運動資訊候補清單，將結合運動資訊候補清單與清單內的構成要素亦即結合運動資訊候補的參照影像指定資訊與運動向量值，供給至結合運動資訊單預測轉換部3605。

關於結合運動資訊算出部3604之動作，係進行與動態影像編碼裝置中的圖15之結合運動資訊算出部1506相同之動作，生成與編碼時的結合運動資訊候補清單相同的候補清單。

在結合運動資訊單預測轉換部3605中係進行與動態影像編碼裝置中的圖15之結合運動資訊單預測轉換部1507相同之動作，對結合運動資訊算出部3604所供給之結合運動資訊候補清單及候補清單中所被登錄的運動資訊，按照圖10所示的雙預測限制資訊，將預測種別是雙預測的運動資訊，轉換成單預測的運動資訊，供給至結合運動補償預測解碼部3606。

結合運動補償預測解碼部3606，係根據結合運動資訊單預測轉換部3605所供給之結合運動資訊候補清單與清單內的構成要素亦即結合運動資訊候補的參照影像指定資訊與運動向量值，和運動資訊位元串流解碼部 3600所供給之結合運動資訊索引，將結合運動資訊索引所示之結合運動資訊候補清單中的參照影像指定資訊與運動向量值予以再生，設定至運動補償預測部1114，藉此以生成運動補償預測訊號。

圖37係圖14的步驟S1402、S1405、S1408、S1410的預測區塊單位解碼處理之詳細動作的說明用流程圖。首先，取得CU單位之編碼串流(S3700)，基於依照CU內的預測區塊尺寸分割模式(PU)而被設定的NumPart，對於對象CU內進行PU分割而成的每一預測區塊尺寸(S3701)，執行步驟S3702至步驟S3706的步驟(S3707)。

從CU單位的編碼串流所分離出來的運動資訊的編碼列，係由圖11的預測模式/區塊構造解碼部1108而被供給至運動資訊解碼部1111，使用預測模式資訊記憶體1112所供給之候補區塊群的運動資訊，將解碼對象區塊的運動資訊予以解碼(S3702)。步驟S3702之處理細節，將於後述。

已被分離的預測誤差資訊的編碼列，係被供給至預測差分資訊解碼部1102，被解碼成已被量化之預測誤差訊號，在逆量化‧逆轉換部1103中實施逆量化或逆正交轉換等之處理，以生成解碼預測誤差訊號(S3703)。

由運動資訊解碼部1111，解碼對象區塊的運動資訊係被供給至運動補償預測部1114，運動補償預測部1114係依照運動資訊來進行運動補償預測而算出預測訊號(S3704)。加算部1104，係將從逆量化‧逆轉換部1103所供給之解碼預測誤差訊號、和從運動補償預測部1114供給至預測模式/區塊構造選擇部1109，然後藉由在預測模式中選擇了運動補償預測而被供給至加算部1104的預測訊號，進行加算，生成解碼影像訊號(S3705)。

由加算部1104所供給之解碼影像訊號，係被儲存在畫格內解碼影像緩衝區1105中，並且供給至迴圈濾波器部1106。又，運動資訊解碼部1111所供給之解碼對象區塊的運動資訊，係被儲存在預測模式資訊記憶體1112(S3706)。對於對象CU內的所有預測區塊實施上述處理，就結束預測區塊單位的解碼處理。

圖38係圖37的步驟S3702的運動資訊解碼處理之詳細動作的說明用流程圖。藉由運動資訊位元串流解碼部3600與預測向量算出部3601、及結合運動資訊算出部3604，圖37的步驟S3702之運動資訊解碼處理就會被進行。

運動資訊解碼處理，係為根據以特定語法結構而被編碼成的編碼位元串流，來解碼運動資訊的處理。首先若以編碼區塊之CU單位而被解碼之Skip旗標表示Skip模式時(S3800：YES)，則進行結合預測運動資訊解碼(S3801)。關於步驟S3801的詳細處理，將於後述。

另一方面，若非Skip模式(S3800：NO)，則將合併旗標予以解碼(S3802)。若合併旗標是表示1(S3803：YES)，則前進至步驟S3801的結合預測運動資訊解碼。

若合併旗標非1(S3803：NO)，則將運動預測旗標予以解碼(S3804)，進行預測運動資訊解碼(S3805)，結束處理。關於步驟S3805的詳細動作，將於後述。

圖39係圖38的步驟S3801的結合預測運動資訊解碼處理之詳細動作的說明用流程圖。

首先對預測模式設定結合預測模式(S3900)，生成結合運動資訊候補清單(S3901)。步驟S3901之處理，係和動態影像編碼裝置中的圖17之步驟S1701的結合運動資訊候補清單生成處理相同之處理。

接著，若預測區塊尺寸是被圖10所示之用來限制雙預測的控制參數inter_bipred_restriction_idc所設定之用來限制雙預測之預測區塊尺寸亦即bipred_restriction_size以下時(S3902：YES)，則在所被儲存之結合運動資訊候補清單內將各候補的雙預測之運動資訊置換成單預測的運動資訊，進行結合運動資訊候補單預測轉換(S3903)。在此處理中，係實施和圖30的流程圖所示的編碼裝置中的結合運動資訊單預測轉換處理相同的處理。若預測區塊尺寸並非bipred_restriction_size以下(S3902：NO)，則前進至步驟S3904。

接著，將結合運動資訊索引予以解碼 (S3904)，接著，由結合運動資訊候補清單，取得結合運動資訊索引所示之位置上所被儲存的運動資訊(S3905)。作為所取得之運動資訊，係為表示單預測/雙預測的預測種別、參照影像指定資訊、運動向量值。

在實施形態1中，係結合運動資訊的雙預測往單預測之轉換處理，係不會變更結合運動資訊的索引之值，因此在解碼裝置中係亦可僅在解碼所必須之索引的結合運動資訊中進行轉換處理，此時係在進行了圖39的步驟S3904及步驟S3905之後，進行以預測區塊尺寸來進行雙預測限制的步驟S3902及步驟S3903。

已被生成之運動資訊，係被當成結合預測模式的運動資訊而儲存(S3906)，被供給至結合運動補償預測解碼部3606。

圖40係圖38的步驟S3805的預測運動資訊解碼處理之詳細動作的說明用流程圖。

首先，判別預測種別是否為單預測(S4000)。若為單預測，則將處理對象的參照影像清單(LX)，設定至預測時所使用之參照影像清單(S4001)。若非單預測，則由於是雙預測，因此此時係將LX設成L0(S4002)。

接著，將參照影像指定資訊予以解碼(S4003)，將差分向量值予以解碼(S4004)。接著，生成預測向量候補清單(S4005)，若預測向量候補清單大於1(S4006：YES)，則將預測向量索引予以解碼 (S4007)，若預測向量候補清單為1時(S4006：NO)，則對預測向量索引設定0(S4008)。

此處，在步驟S4005中，是進行與動態影像編碼裝置中的圖33之流程圖之步驟S3304相同的處理。

接著，由預測向量候補清單，取得預測向量索引所示之位置上所被儲存的運動向量值(S4009)。藉由將已解碼之差分向量值與運動向量值進行加算，而再生出運動向量(S4010)。

接著，再度判別預測種別是否為單預測(S4011)，若預測種別是單預測則前進至步驟S4014。若非單預測、亦即是雙預測，則判定處理對象的參照清單LX是否為L1(S4012)。若參照清單LX是L1，則前進至步驟S4014，若非L1，亦即是L0，則預測區塊尺寸是bipred_restrcition_size以下(S4013：YES)的情況下，則前進至步驟S4016，若預測區塊尺寸是大於bipred_restriction_size(S4013：NO)，則將LX設成L1(S4015)，進行與步驟S4003至步驟S4011之處理相同的處理。

若預測區塊尺寸是bipred_restrcition_size以下，則雙預測之運動補償係被禁止，因此位了確實限制解碼裝置中的記憶體存取量，將所被傳輸之運動資訊，轉換成單預測(S4016)，前進至步驟S4014。

接著，作為已被生成之運動資訊，在單預測時，係將對1個參照影像的參照影像指定資訊與運動向量值，在雙預測時，係將對2個參照影像的參照影像指定資訊與運動向量值，當成運動資訊而加以儲存(S4014)，並被供給至運動補償預測解碼部3603。

在實施形態1中的預測運動資訊解碼處理中，係為了對編碼時所被傳輸之運動資訊依照語法而進行解碼，而進行動態影像編碼裝置中的如圖33的預測模式評價值生成處理中所實施的，為了確實限制記憶體存取量的關於雙預測限制之條件分歧，省略步驟S4013之條件判斷及步驟S4016之處理的形態中也可實現，但在實施形態1中，作為在解碼裝置中也能確實限制記憶體頻寬之構成，而採取圖40的流程圖所示之預測運動資訊解碼處理。

圖41係為，以圖35所示的傳輸序列單位之參數的seq_parameter_set_rbsp( )等，傳輸了將編碼處理/解碼處理之最大影像尺寸或所定時間單位的最大處理像素數加以定義的level_idc的情況下，參照影像的記憶體存取量之負荷，係與最大處理像素數成比例地增大，因此與可使用之最大處理像素數連動，增加運動補償預測之預測區塊尺寸與雙預測之限制之構成之一例。隨應於被編碼裝置所定義並傳輸的level_idc，對inter_4x4_enable及inter_bipred_restriction_idc所能採取的值施加限制，藉此就可隨應於編碼裝置、解碼裝置所想定之影像尺寸來施加記憶體存取的限制，可隨著編碼裝置及解碼裝置的用途，確保必要之記憶體頻寬，可實現一面削減處理負荷及裝置的規模，一面能維持編碼效率的編碼裝置及解碼裝置。

圖41係作為一例，在level_idc是被設定成6階段的情況下，若為想定較少像素數之編碼的條件的情況下，則inter_4x4_enable係沒有限制(0與1都可設定)，對inter_bipred_restriction_idc也是可設定所被定義的所有的值，但伴隨著level_idc的增加，從圖9所示的記憶體存取量較大的預測處理起階段性地施加預測區塊尺寸及雙預測之限制，就可將inter_4x4_enable(總是只設成0)及inter_bipred_restriction_idc(把所能採取之值的最小值予以加大)，與最大影像尺寸或最大處理像素數連動而加以控制。

又，如圖41，以level_idc為基準而與最大影像尺寸或最大處理像素數連動而將inter_4x4_enable或inter_bipred_restriction_idc之值，不加以傳輸而默認定設定成限制下的固定值，在編碼裝置、解碼裝置中，藉由所被設定之限制，來進行運動補償預測及雙預測之限制也是可行的，此情況下係變成，藉由傳輸level_idc，就可將對應的inter_4x4_enable或inter_bipred_restriction_idc之值予以解碼之構成。

在實施形態1中，係雖然使用了inter_4x4_enable此一禁止4×4預測區塊尺寸之運動補償預測的控制參數，但關於運動補償預測的預測區塊限制也是可以和inter_bipred_restriction_idc同樣地，可使用禁止已被指定之預測區塊尺寸以下之區塊尺寸之運動補償預測的控制參數，就可更細緻地控制記憶體存取量。

在實施形態1中，如4×8像素與8×4像素般地，將預測區塊尺寸之面積為相同而水平‧垂直之像素數為不同時的雙預測之限制，以同一基準來進行之，但一般會想定參照影像記憶體的存取單位是在水平方向由4像素或8像素等複數像素所構成的情形較多，將水平方向的像素數較少的4×8像素，定義成記憶體存取量較多的預測區塊尺寸，也可施加運動補償預測或雙預測之限制，可達成更貼切於解碼裝置之構成的記憶體存取量之控制。

又，在實施形態1中，為了提升運動補償預測之效率，如圖42所示，將CU內的分割做的更細緻而定義左右或上下非對稱之預測區塊的情況下，也是可藉由對非對稱之區塊，施加預測區塊尺寸之限制，階段性的記憶體存取量之控制就成為可能。

如圖42所示，實施形態1的另一構成中，CU往預測區塊之分割構成，係除了非分割(2N×2N)、朝水平‧垂直之分割(N×N)、僅朝水平方向之分割(2N×N)、僅朝垂直方向之分割(N×2N)以外，還有僅朝水平方向的上1/4、下3/4之非對稱分割(2N×nU)、僅朝水平方向的上3/4、下1/4之非對稱分割(2N×nD)、僅朝垂直方向的左1/4、右3/4之非對稱分割(nL×2N)、僅朝垂直方向的左3/4、右1/4之非對稱分割(nR×2N)，不適用未滿水平4像素、垂直4像素之預測區塊尺寸，可僅對CU尺寸為16×16以上之CU，適用非對稱分割之分割構成。

接著，在圖43中圖示圖42的預測區塊構成下的將運動補償預測之區塊尺寸及預測處理加以限制的控制參數之一例並說明之。控制參數係由，將最小之CU尺寸8×8區塊予以分割之構成，亦即4×4、4×8及8×4預測區塊之運動補償預測的有效、無效的控制參數inter_pred_enable_idc、和定義了運動補償預測之內僅禁止施行雙預測之預測處理的區塊尺寸的inter_bipred_restriction_idc這2個參數所構成。

在圖43的控制參數之構成中，對於inter_bipred_restriction_idc，增加了對水平‧垂直之像素數之記憶體存取的影響，將16×16像素以下的預測區塊尺寸之大小之順序從較小者起，定義成4×4、4×8、8×4、8×8、4×16/12×16(nL×2N/nR×2N)、8×16、16×12/16×4(2N×nU/2N×nD)、16×8、16×16，設定將雙預測予以限制的預測區塊尺寸之值。藉此，即使對於已提升了運動補償預測之效率的非對稱構成之預測區塊，仍可和使用圖10所示之控制參數之構成同樣地，以較細緻的單位來進行記憶體存取量之控制，提升了運動補償預測之效率之後，可隨著所被容許之記憶體頻寬，來控制記憶體存取量。

在實施形態1中，係以inter_bipred_restriction_idc所定義之預測區塊尺寸為基準，對所被定義之尺寸以下的預測區塊，施加雙預測之限制，但藉由將值所致之限制，設計成對未滿所被定義尺寸之預測區塊施加雙預測之限制，或是在未滿施加雙預測限制之預測區塊尺寸的預測區塊尺寸下，不進行運動補償預測的情況下，對所被定義之尺寸的預測區塊，施加雙預測之限制，也可成為實現本發明之構成。對未滿所被定義之尺寸的預測區塊施加雙預測之限制的情況下，則把實施形態1的編碼裝置中的圖17的流程圖所示的步驟S1702、圖33的流程圖所示的步驟S3308、實施形態1的解碼裝置中的圖39的流程圖所示的步驟S3902、圖40的流程圖所示的步驟S4013中的條件判斷，變成是否未滿bipred_restriction_size，並且，inter_bipred_restriction_idc所定義之預測區塊尺寸之值是被當作1個較大的預測區塊尺寸而被設定，藉此就可實現之。

在實施形態1中，係如圖35所示，是將用來限制運動補償預測時的記憶體存取量所需的控制參數，亦即inter_4x4_enable及inter_bipred_restriction_idc，分別以個別之參數而進行編碼傳輸之構成為一例，但只要是這些控制參數資訊，是能以控制動態影像編碼裝置及動態影像解碼裝置之記憶體存取量限制的參數之方式而傳輸之構成即可，亦可為如圖44所示般的將以inter_4x4_enable與inter_bipred_restriction_idc之組合來進行定義之資訊(inter_mc_restrcution_idc)予以編碼傳輸之構成，藉由控制成使得所定或所定以下之預測區塊尺寸的運動補償預測處理不會進行的資訊、和控制成使得所定以下之預測區塊尺寸的雙預測不會進行的資訊，還能產生可把進行運動補償預測及結合運動資訊候補之單預測限制之處理整合成1個指示資訊而加以編碼傳輸及解碼的效果。

又，在實施形態1中，係作為用來對運動補償預測限制記憶體存取量所需的、禁止結合運動補償預測中所使用之雙預測的手段，是將被儲存至結合運動資訊候補索引後的運動資訊，隨應於條件而從雙預測之運動資訊轉換成單預測之運動資訊並儲存之，使用在預測處理中，因此不是禁止雙預測之結合運動資訊候補，而是可作為單預測之運動資訊來使用，具有禁止雙預測之條件的預測區塊尺寸下提升運動補償預測之預測精度、提升編碼效率之效果。

(實施形態2)

接著進行本發明的實施形態2所述之動態影像編碼裝置及動態影像解碼裝置的說明。在實施形態2中，係和第1實施形態同樣地，以預測區塊尺寸所致之運動補償預測之限制、與預測區塊尺寸以下之雙預測之限制之組合，來限制最大記憶體存取量的構成係為相同，但並非將定義雙預測之限制的參數加以限制的預測區塊尺寸加以表示的資訊，而是採用針對最小CU尺寸中的CU分割構造施加雙預測之限制的構造。

圖45中圖示本發明的實施形態2中的將運動補償預測之區塊尺寸及預測處理加以限制的控制參數之一例並說明之。

控制參數係由，控制最小運動補償預測區塊尺寸亦即4×4像素之運動補償預測之有效．無效的參數inter_4x4_enable定義了運動補償預測之內僅禁止施行雙預測之預測處理的最小CU尺寸下的CU分割構造的inter_bipred_restriction_for_mincb_idc這2個參數所構成。

inter_bipred_restriction_for_mincb_idc，係定義4個值，來控制：無限制、N×N限制、N×2N/2N×N以下限制、對CU內所有的分割(PU)做限制的4個狀態。最小CU尺寸，係實施形態1中的如圖35之語法所示，以log2_min_coding_block_size_minus3且以8為基準(表示8×8)的2的冪乘值而被定義，藉由inter_bipred_restriction_for_mincb_idc之值與最小CU尺寸的連動，設定限制雙預測之區塊尺寸bipred_restriction_size。

實施形態2中的編碼裝置及解碼裝置之構成，係可採取和實施形態1同樣之構成，實施形態1中的bipred_restriction_size，是以上記log2_min_coding_block_size_minus3與inter_bipred_restriction_for_mincb_idc之組合而被定義這點，是不同的構成。具體的bipred_restriction_size之定義，示於圖46。

inter_bipred_restriction_for_mincb_idc，係如圖47所示的語法之一例所示，與實施形態1中的圖35之語法同樣地被構成，當作序列單位之參數而以seq_parameter_set_rbsp( )來傳輸之，不傳輸inter_bipred_ restriction_idc而改為傳輸inter_bipred_restriction_for_mincb_idc之值。

記憶體存取量較大、必須要限制記憶體頻寬的狀態，係對編碼時的最小CU尺寸產生，因此與最小CU尺寸連動來施加雙預測之限制的構成，係管理、傳輸之參數的浪費較少，而且在編碼裝置中想要施加記憶體存取量之限制時，具有可用較少的控制參數值就能定義較大尺寸下的雙預測限制之效果。

然後，在實施形態2中，係將CU內的分割做的更細緻而定義左右或上下非對稱之預測區塊，即使提升運動補償預測效率的情況下，就算不在各CU階層追加每一區塊尺寸的尺寸限制，仍只要追加最小CU尺寸時的定義即可，因此除了擴充性高以外，在進行超越高畫質的超高精細影像之編碼‧解碼處理之際，具有可容易實現明示性進行預測區塊尺寸之大小或雙預測之限制的效果。

(實施形態3)

接著進行本發明的實施形態3所述之動態影像編碼裝置及動態影像解碼裝置的說明。在實施形態3中係採取了，除了記憶體存取量限制所需的運動補償預測或雙預測之限制以外，還藉由限制預測區塊尺寸變小之際的結合運動預測候補生成處理的動作次數，以減輕結合運動預測候補生成所需之處理負荷之構成。

具體而言是採取了，所定CU尺寸以下之預測區塊尺寸時，在各預測區塊中，使用同一相鄰區塊之運動資訊來進行同一結合運動資訊候補生成處理之構成。在實施形態3中，對於最小CU尺寸8×8CU尺寸的預測區塊，採取上記構成，將實施形態3的8×8CU尺寸的結合運動資訊候補生成時的空間周邊預測區塊之位置，使用圖48來說明。

在8×8CU中，相對於8×8像素的預測區塊(2N×2N)的空間候補區塊群之區塊A0、區塊A1、區塊B0、區塊B1、區塊B2這5區塊的位置，係如圖48(a)所示，呈現和圖19所示的實施形態1的空間候補區塊群之定義相同之位置。

相對於此，關於相對於4×8像素之預測區塊(N×2N)、8×4像素之預測區塊(2N×N)、4×4像素之預測區塊(N×N)的空間候補區塊群之位置，係如圖48(b)、(c)、(d)所示，並非和圖19所示的實施形態1的空間候補區塊群之定義所呈現的對象預測區塊的相鄰位置之區塊，而是與相對於8×8像素的空間候補區塊群相同之位置，是對所有的預測區塊而被使用。關於時間候補區塊群的位置也是同樣地，與8×8像素之預測區塊相同之位置，是對4×8像素、8×4像素、4×4像素所有的預測區塊而被使用。

亦即，對於對象之8×8CU，在所構成的所有預測區塊構成中，同一結合運動資訊候補會被使用，編碼裝置及解碼裝置中的結合運動資訊生成處理係可以1次的生成處理來實現。

接著說明實施形態3中的動態影像編碼裝置的編碼區塊單位之編碼處理。相對於實施形態1中的編碼區塊單位之編碼處理，僅圖7的流程圖所示之運動補償預測區塊尺寸選擇/預測訊號生成處理，和圖17的流程圖所示之運動補償預測模式/預測訊號生成處理有所不同，因此說明這些處理。

圖49中圖示了實施形態3的運動補償預測區塊尺寸選擇/預測訊號生成處理的流程圖。關於與實施形態1的圖7的流程圖相同的步驟，係標示同一號碼而僅對不同部分標示新的步驟號碼。

首先，將對於對象CU而為預測對象的編碼區塊影像，加以取得(S700)。接著，判定對象CU的CU尺寸是否為8×8(S4908)。若對象CU的CU尺寸是8×8(S4908：YES)，則進行結合運動資訊候補清單生成處理(S4909)。若對象CU的CU尺寸不是8×8(S4908：NO)，則前進至步驟S701。關於步驟S4909的細節，係進行與實施形態1中的圖18的結合運動資訊候補清單生成處理相同之處理。

進行了步驟S4909後，若對象CU內的最小預測區塊尺寸是bipred_restriction_size以下(S4910：YES)，則進行結合運動資訊候補單預測轉換處理(S4911)。若對象CU內的最小預測區塊尺寸不是bipred_restriction_size以下(S4910：NO)，則前進至步驟S701。關於步驟S4911的細節，係進行與實施形態1中的圖30的結合運動資訊候補單預測轉換處理相同之處理。

在實施形態3中，係限制雙預測之預測區塊尺寸亦即bipred_restriction_size的結合運動資訊候補生成處理，是對象CU上所被使用之預測區塊尺寸時(若inter_4x4_enable為1則為4×4/4×8/8×4/8×8之預測區塊，若inter_4x4_enable為0則為4×8/8×4/8×8之預測區塊，)，則對於對對象CU一起生成之結合運動資訊候補清單，進行將雙預測之運動資訊轉換成單預測的處理。亦即，變成會進行已被擴充成bipred_restriction_size為3(8×8以下限制)之處理。

回到圖49的說明，步驟S4911的結合運動資訊候補單預測轉換處理進行後，前進至步驟S701。步驟S701以後，至步驟S707為止的處理，係進行與實施形態1中的圖7的流程圖中的步驟S701至步驟S707之處理相同之處理。

在實施形態3中，對8×8CU尺寸的結合運動資訊候補清單生成處理與結合運動資訊候補單預測轉換處理是以同一動作而被進行，在編碼裝置中係藉由1次的生成處理，就可生成8×8CU尺寸內的所有結合運動資訊候補，具有如此效果。又，在實施形態3中，雖然在不進行圖49之流程圖之步驟S4910之處理的構成中，具有對8×8CU尺寸是以同一動作來進行結合運動資訊候補清單生成處理，且可在未擴充bipred_restriction_size之狀態下進行結合運動資訊候補單預測轉換處理之效果，但在編碼裝置中係必須要進行8×8CU尺寸內的每一預測區塊尺寸的結合運動資訊候補單預測轉換處理。

接著，在圖50中圖示並說明實施形態3的運動補償預測模式/預測訊號生成處理的流程圖。關於與實施形態1的圖17的流程圖相同的步驟，係標示同一號碼而僅對不同部分標示新的步驟號碼。

基於依照已被定義之CU內的預測區塊尺寸分割模式(PU)而被設定的NumPart，對於對象CU內進行PU分割而成的每一預測區塊尺寸(S1700)，若對象CU尺寸不是8×8(S5010：NO)，則執行步驟S1701至步驟S1708的步驟(S1709)。關於步驟S1701至步驟S1708之處理，係進行與實施形態1中的圖17的流程圖相同之處理。

若對象CU尺寸是8×8(S5010：YES)，則不進行步驟S1701至步驟S1703之處理，前進至步驟S1704。亦即是被構成為，對象CU尺寸是8×8之預測區塊尺寸的情況下，係直接使用圖49所示之運動補償預測區塊尺寸選擇/預測訊號生成處理的流程圖內之處理所生成的結合運動資訊候補，進行結合預測模式之運動補償預測。

接著，實施形態3中的動態影像解碼裝置之編碼區塊單位之解碼處理係進行與實施形態1相同之處理，僅把為了結合運動預測時的結合運動資訊候補清單生成而使用的候補區塊之位置當作對象的CU是8×8的情況下，如圖48所示在所有的預測區塊中取得同一位置的候補區塊，作為圖39的流程圖所示之結合運動資訊解碼處理中的步驟S3902的判斷條件，若CU尺寸是8×8，則被置換成CU內所能定義之最小預測區塊尺寸是否為bipred_restriction_size以下之條件，可實現如此構成。

此外，在實施形態3中還具有，在實現不變更圖39的流程圖所示之結合運動資訊解碼處理中的步驟S3902的判斷條件之構成時，對8×8CU尺寸可以同一動作來進行結合運動資訊候補清單生成處理，且可以不擴充bipred_restriction_size之狀態進行結合運動資訊候補單預測轉換處理之如此效果。在解碼裝置中，藉由將編碼串流予以解碼，對解碼對象區塊的預測區塊尺寸係被特定，因此對已被特定之預測區塊尺寸，進行單一的結合運動資訊候補單預測轉換處理。

又，在實施形態3中的動態影像解碼裝置中，作為還可用更少之處理來實現結合運動資訊候補生成處理的構成，係可採取相對於實施形態1中的編碼區塊單位之解碼處理，可將圖39的結合運動資訊解碼處理置換成圖51所示的流程圖之處理之構成，說明其動作。關於與圖39的流程圖相同的步驟，係標示同一號碼而僅對不同部分標示新的步驟號碼。

對預測模式設定了結合預測模式後(S3900) ，判斷對象的預測區塊的CU尺寸是否為8×8(S5107)。若CU尺寸不是8×8(S5107：NO)，則前進至步驟S3901，進行和實施形態1同樣的結合預測運動資訊解碼處理。

另一方面，若CU尺寸是8×8(S5107：YES)，則判斷對象的預測區塊是否為對象CU內的最初之結合預測模式(S5108)。若是最初之結合預測模式(S5108：YES)，則進行結合運動資訊候補清單生成處理(S5109)。於步驟S5109中，如圖48所示，藉由在CU內全部預測區塊中取得同一位置之候補區塊的構成，進行與步驟S3901相同之處理。

若不是最初之結合預測模式(S5108：NO)，則由於對象CU中被同一生成之結合運動資訊候補清單是已經生成，因此不進行結合運動資訊候補清單生成處理，前進至步驟S3904。在對象CU中可用一次的結合運動資訊候補清單生成就能進行解碼處理，因此可削減8×8CU內有複數結合預測模式存在時的結合運動資訊候補清單生成處理。

進行了步驟S5109後，進行CU內所能定義之最小預測區塊尺寸是否為bipred_restriction_size以下之判斷(S5110)，若最小預測區塊尺寸是bipred_restriction_size以下(S5110：YES)，則進行結合運動資訊候補單預測轉換處理(S3903)，若最小預測區塊尺寸是大於bipred_restriction_size(S5110：NO)，則前進至步驟 S3904。

關於步驟S3904至步驟S3906之處理，係進行與實施形態1中的圖39的流程圖之處理相同之處理，結合預測模式的運動資訊會被解碼並儲存。

若依據實施形態3中的動態影像編碼裝置及動態影像解碼裝置，則可將記憶體存取量限制所需的運動補償預測或雙預測之限制與預測區塊尺寸較小之際的結合運動預測候補生成處理之削減處理，以對各自知限制採取了整合之構成來實現之，可使記憶體頻寬之及結合運動資訊候補生成處理削減兩者同時成立同時還可提升編碼效率。

實施形態3中的構成同一結合運動資訊候補清單的單位，係設成8×8尺寸來進行說明，但並不必要限定成8×8尺寸，亦可以圖像單位或序列單位等之所定單位，來傳輸定義生成同一清單之最大預測區塊尺寸的參數資訊，就可改變該單位。作為參數，例如設成log2_parallel_merge_level_minus2，可定義作為生成同一清單的預測區塊尺寸之水平‧垂直尺寸之基準的對應於2之冪乘值的值。

(實施形態4)

接著進行本發明的實施形態4所述之動態影像編碼裝置及動態影像解碼裝置的說明。在實施形態4中係和實施形態3同樣地，採取了除了記憶體存取量限制所需的運動補償預測或雙預測之限制以外，還藉由限制預測區塊尺寸變小之際的結合運動預測候補生成處理的動作次數，以減輕結合運動預測候補生成所需之處理負荷之構成。

在實施形態4中的動態影像編碼裝置中是採取了，對實施形態1所示的動態影像編碼裝置，在圖15所示的運動補償預測區塊構造選擇部113中刪除結合運動資訊單預測轉換部1507，從結合運動資訊算出部1506所輸出的運動向量、參照影像指定資訊、結合運動資訊候補清單係直接供給至結合運動補償預測生成部1508之構成。

又，在實施形態4中的動態影像解碼裝置中是採取了，對實施形態1所示的動態影像解碼裝置，在圖36所示的運動資訊解碼部1111中刪除結合運動資訊單預測轉換部3605，從結合運動資訊算出部3604所輸出的運動向量、參照影像指定資訊、結合運動資訊候補清單是直接供給至結合運動補償預測解碼部3606之構成。

在實施形態4中是採取了，取代結合運動資訊單預測轉換部上所進行之運動資訊的從雙預測往單預測之轉換處理，改成運動補償預測時若預測區塊尺寸是bipred_restriction_size以下則僅使用雙預測之運動資訊的L0預測或L1預測之一方的運動資訊來進行單預測之運動補償，藉此進行對記憶體存取量施加限制的運動補償預測之構造。

具體而言，是在實施形態4中的編碼處理中，在實施形態1中的圖17的流程圖所示之運動補償預測模式/預測訊號生成處理中，刪除步驟S1702及步驟S1703之處理，在圖31的流程圖所示之結合預測模式評價值生成處理中的步驟S3105及步驟S3106所進行的，運動補償(單/雙)預測區塊生成處理的內部，及圖33的流程圖所示的預測模式評價值生成處理的步驟S3312中所進行之運動補償預測區塊生成處理的內部，進行對單預測之限制處理。

在實施形態4中，圖31的流程圖的步驟S3105、步驟S3106及圖33的流程圖的步驟S3312中所施行的運動補償預測區塊生成動作，示於圖52的流程圖並說明之。圖52的流程圖係在實施形態4中，變成圖1所示之動態影像編碼裝置中的運動補償預測部112之詳細動作，進行以下動作。

若所被供給之運動資訊的預測種別是單預測(S5200：YES)，則使用對1個參照影像的參照影像指定資訊與運動向量來生成運動補償單預測區塊(S5203)。

若所被供給之運動資訊並非單預測，亦即若運動資訊是雙預測時(S5200：NO)，則判定L0預測之運動資訊與L1預測之運動資訊(參照影像資訊及運動向量)是否相同，若L0預測之運動資訊與L1預測之運動資訊是相同(S5201：YES)，則僅使用L0預測之運動資訊來進行L0單預測運動補償預測(S5204)。但是，雙預測之運動資訊係維持，L1預測之運動資訊係不變更。

若已被供給之L0預測之運動資訊與L1預測之運動資訊並非相同(S5201：NO)，則判定預測區塊尺寸是否為bipred_restriction_size以下，若預測區塊尺寸是bipred_restriction_size以下(S5202：YES)，則與L0預測之運動資訊與L1預測之運動資訊是相同的情形(S5201：YES)同樣地，僅使用L0預測之運動資訊來進行L0單預測運動補償預測(S5204)。但是，雙預測之運動資訊係維持，L1預測之運動資訊係不變更。雙預測限制的目的係為藉由將雙預測限制成單預測以抑制運動補償預測的記憶體頻寬，因此被雙預測限制所限制的預測清單(L0/L1)，係亦可設成L1單預測。

若所被供給之預測區塊尺寸是大於bipred_restriction_size(S5202：NO)，則使用對2個參照影像的參照影像指定資訊與運動向量，來生成運動補償雙預測區塊(S5205)。

又，在實施形態4中的解碼處理中，係在實施形態1中的圖39的流程圖所示之結合預測運動資訊解碼處理中，刪除步驟S3902及步驟S3903之處理，在圖37的流程圖所示之預測區塊單位解碼處理中的步驟S3704所進行的運動補償預測訊號算出處理之內部，對單預測之限制處理，是和編碼處理同樣地，以圖52之流程圖所示之處理來進行之。

在實施形態4中，雙預測之限制處理不採用把結合運動資訊候補清單轉換成單預測之構成，而是採用在運動補償預測時在雙預測之運動資訊當中，僅使用L0預測或L1預測之一方的運動資訊來進行單預測之運動補償預測的構成，藉此實現記憶體存取量之限制。

又，於雙預測之限制處理中，可使預測訊號是與單預測相同，同時，可維持運動資訊會是雙預測的結合運動資訊候補。藉此，bipred_restriction_size以下的預測區塊，L0預測、L1預測的運動資訊都會被保存，因此以後就可直接把雙預測之資訊當成是被編碼、解碼的預測區塊的相鄰參照運動資訊而利用，可提升之後被編碼‧解碼之預測區塊的運動預測處理的預測效率。

又，作為結合運動資訊候補清單是使用相同運動資訊的不同大小之預測區塊尺寸中，由於可藉由運動補償預測時的雙預測限制，達成記憶體存取量之限制，因此預測區塊尺寸變小之際，進行同一結合運動預測候補清單時，即使bipred_restriction_size是與構成同一清單的基準之預測區塊尺寸不同的情況下，藉由採取實施形態4之構成，不需要添加與結合運動資訊候補清單生成時相同清單構成和雙預測限制之雙方的條件判斷，具有僅以運動補償預測時的雙預測限制就可實現機能的效果，並且在為了進行記憶體存取之限制而控制的比bipred_restriction_size還大之預測區塊尺寸中，不需要對結合運動資訊加入雙預測之限制，因此舉有編碼效率提升效果。

又，在運動補償預測時進行雙預測限制之構成中，可將運動資訊編碼所需的2個預測模式(結合預測模式、運動偵測預測模式)之雙方的雙預測限制整合為一而對應，因此可用最小的構成來實現雙預測限制。

(實施形態5)

接著進行本發明的實施形態5所述之動態影像編碼裝置及動態影像解碼裝置的說明。在實施形態5中，和實施形態1同樣地，進行為了進行記憶體存取量之限制所需的預測區塊尺寸所致之運動補償預測限制、雙預測運動補償之限制，但採取了為了進行雙預測之限制所需的，對結合運動資訊候補清單之運動資訊的從雙預測往單預測之轉換手段係為不同之構成。

在實施形態5中，雖然進行和實施形態1同樣之構成及處理，但實施形態1中的圖18之流程圖所示的結合運動資訊候補清單生成處理、及圖30之流程圖所示的結合運動資訊候補單預測轉換處理，是採取不同構成。

以圖51的流程圖，進行實施形態5中的結合運動資訊候補清單生成處理之說明。在實施形態5中，是對編碼處理的圖17之流程圖中的步驟S1701及對解碼處理的圖39之流程圖中的步驟S3901中，施行圖53所示之處理。關於與實施形態1的圖18的流程圖相同的步驟，係標示同一號碼而僅對不同部分標示新的步驟號碼。

藉由步驟S1800至步驟S1802為止的處理，要成為結合運動資訊之候補的從空間候補區塊群刪除同一資訊之形式下的空間結合運動資訊候補、和時間結合運動資訊候補會被算出，生成從候補區塊之運動資訊所算出之結合運動資訊。接著，將步驟S1802為止所生成之結合運動資訊的數目num_list_before_combined_merge，予以儲存(S5305)。該值係在後述的結合運動資訊候補單預測轉換處理中被使用。

接著，藉由步驟S1803至步驟S1804為止的處理，將已被登錄在結合運動資訊候補清單中的複數結合運動資訊候補之運動資訊加以組合所生成之第1結合運動資訊候補、和不依存於已被登錄在結合運動資訊候補清單中的運動資訊所生成之第2結合運動資訊候補，係因應需要而被追加，結束結合運動資訊候補清單生成處理。

實施形態5中的結合運動資訊候補清單生成處理中的與實施形態1不同之處理，係為num_list_before_combined_merge的儲存處理，將登錄有被相鄰區塊所定義之候補區塊群之運動資訊的結合運動資訊、和候補區塊群的運動資訊之組合，或登錄有不依存於候補區塊之運動資訊的運動資訊的結合運動資訊的交界的清單號碼，予以保存。

接著，以圖54的流程圖，進行實施形態5中的結合運動資訊候補單預測轉換處理之說明。在實施形態5中，是對編碼處理的圖17之流程圖中的步驟S1703及對解碼處理的圖39之流程圖中的步驟S3903中，施行圖 54所示之處理。關於與實施形態1的圖30的流程圖相同的步驟，係標示同一號碼而僅對不同部分標示新的步驟號碼。

圖52之流程圖所示的結合運動資訊候補單預測轉換處理，係相對於圖30的流程圖，運動資訊不是單預測時(S3002：NO)的處理係為不同，若結合運動資訊候補清單之索引i是小於num_list_before_combined_merge(S5407：YES)，則為了將雙預測之運動資訊轉換成單預測，將索引i中所儲存之運動資訊的L1資訊設成無效(S3003)。

另一方面，若索引i是num_list_before_combined_merge以上(S5407：NO)，則為了將雙預測之運動資訊轉換成單預測，將索引i中所儲存之運動資訊的L0資訊設成無效(S5408)。

在步驟S3003及步驟S5408中，已被轉換成單預測之索引i的運動資訊會被儲存至結合運動資訊候補清單中(S3004)，前進至下個索引(S3005)。

實施形態5中的結合運動資訊候補單預測轉換中，係將結合運動資訊候補清單內的候補運動資訊，對於從相鄰之候補區塊之運動資訊所算出之運動資訊、和已被登錄之複數運動資訊之組合，或不依存於候補區塊之運動資訊而生成之運動資訊，將單預測轉換時會變成無效的運動資訊，以預測種別(L0預測/L1預測)來做切換。藉此，尤其是對於已被第1結合運動資訊候補清單追加部所追加的運動資訊，可留下在單預測轉換時被設成無效的預測種別之運動資訊，可將在單預測轉換時被設成有效的預測種別之運動資訊變成無效，作為結合運動資訊可留下較多有效的運動資訊，可促使編碼效率提升。

又，在雙預測是被限制的預測區塊尺寸中，不偏頗L0預測與L1預測之一方而採用來作為候補，因此作為編碼‧解碼時所使用過之運動資訊而被保存的運動資訊中，L0預測與L1預測之偏頗也會變少。因此，在後續的預測區塊的結合運動資訊候補生成時，可提升第1結合運動資訊候補清單追加部所能生成之雙預測之運動資訊的精度，提升編碼效率。

在實施形態5中，索引i小於num_list_before_combined_merge時係將L1資訊設成無效，索引i是num_list_before_combined_merge以上時係將L0資訊設成無效，但以num_list_before_combined_merge為基準來切換設成無效之預測種別，是本實施形態的特徵，亦可採取索引i小於num_list_before_combined_merge時係將L0資訊設成無效，索引i是num_list_before_combined_merge以上時係將L1資訊設成無效之構成。

(實施形態6)

接著進行本發明的實施形態6所述之動態影像編碼裝置及動態影像解碼裝置的說明。在實施形態6中，採取和實施形態5同樣之構成，切換著結合運動資訊候補單預測轉換中設成無效之預測種別(L0預測/L1預測)這點係為特徵，但採取了以索引之固定位置為基準來做切換之構成。

在實施形態6中，雖然進行和實施形態5同樣之構成及處理，但實施形態5中的圖53之流程圖所示的結合運動資訊候補清單生成處理係不進行，而是進行和實施形態1相同的圖18之流程圖所示的結合運動資訊候補清單生成處理。

又，在實施形態6中是採取了，在實施形態5中的圖54的流程圖所示之結合運動資訊候補單預測轉換處理，是被置換成圖55之流程圖所示之處理之構成。在實施形態6中，是對編碼處理的圖17之流程圖中的步驟S1703及對解碼處理的圖39之流程圖中的步驟S3903中，施行圖55所示之處理。

以下進行圖55之流程圖的說明。關於與圖54的流程圖相同的步驟，係標示同一號碼而僅對不同部分標示新的步驟號碼。

圖55之流程圖所示的結合運動資訊候補單預測轉換處理，係相對於圖54的流程圖，運動資訊不是單預測時(S3002：NO)的處理係為不同，若結合運動資訊候補清單之索引i是小於2(S5507：YES)，則為了將雙預測之運動資訊轉換成單預測，將索引i中所儲存之運動資訊的L1資訊設成無效(S3003)。

另一方面，若索引i是2以上(S5507： NO)，則為了將雙預測之運動資訊轉換成單預測，將索引i中所儲存之運動資訊的L0資訊設成無效(S5408)。

實施形態6中的結合運動資訊候補單預測轉換中係採取了，將結合運動資訊候補清單內的候補運動資訊，隨著相鄰之候補區塊之運動資訊所算出之運動資訊，以第1結合運動資訊候補清單追加部，對於雙預測之追加運動資訊生成所必須之最小限度的運動資訊亦即2筆運動資訊、和被登錄在清單後半之已被第1結合運動資訊候補清單追加部及第2結合運動資訊候補清單追加部所追加的運動資訊，將索引之位置上固定地在單預測轉換時設成無效之運動資訊切換預測種別(L0預測/L1預測)之構成。

實施形態6中的結合運動資訊候補單預測轉換中，係對於實施形態5，可刪除登錄有被相鄰區塊所定義之候補區塊群之運動資訊的結合運動資訊、和候補區塊群的運動資訊之組合，或登錄有不依存於候補區塊之運動資訊的運動資訊的結合運動資訊的交界清單號碼進行保存之處理，因此可減輕處理負荷，同時，和第5實施形態同樣地，對於已被第1結合運動資訊候補清單追加部所追加的運動資訊，可留下在單預測轉換時被設成無效的預測種別之運動資訊，可將在單預測轉換時被設成有效的預測種別之運動資訊變成無效，作為結合運動資訊可留下較多有效的運動資訊，可促使編碼效率提升。

又，在實施形態6中，不只是第1結合運動資訊候補、第2結合運動資訊候補，對於空間預測候補或時間預測候補也可切換設成無效之預測種別，因此當預測種別是雙預測且登錄了相同之運動資訊時，作為結合運動資訊是L0單預測、L1單預測之運動資訊都可利用，因此可促使編碼效率提升。

實施形態6中的結合運動資訊候補單預測轉換中，是將切換設成無效之預測種別(L0預測/L1預測)的索引之位置共定成2，但以固定之索引來切換預測種別，是實施形態6的特徵，亦可隨著作為空間結合運動資訊候補、時間結合運動資訊候補、第1結合運動資訊候補、第2結合運動資訊候補而登錄的運動資訊之數目，和最大可登錄之結合運動資訊候補之數目，來設定要固定之切換位置的索引之值。

以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。

動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將動態影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置的動態影像收訊裝置。

動態影像送訊裝置，係含有：將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。

以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(Read Only Memory)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。

以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。

本發明係可利用於動態影像訊號之編碼及解碼技術。

Claims

一種動態影像編碼裝置，係屬於從圖像被階段性分割成複數區塊而成的區塊中特定出預測區塊，以該被特定之預測區塊單位，生成編碼串流的動態影像編碼裝置，其特徵為，具備：候補清單建構部，係從與身為編碼對象之預測區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資訊，視作身為前記編碼對象之預測區塊的運動資訊候補，從該被導出之運動資訊之中，登錄所定之運動資訊而建構出運動資訊候補清單；和候補清單追加部，係藉由將前記已被導出之運動資訊加以組合以生成新的運動資訊候補，並將已被生成之前記運動資訊候補，追加至前記運動資訊候補清單；和編碼部，係將用來指定前記運動資訊候補清單內之運動資訊候補的索引資訊予以編碼，該運動資訊候補係被使用於身為前記編碼對象之前記預測區塊；和運動資訊轉換部，係將前記運動資訊候補予以轉換；和運動補償預測部，係基於前記運動資訊候補，藉由單預測或雙預測之任一者來進行運動補償預測而生成身為前記編碼對象之預測區塊的預測訊號；前記運動資訊轉換部，係進行預測轉換，其係在前記運動資訊候補當中，將表示前記雙預測之預測種別資訊，在前記候補清單追加部對前記運動資訊候補清單追加了運動資訊候補之後，轉換成表示前記單預測之預測種別資訊；前記運動補償預測部，係當身為前記編碼對象之預測區塊的區塊尺寸是所定第1尺寸以下時，且預測種別資訊是表示前記雙預測時，則基於藉由前記預測轉換而被轉換成的運動資訊，來進行前記運動補償預測；前記預測轉換係藉由將L1預測資訊設成無效以轉換成往L0預測之前記單預測。
一種動態影像編碼方法，係屬於從圖像被階段性分割成複數區塊而成的區塊中特定出預測區塊，以該被特定之預測區塊單位，生成編碼串流的動態影像編碼方法，其特徵為，具備：候補清單建構步驟，係從與身為編碼對象之預測區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資訊，視作身為前記編碼對象之預測區塊的運動資訊候補，從該被導出之運動資訊之中，登錄所定之運動資訊而建構出運動資訊候補清單；和候補清單追加步驟，係藉由將前記已被導出之運動資訊加以組合以生成新的運動資訊候補，並將已被生成之前記運動資訊候補，追加至前記運動資訊候補清單；和編碼步驟，係將身為前記編碼對象之前記預測區塊上所使用的前記運動資訊候補清單內的運動資訊候補予以指定的索引資訊，予以編碼；和運動資訊轉換步驟，係將前記運動資訊候補予以轉換；和運動補償預測步驟，係基於前記運動資訊候補，藉由單預測或雙預測之任一者來進行運動補償預測而生成身為前記編碼對象之預測區塊的預測訊號；前記運動資訊轉換步驟，係進行預測轉換，其係在前記運動資訊候補當中，將表示前記雙預測之預測種別資訊，在前記候補清單追加步驟對前記運動資訊候補清單追加了運動資訊候補之後，轉換成表示前記單預測之預測種別資訊；前記運動補償預測步驟，係當身為前記編碼對象之預測區塊的區塊尺寸是所定第1尺寸以下時，且預測種別資訊是表示前記雙預測時，則基於藉由前記預測轉換而被轉換成的運動資訊，來進行前記運動補償預測；前記預測轉換係藉由將L1預測資訊設成無效以轉換成往L0預測之前記單預測。
一種記錄媒體，係記錄有，從圖像被階段性分割成複數區塊而成的區塊中特定出預測區塊，以該被特定之預測區塊單位，生成編碼串流的動態影像編碼程式的媒體，其特徵為，前記動態影像編碼程式係令電腦執行：候補清單建構步驟，係從與身為編碼對象之預測區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資訊，視作身為前記編碼對象之預測區塊的運動資訊候補，從該被導出之運動資訊之中，登錄所定之運動資訊而建構出運動資訊候補清單；和候補清單追加步驟，係藉由將前記已被導出之運動資訊加以組合以生成新的運動資訊候補，並將已被生成之前記運動資訊候補，追加至前記運動資訊候補清單；和編碼步驟，係將身為前記編碼對象之前記預測區塊上所使用的前記運動資訊候補清單內的運動資訊候補予以指定的索引資訊，予以編碼；和運動資訊轉換步驟，係將前記運動資訊候補予以轉換；和運動補償預測步驟，係基於前記運動資訊候補，藉由單預測或雙預測之任一者來進行運動補償預測而生成身為前記編碼對象之預測區塊的預測訊號；前記運動資訊轉換步驟，係進行預測轉換，其係在前記運動資訊候補當中，將表示前記雙預測之預測種別資訊，在前記候補清單追加步驟對前記運動資訊候補清單追加了運動資訊候補之後，轉換成表示前記單預測之預測種別資訊；前記運動補償預測步驟，係當身為前記編碼對象之預測區塊的區塊尺寸是所定第1尺寸以下時，且預測種別資訊是表示前記雙預測時，則基於藉由前記預測轉換而被轉換成的運動資訊，來進行前記運動補償預測；前記預測轉換係藉由將L1預測資訊設成無效以轉換成往L0預測之前記單預測。