TW201826796A

TW201826796A - 編碼裝置、解碼裝置、編碼方法及解碼方法

Info

Publication number: TW201826796A
Application number: TW106140331A
Authority: TW
Inventors: 安倍清史; 西孝啓; 遠間正真; 橋本隆
Original assignee: 美商松下電器（美國）知識產權公司
Priority date: 2016-11-22
Filing date: 2017-11-21
Publication date: 2018-07-16
Also published as: WO2018097115A1

Abstract

一種編碼裝置，是從複數個候選運動向量中，擷取編碼對象區塊的至少1個運動向量預測子候選，且參照包含於動態圖像的參照圖片來導出編碼對象區塊的運動向量，對已擷取的至少1個運動向量預測子候選當中的運動向量預測子、及已導出的編碼對象區塊的運動向量之差分進行編碼，利用已導出的編碼對象區塊之運動向量來對編碼對象區塊進行動態補償，在至少1個運動向量預測子候選的擷取中，是根據複數個候選運動向量的每一個之評價結果來擷取至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用編碼對象區塊的圖像區域，而是使用了動態圖像中編碼完成區域之再構成圖像的候選運動向量。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法

發明領域本揭示是有關於對由複數個圖片構成的動態圖像進行編碼的編碼裝置等。

發明背景以往，作為用於對動態圖像進行編碼的規格而存在有H.265。H.265也稱為HEVC(高效率視訊編碼，High Efficiency Video Coding)。先前技術文獻

非專利文獻非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding，高效率視訊編碼))

發明概要發明欲解決之課題但是，在期望編碼效率更進一步提升的另一方面，會有因該編碼效率的提升而增加處理負擔的問題。

因此，本揭示提供一種編碼裝置等，該編碼裝置具有可抑制處理負擔的增加並且可以謀求編碼效率的提升之可能性。用以解決課題之手段

本揭示之一態樣的編碼裝置，是對動態圖像進行編碼的編碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，根據與前述動態圖像中的編碼對象區塊相對應的複數個編碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，而從前述複數個候選運動向量中，擷取前述編碼對象區塊的至少1個運動向量預測子候選，且參照包含於前述動態圖像的參照圖片來導出前述編碼對象區塊的運動向量，並對已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子、及已導出的前述編碼對象區塊的運動向量之差分進行編碼，且利用已導出的前述編碼對象區塊之運動向量來對前述編碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是根據前述複數個候選運動向量的每一個之評價結果來擷取前述至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量。

再者，這些全面性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意的組合來實現。發明效果

本揭示之一態樣的編碼裝置等，可抑制處理負擔的增加並且可以謀求編碼效率的提升。

用以實施發明之形態以下，參照圖式來具體地說明實施形態。

再者，以下所說明的實施形態都是顯示全面性的或具體的例子之實施形態。以下實施形態所示的數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等，都只是一個例子，並非用來限定請求的範圍的主旨。又，以下實施形態的構成要件之中，針對沒有記載在表示最上位概念之獨立請求項中的構成要件，是作為任意之構成要件來說明。 (實施形態1)

首先，說明實施形態1的概要，來作為可適用後述之本揭示的各態樣中說明的處理及/或構成的編碼裝置及解碼裝置之一例。但是，實施形態1只不過是可適用本揭示的各態樣中說明的處理及/或構成之編碼裝置及解碼裝置的一例，本揭示的各態樣中說明的處理及/或構成，亦可在與實施形態1不同的編碼裝置及解碼裝置中實施。

在對實施形態1適用本揭示的各態樣中所說明的處理及/或構成的情況下，亦可進行例如以下的任一項。 (1)對於實施形態1的編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置的複數個構成要件當中，與本揭示的各態樣中說明的構成要件相對應的構成要件，替換為本揭示的各態樣中所說明的構成要件。 (2)對於實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要件當中一部分的構成要件，可於施加了功能或實施的處理之追加、替換、刪除等任意的變更後，將與本揭示的各態樣中所說明的構成要件相對應的構成要件，替換為本揭示的各態樣中所說明的構成要件。 (3)對於實施形態1的編碼裝置或解碼裝置所實施的方法，可於施加了處理的追加、及/或針對該方法所包含的複數個處理當中的一部分之處理進行替換、刪除等任意的變更後，將與本揭示的各態樣中說明的處理相對應的處理，替換為本揭示的各態樣中所說明的處理。 (4)可將構成實施形態1的編碼裝置或解碼裝置之複數個構成要件當中的一部分之構成要件，與下述構成要件組合而實施：本揭示的各態樣中所說明的構成要件、具備有本揭示的各態樣中所說明的構成要件所具備的功能之一部分的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的處理之一部分的構成要件。 (5)可將具備有構成實施形態1的編碼裝置或解碼裝置之複數個構成要件當中的一部分之構成要件所具備的功能之一部分的構成要件、或實施構成實施形態1的編碼裝置或解碼裝置之複數個構成要件當中的一部分之構成要件所實施的處理之一部分的構成要件，與下述構成要件組合而實施：本揭示的各態樣中所說明的構成要件、具備有本揭示的各態樣中所說明的構成要件所具備的功能之一部分的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的處理之一部分的構成要件。 (6)對於實施形態1的編碼裝置或解碼裝置所實施的方法，可將在該方法所包含的複數個處理當中，與本揭示的各態樣中所說明的處理相對應的處理，替換為本揭示的各態樣中所說明的處理。 (7)可將實施形態1的編碼裝置或解碼裝置所實施的方法所包含的複數個處理當中之一部分的處理，與本揭示的各態樣中所說明的處理組合而實施。

再者，在本揭示的各態樣中所說明的處理及/或構成的實施之方式，並不限定於上述的例子。例如，亦可在與實施形態1中揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置以不同之目的來利用的裝置中實施，亦可單獨地實施各態樣中所說明的處理及/或構成。又，也可以將不同的態樣中說明的處理及/或構成組合來實施。 [編碼裝置之概要]

首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位對動態圖像/圖像進行編碼的動態圖像/圖像編碼裝置。

如圖1所示，編碼裝置100是以區塊單位對圖像進行編碼的裝置，並具備分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、區塊記憶體118、迴路濾波部120、框記憶體122、框內預測部124、框間預測部126、及預測控制部128。

編碼裝置100可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128而發揮功能。又，編碼裝置100亦可作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128之1個以上的專用的電子電路來實現。

以下，針對包含在編碼裝置100的各構成要件來進行說明。 [分割部]

分割部102是將包含在輸入動態圖像的各圖片分割成複數個區塊，且將各區塊輸出至減法部104。例如，分割部102首先將圖片分割為固定尺寸(例如128x128)的區塊。此固定尺寸的區塊被稱為編碼樹單元(CTU)。並且，分割部102會根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，而將各個固定尺寸的區塊分割成可變尺寸(例如64x64以下)的區塊。此可變尺寸的區塊有時被稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，在本實施形態中，亦可不需要區別CU、PU及TU，而使圖片內的一部分或全部的區塊成為CU、PU、TU的處理單位。

圖2是顯示實施形態1中的區塊分割的一例之圖。在圖2中，實線是表示藉由四元樹區塊分割的區塊交界，而虛線是表示藉由二元樹區塊分割的區塊交界。

在此，區塊10是128x128像素的正方形區塊(128x128區塊)。此128x128區塊10首先被分割成4個正方形的64x64區塊(四元樹區塊分割)。

左上的64x64區塊進一步被垂直地分割成2個矩形的32x64區塊，且左邊的32x64區塊進一步被垂直地分割成2個矩形的16x64區塊(二元樹區塊分割)。其結果，左上的64x64區塊被分割成2個的16x64區塊11、12、以及32x64區塊13。

右上的64x64區塊被水平地分割為2個矩形的64x32區塊14、15(二元樹區塊分割)。

左下的64x64區塊被分割為4個正方形的32x32區塊(四元樹區塊分割)。4個32x32區塊當中，將左上的區塊及右下的區塊進一步地分割。左上的32x32區塊被垂直地分割成2個矩形的16x32區塊，且將右邊的16x32區塊進一步水平地分割為2個16x16區塊(二元樹區塊分割)。右下的32x32區塊被水平地分割成2個32x16區塊(二元樹區塊分割)。其結果，可將左下的64x64區塊分割成：16x32區塊16、2個16x16區塊17、18、2個32x32區塊19、20、與2個32x16區塊21、22。

右下的64x64區塊23未被分割。

如以上，在圖2中，區塊10是根據遞迴的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11~23。這種分割被稱為QTBT(四元樹加二元樹區塊結構(quad-tree plus binary tree))分割。

再者，在圖2中，雖然是將1個區塊分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割並不限定於此。例如，亦可將1個區塊分割成3個區塊(三元樹區塊分割)。這種包含了三元樹區塊分割的分割，被稱為MBT(多類型樹(multi type tree))分割。 [減法部]

減法部104是以由分割部102所分割的區塊單位來從原訊號(原樣本)中減去預測訊號(預測樣本)。也就是說，減法部104會算出編碼對象區塊(以下，稱為當前區塊)的預測誤差(也可稱為殘差)。而且，減法部104會將算出的預測誤差輸出至轉換部106。

原訊號是編碼裝置100的輸入訊號，且是表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在以下，有時也會將表示圖像的訊號稱為樣本。 [轉換部]

轉換部106是將空間區域的預測誤差轉換成頻率區域的轉換係數，並將轉換係數輸出至量化部108。具體來說，轉換部106是例如對空間區域的預測誤差進行預定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。

再者，轉換部106亦可從複數個轉換類型之中自適應地選擇轉換類型，且使用與所選擇的轉換類型相對應之轉換基底函數(transform basis function)，來將預測誤差轉換成轉換係數。有時將這種轉換稱為EMT(外顯性多重核心轉換(explicit multiple core transform))或AMT(適應性多重轉換(adaptive multiple transform))。

複數個轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I、及DST-VII。圖3是顯示對應於各轉換類型的轉換基底函數之表格。在圖3中N是表示輸入像素的數量。從這些複數個轉換類型之中的轉換類型之選擇，可依例如預測的種類(框內預測(intra-prediction)及框間預測(inter-prediction))而定，亦可依框內預測模式而定。

這種顯示是否適用EMT或AMT的資訊(可稱為例如AMT旗標(AMT flag))及顯示所選擇的轉換類型的資訊，可在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。

又，轉換部106也可以將轉換係數(轉換結果)再轉換。有時將這種再轉換稱為AST(適應性二次轉換(adaptive secondary transform))或NSST(不可分離的二次轉換(non-separable secondary transform))。例如，轉換部106會按照對應於框內預測誤差的轉換係數之區塊所包含的每個子區塊(例如4x4子區塊)進行再轉換。顯示是否適用NSST的資訊以及與NSST所使用的轉換矩陣相關的資訊是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。

在此，可分離之(Separable)轉換是指以相當於輸入的維度之數來按各個方向分離並進行複數次轉換的方式，不可分離之(Non-Separable)轉換是指當輸入為多維時，將2個以上的維度匯總而視為1維，且一次進行轉換的方式。

例如，作為不可分離之轉換的一例，可列舉如下之轉換：在輸入為4x4的區塊之情況下，將其視為具有16個要件的一種排列，而對該排列以16x16的轉換矩陣來進行轉換處理。

又，同樣地，於將4x4的輸入區塊視為具有16個要件的一種排列之後，對該排列進行複數次吉文斯旋轉(Givens rotation)之類的轉換(超立方吉文斯轉換，Hypercube Givens Transform)也是不可分離之轉換的例子。 [量化部]

量化部108是對從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以規定的掃描順序掃描當前區塊的轉換係數，且根據與所掃描的轉換係數相對應之量化參數(QP)來對該轉換係數進行量化。並且，量化部108會將當前區塊之已量化的轉換係數(以下，稱為量化係數)輸出到熵編碼部110及逆量化部112。

規定的順序是用於轉換係數的量化/逆量化之順序。例如，規定的掃描順序是以頻率的遞升順序(從低頻到高頻的順序)或遞降順序(從高頻到低頻的順序)來定義。

所謂量化參數是定義量化步距(量化寬度)的參數。例如，量化參數的值增加的話，會使量化步距也增加。也就是說，量化參數的值增加的話，會使量化誤差増大。 [熵編碼部]

熵編碼部110是藉由對從量化部108輸入之量化係數進行可變長度編碼，來生成編碼訊號(編碼位元流(bit stream))。具體來說，熵編碼部110是例如將量化係數二值化，而對二值訊號進行算術編碼。 [逆量化部]

逆量化部112是對來自量化部108的輸入即量化係數進行逆量化。具體來說，逆量化部112是以規定的掃描順序對當前區塊的量化係數進行逆量化。並且，逆量化部112會將當前區塊之已逆量化的轉換係數輸出到逆轉換部114。 [逆轉換部]

逆轉換部114是藉由對來自逆量化部112的輸入即轉換係數進行逆轉換，以復原預測誤差。具體來說，逆轉換部114是藉由對轉換係數進行與轉換部106所進行的轉換相對應之逆轉換，來復原當前區塊的預測誤差。並且，逆轉換部114會將復原的預測誤差輸出至加法部116。

再者，由於復原的預測誤差會因量化而失去資訊，因此和減法部104算出的預測誤差並不一致。亦即，復原的預測誤差中包含有量化誤差。 [加法部]

加法部116會對來自逆轉換部114的輸入即預測誤差、及來自預測控制部128的輸入即預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部116會將再構成的區塊輸出到區塊記憶體118及迴路濾波部120。有時也將再構成區塊稱為局部解碼區塊(local decoding block)。 [區塊記憶體]

區塊記憶體118是用於保存在框內預測中所參照的區塊且也是編碼對象圖片(以下，稱為當前圖片)內的區塊之儲存部。具體來說，區塊記憶體118會保存從加法部116輸出的再構成區塊。 [迴路濾波部]

迴路濾波部120會對藉由加法部116再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體122。所謂迴路濾波器是在編碼迴路內使用的濾波器(內嵌式迴路濾波器(In-loop filter))，且包含例如去區塊濾波器(Deblocking Filter，DF)、取樣自適應偏移(Sample Adaptive Offset，SAO)及自適應迴路濾波器(Adaptive Loop Filter，ALF)等。

在ALF中，可適用去除編碼失真用的最小平方誤差濾波器，例如可適用：按當前區塊內的2x2子區塊的每一個，根據局部的梯度(gradient)的方向及活動性(activity)來從複數個濾波器之中選擇的1個濾波器。

具體來說，首先，可將子區塊(例如2x2子區塊)分類成複數個類別(class)(例如15個或25個類別)。子區塊的分類是根據梯度的方向及活動性來進行。例如，可利用梯度的方向值D(例如0~2或0~4)與梯度的活性值A(例如0~4)來算出分類值C(例如C=5D＋A)。而且，根據分類值C，來將子區塊分類成複數個類別(例如15個或25個類別)。

梯度的方向值D可藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如對複數個方向的梯度作加法運算，並對加法結果進行量化來導出。

根據這種分類的結果，即可從複數個濾波器之中決定子區塊用的濾波器。

作為在ALF中所用的濾波器之形狀，可利用的有例如圓對稱形狀。圖4A~圖4C是顯示在ALF中所用的濾波器之形狀的複數個例子之圖。圖4A是顯示5x5菱形(diamond)形狀濾波器，圖4B是顯示7x7菱形形狀濾波器，圖4C是顯示9x9菱形形狀濾波器。顯示濾波器的形狀之資訊是在圖片層級被訊號化。再者，顯示濾波器的形狀之資訊的訊號化並不需要限定於圖片層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級、CTU層級或CU層級)。

ALF的開啟/關閉(on/off)是在例如圖片層級或CU層級決定的。例如，針對亮度是在CU層級來決定是否適用ALF，而針對色差則是在圖片層級來決定是否適用ALF。顯示ALF的開啟/關閉之資訊，可在圖片層級或CU層級被訊號化。再者，顯示ALF的開啟/關閉之資訊的訊號化並不需要限定於圖片層級或CU層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級或CTU層級)。

可選擇的複數個濾波器(例如到15個或25個為止的濾波器)之係數集合(set)，是在圖片層級被訊號化。再者，係數集合的訊號化並不需要限定於圖片層級，也可以是其他的層級(例如序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。 [框記憶體]

框記憶體122是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體122會保存已藉由迴路濾波部120進行濾波的再構成區塊。 [框內預測部]

框內預測部124是參照已保存於區塊記憶體118的當前圖片內之區塊來進行當前區塊的框內預測(也稱為畫面內預測)，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部124是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部128。

例如，框內預測部124會利用事先規定的複數個框內預測模式之中的1個來進行框內預測。複數個框內預測模式包含1個以上之非方向性預測模式、以及複數個方向性預測模式。

1個以上的非方向性預測模式包含例如H.265/HEVC(高效率視訊編碼(High-Efficiency Video Coding))規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。

複數個方向性預測模式包含例如H.265/HEVC規格所規定的33個方向之預測模式。再者，複數個方向性預測模式亦可除了33個方向以外，更進一步地包含32個方向的預測模式(合計65個方向性預測模式)。圖5是顯示框內預測中的67個框內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭是表示H.265/HEVC規格所規定的33個方向，虛線箭頭是表示追加的32個方向。

再者，在色差區塊的框內預測中，亦可參照亮度區塊。也就是說，也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。有時可將這種框內預測稱為CCLM(交叉成分線性模型，cross-component linear model)預測。這種參照亮度區塊的色差區塊之框內預測模式(例如被稱為CCLM模式)，也可以作為1種色差區塊的框內預測模式來加入。

框內預測部124亦可根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。這種伴隨補正的框內預測有時被稱為PDPC(獨立位置框內預測組合，position dependent intra prediction combination)。顯示有無適用PDPC的資訊(被稱為例如PDPC旗標)，是在例如CU層級被訊號化。再者，此資訊的訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級、或CTU層級)。 [框間預測部]

框間預測部126會參照保存在框記憶體122的參照圖片且也是與當前圖片不同的參照圖片，來進行當前區塊的框間預測(也稱為畫面間預測)，藉此生成預測訊號(框間預測訊號)。框間預測是以當前區塊或當前區塊內的子區塊(例如4x4區塊)之單位來進行。例如，框間預測部126是針對當前區塊或子區塊而在參照圖片內進行運動搜尋(運動估計(motion estimation))。而且，框間預測部126是利用以運動搜尋所得到的運動資訊(例如運動向量)來進行動態補償，藉此生成當前區塊或子區塊的框間預測訊號。而且，框間預測部126會將生成的框間預測訊號輸出至預測控制部128。

使用於動態補償的運動資訊會被訊號化。在運動向量的訊號化中，亦可使用運動向量預測子(motion vector predictor)。也就是說，亦可將運動向量與運動向量預測子之間的差分訊號化。

再者，不只是由運動搜尋得到的當前區塊之運動資訊，亦可連相鄰區塊的運動資訊也利用，來生成框間預測訊號。具體來說，亦可藉由將根據運動搜尋所得到的運動資訊之預測訊號、以及根據相鄰區塊的運動資訊之預測訊號作加權相加，而以當前區塊內的子區塊單位來生成框間預測訊號。這種框間預測(動態補償)有時被稱為OBMC(重疊區塊動態補償，overlapped block motion compensation)。

在這種OBMC模式中，顯示OBMC用的子區塊之尺寸的資訊(例如被稱為OBMC區塊尺寸)，是在序列層級被訊號化。又，顯示是否適用OBMC模式的資訊(例如被稱為OBMC旗標)，是在CU層級被訊號化。再者，這些資訊的訊號化之層級並不需要限定於序列層級及CU層級，亦可為其他的層級(例如圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

再者，也可以不將運動資訊訊號化，而在解碼裝置側導出。例如，也可以使用以H.265/HEVC規格所規定的合併模式(merge mode)。又，亦可藉由例如在解碼裝置側進行運動搜尋來導出運動資訊。在此情況下，可在不使用當前區塊的像素值的情形下進行運動搜尋。

在此，針對在解碼裝置側進行運動搜尋的模式進行說明。有時將該在解碼裝置側進行運動搜尋的模式稱為PMMVD(型樣匹配運動向量導出，pattern matched motion vector derivation)模式、或FRUC(畫面頻率提升，frame rate up-conversion)模式。

首先，可參照空間上或時間上與當前區塊相鄰之編碼完成區塊的運動向量，而生成各自具有運動向量預測子的複數個候選之清單(與合併清單共通亦可)。而且，算出候選清單所包含的各候選之評價值，並根據評價值來選擇1個候選。

而且，可根據所選擇的候選運動向量，來導出當前區塊用的運動向量。具體來說，是例如，將所選擇的候選運動向量原樣導出作為當前區塊用的運動向量。又，亦可例如，在與所選擇的候選運動向量相對應的參照圖片內的位置之周邊區域中，藉由進行型樣匹配，來導出當前區塊用的運動向量。

再者，評價值是藉由與運動向量相對應的參照圖片內的區域、與規定的區域之間的型樣匹配來算出的。

作為型樣匹配，可使用第1型樣匹配或第2型樣匹配。有時會將第1型樣匹配及第2型樣匹配分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。

在第1型樣匹配中，是在不同的2個參照圖片內的2個區塊且也是沿著當前區塊的運動軌跡(motion trajectory)的2個區塊之間進行型樣匹配。從而，在第1型樣匹配中，作為上述候選的評價值的算出用之規定區域，所使用的是沿著當前區塊的運動軌跡之其他參照圖片內的區域。

圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。如圖6所示，在第1型樣匹配中，是在沿著當前區塊(Cur block)的運動軌跡之2個區塊且也是不同的2個參照圖片(Ref0、Ref1)內的2個區塊的配對中，搜尋最匹配的配對，藉此導出2個運動向量(MV0、MV1)。

在連續的運動軌跡的假設之下，指出2個參照區塊的運動向量(MV0、MV1)會相對於當前圖片(Cur Pic)與2個參照圖片(Ref0、Ref1)之間的時間上之距離(TD0、TD1)而成比例。例如，當前圖片在時間上位於2個參照圖片之間，且從當前圖片到2個參照圖片的時間上之距離為相等的情況下，在第1型樣匹配中，會導出鏡像對稱的雙向之運動向量。

在第2型樣匹配中，是在當前圖片內的模板(在當前圖片內與當前區塊相鄰的區塊(例如上及/或左的相鄰區塊))與參照圖片內的區塊之間進行型樣匹配。從而，在第2型樣匹配中，作為上述候選的評價值的算出用之規定區域，所使用的是當前圖片內之與當前區塊相鄰的區塊。

圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。如圖7所示，在第2型樣匹配中，是藉由在參照圖片(Ref0)內搜尋與在當前圖片(Cur Pic)內相鄰於當前區塊(Cur block)的區塊最匹配的區塊，以導出當前區塊的運動向量。

這種顯示是否適用FRUC模式的資訊(例如可稱為FRUC旗標)，是在CU層級被訊號化。又，在適用FRUC模式的情況下(例如FRUC旗標為真的情況下)，顯示型樣匹配的方法(第1型樣匹配或第2型樣匹配)之資訊(例如可稱為FRUC模式旗標)是在CU層級被訊號化。再者，這些資訊的訊號化並不需要限定於CU層級，亦可為其他的層級(例如，序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

再者，也可以藉由與運動搜尋不同的方法，在解碼裝置側導出運動資訊。例如，亦可根據假設了等速直線運動的模型，以像素單位使用周邊像素值來算出運動向量的補正量。

在此，針對根據假設了等速直線運動的模型來導出運動向量的模式進行說明。有時將此模式稱為BIO(雙向光流，bi-directional optical flow)模式。

圖8是用於說明假設了等速直線運動的模型之圖。在圖8中，(v_x ，v_y )表示速度向量，而τ₀ 、τ₁ 分別表示當前圖片(Cur Pic)與2個參照圖片(Ref₀ ，Ref₁ )之間的時間上之距離。(MVx₀ ，MVy₀ )表示對應於參照圖片Ref₀ 的運動向量，而(MVx₁ ，MVy₁ )表示對應於參照圖片Ref₁ 的運動向量。

此時在速度向量(v_x ，v_y )的等速直線運動之假設下，(MVx₀ ，MVy₀ )及(MVx₁ ，MVy₁ )是分別表示為(v_x τ₀ ，v_y τ₀ )及(-v_x τ₁ ，-v_y τ₁ )，且以下的光流等式(1)成立。 [數學式1]

在此，I^(k) 表示動態補償後的參照圖像k(k=0，1)之亮度值。此光流等式是表示下述的(i)、(ii)、及(iii)之和等於零：(i)亮度值的時間微分、(ii)水平方向的速度以及參照圖像的空間梯度之水平成分的積、與(iii)垂直方向的速度以及參照圖像的空間梯度之垂直成分的積。根據此光流等式與赫米內插法公式(Hermite interpolation)的組合，可將從合併清單等得到的區塊單位之運動向量以像素單位進行補正。

再者，亦可藉由與根據假設了等速直線運動的模型之運動向量的導出不同之方法，在解碼裝置側導出運動向量。例如，亦可根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量。

在此，針對根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量的模式進行說明。此模式被稱為仿射動態補償預測(affine motion compensation prediction)模式。

圖9是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量的導出之圖。在圖9中，當前區塊包含16個4x4子區塊。在此，是根據相鄰區塊的運動向量來導出當前區塊的左上角控制點之運動向量v₀ ，且根據相鄰子區塊的運動向量來導出當前區塊的右上角控制點之運動向量v₁ 。而且，使用2個運動向量v₀ 及v₁ ，藉由以下的式(2)，來導出當前區塊內的各子區塊之運動向量(v_x ，v_y )。 [數學式2]

在此，x及y各自表示子區塊的水平位置及垂直位置，且w是表示預定的加權係數。

在這種仿射動態補償預測模式中，左上及右上角控制點的運動向量之導出方法也可以包含幾個不同的模式。顯示這種仿射動態補償預測模式的資訊(例如可稱為仿射旗標)，是在CU層級被訊號化。再者，顯示此仿射動態補償預測模式的資訊之訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級、或子區塊層級)。 [預測控制部]

預測控制部128會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。 [解碼裝置的概要]

接著，針對可對從上述編碼裝置100輸出的編碼訊號(編碼位元流)進行解碼之解碼裝置的概要進行說明。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位對動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。

如圖10所示，解碼裝置200具備熵解碼部202、逆量化部204、逆轉換部206、加法部208、區塊記憶體210、迴路濾波部212、框記憶體214、框內預測部216、框間預測部218、及預測控制部220。

解碼裝置200可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為熵解碼部202、逆量化部204、逆轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218、及預測控制部220而發揮功能。又，解碼裝置200也可以作為對應於熵解碼部202、逆量化部204、逆轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218、及預測控制部220之1個以上的專用的電子電路來實現。

以下，針對包含在解碼裝置200的各構成要件來進行說明。 [熵解碼部]

熵解碼部202是對編碼位元流進行熵解碼。具體來說，熵解碼部202是例如從編碼位元流對二值訊號進行算術解碼。而且，熵解碼部202會對二值訊號進行多值化(debinarize)。藉此，熵解碼部202會以區塊單位將量化係數輸出至逆量化部204。 [逆量化部]

逆量化部204是對來自熵解碼部202的輸入即解碼對象區塊(以下，稱為當前區塊)的量化係數進行逆量化。具體來說，逆量化部204是針對當前區塊的量化係數的每一個，根據對應於該量化係數的量化參數，來對該量化係數進行逆量化。並且，逆量化部204會將當前區塊之已進行逆量化的量化係數(也就是轉換係數)輸出至逆轉換部206。 [逆轉換部]

逆轉換部206是藉由對來自逆量化部204的輸入即轉換係數進行逆轉換，以復原預測誤差。

例如，在從編碼位元流中解讀出的資訊顯示的是適用EMT或AMT的情況下(例如AMT旗標為真)，逆轉換部206會根據顯示已解讀的轉換類型之資訊，來對當前區塊的轉換係數進行逆轉換。

又，例如，在從編碼位元流中解讀出的資訊顯示的是適用NSST的情況下，逆轉換部206會對轉換係數適用逆再轉換。 [加法部]

加法部208會對來自逆轉換部206的輸入即預測誤差、及來自預測控制部220的輸入即預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部208會將再構成的區塊輸出到區塊記憶體210及迴路濾波部212。 [區塊記憶體]

區塊記憶體210是用於保存在框內預測中所參照的區塊且也是解碼對象圖片(以下，稱為當前圖片)內的區塊之儲存部。具體來說，區塊記憶體210會保存從加法部208輸出的再構成區塊。 [迴路濾波部]

迴路濾波部212會對藉由加法部208再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體214及顯示裝置等。

當顯示從編碼位元流中解讀出的ALF之開啟/關閉的資訊顯示的是ALF開啟的情況下，可根據局部的梯度之方向及活動性而從複數個濾波器之中選擇1個濾波器，且將所選擇的濾波器適用於再構成區塊。 [框記憶體]

框記憶體214是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體214會保存已藉由迴路濾波部212進行濾波的再構成區塊。 [框內預測部]

框內預測部216是根據已從編碼位元流中解讀出的框內預測模式，並參照保存於區塊記憶體210的當前圖片內之區塊來進行框內預測，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部216是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部220。

再者，在色差區塊的框內預測中選擇參照亮度區塊的框內預測模式之情況下，框內預測部216也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。

又，在從編碼位元流中解讀出的資訊顯示的是適用PDPC的情況下，框內預測部216會根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。 [框間預測部]

框間預測部218是參照保存於框記憶體214的參照圖片，來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4x4區塊)之單位來進行。例如，框間預測部218會利用從編碼位元流中解讀出的運動資訊(例如運動向量)來進行動態補償，藉此生成當前區塊或子區塊的框間預測訊號，並將框間預測訊號輸出至預測控制部220。

再者，在從編碼位元流中解讀出的資訊顯示的是適用OBMC模式的情況下，框間預測部218會使用的不只有藉由運動搜尋所得到的當前區塊之運動資訊，還有相鄰區塊的運動資訊，以生成框間預測訊號。

又，在從編碼位元流中解讀出的資訊顯示的是適用FRUC模式的情況下，框間預測部218會依照從編碼流中解讀出的型樣匹配之方法(雙向匹配或模板匹配)來進行運動搜尋，藉此導出運動資訊。並且，框間預測部218會使用已導出的運動資訊來進行動態補償。

又，在適用BIO模式的情況下，框間預測部218會根據假設了等速直線運動的模型來導出運動向量。又，在從編碼位元流中解讀出的資訊顯示的是適用仿射動態補償預測模式的情況下，框間預測部218會根據複數個相鄰區塊的運動向量，以子區塊單位來導出運動向量。 [預測控制部]

預測控制部220會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至加法部208。 (實施形態2)

雖然本實施形態中的編碼裝置及解碼裝置具有與實施形態1同樣的構成及功能，但特徵是在於框間預測部126及218等的處理動作。 [成為本揭示之基礎的知識見解]

圖11是顯示成為本揭示之基礎的其他編碼裝置所進行的動態補償之流程圖。再者，在圖11以後的各圖中，是將運動向量表示為MV。

編碼裝置是按照相當於上述預測單元的每一個預測區塊，來對該預測區塊進行動態補償。此時，編碼裝置首先會根據時間上或空間上位於預測區塊周圍的複數個編碼完成區塊的運動向量等之資訊，來對該預測區塊取得複數個候選運動向量(步驟S101)。

接著，編碼裝置會從步驟S101中已取得的複數個候選運動向量之中，依照事先決定的優先順序來將N個(N為2以上的整數)候選運動向量的每一個擷取作為運動向量預測子候選(步驟S102)。再者，該優先順序是對N個候選運動向量的每一個而事先規定的。

接著，編碼裝置會從該N個運動向量預測子候選之中，選擇1個運動向量預測子候選作為預測區塊的運動向量預測子。此時，編碼裝置會將用於識別已選擇的運動向量預測子之運動向量預測子選擇資訊編碼於串流中(步驟S103)。再者，串流是上述編碼訊號或編碼位元流。

接著，編碼裝置會參照編碼完成參照圖片，來導出預測區塊的運動向量(步驟S104)。此時，編碼裝置會更進一步地將該已導出的運動向量與運動向量預測子的差分值作為差分運動向量資訊而編碼於串流中。再者，編碼完成參照圖片是由編碼後再構成的複數個區塊所形成的圖片。

最後，編碼裝置會利用該已導出的運動向量與編碼完成參照圖片，來對預測區塊進行動態補償，藉此生成該預測區塊的預測圖像(步驟S105)。再者，預測圖像是上述之框間預測訊號。

圖12是顯示成為本揭示之基礎的其他解碼裝置所進行的動態補償之流程圖。

解碼裝置會按每一個預測區塊，來對該預測區塊進行動態補償。此時，解碼裝置首先會根據時間上或空間上位於預測區塊周圍的複數個解碼完成區塊的運動向量等之資訊，來對該預測區塊取得複數個候選運動向量(步驟S111)。

接著，解碼裝置會從步驟S111中已取得的複數個候選運動向量之中，依照事先決定的優先順序來將N個(N為2以上的整數)候選運動向量的每一個擷取作為運動向量預測子候選(步驟S112)。再者，該優先順序是對N個候選運動向量的每一個而事先規定的。

接著，解碼裝置會從已輸入的串流中對運動向量預測子選擇資訊進行解碼，且利用該已解碼的運動向量預測子選擇資訊，從該N個運動向量預測子候選之中，將1個運動向量預測子候選選擇作為預測區塊的運動向量預測子(步驟S113)。

接著，解碼裝置會從已輸入的串流中對差分運動向量資訊進行解碼，且對該已解碼的差分運動向量資訊即差分值、及已選擇的運動向量預測子進行加法運算，藉此導出預測區塊的運動向量(步驟S114)。

最後，解碼裝置會利用該已導出的運動向量與解碼完成參照圖片，來對預測區塊進行動態補償，藉此生成該預測區塊的預測圖像(步驟S115)。

在此，在圖11及圖12所示的例子中，是為了擷取N個運動向量預測子候選，而利用事先規定的優先順序。但是，亦可為了得到與預測區塊的運動向量之差分更小的運動向量預測子，而對複數個候選運動向量的每一個進行評價。亦即，亦可算出在步驟S101或步驟111中取得的複數個候選運動向量的每一個的評價值，並從複數個候選運動向量之中，根據該算出的評價值來擷取N個運動向量預測子候選。

圖13是用於說明評價值的算出方法之一例的圖。

作為評價值的算出方法，例如有模板匹配方式。在此模板匹配方式中，是將動態圖像中的編碼完成區域或解碼完成區域的再構成圖像利用於評價值的算出。再者，在圖13中，編碼完成區域及解碼完成區域是統稱為處理完成區域，編碼對象圖片及解碼對象圖片是統稱為處理對象圖片。又，設為編碼的對象之預測區塊及設為解碼的對象之預測區塊，是統稱為處理對象預測區塊。

具體來說，編碼裝置會算出下述兩種再構成圖像間的差分值，該兩種再構成圖像為：在編碼對象圖片中位於處理對象預測區塊之周邊的編碼完成區域之再構成圖像、以及在編碼完成參照圖片中位於由候選運動向量所指定的區塊之周邊的編碼完成區域之再構成圖像。例如，可將差分值算出作為像素值的差分絕對值和。

解碼裝置也是與編碼裝置同樣地算出下述兩種再構成圖像間的差分值，該兩種再構成圖像為：在解碼對象圖片中位於處理對象預測區塊之周邊的解碼完成區域之再構成圖像、以及在解碼完成參照圖片中位於由候選運動向量所指定的區塊之周邊的解碼完成區域之再構成圖像。例如，可將差分值算出作為像素值的差分絕對值和。

再者，以下將在參照圖片中由候選運動向量所指定的區塊稱為指定區塊。此指定區塊是以處理對象預測區塊之空間上的位置作為基準，而位於藉由候選運動向量所指示的位置上。又，處理完成區域相對於參照圖片中的指定區塊的相對位置、以及處理完成區域相對於處理對象圖片中的處理對象預測區塊的相對位置是相等的。又，位於處理對象預測區塊或指定區塊的周邊之處理完成區域，亦可為相鄰於該等區塊的左邊之區域及相鄰於上方的區域，且亦可為僅相鄰於左邊的區域，或亦可為僅相鄰於上方的區域。例如，若相鄰於左邊的區域及相鄰於上方的區域都存在，即可將該等區域使用於評價值的算出，若有任一區域不存在，則可僅將存在的區域使用於評價值的算出。

編碼裝置及解碼裝置會利用已得到的差分值來算出評價值。例如，差分值越小會算出越高的評價值。再者，編碼裝置及解碼裝置亦可除了差分值之外，還利用其以外的資訊來算出評價值。

再者，藉由圖13的例子所示的模板匹配方式進行之評價值的算出方法，僅是一個例子，並不限定於此。例如，用於評價的區域之位置、或者判斷區域的使用可否之方法並不限定於圖13的例子，亦可為其他位置或方法。

圖14是用於說明評價值的算出方法之其他例的圖。

作為評價值的算出方法，例如有雙向匹配方式。在此雙向匹配方式中，也會將動態圖像中的編碼完成區域或解碼完成區域的再構成圖像利用於評價值的算出。再者，在圖14中，編碼完成區域及解碼完成區域是統稱為處理完成區域，編碼對象圖片及解碼對象圖片是統稱為處理對象圖片。又，作為編碼的對象之預測區塊及作為解碼的對象之預測區塊，是統稱為處理對象預測區塊。

具體來說，編碼裝置會算出下述兩種再構成圖像間的差分值，該兩種再構成圖像為：在編碼完成參照圖片1中由候選運動向量所指定的區塊之再構成圖像、以及在編碼完成參照圖片2中由對稱運動向量所指定的區塊之再構成圖像。由候選運動向量所指定的區塊、及由對稱運動向量所指定的區塊都是編碼完成區域。例如，可將差分值算出作為像素值的差分絕對值和。

解碼裝置也是與編碼裝置同樣地算出下述兩種再構成圖像間的差分值，該兩種再構成圖像為：在解碼完成參照圖片1中由候選運動向量所指定的區塊之再構成圖像、以及在解碼完成參照圖片2中由對稱運動向量所指定的區塊之再構成圖像。由候選運動向量所指定的區塊、及由對稱運動向量所指定的區塊都是解碼完成區域。例如，可將差分值算出作為像素值的差分絕對值和。

再者，對稱運動向量是藉由因應於上述之顯示時間間隔來對候選運動向量進行縮放(scaling)而生成的運動向量。又，由候選運動向量及對稱運動向量的每一個所指定的區塊，是位於以處理對象預測區塊之空間上的位置為基準而指示的位置上。

編碼裝置及解碼裝置是利用已得到的差分值來算出評價值。例如，差分值越小則會算出越高的評價值。再者，編碼裝置及解碼裝置亦可除了差分值之外，還利用其以外的資訊來算出評價值。

再者，藉由圖14的例子所示的雙向匹配方式進行之評價值的算出方法，僅是一個例子，並不限定於此。例如，特定用於評價的處理完成區域之位置的方法，並不限定於圖14所示的例子。

藉由根據這種評價值來從複數個候選運動向量中擷取N個運動向量預測子候選，而有可以提升預測區塊的預測精度之可能性。再者，模板匹配方式及雙向匹配方式均是上述之FRUC模式中所用的方式。從而，亦將根據這種評價值的運動向量預測子候選的擷取方法，稱為根據由FRUC所進行的評價結果之擷取方法。

在此，為了對預測區塊，從複數個候選運動向量中擷取出N個運動向量預測子候選，可以利用根據由FRUC所進行的評價結果之第1擷取方法、及根據事先決定的優先順序之第2擷取方法。

例如，編碼裝置及解碼裝置為了從複數個候選運動向量中擷取出2個運動向量預測子候選，是利用第1擷取方法來擷取1個運動向量預測子候選，並利用第2擷取方法來擷取剩下的另1個運動向量預測子候選。在這種情況下，可設想到的是，可對第1擷取方法及第2擷取方法的每一個方法均利用個別的候選清單。這些候選清單是顯示複數個候選運動向量的清單。

因此，在如上述的情況下，雖然會有可以提升預測精度的可能性，但是必須對1個預測區塊製作彼此不同的複數個候選清單，而產生處理負擔增加的課題。

因此，本實施形態中的編碼裝置100及解碼裝置200是利用根據由FRUC所進行的評價結果之擷取方法，並且對預測區塊利用1個候選清單，來進行對該預測區塊的動態補償。

具體來說，本實施形態中的編碼裝置100是從複數個候選運動向量中，擷取編碼對象區塊之至少1個運動向量預測子候選。此時，編碼裝置100是根據複數個候選運動向量的每一個之評價結果，來擷取該至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用編碼對象區塊的圖像區域，而是使用了動態圖像中編碼完成區域之再構成圖像的候選運動向量。

又，本實施形態中的解碼裝置200是從複數個候選運動向量中，擷取解碼對象區塊之至少1個運動向量預測子候選。此時，解碼裝置200是根據複數個候選運動向量的每一個之評價結果，來擷取該至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用解碼對象區塊的圖像區域，而是使用了動態圖像中解碼完成區域之再構成圖像的候選運動向量。

亦即，本實施形態中的編碼裝置100及解碼裝置200是藉由根據FRUC所進行的評價結果之擷取方法來擷取全部的運動向量預測子候選。換言之，是在不利用根據事先決定的優先順序之擷取方法的情況下，來擷取全部的運動向量預測子候選。該全部的運動向量預測子候選可為1個運動向量預測子候選，亦可為複數個運動向量預測子候選。從而，由於並不利用根據事先決定的優先順序之擷取方法，因此不需要用於該擷取方法之專用的候選清單，而可以對預測區塊進行利用了1個候選清單的動態補償。 [僅使用FRUC來擷取1個運動向量預測子候選]

圖15是顯示由本實施形態中的編碼裝置100所進行的動態補償之一例的流程圖。圖1所示的編碼裝置100在對複數個圖片所構成的動態圖像進行編碼時，編碼裝置100的框間預測部126等會執行圖15所示的處理。

具體來說，框間預測部126會按照相當於上述預測單元的每一個預測區塊，來對該預測區塊即編碼對象區塊進行動態補償。此時，框間預測部126首先會根據時間上或空間上位於預測區塊周圍的複數個編碼完成區塊的運動向量等資訊，來對該預測區塊取得複數個候選運動向量(步驟S201)。例如，編碼完成區塊的運動向量等資訊可為已用於該編碼完成區塊的動態補償之運動向量，亦可為不僅是該運動向量，更包含有顯示時間間隔，其中該顯示時間間隔為包含編碼完成區塊的圖片與編碼對象圖片之間的顯示時間間隔。例如，複數個候選運動向量是因應於顯示時間間隔而將複數個編碼完成區塊的運動向量之每一個縮放而成的運動向量。又，位於預測區塊周圍的複數個編碼完成區塊亦可為例如下述區塊：相鄰於編碼對象的預測區塊之左下、左上、及右上的每一處之複數個編碼完成區塊、以及和編碼對象圖片不同的圖片中所包含的複數個編碼完成區塊當中的全部或一部分之編碼完成區塊。

接著，框間預測部126是利用編碼完成區域的再構成圖像，來算出在步驟S201中已取得的複數個候選運動向量的每一個的評價值。亦即，框間預測部126是根據FRUC，亦即模板匹配方式或雙向匹配方式來算出其等的評價值。並且，框間預測部126是從該複數個候選運動向量之中，選擇評價值最高的1個候選運動向量，來作為預測區塊的運動向量預測子(步驟S202)。亦即，框間預測部126是從複數個候選運動向量中，僅選擇評價結果最佳的1個候選運動向量，藉此來擷取上述至少1個運動向量預測子候選之全部。

再者，框間預測部126亦可在周邊區域中細密地移動該已選擇的運動向量預測子，以將由FRUC進行的評價值變得更高，藉此來對該運動向量預測子進行補正。亦即，框間預測部126亦可藉由細密地搜尋使藉由FRUC進行的評價值變得更高的區域，來補正該運動向量預測子。

接著，框間預測部126是參照編碼完成參照圖片，來導出預測區塊的運動向量(步驟S203)。此時，框間預測部126是更進一步地算出該已導出的運動向量與運動向量預測子的差分值。熵編碼部110是將該差分值作為差分運動向量資訊而編碼於串流中。亦即，熵編碼部110是對已選擇的候選運動向量即運動向量預測子、以及已導出的編碼對象區塊的運動向量之差分進行編碼。

最後，框間預測部126是利用該已導出的運動向量與編碼完成參照圖片，來對預測區塊進行動態補償，藉此生成該預測區塊的預測圖像(步驟S204)。

再者，框間預測部126亦可取代如上述之以預測區塊為單位的動態補償，而以藉由分割預測區塊所得到的子區塊單位來同樣地導出運動向量，並以子區塊單位來進行動態補償。

圖16是顯示本實施形態中的解碼裝置200所進行的動態補償之一例的流程圖。圖10所示的解碼裝置200在對已編碼的複數個圖片所構成的動態圖像進行解碼時，解碼裝置200的框間預測部218等會執行圖16所示的處理。

具體來說，框間預測部218會按照相當於上述預測單元的每一個預測區塊，來對該預測區塊即解碼對象區塊進行動態補償。此時，框間預測部218首先會根據時間上或空間上位於預測區塊周圍的複數個解碼完成區塊的運動向量等資訊，來對該預測區塊取得複數個候選運動向量(步驟S211)。例如，解碼完成區塊的運動向量等資訊可為已用於該解碼完成區塊的動態補償之運動向量，亦可為不僅是該運動向量，更包含有顯示時間間隔，其中該顯示時間間隔為包含解碼完成區塊的圖片與解碼對象圖片之間的顯示時間間隔。例如，複數個候選運動向量是因應於顯示時間間隔而將複數個解碼完成區塊的運動向量的每一個縮放而成的運動向量。又，位於預測區塊周圍的複數個解碼完成區塊亦可為例如下述區塊：相鄰於解碼對象的預測區塊之左下、左上、及右上的每一處之複數個解碼完成區塊、以及和解碼對象圖片不同的圖片中所包含的複數個解碼完成區塊當中的全部或一部分之解碼完成區塊。

接著，框間預測部218是利用解碼完成區域的再構成圖像，來算出在步驟S211中已取得的複數個候選運動向量的每一個之評價值。亦即，框間預測部218是根據FRUC，亦即模板匹配方式或雙向匹配方式來算出其等的評價值。並且，框間預測部218是從該複數個候選運動向量之中，選擇評價值最高的1個候選運動向量，來作為預測區塊的運動向量預測子(步驟S212)。亦即，框間預測部218是從複數個候選運動向量中，僅選擇評價結果最佳的1個候選運動向量，藉此來擷取上述至少1個運動向量預測子候選之全部。

再者，框間預測部218亦可在周邊區域中細密地移動該已選擇的運動向量預測子，以將由FRUC進行的評價值變得更高，藉此來對該運動向量預測子進行補正。亦即，框間預測部218亦可藉由細密地搜尋使藉由FRUC進行的評價值變得更高的區域，來補正該運動向量預測子。

接著，框間預測部218是利用差分運動向量資訊來導出預測區塊的運動向量，其中該差分運動向量資訊是從已輸入至解碼裝置200的串流中藉由熵解碼部202解碼而成的資訊(步驟S213)。具體來說，框間預測部218會對該已解碼的差分運動向量資訊即差分值、及已選擇的運動向量預測子進行加法運算，藉此導出預測區塊的運動向量。亦即，熵解碼部202是對差分運動向量資訊進行解碼，該差分運動向量資訊是顯示2個運動向量的差分之差分資訊。並且，框間預測部218會在由該已解碼的差分資訊所示的差分上，加上已選擇的候選運動向量即運動向量預測子，藉此來導出解碼對象區塊即預測區塊的運動向量。

最後，框間預測部218是利用該已導出的運動向量與解碼完成參照圖片，來對預測區塊進行動態補償，藉此生成該預測區塊的預測圖像(步驟S214)。

再者，框間預測部218亦可取代如上述之以預測區塊為單位的動態補償，而以藉由分割預測區塊所得到的子區塊單位來同樣地導出運動向量，並以子區塊單位來進行動態補償。

雖然在圖15及圖16所示的例子中，是擷取1個運動向量預測子候選，但亦可擷取複數個運動向量預測子候選。 [僅使用FRUC來擷取複數個運動向量預測子候選]

圖17是顯示本實施形態中的編碼裝置100所進行的動態補償之其他的例子的流程圖。圖1所示的編碼裝置100在對複數個圖片所構成的動態圖像進行編碼時，編碼裝置100的框間預測部126等是執行圖17所示的處理。

具體來說，框間預測部126是按照相當於上述預測單元的每一個預測區塊，來對該預測區塊即編碼對象區塊進行動態補償。此時，框間預測部126首先是根據時間上或空間上位於預測區塊周圍的複數個編碼完成區塊的運動向量等資訊，來對該預測區塊取得複數個候選運動向量(步驟S201)。

接著，框間預測部126是利用編碼完成區域的再構成圖像，來算出在步驟S201中已取得的複數個候選運動向量的每一個之評價值。亦即，框間預測部126是根據FRUC，亦即模板匹配方式或雙向匹配方式來算出其等的評價值。並且，框間預測部126是根據該複數個候選運動向量的評價值，從複數個候選運動向量之中將N個(N為2以上的整數)候選運動向量的每一個擷取作為運動向量預測子候選(步驟S202a)。亦即，框間預測部126是根據上述之評價結果，而從複數個候選運動向量中將N個候選運動向量擷取作為上述至少1個運動向量預測子候選之全部。更具體來說，框間預測部126是從複數個候選運動向量中，將在評價結果較佳的順位上排名前N個的候選運動向量擷取作為上述至少1個運動向量預測子候選之全部。換言之，框間預測部126是從複數個候選運動向量中，將在評價值較高的順位上排名前N個的候選運動向量分別擷取作為運動向量預測子候選。

再者，框間預測部126也可以針對該已擷取的N個運動向量預測子候選的每一個，在周邊區域中細密地移動該已選擇的運動向量預測子候選，以將由FRUC進行的評價值變得更高，藉此來對該運動向量預測子候選進行補正。亦即，框間預測部126亦可藉由細密地搜尋使藉由FRUC進行的評價值變得更高的區域，來補正該等運動向量預測子候選。

並且，框間預測部126是從已擷取的N個運動向量預測子候選中，選擇預測區塊的運動向量預測子(步驟S202b)。此時，框間預測部126是輸出運動向量預測子選擇資訊，該運動向量預測子選擇資訊是用於識別該已選擇的運動向量預測子之資訊。熵編碼部110是將該運動向量預測子選擇資訊編碼於串流中。

在該運動向量預測子的選擇中，框間預測部126亦可利用編碼對象區塊即預測區塊的原圖像。例如，框間預測部126是針對N個運動向量預測子候選的每一個來算出差分，其中該差分是由該運動向量預測子候選所指定的區塊之圖像、以及預測區塊的原圖像之差分。並且，框間預測部126是將該差分為最小的運動向量預測子候選，選擇作為該預測區塊的運動向量預測子。或者，框間預測部126亦可進行利用了預測區塊的原圖像之運動搜尋，藉此來導出該預測區塊的運動向量。並且，框間預測部126是針對N個運動向量預測子候選的每一個來算出差分，其中該差分是由該運動向量預測子候選所指定的區塊之圖像、以及由已導出的預測區塊之運動向量所指定的區塊之圖像的差分。並且，框間預測部126是將該差分為最小的運動向量預測子候選，選擇作為該預測區塊的運動向量預測子。

接著，框間預測部126是參照編碼完成參照圖片，來導出預測區塊的運動向量(步驟S203)。此時，框間預測部126是更進一步地算出該已導出的運動向量與運動向量預測子的差分值。熵編碼部110是將該差分值作為差分運動向量資訊而編碼於串流中。

圖18是顯示本實施形態中的解碼裝置200所進行的動態補償之其他例子的流程圖。圖10所示的解碼裝置200在對已編碼的複數個圖片所構成的動態圖像進行解碼時，解碼裝置200的框間預測部218等會執行圖18所示的處理。

具體來說，框間預測部218是按照相當於上述預測單元的每一個預測區塊，來對該預測區塊即解碼對象區塊進行動態補償。此時，框間預測部218首先是根據時間上或空間上位於預測區塊周圍的複數個解碼完成區塊的運動向量等資訊，來對該預測區塊取得複數個候選運動向量(步驟S211)。

接著，框間預測部218是利用解碼完成區域的再構成圖像，來算出在步驟S211中已取得的複數個候選運動向量的每一個之評價值。亦即，框間預測部218是根據FRUC，亦即模板匹配方式或雙向匹配方式來算出其等的評價值。並且，框間預測部218是根據該複數個候選運動向量的評價值，從複數個候選運動向量之中將N個(N為2以上的整數)候選運動向量的每一個擷取作為運動向量預測子候選(步驟S212a)。亦即，框間預測部218是根據上述之評價結果，而從複數個候選運動向量中將N個候選運動向量擷取作為上述至少1個運動向量預測子候選之全部。更具體來說，框間預測部218是從複數個候選運動向量中，將在評價結果較佳的順位上排名前N個的候選運動向量擷取作為上述至少1個運動向量預測子候選之全部。換言之，框間預測部218是從複數個候選運動向量中，將在評價值較高的順位上排名前N個的候選運動向量分別擷取作為運動向量預測子候選。

再者，框間預測部218亦可針對該已擷取的N個運動向量預測子候選的每一個，在周邊區域中細密地移動該已選擇的運動向量預測子候選，以將由FRUC進行的評價值變得更高，藉此來對該運動向量預測子候選進行補正。亦即，框間預測部218亦可藉由細密地搜尋使藉由FRUC進行的評價值變得更高的區域，來補正該等運動向量預測子候選。

接著，框間預測部218是利用運動向量預測子選擇資訊，從已擷取的N個運動向量預測子候選中，選擇1個運動向量預測子候選來作為預測區塊的運動向量預測子，其中該運動向量預測子選擇資訊是從已輸入至解碼裝置200的串流中藉由熵解碼部202解碼而成的資訊(步驟S212b)。亦即，熵解碼部202是對運動向量預測子選擇資訊進行解碼，該運動向量預測子選擇資訊是用於識別運動向量預測子的資訊。並且，框間預測部218是從已擷取的N個運動向量預測子候選中，將藉由已解碼的運動向量預測子選擇資訊所識別的運動向量預測子候選，選擇作為該運動向量預測子。

接著，框間預測部218是利用差分運動向量資訊來導出預測區塊的運動向量，其中該差分運動向量資訊是從已輸入至解碼裝置200的串流中藉由熵解碼部202解碼而成的資訊(步驟S213)。具體來說，框間預測部218是對該已解碼的差分運動向量資訊即差分值、及已選擇的運動向量預測子進行加法運算，藉此導出預測區塊的運動向量。亦即，熵解碼部202是對差分運動向量資訊進行解碼，該差分運動向量資訊是顯示2個運動向量的差分之差分資訊。並且，框間預測部218是在由該已解碼的差分資訊所示的差分上，加上已選擇的運動向量預測子，藉此來導出解碼對象區塊即預測區塊的運動向量。

圖19是用於說明從複數個候選運動向量中擷取N個運動向量預測子候選的方法之圖。

在圖17及圖18所示的例子中，框間預測部126及218是從複數個候選運動向量之中，將在評價值較高的順位上排名前N個的候選運動向量分別擷取作為運動向量預測子候選。具體來說，在N=2的情況下，如圖19之(a)所示，框間預測部126及218是從全部的候選運動向量之中，將在評價值較高的順位上排名前2個的候選運動向量分別擷取作為運動向量預測子候選1及2。

但是，框間預測部126及218亦可將複數個候選運動向量分類成N個群組，並從N個群組的每一個中擷取在該群組中評價結果最佳的1個候選運動向量，藉此來擷取上述至少1個運動向量預測子候選之全部。具體來說，在N=2的情況下，如圖19之(b)所示，框間預測部126及218是將全部的候選運動向量分類成2個群組。第1個群組是例如根據編碼對象圖片內的區塊之運動向量等而得到的候選運動向量所隸屬的群組。第2個群組例如是根據和編碼對象圖片不同的圖片內的區塊之運動向量等而得到的候選運動向量所隸屬的群組。

並且，框間預測部126及218是從第1個群組中，將在該群組中評價值最高的1個候選運動向量擷取作為運動向量預測子候選1。再者，框間預測部126及218是從第2個群組中，將在該群組中評價值最高的1個候選運動向量擷取作為運動向量預測子候選2。

或者，框間預測部126及218亦可將複數個候選運動向量分類成M個(M是比N更大的整數)群組。並且，框間預測部126及218是從M個群組的每一個中，將在該群組中評價結果最佳的1個候選運動向量選擇作為代表候選運動向量。接著，框間預測部126及218亦可從已選擇的M個代表候選運動向量中，將在評價結果為較佳的順位上排名前N個的代表候選運動向量擷取作為上述至少1個運動向量預測子候選之全部。

具體來說，在M=3的情況下，如圖19之(c)所示，框間預測部126及218是將全部的候選運動向量分類成3個群組。第1個群組是例如根據編碼對象圖片內的編碼對象區塊之左側的區塊之運動向量等而得到的候選運動向量所隸屬的群組。第2個群組是例如根據編碼對象圖片內的編碼對象區塊之上側的區塊之運動向量等而得到的候選運動向量所隸屬的群組。第3個群組是例如根據和編碼對象圖片不同的圖片內的區塊之運動向量等而得到的候選運動向量所隸屬的群組。

並且，框間預測部126及218是從第1個群組中，將在該第1個群組中評價值最高的1個候選運動向量選擇作為代表候選運動向量1。再者，框間預測部126及218是從第2個群組中，將在該第2個群組中評價值最高的1個候選運動向量選擇作為代表候選運動向量2。再者，框間預測部126及218是從第3個群組中，將在該第3個群組中評價值最高的1個候選運動向量選擇作為代表候選運動向量3。

接著，框間預測部126及218是從已擷取的3個代表候選運動向量中，將在評價值較高的順位上排名前2個的代表候選運動向量分別擷取作為運動向量預測子候選。

再者，雖然在圖19所示的例子中，是擷取2個運動向量預測子候選，但並不限定於2個，也可以擷取3個以上的運動向量預測子候選。 [實施形態2的效果等]

本實施形態之編碼裝置，是對動態圖像進行編碼的編碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，根據與前述動態圖像中的編碼對象區塊相對應的複數個編碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，從前述複數個候選運動向量中，擷取前述編碼對象區塊的至少1個運動向量預測子候選，且參照包含於前述動態圖像的參照圖片來導出前述編碼對象區塊的運動向量，對於已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子、及已導出的前述編碼對象區塊的運動向量之差分進行編碼，利用已導出的前述編碼對象區塊之運動向量來對前述編碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是根據前述複數個候選運動向量的每一個的評價結果來擷取前述至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量。再者，記憶體可為框記憶體122，亦可為其他記憶體，處理電路亦可包含有例如框間預測部126及熵編碼部110等。

藉此，至少1個運動向量預測子候選之全部，是根據複數個候選運動向量的每一個之評價結果，亦即藉由FRUC所進行的評價結果來進行擷取，其中該複數個候選運動向量不使用編碼對象區塊的圖像區域，而是使用了動態圖像中編碼完成區域之再構成圖像的候選運動向量。從而，可以提高編碼對象區塊即預測區塊的預測精度，並可以謀求編碼效率之提升。再者，在本實施形態中，不用根據事先規定的優先順序來擷取運動向量預測子候選。因此，只要生成根據FRUC所進行的評價結果之擷取用的候選清單，就可以擷取全部的運動向量預測子候選，而不需要生成根據優先順序之擷取用的候選清單。從而，可抑制處理負擔的增加並且可以謀求編碼效率的提升。

又，前述處理電路亦可在前述至少1個運動向量預測子候選的擷取中，從前述複數個候選運動向量中只選擇前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部，並在前述差分的編碼中，對已選擇的前述候選運動向量即前述運動向量預測子、以及已導出的前述編碼對象區塊的運動向量之差分進行編碼。

藉此，例如，如圖15所示，可擷取1個運動向量預測子候選，且選擇該運動向量預測子候選來作為運動向量預測子。另一方面，在擷取複數個運動向量預測子候選，並從該複數個運動向量預測子候選中選擇1個運動向量預測子的情況下，必須將用於識別該已選擇的運動向量預測子的資訊編碼並包含於串流中。但是，在圖15所示的例子中，由於是擷取1個運動向量預測子候選，且選擇該運動向量預測子候選來作為運動向量預測子，因此並不需要對這樣的資訊進行編碼。從而，可以謀求編碼量的減少。

又，前述處理電路亦可在前述至少1個運動向量預測子候選的擷取中，從前述複數個候選運動向量中，根據前述評價結果來將N個(N為2以上的整數)候選運動向量擷取作為前述至少1個運動向量預測子候選之全部，前述處理電路更進一步地從已擷取的N個運動向量預測子候選中選擇前述運動向量預測子，而對用於識別已選擇的前述運動向量預測子之選擇資訊進行編碼，且在前述差分的編碼中，是對已選擇的前述運動向量預測子、以及已導出的前述編碼對象區塊的運動向量之差分進行編碼。

藉此，例如，如圖17所示，可擷取複數個運動向量預測子候選，且可以從該等之中，利用編碼對象區塊即預測區塊的圖像，來將預測精度較高的運動向量預測子候選選擇作為運動向量預測子。從而，可以謀求編碼效率的提升。又，由於可將用於識別像這樣選擇的運動向量預測子之選擇資訊加以編碼，因此解碼裝置可以藉由對該選擇資訊進行解碼，而適當地特定在編碼裝置中被選擇作為運動向量預測子的運動向量預測子候選。從而，可以使解碼裝置適當地對已編碼的動態圖像進行解碼。

又，前述處理電路在前述至少1個運動向量預測子候選的擷取中，亦可從前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前N個的候選運動向量擷取作為前述至少1個運動向量預測子候選之全部。例如，前述複數個候選運動向量的每一個之評價結果是差分越小為越佳的評價結果，其中該差分是由該候選運動向量所特定的第1編碼完成區域的再構成圖像、以及第2編碼完成再構成圖像的差分。

藉此，例如，如圖19之(a)所示，可以從複數個候選運動向量中，優先地選擇出預測精度較高的N個運動向量預測子候選。

又，前述處理電路在前述至少1個運動向量預測子候選的擷取中，亦可將前述複數個候選運動向量分類成N個群組，並從前述N個群組的每一個群組中，擷取在該群組中前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部。例如，如圖19之(b)所示，複數個候選運動向量是被分類成彼此性質不同的N個群組。並且，由於是從N個群組的每一個中，擷取評價結果最佳的1個運動向量預測子候選，因此可以擷取彼此性質不同，且預測精度較高的N個運動向量預測子候選。其結果，可以擴大運動向量預測子的選擇範圍，而可以提高選擇到預測精度更高的運動向量預測子之可能性。

又，前述處理電路在前述至少1個運動向量預測子候選的擷取中，亦可將前述複數個候選運動向量分類成M個(M是比N更大的整數)群組，且從前述M個群組的每一個中，將在該群組中前述評價結果最佳的1個候選運動向量選擇作為代表候選運動向量，並從已選擇的M個前述代表候選運動向量中，將在前述評價結果為較佳的順位上排名前N個的代表候選運動向量擷取作為前述至少1個運動向量預測子候選之全部。

藉此，例如，如圖19之(c)所示，即使在將複數個候選運動向量分類成比擷取的運動向量預測子候選之數量(亦即N個)更多的群組之情況下，仍可以擷取出彼此性質不同，且預測精度較高的N個運動向量預測子候選。

又，本實施形態中的解碼裝置，是對已編碼的動態圖像進行解碼的解碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，根據與前述動態圖像中的解碼對象區塊相對應的複數個解碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，從前述複數個候選運動向量中，擷取前述解碼對象區塊的至少1個運動向量預測子候選，且對顯示2個運動向量的差分之差分資訊進行解碼，在由已解碼的前述差分資訊所示的差分上，加上已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子，藉此導出前述解碼對象區塊的運動向量，利用已導出的前述解碼對象區塊之運動向量來對前述解碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是根據前述複數個候選運動向量的每一個之評價結果來擷取前述至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用前述解碼對象區塊的圖像區域，而是使用了前述動態圖像中解碼完成區域之再構成圖像的候選運動向量。再者，記憶體可以是框記憶體214，亦可為其他記憶體，處理電路亦可包含有例如框間預測部218及熵解碼部202等。

藉此，至少1個運動向量預測子候選之全部，是根據複數個候選運動向量的每一個之評價結果，亦即藉由FRUC所進行的評價結果來進行擷取，其中該複數個候選運動向量不使用解碼對象區塊的圖像區域，而是使用了動態圖像中解碼完成區域之再構成圖像的候選運動向量。從而，可以提高解碼對象區塊即預測區塊的預測精度，並可以謀求編碼效率之提升。此外，在本實施形態中，不用根據事先規定的優先順序來擷取運動向量預測子候選。因此，只要生成根據FRUC所進行的評價結果之擷取用的候選清單，就可以擷取全部的運動向量預測子候選，而不需要生成根據優先順序之擷取用的候選清單。從而，可抑制處理負擔的增加並且可以謀求編碼效率的提升。

又，前述處理電路亦可在前述至少1個運動向量預測子候選的擷取中，從前述複數個候選運動向量中只選擇前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部，並在前述解碼對象區塊的運動向量之導出中，在由已解碼的前述差分資訊所示的差分上，加上已選擇的前述候選運動向量即前述運動向量預測子，藉此來導出前述解碼對象區塊的運動向量。

藉此，例如，如圖16所示，可擷取1個運動向量預測子候選，且選擇該運動向量預測子候選來作為運動向量預測子。另一方面，在已擷取複數個運動向量預測子候選的情況下，必須將進行識別用的資訊從串流中解碼出來，其中該資訊是用於從該等運動向量預測子候選中識別已藉由編碼裝置選擇的運動向量預測子之資訊。但是，在圖16所示的例子中，由於是擷取1個運動向量預測子候選，且選擇該運動向量預測子候選來作為運動向量預測子，因此並不需要對這樣的資訊進行解碼。從而，可以謀求編碼量的減少。

又，前述處理電路亦可在前述至少1個運動向量預測子候選的擷取中，從前述複數個候選運動向量中，根據前述評價結果來將N個(N為2以上的整數)候選運動向量擷取作為前述至少1個運動向量預測子候選之全部，前述處理電路更進一步地對用於識別前述運動向量預測子的選擇資訊進行解碼，且從已擷取的N個運動向量預測子候選中，將藉由已解碼的前述選擇資訊所識別的運動向量預測子候選選擇作為前述運動向量預測子，並在前述解碼對象區塊的運動向量之導出中，在由已解碼的前述差分資訊所示的差分上，加上已選擇的前述運動向量預測子，藉此來導出前述解碼對象區塊的運動向量。

藉此，例如，如圖18所示，可擷取複數個運動向量預測子候選，且可以從其等之中，藉由選擇資訊來將預測精度較高的運動向量預測子候選選擇作為運動向量預測子。從而，可以謀求編碼效率的提升。

又，前述處理電路在前述至少1個運動向量預測子候選的擷取中，亦可從前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前N個的候選運動向量擷取作為前述至少1個運動向量預測子候選之全部。例如，前述複數個候選運動向量的每一個之評價結果是差分越小，則為越佳的評價結果，其中該差分是由該候選運動向量所特定的第1解碼完成區域的再構成圖像、以及第2解碼完成再構成圖像的差分。

藉此，例如，如圖19之(a)所示，可以從複數個候選運動向量中，優先地選擇預測精度較高的N個運動向量預測子候選。

又，前述處理電路在前述至少1個運動向量預測子候選的擷取中，也可以將前述複數個候選運動向量分類成N個群組，並從前述N個群組的每一個中擷取在該群組中前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部。例如，如圖19之(b)所示，可將複數個候選運動向量分類成彼此性質不同的N個群組。並且，由於是從N個群組的每一個中，擷取評價結果最佳的1個運動向量預測子候選，因此可以擷取彼此性質不同，且預測精度較高的N個運動向量預測子候選。其結果，可以擴展運動向量預測子的選擇範圍，且可以提高預測精度更高的運動向量預測子被選擇之可能性。

藉此，例如，如圖19之(c)所示，即使在將複數個候選運動向量分類成比擷取的運動向量預測子候選之數量(亦即N個)更多的群組之情況下，仍可以擷取彼此性質不同，且預測精度較高的N個運動向量預測子候選。

這些全面性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。 (實施形態3) [FRUC/優先順序的切換]

本實施形態中的編碼裝置及解碼裝置雖然具有與實施形態1同樣的構成，但特徵在於框間預測部126及218的處理動作。亦即，本實施形態也與實施形態2同樣，是解決上述[成為本揭示之基礎的知識見解]中的課題，亦即，必須對1個預測區塊製作彼此不同的複數個候選清單，而造成處理負擔增加的課題。

像本實施形態這樣的編碼裝置100，在上述至少1個運動向量預測子候選的擷取中，會對用於識別擷取方法的模式資訊進行編碼。並且，編碼裝置100是從第1擷取方法及第2擷取方法中，對於編碼對象區塊，選擇藉由該模式資訊而識別出的擷取方法，並依照已選擇的擷取方法，來擷取該至少1個運動向量預測子候選。在此，第1擷取方法是根據複數個候選運動向量之每一個的評價結果的擷取方法，其中該複數個候選運動向量不使用編碼對象區塊的圖像區域，而是使用了動態圖像中編碼完成區域之再構成圖像的候選運動向量。又，第2擷取方法是根據優先順序的擷取方法，該優先順序是對複數個候選運動向量事先規定的優先順序。

又，本實施形態中的解碼裝置200，在上述至少1個運動向量預測子候選的擷取中，是對用於識別擷取方法的模式資訊進行解碼。並且，解碼裝置200是從第1擷取方法及第2擷取方法中，對於解碼對象區塊，選擇藉由已解碼的模式資訊而識別出的擷取方法，並依照已選擇的擷取方法，來擷取該至少1個運動向量預測子候選。

亦即，本實施形態中的編碼裝置100及解碼裝置200是按每個預測區塊，將至少1個運動向量預測子候選的擷取方法切換成根據FRUC所進行的評價結果之擷取方法、及根據事先規定的優先順序之擷取方法。

藉此，就不需要對預測區塊製作彼此不同的複數個候選清單，而可以抑制處理負擔的增加。

圖20是顯示由本實施形態中的編碼裝置100及解碼裝置200所進行的運動向量預測子之選擇方法的流程圖。

框間預測部126及218會判定模式資訊是顯示0或是顯示1(步驟S301)。模式資訊是用於識別至少1個運動向量預測子候選的擷取方法之資訊。具體來說，在模式資訊=0的情況下，該模式資訊是顯示第1擷取方法，亦即，根據由FRUC所進行的評價結果之擷取方法。在模式資訊=1的情況下，該模式資訊是顯示第2擷取方法，亦即，依照事先規定的優先順序之擷取方法。

在此，當判定為模式資訊所顯示的是0時，框間預測部126及218會與實施形態2同樣地，根據由FRUC所進行的評價結果來擷取至少1個運動向量預測子候選(步驟S302)。具體來說，框間預測部126及218是對複數個候選運動向量的每一個來進行使用了編碼完成或解碼完成之再構成圖像的評價。並且，框間預測部126及218是根據該評價結果，從複數個候選運動向量中擷取出至少1個運動向量預測子候選。

另一方面，當框間預測部126及218在步驟S301中判定為模式資訊所顯示的是1時，會與圖11及圖12所示的例子同樣地，擷取N個(N為2以上的整數)運動向量預測子候選(步驟S303)。具體來說，框間預測部126及218是依照事先規定的優先順序，從複數個候選運動向量中擷取N個運動向量預測子候選。

在步驟S302中已擷取出至少1個運動向量預測子候選時，框間預測部126及218是判定該已擷取的運動向量預測子候選之數量是否為複數個(步驟S304)。在此，當框間預測部126及218判定為已擷取的運動向量預測子候選之數量為1個時(步驟S304的否)，是將該已擷取的運動向量預測子候選選擇作為編碼對象區塊即預測區塊的運動向量預測子(步驟S305)。

另一方面，當框間預測部126及218判定為已擷取的運動向量預測子候選之數量為複數個時(步驟S304的是)，是從該複數個運動向量預測子候選中，將由運動向量預測子選擇資訊所識別的運動向量預測子候選選擇作為預測區塊的運動向量預測子(步驟S306)。

又，在步驟S303中已擷取N個運動向量預測子候選時，框間預測部126及218是從該N個運動向量預測子候選中，將由運動向量預測子選擇資訊所示的運動向量預測子候選選擇作為預測區塊的運動向量預測子(步驟S306)。

再者，上述模式資訊可藉由編碼裝置100的熵編碼部110而編碼於串流中，且可藉由解碼裝置200的熵解碼部202而從該串流中解碼出來。

可將這種模式資訊編碼於序列層、圖片層、及片段層當中的任一層之標頭區域中。亦即，熵編碼部110是將用於識別對包含在該層的各區塊之擷取方法的模式資訊，編碼於該層的標頭區域中。又，熵解碼部202是從該層的標頭區域中，將用於識別對包含在該層的各區塊之擷取方法的模式資訊解碼。

藉此，就可以按每一個序列、圖片、或片段來切換根據FRUC之擷取方法、及依照事先規定的優先順序之擷取方法。又，模式資訊亦可以預測區塊單位來編碼於串流中。亦即，熵編碼部110是按每一個包含於動態圖像的區塊，來對模式資訊進行編碼，其中該模式資訊是用於識別相對於該區塊的擷取方法之資訊。又，熵解碼部202是按每一個包含於動態圖像的區塊，來對模式資訊進行解碼，其中該模式資訊是用於識別對該區塊的擷取方法之資訊。藉此，就可以按每一個預測區塊來切換該等擷取方法。

再者，由模式資訊所示的上述數值(0或1)僅是一例，也可以是這些數值以外的數值。又，模式資訊也可以顯示數值以外的識別碼。亦即，只要是可以區別根據由FRUC所進行的評價結果之擷取方法、及依照事先規定的優先順序之擷取方法的識別碼即可，模式資訊顯示哪一種識別碼皆可。

又，上述運動向量預測子選擇資訊是藉由編碼裝置100的熵編碼部110而以預測區塊單位來編碼於串流中，且是藉由解碼裝置200的熵解碼部202而從該串流中解碼出來。 [實施形態3的效果等]

本實施形態中的編碼裝置，是對動態圖像進行編碼的編碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，並根據與前述動態圖像中的編碼對象區塊相對應的複數個編碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，從前述複數個候選運動向量中，擷取前述編碼對象區塊的至少1個運動向量預測子候選，且參照包含於前述動態圖像的參照圖片來導出前述編碼對象區塊的運動向量，對於已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子、及已導出的前述編碼對象區塊的運動向量之差分進行編碼，利用已導出的前述編碼對象區塊之運動向量來對前述編碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是對用於識別擷取方法的模式資訊進行編碼，且從第1擷取方法及第2擷取方法中，對於前述編碼對象區塊，選擇藉由前述模式資訊而識別出的擷取方法，並依照已選擇的前述擷取方法，來擷取前述至少1個運動向量預測子候選，前述第1擷取方法是根據前述複數個候選運動向量之每一個的評價結果的擷取方法，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量，前述第2擷取方法是根據優先順序的擷取方法，該優先順序是對前述複數個候選運動向量事先規定的優先順序。再者，記憶體可為框記憶體122，亦可為其他記憶體，處理電路亦可包含有例如框間預測部126及熵編碼部110等。

藉此，就可以因應於模式資訊而對編碼對象區塊即預測區塊來適用例如根據由FRUC所進行的評價結果的第1擷取方法、或根據事先規定的優先順序的第2擷取方法。亦即，可以切換擷取方法。從而，可以提高編碼對象區塊即預測區塊的預測精度，並可以謀求編碼效率之提升。此外，在本實施形態中，由於第1擷取方法及第2擷取方法的任一個擷取方法可適用在預測區塊中，因此毋須對預測區塊個別地生成第1擷取方法用的候選清單、及第2擷取方法用的候選清單。從而，可抑制處理負擔的增加並且可以謀求編碼效率的提升。

又，在前述模式資訊的編碼中，亦可將模式資訊編碼於前述動態圖像的串流中的序列層、圖片層、及片段層當中的任一層之標頭區域中，其中該模式資訊是用於識別對包含在前述層中的各區塊的擷取方法之資訊。

藉此，就可以用序列、圖片、或片段單位來切換擷取方法。又，相較於例如用預測區塊等區塊單位來切換擷取方法的情況，可以更加抑制模式資訊的編碼量。

又，在前述模式資訊的編碼中，亦可按每一個包含於前述動態圖像的區塊，來對模式資訊進行編碼，其中該模式資訊是用於識別對該區塊的擷取方法之資訊。

藉此，就可以用例如預測區塊等區塊單位來切換擷取方法。又，相較於以序列、圖片、或片段單位來切換擷取方法的情況，可以更加提高區塊的預測精度之提升的可能性。

又，本實施形態之解碼裝置，是對已編碼的動態圖像進行解碼的解碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，根據與前述動態圖像中的解碼對象區塊相對應的複數個解碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，從前述複數個候選運動向量中，擷取前述解碼對象區塊的至少1個運動向量預測子候選，且對顯示2個運動向量的差分之差分資訊進行解碼，在由已解碼的前述差分資訊所示的差分上，加上已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子，藉此導出前述解碼對象區塊的運動向量，利用已導出的前述解碼對象區塊的運動向量來對前述解碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，對用於識別擷取方法的模式資訊進行解碼，且從第1擷取方法及第2擷取方法中，對於前述解碼對象區塊，選擇藉由已解碼的前述模式資訊而識別出的擷取方法，並依照已選擇的前述擷取方法，來擷取前述至少1個運動向量預測子候選，前述第1擷取方法是根據前述複數個候選運動向量之每一個的評價結果的擷取方法，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量，前述第2擷取方法是根據優先順序的擷取方法，該優先順序是對前述複數個候選運動向量事先規定的優先順序。再者，記憶體可為框記憶體214，亦可為其他記憶體，處理電路亦可包含有例如框間預測部218及熵解碼部202等。

藉此，就可以因應於模式資訊而對解碼對象區塊即預測區塊來適用例如根據由FRUC所進行的評價結果的第1擷取方法、或根據事先規定的優先順序的第2擷取方法。亦即，可以切換擷取方法。從而，可以提高解碼對象區塊即預測區塊的預測精度，並可以謀求編碼效率之提升。此外，在本實施形態中，由於第1擷取方法及第2擷取方法的任一個擷取方法可適用在預測區塊中，因此毋須對預測區塊個別地生成第1擷取方法用的候選清單、及第2擷取方法用的候選清單。從而，可抑制處理負擔的增加並且可以謀求編碼效率的提升。

又，在前述模式資訊的解碼中，亦可從前述動態圖像之串流中的序列層、圖片層、及片段層當中的任一層之標頭區域中將模式資訊解碼，其中該模式資訊是用於識別對包含在前述層中的各區塊的擷取方法之資訊。

又，在前述模式資訊的解碼中，亦可按每一個包含於前述動態圖像的區塊，來對模式資訊進行解碼，其中該模式資訊是用於識別對該區塊的擷取方法之資訊。

這些全面性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。 (實施形態4) [從共通的候選清單中以FRUC、優先順序來擷取運動向量預測子候選]

本實施形態中的編碼裝置及解碼裝置雖然具有與實施形態1同樣的構成，但特徵在於框間預測部126及218的處理動作。亦即，本實施形態也與實施形態2及3同樣地，是解決上述[成為本揭示之基礎的知識見解]中的課題，亦即，必須對1個預測區塊製作彼此不同的複數個候選清單，而造成處理負擔增加的課題。

像本實施形態這樣的編碼裝置100，是從複數個候選運動向量中，擷取相對於編碼對象區塊的N個(N為2以上的整數)運動向量預測子候選。此時，編碼裝置100是生成下述候選清單：顯示複數個候選運動向量，且於第1擷取方法及第2擷取方法上共通的候選清單。並且，編碼裝置100是從該共通的候選清單所示的複數個候選運動向量中，依照第1擷取方法來擷取出M個(M為1以上且小於N的整數)運動向量預測子候選。再者，編碼裝置100是從該共通的候選清單所示的複數個候選運動向量中，依照第2擷取方法來擷取出L個(L=N－M)運動向量預測子候選。在此，第1擷取方法是根據複數個候選運動向量的每一個之評價結果的擷取方法，具體來說，是根據由FRUC所進行的評價結果之擷取方法，其中該複數個候選運動向量不使用編碼對象區塊的圖像區域，而是使用了動態圖像中編碼完成區域之再構成圖像的候選運動向量。又，第2擷取方法是根據優先順序的擷取方法，該優先順序是對複數個候選運動向量事先規定的優先順序。

又，本實施形態中的解碼裝置200是從複數個候選運動向量中，擷取相對於解碼對象區塊的N個(N為2以上的整數)運動向量預測子候選。此時，解碼裝置200是生成下述候選清單：顯示複數個候選運動向量，且於第1擷取方法及第2擷取方法上共通的候選清單。並且，解碼裝置200是從該共通的候選清單所示的複數個候選運動向量中，依照第1擷取方法而擷取M個(M為1以上且小於N的整數)運動向量預測子候選。再者，解碼裝置200是從該共通的候選清單所示的複數個候選運動向量中，依照第2擷取方法而設為擷取L個(L=N－M)運動向量預測子候選。

圖21是顯示本實施形態中的編碼裝置100所進行的動態補償之一例的流程圖。圖1所示的編碼裝置100在對以複數個圖片所構成的動態圖像進行編碼時，編碼裝置100的框間預測部126等是執行圖21所示的處理。

具體來說，框間預測部126是按照相當於上述預測單元的每一個預測區塊，來對該預測區塊即編碼對象區塊進行動態補償。此時，框間預測部126首先是根據時間上或空間上位於預測區塊周圍的複數個編碼完成區塊的運動向量等資訊，來對該預測區塊取得複數個候選運動向量(步驟S201)。此時，框間預測部126是生成下述候選清單：顯示在步驟S201中已取得的複數個候選運動向量，且在根據由FRUC所進行的評價結果之擷取方法、及根據事先規定的優先順序之擷取方法上共通的候選清單。

接著，框間預測部126是利用編碼完成區域的再構成圖像，來算出在步驟S201中已取得的複數個候選運動向量的每一個之評價值。亦即，框間預測部126是根據FRUC，亦即模板匹配方式或雙向匹配方式來算出該等評價值。並且，框間預測部126是根據該複數個候選運動向量的評價值，從上述共通的候選清單所示的複數個候選運動向量之中，將M個候選運動向量的每一個擷取作為運動向量預測子候選1(步驟S202aa)。亦即，框間預測部126是從複數個候選運動向量中，將在評價值為較高順位上排名前M個的候選運動向量分別擷取作為運動向量預測子候選。再者，框間預測部126亦可針對該已擷取的M個運動向量預測子候選的每一個，在周邊區域中細密地移動該已選擇的運動向量預測子候選1，以將由FRUC進行的評價值變得更高，藉此來補正該運動向量預測子候選1。亦即，框間預測部126亦可細密地搜尋使藉由FRUC進行的評價值變得更高的區域，藉此來補正該等運動向量預測子候選1。

此外，框間預測部126是從上述共通的候選清單所示的複數個候選運動向量之中，依照事先規定的優先順序來將L個候選運動向量的每一個擷取作為運動向量預測子候選2(步驟S202ab)。

並且，框間預測部126是將已擷取的M個運動向量預測子候選1及L個運動向量預測子候選2當中的任1個運動向量預測子候選，選擇作為預測區塊的運動向量預測子(步驟S202b)。此時，框間預測部126是輸出用於識別該已選擇的運動向量預測子之運動向量預測子選擇資訊。熵編碼部110是將該運動向量預測子選擇資訊編碼於串流中。

接著，框間預測部126是參照編碼完成參照圖片，而導出預測區塊的運動向量(步驟S203)。此時，框間預測部126是更進一步地算出該已導出的運動向量與運動向量預測子的差分值。熵編碼部110是將該差分值作為差分運動向量資訊而編碼於串流中。

再者，框間預測部126亦可取代如上述之以預測區塊為單位的動態補償，而以藉由分割預測區塊而得到的子區塊單位來同樣地導出運動向量，並以子區塊單位來進行動態補償。

圖22是顯示本實施形態中的解碼裝置200所進行的動態補償之一例的流程圖。圖10所示的解碼裝置200在對已編碼的複數個圖片所構成的動態圖像進行解碼時，解碼裝置200的框間預測部218等會執行圖22所示的處理。

此時，框間預測部218是生成下述候選清單：顯示在步驟S211中已取得的複數個候選運動向量，且在根據由FRUC所進行的評價結果之擷取方法、及根據事先規定的優先順序之擷取方法上共通的候選清單。

接著，框間預測部218是利用解碼完成區域的再構成圖像，來算出在步驟S211中已取得的複數個候選運動向量的每一個之評價值。亦即，框間預測部218是根據FRUC，亦即模板匹配方式或雙向匹配方式來算出該等評價值。並且，框間預測部218是根據該複數個候選運動向量的評價值，從上述共通的候選清單所示的複數個候選運動向量之中，將M個候選運動向量的每一個擷取作為運動向量預測子候選1(步驟S212aa)。亦即，框間預測部218是從複數個候選運動向量中，將在評價值為較高順位上排名前M個的候選運動向量分別擷取作為運動向量預測子候選。再者，框間預測部218亦可針對該已擷取的M個運動向量預測子候選的每一個，在周邊區域中細密地移動該已選擇的運動向量預測子候選1，以將由FRUC進行的評價值變得更高，藉此來補正該運動向量預測子候選1。亦即，框間預測部218亦可細密地搜尋使藉由FRUC進行的評價值變得更高的區域，藉此來補正該等運動向量預測子候選1。

再者，框間預測部218是從上述共通的候選清單所示的複數個候選運動向量之中，依照事先規定的優先順序來將L個候選運動向量的每一個擷取作為運動向量預測子候選2(步驟S212ab)。

接著，框間預測部218是利用運動向量預測子選擇資訊，從已擷取的M個運動向量預測子候選1及L個運動向量預測子候選2中，將1個運動向量預測子候選選擇作為預測區塊的運動向量預測子(步驟S212b)。亦即，熵解碼部202是對運動向量預測子選擇資訊進行解碼，該運動向量預測子選擇資訊是用於識別解碼對象區塊即預測區塊的運動向量預測子之資訊。並且，框間預測部218是從已擷取的N個運動向量預測子候選1及2中，將藉由已解碼的運動向量預測子選擇資訊所識別的運動向量預測子候選，選擇作為預測區塊的運動向量預測子。

接著，框間預測部218是利用差分運動向量資訊來導出預測區塊的運動向量，其中該差分運動向量資訊是從已輸入至解碼裝置200的串流中藉由熵解碼部202進行解碼而得的資訊(步驟S213)。具體來說，框間預測部218是對該已解碼的差分運動向量資訊即差分值、及已選擇的運動向量預測子進行加法運算，藉此導出預測區塊的運動向量。亦即，熵解碼部202是對差分運動向量資訊進行解碼，該差分運動向量資訊是顯示2個運動向量的差分之差分資訊。並且，框間預測部218是在該已解碼的差分資訊所示的差分上，加上已選擇的運動向量預測子，藉此來導出解碼對象區塊即預測區塊的運動向量。

再者，框間預測部218亦可取代如上述之以預測區塊為單位的動態補償，而以藉由分割預測區塊而得到的子區塊單位來同樣地導出運動向量，並以子區塊單位來進行動態補償。

在此，在本實施形態中，在框間預測部126及218所進行的依照第2擷取方法的擷取中，亦即在根據事先規定的優先順序之擷取中，亦可利用第1擷取方法的擷取結果，亦即根據由FRUC所進行的評價結果之擷取結果。亦即，框間預測部126及218是依照利用了第1擷取方法中的評價結果之優先順序，而從至少1個候選運動向量中擷取L個運動向量預測子候選，其中該至少1個候選運動向量是在共通的候選清單上所示的複數個候選運動向量當中，除了已藉由第1擷取方法擷取的M個運動向量預測子候選之外的其餘的至少1個候選運動向量。

圖23是用於說明本實施形態中的運動向量預測子候選的擷取方法之圖。

例如，框間預測部126及218是將共通的候選清單所示的複數個候選運動向量分類成K個(K是2以上的整數)群組。並且，在M個運動向量預測子候選1的擷取中，框間預測部126及218是從該共通的候選清單所示的複數個候選運動向量中，將在上述評價結果為較佳的順位上排名前M個的候選運動向量擷取作為M個運動向量預測子候選1。再者，在L個運動向量預測子候選2的擷取中，框間預測部126及218是依照優先順序，從1個以上的候選運動向量中擷取L個運動向量預測子候選2，其中該1個以上的候選運動向量在該共通的候選清單當中，是隸屬於除了該M個運動向量預測子候選1的每一個所隸屬的群組之外的至少1個群組之任一者。

具體來說，如圖23之(a)所示，在K=3、M=1、及L=1的情況下，框間預測部126及218首先是將共通的候選清單所示的複數個候選運動向量分類成3個群組G1~C3。群組G1是根據例如左側的區塊之運動向量等而得到的候選運動向量所隸屬的群組，其中該左側的區塊是編碼對象圖片內的編碼對象區塊之左側的區塊。群組G2是根據例如上側的區塊之運動向量等而得到的候選運動向量所隸屬的群組，其中該上側的區塊是編碼對象圖片內的編碼對象區塊之上側的區塊。群組G3是根據例如和編碼對象圖片不同的圖片內的區塊之運動向量等而得到的候選運動向量所隸屬的群組。

接著，框間預測部126及218是從共通的候選清單上所示的複數個候選運動向量中，將上述評價值最高的候選運動向量擷取作為運動向量預測子候選1。接著，框間預測部126及218是依照優先順序來從1個以上的候選運動向量中，擷取1個候選運動向量來作為運動向量預測子候選2，其中該1個以上的候選運動向量在共通的候選清單當中，是隸屬於除了該運動向量預測子候選1所隸屬的群組G1之外的群組G2及G3之任一者。

或者，框間預測部126及218是將共通的候選清單上所示的複數個候選運動向量分類成K個群組。並且，在M個運動向量預測子候選1的擷取中，框間預測部126及218是從該共通的候選清單上所示的複數個候選運動向量中，擷取在評價結果為較佳的順位上排名前M個的候選運動向量來作為M個運動向量預測子候選1。此外，框間預測部126及218是從複數個候選運動向量中，將評價結果最佳的候選運動向量特定為下一運動向量預測子候選，其中該複數個候選運動向量在共通的候選清單當中，是隸屬於除了該M個運動向量預測子候選1的每一個所隸屬的群組之外的至少1個群組之任一者。並且，在L個運動向量預測子候選2的擷取中，框間預測部126及218是從1個以上的候選運動向量中，依照優先順位來擷取L個運動向量預測子2，其中該1個以上的候選運動向量在共通的候選清單當中，是隸屬於與已特定的下一運動向量預測子候選所隸屬的群組相同的群組。

具體來說，如圖23之(b)所示，在K=3、M=1、及L=1的情況下，框間預測部126及218首先是與上述例子同樣地，將共通的候選清單上所示的複數個候選運動向量分類成3個群組。

接著，框間預測部126及218是從共通的候選清單上所示的複數個候選運動向量中，擷取上述評價值最高的候選運動向量來作為運動向量預測子候選1。再者，框間預測部126及218是從複數個候選運動向量當中，將評價值最高的候選運動向量4特定為下一運動向量預測子候選，其中該複數個候選運動向量在共通的候選清單當中，是隸屬於除了該運動向量預測子候選1所隸屬的群組G1之外的群組G2及G3之任一者。並且，框間預測部126及218是從1個以上的候選運動向量中，依照優先順序來擷取1個候選運動向量作為運動向量預測子候選2，其中該1個以上的候選運動向量在共通的候選清單當中，是隸屬於與群組G2相同的群組，且該群組G2是已特定的下一運動向量預測子候選，亦即候選運動向量4所隸屬的群組。

圖24是顯示共通的候選清單之一例的圖。

例如，框間預測部126及218是相對於圖24之(a)所示的編碼對象區塊或解碼對象區塊(以下，簡稱為處理對象區塊)，而生成圖24之(b)所示的共通之候選清單。此共通的候選清單是由L0清單與L1清單所構成。

具體來說，框間預測部126及218是將候選運動向量包含於共通的候選清單中，其中該候選運動向量是根據相鄰於處理對象區塊的相鄰區塊1、2、及5的運動向量之候選運動向量。相鄰區塊1是相鄰於處理對象區塊的左下之區塊，相鄰區塊2是相鄰於處理對象區塊的右上之區塊，相鄰區塊5是相鄰於處理對象區塊的左上之區塊。

例如，相鄰區塊1是藉由運動向量mvL01及mvL11而進行編碼或解碼。相鄰區塊2是藉由運動向量mvL02及mvL12而進行編碼或解碼。相鄰區塊5是藉由運動向量mvL05而進行編碼或解碼。在這種情況下，如圖24之(b)所示，框間預測部126及218是將根據該等運動向量的候選運動向量作為空間候選運動向量而包含於共通的候選清單中。再者，框間預測部126及218亦可將根據其他相鄰區塊的運動向量之候選運動向量，作為空間候選運動向量而包含於共通的候選清單中。其他相鄰區塊可為例如位於相鄰區塊2的右鄰之相鄰區塊3、或者是位於相鄰區塊1的下鄰之相鄰區塊4等。又，框間預測部126及218亦可根據顯示時間間隔來對相鄰區塊的運動向量進行縮放，且將已縮放之該運動向量作為候選運動向量而包含於候選清單中。

再者，框間預測部126及218亦可將時間候選運動向量及結合雙預測候選運動向量(mvL0b, mvL1b)包含於候選清單中。在時間候選運動向量中，會有例如Col候選運動向量(mvL0t, mvL1t)及單向(Unilateral)候選運動向量(mvL0u, mvL1u)。Col候選運動向量(mvL0t, mvL1t)是根據下述運動向量的候選運動向量：位於與包含處理對象區塊的圖片不同的圖片之區塊、例如位於與處理對象區塊相同的位置之區塊的運動向量。再者，Col候選運動向量(mvL0t, mvL1t)亦可為以顯示時間間隔來縮放運動向量而得到的候選運動向量，其中該運動向量是位於與包含處理對象區塊的圖片不同的圖片之區塊的運動向量。又，Col候選運動向量亦可為根據運動向量的候選運動向量，其中該運動向量是位於與處理對象區塊不同的位置之區塊的運動向量。再者，彼此不同的複數個Col候選運動向量亦可包含於候選清單中。單向(Unilateral)候選運動向量(mvL0u, mvL1u)是根據下述之區塊的運動向量之候選運動向量：與包含處理對象區塊的圖片不同的圖片中的區塊，且是考慮了移動量的位置上的區塊，其中該移動量是相對於前述處理對象區塊的位置而隨時間經過的移動量。結合雙預測候選運動向量(mvL0b, mvL1b)是組合候選清單的L0清單與L1清單之各自的運動向量來生成的候選運動向量。

在本實施形態中，例如圖24之(b)所示的候選清單，可共通地使用於根據由FRUC所進行的評價結果之擷取方法、及根據事先規定的優先順序之擷取方法。 [實施形態4的效果等]

本實施形態中的編碼裝置，是對動態圖像進行編碼的編碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，並根據與前述動態圖像中的編碼對象區塊相對應的複數個編碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，從前述複數個候選運動向量中，擷取相對於前述編碼對象區塊的N個(N為2以上的整數)運動向量預測子候選，且從已擷取的前述N個運動向量預測子候選中選擇運動向量預測子，並對用於識別已選擇的前述運動向量預測子之選擇資訊進行編碼，參照包含於前述動態圖像的參照圖片來導出前述編碼對象區塊的運動向量，且對已導出的前述編碼對象區塊的運動向量、及已選擇的前述運動向量預測子之差分進行編碼，並利用已導出的前述編碼對象區塊的運動向量來對前述編碼對象區塊進行動態補償，在前述N個運動向量預測子候選的擷取中，是生成候選清單，該候選清單是顯示前述複數個候選運動向量的清單，且是在第1擷取方法及第2擷取方法上共通的候選清單，從前述共通的候選清單上所示的前述複數個候選運動向量中，依照前述第1擷取方法來擷取M個(M為1以上且小於N之整數)運動向量預測子候選，且從前述共通的候選清單上所示的前述複數個候選運動向量中，依照前述第2擷取方法來擷取L個(L=N－M)運動向量預測子候選，前述第1擷取方法是根據前述複數個候選運動向量之每一個的評價結果的擷取方法，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量，前述第2擷取方法是根據優先順序的擷取方法，該優先順序是對前述複數個候選運動向量事先規定的優先順序。再者，記憶體可為框記憶體122，亦可為其他記憶體，處理電路亦可包含有例如框間預測部126及熵編碼部110等。

藉此，就可依照第1擷取方法，亦即根據由FRUC所進行的評價結果來擷取M個運動向量預測子候選。從而，可以提高編碼對象區塊即預測區塊的預測精度，並可以謀求編碼效率之提升。又，在本實施形態中，可生成於第1擷取方法及第2擷取方法上共通的候選清單。亦即，無論是依照該第1擷取方法來擷取M個運動向量預測子候選的情況，還是依照根據事先規定的優先順序的第2擷取方法來擷取L個運動向量預測子候選的情況，都可以參照共通的候選清單。其結果，毋須對預測區塊個別地生成第1擷取方法用的候選清單、及第2擷取方法用的候選清單。從而，可抑制處理負擔的增加並且可以謀求編碼效率的提升。

又，前述處理電路在依照前述第2擷取方法的擷取中，亦可從至少1個前述候選運動向量中，依照利用了前述第1擷取方法中的評價結果之前述優先順序，來擷取前述L個運動向量預測子候選，其中該至少1個候選運動向量是前述共通的候選清單上所示的前述複數個候選運動向量當中，除了藉由前述第1擷取方法所擷取的前述M個運動向量預測子候選之外的其餘的至少1個候選運動向量。

例如，如圖21所示，在依照第2擷取方法的擷取(例如步驟S202ab)中，可參照依照第1擷取方法的擷取結果(例如步驟S202aa)。從而，可以抑制以第1擷取方法與第2擷取方法將相同的候選運動向量擷取作為運動向量預測子候選的情形。

又，前述處理電路在前述N個運動向量預測子候選的擷取中，亦可將前述共通的候選清單上所示的前述複數個候選運動向量分類成K個(K為2以上的整數)群組，在依照前述第1擷取方法的擷取中，是從前述共通的候選清單上所示的前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前M個的候選運動向量擷取作為前述M個運動向量預測子候選，在依照前述第2擷取方法的擷取中，是依照前述優先順序，從1個以上的候選運動向量中擷取前述L個運動向量預測子候選，其中該1個以上的候選運動向量在前述共通的候選清單當中，是隸屬於除了前述M個運動向量預測子候選的每一個所隸屬的群組之外的至少1個群組之任一者。例如，前述複數個候選運動向量的每一個之評價結果是差分越小為越佳的評價結果，其中該差分是由該候選運動向量所特定的第1編碼完成區域的再構成圖像、以及第2編碼完成再構成圖像的差分。

例如，如圖23之(a)所示，可將複數個候選運動向量分類成彼此性質不同的K個群組。並且，可從K個群組之整體中擷取評價結果最佳的1個(M=1)運動向量預測子候選，並從該運動向量預測子候選所隸屬的群組以外的群組中，依照事先規定的優先順序來擷取另1個(L=1)運動向量預測子候選。從而，可以擷取彼此性質不同，且預測精度較高的2個(N=2)運動向量預測子候選。其結果，可以擴展運動向量預測子的選擇範圍，且可以提高預測精度更高的運動向量預測子被選擇之可能性。

又，前述處理電路在前述N個運動向量預測子候選的擷取中，亦可將前述共通的候選清單上所示的前述複數個候選運動向量分類成K個(K為2以上的整數)群組，在依照前述第1擷取方法的擷取中，是從前述共通的候選清單上所示的前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前M個的候選運動向量擷取作為前述M個運動向量預測子候選，並進一步地從複數個候選運動向量中，將前述評價結果最佳的候選運動向量特定為下一運動向量預測子候選，其中該複數個候選運動向量在前述共通的候選清單當中，是隸屬於除了前述M個運動向量預測子候選的每一個所隸屬的群組之外的至少1個群組之任一者，在依照前述第2擷取方法的擷取中，是依照前述優先順序，從1個以上的候選運動向量中擷取出前述L個運動向量預測子候選，其中該1個以上的候選運動向量在前述共通的候選清單當中，是隸屬於與已特定的前述下一運動向量預測子候選所隸屬的群組相同的群組。

例如，如圖23之(b)所示，可將複數個候選運動向量分類成彼此性質不同的K個群組。並且，可從K個群組之整體中擷取評價結果最佳的1個(M=1)運動向量預測子候選，並從該運動向量預測子候選所隸屬的群組以外的群組中，特定下一運動向量預測子候選。此外，可從與該下一運動向量預測子候選所隸屬的群組相同的群組中，依照優先順序來擷取另1個(L=1)運動向量預測子候選。從而，可以擷取彼此性質不同，且預測精度較高的2個(N=2)運動向量預測子候選。其結果，可以擴展運動向量預測子的選擇範圍，且可以提高預測精度更高的運動向量預測子被選擇之可能性。

又，本實施形態之解碼裝置，是對已編碼的動態圖像進行解碼的解碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，根據與前述動態圖像中的解碼對象區塊相對應的複數個解碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，從前述複數個候選運動向量中，擷取相對於前述解碼對象區塊的N個(N為2以上的整數)運動向量預測子候選，對用於識別前述解碼對象區塊的運動向量預測子之選擇資訊進行解碼，且從已擷取的前述N個運動向量預測子候選中，將藉由已解碼的前述選擇資訊所識別的運動向量預測子候選選擇作為前述運動向量預測子，並對顯示2個運動向量的差分之差分資訊進行解碼，在由已解碼的前述差分資訊所示的差分上，加上已選擇的前述運動向量預測子，藉此來導出前述解碼對象區塊的運動向量，且利用已導出的前述解碼對象區塊的運動向量來對前述解碼對象區塊進行動態補償，在前述N個運動向量預測子候選的擷取中，是生成候選清單，該候選清單是顯示前述複數個候選運動向量的清單，且是於第1擷取方法及第2擷取方法上共通的候選清單，從前述共通的候選清單上所示的前述複數個候選運動向量中，依照前述第1擷取方法來擷取M個(M為1以上且小於N的整數)運動向量預測子候選，且從前述共通的候選清單上所示的前述複數個候選運動向量中，依照前述第2擷取方法來擷取L個(L=N－M)運動向量預測子候選，前述第1擷取方法是根據前述複數個候選運動向量之每一個的評價結果的擷取方法，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量，前述第2擷取方法是根據優先順序的擷取方法，該優先順序是對前述複數個候選運動向量事先規定的優先順序。再者，記憶體可為框記憶體214，亦可為其他記憶體，處理電路亦可包含有例如框間預測部218及熵解碼部202等。

藉此，就可依照第1擷取方法，亦即根據由FRUC所進行的評價結果來擷取M個運動向量預測子候選。從而，可以提高解碼對象區塊即預測區塊的預測精度，並可以謀求編碼效率之提升。又，在本實施形態中，可生成於第1擷取方法及第2擷取方法上共通的候選清單。亦即，無論是依照該第1擷取方法來擷取M個運動向量預測子候選的情況，還是依照根據事先規定的優先順序之第2擷取方法來擷取L個運動向量預測子候選的情況，都可以參照共通的候選清單。其結果，毋須對預測區塊個別地生成第1擷取方法用的候選清單、及第2擷取方法用的候選清單。從而，可抑制處理負擔的增加並且可以謀求編碼效率的提升。

又，前述處理電路在依照前述第2擷取方法的擷取中，亦可從至少1個前述候選運動向量中，依照利用了前述第1擷取方法中的評價結果之前述優先順序，來擷取前述L個運動向量預測子候選，其中該至少1個候選運動向量是在前述共通的候選清單上所示的前述複數個候選運動向量當中，除了藉由前述第1擷取方法所擷取的前述M個運動向量預測子候選之外的其餘的至少1個候選運動向量。

例如，如圖22所示，在依照第2擷取方法的擷取(例如步驟S212ab)中，是參照依照第1擷取方法的擷取結果(例如步驟S212aa)。從而，可以抑制以第1擷取方法與第2擷取方法將相同的候選運動向量擷取作為運動向量預測子候選的情形。

又，前述處理電路在前述N個運動向量預測子候選的擷取中，亦可將在前述共通的候選清單上所示的前述複數個候選運動向量分類成K個(K為2以上的整數)群組，在依照前述第1擷取方法的擷取中，是從前述共通的候選清單上所示的前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前M個的候選運動向量擷取作為前述M個運動向量預測子候選，在依照前述第2擷取方法的擷取中，是依照前述優先順序，從1個以上的候選運動向量中擷取前述L個運動向量預測子候選，其中該1個以上的候選運動向量在前述共通的候選清單當中，是隸屬於除了前述M個運動向量預測子候選的每一個所隸屬的群組之外的至少1個群組之任一者。例如，前述複數個候選運動向量的每一個之評價結果是差分越小為越佳的評價結果，其中該差分是由該候選運動向量所特定的第1解碼完成區域的再構成圖像、以及第2解碼完成再構成圖像的差分。

又，前述處理電路在前述N個運動向量預測子候選的擷取中，亦可將在前述共通的候選清單上所示的前述複數個候選運動向量分類成K個(K為2以上的整數)群組，在依照前述第1擷取方法的擷取中，是從前述共通的候選清單上所示的前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前M個的候選運動向量擷取作為前述M個運動向量預測子候選，並進一步地從複數個候選運動向量中，將前述評價結果最佳的候選運動向量特定為下一運動向量預測子候選，其中該複數個候選運動向量在前述共通的候選清單當中，是隸屬於除了前述M個運動向量預測子候選的每一個所隸屬的群組之外的至少1個群組之任一者，在依照前述第2擷取方法的擷取中，是依照前述優先順序，從1個以上的候選運動向量中擷取出前述L個運動向量預測子候選，其中該1個以上的候選運動向量在前述共通的候選清單當中，是隸屬於與已特定的前述下一運動向量預測子候選所隸屬的群組相同的群組。

這些全面性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。 [組裝例]

圖25是顯示上述各實施形態之編碼裝置100的組裝例之方塊圖。編碼裝置100具備處理電路160及記憶體162。例如，圖1所示之編碼裝置100的複數個構成要件是藉由圖25所示之處理電路160及記憶體162來組裝。

處理電路160是進行資訊處理的電路，且是可對記憶體162進行存取的電路。例如，處理電路160可為對動態圖像進行編碼之專用或通用的電子電路。處理電路160亦可為CPU之類的處理器。又，處理電路160亦可為複數個電子電路的集合體。又，例如，處理電路160亦可為在圖1所示之編碼裝置100的複數個構成要件當中，發揮除了用於儲存資訊的構成要件之外的複數個構成要件之作用。

記憶體162是儲存處理電路160用於對動態圖像進行編碼的資訊之通用或專用的記憶體。記憶體162可為電子電路，亦可連接至處理電路160上。又，亦可將記憶體162包含在處理電路160中。又，記憶體162亦可為複數個電子電路的集合體。又，記憶體162亦可為磁碟或光碟等，亦可表現為儲存器或記錄媒體等。又，記憶體162亦可為非揮發性記憶體，亦可為揮發性記憶體。

例如，在記憶體162中可儲存有欲編碼的動態圖像，亦可儲存有對應於已編碼之動態圖像的位元串。又，在記憶體162中亦可儲存有處理電路160對動態圖像進行編碼用的程式。

又，例如，記憶體162亦可在圖1所示之編碼裝置100的複數個構成要件當中，發揮用於儲存資訊的構成要件之作用。具體來說，記憶體162亦可發揮圖1所示之區塊記憶體118及框記憶體122的作用。更具體來說，在記憶體162中亦可儲存有處理完成子區塊、處理完成區塊、及處理完成圖片等。

再者，在編碼裝置100中，亦可不組裝圖1等所示之複數個構成要件的全部，且亦可不進行上述複數個處理的全部。圖1等所示之複數個構成要件的一部分亦可包含在其他的裝置中，且上述複數個處理的一部分亦可藉由其他的裝置來執行。並且，在編碼裝置100中，可組裝圖1等所示之複數個構成要件當中的一部分，且進行上述複數個處理的一部分，藉此即能夠以較少的編碼量來適當地處理動態圖像。

圖26是顯示上述各實施形態之解碼裝置200的組裝例之方塊圖。解碼裝置200具備處理電路260及記憶體262。例如，圖10所示之解碼裝置200的複數個構成要件是藉由圖26所示之處理電路260及記憶體262來組裝。

處理電路260是進行資訊處理的電路，且是可對記憶體262進行存取的電路。例如，處理電路260是對動態圖像進行解碼之通用或專用的電子電路。處理電路260亦可為CPU之類的處理器。又，處理電路260亦可為複數個電子電路的集合體。又，例如，處理電路260亦可在圖10所示之解碼裝置200的複數個構成要件當中，發揮除了用於儲存資訊的構成要件之外的複數個構成要件之作用。

記憶體262是儲存處理電路260用於對動態圖像進行解碼的資訊之通用或專用的記憶體。記憶體262可為電子電路，亦可連接至處理電路260上。又，亦可將記憶體262包含在處理電路260中。又，記憶體262亦可為複數個電子電路的集合體。又，記憶體262亦可為磁碟或光碟等，亦可表現為儲存器或記錄媒體等。又，記憶體262亦可為非揮發性記憶體，亦可為揮發性記憶體。

例如，在記憶體262中亦可儲存有對應於已編碼的動態圖像之位元串，亦可儲存有對應於已解碼的位元串之動態圖像。又，在記憶體262中亦可儲存有處理電路260對動態圖像進行解碼用的程式。

又，例如，記憶體262亦可在圖10所示之解碼裝置200的複數個構成要件當中，發揮用於儲存資訊的構成要件之作用。具體來說，記憶體262亦可發揮圖10所示之區塊記憶體210及框記憶體214的作用。更具體來說，在記憶體262中亦可儲存有處理完成子區塊、處理完成區塊、及處理完成圖片等。

再者，在解碼裝置200中，亦可不組裝圖10等所示之複數個構成要件的全部，且亦可不進行上述複數個處理的全部。圖10等所示之複數個構成要件的一部分亦可包含在其他的裝置中，且上述複數個處理的一部分亦可藉由其他的裝置來執行。並且，在解碼裝置200中，可組裝圖10等所示之複數個構成要件當中的一部分，且進行上述複數個處理的一部分，藉此即能夠以較少的編碼量來適當地處理動態圖像。 [補充說明]

上述各實施形態中的編碼裝置100及解碼裝置200亦可分別作為圖像編碼裝置及圖像解碼裝置來利用，亦可分別作為動態圖像編碼裝置及動態圖像解碼裝置來利用。或者，編碼裝置100及解碼裝置200可分別作為框間預測裝置來利用。也就是說，編碼裝置100及解碼裝置200亦可分別僅對應於框間預測部126及框間預測部218。

又，在上述各實施形態中，雖然是將預測區塊作為編碼對象區塊或解碼對象區塊來編碼或解碼，但是編碼對象區塊或解碼對象區塊並不限於預測區塊，亦可為子區塊，且亦可為其他區塊。

又，在上述各實施形態中，各構成要件可由專用之硬體構成，亦可藉由執行適合於各構成要件之軟體程式來實現。各構成要件亦可藉由CPU或處理器等程式執行部將已記錄於硬碟或半導體記憶體等記錄媒體的軟體程式讀取並執行來實現。

具體來說，編碼裝置100及解碼裝置200亦可各自具備有處理電路(Processing Circuitry)、及電連接於該處理電路之可由該處理電路存取之儲存裝置(Storage)。

處理電路包含專用的硬體及程式執行部之至少一個，且是利用儲存裝置來執行處理。又，儲存裝置在處理電路包含程式執行部的情形下，會儲存可藉由該程式執行部執行之軟體程式。

在此，實現上述各實施形態之編碼裝置100或解碼裝置200等的軟體，是如以下的程式。

也就是說，該程式是使電腦執行依照圖15~圖18及圖20~圖22當中的任一個所示的流程圖之處理。

又，如上所述，各構成要件亦可為電路。這些電路亦可整體構成為1個電路，亦可是各自不同的電路。又，各構成要件亦可利用通用的處理器來實現，亦可利用專用的處理器來實現。

又，亦可令另外的構成要件執行特定的構成要件所執行的處理。又，亦可將執行處理的順序變更，且亦可將複數個處理並行來執行。又，亦可使編碼解碼裝置具備有編碼裝置100及解碼裝置200。

於說明中所用的第1及第2等的序數也可以適當地更換。又，對於構成要件等，可將序數重新給與，亦可去除。

以上，雖然根據各實施形態來說明編碼裝置100及解碼裝置200的態樣，但編碼裝置100及解碼裝置200的態樣並非限定於這些實施形態之態樣。只要不脫離本揭示之主旨，而將本發明所屬技術領域中具有通常知識者可設想得到之各種變形施行於實施形態者、或組合不同的實施形態中的構成要件而建構之形態，均可包含於編碼裝置100及解碼裝置200的態樣之範圍內。 (實施形態5)

在以上之各實施形態中，功能方塊的每一個通常可藉由MPU及記憶體等來實現。又，功能方塊的每一個所進行之處理，通常是藉由使處理器等程式執行部將已記錄於ROM等記錄媒體的軟體(程式)讀出並執行來實現。該軟體可藉由下載等來發布，亦可記錄於半導體記憶體等記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。

又，在各實施形態中所說明的處理，可藉由利用單一的裝置(系統)而集中處理來實現、或者亦可藉由利用複數個裝置而分散處理來實現。又，執行上述程式的處理器可為單個，亦可為複數個。亦即，可進行集中處理、或者亦可進行分散處理。

本發明不受以上之實施例所限定，可進行各種的變更，且該等變更亦包含於本發明之範圍內。

在此，更進一步地說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例及利用其之系統。該系統之特徵在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。針對系統中的其他構成，可以因應於情況而適當地變更。 [使用例]

圖27是顯示實現內容發送服務(content delivery service)的內容供給系統ex100之整體構成的圖。將通訊服務的提供地區分割成所期望的大小，且在各格區(cell)內分別設置固定無線電台即基地台ex106、ex107、ex108、ex109、ex110。

在此內容供給系統ex100中，可透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106~ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等各機器連接到網際網路ex101。該內容供給系統ex100亦可構成為組合並連接上述之任一要件。亦可在不透過作為固定無線電台之基地台ex106~ex110的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103，是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等各機器相連接。又，串流伺服器ex103是透過衛星ex116而與飛機ex117內之熱點(hot spot)內的終端等連接。

再者，亦可取代基地台ex106~ex110 ，而使用無線存取點或熱點等。又，串流伺服器ex103可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。

相機ex113是數位相機等可進行靜態圖攝影、及動態圖攝影之機器。又，智慧型手機ex115為對應於一般稱作2G、3G、3.9G、4G、還有今後被稱為5G的移動通訊系統之方式的智慧型電話機、行動電話機、或者PHS(Personal Handyphone System(個人手持電話系統))等。

家電ex118可為冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。

在內容供給系統ex100中，具有攝影功能之終端是透過基地台ex106等來連接到串流伺服器ex103，藉此使實況(live)即時發送等變得可行。在實況即時發送中，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內的終端等)是對使用者利用該終端所攝影之靜態圖或動態圖內容進行在上述各實施形態所說明的編碼處理，並對藉由編碼而得到的影像資料、及將對應於影像的聲音進行編碼而成的聲音資料進行多工化，來將所獲得的資料傳送至串流伺服器ex103。亦即，各終端是作為本發明的一個態樣的圖像編碼裝置而發揮功能。

另一方面，串流伺服器ex103會進行內容資料之串流發送，該內容資料即是對有要求之客戶端(client)傳送的內容資料。客戶端是指可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等。已接收到所發送之資料的各機器會將所接收到之資料解碼處理並播放。亦即，各機器是作為本發明之一個態樣的圖像解碼裝置而發揮功能。 [分散處理]

又，串流伺服器ex103亦可為複數個伺服器或複數台電腦，且將資料分散並處理或記錄以進行發送。例如，串流伺服器ex103可藉由CDN(內容傳遞網路，Contents Delivery Network)來實現，亦可藉由分散於全世界的多數個邊緣伺服器(edge server)與連接邊緣伺服器之間的網路來實現內容發送。在CDN上，會因應於客戶來動態地分配在物理上相近之邊緣伺服器。並且，可以藉由將內容快取(cache)及發送至該邊緣伺服器來減少延遲。又，由於可以在發生某種錯誤時或因流量之增加等而改變通訊狀態時，以複數個邊緣伺服器將處理分散、或將發送主體切換為其他的邊緣伺服器，來繞過已發生障礙的網路的部分以持續發送，因此可以實現高速且穩定的發送。

又，不僅是發送本身的分散處理，已攝影的資料之編碼處理亦可在各終端進行，且也可在伺服器側進行，亦可互相分擔來進行。作為一例，一般在編碼處理中，會進行2次處理循環。在第1次的循環中是檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次的循環中是進行維持畫質並提升編碼效率的處理。例如，藉由使終端進行第1次的編碼處理，且使接收內容之伺服器側進行第2次的編碼處理，可以減少在各終端之處理負荷並且提升內容的質與效率。此時，只要有以近乎即時的方式來進行接收並解碼的要求，也可以用其他終端來接收並播放終端已進行的第一次之編碼完成資料，因此也可做到更靈活的即時發送。

作為其他的例子，相機ex113等是從圖像中進行特徵量擷取，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會進行例如從特徵量判斷目標(object)之重要性並切換量化精度等的因應圖像之意義的壓縮。特徵量資料對於在伺服器之再度壓縮時的運動向量預測之精度及效率提升特別有效。又，亦可在終端進行VLC(可變長度編碼)等簡易的編碼，並在伺服器進行CABAC(上下文參考之適應性二值算術編碼方式)等處理負荷較大的編碼。

此外，作為其他的例子，在運動場、購物商場、或工廠等中，會有藉由複數個終端拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端、與因應需要而沒有進行攝影之其他終端及伺服器，以例如GOP(圖片群組，Group of Picture)單位、圖片單位、或將圖片分割而成之圖塊(tile)單位等來各自分配編碼處理而進行分散處理。藉此，可以減少延遲，而更加能夠實現即時性(real-time)。

又，由於複數個影像資料幾乎為相同的場景，因此亦可利用伺服器進行管理及/或指示，以將在各終端所攝影之影像資料互相地配合參照。或者，亦可使伺服器接收來自各終端之編碼完成資料，並在複數個資料間變更參照關係、或者補正或更換圖片本身並重新編碼。藉此，可以生成已提高一個個資料之質與效率的串流(stream)。

又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後再發送影像資料。例如，伺服器亦可將MPEG類之編碼方式轉換為VP類，亦可將H.264轉換為H.265。

如此，即可藉由終端或1個以上的伺服器來進行編碼處理。因此，以下雖然使用「伺服器」或「終端」等記載來作為進行處理之主體，但亦可在終端進行在伺服器進行之處理的一部分或全部，且亦可在伺服器進行在終端進行之處理的一部分或全部。又，有關於上述內容，針對解碼處理也是同樣的。 [3D、多角度]

近年來，以下作法也在逐漸增加中，即，將以彼此幾乎同步的複數台相機ex113及/或智慧型手機ex115等之終端所攝影到的不同場景、或者將從不同的角度攝影相同的場景之圖像或影像加以整合並利用。各終端所攝影到之影像會根據另外取得的終端間之相對的位置關係、或者包含於影像之特徵點為一致的區域等而被整合。

伺服器不僅對二維的動態圖像進行編碼，亦可根據動態圖像的場景解析等而自動地、或者在使用者所指定的時刻中，對靜態圖進行編碼並傳送至接收終端。此外，伺服器在可以取得攝影終端間之相對的位置關係的情況下，不僅是二維動態圖像，還可以根據相同場景從不同的角度所攝影之影像，來生成該場景之三維形狀。再者，伺服器亦可將藉由點雲(point cloud)而生成之三維的資料另外編碼，亦可根據使用三維資料來辨識或追蹤人物或目標的結果，而從複數個終端所攝影的影像中選擇、或再構成並生成欲傳送至接收終端的影像。

如此，使用者可以任意選擇對應於各攝影終端之各影像來享受場景，也可以享受從利用複數個圖像或影像再構成之三維資料中切出任意視點而成的影像之內容。此外，與影像同樣地，聲音也可從複數個不同的角度進行收音，且伺服器亦可配合影像，將來自特定之角度或空間的聲音與影像進行多工化並傳送。

又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界建立對應之內容也逐漸普及。在VR圖像的情形下，伺服器亦可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等在各視點影像間進行容許參照之編碼，亦可不互相參照而作為不同的串流來進行編碼。在不同的串流之解碼時，可使其互相同步來播放，以因應使用者之視點來重現虛擬的三維空間。

在AR圖像的情形下，伺服器會根據三維之位置或使用者之視點的移動，將虛擬空間上之虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可取得或保持虛擬物體資訊及三維資料，並因應使用者之視點的移動而生成二維圖像並順暢地連結，藉以製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者的視點之移動也傳送至伺服器，且伺服器配合從保持於伺服器之三維資料中所接收到的視點的移動來製作重疊資料，並將重疊資料編碼且發送至解碼裝置。再者，亦可為重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從三維資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式，將規定之值的RGB值設定為背景，而生成目標以外之部分是形成為背景色之資料。

同樣地，被發送之資料的解碼處理可在客戶端即各終端進行，亦可在伺服器側進行，亦可互相分擔而進行。作為一例，亦可使某個終端暫時將接收要求傳送至伺服器，並在其他終端接收因應該要求的內容且進行解碼處理，再將解碼完成之訊號傳送至具有顯示器的裝置。藉由不依靠可通訊之終端本身的性能而將處理分散並選擇適當之內容的作法，可以播放畫質良好的資料。又，作為其他的例子，亦可用TV等接收大尺寸之圖像資料，並將圖片分割後之圖塊等一部分的區域解碼，並顯示於鑑賞者之個人終端。藉此，可以將整體圖片共有化，並且可以就近確認自己負責的領域或想要更詳細地確認之區域。

又，今後可預想到下述情形：不論屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，利用MPEG-DASH等之發送系統規格，一邊對連接中的通訊切換適當的資料一邊無縫地接收內容。藉此，使用者不僅對本身之終端，連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且即時切換。又，可以做到根據本身的位置資訊等，一邊切換要進行解碼之終端及要進行顯示之終端並一邊進行解碼。藉此，也可在往目的地之移動中，一邊在埋入有可顯示之元件的鄰近建築物的牆面或地面的一部分顯示地圖資訊，一邊移動。又，也可做到如下情形，即，令編碼資料快取到可以在短時間內從接收終端進行存取之伺服器、或者複製到內容傳遞伺服器(content delivery server)中的邊緣伺服器等，根據在網路上對編碼資料的存取容易性，來切換接收資料之位元率(bit-rate)。 [可調式編碼]

關於內容之切換，是利用圖25所示之可調整的串流來進行說明，該可調整的串流應用了上述各實施形態中所示之動態圖像編碼方法，並進行壓縮編碼。雖然伺服器具有複數個內容相同而質卻不同的串流來作為個別的串流也無妨，但亦可如圖示般構成為藉由分層來進行編碼，而實現時間上/空間上可調整之串流，並活用該串流的特徵來切換內容。亦即，藉由使解碼側因應性能這種內在要因與通訊頻帶之狀態等的外在要因來決定要解碼至哪一層，解碼側即可自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網路電視等機器收看於移動中以智慧型手機ex115收看之影像的後續時，該機器只要將相同的串流解碼至不同的層即可，因此可以減輕伺服器側的負擔。

此外，如上述地，除了實現按每一層將圖片編碼、且在基本層之上位存在增強層(enhancement layer)之具可調整性(scalability)的構成以外，亦可使增強層包含有根據圖像之統計資訊等的元資訊，且使解碼側根據元資訊對基本層之圖片進行超解析，藉此來生成高畫質化之內容。所謂超解析可以是相同解析度中的SN比之提升、以及解析度之擴大的任一種。元資訊包含：用於特定超解析處理中使用之線形或非線形的濾波係數之資訊、或者特定超解析處理中使用之濾波處理、機械學習或最小平方運算中的參數值之資訊等。

或者，亦可構成為因應圖像內之目標等的含義而將圖片分割為圖塊等，且使解碼側選擇欲解碼之圖塊，藉此僅將一部分之區域解碼。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)作為元資訊加以儲存，解碼側即可根據元資訊特定出所期望之目標的位置，並決定包含該目標之圖塊。例如，如圖29所示，可使用HEVC中的SEI訊息等與像素資料為不同之資料保存構造來保存元資訊。此元資訊是表示例如主目標之位置、尺寸、或色彩等。

又，亦可以串流、序列或隨機存取單位等由複數個圖片構成之單位來保存元資訊。藉此，解碼側可以取得特定人物出現在影像內之時刻等，且藉由與圖片單位之資訊對照，可以特定出目標存在之圖片、以及目標在圖片內的位置。 [網頁之最佳化]

圖30是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖31是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖30及圖31所示，在網頁包含複數個對圖像內容之鏈接即鏈接圖像的情況下，其外觀會依閱覽之元件而不同。在畫面上可看到複數個鏈接圖像的情況下，直至使用者明確地選擇鏈接圖像、或者鏈接圖像接近畫面之中央附近或鏈接圖像之整體進入畫面內為止，顯示裝置(解碼裝置)都是顯示具有各內容之靜態圖或I圖片(框內編碼畫面，Intra Picture)作為鏈接圖像、或者以複數個靜態圖或I圖片等來顯示gif動畫之形式的影像、或者僅接收基本層來將影像解碼及顯示。

在已由使用者選擇出鏈接圖像的情況下，顯示裝置會將基本層設為最優先來解碼。再者，只要在構成網頁之HTML中具有表示屬於可調整之內容的資訊，亦可使顯示裝置解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常吃緊的情況下，顯示裝置可以藉由僅解碼及顯示前向參照(forward reference)之圖片(I圖片(框內編碼畫面)、P圖片(預測畫面，Predictive Picture)、僅前向參照之B圖片(雙向預估編碼畫面，Bidirectionally Predictive Picture))，來減低開頭圖片之解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始之間的延遲)。又，顯示裝置亦可特意無視圖片之參照關係，而將所有的B圖片及P圖片設成前向參照來粗略地解碼，並隨著時間經過使接收之圖片增加來進行正常的解碼。 [自動行駛]

又，在為了汽車之自動行駛或行駛支援而傳送接收二維或三維之地圖資訊等的靜態圖或影像資料的情況下，除了屬於1個以上的層的圖像資料之外，接收終端亦可將天候或施工之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊可以屬於層，亦可單純與圖像資料進行多工化。

此時，由於包含接收終端之車、無人機(drone)或飛機等會移動，因此藉由接收終端在接收要求時會傳送該接收終端之位置資訊之作法，即可一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端會因應使用者之選擇、使用者之狀況、或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度，或要將地圖資訊更新至何種程度。

如以上，在內容供給系統ex100中，客戶端可即時地接收使用者所傳送之已編碼的資訊，並進行解碼、播放。 [個人內容之發送]

又，在內容供給系統ex100中，不僅是來自影像發送業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容的單播(unicast)、或多播(multicast)發送也是可做到的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容作成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。

伺服器會在攝影時即時或累積於攝影後，從原圖或編碼完成資料中進行攝影錯誤、場景搜尋、意義解析、及目標檢測等辨識處理。而且，伺服器會根據辨識結果以手動或自動方式進行下述編輯：補正失焦或手震等、刪除亮度較其他圖片低或未聚焦之場景等重要性低的場景、強調目標之邊緣、變化色調等。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時會導致收視率下降的情況也是眾所皆知的，伺服器會根據圖像處理結果而以自動的方式，如上述地不僅對重要性低之場景還有動態較少的場景等進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來生成摘錄(digest)並進行編碼。

再者，在個人內容中，也有照原樣的話會有侵害著作權、著作人格權、或肖像權等之內容攝入的案例，也有當共享的範圍超過所欲共享之範圍等對個人來說不方便的情況。據此，例如，伺服器亦可將畫面周邊部之人臉、或房子內部等特意變更為未聚焦之圖像並編碼。又，伺服器亦可辨識編碼對象圖像內是否拍到與事先登錄之人物不同的人物的臉，並在拍到的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，使用者亦可基於著作權等之觀點而於圖像中指定想要加工之人物或背景區域後，令伺服器進行將所指定之區域替換為另外的影像、或者使焦點模糊等處理。如果是人物，可以在動態圖像中一邊追蹤人物一邊替換臉的部分的影像。

又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也會取決於頻帶寬，但解碼裝置首先會最優先地接收基本層並進行解碼及播放。解碼裝置亦可在這段期間內接收增強層，且於循環播放等播放2次以上的情形下，將增強層也包含在內來播放高畫質的影像。像這樣，只要是進行可調整之編碼的串流，就可以提供一種雖然在未選擇時或初次看到的階段是粗略的動態圖，但串流會逐漸智能化(smart)而使圖像變好的體驗。除了可調式編碼以外，即使將第1次播放之粗略的串流、與參照第1次之動態圖而編碼之第2次的串流構成為1個串流，也可以提供同樣的體驗。 [其他之使用例]

又，這些編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，亦可將動態圖像編碼或解碼用之軟體安裝到可以在電腦ex111等讀取之某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體來進行編碼或解碼處理。此外，當智慧型手機ex115為附有相機時，亦可傳送以該相機取得之動態圖資料。此時之動態圖資料是以智慧型手機ex115具有之LSIex500來編碼處理過之資料。

再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端首先會判定該終端是否對應於內容之編碼方式、或者是否具有特定服務之執行能力。在終端沒有對應於內容之編碼方式時、或者不具有特定服務之執行能力的情況下，終端會下載編碼解碼器或應用軟體，然後，取得及播放內容。

又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以安裝上述各實施形態之動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少任一個。由於是利用衛星等來將已使影像與聲音被多工化之多工資料乘載於播放用之電波來進行傳送接收，因此會有相對於內容供給系統ex100之容易形成單播的構成更適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。 [硬體構成]

圖32是顯示智慧型手機ex115之圖。又，圖33是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、顯示已將相機部ex465所拍攝到之影像以及在天線ex450所接收到之影像等解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等之操作部ex466、用於輸出聲音或音響之揚聲器等的聲音輸出部ex457、用於輸入聲音之麥克風等之聲音輸入部ex456、可保存所攝影之影像或靜態圖、錄音之聲音、接收之影像或靜態圖、郵件等已編碼之資料、或已解碼之資料的記憶體部ex467、及作為與SIMex468之間的介面部之插槽部ex464，該SIMex468是用於特定使用者，且以網路為首進行對各種資料的存取之認證。再者，取代記憶體部ex467而使用外接記憶體亦可。

又，統合地控制顯示部ex458及操作部ex466等之主控制部ex460，是透過匯流排ex470而連接於電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467。

電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力而將智慧型手機ex115起動為可運作之狀態。

智慧型手機ex115會根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等處理。通話時，是以聲音訊號處理部ex454將以聲音輸入部ex456所收音之聲音訊號轉換為數位聲音訊號，並以調變/解調部ex452對其進行展頻處理，接著以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，接著以聲音訊號處理部ex454轉換為類比聲音訊號後，由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455是藉由在上述各實施形態中所示的動態圖像編碼方法，將保存於記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454是將以相機部ex465拍攝影像或靜態圖等時被聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453是以規定之方式對編碼完成影像資料與編碼完成聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理，並透過天線ex450來傳送。

在已接收附加於電子郵件或網路聊天之影像、或鏈接至網頁等之影像的情形下，為了將透過天線ex450接收之多工資料解碼，多工/分離部ex453會藉由分離多工資料，而將多工資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並且將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455是藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459從顯示部ex458顯示被鏈接之動態圖像檔案中所含的影像或靜態圖。又，聲音訊號處理部ex454會將聲音訊號解碼，並從聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此依照使用者的狀況也可能在社會上不適合發出聲音的場所發生聲音的播放。因此，作為初始值，較理想的構成是，在不使聲音訊號播放的情形下僅播放影像資料。亦可僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放。

又，在此雖然以智慧型手機ex115為例進行了說明，但可作為終端而被考慮的有下述3種組裝形式：除了具有編碼器及解碼器兩者之傳送接收型終端以外，還有僅具有編碼器之傳送終端、以及僅具有解碼器之接收終端。此外，在數位播送用系統中，雖然是設成接收或傳送已在影像資料中將聲音資料等多工化之多工資料來進行說明，但在多工資料中，除了聲音資料以外，亦可將與影像有關聯之文字資料等多工化，且亦可接收或傳送影像資料本身而非多工資料。

再者，雖然是設為使包含CPU之主控制部ex460控制編碼或解碼處理並進行了說明，但終端具備GPU的情況也很多。因此，亦可構成為藉由在CPU與GPU上已共通的記憶體、或將位址管理成可以共通地使用的記憶體，來活用GPU之性能而將較寬廣區域一併處理。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是在不利用CPU的情形下，利用GPU並以圖片等單位來一併進行運動搜尋、解塊濾波方法(deblock filter)、SAO(取樣自適應偏移，Sample Adaptive Offset)、及轉換、量化之處理時，是有效率的。産業上之可利用性

本揭示可在例如電視機、數位錄影機、汽車導航系統、行動電話、數位相機、數位攝影機、視訊會議系統或電子鏡子等方面利用。

10~23‧‧‧區塊

100‧‧‧編碼裝置

102‧‧‧分割部

104‧‧‧減法部

106‧‧‧轉換部

108‧‧‧量化部

110‧‧‧熵編碼部

112、204‧‧‧逆量化部

114、206‧‧‧逆轉換部

116、208‧‧‧加法部

118、210‧‧‧區塊記憶體

120、212‧‧‧迴路濾波部

122、214‧‧‧框記憶體

124、216‧‧‧框內預測部

126、218‧‧‧框間預測部

128、220‧‧‧預測控制部

160、260‧‧‧處理電路

162、262‧‧‧記憶體

200‧‧‧解碼裝置

202‧‧‧熵解碼部

Cur block‧‧‧當前區塊

Cur Pic‧‧‧當前圖片

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧通訊網

ex106、ex107、ex108、ex109、ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧遊戲機

ex113‧‧‧相機

ex114‧‧‧家電

ex115‧‧‧智慧型手機

ex116‧‧‧衛星

ex117‧‧‧飛機

ex450‧‧‧天線

ex451‧‧‧傳送/接收部

ex452‧‧‧調變/解調部

ex453‧‧‧多工/分離部

ex454‧‧‧聲音訊號處理部

ex455‧‧‧影像訊號處理部

ex456‧‧‧聲音輸入部

ex457‧‧‧聲音輸出部

ex458‧‧‧顯示部

ex459‧‧‧顯示器控制部

ex460‧‧‧主控制部

ex461‧‧‧電源電路部

ex462‧‧‧操作輸入控制部

ex463‧‧‧相機介面部

ex464‧‧‧插槽部

ex465‧‧‧相機部

ex466‧‧‧操作部

ex467‧‧‧記憶體部

ex468‧‧‧SIM

ex470‧‧‧匯流排

MV0、MV1、MVx0、MVy0、MVx1、MVy1、v0、v1‧‧‧運動向量

Ref0、Ref1‧‧‧參照圖片

S101~S105、S111~S115、S201~S204、S211~S214、S202a、S202b、S212a、S212b、S202aa、S202ab、S212aa、S212ab、S301~S306‧‧‧步驟

TD0、TD1‧‧‧距離

圖1是顯示實施形態1之編碼裝置的功能構成之方塊圖。圖2是顯示實施形態1中的區塊分割的一例之圖。圖3是顯示對應於各轉換類型的轉換基底函數之表格。圖4A是顯示在ALF中所用的濾波器之形狀的一例之圖。圖4B是顯示在ALF中所用的濾波器之形狀的其他的一例之圖。圖4C是顯示在ALF中所用的濾波器之形狀的其他的一例之圖。圖5是顯示框內預測中的67個框內預測模式之圖。圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。圖8是用於說明假設了等速直線運動的模型之圖。圖9是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量的導出之圖。圖10是顯示實施形態1之解碼裝置的功能構成之方塊圖。圖11是顯示成為本揭示之基礎的其他編碼裝置所進行的動態補償之流程圖。圖12是顯示成為本揭示之基礎的其他解碼裝置所進行的動態補償之流程圖。圖13是用於說明評價值的算出方法之一例的圖。圖14是用於說明評價值的算出方法之其他例的圖。圖15是顯示實施形態2中的編碼裝置所進行的動態補償之一例的流程圖。圖16是顯示實施形態2中的解碼裝置所進行的動態補償之一例的流程圖。圖17是顯示實施形態2中的編碼裝置所進行的動態補償之其他例的流程圖。圖18是顯示實施形態2中的解碼裝置所進行的動態補償之其他例的流程圖。圖19(a)~(c)是用於說明在實施形態2中的從複數個候選運動向量中擷取N個運動向量預測子候選的方法之圖。圖20是顯示實施形態3中的編碼裝置及解碼裝置所進行的運動向量預測子之選擇方法的流程圖。圖21是顯示實施形態4中的編碼裝置所進行的動態補償之一例的流程圖。圖22是顯示實施形態4中的解碼裝置所進行的動態補償之一例的流程圖。圖23(a)、(b)是用於說明實施形態4中的運動向量預測子候選的擷取方法之圖。圖24(a)、(b)是顯示實施形態4中的共通之候選清單的一例之圖。圖25是顯示各實施形態之編碼裝置的組裝例之方塊圖。圖26是顯示各實施形態之解碼裝置的組裝例之方塊圖。圖27是實現內容發送服務(content delivery service)的內容供給系統之整體構成圖。圖28是顯示可調式編碼時之編碼構造的一例之圖。圖29是顯示可調式編碼時之編碼構造的一例之圖。圖30是顯示網頁的顯示畫面例之圖。圖31是顯示網頁的顯示畫面例之圖。圖32是顯示智慧型手機的一例之圖。圖33是顯示智慧型手機的構成例之方塊圖。

Claims

一種編碼裝置，是對動態圖像進行編碼的編碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，根據與前述動態圖像中的編碼對象區塊相對應的複數個編碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，從前述複數個候選運動向量中，擷取前述編碼對象區塊的至少1個運動向量預測子候選，參照包含於前述動態圖像的參照圖片來導出前述編碼對象區塊的運動向量，對已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子、及已導出的前述編碼對象區塊的運動向量之差分進行編碼，利用已導出的前述編碼對象區塊之運動向量來對前述編碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是根據前述複數個候選運動向量的每一個之評價結果來擷取前述至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量。
如請求項1之編碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是從前述複數個候選運動向量中只選擇前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部，在前述差分的編碼中，是對已選擇的前述候選運動向量即前述運動向量預測子、以及已導出的前述編碼對象區塊的運動向量之差分進行編碼。
如請求項1之編碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是從前述複數個候選運動向量中，根據前述評價結果來將N個(N為2以上的整數)候選運動向量擷取作為前述至少1個運動向量預測子候選之全部，前述處理電路更進一步地從已擷取的N個運動向量預測子候選中選擇前述運動向量預測子，並對用於識別已選擇的前述運動向量預測子之選擇資訊進行編碼，且在前述差分的編碼中，是對已選擇的前述運動向量預測子、以及已導出的前述編碼對象區塊的運動向量之差分進行編碼。
如請求項3之編碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是從前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前N個的候選運動向量擷取作為前述至少1個運動向量預測子候選之全部。
如請求項3之編碼裝置，其中，前述處理電路是在前述至少1個運動向量預測子候選的擷取中，將前述複數個候選運動向量分類成N個群組，並從前述N個群組的每一個中擷取在該群組中前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部。
如請求項3之編碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是將前述複數個候選運動向量分類成M個(M是比N更大的整數)群組，並從前述M個群組的每一個中，將在該群組中前述評價結果最佳的1個候選運動向量選擇作為代表候選運動向量，且從已選擇的M個前述代表候選運動向量中，將在前述評價結果為較佳的順位上排名前N個的代表候選運動向量擷取作為前述至少1個運動向量預測子候選之全部。
如請求項1至6中任一項之編碼裝置，其中，前述複數個候選運動向量的每一個之評價結果是差分越小為越佳的評價結果，其中該差分是由該候選運動向量所特定的第1編碼完成區域的再構成圖像、以及第2編碼完成再構成圖像的差分。
一種解碼裝置，是對已編碼的動態圖像進行解碼的解碼裝置，並具備處理電路、及連接於前述處理電路的記憶體，前述處理電路是利用前述記憶體，根據與前述動態圖像中的解碼對象區塊相對應的複數個解碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，而從前述複數個候選運動向量中，擷取前述解碼對象區塊的至少1個運動向量預測子候選，並對顯示2個運動向量的差分之差分資訊進行解碼，且在由已解碼的前述差分資訊所示的差分上，加上已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子，藉此導出前述解碼對象區塊的運動向量，利用已導出的前述解碼對象區塊之運動向量來對前述解碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是根據前述複數個候選運動向量的每一個之評價結果來擷取前述至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量。
如請求項8之解碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是從前述複數個候選運動向量中，只選擇前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部，在前述解碼對象區塊的運動向量之導出中，是在由已解碼的前述差分資訊所示的差分上，加上已選擇的前述候選運動向量即前述運動向量預測子，藉此來導出前述解碼對象區塊的運動向量。
如請求項8之解碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是從前述複數個候選運動向量中，根據前述評價結果來將N個(N為2以上的整數)候選運動向量擷取作為前述至少1個運動向量預測子候選之全部，前述處理電路更進一步地將用於識別前述運動向量預測子的選擇資訊解碼，且從已擷取的N個運動向量預測子候選中，將藉由已解碼的前述選擇資訊所識別的運動向量預測子候選選擇作為前述運動向量預測子，在前述解碼對象區塊的運動向量之導出中，是在由已解碼的前述差分資訊所示的差分上，加上已選擇的前述運動向量預測子，藉此來導出前述解碼對象區塊的運動向量。
如請求項10之解碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是從前述複數個候選運動向量中，將在前述評價結果為較佳的順位上排名前N個的候選運動向量擷取作為前述至少1個運動向量預測子候選之全部。
如請求項10之解碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是將前述複數個候選運動向量分類成N個群組，並從前述N個群組的每一個中擷取在該群組中前述評價結果最佳的1個候選運動向量，藉此來擷取前述至少1個運動向量預測子候選之全部。
如請求項10之解碼裝置，其中，前述處理電路在前述至少1個運動向量預測子候選的擷取中，是將前述複數個候選運動向量分類成M個(M是比N更大的整數)群組，並從前述M個群組的每一個中，將在該群組中前述評價結果最佳的1個候選運動向量選擇作為代表候選運動向量，且從已選擇的M個前述代表候選運動向量中，將在前述評價結果為較佳的順位上排名前N個的代表候選運動向量擷取作為前述至少1個運動向量預測子候選之全部。
如請求項8至13中任一項之解碼裝置，其中，前述複數個候選運動向量的每一個之評價結果是差分越小為越佳的評價結果，其中該差分是由該候選運動向量所特定的第1解碼完成區域的再構成圖像、以及第2解碼完成再構成圖像的差分。
一種編碼方法，是對動態圖像進行編碼的編碼方法，該編碼方法是根據與前述動態圖像中的編碼對象區塊相對應的複數個編碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，而從前述複數個候選運動向量中，擷取前述編碼對象區塊的至少1個運動向量預測子候選，並參照包含於前述動態圖像的參照圖片來導出前述編碼對象區塊的運動向量，且對已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子、及已導出的前述編碼對象區塊的運動向量之差分進行編碼，利用已導出的前述編碼對象區塊之運動向量來對前述編碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是根據前述複數個候選運動向量的每一個之評價結果來擷取前述至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量。
一種解碼方法，是對已編碼的動態圖像進行解碼的解碼方法，該解碼方法是根據與前述動態圖像中的解碼對象區塊相對應的複數個解碼完成區塊的每一個之運動向量，來取得複數個候選運動向量，而從前述複數個候選運動向量中，擷取前述解碼對象區塊的至少1個運動向量預測子候選，並對顯示2個運動向量的差分之差分資訊進行解碼，且在由已解碼的前述差分資訊所示的差分上，加上已擷取的前述至少1個運動向量預測子候選當中的運動向量預測子，藉此導出前述解碼對象區塊的運動向量，利用已導出的前述解碼對象區塊之運動向量來對前述解碼對象區塊進行動態補償，在前述至少1個運動向量預測子候選的擷取中，是根據前述複數個候選運動向量的每一個之評價結果來擷取前述至少1個運動向量預測子候選之全部，其中該複數個候選運動向量不使用前述編碼對象區塊的圖像區域，而是使用了前述動態圖像中編碼完成區域之再構成圖像的候選運動向量。