TW201826794A

TW201826794A - 編碼裝置、解碼裝置、編碼方法及解碼方法

Info

Publication number: TW201826794A
Application number: TW106140329A
Authority: TW
Inventors: 安倍清史; 西孝啓; 遠間正真; 橋本隆
Original assignee: 美商松下電器（美國）知識產權公司
Priority date: 2016-11-22
Filing date: 2017-11-21
Publication date: 2018-07-16
Also published as: WO2018097078A1

Abstract

一種編碼裝置，具備電路、及記憶體，電路是利用記憶體，從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用處理對象區塊的圖像區域，而是算出表示參照圖片的候選運動向量之評價值，其中該參照圖片是複數個候選運動向量當中，在2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示選擇參照圖片清單中所顯示的參照圖片之候選運動向量中，選擇最終運動向量，而利用最終運動向量來進行處理對象區塊的動態補償。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法

發明領域本揭示是有關於一種編碼裝置、解碼裝置、編碼方法及解碼方法。

發明背景在作為最新的動態圖像編碼標準規格之HEVC(High Efficiency Video Coding(高效率視訊編碼))規格中，為了提升編碼效率而進行了各種的檢討(參照例如非專利文獻1)。此方式是以H.26x表示之ITU-T(國際電信聯盟電信標準化部門)規格、及以MPEG-x表示之ISO/IEC規格，並且已作為以H.264/AVC、或MPEG-4 AVC表示之規格的後續之影像編碼規格來檢討。先前技術文獻

非專利文獻非專利文獻1：ITU-T Recommendation H.265「High efficiency video coding(高效率視訊編碼)」，2015年4月

發明概要發明欲解決之課題在這種的編碼方法及解碼方法中，所期望的是可以減低處理量。

本揭示之目的在於提供一種可以減低處理量之解碼裝置、編碼裝置、解碼方法或編碼方法。用以解決課題之手段

本揭示之一態樣的編碼裝置具備電路、及記憶體，前述電路是利用前述記憶體，從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。

本揭示之一態樣的解碼裝置具備電路、及記憶體，前述電路是利用前述記憶體，從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。

再者，這些全面性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意的組合來實現。發明效果

本揭示可以提供一種可以減低處理量之解碼裝置、編碼裝置、解碼方法或編碼方法。

用以實施發明之形態 (成為本揭示之基礎的知識見解) 例如，編碼裝置是按每個區塊來對圖像進行編碼。編碼裝置在按每個區塊來對圖像進行編碼時，可利用畫面間預測，亦可利用畫面內預測。編碼裝置是在處理對象區塊(當前區塊)的編碼中利用畫面間預測的情況下，檢測處理對象區塊的運動向量，且利用已檢測的運動向量來生成處理對象區塊的預測圖像。並且，編碼裝置是藉由對處理對象區塊的預測圖像、及處理對象區塊的原圖像之差分圖像進行編碼，以減少編碼量。

又，編碼裝置是對顯示運動向量的運動向量資訊進行編碼，且解碼裝置是對運動向量資訊進行解碼。此外，解碼裝置會對差分圖像進行解碼。並且，解碼裝置是利用藉由已解碼的運動向量資訊所顯示的運動向量，來生成處理對象區塊的預測圖像，並藉由對預測圖像及差分圖像進行加法運算，以再構成原圖像。藉此，解碼裝置可以將圖像解碼。

藉由編碼裝置對運動向量資訊進行編碼，且解碼裝置對運動向量資訊進行解碼，解碼裝置就可以利用在編碼裝置所使用的運動向量，來適當地生成處理對象區塊的預測圖像。另一方面，藉由將運動向量資訊編碼，而有編碼量增加的可能性。

編碼裝置及解碼裝置亦可為了減少這種編碼量，而利用一種稱為FRUC(畫面頻率提升，Frame Rate Up-Conversion)的技術。在FRUC中，編碼裝置及解碼裝置是在不進行運動向量資訊的編碼及解碼的情形下，在編碼裝置及解碼裝置中以相同的方法來導出運動向量。

例如，在雙向FRUC方式中，編碼裝置及解碼裝置是參照空間上或時間上相鄰於處理對象區塊的編碼完成區塊之運動向量，以導出各自具有預測運動向量的複數個候選運動向量。接著，編碼裝置及解碼裝置會算出複數個候選運動向量的各自的評價值，並根據評價值來選擇1個最終運動向量。接著，編碼裝置及解碼裝置會利用最終運動向量來進行動態補償。

又，評價值是藉由以候選運動向量所指示的參照圖片內之區域、以及與該參照圖片不同的規定之圖片內的區域之間的型樣匹配而算出的。例如，可利用在顯示順序上包夾處理對象圖片的2個參照圖片。亦即，會有下述之課題：作為可參照的圖片，並未存在有在顯示順序上包夾處理對象區塊的2個圖片的情況下，就不能利用這個方式。

再者，在P圖片中會有在參照圖片清單中僅登錄有1張參照圖片的情況，在此情況下，會有無法利用2張參照圖片的可能性。藉此，會有無法利用雙向FRUC方式的課題存在。

本揭示之一態樣的編碼裝置具備電路、及記憶體，前述電路是利用前述記憶體，從處理完成區塊的動態補償所用的運動向量中導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，且不使用前述處理對象區塊的圖像區域，而是參照顯示時間位於比前述處理對象圖片更前方及更後方當中相同方向的2張處理完成的參照圖片，來從前述複數個候選運動向量中選擇最終運動向量，並利用前述最終運動向量來進行前述處理對象區塊的動態補償。

藉此，例如，即使在可參照的圖片中，未存在有在顯示順序上包夾處理對象區塊的2個圖片之情況下，仍可以利用雙向FRUC。據此，由於可以在更多的情況中利用雙向FRUC方式，因此可以改善編碼效率。

例如，即使前述處理對象圖片為P圖片亦可。

藉此，由於可以對P圖片利用雙向FRUC，因此可以在更多的情況中利用雙向FRUC方式。據此，可以改善編碼效率。

例如，在用於前述處理對象圖片的參照圖片清單中顯示2張參照圖片的情況下，前述2張處理完成的參照圖片亦可為顯示於前述參照圖片清單中的前述2張參照圖片。

例如，亦可為在用於前述處理對象圖片的參照圖片清單中顯示1張參照圖片的情況下，前述2張處理完成的參照圖片的其中一張是顯示於前述參照圖片清單中的前述1張參照圖片，而前述2張處理完成的參照圖片之另一張是未顯示在前述參照圖片清單中的其他處理完成的參照圖片。

藉此，即使在P圖片的參照圖片清單中僅顯示1張參照圖片的情況下，仍可以利用雙向FRUC。據此，由於可以在更多的情況中利用雙向FRUC方式，因此可以改善編碼效率。

例如，前述電路亦可進一步地將顯示於前述參照圖片清單的前述1張參照圖片、及前述其他處理完成的參照圖片保存於圖片記憶體。

例如，亦可為在前述最終運動向量的選擇中，是參照前述2張處理完成的參照圖片，來算出前述複數個候選運動向量之各自的評價值，且根據已算出的評價值來選擇前述最終運動向量，前述2張處理完成參照圖片的前述其中一張，是前述複數個候選運動向量當中以處理對象的候選運動向量來表示的參照圖片，且前述2張處理完成參照圖片的前述另一張，是可參照的圖片當中，顯示時間最接近於前述處理對象圖片的圖片。

例如，即使前述處理對象圖片為B圖片亦可。

藉此，在B圖片中，即使在可參照的圖片中，未存在有在顯示順序上包夾處理對象區塊的2個圖片之情況下，仍可以利用雙向FRUC。據此，由於可以在更多的情況中利用雙向FRUC方式，因此可以改善編碼效率。

例如，亦可為在前述最終運動向量的選擇中，是參照前述2張處理完成的參照圖片，來算出前述複數個候選運動向量之各自的評價值，且根據已算出的評價值來選擇前述最終運動向量，前述處理對象圖片具有第1參照圖片清單及第2參照圖片清單，前述2張處理完成參照圖片的其中一張是前述複數個候選運動向量當中以處理對象的候選運動向量表示的參照圖片，且是屬於前述第1參照圖片清單的參照圖片，前述2張處理完成參照圖片的另一張是屬於前述第2參照圖片清單的參照圖片當中，顯示時間最接近於前述處理對象圖片的圖片。

本揭示之一態樣的解碼裝置具備電路、及記憶體，前述電路是利用前述記憶體，從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，且不使用前述處理對象區塊的圖像區域，而是參照顯示時間位於比前述處理對象圖片更前方及更後方當中相同方向的2張處理完成的參照圖片，來從前述複數個候選運動向量中選擇最終運動向量，並利用前述最終運動向量來進行前述處理對象區塊的動態補償。

例如，前述處理對象圖片亦可為P圖片。

例如，亦可為在前述最終運動向量的選擇中，是參照前述2張處理完成的參照圖片，來算出前述複數個候選運動向量之各自的評價值，且根據已算出的評價值來選擇前述最終運動向量，前述2張處理完成參照圖片的其中一張，是前述複數個候選運動向量當中以處理對象的候選運動向量表示的參照圖片，且前述2張處理完成參照圖片的另一張，是可參照的圖片當中，顯示時間最接近於前述處理對象圖片的圖片。

例如，前述處理對象圖片亦可為B圖片。

本揭示之一態樣的編碼方法，亦可從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，且不使用前述處理對象區塊的圖像區域，而是參照顯示時間位於比前述處理對象圖片更前方及更後方當中相同方向的2張處理完成的參照圖片，來從前述複數個候選運動向量中選擇最終運動向量，並利用前述最終運動向量來進行前述處理對象區塊的動態補償。

本揭示之一態樣的解碼方法，亦可從處理完成區塊的動態補償所用的運動向量中導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，且不使用前述處理對象區塊的圖像區域，而是參照顯示時間位於比前述處理對象圖片更前方及更後方當中相同方向的2張處理完成的參照圖片，來從前述複數個候選運動向量中選擇最終運動向量，並利用前述最終運動向量來進行前述處理對象區塊的動態補償。

此外，這些全面性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。

又，在雙向FRUC方式中，必須算出複數個候選運動向量之各自的評價值。據此，會有候選運動向量的數量變得越多，處理量越增加的課題。

藉此，由於可以使算出評價值的對象之候選運動向量變少，因此可以減低處理量。

例如，亦可為前述電路利用前述記憶體，並進一步地將前述2個參照圖片清單當中登錄於開頭的參照圖片之顯示時間較接近於前述處理對象圖片的顯示時間之參照圖片清單，決定為前述選擇參照圖片清單。

藉此，可以擷取更有用的候選運動向量。

例如，亦可為前述電路利用前述記憶體，並進一步地將前述2個參照圖片清單當中將登錄於開頭的參照圖片設定成更優先來解碼的參照圖片清單，決定為前述選擇參照圖片清單。

藉此，可以擷取更有用的候選運動向量。

例如，亦可為前述電路利用前述記憶體，並進一步地將前述2個參照圖片清單當中，登錄於開頭的參照圖片之量化寬度較小的參照圖片清單，決定為前述選擇參照圖片清單。

藉此，可以擷取更有用的候選運動向量。

例如，亦可為前述電路利用前述記憶體，並進一步地生成編碼位元流，其中該編碼位元流包含用於特定前述選擇參照圖片清單的資訊。

藉此，由於在解碼裝置中，亦可不進行決定選擇運動向量的處理，因此可以減低解碼裝置的處理量。

藉此，可以擷取更有用的候選運動向量。

例如，亦可為前述電路利用前述記憶體，並進一步地取得用於特定包含於編碼位元流的前述選擇參照圖片清單之資訊，以利用前述資訊來特定前述選擇參照圖片清單。

本揭示之一態樣的編碼方法，是從於處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。

本揭示之一態樣的解碼方法，是從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。

以下，參照圖式來具體地說明實施形態。

再者，在以下所說明的實施形態都是顯示全面性的或具體的例子之實施形態。以下實施形態所示的數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等，都只是一個例子，並非用來限定請求的範圍的主旨。又，以下的實施形態的構成要件之中，針對沒有記載在表示最上位概念之獨立請求項中的構成要件，是作為任意之構成要件來說明。 (實施形態1)

首先，說明實施形態1的概要，來作為可適用後述之本揭示的各態樣中說明的處理及/或構成的編碼裝置及解碼裝置之一例。但是，實施形態1只不過是可適用本揭示的各態樣中說明的處理及/或構成之編碼裝置及解碼裝置的一例，本揭示的各態樣中說明的處理及/或構成，亦可在與實施形態1不同的編碼裝置及解碼裝置中實施。

對實施形態1適用在本揭示的各態樣中所說明的處理及/或構成的情況下，亦可進行例如以下的任一項。 (1)對於實施形態1的編碼裝置或解碼裝置，可將構成該編碼裝置或解碼裝置的複數個構成要件當中，與本揭示的各態樣中所說明的構成要件相對應的構成要件，替換為本揭示的各態樣中所說明的構成要件。 (2)對於實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要件當中一部分的構成要件，施加了功能或實施之處理的追加、替換、刪除等任意的變更後，將與本揭示的各態樣中所說明的構成要件相對應的構成要件，替換為本揭示的各態樣中所說明的構成要件。 (3)對於實施形態1的編碼裝置或解碼裝置所實施的方法，可於施加了處理之追加、及/或針對該方法所包含的複數個處理當中的一部分之處理進行替換、刪除等任意的變更後，將與本揭示的各態樣中說明的處理相對應的處理，替換為本揭示的各態樣中所說明的處理。 (4)可將構成實施形態1的編碼裝置或解碼裝置之複數個構成要件當中的一部分之構成要件，與下述構成要件組合而實施：本揭示的各態樣中所說明的構成要件、具備有本揭示的各態樣中所說明的構成要件所具備的功能之一部分的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的處理之一部分的構成要件。 (5)可將具備構成實施形態1的編碼裝置或解碼裝置之複數個構成要件當中的一部分之構成要件所具備的功能之一部分的構成要件、或實施構成實施形態1的編碼裝置或解碼裝置之複數個構成要件當中的一部分之構成要件所實施的處理之一部分的構成要件，與下述構成要件組合而實施：本揭示的各態樣中所說明的構成要件、具備本揭示的各態樣中所說明的構成要件所具備的功能之一部分的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的處理之一部分的構成要件。 (6)對於實施形態1的編碼裝置或解碼裝置所實施的方法，可將在該方法所包含的複數個處理當中，與本揭示的各態樣中所說明的處理相對應的處理，替換為本揭示的各態樣中所說明的處理。 (7)可將實施形態1的編碼裝置或解碼裝置所實施的方法所包含的複數個處理當中之一部分的處理，與本揭示的各態樣中所說明的處理組合而實施。

再者，在本揭示的各態樣中所說明的處理及/或構成的實施之方式，並不限定於上述的例子。例如，亦可在以和實施形態1中揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置不同之目的來利用的裝置中實施，亦可單獨地來實施各態樣中所說明的處理及/或構成。又，也可以將不同的態樣中說明的處理及/或構成組合而實施。 [編碼裝置之概要]

首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位對動態圖像/圖像進行編碼的動態圖像/圖像編碼裝置。

如圖1所示，編碼裝置100是以區塊單位對圖像進行編碼的裝置，並具備分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、區塊記憶體118、迴路濾波部120、框記憶體122、框內預測部124、框間預測部126、及預測控制部128。

編碼裝置100可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128而發揮功能。又，編碼裝置100亦可作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、迴路濾波部120、框內預測部124、框間預測部126及預測控制部128的1個以上之專用的電子電路來實現。

以下，針對包含在編碼裝置100的各構成要件來進行說明。 [分割部]

分割部102是將包含在輸入動態圖像的各圖片分割成複數個區塊，且將各區塊輸出至減法部104。例如，分割部102首先將圖片分割為固定尺寸(例如128x128)的區塊。此固定尺寸的區塊被稱為編碼樹單元(CTU)。並且，分割部102會根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，而將各個固定尺寸的區塊分割成可變尺寸(例如64x64以下)的區塊。此可變尺寸的區塊有時被稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，在本實施形態中，亦可不需要區別CU、PU及TU，而使圖片內的一部分或全部的區塊成為CU、PU、TU的處理單位。

圖2是顯示實施形態1中的區塊分割的一例之圖。在圖2中，實線是表示藉由四元樹區塊分割的區塊交界，而虛線是表示藉由二元樹區塊分割的區塊交界。

在此，區塊10是128x128像素的正方形區塊(128x128區塊)。此128x128區塊10首先被分割成4個正方形的64x64區塊(四元樹區塊分割)。

左上的64x64區塊進一步被垂直地分割成2個矩形的32x64區塊，且左邊的32x64區塊進一步被垂直地分割成2個矩形的16x64區塊(二元樹區塊分割)。其結果，左上的64x64區塊被分割成2個16x64區塊11、12、以及32x64區塊13。

右上的64x64區塊被水平地分割為2個矩形的64x32區塊14、15(二元樹區塊分割)。

左下的64x64區塊被分割為4個正方形的32x32區塊(四元樹區塊分割)。4個32x32區塊當中，將左上的區塊及右下的區塊進一步地分割。左上的32x32區塊被垂直地分割成2個矩形的16x32區塊，且將右邊的16x32區塊進一步水平地分割為2個16x16區塊(二元樹區塊分割)。右下的32x32區塊被水平地分割成2個32x16區塊(二元樹區塊分割)。其結果，可將左下的64x64區塊分割成：16x32區塊16、2個16x16區塊17、18、2個32x32區塊19、20、與2個32x16區塊21、22。

右下的64x64區塊23未被分割。

如以上，在圖2中，區塊10是根據遞迴的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11~23。這種分割被稱為QTBT(四元樹加二元樹區塊結構(quad-tree plus binary tree))分割。

再者，在圖2中，雖然是將1個區塊分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割並不限定於此。例如，亦可將1個區塊分割成3個區塊(三元樹區塊分割)。這種包含了三元樹區塊分割的分割，被稱為MBT(多類型樹(multi type tree))分割。 [減法部]

減法部104是以由分割部102所分割的區塊單位來從原訊號(原樣本)中減去預測訊號(預測樣本)。也就是說，減法部104會算出編碼對象區塊(以下，稱為當前區塊)的預測誤差(也可稱為殘差)。而且，減法部104會將算出的預測誤差輸出至轉換部106。

原訊號是編碼裝置100的輸入訊號，且是表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在以下，有時也會將表示圖像的訊號稱為樣本。 [轉換部]

轉換部106是將空間區域的預測誤差轉換成頻率區域的轉換係數，並將轉換係數輸出至量化部108。具體來說，轉換部106是例如對空間區域的預測誤差進行預定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。

再者，轉換部106亦可從複數個轉換類型之中自適應地選擇轉換類型，且使用與所選擇的轉換類型相對應之轉換基底函數(transform basis function)，來將預測誤差轉換成轉換係數。有時將這種轉換稱為EMT(外顯性多重核心轉換(explicit multiple core transform))或AMT(適應性多重轉換(adaptive multiple transform))。

複數個轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I、及DST-VII。圖3是顯示對應於各轉換類型的轉換基底函數之表格。在圖3中N是表示輸入像素的數量。從這些複數個轉換類型之中的轉換類型之選擇，可依例如預測的種類(框內預測(intra-prediction)及框間預測(inter-prediction))而定，亦可依框內預測模式而定。

這種顯示是否適用EMT或AMT的資訊(可稱為例如AMT旗標(AMT flag))及顯示所選擇的轉換類型的資訊，可在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。

又，轉換部106也可以將轉換係數(轉換結果)再轉換。有時將這種再轉換稱為AST(適應性二次轉換(adaptive secondary transform))或NSST(不可分的二次轉換(non-separable secondary transform))。例如，轉換部106會按對應於框內預測誤差的轉換係數之區塊所包含的每個子區塊(例如4x4子區塊)進行再轉換。顯示是否適用NSST的資訊以及與NSST所使用的轉換矩陣相關的資訊，是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。

在此，可分離之(Separable)轉換是指以相當於輸入的維度之數來按各個方向分離並進行複數次轉換的方式，不可分離之(Non-Separable)轉換是指當輸入為多維時將2個以上的維度匯總而視為1維，且一次進行轉換的方式。

例如，作為不可分離之(Non-Separable)轉換的一例，可列舉如下之轉換：在輸入為4x4的區塊之情況下，將其視為具有16個要件的一種排列，而對該排列以16x16的轉換矩陣來進行轉換處理。

又，同樣地，於將4x4的輸入區塊視為具有16個要件的一種排列之後，對該排列進行複數次吉文斯旋轉(Givens rotation)之類的轉換(超立方吉文斯轉換，Hypercube Givens Transform)也是不可分離之轉換的例子。 [量化部]

量化部108是對從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以規定的掃描順序掃描當前區塊的轉換係數，且根據與所掃描的轉換係數相對應之量化參數(QP)來對該轉換係數進行量化。並且，量化部108會將當前區塊之已量化的轉換係數(以下，稱為量化係數)輸出到熵編碼部110及逆量化部112。

規定的順序是用於轉換係數的量化/逆量化之順序。例如，規定的掃描順序是以頻率的遞升順序(從低頻到高頻的順序)或遞降順序(從高頻到低頻的順序)來定義。

所謂量化參數是定義量化步距(量化寬度)的參數。例如，量化參數的值增加的話，會使量化步距也增加。也就是說，量化參數的值增加的話，會使量化誤差増大。 [熵編碼部]

熵編碼部110是藉由對從量化部108輸入之量化係數進行可變長度編碼，來生成編碼訊號(編碼位元流(bit stream))。具體來說，熵編碼部110是例如將量化係數二值化，而對二值訊號進行算術編碼。 [逆量化部]

逆量化部112是對來自量化部108的輸入即量化係數進行逆量化。具體來說，逆量化部112是以規定的掃描順序對當前區塊的量化係數進行逆量化。並且，逆量化部112會將當前區塊之已逆量化的轉換係數輸出到逆轉換部114。 [逆轉換部]

逆轉換部114是藉由對來自逆量化部112的輸入即轉換係數進行逆轉換，以復原預測誤差。具體來說，逆轉換部114是藉由對轉換係數進行與由轉換部106所進行的轉換相對應之逆轉換，來復原當前區塊的預測誤差。並且，逆轉換部114會將復原的預測誤差輸出至加法部116。

再者，由於復原的預測誤差會因量化而失去資訊，因此和減法部104算出的預測誤差並不一致。亦即，復原的預測誤差中包含有量化誤差。 [加法部]

加法部116會對來自逆轉換部114的輸入即預測誤差、及來自預測控制部128的輸入即預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部116會將再構成的區塊輸出到區塊記憶體118及迴路濾波部120。有時也將再構成區塊稱為局部解碼區塊(local decoding block)。 [區塊記憶體]

區塊記憶體118是用於保存在框內預測中所參照的區塊且也是編碼對象圖片(以下，稱為當前圖片)內的區塊之儲存部。具體來說，區塊記憶體118會保存從加法部116輸出的再構成區塊。 [迴路濾波部]

迴路濾波部120會對藉由加法部116再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體122。所謂迴路濾波器是在編碼迴路內使用的濾波器(內嵌式迴路濾波器(In-loop filter))，且包含例如去區塊濾波器(Deblocking Filter，DF)、取樣自適應偏移(Sample Adaptive Offset，SAO)及自適應迴路濾波器(Adaptive Loop Filter，ALF)等。

在ALF中，可適用去除編碼失真用的最小平方誤差濾波器，例如可適用按當前區塊內的2x2子區塊的每一個，根據局部的梯度(gradient)的方向及活動性(activity)來從複數個濾波器之中選擇的1個濾波器。

具體來說，首先，可將子區塊(例如2x2子區塊)分類成複數個類別(class)(例如15個或25個類別)。子區塊的分類是根據梯度的方向及活動性來進行。例如，可利用梯度的方向值D(例如0~2或0~4)與梯度的活性值A(例如0~4)來算出分類值C(例如C=5D＋A)。而且，根據分類值C，來將子區塊分類成複數個類別(例如15個或25個類別)。

梯度的方向值D可藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如對複數個方向的梯度作加法運算，並對加法結果進行量化來導出。

根據這種分類的結果，即可從複數個濾波器之中決定子區塊用的濾波器。

作為在ALF中所用的濾波器之形狀，可利用的有例如圓對稱形狀。圖4A~圖4C是顯示在ALF中所用的濾波器之形狀的複數個例子之圖。圖4A是顯示5x5菱形(diamond)形狀濾波器，圖4B是顯示7x7菱形形狀濾波器，圖4C是顯示9x9菱形形狀濾波器。顯示濾波器的形狀之資訊，是在圖片層級被訊號化。再者，顯示濾波器的形狀之資訊的訊號化並不需要限定於圖片層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級、CTU層級或CU層級)。

ALF的開啟/關閉(on/off)是在例如圖片層級或CU層級決定的。例如，針對亮度是在CU層級決定是否適用ALF，而針對色差則是在圖片層級決定是否適用ALF。顯示ALF的開啟/關閉之資訊，可在圖片層級或CU層級被訊號化。再者，顯示ALF的開啟/關閉之資訊的訊號化並不需要限定於圖片層級或CU層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級或CTU層級)。

可選擇的複數個濾波器(例如到15個或25個為止的濾波器)之係數集合(set)，是在圖片層級被訊號化。再者，係數集合的訊號化並不需要限定於圖片層級，也可以是其他的層級(例如序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。 [框記憶體]

框記憶體122是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體122會保存已藉由迴路濾波部120而被濾波的再構成區塊。 [框內預測部]

框內預測部124是參照已保存於區塊記憶體118的當前圖片內之區塊來進行當前區塊的框內預測(也稱為畫面內預測)，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部124是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部128。

例如，框內預測部124會利用事先規定的複數個框內預測模式之中的1個來進行框內預測。複數個框內預測模式包含1個以上之非方向性預測模式、以及複數個方向性預測模式。

1個以上的非方向性預測模式包含例如H.265/HEVC(高效率視訊編碼(High-Efficiency Video Coding))規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。

複數個方向性預測模式包含例如H.265/HEVC規格所規定的33個方向之預測模式。再者，複數個方向性預測模式亦可除了33個方向以外，更進一步地包含32個方向的預測模式(合計65個方向性預測模式)。圖5是顯示框內預測中的67個框內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭是表示H.265/HEVC規格所規定的33個方向，虛線箭頭是表示追加的32個方向。

再者，在色差區塊的框內預測中，亦可參照亮度區塊。也就是說，也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。有時可將這種框內預測稱為CCLM(交叉成分線性模型，cross-component linear model)預測。這種參照亮度區塊的色差區塊之框內預測模式(例如被稱為CCLM模式)，也可以作為1種色差區塊的框內預測模式來加入。

框內預測部124亦可根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。這種伴隨補正的框內預測有時被稱為PDPC(獨立位置框內預測組合，position dependent intra prediction combination)。顯示有無適用PDPC之資訊(被稱為例如PDPC旗標)，是在例如CU層級被訊號化。再者，此資訊的訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。 [框間預測部]

框間預測部126會參照保存在框記憶體122的參照圖片且也是與當前圖片不同的參照圖片，來進行當前區塊的框間預測(也稱為畫面間預測)，藉此生成預測訊號(框間預測訊號)。框間預測是以當前區塊或當前區塊內的子區塊(例如4x4區塊)之單位來進行。例如，框間預測部126是針對當前區塊或子區塊而在參照圖片內進行運動搜尋(運動估計(motion estimation))。而且，框間預測部126是利用以運動搜尋所得到的運動資訊(例如運動向量)來進行動態補償，藉此生成當前區塊或子區塊的框間預測訊號。而且，框間預測部126會將生成的框間預測訊號輸出至預測控制部128。

使用於動態補償的運動資訊會被訊號化。在運動向量的訊號化中，亦可使用運動向量預測子(motion vector predictor)。也就是說，亦可將運動向量與運動向量預測子之間的差分訊號化。

再者，不只是由運動搜尋得到的當前區塊之運動資訊，亦可連相鄰區塊的運動資訊也利用，來生成框間預測訊號。具體來說，亦可藉由將根據由運動搜尋得到的運動資訊之預測訊號、以及根據相鄰區塊的運動資訊之預測訊號作加權相加，藉此以當前區塊內的子區塊單位來生成框間預測訊號。這種框間預測(動態補償)有時被稱為OBMC(重疊區塊動態補償，overlapped block motion compensation)。

在這種OBMC模式中，顯示OBMC用的子區塊之尺寸的資訊(例如被稱為OBMC區塊尺寸)，是在序列層級被訊號化。又，顯示是否適用OBMC模式的資訊(例如被稱為OBMC旗標)，是在CU層級被訊號化。再者，這些資訊的訊號化之層級並不需要限定於序列層級及CU層級，亦可為其他的層級(例如圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

再者，也可以不將運動資訊訊號化，而在解碼裝置側導出。例如，也可以使用H.265/HEVC規格所規定的合併模式(merge mode)。又，亦可藉由例如在解碼裝置側進行運動搜尋來導出運動資訊。在此情況下，可在不使用當前區塊的像素值的情形下進行運動搜尋。

在此，針對在解碼裝置側進行運動搜尋的模式進行說明。有時將該在解碼裝置側進行運動搜尋的模式稱為PMMVD(型樣匹配運動向量導出，pattern matched motion vector derivation)模式、或FRUC(畫面頻率提升，frame rate up-conversion)模式。

首先，可參照空間上或時間上與當前區塊相鄰之編碼完成的區塊的運動向量，而生成各自具有運動向量預測子的複數個候選之清單(與合併清單共通亦可)。而且，算出候選清單所包含的各候選之評價值，並根據評價值來選擇1個候選。

而且，可根據所選擇的候選之運動向量，來導出當前區塊用的運動向量。具體來說，是例如，將所選擇的候選之運動向量原樣導出作為當前區塊用的運動向量。又，亦可例如，在與所選擇的候選之運動向量相對應的參照圖片內的位置之周邊區域中，藉由進行型樣匹配，來導出當前區塊用的運動向量。

再者，評價值是藉由與運動向量相對應的參照圖片內的區域、與規定的區域之間的型樣匹配來算出的。

作為型樣匹配，可使用第1型樣匹配或第2型樣匹配。有時會將第1型樣匹配及第2型樣匹配分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。

在第1型樣匹配中，是在為不同的2個參照圖片內的2個區塊且也是沿著當前區塊的運動軌跡(motion trajectory)的2個區塊之間進行型樣匹配。從而，在第1型樣匹配中，是使用沿著當前區塊的運動軌跡之其他參照圖片內的區域，來作為上述候選的評價值的算出用之規定的區域。

圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。如圖6所示，在第1型樣匹配中，是在為沿著當前區塊(Cur block)的運動軌跡之2個區塊且也是不同的2個參照圖片(Ref0、Ref1)內的2個區塊的配對中，搜尋最匹配的配對，藉此導出2個運動向量(MV0、MV1)。

在連續的運動軌跡的假設之下，指示2個參照區塊的運動向量(MV0、MV1)會相對於當前圖片(Cur Pic)與2個參照圖片(Ref0、Ref1)之間的時間上之距離(TD0、TD1)而成比例。例如，當前圖片在時間上位於2個參照圖片之間，且從當前圖片到2個參照圖片的時間上之距離為相等的情況下，在第1型樣匹配中，會導出鏡像對稱的雙向之運動向量。

在第2型樣匹配中，是在當前圖片內的模板(在當前圖片內與當前區塊相鄰的區塊(例如上及/或左的相鄰區塊))與參照圖片內的區塊之間進行型樣匹配。從而，在第2型樣匹配中，是使用在當前圖片內之與當前區塊相鄰的區塊，來作為上述候選的評價值的算出用之規定的區域。

圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。如圖7所示，在第2型樣匹配中，是藉由在參照圖片(Ref0)內搜尋：與在當前圖片(Cur Pic)內相鄰於當前區塊(Cur block)的區塊最匹配的區塊，以導出當前區塊的運動向量。

這種顯示是否適用FRUC模式的資訊(例如可稱為FRUC旗標)，是在CU層級被訊號化。又，在適用FRUC模式的情況下(例如FRUC旗標為真的情況下)，可將顯示型樣匹配的方法(第1型樣匹配或第2型樣匹配)之資訊(例如可稱為FRUC模式旗標)在CU層級訊號化。再者，這些資訊的訊號化並不需要限定於CU層級，亦可為其他的層級(例如，序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

再者，也可以藉由與運動搜尋不同的方法，在解碼裝置側導出運動資訊。例如，亦可根據假設了等速直線運動的模型，以像素單位使用周邊像素值來算出運動向量的補正量。

在此，針對根據假設了等速直線運動的模型來導出運動向量的模式進行說明。有時將此模式稱為BIO(雙向光流，bi-directional optical flow)模式。

圖8是用於說明假設了等速直線運動的模型之圖。在圖8中，(vx，vy)表示速度向量，而τ₀ 、τ₁ 分別表示當前圖片(Cur Pic)與2個參照圖片(Ref0，Ref1)之間的時間上之距離。(MVx₀ ，MVy₀ )是表示對應於參照圖片Ref₀ 的運動向量，(MVx₁ ，MVy₁ )是表示對應於參照圖片Ref₁ 的運動向量。

此時，在速度向量(v_x ，v_y )的等速直線運動的假設之下，(MVx₀ ，MVy₀ )及(MVx₁ ，MVy₁ )各自被表示成(v_x τ₀ ，v_y τ₀ )及(-v_x τ₁ ，-v_y τ₁ )，且以下的光流等式(1)成立。 [數學式1]

在此，I^(k) 是表示動態補償後的參照圖像k(k=0，1)之亮度值。此光流等式是表示下述的(i)、(ii)、及(iii)之和等於零：(i)亮度值的時間微分、(ii)水平方向的速度及參照圖像的空間梯度之水平成分的積、及(iii)垂直方向的速度及參照圖像的空間梯度之垂直成分的積。根據此光流等式與赫米內插法公式(Hermite interpolation)的組合，可將從合併清單等得到的區塊單位之運動向量以像素單位進行補正。

再者，亦可藉由與根據假設了等速直線運動的模型之運動向量的導出不同之方法，在解碼裝置側導出運動向量。例如，亦可根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量。

在此，針對根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量的模式進行說明。此模式被稱為仿射動態補償預測(affine motion compensation prediction)模式。

圖9是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量的導出之圖。在圖9中，當前區塊包含16個4x4子區塊。在此，是根據相鄰區塊的運動向量來導出當前區塊的左上角控制點之運動向量v₀ ，且根據相鄰子區塊的運動向量來導出當前區塊的右上角控制點之運動向量v₁ 。而且，利用2個運動向量v₀ 及v₁ ，並藉由以下的式(2)，來導出當前區塊內的各子區塊之運動向量(v_x ，v_y )。 [數學式2]

在此，x及y各自表示子區塊的水平位置及垂直位置，且w是表示預定的加權係數。

在這種仿射動態補償預測模式中，左上及右上角控制點的運動向量之導出方法也可以包含幾個不同的模式。這種顯示仿射動態補償預測模式的資訊(可稱為例如仿射旗標)，是在CU層級被訊號化。再者，顯示此仿射動態補償預測模式的資訊之訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。 [預測控制部]

預測控制部128會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。 [解碼裝置的概要]

接著，針對可對從上述編碼裝置100輸出的編碼訊號(編碼位元流)進行解碼之解碼裝置的概要進行說明。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位對動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。

如圖10所示，解碼裝置200具備熵解碼部202、逆量化部204、逆轉換部206、加法部208、區塊記憶體210、迴路濾波部212、框記憶體214、框內預測部216、框間預測部218、及預測控制部220。

解碼裝置200可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為熵解碼部202、逆量化部204、逆轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218、及預測控制部220而發揮功能。又，解碼裝置200也可以是作為對應於熵解碼部202、逆量化部204、逆轉換部206、加法部208、迴路濾波部212、框內預測部216、框間預測部218、及預測控制部220的1個以上之專用的電子電路來實現。

以下，針對包含在解碼裝置200的各構成要件來進行說明。 [熵解碼部]

熵解碼部202是對編碼位元流進行熵解碼。具體來說，熵解碼部202是例如從編碼位元流對二值訊號進行算術解碼。而且，熵解碼部202會對二值訊號進行多值化(debinarize)。藉此，熵解碼部202會以區塊單位將量化係數輸出至逆量化部204。 [逆量化部]

逆量化部204是對來自熵解碼部202的輸入即解碼對象區塊(以下，稱為當前區塊)的量化係數進行逆量化。具體來說，逆量化部204是針對當前區塊的量化係數的每一個，根據對應於該量化係數的量化參數，來對該量化係數進行逆量化。並且，逆量化部204會將當前區塊之已進行逆量化的量化係數(也就是轉換係數)輸出至逆轉換部206。 [逆轉換部]

逆轉換部206是藉由對來自逆量化部204的輸入即轉換係數進行逆轉換，以復原預測誤差。

在例如已從編碼位元流中解讀出的資訊顯示的是適用EMT或AMT的情況下(例如AMT旗標為真)，逆轉換部206會根據顯示已解讀的轉換類型之資訊，來對當前區塊的轉換係數進行逆轉換。

又，在例如已從編碼位元流中解讀出的資訊顯示的是適用NSST的情況下，逆轉換部206會對轉換係數適用逆再轉換。 [加法部]

加法部208會對來自逆轉換部206的輸入即預測誤差、及來自預測控制部220的輸入即預測樣本進行加法運算，藉此再構成當前區塊。而且，加法部208會將再構成的區塊輸出到區塊記憶體210及迴路濾波部212。 [區塊記憶體]

區塊記憶體210是用於保存在框內預測中所參照的區塊且也是解碼對象圖片(以下，稱為當前圖片)內的區塊之儲存部。具體來說，區塊記憶體210會保存從加法部208輸出的再構成區塊。 [迴路濾波部]

迴路濾波部212會對藉由加法部208再構成的區塊施行迴路濾波，且將已進行濾波的再構成區塊輸出到框記憶體214及顯示裝置等。

當從編碼位元流中解讀出的ALF之開啟/關閉的資訊顯示的是ALF之開啟的情況下，可根據局部的梯度之方向及活動性而從複數個濾波器之中選擇1個濾波器，且將所選擇的濾波器適用於再構成區塊。 [框記憶體]

框記憶體214是用於保存框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體214會保存已藉由迴路濾波部212而被濾波的再構成區塊。 [框內預測部]

框內預測部216是根據已從編碼位元流中解讀出的框內預測模式，並參照保存於區塊記憶體210的當前圖片內之區塊來進行框內預測，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部216是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部220。

再者，在色差區塊的框內預測中選擇參照亮度區塊的框內預測模式之情況下，框內預測部216也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。

又，當已從編碼位元流中解讀出的資訊顯示的是適用PDPC的情況下，框內預測部216會根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。 [框間預測部]

框間預測部218是參照保存於框記憶體214的參照圖片，來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4x4區塊)之單位來進行。例如，框間預測部218會利用從編碼位元流中解讀出的運動資訊(例如運動向量)來進行動態補償，藉此生成當前區塊或子區塊的框間預測訊號，並將框間預測訊號輸出至預測控制部220。

再者，從編碼位元流中解讀出的資訊顯示的是適用OBMC模式的情況下，框間預測部218會使用的不只有藉由運動搜尋所得到的當前區塊之運動資訊，還有相鄰區塊的運動資訊，以生成框間預測訊號。

又，從編碼位元流中解讀出的資訊顯示的是適用FRUC模式的情況下，框間預測部218會依照從編碼流中解讀出的型樣匹配之方法(雙向匹配或模板匹配)來進行運動搜尋，藉此導出運動資訊。並且，框間預測部218會利用已導出的運動資訊來進行動態補償。

又，在適用BIO模式的情況下，框間預測部218會根據假設了等速直線運動的模型來導出運動向量。又，在從編碼位元流中解讀出的資訊顯示的是適用仿射動態補償預測模式的情況下，框間預測部218會根據複數個相鄰區塊的運動向量，以子區塊單位來導出運動向量。 [預測控制部]

預測控制部220會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至加法部208。 [畫面間預測處理]

圖11是本實施形態之編碼方法中的畫面間預測處理的流程圖。圖1所示的編碼裝置100在對以複數個圖片所構成的動態圖像進行編碼時，編碼裝置100的框間預測部126等是執行圖11所示的處理。

框間預測部126會對包含於處理對象圖片的複數個區塊之每一個區塊，重複進行步驟S101~S108的處理。在此，區塊是指對象圖片被分割而成的處理單位，且是稱為例如編碼單元、預測區塊、或預測單元的圖像區域。再者，區塊也可以是這些處理單位被分割而成的子區塊。

首先，框間預測部126是從處理完成區塊的運動向量中導出複數個候選運動向量(S101)。具體來說，框間預測部126是從處理完成區塊的動態補償所用之運動向量中導出處理對象區塊的候選運動向量。

更具體來說，框間預測部126亦可將於處理完成區塊的動態補償所用的運動向量導出作為處理對象區塊的候選運動向量。又，框間預測部126亦可依規定的比率來將於處理完成區塊的動態補償所用的運動向量縮放(scaling)，且將已縮放的運動向量導出作為處理對象區塊的候選運動向量。

在此，處理完成區塊是在處理對象區塊被處理之前已被處理的子區塊，且可以表示為先行區塊。例如，處理完成子區塊亦可為已進行動態補償的區塊，亦可為編碼完成或解碼完成區塊。

又，例如，用於導出處理對象區塊的候選運動向量之處理完成區塊，是藉由處理對象區塊的位置來特定。具體來說，用於導出處理對象區塊的候選運動向量之處理完成區塊，亦可為在空間上或時間上相鄰於處理對象區塊的處理完成區塊。

又，框間預測部126亦可從複數個處理完成區塊的複數個運動向量中，導出處理對象區塊的候選運動向量。也就是說，框間預測部126亦可藉由組合複數個處理完成區塊的複數個運動向量，以導出處理對象區塊的候選運動向量。又，框間預測部126亦可從複數個處理完成區塊的複數個運動向量中導出處理對象區塊的複數個候選運動向量。

接著，框間預測部126是從複數個候選運動向量之中選擇最終運動向量。在此，框間預測部126在處理對象區域與處理完成區域當中是僅參照處理完成區域。也就是說，框間預測部126並不參照處理對象區塊中的處理對象區域之圖像，而是參照複數個處理完成區塊中的處理完成區域之再構成圖像，來選擇處理對象區塊的最終運動向量。

具體來說，框間預測部126是利用雙向FRUC方式，並參照藉由複數個候選運動向量所指示的複數個候選區域之再構成圖像等，而按每個候選運動向量來算出評價值。接著，框間預測部126會從複數個候選運動向量當中選擇評價值為最高的候選運動向量作為最終運動向量。

首先，說明處理對象圖片為B圖片的情況(S102的B圖片)的動作。圖12是用於說明此情況的評價值之算出方法的圖。

在此例子中，處理對象圖片為B圖片，且具有第1參照圖片清單與第2參照圖片清單之2個參照圖片清單。在第1參照圖片清單及第2參照圖片清單的每一清單中，均登錄有2張處理完成圖片。又，評價對象之候選運動向量所指示的是第1參照圖片清單的0號之參照圖片(第1參照圖片)。

框間預測部126是利用第1參照圖片、及第2參照圖片來算出評價值。在此，第2參照圖片是包含在圖片記憶體(例如框記憶體122或214)內之可參照的圖片中的登錄於與第1參照圖片不同的圖片清單(第2參照圖片清單)的圖片當中，顯示時間最接近於處理對象圖片的圖片。又，第1參照圖片及第2參照圖片雙方都是顯示時間比處理對象圖片更前面的圖片。

框間預測部126是相對於處理對象區塊而導出候選區域與對稱區域的差分值，其中該候選區域是以評價對象之候選運動向量所指定的第1參照圖片之同等位置上的再構成圖像，該對稱區域是以對稱運動向量所指定的第2參照圖片之同等位置上的再構成圖像。例如，處理對象區塊的形狀及大小，與候選區域及對稱區域的形狀及大小是相同的。

又，框間預測部126是藉由以規定的比率來縮放候選運動向量，以導出對稱運動向量。在此，規定的比率亦可為從處理對象圖片的顯示順序(顯示時間)減去第2參照圖片的顯示順序所得到的值，相對於從處理對象圖片的顯示順序減去第1參照圖片的顯示順序所得到的值之比率。顯示順序可以由POC(圖片順序計數，Picture Order Count)來表示。

又，框間預測部126可藉由差分絕對值和(SAD)或差分平方和(SSD)等，來導出候選區域的再構成圖像及對稱區域的再構成圖像之差分值。

框間預測部126是利用已得到的差分值來算出評價值。例如，若差分值越小，框間預測部126會算出越高的評價值。再者，框間預測部126除了差分值以外，亦可還利用其以外的資訊來算出評價值。

圖13是顯示另外的動作例之圖。再者，參照圖片清單的構成等與圖12是同樣的。在圖13所示的例子中，評價對象之候選運動向量所指示的是第2參照圖片清單的0號之參照圖片(第1參照圖片)。

與上述同樣地，框間預測部126是將包含在圖片記憶體內之可參照的圖片中的登錄於與第1參照圖片不同的圖片清單(第1參照圖片清單)的圖片當中，顯示時間最接近於處理對象圖片的圖片，選擇作為第2參照圖片。據此，在此情況下，是將在顯示時間順序上位於處理對象圖片與第1參照圖片之間的第1參照圖片清單之0號的參照圖片，選擇作為第2參照圖片。又，與上述同樣地，第1參照圖片及第2參照圖片雙方都是顯示時間比處理對象圖片更前面的圖片。

又，藉由與上述同樣的手法，框間預測部126可特定出候選區域、對稱運動向量、及對稱區域，並根據候選區域及對稱區域的差分值來算出評價值。再者，在圖13所示的例子中，由於第2參照圖片在顯示時間順序上是位於比第1參照圖片更後面，因此對稱運動向量是指示候選運動向量的反方向。

藉由這種處理，框間預測部126可算出複數個候選運動向量的每一個的評價值。

接著，框間預測部126會將複數個候選運動向量之中評價值成為最佳的值(例如評價值最高)的候選運動向量選擇作為最終運動向量。

像這樣，框間預測部126是利用在第1參照圖片清單及第2參照圖片清單中顯示的2張參照圖片，來選擇最終運動向量(S104)。再者，在圖12及圖13所示的例子中，雖然是利用參照圖片清單的0號之參照圖片來作為第1參照圖片及第2參照圖片，但亦可利用0號以外的參照圖片。

接著，框間預測部126是利用候選區域與對稱區域之雙方來進行動態補償以生成預測圖像，其中該候選區域是最終運動向量所指示的第1參照圖片之區域，該對稱區域是對稱運動向量所指示的第2參照圖片之區域(S105)。

接著，說明處理對象圖片為P圖片的情況之動作。圖14是顯示處理對象圖片為P圖片(S102的P圖片)，且在處理對象圖片的第1參照圖片清單中登錄有2張處理完成圖片的情況(S103中的是)的動作例之圖。評價對象之候選運動向量所指示的是第1參照圖片清單的1號之參照圖片(第1參照圖片)。

在此情況下，框間預測部126也是將包含在圖片記憶體內之可參照的圖片中的與第1參照圖片不同的圖片當中，顯示時間最接近於處理對象圖片的圖片，選擇作為第2參照圖片。據此，在此情況下，是將第1參照圖片清單的0號之參照圖片選擇作為第2參照圖片。又，與上述同樣地，第1參照圖片及第2參照圖片雙方都是顯示時間比處理對象圖片更前面的圖片。

再者，在圖14中，雖然在圖片記憶體內之可參照圖片中，包含有第1參照圖片清單中所包含的圖片以外的圖片，但這些圖片亦可不包含在可參照圖片中。又，在圖片記憶體內之可參照圖片中，包含有第1參照圖片清單中所包含的圖片以外之圖片的情況下，框間預測部126亦可將包含在第1參照圖片清單中的與第1參照圖片不同的圖片當中，顯示時間最接近於處理對象圖片的圖片，選擇作為第2參照圖片。亦即，框間預測部126亦可在圖片記憶體內之可參照圖片當中，從包含於第1參照圖片清單的圖片中選擇第2參照圖片。

又，藉由與上述同樣的手法，框間預測部126可特定出候選區域、對稱運動向量、及對稱區域，並根據候選區域及對稱區域的差分值來算出評價值。

藉由這種處理，框間預測部126可算出複數個候選運動向量的每一個的評價值。接著，框間預測部126會將複數個候選運動向量之中評價值成為最佳的值(例如評價值最高)的候選運動向量選擇作為最終運動向量。

像這樣，框間預測部126是利用第1參照圖片清單中所顯示的2張參照圖片，來選擇最終運動向量(S106)。再者，在圖14所示的例子中，雖然是利用第1參照圖片清單的1號之參照圖片來作為第1參照圖片，但亦可利用1號以外的參照圖片。

接著，框間預測部126是利用最終運動向量所指示的第1參照圖片的候選區域來進行動態補償，以生成預測圖像(S107)。亦即，框間預測部126是進行不利用對稱區域的動態補償。再者，框間預測部126亦可與B圖片同樣地，藉由利用候選區域與對稱區域之雙方來進行動態補償，以生成預測圖像。

接著，說明處理對象圖片為P圖片(S102的P圖片)，且在處理對象圖片的第1參照圖片清單中僅登錄有1張處理完成圖片的情況(S103的否)之動作。圖15是顯示此情況的動作例之圖。在此例子中，評價對象之候選運動向量所指示的是第1參照圖片清單的0號之參照圖片(第1參照圖片)。

在此情況下，框間預測部126也是將包含在圖片記憶體內之可參照的圖片中的與第1參照圖片不同的圖片當中，顯示時間最接近於處理對象圖片的圖片，選擇作為第2參照圖片。又，與上述同樣地，第1參照圖片及第2參照圖片雙方都是顯示時間比處理對象圖片更前面的圖片。

但是，在此情況下，第2參照圖片是未登錄於第1參照圖片清單的圖片。據此，編碼裝置100及解碼裝置200會將此第2參照圖片作為可參照的圖片而保存在圖片記憶體中。例如，編碼裝置100會生成包含指定此第2參照圖片的資訊之編碼位元流。解碼裝置200是藉由參照該資訊，而將第2參照圖片作為可參照的圖片來保存於圖片記憶體中。例如，上述資訊是作為與參照圖片清單不同的資訊，而保存於編碼位元流的標頭區域等。例如，可將此資訊保存於序列層、圖片層、及片段層的任一個的標頭區域中。

再者，在圖15中，雖然在圖片記憶體內之可參照圖片中，包含有第1參照圖片清單中所包含的圖片以外的複數張圖片，但只要包含有第1參照圖片清單中所包含的圖片以外的1張以上的圖片即可。例如，此1張以上的圖片是包含與第1參照圖片不同且顯示時間比處理對象圖片更前面的圖片圖片當中，顯示時間最接近於處理對象圖片的圖片。

又，藉由與上述同樣的手法，框間預測部126可特定出候選區域、對稱運動向量、及對稱區域，而根據候選區域及對稱區域的差分值來算出評價值。

像這樣，框間預測部126是利用在第1參照圖片清單所顯示的1張參照圖片、及未顯示在第1參照圖片清單中的其他圖片，來選擇最終運動向量(S108)。

接著，框間預測部126是利用最終運動向量所指示的第1參照圖片的候選區域來進行動態補償，以生成預測圖像(S107)。亦即，框間預測部126是進行不利用對稱區域的動態補償。再者，框間預測部126亦可與B圖片同樣地，藉由利用候選區域與對稱區域之雙方來進行動態補償，以生成測圖像。

再者，選擇了上述所說明的最終運動向量之後，框間預測部126亦可進一步地利用同樣的方法來對以最終運動向量表示的區域之周邊區域仔細地搜尋，將最終運動向量補正成可指示出評價值成為更佳的值之區域，並利用補正後的最終運動向量來進行動態補償。

又，圖11所示的處理亦可不以區塊單位，而是以將區塊進一步地分割而成的子區塊單位來進行。又，框間預測部126亦可組合區塊單位的處理與子區塊單位的處理，而以2階段的方式來進行處理。

又，在上述中，雖然顯示了第1參照圖片及第2參照圖片的顯示時間都比處理對象圖片的顯示時間更前面的例子，但是第1參照圖片及第2參照圖片的顯示時間亦可都是比處理對象圖片的顯示時間更後面。

又，圖11所示的處理是在編碼裝置100及解碼裝置200之雙方來進行。

如以上，本實施形態之編碼裝置100或解碼裝置200，是從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量(S101)，且不使用處理對象區塊的圖像區域，而是參照顯示時間位於比處理對象圖片更前方及更後方當中相同方向的2張處理完成的參照圖片，來從複數個候選運動向量中選擇最終運動向量(S104、S106或S108)，並利用最終運動向量來進行處理對象區塊的動態補償(S105或S107)。

又，處理對象圖片為P圖片(S102的P圖片)。藉此，由於可以對P圖片利用雙向FRUC，因此可以在更多的情況中利用雙向FRUC方式。據此，可以改善編碼效率。

又，在用於處理對象圖片的參照圖片清單中顯示有2張參照圖片的情況下(S103的是)，2張處理完成的參照圖片是顯示在參照圖片清單中的2張參照圖片。

又，在用於處理對象圖片的參照圖片清單中顯示有1張參照圖片的情況下(S103的否)，2張處理完成的參照圖片的其中一張是顯示於參照圖片清單中的1張參照圖片，2張處理完成的參照圖片之另一張是未顯示在參照圖片清單中的其他處理完成的參照圖片。

又，編碼裝置100或解碼裝置200是將顯示於參照圖片清單的1張參照圖片、及其他處理完成的參照圖片保存於圖片記憶體中。

又，在最終運動向量的選擇(S108)中，是參照2張處理完成的參照圖片，來算出複數個候選運動向量之各自的評價值，且根據已算出的評價值來選擇最終運動向量，2張處理完成參照圖片的其中一張是複數個候選運動向量當中以處理對象的候選運動向量所指示的參照圖片，2張處理完成參照圖片的另一張是可參照的圖片當中，顯示時間最接近於處理對象圖片的圖片。

又，處理對象圖片為B圖片(S102的B圖片)。藉此，在B圖片中，即使在可參照的圖片中，未存在有在顯示順序上包夾處理對象區塊的2個圖片之情況下，仍可以利用雙向FRUC。據此，由於可以在更多的情況中利用雙向FRUC方式，因此可以改善編碼效率。

又，在最終運動向量的選擇(S104)中，是參照2張處理完成的參照圖片，來算出複數個候選運動向量之各自的評價值，且根據已算出的評價值來選擇最終運動向量。處理對象圖片(B圖片)具有第1參照圖片清單及第2參照圖片清單。2張處理完成參照圖片的其中一張是複數個候選運動向量當中以處理對象的候選運動向量表示的參照圖片，且是屬於第1參照圖片清單的參照圖片。2張處理完成參照圖片的另一張是在屬於第2參照圖片清單的參照圖片當中，顯示時間最接近於處理對象圖片的圖片。 (實施形態2)

在本實施形態中，是針對畫面間預測處理的另外的形態來說明。在本實施形態中，是對算出評價值的候選運動向量進行篩減。藉此，可以減低處理量。

圖16是本實施形態之編碼方法中的畫面間預測處理的流程圖。圖1所示的編碼裝置100在對以複數個圖片所構成的動態圖像進行編碼時，編碼裝置100的框間預測部126等是執行圖16所示的處理。

又，處理對象圖片是B圖片，且具有第1參照圖片清單及第2參照圖片清單。

首先，框間預測部126是將第1參照圖片清單、及第2參照圖片清單的其中一個選擇作為選擇參照圖片清單(S201)。再者，此處理的詳細內容容後描述。

接著，編碼裝置100(例如熵編碼部110)是對用於特定選擇參照圖片清單之選擇參照圖片清單資訊進行編碼(S202)。亦即，編碼裝置100是生成包含選擇參照圖片清單資訊的編碼位元流。例如，可將選擇參照圖片清單資訊保存於序列層、圖片層、及片段層之任一個的標頭區域中。例如，選擇參照圖片清單資訊是1位元的旗標，且第1值表示第1參照圖片清單為選擇參照圖片清單，第2值表示第2參照圖片清單為選擇參照圖片清單。

接著，框間預測部126會以區塊單位來進行以下的處理。首先，框間預測部126是從處理完成區塊的運動向量中導出複數個候選運動向量(S203)。再者，此處理的詳細內容與實施形態1的步驟S101是同樣的。

接著，框間預測部126是藉由進行複數個候選運動向量的篩減，來決定1個以上的評價對象運動向量(S204)。接著，框間預測部126是算出評價對象運動向量的各自的評價值，且將評價值成為最佳的值之評價對象運動向量選擇作為最終運動向量(S205)。再者，作為評價值的算出方法，可以利用例如與實施形態1同樣的手法。但是，在本實施形態中，框間預測部126亦可利用顯示時間比處理對象圖片更前面的圖片及更後面的圖片之2張處理完成圖片來算出評價值。

最後，框間預測部126是利用已選擇的最終運動向量來進行動態補償，以生成預測圖像(S206)。

在複數個候選運動向量的篩減(S204)中，框間預測部126是對複數個候選運動向量的每一個，判定包含該候選運動向量所指示的參照圖片之參照圖片清單，是否與在步驟S201中所決定的選擇參照圖片清單一致(S204A)。亦即，框間預測部126是對判定對象之候選運動向量所表示的參照圖片是否包含於選擇參照圖片清單中進行判定。框間預測部126在該等清單並不一致的情況下(S204A的否)，會將判定對象之候選運動向量從評價對象運動向量中排除(S204B)。又，框間預測部126在該等清單為一致的情況下(S204A的是)，會將判定對象之候選運動向量決定為評價對象運動向量。亦即，框間預測部126是將複數個候選運動向量當中，可指示包含於選擇參照圖片清單中的參照圖片之1個以上的候選運動向量，決定為評價對象運動向量。

藉由以上，由於可以抑制為了選擇最終運動向量而必須進行評價的候選運動向量的數量，因此可以減少處理量。

接著，針對決定選擇參照圖片清單的方法(S201)進行說明。圖17是對選擇參照圖片清單進行決定處理(S201)之流程圖。

首先，框間預測部126是擷取圖片Pic1與圖片Pic2作為代表圖片，其中該圖片Pic1是登錄於第1參照圖片清單的開頭(0號)的圖片，該圖片Pic2是登錄於第2參照圖片清單的開頭(0號)的圖片(S211)。

接著，框間預測部126是比較處理對象圖片與第1代表圖片(Pic1)的顯示時間之差、及處理對象圖片與第2代表圖片(Pic2)的顯示時間之差，而將包含與處理對象圖片的顯示時間之差較少的代表圖片之參照圖片清單決定為選擇參照圖片清單(S212、S213及S214)。

在顯示時間之差為相同的情況下，框間預測部126會比較第1代表圖片與第2代表圖片在解碼時的優先順序，並將包含優先順序較高的代表圖片之參照圖片清單決定為選擇參照圖片清單(S215、S216及S217)。在此，解碼時的優先順序是指例如時域可調能力(temporal scalability)編號。又，顯示時間之差為相同的情況，是指例如第1代表圖片及第2代表圖片存在於處理對象圖片的前後，且顯示時間之差為相同的情況。

在優先順序為相同的情況下，框間預測部126會比較第1代表圖片與第2代表圖片的量化寬度，且將包含量化寬度較小的代表圖片之參照圖片清單決定為選擇參照圖片清單(S218~S220)。

再者，框間預測部126亦可在此處已說明的3個判定當中僅進行一部分的判定，亦可更換這些判定的順序。又，框間預測部126亦可添加上述以外的判定來進行判定。

接著，說明本實施形態之解碼裝置200的動作。圖18是本實施形態之解碼方法中的畫面間預測處理的流程圖。再者，步驟S302~S305的處理與圖16所示之步驟S203~S206的處理是同樣的。

解碼裝置200的框間預測部218是將第1參照圖片清單、及第2參照圖片清單的其中一個選擇作為選擇參照圖片清單(S301)。

圖19是對解碼處理中的選擇參照圖片清單進行決定處理(S301)之流程圖。

首先，解碼裝置200(例如熵解碼部202)是從編碼位元流中取得選擇參照圖片清單資訊(S311)。例如，解碼裝置200可從編碼位元流的序列層、圖片層、及片段層的任一個的標頭區域中，將選擇參照圖片清單資訊解碼。

框間預測部218是因應於選擇參照圖片清單資訊的值，而將第1參照圖片清單與第2參照圖片清單的其中一個決定為選擇參照圖片清單。例如，框間預測部218在選擇參照圖片清單資訊顯示第1值的情況下(S312的第1值)，是將第1參照圖片清單決定為選擇參照圖片清單(S313)。框間預測部218在選擇參照圖片清單資訊顯示第2值的情況下(S312的第2值)，是將第2參照圖片清單決定為選擇參照圖片清單(S314)。

再者，解碼裝置200在步驟S301中，亦可取代圖19所示的處理，而進行與在編碼裝置100所進行的圖17所示之處理相同的處理。在此情況下，編碼裝置100亦可不將選擇參照圖片清單資訊包含於編碼位元流中。藉此，可以減少編碼位元流的資料量。

如以上，本實施形態之編碼裝置100或解碼裝置200，是從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片(S203或S302)，且不使用處理對象區塊的圖像區域，而是算出複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之候選運動向量中，選擇最終運動向量(S204及S205、或S303及S304)，而利用最終運動向量來進行處理對象區塊的動態補償(S206或S305)。

藉此，由於可以使算出評價值的對象之候選運動向量變少，因此可以減低處理量。又，在2個參照圖片清單中所顯示的參照圖片大多是對稱的情況。據此，即使在將評價對象篩減為僅指示在1個參照圖片清單中所顯示的參照圖片之候選運動向量的情況下，也不會有精度大幅下降的情形。亦即，本實施形態的手法可以抑制精度的降低，並且減低處理量。

又，編碼裝置100或解碼裝置200可更進一步地將2個參照圖片清單當中，登錄於開頭的參照圖片的顯示時間較接近於處理對象圖片的顯示時間之參照圖片清單，決定為選擇參照圖片清單(S212~S214)。藉此，可以擷取更有用的候選運動向量。

又，編碼裝置100或解碼裝置200可更進一步地將2個參照圖片清單當中，登錄於開頭的參照圖片被設定成更優先地解碼的參照圖片清單，決定為選擇參照圖片清單(S215~S217)。藉此，可以擷取更有用的候選運動向量。

又，編碼裝置100或解碼裝置200可更進一步地將2個參照圖片清單當中，登錄於開頭的參照圖片之量化寬度較小的參照圖片清單，決定為前述選擇參照圖片清單(S218~S220)。藉此，可以擷取更有用的候選運動向量。

又，編碼裝置100更進一步地生成包含用於特定選擇參照圖片清單的資訊之編碼位元流(S202)。又，解碼裝置200更進一步地取得用於特定包含於編碼位元流中的選擇參照圖片清單之資訊(S311)，並利用該資訊來特定選擇參照圖片清單(S312~S314)。藉此，由於在解碼裝置200中，亦可不進行決定選擇運動向量的處理，因此可以減低解碼裝置200的處理量。 [編碼裝置的組裝例]

圖20是顯示實施形態1或實施形態2之編碼裝置100的組裝例之方塊圖。編碼裝置100具備電路160及記憶體162。例如，圖1所示之編碼裝置100的複數個構成要件是藉由圖20所示之電路160及記憶體162來組裝。

電路160是進行資訊處理的電路，且是可對記憶體162進行存取的電路。例如，電路160是對圖像資訊進行編碼之專用或通用的電子電路。電路160亦可為CPU之類的處理器。又，電路160亦可為複數個電子電路的集合體。又，例如，電路160亦可在圖1所示之編碼裝置100的複數個構成要件當中，發揮除了用於儲存資訊的構成要件之外的複數個構成要件之作用。

記憶體162是可儲存電路160用於對圖像資訊進行編碼的資訊之通用或專用的記憶體。記憶體162亦可為電子電路，亦可連接至電路160。又，亦可將記憶體162包含在電路160中。又，記憶體162亦可為複數個電子電路的集合體。又，記憶體162亦可為磁碟或光碟等，亦可表現為儲存器或記錄媒體等。又，記憶體162亦可為非揮發性記憶體，亦可為揮發性記憶體。

例如，在記憶體162中亦可儲存欲編碼的圖像資訊，亦可儲存對應於已編碼的圖像資訊之位元串。又，在記憶體162中亦可儲存有電路160對圖像資訊進行編碼用的程式。

又，例如，電路160亦可在圖1所示之編碼裝置100的複數個構成要件當中，發揮用於儲存資訊的構成要件之作用。具體來說，記憶體162亦可發揮圖1所示之區塊記憶體118及框記憶體122的作用。

再者，在編碼裝置100中，亦可不組裝圖1等所示之複數個構成要件的全部，且亦可不進行上述複數個處理的全部。圖1等所示之複數個構成要件的一部分亦可包含在其他的裝置中，且上述複數個處理的一部分亦可藉由其他的裝置來執行。並且，在編碼裝置100中，能夠組裝圖1等所示之複數個構成要件當中的一部分，且進行上述複數個處理的一部分，藉此抑制處理的延遲。 [解碼裝置的組裝例]

圖21是顯示實施形態1或實施形態2之解碼裝置200的組裝例之方塊圖。解碼裝置200具備電路260及記憶體262。例如，圖10所示之解碼裝置200的複數個構成要件是藉由圖21所示之電路260及記憶體262來組裝。

電路260是進行資訊處理的電路，且是可對記憶體262進行存取的電路。例如，電路260是對圖像資訊進行解碼之通用或專用的電子電路。電路260亦可為CPU之類的處理器。又，電路260亦可為複數個電子電路的集合體。又，例如，電路260亦可在圖10所示之解碼裝置200的複數個構成要件當中，發揮除了用於儲存資訊的構成要件之外的複數個構成要件之作用。

記憶體262是儲存電路260用於對圖像資訊進行解碼的資訊之通用或專用的記憶體。記憶體262亦可為電子電路，亦可連接至電路260。又，亦可將記憶體262包含在電路260中。又，記憶體262亦可為複數個電子電路的集合體。又，記憶體262亦可為磁碟或光碟等，亦可表現為儲存器或記錄媒體等。又，記憶體262亦可為非揮發性記憶體，亦可為揮發性記憶體。

例如，在記憶體262中亦可儲存對應於已編碼的圖像資訊之位元串，亦可儲存對應於已解碼的位元串之圖像資訊。又，在記憶體262中亦可儲存有電路260用於對圖像資訊進行解碼的程式。

又，例如，電路260亦可在圖10所示之解碼裝置200的複數個構成要件當中，發揮用於儲存資訊的構成要件之作用。具體來說，記憶體262亦可發揮圖10所示之區塊記憶體210及框記憶體214的作用。

再者，在解碼裝置200中，亦可不組裝圖10等所示之複數個構成要件的全部，且亦可不進行上述複數個處理的全部。圖10等所示之複數個構成要件的一部分亦可包含在其他的裝置中，且上述複數個處理的一部分亦可藉由其他的裝置來執行。並且，在解碼裝置200中，能夠組裝圖10等所示之複數個構成要件當中的一部分，且進行上述複數個處理的一部分，藉此抑制處理的延遲。

以上，雖然說明了本實施形態之編碼裝置及解碼裝置，但本揭示並非限定於此實施形態。

又，包含於上述實施形態之編碼裝置及解碼裝置的各處理部典型上是作為積體電路即LSI而實現。這些可以個別地集成為1個晶片，亦可以由包含一部分或全部的方式來集成為1個晶片。

又，積體電路化並不限於LSI，亦可利用專用電路或通用處理器來實現。亦可利用在LSI製造後可程式設計的FPGA(Field Programmable Gate Array(現場可程式閘陣列))、或可再構成LSI內部之電路電池的連接或設定之可重組態處理器(reconfigurable processor)。

在上述各實施形態中，各構成要件可由專用之硬體來構成，亦可藉由執行適合於各構成要件之軟體程式來實現。各構成要件亦可藉由CPU或處理器等程式執行部將已記錄於硬碟或半導體記憶體等記錄媒體的軟體程式讀取並執行來實現。

換言之，編碼裝置及解碼裝置具備處理電路(processing circuitry)、及電連接於該處理電路之(可由該處理電路存取的)儲存裝置(storage)。處理電路包含專用的硬體及程式執行部之至少其中一種。又，在處理電路包含程式執行部的情形下，儲存裝置會儲存可藉由該程式執行部執行之軟體程式。處理電路是利用儲存裝置而於上述實施形態中執行編碼方法或解碼方法。

此外，本揭示亦可為上述軟體程式，亦可為已記錄有上述程式之非暫時的電腦可讀取的記錄媒體。又，上述程式當然可以透過網路等傳送媒體而流通。

又，上述所使用之數字，全部都是為了具體地說明本揭示而例示的數字，本揭示並不受例示之數字所限制。

又，方塊圖中的功能方塊之分割僅為一例，亦可將複數個功能方塊作為一個功能方塊來實現、或將一個功能方塊分割為複數個、或將一部分之功能移至其他的功能方塊。又，亦可以並列或時間分割的方式使單一的硬體或軟體處理具有類似的功能的複數個功能方塊之功能。

又，執行包含於上述編碼方法或解碼方法之步驟的順序，是為了具體地說明本揭示而例示之順序，為上述以外的順序亦可。又，上述步驟之一部分亦可與其他的步驟同時(並列)執行。

以上，針對本揭示的一個或複數個態樣之編碼裝置、解碼裝置、編碼方法及解碼方法，雖然根據實施形態進行了說明，但本揭示並不限定於該等實施形態。只要不脫離本揭示之主旨，將本發明所屬技術領域中具有通常知識者可設想得到之各種變形施行於本實施形態者、或組合不同的實施形態中的構成要件而建構之形態，均可包含於本揭示的一個或複數個態樣的範圍內。 (實施形態3)

在以上之各實施形態中，功能方塊的每一個通常可藉由MPU及記憶體等來實現。又，功能方塊的每一個所進行之處理，通常是藉由使處理器等程式執行部將已記錄於ROM等記錄媒體的軟體(程式)讀出並執行來實現。該軟體可藉由下載等來發布，亦可記錄於半導體記憶體等記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。

又，在各實施形態中所說明的處理，亦可藉由利用單一的裝置(系統)而集中處理來實現、或者亦可藉由利用複數個裝置而分散處理來實現。又，執行上述程式的處理器可為單個，亦可為複數個。亦即，可進行集中處理、或者亦可進行分散處理。

本發明不受以上之實施例所限定，可進行各種的變更，且該等變更亦包含於本發明之範圍內。

在此，更進一步地說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例及利用其之系統。該系統之特徵在於具有利用圖像編碼方法之圖像編碼裝置、利用圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。針對系統中的其他構成，可以因應於情況而適當地變更。 [使用例]

圖22是顯示實現內容發送服務(content delivery service)的內容供給系統ex100之整體構成的圖。將通訊服務的提供地區分割成所期望的大小，且在各格區(cell)內分別設置固定無線電台即基地台ex106、ex107、ex108、ex109、ex110。

在此內容供給系統ex100中，可透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106~ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等各機器連接到網際網路ex101。該內容供給系統ex100亦可形成為組合並連接上述任一要件。亦可在不透過作為固定無線電台之基地台ex106~ex110的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103，是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等各機器相連接。又，串流伺服器ex103是透過衛星ex116而與飛機ex117內之熱點(hot spot)內的終端等連接。

再者，亦可取代基地台ex106~ex110 ，而使用無線存取點或熱點等。又，串流伺服器ex103可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。

相機ex113是數位相機等可進行靜態圖攝影及動態圖攝影之機器。又，智慧型手機ex115可為對應於一般稱作2G、3G、3.9G、4G、還有今後被稱為5G的移動通訊系統之方式的智慧型電話機、便攜電話機、或者PHS(Personal Handyphone System(個人手持電話系統))等。

家電ex118可為冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。

在內容供給系統ex100中，具有攝影功能之終端是透過基地台ex106等而連接到串流伺服器ex103，藉此使實況(live)即時傳遞等變得可行。在實況即時傳遞中，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內的終端等)會對使用者利用該終端所攝影之靜態圖或動態圖內容進行在上述各實施形態所說明的編碼處理，並對藉由編碼而得到的影像資料、及對應於影像的聲音被編碼而成的聲音資料進行多工化，來將所獲得的資料傳送至串流伺服器ex103。亦即，各終端是作為本發明的一個態樣的圖像編碼裝置而發揮功能。

另一方面，串流伺服器ex103會進行內容資料之串流發送，該內容資料即是對有要求之客戶端(client)傳送的內容資料。客戶端是指可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等。已接收到所發送之資料的各機器會將所接收到之資料解碼處理並播放。亦即，各機器是作為本發明之一個態樣的圖像解碼裝置而發揮功能。 [分散處理]

又，串流伺服器ex103亦可為複數個伺服器或複數台電腦，且將資料分散並處理或記錄以進行發送。例如，串流伺服器ex103可藉由CDN(內容傳遞網路，Contents Delivery Network)來實現，亦可藉由分散於全世界的多數個邊緣伺服器(edge server)與連接邊緣伺服器之間的網路來實現內容發送。在CDN上，會因應於客戶來動態地分配在物理上相近之邊緣伺服器。並且，可以藉由將內容快取(cache)及發送至該邊緣伺服器來減少延遲。又，由於可以在發生某種錯誤時或因流量之增加等而改變通訊狀態時，以複數個邊緣伺服器將處理分散、或將發送主體切換為其他的邊緣伺服器，來繞過已發生障礙的網路的部分以持續發送，因此可以實現高速且穩定的發送。

又，不僅是發送本身的分散處理，已攝影的資料之編碼處理亦可在各終端進行，且也可在伺服器側進行，亦可互相分擔來進行。作為一例，一般在編碼處理中，會進行2次處理循環。在第1次的循環中是檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次的循環中是進行維持畫質並提升編碼效率的處理。例如，藉由使終端進行第1次的編碼處理，且使接收內容之伺服器側進行第2次的編碼處理，可以減少在各終端之處理負荷並且提升內容的質與效率。此時，只要有以近乎即時的方式來進行接收並解碼的要求，也可以用其他終端來接收並播放終端已進行的第一次之編碼完成資料，因此也可做到更靈活的即時發送。

作為其他的例子，相機ex113等會從圖像中進行特徵量擷取，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會進行例如從特徵量判斷目標(object)之重要性並切換量化精度等的因應圖像之意義的壓縮。特徵量資料對於在伺服器之再度壓縮時的運動向量預測之精度及效率提升特別有效。又，亦可在終端進行VLC(可變長度編碼)等簡易的編碼，並在伺服器進行CABAC(上下文參考之適應性二值算術編碼方式)等處理負荷較大的編碼。

此外，作為其他的例子，在運動場、購物商場、或工廠等中，會有藉由複數個終端拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端、與因應需要而沒有進行攝影之其他終端及伺服器，以例如GOP(圖片群組，Group of Picture)單位、圖片單位、或將圖片分割而成之圖塊(tile)單位等來各自分配編碼處理而進行分散處理。藉此，可以減少延遲，而更加能夠實現即時性(real-time)。

又，由於複數個影像資料幾乎為相同的場景，因此亦可利用伺服器進行管理及/或指示，以將在各終端所攝影之影像資料互相地配合參照。或者，亦可使伺服器接收來自各終端之編碼完成資料，並在複數個資料間變更參照關係、或者補正或更換圖片本身並重新編碼。藉此，可以生成已提高一個個資料之質與效率的串流(stream)。

又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後再發送影像資料。例如，伺服器亦可將MPEG類之編碼方式轉換為VP類，亦可將H.264轉換為H.265。

如此，即可藉由終端或1個以上的伺服器來進行編碼處理。因此，以下雖然使用「伺服器」或「終端」等記載來作為進行處理之主體，但亦可在終端進行在伺服器進行之處理的一部分或全部，且亦可在伺服器進行在終端進行之處理的一部分或全部。又，有關於上述內容，針對解碼處理也是同樣的。 [3D、多角度]

近年來，以下作法也在逐漸增加中，即，將彼此幾乎同步的複數台相機ex113及/或智慧型手機ex115等終端所攝影到的不同場景、或者將從不同的角度攝影相同的場景之圖像或影像加以整合並利用。各終端所攝影到之影像會根據另外取得的終端間之相對的位置關係、或者包含於影像之特徵點為一致的區域等而被整合。

伺服器不僅對二維的動態圖像進行編碼，亦可根據動態圖像的場景解析等而自動地、或者在使用者所指定的時刻中，對靜態圖進行編碼並傳送至接收終端。此外，伺服器在可以取得攝影終端間之相對的位置關係的情況下，不僅是二維動態圖像，還可以根據相同場景從不同的角度所攝影之影像，來生成該場景之三維形狀。再者，伺服器亦可將藉由點雲(point cloud)而生成之三維的資料另外編碼，亦可根據使用三維資料來辨識或追蹤人物或目標的結果，而從複數個終端所攝影的影像中選擇、或再構成並生成欲傳送至接收終端的影像。

如此，使用者可以任意選擇對應於各攝影終端之各影像來享受場景，也可以享受從利用複數個圖像或影像再構成之三維資料中切出任意視點而成的影像之內容。此外，與影像同樣地，聲音也可從複數個不同的角度進行收音，且伺服器亦可配合影像，將來自特定之角度或空間的聲音與影像進行多工化並傳送。

又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界建立對應之內容也逐漸普及。在VR圖像的情形下，伺服器亦可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等在各視點影像間進行容許參照之編碼，亦可不互相參照而作為不同的串流來進行編碼。在不同的串流之解碼時，可使其互相同步來播放，以因應使用者之視點來重現虛擬的三維空間。

在AR圖像的情形下，伺服器會根據三維之位置或使用者之視點的移動，將虛擬空間上之虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可取得或保持虛擬物體資訊及三維資料，並因應使用者之視點的移動而生成二維圖像並順暢地連結，藉以製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者的視點之移動也傳送至伺服器，且伺服器配合從保持於伺服器之三維資料中所接收到的視點的移動來製作重疊資料，並將重疊資料編碼且發送至解碼裝置。再者，亦可為重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從三維資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式，將規定之值的RGB值設定為背景，而生成目標以外之部分是形成為背景色之資料。

同樣地，被發送之資料的解碼處理可在客戶端即各終端進行，亦可在伺服器側進行，亦可互相分擔而進行。作為一例，亦可使某個終端暫時將接收要求傳送至伺服器，並在其他終端接收因應該要求之內容且進行解碼處理，再將解碼完成之訊號傳送至具有顯示器的裝置。藉由不依靠可通訊之終端本身的性能而將處理分散並選擇適當之內容的作法，可以播放畫質良好的資料。又，作為其他的例子，亦可用TV等接收大尺寸之圖像資料，並將圖片分割後之圖塊等一部分的區域解碼並顯示於鑑賞者之個人終端。藉此，可以將整體圖片共有化，並且可以就近確認自己負責的領域或想要更詳細地確認之區域。

又，今後可預想到下述情形：不論屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，利用MPEG-DASH等之發送系統規格，一邊對連接中的通訊切換適當的資料一邊無縫地接收內容。藉此，使用者不僅對本身之終端，連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且即時切換。又，可以做到根據本身的位置資訊等，一邊切換要進行解碼之終端及要進行顯示之終端並一邊進行解碼。藉此，也可在往目的地之移動中，一邊在埋入有可顯示之元件的鄰近建築物的牆面或地面的一部分顯示地圖資訊，一邊移動。又，也可做到如下情形，即，令編碼資料快取到可以在短時間內從接收終端進行存取之伺服器、或者複製到內容傳遞伺服器(content delivery server)中的邊緣伺服器等，根據在網路上對編碼資料的存取容易性，來切換接收資料之位元率(bit-rate)。 [可調式編碼]

關於內容之切換，是利用圖23所示之可調整的串流來進行說明，該可調整的串流應用了上述各實施形態中所示之動態圖像編碼方法，並進行壓縮編碼。雖然伺服器具有複數個內容相同而質卻不同的串流來作為個別的串流也無妨，但亦可如圖示般構成為藉由分層來進行編碼，而實現時間上/空間上可調整之串流，並活用該串流的特徵來切換內容。亦即，藉由使解碼側因應性能這種內在要因與通訊頻帶之狀態等的外在要因來決定要解碼至哪一層，解碼側即可自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網路電視等機器收看於移動中以智慧型手機ex115收看之影像的後續時，該機器只要將相同的串流解碼至不同的層即可，因此可以減輕伺服器側的負擔。

此外，如上述地，除了實現按每一層將圖片編碼、且在基本層之上位存在增強層(enhancement layer)之具可調整性(scalability)的構成以外，亦可使增強層包含有根據圖像之統計資訊等的元資訊，且使解碼側根據元資訊對基本層之圖片進行超解析，藉此來生成高畫質化之內容。所謂超解析可以是相同解析度中的SN比之提升、以及解析度之擴大的任一種。元資訊包含：用於特定超解析處理中使用之線形或非線形的濾波係數之資訊、或者特定超解析處理中使用之濾波處理、機械學習或最小平方運算中的參數值之資訊等。

或者，亦可構成為因應圖像內之目標等的含義而將圖片分割為圖塊等，且使解碼側選擇欲解碼之圖塊，藉此僅將一部分之區域解碼。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)作為元資訊加以保存，解碼側即可根據元資訊來特定所期望之目標的位置，並決定包含該目標之圖塊。例如，如圖24所示，可使用HEVC中的SEI訊息等與像素資料為不同之資料保存構造來保存元資訊。此元資訊是表示例如主目標之位置、尺寸、或色彩等。

又，亦可以串流、序列或隨機存取單位等由複數個圖片構成之單位來保存元資訊。藉此，解碼側可以取得特定人物出現在影像內之時刻等，且藉由與圖片單位之資訊對照，可以特定出目標存在之圖片、以及目標在圖片內的位置。 [網頁之最佳化]

圖25是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖26是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖25及圖26所示，在網頁包含複數個對圖像內容之鏈接即鏈接圖像的情況下，其外觀會依閱覽之元件而不同。在畫面上可看到複數個鏈接圖像的情況下，直至使用者明確地選擇鏈接圖像、或者鏈接圖像接近畫面之中央附近或鏈接圖像之整體進入畫面內為止，顯示裝置(解碼裝置)都是顯示具有各內容之靜態圖或I圖片(框內編碼畫面，Intra Picture)作為鏈接圖像、或者以複數個靜態圖或I圖片等來顯示gif動畫形式的影像、或者僅接收基本層來將影像解碼及顯示。

在已由使用者選擇出鏈接圖像的情況下，顯示裝置會將基本層設為最優先來解碼。再者，只要在構成網頁之HTML中具有表示可調整之內容的資訊，亦可使顯示裝置解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常吃緊的情況下，顯示裝置可以藉由僅解碼及顯示前向參照(forward reference)之圖片(I圖片(框內編碼畫面)、P圖片(預測畫面，Predictive Picture)、僅前向參照之B圖片(雙向預估編碼畫面，Bi-directionally Predictive Picture))，來減低開頭圖片之解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始之間的延遲)。又，顯示裝置亦可特意無視圖片之參照關係，而將所有的B圖片及P圖片設成前向參照來粗略地解碼，並隨著時間經過使接收之圖片增加來進行正常的解碼。 [自動行駛]

又，在為了汽車之自動行駛或行駛支援而傳送接收二維或三維之地圖資訊等的靜態圖或影像資料的情況下，除了屬於1個以上的層的圖像資料之外，接收終端亦可將天候或施工之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊可以屬於層，亦可單純與圖像資料進行多工化。

此時，由於包含接收終端之車、無人機(drone)或飛機等會移動，因此藉由接收終端在接收要求時會傳送該接收終端之位置資訊之作法，即可一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端會因應於使用者之選擇、使用者之狀況、或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度、或要將地圖資訊更新至何種程度。

如以上，在內容供給系統ex100中，客戶端可即時地接收使用者所傳送之已編碼的資訊，並將其進行解碼、播放。 [個人內容之發送]

又，在內容供給系統ex100中，不僅是來自影像發送業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容的單播(unicast)、或多播(multicast)發送也是可做到的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容作成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。

伺服器會在攝影時即時或累積於攝影後，從原圖或編碼完成資料中進行攝影錯誤、場景搜尋、意義解析、及目標檢測等辨識處理。而且，伺服器會根據辨識結果以手動或自動方式進行下述編輯：補正失焦或手震等、刪除亮度較其他圖片低或未聚焦之場景等重要性低的場景、強調目標之邊緣、變化色調等。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時會導致收視率下降的情況也是眾所皆知的，伺服器會根據圖像處理結果而以自動的方式，如上述地不僅對重要性低之場景還有動態較少的場景等進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來生成摘錄(digest)並進行編碼。

再者，在個人內容中，也有照原樣的話會有侵害著作權、著作人格權、或肖像權等之內容攝入的案例，也有當共享的範圍超過所欲共享之範圍等對個人來說不方便的情況。據此，例如，伺服器亦可將畫面周邊部之人臉、或房子內部等特意變更為未聚焦之圖像並編碼。又，伺服器亦可辨識編碼對象圖像內是否拍到與事先登錄之人物不同的人物的臉，並在拍到的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，使用者亦可基於著作權等之觀點而於圖像中指定想要加工之人物或背景區域後，令伺服器進行將所指定之區域替換為另外的影像、或者使焦點模糊等處理。如果是人物，可以在動態圖像中一邊追蹤人物一邊替換臉的部分的影像。

又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也會取決於頻帶寬，但解碼裝置首先會最優先地接收基本層再進行解碼及播放。解碼裝置亦可在這段期間內接收增強層，且於循環播放等播放2次以上的情形下，將增強層也包含在內來播放高畫質的影像。像這樣，只要是進行可調整之編碼的串流，就可以提供一種雖然在未選擇時或初次看到的階段是粗略的動態圖，但串流會逐漸智能化(smart)而使圖像變好的體驗。除了可調式編碼以外，即使將第1次播放之粗略的串流、與參照第1次之動態圖而編碼之第2次的串流構成為1個流，也可以提供同樣的體驗。 [其他之使用例]

又，這些編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，亦可將動態圖像編碼或解碼用之軟體安裝到可以在電腦ex111等讀取之某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體來進行編碼或解碼處理。此外，在智慧型手機ex115為附有相機的情況下，亦可傳送以該相機取得之動態圖資料。此時的動態圖資料是以智慧型手機ex115所具有的LSIex500來編碼處理而成之資料。

再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端首先會判定該終端是否對應於內容之編碼方式、或者是否具有特定服務之執行能力。在終端沒有對應於內容之編碼方式時、或者不具有特定服務之執行能力的情況下，終端會下載編碼解碼器或應用軟體，然後，取得及播放內容。

又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以安裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一個。由於是利用衛星等來將已使影像與聲音被多工化之多工資料乘載於播放用之電波來進行傳送接收，因此會有相對於內容供給系統ex100之容易形成單播的構成更適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。 [硬體構成]

圖27是顯示智慧型手機ex115之圖。又，圖28是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、顯示已將以相機部ex465所拍攝到之影像以及以天線ex450所接收到之影像等解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等之操作部ex466、用於輸出聲音或音響之揚聲器等即聲音輸出部ex457、用於輸入聲音之麥克風等即聲音輸入部ex456、可保存所攝影之影像或靜態圖、錄音之聲音、接收之影像或靜態圖、郵件等已編碼之資料、或已解碼之資料的記憶體部ex467、及作為與SIMex468之間的介面部即插槽部ex464，該SIMex468是用於特定使用者，且以網路為首進行對各種資料的存取之認證。再者，取代記憶體部ex467而使用外接記憶體亦可。

又，統合地控制顯示部ex458及操作部ex466等主控制部ex460是透過匯流排ex470而連接於電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467。

電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力而將智慧型手機ex115起動為可運作之狀態。

智慧型手機ex115會根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等處理。通話時，是以聲音訊號處理部ex454將以聲音輸入部ex456所收音之聲音訊號轉換為數位聲音訊號，並以調變/解調部ex452對其進行展頻處理，接著以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，接著以聲音訊號處理部ex454轉換為類比聲音訊號後，由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455是藉由在上述各實施形態中所示的動態圖像編碼方法，將保存於記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454是將以相機部ex465拍攝影像或靜態圖等時被聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453是以規定之方式對編碼完成影像資料與編碼完成聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理，並透過天線ex450來傳送。

在已接收附加於電子郵件或網路聊天之影像、或鏈接至網頁等之影像的情形下，為了對已透過天線ex450接收之多工資料進行解碼，多工/分離部ex453是藉由分離多工資料，而將多工資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並且將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455是藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459而由顯示部ex458顯示被鏈接之動態圖像檔案中所含的影像或靜態圖。又，聲音訊號處理部ex454是將聲音訊號解碼，並由聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此依據使用者的狀況，也可能在社會上不適合發出聲音的場所發生聲音的播放。因此，作為初始值，較理想的構成是，在不使聲音訊號播放的情形下僅播放影像資料。亦可僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放。

又，在此雖然以智慧型手機ex115為例進行了說明，但可作為終端而被考慮的有下述3種組裝形式：除了具有編碼器及解碼器兩者之傳送接收型終端以外，還有僅具有編碼器之傳送終端、以及僅具有解碼器之接收終端。此外，在數位播送用系統中，雖然是設成接收或傳送已在影像資料中將聲音資料等多工化之多工資料來進行說明，但在多工資料中，除了聲音資料以外，亦可將與影像有關聯之文字資料等多工化，且亦可接收或傳送影像資料本身而非多工資料。

再者，雖然是設為使包含CPU之主控制部ex460控制編碼或解碼處理並進行了說明，但終端具備GPU的情況也很多。因此，也可以構成為藉由在CPU與GPU上已共通的記憶體、或將位址管理成可以共通地使用的記憶體，來活用GPU之性能而將較寬廣區域一併處理。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是在不利用CPU的情形下，利用GPU並以圖片等單位來一併進行運動搜尋、解塊濾波方法(deblock filter)、SAO(取樣自適應偏移，Sample Adaptive Offset)、及轉換、量化之處理時，是有效率的。産業上之可利用性

本揭示可在例如電視機、數位錄影機、汽車導航系統、行動電話、數位相機、數位攝影機、視訊會議系統或電子鏡子等方面利用。

10~23‧‧‧區塊

100‧‧‧編碼裝置

102‧‧‧分割部

104‧‧‧減法部

106‧‧‧轉換部

108‧‧‧量化部

110‧‧‧熵編碼部

112、204‧‧‧逆量化部

114、206‧‧‧逆轉換部

116、208‧‧‧加法部

118、210‧‧‧區塊記憶體

120、212‧‧‧迴路濾波部

122、214‧‧‧框記憶體

124、216‧‧‧框內預測部

126、218‧‧‧框間預測部

128、220‧‧‧預測控制部

160、260‧‧‧電路

162、262‧‧‧記憶體

200‧‧‧解碼裝置

202‧‧‧熵解碼部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧通訊網

ex106、ex107、ex108、ex109、ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧遊戲機

ex113‧‧‧相機

ex114‧‧‧家電

ex115‧‧‧智慧型手機

ex116‧‧‧衛星

ex117‧‧‧飛機

ex450‧‧‧天線

ex451‧‧‧傳送/接收部

ex452‧‧‧調變/解調部

ex453‧‧‧多工/分離部

ex454‧‧‧聲音訊號處理部

ex455‧‧‧影像訊號處理部

ex456‧‧‧聲音輸入部

ex457‧‧‧聲音輸出部

ex458‧‧‧顯示部

ex459‧‧‧顯示器控制部

ex460‧‧‧主控制部

ex461‧‧‧電源電路部

ex462‧‧‧操作輸入控制部

ex463‧‧‧相機介面部

ex464‧‧‧插槽部

ex465‧‧‧相機部

ex466‧‧‧操作部

ex467‧‧‧記憶體部

ex468‧‧‧SIM

ex470‧‧‧匯流排

MV0、MV1、MVx0、MVy0、MVx1、MVy1、v0、v1‧‧‧運動向量

Ref0、Ref1‧‧‧參照圖片

S101~S108、S201~S206、S204A、S204B、S211~S220、S301~S305、S303A、S303B、S311~S314‧‧‧步驟

TD0、TD1‧‧‧距離

圖1是顯示實施形態1之編碼裝置的功能構成之方塊圖。

圖2是顯示實施形態1中的區塊分割的一例之圖。

圖3是顯示對應於各轉換類型的轉換基底函數之表格。

圖4A是顯示在ALF中所用的濾波器之形狀的一例之圖。

圖4B是顯示在ALF中所用的濾波器之形狀的其他的一例之圖。

圖4C是顯示在ALF中所用的濾波器之形狀的其他的一例之圖。

圖5是顯示框內預測中的67個框內預測模式之圖。

圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。

圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。

圖8是用於說明假設了等速直線運動的模型之圖。

圖9是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量的導出之圖。

圖10是顯示實施形態1之解碼裝置的功能構成之方塊圖。

圖11是實施形態1之畫面間預測處理的流程圖。

圖12是用於說明實施形態1之評價值的算出處理之一例的圖。

圖13是用於說明實施形態1之評價值的算出處理之一例的圖。

圖14是用於說明實施形態1之評價值的算出處理之一例的圖。

圖15是用於說明實施形態1之評價值的算出處理之一例的圖。

圖16是實施形態2之編碼裝置中的畫面間預測處理的流程圖。

圖17是實施形態2之編碼裝置中的選擇參照圖片清單決定處理的流程圖。

圖18是實施形態2之解碼裝置中的畫面間預測處理的流程圖。

圖19是實施形態2之解碼裝置中的選擇參照圖片清單決定處理的流程圖。

圖20是顯示編碼裝置之組裝例的方塊圖。

圖21是顯示解碼裝置之組裝例的方塊圖。

圖22是實現內容發送服務(content delivery service)的內容供給系統之整體構成圖。

圖23是顯示可調式編碼時之編碼構造的一例之圖。

圖24是顯示可調式編碼時之編碼構造的一例之圖。

圖25是顯示網頁的顯示畫面例之圖。

圖26是顯示網頁的顯示畫面例之圖。

圖27是顯示智慧型手機的一例之圖。

圖28是顯示智慧型手機的構成例之方塊圖。

Claims

一種編碼裝置，具備：電路；及記憶體，前述電路是利用前述記憶體，從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。
如請求項1之編碼裝置，其中，前述電路是利用前述記憶體，並進一步地將前述2個參照圖片清單當中，登錄於開頭的參照圖片之顯示時間較接近於前述處理對象圖片的顯示時間之參照圖片清單，決定為前述選擇參照圖片清單。
如請求項1之編碼裝置，其中，前述電路是利用前述記憶體，並進一步地將前述2個參照圖片清單當中，將登錄於開頭的參照圖片設定成更優先來解碼的參照圖片清單，決定為前述選擇參照圖片清單。
如請求項1之編碼裝置，其中，前述電路是利用前述記憶體，並進一步地將前述2個參照圖片清單當中，登錄於開頭的參照圖片之量化寬度較小的參照圖片清單，決定為前述選擇參照圖片清單。
如請求項1至4中任一項之編碼裝置，其中，前述電路是利用前述記憶體，並進一步地生成編碼位元流，該編碼位元流包含用於特定前述選擇參照圖片清單的資訊。
一種解碼裝置，具備：電路；及記憶體，前述電路是利用前述記憶體，從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。
如請求項6之解碼裝置，其中，前述電路是利用前述記憶體，並進一步地將前述2個參照圖片清單當中，登錄於開頭的參照圖片之顯示時間較接近於前述處理對象圖片的顯示時間之參照圖片清單，決定為前述選擇參照圖片清單。
如請求項6之解碼裝置，其中，前述電路是利用前述記憶體，並進一步地將前述2個參照圖片清單當中，將登錄於開頭的參照圖片設定成更優先來解碼的參照圖片清單，決定為前述選擇參照圖片清單。
如請求項6之解碼裝置，其中，前述電路是利用前述記憶體，並進一步地將前述2個參照圖片清單當中，登錄於開頭的參照圖片之量化寬度較小的參照圖片清單，決定為前述選擇參照圖片清單。
如請求項6之解碼裝置，其中，前述電路是利用前述記憶體，並進一步地取得用於特定包含於編碼位元流的前述選擇參照圖片清單之資訊，以利用前述資訊來特定前述選擇參照圖片清單。
一種編碼方法，是從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。
一種解碼方法，是從處理完成區塊的動態補償所用的運動向量中，導出包含於處理對象圖片的處理對象區塊用之複數個候選運動向量，其中該處理對象圖片是具有2個參照圖片清單的B圖片，且不使用前述處理對象區塊的圖像區域，而是算出前述複數個候選運動向量當中表示參照圖片的候選運動向量之評價值，其中該參照圖片是在前述2個參照圖片清單的其中一個即選擇參照圖片清單中所顯示的參照圖片，並根據已算出的評價值，從表示前述選擇參照圖片清單中所顯示的參照圖片之前述候選運動向量中，選擇最終運動向量，而利用前述最終運動向量來進行前述處理對象區塊的動態補償。