TW201921924A

TW201921924A - 編碼裝置、解碼裝置、編碼方法及解碼方法

Info

Publication number: TW201921924A
Application number: TW107127111A
Authority: TW
Inventors: 安倍清史; 西孝啓; 遠間正真; 加納龍一; 橋本隆
Original assignee: 美商松下電器（美國）知識產權公司
Priority date: 2017-08-07
Filing date: 2018-08-03
Publication date: 2019-06-01

Abstract

一種編碼裝置，其包含電路及記憶體，電路使用記憶體，根據與解碼時之處理時間有關聯的第1資訊，決定是否禁止FRUC處理；當決定禁止FRUC處理時，從不包含FRUC處理的複數個預測模式中選擇1個預測模式，不使用FRUC處理而進行編碼；當決定不禁止FRUC處理時，從包含有FRUC處理的複數個預測模式中選擇1個預測模式，使用FRUC處理或者不使用FRUC處理而進行編碼，並且產生編碼位元串流，前述編碼位元串流包含有表示是否有使用FRUC處理的第2資訊。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法

發明領域本揭示係有關於編碼裝置、解碼裝置、編碼方法及解碼方法。

發明背景在最新的動態圖像編碼標準規格HEVC (High Efficiency Video Coding)規格中，為了提升編碼效率而做各種探討(例如參照非專利文獻1)。該方式為以H.26x表示的ITU-T (國際電信聯盟電信標準化部門)規格，以及以MPEG-x表示的ISO/IEC規格，且作為以H.264/AVC或者MPEG-4 AVC表示的規格的下一個影像編碼規格來探討。

先行技術文獻非專利文獻非專利文獻1：ITU-T Recommendation H.265「High Efficiency Video Coding」，2015年4月

發明概要發明欲解決之課題在如此的編碼方法及解碼方法中，期望可抑制處理延遲。

本揭示是以提供一種可抑制處理延遲的解碼裝置、編碼裝置、解碼方法或者編碼方法為目的。

用以解決課題之手段本揭示之一態樣的編碼裝置包含電路及記憶體，前述電路使用前述記憶體，根據與解碼時之處理時間有關聯的第1資訊，決定是否禁止FRUC (frame rate up-conversion)處理；當決定禁止前述FRUC處理時，從不包含前述FRUC處理的複數個預測模式中選擇1個預測模式，不使用前述FRUC處理而進行編碼；當決定不禁止前述FRUC處理時，從包含有FRUC處理的複數個預測模式中選擇1個預測模式，且對應於所選擇的預測模式是否為進行FRUC處理的模式，使用前述FRUC處理或者不使用前述FRUC處理而進行編碼，並且產生編碼位元串流，前述編碼位元串流包含有表示是否有使用前述FRUC處理的第2資訊。

本揭示之一態樣的解碼裝置是將前述編碼裝置所產生的前述編碼位元串流做解碼的解碼裝置，其包含電路及記憶體，前述電路使用前述記憶體，對應於包含在前述編碼位元串流中的前述第2資訊，使用前述FRUC處理或者不使用前述FRUC處理而進行解碼。

另，該等概括性或者是具體性的態樣，可以透過系統、方法、積體電路、電腦程式，或者電腦可讀取之CD-ROM等非暫時性之記錄媒體來實現，也可以透過系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。

發明效果本揭示可提供一種可抑制處理延遲的解碼裝置、編碼裝置、解碼方法或者編碼方法。

用以實施發明之形態 (成為本揭示之基礎的見解) 例如，編碼裝置會對圖像做每個區塊的編碼。編碼裝置在對圖像做每個區塊的編碼時，可使用畫面間預測，也可使用畫面內預測。編碼裝置在使用畫面間預測來做當前區塊之編碼時，會檢測出當前區塊之移動向量，且使用所檢測出的移動向量來產生當前區塊之預測圖像。而且，編碼裝置會將當前區塊之預測圖像與當前區塊之原圖像的差分圖像做編碼，藉此削減編碼量。

又，編碼裝置會將表示移動向量的移動向量資訊做編碼，而解碼裝置會將移動向量資訊做解碼。進而，解碼裝置會將差分圖像做解碼。並且，解碼裝置會使用藉由解碼過的移動向量資訊來表示的移動向量，來產生當前區塊之預測圖像，且藉由將預測圖像與差分圖像相加來再構成原圖像。藉此，解碼裝置可將圖像做解碼。

編碼裝置將移動向量資訊做編碼，解碼裝置將移動向量資訊做解碼，藉此解碼裝置可使用編碼裝置所用的移動向量，來適宜地產生當前區塊之預測圖像。另一方面，由於移動向量資訊被編碼，編碼量有可能會增加。

編碼裝置及解碼裝置為了削減如此的編碼量，可使用稱為FRUC (Frame Rate Up-Conversion)的技術。在FRUC中，編碼裝置及解碼裝置不進行移動向量資訊之編碼及解碼，且會在編碼裝置及解碼裝置以相同方法來導出移動向量。

例如，在模板FRUC方式中，編碼裝置及解碼裝置不用當前區塊，而會使用以當前區塊周邊的再構成圖像所構成的模板，來導出當前區塊之移動向量。藉此，編碼裝置及解碼裝置可不進行移動向量資訊之編碼及解碼，而在編碼裝置及解碼裝置以相同方法來導出移動向量。因此，編碼量會削減。

然而，在模板FRUC方式中，編碼裝置及解碼裝置直到當前區塊周邊的再構成圖像產生之前，都不能利用以當前區塊周邊的再構成圖像所構成的模板。因此，在以模板FRUC方式來導出移動向量的處理中，有可能發生延遲。

本揭示之一態樣的編碼裝置包含電路及記憶體，前述電路使用前述記憶體，根據與解碼時之處理時間有關聯的第1資訊，決定是否禁止FRUC (frame rate up-conversion)處理，當決定禁止前述FRUC處理時，從不包含前述FRUC處理的複數個預測模式中選擇1個預測模式，不使用前述FRUC處理而進行編碼；當決定不禁止前述FRUC處理時，從包含有FRUC處理的複數個預測模式中選擇1個預測模式，且對應於所選擇的預測模式是否為進行FRUC處理的模式，使用前述FRUC處理或者不使用前述FRUC處理而進行編碼，並且產生編碼位元串流，前述編碼位元串流包含有表示是否使用前述FRUC處理的第2資訊。

依此，可適宜地削減解碼時的處理時間，因此例如是可減低解碼時的管線控制中的等待時間。

例如，也可以是前述第1資訊為處理對象之區塊的尺寸，在是否禁止前述FRUC處理的前述決定中，當前述尺寸大於預先設定的閾值時，會決定禁止前述FRUC處理。

依此，可削減處理時間會變長之尺寸較大的區塊之處理時間，因此可有效率地減低等待時間。

例如，也可以是前述第1資訊為處理對象之區塊以及處理順序緊接在前述處理對象之區塊之前的區塊之尺寸，在是否禁止前述FRUC處理的前述決定中，當前述處理對象之區塊的尺寸大於前述緊接在之前的區塊之尺寸時，會決定禁止前述FRUC處理。

依此，可在很有可能產生等待時間的時機下減低處理時間，因此可有效率地減低等待時間。

例如，也可以是前述第1資訊為複數個區塊之中使用了前述FRUC處理而編碼的區塊之數量，在是否禁止前述FRUC處理的前述決定中，當前述區塊之數量大於預先設定的閾值時，會決定禁止前述FRUC處理。

依此，可在等待時間變長的時機下減低處理時間，因此可有效率地減低等待時間。又，可抑制FRCU處理受到不必要的禁止之情況。

例如，也可以是前述第1資訊為複數個區塊之中使用了前述FRUC處理而編碼的區塊之比例，在是否禁止前述FRUC處理的前述決定中，當前述區塊之比例大於預先設定的閾值時，會決定禁止前述FRUC處理。

依此，可在等待時間變長的時機下減低處理時間，因此可有效率地減低等待時間。而且，可抑制FRUC處理受到不必要的禁止之情況。

例如，前述複數個區塊也可以包含在處理對象之區塊所屬的編碼樹單元(Coding tree unit, CTU)以及緊接在之前所處理的1個以上的編碼樹單元中。

例如，前述複數個區塊也可以是包含在處理對象之區塊所屬的切片或者是圖片中的複數個區塊。

例如，前述第1資訊也可以是緊接在處理對象之區塊之前且使用前述FRUC處理而編碼的區塊之連續數量，在是否禁止前述FRUC處理的前述決定中，當前述區塊之連續數量大於預先設定的閾值時，會決定禁止前述FRUC處理。

依此，可在等待時間變長的時機下減低處理時間，因此可有效率地減低等待時間。而且，可抑制FRCU處理受到不必要的禁止之情況。

例如，前述第1資訊也可以是解碼時的管線控制中的等待時間，在是否禁止前述FRUC處理的前述決定中，會推算前述等待時間，當所推算的前述等待時間大於預先設定的閾值時，會決定禁止前述FRUC處理。

例如，前述電路也可以使用前述記憶體，進而將與是否禁止前述FRUC處理的前述決定有關的參數，編碼在前述編碼位元串流所包含的序列標頭區域、圖片標頭區域、切片標頭區域，或者是輔助資訊區域中。

例如，前述電路也可以使用前述記憶體，進而對應於處理對象之圖片的大小，來切換與是否禁止前述FRUC處理的前述決定有關的參數。

依此，可對應於圖片之大小來適宜地禁止FRCU處理。

例如，前述電路也可以使用前述記憶體，進而對應於解碼裝置之處理能力，來切換與是否禁止前述FRUC處理的前述決定有關的參數。

依此，可對應於解碼裝置之處理能力來適宜地禁止FRCU處理。

例如，前述電路也可以使用前述記憶體，進而對應於分配給前述編碼位元串流的設定檔或是等級，來切換與是否禁止前述FRUC處理的前述決定有關的參數。

依此，可對應於設定檔或者等級來適宜地禁止FRCU處理。

本揭示之一態樣的解碼裝置，是將前述編碼裝置所產生的前述編碼位元串流做解碼的解碼裝置，其包含電路及記憶體，前述電路使用前述記憶體，對應於包含在前述編碼位元串流中的前述第2資訊，使用前述FRUC處理或者不使用前述FRUC處理而進行解碼。

本揭示之一態樣的編碼方法，會根據與解碼時的處理時間有關聯的第1資訊，來決定是否禁止FRUC (frame rate up-conversion)處理，當決定禁止前述FRUC處理時，從不包含前述FRUC處理的複數個預測模式中選擇1個預測模式，不使用前述FRUC處理而進行編碼；當決定不禁止前述FRUC處理時，從包含有FRUC處理的複數個預測模式中選擇1個預測模式，且對應於所選擇的預測模式是否為進行FRUC處理的模式，使用前述FRUC處理或者不使用前述FRUC處理而進行編碼，並且產生編碼位元串流，前述編碼位元串流包含有表示是否使用前述FRUC處理的第2資訊。

本揭示之一態樣的解碼方法，是將前述編碼方法所產生的前述編碼位元串流做解碼的解碼方法，其對應於包含在前述編碼位元串流中的前述第2資訊，使用前述FRUC處理或者不使用前述FRUC處理而進行解碼。

再者，該等概括性或者是具體性的態樣，可以透過系統、裝置、方法、積體電路、電腦程式，或者電腦可讀取之CD-ROM等非暫時性之記錄媒體來實現，也可以透過系統、裝置、方法、積體電路、電腦程式，及記錄媒體的任意組合來實現。

以下，一邊參考附圖，一邊具體地說明實施形態。

另，在以下所說明的實施形態，每一個都是顯示概括性或具體性的例子。在以下的實施形態中所示的數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等都只是一例罷了，其宗旨並非限定請求的範圍。又，以下的實施形態之構成要件中，針對未記載於表示最上位概念的獨立請求項之構成要件，是作為任意的構成要件來說明。

(實施形態1) 首先，說明實施形態1的概要，作為可適用後述本揭示之各態樣中所說明的處理及/或構成之編碼裝置及解碼裝置的一例。惟，實施形態1只不過為可適用本揭示之各態樣中所說明之處理及/或構成的編碼裝置及解碼裝置之一例，在本揭示之各態樣所說明的處理及/或構成也可實施於與實施形態1不同的編碼裝置及解碼裝置。

對實施形態1適用在本揭示之各態樣中所說明的處理及/或構成時，例如亦可進行以下任一種方式。 (1)對於實施形態1之編碼裝置或者解碼裝置，在構成該編碼裝置或者解碼裝置之複數個構成要件之中，將與本揭示的各態樣中所說明的構成要件相對應的構成要件，替換成本揭示的各態樣中所說明的構成要件； (2) 對於實施形態1之編碼裝置或者解碼裝置，針對構成該編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件，先施予功能或者欲實施之處理的追加、替換、刪除等之任意的變更後，進一步將與本揭示之各態樣中所說明的構成要件相對應的構成要件，替換成本揭示之各態樣中所說明的構成要件； (3) 對於實施形態1之編碼裝置或者解碼裝置所要實施的方法，針對處理的追加、及/或該方法所包含的複數個處理中一部分的處理先施予替換、刪除等之任意的變更後，進一步將與本揭示的各態樣中所說明的處理相對應的處理，替換成本揭示的各態樣中所說明的處理； (4) 將構成實施形態1之編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件，和本揭示之各態樣中所說明的構成要件、具有本揭示之各態樣中所說明的構成要件所具備的功能之一部分的構成要件，或者要實施本揭示之各態樣中所說明之構成要件所要實施的處理之一部分的構成要件相組合而實施； (5)將具有構成實施形態1之編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件所具備的功能之一部分的構成要件、或者實施構成實施形態1之編碼裝置或者解碼裝置之複數個構成要件中一部分的構成要件所實施的處理之一部分的構成要件，和本揭示之各態樣中所說明之構成要件、具有在本揭示之各態樣中所說明之構成要件所具備的功能之一部分的構成要件，或者是實施本揭示之各態樣中所說明之構成要件所實施的處理之一部分的構成要件相組合來實施； (6)對於實施形態1之編碼裝置或者解碼裝置所要實施的方法，在該方法所包含的複數個處理之中，將對應於本揭示之各態樣中所說明之處理的處理，替換成本揭示之各態樣中所說明的處理； (7)將實施形態1之編碼裝置或者解碼裝置所要實施的方法所包含之複數個處理中的一部分處理，和本揭示之各態樣中所說明的處理相組合來實施。

另，本揭示之各態樣中所說明之處理及/或構成的實施方式並不限於上述例子。例如，可以在與實施形態1中所揭示之動態圖像/圖像編碼裝置或者是動態圖像/圖像解碼裝置以不同目的被利用的裝置中實施，也可以單獨地實施已在各態樣中說明的處理及/或構成。又，也可將已在不同態樣中說明的處理及/或構成進行組合來實施。

[編碼裝置的概要] 首先，說明實施形態1之編碼裝置之概要。圖1是顯示實施形態1之編碼裝置100之功能構成之方塊圖。編碼裝置100是將動態圖像/圖像以區塊單位進行編碼之動態圖像/圖像編碼裝置。

如圖1所示，編碼裝置100為將圖像以區塊單位進行編碼之裝置，包含有：分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、幀記憶體122、幀內預測部124、幀間預測部126，及預測控制部128。

編碼裝置100例如是藉由通用處理器及記憶體來實現。此時，當儲存在記憶體的軟體程式藉由處理器來執行時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、幀內預測部124、幀間預測部126、及預測控制部128而發揮功能。又，編碼裝置100也可作為一種專用的1個以上的電子電路來實現，前述專用的1個以上的電子電路是對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、幀內預測部124、幀間預測部126、及預測控制部128。

以下，針對編碼裝置100所包含之各構成要件予以說明。

[分割部] 分割部102是將輸入動態圖像所包含之各圖片分割成複數個區塊，將各區塊輸出至減法部104。例如，分割部102首先將圖片分割成固定尺寸(例如128×128)之區塊。前述固定尺寸的區塊有時亦被稱為編碼樹單元(CTU)。接著，分割部102根據遞迴性的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的區塊之每一個分割成可變尺寸(例如64×64以下)的區塊。前述可變尺寸的區塊有時亦被稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。另，在本實施形態中，CU、PU及TU沒有區別的必要，圖片內的一部分或者全部的區塊皆可成為CU、PU、TU的處理單位。

圖2是顯示實施形態1中的區塊分割一例之圖。在圖2中，實線是表示四元樹區塊分割的區塊邊界，虛線是表示二元樹區塊分割的區塊邊界。

在此，區塊10是128×128像素的正方形區塊(128×128區塊)。前述128×128區塊10首先是被分割成4個正方形的64×64區塊(四元樹區塊分割)。

左上的64×64區塊是進一步被垂直分割成2個矩形的32×64區塊，左邊的32×64區塊是進一步被垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上的64×64區塊是被分割成2個16×64區塊11、12、及32×64區塊13。

右上的64×64區塊是被水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。

左下的64×64區塊是被分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊之中，左上的區塊及右下的區塊被進一步分割。左上的32×32區塊是垂直分割成2個矩形的16×32區塊，右邊的16×32區塊是進一步被水平分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊是被水平分割成2個32×16區塊(二元樹區塊分割)。其結果，左下的64×64區塊是被分割成16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、及2個32×16區塊21、22。

右下的64×64區塊23不分割。

如上，在圖2中，區塊10是根據遞迴性的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11至23。如此的分割，有時亦被稱為QTBT (quad-tree plus binary tree)分割。

另，在圖2中，1個區塊是被分割成4個或者2個區塊(四元樹或者二元樹區塊分割)，而分割並不限於此。例如，1個區塊也可被分割成3個區塊(三元樹區塊分割)。如此包含三元樹區塊分割的分割有時亦被稱為MBT (multi type tree)分割。

[減法部] 減法部104是以由分割部102所分割的區塊單位，從原訊號(原樣本)減去預測訊號(預測樣本)。即，減法部104是算出編碼對象區塊(以下稱為當前區塊)的預測誤差(也稱為殘差)。接著，減法部104將所算出的預測誤差輸出至轉換部106。

原訊號是編碼裝置100的輸入訊號，為表示構成動態圖像之各圖片的圖像之訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在下面內容中，也將表示圖像的訊號稱為樣本。

[轉換部] 轉換部106是將空間領域的預測誤差轉換成頻率領域的轉換係數，且將轉換係數輸出至量化部108。具體來說，轉換部106例如對於空間領域的預測誤差，進行已事先決定的離散餘弦轉換(Discrete Cosine Transform, DCT)或者離散正弦轉換(Discrete Sine Transform, DST)。

另，轉換部106也可從複數個轉換類型中適應性地選擇轉換類型，使用對應於所選擇的轉換類型之轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。如此轉換有時亦被稱為EMT(explicit multiple core transform)或者AMT(adaptive multiple transform)。

複數個轉換類型，例如包括有DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換類型之轉換基底函數之表。在圖3中，N是顯示輸入像素的數量。從該等複數個轉換類型中選擇轉換類型，例如可依據預測的種類(幀內預測及幀間預測)，也可依據幀內預測模式。

顯示是否適用如此的EMT或者AMT之資訊(例如被稱為AMT旗標)以及顯示被選擇的轉換類型之資訊，是以CU等級而被訊號化。另，該等資訊的訊號化不必限定在CU等級，也可為其他等級(例如序列等級(sequence level)、圖片等級(picture level)、切片等級(slice level)、圖塊等級(tile level)或者CTU等級)。

又，轉換部106也可將轉換係數(轉換結果)再轉換。如此再轉換有時亦被稱為AST (adaptive secondary transform)或者NSST(non-separable secondary transform)。例如，轉換部106是依對應於幀內預測誤差之轉換係數的區塊所包含之子區塊(例如4×4子區塊)的每一個而進行再轉換。顯示是否適用NSST的資訊及有關於使用在NSST之轉換矩陣的資訊是以CU等級進行訊號化。另，該等資訊的訊號化沒有必要限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級或者CTU等級)。

在此，Separable (可分離)的轉換是指以輸入的維度之數來按各個方向分離並進行複數次轉換的方式，Non-Separable(不可分離)的轉換是指在輸入為多維時將2個以上的維度統整視為1維而一次進行轉換的方式。

例如，作為Non-Separable的轉換之1例，可舉例有如下者：在輸入為4×4的區塊時，將前述區塊視為具有16個要件之一個陣列，對前述陣列以16×16的轉換矩陣進行轉換處理。

又，同樣，將4×4的輸入區塊視為具有16個要件的一個陣列後，對前述陣列進行數次Givens(吉文斯)旋轉之構成(Hypercube Givens Transform/超立方體吉文斯轉換)，也是Non-Separable轉換的例子。

[量化部] 量化部108是將從轉換部106所輸出的轉換係數進行量化。具體來說，量化部108是以既定的掃描順序來掃描當前區塊的轉換係數，並根據對應於所掃描的轉換係數的量化參數(QP)而將該轉換係數進行量化。然後，量化部108將當前區塊之業經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。

既定的順序是轉換係數的量化/反量化用的順序。例如，既定的掃描順序是以頻率的升序(從低頻到高頻的順序)或者降序(從高頻到低頻的順序)來下定義。

量化參數係指定義量化步距(量化寬度)的參數。例如，若量化參數的值增加時，量化步距也會增加。即，若量化參數的值增加，量化誤差也會變大。

[熵編碼部] 熵編碼部110是將從量化部108輸入的量化係數進行可變長度編碼，藉此產生編碼訊號(編碼位元串流)。具體來說，熵編碼部110例如將量化係數二進位化，且將二進位訊號進行算術編碼。

[反量化部] 反量化部112是將從量化部108輸入的量化係數進行反量化。具體來說，反量化部112是以既定的掃描順序將當前區塊的量化係數進行反量化。然後，反量化部112將當前區塊的業經反量化的轉換係數輸出至反轉換部114。

[反轉換部] 反轉換部114是將從反量化部112輸入的轉換係數進行反轉換，藉此將預測誤差進行復原。具體來說，反轉換部114是對轉換係數進行與轉換部106所進行的轉換對應之反轉換，藉此將當前區塊的預測誤差進行復原。然後，反轉換部114將業已復原的預測誤差輸出至加法部116。

另，業已復原的預測誤差是因為量化而失去了資訊，因此和減法部104所算出的預測誤差不一致。即，在業已復原的預測誤差中含有量化誤差。

[加法部] 加法部116是將從反轉換部114輸入的預測誤差、與從預測控制部128輸入的預測樣本相加，藉此再構成當前區塊。然後，加法部116將業經再構成的區塊輸出至區塊記憶體118及迴路濾波部120。再構成區塊有時也被稱為局部解碼區塊。

[區塊記憶體] 區塊記憶體118是用以儲存區塊的記憶部，其中前述區塊為於幀內預測被參考的區塊，且為編碼對象圖片(以下稱為當前圖片)內的區塊。具體來說，區塊記憶體118是儲存從加法部116所輸出的再構成區塊。

[迴路濾波部] 迴路濾波部120是對藉由加法部116而再構成的區塊施加迴路濾波，且將業經濾波的再構成區塊輸出至幀記憶體122。迴路濾波器是指在編碼迴路內所使用的濾波器(In-loop filter，迴路內濾波器)，例如包括解區塊濾波器(Deblocking Filter，DF)、樣本適應性偏移(Sample Adaptive Offset，SAO)及適應性迴路濾波器(Adaptive Loop Filter，ALF)等。

在ALF中是適用用以移除編碼失真的最小平方誤差濾波器，例如按當前區塊內的2×2子區塊之每一個，根據局部性的梯度(gradient)的方向及活性度(activity)，適用從複數個濾波器之中所選擇的1個濾波器。

具體來說，首先子區塊(例如2×2子區塊)被分類成複數個類別(例如15或者25類)。子區塊的分類是根據梯度的方向及活性度來進行。例如，使用梯度的方向值D(例如0至2或者0至4)與梯度的活性值A(例如0至4)而算出分類值C(例如C=5D+A)。然後，根據分類值C，使子區塊被分類成複數個類別(例如15或者25類)。

梯度的方向值D例如是藉由比較複數個方向(例如水平、垂直及2個對角方向)的梯度而導出。又，梯度的活性值A例如是將複數個方向的梯度相加，並藉由將相加結果進行量化來導出。

根據如此分類的結果，從複數個濾波器之中決定子區塊用的濾波器。

作為在ALF所使用的濾波器的形狀，例如是利用圓對稱形狀。圖4A至圖4C是顯示在ALF所使用的濾波器的形狀的數例之圖。圖4A是顯示5×5菱形形狀濾波器，圖4B是顯示7×7菱形形狀濾波器，圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的形狀之資訊是以圖片等級來進行訊號化。另，顯示濾波器的形狀之資訊的訊號化並不須限定在圖片等級，也可為其他等級(例如序列等級、切片等級、圖塊等級、CTU等級或者是CU等級)。

ALF的開啟/關閉，例如是以圖片等級或者CU等級來決定。例如，針對亮度，是以CU等級來決定是否適用ALF，針對色差，是以圖片等級來決定是否適用ALF。顯示ALF的開啟/關閉的資訊，是以圖片等級或者CU等級來進行訊號化。另，顯示ALF的開啟/關閉的資訊之訊號化，並無須限定在圖片等級或者CU等級，也可為其他等級(例如序列等級、切片等級、圖塊等級、或者CTU等級)。

可選擇的複數個濾波器(例如迄至15或25的濾波器)的係數組合是以圖片等級進行訊號化。另，係數組合的訊號化並無須限定在圖片等級，也可為其他等級(例如序列等級、切片等級、圖塊等級、CTU等級、CU等級或者是子區塊等級)。

[幀記憶體] 幀記憶體122是用以儲存被使用在幀間預測的參考圖片之記憶部，有時也被稱為幀緩衝器。具體來說，幀記憶體122是儲存已藉由迴路濾波部120濾波的再構成區塊。

[幀內預測部] 幀內預測部124是參考區塊記憶體118所儲存的當前圖片內的區塊，進行當前區塊的幀內預測(也稱為畫面內預測)，以此產生預測訊號(幀內預測訊號)。具體來說，幀內預測部124是參考鄰接於當前區塊之區塊的樣本(例如亮度值、色差值)進行幀內預測，以此產生幀內預測訊號，且將幀內預測訊號輸出至預測控制部128。

例如，幀內預測部124利用已事先規定的複數個幀內預測模式之中的1個，來進行幀內預測。複數個幀內預測模式是包括1個以上的非方向性預測模式、及複數個方向性預測模式。

1個以上的非方向性預測模式包括例如以H.265/HEVC(High-Efficiency Video Coding/高效率視訊編碼)規格(非專利文獻1)所規定的Planar(平面)預測模式及DC(Direct Current/直流)預測模式。

複數個方向性預測模式包括例如以H.265/ HEVC規格所規定的33方向的預測模式。另，複數個方向性預測模式除了33方向外，也可進一步包括32方向的預測模式(合計共65個方向性預測模式)。圖5A是顯示幀內預測中的67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭是表示以H.265/HEVC規格所規定的33方向，虛線箭頭是表示追加的32方向。

另，在色差區塊的幀內預測中，亮度區塊也可被參考。即，也可根據當前區塊的亮度成分，預測當前區塊的色差成分。如此之幀內預測有時也被稱為CCLM (cross- component linear model)預測。像這種參考亮度區塊之色差區塊的幀內預測模式(例如被稱為CCLM模式)，也可作為1種色差區塊的幀內預測模式而加入。

幀內預測部124也可根據水平/垂直方向的參考像素的梯度，來補正幀內預測後的像素值。像這樣伴隨著補正的幀內預測有時被稱為PDPC(position dependent intra prediction combination)。顯示有無適用PDPC的資訊(例如被稱為PDPC旗標)，例如是以CU等級而進行訊號化。另，前述資訊的訊號化並無須限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級、或者CTU等級)。

[幀間預測部] 幀間預測部126是參考幀記憶體122所儲存的參考圖片且與當前圖片相異的參考圖片，來進行當前區塊的幀間預測(也叫做畫面間預測)，以此產生預測訊號(幀間預測訊號)。幀間預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位來進行。例如，幀間預測部126是針對當前區塊或者子區塊，在參考圖片內進行移動估測(motion estimation)。接著，幀間預測部126是利用藉由移動估測而得到的移動資訊(例如移動向量)來進行移動補償，以此產生當前區塊或者子區塊的幀間預測訊號。然後，幀間預測部126是將所產生的幀間預測訊號輸出至預測控制部128。

用於移動補償的移動資訊被進行訊號化。對於移動向量的訊號化，也可使用移動向量預測子(motion vector predictor)。即，移動向量與移動向量預測子間之差分也可被訊號化。

另，不僅使用透過移動估測所得到的當前區塊的移動資訊，也可使用鄰接區塊的移動資訊，來產生幀間預測訊號。具體來說，也可將以透過移動估測所得到的移動資訊為基準的預測訊號、與以鄰接區塊的移動資訊為基準的預測訊號予以加權加總，藉此以當前區塊內的子區塊單位來產生幀間預測訊號。如此之幀間預測(移動補償)有時被稱為OBMC (overlapped block motion compensation)。

在如此之OBMC模式中，顯示OBMC用的子區塊的尺寸之資訊(例如被稱為OBMC區塊尺寸)是以序列等級而被訊號化。又，顯示是否適用OBMC模式之資訊(例如被叫做OBMC旗標)是以CU等級而被訊號化。另，該等資訊的訊號化的等級並無須限定在序列等級及CU等級，也可為其他等級(例如圖片等級、切片等級、圖塊等級、CTU等級、或者子區塊等級)。

針對OBMC模式，更具體地來進行說明。圖5B及圖5C是用以說明OBMC處理所進行的預測圖像補正處理的概要之流程圖及概念圖。

首先，使用被分配到編碼對象區塊之移動向量(MV)，取得依通常的移動補償所得到之預測圖像(Pred)。

其次，將已編碼完畢的左鄰接區塊的移動向量(MV_L)適用在編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L加權、重疊，藉此進行預測圖像的第1次補正。

以同樣方式，將已編碼完畢之上鄰接區塊的移動向量(MV_U)適用在編碼對象區塊，取得預測圖像 (Pred_U)，將前述已進行第1次補正的預測圖像與Pred_U加權、重疊，藉此進行預測圖像的第2次補正，並將其作為最後的預測圖像。

另，在此說明了使用左鄰接區塊與上鄰接區塊的2階段補正的方法，但也能作成如下構成，即，使用右鄰接區塊或下鄰接區塊，進行比2階段更多次數的補正。

另，進行重疊的區域也可僅為區塊邊界附近之一部分的區域，而非區塊整體的像素區域。

另，在此雖是針對來自1張參考圖片的預測圖像補正處理進行說明，但是在從複數張參考圖片補正預測圖像的情況下也是同樣，在取得從各參考圖片補正的預測圖像後，將得到的預測圖像進一步重疊，以此作為最後的預測圖像。

另，前述處理對象區塊可為預測區塊單位，也可為將預測區塊進一步加以分割的子區塊單位。

作為判斷是否適用OBMC處理的方法，例如有一種使用obmc_flag之方法，前述obmc_flag是顯示是否適用OBMC處理的訊號。以一具體例來說，在編碼裝置中，判斷編碼對象區塊是否屬於移動為複雜的區域，在屬於移動為複雜的區域時，設定值為1來作為obmc_flag，並適用OBMC處理而進行編碼，在不屬於移動為複雜的區域時，則設定值為0來作為obmc_flag，不適用OBMC處理而進行編碼。另一方面，在解碼裝置中，將記述在串流的obmc_flag解碼，藉此因應該值切換是否適用OBMC處理而進行解碼。

另，移動資訊也可在不被訊號化之狀態下在解碼裝置側導出。例如，也可採用以H.265/HEVC規格所規定的合併模式。又，例如也可於解碼裝置側進行移動估測，藉此導出移動資訊。此時，移動估測能在不使用當前區塊的像素值之狀態下進行。

在此，針對在解碼裝置側進行移動估測的模式來說明。前述在解碼裝置側進行移動估測的模式有時被稱為PMMVD(pattern matched motion vector derivation)模式或者FRUC(frame rate up-conversion)模式。

FRUC處理之一例是顯示在圖5D中。首先，參考空間上或時間上鄰接於當前區塊的編碼完畢區塊之移動向量，產生複數個候選的清單(也可與合併清單為共通)，前述複數個候選各自具有移動向量預測子。其次，從已登錄在候選清單的複數個候選MV之中選擇最佳候選MV。例如，算出候選清單所包含之各候選的評價值，根據評價值而選擇1個候選。

接著，根據所選擇的候選移動向量，導出當前區塊用的移動向量。具體來說，例如將所選擇的候選移動向量(最佳候選MV)直接作為當前區塊用的移動向量而導出。又，例如在對應於所選擇之候選移動向量的參考圖片內的位置的周邊區域中進行樣式(pattern)匹配，藉此也可以導出當前區塊用的移動向量。即，亦可對於最佳候選MV之周邊的區域，以同樣的方法進行估測，且在有評價值為更好的值之MV時，將最佳候選MV更新為前述MV，將前述MV當作當前區塊之最後的MV。另，也可做成不實施該處理之構成。

在以子區塊單位進行處理時，也可構成為完全同樣的處理。

另，可透過對應於移動向量之參考圖片內的區域與既定區域之間的樣式匹配，而求出再構成圖像的差分值，藉此算出評價值。另，除了差分值外，也可使用除此以外的資訊來算出評價值。

作為樣式匹配，是使用第1樣式匹配或者第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別被稱為雙向匹配(bilateral matching)以及模板匹配(template matching)。

在第1樣式匹配中，是在2個區塊之間進行樣式匹配，前述2個區塊是不同的2個參考圖片內的2個區塊，且是沿著當前區塊的移動軌跡(motion trajectory)的2個區塊。因此，在第1樣式匹配中，是使用沿著當前區塊的移動軌跡的其他參考圖片內之區域，來作為算出上述候選評價值用的既定區域。

圖6是用以說明在沿著移動軌跡的2個區塊間之樣式匹配(雙向匹配)的一例之圖。如圖6所示，在第1樣式匹配下，在沿著當前區塊(Cur block)的移動軌跡之2個區塊且為不同的2個參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)中，搜索最為相配的配對，藉此導出2個移動向量(MV0、MV1)。具體來說，對於當前區塊，導出以候選MV所指定的第1編碼完畢參考圖片(Ref0)內的指定位置之再構成圖像、與以對稱MV所指定的第2編碼完畢參考圖片(Ref1)內的指定位置之再構成圖像間的差分，並使用所得到的差分值來算出評價值，其中前述對稱MV是將前述候選MV以顯示時間間隔進行定標(scaling)的MV。在複數個候選MV之中選擇評價值為最佳值的候選MV作為最後MV即可。

在假設移動軌跡是連續的情況下，指示2個參考區塊的移動向量(MV0、MV1)是相對於當前圖片(Cur Pic)與2個參考圖片(Ref0、Ref1)間之時間上的距離(TD0、TD1)成比例。例如，當前圖片在時間上是位於2個參考圖片之間，且在從當前圖片到2個參考圖片的時間上的距離相等時，在第1樣式匹配中，能導出鏡射對稱的雙向之移動向量。

在第2樣式匹配中，是在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間進行樣式匹配。因此，在第2樣式匹配中，是使用鄰接於當前圖片內的當前區塊的區塊，來作為算出上述候選評價值用的既定區域。

圖7是用以說明在當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的一例之圖。如圖7所示，在第2樣式匹配中，是在參考圖片(Ref0)內搜索與當前圖片(Cur Pic)內鄰接於當前區塊(Cur block)之區塊最匹配的區塊，藉此導出當前區塊的移動向量。具體來說，對於當前區塊，導出左鄰接及上鄰接兩邊或者任一邊的編碼完畢區域的再構成圖像、與以候選MV所指定的編碼完畢參考圖片(Ref0)內的同等位置的再構成圖像間的差分，且使用所得到的差分值算出評價值，並且在複數個候選MV之中選擇評價值為最佳值的候選MV作為最佳候選MV即可。

如此之顯示是否適用FRUC模式的資訊(例如被稱為FRUC旗標)是以CU等級而被訊號化。又，在適用FRUC模式時(例如FRUC旗標為真時)，顯示樣式匹配之方法(第1樣式匹配或者第2樣式匹配)的資訊(例如被稱為FRUC模式旗標)是以CU等級而被訊號化。另，該等資訊之訊號化並不須限定於CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級、CTU等級或者子區塊等級)。

在此，針對根據模型來導出移動向量的模式進行說明，其中前述模型是假設為等速直線運動的模型。前述模式有時被稱為BIO(bi-directional optical flow，雙向光流)模式。

圖8是用以說明假設為等速直線運動的模型之圖。在圖8中，(v_x ,v_y )是表示速度向量，τ₀ 、τ₁ 各表示當前圖片 (Cur Pic)與2個參考圖片(Ref₀ ,Ref₁ )間的時間上的距離。(MVx₀ ,MVy₀ )是表示對應於參考圖片Ref₀ 的移動向量，(MVx₁ 、MVy₁ )是表示對應於參考圖片Ref₁ 的移動向量。

此時，在速度向量(v_x ,v_y )為等速直線運動的假設下，(MVx₀ ,MVy₀ )及(MVx₁ ,MVy₁ )各表示為(v_x τ₀ ,v_y τ₀ )及(-v_x τ₁ ,-v_y τ₁ )，以下的光流等式(1)成立。 (數式1)

在此，I^(k) 是表示移動補償後之參考圖像k(k=0,1)的亮度值。前述光流等式是表示：(i)亮度值的時間微分、(ii)水平方向的速度及參考圖像的空間梯度的水平成分的乘積、與(iii)垂直方向的速度及參考圖像的空間梯度的垂直成分的乘積之和等於零。根據前述光流等式與赫米特內插法(Hermite interpolation)之組合，將從合併清單等所得到的區塊單位之移動向量以像素單位進行補正。

另，也可利用與根據假設等速直線運動的模型之移動向量的導出不同的方法，在解碼裝置側導出移動向量。例如，也可根據複數個鄰接區塊的移動向量，而以子區塊單位導出移動向量。

在此，針對根據複數個鄰接區塊的移動向量而以子區塊單位導出移動向量的模式進行說明。前述模式有時被稱為仿射移動補償預測(affine motion compensation prediction)模式。

圖9A是用以說明子區塊單位的移動向量之導出之圖，該導出是根據複數個鄰接區塊的移動向量來進行。在圖9A中，當前區塊含有16個4×4子區塊。在此，根據鄰接區塊的移動向量，導出當前區塊的左上角控制點的移動向量v₀ ，且根據鄰接子區塊的移動向量，導出當前區塊的右上角控制點的移動向量v₁ 。接著，使用2個移動向量v₀ 及v₁ ，藉由以下的式(2)，導出當前區塊內的各子區塊的移動向量(v_x ,v_y )。 (數式2)

在此，x及y各表示子區塊的水平位置及垂直位置，w表示已事先訂定的權重係數。

在如此之仿射移動補償預測模式中，也可包括左上及右上角控制點的移動向量之導出方法相異的幾個模式。顯示如此之仿射移動補償預測模式的資訊(例如被稱為仿射旗標)是以CU等級而被訊號化。另，前述顯示仿射移動補償預測模式之資訊的訊號化無須限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、圖塊等級、CTU等級或者子區塊等級)。

[預測控制部] 預測控制部128是選擇幀內預測訊號及幀間預測訊號之任一種，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。

在此，說明藉由合併模式而導出編碼對象圖片的移動向量之例。圖9B是用以說明藉由合併模式而進行之移動向量導出處理之概要的圖。

首先，產生已登錄預測MV之候選的預測MV清單。作為預測MV的候選，包括有：空間鄰接預測MV，是編碼對象區塊之空間性質上位於其周邊的複數個編碼完畢區塊所具有的MV；時間鄰接預測MV，是投影在編碼完畢參考圖片中的編碼對象區塊之位置的附近區塊所具有的MV；結合預測MV，是組合空間鄰接預測MV及時間鄰接預測MV之MV值而產生的MV；以及零預測MV，是值為零的MV等。

其次，藉由從已登錄在預測MV清單的複數個預測MV之中選擇1個預測MV，而將之決定為編碼對象區塊的MV。

進而，在可變長度編碼部中，將merge_idx記述在串流中並進行編碼，其中前述merge_idx是顯示已選擇哪一預測MV的訊號。

另，登錄在圖9B中所說明的預測MV清單的預測MV只是一個例子，也可為和圖中的個數不同的個數，或者構成為不包含圖中的預測MV之一部分的種類，或者構成為追加了圖中的預測MV之種類以外的預測MV。

另，也可使用藉由合併模式所導出之編碼對象區塊的MV，進行後述的DMVR處理，藉此來決定最後的MV。

在此，針對使用DMVR處理來決定MV之例進行說明。

圖9C是用以說明DMVR處理的概要之概念圖。

首先，以已設定於處理對象區塊的最適合的MVP作為候選MV，並依照前述候選MV，從L0方向的處理完畢圖片即第1參考圖片、及L1方向的處理完畢圖片即第2參考圖片分別取得參考像素，取各參考像素的平均，藉此產生模板。

其次，使用前述模板，分別估測第1參考圖片及第2參考圖片的候選MV之周邊區域，將成本成為最小的MV決定為最後的MV。另，成本值是利用模板的各像素值與估測區域的各像素值之差分值及MV值等來算出。

另，在此所說明的處理之概要在編碼裝置及解碼裝置中基本上是共通的。

另，就算不是在此所說明的處理內容，只要是能估測候選MV的周邊而導出最後的MV之處理，也可使用其他處理。

在此，針對使用LIC處理來產生預測圖像的模式進行說明。

圖9D是用以說明使用LIC處理之亮度補正處理的預測圖像產生方法之概要的圖。

首先，從參考圖片導出MV，其中前述參考圖片是編碼完畢圖片，前述MV是用以取得對應於編碼對象區塊之參考圖像的MV。

其次，對於編碼對象區塊，利用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值，及位於以MV所指定的參考圖片內之同等位置的亮度像素值來擷取資訊，算出亮度補正參數，其中前述資訊是顯示亮度值在參考圖片與編碼對象圖片中如何變化的資訊。

對於以MV所指定的參考圖片內之參考圖像，使用前述亮度補正參數進行亮度補正處理，藉此產生相對於編碼對象區塊之預測圖像。

另，圖9D中的前述周邊參考區域的形狀只是其中一例，也可使用除此以外的形狀。

又，在此已針對從1張參考圖片來產生預測圖像的處理進行說明，但從複數張參考圖片來產生預測圖像的情況也是同樣，先對已從各個參考圖片所取得的參考圖像以同樣的方法進行亮度補正處理，之後再產生預測圖像。

作為判斷是否適用LIC處理的方法，例如有使用lic_flag的方法，前述lic_flag是顯示是否適用LIC處理的訊號。以具體的一例來說，在編碼裝置中，判斷編碼對象區塊是否屬於發生亮度變化之區域，若屬於發生亮度變化的區域，對lic_flag設定其值為1，適用LIC處理而進行編碼，若不屬於發生亮度變化之區域，則對lic_flag設定其值為0且不適用LIC處理而進行編碼。另一方面，在解碼裝置中，將記述於串流之lic_flag進行解碼，藉此因應該值而切換是否適用LIC處理來進行解碼。

作為判斷是否適用LIC處理之另一方法，例如還有依照是否已在周邊區塊適用LIC處理來進行判斷的方法。以具體的一例來說，編碼對象區塊為合併模式時，判斷在合併模式處理中的MV導出時所選擇的周邊之編碼完畢區塊是否已適用LIC處理而進行編碼，再因應該結果切換是否適用LIC處理而進行編碼。另，前述例的情況在解碼中的處理也是完全相同。

[解碼裝置的概要] 其次，針對解碼裝置之概要進行說明，前述解碼裝置可將從上述編碼裝置100所輸出的編碼訊號(編碼位元串流)進行解碼。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位而將動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。

如圖10所示，解碼裝置200包含有：熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、幀記憶體214、幀內預測部216、幀間預測部218、及預測控制部220。

解碼裝置200例如可藉由通用處理器及記憶體來實現。此時，記憶體所儲存的軟體程式藉由處理器來執行時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、幀內預測部216、幀間預測部218、及預測控制部220而運作。又，解碼裝置200也可作為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、幀內預測部216、幀間預測部218、及預測控制部220之專用的1個以上的電子電路而實現。

以下，針對解碼裝置200所包含之各構成要件予以說明。

[熵解碼部] 熵解碼部202是將編碼位元串流進行熵解碼。具體來說，熵解碼部202例如是從編碼位元串流進行算術解碼而變成二進位訊號。接著，熵解碼部202將二進位訊號多值化(debinarize)。藉此，熵解碼部202以區塊單位而將量化係數輸出至反量化部204。

[反量化部] 反量化部204是將從熵解碼部202輸入的解碼對象區塊(以下稱為當前區塊)的量化係數進行反量化。具體來說，反量化部204是針對當前區塊的量化係數之各個，根據對應於該量化係數之量化參數，而將該量化係數進行反量化。然後，反量化部204將當前區塊的業經反量化之量化係數(即轉換係數)輸出至反轉換部206。

[反轉換部] 反轉換部206是將從反量化部204輸入的轉換係數進行反轉換，藉此復原預測誤差。

例如已從編碼位元串流解讀的資訊是顯示適用EMT或者AMT的時候(例如AMT旗標為真)，反轉換部206根據顯示已解讀的轉換類型的資訊，將當前區塊的轉換係數進行反轉換。

又，例如已從編碼位元串流解讀的資訊是顯示適用NSST的時候，反轉換部206對轉換係數適用反再轉換。

[加法部] 加法部208是將預測誤差與預測樣本相加，藉此再構成當前區塊，其中前述預測誤差是來自反轉換部206之輸入，前述預測樣本是來自預測控制部220之輸入。然後，加法部208將業經再構成的區塊輸出至區塊記憶體210及迴路濾波部212。

[區塊記憶體] 區塊記憶體210是用以儲存在幀內預測中被參考的區塊且為解碼對象圖片(以下稱為當前圖片)內的區塊之記憶部。具體來說，區塊記憶體210是儲存從加法部208所輸出的再構成區塊。

[迴路濾波部] 迴路濾波部212是對已藉由加法部208再構成的區塊施行迴路濾波，且將業已濾波的再構成區塊輸出至幀記憶體214及顯示裝置等。

當顯示已從編碼位元串流解讀的ALF之開啟/關閉的資訊是顯示ALF開啟的時候，根據局部的梯度之方向及活性度，從複數個濾波器之中選擇1個濾波器，將所選擇的濾波器適用於再構成區塊。

[幀記憶體] 幀記憶體214是用以儲存使用在幀間預測的參考圖片之記憶部，有時候也被稱為幀緩衝器。具體來說，幀記憶體214是儲存藉由迴路濾波部212所濾波的再構成區塊。

[幀內預測部] 幀內預測部216是根據已從編碼位元串流解讀的幀內預測模式，而參考區塊記憶體210所儲存的當前圖片內之區塊來進行幀內預測，藉此產生預測訊號(幀內預測訊號)。具體來說，幀內預測部216是參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)而進行幀內預測，藉此產生幀內預測訊號，且將幀內預測訊號輸出至預測控制部220。

另，在色差區塊的幀內預測中選擇了參考亮度區塊的幀內預測模式時，幀內預測部216也可根據當前區塊的亮度成分，預測當前區塊的色差成分。

又，在已從編碼位元串流解讀的資訊是顯示適用PDPC時，幀內預測部216是根據水平/垂直方向的參考像素的梯度，來補正幀內預測後的像素值。

[幀間預測部] 幀間預測部218是參考幀記憶體214所儲存的參考圖片來預測當前區塊。預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位進行。例如，幀間預測部218使用已從編碼位元串流解讀的移動資訊(例如移動向量)來進行移動補償，藉此產生當前區塊或者子區塊的幀間預測訊號，且將幀間預測訊號輸出至預測控制部220。

另，在已從編碼位元串流解讀的資訊是顯示適用OBMC模式時，幀間預測部218不只是利用藉由移動估測而得到的當前區塊的移動資訊，還利用鄰接區塊的移動資訊，產生幀間預測訊號。

又，在已從編碼位元串流解讀的資訊是顯示適用FRUC模式時，幀間預測部218依照已從編碼串流解讀的圖案匹配的方法(雙向匹配或者模板匹配)進行移動估測，藉此導出移動資訊。然後，幀間預測部218使用所導出的移動資訊來進行移動補償。

又，幀間預測部218在適用BIO模式時，是根據假設等速直線運動之模型而導出移動向量。又，在已從編碼位元串流解讀的資訊顯示適用仿射移動補償預測模式時，幀間預測部218是根據複數個鄰接區塊的移動向量，而以子區塊單位導出移動向量。

[預測控制部] 預測控制部220是選擇幀內預測訊號及幀間預測訊號之任一者，且將所選擇的訊號作為預測訊號，輸出至加法部208。

[第1管線構造例] 圖11是顯示第1管線構造例的概略圖。圖11所示的第1管線構造例為將圖像解碼用的管線構造例，且也可由解碼裝置200所用。

第1管線構造例包含有第1階段、第2階段及第3階段之3個階段。又，第1階段包含有熵解碼(S101)。第2階段包含有MVP算出(S102)、FRUC (S103)、MC/BIO (S104)、OBMC (S105)、畫面內預測(S106)、切換(S107)、反量化反轉換(S108)，以及加法(S109)。第3階段包含迴路濾波(S110)。

熵解碼(S101)中，例如會對輸入串流進行可變長度解碼。藉此，可獲得量化係數等。

MVP算出(S102)中，會算出移動向量預測子(MVP)。例如，移動向量之複數個候選會分別作為移動向量預測子而被算出。FRUC (S103)中，例如是使用與處理對象編碼單元即當前編碼單元不同區域的像素值，來導出當前編碼單元之移動向量。

MC/BIO(S104)中，例如是藉由移動補償(MC)來產生預測圖像。又，也可藉由BIO來對預測圖像追加變形。OBMC(S105)中，處理對象編碼單元即當前編碼單元之預測圖像、以及與當前編碼單元鄰接的編碼單元即鄰接編碼單元之預測圖像會混合，並更新當前編碼單元之預測圖像。

畫面內預測(S106)中，會參考作為處理對象圖片的當前圖片內的編碼單元，來產生當前編碼單元之預測圖像。切換(S107)中，會切換：藉由MVP算出(S102)、FRUC (S103)、MC/BIO(S104)以及OBMC(S105)等畫面間預測所獲得的預測圖像、及藉由畫面內預測(S106)所獲得的預測圖像。

反量化反轉換(S108)中，會進行量化係數之反量化及反轉換。藉此，將原圖像與預測圖像之預測誤差即差分圖像復原。加法(S109)中，差分圖像與預測圖像會相加，藉此再構成原圖像。

迴路濾波(S110)中，會對再構成圖像適用濾波。藉此，可抑制例如編碼單元間的失真。並且，輸出已適用濾波的再構成圖像。

在第2階段再生的再構成圖像，由於在周邊的編碼單元之處理中被參照，因此會被回饋(feedback)至FRUC(S103)及畫面內預測(S106)。在第1管線構造例中，回饋是沒有跨過複數個階段地包含在第2階段內，因此於FRUC(S103)及畫面內預測(S106)中，可參考處理順序緊接在之前的編碼單元之再構成圖像。

另一方面，第1管線構造例中，第2階段包含有多個處理。因此，第2階段之處理時間較長。另，第1管線構造例為管線構造例之一例，處理可部分去除，處理也可部分追加，且也可變更階段的分割方法。又，處理時間會對應於處理量或者處理循環數。

圖12是顯示管線處理之說明所用的區塊分割例的示意圖。圖12所示的區塊分割例中，顯示了2種編碼樹單元。其中一種編碼樹單元包含有2個編碼單元CU0及CU1，另一種編碼樹單元包含有3個編碼單元CU2、CU3及CU4。

編碼單元CU0、CU1及CU4彼此為相同尺寸。編碼單元CU2及CU3彼此為相同尺寸。編碼單元CU0、CU1及CU4個別的尺寸，為編碼單元CU2及CU3之個別尺寸的2倍。

圖13是時序圖，顯示在第1管線構造例中的處理時機之一例。圖13中顯示圖12所示的5個編碼單元CU0至CU4之處理時機。又，圖13之S1至S3表示圖11之第1階段至第3階段的處理時間。

編碼單元CU0、CU1及CU4個別的尺寸，為編碼單元CU2及CU3之個別尺寸的2倍，因此針對編碼單元CU0、CU1及CU4，各階段之處理時間也是2倍。又，第2階段包含有多個處理，因此第2階段之處理時間為其他階段之處理時間的2倍。又，在各階段，相對於緊接在之前的編碼單元的同階段之處理結束後，相對於下一個編碼單元的同階段之處理會開始。

例如，相對於編碼單元CU1的第2階段之處理，會開始於相對於編碼單元CU0的第2階段之處理結束的時間t6。第2階段之處理時間為其他階段之2倍，因此有關編碼單元CU1，從第1階段之處理結束的時間t4，到第1階段之處理開始的時間t6為止，會產生等待時間。

編碼單元CU1之後，在第2階段之處理開始時，總是產生等待時間。並且，針對編碼單元CU1、CU2、CU3及CU4，分別會有等待時間累積。並且，針對編碼單元CU4，從第1階段之處理結束的時間t8，到第2階段之處理開始的時間t14為止，會產生等待時間。

結果，1圖片之處理中，包含等待時間的處理時間，會增加到除了等待時間以外之本來的處理時間的約2倍，有可能無法在1圖片所分配到的時間內處理完畢。

[第2管線構造例] 圖14是顯示第2管線構造例的概略圖。圖14之第2管線構造例中，圖11的第1管線構造例之第2階段分割成2個階段。即，第2管線構造例中，包含有第1階段、第2階段、第3階段及第4階段之4個階段。

第2管線構造例中，第1階段包含有熵解碼(S101)。第2階段包含有MVP算出(S102)以及FRUC (S103)。第3階段包含有MC/BIO (S104)、OBMC (S105)、畫面內預測(S106)、切換(S107)、反量化反轉換(S108)，以及加法(S109)。第4階段包含迴路濾波(S110)。

又，第2管線構造例中，藉由回饋延遲控制，參照再構成圖像的FRUC (S103)及產生再構成圖像的加法(S109)會在相異的2個階段進行。藉此，第2管線構造例中的第2階段及第3階段個別的處理時間，約為第1管線構造例中的第2階段之處理時間的一半。

另，回饋延遲控制例如是在第2階段之FRUC (S103)中，使第3階段所產生的再構成圖像延遲而成為可參考的控制。又，第1管線構造例為管線構造之一例，處理可部分去除，處理也可部分追加，且也可變更階段的分割方法。

又，第2管線構造例中，參照再構成圖像的畫面內預測(S106)及產生再構成圖像的加法(S109)會在相同的階段進行。藉此，可在畫面內預測(S106)中，參照緊接在之前的編碼單元之再構成圖像。

畫面內預測(S106)比起MVP算出(S102)、FRUC (S103)、MC/BIO (S104)以及OBMC (S105)等畫面間預測，是以少處理量來進行。因此，即使畫面內預測(S106)與加法(S109)在同階段進行，比起畫面間預測，等待時間也不易變長。

因此，如同上述，在第2管線構造例中，參照再構成圖像的畫面內預測(S106)與產生再構成圖像的加法(S109)是在相同階段進行。然而，也可藉由回饋延遲控制，讓參照再構成圖像的畫面內預測(S106)與產生再構成圖像的加法(S109)在不同的2個階段進行。

例如，在解碼裝置200中，熵解碼部202會進行熵解碼(S101)。又，幀間預測部218會進行MVP算出(S102)、FRUC (S103)、MC/BIO (S104)，以及OBMC (S105)。

又，幀內預測部216會進行畫面內預測(S106)。又，預測控制部220會進行切換(S107)。又，反量化部204及反轉換部206會進行反量化反轉換(S108)。又，加法部208會進行加法(S109)。又，迴路濾波部212會進行迴路濾波(S110)。

以加法部208產生的再構成圖像，會儲存在區塊記憶體210。幀間預測部218會參考區塊記憶體210所儲存的再構成圖像，進行FRUC(S103)。

圖11所示的通常的回饋控制中，在處理對象編碼單元之FRUC(S103)處理時，緊接在之前的編碼單元之再構成圖像會儲存在區塊記憶體210，且緊接在之前的編碼單元之再構成圖像會被參考。圖14所示的回饋延遲控制中，在處理對象編碼單元之FRUC(S103)處理時，緊接在之前的編碼單元之再構成圖像不會儲存在區塊記憶體210，緊接在之前的編碼單元之再構成圖像不會被參考。

在此，雖所示的為解碼裝置200之例，但編碼裝置100也和解碼裝置200同樣會進行回饋延遲控制。例如，在此的說明中的解碼裝置200，以及解碼裝置200之複數個構成要件，也可置換成編碼裝置100及編碼裝置100之複數個構成要件。

圖15是時序圖，顯示在第2管線構造例中的處理時機之一例。圖15中，顯示圖12所示的5個編碼單元CU0至CU4之處理時機。又，圖15之S1至S4表示圖14之第1階段至第4階段之處理時間。

與圖13之例同樣，編碼單元CU0、CU1及CU4個別的尺寸，為編碼單元CU2及CU3之個別尺寸的2倍，因此針對編碼單元CU0、CU1及CU4，各階段之處理時間也是2倍。在另一方面，圖13之例的第2階段分割成2個階段，因此各階段之處理時間與其他階段之處理時間相等。

又，此例中，以回饋延遲控制來延遲再構成圖像的延遲量，為1個編碼單元的量。即，在針對各編碼單元的FRUC(S103)中，處理順序緊接在之前的編碼單元會被禁止參考。處理順序在前2個以上的編碼單元不會被禁止參考。

例如，在針對編碼單元CU4的第2階段之處理中，是禁止參考編碼單元CU3，因此不等針對編碼單元CU3的第3階段結束，就開始針對編碼單元CU4的第2階段之處理。另一方面，因為沒有禁止參考編碼單元CU2，因此會等待針對編碼單元CU2的第3階段結束，才開始針對編碼單元CU4的第2階段之處理。

因此，針對編碼單元CU4，從第1階段之處理結束的時間t8，到第2階段之處理開始的時間t9為止，會產生等待時間。然而，比起圖13之例，等待時間會大幅削減。

結果，在1圖片之處理中，會抑制包含等待時間的處理時間比除了等待時間以外之本來的處理時間大幅增加的情形，且很有可能可於1圖片所分配到的時間內處理完畢。

[第3管線構造例] 圖16是顯示第3管線構造例的概略圖。圖16所示的第3管線構成例與圖14所示的第2管線構成例之差異，是在第2階段可動態切換：可使用FRUC處理的路徑，以及禁止使用FRUC處理的路徑。

當選擇可使用FRUC處理的路徑時，第2階段之處理量(處理時間)會與第2例相同，然而當選擇禁止使用FRUC處理的路徑時，第2階段之處理量(處理時間)比起第2例會大幅變少。

另，前述管線構成為一個例子，也可除去所記載的處理之一部分、追加沒有記載的處理、或是改變階段的區隔方式。

圖17是時序圖，顯示在圖16所示的第3管線構造例中的處理時機之一例。與圖15所說明的例子之差異點，是在於CU4之第2階段中會選擇禁止使用FRUC處理的路徑。藉此，在圖15中曾為t2時間的CU4之第2階段的處理時間，會短縮成t1時間。

與圖15所說明的例子同樣，在CU4中從第1階段之處理結束到第2階段之處理可開始為止，會產生t1時間之等待時間，然而在圖17中第2階段之處理時間為t1時間，因此會在時刻t10之時間點結束處理。藉此，產生的t1時間之等待時間會被削減。

結果，可更加地抑制包含為了完成1圖片之處理所需要的等待時間之處理時間，比除了等待時間以外之本來需要的處理時間還大幅增加的情況。藉此，很有可能可於1圖片所分配到的時間內處理完畢。

另，在此雖是對作為管線構成之概略的第2例之變形例的第3例加以說明，但也可追加同樣的控制來作為第1例之變形例。即，針對藉由第1例所產生的管線之等待時間，也可獲得同樣的效果。

[編碼處理] 圖18是本實施形態之動態圖像編碼裝置的編碼處理之流程圖。首先，編碼裝置會根據與解碼時之處理時間有關聯的第1資訊，決定是否禁止FRUC處理(S201)。具體上，第1資訊是與解碼時的管線控制中的等待時間有關聯的資訊。另，有關第1情報之詳細會在之後敘述。

當決定不禁止前述FRUC處理時(在S201的No)，即，當選擇圖16中可使用FRUC處理的路徑時，編碼裝置會從包含有FRUC處理的複數個預測模式中選擇1個模式(S202)。例如，編碼裝置會針對作為候選的複數個預測模式算出成本，並且選擇成本最低的模式。例如，成本是用使用前述模式時的編碼資料量以及殘差(原圖像與解碼圖像的差)等來算出。即，編碼資料量越少，又，殘差越少成本越低。

當所選擇的模式為進行FRUC處理的模式時(在S204的Yes)，編碼裝置會進行使用了FRUC處理的編碼(S205)。又，當所選擇的模式並非進行FRUC處理的模式時(在S204的No)，編碼裝置會不使用FRUC處理而進行編碼(S206)。具體上，編碼裝置會使用不含FRUC處理的幀間預測處理或者幀內預測處理等來進行編碼。

另一方面，當決定禁止FRUC處理時(在S201的Yes)，即，選擇圖16中禁止使用FRUC處理的路徑時，編碼裝置會從不含FRUC處理的複數個預測模式中選擇1個模式(S203)，不使用FRUC處理而進行編碼(S206)。

最後，編碼裝置會對應判定結果，將表示是否使用FRUC模式的第2資訊編碼在串流中(S207)。即，編碼裝置會產生包含有表示是否使用FRUC處理的第2資訊之編碼位元串流。

[判定處理之第1例] 以下，說明判定禁止FRUC處理之具體例。圖19是判定禁止FRUC處理之第1例的流程圖。另，圖19相對於圖18是在步驟S201置換為S201A的點相異。

編碼裝置會判定處理對象CU之尺寸是否在第1閾值以上(S201A)。例如，凡是64x64、64x32，或是32x32等可選擇來作為CU的尺寸，任意的尺寸皆可使用來作為第1閾值。

當判定處理對象CU之尺寸在第1閾值以上時(在S201A的Yes)，編碼裝置會從不含FRUC處理的複數個預測模式中選擇1個模式(S203)，不使用FRUC處理而進行編碼(S206)。當判定處理對象CU之尺寸小於第1閾值時(在S201A的No)，編碼裝置會從包含有FRUC處理的複數個預測模式中選擇1個模式(S202)，且對應其結果來使用FRUC處理(S205)，或者不使用FRUC處理而進行編碼(S206)。

如上，編碼裝置在處理對象之區塊(例如是CU)的尺寸比預先設定的閾值大的情況下，會決定禁止FRUC處理。

藉此，如圖17所說明的CU4，在進行FRUC處理的第2階段之處理時間較長的尺寸大的CU中，第2階段之處理時間可大幅縮短。由此，可有效率地挽回因管線控制而產生的等待時間，且很有可能可在1圖片所分配到的時間內處理完畢。

另，編碼裝置也可將與步驟S201A之判定處理有關的資訊(與是否禁止FRUC處理的決定有關的參數)，編碼在編碼位元串流所包含的序列標頭區域、圖片標頭區域、切片標頭區域，或者是輔助資訊區域等中。在此，與判定處理有關的資訊，例如是表示上述第1閾值的資訊。又，該資訊也可包含表示是否有進行步驟S201A之判定處理的資訊。

又，編碼裝置也可閾對應於處理對象之圖片的尺寸，來適應性地切換與上述判定處理有關的資訊(上述第1閾值，或者是否進行上述判定處理)。或者，編碼裝置也可對應於該編碼裝置或解碼裝置之處理能力，來適應性地切換該等。或者，編碼裝置也可依循預先定義的設定檔或等級來切換該等。即，編碼裝置也可對應於分配到編碼位元串流的設定檔或等級來切換該等。

例如，編碼裝置在圖片之尺寸比預先設定的尺寸大時，會設定第1閾值為較大的第1值，且在圖片之尺寸比預先設定的尺寸小的情況下，會將第1閾值設定為比上述第1值小的第2值。藉此，可實現適於依照圖片之尺寸而選擇不同CU之尺寸的方式之控制。

又，編碼裝置也可在圖片之尺寸比預先設定的尺寸大時，針對全部的CU尺寸來判定禁止FRUC處理。藉此，可實現處理時間緊繃的大尺寸之圖片中的處理時間之短縮。另一方面，編碼裝置也可在圖片之尺寸比預先設定的尺寸小時，針對全部的CU尺寸來判定不禁止FRUC處理。藉此，可抑制處理時間寬裕的小尺寸之圖片中的編碼效率之低落。

又，編碼裝置是在編碼裝置或解碼裝置之處理能力高於預先設定的基準時，會將第1閾值設定為較大的第1值，藉此使更多的CU中可使用FRUC處理，而抑制編碼效率之低落。又，編碼裝置是在編碼裝置或解碼裝置之處理能力低於預先設定的基準時，會將第1閾值設定為較第1值小的第2值，藉此使更多的CU中禁止使用FRUC處理，而可縮短處理時間。另，若預先決定將產生的編碼位元串流解碼的解碼裝置，則編碼裝置例如可事先掌握該解碼裝置之處理能力。另，編碼裝置也可於編碼位元串流，向發送對象之解碼裝置詢問該解碼裝置的處理能力。

又，設定檔表示針對圖像之串流而定，且可利用的複數個技術要素之集合。等級表示針對圖像之串流而定，且可利用的複數個參數範圍之集合。設定檔及等級也可預先設定。幀間預測部126及218也可依循如此的設定檔或等級來切換上述第1閾值，或者是否要進行上述判定處理。

[解碼處理] 圖20是將藉由如此的編碼裝置所產生的編碼位元串流解碼的動態圖像解碼裝置中的解碼處理之流程圖。

首先，解碼裝置從編碼位元串流，將表示是否使用FRUC處理的第2資訊做解碼(S211)。依據第2資訊，在表示使用FRUC處理的情況下(在S212的Yes)，解碼裝置會使用FRUC處理來進行解碼處理(S213)。另一方面，依據第2資訊，在表示不使用FRUC處理的情況下(在S212的No)，解碼裝置則不會使用FRUC處理來進行解碼處理(S214)。如此，解碼裝置會對應於包含在編碼位元串流中的第2資訊，使用FRUC處理或者不使用FRUC處理而進行解碼。藉此，可做出如圖17所說明的管線控制之等待時間的挽回處理。

另，即使在有關判定處理的資訊(表示第1閾值的資訊等)是包含在編碼位元串流中的情況下，解碼裝置也未必要進行使用了該資訊的處理，但解碼裝置可藉由參考該資訊，來判定例如該編碼位元串流是否為該解碼裝置可解碼的格式。

[判定處理之第2例] 接著，對判定禁止FRUC處理的第2例做說明。圖21是判定禁止FRUC處理的第2例的流程圖。另，圖21相對於圖19是在步驟S201A置換成S201B的點相異。

編碼裝置會判定處理對象CU之尺寸是否大於緊接在之前處理過的CU之尺寸(S201B)。另，編碼裝置也可判定處理對象CU之尺寸是否比緊接在之前處理過的CU之尺寸大了第2閾值以上。例如，第2閾值為2倍，或者4倍等。

當判定處理對象CU之尺寸大於緊接在之前處理過的CU之尺寸時(在S201B的Yes)，編碼裝置會從不含FRUC處理的複數個預測模式中選擇1個模式(S203)，不使用FRUC處理而進行編碼(S206)。當判定處理對象CU之尺寸在緊接在之前處理過的CU之尺寸以下時(在S201B的No)，編碼裝置會從包含有FRUC處理的複數個預測模式中選擇1個模式(S202)，且對應其結果來使用FRUC處理(S205)，或者不使用FRUC處理而進行編碼(S206)。

如此，編碼裝置在處理對象之區塊的尺寸大於緊接在之前的區塊的尺寸時，會決定禁止FRUC處理。

在此，管線控制中的等待時間是在處理大尺寸的CU之後要處理尺寸比其小的CU之契機下而產生。因此，如圖17之CU4，在處理對象CU之尺寸變得比緊接在之前處理過的CU之尺寸更大的時機下，則不進行FRUC處理而縮短第2階段的處理時間。藉此，有效率地挽回所產生的等待時間，且很有可能可於1圖片所分配到的時間內處理完畢。

另，與第1例同樣，編碼裝置亦可將與步驟S201B之判定處理有關的資訊(與是否禁止FRUC處理的決定有關的參數)，編碼在編碼位元串流所包含的序列標頭區域、圖片標頭區域、切片標頭區域，或者是輔助資訊區域等中。在此，所謂與判定處理有關的資訊，例如是表示上述第2閾值的資訊。又，該資訊也可包含表示是否有進行步驟S201B之判定處理的資訊。

又，與第1例同樣，編碼裝置亦可對應於 (1)圖片之尺寸、(2)編碼裝置或解碼裝置之處理能力，或者(3)預先定義的設定檔或等級，來切換上述第2閾值或者是否進行上述判定處理。

又，解碼裝置之處理與第1例相同。

[判定處理之第3例] 接著，對判定禁止FRUC處理的第3例做說明。圖22是判定禁止FRUC處理的第3例之流程圖。另，圖22相對於圖19是在步驟S201A置換成S201C的點相異。

編碼裝置會判定直到進行處理對象CU之處理的時間點為止，使用了FRUC的CU是否產生第3閾值以上(S201C)。

當判定使用了FRUC的CU產生第3閾值以上時(在S201C的Yes)，編碼裝置會從不含FRUC處理的複數個預測模式中選擇1個模式(S203)，不使用FRUC處理而進行編碼(S206)。當判定使用了FRUC的CU小於第3閾值時(在S201C的No)，編碼裝置會從包含有FRUC處理的複數個預測模式中選擇1個模式(S202)，且對應其結果來使用FRUC處理(S205)，或者不使用FRUC處理而進行編碼(S206)。

具體上，編碼裝置是使用下述的任一方法、組合以下之方法中複數個方法的方法，或者組合以下之方法與其他資訊的方法，來判定使用了FRUC的CU是否產生第3閾值以上。

(1)編碼裝置判定在一定期間內進行了FRUC處理的CU之個數是否在第3閾值以上。即，編碼裝置會在緊接在處理對象之CU之前的既定範圍所包含的複數個區塊之中使用了FRUC處理而編碼的區塊數大於預先設定的閾值時，決定禁止FRUC處理。

(2)編碼裝置判定在一定期間內進行了FRUC處理的CU之比例是否在閾值以上。即，編碼裝置會在緊接在處理對象之CU之前的既定範圍所包含的複數個區塊之中使用了FRUC處理而編碼的區塊之比例大於預先設定的閾值時，決定禁止FRUC處理。另，在此的比例，可為從前述一定期間內所含的CU之個數與進行了FRUC處理的CU之個數所算出的值，也可為從前述一定期間內所含的CU之面積的總和與進行了FRUC處理的CU之面積的總和所算出的值。

在此，上述(1)、(2)中的一定期間，例如是緊接在處理對象CU之前的一定數量的CTU之處理期間，或者是處理對象CU所屬的切片整體或圖片整體之處理期間。即，既定範圍所包含的複數個區塊是：處理對象之區塊所屬的編碼樹單元(CTU)以及緊接在之前處理過的1個以上的編碼樹單元中所包含的複數個區塊、或者是處理對象之區塊所屬的切片或圖片中所包含的複數個區塊。

(3)編碼裝置會判定緊接在處理對象CU之前連續進行了FRUC處理的CU之個數是否在閾值以上。即，編碼裝置在緊接在處理對象區塊之前且使用前述FRUC處理而編碼的區塊之連續數量大於預先設定的閾值時，會決定禁止FRUC處理。

在此，管線控制中的等待時間會伴隨CU的處理進行而累積變長。因此，如圖17之CU4，不以特定頻度來進行FRUC處理而縮短第2階段之處理時間。藉此，挽回所產生的等待時間，且很有可能可於1圖片所分配到的時間內處理完畢。又，當由於通常的模式判定處理而未選擇FRUC模式的CU有多數產生時，因為可抑制不可使用FRUC處理的CU必要以上地增加，所以很有可能可抑制編碼效率之低落。

另，與第1例同樣，編碼裝置可將與步驟S201C之判定處理有關的資訊(與是否禁止FRUC處理的決定有關的參數)，編碼在編碼位元串流所包含的序列標頭區域、圖片標頭區域、切片標頭區域，或者是輔助資訊區域等中。在此，所謂與判定處理有關的資訊，例如是表示上述第3閾值的資訊。又，該資訊也可包含表示是否有進行步驟S201C之判定處理的資訊。

又，與第1例同樣，編碼裝置可對應於(1)圖片之尺寸、(2)編碼裝置或解碼裝置之處理能力，或者(3)預先定義的設定檔或等級，來切換上述第3閾值或者是否進行上述判定處理。

又，解碼裝置之處理與第1例相同。

[判定處理之第4例] 接著，對判定禁止FRUC處理的第4例做說明。圖23是判定禁止FRUC處理的第4例之流程圖。另，圖23相對於圖19是在步驟S201A置換成S201D的點相異。

編碼裝置會判定在進行處理對象CU之處理的時間點，於管線控制中的推算等待時間是否成為第4閾值以上 (S201D)。

當判定推算等待時間成為第4閾值以上時(在S201D的Yes)，編碼裝置會從不含FRUC處理的複數個預測模式中選擇1個模式(S203)，不使用FRUC處理而進行編碼(S206)。當判定推算等待時間小於第4閾值時(在S201D的No)，編碼裝置會從包含有FRUC處理的複數個預測模式中選擇1個模式(S202)，且對應其結果來使用FRUC處理(S205)，或者不使用FRUC處理而進行編碼(S206)。

如此，編碼裝置會推算解碼時在管線控制中的等待時間，且當所推算的等待時間大於預先設定的閾值時，會決定禁止FRUC處理。

具體上，編碼裝置是進行如圖17所示的解碼時的管線構成中的各CU之階段處理的處理時機之模擬，藉此來推算等待時間成為何種程度。編碼裝置會將所推算的等待時間與第4閾值做比較。具體上，編碼裝置會使用CU之尺寸、CU之位置，以及可否參考周邊CU等資訊，來推算進行FRUC處理的第2階段之開始與前個階段即第1階段的結束之間，產生了何種程度的等待時間。

管線控制中的等待時間，會伴隨CU的處理進行而累積變長。因此，如圖17之CU4，在所推算的等待時間成為第4閾值以上的時間點，不會進行FRUC處理而縮短第2階段之處理時間。藉此，挽回所產生的等待時間，且很有可能可於1圖片所分配到的時間內處理完畢。又，當由於通常的模式判定處理而未選擇FRUC模式的CU有多數產生時，因為可抑制不可使用FRUC處理的CU必要以上地增加，所以很有可能可抑制編碼效率之低落。

另，與第1例同樣，編碼裝置亦可將與步驟S201D之判定處理有關的資訊(與是否禁止FRUC處理的決定有關的參數)，編碼在編碼位元串流所包含的序列標頭區域、圖片標頭區域、切片標頭區域，或者是輔助資訊區域等中。在此，所謂與判定處理有關的資訊，例如是表示上述第4閾值的資訊。又，該資訊也可包含表示是否有進行步驟S201D之判定處理的資訊。

又，與第1例同樣，編碼裝置亦可對應於(1)圖片之尺寸、(2)編碼裝置或解碼裝置之處理能力，或者(3)預先定義的設定檔或等級，來切換上述第4閾值或者是否進行上述判定處理。

又，解碼裝置之處理與第1例相同。

另，上述中雖個別說明第1例至第4例，但也可將該等做組合。例如，編碼裝置也可在上述步驟S201A至S201D之任一者判定為Yes的情況下禁止FRUC處理。

[編碼裝置之安裝例] 圖24是顯示實施形態1中的編碼裝置100之安裝例的方塊圖。編碼裝置100具備有電路160及記憶體162。例如，圖1所示的編碼裝置100之複數個構成要件，是藉由圖23所示的電路160及記憶體162以安裝。

電路160是進行資訊處理的電路，且是可存取於記憶體162的電路。例如，電路160為將圖像資訊編碼之專用或者通用的電子電路。電路160也可為有如CPU的處理器。又，電路160也可為複數個電子電路之集合體。又例如，電路160也可在圖1等所示的編碼裝置100的複數個構成要件之中，發揮記憶資訊用的構成要件以外的複數個構成要件之功用。

記憶體162為記憶資訊之通用或專用的記憶體，其中前述資訊是電路160用以將圖像資訊編碼的資訊。記憶體162可為電子電路，也可連接於電路160。又，記憶體162也可包含在電路160中。又，記憶體162也可為複數個電子電路之集合體。又，記憶體162可為磁碟或者光碟等，也可呈現為儲存器或者記錄媒體等。又，記憶體162可為非揮發性記憶體，也可為揮發性記憶體。

例如，記憶體162中可記憶欲編碼的圖像資訊，也可記憶與被編碼的圖像資訊對應的位元串。又，記憶體162中也可記憶電路160用以將圖像資訊編碼的程式。

又例如，電路160也可在圖1所示的編碼裝置100的複數個構成要件之中，發揮記憶資訊用的構成要件之功用。具體上，記憶體162也可發揮在圖1所示的區塊記憶體118以及幀記憶體122之功用。

另，在編碼裝置100中，也可不必將圖1等所示的複數個構成要件全部安裝，也可不必將上述的複數個處理全部執行。圖1等所示的複數個構成要件之一部分也可包含在其他的裝置，且上述的複數個處理之一部分也可由其他的裝置來執行。並且，編碼裝置100中，是藉由安裝圖1等所示的複數個構成要件中的一部分，且進行上述的複數個處理之一部分，而可抑制處理之延遲。

[解碼裝置之安裝例] 圖25是顯示實施形態1中的解碼裝置200之安裝例的方塊圖。解碼裝置200具備有電路260及記憶體262。例如，圖10所示的解碼裝置200之複數個構成要件，是藉由圖24所示的電路260及記憶體262以安裝。

電路260是進行資訊處理的電路，且是可存取於記憶體262的電路。例如，電路260為將圖像資訊解碼之通用或者專用的電子電路。電路260也可為有如CPU的處理器。又，電路260也可為複數個電子電路之集合體。又例如，電路260也可在圖10所示的解碼裝置200的複數個構成要件之中，發揮記憶資訊用的構成要件以外的複數個構成要件之功用。

記憶體262為記憶資訊之通用或專用的記憶體，其中前述資訊是電路260用以將圖像資訊解碼的資訊。記憶體262可為電子電路，也可連接於電路260。又，記憶體262也可包含在電路260中。又，記憶體262也可為複數個電子電路之集合體。又，記憶體262可為磁碟或者光碟等，也可呈現為儲存器或者記錄媒體等。又，記憶體262可為非揮發性記憶體，也可為揮發性記憶體。

例如，記憶體262中可記憶與被編碼的圖像資訊對應的位元串，也可記憶與被解碼的位元串對應的圖像資訊。又，記憶體262中也可記憶電路260用以將圖像資訊解碼的程式。

又例如，記憶體260也可在圖10所示的解碼裝置200的複數個構成要件之中，發揮記憶資訊用的構成要件之功用。具體上，記憶體262也可發揮在圖10所示的區塊記憶體210以及幀記憶體214之功用。

另，在解碼裝置200中，也可不必將圖10等所示的複數個構成要件全部安裝，也可不必將上述的複數個處理全部執行。圖10等所示的複數個構成要件之一部分也可包含在其他的裝置，且上述的複數個處理之一部分也可由其他的裝置來執行。並且，解碼裝置200中，是藉由安裝圖10等所示的複數個構成要件中的一部分，且進行上述的複數個處理之一部分，而可抑制處理之延遲。

以上，針對本實施形態之編碼裝置及解碼裝置做說明，但本揭示不限於前述實施形態。

又，上述實施形態之編碼裝置及解碼裝置所包含的各處理部，典型上是以積體電路即LSI來實現。該等處理部可個別單一晶片化，也可包含部分或全部而單一晶片化。

又，積體電路化不限於LSI，也可由專用電路或者通用處理器來實現。亦可利用LSI製造後可程式化的FPGA (Field Programmable Gate Array，現場可程式閘陣列)、或者可再構成LSI內部的電路胞之連接與設定的可重組處理器(Reconfigurable Processor)。

在上述各實施型態中，各構成要件是由專用的硬體所構成，或也可藉由執行適於各構成要件的軟體程式來實現。各構成要件也可藉由CPU或者處理器等程式執行部讀出並執行記錄在硬體或者半導體記憶體等記錄媒體的軟體程式而實現。

換言之，編碼裝置及解碼裝置包含處理電路(processing circuitry)、以及電連接於該處理電路(可從該處理電路存取)的記憶裝置(storage)。處理電路包含有專用的硬體及程式執行部之至少一者。又，記憶裝置在處理電路包含有程式執行部時，會記憶藉由該程式執行部所執行的軟體程式。處理電路是使用記憶裝置，在上述實施形態中執行編碼方法或者解碼方法。

再者，本揭示可為上述軟體程式，也可為記錄了上述程式之非暫時性的、電腦可讀取的記錄媒體。又，上述程式當然可透過網路等傳輸媒體來流通。

又，上述所用的數字，全部皆是例示來具體說明本揭示者，本揭示不限於所例示的數字。

又，方塊圖中的功能區塊之分割為僅為一例，也可將複數個功能區塊以一個功能區塊來實現、將一個功能區塊分割為複數個，或者將一部分的功能移到其他的功能區塊。又，具有類似功能的複數個功能區塊之功能，亦可由單一硬體或軟體來並行或分時處理。

又，包含在上述編碼方法或解碼方法的步驟所執行的順序，僅例示來具體說明本揭示，也可為上述以外的順序。又，上述步驟的一部分亦可與其他的步驟同時(並行)執行。

以上，已針對本揭示之一個或複數個態樣的編碼裝置、解碼裝置、編碼方法及解碼方法，基於實施形態來做說明，但本揭示不限定於前述實施形態。在不脫離本揭示之宗旨的情況下，將所能想到的各種變形施於本實施形態者，以及將不同實施形態中的構成要件組合建構的形態，也可包含在本揭示的一個或複數個態樣的範圍內。

另，也可將本態樣與本揭示中的其他態樣的至少一部分組合實施。又，也可將本態樣之流程圖記載的一部分處理、裝置之一部分構成、語法之一部分等，與其他的態樣組合實施。

(實施形態2) 在以上之各實施形態中，每一個功能區塊通常可藉由MPU及記憶體等來實現。又，每一個功能區塊所進行的處理，通常可藉由處理器等程式執行部讀出ROM等記錄媒體所記錄的軟體(程式)來執行而予以實現。該軟體可藉由下載等來分發，也可記錄在半導體記憶體等記錄媒體來分發。另，將各功能區塊透過硬體(專用電路)來實現當然也可以。

又，在各實施形態中所說明的處理可藉由使用單一裝置(系統)進行集中處理來實現，或者也可藉由使用複數個裝置進行分散處理來實現。又，執行上述程式的處理器可為單數個，也可為複數個。即，可進行集中處理，或者也可進行分散處理。

本揭示的態樣並不限於以上的實施例，可做各種變更，其等變更也包括在本揭示的態樣之範圍內。

進而在此，說明在上述各實施形態中所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用其之系統。該系統之特徵在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具備有兩者之圖像編碼解碼裝置。針對系統中的其他構成，可配合情況適當地變更。

[使用例] 圖26係顯示實現內容(contents)發布服務之內容供給系統ex100之整體構成圖。將通訊服務之提供區域分割成所期望之大小，在各細胞(cell)內分別設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

在該內容供給系統ex100中，經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110，而將電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等各種機器連接於網際網路ex101。該內容供給系統ex100亦可構成為組合上述任意要件而連接。也可不經由為固定無線台之基地台ex106至ex110，而是使各機器經由電話線路網或者近距離無線裝置等直接或間接地互相連接。又，串流伺服器ex103是經由網際網路ex101等而與電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等各機器連接。又，串流伺服器ex103是經由衛星ex116而與飛機ex117內之熱點內的終端機等連接。

另，也可利用無線存取點或熱點等，來替代基地台ex106至ex110。又，串流伺服器ex103也可以不經由網際網路ex101或者網際網路服務提供者ex102，而直接與通訊網ex104連接，也可不經由衛星ex116，而直接與飛機ex117連接。

攝像機ex113是數位相機等可進行靜止圖攝影及動圖攝影之機器。又，智慧型手機ex115一般是指對應於2G、3G、3.9G、4G、接著今後是被稱為5G之行動通訊系統的方式之智慧型話機、行動電話機，或者PHS(Personal Handyphone System)等。

家電ex118是冰箱或者家用燃料電池熱電共生系統所包含之機器等。

在內容供給系統ex100中，藉由讓具有攝影功能的終端機經由基地台ex106等而連接到串流伺服器ex103，可進行現場直播等。在現場直播中，終端機(電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端機等)是將以如下方式所得到的資料發送到串流伺服器ex103：對於用戶使用該終端機所攝影的靜止圖或者動圖內容，進行在上述各實施形態所說明的編碼處理，且將藉由編碼所得到的影像資料、及將對應於影像的聲音編碼後的聲音資料進行多工。即，各終端機是作為本揭示一態樣的圖像編碼裝置而發揮功能。

另一方面，串流伺服器ex103對於有請求的客戶端，將被發送的內容資料進行串流發布。客戶端是指可將上述經過編碼處理的資料進行解碼之電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、或者飛機ex117內的終端機等。已接收到所發布的資料的各機器將所接收的資料進行解碼處理並再生。即，各機器是作為本揭示一態樣之圖像解碼裝置而發揮功能。

[分散處理] 又，串流伺服器ex103也可為複數個伺服器或者是複數個電腦，將資料分散處理或記錄並發布。例如，串流伺服器ex103也可藉CDN (Contents Delivery Network)來實現，透過連接分散在世界各地的多數邊緣伺服器(edge server)彼此之間的網路來實現內容發布。在CDN中，因應客戶端而動態地分配實體上接近的邊緣伺服器。然後，藉由內容被該邊緣伺服器快取及發布，可減少延遲的情況。又，在發生任何錯誤時或者因流量增加等而使通訊狀態改變時，可以複數個邊緣伺服器分散處理，或者將發布主體切換成其他邊緣伺服器，而繞過已發生障礙的網路部分來持續進行發布，因此可實現高速且穩定的發布。

又，不只是發布本身的分散處理，還可讓攝影的資料的編碼處理在各終端機進行，也可在伺服器側進行，也可互相分擔來進行。舉一例來說，一般在編碼處理中，會進行處理循環2次。第1次的循環會檢測以幀或場景為單位的圖像之複雜度或編碼量。又，第2次的循環會維持畫質，並進行使編碼效率提高的處理。例如，終端機進行第1次的編碼處理，已收到內容的伺服器側進行第2次的編碼處理，藉此可一邊減少在各終端機的處理負載，一邊提高內容的品質及效率。此時，若有幾乎即時接收且解碼的請求時，也可讓終端機已進行過的第一次的編碼完畢資料由其他終端機接收且再生，因此能達到更靈活的即時發布。

舉另一例來說，攝像機ex113等是從圖像進行特徵量擷取，將有關於特徵量的資料壓縮成詮釋( metadata)資料而發送到伺服器。伺服器是例如從特徵量來判斷目標的重要性而切換量化精度等，因應圖像的意義來進行壓縮。特徵量資料對於伺服器上之再次壓縮時的移動向量預測之精度及效率提升特別有效。又，也可在終端機進行VLC(可變長度編碼)等之簡易性編碼，在伺服器進行CABAC(前後文適應性二進位算術編碼方式)等處理負載大的編碼。

進而，以其他例來說，在體育場、購物商場、或者工廠等中，會有藉由複數個終端機而拍攝到幾乎相同的場景之複數個影像資料存在的情況。此時，使用進行過拍攝的複數個終端機，以及因應需要而未拍攝的其他終端機及伺服器，以例如GOP (Group of Picture)單位、圖片單位，或者將圖片分割之圖塊單位等來分別分配編碼處理而進行分散處理。藉此，能減少延遲，實現更佳的即時性。

又，複數個影像資料為幾乎相同的場景，因此也可以相互參考各終端機拍攝的影像資料的方式，在伺服器進行管理及/或指示。或者，也可使伺服器接收來自各終端機的編碼完畢資料，在複數個資料之間變更參考關係，或者將圖片本身進行補正或交換，來重新進行編碼。藉此，可產生一個個資料的品質及效率都提高的串流。

又，伺服器也可先進行變更影像資料之編碼方式的轉碼，再發布影像資料。例如，伺服器可將MPEG系的編碼方式轉換成VP系，也可將H.264轉換成H.265。

如此，編碼處理可透過終端機或者是1個以上的伺服器來進行。因此，在下文中，進行處理的主體是採用「伺服器」或者是「終端機」等的記述，但也可讓伺服器所進行的處理的一部分或者全部在終端機進行，也可讓終端機所進行的處理的一部分或者全部在伺服器進行。又，有關於該等部分，針對解碼處理也是同樣。

[3D、多角度] 近年來，將彼此幾乎同步的複數個攝像機ex113及/或智慧型手機ex115等之終端機所攝影的不同場景、或者是從不同角度拍攝相同場景的圖像或影像整合來利用的情形也變多了。以各終端機所拍攝的影像是根據另外取得的終端機間之相對的位置關係、或者影像中包含之特徵點一致的區域等來整合。

伺服器不只將2維的動態圖像進行編碼，還可根據動態圖像的場景解析等，而自動或者是在用戶指定的時刻將靜止圖進行編碼，再發送到接收終端機。伺服器進而在可取得攝影終端機之間的相對位置關係時，不只根據2維的動態圖像，還可根據從不同角度對相同場景拍攝的影像，而產生該場景的3維形狀。另，伺服器可將透過點雲(point cloud)等所產生的3維資料另外進行編碼，也可根據使用3維資料而辨識或追蹤人物或目標的結果，從以複數個終端機拍攝的影像中，選擇要發送到接收終端機的影像，或者再構成並產生要發送到接收終端機的影像。

如此，用戶可任意選擇對應於各攝影終端機的各影像來觀賞場景，也可觀賞從3維資料切出任意視點之影像的內容，其中前述3維資料是使用複數個圖像或影像而再構成的資料。進而，與影像同樣，聲音也可從複數個不同角度進行收音，且伺服器配合影像將來自特定角度或空間的聲音與影像進行多工後發送。

又，近年來，Virtual Reality (VR/虛擬實境)及Augmented Reality (AR/擴增實境)等使現實世界及虛擬世界相對應的內容也漸漸普及了。在VR圖像的情況，可使伺服器分別做出左眼用及右眼用的視點圖像，透過Multi-View Coding (MVC/多視角編碼)等進行在各視點影像之間容許參考的編碼，也可不互相參考而作為不同串流來進行編碼。在解碼不同串流時，可使該等串流互相同步後再生，以因應用戶的視點而重現虛擬的3維空間。

在AR的圖像的情況，伺服器會根據3維性質的位置或者用戶視點的移動，而將虛擬空間上的虛擬物體資訊重疊在現實空間的攝像機資訊。解碼裝置也可取得或保持虛擬物體資訊及3維資料，並因應用戶視點的移動來產生2維圖像，藉由平順地連接而做成重疊資料。或者，解碼裝置也可在虛擬物體資訊的請求指令外，還將用戶視點的移動也發送到伺服器，伺服器配合接收到的視點移動而從保持在伺服器的3維資料做成重疊資料，且將重疊資料進行編碼，再發布到解碼裝置。另，也可是重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從3維資料做成的目標以外的部分之α值設定為0等，且在該部分為穿透的狀態下進行編碼。或者，伺服器也可產生如同色度鍵(Chroma key)的資料，其將既定值之RGB值設定成背景，且將目標以外的部分設成背景色。

同樣，被發布的資料的解碼處理可在客戶端之各終端機進行，也可在伺服器側進行，或者也可相互分擔進行。以一例來說，也可是某終端機一旦將接收請求送到伺服器，便以其他終端機接收因應該請求的內容並進行解碼處理，且解碼完畢的訊號會發送到具有顯示器的裝置。藉由不依賴可通訊的終端機本身的性能，而是將處理分散並選擇適合的內容，可再生畫質佳的資料。又，以另一例來說，也可一邊以TV等接收大尺寸的圖像資料，一邊將圖片經分割後的圖塊等一部分的區域解碼而顯示在觀眾的個人終端。藉此，可共享整體圖像，並可在手邊確認本身的負責領域或者想更加詳細確認的區域。

又，今後不管是室內或室外，在可使用近距離、中距離、或者長距離之複數種無線通訊的狀況下，利用MPEG-DASH等之發布系統規格，一邊對於連線中的通訊切換適合的資料，一邊無縫地接收內容，這是可預想得到的。藉此，用戶除了本身的終端機，還可一邊自由地選擇設在室內或室外之顯示器等解碼裝置或者顯示裝置，一邊即時地切換。又，根據本身的位置資訊等，可一邊切換解碼的終端機及顯示的終端機，一邊進行解碼。藉此，可在往目的地的移動中，一邊讓埋設有可進行顯示的元件之旁邊建築物的壁面或地面的一部分顯示地圖資訊一邊移動。又，也可基於在網路上對編碼資料的存取容易性，來切換接收資料的位元率，其中對編碼資料的存取容易性諸如有編碼資料會被可在短時間內從接收終端機進行存取的伺服器快取、或者是被複製到內容發布服務(Contents Delivery Service)中的邊緣伺服器等。

[可適性編碼] 有關於內容的切換，是利用顯示於圖27之可適性串流來說明，其中前述可適性串流是應用上述各實施形態所示的動態圖像編碼方法而被壓縮編碼的串流。伺服器具有內容相同但品質不同的複數個串流來作為個別串流雖無妨，但也可構成為靈活運用時間/空間可適性串流之特徵來切換內容，其中前述時間/空間可適性串流是如圖所示藉由分層進行編碼來實現。即，解碼側因應例如性能之內在因素及通訊頻帶的狀態等之外在因素，來決定要解碼到哪一層，藉此解碼側可自由地切換低解析度的內容及高解析度的內容並進行解碼。例如想要把曾在移動中於智慧型手機ex115收看的影像的後續部分在回家後以網路TV等的機器收看時，該機器只要將相同的串流進行解碼到不同層即可，因此可減輕伺服器側的負擔。

進而，如上述，除了在每層將圖片進行編碼，且基本層的上位有加強層(enhancement layer)存在之實現可適性(scalability)之構成以外，也可為加強層包含有基於圖像的統計資訊等之詮釋資訊，且解碼側根據詮釋資訊將基本層的圖片進行超解析，藉此產生高畫質化的內容。所謂超解析也可是同一解析度下的SN比的提升、以及解析度的放大之任一者。詮釋資訊包含有用以特定出超解析處理所使用的線性或非線性濾波係數之資訊、或用以特定出超解析處理所使用的濾波處理、機械學習或最小平方運算中的參數值之資訊等。

或者，也可為如下構成，即，因應圖像內的目標(object)等的意涵，將圖片分割成圖塊等，解碼側選擇要解碼的圖塊，藉此只將一部分的區域進行解碼。又，把目標的屬性(人物、車、球等)與影像內的位置(同一圖像中的座標位置等)當作詮釋資訊來儲存，藉此，解碼側可根據詮釋資訊特定出希望的目標的位置，來決定包含該目標的圖塊。例如，如圖28所示，詮釋資訊是使用HEVC中的SEI訊息等與像素資料不同之資料儲存構造來儲存。前述詮釋資訊是顯示例如主目標的位置、尺寸、或者色彩等。

又，也可以串流、序列或者隨機存取單位等由複數個圖片所構成的單位來儲存詮釋資訊。藉此，解碼側可取得特定人物出現在影像內的時刻等，藉由配合圖片單位的資訊，便可特定出目標存在的圖片、及目標在圖片內的位置。

[網頁的最適化] 圖29是顯示電腦ex111等中之網頁(web page)的顯示畫面例之圖。圖30是顯示智慧型手機ex115等中之網頁的顯示畫面例之圖。如圖29及圖30所示，網頁有包括複數個鏈接(link)圖像的情況，其中該等鏈接圖像為前往圖像內容的鏈接，看到該等鏈接圖像的方式會依據閱覽的元件而有所不同。在畫面上看得到複數個鏈接圖像時，迄至用戶明確地選擇鏈接圖像為止，或者是迄至鏈接圖像靠近畫面的中央附近或者鏈接圖像整體進入畫面內為止，顯示裝置(解碼裝置)是顯示各內容所具有的靜止圖或I圖片來作為鏈接圖像，或以複數個靜止圖或I圖片等顯示像gif動畫般的影像，或只有接收基本層而將影像進行解碼及顯示。

在由用戶選擇了鏈接圖像時，顯示裝置會將基本層視為最優先來進行解碼。另，若在構成網頁的HTML中具有表示是可適性內容的資訊時，顯示裝置也可進行解碼迄至加強層為止。又，為了保證即時性，在被選擇之前或者通訊頻帶極窄時，顯示裝置只對參考前方的圖片(I圖片、P圖片、只參考前方的B圖片)進行解碼及顯示，藉此可減少前頭圖片的解碼時刻與顯示時刻間的延遲(從內容的解碼開始迄至顯示開始之延遲)。又，顯示裝置也可硬是忽視圖片的參考關係，而使全部的B圖片及P圖片參考前方，先粗略地進行解碼，然後經過一段時間，隨著接收的圖片增加，再進行正常的解碼。

[自動行駛] 又，為了汽車的自動行駛或者支援行駛而發送及接收2維或者3維的地圖資訊等靜止圖或者是影像資料時，接收終端機除了屬於1層以上的層之圖像資料以外，也可接收天氣或者施工的資訊等來作為詮釋資訊，並使該等資訊對應而進行解碼。另，詮釋資訊也可屬於層，也可單純地與圖像資料進行多工。

此時，含有接收終端機的汽車、空拍機或者飛機等會移動，因此接收終端機會在請求接收時，將該接收終端機的位置資訊進行發送，藉此可一邊切換基地台ex106至ex110，一邊實現無縫的接收及解碼。又，接收終端機可因應用戶的選擇、用戶的狀況或者通訊頻帶的狀態，而動態地切換將詮釋資訊接收到哪一程度，或者是將地圖資訊更新到何種程度。

如上進行，在內容供給系統ex100中，可讓客戶即時接收用戶所發送的已編碼資訊並將其解碼，且進行再生。

[個人內容的發布] 又，在內容供給系統ex100中，不只是透過影像發布業者所進行的高畫質且長時間的內容，透過個人所進行的低畫質且短時間的內容也可進行單播(unicast)或多播(multicast)發布。又，像這樣的個人內容，認為今後也會增加。為了將個人內容做成更優異的內容，伺服器也可進行編輯處理，之後再進行編碼處理。這例如可以如下的構成來實現。

伺服器即時地在攝影時或者累積到攝影後，從原圖或者編碼完畢資料中進行攝影錯誤、場景搜尋、意義的解析，以及目標檢測等辨識處理。接著，伺服器根據辨識結果而手動或者自動地進行以下編輯：補正失焦或手震等、刪除明度比其他圖片低或未對到焦距的場景等重要性低的場景、強調目標的邊緣，或者是變化色調等。伺服器根據編輯結果，而將編輯後的資料進行編碼。又，已知道攝影時間太長時，收視率會下降，伺服器也可根據圖像處理結果，不只是對如上述般重要性低的場景，亦對動作少的場景等自動地進行剪輯，以因應撮影時間而成為特定的時間範圍內的內容。或者，伺服器也可根據場景的意義解析的結果來產生摘要(digest)，且進行編碼。

另，在個人內容中，有未經處理會拍到侵害著作權、著作人格權、或者肖像權等的東西的事例，也有共享的範圍超過意圖的範圍等對個人來說不便的情況。因此，例如，伺服器也可刻意地將畫面周邊部的人臉或者是家裡等變更成不對焦的圖像再進行編碼。又，伺服器也可辨識在編碼對象圖像內是否有拍到與已事先登錄的人物不同人物的臉，若有拍到時，對臉的部分進行加上馬賽克等之處理。或者，在編碼的前處理或者後處理上，用戶也可從著作權等的觀點來對圖像指定想要加工圖像的人物或者背景區域，且伺服器將所指定的區域替換成別的影像，或者進行模糊焦點等的處理。若是人物時，可在動態圖像中一邊追蹤人物，一邊替換臉的部分的影像。

又，由於資料量小的個人內容的收看對即時性的要求高，所以雖然也會取決於頻帶寬，但解碼裝置首先是最優先地接收基本層，然後進行解碼及再生。解碼裝置也可在這期間接收加強層，且在循環再生等再生2次以上的時候，連同加強層在內將高畫質的影像再生。若是像這樣進行可適性編碼的串流，就能提供如下體驗，即，在未選擇時或者剛開始看的階段是粗糙的動圖，但串流漸漸地智能化(smart)而使圖像變好。除了可適性編碼以外，將第1次再生的粗糙串流及參考第1次動圖來編碼的第2次串流構成為1個串流，也可提供同樣的體驗。

[其他使用例] 又，該等編碼或者解碼處理，一般來說是在各終端機所具有的LSIex500中處理。LSIex500可以是單晶片，也可以是由複數個晶片所構成。另，將動態圖像編碼或者解碼用的軟體也可安裝到可以電腦ex111等讀取的某些記錄媒體(CD-ROM、軟碟、或者硬碟等)，並使用前述軟體來進行編碼或者解碼處理。進而，智慧型手機ex115附有攝像機時，也可發送以該攝像機取得的動圖資料。此時的動圖資料是已經透過智慧型手機ex115所具有的LSIex500進行編碼處理的資料。

另，LSIex500也可為下載應用軟體來起動之構成。此時，首先，終端機要判斷該終端機是否對應內容的編碼方式，或者是否具有特定服務的執行能力。在終端機未對應內容的編碼方式時，或者不具有特定服務的執行能力時，終端機要下載編解碼器(CODEC)或者應用軟體，之後進行內容的取得及再生。

又，不限於經由網際網路ex101的內容供給系統ex100，在數位式廣播用系統也可安裝上述各實施形態之動態圖像編碼裝置(圖像編碼裝置)或者動態圖像解碼裝置(圖像解碼裝置)之至少任一者。由於是利用衛星等而使廣播用的電波承載已將影像與聲音進行多工處理的多工資料來進行傳送接收，所以相對於內容供給系統ex100之易於進行單播的構成，數位式廣播用系統的不同點雖在於適合多播，但有關於編碼處理及解碼處理，仍可做同樣的應用。

[硬體構成] 圖31是顯示智慧型手機ex115的圖。又，圖32是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115包含有：天線ex450，用以與基地台ex110之間收發電波；攝像機部ex465，可拍攝影像及靜止圖；以及顯示部ex458，顯示已將以攝像機部ex465所拍攝的影像、及以天線ex450所接收的影像等進行解碼之資料。智慧型手機ex115更包含有：操作部ex466，為觸控面板等；聲音輸出部ex457，為用以輸出聲音或者音響的揚聲器等；聲音輸入部ex456，為用以輸入聲音之麥克風等；記憶體部ex467，可將拍攝的影像或者靜止圖、已錄音的聲音、已接收的影像或者靜止圖、郵件等已編碼的資料或者已解碼的資料保存；及插槽部ex464，為與SIMex468之間的介面部，其中SIMex468用以特定出用戶，且對以網路為首的各種資料進行存取的認證。另，替代記憶體部ex467，也可使用外接式記憶體。

又，將顯示部ex458及操作部ex466等統合性地控制的主控制部ex460，是經由匯流排ex470來連接於電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝像機I/F部ex463、LCD控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、以及記憶體部ex467。

電源電路部ex461是當藉由用戶的操作而使電源開關成為開啟狀態時，從電池組(battery pack)對各部供應電力，藉此使智慧型手機ex115起動成可動作的狀態。

智慧型手機ex115是基於具有CPU、ROM及RAM等之主控制部ex460的控制，而進行通話及資料通訊等的處理。在通話時，是將以聲音輸入部ex456所收音的聲音訊號在聲音訊號處理部ex454轉換成數位聲音訊號，將該訊號在調變/解調部ex452進行展頻處理，在發送/接收部ex451實施數位類比轉換處理以及頻率轉換處理，之後再經由天線ex450進行發送。又，將接收資料放大，並實施頻率轉換處理以及類比數位轉換處理，在調變/解調部ex452進行解展頻處理，在聲音訊號處理部ex454轉換成類比聲音訊號，之後再將該訊號從聲音輸出部ex457進行輸出。在資料通訊模式時，透過本體部的操作部ex466等的操作，將正文(text)、靜止圖、或者影像資料經由操作輸入控制部ex462而送出至主控制部ex460，同樣進行收發處理。在資料通訊模式時，於發送影像、靜止圖、或者影像及聲音的情況，影像訊號處理部ex455是將記憶體部ex467所保存的影像訊號、或者從攝像機部ex465所輸入的影像訊號透過上述各實施形態所示的動態圖像編碼方法進行壓縮編碼，且將業經編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454是將在以攝像機部ex465攝影影像或者靜止圖等的同時以聲音輸入部ex456所收音的聲音訊號進行編碼，且將業經編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453是將業經編碼完畢的影像資料及業經編碼完畢的聲音資料以既定的方式進行多工，且於調變/解調部(調變/解調電路部)ex452、及發送/接收部ex451實施調變處理及轉換處理，再經由天線ex450來發送。

在接收到電子郵件或者對話(chat)所附的影像或者鏈接到網頁等的影像時，為了將經由天線ex450所接收到的多工資料進行解碼，多工/分離部ex453將多工資料進行分離，藉此把多工資料分成影像資料的位元串流及聲音資料的位元串流，經由同步匯流排ex470而將業經編碼的影像資料供給至影像訊號處理部ex455，並將業經編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示的動態圖像編碼方法之動態圖像解碼方法，而將影像訊號進行解碼，且經由LCD控制部ex459而從顯示部ex458顯示被鏈接的動態圖像檔所含之影像或者靜止圖。又，聲音訊號處理部ex454是將聲音訊號進行解碼，且從聲音輸出部ex457輸出聲音。另，由於即時串流傳輸(real-time streaming)已經普及了，依用戶的狀況，亦可能產生聲音的再生就社會觀點而言不妥的情況。為此，作為初始值，聲音訊號不要再生，而只將影像資料再生的構成是較被希望的。也可以是只有在用戶進行了操作，如點選影像資料等的時候，才將聲音同步地再生。

又，在此是以智慧型手機ex115為例進行了說明，但以終端機而言也可考慮如下3種安裝形式：除了具有編碼器及解碼器兩者的收發型終端機之外，還有只具有編碼器的發送終端機、及只具有解碼器的接收終端機。進而，雖已說明在數位廣播用系統中接收或者發送影像資料上已有聲音資料等被多工處理之多工資料的情形，但多工資料上除了聲音資料以外，也可有與影像有關聯的文字資料等被多工處理，且也可接收或者發送影像資料本身，而不是多工資料。

另，雖已說明包含有CPU的主控制部ex460控制編碼或者解碼處理的情形，但終端機具備GPU的情況也居多。因此，如後述構成也可，即，藉由在CPU與GPU共通化的記憶體、或以可共通使用的方式管理位址的記憶體，靈活運用GPU的性能而將廣大區域匯整來一起處理者。藉此，可縮短編碼時間，確保即時性，可實現低延遲。尤其，不是利用CPU而是利用GPU，以圖片等的單位一次進行移動估測、解區塊濾波、SAO(Sample Adaptive Offset)、及轉換、量化的處理時就極具效率。

也可將本態樣與本揭示中的其他態樣的至少一部分組合實施。又，也可將本態樣之流程圖記載的一部分處理、裝置之一部分構成、語法之一部分等，與其他的態樣組合實施。

產業上之可利用性本揭示可適用於圖像解碼裝置以及圖像編碼裝置。具體上，本揭示可適用在諸如電視、記錄器(Recoder)、個人電腦、數位照相機(Digital Still Camera)、數位視訊攝影機(Digital Video Camera)，以及智慧型手機等。

10～19、20～23‧‧‧區塊

100‧‧‧編碼裝置

102‧‧‧分割部

104‧‧‧減法部

106‧‧‧轉換部

108‧‧‧量化部

110‧‧‧熵編碼部

112、204‧‧‧反量化部

114、206‧‧‧反轉換部

116、208‧‧‧加法部

118、210‧‧‧區塊記憶體

120、212‧‧‧迴路濾波部

122、214‧‧‧幀記憶體

124、216‧‧‧幀內預測部

126、218‧‧‧幀間預測部

128、220‧‧‧預測控制部

160、260‧‧‧電路

162、262‧‧‧記憶體

200‧‧‧解碼裝置

202‧‧‧熵解碼部

CU0~CU4‧‧‧編碼單元

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧通訊網

ex106～ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧遊戲機

ex113‧‧‧攝像機

ex114‧‧‧家電

ex115‧‧‧智慧型手機

ex116‧‧‧衛星

ex117‧‧‧飛機

ex450‧‧‧天線

ex451‧‧‧發送/接收部

ex452‧‧‧調變/解調部

ex453‧‧‧多工/分離部

ex454‧‧‧聲音訊號處理部

ex455‧‧‧影像訊號處理部

ex456‧‧‧聲音輸入部

ex457‧‧‧聲音輸出部

ex458‧‧‧顯示部

ex459‧‧‧LCD控制部

ex460‧‧‧主控制部

ex461‧‧‧電源電路部

ex462‧‧‧操作輸入控制部

ex463‧‧‧攝像機I/F部

ex464‧‧‧插槽部

ex465‧‧‧攝像機部

ex466‧‧‧操作部

ex467‧‧‧記憶體部

ex468‧‧‧SIM

ex470‧‧‧匯流排

ex500‧‧‧LSI

S1~S4‧‧‧階段

S101～S110、S201～S207、S211～S214、S201A、S201B、S201C、S201D‧‧‧步驟

t0、t2、t4、t6、t8、t10、t12、t14、t16、t18、t20‧‧‧時間

圖1是顯示實施形態1之編碼裝置之功能構成的方塊圖。

圖2是顯示實施形態1之區塊分割之一例之圖。

圖3是顯示對應於各轉換類型之轉換基底函數之表。

圖4A是顯示在ALF所使用之濾波器的形狀一例之圖。

圖4B是顯示在ALF所使用之濾波器的形狀另一例之圖。

圖4C是顯示在ALF所使用之濾波器的形狀另一例之圖。

圖5A是顯示幀內預測中之67個幀內預測模式之圖。

圖5B是流程圖，用以說明OBMC處理之預測圖像補正處理之概要。

圖5C是概念圖，用以說明OBMC處理之預測圖像補正處理之概要。

圖5D是顯示FRUC一例之圖。

圖6是用以說明在沿著移動軌跡的2個區塊之間的樣式匹配(雙向匹配)之圖。

圖7是用以說明當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)之圖。

圖8是用以說明假設等速直線運動之模型的圖。

圖9A是用以說明子區塊單位的移動向量之導出之圖，前述子區塊單位的移動向量是以複數個鄰接區塊之移動向量為基準。

圖9B是用以說明合併模式之移動向量導出處理之概要之圖。

圖9C是用以說明DMVR處理之概要之概念圖。

圖9D是用以說明預測圖像產生方法之概要之圖，前述預測圖像產生方法使用了LIC處理之亮度補正處理。

圖10是方塊圖，顯示實施形態1之解碼裝置的功能構成。

圖11是概略圖，顯示第1管線構造例。

圖12是示意圖，顯示管線處理之說明所用的區塊分割例。

圖13是時序圖，顯示在第1管線構造例中的處理時機之一例。

圖14是概略圖，顯示第2管線構造例。

圖15是時序圖，顯示在第2管線構造例中的處理時機之一例。

圖16是概略圖，顯示第3管線構造例。

圖17是時序圖，顯示在第3管線構造例中的處理時機之一例。

圖18是編碼裝置的編碼處理之流程圖。

圖19是編碼處理之第1例的流程圖。

圖20是解碼裝置的解碼處理之流程圖。

圖21是編碼處理之第2例的流程圖。

圖22是編碼處理之第3例的流程圖。

圖23是編碼處理之第4例的流程圖。

圖24是方塊圖，顯示實施型態1之編碼裝置的安裝例。

圖25是方塊圖，顯示實施型態1之解碼裝置的安裝例。

圖26是實現內容發布服務之內容供給系統的整體構成圖。

圖27是顯示可適性編碼時之編碼構造一例之圖。

圖28是顯示可適性編碼時之編碼構造一例之圖。

圖29是顯示網頁的顯示畫面例之圖。

圖30是顯示網頁的顯示畫面例之圖。

圖31是顯示智慧型手機一例之圖。

圖32是顯示智慧型手機的構成例之方塊圖。

Claims

一種編碼裝置，包含：電路；及記憶體，前述電路使用前述記憶體，根據與解碼時之處理時間有關聯的第1資訊，決定是否禁止FRUC(frame rate up-conversion)處理，當決定禁止前述FRUC處理時，從不包含前述FRUC處理的複數個預測模式中選擇1個預測模式，不使用前述FRUC處理而進行編碼；當決定不禁止前述FRUC處理時，從包含有FRUC處理的複數個預測模式中選擇1個預測模式，且對應於所選擇的預測模式是否為進行FRUC處理的模式，使用前述FRUC處理或者不使用前述FRUC處理而進行編碼，並且產生編碼位元串流，前述編碼位元串流包含有表示是否有使用前述FRUC處理的第2資訊。
如請求項1之編碼裝置，其中前述第1資訊為處理對象之區塊的尺寸，在是否禁止前述FRUC處理的前述決定中，當前述尺寸大於預先設定的閾值時，會決定禁止前述FRUC處理。
如請求項1之編碼裝置，其中前述第1資訊為處理對象之區塊以及處理順序緊接在前述處理對象之區塊之前的區塊之尺寸，在是否禁止前述FRUC處理的前述決定中，當前述處理對象之區塊的尺寸大於前述緊接在之前的區塊之尺寸時，會決定禁止前述FRUC處理。
如請求項1之編碼裝置，其中前述第1資訊為複數個區塊之中有使用前述FRUC處理而編碼的區塊之數量，在是否禁止前述FRUC處理的前述決定中，當前述區塊之數量大於預先設定的閾值時，會決定禁止前述FRUC處理。
如請求項1之編碼裝置，其中前述第1資訊為複數個區塊之中有使用前述FRUC處理而編碼的區塊之比例，在是否禁止前述FRUC處理的前述決定中，當前述區塊之比例大於預先設定的閾值時，會決定禁止前述FRUC處理。
如請求項4或5之編碼裝置，其中前述複數個區塊是包含在處理對象之區塊所屬的編碼樹單元(CTU)以及緊接在之前所處理的1個以上的編碼樹單元中的複數個區塊。
如請求項4或5之編碼裝置，其中前述複數個區塊是包含在處理對象之區塊所屬的切片或者圖片中的複數個區塊。
如請求項1之編碼裝置，其中前述第1資訊為緊接在處理對象之區塊之前且使用前述FRUC處理而編碼的區塊之連續數量，在是否禁止前述FRUC處理的前述決定中，當前述區塊之連續數量大於預先設定的閾值時，會決定禁止前述FRUC處理。
如請求項1之編碼裝置，其中前述第1資訊為解碼時的管線控制中的等待時間，在是否禁止前述FRUC處理的前述決定中，會推算前述等待時間，當所推算的前述等待時間大於預先設定的閾值時，會決定禁止前述FRUC處理。
如請求項2之編碼裝置，其中前述電路使用前述記憶體，進而將與是否禁止前述FRUC處理的前述決定有關的參數，編碼在前述編碼位元串流所包含的序列標頭區域、圖片標頭區域、切片標頭區域、或者是輔助資訊區域中。
如請求項2之編碼裝置，其中前述電路使用前述記憶體，進而對應於處理對象之圖片的大小，來切換與是否禁止前述FRUC處理的前述決定有關的參數。
如請求項2之編碼裝置，其中前述電路使用前述記憶體，進而對應於解碼裝置之處理能力，來切換與是否禁止前述FRUC處理的前述決定有關的參數。
如請求項2之編碼裝置，其中前述電路使用前述記憶體，進而對應於分配到前述編碼位元串流的設定檔或是等級，來切換與是否禁止前述FRUC處理的前述決定有關的參數。
一種解碼裝置，是將如請求項1至13中任一項之編碼裝置所產生的前述編碼位元串流做解碼的解碼裝置，其包含：電路；及記憶體，前述電路使用前述記憶體，對應於包含在前述編碼位元串流中的前述第2資訊，使用前述FRUC處理或者不使用前述FRUC處理而進行解碼。
一種編碼方法，其會根據與解碼時的處理時間有關聯的第1資訊，來決定是否禁止FRUC(frame rate up-conversion)處理，當決定禁止前述FRUC處理時，從不包含前述FRUC處理的複數個預測模式中選擇1個預測模式，不使用前述FRUC處理而進行編碼；當決定不禁止前述FRUC處理時，從包含有FRUC處理的複數個預測模式中選擇1個預測模式，且對應於所選擇的預測模式是否為進行FRUC處理的模式，使用前述FRUC處理或者不使用前述FRUC處理而進行編碼，並且產生編碼位元串流，前述編碼位元串流包含有表示是否有使用前述FRUC處理的第2資訊。
一種解碼方法，是將如請求項15之編碼方法所產生的前述編碼位元串流做解碼的解碼方法，其對應於包含在前述編碼位元串流中的前述第2資訊，使用前述FRUC處理或者不使用前述FRUC處理而進行解碼。