TW201921948A

TW201921948A - 編碼裝置、解碼裝置、編碼方法及解碼方法

Info

Publication number: TW201921948A
Application number: TW107124986A
Authority: TW
Inventors: 安倍清史; 西孝啓; 遠間正真; 加納龍一; 橋本隆
Original assignee: 美商松下電器（美國）知識產權公司
Priority date: 2017-08-07
Filing date: 2018-07-19
Publication date: 2019-06-01

Abstract

編碼裝置是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理複數個區塊，將前述圖像編碼，前述編碼裝置包含有：記憶體；及可對記憶體進行存取之電路，可對記憶體進行存取之電路進行如下處理：根據處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為複數個區塊之中業經處理之1個以上的區塊，且為處理對象區塊的周邊中之1個以上的區塊；及在1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生模板。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法

發明領域本揭示是有關於依每區塊處理圖像的編碼裝置等。

發明背景迄今，作為用來有效率地編碼動態圖像之規格已有H.265。H.265亦被稱為HEVC(High Efficiency Video Coding/高效率視訊編碼)。

先行技術文獻非專利文獻非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding)

發明概要發明欲解決之課題惟，隨著圖像的高畫質化，而有編碼量增加，或處理延遲的可能性。

在此，本揭示是提供編碼裝置等，可一邊支援編碼量的減輕，一邊抑制處理的延遲。用以解決課題的手段

本揭示一態樣的編碼裝置，是將模板FRUC(Frame Rate Up- Conversion)方式使用在複數個區塊之中的1個以上，且按處理順序處理前述複數個區塊，並將前述圖像編碼，前述模板FRUC方式是藉模板來導出前述圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊之周邊中的圖像區域所構成，前述編碼裝置包含有：記憶體；及可對前述記憶體進行存取的電路；前述可對前述記憶體進行存取的電路進行以下處理：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個之可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中已被處理的1個以上的區塊，且為前述處理對象區塊的周邊中的1個以上的區塊；及在前述1個以上的處理完畢周邊區塊之中已被判定為可參考的1個以上的可參考區塊所包含的區域產生模板。

另，該等概括性或者是具體性的態樣，可以透過系統、裝置、方法、積體電路、電腦程式、或者、電腦可讀取之CD-ROM等之非暫時性記錄媒體來實現，也可以透過系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。發明的效果

本揭示一態樣的編碼裝置等可一邊支援編碼量的減輕，一邊抑制處理的延遲。

(成為本揭示之基礎的見解) 例如，編碼裝置是依每區塊將圖像編碼。編碼裝置在依每區塊將圖像編碼時，也可使用畫面間預測，也可使用畫面內預測。編碼裝置在對於當前區塊的編碼中使用畫面間預測時，檢測當前區塊的移動向量，使用所檢出的移動向量來產生當前區塊的預測圖像。然後，編碼裝置將當前區塊的預測圖像與當前區塊的原圖像之差分圖像編碼，藉此減輕編碼量。

又，編碼裝置是將顯示移動向量的移動向量資訊編碼，解碼裝置將移動向量資訊解碼。進而，解碼裝置是將差分圖像解碼。接著，解碼裝置使用藉已解碼的移動向量資訊所顯示的移動向量，來產生當前區塊的預測圖像，並將預測圖像與差分圖像相加，藉此再構成原圖像。藉此，解碼裝置可將圖像解碼。

編碼裝置將移動向量資訊編碼，解碼裝置將移動向量資訊解碼，藉此，解碼裝置可使用在編碼裝置所使用的移動向量，來適當地產生當前區塊的預測圖像。另一方面，藉將移動向量資訊編碼，有編碼量增加的可能性。

編碼裝置及解碼裝置為了減輕如此的編碼量，也可使用被稱為FRUC(Frame Rate Up-Conversion)的技術。在FRUC中，編碼裝置及解碼裝置不進行移動向量資訊的編碼及解碼，在編碼裝置及解碼裝置中以相同方法來導出移動向量。

例如，在模板FRUC方式中，編碼裝置及解碼裝置不使用當前區塊，而是使用以當前區塊周邊的再構成圖像所構成的模板，來導出當前區塊的移動向量。藉此，編碼裝置及解碼裝置不進行移動向量資訊的編碼及解碼，可在編碼裝置及解碼裝置中以相同方法來導出移動向量。因此可減輕編碼量。

惟，在模板FRUC方式中，編碼裝置及解碼裝置直到產生當前區塊周邊的再構成圖像為止，不可使用以當前區塊周邊的再構成圖像所構成的模板。因此，在以模板FRUC方式導出移動向量的處理之中，有發生延遲的可能性。

在此，本揭示一態樣之編碼裝置是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像編碼，其中前述模板FRUC方式是藉模板導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述編碼裝置包含有：記憶體；及可對前述記憶體進行存取之電路，可對前述記憶體進行存取之前述電路進行如下處理：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及，在前述1個以上的處理完畢周邊區塊之中已被判定為可參考的1個以上的可參考區塊區塊所包含的區域產生前述模板。

藉此，編碼裝置可使用模板FRUC方式，來支援減輕編碼量。又，編碼裝置能根據處理順序，適當地決定模板產生時所使用的處理完畢周邊區塊，其中前述處理順序會影響處理對象區塊的處理時序與處理完畢周邊區塊的處理時序之時間上的差。因此，編碼裝置可抑制用以得到再構成圖像的等待時間的產生。藉此，編碼裝置可一邊支援編碼量的減輕，且一邊抑制處理的延遲。

例如也可構成為：前述圖像是以互為相同尺寸的複數個編碼樹單元所構成，前述複數個編碼樹單元每一個含有前述複數個區塊之中的至少1個，前述電路進行如下處理：在前述1個以上的處理完畢周邊區塊之中，相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考，其中前述1個以上的外側區塊是在前述複數個區塊之中，位於含有前述處理對象區塊之編碼樹單元的外側，且前述處理順序上比起前述處理對象區塊為往前前述編碼樹單元1個份以上。

藉此，編碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。因此，編碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：前述電路是將左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述左側之1個以上的處理完畢周邊區塊是前述1個以上的處理完畢周邊區塊之中，相對於前述處理對象區塊為左側的區塊，在前述上側之1個以上的處理完畢周邊區塊不包含在前述1個以上的外側區塊時，將前述上側的1個以上的處理完畢周邊區塊判定為不可參考。

藉此，編碼裝置可以抑制處理順序上靠近處理對象區塊之處理完畢周邊區塊使用在模板的產生。因此，編碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路是將一側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述一側之1個以上的處理完畢周邊區塊是前述左側之1個以上的處理完畢周邊區塊、與前述上側之1個以上的處理完畢周邊區塊之中，前述處理順序上為後面之處理完畢周邊區塊。

藉此，編碼裝置可以抑制左側的處理完畢周邊區塊、與上側的處理完畢周邊區塊之中處理順序上靠近處理對象區塊之處理完畢周邊區塊使用在模板的產生。因此，編碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述上側之1個以上的處理完畢周邊區塊包含在前述1個以上的外側區塊時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，且將前述上側之1個以上的處理完畢周邊區塊判定為可參考，在前述上側之1個以上的處理完畢周邊區塊不包含在前述1個以上的外側區塊時，將一側的1個以上的處理完畢周邊區塊判定為不可參考，且將另一側的1個以上的處理完畢周邊區塊判定為可參考，其中前述一側的1個以上的處理完畢周邊區塊是前述左側之1個以上的處理完畢周邊區塊、與前述上側之1個以上的處理完畢周邊區塊之中，前述處理順序上為後面之處理完畢周邊區塊。

藉此，編碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。又，編碼裝置可抑制將左側的處理完畢周邊區塊與上側的處理完畢周邊區塊之中，處理順序上靠近處理對象區塊的處理完畢周邊區塊使用在模板的產生。因此，編碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述左側之1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊之至少任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述上側之1個以上的處理完畢周邊區塊含有前述N個時間性鄰近區塊之至少任一個時，將前述上側之1個以上的處理完畢周邊區塊判定為不可參考。

藉此，編碼裝置可抑制包括處理順序上靠近處理對象區塊的處理完畢周邊區塊之左側或者上側的區域被使用在模板的產生。因此，編碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述左側之1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊之至少任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述左側之1個以上的處理完畢周邊區塊不含前述N個時間性鄰近區塊任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為可參考，在前述上側之1個以上的處理完畢周邊區塊含有前述N個時間性鄰近區塊之至少任一個，且，不包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為不可參考，在前述上側之1個以上的處理完畢周邊區塊都不含前述N個時間性鄰近區塊之任一個，或者，包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考。

藉此，編碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。又，編碼裝置可抑制包括處理順序上靠近處理對象區塊的處理完畢周邊區塊在內的左側或者上側的區域被使用在模板的產生。因此，編碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：針對前述左側之1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，針對前述上側之1個以上的處理完畢周邊區塊每一個，在前述N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。

藉此，編碼裝置可抑制將處理順序上靠近處理對象區塊的處理完畢周邊區塊使用在模板的產生。又，編碼裝置可將左側或者上側之區域的一部分不使用在模板的產生，以控制模板的產生。因此，編碼裝置可一邊適當地抑制處理的延遲，一邊適當地產生用以導出移動向量的模板。

又，例如也可構成為：前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：針對前述左側之1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且在前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考，針對前述上側之1個以上的處理完畢周邊區塊每一個，在前述N個時間性鄰近區塊含有該處理完畢周邊區塊，且，前述1個以上的外側區塊不含前述處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊，或者，前述1個以上的外側區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。

藉此，編碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。又，編碼裝置可將左側或者上側之區域的一部分不使用在模板的產生，以控制模板的產生。因此，編碼裝置可一邊適當地抑制處理的延遲，一邊適當地產生用以導出移動向量的模板。

又，例如前述N也可為1。

藉此，編碼裝置無須等待處理順序上處理對象區塊的前1個的區塊的再構成圖像，就能對處理對象區塊進行模板FRUC的處理。因此，編碼裝置可適當地抑制處理的延遲。

又，例如前述N也可為2。

藉此，編碼裝置無須等待處理順序上處理對象區塊的前1個及前2個的區塊的再構成圖像，就能對處理對象區塊進行模板FRUC的處理。因此，編碼裝置可進一步適當地抑制處理的延遲。

又，例如也可構成為：前述電路是進行如下處理：藉由將FRUC處理階段及再構成階段作為相異的2個階段來包含之管線構造，而將前述圖像編碼，其中前述FRUC處理階段是產生前述模板的階段，前述再構成階段是產生再構成圖像的階段，從前述處理對象區塊的前述FRUC處理階段的處理結束之後迄至前述處理對象區塊的M個(M為自然數)階段的處理結束，將輸入延遲，其中前述輸入是將前述處理對象區塊的再構成圖像輸入到前述處理順序上比起前述處理對象區塊為更後面的其他區塊的前述FRUC處理階段之處理。

藉此，編碼裝置在管線處理中，可將處理對象區塊的再構成圖像延遲，使用在其他區塊的模板FRUC的處理。藉此，編碼裝置可適當地進行模板FRUC的處理。

又，例如前述M也可等於前述N。

藉此，編碼裝置可依照再構成圖像的延遲的大小，限制處理完畢周邊區塊的參考。因此，編碼裝置可抑制處理的延遲。

又，例如前述M也可小於前述N。

藉此，編碼裝置可進一步限制參考，更早開始模板FRUC的處理。因此，編碼裝置可進一步抑制處理的延遲。

又，例如前述M也可為包括前述FRUC處理階段及前述再構成階段之複數個階段之數，且為藉由從前述FRUC處理階段迄至前述再構成階段之複數個階段之數減去1而所得到之數。

藉此，編碼裝置依照從FRUC處理階段迄至再構成階段的階段數，可適當地延遲再構成圖像。

又，例如也可構成為：前述電路是在以下的區域將有關於前述可否參考的判定之參數編碼： (i)序列標頭區域，儲存對前述圖像的串流共通的參數；(ii)圖片標頭區域，儲存對前述圖像的圖片共通的參數；(iii)切片標頭區域，儲存對前述圖像的切片共通的參數；或者(iv)輔助區域，儲存與前述序列標頭區域、前述圖片標頭區域及前述切片標頭區域所儲存的各參數不同的參數。

藉此，編碼裝置可對解碼裝置通知有關於可否參考之判定的參數。因此，編碼裝置及解碼裝置有關於可否參考之判定，可使用相同的參數。

又，例如也可構成為：前述電路是依照含有前述處理對象區塊之處理對象圖片的尺寸，決定有關於前述可否參考的判定之參數。

藉此，編碼裝置可依照會對處理延遲產生影響的尺寸，適當地變更有關於可否參考之判定的參數。

又，例如也可構成為：前述電路是取得顯示解碼裝置的處理能力之資訊，依照前述解碼裝置的處理能力，決定有關於前述可否參考的判定之參數。

藉此，編碼裝置可依照會對處理延遲產生影響的處理能力，適當地變更有關於可否參考之判定的參數。

又，例如也可構成為：前述電路是依照顯示對於前述圖像的串流所訂定的技術要件之設定檔(profile)、或者顯示對於前述圖像的串流所訂定的參數要件之等級(level)，決定有關於前述可否參考的判定之參數。

藉此，編碼裝置可依照與會對處理延遲產生影響的處理能力有關聯的設定檔或者等級，適當地變更有關於可否參考之判定的參數。

又，本揭示一態樣之解碼裝置也可為如下解碼裝置，該解碼裝置是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像解碼，其中前述模板FRUC方式是藉模板來導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述解碼裝置包含有：記憶體；及可對前述記憶體進行存取之電路，可對前述記憶體進行存取之前述電路進行如下處理：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及，在前述1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生前述模板。

藉此，解碼裝置使用模板FRUC方式，可支援編碼量的減輕。又，解碼裝置能根據處理順序，適當地決定模板產生時所使用的處理完畢周邊區塊，其中前述處理順序是對處理對象區塊的處理時序與處理完畢周邊區塊的處理時序之時間上的差有影響。因此，解碼裝置可抑制用以得到再構成圖像的等待時間的產生。藉此，解碼裝置可一邊支援編碼量的減輕，且一邊抑制處理的延遲。

例如也可構成為：前述圖像是以互為相同尺寸的複數個編碼樹單元所構成，前述複數個編碼樹單元每一個含有前述複數個區塊之中的至少1個，前述電路進行如下處理：在前述1個以上的處理完畢周邊區塊之中，相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考，其中前述1個以上的外側區塊是指在前述複數個區塊之中，位於含有前述處理對象區塊之編碼樹單元的外側，且前述處理順序上比起前述處理對象區塊為往前前述編碼樹單元1個份以上。

藉此，解碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。因此，解碼裝置可適當地抑制處理的延遲。

藉此，解碼裝置可以抑制處理順序上靠近處理對象區塊之處理完畢周邊區塊使用在模板的產生。因此，解碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路是將一側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述一側之1個以上的處理完畢周邊區塊是前述左側之1個以上的處理完畢周邊區塊、與前述上側之1個以上的處理完畢周邊區塊之中，在前述處理順序上為後面的處理完畢周邊區塊。

藉此，解碼裝置可以抑制左側的處理完畢周邊區塊、與上側的處理完畢周邊區塊之中處理順序上靠近處理對象區塊之處理完畢周邊區塊使用在模板的產生。因此，解碼裝置可適當地抑制處理的延遲。

藉此，解碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。又，解碼裝置可抑制將左側的處理完畢周邊區塊與上側的處理完畢周邊區塊之中，處理順序上靠近處理對象區塊的處理完畢周邊區塊使用在模板的產生。因此，解碼裝置可適當地抑制處理的延遲。

藉此，解碼裝置可抑制包括處理順序上靠近處理對象區塊的處理完畢周邊區塊在內的左側或者上側的區域被使用在模板的產生。因此，解碼裝置可適當地抑制處理的延遲。

又，例如也可構成為：其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述左側之1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊之至少任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且在前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述左側之1個以上的處理完畢周邊區塊不含前述N個時間性鄰近區塊之任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為可參考，在前述上側之1個以上的處理完畢周邊區塊含有前述N個時間性鄰近區塊之至少任一個，且，不包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為不可參考，在前述上側之1個以上的處理完畢周邊區塊不含前述N個時間性鄰近區塊之任一個，或者，包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考。

藉此，解碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。又，解碼裝置可抑制包括處理順序上靠近處理對象區塊的處理完畢周邊區塊的左側或者上側的區域被使用在模板的產生。因此，解碼裝置可適當地抑制處理的延遲。

藉此，解碼裝置可抑制將處理順序上靠近處理對象區塊的處理完畢周邊區塊使用在模板的產生。又，解碼裝置可將左側或者上側之區域的一部分不使用在模板的產生，以控制模板的產生。因此，解碼裝置可一邊適當地抑制處理的延遲，一邊適當地產生用以導出移動向量的模板。

又，例如也可構成為：前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：針對前述左側之1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考，針對前述上側之1個以上的處理完畢周邊區塊每一個，在前述N個時間性鄰近區塊含有該處理完畢周邊區塊，且，前述1個以上的外側區塊不含前述處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊，或者，前述1個以上的外側區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。

藉此，解碼裝置可將處理順序上距離處理對象區塊夠遠的上側的處理完畢周邊區塊使用在模板的產生。又，解碼裝置可將左側或者上側之區域的一部分不使用在模板的產生，以控制模板的產生。因此，解碼裝置可一邊適當地抑制處理的延遲，一邊適當地產生用以導出移動向量的模板。

又，例如前述N也可為1。

藉此，解碼裝置無須等待處理順序上處理對象區塊的前1個的區塊的再構成圖像，就能對處理對象區塊進行模板FRUC的處理。因此，解碼裝置可適當地抑制處理的延遲。

又，例如前述N也可為2。

藉此，解碼裝置無須等待處理順序上處理對象區塊的前1個及前2個的區塊的再構成圖像，就能對處理對象區塊進行模板FRUC的處理。因此，解碼裝置可進一步適當地抑制處理的延遲。

又，例如也可構成為：前述電路是進行如下處理：藉由將FRUC處理階段及再構成階段作為相異的2個階段來包含之管線構造，而將前述圖像編碼，其中前述FRUC處理階段是產生前述模板的階段，前述再構成階段是產生再構成圖像的階段，從前述處理對象區塊的前述FRUC處理階段的處理結束之後迄至前述處理對象區塊的M個(M為自然數)階段的處理結束，將輸入延遲，其中前述輸入是指將前述處理對象區塊的再構成圖像輸入到在前述處理順序上比起前述處理對象區塊為更後面的其他區塊的前述FRUC處理階段之處理。

藉此，解碼裝置在管線處理中，可將處理對象區塊的再構成圖像延遲，使用在其他區塊的模板FRUC的處理。藉此，解碼裝置可適當地進行模板FRUC的處理。

又，例如前述M也可等於前述N。

藉此，解碼裝置可依照再構成圖像的延遲的大小，限制處理完畢周邊區塊的參考。因此，解碼裝置可抑制處理的延遲。

又，例如前述M也可小於前述N。

藉此，解碼裝置可進一步限制參考，更早開始模板FRUC的處理。因此，解碼裝置可進一步抑制處理的延遲。

藉此，解碼裝置依照從FRUC處理階段迄至再構成階段的階段數，可適當地延遲再構成圖像。

又，例如也可構成為：前述電路是在以下的區域將有關於前述可否參考的判定之參數解碼： (i)序列標頭區域，儲存對前述圖像的串流共通的參數；(ii)圖片標頭區域，儲存對前述圖像的圖片共通的參數；(iii)切片標頭區域，儲存對前述圖像的切片共通的參數；或者(iv)輔助區域，儲存與前述序列標頭區域、前述圖片標頭區域及前述切片標頭區域所儲存的各參數不同的參數。

藉此，解碼裝置可從編碼裝置取得有關於可否參考之判定的參數的通知。因此，編碼裝置及解碼裝置有關於可否參考之判定，可使用相同的參數。

藉此，解碼裝置可依照會對處理延遲產生影響的尺寸，適當地變更有關於可否參考之判定的參數。

藉此，解碼裝置可依照會對處理延遲產生影響的處理能力，適當地變更有關於可否參考之判定的參數。

藉此，解碼裝置可依照與會對處理延遲產生影響的處理能力有關聯的設定檔或者等級，適當地變更有關於可否參考之判定的參數。

又，本揭示一態樣之編碼方法也可構成為如下方法，前述編碼方法是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像解碼，其中前述模板FRUC方式是藉模板來導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述編碼方法包含有以下步驟：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及，在區前述1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生前述模板。

藉此，使用該編碼方法的裝置等使用模板FRUC方式，可支援編碼量減輕。又，使用該編碼方法的裝置等能根據處理順序，適當地決定模板產生時所使用的處理完畢周邊區塊，其中該處理順序是對處理對象區塊的處理時序與處理完畢周邊區塊的處理時序之時間上的差有影響。因此，使用該編碼方法之裝置等可抑制用以得到再構成圖像的等待時間的產生，可抑制處理的延遲。

藉此，使用該編碼方法的裝置等可一邊支援編碼量的減輕，一邊抑制處理的延遲。

又，本揭示一態樣之解碼方法也可構成為如下方法，前述解碼方法是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像解碼，其中前述模板FRUC方式是藉模板來導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述解碼方法包含有以下步驟：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及，在前述1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生前述模板。

藉此，使用該解碼方法的裝置等可使用模板FRUC方式，來支援編碼量的減輕。又，使用該解碼方法的裝置等能根據處理順序，適當地決定模板產生時所使用的處理完畢周邊區塊，其中該處理順序是對處理對象區塊的處理時序與處理完畢周邊區塊的處理時序之時間上的差給以影響。因此，使用該解碼方法的裝置等可抑制用以得到再構成圖像的等待時間的發生，抑制處理的延遲。

因此，使用該解碼方法的裝置等就能支援編碼量的減輕，且可一邊抑制處理的延遲。

另，該等概括性或者是具體性的態樣，可以透過系統、裝置、方法、積體電路、電腦程式或者電腦可讀取之CD-ROM等之非暫時性的記錄媒體來實現，也可以透過系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。

以下，一邊參考圖式，一邊具體地說明實施形態。

另，在以下所說明的實施形態每一個都是顯示概括性或具體性的例子。在以下的實施形態中所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等都只是例示罷了，其旨趣並非是來限定請求的範圍。又，以下的實施形態中之構成要素之中，針對未記載於顯示最上位概念的獨立請求項之構成要素，是當做為任意的構成要素來說明的。 (實施形態1)

首先針對可適用後述的本揭示之各態樣中所說明的處理及/或構成之編碼裝置及解碼裝置的一例，說明實施形態1的概要。惟，實施形態1只不過是可適用本揭示之各態樣所說明之處理及/或構成的編碼裝置及解碼裝置之一例罷了，在本揭示所說明的處理及/或構成也可實施於與實施形態1不同的編碼裝置及解碼裝置中。

對於實施形態1，適用在本揭示之各態樣所說明的處理及/或構成時，例如亦可以進行以下任一種方式。 (1)對於實施形態1之編碼裝置或者解碼裝置，在構成該編碼裝置或者解碼裝置之複數個構成要素之中，將與本揭示的各態樣中所說明的構成要素對應的構成要素，替換成本揭示的各態樣中所說明的構成要素； (2) 對於實施形態1之編碼裝置或者解碼裝置，針對構成該編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素，先施予功能或者欲實施之處理的追加、替換、刪除等之任意的變更後，再將與本揭示之各態樣中所說明的構成要素對應的構成要素，替換成本揭示之各態樣中所說明的構成要素； (3) 對於實施形態1之編碼裝置或者解碼裝置所要實施的方法，針對處理的追加、及/或該方法所含的複數個處理之中一部分的處理，先施予替換、刪除等之任意的變更後，再將與本揭示的各態樣中所說明的處理相對應的處理，替換成本揭示的各態樣中所說明的處理； (4) 將構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素，和本揭示之各態樣中所說明的構成要素、具有本揭示之各態樣中所說明的構成要素所具備的功能之一部分之構成要素、或者要實施本揭示之各態樣中所說明之構成要素所要實施的處理之一部分的構成要素組合而實施； (5)將具備構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素所具備的功能之一部分的構成要素、或者實施構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素所實施的處理之一部分的構成要素，和本揭示之各態樣中所說明之構成要素、具備在本揭示之各態樣中所說明之構成要素所具備的功能之一部分之構成要素、或者是實施本揭示之各態樣中所說明之構成要素所實施之處理之一部分的構成要素組合來實施； (6)對於實施形態1之編碼裝置或者解碼裝置所要實施的方法，在該方法所含的複數個處理之中，將對應於本揭示之各態樣中所說明之處理的處理，替換成本揭示之各態樣中所要說明的處理； (7)將實施形態1之編碼裝置或者解碼裝置所要實施的方法所含之複數個處理之中的一部分處理，和本揭示之各態樣中所說明之處理相組合來實施。

另，本揭示之各態樣中所說明之處理及/或構成的實施方式並不限於上述例子。例如，也可以實施在與實施形態1中所揭示之動態圖像/圖像編碼裝置或者是動態圖像/圖像解碼裝置不同的目的而被利用的裝置中，也可以單獨地實施已在各態樣中所說明之處理及/或構成。又，也可將已在不同的態樣中所說明的處理及/或構成組合來實施。 [編碼裝置的概要]

首先，說明實施形態1之編碼裝置之概要。圖1是顯示實施形態1之編碼裝置100之功能構成之方塊圖。編碼裝置100是將動態圖像/圖像，以區塊單位進行編碼之動態圖像/圖像編碼裝置。

如圖1所示，編碼裝置100為將圖像以區塊單位進行編碼之裝置，包含有：分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、訊框記憶體122、內預測部124、間預測部126、及預測控制部128。

編碼裝置100是例如藉由通用處理器及記憶體來實現。此時，當儲存在記憶體的軟體程式藉由處理器來執行時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128而發揮功能。又，編碼裝置100也可作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128之專用的1個以上的電子電路來實現。

以下，針對編碼裝置100所含之各構成要素予以說明。 [分割部]

分割部102是將輸入動態圖像所含之各圖片分割成複數個區塊，並將各區塊輸出至減法部104。例如，分割部102，首先將圖片分割成固定尺寸(例如128×128)之區塊。該固定尺寸的區塊有時被稱為編碼樹單元(CTU)。接著，分割部102根據遞迴性的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的區塊之每一個分割成可變尺寸(例如64×64以下)的區塊。這個可變尺寸的區塊有時被稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。另，在本實施形態中，沒有區別CU、PU及TU的必要，也可以是圖片內的一部分或者全部的區塊成為CU、PU、TU的處理單位。

圖2是顯示實施形態1中的區塊分割一例之圖。在圖2中，實線是表示透過四元樹區塊分割所得到的區塊邊界，虛線是表示透過二元樹區塊分割所得到的區塊邊界。

在此，區塊10是128×128像素的正方形區塊(128×128區塊)。該128×128區塊10，首先是被分割成4個正方形的64×64區塊(四元樹區塊分割)。

左上的64×64區塊是進一步被垂直分割成2個矩形的32×64區塊，左邊的32×64區塊是進一步被垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上的64×64區塊是被分割成2個16×64區塊11、12、及32×64區塊13。

右上的64×64區塊是被水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。

左下的64×64區塊是被分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊之中，左上的區塊及右下的區塊被進一步分割。左上的32×32區塊是被垂直分割成2個矩形的16×32區塊，右邊的16×32區塊是進一步被水平分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊是被水平分割成2個32×16區塊(二元樹區塊分割)。其結果，左下的64×64區塊是被分割成1個16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、及2個32×16區塊21、22。

右下的64×64區塊23不分割。

如上，在圖2中，區塊10是根據遞迴性的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11至23。如此分割，有時被稱為QTBT(quad-tree plus binary tree)分割。

另，在圖2中，1個區塊是被分割成4個或者2個區塊(四元樹或者二元樹區塊分割)，而分割並不限於此。例如，1個區塊也可被分割成3個區塊(三元樹區塊分割)。如此包括三元樹區塊分割的分割有時被稱為MBT(multi type tree)分割。 [減法部]

減法部104是以分割部102所分割的區塊單位，從原訊號(原樣本)減去預測訊號(預測樣本)。即，減法部104是算出編碼對象區塊(以下，稱為目前區塊)的預測誤差(也稱為殘差)。接著，減法部104將所算出的預測誤差輸出至轉換部106。

原訊號是編碼裝置100的輸入訊號，為表示構成動態圖像之各圖片的圖像之訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在下面內容中，也將表示圖像的訊號稱為樣本。 [轉換部]

轉換部106是將空間區域的預測誤差轉換成頻率區域的轉換係數，且將轉換係數輸出至量化部108。具體來說，轉換部106，例如對於空間區域的預測誤差，進行已事先決定的離散餘弦轉換(DCT)或者離散正弦轉換(DST)。

另，轉換部106也可從複數個轉換型式之中適應性地選擇轉換型式，使用對應於所選擇的轉換型式之轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。如此轉換有時被稱為EMT(explicit multiple core transform)或者AMT(adaptive multiple transform)。

複數個轉換型式，例如包括有DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換型式之轉換基底函數之表。在圖3中，N是顯示輸入像素的數。從該等複數個轉換型式之中的轉換型式的選擇，例如也可依據預測的種類(內預測及間預測)，也可依據內預測模式。

顯示是否適用如此的EMT或者AMT之資訊(例如被稱為AMT旗標)以及顯示所被選擇的轉換型式的資訊是以CU等級而被進行訊號化。另，該等資訊的訊號化沒有必要限定在CU等級，也可為其他等級(例如序列等級(sequence level)、圖片等級(picture level)、切片等級(slice level)、方塊(tile)等級或者CTU等級)。

又，轉換部106也可將轉換係數(轉換結果)再轉換。如此再轉換有時被稱為AST(adaptive secondary transform)或者NSST(non-separable secondary transform)。例如，轉換部106是依對應於內預測誤差之轉換係數的區塊所含之各個子區塊(例如4×4子區塊)進行再轉換。顯示是否適用NSST之資訊及有關於使用在NSST之轉換矩陣之資訊是以CU等級進行訊號化。另，該等資訊的訊號化沒有必要限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級或者CTU等級)。

在此，可分離(Separable)的轉換是指依方向分離輸入的維數，來進行數次轉換的方式，不可分離(Non-Separable)的轉換是指在輸入為多維時，將2以上的維度匯整，而視為1維，再一起進行轉換的方式。

例如，以不可分離的轉換之1例來說，可舉例有：在輸入為4×4的區塊時，將該區塊視為具有16個要素之一個陣列，對該陣列，以16×16的轉換矩陣進行轉換處理。

又，同樣地，將4×4的輸入區塊視為如同具有16個要素之一整個陣列，之後對該陣列進行數次吉文斯旋轉(Givens rotation)之構成(Hypercube Givens Transform/超立方體吉文斯轉換)，也是不可分離(Non- Separable)性轉換的例子。 [量化部]

量化部108是將從轉換部106所輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序來掃描當前區塊的轉換係數，根據對應於所掃描的轉換係數的量化參數(QP)，而將該轉換係數進行量化。然後，量化部108將當前區塊之業經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。

預定的順序是轉換係數的量化/反量化之用的順序。例如，預定的掃描順序是以頻率的升冪排序(從低頻到高頻的順序)或者降冪排序(從高頻到低頻的順序)來定義。

量化參數是指定義量化步階(量化幅寬)的參數。例如，若量化參數的值增加時，量化步階也會增加。即，若量化參數的值增加，量化誤差也會變大。 [熵編碼部]

熵編碼部110是將從量化部108輸入的量化係數進行可變長度編碼，藉此產生編碼訊號(編碼位元流)。具體來說，熵編碼部110是例如將量化係數進行二值化，且將二值化訊號進行算術編碼。 [反量化部]

反量化部112是將來自量化部108的輸入之量化係數進行反量化。具體來說，反量化部112是以預定的掃描順序而將當前區塊的量化係數進行反量化。然後，反量化部112是將當前區塊的業經反量化的轉換係數輸出至反轉換部114。 [反轉換部]

反轉換部114是將來自反量化部112之輸入的轉換係數進行反轉換，藉此將預測誤差復原。具體來說，反轉換部114是對轉換係數進行與轉換部106所進行的轉換對應之反轉換，藉此將當前區塊的預測誤差進行復原。然後，反轉換部114是將已復原的預測誤差輸出至加法部116。

另，已復原的預測誤差是因為量化的進行而失去了資訊，因此和減法部104所算出的預測誤差不一致。即，在已復原的預測誤差中含有量化誤差。 [加法部]

加法部116是將來自反轉換部114之輸入的預測誤差、與來自預測控制部128之輸入的預測樣本相加，藉此再構成當前區塊。然後，加法部116將已再構成的區塊輸出至區塊記憶體118及迴路濾波部120。再構成區塊有時也被稱為局部解碼區塊。 [區塊記憶體]

區塊記憶體118是用以儲存區塊的記憶體，其中該區塊為於內預測被參考的區塊，且為編碼對象圖片(以下稱為當前圖片)內的區塊。具體來說，區塊記憶體118是儲存從加法部116所輸出的再構成區塊。 [迴路濾波部]

迴路濾波部120是對透過加法部116而再構成的區塊施加迴路濾波，且將已濾波的再構成區塊輸出至訊框記憶體122。迴路濾波是指在編碼迴路內所使用的濾波器(迴路內濾波器)，例如包括解區塊濾波器(DF)、樣本適應性偏移(SAO)及適應性迴路濾波器(ALF)等。

在ALF中，適用用以移除編碼變形的最小平方誤差濾波器，例如按當前區塊內的各個2×2子區塊，根據局部性的梯度(gradient)的方向及活性度(activity)，適用從複數個濾波器之中所選擇的1個濾波器。

具體來說，首先子區塊(例如2×2子區塊)被分類成複數個類別(例如15或者25類)。子區塊的分類是根據梯度的方向及活性度來進行。例如，使用梯度的方向值D(例如0至2或者0至4)與梯度的活性值A(例如0至4)，而算出分類值C(例如C=5D+A)。然後，根據分類值C，使子區塊被分類成複數個類別(例如15或者25類)。

梯度的方向值D，例如是藉由比較複數個方向(例如水平、垂直及2個對角方向)的梯度導出。又，梯度的活性值A，例如是藉由將複數個方向的梯度相加，將加法結果進行量化來導出。

根據如此分類的結果，從複數個濾波器之中，決定子區塊用的濾波器。

以於ALF所使用的濾波器的形狀來說，例如利用圓對稱形狀。如圖4A至圖4C是顯示ALF所使用的濾波器的形狀的複數例之圖。圖4A顯示5×5菱形形狀濾波器，圖4B顯示7×7菱形形狀濾波器，圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的形狀之資訊是以圖片等級來被進行訊號化。另，顯示濾波器的形狀之資訊的訊號化並不須限定在圖片等級，也可為其他等級(例如序列等級、切片等級、方塊等級、CTU等級或者是CU等級)。

ALF的開啟/關閉，例如是以圖片等級或者CU等級來決定。例如，針對亮度，是以CU等級來決定是否適用ALF，針對色差，是以圖片等級來決定是否適用ALF。顯示ALF的開啟/關閉的資訊，是以圖片等級或者CU等級來進行訊號化。另，顯示ALF的開啟/關閉的資訊，並無須限定在圖片等級或者CU等級，也可為其他等級(例如序列等級、切片等級、方塊等級、或者CTU等級)。

可選擇的複數個濾波器(例如迄至15或25的濾波器)的係數組合是以圖片等級進行訊號化。另，係數組合的訊號化並無須限定在圖片等級，也可為其他等級(例如序列等級、切片等級、方塊等級、CTU等級、CU等級或者是子區塊等級)。 [訊框記憶體]

訊框記憶體122是一種用以儲存被使用在間預測的參考圖片之記憶部，有時也被稱為訊框緩衝器。具體來說，訊框記憶體122是儲存已經由迴路濾波部120過濾的再構成區塊。 [內預測部]

內預測部124是藉由參考區塊記憶體118所儲存的當前圖片內的區塊，進行當前區塊的內預測(也稱為畫面內預測)，以產生預測訊號(內預測訊號)。具體來說，內預測部124是藉由參考鄰接於當前區塊之區塊的樣本(例如亮度值、色差值)進行內預測，以產生內預測訊號，且將內預測訊號輸出至預測控制部128。

例如，內預測部124利用已事先規定的複數個內預測模式之中的1個，來進行內預測。複數個內預測模式是包括1個以上的非方向性預測模式、及複數個方向性預測模式。

1個以上的非方向性預測模式，例如包括以H.265/HEVC(High-Efficiency Video Coding/高效率視訊編碼)規格(非專利文獻1)所規定的平面(Planar)預測模式及直流(DC)預測模式。

複數個方向性預測模式，例如包括以H.265/ HEVC規格所規定的33種方向的預測模式。另，複數個方向性預測模式，除了33種方向外，也可進一步包括32種方向的預測模式(合計共65種方向性預測模式)。圖5A是顯示內預測中的67種內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭符號是表示以H.265/HEVC規格所規定的33種方向，虛線箭頭符號是表示所追加的32種方向。

另，在色差區塊的內預測中，亮度區塊也可被參考。即，根據當前區塊的亮度成分，當前區塊的色差成分也可被預測。如此之內預測有時被稱為CCLM (cross- component linear model)預測。像這種參考亮度區塊之色差區塊的內預測模式(例如被稱為CCLM模式)，也可作為1種色差區塊的內預測模式而加入。

內預測部124，也可根據水平/垂直方向的參考像素的梯度，來補正內預測後的像素值。像這樣伴隨著補正的內預測有時被稱為PDPC(position dependent intra prediction combination)。顯示有無PDPC的適用之資訊(例如被稱為PDPC旗標)，例如是以CU等級而被進行訊號化。另，該資訊的訊號化並無須限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、或者CTU等級)。 [間預測部]

間預測部126是參考參考圖片，來進行當前區塊的間預測(也叫做畫面間預測)，以此產生預測訊號(間預測訊號)，其中該參考圖片是訊框記憶體122所儲存的參考圖片，且為與當前圖片相異的參考圖片。間預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位來進行。例如，間預測部126是針對當前區塊或者子區塊，在參考圖片內進行移動估測(motion estimation)。接著，間預測部126是利用藉由移動估測而得到的移動資訊(例如移動向量)來進行移動補償，以此產生當前區塊或者子區塊的間預測訊號。然後，間預測部126是將所產生的間預測訊號輸出至預測控制部128。

用於移動補償的移動資訊被進行訊號化。對於移動向量的訊號化，移動向量預測子(motion vector predictor)也可被使用。即，移動向量與移動向量預測子之間的差分也可被訊號化。

另，不僅使用透過移動估測所得到的當前區塊的移動資訊，也可使用鄰接區塊的移動資訊，來產生間預測訊號。具體來說，也可將根據透過移動估測所得到的移動資訊之預測訊號、與根據鄰接區塊的移動資訊之預測訊號予以加權加總，藉此以當前區塊內的子區塊單位來產生間預測訊號。如此之間預測(移動補償)有時被稱為OBMC (overlapped block motion compensation)。

在如此之OBMC模式中，顯示OBMC用的子區塊的尺寸之資訊(例如被稱為OBMC區塊尺寸)是以序列等級而被訊號化。又，顯示是否適用OBMC模式之資訊(例如被叫做OBMC旗標)是以CU等級而被訊號化。另，該等資訊的訊號化的等級並無須限定在序列等級及CU等級，也可為其他等級(例如圖片等級、切片等級、方塊等級、CTU等級、或者子區塊等級)。

針對OBMC模式，更具體地來進行說明。圖5B及圖5C是用以說明OBMC處理所進行的預測圖像補正處理的概要之流程圖及概念圖。

首先，使用被分配到編碼對象區塊之移動向量(MV)，取得依通常的移動補償所得到之預測圖像(Pred)。

其次，將已編碼完畢的左鄰接區塊的移動向量(MV_L)適用在編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L加權、疊合，以此進行預測圖像的第1次補正。

以同樣方式，將已編碼完畢之上鄰接區塊的移動向量(MV_U)適用在編碼對象區塊，取得預測圖像 (Pred_U)，將前述已進行第1次補正的預測圖像與Pred_U賦予權重、疊合，以此進行預測圖像的第2次補正，將此作為最後的預測圖像。

另，在此說明了使用左鄰接區塊與上鄰接區塊的2階段補正的方法，但也能作成使用右鄰接區塊或下鄰接區塊來進行比2階段更多次數的補正之構成。

另，進行疊合的區域，也可為僅只區塊邊界附近之一部分的區域，而非區塊整體的像素區域。

另，在此雖是針對來自1張參考圖片的預測圖像補正處理進行說明，但是在從複數張參考圖片來補正預測圖像的情況也是同樣的方式，從各參考圖片取得已補正的預測圖像後，將所得到的預測圖像進一步疊合，以此作為最後的預測圖像。

另，前述處理對象區塊也可為預測區塊單位，也可為將預測區塊進一步加以分割的子區塊單位。

作為判定是否適用OBMC處理的方法，例如有一種使用obmc_flag之方法，該obmc_flag是顯示是否適用OBMC處理的訊號。以一具體例來說，在編碼裝置中，判定編碼對象區塊是否屬於移動為複雜的區域，在屬於移動為複雜的區域時，設定值為1來作為obmc_flag，適用OBMC處理進行編碼，在不屬於移動為複雜的區域時，則設定值為0來作為obmc_flag，不適用OBMC處理來進行編碼。另一方面，在解碼裝置中，將記述在串流的obmc_flag解碼，以此因應該值，切換是否適用OBMC處理，來進行解碼。

另，移動資訊可在不被訊號化，而在解碼裝置側導出。例如也可採用以H.265/HEVC規格所規定的合併(merge)模式。又，例如也可於解碼裝置側進行移動估測，藉此導出移動資訊。此時，不使用當前區塊的像素值而進行移動估測。

在此，針對在解碼裝置側進行移動估測之模式來說明。在該解碼裝置側進行移動估測的模式有時被稱為PMMVD(pattern matched motion vector derivation)模式或者FRUC(frame rate up-conversion)模式。

FRUC處理之一例是顯示在圖5D中。首先，參考空間上或時間上鄰接於當前區塊的編碼完畢區塊之移動向量，產生複數個候選的清單(也可與合併清單為共通)，該複數個候選的清單各自具有移動向量預測子。其次，從已登錄在候選清單的複數個候選MV之中選擇最佳候選MV。例如，算出候選清單所含之各候選的評價值，根據評價值，而選擇1個候選。

接著，根據所選擇的候選之移動向量，導出當前區塊用的移動向量。具體來說，例如將所選擇的候選之移動向量(最佳候選MV)，就這樣導出來作為當前區塊用的移動向量。又，例如在參考圖片內之位置的周邊區域中進行圖案匹配，藉此也可以導出當前區塊用的移動向量，其中該參考圖片是對應於所選擇之候選的移動向量。即，對於最佳候選MV之周邊的區域，以同樣的方法進行估測，進而有評價值為好的數字之MV時，將最佳候選MV更新為前述MV，將該MV當做為當前區塊之最後的MV亦可。另，也可做成不實施該處理之構成。

在以子區塊單位進行處理時，也可構成為完全同樣的處理。

另，評價值是可透過對應於移動向量之參考圖片內的區域、與預定區域之間的圖案匹配，來求取再構成圖像的差分值，藉此而算出。另，除了差分值外，也可使用除此以外的資訊，來算出評價值。

對於圖案匹配，是使用第1圖案匹配或者第2圖案匹配。第1圖案匹配及第2圖案匹配，有時分別被稱為雙向匹配(bilateral matching)以及模板匹配(template matching)。

在第1圖案匹配中，是在2個區塊之間進行圖案匹配，該2個區塊是不同的2個參考圖片內的2個區塊，且是沿著當前區塊的移動軌跡(motion trajectory)。因此，在第1圖案匹配中，是使用沿著當前區塊的移動軌跡的其他參考圖片內之區域，來作為算出上述候選的評價值之用的預定區域。

圖6是用以說明在沿著移動軌跡的2個區塊間之圖案匹配(雙向匹配)一例之圖。如圖6所示，在第1圖案匹配下，在沿著當前區塊(Cur block)的移動軌跡之2個區塊，且為不同的2個參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)之中，估測最為相配的配對，藉此導出2個移動向量(MV0、MV1)。具體來說，對於當前區塊，導出以候選MV所指定的第1編碼完畢參考圖片(Ref0)內的指定位置中之再構成圖像、與已將前述候選MV以顯示時間間隔進行定標(scaling)的對稱MV所指定的第2編碼完畢參考圖片(Ref1)內的指定位置中之再構成圖像間之差分，使用所得到的差分值來算出評價值。在複數個候選MV之中，選擇評價值為最佳值的候選MV，作為最後MV即可。

在連續的移動軌跡的假設之下，指示2個參考區塊的移動向量(MV0、MV1)相對於當前圖片(Cur Pic)與2個參考圖片(Ref0、Ref1)間之時間上的距離(TD0、TD1)成比例。例如，當前圖片是時間上位於2個參考圖片之間，在從當前圖片到2個參考圖片的時間上的距離相等時，在第1圖案匹配上，能導出鏡射對稱的雙向之移動向量。

在第2圖案匹配上，在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間，進行圖案匹配。因此，在第2圖案匹配上，使用鄰接於當前圖片內的當前區塊的區塊，以作為上述之候選的評價值之算出用的預定區域。

圖7是用以說明在當前圖片內的模板(Template)與參考圖片內的區塊之間的圖案匹配(模板匹配)一例之圖。如圖7所示，在第2圖案匹配中，在參考圖片(Ref0)內估測在當前圖片(Cur Pic)內和鄰接於當前區塊(Cur block)之區塊最匹配的區塊，藉此導出當前區塊的移動向量。具體來說，對於當前區塊，導出：左鄰接及上鄰接兩邊或者任一邊的編碼完畢區域的再構成圖像、與以候選MV所指定的編碼完畢參考圖片(Ref0)內的同等位置中的再構成圖像間之差分，且使用所得到的差分值，算出評價值，在複數個候選MV之中選擇評價值為最佳之值的候選MV，作為最佳候選MV，即可。

如此之顯示是否適用FRUC模式之資訊(例如被稱為FRUC旗標)是以CU等級而被訊號化。又，在適用FRUC模式時(例如FRUC旗標為真時)，顯示圖案匹配之方法(第1圖案匹配或者第2圖案匹配)之資訊(例如被稱為FRUC模式旗標)是以CU等級而被訊號化。另，該等資訊之訊號化並不須限定於CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、CTU等級或者子區塊等級)。

在此，針對根據模型來導出移動向量的模式進行說明，其中該模型為假設為等速直線運動之模型。該模式有時被稱為BIO (bi-directional optical flow，雙向光流)模式。

圖8是用以說明假設為等速直線運動的模型之圖。在圖8中，(v_x ,v_y )是表示速度向量，τ₀ 、τ₁ 各表示為當前圖片 (Cur Pic)與2個參考圖片(Ref₀ ,Ref₁ )間的時間上的距離。(MVx₀ ,MVy₀ )是表示對應於參考圖片Ref₀ 之移動向量，(MVx₁ 、MVy₁ )是表示對應於參考圖片Ref₁ 之移動向量。

此時，速度向量(v_x ,v_y )在等速直線運動的假設之下，(MVx₀ ,MVy₀ )及(MVx₁ ,MVy₁ )各表示為(v_x τ₀ ,v_y τ₀ )及(-v_x τ₁ ,-v_y τ₁ )，使以下的光流等式(1)成立。 (數1)在此，I^(k) 是表示移動補償後之參考圖像k(k=0,1)的亮度值。該光流等式是顯示(i)亮度值的時間微分、(ii)水平方向的速度及參考圖像的空間梯度的水平成分的乘積、與(iii)垂直方向的速度及參考圖像的空間梯度的垂直成分的乘積之和等於零者。根據該光流等式與埃爾米特插值(Hermite interpolation)之組合，將從合併清單等所得到的區塊單位之移動向量以像素單位進行補正。

另，也能以異於根據假設等速直線運動之模型之移動向量的導出之方法，在解碼裝置側導出移動向量。例如，也可根據複數個鄰接區塊的移動向量，以子區塊單位導出移動向量。

在此，針對根據複數個鄰接區塊的移動向量，以子區塊單位導出移動向量的模式進行說明。該模式有時被稱為仿射移動補償預測(affine motion compensation prediction)模式。

圖9A是用以說明子區塊單位的移動向量之導出之圖，該導出是根據複數個鄰接區塊的移動向量來進行。在圖9A中，當前區塊含有16個4×4子區塊。在此，根據鄰接區塊的移動向量，導出當前區塊的左上角控制點的移動向量v₀ ，且根據鄰接子區塊的移動向量，導出當前區塊的右上角控制點的移動向量v₁ 。接著，使用2個移動向量v₀ 及v₁ ，經由以下的式(2)，而導出當前區塊內的各子區塊的移動向量(v_x ,v_y )。 (數2)在此，x及y各表示子區塊的水平位置及垂直位置，w表示已事先訂定的權重係數。

在如此之仿射移動補償預測模式中，也可包括左上及右上角控制點的移動向量之導出方法相異之幾個模式。顯示如此之仿射移動補償預測模式之資訊(例如被稱為仿射旗標)是以CU等級而被進行訊號化。另，該顯示仿射移動補償預測模式之資訊的訊號化無須限定在CU等級，也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、CTU等級或者子區塊等級)。 [預測控制部]

預測控制部128是選擇內預測訊號及間預測訊號之任一種，且將所選擇的訊號作為預測訊號，而輸出至減法部104及加法部116。

在此，說明經由合併模式而導出編碼對象圖片的移動向量之例。圖9B是用以說明藉合併模式進行之移動向量導出處理之概要之圖。

首先，產生已登錄預測MV之候選的預測MV清單。以預測MV的候選來說，包括有：空間鄰接預測MV，是編碼對象區塊之空間上位於周邊的複數個編碼完畢區塊所具有之MV；時間鄰接預測MV，是投影到編碼完畢參考圖片中的編碼對象區塊之位置的附近區塊所具有的MV；結合預測MV，是組合空間鄰接預測MV及時間鄰接預測MV之MV值而產生的MV；以及零預測MV，其值為零的MV等。

其次，從已登錄在預測MV清單的複數個預測MV之中，選擇1個預測MV，以此將之決定作為編碼對象區塊的MV。

進而，在可變長度編碼部中，將merge_idx記述在串流中，並進行編碼，其中該merge_idx是顯示已選擇哪一預測MV之訊號。

另，登錄在圖9B中所說明之預測MV清單之預測MV只是一個例子，也可為和圖中的個數不同的個數，或者不含圖中的預測MV之一部分的種類之構成，或者追加了圖中的預測MV之種類以外的預測MV之構成。

另，也可使用藉合併模式所導出之編碼對象區塊的MV，進行後述的DMVR處理，藉此來決定最後的MV。

在此，針對使用DMVR處理來決定MV之例進行說明。

圖9C是用以說明DMVR處理的概要之概念圖。

首先，以已設定於處理對象區塊的最適合的MVP作為候選MV來說，依照前述候選MV，從L0方向的處理完畢圖片即第1參考圖片、及L1方向之處理完畢圖片即第2參考圖片，分別取得參考像素，取各參考像素的平均，以此產生模板。

其次，使用前述模板，分別估測第1參考圖片及第2參考圖片的候選MV之周邊區域，將成本為最小的MV決定作為最後的MV。另，成本值是利用模板的各像素值與估測區域的各像素值之差分值及MV值等來算出。

另，在編碼裝置及解碼裝置中，在此所說明的處理之概要基本上是共通的。

另，就算不是在此所說明的處理內容，只要是能估測候選MV的周邊而導出最後的MV之處理，也可使用其他處理。

在此，針對使用LIC處理來產生預測圖像的模式進行說明。

圖9D是用以說明使用依LIC處理之亮度補正處理的預測圖像產生方法之概要之圖。

首先，從參考圖片導出MV，其中該參考圖片是編碼完畢圖片，該MV是用以取得對應於編碼對象區塊之參考圖像。

其次，對於編碼對象區塊，利用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值、與位於以MV所指定的參考圖片內之同等位置之亮度像素值，擷取顯示亮度值在參考圖片與編碼對象圖片是如何變化的資訊，而算出亮度補正參數。

對於以MV所指定的參考圖片內之參考圖像，使用前述亮度補正參數，進行亮度補正處理，以此產生相對於編碼對象區塊之預測圖像。

另，圖9D中的前述周邊參考區域的形狀只是其中一例而已也可使用除此以外的形狀。

又，在此已針對從1張參考圖片來產生預測圖像的處理進行說明，但從複數張的參考圖片來產生預測圖像的情況也是同樣，先對已從各個參考圖片取得的參考圖像，以同樣的方法進行亮度補正處理，之後再產生預測圖像。

以判定是否適用LIC處理之方法來說，例如有使用lic_flag之方法，該lic_flag是顯示是否適用LIC處理的訊號。以具體的一例來說，在編碼裝置中，判定編碼對象區塊是否為屬於發生亮度變化之區域，若為屬於發生亮度變化的區域時，對lic_flag設定其值為1，適用LIC處理而進行編碼，若不屬於發生亮度變化之區域時，則對lic_flag設定其值為0，不適用LIC處理而進行編碼。另一方面，在解碼裝置中，將記述於串流之lic_flag進行解碼，以此因應該值來切換是否適用LIC處理，而進行解碼。

以判定是否適用LIC處理之另一方法來說，例如還有依照在周邊區塊是否適用過LIC處理而判定之方法。以具體的一例來說，編碼對象區塊為合併模式時，判定在於合併模式處理中的MV之導出時所選擇的周邊的編碼完畢區塊是否適用LIC處理而進行編碼，因應該結果，切換是否適用LIC處理，而進行編碼。另，在該例的情況，解碼中的處理也是完全相同。 [解碼裝置的概要]

其次，針對解碼裝置之概要進行說明，該解碼裝置可將從上述編碼裝置100所輸出的編碼訊號(編碼位元流)進行解碼。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位而將動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。

如圖10所示，解碼裝置200包含有：熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、訊框記憶體214、內預測部216、間預測部218、及預測控制部220。

解碼裝置200，例如可透過通用處理器及記憶體來實現。此時，記憶體所儲存的軟體程式經由處理器來執行時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218、及預測控制部220而運作。又，解碼裝置200也可作為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218、及預測控制部220之專用的1個以上的電子電路而附諸實現。

以下，針對解碼裝置200所含之各構成要素予以說明。 [熵解碼部]

熵解碼部202是將編碼位元流進行熵解碼。具體來說，熵解碼部202是例如進行從編碼位元流變成二值訊號的算術解碼。接著，熵解碼部202將二值訊號進行多值化(debinarize)。藉此，熵解碼部202是以區塊單位而將量化係數輸出至反量化部204。 [反量化部]

反量化部204是將解碼對象區塊(以下稱為當前區塊)的量化係數進行反量化，其中該解碼對象區塊為來自熵解碼部202的輸入。具體來說，反量化部204是針對當前區塊的量化係數之各個，根據對應於該量化係數之量化參數，而將該量化係數進行反量化。然後，反量化部204是將當前區塊的業經反量化之量化係數(即轉換係數)輸出至反轉換部206。 [反轉換部]

反轉換部206是將轉換係數進行反轉換，藉此將預測誤差復原，其中該轉換係數為來自反量化部204之輸入。

例如已從編碼位元流解讀的資訊是顯示適用EMT或者AMT的時候(例如AMT旗標為真)，反轉換部206是根據顯示所解讀的轉換型式的資訊，將當前區塊的轉換係數進行反轉換。

又，例如已從編碼位元流解讀的資訊是顯示適用NSST的時候，反轉換部206是對轉換係數適用反再轉換。 [加法部]

加法部208是將預測誤差與預測樣本相加，藉此再構成當前區塊，其中該預測誤差是來自反轉換部206之輸入，該預測樣本是來自預測控制部220之輸入。然後，加法部208是將業經再構成的區塊輸出至區塊記憶體210及迴路濾波部212。 [區塊記憶體]

區塊記憶體210是用以儲存在內預測中被參考的區塊且為解碼對象圖片(以下稱為當前圖片)內的區塊之記憶部。具體來說，區塊記憶體210是儲存從加法部208所輸出的再構成區塊。 [迴路濾波部]

迴路濾波部212是對已經由加法部208而再構成的區塊施行迴路濾波，且將業已濾波的再構成區塊輸出至訊框記憶體214及顯示裝置等。

顯示已從編碼位元流解讀之ALF之開啟/關閉的資訊是顯示ALF之開啟的時候，根據一部分的梯度的方向及活性度，從複數個濾波器之中，選擇1個濾波器，將所選擇的濾波器適用於再構成區塊。 [訊框記憶體]

訊框記憶體214是用以儲存使用在間預測的參考圖片之記憶部，有時候也被稱為訊框緩衝器。具體來說，訊框記憶體214是儲存經由迴路濾波部212所濾波的再構成區塊。 [內預測部]

內預測部216是根據已從編碼位元流解讀的內預測模式，參考區塊記憶體210所儲存的當前圖片內的區塊，來進行內預測，以此產生預測訊號(內預測訊號)。具體來說，內預測部216是參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)來進行內預測，以此產生內預測訊號，且將內預測訊號輸出至預測控制部220。

另，在色差區塊的內預測中，選擇了參考亮度區塊的內預測模式時，內預測部216也可根據當前區塊的亮度成分，預測當前區塊的色差成分。

又，在已從編碼位元流解讀的資訊顯示PDPC的適用時，內預測部216是根據水平/垂直方向的參考像素的梯度，來補正內預測後的像素值。 [間預測部]

間預測部218是參考訊框記憶體214所儲存的參考圖片，來預測當前區塊。預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位進行。例如，間預測部218是使用已從編碼位元流解讀的移動資訊(例如移動向量)來進行移動補償，以此產生當前區塊或者子區塊的間預測訊號，且將間預測訊號輸出至預測控制部220。

另，在已從編碼位元流解讀的資訊是顯示適用OBMC模式時，間預測部218不只是利用經由移動估測而得到的當前區塊的移動資訊，還利用鄰接區塊的移動資訊，產生間預測訊號。

又，在已從編碼位元流解讀的資訊是顯示適用FRUC模式時，間預測部218是依照已從編碼串流解讀的圖案匹配的方法(雙向匹配或者模板匹配)來進行移動估測，藉此導出移動資訊。然後，間預測部218是使用所導出的移動資訊，來進行移動補償。

又，間預測部218是適用BIO模式時，根據假設等速直線運動之模型，導出移動向量。又，在已從編碼位元流解讀的資訊顯示適用仿射移動補償預測模式時，間預測部218是根據複數個鄰接區塊的移動向量，而以子區塊單位導出移動向量。 [預測控制部]

預測控制部220是選擇內預測訊號及間預測訊號之任一個，且將所選擇的訊號作為預測訊號，而輸出至加法部208。 [第1管線構造例]

圖11是顯示第1管線(pipeline)構造例的概略圖。圖11所示的第1管線構造例是用以將圖像解碼的管線構造例，也可藉解碼裝置200來使用。

第1管線構造例包含第1階段(stage)、第2階段及第3階段之3個階段。又，第1階段含有熵解碼(S101)。第2階段含有MVP算出(S102)、FRUC(S103)、MC/BIO (S104)、OBMC(S105)、畫面內預測(S106)、切換(S107)、反量化反轉換(S108)、及加法(S109)。第3階段含有迴路濾波(S110)。

在熵解碼(S101)中，例如進行對於輸入串流的可變長度解碼。藉此，可得到量化係數等。

在MVP算出(S102)中，算出移動向量預測子(MVP)。例如，移動向量的複數個候選被分別算出並作為移動向量預測子。在FRUC(S103)中，例如，使用與作為處理對象編碼單元之當前編碼單元不同的區域的像素值，導出當前編碼單元之移動向量。

在MC/BIO(S104)中，例如，藉移動補償(MC)來產生預測圖像。又，也可藉BIO而對預測圖像加上變形。在OBMC(S105)中，混合當前編碼單元的預測圖像及鄰接編碼單元的預測圖像，來更新當前編碼單元的預測圖像，其中前述當前編碼單元為處理對象編碼單元，前述鄰接編碼單元為鄰接於當前編碼單元之編碼單元。

在畫面內預測(S106)中，參考作為處理對象圖片之當前圖片內的編碼單元，來產生當前編碼單元的預測圖像。在切換(S107)中，切換藉MVP算出(S102)、FRUC(S103)、MC/BIO(S104)及OBMC(S105)等之畫面間預測所得到的預測圖像、與藉畫面內預測(S106)所得到的預測圖像。

在反量化反轉換(S108)中，進行量化係數的反量化及反轉換。藉此將差分圖像復原，其中前述差分圖像是原圖像與預測圖像之預測誤差。在加法(S109)中，藉將差分圖像與預測圖像相加，來再構成原圖像。

在迴路濾波(S110)中，對再構成圖像適用濾波器。藉此，例如，可抑制編碼單元間的失真。接著，將已適用濾波器的再構成圖像輸出。

在第2階段再生的再構成圖像是在周邊的編碼單元的處理中被參考，因此回饋到FRUC(S103)及畫面內預測(S106)。在第1管線構造例中，回饋是不跨複數個階段而包含在第2階段內，因此在FRUC(S103)及畫面內預測(S106)之中，可參考處理順序上為前一個的編碼單元的再構成圖像。

另一方面，在第1管線構造例中，第2階段含有很多的處理。因此，第2階段的處理時間很長。另，第1管線構造例是管線構造的一例，可移除一部分處理，也可追加一部分處理，也可變更階段的分割方法。又，處理時間是對應於處理量或者處理循環數。

圖12是顯示在管線處理的說明所使用的區塊分割例之示意圖。在圖12所示的區塊分割例中，顯示2個編碼樹單元。其中一個編碼樹單元包括2個編碼單元CU0及CU1，另一個編碼樹單元包括3個編碼單元CU2、CU3及CU4。

編碼單元CU0、CU1及CU4互為相同的尺寸。編碼單元CU2及CU3互為相同的尺寸。編碼單元CU0、CU1及CU4每個的尺寸為編碼單元CU2及CU3每個的尺寸的2倍。

圖13是顯示第1管線構造例中的處理時序一例的時間圖。圖13是顯示圖12所示的5個編碼單元CU0至CU4的處理時序。又，圖13的S1至S3是顯示圖11之第1階段至第3階段的處理時間。

編碼單元CU0、CU1及CU4每個的尺寸為編碼單元CU2及CU3每個的尺寸的2倍，因此針對編碼單元CU0、CU1及CU4，各階段的處理時間也是2倍。又，第2階段含有很多的處理，因此第2階段的處理時間是其他階段的處理時間的2倍。又，在各階段中，等到對於前一個編碼單元之相同階段的處理結束之後，對於下一個編碼單元之相同階段的處理才會開始。

例如，對於編碼單元CU1的第2階段的處理是從對於編碼單元CU0的第2階段的處理已結束的時間t6開始。第2階段的處理時間是其他階段的2倍，因此針對編碼單元CU1，從第1階段的處理已結束的時間t4迄至第1階段的處理開始的時間t6之間產生有等待時間。

針對編碼單元CU1之後，在第2階段的處理之開始中始終產生等待時間。接著，針對編碼單元CU1、CU2、CU3及CU4，分別會累積等待時間。然後，針對編碼單元CU4，從第1階段的處理已結束的時間t8迄至第2階段的處理開始的時間t14之間產生有等待時間。

其結果，在1張圖片的處理之中，包括等待時間在內的處理時間會增加到除去等待時間外的原來的處理時間的2倍左右，有不能在分配給1張圖片的時間內完成處理的可能性。 [第2管線構造例]

圖14是顯示第2管線構造例的概略圖。在圖14的第2管線構造例中，圖11的第1管線構造例的第2階段被分割成2個階段。即，第2管線構造例包括第1階段、第2階段、第3階段及第4階段共4個階段。

在第2管線構造例中，第1階段包括熵解碼(S101)。第2階段包括MVP算出(S102)及FRUC(S103)。第3階段包括MC/BIO(S104)、OBMC(S105)、畫面內預測(S106)、切換(S107)、反量化反轉換(S108)、及加法(S109)。第4階段包括迴路濾波(S110)。

又，在第2管線構造例中，藉回饋延遲控制，使參考再構成圖像的FRUC(S103)、與產生再構成圖像的加法(S109)在不同的2個階段進行。藉此，第2管線構造例中的第2階段及第3階段各自的處理時間成為第1管線構造例中的第2階段的處理時間的一半左右。

另，回饋延遲控制例如是在第2階段的FRUC(S103)中，將已在第3階段產生的再構成圖像延遲而使之可參考的控制。又，第2管線構造例是管線構造的一例，可移除一部分處理，也可追加一部分處理，也可變更階段的分割方法。

又，在第2管線構造例中，使參考再構成圖像的畫面內預測(S106)、與產生再構成圖像的加法(S109)在相同的階段進行。藉此，在畫面內預測(S106)，能參考前一個編碼單元的再構成圖像。

畫面內預測(S106)比起MVP算出(S102)、FRUC(S103)、MC/BIO(S104)、以及OBMC(S105)等之畫面間預測，會以較少的處理量進行。因此，畫面內預測(S106)與加法(S109)就算在相同的階段進行，比起畫面間預測，等待時間也很難變長。

因此，如上述，在第2管線構造例中，參考再構成圖像的畫面內預測(S106)、與產生再構成圖像的加法(S109)在相同的階段進行。惟，也可藉回饋延遲控制，讓參考再構成圖像的畫面內預測(S106)、與產生再構成圖像的加法(S109)在不同的2個階段進行。

例如，在解碼裝置200中，熵解碼部202是進行熵解碼(S101)。又，間預測部218是進行MVP算出(S102)、FRUC(S103)、MC/BIO(S104)、以及OBMC (S105)。

又，內預測部216進行畫面內預測(S106)。又，預測控制部220進行切換(S107)。又，反量化部204及反轉換部206進行反量化反轉換(S108)。又，加法部208進行加法(S109)。又，迴路濾波部212進行迴路濾波(S110)。

在加法部208所產生的再構成圖像是儲存在區塊記憶體210。間預測部218是參考儲存在區塊記憶體210的再構成圖像，進行FRUC(S103)。

在圖11所示的通常的回饋控制中，在處理對象編碼單元的FRUC(S103)處理時，前一個編碼單元的再構成圖像已儲存在區塊記憶體210，且前一個編碼單元的再構成圖像會被參考。在圖14所示的回饋延遲控制中，在處理對象編碼單元的FRUC(S103)處理時，前一個編碼單元的再構成圖像未被儲存在區塊記憶體210，前一個編碼單元的再構成圖像不會被參考。

在此，顯示了解碼裝置200的例子，但編碼裝置100也和解碼裝置200同樣地進行回饋延遲控制。例如，在此的說明中的解碼裝置200、及解碼裝置200的複數個構成要素也可替換成編碼裝置100、及編碼裝置100的複數個構成要素。

圖15是顯示第2管線構造例中的處理時序一例之時間圖。在圖15中顯示了圖12所示的5個編碼單元CU0至CU4的處理時序。又，圖15的S1至S4是顯示圖14的第1階段至第4階段的處理時間。

與圖13的例子同樣，編碼單元CU0、CU1及CU4各自的尺寸是編碼單元CU2及CU3各自的尺寸的2倍，因此針對編碼單元CU0、CU1及CU4，各階段的處理時間也是2倍。另一方面，圖13之例的第2階段被分割成2個階段，因此各階段的處理時間是等同於其他階段的處理時間。

又，在前述例中，以回饋延遲控制使再構成圖像延遲的延遲量是相當於編碼單元1個份。即，在對於各編碼單元的FRUC(S103)中，處理順序上為前一個的編碼單元的參考會被禁止。處理順序上為前2個以上的編碼單元的參考則不會被禁止。

例如，在對於編碼單元CU4的第2階段之處理中，編碼單元CU3的參考會被禁止，因此未等到對於編碼單元CU3的第3階段結束，就會開始對於編碼單元CU4的第2階段之處理。另一方面，由於未禁止編碼單元CU2的參考，所以等到對於編碼單元CU2的第3階段結束之後，就開始對於編碼單元CU4的第2階段之處理。

因此，針對編碼單元CU4，從第1階段的處理結束的時間t8迄至第2階段的處理開始的時間t9之間產生有等待時間。惟，比起圖13之例，等待時間已大幅地縮減了。

其結果，在1張圖片的處理中，包括等待時間在內的處理時間比起除了等待時間外的原本的處理時間抑制了大幅增加的情況，且會提高能在分配給1張圖片的時間內完成處理的可能性。

圖16是顯示第2管線構造例中的處理時序的另一例的時間圖。前述例基本上和圖15之例相同，但以回饋延遲控制使再構成圖像延遲的延遲量是相當於編碼單元2個份。即，在對於各編碼單元之FRUC(S103)中，處理順序上到前2個為止的編碼單元的參考會被禁止。並且，處理順序上為前3個以上的編碼單元的參考未被禁止。

例如，在對於編碼單元CU4之第2階段的處理中，編碼單元CU2及CU3的參考會被禁止，因此無須等待對於編碼單元CU2及CU3之第3階段結束，就開始對於編碼單元CU4之第2階段的處理。另一方面，編碼單元CU1的參考未被禁止，因此在對於編碼單元CU1之第3階段的處理結束的時間t8中，對於編碼單元CU4之第2階段的處理會開始。

另一方面，在時間t8中，結束對於編碼單元CU4之第1階段的處理。因此，針對編碼單元CU4，從第1階段的處理結束的時間t8開始，沒有等待時間就開始第2階段的處理。

另，在圖16之例中，是藉編碼單元2個份的延遲量，以沒有等待時間的方式進行處理。即，對於1個編碼單元依序進行複數個階段的處理，且在階段之間未產生等待時間。惟，就算藉編碼單元2個份的延遲量，也會因為區塊的分割形式，而有等待時間產生的可能性。

為了避免如此的等待時間產生，也可使用比編碼單元2個份更大的延遲量。在進行對於相當於延遲量之編碼單元數個份之第2階段處理的期間，對相當於延遲量之編碼單元數個份以上前的編碼單元之第3階段的處理結束的可能性會進一步提高。因此，藉使用比編碼單元2個份更大的延遲量，可避免等待時間的產生。

為了進一步避免如此的等待時間產生，也可使用編碼樹單元1個份的延遲量。即，也可使用相當於編碼單元1個份的面積之編碼單元數個份的延遲量。在進行對於編碼樹單元1個之第2階段處理的期間，對編碼樹單元1個份以上前的編碼單元之第3階段的處理會結束。因此，藉使用編碼樹單元1個份的延遲量，能進一步避免等待時間的產生。

又，在上述的說明中，對應於回饋延遲控制中的延遲量之數，與依照處理順序而被禁止參考的編碼單元的個數相等。惟，依照處理順序而被禁止參考的編碼單元的個數也可大於對應於回饋延遲控制中的延遲量之數。又，回饋延遲控制中的延遲量可與進行模板FRUC處理的階段和進行再構成處理的階段之差相等，也可大於前述差。 [模板FRUC方式]

圖17是顯示以模板FRUC方式導出處理對象編碼單元的移動向量的方法之流程圖。例如，圖10所示的解碼裝置200依照圖17所示的方法，導出處理對象編碼單元的移動向量。

在模板FRUC方式中，關於處理對象編碼單元的移動向量的資訊不編碼至串流。接著，例如，編碼裝置100及解碼裝置200以共通的方法，使用處理完畢區域的再構成圖像、以及作為處理完畢圖片之參考圖片，導出移動向量。

具體來說，首先，解碼裝置200的間預測部218參考處理完畢周邊編碼單元的移動向量，產生移動向量候選清單(S201)。

處理完畢周邊編碼單元為進行了移動向量的導出處理之編碼單元，且為時間上或者空間上位於處理對象編碼單元的周邊之編碼單元。時間上或者空間上位於處理對象編碼單元的周邊之編碼單元也可為時間上或空間上鄰接於處理對象編碼單元的編碼單元。

移動向量候選清單包括複數個移動向量候選。移動向量候選是處理對象編碼單元的移動向量的候選。移動向量候選可為處理完畢周邊編碼單元的移動向量，也可為將處理完畢周邊編碼單元的移動向量定標(scaling)所得到的移動向量。

其次，間預測部218依照處理順序，判定處理完畢周邊編碼單元可否參考(S202)。尤其，間預測部218是依照處理對象編碼單元與處理完畢周邊編碼單元間的處理順序之差，判定相對於處理對象編碼單元為左側及上側的各處理完畢周邊編碼單元可否參考。

例如，間預測部218是比較以下兩種數：相當於回饋延遲控制中的延遲量的數、及相當於處理對象編碼單元與處理完畢周邊編碼單元之間的處理順序之差的數。

接著，間預測部218在相當於處理順序之差的數小於相當於延遲量的數時，將處理完畢周邊編碼單元判定為不可參考。即，此時，間預測部218是將處理完畢周邊編碼單元判定為禁止參考。另一方面，間預測部218在相當於處理順序之差的數為相當於延遲量的數以上時，將處理完畢周邊編碼單元判定為可參考。另，也可使用相當於延遲量的數以上的規定之數，來替代相當於延遲量的數。

其次，間預測部218使用被判定為可參考之1個以上的處理完畢周邊編碼單元內的再構成圖像，產生用以算出評價值的模板(S203)。

被判定為可參考之1個以上的處理完畢周邊編碼單元內的再構成圖像，也可為判定為可參考之1個以上的處理完畢周邊編碼單元內之一部分區域的再構成圖像。例如，間預測部218是以像素區域產生模板，其中前述像素區域是在已被判定為可參考之1個以上的處理完畢周邊編碼單元所包含之區域中，鄰接於處理對象編碼單元的像素區域。

其次，間預測部218使用已產生的模板，從移動向量候選清單所含的複數個移動向量候選之中，選擇滿足規定條件之移動向量候選(S204)。

具體來說，間預測部218是依照模板的再構成圖像與對應區域的再構成圖像之差分，算出對於移動向量候選的評價值，其中前述對應區域是在參考圖片中藉移動向量候選所指示的區域，且對應於模板。例如，差分愈小，間預測部218算出的評價值愈高。然後，間預測部218在複數個移動向量候選之中，選擇評價值最高的移動向量候選。

另，間預測部218除了差分資訊，也可將差分以外的資訊使用在評價值的算出。

其次，間預測部218是在已被選擇的移動向量候選的周邊，估測評價值更高的移動向量(S205)。即，間預測部218是依照模板的再構成圖像與周邊區域的再構成圖像之差分，算出對於指示周邊區域的移動向量之評價值，其中前述周邊區域是在參考圖片中藉已被選擇的移動向量候選所指示的區域周邊的區域。

接著，間預測部218將已被選擇的移動向量候選更新成評價值更高的移動向量，藉此導出處理對象編碼單元最後的移動向量。另，間預測部218也可省略前述處理(S205)，而在複數個移動向量候選之中選擇評價值最高的移動向量候選，作為處理對象編碼單元最後的移動向量。

間預測部218依每個編碼單元重複上述的處理(S201至S205)。另，間預測部218也可不依每個編碼單元，而是依每個子區塊進行與上述同樣的處理，其中前述子區塊是進一步分割編碼單元所得。又，間預測部218也可依每個編碼單元進行上述的處理之後，依每個更細的子區塊進行與上述同樣的處理。

又，在上述的說明中，雖是解碼裝置200的間預測部218導出移動向量，但編碼裝置100的間預測部126也與解碼裝置200的間預測部218同樣地導出移動向量。又，在解碼裝置200中，也可是與間預測部218不同的構成要素導出移動向量。同樣，在編碼裝置100中，也可是與間預測部126不同的構成要素導出移動向量。

又，編碼裝置100的熵編碼部110也可將與可否參考的判定相關(S202)的參數編碼至序列標頭區域、圖片標頭區域、切片標頭區域、或者輔助區域。又，解碼裝置200的熵解碼部202也可將與可否參考的判定相關(S202)之參數從序列標頭區域、圖片標頭區域、切片標頭區域、或者輔助區域解碼。

在此，序列標頭區域是對於圖像的串流儲存共通的參數的區域。序列標頭區域例如也可為SPS(序列參數組合)。又，圖片標頭區域是對於圖像的圖片儲存共通的參數的區域。圖片標頭區域例如也可為PPS(圖片參數組合)。又，切片標頭區域是對於圖像的切片儲存共通的參數的區域。

又，輔助區域是儲存與序列標頭區域、圖片標頭區域、及切片標頭區域所儲存的各參數不同的參數的區域。輔助區域例如也可為SEI(Supplemental Enhancement Information)。

與可否參考的判定(S202)相關的參數，可顯示是否進行判定，也可顯示對應於回饋延遲控制中的延遲量之數。又，與可否參考的判定相關的參數可顯示禁止參考的編碼單元之數，也可顯示進行模板FRUC處理的階段、與進行再構成處理的階段之差。

接著，在編碼裝置100中，間預測部126是依照與可否參考的判定相關的參數，控制可否參考的判定。同樣，在解碼裝置200中，間預測部218依照與可否參考的判定相關的參數，控制可否參考的判定。

又，在編碼裝置100中，間預測部126也可依照圖片的尺寸、編碼裝置100的處理能力、解碼裝置200的處理能力、設定檔(profile)、等級、或者其等的組合，來決定與可否參考的判定相關的參數。又，在解碼裝置200中，間預測部218也可依照圖片的尺寸、編碼裝置100的處理能力、解碼裝置200的處理能力、設定檔、等級、或者其等的組合，來決定與可否參考的判定相關的參數。

圖片的尺寸是對應於圖片的像素數。例如，間預測部126及218在圖片的尺寸為上限以上時，也可無關於處理順序，而將處理完畢周邊編碼單元判定為不可參考。換言之，在圖片的尺寸為上限以上時，也可不進行判定，且使處理完畢周邊編碼單元為不可參考。此時，不會以模板FRUC方式導出移動向量。

又，間預測部126及218在圖片的尺寸為下限以下時，也可無關於處理順序，而將處理完畢周邊編碼單元判定為可參考。換言之，在圖片的尺寸為下限以下時，也可不進行判定，且使處理完畢周邊編碼單元為可參考。

又，例如間預測部126及218也可是圖片的尺寸愈大，愈增加被禁止參考的編碼單元的個數。藉此，可抑制圖片的尺寸愈大則設想成愈大的處理延遲。

又，例如間預測部126及218在解碼裝置200的處理能力為下限以下時，也可無關於處理順序，而將處理完畢周邊編碼單元判定為不可參考。換言之，在解碼裝置200的處理能力為下限以下時，也可不進行判定，且使處理完畢周邊編碼單元為不可參考。此時，不會以模板FRUC方式導出移動向量。

又，間預測部126及218在解碼裝置200的處理能力為上限以上時，也可無關於處理順序，而將處理完畢周邊編碼單元判定為可參考。換言之，在解碼裝置200的處理能力為上限以上時，也可不進行判定，且使處理完畢周邊編碼單元為可參考。

又，例如間預測部126及218中也可是解碼裝置200的處理能力愈低，愈增加被禁止參考的編碼單元的個數。藉此，可抑制解碼裝置200的處理能力愈低則設想成愈大的處理延遲。

又，也可代替解碼裝置200的處理能力，而依照編碼裝置100的處理能力，決定與可否參考之判定相關的參數。又，也可依照解碼裝置200的處理能力與編碼裝置100的處理能力的組合，決定與可否參考之判定相關的參數。例如，也可依照解碼裝置200的處理能力與編碼裝置100的處理能力中較低的處理能力，決定與可否參考之判定相關的參數。

在此，編碼裝置100可從編碼裝置100的各構成要素等，取得編碼裝置100的處理能力，解碼裝置200可從解碼裝置200的各構成要素等，取得解碼裝置200的處理能力。接著，藉事先進行的資訊交換，編碼裝置100可從解碼裝置200取得解碼裝置200的處理能力，解碼裝置200可從編碼裝置100取得編碼裝置100的處理能力。

又，設定檔是顯示對於圖像的串流已訂定的技術要件。技術要件是對應於功能的集合。更具體而言，技術要件是對應於色空間的形式、色深度的尺寸、及熵切片的可否使用等。又，等級是以數值顯示對於圖像的串流已訂定的參數要件。參數要件是對應於處理的負荷及使用記憶體量等。更具體而言，參數要件是對應於最大位元率、最大樣本率、及最大圖片尺寸等。

設定檔及等級也可事先訂定。間預測部126及218也可依照如此的設定檔或者等級，決定是否進行可否參考的判定、及被禁止參考的編碼單元的個數等。

圖18是顯示以模板FRUC方式導出處理對象編碼單元的移動向量的方法的概念圖。

例如模板是以像素區域所構成，其中前述像素區域是被判定為可參考之1個以上的處理完畢周邊編碼單元所包含的區域，且鄰接於處理對象編碼單元的左側或者上側。依照前述模板的再構成圖像與對應區域的再構成圖像之差分算出評價值，其中前述對應區域是在參考圖片中藉移動向量候選所指示的區域，且對應於模板。然後，選擇評價值高的移動向量候選。

另，模板的形狀不限於圖18之例，也可為如下形狀：以判定為可參考之1個以上的處理完畢周邊編碼單元所包含的區域所構成的其他形狀。例如，模板中也可包含有不直接鄰接於處理對象編碼單元的像素區域。 [模板FRUC方式中的可否參考之第1判定方法]

間預測部126及218也可禁止1個以上的編碼單元的參考，前述1個以上的編碼單元是相當於處理順序上在處理對象編碼單元前面的編碼樹單元1個份的面積。如此的禁止控制可替換成以下的控制：不禁止相對於編碼樹單元為鄰接於上側之處理完畢周邊編碼單元的參考，而禁止其他處理完畢周邊編碼單元的參考。

圖19A是顯示關於判定處理之第1例的示意圖，前述判定處理會將相對於編碼樹單元為鄰接於上側的處理完畢周邊編碼單元判定為可參考。

在圖19A顯示有編碼單元CU0至CU10。又，以粗線包圍的區域是編碼樹單元。例如，2個編碼單元CU0及CU1是構成1個編碼樹單元。CU0至CU10中從0迄至10的數值是對應於處理順序。有關於編碼樹單元及編碼單元的配置等，圖19B至圖22D也與圖19A同樣。

在圖19A之例中，相對於包含有處理對象編碼單元CU7之編碼樹單元為鄰接於上側的編碼單元CU2是可參考，其他處理完畢周邊編碼單元是不可參考。因此，間預測部126及218是產生在圖19A中以斜線所示的區域的再構成圖像來作為模板。

圖19B是顯示關於判定處理之第2例的示意圖，前述判定處理會將相對於編碼樹單元為鄰接於上側的處理完畢周邊編碼單元判定為可參考。在前述例中，相對於處理對象編碼單元CU9之全部的處理完畢周邊編碼單元為不可參考。因此，不產生模板，且禁止以模板FRUC方式導出移動向量。

在本判定方法中，依據鄰接於上側的編碼單元是否在包含有處理對象編碼單元之編碼樹單元的外側，就能判定可否參考，且能以極少的處理量來進行判定。又，雖然限制可作為模板使用的區域，但由於能避免管線處理中的等待時間產生，因此會提高能在分配給1張圖片的時間內完成處理的可能性。 [模板FRUC方式中的可否參考的第2判定方法]

間預測部126及218也可禁止參考相對於處理對象編碼單元為左側及上側之中，處理順序上為後面的一側。即，間預測部126及218也可禁止參考左側的1個以上的處理完畢周邊編碼單元、及上側的1個以上的處理完畢周邊編碼單元之中，處理順序上為後面的一側之1個以上的處理完畢周邊編碼單元。

圖20A是顯示關於判定處理之第1例的示意圖，前述判定處理會將左側的編碼單元及上側的編碼單元之中，處理順序上為後面的編碼單元判定為不可參考。在前述例中，比起相對於處理對象編碼單元CU9為左側的編碼單元CU5，相對於處理對象編碼單元CU9為上側的編碼單元CU6及CU7在處理順序上為後面。因此間預測部126及218是將左側的編碼單元CU5判定為可參考，且將上側的編碼單元CU6及CU7判定為不可參考。

因此，間預測部126及218會產生在圖20A中以編碼單元CU5內之斜線所示的區域的再構成圖像來作為模板。

圖20B是顯示關於判定處理之第2例的示意圖，前述判定處理會將左側的編碼單元及上側的編碼單元之中，處理順序上為後面的編碼單元判定為不可參考。在前述例中，比起相對於處理對象編碼單元CU10為上側的編碼單元CU7及CU8，相對於處理對象編碼單元CU10為左側的編碼單元CU9在處理順序上為後面。因此，間預測部126及218將上側的編碼單元CU7及CU8判定為可參考，且將左側的編碼單元CU9判定為不可參考。

因此，間預測部126及218會產生在圖20B中以編碼單元CU7及CU8內之斜線所示的區域的再構成圖像來作為模板。

在本判定方法中，依據左側及上側之中哪一個在後面處理，就能判定可否參考，且能以極少的處理量進行判定。又，以結果來說，處理順序上為前一個的編碼單元的再構成圖像不予以參考。因此，藉由相當於延遲量的數為1之回饋延遲控制，能抑制管線處理的等待時間。因此，會提高可在分配給1張圖片的時間內完成處理之可能性。

又，在圖20A及圖20B中的第2判定方法中，比起圖19A及圖19B中的第1判定方法，更難以限制可作為模板使用的區域。因此，能更適當地導出處理對象編碼單元的移動向量。

另，也可將圖19A及圖19B中的第1判定方法及圖20A及圖20B中的第2判定方法組合。具體來說，相對於編碼樹單元為鄰接於上側的處理完畢周邊編碼單元比起左側的處理完畢周邊編碼單元，其處理順序不管是否為後面，都可被判定為可參考。 [模板FRUC方式中的可否參考的第3判定方法]

間預測部126及218也可禁止參考如下的編碼單元：相對於處理對象編碼單元為左側及上側之中的一側，且包含有處理順序上在處理對象編碼單元前N個之後的編碼單元者。

即，左側的1個以上的處理完畢周邊編碼單元包含有在處理順序上為處理對象編碼單元前N個之後的已處理的編碼單元時，左側的1個以上的處理完畢周邊編碼單元的參考會被禁止。同樣，上側之1個以上的處理完畢周邊編碼單元包含有在處理順序上為處理對象編碼單元前N個之後的已處理的編碼單元時，上側的1個以上的處理完畢周邊編碼單元的參考會被禁止。

另，處理順序上在處理對象編碼單元前N個之後的已處理的編碼單元也可表現為時間性近旁編碼單元。

圖21A是顯示關於判定處理之第1例的示意圖，前述判定處理會將包含處理對象編碼單元前N個之後的編碼單元之左側或者上側的1個以上的編碼單元判定為不可參考。在前述例中，N為1。

相對於處理對象編碼單元CU9為左側的處理完畢周邊編碼單元CU5不包含處理對象編碼單元CU9的前1個編碼單元CU8。又，相對於處理對象編碼單元CU9為上側的處理完畢周邊編碼單元CU6及CU7不包含處理對象編碼單元CU9的前1個編碼單元CU8。因此，左側的處理完畢周邊編碼單元CU5、上側的處理完畢周邊編碼單元CU6及CU7皆可參考。

因此，間預測部126及218產生在圖21A中以編碼單元CU5、CU6及CU7內之斜線所示的區域的再構成圖像來作為模板。

另，在圖21A中，與處理對象編碼單元不同的細點陰影部分是顯示N個時間性鄰近編碼單元。關於前述細點陰影部分，圖21B至圖22D也與圖21A同樣。以前述細點陰影部分所示的N個時間性鄰近編碼單元不會被參考。

圖21B是顯示關於判定處理之第2例的示意圖，前述判定處理會將包含處理對象編碼單元前N個之後的編碼單元之左側或者上側的1個以上的編碼單元判定為不可參考。在前述例中，N也是1。

相對於處理對象編碼單元CU10為左側的處理完畢周邊編碼單元CU9包含處理對象編碼單元CU10的前1個編碼單元CU9。另一方面，相對於處理對象編碼單元CU10為上側的處理完畢周邊編碼單元CU7及CU8不包含處理對象編碼單元CU10的前1個編碼單元CU9。因此，左側的處理完畢周邊編碼單元CU9是不可參考，且上側的處理完畢周邊編碼單元CU7及CU8是可參考。

藉此，間預測部126及218產生在圖21B中以編碼單元CU7及CU8內的斜線所示的區域的再構成圖像來作為模板。

圖21C是顯示關於判定處理之第3例的示意圖，前述判定處理會將包含處理對象編碼單元前N個之後的編碼單元之左側或者上側的1個以上的編碼單元判定為不可參考。在前述例中，N為2。

相對於處理對象編碼單元CU9為左側的處理完畢周邊編碼單元CU5不包含處理對象編碼單元CU9前2個之後的編碼單元CU7及CU8任一者。另一方面，相對於處理對象編碼單元CU9為上側的處理完畢周邊編碼單元CU6及CU7包含處理對象編碼單元CU9前2個之後的編碼單元CU7及CU8任一者。

因此，左側的處理完畢周邊編碼單元CU5為可參考，上側的處理完畢周邊編碼單元CU6及CU7為不可參考。因此，間預測部126及218產生在圖21C中以編碼單元CU5內之斜線所示的區域的再構成圖像來作為模板。

圖21D是顯示關於判定處理之第4例的示意圖，前述判定處理會將包含有處理對象編碼單元前N個之後的編碼單元之左側或者上側的1個以上的編碼單元判定為不可參考。在前述例中，與圖21C之例同樣，N為2。

相對於處理對象編碼單元CU10為左側的處理完畢周邊編碼單元CU9包含有處理對象編碼單元CU10前2個之後的編碼單元CU8及CU9任一者。又，相對於處理對象編碼單元CU10為上側的處理完畢周邊編碼單元CU7及CU8包含有處理對象編碼單元CU10前2個之後的編碼單元CU8及CU9任一者。

因此，在前述例中，相對於處理對象編碼單元CU10之全部的處理完畢周邊編碼單元為不可參考。因此，不產生模板，以模板FRUC方式導出移動向量是被禁止的。

在本判定方法中，依據在左側及上側各自是否包含有處理順序上在處理對象編碼單元前N個之後的編碼單元，就能判定可否參考，且能以較少的處理量進行判定。又，藉由相當於延遲量的數N為1、2或者其他數之回饋延遲控制，能抑制管線處理的等待時間。因此，會提高可在分配給1張圖片的時間內完成處理之可能性。

又，在圖21A至圖21D中之第3判定方法中，比起圖20A及圖20B中之第2判定方法，更難以限制可作為模板使用的區域。因此，能更適當地導出處理對象編碼單元之移動向量。

另，也可將圖19A及圖19B中之第1判定方法及圖21A至圖21D中之第3判定方法予以組合。具體來說，相對於編碼樹單元為鄰接於上側的處理完畢周邊編碼單元不管是否為前N個之後的編碼單元，都可被判定為可參考。 [模板FRUC方式中的可否參考的第4判定方法]

間預測部126及218也可禁止參考處理順序上在處理對象編碼單元前N個之後的已處理的編碼單元。即，當處理完畢周邊編碼單元包含在處理順序上為處理對象編碼單元前N個之後的N個時間性鄰近編碼單元中時，前述處理完畢周邊編碼單元的參考會被禁止。

圖22A是顯示關於判定處理之第1例的示意圖，前述判定處理會將處理對象編碼單元前N個之後的編碼單元判定為不可參考。在前述例中，N為1。

相對於處理對象編碼單元CU9為左側的處理完畢周邊編碼單元CU5，是不包含在處理對象編碼單元CU9的前1個編碼單元CU8中。又，相對於處理對象編碼單元CU9為上側的處理完畢周邊編碼單元CU6及CU7任一者，都不包含在處理對象編碼單元CU9的前1個編碼單元CU8中。因此，左側的處理完畢周邊編碼單元CU5、上側的處理完畢周邊編碼單元CU6及CU7皆可參考。

藉此，間預測部126及218產生在圖22A中以編碼單元CU5、CU6及CU7內之斜線所示的區域的再構成圖像來作為模板。

圖22B是顯示關於判定處理之第2例的示意圖，前述判定處理會將處理對象編碼單元前N個之後的編碼單元判定為不可參考。在前述例中，N亦為1。

相對於處理對象編碼單元CU10為左側的處理完畢周邊編碼單元CU9，是包含在處理對象編碼單元CU10的前1個編碼單元CU9中。另一方面，相對於處理對象編碼單元CU10為上側的處理完畢周邊編碼單元CU7及CU8任一者，都不包含在處理對象編碼單元CU10的前1個編碼單元CU9中。因此，左側的處理完畢周邊編碼單元CU9為不可參考，且上側的處理完畢周邊編碼單元CU7及CU8為可參考。

藉此，間預測部126及218產生圖22B中以編碼單元CU7及CU8內的斜線所示的區域的再構成圖像來作為模板。

圖22C是顯示關於判定處理之第3例的示意圖，前述判定處理會將處理對象編碼單元前N個之後的編碼單元判定為不可參考。在前述例中，N為2。

相對於處理對象編碼單元CU9為左側的處理完畢周邊編碼單元CU5，不包含在處理對象編碼單元CU9前2個之後的編碼單元CU7及CU8中。

相對於處理對象編碼單元CU9為上側的處理完畢周邊編碼單元CU6，不包含在處理對象編碼單元CU9前2個之後的編碼單元CU7及CU8中。相對於處理對象編碼單元CU9為上側的另一處理完畢周邊編碼單元CU7，是包含在處理對象編碼單元CU9前2個之後的編碼單元CU7及CU8中。

因此，左側的處理完畢周邊編碼單元CU5為可參考，上側的處理完畢周邊編碼單元CU6為可參考，上側的另一處理完畢周邊編碼單元CU7為不可參考。因此，間預測部126及218產生在圖22C中以編碼單元CU5及CU6內的斜線所示的區域的再構成圖像來作為模板。

圖22D是顯示關於判定處理之第4例的示意圖，前述判定處理會將處理對象編碼單元前N個之後的編碼單元判定為不可參考。在前述例中，與圖22C同樣，N為2。

相對於處理對象單元CU10為左側的處理完畢周邊編碼單元CU9，是包含在處理對象編碼單元CU10前2個之後的編碼單元CU8及CU9中。

相對於處理對象編碼單元CU10為上側的處理完畢周邊編碼單元CU7，不包含在處理對象編碼單元CU10前2個之後的編碼單元CU8及CU9中。相對於處理對象編碼單元CU10為上側的另一處理完畢周邊編碼單元CU8，是包含在處理對象編碼單元CU10前2個之後的編碼單元CU8及CU9中。

因此，左側的處理完畢周邊編碼單元CU9為不可參考，上側的處理完畢周邊編碼單元CU7為可參考，上側的另一處理完畢周邊編碼單元CU8為不可參考。因此，間預測部126及218產生在圖22D中以編碼單元CU7內的斜線所示的區域的再構成圖像來作為模板。

在本判定方法中，藉由處理完畢周邊編碼單元是否包含在N個時間性鄰近編碼單元中，就能判定可否參考，且能以較少的處理量進行判定。又，藉由相當於延遲量的數N為1、2或者其他數之回饋延遲控制，就能抑制管線處理的等待時間。因此，會提高可在分配給1張圖片的時間內完成處理的可能性。

又，在圖22A至圖22D中的第4判定方法中，比起圖21A至圖21D中的第3判定方法，更難以限制可作為模板使用的區域。因此，能更適當地導出處理對象編碼單元的移動向量。

另，也可將圖19A及圖19B中的第1判定方法與圖22A至圖22D中的第4判定方法組合。具體來說，相對於編碼樹單元為鄰接於上側的處理完畢周邊編碼單元不管是否為前N個之後的編碼單元，都被判定為可參考。

又，在上述各判定方法等的說明中，是依每個編碼單元進行處理，但不限於編碼單元，也可依每個區塊進行處理。即，上述說明中的編碼單元也可替換成區塊。 [編碼裝置的安裝例]

圖23是顯示實施形態1之編碼裝置100之安裝例之方塊圖。編碼裝置100包含有電路160及記憶體162。例如，圖1所示之編碼裝置100之複數個構成要素是透過圖23所示之電路160及記憶體162來安裝。

電路160是進行資訊處理的電路，且為可對記憶體162進行存取的電路。例如，電路160是將圖像資訊編碼之專用或者通用的電子電路。電路160也可為如CPU般之處理器。又，電路160也可為複數個電子電路的集合體。又，例如電路160也可展現圖1所示之編碼裝置100之複數個構成要素中除了用以記憶資訊的構成要素之外的複數個構成要素的作用。

記憶體162是通用或者專用的記憶體，記憶用以使電路160將圖像資訊編碼之資訊。記憶體162可為電子電路，也可連接於電路160。又，記憶體162也可包含在電路160。又，記憶體162也可為複數個電子電路的集合體。又，記憶體162也可為磁碟或者是光碟等，也可表現為儲存器(storage)或者是記錄媒體等。又，記憶體162可為非揮發性記憶體，也可為揮發性記憶體。

例如，記憶體162也可記憶被編碼的圖像資訊，也可記憶對應於已被編碼的圖像資訊之位元列。又，在記憶體162也可記憶用以使電路160將圖像資訊編碼的程式。

又，例如，記憶體162也可展現在圖1所示之編碼裝置100之複數個構成要素之中用以記憶資訊之構成要素的作用。具體來說，記憶體162也可以展現圖1所示的區塊記憶體118及訊框記憶體122的作用。

另，在編碼裝置100中，也可不用安裝圖1等所示的複數個構成要素全部，也可不用進行上述之複數個處理全部。圖1等所示的複數個構成要素之一部分也可包含在其他裝置，上述之複數個處理之一部分也可透過其他裝置來執行。然後，在編碼裝置100中，安裝圖1等所示的複數個構成要素之中的一部分，且進行上述之複數個處理的一部分，藉此可以抑制處理的延遲。

上述編碼裝置100是對複數個區塊之中的1個以上使用模板FRUC方式，以處理順序處理複數個區塊，將圖像編碼。即，編碼裝置100在將圖像編碼時，對複數個區塊之中的1個以上使用模板FRUC方式，以處理順序處理複數個區塊。模板FRUC方式是一種藉模板來導出圖像的複數個區塊之中的處理對象的移動向量的方式，其中該模板是由處理對象區塊的周邊中的圖像區域所構成。

例如電路160是根據處理順序來判定1個以上的處理完畢周邊區塊的各個區塊可否參考，前述1個以上的區塊是複數個區塊之中已被處理的1個以上的區塊，且為處理對象區塊的周邊中的1個以上的區塊。

在此，在複數個區塊之中已被處理的1個以上的區塊為複數個區塊之中處理順序上比起處理對象區塊為更前面的1個以上的區塊。即，電路160是針對處理順序上比起處理對象區塊為更前面的1個以上的處理完畢周邊區塊的各個區塊，根據處理順序，判定該處理完畢周邊區塊可否參考。

然後，電路160在1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生模板。

又，例如圖像也可以是以互為相同尺寸的複數個編碼樹單元所構成。在此，複數個編碼樹單元每一個包含複數個區塊之中的至少1個。又，例如1個以上的處理完畢周邊區塊每一個也可以是相對於處理對象區塊為左側的1個以上的處理完畢周邊區塊之中的1個，或者相對於處理對象區塊為上側的1個以上的處理完畢周邊區塊之中的1個。

又，例如電路160也可在上側的1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將上側的1個以上的處理完畢周邊區塊判定為可參考。在此，1個以上的外側區塊是複數個區塊之中，包含處理對象區塊的編碼樹單元之外側的1個以上的區塊，且處理順序上比起處理對象區塊為往前編碼樹單元1個份以上之1個以上的區塊。

又，例如電路160也可將左側的1個以上的處理完畢周邊區塊判定為不可參考。然後，電路160在上側的1個以上的處理完畢周邊區塊不包含在1個以上的外側區塊時，也可將上側的1個以上的處理完畢周邊區塊判定為不可參考。

又，例如電路160也可將左側的1個以上的處理完畢周邊區塊、與上側的1個以上的處理完畢周邊區塊之中，處理順序上為後面的一側之1個以上的處理完畢周邊區塊判定為不可參考。又，例如電路160也可將處理順序上為前面之另一側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路160也可在上側的1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將左側的1個以上的處理完畢周邊區塊判定為不可參考，且將上側的1個以上的處理完畢周邊區塊判定為可參考。然後，電路160在上側的1個以上的處理完畢周邊區塊不包含在1個以上的外側區塊時，將上述一側的1個以上的處理完畢周邊區塊判定為不可參考，且將另一側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路160也可在左側的1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊至少任一者時，將左側的1個以上的處理完畢周邊區塊判定為不可參考。然後，電路160也可在上側的1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊至少任一者時，將上側的1個以上的處理完畢周邊區塊判定為不可參考。

在此，N個時間性鄰近區塊是複數個區塊之中已被處理的N個區塊，且為處理順序上處理對象區塊的前N個之後的N個區塊。N也可為1，也可為2，也可為其他自然數。

又，例如電路160也可在左側的1個以上的處理完畢周邊區塊不包含N個時間性鄰近區塊任一者時，將左側的1個以上的處理完畢周邊區塊判定為可參考。又，例如電路160也可在上側的1個以上的處理完畢周邊區塊不包含N個時間性鄰近區塊任一者時，將上側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路160也可在上側的1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊至少一者，且，不包含在1個以上的外側區塊時，將上側的1個以上的處理完畢周邊區塊判定為不可參考。然後，電路160也可在上側的1個以上的處理完畢周邊區塊不含N個時間性鄰近區塊任一者，或者包含在1個以上的外側區塊時，將上側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路160也可對於左側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊包含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。然後，電路160也可對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊包含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。

又，例如電路160也可對於左側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。又，例如電路160也可對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。

又，例如電路160也可對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊包含有該處理完畢周邊區塊，且，在1個以上的外側區塊不包含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。然後，電路160對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊不含該處理完畢周邊區塊，或者在1個以上的外側區塊包含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。

又，例如電路160也可藉含有相互不同的2個階段的管線構造來將圖像編碼，前述2個階段為產生模板的階段即FRUC處理階段、以及產生再構成圖像之階段即再構成階段。接著，電路160在從處理對象區塊的FRUC處理階段的處理結束之後直到處理對象區塊的M個階段的處理結束為止，也可以延遲將處理對象區塊的再構成圖像輸入到其他區塊的FRUC處理階段的處理。

在此，其他區塊是與處理對象區塊不同的區塊，且為處理順序上比起處理對象區塊為更後面的區塊。M也可為等於N的自然數，也可為小於N的自然數。

又，例如M為含有FRUC處理階段及再構成階段的複數個階段之數，且是藉由從FRUC處理階段至再構成階段為止的複數個階段之數中減1而構成之數。

又，例如電路160也可從序列標頭區域、圖片標頭區域、切片標頭區域、或者輔助區域，將關於可否參考的判定的參數編碼。在此，序列標頭區域是儲存對於圖像的串流共通的參數之區域。圖片標頭區域是儲存對於圖像的圖片共通的參數之區域。切片標頭區域是儲存對於圖像的切片共通的參數之區域。輔助區域是儲存與序列標頭區域、圖片標頭區域、及切片標頭區域所儲存的各參數不同的參數的區域。

又，例如電路160也可依照含有處理對象區塊的處理對象圖片的尺寸，決定關於可否參考的判定的參數。

又，例如電路160也可取得顯示解碼裝置200的處理能力的資訊，依照解碼裝置200的處理能力，決定關於可否參考的判定的參數。

又，例如電路160也可依照對於圖像的串流所訂定的設定檔或者等級，決定關於可否參考的判定的參數。在此，設定檔顯示技術要件，等級顯示參數要件。

又，關於可否參考的判定的參數也可顯示是否進行可否參考的判定，也可顯示可否參考的判定方法，也可顯示上述的N，也可顯示上述的M。 [解碼裝置之安裝例]

圖24是顯示實施形態1之解碼裝置200之安裝例之方塊圖。解碼裝置200包含有電路260及記憶體262。例如，圖10所示之解碼裝置200的複數個構成要素是藉圖24所示之電路260及記憶體262來安裝。

電路260為進行資訊處理的電路，且為可對記憶體262進行存取的電路。例如，電路260是將圖像資訊解碼之專用或者通用的電子電路。電路260也可以是如CPU般之處理器。又，電路260也可為複數個電子電路的集合體。又，例如電路260也可展現複數個構成要素的作用，前述複數個構成要素是圖10所示之解碼裝置200之複數個構成要素之中，除了用以記憶資訊的構成要素之外者。

記憶體262是通用或者專用的記憶體，記憶用以使電路260將圖像資訊解碼之資訊。記憶體262也可為電子電路，也可連接於電路260。又，記憶體262也可包含在電路260。又，記憶體262也可為複數個電子電路的集合體。又，記憶體262也可為磁碟或者是光碟等，也可表現為儲存器(storage)或者是記錄媒體等。又，記憶體262也可為非揮發性記憶體，也可為揮發性記憶體。

例如，記憶體262也可記憶已編碼之圖像資訊所對應的位元列，也可記憶已被解碼的位元列所對應之圖像資訊。又，記憶體262也可記憶用以使電路260將圖像資訊解碼的程式。

又，例如，記憶體262也可展現在圖10所示之解碼裝置200之複數個構成要素之中用以記憶資訊之構成要素的作用。具體來說，記憶體262也可展現圖10所示之區塊記憶體210、訊框記憶體214的作用。

另，在解碼裝置200中，也可不用安裝圖10等所示的複數個構成要素全部，也可不用進行上述之複數個處理全部。圖10等所示的複數個構成要素之一部分也可包含在其他裝置，上述之複數個處理之一部分也可透過其他裝置來執行。然後，在解碼裝置200中，安裝圖10等所示的複數個構成要素之中的一部分，且進行上述之複數個處理的一部分，藉此可抑制處理的延遲。

上述解碼裝置200是對於複數個區塊之中的1個以上使用模板FRUC方式，以處理順序處理複數個區塊，將圖像解碼。即，解碼裝置200在將圖像解碼時，對於複數個區塊之中的1個以上使用模板FRUC方式，以處理順序處理複數個區塊。模板FRUC方式是一種藉模板來導出圖像的複數個區塊之中的處理對象的移動向量的方式，其中該模板是由處理對象區塊的周邊中的圖像區域所構成。

例如電路260是根據處理順序來判定1個以上的處理完畢區塊各自的可否參考，前述1個以上的處理完畢區塊是複數個區塊之中已被處理的1個以上的區塊，且為處理對象區塊的周邊中的1個以上的區塊。

在此，在複數個區塊之中已被處理的1個以上的區塊為複數個區塊之中處理順序上比起處理對象區塊為更前面的1個以上的區塊。即，電路260是針對處理順序上比起處理對象區塊為更前面的1個以上的處理完畢周邊區塊每一個，根據處理順序，判定該處理完畢周邊區塊的可否參考。

然後，電路260在1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所含的區域產生模板。

又，例如圖像也可為以互為相同尺寸的複數個編碼樹單元所構成。在此，複數個編碼樹單元每一個包含複數個區塊之中的至少1個。又，例如1個以上的處理完畢周邊區塊每一個也可為相對於處理對象區塊為左側的1個以上的處理完畢周邊區塊之中的1個，或者相對於處理對象區塊為上側的1個以上的處理完畢周邊區塊之中的1個。

又，例如電路260也可在上側的1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將上側的1個以上的處理完畢周邊區塊判定為可參考。在此，1個以上的外側區塊是複數個區塊之中，包含處理對象區塊的編碼樹單元之外側的1個以上的區塊，且處理順序上比起處理對象區塊為往前編碼樹單元之1個份以上之1個以上的區塊。

又，例如電路260也可將左側的1個以上的處理完畢周邊區塊判定為不可參考。然後，電路260在上側的1個以上的處理完畢周邊區塊不包含在1個以上的外側區塊時，也可將上側的1個以上的處理完畢周邊區塊判定為不可參考。

又，例如電路260也可將左側的1個以上的處理完畢周邊區塊、與上側的1個以上的處理完畢周邊區塊之中處理順序上為後面的一側之1個以上的處理完畢周邊區塊判定為不可參考。又，例如電路260也可將處理順序上為前面的另一側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路260也可在上側的1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將左側的1個以上的處理完畢周邊區塊判定為不可參考，且將上側的1個以上的處理完畢周邊區塊判定為可參考。然後，電路260在上側的1個以上的處理完畢周邊區塊不包含在1個以上的外側區塊時，將上述一側的1個以上的處理完畢周邊區塊判定為不可參考，且將另一側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路260也可在左側的1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊至少任一者時，將左側的1個以上的處理完畢周邊區塊判定為不可參考。然後，電路260也可在上側的1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊至少任一者時，將上側的1個以上的處理完畢周邊區塊判定為不可參考。

又，例如電路260也可在左側的1個以上的處理完畢周邊區塊不含N個時間性鄰近區塊任一者時，將左側的1個以上的處理完畢周邊區塊判定為可參考。又，例如電路260也可在上側的1個以上的處理完畢周邊區塊不含N個時間性鄰近區塊任一者時，將上側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路260也可在上側的1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊至少任一者，且，不包含在1個以上的外側區塊時，將上側的1個以上的處理完畢周邊區塊判定為不可參考。然後，電路260也可在上側的1個以上的處理完畢周邊區塊不含N個時間性鄰近區塊任一者，或者包含在1個以上的外側區塊時，將上側的1個以上的處理完畢周邊區塊判定為可參考。

又，例如電路260也可對於左側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊包含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。然後，電路260也可對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊包含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。

又，例如電路260也可對於左側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。又，例如電路260也可對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。

又，例如電路260也可對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊包含有該處理完畢周邊區塊，且，在1個以上的外側區塊不包含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。然後，電路260也可對於上側的1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊不含該處理完畢周邊區塊，或者在1個以上的外側區塊包含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。

又，例如電路260也可藉含有相互不同的2個階段的管線構造來將圖像解碼，前述2個階段為產生模板的階段即FRUC處理階段、以及產生再構成圖像之階段即再構成階段。接著，電路260在從處理對象區塊的FRUC處理階段的處理結束之後直到處理對象區塊的M個階段的處理結束為止，延遲將處理對象區塊的再構成圖像輸入到其他區塊的FRUC處理階段的處理。

又，例如M為含有FRUC處理階段及再構成階段的複數個階段之數，且藉由從FRUC處理階段迄至再構成階段為止的複數個階段之數減1而所構成之數。

又，例如電路260也可從序列標頭區域、圖片標頭區域、切片標頭區域、或者輔助區域，將關於可否參考的判定的參數解碼。在此，序列標頭區域是儲存對於圖像的串流共通的參數之區域。圖片標頭區域是儲存對於圖像的圖片共通的參數之區域。切片標頭區域是儲存對於圖像的切片共通的參數之區域。輔助區域是儲存與序列標頭區域、圖片標頭區域、及切片標頭區域所儲存的各參數不同的參數的區域。

又，例如電路260也可依照含有處理對象區塊的處理對象圖片的尺寸，決定關於可否參考的判定的參數。

又，例如電路260也可取得顯示解碼裝置200的處理能力的資訊，依照解碼裝置200的處理能力，決定關於可否參考的判定的參數。

又，例如電路260也可依照對於圖像的串流所訂定的設定檔或者等級，決定關於可否參考的判定的參數。在此，設定檔顯示技術要件，等級顯示參數要件。

又，關於可否參考的判定的參數也可顯示是否進行可否參考的判定，也可顯示可否參考的判定方法，也可顯示上述的N，也可顯示上述的M。 [補足]

本實施形態中之編碼裝置100及解碼裝置200，分別可被做為圖像編碼裝置及圖像解碼裝置來利用。或者，編碼裝置100及解碼裝置200可分別做為間預測裝置來利用。即，編碼裝置100及解碼裝置200也可分別只對應於間預測部126及間預測部218。

又，在上述的說明中，處理對象區塊及處理完畢周邊區塊中的處理，例如FRUC的處理，具體來說，也可為產生模板的處理，也可為含有產生模板之處理的階段之處理。又，處理完畢周邊區塊也可為藉略過處理來結束處理的區塊。

又，在本實施形態中，各構成要素可以專用的硬體所構成，或透過執行適於各構成要素的軟體程式來實現。各構成要素也可讓CPU或者處理器等之程式執行部讀出記錄在硬碟或者半導體記憶體等之記錄媒體的軟體程式來執行，藉此來實現。

具體來說，編碼裝置100及解碼裝置200各自也可具有處理電路(Processing Circuitry)、及記憶裝置(Storage)，前述記憶裝置是電連接於該處理電路，可由該處理電路進行存取。例如，處理電路對應於電路160或260、記憶裝置對應記憶體162或262。

處理電路包含有專用的硬體及程式執行部至少一者，並使用記憶裝置來執行處理。又，記憶裝置在處理電路含有程式執行部時，記憶藉該程式執行部所執行之軟體程式。

在此，實現本實施形態之編碼裝置100或者解碼裝置200等之軟體為如下程式。

即，該程式是讓電腦執行一種編碼方法，該邊碼方法是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像解碼，其中前述模板FRUC方式是藉模板導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，該模板是以前述處理對象區塊的周邊中的圖像區域所構成，該編碼方法包含有以下步驟：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及，在前述1個以上的處理完畢周邊區塊之中已被判定為可參考的1個以上的可參考區塊所含之區域產生前述模板。

或者，這個程式也可讓電腦執行一種解碼方法，該解碼方法是將模板FRUC(Frame Rate Up- Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像解碼，其中前述模板FRUC方式是藉模板導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，該模板是以前述處理對象區塊的周邊中的圖像區域所構成，該解碼方法包含有以下步驟：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及，在前述1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含之區域產生前述模板。

又，如上述，各構成要素也可為電路。該等電路也可以整體構成為1個電路，也可分別為個別的電路。又，各構成要素也可以通用式的處理器來實現，也可以專用的處理器來實現。

又，也可讓別的構成要素來執行特定的構成要素所要執行的處理。又，要執行處理的順序也可變更，複數個處理也可並行地執行。又，編碼解碼裝置也可包含有編碼裝置100及解碼裝置200。

在說明中所使用過的第1及第2等序數，也可適當地替換。又，對構成要素等，也可重新附上序數，也可移除之。

以上，針對編碼裝置100及解碼裝置200之態樣，已根據實施形態來說明，但編碼裝置100及解碼裝置200的態樣並不限於該實施形態。只要在不脫離本揭示的旨趣之狀態下，熟悉此項技藝之人士可思及之各種變形實施在本實施形態者、或者將不同實施形態的構成要素組合而所構建的形態，也可包括在編碼裝置100及解碼裝置200之態樣的範圍內。

也可以將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又，也可以將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法(syntax)的一部分等與其他態樣組合來實施。 (實施形態2)

在以上之各實施形態中，功能區塊每一個通常可藉MPU及記憶體等來實現。又，藉功能區塊每一個所進行的處理通常可以經由處理器等之程式執行部讀出ROM等之記錄媒體所記錄的軟體(程式)來執行，而予以實現。該軟體也可藉下載等來分發，也可記錄在半導體記憶體等之記錄媒體來分發。另，當然也可以將各功能區塊透過硬體(專用電路)來實現。

又，在各實施形態中所說明的處理也可以使用單一裝置(系統)進行集中處理來實現，或者也可以使用複數個裝置進行分散處理來實現。又，執行上述程式的處理器也可為單數個，也可為複數個。即，可進行集中處理，或者也可進行分散處理。

本揭示的態樣並不限於以上的實施例，可做各種變更，其等變更也包括在本揭示的態樣之範圍內。

進而在此，說明在上述各實施形態中所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用該方法之系統。該系統是以具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具有兩者之圖像編碼解碼裝置為特徵所在。針對系統中的其他構成，配合情況的需要，可適當地變更。 [使用例]

圖25是顯示實現內容分發服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內分別設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

在該內容供給系統ex100中，經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110，而將電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等各機器連接於網際網路ex101。該內容供給系統ex100可構成為組合上述任意要素而連接。也可不經過為固定無線台之基地台ex106至ex110，而是使各機器經由電話網路或者近距離無線等直接或間接地互相連接。又，串流伺服器ex103是經由網際網路ex101等而與電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等之各機器連接。又，串流伺服器ex103是經由衛星ex116而與飛機ex117內之熱點內的終端機等連接。

另，也可利用無線存取點或熱點等，來替代基地台ex106至ex110。又，串流伺服器ex103也可以不經由網際網路ex101或者網際網路服務提供者ex102，而直接與通訊網ex104連接，也可不經由衛星ex116，而直接與飛機ex117連接。

攝像機ex113是數位相機等可進行靜態圖像攝影及動態圖像攝影之機器。又，智慧型手機ex115一般是指對應於2G、3G、3.9G、4G、以及今後被稱為5G之行動通訊系統的方式之智慧型話機、行動電話機、或者PHS(Personal Handyphone System)等。

家電ex118是包括在冰箱、或者家用燃料電池熱電共生系統之機器等。

在內容供給系統ex100中，讓具有攝影功能的終端機經由基地台ex106等而連接到串流伺服器ex103，以此可進行現場直播等。在現場直播中，終端機(電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、及飛機ex117内之終端機等)是將所得到的資料發送到串流伺服器ex103，該資料是對使用者使用該終端機所攝影的靜態圖像或者動態圖像內容進行在上述各實施形態所說明的編碼處理，且對藉編碼所得到的影像資料、及已將對應於影像的聲音編碼後的聲音資料進行多工而所得到者。即，各終端機是作為本揭示一態樣的圖像編碼裝置而發揮功能。

另一方面，串流伺服器ex103是對於有了請求的客戶端將被發送的內容資料進行串流分發。客戶端是指可將上述經過編碼處理的資料進行解碼之電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、或者飛機ex117內的終端機等。已接收到所分發的資料的各機器將所接收的資料進行解碼處理後進行播放。即，各機器是作為本揭示一態樣之圖像解碼裝置而發揮功能。 [分散處理]

又，串流伺服器ex103也可為複數個伺服器或者是複數個電腦，將資料分散處理或記錄分發者。例如，串流伺服器ex103也可藉由CDN(Contents Delivery Network)來實現，透過連接分散在世界各地的多數邊緣伺服器(edge server)與邊緣伺服器間的網路來實現內容分發。在CDN中，因應客戶端而動態地分配實體上接近的邊緣伺服器。然後，內容被該邊緣伺服器快取及分發，以此可減少延遲的情況。又，在發生有任何錯誤時或者因流量增加等而使通訊狀態改變時，可以複數個邊緣伺服器分散處理，或者將分發主體切換到其他邊緣伺服器，而對已發生障礙的網路部分進行迂迴，來繼續進行分發，因此可實現高速且穩定的分發。

又，不只是分發自身的分散處理，也可將所攝影的資料的編碼處理在各終端機進行，也可在伺服器側進行，也可互相分擔來進行。舉一例來說，一般在編碼處理中，進行處理循環2次。第1次的循環，會檢測以訊框或者場景單位的圖像之複雜度、或者編碼量。又，在第2次的循環，會進行維持畫質，並使編碼效率提高的處理。例如，終端機進行第1次的編碼處理，已收到內容的伺服器側進行第2次的編碼處理，以此可一邊減少在各終端機的處理負擔，又能一邊提高內容的品質及效率。此時，若有幾乎以實時接收而要解碼的請求時，也可將終端機已進行過第1次的編碼完畢資料在其他終端機接收且進行播放，因此能達到更柔軟的實時分發。

舉另一例來說，攝像機ex113等是從圖像進行特徵量擷取，將有關於特徵量的資料作為詮釋(meta)資料進行壓縮，而發送到伺服器。伺服器是例如從特徵量來判斷物件的重要性，而切換量化精度等因應圖像的意義來進行壓縮。特徵量資料對於伺服器上之再次壓縮時的移動向量預測之精度及效率提昇特別有效。又，也可在終端機進行VLC(可變長度編碼)等之簡易性編碼，在伺服器進行CABAC(Context適應型二值算術編碼方式)等處理負荷大的編碼。

進而，以其他例來說，在體育場、購物商場、或者工廠等之中，會有經由複數個終端機而拍攝到幾乎相同的場景的複數個影像資料存在的情況。在該情況下，使用進行過拍攝的複數個終端機、及因應需要而未進行拍攝的其他終端機及伺服器，以例如GOP(Group of Picture)單位、圖片單位、或者將圖片分割之方塊單位等，分別分配編碼處理，來進行分散處理。藉此，可減少延遲，並實現更佳的實時性。

又，由於複數個影像資料為幾乎相同的場景，因此也可在伺服器進行管理及/或指示，將在各終端機所拍攝的影像資料相互參考。或者，也可使伺服器接收來自各終端機的編碼完畢資料，在複數個資料之間變更參考關係，或者將圖片本身進行補正或更換，來重新進行編碼。藉此，可產生將一個一個資料的品質及效率提高的串流。

又，伺服器也可先進行將影像資料的編碼方式變更的轉碼，再分發影像資料。例如，伺服器也可將MPEG系的編碼方式轉換成VP系，也可將H.264轉換成H.265。

如此，編碼處理可透過終端機或者是1個以上的伺服器來進行。藉此，在下文中，作為進行處理的主體是採用「伺服器」或者是「終端機」等的記述，但也可讓以伺服器所進行的處理的一部分或者全部在終端機來進行，也可讓以終端機所進行的處理的一部分或者全部在伺服器來進行。又，有關於該等部分，針對解碼處理也是同樣。 [3D、多視角]

近年來，將幾乎互相同步的複數個攝像機ex113及/或智慧型手機ex115等之終端機所攝影的不同場景、或者是相同場景以不同的視角拍攝的圖像或影像整合來利用的情形也變多了。以各終端機所拍攝的影像是根據另外取得的終端機間之相對的位置關係、或者影像所含的特徵點一致的區域等來整合。

伺服器不只將2維的動態圖像進行編碼，還可根據動態圖像的場景解析等，而自動或者是在使用者所指定的時刻，將靜態圖像進行編碼，再發送到接收終端機。伺服器進而在可取得攝影終端機之間的相對的位置關係時，不只是2維的動態圖像，還可根據從不同視角對相同場景拍攝的影像，來產生該場景的3維形狀。另，伺服器也可另外將透過點雲(point cloud)等所產生的3維的資料進行編碼，也可根據使用3維資料來辨識或者追蹤人物或物件的結果，從以複數個終端機拍攝的影像中選擇、或再構成，以產生要發送到接收終端機的影像。

如此進行後，使用者要任意選擇對應於各攝影終端機的各影像來觀賞場景也可，要觀賞從使用複數個圖像或者影像而再構成的3維資料剪出任意視點的影像的內容也可。進而，與影像同樣，也可從複數個不同視角收取聲音，令伺服器配合影像，與來自特定視角或空間的聲音和影像進行多工而發送。

又，近年來，Virtual Reality(VR/虛擬實境)及Augmented Reality(AR/擴增實境)等對現實世界與虛擬世界建立對應關係的內容也漸漸普及了。在VR的圖像的情況，也可使伺服器分別作出右眼用及左眼用的視點圖像，透過Multi-View Coding(MVC/多視角編碼)等，進行在各視點影像之間容許參考的編碼，也可不互相參考而作為不同串流來進行編碼。在解碼不同串流時，宜以因應使用者的視點而將虛擬的3維空間重現的方式，使其互相同步且播放。

在AR的圖像的情況，伺服器會根據3維上的位置或者使用者的視點的移動，而將虛擬空間上的虛擬物體資訊重疊在現實空間的攝像機資訊。解碼裝置也可取得或者保持虛擬物體資訊及3維資料，並因應使用者的視點的移動來產生2維圖像，而順利地接續，以此作成重疊資料。或者，解碼裝置也可除了虛擬物體資訊的請求指令外，將使用者的視點的移動也發送到伺服器，伺服器配合接收的視點的移動而從保持在伺服器的3維資料來作成重疊資料，且將重疊資料進行編碼，再分發到解碼裝置。另，也可以是：重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從3維資料所作成的物件以外的部分之α值設定為0等，且使該部分為穿透的狀態下進行編碼。或者，伺服器也可如同色鍵(Chroma key)產生資料，該資料為將預定的值之RGB值設定為背景，物件以外的部份則設定為背景色。

同樣，被進行分發的資料的解碼處理也可在客戶端的各終端機進行，或是也可在伺服器側進行，或者也可相互分擔進行。以一例來說，某終端機也可先將接收請求送到伺服器，以其他終端機接收因應該請求的內容，進行解碼處理，並將已解碼完畢的訊號發送到具有顯示器的裝置。能在不依賴可通訊的終端機本身的性能之狀態下，將處理分散而選擇適合的內容，以此可播放畫質佳的資料。又，以另一例來說，也可一邊在TV等接收大尺寸的圖像資料，一邊將圖片分割後的方塊等一部分的區域在觀眾的個人終端進行解碼而顯示。藉此，可共享整體圖像，並可在身邊確認本身的負責領域或者想更加詳細確認的區域。

又，今後不管是室內或室外，在可使用近距離、中距離、或者長距離之數種無線通訊的狀況下，利用MPEG-DASH等之分發系統規格，一邊對於連線中的通訊切換適合的資料，一邊無縫地接收內容，這是可預想得到的。藉此，使用者不只是本身的終端機，也可一邊自由地選擇設在室內或室外之顯示器等之解碼裝置或者顯示裝置，一邊實時地進行切換。又，根據本身的位置資訊等，可一邊切換解碼的終端機及顯示的終端機，一邊進行解碼。藉此，使得如下方式也可變得可行，即：在往目的地的移動中，一邊讓埋設有可進行顯示的設備之旁邊的建築物的壁面或者是地面的一部分顯示地圖資訊，一邊移動。又，也可以基於網路上之對編碼資料的存取容易性，諸如有編碼資料會被可在短時間內從接收終端機存取的伺服器快取、或者是被複製到內容分發服務（Contents Delivery Service）中的邊緣伺服器等，來切換接收資料的位元率。 [可調式編碼]

有關於內容的切換，是利用顯示於圖26之可調式之串流來說明，該串流是應用在上述各實施形態所示的動態圖像編碼方法而被壓縮編碼的串流。伺服器雖然具有作為個別的串流，為內容相同但品質不同的複數個串流也無妨，但也可為靈活運用時間型/空間型可調式的串流之特徵來切換內容之構成，其中該時間型/空間型可調式的串流是如圖所示藉由分層來進行編碼而實現。即，解碼側因應例如性能的內在因素及通訊頻帶的狀態等之外在因素，來決定要解碼到哪一層，以此解碼側可自由地切換低影像解析度的內容及高影像解析度的內容，而進行解碼。例如想要把曾在移動中於智慧型手機ex115收看的影像的後續部分放到回家後以網路TV等的機器收看時，該機器只要將相同的串流進行解碼到不同層即可，因此可減輕伺服器側的負擔。

進而，如上述，在每層將圖片進行編碼，且在基本層的上位有加強層存在之實現可調性(scalability)之構成以外，也可為加強層含有基於圖像的統計資訊等之詮釋資訊，解碼側根據詮釋資訊，將基本層的圖片進行超影像解析，以此產生已高畫質化的內容。所謂超影像解析也可是同一解析度下的SN比的提昇、以及解析度的擴大之任一者。詮釋資訊是包括用以特定超影像解析處理所使用的線性或者是非線性的濾波係數的資訊、或者、用以特定超影像解析處理所使用的濾波處理、機械學習或者是最小平方運算中的參數值的資訊等。

或者，也可為如下構成，即：因應圖像內的物件(object)等的意涵，將圖片分割成方塊等，解碼側選擇要解碼的方塊，以此只將一部分的區域進行解碼。又，把物件的屬性(人物、車、球等)與影像內的位置(同一圖像中的座標位置等)，當做為詮釋資訊來儲存，以此，解碼側可根據詮釋資訊來特定所希望的物件的位置，並決定包含該物件的方塊。例如，如圖27所示，詮釋資訊是使用HEVC中的SEI訊息等與像素資料不同之資料儲存構造來儲存。該詮釋資訊是例如顯示主物件的位置、尺寸、或者色彩等。

又，也可以串流、序列或者隨機存取單位等由複數個圖片所構成的單位來儲存詮釋資訊。藉此，解碼側可取得特定人物出現在影像內的時刻等，配合圖片單位的資訊，以此便可特定物件存在的圖片、及在圖片內之物件的位置。 [網頁的最適化]

圖28是顯示電腦ex111等之中網頁(web page)的顯示畫面例之圖。圖29是顯示智慧型手機ex115等之網頁的顯示畫面例之圖。如圖28及圖29所示，網頁有包括複數個鏈接圖像的情況，其中該等鏈接圖像為朝圖像內容的鏈接，該等鏈接圖像的看到方式會依據閱覽的設備而有所不同。在於畫面上看得到複數個鏈接圖像時，迄至使用者明白表示選擇鏈接圖像為止，或者是迄至鏈接圖像靠近畫面的中央附近或者鏈接圖像整體進入畫面內為止，顯示裝置(解碼裝置)是顯示各內容所具有的靜態圖像或I圖片來作為鏈接圖像，或以複數個靜態圖像或I圖片等顯示像gif動畫般的影像，或只有接收基本層而將影像進行解碼及顯示。

在由使用者選擇了鏈接圖像時，顯示裝置會將基本層視為最優先，來進行解碼。另，若在構成網頁的HTML中，有顯示可調式的內容的資訊時，顯示裝置也可進行解碼迄至加強層為止。又，為了保證實時性，在被選擇之前或者通訊頻帶極窄時，顯示裝置只對參考前方的圖片(I圖片、P圖片、僅只參考前方的B圖片)進行解碼及顯示，以此可減少前頭圖片的解碼時刻與顯示時刻間的延遲(從內容的解碼開始迄至顯示開始之延遲)。又，顯示裝置也可硬是忽視圖片的參考關係，而使全部的B圖片及P圖片為參考前方，先粗略地進行解碼，然後經過一段時間，隨著所接收的圖片的增加，再進行正常的解碼。 [自動行駛]

又，為了汽車的自動行駛或者支援行駛，而發送及接收2維或者3維的地圖資訊等之靜態圖像或者是影像資料時，接收終端機除了屬於1層以上的層級之圖像資料以外，也可接收天氣或者施工的資訊等來作為詮釋資訊，並對該等資訊建立對應關係而進行解碼。另，詮釋資訊也可屬於層，也可只單純地與圖像資料進行多工。

此時，由於含有接收終端機的汽車、空拍機或者飛機等會移動，因此接收終端機會在請求接收時，發送該接收終端機的位置資訊，以此可一邊切換基地台ex106至ex110，一邊實現無縫的接收及解碼。又，接收終端機可因應使用者的選擇、使用者的狀況或者通訊頻帶的狀態，而動態地切換將詮釋資訊接收到哪一程度，或者將地圖資訊更新到何種程度。

如上進行，在內容供給系統ex100中，可讓客戶端實時接收使用者所發送的已編碼的資訊並將其解碼，且進行播放。 [個人內容的分發]

又，在內容供給系統ex100中，不只以透過影像分發業者所進行的高畫質進行長時間的內容，還能以透過個人所進行的低畫質進行短時間的內容的單點傳播(unicast)、或者多點傳播(multicast)進行分發。又，像這樣的個人的內容，認為今後也會增加。為了將個人內容做成更優異的內容，伺服器也可進行編輯處理，之後再進行編碼處理。這是例如可以如下構成來實現。

在攝影時實時或者先儲存後於攝影後，伺服器從原圖或者編碼完畢資料，進行攝影錯誤、場景搜尋、意義的解析、及物件檢測等之辨識處理。接著，伺服器根據辨識結果，而以手動或者自動地進行補正失焦或手震等、或者是刪除亮度比其他圖片低或未對焦的場景等重要性低的場景、或者是強調物件的邊緣、或者是變化色調等之編輯。伺服器根據編輯結果，而將編輯後的資料進行編碼。又，已知道攝影時間太長時，收視率會下降，伺服器也可根據圖像處理結果，不只是對如上述般重要性低的場景，亦對動作少的場景等自動地進行剪輯，以因應撮影時間而成為特定的時間範圍內的內容。或者，伺服器也可根據場景的意義解析的結果，來產生摘要(digest)，且進行編碼。

另，在個人內容中，若保持原狀，也有成為著作權、著作人格權、或者肖像權等侵害的東西被拍進去的事例，也有共享的範圍超過所意圖的範圍等，對個人來說是不宜的情況。因此，例如，伺服器也可刻意地將畫面的周邊部的人臉或者是家裡等，變更成不對焦的圖像，來進行編碼。又，伺服器也可辨識在編碼對象圖像內是否有拍到與事先登錄的人物不同之人物的臉，若有拍到時，對臉的部分進行加上馬賽克等之處理。或者，在編碼的前處理或者後處理上，從著作權等的觀點來看，使用者對圖像指定想要加工的人物或者背景區域，伺服器將所指定的區域替換成別的影像，或者進行模糊焦點等的處理，也可。若是人物時，在動態圖像中，可一邊追蹤人物，一邊將臉的部分影像替換。

又，由於資料量小的個人內容的收看在實時性的要求高，因此雖然依頻帶寬度有所差異，但解碼裝置首先是以基本層最優先地接收，並進行解碼及播放。解碼裝置也可在這期間接收加強層，在有循環播放的情況等有播放2次以上的時候，連同加強層在內將高畫質的影像播放。若是已如此地進行有可調地編碼之串流的話，就能提供體驗：雖然在未選擇時或者剛開始看的階段，是粗糙的動畫，但會漸漸地串流變精緻了，圖像變好。除了可調式編碼以外，以在第1次播放的粗糙的串流、及參考第1次動畫來編碼的第2次的串流，當做為1個串流來構成，也可提供同樣的體驗。 [其他使用例]

又，該等編碼或者解碼處理，一般來說是在各終端機所具有的LSIex500中來處理。LSIex500可以是單晶片，也可以是由複數個晶片所構成。另，也可將動態圖像編碼或者解碼用的軟體裝入能以電腦ex111等讀取的某些記錄媒體(CD-ROM、軟碟、或者硬碟等)，並使用該軟體來進行編碼或者解碼處理。進而，智慧型手機ex115是附有攝像機時，也可發送以該攝像機取得的動畫資料。此時的動畫資料是已經透過智慧型手機ex115所具有的LSIex500進行編碼處理的資料。

另，LSIex500也可為下載應用軟體程式來啟動之構成。此時，首先，終端機要判定該終端機是否支援內容的編碼方式，或者是否具有特定服務的執行能力。在終端機未支援內容的編碼方式時，或者不具有特定服務的執行能力時，終端機要下載編解碼器或者應用軟體程式，之後進行內容的取得及播放。

又，不限於經由網際網路ex101的內容供給系統ex100，在數位式廣播用系統也可裝入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或者動態圖像解碼裝置(圖像解碼裝置)之任一者。由於是利用衛星等而在廣播用的電波乘載已將影像與聲音進行多工處理的多工資料，來進行傳送接收，所以相對於內容供給系統ex100的易於進行單點傳播的構成，數位式廣播用系統雖有利於多點播送的差異，但有關於編碼處理及解碼處理，仍可做同樣的應用。 [硬體構成]

圖30是顯示智慧型手機ex115的圖。又，圖31是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115包含有：天線ex450，是用以於與基地台ex110之間收發電波；攝像機部ex465，是可拍攝影像及靜態圖像；以及顯示部ex458，是顯示已將以攝像機部ex465所拍攝的影像、及以天線ex450所接收的影像等進行解碼之資料。智慧型手機ex115更包含有：操作部ex466，為觸控面板等；聲音輸出部ex457，為用以輸出聲音或者音響的揚聲器等；聲音輸入部ex456，為用以輸入聲音之麥克風等；記憶部ex467，可保存將所拍攝的影像或者靜態圖像、已錄取的聲音、已接收的影像或者靜態圖像、郵件等的已編碼的資料、或者已解碼的資料；及插槽部ex464，為與SIMex468之間的介面部，其中SIMex468為用以特定使用者，並以網路為首，實行對各種資料存取的認證。另，也可使用外接式記憶體代替記憶部ex467。

又，將顯示部ex458及操作部ex466等統合性地控制的主控制部ex460，與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝像機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、以及記憶部ex467是經由匯流排ex470來連接。

電源電路部ex461是藉由使用者的操作使電源開關成為開啟狀態時，從電池組對各部供應電力，藉此使智慧型手機ex115啟動成可動作的狀態。

智慧型手機ex115是基於具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等的處理。在通話時是將以聲音輸入部ex456所收音的聲音訊號在聲音訊號處理部ex454轉換成數位式聲音訊號，將該訊號在調變/解調部ex452進行頻譜擴散處理，在發送/接收部ex451實施數位類比轉換處理以及頻率轉換處理，之後再經由天線ex450進行發送。又，將接收資料放大，並實施頻率轉換處理以及類比數位轉換處理，在調變/解調部ex452進行頻譜反擴散處理，在聲音訊號處理部ex454轉換成類比聲音訊號，之後再將該訊號從聲音輸出部ex457進行輸出。在資料通訊模式時，透過本體部的操作部ex466等的操作，將正文、靜態圖像、或者影像資料經由操作輸入控制部ex462而送出至主控制部ex460，並同樣地被進行收發處理。在資料通訊模式時，於發送影像、靜態圖像、或者影像及聲音的情況，影像訊號處理部ex455是將記憶部ex467所保存的影像訊號、或者從攝像機部ex465所輸入的影像訊號透過上述各實施形態所示的動態圖像編碼方法進行壓縮編碼，且將業經編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454是將在以攝像機部ex465將影像或者靜態圖像等攝影中於聲音輸入部ex456所收音的聲音訊號進行編碼，且將業經編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453是將業經編碼完畢的影像資料及業經編碼完畢的聲音資料以預定的方式進行多工，且於調變/解調部(調變/解調電路部)ex452、及發送/接收部ex451實施調變處理及轉換處理，並經由天線ex450來發送。

在接收到電子郵件或者對話(chat)所附的影像、或者連結到網頁等的影像時，為了將經由天線ex450所接收到的多工資料進行解碼，多工/分離部ex453將多工資料進行分離，藉此把多工資料分成影像資料的位元串流及聲音資料的位元串流，經由同步匯流排ex470，而將業經編碼的影像資料供給至影像訊號處理部ex455，並將業經編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455透過對應於上述各實施形態所示的動態圖像編碼方法之動態圖像解碼方法，而將影像訊號進行解碼，且透過顯示器控制部ex459，而從顯示部ex458，顯示被連結的動態圖像檔所含之影像或者靜態圖像。又，聲音訊號處理部ex454是將聲音訊號進行解碼，且從聲音輸出部ex457輸出聲音。另，由於實時串流傳輸(real-time streaming)已經普及了，依使用者的狀況，聲音的播放也可能會有對社會上不合適的場面發生。為此，作為初始值，聲音訊號不要播放，而只將影像資料播放的構成是較被希望的。也可以是只有在使用者進行了操作，如點選影像資料等的時候，將聲音同步地播放。

又，在此，是以智慧型手機ex115為例進行了說明，以終端機而言，也可考慮3種安裝形式，即，除了具有編碼器及解碼器兩者的訊號收發型終端機之外，只具有編碼器的發訊終端機、及只具有解碼器的收訊終端機。進而，在數位廣播用系統中，是以接收或者發送在影像資料上已有聲音資料等進行多工處理之多工資料的情形來說明，但多工資料上除了聲音資料以外，也可有與影像有關聯的文字資料等進行多工處理，也可接收或者發送影像資料本身，而不是多工資料。

另，以含有CPU的主控制部ex460控制編碼處理或者解碼處理的情形來說明，但終端機具備GPU的情況也居多。因此，如後述構成也可，即，透過在CPU與GPU共通化的記憶體、或者有將位址加以管理以形成可以共通使用之狀態的記憶體，來靈活運用GPU的性能，並將廣大區域匯整來一起處理者。藉此，可縮短編碼時間，確保實時性，可實現低延遲。尤其，不是利用CPU，而是透過GPU，以圖片等的單位匯整來一起進行移動估測、解區塊濾波器、SAO(Sample Adaptive Offset)、及轉換、量化的處理時，是有效率的。 (產業利用性)

本揭示是可利用在諸如電視接收機、數位視頻錄影機、車用導航、行動電話機、數位照相機、數位視頻攝影機、視訊會議系統、或者電子鏡等。

100‧‧‧編碼裝置

102‧‧‧分割部

104‧‧‧減法部

106‧‧‧轉換部

108‧‧‧量化部

110‧‧‧熵編碼部

112、204‧‧‧反量化部

114、206‧‧‧反轉換部

116、208‧‧‧加法部

118、210‧‧‧區塊記憶體

120、212‧‧‧迴路濾波部

122、214‧‧‧訊框記憶體

124、216‧‧‧內預測部

126、218‧‧‧間預測部

128、220‧‧‧預測控制部

160、260‧‧‧電路

162、262‧‧‧記憶體

200‧‧‧解碼裝置

202‧‧‧熵解碼部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧通訊網

ex106至ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧遊戲機

ex113‧‧‧攝像機

ex114‧‧‧家電

ex115‧‧‧智慧型手機

ex116‧‧‧衛星

ex117‧‧‧飛機

ex450‧‧‧天線

ex451‧‧‧發送/接收部

ex452‧‧‧調變/解調部

ex453‧‧‧多工/分離部

ex454‧‧‧聲音訊號處理部

ex455‧‧‧影像訊號處理部

ex456‧‧‧聲音輸入部

ex457‧‧‧聲音輸出部

ex458‧‧‧顯示部

ex459‧‧‧顯示器控制部

ex460‧‧‧主控制部

ex461‧‧‧電源電路部

ex462‧‧‧操作輸入控制部

ex463‧‧‧攝像機介面部

ex464‧‧‧插槽部

ex465‧‧‧攝像機部

ex466‧‧‧操作部

ex467‧‧‧記憶部

ex468‧‧‧SIM

ex470‧‧‧匯流排

圖1是顯示實施形態1之編碼裝置之功能構成的方塊圖。

圖2是顯示實施形態1中之區塊分割之一例之圖。

圖3是顯示對應於各轉換型式之轉換基底函數之表格。

圖4A是顯示ALF所使用之濾波器之形狀一例之圖。

圖4B是顯示ALF所使用之濾波器的形狀另一例之圖。

圖4C是顯示ALF所使用之濾波器的形狀另一例之圖。

圖5A是顯示內預測中之67個內預測模式之圖。

圖5B是用以說明藉OBMC處理之預測圖像補正處理之概要的流程圖。

圖5C是用以說明藉OBMC處理之預測圖像補正處理之概要的概念圖。

圖5D是顯示FRUC一例之圖。

圖6是用以說明在沿著移動軌跡的2個區塊間的圖案匹配(雙向匹配)之圖。

圖7是用以說明當前圖片內的模板與參考圖片內的區塊之間的圖案匹配(模板匹配)之圖。

圖8是用以說明假設等速直線運動之模型的圖。

圖9A是用以說明導出基於複數個鄰接區塊的移動向量之子區塊單位的移動向量的圖。

圖9B是用以說明合併模式之移動向量導出處理之概要之圖。

圖9C是用以說明DMVR處理之概要之概念圖。

圖9D是用以說明預測圖像產生方法之概要之圖，前述預測圖像產生方法使用了LIC處理的亮度補正處理。

圖10是顯示實施形態1之解碼裝置的功能構成的方塊圖。

圖11是顯示第1管線構造例的概略圖。

圖12是顯示管線處理之說明中所使用的區塊分割例的示意圖。

圖13是顯示第1管線構造例中的處理時序一例的時間圖。

圖14是顯示第2管線構造例的概略圖。

圖15是顯示第2管線構造例中的處理時序一例的時間圖。

圖16是顯示第2管線構造例中的處理時序另一例的時間圖。

圖17是顯示以模板FRUC方式導出處理對象編碼單元的移動向量的方法之流程圖。

圖18是顯示以模板FRUC方式導出處理對象編碼單元的移動向量的方法之概念圖。

圖19A是顯示關於將相對於編碼樹單元為上側的處理完畢周邊編碼單元判定為可參考之處理之第1例的示意圖。

圖19B是顯示關於將相對於編碼樹單元為上側的處理完畢周邊編碼單元判定為可參考之處理之第2例的示意圖。

圖20A是顯示關於將左側的編碼單元及上側的編碼單元之中處理順序上位於後面的編碼單元判定為不可參考之處理之第1例的示意圖。

圖20B是顯示關於將左側的編碼單元及上側的編碼單元之中處理順序上位於後面的編碼單元判定為不可參考之處理之第2例的示意圖。

圖21A是顯示關於將包括處理對象編碼單元的前N個之後的編碼單元之左側或者上側之1個以上的編碼單元判定為不可參考之處理之第1例的示意圖。

圖21B是顯示關於將包括處理對象編碼單元的前N個之後的編碼單元之左側或者上側之1個以上的編碼單元判定為不可參考之處理之第2例的示意圖。

圖21C是顯示關於將包括處理對象編碼單元的前N個之後的編碼單元之左側或者上側之1個以上的編碼單元判定為不可參考之處理之第3例的示意圖。

圖21D是顯示關於將包括處理對象編碼單元的前N個之後的編碼單元之左側或者上側之1個以上的編碼單元判定為不可參考之處理之第4例的示意圖。

圖22A是顯示關於將處理對象編碼單元的前N個之後的編碼單元判定為不可參考之處理之第1例的示意圖。

圖22B是顯示關於將處理對象編碼單元的前N個之後的編碼單元判定為不可參考之處理之第2例的示意圖。

圖22C是顯示關於將處理對象編碼單元的前N個之後的編碼單元被判定為不可參考之處理之第3例的示意圖。

圖22D是顯示關於將處理對象編碼單元的前N個之後的編碼單元判定為不可參考之處理之第4例的示意圖。

圖23是顯示實施形態1的編碼裝置的安裝例的方塊圖。

圖24是顯示實施形態1的解碼裝置的安裝例的方塊圖。

圖25是實現內容分發服務之內容供給系統的整體構成圖。

圖26是顯示可調式編碼時之編碼構造一例之圖。

圖27是顯示可調式編碼時之編碼構成一例之圖。

圖28是顯示網頁的顯示畫面例之圖。

圖29是顯示網頁的顯示畫面例之圖。

圖30是顯示智慧型手機一例之圖。

圖31是顯示智慧型手機的構成例之方塊圖。

Claims

一種編碼裝置，是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像編碼，其中前述模板FRUC方式是藉模板來導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述編碼裝置包含有：記憶體；及可對前述記憶體進行存取之電路，可對前述記憶體進行存取之前述電路進行如下處理：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及在前述1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生前述模板。
如請求項1之編碼裝置，其中前述圖像是以互為相同尺寸的複數個編碼樹單元所構成，前述複數個編碼樹單元每一個含有前述複數個區塊之中的至少1個，前述電路進行如下處理：在前述1個以上的處理完畢周邊區塊之中，相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考，其中前述1個以上的外側區塊是在前述複數個區塊之中，位於含有前述處理對象區塊之編碼樹單元的外側，且前述處理順序上比起前述處理對象區塊為往前前述編碼樹單元1個份以上。
如請求項2之編碼裝置，其中前述電路是將左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述左側之1個以上的處理完畢周邊區塊是前述1個以上的處理完畢周邊區塊之中，相對於前述處理對象區塊為左側的區塊，在前述上側之1個以上的處理完畢周邊區塊不包含在前述1個以上的外側區塊時，將前述上側的1個以上的處理完畢周邊區塊判定為不可參考。
如請求項1之編碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路是將一側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述一側之1個以上的處理完畢周邊區塊是前述左側之1個以上的處理完畢周邊區塊、與前述上側之1個以上的處理完畢周邊區塊之中，前述處理順序上為後面的處理完畢周邊區塊。
如請求項2之編碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述上側之1個以上的處理完畢周邊區塊包含在前述1個以上的外側區塊時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，且將前述上側之1個以上的處理完畢周邊區塊判定為可參考，在前述上側之1個以上的處理完畢周邊區塊不包含在前述1個以上的外側區塊時，將一側的1個以上的處理完畢周邊區塊判定為不可參考，且將另一側的1個以上的處理完畢周邊區塊判定為可參考，其中前述一側的1個以上的處理完畢周邊區塊是前述左側之1個以上的處理完畢周邊區塊、與前述上側之1個以上的處理完畢周邊區塊之中，前述處理順序上為後面之處理完畢周邊區塊。
如請求項1之編碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述左側之1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊之至少任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述上側之1個以上的處理完畢周邊區塊含有前述N個時間性鄰近區塊之至少任一個時，將前述上側之1個以上的處理完畢周邊區塊判定為不可參考。
如請求項2之編碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述左側之1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊之至少任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述左側之1個以上的處理完畢周邊區塊不含前述N個時間性鄰近區塊之任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為可參考，在前述上側之1個以上的處理完畢周邊區塊含有前述N個時間性鄰近區塊之至少任一個，且，不包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為不可參考，在前述上側之1個以上的處理完畢周邊區塊不含前述N個時間性鄰近區塊之任一個，或者，包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考。
如請求項1之編碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：針對前述左側之1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，針對前述上側之1個以上的處理完畢周邊區塊每一個，在前述N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。
如請求項2之編碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：針對前述左側之1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考，針對前述上側之1個以上的處理完畢周邊區塊每一個，在前述N個時間性鄰近區塊含有該處理完畢周邊區塊，且，前述1個以上的外側區塊不含前述處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊，或者，前述1個以上的外側區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。
如請求項6至9中任一項之編碼裝置，其中前述N為1。
如請求項6至9中任一項之編碼裝置，其中前述N為2。
如請求項6至9中任一項之編碼裝置，其中前述電路是進行如下處理：藉由將FRUC處理階段及再構成階段作為相異的2個階段來包含之管線構造，而將前述圖像編碼，其中前述FRUC處理階段是產生前述模板的階段，前述再構成階段是產生再構成圖像的階段，從前述處理對象區塊的前述FRUC處理階段的處理結束之後迄至前述處理對象區塊的M個(M為自然數)階段的處理結束，將輸入延遲，其中前述輸入是將前述處理對象區塊的再構成圖像輸入到前述處理順序上比起前述處理對象區塊為更後面的其他區塊的前述FRUC處理階段之處理。
如請求項12之編碼裝置，其中前述M等於前述N。
如請求項12之編碼裝置，其中前述M小於前述N。
如請求項12之編碼裝置，其中前述M是包括前述FRUC處理階段及前述再構成階段之複數個階段之數，且為藉由從前述FRUC處理階段迄至前述再構成階段之複數個階段之數減去1而所得到之數。
如請求項1至9中任一項之編碼裝置，其中前述電路是在以下的區域將有關於前述可否參考的判定之參數編碼： (i)序列標頭區域，儲存對前述圖像的串流共通的參數；(ii)圖片標頭區域，儲存對前述圖像的圖片共通的參數；(iii)切片標頭區域，儲存對前述圖像的切片共通的參數；或者(iv)輔助區域，儲存與前述序列標頭區域、前述圖片標頭區域及前述切片標頭區域所儲存的各參數不同的參數。
如請求項1至9中任一項之編碼裝置，其中前述電路是依照含有前述處理對象區塊之處理對象圖片的尺寸，決定有關於前述可否參考的判定之參數。
如請求項1至9中任一項之編碼裝置，其中前述電路是取得顯示解碼裝置的處理能力之資訊，依照前述解碼裝置的處理能力，決定有關於前述可否參考的判定之參數。
如請求項1至9中任一項之編碼裝置，其中前述電路是依照顯示對於前述圖像的串流所訂定的技術要件之設定檔、或者顯示對於前述圖像的串流所訂定的參數要件之等級，決定有關於前述可否參考的判定之參數。
一種解碼裝置，是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像解碼，其中前述模板FRUC方式是藉模板來導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述解碼裝置包含有：記憶體；及可對前述記憶體進行存取之電路，可對前述記憶體進行存取之前述電路進行如下處理：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及在前述1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生前述模板。
如請求項20之解碼裝置，其中前述圖像是以互為相同尺寸的複數個編碼樹單元所構成，前述複數個編碼樹單元每一個含有前述複數個區塊之中的至少1個，前述電路進行如下處理：在前述1個以上的處理完畢周邊區塊之中，相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊包含在1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考，其中前述1個以上的外側區塊是指在前述複數個區塊之中，位於含有前述處理對象區塊之編碼樹單元的外側，且前述處理順序上比起前述處理對象區塊為往前前述編碼樹單元1個份以上。
如請求項21之解碼裝置，其中前述電路是將左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述左側之1個以上的處理完畢周邊區塊是前述1個以上的處理完畢周邊區塊之中，相對於前述處理對象區塊為左側的區塊，在前述上側之1個以上的處理完畢周邊區塊不包含在前述1個以上的外側區塊時，將前述上側的1個以上的處理完畢周邊區塊判定為不可參考。
如請求項20之解碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路是將一側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述一側之處理完畢周邊區塊是前述左側之1個以上的處理完畢周邊區塊、與前述上側之1個以上的處理完畢周邊區塊之中，前述處理順序上為後面之處理完畢周邊區塊。
如請求項21之解碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述上側之1個以上的處理完畢周邊區塊包含在前述1個以上的外側區塊時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，且將前述上側之1個以上的處理完畢周邊區塊判定為可參考，在前述上側之1個以上的處理完畢周邊區塊不包含在前述1個以上的外側區塊時，將一側的1個以上的處理完畢周邊區塊判定為不可參考，且將另一側的1個以上的處理完畢周邊區塊判定為可參考，其中前述一側的1個以上的處理完畢周邊區塊是前述左側之1個以上的處理完畢周邊區塊、與前述上側之1個以上的處理完畢周邊區塊之中，前述處理順序上為後面之處理完畢周邊區塊。
如請求項20之解碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述左側之1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊之至少任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述上側之1個以上的處理完畢周邊區塊含有前述N個時間性鄰近區塊之至少任一個時，將前述上側之1個以上的處理完畢周邊區塊判定為不可參考。
如請求項21之解碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：在前述左側之1個以上的處理完畢周邊區塊含有N個時間性鄰近區塊之至少任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述左側之1個以上的處理完畢周邊區塊不含前述N個時間性鄰近區塊之任一個時，將前述左側之1個以上的處理完畢周邊區塊判定為可參考，在前述上側之1個以上的處理完畢周邊區塊含有前述N個時間性鄰近區塊之至少任一個，且，不包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為不可參考，在前述上側之1個以上的處理完畢周邊區塊不含前述N個時間性鄰近區塊之任一個，或者，包含在前述1個以上的外側區塊時，將前述上側之1個以上的處理完畢周邊區塊判定為可參考。
如請求項20之解碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：針對前述左側之1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，針對前述上側之1個以上的處理完畢周邊區塊每一個，在前述N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考。
如請求項21之解碼裝置，其中前述1個以上的處理完畢周邊區塊每一個是相對於前述處理對象區塊為左側之1個以上的處理完畢周邊區塊之中的1個，或者是相對於前述處理對象區塊為上側之1個以上的處理完畢周邊區塊之中的1個，前述電路進行以下處理：針對前述左側之1個以上的處理完畢周邊區塊每一個，在N個時間性鄰近區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，其中前述N個時間性鄰近區塊是前述複數個區塊之中業經處理的N個(N為自然數)區塊，且前述處理順序上前述處理對象區塊的前N個之後的N個區塊，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考，針對前述上側之1個以上的處理完畢周邊區塊每一個，在前述N個時間性鄰近區塊含有該處理完畢周邊區塊，且，前述1個以上的外側區塊不含前述處理完畢周邊區塊時，將該處理完畢周邊區塊判定為不可參考，在前述N個時間性鄰近區塊不含該處理完畢周邊區塊，或者，前述1個以上的外側區塊含有該處理完畢周邊區塊時，將該處理完畢周邊區塊判定為可參考。
如請求項25至28中任一項之解碼裝置，其中前述N為1。
如請求項25至28中任一項之解碼裝置，其中前述N為2。
如請求項25至28中任一項之解碼裝置，其中前述電路是進行如下處理：藉由將FRUC處理階段及再構成階段作為相異的2個階段來包含之管線構造，而將前述圖像編碼，其中前述FRUC處理階段是產生前述模板的階段，前述再構成階段是產生再構成圖像的階段，並於從前述處理對象區塊的前述FRUC處理階段的處理結束之後迄至前述處理對象區塊的M個(M為自然數)階段的處理結束，將輸入延遲，其中前述輸入是指將前述處理對象區塊的再構成圖像輸入到前述處理順序上比起前述處理對象區塊為更後面的其他區塊的前述FRUC處理階段之處理。
如請求項31之解碼裝置，其中前述M等於前述N。
如請求項31之解碼裝置，其中前述M小於前述N。
如請求項31之解碼裝置，其中前述M是包括前述FRUC處理階段及前述再構成階段之複數個階段之數，且為藉由從前述FRUC處理階段迄至前述再構成階段之複數個階段之數減去1而所得到之數。
如請求項20至28中任一項之解碼裝置，其中前述電路是在以下的區域將有關於前述可否參考的判定之參數編碼： (i)序列標頭區域，儲存對前述圖像的串流共通的參數；(ii)圖片標頭區域，儲存對前述圖像的圖片共通的參數；(iii)切片標頭區域，儲存對前述圖像的切片共通的參數；或者(iv)輔助區域，儲存與前述序列標頭區域、前述圖片標頭區域及前述切片標頭區域所儲存的各參數不同的參數。
如請求項20至28中任一項之解碼裝置，其中前述電路是依照含有前述處理對象區塊之處理對象圖片的尺寸，決定有關於前述可否參考的判定之參數。
如請求項20至28中任一項之解碼裝置，其中前述電路是取得顯示解碼裝置的處理能力之資訊，依照前述解碼裝置的處理能力，決定有關於前述可否參考的判定之參數。
如請求項20至28中任一項之解碼裝置，其中前述電路是依照顯示對於前述圖像的串流所訂定的技術要件之設定檔、或者顯示對於前述圖像的串流所訂定的參數要件之等級，決定有關於前述可否參考的判定之參數。
一種編碼方法，是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像編碼，其中前述模板FRUC方式是藉模板來導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述編碼方法包含有以下步驟：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及在前述1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生前述模板。
一種解碼方法，是將模板FRUC(Frame Rate Up-Conversion)方式使用在複數個區塊之中之1個以上，且按處理順序處理前述複數個區塊，將前述圖像解碼，其中前述模板FRUC方式是藉模板來導出圖像的前述複數個區塊之中的處理對象區塊的移動向量之方式，前述模板是以前述處理對象區塊的周邊中的圖像區域所構成，前述解碼方法包含有以下步驟：根據前述處理順序，判定1個以上的處理完畢周邊區塊每一個的可否參考，其中前述1個以上的處理完畢周邊區塊為前述複數個區塊之中業經處理之1個以上的區塊，且為前述處理對象區塊的周邊中之1個以上的區塊；及在1個以上的處理完畢周邊區塊之中已被判定為可參考之1個以上的可參考區塊所包含的區域產生前述模板。