TW202106002A - 編碼裝置、解碼裝置、編碼方法、及解碼方法 - Google Patents

Abstract

編碼裝置具備：電路；及記憶體，連接於電路，電路在動作中，導出針對複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數，導出針對複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數，導出針對複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數，導出針對複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數，導出針對複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數，使用第1參數、第2參數、第3參數、第4參數及第5參數，來產生使用於當前區塊的編碼的預測圖像。

Description

編碼裝置、解碼裝置、編碼方法、及解碼方法

本揭示是有關於一種視訊編碼，例如是有關於一種動態圖像的編碼及解碼中的系統、構成要素以及方法等。

視訊編碼技術從H.261及MPEG-1進步到H.264/AVC(Advanced Video Coding/高階視訊編碼)、MPEG-LA、H.265/HEVC(High Efficiency Video Coding/高效率視訊編碼)、及H.266/VVC(Versatile Video Codec/多功能視訊編碼)。伴隨此進步，為了處理在各式各樣的用途中持續增加的數位視訊資料量，經常需要提供視訊編碼技術的改良及最佳化。

另，非專利文獻1是有關於與上述的視訊編碼技術相關的習知規格的一例。

[先行技術文獻] [非專利文獻] [非專利文獻1] H.265(ISO/IEC 23008-2 HEVC)/HEVC(High Efficiency Video Coding)

[發明概要] [發明欲解決之課題] 關於如上述的編碼方式，為了編碼效率的改善；畫質的改善；處理量的刪減；電路規模的刪減；或者，濾波器、區塊、尺寸、移動向量、參考圖片或是參考區塊等之要素或是動作的適當的選擇等，期望有新方式的提案。

本揭示是提供一種例如可對編碼效率的改善；畫質的改善；處理量的刪減；電路規模的刪減；處理速度的改善；及要素或是動作的適當的選擇等之中一項以上有所貢獻的構成或方法。另，本揭示可包含能對上述以外的益處有所貢獻的構成或方法。 [用以解決課題之手段]

例如，本揭示的一態樣之編碼裝置具備：電路；及記憶體，連接於前述電路；前述電路在動作中，針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的編碼的預測圖像。

本揭示中之實施形態的幾種安裝，既可改善編碼效率，亦可簡化編碼/解碼處理，亦可讓編碼/解碼處理速度加快，亦可有效率地選擇諸如適當的濾波器、區塊尺寸、移動向量、參考圖片、參考區塊等之於編碼及解碼中使用的適當的構成要素/動作。

本揭示的一態樣之更進一步的優點及效果，從說明書及圖式可明顯知曉。該等優點及/或效果可分別藉由多個實施形態以及說明書及圖式所記載的特徵來獲得，但不必為了獲得1個或1個以上的優點及/或效果而非得要全部提供。

另，該等全面的或具體的態樣亦可利用系統、方法、積體電路、電腦程式、記錄媒體、或者是這些的任意組合來實現。

[發明效果] 本揭示的一態樣之構成或方法，例如可對編碼效率的改善；畫質的改善；處理量的刪減；電路規模的刪減；處理速度的改善；及要素或是動作的適當的選擇等之中一項以上有所貢獻。另，本揭示的一態樣之構成或方法亦可對上述以外的益處有所貢獻。

[用以實施發明之形態] 近年來檢討了使用雙向光流(bi-directional optical flow)來將動態圖像編碼的情形。雙向光流又被稱為BIO或是BDOF。

例如，在雙向光流中，根據光流等式來產生預測圖像。更具體來說，在雙向光流中，使用根據區塊單位的參考圖像的像素值及區塊單位的參考圖像的梯度值所導出的參數，來產生已藉像素單位調整預測值的預測圖像。藉由使用雙向光流，產生高精度的預測圖像的可能性高。

例如，編碼裝置將預測圖像與原圖像的差分圖像編碼。接著，解碼裝置將差分圖像解碼，且將差分圖像與預測圖像相加，藉此來產生重構圖像。藉由使用高精度的預測圖像，能刪減差分圖像的編碼量。也就是說，藉由使用雙向光流，刪減動態圖像的編碼量的可能性高。

另一方面，雙向光流中所使用的參數是根據參考圖像的各像素位置的像素值及梯度值來導出。因此，在使用於雙向光流的參數的導出之中，有因為在每個像素位置進行的運算而增大運算量的可能性，有讓電路規模變大的可能性。

因此，例如，本揭示的一態樣之編碼裝置具備：電路；及記憶體，連接於前述電路；前述電路在動作中，針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的編碼的預測圖像。

藉此，有刪減在每個像素位置進行的運算之中運算量大的實質的乘法的可能性，且有以低運算量來導出用於產生預測圖像的複數個參數的可能性。因此，有刪減編碼的處理量的可能性。又，有如下的可能性，即，根據包括與水平梯度值相關的參數、與垂直梯度值相關的參數、以及與水平梯度值及垂直梯度值兩者相關的參數之複數個參數，來適當地產生預測圖像。

例如，前述電路藉由後述的式(11.1)來導出前述第1參數，藉由後述的式(11.2)來導出前述第2參數，藉由後述的式(11.3)來導出前述第3參數，藉由後述的式(11.4)來導出前述第4參數，藉由後述的式(11.5)來導出前述第5參數，Ω表示前述複數個相對像素位置的集合，[i,j]表示前述複數個相對像素位置的每一個，針對前述複數個相對像素位置的每一個，I_x ⁰ 表示前述第1範圍中的該相對像素位置的水平梯度值，I_x ¹ 表示前述第2範圍中的該相對像素位置的水平梯度值，I_y ⁰ 表示前述第1範圍中的該相對像素位置的垂直梯度值，I_y ¹ 表示前述第2範圍中的該相對像素位置的垂直梯度值，I⁰ 表示前述第1範圍中的該相對像素位置的像素值，I¹ 表示前述第2範圍中的該相對像素位置的像素值，abs(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的絕對值，sign(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的正負符號，abs(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的絕對值，sign(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的正負符號。

藉此，有使用像素值、水平梯度值及垂直梯度值且以低運算量來導出複數個參數的可能性。

又，例如，前述電路將前述第3參數除以前述第1參數，藉此來導出第6參數，從前述第4參數減去前述第5參數與前述第6參數的乘積，並除以前述第2參數，藉此來導出第7參數，使用前述第6參數及前述第7參數來產生前述預測圖像。

藉此，有複數個參數被適當地匯總成對應於水平方向及垂直方向的2個參數的可能性。有在對應於水平方向的參數中適當地提取與水平梯度值相關的參數的可能性。有在對應於垂直方向的參數中適當地提取與垂直梯度值相關的參數、與水平梯度值及垂直梯度值兩者相關的參數、及對應於水平方向的參數的可能性。接著，有使用該等2個參數來適當地產生預測圖像的可能性。

又，例如，前述電路藉由後述的式(10.8)來導出前述第6參數，藉由後述的式(10.9)來導出前述第7參數，sG_x 表示前述第1參數，sG_y 表示前述第2參數，sG_x dI表示前述第3參數，sG_y dI表示前述第4參數，sG_x G_y 表示前述第5參數，u表示前述第6參數，Bits為將使引數的二進位對數進位至整數來得到的值回傳的函數。

藉此，有以低運算量來導出對應於水平方向及垂直方向的2個參數的可能性。

又，例如，前述電路使用前述第1參考區塊之中對應於處理對象像素位置的第1像素位置的第1像素值、前述第1像素位置的第1水平梯度值、前述第1像素位置的第1垂直梯度值、前述第2參考區塊之中對應於前述處理對象像素位置的第2像素位置的第2像素值、前述第2像素位置的第2水平梯度值、前述第2像素位置的第2垂直梯度值、前述第6參數、及前述第7參數，來導出前述當前區塊所含的前述處理對象像素位置的預測像素值，藉此來產生前述預測圖像。

藉此，有使用對應於水平方向及垂直方向的2個參數等來產生預測圖像，且對應於水平方向及垂直方向的2個參數適當地反映到預測圖像的可能性。

又，例如，前述電路將前述第1像素值、前述第2像素值、第1補正值、第2補正值的和除以2，藉此來導出前述預測像素值，前述第1補正值對應於前述第1水平梯度值與前述第2水平梯度值的差和前述第6參數的乘積，前述第2補正值對應於前述第1垂直梯度值與前述第2垂直梯度值的差和前述第7參數的乘積。

藉此，有使用對應於水平方向及垂直方向的2個參數等，來適當地產生預測圖像的可能性。

又，例如，前述電路藉由後述的式(10.10)來導出前述預測像素值，I⁰ 表示前述第1像素值，I¹ 表示前述第2像素值，u表示前述第6參數，I_x ⁰ 表示前述第1水平梯度值，I_x ¹ 表示前述第2水平梯度值，v表示前述第7參數，I_y ⁰ 表示前述第1垂直梯度值，I_y ¹ 表示前述第2垂直梯度值。

藉此，有依照與對應於水平方向及垂直方向的2個參數等關聯的數式，來適當地產生預測圖像的可能性。

又，例如，本揭示的一態樣之解碼裝置具備：電路；及記憶體，連接於前述電路；前述電路在動作中，針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的解碼的預測圖像。

藉此，有刪減在每個像素位置進行的運算之中運算量大的實質的乘法的可能性，且有以低運算量來導出用於產生預測圖像的複數個參數的可能性。因此，有刪減解碼的處理量的可能性。又，有如下的可能性，即，根據包括與水平梯度值相關的參數、與垂直梯度值相關的參數、以及與水平梯度值及垂直梯度值兩者相關的參數之複數個參數，來適當地產生預測圖像。

又，例如，前述電路藉由後述的式(11.1)來導出前述第1參數，藉由後述的式(11.2)來導出前述第2參數，藉由後述的式(11.3)來導出前述第3參數，藉由後述的式(11.4)來導出前述第4參數，藉由後述的式(11.5)來導出前述第5參數，Ω表示前述複數個相對像素位置的集合，[i,j]表示前述複數個相對像素位置的每一個，針對前述複數個相對像素位置的每一個，I_x ⁰ 表示前述第1範圍中的該相對像素位置的水平梯度值，I_x ¹ 表示前述第2範圍中的該相對像素位置的水平梯度值，I_y ⁰ 表示前述第1範圍中的該相對像素位置的垂直梯度值，I_y ¹ 表示前述第2範圍中的該相對像素位置的垂直梯度值，I⁰ 表示前述第1範圍中的該相對像素位置的像素值，I¹ 表示前述第2範圍中的該相對像素位置的像素值，abs(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的絕對值，sign(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的正負符號，abs(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的絕對值，sign(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的正負符號。

藉此，有使用像素值、水平梯度值及垂直梯度值且以低運算量來導出複數個參數的可能性。

又，例如，前述電路將前述第3參數除以前述第1參數，藉此來導出第6參數，從前述第4參數減去前述第5參數與前述第6參數的乘積，並除以前述第2參數，藉此來導出第7參數，使用前述第6參數及前述第7參數來產生前述預測圖像。

藉此，有複數個參數被適當地匯總成對應於水平方向及垂直方向的2個參數的可能性。有在對應於水平方向的參數中適當地提取與水平梯度值相關的參數的可能性。有在對應於垂直方向的參數中適當地提取與垂直梯度值相關的參數、與水平梯度值及垂直梯度值兩者相關的參數、及對應於水平方向的參數的可能性。接著，有使用該等2個參數來適當地產生預測圖像的可能性。

又，例如，前述電路藉由後述的式(10.8)來導出前述第6參數，藉由後述的式(10.9)來導出前述第7參數，sG_x 表示前述第1參數，sG_y 表示前述第2參數，sG_x dI表示前述第3參數，sG_y dI表示前述第4參數，sG_x G_y 表示前述第5參數，u表示前述第6參數，Bits為將使引數的二進位對數進位至整數來得到的值回傳的函數。

藉此，有將對應於水平方向及垂直方向的2個參數以低運算量來導出的可能性。

又，例如，前述電路使用前述第1參考區塊之中對應於處理對象像素位置的第1像素位置的第1像素值、前述第1像素位置的第1水平梯度值、前述第1像素位置的第1垂直梯度值、前述第2參考區塊之中對應於前述處理對象像素位置的第2像素位置的第2像素值、前述第2像素位置的第2水平梯度值、前述第2像素位置的第2垂直梯度值、前述第6參數、及前述第7參數，來導出前述當前區塊所含的前述處理對象像素位置的預測像素值，藉此來產生前述預測圖像。

藉此，有使用對應於水平方向及垂直方向的2個參數等來產生預測圖像，且對應於水平方向及垂直方向的2個參數適當地反映到預測圖像的可能性。

又，例如，前述電路將前述第1像素值、前述第2像素值、第1補正值、第2補正值的和除以2，藉此來導出前述預測像素值，前述第1補正值對應於前述第1水平梯度值與前述第2水平梯度值的差和前述第6參數的乘積，前述第2補正值對應於前述第1垂直梯度值與前述第2垂直梯度值的差和前述第7參數的乘積。

藉此，有使用對應於水平方向及垂直方向的2個參數等，來適當地產生預測圖像的可能性。

又，例如，前述電路藉由後述的式(10.10)來導出前述預測像素值，I⁰ 表示前述第1像素值，I¹ 表示前述第2像素值，u表示前述第6參數，I_x ⁰ 表示前述第1水平梯度值，I_x ¹ 表示前述第2水平梯度值，v表示前述第7參數，I_y ⁰ 表示前述第1垂直梯度值，I_y ¹ 表示前述第2垂直梯度值。

藉此，有依照與對應於水平方向及垂直方向的2個參數等關聯的數式，來適當地產生預測圖像的可能性。

又，例如，本揭示的一態樣之編碼方法進行以下的處理：針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的編碼的預測圖像。

藉此，有刪減在每個像素位置進行的運算之中運算量大的實質的乘法的可能性，且有以低運算量來導出用於產生預測圖像的複數個參數的可能性。因此，有刪減編碼的處理量的可能性。又，有如下的可能性，即，根據包括與水平梯度值相關的參數、與垂直梯度值相關的參數、以及與水平梯度值及垂直梯度值兩者相關的參數之複數個參數，來適當地產生預測圖像。

又，例如，本揭示的一態樣之解碼方法進行以下處理：針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的解碼的預測圖像。

藉此，有刪減在每個像素位置進行的運算之中運算量大的實質的乘法的可能性，且有以低運算量來導出用於產生預測圖像的複數個參數的可能性。因此，有刪減解碼的處理量的可能性。又，有如下的可能性，即，根據包括與水平梯度值相關的參數、與垂直梯度值相關的參數、以及與水平梯度值及垂直梯度值兩者相關的參數之複數個參數，來適當地產生預測圖像。

或者，例如本揭示的一態樣之編碼裝置包含有：分割部、內預測部、間預測部、轉換部、量化部、及熵編碼部。

前述分割部將構成前述動態圖像的編碼對象圖片分割成複數個區塊。前述內預測部進行內預測，前述內預測是使用前述編碼對象圖片中的參考圖像，來產生前述編碼對象圖片中的編碼對象區塊的預測圖像。前述間預測部進行間預測，前述間預測是使用與前述編碼對象圖片不同的參考圖片中的參考圖像，來產生前述編碼對象區塊的預測圖像。

前述轉換部將前述內預測部或者前述間預測部所產生的前述預測圖像與前述編碼對象區塊的圖像之間的預測誤差訊號進行轉換，而產生前述編碼對象區塊的轉換係數訊號。前述量化部將前述轉換係數訊號進行量化。前述熵編碼部將量化完畢的前述轉換係數訊號編碼。

又，例如，前述間預測部進行以下處理：針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的編碼的預測圖像。

或者，例如本揭示的一態樣之解碼裝置包含有：熵解碼部、反量化部、反轉換部、內預測部、間預測部、及加法部(重構部)。

前述熵解碼部將構成前述動態圖像的解碼對象圖片中的解碼對象區塊的量化完畢的轉換係數訊號解碼。前述反量化部將量化完畢的前述轉換係數訊號進行反量化。前述反轉換部將前述轉換係數訊號反轉換，而取得前述解碼對象區塊的預測誤差訊號。

前述內預測部進行內預測，前述內預測是使用前述解碼對象圖片中的參考圖像，來產生前述解碼對象區塊的預測圖像。前述間預測部進行間預測，前述間預測是使用與前述解碼對象圖片不同的參考圖片中的參考圖像，來產生前述解碼對象區塊的預測圖像。前述加法部將前述內預測部或者前述間預測部所產生的前述預測圖像與前述預測誤差訊號相加，來重構前述解碼對象區塊的圖像。

又，例如，前述間預測部進行以下處理：針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的解碼的預測圖像。

進而，該等概括的或具體的態樣能夠以系統、裝置、方法、積體電路、電腦程式或電腦可讀取的CD-ROM等非暫時性的記錄媒體來實現，也能夠以系統、裝置、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。

以下，一邊參考圖式一邊具體地說明實施形態。另，以下說明的實施形態均表示概括的或具體的例子。以下實施形態所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的關係及順序等只是一例，其主旨不在於限定申請專利範圍。

以下說明編碼裝置及解碼裝置的實施形態。實施形態是可適用本揭示的各態樣中所說明的處理及/或構成的編碼裝置及解碼裝置的例子。處理及/或構成也可在與實施形態不同的編碼裝置及解碼裝置中實施。例如，關於對實施形態適用的處理及/或構成，例如也可以實施以下的任一項。

(1) 本揭示之各態樣中所說明的實施形態之編碼裝置或解碼裝置的複數個構成要素當中的任一構成要素，亦可與本揭示之各態樣的任一態樣中所說明的其他構成要素置換或組合。

(2) 在實施形態之編碼裝置或解碼裝置中，亦可對藉由該編碼裝置或解碼裝置的複數個構成要素當中一部分的構成要素進行的功能或處理，進行功能或處理的追加、置換、刪除等任意的變更。例如，任一功能或處理，亦可與本揭示之各態樣的任一態樣中所說明的其他功能或處理置換或組合。

(3) 在實施形態之編碼裝置或解碼裝置所實施的方法中，亦可針對該方法所包含的複數個處理當中一部分的處理，進行追加、置換及刪除等任意的變更。例如，方法中的任一處理，亦可與本揭示之各態樣的任一態樣中所說明的其他處理置換或組合。

(4) 構成實施形態之編碼裝置或解碼裝置的複數個構成要素當中一部分的構成要素，亦可與本揭示之各態樣的任一態樣中所說明的構成要素組合，亦可與具備有本揭示之各態樣的任一態樣中所說明的功能的一部分的構成要素組合，亦可與實施本揭示之各態樣中所說明的構成要素所實施的處理的一部分的構成要素組合。

(5) 具備有實施形態之編碼裝置或解碼裝置的功能的一部分的構成要素、或實施實施形態之編碼裝置或解碼裝置的處理的一部分的構成要素，亦可與本揭示之各態樣的任一態樣中所說明的構成要素、具備有本揭示之各態樣的任一態樣中所說明的功能的一部分的構成要素、或實施本揭示之各態樣的任一態樣中所說明的處理的一部分的構成要素組合或置換。

(6) 在實施形態之編碼裝置或解碼裝置所實施的方法中，亦可讓該方法所包含的複數個處理之任一處理，與本揭示之各態樣的任一態樣中所說明的處理、或同樣的任一處理置換或組合。

(7) 實施形態之編碼裝置或解碼裝置所實施的方法所包含的複數個處理當中一部分的處理，亦可與本揭示之各態樣的任一態樣中所說明的處理組合。

(8) 本揭示之各態樣中所說明的處理及/或構成的實施方法，並不限定於實施形態之編碼裝置或解碼裝置。例如，處理及/或構成亦可實施於與實施形態中所揭示的動態圖像編碼或動態圖像解碼以不同目的來利用的裝置中。

[編碼裝置] 首先，說明實施形態之編碼裝置。圖1是顯示實施形態之編碼裝置100的功能構成的方塊圖。編碼裝置100是以區塊單位來將動態圖像編碼的動態圖像編碼裝置。

如圖1所示，編碼裝置100是以區塊單位來將圖像編碼的裝置，具備：分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、幀記憶體122、內預測部124、間預測部126、及預測控制部128。

編碼裝置100是藉由例如通用處理器及記憶體來實現。此情況下，由處理器執行儲存於記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128而發揮功能。又，亦可利用專用之1個以上的電子電路來實現編碼裝置100，且前述專用之1個以上的電子電路對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128。

以下說明編碼裝置100整體的處理流程，之後再說明編碼裝置100包含的各構成要素。

[編碼處理的整體流程] 圖2是顯示編碼裝置100進行之整體的編碼處理的一例之流程圖。

首先，編碼裝置100的分割部102將動態圖像即輸入圖像所包含的各圖片分割成複數個固定尺寸的區塊(例如128×128像素)(步驟Sa_1)。接著，分割部102對該固定尺寸的區塊選擇分割樣式(又稱為區塊形狀)(步驟Sa_2)。也就是說，分割部102進一步將固定尺寸的區塊分割成構成該已選擇之分割樣式的複數個區塊。接著，編碼裝置100針對該等複數個區塊的各區塊，對該區塊(亦即編碼對象區塊)進行步驟Sa_3至Sa_9的處理。

也就是說，由內預測部124、間預測部126及預測控制部128的全部或一部分所構成的預測處理部，會產生編碼對象區塊(又稱為當前區塊)的預測訊號(又稱為預測區塊)(步驟Sa_3)。

其次，減法部104產生編碼對象區塊與預測區塊的差分，來作為預測殘差(又稱為差分區塊)(步驟Sa_4)。

其次，轉換部106及量化部108對該差分區塊進行轉換及量化，藉此產生複數個量化係數(步驟Sa_5)。另，由複數個量化係數所構成的區塊又稱為係數區塊。

其次，熵編碼部110對該係數區塊與有關預測訊號之產生的預測參數進行編碼(具體而言是熵編碼)，藉此產生編碼訊號(步驟Sa_6)。另，編碼訊號又稱為編碼位元流、壓縮位元流或者串流。

其次，反量化部112及反轉換部114對係數區塊進行反量化及反轉換，藉此復原複數個預測殘差(亦即差分區塊)(步驟Sa_7)。

其次，加法部116對該已復原之差分區塊加上預測區塊，藉此將當前區塊重構成重構圖像(又稱為重構區塊或解碼圖像區塊)(步驟Sa_8)。藉此，來產生重構圖像。

當此重構圖像產生後，迴路濾波部120因應需要而對該重構圖像進行濾波(步驟Sa_9)。

接著，編碼裝置100判定圖片整體的編碼是否已結束(步驟Sa_10)，當判定為尚未結束時(步驟Sa_10的否)，重複執行從步驟Sa_2開始的處理。

另，在上述的例子中，編碼裝置100雖然對固定尺寸的區塊選擇1個分割樣式，並依照該分割樣式進行各區塊的編碼，但亦可依照複數種分割樣式的各樣式來進行各區塊的編碼。在此情況下，編碼裝置100亦可評價對於複數種分割樣式的各樣式的成本，並選擇依據例如最小成本之分割樣式進行編碼所得的編碼訊號，來作為要輸出的編碼訊號。

如圖所示，該等步驟Sa_1至Sa_10之處理是藉由編碼裝置100依序進行。或，亦可並列地進行該等處理當中一部分的複數個處理，亦可進行該等處理之順序的對調等。

[分割部] 分割部102將輸入動態圖像所包含的各圖片分割成複數個區塊，並將各區塊輸出至減法部104。例如，分割部102首先將圖片分割成固定尺寸(例如128x128)的區塊。亦可採用其他的固定區塊尺寸。此固定尺寸的區塊有時稱為編碼樹單元(CTU)。接著，分割部102根據例如遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的各個區塊分割成可變尺寸(例如64×64以下)的區塊。亦即，分割部102選擇分割樣式。此可變尺寸的區塊有時稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。另，於各種處理例，亦可不必區分CU、PU及TU，而使圖片內的一部分或全部區塊成為CU、PU、TU的處理單位。

圖3是顯示實施形態之區塊分割的一例的概念圖。在圖3中，實線表示四元樹區塊分割的區塊邊界，虛線表示二元樹區塊分割的區塊邊界。

在此，區塊10為128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先分割成4個正方形的64×64區塊(四元樹區塊分割)。

左上的64×64區塊進一步垂直分割成2個矩形的32×64區塊，左邊的32×64區塊進一步垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上的64×64區塊分割成2個16×64區塊11、12，及32×64區塊13。

右上的64×64區塊水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。

左下的64×64區塊被分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊之中，左上的區塊及右下的區塊被進一步分割。左上的32×32區塊垂直分割成2個矩形的16×32區塊，右邊的16×32區塊進一步被水平分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊被水平分割成2個32×16區塊(二元樹區塊分割)。其結果，左下的64×64區塊被分割成16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、及2個32×16區塊21、22。

右下的64×64區塊23不分割。

如上，在圖3中，區塊10是根據遞迴性的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11至23。如此分割，有時亦被稱為QTBT(quad-tree plus binary tree/四元樹加二元樹)分割。

另，在圖3中，1個區塊是被分割成4個或者2個區塊(四元樹或者二元樹區塊分割)，但分割並不限於這些。例如，1個區塊也可被分割成3個區塊(三元樹區塊分割)。如此包括三元樹區塊分割的分割有時亦被稱為MBT(multi type tree/多類型樹)分割。

[圖片的構成　切片/圖塊] 為了將圖片並列地進行解碼，圖片有時以切片(slice)單位或者圖塊(tile)單位來構成。由切片單位或者圖塊單位構成的圖片也可藉由分割部102來構成。

切片是構成圖片之基本的編碼單位。圖片例如由1個以上的切片所構成。又，切片是由1個以上的連續之CTU(Coding Tree Unit/編碼樹單元)所構成。

圖4A是顯示切片的構成的一例之概念圖。例如，圖片包含有11×8個CTU，且被分割成4個切片(切片1至4)。切片1是由16個CTU所構成，切片2是由21個CTU所構成，切片3是由29個CTU所構成，切片4是由22個CTU所構成。在此，圖片內的各CTU是屬於任一個切片。切片的形狀形成為沿水平方向分割圖片的形狀。切片的邊界不必在畫面端，在畫面內的CTU的邊界當中的任何地方都可以。切片之中的CTU的處理順序(編碼順序或者解碼順序)，例如為逐線掃描(raster scan)順序。又，切片包含標頭資訊及編碼資料。標頭資訊中也可記述切片的開頭的CTU位址、切片類型等該切片的特徵。

圖塊為構成圖片之矩形區域的單位。對各圖塊，也可以按照逐線掃描順序來分配稱為TileId的號碼。

圖4B是顯示圖塊之構成的一例的概念圖。例如，圖片包含有11×8個CTU，且被分割成4個矩形區域的圖塊(圖塊1至4)。比起不使用圖塊的時候，在使用圖塊時，會變更CTU的處理順序。在不使用圖塊時，圖片內的複數個CTU是按照逐線掃描順序來處理。在使用圖塊時，在複數個圖塊之各個中，至少1個CTU會按照逐線掃描順序來處理。例如圖4B所示，圖塊1所含的複數個CTU的處理順序是：從圖塊1的第1列左端朝向圖塊1的第1列右端為止，接著從圖塊1的第2列左端朝向圖塊1的第2列右端為止的順序。

另，1個圖塊有包含1個以上之切片的時候，1個切片有包含1個以上之圖塊的時候。

[減法部] 減法部104以從分割部102輸入且藉分割部102所分割的區塊單位，從原訊號(原樣本)減去預測訊號(從後文中所示的預測控制部128輸入的預測樣本)。也就是說，減法部104算出編碼對象區塊(以下稱為當前區塊)的預測誤差(也稱為殘差)。然後，減法部104將算出的預測誤差(殘差)輸出至轉換部106。

原訊號是編碼裝置100的輸入訊號，為表示構成動態圖像之各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下，有時也將表示圖像的訊號稱為樣本。

[轉換部] 轉換部106將空間域的預測誤差轉換成頻率域的轉換係數，且將轉換係數輸出至量化部108。具體來說，轉換部106例如對空間域的預測誤差進行預定的離散餘弦轉換(DCT)或者離散正弦轉換(DST)。預定的DCT或者DST也可事先決定。

另，轉換部106也可從複數個轉換類型之中適應性地選擇轉換類型，且使用對應於所選擇的轉換類型之轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。如此之轉換有時被稱為EMT(explicit multiple core transform/顯式多重核心轉換)或者AMT(adaptive multiple transform/適應性多重轉換)。

複數個轉換類型例如包含有DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖5A是顯示對應於轉換類型例之轉換基底函數的表格。在圖5A中，N表示輸入像素數。從該等複數個轉換類型之中的轉換類型的選擇，例如也可依據預測的種類(內預測及間預測)，也可依據內預測模式。

如此的表示是否適用EMT或者AMT之資訊(例如稱為EMT旗標或者AMT旗標)以及表示已選擇的轉換類型之資訊，通常是以CU級別來訊號化。另，該等資訊的訊號化不必限定在CU級別，也可為其他級別(例如位元序列(bit sequence)級別、圖片(picture)級別、切片(slice)級別、圖塊(tile)級別或者CTU級別)。

又，轉換部106也可將轉換係數(轉換結果)進行再轉換。如此的再轉換有時稱為AST(adaptive secondary transform/適應性二次轉換)或者NSST(non-separable secondary transform/不可分離二次轉換)。例如，轉換部106是依對應於內預測誤差之轉換係數的區塊所含之各個子區塊(例如4×4子區塊)進行再轉換。表示是否適用NSST之資訊及有關於使用在NSST之轉換矩陣之資訊，通常是以CU級別來訊號化。另，該等資訊的訊號化不必限定在CU級別，也可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或者CTU級別)。

在轉換部106中，也可適用可分離(Separable)的轉換及不可分離(Non-Separable)的轉換。可分離的轉換是指依方向分離輸入的維數來進行複數次轉換的方式，不可分離的轉換是指在輸入為多維時，將2個以上的維度匯整視為1維，再一起進行轉換的方式。

例如，可舉以下例來作為不可分離轉換的一例：在輸入為4×4區塊時，將前述區塊視為具有16個要素的一個陣列，且以16×16的轉換矩陣對前述陣列進行轉換處理。

又，在不可分離轉換之更進一步的例子中，亦可在將4×4輸入區塊視為具有16個要素的一個陣列後，進行如對該陣列進行複數次吉文斯(Givens)旋轉之轉換(Hypercube Givens Transform/超立方體吉文斯轉換)。

於轉換部106的轉換中，也可因應於CU內的區域來切換轉換成頻率域的基底之類型。舉一例來說，有SVT(Spatially Varying Transform/空間變化轉換)。在SVT中，如圖5B所示，沿水平或垂直方向將CU分成2等分，只對其中一邊的區域進行往頻率域的轉換。轉換基底的類型可依每個區域設定，例如可使用DST7與DCT8。於本例，在CU內的2個區域中，只進行其中一邊的轉換，另一邊則不進行轉換，但也可2個區域都轉換。又，分割方法也不只有2等分，亦可為4等分，或採用更靈活的方法，將表示分割的資訊另外編碼再與CU分割同樣地傳訊等。另，SVT有時也稱為SBT(Sub-block Transform/子區塊轉換)。

[量化部] 量化部108將從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序來掃描當前區塊的轉換係數，根據對應於已掃描的轉換係數的量化參數(QP)，而將該轉換係數進行量化。然後，量化部108將當前區塊之業經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。預定的掃描順序亦可事先決定。

預定的掃描順序是轉換係數之量化/反量化用的順序。例如，預定的掃描順序亦可是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)來定義。

量化參數(QP)是定義量化步距(量化寬度)的參數。例如，若增加量化參數之值，則量化步距亦增加。也就是說，若量化參數之值增加，則量化誤差增大。

又，量化有時會使用量化矩陣。例如，有時會對應於4×4及8×8等之頻率轉換尺寸、內預測及間預測等之預測模式、亮度及色差等之像素成分，來使用數種類的量化矩陣。另，量化是指讓以預定的間隔取樣的值與預定的級別相對應並進行數位化，在本技術領域中，既可使用取整、捨入(rounding)、縮放(scaling)之類的其他表現方式來參考，亦可採用取整、捨入、縮放。預定的間隔及級別亦可事先決定。

作為使用量化矩陣的方法，有使用在編碼裝置側直接設定的量化矩陣之方法、及使用預設的量化矩陣(預設矩陣/default matrix)之方法。藉由在編碼裝置側直接設定量化矩陣，可設定因應於圖像的特徵之量化矩陣。然而此情況下，有因為量化矩陣之編碼而造成編碼量增加的缺點。

另一方面，也有不使用量化矩陣而將高頻成分的係數及低頻成分的係數都同樣進行量化的方法。另，此方法等同於使用係數全部為相同值的量化矩陣(平面的矩陣)之方法。

也可利用例如SPS(序列參數集/Sequence Parameter Set)或PPS(圖片參數集/Picture Parameter Set)來指定量化矩陣。SPS包含可對序列使用的參數，PPS包含可對圖片使用的參數。SPS及PPS有時單純稱為參數集。

[熵編碼部] 熵編碼部110根據從量化部108輸入的量化係數來產生編碼訊號(編碼位元流)。具體來說，熵編碼部110例如將量化係數二值化，將二值訊號予以算術編碼，並輸出經壓縮的位元流或序列。

[反量化部] 反量化部112將從量化部108輸入的量化係數反量化。具體而言，反量化部112以預定的掃描順序來將當前區塊的量化係數反量化。接著，反量化部112將當前區塊之經反量化的轉換係數輸出至反轉換部114。預定的掃描順序亦可事先決定。

[反轉換部] 反轉換部114將從反量化部112輸入的轉換係數反轉換，藉此復原預測誤差(殘差)。具體來說，反轉換部114藉由對轉換係數進行與轉換部106的轉換相對應的反轉換，來復原當前區塊的預測誤差。接著，反轉換部114將經復原的預測誤差輸出至加法部116。

另，由於經復原的預測誤差通常會因為量化而失去資訊，因此不會與減法部104所算出的預測誤差一致。亦即，經復原的預測誤差通常包含有量化誤差。

[加法部] 加法部116將從反轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本相加，藉此來重構當前區塊。接著，加法部116將重構的區塊輸出至區塊記憶體118及迴路濾波部120。重構區塊有時亦稱為局部(local)解碼區塊。

[區塊記憶體] 區塊記憶體118是用以儲存例如以下區塊的記憶部：在內預測中參考的區塊，並且是編碼對象圖片(稱為當前圖片)內的區塊。具體來說，區塊記憶體118儲存從加法部116輸出的重構區塊。

[幀記憶體] 幀記憶體122例如是用於儲存在間預測中使用的參考圖片之記憶部，有時也稱為幀緩衝器。具體而言，幀記憶體122儲存已藉由迴路濾波部120濾波的重構區塊。

[迴路濾波部] 迴路濾波部120對藉由加法部116重構的區塊施加迴路濾波，將經濾波的重構區塊輸出至幀記憶體122。迴路濾波器是在編碼迴路內使用的濾波器(迴路內濾波器/In-loop filter)，包含有例如解區塊濾波器(DF或DBF)、樣本適應性偏移(SAO/Sample Adaptive Offset)、及適應性迴路濾波器(ALF/Adaptive Loop Filter)等。

在ALF中是適用用來移除編碼失真的最小平方誤差濾波，來對例如當前區塊內的每個2×2子區塊，適用根據局部梯度(gradient)之方向及活性度(activity)而從複數個濾波器中選擇的1個濾波器。

具體而言，首先將子區塊(例如2×2子區塊)分類成複數個組別(例如15或25組)。子區塊的分類是根據梯度的方向及活性度來進行。例如，使用梯度的方向值D(例如0至2或0至4)及梯度的活性值A(例如0至4)來算出分類值C(例如C=5D+A)。接著，根據分類值C將子區塊分類成複數個組別。

梯度的方向值D例如是藉由比較複數個方向(例如水平、垂直及2個對角方向)的梯度而導出。又，梯度的活性值A例如是對複數個方向的梯度進行加法，再將加法結果藉由量化來導出。

根據這樣的分類結果，從複數個濾波器中決定子區塊用的濾波器。

作為在ALF使用的濾波器形狀，可利用例如圓對稱形狀。圖6A至圖6C是顯示在ALF使用的濾波器形狀的複數個例子之圖。圖6A顯示5×5菱形形狀濾波器，圖6B顯示7×7菱形形狀濾波器，圖6C顯示9×9菱形形狀濾波器。顯示濾波器形狀的資訊通常是以圖片級別訊號化。另，顯示濾波器形狀的資訊之訊號化不必限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別或CU級別)。

ALF的開啟/關閉亦可以例如圖片級別或CU級別來決定。例如，針對亮度亦可以CU級別決定是否適用ALF，針對色差亦可以圖片級別決定是否適用ALF。顯示ALF之開啟/關閉的資訊通常是以圖片級別或CU級別來訊號化。另，表示ALF之開啟/關閉的資訊之訊號化不必限定在圖片級別或CU級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別或CTU級別)。

可選擇的複數個濾波器(例如到15個或25個的濾波器)之係數集通常是以圖片級別訊號化。另，係數集之訊號化不必限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別、CU級別或子區塊級別)。

[迴路濾波部＞解區塊濾波器] 在解區塊濾波器中，迴路濾波部120對重構圖像的區塊邊界進行濾波處理，藉此減少該區塊邊界產生的失真。

圖7是顯示作為解區塊濾波器來發揮功能的迴路濾波部120的詳細構成的一例之方塊圖。

迴路濾波部120具備：邊界判定部1201、濾波判定部1203、濾波處理部1205、處理判定部1208、濾波特性決定部1207、開關1202、1204及1206。

邊界判定部1201判定欲進行解區塊濾波處理的像素(即對象像素)是否存在於區塊邊界附近。接著，邊界判定部1201將其判定結果輸出至開關1202及處理判定部1208。

在藉由邊界判定部1201判定為對象像素存在於區塊邊界附近時，開關1202將濾波處理前的圖像輸出至開關1204。反之，在藉由邊界判定部1201判定為對象像素不存在於區塊邊界附近時，開關1202將濾波處理前的圖像輸出至開關1206。

濾波判定部1203根據位在對象像素的周邊之至少1個周邊像素的像素值，來判定是否對對象像素進行解區塊濾波處理。接著，濾波判定部1203將其判定結果輸出至開關1204及處理判定部1208。

在藉由濾波判定部1203判定為對對象像素進行解區塊濾波處理時，開關1204將已經由開關1202取得的濾波處理前的圖像輸出至濾波處理部1205。反之，在藉由濾波判定部1203判定為不對對象像素進行解區塊濾波處理時，開關1204將已經由開關1202取得的濾波處理前的圖像輸出至開關1206。

濾波處理部1205在已經由開關1202及1204取得濾波處理前的圖像時，對對象像素執行解區塊濾波處理，其中前述解區塊濾波處理具有已藉由濾波特性決定部1207所決定的濾波特性。接著，濾波處理部1205將該濾波處理後的像素輸出至開關1206。

開關1206因應於處理判定部1208的控制，選擇性地輸出未被解區塊濾波處理的像素、與已藉由濾波處理部1205解區塊濾波處理過的像素。

處理判定部1208根據邊界判定部1201及濾波判定部1203各自的判定結果來控制開關1206。也就是說，在藉由邊界判定部1201判定為對象像素存在於區塊邊界附近，且，藉由濾波判定部1203判定為對對象像素進行解區塊濾波處理時，處理判定部1208讓經解區塊濾波處理的像素從開關1206輸出。又，在上述的情形以外的情形時，處理判定部1208讓未經解區塊濾波處理的像素從開關1206輸出。藉由重複進行這樣的像素之輸出，從開關1206輸出濾波處理後的圖像。

圖8是顯示對區塊邊界具有對稱的濾波特性之解區塊濾波器的例子之概念圖。

在解區塊濾波處理中，例如使用像素值與量化參數來選擇特性相異的2個解區塊濾波器，即選擇強濾波器及弱濾波器中之任一種濾波器。在強濾波器中，如圖8所示，當夾著區塊邊界存在有像素p0至p2及像素q0至q2時，藉由進行例如以下數式所示的運算，來將像素q0至q2之各自的像素值變更成像素值q’0至q’2。 q’0＝(p1＋2×p0＋2×q0＋2×q1＋q2＋4)/8 q’1＝(p0＋q0＋q1＋q2＋2)/4 q’2＝(p0＋q0＋q1＋3×q2＋2×q3＋4)/8

另，在上述數式中，p0至p2及q0至q2是像素p0至p2及像素q0至q2各自的像素值。又，q3是在區塊邊界的相反側鄰接於像素q2的像素q3之像素值。又，在上述各數式的右邊，與解區塊濾波處理中使用的各像素的像素值相乘的係數為濾波係數。

進而，在解區塊濾波處理中，為了不讓運算後的像素值設定成超過閾值，也可進行剪裁(clip)處理。在此剪裁處理中，依上述數式進行之運算後的像素值是使用由量化參數決定的閾值，來剪裁成「運算對象像素值±2×閾值」。藉此，可防止過度的平滑化。

圖9是用以說明進行解區塊濾波處理之區塊邊界的概念圖。圖10是顯示Bs值之一例的概念圖。

進行解區塊濾波處理的區塊邊界，例如為如圖9所示的8×8像素區塊的PU(Prediction Unit/預測單元)或者TU (Transform Unit/轉換單元)的邊界。解區塊濾波處理能以4列或者4行為單位來進行。首先，對於圖9所示的區塊P及區塊Q，如圖10所示地決定Bs(Boundary Strength/邊界強度)值。

就算屬於同一圖像的區塊邊界，依照圖10的Bs值，也能決定是否進行不同強度的解區塊濾波處理。對於色差訊號的解區塊濾波處理是在Bs值為2的時候進行。對於亮度訊號之解區塊濾波處理是在Bs值為1以上且滿足預定的條件的時候進行。預定的條件亦可事先訂定。另，Bs值的判定條件不限定於圖10所示者，也可根據其他參數來決定。

[預測處理部(內預測部、間預測部、預測控制部)] 圖11是顯示以編碼裝置100的預測處理部進行的處理之一例的流程圖。另，預測處理部是由內預測部124、間預測部126及預測控制部128的全部或者一部分的構成要素所構成。

預測處理部產生當前區塊的預測圖像(步驟Sb_1)。該預測圖像也稱為預測訊號或者預測區塊。另，預測訊號例如有內預測訊號或者間預測訊號。具體來說，預測處理部使用藉由進行預測區塊的產生、差分區塊的產生、係數區塊的產生、差分區塊的復原及解碼圖像區塊的產生而已得到的重構圖像，來產生當前區塊的預測圖像。

重構圖像例如可為參考圖片之圖像，也可為包含有當前區塊的圖片即當前圖片內的編碼完畢的區塊之圖像。當前圖片內的編碼完畢的區塊例如為當前區塊的鄰接區塊。

圖12是顯示在編碼裝置100之預測處理部進行的處理之另一例的流程圖。

預測處理部以第1方式產生預測圖像(步驟Sc_1a)，以第2方式產生預測圖像(步驟Sc_1b)，以第3方式產生預測圖像(步驟Sc_1c)。第1方式、第2方式及第3方式為用於產生預測圖像之互相不同的方式，分別也可為例如間預測方式、內預測方式、及該等以外的預測方式。在這些預測方式中，亦可使用上述之重構圖像。

其次，預測處理部選擇步驟Sc_1a、Sc_1b及Sc_1c所產生的複數個預測圖像之中的任一者(步驟Sc_2)。該預測圖像的選擇，即用於得到最終的預測圖像的方式或者模式的選擇，也可算出對於已產生的各預測圖像的成本，且根據該成本來進行。或者，該預測圖像的選擇也可根據使用於編碼的處理的參數來進行。編碼裝置100也可將用於特定出該已選擇的預測圖像、方式或者模式的資訊進行訊號化，使其成為編碼訊號(也稱為編碼位元流)。該資訊也可為例如旗標等。藉此，解碼裝置可根據該資訊，依照在編碼裝置100中所選擇的方式或者模式，來產生預測圖像。另，在圖12所示的例子中，預測處理部在以各方式產生預測圖像之後，選擇任一個預測圖像。惟，預測處理部也可在產生該等預測圖像之前，根據使用於上述之編碼之處理的參數，選擇方式或者模式，依照該方式或者模式，來產生預測圖像。

例如，第1方式及第2方式亦可分別為內預測及間預測，且預測處理部從依照該等預測方式所產生的預測圖像中，來選擇對於當前區塊之最終的預測圖像。

圖13是顯示在編碼裝置100之預測處理部進行的處理之另一例的流程圖。

首先，預測處理部藉由內預測來產生預測圖像(步驟Sd_1a)，且藉由間預測來產生預測圖像(步驟Sd_1b)。另，藉由內預測所產生的預測圖像也稱為內預測圖像，藉由間預測所產生的預測圖像也稱為間預測圖像。

其次，預測處理部分別評價內預測圖像及間預測圖像(步驟Sd_2)。在此評價中亦可使用成本。也就是說，預測處理部算出內預測圖像及間預測圖像各自的成本C。此成本C可藉由R-D最佳化模型的數式，例如C＝D＋λ×R來算出。在此數式中，D為預測圖像的編碼失真，且藉由例如當前區塊的像素值與預測圖像的像素值之絕對差值和等來表示。又，R為預測圖像的產生編碼量，具體而言為用以產生預測圖像的移動資訊等編碼所需要的編碼量等。又，λ例如為拉格朗日(Lagrange)乘數。

接著，預測處理部從內預測圖像及間預測圖像，選擇算出了最小成本C的預測圖像，來作為當前區塊之最終的預測圖像(步驟Sd_3)。也就是說，選擇用以產生當前區塊的預測圖像之預測方式或模式。

[內預測部] 內預測部124參考已儲存於區塊記憶體118的當前圖片內之區塊，進行當前區塊的內預測(也稱為畫面內預測)，藉此產生預測訊號(內預測訊號)。具體而言，內預測部124參考鄰接於當前區塊之區塊的樣本(例如亮度值、色差值)來進行內預測，藉此產生內預測訊號，且將內預測訊號輸出至預測控制部128。

例如，內預測部124使用規定之複數個內預測模式中的1個來進行內預測。複數個內預測模式通常包含1個以上的非方向性預測模式與複數個方向性預測模式。規定的複數個模式亦可事先規定。

1個以上的非方向性預測模式包含有例如以H.265/HEVC標準所規定的平面(Planar)預測模式及直流(DC)預測模式。

複數個方向性預測模式例如包含以H.265/HEVC標準所規定之33個方向的預測模式。另，複數個方向性預測模式除了33個方向外，亦可進一步包含32個方向的預測模式(合計65個方向性預測模式)。圖14是顯示內預測中可使用之共67個的內預測模式(2個非方向性預測模式及65個方向性預測模式)之概念圖。實線箭頭表示以H.265/HEVC標準規定的33個方向，虛線箭頭表示追加的32個方向(2個非方向性預測模式未圖示於圖14)。

於各種處理例，亦可在色差區塊的內預測中參考亮度區塊。也就是說，亦可根據當前區塊的亮度成分，預測當前區塊的色差成分。這種內預測有時也被稱為CCLM(cross-component linear model/跨成分線性模型)預測。像這種參考亮度區塊的色差區塊之內預測模式(例如被稱為CCLM模式)亦可作為色差區塊之內預測模式的1種而加入。

內預測部124亦可根據水平/垂直方向的參考像素的梯度，來補正內預測後的像素值。這種伴隨補正的內預測有時被稱為PDPC(position dependent intra prediction combination/位置相依內預測組合)。顯示有無適用PDPC的資訊(例如稱為PDPC旗標)通常是以CU級別來訊號化。另，此資訊之訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或CTU級別)。

[間預測部] 間預測部126參考儲存於幀記憶體122之參考圖片並且是與當前圖片不同的參考圖片，來進行當前區塊的間預測(亦稱為畫面間預測)，藉此產生預測訊號(間預測訊號)。間預測是以當前區塊或當前區塊內的當前子區塊(例如4×4區塊)為單位進行。例如，間預測部126針對當前區塊或當前子區塊，在參考圖片內進行移動搜尋(motion estimation/移動估測)，找到與該當前區塊或當前子區塊最一致的參考區塊或子區塊。接著，間預測部126從參考區塊或子區塊，取得將對當前區塊或子區塊的移動或變化進行補償的移動資訊(例如移動向量)。間預測部126根據該移動資訊進行移動補償(或移動預測)，來產生當前區塊或子區塊的間預測訊號。間預測部126將已產生的間預測訊號輸出至預測控制部128。

使用於移動補償的移動資訊亦可以多種形態予以訊號化，來作為間預測訊號。例如，移動向量亦可被訊號化。舉另一例來說，移動向量與預測移動向量(motion vector predictor)之差分亦可被訊號化。

[間預測的基本流程] 圖15是顯示間預測的基本流程之一例的流程圖。

首先，間預測部126產生預測圖像(步驟Se_1至Se_3)。其次，減法部104產生當前區塊與預測圖像之差分來作為預測殘差(步驟Se_4)。

在此，間預測部126在預測圖像的產生中，是藉由進行當前區塊的移動向量(MV)之決定(步驟Se_1及Se_2)及移動補償(步驟Se_3)，來產生該預測圖像。又，間預測部126在MV的決定中，是藉由進行候選移動向量(候選MV)的選擇(步驟Se_1)及MV的導出(步驟Se_2)，來決定該MV。候選MV的選擇例如是藉由從候選MV清單選擇至少1個候選MV來進行。又，在MV的導出中，間預測部126亦可從至少1個候選MV，進一步選擇至少1個候選MV，藉此決定該已選擇的至少1個候選MV來作為當前區塊的MV。或，間預測部126亦可針對該已選擇的至少1個候選MV之各個，搜尋以該候選MV所指示的參考圖片的區域，藉此決定當前區塊的MV。另，亦可將此搜尋參考圖片的區域之情形稱為移動搜尋(motion estimation/移動估測)。

又，在上述的例子中，步驟Se_1至Se_3雖是藉由間預測部126來進行，但例如步驟Se_1或步驟Se_2等之處理，亦可藉由編碼裝置100包含的其他構成要素來進行。

[移動向量的導出流程] 圖16是顯示移動向量導出之一例的流程圖。

間預測部126以將移動資訊(例如MV)編碼的模式來導出當前區塊的MV。在此情況下，例如移動資訊作為預測參數被編碼，並被訊號化。也就是說，已被編碼的移動資訊包含於編碼訊號(也稱為編碼位元流)。

或，間預測部126以不將移動資訊編碼的模式來導出MV。在此情況下，編碼訊號不包含移動資訊。

在此，在導出MV的模式中，亦可有後述的一般間模式、合併模式、FRUC模式及仿射模式等。該等模式中，將移動資訊編碼的模式有一般間模式、合併模式及仿射模式(具體而言是仿射間模式及仿射合併模式)等。另，移動資訊不只包含有MV，亦可包含有後述的預測移動向量選擇資訊。又，不將移動資訊編碼的模式有FRUC模式等。間預測部126從該等複數個模式選擇用於導出當前區塊的MV的模式，並使用該已選擇的模式來導出當前區塊的MV。

圖17是顯示移動向量導出之另一例的流程圖。

間預測部126以將差分MV編碼的模式來導出當前區塊的MV。在此情況下，例如差分MV作為預測參數被編碼，並被訊號化。也就是說，已編碼的差分MV包含於編碼訊號。此差分MV為當前區塊的MV與其預測MV之差。

或，間預測部126以不將差分MV編碼的模式來導出MV。在此情況下，編碼訊號不包含已編碼的差分MV。

在此，如上述，導出MV的模式有後述的一般間、合併模式、FRUC模式及仿射模式等。該等模式中，將差分MV編碼的模式有一般間模式及仿射模式(具體而言是仿射間模式)等。又，不將差分MV編碼的模式有FRUC模式、合併模式及仿射模式(具體而言是仿射合併模式)等。間預測部126從該等複數個模式選擇用於導出當前區塊的MV的模式，並使用該已選擇的模式來導出當前區塊的MV。

[移動向量的導出流程] 圖18是顯示移動向量導出之另一例的流程圖。導出MV的模式即間預測模式有複數種模式，大致上分成有：將差分MV編碼的模式、不將差分移動向量編碼的模式。不將差分MV編碼的模式有合併模式、FRUC模式及仿射模式(具體而言是仿射合併模式)。這些模式的詳情於後敘述，簡而言之，合併模式是藉由從周邊的編碼完畢區塊選擇移動向量來導出當前區塊的MV的模式，FRUC模式是藉由在編碼完畢區域間進行搜尋來導出當前區塊的MV的模式。又，仿射模式是設想仿射轉換而導出構成當前區塊的複數個子區塊各自的移動向量，來作為當前區塊的MV的模式。

具體而言，如圖示，在間預測模式資訊顯示0時(在Sf_1為0)，間預測部126藉由合併模式來導出移動向量(Sf_2)。又，在間預測模式資訊顯示1時(在Sf_1為1)，間預測部126藉由FRUC模式來導出移動向量(Sf_3)。又，在間預測模式資訊顯示2時(在Sf_1為2)，間預測部126藉由仿射模式(具體而言是仿射合併模式)來導出移動向量(Sf_4)。又，在間預測模式資訊顯示3時(在Sf_1為3)，間預測部126藉由將差分MV編碼的模式(例如一般間模式)來導出移動向量(Sf_5)。

[MV導出＞一般間模式] 一般間模式是如下的間預測模式：從候選MV所示的參考圖片之區域，根據類似於當前區塊的圖像之區塊，來導出當前區塊的MV。又，在此一般間模式中，差分MV會被編碼。

圖19是顯示一般間模式進行之間預測的例子的流程圖。

間預測部126首先根據時間上或空間上位於當前區塊周圍的複數個編碼完畢區塊的MV等之資訊，對該當前區塊取得複數個候選MV(步驟Sg_1)。也就是說，間預測部126製作候選MV清單。

其次，間預測部126從在步驟Sg_1取得的複數個候選MV中，依照預定的優先順序擷取N個(N為2以上的整數)候選MV，將各個候選MV當作預測移動向量候選(又稱為預測MV候選)(步驟Sg_2)。另，該優先順序亦可是對N個候選MV之各個事先決定好的順序。

其次，間預測部126從該N個預測移動向量候選中選擇1個預測移動向量候選，來作為當前區塊的預測移動向量(也稱為預測MV)(步驟Sg_3)。此時，間預測部126將用於識別已選擇的預測移動向量之預測移動向量選擇資訊編碼成串流。另，串流為上述的編碼訊號或編碼位元流。

其次，間預測部126參考編碼完畢參考圖片來導出當前區塊的MV(步驟Sg_4)。此時，間預測部126進一步將該已導出的MV與預測移動向量之差分值作為差分MV而編碼成串流。另，編碼完畢參考圖片是由編碼後重構的複數個區塊所構成的圖片。

最後，間預測部126使用該已導出的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Sg_5)。另，預測圖像為上述的間預測訊號。

又，顯示編碼訊號所包含的在預測圖像之產生中使用的間預測模式(在上述例中是一般間模式)之資訊，是作為例如預測參數而被編碼。

另，候選MV清單亦可和其他模式使用的清單共通使用。又，亦可將與候選MV清單有關的處理適用於與其他模式使用的清單有關的處理。此與候選MV清單有關的處理例如為：從候選MV清單擷取或選擇候選MV、重新排列候選MV、或刪除候選MV等。

[MV導出＞合併模式] 合併模式是如下的間預測模式：從候選MV清單選擇候選MV來作為當前區塊的MV，藉此導出該MV。

圖20是顯示合併模式進行之間預測的例子的流程圖。

間預測部126首先根據時間上或空間上位於當前區塊周圍的複數個編碼完畢區塊的MV等之資訊，對該當前區塊取得複數個候選MV(步驟Sh_1)。也就是說，間預測部126製作候選MV清單。

其次，間預測部126從在步驟Sh_1取得的複數個候選MV中選擇1個候選MV，藉此導出當前區塊的MV(步驟Sh_2)。此時，間預測部126將用於識別已選擇的候選MV之MV選擇資訊編碼成串流。

最後，間預測部126使用該已導出的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Sh_3)。

又，顯示編碼訊號所包含的在預測圖像之產生中使用的間預測模式(在上述例中是合併模式)之資訊，是作為例如預測參數而被編碼。

圖21是用於說明合併模式進行之當前圖片的移動向量導出處理之一例的概念圖。

首先，產生已登錄有預測MV的候選之預測MV清單。作為預測MV的候選，有如下MV等：空間鄰接預測MV，空間上位於對象區塊周邊的複數個編碼完畢區塊所具有的MV；時間鄰接預測MV，編碼完畢參考圖片中投影了對象區塊的位置之附近的區塊所具有的MV；結合預測MV，組合空間鄰接預測MV與時間鄰接預測MV的MV值所產生的MV；及零預測MV，值為零的MV。

其次，從已登錄在預測MV清單的複數個預測MV中選擇1個預測MV，藉此決定其為對象區塊的MV。

進而，在可變長度編碼部中，將表示已選擇哪一個預測MV的訊號即merge_idx記述在串流中並編碼。

另，登錄於圖21所說明的預測MV清單之預測MV僅為一例，亦可與圖中的個數為不同的個數，或構成為不包含圖中的預測MV的一部分種類，或構成為追加圖中的預測MV的種類以外的預測MV。

亦可使用藉由合併模式導出的對象區塊的MV，來進行後述的DMVR(decoder motion vector refinement/解碼器側移動向量細化)處理，藉此決定最終的MV。

另，預測MV的候選為上述之候選MV，預測MV清單為上述之候選MV清單。又，候選MV清單亦可稱為候選清單。又，merge_idx為MV選擇資訊。

[MV導出＞FRUC模式] 移動資訊亦可不由編碼裝置側進行訊號化並在解碼裝置側導出。另，如上述，亦可使用以H.265/HEVC標準規定的合併模式。又，例如亦可在解碼裝置側進行移動搜尋，藉此導出移動資訊。在實施形態中，在解碼裝置側，不使用當前區塊的像素值而進行移動搜尋。

在此，針對在解碼裝置側進行移動搜尋的模式加以說明。此在解碼裝置側進行移動搜尋的模式有時稱為PMMVD(pattern matched motion vector derivation/樣式匹配移動向量導出)模式或FRUC(frame rate up-conversion/幀更新率提升轉換)模式。

用流程圖的形式將FRUC處理的一例顯示於圖22。首先，參考空間上或時間上鄰接於當前區塊的編碼完畢區塊的移動向量，來產生分別具有預測移動向量(MV)的複數個候選清單(亦即候選MV清單，且亦可與合併清單共通)(步驟Si_1)。其次，從登錄於候選MV清單的複數個候選MV中選擇最佳候選MV(步驟Si_2)。例如，算出候選MV清單所包含之各候選MV的評價值，根據評價值選擇1個候選MV。接著，根據選擇的候選移動向量，來導出當前區塊用的移動向量(步驟Si_4)。具體而言，例如將選擇的候選移動向量(最佳候選MV)直接導出，來作為當前區塊用的移動向量。又，例如亦可在與選擇的候選移動向量對應的參考圖片內的位置的周邊區域進行樣式匹配(pattern matching)，藉此導出當前區塊用的移動向量。亦即，亦可對最佳候選MV的周邊區域，使用參考圖片中之樣式匹配及評價值來進行搜尋，若有評價值為更佳之值的MV，則將最佳候選MV更新為前述MV，並將其當作當前區塊的最終MV。亦可構成為不實施進行更新的處理之構成，而不更新成具有更佳評價值的MV。

最後，間預測部126使用該已導出的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Si_5)。

以子區塊單位進行處理時，亦可進行完全同樣的處理。

評價值亦可藉由各種方法算出。例如，比較對應於移動向量的參考圖片內的區域之重構圖像與預定的區域(該區域例如以下所示，亦可為其他參考圖片的區域、或當前圖片的鄰接區塊的區域)之重構圖像。預定的區域亦可事先決定。

且，亦可算出2個重構圖像的像素值的差分，並使用於移動向量之評價值。另，除了差分值，亦可使用其以外的資訊來算出評價值。

其次，針對樣式匹配的例子詳細說明。首先，選擇候選MV清單(例如合併清單)所包含的1個候選MV，來作為樣式匹配之搜尋的起始點。例如，作為樣式匹配，可使用第1樣式匹配或第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別被稱為雙向匹配(bilateral matching)及模板匹配(template matching)。

[MV導出＞FRUC＞雙向匹配] 第1樣式匹配是在以下2個區塊間進行樣式匹配：不同的2張參考圖片內的2個區塊，且是沿著當前區塊之移動軌跡(motion trajectory)的2個區塊。因此，在第1樣式匹配中，作為用以算出上述之候選的評價值之預定的區域，使用的是沿著當前區塊的移動軌跡之其他參考圖片內的區域。預定的區域亦可事先決定。

圖23是用於說明在沿著移動軌跡的2張參考圖片中之2個區塊間的第1樣式匹配(雙向匹配)之一例的概念圖。如圖23所示，在第1樣式匹配中，是藉由搜尋沿著當前區塊(Cur block)之移動軌跡的2個區塊並且是不同的2張參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)中最匹配的配對，來導出2個移動向量(MV0、MV1)。具體而言，對當前區塊導出第1編碼完畢參考圖片(Ref0)內之指定位置的重構圖像與第2編碼完畢參考圖片(Ref1)內之指定位置的重構圖像之差分，並使用得到的差分值來算出評價值，其中前述第1編碼完畢參考圖片內之指定位置是被候選MV指定的位置，前述第2編碼完畢參考圖片內之指定位置是被將前述候選MV利用顯示時間間隔進行縮放(scaling)後之對稱MV指定的位置。能夠在複數個候選MV中選擇評價值為最佳值的候選MV來作為最終MV，可帶來好的結果。

在連續的移動軌跡之假設下，指示出2個參考區塊的移動向量(MV0、MV1)是相對於當前圖片(Cur Pic)與2張參考圖片(Ref0、Ref1)之間的時間上的距離(TD0、TD1)成比例。例如，當前圖片在時間上是位於2張參考圖片之間，若從當前圖片往2張參考圖片之時間上的距離相等，則在第1樣式匹配中，會導出鏡射對稱之雙向的移動向量。

[MV導出＞FRUC＞模板匹配] 在第2樣式匹配(模板匹配)中，是在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間進行樣式匹配。因此，在第2樣式匹配中，作為用以算出上述之候選的評價值的預定區域，使用的是與當前圖片內之當前區塊鄰接的區塊。

圖24是用於說明在當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)之一例的概念圖。如圖24所示，在第2樣式匹配中，是藉由在參考圖片(Ref0)內搜尋與當前圖片(Cur Pic)內鄰接於當前區塊(Cur block)之區塊最匹配的區塊，來導出當前區塊的移動向量。具體而言，可對當前區塊，來導出左鄰接及上鄰接雙方或其中一方之編碼完畢區域的重構圖像、與被候選MV指定之編碼完畢參考圖片(Ref0)內的同等位置的重構圖像之差分，使用得到的差分值來算出評價值，並在複數個候選MV之中選擇評價值為最佳值的候選MV來作為最佳候選MV。

表示是否適用這種FRUC模式的資訊(例如稱為FRUC旗標)亦可以CU級別來訊號化。又，當適用FRUC模式時(例如FRUC旗標為真時)，表示可適用的樣式匹配的方法(第1樣式匹配或第2樣式匹配)之資訊亦可以CU級別來訊號化。另，該等資訊的訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。

[MV導出＞仿射模式] 其次，針對根據複數個鄰接區塊之移動向量而以子區塊單位來導出移動向量的仿射模式加以說明。此模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。

圖25A是用於說明以複數個鄰接區塊的移動向量為基準之子區塊單位的移動向量的導出之一例的概念圖。在圖25A，當前區塊包含有16個4×4子區塊。在此是根據鄰接區塊的移動向量，來導出當前區塊的左上角控制點的移動向量v₀ ，同樣地，根據鄰接子區塊的移動向量，來導出當前區塊的右上角控制點的移動向量v₁ 。接著，可藉由以下的式(1A)來投影2個移動向量v₀ 及v₁ ，亦可導出當前區塊內的各子區塊的移動向量(v_x ,v_y )。 [數1]

在此，x及y分別表示子區塊的水平位置及垂直位置，w表示預定的權重係數。預定的權重係數亦可事先決定。

表示這種仿射模式的資訊(例如稱為仿射旗標)亦可以CU級別來訊號化。另，此表示仿射模式的資訊之訊號化不必限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。

又，在這種仿射模式中，亦可包含有左上角及右上角控制點的移動向量導出方法相異的幾個模式。例如，在仿射模式中有仿射間(也稱為仿射一般間)模式、及仿射合併模式2種模式。

[MV導出＞仿射模式] 圖25B是用於說明具有3個控制點之仿射模式中的子區塊單位的移動向量的導出之一例的概念圖。在圖25B中，當前區塊包含有16個4×4子區塊。在此，根據鄰接區塊的移動向量，來導出當前區塊的左上角控制點的移動向量v₀ ，同樣地，根據鄰接區塊的移動向量，來導出當前區塊的右上角控制點的移動向量v₁ ，根據鄰接區塊的移動向量，來導出當前區塊的左下角控制點的移動向量v₂ 。接著，可藉由以下的式(1B)來投影3個移動向量v₀ 、v₁ 及v₂ ，亦可導出當前區塊內的各子區塊的移動向量(v_x ,v_y )。 [數2]

在此，x及y分別表示子區塊中心的水平位置及垂直位置，w表示當前區塊的寬度，h表示當前區塊的高度。

控制點數目不同(例如2個及3個)的仿射模式亦可以CU級別來切換並被訊號化。另，表示在CU級別下使用的仿射模式的控制點數目之資訊，亦可以其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)來訊號化。

又，在這種具有3個控制點的仿射模式中，亦可包含有與左上、右上及左下角控制點之移動向量導出方法不同的幾個模式。例如，在仿射模式中有仿射間(也稱為仿射一般間)模式及仿射合併模式2種模式。

[MV導出＞仿射合併模式] 圖26A、圖26B及圖26C是用於說明仿射合併模式的概念圖。

在仿射合併模式中，如圖26A所示，例如在鄰接於當前區塊的編碼完畢區塊A(左)、區塊B(上)、區塊C(右上)、區塊D(左下)及區塊E(左上)之中，根據對應於以仿射模式編碼的區塊之複數個移動向量，來算出當前區塊的控制點各自的預測移動向量。具體而言，以編碼完畢區塊A(左)、區塊B(上)、區塊C(右上)、區塊D(左下)及區塊E(左上)之順序來檢查該等區塊，特定出以仿射模式編碼之最初的有效的區塊。根據對應於此特定出的區塊之複數個移動向量，來算出當前區塊的控制點的預測移動向量。

例如，如圖26B所示，在以鄰接於當前區塊的左邊之區塊A具有2個控制點的仿射模式進行編碼時，會導出投影在包含有區塊A之編碼完畢區塊的左上角及右上角的位置之移動向量v₃ 及v₄ 。接著，從導出的移動向量v₃ 及v₄ ，算出當前區塊之左上角的控制點的預測移動向量v₀ 、及右上角的控制點的預測移動向量v₁ 。

例如，如圖26C所示，在以鄰接於當前區塊的左邊之區塊A具有3個控制點的仿射模式進行編碼時，會導出投影在包含有區塊A之編碼完畢區塊的左上角、右上角及左下角的位置之移動向量v₃ 、v₄ 及v₅ 。接著，從導出的移動向量v₃ 、v₄ 及v₅ ，算出當前區塊之左上角的控制點的預測移動向量v₀ 、右上角的控制點的預測移動向量v₁ 及左下角的控制點的預測移動向量v₂ 。

另，後述圖29之步驟Sj_1中之當前區塊的控制點各自的預測移動向量之導出，亦可使用此預測移動向量導出方法。

圖27是顯示仿射合併模式之一例的流程圖。

在仿射合併模式中，如圖示，首先，間預測部126導出當前區塊的控制點各自的預測MV(步驟Sk_1)。控制點如圖25A所示，為當前區塊的左上角及右上角的點，或如圖25B所示，為當前區塊的左上角、右上角及左下角的點。

也就是說，如圖26A所示，間預測部126按照編碼完畢區塊A(左)、區塊B(上)、區塊C(右上)、區塊D(左下)及區塊E(左上)之順序來檢查該等區塊，特定出以仿射模式編碼的最初的有效的區塊。

接著，在區塊A已被特定且區塊A具有2個控制點時，如圖26B所示，間預測部126從包含有區塊A之編碼完畢區塊的左上角及右上角的移動向量v₃ 及v₄ ，算出當前區塊的左上角的控制點的移動向量v₀ 、及右上角的控制點的移動向量v₁ 。例如，間預測部126將編碼完畢區塊的左上角及右上角的移動向量v₃ 及v₄ 投影到當前區塊，藉此來算出當前區塊的左上角的控制點的預測移動向量v₀ 及右上角的控制點的預測移動向量v₁ 。

或，在區塊A已被特定且區塊A具有3個控制點時，如圖26C所示，間預測部126從含有區塊A之編碼完畢區塊的左上角、右上角及左下角的移動向量v₃ 、v₄ 及v₅ ，算出當前區塊的左上角的控制點的移動向量v₀ 、右上角的控制點的移動向量v₁ 、左下角的控制點的移動向量v₂ 。例如，間預測部126將編碼完畢區塊的左上角、右上角及左下角的移動向量v₃ 、v₄ 及v₅ 投影到當前區塊，藉此算出當前區塊的左上角的控制點的預測移動向量v₀ 、右上角的控制點的預測移動向量v₁ 及左下角的控制點的移動向量v₂ 。

其次，間預測部126針對當前區塊所包含之複數個子區塊的各個進行移動補償。亦即，間預測部126針對該等複數個子區塊的各個，使用2個預測移動向量v₀ 及v₁ 與上述之式(1A)、或3個預測移動向量v₀ 、v₁ 及v₂ 與上述之式(1B)，算出該等子區塊的移動向量來作為仿射MV(步驟Sk_2)。接著，間預測部126使用該等仿射MV及編碼完畢參考圖片，對該等子區塊進行移動補償(步驟Sk_3)。其結果，對當前區塊進行移動補償，並產生該當前區塊的預測圖像。

[MV導出＞仿射間模式] 圖28A是用於說明具有2個控制點之仿射間模式的概念圖。

在此仿射間模式中，如圖28A所示，從鄰接於當前區塊的編碼完畢區塊A、區塊B及區塊C之移動向量所選擇的移動向量，會作為當前區塊的左上角的控制點的預測移動向量v₀ 來使用。同樣地，從鄰接於當前區塊的編碼完畢區塊D及區塊E之移動向量所選擇的移動向量，會作為當前區塊的右上角的控制點的預測移動向量v₁ 來使用。

圖28B是用於說明具有3個控制點之仿射間模式的概念圖。

在此仿射間模式中，如圖28B所示，從鄰接於當前區塊的編碼完畢區塊A、區塊B及區塊C之移動向量所選擇的移動向量，會作為當前區塊的左上角的控制點的預測移動向量v₀ 來使用。同樣地，從鄰接於當前區塊的編碼完畢區塊D及區塊E之移動向量所選擇的移動向量，會作為當前區塊的右上角的控制點的預測移動向量v₁ 來使用。進而，從鄰接於當前區塊的編碼完畢區塊F及區塊G之移動向量所選擇的移動向量，會作為當前區塊的左下角的控制點的預測移動向量v₂ 來使用。

圖29是顯示仿射間模式之一例的流程圖。

如圖示，在仿射間模式中，首先，間預測部126導出當前區塊的2個或3個控制點各自的預測MV(v₀ ,v₁ )或(v₀ ,v₁ ,v₂ )(步驟Sj_1)。如圖25A或圖25B所示，控制點為當前區塊的左上角、右上角或左下角的點。

也就是說，間預測部126選擇圖28A或圖28B所示的當前區塊的各控制點附近的編碼完畢區塊之中任一個區塊的移動向量，藉此導出當前區塊的控制點的預測移動向量(v₀ ,v₁ )或(v₀ ,v₁ ,v₂ )。此時，間預測部126將用於識別已選擇的2個移動向量之預測移動向量選擇資訊編碼成串流。

例如，間預測部126亦可使用成本評價等來決定要從鄰接於當前區塊的編碼完畢區塊，選擇哪一個區塊的移動向量來作為控制點的預測移動向量，並將表示選擇了哪一個預測移動向量的旗標記述於位元流。

其次，間預測部126一邊更新在步驟Sj_1選擇或導出的各個預測移動向量(步驟Sj_2)，一邊進行移動搜尋(步驟Sj_3及Sj_4)。也就是說，間預測部126使用上述之式(1A)或式(1B)，算出對應於更新的預測移動向量之各子區塊的移動向量，來作為仿射MV(步驟Sj_3)。接著，間預測部126使用該等仿射MV及編碼完畢參考圖片，對各子區塊進行移動補償(步驟Sj_4)。其結果，間預測部126在移動搜尋迴路中，將例如可得到最小成本的預測移動向量，決定為控制點的移動向量(步驟Sj_5)。此時，間預測部126進一步將該已決定的MV與預測移動向量各自的差分值作為差分MV，編碼成串流。

最後，間預測部126使用該已決定的MV及編碼完畢參考圖片，對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Sj_6)。

[MV導出＞仿射間模式] 以CU級別切換不同控制點數目(例如2個及3個)的仿射模式並訊號化時，有在編碼完畢區塊與當前區塊中控制點的數目不同的情況。圖30A及圖30B是用於說明在編碼完畢區塊與當前區塊中控制點的數目不同時的控制點之預測向量導出方法的概念圖。

例如，如圖30A所示，在以當前區塊具有左上角、右上角及左下角3個控制點，且鄰接於當前區塊的左邊的區塊A具有2個控制點之仿射模式進行編碼時，會導出投影到包含有區塊A之編碼完畢區塊的左上角及右上角的位置之移動向量v₃ 及v₄ 。接著，從已導出的移動向量v₃ 及v₄ ，算出當前區塊的左上角的控制點的預測移動向量v₀ 、及右上角的控制點的預測移動向量v₁ 。進而，從已導出的移動向量v₀ 及v₁ ，算出左下角的控制點的預測移動向量v₂ 。

例如，如圖30B所示，在以當前區塊具有左上角及右上角的2個控制點，且鄰接於當前區塊的左邊的區塊A具有3個控制點之仿射模式進行編碼時，會導出投影到包含有區塊A之編碼完畢區塊的左上角、右上角及左下角的位置之移動向量v₃ 、v₄ 及v₅ 。接著，從已導出的移動向量v₃ 、v₄ 及v₅ ，算出當前區塊的左上角的控制點的預測移動向量v₀ 、及右上角的控制點的預測移動向量v₁ 。

圖29的步驟Sj_1中之當前區塊的控制點各自的預測移動向量之導出，亦可使用此預測移動向量導出方法。

[MV導出＞DMVR] 圖31A是顯示合併模式及DMVR之關係的流程圖。

間預測部126以合併模式來導出當前區塊的移動向量(步驟Sl_1)。其次，間預測部126判定是否進行移動向量之搜尋，亦即判定是否進行移動搜尋(步驟Sl_2)。在此，間預測部126在判定為不進行移動搜尋時(步驟Sl_2的否)，將步驟Sl_1所導出的移動向量決定為對於當前區塊的最終移動向量(步驟Sl_4)。亦即，在此情況下是以合併模式來決定當前區塊的移動向量。

另一方面，在步驟Sl_1判定為進行移動搜尋時(步驟Sl_2的是)，間預測部126藉由搜尋步驟Sl_1所導出之移動向量所示的參考圖片的周邊區域，對當前區塊導出最終移動向量(步驟Sl_3)。亦即，在此情況下是以DMVR來決定當前區塊的移動向量。

圖31B是用於說明用來決定MV的DMVR處理之一例的概念圖。

首先，(例如在合併模式中)令設定於當前區塊的最佳MVP為候選MV。接著，依照候選MV(L0)，從L0方向的編碼完畢圖片即第1參考圖片(L0)特定出參考像素。同樣地，依照候選MV(L1)，從L1方向的編碼完畢圖片即第2參考圖片(L1)特定出參考像素。藉由取該等參考像素的平均來產生模板。

其次，使用前述模板，分別搜尋第1參考圖片(L0)及第2參考圖片(L1)之候選MV的周邊區域，將成本為最小的MV決定為最終MV。另，亦可使用例如模板的各像素值與搜尋區域的各像素值之差分值及候選MV值等來算出成本值。

另，典型來說，在編碼裝置及後述之解碼裝置中，此處所說明的處理之構成及動作基本上是共通的。

就算並非此處所說明的處理例本身，只要是能搜尋候選MV的周邊來導出最終MV的處理，使用何種處理皆可。

[移動補償＞BIO/OBMC] 在移動補償中，有產生預測圖像且補正該預測圖像的模式。該模式例如為後述的BIO及OBMC。

圖32是顯示預測圖像的產生之一例的流程圖。

間預測部126產生預測圖像(步驟Sm_1)，且藉由例如上述任一種模式來補正該預測圖像(步驟Sm_2)。

圖33是顯示預測圖像的產生之另一例的流程圖。

間預測部126決定當前區塊的移動向量(步驟Sn_1)。其次，間預測部126產生預測圖像(步驟Sn_2)，並判定是否進行補正處理(步驟Sn_3)。在此，間預測部126在判定為進行補正處理時(步驟Sn_3的是)，補正該預測圖像，藉此產生最終預測圖像(步驟Sn_4)。另一方面，間預測部126在判定為不進行補正處理時(步驟Sn_3的否)，不進行補正，將該預測圖像作為最終預測圖像來輸出(步驟Sn_5)。

又，在移動補償中，有在產生預測圖像時補正亮度的模式。該模式例如為後述的LIC。

圖34是顯示預測圖像的產生之另一例的流程圖。

間預測部126導出當前區塊的移動向量(步驟So_1)。其次，間預測部126判定是否進行亮度補正處理(步驟So_2)。在此，間預測部126在判定為進行亮度補正處理時(步驟So_2的是)，一邊進行亮度補正一邊產生預測圖像(步驟So_3)。也就是說，藉LIC來產生預測圖像。另一方面，間預測部126在判定為不進行亮度補正處理時(步驟So_2的否)，不進行亮度補正而藉由通常的移動補償來產生預測圖像(步驟So_4)。

[移動補償＞OBMC] 亦可不僅使用藉由移動搜尋所得到的當前區塊的移動資訊，還使用鄰接區塊的移動資訊來產生間預測訊號。具體而言，亦可將基於藉由(參考圖片內的)移動搜尋所得到的移動資訊之預測訊號、與基於(當前圖片內的)鄰接區塊的移動資訊之預測訊號進行加權相加，藉此以當前區塊內的子區塊單位來產生間預測訊號。這種間預測(移動補償)有時稱為OBMC(overlapped block motion compensation/重疊區塊移動補償)。

在OBMC模式中，顯示OBMC用的子區塊的尺寸之資訊(例如稱為OBMC區塊尺寸)亦可以序列級別來訊號化。進而，顯示是否適用OBMC模式之資訊(例如稱為OBMC旗標)亦可以CU級別來訊號化。另，該等資訊之訊號化之級別不必限定在序列級別及CU級別，亦可為其他級別(例如圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。

針對OBMC模式之例更具體地加以說明。圖35及圖36是用於說明OBMC處理進行的預測圖像補正處理之概要的流程圖及概念圖。

首先，如圖36所示，使用被分配到處理對象(當前)區塊之移動向量(MV)，來取得通常的移動補償之預測圖像(Pred)。在圖36中，箭頭「MV」指向參考圖片，表示為了得到預測圖像，當前圖片的當前區塊正在參考何者。

其次，將已對編碼完畢的左鄰接區塊導出的移動向量(MV_L)適用(重新利用)於編碼對象區塊而取得預測圖像(Pred_L)。移動向量(MV_L)是由從當前區塊指向參考圖片的箭頭「MV_L」來表示。接著，將2個預測圖像Pred與Pred_L重疊，藉此進行預測圖像的第1次補正。這具有將鄰接區塊間的邊界混合的效果。

同樣地，將已對編碼完畢的上鄰接區塊導出的移動向量(MV_U)適用(重新利用)於編碼對象區塊而取得預測圖像(Pred_U)。移動向量(MV_U)是由從當前區塊指向參考圖片的箭頭「MV_U」來表示。接著，將預測圖像Pred_U重疊於已進行第1次補正的預測圖像(例如Pred及Pred_L)，藉此進行預測圖像的第2次補正。這具有將鄰接區塊間的邊界混合的效果。藉由第2次補正所得到的預測圖像，為與鄰接區塊的邊界已被混合(已平滑化)之當前區塊的最終預測圖像。

另，上述之例雖是使用左鄰接及上鄰接的區塊之2次的補正方法，但該補正方法亦可為連右鄰接及/或下鄰接的區塊都使用的3次或3次以上的補正方法。

另，進行重疊的區域亦可不是區塊整體的像素區域，而是僅區塊邊界附近之一部分的區域。

另，在此針對為了從1張參考圖片將追加的預測圖像Pred_L及Pred_U相重疊並藉此得到1張預測圖像Pred而使用的OBMC預測圖像補正處理進行了說明。然而當根據複數個參考圖像來補正預測圖像時，亦可於複數張參考圖片之各個適用同樣的處理。在這種情況下，藉由進行基於複數張參考圖片的OBMC之圖像補正，而從各張參考圖片取得已補正的預測圖像，之後將該等取得的複數個補正預測圖像進一步重疊，藉此取得最終預測圖像。

另，在OBMC中，對象區塊的單位可為預測區塊單位，亦可為將預測區塊進一步分割後的子區塊單位。

作為判定是否適用OBMC處理的方法，例如有使用obmc_flag的方法，前述obmc_flag是顯示是否適用OBMC處理的訊號。舉一具體例來說，編碼裝置亦可判定對象區塊是否屬於移動複雜的區域。屬於移動複雜的區域時，編碼裝置設定值1來作為obmc_flag，適用OBMC處理來進行編碼，不屬於移動複雜的區域時，設定值0來作為obmc_flag，不適用OBMC處理而進行區塊的編碼。另一方面，在解碼裝置中，則是將記述於串流(例如壓縮序列)的obmc_flag解碼，藉此因應該值來切換是否適用OBMC處理並進行解碼。

間預測部126在上述之例中是對矩形的當前區塊產生1個矩形的預測圖像。然而，間預測部126亦可對該矩形的當前區塊產生與矩形不同形狀的複數個預測圖像，並將該等複數個預測圖像結合，藉此產生最終的矩形之預測圖像。與矩形不同的形狀例如亦可為三角形。

圖37是用於說明2個三角形的預測圖像之產生的概念圖。

間預測部126對當前區塊內的三角形之第1分區使用該第1分區的第1MV來進行移動補償，藉此產生三角形的預測圖像。同樣地，間預測部126對當前區塊內的三角形之第2分區，使用該第2分區的第2MV來進行移動補償，藉此產生三角形的預測圖像。接著，間預測部126藉由結合該等預測圖像，來產生與當前區塊為相同矩形的預測圖像。

另，在圖37所示之例中，第1分區及第2分區雖分別為三角形，但亦可為梯形，亦可分別為互相不同的形狀。進而，在圖37所示之例中，當前區塊雖是由2個分區所構成，但亦可由3個以上的分區所構成。

又，第1分區及第2分區亦可重複。亦即，第1分區及第2分區亦可包含有相同的像素區域。在此情況下，亦可使用第1分區之預測圖像及第2分區之預測圖像來產生當前區塊的預測圖像。

又，在本例中顯示了2個分區皆以間預測來產生預測圖像的例子，但亦可針對至少1個分區，藉由內預測來產生預測圖像。

[移動補償＞BIO] 其次，針對導出移動向量的方法加以說明。首先，針對根據模型來導出移動向量的模式加以說明，且前述模型為假設等速直線運動之模型。此模式有時稱為BIO (bi-directional optical flow/雙向光流)模式。

圖38是用於說明假設等速直線運動的模型的概念圖。在圖38中，(v_x ,v_y )表示速度向量，τ₀ 、τ₁ 各表示當前圖片(Cur Pic)與2張參考圖片(Ref₀ ,Ref₁ )之間的時間上的距離。(MVx₀ ,MVy₀ )表示對應於參考圖片Ref₀ 的移動向量，(MVx₁ ,MVy₁ )表示對應於參考圖片Ref₁ 的移動向量。

此時在速度向量(v_x ,v_y )為等速直線運動的假設下，(MVx₀ ,MVy₀ )及(MVx₁ ,MVy₁ )分別表示成(v_x τ₀ ,v_y τ₀ )及(-v_x τ₁ ,-v_y τ₁ )，亦可採用以下的光流等式(2)。 [數3]

在此，I^(k) 表示移動補償後之參考圖像k(k=0,1)的亮度值。此光流等式表示(i)亮度值的時間微分、(ii)水平方向的速度及參考圖像的空間梯度之水平成分的積、(iii)垂直方向的速度及參考圖像的空間梯度之垂直成分的積之和等於零。亦可根據此光流等式與赫米特內插法(Hermite interpolation)之組合，將從合併清單等所得到的區塊單位之移動向量以像素單位進行補正。

另，亦可利用與根據假設等速直線運動之模型來導出移動向量的方法不同的方法，在解碼裝置側導出移動向量。例如，亦可根據複數個鄰接區塊的移動向量，以子區塊單位導出移動向量。

[移動補償＞LIC] 其次，針對使用LIC(local illumination compensation/局部亮度補償)處理來產生預測圖像(預測)的模式之一例加以說明。

圖39是用於說明使用了LIC處理的亮度補正處理的預測圖像產生方法之一例的概念圖。

首先，從編碼完畢的參考圖片導出MV，取得對應於當前區塊的參考圖像。

其次，對當前區塊擷取表示亮度值在參考圖片與當前圖片中如何變化的資訊。此擷取是根據當前圖片中的編碼完畢左鄰接參考區域(周邊參考區域)及編碼完畢上鄰參考區域(周邊參考區域)的亮度像素值、與以導出的MV所指定的參考圖片內之同等位置的亮度像素值來進行。接著，使用表示亮度值如何變化的資訊，算出亮度補正參數。

對以MV指定的參考圖片內的參考圖像，進行適用前述亮度補正參數的亮度補正處理，藉此產生對於當前區塊的預測圖像。

另，圖39中的前述周邊參考區域之形狀僅為一例，亦可使用除此之外的形狀。

又，在此雖針對從1張參考圖片產生預測圖像的處理加以說明，但從複數張參考圖片產生預測圖像的情況也一樣，亦可先以與上述同樣的方法對從各張參考圖片取得的參考圖像進行亮度補正處理後，再產生預測圖像。

作為判定是否適用LIC處理的方法，例如有使用lic_flag的方法，前述lic_flag為表示是否適用LIC處理的訊號。舉一具體例來說，在編碼裝置中，判定當前區塊是否屬於產生亮度變化之區域，若屬於產生亮度變化之區域，則設定值1來作為lic_flag並適用LIC處理來進行編碼，若不屬於產生亮度變化之區域，則設定值0來作為lic_flag且不適用LIC處理而進行編碼。另一方面，在解碼裝置中，亦可藉由將記述於串流之lic_flag解碼，而因應其值來切換是否適用LIC處理並進行解碼。

作為判定是否適用LIC處理之別的方法，例如還有依照周邊區塊是否適用了LIC處理來判定的方法。舉一具體例來說，在當前區塊為合併模式時，判定在合併模式處理中的MV導出之際選擇的周邊編碼完畢區塊是否適用了LIC處理且已編碼。因應其結果來切換是否適用LIC處理並進行編碼。另，在本例的情況下，也是相同處理可適用於解碼裝置側的處理。

針對LIC處理(亮度補正處理)之態樣，已使用圖39加以說明，以下，說明其詳細。

首先，間預測部126從編碼完畢圖片即參考圖片，來導出用於取得對應於編碼對象區塊之參考圖像的移動向量。

其次，間預測部126對編碼對象區塊使用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值、及以移動向量指定的參考圖片內之同等位置的亮度像素值，來擷取表示亮度值在參考圖片與編碼對象圖片中如何變化的資訊，而算出亮度補正參數。例如，令編碼對象圖片內之周邊參考區域內的某像素的亮度像素值為p0，且令與該像素同等位置之參考圖片內的周邊參考區域內的像素的亮度像素值為p1。間預測部126對周邊參考區域內的複數個像素算出將A×p1＋B＝p0最佳化的係數A及B，來作為亮度補正參數。

其次，間預測部126對以移動向量指定的參考圖片內的參考圖像使用亮度補正參數來進行亮度補正處理，藉此產生對於編碼對象區塊的預測圖像。例如，令參考圖像內的亮度像素值為p2，且令亮度補正處理後的預測圖像的亮度像素值為p3。間預測部126對參考圖像內的各像素算出A×p2＋B＝p3，藉此產生亮度補正處理後的預測圖像。

另，圖39中之周邊參考區域的形狀僅為一例，亦可使用除此之外的形狀。又，亦可使用圖39所示之周邊參考區域的一部分。例如，亦可使用包含有從上鄰接像素及左鄰接像素分別間隔預定數的像素之區域來作為周邊參考區域。又，周邊參考區域不限於和編碼對象區塊鄰接的區域，亦可為和編碼對象區塊不鄰接的區域。關於像素的預定數亦可事先決定。

又，在圖39所示之例中，參考圖片內的周邊參考區域為以編碼對象圖片之移動向量從編碼對象圖片內的周邊參考區域來指定的區域，但亦可為以其他移動向量來指定的區域。例如，該其他移動向量亦可為編碼對象圖片內的周邊參考區域的移動向量。

另，在此說明的雖然是編碼裝置100中的動作，但解碼裝置200中的動作，典型來說也是同樣的。

另，LIC處理不只可適用於亮度，亦可適用於色差。此時，可分別對Y、Cb及Cr個別地導出補正參數，亦可對任一者使用共通的補正參數。

又，LIC處理亦可在子區塊單位下適用。例如，亦可使用當前子區塊的周邊參考區域、及以當前子區塊的MV來指定的參考圖片內的參考子區塊的周邊參考區域，來導出補正參數。

[預測控制部] 預測控制部128選擇內預測訊號(從內預測部124輸出的訊號)及間預測訊號(從間預測部126輸出的訊號)之任一者，將選擇的訊號作為預測訊號來輸出至減法部104及加法部116。

如圖1所示，在各種編碼裝置例中，預測控制部128亦可將輸入至熵編碼部110的預測參數輸出。熵編碼部110亦可根據從預測控制部128輸入的該預測參數、及從量化部108輸入的量化係數，來產生編碼位元流(或序列)。預測參數亦可使用於解碼裝置。解碼裝置亦可接收編碼位元流後解碼，並進行與內預測部124、間預測部126及預測控制部128中所進行的預測處理相同的處理。預測參數亦可包括：選擇預測訊號(例如移動向量、預測類型、或在內預測部124或間預測部126中使用的預測模式)；或，以內預測部124、間預測部126及預測控制部128中所進行的預測處理為基準或者表示該預測處理之任意的索引、旗標或值。

[編碼裝置的安裝例] 圖40是顯示編碼裝置100之安裝例的方塊圖。編碼裝置100具備處理器a1及記憶體a2。例如，圖1所示的編碼裝置100的複數個構成要素是藉由圖40所示的處理器a1及記憶體a2來安裝。

處理器a1為進行資訊處理的電路，且為可對記憶體a2進行存取的電路。例如，處理器a1是將動態圖像編碼之專用或通用的電子電路。處理器a1亦可為如CPU之處理器。又，處理器a1亦可為複數個電子電路的集合體。又，例如處理器a1亦可發揮圖1等所示之編碼裝置100之複數個構成要素中的複數個構成要素的功能。

記憶體a2是記憶有處理器a1用來將動態圖像編碼的資訊之專用或通用的記憶體。記憶體a2可為電子電路，亦可連接於處理器a1。又，記憶體a2亦可包含於處理器a1。又，記憶體a2亦可為複數個電子電路的集合體。又，記憶體a2可為磁碟或光碟等，亦可呈現為儲存裝置(storage)或記錄媒體等。又，記憶體a2可為非揮發性記憶體，亦可為揮發性記憶體。

例如，記憶體a2亦可記憶要編碼的動態圖像，亦可記憶對應於已編碼的動態圖像之位元列。又，記憶體a2亦可記憶處理器a1用來將動態圖像編碼的程式。

又，例如，記憶體a2亦可發揮圖1等所示之編碼裝置100的複數個構成要素中用來記憶資訊之構成要素的功能。例如，記憶體a2亦可發揮圖1所示之區塊記憶體118及幀記憶體122的功能。更具體而言，記憶體a2亦可記憶重構完畢區塊及重構完畢圖片等。

另，在編碼裝置100中，可不安裝圖1等所示之複數個構成要素的全部，亦可不進行上述之複數個處理的全部。圖1等所示之複數個構成要素的一部分亦可包含於其他裝置，上述之複數個處理的一部分亦可藉其他裝置來執行。

[解碼裝置] 其次，針對可將例如從上述之編碼裝置100輸出之編碼訊號(編碼位元流)解碼的解碼裝置加以說明。圖41是顯示實施形態之解碼裝置200的功能構成的方塊圖。解碼裝置200是以區塊單位來將動態圖像解碼的動態圖像解碼裝置。

如圖41所示，解碼裝置200具備：熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、幀記憶體214、內預測部216、間預測部218、及預測控制部220。

解碼裝置200可藉由例如通用處理器及記憶體來實現。此情況下，當記憶體儲存的軟體程式藉由處理器來執行時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218及預測控制部220來發揮功能。又，解碼裝置200亦可作為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218及預測控制部220之專用的1個以上的電子電路來實現。

以下，在說明解碼裝置200整體的處理流程之後，再針對解碼裝置200包含的各構成要素加以說明。

[解碼處理的整體流程] 圖42是顯示解碼裝置200進行之整體的解碼處理之一例的流程圖。

首先，解碼裝置200的熵解碼部202特定出固定尺寸的區塊(例如128×128像素)的分割樣式(步驟Sp_1)。此分割樣式為藉由編碼裝置100所選擇的分割樣式。接著，解碼裝置200對構成該分割樣式的複數個區塊的各個進行步驟Sp_2至Sp_6的處理。

也就是說，熵解碼部202將解碼對象區塊(也稱為當前區塊)之被編碼的量化係數及預測參數進行解碼(具體來說是熵解碼)(步驟Sp_2)。

其次，反量化部204及反轉換部206對複數個量化係數進行反量化及反轉換，藉此將複數個預測殘差(亦即差分區塊)復原(步驟Sp_3)。

其次，由內預測部216、間預測部218及預測控制部220的全部或一部分所構成的預測處理部會產生當前區塊的預測訊號(又稱為預測區塊)(步驟Sp_4)。

其次，加法部208對差分區塊加上預測區塊，藉此將當前區塊重構成重構圖像(又稱為解碼圖像區塊)(步驟Sp_5)。

接著，產生此重構圖像後，迴路濾波部212對該重構圖像進行濾波(步驟Sp_6)。

接著，解碼裝置200判定圖片整體的解碼是否已完成(步驟Sp_7)，當判定為未完成時(步驟Sp_7的否)，重複執行從步驟Sp_1開始的處理。

如圖示，步驟Sp_1至Sp_7的處理是藉由解碼裝置200依序地進行。或，該等處理中之一部分的複數個處理亦可並列進行，亦可進行順序之對調。

[熵解碼部] 熵解碼部202將編碼位元流熵解碼。具體而言，熵解碼部202例如從編碼位元流算術解碼成二值訊號。接著，熵解碼部202將二值訊號多值化(debinarize)。熵解碼部202以區塊單位將量化係數輸出至反量化部204。熵解碼部202亦可將編碼位元流(參考圖1)所包含的預測參數輸出至實施形態之內預測部216、間預測部218及預測控制部220。內預測部216、間預測部218及預測控制部220可執行與編碼裝置側之內預測部124、間預測部126及預測控制部128所進行的處理相同的預測處理。

[反量化部] 反量化部204將從熵解碼部202輸入的解碼對象區塊(以下稱為當前區塊)之量化係數反量化。具體而言，反量化部204針對當前區塊的各個量化係數，根據對應於該量化係數的量化參數，將該量化係數反量化。接著，反量化部204將當前區塊之經反量化的量化係數(亦即轉換係數)輸出至反轉換部206。

[反轉換部] 反轉換部206將從反量化部204輸入的轉換係數反轉換，藉此復原預測誤差。

例如當從編碼位元流解讀的資訊表示適用EMT或AMT時(例如AMT旗標為真)，反轉換部206根據已解讀之表示轉換類型的資訊，將當前區塊的轉換係數反轉換。

又例如，當從編碼位元流解讀的資訊表示適用NSST時，反轉換部206對轉換係數適用反再轉換。

[加法部] 加法部208藉由將從反轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本相加來重構當前區塊。接著，加法部208將已重構的區塊輸出至區塊記憶體210及迴路濾波部212。

[區塊記憶體] 區塊記憶體210是用以儲存以下區塊的記憶部：在內預測中參考的區塊，且是解碼對象圖片(以下稱為當前圖片)內的區塊。具體而言，區塊記憶體210儲存從加法部208輸出的重構區塊。

[迴路濾波部] 迴路濾波部212對藉由加法部208重構後的區塊施加迴路濾波，並將濾波後的重構區塊輸出至幀記憶體214及顯示裝置等。

當從編碼位元流解讀的表示ALF之開啟/關閉的資訊表示ALF開啟時，根據局部的梯度之方向及活性度來從複數個濾波器中選擇1個濾波器，將選擇的濾波器適用於重構區塊。

[幀記憶體] 幀記憶體214是用以儲存間預測中使用的參考圖片之記憶部，有時也稱為幀緩衝器。具體而言，幀記憶體214儲存藉由迴路濾波部212濾波後的重構區塊。

[預測處理部(內預測部、間預測部、預測控制部)] 圖43是顯示在解碼裝置200之預測處理部進行的處理之一例的流程圖。另，預測處理部是由內預測部216、間預測部218及預測控制部220的全部或一部分的構成要素所構成。

預測處理部產生當前區塊的預測圖像(步驟Sq_1)。此預測圖像也稱為預測訊號或預測區塊。另，預測訊號例如有內預測訊號或間預測訊號。具體而言，預測處理部使用藉由進行預測區塊之產生、差分區塊之產生、係數區塊之產生、差分區塊之復原、及解碼圖像區塊之產生而已經得到的重構圖像，來產生當前區塊的預測圖像。

重構圖像例如可為參考圖片之圖像，亦可為包含有當前區塊的圖片即當前圖片內的解碼完畢的區塊之圖像。當前圖片內的解碼完畢的區塊例如為當前區塊的鄰接區塊。

圖44是顯示在解碼裝置200之預測處理部進行的處理之另一例的流程圖。

預測處理部判定用來產生預測圖像的方式或模式(步驟Sr_1)。例如，此方式或模式亦可根據例如預測參數等來判定。

預測處理部在判定為用以產生預測圖像的模式為第1方式時，依照該第1方式來產生預測圖像(步驟Sr_2a)。又，預測處理部在判定為用以產生預測圖像的模式為第2方式時，依照該第2方式來產生預測圖像(步驟Sr_2b)。又，預測處理部在判定為用以產生預測圖像的模式為第3方式時，依照該第3方式來產生預測圖像(步驟Sr_2c)。

第1方式、第2方式及第3方式為用以產生預測圖像之互異的方式，且亦可分別為例如間預測方式、內預測方式及這些以外的預測方式。在該等預測方式中，亦可使用上述之重構圖像。

[內預測部] 內預測部216根據從編碼位元流解讀的內預測模式，參考儲存於區塊記憶體210之當前圖片內的區塊來進行內預測，藉此產生預測訊號(內預測訊號)。具體而言，內預測部216參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)來進行內預測，藉此產生內預測訊號，並將內預測訊號輸出至預測控制部220。

另，當在色差區塊的內預測中選擇了參考亮度區塊的內預測模式時，內預測部216亦可根據當前區塊的亮度成分來預測當前區塊的色差成分。

又，當從編碼位元流解讀的資訊表示適用PDPC時，內預測部216根據水平/垂直方向的參考像素的梯度來補正內預測後的像素值。

[間預測部] 間預測部218參考儲存於幀記憶體214的參考圖片來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，間預測部218使用從編碼位元流(例如從熵解碼部202輸出的預測參數)解讀的移動資訊(例如移動向量)來進行移動補償，藉此產生當前區塊或子區塊的間預測訊號，並將間預測訊號輸出至預測控制部220。

當從編碼位元流解讀的資訊表示適用OBMC模式時，間預測部218不僅可使用藉由移動搜尋所得到的當前區塊的移動資訊，還可使用鄰接區塊的移動資訊來產生間預測訊號。

又，當從編碼位元流解讀的資訊表示適用FRUC模式時，間預測部218依照從編碼位元流解讀的樣式匹配的方法(雙向匹配或模板匹配)來進行移動搜尋，藉此導出移動資訊。接著，間預測部218使用導出的移動資訊來進行移動補償(預測)。

又，當適用BIO模式時，間預測部218根據假設等速直線運動的模型來導出移動向量。又，當從編碼位元流解讀的資訊表示適用仿射移動補償預測模式時，間預測部218根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量。

[MV導出＞一般間模式] 當從編碼位元流解讀的資訊表示適用一般間模式時，間預測部218根據從編碼流解讀的資訊來導出MV，並使用該MV來進行移動補償(預測)。

圖45是顯示解碼裝置200中之一般間模式進行的間預測的例子的流程圖。

解碼裝置200的間預測部218依每個區塊，對該區塊進行移動補償。間預測部218根據時間上或空間上位於當前區塊的周圍之複數個解碼完畢區塊的MV等之資訊，對該當前區塊取得複數個候選MV(步驟Ss_1)。也就是說，間預測部218製作候選MV清單。

其次，間預測部218從在步驟Ss_1取得的複數個候選MV之中，依照預定的優先順序擷取N個(N為2以上的整數)候選MV之各個，來作為預測移動向量候選(也稱為預測MV候選)(步驟Ss_2)。另，該優先順序亦可對N個預測MV候選之各個事先決定。

其次，間預測部218從已輸入的串流(亦即編碼位元流)將預測移動向量選擇資訊解碼，使用該已解碼的預測移動向量選擇資訊，從該N個預測MV候選之中選擇1個預測MV候選，來作為當前區塊的預測移動向量(也稱為預測MV)(步驟Ss_3)。

其次，間預測部218從已輸入的串流將差分MV解碼，將該已解碼的差分MV即差分值，與已選擇的預測移動向量相加，藉此導出當前區塊的MV(步驟Ss_4)。

最後，間預測部218使用該已導出的MV及解碼完畢參考圖片對當前區塊進行移動補償，藉此產生該當前區塊的預測圖像(步驟Ss_5)。

[預測控制部] 預測控制部220選擇內預測訊號及間預測訊號之任一者，將已選擇的訊號作為預測訊號輸出至加法部208。整體上，解碼裝置側的預測控制部220、內預測部216及間預測部218的構成、功能及處理亦可與編碼裝置側的預測控制部128、內預測部124及間預測部126的構成、功能及處理相對應。

[解碼裝置的安裝例] 圖46是顯示解碼裝置200之安裝例的方塊圖。解碼裝置200具備處理器b1及記憶體b2。例如，圖41所示的解碼裝置200的複數個構成要素是藉由圖46所示的處理器b1及記憶體b2來安裝。

處理器b1是進行資訊處理的電路，且為可對記憶體b2進行存取的電路。例如，處理器b1是將已編碼之動態圖像(亦即編碼位元流)解碼之專用或通用的電子電路。處理器b1亦可為如CPU之處理器。又，處理器b1亦可為複數個電子電路的集合體。又，例如處理器b1亦可發揮圖41等所示之解碼裝置200之複數個構成要素中的複數個構成要素的功能。

記憶體b2是儲存有處理器b1用來將編碼位元流解碼的資訊之專用或通用的記憶體。記憶體b2可為電子電路，亦可連接於處理器b1。又，記憶體b2亦可包含於處理器b1。又，記憶體b2亦可為複數個電子電路的集合體。又，記憶體b2可為磁碟或光碟等，亦可呈現為儲存裝置或記錄媒體等。又，記憶體b2可為非揮發性記憶體，亦可為揮發性記憶體。

例如，記憶體b2可記憶動態圖像，亦可記憶編碼位元流。又，記憶體b2亦可記憶處理器b1用來將編碼位元流解碼的程式。

又，例如，記憶體b2亦可發揮在圖41等所示之解碼裝置200之複數個構成要素中用來記憶資訊之構成要素的功能。具體而言，記憶體b2亦可發揮圖41所示之區塊記憶體210及幀記憶體214的功能。更具體而言，記憶體b2亦可記憶重構完畢區塊及重構完畢圖片等。

另，在解碼裝置200中，亦可不安裝圖41等所示之複數個構成要素的全部，亦可不進行上述之複數個處理的全部。圖41等所示之複數個構成要素的一部分亦可包含於其他裝置，上述之複數個處理的一部分亦可藉由其他裝置來執行。

[各用語的定義] 舉一例來說，各用語亦可為如下的定義。

圖片為單色(monochrome)格式之複數個亮度樣本的陣列，或4：2：0、4：2：2及4：4：4的彩色格式之複數個亮度樣本的陣列及複數個色差樣本的2個對應陣列。圖片亦可為幀(frame)或場(field)。

幀是複數個樣本列0、2、4...所產生的上場(top field)以及複數個樣本列1、3、5...所產生的下場(bottom field)的組成物。

切片是1個獨立切片區段(slice segment)、及(如果有)相同存取單元內的(如果有)下一個獨立切片區段之前的所有後續之附屬切片區段所包含的整數個編碼樹單元。

圖塊是圖片中之特定的圖塊行及特定的圖塊列內的複數個編碼樹區塊的矩形區域。圖塊仍然可適用跨越圖塊的邊緣的迴路濾波，但亦可為刻意令其可獨立地解碼及編碼之幀的矩形區域。

區塊是複數個樣本的M×N(N列M行)陣列，或複數個轉換係數的M×N陣列。區塊亦可為由1個亮度及2個色差的複數個矩陣所構成之複數個像素的正方形或矩形的區域。

CTU(編碼樹單元)可為具有3個樣本陣列的圖片之複數個亮度樣本的編碼樹區塊，亦可為複數個色差樣本的2個對應編碼樹區塊。或，CTU亦可為單色圖片與使用語法(syntax)構造來編碼的圖片之任一種圖片的複數個樣本的編碼樹區塊，其中前述語法構造使用於3個分離的彩色平面及複數個樣本的編碼中。

超級區塊構成1個或2個模式資訊區塊，或，亦可為遞迴地分割成4個32×32區塊且可進一步分割的64×64像素的正方形區塊。

[BDOF(BIO)處理的概要的說明] 使用圖38、圖47及圖48，再次說明BDOF(BIO)處理的概要。

圖47是顯示基於BIO的間預測的一例的流程圖。又，圖48是顯示進行基於該BIO的間預測之間預測部126的功能構成的一例的圖。

如圖48所示，間預測部126例如具備：記憶體126a、內插圖像導出部126b、梯度圖像導出部126c、光流導出部126d、補正值導出部126e、及預測圖像補正部126f。另，記憶體126a亦可為幀記憶體122。

間預測部126使用與含有當前區塊的圖片(Cur Pic)不同的2張參考圖片(Ref0,Ref1)，來導出2個移動向量(M0,M1)。接著，間預測部126使用該等2個移動向量(M0,M1)，來導出當前區塊的預測圖像(步驟Sy_1)。另，移動向量M0為對應於參考圖片Ref0的移動向量(MVx0,MVy0)，移動向量M1為對應於參考圖片Ref1的移動向量(MVx1,MVy1)。

其次，內插圖像導出部126b參考記憶體126a，使用移動向量M0及參考圖片L0，來導出當前區塊的內插圖像I⁰ 。又，內插圖像導出部126b參考記憶體126a，使用移動向量M1及參考圖片L1，來導出當前區塊的內插圖像I¹ (步驟Sy_2)。在此，內插圖像I⁰ 為對於當前區塊來導出且包含於參考圖片Ref0的圖像，內插圖像I¹ 為對於當前區塊來導出且包含於參考圖片Ref1的圖像。內插圖像I⁰ 及內插圖像I¹ 各自也可和當前區塊為相同的尺寸。或者，為了適當地導出後述的梯度圖像，內插圖像I⁰ 及內插圖像I¹ 也可各自為大於當前區塊的圖像。進而，內插圖像I⁰ 及I¹ 也可包含有適用了移動向量(M0,M1)及參考圖片(L0,L1)與移動補償濾波器所導出的預測圖像。

又，梯度圖像導出部126c從內插圖像I⁰ 及內插圖像I¹ ，來導出當前區塊的梯度圖像(Ix⁰ ,Ix¹ ,Iy⁰ ,Iy¹ )(步驟Sy_3)。另，水平方向的梯度圖像為(Ix⁰ ,Ix¹ )，垂直方向的梯度圖像為(Iy⁰ ,Iy¹ )。梯度圖像導出部126c例如也可對內插圖像適用梯度濾波器，藉此來導出該梯度圖像。梯度圖像只要是顯示沿著水平方向或者垂直方向的像素值的空間性的變化量者即可。

其次，光流導出部126d以構成當前區塊的複數個子區塊單位，且使用內插圖像(I⁰ ,I¹ )及梯度圖像(Ix⁰ ,Ix¹ ,Iy⁰ ,Iy¹ )，來導出上述的速度向量即光流(vx,vy)(步驟Sy_4)。光流為補正像素的空間性的移動量的係數，亦可被稱為局部移動推定值、補正移動向量或是補正權重向量。舉一例來說，子區塊也可為4x4像素的子CU。另，光流的導出也可不以子區塊單位來進行，而是以像素單位等的其他單位來進行。

其次，間預測部126使用光流(vx,vy)，來補正當前區塊的預測圖像。例如，補正值導出部126e使用光流(vx,vy)，來導出當前區塊所包含的像素的值的補正值(步驟Sy_5)。接著，預測圖像補正部126f亦可使用補正值，來補正當前區塊的預測圖像(步驟Sy_6)。另，補正值亦可以各像素單位導出，亦可以複數個像素單位或者子區塊單位來導出。

另，BIO的處理流程不限於圖47揭示的處理。亦可只實施圖47揭示的處理的一部分處理，亦可追加或置換不同的處理，亦可以不同的處理順序來執行。

例如，BDOF(BIO)亦可被定義為使用參考區塊的梯度來產生已補正的預測圖像的處理。或者，BDOF亦可被定義為使用2個參考區塊各自的梯度來產生預測圖像的處理。或者，BDOF亦可被定義為在與仿射模式不同的模式中使用梯度來產生預測圖像的處理。或者，BDOF亦可被定義為與仿射模式不同的模式當中的光流處理。在此，梯度意指像素值的空間性的梯度。

[BIO的第1具體例] 其次，使用圖49、圖50及圖51，來說明基於BIO的解碼處理的第1具體例。例如，解碼裝置200從已進行移動補償的2個參考區塊來算出BIO參數，使用已算出的BIO參數，來將當前區塊解碼。BIO參數為對應於上述光流的參數，亦被稱為局部移動推定量、補正移動向量、補正MV值、補正權重移動向量或者BIO補正值。

圖49是顯示基於BIO的解碼處理的第1具體例的流程圖。圖50是顯示水平方向的梯度值即水平梯度值的算出例的概念圖。圖51是顯示垂直方向的梯度值即垂直梯度值的算出例的概念圖。

首先，解碼裝置200對當前區塊使用第1參考區塊的水平梯度值及第2參考區塊的水平梯度值，來算出第1和(S1001)。當前區塊亦可為如圖50及圖51所示的當前編碼單元(當前CU)的子區塊。

第1參考區塊為在當前區塊的解碼中被參考的區塊，且為藉由當前區塊或者當前CU的第1移動向量而在參考圖片L0之中決定的區塊。第2參考區塊為在當前區塊的解碼中被參考的區塊，且為藉由當前區塊或者當前CU的第2移動向量而在參考圖片L1之中決定的區塊。

基本上，參考圖片L0及參考圖片L1為彼此不同的2個參考圖片，第1參考區塊及第2參考區塊為彼此不同的2個參考區塊。又，在此，使用了藉由移動補償濾波器而以小數像素精度分別調整過的第1參考區塊及第2參考區塊，該等參考區塊具有與當前區塊相同的尺寸。

當前區塊為當前編碼單元的子區塊時，第1參考區塊及第2參考區塊也可各自為當前編碼單元的參考區塊的子區塊。

即，圖50及圖51中的參考圖片L0內的複數個像素值也可為：對參考圖片L0進行決定以作為當前編碼單元之參考區塊的區塊的複數個像素值。同樣地，圖50及圖51中的參考圖片L1內的複數個像素值也可為：對參考圖片L1進行決定以作為當前編碼單元之參考區塊的區塊的複數個像素值。

解碼裝置200使用上述的第1參考區塊的水平梯度值及上述的第2參考區塊的水平梯度值來算出第1和。解碼裝置200不限於第1參考區塊的水平梯度值及第2參考區塊的水平梯度值，亦可使用第1參考區塊周邊的水平梯度值及第2參考區塊周邊的水平梯度值來算出第1和。以下的式(3.1)及(3.2)表示第1和的算出處理方法的例子。 [數4]

[數5]

在此，×表示乘法，＋表示加法。又，sign表示正或者負的正負符號。具體來說，sign以1來表示正，以－1來表示負。更具體來說，sign例如如下表示。 [數6]

其結果是sign(G_x [i,j])×G_x [i,j]在G_x [i,j]為正值時，就維持G_x [i,j]，在G_x [i,j]為負值時，則成為－G_x [i,j]，也就是說，等同於導出G_x [i,j]的絕對值(abs)。

在式(3.1)中，I_x ⁰ 表示參考圖片L0的第1參考區塊中的水平梯度值，I_x ¹ 表示參考圖片L1的第2參考區塊中的水平梯度值。

用來取得水平梯度值的水平梯度濾波器的例子為具有[－1,0,1]的濾波器係數集的3抽頭濾波器(tap filter)。第1參考區塊中的水平梯度值是藉由對第1參考區塊中的複數個參考像素適用水平梯度濾波器來算出。第2參考區塊中的水平梯度值是藉由對第2參考區塊中的複數個參考像素適用水平梯度濾波器來算出。

在圖50所示的例子中，位於第1參考區塊的[3,2]的像素的水平梯度值I_x ⁰ 作為矩陣積[－1,0,1]^T [2,3,5]被算出，其值為3。位於第2參考區塊的[3,2]的像素的水平梯度值I_x ¹ 作為矩陣積[－1,0,1]^T [5,3,2]被算出，其值為－3。另，[a,b,c]表示3行1列的矩陣。

在式(3.2)當中，sG_x 表示第1和，且作為以Ω來表示的整個視窗的G_x 的絕對值和而被算出。Ω的尺寸亦可與當前區塊相同。又，Ω的尺寸亦可大於當前區塊的尺寸。又，在後者的情形時，當前區塊的鄰接位置的G_x 之值包含在第1和的算出處理中。

又，解碼裝置200對於當前區塊，與水平梯度值的和即第1和同樣，使用第1參考區塊的垂直梯度值及第2參考區塊的垂直梯度值來算出第2和(S1002)。以下的式(3.3)及(3.4)表示第2和的算出處理方法的例子。 [數7]

[數8]

在式(3.3)中，I_y ⁰ 表示參考圖片L0的第1參考區塊中的垂直梯度值，I_y ¹ 表示參考圖片L1的第2參考區塊中的垂直梯度值。

用來取得垂直梯度值的垂直梯度濾波器的例子為具有[－1,0,1]的濾波器係數集的3抽頭濾波器。第1參考區塊中的垂直梯度值是藉由對第1參考區塊中的複數個參考像素適用垂直梯度濾波器來算出。第2參考區塊中的垂直梯度值是藉由對第2參考區塊中的複數個參考像素適用垂直梯度濾波器來算出。

在圖51所示的例子中，位於第1參考區塊的[3,2]的像素的垂直梯度值I_y ⁰ 作為矩陣積[－1,0,1]^T [2,3,5]被算出，其值為3。位於第2參考區塊的[3,2]的像素的垂直梯度值I_y ¹ 作為矩陣積[－1,0,1]^T [5,3,2]被算出，其值為－3。

在式(3.4)當中，sG_y 表示第2和，且作為以Ω來表示的整個視窗的G_y 的絕對值和而被算出。Ω的尺寸大於當前區塊的尺寸時，當前區塊的鄰接位置的G_y 之值包含在第2和的算出處理中。

其次，解碼裝置200判定第1和是否大於第2和(S1003)。在已判定為第1和大於第2和時(在S1003，是)，解碼裝置200對當前區塊，以不使用垂直梯度值的方式來決定BIO參數(S1004)。式(3.5)至(3.9)顯示用來決定該情形之中的BIO參數的運算處理的例子。在該等數式中，以u來表示的BIO參數使用水平梯度值來算出。 [數9]

[數10]

[數11]

[數12]

[數13]

在此，－表示減法，＞＞表示移位(shift)運算。例如a＞＞b意指對a進行b位元量的右移。又，Bits、BIOShift及Clip分別表示如下。另，在下文中，ceil表示小數的進位，floor表示小數的捨去。 [數14]

在式(3.5)中，sG_x dI作為整個視窗Ω之I⁰ _i,j 及I¹ _i,j 的差分與sign(G_x [i,j])的乘積和而被算出。在此，I⁰ _i,j 表示參考圖片L0的第1參考區塊內的位置[i,j]中的像素值，I¹ _i,j 表示參考圖片L1的第2參考區塊內的位置[i,j]中的像素值。I⁰ _i,j 及I¹ _i,j 有時只以I⁰ 及I¹ 來表現。BIO參數u是藉由式(3.6)至(3.9)，使用sG_x dI及sG_x 來算出。

在已判定為第1和不大於第2和時(在S1003，否)，解碼裝置200對當前區塊，以不使用水平梯度值的方式來決定BIO參數u(S1005)。式(3.10)至(3.14)顯示用來決定該情形之中的BIO參數u的運算處理的例子。式(3.10)至(3.14)基本上和式(3.5)至(3.9)相同，但在式(3.10)至(3.14)中，BIO參數u使用垂直梯度值來算出。 [數15]

[數16]

[數17]

[數18]

[數19]

在式(3.10)中，sG_y dI作為整個視窗Ω之I⁰ _i,j 及I¹ _i,j 的差分與sign(G_y [i,j])的乘積和而被算出。BIO參數u是藉由式(3.11)至(3.14)，使用sG_y dI及sG_y 來算出。

然後，解碼裝置200使用BIO參數u來將當前區塊解碼(S1006)。具體來說，解碼裝置200使用BIO參數u來產生預測樣本，使用預測樣本來將當前區塊解碼。式(3.15)及(3.16)顯示用來產生預測樣本的運算處理的複數個例子。 [數20]

[數21]

在已判定為第1和大於第2和時(在S1003，是)，使用式(3.15)。在已判定為第1和不大於第2和時(在S1003，否)，使用式(3.16)。

解碼裝置200亦可對當前CU全部的子區塊反覆進行上述的處理(S1001至S1006)。

解碼裝置200藉由使用BIO，可提高當前區塊的預測樣本的精度。又，解碼裝置200在算出BIO參數時，只使用水平梯度值及垂直梯度值之中的一者，因此可抑制運算量的增加。

又，上述的數式只是一個例子，用來算出BIO參數的數式不限於上述的數式。例如，亦可適當地變更上述數式所包含的正負符號，亦可使用與上述數式等效的數式。具體來說，作為對應於上述的式(3.1)及(3.2)的數式，亦可使用以下的式(4.1)。 [數22]

又，例如作為對應於上述的式(3.5)的數式，亦可使用以下的式(4.2)。 [數23]

又，例如作為對應於上述的式(3.15)的數式，亦可使用以下的式(4.3)。 [數24]

又，因為式(3.6)至(3.9)實質上表示除法，因此亦可表示成以下的式(4.4)。 [數25]

該等數式(4.1)至(4.4)實質上和上述的式(3.1)、(3.2)、(3.5)至(3.9)及(3.15)相同。

同樣地，具體來說，亦可使用以下的式(4.5)，來作為對應於上述的式(3.3)及(3.4)的數式。 [數26]

又，例如作為對應於上述的式(3.10)的數式，亦可使用以下的式(4.6)。 [數27]

又，例如作為對應於上述的式(3.16)的數式，亦可使用以下的式(4.7)。 [數28]

又，因為式(3.11)至(3.14)實質上表示除法，因此亦可表示成以下的式(4.8)。 [數29]

該等數式(4.5)至(4.8)實質上和上述的式(3.3)、(3.4)、(3.10)至(3.14)及(3.16)相同。

又，在上述的流程中，是基於第1和與第2和的比較，來使用水平梯度值或者垂直梯度值，但解碼處理的流程不限於上述的流程。亦可藉由其他的編碼參數等來決定使用水平梯度值或者使用垂直梯度值。並且，亦可無須比較第1和與第2和，就使用水平梯度值來導出BIO參數，亦可使用垂直梯度值來導出BIO參數。又，亦可只算出第1和及第2和其中一者。

即使不比較第1和與第2和，藉由上述的數式，解碼裝置200亦可刪減在每個像素位置進行的運算中運算量大的實質的乘法，可以低運算量來將用於產生預測圖像的複數個參數導出。具體來說，在式(3.2)、(3.4)、(3.5)、(3.10)、(4.1)、(4.2)、(4.5)及(4.6)等之中，雖變更了正負符號，但未使用實質的乘法。因此，能大幅地刪減BIO處理中的實質的乘法的次數。

即，解碼裝置200可以低運算量來算出sG_x 、sG_x dI、sG_y 及sG_y dI。因此，解碼裝置200可刪減解碼的處理量。

在上述中，已顯示了解碼處理，但與上述相同的處理亦能適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

另，在此說明的運算式只是一個例子，只要是意味著同樣的處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，亦可讓第1和、第2和及BIO參數的複數個數式之中1個以上的數式置換成其他具體例的數式，亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述的說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

[BIO的第2具體例] 其次，說明基於BIO的解碼處理的第2具體例。例如，與第1具體例同樣地，解碼裝置200從已進行移動補償的2個參考區塊來算出BIO參數，使用已算出的BIO參數將當前區塊解碼。

在本具體例中，藉由以下的式(5.1)至(5.8)，來產生用於將當前區塊解碼的預測樣本。 [數30]

[數31]

[數32]

[數33]

[數34]

[數35]

[數36]

[數37]

本具體例中的式(5.1)的s₁ 對應於第1具體例中的式(3.2)的sG_x 。又，本具體例中的式(5.2)的s₂ 對應於第1具體例中的式(3.4)的sG_y 。又，本具體例中的式(5.3)的s₃ 對應於第1具體例中的式(3.5)的sG_x dI。又，本具體例中的式(5.4)的s₄ 對應於第1具體例中的式(3.10)的sG_y dI。

接著，本具體例中的式(5.5)至(5.7)的v_x 及v_y 分別對應於BIO參數，且對應於第1具體例中的式(3.9)及(3.14)的u。

在第1具體例中，是於sG_x 、sG_y 、sG_x dI及sG_y dI的算出之中進行正負符號的變更，不進行實質的乘法。另一方面，在本具體例中，對s₁ 、s₂ 、s₃ 及s₄ 的算出進行實質的乘法。藉此，雖使運算量增加，但能以更高的精度來產生預測樣本。反之，在第1具體例中，會刪減運算量。

另，在此說明的運算式只是一個例子，只要是意味著同樣的處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，亦可讓第1和、第2和及BIO參數的複數個數式之中1個以上的數式置換成其他具體例的數式，亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述的說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

[BIO的第3具體例] 其次，使用圖52來說明基於BIO的解碼處理的第3具體例。例如，與第1具體例同樣地，解碼裝置200從已進行移動補償的2個參考區塊來算出至少1個BIO參數，使用已算出的至少1個BIO參數將當前區塊解碼。

圖52是顯示基於BIO的解碼處理的第3具體例的流程圖。

首先，解碼裝置200對當前區塊使用第1參考區塊的水平梯度值及第2參考區塊的水平梯度值，來算出第1和(S2001)。本具體例中的第1和的算出處理(S2001)亦可與第1具體例中的第1和的算出處理(S1001)同樣。具體來說，解碼裝置200藉由與第1具體例中的式(3.1)及(3.2)相同的以下的式(6.1)及(6.2)，可算出sG_x 來作為第1和。 [數38]

[數39]

又，解碼裝置200對於當前區塊使用第1參考區塊的垂直梯度值及第2參考區塊的垂直梯度值，來算出第2和(S2002)。本具體例中的第2和的算出處理(S2002)亦可與第1具體例中的第2和的算出處理(S1002)同樣。具體來說，解碼裝置200藉由與第1具體例中的式(3.3)及(3.4)相同的以下的式(6.3)及(6.4)，可算出sG_y 來作為第2和。 [數40]

[數41]

其次，解碼裝置200判定第1和與第2和兩者大於第1值、以及第1和與第2和兩者小於第2值之中至少一種情形是否成立(S2003)。第1值亦可大於第2值，亦可小於第2值，亦可與第2值相同。第1值及第2值各自也可表現為第1閾值及第2閾值。

例如，在第1值＝100及第2值＝100的情形之中，基於第1和及第2和的判定結果如下。 第1和＝300、第2和＝50：判定結果＝偽 第1和＝50、第2和＝50：判定結果＝真 第1和＝300、第2和＝300：判定結果＝真 第1和＝50、第2和＝300：判定結果＝偽

在判定結果為真時(在S2003，是)，解碼裝置200對當前區塊使用水平梯度值及垂直梯度值兩者，來決定2個BIO參數(S2004)。式(6.5)至(6.8)顯示用於決定此情形中的2個BIO參數的運算處理的例子。在該等數式中，使用水平梯度值及垂直梯度值來算出以u及v表示的2個BIO參數。 [數42]

[數43]

[數44]

[數45]

式(6.5)及(6.6)各自和第1具體例中的式(3.5)及(3.10)相同。BIO參數u是藉由式(6.7)而使用sG_x dI及sG_x 來算出。BIO參數v是藉由式(6.8)而使用sG_y dI及sG_y 來算出。BIO參數u及v亦可分別使用替代式(6.7)及式(6.8)之以下的式(6.9)及(6.10)來算出。 [數46]

[數47]

在判定結果為偽時(在S2003，否)，解碼裝置200對當前區塊以不使用水平梯度值或者垂直梯度值的方式來決定1個BIO參數(S2005)。用於決定該情形中的1個BIO參數的運算處理的例子如下。

例如，解碼裝置200判定第1和是否大於第2和。在第1和大於第2和時，解碼裝置200藉由式(6.5)及(6.7)(或者(6.9))，只算出「u」來作為BIO參數。也就是說，在這情形下，解碼裝置200對當前區塊以不使用垂直梯度值的方式來決定BIO參數。

另一方面，在第1和不大於第2和時，解碼裝置200藉由式(6.6)及(6.8)(或者(6.10))，只算出「v」來作為BIO參數。也就是說，在這情形下，解碼裝置200對當前區塊以不使用水平梯度值的方式來決定BIO參數。

或者，例如解碼裝置200亦可判定第1和是否大於第1值，且第2和是否小於第2值。

接著，亦可在第1和大於第1值，且第2和小於第2值時，解碼裝置200對當前區塊以不使用垂直梯度值的方式只決定「u」來作為BIO參數。亦可在第1和不大於第1值，或者第2和不小於第2值時，解碼裝置200對當前區塊以不使用水平梯度值的方式只決定「v」來作為BIO參數。

最後，解碼裝置200使用至少1個BIO參數來將當前區塊解碼(S2006)。具體來說，解碼裝置200使用2個BIO參數u及v之中的至少1個來產生預測樣本，且使用預測樣本來將當前區塊解碼。式(6.11)至(6.13)顯示用於產生預測樣本的運算處理的複數個例子。 [數48]

[數49]

[數50]

在基於第1和、第2和、第1值及第2值的判定處理(S2003)的結果為真時，就使用式(6.11)。在判定結果(S2003)的結果為偽的情形下，只算出「u」時，就使用式(6.12)。在判定處理(S2003)的結果為偽的情形下，只算出「v」時，就使用式(6.13)。

解碼裝置200亦可對當前CU全部的子區塊反覆進行上述的處理(S2001至S2006)。

又，亦可使用與上述的判定處理(S2003)不同的判定處理。例如，解碼裝置200亦可判定第1和與第2和兩者是否大於第1值。

接著，亦可在第1和與第2和兩者大於第1值時，解碼裝置200對當前區塊使用水平梯度值及垂直梯度值兩者，來決定2個BIO參數。亦可在第1和與第2和之至少其中一者不大於第1值時，解碼裝置200對當前區塊以不使用水平梯度值或者垂直梯度值的方式決定1個BIO參數。

或者，例如，解碼裝置200亦可判定第1和是否大於第1值，且第2和是否大於第2值。

接著，亦可在第1和大於第1值，且第2和大於第2值時，解碼裝置200對當前區塊使用水平梯度值及垂直梯度值兩者來決定2個BIO參數。亦可在第1和不大於第1值，或第2和不大於第2值時，解碼裝置200對當前區塊以不使用水平梯度值或者垂直梯度值的方式決定1個BIO參數。

或者，例如，解碼裝置200亦可判定：第1和大於第1值且第2和大於第2值這樣的條件、及第1和小於第3值且第2和小於第4值這樣的條件的2個條件之至少其中一者是否成立。

接著，當2個條件的至少其中一者成立時，解碼裝置200亦可對當前區塊使用水平梯度值及垂直梯度值兩者來決定2個BIO參數。當2個條件都不成立時，解碼裝置200亦可對當前區塊以不使用水平梯度值或者垂直梯度值的方式決定1個BIO參數。

解碼裝置200藉由使用BIO，可以提高當前區塊中的預測樣本的精度。又，解碼裝置200根據條件，有只使用水平梯度值及垂直梯度值其中一值的情形。藉此，解碼裝置200可抑制運算量的增加。

又，上述的數式只是一個例子，用來算出BIO參數的數式不限於上述的數式。例如，亦可適當地變更上述數式所包含的正負符號，亦可使用與上述數式等效的數式。具體來說，作為對應於上述的式(6.1)及(6.2)的數式，亦可使用以下的式(7.1)。 [數51]

又，例如作為對應於上述的式(6.5)的數式，亦可使用以下的式(7.2)。 [數52]

又，例如作為對應於上述的式(6.12)的數式，亦可使用以下的式(7.3)。 [數53]

又，因為式(6.7)及(6.9)實質上表示除法，因此亦可表示成以下的式(7.4)。 [數54]

該等的式(7.1)至(7.4)與上述的式(6.1)、(6.2)、(6.5)、(6.7)、(6.9)及(6.12)實質上相同。

同樣地，具體來說，作為對應於上述的式(6.3)及(6.4)的數式，亦可使用以下的式(7.5)。 [數55]

又，例如作為對應於上述的式(6.6)的數式，亦可使用以下的式(7.6)。 [數56]

又，例如作為對應於上述的式(6.13)的數式，亦可使用以下的式(7.7)。 [數57]

又，因為式(6.8)及(6.10)實質上表示除法，因此亦可表示成以下的式(7.8)。 [數58]

該等的式(7.5)至(7.8)與上述的式(6.3)、(6.4)、(6.6)、(6.8)、(6.10)及(6.13)實質上相同。又，例如作為對應於上述的式(6.11)的數式，亦可使用以下的式(7.9)。以下的式(7.9)與上述的式(6.11)實質上相同。 [數59]

又，在上述的流程中，是基於第1和及第2和，來使用水平梯度值及垂直梯度值之至少其中一值，但解碼處理的流程不限於上述的流程。亦可藉由其他的編碼參數等來決定使用水平梯度值，或使用垂直梯度值，或使用該等兩者。

並且，亦可無關於第1和及第2和，使用水平梯度值來導出至少1個BIO參數，或者使用垂直梯度值來導出至少1個BIO參數，或者使用水平梯度值及垂直梯度值兩者來導出至少1個BIO參數。

解碼裝置200可無關於第1和及第2和，藉由上述的數式來刪減在每個像素位置進行的運算中運算量大的實質的乘法，且可將用於產生預測圖像的複數個參數以低運算量來導出。具體來說，在式(6.2)、(6.4)、(6.5)、(6.6)、(7.1)、(7.2)、(7.5)及(7.6)等之中，雖變更了正負符號，但未使用實質的乘法。因此，能大幅地刪減BIO處理中的實質的乘法的次數。

即，解碼裝置200可以低運算量來算出sG_x 、sG_x dI、sG_y 及sG_y dI。因此，解碼裝置200可刪減解碼的處理量。尤其是解碼裝置200亦可無關於第1和及第2和，使用水平梯度值及垂直梯度值兩者來導出至少1個BIO參數。藉此，解碼裝置200可一邊刪減解碼中的處理量，一邊使用水平梯度值及垂直梯度值兩者，來適當地產生預測圖像。

在上述中雖顯示了解碼處理，但與上述相同的處理亦可適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

另，用於算出BIO參數的數式只要是使用水平梯度值或者垂直梯度值來算出BIO參數的數式，亦可以另外的數式來置換。

例如，在第3具體例中，只要用於算出BIO參數u的數式是不基於垂直梯度值而根據水平梯度值來算出BIO參數u的數式，就不限於式(6.7)、(6.9)及(7.4)等。又，只要用於算出BIO參數v的數式是不基於水平梯度值而根據垂直梯度值來算出BIO參數v的數式，就不限於式(6.8)、(6.10)及(7.8)等。

又，在第1具體例及第3具體例中，第1和對應於水平梯度值，第2和對應於垂直梯度值。惟，該順序亦可替換。也就是說，亦可讓第1和對應於垂直梯度值，第2和對應於水平梯度值。

另，在此說明的運算式只是一個例子，只要是意味著同樣的處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，亦可讓第1和、第2和及BIO參數的複數個數式之中1個以上的數式置換成其他具體例的數式，亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述的說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

[BIO的第4具體例] 第1具體例、第2具體例及第3具體例中的BIO參數的算出處理及預測圖像的產生處理只是一個例子，亦可適用其他的算出處理及產生處理。例如亦可適用圖53的流程圖所示的處理。

圖53是顯示基於BIO的解碼處理的第4具體例的流程圖。在上述的複數個具體例中，如圖49及圖52所示，解碼裝置200根據第1和的大小及第2和的大小，來切換預測樣本的導出方法。另一方面，在本具體例中，解碼裝置200始終求出垂直方向及水平方向各自的光流成分來導出預測樣本。藉此，有使預測精度更為提高的可能性。

具體來說，在圖53的例子中，與圖49的例子與圖52的例子同樣地，解碼裝置200對當前區塊使用第1參考區塊的水平梯度值及第2參考區塊的水平梯度值，來算出第1和(S2001)。又，解碼裝置200對當前區塊使用第1參考區塊的垂直梯度值及第2參考區塊的垂直梯度值，來算出第2和(S2002)。

接著，在圖53的例子中，解碼裝置200不依據第1和的大小及第2和的大小，就對當前區塊使用水平梯度值及垂直梯度值兩者，來決定BIO參數(S2004)。對當前區塊使用水平梯度值及垂直梯度值兩者來決定BIO參數的動作亦可與第3具體例相同。例如，解碼裝置200亦可使用第3具體例記載的式(6.1)至(6.10)等，來作為用於決定BIO參數的運算式。

接著，解碼裝置200使用BIO參數來將當前區塊解碼(S2006)。例如，解碼裝置200使用2個BIO參數u及v來產生預測樣本。在這情況下，解碼裝置200亦可將預測樣本藉由式(6.11)等來導出。解碼裝置200亦可使用第1具體例記載的數式，或者其他數式。接著，解碼裝置200使用預測樣本來將當前區塊解碼。

又，出現在式(6.2)、(6.4)、(6.5)及(6.6)等之中的sign(x)亦可藉由前述之2值的式(a)定義，亦可藉由下面的式(b)定義。 [數60]

式(a)的sign函數回傳表示提供給sign函數的引數為正或負的值。式(b)的sign函數回傳表示提供給sign函數的引數為正或負或零的值。

在本來的光流的導出式中，式(6.2)、(6.4)、(6.5)及(6.6)內的sign(G_x [i,j])及sign(G_y [i,j])分別為G_x [i,j]及G_y [i,j]。因此，例如在G_x [i,j]＝0時，G_x [i,j]×(I⁰ _i,j －I¹ _i,j )＝0會作為中間值而被算出，在G_y [i,j]＝0時，G_y [i,j]×(I⁰ _i,j －I¹ _i,j )＝0會作為中間值而被算出。

惟，在已簡化的光流的導出式中，在sign(0)＝1時，不能得到適當的中間值。例如，在式(6.5)中，當G_x [i,j]＝0，sign(G_x [i,j])×(I⁰ _i,j －I¹ _i,j )＝(I⁰ _i,j －I¹ _i,j )會作為中間值而被算出。又，在式(6.6)中，當G_y [i,j]＝0，sign(G_y [i,j])×(I⁰ _i,j －I¹ _i,j )＝(I⁰ _i,j －I¹ _i,j )會作為中間值而被算出。也就是說，中間值不會成為0，而留下異於0的值。

在上述的式(b)的sign的定義中，當G_x [i,j]＝0，sign(G_x [i,j])×(I⁰ _i,j －I¹ _i,j )＝0會作為中間值而被算出，當G_y [i,j]＝0，sign(G_y [i,j])×(I⁰ _i,j －I¹ _i,j )＝0會作為中間值而被算出。因此，在這些情形之中，會算出與原本的光流的導出式相同的中間值。

因此，藉由上述的式(b)所定義的sign比起藉由上述的式(a)所定義的sign，更具有與原本的光流的數式相似的值。因此有使預測精度更為提高的可能性。

另，亦可在本揭示的所有內容中組合上述的變更。例如，第1具體例的sign(x)的定義亦可置換成上述的式(b)，第3具體例的sign(x)的定義亦可置換成上述的式(b)。

又，在上述中，已顯示了解碼處理，但與上述相同的處理亦可適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

又，例如，在上述說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

又，式(b)是回傳表示引數為正、負或是零的值的sign函數的一例。回傳表示引數為正、負或是零的值的sign函數，亦可藉能夠依據引數為正、負或是零而取得3個值的其他數式來表現。

[BIO的第5具體例] 其次，說明基於BIO的解碼處理的第5具體例。在第5具體例中，與第4具體例同樣地，始終求出垂直方向及水平方向各自的光流成分來導出預測樣本。下列的運算式為第5具體例中的運算式。 [數61]

[數62]

[數63]

[數64]

[數65]

[數66]

[數67]

[數68]

[數69]

[數70]

上述的式(8.1)至(8.6)、(8.8)及(8.10)和第3具體例中的式(6.1)至(6.6)、(6.9)及(6.11)相同。在本具體例中，追加了式(8.7)，式(6.10)被置換成式(8.9)。也就是說，y方向的BIO參數“v”是以依賴BIO參數“u”及參數“sG_x G_y ”的運算處理來導出，前述BIO參數“u”是x方向的BIO參數，前述參數“sG_x G_y ”是x方向的梯度與y方向的梯度的相關參數。依此，能導出精度更高的BIO參數，使可提高編碼效率的可能性變高。另，sG_x G_y 亦可表現為第3和。

又，亦可使用第4具體例記載的式(b)來作為sign(x)。如式(b)所定義的，藉由對應於3值的sign(x)，就有進一步提高編碼效率的可能性。又，亦可使用第1具體例記載的式(a)來作為sign(x)。藉此，與sign(x)對應於3值的情形相比，能將數式簡化，因此有可一邊減少處理負擔一邊提高編碼效率的可能性。

另，在此說明的運算式只是一例，只要是意味著同樣處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，第1和、第2和、第3和及BIO參數的複數個數式之中1個以上的數式亦可置換成其他具體例的數式，亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

又，本運算式不只可對第4具體例中的圖53的流程圖適用，亦可對第1具體例中的圖49的流程圖、第3具體例中的圖52的流程圖、或是其他的流程圖適用。

又，在上述中，已顯示了解碼處理，但與上述相同的處理亦可適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

[BIO的第6具體例] 其次，說明基於BIO的解碼處理的第6具體例。在第6具體例中，與第4具體例同樣地，始終求出垂直方向及水平方向各自的光流成分來導出預測樣本。下列的運算式為第6具體例中的運算式。 [數71]

[數72]

[數73]

[數74]

[數75]

[數76]

[數77]

[數78]

[數79]

上述的式(9.1)、(9.3)及(9.7)至(9.9)和第3具體例中的式(6.1)、(6.3)及(6.9)至(6.11)相同。在本具體例中，式(6.2)及(6.4)至(6.6)分別已置換成式(9.2)及(9.4)至(9.6)。

例如，在式(6.2)及(6.4)至(6.6)中，使用sign(G_x [i,j])及sign(G_y [i,j])來替代G_x [i,j]及G_y [i,j]，藉此移除實質的乘法。另一方面，在式(9.2)及(9.4)至(9.6)中，不使用sign(G_x [i,j])及sign(G_y [i,j])，直接使用G_x [i,j]及G_y [i,j]的值。即，使用實質的乘法。

因此，運算處理量增加。惟，能導出精度更高的BIO參數，能提高編碼效率的可能性變高。

另，在此說明的運算式只是一例，只要是意味著同樣處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，第1和、第2和、第3和及BIO參數的複數個數式之中1個以上的數式亦可置換成其他具體例的數式，或者亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

又，對應於本具體例的運算式不只可對第4具體例中的圖53的流程圖適用，亦可對第1具體例中的圖49的流程圖、第3具體例中的圖52的流程圖、或是其他的流程圖適用。

又，在上述中，已顯示了解碼處理，但與上述相同的處理亦可適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

[BIO的第7具體例] 其次，說明基於BIO的解碼處理的第7具體例。在第7具體例中，與第4具體例同樣地，始終求出垂直方向及水平方向各自的光流成分來導出預測樣本。下列的運算式為第7具體例中的運算式。 [數80]

[數81]

[數82]

[數83]

[數84]

[數85]

[數86]

[數87]

[數88]

[數89]

上述的式(10.1)、(10.3)及(10.5)至(10.10)是和第5具體例中的式(8.1)、(8.3)及(8.5)至(8.10)相同。在本具體例中，式(8.2)及(8.4)分別已置換成式(10.2)及(10.4)。具體來說，已使用abs函數來替代使用sign函數將正負符號轉換。

如式(10.2)及(10.4)使用abs函數所得到的結果，和如式(8.2)及(8.4)使用sign函數來將正負符號轉換所得到的結果相同。也就是說，本具體例實質上與第5具體例相同。

在第5具體例中，使用了G_x 的正負符號與G_x 的乘積，且使用了G_y 的正負符號與G_y 的乘積。在本具體例中，該乘積的部分已藉由絕對值來置換。藉此，可實現低處理化。

又，亦可適當地變更上述數式所包含的正負符號，亦可使用與上述數式等效的數式。具體來說，亦可使用對應於上述的式(10.1)至(10.7)之以下的式(11.1)至(11.5)。 [數90]

[數91]

[數92]

[數93]

[數94]

又，式(10.8)及(10.9)實質上表示除法，因此亦可表示成以下的式(11.6)及(11.7)。 [數95]

[數96]

另，在此說明的運算式只是一個例子，只要是意味著同樣的處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，第1和、第2和、第3和及BIO參數的複數個數式之中1個以上的數式亦可置換成其他具體例的數式，或者亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述的說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

又，對應於本具體例的運算式不只可對第4具體例中的圖53的流程圖適用，亦可對第1具體例中的圖49的流程圖、第3具體例中的圖52的流程圖、或是其他的流程圖適用。

又，在上述中，已顯示了解碼處理，但與上述相同的處理亦可適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

[BIO的第8具體例] 其次，說明基於BIO的解碼處理的第8具體例。在第8具體例中，與第4具體例同樣地，始終求出垂直方向及水平方向各自的光流成分來導出預測樣本。下列的運算式為第8具體例中的運算式。 [數97]

[數98]

[數99]

[數100]

[數101]

[數102]

[數103]

[數104]

[數105]

[數106]

上述的式(12.1)、(12.3)及(12.8)至(12.10)是和第5具體例中的式(8.1)、(8.3)及(8.8)至(8.10)相同。

另一方面，關於式(8.2)及(8.4)至(8.7)，是假設表示G_x 及G_y 的正負符號的值始終為1，且將式(8.2)及(8.4)至(8.7)分別置換成式(12.2)及(12.4)至(12.7)。這是基於以下的假設：在微小區域Ω之中，像素值的梯度的絕對值及正負符號皆為固定。

由於已經假設正負符號為固定，因此能刪減以像素單位來算出G_x 及G_y 的正負符號的處理。又，sG_x 的運算式和sG_x G_y 的運算式互為相等。藉此，能做到更進一步的處理刪減。

另，在此說明的運算式只是一例，只要是意味著同樣處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，第1和、第2和、第3和及BIO參數的複數個數式之中1個以上的數式亦可置換成其他具體例的數式，亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

又，本運算式不只可對第4具體例中的圖53的流程圖適用，亦可對第1具體例中的圖49的流程圖、第3具體例中的圖52的流程圖、或是其他的流程圖適用。

又，在上述中，已顯示了解碼處理，但與上述相同的處理亦可適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

[BIO的第9具體例] 其次，說明基於BIO的解碼處理的第9具體例。在第9具體例中，與第4具體例同樣地，始終求出垂直方向及水平方向各自的光流成分來導出預測樣本。下列的運算式為第9具體例中的運算式。 [數107]

[數108]

[數109]

[數110]

[數111]

[數112]

[數113]

[數114]

[數115]

上述的式(13.1)至(13.9)和第8具體例中的式(12.1)至(12.6)及(12.8)至(12.10)相同。根據在第8具體例中sG_x 的運算式和sG_x G_y 的運算式相等之情形，在本具體例中，刪除了第3和中的相互相關的導出處理。並且，v的導出是使用sG_x 。

另，在此說明的運算式只是一例，只要是意味著同樣處理的運算式，運算式亦可部分地變更、刪除或者追加。例如，第1和、第2和及BIO參數的複數個數式之中1個以上的數式亦可置換成其他具體例的數式，亦可置換成與其他具體例的數式不同的另外的數式。

又，例如，在上述說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

又，對應於本具體例的運算式不只可對第4具體例中的圖53的流程圖適用，亦可對第1具體例中的圖49的流程圖、第3具體例中的圖52的流程圖、或是其他的流程圖適用。

又，在上述中，已顯示了解碼處理，但與上述相同的處理亦可適用在編碼處理。也就是說，上述說明中的解碼亦可置換成編碼。

[BIO的第10具體例] 本具體例顯示可適用於其他具體例的變形例。例如，在各具體例的除法中，亦可使用查找表。例如，亦可使用6位元，亦即具有64個項目(entry)的查找表(divSigTable)。藉此，第5具體例中的式(8.8)及(8.9)分別可置換成以下的式(14.1)及(14.2)。其他具體例之同種類的數式亦可同樣地來置換。 [數116]

[數117]

上述的式(14.1)及(14.2)中的Upper6digits表示以下。 [數118]

又，梯度圖像可以藉由求出對於複數個像素的梯度值來得到。梯度值例如亦可藉由對複數個像素適用梯度濾波器來導出。藉由增加梯度濾波器的抽頭數，就有提高梯度值的精度，預測圖像的精度變高，編碼效率提昇的可能性。

另一方面，由於對每個像素位置進行處理，因此在進行處理的像素位置多時，運算量會變多。因此，亦可使用2抽頭的濾波器來作為梯度濾波器。即，梯度值亦可為梯度值的算出對象像素的上下或者左右的2像素的差分值。或者，梯度值亦可為梯度值的算出對象像素與鄰接於梯度值的算出對象像素的像素(具體來說為上、下、左或者右等的像素)的差分值。藉此，與抽頭數多的情形相比，有降低處理量的可能性。

另，要算出梯度值的複數個像素亦可為複數個整數像素，亦可含有小數像素。

又，例如，在上述的說明中，使用了具有[－1,0,1]的濾波係數集的濾波器，來作為求出水平梯度值及垂直梯度的濾波器的例子，但亦可使用具有[1,0,－1]的濾波係數集的濾波器等。

[構成及處理的代表例] 以下顯示上述所示的編碼裝置100及解碼裝置200的構成及處理的代表例。該代表例主要是對應於上述的第5具體例及第7具體例等。

圖54是顯示編碼裝置100進行的動作的流程圖。例如，編碼裝置100具備電路及連接於電路的記憶體。編碼裝置100所具備的電路及記憶體亦可對應於圖40所示的處理器a1及記憶體a2。編碼裝置100的電路在動作中進行以下處理。

例如，編碼裝置100的電路針對各相對像素位置，來導出水平梯度和絕對值，前述水平梯度和絕對值為第1範圍中的該相對像素位置的水平梯度值與第2範圍中的該相對像素位置的水平梯度值的和的絕對值(S3101)。

在此，第1範圍包含有當前區塊的第1參考區塊，第2範圍包含有當前區塊的第2參考區塊。各相對像素位置為對於第1範圍及第2範圍兩者共通且相對地決定的像素位置，且為第1範圍及第2範圍之各範圍中的像素位置。

又，對第1範圍及第2範圍兩者共通且相對地決定的像素位置意指：對第1範圍及第2範圍兩者以相對地相同的方式來決定的像素位置。例如，要求出1個水平梯度和絕對值時，就使用第1範圍及第2範圍之中相對地相同的像素位置的水平梯度值。具體來說，例如，使用第1範圍中的最左上位置的像素位置的水平梯度值、及第2範圍中的最左上位置的像素位置的水平梯度值，來導出1個水平梯度和絕對值。

接著，編碼裝置100的電路導出針對複數個相對像素位置而分別導出的複數個水平梯度和絕對值的總和，來作為第1參數(S3102)。

又，編碼裝置100的電路針對各相對像素位置來導出垂直梯度和絕對值，前述垂直梯度和絕對值為第1範圍中的該相對像素位置的垂直梯度值與第2範圍中的該相對像素位置的垂直梯度值的和的絕對值(S3103)。

接著，編碼裝置100的電路導出針對複數個相對像素位置而分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數(S3104)。

又，編碼裝置100的電路針對各相對像素位置來導出像素差分值，前述像素差分值為第1範圍中的該相對像素位置的像素值與第2範圍中的該相對像素位置的像素值的差(S3105)。例如，此時，編碼裝置100的電路針對各相對像素位置，在第1範圍中的該相對像素位置的像素值、及第2範圍中的該相對像素位置的像素值當中，從其中一者減去另一者，藉此來導出附有正負符號的像素差分值。

接著，編碼裝置100的電路針對各相對像素位置，藉由水平梯度和的正負符號，將針對該相對像素位置所導出的像素差分值的正負符號反轉或者維持，來導出水平對應像素差分值(S3106)。在此，就各相對像素位置而言，水平梯度和為第1範圍中的該相對像素位置的水平梯度值、與第2範圍中的該相對像素位置的水平梯度值的和。水平對應像素差分值為已藉由水平梯度和的正負符號而將正負符號反轉或者維持的像素差分值。

接著，編碼裝置100的電路導出針對複數個相對像素位置而分別導出的複數個水平對應像素差分值的總和，來作為第3參數(S3107)。

又，編碼裝置100的電路針對各相對像素位置，藉由垂直梯度和的正負符號，將針對該相對像素位置所導出的像素差分值的正負符號反轉或者維持，來導出垂直對應像素差分值(S3108)。在此，就各相對像素位置而言，垂直梯度和為第1範圍中的該相對像素位置的垂直梯度值、與第2範圍中的該相對像素位置的垂直梯度值的和。垂直對應像素差分值為已藉由垂直梯度和的正負符號而將正負符號反轉或者維持的像素差分值。

接著，編碼裝置100的電路導出針對複數個相對像素位置而分別導出的複數個垂直對應像素差分值的總和，來作為第4參數(S3109)。

又，編碼裝置100的電路針對各相對像素位置，藉由垂直梯度和的正負符號，將水平梯度和的正負符號反轉或者維持，來導出垂直對應水平梯度和(S3110)。在此，垂直對應水平梯度和為已藉由垂直梯度和的正負符號而將正負符號反轉或者維持的水平梯度和。

接著，編碼裝置100的電路導出針對複數個相對像素位置而分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數(S3111)。

接著，編碼裝置100的電路使用第1參數、第2參數、第3參數、第4參數及第5參數，來產生使用於當前區塊的編碼的預測圖像(S3112)。

藉此，有能刪減在每個像素位置進行的運算中運算量大的實質的乘法的可能性，且有能以低運算量來導出用於產生預測圖像的複數個參數的可能性。因此，有能刪減編碼中的處理量的可能性。又，有能根據包括與水平梯度值相關的參數、與垂直梯度值相關的參數、與水平梯度值及垂直梯度值兩者相關的參數之複數個參數，來適當地產生預測圖像的可能性。

又，例如，編碼裝置100的電路亦可藉由上述的式(11.1)來導出第1參數，且藉由上述的式(11.2)來導出第2參數。又，編碼裝置100的電路亦可藉由上述的式(11.3)來導出第3參數，且藉由上述的式(11.4)來導出第4參數。又，編碼裝置100的電路亦可藉由上述的式(11.5)來導出第5參數。

在此，Ω表示複數個相對像素位置的集合，[i,j]表示各相對像素位置。又，就各相對像素位置而言，I_x ⁰ 表示第1範圍中的該相對像素位置的水平梯度值，I_x ¹ 表示第2範圍中的該相對像素位置的水平梯度值。又，就各相對像素位置而言，I_y ⁰ 表示第1範圍中的該相對像素位置的垂直梯度值，I_y ¹ 表示第2範圍中的該相對像素位置的垂直梯度值。

又，就各相對像素位置而言，I⁰ 表示第1範圍中的該相對像素位置的像素值，I¹ 表示第2範圍中的該相對像素位置的像素值。又，abs(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的絕對值，sign(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的正負符號，abs(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的絕對值，sign(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的正負符號。

藉此，有使用像素值、水平梯度值及垂直梯度值且以低運算量來導出複數個參數的可能性。

又，例如，編碼裝置100的電路亦可將第3參數除以第1參數，藉此來導出第6參數。又，編碼裝置100的電路亦可從第4參數減去第5參數與第6參數的乘積，並除以第2參數，藉此來導出第7參數。接著，編碼裝置100的電路亦可使用第6參數及第7參數，來產生預測圖像。

藉此，有複數個參數被適當地匯總成對應於水平方向及垂直方向的2個參數的可能性。有在對應於水平方向的參數中適當地提取與水平梯度值相關的參數的可能性。有在對應於垂直方向的參數中適當地提取與垂直梯度值相關的參數、與水平梯度值及垂直梯度值兩者相關的參數、及對應於水平方向的參數的可能性。接著，有使用該等2個參數來適當地產生預測圖像的可能性。

又，例如，編碼裝置100的電路亦可藉由上述的式(10.8)來導出第6參數。又，編碼裝置100的電路亦可藉由上述的式(10.9)來導出第7參數。

在此，sG_x 表示第1參數，sG_y 表示第2參數，sG_x dI表示第3參數，sG_y dI表示第4參數，sG_x G_y 表示第5參數，u表示第6參數。Bits為將使引數的二進位對數進位至整數來得到的值回傳的函數。

藉此，有以低運算量來導出對應於水平方向及垂直方向的2個參數的可能性。

又，例如，編碼裝置100的電路亦可使用第1像素值、第1水平梯度值、第1垂直梯度值、第2像素值、第2水平梯度值、第2垂直梯度值、第6參數及第7參數來導出預測像素值，藉此產生預測圖像。

在此，預測像素值為當前區塊所包含的處理對象像素位置的預測像素值。第1像素值為第1參考區塊之中對應於處理對象像素位置的第1像素位置的像素值。第1水平梯度值為第1像素位置的水平梯度值。第1垂直梯度值為第1像素位置的垂直梯度值。第2像素值為第2參考區塊之中對應於處理對象像素位置的第2像素位置的像素值。第2水平梯度值為第2像素位置的水平梯度值。第2垂直梯度值為第2像素位置的垂直梯度值。

藉此，有使用對應於水平方向及垂直方向的2個參數等來產生預測圖像，且對應於水平方向及垂直方向的2個參數適當地反映到預測圖像的可能性。

又，例如，編碼裝置100的電路亦可將第1像素值、第2像素值、第1補正值、第2補正值的和除以2，藉此來導出預測像素值。在此，第1補正值對應於第1水平梯度值與第2水平梯度值的差和第6參數的乘積，第2補正值對應於第1垂直梯度值與第2垂直梯度值的差和第7參數的乘積。

藉此，有使用對應於水平方向及垂直方向的2個參數等來適當地產生預測圖像的可能性。

又，例如，編碼裝置100的電路亦可藉由上述的式(10.10)來導出預測像素值。在此，I⁰ 表示第1像素值，I¹ 表示第2像素值，u表示第6參數，I_x ⁰ 表示第1水平梯度值，I_x ¹ 表示第2水平梯度值，v表示第7參數，I_y ⁰ 表示第1垂直梯度值，I_y ¹ 表示第2垂直梯度值。藉此，有依照與對應於水平方向及垂直方向的2個參數等關聯的數式，來適當地產生預測圖像的可能性。

又，例如，編碼裝置100的電路亦可使用第1參數、第2參數、第3參數、第4參數及第5參數，來導出雙向光流的1個以上的參數，且使用雙向光流的1個以上的參數及雙向光流，來產生預測圖像。藉此，編碼裝置100可適當地產生預測圖像。

雙向光流的1個以上的參數亦可為上述的第6參數及第7參數之中至少1個。

另，編碼裝置100的間預測部126亦可作為編碼裝置100的電路來進行上述的動作。

圖55是顯示解碼裝置200進行的動作的流程圖。例如，解碼裝置200具備電路及連接於電路的記憶體。解碼裝置200所具備的電路及記憶體亦可對應於圖46所示的處理器b1及記憶體b2。解碼裝置200的電路在動作中進行以下處理。

例如，解碼裝置200的電路針對各相對像素位置，來導出水平梯度和絕對值，前述水平梯度和絕對值為第1範圍中的該相對像素位置的水平梯度值與第2範圍中的該相對像素位置的水平梯度值的和的絕對值(S3201)。

在此，第1範圍包含有當前區塊的第1參考區塊，第2範圍包含有當前區塊的第2參考區塊。各相對像素位置為對於第1範圍及第2範圍兩者共通且相對地決定的像素位置，且為第1範圍及第2範圍之各範圍中的像素位置。

接著，解碼裝置200的電路導出針對複數個相對像素位置而分別導出的複數個水平梯度和絕對值的總和，來作為第1參數(S3202)。

又，解碼裝置200的電路針對各相對像素位置來導出垂直梯度和絕對值，前述垂直梯度和絕對值為第1範圍中的該相對像素位置的垂直梯度值與第2範圍中的該相對像素位置的垂直梯度值的和的絕對值(S3203)。

接著，解碼裝置200的電路導出針對複數個相對像素位置而分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數(S3204)。

又，解碼裝置200的電路針對各相對像素位置來導出像素差分值，前述像素差分值為第1範圍中的該相對像素位置的像素值、與第2範圍中的該相對像素位置的像素值的差(S3205)。例如，此時，解碼裝置200的電路針對各相對像素位置，在第1範圍中的該相對像素位置的像素值、及第2範圍中的該相對像素位置的像素值當中，從其中一者減去另一者，藉此來導出附有正負符號的像素差分值。

接著，解碼裝置200的電路針對各相對像素位置，藉由水平梯度和的正負符號，將針對該相對像素位置所導出的像素差分值的正負符號反轉或者維持，來導出水平對應像素差分值(S3206)。在此，就各相對像素位置而言，水平梯度和為第1範圍中的該相對像素位置的水平梯度值、與第2範圍中的該相對像素位置的水平梯度值的和。水平對應像素差分值為已藉由水平梯度和的正負符號而將正負符號反轉或者維持的像素差分值。

接著，解碼裝置200的電路導出針對複數個相對像素位置而分別導出的複數個水平對應像素差分值的總和，來作為第3參數(S3207)。

又，解碼裝置200的電路針對各相對像素位置，藉由垂直梯度和的正負符號，將針對該相對像素位置所導出的像素差分值的正負符號反轉或者維持，來導出垂直對應像素差分值(S3208)。在此，就各相對像素位置而言，垂直梯度和為第1範圍中的該相對像素位置的垂直梯度值、與第2範圍中的該相對像素位置的垂直梯度值的和。垂直對應像素差分值為已藉由垂直梯度和的正負符號而將正負符號反轉或者維持的像素差分值。

接著，解碼裝置200的電路導出針對複數個相對像素位置而分別導出的複數個垂直對應像素差分值的總和，來作為第4參數(S3209)。

又，解碼裝置200的電路針對各相對像素位置，藉由垂直梯度和的正負符號，將水平梯度和的正負符號反轉或者維持，來導出垂直對應水平梯度和(S3210)。在此，垂直對應水平梯度和為已藉由垂直梯度和的正負符號而將正負符號反轉或者維持的水平梯度和。

接著，解碼裝置200的電路導出針對複數個相對像素位置而分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數(S3211)。

接著，解碼裝置200的電路使用第1參數、第2參數、第3參數、第4參數及第5參數，來產生使用於當前區塊的解碼的預測圖像(S3212)。

藉此，有能刪減在每個像素位置進行的運算中運算量大的實質的乘法的可能性，且有能以低運算量來導出用於產生預測圖像的複數個參數的可能性。因此，有能刪減解碼中的處理量的可能性。又，有能根據包括與水平梯度值相關的參數、與垂直梯度值相關的參數、與水平梯度值及垂直梯度值兩者相關的參數之複數個參數，來適當地產生預測圖像的可能性。

又，例如，解碼裝置200的電路亦可藉由上述的式(11.1)來導出第1參數，且藉由上述的式(11.2)來導出第2參數。又，解碼裝置200的電路亦可藉由上述的式(11.3)來導出第3參數，且藉由上述的式(11.4)來導出第4參數。又，解碼裝置200的電路亦可藉由上述的式(11.5)來導出第5參數。

在此，Ω表示複數個相對像素位置的集合，[i,j]表示各相對像素位置。又，就各相對像素位置而言，I_x ⁰ 表示第1範圍中的該相對像素位置的水平梯度值，I_x ¹ 表示第2範圍中的該相對像素位置的水平梯度值。又，就各相對像素位置而言，I_y ⁰ 表示第1範圍中的該相對像素位置的垂直梯度值，I_y ¹ 表示第2範圍中的該相對像素位置的垂直梯度值。

又，就各相對像素位置而言，I⁰ 表示第1範圍中的該相對像素位置的像素值，I¹ 表示第2範圍中的該相對像素位置的像素值。又，abs(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的絕對值，sign(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的正負符號，abs(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的絕對值，sign(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的正負符號。

藉此，有使用像素值、水平梯度值及垂直梯度值且以低運算量來導出複數個參數的可能性。

又，例如，解碼裝置200的電路亦可將第3參數除以第1參數，藉此來導出第6參數。又，解碼裝置200的電路亦可從第4參數減去第5參數與第6參數的乘積，並除以第2參數，藉此來導出第7參數。接著，解碼裝置200的電路亦可使用第6參數及第7參數，來產生預測圖像。

藉此，有複數個參數被適當地匯總成對應於水平方向及垂直方向的2個參數的可能性。有在對應於水平方向的參數中適當地提取與水平梯度值相關的參數的可能性。有在對應於垂直方向的參數中適當地提取與垂直梯度值相關的參數、與水平梯度值及垂直梯度值兩者相關的參數、及對應於水平方向的參數的可能性。接著，有使用該等2個參數來適當地產生預測圖像的可能性。

又，例如，解碼裝置200的電路亦可藉由上述的式(10.8)來導出第6參數。又，解碼裝置200的電路亦可藉由上述的式(10.9)來導出第7參數。

在此，sG_x 表示第1參數，sG_y 表示第2參數，sG_x dI表示第3參數，sG_y dI表示第4參數，sG_x G_y 表示第5參數，u表示第6參數。Bits為將使引數的二進位對數進位至整數來得到的值回傳的函數。

藉此，有以低運算量來導出對應於水平方向及垂直方向的2個參數的可能性。

又，例如，解碼裝置200的電路亦可使用第1像素值、第1水平梯度值、第1垂直梯度值、第2像素值、第2水平梯度值、第2垂直梯度值、第6參數及第7參數來導出預測像素值，藉此產生預測圖像。

在此，預測像素值為當前區塊所包含的處理對象像素位置的預測像素值。第1像素值為第1參考區塊之中對應於處理對象像素位置的第1像素位置的像素值。第1水平梯度值為第1像素位置的水平梯度值。第1垂直梯度值為第1像素位置的垂直梯度值。第2像素值為第2參考區塊之中對應於處理對象像素位置的第2像素位置的像素值。第2水平梯度值為第2像素位置的水平梯度值。第2垂直梯度值為第2像素位置的垂直梯度值。

藉此，有使用對應於水平方向及垂直方向的2個參數等來產生預測圖像，且對應於水平方向及垂直方向的2個參數適當地反映到預測圖像的可能性。

又，例如，解碼裝置200的電路亦可將第1像素值、第2像素值、第1補正值、第2補正值的和除以2，藉此來導出預測像素值。在此，第1補正值對應於第1水平梯度值與第2水平梯度值的差和第6參數的乘積，第2補正值對應於第1垂直梯度值與第2垂直梯度值的差和第7參數的乘積。

藉此，有使用對應於水平方向及垂直方向的2個參數等來適當地產生預測圖像的可能性。

又，例如，解碼裝置200的電路亦可藉由上述的式(10.10)來導出預測像素值。在此，I⁰ 表示第1像素值，I¹ 表示第2像素值，u表示第6參數，I_x ⁰ 表示第1水平梯度值，I_x ¹ 表示第2水平梯度值，v表示第7參數，I_y ⁰ 表示第1垂直梯度值，I_y ¹ 表示第2垂直梯度值。藉此，有依照與對應於水平方向及垂直方向的2個參數等關聯的數式，來適當地產生預測圖像的可能性。

又，例如，解碼裝置200的電路亦可使用第1參數、第2參數、第3參數、第4參數及第5參數，來導出雙向光流的1個以上的參數，且使用雙向光流的1個以上的參數及雙向光流，來產生預測圖像。藉此，解碼裝置200可適當地產生預測圖像。

雙向光流的1個以上的參數亦可為上述的第6參數及第7參數之中至少1個。

另，解碼裝置200的間預測部218亦可作為解碼裝置200的電路來進行上述的動作。

[其他的例子] 上述之各例中的編碼裝置100及解碼裝置200亦可分別作為圖像編碼裝置及圖像解碼裝置來利用，或者亦可作為動態圖像編碼裝置及動態圖像解碼裝置來利用。

或者，編碼裝置100及解碼裝置200各自亦可作為預測裝置來利用。即，編碼裝置100及解碼裝置200各自亦可只對應於間預測部126及間預測部218。接著，其他的構成要素亦可包含在其他的裝置。

又，上述之各例的至少一部分亦可作為編碼方法來利用，或者亦可作為解碼方法來利用，或者亦可作為預測方法來利用，或者亦可作為其他的方法來利用。

又，各構成要素亦可以專用的硬體所構成，或透過執行適於各構成要素的軟體程式來實現。也可讓CPU或者處理器等之程式執行部讀出並執行記錄在硬碟或者半導體記憶體等之記錄媒體的軟體程式，藉此來實現各構成要素。

具體來說，編碼裝置100及解碼裝置200各自也可具有處理電路(Processing Circuitry)、及記憶裝置(Storage)，前述記憶裝置是電連接於該處理電路，可由該處理電路進行存取。例如，處理電路對應於處理器a1或b1、記憶裝置對應於記憶體a2或b2。

處理電路包含有專用的硬體及程式執行部的至少一者，且使用記憶裝置來執行處理。又，在處理電路包含有程式執行部時，記憶裝置記憶藉由該程式執行部所執行的軟體程式。

在此，實現上述之編碼裝置100或者解碼裝置200等的軟體為如下的程式。

例如，該程式亦可讓電腦執行一種編碼方法，前述編碼方法進行以下的處理：針對複數個相對像素位置的每一個來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍的各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的編碼的預測圖像。

又，例如，該程式亦可讓電腦執行一種解碼方法，前述解碼方法進行以下處理：針對複數個相對像素位置的每一個來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍的各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數；針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值；導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數；針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差；針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數；針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值；導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數；針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和；導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數；使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的解碼的預測圖像。

又，如上述，各構成要素也可為電路。該等電路也可整體構成為1個電路，或者也可分別為個別的電路。又，各構成要素也可以通用的處理器來實現，或者也可以專用的處理器來實現。

又，也可讓別的構成要素來執行特定的構成要素所要執行的處理。又，也可變更要執行處理的順序，或者也可並行地執行複數個處理。又，編碼解碼裝置也可具備編碼裝置100及解碼裝置200。

又，在說明中使用的第1及第2等序數也可適當地更換。又，對構成要素等，也可重新給予序數，或者也可移除之。

以上，針對編碼裝置100及解碼裝置200之態樣，已根據複數個例子來說明，但編碼裝置100及解碼裝置200的態樣並不限於該等例子。只要不脫離本揭示的宗旨，所屬技術領域中具有通常知識者將可思及之各種變形施加在各例、或者將不同例子的構成要素組合而構建的形態，也可都包含在編碼裝置100及解碼裝置200之態樣的範圍內。

也可以將在此揭示的1個以上的態樣與本揭示中的其他態樣的至少一部分組合來實施。又，也可以將在此所揭示的1個以上的態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合來實施。

[實施及應用] 在以上之各實施形態中，功能性或者是作用性的方塊之每一個通常可藉MPU(micro proccessing unit/微處理單元)及記憶體等來實現。又，功能方塊之每一個所進行的處理，也能夠以讀出記錄在ROM等之記錄媒體的軟體(程式)並執行的處理器等之程式執行部來實現。該軟體也可以被分發。該軟體也可記錄在半導體記憶體等各式各樣的記錄媒體。另，也可以藉由硬體(專用電路)來實現各功能方塊。可採用硬體及軟體的各式各樣的組合。

又，在各實施形態中所說明的處理也可以藉由使用單一裝置(系統)進行集中處理來實現，或者也可以藉由使用複數個裝置進行分散處理來實現。又，執行上述程式的處理器也可為單數個，也可為複數個。即，可進行集中處理，或者也可進行分散處理。

本揭示的態樣並不限於以上的實施例，可做各種變更，該等也包含在本揭示的態樣之範圍內。

進而在此，說明在上述各實施形態中所示之動態圖像編碼方法(圖像編碼方法)或者動態圖像解碼方法(圖像解碼方法)之應用例及實施該應用例之各種系統。如此的系統之特徵也可在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、或具備兩者之圖像編碼解碼裝置。針對如此的系統的其他構成，可配合情況適當地變更。

[使用例] 圖56是顯示實現內容(contents)發布服務之適當的內容供給系統ex100之整體構成的圖。將通訊服務之提供區域(area)分割成期望的大小，並於各細胞(cell)內分別設置圖示例中的固定無線台即基地台ex106、ex107、ex108、ex109、ex110。

在此內容供給系統ex100中，電腦ex111、遊戲機ex112、攝像機ex113、家電ex114及智慧型手機ex115等各機器是經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110而連接到網際網路ex101。該內容供給系統ex100亦可組合上述任何裝置並加以連接。在各種實施中，各機器亦可不經由基地台ex106至ex110，而是經由電話網或近距離無線等直接地或間接地相互連接。進而，串流伺服器ex103亦可經由網際網路ex101等，而與電腦ex111、遊戲機ex112、攝像機ex113、家電ex114及智慧型手機ex115等各機器連接。又，串流伺服器ex103亦可經由衛星ex116，與飛機ex117內之熱點內的終端等連接。

另，亦可使用無線存取點或熱點等來取代基地台ex106至ex110。又，串流伺服器ex103可不經由網際網路ex101或網際網路服務提供者ex102而直接與通訊網ex104連接，亦可不經由衛星ex116而直接與飛機ex117連接。

攝像機ex113是數位相機等可拍攝靜止圖及拍攝動態圖的機器。又，智慧型手機ex115為支援2G、3G、3.9G、4G以及今後稱為5G的移動通訊系統的方式之智慧型話機、行動電話或PHS(Personal Handy-phone System/個人手持電話系統)等。

家電ex114為冰箱或家庭用燃料電池汽電共生系統所包含的機器等。

在內容供給系統ex100中，具有攝影功能的終端可透過基地台ex106等來連接於串流伺服器ex103，藉此實現實況發布等。在實況發布中，終端(電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端等)可對使用者使用該終端所拍攝的靜止圖或動態圖內容，進行上述各實施形態所說明的編碼處理，亦可將藉由編碼所獲得的影像資料、及對應於影像的聲音被編碼後的聲音資料進行多工，亦可將獲得的資料發送至串流伺服器ex103。亦即，各終端是作為本揭示之一態樣的圖像編碼裝置來發揮功能。

另一方面，串流伺服器ex103將發送給有要求的客戶端的內容資料進行串流發布。客戶端為可將上述編碼處理後的資料解碼的電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、或飛機ex117內的終端等。接收到已發布之資料的各機器亦可將接收到的資料進行解碼處理並播放。亦即，各機器亦可作為本揭示之一態樣的圖像解碼裝置來發揮功能。

[分散處理] 又，串流伺服器ex103亦可為複數台伺服器或複數台電腦，且將資料分散處理、記錄、發布。例如，亦可藉由CDN(Contents Delivery Network/內容傳遞網路)來實現串流伺服器ex103，藉由將分散在全世界的眾多邊緣伺服器彼此之間加以連繫的網際網路來實現內容發布。在CDN中，可因應於客戶端而動態地分配物理上較接近的邊緣伺服器。且，藉由在該邊緣伺服器快取及發布內容，可減少延遲。又，在發生多種類型的錯誤時或通訊狀態因流量增加等而改變時，由於能以複數台邊緣伺服器來分散處理、或將發布主體切換成其他邊緣伺服器、或繞過發生障礙的網路部分來持續發布，因此可實現高速且穩定的發布。

又，不僅止於發布本身的分散處理，已拍攝之資料的編碼處理亦可在各終端進行，亦可在伺服器側進行，亦可互相分擔進行。舉一例而言，一般在編碼處理中是進行2次處理迴路。在第1次的迴路中，檢測出以幀或場景為單位的圖像之複雜度或編碼量。又，在第2次的迴路中，進行維持畫質並且提升編碼效率的處理。例如，終端進行第1次的編碼處理，收到內容的伺服器側進行第2次的編碼處理，藉此可減少在各終端的處理負載，並且可提升內容的品質及效率。此情況下，若有幾乎即時接收並解碼的要求，亦可由其他終端接收並播放終端進行過的第一次的編碼完畢資料，因此更靈活的即時發布也是可能的。

舉另一例來說，攝像機ex113等從圖像擷取特徵量(特徵或特性的量)，將有關特徵量的資料壓縮成元資料(metadata)並發送至伺服器。伺服器例如從特徵量來判斷目標(object)的重要性並切換量化精度等，因應圖像的意義(或內容的重要性)來進行壓縮。特徵量資料對於在伺服器再度壓縮時的移動向量預測之精度及效率提升尤其有效。又，亦可在終端進行VLC(可變長度編碼)等簡易的編碼，在伺服器進行CABAC(前文參考之適應性二值算術編碼方式)等處理負載大的編碼。

進一步舉另一例來說，在體育場、購物中心或工廠等，有時會有藉由複數個終端拍攝幾乎相同的場景而存在複數個影像資料的情況。此情況下，是使用進行攝影的複數個終端、因應需要而未拍攝的其他終端及伺服器，以例如GOP(Group of Picture/圖片群組)單位、圖片單位或圖片分割後的圖塊單位等，將編碼處理各自分配來進行分散處理。藉此，可減少延遲，更實現即時性。

由於複數個影像資料是幾乎相同的場景，因此亦可由伺服器來管理及/或指示互相參考各終端所拍攝的影像資料。又，亦可讓伺服器接收來自各終端的編碼完畢資料，在複數個資料間變更參考關係或補正、替換圖片本身後，再重新編碼。藉此，可產生提高一個個資料的品質及效率的串流。

進而，伺服器亦可在進行變更影像資料的編碼方式之轉碼(transcode)後，再發布影像資料。例如，伺服器可將MPEG系統的編碼方式轉換成VP系統(例如VP9)，亦可將H.264轉換成H.265等。

就像這樣，可藉由終端或1個以上的伺服器來進行編碼處理。所以，以下雖使用「伺服器」或「終端」等記載來作為進行處理的主體，但亦可由終端來進行由伺服器所進行的處理之一部分或全部，且亦可由伺服器來進行由終端所進行的處理之一部分或全部。又，關於該等處理，就解碼處理來說也是同樣的。

[3D、多角度] 將彼此幾乎同步的複數個攝像機ex113及/或智慧型手機ex115等終端所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像予以整合並利用的情況逐漸增加。各終端所拍攝的影像可根據另外取得之終端間的相對位置關係、或影像包含的特徵點為一致的區域等來進行整合。

伺服器亦可不僅編碼2維的動態圖像，還根據動態圖像的場景分析等而自動地、或於使用者指定的時刻編碼靜止圖，並發送至接收終端。進而，伺服器在可取得攝影終端間的相對位置關係時，不僅根據2維的動態圖像，還根據從不同角度拍攝同一場景的影像，來產生該場景的3維形狀。伺服器可另外編碼藉由點雲(point cloud)等所產生的3維資料，亦可使用3維資料來辨識或追蹤人物或目標，並根據辨識或追蹤的結果，從複數個終端所拍攝的影像中選擇、或重構並產生要發送至接收終端的影像。

如此，使用者可任意地選擇對應於各攝影終端的各影像來欣賞場景，亦可欣賞從使用複數個圖像或影像來重構的3維資料切出選擇視點的影像的內容。進而，聲音也與影像一起從複數個相異的角度收音，伺服器亦可將來自特定角度或空間的聲音與對應的影像進行多工，並發送多工後的影像與聲音。

又，近年來Virtual Reality(VR/虛擬實境)及Augmented Reality(AR/擴增實境)等讓現實世界與虛擬世界相對應的內容亦日益普及。在VR圖像的情況下，伺服器可分別製作右眼用及左眼用的視點圖像，藉由Multi-View Coding(MVC/多視角編碼)等來進行容許在各視點影像間參考的編碼，亦可不互相參考而編碼成不同的串流。當解碼不同的串流時，以因應使用者的視點重現虛擬的3維空間的方式，讓串流彼此同步播放即可。

在AR圖像的情況下，伺服器亦可根據3維性質的位置或使用者的視點移動，而將虛擬空間上的虛擬物體資訊重疊到現實空間的攝像機資訊。解碼裝置亦可取得或保持虛擬物體資訊及3維資料，並因應使用者的視點移動來產生2維圖像，藉由平滑地接合該等來製作重疊資料。或，解碼裝置亦可除了虛擬物體資訊的請求以外，還將使用者的視點移動發送至伺服器。伺服器亦可配合從保持於伺服器的3維資料接收到的視點移動來製作重疊資料，將重疊資料編碼並發布至解碼裝置。另，重疊資料典型而言除了RGB以外，還具有表示穿透度的α值，伺服器亦可將從3維資料製作的目標以外的部分之α值設定成0等，並在該部分為穿透的狀態下編碼。或者，伺服器亦可像色度鍵(chroma key)一樣將背景設定成預定之值的RGB值，並產生目標以外的部分皆設為背景色的資料。預定之值的RGB值亦可事先決定。

同樣地，已發布之資料的解碼處理可在客戶端(例如終端)進行，亦可在伺服器側進行，亦可互相分擔進行。舉一例而言，亦可是某終端先對伺服器送出接收要求，再由其他終端接收因應於其要求的內容並進行解碼處理，且對具有顯示器的裝置發送解碼完畢的訊號。藉由不依賴可通訊的終端本身的性能而是將處理分散並選擇適當的內容，可播放畫質佳的資料。又，舉另一例來說，亦可由電視等接收大尺寸的圖像資料，並且在鑑賞者的個人終端將圖片經分割後的圖塊等一部分區域解碼顯示。藉此，可共享整體圖像，並且可在手邊確認自己的負責領域或想更詳細確認的區域。

在屋內外之近距離、中距離或長距離的無線通訊可使用複數個的狀況下，利用MPEG-DASH等發布系統規格無縫地(seamless)接收內容也許是可能的。使用者亦可一邊自由地選擇使用者的終端、配置於屋內外的顯示器等解碼裝置或顯示裝置，一邊即時地切換。又，可使用自身的位置資訊等，一邊切換要解碼的終端及要顯示的終端一邊進行解碼。藉此，在使用者往目的地移動的期間，變得可在內嵌有可顯示的器件之一旁的建築物之壁面或地面的一部分映射及顯示資訊。又，亦可根據在網路上之對編碼資料的存取容易性，來切換接收資料的位元率(bit rate)，前述對編碼資料的存取容易性是指編碼資料被快取到可在短時間內從接收終端存取的伺服器、或被複製到內容傳遞服務(Contents Delivery Service)中的邊緣伺服器等。

[可調式編碼] 關於內容之切換，使用圖57所示之應用上述各實施形態所示的動態圖像編碼方法而進行壓縮編碼的可調式串流來加以說明。伺服器若具有複數個內容相同、質不同的串流來作為個別串流雖然無妨，但亦可如圖示般構成為分層進行編碼，藉此實現時間的/空間的可調式串流，並活用該可調式串流的特徵來切換內容。也就是說，解碼側因應於性能這種內在要因與通訊頻帶狀態等之外在要因，來決定解碼哪個層，藉此，解碼側可自由地切換低解析度的內容與高解析度的內容並解碼。例如，使用者在移動中以智慧型手機ex115收看的影像之後續，例如回家後想在網際網路電視等機器上收看時，該機器只要將相同的串流解碼到不同的層即可，因此可減輕伺服器側的負擔。

進而，如上述，除了依每層將圖片編碼且以基本層的上位之增強層來實現可調性(scalability)的構成以外，增強層亦可包含有以圖像之統計資訊等為基準的元資訊。解碼側亦可根據元資訊來將基本層的圖片進行超解析，藉此產生高畫質化的內容。超解析亦可為維持及/或擴大解析度，並提升SN比。元資訊包含有用以特定出類似超解析處理中使用的線性或非線性濾波係數的資訊，或特定出超解析處理中使用的濾波處理、機械學習、或最小平方運算中之參數值的資訊等。

或，亦可提供因應於圖像內的目標等的意義來將圖片分割成圖塊等之構成。解碼側藉由選擇要解碼的圖塊來解碼僅一部分的區域。進而，藉由將目標的屬性(人物、車輛、球等)及影像內的位置(同一圖像中之座標位置等)儲存成元資訊，解碼側可根據元資訊特定出期望的目標的位置，且決定包含有該目標的圖塊。例如，如圖58所示，亦可使用HEVC中之SEI(supplemental enhancement information/補充增強資訊)訊息等與像素資料不同的資料儲存構造來儲存元資訊。此元資訊用來表示例如主目標的位置、尺寸或色彩等。

亦可以串流、序列或隨機存取單位等由複數張圖片所構成的單位來儲存元資訊。解碼側可取得特定人物出現在影像內的時刻等，藉由對照圖片單位的資訊與時間資訊，可特定出目標存在的圖片，且可決定目標在圖片內的位置。

[網頁最佳化] 圖59是顯示電腦ex111等中之網頁的顯示畫面例的圖。圖60是顯示智慧型手機ex115等中之網頁的顯示畫面例的圖。如圖59及圖60所示，網頁有時包含有複數個連結至圖像內容的連結(link)圖像，依瀏覽的器件，其觀看方式亦會不同。當畫面上可看到複數個連結圖像時，直到使用者明確地選擇連結圖像為止，或直到連結圖像靠近畫面中央附近或連結圖像整體進入畫面內為止，顯示裝置(解碼裝置)可顯示各內容所具有的靜止圖或I圖片來作為連結圖像，亦可以複數個靜止圖或I圖片等來顯示像gif動畫一樣的影像，亦可僅接收基本層並解碼及顯示影像。

在由使用者選擇了連結圖像時，顯示裝置例如將基本層設為最優先同時進行解碼。另，當構成網頁的HTML中有表示其為可調式內容的資訊時，顯示裝置亦可解碼至增強層。進而，為了保證即時性，在被選擇前或通訊頻帶非常吃緊時，顯示裝置僅解碼及顯示參考前方的圖片(I圖片、P圖片、僅參考前方的B圖片)，藉此，可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始為止的延遲)。又進而，顯示裝置亦可刻意忽視圖片的參考關係，令全部的B圖片及P圖片參考前方並粗略地解碼，隨著時間經過且接收到的圖片增加，再進行正常的解碼。

[自動行駛] 又，為了車輛之自動行駛或支援行駛而發送、接收類似2維或3維的地圖資訊等靜止圖或影像資料時，接收終端除了接收屬於1個以上的層之圖像資料，亦可接收天氣或施工資訊等來作為元資訊，並使該等相對應來予以解碼。另，元資訊可屬於層，亦可單純與圖像資料進行多工。

在此情況下，由於包含有接收終端的車輛、無人機(drone)或飛機等會移動，因此接收終端藉由發送該接收終端的位置資訊，可一邊切換基地台ex106至ex110一邊實現無縫的接收及解碼之執行。又，接收終端可因應使用者的選擇、使用者的狀況及/或通訊頻帶的狀態，來動態地切換元資訊要接收到何種程度、或地圖資訊要逐漸更新到何種程度。

在內容供給系統ex100中，客戶端可即時地接收使用者所發送之已編碼的資訊來解碼並播放。

[個人內容的發布] 又，在內容供給系統ex100中，不僅是來自影像發布業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容亦可進行單播或多播發布。可認為這樣的個人內容今後也會逐漸增加。為了將個人內容做成更優良的內容，伺服器亦可進行編輯處理後再進行編碼處理。此可使用例如以下構成來實現。

在攝影時即時或累積到攝影後，伺服器從原圖資料或編碼完畢資料進行攝影錯誤、場景搜尋、意義分析及目標檢測等辨識處理。接著，伺服器根據辨識結果，手動或自動地進行以下編輯：補正模糊或手震等、刪除亮度比其他圖片低或焦點未對準的場景等重要性低的場景、強調目標的邊緣、變化色調等。伺服器根據編輯結果來編碼編輯後的資料。又，已知若攝影時刻過長收視率會下降，伺服器亦可如上述般，除了重要性低的場景，還將動態較少的場景等根據圖像處理結果自動地剪輯，以因應攝影時間而成為特定的時間範圍內的內容。或，伺服器亦可根據場景的意義分析的結果來產生摘要(digest)並編碼。

個人內容有未經處理會拍到侵害著作權、著作人格權或肖像權等物的案例，也有共享的範圍超過了意圖的範圍等對個人而言較不便的情況。所以，伺服器例如亦可將畫面周邊部的人臉或家中等刻意變更成焦點不對準的圖像再編碼。進而，伺服器亦可辨識編碼對象圖像內是否顯現與事先登錄的人物不同的人物的臉，並在顯現的情況下，進行對臉的部分加上馬賽克等的處理。或，使用者亦可基於著作權等的觀點，指定圖像中想加工的人物或背景區域，來作為編碼的前處理或後處理。伺服器亦可進行將指定的區域置換成別的影像或模糊焦點等處理。若是人物，則可在動態圖像中追蹤人物並置換人物的臉的部分的影像。

資料量較小的個人內容之收看由於非常要求即時性，因此雖然視頻帶寬而定，但解碼裝置首先亦可最優先接收基本層，進行解碼及播放。解碼裝置亦可在此期間中接收增強層，且於循環播放等播放2次以上的情況下，包含增強層在內播放高畫質的影像。只要是像這樣進行可調式編碼的串流，便可提供如下體驗：在未選擇時或剛開始觀看的階段雖然是粗略的動態圖，但串流慢慢地智慧化(smart)且圖像受到改善。除了可調式編碼以外，將第1次播放的粗略串流與參考第1次動態圖來編碼的第2次串流構成為1個串流，亦可提供相同的體驗。

[其他實施應用例] 又，該等編碼或解碼處理一般而言是在各終端所具有的LSIex500中處理。LSI(large scale integration circuitry/大型積體電路)ex500(參考圖56)是單晶片或由複數個晶片組成的構成均可。另，亦可將動態圖像編碼或解碼用的軟體裝入能以電腦ex111等讀取的某種記錄媒體(CD-ROM、軟性磁碟或硬碟等)，並使用該軟體進行編碼或解碼處理。進而，在智慧型手機ex115附帶攝像機的情況下，亦可發送以該攝像機取得的動態圖資料。此時的動態圖資料亦可為在智慧型手機ex115所具有的LSIex500中進行過編碼處理的資料。

另，LSIex500亦可為下載應用軟體並啟用(activate)的構成。此情況下，終端首先判定該終端是否對應於內容的編碼方式、或是否具有特定服務的執行能力。當終端不對應於內容的編碼方式時，或不具有特定服務的執行能力時，終端亦可下載編解碼器(codec)或應用軟體，之後再取得內容及播放。

又，不限於經由網際網路ex101的內容供給系統ex100，在數位廣播用系統中，亦可裝入上述各實施形態的動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少任一者。由於是利用衛星等讓廣播用的電波承載已將影像與聲音進行多工的多工資料來進行發送、接收，因此相對於內容供給系統ex100是容易進行單播的構成，其差異在於適合多播，但關於編碼處理及解碼處理，則可進行同樣的應用。

[硬體構成] 圖61是更詳細顯示圖56所示之智慧型手機ex115的圖。又，圖62是顯示智慧型手機ex115的構成例的圖。智慧型手機ex115具備：天線ex450，用以在其與基地台ex110之間發送、接收電波；攝像機部ex465，可拍攝影像及靜止圖；及顯示部ex458，顯示由攝像機部ex465所拍攝的影像、及由天線ex450所接收的影像等被解碼後的資料。智慧型手機ex115進一步具備：操作部ex466，為觸控面板等；聲音輸出部ex457，為用以輸出聲音或音響的揚聲器等；聲音輸入部ex456，為用以輸入聲音的微音器等；記憶體部ex467，可保存拍攝的影像或靜止圖、錄音的聲音、接收到的影像或靜止圖、郵件等編碼後的資料或解碼後的資料；及插槽部ex464，為與SIMex468的介面部，前述SIMex468是用來特定使用者，對以網路為首的各種資料之存取進行認證。另，亦可使用外接記憶體來取代記憶體部ex467。

可統籌地控制顯示部ex458及操作部ex466等的主控制部ex460，與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝像機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467是經由同步匯流排ex470來連接。

當藉由使用者之操作而使電源鍵為開啟狀態時，電源電路部ex461將智慧型手機ex115起動成可動作的狀態，並從電池組(battery pack)對各部供給電力。

智慧型手機ex115根據具有CPU、ROM及RAM等的主控制部ex460之控制，進行通話及資料通訊等處理。通話時，將由聲音輸入部ex456收音的聲音訊號以聲音訊號處理部ex454轉換成數位聲音訊號，並以調變/解調部ex452施以展頻處理，再以發送/接收部ex451施以數位類比轉換處理及頻率轉換處理，將其結果之訊號經由天線ex450發送。又，將接收資料放大，施以頻率轉換處理及類比數位轉換處理，以調變/解調部ex452進行解展頻處理，以聲音訊號處理部ex454轉換成類比聲音訊號後，將此訊號從聲音輸出部ex457輸出。資料通訊模式時，可根據主體部之操作部ex466等的操作，經由操作輸入控制部ex462而將文字、靜止圖或影像資料在主控制部ex460的控制下送出。進行同樣的發送、接收處理。在資料通訊模式時發送影像、靜止圖、或影像及聲音的情況下，影像訊號處理部ex455藉由上述各實施形態所示的動態圖像編碼方法，將保存於記憶體部ex467的影像訊號或從攝像機部ex465輸入的影像訊號進行壓縮編碼，並將已編碼的影像資料送出至多工/分離部ex453。聲音訊號處理部ex454將以攝像機部ex465拍攝影像或靜止圖時被聲音輸入部ex456收音到的聲音訊號進行編碼，並將已編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453將編碼完畢影像資料與編碼完畢聲音資料以預定的方式進行多工，再以調變/解調部(調變/解調電路部)ex452及發送/接收部ex451施以調變處理及轉換處理，經由天線ex450發送。預定的方式亦可事先決定。

在接收附加於電子郵件或聊天內容的影像、或接收連結到網頁的影像時等，為了解碼經由天線ex450接收到的多工資料，多工/分離部ex453藉由分離多工資料來將多工資料分成影像資料之位元流及聲音資料之位元流，且經由同步匯流排ex470將編碼後的影像資料供給至影像訊號處理部ex455，並且將編碼後的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來將影像訊號解碼，並經由顯示器控制部ex459，從顯示部ex458顯示連結到的動態圖像檔案所包含的影像或靜止圖。聲音訊號處理部ex454將聲音訊號解碼，從聲音輸出部ex457輸出聲音。由於即時串流越來越普及，因此依使用者的狀況，聲音的播放也有可能不合乎社會禮儀。因此，作為初始值，僅播放影像資料而不播放聲音訊號的構成較理想，亦可只在使用者進行點擊影像資料等操作時，才同步播放聲音。

又，在此雖以智慧型手機ex115為例加以說明，但作為終端，除了具有編碼器及解碼器雙方的發送接收型終端以外，亦可考慮僅具有編碼器的發送終端、及僅具有解碼器的接收終端這些其他的安裝形式。已說明在數位廣播用系統中接收或發送影像資料中多工有聲音資料之多工資料的情況。然而除了聲音資料以外，亦可將與影像相關聯的文字資料等多工於多工資料中。又，亦可接收或發送影像資料本身，而不是多工資料。

另，雖已說明包含CPU的主控制部ex460控制編碼或解碼處理的情況，但各種終端具備GPU的情況也很多。所以，亦可為如下之構成：藉由在CPU與GPU之間共通化的記憶體、或位址受管理以便共通地使用的記憶體，來活用GPU的性能，一次性地處理廣大的區域。藉此，可縮短編碼時間，確保即時性，實現低延遲。特別是不利用CPU，而利用GPU，以圖片等為單位一次性地進行移動搜尋、解區塊濾波、SAO(Sample Adaptive Offset/樣本適應性偏移)及轉換/量化的處理時，是有效率的。

[產業上之可利用性] 本揭示可利用於例如電視機、數位視訊錄影機、汽車導航系統、行動電話、數位攝像機、數位攝影機、視訊會議系統或電子鏡等。

10至23:區塊 100:編碼裝置 102:分割部 104:減法部 106:轉換部 108:量化部 110:熵編碼部 112,204:反量化部 114,206:反轉換部 116,208:加法部 118,210:區塊記憶體 120,212:迴路濾波部 122,214:幀記憶體 124,216:內預測部 126,218:間預測部 128,220:預測控制部 126a:記憶體 126b:內插圖像導出部 126c:梯度圖像導出部 126d:光流導出部 126e:補正值導出部 126f:預測圖像補正部 200:解碼裝置 202:熵解碼部 1201:邊界判定部 1202,1204,1206:開關 1203:濾波判定部 1205:濾波處理部 1207:濾波特性決定部 1208:處理判定部 a1,b1:處理器 a2,b2:記憶體 ex100:內容供給系統 ex101:網際網路 ex102:網際網路服務提供者 ex103:串流伺服器 ex104:通訊網 ex106至ex110:基地台 ex111:電腦 ex112:遊戲機 ex113:攝像機 ex114:家電 ex115:智慧型手機 ex116:衛星 ex117:飛機 ex450:天線 ex451:發送/接收部 ex452:調變/解調部 ex453:多工/分離部 ex454:聲音訊號處理部 ex455:影像訊號處理部 ex456:聲音輸入部 ex457:聲音輸出部 ex458:顯示部 ex459:顯示器控制部(LCD控制部) ex460:主控制部 ex461:電源電路部 ex462:操作輸入控制部 ex463:攝像機介面部 ex464:插槽部 ex465:攝像機部 ex466:操作部 ex467:記憶體部 ex468:SIM ex500:LSI Sa_1至Sa_10,Sb_1,Sc_1a至1c,Sc_2,Sd_1a,Sd_1b,Sd_2,Sd_3,Se_1至Se_4,Sf_1至Sf_5,Sg_1至Sg_5,Sh_1至Sh_3,Si_1,Si_2,Si_4,Si_5,Sj_1至Sj_6,Sk_1至Sk_3,Sl_1至Sl_4,Sm_1,Sm_2,Sn_1至Sn_5,So_1至So_4,Sp_1至Sp_7,Sq_1,Sr_1,Sr_2a至Sr_2c,Ss_1至Ss_5,Sy_1至Sy_6,S1001至S1006,S2001至S2006,S3101至S3112,S3201至S3212:步驟

圖1是顯示實施形態之編碼裝置的功能構成的方塊圖。

圖2是顯示編碼裝置進行之整體的編碼處理的一例的流程圖。

圖3是顯示區塊分割之一例的概念圖。

圖4A是顯示切片之構成的一例的概念圖。

圖4B是顯示圖塊(tile)之構成之一例的概念圖。

圖5A是顯示對應於各式各樣的轉換類型之轉換基底函數的表。

圖5B是顯示SVT(Spatially Varying Transform/空間變化轉換)之一例的概念圖。

圖6A是顯示在ALF(adaptive loop filter/適應性迴路濾波器)使用的濾波器的形狀之一例的概念圖。

圖6B是顯示在ALF使用的濾波器的形狀之另外一例的概念圖。

圖6C是顯示在ALF使用的濾波器的形狀之另外一例的概念圖。

圖7是顯示作為DBF(deblocking filter/解區塊濾波器)發揮功能的迴路濾波部之詳細的構成的一例的方塊圖。

圖8是顯示對區塊邊界具有對稱的濾波特性之解區塊濾波器的例子的概念圖。

圖9是用於說明進行解區塊濾波處理之區塊邊界的概念圖。

圖10是顯示Bs值之一例的概念圖。

圖11是顯示在編碼裝置之預測處理部進行的處理之一例的流程圖。

圖12是顯示在編碼裝置之預測處理部進行的處理之另一例的流程圖。

圖13是顯示在編碼裝置之預測處理部進行的處理之另一例的流程圖。

圖14是顯示實施形態之內預測中的67個內預測模式之一例的概念圖。

圖15是顯示間預測的基本處理的流程之一例的流程圖。

圖16是顯示移動向量導出之一例的流程圖。

圖17是顯示移動向量導出之另一例的流程圖。

圖18是顯示移動向量導出之另一例的流程圖。

圖19是顯示一般間模式進行之間預測的例子的流程圖。

圖20是顯示合併模式進行之間預測的例子的流程圖。

圖21是用於說明合併模式進行之移動向量導出處理之一例的概念圖。

圖22是顯示FRUC(frame rate up conversion/幀更新率提升轉換)處理之一例的流程圖。

圖23是用於說明在沿著移動軌跡的2個區塊間的樣式匹配(雙向匹配)之一例的概念圖。

圖24是用於說明在當前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)之一例的概念圖。

圖25A是用於說明以複數個鄰接區塊的移動向量為基準的子區塊單位的移動向量的導出之一例的概念圖。

圖25B是用於說明具有3個控制點之仿射模式中的子區塊單位的移動向量的導出之一例的概念圖。

圖26A是用於說明仿射合併模式的概念圖。

圖26B是用於說明具有2個控制點之仿射合併模式的概念圖。

圖26C是用於說明具有3個控制點之仿射合併模式的概念圖。

圖27是顯示仿射合併模式的處理之一例的流程圖。

圖28A是用於說明具有2個控制點之仿射間模式的概念圖。

圖28B是用於說明具有3個控制點之仿射間模式的概念圖。

圖29是顯示仿射間模式的處理之一例的流程圖。

圖30A是用於說明當前區塊具有3個控制點且鄰接區塊具有2個控制點之仿射間模式的概念圖。

圖30B是用於說明當前區塊具有2個控制點且鄰接區塊具有3個控制點之仿射間模式的概念圖。

圖31A是顯示包含有DMVR(decoder motion vector refinement/解碼器側移動向量細化)的合併模式的流程圖。

圖31B是用於說明DMVR處理之一例的概念圖。

圖32是顯示預測圖像的產生之一例的流程圖。

圖33是顯示預測圖像的產生之另一例的流程圖。

圖34是顯示預測圖像的產生之另一例的流程圖。

圖35是用於說明OBMC(overlapped block motion compensation/重疊區塊移動補償)處理進行的預測圖像補正處理之一例的流程圖。

圖36是用於說明OBMC處理進行的預測圖像補正處理之一例的概念圖。

圖37是用於說明2個三角形的預測圖像之產生的概念圖。

圖38是用於說明假設為等速直線運動的模型的概念圖。

圖39是用於說明使用了LIC(local illumination compensation/局部亮度補償)處理的亮度補正處理之預測圖像產生方法的一例的概念圖。

圖40是顯示編碼裝置之安裝例的方塊圖。

圖41是顯示實施形態之解碼裝置的功能構成的方塊圖。

圖42是顯示解碼裝置進行之整體的解碼處理之一例的流程圖。

圖43是顯示在解碼裝置之預測處理部進行的處理之一例的流程圖。

圖44是顯示在解碼裝置之預測處理部進行的處理之另一例的流程圖。

圖45是顯示解碼裝置中之一般間模式進行的間預測的例子的流程圖。

圖46是顯示解碼裝置之安裝例的方塊圖。

圖47是顯示基於BIO的間預測的一例的流程圖。

圖48是顯示進行基於BIO的間預測之間預測部的功能構成的一例的圖。

圖49是顯示實施形態中的基於BIO的解碼處理的第1具體例的流程圖。

圖50是顯示實施形態中的水平梯度值的算出例的概念圖。

圖51是顯示實施形態中的垂直梯度值的算出例的概念圖。

圖52是顯示實施形態中的基於BIO的解碼處理的第3具體例的流程圖。

圖53是顯示實施形態中的基於BIO的解碼處理的第4具體例的流程圖。

圖54是顯示實施形態之編碼裝置的動作的流程圖。

圖55是顯示實施形態之解碼裝置的動作的流程圖。

圖56是顯示實現內容(contents)發布服務之內容供給系統的整體構成的方塊圖。

圖57是顯示可調式(scalable)編碼時的編碼構造的一例的概念圖。

圖58是顯示可調式編碼時的編碼構造的一例的概念圖。

圖59是顯示網頁的顯示畫面例的概念圖。

圖60是顯示網頁的顯示畫面例的概念圖。

圖61是顯示智慧型手機的一例的方塊圖。

圖62是顯示智慧型手機的構成例的方塊圖。

S3101至S3112:步驟

Claims (16)

1. 一種編碼裝置，具備： 電路；及 記憶體，連接於前述電路， 前述電路在動作中， 針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數， 針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數， 針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差， 針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數， 針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數， 針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數， 使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的編碼的預測圖像。
2. 如請求項1之編碼裝置，其中前述電路藉由[數1]來導出前述第1參數， [數1]

   

   藉由[數2]來導出前述第2參數， [數2]

   

   藉由[數3]來導出前述第3參數， [數3]

   

   藉由[數4]來導出前述第4參數， [數4]

   

   藉由[數5]來導出前述第5參數， [數5]

   

   Ω表示前述複數個相對像素位置的集合，[i,j]表示前述複數個相對像素位置的每一個，就前述複數個相對像素位置的每一個而言，I_x ⁰ 表示前述第1範圍中的該相對像素位置的水平梯度值，I_x ¹ 表示前述第2範圍中的該相對像素位置的水平梯度值，I_y ⁰ 表示前述第1範圍中的該相對像素位置的垂直梯度值，I_y ¹ 表示前述第2範圍中的該相對像素位置的垂直梯度值，I⁰ 表示前述第1範圍中的該相對像素位置的像素值，I¹ 表示前述第2範圍中的該相對像素位置的像素值，abs(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的絕對值，sign(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的正負符號，abs(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的絕對值，sign(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的正負符號。
3. 如請求項1或2之編碼裝置，其中前述電路將前述第3參數除以前述第1參數，藉此來導出第6參數， 從前述第4參數減去前述第5參數與前述第6參數的乘積，再除以前述第2參數，藉此來導出第7參數， 使用前述第6參數及前述第7參數，來產生前述預測圖像。
4. 如請求項3之編碼裝置，其中前述電路藉由[數6]來導出前述第6參數， [數6]

   

   藉由[數7]來導出前述第7參數， [數7]

   

   sG_x 表示前述第1參數，sG_y 表示前述第2參數，sG_x dI表示前述第3參數，sG_y dI表示前述第4參數，sG_x G_y 表示前述第5參數，u表示前述第6參數，Bits為將使引數的二進位對數進位至整數來得到的值回傳的函數。
5. 如請求項3之編碼裝置，其中前述電路使用前述第1參考區塊之中對應於處理對象像素位置的第1像素位置的第1像素值、前述第1像素位置的第1水平梯度值、前述第1像素位置的第1垂直梯度值、前述第2參考區塊之中對應於前述處理對象像素位置的第2像素位置的第2像素值、前述第2像素位置的第2水平梯度值、前述第2像素位置的第2垂直梯度值、前述第6參數、及前述第7參數，來將前述當前區塊所含的前述處理對象像素位置的預測像素值導出，藉此來產生前述預測圖像。
6. 如請求項5之編碼裝置，其中前述電路將前述第1像素值、前述第2像素值、第1補正值、第2補正值的和除以2，藉此來導出前述預測像素值， 前述第1補正值對應於前述第1水平梯度值與前述第2水平梯度值的差和前述第6參數的乘積， 前述第2補正值對應於前述第1垂直梯度值與前述第2垂直梯度值的差和前述第7參數的乘積。
7. 如請求項6之編碼裝置，其中前述電路藉由[數8]來導出前述預測像素值， [數8]

   

   I⁰ 表示前述第1像素值，I¹ 表示前述第2像素值，u表示前述第6參數，I_x ⁰ 表示前述第1水平梯度值，I_x ¹ 表示前述第2水平梯度值，v表示前述第7參數，I_y ⁰ 表示前述第1垂直梯度值，I_y ¹ 表示前述第2垂直梯度值。
8. 一種解碼裝置，具備： 電路；及 記憶體，連接於前述電路， 前述電路在動作中， 針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數， 針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數， 針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差， 針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數， 針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數， 針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數， 使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的解碼的預測圖像。
9. 如請求項8之解碼裝置，其中前述電路藉由[數9]來導出前述第1參數， [數9]

   

   藉由[數10]來導出前述第2參數， [數10]

   

   藉由[數11]來導出前述第3參數， [數11]

   

   藉由[數12]來導出前述第4參數，

   

   藉由[數13]來導出前述第5參數， [數13]

   

   Ω表示前述複數個相對像素位置的集合，[i,j]表示前述複數個相對像素位置的每一個，就前述複數個相對像素位置的每一個而言，I_x ⁰ 表示前述第1範圍中的該相對像素位置的水平梯度值，I_x ¹ 表示前述第2範圍中的該相對像素位置的水平梯度值，I_y ⁰ 表示前述第1範圍中的該相對像素位置的垂直梯度值，I_y ¹ 表示前述第2範圍中的該相對像素位置的垂直梯度值，I⁰ 表示前述第1範圍中的該相對像素位置的像素值，I¹ 表示前述第2範圍中的該相對像素位置的像素值，abs(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的絕對值，sign(I_x ¹ ＋I_x ⁰ )表示I_x ¹ ＋I_x ⁰ 的正負符號，abs(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的絕對值，sign(I_y ¹ ＋I_y ⁰ )表示I_y ¹ ＋I_y ⁰ 的正負符號。
10. 如請求項8或9之解碼裝置，其中前述電路將前述第3參數除以前述第1參數，藉此導出第6參數， 從前述第4參數減去前述第5參數與前述第6參數的乘積，再除以前述第2參數，藉此導出第7參數， 使用前述第6參數及前述第7參數，來產生前述預測圖像。
11. 如請求項10之解碼裝置，其中前述電路藉由[數14]來導出前述第6參數， [數14]

    

    藉由[數15]來導出前述第7參數， [數15]

    

    sG_x 表示前述第1參數，sG_y 表示前述第2參數，sG_x dI表示前述第3參數，sG_y dI表示前述第4參數，sG_x G_y 表示前述第5參數，u表示前述第6參數，Bits為將使引數的二進位對數進位至整數來得到的值回傳的函數。
12. 如請求項10之解碼裝置，其中前述電路使用前述第1參考區塊之中對應於處理對象像素位置的第1像素位置的第1像素值、前述第1像素位置的第1水平梯度值、前述第1像素位置的第1垂直梯度值、前述第2參考區塊之中對應於前述處理對象像素位置的第2像素位置的第2像素值、前述第2像素位置的第2水平梯度值、前述第2像素位置的第2垂直梯度值、前述第6參數、及前述第7參數，來將前述當前區塊所含的前述處理對象像素位置的預測像素值導出，藉此來產生前述預測圖像。
13. 如請求項12之解碼裝置，其中前述電路將前述第1像素值、前述第2像素值、第1補正值、第2補正值的和除以2，藉此來導出前述預測像素值， 前述第1補正值對應於前述第1水平梯度值與前述第2水平梯度值的差和前述第6參數的乘積， 前述第2補正值對應於前述第1垂直梯度值與前述第2垂直梯度值的差和前述第7參數的乘積。
14. 如請求項13之解碼裝置，其中前述電路藉由[數16]來導出前述預測像素值， [數16]

    

    I⁰ 表示前述第1像素值，I¹ 表示前述第2像素值，u表示前述第6參數，I_x ⁰ 表示前述第1水平梯度值，I_x ¹ 表示前述第2水平梯度值，v表示前述第7參數，I_y ⁰ 表示前述第1垂直梯度值，I_y ¹ 表示前述第2垂直梯度值。
15. 一種編碼方法，進行以下處理： 針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數， 針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數， 針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差， 針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數， 針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數， 針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數， 使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的編碼的預測圖像。
16. 一種解碼方法，進行以下處理： 針對複數個相對像素位置的每一個，來導出水平梯度和絕對值，前述複數個相對像素位置為對於包含當前區塊的第1參考區塊的第1範圍及包含前述當前區塊的第2參考區塊的第2範圍兩者共通且相對地決定的複數個像素位置，且為前述第1範圍及前述第2範圍之各範圍中的複數個像素位置，前述水平梯度和絕對值為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個水平梯度和絕對值的總和，來作為第1參數， 針對前述複數個相對像素位置的每一個，來導出垂直梯度和絕對值，前述垂直梯度和絕對值為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和的絕對值， 導出針對前述複數個相對像素位置分別導出的複數個垂直梯度和絕對值的總和，來作為第2參數， 針對前述複數個相對像素位置的每一個，來導出像素差分值，前述像素差分值為前述第1範圍中的該相對像素位置的像素值與前述第2範圍中的該相對像素位置的像素值的差， 針對前述複數個相對像素位置的每一個，藉由水平梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出水平對應像素差分值，前述水平梯度和為前述第1範圍中的該相對像素位置的水平梯度值與前述第2範圍中的該相對像素位置的水平梯度值的和，前述水平對應像素差分值為已藉由前述水平梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個水平對應像素差分值的總和，來作為第3參數， 針對前述複數個相對像素位置的每一個，藉由垂直梯度和的正負符號，來將針對該相對像素位置所導出的前述像素差分值的正負符號反轉或者維持，而導出垂直對應像素差分值，前述垂直梯度和為前述第1範圍中的該相對像素位置的垂直梯度值與前述第2範圍中的該相對像素位置的垂直梯度值的和，前述垂直對應像素差分值為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述像素差分值， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應像素差分值的總和，來作為第4參數， 針對前述複數個相對像素位置的每一個，藉由前述垂直梯度和的正負符號，來將前述水平梯度和的正負符號反轉或者維持，而導出垂直對應水平梯度和，前述垂直對應水平梯度和為已藉由前述垂直梯度和的正負符號來將正負符號反轉或者維持的前述水平梯度和， 導出針對前述複數個相對像素位置分別導出的複數個垂直對應水平梯度和的總和，來作為第5參數， 使用前述第1參數、前述第2參數、前述第3參數、前述第4參數及前述第5參數，來產生使用於前述當前區塊的解碼的預測圖像。

Images