TW202247655A - 編碼裝置及解碼裝置 - Google Patents

編碼裝置及解碼裝置 Download PDF

Info

Publication number
TW202247655A
TW202247655A TW111128772A TW111128772A TW202247655A TW 202247655 A TW202247655 A TW 202247655A TW 111128772 A TW111128772 A TW 111128772A TW 111128772 A TW111128772 A TW 111128772A TW 202247655 A TW202247655 A TW 202247655A
Authority
TW
Taiwan
Prior art keywords
conversion
basis
base
primary
inverse
Prior art date
Application number
TW111128772A
Other languages
English (en)
Other versions
TWI812376B (zh
Inventor
加納龍一
遠間正真
安倍清史
西孝啓
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW202247655A publication Critical patent/TW202247655A/zh
Application granted granted Critical
Publication of TWI812376B publication Critical patent/TWI812376B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本發明的編碼裝置編碼動態圖像，且具備處理器、及記憶體，處理器利用記憶體，藉由從構成動態圖像的圖像減去圖像的預測圖像，來導出圖像的預測誤差，根據對於預測誤差進行的一次轉換的轉換基底，即一次轉換基底，來決定對於一次轉換的結果進行的二次轉換的轉換基底，即二次轉換基底，利用一次轉換基底，來對於預測誤差進行一次轉換，利用二次轉換基底，來對於一次轉換的結果進行二次轉換，對於二次轉換的結果進行量化，編碼量化的結果來作為圖像的資料。

Description

編碼裝置及解碼裝置
發明領域 本揭示是有關編碼動態圖像的編碼裝置等。
發明背景 以往存在亦稱為HEVC(High Efficiency Video Coding(高效率視訊編碼))的H.265作為用以編碼動態圖像的規格(非專利文獻1)。 先行技術文獻
非專利文獻 [非專利文獻1]H.265(ISO/IEC 23008-2 HEVC)/HEVC(High Efficiency Video Coding)
發明概要 發明欲解決之課題 然而，於動態圖像的編碼等，若未適當進行有關轉換的處理，則難以抑制碼量。
因此，本揭示提供一種可適當進行有關轉換的處理的編碼裝置等。
用以解決課題之手段 本揭示的一態樣的編碼裝置將動態圖像編碼，且具備處理器、及記憶體，前述處理器利用前述記憶體，藉由從構成前述動態圖像的圖像減去前述圖像的預測圖像，來導出前述圖像的預測誤差，根據對於前述預測誤差進行的一次轉換的轉換基底，即一次轉換基底，來決定對於前述一次轉換的結果進行的二次轉換的轉換基底，即二次轉換基底，利用前述一次轉換基底，來對於前述預測誤差進行前述一次轉換，利用前述二次轉換基底，來對於前述一次轉換的結果進行前述二次轉換，對於前述二次轉換的結果進行量化，並將前述量化的結果編碼來作為前述圖像的資料。
再者，該等全面或具體的態樣亦得以系統、裝置、方法、積體電路、電腦程式、或電腦可讀取之 CD-ROM等非暫時性記錄媒體來實現，或以系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
發明效果 本揭示的一態樣的編碼裝置等可適當進行有關轉換的處理。
用以實施發明之形態 (作為本揭示之基礎的卓見) 例如編碼裝置在編碼動態圖像時，是藉由從構成動態圖像的圖像減去預測圖像，來導出預測誤差。然後，編碼裝置對於預測誤差進行頻率轉換及量化，並將其結果編碼作為圖像的資料。
於自然的圖像中，高頻成分較小。因此，藉由進行頻率轉換，資訊會集中於低頻域側，可實現有效率的編碼。又，藉由量化去除較小的高頻成分，刪減資訊量。由於高頻成分對畫質造成的影響小，因此亦較無畫質劣化的弊病。
例如由於高頻成分較小，因此由於頻率轉換及量化，在高頻域連續發生為零的係數。於此，為零的係數亦稱為零係數，非零的係數亦稱為非零係數。編碼裝置可刪減連續發生的零係數的碼量。因此，編碼裝置可藉由高頻轉換及量化，來抑制全體的碼量。
又，編碼裝置亦可於頻率轉換後、量化前進行二次轉換，以使更多零係數連續發生。於該情況下，頻率轉換亦表現為一次轉換。一次轉換不限於頻率轉換，亦可為其他正交轉換等。二次轉換基本上亦為正交轉換。
亦即，編碼裝置亦可對於預測誤差，進行一次轉換、二次轉換及量化。除了一次轉換以外，還進行二次轉換，藉此有進一步抑制碼量的可能性。
又，解碼裝置進行對應於編碼裝置的動作。具體而言，解碼裝置解碼圖像的資料。然後，解碼裝置對於圖像的資料，進行反向量化、反向二次轉換及反向一次轉換。然後，解碼裝置將反向量化、反向二次轉換及反向一次轉換的結果，作為預測誤差加在預測圖像，藉此導出圖像。
然而，若未適當進行二次轉換，有連續發生的零係數的數目不會增加的可能性。亦即，若未適當進行二次轉換，則難以抑制碼量。
於是，例如本揭示的一態樣的編碼裝置編碼動態圖像，且具備處理器、及記憶體，前述處理器利用前述記憶體，藉由從構成前述動態圖像的圖像減去前述圖像的預測圖像，來導出前述圖像的預測誤差，根據對於前述預測誤差進行的一次轉換的轉換基底，即一次轉換基底，來決定對於前述一次轉換的結果進行的二次轉換的轉換基底，即二次轉換基底，利用前述一次轉換基底，來對於前述預測誤差進行前述一次轉換，利用前述二次轉換基底，來對於前述一次轉換的結果進行前述二次轉換，對於前述二次轉換的結果進行量化，編碼前述量化的結果來作為前述圖像的資料。
藉此，編碼裝置可利用一次轉換基底與二次轉換基底的適當組合，來進行一次轉換及二次轉換。因此，編碼裝置可適當進行有關轉換的處理。因此，編碼裝置可根據零係數的連續性，有效率地進行編碼。
又，例如前述處理器根據前述一次轉換基底、及編碼前述動態圖像時被編碼的參數，來決定前述二次轉換基底。
藉此，編碼裝置可利用一次轉換基底、二次轉換基底與被編碼的參數的適當組合，來進行一次轉換及二次轉換。
又，例如前述參數表示訊框內預測模式，前述處理器根據前述一次轉換基底、及由前述參數所示的前述訊框內預測模式，來決定前述二次轉換基底。
藉此，編碼裝置可利用一次轉換基底、二次轉換基底與訊框內預測模式的適當組合，來進行一次轉換及二次轉換。
又，例如前述處理器從複數個一次轉換基底候選中，決定前述一次轉換基底，從1個以上的二次轉換基底候選中，決定前述二次轉換基底，而前述1個以上的二次轉換基底候選是與前述複數個一次轉換基底候選中被決定作為前述一次轉換基底的一次轉換基底候選相對應。
藉此，編碼裝置可從與一次轉換基底相對應的1個以上的二次轉換基底候選中，適應性地決定二次轉換基底。
又，例如共通的二次轉換基底候選是與前述複數個一次轉換基底候選中的2個以上相對應。
藉此，使處理共通化、簡化。因此，可刪減處理資源。
又，例如與前述一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目，是取決於前述一次轉換基底候選。
藉此，1個以上的二次轉換基底候選的數目可根據一次轉換基底候選適當決定。
又，例如前述一次轉換基底是對於縱向的第1轉換基底與對於橫向的第2轉換基底的組合時所決定的前述二次轉換基底，會與前述一次轉換基底是對於縱向的前述第2轉換基底與對於橫向的前述第1轉換基底的組合時所決定的前述二次轉換基底相同。
藉此，編碼裝置可對於橫向與縱向的關係相反的2個一次轉換基底，利用共通的二次轉換基底。設想該等2個一次轉換基底的特性相差無幾。因此，編碼裝置即使針對該等2個一次轉換基底，利用共通的二次轉換基底，仍可適當進行一次轉換及二次轉換。
又，例如前述一次轉換基底是對於縱向的第1轉換基底與對於橫向的第2轉換基底的組合時所決定的前述二次轉換基底，為前述一次轉換基底是對於縱向的前述第2轉換基底與對於橫向的前述第1轉換基底的組合時所決定的前述二次轉換基底經轉置後的轉換基底。
藉此，編碼裝置可對於橫向與縱向的關係相反的2個一次轉換基底，利用藉由轉置其中一方而獲得之另一方的2個二次轉換基底。設想於該等2個一次轉換基底，縱向的特性與橫向的特性交換。因此，編碼裝置藉由針對該等2個一次轉換基底，利用藉由轉置其中一方而獲得之另一方的2個二次轉換基底，可適當進行一次轉換及二次轉換。
又，例如前述二次轉換基底是對於縱向及橫向的2個轉換基底的組合時，前述2個轉換基底相互等同。
藉此，使處理共通化、簡化。因此，可刪減處理資源。
又，例如當與被決定作為前述一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選為1個時，前述處理器不將表示已決定的前述二次轉換基底的資訊編碼。
藉此，編碼裝置可刪減唯一地決定二次轉換基底時所編碼的資訊量。因此，可刪減碼量。
又，例如當表示前述一次轉換基底的資訊及表示前述二次轉換基底的資訊中任一方的轉換基底的候選數限定為1個時，前述處理器僅編碼有關另一方的轉換基底的資訊。
藉此，比起編碼表示一次轉換基底的資訊及表示二次轉換基底的資訊之雙方時，編碼裝置可刪減編碼的資訊量。因此可刪減碼量。
又，例如前述二次轉換基底是根據前述一次轉換基底學習到的轉換基底。
藉此，編碼裝置可利用反映了一次轉換基底的特性的二次轉換基底。因此，編碼裝置可適當進行一次轉換及二次轉換。
又，例如前述處理器在前述二次轉換基底為分離型轉換的轉換基底時，進行分離型轉換作為前述二次轉換，在前述二次轉換基底為非分離型轉換的轉換基底時，進行非分離型轉換作為前述二次轉換。
藉此，編碼裝置可適應性地切換分離型二次轉換及非分離型二次轉換。
又，例如前述處理器根據前述一次轉換基底，來決定是否進行前述二次轉換、及進行前述二次轉換時的前述二次轉換基底。
藉此，編碼裝置可根據一次轉換基底，適當決定是否進行二次轉換。然後，編碼裝置可根據一次轉換基底，適當決定進行二次轉換時的二次轉換基底。
又，例如前述一次轉換及前述二次轉換分別為分離型轉換或非分離型轉換，前述處理器(i)將前述一次轉換分離為對於複數個方向的複數個一次轉換，並進行前述複數個一次轉換，藉此來進行前述一次轉換，或(ii)不將前述一次轉換分離為前述複數個一次轉換而進行前述一次轉換，且(i)將前述二次轉換分離為對於複數個方向的複數個二次轉換，並進行前述複數個二次轉換，藉此來進行前述二次轉換，或(ii)不將前述二次轉換分離為前述複數個二次轉換而進行前述二次轉換。
藉此，編碼裝置可將一次轉換分離為縱向及橫向而進行雙方。或者，編碼裝置可不將一次轉換分離為縱向及橫向而進行。又，編碼裝置可將二次轉換分離為縱向及橫向而進行雙方。或者，編碼裝置可不將二次轉換分離為縱向及橫向而進行。
又，例如本揭示的一態樣的解碼裝置解碼動態圖像，且具備處理器、及記憶體，前述處理器利用前述記憶體，解碼構成前述動態圖像的圖像的資料，對於前述資料進行反向量化，根據對於反向二次轉換的結果進行的反向一次轉換的轉換基底，即反向一次轉換基底，來決定對於前述反向量化的結果進行的前述反向二次轉換的轉換基底，即反向二次轉換基底，利用前述反向二次轉換基底，來對於前述反向量化的結果進行前述反向二次轉換，利用前述反向一次轉換基底，來對於前述反向二次轉換的結果進行前述反向一次轉換，藉由將前述反向一次轉換基底的結果，作為前述圖像的預測誤差加在前述圖像的預測圖像，來導出前述圖像。
藉此，解碼裝置可利用反向一次轉換基底與反向二次轉換基底的適當組合，來進行反向一次轉換及反向二次轉換。因此，解碼裝置可適當進行有關轉換的處理。因此，解碼裝置可根據零係數的連續性，有效率地進行解碼。
又，例如前述處理器根據前述反向一次轉換基底、及解碼前述動態圖像時被解碼的參數，來決定前述反向二次轉換基底。
藉此，解碼裝置可利用反向一次轉換基底、反向二次轉換基底與被解碼的參數的適當組合，來進行反向一次轉換及反向二次轉換。
又，例如前述參數表示訊框內預測模式，前述處理器根據前述反向一次轉換基底、及由前述參數所示的前述訊框內預測模式，來決定前述反向二次轉換基底。
藉此，解碼裝置可利用反向一次轉換基底、反向二次轉換基底與訊框內預測模式的適當組合，來進行反向一次轉換及反向二次轉換。
又，例如前述處理器從複數個反向一次轉換基底候選中，決定前述反向一次轉換基底，從1個以上的反向二次轉換基底候選中，決定前述反向二次轉換基底，而前述1個以上的反向二次轉換基底候選是與前述複數個反向一次轉換基底候選中被決定作為前述反向一次轉換基底的反向一次轉換基底候選相對應。
藉此，解碼裝置可從與反向一次轉換基底相對應的1個以上的反向二次轉換基底候選中，適應性地決定反向二次轉換基底。
又，例如共通的反向二次轉換基底候選是與前述複數個反向一次轉換基底候選中的2個以上相對應。
藉此，使處理共通化、簡化。因此，可刪減處理資源。
又，例如與前述反向一次轉換基底候選相對應的1個以上的反向二次轉換基底候選的數目，是取決於前述反向一次轉換基底候選。
藉此，1個以上的反向二次轉換基底候選的數目可根據反向一次轉換基底候選適當決定。
又，例如前述反向一次轉換基底是對於縱向的第1轉換基底與對於橫向的第2轉換基底的組合時所決定的前述反向二次轉換基底，會與前述反向一次轉換基底是對於縱向的前述第2轉換基底與對於橫向的前述第1轉換基底的組合時所決定的前述反向二次轉換基底相同。
藉此，解碼裝置可對於橫向與縱向的關係相反的2個反向一次轉換基底，利用共通的反向二次轉換基底。設想該等2個反向一次轉換基底的特性相差無幾。因此，解碼裝置即使針對該等2個反向一次轉換基底，利用共通的反向二次轉換基底，仍可適當進行反向一次轉換及反向二次轉換。
又，例如前述反向一次轉換基底決是對於縱向的第1轉換基底與對於橫向的第2轉換基底的組合時所決定的前述反向二次轉換基底，為前述反向一次轉換基底是對於縱向的前述第2轉換基底與對於橫向的前述第1轉換基底的組合時所決定的前述反向二次轉換基底經轉置後的轉換基底。
藉此，解碼裝置可對於橫向與縱向的關係相反的2個反向一次轉換基底，利用藉由轉置其中一方而獲得之另一方的2個反向二次轉換基底。設想於該等2個反向一次轉換基底，縱向的特性與橫向的特性交換。因此，解碼裝置藉由針對該等2個反向一次轉換基底，利用藉由轉置其中一方而獲之得另一方的2個反向二次轉換基底，可適當進行反向一次轉換及反向二次轉換。
又，例如前述反向二次轉換基底是對於縱向及橫向的2個轉換基底的組合時，前述2個轉換基底相互等同。
藉此，使處理共通化、簡化。因此，可刪減處理資源。
又，例如當與被決定作為前述反向一次轉換基底的反向一次轉換基底候選相對應的反向二次轉換基底候選為1個時，前述處理器不將表示已決定的前述反向二次轉換基底的資訊解碼。
藉此，解碼裝置可刪減唯一地決定反向二次轉換基底時被解碼的資訊量。因此，可刪減碼量。
又，例如當表示前述反向一次轉換基底的資訊及表示前述反向二次轉換基底的資訊中任一方的轉換基底的候選數限定為1個時，前述處理器僅解碼有關另一方的轉換基底的資訊。
藉此，比起解碼表示反向一次轉換基底的資訊及表示反向二次轉換基底的資訊之雙方時，解碼裝置可刪減解碼的資訊量。因此可刪減碼量。
又，例如前述反向二次轉換基底是根據前述反向一次轉換基底學習到的轉換基底。
藉此，解碼裝置可利用反映了反向一次轉換基底的特性的反向二次轉換基底。因此，解碼裝置可適當進行反向一次轉換及反向二次轉換。
又，例如前述處理器在前述反向二次轉換基底為分離型反向轉換的轉換基底時，進行分離型反向轉換作為前述反向二次轉換，在前述反向二次轉換基底為非分離型反向轉換的轉換基底時，進行非分離型反向轉換作為前述反向二次轉換。
藉此，解碼裝置可適應性地切換分離型反向二次轉換及非分離型反向二次轉換。
又，例如前述處理器根據前述反向一次轉換基底，來決定是否進行前述反向二次轉換、及進行前述反向二次轉換時的前述反向二次轉換基底。
藉此，解碼裝置可根據反向一次轉換基底，適當決定是否進行反向二次轉換。然後，解碼裝置可根據反向一次轉換基底，適當決定進行反向二次轉換時的反向二次轉換基底。
又，例如前述反向一次轉換及前述反向二次轉換分別為分離型反向轉換或非分離型反向轉換，前述處理器(i)將前述反向一次轉換分離為對於複數個方向的複數個反向一次轉換，進行前述複數個反向一次轉換，藉此來進行前述反向一次轉換，或(ii)不將前述反向一次轉換分離為前述複數個反向一次轉換而進行前述反向一次轉換，且(i)將前述反向二次轉換分離為對於複數個方向的複數個反向二次轉換，進行前述複數個反向二次轉換，藉此來進行前述反向二次轉換，或(ii)不將前述反向二次轉換分離為前述複數個反向二次轉換而進行前述反向二次轉換。
藉此，解碼裝置可將反向一次轉換分離為縱向及橫向而進行雙方。或者，解碼裝置可不將反向一次轉換分離為縱向及橫向而進行。又，解碼裝置可將反向二次轉換分離為縱向及橫向而進行雙方。或者，解碼裝置可不將反向二次轉換分離為縱向及橫向而進行。
又，例如本揭示的一態樣的編碼方法將動態圖像編碼，藉由從構成前述動態圖像的圖像減去前述圖像的預測圖像，來導出前述圖像的預測誤差，根據對於前述預測誤差進行的一次轉換的轉換基底，即一次轉換基底，來決定對於前述一次轉換的結果進行的二次轉換的轉換基底，即二次轉換基底，利用前述一次轉換基底，來對於前述預測誤差進行前述一次轉換，利用前述二次轉換基底，來對於前述一次轉換的結果進行前述二次轉換，對於前述二次轉換的結果進行量化，編碼前述量化的結果來作為前述圖像的資料。
藉此，可利用一次轉換基底與二次轉換基底的適當組合，來進行一次轉換及二次轉換。因此，可適當進行有關轉換的處理。因此，可根據零係數的連續性，有效率地進行編碼。
又，例如本揭示的一態樣的解碼方法將動態圖像解碼，解碼構成前述動態圖像的圖像的資料，對於前述資料進行反向量化，根據對於反向二次轉換的結果進行的反向一次轉換的轉換基底，即反向一次轉換基底，來決定對於前述反向量化的結果進行的前述反向二次轉換的轉換基底，即反向二次轉換基底，利用前述反向二次轉換基底，來對於前述反向量化的結果進行前述反向二次轉換，利用前述反向一次轉換基底，來對於前述反向二次轉換的結果進行前述反向一次轉換，藉由將前述反向一次轉換基底的結果，作為前述圖像的預測誤差加在前述圖像的預測圖像，來導出前述圖像。
藉此，可利用反向一次轉換基底與反向二次轉換基底的適當組合，來進行反向一次轉換及反向二次轉換。因此，可適當進行有關轉換的處理。因此，可根據零係數的連續性，有效率地進行解碼。
進而言之，該等全面或具體的態樣亦得以系統、裝置、方法、積體電路、電腦程式、或電腦可讀取CD-ROM等非暫時性記錄媒體來實現，或以系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
以下參考圖式來具體說明實施形態。
再者，以下所說明的實施形態均表示全面或具體的範例。以下實施形態所示數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等為一例，其主旨不在於限定申請專利範圍。又，關於以下實施形態的構成要素中，未記載於表示最高位概念的獨立請求項的構成要素，則作為任意的構成要素來說明。 (實施形態1)
首先，說明實施形態1的概要，來作為可適用後述的本揭示的各態樣所說明的處理及/或構成的編碼裝置及解碼裝置的一例。但實施形態1僅為可適用本揭示的各態樣所說明的處理及/或構成的編碼裝置及解碼裝置的一例，本揭示的各態樣所說明的處理及/或構成，亦可於與實施形態1不同的編碼裝置及解碼裝置實施。
對於實施形態1適用本揭示的各態樣所說明的處理及/或構成時，亦可進行例如以下之任一項。 (1)對於實施形態1的編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置的複數個構成要素中之對應於本揭示的各態樣所說明的構成要素之構成要素，置換成本揭示的各態樣所說明的構成要素； (2)對於實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要素中之一部分構成要素，施以功能或實施處理的追加、置換、刪除等任意變更後，將對應於本揭示的各態樣所說明的構成要素之構成要素，置換成本揭示的各態樣所說明的構成要素； (3)對於實施形態1的編碼裝置或解碼裝置所實施的方法，針對處理的追加、及/或該方法所含的複數種處理中之一部分處理，施以置換、刪除等任意變更後，將對應於本揭示的各態樣所說明的處理之處理，置換成本揭示的各態樣所說明的處理； (4)將構成實施形態1的編碼裝置或解碼裝置的複數個構成要素中之一部分構成要素，與本揭示的各態樣所說明的構成要素、具備本揭示的各態樣所說明的構成要素所具備的一部分功能的構成要素、或實施本揭示的各態樣所說明的構成要素所實施的一部分處理的構成要素組合而實施； (5)將具備構成實施形態1的編碼裝置或解碼裝置的複數個構成要素中之一部分構成要素所具備的一部分功能的構成要素、或實施構成實施形態1的編碼裝置或解碼裝置的複數個構成要素中之一部分構成要素所實施的一部分處理的構成要素，與本揭示的各態樣所說明的構成要素、具備本揭示的各態樣所說明的構成要素所具備的一部分功能的構成要素、或實施本揭示的各態樣所說明的構成要素所實施的一部分處理的構成要素組合而實施； (6)對於實施形態1的編碼裝置或解碼裝置所實施的方法，將該方法所含的複數種處理中之對應於本揭示的各態樣所說明的處理之處理，置換成本揭示的各態樣所說明的處理； (7)將實施形態1的編碼裝置或解碼裝置所實施的方法所含之複數種處理中之一部分處理，與本揭示的各態樣所說明的處理組合而實施。 再者，本揭示的各態樣所說明的處理及/或構成的實施方式，不限定於上述例子。例如在與實施形態1所揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置，以不同目的而利用的裝置中實施，或單獨實施各態樣所說明的處理及/或構成均可。又，亦可組合在不同態樣所說明的處理及/或構成而實施。 [編碼裝置的概要]
首先，說明實施形態1的編碼裝置的概要。圖1是表示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位編碼動態圖像/圖像的動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊單位編碼圖像的裝置，具備分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反向量化部112、反向轉換部114、加算部116、區塊記憶體118、迴路濾波器部120、訊框記憶體122、訊框內預測部124、訊框間預測部126及預測控制部128。
編碼裝置100藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反向量化部112、反向轉換部114、加算部116、迴路濾波器部120、訊框內預測部124、訊框間預測部126及預測控制部128發揮功能。又，編碼裝置100亦可作為對應於分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反向量化部112、反向轉換部114、加算部116、迴路濾波器部120、訊框內預測部124、訊框間預測部126及預測控制部128的專用的1以上的電子電路來實現。
以下說明編碼裝置100所含的各構成要素。 [分割部]
分割部102將輸入動態圖像所含的各圖片，分割為複數個區塊，將各區塊輸出至減算部104。例如分割部102首先將圖片分割為固定大小(例如128×128)的區塊。該固定大小的區塊有時稱為編碼樹單元(CTU)。然後，分割部102根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定大小的區塊的各個分割為可變大小(例如64×64)的區塊。該可變大小的區塊有時稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，於本實施形態無須區分CU、PU及TU，圖片內的一部分或所有區塊為CU、PU、TU的處理單位亦可。
圖2是表示實施形態1的區塊分割的一例的圖。於圖2，實線表示四元樹區塊分割的區塊邊界，虛線表示二元樹區塊分割的區塊邊界。
於此，區塊10為128×128像素的正方形區塊(128×128區塊)。該128×128區塊10首先分割為4個正方形的64×64區塊(四元樹區塊分割)。
左上64×64區塊進一步垂直分割為2個矩形的32×64區塊，左32×64區塊進一步垂直分割為2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上64×64區塊分割為2個16×64區塊11、12及32×64區塊13。
右上64×64區塊水平分割為2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下64×64區塊分割為4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊中，左上區塊及右下區塊進一步分割。左上32×32區塊垂直分割為2個矩形的16×32區塊，右16×32區塊進一步水平分割為2個16×16區塊(二元樹區塊分割)。右下32×32區塊水平分割為2個32×16區塊(二元樹區塊分割)。其結果，左下64×64區塊分割為16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20及2個32×16區塊21、22。
右下64×64區塊23未分割。
如以上，於圖2，區塊10根據遞迴的四元樹及二元樹區塊分割，分割為13個可變大小的區塊11～23。此類分割有時稱為QTBT(quad-tree plus binary tree(四元樹加二元樹))分割。
再者，於圖2，1個區塊分割為4個或2個區塊(四元樹或二元樹區塊分割)，但分割不限定於此。例如1個區塊亦可分割為3個區塊(三元樹區塊分割)。該類包含三元樹區塊分割在內的分割有時稱為MBT(multi type tree(多型樹))分割。 [減算部]
減算部104是以分割部102所分割的區塊單位，從原訊號(原樣本)減算預測訊號(預測樣本)。總言之，減算部104算出編碼對象區塊(以下稱為目前區塊)的預測誤差(亦稱為殘差)。然後，減算部104將算出的預測誤差輸出至轉換部106。
原訊號為編碼裝置100的輸入訊號，其為表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下有時亦將表示圖像的訊號稱為樣本。 [轉換部]
轉換部106將空間域的預測誤差，轉換成頻率域的轉換係數，將轉換係數輸出至量化部108。具體而言，轉換部106對於例如空間域的預測誤差，進行預先決定的離散餘弦變換(DCT)或離散正弦變換(DST)。
再者，轉換部106亦可從複數種轉換類型中，適應性地選擇轉換類型，利用與選擇的轉換類型相對應的轉換基函數(transform basis function)，將預測誤差轉換成轉換係數。該類轉換有時稱為EMT(explicit multiple core transform(顯式多重核心轉換))或AMT(adaptive multiple transform(適應性多重轉換))。
複數種轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是表示對應於各轉換類型的轉換基函數的表。於圖3，N表示輸入像素數。從該等複數種轉換類型選擇轉換類型時，可取決於例如預測的種類(訊框內預測及訊框間預測)，或取決於訊框內預測模式。
該類表示適用EMT或AMT與否的資訊(例如稱為AMT旗標)、及表示選擇的轉換類型的資訊是以CU層級來訊號化。再者，該等資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級或CTU層級)。
又，轉換部106亦可將轉換係數(轉換結果)予以再轉換。該類再轉換有時稱為AST(adaptive secondary transform(適應性第二轉換))或NSST(non-separable secondary transform(非分離第二轉換))。例如轉換部106就對應於訊框內預測誤差的轉換係數的區塊所含子區塊(例如4×4子區塊)，逐一進行再轉換。表示適用NSST與否的資訊、及用於NSST的轉換矩陣的相關資訊是以CU層級來訊號化。再者，該等資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級或CTU層級)。
於此，Separable(可分離)轉換是指就各方向，僅分離輸入的維數而進行複數次轉換的方式，Non-Separable(不可分離)轉換是指在輸入為多維時，將2個以上的維度統整視為1維而統一進行轉換的方式。
例如作為Non-Separable轉換的一例，可舉出在輸入為4×4的區塊時，將其視為具有16個要素的1個陣列，對於該陣列，以16×16的轉換矩陣進行轉換處理。
又，同樣地將4×4的輸入區塊視為具有16個要素的1個陣列，對於該陣列，進行複數次吉文斯(Givens)旋轉(Hypercube Givens Transform(超立方體吉文斯轉換))的轉換，亦為Non-Separable轉換例。 [量化部]
量化部108量化從轉換部106輸出的轉換係數。具體而言，量化部108以預定的掃描順序掃描目前區塊的轉換係數，根據對應於經掃描的轉換係數的量化參數(QP)，來量化該轉換係數。然後，量化部108將目前區塊的經量化的轉換係數(以下稱為量化係數)，輸出至熵編碼部110及反向量化部112。
預定的順序是轉換係數的量化/反向量化用的順序。例如預定的掃描順序是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)定義。
量化參數是定義量化步階(量化寬)的參數。例如若增加量化參數值，則量化步階亦增加。總言之，若量化參數值增加，則量化誤差增大。 [熵編碼部]
熵編碼部110將從量化部108輸入的量化係數，予以可變長度編碼，藉此生成編碼訊號(編碼位元串流)。具體而言，熵編碼部110例如將量化係數二值化，將二值訊號予以算術編碼。 [反向量化部]
反向量化部112將來自量化部108的輸入即量化係數，予以反向量化。具體而言，反向量化部112以預定的掃描順序，將目前區塊的量化係數予以反向量化。然後，反向量化部112將目前區塊之已被反向量化的轉換係數，輸出至反向轉換部114。 [反向轉換部]
反向轉換部114將來自反向量化部112的輸入即轉換係數，予以反向轉換，藉此復原預測誤差。具體而言，反向轉換部114藉由對於轉換係數，進行與轉換部106的轉換相對應的反向轉換，來復原目前區塊的預測誤差。然後，反向轉換部114將復原的預測誤差輸出至加算部116。
再者，由於復原的預測誤差是因量化而喪失資訊，因此不會與減算部104所算出的預測誤差一致。亦即，於復原的預測誤差，包含有量化誤差。 [加算部]
加算部116藉由加算從反向轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本，來重構目前區塊。然後，加算部116將重構的區塊輸出至區塊記憶體118及迴路濾波器部120。重構區塊有時亦稱為局部解碼區塊。 [區塊記憶體]
區塊記憶體118是用以儲存訊框內預測所參考，且為編碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言，區塊記憶體118儲存從加算部116輸出的重構區塊。 [迴路濾波器部]
迴路濾波器部120對於由加算部116重構的區塊，施以迴路濾波，將已濾波的重構區塊輸出至訊框記憶體122。迴路濾波器是在編碼迴路內使用的濾波器(迴路內濾波器)，包含例如去區塊濾波器(DF)、樣本適用性偏移(SAO)及適應性迴路濾波器(ALF)等。
ALF適用用以去除編碼失真的最小平方誤差濾波器，例如就目前區塊內的2×2子區塊，逐一適用根據局部梯度(gradient)的方向及活性度(activity)而從複數個濾波器中選擇的1個濾波器。
具體而言，首先子區塊(例如2×2子區塊)分類為複數個組別(例如15或25組)。子區塊的分類是根據梯度的方向及活性度來進行。例如利用梯度的方向值D(例如0～2或0～4)及梯度的活性值A(例如0～4)，來算出分類值C(例如C=5D+A)。然後，根據分類值C，將子區塊分類為複數個組別(例如15或25組)。
梯度的方向值D是藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如加算複數個方向的梯度，量化加算結果來導出。
根據此類分類的結果，從複數個濾波器中決定子區塊用的濾波器。
ALF所用濾波器的形狀可利用例如圓對稱形狀。圖4A～圖4C是表示ALF所用濾波器的形狀的複數例之圖。圖4A表示5×5菱形形狀濾波器，圖4B表示7×7菱形形狀濾波器，圖4C表示9×9菱形形狀濾波器。表示濾波器形狀的資訊是以圖片層級訊號化。再者，表示濾波器形狀的資訊的訊號化無須限定在圖片層級，亦可為其他層級(例如序列層級、切片層級、方塊層級、CTU層級或CU層級)。
ALF的開啟/關閉是以例如圖片層級或CU層級來決定。例如就亮度而言，以CU層級決定是否適用ALF，就色差而言，以圖片層級決定是否適用ALF。表示ALF的開啟/關閉的資訊是以圖片層級或CU層級來訊號化。再者，表示ALF的開啟/關閉的資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、切片層級、方塊層級或CTU層級)。
可選擇的複數個濾波器(例如從15到25的濾波器)的係數集合是以圖片層級訊號化。再者，係數集合的訊號化無須限定在圖片層級，亦可為其他層級(例如序列層級、切片層級、方塊層級、CTU層級、CU層級或子區塊層級)。 [訊框記憶體]
訊框記憶體122是用以儲存訊框間預測所用的參考圖片的記憶部，有時亦稱為訊框緩衝器。具體而言，訊框記憶體122儲存由迴路濾波器部120所濾波的重構區塊。 [訊框內預測部]
訊框內預測部124參考儲存於區塊記憶體118的目前圖片內的區塊，來進行目前區塊的訊框內預測(亦稱為畫面內預測)，藉此生成預測訊號(訊框內預測訊號)。具體而言，訊框內預測部124參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)，來進行訊框內預測，藉此生成訊框內預測訊號，將訊框內預測訊號輸出至預測控制部128。
例如訊框內預測部124利用預先規定的複數種訊框內預測模式中之一種，進行訊框內預測。複數種訊框內預測模式包含1以上的非方向性預測模式及複數種方向性預測模式。
1以上的非方向性預測模式包含例如H.265/HEVC(High-Efficiency Video Coding(高效率視訊編碼))規格(非專利文獻1)所規定的Planar(平面)預測模式及DC預測模式。
複數種方向性預測模式包含例如H.265/HEVC規格所規定的33方向的預測模式。再者，複數種方向性預測模式除了33方向以外，亦可進一步包含32方向的預測模式(合計65個方向性預測模式)。圖5A是表示訊框內預測之67個訊框內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭表示H.265/HEVC規格所規定的33方向，虛線箭頭表示追加的32方向。
再者，於色差區塊的訊框內預測中，亦可參考亮度區塊。總言之，亦可根據目前區塊的亮度成分，來預測目前區塊的色差成分。該類訊框內預測有時稱為CCLM(cross-component linear model(跨組件線性模式))預測。該類參考亮度區塊的色差區塊的訊框內預測模式(例如稱為CCLM模式)亦可加入作為色差區塊的訊框內預測模式之一。
訊框內預測部124亦可根據水平/垂直方向的參考像素的梯度，來修正訊框內預測後的像素值。伴隨有該類修正的訊框內預測有時稱為PDPC(position dependent intra prediction combination(獨立位置訊框內預測組合))。表示PDPC之適用的有無的資訊(稱為例如PDPC旗標)是以CU層級來訊號化。再者，該資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級或CTU層級)。 [訊框間預測部]
訊框間預測部126參考儲存於訊框記憶體122的參考圖片，且與目前圖片不同的參考圖片，來進行目前圖片的訊框間預測(亦稱為畫面間預測)，藉此生成預測訊號(訊框間預測訊號)。訊框間預測是以目前區塊或目前區塊內的子區塊(例如4×4區塊)的單位進行。例如訊框間預測部126針對目前區塊或子區塊，進行參考圖片內移動估計(motion estimation)。然後，訊框間預測部126利用藉由移動估計所獲得的移動資訊(例如移動向量)，來進行移動補償，藉此生成目前區塊或子區塊的訊框間預測訊號。然後，訊框間預測部126將生成的訊框間預測訊號輸出至預測控制部128。
用於移動補償的移動資訊被訊號化。移動向量的訊號化亦可利用移動向量預測子(motion vector predictor)。總言之，亦可將移動向量與移動向量預測子之間的差距訊號號。
再者，不僅可利用藉由移動估計所獲得的目前區塊的移動資訊，亦可利用鄰接區塊的移動資訊，來生成訊框間預測訊號。具體而言，亦可將根據藉由移動估計所獲得的移動資訊的預測訊號、與根據鄰接區塊的移動資訊的預測訊號，予以加算權重，藉此以目前區塊內的子區塊單位來生成訊框間預測訊號。該類訊框間預測(移動補償)有時稱為OBMC(overlapped block motion compensation(重疊區塊移動補償))。
於該類OBMC模式，表示OBMC用子區塊的大小的資訊(例如稱為OBMC區塊大小)是以序列層級訊號化。又，表示適用OBMC模式與否的資訊(例如稱為OBMC旗標)是以CU層級來訊號化。再者，該等資訊的訊號化層級無須限定在序列層級及CU層級，亦可為其他層級(例如圖片層級、切片層級、方塊層級、CTU層級或子區塊層級)。
更具體說明OBMC模式。圖5B及圖5C是用以說明OBMC處理的預測圖像修正處理的概要的流程圖及概念圖。
首先，利用分派給編碼對象區塊的移動向量(MV)，取得一般的移動補償的預測圖像(Pred)。
接著，將編碼完畢的左鄰接區塊的移動向量(MV_L)，適用於編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L賦予權重並重疊，藉此進行預測圖像的第1次修正。
同樣地，將編碼完畢的上鄰接區塊的移動向量(MV_U)，適用於編碼對象區塊，取得預測圖像(Pred_U)，將已進行前述第1次修正的預測圖像與Pred_U賦予權重並重疊，藉此進行預測圖像的第2次修正，將其作為最終的預測圖像。
再者，於此說明了利用右鄰接區塊及上鄰接區塊的2階段修正的方法，但亦可採用利用右鄰接區塊或下鄰接區塊，進行次數多於2階段的修正的構成。
再者，進行重疊的區域非區塊全體的像素區域，亦可僅為區塊邊界附近的一部分區域。
再者，於此說明了從1張參考圖片進行的預測圖像修正處理，但從複數張參考圖片修正預測圖像的情況亦同樣如此，取得從各個參考圖片修正的預測圖像後，進一步重疊獲得的預測圖像以作為最終的預測圖像。
再者，前述處理對象區塊是預測區塊單位，或是進一步分割預測區塊而成的子區塊單位均可。
作為判定是否適用OBMC處理的方法，包括例如利用表示是否適用OBMC處理的訊號obmc_flag的方法。具體例是於編碼裝置，判定編碼對象區塊是否屬於移動複雜的區域，若屬於移動複雜的區域時，obmc_flag設定值1，適用OBMC處理而進行編碼，不屬於移動複雜的區域時，obmc_flag設定值0，不適用OBMC處理而進行編碼。另，於解碼裝置，藉由解碼串流所描述的obmc_flag，因應其值來切換是否適用OBMC處理而進行解碼。
再者，移動資訊亦可未訊號化，而從解碼裝置側導出。例如亦可利用H.265/HEVC規格所規定的合併模式。又，例如亦可藉由在解碼裝置側進行移動估計，來導出移動資訊。此時，不利用目前區塊的像素值而進行移動估計。
於此，說明有關在解碼裝置側進行移動估計的模式。該在解碼裝置側進行移動估計的模式有時稱為PMMVD(pattern matched motion vector derivation(模式匹配移動向量導出))模式或FRUC(frame rate up-conversion(訊框率提升轉換))模式。
於圖5D表示FRUC處理的一例。首先，參考與目前區塊在空間上或時間上鄰接的編碼完畢區塊的移動向量，生成各個具有移動向量預測子的複數個候選清單(亦可與合併清單共通)。接著，從登錄於候選清單的複數個候選MV之中，選擇最佳候選MV。例如算出候選清單所含的各候選的評估值，根據評估值選擇1個候選。
然後，根據選擇的候選移動向量，導出目前區塊用的移動向量。具體而言，例如選擇的候選移動向量(最佳候選MV)直接被導出作為目前區塊用的移動向量。又，例如在對應於選擇的候選移動向量的參考圖片內的位置的周邊區域，進行模式匹配，藉此導出目前區塊用的移動向量亦可。亦即，對於最佳候選MV的周邊區域，以同樣的方法進行估計，若有評估值為更佳數值的MV時，將最佳候選MV更新為前述MV，將其作為目前區塊的最終MV亦可。再者，亦可採用不實施該處理的構成。
以子區塊單位進行處理時，亦可採用完全同樣的處理。
再者，評估值是藉由對應於移動向量的參考圖片內的區域、與預定區域之間的圖案匹配，所求出之重構圖像的差分值來算出。再者，除了差分值以外，亦可利用其以外的資訊來算出評估值。
模式匹配利用第1模式匹配及第2模式匹配。第1模式匹配及第2模式匹配有時分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
於第1模式匹配，在不同的2個參考圖片內的2個區塊，且沿著目前區塊的移動軌道(motion trajectory)的2個區塊之間，進行模式匹配。因此，於第1模式匹配，利用沿著目前區塊的移動軌道之其他參考圖片內的區域，來作為上述候選的評估值的算出所用的預定區域。
圖6是用以說明沿著移動軌道的2個區塊間之模式匹配(雙向匹配)之圖。如圖6所示，於第1模式匹配，藉由估計沿著目前區塊(Cur block)的移動軌道的2個區塊，且不同的2個參考圖片(Ref0,Ref1)內的2個區塊的配對中最匹配的配對，來導出2個移動向量(MV0,MV1)。具體而言，對於目前區塊，導出由候選MV指定的第1編碼完畢參考圖片(Ref0)內的指定位置的重構圖像、與由對稱MV指定的第2編碼完畢參考圖片(Ref1)內的指定位置的重構圖像的差分，利用獲得的差分值來算出評估值，前述對稱MV是將前述候選MV以顯示時間間隔縮放。選擇複數個候選MV之中評估值為最佳值的候選MV，來作為最終MV。
假定是連續的移動軌道，指示2個參考區塊的移動向量(MV0,MV1)會對目前圖片(Cur Pic)與2個參考圖片(Ref0,Ref1)之間的時間距離(TD0,TD1)成比例。例如目前圖片在時間上位於2個參考圖片之間，從目前圖片到2個參考圖片的時間距離相等時，於第1模式匹配，導出反射對稱的雙向移動向量。
於第2模式匹配，在目前圖片內的模板(在目前圖片內，鄰接於目前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間，進行模式匹配。因此，於第2模式匹配，利用目前圖片內鄰接於目前區塊的區塊，來作為上述候選評估值算出用的預定區域。
圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的模式匹配(模板匹配)之一例的圖。如圖7所示，於第2模式匹配，藉由於參考圖片(Ref0)內，估計與目前圖片(Cur Pic)內鄰接於目前區塊(Cur block)的區塊最匹配的區塊，來導出目前區塊的移動向量。具體而言，對於目前區塊，導出左鄰接及上鄰接之雙方或某一方的編碼完畢區域的重構圖像、與以候選MV指定的編碼完畢參考圖片(Ref0)內的同等位置的重構圖像的差分，利用獲得的差分值算出評估值，選擇複數個候選MV之中評估值為最佳值的候選MV，來作為最佳候選MV即可。
表示適用該類FRUC模式與否的資訊(例如稱為FRUC旗標)是以CU層級來訊號化。又，適用FRUC模式時(例如FRUC旗標為真時)，表示模式匹配方法(第1模式匹配或第2模式匹配)的資訊(例如稱為FRUC旗標)是以CU層級來訊號化。再者，該等資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級、CTU層級或子區塊層級)。
於此，說明根據假定等速直線運動的模型，來導出移動向量的模式。該模式有時稱為BIO(bi-directional optical flow(雙向光流))模式。
圖8是用以說明假定等速直線運動的模型之圖。於圖8，(v x,v y)表示速度向量，τ 0、τ 1分別表示目前圖片(Cur Pic)與2個參考圖片(Ref 0,Ref 1)之間的時間距離。(MVx 0,MVy 0)表示對應於參考圖片Ref 0的移動向量，(MVx 1,MVy 1)表示對應於參考圖片Ref 1的移動向量。
此時，在速度向量(v x,v y)的等度直線運動的假定下，(MVx 0,MVy 0)及(MVx 1,MVy 1)分別表示為(v xτ 0,v yτ 0)及(-v xτ 1,-v yτ 1)，以下光流等式(1)成立。 [數1]
Figure 02_image001
於此，I (k)表示移動補償後的參考圖像k(k=0,1)的亮度值。該光流等式表示(i)、(ii)與(iii)的和等於零，其中(i)亮度值的時間微分，(ii)水平方向的速度及參考圖像的空間梯度的水平成分的積，(iii)垂直方向的速度及參考圖像的空間梯度的垂直成分的積。根據該光流等式與赫米特內插法(Hermite interpolation)的組合，以像素單位修正從合併清單等所獲得的區塊單位的移動向量。
再者，以與根據假定等速直線運動的模型的移動向量的導出不同的方法，在解碼裝置側導出移動向量亦可。例如根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量亦可。
於此，說明根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量的模式。該模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。
圖9A是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量之圖。於圖9A，目前區塊包含16之4×4子區塊。於此，根據鄰接區塊的移動向量，來導出目前區塊左上角控制點的移動向量v 0，根據鄰接子區塊的移動向量，來導出目前區塊右上角控制點的移動向量v 1。然後，利用2個移動向量v 0及v 1，藉由下式(2)來導出目前區塊內的各子區塊的移動向量(v x,v y)。 [數2]
Figure 02_image003
於此，x及y分別表示子區塊的水平位置及垂直位置，w表示預先決定的加權係數。
於該類仿射移動補償預測模式，亦可包含左上及右上角控制點的移動向量導出方法不同的數種模式。表示該類仿射移動補償預測模式的資訊(例如稱為仿射旗標)是以CU層級來訊號化。再者，表示該仿射移動補償預測模式的資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、切片層級、方塊層級、CTU層級或子區塊層級)。 [預測控制部]
預測控制部128選擇訊框內預測訊號及訊框間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至減算部104及加算部116。
於此，說明藉由合併模式來導出編碼對象圖片的移動向量之例。圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。
首先，生成登錄有預測MV的候選的預測MV清單。預測MV的候選包括：空間鄰接預測MV，其為空間上位於編碼對象區塊周邊的複數個編碼完畢區塊所具有的MV；時間鄰接MV，其為投影有編碼完畢參考圖片的編碼完畢區塊的位置附近的區塊所具有的MV；結合預測MV，其為組合空間鄰接預測MV與時間鄰接預測MV的MV值而生成的MV；及值為零的MV，即零預測MV等。
接著，藉由從登錄於預測MV清單的複數個預測MV之中，選擇1個預測MV，來決定作為編碼對象區塊的MV。
進而於可變長度編碼部，將表示選擇的預測MV為何的訊號，即merge_idx，描述於串流而編碼。
再者，圖9B所說明的登錄於預測MV清單的預測MV為一例，亦可個數與圖中的個數不同，亦或為不包含圖中的預測MV的一部分種類的構成，亦或為追加有圖中的預測MV的種類以外的預測MV的構成。
再者，亦可藉由利用合併模式導出的編碼對象區塊的MV，進行後述的DMVR處理，來決定最終的MV。
於此，說明利用DMVR處理來決定MV之例。
圖9C是用以說明DMVR處理的概要的概念圖。
首先，將設定於處理對象區塊的最佳MVP作為候選MV，按照前述候選MV，從L0方向的處理完畢圖片之第1參考圖片、及從L1方向的處理完畢圖片之第2參考圖片，分別取得參考像素，並取各參考像素的平均來生成模板。
接著，利用前述模板，分別估計第1參考圖片及第2參考圖片的候選MV的周邊區域，決定成本最小的MV來作為最終的MV。再者，成本值是利用模板的各像素值與估計區域的各像素值的差分值及MV值來算出。
再者，於編碼裝置及解碼裝置，於此所說明的處理的概要基本上是共通。
再者，不利用於此說明的處理本身，亦可利用其他處理，只要是可估計候選MV的周邊並導出最終的MV的處理均可。
於此，說明利用LIC處理來生成預測圖像的模式。
圖9D是用以說明利用LIC處理的亮度修正處理的預測圖像生成方法的概要的圖。
首先，從編碼完畢圖片之參考圖片，導出用以取得對應於編碼對象區塊的參考圖像的MV。
接著，對於編碼對象區塊，利用左鄰接及上鄰接的編碼完畢周邊參考區域的亮度像素值、及由MV指定的參考圖片內的同等位置的亮度像素值，擷取表示亮度值在參考圖片及編碼對象圖片如何變化的資訊，算出亮度修正參數。
對於由MV指定的參考圖片內的參考圖像，利用前述亮度修正參數進行亮度修正處理，藉此生成對於編碼對象區塊的預測圖像。
再者，圖9D的前述周邊參考區域的形狀為一例，亦可利用該形狀以外的形狀。
又，於此說明了從1張參考圖片生成預測圖像的處理，但從複數張參考圖片生成預測圖像的情況亦同樣如此，對從各個參考圖片取得的參考圖像，以同樣方法進行亮度修正處理後，生成預測圖像。
作為判定是否適用LIC處理的方法，包括例如利用表示是否適用LIC處理的訊號lic_flag的方法。具體例是於編碼裝置，判定編碼對象區塊是否屬於發生亮度變化的區域，屬於發生亮度變化的區域時，lic_flag設定值1，適用LIC處理而進行編碼，不屬於發生亮度變化的區域時，lic_flag設定值0，不適用LIC處理而進行編碼。另，於解碼裝置，藉由解碼串流所描述的lic_flag，因應其值來切換是否適用LIC處理而進行解碼。
作為判定是否適用LIC處理的方法，亦包括例如按照周邊區塊是否適用LIC處理來判定的方法。作為具體一例，編碼對象區塊為合併模式時，判定在合併模式處理的MV導出時所選擇的周邊的編碼完畢區塊，是否適用了LIC處理而編碼，因應其結果來切換是否適用LIC處理而進行編碼。再者，此例的情況下，解碼的處理亦完全同樣。 [解碼裝置的概要]
接著，說明可解碼從上述編碼裝置100輸出的編碼訊號(編碼位元串流)的解碼裝置的概要。圖10是表示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位解碼動態圖像/圖像的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具備熵解碼部202、反向量化部204、反向轉換部206、加算部208、區塊記憶體210、迴路濾波器部212、訊框記憶體214、訊框內預測部216、訊框間預測部218及預測控制部220。
解碼裝置200藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為熵解碼部202、反向量化部204、反向轉換部206、加算部208、迴路濾波器部212、訊框內預測部216、訊框間預測部218及預測控制部220發揮功能。又，解碼裝置200亦可作為對應於熵解碼部202、反向量化部204、反向轉換部206、加算部208、迴路濾波器部212、訊框內預測部216、訊框間預測部218及預測控制部220的專用的1以上的電子電路來實現。
以下說明解碼裝置200所含的各構成要素。 [熵解碼部]
熵解碼部202將編碼位元串流予以熵解碼。具體而言，熵解碼部202例如從編碼位元串流算數解碼為二值訊號。然後，熵解碼部202將二值訊號予以多值化(debinarize)。藉此，熵解碼部202以區塊單位，將量化係數輸出至反向量化部204。 [反向量化部]
反向量化部204將來自熵解碼部202的輸入，即解碼對象區塊(以下稱為目前區塊)的量化係數，予以反向量化。具體而言，反向量化部204針對目前區塊的各個量化係數，根據對應於該量化係數的量化參數，將該量化係數予以反向量化。然後，反向量化部204將目前區塊之已被反向量化的量化係數(亦即轉換係數)，輸出至反向轉換部206。 [反向轉換部]
反向轉換部206藉由將來自反向量化部204的輸入即轉換係數，予以反向轉換，來復原預測誤差。
例如表示從編碼位元串流解讀的資訊適用EMT或AMT時(例如AMT旗標為真)，反向轉換部206根據表示解讀的轉換類型的資訊，來將目前區塊的轉換係數予以反向轉換。
又，例如表示從編碼位元串流解讀的資訊適用NSST時，反向轉換部206對轉換係數適用反向再轉換。 [加算部]
加算部208藉由加算從反向轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本，來重構目前區塊。然後，加算部208將重構的區塊輸出至區塊記憶體210及迴路濾波器部212。 [區塊記憶體]
區塊記憶體210是用以儲存訊框內預測所參考的區塊，且為解碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言，區塊記憶體210儲存從加算部208輸出的重構區塊。 [迴路濾波器部]
迴路濾波器部212對於由加算部208重構的區塊，施以迴路濾波器，將已濾波的重構區塊輸出至訊框記憶體214及顯示裝置等。
表示從編碼位元串流解讀的ALF之開啟/關閉的資訊表示ALF開啟時，根據局部梯度的方向及活性度而從複數個濾波器中選擇1個濾波器，選擇的濾波器適用於重構區塊。 [訊框記憶體]
訊框記憶體214是用以儲存訊框間預測所用的參考圖片的記憶部，有時亦稱為訊框緩衝器。具體而言，訊框記憶體214儲存由迴路濾波器部212所濾波的重構區塊。 [訊框內預測部]
訊框內預測部216根據從編碼位元串流解讀的訊框內預測模式，參考儲存於區塊記憶體210的目前圖片內的區塊，來進行訊框內預測，藉此生成預測訊號(訊框內預測訊號)。具體而言，訊框內預測部216參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)，來進行訊框內預測，藉此生成訊框內預測訊號，將訊框內預測訊號輸出至預測控制部220。
再者，於色差區塊的訊框內預測中，選擇參考亮度區塊的訊框內預測模式時，訊框內預測部216根據目前區塊的亮度成分，來預測目前區塊的色差成分亦可。
又，從編碼位元串流解讀的資訊表示適用PDPC時，訊框內預測部216根據水平/垂直方向的參考像素的梯度，來修正訊框內預測後的像素值。 [訊框間預測部]
訊框間預測部218參考儲存於訊框記憶體214的參考圖片，預測目前區塊。預測是以目前區塊或目前區塊內的子區塊(例如4×4區塊)的單位進行。例如訊框間預測部218利用從編碼位元串流解讀的移動資訊(例如移動向量)，來進行移動補償，藉此生成目前區塊或子區塊的訊框間預測訊號，並將訊框間預測訊號輸出至預測控制部220。
再者，從編碼位元串流解讀的資訊表示適用OBMC模式時，訊框間預測部218不僅可利用藉由移動估計所獲得的目前區塊的移動資訊，亦可利用鄰接區塊的移動資訊，來生成訊框間預測訊號。
又，從編碼位元串流解讀的資訊表示適用FRUC模式時，訊框間預測部218按照從編碼位元串流解讀的模式匹配的方法(雙向匹配或模板匹配)，來進行移動估計，藉此導出移動資訊。然後，訊框間預測部218利用導出的移動資訊來進行移動補償。
又，訊框間預測部218在適用BIO模式時，根據假定等速直線運動的模型，來導出移動向量。又，從編碼位元串流解讀的資訊表示適用仿射移動補償預測模式時，訊框間預測部218根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量。 [預測控制部]
預測控制部220選擇訊框內預測訊號及訊框間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至加算部208。 [二次轉換基底的選擇處理]
接著，說明根據一次轉換基底的二次轉換基底的選擇處理。例如編碼裝置100的轉換部106對於預測誤差進行轉換，對於轉換的結果進行再轉換。然後，編碼裝置100的量化部108對於再轉換的結果進行量化。對於預測誤差進行轉換亦稱為一次轉換。對於轉換的結果進行的再轉換亦稱為二次轉換。總言之，轉換部106對於預測誤差進行一次轉換，對於一次轉換的結果進行二次轉換。
更具體而言，轉換部106利用一次轉換基底，對於預測誤差進行一次轉換。然後，轉換部106利用二次轉換基底，對於一次轉換的結果進行二次轉換。一次轉換基底為一次轉換的轉換基底，二次轉換基底為二次轉換的轉換基底。例如轉換基地是由複數個資料模式構成。各資料模式有時稱為基底。此時，轉換基底可視為由複數個基底構成的基底集合。
例如轉換部106藉由從預測圖像，導出一次轉換基底的各資料模式的成分值，來對於預測圖像進行一次轉換。總言之，一次轉換的結果對應於從預測圖像導出的複數個成分值，且對應於對於一次轉換基底的複數個資料模式的複數個成分值。
然後，轉換部106藉由從一次轉換的結果，導出二次轉換基底的各資料模式的成分值，來對於一次轉換的結果進行二次轉換。總言之，二次轉換的結果對應於從一次轉換的結果導出的複數個成分值，且對應於對於二次轉換基底的複數個資料模式的複數個成分值。
解碼裝置200進行對應於編碼裝置100的動作。具體而言，解碼裝置200的反向轉換部206利用反向二次轉換基底，對於反向量化的結果進行反向二次轉換。又，反向轉換部206利用反向一次轉換基底，對於反向二次轉換的結果進行反向一次轉換。
於此，反向一次轉換是與一次轉換相反的轉換。解碼裝置200藉由利用反向一次轉換基底進行反向一次轉換，以從一次轉換後的資料導出一次轉換前的資料。反向一次轉換基底是反向一次轉換的轉換基底，是對應於一次轉換基底的轉換基底。
具體而言，解碼裝置200亦可利用對應於一次轉換基底的反向一次轉換基底，採用與一次轉換相反的程序進行處理，來進行反向一次轉換。
又，反向二次轉換是與二次轉換相反的轉換。解碼裝置200藉由利用反向二次轉換基底進行反向二次轉換，以從二次轉換後的資料導出二次轉換前的資料。反向二次轉換基底是反向二次轉換的轉換基底，是對應於二次轉換基底的轉換基底。
具體而言，解碼裝置200亦可利用對應於二次轉換基底的反向二次轉換基底，採用與二次轉換相反的程序進行處理，來進行反向二次轉換。
解碼裝置200的反向量化的結果對應於編碼裝置100的二次轉換的結果。總言之，反向量化的結果對應於從一次轉換的結果導出的複數個成分值，且對應於對於二次轉換基底的複數個資料模式的複數個成分值。例如反向轉換部206對於反向量化的結果進行反向二次轉換時，藉由利用反向二次轉換基底合成該等成分值，來導出一次轉換的結果。
因此，反向二次轉換的結果對應於編碼裝置100的一次轉換的結果。總言之，反向二次轉換的結果對應於從預測圖像導出的複數個成分值，且對應於對於一次轉換基底的複數個資料模式的複數個成分值。例如反向轉換部206對於反向二次轉換的結果進行反向一次轉換時，藉由利用反向一次轉換基底合成該等成分值，來導出預測誤差。
本實施形態的編碼裝置100根據一次轉換所用的一次轉換基底，來決定二次轉換所用的二次轉換基底。同樣地，解碼裝置200根據反向一次轉換所用的反向一次轉換基底，來決定反向二次轉換所用的反向二次轉換基底。
以下主要表示編碼裝置100中的例子，解碼裝置200亦與編碼裝置100同樣地動作。特別是解碼裝置200的反向轉換部206是與編碼裝置100的轉換部106同樣地動作。例如以下說明中的轉換、一次轉換、二次轉換、一次轉換基底及二次轉換基底等，亦可適當替換為反向轉換、反向一次轉換、反向二次轉換、反向一次轉換基底及反向二次轉換基底等。
其中，解碼裝置200的反向轉換部206是於反向二次轉換後進行反向一次轉換。又，編碼裝置100編碼資訊，解碼裝置200解碼資訊。例如編碼裝置100根據碼量及原圖像與重構圖像之差距等，來選擇轉換基底時，編碼裝置100編碼轉換基底的資訊，解碼裝置200解碼轉換基底的資訊。
圖11是表示根據一次轉換基底的二次轉換基底的選擇處理的流程圖。例如圖1所示的編碼裝置100的轉換部106進行圖11所示的選擇處理。轉換部106進行二次轉換之前，進行根據一次轉換基底的二次轉換基底的選擇處理。不限於緊接於二次轉換之前，轉換部106亦可於一次轉換之前，進行二次轉換基底的選擇處理。
例如轉換部106就每區塊或其他資料單位，選擇一次轉換基底，根據一次轉換基底選擇二次轉換基底。於此，區塊亦可為子區塊。亦即，轉換部106於選擇一次轉換基底的迴路中，根據一次轉換基底選擇二次轉換基底。
具體而言，首先，轉換部106選擇一次轉換基底(S101)。例如轉換部106從一次轉換基底的複數個候選，即複數個一次轉換基底候選中，選擇一次轉換基底。一次轉換基底候選基本上為正交轉換的轉換基底。任意的正交轉換的轉換基底可作為一次轉換基底候選使用。
例如一次轉換基底候選亦可為對應於DCT2(DCT-II)、DCT5(DCT-V)、DCT8(DCT-VIII)、DST1(DST-I)或DST7(DST-VII)的轉換基底。
又，轉換部106亦可根據評估值來選擇一次轉換基底。該評估值亦可是根據稱為RD(Rate Distortion(率失真))成本的成本評估，具體而言亦可是根據碼量、及原圖像與重構圖像之差距。例如轉換部106亦可針對複數個一次轉換基底候選的各個，算出評估值，從複數個一次轉換基底候選中，選擇評估值最佳的一次轉換基底候選來作為一次轉換基底。
或者，轉換部106根據區塊尺寸或訊框內預測模式等任意的編碼參數，來選擇一次轉換基底亦可。例如轉換部106亦可選擇與編碼參數相對應的一次轉換基底。
然後，轉換部106選擇與一次轉換基底相對應的二次轉換基底(S102)。例如轉換部106從二次轉換基底的複數個候選，即複數個二次轉換基底候選中，選擇與一次轉換基底相對應的二次轉換基底。二次轉換基底候選基本上亦為正交轉換的轉換基底。任意的正交轉換的轉換基底可作為二次轉換基底候選來利用。
例如KL轉換(Karhunen-Loeve轉換)的轉換基底亦可藉由離線學習而最佳化，並作為二次轉換基底候選來利用。又，於離線學習中，以根據一次轉換基底候選與二次轉換基底候選的對應關係的條件，來選擇訓練資料亦可。例如於與對應於DCT2的一次轉換基底候選相對應的二次轉換基底候選的離線學習中，僅將DCT2的一次轉換的結果作為訓練資料來利用。
然後，對應於KL轉換的二次轉換基底候選亦可根據訓練資料來決定，與用於訓練資料的選擇的一次轉換基底候選相對應。藉此，轉換部106可利用根據一次轉換基底候選，以離線學習更新後的二次轉換基底候選。因此，轉換部106可對於一次轉換的結果，適當進行二次轉換。故，可刪減碼量。
或者，對應於KL轉換的二次轉換基底候選亦可藉由對於根據Gauss-Markov模型等之預測誤差模型的一次轉換的結果模型來決定，與用於一次轉換的一次轉換基底候選相對應。藉此，轉換部106可利用根據預測誤差模型及一次轉換基底候選等所決定的二次轉換基底候選。因此，轉換部106可對於一次轉換的結果，適當進行二次轉換。故，可刪減碼量。
又，轉換部106藉由從複數個二次轉換基底候選中，選擇與一次轉換基底相對應的二次轉換基底，可比進行複數個二次轉換基底候選各自的評估，更刪減處理量。
又，於上述說明，轉換部106從複數個一次轉換基底候選中，選擇1個一次轉換基底候選來作為一次轉換基底之後，從複數個二次轉換基底候選中，選擇與一次轉換基底相對應的二次轉換基底。然而，該等選擇亦可並非一次轉換基底及二次轉換基底的最終選擇。
例如轉換部106亦可依序選擇一次轉換基底候選，同時根據一次轉換基底候選與二次轉換基底候選的對應關係，依序選擇二次轉換基底候選，藉此依序選擇一次轉換基底候選與二次轉換基底候選的組合。然後，轉換部106亦可對於依序選擇的各組合，導出RD成本等評估值。
然後，轉換部106最終選擇構成評估值最佳的組合的一次轉換基底候選及二次轉換基底候選，來作為一次轉換基底及二次轉換基底亦可。藉由該選擇，結果來說，亦是根據一次轉換基底選擇二次轉換基底。
又，於一次轉換亦可採用KL轉換。複數個一次轉換基底候選分別為對應於KL轉換的複數個轉換基底，或分別包含對應於KL轉換的複數個轉換基底均可。
又，一次轉換亦可為分離型轉換(Separable Transform)，亦即分離型一次轉換。或者，一次轉換亦可為非分離型轉換(Non-Separable Transform)，亦即非分離型一次轉換。同樣地，二次轉換亦可為分離型轉換，亦即分離型二次轉換。或者，二次轉換亦可為非分離型轉換，亦即非分離型二次轉換。
又，分離型一次轉換的轉換基底及非分離型一次轉換的轉換基底，亦可分別表現為分離型一次轉換基底及非分離型一次轉換基底。進而言之，該等候選亦可分別表現為分離型一次轉換基底候選及非分離型一次轉換基底候選。
又，分離型二次轉換的轉換基底及非分離型二次轉換的轉換基底，亦可分別表現為分離型二次轉換基底及非分離型二次轉換基底。進而言之，該等候選亦可分別表現為分離型二次轉換基底候選及非分離型二次轉換基底候選。
同樣地，反向一次轉換亦可為分離型反向轉換(Separable Inverse Transform)，亦即分離型反向一次轉換。或者，反向一次轉換亦可為非分離型反向轉換(Non-Separable Inverse Transform)，亦即非分離型反向一次轉換。同樣地，反向二次轉換亦可為分離型反向轉換，亦即分離型反向二次轉換。或者，反向二次轉換亦可為非分離型反向轉換，亦即非分離型反向二次轉換。
又，分離型反向一次轉換的轉換基底及非分離型反向一次轉換的轉換基底，亦可分別表現為分離型反向一次轉換基底及非分離型反向一次轉換基底。進而言之，該等候選亦可分別表現為分離型反向一次轉換基底候選及非分離型反向一次轉換基底候選。
又，分離型反向二次轉換的轉換基底及非分離型反向二次轉換的轉換基底，亦可分別表現為分離型反向二次轉換基底及非分離型反向二次轉換基底。進而言之，該等候選亦可分別表現為分離型反向二次轉換基底候選及非分離型反向二次轉換基底候選。
於此，分離型轉換是可分離為對於複數個方向的複數個轉換的轉換，例如可分離為對於縱向的轉換及對於橫向的轉換的轉換。非分離型轉換是不能分離為對於複數個方向的複數個轉換的轉換，例如不能分離為對於縱向的轉換及對於橫向的轉換的轉換。
同樣地，分離型反向轉換是可分離為對於複數個方向的複數個反向轉換的反向轉換，例如可分離為對於縱向的反向轉換及對於橫向的反向轉換的反向轉換。非分離型反向轉換是不能分離為對於複數個方向的複數個反向轉換的反向轉換，例如不能分離為對於縱向的反向轉換及對於橫向的反向轉換的反向轉換。
又，例如轉換部106保持使二次轉換基底候選與複數個一次轉換基底候選的各個相對應的表。然後，轉換部106參考表，選擇與被選擇作為一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選，來作為二次轉換基底。
又，例如解碼裝置200的反向轉換部206所保持的候選及對應關係，是對應於由編碼裝置100的轉換部106所保持的候選及對應關係。然後，與編碼裝置100的轉換部106同樣，解碼裝置200的反向轉換部206可按照候選及對應關係，來決定反向一次轉換基底及反向二次轉換基底。
以下表示有關一次轉換基底候選與二次轉換基底候選的對應關係的複數例。再者，於以下，DCT2或DST7等表現有時意味DCT2或DST7等之轉換基底。
圖12是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第1具體例。於該例，一次轉換是僅對應於DCT2及DST7的分離型轉換，二次轉換是非分離型轉換。
然後，於該例，表示4個一次轉換基底候選及4個二次轉換基底候選。具體而言，4個一次轉換基底候選是由縱向的DCT2或DST7、與橫向的DCT2或DST7的組合構成。4個二次轉換基底候選為轉換基底2a、2b、2c及2d。例如轉換基底2a、2b、2c及2d分別是對應於KL轉換的轉換基底。
然後，轉換基底2a是與縱向的DCT2與橫向的DCT2的組合相對應。轉換基底2b是與縱向的DCT2與橫向的DST7的組合相對應。轉換基底2c是與縱向的DST7與橫向的DCT2的組合相對應。轉換基底2d是與縱向的DST7與橫向的DST7的組合相對應。
轉換部106選擇與被選擇作為一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選，來作為二次轉換基底。例如轉換部106選擇縱向DST7與橫向DCT2的組合作為一次轉換基底時，選擇轉換基底2c作為二次轉換基底。
於該例，一次轉換僅對應於DCT2及DST7，但一次轉換亦可對應於其他轉換。又，於該例，利用4個一次轉換基底候選，但利用1個一次轉換基底候選，或利用2個一次轉換基底候選，或利用3個一次轉換基底候選，或利用5個以上的一次轉換基底候選均可。
又，於該例，一次轉換為分離型轉換，二次轉換為非分離型轉換，但一次轉換不限定於分離型轉換，二次轉換不限定於非分離型轉換。
又，於該例，使4個二次轉換基底候選分別獨立地與互異的4個一次轉換基底候選相對應。亦即，就每一個轉換基底候選，二次轉換基底候選可能不同。然而，未必就每一個轉換基底候選，二次轉換基底候選必須獨立。例如使互異的4個一次轉換基底候選中的2個以上，與共通的1個二次轉換基底候選相對應亦可。
又，使轉換基底2b及2c分別獨立地與縱向的DCT2與橫向的DST7的組合、及縱向的DST7與橫向的DCT2的組合相對應。然而，亦可使共通的1個二次轉換基底候選，與該類共通的複數個轉換基底的複數個組合、且僅方向屬性不同的複數個組合的複數個一次轉換基底候選相對應。
又，亦可使藉由轉置其中一方而獲得另一方的2個二次轉換基底候選，與如上述交換縱向與橫向的2個一次轉換基底候選相對應。例如藉由交換構成二次轉換基底候選的複數個資料模式，來轉置二次轉換基底候選。更具體而言，構成二次轉換基底候選的複數個資料模式構成縱向及橫向的矩陣，藉由轉置該矩陣來轉置二次轉換基底候選亦可。
又，亦可使複數個二次轉換基底候選，與1個一次轉換基底候選相對應。轉換部106選擇與複數個二次轉換基底候選相對應的1個一次轉換基底候選，來作為一次轉換基底時，從與1個一次轉換基底候選相對應的複數個二次轉換基底候選中，選擇1個二次轉換基底候選，來作為二次轉換基底。
此時，轉換部106亦可根據評估值，從該等二次轉換基底候選中選擇二次轉換基底。具體而言，轉換部106亦可針對該等二次轉換基底候選，分別算出RD成本等評估值，從複數個一次轉換基底候選中，選擇評估值最佳的二次轉換基底候選，來作為二次轉換基底。或者，轉換部106亦可根據區塊尺寸或訊框內預測模式等任意的編碼參數，從該等二次轉換基底候選中選擇二次轉換基底。
又，與各一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目非一定數目亦可。亦即，若一次轉換基底候選改變，與一次轉換基底候選相對應的1個以上的二次轉換基底候選數目亦可改變。例如就每一個轉換基底候選，與一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目不同亦可。
又，於轉換部106等所保持的表中選擇了未與二次轉換基底候選相對應的一次轉換基底候選時，亦可選擇預先決定的二次轉換基底。
圖13是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第2具體例的關係圖。於圖13，表示使共通的1個二次轉換基底候選與複數個一次轉換基底候選中的2個以上相對應之例。具體而言，於該例，相較於圖12之例，轉換基底2b是與縱向的DST7與橫向的DCT2的組合、及縱向的DST7與橫向的DST7的組合相對應。
總言之，轉換基底2a是與縱向的DCT2與橫向的DCT2的組合相對應，轉換基底2b是與其他複數個組合相對應。然後，轉換部106僅於選擇縱向DCT2與橫向DCT2的組合作為一次轉換基底時，選擇轉換基底2a作為二次轉換基底，其他情況則選擇轉換基底2b作為二次轉換基底。
圖14是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第3具體例的關係圖。於該例，相較於圖12之例，無轉換是與縱向的DST7與橫向的DST7的組合相對應。
總言之，轉換部106是於選擇縱向DST7與橫向DST7的組合作為一次轉換基底時，不進行二次轉換。然後，轉換部106在其他情況下，則根據一次轉換基底選擇二次轉換基底。因此，轉換部106根據一次轉換基底，決定是否進行二次轉換、及進行二次轉換時的二次轉換基底。
再者，例如不進行二次轉換，是與不進行使資料變化的二次轉換相對應。因此，不進行二次轉換，亦可包含形式上進行維持資料的二次轉換。然後，無轉換的二次轉換基底候選亦可為用以維持資料的轉換基底。反之，例如進行二次轉換是與進行使資料變化的二次轉換相對應。
圖15是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第4具體例的關係圖。於圖15，表示使複數個二次轉換基底候選與1個一次轉換基底候選相對應之例。
具體而言，於該例，相較於圖12之例，進一步轉換基底2e是與縱向的DCT2與橫向的DCT2的組合相對應。又，進一步轉換基底2f是與縱向的DCT2與橫向的DST7的組合相對應。進一步轉換基底2g是與縱向的DST7與橫向的DCT2的組合相對應。
總言之，1個以上的二次轉換基底候選是與1個一次轉換基底候選相對應。轉換部106於選擇了有複數個二次轉換基底候選相對應的1個一次轉換基底候選，來作為一次轉換基底時，從與1個一次轉換基底候選相對應的複數個二次轉換基底候選中，選擇1個二次轉換基底候選來作為二次轉換基底。
此時，轉換部106亦可根據RD成本等評估值，從該等二次轉換基底候選中選擇二次轉換基底。或者，轉換部106亦可根據區塊尺寸或訊框內預測模式等任意的編碼參數，從該等二次轉換基底候選中選擇二次轉換基底。
例如轉換部106選擇縱向的DCT2與橫向的DCT2的組合，來作為一次轉換基底時，根據評估值或編碼參數，選擇轉換基底2a或轉換基底2e作為二次轉換基底。
又，轉換部106選擇與1個二次轉換基底候選相對應的1個一次轉換基底候選，來作為一次轉換基底時，選擇與1個一次轉換基底候選相對應的1個二次轉換基底候選，來作為二次轉換基底。於該例，轉換部106在選擇縱向的DST7與橫向的DST7的組合，來作為一次轉換基底時，選擇轉換基底2d作為二次轉換基底。
又，於該例，1個二次轉換基底候選是與縱向的DST7與橫向的DST7的組合的一次轉換基底候選相對應。然後，2個二次轉換基底候選是與其他3個一次轉換基底候選的各個相對應。如該例，與各一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目亦可非一定數目。
圖16是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第5具體例的關係圖。於該例，相較於圖15之例，利用無轉換來取代轉換基底2d及轉換基底2g。
總言之，1個以上的二次轉換基底候選是與1個一次轉換基底候選相對應。然後，與1個一次轉換基底候選相對應的1個以上的二次轉換基底候選可包含無轉換。
例如轉換基底2c及無轉換是與縱向的DST7與橫向的DCT2的組合相對應。亦即，與1個一次轉換基底候選相對應的複數個二次轉換基底候選亦可包含無轉換。
轉換部106於選擇了與包含無轉換的複數個二次轉換基底候選相對應的1個一次轉換基底候選，來作為一次轉換基底時，從該等之中選擇1個二次轉換基底候選，來作為二次轉換基底。此時，轉換部106亦可根據RD成本等評估值，從該等二次轉換基底候選中選擇二次轉換基底。或者，轉換部106亦可根據區塊尺寸或訊框內預測模式等任意的編碼參數，從該等二次轉換基底候選中選擇二次轉換基底。
然後，轉換部106於選擇了無轉換的二次轉換基底候選，來作為二次轉換基底時，不進行二次轉換。另，轉換部106於選擇了其他二次轉換基底候選，來作為二次轉換基底時，利用選擇的二次轉換基底來進行二次轉換。
具體而言，轉換部106於選擇了縱向的DST7與橫向的DCT2的組合，來作為一次轉換基底時，選擇轉換基底2c或無轉換來作為二次轉換基底。然後，轉換部106於選擇了轉換基底2c來作為二次轉換基底時，利用轉換基底2c來進行二次轉換。另，轉換部106於選擇了無轉換來作為二次轉換基底時，不進行二次轉換。
於該例，就每一個轉換基底候選，決定包含無轉換的1個以上的二次轉換基底候選。具體而言，就每一個轉換基底候選，包含無轉換的1個以上二次轉換基底候選會不同。因此，取決於一次轉換基底而決定是否進行二次轉換，及進行二次轉換時的二次轉換基底。
圖17是表示分離型一次轉換基底候選與分離型二次轉換基底候選的對應關係的第1具體例的關係圖。於該例，一次轉換是僅對應於DCT2及DST7的分離型轉換，二次轉換為分離型轉換。又，於該例，表示4個一次轉換基底候選及4個二次轉換基底候選。4個一次轉換基底候選與圖12之例相同。
4個二次轉換基底候選分別是對於縱向及橫向之轉換基底2a1及2a2的組合、轉換基底2b1及2b2的組合、轉換基底2c1及2c2的組合、以及轉換基底2d1及2d2的組合。
然後，縱向的轉換基底2a1與橫向的轉換基底2a2的組合是與縱向的DCT2與橫向的DCT2的組合相對應。又，縱向的轉換基底2b1與橫向的轉換基底2b2的組合是與縱向的DCT2與橫向的DST7的組合相對應。
又，縱向的轉換基底2c1與橫向的轉換基底2c2的組合是與縱向的DST7與橫向的DCT2的組合相對應。又，縱向的轉換基底2d1與橫向的轉換基底2d2的組合是與縱向的DST7與橫向的DST7的組合相對應。
轉換部106選擇與被選擇作為一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選，來作為二次轉換基底。例如轉換部106於選擇了縱向的DST7與橫向的DCT2的組合，來作為一次轉換基底時，選擇縱向的轉換基底2c1與橫向的轉換基底2c2的組合，來作為二次轉換基底。
於該例，一次轉換僅對應於DCT2及DST7，但一次轉換亦可對應於其他轉換。又，於該例，利用4個一次轉換基底候選，但利用1個一次轉換基底候選，或利用2個一次轉換基底候選，或利用3個一次轉換基底候選，或利用5個以上的一次轉換基底候選均可。
又，於該例，利用縱向及橫向的2個轉換基底的組合，來作為二次轉換基底候選，縱向及橫向的2個轉換基底分別獨立決定。亦即，縱向及橫向的2個轉換基底可互異。然而，縱向及橫向的2個轉換基底非獨立亦可。總言之，縱向及橫向的2個轉換基底亦可決定為縱向及橫向共通的1個轉換基底。
又，於該例，使4個二次轉換基底候選分別獨立地與互異的4個一次轉換基底候選相對應。亦即，就每一個轉換基底候選，二次轉換基底候選可能不同。然而，未必就每一個轉換基底候選，二次轉換基底候選必須獨立。例如使互異的4個一次轉換基底候選中的2個以上，與共通的1個二次轉換基底候選相對應亦可。
具體而言，使縱向的轉換基底2a1與橫向的轉換基底2a2的組合，與縱向的DCT2與橫向的DCT2的組合相對應亦可。然後，使縱向的轉換基底2b1與橫向的轉換基底2b2的組合，與其他組合相對應亦可。
又，於該例，與縱向的DCT2與橫向的DST7的組合相對應的二次轉換基底候選，不同於與縱向的DST7與橫向的DCT2的組合相對應的二次轉換基底候選。然而，亦可使共通的1個二次轉換基底候選，與該類共通的複數個轉換基底的複數個組合，且僅有方向屬性不同的複數個組合的複數個一次轉換基底候選相對應。
又，亦可使藉由轉置其中一方而獲得另一方的2個二次轉換基底候選，與如上述交換縱向與橫向的2個一次轉換基底候選相對應。例如藉由交換構成二次轉換基底候選的複數個資料模式，來轉置二次轉換基底候選。更具體而言，構成二次轉換基底候選的複數個資料模式構成縱向及橫向的矩陣，藉由轉置該矩陣來轉置二次轉換基底候選亦可。
又，就以縱向的轉換基底與橫向的轉換基底構成的二次轉換基底候選的轉置而言，分別轉置縱向的轉換基底及橫向的轉換基底亦可。或者，亦可藉由互相交換縱向的轉換基底與橫向的轉換基底來轉置。或者，亦可分別轉置縱向的轉換基底及橫向的轉換基底，且互相交換縱向的轉換基底與橫向的轉換基底。
又，亦可使複數個二次轉換基底候選，與1個一次轉換基底候選相對應。轉換部106選擇與複數個二次轉換基底候選相對應的1個一次轉換基底候選，來作為一次轉換基底時，從與1個一次轉換基底候選相對應的複數個二次轉換基底候選中，選擇1個二次轉換基底候選，來作為二次轉換基底。
此時，轉換部106亦可根據RD成本等評估值，從該等二次轉換基底候選中選擇二次轉換基底。或者，轉換部106亦可根據區塊尺寸或訊框內預測模式等任意的編碼參數，從該等二次轉換基底候選中選擇二次轉換基底。
又，與各一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目非一定數目亦可。亦即，若一次轉換基底候選改變，與一次轉換基底候選相對應的1個以上的二次轉換基底候選數目亦可改變。例如就每一個轉換基底候選，與一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目不同亦可。
又，於轉換部106等所保持的表中選擇了未與二次轉換基底候選相對應的一次轉換基底候選時，亦可選擇預先決定的二次轉換基底。
又，對於圖12之例，表示了圖13～圖16的變化，但可對於圖17之例，適用與圖13～圖16的變化相同的變化。
例如亦可如圖13，使共通的1個二次轉換基底候選，與複數個一次轉換基底候選相對應。又，亦可如圖14，使無轉換作為二次轉換基底候選而與一次轉換基底候選相對應。又，亦可如圖15，使1個以上的二次轉換基底候選，與1個一次轉換基底候選相對應。又，亦可如圖16，使包含無轉換的複數個二次轉換基底候選，與1個一次轉換基底候選相對應。
圖18是表示分離型一次轉換基底候選與分離型二次轉換基底候選的對應關係的第2具體例的關係圖。圖18是表示縱向及橫向的2個轉換基底決定為縱向及橫向共通的1個轉換基底之例。具體而言，於該例，相較於圖17之例，構成作為二次轉換基底候選來利用的組合的2個轉換基底，是決定為縱向及橫向共通的1個轉換基底。
總言之，於縱向的轉換基底與橫向的轉換基底的組合的二次轉換基底候選，橫向的轉換基底是與縱向的轉換基底相同。例如於與縱向的DCT2與橫向的DCT2的組合相對應的二次轉換基底候選，橫向的轉換基底2a1是與縱向的轉換基底2a1相同。藉此，將處理共通化、簡化。
又，於該例，於複數個二次轉換基底候選，縱向的轉換基底與橫向的轉換基底全都相同。然而，於複數個二次轉換基底候選的一部分，縱向的轉換基底與橫向的轉換基底相同亦可。總言之，複數個二次轉換基底候選亦可包含縱向的轉換基底與橫向的轉換基底相同的轉換基底，及縱向的轉換基底與橫向的轉換基底不同的轉換基底。
又，使複數個二次轉換基底候選與1個一次轉換基底候選相對應時，於與1個一次轉換基底候選相對應的複數個二次轉換基底候選的全部，縱向的轉換基底與橫向的轉換基底相同亦可。或者，於與1個一次轉換基底候選相對應的複數個二次轉換基底候選的一部分，縱向的轉換基底與橫向的轉換基底相同亦可。
圖19是表示非分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的具體例的關係圖。於該例，一次轉換及二次轉換分別為非分離型轉換。
又，於該例，表示4個一次轉換基底候選及4個二次轉換基底候選。4個一次轉換基底候選為轉換基底1a、1b、1c及1d。4個二次轉換基底候選為轉換基底2a、2b、2c及2d。例如4個一次轉換基底候選及4個二次轉換基底候選分別對應於KL轉換。然後，轉換基底2a、2b、2c及2d分別與轉換基底1a、1b、1c及1d相對應。
轉換部106選擇與被選擇作為一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選，來作為二次轉換基底。例如轉換部106於選擇了轉換基底1c來作為一次轉換基底時，選擇轉換基底2c來作為二次轉換基底。
又，於該例，利用4個一次轉換基底候選，但利用1個一次轉換基底候選，或利用2個一次轉換基底候選，或利用3個一次轉換基底候選，或利用5個以上的一次轉換基底候選均可。
又，於該例，使4個二次轉換基底候選分別獨立地與互異的4個一次轉換基底候選相對應。亦即，就每一個轉換基底候選，二次轉換基底候選可能不同。然而，未必就每一個轉換基底候選，二次轉換基底候選必須獨立。例如使互異的4個一次轉換基底候選中的2個以上，與共通的1個二次轉換基底候選相對應亦可。
具體而言，使轉換基底2a與轉換基底1a相對應，使轉換基底2b與其他轉換基底1b、1c及1d分別相對應。
又，亦可使複數個二次轉換基底候選，與1個一次轉換基底候選相對應。轉換部106選擇與複數個二次轉換基底候選相對應的1個一次轉換基底候選，來作為一次轉換基底時，從與1個一次轉換基底候選相對應的複數個二次轉換基底候選中，選擇1個二次轉換基底候選，來作為二次轉換基底。
此時，轉換部106亦可根據RD成本等評估值，從該等二次轉換基底候選中選擇二次轉換基底。或者，轉換部106亦可根據區塊尺寸或訊框內預測模式等任意的編碼參數，從該等二次轉換基底候選中選擇二次轉換基底。
又，與各一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目非一定數目亦可。亦即，若一次轉換基底候選改變，與一次轉換基底候選相對應的1個以上的二次轉換基底候選數目亦可改變。例如就每一個轉換基底候選，與一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目不同亦可。
又，於轉換部106等所保持的表中選擇了未與二次轉換基底候選相對應的一次轉換基底候選時，亦可選擇預先決定的二次轉換基底。
又，對於圖12之例，表示了圖13～圖16的變化，但可對於圖19之例，適用與圖13～圖16的變化相同的變化。
例如亦可如圖13，使共通的1個二次轉換基底候選，與複數個一次轉換基底候選相對應。又，亦可如圖14，使無轉換作為二次轉換基底候選而與一次轉換基底候選相對應。又，亦可如圖15，使1個以上的二次轉換基底候選，與1個一次轉換基底候選相對應。又，亦可如圖16，使包含無轉換的複數個二次轉換基底候選，與1個一次轉換基底候選相對應。
圖20是表示非分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的具體例的關係圖。於該例，一次轉換為非分離型轉換，二次轉換為分離型轉換。又，於該例，表示4個一次轉換基底候選及4個二次轉換基底候選。
4個一次轉換基底候選為轉換基底1a、1b、1c及1d。4個二次轉換基底候選分別是對於縱向及橫向之轉換基底2a1及2a2的組合、轉換基底2b1及2b2的組合、轉換基底2c1及2c2的組合、以及轉換基底2d1及2d2的組合。例如4個一次轉換基底候選及4個二次轉換基底候選分別對應於KL轉換。
然後，縱向的轉換基底2a1與橫向的轉換基底2a2的組合是與轉換基底1a相對應。又，縱向的轉換基底2b1與橫向的轉換基底2b2的組合是與轉換基底1b相對應。又，縱向的轉換基底2c1與橫向的轉換基底2c2的組合是與轉換基底1c相對應。又，縱向的轉換基底2d1與橫向的轉換基底2d2的組合是與轉換基底1d相對應。
轉換部106選擇與被選擇作為一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選，來作為二次轉換基底。例如轉換部106於選擇了轉換基底1c來作為一次轉換基底時，選擇縱向的轉換基底2c1與橫向的轉換基底2c2的組合，來作為二次轉換基底。
於該例，利用4個一次轉換基底候選，但利用1個一次轉換基底候選，或利用2個一次轉換基底候選，或利用3個一次轉換基底候選，或利用5個以上的一次轉換基底候選均可。
又，於該例，利用縱向及橫向的2個轉換基底的組合，來作為二次轉換基底候選，縱向及橫向的2個轉換基底分別獨立決定。亦即，縱向及橫向的2個轉換基底可互異。然而，縱向及橫向的2個轉換基底非獨立亦可。總言之，縱向及橫向的2個轉換基底亦可決定為縱向及橫向共通的1個轉換基底。
又，於該例，使4個二次轉換基底候選分別獨立地與互異的4個一次轉換基底候選相對應。亦即，就每一個轉換基底候選，二次轉換基底候選可能不同。然而，未必就每一個轉換基底候選，二次轉換基底候選必須獨立。例如使互異的4個一次轉換基底候選中的2個以上，與共通的1個二次轉換基底候選相對應亦可。
具體而言，使縱向的轉換基底2a1與橫向的轉換基底2a2的組合，與轉換基底1a相對應亦可。然後，使縱向的轉換基底2b1與橫向的轉換基底2b2的組合，與其他轉換基底1b、1c及1d分別相對應亦可。
又，亦可使複數個二次轉換基底候選，與1個一次轉換基底候選相對應。轉換部106選擇與複數個二次轉換基底候選相對應的1個一次轉換基底候選，來作為一次轉換基底時，從與1個一次轉換基底候選相對應的複數個二次轉換基底候選中，選擇1個二次轉換基底候選，來作為二次轉換基底。
此時，轉換部106亦可根據RD成本等評估值，從該等二次轉換基底候選中選擇二次轉換基底。或者，轉換部106亦可根據區塊尺寸或訊框內預測模式等任意的編碼參數，從該等二次轉換基底候選中選擇二次轉換基底。
又，與各一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目非一定數目亦可。亦即，若一次轉換基底候選改變，與一次轉換基底候選相對應的1個以上的二次轉換基底候選數目亦可改變。例如就每一個轉換基底候選，與一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目不同亦可。
又，於轉換部106等所保持的表中選擇了未與二次轉換基底候選相對應的一次轉換基底候選時，亦可選擇預先決定的二次轉換基底。
又，對於圖12之例，表示了圖13～圖16的變化，但可對於圖20之例，適用與圖13～圖16的變化相同的變化。
例如亦可如圖13，使共通的1個二次轉換基底候選，與複數個一次轉換基底候選相對應。又，亦可如圖14，使無轉換作為二次轉換基底候選而與一次轉換基底候選相對應。又，亦可如圖15，使1個以上的二次轉換基底候選，與1個一次轉換基底候選相對應。又，亦可如圖16，使包含無轉換的複數個二次轉換基底候選，與1個一次轉換基底候選相對應。
又，對於圖17之例，表示了圖18的變化，但可對於圖20之例，適用與圖18的變化相同的變化。例如亦可如圖18，針對二次轉換基底，利用縱向及橫向共同的轉換基底。
圖21是表示分離型轉換及非分離型轉換同時存在的環境下的一次轉換基底候選與二次轉換基底候選的對應關係的具體例的關係圖。
複數個一次轉換基底候選包含分離型一次轉換基底候選，或包含非分離型一次轉換基底候選均可。轉換部106按照選擇作為一次轉換基底的一次轉換基底候選，來進行分離型一次轉換或非分離型一次轉換。
總言之，轉換部106於選擇了分離型一次轉換基底候選作為一次轉換基底時，利用選擇作為一次轉換基底的分離型一次轉換基底候選，來進行分離型一次轉換。又，轉換部106於選擇了非分離型一次轉換基底候選作為一次轉換基底時，利用選擇作為一次轉換基底的非分離型一次轉換基底候選，來進行非分離型一次轉換。
又，使分離型二次轉換基底候選、非分離型二次轉換基底候選、或該等雙方與分離型一次轉換基底候選相對應均可。又，使分離型二次轉換基底候選、非分離型二次轉換基底候選、或該等雙方與非分離型一次轉換基底候選相對應均可。轉換部106按照選擇作為二次轉換基底的二次轉換基底候選，來進行分離型二次轉換或非分離型二次轉換。
總言之，轉換部106於選擇了分離型二次轉換基底候選來作為二次轉換基底時，利用選擇作為二次轉換基底的分離型二次轉換基底候選，來進行分離型二次轉換。又，轉換部106於選擇了非分離型二次轉換基底候選來作為二次轉換基底時，利用選擇作為二次轉換基底的非分離型二次轉換基底候選，來進行非分離型二次轉換。
於上述說明，根據一次轉換基底選擇二次轉換基底，但亦可根據一次轉換基底及編碼參數來選擇二次轉換基底。編碼參數是於編碼裝置100編碼的參數，並於解碼裝置200解碼的參數。於以下說明，採用訊框內預測模式，來作為用以選擇二次轉換基底的編碼參數。
圖22是表示一次轉換基底及根據訊框內預測模式的二次轉換基底的選擇處理的流程圖。例如圖1所示的編碼裝置100的轉換部106進行圖22所示的選擇處理。
圖22所示的一次轉換基底的選擇處理(S201)與圖11的一次轉換基底的選擇處理(S101)相同。又，於圖22所示的二次轉換基底的選擇處理(S202)，相較於圖11的二次轉換基底的選擇處理(S102)，轉換部106選擇與一次轉換基底及訊框內預測模式相對應的二次轉換基底。
總言之，於圖22之例，除了一次轉換基底，還利用訊框內預測模式。訊框內預測模式包含例如訊框內預測方向及LMChroma模式(亮度色差預測模式)等。例如轉換部106於選擇的一次轉換基底對應於縱及橫的2個DCT2的組合，訊框內預測模式為Planar(平面)預測時，選擇與2個DCT2的組合及Planar預測相對應的二次轉換基底候選。
與2個DCT2的組合及Planar預測相對應的二次轉換基底候選，亦可為2個DCT2的組合及Planar預測時的係數資訊，經用於訓練資料的離線學習更新後的二次轉換基底候選。或者，從關於Planar預測根據Gauss-Markov模型所導出的預測誤差模式，利用以2個DCT2的組合所獲得的係數資訊模型，來決定對應於KL轉換的二次轉換基底候選。
圖23是表示訊框內預測模式、分離型一次轉換基底候選、與非分離型二次轉換基底候選的對應關係的具體例的關係圖。於該例，表示Planar預測及DC預測來作為訊框內預測模式。進而言之，亦可利用其他的訊框內預測模式。又，一次轉換是僅對應於DCT2及DST7的分離型轉換，二次轉換為非分離型轉換。
又，於該例，複數個一次轉換基底候選分別是對於縱向及橫向之DCT2及DCT2的組合、DCT2及DST7的組合、DST7及DCT2的組合、以及DST7及DST7的組合等。又，複數個二次轉換基底候選為轉換基底2a、2b、2c、2d、2e、2f、2g及2h等。例如各二次轉換基底候選對應於KL轉換。
然後，轉換基底2a是與Planar預測、及縱向的DCT2與橫向的DCT2的組合相對應。轉換基底2b是與Planar預測、及縱向的DCT2與橫向的DST7的組合相對應。轉換基底2c是與Planar預測、及縱向的DST7與橫向的DCT2的組合相對應。轉換基底2d是與Planar預測、及縱向的DST7與橫向的DST7的組合相對應。
又，轉換基底2e是與DC預測、及縱向的DCT2與橫向的DCT2的組合相對應。轉換基底2f是與DC預測、及縱向的DCT2與橫向的DST7的組合相對應。轉換基底2g是與DC預測、及縱向的DST7與橫向的DCT2的組合相對應。轉換基底2h是與DC預測、及縱向的DST7與橫向的DST7的組合相對應。
轉換部106選擇與預測所用的訊框內預測模式、及被選擇作為一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選，來作為二次轉換基底。例如轉換部106於訊框內預測模式利用DC預測，選擇了縱向的DST7與橫向的DCT2的組合作為一次轉換基底時，選擇轉換基底2g作為二次轉換基底。
於該例，就每訊框內預測模式，使一次轉換基底候選與二次轉換基底候選相對應。亦即，就每訊框內預測模式，一次轉換基底候選與二次轉換基底候選的對應關係可不同。轉換部106參考如圖23所示之表，根據訊框內預測模式及一次轉換基底，來選擇與訊框內預測模式及一次轉換基底相對應的二次轉換基底候選。
但未必就每訊框內預測模式，一次轉換基底候選與二次轉換基底候選的對應關係須不同。例如針對互異的複數個訊框內預測模式中之2個以上，一次轉換基底候選與二次轉換基底候選的對應關係亦可為共通。
又，就每訊框內預測模式相對應的一次轉換基底候選與二次轉換基底候選，具有與圖12相同的關係。總言之，關於圖12之例的說明亦可適用於圖23之例。進而言之，就每訊框內預測模式相對應的一次轉換基底候選與二次轉換基底候選，可適用圖13～圖21的變化。
例如亦可如圖13，使共通的1個二次轉換基底候選，與複數個一次轉換基底候選相對應。又，亦可如圖14，使無轉換作為二次轉換基底候選而與一次轉換基底候選相對應。又，亦可如圖15，使1個以上的二次轉換基底候選，與1個一次轉換基底候選相對應。又，亦可如圖16，使包含無轉換的複數個二次轉換基底候選，與1個一次轉換基底候選相對應。
又，亦可如圖17，一次轉換及二次轉換分別為分離型轉換。又，亦可如圖18，於分離型二次轉換基底候選，縱向的轉換基底與橫向的轉換基底相同。又，亦可如圖19，一次轉換及二次轉換分別為非分離型轉換。又，亦可如圖20，一次轉換為非分離型轉換，二次轉換為分離型轉換。又，亦可如圖21，於一次轉換及二次轉換，分別混合存在分離型轉換及非分離型轉換。
於上述說明，採用訊框內預測模式，來作為用以選擇二次轉換基底的編碼參數，但用以選擇二次轉換基底的編碼參數不限於訊框內預測模式。可利用區塊尺寸、量化參數、移動向量的長度或移動向量的方向等複數個參數中之至少1個參數，來作為用以選擇二次轉換基底的編碼參數。總言之，該等參數中的至少1個亦可與一次轉換基底候選及二次轉換基底候選相對應。
又，例如上述編碼參數亦可為不同於有關轉換的參數，且有關對應於區塊尺寸等之分割、對應於圖片類型等之預測、量化或濾波器的參數。
於根據一次轉換基底及編碼參數的二次轉換基底的選擇處理中，比起僅根據一次轉換基底的二次轉換基底的選擇處理，其處理可能較複雜，且處理量可能較大。然而，藉由根據一次轉換基底及編碼參數的二次轉換基底的選擇處理，會更適當地選擇二次轉換基底。因此，可進一步抑制碼量。
關於利用圖11～圖23所說明的二次轉換基底的選擇處理，當不受評估值影響，或藉由一次轉換基底及編碼參數，唯一地決定二次轉換基底時，亦可不編碼表示二次轉換基底的資訊。然後，此時，亦可不解碼表示二次轉換基底的資訊。
同樣地，當不受評估值影響，藉由編碼參數，唯一地決定一次轉換基底時，亦可不編碼表示一次轉換基底的資訊。然後，此時，亦可不解碼表示一次轉換基底的資訊。又，當不受評估值影響，藉由二次轉換基底，或藉由二次轉換基底及編碼參數，唯一地決定一次轉換基底時，亦可編碼表示二次轉換基底的資訊，不編碼表示一次轉換基底的資訊。然後，此時，亦可不解碼表示一次轉換基底的資訊。
因此，編碼裝置100亦可僅編碼一次轉換基底及二次轉換基底中之一方。然後，解碼裝置200亦可僅解碼一次轉換基底及二次轉換基底中之一方。
又，表示二次轉換基底的資訊的位元數，亦可取決於與被選擇的一次轉換基底候選等相對應的1個以上的二次轉換基底候選的數目。例如與被選擇的一次轉換基底候選等相對應的1個以上的二次轉換基底候選的數目若為2，則二次轉換基底以1位元表示亦可。亦即，此時，作為表示二次轉換基底的資訊，編碼、解碼1位元的語法要素亦可。同樣地，表示一次轉換基底的資訊的位元數，亦可取決於複數個一次轉換基底候選的數目。
又，與一次轉換基底候選等相對應的1個以上的二次轉換基底候選的數目，亦可按照一次轉換基底候選、訊框內預測模式或區塊尺寸等來適應性地決定。例如於一次轉換基底候選為縱及橫的2個DCT2的組合，訊框內預測模式為Planar預測或DC預測時，利用2個二次轉換基底候選，於其他情況下，利用3個二次轉換基底候選亦可。
又，於上述說明，根據一次轉換基底等來選擇二次轉換基底，但早於一次轉換基底選擇二次轉換基底時，亦可根據選擇的二次轉換基底等，來選擇一次轉換基底。例如轉換部106亦可選擇與被選擇的二次轉換基底等相對應的一次轉換基底。
同樣地，於上述說明，根據反向一次轉換基底等來選擇反向二次轉換基底，但早於反向一次轉換基底選擇反向二次轉換基底時，亦可根據選擇的反向二次轉換基底等，來選擇反向一次轉換基底。例如反向轉換部206亦可選擇與被選擇的反向二次轉換基底等相對應的反向一次轉換基底。
又，轉換部106亦可對於一次轉換的結果，不全體進行二次轉換而部分進行二次轉換。例如轉換部106亦可對於一次轉換的結果中之低頻成分，進行二次轉換，對於高頻成分不進行二次轉換。換言之，轉換部106亦可就轉換對象區塊中之低頻域側，對於具有任意大小的子區塊進行二次轉換。
又，一次轉換及二次轉換未必分別須利用轉換矩陣。例如亦可利用對應於轉換矩陣的轉換函數。又，藉由吉文斯(Givens)旋轉的重疊，來進行對應於一次轉換或二次轉換的正交轉換亦可。又，亦可利用蝶式運算。
又，例如於一次轉換及二次轉換，亦可混合存在分離型轉換及非分離型轉換。例如於訊框內預測模式表示對應於水平方向的訊框內預測方向之18、對應於垂直方向的訊框內預測方向之50、或接近該等之值時，亦可利用分離型轉換。然後，其他情況亦可利用非分離型轉換。總言之，亦可根據訊框內預測模式，來選擇分離型轉換的轉換基底或非分離型轉換的轉換基底。
又，以切片單位，使根據一次轉換基底等之二次轉換基底的選擇處理有效或無效亦可。亦即，就每切片，將表示根據一次轉換基底等之二次轉換基底的選擇處理是否有效的資訊編碼、解碼。又，以方塊單位，使根據一次轉換基底等之二次轉換基底的選擇處理有效或無效亦可。亦即，就每方塊，將表示根據一次轉換基底等之二次轉換基底的選擇處理是否有效的資訊編碼、解碼。
又，以CTU單位，使根據一次轉換基底等之二次轉換基底的選擇處理有效或無效亦可。亦即，就每CTU，將表示根據一次轉換基底等之二次轉換基底的選擇處理是否有效的資訊編碼、解碼。又，以CU單位，使根據一次轉換基底等之二次轉換基底的選擇處理有效或無效亦可。亦即，就每CU，將表示根據一次轉換基底等之二次轉換基底的選擇處理是否有效的資訊編碼、解碼。
又，按照I訊框、P訊框或B訊框等訊框類別，使根據一次轉換基底等之二次轉換基底的選擇處理有效或無效亦可。又，按照訊框內預測或訊框間預測等預測模式，使根據一次轉換基底等之二次轉換基底的選擇處理有效或無效亦可。
又，按照亮度或色差，使根據一次轉換基底等之二次轉換基底的選擇處理有效或無效亦可。例如關於亮度及色差之其中一方，進行根據一次轉換基底等之二次轉換基底的選擇處理，關於亮度及色差之另一方，不進行根據一次轉換基底等之二次轉換基底的選擇處理。或者，關於亮度及色差，分別進行根據一次轉換基底等之二次轉換基底的選擇處理。
又，轉換部106於不進行根據一次轉換基底等之二次轉換基底的選擇處理時，根據其他選擇基準來選擇二次轉換基底亦可。例如轉換部106選擇預先決定的二次轉換基底，或根據評估值來選擇二次轉換基底，或根據編碼參數來選擇二次轉換基底均可。
又，轉換部106不限於從複數個一次轉換基底候選選擇一次轉換基底，亦可更靈活地決定一次轉換基底。例如轉換部106亦可按照編碼參數等，動態地建構一次轉換基底，或按照編碼參數等，調整選擇的一次轉換基底。
同樣地，轉換部106不限於從複數個二次轉換基底候選選擇二次轉換基底，亦可更靈活地決定二次轉換基底。例如轉換部106亦可於二次轉換基底的決定中，按照一次轉換基底等，動態地生成二次轉換基底，或按照編碼參數等，調整選擇的二次轉換基底。 [編碼裝置的實作例]
圖24是表示實施形態1的編碼裝置100的實作例的方塊圖。編碼裝置100具備處理器160及記憶體162。例如圖1所示的編碼裝置100的複數個構成要素，是藉由圖24所示的處理器160及記憶體162來實作。
處理器160是可於記憶體162存取的電子電路，其進行資訊處理。例如處理器160是利用記憶體162編碼動態圖像的專用或通用處理器。處理器160亦可為CPU。
又，處理器160亦可由複數個電子電路構成，亦可由複數個子處理器構成。又，處理器160亦可發揮圖1所示的編碼裝置100的複數個構成要素中，用以記憶資訊的構成要素除外的複數個構成要素的作用。
記憶體162是記憶處理器160用以編碼動態圖像的資訊之通用或專用記憶體。記憶體162為電子電路，或連接於處理器160，或包含於處理器160均可。
又，記憶體162由複數個電子電路構成，或由複數個子記憶體構成均可。又，記憶體162亦可為磁碟片或光碟片等，或亦可表現為儲存器或記錄媒體等。又，記憶體162為非揮發性記憶體或揮發性記憶體均可。
例如記憶體162亦可發揮圖1所示的編碼裝置100的複數個構成要素中，用以記憶資訊的構成要素的作用。具體而言，記憶體162亦可發揮圖1所示的區塊記憶體118及訊框記憶體122的作用。
又，於記憶體162，記憶編碼的動態圖像，或記憶對應於已編碼的動態圖像的位元串均可。又，於記憶體162，亦可記憶處理器160用以編碼動態圖像的程式。又，於記憶體162，亦可記憶表示一次轉換基底候選與二次轉換基底候選的對應關係的資訊等。
再者，於編碼裝置100，未實作圖1等所示複數個構成要素的全部，或未進行上述複數種處理的全部均可。圖1等所示的複數個構成要素的一部分，包含於其他裝置，或由其他裝置來執行上述複數種處理的一部分均可。然後，於編碼裝置100，可實作圖1所示的複數個構成要素中的一部分，藉由進行上述複數種處理的一部分，來適當進行有關轉換的處理。
圖25是表示圖24所示的編碼裝置100的動作例的流程圖。例如圖24所示的編碼裝置100在編碼動態圖像時，進行圖25所示的動作。
具體而言，處理器160藉由從構成動態圖像的圖像，減去預測圖像，來算出預測誤差(S301)。又，處理器160根據一次轉換基底來決定二次轉換基底(S302)。然後，處理器160利用一次轉換基底，對於預測誤差進行一次轉換(S303)。接著，處理器160利用二次轉換基底，對於一次轉換的結果進行二次轉換(S304)。
然後，處理器160對於二次轉換的結果進行量化(S305)。然後，處理器160編碼量化的結果來作為圖像的資料(S306)。
例如處理器160亦可根據一次轉換基底及編碼動態圖像時被編碼的參數，來決定二次轉換基底。該參數亦可為表示訊框內預測模式的參數。然後，處理器160亦可根據一次轉換基底及由參數所示的訊框內預測模式，來決定二次轉換基底。
又，例如處理器160亦可從複數個一次轉換基底候選中，決定一次轉換基底。然後，處理器160亦可從與複數個一次轉換基底候選中被決定作為一次轉換基底的一次轉換基底候選相對應的1個以上的二次轉換基底候選中，決定二次轉換基底。
又，例如共通的二次轉換基底候選亦可是與複數個一次轉換基底候選中之2個以上相對應。又，與一次轉換基底候選相對應的1個以上的二次轉換基底候選的數目亦可取決於一次轉換基底候選。
又，例如由縱向的第1轉換基底與橫向的第2轉換基底的組合的一次轉換基底決定的二次轉換基底，亦可與例如由縱向的第2轉換基底與橫向的第1轉換基底的組合的一次轉換基底決定的二次轉換基底相同。又，由縱向的第1轉換基底與橫向的第2轉換基底的組合的一次轉換基底決定的二次轉換基底，亦可是由縱向的第2轉換基底與橫向的第1轉換基底的組合的一次轉換基底決定的二次轉換基底經轉置後的轉換基底。
又，例如二次轉換基底為縱向及橫向的2個轉換基底的組合時，2個轉換基底亦可相互等同。
又，例如處理器160亦可僅編碼表示一次轉換基底的資訊、及表示二次轉換基底的資訊中之一方。
又，例如處理器160於與被決定作為一次轉換基底的一次轉換基底候選相對應的二次轉換基底候選為1個時，不編碼表示已決定的二次轉換基底的資訊。又，處理器160於表示一次轉換基底的資訊及表示二次轉換基底的資訊中任一方的轉換基底的候選數限定為1個時，僅編碼有關另一方的轉換基底的資訊。
又，例如二次轉換基底亦可為對應於Karhunen-Loeve轉換的轉換基底。又，二次轉換基底亦可為根據一次轉換基底學習到的轉換基底。
又，例如處理器160亦可於二次轉換基底為分離型轉換的轉換基底時，進行分離型轉換作為二次轉換，在二次轉換基底為非分離型轉換的轉換基底時，進行非分離型轉換作為二次轉換。又，處理器160亦可根據一次轉換基底，來決定是否進行二次轉換、及進行二次轉換時的二次轉換基底。
又，例如一次轉換及二次轉換分別可為分離型轉換或非分離型轉換。
然後，處理器160亦可將一次轉換分離為對於複數個方向的複數個一次轉換，進行複數個一次轉換，藉此來進行一次轉換。或者，處理器160亦可不將一次轉換分離為複數個一次轉換而進行一次轉換。又，處理器160亦可藉由將二次轉換分離為對於複數個方向的複數個二次轉換，進行複數個二次轉換，藉此來進行二次轉換。或者，處理器160亦可不將二次轉換分離為複數個二次轉換而進行二次轉換。
再者，不限於上述實作例，編碼裝置100亦可具備減算部104、轉換部106、量化部108及熵編碼部110。該等構成要素亦可進行上述動作。
例如減算部104亦可藉由從構成動態圖像的圖像減去預測圖像，來導出預測誤差。又，轉換部106亦可根據一次轉換基底來決定二次轉換基底。又，轉換部106亦可利用一次轉換基底，來對於預測誤差進行一次轉換。又，轉換部106亦可利用二次轉換基底，來對於一次轉換的結果進行二次轉換。
然後，量化部108亦可對於二次轉換的結果進行量化。又，熵編碼部110亦可編碼量化的結果來作為圖像的資料。
進而言之，轉換部106亦可進行有關轉換的其他動作，或熵編碼部110亦可進行有關編碼的其他動作。又，轉換部106亦可分為決定一次轉換基底的一次轉換基底決定部、進行一次轉換的一次轉換部、決定二次轉換基底的二次轉換基底決定部、及進行二次轉換的二次轉換部。 [解碼裝置的實作例]
圖26是表示實施形態1的解碼裝置200的實作例的方塊圖。解碼裝置200具備處理器260及記憶體262。例如圖10所示的解碼裝置200的複數個構成要素，是藉由圖26所示的處理器260及記憶體262來實作。
處理器260是可存取記憶體262的電子電路，其進行資訊處理。例如處理器260是利用記憶體262解碼動態圖像的專用或通用處理器。處理器260亦可為CPU。
又，處理器260亦可由複數個電子電路構成，亦可由複數個子處理器構成。又，處理器260亦可發揮圖10等所示的解碼裝置200的複數個構成要素中，用以記憶資訊的構成要素除外的複數個構成要素的作用。
記憶體262是記憶處理器260用以解碼動態圖像的資訊之通用或專用記憶體。記憶體262為電子電路，或連接於處理器260，或包含於處理器260均可。
又，記憶體262亦可由複數個電子電路構成，亦可由複數個子處理器構成。又，記憶體262亦可為磁碟片或光碟片等，或亦可表現為儲存器或記錄媒體等。又，記憶體262為非揮發性記憶體或揮發性記憶體均可。
例如記憶體262亦可發揮圖10等所示的解碼裝置200的複數個構成要素中，用以記憶資訊的構成要素的作用。具體而言，記憶體262發揮圖10所示的區塊記憶體210及訊框記憶體214的作用。
又，於記憶體262，記憶對應於已編碼的動態圖像的位元串，或記憶對應於已解碼的位元串的動態圖像均可。又，於記憶體262，亦可記憶處理器260用以解碼動態圖像的程式。又，於記憶體262，亦可記憶表示反向一次轉換基底候選與反向二次轉換基底候選的對應關係的資訊等。
再者，於解碼裝置200，未實作圖10所示的複數個構成要素的全部，或未進行上述複數種處理的全部均可。圖10所示的複數個構成要素的一部分，包含於其他裝置，或由其他裝置來執行上述複數種處理的一部分均可。然後，於解碼裝置200，可實作圖10等所示的複數個構成要素中的一部分，藉由進行上述複數種處理的一部分，適當進行有關轉換的處理。
圖27是表示圖26所示的解碼裝置200的動作例的流程圖。例如圖26所示的解碼裝置200是於解碼動態圖像時，進行圖27所示的動作。
具體而言，處理器260解碼構成動態圖像的圖像的資料(S401)。然後，處理器260對於資料進行反向量化(S402)。
又，處理器260根據反向一次轉換基底，來決定反向二次轉換基底(S403)。接著，處理器260利用反向二次轉換基底，來對於反向量化的結果進行反向二次轉換(S404)。接著，處理器260利用反向一次轉換基底，來對於反向二次轉換的結果進行反向一次轉換(S405)。然後，處理器260藉由將反向一次轉換的結果，作為圖像的預測誤差加在圖像的預測圖像，來導出圖像(S406)。
例如處理器260亦可根據反向一次轉換基底及解碼動態圖像時被解碼的參數，來決定反向二次轉換基底。該參數亦可為表示訊框內預測模式的參數。然後，處理器260亦可根據反向一次轉換基底及由參數所示的訊框內預測模式，來決定反向二次轉換基底。
又，例如處理器260亦可從複數個反向一次轉換基底候選中，決定反向一次轉換基底。然後，處理器260亦可從與複數個反向一次轉換基底候選中被決定作為反向一次轉換基底的反向一次轉換基底候選相對應的1個以上的反向二次轉換基底候選中，決定反向二次轉換基底。
又，例如共通的反向二次轉換基底候選亦可是與複數個反向一次轉換基底候選中之2個以上相對應。又，與反向一次轉換基底候選相對應的1個以上的反向二次轉換基底候選的數目亦可取決於反向一次轉換基底候選。
又，例如由縱向的第1轉換基底與橫向的第2轉換基底的組合的反向一次轉換基底決定的反向二次轉換基底，亦可與例如由縱向的第2轉換基底與橫向的第1轉換基底的組合的反向一次轉換基底決定的反向二次轉換基底相同。又，由縱向的第1轉換基底與橫向的第2轉換基底的組合的反向一次轉換基底決定的反向二次轉換基底，亦可是由縱向的第2轉換基底與橫向的第1轉換基底的組合的反向一次轉換基底決定的反向二次轉換基底經轉置後的轉換基底。
又，例如反向二次轉換基底為縱向及橫向的2個轉換基底的組合時，2個轉換基底亦可相互等同。
又，例如處理器260亦可僅解碼表示反向一次轉換基底的資訊、及表示反向二次轉換基底的資訊中之一方。
又，例如處理器260於與被決定作為反向一次轉換基底的反向一次轉換基底候選相對應的反向二次轉換基底候選為1個時，不解碼表示已決定的反向二次轉換基底的資訊。又，處理器260於表示反向一次轉換基底的資訊及表示反向二次轉換基底的資訊中任一方的轉換基底的候選數限定為1個時，僅解碼有關另一方的轉換基底的資訊。
又，例如反向二次轉換基底亦可為對應於Karhunen-Loeve轉換的轉換基底。又，反向二次轉換基底亦可為根據反向一次轉換基底學習到的轉換基底。
又，例如處理器260亦可於反向二次轉換基底為分離型反向轉換的轉換基底時，進行分離型反向轉換作為反向二次轉換，在反向二次轉換基底為非分離型反向轉換的轉換基底時，進行非分離型反向轉換作為反向二次轉換。
又，例如處理器260亦可根據反向一次轉換基底，來決定是否進行反向二次轉換、及進行反向二次轉換時的反向二次轉換基底。
又，例如反向一次轉換及反向二次轉換分別可為分離型反向轉換或非分離型反向轉換。
然後，處理器260亦可將反向一次轉換分離為對於複數個方向的複數個反向一次轉換，進行複數個反向一次轉換，藉此來進行反向一次轉換。或者，處理器260亦可不將反向一次轉換分離為複數個反向一次轉換而進行反向一次轉換。又，處理器260亦可藉由將反向二次轉換分離為對於複數個方向的複數個反向二次轉換，來進行反向二次轉換。或者，處理器260亦可不將反向二次轉換分離為複數個反向二次轉換而進行反向二次轉換。
再者，不限於上述實作例，解碼裝置200亦可具備熵解碼部202、反向量化部204、反向轉換部206及加算部208。該等構成要素亦可進行上述動作。
例如熵解碼部202亦可解碼構成動態圖像的圖像的資料。又，反向量化部204亦可對於資料進行反向量化。
然後，反向轉換部206亦可根據反向一次轉換基底來決定反向二次轉換基底。又，反向轉換部206亦可利用反向二次轉換基底，對於反向量化的結果進行反向二次轉換。又，反向轉換部206亦可利用反向一次轉換基底，對於反向二次轉換的結果進行反向一次轉換。又，加算部208亦可對圖像的預測圖像，加上反向一次轉換的結果作為圖像的預測誤差，藉此導出圖像。
進而言之，反向轉換部206亦可進行有關轉換的其他動作，或熵解碼部202亦可進行有關解碼的其他動作。又，反向轉換部206亦可分為決定反向一次轉換基底的反向一次轉換基底決定部、進行反向一次轉換的反向一次轉換部、決定反向二次轉換基底的反向二次轉換基底決定部、及進行反向二次轉換的反向二次轉換部。 [補充]
本實施形態的編碼裝置100及解碼裝置200分別利用作為圖像編碼裝置及圖像解碼裝置，或分別利用作為動態圖像編碼裝置及動態圖像解碼裝置均可。或者，編碼裝置100及解碼裝置200分別可利用作為轉換裝置。
亦即，編碼裝置100及解碼裝置200亦可分別僅對應於轉換部106及反向轉換部206。然後，訊框間預測部126或218等其他構成要素亦可包含於其他裝置。
又，將本實施形態的至少一部分利用作為編碼方法，或利用作為解碼方法，或利用作為轉換方法，或利用作為其他方法均可。
又，於本實施形態，各構成要素亦可由專用的硬體來構成，或藉由執行適於各構成要素的軟體程式來實現。各構成要素亦可由CPU或處理器等之程式執行部，讀出並執行記錄在硬碟或半導體記憶體等記錄媒體的軟體程式來實現。
具體而言，編碼裝置100及解碼裝置200亦可分別具備：處理電路(Processing Circuitry)；及記憶裝置(Storage)，其電連接於該處理電路，可從該處理電路進行存取。例如處理電路對應於處理器160或260，記憶裝置對應於記憶體162或262。
處理電路包含專用的硬體及程式執行部的至少一方，利用記憶裝置來執行處理。又，在處理電路包含程式執行部時，記憶裝置記憶由該程式執行部所執行的軟體程式。
於此，實現本實施形態的編碼裝置100及解碼裝置200等之軟體是如下程式。
亦即，該程式亦可令電腦執行一種編碼方法，前述編碼方法編碼動態圖像，藉由從構成前述動態圖像的圖像減去前述圖像的預測圖像，來導出前述圖像的預測誤差，根據對於前述預測誤差進行的一次轉換的轉換基底，即一次轉換基底，來決定對於前述一次轉換的結果進行的二次轉換的轉換基底，即二次轉換基底，利用前述一次轉換基底，來對於前述預測誤差進行前述一次轉換，利用前述二次轉換基底，來對於前述一次轉換的結果進行前述二次轉換，對於前述二次轉換的結果進行量化，編碼前述量化的結果來作為前述圖像的資料。
或者，該程式亦可令電腦執行一種解碼方法，前述解碼方法解碼動態圖像，解碼構成前述動態圖像的圖像的資料，對於前述資料進行反向量化，根據對於反向二次轉換的結果進行的反向一次轉換的轉換基底，即反向一次轉換基底，來決定對於前述反向量化的結果進行的前述反向二次轉換的轉換基底，即反向二次轉換基底，利用前述反向二次轉換基底，來對於前述反向量化的結果進行前述反向二次轉換，利用前述反向一次轉換基底，來對於前述反向二次轉換的結果進行前述反向一次轉換，藉由將前述反向一次轉換基底的結果，作為前述圖像的預測誤差加在前述圖像的預測圖像，來導出前述圖像。
又，如上述，各構成要素亦可為電路。該等電路作為全體構成1個電路，或各自為不同電路均可。又，各構成要素以通用處理器來實現，或以專用處理器來實現均可。
又，其他構成要素來執行特定構成要素所執行的處理亦可。又，變更執行處理的順序，或複數種處理並行均可。又，編碼解碼裝置亦可具備編碼裝置100及解碼裝置200。
又，說明所用的第1及第2等序數亦可適當重編。又，亦可對於構成要素等，重新賦予或去除序數。
以上根據實施形態，說明了編碼裝置100及解碼裝置200的態樣，但編碼裝置100及解碼裝置200的態樣不限定於該實施形態。只要不脫離本揭示之旨趣，熟悉該技藝人士所想到的各種變形施行於實施形態、或組合不同實施形態的構成要素予以建構的形態，亦可包含於編碼裝置100及解碼裝置200的態樣的範圍內。
亦可將本態樣，與本揭示的其他態樣的至少一部分組合而實施。又，亦可將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等，與其他態樣組合而實施。 (實施形態2)
於以上各實施形態，功能方塊的各個一般可藉由MPU及記憶體等來實現。又，功能方塊的各個的處理一般藉由處理器等之程式執行部，讀出並執行記錄於ROM等記錄媒體的軟體(程式)來實現。該軟體藉由下載等來分發，或記錄於半導體記憶體等記錄媒體來分發均可。再者，當然亦可藉由硬體(專用電路)各功能方塊來實現各功能方塊。
又，於各實施形態所說明的處理藉由利用單一裝置(系統)集中處理，或利用複數個裝置分散處理來實現均可。又，執行上述程式的處理器為單一數目或複數個均可。亦即，集中處理或分散處理均可。
本揭示的態樣不限定於以上實施形態，可予以各種變更，該等變更亦包含於本揭示的範圍內。
進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例、與利用其之系統。該系統的特徵在於具有利用圖像編碼方法的圖像編碼裝置、利用圖像解碼方法的圖像解碼裝置、及具備雙方的圖像編碼解碼裝置。關於系統的其他構成，可因應情況適當地變更。 [使用例]
圖28是表示實現內容發布服務之內容供給系統ex100的全體構成圖。將通訊服務之提供區分割為所需大小，於各巢(cell)內分別設置固定無線台即基地局ex106、ex107、ex108、ex109、ex110。
於該內容供給系統ex100，經由網際網路服務提供者ex102或通訊網ex104、及基地局ex106～ex110，將電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器，連接於網際網路ex101。該內容供給系統ex100亦可組合上述任一要素而連接。不經由固定無線台即基地局ex106～ex110，各機器經由電話網或近距離無線等而直接或間接地相互連接亦可。又，串流化伺服器ex103經由網際網路ex101等來與電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器連接。又，串流化伺服器ex103經由衛星ex116來與飛機ex117內的熱點內的終端裝置等連接。
再者，亦可利用無線存取點或熱點等，來取代基地局ex106～ex110。又，串流化伺服器ex103不經由網際網路ex101或網際網路服務提供者ex102而直接與通訊網ex104連接，或不經由衛星ex116而直接與飛機ex117連接均可。
攝影機ex113是數位攝影機等可拍攝靜止圖及動畫的機器。又，智慧型手機ex115是一般支援2G、3G、3.9G、4G，以及今後稱為5G的移動通訊系統方式的智慧型機、行動電話或PHS(Personal Handyphone System(個人手持電話系統))等。
家電ex118為冰箱或家庭用燃料電池汽電共生系統所含的機器等。
於內容供給系統ex100，具有攝影功能的終端裝置藉由透過基地局ex106等，連接於串流化伺服器ex103，可實現實況發布等。於實況發布，終端裝置(電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端裝置等)對於使用者利用該終端裝置所拍攝的靜止圖或動畫內容，進行上述各實施形態所說明的編碼處理，將藉由編碼所獲得的影像資料、及對應於影像的聲音經編碼的聲音資料，予以多工，將獲得的資料發送至串流化伺服器ex103。亦即，各終端裝置作為本揭示一態樣的圖像編碼裝置而發揮功能。
另，串流化伺服器ex103將對於有需求的客戶所發送內容資料，進行串流發布。客戶是可將上述經編碼處理的資料解碼的電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端裝置等。接收到發布資料的各機器將接收資料予以解碼處理並播放。亦即，各機器作為本揭示一態樣的圖像解碼裝置而發揮功能。 [分散處理]
又，串流化伺服器ex103亦可為複數台伺服器或複數台電腦，分散處理、記錄或發布資料。例如串流化伺服器ex103亦可藉由CDN(Contents Delivery Network(內容發布網路))來實現，藉由連結分散在全世界的許多邊緣伺服器與邊緣伺服器間的網路，來實現內容發布。於CDN，因應客戶而動態地分派物理上接近的邊緣伺服器。然後，藉由對該邊緣伺服器快取及發布內容，可減少延遲。又，由於在發生某種錯誤時，或通訊狀態因流量增加等而改變時，以複數台邊緣伺服器分散處理，或將發布主體切換為其他邊緣伺服器，可繞過發生障礙的網路部分來繼續發布，因此可實現高速且穩定的發布。
又，不僅止於發布本身的分散處理，拍攝資料的編碼處理在各終端裝置或於伺服器側進行均可，或亦可互相分擔進行。作為一例，編碼處理一般進行2次處理循環。於第1次循環，檢出訊框或場景單位的畫面複雜度或碼量。又，於第2次循環，進行維持畫質或使編碼效率提升的處理。例如終端裝置進行第1次的編碼處理，收到內容的伺服器側進行第2次編碼處理，藉此可減少各終端裝置的處理負載，同時可使內容的品質及效率提升。此時，若要求幾乎即時接收並解碼時，可將終端裝置進行的第1次編碼完成的資料，在其他終端裝置接收並播放，因此亦可實現更靈活的即時通訊。
作為其他例，攝影機ex113等從圖像進行特徵量擷取，將有關特徵量的資料作為元資料壓縮，發送至伺服器。伺服器因應圖像的意義來進行壓縮，例如從特徵量，判斷物件的重要性而切換量化精度等。特徵量資料尤其對於在伺服器再度壓縮時，提升移動向量預測的精度及效率有效。又，於終端裝置進行VLC(可變長度編碼)等之簡易編碼，於伺服器進行CABAC(上下文適應型二值算術編碼方式)等處理負載大的編碼亦可。
進而言之，作為其他例，於體育館、購物中心或工廠等，有時存在藉由複數個終端裝置，拍攝大致同一場景的複數個影像資料。此時，利用進行攝影的複數個終端裝置、與因應需要而未進行拍攝的其他終端裝置及伺服器，以例如GOP(Group of Picture(圖片群組))單位、圖片單位或圖片經分割的方塊單位等，分別分派編碼處理來分散處理。藉此可減少延遲，更實現即時性。
又，由於複數個影像資料大致為同一場景，因此以伺服器管理及/或指示互相參考各終端裝置拍攝的影像資料亦可。或，伺服器接收來自各終端裝置的編碼完畢資料，於複數個資料間變更參考關係，或修正或更換圖片本身，予以重新編碼亦可。藉此，可生成提高每1個資料的品質及效率的串流。
又，伺服器亦可進行變更影像資料編碼方式的轉碼後，再發布影像資料。例如伺服器將MPEG系統的編碼方式，轉換成VP系統，或將H.264轉換成H.265均可。
如此，編碼處理可藉由終端裝置或1以上的伺服器來進行。故，以下作為進行處理的主體，雖採用「伺服器」或「終端」等記載，但由伺服器進行的處理的一部分或全部，亦可由終端裝置來進行，或由終端裝置進行的處理的一部分或全部，亦可由伺服器來進行。又，關於該等，就解碼處理而言亦同理。 [3D、多角度]
近年來，越來越多將由互相大致同步的複數個攝影機ex113及/或智慧型手機ex115等所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像予以整合利用。各終端裝置所拍攝的影像根據另外取得的終端裝置間的相對位置關係、或影像所含特徵點一致的區域等來整合。
伺服器不僅編碼二維的動態圖像，亦可根據動態圖像的場景分析等，自動或於使用者所指定的時刻，編碼靜止圖，並發送至接收終端裝置。伺服器進一步在可取得攝影終端裝置間的相對位置關係時，不僅根據二維的動態圖像，亦可根據從不同角度拍攝同一場景的影像，來生成該場景的三維形狀。再者，伺服器另外編碼點雲等所生成的三維資料，或利用三維資料來辨識人物或物件，或者根據追蹤的結果，從複數個終端裝置拍攝的影像，選擇或重構要發送至接收終端裝置的影像均可。
如此，使用者可任意選擇對應於各攝影終端裝置的各影像，欣賞場景，亦可欣賞從利用複數個圖像或影像重構的三維資料，切出任意視點的影像的內容。進而言之，與影像相同，聲音亦可從複數個不同角度來收音，伺服器配合影像，將來自特定角度或空間的聲音，與影像進行多工並發送。
又，近年來Virtual Reality(虛擬實境)(VR)及Augmented Reality(擴增實境)(AR)等使現實世界與虛擬世界相對應的內容亦日益普及。VR圖像時，伺服器分別製作右眼用及左眼用的視點圖像，藉由Multi-View Coding(多視角編碼)(MVC)等，進行各視點影像間容許參考的編碼，或互相不參考，作為不同的串流來編碼均可。於不同的串流解碼時，因應使用者的視點，使其互相同步播放，以重現虛擬的三維空間即可。
AR圖像時，伺服器對現實空間的攝影機資訊，根據三維位置或使用者的視點移動，來重疊虛擬空間上的虛擬物體資訊。解碼裝置亦可取得或保持虛擬物體資訊及三維資料，因應使用者的視點移動，來生成二維圖像，平滑地接合以製作重疊資料。或，解碼裝置除了發送虛擬物體資訊的請求以外，還將使用者的視點移動發送至伺服器，伺服器配合從保持於伺服器的三維資料所接收的視點移動，製作重疊資料，編碼重疊資料並發布至解碼裝置亦可。再者，重疊資料除了RGB以外，還具有表示穿透度的α值，伺服器亦可於從三維資料製作的物件以外部分的α值設定為0等，在該部分會穿透的狀態下編碼。或者，伺服器亦可如色度鍵，於背景設定預定值的RGB值，物件以外的部分設為背景色而生成資料。
同樣地，發布資料的解碼處理在作為客戶的各終端裝置或於伺服器側進行均可，或亦可互相分擔進行。作為一例，某終端裝置亦可暫時對伺服器發送接收要求，以其他終端裝置接收因應該要求的內容，進行解碼處理，並對具有顯示器的裝置，發送解碼完畢的訊號。不受可通訊的終端裝置本身的性能影響，將處理分散，選擇適當的內容，藉此可播放畫質良好的資料。又，作為其他例，亦可於TV等接收大尺寸的圖像資料，並且於觀賞者的個人終端裝置，解碼圖片經分割的方塊等一部分區域而顯示。藉此，可共有全體圖像，同時在手邊確認自身的負責領域或欲更詳細確認的區域。
又，今後預料在不受屋內外的影響，可使用複數種近距離、中距離或長距離的無線通訊的狀況下，利用MPEG-DASH等發布系統規格，對於連接中的通訊一面切換適當的資料，一面無縫地接收內容。藉此，使用者不侷限於自身的終端裝置，可一面自由地選擇設置於屋內外的顯示器等之解碼裝置或顯示裝置，一面即時地切換。又，可根據自身的位置資訊等，一面切換解碼的終端裝置及顯示的終端裝置，一面解碼。藉此，亦可於往目的地移動中，一面使嵌入可顯示設備的相鄰建築物的壁面或地面的一部分顯示地圖資訊，一面移動。又，亦可根據在網路上對編碼資料的存取容易度，諸如編碼資料於可從接收終端裝置短時間存取的伺服器進行快取，或複製於內容發布服務的邊緣伺服器等，來切換接收資料的位元率。 [可適性編碼]
關於內容切換，利用圖29所示，應用上述各實施形態所示動態圖像編碼方法所壓縮編碼的可適性串流的特徵來說明。伺服器具有複數種內容相同、質不同的串流作為個別串流亦無妨，但亦可如圖示，活用藉由分層進行編碼所實現的時間性/空間性可適性串流的特徵，來切換內容而構成亦可。總言之，解碼側因應性能之內在要因與通訊頻帶狀態等外在要因，來決定解碼所至之層，藉此解碼側可自由切換低解像度的內容與高解像度的內容而解碼。例如移動中以智慧型手機ex115視聽的影像的後續，回家後想在網際網路TV等機器視聽時，該機器只要將相同串流解碼至不同層即可，因此可減輕使用者側的負擔。
進而言之，除了如上述，實現就每層編碼圖片，於基礎層的高位存在有增強層的可適性的構成以外，增強層包含基於圖像統計資訊等之元資訊，解碼側根據元資訊，來將基礎層的圖片進行超解像，藉此生成高畫質的內容亦可。超解像亦可指同一解像度的SN比提升及解像度擴大的任一者。元資訊包含用以特定出使用於超解像處理的線性或非線性濾波器係數的資訊，或特定出使用於超解像處理的濾波處理、機械學習或最小平方運算的參數值的資訊等。
或，亦可構成如：因應圖像內的物件等的語意，將圖片分割為方塊等，解碼側選擇解碼的方塊，藉此僅解碼一部分區域。又，將物件屬性(人物、車、球等)及影像內位置(同一圖像內的座標位置等)作為元資訊儲存，藉此解碼側可根據元資訊，特定所需物件的位置，決定包含該物件的方塊。例如如圖30所示，元資訊利用HEVC的SEI訊息等與像素資料不同的資料儲存構造來儲存。該元資訊表示例如主物件的位置、大小或色彩等。
又，以串流、序列、隨機存取單位等，以由複數個圖片所構成的單位，來儲存元資訊亦可。藉此，解碼側可取得特定人物出現在影像內的時刻等，藉由配合圖片單位的資訊，可特定物件所存在的圖片及圖片內物件的位置。 [網頁最佳化]
圖31是表示電腦ex111等之網頁的顯示畫面例的圖。圖32是表示智慧型手機ex115等之網頁的顯示畫面例的圖。如圖31及圖32所示，網頁有時包含複數個對圖像內容的連結的連結圖像，依瀏覽的設備，其觀看方式會不同。畫面上可看到複數個連結圖像時，顯示裝置(解碼裝置)顯示各內容所具有的靜止圖或I圖片作為連結圖像，或顯示複數個靜止圖或I圖像等諸如gif動畫的影像，亦或僅接收基礎層，解碼及顯示影像，直到使用者明確地選擇連結圖像，或連結圖像靠近圖像中央附近，或者連結圖像全體進入畫面內為止。
由使用者選擇了圖像時，顯示裝置將基礎層最優先解碼。再者，構成網頁的HTML具有表示可適性內容的資訊時，顯示裝置解碼至增強層亦可。又，為了保證即時性，在選擇前或通訊頻帶非常嚴苛時，顯示裝置僅解碼及顯示前方參考的圖片(I圖片、P圖片、僅前方參考的B圖片)，藉此可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從內容開始解碼到開始顯示的延遲)。又，顯示裝置亦可特意忽視圖片的參考關係，進行前方參考，粗略地解碼所有B圖片及P圖片，隨著時間經過、接收的圖片增加而進行正常解碼。 [自動行駛]
又，為了車輛自動行駛或支援行駛而接收二維或三維地圖資訊等靜止圖或影像資料時，接收終端裝置亦可除了接收屬於1以上的層的圖像資料以外，亦接收天候或施工資訊等作為元資訊，使該等相對應而解碼。再者，元資訊屬於層，或單純與圖像資料進行多工均可。
此時，由於包含接收終端裝置的車輛、無人機或飛機等進行移動，因此接收終端裝置在接收要求時，發送該接收終端裝置的位置資訊，藉此可一面切換基地局ex106～ex110，一面實現無縫的接收及解碼。又，接收終端裝置可因應使用者的選擇、使用者的狀況或通訊頻帶的狀態，動態切換元資訊的接收程度或地圖資訊的更新程度。
如以上，於內容供給系統ex100，客戶可即時接收由使用者發送的經編碼的資訊，予以解碼並播放。 [個人內容發布]
又，於內容供給系統ex100，不僅可發布來自影像發布業者的高畫質、長時間的內容，亦可進行來自個人的低畫質、短時間的單播或多播發布。又，該類個人內容今後應會日益增加。為了使個人內容成為更優質的內容，伺服器進行編輯處理後再進行編碼處理亦可。此可由例如以下構成來實現。
攝影時，伺服器即時或積存而在攝影後，從原圖像或編碼完畢的資料，進行攝影錯誤、場景探索、語意分析及物件檢出等辨識處理。然後，伺服器根據辨識結果，進行如下編輯：採手動或自動修正失焦或手震等，刪除亮度比其他圖片低、焦點未對準的場景等重要性低的場景，強調物件的邊緣，或使色調變化等。伺服器根據編輯結果來編碼編輯後的資料。又，已知若攝影時間過長，收視率會下降，伺服器亦可根據圖像處理結果，因應攝影時間，不僅自動剪輯如上述重要性低的場景，亦剪輯移動少的場景等，以使內容維持在特定時間範圍內。又，伺服器亦可根據場景的意義分析的結果，生成並編碼摘要。
再者，於個人內容亦出現直接拍到侵害著作權、著作人格權或肖像權等之內容的個案，亦出現共有的範圍超越了意圖的範圍等，對個人為不便的情況。故，例如使用者亦可將圖像變更為特意使焦點，不對準畫面周邊部的人的臉部或家中等而編碼。又，伺服器亦可辨識編碼對象圖像內，是否拍到與預先登錄的人物不同的人物的臉部，拍到時，亦可進行對臉部部分，加上馬賽克等之處理。或，作為編碼前的預處理或後處理，亦可基於著作權等的觀點，指定使用者欲進行圖像加工的人物或背景區域，伺服器進行將指定的區域置換為其他影像，或模糊焦點等處理。若是人物，亦可一面於動態圖像追蹤人物，一面置換臉部部分的影像。
又，資料量少的個人內容的視聽，強烈要求即時性，因此雖依頻帶寬而不同，解碼裝置首先最優先接收基礎層，進行解碼及播放。解碼裝置在此期間接收增強層，於循環播放時等播放2次以上時，包含增強層在內而播放高畫質影像亦可。如此，若是進行可適性編碼的串流，可提供如下體驗：在未選擇時或開始觀看的階段，動畫雖粗略，但隨著串流變精細，圖像也變好。除了可適性編碼以外，將第1次所播放的粗略串流、及參考第1次動畫而編碼的第2次串流，作為1個串流而構成，亦可提供相同的體驗。 [其他使用例]
又，該等編碼或解碼處理一般在各終端裝置所具有的LSIex500處理。LSIex500為單晶片或由複數個晶片所組成的構成均可。再者，將動態圖像編碼或解碼用的軟體，組入電腦ex111等可讀取之某種記錄媒體(CD-ROM、軟碟、或硬碟等)，利用該軟體進行編碼或解碼處理亦可。進而言之，智慧型手機ex115附有攝影機時，發送由該攝影機所取得的動畫資料亦可。此時的動畫資料是經智慧型手機ex115所具有的LSIex500進行編碼處理的資料。
再者，LSIex500亦可為下載應用軟體並啟用的構成。此時，終端裝置首先判斷該終端裝置是否支援內容的編碼方式，或是否具有特定服務的執行能力。終端裝置不支援內容的編碼方式時，或不具有特定服務的執行能力時，終端裝置下載內容或應用軟體，其後取得並播放內容。
又，不限於經由網際網路ex101的內容供給系統ex100，於數位播放用系統，亦可組入上述各實施形態的至少任一種動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)。由於利用衛星等，使播放用電波承載影像及聲音已被多工的多工資料來收發，因此相對於內容供給系統ex100容易進行單播的構成，其差異在於適合多播，但關於編碼處理及解碼處理，可進行同樣的應用。 [硬體構成]
圖33是表示智慧型手機ex115的一例的圖。又，圖34是表示智慧型手機ex115的構成例的圖。智慧型手機ex115具有：天線ex450，用以與基地局ex110之間收發電波；攝影機部ex465，可拍攝影像及靜止圖；及顯示部ex458，顯示由攝影機部ex465所拍攝的影像、及由天線ex450所接收的影像等經解碼的資料。智慧型手機ex115進一步具備：操作部ex466，其為觸控面板等；聲音輸出部ex457，用以輸出聲音或音響的揚聲器等；聲音輸入部ex456，用以進行聲音輸入的微音器等；記憶體部ex467，用以保存拍攝的影像或靜止圖、錄音的聲音、接收的影像或靜止圖、郵件等經編碼的資料，或經解碼的資料；及插槽部ex464，其是與SIMex468的介面部，前述SIMex468是用以特定出使用者，進行對於以網路為首之各種資料存取的認證。再者，亦可使用外接記憶體，來取代記憶體部ex467。
又，統籌控制顯示部ex458及操作部ex466等的主控制部ex460，經由匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝影機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464及記憶體部ex467連接。
若藉由使用者操作而使電源鍵成為開啟狀態時，電源電路部ex461從電池組對於各部供給電力，將智慧型手機ex115啟動為可動作的狀態。
智慧型手機ex115根據由CPU、ROM及RAM等所組成的主控制部ex460的控制，進行通話及資料通訊等處理。通話時，以聲音訊號處理部ex454，將由聲音輸入部ex456所收音的聲音訊號，轉換成數位聲音訊號，並以調變/解調部ex452，將其進行頻譜擴散處理，以發送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，經由天線ex450發送。又，放大接收資料，施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行頻譜反擴散處理，以聲音訊號處理部ex454轉換成類比聲音資料後，從聲音輸出部ex457將其輸出。於資料通訊模式時，藉由主體部的操作部ex466等之操作，經由操作輸入控制部ex462，將文本、靜止圖或影像資料送出至主控制部ex460，並同樣地進行收發處理。資料通訊模式時發送影像、靜止圖或影像及聲音時，影像訊號處理部ex455將保存於記憶體部ex467的影像訊號、或從攝影機部ex465輸入的影像訊號，藉由上述各實施形態所示之動態圖像編碼方法，予以壓縮編碼，將已被編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454將聲音訊號編碼，將已被編碼的聲音資料送出至多工/分離部ex453，其中該聲音訊號是在以攝影機部ex465拍攝影像或靜止圖等之過程，以聲音輸入部ex456收音的訊號。多工/分離部ex453以預定的方式，將編碼完畢影像資料及編碼完畢聲音資料予以多工，以調變/解調部(調變/解調電路部)ex452及發送/接收部ex451，施以調變處理及轉換處理，經由天線ex450來發送。
接收添附於電子郵件或聊天的影像、或連結於網頁等之影像時，為了解碼經由天線ex450所接收的多工資料，多工/分離部ex453藉由分離多工資料，來將多工資料區分為影像資料的位元串流與聲音資料的位元串流，經由同步匯流排ex470，將已被編碼的影像資料供給至影像訊號處理部ex455，並且將已被編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法，解碼影像訊號，透過顯示器控制部ex459，從顯示部ex458顯示連結的動態圖像檔所含的影像或靜止圖。又，聲音訊號處理部ex454解碼聲音訊號，從聲音輸出部ex457輸出聲音。再者，由於即時串流化已普及，因此依使用者的狀況，亦可能發生聲音的播放就社會觀點而言不妥的情況。因此，作為初始值，宜採用不播放聲音訊號，僅播放影像訊號的構成。僅於使用者進行點擊影像資料等操作時，同步播放聲音亦可。
又，於此以智慧型手機ex115為例說明，但除了作為終端裝置具有編碼器及解碼器雙方的收發型終端裝置以外，亦可考慮僅具有編碼器的發送終端裝置及僅具有解碼器的接收終端裝置等3種實作形式。進而言之，說明了於數位播放用系統，接收或發送對影像資料多工有聲音資料等的多工資料，但於多工資料，除了聲音資料以外，與影像相關連的文字資料等亦可受到多工，或不接收或發送多工資料而接收或發送影像資料本身亦可。
再者，說明了包含CPU的主控制部ex460控制編碼或解碼處理，但終端裝置亦經常具備GPU。故，亦可構成如：藉由在CPU與GPU被共通化的記憶體，或藉由位址受管理以便可共通使用的記憶體，來活用GPU的性能以統一處理大區域。藉此，可縮短編碼時間，確保即時性，實現低延遲。特別是不採用CPU而採用GPU，以圖片等單位，統一進行移動估計、去區塊濾波、SAO(Sample Adaptive Offset(樣本適用性偏移))及轉換‧量化的處理甚有效率。
產業上之可利用性 本揭示可適用於電視接收機、數位錄影機、車用導航器、行動電話、數位相機、數位攝影機、電視會議系統或電子鏡等。
1a,1b,1c,1d,2a,2a1,2a2,2b,2b1,2b2,2c,2c1,2c2,2d,2d1,2d2,2e,2f,2g,2h:轉換基底 11~23:區塊 100:編碼裝置 102:分割部 104:減算部 106:轉換部 108:量化部 110:熵編碼部 112,204:反向量化部 114,206:反向轉換部 116,208:加算部 118,210:區塊記憶體 120,212:迴路濾波器部 122,214:訊框記憶體 124,216:訊框內預測部 126,218:訊框間預測部 128,220:預測控制部 160,260:處理器 162,262:記憶體 200:解碼裝置 202:熵解碼部 ALF:適應性迴路濾波器 AMT:適應性多重轉換 AST:適應性第二轉換 AR:擴增實境 BIO:雙向光流 CABAC:上下文適應型二值算術編碼方式 CCLM:跨組件線性模式 CDN:內容發布網路 CTU:編碼樹單元 CU:編碼單元 Cur block:目前區塊 DCT:離散餘弦變換 DF:去區塊濾波器 DST:離散正弦變換 EMT:顯式多重核心轉換 ex100:內容供給系統 ex101:網際網路 ex102:網際網路服務提供者 ex103:串流化伺服器 ex104:通訊網 ex106~ex110:基地局 ex111:電腦 ex112:遊戲機 ex113:攝影機 ex114:家電 ex115:智慧型手機 ex116:衛星 ex117:飛機 ex450:天線 ex451:傳送/接收部 ex452:調變/解調部 ex453:多工/分離部 ex454:聲音訊號處理部 ex455:影像訊號處理部 ex456:聲音輸入部 ex457:聲音輸出部 ex458:顯示部 ex459:顯示器控制部 ex460:主控制部 ex461:電源電路部 ex462:操作輸入控制部 ex463:攝影機介面部 ex464:插槽部 ex465:攝影機部 ex466:操作部 ex467:記憶體部 ex468:SIM ex470:匯流排,同步匯流排 ex500:LSI FRUC:訊框率提升轉換 GOP:圖片群組 HEVC:高效率視訊編碼 MBT:多型樹 MV,MV0,MV1,MV_L,MV_U:移動向量 MVC:多視角編碼 NSST:不可分第二轉換 OBMC:重疊區塊移動補償 PDPC:獨立位置訊框內預測組合 PHS:個人手持電話系統 PMMVD:模式匹配移動向量導出 Pred,Pred_L,Pred_U:預測圖像 PU:預測單元 QTBT:四元樹加二元樹 RD:訊息率失真 Ref0,Ref1:參考圖片 S101,S102,S201,S202,S301~S306,S401~S406:步驟 SAO:樣本適用性偏移 TU:轉換單元 v 0,v 1,v x,v y:移動向量 VLC:可變長度編碼 VR:虛擬實境
圖1是表示實施形態1的編碼裝置的功能構成的方塊圖。
圖2是表示實施形態1的區塊分割的一例的圖。
圖3是表示對應於各轉換類型的轉換基底函數的表。
圖4A是表示ALF所用的濾波器的形狀的一例的圖。
圖4B是表示ALF所用的濾波器的形狀的其他一例的圖。
圖4C是表示ALF所用的濾波器的形狀的其他一例的圖。
圖5A是表示訊框內預測的67個訊框內預測模式的圖。
圖5B是用以說明OBMC處理的預測圖像修正處理的概要的流程圖。
圖5C是用以說明OBMC處理的預測圖像修正處理的概要的概念圖。
圖5D是表示FRUC的一例的圖。
圖6是用以說明沿著移動軌道的2個區塊間的模式匹配(雙向匹配)的圖。
圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的模式匹配(模板匹配)的圖。
圖8是用以說明假定等速直線運動的模型的圖。
圖9A是用以說明根據複數個鄰接區塊的移動向量之子區塊單位的移動向量的導出的圖。
圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。
圖9C是用以說明DMVR處理的概要的概念圖。
圖9D是用以說明利用LIC處理的亮度修正處理的預測圖像生成方法的概要的圖。
圖10是表示實施形態1的解碼裝置的功能構成的方塊圖。
圖11是表示根據一次轉換基底的二次轉換基底的選擇處理的流程圖。
圖12是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第1具體例的關係圖。
圖13是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第2具體例的關係圖。
圖14是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第3具體例的關係圖。
圖15是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第4具體例的關係圖。
圖16是表示分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的第5具體例的關係圖。
圖17是表示分離型一次轉換基底候選與分離型二次轉換基底候選的對應關係的第1具體例的關係圖。
圖18是表示分離型一次轉換基底候選與分離型二次轉換基底候選的對應關係的第2具體例的關係圖。
圖19是表示非分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的具體例的關係圖。
圖20是表示非分離型一次轉換基底候選與分離型二次轉換基底候選的對應關係的具體例的關係圖。
圖21是表示分離型轉換及非分離型轉換混合存在的環境下的一次轉換基底候選與二次轉換基底候選的對應關係的具體例的關係圖。
圖22是表示一次轉換基底及根據訊框內預測模式的二次轉換基底的選擇處理的流程圖。
圖23是表示訊框內預測模式、分離型一次轉換基底候選與非分離型二次轉換基底候選的對應關係的具體例的關係圖。
圖24是表示實施形態1的編碼裝置的實作例的方塊圖。
圖25是表示實施形態1的編碼裝置的動作例的流程圖。
圖26是表示實施形態1的解碼裝置的實作例的方塊圖。
圖27是表示實施形態1的解碼裝置的動作例的流程圖。
圖28是實現內容發布服務的內容供給系統的全體構成圖。
圖29是表示可適性編碼時的編碼構造的一例的圖。
圖30是表示可適性編碼時的編碼構造的一例的圖。
圖31是表示網頁的顯示畫面例的圖。
圖32是表示網頁的顯示畫面例的圖。
圖33是表示智慧型手機的一例的圖。
圖34是表示智慧型手機的構成例的方塊圖。
S301~S306:步驟

Claims (4)

  1. 一種編碼裝置，其具備： 處理器；及 記憶體， 前述處理器利用前述記憶體進行： 利用一次轉換基底，對目前區塊的殘差訊號進行一次轉換以生成第1轉換係數， 利用二次轉換基底，對前述第1轉換係數進行二次轉換以生成第2轉換係數，前述二次轉換基底是從1個以上的二次轉換基底候選之中選擇的，且前述1個以上的二次轉換基底候選是與使用在前述目前區塊的訊框內預測模式相對應， 量化前述第2轉換係數。
  2. 如請求項1之編碼裝置，其中前述二次轉換基底是從進一步與前述目前區塊的尺寸相對應的前述1個以上的二次轉換基底候選之中選擇的。
  3. 一種解碼裝置，其具備： 處理器；及 記憶體， 前述處理器利用前述記憶體進行： 對目前區塊的量化係數進行反向量化以生成第2轉換係數， 利用反向二次轉換基底，對前述第2轉換係數進行反向二次轉換以生成第1轉換係數，前述反向二次轉換基底是從1個以上的反向二次轉換基底候選之中選擇的，且前述1個以上的反向二次轉換基底是與使用在前述目前區塊的訊框內預測模式相對應， 利用反向一次轉換基底，對前述第1轉換係數進行反向一次轉換以生成前述目前區塊的殘差訊號。
  4. 如請求項3之解碼裝置，其中前述反向二次轉換基底是從進一步與前述目前區塊的尺寸相對應的前述1個以上的反向二次轉換基底候選之中選擇的。
TW111128772A 2017-07-03 2018-06-27 編碼裝置及解碼裝置 TWI812376B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762528193P 2017-07-03 2017-07-03
US62/528,193 2017-07-03

Publications (2)

Publication Number Publication Date
TW202247655A true TW202247655A (zh) 2022-12-01
TWI812376B TWI812376B (zh) 2023-08-11

Family

ID=64950041

Family Applications (3)

Application Number Title Priority Date Filing Date
TW112126898A TW202344050A (zh) 2017-07-03 2018-06-27 編碼裝置及解碼裝置
TW107122143A TWI774795B (zh) 2017-07-03 2018-06-27 編碼裝置、解碼裝置、編碼方法及解碼方法
TW111128772A TWI812376B (zh) 2017-07-03 2018-06-27 編碼裝置及解碼裝置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW112126898A TW202344050A (zh) 2017-07-03 2018-06-27 編碼裝置及解碼裝置
TW107122143A TWI774795B (zh) 2017-07-03 2018-06-27 編碼裝置、解碼裝置、編碼方法及解碼方法

Country Status (3)

Country Link
US (3) US20200137388A1 (zh)
TW (3) TW202344050A (zh)
WO (1) WO2019009129A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11665367B2 (en) * 2018-03-30 2023-05-30 Sony Corporation Image processing apparatus and method
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
US11595689B2 (en) * 2020-03-20 2023-02-28 Tencent America LLC Local weighted prediction
WO2022069331A1 (en) * 2020-09-29 2022-04-07 Interdigital Vc Holdings France, Sas Karhunen loeve transform for video coding
EP4338417A2 (en) * 2021-05-12 2024-03-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
IN2014DN03096A (zh) * 2011-10-17 2015-05-15 Kt Corp
WO2013154366A1 (ko) * 2012-04-12 2013-10-17 주식회사 팬택 블록 정보에 따른 변환 방법 및 이러한 방법을 사용하는 장치
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
CN105765974B (zh) * 2013-10-14 2019-07-02 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
US9769499B2 (en) * 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
EP3457691A4 (en) * 2016-05-13 2019-03-20 Sharp Kabushiki Kaisha IMAGE DECODING DEVICE AND IMAGE ENCODING DEVICE
JP2020109884A (ja) 2017-04-28 2020-07-16 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10630974B2 (en) * 2017-05-30 2020-04-21 Google Llc Coding of intra-prediction modes
WO2018221553A1 (ja) * 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置及び復号方法
US11070837B2 (en) 2018-04-02 2021-07-20 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
US11284071B2 (en) * 2019-12-12 2022-03-22 Google Llc Combination of mode-dependent and fixed transform types in video coding

Also Published As

Publication number Publication date
TW201918066A (zh) 2019-05-01
TWI774795B (zh) 2022-08-21
TWI812376B (zh) 2023-08-11
US20200137388A1 (en) 2020-04-30
TW202344050A (zh) 2023-11-01
US20240114137A1 (en) 2024-04-04
US11870992B2 (en) 2024-01-09
WO2019009129A1 (ja) 2019-01-10
US20220264093A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
TWI785044B (zh) 編碼裝置及解碼裝置
TWI778137B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI830328B (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
TWI794129B (zh) 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
TWI782974B (zh) 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
TWI791414B (zh) 編碼裝置及解碼裝置
TWI774795B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI777904B (zh) 編碼裝置、解碼裝置及記錄媒體
JP7408862B2 (ja) 符号化装置及び復号装置
JP7442607B2 (ja) 符号化方法及び復号方法
JP7364768B2 (ja) 符号化装置及び復号装置
JP2023126387A (ja) 符号化装置及び符号化方法
JP2022058478A (ja) 符号化装置及び復号装置
TWI763959B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI825966B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW202011740A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI827394B (zh) 非暫時性記憶媒體
TWI838914B (zh) 編碼裝置、解碼裝置及非暫時性電腦可讀取媒體
WO2019124193A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW202315412A (zh) 圖像解碼裝置及解碼方法