TWI789511B - 編碼裝置及解碼裝置 - Google Patents

編碼裝置及解碼裝置 Download PDF

Info

Publication number
TWI789511B
TWI789511B TW108111002A TW108111002A TWI789511B TW I789511 B TWI789511 B TW I789511B TW 108111002 A TW108111002 A TW 108111002A TW 108111002 A TW108111002 A TW 108111002A TW I789511 B TWI789511 B TW I789511B
Authority
TW
Taiwan
Prior art keywords
aforementioned
block
matrix
quantization matrix
quantization
Prior art date
Application number
TW108111002A
Other languages
English (en)
Other versions
TW201943271A (zh
Inventor
安倍清史
加納龍一
西孝啓
遠間正真
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW201943271A publication Critical patent/TW201943271A/zh
Application granted granted Critical
Publication of TWI789511B publication Critical patent/TWI789511B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Semiconductor Memories (AREA)
  • Error Detection And Correction (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

編碼裝置是進行量化來編碼動態圖像的編碼裝置，且具備電路及記憶體；電路利用記憶體，轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從第1量化矩陣生成對於長方形區塊的複數個轉換係數的第2量化矩陣，且對長方形區塊的複數個轉換係數，利用第2量化矩陣進行量化。

Description

編碼裝置及解碼裝置
發明領域
本發明是關於一種編碼動態圖像的編碼裝置等。
發明背景
以往存在H.265作為用以編碼動態圖像的規格，而前述H.265亦稱為HEVC(High Efficiency Video Coding(高效率視訊編碼))(非專利文獻1)。
先行技術文獻
非專利文獻
非專利文獻1：H.265(ISO/IEC 23008-2 HEVC)/HEVC(High Efficiency Video Coding)
發明概要
然而，若未有效率地量化動態圖像所含的各種形狀的長方形區塊，編碼效率會降低。
因此，本揭示提供一種編碼裝置等，可有效率地量化動態圖像所含的各種形狀的長方形區塊。
本揭示的一態樣的編碼裝置是進行量化來編碼動態 圖像的編碼裝置，且具備電路及記憶體；前述電路利用前述記憶體，轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從前述第1量化矩陣，生成對於長方形區塊的複數個轉換係數的第2量化矩陣，且對前述長方形區塊的複數個轉換係數，利用前述第2量化矩陣進行量化。
再者，該等概括或具體的態樣亦得以系統、裝置、方法、積體電路、電腦程式、或電腦可讀取CD-ROM等非暫時性的記錄媒體來實現，或以系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
本揭示的一態樣的編碼裝置等可有效率地量化動態圖像所包含的各種形狀的長方形區塊。
10~23:區塊
100:編碼裝置
102:分割部
104:減算部
106:轉換部
108:量化部
110:熵編碼部
112、204:反量化部
114、206:反轉換部
116、208:加算部
118、210:區塊記憶體
120、212:迴路濾波部
122、214:幀記憶體
124、216:幀內預測部
126、218:幀間預測部
128、220:預測控制部
160、260:電路
162、262:記憶體
200:解碼裝置
202:熵解碼部
ALF:適應性迴路濾波器
AMT:適應性多重轉換
AR:擴增實境
AST:適應性二次轉換
BIO:雙向光流
CCLM:跨成分線性模型
CABAC:上下文適應型二值算術編碼方式
CDN:內容發布網路
CTU:編碼樹單元
CU:編碼單元
Cur bloek:目前區塊
DCT:離散餘弦變換
DF:去區塊濾波器
DST:離散正弦變換
EMT:顯式多重核心轉換
ex100:內容供給系統
ex101:網際網路
ex102:網際網路服務提供者
ex103:串流化伺服器
ex104:通訊網
ex106~ex110:基地台
ex111:電腦
ex112:遊戲機
ex113:攝影機
ex114:家電
ex115:智慧型手機
ex116:衛星
ex117:飛機
ex450:天線
ex451:發送/接收部
ex452:調變/解調部
ex453:多工/分離部
ex454:聲音訊號處理部
ex455:影像訊號處理部
ex456:聲音輸入部
ex457:聲音輸出部
ex458:顯示部
ex459:顯示器控制部
ex460:主控制部
ex461:電源電路部
ex462:操作輸入控制部
ex463:攝影機介面部
ex464:插槽部
ex465:攝影機部
ex466:操作部
ex467:記憶體部
ex468:SIM
ex470:匯流排、同步匯流排
ex500:LSI
FRUC:幀率提升轉換
GOP:圖片群組
HEVC:高效率視訊編碼
MBT:多類型樹
MV、MV0、MV1、MV_L、MV_U:移動向量
MVC:多視角編碼
NSST:不可分離二次轉換
OBMC:重疊區塊移動補償
PDPC:位置相關幀內預測組合
PMMVD:樣式匹配移動向量導出
Pred、Pred_L、Pred_U:預測圖像
PU:預測單元
QM:量化矩陣
QP:量化參數
QTBT:四元樹加二元樹
Ref0、Ref1:參考圖片
SAO:樣本適用性偏移
S101~S108、S201~S206、S301、S302、S701、S801、S1001、S1002、S1101、S1102、S1601、S1701:步驟
TU:轉換單元
v0、v1、vx、vy:移動向量
VLC:可變長度編碼
VR:虛擬實境
圖1是表示實施形態1的編碼裝置的功能構成的方塊圖。
圖2是表示實施形態1的區塊分割的一例的圖。
圖3是表示對應於各轉換類型的轉換基底函數的表。
圖4A是表示ALF所用的濾波器的形狀的一例的圖。
圖4B是表示ALF所用的濾波器的形狀的其他一例的圖。
圖4C是表示ALF所用的濾波器的形狀的其 他一例的圖。
圖5A是表示幀內預測的67個幀內預測模式的圖。
圖5B是用以說明利用OBMC處理的預測圖像修正處理的概要的流程圖。
圖5C是用以說明利用OBMC處理的預測圖像修正處理的概要的概念圖。
圖5D是表示FRUC的一例的圖。
圖6是用以說明沿著移動軌道的2個區塊間的樣式(pattern)匹配(雙向匹配)的圖。
圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的圖。
圖8是用以說明假定為等速直線運動的模型的圖。
圖9A是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量的圖。
圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。
圖9C是用以說明DMVR處理的概要的概念圖。
圖9D是用以說明使用了利用LIC處理的亮度修正處理的預測圖像生成方法的概要的圖。
圖10是表示實施形態1的解碼裝置的功能構成的方塊圖。
圖11是表示編碼裝置中利用量化矩陣的編碼處理流程的第1例的圖。
圖12是表示對應於圖11所說明的編碼裝置之解碼裝置中利用量化矩陣的解碼處理流程例的圖。
圖13是用以說明於圖11的步驟S102及圖12的步驟S202，從正方形區塊用的量化矩陣生成長方形區塊用的量化矩陣的第1個範例的圖。
圖14是用以說明從對應的正方形區塊用的量化矩陣，藉由下轉換來生成圖13所說明的長方形區塊用的量化矩陣的方法的圖。
圖15是用以說明於圖11的步驟S102及圖12的步驟S202，從正方形區塊用的量化矩陣生成長方形區塊用的量化矩陣的第2個範例的圖。
圖16是用以說明從對應的正方形區塊用的量化矩陣，藉由上轉換來生成圖15所說明的長方形區塊用的量化矩陣的方法的圖。
圖17是表示編碼裝置中利用量化矩陣的編碼處理流程的第2例的圖。
圖18是表示對應於圖17所說明的編碼裝置之解碼裝置中利用量化矩陣的解碼處理流程例的圖。
圖19是用以說明於圖17的步驟S701及圖18的步驟S801，對應於各區塊尺寸的有效轉換係數區域的尺寸之量化矩陣例的圖。
圖20是表示編碼裝置中利用量化矩陣的編 碼處理流程的第2例的變形例的圖。
圖21是表示對應於圖20所說明的編碼裝置之解碼裝置中利用量化矩陣的解碼處理流程例的圖。
圖22是用以說明於圖20的步驟S1002及圖21的步驟S1102，從正方形區塊用的量化矩陣生成長方形區塊用的量化矩陣的第1個範例的圖。
圖23是用以說明從對應的正方形區塊用的量化矩陣，藉由下轉換來生成圖22所說明的長方形區塊用的量化矩陣的方法的圖。
圖24是用以說明於圖20的步驟S1002及圖21的步驟S1102，從正方形區塊用的量化矩陣生成長方形區塊用的量化矩陣的第2個範例的圖。
圖25是用以說明從對應的正方形區塊用的量化矩陣，藉由上轉換來生成圖24所說明的長方形區塊用的量化矩陣的方法的圖。
圖26是表示編碼裝置中利用量化矩陣的編碼處理流程的第3例的圖。
圖27是表示對應於圖26所說明的編碼裝置之解碼裝置中利用量化矩陣的解碼處理流程例的圖。
圖28是用以說明於圖26的步驟S1601及圖27的步驟S1701，就各區塊尺寸，從僅對角成分的量化矩陣的量化係數值，利用共通的方法生成量化矩陣的方法的一例的圖。
圖29是用以說明於圖26的步驟S1601及圖 27的步驟S1701，就各區塊尺寸的處理對象區塊，從僅對角成分的量化矩陣的量化係數值，利用共通的方法生成量化矩陣的方法的其他例的圖。
圖30是表示編碼裝置的安裝例的方塊圖。
圖31是表示圖30所示的編碼裝置的動作例的流程圖。
圖32是表示解碼裝置的安裝例的方塊圖。
圖33是表示圖32所示的解碼裝置的動作例的流程圖。
圖34是實現內容發布服務的內容供給系統的全體構成圖。
圖35是表示可適性編碼時的編碼構造的一例的圖。
圖36是表示可適性編碼時的編碼構造的一例的圖。
圖37是表示網頁的顯示畫面例的圖。
圖38是表示網頁的顯示畫面例的圖。
圖39是表示智慧型手機的一例的圖。
圖40是表示智慧型手機的構成例的方塊圖。
用以實施發明之形態
以下參考圖式來具體說明實施形態。
再者，以下所說明的實施形態均表示概括或具體的範例。以下實施形態所示數值、形狀、材料、構成 要件、構成要件的配置位置及連接形態、步驟、步驟的順序等為一例，其主旨不在於限定申請專利範圍。又，以下實施形態的構成要件中，未記載於表示最上位概念的獨立請求項的構成要件，則作為任意的構成要件來說明。
(實施形態1)
首先，說明實施形態1的概要，來作為可適用後述本揭示的各態樣中所說明的處理及/或構成的編碼裝置及解碼裝置的一例。但實施形態1僅為可適用本揭示的各態樣中所說明的處理及/或構成的編碼裝置及解碼裝置的一例，本揭示的各態樣中所說明的處理及/或構成，亦可實施於與實施形態1不同的編碼裝置及解碼裝置。
對實施形態1適用本揭示的各態樣中所說明的處理及/或構成時，亦可進行例如以下之任一項。
(1)對實施形態1的編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置的複數個構成要件中之對應於本揭示的各態樣中所說明的構成要件之構成要件，置換成本揭示的各態樣中所說明的構成要件；(2)對實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，施以功能或實施處理的追加、置換、刪除等任意變更後，將對應於本揭示的各態樣中所說明的構成要件之構成要件，置換成本揭示的各態樣中所說明的構成要件；(3)對實施形態1的編碼裝置或解碼裝置所實施的方法，針對處理的追加、及/或該方法所含的複數種處理中之 一部分處理，施以置換、刪除等任意變更後，將對應於本揭示的各態樣中所說明的處理之處理，置換成本揭示的各態樣中所說明的處理；(4)將構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，與本揭示的各態樣中所說明的構成要件、具備本揭示的各態樣中所說明的構成要件所具備的一部分功能的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的一部分處理的構成要件組合而實施；(5)將具備構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件所具備的一部分功能的構成要件、或實施構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件所實施的一部分處理的構成要件，與本揭示的各態樣中所說明的構成要件、具備本揭示的各態樣中所說明的構成要件所具備的一部分功能的構成要件、或實施本揭示的各態樣中所說明的構成要件所實施的一部分處理的構成要件組合而實施；(6)對實施形態1的編碼裝置或解碼裝置所實施的方法，將該方法所含的複數種處理中之對應於本揭示的各態樣中所說明的處理之處理，置換成本揭示的各態樣中所說明的處理；(7)將實施形態1的編碼裝置或解碼裝置所實施的方法所含之複數種處理中之一部分處理，與本揭示的各態樣中所說明的處理組合而實施。
再者，本揭示的各態樣中所說明的處理及/或構成的實施方式不限定於上述範例。例如，可在與實施形態1所揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置以不同目的利用的裝置中實施，亦可單獨實施各態樣中所說明的處理及/或構成。又，亦可組合在不同態樣中所說明的處理及/或構成而實施。
[編碼裝置的概要]
首先，說明實施形態1的編碼裝置的概要。圖1是表示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊為單位編碼動態圖像/圖像的動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊為單位編碼圖像的裝置，具備分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、區塊記憶體118、迴路濾波部120、幀記憶體122、幀內預測部124、幀間預測部126及預測控制部128。
編碼裝置100藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部120、幀內預測部124、幀間預測部126及預測控制部128發揮功能。又，亦可以對應於分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部 120、幀內預測部124、幀間預測部126及預測控制部128之專用的1個以上的電子電路來實現編碼裝置100。
以下說明編碼裝置100所含的各構成要件。
[分割部]
分割部102將輸入動態圖像所含的各圖片分割為複數個區塊，將各區塊輸出至減算部104。例如分割部102首先將圖片分割為固定尺寸(例如128×128)的區塊。此固定尺寸的區塊有時稱為編碼樹單元(CTU)。然後，分割部102根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定尺寸的各個區塊分割為可變尺寸(例如64×64以下)的區塊。此可變尺寸的區塊有時稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，於本實施形態亦可無須區分CU、PU及TU，而使圖片內的一部分或所有區塊為CU、PU、TU的處理單位。
圖2是表示實施形態1的區塊分割的一例的圖。於圖2，實線表示四元樹區塊分割的區塊邊界，虛線表示二元樹區塊分割的區塊邊界。
於此，區塊10為128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先分割為4個正方形的64×64區塊(四元樹區塊分割)。
左上64×64區塊進一步垂直分割為2個矩形的32×64區塊，左32×64區塊進一步垂直分割為2個矩形的16×64區塊(二元樹區塊分割)。其結果，左上64×64區塊分割為2個16×64區塊11、12及32×64區塊13。
右上64×64區塊水平分割為2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下64×64區塊分割為4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊中，左上區塊及右下區塊進一步分割。左上32×32區塊垂直分割為2個矩形的16×32區塊，右16×32區塊進一步水平分割為2個16×16區塊(二元樹區塊分割)。右下32×32區塊水平分割為2個32×16區塊(二元樹區塊分割)。其結果，左下64×64區塊分割為16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20及2個32×16區塊21、22。
右下64×64區塊23不分割。
如以上，於圖2，區塊10根據遞迴的四元樹及二元樹區塊分割，分割為13個可變尺寸的區塊11~23。此類分割有時稱為QTBT(quad-tree plus binary tree(四元樹加二元樹))分割。
再者，於圖2，1個區塊雖分割為4個或2個區塊(四元樹或二元樹區塊分割)，但分割不限定於此。例如1個區塊亦可分割為3個區塊(三元樹區塊分割)。此類包含三元樹區塊分割在內的分割有時稱為MBT(multi type tree(多類型樹))分割。
[減算部]
減算部104是以由分割部102所分割的區塊為單位，從原訊號(原樣本)減算預測訊號(預測樣本)。也就是說，減算部104算出編碼對象區塊(以下稱為目前區塊) 的預測誤差(亦稱為殘差)。然後，減算部104將算出的預測誤差輸出至轉換部106。
原訊號為編碼裝置100的輸入訊號，其為表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下有時亦將表示圖像的訊號稱為樣本。
[轉換部]
轉換部106將空間域的預測誤差轉換成頻率域的轉換係數，將轉換係數輸出至量化部108。具體而言，轉換部106例如對空間域的預測誤差，進行預先決定的離散餘弦轉換(DCT)或離散正弦轉換(DST)。
再者，轉換部106亦可從複數種轉換類型中適應性地選擇轉換類型，利用與選擇的轉換類型相對應的轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。此類轉換有時稱為EMT(explicit multiple core transform(顯式多重核心轉換))或AMT(adaptive multiple transform(適應性多重轉換))。
複數種轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是表示對應於各轉換類型的基底函數的表。於圖3，N表示輸入像素數。從該等複數種轉換類型中選擇轉換類型時，例如可取決於預測的種類(幀內預測及幀間預測)，亦可取決於幀內預測模式。
該類表示適用EMT或AMT與否的資訊(例如 稱為AMT旗標)及表示選擇的轉換類型的資訊是以CU級別來訊號化。再者，該等資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別(sequence level)、圖片級別(picture level)、切片級別(slice level)、圖塊級別(tile level)或CTU級別)。
又，轉換部106亦可將轉換係數(轉換結果)予以再轉換。此類再轉換有時稱為AST(adaptive secondary transform(適應性二次轉換))或NSST(non-separable secondary transform(不可分離二次轉換))。例如轉換部106就對應於幀內預測誤差的轉換係數的區塊所含之子區塊(例如4×4子區塊)逐一進行再轉換。表示適用NSST與否的資訊及用於NSST的轉換矩陣的相關資訊是以CU級別來訊號化。再者，該等資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或CTU級別)。
於此，Separable(可分離)轉換是指就輸入的維數度之數量而依各方向分離，來進行複數次轉換的方式，Non-Separable(不可分離)轉換是指在輸入為多維時，將2個以上的維度統整視為1維而一次進行轉換的方式。
例如可舉下例來作為Non-Separable轉換的一例：在輸入為4×4的區塊時，將其視為具有16個要件的一個陣列，對於該陣列，以16×16的轉換矩陣進行轉換處理。
又，同樣地將4×4的輸入區塊視為具有16個要件的一個陣列，對於該陣列，進行複數次Givens旋轉(Hypercube Givens Transform(超立方體吉文斯轉換))的轉換，亦為Non-Separable轉換例。
[量化部]
量化部108量化從轉換部106輸出的轉換係數。具體而言，量化部108以規定的掃描順序掃描目前區塊的轉換係數，根據對應於掃描出的轉換係數的量化參數(QP)，來量化該轉換係數。然後，量化部108將目前區塊的經量化的轉換係數(以下稱為量化係數)，輸出至熵編碼部110及反量化部112。
規定的順序是轉換係數的量化/反量化用順序。例如規定的掃描順序是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)來定義。
量化參數是定義量化步距(量化寬度)的參數。例如若增加量化參數值，則量化步距亦增加。也就是說，若量化參數值增加，則量化誤差增大。
[熵編碼部]
熵編碼部110藉由將從量化部108輸入的量化係數，予以可變長度編碼，來生成編碼訊號(編碼位元串流)。具體而言，熵編碼部110例如將量化係數二值化，將二值訊號予以算術編碼。
[反量化部]
反量化部112將從量化部108輸入的量化係 數予以反量化。具體而言，反量化部112以規定的掃描順序，將目前區塊的量化係數予以反量化。然後，反量化部112將目前區塊之已被反量化的轉換係數，輸出至反轉換部114。
[反轉換部]
反轉換部114藉由將從反量化部112輸入的轉換係數予以反轉換，來復原預測誤差。具體而言，反轉換部114藉由對轉換係數進行與轉換部106的轉換相對應的反轉換，來復原目前區塊的預測誤差。然後，反轉換部114將復原的預測誤差輸出至加算部116。
再者，由於復原的預測誤差是因量化而喪失資訊，因此不會與減算部104所算出的預測誤差一致。亦即，於復原的預測誤差，包含有量化誤差。
[加算部]
加算部116藉由加算從反轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本，來重構目前區塊。然後，加算部116將重構的區塊輸出至區塊記憶體118及迴路濾波部120。重構區塊有時亦稱為局部解碼區塊。
[區塊記憶體]
區塊記憶體118是用以儲存幀內預測所參考的區塊且為編碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言，區塊記憶體118儲存從加算部116輸出的重構區塊。
[迴路濾波部]
迴路濾波部120對由加算部116重構的區塊施以迴路濾波，將已濾波的重構區塊輸出至幀記憶體122。迴路濾波是指在編碼迴路內使用的濾波器(In-loop filter(迴路內濾波器))，包含例如去區塊濾波器(DF)、樣本適應性偏移(SAO)及適應性迴路濾波器(ALF)等。
在ALF中是適用用以去除編碼失真的最小平方誤差濾波器，例如就目前區塊內的2×2子區塊，逐一適用根據局部梯度(gradient)的方向及活性度(activity)而從複數個濾波器中選擇的1個濾波器。
具體而言，首先子區塊(例如2×2子區塊)分類為複數個組別(例如15或25組)。子區塊的分類是根據梯度的方向及活性度來進行。例如利用梯度的方向值D(例如0~2或0~4)及梯度的活性值A(例如0~4)，來算出分類值C(例如C=5D+A)。然後，根據分類值C，將子區塊分類為複數個組別(例如15或25組)。
梯度的方向值D是藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如加算複數個方向的梯度並量化加算結果來導出。
根據此類分類的結果，從複數個濾波器中決定子區塊用的濾波器。
ALF所用濾波器的形狀可利用例如圓對稱形狀。圖4A~圖4C是表示ALF所用濾波器的形狀的複數 例之圖。圖4A表示5×5菱形形狀濾波器，圖4B表示7×7菱形形狀濾波器，圖4C表示9×9菱形形狀濾波器。表示濾波器形狀的資訊是以圖片級別訊號化。再者，表示濾波器形狀的資訊的訊號化無須限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別或CU級別)。
ALF的開啟/關閉是以例如圖片級別或CU級別來決定。例如就亮度而言，以CU級別決定是否適用ALF，就色差而言，以圖片級別決定是否適用ALF。表示ALF的開啟/關閉的資訊是以圖片級別或CU級別來訊號化。再者，表示ALF的開啟/關閉的資訊的訊號化無須限定在圖片級別或CU級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別或CTU級別)。
可選擇的複數個濾波器(例如到15或25的濾波器)的係數集是以圖片級別訊號化。再者，係數集的訊號化無須限定在圖片級別，亦可為其他級別(例如序列級別、切片級別、圖塊級別、CTU級別、CU級別或子區塊級別)。
[幀記憶體]
幀記憶體122是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器。具體而言，幀記憶體122儲存由迴路濾波部120所濾波的重構區塊。
[幀內預測部]
幀內預測部124參考儲存於區塊記憶體118的目前圖片內的區塊，來進行目前區塊的幀內預測(亦稱為 畫面內預測)，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部124參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)，來進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號輸出至預測控制部128。
例如幀內預測部124利用預先規定的複數個幀內預測模式中之1個，進行幀內預測。複數個幀內預測模式包含1個以上的非方向性預測模式及複數個方向性預測模式。
1個以上的非方向性預測模式包含例如H.265/HEVC(High-Efficiency Video Coding(高效率視訊編碼))規格(非專利文獻1)所規定的Planar(平面)預測模式及DC(直流)預測模式。
複數個方向性預測模式包含例如H.265/HEVC規格所規定的33方向的預測模式。再者，複數個方向性預測模式除了33方向以外，亦可進一步包含32方向的預測模式(合計65個方向性預測模式)。圖5A是表示幀內預測之67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭表示H.265/HEVC規格所規定的33方向，虛線箭頭表示追加的32方向。
再者，於色差區塊的幀內預測中，亦可參考亮度區塊。也就是說，亦可根據目前區塊的亮度成分，來預測目前區塊的色差成分。此類幀內預測有時稱為CCLM(cross-component linear model(跨成分線性模型))預測。此類參考亮度區塊之色差區塊的幀內預測模式 (例如稱為CCLM模式)亦可加入作為色差區塊的幀內預測模式之一。
幀內預測部124亦可根據水平/垂直方向的參考像素的梯度，來修正幀內預測後的像素值。伴隨有此類修正的幀內預測有時稱為PDPC(position dependent intra prediction combination(位置相關幀內預測組合))。表示有無適用PDPC的資訊(例如稱為PDPC旗標)是以例如CU級別來訊號化。再者，該資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別或CTU級別)。
[幀間預測部]
幀間預測部126參考儲存於幀記憶體122的參考圖片且為與目前圖片不同的參考圖片，來進行目前區塊的幀間預測(亦稱為畫面間預測)，藉此生成預測訊號(幀間預測訊號)。幀間預測是以目前區塊或目前區塊內的子區塊(例如4×4區塊)的單位進行。例如幀間預測部126針對目前區塊或子區塊，進行參考圖片內移動估計(motion estimation)。然後，幀間預測部126利用藉由移動估計所獲得的移動資訊(例如移動向量)，來進行移動補償，藉此生成目前區塊或子區塊的幀間預測訊號。然後，幀間預測部126將生成的幀間預測訊號輸出至預測控制部128。
移動補償用的移動資訊被訊號化。移動向量的訊號化亦可利用移動向量預測子(motion vector predictor)。也就是說，亦可將移動向量與移動向量預測 子之間的差分訊號化。
再者，不僅可利用藉由移動估計所獲得的目前區塊的移動資訊，亦可利用鄰接區塊的移動資訊，來生成幀間預測訊號。具體而言，亦可將根據藉由移動估計所獲得的移動資訊的預測訊號、與根據鄰接區塊的移動資訊的預測訊號，予以加權加算，藉此以目前區塊內的子區塊為單位來生成幀間預測訊號。此類幀間預測(移動補償)有時稱為OBMC(overlapped block motion compensation(重疊區塊移動補償))。
於此類OBMC模式，表示OBMC用子區塊的尺寸的資訊(例如稱為OBMC區塊尺寸)是以序列級別訊號化。又，表示適用OBMC模式與否的資訊(例如稱為OBMC旗標)是以CU級別來訊號化。再者，該等資訊的訊號化級別無須限定在序列級別及CU級別，亦可為其他級別(例如圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
更具體說明OBMC模式。圖5B及圖5C是用以說明利用OBMC處理的預測圖像修正處理的概要的流程圖及概念圖。
首先，利用分配給編碼對象區塊的移動向量(MV)，取得一般的移動補償的預測圖像(Pred)。
接著，將編碼完畢的左鄰接區塊的移動向量(MV_L)適用於編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L加權重疊，藉此進行預測圖像的第1次修正。
同樣地，將編碼完畢的上鄰接區塊的移動向量(MV_U)適用於編碼對象區塊，取得預測圖像(Pred_U)，將已進行前述第1次修正的預測圖像與Pred_U加權重疊，藉此進行預測圖像的第2次修正，將其作為最終的預測圖像。
再者，於此說明的雖是利用左鄰接區塊及上鄰接區塊的2階段修正的方法，但亦可採用利用右鄰接區塊或下鄰接區塊進行次數多於2階段的修正的構成。
再者，進行重疊的區域亦可不是區塊全體的像素區域，而僅是區塊邊界附近的一部分區域。
再者，於此雖說明了從1張參考圖片進行的預測圖像修正處理，但從複數張參考圖片修正預測圖像的情況亦同樣是在取得從各個參考圖片進行修正的預測圖像後，進一步重疊獲得的預測圖像以作為最終的預測圖像。
再者，前述處理對象區塊以預測區塊為單位，或以進一步分割預測區塊而成的子區塊為單位均可。
作為判定是否適用OBMC處理的方法，包括例如利用表示是否適用OBMC處理的訊號obmc_flag的方法。具體一例是於編碼裝置，判定編碼對象區塊是否屬於移動複雜的區域，若屬於移動複雜的區域時，obmc_flag設定值1，適用OBMC處理而進行編碼，不屬於移動複雜的區域時，obmc_flag設定值0，不適用OBMC處理而進行編碼。另，於解碼裝置，藉由解碼串流所記述的obmc_flag，因應其值來切換是否適用OBMC處理而進行 解碼。
再者，移動資訊亦可不訊號化而從解碼裝置側導出。例如亦可利用H.265/HEVC規格所規定的合併模式。又，例如亦可藉由在解碼裝置側進行移動估計，來導出移動資訊。此時，不利用目前區塊的像素值而進行移動估計。
於此，說明有關在解碼裝置側進行移動估計的模式。此在解碼裝置側進行移動估計的模式有時稱為PMMVD(pattern matched motion vector derivation(樣式匹配移動向量導出))模式或FRUC(frame rate up-conversion(幀率提升轉換))模式。
於圖5D表示FRUC處理的一例。首先，參考與目前區塊在空間上或時間上鄰接的編碼完畢區塊的移動向量，生成各自具有移動向量預測子的複數個候選清單(亦可與合併清單共通)。接著，從登錄於候選清單的複數個候選MV之中，選擇最佳候選MV。例如算出候選清單所含的各候選的評估值，根據評估值選擇1個候選。
然後，根據選擇的候選移動向量，導出目前區塊用的移動向量。具體而言，例如選擇的候選移動向量(最佳候選MV)直接被導出作為目前區塊用的移動向量。又，例如亦可在對應於選擇的候選移動向量的參考圖片內的位置的周邊區域進行樣式匹配，藉此導出目前區塊用的移動向量。亦即，亦可對最佳候選MV的周邊區域以同樣的方法進行估計，若有評估值為更佳之值的MV時，將最 佳候選MV更新為前述MV，將其作為目前區塊的最終MV。再者，亦可採用不實施該處理的構成。
以子區塊為單位進行處理時，亦可採用完全同樣的處理。
再者，評估值是藉由對應於移動向量的參考圖片內的區域與規定區域之間的樣式匹配，求出重構圖像的差分值來算出。再者，除了差分值以外，亦可利用其以外的資訊來算出評估值。
樣式匹配利用第1樣式匹配及第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
於第1樣式匹配，是在不同的2個參考圖片內的2個區塊且為沿著目前區塊的移動軌道(motion trajectory)的2個區塊之間進行樣式匹配。因此，於第1樣式匹配，是利用沿著目前區塊的移動軌道之其他參考圖片內的區域，來作為上述候選評估值算出用的規定區域。
圖6是用以說明沿著移動軌道的2個區塊間之樣式匹配(雙向匹配)之一例的圖。如圖6所示，於第1樣式匹配，藉由估計沿著目前區塊(Cur block)的移動軌道的2個區塊且為不同的2個參考圖片(Ref0,Ref1)內的2個區塊的配對中最匹配的配對，來導出2個移動向量(MV0,MV1)。具體而言，對目前區塊，導出由候選MV指定的第1編碼完畢參考圖片(Ref0)內的指定位置的重構圖像、與由對稱MV指定的第2編碼完畢參考圖片(Ref1)內的 指定位置的重構圖像之差分，利用獲得的差分值來算出評估值，其中前述對稱MV是以顯示時間間隔將前述候選MV加以縮放(scaling)的MV。選擇複數個候選MV之中評估值為最佳值的候選MV來作為最終MV即可。
假定是連續的移動軌道，指示2個參考區塊的移動向量(MV0,MV1)會與目前圖片(Cur Pic)和2個參考圖片(Ref0,Ref1)之間的時間距離(TD0,TD1)成比例。例如目前圖片在時間上若位於2個參考圖片之間，且從目前圖片到2個參考圖片的時間距離相等時，於第1樣式匹配，會導出反射對稱的雙向移動向量。
於第2樣式匹配，是在目前圖片內的模板(在目前圖片內鄰接於目前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間進行樣式匹配。因此，於第2樣式匹配，是利用目前圖片內鄰接於目前區塊的區塊，來作為上述候選評估值算出用的規定區域。
圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的一例之圖。如圖7所示，於第2樣式匹配，是藉由於參考圖片(Ref0)內估計與目前圖片(Cur Pic)內鄰接於目前區塊(Cur block)的區塊最匹配的區塊，來導出目前區塊的移動向量。具體而言，對目前區塊，導出左鄰接及上鄰接之雙方或某一方的編碼完畢區域的重構圖像、與由候選MV指定的編碼完畢參考圖片(Ref0)內的同等位置的重構圖像之差分，利用獲得的差分值算出評估值，再選擇複數個MV候選之中評估值為 最佳值的候選MV來作為最佳候選MV即可。
該類表示適用FRUC模式與否的資訊(例如稱為FRUC旗標)是以CU級別來訊號化。又，適用FRUC模式時(例如FRUC旗標為真時)，表示樣式匹配方法(第1樣式匹配或第2樣式匹配)的資訊(例如稱為FRUC模式旗標)是以CU級別來訊號化。再者，該等資訊的訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
於此，說明根據假定為等速直線運動的模型來導出移動向量的模式。此模式有時稱為BIO(bi-directional optical flow(雙向光流))模式。
圖8是用以說明假定為等速直線運動的模型之圖。於圖8，(vx,vy)表示速度向量，τ 0、τ 1分別表示目前圖片(Cur Pic)與2個參考圖片(Ref0,Ref1)之間的時間距離。(MVx0,MVy0)表示對應於參考圖片Ref0的移動向量，(MVx1,MVy1)表示對應於參考圖片Ref1的移動向量。
此時，在速度向量(vx,vy)的等速直線運動的假定下，(MVx0,MVy0)及(MVx1,MVy1)分別表示為(vxτ0,vyτ0)及(-vxτ1,-vyτ1)，以下光流等式(1)成立。
Figure 108111002-A0305-02-0027-1
於此，I(k)表示移動補償後的參考圖像k(k=0,1)的亮度值。前述光流等式表示(i)、(ii)與(iii)的和等於零，其中(i)是亮度值的時間微分，(ii)是水平方向的 速度及參考圖像的空間梯度的水平成分的積，(iii)是垂直方向的速度及參考圖像的空間梯度的垂直成分的積。根據前述光流等式與赫米特內插法(Hermite interpolation)的組合，以像素單位修正從合併清單等所獲得的區塊單位的移動向量。
再者，亦可採用與根據假定為等速直線運動的模型來導出移動向量的方法不同的方法，在解碼裝置側導出移動向量。例如亦可根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量。
於此，說明根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量的模式。此模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。
圖9A是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量之圖。於圖9A，目前區塊包含16個4×4子區塊。於此，根據鄰接區塊的移動向量，來導出目前區塊左上角控制點的移動向量v0，根據鄰接子區塊的移動向量，來導出目前區塊右上角控制點的移動向量v1。然後，利用2個移動向量v0及v1，藉由下式(2)來導出目前區塊內的各子區塊的移動向量(vx,vy)。
Figure 108111002-A0305-02-0028-2
於此，x及y分別表示子區塊的水平位置及垂直位置，w表示預先決定的加權係數。
於該類仿射移動補償預測模式，亦可包含左上及右上角控制點的移動向量導出方法不同的數種模式。該類表示仿射移動補償預測模式的資訊(例如稱為仿射旗標)是以CU級別來訊號化。再者，表示該仿射移動補償預測模式的資訊之訊號化無須限定在CU級別，亦可為其他級別(例如序列級別、圖片級別、切片級別、圖塊級別、CTU級別或子區塊級別)。
[預測控制部]
預測控制部128選擇幀內預測訊號及幀間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至減算部104及加算部116。
於此，說明藉由合併模式來導出編碼對象圖片的移動向量之例。圖9B是用以說明利用合併模式的移動向量導出處理的概要的圖。
首先，生成登錄有預測MV之候選的預測MV清單。預測MV的候選包括：空間鄰接預測MV，其為空間上位於編碼對象區塊周邊的複數個編碼完畢區塊所具有的MV；時間鄰接預測MV，其為編碼完畢參考圖片中之投影了編碼對象區塊的位置附近的區塊所具有的MV；結合預測MV，其為組合空間鄰接預測MV與時間鄰接預測MV的MV值而生成的MV；及零預測MV，即值為零的MV等。
接著，藉由從登錄於預測MV清單的複數個 預測MV之中選擇1個預測MV，來決定為編碼對象區塊的MV。
進而於可變長度編碼部，將表示選擇的預測MV為何的訊號merge_idx記述於串流而編碼。
再者，圖9B所說明的登錄於預測MV清單的預測MV為一例，其個數亦可與圖中的個數不同，亦可為不包含圖中的預測MV的一部分種類的構成，亦可為追加有圖中的預測MV的種類以外的預測MV的構成。
再者，亦可利用藉由合併模式導出的編碼對象區塊的MV，進行後述的DMVR處理，藉此決定最終的MV。
於此，說明利用DMVR處理來決定MV之例。
圖9C是用以說明DMVR處理的概要的概念圖。
首先，將設定於處理對象區塊的最佳MVP作為候選MV，按照前述候選MV，從L0方向的處理完畢圖片即第1參考圖片、及L1方向的處理完畢圖片即第2參考圖片分別取得參考像素，並藉由取各參考像素的平均來生成模板。
接著，利用前述模板，分別估計第1參考圖片及第2參考圖片的候選MV的周邊區域，決定成本最小的MV來作為最終的MV。再者，成本值是利用模板的各像素值與估計區域的各像素值的差分值及MV值等來算出。
再者，於編碼裝置及解碼裝置，在此所說明 的處理概要基本上是共通的。
再者，亦可不利用在此說明的處理本身，而是利用其他處理，只要是可估計候選MV的周邊並導出最終的MV的處理均可。
於此，說明利用LIC處理來生成預測圖像的模式。
圖9D是用以說明使用利用LIC處理的亮度修正處理的預測圖像生成方法的概要的圖。
首先，導出用以從編碼完畢圖片即參考圖片，取得對應於編碼對象區塊的參考圖像的MV。
接著，對編碼對象區塊，利用左鄰接及上鄰接的編碼完畢周邊參考區域的亮度像素值、及由MV指定的參考圖片內的同等位置的亮度像素值，來擷取表示亮度值在參考圖片及編碼對象圖片中如何變化的資訊，算出亮度修正參數。
對由MV指定的參考圖片內的參考圖像利用前述亮度修正參數進行亮度修正處理，藉此生成對於編碼對象區塊的預測圖像。
再者，圖9D的前述周邊參考區域的形狀為一例，亦可利用此形狀以外的形狀。
又，於此說明了從1張參考圖片生成預測圖像的處理，但從複數張參考圖片生成預測圖像的情況亦同樣是對從各個參考圖片取得的參考圖像，以同樣方法進行亮度修正處理後，生成預測圖像。
作為判定是否適用LIC處理的方法，包括例如利用表示是否適用LIC處理的訊號lic_flag的方法。具體一例是於編碼裝置，判定編碼對象區塊是否屬於發生亮度變化的區域，屬於發生亮度變化的區域時，lic_flag設定值1，適用LIC處理而進行編碼，不屬於發生亮度變化的區域時，lic_flag設定值0，不適用LIC處理而進行編碼。另，於解碼裝置，藉由解碼串流所記述的lic_flag，因應其值來切換是否適用LIC處理而進行解碼。
作為判定是否適用LIC處理的其他方法，亦包括例如按照周邊區塊是否適用了LIC處理來判定的方法。作為具體一例，當編碼對象區塊為合併模式時，判定在合併處理中MV導出時所選擇的周邊的編碼完畢區塊是否適用了LIC處理而編碼，並因應其結果來切換是否適用LIC處理而進行編碼。再者，在此例的情況下，解碼中的處理亦完全同樣。
[解碼裝置的概要]
接著，說明可解碼從上述編碼裝置100輸出的編碼訊號(編碼位元串流)的解碼裝置的概要。圖10是表示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊為單位解碼動態圖像/圖像的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具備熵解碼部202、反量化部204、反轉換部206、加算部208、區塊記憶體210、迴路濾波部212、幀記憶體214、幀內預測部 216、幀間預測部218及預測控制部220。
解碼裝置200藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220發揮功能。又，亦可以對應於熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220之專用的1個以上的電子電路來實現解碼裝置200。
以下說明解碼裝置200所含的各構成要件。
[熵解碼部]
熵解碼部202將編碼位元串流予以熵解碼。具體而言，熵解碼部202例如從編碼位元串流算數解碼為二值訊號。然後，熵解碼部202將二值訊號予以多值化(debinarize)。藉此，熵解碼部202以區塊為單位，將量化係數輸出至反量化部204。
[反量化部]
反量化部204將從熵解碼部202輸入的解碼對象區塊(以下稱為目前區塊)的量化係數予以反量化。具體而言，反量化部204針對目前區塊的各個量化係數，根據對應於該量化係數的量化參數，將該量化係數予以反量化。然後，反量化部204將目前區塊之已被反量化的量化係數(亦即轉換係數)輸出至反轉換部206。
[反轉換部]
反轉換部206藉由將從反量化部204輸入的轉換係數予以反轉換，來復原預測誤差。
例如從編碼位元串流解讀的表示資訊適用EMT或AMT時(例如AMT旗標為真)，反轉換部206根據已解讀的表示轉換類型的資訊，來將目前區塊的轉換係數予以反轉換。
又，例如從編碼位元串流解讀的資訊表示適用NSST時，反轉換部206對轉換係數適用反再轉換。
[加算部]
加算部208藉由加算從反轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本，來重構目前區塊。然後，加算部208將重構的區塊輸出至區塊記憶體210及迴路濾波部212。
[區塊記憶體]
區塊記憶體210是用以儲存幀內預測所參考的區塊且為解碼對象圖片(以下稱為目前圖片)內的區塊的記憶部。具體而言，區塊記憶體210儲存從加算部208輸出的重構區塊。
[迴路濾波部]
迴路濾波部212對由加算部208重構的區塊施以迴路濾波，將已濾波的重構區塊輸出至幀記憶體214及顯示裝置等。
當從編碼位元串流解讀的表示ALF之開啟/ 關閉的資訊表示ALF開啟時，根據局部之梯度的方向及活性度而從複數個濾波器中選擇1個濾波器，將選擇的濾波器適用於重構區塊。
[幀記憶體]
幀記憶體214是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器。具體而言，幀記憶體214儲存由迴路濾波部212所濾波的重構區塊。
[幀內預測部]
幀內預測部216根據從編碼位元串流解讀的幀內預測模式，參考儲存於區塊記憶體210的目前圖片內的區塊來進行幀內預測，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部216參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)來進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號輸出至預測控制部220。
再者，於色差區塊的幀內預測中選擇參考亮度區塊的幀內預測模式時，幀內預測部216亦可根據目前區塊的亮度成分來預測目前區塊的色差成分。
又，從編碼位元串流解讀的資訊表示適用PDPC時，幀內預測部216根據水平/垂直方向的參考像素的梯度來修正幀內預測後的像素值。
[幀間預測部]
幀間預測部218參考儲存於幀記憶體214的參考圖片來預測目前區塊。預測是以目前區塊或目前區塊內的子區塊(例如4×4區塊)的單位進行。例如幀間預測部 218利用從編碼位元串流解讀的移動資訊(例如移動向量)來進行移動補償，藉此生成目前區塊或子區塊的幀間預測訊號，並將幀間預測訊號輸出至預測控制部220。
再者，從編碼位元串流解讀的資訊表示適用OBMC模式時，幀間預測部218不僅可利用藉由移動估計所獲得的目前區塊的移動資訊，亦可利用鄰接區塊的移動資訊，來生成幀間預測訊號。
又，從編碼位元串流解讀的資訊表示適用FRUC模式時，幀間預測部218按照從編碼位元串流解讀的樣式匹配的方法(雙向匹配或模板匹配)來進行移動估計，藉此導出移動資訊。然後，幀間預測部218利用導出的移動資訊來進行移動補償。
又，在適用BIO模式時，幀間預測部218根據假定為等速直線運動的模型來導出移動向量。又，從編碼位元串流解讀的資訊表示適用仿射移動補償預測模式時，幀間預測部218根據複數個鄰接區塊的移動向量，以子區塊為單位來導出移動向量。
[預測控制部]
預測控制部220選擇幀內預測訊號及幀間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至加算部208。
[第1態樣]
以下說明本揭示的第1態樣的編碼裝置100、解碼裝置200、編碼方法及解碼方法。
[利用量化矩陣的編碼處理及解碼處理的第1例]
圖11是表示編碼裝置100中利用量化矩陣(QM：Quantization Matrix)的編碼處理流程的第1例的圖。再者，於此所說明的編碼裝置100是就分割動態圖像所含的圖片(以下亦稱為畫面)的正方形或長方形的各區塊，來進行編碼處理。
首先，於步驟S101，量化部108生成正方形區塊用QM。正方形區塊用QM是對於正方形區塊的複數個轉換係數的量化矩陣。以下亦將正方形區塊用QM稱為第1量化矩陣。再者，量化部108從使用者所定義並設定於編碼裝置100之值生成正方形區塊用QM，或利用已經編碼的圖片的編碼資訊適應性地生成正方形區塊用QM均可。又，熵編碼部110亦可於位元串流記述由量化部108生成的有關正方形區塊用QM的訊號。此時，正方形區塊用QM亦可編碼於串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或儲存其他參數的區域。再者，不於串流記述正方形區塊用QM亦可。此時，量化部108亦可使用規格中預先定義的預設正方形區塊用QM值。又，熵編碼部110亦可不將正方形區塊用QM的所有矩陣的係數(亦即量化係數)記述於串流，僅將用以生成該QM所需的一部分量化係數記述於串流。藉此，可刪減欲編碼的資訊量。
接著，於步驟S102，量化部108利用步驟S101所生成的正方形區塊用QM，生成長方形區塊用QM。長方形區塊用QM是對於長方形區塊的複數個轉換係 數的量化矩陣。以下亦將長方形區塊用QM稱為第2量化矩陣。再者，熵編碼部110不於串流記述長方形區塊用QM訊號。
再者，步驟S101及步驟S102的處理可採用於序列處理的開始時、圖片處理的開始時、或切片處理的開始時一併進行的構成，亦可採用於區塊單位處理中每次進行一部分處理的構成。又，量化部108於步驟S101及步驟S102生成的QM，亦可採用以下構成：因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他條件，對相同區塊尺寸的區塊，生成複數種類的QM。
接著，區塊單位的迴路開始。首先，於步驟S103，幀內預測部124或幀間預測部126以區塊為單位，進行採用畫面內預測或畫面間預測等之預測處理，於步驟S104，轉換部106對於生成的預測殘差圖像，進行採用離散餘弦轉換(DCT)等之轉換處理，於步驟S105，量化部108對於生成的轉換係數，利用步驟S101及步驟S102的輸出即正方形區塊用QM及長方形區塊用QM，進行量化處理。再者，於畫面間預測，亦可採用參考與處理對象區塊所屬的圖片不同圖片內的區塊的模式，以及參考處理對象區塊所屬的圖片內的區塊的模式。此時，可對於兩模式共通地利用畫面間預測用的QM，亦可對參考處理對象區塊所屬的圖片內的區塊的模式，利用畫面內預測用的QM。進而言之，於步驟S106，反量化部112對於量化後的轉換係數，利用步驟S101及步驟S102的輸出即正方形區塊用QM及 長方形區塊用QM，進行反量化處理，於步驟S107，反轉換部114對於反量化後的轉換係數進行反轉換處理，藉此生成殘差(預測誤差)圖像。接著，於步驟S108，加算部116藉由加算殘差圖像與預測圖像，來生成重構圖像。重複該一連串的處理流程，結束區塊單位的迴路。
藉此，即使於具有各種形狀的長方形區塊的編碼方式中，仍無須於串流記述對應於各個形狀的長方形區塊的QM，於串流僅記述對應於正方形區塊的QM，即可進行編碼處理。也就是說，若依據本揭示的第1態樣的編碼裝置100，由於不於串流記述對應於長方形區塊的QM，因此可刪減標頭區域的碼量。又，若依據本揭示的第1態樣的編碼裝置100，由於可從對應於正方形區塊的QM生成對應於長方形區塊的QM，因此不會使標頭區域的碼量增加，對於長方形區塊亦可使用適當的QM。因此，若依據本揭示的第1態樣的編碼裝置100，由於可對各種形狀的長方形區塊有效率地進行量化，因此可使編碼效率提升的可能性升高。再者，亦可不於串流記述正方形區塊用QM，亦可使用規格中預先定義的預設正方形區塊用QM值。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
圖12是表示對應於圖11所說明的編碼裝置100之解碼裝置200中利用量化矩陣(QM)的解碼處理流程例的圖。再者，於此所說明的解碼裝置200是就分割畫面後的正方形或長方形的各區塊進行解碼處理。
首先，於步驟S201，熵解碼部202從串流解碼有關正方形區塊用QM的訊號，利用已解碼的有關正方形區塊用QM的訊號，生成正方形區塊用QM。再者，正方形區塊用QM亦可從串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或儲存其他參數的區域解碼。又，不從串流解碼正方形區塊用QM亦可。此時，亦可使用規格中預先定義的預設值來作為正方形區塊用QM。又，熵解碼部202亦可不從串流解碼正方形區塊用QM的所有矩陣的量化係數，僅從串流解碼用以生成該QM所需的一部分量化係數來生成該QM。
接著，於步驟S202，熵解碼部202利用步驟S201所生成的正方形區塊用QM，生成長方形區塊用QM。再者，熵解碼部202不從串流解碼長方形區塊用QM訊號。
再者，步驟S201及步驟S202的處理可採用於序列處理的開始時、圖片處理的開始時、或切片處理的開始時一併進行的構成，亦可採用於區塊單位處理中，每次進行一部分處理的構成。又，熵解碼部202於步驟S201及步驟S202生成的QM，亦可採用以下構成：因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他條件，對相同區塊尺寸的區塊，生成複數種類的QM。
接著，區塊單位的迴路開始。首先，於步驟S203，幀內預測部216或幀間預測部218以區塊為單位， 進行採用畫面內預測或畫面間預測等之預測處理，於步驟S204，反轉換部204對於從串流解碼的量化後的轉換係數(亦即量化係數)，利用步驟S201及步驟S202的輸出即正方形區塊用QM及長方形區塊用QM，進行反量化處理。再者，於畫面間預測，亦可採用參考與處理對象區塊所屬的圖片不同圖片內的區塊的模式，以及參考處理對象區塊所屬的圖片內的區塊的模式。此時，可對兩模式共通地利用畫面間預測用的QM，亦可對參考處理對象區塊所屬的圖片內的區塊的模式，利用畫面內預測用的QM。接著，於步驟S205，反轉換部206對於反量化後的轉換係數進行反轉換處理，藉此生成殘差(預測誤差)圖像。接著，於步驟S206，加算部208藉由加算殘差圖像與預測圖像，來生成重構圖像。重複該一連串的處理流程，結束區塊單位的迴路。
藉此，即使於具有各種形狀的長方形區塊的編碼方式中，仍無須於串流記述對應於各個形狀的長方形區塊的QM，於串流僅記述對應於正方形區塊的QM，即可進行解碼處理。也就是說，若依據本揭示的第1態樣的解碼裝置200，由於不於串流記述對應於長方形區塊的QM，因此可刪減標頭區域的碼量。又，若依據本揭示的第1態樣的解碼裝置200，由於可從對應於正方形區塊的QM生成對應於長方形區塊的QM，因此不會使標頭區域的碼量增加，對於長方形區塊亦可使用適當的QM。因此，若依據本揭示的第1態樣的解碼裝置200，由於可對各種形狀的長 方形區塊有效率地進行量化，因此可使編碼效率提升的可能性變高。再者，亦可不於串流記述正方形區塊用QM，亦可使用規格中預先定義的預設正方形區塊用QM值。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
[第1例的長方形區塊用QM的生成方法的第1個範例]
圖13是用以說明於圖11的步驟S102及圖12的步驟S202，從正方形區塊用QM生成長方形區塊用QM的第1個範例的圖。再者，於此所說明的處理是編碼裝置100及解碼裝置200共通的處理。
於圖13，針對具有2×2至256×256的尺寸的正方形區塊，分別相對應地記載從各個尺寸的正方形區塊用QM生成的長方形區塊用QM的尺寸。於圖13所示之例，其特徵在於各個長方形區塊的長邊長度與相對應的正方形區塊的1邊長度相同。換言之，於該例，其特徵在於處理對象區塊即長方形區塊的尺寸比正方形區塊的尺寸小。也就是說，本揭示的第1態樣的編碼裝置100及解碼裝置200是藉由將與處理對象區塊即長方形區塊的長邊具有相同長度的1邊的正方形區塊用QM予以下轉換(down-convert)，來生成長方形區塊用QM。
再者，於圖13，不區別亮度區塊與色差區塊而記載有各種區塊尺寸的正方形區塊用QM、與從各正方形區塊用QM生成的長方形區塊用QM的對應關係。亦可適當地導出適應於實際使用的格式之正方形區塊用QM與長 方形區塊用QM的對應關係。例如4：2：0格式的情況下，亮度區塊為色差區塊的2倍大。因此，在從正方形區塊用QM生成長方形區塊用QM的處理中參考亮度區塊時，可使用的正方形區塊用QM對應於4×4至256×256的尺寸的正方形區塊。此時，在從正方形區塊用QM生成的長方形區塊用QM中，僅使用對應於具有短邊長度為4以上且長邊長度為256以下的尺寸的長方形區塊的QM。又，在從正方形區塊用QM生成長方形區塊用QM的處理中參考色差區塊時，可使用的正方形區塊用QM對應於2×2至128×128的尺寸的正方形區塊。此時，在從正方形區塊用QM生成的長方形區塊用QM中，僅使用對應於具有短邊長度為2以上且長邊長度為128以下的尺寸的長方形區塊的QM。
又，例如4：4：4格式的情況下，亮度區塊與色差區塊是相同尺寸的區塊。因此，在生成長方形區塊用QM的處理中參考色差區塊時，與參考亮度區塊時相同，可使用的正方形區塊用QM對應於4×4至256×256的尺寸的正方形區塊。
如此，即可因應於實際使用的格式，適當地導出正方形區塊用QM與長方形區塊用QM的對應關係。
再者，圖13所記載的區塊尺寸為一例，不限於此。例如使用圖13所例示的區塊尺寸以外的區塊尺寸的QM，或僅使用圖13所例示的區塊尺寸中之一部分區塊尺寸的正方形區塊用QM均可。
圖14是用以說明從對應的正方形區塊用 QM，藉由下轉換來生成圖13所說明的長方形區塊用QM的方法的圖。
於圖14之例，從8×8的正方形區塊用QM生成8×4的長方形區塊用QM。
於下轉換處理，亦可將正方形區塊用QM的複數個矩陣要件分割成與長方形區塊用QM的複數個矩陣要件之數目相同數目的群組，針對複數個群組的各群組，將該群組所含的複數個矩陣要件連續配置於正方形區塊的水平方向或垂直方向，針對複數個群組的各群組，將該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件，決定為長方形區塊用QM中對應於該群組的矩陣要件。
例如於圖14，8×8的正方形區塊用QM的複數個矩陣要件是每規定個數由粗線圈起。該由粗線圈起的規定個數的矩陣要件構成1個群組。於圖14所例示的下轉換處理中，以該等群組數與從8×8的正方形區塊用QM生成的長方形區塊用QM的矩陣要件(亦稱為量化係數)的個數相同的方式，分割8×8的正方形區塊用QM。於圖14之例，在上下方向上鄰接的2個量化係數構成1個群組。接著，於8×8的正方形區塊用QM，選擇各群組中位於最低頻側(於圖14之例是上側)的量化係數，來作為8×4的長方形區塊用QM值。
再者，從各群組中選擇1個量化係數來作為長方形區塊用QM值的方法不限於上述例，亦可採用其他方法。例如將群組內位於最高頻側的量化係數作為長方形 區塊用QM值，或將位於中頻區的量化係數作為長方形區塊用QM值均可。或者，亦可利用群組內的所有量化係數或一部分量化係數的平均值、最小值、最大值或中間值等。再者，該等值的計算結果產生小數點時，亦可利用無條件進位、無條件捨去、或四捨五入等以成為整數。
再者，從正方形區塊用QM的各群組中分別選擇1個量化係數的方法，亦可因應於正方形區塊用QM中各群組所在的頻域來切換。例如在位於低頻的群組中亦可選擇群組內位於最低頻側的量化係數，在位於高頻的群組中亦可選擇群組內位於最高頻側的量化係數，在位於中頻的群組中亦可選擇群組內位於中頻區的量化係數。
再者，亦可採用不從正方形區塊用QM導出，而是將生成的長方形區塊用QM的最低頻成分(圖14之例的最左上的量化係數)記述於串流，從串流直接設定的構成。該情況下，由於記述於串流的資訊量增加，因此標頭區域的碼量增加，但由於可直接控制對畫質影響最大的最低頻成分的QM的量化係數，因此可使畫質提升的可能性升高。
再者，於此雖說明了將正方形區塊用QM往垂直方向進行下轉換來生成長方形區塊用QM時之例，但將正方形區塊用QM往水平方向進行下轉換來生成長方形區塊用QM時，亦可採用與圖14之例同樣的方法進行。
[第1例的長方形區塊用QM的生成方法的第2個範例]
圖15是用以說明於圖11的步驟S102及圖12 的步驟S202，從正方形區塊用QM生成長方形區塊用QM的第2個範例的圖。再者，於此所說明的處理是編碼裝置100及解碼裝置200共通的處理。
於圖15，針對具有2×2至256×256的尺寸的正方形區塊，分別相對應地記載從各個尺寸的正方形區塊用QM生成的長方形區塊用QM的尺寸。於圖15所示之例，其特徵在於各個長方形區塊的長邊長度與相對應的正方形區塊的1邊長度相同。換言之，於該例，其特徵在於處理對象區塊即長方形區塊的尺寸比正方形區塊的尺寸大。也就是說，本揭示的第1態樣的編碼裝置100及解碼裝置200是藉由將與處理對象區塊即長方形區塊的短邊具有相同長度的1邊的正方形區塊用QM予以上轉換(up-convert)，來生成長方形區塊用QM。
再者，於圖15，不區別亮度區塊與色差區塊而記載有各種區塊尺寸的正方形區塊用QM、與從各正方形區塊用QM生成的長方形區塊用QM的對應關係。亦可適當地導出適應於實際使用的格式之正方形區塊用QM與長方形區塊用QM的對應關係。例如4：2：0格式的情況下，在從正方形區塊用QM生成長方形區塊用QM的處理中參考亮度區塊時，在從正方形區塊用QM生成的長方形區塊用QM中，僅使用對應於具有短邊長度為4以上且長邊長度為256以下的尺寸的長方形區塊的QM。又，在從正方形區塊用QM生成長方形區塊用QM的處理中參考色差區塊時，在從正方形區塊用QM生成的長方形區塊用QM中，僅 使用對應於具有短邊長度為2以上且長邊長度為128以下的尺寸的長方形區塊的QM。再者，於4：4：4格式的情況下，由於與圖13所說明的內容相同，因此省略此處的說明。
如此，即可因應於實際使用的格式，適當地導出正方形區塊用QM與長方形區塊用QM的對應關係。
再者，圖15所記載的區塊尺寸為一例，不限於此。例如使用圖15所例示的區塊尺寸以外的區塊尺寸的正方形區塊用QM，或僅使用圖15所例示的區塊尺寸中之一部分區塊尺寸的正方形區塊用QM均可。
圖16是用以說明從對應的正方形區塊用QM，藉由上轉換來生成圖15所說明的長方形區塊用QM的方法的圖。
於圖16之例，從4×4的正方形區塊用QM生成8×4的長方形區塊用QM。
於上轉換處理，亦可(i)將長方形區塊用QM的複數個矩陣要件，分割成與正方形區塊用QM的複數個矩陣要件之數目相同數目的群組，針對複數個群組的各群組，使該群組所含的複數個矩陣要件重複，藉此決定長方形區塊用QM中對應於該群組的矩陣要件；或(ii)藉由於長方形區塊用QM的複數個矩陣要件中相鄰接的矩陣要件間進行線性內插，來決定長方形區塊用QM的複數個矩陣要件。
例如於圖16，8×4的長方形區塊用QM的複數個矩陣要件是每規定個數由粗線圈起。該由粗線圈起的 規定個數的矩陣要件構成1個群組。於圖16所例示的上轉換處理中，以該等群組數與相對應之4×4的正方形區塊用QM的矩陣要件(亦稱為量化係數)的個數相同的方式，分割8×4的長方形區塊用QM。於圖16之例，在左右方向上鄰接的2個量化係數構成1個群組。接著，於8×4的長方形區塊用QM，選擇對應於該群組的正方形區塊用QM的量化係數值，作為構成各群組的量化係數，並填滿該群組內，來作為8×4的長方形區塊用QM值。
再者，導出長方形區塊用QM的各群組內的量化係數的方法不限於上述例，亦可採用其他方法。例如亦可參考鄰接頻域的量化係數值進行線性內插，以使各群組內的量化係數值成為連續值並導出。再者，該等值的計算結果產生小數點時，亦可利用無條件進位、無條件捨去、或四捨五入等以成為整數。
再者，導出長方形區塊用QM的各群組內的量化係數的方法，亦可因應於長方形區塊用QM中各群組所在的頻域來切換。例如於位於低頻的群組，可以以群組內的各量化係數值儘量成為小值的方式來導出，於位於高頻的群組，可以以群組內的各量化係數值儘量成為大值的方式來導出。
再者，亦可採用不從正方形區塊用QM導出，而是將生成的長方形區塊用QM的最低頻成分(圖16之例的最左上的量化係數)記述於串流，從串流直接設定的構成。該情況下，由於記述於串流的資訊量增加，因此標頭 區域的碼量增加，但由於可直接控制對畫質影響最大的最低頻成分的QM的量化係數，因此可使畫質提升的可能性升高。
再者，於此雖說明了將正方形區塊用QM往垂直方向進行上轉換來生成長方形區塊用QM時之例，但將正方形區塊用QM往水平方向進行上轉換來生成長方形區塊用QM時，亦可採用與圖16之例同樣的方法進行。
[利用量化矩陣的編碼處理及解碼處理的第1例的其他變化]
亦可因應於生成的長方形區塊的尺寸而切換利用圖13及圖14所說明的長方形區塊用QM的生成方法的第1個範例、與利用圖15及圖16所說明的長方形區塊用QM的生成方法的第2個範例，來作為從正方形區塊用QM生成長方形區塊用QM的方法。例如有以下方法：將長方形區塊的長寬尺寸的比率(下轉換或上轉換的倍率)與閾值相比較，若大於閾值，則使用第1個範例，若小於閾值，則使用第2個範例。或者有以下方法：就長方形區塊的各尺寸，於串流記述表示採用第1個範例及第2個範例中何種方式的旗標並予以切換。藉此，由於可因應於長方形區塊的尺寸來切換下轉換處理及上轉換處理，因此可生成更適當的長方形區塊用QM。
再者，亦可對於1個長方形區塊組合使用上轉換處理與下轉換處理，而不就長方形區塊的各尺寸切換上轉換處理與下轉換處理。例如亦可將32×32的正方形區 塊用QM往水平方向進行上轉換，生成32×64的長方形區塊用QM，接下來，將該32×64的長方形區塊用QM往垂直方向進行下轉換，生成16×64的長方形區塊用QM。
又，亦可對於1個長方形區塊，往2方向進行上轉換處理。例如亦可將16×16的正方形區塊用QM往垂直方向進行上轉換，生成32×16的長方形區塊用QM，接下來，將該32×16的長方形區塊用QM往水平方向進行上轉換，生成32×64的長方形區塊用QM。
再者，亦可對於1個長方形區塊，往2方向進行下轉換處理。例如亦可將64×64的正方形區塊用QM往水平方向進行下轉換，生成64×32的長方形區塊用QM，接下來，將該64×32的長方形區塊用QM往垂直方向進行下轉換，生成16×32的長方形區塊用QM。
[利用量化矩陣的編碼處理及解碼處理的第1例的效果]
若依據本揭示的第1態樣的編碼裝置100及解碼裝置200，依據利用圖11及圖12所說明的構成，即使於具有各種形狀的長方形區塊的編碼方式中，仍可不於串流記述對應於各個形狀的長方形區塊的QM，而是藉由於串流僅記述對應於正方形區塊的QM，來進行長方形區塊的編碼處理及解碼處理。也就是說，若依據本揭示的第1態樣的編碼裝置100及解碼裝置200，由於不於串流記述對應於長方形區塊的QM，因此可刪減標頭區域的碼量。又，若依據本揭示的第1態樣的編碼裝置100及解碼裝置200， 由於可從對應於正方形區塊的QM生成對應於長方形區塊的QM，因此可不使標頭區域的碼量增加，對長方形區塊亦可使用適當的QM。因此，若依據本揭示的第1態樣的編碼裝置100及解碼裝置200，由於可對各種形狀的長方形區塊有效率地進行量化，因此可提升編碼效率的可能性變高。
例如編碼裝置100是進行量化來編碼動態圖像的編碼裝置，且具備電路及記憶體；前述電路利用前述記憶體，轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從前述第1量化矩陣生成對於長方形區塊的複數個轉換係數的第2量化矩陣，且對前述長方形區塊的複數個轉換係數，利用前述第2量化矩陣進行量化。
藉此，由於從對應於正方形區塊的量化矩陣生成對應於長方形區塊的量化矩陣，因此不編碼對應於長方形區塊的量化矩陣亦可。因此，碼量刪減，處理效率提升。因此，若依據編碼裝置100，可對長方形區塊有效率地進行量化。
例如於編碼裝置100，前述電路亦可僅將前述第1量化矩陣及前述第2量化矩陣中之前述第1量化矩陣編碼於位元串流。
藉此，碼量刪減。因此，若依據編碼裝置100，處理效率提升。
例如於編碼裝置100，前述電路亦可從對於前述正方形區塊的複數個轉換係數的前述第1量化矩陣，進行下轉換處理，來生成對於前述長方形區塊的複數個轉 換係數的前述第2量化矩陣，其中前述正方形區塊具有與處理對象區塊即前述長方形區塊的長邊相同長度的一邊。
藉此，編碼裝置100可從對應於具有與長方形區塊的長邊相同長度的一邊的正方形區塊的量化矩陣，有效率地生成。
例如於編碼裝置100，前述電路亦可於前述下轉換處理，將前述第1量化矩陣的複數個矩陣要件，分割成與前述第2量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，將該群組所含的複數個矩陣要件連續配置於前述正方形區塊的水平方向或垂直方向，針對前述複數個群組的各群組，將該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、該群組所含的複數個矩陣要件中位於最高頻側的矩陣要件、或該群組所含的複數個矩陣要件的平均值，決定為前述第2量化矩陣中對應於該群組的矩陣要件。
藉此，編碼裝置100可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩陣。
例如於編碼裝置100，前述電路亦可從對於前述正方形區塊的複數個轉換係數的前述第1量化矩陣進行上轉換處理，來生成對於前述長方形區塊的複數個轉換係數的前述第2量化矩陣，其中前述正方形區塊具有與處理對象區塊即前述長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可從對應於具有與長方 形區塊的短邊相同長度的一邊的正方形區塊的量化矩陣，有效率地生成。
例如於編碼裝置100，前述電路亦可於前述上轉換處理，(i)將前述第2量化矩陣的複數個矩陣要件，分割成與前述第1量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，使該群組所含的複數個矩陣要件重複，藉此決定於前述第2量化矩陣中對應於該群組的矩陣要件，或(ii)藉由於前述第2量化矩陣的複數個矩陣要件中相鄰接的矩陣要件間進行線性內插，來決定前述第2量化矩陣的複數個矩陣要件。
藉此，編碼裝置100可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩陣。
例如於編碼裝置100，前述前述電路亦可藉由因應於處理對象區塊即前述長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於前述長方形區塊的複數個轉換係數的前述第2量化矩陣，所切換的方法包括：從對於前述正方形區塊的複數個轉換係數的前述第1量化矩陣進行前述下轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的長邊相同長度的一邊；及從對於前述正方形區塊的複數個轉換係數的前述第1量化矩陣進行前述上轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可藉由依據處理對象區塊的區塊尺寸來切換下轉換與上轉換，而從對應於正方形區塊的量化矩陣，生成對應於長方形區塊的更適當的量化矩陣。
又，解碼裝置200是進行反量化來解碼動態圖像的解碼裝置，且具備電路及記憶體；前述電路利用前述記憶體，轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從前述第1量化矩陣生成對於長方形區塊的複數個轉換係數的第2量化矩陣，且對前述長方形區塊的複數個量化係數，利用前述第2量化矩陣進行反量化。
藉此，由於從對應於正方形區塊的量化矩陣生成對應於長方形區塊的量化矩陣，因此不解碼對應於長方形區塊的量化矩陣亦可。因此，可刪減碼量，處理效率提升。因此，若依據解碼裝置200，可對長方形區塊有效率地進行反量化。
例如於解碼裝置200，前述電路亦可僅將前述第1量化矩陣及前述第2量化矩陣中之前述第1量化矩陣從位元串流解碼。
藉此，可刪減碼量。因此，若依據解碼裝置200，處理效率提升。
例如於解碼裝置200，前述電路亦可從對於前述正方形區塊的複數個轉換係數的前述第1量化矩陣進行下轉換處理，來生成對於前述長方形區塊的複數個轉換係數的前述第2量化矩陣，其中前述正方形區塊具有與處 理對象區塊即前述長方形區塊的長邊相同長度的一邊。
藉此，解碼裝置200可從對應於具有與長方形區塊的長邊相同長度的一邊的正方形區塊的量化矩陣，有效率地生成對應於長方形區塊的量化矩陣。
例如於解碼裝置200，前述電路亦可於前述下轉換處理，將前述第1量化矩陣的複數個矩陣要件，分割成與前述第2量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，將該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、該群組所含的複數個矩陣要件中位於最高頻側的轉換係數、或該群組所含的複數個矩陣要件的平均值，決定為前述第2量化矩陣中對應於該群組的矩陣要件。
藉此，解碼裝置200可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩陣。
例如於解碼裝置200，前述電路亦可從對於前述正方形區塊的複數個轉換係數的前述第1量化矩陣進行上轉換處理，來生成對於前述長方形區塊的複數個轉換係數的前述第2量化矩陣，其中前述正方形區塊具有與處理對象區塊即前述長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可從對應於具有與長方形區塊的短邊相同長度的一邊的正方形區塊的量化矩陣，有效率地生成對應於長方形區塊的量化矩陣。
例如於解碼裝置200，前述電路亦可於前述 上轉換處理，(i)將前述第2量化矩陣的複數個矩陣要件，分割成與前述第1量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，使該群組所含的複數個矩陣要件重複，藉此決定於前述第2量化矩陣中對應於該群組的矩陣要件，或(ii)藉由於前述第2量化矩陣的複數個矩陣要件中相鄰接的矩陣要件間進行線性內插，來決定前述第2量化矩陣的複數個矩陣要件。
藉此，解碼裝置200可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩陣。
例如於解碼裝置200，前述前述電路亦可藉由因應於處理對象區塊即前述長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於前述長方形的轉換係數的前述第2量化矩陣，所切換的方法包括：從對於前述正方形區塊的複數個轉換係數的前述第1量化矩陣進行前述下轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的長邊相同長度的一邊；及從對於前述正方形區塊的複數個轉換係數之前述第1量化矩陣進行前述上轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可藉由依據處理對象區塊的區塊尺寸來切換下轉換與上轉換，而從對應於正方形區塊的量化矩陣，生成對應於長方形區塊的更適當的量化矩陣。
又，編碼方法是進行量化來編碼動態圖像的編碼方法，轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從前述第1量化矩陣，生成對於長方形區塊的複數個轉換係數的第2量化矩陣，且對前述長方形區塊的複數個轉換係數，利用前述第2量化矩陣進行量化。
藉此，由於從對應於正方形區塊的量化矩陣生成對應於長方形區塊的量化矩陣，因此不編碼對應於長方形區塊的量化矩陣亦可。因此，碼量刪減，處理效率提升。因此，若依據編碼方法，可對長方形區塊有效率地進行量化。
又，解碼方法是進行反量化來解碼動態圖像的解碼方法，轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從前述第1量化矩陣生成對於長方形區塊的複數個轉換係數的第2量化矩陣，且對前述長方形區塊的複數個量化係數，利用前述第2量化係數進行反量化。
藉此，由於從對應於正方形區塊的量化矩陣，生成對應於長方形區塊的量化矩陣，因此不解碼對應於長方形區塊的量化矩陣亦可。因此，可刪減碼量，處理效率提升。因此，若依據解碼方法，可對長方形區塊有效率地進行反量化。
亦可將本態樣與本揭示的其他態樣的至少一部分組合而實施。又，亦可將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等，與其他態樣組合而實施。
[第2態樣]
以下說明本揭示的第2態樣的編碼裝置100、解碼裝置200、編碼方法及解碼方法。
[利用量化矩陣的編碼處理及解碼處理的第2例]
圖17是表示編碼裝置100中利用量化矩陣(QM)的編碼處理流程的第2例的圖。再者，於此所說明的編碼裝置100是就分割畫面後的正方形或長方形的各區塊來進行編碼處理。
首先，於步驟S701，量化部108生成對應於正方形區塊及長方形區塊的各區塊尺寸的有效轉換係數區域的尺寸之QM。換言之，量化部108僅對處理對象區塊所含的複數個轉換係數中之低頻區域側的規定區域內的複數個轉換係數，利用量化矩陣進行量化。
熵編碼部110將有關步驟S701所生成的對應於有效轉換係數區域的QM之訊號記述於串流。換言之，熵編碼部110將有關僅對應於低頻區域側的規定範圍內的複數個轉換係數的量化矩陣之訊號，編碼於位元串流。再者，量化部108從使用者所定義並設定於編碼裝置100之值生成對應於有效轉換係數區域的QM，或利用已經編碼的圖片的編碼資訊適應性地生成對應於有效轉換係數區域的QM均可。又，對應於有效轉換係數區域的QM亦可編碼於串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或儲存其他參數的區域。再者，不於串流記述對應於有效轉換係數區域的QM亦可。此時，量化部108 亦可使用規格中預先定義的預設值，來作為對應於有效轉換係數區域的QM值。
再者，步驟S701的處理可採用於序列處理的開始時、圖片處理的開始時、或切片處理的開始時一併進行的構成，亦可採用於區塊單位處理中每次進行一部分處理的構成。又，於步驟S701生成的QM亦可採用以下構成：因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他條件，對相同區塊尺寸的區塊，生成複數種類的QM。
再者，於圖17所示的處理流程中，步驟S701以外的處理步驟為區塊單位的迴路處理，與利用圖11所說明的第1例的處理相同。
藉此，針對處理對象區塊的區塊尺寸僅將處理對象區塊所含的複數個轉換係數中低頻區域側的一部分區域作為包含有效轉換係數的區域時，無須將有關無效區域的QM的訊號多餘地記述於串流，即可進行編碼處理。因此，由於可刪減標頭區域的碼量，可使編碼效率提升的可能性變高。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
圖18是表示對應於圖17所說明的編碼裝置100之解碼裝置200中利用量化矩陣(QM)的解碼處理流程例的圖。再者，於此所說明的解碼裝置200是就分割畫面後的正方形或長方形的各區塊進行解碼處理。
首先，於步驟S801，熵解碼部202從串流解碼有關對應於有效轉換係數區域的QM之訊號，利用已解碼的有關對應於有效轉換係數區域的QM之訊號，生成對應於有效轉換係數區域的QM。對應於有效轉換係數區域的QM是對應於處理對象區塊的各區塊尺寸的有效轉換係數區域的尺寸之QM。再者，對應於有效轉換係數區域的QM亦可從串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或儲存其他參數的區域解碼。又，不從串流解碼對應於有效轉換係數區域的QM亦可。此時，例如亦可使用規格中預先定義的預設值，來作為對應於有效轉換係數區域的QM。
再者，步驟S801的處理可採用於序列處理的開始時、圖片處理的開始時、或切片處理的開始時一併進行的構成，亦可採用於區塊單位處理中每次進行一部分處理的構成。又，熵解碼部202於步驟S801生成的QM，亦可採用以下構成：因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他條件，對相同區塊尺寸的區塊，生成複數種類的QM。
再者，於圖18所示的處理流程中，步驟S801以外的處理流程為區塊單位的迴路處理，與利用圖12所說明的第1例的處理流程相同。
藉此，針對處理對象區塊的區塊尺寸僅將處理對象區塊所含的複數個轉換係數中低頻區域側的一部分區域作為包含有效轉換係數的區域時，無須將有關無效區 域的QM之訊號多餘地記述於串流，即可進行解碼處理。因此，由於可刪減標頭區域的碼量，可使編碼效率提升的可能性變高。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
圖19是用以說明於圖17的步驟S701及圖18的步驟S801，對應於各區塊尺寸的有效轉換係數區域的尺寸之QM的例子的圖。再者，於此所說明的處理是編碼裝置100及解碼裝置200共通的處理。
圖19(a)是表示處理對象區塊的區塊尺寸為64×64的正方形區塊時之例。圖中僅有以斜線表示的低頻側的32×32的區域是包含有效轉換係數的區域。於處理對象區塊，該有效轉換係數區域以外的區域，將轉換係數強制設為0，亦即使轉換係數無效，因此不需要量化處理及反量化處理。也就是說，本揭示的第2態樣的編碼裝置100及解碼裝置200僅生成32×32的QM，其對應於圖中以斜線表示的低頻側的32×32的區域。
接下來，圖19(b)是表示處理對象區塊的區塊尺寸為64×32的長方形區塊時之例。圖19(b)與圖19(a)之例同樣，編碼裝置100及解碼裝置200僅生成32×32的QM，其對應於低頻側的32×32的區域。
接下來，圖19(c)是表示處理對象區塊的區塊尺寸為64×16的長方形區塊時之例。圖19(c)與圖19(a)之例不同，由於縱向的區塊尺寸僅有16，因此編碼裝置100 及解碼裝置200僅生成32×16的QM，其對應於低頻側的32×16的區域。
如此，作為處理對象的區塊之長寬任一邊大於32時，使大於32的區域的轉換係數無效，僅將32以下的區域作為有效轉換係數區域，並作為量化及反量化的處理對象，來進行QM的量化係數的生成、以及有關該QM的訊號往串流的編碼及解碼。
藉此，無須將有關無效區域的QM的訊號多餘地記述於串流，即可進行編碼處理及解碼處理，故可刪減標頭區域的碼量。因此，可使編碼效率提升的可能性變高。
再者，圖19所說明的有效轉換係數區域的尺寸為一例，亦可使用其他的有效轉換係數區域的尺寸。例如處理對象區塊為亮度區塊時，可將32×32為止的區域作為有效轉換係數區域，處理對象區塊為色差區塊時，亦可將16×16為止的區域作為有效轉換係數區域。又，處理對象區塊的長邊為64時，可將32×32為止的區域作為有效轉換係數區域，處理對象區塊的長邊為128或256時，亦可將62×62為止的區域作為有效轉換係數區域。
再者，亦可採用以下構成：利用與第1態樣所說明的方法同樣的處理，將對應於正方形及長方形的所有頻率成分的量化矩陣的係數先生成一次後，再生成僅對應於利用圖19所說明的有效轉換係數區域的QM。此時，記述於串流的有關該QM的訊號量與第1態樣所說明的方 法並無不同，但可直接利用第1態樣所說明的方法，維持可生成所有的正方形及長方形的QM的狀態，省略有效轉換係數區域以外的量化處理。藉此，可刪減有關量化處理的處理量的可能性變高。
[利用量化矩陣的編碼處理及解碼處理的第2例的變形例]
圖20是表示編碼裝置100中利用量化矩陣(QM)的編碼處理流程的第2例的變形例的圖。再者，於此所說明的編碼裝置100是就分割畫面後的正方形或長方形的各區塊，來進行編碼處理。
於此變形例，是對圖17所說明的第2例的構成組合圖11所說明的第1例的構成，並進行步驟S1001及步驟S1002的處理來取代圖17的步驟S701。
首先，於步驟S1001，量化部108生成正方形區塊用QM。此時，正方形區塊用QM是對應於正方形區塊的有效轉換係數區域的尺寸之QM。又，熵編碼部110將有關步驟S1001所生成的正方形區塊用QM之訊號記述於串流。此時，記述於串流的有關QM的訊號是僅有關對應於有效轉換係數區域的量化係數之訊號。
接著，於步驟S1002，量化部108利用步驟S1001生成的正方形區塊用QM，生成長方形區塊用QM。再者，此時，熵編碼部110不於串流記述有關長方形區塊用QM的訊號。
再者，於圖20所示的處理流程中，步驟S1001 及步驟S1002以外的處理為區塊單位的迴路處理，與利用圖11所說明的第1例的處理相同。
藉此，即使於具有各種形狀的長方形區塊的編碼方式中，仍無須於串流記述有關對應於各個形狀的長方形區塊的QM之訊號，於串流僅記述有關對應於正方形區塊的QM的訊號，即可進行編碼處理。進而言之，針對處理對象區塊的區塊尺寸僅將處理對象區塊所含的包含複數個轉換係數中之一部分轉換係數的區域作為有效區域(亦即有效轉換係數區域)時，無須將有關無效區域的QM的訊號多餘地記述於串流，即可進行編碼處理。因此，由於可刪減標頭區域的碼量，同時對長方形區塊使用QM，因此可使編碼效率提升的可能性變高。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
圖21是表示對應於圖20所說明的編碼裝置100之解碼裝置200中利用量化矩陣(QM)的解碼處理流程例的圖。再者，於此所說明的解碼裝置200是就分割畫面後的正方形或長方形的各區塊，來進行解碼處理。
於此變形例，是對圖18所說明的第2例的構成組合圖12所說明的第1例的構成，並進行步驟S1101及步驟S1102的處理來取代圖18的步驟S801。
首先，於步驟S1101，熵解碼部202從串流解碼有關正方形區塊用QM的訊號，利用已解碼的有關正方形區塊用QM的訊號，生成正方形區塊用QM。此時，從 串流解碼的有關正方形區塊用QM的訊號是僅有關對應於有效轉換係數區域的量化係數之訊號。因此，於熵解碼部202生成的正方形區塊用QM是對應於有效轉換係數區域的尺寸之QM。
接著，於步驟S1102，熵解碼部202利用步驟S1101生成的正方形區塊用QM，生成長方形區塊用QM。再者，此時，熵解碼部202不從串流解碼有關長方形區塊用QM的訊號。
再者，於圖21所示的處理流程中，步驟S1101及步驟S1102以外的處理為區塊單位的迴路處理，與利用圖12所說明的第1例的處理相同。
藉此，即使於具有各種形狀的長方形區塊的編碼方式中，仍無須於串流記述有關對應於各個形狀的長方形區塊的QM之訊號，於串流僅記述有關對應於正方形區塊的QM之訊號，即可進行解碼處理。進而言之，針對處理對象區塊的區塊尺寸僅將處理對象區塊所含的包含複數個轉換係數中之一部分轉換係數的區域作為有效區域(亦即有效轉換係數區域)時，無須將有關無效區域的QM的訊號多餘地記述於串流，即可進行解碼處理。因此，由於可刪減標頭區域的碼量，同時對長方形區塊使用該QM，因此可使編碼效率提升的可能性變高。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
[第2例的變形例的長方形區塊用QM的生成方法的第1 個範例]
圖22是用以說明於圖20的步驟S1002及圖21的步驟S1102，從正方形區塊用QM生成長方形區塊用QM的第1個範例的圖。再者，於此所說明的處理是編碼裝置100及解碼裝置200共通的處理。
於圖22，針對具有2×2至256×256的尺寸的正方形區塊，分別相對應地記載從各個尺寸的正方形區塊用QM生成的長方形區塊用QM的尺寸。於圖22所示之例，顯示有處理對象區塊的尺寸、及處理對象區塊中之有效轉換係數區域的尺寸。()內所記載的數值表示處理對象區塊中之有效轉換係數區域的尺寸。再者，關於處理對象區塊的尺寸與處理對象區塊中之有效轉換係數區域的尺寸相等的長方形區塊，由於與圖13所說明的第1例為相同處理，因此於圖22所示的對應表省略其數值的記載。
於此，其特徵在於各個長方形區塊的長邊長度與相對應的正方形區塊的1邊長度相同，且長方形區塊小於正方形區塊。也就是說，藉由將正方形區塊用QM予以下轉換，來生成長方形區塊用QM。
再者，於圖22，不區別亮度區塊與色差區塊而記載有各種區塊尺寸的正方形區塊用QM、與從各正方形區塊用QM生成的長方形區塊用QM的對應關係。亦可適當地導出適應於實際使用的格式之正方形區塊用QM與長方形區塊用QM的對應關係。例如4：2：0格式的情況下，亮度區塊為色差區塊的2倍大。因此，在從正方形區塊用 QM生成長方形區塊用QM的處理中參考亮度區塊時，可使用的正方形區塊用QM對應於4×4至256×256的尺寸的正方形區塊。此時，在從正方形區塊用QM生成的長方形區塊用QM中，僅使用對應於具有短邊長度為4以上且長邊長度為256以下的尺寸的長方形區塊的QM。又，在從正方形區塊用QM生成長方形區塊用QM的處理中參考色差區塊時，在從正方形區塊用QM生成的長方形區塊用QM中，僅使用對應於具有短邊長度為2以上且長邊長度為128以下的尺寸的長方形區塊的QM。再者，關於4：4：4格式的情況，與圖13所說明的內容同樣。
如此，即可因應於實際使用的格式，適當地導出正方形區塊用QM與長方形區塊用QM的對應關係。
再者，圖22所記載的有效轉換係數區域的尺寸為一例，亦可使用圖22所例示的尺寸以外的有效轉換係數區域的尺寸。
再者，圖22所記載的區塊尺寸為一例，不限於此。例如使用圖22所例示的區塊尺寸以外的區塊尺寸，或僅使用圖22所例示的區塊尺寸中之一部分區塊尺寸均可。
圖23是用以說明從對應的正方形區塊用QM，藉由下轉換來生成圖22所說明的長方形區塊用QM的方法的圖。
於圖23之例，從對應於64×64的正方形區塊中之32×32的有效轉換係數區域的QM，生成對應於64×32 的長方形區塊中之32×32的有效轉換係數區域的QM。
首先，如圖23(a)所示，藉由使對應於32×32的有效轉換係數區域之QM的量化係數，往垂直方向延伸斜率，來生成具有32×64的有效區域之中間的64×64的正方形區塊用QM。上述令斜率延伸的方法包括例如以下方法等：延伸以使第31列的量化係數與第32列的量化係數的差分值，成為其以後的相鄰係數的差分值；或導出第30列的量化係數與第31列的量化係數的差分值、與第31列的量化係數與第32列的量化係數的差分值之變化量，一邊以上述變化量修正一邊延伸其以後的相鄰量化係數的差分值。
接著，如圖23(b)所示，採用與利用圖14所說明的方法同樣的方法，將具有32×64的有效區域的中間的64×64的正方形區塊用QM進行下轉換，來生成64×32的長方形區塊用QM。此時，就結果而言，有效區域是於圖23的64×32的長方形區塊用QM中以斜線所示的32×32的區域。
再者，於此雖說明了將具有有效區域的正方形區塊用QM往垂直方向進行下轉換，來生成長方形區塊用QM時之例，但將具有有效區域的正方形區塊用QM往水平方向進行下轉換，來生成長方形區塊用QM時，亦可採用與圖23之例同樣的方法。
再者，於此雖說明了經由中間的正方形區塊用QM，以2階段步驟生成長方形區塊用QM之例，但亦可不經由中間的正方形區塊用QM，而是利用可導出與圖23 之例同樣的處理結果的轉換式等，從具有有效區域的正方形區塊用QM直接生成長方形區塊用QM。
[第2例的變形例的長方形區塊用QM的生成方法的第2個範例]
圖24是用以說明於圖20的步驟S1002及圖21的步驟S1102，從正方形區塊用QM生成長方形區塊用QM的第2個範例的圖。再者，於此所說明的處理是編碼裝置100及解碼裝置200共通的處理。
於圖24，針對具有2×2至256×256的尺寸的正方形區塊，分別相對應地記載從各個尺寸的正方形區塊用QM生成的長方形區塊用QM的尺寸。於圖24所示之例中，顯示有處理對象區塊的尺寸、及處理對象區塊中之有效轉換係數區域的尺寸。()內所記載的數值表示處理對象區塊中之有效轉換係數區域的尺寸。再者，關於處理對象區塊的尺寸與有效轉換係數區域的尺寸相等的長方形區塊，由於與圖15所說明的第1例為相同處理，因此於圖24所示的對應表省略其數值的記載。
於此，其特徵在於各個長方形區塊的短邊長度與相對應的正方形區塊的1邊長度相同，且長方形區塊大於正方形區塊。也就是說，藉由將正方形區塊用QM予以上轉換，來生成長方形區塊用QM。
再者，於圖24，不區別亮度區塊與色差區塊而記載有各種區塊尺寸的正方形區塊用QM、與從各正方形區塊用QM生成的長方形區塊用QM的對應關係。亦可適 當地導出適應於實際使用的格式之正方形區塊用QM與長方形區塊用QM的對應關係。例如4：2：0格式的情況下，亮度區塊為色差區塊的2倍大。因此，在從正方形區塊用QM生成長方形區塊用QM的處理中參考亮度區塊時，在從正方形區塊用QM生成的長方形區塊用QM中，僅使用對應於具有短邊長度為4以上且長邊長度為256以下的尺寸的長方形區塊的QM。又，在從正方形區塊用QM生成長方形區塊用QM的處理中參考色差區塊時，在從正方形區塊用QM生成的長方形區塊用QM中，僅使用對應於具有短邊長度為2以上且長邊長度為128以下的尺寸的長方形區塊的QM。再者，關於4：4：4格式的情況，與圖13所說明的內容同樣。
如此，即可因應於實際使用的格式，適當地導出正方形區塊用QM與長方形區塊用QM的對應關係。
再者，圖24所記載的有效轉換係數區域的尺寸為一例，亦可使用圖24所例示的尺寸以外的有效轉換係數區域的尺寸。
再者，圖24所記載的區塊尺寸為一例，不限於此。例如使用圖24所例示的區塊尺寸以外的區塊尺寸，或僅使用圖24所例示的區塊尺寸中之一部分區塊尺寸均可。
圖25是用以說明從對應的正方形區塊用QM，藉由上轉換來生成圖24所說明的長方形區塊用QM的方法的圖。
於圖25之例，從對應於32×32的正方形區塊中之32×32的有效轉換係數區域的QM，生成對應於64×32的長方形區塊中之32×32的有效轉換係數區域的QM。
首先，如圖25(a)所示，採用與利用圖16所說明的方法同樣的方法，將32×32正方形區塊用QM進行上轉換，來生成中間的64×32長方形區塊用QM。此時，有效區域亦被上轉換為64×32。
接著，如圖25(b)所示，藉由僅剪取64×32的有效區域中之低頻側的32×32，來生成具有32×32的有效區域的64×32長方形區塊用QM。
再者，於此雖說明了將正方形區塊用QM往水平方向進行上轉換，來生成長方形區塊用QM時之例，但將正方形區塊用QM往垂直方向進行上轉換，來生成長方形區塊用QM時，亦可採用與圖25之例同樣的方法來進行。
再者，於此雖說明了經由中間的長方形區塊用QM，以2階段步驟生成長方形區塊用QM之例，但亦可不經由中間的長方形區塊用QM，而是利用可導出與圖25之例同樣的處理結果的轉換式等，從正方形區塊用QM直接生成長方形區塊用QM。
[利用量化矩陣的編碼處理及解碼處理的第2例的變形例的其他變化]
亦可因應於生成的長方形區塊的尺寸而切換利用圖22及圖23所說明的長方形區塊用QM的生成方法 的第1個範例、與利用圖24及圖25所說明的長方形區塊用QM的生成方法的第2個範例，來作為從正方形區塊用QM生成長方形區塊用QM的方法。例如有以下方法：將長方形區塊的長寬尺寸的比率(下轉換或上轉換的倍率)與閾值比較，若大於閾值，則使用第1個範例，若小於閾值，則使用第2個範例。或者有以下方法：就長方形區塊的各尺寸，於串流記述表示採用第1個範例及第2個範例中何種方式的旗標並予以切換。藉此，由於可因應於長方形區塊的尺寸來切換下轉換處理及上轉換處理，因此可生成更適當的長方形區塊用QM。
[利用量化矩陣的編碼處理及解碼處理的第2例以及第2例的變形例的效果]
若依據本揭示的第2態樣的編碼裝置100及解碼裝置200，藉由利用圖17及圖18所說明的構成，針對處理對象區塊的區塊尺寸僅將處理對象區塊所含的包含複數個轉換係數中之一部分轉換係數的區域作為有效區域時，無須將有關無效區域的QM的訊號多餘地記述於串流，即可進行長方形區塊的編碼處理及解碼處理。因此，由於可刪減標頭區域的碼量，因此可使編碼效率提升的可能性變高。
進而言之，若依據本揭示的第2態樣的變形例的編碼裝置100及解碼裝置200，藉由利用圖20及圖21所說明的構成，即使於具有各種形狀的長方形區塊的編碼方式中，仍可不於串流記述對應於各個形狀的長方形區塊 的QM，而是藉由於串流僅記述對應於正方形區塊的QM，來進行長方形區塊的編碼處理及解碼處理。也就是說，若依據本揭示的第2態樣的變形例的編碼裝置100及解碼裝置200，由於可從對應於正方形區塊的QM，生成對應於長方形區塊的QM，因此可刪減標頭區域的碼量，同時對長方形區塊亦可使用適當的QM。因此，若依據本揭示的第2態樣的變形例的編碼裝置100及解碼裝置200，由於可對各種形狀的長方形區塊有效率地進行量化，因此可提升編碼效率的可能性變高。
例如，編碼裝置100是進行量化來編碼動態圖像的編碼裝置，且具備電路及記憶體；前述電路利用前述記憶體，僅對於處理對象區塊所含的複數個轉換係數中之低頻區域側的規定範圍內的複數個轉換係數，利用量化矩陣進行量化。
藉此，由於僅利用對應於處理對象區塊中之對視覺造成的影響大的低頻區域側的規定範圍之量化矩陣，進行處理對象區塊的量化，因此動態圖像的畫質不易降低。又，由於僅編碼對應於該規定範圍的量化矩陣，因此碼量刪減。因此，若依據編碼裝置100，動態圖像的畫質不易降低，且處理效率提升。
例如於編碼裝置100，前述電路亦可僅將有關對應於前述低頻區域側的前述規定範圍內的複數個轉換係數的前述量化矩陣之訊號，編碼於位元串流。
藉此，碼量刪減。因此，若依據編碼裝置 100，處理效率提升。
例如於編碼裝置100，前述處理對象區塊亦可為正方形區塊或長方形區塊，前述電路亦可藉由轉換對於前述正方形區塊的前述規定範圍內的複數個轉換係數之第1量化矩陣，而從前述第1量化矩陣，生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之第2量化矩陣，來作為前述量化矩陣，且僅將前述第1量化矩陣及前述第2量化矩陣中之前述第1量化矩陣，作為有關前述量化矩陣的訊號編碼於位元串流。
藉此，由於編碼裝置100對包含長方形區塊的許多形狀的處理對象區塊，生成對應於正方形區塊的低頻區域側的規定範圍的第1量化矩陣，且僅編碼第1量化矩陣，因此碼量刪減。又，由於編碼裝置100從第1量化矩陣，生成對應於長方形區塊的低頻區域側的規定範圍的第2量化矩陣，因此動態圖像的畫質不易降低。因此，若依據編碼裝置100，動態圖像的畫質不易降低，且處理效率提升。
例如於編碼裝置100，前述電路亦可從對於前述正方形區塊的預定範圍內的複數個轉換係數之前述第1量化矩陣，進行下轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前述長方形區塊的長邊相同長度的一邊。
藉此，編碼裝置100可對長方形區塊有效率地進行量化。
例如於編碼裝置100，前述電路亦可於前述下轉換處理，將前述第1量化矩陣的複數個矩陣要件，往規定方向外插而延伸，將該已延伸的前述第1量化矩陣的複數個矩陣要件，分割成與前述第2量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，將該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、該群組所含的複數個矩陣要件中位於最高頻側的矩陣要件、或該群組所含的複數個矩陣要件的平均值，決定為前述第2量化矩陣中對應於該群組的矩陣要件。
藉此，編碼裝置100可對長方形區塊更有效率地進行量化。
例如於編碼裝置100，前述電路亦可從對於前述正方形區塊的前述規定範圍的複數個轉換係數之第1量化矩陣，進行上轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前述長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可對長方形區塊有效率地進行量化。
例如於編碼裝置100，前述電路亦可於前述上轉換處理，(i)將前述第2量化矩陣的複數個矩陣要件，分割成與前述第1量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，使該群組所含的複數個矩陣要件往規定方向重複，藉此將前述第1量 化矩陣往規定方向延伸，並從該已延伸的前述第1量化矩陣，擷取與前述第2量化矩陣的複數個矩陣要件之數目相同數目的矩陣要件，或(ii)藉由於前述第2量化矩陣的複數個矩陣要件中鄰接於規定方向的矩陣要件間進行線性內插，而將前述第1量化矩陣往前述規定方向延伸，並從該已延伸的前述第1量化矩陣，擷取與前述第2量化矩陣的複數個矩陣要件之數目相同數目的矩陣要件。
藉此，編碼裝置100可對長方形區塊更有效率地進行量化。
例如於編碼裝置100，前述電路亦可藉由因應於前述處理對象區塊即前述長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，所切換的方法包括：從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述下轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的長邊相同長度的一邊；及從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述上轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可藉由依據處理對象區塊的區塊尺寸來切換下轉換與上轉換，而從對應於正方形區塊的量化矩陣，生成對應於長方形區塊的更適當的量化矩陣。
又，解碼裝置200是進行反量化來解碼動態圖像的解碼裝置，且具備電路及記憶體；前述電路利用前述記憶體，僅對於處理對象區塊所含的複數個量化係數中之低頻區域側的規定範圍內的複數個量化係數，利用量化矩陣進行反量化。
藉此，由於僅利用對應於處理對象區塊中之對視覺造成的影響大的低頻區域側的規定範圍之量化矩陣，進行處理對象區塊的量化，因此動態圖像的畫質不易降低。又，由於僅編碼對應於該規定範圍的量化矩陣，因此可刪減碼量。因此，若依據解碼裝置200，動態圖像的畫質不易降低，且處理效率提升。
例如於解碼裝置200，前述電路亦可僅將有關對應於前述低頻區域側的前述規定範圍內的複數個轉換係數的前述量化矩陣之訊號，編碼於位元串流。
藉此，可刪減碼量。因此，若依據解碼裝置200，處理效率提升。
例如於解碼裝置200，前述處理對象區塊亦可為正方形區塊或長方形區塊，前述電路亦可藉由轉換對於前述正方形區塊的前述規定範圍內的複數個轉換係數之第1量化矩陣，而從前述第1量化矩陣，生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之第2量化矩陣，來作為前述量化矩陣，且僅將前述第1量化矩陣及前述第2量化矩陣中之前述第1量化矩陣，從位元串流解碼，來作為有關前述量化矩陣的訊號。
藉此，由於解碼裝置200對包含長方形區塊的許多形狀的處理對象區塊，生成對應於正方形區塊的低頻區域側的規定範圍的第1量化矩陣，且僅編碼第1量化矩陣，因此可刪減碼量。又，由於解碼裝置200從第1量化矩陣，生成對應於長方形區塊的低頻區域側的規定範圍的第2量化矩陣，因此動態圖像的畫質不易降低。因此，若依據解碼裝置200，動態圖像的畫質不易降低，且處理效率提升。
例如於解碼裝置200，前述電路亦可從對於前述正方形區塊的規定範圍內的複數個轉換係數之前述第1量化矩陣，進行下轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前述長方形區塊的長邊相同長度的一邊。
藉此，解碼裝置200可對長方形區塊有效率地進行反量化。
例如於解碼裝置200，前述電路亦可於前述下轉換處理，將前述第1量化矩陣的複數個矩陣要件，往規定方向外插而延伸，將該已延伸的前述第1量化矩陣的複數個矩陣要件，分割成與前述第2量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，將該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、該群組所含的複數個矩陣要件中位於最高頻側的矩陣要件、或該群組所含的複數個矩陣要件的平均值， 決定為前述第2量化矩陣中對應於該群組的矩陣要件。
藉此，解碼裝置200可對長方形區塊更有效率地進行反量化。
例如於解碼裝置200，前述電路亦可從對於前述正方形區塊的前述規定範圍的複數個轉換係數之前述第1量化矩陣，進行上轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前述長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可對長方形區塊有效率地進行反量化。
例如於解碼裝置200，前述電路亦可於前述上轉換處理，(i)將前述第2量化矩陣的複數個矩陣要件，分割成與前述第1量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述複數個群組的各群組，使該群組所含的複數個矩陣要件往規定方向重複，藉此將前述第1量化矩陣往規定方向延伸，並從該已延伸的前述第1量化矩陣，擷取與前述第2量化矩陣的複數個矩陣要件之數目相同數目的矩陣要件，或(ii)藉由於前述第2量化矩陣的複數個矩陣要件中鄰接於規定方向的矩陣要件間進行線性內插，而將前述第1量化矩陣往前述規定方向延伸，並從該已延伸的前述第1量化矩陣，擷取與前述第2量化矩陣的複數個矩陣要件之數目相同數目的矩陣要件。
藉此，解碼裝置200可對長方形區塊更有效 率地進行反量化。
例如於解碼裝置200，前述電路亦可藉由因應於前述處理對象區塊即前述長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，所切換的方法包括：從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述下轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的長邊相同長度的一邊；及從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述上轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可藉由依據處理對象區塊的區塊尺寸來切換下轉換與上轉換，而從對應於正方形區塊的量化矩陣，生成對應於長方形區塊的更適當的量化矩陣。
又，編碼方法是進行量化來編碼動態圖像的編碼方法，僅對於處理對象區塊所含的複數個轉換係數中之低頻區域側的規定範圍內的複數個轉換係數，利用量化矩陣進行量化。
藉此，由於僅利用對應於處理對象區塊中之對視覺造成的影響大的低頻區域側的規定範圍之量化矩陣，進行處理對象區塊的量化，因此動態圖像的畫質不易降低。又，由於僅編碼對應於該規定範圍的量化矩陣，因 此碼量刪減。因此，若依據編碼方法，動態圖像的畫質不易降低，且處理效率提升。
又，解碼方法是進行反量化來解碼動態圖像的解碼方法，僅對於處理對象區塊所含的複數個轉換係數中之低頻區域側的規定範圍內的複數個轉換係數，利用量化矩陣進行反量化。
藉此，由於僅利用對應於處理對象區塊中之對視覺造成的影響大的低頻區域側的規定範圍之量化矩陣，進行處理對象區塊的量化，因此動態圖像的畫質不易降低。又，由於僅編碼對應於該規定範圍的量化矩陣，因此可刪減碼量。因此，若依據解碼方法，動態圖像的畫質不易降低，且處理效率提升。
亦可將本態樣與本揭示的其他態樣的至少一部分組合而實施。又，亦可將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等，與其他態樣組合而實施。
[第3態樣]
以下說明本揭示的第3態樣的編碼裝置100、解碼裝置200、編碼方法及解碼方法。
[利用量化矩陣的編碼處理及解碼處理的第3例]
圖26是表示編碼裝置100中利用量化矩陣(QM)的編碼處理流程的第3例的圖。再者，於此所說明的編碼裝置100是就分割畫面後的正方形或長方形的各區塊來進行編碼處理。
首先，於步驟S1601，量化部108生成對應於處理對象區塊的對角成分的QM(以下亦稱為僅對角成分的QM)，就處理對象區塊即正方形區塊或各種形狀的長方形區塊的各區塊尺寸，從僅對角成分的QM的量化係數值，利用以下說明的共通的方法，來生成對應於處理對象區塊的QM。換言之，量化部108對於處理對象區塊所含的複數個轉換係數中連續配置於處理對象區塊的對角方向的複數個轉換係數，從量化矩陣的對角成分，生成對於處理對象區塊的量化矩陣。再者，利用共通的方法是指不受區塊的形狀及尺寸影響，對於所有處理對象區塊利用共通的方法。又，對角成分是指例如從處理對象區塊的低頻側往高頻側的對角線上的複數個係數。
熵編碼部110將有關步驟S1601所生成的僅對角成分的QM的訊號記述於串流。換言之，熵編碼部110將有關量化矩陣的對角成分的訊號，編碼於位元串流。
再者，量化部108從使用者所定義並設定於編碼裝置100之值，生成僅對角成分的QM的量化係數值，或利用已經編碼的圖片的編碼資訊適應性地生成僅對角成分的QM的量化係數值均可。又，僅對角成分的QM亦可編碼於串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或儲存其他參數的區域。再者，亦可不於串流記述僅對角成分的QM。此時，量化部108亦可使用規格中預先定義的預設值，來作為僅對角成分的QM。
再者，步驟S1601的處理可採用於序列處理 的開始時、圖片處理的開始時、或切片處理的開始時一併進行的構成，亦可採用於區塊單位處理中每次進行一部分處理的構成。又，於步驟S1601生成的QM亦可採用以下構成：因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他條件，對相同區塊尺寸的區塊，生成複數種類的QM。
再者，於圖26所示的處理流程中，步驟S1601以外的處理步驟為區塊單位的迴路處理，與利用圖11所說明的第1例的處理相同。
藉此，於串流僅記述對角成分的QM的量化係數，即可進行處理對象區塊的編碼處理，無須將各區塊尺寸的處理對象區塊的QM的量化係數全部記述於串流。 因此，即使於利用包含長方形區塊的許多形狀的區塊的編碼方式中，仍可不使標頭區域的碼量大幅增加，並生成對應於處理對象區塊的QM來使用，故可使編碼效率提升的可能性變高。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
圖27是表示對應於圖26所說明的編碼裝置100之解碼裝置200中利用量化矩陣(QM)的解碼處理流程例的圖。再者，於此所說明的解碼裝置200是就分割畫面後的正方形或長方形的各區塊，來進行解碼處理。
首先，於步驟S1701，熵解碼部202從串流解碼有關僅對角成分的QM的訊號，利用已解碼的有關僅 對角成分的QM的訊號，利用以下說明的共通的方法，來生成對應於正方形區塊及長方形區塊等各種形狀的處理對象區塊的各區塊尺寸的QM。再者，僅對角成分的QM亦可從串流的序列標頭區域、圖片標頭區域、切片標頭區域、輔助資訊區域或儲存其他參數的區域解碼。又，僅對角成分的QM亦可不從串流解碼。此時，例如亦可使用規格中預先定義的預設值，來作為僅對角成分的QM。
再者，步驟S1701的處理可採用於序列處理的開始時、圖片處理的開始時、或切片處理的開始時一併進行的構成，亦可採用於區塊單位處理中每次進行一部分處理的構成。又，於步驟S1701由熵解碼部202生成的QM亦可採用以下構成：因應亮度區塊用/色差區塊用、畫面內預測區塊用/畫面間預測區塊用、及其他條件，對相同區塊尺寸的區塊，生成複數種類的QM。
再者，於圖27所示的處理流程中，步驟S1701以外的處理流程為區塊單位的迴路處理，與利用圖12所說明的第1例的處理相同。
藉此，只要於串流僅記述處理對象區塊的對角成分的QM的量化係數，即可進行處理對象區塊的解碼處理，無須將處理對象區塊的各區塊尺寸的QM的量化係數全部記述於串流。因此，可刪減標頭區域的碼量，故可使編碼效率提升的可能性變高。
再者，該處理流程為一例，亦可改變記載的處理順序，刪除記載的一部分處理，或追加未記載的處理。
圖28是用以說明於圖26的步驟S1601及圖27的步驟S1701，就各區塊尺寸，從僅對角成分的QM的量化係數值，利用以下所說明的共通的方法生成處理對象區塊的QM的方法的一例的圖。再者，於此所說明的處理是編碼裝置100及解碼裝置200共通的處理。
第3態樣的編碼裝置100及解碼裝置200是藉由使處理對象區塊的對角成分的複數個矩陣要件的各要件，朝水平方向及垂直方向重複，來生成處理對象區塊的量化矩陣(QM)。更具體而言，編碼裝置100及解碼裝置200藉由將對角成分的QM的量化係數值，直接往上方及左方延長，亦即連續配置相同值，來生成處理對象區塊的QM。
再者，於此，雖說明了處理對象區塊為正方形區塊時的處理對象區塊的QM的生成方法例，但處理對象區塊為長方形區塊時，亦可與圖28之例同樣地從對角成分的QM的量化係數值，來生成處理對象區塊的QM。
圖29是用以說明於圖26的步驟S1601及圖27的步驟S1701，就處理對象區塊的各區塊尺寸，從僅對角成分的QM的量化係數值，利用以下所說明的共通的方法生成處理對象區塊的QM的方法的其他例的圖。再者，於此所說明的處理是編碼裝置100及解碼裝置200共通的處理。
第3態樣的編碼裝置100及解碼裝置200亦可藉由使處理對象區塊的對角成分的複數個矩陣要件的各要件朝斜向重複，來生成處理對象區塊的量化矩陣。更具體 而言，編碼裝置100及解碼裝置200藉由將對角成分的QM的量化係數值，直接往左下方及右上方延長，亦即連續配置相同值，來生成處理對象區塊的QM。
此時，編碼裝置100及解碼裝置200除了對角成分的量化係數以外，亦可利用對角成分的附近成分的量化係數，藉由使各量化係數往斜向重複，來生成處理對象區塊的QM。換言之，處理對象區塊的量化矩陣(QM)亦可從對角成分的複數個矩陣要件及位於對角成分附近的矩陣要件來生成。藉此，當難以僅由對角成分填滿處理對象區塊的所有量化係數時，若利用附近成分的量化係數，仍可填滿所有的量化係數。再者，對角成分的附近成分是例如鄰接於從處理對象區塊的低頻側往高頻側的對角線上的複數個係數的任一者的成分。
例如對角成分的附近成分的量化係數為圖29所示位置的量化係數。編碼裝置100及解碼裝置200可將有關對角成分的附近成分的量化係數的訊號，於串流編碼或解碼而設定，亦可不於串流編碼及解碼，藉由從對角成分的量化係數中相鄰的量化係數值，利用線性內插等進行內插來導出而設定。
再者，於此，雖說明了處理對象區塊為正方形區塊時的處理對象區塊的QM的生成方法例，但處理對象區塊為長方形區塊時，亦可與圖29之例同樣地從對角成分的QM的量化係數值，來生成處理對象區塊的QM。
[利用量化矩陣的編碼處理及解碼處理的第3例的其他 變化]
於圖28及圖29之例，說明了從對角成分的QM的量化係數生成處理對象區塊全體的QM的量化係數的方法，但亦可採用從對角成分的QM的量化係數僅生成處理對象區塊的一部分QM的係數的構成。例如就對應於處理對象區塊的低頻側區域的QM而言，亦可將包含於該QM的所有量化係數，於串流編碼及解碼，並從處理對象區塊的對角成分的QM的量化係數，僅生成對應於處理對象區塊的中頻及高頻區域的QM的量化係數。
再者，從正方形區塊用QM生成長方形區塊用QM的方法，亦可採用組合利用圖26及圖27所說明的第3例、與利用圖11及圖12所說明的第1例的構成。例如正方形區塊用QM是如第3例所說明，從正方形區塊的僅對角成分的QM的量化係數值，利用上述2種共通方法的任一者來生成，長方形區塊用QM則是利用如第1例所說明而生成的正方形區塊用QM來生成。
再者，從正方形區塊用QM生成長方形區塊用QM的方法，亦可採用組合利用圖26及圖27所說明的第3例、與利用圖17及圖18所說明的第2例的構成。例如從有效轉換係數區域的僅對角成分的QM的量化係數值，利用上述共通方法的任一者，生成對應於處理對象區塊的各區塊尺寸的有效轉換係數區域的尺寸之QM。
[利用量化矩陣的編碼處理及解碼處理的第3例的效果]
若依據本揭示的第3態樣的編碼裝置100及解碼裝置200，藉由利用圖26及圖27所說明的構成，即使處理對象區塊的各區塊尺寸的QM的量化係數未全部記述於串流，只要於串流僅記述處理對象區塊的對角成分的QM的量化係數，即可進行處理對象區塊的編碼處理及解碼處理。因此，由於可刪減標頭區域的碼量，因此可使編碼效率提升的可能性變高。
例如編碼裝置100是進行量化來編碼動態圖像的編碼裝置，且具備電路及記憶體；前述電路利用前述記憶體，對於處理對象區塊所含的複數個轉換係數中連續配置於前述處理對象區塊的對角方向的複數個轉換係數，從量化矩陣的對角成分，生成對於前述處理對象區塊的前述量化矩陣，將有關前述對角成分的訊號編碼於位元串流。
藉此，即使於利用包含長方形區塊的許多形狀的區塊的編碼方式中，由於僅編碼處理對象區塊的對角成分，因此碼量刪減。因此，若依據編碼裝置100，處理效率提升。
例如於編碼裝置100，前述電路亦可藉由使前述對角成分的複數個矩陣要件的各要件朝水平方向及垂直方向重複，來生成前述量化矩陣。
藉此，由於從處理對象區塊的對角成分的量化係數，生成處理對象區塊所含的量化係數，因此不編碼處理對象區塊所有的量化矩陣亦可。因此，由於碼量刪減，故處理效率提升。因此，若依據編碼裝置100，可對處理 對象區塊有效率地進行量化。
例如於編碼裝置100，前述電路亦可藉由使前述對角成分的複數個矩陣要件的各要件朝斜向重複，來生成前述量化矩陣。
藉此，由於從處理對象區塊的對角成分的量化係數，生成處理對象區塊所含的量化係數，因此不編碼處理對象區塊所有的量化矩陣亦可。因此，由於碼量刪減，故處理效率提升。因此，若依據編碼裝置100，可對處理對象區塊有效率地進行量化。
例如於編碼裝置100，前述電路亦可從前述對角成分的複數個矩陣要件及位於前述對角成分附近的複數個矩陣要件，來生成前述量化矩陣。
藉此，由於編碼裝置100從處理對象區塊的對角成分及其附近成分的量化係數，生成處理對象區塊所含的量化係數，因此可生成對應於處理對象區塊的更適當的量化矩陣。
例如於編碼裝置100，前述電路亦可不將有關位於前述對角成分附近的複數個矩陣要件之訊號編碼於串流，而是藉由從前述對角成分的複數個矩陣要件中之鄰接的複數個矩陣要件，內插位於前述對角成分附近的複數個矩陣要件來生成。
藉此，由於碼量刪減，故處理效率提升。因此，編碼裝置100可對處理對象區塊有效率地進行量化。
例如於編碼裝置100，前述電路亦可對於前 述處理對象區塊所含的複數個轉換係數中之低頻區域側的規定範圍內的複數個轉換係數，利用量化矩陣進行量化，僅將有關對應於前述低頻區域側的規定範圍內的複數個轉換係數的前述量化矩陣之訊號編碼於串流，對於前述處理對象區塊所含的複數個轉換係數中之前述低頻區域側的前述規定範圍以外的範圍內的複數個轉換係數，利用前述對角成分的複數個矩陣要件來進行量化。
藉此，於處理對象區塊，由於編碼對視覺造成的影響大的低頻區域側的規定範圍內的所有量化係數，因此動態圖像的畫質不易降低。又，於處理對象區塊，由於對於低頻區域側的規定範圍以外的複數個轉換係數，利用處理對象區塊的對角成分的量化矩陣進行量化，因此碼量刪減，處理效率提升。因此，若依據編碼裝置100，動態圖像的畫質不易降低，且處理效率提升。
例如於編碼裝置100，前述量化矩陣亦可為僅對應於前述處理對象區塊所含的複數個轉換係數中之前述低頻區域側的前述規定範圍內的複數個轉換係數之量化矩陣。
藉此，若依據編碼裝置100，於處理對象區塊，由於生成對應於對視覺造成的影響大的低頻區域側的規定範圍之量化矩陣，因此動態圖像的畫質不易降低。
例如於編碼裝置100，前述處理對象區塊亦可為正方形區塊或長方形區塊，前述電路亦可藉由轉換對於前述正方形區塊的前述規定範圍內的複數個轉換係數之 第1量化矩陣，而從前述第1量化矩陣，生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之第2量化矩陣，來作為前述量化矩陣，且僅將前述第1量化矩陣及前述第2量化矩陣中之前述第1量化矩陣，作為有關前述量化矩陣的訊號編碼於位元串流。
藉此，由於僅編碼對應於正方形區塊的規定範圍的第1量化矩陣，因此碼量刪減。又，由於從第1量化矩陣生成對應於長方形區塊的規定範圍的第2量化矩陣，因此動態圖像的畫質不易降低。再者，規定範圍位於對視覺造成的影響大的低頻區域側。因此，若依據編碼裝置100，動態圖像的畫質不易降低，且處理效率提升。
例如於編碼裝置100，前述電路亦可從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣，進行下轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前述長方形區塊的長邊相同長度的一邊。
藉此，編碼裝置100可有效率地生成對應於長方形區塊的規定範圍的第2量化矩陣。
例如於編碼裝置100，前述電路亦可從對於前述正方形區塊的前述規定範圍的複數個轉換係數之前述第1量化矩陣，進行上轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前 述長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可有效率地生成對應於長方形區塊的規定範圍的第2量化矩陣。
例如於編碼裝置100，前述電路亦可藉由因應於前述處理對象區塊即前述長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，所切換的方法包括：從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述下轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的長邊相同長度的一邊；及從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述上轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可藉由切換下轉換與上轉換，而從對應於正方形區塊的規定範圍的第1量化矩陣，生成對應於長方形區塊的規定範圍的更適當的第2量化矩陣。
又，解碼裝置200是進行反量化來解碼動態圖像的解碼裝置，且具備電路及記憶體；前述電路利用前述記憶體，對於處理對象區塊所含的複數個轉換係數中連續配置於前述處理對象區塊的對角方向的複數個量化係數，從量化矩陣的對角成分，生成對於前述處理對象區塊的前述量化矩陣，從位元串流解碼有關前述對角成分的訊 號。
藉此，即使於利用包含長方形區塊的許多形狀的區塊的解碼方式中，由於僅解碼處理對象區塊的對角成分，因此可刪減碼量。因此，若依據解碼裝置200，處理效率提升。
例如於解碼裝置200，前述電路亦可藉由使前述對角成分的複數個矩陣要件的各要件朝水平方向及垂直方向重複，來生成前述量化矩陣。
藉此，由於從處理對象區塊的對角成分的量化係數，生成處理對象區塊所含的量化係數，因此不解碼處理對象區塊所有的量化矩陣亦可。因此，由於可刪減碼量，故處理效率提升。因此，若依據解碼裝置200，可對處理對象區塊有效率地進行反量化。
例如於解碼裝置200，前述電路亦可藉由使前述對角成分的複數個矩陣要件的各要件朝斜向重複，來生成前述量化矩陣。
藉此，由於從處理對象區塊的對角成分的量化係數，生成處理對象區塊所含的量化係數，因此不解碼處理對象區塊所有的量化矩陣亦可。因此，由於可刪減碼量，故處理效率提升。因此，若依據解碼裝置200，可對處理對象區塊有效率地進行反量化。
例如於解碼裝置200，前述電路亦可從前述對角成分的複數個矩陣要件及位於前述對角成分附近的複數個矩陣要件，來生成前述量化矩陣。
藉此，由於解碼裝置200從處理對象區塊的對角成分及其附近成分的量化係數，生成處理對象區塊所含的量化係數，因此可生成對應於處理對象區塊的更適當的量化矩陣。
例如於解碼裝置200，前述電路亦可不將有關位於前述對角成分附近的複數個矩陣要件的訊號從位元串流解碼，而是藉由從前述對角成分的複數個矩陣要件中之鄰接的複數個矩陣要件，內插位於前述對角成分附近的複數個矩陣要件來生成。
藉此，由於可刪減碼量，故處理效率提升。因此，若依據解碼裝置200，可對處理對象區塊有效率地進行反量化。
例如於解碼裝置200，前述電路亦可對於前述處理對象區塊所含的複數個轉換係數中之低頻區域側的規定範圍內的複數個量化係數，利用量化矩陣進行反量化，僅將有關對應於前述低頻區域側的前述規定範圍內的複數個轉換係數的前述量化矩陣之訊號從位元串流解碼，對於前述處理對象區塊所含的複數個量化係數中之前述低頻區域側的前述規定範圍以外的範圍內的複數個量化係數，利用前述對角成分的複數個矩陣要件來進行反量化。
藉此，於處理對象區塊，由於解碼對視覺造成的影響大的低頻區域側的規定範圍內的所有量化係數，因此動態圖像的畫質不易降低。又，於處理對象區塊，由於對於低頻區域側的規定範圍以外的複數個量化係數，利 用處理對象區塊的對角成分的量化矩陣來進行反量化，因此可刪減碼量，處理效率提升。因此，若依據解碼裝置200，動態圖像的畫質不易降低，且處理效率提升。
例如於解碼裝置200，前述量化矩陣亦可為僅對應於前述處理對象區塊所含的複數個轉換係數中之前述低頻區域側的前述規定範圍內的複數個轉換係數之量化矩陣。
藉此，若依據解碼裝置200，於處理對象區塊，由於生成對應於對視覺造成的影響大的低頻區域側的規定範圍之量化矩陣，因此動態圖像的畫質不易降低。
例如於解碼裝置200，前述處理對象區塊亦可為正方形區塊或長方形區塊，前述電路亦可藉由轉換對於前述正方形區塊的前述規定範圍內的複數個轉換係數之第1量化矩陣，而從前述第1量化矩陣，生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之第2量化矩陣，來作為前述量化矩陣，且僅將前述第1量化矩陣及前述第2量化矩陣中之前述第1量化矩陣從位元串流解碼，來作為有關前述量化矩陣的訊號。
藉此，由於僅解碼對應於正方形區塊的規定範圍的第1量化矩陣，因此可刪減碼量。又，由於從第1量化矩陣生成對應於長方形區塊的規定範圍的第2量化矩陣，因此動態圖像的畫質不易降低。再者，規定範圍位於對視覺造成的影響大的低頻區域側。因此，若依據解碼裝置200，動態圖像的畫質不易降低，且處理效率提升。
例如於解碼裝置200，前述電路亦可從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣，進行下轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前述長方形區塊的長邊相同長度的一邊。
藉此，解碼裝置200可有效率地生成對應於長方形區塊的規定範圍的第2量化矩陣。
例如於解碼裝置200，前述電路亦可從對於前述正方形區塊的前述規定範圍的複數個轉換係數之前述第1量化矩陣，進行上轉換處理，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，其中前述正方形區塊具有與前述處理對象區塊即前述長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可有效率地生成對應於長方形區塊的規定範圍的第2量化矩陣。
例如於解碼裝置200，前述電路亦可藉由因應於前述處理對象區塊即前述長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於前述長方形區塊的前述規定範圍內的複數個轉換係數之前述第2量化矩陣，所切換的方法包括：從對於前述正方形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述下轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的長邊相同長度的一邊；及從對於前述正方 形區塊的前述規定範圍內的複數個轉換係數之前述第1量化矩陣進行前述上轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可藉由切換下轉換與上轉換，而從對應於正方形區塊的規定範圍的第1量化矩陣，生成對應於長方形區塊的規定範圍的更適當的第2量化矩陣。
又，編碼方法是進行量化來編碼動態圖像的編碼方法，對於處理對象區塊所含的複數個轉換係數中連續配置於前述處理對象區塊的對角方向的複數個轉換係數，從量化矩陣的對角成分生成對於前述處理對象區塊的前述量化矩陣，將有關前述對角成分的訊號編碼於位元串流。
藉此，即使於利用包含長方形區塊的許多形狀的區塊的編碼方式中，由於僅編碼處理對象區塊的對角成分，因此碼量刪減。因此，若依據編碼方法，處理效率提升。
又，解碼方法是進行反量化來解碼動態圖像的解碼方法，對於處理對象區塊所含的複數個量化係數中連續配置於前述處理區塊的對角方向的複數個量化係數，從量化矩陣的對角成分生成對於前述處理對象區塊的前述量化矩陣，從位元串流解碼有關前述對角成分的訊號。
藉此，即使於利用包含長方形區塊的許多形狀的區塊的解碼方式中，由於僅解碼處理對象區塊的對角 成分，因此資訊量刪減。因此，若依據解碼方法，處理效率提升。
亦可將本態樣與本揭示的其他態樣的至少一部分組合而實施。又，亦可將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等，與其他態樣組合而實施。
[安裝例]
圖30是表示編碼裝置100的安裝例的方塊圖。編碼裝置100具備電路160及記憶體162。例如圖1所示的編碼裝置100的複數個構成要件，是藉由圖30所示的電路160及記憶體162而安裝。
電路160是進行資訊處理的電子電路，可於記憶體162存取。例如電路160是利用記憶體162來編碼動態圖像的專用或通用電子電路。電路160可為像CPU一樣的處理器。又，電路160亦可為複數個電子電路的集合體。
又，例如電路160亦可發揮圖1所示的編碼裝置100的複數個構成要件中，用以記憶資訊的構成要件除外的複數個構成要件的作用。亦即，電路160亦可進行上述動作來作為該等構成要件的動作。
記憶體162是記憶電路160用以編碼動態圖像的資訊之通用或專用記憶體。記憶體162為電子電路，或連接於電路160，或包含於電路160均可。
又，記憶體162為複數個電子電路的集合體，或由複數個子記憶體構成均可。又，記憶體162可為 磁碟片或光碟片等，亦可表現為儲存器(storage)或記錄媒體等。又，記憶體162為非揮發性記憶體或揮發性記憶體均可。
又，例如記憶體162亦可發揮圖1所示的編碼裝置100的複數個構成要件中，用以記憶資訊的構成要件的作用。具體而言，記憶體162亦可發揮圖1所示的區塊記憶體118及幀記憶體122的作用。
又，於記憶體162記憶欲編碼的動態圖像，或記憶對應於經編碼的動態圖像的位元串均可。又，於記憶體162亦可記憶電路160用以編碼動態圖像的程式。
再者，於編碼裝置100，未安裝圖1所示複數個構成要件的全部，或未進行上述複數種處理的全部均可。圖1所示的複數個構成要件的一部分可包含於其他裝置，亦可由其他裝置來執行上述複數種處理的一部分。且，於編碼裝置100，藉由安裝圖1所示的複數個構成要件中的一部分、進行上述複數種處理的一部分，可適當導出預測樣本集。
圖31是表示圖30所示的編碼裝置100的動作例的流程圖。例如圖30所示的編碼裝置100是於編碼動態圖像時，進行圖31所示的動作。具體而言，電路160利用記憶體162進行以下動作。
首先，電路160轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從第1量化矩陣，生成對於長方形區塊的複數個轉換係數的第2量化矩陣(步驟 S201)。接著，電路160對於長方形區塊的複數個轉換係數，利用第2量化矩陣進行量化(步驟S202)。
藉此，由於從對應於正方形區塊的量化矩陣生成對應於長方形區塊的量化矩陣，因此亦可不編碼對應於長方形區塊的量化矩陣。因此，碼量刪減，處理效率提升。因此，若依據編碼裝置100，可對長方形區塊有效率地進行量化。
例如電路160亦可僅將第1量化矩陣及第2量化矩陣中之第1量化矩陣編碼於位元串流。
藉此，碼量刪減。因此，若依據編碼裝置100，處理效率提升。
例如電路160亦可從對於正方形區塊的複數個轉換係數的第1量化矩陣，進行下轉換處理，來生成對於長方形區塊的複數個轉換係數的第2量化矩陣，其中前述正方形區塊具有與處理對象區塊即長方形區塊的長邊相同長度的一邊。
藉此，編碼裝置100可從對應於具有與長方形區塊的長邊相同長度的一邊的正方形區塊的量化矩陣，有效率地生成對應於長方形區塊的量化矩陣。
例如電路160亦可於下轉換處理，將第1量化矩陣的複數個矩陣要件，分割成與第2量化矩陣的複數個矩陣要件之數目相同數目的群組，針對複數個群組的各群組，將該群組所含的複數個矩陣要件連續配置於正方形區塊的水平方向或垂直方向，針對複數個群組的各群組，將 該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、該群組所含的複數個矩陣要件中位於最高頻側的矩陣要件、或該群組所含的複數個矩陣要件的平均值，決定為第2量化矩陣中對應於該群組的矩陣要件。
藉此，編碼裝置100可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩陣。
例如電路160亦可從對於正方形區塊的複數個轉換係數的第1量化矩陣，進行上轉換處理，來生成對於長方形區塊的複數個轉換係數的第2量化矩陣，其中前述正方形區塊具有與處理對象區塊即長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可從對應於具有與長方形區塊的短邊相同長度的一邊的正方形區塊的量化矩陣，有效率地生成對應於長方形區塊的量化矩陣。
例如電路160亦可於上轉換處理，(i)將第2量化矩陣的複數個矩陣要件，分割成與第1量化矩陣的複數個矩陣要件之數目相同數目的群組，針對複數個群組的各群組，使該群組所含的複數個矩陣要件重複，藉此決定於第2量化矩陣中對應於該群組的矩陣要件，或(ii)藉由於第2量化矩陣的複數個矩陣要件中鄰接的矩陣要件間進行線性內插，來決定第2量化矩陣的複數個矩陣要件。
藉此，編碼裝置100可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩 陣。
例如電路160亦可藉由因應於處理對象區塊即長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於長方形的複數個轉換係數的第2量化矩陣，所切換的方法包括：從對於正方形區塊的複數個轉換係數的第1量化矩陣進行下轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的長邊相同長度的一邊；及從對於正方形區塊的複數個轉換係數的第1量化矩陣進行上轉換處理來生成的方法，其中前述正方形區塊具有與前述長方形區塊的短邊相同長度的一邊。
藉此，編碼裝置100可藉由依據處理對象區塊的區塊尺寸來切換下轉換與上轉換，而從對應於正方形區塊的量化矩陣，生成對應於長方形區塊的更適當的量化矩陣。
圖32是表示解碼裝置200的安裝例的方塊圖。解碼裝置200具備電路260及記憶體262。例如圖10所示的解碼裝置200的複數個構成要件，是藉由圖32所示的電路260及記憶體262而安裝。
電路260是進行資訊處理的電子電路，可於記憶體262存取。例如電路260是利用記憶體262來解碼動態圖像的專用或通用電子電路。電路260可為像CPU一樣的處理器。又，電路260亦可為複數個電子電路的集合體。
又，例如電路260亦可發揮圖10所示的解碼裝置200的複數個構成要件中，用以記憶資訊的構成要件 除外的複數個構成要件的作用。亦即，電路260亦可進行上述動作來作為該等構成要件的動作。
記憶體262是記憶電路260用以解碼動態圖像的資訊之通用或專用記憶體。記憶體262為電子電路，或連接於電路260，或包含於電路260均可。
又，記憶體262可為複數個電子電路的集合體，亦可由複數個子記憶體所構成。又，記憶體262可為磁碟片或光碟片等，亦可表現為儲存器或記錄媒體等。又，記憶體262為非揮發性記憶體或揮發性記憶體均可。
又，例如記憶體262亦可發揮圖10所示的解碼裝置200的複數個構成要件中，用以記憶資訊的構成要件的作用。具體而言，記憶體262亦可發揮圖10所示的區塊記憶體210及幀記憶體214的作用。
又，於記憶體262，記憶對應於經編碼的動態圖像的位元串，或記憶經解碼的動態圖像均可。又，於記憶體262，亦可記憶電路260用以解碼動態圖像的程式。
再者，於解碼裝置200，未安裝圖10所示的複數個構成要件的全部，或未進行上述複數種處理的全部均可。圖10所示的複數個構成要件的一部分可包含於其他裝置，亦可由其他裝置來執行上述複數種處理的一部分。且，於解碼裝置200，藉由安裝圖10所示的複數個構成要件中的一部分，進行上述複數種處理的一部分，可適當導出預測樣本集。
圖33是表示圖32所示的解碼裝置200的動作 例的流程圖。例如圖32所示的解碼裝置200是於解碼動態圖像時，進行圖33所示的動作。具體而言，電路260利用記憶體262進行以下動作。
首先，電路260轉換對於正方形區塊的複數個轉換係數的第1量化矩陣，藉此從第1量化矩陣，生成對於長方形區塊的複數個轉換係數的第2量化矩陣(步驟S301)。接著，電路260對於長方形區塊的複數個轉換係數，利用第2量化矩陣進行反量化(步驟S302)。
藉此，由於從對應於正方形區塊的量化矩陣生成對應於長方形區塊的量化矩陣，因此不解碼對應於長方形區塊的量化矩陣亦可。因此，可刪減碼量，處理效率提升。因此，若依據解碼裝置200，可對長方形區塊有效率地進行反量化。
例如電路260亦可僅將第1量化矩陣及第2量化矩陣中之第1量化矩陣，從位元串流解碼。
藉此，可刪減碼量。因此，若依據解碼裝置200，處理效率提升。
例如電路260亦可從對於正方形區塊的複數個轉換係數的第1量化矩陣，進行下轉換處理，來生成對於長方形區塊的複數個轉換係數的第2量化矩陣，其中前述正方形區塊具有與處理對象區塊即長方形區塊的長邊相同長度的一邊。
藉此，解碼裝置200可從對應於具有與長方形區塊的長邊相同長度的一邊的正方形區塊的量化矩陣， 有效率地生成對應於長方形區塊的量化矩陣。
例如電路260亦可於下轉換處理，將第1量化矩陣的複數個矩陣要件，分割成與第2量化矩陣的複數個矩陣要件之數目相同數目的群組，針對複數個群組的各群組，將該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、該群組所含的複數個矩陣要件中位於最高頻側的轉換係數、或該群組所含的複數個矩陣要件的平均值，決定為第2量化矩陣中對應於該群組的矩陣要件。
藉此，解碼裝置200可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩陣。
例如電路260亦可從對於正方形區塊的複數個轉換係數的第1量化矩陣，進行上轉換處理，來生成對於長方形區塊的複數個轉換係數的第2量化矩陣，其中前述正方形區塊具有與處理對象區塊即長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可從對應於具有與長方形區塊的短邊相同長度的一邊的正方形區塊的量化矩陣，有效率地生成對應於長方形區塊的量化矩陣。
例如電路260亦可於上轉換處理，(i)將第2量化矩陣的複數個矩陣要件，分割成與第1量化矩陣的複數個矩陣要件之數目相同數目的群組，針對複數個群組的各群組，使該群組所含的複數個矩陣要件重複，藉此決定於第2量化矩陣中對應於該群組的矩陣要件，或(ii)藉由於 第2量化矩陣的複數個矩陣要件中鄰接的矩陣要件間進行線性內插，來決定第2量化矩陣的複數個矩陣要件。
藉此，解碼裝置200可從對應於正方形區塊的量化矩陣，更有效率地生成對應於長方形區塊的量化矩陣。
例如電路260亦可藉由因應於處理對象區塊即長方形區塊的短邊長度與長邊長度的比率，切換以下方法，來生成對於長方形的轉換係數的第2量化矩陣，所切換的方法包括：從對於正方形區塊的複數個轉換係數的第1量化矩陣進行下轉換處理來生成的方法，其中前述正方形區塊具有與長方形區塊的長邊相同長度的一邊；及從對於正方形區塊的複數個轉換係數的第1量化矩陣進行上轉換處理來生成的方法，其中前述正方形區塊具有與長方形區塊的短邊相同長度的一邊。
藉此，解碼裝置200可藉由依據處理對象區塊的區塊尺寸來切換下轉換與上轉換，而從對應於正方形區塊的量化矩陣，生成對應於長方形區塊的更適當的量化矩陣。
又，如上述，各構成要件亦可為電路。該等電路全體構成為1個電路，或各自為不同電路均可。又，各構成要件以通用處理器來實現，或以專用處理器來實現均可。
又，亦可讓其他構成要件來執行特定構成要件所執行的處理。又，變更執行處理的順序或並行地執行 複數種處理均可。又，編碼解碼裝置亦可具備編碼裝置100及解碼裝置200。
又，說明中所用的第1及第2等序數亦可適當更動。又，對於構成要件等重複賦予序數或刪除序數均可。
以上根據實施形態，說明了編碼裝置100及解碼裝置200的態樣，但編碼裝置100及解碼裝置200的態樣不限定於該實施形態。只要不脫離本揭示之旨趣，所屬技術領域中具有通常知識者將所想到的各種變形施行於本實施形態、或組合不同實施形態的構成要件予以建構的形態，皆可包含於編碼裝置100及解碼裝置200的態樣的範圍內。
亦可將本態樣與本揭示的其他態樣的至少一部分組合而實施。又，亦可將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法的一部分等與其他態樣組合而實施。
(實施形態2)
於以上各實施形態，功能方塊的各個一般可藉由MPU及記憶體等來實現。又，功能方塊的各個的處理一般藉由處理器等之程式執行部，讀出並執行記錄於ROM等記錄媒體的軟體(程式)來實現。該軟體藉由下載等來分發，或記錄於半導體記憶體等記錄媒體來分發均可。再者，當然亦可藉由硬體(專用電路)來實現各功能方塊。
又，於各實施形態所說明的處理，可藉由利用單一裝置(系統)集中處理來實現，亦可藉由利用複數個 裝置分散處理來實現。又，執行上述程式的處理器為單一數目或複數個均可。亦即，進行集中處理或進行分散處理均可。
本揭示的態樣不限定於以上實施例，可予以各種變更，該等變更亦包含於本揭示的態樣的範圍內。
進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例、與利用其之系統。該系統的特徵在於具有利用圖像編碼方法的圖像編碼裝置、利用圖像解碼方法的圖像解碼裝置、及具備雙方的圖像編碼解碼裝置。關於系統中的其他構成，可因應情況適當地變更。
[使用例]
圖34是表示實現內容(contents)發布服務之內容供給系統ex100的全體構成圖。將通訊服務之提供區域分割為所需大小，於各蜂巢(cell)內分別設置固定無線台即基地台ex106、ex107、ex108、ex109、ex110。
於前述內容供給系統ex100，經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106~ex110，將電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器連接於網際網路ex101。前述內容供給系統ex100亦可組合上述任一要件而連接。各機器亦可不經由固定無線台即基地台ex106~ex110，而是經由電話網或近距離無線等而直接或間接地相互連接。又，串流化伺服器ex103經由網際網路ex101 等來與電腦ex111、遊戲機ex112、攝影機ex113、家電ex114及智慧型手機ex115等各機器連接。又，串流化伺服器ex103經由衛星ex116來與飛機ex117內的熱點內的終端等連接。
再者，亦可利用無線存取點或熱點等來取代基地台ex106~ex110。又，串流化伺服器ex103不經由網際網路ex101或網際網路服務提供者ex102而直接與通訊網ex104連接，或不經由衛星ex116而直接與飛機ex117連接均可。
攝影機ex113是數位攝影機等可拍攝靜止圖及拍攝動態圖的機器。又，智慧型手機ex115是一般支援2G、3G、3.9G、4G，以及今後稱為5G的移動通訊系統方式的智慧型機、行動電話或PHS(Personal Handyphone System(個人手持電話系統))等。
家電ex118為冰箱或家庭用燃料電池汽電共生系統所含的機器等。
於內容供給系統ex100，具有攝影功能的終端藉由透過基地台ex106等連接於串流化伺服器ex103，可實現實況發布等。於實況發布，終端(電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端等)對於使用者利用該終端所拍攝的靜止圖或動態圖內容，進行上述各實施形態所說明的編碼處理，將藉由編碼所獲得的影像資料、及對應於影像的聲音經編碼後的聲音資料予以多工，再將獲得的資料發送至 串流化伺服器ex103。亦即，各終端是作為本揭示之一態樣的圖像編碼裝置而發揮功能。
另，串流化伺服器ex103將對於有要求的客戶端所發送的內容資料進行串流發布。客戶端是可將上述經編碼處理的資料解碼的電腦ex111、遊戲機ex112、攝影機ex113、家電ex114、智慧型手機ex115或飛機ex117內的終端等。接收到發布資料的各機器將接收資料予以解碼處理並播放。亦即，各機器是作為本揭示之一態樣的圖像解碼裝置而發揮功能。
[分散處理]
又，串流化伺服器ex103亦可為複數台伺服器或複數台電腦，並分散處理、記錄或發布資料。例如串流化伺服器ex103亦可藉由CDN(Contents Delivery Network(內容發布網路))來實現，藉由連結分散在全世界的許多邊緣伺服器與邊緣伺服器間的網路，來實現內容發布。於CDN，因應客戶端而動態地分派物理上接近的邊緣伺服器。然後，藉由對該邊緣伺服器快取及發布內容，可減少延遲。又，由於在發生某種錯誤時，或通訊狀態因流量增加等而改變時，能以複數台邊緣伺服器分散處理，或將發布主體切換為其他邊緣伺服器，藉以繞過發生障礙的網路部分來持續發布，因此可實現高速且穩定的發布。
又，不僅止於發布本身的分散處理，已拍攝之資料的編碼處理亦可在各終端進行，或在伺服器側進行，且亦可互相分擔進行。作為一例，編碼處理一般進行 2次處理迴路。於第1次迴路，檢出幀或場景單位的圖像複雜度或碼量。又，於第2次迴路，進行維持畫質且使編碼效率提升的處理。例如終端進行第1次的編碼處理，收到內容的伺服器側進行第2次的編碼處理，藉此可減少各終端的處理負載，同時可使內容的品質及效率提升。此時，若要求幾乎即時接收並解碼，亦可讓終端進行的第一次的編碼完畢資料，由其他終端接收並播放，因此亦可實現更靈活的即時發布。
作為其他例，攝影機ex113等從圖像進行特徵量擷取，將有關特徵量的資料壓縮，作為元資料(metadata)發送至伺服器。伺服器從例如特徵量來判斷物件(object)的重要性而切換量化精度等，因應圖像的意義來進行壓縮。特徵量資料對於在伺服器再度壓縮時，提升移動向量預測的精度及效率尤其有效。又，亦可於終端進行VLC(可變長度編碼)等簡易的編碼，於伺服器進行CABAC(上下文適應型二值算術編碼方式)等處理負載大的編碼。
進而言之，作為其他例，於體育館、購物中心或工廠等，有時會有藉由複數個終端拍攝大致同一場景，而存在複數個影像資料的情況。此時，利用進行攝影的複數個終端、與因應需要未拍攝的其他終端及伺服器，以例如GOP(Group of Picture(圖片群組))單位、圖片單位或圖片經分割後的圖塊單位等，分別分配編碼處理來進行分散處理。藉此可減少延遲，更實現即時性。
又，由於複數個影像資料大致為同一場景，因此亦可由伺服器來管理及/或指示互相參考各終端拍攝的影像資料。又，伺服器亦可接收來自各終端的編碼完畢資料，於複數個資料間變更參考關係，或修正、更換圖片本身後予以重新編碼。藉此，可生成提高一個個資料之品質及效率的串流。
又，伺服器亦可在進行變更影像資料編碼方式的轉碼後，再發布影像資料。例如伺服器將MPEG系統的編碼方式轉換成VP系統，或將H.264轉換成H.265均可。
如此，可藉由終端或1個以上的伺服器來進行編碼處理。故，以下雖採用「伺服器」或「終端」等記載來作為進行處理的主體，但由伺服器進行的處理的一部分或全部，亦可由終端來進行，由終端進行的處理的一部分或全部，亦可由伺服器來進行。又，關於該等處理，就解碼處理而言亦同。
[3D、多角度]
近年來，越來越多將由互相大致同步的複數個攝影機ex113及/或智慧型手機ex115等所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像予以整合利用的情況。各終端拍攝的影像是根據另外取得的終端間的相對位置關係、或影像所含之特徵點一致的區域等來整合。
伺服器不僅編碼2維的動態圖像，亦可根據動態圖像的場景分析等，而自動地或於使用者指定的時刻編碼靜止圖，並發送至接收終端。伺服器進一步在可取得 攝影終端間的相對位置關係時，不僅根據2維的動態圖像，亦可根據從不同角度拍攝同一場景的影像，來生成該場景的3維形狀。再者，伺服器可另外編碼藉由點雲等所生成的3維資料，亦可利用3維資料來辨識或追蹤人物或物件，並根據辨識或追蹤的結果，從複數個終端拍攝的影像中選擇或重構來生成要發送至接收終端的影像。
如此，使用者可任意選擇對應於各攝影終端的各影像來欣賞場景，亦可欣賞從利用複數個圖像或影像重構的3維資料切出任意視點的影像的內容。進而言之，與影像相同，聲音亦可從複數個不同角度來收音，伺服器配合影像，將來自特定角度或空間的聲音與影像進行多工並發送。
又，近年來Virtual Reality(VR)(虛擬實境)及Augmented Reality(AR)(擴增實境)等使現實世界與虛擬世界相對應的內容亦日益普及。VR圖像時，伺服器可分別製作右眼用及左眼用的視點圖像，藉由Multi-View Coding(多視角編碼)(MVC)等，進行容許參考各視點影像間的編碼，亦可互相不參考而作為不同的串流來編碼。於解碼不同的串流時，使其互相同步播放以因應使用者的視點重現虛擬的3維空間即可。
AR圖像時，伺服器根據3維位置或使用者的視點移動，來對現實空間的攝影機資訊重疊虛擬空間上的虛擬物體資訊。解碼裝置亦可取得或保持虛擬物體資訊及3維資料，因應使用者的視點移動來生成2維圖像，藉由平 滑地接合以製作重疊資料。又，解碼裝置亦可除了虛擬物體資訊的請求以外，還將使用者的視點移動發送至伺服器，伺服器配合從保持於伺服器的3維資料所接收到的視點移動，來製作重疊資料，編碼重疊資料並發布至解碼裝置。再者，重疊資料除了RGB以外，亦可還具有表示穿透度的α值，伺服器將從3維資料製作的物件以外的部分的α值設定為0等，在該部分為穿透的狀態下編碼。或者，伺服器亦可像色度鍵(chroma key)一樣，將背景設定成規定值的RGB值，並生成物件以外的部分皆設為背景色的資料。
同樣地，已發布之資料的解碼處理可在作為客戶端的各終端進行，亦可在伺服器側進行，亦可互相分擔進行。作為一例，亦可是某終端先對伺服器發送接收要求，再由其他終端接收因應該要求的內容，進行解碼處理，對具有顯示器的裝置發送解碼完畢的訊號。藉由不依賴可通訊的終端本身的性能而將處理分散並選擇適當的內容，可播放畫質良好的資料。又，作為其他例，亦可於TV等接收大尺寸的圖像資料，同時於觀賞者的個人終端解碼圖片經分割的圖塊等一部分區域而顯示。藉此，可共有全體圖像，同時在手邊確認自身的負責領域或欲更詳細確認的區域。
又，預料今後會在不受屋內外的影響，可使用複數種近距離、中距離或長距離的無線通訊的狀況下，利用MPEG-DASH等發布系統規格，一邊對對於連接中的 通訊切換適當的資料，一邊無縫(seamless)地接收內容。藉此，使用者不侷限於自身的終端，可一邊自由地選擇設置於屋內外的顯示器等之解碼裝置或顯示裝置，一邊即時地切換。又，可根據自身的位置資訊等，一邊切換要解碼的終端及要顯示的終端一邊進行解碼。藉此，在往目的地之移動中，還可一邊在內嵌有可顯示器件的一旁的建築物的壁面或地面的一部分顯示地圖資訊一邊移動。又，亦可根據在網路上對編碼資料的存取容易性而切換接收資料的位元率(bit rate)，前述對編碼資料的存取容易性是指編碼資料被快取到可從接收終端短時間地存取的伺服器、或被複製到內容傳遞服務中的邊緣伺服器等。
[可適性編碼]
關於內容切換，利用圖35所示之應用上述各實施形態所示動態圖像編碼方法所壓縮編碼的可適性串流來說明。伺服器具有複數個內容相同、質不同的串流來作為個別串流雖無妨，但亦可如圖示，構成為分層進行編碼，藉此實現時間性/空間性的可適性串流，並活用其特徵來切換內容。也就是說，解碼側因應性能之內在要因與通訊頻帶狀態等之外在要因，來決定解碼到哪一層，藉此，解碼側可自由切換低解析度的內容與高解析度的內容而解碼。例如移動中以智慧型手機ex115收看的影像的後續，回家後想在網際網路TV等機器收看時，該機器只要將相同串流解碼至不同層即可，因此可減輕伺服器側的負擔。
進而言之，除了實現如上述般就每層編碼圖 片、且於基礎層的上位存在有增強層之可適性的構成以外，亦可是增強層包含有根據圖像的統計資訊等之元資訊，且解碼側根據元資訊來將基礎層的圖片進行超解析，藉此生成高畫質的內容。超解析亦可指同一解析度的SN比提升及解析度擴大的任一者。元資訊包含用以特定出使用於超解析處理的線性或非線性濾波係數的資訊，或特定出使用於超解析處理的濾波處理、機械學習或最小平方運算的參數值的資訊等。
又，亦可構成為因應圖像內的物件等的意義而將圖片分割為圖塊等，解碼側選擇欲解碼的圖塊，藉此僅解碼一部分區域。又，將物件屬性(人物、車、球等)及影像內位置(同一圖像內的座標位置等)作為元資訊儲存，藉此，解碼側可根據元資訊，特定出所需物件的位置，決定包含該物件的圖塊。例如如圖36所示，利用HEVC的SEI訊息等與像素資料不同的資料儲存構造來儲存元資訊。此元資訊表示例如主物件的位置、尺寸或色彩等。
又，以串流、序列、隨機存取單位等由複數個圖片所構成的單位來儲存元資訊亦可。藉此，解碼側可取得特定人物出現在影像內的時刻等，藉由配合圖片單位的資訊，可特定出物件所存在的圖片及物件在圖片內的位置。
[網頁最佳化]
圖37是表示電腦ex111等之網頁的顯示畫面例的圖。圖38是表示智慧型手機ex115等之網頁的顯示畫 面例的圖。如圖37及圖38所示，網頁有時包含複數個連結至圖像內容的連結(link)圖像，依瀏覽的器件，其觀看結果會不同。畫面上可看到複數個連結圖像時，顯示裝置(解碼裝置)顯示各內容所具有的靜止圖或I圖片來作為連結圖像，或以複數個靜止圖或I圖像等來顯示諸如gif動畫的影像，或僅接收基礎層來解碼及顯示影像，直到使用者明確地選擇連結圖像，或連結圖像靠近畫面中央附近，或者連結圖像全體進入畫面內為止。
由使用者選擇了連結圖像時，顯示裝置將基礎層最優先解碼。再者，構成網頁的HTML具有表示其為可適性內容的資訊時，顯示裝置亦可解碼至增強層。又，為了保證即時性，在選擇前或通訊頻帶非常嚴苛時，顯示裝置僅解碼及顯示參考前方的圖片(I圖片、P圖片、僅參考前方的B圖片)，藉此可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從開始解碼內容到開始顯示的延遲)。又，顯示裝置亦可特意忽視圖片的參考關係，令所有B圖片及P圖片參考前方而粗略地解碼，隨著時間經過且接收的圖片增加，再進行正常解碼。
[自動行駛]
又，為了車輛自動行駛或支援行駛而接收、發送2維或3維地圖資訊等靜止圖或影像資料時，接收終端亦可除了接收屬於1個以上的層的圖像資料以外，亦接收天候或施工資訊等作為元資訊，使該等相對應而解碼。再者，元資訊屬於層，或單純與圖像資料進行多工均可。
此時，由於包含接收終端的車輛、無人機或飛機等進行移動，因此接收終端藉由在接收要求時發送該接收終端的位置資訊，可一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端可因應使用者的選擇、使用者的狀況或通訊頻帶的狀態，動態地切換元資訊的接收程度或地圖資訊的更新程度。
如以上，於內容供給系統ex100，客戶端可即時接收由使用者發送的經編碼的資訊，予以解碼並播放。
[個人內容發布]
又，於內容供給系統ex100，不僅是來自影像發布業者的高畫質、長時間的內容，來自個人的低畫質、短時間的內容，亦可進行單播或多播發布。又，此類個人內容今後應會日益增加。為了使個人內容成為更優質的內容，伺服器亦可進行編輯處理後再進行編碼處理。此可由例如以下構成來實現。
伺服器在攝影時即時地或積存而在攝影後，從原圖像或編碼完畢資料進行攝影錯誤、場景估計、意義分析及物件檢出等辨識處理。然後，伺服器根據辨識結果，手動或自動地進行如下編輯：修正失焦或手震等；刪除亮度比其他圖片低、焦點未對準的場景等重要性低的場景；強調物件的邊緣；使色調變化等。伺服器根據編輯結果來編碼編輯後的資料。又，已知若攝影時間過長，收視率會下降，伺服器亦可根據圖像處理結果，因應攝影時間，如上述般不僅自動剪輯重要性低的場景，亦剪輯移動 少的場景等，以使內容維持在特定時間範圍內。又，伺服器亦可根據場景的意義分析的結果，生成摘要並編碼。
再者，個人內容有直接播送會拍到侵害著作權、著作人權權或肖像權等物的個案，亦有共享的範圍超越了意圖的範圍等對個人而言不便的情況。故，例如伺服器亦可將畫面周邊部的人臉或家中等特意變更為焦點不對準的圖像再編碼。又，伺服器亦可辨識編碼對象圖像內是否拍到與預先登錄的人物不同的人物的臉，拍到時，亦可進行對臉部部分加上馬賽克等之處理。又，作為編碼的預處理或後處理，亦可基於著作權等的觀點，指定使用者欲進行圖像加工的人物或背景區域，伺服器進行將指定的區域置換為其他影像，或模糊焦點等處理。若是人物，可一邊於動態圖像追蹤人物，一邊置換臉部部分的影像。
又，資料量少的個人內容的收看強烈要求即時性，因此雖也會依頻帶寬而定，但解碼裝置首先最優先接收基礎層，進行解碼及播放。解碼裝置亦可在此期間接收增強層，於播放循環時等播放2次以上的情況下，包含增強層在內而播放高畫質影像。若是此類進行可適性編碼的串流，可提供如下體驗：在未選擇時或剛開始觀看的階段動態圖雖粗略，但隨著串流智慧化(smart)，圖像改善。除了可適性編碼以外，將第1次播放的粗略串流、及參考第1次動態圖而編碼的第2次串流構成為1個串流，亦可提供相同的體驗。
[其他使用例]
又，該等編碼或解碼處理一般在各終端所具有的LSIex500處理。LSIex500為單晶片或由複數個晶片所組成的構成均可。再者，亦可將動態圖像編碼或解碼用的軟體，組入電腦ex111等可讀取之某種記錄媒體(CD-ROM、軟碟、或硬碟等)，並利用該軟體進行編碼或解碼處理。進而言之，智慧型手機ex115附有攝影機時，亦可發送由該攝影機所取得的動態圖資料。此時的動態圖資料是經智慧型手機ex115所具有的LSIex500進行編碼處理的資料。
再者，LSIex500亦可為下載應用軟體並啟用的構成。此時，終端首先判斷該終端是否支援內容的編碼方式，或是否具有特定服務的執行能力。終端不支援內容的編碼方式時，或不具有特定服務的執行能力時，終端下載編解碼器(codec)或應用軟體，其後取得內容並播放。
又，不限於經由網際網路ex101的內容供給系統ex100，於數位廣播用系統，亦可組入上述各實施形態的至少任一種動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)。由於利用衛星等使廣播用電波承載影像及聲音已被多工的多工資料來收發，因此相對於內容供給系統ex100為容易進行單播的構成，其差異在於適合多播，但關於編碼處理及解碼處理，可進行同樣的應用。
[硬體構成]
圖39是表示智慧型手機ex115的圖。又，圖 40是表示智慧型手機ex115的構成例的圖。智慧型手機ex115具有：天線ex450，用以與基地台ex110之間收發電波；攝影機部ex465，可拍攝影像及靜止圖；及顯示部ex458，顯示由攝影機部ex465所拍攝的影像、及由天線ex450所接收的影像等經解碼的資料。智慧型手機ex115進一步具備：操作部ex466，其為觸控面板等；聲音輸出部ex457，其為用以輸出聲音或音響的揚聲器等；聲音輸入部ex456，其為用以輸入聲音的微音器等；記憶體部ex467，可用以保存拍攝的影像或靜止圖、錄音的聲音、接收的影像或靜止圖、郵件等經編碼的資料或經解碼的資料；及插槽部ex464，其是與SIMex468的介面部，前述SIMex468可用以特定使用者、對於以網路為首之各種資料的存取進行認證。再者，亦可使用外接記憶體來取代記憶體部ex467。
又，統籌地控制顯示部ex458及操作部ex466等的主控制部ex460，經由匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝影機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464及記憶體部ex467連接。
藉由使用者之操作而使電源鍵成為開啟狀態時，電源電路部ex461從電池組(battery pack)對各部供給電力，藉此將智慧型手機ex115啟動為可動作的狀態。
智慧型手機ex115根據具有CPU、ROM及 RAM等的主控制部ex460的控制，進行通話及資料通訊等處理。通話時，以聲音訊號處理部ex454，將由聲音輸入部ex456所收音的聲音訊號轉換成數位聲音訊號，以調變/解調部ex452進行展頻處理，以發送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，經由天線ex450發送。又，放大接收資料，施行頻率轉換處理及類比數位轉換處理，以調變/解調部ex452進行解展頻處理，以聲音訊號處理部ex454轉換成類比聲音訊號後，從聲音輸出部ex457將其輸出。於資料通訊模式時，藉由主體部的操作部ex466等之操作，經由操作輸入控制部ex462，將文本(text)、靜止圖或影像資料送出至主控制部ex460，並同樣地進行收發處理。於資料通訊模式時發送影像、靜止圖或影像及聲音時，影像訊號處理部ex455將保存於記憶體部ex467的影像訊號、或從攝影機部ex465輸入的影像訊號，藉由上述各實施形態所示動態圖像編碼方法予以壓縮編碼，將已被編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454將聲音訊號編碼，將已被編碼的聲音資料送出至多工/分離部ex453，其中該聲音訊號是在以攝影機部ex465拍攝影像或靜止圖等之同時，以聲音輸入部ex456收音的聲音訊號。多工/分離部ex453以規定的方式將編碼完畢影像資料及編碼完畢聲音資料予以多工，以調變/解調部(調變/解調電路部)ex452及發送/接收部ex451施以調變處理及轉換處理，經由天線ex450來發送。
接收附加於電子郵件或聊天室的影像、或連結到網頁等之影像時，為了解碼經由天線ex450所接收的多工資料，多工/分離部ex453藉由分離多工資料，來將多工資料區分為影像資料的位元串流與聲音資料的位元串流，經由同步匯流排ex470，將已被編碼的影像資料供給至影像訊號處理部ex455，並且將已被編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，經由顯示器控制部ex459，從顯示部ex458顯示連結到的動態圖像檔所含的影像或靜止圖。又，聲音訊號處理部ex454解碼聲音訊號，從聲音輸出部ex457輸出聲音。再者，由於即時串流已普及，因此依使用者的狀況，亦可能發生聲音的播放就社會觀點而言不妥的情況。因此，作為初始值，宜採用不播放聲音訊號，僅播放影像訊號的構成。亦可僅於使用者進行點擊影像資料等操作時，才同步播放聲音。
又，於此雖是以智慧型手機ex115為例說明，但作為終端，除了具有編碼器及解碼器雙方的收發型終端以外，亦可考慮僅具有編碼器的發送終端及僅具有解碼器的接收終端等3種安裝形式。進而言之，雖說明了於數位廣播用系統接收或發送對影像資料多工有聲音資料的多工資料之情況，但於多工資料，除了聲音資料以外，與影像相關連的文字資料等亦可受到多工，且亦可接收或發送影像資料本身，而不是多工資料。
再者，雖說明了包含CPU的主控制部ex460控制編碼或解碼處理之情況，但終端亦經常具備GPU。故，亦可構成為：藉由在CPU與GPU共通化的記憶體，或藉由位址受管理以便可共通使用的記憶體，來活用GPU的性能，一次性地處理大區域。藉此，可縮短編碼時間，確保即時性，實現低延遲。特別是不採用CPU而採用GPU，以圖片等為單位統一進行移動估計、去區塊濾波、SAO(Sample Adaptive Offset(樣本適應性偏移))及轉換/量化的處理時，甚有效率。
產業上之可利用性
本揭示可利用於例如電視機、數位錄影機、車用導航器、行動電話、數位相機、數位攝影機、電視會議系統或電子鏡等。
100:編碼裝置
160:電路
162:記憶體

Claims (6)

  1. 一種編碼裝置，具備：電路；及記憶體，前述電路利用前述記憶體，對第1量化矩陣進行上轉換處理及下轉換處理，藉此生成第2量化矩陣，且對處理對象區塊的複數個轉換係數，利用前述第2量化矩陣進行量化，前述第1量化矩陣是正方形矩陣，前述正方形矩陣具有第1數目的列、以及與前述第1數目的列相等之第1數目的行，前述第2量化矩陣是長方形矩陣，前述長方形矩陣具有第2數目的列、以及與前述第2數目的列不同之第2數目的行，前述上轉換處理是在第1方向上執行，以使前述第2數目的列及前述第2數目的行中之其中一者比前述第1數目的列更大，前述下轉換處理是在與前述第1方向不同的第2方向上執行，以使前述第2數目的列及前述第2數目的行中之另一者比前述第1數目的列更小。
  2. 如請求項1之編碼裝置，其中前述電路於前述下轉換處理，將進行前述下轉換處理之前的量化矩陣的複數個矩陣要件，分割成與已進行前述下轉換處理之後 的量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述相同數目的群組的各群組，將該群組所含的複數個矩陣要件連續配置於進行前述下轉換處理之前的量化矩陣的水平方向或垂直方向，針對前述相同數目的群組的各群組，將(i)該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、(ii)該群組所含的複數個矩陣要件中位於最高頻側的矩陣要件、或(iii)該群組所含的複數個矩陣要件的平均值，決定為已進行前述下轉換處理之後的量化矩陣中對應於該群組的矩陣要件，進行前述下轉換處理之前的量化矩陣及已進行前述下轉換處理之後的量化矩陣是前述第1量化矩陣及進行前述上轉換處理之前的前述第2量化矩陣，或是已進行前述上轉換處理之後的前述第1量化矩陣及前述第2量化矩陣。
  3. 如請求項1或2之編碼裝置，其中前述電路於前述上轉換處理，(i)將已進行前述上轉換處理之後的量化矩陣的複數個矩陣要件，分割成與進行前述上轉換處理之前的量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述相同數目的群組的各群組，使該群組所含的複數個矩陣要件重複，藉此決定已進行前述上轉換處理之後的量化矩陣中對應於該群組的矩陣要件，或(ii)藉由於已進行前述上轉換處理之後的量化矩陣的複數個矩陣要件中鄰接的矩陣要件間進行線性內插，來決定已進行前述上轉換處理之後的量化矩陣的複數個矩陣要件， 進行前述上轉換處理之前的量化矩陣及已進行前述上轉換處理之後的量化矩陣是前述第1量化矩陣及進行前述下轉換處理之前的前述第2量化矩陣，或是已進行前述下轉換處理之後的前述第1量化矩陣及前述第2量化矩陣。
  4. 一種解碼裝置，具備：電路；及記憶體；前述電路利用前述記憶體，對第1量化矩陣進行上轉換處理及下轉換處理，藉此生成第2量化矩陣，且對處理對象區塊的複數個量化係數，利用前述第2量化矩陣進行反量化，前述第1量化矩陣是正方形矩陣，前述正方形矩陣具有第1數目的列、以及與前述第1數目的列相等之第1數目的行，前述第2量化矩陣是長方形矩陣，前述長方形矩陣具有第2數目的列、以及與前述第2數目的列不同之第2數目的行，前述上轉換處理是在第1方向上執行，以使前述第2數目的列及前述第2數目的行中之其中一者比前述第1數目的列更大，前述下轉換處理是在與前述第1方向不同的第2方向上執行，以使前述第2數目的列及前述第2數目的行中之另一者比前述第1數目的列更小。
  5. 如請求項4之解碼裝置，其中前述電路於前述下轉換處理，將進行前述下轉換處理之前的量化矩陣的複數個矩陣要件，分割成與已進行前述下轉換處理之後的量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述相同數目的群組的各群組，將該群組所含的複數個矩陣要件連續配置於進行前述下轉換處理之前的量化矩陣的水平方向或垂直方向，針對前述相同數目的群組的各群組，將(i)該群組所含的複數個矩陣要件中位於最低頻側的矩陣要件、(ii)該群組所含的複數個矩陣要件中位於最高頻側的矩陣要件、或(iii)該群組所含的複數個矩陣要件的平均值，決定為已進行前述下轉換處理之後的量化矩陣中對應於該群組的矩陣要件，進行前述下轉換處理之前的量化矩陣及已進行前述下轉換處理之後的量化矩陣是前述第1量化矩陣及進行前述上轉換處理之前的前述第2量化矩陣，或是已進行前述上轉換處理之後的前述第1量化矩陣及前述第2量化矩陣。
  6. 如請求項4或5之解碼裝置，其中前述電路於前述上轉換處理，(i)將已進行前述上轉換處理之後的量化矩陣的複數個矩陣要件，分割成與進行前述上轉換處理之前的量化矩陣的複數個矩陣要件之數目相同數目的群組，針對前述相同數目的群組的各群組，使該群組所含的複數個矩陣要件重複，藉此決定於已進行前述上轉換處理之後的量化矩陣中對應於該群組的矩陣要件，或(ii)藉由 於已進行前述上轉換處理之後的量化矩陣的複數個矩陣要件中鄰接的矩陣要件間進行線性內插，來決定已進行前述上轉換處理之後的量化矩陣的複數個矩陣要件，進行前述上轉換處理之前的量化矩陣及已進行前述上轉換處理之後的量化矩陣是前述第1量化矩陣及進行前述下轉換處理之前的前述第2量化矩陣，或是已進行前述下轉換處理之後的前述第1量化矩陣及前述第2量化矩陣。
TW108111002A 2018-03-30 2019-03-28 編碼裝置及解碼裝置 TWI789511B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862650458P 2018-03-30 2018-03-30
US62/650,458 2018-03-30

Publications (2)

Publication Number Publication Date
TW201943271A TW201943271A (zh) 2019-11-01
TWI789511B true TWI789511B (zh) 2023-01-11

Family

ID=68061701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111002A TWI789511B (zh) 2018-03-30 2019-03-28 編碼裝置及解碼裝置

Country Status (5)

Country Link
US (7) US11457215B2 (zh)
JP (3) JP7086176B2 (zh)
CN (8) CN116233459A (zh)
TW (1) TWI789511B (zh)
WO (1) WO2019189344A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11122272B2 (en) * 2018-12-26 2021-09-14 Mediatek Inc. Triangle prediction with applied-block settings and motion storage settings
US12088809B2 (en) * 2018-12-28 2024-09-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
WO2021126061A1 (en) * 2019-12-17 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Low complexity image filter
EP4087243A4 (en) * 2019-12-31 2023-09-06 SZ DJI Technology Co., Ltd. LOOP FILTRATION METHOD AND APPARATUS

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235420A (en) * 1991-03-22 1993-08-10 Bell Communications Research, Inc. Multilayer universal video coder
WO2013008459A1 (en) * 2011-07-13 2013-01-17 Canon Kabushiki Kaisha Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and program
US20140050267A1 (en) * 2011-05-20 2014-02-20 Hironari Sakurai Processing device and image processing method
US20140177728A1 (en) * 2011-08-23 2014-06-26 Ximin Zhang Method and system of transform block processing according to quantization matrix in video coding
US20140321539A1 (en) * 2011-12-19 2014-10-30 Sony Corporation Image processing device and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3346708T3 (pl) 2012-04-16 2021-03-08 Electronics And Telecommunications Research Institute Sposób kodowania obrazu

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235420A (en) * 1991-03-22 1993-08-10 Bell Communications Research, Inc. Multilayer universal video coder
US20140050267A1 (en) * 2011-05-20 2014-02-20 Hironari Sakurai Processing device and image processing method
WO2013008459A1 (en) * 2011-07-13 2013-01-17 Canon Kabushiki Kaisha Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and program
US20140177728A1 (en) * 2011-08-23 2014-06-26 Ximin Zhang Method and system of transform block processing according to quantization matrix in video coding
US20140321539A1 (en) * 2011-12-19 2014-10-30 Sony Corporation Image processing device and method

Also Published As

Publication number Publication date
CN116233461A (zh) 2023-06-06
US20220394268A1 (en) 2022-12-08
TW201943271A (zh) 2019-11-01
US11722670B2 (en) 2023-08-08
JPWO2019189344A1 (ja) 2021-03-11
CN116233460A (zh) 2023-06-06
JP7375113B2 (ja) 2023-11-07
CN116233457A (zh) 2023-06-06
US20220394262A1 (en) 2022-12-08
US11677949B2 (en) 2023-06-13
US11457215B2 (en) 2022-09-27
TW202316856A (zh) 2023-04-16
CN116233456A (zh) 2023-06-06
US11716473B2 (en) 2023-08-01
JP7086176B2 (ja) 2022-06-17
CN111886865B (zh) 2023-03-31
US11595654B2 (en) 2023-02-28
US20220385909A1 (en) 2022-12-01
US11683492B2 (en) 2023-06-20
US20210014496A1 (en) 2021-01-14
US20220385908A1 (en) 2022-12-01
JP2023175033A (ja) 2023-12-08
US20220394267A1 (en) 2022-12-08
CN116233455A (zh) 2023-06-06
WO2019189344A1 (ja) 2019-10-03
CN116233458A (zh) 2023-06-06
US20230328248A1 (en) 2023-10-12
CN111886865A (zh) 2020-11-03
JP2022111209A (ja) 2022-07-29
CN116233459A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
TWI785044B (zh) 編碼裝置及解碼裝置
CN109155863B (zh) 编码装置、解码装置、编码方法及解码方法
JP6994868B2 (ja) 符号化装置、復号装置、符号化方法、および復号方法
TWI803420B (zh) 編碼裝置、解碼裝置及用於保存使電腦執行解碼處理之位元流的非暫時性記憶媒體
TWI830328B (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
TWI794129B (zh) 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
TWI789511B (zh) 編碼裝置及解碼裝置
TWI812414B (zh) 編碼裝置、解碼裝置及記錄媒體
TWI791414B (zh) 編碼裝置及解碼裝置
TW202315412A (zh) 圖像解碼裝置及解碼方法
JP7503607B2 (ja) 符号化方法及び復号方法
JP2022058478A (ja) 符号化装置及び復号装置
TWI846782B (zh) 編碼裝置及解碼裝置
TWI783129B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI825966B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW202011740A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI788567B (zh) 編碼裝置、解碼裝置、編碼方法、解碼方法及程式記錄媒體
TWI850920B (zh) 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體