TW202013957A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW202013957A
TW202013957A TW108122310A TW108122310A TW202013957A TW 202013957 A TW202013957 A TW 202013957A TW 108122310 A TW108122310 A TW 108122310A TW 108122310 A TW108122310 A TW 108122310A TW 202013957 A TW202013957 A TW 202013957A
Authority
TW
Taiwan
Prior art keywords
conversion
conversion type
unit
matrix
candidate table
Prior art date
Application number
TW108122310A
Other languages
English (en)
Inventor
筑波健史
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202013957A publication Critical patent/TW202013957A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露係有關於，可抑制抑制編碼效率之降低的影像處理裝置及方法。 從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；使用已被選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型；使用該已被設定之轉換類型之轉換矩陣，而將目前區塊的係數資料進行逆正交轉換。本揭露係可適用於例如影像處理裝置、影像編碼裝置、或影像解碼裝置等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法，特別是有關於可抑制編碼效率之降低(改善編碼效率)的影像處理裝置及方法。
先前，關於亮度，每一TU(Transform Unit)單位的，按照水平方向之初級轉換PThor(亦稱為初級水平轉換)及垂直方向之初級轉換PTver(亦稱為初級垂直轉換)之每一者，適應性地從複數個不同的正交轉換，選擇出初級轉換的適應初級轉換(AMT：Adaptive Multiple Core Transforms)，已被揭露(例如參照非專利文獻1)。
在非專利文獻1中，作為初級轉換之候補，係有DCT-II、DST-VII、DCT-VIII、DST-I、DST-VII這5個1維正交轉換。又，甚至將DST-IV及IDT(Identity Transform：1維轉換略過)這2個1維正交轉換予以追加，將總計7個1維正交轉換當作初級轉換之候補，已被提出(例如參照非專利文獻2)。 [先前技術文獻] [非專利文獻]
[非專利文獻1] Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017 [非專利文獻2] V. Lorcy, P. Philippe, "Proposed improvements to the Adaptive multiple Core transform", JVET-C0022, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26 May -1 June 2016
[發明所欲解決之課題]
然而，這些方法的情況下，未考慮轉換類型的頻率特性，恐怕會選擇到不適合於殘差訊號之頻率特性的轉換類型，導致編碼效率降低。
本揭露係有鑑於此種狀況而研發，目的在於可抑制編碼效率之降低(改善編碼效率)。 [用以解決課題之手段]
本技術之一側面之影像處理裝置，係為一種影像處理裝置，其係具備：解碼部，係將位元串流予以解碼，生成由影像之預測殘差被正交轉換而成的係數資料；和選擇部，係從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；和設定部，係使用已被前記選擇部所選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型；和逆正交轉換部，係使用已被前記設定部所設定之轉換類型之轉換矩陣，而將已被前記解碼部所生成之前記目前區塊之前記係數資料，進行逆正交轉換。
本技術之一側面之影像處理方法，係為一種影像處理方法，係將位元串流予以解碼，生成由影像之預測殘差被正交轉換而成的係數資料；從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；使用已被選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型；使用已被設定之轉換類型之轉換矩陣，而將前記位元串流進行解碼所被生成的前記目前區塊之前記係數資料，進行逆正交轉換。
本技術之另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：選擇部，係從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；和設定部，係使用已被前記選擇部所選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型；和正交轉換部，係使用已被前記設定部所設定之轉換類型之轉換矩陣，而將影像之預測殘差進行正交轉換，而生成係數資料；和編碼部，係將藉由前記正交轉換部把前記預測殘差進行正交轉換而被生成的前記係數資料予以編碼，生成位元串流。
本技術之另一側面的影像處理方法，係為一種影像處理方法，係從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；使用已被選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型；使用已被設定之轉換類型之轉換矩陣，而將影像之預測殘差進行正交轉換，而生成係數資料；將前記預測殘差被正交轉換而被生成的前記係數資料予以編碼，生成位元串流。
於本技術之一側面的影像處理裝置及方法中，位元串流係被解碼，由影像之預測殘差被正交轉換而成的係數資料係被生成；從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，對應於編碼參數的轉換類型候補表係被選擇；該已被選擇之轉換類型候補表係被使用，對目前區塊做適用的轉換類型係被設定；該已被設定之轉換類型之轉換矩陣係被使用，該位元串流被解碼所被生成的目前區塊之係數資料，係被逆正交轉換。
於本技術之另一側面的影像處理裝置及方法中，從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，對應於編碼參數的轉換類型候補表係被選擇；該已被選擇之轉換類型候補表係被使用，對目前區塊做適用的轉換類型係被設定；該已被設定之轉換類型之轉換矩陣係被使用，影像之預測殘差係被正交轉換，係數資料係被生成；該預測殘差被正交轉換而被生成之係數資料係被編碼，位元串流係被生成。 [發明效果]
若依據本揭露，則可處理影像。尤其是，可抑制編碼效率之降低(改善編碼效率)。此外，上記效果並不一定是限定性的，亦可連同上記效果、或取代上記效果，而達成本說明書所揭露之效果、或根據本說明書所能掌握的其他效果。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。 1.支持技術內容、技術用語的文獻等 2.適應初級轉換 3.概念 4.第1實施形態(轉換類型導出裝置　方法#1) 5.第2實施形態(轉換類型導出裝置　方法#2) 6.第3實施形態(轉換類型導出裝置　方法#3) 7.第4實施形態(轉換類型導出裝置　方法#4) 8.第5實施形態(影像編碼裝置) 9.第6實施形態(影像解碼裝置) 10.附記
＜1.支持技術內容、技術用語的文獻等＞ 本技術所揭露之範圍，係不只有實施例中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1：(上述) 非專利文獻2：(上述) 非專利文獻3：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017 非專利文獻4：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，非專利文獻4中所記載之Quad-Tree Block Structure、非專利文獻1中所記載之QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。
又，於本說明書中，作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊)，係在沒有特別言及的情況下，是表示圖像內的任意之部分領域，其大小、形狀、及特性等並無限定。例如，「區塊」中係可包含有：上述的上述的非專利文獻1、非專利文獻3、及非專利文獻4所記載之TB(Transform Block)、TU(Transform Unit)、PB(Prediction Block)、PU (Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、轉換區塊、子區塊、巨集區塊、瓷磚、或切片等，任意之部分領域(處理單位)。
又，在指定此種區塊的尺寸時，不只可直接地指定區塊尺寸，亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊，來指定區塊尺寸。又，例如，亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分，來指定區塊尺寸。例如，作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下，作為該資訊，亦可使用如上述的間接指定尺寸的資訊。藉由如此設計，可降低該資訊的資訊量，有時候可以提升編碼效率。又，該區塊尺寸之指定中係包含有，區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
又，於本說明書中，所謂編碼，係不只包含將影像轉換成位元串流的全體之處理，也包含部分之處理。例如，不只包含將預測處理、正交轉換、量化、算術編碼等予以包括的處理，也包含將量化與算術編碼予以總稱的處理、將預測處理與量化與算術編碼予以包括的處理等。同樣地，所謂解碼，係不只包含將位元串流轉換成影像的全體之處理，也包含部分之處理。例如，不只包含將逆算術解碼、逆量化、逆正交轉換、預測處理等予以包括的處理，也包含將逆算術解碼與逆量化予以包括的處理、將逆算術解碼與逆量化與預測處理予以包括的處理等。
＜2.適應初級轉換＞ ＜轉換類型之設定＞ 非專利文獻1中所記載之測試模型(JEM4(Joint Exploration Test Model 4))中，關於亮度的轉換區塊，按照水平方向之初級轉換PThor(亦稱為初級水平轉換)及垂直方向之初級轉換PTver(亦稱為初級垂直轉換)之每一者，適應性地從複數個不同的1維正交轉換，選擇出初級轉換的適應初級轉換(AMT(Adaptive Multiple core Transforms))，已被揭露。此外，AMT亦稱為EMT(Explicit Multiple core Transforms)。
具體而言，關於亮度的轉換區塊，表示是否實施適應初級轉換的適應初級轉換旗標apt_flag為0(偽)的情況下，作為初級轉換，DCT(Discrete Cosine Transform)-II、或DST(Discrete Sine Transform)-VII，是藉由模式資訊而被無歧異地決定(TrSetIdx = 4)。
適應初級轉換旗標apt_flag為1(真)的情況，且含有處理對象之亮度之轉換區塊的目前CU(Coding Unit)是畫面內CU的情況下，關於水平方向(x方向)與垂直方向(y方向)之各者的作為初級轉換之候補的包含正交轉換的轉換集合TrSet，是從3個轉換集合TrSet(TrSetIdx = 0,1,2)之中被選擇。此外，上述的DST-VII或DCT-VIII等，係表示了正交轉換之類型。
該轉換集合TrSet，係基於模式資訊與轉換集合之對應表(的畫面內預測模式資訊)而被無歧異地決定。例如，如以下的式(1)及式(2)所示，對各轉換集合TrSetH、TrSetV，設定將對應之轉換集合TrSet予以指定的轉換集合識別元TrSetIdx的方式，而被實施。
Figure 02_image001
此處，TrSetH係表示初級水平轉換PThor之轉換集合，TrSetV係表示初級垂直轉換PTver之轉換集合，查找表LUT_IntraModeToTrSet係為模式資訊與轉換集合之對應表。查找表LUT_IntraModeToTrSet[][]的第1個序列，係以畫面內預測模式IntraMode為引數，第2個序列，係以{H=0, V=1}為引數。
例如，畫面內預測模式號碼19(IntraMode == 19)的情況下，作為初級水平轉換PThor之轉換集合TrSetH(亦稱為初級水平轉換集合)，轉換集合識別元TrSetIdx = 0之轉換集合係被選擇，作為初級垂直轉換PTver之轉換集合TrSetV(亦稱為初級垂直轉換集合)，轉換集合識別元TrSetIdx=2之轉換集合係被選擇。
此外，適應初級轉換旗標apt_flag為1(真)的情況，且含有處理對象之亮度之轉換區塊的目前CU是畫面間CU的情況下，對初級水平轉換之轉換集合TrSetH及初級垂直轉換之轉換集合TrSetV，係指派畫面間CU專用的轉換集合InterTrSet(TrSetIdx = 3)。
接下來，關於水平方向與垂直方向之各者，已被選擇之轉換集合TrSet之中，要適用哪個正交轉換，是藉由初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag之中的對應的一方而選擇。
例如，如以下的式(3)及式(4)，以初級{水平, 垂直}轉換集合TrSet{H,V}，與初級{水平, 垂直}轉換指定旗標pt_{hor,ver}_flag為引數，從所定之轉換集合之定義表(LUT_TrSetToTrTypeIdx)加以導出。
Figure 02_image003
此外，從初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag往初級轉換識別元pt_idx，係基於以下的式(5)而被導出。亦即，初級轉換識別元pt_idx的上位1bit，係對應於初級垂直轉換指定旗標之值，下位1bit，係對應於初級水平轉換指定旗標之值。
Figure 02_image005
對已被導出之初級轉換識別元pt_idx的bin列，適用算術編碼，生成位元列，藉此而實施編碼。此外，適應初級轉換旗標apt_flag、及初級轉換識別元pt_idx，係於亮度之轉換區塊中被傳訊。
如以上所述，在非專利文獻1中，作為初級轉換之候補，係提出了DCT-II(DCT2)、DST-VII(DST7)、DCT-VIII(DCT8)、DST-I(DST1)、DCT-V(DCT5)這5個1維正交轉換。在AMT被適用的情況下，從根據預測模式而決定的轉換集合之中，表示水平/垂直各要適用哪個正交轉換的2位元之索引會被傳訊，每一方向地從2個候補中選擇出1個轉換。又，於非專利文獻2中係提出，除了這些以外，甚至還有DST-IV(DST4)及IDT(Identity Transform：1維轉換略過)這2個1維正交轉換被追加，將總計7個1維正交轉換當作初級轉換之候補。
＜轉換類型之頻率特性＞ 話說回來，這些轉換類型，係頻率特性並不一定彼此相同。然而，於非專利文獻1或非專利文獻2所記載之方法中，係未考慮此種頻率特性，而將所準備的所有轉換類型都當作候補。因此，例如，頻率特性不適合於殘差訊號的轉換類型會被選擇，恐怕會因此導致編碼效率降低。
例如，若比較低次基底向量之頻率特性，則DCT4、DST4、DST2等之轉換類型，相較於DCT8、DST7、DST1等之轉換類型，是具有較偏高通濾波器之特性(偏向高通之低通濾波器)。又，若比較高次(3次)基底向量之頻率特性，則DCT4、DST4、DST2等之轉換類型，相較於DCT8、DST7、DST1等之轉換類型，是具有較偏低通濾波器之特性(偏向低通之高通濾波器)。亦即，DCT4、DST4、DST2等之轉換類型，相較於DCT8、DST7、DST1等之轉換類型，可使高頻成分較往低次集中。
因此，對於含有較多高頻成分的殘差訊號，適用DCT4、DST4、DST2等之轉換類型，會比適用DCT8、DST7、DST1等之轉換類型的情況，較能提升編碼效率。
然而，在非專利文獻1或非專利文獻2所記載之方法的情況下，未考慮如此的頻率特性而將所有的轉換類型都列為候補，從全部候補之中選擇出所望之轉換類型，因此，對於含有較多高頻成分的殘差訊號，恐怕會適用DCT8、DST7、DST1等之轉換類型，相較於適用DCT4、DST4、DST2等之轉換類型的情況，會導致編碼效率降低。
＜3.概念＞ ＜相應於頻率特性的轉換類型之選擇＞ 於是，試圖考慮轉換類型之頻率特性來進行轉換類型之選擇。例如，使其選擇具有適合於正交轉換之對象之殘差訊號(逆正交轉換之情況下係為係數資料)之頻率特性的轉換類型。藉由如此設計，可選擇具有與正交轉換或逆正交轉換之對象資料的頻率成分之特徵所相應之頻率特性的轉換類型，可抑制編碼效率之降低(可改善編碼效率)。
例如，將轉換類型之候補基於其頻率特性而分成複數個群組，隨應於殘差訊號(或係數資料)的頻率成分之特徵，而將身為候補的群組，從該複數個群組之中選擇出來。藉由如此設計，可把具有適合於殘差訊號(或係數資料)之頻率特性的轉換類型當作候補，可進行轉換類型之選擇。因此，可較容易地選擇，具有與正交轉換或逆正交轉換之對象資料的頻率成分之特徵所相應之頻率特性的轉換類型。
此外，殘差訊號(或係數資料)的頻率成分之特徵，係亦可基於例如編碼參數而加以推定。用來推定該頻率成分之特徵所需之編碼參數，係為任意。關於具體例將於後述。亦即，此情況下，可基於編碼參數，來進行轉換類型之選擇。因此，可較容易地選擇，具有與正交轉換或逆正交轉換之對象資料的頻率成分之特徵所相應之頻率特性的轉換類型。
＜轉換類型候補表之選擇＞ 因此，例如，如圖1所示的表的(項目名的那一行除外)從上數來第1行的「方法」的欄中所示，亦可基於編碼參數，從轉換類型之頻率特性為彼此互異的複數個轉換類型候補表之中選擇出要使用的轉換類型候補表。
此處所謂的轉換類型候補表，係為把適應初級轉換中的轉換類型之候補當作要素的表格資訊。將該轉換類型候補表中所含之轉換類型當作候補，而進行適應初級轉換(轉換類型之選擇)。
作為如此的轉換類型候補表之候補，分別準備了，把相應於頻率特性而被分類之轉換類型當作要素而含有的複數個轉換類型候補表，亦即，作為要素而含有的轉換類型之頻率特性為彼此互異的方式所被作成的複數個轉換類型候補表，從其中選擇出要使用的表。亦即，藉由該表之選擇，就可選擇要做適用的轉換類型之頻率特性。
亦即，亦可從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；使用該已被選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型。
例如，於影像處理裝置中，亦可具備：選擇部，係從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；和設定部，係使用已被該選擇部所選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型。
藉由如此設計，就可選擇具有適切的頻率特性(與正交轉換或逆正交轉換之對象資料的頻率成分之特徵所相應之頻率特性)的轉換類型。因此，可抑制(因為所使用的轉換類型之頻率特性不適合於正交轉換或逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。
換言之，藉由如此設計，相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
＜方法#1＞ 作為編碼參數，亦可使用例如，處理對象也就是目前區塊的區塊尺寸。因此，例如，如圖1所示的表的(項目名的那一行除外)從上數來第2行的「方法」的欄中所示，亦可基於其區塊尺寸，來選擇轉換類型候補表(方法#1)。
一般而言，區塊尺寸被設定得較小的領域，係編碼對象之影像的空間方向之變化較大，相較於區塊尺寸被設定得較大的領域，會含有較多的高頻成分因此，對於此種小的區塊，係適用具有可使高頻成分較往低次集中之頻率特性的轉換類型，較為理想。換言之，對於大的區塊，係適用具有可使低頻成分較往低次集中之頻率特性的轉換類型，較為理想。
因此，如上述，基於目前區塊的區塊尺寸，來選擇轉換類型候補表，藉此，可抑制(因為所使用的轉換類型之頻率特性不適合於正交轉換或逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，藉由如此設計，相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
此外，有的時候，某個轉換類型之轉換矩陣係可(藉由例如翻轉、轉置、符號反轉、取樣等之操作而)從其他轉換類型之轉換矩陣予以導出。因此，藉由如上述般地隨應於區塊尺寸來區分要適用(作為候補)的轉換類型，就可例如，將小區塊尺寸用的轉換類型之轉換矩陣，從比其還大區塊尺寸用的轉換類型之轉換矩陣，予以導出。
因此，藉由如此設計，可減少作為候補而準備的轉換類型(轉換矩陣)之數量，因此可抑制用來記憶該作為候補之轉換矩陣的查找表之大小的增大(可縮小其大小)。又，在可導出的轉換類型彼此之間，正交轉換處理中的用來進行矩陣演算所需之演算電路，可以共通化。因此，藉由如此設計，可抑制電路規模的增大(可降低電路規模)。
＜方法#2＞ ＜RD成本(編碼側)＞ 作為編碼參數，亦可使用例如RD成本。因此，例如，如圖1所示的表的(項目名的那一行除外)從上數來第3行的「方法」的欄中所示，亦可基於各轉換類型適用時的RD成本，來選擇轉換類型候補表(方法#2)。
亦即，亦可針對適用了各轉換類型之情況而算出RD成本，並進行比較，藉此以確認使用哪個轉換類型候補表來選擇轉換類型的情況，可使編碼效率最為提升。
藉由如此設計，由於可使用編碼效率最佳的轉換類型候補表來選擇轉換類型，因此可抑制(因為所使用的轉換類型之頻率特性不適合於正交轉換或逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，藉由如此設計，相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
＜識別資訊之傳訊(解碼側)＞ 此外，如此的RD成本之導出，雖然可於編碼側進行，但是在解碼側係為困難。於是在此情況下，亦可設計成，如從上數來第3行的「方法」的欄中所示，將用來識別已被選擇之轉換類型候補表的識別資訊(轉換類型候補表切換旗標)，從編碼側往解碼側進行傳輸(傳訊)(方法#2)。
亦即，亦可設計成，把用來識別在編碼之際所被選擇之轉換類型候補表的識別資訊亦即轉換類型候補表切換旗標當作編碼參數，於解碼側係選擇從編碼側所被傳輸(傳訊)的該轉換類型候補表切換旗標所對應之轉換類型候補表。
藉由如此設計，針對編碼側所致之轉換類型之選擇，可作明示性的控制。又，於解碼側，係只要基於從編碼側所被供給之轉換類型候補表切換旗標來選擇轉換類型候補表即可，因此可較容易地，進行轉換類型候補表之選擇。
＜方法#3＞ 又，亦可隨應於預測精度來選擇轉換類型候補表。例如，作為有關於預測精度的編碼參數，亦可使用目前區塊的畫面間預測模式。因此，例如，如圖1所示的表的(項目名的那一行除外)從上數來第4行的「方法」的欄中所示，亦可基於其畫面間預測模式，來選擇轉換類型候補表(方法#3)。
一般而言，於畫面間預測中，預測之數量越大，預測精度就越高。例如，單預測的情況是比雙預測的情況下的殘差成分還多，殘差訊號中所含之高頻成分會較多。於是，設計成隨應於目前區塊的畫面間預測模式之預測之數量(例如是單預測還是雙預測)，來選擇轉換類型候補表。
例如，對於畫面間預測模式之預測之數量為較少(單預測等)的區塊，係適用具有可使高頻成分較往低次集中之頻率特性的轉換類型，對於畫面間預測模式之預測之數量為較多(雙預測等)的區塊，係適用具有可使低頻成分較往低次集中之頻率特性的轉換類型。
藉由如此設計，可抑制(因為所使用的轉換類型之頻率特性不適合於正交轉換或逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，藉由如此設計，相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
此外，亦可基於畫面內預測模式與畫面間預測模式，來選擇轉換類型候補表。例如，畫面內預測模式，係適用具有可使低頻成分較往低次集中之頻率特性的轉換類型，對畫面間預測模式，則適用具有可使高頻成分較往低次集中之頻率特性的轉換類型。藉此，可提升編碼效率。
話說回來，有的時候，某個轉換類型之轉換矩陣係可(藉由例如翻轉、轉置、符號反轉、取樣等之操作而)從其他轉換類型之轉換矩陣予以導出。因此，藉由如上述般地隨應於畫面間預測模式(預測之數量)來區分要適用(作為候補)的轉換類型，就可例如，將預測之數量較多的畫面間預測模式用的轉換類型之轉換矩陣，從預測之數量較少的畫面間預測模式用的轉換類型之轉換矩陣，予以導出。隨應於是否為畫面內預測模式還是畫面間預測模式來區分作為候補之轉換類型的情況下也是同樣如此。
因此，藉由如此設計，可減少作為候補而準備的轉換類型(轉換矩陣)之數量，因此可抑制用來記憶該作為候補之轉換矩陣的查找表之大小的增大(可縮小其大小)。又，在可導出的轉換類型彼此之間，正交轉換處理中的用來進行矩陣演算所需之演算電路，可以共通化。因此，藉由如此設計，可抑制電路規模的增大(可降低電路規模)。
＜方法#4＞ 又，作為有關於預測精度的編碼參數，亦可使用例如目前區塊的運動向量之像素精度。因此，例如，如圖1所示的表的(項目名的那一行除外)從上數來第5行的「方法」的欄中所示，亦可基於其運動向量之像素精度，來選擇轉換類型候補表(方法#4)。
一般而言，運動向量所指示的位置之精度越細，預測精度就越高。例如，運動向量是整數像素精度的情況下(運動向量是指示整數位置的情況)，相較於運動向量是小數像素精度的情況(運動向量是指示子像素位置的情況)，殘差成分會較多，殘差訊號中所含之高頻成分會較多。於是，設計成隨應於目前區塊的運動向量之像素精度(例如運動向量所指示的位置是否為整數像素位置還是子像素位置)，來選擇轉換類型候補表。
例如，對運動向量是整數像素精度的區塊，係適用具有可使高頻成分較往低次集中之頻率特性的轉換類型，對運動向量是小數像素精度的區塊，係適用具有可使低頻成分較往低次集中之頻率特性的轉換類型。
藉由如此設計，可抑制(因為所使用的轉換類型之頻率特性不適合於正交轉換或逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，藉由如此設計，相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
此外，有的時候，某個轉換類型之轉換矩陣係可(藉由例如翻轉、轉置、符號反轉、取樣等之操作而)從其他轉換類型之轉換矩陣予以導出。因此，藉由如上述般地隨應於運動向量之像素精度來區分要適用(作為候補)的轉換類型，就可例如，將較細精度用的轉換類型之轉換矩陣，從較粗精度用的轉換類型之轉換矩陣，予以導出。
因此，藉由如此設計，可減少作為候補而準備的轉換類型(轉換矩陣)之數量，因此可抑制用來記憶該作為候補之轉換矩陣的查找表之大小的增大(可縮小其大小)。又，在可導出的轉換類型彼此之間，正交轉換處理中的用來進行矩陣演算所需之演算電路，可以共通化。因此，藉由如此設計，可抑制電路規模的增大(可降低電路規模)。
＜其他＞ 上述的各方法(方法#1乃至方法#4)，係可與上述的其他方法(方法#1乃至方法#4)做組合而使用。又，亦可將上述的各方法(方法#1乃至方法#4)，與非上述的其他方法(使用其他編碼參數的方法)做組合而使用。亦即，亦可基於複數種類之編碼參數，來選擇所使用的轉換類型候補表。例如，亦可基於區塊尺寸(方法#1)與畫面間預測模式(方法#3)之雙方，來選擇轉換類型候補表。
又，如上述，轉換類型候補表之選擇中所使用的編碼參數係為任意，不限定於上述的例子。
甚至，亦可準備複數個方法來作為候補，從該複數個方法之中選擇出任一方法而採用。例如，亦可準備上述的方法#1乃至方法#4、非上述的方法、以及將複數個方法之組合等來作為候補，從其中選擇出最佳的方法。藉由如此設計，就可藉由較為適切的方法，來選擇轉換類型候補表。因此，可抑制編碼效率之降低(可促使編碼效率提升)。
此外，此情況下，在解碼側，必須要採用與編碼側中所被採用之方法相同的方法。於是，亦可將表示在編碼側所採用之方法的資訊(識別資訊等)，往解碼側進行傳輸(傳訊)。藉由如此設計，於解碼側就可較容易地選擇正確的方法。
＜4.第1實施形態＞ ＜轉換類型導出裝置(方法#1)＞ 接著，更具體地說明各方法。首先說明方法#1。圖2係適用了本技術的影像處理裝置之一態樣的轉換類型導出裝置之構成之一例的區塊圖。圖2所示的轉換類型導出裝置100，係藉由上述的方法#1，而將初級轉換或逆初級轉換中所被使用之轉換類型予以導出的裝置。
如圖2所示，轉換類型導出裝置100係具有：Emt控制部101、轉換集合識別元設定部102、轉換類型候補表選擇部103、及轉換類型設定部104。
Emt控制部101係具有例如：CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等之任意之構成，進行正交轉換的轉換類型之適應性變更(例如適應初級轉換)之控制的相關處理。例如，Emt控制部101，係將從轉換類型導出裝置100之外部所被輸入之轉換旗標Emtflag(亦稱為emt_flag)，加以取得。轉換旗標Emtflag，係為表示是否將正交轉換之轉換類型做適應性變更(例如是否適用適應初級轉換)的旗標。Emt控制部101，係基於已被輸入之轉換旗標Emtflag之值，來控制轉換類型導出裝置100的各處理部(例如轉換集合識別元設定部102乃至轉換類型設定部104)(虛線箭頭)，而使正交轉換之轉換類型做適應性變更，或是不變更等等。
轉換集合識別元設定部102，係具有例如CPU、ROM、RAM等之任意之構成，進行轉換集合識別元trSetIdx之設定的相關處理。轉換集合識別元trSetIdx，係為用來識別轉換集合的識別元。轉換集合，係轉換類型之候補的組合之模態的集合(群組)。關於細節係於後述，但藉由選擇轉換集合，就可從轉換類型候補表之中，過濾出可選擇的轉換類型之候補之組合。例如，轉換集合識別元設定部102，係將從轉換類型導出裝置100之外部所被輸入之模式資訊、區塊尺寸、色彩識別元等之各種資訊，加以取得。轉換集合識別元設定部102，係基於這些資訊，而將轉換集合識別元trSetIdx予以導出(設定)。轉換集合識別元設定部102，係將已設定之轉換集合識別元trSetIdx，供給至轉換類型設定部104。
轉換類型候補表選擇部103，係具有例如CPU、ROM、RAM等之任意之構成，進行轉換類型候補表之選擇的相關處理。例如，轉換類型候補表選擇部103，係將從轉換類型導出裝置100之外部所被輸入之區塊尺寸的相關資訊，加以取得。又，轉換類型候補表選擇部103，係將轉換類型候補表A111、和轉換類型候補表B112，事前加以記憶。轉換類型候補表選擇部103，係基於已取得之區塊尺寸的相關資訊(目前區塊之區塊尺寸)，而在這些轉換類型候補表之中，選擇出任一方。轉換類型候補表選擇部103，係將已選擇之轉換類型候補表，供給至轉換類型設定部104。
例如，轉換類型候補表A111與轉換類型候補表B112係為，作為要素的轉換類型之候補的頻率特性是彼此互異。例如，轉換類型候補表A111，係相較於轉換類型候補表B112，把適合於含有較高頻成分之殘差訊號的轉換類型，當作要素而含有。換言之，轉換類型候補表A111，係相較於轉換類型候補表B112，把適合於較小區塊的轉換類型，當作要素而含有。
轉換類型候補表B112，係相較於轉換類型候補表A111，把適合於含有較低頻成分之殘差訊號的轉換類型，當作要素而含有。換言之，轉換類型候補表B112，係相較於轉換類型候補表A111，把適合於較大區塊的轉換類型，當作要素而含有。
圖3的A中圖示了轉換類型候補表A111之例子。圖3的A所示之例子的情況下，轉換類型候補表A111，係將DCT2、DCT4、DST2、及DST4這4種轉換類型，當作要素而含有。又，圖3的B中圖示了轉換類型候補表B112之例子。圖3的B所示之例子的情況下，轉換類型候補表B112，係將DCT2、DCT8、DST1、及DST7這4種轉換類型，當作要素而含有。
此外，DST7與DST4係為可相互置換的轉換類型。又，DCT8與DCT4係為可相互置換的轉換類型。再者，DST1與DST2係為可相互置換的轉換類型。
低次基底向量的頻率特性係為，轉換類型DCT4、DST2、及DST4，是比轉換類型DCT8、DST1、及DST7，高通濾波器之特性為較強(偏向高通之低通濾波器)。又，高次(3次)基底向量的頻率特性係為，轉換類型DCT4、DST2、及DST4，是比轉換類型DCT8、DST1、及DST7，低通濾波器之特性為較強(偏向低通之高通濾波器)。亦即，轉換類型DCT4、DST2、及DST4，是比轉換類型DCT8、DST1、及DST7，具有可使高頻成分較往低次集中的頻率特性。
於是，轉換類型候補表選擇部103，係在目前區塊的區塊尺寸是小於所定之閾值的情況下(或為閾值以下的情況)，則選擇轉換類型候補表A111，在目前區塊的區塊尺寸是所定閾值以上的情況下(或為大於閾值的情況)，則選擇轉換類型候補表B112。
轉換類型設定部104，係具有例如CPU、ROM、RAM等之任意之構成，進行轉換類型之設定的相關處理。例如，轉換類型設定部104，係將已被轉換集合識別元設定部102所導出(設定)的轉換集合識別元trSetIdx，加以取得。又，轉換類型設定部104，係將已被轉換類型候補表選擇部103所選擇之轉換類型候補表，加以取得。再者，轉換類型設定部104，係將從轉換類型導出裝置100之外部所被輸入之轉換索引EmtIdx(亦稱為emt_idx)，加以取得。又，轉換類型設定部104，係將從轉換類型導出裝置100之外部所被輸入之初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag，加以取得。
如圖3的例子所示，於轉換類型候補表中，係可基於轉換集合識別元trSetIdx與轉換索引EmtIdx，來選擇轉換配對。該轉換配對，係由水平方向之1維正交轉換(或逆1維正交轉換)用的轉換類型(trTypeH)、與垂直方向之1維正交轉換(或逆1維正交轉換)用的轉換類型(trTypeV)所構成。
轉換集合，係為該轉換配對之集合(群組)，在圖3的例子中，其要素是在行方向(圖中水平方向)上被排列。轉換集合識別元trSetIdx，係藉由其值(0乃至5)，而識別要選擇哪一行(要選擇哪個轉換集合)。亦即，藉由以轉換集合識別元trSetIdx來指定轉換集合，就可過濾可選擇的轉換配對(轉換類型之候補之組合之模態)。
轉換索引EmtIdx，係為用來識別要選擇如此的轉換集合之哪個要素(轉換配對)的識別元。圖3之例子的情況下，轉換索引EmtIdx，係藉由其值(0乃至3)，而識別要選擇哪一列(要選擇哪個轉換配對)。
初級水平轉換指定旗標pt_hor_flag，係為將轉換配對之中的，水平方向之1維正交轉換(或逆1維正交轉換)用的轉換類型(trTypeH)予以指定的旗標資訊。初級垂直轉換指定旗標pt_ver_flag，係為將轉換配對之中的，垂直方向之1維正交轉換(或逆1維正交轉換)用的轉換類型(trTypeV)予以指定的旗標資訊。
轉換類型設定部104，係在已被轉換類型候補表選擇部103所選擇之轉換類型候補表中，選擇藉由轉換集合識別元而被設定的轉換集合識別元trSetIdx，與藉由轉換索引EmtIdx而被特定的轉換配對。然後，轉換類型設定部104，係使用初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag，將該轉換配對中所含之一方之轉換類型之候補予以指定作為水平方向之1維正交轉換(或逆1維正交轉換)用的轉換類型(trTypeH)，將他方之候補予以指定作為垂直方向之1維正交轉換(或逆1維正交轉換)用的轉換類型(trTypeV)。轉換類型設定部104，係將如此導出(設定)的轉換類型(trTypeH及trTypeV)，往轉換類型導出裝置100之外部予以輸出。
藉由如此設計，轉換類型設定部104，係在目前區塊的區塊尺寸為較小的情況(含有較多高頻成分的情況)下，相較於目前區塊的區塊尺寸為較大的情況(含有較多低頻成分的情況)，可把具有可使高頻成分較往低次集中之頻率特性的轉換類型(例如DCT4、DST2、及DST4等)當作候補，來進行適應性的轉換類型之設定。
換言之，轉換類型設定部104，係在目前區塊的區塊尺寸為較大的情況(含有較多低頻成分的情況)下，相較於目前區塊的區塊尺寸為較小的情況(含有較多高頻成分的情況)，可把具有可使低頻成分較往低次集中之頻率特性的轉換類型(例如DCT8、DST1、及DST7等)當作候補，來進行適應性的轉換類型之設定。
亦即，轉換類型導出裝置100係可導出，具有較適合於目前區塊之區塊尺寸(正交轉換或逆正交轉換之對象資料的頻率成分之(分布的)特徵)之頻率特性的轉換類型。因此，轉換類型導出裝置100係可抑制，將使用該轉換類型的正交轉換、逆正交轉換做適用的編碼、解碼時的，(因為所使用的轉換類型之頻率特性不是合於正交轉換、逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，轉換類型導出裝置100，係相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
又，此情況下，轉換類型導出裝置100，係可基於區塊尺寸而容易地進行如上述的控制(轉換類型候補表之選擇)。亦即，轉換類型導出裝置100，係可較容易地促使編碼效率提升。
＜轉換類型設定處理之流程(方法#1)＞ 此情況下的，被轉換類型導出裝置100所執行的轉換類型設定處理的流程之例子，參照圖4的流程圖來加以說明。
一旦轉換類型設定處理被開始，則轉換類型導出裝置100的Emt控制部101，係於步驟S101中，判定轉換旗標Emtflag之值是否為真(例如1)。若判定轉換旗標Emtflag之值為真的情況，則處理係往步驟S102前進。
於步驟S102中，轉換集合識別元設定部102，係基於模式資訊、區塊尺寸、色彩識別元，來設定轉換集合識別元trSetIdx。
於步驟S103中，轉換類型候補表選擇部103，係基於目前區塊的區塊尺寸，而例如，如以下的式(6)般地，選擇轉換類型候補表。於式(6)中，tableTrSetToTrType係表示已被選擇之轉換類型候補表，curBlockSize係表示目前區塊的區塊尺寸，TH係表示區塊尺寸之閾值，tableTrSetToTrTypeA係表示轉換類型候補表A111，tableTrSetToTrTypeB係表示轉換類型候補表B112。
Figure 02_image007
於步驟S104中，轉換類型設定部104，係從步驟S103中所選擇之轉換類型候補表中，選擇出藉由步驟S102中所被設定之轉換集合識別元trSetIdx及轉換索引EmtIdx而被指定的轉換配對。又，轉換類型設定部104，係使用初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag，從該已選擇之轉換配對中，分別選擇出水平方向之1維正交轉換(或逆1維正交轉換)用的轉換類型trTypeH與垂直方向之1維正交轉換(或逆1維正交轉換)用的轉換類型trTypeV。亦即，trTypeH及trTypeV，係例如如以下的式(7)般地被導出。
Figure 02_image009
一旦步驟S104的處理結束，則轉換類型設定處理就結束。又，於步驟S101中，若判定轉換旗標Emtflag之值為偽(例如0)的情況，則處理係往步驟S105前進。
於步驟S105中，轉換類型設定部104，係例如如以下的式(8)般地，將已被預先決定之所定之轉換類型DefaultTrType(例如DCT2)，予以設定。
Figure 02_image011
一旦步驟S105的處理結束，則轉換類型設定處理就結束。藉由如以上所述般地執行各處理，就可促使編碼效率提升。
＜變形例＞ 此外，於圖2中雖然說明了，轉換類型候補表選擇部103，是記憶2個轉換類型候補表，將所要使用的轉換類型候補表從該2個中予以選擇，但轉換類型候補表之候補的數量係為任意。亦即，轉換類型候補表選擇部103，將任意數量之轉換類型候補表當作候補而予以記憶，將所要使用的轉換類型候補表從該候補之中予以選擇。例如，轉換類型候補表選擇部103，係藉由準備相應於候補之數量的閾值，就可將目前區塊的區塊尺寸根據該閾值而加以分類，可選擇出對應於區塊尺寸的候補。例如，候補數為3的情況下，只要準備2個閾值即可。
又，作為轉換類型候補表之要素的轉換類型之種類數，係為任意。圖3的A中雖然圖示了，以4種轉換類型(DCT2、DST4、DCT4、及DST2)為要素的轉換類型候補表A111之例子，但不限定於此例。例如，轉換類型候補表A111，亦可將DST2除外的3種轉換類型(DCT2、DST4、及DCT4)當作要素，亦可將DST2及DCT4除外的2種轉換類型(DCT2及DST4)當作要素。
同樣地，圖3的B中雖然圖示了，以4種轉換類型(DCT2、DST7、DCT8、及DST1)為要素的轉換類型候補表B112之例子，但不限定於此例。例如，轉換類型候補表B112，亦可將DST1除外的3種轉換類型(DCT2、DST7、及DCT8)當作要素，亦可將DST1及DCT8除外的2種轉換類型(DCT2及DST7)當作要素。
又，轉換類型DCT8，係亦可置換成FlipDST7。甚至，轉換類型DST4，係亦可置換成FlipDCT4。
又，式(6)所示的目前區塊的區塊尺寸curBlockSize之導出方法，係為任意。例如，亦可如以下的式(9)般地導出。式(9)中，Width係表示水平方向之區塊尺寸(橫幅)，Height係表示垂直方向之區塊尺寸(縱幅)。又，min(A,B)係為A與B之中選擇較小者的函數。亦即，式(9)的情況下，目前區塊的橫幅與縱幅之中，較小者(亦即短邊之尺寸)係被當作區塊尺寸而採用。
Figure 02_image013
又，亦可取代該式(9)改用如以下的式(10)般的對數表現，來導出目前區塊的區塊尺寸curBlockSize。
Figure 02_image015
此外，以上雖然說明，將水平方向與垂直方向之轉換類型候補表，使用共通的區塊尺寸(例如區塊的短邊之尺寸)來加以選擇，但不限定於此例。亦可例如如以下的式(11)般地，針對目前區塊的垂直方向及水平方向之各者，將轉換類型候補表，基於各方向之區塊尺寸而彼此獨立地加以選擇。
Figure 02_image017
此情況下，由於可從對各方向為合適的轉換類型候補表，導出轉換類型，因此可使編碼效率更為提升。
又，以上雖然說明了，在轉換類型之選擇中使用初級水平轉換指定旗標pt_hor_flag與初級垂直轉換指定旗標pt_ver_flag，但亦可將初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag，含入至轉換索引EmtIdx中。例如，亦可無以下的式(12)般地，將轉換索引EmtIdx的下位位元(0x01)當作初級水平轉換指定旗標pt_hor_flag，將轉換索引EmtIdx的上位位元(0x10)當作初級垂直轉換指定旗標pt_ver_flag。
Figure 02_image019
此時的轉換類型設定處理的流程之例子，參照圖5的流程圖來加以說明。此時也是，步驟S111乃至步驟S113之各處理，係和圖4的步驟S101乃至步驟S103之各處理同樣地被執行。一旦步驟S113之處理結束，則處理係前進至步驟S114。
於步驟S114中，轉換類型設定部104，係從步驟S113中所選擇之轉換類型候補表中，將藉由步驟S102中所被設定之轉換集合識別元trSetIdx與轉換索引EmtIdx的上位位元而被指定的轉換類型，當作垂直方向之轉換類型trTypeV而加以選擇。又，轉換類型設定部104，係從步驟S113中所選擇之轉換類型候補表中，將藉由步驟S102中所被設定之轉換集合識別元trSetIdx與轉換索引EmtIdx的下位位元而被指定的轉換類型，當作垂直方向之轉換類型trTypeV而加以選擇。亦即，trTypeH及trTypeV，係例如如以下的式(13)般地被導出。
Figure 02_image021
一旦步驟S114的處理結束，則轉換類型設定處理就結束。又，於步驟S111中，若判定轉換旗標Emtflag之值為偽(例如0)的情況，則處理係往步驟S115前進。
步驟S115之處理，係與圖4的步驟S105之處理同樣地被執行。一旦步驟S115的處理結束，則轉換類型設定處理就結束。藉由如以上所述般地執行各處理，與圖4的情況同樣地，就可促使編碼效率提升。
此外，轉換類型候補表之規格係為任意，不限定於圖3的例子。例如，亦可如圖6所示，根據轉換集合識別元trSetIdx、與初級水平轉換指定旗標pt_hor_flag或初級垂直轉換指定旗標pt_ver_flag，來選擇轉換類型。圖6的A係表示轉換類型候補表A111的例子，圖6的B係表示轉換類型候補表B112的例子。
＜5.第2實施形態＞ ＜轉換類型導出裝置(方法#2(編碼側))＞ 接著說明方法#2。藉由上述的方法#2而導出初級轉換或逆初級轉換中所被使用的轉換類型時，轉換類型導出裝置100的主要構成例，示於圖7。此時的轉換類型導出裝置100，係為將編碼側的適應正交轉換中所被使用的轉換類型予以導出的裝置，係基於RD成本來選擇轉換類型候補表。
如圖7所示，此時的轉換類型導出裝置100，係除了圖2的構成以外，還具有RD成本算出部121及轉換類型候補表切換旗標設定部122。此情況下，Emt控制部101，係除了轉換集合識別元設定部102乃至轉換類型設定部104以外，還控制著RD成本算出部121及轉換類型候補表切換旗標設定部122(虛線箭頭)，令正交轉換之轉換類型做適應性變更，或不變更等等。
RD成本算出部121，係具有例如CPU、ROM、RAM等之任意之構成，進行RD成本之導出(算出)的相關處理。例如，RD成本算出部121，係從轉換類型候補表選擇部103取得所有的轉換類型候補表，將選擇了各轉換類型時的RD成本予以導出(算出)。RD成本算出部121，係將已算出之各轉換類型所對應之RD成本，供給至轉換類型候補表選擇部103。
轉換類型候補表選擇部103，係基於已被RD成本算出部121所算出之RD成本，來選擇轉換類型候補表。例如，轉換類型候補表選擇部103，係選擇RD成本為最小的轉換類型候補表。轉換類型候補表選擇部103，係將已選擇之轉換類型候補表，供給至轉換類型設定部104轉換類型候補表切換旗標設定部122。
轉換類型候補表切換旗標設定部122，係具有例如CPU、ROM、RAM等之任意之構成，進行轉換類型候補表切換旗標useAltTrCandFlag之設定的相關處理。轉換類型候補表切換旗標useAltTrCandFlag係為，藉由其值，來表示轉換類型候補表選擇部103所選擇之轉換類型候補表的資訊。例如，轉換類型候補表切換旗標useAltTrCandFlag為0的情況下，則表示轉換類型候補表A111是已被選擇，轉換類型候補表切換旗標useAltTrCandFlag為1的情況下，則表示轉換類型候補表B112是已被選擇。轉換類型候補表切換旗標設定部122，係將已設定之轉換類型候補表切換旗標useAltTrCandFlag，輸出至轉換類型導出裝置100之外部。該轉換類型候補表切換旗標useAltTrCandFlag，係被提供給解碼側。
藉由如此設計，轉換類型導出裝置100，係可使用以RD成本較小的轉換類型為要素的轉換類型候補表而導出轉換類型。亦即，轉換類型導出裝置100，係可導出RD成本較小的轉換類型。因此，轉換類型導出裝置100係可抑制，將使用該轉換類型的正交轉換做適用的編碼時的，(因為所使用的轉換類型之頻率特性不是合於正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，轉換類型導出裝置100，係相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
又，如上述，轉換類型導出裝置100，係將轉換類型候補表切換旗標useAltTrCandFlag予以設定，並提供至解碼側，因此關於編碼側所致之轉換類型之選擇的明示性之控制，係成為可能。
＜轉換類型設定處理之流程(方法#2(編碼側))＞ 此情況下的，被轉換類型導出裝置100所執行的轉換類型設定處理的流程之例子，參照圖8的流程圖來加以說明。
一旦轉換類型設定處理被開始，則轉換類型導出裝置100的Emt控制部101，係於步驟S121中，判定轉換旗標Emtflag之值是否為真(例如1)。若判定轉換旗標Emtflag之值為真的情況，則處理係往步驟S122前進。
於步驟S122中，RD成本算出部121，係將設定了各轉換類型候補表時的(亦即各轉換類型的)RD成本，予以算出。
於步驟S123中，轉換集合識別元設定部102，係基於模式資訊、區塊尺寸、色彩識別元，來設定轉換集合識別元trSetIdx。
於步驟S124中，轉換類型候補表選擇部103，係基於步驟S122中所被算出的RD成本，來選擇轉換類型候補表。
於步驟S125中，轉換類型設定部104，係從步驟S124中所選擇之轉換類型候補表中，選擇出藉由步驟S123中所被設定之轉換集合識別元trSetIdx及轉換索引EmtIdx而被指定的轉換配對。又，轉換類型設定部104，係使用初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag，從該已選擇之轉換配對中，分別選擇出水平方向之1維正交轉換(或逆1維正交轉換)用的轉換類型trTypeH與垂直方向之1維正交轉換(或逆1維正交轉換)用的轉換類型trTypeV。亦即，trTypeH及trTypeV，係例如如上述的式(7)般地被導出。
於步驟S126中，轉換類型候補表切換旗標設定部122，係將表示步驟S124中所選擇之轉換類型候補表之值的轉換類型候補表切換旗標useAltTrCandFlag，予以設定。
於步驟S127中，轉換類型候補表切換旗標設定部122，係將步驟S126中所設定之轉換類型候補表切換旗標useAltTrCandFlag，發送至解碼側。
一旦步驟S127的處理結束，則轉換類型設定處理就結束。又，於步驟S121中，若判定轉換旗標Emtflag之值為偽(例如0)的情況，則處理係往步驟S128前進。
於步驟S128中，轉換類型設定部104，係例如如上述的式(8)般地，將已被預先決定之所定之轉換類型DefaultTrType(例如DCT2)，予以設定。
一旦步驟S128的處理結束，則轉換類型設定處理就結束。藉由如以上所述般地執行各處理，就可促使編碼效率提升。
＜轉換類型導出裝置(方法#2(解碼側))＞ 藉由上述的方法#2而導出初級轉換或逆初級轉換中所被使用的轉換類型時，轉換類型導出裝置100的主要構成例，示於圖9。此時的轉換類型導出裝置100，係為將解碼側的適應正交轉換中所被使用的轉換類型予以導出的裝置，基於從編碼側所被供給之轉換類型候補表切換旗標useAltTrCandFlag來選擇轉換類型候補表。該轉換類型候補表切換旗標useAltTrCandFlag，係為用來識別編碼之際已被選擇之轉換類型候補表的識別資訊。
如圖9所示，此時的轉換類型導出裝置100，係具有和圖2的情況相同之構成。
但是，此情況下，轉換類型候補表選擇部103，係將從轉換類型導出裝置100之外部所被輸入之轉換類型候補表切換旗標useAltTrCandFlag加以取得，基於該轉換類型候補表切換旗標useAltTrCandFlag，來選擇轉換類型候補表(選擇轉換類型候補表A111或轉換類型候補表B112)。轉換類型候補表選擇部103，係將已選擇之轉換類型候補表，供給至轉換類型設定部104。
藉由如此設計，轉換類型候補表選擇部103，係可選擇與編碼之際已被選擇之轉換類型候補表(圖7的轉換類型候補表選擇部103所選擇之轉換類型候補表)相同的轉換類型候補表。
因此，轉換類型導出裝置100，係可選擇與編碼之際已被選擇之轉換類型(圖7的轉換類型導出裝置100所選擇之轉換類型)相同的轉換類型。亦即，轉換類型導出裝置100，係可導出RD成本較小的轉換類型。因此，轉換類型導出裝置100係可抑制，將使用該轉換類型的逆正交轉換做適用的解碼時的，(因為所使用的轉換類型之頻率特性不是合於逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，轉換類型導出裝置100，係相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
又，如上述，此時的轉換類型導出裝置100，係基於轉換類型候補表切換旗標useAltTrCandFlag來選擇轉換類型候補表即可，因此可較容易地進行轉換類型候補表之選擇。
＜轉換類型設定處理之流程(方法#2(解碼側))＞ 此情況下的，被轉換類型導出裝置100所執行的轉換類型設定處理的流程之例子，參照圖10的流程圖來加以說明。
一旦轉換類型設定處理被開始，則轉換類型導出裝置100的轉換類型候補表選擇部103，係於步驟S141中，將轉換類型候補表切換旗標useAltTrCandFlag，加以取得。
於步驟S142中，Emt控制部101係判定，轉換旗標Emtflag之值是否為真(例如1)。若判定轉換旗標Emtflag之值為真的情況，則處理係往步驟S143前進。
於步驟S143中，轉換集合識別元設定部102，係基於模式資訊、區塊尺寸、色彩識別元，來設定轉換集合識別元trSetIdx。
於步驟S144中，轉換類型候補表選擇部103，係基於步驟S141中所取得之轉換類型候補表切換旗標useAltTrCandFlag，來選擇轉換類型候補表(將轉換類型候補表切換旗標useAltTrCandFlag之值所表示的轉換類型候補表加以選擇)。
於步驟S145中，轉換類型設定部104，係從步驟S144中所選擇之轉換類型候補表中，選擇出藉由步驟S143中所被設定之轉換集合識別元trSetIdx及轉換索引EmtIdx而被指定的轉換配對。又，轉換類型設定部104，係使用初級水平轉換指定旗標pt_hor_flag及初級垂直轉換指定旗標pt_ver_flag，從該已選擇之轉換配對中，分別選擇出水平方向之1維正交轉換(或逆1維正交轉換)用的轉換類型trTypeH與垂直方向之1維正交轉換(或逆1維正交轉換)用的轉換類型trTypeV。亦即，trTypeH及trTypeV，係例如如上述的式(7)般地被導出。
一旦步驟S145的處理結束，則轉換類型設定處理就結束。又，於步驟S142中，若判定轉換旗標Emtflag之值為偽(例如0)的情況，則處理係往步驟S146前進。
於步驟S146中，轉換類型設定部104，係例如如上述的式(8)般地，將已被預先決定之所定之轉換類型DefaultTrType(例如DCT2)，予以設定。
一旦步驟S146的處理結束，則轉換類型設定處理就結束。藉由如以上所述般地執行各處理，就可促使編碼效率提升。
此外，＜4.第1實施形態＞的＜變形例＞中所說明的各種變形例，係可同樣地適用於本實施形態之情況。
＜6.第3實施形態＞ ＜轉換類型導出裝置(方法#3)＞ 接著說明方法#3。藉由上述的方法#3而導出初級轉換或逆初級轉換中所被使用的轉換類型時，轉換類型導出裝置100的主要構成例，示於圖11。此時的轉換類型導出裝置100，係基於畫面間預測模式(例如是單預測還是雙預測等)，來選擇轉換類型候補表。
如圖11所示，此時的轉換類型導出裝置100，係具有和圖2的情況相同之構成。
但是，此情況下，轉換類型候補表選擇部103，係將從轉換類型導出裝置100之外部所被輸入之表示畫面間預測模式的資訊加以取得，基於該畫面間預測模式例如是單預測還是雙預測等)，來選擇轉換類型候補表(選擇轉換類型候補表A111或轉換類型候補表B112)。轉換類型候補表選擇部103，係將已選擇之轉換類型候補表，供給至轉換類型設定部104。
藉由如此設計，轉換類型設定部104，係在例如單預測的情況(含有較多高頻成分的情況)下，相較於雙預測的情況(含有較多低頻成分的情況)，可把具有可使高頻成分較往低次集中之頻率特性的轉換類型(例如DCT4、DST2、及DST4等)當作候補，來進行適應性的轉換類型之設定。
換言之，轉換類型設定部104，係在雙預測的情況(含有較多低頻成分的情況)下，相較於單預測的情況(含有較多高頻成分的情況)，可把具有可使低頻成分較往低次集中之頻率特性的轉換類型(例如DCT8、DST1、及DST7等)當作候補，來進行適應性的轉換類型之設定。
亦即，轉換類型導出裝置100係可導出，具有較適合於畫面間預測模式(正交轉換或逆正交轉換之對象資料的頻率成分之(分布的)特徵)之頻率特性的轉換類型。因此，轉換類型導出裝置100係可抑制，將使用該轉換類型的正交轉換、逆正交轉換做適用的編碼、解碼時的，(因為所使用的轉換類型之頻率特性不是合於正交轉換、逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，轉換類型導出裝置100，係相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
又，此情況下，轉換類型導出裝置100，係可基於畫面間預測模式而容易地進行如上述的控制(轉換類型候補表之選擇)。亦即，轉換類型導出裝置100，係可較容易地促使編碼效率提升。
＜轉換類型設定處理之流程(方法#3)＞ 此情況下的，被轉換類型導出裝置100所執行的轉換類型設定處理的流程之例子，參照圖12的流程圖來加以說明。
圖12的步驟S161及步驟S162之各處理，係和圖4的步驟S101及步驟S102之各處理同樣地被執行。
於步驟S163中，轉換類型候補表選擇部103，係基於畫面間預測模式，來選擇轉換類型候補表。
步驟S164及步驟S165之各處理，係和圖4的步驟S104及步驟S105之各處理同樣地被執行。
一旦步驟S164或步驟S165的處理結束，則轉換類型設定處理就結束。藉由如以上所述般地執行各處理，就可促使編碼效率提升。
此外，＜4.第1實施形態＞的＜變形例＞中所說明的各種變形例，係可同樣地適用於本實施形態之情況。
＜7.第4實施形態＞ ＜轉換類型導出裝置(方法#4)＞ 接著說明方法#4。藉由上述的方法#4而導出初級轉換或逆初級轉換中所被使用的轉換類型時，轉換類型導出裝置100的主要構成例，示於圖13。此時的轉換類型導出裝置100，係基於運動向量之像素精度(例如運動向量是指示整數位置，還是指示子像素位置等)，來選擇轉換類型候補表。
如圖13所示，此時的轉換類型導出裝置100，係具有和圖2的情況相同之構成。
但是，此情況下，轉換類型候補表選擇部103，係將從轉換類型導出裝置100之外部所被輸入之表示運動向量之像素精度的資訊加以取得，基於該運動向量之像素精度(例如運動向量所指示的位置是整數位置還是子像素位置等)，來選擇轉換類型候補表(選擇轉換類型候補表A111或轉換類型候補表B112)。轉換類型候補表選擇部103，係將已選擇之轉換類型候補表，供給至轉換類型設定部104。
藉由如此設計，轉換類型設定部104，係在例如運動向量所指示的位置是整數位置的情況(含有較多高頻成分的情況)下，相較於運動向量所指示的位置是子像素位置的情況(含有較多低頻成分的情況)，可把具有可使高頻成分較往低次集中之頻率特性的轉換類型(例如DCT4、DST2、及DST4等)當作候補，來進行適應性的轉換類型之設定。
換言之，轉換類型設定部104，係在運動向量所指示的位置是子像素位置的情況(含有較多低頻成分的情況)下，相較於運動向量所指示的位置是整數位置的情況(含有較多高頻成分的情況)，可把具有可使低頻成分較往低次集中之頻率特性的轉換類型(例如DCT8、DST1、及DST7等)當作候補，來進行適應性的轉換類型之設定。
亦即，轉換類型導出裝置100係可導出，具有較適合於運動向量之像素精度(正交轉換或逆正交轉換之對象資料的頻率成分之(分布的)特徵)之頻率特性的轉換類型。因此，轉換類型導出裝置100係可抑制，將使用該轉換類型的正交轉換、逆正交轉換做適用的編碼、解碼時的，(因為所使用的轉換類型之頻率特性不是合於正交轉換、逆正交轉換之對象資料的頻率成分之特徵所導致的)編碼效率之降低。換言之，轉換類型導出裝置100，係相較於如非專利文獻1或非專利文獻2所記載的，未考慮身為候補之轉換類型之頻率特性就進行轉換類型之選擇的方法之情況，可促使編碼效率提升。
又，此情況下，轉換類型導出裝置100，係可基於運動向量之像素精度而容易地進行如上述的控制(轉換類型候補表之選擇)。亦即，轉換類型導出裝置100，係可較容易地促使編碼效率提升。
＜轉換類型設定處理之流程(方法#4)＞ 此情況下的，被轉換類型導出裝置100所執行的轉換類型設定處理的流程之例子，參照圖14的流程圖來加以說明。
圖14的步驟S171及步驟S172之各處理，係和圖4的步驟S101及步驟S102之各處理同樣地被執行。
於步驟S173中，轉換類型候補表選擇部103，係基於運動向量之像素精度，來選擇轉換類型候補表。
步驟S174及步驟S175之各處理，係和圖4的步驟S104及步驟S105之各處理同樣地被執行。
一旦步驟S174或步驟S175的處理結束，則轉換類型設定處理就結束。藉由如以上所述般地執行各處理，就可促使編碼效率提升。
此外，＜4.第1實施形態＞的＜變形例＞中所說明的各種變形例，係可同樣地適用於本實施形態之情況。
＜8.第5實施形態＞ ＜影像編碼裝置＞ 此外，本技術係可是用於任意之構成(裝置、裝置、系統等)，並不限定於上述的轉換類型導出裝置100之例子。例如，亦可對使用正交轉換或逆正交轉換而將影像予以編碼的影像編碼裝置，適用本技術。於本實施形態中係說明，對如此的影像編碼裝置適用本技術的情況。
圖15係適用了本技術的影像處理裝置之一態樣的影像編碼裝置之構成之一例的區塊圖。圖15所示的影像編碼裝置200，係為將動態影像之影像資料予以編碼的裝置。例如，影像編碼裝置200，係將非專利文獻1乃至非專利文獻4中所記載之技術加以實作，以符合這些文獻之任一者所記載之規格的方法，將動態影像之影像資料予以編碼。
此外，於圖15中係主要表示處理部或資料的流向等，圖15所示者並非全部。亦即，於影像編碼裝置200中，亦可存在有於圖15中未以區塊而被表示的處理部，亦可存在有於圖15中未以箭頭等而表示的處理或資料之流向。這在影像編碼裝置200內的處理部等的說明的其他圖中也是同樣如此。
如圖15所示，影像編碼裝置200係具有：控制部201、排序緩衝區211、演算部212、正交轉換部213、量化部214、編碼部215、積存緩衝區216、逆量化部217、逆正交轉換部218、演算部219、迴圈內濾波器部220、畫格記憶體221、預測部222、及速率控制部223。
＜控制部＞ 控制部201，係基於外部、或預先指定之處理單位之區塊尺寸，而將已被排序緩衝區211所保持的動態影像資料，分割成處理單位之區塊(CU、PU、轉換區塊等)。又，控制部201，係將供給至各區塊的編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)，例如基於RDO(Rate-Distortion Optimization)，而加以決定。
關於這些編碼參數的細節，將於後述。控制部201，係一旦決定了如以上之編碼參數，就將它們供給至各區塊。具體而言，係如以下所述。
標頭資訊Hinfo，係被供給至各區塊。預測模式資訊Pinfo，係被供給至編碼部215和預測部222。轉換資訊Tinfo，係被供給至編碼部215、正交轉換部213、量化部214、逆量化部217、及逆正交轉換部218。濾波器資訊Finfo，係被供給至迴圈內濾波器部220。
＜正交轉換、逆正交轉換之控制＞ 此外，控制部201，係將正交轉換部213所致之正交轉換或逆正交轉換部218所致之逆正交轉換之控制的相關資訊加以設定、或是導出等等。控制部201，係藉由將如此所得的資訊供給至正交轉換部213或逆正交轉換部218，而控制被正交轉換部213所進行的正交轉換、或被逆正交轉換部218所進行的逆正交轉換。
＜排序緩衝區＞ 對影像編碼裝置200，係動態影像資料之各圖場(輸入影像)係按照其再生順序(顯示順序)而被輸入。排序緩衝區211，係將各輸入影像依照其再生順序(顯示順序)而加以取得，並保持(記憶)。排序緩衝區211，係基於控制部201之控制，而將該輸入影像排序成編碼順序(解碼順序)，或分割成處理單位之區塊等等。排序緩衝區211，係將處理後的各輸入影像，供給至演算部212。又，排序緩衝區211，係將該各輸入影像(原影像)，也供給至預測部222或迴圈內濾波器部220。
＜演算部＞ 演算部212，係將處理單位之區塊所對應之影像I，及由預測部222而被攻幾隻預測影像P，予以輸入，從影像I將預測影像P如以下的式(14)所示般地進行減算，而導出預測殘差D，將其供給至正交轉換部213。
Figure 02_image023
＜正交轉換部＞ 正交轉換部213，係將從演算部212所被供給之預測殘差D，與從控制部201所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，對預測殘差D進行正交轉換，導出轉換係數Coeff。此外，正交轉換部213，係可進行適應性地選擇正交轉換之類型(轉換係數)的適應正交轉換(AMT)。正交轉換部213，係將該所得到的轉換係數Coeff，供給至量化部214。
＜量化部＞ 量化部214，係將從正交轉換部213所被供給之轉換係數Coeff，與從控制部201所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而將轉換係數Coeff予以比例縮放(量化)。此外，該量化之速率，係被速率控制部223所控制。量化部214，係將如此的量化所得到的量化後的轉換係數，亦即量化轉換係數位準level，供給至編碼部215及逆量化部217。
＜編碼部＞ 編碼部215，係將從量化部214所被供給之量化轉換係數位準level、和從控制部201所被供給之各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)、和從迴圈內濾波器部220所被供給之濾波器係數等之濾波器的相關資訊、和從預測部222所被供給之最佳的預測模式的相關資訊，當作輸入。編碼部215，係將量化轉換係數位準level進行可變長度編碼(例如算術編碼)，生成位元列(編碼資料)。
又，編碼部215，係從該量化轉換係數位準level導出殘差資訊Rinfo，將殘差資訊Rinfo予以編碼，生成位元列。
然後，編碼部215，係將從迴圈內濾波器部220所被供給之濾波器的相關資訊含入至濾波器資訊Finfo中，將從預測部222所被供給之最佳的預測模式的相關資訊含入至預測模式資訊Pinfo中。然後，編碼部215，係將上述的各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)予以編碼，生成位元列。
又，編碼部215，係將如以上所被生成的各種資訊之位元列進行多工化，生成編碼資料。編碼部215，係將該編碼資料，供給至積存緩衝區216。
＜積存緩衝區＞ 積存緩衝區216，係將編碼部215中所得到的編碼資料，予以暫時保持。積存緩衝區216，係在所定之時序上，將所保持的編碼資料，例如作為位元串流等而輸出至影像編碼裝置200之外部。例如，該編碼資料，係透過任意之記錄媒體、任意之傳輸媒體、任意之資訊處理裝置等，而被傳輸至解碼側。亦即，積存緩衝區216，係亦為將編碼資料(位元串流)予以傳輸的傳輸部。
＜逆量化部＞ 逆量化部217，係進行逆量化的相關處理。例如，逆量化部217，係將從量化部214所被供給之量化轉換係數位準level，與從控制部201所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而將量化轉換係數位準level之值予以比例縮放(逆量化)。此外，該逆量化，係為在量化部214中所被進行之量化的逆處理。逆量化部217，係將藉由如此的逆量化所得到的轉換係數Coeff_IQ，供給至逆正交轉換部218。
＜逆正交轉換部＞ 逆正交轉換部218，係進行逆正交轉換的相關處理。例如，逆正交轉換部218，係將從逆量化部217所被供給之轉換係數Coeff_IQ，與從控制部201所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而對轉換係數Coeff_IQ進行逆正交轉換，導出預測殘差D'。此外，該逆正交轉換，係為在正交轉換部213中所被進行之正交轉換的逆處理。亦即，逆正交轉換部218，係可進行適應性地選擇逆正交轉換之類型(轉換係數)的適應逆正交轉換(AMT)。
逆正交轉換部218，係將藉由如此的逆正交轉換所得到的預測殘差D'，供給至演算部219。此外，逆正交轉換部218，係與解碼側的逆正交轉換部(後述)相同，因此關於逆正交轉換部218，係可適用針對解碼側所進行的說明(後述)。
＜演算部＞ 演算部219，係將從逆正交轉換部218所被供給之預測殘差D'、與從預測部222所被供給之預測影像P，當作輸入。演算部219，係將該預測殘差D'、與該預測殘差D'所對應之預測影像P，進行加算，導出局部解碼影像Rlocal。演算部219，係將已導出之局部解碼影像Rlocal，供給至迴圈內濾波器部220及畫格記憶體221。
＜迴圈內濾波器部＞ 迴圈內濾波器部220，係進行迴圈內濾波器處理的相關處理。例如，迴圈內濾波器部220，係將從演算部219所被供給之局部解碼影像Rlocal、和從控制部201所被供給之濾波器資訊Finfo、和從排序緩衝區211所被供給之輸入影像(原影像)，當作輸入。此外，對迴圈內濾波器部220所被輸入的資訊係為任意，亦可輸入這些資訊以外之資訊。例如，亦可因應需要，而把預測模式、運動資訊、編碼量目標值、量化參數QP、圖像類型、區塊(CU、CTU等)之資訊等，輸入至迴圈內濾波器部220。
迴圈內濾波器部220，係基於該濾波器資訊Finfo，而對局部解碼影像Rlocal適宜地進行濾波器處理。迴圈內濾波器部220，係因應需要而也把輸入影像(原影像)、或該其他輸入資訊，用於該濾波器處理。
例如，迴圈內濾波器部220，係如非專利文獻1所記載，將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器，依其順序而做適用。此外，要適用哪個濾波器，要以何種順序做適用係為任意，可適宜地選擇。
當然，迴圈內濾波器部220所進行的濾波器處理係為任意，不限定於上述的例子。例如，迴圈內濾波器部220係亦可適用維納濾波器等。
迴圈內濾波器部220，係將已被濾波器處理過的局部解碼影像Rlocal，供給至畫格記憶體221。此外，例如將濾波器係數等之濾波器的相關資訊傳輸至解碼側的情況下，則迴圈內濾波器部220，係將該濾波器的相關資訊，供給至編碼部215。
＜畫格記憶體＞ 畫格記憶體221，係進行關於影像之資料的記憶的相關處理。例如，畫格記憶體221，係將從演算部219所被供給之局部解碼影像Rlocal、或從迴圈內濾波器部220所被供給之已被濾波器處理過的局部解碼影像Rlocal，當作輸入，將其予以保持(記憶)。又，畫格記憶體221，係使用該局部解碼影像Rlocal而將每一圖像單位的解碼影像R予以重建，並保持之(儲存至畫格記憶體221內的緩衝區)。畫格記憶體221，係隨應於預測部222之要求，而將該解碼影像R(或其一部分)，供給至預測部222。
＜預測部＞ 預測部222，係進行預測影像之生成的相關處理。例如，預測部222，係將從控制部201所被供給之預測模式資訊Pinfo、和從排序緩衝區211所被供給之輸入影像(原影像)、和從畫格記憶體221所讀出之解碼影像R(或其一部分)，當作輸入。預測部222，係使用預測模式資訊Pinfo或輸入影像(原影像)，進行畫面間預測或畫面內預測等之預測處理，將解碼影像R當作參照影像予以參照而進行預測，基於該預測結果而進行運動補償處理，生成預測影像P。預測部222，係將已生成之預測影像P，供給至演算部212及演算部219。又，預測部222，係將藉由以上之處理而選擇的預測模式，亦即最佳的預測模式的相關資訊，因應需要而供給至編碼部215。
＜速率控制部＞ 速率控制部223，係進行速率控制的相關處理。例如，速率控制部223，係基於積存緩衝區216中所積存之編碼資料的編碼量，以不會發生溢位或下溢之方式，控制量化部214的量化動作之速率。
＜正交轉換部之細節＞ 圖16係圖15的正交轉換部213的主要構成例的區塊圖。如圖16所示，正交轉換部213係具有初級轉換部261及次級轉換部262。
初級轉換部261，係被構成為，進行例如正交轉換等之所定之轉換處理也就是初級轉換的相關處理。例如，初級轉換部261，係將預測殘差D及轉換資訊Tinfo(水平轉換類型索引TrTypeH及垂直轉換類型索引TrTypeV等)，當作輸入。
初級轉換部261，係使用水平轉換類型索引TrTypeH所對應之轉換矩陣、與垂直轉換類型索引TrTypeV所對應之轉換矩陣，對預測殘差D進行初級轉換，將初級轉換後的轉換係數Coeff_P予以導出。初級轉換部261，係將已導出之轉換係數Coeff_P，供給至次級轉換部262。
如圖16所示，初級轉換部261係具有初級水平轉換部271及初級垂直轉換部272。
初級水平轉換部271，係被構成為，進行水平方向之1維正交轉換也就是初級水平轉換的相關處理。例如，初級水平轉換部271，係將預測殘差D及轉換資訊Tinfo(水平轉換類型索引TrTypeH等)，當作輸入。初級水平轉換部271，係使用水平轉換類型索引TrTypeH所對應之轉換矩陣，而對預測殘差D進行初級水平轉換。初級水平轉換部271，係將初級水平轉換後的轉換係數，供給至初級垂直轉換部272。
初級垂直轉換部272，係被構成為，進行垂直方向之1維正交轉換也就是初級垂直轉換的相關處理。例如，初級垂直轉換部272，係將初級水平轉換後的轉換係數及轉換資訊Tinfo(垂直轉換類型索引TrTypeV等)，當作輸入。初級垂直轉換部272，係使用垂直轉換類型索引TrTypeV所對應之轉換矩陣，而對初級水平轉換後的轉換係數進行初級垂直轉換。初級垂直轉換部272，係將初級垂直轉換後的轉換係數(亦即初級轉換後的轉換係數Coeff_P)，供給至次級轉換部262。
次級轉換部262，係被構成為，進行例如正交轉換等之所定之轉換處理也就是次級轉換的相關處理。例如，次級轉換部262，係將轉換係數Coeff_P及轉換資訊Tinfo，當作輸入。次級轉換部262，係基於轉換資訊Tinfo，而對轉換係數Coeff_P進行次級轉換，將次級轉換後的轉換係數Coeff，予以導出。次級轉換部262，係將該轉換係數Coeff，輸出至正交轉換部213之外部(供給至量化部214)。
此外，正交轉換部213中，係可將初級轉換部261所致之初級轉換、或者次級轉換部262所致之次級轉換、或其雙方，予以略過(省略)。又，亦可將初級水平轉換部271所致之初級水平轉換，予以略過(省略)。同樣地，亦可將初級垂直轉換部272所致之初級垂直轉換，予以略過(省略)。
＜初級水平轉換部＞ 圖17係圖16的初級水平轉換部271的主要構成例的區塊圖。如圖17所示，初級水平轉換部271係具有：轉換矩陣導出部281、矩陣演算部282、比例縮放部283、及限幅部284。
轉換矩陣導出部281，係至少具有：為了進行初級水平轉換用的轉換矩陣TH (水平方向之1維正交轉換用的轉換矩陣TH )之導出的相關處理所必須的構成。例如，轉換矩陣導出部281，係將水平轉換類型索引TrTypeH、和轉換區塊之尺寸的相關資訊，當作輸入。轉換矩陣導出部281，係將該水平轉換類型索引TrTypeH所對應之，與轉換區塊相同尺寸的，初級水平轉換用的轉換矩陣TH ，予以導出。轉換矩陣導出部281，係將該轉換矩陣TH ，供給至矩陣演算部282。
矩陣演算部282，係至少具有：為了進行矩陣演算的相關處理所必須的構成。例如，矩陣演算部282，係將從轉換矩陣導出部281所被供給之轉換矩陣TH 與輸入資料Xin (亦即預測殘差D之轉換區塊)，當作輸入。矩陣演算部282，係使用從該轉換矩陣導出部281所被供給之轉換矩陣TH ，而對輸入資料Xin (亦即預測殘差D之轉換區塊)進行水平方向之1維正交轉換，獲得中間資料Y1。該演算係可如以下的式(15)般地以行列式來表示。
Figure 02_image025
矩陣演算部282，係將該中間資料Y1，供給至比例縮放部283。
比例縮放部283，係將該中間資料Y1的各i行j列成分之係數Y1[i,j]以所定之位移量SH 進行比例縮放，獲得中間資料Y2。該比例縮放，係可如以下的式(16)般地表示。以後，將某個2維矩陣(2維陣列)X的i行j列成分((i,j)成分)，記作X[i,j]。
Figure 02_image027
比例縮放部283，係將該中間資料Y2，供給至限幅部284。
限幅部284，係將該中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，導出輸出資料Xout (亦即初級水平轉換後的轉換係數)。該處理，係可如以下的式(17)般地表示。
Figure 02_image029
限幅部284，係將該輸出資料Xout (初級水平轉換後的轉換係數)，輸出至初級水平轉換部271之外部(供給至初級垂直轉換部272)。
＜轉換矩陣導出部＞ 圖18係圖17的轉換矩陣導出部281的主要構成例的區塊圖。如圖18所示，轉換矩陣導出部281係具有：轉換矩陣LUT291、翻轉部292、及轉置部293。此外，於圖18中，係雖然省略了表示資料之授受的箭頭，但轉換矩陣導出部281，係可與任意之處理部(處理區塊)間，授受任意之資料。
轉換矩陣LUT291，係為用來將水平轉換類型索引TrTypeH及轉換區塊之尺寸N所對應之轉換矩陣予以保持(儲存)所需之查找表。轉換矩陣LUT291，係一旦水平轉換類型索引TrTypeH及轉換區塊之尺寸N被指定，則將它們所對應之轉換矩陣加以選擇，並輸出。在此導出例的情況下，轉換矩陣LUT291，係將該轉換矩陣當作基礎轉換矩陣Tbase 而供給至翻轉部292或轉置部293，或其雙方。
翻轉部292，係將所被輸入的N行N列之轉換矩陣T予以翻轉，將翻轉後的轉換矩陣Tflip 予以輸出。在此導出例的情況下，翻轉部292，係將從轉換矩陣LUT291所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 往行方向(水平方向)進行翻轉，將翻轉後的轉換矩陣Tflip ，當作轉換矩陣TH ，輸出至轉換矩陣導出部281之外部(供給至矩陣演算部282)。
轉置部293，係將所被輸入的N行N列之轉換矩陣T予以轉置，將轉置後的轉換矩陣Ttranspose 予以輸出。在此導出例的情況下，轉置部293，係將從轉換矩陣LUT291所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 予以轉置，將轉置後的轉換矩陣Ttranspose ，當作轉換矩陣TH ，輸出至轉換矩陣導出部281之外部(供給至矩陣演算部282)。
＜初級垂直轉換部＞ 圖19係圖16的初級垂直轉換部272的主要構成例的區塊圖。如圖19所示，初級垂直轉換部272係具有：轉換矩陣導出部301、矩陣演算部302、比例縮放部303、及限幅部304。
轉換矩陣導出部301，係至少具有：為了進行初級垂直轉換用的轉換矩陣TV (垂直方向之1維正交轉換用的轉換矩陣TV )之導出的相關處理所必須的構成。例如，轉換矩陣導出部301，係將垂直轉換類型索引TrTypeV、和轉換區塊之尺寸的相關資訊，當作輸入。轉換矩陣導出部301，係將該垂直轉換類型索引TrTypeV所對應之，與轉換區塊相同尺寸的，初級垂直轉換用的轉換矩陣TV ，予以導出。轉換矩陣導出部301，係將該轉換矩陣TV ，供給至矩陣演算部302。
矩陣演算部302，係至少具有：為了進行矩陣演算的相關處理所必須的構成。例如，矩陣演算部302，係將從轉換矩陣導出部301所被供給之轉換矩陣TV 與輸入資料Xin ，當作輸入。例如，矩陣演算部302，係使用從該轉換矩陣導出部301所被供給之轉換矩陣TV ，而對輸入資料Xin (亦即初級水平轉換後的轉換係數之轉換區塊)進行垂直方向之1維正交轉換，獲得中間資料Y1。該演算係可如以下的式(18)般地以行列式來表示。
Figure 02_image031
矩陣演算部302，係將該中間資料Y1，供給至比例縮放部303。
比例縮放部303，係將該中間資料Y1的各i行j列成分之係數Y1[i,j]以所定之位移量SV 進行比例縮放，獲得中間資料Y2。該比例縮放，係可如以下的式(19)般地表示。
Figure 02_image033
比例縮放部303，係將該中間資料Y2，供給至限幅部304。
限幅部304，係將該中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，導出輸出資料Xout (亦即初級垂直轉換後的轉換係數)。該處理，係可如以下的式(20)般地表示。
Figure 02_image035
限幅部304，係將該輸出資料Xout (初級垂直轉換後的轉換係數)，當作初級轉換後的轉換係數Coeff_P，輸出至初級垂直轉換部272之外部(供給至次級轉換部262)。
＜轉換矩陣導出部＞ 圖20係圖19的轉換矩陣導出部301的主要構成例的區塊圖。如圖20所示，轉換矩陣導出部301係具有：轉換矩陣LUT311、翻轉部312、及轉置部313。此外，於圖20中，係雖然省略了表示資料之授受的箭頭，但轉換矩陣導出部301，係可與任意之處理部(處理區塊)間，授受任意之資料。
轉換矩陣LUT311，係為用來將垂直轉換類型索引TrTypeV及轉換區塊之尺寸N所對應之轉換矩陣予以保持(儲存)所需之查找表。轉換矩陣LUT311，係一旦垂直轉換類型索引TrTypeIdxV及轉換區塊之尺寸N被指定，則將它們所對應之轉換矩陣加以選擇，並輸出。在此導出例的情況下，轉換矩陣LUT311，係將該轉換矩陣當作基礎轉換矩陣Tbase 而供給至翻轉部312或轉置部313，或其雙方。
翻轉部312，係將所被輸入的N行N列之轉換矩陣T予以翻轉，將翻轉後的轉換矩陣Tflip 予以輸出。在此導出例的情況下，翻轉部312，係將從轉換矩陣LUT311所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 往行方向(水平方向)進行翻轉，將翻轉後的轉換矩陣Tflip ，當作轉換矩陣TV ，輸出至轉換矩陣導出部301之外部(供給至矩陣演算部302)。
轉置部313，係將所被輸入的N行N列之轉換矩陣T予以轉置，將轉置後的轉換矩陣Ttranspose 予以輸出。在此導出例的情況下，轉置部313，係將從轉換矩陣LUT311所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 予以轉置，將轉置後的轉換矩陣Ttranspose ，當作轉換矩陣TV ，輸出至轉換矩陣導出部301之外部(供給至矩陣演算部302)。
＜影像編碼處理之流程＞ 接著說明如以上之構成的影像編碼裝置200所執行的各處理的流程。首先，參照圖21的流程圖，說明影像編碼處理的流程之例子。
一旦影像編碼處理被開始，則於步驟S201中，排序緩衝區211，係被控制部201所控制，將已被輸入之動態影像資料之畫格的順序，從顯示順序排序成編碼順序。
於步驟S202中，控制部201，係對排序緩衝區211所保持的輸入影像，設定處理單位(進行區塊分割)。
於步驟S203中，控制部201，係針對排序緩衝區211所保持的輸入影像而將編碼參數予以決定(設定)。
於步驟S204中，控制部201係進行正交轉換控制處理，並進行正交轉換之控制的相關處理。
於步驟S205中，預測部222係進行預測處理，生成最佳的預測模式之預測影像等。例如，於該預測處理中，預測部222，係進行畫面內預測而生成最佳的畫面內預測模式之預測影像等，並進行畫面間預測而生成最佳的畫面間預測模式之預測影像等，從這些之中，基於成本函數值等而選擇出最佳的預測模式。
於步驟S206中，演算部212係演算，輸入影像、與藉由步驟S205之預測處理而被選擇之最佳的模式之預測影像的差分。亦即，演算部212，係生成輸入影像與預測影像的預測殘差D。如此而被求出的預測殘差D，係相較於原始的影像資料，資料量是被較為降低。因此，相較於把影像直接進行編碼的情形，可壓縮資料量。
於步驟S207中，正交轉換部213，係依照步驟S204中所被進行的控制，對藉由步驟S206之處理而被生成之預測殘差D進行正交轉換處理，導出轉換係數Coeff。
於步驟S208中，量化部214，係使用已被控制部201所算出之量化參數等，將步驟S207之處理所得到的轉換係數Coeff予以量化，導出量化轉換係數位準level。
於步驟S209中，逆量化部217，係將步驟S208之處理所生成的量化轉換係數位準level，以該步驟S208之量化之特性所對應之特性進行逆量化，導出轉換係數Coeff_IQ。
於步驟S210中，逆正交轉換部218，係依照步驟S204中所被進行的控制，將步驟S209之處理所得到的轉換係數Coeff_IQ，以步驟S207之正交轉換處理所對應之方法進行逆正交轉換，導出預測殘差D'。此外，該逆正交轉換處理，係和於解碼側中所被進行的逆正交轉換處理(後述)相同，因此關於該步驟S210之逆正交轉換處理，係可適用針對解碼側所進行的說明(後述)。
於步驟S211中，演算部219，係對藉由步驟S210之處理而被導出之預測殘差D'，加算藉由步驟S205之預測處理而得到的預測影像，以生成已被局部性解碼的解碼影像。
於步驟S212中，迴圈內濾波器部220，係對藉由步驟S211之處理而被導出的，已被局部性解碼的解碼影像，進行迴圈內濾波器處理。
於步驟S213中，畫格記憶體221係將，藉由步驟S211之處理而被導出的，已被局部性解碼的解碼影像、或於步驟S212中已被濾波器處理過的，已被局部性解碼的解碼影像，加以記憶。
於步驟S214中，編碼部215，係將藉由步驟S208之處理所得到的量化轉換係數位準level，予以編碼。例如，編碼部215，係將影像的相關資訊也就是量化轉換係數位準level，以算術編碼等進行編碼，生成編碼資料。又，此時，編碼部215係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo)，予以編碼。然後，編碼部215，係從量化轉換係數位準level導出殘差資訊RInfo，將該殘差資訊RInfo予以編碼。
於步驟S215中，積存緩衝區216，係將如此而獲得的編碼資料予以積存，例如作為位元串流，將其輸出至影像編碼裝置200之外部。該位元串流係例如，透過傳輸路或記錄媒體而被傳輸至解碼側。又，速率控制部223，係因應需要而進行速率控制。
一旦步驟S215的處理結束，則影像編碼處理就結束。
＜正交轉換處理之流程＞ 接著，將圖21的步驟S207中所執行的正交轉換處理的流程之例子，參照圖22的流程圖而加以說明。
一旦正交轉換處理被開始，則正交轉換部213，係於步驟S251中，判定轉換略過旗標ts_flag是否為2D_TS(表示2維轉換略過情況)(例如1(真))、或轉換量化略過旗標transquant_bypass_flag是否為1(真)。若判定為轉換略過旗標ts_flag是2D_TS(例如1(真))、或轉換量化略過旗標為1(真)的情況，則正交轉換處理係結束，處理係回到圖21。此情況下，正交轉換處理(初級轉換或次級轉換)係被省略，已被輸入之預測殘差D會被當作轉換係數Coeff。
又，於圖22的步驟S251中，若判定為轉換略過旗標ts_flag不是2D_TS(不是2維轉換略過)(例如0(偽))，且轉換量化略過旗標transquant_bypass_flag是0(偽)的情況，則處理係往步驟S252前進。此情況下，初級轉換處理及次級轉換處理會被進行。
於步驟S252中，初級轉換部261，係對已被輸入之預測殘差D進行初級轉換處理，將初級轉換後的轉換係數Coeff_P予以導出。
於步驟S253中，次級轉換部262，係對轉換係數Coeff_P進行次級轉換處理，將次級轉換後的轉換係數Coeff予以導出。
一旦步驟S253之處理結束則正交轉換處理就結束。
＜初級轉換處理之流程＞ 接著，將圖22之步驟S252中所執行的初級轉換處理的流程之例子，參照圖23的流程圖而加以說明。
一旦初級轉換處理被開始，則初級轉換部261的初級水平轉換部271，係於步驟S261中，對預測殘差D進行初級水平轉換處理，將初級水平轉換後的轉換係數予以導出。
於步驟S262中，初級轉換部261的初級垂直轉換部272，係對步驟S261中所得到的初級水平轉換結果(初級水平轉換後的轉換係數)進行初級垂直轉換，將初級垂直轉換後的轉換係數(初級轉換後的轉換係數Coeff_P)予以導出。
一旦步驟S262的處理結束，則初級轉換處理就結束，處理係回到圖22。
＜初級水平轉換處理之流程＞ 關於圖23的步驟S261中所被執行的初級水平轉換處理之流程，參照圖24的流程圖來加以說明。
一旦初級水平轉換處理被開始，則初級水平轉換部271的轉換矩陣導出部281，係於步驟S271中，將水平轉換類型索引TrTypeH所對應之轉換矩陣TH 予以導出。
於步驟S272中，矩陣演算部282，係使用該已被導出之轉換矩陣TH 來對輸入資料Xin (預測殘差D)進行水平方向之1維正交轉換，獲得中間資料Y1。若將該處理以行列式來表現，則可如上述的式(15)般地表示。又，若將該處理以每一要素之演算的方式加以表現，則可如以下的式(21)般地表示。
Figure 02_image037
亦即，對中間資料Y1的i行j列成分之係數Y1[i,j]係設定，輸入資料Xin 的第i行之行向量Xin [i,:]，與轉換矩陣TH 的第j行之行向量TH [j,:]的轉置矩陣TH T [:,j]之內積(j=0、・・・、M-1，i=0、・・・、N-1)。此處，M係為輸入資料Xin 的x方向之大小，N係為輸入資料Xin 的y方向之大小。M及N係可如以下的式(22)般地表示。
Figure 02_image039
回到圖24，於步驟S273中，比例縮放部283，係將藉由步驟S272之處理而被導出之中間資料Y1的各i行j列成分之係數Y1[i,j]以位移量SH 進行比例縮放，將中間資料Y2予以導出。該比例縮放，係可如上述的式(16)般地表示。
於步驟S274中，限幅部284，係將藉由步驟S273之處理而被導出之中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，獲得輸出資料Xout (亦即初級水平轉換後的轉換係數)。該處理，係可如上述的式(19)般地表示。
一旦步驟S274的處理結束，則初級水平轉換處理就結束，處理係回到圖19。
＜轉換矩陣導出處理之流程＞ 接著，將圖24之步驟S271中所執行的轉換矩陣導出處理的流程之例子，參照圖25的流程圖而加以說明。
一旦轉換矩陣導出處理被開始，則轉換矩陣導出部281，係於步驟S281中，求出水平轉換類型索引TrTypeH所對應之基礎轉換類型BaseTrType。此外，若將該處理以數式表示，則可如例如式(23)般地表現。轉換矩陣導出部281，係將該已求出之基礎轉換類型的N行N列之轉換矩陣由轉換矩陣LUT予以讀出，如以下的式(24)般地，將其設定成基礎轉換矩陣Tbase 。
Figure 02_image041
又，轉換矩陣導出部281，係如以下的式(25)般地，對翻轉旗標FlipFlag，設定水平轉換類型索引TrTypeH所對應之值。又，轉換矩陣導出部281，係如以下的式(26)般地，對轉置旗標TransposeFlag，設定轉換類型識別元TrTypeIdxH所對應之值。
Figure 02_image043
於步驟S282中，轉換矩陣導出部281，係判定翻轉旗標FlipFlag與轉置旗標TransposeFlag是否滿足以下的式(27)所表示的條件(ConditionA1)。
Figure 02_image045
若判定為滿足上述之條件(ConditionA1)的情況(翻轉旗標FlipFlag與轉置旗標TransposeFlag皆為偽(0)的情況)，則處理係往步驟S283前進。
於步驟S283中，轉換矩陣導出部281，係如以下的式(28)所示，將轉換矩陣Tbase 設定至轉換矩陣TH 。
Figure 02_image047
一旦步驟S283的處理結束，則轉換矩陣導出處理就結束，處理係回到圖24。又，於步驟S282中，若判定為不滿足上述之條件(ConditionA1)的情況(翻轉旗標FlipFlag或轉置旗標TransposeFlag為真(1)的情況)，則處理係往步驟S284前進。
於步驟S284中，轉換矩陣導出部281，係判定翻轉旗標FlipFlag與轉置旗標TransposeFlag是否滿足以下的式(29)所表示的條件(ConditionA2)。
Figure 02_image049
若判定為滿足上述之條件(ConditionA2)的情況(翻轉旗標FlipFlag為偽(0)，且轉置旗標TransposeFlag為真(1)的情況)，則處理係往步驟S285前進。
於步驟S285中，轉換矩陣導出部281，係透過轉置部293，而將基礎轉換矩陣Tbase 予以轉置，獲得轉換矩陣TH 。該處理，係如以下的式(30)般地，可用行列式的方式來表現。
Figure 02_image051
又，將該處理以每一要素之演算的方式來表現的情況下，轉換矩陣導出部281，係如以下的式(31)般地，將基礎轉換矩陣Tbase 的i行j列成分((i,j)成分)，設定至轉換矩陣TH 的(j,i)成分。
Figure 02_image053
此處，將N行N列之轉換矩陣TH 的i行j列成分((i,j)成分)，記作TH [i,j]。又，第2行的「for i,j=0,...,N-1」，係表示i與j是具有0乃至N-1之值。亦即，意味著TH [j,i]是表示N行N列之轉換矩陣TH 的所有要素。
如此，藉由將步驟S285之處理，以每一要素之演算的方式來表現，就可以簡單的對2維陣列之存取，來實現轉置操作。一旦步驟S285的處理結束，則轉換矩陣導出處理就結束，處理係回到圖24。
又，於步驟S284中，若判定為不滿足上述之條件(ConditionA2)的情況(翻轉旗標FlipFlag為真(1)、或轉置旗標TransposeFlag為偽(0)的情況)，則處理係往步驟S286前進。
於步驟S286中，轉換矩陣導出部281，係透過翻轉部292，而將基礎轉換矩陣Tbase 予以翻轉，獲得轉換矩陣TH 。該處理，係如以下的式(32)般地，可用行列式的方式來表現。
Figure 02_image055
此處，×係為表示矩陣積的運算子。又，翻轉矩陣J(Cross-Identity Matrix)，係將N行N列之單位矩陣I予以左右反轉而成者。
又，將該處理以每一要素之演算的方式來表現的情況下，轉換矩陣導出部281，係如以下的式(33)般地，對轉換矩陣TH 的i行j列成分((i,j)成分)，設定基礎轉換矩陣Tbase 的(i, N-1-j)成分。
Figure 02_image057
此處，將N行N列之轉換矩陣TH 的i行j列成分((i,j)成分)，記作TH [i,j]。又，第2行的「for i,j=0,...,N-1」，係表示i與j分別具有0乃至N-1之值。亦即，意味著TH [i,j]是表示N行N列之轉換矩陣TH 的所有要素。
如此，藉由將步驟S286之處理，以每一要素之演算的方式來表現，就不必進行基礎轉換矩陣Tbase 與翻轉矩陣J之矩陣演算，而可以簡單的對2維陣列之存取，來實現轉置操作。又，就不需要翻轉矩陣J。一旦步驟S286的處理結束，則轉換矩陣導出處理就結束，處理係回到圖24。
此外，在步驟S284之處理與步驟S286之處理之間，亦可插入如以下說明般的分岐。亦即，於該步驟中，轉換矩陣導出部281，係判定翻轉旗標FlipFlag與轉置旗標TransposeFlag是否滿足以下的式(34)所表示的條件(ConditionA3)。
Figure 02_image059
轉換矩陣導出部281，係若判定為滿足上述之條件(ConditionA3)的情況(翻轉旗標FlipFlag為真(1)，且轉置旗標TransposeFlag為偽(0)的情況)，則處理係往步驟S286前進。
又，若判定為不滿足上述之條件(ConditionA3)的情況(翻轉旗標FlipFlag為偽(0)、或者轉置旗標TransposeFlag為真(1)的情況)，則轉換矩陣導出處理係結束，處理係回到圖24。
＜初級垂直轉換處理之流程＞ 接著，關於圖23的步驟S262中所被執行的初級垂直轉換處理之流程，參照圖26的流程圖來加以說明。
一旦初級垂直轉換處理被開始，則初級垂直轉換部272的轉換矩陣導出部301，係於步驟S291中，執行轉換矩陣導出處理，將垂直轉換類型索引TrTypeV所對應之轉換矩陣TV 予以導出。
該轉換矩陣導出處理之流程，係和參照圖21的流程圖所說明的初級水平轉換的情況相同因此省略其說明。例如，將水平轉換類型索引TrTypeH置換成垂直轉換類型索引TrTypeV，將所被導出之初級水平轉換用的轉換矩陣TH ，置換成垂直轉換用的轉換矩陣TV 等等，只要將參照圖21所進行過的說明的，關於水平方向的說明置換成垂直方向即可。
於步驟S292中，矩陣演算部302，係使用該已被導出之轉換矩陣TV 來對輸入資料Xin (初級水平轉換後的轉換係數)進行垂直方向之1維正交轉換，獲得中間資料Y1。若將該處理以行列式來表現，則可如上述的式(18)般地表示。又，若將該處理以每一要素之演算的方式加以表現，則可如以下的式(35)般地表示。
Figure 02_image061
亦即，此情況下，對中間資料Y1的i行j列成分之係數Y1[i,j]係設定，轉換矩陣TV 的第i行之行向量TV [i,:]與輸入資料Xin 的第j列之列向量Xin [:,j]之內積(j=0、・・・、M-1，i=0、・・・、N-1)。
，於步驟S293中，比例縮放部303，係將藉由步驟S292之處理而被導出之中間資料Y1的各i行j列成分之係數Y1[i,j]以位移量SV 進行比例縮放，將中間資料Y2予以導出。該比例縮放，係可如上述的式(19)般地表示。
於步驟S294中，限幅部304，係將藉由步驟S293之處理而被導出之中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，獲得輸出資料Xout (亦即初級垂直轉換後的轉換係數)。該處理，係可如上述的式(20)般地表示。
一旦步驟S294的處理結束，則初級垂直轉換處理就結束，處理係回到圖23。 ＜本技術之適用＞ 在如以上之構成的影像編碼裝置200中，控制部201係進行適用了上述本技術的處理。亦即，控制部201，係具有和轉換類型導出裝置100相同之構成，可進行如第1實施形態乃至第4實施形態中所說明的處理。
＜方法#1之適用＞ 例如，亦可為，控制部201係具有，具有與如圖2所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#1而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係隨應於目前區塊的區塊尺寸來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係藉由控制部201而被生成，被供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至正交轉換部213。更具體而言，轉換類型trTypeH係被供給至初級轉換部261的初級水平轉換部271，轉換類型trTypeV係被供給至初級垂直轉換部272。更具體而言，轉換類型trTypeH係被供給至轉換矩陣導出部281，被利用於轉換矩陣TH 之導出。又，轉換類型trTypeV係被供給至轉換矩陣導出部301，被利用於轉換矩陣TV 之導出。
於影像編碼處理中，係於步驟S204(圖21)中，作為正交轉換控制處理之1者，參照圖4的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖24的步驟S271中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。又，於圖26的步驟S291中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。
藉由如此設計，影像編碼裝置200，係如第1實施形態中所說明般地，可促使編碼效率提升。又，由於是基於區塊尺寸來選擇轉換類型候補表，因此影像編碼裝置200係可較容易地促使編碼效率提升。甚至，影像編碼裝置200，係由於可從某個轉換矩陣導出其他轉換矩陣，因此可抑制轉換矩陣LUT291或轉換矩陣LUT311的大小之增大(可降低大小)。又，由於可使進行矩陣演算的演算電路共通化，因此可抑制矩陣演算部282或矩陣演算部302的電路規模之增大(可降低電路規模)。
＜方法#2之適用＞ 例如，亦可為，控制部201係具有，具有與如圖7所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#2而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係基於RD成本來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係藉由控制部201而被生成，被供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至正交轉換部213，和適用上述的方法#1的情況同樣地，被利用於轉換矩陣之導出。
再者，藉由該轉換類型導出部的轉換類型候補表切換旗標設定部122而被導出之轉換類型候補表切換旗標useAltTrCandFlag，係被供給至編碼部215，被編碼而被含入至位元串流中。亦即，會被供給至解碼側。
於影像編碼處理中，係於步驟S204(圖21)中，作為正交轉換控制處理之1者，參照圖8的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖24的步驟S271中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。又，於圖26的步驟S291中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。
藉由如此設計，影像編碼裝置200，係如第2實施形態中所說明般地，可基於RD成本來選擇轉換類型候補表，可促使編碼效率提升。又，此情況下，由於會將轉換類型候補表切換旗標useAltTrCandFlag傳輸至解碼側，因此影像編碼裝置200係可針對轉換類型之選擇做明示性的控制。
＜方法#3之適用＞ 例如，亦可為，控制部201係具有，具有與如圖11所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#3而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係隨應於畫面間預測模式來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、畫面間預測模式、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係藉由控制部201而被生成，被供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至正交轉換部213，和適用上述的方法#1的情況同樣地，被利用於轉換矩陣之導出。
於影像編碼處理中，係於步驟S204(圖21)中，作為正交轉換控制處理之1者，參照圖12的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖24的步驟S271中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。又，於圖26的步驟S291中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。
藉由如此設計，影像編碼裝置200，係如第3實施形態中所說明般地，可促使編碼效率提升。又，由於是基於畫面間預測模式來選擇轉換類型候補表，因此影像編碼裝置200係可較容易地促使編碼效率提升。甚至，影像編碼裝置200，係由於可從某個轉換矩陣導出其他轉換矩陣，因此可抑制轉換矩陣LUT291或轉換矩陣LUT311的大小之增大(可降低大小)。又，由於可使進行矩陣演算的演算電路共通化，因此可抑制矩陣演算部282或矩陣演算部302的電路規模之增大(可降低電路規模)。
＜方法#4之適用＞ 例如，亦可為，控制部201係具有，具有與如圖13所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#4而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係隨應於運動向量之像素精度來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、運動向量之像素精度、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係藉由控制部201而被生成，被供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至正交轉換部213，和適用上述的方法#1的情況同樣地，被利用於轉換矩陣之導出。
於影像編碼處理中，係於步驟S204(圖21)中，作為正交轉換控制處理之1者，參照圖14的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖24的步驟S271中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。又，於圖26的步驟S291中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。
藉由如此設計，影像編碼裝置200，係如第4實施形態中所說明般地，可促使編碼效率提升。又，由於是基於運動向量之像素精度來選擇轉換類型候補表，因此影像編碼裝置200係可較容易地促使編碼效率提升。甚至，影像編碼裝置200，係由於可從某個轉換矩陣導出其他轉換矩陣，因此可抑制轉換矩陣LUT291或轉換矩陣LUT311的大小之增大(可降低大小)。又，由於可使進行矩陣演算的演算電路共通化，因此可抑制矩陣演算部282或矩陣演算部302的電路規模之增大(可降低電路規模)。
＜9.第6實施形態＞ ＜影像解碼裝置＞ 又，本技術係亦可適用於，使用逆正交轉換而將影像之編碼資料予以解碼的影像解碼裝置。於本實施形態中係說明，對如此的影像解碼裝置適用本技術的情況。
圖27係適用了本技術的影像處理裝置之一態樣的影像解碼裝置之構成之一例的區塊圖。圖27所示的影像解碼裝置400，係為將動態影像所被編碼而成的編碼資料予以解碼的裝置。例如，影像解碼裝置400，係將非專利文獻1乃至非專利文獻4中所記載之技術加以實作，以符合這些文獻之任一者所記載之規格的方法將動態影像之影像資料所被編碼而成的編碼資料，予以解碼。例如，影像解碼裝置400，係將上述的影像編碼裝置200所生成的編碼資料(位元串流)，予以解碼。
此外，於圖27中係主要表示處理部或資料的流向等，圖27所示者並非全部。亦即，於影像解碼裝置400中，亦可存在有於圖27中未以區塊而被表示的處理部，亦可存在有於圖27中未以箭頭等而表示的處理或資料之流向。這在影像解碼裝置400內的處理部等的說明的其他圖中也是同樣如此。
於圖27中，影像解碼裝置400係具備：積存緩衝區411、解碼部412、逆量化部413、逆正交轉換部414、演算部415、迴圈內濾波器部416、排序緩衝區417、畫格記憶體418、及預測部419。此外，預測部419係具備未圖示的畫面內預測部、及畫面間預測部。影像解碼裝置400係為，藉由將編碼資料(位元串流)予以解碼，以生成動態影像資料所需之裝置。
＜積存緩衝區＞ 積存緩衝區411，係將已被輸入至影像解碼裝置400的位元串流加以取得，並予以保持(記憶)。積存緩衝區411，係在所定之時序上、或所定之條件達成等情況下，將所積存的位元串流供給至解碼部412。
＜解碼部＞ 解碼部412，係進行影像之解碼的相關處理。例如，解碼部412，係將從積存緩衝區411所被供給之位元串流當作輸入，依照語法表的定義，從該位元列，將各語法要素之語法值進行可變長度解碼，並將參數予以導出。
從語法要素及語法要素之語法值所被導出的參數中係包含有例如：標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等之資訊。亦即，解碼部412，係從位元串流，將這些資訊進行剖析(進行解析並取得之)。關於這些資訊，說明如下。
＜標頭資訊Hinfo＞ 標頭資訊Hinfo係含有例如：VPS(Video Parameter Set)/SPS(Sequence Parameter Set)/PPS(Picture Parameter Set)/SH(切片標頭)等之標頭資訊。標頭資訊Hinfo中係含有例如：將影像尺寸(橫幅PicWidth、縱幅PicHeight)、位元深度(亮度bitDepthY、色差bitDepthC)、色差陣列類型ChromaArrayType、CU尺寸之最大值MaxCUSize/最小值MinCUSize、4分樹分割(亦稱為Quad-tree分割)之最大深度MaxQTDepth/最小深度MinQTDepth、2分樹分割(Binary-tree分割)之最大深度MaxBTDepth/最小深度MinBTDepth、轉換略過區塊之最大值MaxTSSize(亦稱為最大轉換略過區塊尺寸)、各編碼工具的開啟關閉旗標(亦稱為有效旗標)等予以規定的資訊。
例如，作為標頭資訊Hinfo中所含之編碼工具的開啟關閉旗標，係有以下所示的涉及轉換、量化處理的開啟關閉旗標。此外，編碼工具的開啟關閉旗標，係亦可解釋成，表示該編碼工具所涉及之語法是否存在於編碼資料中的旗標。又，開啟關閉旗標之值為1(真)的情況下，表示該編碼工具是可使用，開啟關閉旗標之值為0(偽)的情況下，表示該編碼工具是不可使用。此外，旗標值的解釋亦可顛倒。
組件間預測有效旗標(ccp_enabled_flag)：表示組件間預測(CCP(Cross-Component Prediction)，亦稱為CC預測)是否為可使用的旗標資訊。例如，該旗標資訊為「1」(真)的情況下，表示可使用，為「0」(偽)的情況下，表示不可使用。
此外，該CCP，係亦稱為組件間線性預測(CCLM或CCLMP)。
＜預測模式資訊Pinfo＞ 預測模式資訊Pinfo中係含有例如；處理對象PB(預測區塊)之尺寸資訊PBSize(預測區塊尺寸)、畫面內預測模式資訊IPinfo、運動預測資訊MVinfo等之資訊。
畫面內預測模式資訊IPinfo中係含有例如：JCTVC-W1005, 7.3.8.5 Coding Unit syntax中的 prev_intra_luma_pred_flag、mpm_idx, rem_intra_pred_mode、及從該語法所被導出的亮度畫面內預測模式IntraPredModeY等。
又，畫面內預測模式資訊IPinfo中係含有例如：組件間預測旗標(ccp_flag(cclmp_flag))、多級別線性預測模式旗標(mclm_flag)、色差樣本位置類型識別元(chroma_sample_loc_type_idx)、色差MPM識別元(chroma_mpm_idx)、及從這些語法所被導出的亮度畫面內預測模式(IntraPredModeC)等。
組件間預測旗標(ccp_flag(cclmp_flag))，係為表示是否適用組件間線性預測的旗標資訊。例如，ccp_flag==1時，表示要適用組件間預測，ccp_flag==0時，表示不適用組件間預測。
多級別線性預測模式旗標(mclm_flag)，係為線性預測之模式的相關資訊(線性預測模式資訊)。更具體而言，多級別線性預測模式旗標(mclm_flag)，係為表示是否設成多級別線性預測模式的旗標資訊。例如，「0」的情況是表示1級別模式(單一級別模式)(例如CCLMP)，「1」的情況是表示2級別模式(多級別模式)(例如MCLMP)。
色差樣本位置類型識別元 (chroma_sample_loc_type_idx)，係為用來識別色差組件的像素位置之類型(亦稱為色差樣本位置類型)的識別元。例如色格式的相關資訊也就是色差陣列類型(ChromaArrayType)是表示420形式的情況下，色差樣本位置類型識別元，係採取如以下的式(36)的指派方式。
Figure 02_image063
此外，該色差樣本位置類型識別元 (chroma_sample_loc_type_idx)，係作為色差組件之像素位置的相關資訊(chroma_sample_loc_info())(被儲存在其中)而被傳輸。
色差MPM識別元(chroma_mpm_idx)，係為表示要將色差畫面內預測模式候補清單(intraPredModeCandListC)之中的哪個預測模式候補指定作為色差畫面內預測模式的識別元。
運動預測資訊MVinfo中係含有例如：merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0,1}、mvd等之資訊(例如參照JCTVC-W1005, 7.3.8.6 Prediction Unit Syntax)。
當然，預測模式資訊Pinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
＜轉換資訊Tinfo＞ 轉換資訊Tinfo中係含有例如以下之資訊。當然，轉換資訊Tinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
處理對象轉換區塊之橫幅尺寸TBWSize及縱幅TBHSize(或者亦可為以2為底的各TBWSize、TBHSize之對數值log2TBWSize、log2TBHSize)。 轉換略過旗標(ts_flag)：表示是否將(逆)初級轉換及(逆)次級轉換予以略過的旗標。 掃描識別元(scanIdx) 量化參數(qp) 量化矩陣(scaling_matrix(例如JCTVC-W1005, 7.3.4 Scaling list data syntax))
＜殘差資訊Rinfo＞ 殘差資訊Rinfo(例如參照JCTVC-W1005的7.3.8.11 Residual Coding syntax)中係含有例如以下之語法。
cbf(coded_block_flag)：殘差資料有無旗標 last_sig_coeff_x_pos：最後非零係數X座標 last_sig_coeff_y_pos：最後非零係數Y座標 coded_sub_block_flag：子區塊非零係數有無旗標 sig_coeff_flag：非零係數有無旗標 gr1_flag：表示非零係數之位準是大於1的旗標(亦稱為GR1旗標) gr2_flag：表示非零係數之位準是大於2的旗標(亦稱為GR2旗標) sign_flag：表示非零係數之正負的符號(亦稱為記號符號) coeff_abs_level_remaining：非零係數之殘餘位準(亦稱為非零係數殘餘位準) 等。
當然，殘差資訊Rinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
＜濾波器資訊Finfo＞ 濾波器資訊Finfo中係含有例如：以下所示的各濾波器處理所相關之控制資訊。
去區塊濾波器(DBF)所相關之控制資訊 像素適應偏置(SAO)所相關之控制資訊 適應迴圈濾波器(ALF)所相關之控制資訊 其他線性、非線性濾波器所相關之控制資訊
更具體而言，含有例如：適用各濾波器的圖像、或指令圖像內之領域的資訊、或CU單位的濾波器On/Off控制資訊、關於切片、瓷磚之交界的濾波器On/Off控制資訊等。當然，濾波器資訊Finfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
回到解碼部412之說明。解碼部412，係參照殘差資訊Rinfo，將各轉換區塊內的各係數位置的量化轉換係數位準level予以導出。解碼部412，係將該量化轉換係數位準level，供給至逆量化部413。
又，解碼部412，係將已剖析之標頭資訊Hinfo、預測模式資訊Pinfo、量化轉換係數位準level、轉換資訊Tinfo、濾波器資訊Finfo，供給至各區塊。具體而言係如以下所述。
標頭資訊Hinfo，係被供給至逆量化部413、逆正交轉換部414、預測部419、迴圈內濾波器部416。 預測模式資訊Pinfo，係被供給至逆量化部413及預測部419。 轉換資訊Tinfo，係被供給至逆量化部413及逆正交轉換部414。 濾波器資訊Finfo，係被供給至迴圈內濾波器部416。
當然，上述的例子係為一例，並非限定於此例。例如，各編碼參數亦可被供給至任意之處理部。又，其他資訊亦可被供給至任意之處理部。
＜逆正交轉換之控制＞ 解碼部412，係還將逆正交轉換之控制的相關資訊予以解碼、導出等等。解碼部412，係將如此而獲得的資訊供給至逆正交轉換部414，以控制被逆正交轉換部414所進行的逆正交轉換。
＜逆量化部＞ 逆量化部413，係至少具有：為了進行逆量化的相關處理所必須的構成。例如，逆量化部413，係將從解碼部412所被供給之轉換資訊Tinfo及量化轉換係數位準level當作輸入，基於該轉換資訊Tinfo，將量化轉換係數位準level之值予以比例縮放(逆量化)，將逆量化後的轉換係數Coeff_IQ予以導出。
此外，該逆量化，係作為量化部214所致之量化的逆處理，而被進行。又，該逆量化，係為與逆量化部217所致之逆量化相同的處理。亦即，逆量化部217，係進行與逆量化部413相同的處理(逆量化)。
逆量化部413，係將已導出之轉換係數Coeff_IQ，供給至逆正交轉換部414。
＜逆正交轉換部＞ 逆正交轉換部414，係進行逆正交轉換的相關處理。例如，逆正交轉換部414，係將從逆量化部413所被供給之轉換係數Coeff_IQ，及從解碼部412所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而對轉換係數Coeff_IQ進行逆正交轉換處理，導出預測殘差D'。
此外，該逆正交轉換，係作為正交轉換部213所致之正交轉換的逆處理，而被進行。又，該逆正交轉換，係危語逆正交轉換部218所致之逆正交轉換相同的處理。亦即，逆正交轉換部218，係進行與逆正交轉換部414相同的處理(逆正交轉換)。
逆正交轉換部414，係將已導出之預測殘差D'，供給至演算部415。
＜演算部＞ 演算部415，係進行影像的相關資訊之加算的相關處理。例如，演算部415，係將從逆正交轉換部414所被供給之預測殘差D'、與從預測部419所被供給之預測影像P，當作輸入。演算部415，係如以下的式(37)所示般地，將預測殘差D'與該預測殘差D'所對應之預測影像P(預測訊號)進行加算，將局部解碼影像Rlocal 予以導出。
Figure 02_image065
演算部415，係將已導出之局部解碼影像Rlocal ，供給至迴圈內濾波器部416及畫格記憶體418。
＜迴圈內濾波器部＞ 迴圈內濾波器部416，係進行迴圈內濾波器處理的相關處理。例如，迴圈內濾波器部416，係將從演算部415所被供給之局部解碼影像Rlocal 、與從解碼部412所被供給之濾波器資訊Finfo，當作輸入。此外，對迴圈內濾波器部416所被輸入的資訊係為任意，亦可輸入這些資訊以外之資訊。
迴圈內濾波器部416，係基於該濾波器資訊Finfo，而對局部解碼影像Rlocal 適宜地進行濾波器處理。
例如，迴圈內濾波器部416，係如非專利文獻1所記載，將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器，依其順序而做適用。此外，要適用哪個濾波器，要以何種順序做適用係為任意，可適宜地選擇。
迴圈內濾波器部416，係進行編碼側(例如影像編碼裝置200的迴圈內濾波器部220)所進行之濾波器處理所對應之濾波器處理。當然，迴圈內濾波器部416所進行的濾波器處理係為任意，不限定於上述的例子。例如，迴圈內濾波器部416係亦可適用維納濾波器等。
迴圈內濾波器部416，係將已被濾波器處理過的局部解碼影像Rlocal ，供給至排序緩衝區417及畫格記憶體418。
＜排序緩衝區＞ 排序緩衝區417，係將從迴圈內濾波器部416所被供給之局部解碼影像Rlocal 當作輸入，並將其予以保持(記憶)。排序緩衝區417，係使用該局部解碼影像Rlocal 而將每一圖像單位之解碼影像R予以重建，並保持之(儲存在緩衝區內)。排序緩衝區417，係將所得到的解碼影像R，從解碼順序排序成再生順序。排序緩衝區417，係已排序之解碼影像R群，當作動態影像資料而輸出至影像解碼裝置400之外部。
＜畫格記憶體＞ 畫格記憶體418，係進行關於影像之資料的記憶的相關處理。例如，畫格記憶體418，係將從演算部415所被供給之局部解碼影像Rlocal 當作輸入，將每一圖像單位之解碼影像R予以重建，並儲存至畫格記憶體418內的緩衝區。
又，畫格記憶體418，係將從迴圈內濾波器部416所被供給之，已被迴圈內濾波器處理過的局部解碼影像Rlocal 當作輸入，將每一圖像單位之解碼影像R予以重建，並儲存至畫格記憶體418內的緩衝區。畫格記憶體418，係適宜將其記憶的解碼影像R(或其一部分)，當作參照影像而供給至預測部419。
此外，畫格記憶體418亦可將解碼影像之生成所涉及的標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等，加以記憶。
＜預測部＞ 預測部419，係進行預測影像之生成的相關處理。例如，預測部419，係將從解碼部412所被供給之預測模式資訊Pinfo當作輸入，以藉由該預測模式資訊Pinfo而被指定的預測方法來進行預測，導出預測影像P。該導出之際，預測部419，係將藉由該預測模式資訊Pinfo而被指定的，已被儲存在畫格記憶體418中的濾波前或濾波後的解碼影像R(或其一部分)，當作參照影像而利用。預測部419，係將已導出之預測影像P，供給至演算部415。
＜逆正交轉換部的細節＞ 圖28係圖27的逆正交轉換部414的主要構成例的區塊圖。如圖28所示，逆正交轉換部414係具有逆次級轉換部461及逆初級轉換部462。
逆次級轉換部461，係至少具有：為了進行編碼側(例如影像編碼裝置200的次級轉換部262)中所被進行的次級轉換的逆處理也就是逆次級轉換的相關處理所必須的構成。例如，逆次級轉換部461，係將從逆量化部413所被供給之轉換係數Coeff_IQ及轉換資訊Tinfo，當作輸入。
逆次級轉換部461，係基於轉換資訊Tinfo，而對轉換係數Coeff_IQ進行逆次級轉換，將逆次級轉換後的轉換係數Coeff_IS予以導出。逆次級轉換部461，係將該逆次級轉換係數Coeff_IS，供給至逆初級轉換部462。
逆初級轉換部462，係進行編碼側(例如影像編碼裝置200的初級轉換部261)中所被進行的初級轉換的逆處理也就是逆初級轉換的相關處理。例如，逆初級轉換部462，係將逆次級轉換後的轉換係數Coeff_IS、和轉換類型索引(垂直轉換類型索引TrTypeV及水平轉換類型索引TrTypeH)，當作輸入。
逆初級轉換部462，係使用水平轉換類型索引TrTypeH所對應之轉換矩陣、與垂直轉換類型索引TrTypeV所對應之轉換矩陣，對逆次級轉換後的轉換係數Coeff_IS進行逆初級轉換，將逆初級轉換後的轉換係數(亦即預測殘差D')予以導出。逆初級轉換部462，係將已導出之預測殘差D'，供給至演算部415。
如圖28所示，逆初級轉換部462係具有逆初級垂直轉換部471及逆初級水平轉換部472。
逆初級垂直轉換部471，係被構成為，進行垂直方向之逆1維正交轉換也就是逆初級垂直轉換的相關處理。例如，逆初級垂直轉換部471，係將轉換係數Coeff_IS及轉換資訊Tinfo(垂直轉換類型索引TrTypeV等)，當作輸入。逆初級垂直轉換部471，係使用垂直轉換類型索引TrTypeV所對應之轉換矩陣，而對轉換係數Coeff_IS進行逆初級垂直轉換。逆初級垂直轉換部471，係將逆初級垂直轉換後的轉換係數，供給至逆初級水平轉換部472。
逆初級水平轉換部472，係被構成為，進行水平方向之1維正交轉換也就是初級水平轉換的相關處理。例如，逆初級水平轉換部472，係將逆初級垂直轉換後的轉換係數及轉換資訊Tinfo(水平轉換類型索引TrTypeH等)，當作輸入。逆初級水平轉換部472，係使用水平轉換類型索引TrTypeH所對應之轉換矩陣，而對逆初級垂直轉換後的轉換係數進行逆初級水平轉換。逆初級水平轉換部472，係將逆初級水平轉換後的轉換係數(亦即預測殘差D')，供給至演算部415。
此外，於逆正交轉換部414中，逆次級轉換部461所致之逆次級轉換、或者逆初級轉換部462所致之逆初級轉換、或其雙方，係可略過(省略)。又，亦可將初級垂直轉換部471所致之逆初級垂直轉換，予以略過(省略)。同樣地，亦可將初級水平轉換部472所致之逆初級水平轉換，予以略過(省略)。
＜逆初級垂直轉換部＞ 圖29係圖28的逆初級垂直轉換部471的主要構成例的區塊圖。如圖29所示，逆初級垂直轉換部471係具有：轉換矩陣導出部481、矩陣演算部482、比例縮放部483、及限幅部484。
轉換矩陣導出部481，係將垂直轉換類型索引TrTypeV、與轉換區塊之尺寸的相關資訊當作輸入，將該垂直轉換類型索引TrTypeV所對應之，與轉換區塊同尺寸的，逆初級垂直轉換用的轉換矩陣TV (垂直方向之逆1維正交轉換用的轉換矩陣TV )，予以導出。轉換矩陣導出部481，係將該轉換矩陣TV ，供給至矩陣演算部482。
矩陣演算部482，係使用從該轉換矩陣導出部481所被供給之轉換矩陣TV ，而對輸入資料Xin (亦即逆次級轉換後的轉換係數Coeff_IS之轉換區塊)進行垂直方向之逆1維正交轉換，獲得中間資料Y1。該演算係可如以下的式(38)般地以行列式來表示。
Figure 02_image067
矩陣演算部482，係將該中間資料Y1，供給至比例縮放部483。
比例縮放部483，係將該中間資料Y1的各i行j列成分之係數Y1[i,j]以所定之位移量SIV 進行比例縮放，獲得中間資料Y2。該比例縮放，係可如以下的式(39)般地表示。
Figure 02_image069
比例縮放部483，係將該中間資料Y2，供給至限幅部484。
限幅部484，係將該中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，導出輸出資料Xout (亦即逆初級垂直轉換後的轉換係數)。該處理，係可如上述的式(20)般地表示。
限幅部484，係將該輸出資料Xout (逆初級垂直轉換後的轉換係數)，輸出至逆初級垂直轉換部471之外部(供給至逆初級水平轉換部472)。
＜轉換矩陣導出部＞ 圖30係圖29的轉換矩陣導出部481的主要構成例的區塊圖。如圖30所示，轉換矩陣導出部481係具有：轉換矩陣LUT491、翻轉部492、及轉置部493。此外，於圖30中，係雖然省略了表示資料之授受的箭頭，但轉換矩陣導出部481，係可與任意之處理部(處理區塊)間，授受任意之資料。
轉換矩陣LUT491，係為用來將垂直轉換類型索引TrTypeV及轉換區塊之尺寸N所對應之轉換矩陣予以保持(儲存)所需之查找表。轉換矩陣LUT491，係一旦垂直轉換類型索引TrTypeV及轉換區塊之尺寸N被指定，則將它們所對應之轉換矩陣加以選擇，並輸出。在此導出例的情況下，轉換矩陣LUT491，係將該轉換矩陣當作基礎轉換矩陣Tbase 而供給至翻轉部492或轉置部493，或其雙方。
翻轉部492，係將所被輸入的N行N列之轉換矩陣T予以翻轉，將翻轉後的轉換矩陣Tflip 予以輸出。在此導出例的情況下，翻轉部492，係將從轉換矩陣LUT491所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 往行方向(水平方向)進行翻轉，將翻轉後的轉換矩陣Tflip ，當作轉換矩陣TV ，輸出至轉換矩陣導出部481之外部(供給至矩陣演算部482)。
轉置部493，係將所被輸入的N行N列之轉換矩陣T予以轉置，將轉置後的轉換矩陣Ttranspose 予以輸出。在此導出例的情況下，轉置部493，係將從轉換矩陣LUT491所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 予以轉置，將轉置後的轉換矩陣Ttranspose ，當作轉換矩陣TV ，輸出至轉換矩陣導出部481之外部(供給至矩陣演算部482)。
＜逆初級水平轉換部＞ 圖31係圖28的逆初級水平轉換部472的主要構成例的區塊圖。如圖31所示，逆初級水平轉換部472係具有：轉換矩陣導出部501、矩陣演算部502、比例縮放部503、及限幅部504。
轉換矩陣導出部501，係將水平轉換類型索引TrTypeH、與轉換區塊之尺寸的相關資訊當作輸入，將該水平轉換類型索引TrTypeH所對應之，與轉換區塊同尺寸的，水平轉換用的轉換矩陣TH (水平方向之逆1維正交轉換用的轉換矩陣TH )，予以導出。轉換矩陣導出部501，係將該轉換矩陣TH ，供給至矩陣演算部502。
矩陣演算部502，係使用從該轉換矩陣導出部501所被供給之轉換矩陣TH ，而對輸入資料Xin (亦即逆初級垂直轉換後的轉換係數之轉換區塊)進行水平方向之逆1維正交轉換，獲得中間資料Y1。該演算係可如以下的式(40)般地以行列式來表示。
Figure 02_image071
矩陣演算部502，係將該中間資料Y1，供給至比例縮放部503。
比例縮放部503，係將該中間資料Y1的各i行j列成分之係數Y1[i,j]以所定之位移量SIH 進行比例縮放，獲得中間資料Y2。該比例縮放，係可如以下的式(41)般地表示。
Figure 02_image073
比例縮放部503，係將該中間資料Y2，供給至限幅部504。
限幅部504，係將該中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，導出輸出資料Xout (亦即逆初級水平轉換後的轉換係數)。該處理，係可如上述的式(15)般地表示。
限幅部504，係將該輸出資料Xout (逆初級水平轉換後的轉換係數(逆初級轉換後的轉換係數Coeff_IP))，當作預測殘差D'，輸出至逆初級水平轉換部472之外部(供給至演算部415)。
＜轉換矩陣導出部＞ 圖32係圖31的轉換矩陣導出部501的主要構成例的區塊圖。如圖32所示，轉換矩陣導出部501係具有：轉換矩陣LUT511、翻轉部512、及轉置部513。此外，於圖32中，係雖然省略了表示資料之授受的箭頭，但轉換矩陣導出部501，係可與任意之處理部(處理區塊)間，授受任意之資料。
轉換矩陣LUT511，係為用來將水平轉換類型索引TrTypeIdxH及轉換區塊之尺寸N所對應之轉換矩陣予以保持(儲存)所需之查找表。轉換矩陣LUT511，係一旦水平轉換類型索引TrTypeIdxH及轉換區塊之尺寸N被指定，則將它們所對應之轉換矩陣加以選擇，並輸出。在此導出例的情況下，轉換矩陣LUT511，係將該轉換矩陣當作基礎轉換矩陣Tbase 而供給至翻轉部512或轉置部513，或其雙方。
翻轉部512，係將所被輸入的N行N列之轉換矩陣T予以翻轉，將翻轉後的轉換矩陣Tflip 予以輸出。在此導出例的情況下，翻轉部512，係將從轉換矩陣LUT511所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 往行方向(水平方向)進行翻轉，將翻轉後的轉換矩陣Tflip ，當作轉換矩陣TH ，輸出至轉換矩陣導出部501之外部(供給至矩陣演算部502)。
轉置部513，係將所被輸入的N行N列之轉換矩陣T予以轉置，將轉置後的轉換矩陣Ttranspose 予以輸出。在此導出例的情況下，轉置部513，係將從轉換矩陣LUT511所被供給之N行N列之基礎轉換矩陣Tbase 當作輸入，將該基礎轉換矩陣Tbase 予以轉置，將轉置後的轉換矩陣Ttranspose ，當作轉換矩陣TH ，輸出至轉換矩陣導出部501之外部(供給至矩陣演算部502)。
＜影像解碼處理之流程＞ 接著說明如以上之構成的影像解碼裝置400所執行的各處理的流程。首先，參照圖33的流程圖，說明影像編碼處理的流程之例子。
一旦影像解碼處理被開始，則積存緩衝區411，係於步驟S401中，將從影像解碼裝置400之外部所被供給之編碼資料(位元串流)加以取得並保持(積存)。
於步驟S402中，解碼部412，係將該編碼資料(位元串流)予以解碼，獲得量化轉換係數位準level。又，解碼部412，係藉由該解碼，而從編碼資料(位元串流)中將各種編碼參數予以剖析(進行解析並取得之)。
於步驟S403中，解碼部412係進行，隨應於編碼參數而控制逆正交轉換之類型的逆正交轉換控制處理。
於步驟S404中，逆量化部413，係對藉由步驟S402之處理所得到的量化轉換係數位準level，進行編碼側中所被進行之量化的逆處理也就是逆量化，獲得轉換係數Coeff_IQ。
於步驟S405中，逆正交轉換部414，係依照步驟S403之控制，對步驟S404中所得到的轉換係數Coeff_IQ，進行編碼側中所被進行之正交轉換處理的逆處理也就是逆正交轉換處理，獲得預測殘差D'。
於步驟S406中，預測部419，係基於步驟S402中所被剖析出來的資訊，以被編碼側所指定之預測方法執行預測處理，參照畫格記憶體418中所被記憶的參照影像等，而生成預測影像P。
於步驟S407中，演算部415，係將步驟S405中所得到的預測殘差D'、與步驟S406中所得到的預測影像P進行加算，導出局部解碼影像Rlocal 。
於步驟S408中，迴圈內濾波器部416，係對藉由步驟S407之處理所得到的局部解碼影像Rlocal ，進行迴圈內濾波器處理。
於步驟S409中，排序緩衝區417，係使用藉由步驟S408之處理所得到的已被濾波器處理過的局部解碼影像Rlocal而導出解碼影像R，將該解碼影像R群之順序，從解碼順序排序成再生順序。已被排序成再生順序的解碼影像R群，係作為動態影像而被輸出至影像解碼裝置400之外部。
又，於步驟S410中，畫格記憶體418，係將藉由步驟S407之處理所得到的局部解碼影像Rlocal 、及藉由步驟S408之處理所得到的濾波器處理後的局部解碼影像Rlocal 之中的至少一方，加以記憶。
一旦步驟S410的處理結束，則影像解碼處理就結束。
＜逆正交轉換之處理的流程＞ 接著，將圖33之步驟S405中所執行的逆正交轉換處理的流程例，參照圖34的流程圖而加以說明。一旦逆正交轉換處理被開始，則逆正交轉換部414，係於步驟S441中，判定轉換略過旗標ts_flag是否為2D_TS(2維轉換略過之模式)(例如1(真))、或轉換量化略過旗標transquant_bypass_flag是否為1(真)。若判定為轉換略過識別元ts_idx是2D_TS、或轉換量化略過旗標為1(真)的情況，則逆正交轉換處理係結束，處理係回到圖33。此情況下，逆正交轉換處理(逆初級轉換或逆次級轉換)係被省略，轉換係數Coeff_IQ係被當作預測殘差D'。
又，於步驟S441中，若判定為，轉換略過識別元ts_idx並非2D_TS(2維轉換略過以外之模式)(例如0(偽))，且轉換量化略過旗標為0(偽)的情況下，則處理係往步驟S442前進。此情況下，逆次級轉換處理及逆初級轉換處理會被進行。
於步驟S442中，逆次級轉換部461，係對轉換係數Coeff_IQ，基於次級轉換識別元st_idx而進行逆次級轉換處理，將轉換係數Coeff_IS予以導出，並輸出之。
於步驟S443中，逆初級轉換部462，係對轉換係數Coeff_IS進行逆初級轉換處理，將逆初級轉換後的轉換係數(預測殘差D')予以導出。
一旦步驟S443的處理結束，則逆正交轉換處理就結束，處理係回到圖30。
＜逆初級轉換處理之流程＞ 接著，將圖34之步驟S443中所執行的逆初級轉換處理的流程之例子，參照圖35的流程圖而加以說明。
一旦逆初級轉換處理被開始，則逆初級轉換部462的逆初級垂直轉換部471，係於步驟S451中，對逆次級轉換後的轉換係數Coeff_IS進行逆初級垂直轉換處理，將逆初級垂直轉換後的轉換係數予以導出。
於步驟S452中，逆初級水平轉換部472，係對該逆初級垂直轉換後的轉換係數進行逆初級水平轉換處理，將逆初級水平轉換後的轉換係數(亦即預測殘差D')予以導出。
一旦步驟S452的處理結束，則逆初級轉換處理就結束，處理係回到圖32。
＜逆初級垂直轉換處理之流程＞ 接著，將圖35的步驟S451中所被執行的逆初級垂直轉換處理的流程之例子，參照圖36的流程圖而加以說明。
一旦逆初級垂直轉換處理被開始，則逆初級垂直轉換部471的轉換矩陣導出部481，係於步驟S461中，執行轉換矩陣導出處理，將垂直轉換類型索引TrTypeV所對應之轉換矩陣TV 予以導出。
此時的轉換矩陣導出處理，係以和參照圖25的流程圖所說明的初級水平轉換的情況相同的流程而被進行。因此，省略其說明。例如，將水平轉換類型索引TrTypeH置換成垂直轉換類型索引TrTypeV，將所被導出的初級水平轉換用的轉換矩陣TH ，置換成逆初級垂直轉換用的轉換矩陣TV ，藉此，就可將參照圖25所進行過的說明，作為此時的轉換矩陣導出處理之說明而適用。
於步驟S462中，矩陣演算部482，係使用該已被導出之轉換矩陣TV 而對輸入資料Xin (亦即逆次級轉換後的轉換係數Coeff_IS)進行垂直方向之逆1維正交轉換，獲得中間資料Y1。若將該處理以行列式來表現，則可如上述的式(30)般地表示。
，於步驟S463中，比例縮放部483，係將藉由步驟S462之處理而被導出之中間資料Y1的各i行j列成分之係數Y1[i,j]以位移量SIV 進行比例縮放，將中間資料Y2予以導出。該比例縮放，係可如上述的式(39)般地表示。
於步驟S464中，限幅部484，係將藉由步驟S463之處理而被導出之中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，獲得輸出資料Xout (亦即逆初級垂直轉換後的轉換係數)。該處理，係可如上述的式(20)般地表示。
一旦步驟S464的處理結束，則逆初級垂直轉換處理就結束，處理係回到圖35。
＜逆初級水平轉換處理之流程＞ 接著，關於圖35的步驟S452中所被執行的逆初級水平轉換處理之流程，參照圖37的流程圖來加以說明。
一旦逆初級水平轉換處理被開始，則逆初級水平轉換部472的轉換矩陣導出部501，係於步驟S471中，執行轉換矩陣導出處理，將水平轉換類型索引TrTypeH所對應之轉換矩陣TH 予以導出。
此時的轉換矩陣導出處理，係以和參照圖25的流程圖所說明的初級水平轉換的情況相同的流程而被進行。因此，省略其說明。例如，只要將初級水平轉換置換成逆初級水平轉換等，就可把參照圖25所進行過的說明，作為此時的轉換矩陣導出處理之說明而適用。
於步驟S472中，矩陣演算部502，係使用該已被導出之轉換矩陣TH 而對輸入資料Xin (亦即逆初級垂直轉換後的轉換係數)進行水平方向之逆1維正交轉換，獲得中間資料Y1。若將該處理以行列式來表現，則可如上述的式(32)般地表示。
，於步驟S473中，比例縮放部503，係將藉由步驟S472之處理而被導出之中間資料Y1的各i行j列成分之係數Y1[i,j]以位移量SIH 進行比例縮放，將中間資料Y2予以導出。該比例縮放，係可如上述的式(33)般地表示。
於步驟S474中，限幅部504，係將藉由步驟S473之處理而被導出之中間資料Y2的各i行j列成分之係數Y2[i,j]之值予以限幅，獲得輸出資料Xout (亦即預測殘差D')。該處理，係可如上述的式(12)般地表示。
一旦步驟S474的處理結束，則逆初級水平轉換處理就結束，處理係回到圖35。
＜本技術之適用＞ 在如以上之構成的影像解碼裝置400中，解碼部412係進行適用了上述本技術的處理。亦即，解碼部412，係具有和轉換類型導出裝置100相同之構成，可進行如第1實施形態乃至第4實施形態中所說明的處理。
＜方法#1之適用＞ 例如，亦可為，解碼部412係具有，具有與如圖2所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#1而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係隨應於目前區塊的區塊尺寸來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係被含入至位元串流而被傳輸。影像解碼裝置400，係將如此的位元串流，加以取得。解碼部412，係將該位元串流予以解碼，而將這些各種資訊予以抽出，並供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至逆正交轉換部414。更具體而言，轉換類型trTypeV，係被供給至逆初級轉換部462的逆初級垂直轉換部471，轉換類型trTypeH，係被供給至逆初級水平轉換部472。更具體而言，轉換類型trTypeV係被供給至轉換矩陣導出部481，被利用於轉換矩陣TV 之導出。又，轉換類型trTypeH係被供給至轉換矩陣導出部501，被利用於轉換矩陣TH 之導出。
於影像解碼處理中，係於步驟S403(圖33)中，作為逆正交轉換控制處理之1者，參照圖4的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖36的步驟S461中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。又，於圖37的步驟S471中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。
藉由如此設計，影像解碼裝置400，係如第1實施形態中所說明般地，可促使編碼效率提升。又，由於是基於區塊尺寸來選擇轉換類型候補表，因此影像解碼裝置400係可較容易地促使編碼效率提升。甚至，影像解碼裝置400，係由於可從某個轉換矩陣導出其他轉換矩陣，因此可抑制轉換矩陣LUT491或轉換矩陣LUT511的大小之增大(可降低大小)。又，由於可使進行矩陣演算的演算電路共通化，因此可抑制矩陣演算部482或矩陣演算部502的電路規模之增大(可降低電路規模)。
＜方法#2之適用＞ 例如，亦可為，解碼部412係具有，具有與如圖9所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#2而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係基於轉換類型候補表切換旗標useAltTrCandFlag來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、轉換類型候補表切換旗標useAltTrCandFlag、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係被含入至位元串流而被傳輸。影像解碼裝置400，係將如此的位元串流，加以取得。解碼部412，係將該位元串流予以解碼，而將這些各種資訊予以抽出，並供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至逆正交轉換部414，和適用上述的方法#1的情況同樣地，被利用於轉換矩陣之導出。
於影像解碼處理中，係於步驟S403(圖33)中，作為逆正交轉換控制處理之1者，參照圖10的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖36的步驟S461中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。又，於圖37的步驟S471中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。
藉由如此設計，影像解碼裝置400，係如第2實施形態中所說明般地，可基於從編碼側所被傳輸的轉換類型候補表切換旗標useAltTrCandFlag來選擇選擇轉換類型候補表，可促使編碼效率提升。又，由於是基於轉換類型候補表切換旗標useAltTrCandFlag來選擇轉換類型候補表，因此影像解碼裝置400係可較容易地促使編碼效率提升。
＜方法#3之適用＞ 例如，亦可為，解碼部412係具有，具有與如圖11所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#3而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係隨應於畫面間預測模式來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、畫面間預測模式、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係被含入至位元串流而被傳輸。影像解碼裝置400，係將如此的位元串流，加以取得。解碼部412，係將該位元串流予以解碼，而將這些各種資訊予以抽出，並供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至逆正交轉換部414，和適用上述的方法#1的情況同樣地，被利用於轉換矩陣之導出。
於影像解碼處理中，係於步驟S403(圖33)中，作為正交轉換控制處理之1者，參照圖12的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖36的步驟S461中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。又，於圖37的步驟S471中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。
藉由如此設計，影像解碼裝置400，係如第3實施形態中所說明般地，可促使編碼效率提升。又，由於是基於畫面間預測模式來選擇轉換類型候補表，因此影像解碼裝置400係可較容易地促使編碼效率提升。甚至，影像解碼裝置400，係由於可從某個轉換矩陣導出其他轉換矩陣，因此可抑制轉換矩陣LUT491或轉換矩陣LUT511的大小之增大(可降低大小)。又，由於可使進行矩陣演算的演算電路共通化，因此可抑制矩陣演算部482或矩陣演算部502的電路規模之增大(可降低電路規模)。
＜方法#4之適用＞ 例如，亦可為，解碼部412係具有，具有與如圖13所示的轉換類型導出裝置100同等之機能的處理部(亦稱為轉換類型導出部)，該轉換類型導出部係適用方法#4而將轉換類型予以導出。亦即，亦可為，該轉換類型導出部，係隨應於運動向量之像素精度來選擇轉換類型候補表，使用該已選擇之轉換類型候補表而將轉換類型予以導出。
此情況下，轉換旗標Emtflag、模式資訊、區塊尺寸、色彩識別元、運動向量之像素精度、轉換索引EmtIdx、初級水平轉換指定旗標pt_hor_flag、及初級垂直轉換指定旗標pt_ver_flag等之各種資訊，係被含入至位元串流而被傳輸。影像解碼裝置400，係將如此的位元串流，加以取得。解碼部412，係將該位元串流予以解碼，而將這些各種資訊予以抽出，並供給至轉換類型導出部。
又，藉由該轉換類型導出部的轉換類型設定部104而被設定的轉換類型trTypeH及trTypeV，係被供給至逆正交轉換部414，和適用上述的方法#1的情況同樣地，被利用於轉換矩陣之導出。
於影像解碼處理中，係於步驟S403(圖33)中，作為正交轉換控制處理之1者，參照圖14的流程圖所說明的轉換類型設定處理係被進行，轉換類型trTypeH及trTypeV係被設定。然後，於圖36的步驟S461中所被進行的轉換矩陣TV 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeH而被進行。又，於圖37的步驟S471中所被進行的轉換矩陣TH 之導出，係使用藉由該轉換類型設定處理而被導出之轉換類型trTypeV而被進行。
藉由如此設計，影像解碼裝置400，係如第4實施形態中所說明般地，可促使編碼效率提升。又，由於是基於運動向量之像素精度來選擇轉換類型候補表，因此影像解碼裝置400係可較容易地促使編碼效率提升。甚至，影像解碼裝置400，係由於可從某個轉換矩陣導出其他轉換矩陣，因此可抑制轉換矩陣LUT491或轉換矩陣LUT511的大小之增大(可降低大小)。又，由於可使進行矩陣演算的演算電路共通化，因此可抑制矩陣演算部482或矩陣演算部502的電路規模之增大(可降低電路規模)。
＜10.附記＞ ＜電腦＞ 上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖38係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖38所示的電腦800中，CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM (Random Access Memory)803，係透過匯流排804而被彼此連接。
匯流排804，係還連接著輸出入介面810。輸出入介面810上係連接有：輸入部811、輸出部812、記憶部813、通訊部814、及驅動機815。
輸入部811，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部812係由例如顯示器、揚聲器、輸出端子等所成。記憶部813，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部814係由例如網路介面所成。驅動機815係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。
在如以上構成的電腦中，藉由CPU801而例如將記憶部813中所記憶之程式，透過輸出入介面810及匯流排804，而載入至RAM803裡並加以執行，就可進行上述一連串處理。RAM803中，還適宜地記憶著CPU801在執行各種處理時所必需的資料等。
電腦(CPU801)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體821中而適用。此情況下，程式係藉由將可移除式媒體821裝著至驅動機815，就可透過輸出入介面810，安裝至記憶部813。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部814而接收之，並安裝至記憶部813。
除此以外，該程式係可事前安裝在ROM802或記憶部813中。
＜資訊、處理的單位＞ 於以上所說明的各種資訊所被設定的資料單位、或各種處理之對象的資料單位，係分別為任意，並非限定於上述的例子。例如，這些資訊或處理係亦可分別對每一TU(Transform Unit)、TB(Transform Block)、PU(Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU(Largest Coding Unit)、子區塊、區塊、瓷磚、切片、圖像、序列、或組件而被設定，亦可以這些資料單位之資料為對象。當然，該資料單位，係可按照每一資訊或處理而被設定，並不一定要所有的資訊或處理之資料單位都是統一的。此外，這些資訊的儲存場所係為任意，亦可被儲存在上述的資料單位之標頭或參數集等。又，亦可被儲存在複數地點。
＜控制資訊＞ 以上的各實施形態中所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將表示上述的本技術之適用對象(或非適用對象)的控制資訊，予以傳輸。例如，亦可將用來指定適用本技術(或者是許可或禁止適用)的區塊尺寸(上限或下限、或其雙方)、畫格、分量、或層等的控制資訊，予以傳輸。
＜本技術的適用對象＞ 本技術係可適用於任意的影像編碼、解碼方式。亦即，只要不與上述的本技術產生矛盾，則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等，關於影像編碼、解碼之各種處理的規格係為任意，並非限定於上述的例子。又，只要不與上述的本技術產生矛盾，亦可省略這些處理之中的一部分。
又，本技術係可適用於，將含有複數視點(view)之影像的多視點影像影像進行編碼、解碼的多視點影像編碼、解碼系統。此情況下，只要於各視點(view)的編碼、解碼中，適用本技術即可。
甚至，本技術係可適用於，針對所定之參數具有可調性(scalability)機能地而被複數層化(階層化)的階層影像進行編碼、解碼的階層影像編碼(可調式編碼)、解碼系統。此情況下，只要於各階層(layer)的編碼、解碼中，適用本技術即可。
上述的實施形態所述之影像處理裝置、影像編碼裝置、及影像解碼裝置，係可應用於例如衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等，各式各樣的電子機器。
又，本技術係亦可為，搭載於構成任意之裝置或系統的任何構成，例如，作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等(亦即裝置的部分構成)而實施之。
甚至，本技術係亦可適用於，由複數裝置所構成的網路系統。例如，亦可適用於，對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端，提供影像(動態影像)的相關之服務的雲端服務。
此外，適用了本技術的系統、裝置、處理部等係可利用於例如：交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又，其用途也為任意。
例如，本技術係可是用於，供作觀賞用內容等之提供之用的系統或裝置。又例如，本技術係亦可適用於交通狀況之監理或自動駕駛控制等，供作交通之用的系統或裝置。甚至例如，本技術係亦可適用於供作安全之用的系統或裝置。又例如，本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如，本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又，本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如，本技術係亦可適用於供作運動之用的系統或裝置。
＜其他＞ 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
又，例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
又，例如，本技術係亦可將1個機能，透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。
又，例如，上述的程式，係可於任意的裝置中執行。此情況下，只要讓該裝置，具有必要的機能(機能區塊等)，能夠獲得必要的資訊即可。
又，例如，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
此外，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
此外，本說明書中所複數說明的本技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。
100:轉換類型導出裝置 101:Emt控制部 102:轉換集合識別元設定部 103:轉換類型候補表選擇部 104:轉換類型設定部 111:轉換類型候補表A 112:轉換類型候補表B 121:RD成本算出部 122:轉換類型候補表切換旗標設定部 200:影像編碼裝置 201:控制部 211:排序緩衝區 212:演算部 213:正交轉換部 214:量化部 215:編碼部 216:積存緩衝區 217:逆量化部 218:逆正交轉換部 219:演算部 220:迴圈內濾波器部 221:畫格記憶體 222:預測部 223:速率控制部 261:初級轉換部 262:次級轉換部 271:初級水平轉換部 272:初級垂直轉換部 281:轉換矩陣導出部 282:矩陣演算部 283:比例縮放部 284:限幅部 291:轉換矩陣LUT 292:翻轉部 293:轉置部 301:轉換矩陣導出部 302:矩陣演算部 303:比例縮放部 304:限幅部 311:轉換矩陣LUT 312:翻轉部 313:轉置部 400:影像解碼裝置 411:積存緩衝區 412:解碼部 413:逆量化部 414:逆正交轉換部 415:演算部 416:迴圈內濾波器部 417:排序緩衝區 418:畫格記憶體 419:預測部 461:逆次級轉換部 462:逆初級轉換部 471:逆初級垂直轉換部 472:逆初級水平轉換部 481:轉換矩陣導出部 482:矩陣演算部 483:比例縮放部 484:限幅部 491:轉換矩陣LUT 492:翻轉部 493:轉置部 501:轉換矩陣導出部 502:矩陣演算部 503:比例縮放部 504:限幅部 511:轉換矩陣LUT 512:翻轉部 513:轉置部 800:電腦 801:CPU 802:ROM 803:RAM 804:匯流排 810:輸出入介面 811:輸入部 812:輸出部 813:記憶部 814:通訊部 815:驅動機 821:可移除式媒體
[圖1] 轉換類型之設定所致之抑制編碼效率之降低所需之方法例的圖示。 [圖2] 轉換類型導出裝置的主要構成例的區塊圖。 [圖3] 轉換類型候補表之例子的圖示。 [圖4] 轉換類型設定處理的流程之例子的說明用流程圖。 [圖5] 轉換類型設定處理的流程之例子的說明用流程圖。 [圖6] 轉換類型候補表之例子的圖示。 [圖7] 轉換類型導出裝置的主要構成例的區塊圖。 [圖8] 轉換類型設定處理的流程之例子的說明用流程圖。 [圖9] 轉換類型導出裝置的主要構成例的區塊圖。 [圖10] 轉換類型設定處理的流程之例子的說明用流程圖。 [圖11] 轉換類型導出裝置的主要構成例的區塊圖。 [圖12] 轉換類型設定處理的流程之例子的說明用流程圖。 [圖13] 轉換類型導出裝置的主要構成例的區塊圖。 [圖14] 轉換類型設定處理的流程之例子的說明用流程圖。 [圖15] 影像編碼裝置的主要構成例的區塊圖。 [圖16] 正交轉換部的主要構成例的區塊圖。 [圖17] 初級水平轉換部的主要構成例的區塊圖。 [圖18] 轉換矩陣導出部的主要構成例的區塊圖。 [圖19] 初級垂直轉換部的主要構成例的區塊圖。 [圖20] 轉換矩陣導出部的主要構成例的區塊圖。 [圖21] 影像編碼處理的流程之例子的流程圖。 [圖22] 正交轉換處理的流程之例子的說明用流程圖。 [圖23] 初級轉換處理的流程之例子的說明用流程圖。 [圖24] 初級水平轉換處理的流程之例子的說明用流程圖。 [圖25] 轉換矩陣導出處理的流程之例子的說明用流程圖。 [圖26] 初級垂直轉換處理的流程之例子的說明用流程圖。 [圖27] 影像解碼裝置的主要構成例的區塊圖。 [圖28] 逆正交轉換部的主要構成例的區塊圖。 [圖29] 逆初級垂直轉換部的主要構成例的區塊圖。 [圖30] 轉換矩陣導出部的主要構成例的區塊圖。 [圖31] 逆初級水平轉換部的主要構成例的區塊圖。 [圖32] 轉換矩陣導出部的主要構成例的區塊圖。 [圖33] 影像解碼處理的流程之例子的說明用流程圖。 [圖34] 逆正交轉換處理的流程之例子的說明用流程圖。 [圖35] 逆初級轉換處理的流程之例子的說明用流程圖。 [圖36] 逆初級垂直轉換處理的流程之例子的說明用流程圖。 [圖37] 逆初級水平轉換處理的流程之例子的說明用流程圖。 [圖38] 電腦的主要構成例的區塊圖。
213:正交轉換部
261:初級轉換部
262:次級轉換部
271:初級水平轉換部
272:初級垂直轉換部

Claims (20)

  1. 一種影像處理裝置，係具備： 解碼部，係將位元串流予以解碼，生成由影像之預測殘差被正交轉換而成的係數資料；和 選擇部，係從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；和 設定部，係使用已被前記選擇部所選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型；和 逆正交轉換部，係使用已被前記設定部所設定之轉換類型之轉換矩陣，而將已被前記解碼部所生成之前記目前區塊之前記係數資料，進行逆正交轉換。
  2. 如請求項1所記載之影像處理裝置，其中， 前記編碼參數係為前記目前區塊的區塊尺寸； 前記選擇部，係基於前記區塊尺寸而選擇轉換類型候補表。
  3. 如請求項1所記載之影像處理裝置，其中， 前記編碼參數係為，用來識別在編碼之際所被選擇之轉換類型候補表的識別資訊； 前記選擇部，係選擇對應於前記識別資訊的轉換類型候補表。
  4. 如請求項1所記載之影像處理裝置，其中， 前記編碼參數係為畫面間預測模式； 前記選擇部，係基於畫面間預測模式是單預測還是雙預測，而選擇轉換類型候補表。
  5. 如請求項1所記載之影像處理裝置，其中， 前記編碼參數係為運動向量之像素精度； 前記選擇部，係基於前記運動向量所指示的位置是否為整數像素位置，而選擇轉換類型候補表。
  6. 如請求項1所記載之影像處理裝置，其中， 前記候補的頻率特性為彼此互異的前記複數個轉換類型候補表係為，一方之轉換類型候補表相較於他方之轉換類型候補表，其低次基底向量是較具高通之特性的2個轉換類型候補表。
  7. 如請求項6所記載之影像處理裝置，其中， 前記一方之轉換類型候補表係為，作為前記候補，是含有DST4、DCT4、及DST2之中的至少任1個轉換類型； 前記他方之轉換類型候補表係為，作為前記候補，是含有DST7、DCT8、及DST1之中的至少任1個轉換類型。
  8. 如請求項1所記載之影像處理裝置，其中， 前記設定部，係基於轉換索引，而從已被前記選擇部所選擇之轉換類型候補表選擇出轉換類型，設定作為對前記目前區塊做適用的轉換類型。
  9. 如請求項1所記載之影像處理裝置，其中， 前記設定部，係將對前記目前區塊的水平方向及垂直方向之逆1維正交轉換之轉換類型，分別予以設定。
  10. 一種影像處理方法，係 將位元串流予以解碼，生成由影像之預測殘差被正交轉換而成的係數資料； 從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表； 使用已被選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型； 使用已被設定之轉換類型之轉換矩陣，而將前記位元串流進行解碼所被生成的前記目前區塊之前記係數資料，進行逆正交轉換。
  11. 一種影像處理裝置，係具備： 選擇部，係從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表；和 設定部，係使用已被前記選擇部所選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型；和 正交轉換部，係使用已被前記設定部所設定之轉換類型之轉換矩陣，而將影像之預測殘差進行正交轉換，而生成係數資料；和 編碼部，係將藉由前記正交轉換部把前記預測殘差進行正交轉換而被生成的前記係數資料予以編碼，生成位元串流。
  12. 如請求項11所記載之影像處理裝置，其中， 前記編碼參數係為前記目前區塊的區塊尺寸； 前記選擇部，係基於前記區塊尺寸而選擇轉換類型候補表。
  13. 如請求項11所記載之影像處理裝置，其中， 前記編碼參數，係為RD成本； 前記選擇部，係基於前記RD成本而選擇轉換類型候補表； 還具備：生成部，係生成用來識別前記選擇部所選擇之轉換類型候補表的識別資訊； 前記編碼部，係生成含有已被前記生成部所生成之前記識別資訊的前記位元串流。
  14. 如請求項11所記載之影像處理裝置，其中， 前記編碼參數係為畫面間預測模式； 前記選擇部，係基於畫面間預測模式是單預測還是雙預測，而選擇轉換類型候補表。
  15. 如請求項11所記載之影像處理裝置，其中， 前記編碼參數係為運動向量之像素精度； 前記選擇部，係基於前記運動向量所指示的位置是否為整數像素位置，而選擇轉換類型候補表。
  16. 如請求項11所記載之影像處理裝置，其中， 前記候補的頻率特性為彼此互異的前記複數個轉換類型候補表係為，一方之轉換類型候補表相較於他方之轉換類型候補表，其低次基底向量是較具高通之特性的2個轉換類型候補表。
  17. 如請求項16所記載之影像處理裝置，其中， 前記一方之轉換類型候補表係為，作為前記候補，是含有DST4、DCT4、及DST2之中的至少任1個轉換類型； 前記他方之轉換類型候補表係為，作為前記候補，是含有DST7、DCT8、及DST1之中的至少任1個轉換類型。
  18. 如請求項11所記載之影像處理裝置，其中， 前記設定部，係基於轉換索引，而從已被前記選擇部所選擇之轉換類型候補表選擇出轉換類型，設定作為對前記目前區塊做適用的轉換類型。
  19. 如請求項11所記載之影像處理裝置，其中， 前記設定部，係將對前記目前區塊的水平方向及垂直方向之1維正交轉換之轉換類型，分別予以設定。
  20. 一種影像處理方法，係 從作為要素的轉換類型之候補的頻率特性為彼此互異的複數個轉換類型候補表之中，選擇出對應於編碼參數的轉換類型候補表； 使用已被選擇之轉換類型候補表，設定對目前區塊做適用的轉換類型； 使用已被設定之轉換類型之轉換矩陣，而將影像之預測殘差進行正交轉換，而生成係數資料； 將前記預測殘差被正交轉換而被生成的前記係數資料予以編碼，生成位元串流。
TW108122310A 2018-07-06 2019-06-26 影像處理裝置及方法 TW202013957A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018128807A JP2021166320A (ja) 2018-07-06 2018-07-06 画像処理装置および方法
JP2018-128807 2018-07-06

Publications (1)

Publication Number Publication Date
TW202013957A true TW202013957A (zh) 2020-04-01

Family

ID=69060217

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108122310A TW202013957A (zh) 2018-07-06 2019-06-26 影像處理裝置及方法

Country Status (5)

Country Link
US (1) US20210144376A1 (zh)
JP (1) JP2021166320A (zh)
CN (1) CN112352428A (zh)
TW (1) TW202013957A (zh)
WO (1) WO2020008909A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019190283A1 (ko) * 2018-03-29 2019-10-03 엘지전자 주식회사 저복잡도 연산 dst7을 설계하는 방법 및 장치
WO2020013532A1 (ko) * 2018-07-13 2020-01-16 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020071736A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
KR20240024338A (ko) * 2019-11-21 2024-02-23 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 변환 및 계수 시그널링에 대한 방법 및 장치
GB2593778A (en) * 2020-04-03 2021-10-06 Sony Group Corp Video data encoding and decoding
GB2603559B (en) * 2021-07-22 2023-08-09 Imagination Tech Ltd Coding blocks of pixels
US11856227B2 (en) * 2022-05-26 2023-12-26 Mediatek Inc. Transform architecture in video encoding systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018047669A1 (ja) * 2016-09-12 2018-03-15 ソニー株式会社 画像処理装置および画像処理方法
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding

Also Published As

Publication number Publication date
CN112352428A (zh) 2021-02-09
JP2021166320A (ja) 2021-10-14
WO2020008909A1 (ja) 2020-01-09
US20210144376A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
TW202013957A (zh) 影像處理裝置及方法
US11343538B2 (en) Image processing apparatus and method
AU2024200707A1 (en) An encoder, a decoder and corresponding methods for intra prediction
US11665367B2 (en) Image processing apparatus and method
US11445218B2 (en) Image processing apparatus and method
CN114616828A (zh) 图像处理装置和方法
CN111713104B (zh) 图像处理装置和方法
WO2019188465A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
JP2022016726A (ja) 画像処理装置および方法
TW202127898A (zh) 影像處理裝置及方法
CN114641994A (zh) 编码和解码方法及装置
CN111699685B (zh) 图像处理设备和方法
CN117478877A (zh) 用于非线性自适应环路滤波器的限幅电平
US20220201305A1 (en) Image processing device and method
TW202127875A (zh) 影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法
JP2022002352A (ja) 画像処理装置および方法
WO2021149812A1 (ja) 画像処理装置および方法
WO2021117866A1 (ja) 画像処理装置および方法
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
US20220086489A1 (en) Image processing apparatus and method
TW202121898A (zh) 影像處理裝置及方法