TW202116067A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW202116067A
TW202116067A TW109119492A TW109119492A TW202116067A TW 202116067 A TW202116067 A TW 202116067A TW 109119492 A TW109119492 A TW 109119492A TW 109119492 A TW109119492 A TW 109119492A TW 202116067 A TW202116067 A TW 202116067A
Authority
TW
Taiwan
Prior art keywords
bin
context
conversion
encoding
decoding
Prior art date
Application number
TW109119492A
Other languages
English (en)
Inventor
筑波健史
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202116067A publication Critical patent/TW202116067A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本案係有關可抑制負荷的增大之影像處理裝置及方法。對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分別被預定之所定的上下文變數而做上下文編碼。又，對於將表示影像解碼的逆適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文解碼。本案係可適用於例如影像處理裝置、影像編碼裝置、影像解碼裝置、資訊處理裝置、電子機器、影像處理方法或資訊處理方法等。

Description

影像處理裝置及方法
本案係有關影像處理裝置及方法，特別是有關可抑制負荷的增大之影像處理裝置及方法。
以往，在影像編碼中，適應正交轉換識別元mts_idx會被傳訊(編碼･解碼)，作為有關適應正交轉換(MTS(Multiple Transform Selection))的模式資訊。在適應正交轉換識別元mts_idx的編碼，係適用將適應正交轉換識別元mts_idx予以2值化，對於bin列bins的各bin分配上下文變數ctx而做算術編碼的上下文編碼。並且，在適應正交轉換識別元mts_idx的編碼資料的解碼，係適用對應於其上下文編碼的上下文解碼。 [先前技術文獻] [非專利文獻]
[非專利文獻1]Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 5)", JVET-N1001v8, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019
(發明所欲解決的課題)
然而，如此的方法的情況，上下文變數會不必要地增大，恐有記憶體使用量不必要地增大之虞。亦即，恐有編碼處理或解碼處理的負荷增大之虞。
本案係有鑑於如此的狀況而研發者，為使能夠抑制編碼處理或解碼處理的負荷的增大者。 (用以解決課題的手段)
本技術之一形態的影像處理裝置具備：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼之編碼部。
本技術之一形態的影像處理方法為：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼。
本技術的其他的形態的影像處理裝置具備：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼之編碼部。
本技術的其他的形態的影像處理方法為：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
在本技術的一形態的影像處理裝置及方法中，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼。
在本技術的其他的形態的影像處理裝置及方法中，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。 1.適應正交轉換識別元的編碼 2.第1實施形態 3.第2實施形態 4.第3實施形態 5.第4實施形態 6.第5實施形態 7.第6實施形態 8.第7實施形態 9.附記
＜1.適應正交轉換識別元之編碼＞ ＜1-1.支持技術內容･技術用語的文獻等＞ 本技術所揭露之範圍，係不只有實施形態中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻等中所記載的內容或於以下之非專利文獻中所被參照的其他文獻之內容等。
非專利文獻1：(上述) 非專利文獻2：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017 非專利文獻3：Recommendation ITU-T H.265 (12/2016) "High efficiency video coding", December 2016 非專利文獻4：J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce,"Algorithm Description of Joint Exploration Test Model (JEM7)", JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017 非專利文獻5：B. Bross, J. Chen, S. Liu , "Versatile Video Coding (Draft 3), " JVET-L1001, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macau, CN, 3-12 Oct. 2018 非專利文獻6：J. J. Chen, Y. Ye, S. Kim,"Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3)", JVET-L1002, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macau, CN, 3-12 Oct. 2018 非專利文獻7：Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5)", JVET-N1002-v2, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019 非專利文獻8：Moonmo Koo, Jaehyun Lim, Mehdi Salehifar, Seung Hwan Kim, "CE6: Reduced Secondary Transform (RST) (CE6-3.1)", JVET-N0193, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019 非專利文獻9：Mischa Siekmann, Martin Winken, Heiko Schwarz, Detlev Marpe "CE6 - related: Simplification of the Reduced Secondary Transform", JVET-N0555-v3, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019 非專利文獻10：C. Rosewarne, J. Gan, "CE6-related: RST binarization", JVET-N0105-v2, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，上述的非專利文獻中所記載之Quad-Tree Block Structure、QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。
又，於本說明書中，作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊)，係在沒有特別言及的情況下，是表示圖像內的任意之部分領域，其大小、形狀、及特性等並無限定。例如，「區塊」中係可包含有：上述的非專利文獻中所記載之TB(Transform Block)、TU(Transform Unit)、PB(Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、轉換區塊、子區塊、巨集區塊、瓷磚、或切片等，任意之部分領域(處理單位)。
又，在指定此種區塊的尺寸時，不只可直接地指定區塊尺寸，亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊，來指定區塊尺寸。又，例如，亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分，來指定區塊尺寸。例如，作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下，作為該資訊，亦可使用如上述的間接指定尺寸的資訊。藉由如此設計，可降低該資訊的資訊量，有時候可以提升編碼效率。又，該區塊尺寸之指定中係包含有，區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
又，於本說明書中，所謂編碼，係不只包含將影像轉換成位元串流的全體之處理，也包含部分之處理。例如，不只包含將預測處理、正交轉換、量化、算術編碼等予以包括的處理，也包含將量化與算術編碼予以總稱的處理、將預測處理與量化與算術編碼予以包括的處理等。同樣地，所謂解碼，係不只包含將位元串流轉換成影像的全體之處理，也包含部分之處理。例如，不只包含將逆算術解碼、逆量化、逆正交轉換、預測處理等予以包括的處理，也包含將逆算術解碼與逆量化予以包括的處理、將逆算術解碼與逆量化與預測處理予以包括的處理等。
＜1-2.適應正交轉換識別元的上下文編碼･上下文解碼＞ 以往，在影像編碼･解碼中，適應正交轉換識別元mts_idx會被傳訊(編碼･解碼)，作為有關適應正交轉換(MTS(Multiple Transform Selection))的模式資訊。在適應正交轉換識別元mts_idx的編碼，係使用以下般的上下文的上下文編碼會被適用。
首先，適應正交轉換識別元mts_idx，係如圖1的A所示的表般，藉由截斷一元碼(TU(Truncated Unary))來2值化而取得bin列bins。此外，TU碼，係與作為萊斯參數cRiceParam = 0的截斷萊斯編碼(TR(Truncated Rice))等效。
接著，參照對應於藉由該TR所取得的bin列bins的各binIdx(表示第幾個的bin的索引)的上下文變數ctx，進行算術編碼。將識別上下文變數ctx的索引稱為ctxInc(或ctxIdx)。
具體而言，如圖1的B所示的表般，對於bin列第1個(binIdx = 0)的bin，分配表示根據CU對CTU的4分樹的分割的深度之CQT分割深度cqtDepth的值及對應於1對1的上下文變數ctx。圖1的B的例子，在對應於bin列第1個(binIdx = 0)的上下文索引ctxInc，係設定有CQT分割深度cqtDepth與5之中的小者(ctxInc = min(cqtDepth， 5))。亦即，有對應於分割深度而適應正交轉換的0，1的出現方式(頻率)改變的可能性，因此為了使效率佳，上下文也對於此而可變。
又，對於bin列bins的第2個乃至第4個的bin(binIdx = 1...3)，係分配與各binIdx，1對1對應的上下文變數ctx(圖1的B的例子的情況，ctxInc = 6...8)。
此外，適應正交轉換識別元mts_idx的bin列bins的各bin，係如圖2的A所示的表般，可解釋為對應於轉換類型的旗標。此例的情況，第1個的bin(binIdx = 0)的值，係對應於表示轉換類型是否為DCT2xDCT2的旗標(表示0為Yes，1為No)，第2個的bin(binIdx = 1)的值，係對應於表示轉換類型是否為DST7xDST7的旗標(表示0為Yes，1為No)，第3個的bin(binIdx = 2)的值，係對應於表示轉換類型是否為DCT8xDST7的旗標(表示0為Yes，1為No)，第4個的bin(binIdx = 3)的值，係對應於轉換類型是否為DST7xDCT8的旗標(表示0為Yes，1為No)。
適應正交轉換識別元mts_idx的編碼資料的解碼，係以對應於如此的編碼的方法來進行。亦即，使用上下文的上下文解碼會被適用。
然而，如此的上下文編碼或上下文解碼的情況，恐有處理的負荷增大之虞。
例如，在特定的CQT分割深度cqtDepth的值時，不產生適應正交轉換識別元mts_idx。因此，存在完全不被利用的上下文變數ctx，為了該上下文變數ctx，記憶體使用量恐有不必要地增大之虞(恐有處理所必要的記憶體容量增大之虞)。
例如，CU分割在全部4分樹進行時，CTU尺寸=128x128時的對應於各CQT分割深度cqtDepth的CU尺寸，如圖2的B所示的表般。相對於此，適應正交轉換在比32x32更大的區塊不被適用，因此在128x128的CU與64x64的CU，不產生適應正交轉換識別元mts_idx。因此，在對應於適應正交轉換識別元mts_idx的bin列bins的第1bin之上下文變數ctx之中，ctxInc=0...1不完全被利用。亦即，為了該等的上下文變數ctx，恐有記憶體使用量不必要地增大之虞。
於是，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼。
藉由如此，可抑制分配於適應正交轉換識別元的bin列之上下文的數量的增大，因此可抑制記憶體使用量的增大，抑制編碼處理或解碼處理的負荷的增大。
又，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
藉由如此，可抑制分配於適應正交轉換識別元的bin列之上下文的數量的增大，因此可抑制記憶體使用量的增大，抑制編碼處理或解碼處理的負荷的增大。
＜1-3.旁路編碼＞ 又，依轉換類型的選擇率大的順序，成為DCT(Discrete Cosine Transform)2xDCT2、DST(Discrete Sine Transform)7xDST7、DCT8xDST7、DST7xDCT8、DCT8xDCT8。亦即，各轉換類型的選擇率並非一致。因此，針對全部的轉換類型同樣地分配上下文變數ctx是非有效率，恐有上下文編碼bin的總數不必要地增大之虞。如上述般，適應正交轉換識別元mts_idx的bin列bins的各bin，係可解釋為對應於轉換類型的旗標。亦即，對於bin列bins的各bin同樣地分配上下文變數ctx是非有效率，恐有上下文編碼bin的總數不必要地增大之虞。
因為如此上下文編碼bin的總數增大，恐有CABAC(Context-based Adaptive Binary Arithmetic Code)的處理量(throughput)增大之虞。
於是，對於對應於選擇率比較低的轉換類型之bin適用旁路編碼。藉由如此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，抑制CABAC的處理量(throughput)的增大。亦即，可抑制編碼處理或解碼處理的負荷的增大。
＜2.第1實施形態＞ ＜2-1.適應正交轉換識別元的編碼＞ 在本實施形態中，如以下般進行，對於將適應正交轉換識別元予以2值化後的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像編碼的適應正交轉換的模式。
亦即，對於該bin列的第1bin，分配被預定之所定的上下文變數(固定的(1對1對應的)上下文變數)ctx，而做上下文編碼(方法1)。
例如圖3的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數(用以識別上下文變數ctx的索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin進行旁路編碼(方法1-1)。
圖3的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文編碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路編碼(bypass)。
又，例如圖3的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin及第2bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第3bin及第4bin進行旁路編碼(方法1-2)。
圖3的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路編碼(bypass)。
又，例如圖4的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin乃至第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第4bin進行旁路編碼(方法1-3)。
圖4的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被旁路編碼(bypass)。
又，例如圖4的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼(方法1-4)。
圖4的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文編碼。
此外，在圖3及圖4的各表中，在索引A0，B1，B2，B3，係設定有不重複的獨特的值。
將該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數的例子顯示於圖5的表。例如，方法0的情況，上下文數為9，上下文編碼bin數為4，旁路編碼bin數為0。相對於此，方法1-1的情況，上下文數成為1，上下文編碼bin數成為1，旁路編碼bin數成為3。又，方法1-2的情況，上下文數成為2，上下文編碼bin數成為2，旁路編碼bin數成為2。又，方法1-3的情況，上下文數成為3，上下文編碼bin數成為3，旁路編碼bin數成為1。又，方法1-4的情況，上下文數成為4，上下文編碼bin數成為4，旁路編碼bin數成為0。
如此，方法1-1乃至方法1-4的哪個的情況皆可使編碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法1，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法1-1乃至方法1-3的哪個的情況皆可使編碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法1-4的情況，編碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法1，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法1，可抑制編碼處理的負荷的增大。
＜2-2.適應正交轉換識別元的解碼＞ 解碼的情況也同樣地，如以下般進行，對於被2值化的適應正交轉換識別元的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像解碼的逆適應正交轉換的模式。
亦即，對於該bin列的第1bin，分配被預定之所定的上下文變數(固定的(1對1對應的)上下文變數)ctx，做上下文解碼(方法1)。
例如圖3的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，分配被預定之所定的上下文變數(用以識別上下文變數ctx的索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin進行旁路解碼(方法1-1)。
圖3的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文解碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路解碼(bypass)。
又，例如圖3的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin及第2bin，分別被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第3bin及第4bin進行旁路解碼(方法1-2)。
圖3的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路解碼(bypass)。
又，例如圖4的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin乃至第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第4bin進行旁路解碼(方法1-3)。
圖4的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被旁路解碼(bypass)。
又，例如圖4的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼(方法1-4)。
圖4的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文解碼。
此外，解碼的情況也與編碼的情況同樣，在圖3及圖4的各表中，在索引A0，B1，B2，B3，係設定有不重複的獨特的值。
該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數，係與編碼的情況(圖5)同樣。
如此，方法1-1乃至方法1-4的哪個的情況皆可使解碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法1，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法1-1乃至方法1-3的哪個的情況皆可使解碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法1-4的情況，解碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法1，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法1，可抑制解碼處理的負荷的增大。
＜2-3.編碼側＞ ＜影像編碼裝置＞ 接著，針對編碼側加以說明。圖6係適用了本技術的影像處理裝置之一態樣的影像編碼裝置之構成之一例的區塊圖。圖6所示的影像編碼裝置100，係為將動態影像之影像資料予以編碼的裝置。例如，影像編碼裝置100，係以非專利文獻1乃至非專利文獻10之任一者中所記載之編碼方式，而將動態影像之影像資料予以編碼。
此外，於圖6中係主要表示處理部(區塊)或資料的流向等，圖6所示者並非全部。亦即，於影像編碼裝置100中，亦可存在有於圖6中未以區塊而被表示的處理部，亦可存在有於圖6中未以箭頭等而表示的處理或資料之流向。
如圖6所示，影像編碼裝置100係具有：控制部101、排序緩衝區111、演算部112、正交轉換部113、量化部114、編碼部115、積存緩衝區116、逆量化部117、逆正交轉換部118、演算部119、迴圈內濾波器部120、畫格記憶體121、預測部122、及速率控制部123。
＜控制部＞ 控制部101，係基於外部、或預先指定之處理單位之區塊尺寸，而將已被排序緩衝區111所保持的動態影像資料，分割成處理單位之區塊(CU、PU、轉換區塊等)。又，控制部101，係將供給至各區塊的編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)，例如基於RDO(Rate-Distortion Optimization)，而加以決定。
關於這些編碼參數的細節，將於後述。控制部101，係一旦決定了如以上之編碼參數，就將它們供給至各區塊。具體而言，係如以下所述。
標頭資訊Hinfo，係被供給至各區塊。 預測模式資訊Pinfo，係被供給至編碼部115和預測部122。 轉換資訊Tinfo，係被供給至編碼部115、正交轉換部113、量化部114、逆量化部117、及逆正交轉換部118。 濾波器資訊Finfo，係被供給至迴圈內濾波器部120。
＜排序緩衝區＞ 對影像編碼裝置100，係動態影像資料之各圖場(輸入影像)係按照其再生順序(顯示順序)而被輸入。排序緩衝區111，係將各輸入影像依照其再生順序(顯示順序)而加以取得，並保持(記憶)。排序緩衝區111，係基於控制部101之控制，而將該輸入影像排序成編碼順序(解碼順序)，或分割成處理單位之區塊等等。排序緩衝區111，係將處理後的各輸入影像，供給至演算部112。又，排序緩衝區111，係將該各輸入影像(原影像)，也供給至預測部122或迴圈內濾波器部120。
＜演算部＞ 演算部112，係將處理單位之區塊所對應之影像I，及由預測部122而被供給之預測影像P，予以輸入，從影像I將預測影像P如以下的式所示般地進行減算，而導出預測殘差D，將其供給至正交轉換部113。
D = I – P
＜正交轉換部＞ 正交轉換部113，係將從演算部112所被供給之預測殘差D，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，對預測殘差D進行正交轉換，導出轉換係數Coeff。此外，正交轉換部113，係可進行適應性地選擇正交轉換之類型(轉換係數)的適應正交轉換。正交轉換部113，係將該所得到的轉換係數Coeff，供給至量化部114。
＜量化部＞ 量化部114，係將從正交轉換部113所被供給之轉換係數Coeff，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而將轉換係數Coeff予以比例縮放(量化)。此外，該量化之速率，係被速率控制部123所控制。量化部114，係將如此的量化所得到的量化後的轉換係數，亦即量化轉換係數等級level，供給至編碼部115及逆量化部117。
＜編碼部＞ 編碼部115，係將從量化部114所被供給之量化轉換係數等級level、和從控制部101所被供給之各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)、和從迴圈內濾波器部120所被供給之濾波器係數等之濾波器的相關資訊、和從預測部122所被供給之最佳的預測模式的相關資訊，當作輸入。編碼部115，係將量化轉換係數等級level進行可變長度編碼(例如算術編碼)，生成位元列(編碼資料)。
又，編碼部115，係從該量化轉換係數等級level導出殘差資訊Rinfo，將殘差資訊Rinfo予以編碼，生成位元列。
然後，編碼部115，係將從迴圈內濾波器部120所被供給之濾波器的相關資訊含入至濾波器資訊Finfo中，將從預測部122所被供給之最佳的預測模式的相關資訊含入至預測模式資訊Pinfo中。然後，編碼部115，係將上述的各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)予以編碼，生成位元列。
又，編碼部115，係將如以上所被生成的各種資訊之位元列進行多工化，生成編碼資料。編碼部115，係將該編碼資料，供給至積存緩衝區116。
＜積存緩衝區＞ 積存緩衝區116，係將編碼部115中所得到的編碼資料，予以暫時保持。積存緩衝區116，係在所定之時序上，將所保持的編碼資料，例如作為位元串流等而輸出至影像編碼裝置100之外部。例如，該編碼資料，係透過任意之記錄媒體、任意之傳輸媒體、任意之資訊處理裝置等，而被傳輸至解碼側。亦即，積存緩衝區116，係亦為將編碼資料(位元串流)予以傳輸的傳輸部。
＜逆量化部＞ 逆量化部117，係進行逆量化的相關處理。例如，逆量化部117，係將從量化部114所被供給之量化轉換係數等級level，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而將量化轉換係數等級level之值予以比例縮放(逆量化)。此外，該逆量化，係為在量化部114中所被進行之量化的逆處理。
逆量化部117，係將藉由如此的逆量化所取得的轉換係數Coeff_IQ供給至逆正交轉換部118。此外，逆正交轉換部118，係與解碼側的逆正交轉換部(後述)同樣，因此有關逆量化部117，係可適用針對解碼側進行的說明(後述)。
＜逆正交轉換部＞ 逆正交轉換部118，係進行逆正交轉換的相關處理。例如，逆正交轉換部118，係將從逆量化部117所被供給之轉換係數Coeff_IQ，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而對轉換係數Coeff_IQ進行逆正交轉換，導出預測殘差D'。此外，該逆正交轉換，係為在正交轉換部113中所被進行之正交轉換的逆處理。亦即，逆正交轉換部118，係可進行適應性地選擇逆正交轉換之類型(轉換係數)的適應逆正交轉換。
逆正交轉換部118，係將藉由如此的逆正交轉換所得到的預測殘差D'，供給至演算部119。此外，逆正交轉換部118，係與解碼側的逆正交轉換部(後述)相同，因此關於逆正交轉換部118，係可適用針對解碼側所進行的說明(後述)。
＜演算部＞ 演算部119，係將從逆正交轉換部118所被供給之預測殘差D'、與從預測部122所被供給之預測影像P，當作輸入。演算部119，係將該預測殘差D'、與該預測殘差D'所對應之預測影像P，進行加算，導出局部解碼影像Rlocal。演算部119，係將已導出之局部解碼影像Rlocal，供給至迴圈內濾波器部120及畫格記憶體121。
＜迴圈內濾波器部＞ 迴圈內濾波器部120，係進行迴圈內濾波器處理的相關處理。例如，迴圈內濾波器部120，係將從演算部119所被供給之局部解碼影像Rlocal、和從控制部101所被供給之濾波器資訊Finfo、和從排序緩衝區111所被供給之輸入影像(原影像)，當作輸入。此外，對迴圈內濾波器部120所被輸入的資訊係為任意，亦可輸入這些資訊以外之資訊。例如，亦可因應需要，而把預測模式、運動資訊、編碼量目標值、量化參數QP、圖像類型、區塊(CU、CTU等)之資訊等，輸入至迴圈內濾波器部120。
迴圈內濾波器部120，係基於該濾波器資訊Finfo，而對局部解碼影像Rlocal適宜地進行濾波器處理。迴圈內濾波器部120，係因應需要而也把輸入影像(原影像)、或該其他輸入資訊，用於該濾波器處理。
例如，迴圈內濾波器部120，係將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器，依其順序而做適用。此外，要適用哪個濾波器，要以何種順序做適用係為任意，可適宜地選擇。
當然，迴圈內濾波器部120所進行的濾波器處理係為任意，不限定於上述的例子。例如，迴圈內濾波器部120係亦可適用維納濾波器等。
迴圈內濾波器部120，係將已被濾波器處理過的局部解碼影像Rlocal，供給至畫格記憶體121。此外，例如將濾波器係數等之濾波器的相關資訊傳輸至解碼側的情況下，則迴圈內濾波器部120，係將該濾波器的相關資訊，供給至編碼部115。
＜畫格記憶體＞ 畫格記憶體121，係進行關於影像之資料的記憶的相關處理。例如，畫格記憶體121，係將從演算部119所被供給之局部解碼影像Rlocal、或從迴圈內濾波器部120所被供給之已被濾波器處理過的局部解碼影像Rlocal，當作輸入，將其予以保持(記憶)。又，畫格記憶體121，係使用該局部解碼影像Rlocal而將每一圖像單位的解碼影像R予以重建，並保持之(儲存至畫格記憶體121內的緩衝區)。畫格記憶體121，係隨應於預測部122之要求，而將該解碼影像R(或其一部分)，供給至預測部122。
＜預測部＞ 預測部122，係進行預測影像之生成的相關處理。例如，預測部122，係將從控制部101所被供給之預測模式資訊Pinfo、和從排序緩衝區111所被供給之輸入影像(原影像)、和從畫格記憶體121所讀出之解碼影像R(或其一部分)，當作輸入。預測部122，係使用預測模式資訊Pinfo或輸入影像(原影像)，進行畫面間預測或畫面內預測等之預測處理，將解碼影像R當作參照影像予以參照而進行預測，基於該預測結果而進行運動補償處理，生成預測影像P。預測部122，係將已生成之預測影像P，供給至演算部112及演算部119。又，預測部122，係將藉由以上之處理而選擇的預測模式，亦即最佳的預測模式的相關資訊，因應需要而供給至編碼部115。
＜速率控制部＞ 速率控制部123，係進行速率控制的相關處理。例如，速率控制部123，係基於積存緩衝區116中所積存之編碼資料的編碼量，以不會發生溢位或下溢之方式，控制量化部114的量化動作之速率。
此外，這些處理部(控制部101、排序緩衝區111乃至速率控制部123)，係具有任意之構成。例如，各處理部亦可藉由，實現上述處理的邏輯電路，而被構成。又，亦可為，各處理部係具有例如CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等，藉由使用它們來執行程式，以實現上述的處理。當然，亦可為，各處理部係具有該雙方之構成，上述之處理的一部分是以邏輯電路來加以實現，其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立，例如亦可為，一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現，另一部分之處理部是藉由執行程式而實現上述處理，再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
＜編碼部＞ 圖7係表示圖6的編碼部115的主要的構成例的區塊圖。如圖7所示般，編碼部115係具有：2值化部131、選擇部132、上下文設定部133、上下文編碼部134、及旁路編碼部135。
此外，在此雖說明有關適應正交轉換識別元的編碼，但編碼部115如上述般，其他的編碼參數或殘差資訊Rinfo等的編碼也進行。編碼部115係適用在＜2-1.適應正交轉換識別元的編碼＞中說明的方法1來進行適應正交轉換識別元的編碼。
2值化部131，係進行有關適應正交轉換識別元的2值化之處理。例如，2值化部131，係取得由控制部101供給的適應正交轉換識別元mts_idx。又，2值化部131，係藉由截斷一元碼(或截斷萊斯編碼)來將該適應正交轉換識別元予以2值化，生成其bin列。進一步，2值化部131，係將生成的bin列供給至選擇部132。
選擇部132，係進行有關適應正交轉換識別元的bin列的各bin的供給去處的選擇之處理。例如，選擇部132，係取得從2值化部131供給的適應正交轉換識別元的bin列。
又，選擇部132，係針對取得的適應正交轉換識別元的bin列的各bin，將其供給去處選擇成上下文設定部133或者旁路編碼部135。選擇部132，係在＜2-1.適應正交轉換識別元的編碼＞中按照上述的方法1，進行其選擇。例如，選擇部132，係亦可按照方法1-1(亦即在圖3的A所示的表)，進行其選擇。又，選擇部132，係亦可按照方法1-2(亦即在圖3的B所示的表)，進行其選擇。進一步，選擇部132，係亦可按照方法1-3(亦即在圖4的A所示的表)，進行其選擇。又，選擇部132，係亦可按照方法1-4(亦即在圖4的B所示的表)，進行其選擇。
分配上下文變數(索引ctxInc)而做上下文編碼時，選擇部132，係將其bin供給至上下文設定部133。做旁路編碼時，選擇部132，係將其bin供給至旁路編碼部135。
上下文設定部133，係進行有關上下文的設定之處理。例如，上下文設定部133，係取得從選擇部132供給的bin。上下文設定部133，係對於其bin，分配上下文變數(索引ctxInc)。上下文設定部133，係在＜2-1.適應正交轉換識別元的編碼＞中按照上述的方法1，進行其分配。例如，上下文設定部133，係亦可按照方法1-1(亦即在圖3的A所示的表)，進行其分配。又，上下文設定部133，係亦可按照方法1-2(亦即在圖3的B所示的表)，進行分配。進一步，上下文設定部133，係亦可按照方法1-3(亦即在圖4的A所示的表)，進行其分配。又，上下文設定部133，係亦可按照方法1-4(亦即在圖4的B所示的表)，進行其分配。
又，上下文設定部133，係可從上下文編碼部134取得編碼結果。上下文設定部133，係可利用其編碼結果來適當更換上下文變數(索引ctxInc)。上下文設定部133，係將如此導出的上下文變數(索引ctxInc)供給至上下文編碼部134。
上下文編碼部134，係進行有關算術編碼的處理。例如，上下文編碼部134，係取得從上下文設定部133供給的上下文變數(索引ctxInc)。又，上下文編碼部134，係利用該上下文變數(索引ctxInc)來進行算術編碼。亦即，進行上下文編碼。進一步，上下文編碼部134，係以其編碼結果作為編碼資料供給至積存緩衝區116。
旁路編碼部135，係進行有關旁路編碼的處理。例如，旁路編碼部135，係取得從選擇部132供給的bin。旁路編碼部135，係將其bin予以旁路編碼(算術編碼)。旁路編碼部135，係以其編碼結果作為編碼資料供給至積存緩衝區116。
藉由如以上般各處理部(2值化部131乃至旁路編碼部135)進行處理，編碼部115，係可適用方法1(例如方法1-1乃至方法1-4的任一個)來將適應正交轉換識別元予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜影像編碼處理之流程＞ 接著，將如以上之構成的影像編碼裝置100所執行的影像編碼處理的流程之例子，參照圖8的流程圖來加以說明。
影像編碼處理一旦開始，則於步驟S101中，排序緩衝區111，係被控制部101所控制，將已被輸入之動態影像資料之畫格的順序，從顯示順序排序成編碼順序。
於步驟S102中，控制部101，係對排序緩衝區111所保持的輸入影像，設定處理單位(進行區塊分割)。
於步驟S103中，控制部101，係針對排序緩衝區111所保持的輸入影像而將編碼參數予以決定(設定)。
於步驟S104中，預測部122係進行預測處理，生成最佳的預測模式之預測影像等。例如，於該預測處理中，預測部122，係進行畫面內預測而生成最佳的畫面內預測模式之預測影像等，並進行畫面間預測而生成最佳的畫面間預測模式之預測影像等，從這些之中，基於成本函數值等而選擇出最佳的預測模式。
於步驟S105中，演算部112係演算，輸入影像、與藉由步驟S104之預測處理而被選擇之最佳的模式之預測影像的差分。亦即，演算部112，係生成輸入影像與預測影像的預測殘差D。如此而被求出的預測殘差D，係相較於原始的影像資料，資料量是被較為降低。因此，相較於把影像直接進行編碼的情形，可壓縮資料量。
於步驟S106中，正交轉換部113，係對藉由步驟S105之處理而被生成之預測殘差D進行正交轉換處理，導出轉換係數Coeff。
於步驟S107中，量化部114，係使用已被控制部101所算出之量化參數等，將步驟S106之處理所得到的轉換係數Coeff予以量化，導出量化轉換係數等級level。
於步驟S108中，逆量化部117，係將步驟S107之處理所生成的量化轉換係數等級level，以該步驟S107之量化之特性所對應之特性進行逆量化，導出轉換係數Coeff_IQ。
於步驟S109中，逆正交轉換部118，係將步驟S108之處理所得到的轉換係數Coeff_IQ，以步驟S106之正交轉換處理所對應之方法進行逆正交轉換，導出預測殘差D'。此外，該逆正交轉換處理，係和於解碼側中所被進行的逆正交轉換處理(後述)相同，因此關於該步驟S109之逆正交轉換處理，係可適用針對解碼側所進行的說明(後述)。
於步驟S110中，演算部119，係對藉由步驟S109之處理而被導出之預測殘差D'，加算藉由步驟S104之預測處理而得到的預測影像，以生成已被局部性解碼的解碼影像。
於步驟S111中，迴圈內濾波器部120，係對藉由步驟S110之處理而被導出的，已被局部性解碼的解碼影像，進行迴圈內濾波器處理。
於步驟S112中，畫格記憶體121係將，藉由步驟S110之處理而被導出的，已被局部性解碼的解碼影像、或於步驟S111中已被濾波器處理過的，已被局部性解碼的解碼影像，加以記憶。
於步驟S113中，編碼部115，係將藉由步驟S107之處理所得到的量化轉換係數等級level，予以編碼。例如，編碼部115，係將影像的相關資訊也就是量化轉換係數等級level，以算術編碼等進行編碼，生成編碼資料。又，此時，編碼部115係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo)，予以編碼。然後，編碼部115，係從量化轉換係數等級level導出殘差資訊RInfo，將該殘差資訊RInfo予以編碼。
於步驟S114中，積存緩衝區116，係將如此而獲得的編碼資料予以積存，例如作為位元串流，將其輸出至影像編碼裝置100之外部。該位元串流係例如，透過傳輸路或記錄媒體而被傳輸至解碼側。又，速率控制部123，係因應需要而進行速率控制。
一旦步驟S114的處理結束，則影像編碼處理就結束。
＜編碼處理的流程＞ 在圖8的步驟S113的編碼處理中，編碼部115，係進行適應正交轉換識別元mts_idx的編碼。此時，編碼部115，係適用在＜2-1.適應正交轉換識別元的編碼＞中說明的方法1來進行適應正交轉換識別元的編碼。參照圖9的流程圖來說明該適應正交轉換識別元mts_idx的編碼的流程的例子。
一旦編碼處理開始，則編碼部115的2值化部131，係於步驟S131中，藉由截斷一元碼(或截斷萊斯編碼)來將適應正交轉換識別元mts_idx予以2值化，生成其bin列。
於步驟S132中，選擇部132，係以其bin列的第1bin(binIdx = 0)作為處理對象。此情況，選擇部132，係選擇上下文設定部133作為其bin的供給去處(亦即選擇上下文編碼)。例如，選擇部132，係按照圖3及圖4所示的表的任一個(亦即適用方法1-1乃至方法1-4的任一個)，選擇上下文編碼，作為此bin的編碼方法。
於步驟S133中，上下文設定部133，係對於其bin，分配被預定之所定的上下文變數ctx(索引ctxInc)。然後，上下文編碼部134，係使用該上下文變數來進行算術編碼。亦即，進行上下文編碼。
於步驟S134中，選擇部132，係以其bin列的第2個以後的bin之中未處理的bin作為處理對象。於步驟S135中，選擇部132，係判定是否將其處理對象的bin予以旁路編碼。例如，選擇部132，係按照圖3及圖4所示的表的任一個(亦即適用方法1-1乃至方法1-4的任一個)，判定是否將處理對象的bin予以旁路編碼。
當被判定成做旁路編碼時，處理前進至步驟S136。亦即，此情況，選擇部132，係選擇旁路編碼部135作為bin的供給去處。於步驟S136中，旁路編碼部135，係將其處理對象的bin予以旁路編碼(算術編碼)。一旦步驟S136的處理結束，則處理前進至步驟S138。
又，於步驟S135中，當被判定成不進行旁路編碼(進行上下文編碼)時，處理前進至步驟S137。亦即，此情況，選擇部132，係選擇上下文設定部133作為bin的供給去處。於步驟S137中，上下文設定部133，係對於其bin，分配被預定之所定的上下文變數ctx(索引ctxInc)。然後，上下文編碼部134，係利用該上下文變數來進行算術編碼。亦即，進行上下文編碼。一旦步驟S137的處理結束，則處理前進至步驟S138。
於步驟S138中，編碼部115，係判定是否結束適應正交轉換識別元mts_idx的編碼。當被判定成不結束時，處理回到步驟S134，重複以後的處理。又，於步驟S138中，當被判定成結束時，則編碼處理結束。
藉由如此執行各處理，編碼部115，係可適應方法1(例如方法1-1乃至方法1-4的任一個)來將適應正交轉換識別元予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜2-4.解碼側＞ ＜影像解碼裝置＞ 接著，針對解碼側加以說明。圖10係適用了本技術的影像處理裝置之一態樣的影像解碼裝置之構成之一例的區塊圖。圖10所示的影像解碼裝置200，係為將動態影像之編碼資料予以編碼的裝置。例如，影像解碼裝置200，係以非專利文獻1乃至非專利文獻10之任一者中所記載之解碼方式，而將編碼資料予以解碼，生成動態影像資料。例如，影像解碼裝置200，係將上述的影像編碼裝置100所生成的編碼資料(位元串流)，予以解碼，生成動態影像資料。
此外，於圖10中係主要表示處理部或資料的流向等，圖10所示者並非全部。亦即，於影像解碼裝置200中，亦可存在有於圖10中未以區塊而被表示的處理部，亦可存在有於圖10中未以箭頭等而表示的處理或資料之流向。
在圖10中，影像解碼裝置200，係具有：積存緩衝區211、解碼部212、逆量化部213、逆正交轉換部214、演算部215、迴圈內濾波器部216、排序緩衝區217、畫格記憶體218、及預測部219。此外，預測部219係具有未圖示的畫面內預測部及畫面間預測部。
＜積存緩衝區＞ 積存緩衝區211，係將已被輸入至影像解碼裝置200的位元串流加以取得，並予以保持(記憶)。積存緩衝區211，係在所定之時序上、或所定之條件達成等情況下，將所積存的位元串流供給至解碼部212。
＜解碼部＞ 解碼部212，係進行影像之解碼的相關處理。例如，解碼部212，係將從積存緩衝區211所被供給之位元串流當作輸入，依照語法表的定義，從該位元列，將各語法要素之語法值進行可變長度解碼，並將參數予以導出。
從語法要素及語法要素之語法值所被導出的參數中係包含有例如：標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等之資訊。亦即，解碼部212，係從位元串流，將這些資訊進行剖析(進行解析並取得之)。關於這些資訊，說明如下。
＜標頭資訊Hinfo＞ 標頭資訊Hinfo係含有例如：VPS(Video Parameter Set)/SPS(Sequence Parameter Set)/PPS(Picture Parameter Set)/SH(切片標頭)等之標頭資訊。標頭資訊Hinfo中係含有例如：將影像尺寸(橫幅PicWidth、縱幅PicHeight)、位元深度(亮度bitDepthY、色差bitDepthC)、色差陣列類型ChromaArrayType、CU尺寸之最大值MaxCUSize/最小值MinCUSize、4分樹分割(亦稱為Quad-tree分割)之最大深度MaxQTDepth/最小深度MinQTDepth、2分樹分割(Binary-tree分割)之最大深度MaxBTDepth/最小深度MinBTDepth、轉換略過區塊之最大值MaxTSSize(亦稱為最大轉換略過區塊尺寸)、各編碼工具的開啟關閉旗標(亦稱為有效旗標)等予以規定的資訊。
例如，作為標頭資訊Hinfo中所含之編碼工具的開啟關閉旗標，係有以下所示的涉及轉換、量化處理的開啟關閉旗標。此外，編碼工具的開啟關閉旗標，係亦可解釋成，表示該編碼工具所涉及之語法是否存在於編碼資料中的旗標。又，開啟關閉旗標之值為1(真)的情況下，表示該編碼工具是可使用，開啟關閉旗標之值為0(偽)的情況下，表示該編碼工具是不可使用。此外，旗標值的解釋亦可顛倒。
組件間預測有效旗標(ccp_enabled_flag)：表示組件間預測(CCP(Cross-Component Prediction)，亦稱為CC預測)是否為可使用的旗標資訊。例如，該旗標資訊為「1」(真)的情況下，表示可使用，為「0」(偽)的情況下，表示不可使用。
此外，該CCP，係亦稱為組件間線性預測(CCLM或CCLMP)。
＜預測模式資訊Pinfo＞ 預測模式資訊Pinfo中係含有例如，處理對象PB(預測區塊)之尺寸資訊PBSize(預測區塊尺寸)、畫面內預測模式資訊IPinfo、運動預測資訊MVinfo等之資訊。
畫面內預測模式資訊IPinfo中係含有例如：JCTVC-W1005, 7.3.8.5 Coding Unit syntax中的prev_ intra_luma_pred_flag、mpm_idx, rem_intra_pred_mode、及從該語法所被導出的亮度畫面內預測模式IntraPredModeY等。
又，畫面內預測模式資訊IPinfo中係含有例如：組件間預測旗標(ccp_flag(cclmp_flag))、多級別線性預測模式旗標(mclm_flag)、色差樣本位置類型識別元(chroma_sample_loc_type_idx)、色差MPM識別元(chroma_mpm_idx)、及從這些語法所被導出的亮度畫面內預測模式(IntraPredModeC)等。
組件間預測旗標(ccp_flag(cclmp_flag))，係為表示是否適用組件間線性預測的旗標資訊。例如，ccp_flag==1時，表示要適用組件間預測，ccp_flag==0時，表示不適用組件間預測。
多級別線性預測模式旗標(mclm_flag)，係為線性預測之模式的相關資訊(線性預測模式資訊)。更具體而言，多級別線性預測模式旗標(mclm_flag)，係為表示是否設成多級別線性預測模式的旗標資訊。例如，「0」的情況是表示1級別模式(單一級別模式)(例如CCLMP)，「1」的情況是表示2級別模式(多級別模式)(例如MCLMP)。
色差樣本位置類型識別元(chroma_sample_ loc_type_idx)，係為用來識別色差組件的像素位置之類型(亦稱為色差樣本位置類型)的識別元。例如色格式的相關資訊也就是色差陣列類型(ChromaArrayType)是表示420形式的情況下，色差樣本位置類型識別元，係採取如以下的式的分配方式。
chroma_sample_loc_type_idx == 0：Type2 chroma_sample_loc_type_idx == 1：Type3 chroma_sample_loc_type_idx == 2：Type0 chroma_sample_loc_type_idx == 3：Type1
此外，該色差樣本位置類型識別元(chroma_sample_loc_type_idx)，係作為色差組件之像素位置的相關資訊(chroma_sample_loc_info())(被儲存在其中)而被傳輸。
色差MPM識別元(chroma_mpm_idx)，係為表示要將色差畫面內預測模式候補清單(intraPredModeCandListC)之中的哪個預測模式候補指定作為色差畫面內預測模式的識別元。
運動預測資訊MVinfo中係含有例如：merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0，1}、mvd等之資訊(例如參照JCTVC-W1005, 7.3.8.6 Prediction Unit Syntax)。
當然，預測模式資訊Pinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
＜轉換資訊Tinfo＞ 轉換資訊Tinfo中係含有例如以下之資訊。當然，轉換資訊Tinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
處理對象轉換區塊之橫幅尺寸TBWSize及縱幅TBHSize(或者亦可為以2為底的各TBWSize、TBHSize之對數值log2TBWSize、log2TBHSize)。 轉換略過旗標(transform_skip_flag)：表示是否將(逆)初級轉換及(逆)次級轉換予以略過的旗標。 掃描識別元(scanIdx) 次級轉換識別元(st_idx) 適應正交轉換識別元(mts_idx) 量化參數(qp) 量化矩陣(scaling_matrix(例如JCTVC-W1005, 7.3.4 Scaling list data syntax))
＜殘差資訊Rinfo＞ 殘差資訊Rinfo(例如參照JCTVC-W1005的7.3.8.11 Residual Coding syntax)中係含有例如以下之語法。
cbf(coded_block_flag)：殘差資料有無旗標 last_sig_coeff_x_pos：最後非零轉換係數X座標 last_sig_coeff_y_pos：最後非零轉換係數Y座標 coded_sub_block_flag：子區塊非零轉換係數有無旗標 sig_coeff_flag：非零轉換係數有無旗標 gr1_flag：表示非零轉換係數之等級是大於1的旗標(亦稱為GR1旗標) gr2_flag：表示非零轉換係數之等級是大於2的旗標(亦稱為GR2旗標) sign_flag：表示非零轉換係數之正負的符號(亦稱為記號符號) coeff_abs_level_remaining：非零轉換係數之殘留等級(亦稱為非零轉換係數殘留等級) 等。
當然，殘差資訊Rinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
＜濾波器資訊Finfo＞ 濾波器資訊Finfo中係含有例如：以下所示的各濾波器處理所相關之控制資訊。
去區塊濾波器(DBF)所相關之控制資訊 像素適應偏置(SAO)所相關之控制資訊 適應迴圈濾波器(ALF)所相關之控制資訊 其他線性、非線性濾波器所相關之控制資訊
更具體而言，含有例如：適用各濾波器的圖像、或指定圖像內之領域的資訊、或CU單位的濾波器On/Off控制資訊、關於切片、瓷磚之交界的濾波器On/Off控制資訊等。當然，濾波器資訊Finfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
回到解碼部212之說明。解碼部212，係參照殘差資訊Rinfo，將各轉換區塊內的各係數位置的量化轉換係數等級level予以導出。解碼部212，係將該量化轉換係數等級level，供給至逆量化部213。
又，解碼部212，係將已剖析之標頭資訊Hinfo、預測模式資訊Pinfo、量化轉換係數等級level、轉換資訊Tinfo、濾波器資訊Finfo，供給至各區塊。具體而言係如以下所述。
標頭資訊Hinfo，係被供給至逆量化部213、逆正交轉換部214、預測部219、迴圈內濾波器部216。 預測模式資訊Pinfo，係被供給至逆量化部213及預測部219。 轉換資訊Tinfo，係被供給至逆量化部213及逆正交轉換部214。 濾波器資訊Finfo，係被供給至迴圈內濾波器部216。
當然，上述的例子係為一例，並非限定於此例。例如，各編碼參數亦可被供給至任意之處理部。又，其他資訊亦可被供給至任意之處理部。
＜逆量化部＞ 逆量化部213，係至少具有：為了進行逆量化的相關處理所必須的構成。例如，逆量化部213，係將從解碼部212所被供給之轉換資訊Tinfo及量化轉換係數等級level當作輸入，基於該轉換資訊Tinfo，將量化轉換係數等級level之值予以比例縮放(逆量化)，將逆量化後的轉換係數Coeff_IQ予以導出。
此外，該逆量化，係作為影像編碼裝置100的量化部114所致之量化的逆處理，而被進行。又，該逆量化，係為與影像編碼裝置100的逆量化部117所致之逆量化相同的處理。亦即，影像編碼裝置100的逆量化部117，係進行與逆量化部213相同的處理(逆量化)。
逆量化部213，係將已導出之轉換係數Coeff_IQ，供給至逆正交轉換部214。
＜逆正交轉換部＞ 逆正交轉換部214，係進行逆正交轉換的相關處理。例如，逆正交轉換部214，係將從逆量化部213所被供給之轉換係數Coeff_IQ，及從解碼部212所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而對轉換係數Coeff_IQ進行逆正交轉換處理，導出預測殘差D'。
此外，該逆正交轉換，係作為影像編碼裝置100的正交轉換部113所致之正交轉換的逆處理，而被進行。又，該逆正交轉換，係為與影像編碼裝置100的逆正交轉換部118所致之逆正交轉換相同的處理。亦即，影像編碼裝置100的逆正交轉換部118，係進行與逆正交轉換部214相同的處理(逆正交轉換)。
逆正交轉換部214，係將已導出之預測殘差D'，供給至演算部215。
＜演算部＞ 演算部215，係進行影像的相關資訊之加算的相關處理。例如，演算部215，係將從逆正交轉換部214所被供給之預測殘差D'、與從預測部219所被供給之預測影像P，當作輸入。演算部215，係如以下的式所示般地，將預測殘差D'與該預測殘差D'所對應之預測影像P(預測訊號)進行加算，將局部解碼影像Rlocal予以導出。
Rlocal = D' + P
演算部215，係將已導出之局部解碼影像Rlocal，供給至迴圈內濾波器部216及畫格記憶體218。
＜迴圈內濾波器部＞ 迴圈內濾波器部216，係進行迴圈內濾波器處理的相關處理。例如，迴圈內濾波器部216，係將從演算部215所被供給之局部解碼影像Rlocal、與從解碼部212所被供給之濾波器資訊Finfo，當作輸入。此外，對迴圈內濾波器部216所被輸入的資訊係為任意，亦可輸入這些資訊以外之資訊。
迴圈內濾波器部216，係基於該濾波器資訊Finfo，而對局部解碼影像Rlocal適宜地進行濾波器處理。
例如，迴圈內濾波器部216，係將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器，依其順序而做適用。此外，要適用哪個濾波器，要以何種順序做適用係為任意，可適宜地選擇。
迴圈內濾波器部216，係進行編碼側(例如影像編碼裝置100的迴圈內濾波器部120)所進行之濾波器處理所對應之濾波器處理。當然，迴圈內濾波器部216所進行的濾波器處理係為任意，不限定於上述的例子。例如，迴圈內濾波器部216係亦可適用維納濾波器等。
迴圈內濾波器部216，係將已被濾波器處理過的局部解碼影像Rlocal，供給至排序緩衝區217及畫格記憶體218。
＜排序緩衝區＞ 排序緩衝區217，係將從迴圈內濾波器部216所被供給之局部解碼影像Rlocal當作輸入，並將其予以保持(記憶)。排序緩衝區217，係使用該局部解碼影像Rlocal而將每一圖像單位之解碼影像R予以重建，並保持之(儲存在緩衝區內)。排序緩衝區217，係將所得到的解碼影像R，從解碼順序排序成再生順序。排序緩衝區217，係已排序之解碼影像R群，當作動態影像資料而輸出至影像解碼裝置200之外部。
＜畫格記憶體＞ 畫格記憶體218，係進行關於影像之資料的記憶的相關處理。例如，畫格記憶體218，係將從演算部215所被供給之局部解碼影像Rlocal當作輸入，將每一圖像單位之解碼影像R予以重建，並儲存至畫格記憶體218內的緩衝區。
又，畫格記憶體218，係將從迴圈內濾波器部216所被供給之，已被迴圈內濾波器處理過的局部解碼影像Rlocal當作輸入，將每一圖像單位之解碼影像R予以重建，並儲存至畫格記憶體218內的緩衝區。畫格記憶體218，係適宜將其記憶的解碼影像R(或其一部分)，當作參照影像而供給至預測部219。
此外，畫格記憶體218亦可將解碼影像之生成所涉及的標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等，加以記憶。
＜預測部＞ 預測部219，係進行預測影像之生成的相關處理。例如，預測部219，係將從解碼部212所被供給之預測模式資訊Pinfo當作輸入，以藉由該預測模式資訊Pinfo而被指定的預測方法來進行預測，導出預測影像P。該導出之際，預測部219，係將藉由該預測模式資訊Pinfo而被指定的，已被儲存在畫格記憶體218中的濾波前或濾波後的解碼影像R(或其一部分)，當作參照影像而利用。預測部219，係將已導出之預測影像P，供給至演算部215。
此外，這些處理部(積存緩衝區211乃至預測部219)，係具有任意之構成。例如，各處理部亦可藉由，實現上述處理的邏輯電路，而被構成。又，亦可為，各處理部係具有例如CPU、ROM、RAM等，藉由使用它們來執行程式，以實現上述的處理。當然，亦可為，各處理部係具有該雙方之構成，上述之處理的一部分是以邏輯電路來加以實現，其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立，例如亦可為，一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現，另一部分之處理部是藉由執行程式而實現上述處理，再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
＜解碼部＞ 圖11係表示圖10的解碼部212的主要的構成例的區塊圖。如在圖11所示般，解碼部212係具有：選擇部231、上下文設定部232、上下文解碼部233、旁路解碼部234、及逆2值化部235。
此外，在此雖說明有關適應正交轉換識別元的編碼資料的解碼，但解碼部212如上述般，其他的編碼參數或殘差資訊Rinfo等的編碼資料的解碼也進行。解碼部212係適用在＜2-2.適應正交轉換識別元的解碼＞中說明的方法1來進行適應正交轉換識別元的編碼資料的解碼。
選擇部231，係進行有關被2值化的適應正交轉換識別元的bin列的各bin的編碼資料的供給去處的選擇之處理。例如，選擇部231，係取得從積存緩衝區211供給的適應正交轉換識別元的bin列的編碼資料。
又，選擇部231，係針對取得的適應正交轉換識別元的bin列的各bin的編碼資料，將其供給去處選擇成上下文設定部232或者旁路解碼部234。選擇部231，係在＜2-2.適應正交轉換識別元的解碼＞中按照上述的方法1，進行其選擇。例如，選擇部231，係亦可按照方法1-1(亦即圖3的A所示的表)，進行其選擇。又，選擇部231，係亦可按照方法1-2(亦即圖3的B所示的表)，進行其選擇。又，選擇部231，係亦可按照方法1-3(亦即圖4的A所示的表)，進行其選擇。又，選擇部231，係亦可按照方法1-4(亦即圖4的B所示的表)，進行其選擇。
分配上下文變數(索引ctxInc)而做上下文解碼時，選擇部231，係將其bin的編碼資料供給至上下文設定部232。做旁路解碼時，選擇部231，係將其bin供給至旁路解碼部234。
上下文設定部232，係進行有關上下文的設定的處理。例如，上下文設定部232，係取得從選擇部231供給的bin的編碼資料。上下文設定部232，係對於其bin分配上下文變數(索引ctxInc)。上下文設定部232，係在＜2-2.適應正交轉換識別元的解碼＞中按照上述的方法1，進行其分配。例如，上下文設定部232，係亦可按照方法1-1(亦即圖3的A所示的表)，進行其分配。又，上下文設定部232，係亦可按照方法1-2(亦即圖3的B所示的表)，進行其分配。又，上下文設定部232，係亦可按照方法1-3(亦即圖4的A所示的表)，進行其分配。又，上下文設定部232，係亦可按照方法1-4(亦即圖4的B所示的表)，進行其分配。
又，上下文設定部232，係可從上下文解碼部233取得解碼結果。上下文設定部232，係可利用其解碼結果來適當更新上下文變數(索引ctxInc)。上下文設定部232，係將如此導出的上下文變數(索引ctxInc)供給至上下文解碼部233。
上下文解碼部233，係進行有關算術解碼的處理。例如，上下文解碼部233，係取得從上下文設定部232供給的上下文變數(索引ctxInc)。又，上下文解碼部233，係利用該上下文變數(索引ctxInc)來做算術解碼。亦即，進行上下文解碼。進一步，上下文解碼部233，係將其解碼結果亦即適應正交轉換識別元的bin列的處理對象的bin予以供給至逆2值化部235。
旁路解碼部234，係進行有關旁路解碼的處理。例如，旁路解碼部234，係取得從選擇部231供給的bin的編碼資料。旁路解碼部234，係將該bin的編碼資料予以旁路解碼(算術解碼)。旁路解碼部234是將其解碼結果亦即適應正交轉換識別元的bin列的處理對象的bin予以供給至逆2值化部235。
逆2值化部235，係進行有關適應正交轉換識別元的bin列的逆2值化(亦稱為多值化)之處理。例如，逆2值化部235，係取得從上下文解碼部233或旁路解碼部234供給的適應正交轉換識別元的bin列。逆2值化部235，係將取得的bin列予以逆2值化，導出適應正交轉換識別元mts_idx。此逆2值化，係根據2值化部131的2值化的逆處理。亦即，逆2值化部235，係使用截斷一元碼(或截斷萊斯編碼)來進行逆2值化。逆2值化部235是以導出的適應正交轉換識別元mts_idx作為Tinfo供給至逆正交轉換部214。逆正交轉換部214，係根據此適應正交轉換識別元mts_idx來適當進行適應正交轉換。
藉由如以上般各處理部(選擇部231乃至逆2值化部235)進行處理，解碼部212，係可適用方法1(例如方法1-1乃至方法1-4的任一個)來將適應正交轉換識別元的編碼資料予以解碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜影像解碼處理的流程＞ 接著，說明有關藉由以上般的構成的影像解碼裝置200來執行的各處理的流程。最初，參照圖12的流程圖來說明影像解碼處理的流程的例子。
影像解碼處理一旦開始，則積存緩衝區211，係於步驟S201中，將從影像解碼裝置200之外部所被供給之編碼資料(位元串流)加以取得並保持(積存)。
於步驟S202中，解碼部212，係將該編碼資料(位元串流)予以解碼，獲得量化轉換係數等級level。又，解碼部212，係藉由該解碼，而從編碼資料(位元串流)中將各種編碼參數予以剖析(進行解析並取得之)。
於步驟S203中，逆量化部213，係對藉由步驟S202之處理所得到的量化轉換係數等級level，進行編碼側中所被進行之量化的逆處理也就是逆量化，獲得轉換係數Coeff_IQ。
於步驟S204中，逆正交轉換部214，係對步驟S203中所得到的轉換係數Coeff_IQ，進行編碼側中所被進行之正交轉換處理的逆處理也就是逆正交轉換處理，獲得預測殘差D'。
於步驟S205中，預測部219，係基於步驟S202中所被剖析出來的資訊，以被編碼側所指定之預測方法執行預測處理，參照畫格記憶體218中所被記憶的參照影像等，而生成預測影像P。
於步驟S206中，演算部215，係將步驟S204中所得到的預測殘差D'、與步驟S205中所得到的預測影像P進行加算，導出局部解碼影像Rlocal。
於步驟S207中，迴圈內濾波器部216，係對藉由步驟S206之處理所得到的局部解碼影像Rlocal，進行迴圈內濾波器處理。
於步驟S208中，排序緩衝區217，係使用藉由步驟S207之處理所得到的已被濾波器處理過的局部解碼影像Rlocal而導出解碼影像R，將該解碼影像R群之順序，從解碼順序排序成再生順序。已被排序成再生順序的解碼影像R群，係作為動態影像而被輸出至影像解碼裝置200之外部。
又，於步驟S209中，畫格記憶體218，係將藉由步驟S206之處理所得到的局部解碼影像Rlocal、及藉由步驟S207之處理所得到的濾波器處理後的局部解碼影像Rlocal之中的至少一方，加以記憶。
一旦步驟S209的處理結束，則影像解碼處理結束。
＜解碼處理的流程＞ 在圖12的步驟S202的解碼處理中，解碼部212，係進行適應正交轉換識別元mts_idx的編碼資料的解碼。此時，解碼部212係適用在＜2-2.適應正交轉換識別元的解碼＞中說明的方法1來進行適應正交轉換識別元的編碼資料的解碼。參照圖13的流程圖來說明該適應正交轉換識別元mts_idx的編碼資料的解碼的流程的例子。
一旦解碼處理開始，則解碼部212的選擇部231，係於步驟S231中，以適應正交轉換識別元mts_idx的bin列的第1bin(binIdx = 0)作為處理對象。此情況，選擇部231，係選擇上下文設定部232作為其bin的供給去處(亦即選擇上下文解碼)。例如，選擇部231，係按照圖3及圖4所示的表的任一個(亦即適用方法1-1乃至方法1-4的任一個)，選擇上下文解碼，作為此bin的解碼方法。
於步驟S232中，上下文設定部232，係對於其bin，分配被預定之所定的上下文變數ctx(索引ctxInc)。然後，上下文解碼部233，係使用該上下文變數來進行算術解碼。亦即，進行上下文解碼。
於步驟S233中，選擇部231，係以其bin列的第2個以後的bin之中未處理的bin作為處理對象。於步驟S234中，選擇部231，係判定是否將其處理對象的bin予以旁路解碼。例如，選擇部231，係按照圖3及圖4所示的表的任一個(亦即適用方法1-1乃至方法1-4的任一個)，判定是否將處理對象的bin的編碼資料予以旁路解碼。
當被判定成做旁路解碼時，處理前進至步驟S235。亦即，此情況，選擇部231，係選擇旁路解碼部234作為bin的編碼資料的供給去處。於步驟S235中，旁路解碼部234，係將其處理對象的bin的編碼資料予以旁路解碼。一旦步驟S235的處理結束，則處理前進至步驟S237。
又，於步驟S234中，當被判定成不進行旁路編碼(進行上下文解碼)時，處理前進至步驟S236。亦即，此情況，選擇部231，係選擇上下文設定部232作為bin的編碼資料的供給去處。於步驟S236中，上下文設定部232，係對於其bin，分配被預定之所定的上下文變數ctx(索引ctxInc)。然後，上下文解碼部233，係利用該上下文變數來進行算術解碼。亦即，進行上下文解碼。一旦步驟S236的處理結束，則處理前進至步驟S237。
於步驟S237中，逆2值化部235，係利用截斷一元碼(或截斷萊斯編碼)來將bin列予以逆2值化，導出適應正交轉換識別元mts_idx。
於步驟S238中，解碼部212，係判定是否結束適應正交轉換識別元mts_idx的解碼。當被判定成不結束時，處理回到步驟S233，重複以後的處理。又，於步驟S238中，當被判定成結束時，解碼處理結束。
藉由如此執行各處理，解碼部212可適用方法1(例如方法1-1乃至方法1-4的任一個)來將適應正交轉換識別元的編碼資料予以解碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜3.第2實施形態＞ ＜3-1.適應正交轉換識別元的編碼＞ 在本實施形態中，如以下般進行，對於將適應正交轉換識別元予以2值化後的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像編碼的適應正交轉換的模式。
亦即，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，將有關此區塊尺寸的參數設為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差。亦即，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差，分配上下文變數而做上下文編碼(方法2)。
例如圖14的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值(log2W)及垂直方向的轉換區塊尺寸的對數值(log2H)之中的長者(max(log2W， log2H))與可適用適應正交轉換的最小轉換區塊尺寸的對數值(log2MinMtsSize)的差分(max(log2W， log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin進行旁路編碼(方法2-1)。
圖14的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W， log2H) - log2MinMtsSize)分配索引ctxInc而做上下文編碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路編碼(bypass)。
又，例如圖14的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W， log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第3bin及第4bin進行旁路編碼(方法2-2)。
圖14的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W， log2H) - log2MinMtsSize)分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路編碼(bypass)。
進一步，例如圖15的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W， log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第4bin進行旁路編碼(方法2-3)。
圖15的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W， log2H) - log2MinMtsSize)分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被旁路編碼(bypass)。
進一步，例如圖15的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W， log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼(方法2-4)。
圖15的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W， log2H) - log2MinMtsSize)分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文編碼。
此外，在圖14及圖15的各表中，在索引B1，B2，B3，係設定有不重複的獨特的值。
將該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數的例子顯示於圖16的表。例如，方法0的情況，上下文數為9，上下文編碼bin數為4，旁路編碼bin數為0。相對於此，方法2-1的情況，上下文數成為4，上下文編碼bin數成為1，旁路編碼bin數成為3。又，方法2-2的情況，上下文數成為5，上下文編碼bin數成為2，旁路編碼bin數成為2。又，方法2-3的情況，上下文數成為6，上下文編碼bin數成為3，旁路編碼bin數成為1。又，方法2-4的情況，上下文數成為7，上下文編碼bin數成為4，旁路編碼bin數成為0。
如此，方法2-1乃至方法2-4的哪個的情況皆可使編碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法2，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法2-1乃至方法2-3的哪個的情況皆可使編碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法2-4的情況，編碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法2，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法2，可抑制編碼處理的負荷的增大。
＜3-2.適應正交轉換識別元的解碼＞ 解碼的情況也同樣地，如以下般進行，對於被2值化的適應正交轉換識別元的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像解碼的逆適應正交轉換的模式。
亦即，對於被2值化的適應正交轉換識別元bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，將有關此區塊尺寸的參數設為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差。亦即，對於被2值化的適應正交轉換識別元的bin列的第1bin，根據轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差，分配上下文變數而做上下文解碼(方法2)。
例如圖14的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值(log2W)及垂直方向的轉換區塊尺寸的對數值(log2H)之中的長者(max(log2W， log2H))與可適用適應正交轉換的最小轉換區塊尺寸的對數值(log2MinMtsSize)的差分(max(log2W, log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin進行旁路解碼(方法2-1)。
圖14的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W， log2H) - log2MinMtsSize)分配索引ctxInc而做上下文解碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路解碼(bypass)。
又，例如圖14的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W, log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第3bin及第4bin進行旁路解碼(方法2-2)。
圖14的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W, log2H) - log2MinMtsSize)分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係分配索引ctxInc = B1而做上下文解碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路解碼(bypass)。
進一步，例如圖15的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W, log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第4bin進行旁路解碼(方法2-3)。
圖15的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W， log2H) - log2MinMtsSize)分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被旁路解碼(bypass)。
進一步，例如圖15的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W, log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼(方法2-4)。
圖15的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其差分(max(log2W, log2H) - log2MinMtsSize)分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文解碼。
此外，解碼的情況也與編碼的情況同樣，在圖14及圖15的各表中，在索引B1，B2，B3，係設定有不重複的獨特的值。
該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數，係與編碼的情況(圖16)同樣。
如此，方法2-1乃至方法2-4的哪個的情況皆可使解碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法2，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法2-1乃至方法2-3的哪個的情況皆可使解碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法2-4的情況，解碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法2，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法2，可抑制編碼處理的負荷的增大。
＜3-3.編碼側＞ ＜構成＞ 接著，說明有關編碼側。此情況的編碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像編碼裝置100，係具有與參照圖6說明的構成同樣的構成。又，此情況的編碼部115，係具有與參照圖7說明的構成同樣的構成。
＜編碼處理的流程＞ 又，此情況的影像編碼裝置100，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像編碼裝置100來執行的影像編碼處理，係以和參照圖8的流程圖說明的情況同樣的流程。
參照圖17的流程圖說明藉由此情況的編碼部115來執行之，將適應正交轉換識別元予以編碼的編碼處理的流程的例子。
在此編碼處理中，步驟S301及步驟S302的各處理，係與圖9的步驟S131及步驟S132的各處理同樣地被執行。亦即，此情況，選擇部132，係選擇上下文設定部133作為其bin的供給去處(亦即選擇上下文編碼)。例如，選擇部132，係按照圖14及圖15所示的表的任一個(亦即適用方法2-1乃至方法2-4的任一個)，選擇上下文編碼作為此bin的編碼方法。
於步驟S303中，上下文設定部133，係對於其bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W， log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)。然後，上下文編碼部134，係利用該上下文變數來進行算術編碼。亦即，進行上下文編碼。
步驟S304乃至步驟S308的各處理，係與圖9的步驟S134乃至步驟S138的各處理同樣地被執行。於步驟S308中，當被判定成結束時，則編碼處理結束。
藉由如此執行各處理，編碼部115可適用方法2(例如方法2-1乃至方法2-4的任一個)來將適應正交轉換識別元予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜3-4.解碼側＞ ＜構成＞ 接著，說明有關解碼側。此情況的解碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像解碼裝置200，係具有與參照圖10說明的構成同樣的構成。又，此情況的解碼部212，係具有與參照圖11說明的構成同樣的構成。
＜解碼處理的流程＞ 又，此情況的影像解碼裝置200，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像解碼裝置200來執行的影像解碼處理，係以和參照圖12的流程圖說明的情況同樣的流程進行。
參照圖18的流程圖說明藉由此情況的解碼部212來執行之，將適應正交轉換識別元的編碼資料予以解碼的解碼處理的流程的例子。
在此解碼處理中，步驟S321的處理，係與圖13的步驟S231的處理同樣地被執行。亦即，此情況，選擇部231，係選擇上下文設定部232作為其bin的供給去處(亦即選擇上下文解碼)。例如，選擇部231，係按照圖14及圖15所示的表的任一個(亦即適用方法2-1乃至方法2-4的任一個)，選擇上下文解碼作為此bin的解碼方法。
於步驟S322中，上下文設定部232，係對於其bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分(max(log2W, log2H) - log2MinMtsSize)，分配上下文變數ctx(索引ctxInc)。然後，上下文解碼部233，係利用該上下文變數來進行算術解碼。亦即，進行上下文解碼結束。
步驟S323乃至步驟S328的各處理，係與圖13的步驟S233乃至步驟S238的各處理同樣地被執行。於步驟S328中，當被判定成結束時，則解碼處理。
藉由如此執行各處理，解碼部212可適用方法2(例如方法2-1乃至方法2-4的任一個)來將適應正交轉換識別元的編碼資料予以解碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜4.第3實施形態＞ ＜4-1.適應正交轉換識別元的編碼＞ 在本實施形態中，如以下般進行，對於將適應正交轉換識別元予以2值化後的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像編碼的適應正交轉換的模式。
亦即，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，將有關此區塊尺寸的參數設為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值。亦即，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的小者的值，分配上下文變數而做上下文編碼(方法3)。
此外，此閾值TH的值為任意。藉由將此閾值設為比轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差的最大值更小的值，相較於方法2的情況，可使上下文數減低。因此，可使記憶體使用量減低。
例如圖19的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值(log2W)及垂直方向的轉換區塊尺寸的對數值(log2H)之中的長者(max(log2W, log2H))與可適用適應正交轉換的最小轉換區塊尺寸的對數值(log2MinMtsSize)的差分(max(log2W, log2H) - log2MinMtsSize)以及所定的閾值(TH)之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin進行旁路編碼(方法3-1)。
圖19的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文編碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路編碼(bypass)。
又，例如圖19的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第3bin及第4bin進行旁路編碼(方法3-2)。
圖19的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路編碼(bypass)。
進一步，例如圖20的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第4bin進行旁路編碼(方法3-3)。
圖20的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被旁路編碼(bypass)。
進一步，例如圖20的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼(方法3-4)。
圖20的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文編碼。
此外，在圖19及圖20的各表中，在索引B1，B2，B3，係設定有不重複的獨特的值。
將該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數的例子顯示於圖21。圖21的A所示的表，係表示作為閾值TH = 2時的例子。在此例中，例如，方法0的情況，上下文數為9，上下文編碼bin數為4，旁路編碼bin數為0。相對於此，方法3-1的情況，上下文數成為3，上下文編碼bin數成為1，旁路編碼bin數成為3。又，方法3-2的情況，上下文數成為4，上下文編碼bin數成為2，旁路編碼bin數成為2。又，方法3-3的情況，上下文數成為5，上下文編碼bin數成為3，旁路編碼bin數成為1。又，方法3-4的情況，上下文數成為6，上下文編碼bin數成為4，旁路編碼bin數成為0。
又，圖21的B所示的表，係表示作為閾值TH = 1時的例子。在此例中，方法3-1的情況，上下文數成為2。又，方法3-2的情況，上下文數成為3。又，方法3-3的情況，上下文數成為4。又，方法3-4的情況，上下文數成為5。
如此，方法3-1乃至方法3-4的哪個的情況皆可使編碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法3，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法3-1乃至方法3-3的哪個的情況皆可使編碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法3-4的情況，編碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法3，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法3，可抑制編碼處理的負荷的增大。
＜4-2.適應正交轉換識別元的解碼＞ 解碼的情況也同樣地，如以下般進行，對於被2值化的適應正交轉換識別元的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像解碼的逆適應正交轉換的模式。
亦即，對於被2值化的適應正交轉換識別元bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，將有關此區塊尺寸的參數設為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值。亦即，對於被2值化的適應正交轉換識別元的bin列的第1bin，根據轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的小者的值分配上下文變數額做上下文解碼(方法3)。
此外，與編碼的情況同樣，此閾值TH的值為任意。藉由將此閾值設為比轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差的最大值更小的值，相較於方法2的情況，可使上下文數減低。因此，可使記憶體使用量減低。
例如圖19的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值(log2W)及垂直方向的轉換區塊尺寸的對數值(log2H)之中的長者(max(log2W, log2H))與可適用適應正交轉換的最小轉換區塊尺寸的對數值(log2MinMtsSize)的差分(max(log2W, log2H) - log2MinMtsSize)以及所定的閾值(TH)之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin進行旁路解碼(方法3-1)。
圖19的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文解碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路解碼(bypass)。
又，例如圖19的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第3bin及第4bin進行旁路解碼(方法3-2)。
圖19的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路解碼(bypass)。
進一步，例如圖20的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第4bin進行旁路解碼(方法3-3)。
圖20的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被旁路解碼(bypass)。
進一步，例如圖20的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼(方法3-4)。
圖20的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文解碼。
此外，解碼的情況也與編碼的情況同樣，在圖19及圖20的各表中，在索引B1，B2，B3，係設定有不重複的獨特的值。
該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數，係與編碼的情況(圖21的A及圖21的B)同樣。
如此，方法3-1乃至方法3-4的哪個的情況皆可使解碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法3，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法3-1乃至方法3-3的哪個的情況皆可使解碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法3-4的情況，解碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法3，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法3，可抑制解碼處理的負荷的增大。
＜4-3.編碼側＞ ＜構成＞ 接著，說明有關編碼側。此情況的編碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像編碼裝置100，係具有與參照圖6說明的構成同樣的構成。又，此情況的編碼部115，係具有與參照圖7說明的構成同樣的構成。
＜編碼處理的流程＞ 又，此情況的影像編碼裝置100，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像編碼裝置100來執行的影像編碼處理，係以和參照圖8的流程圖說明的情況同樣的流程進行。
參照圖22的流程圖說明藉由此情況的編碼部115來執行之，將適應正交轉換識別元予以編碼的編碼處理的流程的例子。
在此編碼處理中，步驟S351及步驟S352的各處理，係與圖9的步驟S131及步驟S132的各處理同樣地被執行。亦即，此情況，選擇部132，係選擇上下文設定部133作為其bin的供給去處(亦即選擇上下文編碼)。例如，選擇部132，係按照圖19及圖20所示的表的任一個(亦即適用方法3-1乃至方法3-4的任一個)，選擇上下文編碼作為此bin的編碼方法。
於步驟S353中，上下文設定部133，係對於其bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值的最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)。然後，上下文編碼部134，係利用該上下文變數來進行算術編碼。亦即，進行上下文編碼。
步驟S354乃至步驟S358的各處理，係與圖9的步驟S134乃至步驟S138的各處理同樣地被執行。於步驟S358中，當被判定成結束時，編碼處理結束。
藉由如此執行各處理，編碼部115可適用方法3(例如方法3-1乃至方法3-4的任一個)來將適應正交轉換識別元予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜4-4.解碼側＞ ＜構成＞ 接著，說明有關解碼側。此情況的解碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像解碼裝置200，係具有與參照圖10說明的構成同樣的構成。又，此情況的解碼部212，係具有與參照圖11說明的構成同樣的構成。
＜解碼處理的流程＞ 又，此情況的影像解碼裝置200，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像解碼裝置200來執行的影像解碼處理，係以和參照圖12的流程圖說明的情況同樣的流程進行。
參照圖23的流程圖說明藉由此情況的解碼部212來執行之，將適應正交轉換識別元的編碼資料予以解碼的解碼處理的流程的例子。
在此解碼處理中，步驟S371的處理，係與圖13的步驟S231的處理同樣地被執行。亦即，此情況，選擇部231，係選擇上下文設定部232作為其bin的供給去處(亦即選擇上下文解碼)。例如，選擇部231，係按照圖19及圖20所示的表的任一個(亦即適用方法3-1乃至方法3-4的任一個)，選擇上下文解碼作為此bin的解碼方法。
於步驟S372中，上下文設定部232，係對於其bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值的最小值(min(max(log2W, log2H) - log2MinMtsSize, TH))，分配上下文變數ctx(索引ctxInc)。然後，上下文解碼部233，係利用該上下文變數來進行算術解碼。亦即，進行上下文解碼。
步驟S373乃至步驟S378的各處理，係與圖13的步驟S233乃至步驟S238的各處理同樣地被執行。於步驟S378中，當被判定成結束時，則解碼處理結束。
藉由如此執行各處理，解碼部212可適用方法3(例如方法3-1乃至方法3-4的任一個)來將適應正交轉換識別元的編碼資料予以解碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜5.第4實施形態＞ ＜5-1.適應正交轉換識別元的編碼＞ 在本實施形態中，如以下般進行，對於將適應正交轉換識別元予以2值化後的bin列的各bin之上下文變數的分配(方法0)，其係如在圖1的B所示的表般進行之表示影像編碼的適應正交轉換的模式。
亦即，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，將有關此區塊尺寸的參數設為：將轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值予以右位元移位後的結果。亦即，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據將轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值予以右位元移位後的結果分配上下文變數而做上下文編碼(方法4)。
此外，此閾值TH的值為任意。藉由將此閾值設為比轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差的最大值更小的值，相較於方法2的情況，可使上下文數減低。又，右位元移位的移位量也就是標度參數shift的值為任意。此方法4的情況，由於進一步將其最小值予以右位元移位，因此相較於方法3的情況，可使上下文數減低。因此，可使記憶體使用量減低。
例如圖24的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據將水平方向的轉換區塊尺寸的對數值(log2W)及垂直方向的轉換區塊尺寸的對數值(log2H)之中的長者(max(log2W, log2H))與可適用適應正交轉換的最小轉換區塊尺寸的對數值(log2MinMtsSize)的差分(max(log2W, log2H) - log2MinMtsSize)以及所定的閾值(TH)之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))予以右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin進行旁路編碼(方法4-1)。
圖24的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文編碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路編碼(bypass)。
又，如圖24的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據將水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值予以右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第3bin及第4bin進行旁路編碼(方法4-2)。
圖24的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路編碼(bypass)。
進一步，例如圖25的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據將水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值予以右位元移位後結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第4bin進行旁路編碼(方法4-3)。
圖25的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被旁路編碼(bypass)。
進一步，例如圖25的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，根據將水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值予以右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼(方法4-4)。
圖25的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文編碼。
此外，在圖24及圖25的各表中，在索引B1，B2，B3，係設定有不重複的獨特的值。
將該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數的例子顯示於圖26。圖26所示的表，係表示閾值TH = 2，標度參數(右位元移位的移位量)shift = 1時的例子。在此例中，例如，方法0的情況，上下文數為9，上下文編碼bin數為4，旁路編碼bin數為0。相對於此，方法4-1的情況，上下文數成為2，上下文編碼bin數成為1，旁路編碼bin數成為3。又，方法4-2的情況，上下文數成為3，上下文編碼bin數成為2，旁路編碼bin數成為2。又，方法4-3的情況，上下文數成為4，上下文編碼bin數成為3，旁路編碼bin數成為1。又，方法4-4的情況，上下文數成為5，上下文編碼bin數成為4，旁路編碼bin數成為0。
如此，方法4-1乃至方法4-4的哪個的情況皆可使編碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法4，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法4-1乃至方法4-3的哪個的情況皆可使編碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法4-4的情況，編碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法4，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法4，可抑制編碼處理的負荷的增大。
＜5-2.適應正交轉換識別元的解碼＞ 解碼的情況也同樣地，如以下般進行，對於被2值化的適應正交轉換識別元的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像解碼的逆適應正交轉換的模式。
亦即，對於被2值化的適應正交轉換識別元bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，將有關此區塊尺寸的參數設為：將轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值予以右位元移位後的結果。亦即，對於被2值化的適應正交轉換識別元的bin列的第1bin，根據將轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值予以右位元移位後的結果，分配上下文變數而做上下文解碼(方法4)。
此外，與編碼的情況同樣，此閾值TH的值為任意。藉由將此閾值設為比轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差的最大值更小的值，相較於方法2的情況，可使上下文數減低。又，右位元移位的移位量也就是標度參數shift的值為任意。此方法4的情況，由於進一步將其最小值予以右位元移位，因此相較於方法3的情況，可使上下文數減低。因此，可使記憶體使用量減低。
例如圖24的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據將水平方向的轉換區塊尺寸的對數值(log2W)及垂直方向的轉換區塊尺寸的對數值(log2H)之中的長者(max(log2W， log2H))與可適用適應正交轉換的最小轉換區塊尺寸的對數值(log2MinMtsSize)的差分(max(log2W， log2H) - log2MinMtsSize)以及所定的閾值(TH)之中的小者的值(min(max(log2W, log2H) - log2MinMtsSize, TH))予以右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin進行旁路解碼(方法4-1)。
圖24的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文解碼，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路解碼(bypass)。
又，例如圖24的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值予以右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第3bin及第4bin進行旁路解碼(方法4-2)。
圖24的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路解碼(bypass)。
進一步，例如圖25的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據將水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值予以右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第4bin進行旁路解碼(方法4-3)。
圖25的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被旁路解碼(bypass)。
進一步，例如圖25的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，根據將水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值之中的小者的值予以右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼(方法4-4)。
圖25的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係根據其右位元移位的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)分配索引ctxInc而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文解碼。
此外，解碼的情況也與編碼的情況同樣，在圖24及圖25的各表中，在索引B1，B2，B3，係設定有不重複的獨特的值。
該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數，係與編碼的情況(圖26)同樣。
如此，方法4-1乃至方法4-4的哪個的情況皆可使解碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法4，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法4-1乃至方法4-3的哪個的情況皆可使解碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法4-4的情況，解碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法4，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法4，可抑制解碼處理的負荷的增大。
＜5-3.編碼側＞ ＜構成＞ 接著，說明有關編碼側。此情況的編碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像編碼裝置100，係具有與參照圖6說明的構成同樣的構成。又，此情況的編碼部115，係具有與參照圖7說明的構成同樣的構成。
＜編碼處理的流程＞ 又，此情況的影像編碼裝置100，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像編碼裝置100來執行的影像編碼處理，係以和參照圖8的流程圖說明的情況同樣的流程進行。
參照圖27的流程圖說明藉由此情況的編碼部115來執行之，將適應正交轉換識別元予以編碼的編碼處理的流程的例子。
在此編碼處理中，步驟S401及步驟S402的各處理，係與圖9的步驟S131及步驟S132的各處理同樣地被執行。亦即，此情況，選擇部132，係選擇上下文設定部133作為其bin的供給去處(亦即選擇上下文編碼)。例如，選擇部132，係按照圖24及圖25所示的表的任一個(亦即適用方法4-1乃至方法4-4的任一個)，選擇上下文編碼作為此bin的編碼方法。
於步驟S403中，上下文設定部133，係對於其bin，根據將水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值的最小值予以用標度參數shift來右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)。然後，上下文編碼部134，係利用該上下文變數來進行算術編碼。亦即，進行上下文編碼。
步驟S404乃至步驟S408的各處理，係與圖9的步驟S134乃至步驟S138的各處理同樣地被執行。於步驟S408中，當被判定成結束時，則編碼處理結束。
藉由如此執行各處理，編碼部115可適用方法4(例如方法4-1乃至方法4-4的任一個)來將適應正交轉換識別元予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜5-4.解碼側＞ ＜構成＞ 接著，說明有關解碼側。此情況的解碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像解碼裝置200，係具有與參照圖10說明的構成同樣的構成。又，此情況的解碼部212，係具有與參照圖11說明的構成同樣的構成。
＜解碼處理的流程＞ 又，此情況的影像解碼裝置200，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像解碼裝置200來執行的影像解碼處理，係以和參照圖12的流程圖說明的情況同樣的流程進行。
參照圖28的流程圖說明藉由此情況的解碼部212來執行之，將適應正交轉換識別元的編碼資料予以解碼的解碼處理的流程的例子。
在此解碼處理中，步驟S421的處理，係與圖13的步驟S231的處理同樣地被執行。亦即，此情況，選擇部231，係選擇上下文設定部232作為其bin的供給去處(亦即選擇上下文解碼)。例如，選擇部231，係按照圖24及圖25所示的表的任一個(亦即適用方法4-1乃至方法4-4的任一個)，選擇上下文解碼作為此bin的解碼方法。
於步驟S422中，上下文設定部232，係對於其bin，根據將水平方向的轉換區塊尺寸的對數值及垂直方向的轉換區塊尺寸的對數值之中的長者與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差分以及所定的閾值的最小值予以用標度參數shift來右位元移位後的結果(min(max(log2W, log2H) - log2MinMtsSize, TH) ＞＞ shift)，分配上下文變數ctx(索引ctxInc)。然後，上下文解碼部233，係利用該上下文變數來進行算術解碼。亦即，進行上下文解碼。
步驟S423乃至步驟S428的各處理，係與圖13的步驟S233乃至步驟S238的各處理同樣地被執行。於步驟S428中，當被判定成結束時，則解碼處理結束。
藉由如此執行各處理，解碼部212可適用方法4(例如方法4-1乃至方法4-4的任一個)來將適應正交轉換識別元的編碼資料予以解碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜6.第5實施形態＞ ＜6-1.適應正交轉換識別元的編碼＞ 在本實施形態中，如以下般進行，對於將適應正交轉換識別元予以2值化後的bin列的各bin之上下文變數的分配(方法0)，其係如在圖1的B所示的表般進行之表示影像編碼的適應正交轉換的模式。
亦即，對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，分配對應於有關其區塊尺寸的參數是否為所定的閾值以上之上下文變數而做上下文編碼(方法5)。
例如圖29的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照有關區塊尺寸的參數(S)是否為所定的閾值(TH)以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin進行旁路編碼(方法5-1)。
圖29的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，被分配索引ctxInc = A0而做上下文編碼，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文編碼。又，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路編碼(bypass)。
又，例如圖29的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照有關區塊尺寸的參數是否為所定的閾值以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第3bin及第4bin進行旁路編碼(方法5-2)。
圖29的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)， 被分配索引ctxInc = A0而做上下文編碼，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路編碼(bypass)。
進一步，例如圖30的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照有關區塊尺寸的參數是否為所定的閾值以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第4bin進行旁路編碼(方法5-3)。
圖30的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，被分配索引ctxInc = A0而做上下文編碼，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被旁路編碼(bypass)。
進一步，例如圖30的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照有關區塊尺寸的參數是否為所定的閾值以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼(方法5-4)。
圖30的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，被分配索引ctxInc = A0而做上下文編碼，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文編碼。
此外，在圖29及圖30的各表中，在索引A0，A1，B1，B2，B3，係設定有不重複的獨特的值。
此外，參數S只要為有關區塊尺寸者，怎樣的參數皆可。
例如，參數S亦可為轉換區塊的橫幅tbWidth與縱幅tbHeight的積，亦即轉換區塊的面積。 S = tbWidth * tbHeight
又，參數S亦可為轉換區塊的橫幅tbWidth的對數值與縱幅tbHeight的對數值的和，亦即轉換區塊的面積的對數值。 S = log2(tbWidth) + log2(tbHeight)
進一步，參數S亦可為轉換區塊的橫幅tbWidth與縱幅tbHeight的最大值，亦即轉換區塊的長邊的尺寸。 S = max(tbWidth， tbHeight)
又，參數S亦可為轉換區塊的橫幅tbWidth與縱幅tbHeight的最小值，亦即轉換區塊的短邊的尺寸。 S = min(tbWidth， tbHeight)
進一步，參數S亦可為轉換區塊的橫幅tbWidth的對數值與縱幅tbHeight的對數值的最大值，亦即轉換區塊的長邊的尺寸的對數值。 S = max(log2(tbWidth)， log2(tbHeight))
又，參數S亦可為轉換區塊的橫幅tbWidth的對數值與縱幅tbHeight的對數值的最小值，亦即轉換區塊的短邊的尺寸的對數值。 S = min(log2(tbWidth)， log2(tbHeight))
進一步，參數S亦可為編碼區塊的面積對於CTU的面積的比cbSubDiv。將此編碼區塊的面積對於CTU的面積的比cbSubDiv的值的例子顯示於圖31的表。 S = cbSubDiv
又，參數S亦可為將編碼區塊的面積對於CTU的面積的比cbSubDiv予以標度參數shift量右位元移位後的結果。此外，此標度參數shift亦可為CTU的區塊尺寸的對數值與最大轉換區塊尺寸的對數值的差。又，最大轉換區塊尺寸的對數值亦可為5。 S = cbSubDiv ＞＞ shift shift = (log2CTUSize - log2MaxTsSize) log2MaxTsSize = 5
進一步，參數S亦可為轉換區塊的橫幅tbWidth的對數值與縱幅tbHeight的對數值的差的絕對值。 S = abs(log2(tbWidth) - log2(tbHeight))
將該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數的例子顯示於圖32。在此例中，例如，方法0的情況，上下文數為9，上下文編碼bin數為4，旁路編碼bin數為0。相對於此，方法5-1的情況，上下文數成為2，上下文編碼bin數成為1，旁路編碼bin數成為3。又，方法5-2的情況，上下文數成為3，上下文編碼bin數成為2，旁路編碼bin數成為2。進一步，方法5-3的情況，上下文數成為4，上下文編碼bin數成為3，旁路編碼bin數成為1。又，方法5-4的情況，上下文數成為5，上下文編碼bin數成為4，旁路編碼bin數成為0。
如此，方法5-1乃至方法5-4的哪個的情況皆可使編碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法5，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法5-1乃至方法5-3的哪個的情況皆可使編碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法5-4的情況，編碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法5，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法5，可抑制編碼處理的負荷的增大。
＜6-2.適應正交轉換識別元的解碼＞ 解碼的情況也同樣地，如以下般進行，對於被2值化的適應正交轉換識別元的bin列的各bin之上下文變數的分配(方法0)，其係如圖1的B所示的表般進行之表示影像解碼的逆適應正交轉換的模式。
亦即，對於被2值化的適應正交轉換識別元bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
更具體而言，分配對應於有關其區塊尺寸的參數是否為所定的閾值以上之上下文變數而做上下文解碼(方法5)。
例如圖29的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，按照有關區塊尺寸的參數(S)是否為所定的閾值(TH)以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin進行旁路解碼(方法5-1)。
圖29的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，被分配索引ctxInc = A0而做上下文解碼，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路解碼(bypass)。
又，例如圖29的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，按照有關區塊尺寸的參數是否為所定的閾值以上(S ＜ TH?)來分割上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第3bin及第4bin進行旁路解碼(方法5-2)。
圖29的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，分配索引ctxInc = A0而作為上下文解碼，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin及第4bin(binIdx = 2...3)係分別被旁路解碼(bypass)。
進一步，例如圖30的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，按照有關區塊尺寸的參數是否為所定的閾值以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第4bin進行旁路解碼(方法5-3)。
圖30的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，被分配索引ctxInc = A0而做上下文解碼，有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被旁路解碼(bypass)。
進一步，例如圖30的B所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，按照有關區塊尺寸的參數是否為所定的閾值以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼(方法5-4)。
圖25的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，被判定索引ctxInc = A0而做上下文解碼，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文解碼。
此外，解碼的情況也與編碼的情況同樣，在圖29及圖30的各表中，在索引A0，A1，B1，B2，B3，係設定有不重複的獨特的值。
又，解碼的情況也與編碼的情況同樣，只要參數S為有關區塊尺寸者，怎樣的參數都可以。例如，亦可藉由在＜6-1.適應正交轉換識別元的編碼＞中說明的各種方法來導出參數S。
該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數，係與編碼的情況(圖32)同樣。
如此，方法5-1乃至方法5-4的哪個的情況皆可使解碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法5，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法5-1乃至方法5-3的哪個的情況皆可使解碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法5-4的情況，解碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法5，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
如以上般，藉由適用方法5，可抑制解碼處理的負荷的增大。
＜6-3.編碼側＞ ＜構成＞ 接著，說明有關編碼側。此情況的編碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像編碼裝置100，係具有與參照圖6說明的構成同樣的構成。又，此情況的編碼部115，係具有與參照圖7說明的構成同樣的構成
＜編碼處理的流程＞ 又，此情況的影像編碼裝置100，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像編碼裝置100來執行的影像編碼處理，係以和參照圖8的流程圖說明的情況同樣的流程進行。
參照圖33的流程圖說明藉由此情況的編碼部115來執行之，將適應正交轉換識別元予以編碼的編碼處理的流程的例子。
在此編碼處理中，步驟S451及步驟S452的各處理，係與圖9的步驟S131及步驟S132的各處理同樣地被執行。亦即，此情況，選擇部132，係選擇上下文設定部133作為其bin的供給去處(亦即選擇上下文編碼)。例如，選擇部132，係按照圖29及圖30所示的表的任一個(亦即適用方法5-1乃至方法5-4的任一個)，選擇上下文編碼作為此bin的編碼方法。
於步驟S453中、上下文設定部133，係對於其bin，按照有關其區塊尺寸的參數(S)是否為所定的閾值(TH)以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)。
例如，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，上下文設定部133，係對於其bin，分配索引ctxInc = A0。又，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，上下文設定部133，係對於其bin，分配索引ctxInc = A1。
然後，上下文編碼部134，係進行使用該上下文變數來進行算術編碼。亦即，進行上下文編碼。
步驟S454乃至步驟S458的各處理，係與圖9的步驟S134乃至步驟S138的各處理同樣地被執行。於步驟S408中，當被判定成結束時，編碼處理結束。
藉由如此執行各處理，編碼部115，係可適用方法5(例如方法5-1乃至方法5-4的任一個)來將適應正交轉換識別元予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜6-4.解碼側＞ ＜構成＞ 接著，說明有關解碼側。此情況的解碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像解碼裝置200，係具有與參照圖10說明的構成同樣的構成。又，此情況的解碼部212，係具有與參照圖11說明的構成同樣的構成。
＜解碼處理的流程＞ 又，此情況的影像解碼裝置200，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像解碼裝置200來執行的影像解碼處理，係以和參照圖12的流程圖說明的情況同樣的流程進行。
參照圖34的流程圖說明藉由此情況的解碼部212來執行之，將適應正交轉換識別元的編碼資料予以解碼的解碼處理的流程的例子。
在此解碼處理中，步驟S471的處理，係與圖13的步驟S231的處理同樣地被執行。亦即，此情況，選擇部231，係選擇上下文設定部232作為其bin的供給去處(亦即選擇上下文解碼)。例如，選擇部231係按照圖29及圖30所示的表的任一個(亦即適用方法5-1乃至方法5-4的任一個)，選擇上下文解碼作為此bin的解碼方法。
在步驟S472中，上下文設定部232，係對於其bin，按照有關其區塊尺寸的參數(S)是否為所定的閾值(TH)以上(S ＜ TH?)來分配上下文變數ctx(索引ctxInc)。
例如，當有關區塊尺寸的參數為未滿所定的閾值時(S ＜ TH)，上下文設定部232，係對於其bin，分配索引ctxInc = A0。又，當有關區塊尺寸的參數為所定的閾值以上時(S ≧ TH)，上下文設定部232，係對於其bin，分配索引ctxInc = A1。
然後，上下文解碼部233，係利用該上下文變數來進行算術解碼。亦即，進行上下文解碼。
步驟S473乃至步驟S478的各處理，係與圖13的步驟S233乃至步驟S238的各處理同樣被執行。於步驟S478中，當被判定成結束時，解碼處理結束。
藉由如此執行各處理，解碼部212可適用方法5(例如方法5-1乃至方法5-4的任一個)而將適應正交轉換識別元的編碼資料予以解碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜7.第6實施形態＞ ＜7-1.適應正交轉換識別元的編碼＞ 在本實施形態中，如以下般進行，適應正交轉換識別元的2值化(方法0)，其係如圖2的A所示的表般進行之表示影像編碼的適應正交轉換的模式。
亦即，將適應正交轉換識別元予以2值化成bin列而編碼，該bin列係藉由表示是否為轉換類型DCT2xDCT2以外的1bin(1位元)及表示其他的轉換類型的2bin(2位元)所構成(方法6)。
例如圖35的A所示的表般、適應正交轉換識別元的轉換類型為DCT2xDCT2的情況、2值化成1bin(=0)的bin列、適應正交轉換識別元的轉換類型為DCT2xDCT2以外的情況、2值化成3bin的bin列。
圖35的A的例子的情況，適應正交轉換識別元mts_idx = 0，係被2值化成表示轉換類型為DCT2xDCT2的bin列「0」而編碼。又，適應正交轉換識別元mts_idx = 1，係被2值化成表示轉換類型為DCT2xDCT2以外，且為DST7xDST7的bin列「100」而編碼。進一步，適應正交轉換識別元mts_idx = 2，係被2值化成表示轉換類型為DCT2xDCT2以外，且為DCT8xDST7的bin列「101」而編碼。又，適應正交轉換識別元mts_idx = 3，係被2值化成表示轉換類型為DCT2xDCT2以外，且為DST7xDCT8的bin列「110」而編碼。進一步，適應正交轉換識別元mts_idx = 4，係被2值化成表示轉換類型為DCT2xDCT2以外，且為DCT8xDCT8的bin列「111」而編碼。
藉由如此2值化，可將bin列的長度(bin長度)設為最大3bin。圖2的A的例子(方法0)的情況，bin列的長度(bin長度)為最大4bin，因此藉由適用方法6，可縮短1bin。
此外，此bin列，係如圖35的B所示的表般，亦可分成：表示是否為轉換類型DCT2xDCT2以外的1bin的前綴部、及表示其他的轉換類型的2bin的後綴部，而做2值化。
又，藉由根據此方法6的2值化所生成的適應正交轉換識別元的bin列的各bin，亦可以上述的方法0乃至方法5的哪個的方法來分配上下文而編碼。
例如圖36的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數ctx(索引ctxInc)，亦即固定的(對應於1對1的)上下文變數ctx而做上下文編碼，對於其bin列的第2bin及第3bin進行旁路編碼(方法1-1)。
圖36的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文編碼，第2bin及第3bin(binIdx = 1...2)係分別被旁路編碼(bypass)。
又，例如圖36的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin及第2bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於其bin列的第3bin進行旁路編碼(方法1-2)。
圖36的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被旁路編碼(bypass)。
進一步。例如圖36的C所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin乃至第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼(方法1-3)。
圖36的C的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文編碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼。
此外，在圖36的各表中，在索引A0，B1，B2，係設定有不重複的獨特的值。
將該等的各方法的上下文數、上下文編碼bin數、旁路編碼bin數、及最壞的情況時的bin長度的例子顯示於圖37的表。例如，方法0的情況，最壞的情況時的bin長度為4。因此，上下文數為9，上下文編碼bin數為4，旁路編碼bin數為0。相對於此，組合方法6與方法1-1時(方法6-1)，最壞的情況時的bin長度為3。因此，上下文數成為2，上下文編碼bin數成為1，旁路編碼bin數成為2。又，組合方法6與方法1-2時(方法6-2)，最壞的情況時的bin長度為3。因此，上下文數成為3，上下文編碼bin數成為2，旁路編碼bin數成為1。又，組合方法6與方法1-3時(方法6-3)，最壞的情況時的bin長度為3。因此，上下文數成為4，上下文編碼bin數成為3，旁路編碼bin數成為0。
如此，方法6-1乃至方法6-3的哪個的情況皆可使編碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法6，可使最壞的情況時的bin長度減低，進一步，藉由適用方法1，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法6-1乃至方法6-3的哪個的情況皆可使編碼所必要的上下文編碼bin數比方法0的情況更減低。亦即，藉由適用方法6，可使最壞的情況時的bin長度減低，進一步，藉由適用方法1，可對於對應於選擇率比較低的轉換類型之bin適用旁路編碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
此外，對於方法6，藉由取代方法1而組合其他的方法(例如方法2乃至方法5的任一個)，可組合方法6的效果及該等的方法的效果。因此，哪個的情況皆可抑制記憶體使用量或處理量(throughput)的增大。
如以上般，藉由適用方法6，可抑制編碼處理的負荷的增大。
＜7-2.適應正交轉換識別元的解碼＞ 在本實施形態中，如以下般進行，適應正交轉換識別元的逆2值化(方法0)，其係如圖2的A所示的表般進行之表示影像解碼的逆適應正交轉換的模式。
亦即，將解碼而取得之，藉由表示是否為轉換類型DCT2xDCT2以外的1bin(1位元)及表示其他的轉換類型的2bin(2位元)所構成的bin列予以逆2值化而導出適應正交轉換識別元(方法6)。
例如圖35的A所示的表般，將1bin(=0)的bin列予以逆2值化而導出轉換類型為DCT2xDCT2的適應正交轉換識別元，將3bin的bin列予以逆2值化而導出轉換類型為DCT2xDCT2以外的適應正交轉換識別元。
圖35的A的例子的情況，編碼資料被解碼而取得的bin列「0」會被逆2值化，表示轉換類型為DCT2xDCT2的適應正交轉換識別元mts_idx = 0會被導出。又，編碼資料被解碼而取得的bin列「100」會被逆2值化，表示轉換類型為DCT2xDCT2以外，且為DST7xDST7的適應正交轉換識別元mts_idx = 1會被導出。進一步，編碼資料被解碼而取得的bin列「101」會被逆2值化，表示轉換類型為DCT2xDCT2以外，且DCT8xDST7的適應正交轉換識別元mts_idx = 2會被導出。又，編碼資料被解碼而取得的bin列「110」會被逆2值化，表示轉換類型為DCT2xDCT2以外，且DST7xDCT8的適應正交轉換識別元mts_idx = 3會被導出。進一步，編碼資料被解碼而取得的bin列「111」會被逆2值化，表示轉換類型為DCT2xDCT2以外，且為DCT8xDCT8的適應正交轉換識別元mts_idx = 4會被導出。
藉由如此逆2值化，可將bin列的長度(bin長度)設為最大3bin。圖2的A的例子(方法0)的情況，bin列的長度(bin長度)為最大4bin，因此藉由適用方法6，可縮短1bin。
此外，此bin列，係如圖35的B所示的表般，亦可分成：表示是否為轉換類型DCT2xDCT2以外的1bin的前綴部、及表示其他的轉換類型的2bin的後綴部，而做逆2值化。
又，適用此方法6的逆2值化時，亦可在bin列的各bin，以上述的方法0乃至方法5的任一個的方法來分配上下文而做解碼。
例如圖36的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數ctx(索引ctxInc)，亦即固定的(對應於1對1的)上下文變數ctx而做上下文解碼，對於其bin列的第2bin及第3bin進行旁路解碼(方法1-1)。
圖36的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文解碼，第2bin及第3bin(binIdx = 1...2)係分別被旁路解碼(bypass)。
又，例如圖36的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin及第2bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於其bin列的第3bin進行旁路解碼(方法1-2)。
圖36的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被旁路解碼(bypass)。
進一步，例如圖36的C所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin乃至第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼(方法1-3)。
圖36的C的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)係被分配索引ctxInc = A0而做上下文解碼，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼。
此外，在圖36的各表中，在索引A0，B1，B2，係設定有不重複的獨特的值。
該等的各方法的上下文數、上下文編碼bin數、旁路編碼bin數、及最壞的情況時的bin長度，係與編碼的情況(圖37)同樣。
如此，方法6-1乃至方法6-3的哪個的情況皆可解碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法6，可使最壞的情況時的bin長度減低，進一步，藉由適用方法1，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法6-1乃至方法6-3的哪個的情況皆可使解碼所必要的上下文編碼bin數比方法0的情況更減低。亦即，藉由適用方法6，可使最壞的情況時的bin長度減低，進一步，藉由適用方法1，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
此外，對於方法6，藉由取代方法1而組合其他的方法(例如方法2乃至方法5的任一個)，可組合方法6的效果及該等的方法的效果。因此，哪個的情況皆可抑制記憶體使用量或處理量(throughput)的增大。
如以上般，藉由適用方法6，可抑制解碼處理的負荷的增大。
＜7-3.編碼側＞ ＜構成＞ 接著，說明有關編碼側。此情況的編碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像編碼裝置100，係具有與參照圖6說明的構成同樣的構成。又，此情況的編碼部115，係具有與參照圖7說明的構成同樣的構成
＜編碼處理的流程＞ 又，此情況的影像編碼裝置100，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像編碼裝置100來執行的影像編碼處理，係以和參照圖8的流程圖說明的情況同樣的流程進行。
參照圖38的流程圖說明藉由此情況的編碼部115來執行之，將適應正交轉換識別元予以編碼的編碼處理的流程的例子。
一旦編碼處理開始，則編碼部115的2值化部131，係於步驟S501中，將適應正交轉換識別元mts_idx予以2值化成藉由表示是否為轉換類型DCT2xDCT2以外的1bin(1位元)及表示其他的轉換類型的2bin(2位元)所構成的bin列。
步驟S502乃至步驟S508的各處理，係與圖9的步驟S132乃至步驟S138的各處理同樣地被執行。
藉由如此地執行各處理，編碼部115可適用方法6來將適應正交轉換識別元予以2值化，適用方法1(例如方法1-1乃至方法1-3的任一個)來將其bin列予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜7-4.解碼側＞ ＜構成＞ 接著，說明有關解碼側。此情況的解碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像解碼裝置200，係具有與參照圖10說明的構成同樣的構成。又，此情況的解碼部212，係具有與參照圖11說明的構成同樣的構成。
＜解碼處理的流程＞ 又，此情況的影像解碼裝置200，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像解碼裝置200來執行的影像解碼處理，係以和參照圖12的流程圖說明的情況同樣的流程進行。
參照圖39的流程圖說明藉由此情況的解碼部212來執行之，將適應正交轉換識別元的編碼資料予以解碼的解碼處理的流程的例子。
在此解碼處理中，步驟S521乃至步驟S526的各處理，係與圖13的步驟S231乃至步驟S236的各處理同樣地被執行。
在步驟S527中，逆2值化部235，係將藉由表示是否為轉換類型DCT2xDCT2以外的1bin(1位元)及表示其他的轉換類型的2bin(2位元)所構成的bin列予以逆2值化，導出適應正交轉換識別元mts_idx。
於步驟S528中，解碼部212，係判定是否結束適應正交轉換識別元mts_idx的解碼。當被判定成不結束時，處理回到步驟S523，重複以後的處理。又，於步驟S528中，當被判定成結束時，解碼處理結束。
藉由如此執行各處理，解碼部212可適用方法1(例如方法1-1乃至方法1-3的任一個)來將適應正交轉換識別元的編碼資料予以解碼，導出其bin列。又，解碼部212，係可適用方法6來將其bin列予以逆2值化，導出適應正交轉換識別元。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜8.第7實施形態＞ ＜8-1.轉換略過旗標及適應正交轉換識別元的編碼＞ 非專利文獻1記載的方法的情況，表示是否適用轉換略過的轉換略過旗標transform_skip_flag或適應正交轉換識別元tu_mits_idx為亮度限定(4：2：0格式限定)。
於是，色度陣列類型為比1大的情況(亦即色差格式為4：2：2或4：4：4的情況)，即使在色差成分中，也以能夠適用轉換略過或適應正交轉換的方式，按每個組件ID(cIdx)，將轉換略過旗標或適應正交轉換識別元予以傳訊(編碼･解碼)(方法7)。
將該情況的轉換套組(transform_unit)的語法的例子顯示於圖40。如圖40所示般，如由此語法之上第17行、第20行、第23行(灰地的行)所示般，按每個亮度(Y)、色差(Cb)、色差(Cr)，傳訊轉換模式(transform_mode)。將此情況的轉換模式(transform_mode)的語法的例子顯示於圖41。如圖41所示般，在由此語法之上第5行(灰地的行)，傳訊轉換略過旗標transform_skip_flag[x0][y0] [cIdx]。並且，在由此語法之上第8行(灰地的行)，傳訊適應正交轉換識別元tu_mts_idx[x0][y0][cIdx]。亦即，轉換略過旗標及適應正交轉換識別元會按每個組件ID(cIdx)被傳訊。
藉由如此，對於資訊量比色差格式4：2：0更多的色差格式4：2：2或4：4：4的色差，可抑制適應正交轉換的適用。因此，可抑制編碼效率的降低。
然後，在該情況中，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin(binIdx = 0)，按照轉換區塊的組件ID(cIdx)是否為0來分配上下文變數ctx，而做上下文編碼。
例如圖42的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin進行旁路編碼(方法7-1)。
圖42的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文編碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文編碼。又，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路編碼(bypass)。
又，例如圖42的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin，分配被預定之所定的上下文變數(索引ctxInc)而做上下文編碼，對於第3bin及第4bin進行旁路編碼(方法7-2)。
圖42的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文編碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文編碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼。進一步，第3bin及第4bin(binIdx = 2...3)係分別被旁路編碼(bypass)。
進一步，例如圖43的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼，對於第4bin進行旁路編碼(方法7-3)。
圖43的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文編碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文編碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼。進一步，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼。又，第4bin(binIdx = 3)係被旁路編碼(bypass)。
又，例如圖43的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文編碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文編碼(方法7-4)。
圖43的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文編碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文編碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文編碼。進一步，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文編碼。又，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文編碼。
此外，在圖42及圖43的各表中，在索引A0，A1，B1，B2，B3係設定有不重複的獨特的值。
將該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數的例子顯示於圖44的表。例如，方法0的情況，上下文數為9，上下文編碼bin數為4，旁路編碼bin數為0。相對於此，方法7-1的情況，上下文數成為2，上下文編碼bin數成為1，旁路編碼bin數成為3。又，方法7-2的情況，上下文數成為3，上下文編碼bin數成為2，旁路編碼bin數成為2。又，方法7-3的情況，上下文數成為4，上下文編碼bin數成為3，旁路編碼bin數成為1。又，方法7-4的情況，上下文數成為5，上下文編碼bin數成為4，旁路編碼bin數成為0。
如此，方法7-1乃至方法7-4的哪個的情況皆可使編碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法7，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法7-1乃至方法7-3的哪個的情況皆可使編碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法7-4的情況，編碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法7，可對於對應於選擇率比較低的轉換類型之bin適用旁路編碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
而且，如上述般，對於資訊量比色差格式4：2：0更多的色差格式4：2：2或4：4：4的色差，可控制適應正交轉換的適用。因此，可抑制編碼效率的降低。
如以上般，藉由適用方法7，可抑制編碼處理的負荷的增大。
此外，亦可取代色組件ID(cIdx)，按每個treeType，將轉換略過或適應正交轉換的控制參數予以傳訊(編碼)。亦即，只要將各控制參數的[cIdx]置換成[treeType]即可。
又，對於上述的適應正交轉換識別元mts_idx的bin列的各bin之上下文變數的分配方法，在與正交轉換等關聯的其他的語法要素也可適用。例如，對於次級轉換識別元st_idx或轉換略過旗標ts_flag也可適用。
＜8-2.轉換略過旗標及適應正交轉換識別元的解碼＞ 解碼的情況也同樣第，色度陣列類型比1更大的情況(亦即，色差格式為4：2：2或4：4：4的情況)，即使在色差成分中，也以能夠適用轉換略過或適應正交轉換的方式，按每個組件ID(cIdx)，將轉換略過旗標或適應正交轉換識別元予以傳訊(解碼)(方法7)。
將該情況的轉換套組(transform_unit)的語法的例子顯示於圖40。如圖40所示般，如由此語法之上第17行、第20行、第23行(灰地的行)所示般，按每個亮度(Y)、色差(Cb)、色差(Cr)，傳訊轉換模式(transform_mode)。將此情況的轉換模式(transform_mode)的語法的例子顯示於圖41。如圖41所示般，在由此語法之上第5行(灰地的行)，傳訊轉換略過旗標transform_skip_flag[x0][y0] [cIdx]。並且，在由此語法之上第8行(灰地的行)，傳訊適應正交轉換識別元tu_mts_idx[x0][y0][cIdx]。亦即，轉換略過旗標及適應正交轉換識別元會按每個組件ID(cIdx)被傳訊。
藉由如此，即使對於資訊量比色差格式4：2：0更多的色差格式4：2：2或4：4：4的色差，也可控制逆適應正交轉換的適用。因此，可抑制編碼效率的降低。
然後，在該情況中，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin(binIdx = 0)，按照轉換區塊的組件ID(cIdx)是否為0來分配上下文變數ctx，而做上下文解碼。
例如圖42的A所示的表般，亦可對於被2值化的適應正交轉換識別元的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin進行旁路解碼(方法7-1)。
圖42的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文解碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin乃至第4bin(binIdx = 1...3)係分別被旁路解碼(bypass)。
又，例如圖42的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin，分別被預定之所定的上下文變數(索引ctxInc)而做上下文解碼，對於第3bin及第4bin進行旁路解碼(方法7-2)。
圖42的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文解碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼。進一步，第3bin及第4bin(binIdx = 2...3)係分別被旁路解碼(bypass)。
進一步，例如圖43的A所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin及第3bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼，對於第4bin進行旁路解碼(方法7-3)。
圖43的A的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文解碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼。進一步，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼。又，第4bin(binIdx = 3)係被旁路解碼(bypass)。
又，例如圖43的B所示的表般，亦可對於將適應正交轉換識別元予以2值化後的bin列的第1bin，按照轉換區塊的組件ID(cIdx)是否為0((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)而做上下文解碼，對於其bin列的第2bin乃至第4bin，分配被預定之彼此相異的上下文變數(索引ctxInc)而做上下文解碼(方法7-4)。
圖43的B的例子的情況，適應正交轉換識別元的bin列的第1bin(binIdx = 0)，當轉換區塊的組件ID(cIdx)為0時(cIdx == 0)，被分配索引ctxInc = A0而做上下文解碼，當轉換區塊的組件ID(cIdx)不為0時(cIdx ＞ 0)，被分配索引ctxInc = A1而做上下文解碼。又，第2bin(binIdx = 1)係被分配索引ctxInc = B1而做上下文解碼。進一步，第3bin(binIdx = 2)係被分配索引ctxInc = B2而做上下文解碼。又，第4bin(binIdx = 3)係被分配索引ctxInc = B3而做上下文解碼。
此外，在圖42及圖43的各表中，在索引A0， A1，B1，B2，B3，係設定有不重複的獨特的值。
該等的各方法的上下文數、上下文編碼bin數、及旁路編碼bin數，係與編碼的情況(圖44)同樣。
如此，方法7-1乃至方法7-4的哪個的情況皆可使解碼所必要的上下文數比方法0的情況更減低。亦即，藉由適用方法7，可使分配於第1bin(binIdx = 0)的上下文數減低。因此，可抑制記憶體使用量的增大。
又，方法7-1乃至方法7-3的哪個的情況皆可使解碼所必要的上下文編碼bin數比方法0的情況更減低。此外，方法7-4的情況，解碼所必要的上下文編碼bin數，係與方法0的情況同等。亦即，藉由適用方法7，可對於對應於選擇率比較低的轉換類型之bin適用旁路解碼。因此，可一邊抑制編碼效率的降低，一邊抑制上下文編碼bin的數量的增大，可抑制處理量(throughput)的增大。
而且，如上述般，對於資訊量比色差格式4：2：0更多的色差格式4：2：2或4：4：4的色差，可控制逆適應正交轉換的適用。因此，可抑制編碼效率的降低。
如以上般，藉由適用方法7，可抑制解碼處理的負荷的增大。
此外，亦可取代色組件ID(cIdx)，按每個treeType，將轉換略過或適應正交轉換的控制參數予以傳訊(解碼)。亦即，只要將各控制參數的[cIdx]置換成[treeType]即可。
又，對於上述的適應正交轉換識別元mts_idx的bin列的各bin之上下文變數的分配方法，在與正交轉換等關聯的其他的語法要素也可適用。例如，對於次級轉換識別元st_idx或轉換略過旗標ts_flag也可適用。
＜8-3.編碼側＞ ＜構成＞ 接著，說明有關編碼側。此情況的編碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像編碼裝置100，係具有與參照圖6說明的構成同樣的構成。又，此情況的編碼部115，係具有與參照圖7說明的構成同樣的構成。
＜編碼處理的流程＞ 又，此情況的影像編碼裝置100，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像編碼裝置100來執行的影像編碼處理，係以和參照圖8的流程圖說明的情況同樣的流程進行。
參照圖45的流程圖說明藉由此情況的編碼部115來執行之，將適應正交轉換識別元予以編碼的編碼處理的流程的例子。
在此編碼處理中，步驟S551及步驟S552的各處理，係與圖9的步驟S131及步驟S132的各處理同樣地被執行。亦即，此情況，選擇部132，係選擇上下文設定部133作為其bin的供給去處(亦即選擇上下文編碼)。例如，選擇部132，係按照圖42及圖43所示的表的任一個(亦即適用方法7-1乃至方法7-4的任一個)，選擇上下文編碼作為此bin的編碼方法。
在步驟S553中，上下文設定部133，係對於其bin，按照組件是否為亮度(Y)((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)。
例如，當組件為亮度(Y)時(cIdx == 0)，上下文設定部133，係對於其bin，分配索引ctxInc = A0。又，當組件不為亮度(Y)時(cIdx ＞ 0)，上下文設定部133，係對於其bin，分配索引ctxInc = A1。
然後，上下文編碼部134，係利用該上下文變數來進行算術編碼。亦即，進行上下文編碼。
步驟S554乃至步驟S558的各處理，係與圖9的步驟S134乃至步驟S138的各處理同樣地被執行。於步驟S558中，當被判定成結束時，則編碼處理結束。
藉由如此執行各處理，編碼部115可適用方法7(例如方法7-1乃至方法7-4的任一個)來將適應正交轉換識別元予以編碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制編碼處理的負荷的增大。
＜8-4.解碼側＞ ＜構成＞ 接著，說明有關解碼側。此情況的解碼側的構成，係與第1實施形態的情況同樣。亦即，此情況的影像解碼裝置200，係具有與參照圖10說明的構成同樣的構成。又，此情況的解碼部212，係具有與參照圖11說明的構成同樣的構成。
＜解碼處理的流程＞ 又，此情況的影像解碼裝置200，係進行與第1實施形態的情況基本上同樣的處理。亦即，藉由此情況的影像解碼裝置200來執行的影像解碼處理，係以和參照圖12的流程圖說明的情況同樣的流程進行。
參照圖46的流程圖說明藉由此情況的解碼部212來執行之，將適應正交轉換識別元的編碼資料予以解碼的解碼處理的流程的例子。
在此解碼處理中，步驟S571的處理，係與圖13的步驟S231的處理同樣地被執行。亦即，此情況，選擇部231，係選擇上下文設定部232作為其bin的供給去處(亦即選擇上下文解碼)。例如，選擇部231，係按照圖42及圖43所示的表的任一個(亦即適用方法7-1乃至方法7-4的任一個)，選擇上下文解碼作為此bin的解碼方法。
在步驟S572中，上下文設定部232，係對於其bin，按照組件是否為亮度(Y)((cIdx == 0)?)來分配上下文變數ctx(索引ctxInc)。
例如，當組件為亮度(Y)時(cIdx == 0)，上下文設定部232，係於其bin，分配索引ctxInc = A0。又，當組件不為亮度(Y)時(cIdx ＞ 0)，上下文設定部232，係對於其bin，分配索引ctxInc = A1。
然後，上下文解碼部233，係使用該上下文變數來進行算術解碼。亦即，進行上下文解碼。
步驟S573乃至步驟S578的各處理，係與圖13的步驟S233乃至步驟S238的各處理同樣地被執行。於步驟S578中，當被判定成結束時，則解碼處理結束。
藉由如此執行各處理，解碼部212可適用方法7(例如方法7-1乃至方法7-4的任一個)來將適應正交轉換識別元的編碼資料予以解碼。因此，可抑制記憶體使用量的增大。又，可抑制處理量(throughput)的增大。亦即，可抑制解碼處理的負荷的增大。
＜9.附記＞ ＜組合＞ 以上的各實施形態中所說明的本技術，係只要不產生矛盾，都可與其他任意之實施形態中所說明的本技術做組合而適用。
＜電腦＞ 上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖47係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖47所示的電腦800中，CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803，係透過匯流排804而被彼此連接。
匯流排804，係還連接著輸出入介面810。輸出入介面810上係連接有：輸入部811、輸出部812、記憶部813、通訊部814、及驅動機815。
輸入部811，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部812係由例如顯示器、揚聲器、輸出端子等所成。記憶部813，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部814係由例如網路介面所成。驅動機815係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。
在如以上構成的電腦中，藉由CPU801而例如將記憶部813中所記憶之程式，透過輸出入介面810及匯流排804，而載入至RAM803裡並加以執行，就可進行上述一連串處理。RAM803中，還適宜地記憶著CPU801在執行各種處理時所必需的資料等。
電腦所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體821中而適用。此情況下，程式係藉由將可移除式媒體821裝著至驅動機815，就可透過輸出入介面810，安裝至記憶部813。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部814而接收之，並安裝至記憶部813。
除此以外，該程式係可事前安裝在ROM802或記憶部813中。
＜資訊、處理的單位＞ 於以上所說明的各種資訊所被設定的資料單位、或各種處理之對象的資料單位，係分別為任意，並非限定於上述的例子。例如，這些資訊或處理係亦可分別對每一TU(Transform Unit)、TB(Transform Block)、PU(Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU (Largest Coding Unit)、子區塊、區塊、瓷磚、切片、圖像、序列、或組件而被設定，亦可以這些資料單位之資料為對象。當然，該資料單位，係可按照每一資訊或處理而被設定，並不一定要所有的資訊或處理之資料單位都是統一的。此外，這些資訊的儲存場所係為任意，亦可被儲存在上述的資料單位之標頭或參數集等。又，亦可被儲存在複數地點。
＜控制資訊＞ 以上的各實施形態中所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將表示上述的本技術之適用對象(或非適用對象)的控制資訊(例如present_flag)，予以傳輸。例如，亦可將用來指定適用本技術(或者是許可或禁止適用)的區塊尺寸(上限或下限、或其雙方)、畫格、分量、或層等的控制資訊，予以傳輸。
＜本技術的適用對象＞ 本技術係可適用於任意的影像編碼、解碼方式。亦即，只要不與上述的本技術產生矛盾，則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等，關於影像編碼、解碼之各種處理的規格係為任意，並非限定於上述的例子。又，只要不與上述的本技術產生矛盾，亦可省略這些處理之中的一部分。
又，本技術係可適用於，將含有複數視點(view)之影像的多視點影像影像進行編碼、解碼的多視點影像編碼、解碼系統。此情況下，只要於各視點(view)的編碼、解碼中，適用本技術即可。
甚至，本技術係可適用於，針對所定之參數具有可調性(scalability)機能地而被複數層化(階層化)的階層影像進行編碼、解碼的階層影像編碼(可調式編碼)、解碼系統。此情況下，只要於各階層(layer)的編碼、解碼中，適用本技術即可。
又，以上作為本技術之適用例雖然說明了影像編碼裝置100及影像解碼裝置200，但本技術係可適用於任意之構成。
例如，本技術係可應用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等，各式各樣的電子機器。
又例如，本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等，作為裝置的部分構成而實施。
又例如，本技術係亦可對由複數裝置所構成的網路系統做適用。例如，亦可將本技術，透過網路而分擔給複數台裝置，以共同進行處理的雲端運算的方式，來加以實施。例如，亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端，提供影像(動態影像)的相關之服務的雲端服務中，實施本技術。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
＜可適用本技術的領域、用途＞ 適用了本技術的系統、裝置、處理部等係可利用於例如：交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又，其用途也為任意。
例如，本技術係可是用於，供作觀賞用內容等之提供之用的系統或裝置。又例如，本技術係亦可適用於交通狀況之監理或自動駕駛控制等，供作交通之用的系統或裝置。甚至例如，本技術係亦可適用於供作安全之用的系統或裝置。又例如，本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如，本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又，本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如，本技術係亦可適用於供作運動之用的系統或裝置。
＜其他＞ 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又，例如，上述的程式，係亦可於任意的裝置中被執行。此情況下，只要讓該裝置，具有必要的機能(機能區塊等)，能夠獲得必要的資訊即可。
又，例如，1個流程圖的各步驟，亦可由1個裝置來執行，也可由複數裝置來分擔而執行。甚至，1個步驟中包含有複數個處理的情況下，該複數個處理亦可由1個裝置來執行，也可由複數裝置來分擔而執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
又，例如，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
又，例如，本技術所相關之複數個技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。
此外，本技術係亦可採取如以下之構成。 (1)一種影像處理裝置，其特徵係具備：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼之編碼部。 (2)如(1)記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin乃至第4bin，分配被預定之彼此相異的上下文變數而做上下文編碼。 (3)如(1)記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin乃至第3bin，分配被預定之彼此相異的上下文變數而做上下文編碼，對於前述bin列的第4bin進行旁路編碼。 (4)如(1)記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin及第2bin，分配被預定之彼此相異的上下文變數而做上下文編碼，對於前述bin列的第3bin及第4bin進行旁路編碼。 (5)如(1)記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼，對於前述bin列的第2bin乃至第4bin進行旁路編碼。 (6)如(1)乃至(5)的任一個記載的影像處理裝置，其中，前述編碼部，係將前述適應正交轉換識別元予以2值化成bin列而做編碼，該bin列係藉由表示是否為轉換類型DCT2xDCT2以外的1位元及表示其他的轉換類型的2位元所構成。 (7)一種影像處理方法，其特徵為： 對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼。
(8)一種影像處理裝置，其特徵係具備：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼之編碼部。 (9)如(8)記載的影像處理裝置，其中，有關前述區塊尺寸的參數為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差。 (10)如(8)記載的影像處理裝置，其中，有關前述區塊尺寸的參數為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差、及所定的閾值之中的最小值。 (11)如(8)記載的影像處理裝置，其中，有關前述區塊尺寸的參數為：將轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值予以右位元移位後的結果。 (12)如(8)記載的影像處理裝置，其中，前述編碼部，係分配對應於有關前述區塊尺寸的參數是否為所定的閾值以上的上下文變數而做上下文編碼。 (13)如(8)乃至(12)的任一個記載的影像處理裝置，前述編碼部，係將前述適應正交轉換識別元予以2值化而編碼，該bin列係藉由表示是否為轉換類型DCT2xDCT2以外的1位元及表示其他的轉換類型的2位元所構成。 (14)如(8)記載的影像處理裝置，其中，前述編碼部，係按每個組件，將前述適應正交轉換識別元予以2值化而編碼。 (15)一種影像處理方法，其特徵為：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
100:影像編碼裝置 115:編碼部 131:2值化部 132:選擇部 133:上下文設定部 134:上下文編碼部 135:旁路編碼部 200:影像解碼裝置 212:解碼部 231:選擇部 232:上下文設定部 233:上下文解碼部 234:旁路解碼部 235:逆2值化部
[圖1]說明適應正交轉換識別元的編碼的樣子的例子的圖。 [圖2]說明適應正交轉換識別元的編碼的樣子的例子的圖。 [圖3]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖4]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖5]表示各方法的、上下文數、上下文編碼bin數、及旁路編碼bin數的比較例的圖。 [圖6]表示影像編碼裝置的主要的構件例的區塊圖。 [圖7]表示編碼部的主要的構件例的區塊圖。 [圖8]表示影像編碼處理的流程的例子的流程圖。 [圖9]表示編碼處理的流程的例子的流程圖。 [圖10]表示影像解碼裝置的主要的構件例的區塊圖。 [圖11]表示解碼部的主要的構件例的區塊圖。 [圖12]表示影像解碼處理的流程的例子的流程圖。 [圖13]表示解碼處理的流程的例子的流程圖。 [圖14]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖15]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖16]表示各方法的、上下文數、上下文編碼bin數、及旁路編碼bin數的比較例的圖。 [圖17]表示編碼處理的流程的例子的流程圖。 [圖18]表示解碼處理的流程的例子的流程圖。 [圖19]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖20]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖21]表示各方法的、上下文數、上下文編碼bin數、及旁路編碼bin數的比較例的圖。 [圖22]表示編碼處理的流程的例子的流程圖。 [圖23]表示解碼處理的流程的例子的流程圖。 [圖24]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖25]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖26]表示各方法的、上下文數、上下文編碼bin數、及旁路編碼bin數的比較例的圖。 [圖27]表示編碼處理的流程的例子的流程圖。 [圖28]表示解碼處理的流程的例子的流程圖。 [圖29]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖30]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖31]表示編碼區塊的面積對於CTU的面積的比的例子的圖。 [圖32]表示各方法的、上下文數、上下文編碼bin數、及旁路編碼bin數的比較例的圖。 [圖33]表示編碼處理的流程的例子的流程圖。 [圖34]表示解碼處理的流程的例子的流程圖。 [圖35]表示適應正交轉換識別元的2值化的樣子的例子的圖。 [圖36]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖37]表示各方法的、上下文數、上下文編碼bin數、及旁路編碼bin數的比較例的圖。 [圖38]表示編碼處理的流程的例子的流程圖。 [圖39]表示解碼處理的流程的例子的流程圖。 [圖40]表示有關轉換套組的語法的例子的圖。 [圖41]表示有關正交轉換模式的語法的例子的圖。 [圖42]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖43]表示對於適應正交轉換識別元的bin列的各bin之上下文變數的分配的例子的圖。 [圖44]表示各方法的、上下文數、上下文編碼bin數、及旁路編碼bin數的比較例的圖。 [圖45]表示編碼處理的流程的例子的流程圖。 [圖46]表示解碼處理的流程的例子的流程圖。 [圖47]表示電腦的主要的構成例的區塊圖。

Claims (15)

  1. 一種影像處理裝置，其特徵係具備：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼之編碼部。
  2. 如請求項1所記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin乃至第4bin，分配被預定之彼此相異的上下文變數而做上下文編碼。
  3. 如請求項1所記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin乃至第3bin，分配被預定之彼此相異的上下文變數而做上下文編碼，對於前述bin列的第4bin進行旁路編碼。
  4. 如請求項1所記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin及第2bin，分配被預定之彼此相異的上下文變數而做上下文編碼，對於前述bin列的第3bin及第4bin進行旁路編碼。
  5. 如請求項1所記載的影像處理裝置，其中，前述編碼部，係對於前述bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼，對於前述bin列的第2bin乃至第4bin進行旁路編碼。
  6. 如請求項1所記載的影像處理裝置，其中，前述編碼部，係將前述適應正交轉換識別元予以2值化成bin列而做編碼，該bin列係藉由表示是否為轉換類型DCT2xDCT2以外的1位元及表示其他的轉換類型的2位元所構成。
  7. 一種影像處理方法，其特徵為： 對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，分配被預定之所定的上下文變數而做上下文編碼。
  8. 一種影像處理裝置，其特徵係具備：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼之編碼部。
  9. 如請求項8所記載的影像處理裝置，其中，有關前述區塊尺寸的參數為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差。
  10. 如請求項8所記載的影像處理裝置，其中，有關前述區塊尺寸的參數為：轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值。
  11. 如請求項8所記載的影像處理裝置，其中，有關前述區塊尺寸的參數為：將轉換區塊的長邊的對數值與可適用適應正交轉換的最小轉換區塊尺寸的對數值的差及所定的閾值之中的最小值予以右位元移位後的結果。
  12. 如請求項8所記載的影像處理裝置，其中，前述編碼部，係分配對應於有關前述區塊尺寸的參數是否為所定的閾值以上的上下文變數而做上下文編碼。
  13. 如請求項8所記載的影像處理裝置，其中，前述編碼部，係將前述適應正交轉換識別元予以2值化而編碼，該bin列係藉由表示是否為轉換類型DCT2xDCT2以外的1位元及表示其他的轉換類型的2位元所構成。
  14. 如請求項8所記載的影像處理裝置，其中，前述編碼部，係按每個組件，將前述適應正交轉換識別元予以2值化而編碼。
  15. 一種影像處理方法，其特徵為：對於將表示影像編碼的適應正交轉換的模式之適應正交轉換識別元予以2值化後的bin列的第1bin，根據有關區塊尺寸的參數分配上下文變數而做上下文編碼。
TW109119492A 2019-06-19 2020-06-10 影像處理裝置及方法 TW202116067A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962863396P 2019-06-19 2019-06-19
US62/863,396 2019-06-19

Publications (1)

Publication Number Publication Date
TW202116067A true TW202116067A (zh) 2021-04-16

Family

ID=74037231

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109119492A TW202116067A (zh) 2019-06-19 2020-06-10 影像處理裝置及方法

Country Status (7)

Country Link
US (3) US11973948B2 (zh)
EP (1) EP3989563A4 (zh)
JP (2) JP7494850B2 (zh)
KR (1) KR20220021486A (zh)
CN (1) CN113940072A (zh)
TW (1) TW202116067A (zh)
WO (1) WO2020255578A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924471B2 (en) * 2020-11-12 2024-03-05 Qualcomm Incorporated Context-based transform index signaling in video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0506394A2 (en) * 1991-03-29 1992-09-30 Sony Corporation Coding apparatus for digital signals
JP3185413B2 (ja) * 1992-11-25 2001-07-09 ソニー株式会社 直交変換演算並びに逆直交変換演算方法及びその装置、ディジタル信号符号化及び／又は復号化装置
JP2003319391A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
EP1478190B1 (en) * 2002-04-26 2013-01-02 NTT DoCoMo, Inc. Image encoding device, image encoding method, and image encoding program
JP3679083B2 (ja) * 2002-10-08 2005-08-03 株式会社エヌ・ティ・ティ・ドコモ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP4856954B2 (ja) * 2005-06-08 2012-01-18 パナソニック株式会社 画像符号化装置
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
CN103119849B (zh) * 2010-04-13 2017-06-16 弗劳恩霍夫应用研究促进协会 概率区间分割编码器和译码器
US8913666B2 (en) * 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
JP5664762B2 (ja) * 2011-03-17 2015-02-04 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
WO2016203881A1 (ja) * 2015-06-18 2016-12-22 シャープ株式会社 算術復号装置及び算術符号化装置
CN108028930A (zh) * 2015-09-10 2018-05-11 三星电子株式会社 编码设备、解码设备及其编码方法和解码方法
US10595046B2 (en) * 2016-05-13 2020-03-17 Sony Corporation Image processing apparatus and method
EP3270595A1 (en) * 2016-07-15 2018-01-17 Thomson Licensing Method and apparatus for last coefficient coding for adaptive transform based video compression
US10827186B2 (en) * 2016-08-25 2020-11-03 Intel Corporation Method and system of video coding with context decoding and reconstruction bypass
EP3522533A4 (en) * 2016-09-30 2019-09-11 Sony Corporation IMAGE PROCESSING APPARATUS AND METHOD
US10554977B2 (en) * 2017-02-10 2020-02-04 Intel Corporation Method and system of high throughput arithmetic entropy coding for video coding
US11665367B2 (en) * 2018-03-30 2023-05-30 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
US20220201305A1 (en) 2022-06-23
WO2020255578A1 (ja) 2020-12-24
JP7494850B2 (ja) 2024-06-04
EP3989563A1 (en) 2022-04-27
EP3989563A4 (en) 2022-12-07
US20240236323A1 (en) 2024-07-11
KR20220021486A (ko) 2022-02-22
US20240171746A1 (en) 2024-05-23
JPWO2020255578A1 (zh) 2020-12-24
US11973948B2 (en) 2024-04-30
JP2024097083A (ja) 2024-07-17
CN113940072A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
WO2021125309A1 (ja) 画像処理装置および方法
TW202013957A (zh) 影像處理裝置及方法
US20210021870A1 (en) Image processing apparatus and method
WO2021039650A1 (ja) 画像処理装置および方法
US20240236323A1 (en) Image processing device and method
US20240323408A1 (en) Image processing device and method
JP2024105675A (ja) 画像処理装置および方法
JP7559917B2 (ja) 画像処理装置および方法
US20210385456A1 (en) Image processing apparatus and method
JP2022002352A (ja) 画像処理装置および方法
WO2021117500A1 (ja) 画像処理装置、ビットストリーム生成方法、係数データ生成方法、および量子化係数生成方法
JP7484923B2 (ja) 画像処理装置および方法
WO2021117866A1 (ja) 画像処理装置および方法
US20230045106A1 (en) Image processing apparatus and method
US20220086489A1 (en) Image processing apparatus and method