TW202127875A - 影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法 - Google Patents

影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法 Download PDF

Info

Publication number
TW202127875A
TW202127875A TW109142354A TW109142354A TW202127875A TW 202127875 A TW202127875 A TW 202127875A TW 109142354 A TW109142354 A TW 109142354A TW 109142354 A TW109142354 A TW 109142354A TW 202127875 A TW202127875 A TW 202127875A
Authority
TW
Taiwan
Prior art keywords
conversion
flag
previous
unit
mode
Prior art date
Application number
TW109142354A
Other languages
English (en)
Inventor
筑波健史
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202127875A publication Critical patent/TW202127875A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露係有關於可抑制編碼效率之降低的影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法。 生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將該影像與該影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；將該已被生成之轉換略過旗標予以編碼，生成該轉換略過旗標之編碼資料，並生成含有該已被生成之轉換略過旗標之編碼資料的位元串流。本揭露係可適用於例如：影像處理裝置、影像編碼裝置、影像解碼裝置、送訊裝置、收訊裝置、收送訊裝置、資訊處理裝置、攝像裝置、再生裝置、位元串流生成方法、係數資料生成方法、或量化係數生成方法等。

Description

影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法
本揭露係有關於影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法，特別是有關於可抑制編碼效率之降低的影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法。
先前，於影像編碼中，將影像與其預測影像之殘差轉換成係數資料的轉換處理予以略過(省略)而進行編碼的方法，已被提出(例如非專利文獻1)。 [先前技術文獻] [非專利文獻]
[非專利文獻1] Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 5)", JVET-N1001-v10, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019
[發明所欲解決之課題]
然而，該非專利文獻1中所記載之方法的情況下，該轉換略過之模式，係只對亮度成分做適用(亮度轉換略過)。亦即，對於色差成分，一直都是無法適用該轉換略過之模式。因此會有降低編碼效率之虞。
本揭露係有鑑於此種狀況而研發，目的在於能夠抑制編碼效率之降低。 [用以解決課題之手段]
本技術之一側面的影像處理裝置，係為一種影像處理裝置，其係具備：旗標生成部，係生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將前記影像與前記影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；和旗標編碼部，係將已被前記旗標生成部所生成之前記轉換略過旗標予以編碼，生成前記轉換略過旗標之編碼資料；和位元串流生成部，係生成含有已被前記旗標編碼部所生成之前記轉換略過旗標之編碼資料的位元串流。
本技術之一側面的位元串流生成方法，係為一種位元串流生成方法，其係生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將前記影像與前記影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；和將已被生成之前記轉換略過旗標予以編碼，生成前記轉換略過旗標之編碼資料；生成含有已被生成之前記轉換略過旗標之編碼資料的位元串流。
本技術之另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：量化參數補正部，係於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示略過將前記影像與前記影像之預測影像的殘差轉換成轉換係數之轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和量化部，係使用已被前記量化參數補正部所補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之量化。
本技術之另一側面的量化係數生成方法，係為一種量化係數生成方法，其係於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示略過將前記影像與前記影像之預測影像的殘差轉換成轉換係數之轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；使用已被補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之量化，生成前記分量識別元所對應之量化係數。
本技術之再另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：旗標解碼部，係將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標；和模式控制部，係基於已被前記旗標解碼部所獲得之前記分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過前記逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式；和係數資料解碼部，係藉由已被前記模式控制部所設定之前記解碼模式，而將前記分量識別元所對應之前記係數資料之前記編碼資料予以解碼，生成前記分量識別元所對應之前記係數資料。
本技術之再另一側面的係數資料生成方法，係為一種係數資料生成方法，其係將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標；基於已被獲得之前記分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過前記逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式；藉由已被設定之前記解碼模式，而將前記分量識別元所對應之前記係數資料之前記編碼資料予以解碼，生成前記分量識別元所對應之前記係數資料。
本技術之再另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：量化參數補正部，係在分量識別元所對應之轉換略過旗標，是表示略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和逆量化部，係使用已被前記量化參數補正部所補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之逆量化。
本技術之再另一側面的係數資料生成方法，係為一種係數資料生成方法，其係在分量識別元所對應之轉換略過旗標，是表示略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；使用已被補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之逆量化，生成前記分量識別元所對應之前記係數資料。
於本技術之一側面的影像處理裝置及位元串流生成方法中，轉換略過旗標係被生成，其係按照每一分量來表示，於影像的編碼中，是否略過將該影像與該影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；該已被生成之轉換略過旗標係被編碼，該轉換略過旗標之編碼資料係被生成，含有該已被生成之轉換略過旗標之編碼資料的位元串流係被生成。
於本技術之另一側面的影像處理裝置及量化係數生成方法中，於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示略過將該影像與該影像之預測影像的殘差轉換成轉換係數之轉換處理之轉換略過的情況下，對該分量識別元所對應之處理對象轉換區塊做適用的量化參數係被補正；該已被補正之量化參數係被使用，該分量識別元所對應之處理對象轉換區塊之量化係被進行，該分量識別元所對應之量化係數係被生成。
於本技術之再另一側面的影像處理裝置及係數資料生成方法中，分量識別元所對應之轉換略過旗標之編碼資料係被解碼，該分量識別元所對應之轉換略過旗標係被獲得；基於該已被獲得之分量識別元所對應之轉換略過旗標，該分量識別元所對應之係數資料之編碼資料之解碼模式，是否要設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過該逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式，係被控制；藉由該已被設定之解碼模式，該分量識別元所對應之係數資料之編碼資料係被解碼，該分量識別元所對應之係數資料係被生成。
於本技術之再另一側面的影像處理裝置及係數資料生成方法中，在分量識別元所對應之轉換略過旗標，是表示略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理之轉換略過的情況下，對該分量識別元所對應之處理對象轉換區塊做適用的量化參數係被補正；該已被補正之量化參數係被使用，該分量識別元所對應之處理對象轉換區塊之逆量化係被進行，該分量識別元所對應之係數資料係被生成。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。 1.支持技術內容、技術用語的文獻等 2.轉換略過 3.第1實施形態(轉換略過之擴充) 4.第2實施形態(量化參數之補正) 5.第3實施形態(上下文變數之共用化) 6.第4實施形態(符號碼的編碼/解碼模式控制) 7.附記
＜1.支持技術內容、技術用語的文獻等＞ 本技術所揭露之範圍，係不只有實施例中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1：(上述) 非專利文獻2：Takeshi Tsukuba, Masaru Ikeda, Yoichi Yagasaki, Teruhiko Suzuki, "CE8: Chroma Transform Skip (CE8-3.2)", JVET-O0081-v2, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻3：Tung Nguyen, Benjamin Bross, Heiko Schwarz, Detlev Marpe, Thomas Wiegand, "Non-CE8: Minimum Allowed QP for Transform Skip Mode", JVET-O0405-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻4：Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6)", JVET-O2002-v2, Joint Video Experts Team (JVET), of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻5：Takeshi Tsukuba, Masaru Ikeda, Yoichi Yagasaki, Teruhiko Suzuki, "CE8-2.1: Transform Skip for Chroma with limiting maximum number of context-coded bin in TS residual coding", JVET-P0058-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019 非專利文獻6：Gordon Clare, Felix Henry, Takeshi Tsukuba, Masaru Ikeda, Yoich Yagasaki, Teruhiko Suzuki, "CE8-4.1: BDPCM and Transform skip for Chroma", JVET-P0059-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019 非專利文獻7：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017 非專利文獻8：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，上述的非專利文獻中所記載之Quad-Tree Block Structure、QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。
又，於本說明書中，作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊)，係在沒有特別言及的情況下，是表示圖像內的任意之部分領域，其大小、形狀、及特性等並無限定。例如，「區塊」中係可包含有：上述的非專利文獻中所記載之TB(Transform Block)、TU(Transform Unit)、PB( Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、轉換區塊、子區塊、巨集區塊、瓷磚、或切片等，任意之部分領域(處理單位)。
又，在指定此種區塊的尺寸時，不只可直接地指定區塊尺寸，亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊，來指定區塊尺寸。又，例如，亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分，來指定區塊尺寸。例如，作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下，作為該資訊，亦可使用如上述的間接指定尺寸的資訊。藉由如此設計，可降低該資訊的資訊量，有時候可以提升編碼效率。又，該區塊尺寸之指定中係包含有，區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
又，於本說明書中，所謂編碼，係不只包含將影像轉換成位元串流的全體之處理，也包含部分之處理。例如，不只包含將預測處理、正交轉換、量化、算術編碼等予以包括的處理，也包含將量化與算術編碼予以總稱的處理、將預測處理與量化與算術編碼予以包括的處理等。同樣地，所謂解碼，係不只包含將位元串流轉換成影像的全體之處理，也包含部分之處理。例如，不只包含將逆算術解碼、逆量化、逆正交轉換、預測處理等予以包括的處理，也包含將逆算術解碼與逆量化予以包括的處理、將逆算術解碼與逆量化與預測處理予以包括的處理等。
＜2.轉換略過＞ ＜亮度成分之轉換略過＞ 先前，在靜止影像及動態影像的編碼中，被輸入至編碼裝置的影像一般係為帶有亮度成分與色彩成分(可包含色差成分)的彩色影像。在如此的影像編碼中，例如，如非專利文獻1中所記載，對於亮度成分，考慮略過(省略)將影像與其預測影像之殘差轉換成係數資料之轉換處理而進行編碼的方法。
然而，對於色彩成分，一直都是無法適用該轉換略過之模式。因此在轉換略過為有效的螢幕內容等中，會有色彩成分之編碼效率降低之虞。
＜轉換略過旗標之擴充＞ 於是，將轉換略過予以擴充，使其可以每一分量地(每一亮度成分或色彩成分地)進行轉換略過之設定，使其不只亮度成分就連對於色彩成分也能夠進行轉換略過。例如，上述的非專利文獻中所記載之影像編碼/解碼方法的情況下，略過之設定，係可藉由轉換略過旗標( transform_skip_flag)來表示。又，分量，係可藉由分量識別元(cIdx)來表示。於是，例如如圖1的表的最上段中所記載的方法1，令該轉換略過旗標之值，對應於分量識別元之值而設定。
例如設計成，於影像處理裝置中，具備：旗標生成部，係生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中是否略過將該影像與該影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；和旗標編碼部，係將已被該旗標生成部所生成之轉換略過旗標予以編碼，生成轉換略過旗標之編碼資料；和位元串流生成部，係生成含有已被該旗標編碼部所生成之該轉換略過旗標之編碼資料的位元串流。
又例如設計成，在生成位元串流之際，會生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將該影像與該影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；將該已被生成之轉換略過旗標予以編碼，生成轉換略過旗標之編碼資料；生成含有該已被生成之轉換略過旗標之編碼資料的位元串流。
藉由如此設計，就可將每一分量的轉換略過之設定，提供給解碼側。因此，在將轉換略過對色彩成分做適用的情況下，解碼側就能將該位元串流正確地解碼。因此，相較於轉換略過只能對亮度成分做適用的情況，可抑制編碼效率的降低。
而且，亦可設計成，於解碼側中可取得該轉換略過旗標。
例如，亦可設計成，於影像處理裝置中，具備：旗標解碼部，係將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得該分量識別元所對應之轉換略過旗標。
又例如設計成，在生成係數資料之際，將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得該分量識別元所對應之轉換略過旗標。
藉由如此設計，在解碼之際，就可將該轉換略過旗標所表示的每一分量的轉換略過之設定做適用。因此，就可將已被適用轉換略過的色彩成分之位元串流，予以正確地解碼。因此，相較於轉換略過只能對亮度成分做適用的情況，可抑制編碼效率的降低。
又，亦可設計成，在影像的編碼之際，基於上述的轉換略過旗標所致之每一分量的轉換略過之設定而控制色彩成分的轉換處理。亦即，亦可設計成，對於色彩成分的轉換處理，可以適用轉換略過。藉由如此設計，相較於轉換略過只能對亮度成分做適用的情況，可抑制編碼效率的降低。
同樣地，亦可設計成，在影像之編碼資料的解碼之際，基於上述的轉換略過旗標所致之每一分量的轉換略過之設定，而控制色彩成分的，將係數資料轉換成影像與預測影像之殘差的逆轉換處理。亦即，亦可設計成，對於色彩成分的逆轉換處理，可以適用轉換略過。藉由如此設計，就可將已被適用轉換略過的色彩成分之位元串流，予以正確地解碼。因此，相較於轉換略過只能對亮度成分做適用的情況，可抑制編碼效率的降低。
此外，如上述，藉由每一分量地進行轉換略過之設定，就可對於色彩成分，與亮度成分獨立地進行轉換略過之設定。因此，可隨應於對色彩成分的轉換略過是否有效，而對色彩成分進行轉換略過之設定。藉由如此設計，相較於把針對亮度成分的轉換略過之設定適用於色彩成分的情況，可抑制編碼效率的降低。
＜編碼模式之控制＞ 又，非專利文獻1中所記載之方法的情況下，隨應於轉換略過之有無，亮度成分之係數資料的編碼模式(解碼模式)會被控制。例如，在進行轉換略過的情況下，是以針對已被轉換略過之係數資料做了最佳化的TS殘差編碼模式來進行亮度成分之係數資料的編碼(以針對已被轉換略過之係數資料做了最佳化的TS殘差解碼模式來進行亮度成分之係數資料之編碼資料的解碼)。相對於此，在不進行轉換略過的情況下，是以針對已被進行過轉換處理的係數資料做了最佳化的非TS殘差編碼模式來進行亮度成分之係數資料的編碼(以針對已被進行過轉換處理的係數資料做了最佳化的非TS殘差解碼模式來進行亮度成分之係數資料之編碼資料的解碼)。
然而，對於色差成分，由於轉換略過未被適用，因此也未進行過此種編碼模式(解碼模式)之控制。因此，如上述般地將轉換略過對色彩成分做適用的情況下，相較於進行此種編碼模式(解碼模式)之控制的情況，會有編碼效率降低之虞。
於是，如上述的方法1般地對色彩成分適用轉換略過的情況下，亦可也適用此種編碼模式(解碼模式)之控制。例如亦可設計成如圖1的表的從上數來第2段所記載之方法1-1所示，於分量的識別元的各值下，在適用轉換略過的情況下，作為編碼模式(解碼模式)是適用TS殘差編碼模式(TS殘差解碼模式)，在不適用轉換略過的情況下(非轉換略過的情況下)，作為編碼模式(解碼模式)是適用非TS殘差編碼模式(非TS殘差解碼模式)。
例如，亦可設計成，基於分量識別元所對應之轉換略過旗標，而控制是否將該分量識別元所對應之係數資料的編碼模式，設成略過轉換處理的情況下所需之模式亦即TS殘差編碼模式，或是設成不略過轉換處理的情況下所需之模式亦即非TS殘差編碼模式；藉由如此所被設定的編碼模式，而將分量識別元所對應之係數資料予以編碼，生成係數資料之編碼資料。
又例如，亦可設計成，基於分量識別元所對應之轉換略過旗標，而控制是否將該分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式；藉由如此所被設定之解碼模式，而將分量識別元所對應之係數資料之編碼資料予以解碼，生成該分量識別元所對應之前記係數資料。
藉由如此設計，可以適用轉換略過之設定所相應之編碼模式(解碼模式)，因此相較於藉由單一之編碼模式(解碼模式)來進行編碼(解碼)的情況，可抑制編碼效率的降低。
＜轉換略過殘差編碼使用旗標＞ 亦可適用，表示TS殘差編碼模式(TS殘差解碼模式)與非TS殘差編碼模式(非TS殘差解碼模式)之選擇的旗標。例如亦可如圖1的表的從上數來第3段中所記載的方法1-1-1所示，適用表示編碼模式之選擇設定的殘差編碼模式選擇旗標(亦稱作轉換略過殘差編碼使用旗標)。
例如，亦可在編碼之際，生成表示是否適用TS殘差編碼模式還是非TS殘差編碼模式的旗標資訊亦即轉換略過殘差編碼使用旗標，並將該轉換略過殘差編碼使用旗標予以編碼，生成含有該轉換略過殘差編碼使用旗標之編碼資料的位元串流。
又，亦可在解碼之際，將該轉換略過殘差編碼使用旗標之編碼資料予以解碼，生成分量識別元所對應之轉換略過殘差編碼使用旗標，基於該分量識別元所對應之轉換略過殘差編碼使用旗標，來控制是否將該分量識別元所對應之係數資料之編碼資料之解碼模式設成TS殘差解碼模式還是非TS殘差解碼模式。
例如，亦可將如此的轉換略過殘差編碼使用旗標，於序列參數等之高層級中進行設定。藉由如此設計，即使是不支援轉換略過的編碼器或解碼器，仍可基於該旗標，正確地進行編碼/解碼。因此，可抑制編碼效率的降低。換言之，於編碼器或解碼器中可省略TS殘差編碼模式(TS殘差解碼模式)的實作，可抑制電路規模的增大。
＜轉換略過殘差編碼使用特定模式旗標＞ 亦可適用，表示在特定的模式下，是否適用TS殘差編碼模式(TS殘差解碼模式)、還是適用非TS殘差編碼模式(非TS殘差解碼模式)的旗標。例如亦可如圖1的表的從上數來第4段中所記載的方法1-1-2所示，適用表示在特定的模式下將編碼模式之選擇設成有效化的旗標(亦稱作轉換略過殘差編碼使用特定模式旗標)。
例如，亦可在編碼之際，生成表示在特定的模式下，是否適用TS殘差編碼模式還是適用非TS殘差編碼模式的旗標資訊亦即轉換略過殘差編碼使用特定模式旗標，並將該轉換略過殘差編碼使用特定模式旗標予以編碼，生成含有該轉換略過殘差編碼使用特定模式旗標之編碼資料的位元串流。
又，亦可在解碼之際，將該轉換略過殘差編碼使用特定模式旗標之編碼資料予以解碼，生成該分量識別元所對應之轉換略過殘差編碼使用特定模式旗標，基於該分量識別元所對應之轉換略過殘差編碼使用特定模式旗標，來控制是否將該分量識別元所對應之係數資料之編碼資料之解碼模式設成TS殘差解碼模式還是非TS殘差解碼模式。
例如，亦可將如此的轉換略過殘差編碼使用特定模式旗標，於序列參數等之高層級中進行設定。藉由如此設計，就可在特定的模式下，進行TS殘差解碼模式與非TS殘差解碼模式的切換。
此外，關於以上的方法1、方法1-1、方法1-1-1、及方法1-1-2，係於第1實施形態中做後述。
＜量化參數之補正＞ 於非專利文獻3中係提出，在適用亮度轉換略過的亮度轉換區塊中，當量化參數QP＜4時，會有PSNR(Peak Signal-to-Noise Ratio)降低之虞，作為其對策，在亮度轉換略過的情況下，將對亮度轉換區塊做適用的量化參數QP，限幅成QP=4或QP=QpPrimeTsMin(最小TSQP)的方法。
於色彩成分中適用轉換略過的情況也同樣地，會有PSNR降低之虞，但先前對於色彩成分不會適用轉換略過，當然也未考慮此點。
於是，例如亦可如圖1的表的從上數來第5段中所記載的方法1-2所示，於分量識別元的各值下，在轉換略過的情況下，將量化參數予以補正。亦即，亦可在適用轉換略過的情況下，將量化參數予以補正。然後，亦可讓如此的控制，可按照每一分量而進行。
例如，亦可設計成，於影像處理裝置中，具備：量化參數補正部，係於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示轉換略過的情況下，將對該分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和量化部，係使用已被該量化參數補正部所補正之量化參數，進行分量識別元所對應之處理對象轉換區塊之量化。
例如，亦可於量化係數生成方法中，係於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示轉換略過的情況下，將對該分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；使用該已被補正之量化參數，進行該分量識別元所對應之處理對象轉換區塊之量化，生成該分量識別元所對應之量化係數。
例如，亦可設計成，於影像處理裝置中，具備：量化參數補正部，係在分量識別元所對應之轉換略過旗標，是表示轉換略過的情況下，將對該分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和逆量化部，係使用已被該量化參數補正部所補正之量化參數，進行分量識別元所對應之處理對象轉換區塊之逆量化。
例如，亦可於係數資料生成方法中，在分量識別元所對應之轉換略過旗標，是表示轉換略過的情況下，將對該分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；使用該已被補正之量化參數，進行該分量識別元所對應之處理對象轉換區塊之逆量化，生成該分量識別元所對應之係數資料。
藉由如此設計，於編碼器或是解碼器、或於其雙方中，可抑制PSNR的降低。
此外，例如亦可於編碼中，在分量識別元所對應之轉換略過旗標是表示轉換略過的情況下，將該轉換略過之最小量化參數與該分量識別元所對應之量化參數之中的值較大者，設定作為要對該分量識別元所對應之處理對象轉換區塊做適用的量化參數；在該分量識別元所對應之轉換略過旗標是表示不進行轉換略過的非轉換略過的情況下，將該分量識別元所對應之量化參數，設定作為要對該分量識別元所對應之處理對象轉換區塊做適用的前記量化參數。
又，例如亦可於解碼中，在分量識別元所對應之轉換略過旗標是表示轉換略過的情況下，將該轉換略過之最小量化參數與該分量識別元所對應之量化參數之中的值較大者，設定作為要對該分量識別元所對應之處理對象轉換區塊做適用的量化參數；在該分量識別元所對應之轉換略過旗標是表示不進行轉換略過的非轉換略過的情況下，將該分量識別元所對應之量化參數，設定作為要對該分量識別元所對應之處理對象轉換區塊做適用的前記量化參數。
藉由如此設計，於編碼器或是解碼器、或於其雙方中，可抑制PSNR的降低。
此外，例如，亦可於解碼中，將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，在該分量識別元所對應之轉換略過旗標是表示轉換略過的情況下，將對該分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正。
藉由如此設計，就可基於已被編碼之分量識別元所對應之轉換略過旗標，來控制量化參數的補正。
關於以上的方法1-2，係於第2實施形態中做後述。
＜上下文變數之共用＞ 又，如上述般地對色彩成分導入轉換略過，將該色彩成分的要適用轉換略過的轉換區塊，以TS殘差編碼模式進行編碼的情況下，若在亮度成分與色彩成分間是使用彼此獨立的上下文變數，就必須新追加色彩成分用的上下文變數，而會導致用來保持上下文變數所需之記憶體的容量增大，而有硬體成本增大之虞。
於是，亦可設計成，例如如圖1的表的從上數來第6段中所記載的方法1-3所示，在轉換略過的情況下，可將各語法的二進位列之各binIdx所對應之上下文變數，在亮度成分與色彩成分間做共用。
例如，亦可設計成，於編碼中，在略過轉換處理的情況下，在係數資料的亮度成分之編碼與色差成分之編碼間，共用該上下文變數。
又，亦可設計成例如，於解碼中，在略過逆轉換處理的情況下，在係數資料的亮度成分之編碼資料的解碼與色差成分之編碼資料的解碼間，共用該上下文變數。
藉由如此設計，就可抑制用來保持上下文變數所需之記憶體大小之增大。藉此，可抑制硬體成本的增大。
關於以上的方法1-3，係於第3實施形態中做後述。
＜符號碼的編碼/解碼模式控制＞ 又，亦可設計成例如如圖1的表的從上數來第7段中所記載的方法1-4所示，相應於分量識別元所對應之轉換略過旗標，來切換符號碼的編碼/解碼方法。
例如亦可設計成如圖1的表的從上數來第8段中所記載的方法1-4-1所示，在非轉換略過的情況下，在符號碼的編碼/解碼中，適用旁路編碼/解碼。
又亦可設計成例如如圖1的表的從上數來第9段中所記載的方法1-4-2所示，在轉換略過的情況下，若殘餘上下文編碼二進位數是閾值以上則在符號碼之編碼/解碼中適用上下文編碼/解碼，若為其以外的情況則在符號碼之編碼/解碼中適用旁路編碼/解碼。
藉由如此設計，可抑制編碼效率的降低。
關於以上的方法1-4、方法1-4-1、及方法1-4-2，係於第4實施形態中做後述。
＜3.第1實施形態＞ ＜3-1.影像編碼裝置＞ 以上說明的本技術，係可適用於任意的裝置、元件、系統等。例如，可對將影像資料進行編碼的影像編碼裝置，適用上述的本技術。
圖2係適用了本技術的影像處理裝置之一態樣的影像編碼裝置之構成之一例的區塊圖。圖2所示的影像編碼裝置100，係為將動態影像之影像資料予以編碼的裝置。例如，影像編碼裝置100，係將上述的非專利文獻之至少任1者中所記載之技術加以實作，以符合這些文獻之任一者所記載之規格的方法，將動態影像之影像資料予以編碼。
此外，於圖2中係主要表示處理部或資料的流向等，圖2所示者並非全部。亦即，於影像編碼裝置100中，亦可存在有於圖2中未以區塊而被表示的處理部，亦可存在有於圖2中未以箭頭等而表示的處理或資料之流向。這在影像編碼裝置100內的處理部等的說明的其他圖中也是同樣如此。
如圖2所示，影像編碼裝置100係具有：控制部101、排序緩衝區111、演算部112、正交轉換部113、量化部114、編碼部115、及積存緩衝區116。又，影像編碼裝置100係具有：逆量化部117、逆正交轉換部118、演算部119、迴圈內濾波器部120、畫格記憶體121、預測部122、及速率控制部123。
＜控制部＞ 控制部101，係基於外部、或預先指定之處理單位之區塊尺寸，而將已被排序緩衝區111所保持的動態影像資料，分割成處理單位之區塊(CU、PU、轉換區塊等)。又，控制部101，係將供給至各區塊的編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)，例如基於RDO(Rate-Distortion Optimization)，而加以決定。例如，控制部101係可設定轉換略過旗標等。
關於這些編碼參數的細節，將於後述。控制部101，係一旦決定了如以上之編碼參數，就將它們供給至各區塊。具體而言，係如以下所述。
標頭資訊Hinfo，係被供給至各區塊。預測模式資訊Pinfo，係被供給至編碼部115和預測部122。轉換資訊Tinfo，係被供給至編碼部115、正交轉換部113、量化部114、逆量化部117、及逆正交轉換部118。濾波器資訊Finfo，係被供給至迴圈內濾波器部120。
＜排序緩衝區＞ 對影像編碼裝置100，係動態影像資料之各圖場(輸入影像)係按照其再生順序(顯示順序)而被輸入。排序緩衝區111，係將各輸入影像依照其再生順序(顯示順序)而加以取得，並保持(記憶)。排序緩衝區111，係基於控制部101之控制，而將該輸入影像排序成編碼順序(解碼順序)，或分割成處理單位之區塊等等。排序緩衝區111，係將處理後的各輸入影像，供給至演算部112。
＜演算部＞ 演算部112，係將從排序緩衝區111所被供給之處理單位之區塊所對應之影像，減去從預測部122所被供給之預測影像P，而導出預測殘差D，並將其供給至正交轉換部113。
＜正交轉換部＞ 正交轉換部113，係將從演算部112所被供給之預測殘差，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，對預測殘差進行正交轉換，導出轉換係數Coeff。正交轉換部113，係將該所得到的轉換係數，供給至量化部114。
＜量化部＞ 量化部114，係將從正交轉換部113所被供給之轉換係數，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而將轉換係數予以比例縮放(量化)。此外，該量化之速率，係被速率控制部123所控制。量化部114，係將如此的量化所得到的量化後的轉換係數(亦稱作量化轉換係數等級)level，供給至編碼部115及逆量化部117。
＜編碼部＞ 編碼部115，係將從量化部114所被供給之量化轉換係數等級、和從控制部101所被供給之各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)、和從迴圈內濾波器部120所被供給之濾波器係數等之濾波器的相關資訊、和從預測部122所被供給之最佳的預測模式的相關資訊，當作輸入。
編碼部115，係對量化轉換係數等級，進行例如CABAC(Context-based Adaptive Binary Arithmetic Code)或CAVLC(Context-based Adaptive Variable Length Code)等之熵編碼(可逆編碼)，生成位元列(編碼資料)。
又，編碼部115，係從該量化轉換係數等級導出殘差資訊Rinfo，將殘差資訊Rinfo予以編碼，生成位元列。
然後，編碼部115，係將從迴圈內濾波器部120所被供給之濾波器的相關資訊含入至濾波器資訊Finfo中，將從預測部122所被供給之最佳的預測模式的相關資訊含入至預測模式資訊Pinfo中。然後，編碼部115，係將上述的各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)予以編碼，生成位元列。
又，編碼部115，係將如以上所被生成的各種資訊之位元列進行多工化，生成編碼資料。編碼部115，係將該編碼資料，供給至積存緩衝區116。
＜積存緩衝區＞ 積存緩衝區116，係將編碼部115中所得到的編碼資料，予以暫時保持。積存緩衝區116，係在所定之時序上，將所保持的編碼資料，例如作為位元串流等而輸出至影像編碼裝置100之外部。例如，該編碼資料，係透過任意之記錄媒體、任意之傳輸媒體、任意之資訊處理裝置等，而被傳輸至解碼側。亦即，積存緩衝區116，係亦為將編碼資料(位元串流)予以傳輸的傳輸部。
＜逆量化部＞ 逆量化部117係進行逆量化的相關處理。例如，逆量化部117，係將從量化部114所被供給之量化轉換係數等級level，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而將量化轉換係數等級之值予以比例縮放(逆量化)。此外，該逆量化，係為在量化部114中所被進行之量化的逆處理。逆量化部117，係將藉由如此的逆量化所得到的轉換係數Coeff_IQ，供給至逆正交轉換部118。此外，逆量化部117，係與解碼側的逆量化部(後述)相同，因此關於逆量化部117，係可適用針對解碼側所做的說明(後述)。
＜逆正交轉換部＞ 逆正交轉換部118，係進行逆正交轉換的相關處理。例如，逆正交轉換部118，係將從逆量化部117所被供給之轉換係數，與從控制部101所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而對轉換係數進行逆正交轉換，導出預測殘差D'。此外，該逆正交轉換，係為在正交轉換部113中所被進行之正交轉換的逆處理。逆正交轉換部118，係將藉由如此的逆正交轉換所得到的預測殘差，供給至演算部119。此外，逆正交轉換部118，係與解碼側的逆正交轉換部(後述)相同，因此關於逆正交轉換部118，係可適用針對解碼側所進行的說明(後述)。
＜演算部＞ 演算部119，係將從逆正交轉換部118所被供給之預測殘差D'、與從預測部122所被供給之預測影像P，當作輸入。演算部119，係將該預測殘差、與該預測殘差所對應之預測影像，進行加算，導出局部解碼影像。演算部119係將已導出之局部解碼影像，供給至迴圈內濾波器部120及畫格記憶體121。
＜迴圈內濾波器部＞ 迴圈內濾波器部120，係進行迴圈內濾波器處理的相關處理。例如，迴圈內濾波器部120，係將從演算部119所被供給之局部解碼影像、和從控制部101所被供給之濾波器資訊Finfo、和從排序緩衝區111所被供給之輸入影像(原影像)，當作輸入。此外，對迴圈內濾波器部120所被輸入的資訊係為任意，亦可輸入這些資訊以外之資訊。例如，亦可因應需要，而把預測模式、運動資訊、編碼量目標值、量化參數QP、圖像類型、區塊(CU、CTU等)之資訊等，輸入至迴圈內濾波器部120。
迴圈內濾波器部120，係基於該濾波器資訊Finfo，而對局部解碼影像適宜地進行濾波器處理。迴圈內濾波器部120，係因應需要而也把輸入影像(原影像)、或該其他輸入資訊，用於該濾波器處理。
例如，迴圈內濾波器部120，係如非專利文獻1所記載，可將雙邊濾波器、去區塊濾波器(DBF( DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器，按此順序而做適用。此外，要適用哪個濾波器，要以何種順序做適用係為任意，可適宜地選擇。
當然，迴圈內濾波器部120所進行的濾波器處理係為任意，不限定於上述的例子。例如，迴圈內濾波器部120係亦可適用維納濾波器等。
迴圈內濾波器部120，係將已被濾波器處理過的局部解碼影像，供給至畫格記憶體121。此外，例如將濾波器係數等之濾波器的相關資訊傳輸至解碼側的情況下，則迴圈內濾波器部120，係將該濾波器的相關資訊，供給至編碼部115。
＜畫格記憶體＞ 畫格記憶體121，係進行關於影像之資料的記憶的相關處理。例如，畫格記憶體121，係將從演算部119所被供給之局部解碼影像、或從迴圈內濾波器部120所被供給之已被濾波器處理過的局部解碼影像，當作輸入，將其予以保持(記憶)。又，畫格記憶體121，係使用該局部解碼影像而將每一圖像單位的解碼影像予以重建，並保持之(儲存至畫格記憶體121內的緩衝區)。畫格記憶體121，係隨應於預測部122之要求，而將該解碼影像(或其一部分)，供給至預測部122。
＜預測部＞ 預測部122，係進行預測影像之生成的相關處理。例如，預測部122，係將從控制部101所被供給之預測模式資訊Pinfo、和從排序緩衝區111所被供給之輸入影像(原影像)、和從畫格記憶體121所讀出之解碼影像(或其一部分)，當作輸入。預測部122，係使用預測模式資訊Pinfo或輸入影像(原影像)，進行畫面間預測或畫面內預測等之預測處理，將解碼影像當作參照影像予以參照而進行預測，基於該預測結果而進行運動補償處理，生成預測影像。預測部122係將已生成之預測影像，供給至演算部112及演算部119。又，預測部122，係將藉由以上之處理而選擇的預測模式，亦即最佳的預測模式的相關資訊，因應需要而供給至編碼部115。
＜速率控制部＞ 速率控制部123，係進行速率控制的相關處理。例如，速率控制部123，係基於積存緩衝區116中所積存之編碼資料的編碼量，以不會發生溢位或下溢之方式，控制量化部114的量化動作之速率。
＜編碼部＞ 圖3係圖2的編碼部115的主要構成例的區塊圖。如圖3所示，編碼部115係具有：轉換模式資訊編碼部150、控制部151、選擇部152、TS殘差編碼部153、非TS殘差編碼部154、及選擇部155。
轉換模式資訊編碼部150，係進行轉換模式資訊(transform_mode)之編碼的相關處理。該轉換模式資訊，係為正交轉換部113所致之轉換處理之模式的相關資訊。例如，轉換模式資訊係可含有：關於轉換略過旗標(transform_skip_flag[xTbY][yTbY][cIdx])或初級轉換的識別元(mts_idx[xTbY][yTbY][cIdx])等。
例如，轉換模式資訊編碼部150，係可取得從控制部101所被供給之轉換模式資訊。又，轉換模式資訊編碼部150，係可將該已取得之轉換模式資訊予以編碼，生成轉換模式資訊之編碼資料。然後，轉換模式資訊編碼部150，係可將已生成之轉換模式資訊之編碼資料，供給至積存緩衝區116(亦即可提供給解碼側)。
控制部151，係進行編碼模式之控制的相關處理。例如，控制部151係可取得，從控制部101所被供給之轉換模式資訊((transform_skip_flag[xTbY][yTbY][cIdx])或mts_idx[xTbY][yTbY][cIdx]等)或分量識別元(cIdx)。又，控制部151，係基於該分量識別元所對應之轉換略過旗標，來控制選擇部152或選擇部155之選擇，藉此就可將TS殘差編碼模式與非TS殘差編碼模式進行切換，以作為係數資料(量化係數)的編碼模式。例如，控制部151係在轉換略過被適用的情況下，令選擇部152及選擇部155連接至TS殘差編碼部153。又例如，控制部151係在轉換略過未被適用的情況下(轉換處理已被進行的情況下)，令選擇部152及選擇部155連接至非TS殘差編碼部154。
選擇部152，係進行係數資料(量化係數)之供給目標之選擇的相關處理。例如，選擇部152，係可將從量化部114所被供給之量化係數，加以取得。又，選擇部152，係可依照控制部151之控制，而將該已取得之量化係數，供給至TS殘差編碼部153或非TS殘差編碼部154(已被控制部151所選擇之一方)。例如，選擇部152，係在轉換略過被適用的情況下，將量化係數供給至TS殘差編碼部153。又例如，選擇部152，係在轉換略過未被適用的情況下(轉換處理已被進行的情況下)，將量化係數供給至非TS殘差編碼部154。
TS殘差編碼部153，係進行TS殘差編碼模式的相關處理。例如，TS殘差編碼部153，係可將從選擇部152所被供給之量化係數，加以取得。又，TS殘差編碼部153，係可將已取得之量化係數，以TS殘差編碼模式進行編碼。該TS殘差編碼模式，係為略過轉換處理的情況下所需之編碼模式。例如，TS殘差編碼模式之編碼，係從係數資料的DC成分往高頻成分進行掃描，或者不將最後係數的位置資訊傳輸至解碼側等等，對轉換處理已被略過之係數資料，做了最佳化。關於TS殘差編碼模式的較具體的手法，係記載於非專利文獻4等。TS殘差編碼部153，係可如此而將量化係數予以編碼，生成量化係數之編碼資料。TS殘差編碼部153，係可將如此所生成之編碼資料，供給至選擇部155。
非TS殘差編碼部154，係進行非TS殘差編碼模式的相關處理。例如，非TS殘差編碼部154，係可將從選擇部152所被供給之量化係數，加以取得。又，非TS殘差編碼部154，係可將已取得之量化係數，以非TS殘差編碼模式進行編碼。該非TS殘差編碼模式，係為要進行轉換處理的情況下所需之編碼模式。例如，非TS殘差編碼模式之編碼，係從係數資料之最後係數往DC成分進行掃描，或者最後係數之位置資訊會被傳輸至解碼側等等，對已被進行過轉換處理的係數資料做了最佳化。關於非TS殘差編碼模式的較具體的手法，係記載於非專利文獻4等。非TS殘差編碼部154，係可如此而將量化係數予以編碼，生成量化係數之編碼資料。非TS殘差編碼部154，係可將如此所生成之編碼資料，供給至選擇部155。
選擇部155，係進行編碼資料之供給來源之選擇的相關處理。例如，選擇部155，係可將從TS殘差編碼部153或非TS殘差編碼部154(已被控制部151所選擇之一方)所被供給之編碼資料，加以取得。例如，選擇部155，係在轉換略過被適用的情況下，將從TS殘差編碼部153所被供給之編碼資料加以取得。又例如，選擇部155，係在轉換略過未被適用的情況下(轉換處理已被進行的情況下)，將從非TS殘差編碼部154所被供給之編碼資料，加以取得。選擇部155，係可將如此所取得之編碼資料，供給至積存緩衝區116(亦即可提供給解碼側)。
＜各分量之轉換略過＞ 影像編碼裝置100，係可將帶有亮度成分與色彩成分的彩色影像，進行編碼。然後，影像編碼裝置100，係不只對亮度成分，也可對色彩成分，略過(省略)將影像與其預測影像之殘差轉換成係數資料之轉換處理而進行編碼。
例如，控制部101，係可將表示是否適用轉換略過的轉換略過旗標(transform_skip_flag)，按照每一分量而加以設定。分量，係可藉由分量識別元(cIdx)來表示。亦即，控制部101，係可令轉換略過旗標之值，對應於分量識別元之值而做設定。
亦即，控制部101係可生成，按照每一分量(cIdx)來表示是否略過將編碼對象之影像與其預測影像之殘差轉換成係數資料之轉換處理的轉換略過旗標( transform_skip_flag[xTbY][yTbY][cIdx])。又，編碼部115的轉換模式資訊編碼部150，係可將該已被控制部101所生成之轉換略過旗標予以編碼，生成轉換略過旗標之編碼資料。然後，積存緩衝區116，係可生成含有該已被轉換模式資訊編碼部150所生成之轉換略過旗標之編碼資料的位元串流，並輸出至影像編碼裝置100之外部。
藉由如此設計，控制部101係例如，可設定針對色彩成分的轉換略過旗標，也可對色彩成分適用轉換略過。又，影像編碼裝置100，係可將該已生成之轉換略過旗標(亦即每一分量的轉換略過之設定)，提供給解碼側。因此，在將轉換略過對色彩成分做適用的情況下，解碼側就能將該位元串流正確地解碼。因此，相較於轉換略過只能對亮度成分做適用的情況，可抑制編碼效率的降低。
又，亦可設計成，於影像編碼裝置100中，基於上述的轉換略過旗標所致之每一分量的轉換略過之設定而控制色彩成分的轉換處理。例如亦可設計成，正交轉換部113會基於已被控制部101所生成之轉換略過旗標，而每一分量地進行轉換略過之控制。藉由如此設計，正交轉換部113係可例如，對於色彩成分的轉換處理，適用轉換略過。
此外，控制部101係如上述，藉由每一分量地進行轉換略過之設定，就可對於色彩成分，與亮度成分獨立地進行轉換略過之設定。因此，控制部101係可隨應於對色彩成分的轉換略過是否有效，而對色彩成分進行轉換略過之設定。藉此，正交轉換部113係可對色彩成分，獨立於亮度成分而進行轉換略過。藉由如此設計，相較於把針對亮度成分的轉換略過之設定適用於色彩成分的情況，可抑制編碼效率的降低。
＜編碼模式之控制＞ 又，編碼部115，係亦可基於分量識別元所對應之轉換略過旗標，來控制該分量識別元所對應之係數資料的編碼模式。例如，編碼部115的控制部151、選擇部152、及選擇部155，係亦可基於轉換略過旗標，來控制是否設成TS殘差編碼模式，還是設成非TS殘差編碼模式。例如，TS殘差編碼部153及非TS殘差編碼部154，係亦可藉由如此所被設定之編碼模式，而將分量識別元所對應之係數資料予以編碼，生成該係數資料之編碼資料。
亦即，特性彼此互異的編碼模式是被複數準備來作為候補，編碼部115，係基於分量識別元所對應之轉換略過旗標，從該已被準備的複數候補之中選擇出編碼模式，並做適用。亦即，編碼部115，係以該已選擇之編碼模式，而將係數資料予以編碼。藉由如此設計，編碼部115，係可在特性彼此互異的編碼模式之內，將較適合於轉換略過之設定之特性的編碼模式加以適用，相較於藉由單一編碼模式而進行編碼的情況，可更加抑制編碼效率的降低。
＜影像編碼處理的流程＞ 接著說明如以上之影像編碼裝置100所執行的各處理的流程。首先，參照圖4的流程圖，說明影像編碼處理的流程之例子。
影像編碼處理一旦開始，則於步驟S101中，排序緩衝區111，係被控制部101所控制，將已被輸入之動態影像資料之畫格的順序，從顯示順序排序成編碼順序。
於步驟S102中，控制部101，係對排序緩衝區111所保持的輸入影像，設定處理單位(進行區塊分割)。
於步驟S103中，控制部101，係針對排序緩衝區111所保持的輸入影像而將編碼參數予以決定(設定)。
於步驟S104中，控制部101係將分量識別元(cIdx)所對應之轉換區塊的轉換模式資訊(transform_mode)，加以生成。
於步驟S105中，預測部122係進行預測處理，生成最佳的預測模式之預測影像等。例如，於該預測處理中，預測部122，係進行畫面內預測而生成最佳的畫面內預測模式之預測影像等，並進行畫面間預測而生成最佳的畫面間預測模式之預測影像等，從這些之中，基於成本函數值等而選擇出最佳的預測模式。
於步驟S106中，演算部112係演算，輸入影像、與藉由步驟S105之預測處理而被選擇之最佳的模式之預測影像的差分。亦即，演算部112，係生成輸入影像與預測影像的預測殘差D。如此而被求出的預測殘差D，係相較於原始的影像資料，資料量是被較為降低。因此，相較於把影像直接進行編碼的情形，可壓縮資料量。
於步驟S107中，正交轉換部113，係依照步驟S104中所被生成之轉換模式資訊，對藉由步驟S106之處理而被生成之預測殘差D進行正交轉換處理，導出轉換係數Coeff。
於步驟S108中，量化部114，係使用已被控制部101所算出之量化參數等，將步驟S107之處理所得到的轉換係數Coeff予以量化，導出量化轉換係數等級level。
於步驟S109中，逆量化部117，係將步驟S108之處理所生成的量化轉換係數等級level，以該步驟S108之量化之特性所對應之特性進行逆量化，導出轉換係數Coeff_IQ。
於步驟S110中，逆正交轉換部118，係依照步驟S104中所被生成之轉換模式資訊，將步驟S109之處理所得到的轉換係數Coeff_IQ，以步驟S107之正交轉換處理所對應之方法進行逆正交轉換，導出預測殘差D'。此外，該逆正交轉換處理，係和於解碼側中所被進行的逆正交轉換處理(後述)相同，因此關於該步驟S110之逆正交轉換處理，係可適用針對解碼側所進行的說明(後述)。
於步驟S111中，演算部119，係對藉由步驟S110之處理而被導出之預測殘差D'，加算藉由步驟S105之預測處理而得到的預測影像，以生成已被局部性解碼的解碼影像。
於步驟S112中，迴圈內濾波器部120，係對藉由步驟S111之處理而被導出的，已被局部性解碼的解碼影像，進行迴圈內濾波器處理。
於步驟S113中，畫格記憶體121係將，藉由步驟S111之處理而被導出的，已被局部性解碼的解碼影像、或於步驟S112中已被濾波器處理過的，已被局部性解碼的解碼影像，加以記憶。
於步驟S114中，編碼部115，係將藉由步驟S108之處理所得到的量化轉換係數等級level、或步驟S104中所被生成之轉換模式資訊，予以編碼。例如，編碼部115，係將影像的相關資訊也就是量化轉換係數等級level，以算術編碼等進行編碼，生成編碼資料。又，此時，編碼部115係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo)，予以編碼。然後，編碼部115，係從量化轉換係數等級level導出殘差資訊RInfo，將該殘差資訊RInfo予以編碼。
於步驟S115中，積存緩衝區116，係將如此而獲得的編碼資料予以積存，例如作為位元串流，將其輸出至影像編碼裝置100之外部。該位元串流係例如，透過傳輸路或記錄媒體而被傳輸至解碼側。
於步驟S116中，速率控制部123，係因應需要而進行速率控制。
一旦步驟S116的處理結束，則影像編碼處理就結束。
＜編碼處理的流程＞ 其次，參照圖5的流程圖，說明圖4之步驟S114中所執行的編碼處理之流程例。
一旦編碼處理被開始，則編碼部115的轉換模式資訊編碼部150，係於步驟S151中，將分量識別元cIdx所對應之轉換區塊的轉換模式資訊(transform_mode)，予以編碼。
於步驟S152中，控制部151，係藉由以下的式(1)，而導出Condition1。亦即，控制部151，係使用分量所對應之轉換略過旗標(transform_skip_flag[cIdx])，而生成Condition1。此外，對於轉換略過旗標(trsnform_ skip_flag[cIdx])，係會有一併記載處理對象區塊之座標(xTbY, yTbY)的情況(例如trsnform_skip_flag[xTbY][yTbY] [cIdx])，但這裡為了簡化起見而省略了記載。以下也會適宜地省略。
Figure 02_image001
於步驟S153中，控制部151係判定，該 Condition1是否為真。Condition1為真的情況下，分量所對應之轉換略過旗標(transform_skip_flag[cIdx])係為真(IS_SKIP)。因此，選擇部152及選擇部155，係依照該控制部151之控制，而連接至TS殘差編碼部153。藉此處理便往步驟S154前進。
於步驟S154中，TS殘差編碼部153，係以TS殘差編碼模式而將量化係數進行編碼以生成編碼資料。一旦編碼資料被生成，編碼處理就結束。
又，於步驟S153中，Condition1為偽的情況下，則分量所對應之轉換略過旗標(transform_skip_Flag [cIdx])係為偽。因此，選擇部152及選擇部155，係依照該控制部151之控制，而連接至非TS殘差編碼部154。藉此處理便往步驟S155前進。
於步驟S155中，非TS殘差編碼部154，係以非TS殘差編碼模式而將量化係數進行編碼以生成編碼資料。一旦編碼資料被生成，編碼處理就結束。
藉由如以上般地進行各處理，影像編碼裝置100即使對於色彩成分也可適用TS殘差編碼模式，而可抑制編碼效率的降低。
此外，以上雖然說明，是否為轉換略過，是藉由轉換略過旗標(transform_skip_flag)而被通知，但不限於此，亦可設計成，作為關於初級轉換的識別元mts_idx的1個模式，而被通知。識別元mts_idx，係為表示初級轉換之水平方向及垂直方向之轉換類型的識別元。此情況下，控制部151係可將Condition1，如以下的式(2)地加以導出。
Figure 02_image003
＜3-2.影像解碼裝置＞ 圖6係適用了本技術的影像處理裝置之一態樣的影像解碼裝置之構成之一例的區塊圖。圖6所示的影像解碼裝置200係為，將AVC或HEVC這類，把影像與其預測影像之預測殘差做了編碼之編碼資料，予以解碼的裝置。例如，影像解碼裝置200，係將上述的非專利文獻中所記載之技術加以實作，而可將以符合這些文獻之任一者所記載之規格的方法將動態影像之影像資料所被編碼而成的編碼資料，予以解碼。例如，影像解碼裝置200，係可將上述的影像編碼裝置100所生成的編碼資料(位元串流)，予以解碼。
此外，於圖6中係主要表示處理部或資料的流向等，圖6所示者並非全部。亦即，於影像解碼裝置200中，亦可存在有於圖6中未以區塊而被表示的處理部，亦可存在有於圖6中未以箭頭等而表示的處理或資料之流向。這在影像解碼裝置200內的處理部等的說明的其他圖中也是同樣如此。
於圖6中，影像解碼裝置200係具備：積存緩衝區211、解碼部212、逆量化部213、逆正交轉換部214、演算部215、迴圈內濾波器部216、排序緩衝區217、畫格記憶體218、及預測部219。此外，預測部219係具備未圖示的畫面內預測部、及畫面間預測部。
＜積存緩衝區＞ 積存緩衝區211，係將已被輸入至影像解碼裝置200的位元串流加以取得，並予以保持(記憶)。積存緩衝區211，係在所定之時序上、或所定之條件達成等情況下，將所積存的位元串流中所含之編碼資料予以抽出，供給至解碼部212。
＜解碼部＞ 解碼部212，係進行影像之解碼的相關處理。例如，解碼部212，係將從積存緩衝區211所被供給之編碼資料當作輸入，依照語法表的定義，從該位元列，將各語法要素之語法值進行熵解碼(可逆解碼)，並將參數予以導出。
從語法要素及語法要素之語法值所被導出的參數中係包含有例如：標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等之資訊。亦即，解碼部212，係從位元串流，將這些資訊進行剖析(進行解析並取得之)。關於這些資訊，說明如下。
＜標頭資訊Hinfo＞ 標頭資訊Hinfo係含有例如：VPS(Video Parameter Set)/SPS(Sequence Parameter Set)/PPS(Picture Parameter Set)/PH(圖像標頭)/SH(切片標頭)等之標頭資訊。標頭資訊Hinfo中係含有例如：將影像尺寸(橫幅PicWidth、縱幅PicHeight)、位元深度(亮度bitDepthY、色差bitDepthC)、色差陣列類型ChromaArrayType、CU尺寸之最大值MaxCUSize/最小值MinCUSize、4分樹分割(亦稱為Quad-tree分割)之最大深度MaxQTDepth/最小深度MinQTDepth、2分樹分割(Binary-tree分割)之最大深度MaxBTDepth/最小深度MinBTDepth、轉換略過區塊之最大值MaxTSSize(亦稱為最大轉換略過區塊尺寸)、各編碼工具的開啟關閉旗標(亦稱為有效旗標)等予以規定的資訊。
例如，作為標頭資訊Hinfo中所含之編碼工具的開啟關閉旗標，係有以下所示的涉及轉換、量化處理的開啟關閉旗標。此外，編碼工具的開啟關閉旗標，係亦可解釋成，表示該編碼工具所涉及之語法是否存在於編碼資料中的旗標。又，開啟關閉旗標之值為1(真)的情況下，表示該編碼工具是可使用，開啟關閉旗標之值為0(偽)的情況下，表示該編碼工具是不可使用。此外，旗標值的解釋亦可顛倒。
分量間預測有效旗標(ccp_enabled_flag)：表示分量間預測(CCP(Cross-Component Prediction)，亦稱為CC預測)是否為可使用的旗標資訊。例如，該旗標資訊為「1」(真)的情況下，表示可使用，為「0」(偽)的情況下，表示不可使用。
此外，該CCP，係亦稱為分量間線性預測( CCLM或CCLMP)。
＜預測模式資訊Pinfo＞ 預測模式資訊Pinfo中係含有例如；處理對象PB(預測區塊)之尺寸資訊PBSize(預測區塊尺寸)、畫面內預測模式資訊IPinfo、運動預測資訊MVinfo等之資訊。
畫面內預測模式資訊IPinfo中係含有例如：JCTVC-W1005, 7.3.8.5 Coding Unit syntax中的prev_intra_ luma_pred_flag、mpm_idx, rem_intra_pred_mode、及從該語法所被導出的亮度畫面內預測模式IntraPredModeY等。
又，畫面內預測模式資訊IPinfo中係含有例如：分量間預測旗標(ccp_flag(cclmp_flag))、多級別線性預測模式旗標(mclm_flag)、色差樣本位置類型識別元(chroma_sample_loc_type_idx)、色差MPM識別元(chroma_ mpm_idx)、及從這些語法所被導出的亮度畫面內預測模式(IntraPredModeC)等。
分量間預測旗標(ccp_flag(cclmp_flag))，係為表示是否適用分量間線性預測的旗標資訊。例如，ccp_flag==1時，表示要適用分量間預測，ccp_flag==0時，表示不適用分量間預測。
多級別線性預測模式旗標(mclm_flag)，係為線性預測之模式的相關資訊(線性預測模式資訊)。更具體而言，多級別線性預測模式旗標(mclm_flag)，係為表示是否設成多級別線性預測模式的旗標資訊。例如，「0」的情況是表示1級別模式(單一級別模式)(例如CCLMP)，「1」的情況是表示2級別模式(多級別模式)(例如MCLMP)。
色差樣本位置類型識別元(chroma_sample_ loc_type_idx)，係為用來識別色差分量的像素位置之類型(亦稱為色差樣本位置類型)的識別元。
此外，該色差樣本位置類型識別元(chroma_ sample_loc_type_idx)，係作為色差分量之像素位置的相關資訊(chroma_sample_loc_info())(被儲存在其中)而被傳輸。
色差MPM識別元(chroma_mpm_idx)，係為表示要將色差畫面內預測模式候補清單( intraPredModeCandListC)之中的哪個預測模式候補指定作為色差畫面內預測模式的識別元。
運動預測資訊MVinfo中係含有例如：merge_ idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_ flag、X={0,1}、mvd等之資訊(例如參照JCTVC-W1005, 7.3.8.6 Prediction Unit Syntax)。
當然，預測模式資訊Pinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
＜轉換資訊Tinfo＞ 轉換資訊Tinfo中係含有例如以下之資訊。當然，轉換資訊Tinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
處理對象轉換區塊之橫幅尺寸TBWSize及縱幅TBHSize(或者亦可為以2為底的各TBWSize、TBHSize之對數值log2TBWSize、log2TBHSize)。轉換略過旗標(ts_flag)：表示是否將(逆)初級轉換及(逆)次級轉換予以略過的旗標。 掃描識別元(scanIdx) 量化參數(qp) 量化矩陣(scaling_matrix(例如JCTVC-W1005, 7.3.4 Scaling list data syntax))
＜殘差資訊Rinfo＞ 殘差資訊Rinfo(例如參照JCTVC-W1005的7.3.8.11 Residual Coding syntax)中係含有例如以下之語法。
cbf(coded_block_flag)：殘差資料有無旗標 last_sig_coeff_x_pos：最後非零係數X座標 last_sig_coeff_y_pos：最後非零係數Y座標 coded_sub_block_flag：子區塊非零係數有無旗標 sig_coeff_flag：非零係數有無旗標 gr1_flag：表示非零係數之等級是大於1的旗標(亦稱為GR1旗標) gr2_flag：表示非零係數之等級是大於2的旗標(亦稱為GR2旗標) sign_flag：表示非零係數之正負的碼(亦稱為符號碼) coeff_abs_level_remaining：非零係數之殘餘等級(亦稱為非零係數殘餘等級) 等。
當然，殘差資訊Rinfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
＜濾波器資訊Finfo＞ 濾波器資訊Finfo中係含有例如：以下所示的各濾波器處理所相關之控制資訊。
去區塊濾波器(DBF)所相關之控制資訊 像素適應偏置(SAO)所相關之控制資訊 適應迴圈濾波器(ALF)所相關之控制資訊 其他線性、非線性濾波器所相關之控制資訊
更具體而言，含有例如：適用各濾波器的圖像、或指定圖像內之領域的資訊、或CU單位的濾波器On/Off控制資訊、關於切片、瓷磚之交界的濾波器On/Off控制資訊等。當然，濾波器資訊Finfo中所含之資訊係為任意，亦可含有這些資訊以外之資訊。
回到解碼部212的說明，解碼部212，係參照殘差資訊Rinfo，將各轉換區塊內的各係數位置的量化轉換係數等級level予以導出。解碼部212，係將該量化轉換係數等級，供給至逆量化部213。
又，解碼部212，係將已剖析之標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo，供給至各區塊。具體而言係如以下所述。
標頭資訊Hinfo，係被供給至逆量化部213、逆正交轉換部214、預測部219、迴圈內濾波器部216。預測模式資訊Pinfo，係被供給至逆量化部213及預測部219。轉換資訊Tinfo，係被供給至逆量化部213及逆正交轉換部214。濾波器資訊Finfo，係被供給至迴圈內濾波器部216。
當然，上述的例子係為一例，並非限定於此例。例如，各編碼參數亦可被供給至任意之處理部。又，其他資訊亦可被供給至任意之處理部。
＜逆量化部＞ 逆量化部213係進行逆量化的相關處理。例如，逆量化部213，係將從解碼部212所被供給之轉換資訊Tinfo及量化轉換係數等級level當作輸入，基於該轉換資訊Tinfo，將量化轉換係數等級之值予以比例縮放(逆量化)，將逆量化後的轉換係數Coeff_IQ予以導出。
此外，該逆量化，係作為量化部114所致之量化的逆處理，而被進行。又，該逆量化，係為與逆量化部117所致之逆量化相同的處理。亦即，逆量化部117，係進行與逆量化部213相同的處理(逆量化)。
逆量化部213，係將已導出之轉換係數Coeff_IQ，供給至逆正交轉換部214。
＜逆正交轉換部＞ 逆正交轉換部214，係進行逆正交轉換的相關處理。例如，逆正交轉換部214，係將從逆量化部213所被供給之轉換係數Coeff_IQ，及從解碼部212所被供給之轉換資訊Tinfo，當作輸入，基於該轉換資訊Tinfo，而對轉換係數進行逆正交轉換處理(逆轉換處理)，導出預測殘差D'。
此外，該逆正交轉換，係作為正交轉換部113所致之正交轉換的逆處理，而被進行。又，該逆正交轉換，係為與逆正交轉換部118所致之逆正交轉換相同的處理。亦即，逆正交轉換部118，係進行與逆正交轉換部214相同的處理(逆正交轉換)。
逆正交轉換部214，係將已導出之預測殘差D'，供給至演算部215。
＜演算部＞ 演算部215，係進行影像的相關資訊之加算的相關處理。例如，演算部215，係將從逆正交轉換部214所被供給之預測殘差、與從預測部219所被供給之預測影像，當作輸入。演算部215，係將預測殘差與該預測殘差所對應之預測影像(預測訊號)進行加算，導出局部解碼影像。
演算部215，係將已導出之局部解碼影像，供給至迴圈內濾波器部216及畫格記憶體218。
＜迴圈內濾波器部＞ 迴圈內濾波器部216，係進行迴圈內濾波器處理的相關處理。例如，迴圈內濾波器部216，係將從演算部215所被供給之局部解碼影像、與從解碼部212所被供給之濾波器資訊Finfo，當作輸入。此外，對迴圈內濾波器部216所被輸入的資訊係為任意，亦可輸入這些資訊以外之資訊。
迴圈內濾波器部216，係基於該濾波器資訊Finfo，而對局部解碼影像適宜地進行濾波器處理。
例如，迴圈內濾波器部216，係將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器，依其順序而做適用。此外，要適用哪個濾波器，要以何種順序做適用係為任意，可適宜地選擇。
迴圈內濾波器部216，係進行編碼側(例如影像編碼裝置100的迴圈內濾波器部120)所進行之濾波器處理所對應之濾波器處理。當然，迴圈內濾波器部216所進行的濾波器處理係為任意，不限定於上述的例子。例如，迴圈內濾波器部216係亦可適用維納濾波器等。
迴圈內濾波器部216，係將已被濾波器處理過的局部解碼影像，供給至排序緩衝區217及畫格記憶體218。
＜排序緩衝區＞ 排序緩衝區217，係將從迴圈內濾波器部216所被供給之局部解碼影像當作輸入，並將其予以保持(記憶)。排序緩衝區217，係使用該局部解碼影像而將每一圖像單位之解碼影像予以重建，並保持之(儲存在緩衝區內)。排序緩衝區217，係將所得到的解碼影像，從解碼順序排序成再生順序。排序緩衝區217，係已排序之解碼影像群，當作動態影像資料而輸出至影像解碼裝置200之外部。
＜畫格記憶體＞ 畫格記憶體218，係進行關於影像之資料的記憶的相關處理。例如，畫格記憶體218，係將從演算部215所被供給之局部解碼影像當作輸入，將每一圖像單位之解碼影像予以重建，並儲存至畫格記憶體218內的緩衝區。
又，畫格記憶體218，係將從迴圈內濾波器部216所被供給之，已被迴圈內濾波器處理過的局部解碼影像當作輸入，將每一圖像單位之解碼影像予以重建，並儲存至畫格記憶體218內的緩衝區。畫格記憶體218，係適宜將其記憶的解碼影像(或其一部分)，當作參照影像而供給至預測部219。
此外，畫格記憶體218亦可將解碼影像之生成所涉及的標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等，加以記憶。
＜編碼部＞ 圖7係圖6的解碼部212的主要構成例的區塊圖。如圖7所示，解碼部212係具有：轉換模式資訊解碼部250、控制部251、選擇部252、TS殘差解碼部253、非TS殘差解碼部254、及選擇部255。
轉換模式資訊解碼部250，係進行轉換模式資訊(transform_mode)的編碼資料之解碼的相關處理。該轉換模式資訊，係為逆正交轉換部214所致之逆轉換處理之模式的相關資訊。例如，轉換模式資訊係可含有：關於轉換略過旗標(transform_skip_flag[xTbY][yTbY][cIdx])或初級轉換的識別元(mts_idx[xTbY][yTbY][cIdx])等。
例如，轉換模式資訊解碼部250，係可將從積存緩衝區211所被供給之編碼資料，加以取得。又，轉換模式資訊解碼部250，係可將該已取得之編碼資料予以解碼，生成轉換模式資訊或分量識別元(cIdx)。然後，轉換模式資訊編碼部150，係可將已生成之轉換模式資訊等，供給至控制部251。
控制部251，係進行解碼模式之控制的相關處理。例如，控制部251係可取得，從轉換模式資訊解碼部250所被供給之轉換模式資訊((transform_skip_flag [xTbY][yTbY][cIdx])或mts_idx[xTbY][yTbY][cIdx]等)或分量識別元(cIdx)。又，控制部251，係基於該分量識別元所對應之轉換略過旗標，來控制選擇部252或選擇部255之選擇，藉此就可將TS殘差解碼模式與非TS殘差解碼模式進行切換，以作為係數資料之編碼資料的解碼模式。例如，控制部251係在轉換略過被適用的情況下，令選擇部252及選擇部255連接至TS殘差解碼部253。又例如，控制部251係在轉換略過未被適用的情況下(轉換處理已被進行的情況下)，令選擇部252及選擇部255連接至非TS殘差解碼部254。
選擇部252，係進行係數資料(量化係數)之編碼資料的供給目標之選擇的相關處理。例如，選擇部252，係可將從積存緩衝區211所被供給之編碼資料，加以取得。又，選擇部252，係可依照控制部251之控制，而將該已取得之編碼資料，供給至TS殘差解碼部253或非TS殘差解碼部254(已被控制部251所選擇之一方)。例如，選擇部252，係在轉換略過被適用的情況下，將編碼資料供給至TS殘差解碼部253。又例如，選擇部252，係在轉換略過未被適用的情況下(轉換處理已被進行的情況下)，將編碼資料供給至非TS殘差解碼部254。
TS殘差解碼部253，係進行TS殘差解碼模式的相關處理。例如，TS殘差解碼部253，係可將從選擇部252所被供給之編碼資料，加以取得。又，TS殘差解碼部253，係可將已取得之編碼資料，以TS殘差解碼模式進行解碼。該TS殘差解碼模式，係為略過轉換處理的情況下所需之解碼模式。例如，TS殘差解碼模式之解碼，係對應於TS殘差編碼模式之編碼，對於轉換處理是已被略過之係數資料的編碼資料，做了最佳化。關於TS殘差解碼模式的較具體的手法，係記載於非專利文獻4等。TS殘差解碼部253，係可如此而將編碼資料予以解碼，生成量化係數。TS殘差解碼部253，係可將如此所生成之量化係數，供給至選擇部255。
非TS殘差解碼部254，係進行非TS殘差解碼模式的相關處理。例如，非TS殘差解碼部254，係可將從選擇部252所被供給之編碼資料，加以取得。又，非TS殘差解碼部254，係可將已取得之編碼資料，以非TS殘差解碼模式進行解碼。該非TS殘差解碼模式，係為要進行轉換處理的情況下所需之解碼模式。例如，非TS殘差解碼模式之解碼，係對應於非TS殘差編碼模式之編碼，對於轉換處理是已被進行之係數資料的編碼資料，做了最佳化。關於非TS殘差解碼模式的較具體的手法，係記載於非專利文獻4等。非TS殘差解碼部254，係可如此而將編碼資料予以解碼，生成量化係數。非TS殘差解碼部254，係可將如此所生成之量化係數，供給至選擇部255。
選擇部255，係進行量化係數之供給來源之選擇的相關處理。例如，選擇部255，係可將從TS殘差解碼部253或非TS殘差解碼部254(已被控制部251所選擇之一方)所被供給之量化係數，加以取得。例如，選擇部255，係在轉換略過被適用的情況下，將從TS殘差解碼部253所被供給之量化係數加以取得。又例如，選擇部255，係在轉換略過未被適用的情況下(轉換處理已被進行的情況下)，將從非TS殘差解碼部254所被供給之編碼資料，加以取得。選擇部255，係可將如此所取得之量化係數，供給至逆量化部213。
＜各分量之轉換略過＞ 影像解碼裝置200，係可將帶有亮度成分與色彩成分的彩色影像之編碼資料，予以解碼。然後，影像解碼裝置200，係不只對亮度成分，也可對色彩成分，略過(省略)將編碼資料進行解碼所生成之係數資料轉換成影像與其預測影像之殘差的逆轉換處理。
例如，轉換模式資訊解碼部250，係可將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得該分量識別元所對應之轉換略過旗標。
藉由如此設計，在解碼之際，就可將該轉換略過旗標所表示的每一分量的轉換略過之設定做適用。因此，就可將已被適用轉換略過的色彩成分之位元串流，予以正確地解碼。因此，相較於轉換略過只能對亮度成分做適用的情況，可抑制編碼效率的降低。
又，亦可設計成，在影像的編碼資料的解碼之際，基於上述的轉換略過旗標所致之每一分量的轉換略過之設定，而控制色彩成分的逆轉換處理。亦即，亦可設計成，對於色彩成分的逆轉換處理，可以適用轉換略過。藉由如此設計，就可將已被適用轉換略過的色彩成分之位元串流，予以正確地解碼。因此，相較於轉換略過只能對亮度成分做適用的情況，可抑制編碼效率的降低。
此外，如上述，藉由每一分量地進行轉換略過之設定，就可對於色彩成分，與亮度成分獨立地進行轉換略過之設定。因此，可隨應於對色彩成分的轉換略過是否有效，而對色彩成分進行轉換略過之設定。藉由如此設計，相較於把針對亮度成分的轉換略過之設定適用於色彩成分的情況，可抑制編碼效率的降低。
＜編碼模式之控制＞ 又，如上述的方法1般地對色彩成分適用轉換略過的情況下，亦可也適用此種解碼模式之控制。例如亦可設計成，於分量之識別元的各值下適用轉換略過的情況下，作為解碼模式是適用TS殘差解碼模式，在不適用轉換略過的非轉換略過的情況下，作為解碼模式是適用非TS殘差解碼模式。
例如亦可設計成，基於分量識別元所對應之轉換略過旗標，而控制是否將該分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式；藉由如此所被設定之解碼模式，而將分量識別元所對應之係數資料之編碼資料予以解碼，生成該分量識別元所對應之前記係數資料。
藉由如此設計，可以適用轉換略過之設定所相應之解碼模式，因此相較於藉由單一之解碼模式來進行解碼的情況，可抑制編碼效率的降低。
＜影像解碼處理的流程＞ 接著說明如以上之構成的影像解碼裝置200所執行的各處理的流程。首先，參照圖8的流程圖，說明影像解碼處理的流程之例子。
影像解碼處理一旦開始，則積存緩衝區211，係於步驟S401中，將從影像解碼裝置200之外部所被供給之位元串流加以取得並保持(積存)。
於步驟S202中，解碼部212，係從該位元串流，抽出編碼資料並予以解碼，獲得量化轉換係數等級level。又，解碼部212，係藉由該解碼，而從位元串流中將各種編碼參數予以剖析(進行解析並取得之)。
於步驟S203中，逆量化部213，係對藉由步驟S202之處理所得到的量化轉換係數等級level，進行編碼側中所被進行之量化的逆處理也就是逆量化，獲得轉換係數Coeff_IQ。
於步驟S204中，逆正交轉換部214，係依照步驟S203之控制，對步驟S203中所得到的轉換係數Coeff_IQ，進行編碼側中所被進行之正交轉換處理的逆處理也就是逆正交轉換處理，獲得預測殘差D'。
於步驟S205中，預測部219，係基於步驟S202中所被剖析出來的資訊，以被編碼側所指定之預測方法執行預測處理，參照畫格記憶體218中所被記憶的參照影像等，而生成預測影像P。
於步驟S206中，演算部215，係將步驟S204中所得到的預測殘差D'、與步驟S205中所得到的預測影像P進行加算，導出局部解碼影像Rlocal 。
於步驟S207中，迴圈內濾波器部216，係對藉由步驟S206之處理所得到的局部解碼影像Rlocal ，進行迴圈內濾波器處理。
於步驟S208中，排序緩衝區217，係使用藉由步驟S207之處理所得到的已被濾波器處理過的局部解碼影像Rlocal 而導出解碼影像R，將該解碼影像R群之順序，從解碼順序排序成再生順序。已被排序成再生順序的解碼影像R群，係作為動態影像而被輸出至影像解碼裝置200之外部。
又，於步驟S209中，畫格記憶體218，係將藉由步驟S206之處理所得到的局部解碼影像Rlocal 、及藉由步驟S207之處理所得到的濾波器處理後的局部解碼影像Rlocal 之中的至少一方，加以記憶。
一旦步驟S209之處理結束，則影像解碼處理就結束。
＜解碼處理的流程＞ 其次，參照圖9的流程圖，說明圖8之步驟S202中所執行的解碼處理之流程例。
一旦解碼處理被開始，則解碼部212的轉換模式資訊解碼部250，係於步驟S251中，將分量識別元cIdx所對應之轉換區塊的轉換模式資訊(transform_mode)，予以解碼。
於步驟S252中，控制部251，係藉由上述的式(1)，而導出Condition1。亦即，控制部251，係使用分量所對應之轉換略過旗標(transform_skip_flag[cIdx])，而生成Condition1。
於步驟S253中，控制部251係判定，該 Condition1是否為真。Condition1為真的情況下，分量所對應之轉換略過旗標(transform_skip_flag[cIdx])係為真(IS_SKIP)。因此，選擇部252及選擇部255，係依照該控制部251之控制，而連接至TS殘差解碼部253。藉此處理便往步驟S254前進。
於步驟S254中，TS殘差解碼部253，係以TS殘差解碼模式而將編碼資料進行解碼以生成量化係數。一旦量化係數被生成，解碼處理就結束。
又，於步驟S253中，Condition1為偽的情況下，則分量所對應之轉換略過旗標(transform_skip_flag [cIdx])係為偽。因此，選擇部252及選擇部255，係依照該控制部251之控制，而連接至非TS殘差解碼部254。藉此處理便往步驟S255前進。
於步驟S255中，非TS殘差解碼部254，係以非TS殘差解碼模式而將編碼資料進行編碼以生成量化係數。一旦量化係數被生成，解碼處理就結束。
藉由如以上般地進行各處理，影像解碼裝置200即使對於色彩成分也可適用TS殘差解碼模式，而可抑制編碼效率的降低。
此外，以上雖然說明，是否為轉換略過，是藉由轉換略過旗標(transform_skip_flag)而被通知，但不限於此，亦可設計成，作為關於初級轉換的識別元mts_idx的1個模式，而被通知。識別元mts_idx，係為表示初級轉換之水平方向及垂直方向之轉換類型的識別元。此情況下，控制部251係可將Condition1，如上述的式(2)地加以導出。
＜3-3.語法/語意＞ 此情況的TU(tranmform-unit)的語法之例子，示於圖10。圖10的例子的情況下，各分量所對應之轉換模式資訊(transform_mode(... ,0)、transform_mode(... ,0)、transform_mode(... ,2)、)係被導出，是否適用轉換略過(residual_comding(... ,cIdx) or residual_ts_coding(... ,cIdx ))，是按照每一分量(tu_cbf_luma, tu_cbf_cb, tu_cbf_cr)而被判定。
該轉換模式資訊的語法之例子，示於圖11。圖11的例子的情況下，作為每一分量的轉換模式資訊(transform_mode(... ,cIdx))係被設定有，每一分量的轉換略過旗標(transform_skip_flag[x0][y0][cIdx])，與每一分量的初級轉換之轉換類型的識別元(mts_idx[x0][y0][cIdx])。此情況下，用來生成這些資訊所需之各分量的條件係為彼此相同。該條件的內容係為任意。例如，序列參數集(SPS)中所被設置的轉換略過之啟用旗標(sps_transform_ skip_enabled_flag)等，係被使用於該條件。
轉換略過(residual_ts_coding(... ,cIdx))的語法之例子，示於圖12。如圖12所示，轉換略過之設定是按照每一分量(cIdx)而被進行。又，轉換模式資訊的轉換略過旗標(transform_skip_flag[x0][y0][cIdx])的語意之例子，示於圖13的A。再者，初級轉換之轉換類型的識別元(mts_idx[x0][y0][cIdx])的語意之例子，示於圖13的B。如此，關於轉換略過之資訊，是按照每一分量而被設定。因此，如上述，可將轉換略過對色彩成分做適用，可抑制編碼效率的降低。
此外，於轉換模式資訊的語法中，用來生成每一分量的轉換略過旗標(transform_skip_flag[x0][y0] [cIdx])、或每一分量的初級轉換之轉換類型的識別元(mts_idx[x0][y0][cIdx])所需之各分量之條件，係亦可如圖14的例子般地設成彼此互異。藉由如此按照每一分量而準備了條件，可抑制判定條件的冗餘性，可抑制處理負荷的增大。
＜3-4.轉換略過殘差編碼使用旗標＞ 此外，亦可適用，表示TS殘差編碼模式(TS殘差解碼模式)與非TS殘差編碼模式(非TS殘差解碼模式)之選擇的轉換略過殘差編碼使用旗標。
序列參數集(SPS)的語法之例子示於圖15。例如亦可設計成，控制部101可於該序列參數集中，設定轉換略過殘差編碼使用旗標sps_ts_residual_coding_use_ flag。
該sps_ts_residual_coding_use_flag，係為在序列參數集層級中所被通知的轉換略過殘差編碼使用旗標。該旗標之值為「1」的情況下，表示在轉換略過之際要適用TS殘差編碼模式。又，該旗標之值為「0」的情況下，表示在轉換略過之際要適用非TS殘差編碼模式。
圖16中圖示此情況下的TU的語法之例子。在圖16的例子的情況下，是否適用轉換略過的判定之條件中，會利用到該轉換略過殘差編碼使用旗標。sps_ts_ residual_coding_use_flag的語意示於圖17。又，此情況的Condition1係例如，使用以下的式(3)而被導出。
Figure 02_image005
此外，在使用初級轉換之轉換類型的識別元的情況下，則如以下的(4)般地被導出。
Figure 02_image007
藉由使用如此高層級的旗標，即使是不支援轉換略過的編碼器或解碼器，仍可基於該旗標，而正確地進行編碼/解碼。因此，可抑制編碼效率的降低。換言之，於編碼器或解碼器中可省略TS殘差編碼模式(TS殘差解碼模式)的實作，可抑制電路規模的增大。
此外，設置該轉換略過殘差編碼使用旗標的資料單位係為任意，亦可為序列參數集以外。例如，亦可於CU層級、切片層級、圖像層級等中，通知該轉換略過殘差編碼使用旗標。資料單位之粒度越細，模式的切換之自由度就越高，編碼效率的改善餘地就越為提升。
＜3-5.轉換略過殘差編碼使用特定模式旗標＞ 又亦可適用，表示在特定的模式下，是否適用TS殘差編碼模式(TS殘差解碼模式)、還是適用非TS殘差編碼模式(非TS殘差解碼模式)的旗標。
序列參數集(SPS)的語法之例子示於圖18。例如亦可設計成，控制部101可於該序列參數集中，設定轉換略過殘差編碼使用特定模式旗標sps_ts_residual_ coding_use_for_bdpcm_flag。
該sps_ts_residual_coding_use_for_bdpcm_ flag，係為在序列參數集層級中所被通知的旗標，係為表示，在BDPCM(Block_based Differential Pulse Code Modulation)下，是否將編碼模式之選擇設成有效的旗標資訊。該旗標之值為「1」的情況下，表示在BDPCM的時候要適用TS殘差編碼模式。又，該旗標之值為「0」的情況下，表示在BDPCM的時候要適用非TS殘差編碼模式。
圖19中圖示此情況下的TU的語法之例子。在圖19的例子的情況下，是否適用轉換略過的判定之條件中，會利用到該轉換略過殘差編碼使用特定模式旗標。sps_ts_residual_coding_use_for_bdpcm_flag的語意示於圖20。又，此情況的Condition1係例如，使用以下的式(5)而被導出。
Figure 02_image009
此外，在使用初級轉換之轉換類型的識別元的情況下，則如以下的(6)般地被導出。
Figure 02_image011
藉由使用如此高層級的旗標，於BDPCM下，就可進行TS殘差編碼模式與非TS殘差編碼模式之切換。
此外，設置該轉換略過殘差編碼使用特定模式旗標的資料單位係為任意，亦可為序列參數集以外。例如，亦可於CU層級、切片層級、圖像層級等中，通知該轉換略過殘差編碼使用特定模式旗標。資料單位之粒度越細，模式的切換之自由度就越高，編碼效率的改善餘地就越為提升。
＜4.第2實施形態＞ ＜4-1.量化中的量化參數之補正＞ 於分量識別元的各值下，在轉換略過之情況下，亦可將量化參數予以補正。亦即，亦可在適用轉換略過的情況下，將量化參數予以補正。然後，亦可讓如此的控制，可按照每一分量而進行。
＜量化部＞ 此情況下也是，影像編碼裝置100，係和圖2的例子相同。圖21係為此情況下的量化部114之主要構成例的區塊圖。如圖21所示，此情況下的量化部114，係具有QP補正部311及量化處理部312。
QP補正部311，係進行量化參數之補正的相關處理。例如，QP補正部311，係可參照分量識別元cIdx所對應之轉換略過旗標、聯合色差編碼模式資訊TuResMode、分量識別元cIdx所對應之CU層級的QP(Qp')，以及轉換略過之最小QP(QpPrimeTsMin)，而導出要對分量識別元cIdx所對應之處理對象轉換區塊做適用的量化參數Qp。該量化參數之種類，係有Qp'y、Qp'cb、Qp'cr、Qp'cbcr。又，轉換略過之最小的量化參數QpPrimeTsMin，係在參數集中被通知。
此外，聯合色差編碼模式，係為只傳輸色差成分(Cb,Cr)之中的一方，另一方是從該一方來導出，而不傳輸的模式。例如，只將Cr的殘差進行編碼並傳輸，Cb的殘差係從Cr的殘差來導出，而不傳輸。聯合色差編碼模式資訊TuResMode，係為如此的聯合色差編碼模式的相關資訊。
QP補正部311，係將補正後的量化參數(補正QP(qP))，供給至量化處理部312。
量化處理部312，係使用從QP補正部311所被供給之量化參數(補正QP(qP))來進行係數資料(轉換係數)的量化，生成量化係數。量化處理部312係將已生成之量化係數，供給至編碼部115或逆量化部117。
＜量化處理的流程＞ 將圖4的步驟S108中所執行的此情況下的量化處理的流程之例子，參照圖22的流程圖而加以說明。一旦量化處理被開始，則量化部114的QP補正部311，係於步驟S301中，藉由以下的式(7)而導出Condition2。亦即，QP補正部311，係使用分量所對應之轉換略過旗標(transform_skip_ flag[cIdx])，而生成Condition2。
Figure 02_image013
此外，在使用初級轉換之轉換類型的識別元的情況下，則如以下的(8)般地被導出。
Figure 02_image015
於步驟S302中，QP補正部311係判定，該 Condition2是否為真。Condition2為真的情況下，亦即分量所對應之轉換略過旗標(transform_skip_flag[cIdx])係為真(IS_SKIP)的情況下，處理係往步驟S303前進。
於步驟S303中，QP補正部311，係將量化參數QP予以補正。此情況下，QP補正部311係例如，將轉換略過之最小量化參數(QpPrimeTsMin)、與CU層級之量化參數QP'x之中的值較大者，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的量化參數(補正QP(qP))。一旦步驟S303之處理結束，則處理係前進至步驟S305。
又，在Condition2是被判定為偽的情況下，處理係往步驟S304前進。此情況下，QP補正部311係例如，將CU層級的量化參數QP'x，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的量化參數(補正QP(qP))。一旦步驟S304之處理結束，則處理係前進至步驟S305。
於步驟S305中，量化處理部312，係使用於步驟S303或步驟S304中已被更新之量化參數，而將轉換係數進行量化。一旦步驟S305的處理結束，則量化處理就結束，處理係回到圖4。
藉由如此設計，可抑制PSNR的降低。
＜4-2.逆量化中的量化參數之補正＞ 於逆量化中也是同樣地，於分量識別元的各值下，在轉換略過之情況下，亦可將量化參數予以補正。亦即，亦可在適用轉換略過的情況下，將量化參數予以補正。然後，亦可讓如此的控制，可按照每一分量而進行。
＜逆量化部＞ 此情況下也是，影像解碼裝置200，係和圖6的例子相同。圖23係為此情況下的逆量化部213之主要構成例的區塊圖。如圖23所示，此情況下的逆量化部213，係具有QP補正部411及逆量化處理部412。
QP補正部411，係進行量化參數之補正的相關處理。例如，QP補正部411，係可參照分量識別元cIdx所對應之轉換略過旗標、聯合色差編碼模式資訊TuResMode、分量識別元cIdx所對應之CU層級的QP(Qp')，以及轉換略過之最小QP(QpPrimeTsMin)，而導出要對分量識別元cIdx所對應之處理對象轉換區塊做適用的量化參數Qp。該量化參數之種類，係有Qp'y、Qp'cb、Qp'cr、Qp'cbcr。又，轉換略過之最小的量化參數QpPrimeTsMin，係在參數集中被通知。
QP補正部411，係將補正後的量化參數(補正QP(qP))，供給至逆量化處理部412。
逆量化處理部412，係使用從QP補正部411所被供給之量化參數(補正QP(qP))來進行量化係數的逆量化，生成係數資料(轉換係數)。逆量化處理部412係將已生成之係數資料，供給至逆正交轉換部214。
＜逆量化處理的流程＞ 將圖8的步驟S203中所執行的此情況下的逆量化處理的流程之例子，參照圖24的流程圖而加以說明。一旦逆量化處理被開始，則逆量化部213的QP補正部411，係於步驟S401中，藉由上述的式(7)而導出Condition2。亦即，QP補正部411，係使用分量所對應之轉換略過旗標(transform_skip_flag[cIdx])，而生成Condition2。該轉換略過旗標，係如第1實施形態中所說明，是藉由轉換模式資訊解碼部250而被解碼而被獲得。
於步驟S402中，QP補正部411係判定，該Condition2是否為真。Condition2為真的情況下，亦即分量所對應之轉換略過旗標(transform_skip_flag[cIdx])係為真(IS_SKIP)的情況下，處理係往步驟S403前進。
於步驟S403中，QP補正部411，係將量化參數QP予以補正。此情況下，QP補正部411係例如，將轉換略過之最小量化參數(QpPrimeTsMin)、與CU層級之量化參數QP'x之中的值較大者，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的量化參數(補正QP(qP))。一旦步驟S403之處理結束，則處理係前進至步驟S405。
又，在Condition2是被判定為偽的情況下，處理係往步驟S404前進。此情況下，QP補正部411係例如，將CU層級的量化參數QP'x，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的量化參數(補正QP(qP))。一旦步驟S404之處理結束，則處理係前進至步驟S405。
於步驟S405中，逆量化處理部412，係使用於步驟S403或步驟S404中已被更新之量化參數，而將量化係數進行逆量化。一旦步驟S405的處理結束，則逆量化處理就結束，處理係回到圖8。
藉由如此設計，可抑制PSNR的降低。
＜4-3.語法＞ 此情況的量化參數的語法之例子，示於圖25。如上述，量化參數qP，係使用轉換略過旗標transform_skip_flag，而每一分量地被補正。
＜5.第3實施形態＞ ＜上下文變數之共用化＞ 亦可設計成，在如上述般地適用轉換略過的情況下，將各語法的二進位列之各binIdx所對應之上下文變數，在亮度成分與色彩成分間做共用。
例如，亦可設計成，於編碼中，在略過轉換處理的情況下，在係數資料的亮度成分之編碼與色差成分之編碼間，共用上下文變數。
又，亦可設計成例如，於解碼中，在略過逆轉換處理的情況下，在係數資料的亮度成分之編碼資料的解碼與色差成分之編碼資料的解碼間，共用上下文變數。
此情況的上下文變數之相關語法之例子，示於圖26。亦可如圖26的例子般地，在適用轉換略過的情況下，以在亮度成分與色彩成分間為共通之方法，來導出上下文變數。
又，上下文變數之相關語法之另一例子，示於圖27。亦可如圖27的例子般地，在適用轉換略過的情況下，以在亮度成分與色彩成分間為彼此獨立之方法，來導出上下文變數。
如以上般地，將各語法的二進位列之各binIdx所對應之上下文變數，在亮度成分與色彩成分間做共用，就可抑制用來保持上下文變數所需之記憶體大小的增大。藉此，可抑制硬體成本的增大。
＜6.第4實施形態＞ ＜符號碼的編碼/解碼模式控制＞ 又，亦可設計成，隨應於分量識別元所對應之轉換略過旗標，而切換符號碼的編碼/解碼方法。圖28中係圖示此情況的語法之例子。
如圖28所示的表的binIdx=0的列所示，例如，在非轉換略過的情況下，亦可對符號碼的編碼/解碼，適用旁路編碼/解碼(bypass)。又，亦可設計成例如，在轉換略過的情況下，若殘餘上下文編碼二進位數是閾值以上則在符號碼之編碼/解碼中適用上下文編碼/解碼，若為其以外的情況則在符號碼之編碼/解碼中適用旁路編碼/解碼((MaxCcbs ＞ 0) ? (0...5) : bypass)。
藉由如此設計，可抑制編碼效率的降低。
＜7.附記＞ ＜電腦＞ 上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖29係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖29所示的電腦900中，CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM (Random Access Memory)903，係透過匯流排904而被彼此連接。
匯流排904，係還連接著輸出入介面910。輸出入介面910上係連接有：輸入部911、輸出部912、記憶部913、通訊部914、及驅動機915。
輸入部911，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部912係由例如顯示器、揚聲器、輸出端子等所成。記憶部913，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部914係由例如網路介面所成。驅動機915係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體921。
在如以上構成的電腦中，藉由CPU901而例如將記憶部913中所記憶之程式，透過輸出入介面910及匯流排904，而載入至RAM903裡並加以執行，就可進行上述一連串處理。RAM903中，還適宜地記憶著CPU901在執行各種處理時所必需的資料等。
電腦所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體921中而適用。此情況下，程式係藉由將可移除式媒體921裝著至驅動機915，就可透過輸出入介面910，安裝至記憶部913。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部914而接收之，並安裝至記憶部913。
除此以外，該程式係可事前安裝在ROM902或記憶部913中。
＜資訊、處理的單位＞ 於以上所說明的各種資訊所被設定的資料單位、或各種處理之對象的資料單位，係分別為任意，並非限定於上述的例子。例如，這些資訊或處理係亦可分別對每一TU(Transform Unit)、TB(Transform Block)、PU(Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU (Largest Coding Unit)、子區塊、區塊、瓷磚、切片、圖像、序列、或組件而被設定，亦可以這些資料單位之資料為對象。當然，該資料單位，係可按照每一資訊或處理而被設定，並不一定要所有的資訊或處理之資料單位都是統一的。此外，這些資訊的儲存場所係為任意，亦可被儲存在上述的資料單位之標頭或參數集等。又，亦可被儲存在複數地點。
＜控制資訊＞ 以上的各實施形態中所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將表示上述的本技術之適用對象(或非適用對象)的控制資訊(例如present_flag)，予以傳輸。例如，亦可將用來指定適用本技術(或者是許可或禁止適用)的區塊尺寸(上限或下限、或其雙方)、畫格、組件、或層等的控制資訊，予以傳輸。
＜本技術的適用對象＞ 本技術係可適用於任意的影像編碼、解碼方式。亦即，只要不與上述的本技術產生矛盾，則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等，關於影像編碼、解碼之各種處理的規格係為任意，並非限定於上述的例子。又，只要不與上述的本技術產生矛盾，亦可省略這些處理之中的一部分。
又，本技術係可適用於，將含有複數視點(view)之影像的多視點影像影像進行編碼、解碼的多視點影像編碼、解碼系統。此情況下，只要於各視點(view)的編碼、解碼中，適用本技術即可。
甚至，本技術係可適用於，針對所定之參數具有可調性(scalability)機能地而被複數層化(階層化)的階層影像進行編碼、解碼的階層影像編碼(可調式編碼)、解碼系統。此情況下，只要於各階層(layer)的編碼、解碼中，適用本技術即可。
又，以上作為本技術之適用例雖然說明了影像編碼裝置100及影像解碼裝置200，但本技術係可適用於任意之構成。
例如，本技術係可應用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等，各式各樣的電子機器。
又例如，本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等，作為裝置的部分構成而實施。
又例如，本技術係亦可對由複數裝置所構成的網路系統做適用。例如，亦可將本技術，透過網路而分擔給複數台裝置，以共同進行處理的雲端運算的方式，來加以實施。例如，亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端，提供影像(動態影像)的相關之服務的雲端服務中，實施本技術。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
＜可適用本技術的領域、用途＞ 適用了本技術的系統、裝置、處理部等係可利用於例如：交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又，其用途也為任意。
例如，本技術係可適用於，供作觀賞用內容等之提供之用的系統或裝置。又例如，本技術係亦可適用於交通狀況之監理或自動駕駛控制等，供作交通之用的系統或裝置。甚至例如，本技術係亦可適用於供作安全之用的系統或裝置。又例如，本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如，本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又，本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如，本技術係亦可適用於供作運動之用的系統或裝置。
＜其他＞ 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又，例如，上述的程式，係亦可於任意的裝置中被執行。此情況下，只要讓該裝置，具有必要的功能(功能區塊等)，能夠獲得必要的資訊即可。
又，例如，1個流程圖的各步驟，亦可由1個裝置來執行，也可由複數裝置來分擔而執行。甚至，1個步驟中包含有複數個處理的情況下，該複數個處理亦可由1個裝置來執行，也可由複數裝置來分擔而執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
又，例如，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
又，例如，本技術所相關之複數個技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。
此外，本技術係亦可採取如以下之構成。 (1)一種影像處理裝置，係具備： 旗標生成部，係生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將前記影像與前記影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；和 旗標編碼部，係將已被前記旗標生成部所生成之前記轉換略過旗標予以編碼，生成前記轉換略過旗標之編碼資料；和 位元串流生成部，係生成含有已被前記旗標編碼部所生成之前記轉換略過旗標之編碼資料的位元串流。 (2)如(1)所記載之影像處理裝置，其中， 還具備： 模式控制部，係基於已被前記旗標生成部所生成之分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料的編碼模式，設成略過前記轉換處理的情況下所需之模式亦即TS殘差編碼模式，或是設成不略過前記轉換處理的情況下所需之模式亦即非TS殘差編碼模式；和 係數資料編碼部，係藉由已被前記模式控制部所設定之前記編碼模式，而將前記分量識別元所對應之係數資料予以編碼，生成前記係數資料之編碼資料； 前記位元串流生成部，係生成含有已被前記旗標編碼部所生成之前記轉換略過旗標之編碼資料、與已被前記係數資料編碼部所生成之前記係數資料之編碼資料的位元串流。 (3)如(2)所記載之影像處理裝置，其中， 在略過前記轉換處理的情況下，前記係數資料編碼部，係在前記係數資料之亮度成分的編碼與色差成分的編碼間，共用上下文變數。 (4)如(2)或(3)所記載之影像處理裝置，其中， 前記係數資料編碼部，係適用已被前記旗標生成部所生成之前記轉換略過旗標所相應之符號碼的編碼方法。 (5)如(1)乃至(4)之任一項所記載之影像處理裝置，其中， 前記旗標生成部，係進一步生成轉換略過殘差編碼使用旗標，其係為用來表示，是否適用略過前記轉換處理的情況下所需之模式亦即TS殘差編碼模式，或是適用不略過前記轉換處理的情況下所需之模式亦即非TS殘差編碼模式的旗標資訊； 前記旗標編碼部，係進一步將已被前記旗標生成部所生成之前記轉換略過殘差編碼使用旗標予以編碼，生成前記轉換略過殘差編碼使用旗標之編碼資料； 前記位元串流生成部，係生成進一步含有已被前記旗標編碼部所生成之前記轉換略過殘差編碼使用旗標之編碼資料的前記位元串流。 (6)如(1)乃至(5)之任一項所記載之影像處理裝置，其中， 前記旗標生成部，係進一步生成轉換略過殘差編碼使用特定模式旗標，其係為用來表示，在特定的模式下，是否適用略過前記轉換處理的情況下所需之模式亦即TS殘差編碼模式，或是適用不略過前記轉換處理的情況下所需之模式亦即非TS殘差編碼模式的旗標資訊； 前記旗標編碼部，係進一步將已被前記旗標生成部所生成之前記轉換略過殘差編碼使用特定模式旗標予以編碼，生成前記轉換略過殘差編碼使用特定模式旗標之編碼資料； 前記位元串流生成部，係生成進一步含有已被前記旗標編碼部所生成之前記轉換略過殘差編碼使用特定模式旗標之編碼資料的前記位元串流。 (7)一種位元串流生成方法，係 生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將前記影像與前記影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；和 將已被生成之前記轉換略過旗標予以編碼，生成前記轉換略過旗標之編碼資料； 生成含有已被生成之前記轉換略過旗標之編碼資料的位元串流。
(8)一種影像處理裝置，係具備： 量化參數補正部，係於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示略過將前記影像與前記影像之預測影像的殘差轉換成轉換係數之轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和 量化部，係使用已被前記量化參數補正部所補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之量化。 (9)如(8)所記載之影像處理裝置，其中， 前記量化參數補正部，係 在前記分量識別元所對應之前記轉換略過旗標是表示前記轉換略過的情況下，將前記轉換略過之最小量化參數與前記分量識別元所對應之量化參數之中的值較大者，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的量化參數； 在前記分量識別元所對應之前記轉換略過旗標是表示不進行前記轉換略過的非轉換略過的情況下，將前記分量識別元所對應之前記量化參數，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數。 (10)一種量化係數生成方法，係 於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示略過將前記影像與前記影像之預測影像的殘差轉換成轉換係數之轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正； 使用已被補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之量化，生成前記分量識別元所對應之量化係數。
(11)一種影像處理裝置，係具備： 旗標解碼部，係將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標；和 模式控制部，係基於已被前記旗標解碼部所獲得之前記分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過前記逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式；和 係數資料解碼部，係藉由已被前記模式控制部所設定之前記解碼模式，而將前記分量識別元所對應之前記係數資料之前記編碼資料予以解碼，生成前記分量識別元所對應之前記係數資料。 (12)如(11)所記載之影像處理裝置，其中， 在略過前記逆轉換處理的情況下，前記係數資料解碼部，係在前記係數資料之亮度成分之編碼資料的解碼與色差成分之編碼資料的解碼間，共用上下文變數。 (13)如(11)或(12)所記載之影像處理裝置，其中， 前記係數資料解碼部，係適用已被前記旗標解碼部所獲得之前記分量識別元所對應之前記轉換略過旗標所相應之符號碼的解碼方法。 (14)如(11)乃至(13)之任一項所記載之影像處理裝置，其中， 前記旗標解碼部，係進一步，在略過前記逆轉換處理的情況下，將表示是否適用前記TS殘差解碼模式、或是適用前記非TS殘差解碼模式的旗標資訊亦即轉換略過殘差編碼使用旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過殘差編碼使用旗標的旗標解碼部； 前記模式控制部，係進一步，基於已被前記旗標解碼部所生成之前記分量識別元所對應之前記轉換略過殘差編碼使用旗標，而控制是否將前記分量識別元所對應之前記係數資料之前記編碼資料之解碼模式，設成前記TS殘差解碼模式或是設成前記非TS殘差解碼模式。 (15)如(11)乃至(14)之任一項所記載之影像處理裝置，其中， 前記旗標解碼部，係進一步將表示在特定的模式下，是否適用前記TS殘差解碼模式、或是適用前記非TS殘差解碼模式的旗標資訊亦即轉換略過殘差編碼使用特定模式旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過殘差編碼使用特定模式旗標； 前記模式控制部，係進一步，基於已被前記旗標解碼部所生成之前記分量識別元所對應之前記轉換略過殘差編碼使用特定模式旗標，而控制是否將前記分量識別元所對應之前記係數資料之前記編碼資料之解碼模式，設成前記TS殘差解碼模式或是設成前記非TS殘差解碼模式。 (16)一種係數資料生成方法，係 將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標； 基於已被獲得之前記分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過前記逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式； 藉由已被設定之前記解碼模式，而將前記分量識別元所對應之前記係數資料之前記編碼資料予以解碼，生成前記分量識別元所對應之前記係數資料。
(17)一種影像處理裝置，係具備： 量化參數補正部，係在分量識別元所對應之轉換略過旗標，是表示略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和 逆量化部，係使用已被前記量化參數補正部所補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之逆量化。 (18)如(17)所記載之影像處理裝置，其中， 前記量化參數補正部，係 在前記分量識別元所對應之前記轉換略過旗標是表示前記轉換略過的情況下，將轉換略過之最小量化參數與前記分量識別元所對應之量化參數之中的值較大者，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數； 在前記分量識別元所對應之前記轉換略過旗標是表示不進行前記轉換略過的非轉換略過的情況下，將前記分量識別元所對應之前記量化參數，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數。 (19)如(17)或(18)所記載之影像處理裝置，其中， 還具備：旗標解碼部，係將前記分量識別元所對應之前記轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標； 前記量化參數補正部，係在已被前記旗標解碼部所獲得之前記分量識別元所對應之前記轉換略過旗標是表示前記轉換略過的情況下，將對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數予以補正。 (20)一種係數資料生成方法，係 在分量識別元所對應之轉換略過旗標，是表示略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正； 使用已被補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之逆量化，生成前記分量識別元所對應之前記係數資料。
100:影像編碼裝置 101:控制部 111:排序緩衝區 112:演算部 113:正交轉換部 114:量化部 115:編碼部 116:積存緩衝區 117:逆量化部 118:逆正交轉換部 119:演算部 120:迴圈內濾波器部 121:畫格記憶體 122:預測部 123:速率控制部 150:轉換模式資訊編碼部 151:控制部 152:選擇部 153:TS殘差編碼部 154:非TS殘差編碼部 155:選擇部 200:影像解碼裝置 211:積存緩衝區 212:解碼部 213:逆量化部 214:逆正交轉換部 215:演算部 216:迴圈內濾波器部 217:排序緩衝區 218:畫格記憶體 219:預測部 250:轉換模式資訊解碼部 251:控制部 252:選擇部 253:TS殘差解碼部 254:非TS殘差解碼部 255:選擇部 311:QP補正部 312:量化處理部 411:QP補正部 412:逆量化處理部 900:電腦 901:CPU 902:ROM 903:RAM 904:匯流排 910:輸出入介面 911:輸入部 912:輸出部 913:記憶部 914:通訊部 915:驅動機 921:可移除式媒體
[圖1]轉換略過之擴充的說明圖。 [圖2]影像編碼裝置的主要構成例的區塊圖。 [圖3]編碼部之主要構成例的區塊圖。 [圖4]影像編碼處理的流程之例子的流程圖。 [圖5]編碼處理之流程之例子的說明用流程圖。 [圖6]影像解碼裝置的主要構成例的區塊圖。 [圖7]解碼部的主要構成例的區塊圖。 [圖8]影像解碼處理的流程之例子的流程圖。 [圖9]解碼處理的流程之例子的流程圖。 [圖10]TU的語法之例子的圖示。 [圖11]轉換模式資訊的語法之例子的圖示。 [圖12]TS殘差編碼模式的語法之例子的圖示。 [圖13]轉換模式資訊的語意之例子的圖示。 [圖14]轉換模式資訊之語法之另一例子的圖示。 [圖15]序列參數集的語法之例子的圖示。 [圖16]TU的語法之例子的圖示。 [圖17]序列參數集的語意之例子的圖示。 [圖18]序列參數集的語法之例子的圖示。 [圖19]TU的語法之例子的圖示。 [圖20]序列參數集的語意之例子的圖示。 [圖21]量化部之主要構成例的區塊圖。 [圖22]量化處理之流程之例子的流程圖。 [圖23]逆量化部之主要構成例的區塊圖。 [圖24]逆量化處理之流程之例子的流程圖。 [圖25]量化參數的語法之例子的圖示。 [圖26]上下文變數的語法之例子的圖示。 [圖27]上下文變數的語法之例子的圖示。 [圖28]符號編碼模式之切換的說明圖。 [圖29]電腦的主要構成例的區塊圖。
115:編碼部
150:轉換模式資訊編碼部
151:控制部
152:選擇部
153:TS殘差編碼部
154:非TS殘差編碼部
155:選擇部

Claims (20)

  1. 一種影像處理裝置，係具備： 旗標生成部，係生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將前記影像與前記影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；和 旗標編碼部，係將已被前記旗標生成部所生成之前記轉換略過旗標予以編碼，生成前記轉換略過旗標之編碼資料；和 位元串流生成部，係生成含有已被前記旗標編碼部所生成之前記轉換略過旗標之編碼資料的位元串流。
  2. 如請求項1所記載之影像處理裝置，其中， 還具備： 模式控制部，係基於已被前記旗標生成部所生成之分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料的編碼模式，設成略過前記轉換處理的情況下所需之模式亦即TS殘差編碼模式，或是設成不略過前記轉換處理的情況下所需之模式亦即非TS殘差編碼模式；和 係數資料編碼部，係藉由已被前記模式控制部所設定之前記編碼模式，而將前記分量識別元所對應之係數資料予以編碼，生成前記係數資料之編碼資料； 前記位元串流生成部，係生成含有已被前記旗標編碼部所生成之前記轉換略過旗標之編碼資料、與已被前記係數資料編碼部所生成之前記係數資料之編碼資料的位元串流。
  3. 如請求項2所記載之影像處理裝置，其中， 在略過前記轉換處理的情況下，前記係數資料編碼部，係在前記係數資料之亮度成分的編碼與色差成分的編碼間，共用上下文變數。
  4. 如請求項2所記載之影像處理裝置，其中， 前記係數資料編碼部，係適用已被前記旗標生成部所生成之前記轉換略過旗標所相應之符號碼的編碼方法。
  5. 如請求項1所記載之影像處理裝置，其中， 前記旗標生成部，係進一步生成轉換略過殘差編碼使用旗標，其係為用來表示，是否適用略過前記轉換處理的情況下所需之模式亦即TS殘差編碼模式，或是適用不略過前記轉換處理的情況下所需之模式亦即非TS殘差編碼模式的旗標資訊； 前記旗標編碼部，係進一步將已被前記旗標生成部所生成之前記轉換略過殘差編碼使用旗標予以編碼，生成前記轉換略過殘差編碼使用旗標之編碼資料； 前記位元串流生成部，係生成進一步含有已被前記旗標編碼部所生成之前記轉換略過殘差編碼使用旗標之編碼資料的前記位元串流。
  6. 如請求項1所記載之影像處理裝置，其中， 前記旗標生成部，係進一步生成轉換略過殘差編碼使用特定模式旗標，其係為用來表示，在特定的模式下，是否適用略過前記轉換處理的情況下所需之模式亦即TS殘差編碼模式，或是適用不略過前記轉換處理的情況下所需之模式亦即非TS殘差編碼模式的旗標資訊； 前記旗標編碼部，係進一步將已被前記旗標生成部所生成之前記轉換略過殘差編碼使用特定模式旗標予以編碼，生成前記轉換略過殘差編碼使用特定模式旗標之編碼資料； 前記位元串流生成部，係生成進一步含有已被前記旗標編碼部所生成之前記轉換略過殘差編碼使用特定模式旗標之編碼資料的前記位元串流。
  7. 一種位元串流生成方法，係 生成轉換略過旗標，其係按照每一分量來表示，於影像的編碼中，是否略過將前記影像與前記影像之預測影像的殘差轉換成係數資料之轉換處理的旗標資訊；和 將已被生成之前記轉換略過旗標予以編碼，生成前記轉換略過旗標之編碼資料； 生成含有已被生成之前記轉換略過旗標之編碼資料的位元串流。
  8. 一種影像處理裝置，係具備： 量化參數補正部，係於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示略過將前記影像與前記影像之預測影像的殘差轉換成轉換係數之轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和 量化部，係使用已被前記量化參數補正部所補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之量化。
  9. 如請求項8所記載之影像處理裝置，其中， 前記量化參數補正部，係 在前記分量識別元所對應之前記轉換略過旗標是表示前記轉換略過的情況下，將前記轉換略過之最小量化參數與前記分量識別元所對應之量化參數之中的值較大者，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的量化參數； 在前記分量識別元所對應之前記轉換略過旗標是表示不進行前記轉換略過的非轉換略過的情況下，將前記分量識別元所對應之前記量化參數，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數。
  10. 一種量化係數生成方法，係 於影像的編碼中，分量識別元所對應之轉換略過旗標，是表示略過將前記影像與前記影像之預測影像的殘差轉換成轉換係數之轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正； 使用已被補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之量化，生成前記分量識別元所對應之量化係數。
  11. 一種影像處理裝置，係具備： 旗標解碼部，係將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標；和 模式控制部，係基於已被前記旗標解碼部所獲得之前記分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過前記逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式；和 係數資料解碼部，係藉由已被前記模式控制部所設定之前記解碼模式，而將前記分量識別元所對應之前記係數資料之前記編碼資料予以解碼，生成前記分量識別元所對應之前記係數資料。
  12. 如請求項11所記載之影像處理裝置，其中， 在略過前記逆轉換處理的情況下，前記係數資料解碼部，係在前記係數資料之亮度成分之編碼資料的解碼與色差成分之編碼資料的解碼間，共用上下文變數。
  13. 如請求項11所記載之影像處理裝置，其中， 前記係數資料解碼部，係適用已被前記旗標解碼部所獲得之前記分量識別元所對應之前記轉換略過旗標所相應之符號碼的解碼方法。
  14. 如請求項11所記載之影像處理裝置，其中， 前記旗標解碼部，係進一步，在略過前記逆轉換處理的情況下，將表示是否適用前記TS殘差解碼模式、或是適用前記非TS殘差解碼模式的旗標資訊亦即轉換略過殘差編碼使用旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過殘差編碼使用旗標的旗標解碼部； 前記模式控制部，係進一步，基於已被前記旗標解碼部所生成之前記分量識別元所對應之前記轉換略過殘差編碼使用旗標，而控制是否將前記分量識別元所對應之前記係數資料之前記編碼資料之解碼模式，設成前記TS殘差解碼模式或是設成前記非TS殘差解碼模式。
  15. 如請求項11所記載之影像處理裝置，其中， 前記旗標解碼部，係進一步將表示在特定的模式下，是否適用前記TS殘差解碼模式、或是適用前記非TS殘差解碼模式的旗標資訊亦即轉換略過殘差編碼使用特定模式旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過殘差編碼使用特定模式旗標； 前記模式控制部，係進一步，基於已被前記旗標解碼部所生成之前記分量識別元所對應之前記轉換略過殘差編碼使用特定模式旗標，而控制是否將前記分量識別元所對應之前記係數資料之前記編碼資料之解碼模式，設成前記TS殘差解碼模式或是設成前記非TS殘差解碼模式。
  16. 一種係數資料生成方法，係 將分量識別元所對應之轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標； 基於已被獲得之前記分量識別元所對應之前記轉換略過旗標，而控制是否將前記分量識別元所對應之係數資料之編碼資料之解碼模式，設成略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理的情況下所需之模式亦即TS殘差解碼模式，或是設成不略過前記逆轉換處理的情況下所需之模式亦即非TS殘差解碼模式； 藉由已被設定之前記解碼模式，而將前記分量識別元所對應之前記係數資料之前記編碼資料予以解碼，生成前記分量識別元所對應之前記係數資料。
  17. 一種影像處理裝置，係具備： 量化參數補正部，係在分量識別元所對應之轉換略過旗標，是表示略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正；和 逆量化部，係使用已被前記量化參數補正部所補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之逆量化。
  18. 如請求項17所記載之影像處理裝置，其中， 前記量化參數補正部，係 在前記分量識別元所對應之前記轉換略過旗標是表示前記轉換略過的情況下，將轉換略過之最小量化參數與前記分量識別元所對應之量化參數之中的值較大者，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數； 在前記分量識別元所對應之前記轉換略過旗標是表示不進行前記轉換略過的非轉換略過的情況下，將前記分量識別元所對應之前記量化參數，設定作為要對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數。
  19. 如請求項17所記載之影像處理裝置，其中， 還具備：旗標解碼部，係將前記分量識別元所對應之前記轉換略過旗標之編碼資料予以解碼，獲得前記分量識別元所對應之前記轉換略過旗標； 前記量化參數補正部，係在已被前記旗標解碼部所獲得之前記分量識別元所對應之前記轉換略過旗標是表示前記轉換略過的情況下，將對前記分量識別元所對應之前記處理對象轉換區塊做適用的前記量化參數予以補正。
  20. 一種係數資料生成方法，係 在分量識別元所對應之轉換略過旗標，是表示略過將係數資料轉換成影像與預測影像之殘差的逆轉換處理之轉換略過的情況下，將對前記分量識別元所對應之處理對象轉換區塊做適用的量化參數予以補正； 使用已被補正之前記量化參數，進行前記分量識別元所對應之處理對象轉換區塊之逆量化，生成前記分量識別元所對應之前記係數資料。
TW109142354A 2019-12-11 2020-12-02 影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法 TW202127875A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-223601 2019-12-11
JP2019223601 2019-12-11

Publications (1)

Publication Number Publication Date
TW202127875A true TW202127875A (zh) 2021-07-16

Family

ID=76330176

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142354A TW202127875A (zh) 2019-12-11 2020-12-02 影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法

Country Status (11)

Country Link
US (1) US20230007265A1 (zh)
EP (1) EP4060995A1 (zh)
JP (1) JPWO2021117500A1 (zh)
KR (1) KR20220112754A (zh)
CN (1) CN115176476A (zh)
AU (1) AU2020400536A1 (zh)
BR (1) BR112022010886A2 (zh)
CA (1) CA3156543A1 (zh)
MX (1) MX2022006718A (zh)
TW (1) TW202127875A (zh)
WO (1) WO2021117500A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7001668B2 (ja) * 2019-12-26 2022-01-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US7200275B2 (en) * 2001-12-17 2007-04-03 Microsoft Corporation Skip macroblock coding
WO2004006586A1 (ja) * 2002-07-02 2004-01-15 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
EP2018070A1 (en) * 2007-07-17 2009-01-21 Thomson Licensing Method for processing images and the corresponding electronic device
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
NO330107B1 (no) * 2009-07-09 2011-02-21 Tandberg Telecom As Datamaskinimplementert tidlig dropping
KR20120046725A (ko) * 2009-08-06 2012-05-10 파나소닉 주식회사 부호화 방법, 복호 방법, 부호화 장치 및 복호 장치
US20110249743A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
CN104335582B (zh) * 2012-06-12 2019-03-08 太阳专利托管公司 动态图像编解码方法以及动态图像编解码装置
CA3019490A1 (en) * 2016-05-13 2017-11-16 Sony Corporation Image processing apparatus and method
JPWO2018061837A1 (ja) * 2016-09-30 2019-07-11 ソニー株式会社 画像処理装置および方法
JP7283389B2 (ja) * 2017-11-24 2023-05-30 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
MX2022006718A (es) 2022-07-12
BR112022010886A2 (pt) 2022-08-23
JPWO2021117500A1 (zh) 2021-06-17
CN115176476A (zh) 2022-10-11
EP4060995A1 (en) 2022-09-21
KR20220112754A (ko) 2022-08-11
AU2020400536A1 (en) 2022-06-16
CA3156543A1 (en) 2021-06-17
US20230007265A1 (en) 2023-01-05
WO2021117500A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
WO2021125309A1 (ja) 画像処理装置および方法
WO2021039650A1 (ja) 画像処理装置および方法
US20240171746A1 (en) Image processing device and method
WO2019188465A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
JP7494858B2 (ja) 画像処理装置および方法
TW202127875A (zh) 影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法
WO2019188464A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
WO2022044845A1 (ja) 画像処理装置および方法
JP7484923B2 (ja) 画像処理装置および方法
JP7517348B2 (ja) 画像処理装置および方法
WO2021117866A1 (ja) 画像処理装置および方法
US20230045106A1 (en) Image processing apparatus and method
JP2022002352A (ja) 画像処理装置および方法
US20240236323A1 (en) Image processing device and method
US20240163437A1 (en) Image processing device and method
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法