TW202139698A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW202139698A
TW202139698A TW109144933A TW109144933A TW202139698A TW 202139698 A TW202139698 A TW 202139698A TW 109144933 A TW109144933 A TW 109144933A TW 109144933 A TW109144933 A TW 109144933A TW 202139698 A TW202139698 A TW 202139698A
Authority
TW
Taiwan
Prior art keywords
quantization parameter
conversion
quantization
unit
correction
Prior art date
Application number
TW109144933A
Other languages
English (en)
Inventor
筑波健史
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202139698A publication Critical patent/TW202139698A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露係有關於可將量化參數之值控制在所望之範圍內的影像處理裝置及方法。 將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正,使用該已被補正之量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。本揭露係可適用於例如:影像處理裝置、影像編碼裝置、影像解碼裝置、送訊裝置、收訊裝置、收送訊裝置、資訊處理裝置、攝像裝置、再生裝置、電子機器、影像處理方法、或資訊處理方法等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法,特別是有關於可將量化參數之值控制在所望之範圍內的影像處理裝置及方法。
先前,將動態影像之預測殘差予以導出,並進行係數轉換,進行量化然後進行編碼的編碼方法,已被提出(例如參照非專利文獻1及非專利文獻2)。又,作為改善RGB444之編碼效率的編碼工具,在殘差領域上執行RGB-to-YCgCo轉換的適應色彩轉換(ACT(Adaptive Color Transform)),已被提出(例如參照非專利文獻3)。
又,於非專利文獻3中也提出了,考慮該轉換前的殘差(C0, C1, C2)與轉換後的殘差(C0', C1', C2')之間的訊號之動態範圍的轉換,而將對各分量之殘差做適用的量化參數qP,藉由(dqPY, dqPCg, dqPCo) = (-5, -5, -3)而加以補正的處理。非專利文獻1中係揭露,基於轉換略過及適應色彩轉換之適用的量化參數之補正方法。 [先前技術文獻] [非專利文獻]
[非專利文獻1] Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 7)", JVET-P2001-vE, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Feneva, CH, 1-11 Oct 2019 [非專利文獻2] Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7)", JVET-P2002-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct. 2019 [非專利文獻3] Xiaoyu Xiu, Yi-Wen Chen, Tsung-Chuan Ma, Hong-Jheng Jhu, Xianglin Wang, "Support of adaptive color transform for 444 video coding in VVC", JVET-P0517_r1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019
[發明所欲解決之課題]
然而,在非專利文獻1中所被揭露之方法的情況下,則是在基於轉換略過之相關參數的量化參數之補正被執行後,基於適應色彩轉換之相關參數的量化參數之補正才被執行。在基於轉換略過之相關參數的量化參數之補正中,量化參數之值係被限幅在所望之範圍內。又,在基於適應色彩轉換之相關參數的量化參數之補正中,所定之補正量會被加算。因此,在該方法中,無法控制補正後的量化參數之值所可能採取的範圍。
本揭露係有鑑於此種狀況而研發,目的在於可將量化參數之值控制在所望之範圍內。 [用以解決課題之手段]
本技術之一側面的影像處理裝置,係為一種影像處理裝置,其係具備:量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和量化部,係使用已被前記量化參數補正部所補正之前記量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
本技術之一側面的影像處理方法,係為一種影像處理方法,其係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;使用已被補正之前記量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
本技術之另一側面的影像處理裝置,係為一種影像處理裝置,其係具備:量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和逆量化部,係使用已被前記量化參數補正部所補正之前記量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
本技術之另一側面的影像處理方法,係為一種影像處理方法,其係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;使用已被補正之前記量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
於本技術之一側面的影像處理裝置及方法中,量化參數,係基於適應色彩轉換之相關參數而被補正,然後,基於轉換略過之相關參數而被補正;該已被補正之前記量化參數也就是補正量化參數會被使用,編碼對象之影像的係數資料會被量化。
於本技術之另一側面的影像處理裝置及方法中,量化參數,係基於適應色彩轉換之相關參數而被補正,然後,基於轉換略過之相關參數而被補正;該已被補正之前記量化參數也就是補正量化參數會被使用,影像之係數資料所被量化而成的量化係數資料會被逆量化。
以下,說明用以實施本揭露的形態(以下稱作實施形態)。此外,用以下的順序進行說明。 1.量化參數之補正 2.第1實施形態(量化參數補正裝置) 3.第2實施形態(量化參數補正裝置) 4.第3實施形態(量化參數補正裝置) 5.第4實施形態(量化參數補正裝置) 6.第5實施形態(影像編碼裝置) 7.第6實施形態(影像解碼裝置) 8.附記
<1.量化參數之補正> <支持技術內容或技術用語的文獻等> 本技術所揭露之範圍,係不只有實施形態中所記載的內容,還包含了於申請當時屬於公知的以下之非專利文獻等中所記載的內容或於以下之非專利文獻中所被參照的其他文獻之內容等。
非專利文獻1:(上述) 非專利文獻2:(上述) 非專利文獻3:(上述) 非專利文獻4:Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017 非專利文獻5:Recommendation ITU-T H.265 (02/18) "High efficiency video coding", february 2018
亦即,上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如,上述的非專利文獻中所記載之Quad-Tree Block Structure、QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施例中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。又,例如,關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地,即使於實施例中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並且滿足申請專利範圍的支持要件。
又,於本說明書中,作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊),係在沒有特別言及的情況下,是表示圖像內的任意之部分領域,其大小、形狀、及特性等並無限定。例如,「區塊」中係可包含有:上述的非專利文獻中所記載之TB (Transform Block)、TU (Transform Unit)、PB (Prediction Block)、PU (Prediction Unit)、SCU (Smallest Coding Unit)、CU (Coding Unit)、LCU (Largest Coding Unit)、CTB (Coding Tree Block)、CTU (Coding Tree Unit)、子區塊、巨集區塊、瓷磚、或切片等,任意之部分領域(處理單位)。
又,在指定此種區塊的尺寸時,不只可直接地指定區塊尺寸,亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊,來指定區塊尺寸。又,例如,亦可藉由與作為基準的區塊(例如LCU或SCU等)之尺寸的比值或差分,來指定區塊尺寸。例如,作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下,作為該資訊,亦可使用如上述的間接指定尺寸的資訊。藉由如此設計,可降低該資訊的資訊量,有時候可以提升編碼效率。又,該區塊尺寸之指定中係包含有,區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
又,於本說明書中,所謂編碼,係不只包含將影像轉換成位元串流的全體之處理,也包含部分之處理。例如,不只包含將預測處理、正交轉換、量化、算術編碼等予以包括的處理,也包含將量化與算術編碼予以總稱的處理、將預測處理與量化與算術編碼予以包括的處理等。同樣地,所謂解碼,係不只包含將位元串流轉換成影像的全體之處理,也包含部分之處理。例如,不只包含將逆算術解碼、逆量化、逆正交轉換、預測處理等予以包括的處理,也包含將逆算術解碼與逆量化予以包括的處理、將逆算術解碼與逆量化與預測處理予以包括的處理等。
<適應色彩轉換> 於非專利文獻3中係提出了,作為改善RGB444之編碼效率的編碼工具,在殘差領域上執行RGB-to-YCgCo轉換的適應色彩轉換(ACT(Adaptive Color Transform))。以下的式(1),係表示該RGB-to-YCgCo轉換。又,式(2)係表示其逆轉換(YCgCo-RGB轉換)。於式(1)及式(2)中,係數C0、C1、C2,係分別對應於R、G、B。又,C0'、C1'、C2',係分別對應於Y、Cg、Co。
Figure 02_image001
如式(1)及式(2)所示,藉由該適應色彩轉換,就可只以簡單的平移演算及加減算而將RGB訊號轉換成相當於YCbCr訊號的YCgCo訊號。又其逆轉換也是同樣如此。因此,藉由適用如此的適應色彩轉換,就可容易地削減分量間之冗餘性,可抑制編碼效率的降低。
又,在適用該適應色彩轉換的情況下,藉由RGB-YCgCo轉換,而將轉換前的殘差(C0, C1, C2),與對各分量之殘差做適用的量化參數qP,以各分量之量化參數之補正量(dqPY, dqPCg, dqPCo) = (-5, -5, -3)進行補正的處理,會被執行。該處理,係有考慮到與轉換後的殘差(C0', C1', C2')之間的訊號之動態範圍之轉換。
<轉換略過> 順便一提,在非專利文獻1中係揭露,將正交轉換處理予以略過(省略)的模式亦即轉換略過。於本揭露中,係將不適用轉換略過的情況,亦稱作非轉換略過。
<轉換略過與適應色彩轉換所致之量化參數之補正> 非專利文獻1中係揭露,基於轉換略過及適應色彩轉換之適用的量化參數之補正方法。在該方法中,會隨著是否適用轉換略過,以及是否適用適應色彩轉換,來控制量化參數之補正。例如,在適應色彩轉換為可適用,且轉換略過會被適用的情況下,量化參數之補正係如以下的式(3)般地被執行。相對於此,在適應色彩轉換為適用,且非轉換略過會被適用的情況(亦即轉換略過不被適用的情況)下,量化參數之補正係如以下的式(4)般地被執行。
Figure 02_image003
如式(3)所示,在轉換略過會被適用的情況下,量化參數,係首先以轉換略過之情況的量化參數之最小值(QpPrimeTsMin),而將其下限予以限幅。其後,對該限幅之結果,隨應於cu_act_enabled_flag之值,處理對象之分量所相應之補正量會被加算。cu_act_enabled_flag,係為表示是否適用適應色彩轉換的CU單位之旗標資訊。在cu_act_enabled_flag為真(例如「1」)的情況下,表示適應色彩轉換會被適用。在cu_act_enabled_flag為偽(例如「0」)的情況下,表示適應色彩轉換不被適用。亦即,基於轉換略過之相關參數的補正被執行後,基於適應色彩轉換之相關參數的補正會被執行。
如式(4)所示,在非轉換略過被適用的情況下,也是和式(3)的情況同樣地,基於轉換略過之相關參數的補正被執行後,基於適應色彩轉換之相關參數的補正會被執行。但是,此情況下,在基於轉換略過之相關參數的補正中,上述的限幅處理係被略過(省略)。換言之,量化參數,係以基於硬體或軟體等之規格所能採取的最小值,而將其下限予以限幅。
如此,在非專利文獻1所記載之補正方法中,由於是在限幅處理之後,補正量才被加算,因此可以控制補正後的量化參數之值所可能採取的範圍。
<適應色彩轉換所致之量化參數之補正之優先> 於是,如圖1所示的表的最上面1段所示,設計成先執行適應色彩轉換所致之量化參數之補正然後才執行轉換略過所致之量化參數之補正。
例如設計成,於影像處理方法中,將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正,使用該已被補正之量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
又,例如設計成,於影像處理裝置中,具備:量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和量化部,係使用該已被量化參數補正部所補正之量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
例如設計成,於影像處理方法中,將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正,使用該已被補正之量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
又,例如設計成,於影像處理裝置中,具備:量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和逆量化部,係使用該已被量化參數補正部所補正之量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
藉由如此設計,可在加算了補正量之後,執行限幅處理,因此可以控制補正後的量化參數之值所可能採取的範圍。
此外,亦可設計成,在適應色彩轉換被適用的情況下,作為基於適應色彩轉換之相關參數的補正,是使用處理對象分量所相應之補正量,來將量化參數予以補正。例如,於影像處理裝置中,量化參數補正部,係在適用適應色彩轉換的情況下,亦可以處理對象分量所相應之補正量而將量化參數進行補正。
又,在適應色彩轉換未被適用的情況下,作為基於適應色彩轉換之相關參數的補正,亦可將補正量設成「0」而讓量化參數被補正。換言之,基於適應色彩轉換之相關參數的補正亦可被略過(省略)。例如,於影像處理裝置中,量化參數補正部,係在適用適應色彩轉換的情況下,亦可將補正量設成「0」而將量化參數進行補正。
<2.第1實施形態> <轉換略過時的下限控制> 如上述,在非專利文獻1所記載之補正方法中,在轉換略過被適用的情況下,如式(3)所示般地,量化參數qP之補正會被執行。亦即,量化參數qP,係首先藉由轉換略過之際的量化參數之最小值QpPrimeTsMin而被限制其下限,而獲得第1補正量化參數qP'。該轉換略過之際的量化參數之最小值QpPrimeTsMin係被預先設定。
接著,在cu_act_enabled_flag為真(例如「1」)的情況下,對第1補正量化參數qP',表示處理對象之分量的分量識別元cIdx所對應之補正量dqP會被加算,而導出第2補正量化參數qP''。此外,cu_act_enabled_flag為偽(例如「0」)的情況下,則補正量dqP會被設成「0」而執行相同的演算,而導出第2補正量化參數qP''。如此所被導出的第2補正量化參數qP'',是作為補正後的量化參數qP(亦即補正結果),而被利用於量化處理或逆量化處理。
亦即,在適應色彩轉換及轉換略過被適用的情況下,量化參數qP,係藉由QpPrimeTsMin而被限幅了其下限後,分量識別元cIdx所對應之補正量dqP會被加算。
此外,將量化參數qP之下限以QpPrimeTsMin進行限幅的原因是,在轉換略過中當量化步距Δ<1之時(因為有可能量化步距Δ<1),為了避免峰值訊號對雜訊比(PSNR(Peak Signal-to-Noise Ratio))發生降低的現象。
然而,如上述,在以QpPrimeTsMin而將下限進行了限幅之後,藉由加算分量識別元cIdx所對應之補正量dqP,第2補正量化參數qP''(亦即補正後的量化參數qP),係有可能變成小於QpPrimeTsMin的值。亦即,在適應色彩轉換及轉換略過被適用的情況下,比轉換略過之際的量化參數之最小值還小的量化參數,恐怕會被使用於量化或逆量化(有可能量化步距Δ<1)。因此,PSNR會有降低之虞。亦即,編碼效率會有降低之虞。
於是,如上述,如圖1所示的表的最上面1段所示,先執行適應色彩轉換所致之量化參數之補正然後才執行轉換略過所致之量化參數之補正。然後,亦可如圖1所示的表的從上數來第2段所示,於轉換略過所致之量化參數補正處理中,在轉換略過的情況下,以轉換略過之際的量化參數之最小值QpPrimeTsMin而將下限予以限幅(方法1)。
例如,亦可為,於影像處理裝置中,量化參數補正部,係在適用轉換略過的情況下,將基於適應色彩轉換之相關參數而已被補正之量化參數之下限,以已被預先設定之,轉換略過之際的量化參數之最小值QpPrimeTsMin,進行限幅。
藉由如此設計,在適應色彩轉換及轉換略過被適用的情況下,可以使其不會變成量化步距Δ<1,因此可抑制PSNR的降低,而可抑制編碼效率的降低。
又,亦可如圖1所示的表的從上數來第2段所示,於轉換略過所致之量化參數補正處理中,在非轉換略過的情況下,省略該下限之限幅。例如,亦可為,於影像處理裝置中,量化參數補正部,係在不適用轉換略過的情況下,將基於適應色彩轉換之相關參數而被補正之量化參數之下限之限幅予以省略。換言之,此情況下亦可設計成,量化參數,是以基於硬體或軟體等之規格所能採取的最小值,其下限會被限幅。
<量化參數補正裝置> 上述的本技術,係可於任意的裝置中做適用。圖2係適用了本技術的影像處理裝置之一態樣的量化參數補正裝置之構成之一例的區塊圖。圖2所示的量化參數補正裝置100,係為將關於影像的係數資料之量化處理或逆量化處理中所被使用的量化參數予以補正的裝置。量化參數補正裝置100係例如,隨應於影像之編碼或解碼中的適應色彩轉換或轉換略過之適用而將量化參數予以補正。此時,量化參數補正裝置100,係適用上述的「方法1」,而將量化參數予以補正。
此外,於圖2中係主要表示處理部或資料的流向等,圖2所示者並非全部。亦即,於量化參數補正裝置100中,亦可存在有於圖2中未以區塊而被表示的處理部,亦可存在有於圖2中未以箭頭等而表示的處理或資料之流向。
如圖2所示,量化參數補正裝置100係具有第1補正部101及第2補正部102。
第1補正部101,係執行基於適應色彩轉換之相關參數的補正之相關處理。例如,第1補正部101,係將表示處理對象之分量的分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,第1補正部101,係取得cu_act_enabled_flag,來作為適應色彩轉換之相關參數。然後,第1補正部101,係取得分量識別元cIdx所對應之補正量dqPx。
此外,分量識別元cIdx,係為表示處理對象之分量的識別元。又,量化參數qPx,係表示分量所相應之量化參數。例如,量化參數qPx中係有:亮度Y所對應之量化參數qPy、色差Cb所對應之量化參數qPcb、色差Cr所對應之量化參數qPcr、及色差CbCr所對應之量化參數qPcbcr。然後,適應色彩轉換適用之際的各分量(Y, Cg, Co)所對應之補正量dqPx,係為(-5, -5, -3)。這些參數,若無特別聲明,則在其他實施形態中也是同樣如此。
第1補正部101,係在cu_act_enabled_flag為真(例如「1」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。又,第1補正部101,係在cu_act_enabled_flag為偽(例如「0」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。亦即,第1補正部101,係執行如以下之語法的處理。
Figure 02_image005
第1補正部101,係將已導出之第1補正量化參數qP',供給至第2補正部102。
第2補正部102,係執行基於轉換略過之相關參數的補正之相關處理。例如,第2補正部102,係將從第1補正部101所被供給之第1補正量化參數qP'加以取得。又,第2補正部102,係取得分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],來作為轉換略過之相關參數。然後,第2補正部102,係取得轉換略過之際的量化參數之最小值QpPrimeTsMin,來作為轉換略過之相關參數。
此外,transform_skip_flag,係為表示是否要適用轉換略過的旗標資訊。在該transform_skip_flag為真(例如「1」)的情況下,表示轉換略過係被適用。又,在transform_skip_flag為偽(例如「0」)的情況下,表示非轉換略過係被適用(亦即轉換略過不被適用)。又,轉換略過之際的量化參數之最小值QpPrimeTsMin係被預先設定。此外,將該QpPrimeTsMin從編碼側裝置往解碼側裝置進行訊令(進行傳輸)的情況下,QpPrimeTsMin係使用例如參數集而被訊令。這些參數,若無特別聲明,則在其他實施形態中也是同樣如此。
第2補正部102,係在transform_skip_flag為真(例如「1」)的情況下,使用QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅,而導出第2補正量化參數qP''。換言之,第2補正部102,係在transform_skip_flag為真的情況下,將QpPrimeTsMin與第1補正量化參數qP'之中的較大之一方,設定成第2補正量化參數qP''。又,第2補正部102,係在transform_skip_flag為偽(例如「0」)的情況下,略過(省略)該限幅處理,將第1補正量化參數qP',設定成第2補正量化參數qP''。換言之,第2補正部102,係在transform_skip_flag為偽的情況下,則是以基於硬體或軟體等之規格所能採取的最小值而將第1補正量化參數qP'之下限予以限幅,而導出第2補正量化參數qP''。亦即,第2補正部102,係執行如以下之語法的處理。
Figure 02_image007
第2補正部102,係將已導出之第2補正量化參數qP'',當作已被輸入之量化參數qP之補正結果(補正後的量化參數),輸出至量化參數補正裝置100之外部。
換言之,量化參數補正裝置100,係在轉換略過的情況下,執行如以下的式(5)所示的處理,將量化參數予以補正。又,量化參數補正裝置100,係在非轉換略過的情況下,執行如以下的式(6)所示的處理,將量化參數予以補正。
Figure 02_image009
換言之,量化參數補正裝置100,係參照適應色彩轉換旗標(cu_act_enabled_flag)、ACT所對應之補正量dqP、分量識別元cIdx所對應之轉換略過旗標(transform_skip_flag)、分量識別元cIdx所對應之CU層級之量化參數(qPx)、及轉換略過之際的量化參數之最小值QpPrimeTsMin,而將要對分量識別元cIdx所對應之處理對象轉換區塊做適用的量化參數qP予以導出。
藉由如此設計,量化參數補正裝置100,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於量化或逆量化中不會變成量化步距Δ<1。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此就可抑制PSNR的降低,而可抑制編碼效率的降低。
此外,亦可取代transform_skip_flag而改為適用mts_idx,作為mts_idx之1模式而通知是否為轉換略過。亦即,量化參數補正裝置100(第2補正部102),亦可不是取得transform_skip_flag而改為取得mts_idx,基於其值,來判定轉換略過是否被適用。又,QpPrimeTsMin,係亦可按照每一分量(Y, Cb, Cr, CbCr)而被通知。亦即,量化參數補正裝置100(第2補正部102),係亦可取得分量識別元cIdx所對應之QpPrimeTsMin,使用該分量識別元cIdx所對應之QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅。
<量化參數補正處理之流程> 接著,藉由該量化參數補正裝置100而被執行的量化參數補正處理的流程之例子,參照圖3的流程圖來說明。
一旦量化參數補正處理被開始,則量化參數補正裝置100的第1補正部101,係於步驟S101中,藉由判定是否滿足條件1,以判定是否適用適應色彩轉換。例如,該條件1係亦可設為cu_act_enabled_flag = 1。在判定為滿足條件1(亦即要適用適應色彩轉換)的情況下,處理係往步驟S102前進。
於步驟S102中,第1補正部101,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。亦即,第1補正部101,係執行以下的式(7)之演算。
Figure 02_image011
此時,補正量dqPx,係亦可如以下的式(8)般地做設定,亦可如式(9)般地做設定。
Figure 02_image013
一旦步驟S102之處理結束,則處理係前進至步驟S104。又,於步驟S101中,判定為不滿足條件1(亦即不適用適應色彩轉換)的情況下,處理係往步驟S103前進。
於步驟S103中,第1補正部101,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。亦即,第1補正部101,係執行以下的式(10)之演算。
Figure 02_image015
一旦步驟S103之處理結束,則處理係往步驟S104前進。
於步驟S104中,第2補正部102,係藉由判定是否滿足條件2,以判定是否為轉換略過。例如,該條件2係亦可設為transform_skip_flag[cIdx] == 'IS_SKIP'。或者,該條件2係亦可設為mts_idx[cIdx] == 'IS_SKIP'。在判定為滿足條件2(亦即是轉換略過)的情況下,處理係往步驟S105前進。
於步驟S105中,第2補正部102,係使用QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅,而導出第2補正量化參數qP''。亦即,第2補正部102,係執行以下的式(11)之演算。
Figure 02_image017
一旦步驟S105之處理結束,則量化參數補正處理就結束。又,於步驟S104中,判定為不滿足條件2(亦即係為非轉換略過)的情況下,處理係往步驟S106前進。
於步驟S106中,第2補正部102,係略過(省略)該限幅處理,將第1補正量化參數qP',設定成第2補正量化參數qP''。亦即,第2補正部102,係執行以下的式(12)之演算。
Figure 02_image019
一旦步驟S106之處理結束,則量化參數補正處理就結束。
藉由如以上般地執行量化參數補正處理,量化參數補正裝置100,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於量化或逆量化中不會變成量化步距Δ<1。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此就可抑制PSNR的降低,而可抑制編碼效率的降低。
<3.第2實施形態> <非轉換略過時的下限控制> 如上述,在非專利文獻1所記載之補正方法中,在非轉換略過被適用的情況下,如式(4)所示般地,限幅係被省略。然後,在cu_act_enabled_flag為真(例如「1」)的情況下,對第1補正量化參數qP’,分量識別元cIdx所對應之補正量dqP會被加算,而導出第2補正量化參數qP''。此外,cu_act_enabled_flag為偽(例如「0」)的情況下,則補正量dqP會被設成「0」而執行相同的演算,而導出第2補正量化參數qP''。如此所被導出的第2補正量化參數qP'',是作為補正後的量化參數qP(亦即補正結果),而被利用於量化處理或逆量化處理。
因此,在非轉換略過的情況下,第2補正量化參數qP''(亦即補正後的量化參數qP),係可能變成比量化參數之最小值「0」還小的值。亦即,在適應色彩轉換及非轉換略過被適用的情況下,比非轉換略過的量化參數之最小值「0」還小的量化參數,恐怕會被使用於量化或逆量化(有可能變成量化步距Δ<1)。因此,PSNR會有降低之虞。亦即,編碼效率會有降低之虞。
於是,如上述,如圖1所示的表的最上面1段所示,先執行適應色彩轉換所致之量化參數之補正然後才執行轉換略過所致之量化參數之補正。然後,亦可如圖1所示的表的從上數來第3段所示,於轉換略過所致之量化參數補正處理中,在轉換略過的情況下,以轉換略過之際的量化參數之最小值QpPrimeTsMin而將量化參數之下限予以限幅,在非轉換略過的情況下,以非轉換略過之際的量化參數之最小值「0」而將量化參數之下限予以限幅(方法2)。
例如,亦可為,於影像處理裝置中,量化參數補正部,係在不適用轉換略過的情況下,將基於適應色彩轉換之相關參數而已被補正之量化參數之下限,以已被預先設定之量化參數之最小值,進行限幅。
例如,該量化參數之最小值係亦可設為「0」。亦即,量化參數補正部,係在不適用轉換略過的情況下,亦可將基於適應色彩轉換之相關參數而已被補正之量化參數之下限,以值「0」來加以限幅。
藉由如此設計,在適應色彩轉換及非轉換略過被適用的情況下,可以使其不會變成量化步距Δ<1,因此可抑制PSNR的降低,而可抑制編碼效率的降低。
<量化參數補正裝置> 上述的本技術,係可於任意的裝置中做適用。圖4係適用了本技術的影像處理裝置之一態樣的量化參數補正裝置之構成之一例的區塊圖。圖4所示的量化參數補正裝置120,係為和量化參數補正裝置100相同之裝置,係將關於影像的係數資料之量化處理或逆量化處理中所被使用的量化參數,予以補正。此時,量化參數補正裝置120,係適用上述的「方法2」,而將量化參數予以補正。
此外,於圖4中係主要表示處理部或資料的流向等,圖4所示者並非全部。亦即,於量化參數補正裝置120中,亦可存在有於圖4中未以區塊而被表示的處理部,亦可存在有於圖4中未以箭頭等而表示的處理或資料之流向。
如圖4所示,量化參數補正裝置120係具有第1補正部121及第2補正部122。
第1補正部121,係為和量化參數補正裝置100的第1補正部101相同的處理部,執行相同的處理。亦即,第1補正部121,係執行基於適應色彩轉換之相關參數的補正之相關處理。例如,第1補正部121,係將表示處理對象之分量的分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,第1補正部121,係取得cu_act_enabled_flag,來作為適應色彩轉換之相關參數。然後,第1補正部121,係取得分量識別元cIdx所對應之補正量dqPx。
第1補正部121,係在cu_act_enabled_flag為真(例如「1」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。又,第1補正部121,係在cu_act_enabled_flag為偽(例如「0」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。亦即,第1補正部121,係執行如以下之語法的處理。
Figure 02_image021
第1補正部121,係將已導出之第1補正量化參數qP',供給至第2補正部122。
第2補正部122,係和量化參數補正裝置100的第2補正部102同樣地,執行基於轉換略過之相關參數的補正之相關處理。例如,第2補正部122,係將從第1補正部121所被供給之第1補正量化參數qP'加以取得。又,第2補正部122,係取得分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],來作為轉換略過之相關參數。然後,第2補正部122,係取得轉換略過之際的量化參數之最小值QpPrimeTsMin,來作為轉換略過之相關參數。又,第2補正部122,係取得非轉換略過之際的量化參數之最小值「0」,來作為轉換略過之相關參數。
第2補正部122,係在transform_skip_flag為真(例如「1」)的情況下,使用QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅,而導出第2補正量化參數qP''。換言之,第2補正部122,係在transform_skip_flag為真的情況下,將QpPrimeTsMin與第1補正量化參數qP'之中的較大之一方,設定成第2補正量化參數qP''。
相對於此,在transform_skip_flag為偽(例如「0」)的情況下,第2補正部122,係以非轉換略過之際的量化參數之最小值「0」而將量化參數之下限予以限幅,而導出第2補正量化參數qP''。換言之,第2補正部122,係在transform_skip_flag為偽的情況下,將值「0」與第1補正量化參數qP'之中的較大之一方,設定成第2補正量化參數qP''。亦即,第2補正部122,係執行如以下之語法的處理。
Figure 02_image023
第2補正部122,係將已導出之第2補正量化參數qP'',當作已被輸入之量化參數qP之補正結果(補正後的量化參數),輸出至量化參數補正裝置120之外部。
換言之,量化參數補正裝置120,係在轉換略過的情況下,執行如上述的式(5)所示的處理,將量化參數予以補正。又,量化參數補正裝置120,係在非轉換略過的情況下,執行如以下的式(13)所示的處理,將量化參數予以補正。
Figure 02_image025
換言之,量化參數補正裝置120,係參照適應色彩轉換旗標(cu_act_enabled_flag)、ACT所對應之補正量dqP、分量識別元cIdx所對應之轉換略過旗標(transform_skip_flag)、分量識別元cIdx所對應之CU層級之量化參數(qPx)、非轉換略過之際的量化參數之最小值「0」、及轉換略過之際的量化參數之最小值QpPrimeTsMin,而將要對分量識別元cIdx所對應之處理對象轉換區塊做適用的量化參數qP予以導出。
藉由如此設計,量化參數補正裝置120,係在適應色彩轉換及非轉換略過被適用的情況下,仍可將量化參數予以補正,以使得於量化或逆量化中不會變成量化步距Δ<1。亦即,量化參數補正裝置120,係無論轉換略過是否被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於量化或逆量化中不會變成量化步距Δ<1。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此就可抑制PSNR的降低,而可抑制編碼效率的降低。
此外,亦可取代transform_skip_flag而改為適用mts_idx,作為mts_idx之1模式而通知是否為轉換略過。亦即,量化參數補正裝置120(第2補正部122),亦可不是取得transform_skip_flag而改為取得mts_idx,基於其值,來判定轉換略過是否被適用。又,QpPrimeTsMin,係亦可按照每一分量(Y, Cb, Cr, CbCr)而被通知。亦即,量化參數補正裝置120(第2補正部122),係亦可取得分量識別元cIdx所對應之QpPrimeTsMin,使用該分量識別元cIdx所對應之QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅。
<量化參數補正處理之流程> 接著,藉由該量化參數補正裝置120而被執行的量化參數補正處理的流程之例子,參照圖5的流程圖來說明。
一旦量化參數補正處理被開始,則量化參數補正裝置120的第1補正部121,係於步驟S121中,藉由判定是否滿足條件1,以判定是否適用適應色彩轉換。該條件1,係和第1實施形態(圖3)之情況相同。在判定為滿足條件1(亦即要適用適應色彩轉換)的情況下,處理係往步驟S122前進。
於步驟S122中,第1補正部121,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。該處理,係和圖3的步驟S102之處理同樣地被執行。
一旦步驟S122之處理結束,則處理係往步驟S124前進。又,於步驟S121中,判定為不滿足條件1(亦即不適用適應色彩轉換)的情況下,處理係往步驟S123前進。
於步驟S123中,第1補正部121,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。該處理,係和圖3的步驟S103之處理同樣地被執行。
一旦步驟S123之處理結束,則處理係往步驟S124前進。
於步驟S124中,第2補正部122,係藉由判定是否滿足條件2,以判定是否為轉換略過。該條件2,係和第1實施形態(圖3)之情況相同。在判定為滿足條件2(亦即是轉換略過)的情況下,處理係往步驟S125前進。
於步驟S125中,第2補正部122,係使用QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅,而導出第2補正量化參數qP''。該處理,係和圖3的步驟S105之處理同樣地被執行。
一旦步驟S125之處理結束,則量化參數補正處理就結束。又,於步驟S124中,判定為不滿足條件2(亦即係為非轉換略過)的情況下,處理係往步驟S126前進。
於步驟S126中,第2補正部122,係使用非轉換略過之際的量化參數之最小值「0」而將第1補正量化參數qP'之下限予以限幅,而導出第2補正量化參數qP''。亦即,第2補正部122,係執行以下的式(14)之演算。
Figure 02_image027
一旦步驟S126之處理結束,則量化參數補正處理就結束。
藉由如以上般地執行量化參數補正處理,量化參數補正裝置100,係在適應色彩轉換及非轉換略過被適用的情況下,可將量化參數予以補正,以使得於量化或逆量化中不會變成量化步距Δ<1。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此就可抑制PSNR的降低,而可抑制編碼效率的降低。
<4.第3實施形態> <量化參數的上限控制> 甚至,亦可將量化參數之上限予以限幅。例如,如圖1所示的表的從上數來第4段所示般地,執行適應色彩轉換所致之量化參數之補正。然後,亦可對該已被補正之量化參數,以該量化參數之最小值與最大值來進行限幅(方法3)。
若量化參數是在0乃至63之範圍中被設定,則量化參數之最小值係為「0」,量化參數之最大值,係為「63+QpBdOffset」。此外,QpBdOffset,係為量化參數的對應於位元深度的補正量。
例如,亦可於影像處理裝置中,量化參數補正部,係針對基於適應色彩轉換之相關參數而已被補正之量化參數,將其上限以量化參數之最大值(63+QpBdOffset)進行限幅,並將其下限以量化參數之最小值(值「0」)進行限幅。
亦即,在適應色彩轉換所致之量化參數的補正後,亦可基於量化參數之最小值與最大值,將量化參數予以補正以使其落在有效的值。藉由如此設計,補正後的量化參數之值,係會落在量化參數之最小值乃至最大值的範圍內。因此,可抑制PSNR的降低,而可抑制編碼效率的降低。
此外,亦可將該已被限幅處理過的量化參數,基於轉換略過之相關參數而加以補正。該基於轉換略過之相關參數的補正,係亦可和方法1之情況同樣地執行。亦即,在轉換略過的情況下,亦可使用轉換略過之際的量化參數之最小值QpPrimeTsMin,而將已被限幅處理過的量化參數之下限,做進一步地限幅。又,在非轉換略過的情況下,亦可略過(省略)該下限之限幅處理。
藉由如此設計,補正後的量化參數,就不會變成比該QpPrimeTsMin還小的值。因此,無論是轉換略過還是非轉換略過,都可抑制PSNR的降低,而可抑制編碼效率的降低。
此外,在非轉換略過的情況下,亦可使用非轉換略過之際的量化參數之最小值(值「0」)而將量化參數之下限予以限幅。作為該限幅處理之對象的量化參數之下限,由於是藉由上述的針對基於適應色彩轉換之相關參數而已被補正之量化參數的限幅而已經以值「0」做了限幅,因此在此情況下也是獲得,和將下限之限幅予以略過之情況實質上同等的補正結果。
<量化參數補正裝置> 上述的本技術,係可於任意的裝置中做適用。圖6係適用了本技術的影像處理裝置之一態樣的量化參數補正裝置之構成之一例的區塊圖。圖6所示的量化參數補正裝置140,係為和量化參數補正裝置100相同之裝置,係將關於影像的係數資料之量化處理或逆量化處理中所被使用的量化參數,予以補正。此時,量化參數補正裝置140,係適用上述的「方法3」,而將量化參數予以補正。
此外,於圖6中係主要表示處理部或資料的流向等,圖6所示者並非全部。亦即,於量化參數補正裝置140中,亦可存在有於圖6中未以區塊而被表示的處理部,亦可存在有於圖6中未以箭頭等而表示的處理或資料之流向。
如圖6所示,量化參數補正裝置140係具有:第1補正部141、第2補正部142、及第3補正部143。
第1補正部141,係為和量化參數補正裝置100的第1補正部101相同的處理部,執行相同的處理。亦即,第1補正部141,係執行基於適應色彩轉換之相關參數的補正之相關處理。例如,第1補正部141,係將表示處理對象之分量的分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,第1補正部141,係取得cu_act_enabled_flag,來作為適應色彩轉換之相關參數。然後,第1補正部141,係取得分量識別元cIdx所對應之補正量dqPx。
第1補正部141,係在cu_act_enabled_flag為真(例如「1」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。又,第1補正部141,係在cu_act_enabled_flag為偽(例如「0」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。亦即,第1補正部141,係執行如以下之語法的處理。
Figure 02_image029
第1補正部141,係將已導出之第1補正量化參數qP',供給至第2補正部142。
第2補正部142,係執行對第1補正量化參數qP'的限幅處理。例如,第2補正部142,係將從第1補正部141所被供給之第1補正量化參數qP'加以取得。第2補正部142,係取得位元深度所對應之補正量QpBdOffset。
第2補正部142,係將第1補正量化參數qP'之上限以量化參數之最大值(63+QpBdOffset)進行限幅,將第1補正量化參數qP'之下限以量化參數之最小值(值「0」)進行限幅。藉由該處理,第2補正部142係將第2補正量化參數qP''予以導出。
換言之,第2補正部142,係對第1補正量化參數qP',執行如以下的式(15)所示的處理,而導出第2補正量化參數qP''。
Figure 02_image031
第2補正部142,係將已導出的第2補正量化參數qP'',供給至第3補正部143。
第3補正部143,係和量化參數補正裝置100的第2補正部102同樣地,執行基於轉換略過之相關參數的補正之相關處理。例如,第3補正部143,係將從第2補正部142所被供給的第2補正量化參數qP'',加以取得。又,第3補正部143,係取得分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],來作為轉換略過之相關參數。然後,第3補正部143,係取得轉換略過之際的量化參數之最小值QpPrimeTsMin,來作為轉換略過之相關參數。
第3補正部143,係在transform_skip_flag為真(例如「1」)的情況下,使用QpPrimeTsMin而將第2補正量化參數qP''之下限予以限幅,而導出第3補正量化參數qP'''。換言之,第3補正部143,係在transform_skip_flag為真的情況下,將QpPrimeTsMin與第2補正量化參數qP''之中的較大之一方,設定成第3補正量化參數qP'''。
相對於此,在transform_skip_flag為偽(例如「0」)的情況下,第3補正部143,係略過(省略)該限幅處理,將第2補正量化參數qP'',設定成第3補正量化參數qP'''。換言之,第3補正部143,係在transform_skip_flag為偽的情況下,則是以基於硬體或軟體等之規格所能採取的最小值而將第1補正量化參數qP'之下限予以限幅,而導出第3補正量化參數qP'''。亦即,第3補正部143,係執行如以下之語法的處理。
Figure 02_image033
第3補正部143,係將已導出之第3補正量化參數qP''',當作已被輸入之量化參數qP之補正結果(補正後的量化參數),輸出至量化參數補正裝置140之外部。
換言之,量化參數補正裝置140,係在轉換略過的情況下,執行如以下的式(16)所示的處理,將量化參數予以補正。又,量化參數補正裝置140,係在非轉換略過的情況下,執行如以下的式(17)所示的處理,將量化參數予以補正。
Figure 02_image035
換言之,量化參數補正裝置120,係參照適應色彩轉換旗標(cu_act_enabled_flag)、ACT所對應之補正量dqP、分量識別元cIdx所對應之轉換略過旗標(transform_skip_flag)、分量識別元cIdx所對應之CU層級之量化參數(qPx)、位元深度所對應之補正量QpBdOffset、量化參數之最小值「0」、位元深度所對應之補正量QpBdOffset所致之補正前的量化參數之最大值「63」、及轉換略過之際的量化參數之最小值QpPrimeTsMin,而將要對分量識別元cIdx所對應之處理對象轉換區塊做適用的量化參數qP予以導出。
如此,量化參數補正裝置140,係在適應色彩轉換所致之量化參數的補正後,基於量化參數之最小值與最大值,而將量化參數予以補正使落在有效的值。亦即,藉由如此進行補正,補正後的量化參數之值,就會落在量化參數之最小值乃至最大值的範圍內。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此就可抑制PSNR的降低,而可抑制編碼效率的降低。
又,在轉換略過的情況下,還會使用轉換略過之際的量化參數之最小值QpPrimeTsMin而將量化參數之下限予以限幅,因此補正後的量化參數,不會變成比該QpPrimeTsMin還小的值。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此,無論是轉換略過還是非轉換略過,都可抑制抑制PSNR的降低,而可抑制編碼效率的降低。
此外,亦可取代transform_skip_flag而改為適用mts_idx,作為mts_idx之1模式而通知是否為轉換略過。亦即,量化參數補正裝置140(第3補正部143),亦可不是取得transform_skip_flag而改為取得mts_idx,基於其值,來判定轉換略過是否被適用。又,QpPrimeTsMin,係亦可按照每一分量(Y, Cb, Cr, CbCr)而被通知。亦即,量化參數補正裝置140(第3補正部143),係亦可取得分量識別元cIdx所對應之QpPrimeTsMin,使用該分量識別元cIdx所對應之QpPrimeTsMin而將第2補正量化參數qP''之下限予以限幅。
<量化參數補正處理之流程> 接著,藉由該量化參數補正裝置140而被執行的量化參數補正處理的流程之例子,參照圖7的流程圖來說明。
一旦量化參數補正處理被開始,則量化參數補正裝置140的第1補正部141,係於步驟S141中,藉由判定是否滿足條件1,以判定是否適用適應色彩轉換。該條件1,係和第1實施形態(圖3)之情況相同。在判定為滿足條件1(亦即要適用適應色彩轉換)的情況下,處理係往步驟S142前進。
於步驟S142中,第1補正部141,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。該處理,係和圖3的步驟S102之處理同樣地被執行。
一旦步驟S142之處理結束,則處理係往步驟S144前進。又,於步驟S141中,判定為不滿足條件1(亦即不適用適應色彩轉換)的情況下,處理係往步驟S143前進。
於步驟S143中,第1補正部141,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。該處理,係和圖3的步驟S103之處理同樣地被執行。
一旦步驟S143之處理結束,則處理係往步驟S144前進。
於步驟S144中,第2補正部142,係將第1補正量化參數qP'之上限以量化參數之最大值(63+QpBdOffset)進行限幅,將第1補正量化參數qP'之下限以量化參數之最小值(值「0」)進行限幅。藉由該處理,第2補正部142係將第2補正量化參數qP''予以導出。
亦即,第2補正部142,係對第1補正量化參數qP',執行如上述的式(15)所示的處理,而導出第2補正量化參數qP''。一旦步驟S144之處理結束,則處理係前進至步驟S145。
於步驟S145中,第3補正部143,係藉由判定是否滿足條件2,以判定是否為轉換略過。該條件2,係和第1實施形態(圖3)之情況相同。在判定為滿足條件2(亦即是轉換略過)的情況下,處理係往步驟S146前進。
於步驟S146中,第3補正部143,係使用QpPrimeTsMin而將第2補正量化參數qP''之下限予以限幅,而導出第3補正量化參數qP'''。該處理,係和圖3的步驟S105之處理同樣地被執行。
一旦步驟S146之處理結束,則量化參數補正處理就結束。又,於步驟S145中,判定為不滿足條件2(亦即係為非轉換略過)的情況下,處理係往步驟S147前進。
於步驟S147中,第3補正部143,係略過(省略)步驟S146的限幅處理,將第2補正量化參數qP'',設定成第3補正量化參數qP'''。該處理,係和圖3的步驟S106之處理同樣地被執行。
一旦步驟S147之處理結束,則量化參數補正處理就結束。
藉由如以上般地執行量化參數補正處理,量化參數補正裝置140,係可使補正後的量化參數之值,落在量化參數之最小值乃至最大值的範圍內。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此就可抑制PSNR的降低,而可抑制編碼效率的降低。
又,在轉換略過的情況下,也是使用QpPrimeTsMin而將量化參數之下限予以限幅,因此補正後的量化參數不會變成比該QpPrimeTsMin還小的值。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此,無論是轉換略過還是非轉換略過,都可抑制抑制PSNR的降低,而可抑制編碼效率的降低。
<5.第4實施形態> <量化參數的上限控制> 第3實施形態中所說明的方法3中的對第1補正量化參數qP'的限幅處理,係亦可與基於轉換略過之相關參數的補正之限幅處理整合。
亦即,如圖1所示的表的最下段所示,亦可將轉換略過所致之量化參數補正處理,執行如下。亦即,在轉換略過的情況下,針對第1補正量化參數qP',亦可將其下限以轉換略過之際的量化參數之最小值QpPrimeTsMin進行限幅,將其上限以量化參數之最大值(63+QpBdOffset)進行限幅。又,在非轉換略過的情況下,針對第1補正量化參數qP',亦可將其下限以非轉換略過之際的量化參數之最小值「0」進行限幅,將其上限以量化參數之最大值(63+QpBdOffset)進行限幅(方法4)。
例如,於影像處理裝置中,量化參數補正部,係亦可在適用轉換略過的情況下,將基於適應色彩轉換之相關參數而已被補正之量化參數之下限,以已被預先設定之,適用轉換略過之情況的量化參數之最小值進行限幅,並且,將基於適應色彩轉換之相關參數而已被補正之量化參數之上限,以已被預先設定之量化參數之最大值進行限幅。該量化參數之最大值,係亦可為使用基於位元深度的補正量而已被補正之值。例如,該量化參數之最大值係亦可為,以基於位元深度的補正量而被補正之前的量化參數之最大值、與基於位元深度的補正量之和。
又,例如,於影像處理裝置中,量化參數補正部,係亦可在不適用轉換略過的情況下,將基於適應色彩轉換之相關參數而已被補正之量化參數之下限,以已被預先設定之量化參數之最小值進行限幅,並且,將基於適應色彩轉換之相關參數而已被補正之量化參數之上限,以已被預先設定之量化參數之最大值進行限幅。該量化參數之最大值,係亦可為使用基於位元深度的補正量而已被補正之值。例如,該量化參數之最大值係亦可為,以基於位元深度的補正量而被補正之前的量化參數之最大值、與基於位元深度的補正量之和。
藉由如此設計,就可獲得與方法3之情況相同的,補正後的量化參數之值。亦即,補正後的量化參數之值,係會落在量化參數之最小值乃至最大值的範圍內。因此,可抑制PSNR的降低,而可抑制編碼效率的降低。
又,在轉換略過的情況下,係使用轉換略過之際的量化參數之最小值QpPrimeTsMin而將量化參數之下限予以限幅,因此補正後的量化參數,不會變成比該QpPrimeTsMin還小的值。因此,無論是轉換略過還是非轉換略過,都可抑制PSNR的降低,而可抑制編碼效率的降低。
<量化參數補正裝置> 上述的本技術,係可於任意的裝置中做適用。圖8係適用了本技術的影像處理裝置之一態樣的量化參數補正裝置之構成之一例的區塊圖。圖8所示的量化參數補正裝置160,係為和量化參數補正裝置100相同之裝置,係將關於影像的係數資料之量化處理或逆量化處理中所被使用的量化參數,予以補正。此時,量化參數補正裝置160,係適用上述的「方法4」,而將量化參數予以補正。
此外,於圖8中係主要表示處理部或資料的流向等,圖8所示者並非全部。亦即,於量化參數補正裝置160中,亦可存在有於圖8中未以區塊而被表示的處理部,亦可存在有於圖8中未以箭頭等而表示的處理或資料之流向。
如圖8所示,量化參數補正裝置160係具有第1補正部161及第2補正部162。
第1補正部161,係為和量化參數補正裝置100的第1補正部101相同的處理部,執行相同的處理。亦即,第1補正部161,係執行基於適應色彩轉換之相關參數的補正之相關處理。例如,第1補正部161,係將表示處理對象之分量的分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,第1補正部161,係取得cu_act_enabled_flag,來作為適應色彩轉換之相關參數。然後,第1補正部161,係取得分量識別元cIdx所對應之補正量dqPx。
第1補正部161,係在cu_act_enabled_flag為真(例如「1」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。又,第1補正部161,係在cu_act_enabled_flag為偽(例如「0」)的情況下,對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。亦即,第1補正部161,係執行如以下之語法的處理。
Figure 02_image037
第1補正部161,係將已導出之第1補正量化參數qP',供給至第2補正部162。
第2補正部162,係和量化參數補正裝置100的第2補正部102同樣地,執行基於轉換略過之相關參數的補正之相關處理。例如,第2補正部162,係將從第1補正部161所被供給之第1補正量化參數qP'加以取得。又,第2補正部162,係取得分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],來作為轉換略過之相關參數。然後,第2補正部162,係取得轉換略過之際的量化參數之最小值QpPrimeTsMin,來作為轉換略過之相關參數。
然後,第2補正部162,係取得位元深度所對應之補正量QpBdOffset。
第2補正部162,係在transform_skip_flag為真(例如「1」)的情況下,使用QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅,並使用(63+QpBdOffset)而將第1補正量化參數qP'之上限予以限幅。第2補正部162,係藉由如此的限幅處理,以從第1補正量化參數qP'導出第2補正量化參數qP''。亦即,第2補正量化參數qP''之值,是被限制成(QpPrimeTsMin乃至(63+QpBdOffset))之範圍內(第2補正量化參數qP''之值是被控制成會落在(QpPrimeTsMin乃至(63+QpBdOffset))之範圍內)。
相對於此,在transform_skip_flag為偽(例如「0」)的情況下,第2補正部162,係使用值「0」而將量化參數之下限予以限幅,使用(63+QpBdOffset)而將第1補正量化參數qP'之上限予以限幅。亦即,第2補正部162,係以非轉換略過之際的量化參數之最小值與最大值,而將第1補正量化參數qP'之上限與下限予以限幅。第2補正部162,係藉由如此的限幅處理,以從第1補正量化參數qP'導出第2補正量化參數qP''。亦即,第2補正量化參數qP''之值,是被限制成(0乃至(63+QpBdOffset))之範圍內(第2補正量化參數qP''之值是被控制成會落在(0乃至(63+QpBdOffset))之範圍內)。
亦即,第2補正部162,係執行如以下之語法的處理。
Figure 02_image039
第2補正部162,係將已導出之第2補正量化參數qP'',當作已被輸入之量化參數qP之補正結果(補正後的量化參數),輸出至量化參數補正裝置160之外部。
換言之,量化參數補正裝置160,係在轉換略過的情況下,執行如以下的式(16)所示的處理,而將量化參數予以補正。又,量化參數補正裝置120,係在非轉換略過的情況下,執行如上述的式(17)所示的處理,而將量化參數予以補正。
Figure 02_image041
亦即,方法4的情況下,是執行實質上與方法3之情況同等之演算,而獲得同等之補正結果。
換言之,量化參數補正裝置120,係和方法3同樣地,參照適應色彩轉換旗標(cu_act_enabled_flag)、ACT所對應之補正量dqP、分量識別元cIdx所對應之轉換略過旗標(transform_skip_flag)、分量識別元cIdx所對應之CU層級之量化參數(qPx)、位元深度所對應之補正量QpBdOffset、量化參數之最小值「0」、位元深度所對應之補正量QpBdOffset所致之補正前的量化參數之最大值「63」、及轉換略過之際的量化參數之最小值QpPrimeTsMin,而將要對分量識別元cIdx所對應之處理對象轉換區塊做適用的量化參數qP予以導出。
如此,量化參數補正裝置160,係在非轉換略過的情況下,於適應色彩轉換所致之量化參數的補正後,基於量化參數之最小值與最大值,而將量化參數予以補正使其落在有效的值。又,量化參數補正裝置160,係在轉換略過的情況下,於適應色彩轉換所致之量化參數的補正後,基於轉換略過之際的量化參數之最小值與最大值,而將量化參數予以補正使其落在有效的值。藉由如此設計,量化參數補正裝置100,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於量化或逆量化中不會變成量化步距Δ<1。因此,例如編碼器或解碼器是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此,無論是轉換略過還是非轉換略過,都可抑制抑制PSNR的降低,而可抑制編碼效率的降低。
此外,亦可取代transform_skip_flag而改為適用mts_idx,作為mts_idx之1模式而通知是否為轉換略過。亦即,量化參數補正裝置160(第2補正部162),亦可不是取得transform_skip_flag而改為取得mts_idx,基於其值,來判定轉換略過是否被適用。又,QpPrimeTsMin,係亦可按照每一分量(Y, Cb, Cr, CbCr)而被通知。亦即,量化參數補正裝置160(第2補正部162),係亦可取得分量識別元cIdx所對應之QpPrimeTsMin,使用該分量識別元cIdx所對應之QpPrimeTsMin而將第1補正量化參數qP'之下限予以限幅。
<量化參數補正處理之流程> 接著,藉由該量化參數補正裝置160而被執行的量化參數補正處理的流程之例子,參照圖9的流程圖來說明。
一旦量化參數補正處理被開始,則量化參數補正裝置160的第1補正部161,係於步驟S161中,藉由判定是否滿足條件1,以判定是否適用適應色彩轉換。該條件1,係和第1實施形態(圖3)之情況相同。在判定為滿足條件1(亦即要適用適應色彩轉換)的情況下,處理係往步驟S162前進。
於步驟S162中,第1補正部161,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算分量識別元cIdx所對應之補正量dqPx,而導出第1補正量化參數qP'。該處理,係和圖3的步驟S102之處理同樣地被執行。
一旦步驟S162之處理結束,則處理係往步驟S164前進。又,於步驟S161中,判定為不滿足條件1(亦即不適用適應色彩轉換)的情況下,處理係往步驟S163前進。
於步驟S163中,第1補正部161,係對分量識別元cIdx所對應之CU層級之量化參數qPx,加算補正量「0」,而導出第1補正量化參數qP'。該處理,係和圖3的步驟S103之處理同樣地被執行。
一旦步驟S163之處理結束,則處理係往步驟S164前進。
於步驟S164中,第2補正部162,係藉由判定是否滿足條件2,以判定是否為轉換略過。該條件2,係和第1實施形態(圖3)之情況相同。在判定為滿足條件2(亦即是轉換略過)的情況下,處理係往步驟S165前進。
於步驟S165中,第2補正部162,係使用(63+QpBdOffset)及QpPrimeTsMin而將第1補正量化參數qP'之上限及下限予以限幅,而導出第2補正量化參數qP''。亦即,第2補正部162,係執行以下的式(19)之演算。
Figure 02_image043
一旦步驟S165之處理結束,則量化參數補正處理就結束。又,於步驟S164中,判定為不滿足條件2(亦即係為非轉換略過)的情況下,處理係往步驟S166前進。
於步驟S166中,第2補正部162,係使用(63+QpBdOffset)及值「0」而將第1補正量化參數qP'之上限及下限予以限幅,而導出第2補正量化參數qP''。亦即,第2補正部162,係執行上述的式(15)之演算。
Figure 02_image045
一旦步驟S166之處理結束,則量化參數補正處理就結束。
藉由如以上般地執行量化參數補正處理,量化參數補正裝置100,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於量化或逆量化中不會變成量化步距Δ<1。因此,例如,編碼器或解碼器,是使用如此已被補正之量化參數,來執行影像的係數資料之量化或逆量化,藉此就可抑制PSNR的降低,而可抑制編碼效率的降低。
<6.第5實施形態> <影像編碼裝置> 以上所說明的本技術(各種方法),係可適用於任意的裝置、元件、系統等。例如,可對將影像資料進行編碼的影像編碼裝置,適用本技術。
圖10係適用了本技術的影像處理裝置之一態樣的影像編碼裝置之構成之一例的區塊圖。圖10所示的影像編碼裝置300,係為將動態影像之影像資料予以編碼的裝置。例如,影像編碼裝置300係以上述的非專利文獻所記載的VVC(Versatile Video Coding)、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等之編碼方式,將動態影像之影像資料予以編碼。
此外,於圖10中係主要表示處理部或資料的流向等,圖10所示者並非全部。亦即,於影像編碼裝置300中,亦可存在有於圖10中未以區塊而被表示的處理部,亦可存在有於圖10中未以箭頭等而表示的處理或資料之流向。這在影像編碼裝置300內的處理部等的說明的其他圖中也是同樣如此。
如圖10所示,影像編碼裝置300係具有:控制部301、排序緩衝區311、演算部312、轉換量化部313、編碼部314、及積存緩衝區315。又,影像編碼裝置300係具有:逆量化逆轉換部316、演算部317、迴圈內濾波器部318、畫格記憶體319、預測部320、及速率控制部321。
<控制部> 控制部301,係基於外部、或預先指定之處理單位之區塊尺寸,而將已被排序緩衝區311所保持的動態影像資料,分割成處理單位之區塊(CU、PU、TU等)。又,控制部301,係將供給至各區塊的編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等),例如基於RDO(Rate-Distortion Optimization),而加以決定。例如,控制部301係可設定轉換略過旗標等。
關於這些編碼參數的細節,將於後述。控制部301,係一旦決定了如以上之編碼參數,就將它們供給至各區塊。具體而言,係如以下所述。
標頭資訊Hinfo,係被供給至各區塊。預測模式資訊Pinfo,係被供給至編碼部314及預測部320。轉換資訊Tinfo,係被供給至編碼部314、轉換量化部313、及逆量化逆轉換部316。濾波器資訊Finfo,係被供給至編碼部314及迴圈內濾波器部318。
<排序緩衝區> 對影像編碼裝置300,係動態影像資料之各圖場(輸入影像)係按照其再生順序(顯示順序)而被輸入。排序緩衝區311,係將各輸入影像依照其再生順序(顯示順序)而加以取得,並保持(記憶)。排序緩衝區311,係基於控制部301之控制,而將該輸入影像排序成編碼順序(解碼順序),或分割成處理單位之區塊等等。排序緩衝區311,係將處理後的各輸入影像,供給至演算部312。
<演算部> 演算部312,係將從排序緩衝區311所被供給之處理單位之區塊所對應之影像,減去從預測部320所被供給之預測影像P,而導出殘差資料D,並將其供給至轉換量化部313。
<轉換量化部> 轉換量化部313,係執行轉換量化之相關處理。例如,轉換量化部313係將從演算部312所被供給之殘差資料D,加以取得。又,轉換量化部313,係將從控制部301所被供給之預測模式資訊Pinfo及轉換資訊Tinfo,加以取得。轉換量化部313,係基於該預測模式資訊Pinfo及轉換資訊Tinfo,而對該殘差資料D執行轉換量化處理,導出量化係數資料level。於轉換量化處理中,例如適應色彩轉換、正交轉換、及量化等之處理會被執行。當然,轉換量化處理中所包含之處理係為任意,亦可省略上述的一部分之處理,亦可包含有上述的以外之處理。轉換量化部313,係將已導出之量化係數資料level,供給至編碼部314及逆量化逆轉換部316。
<編碼部> 編碼部314,係將從轉換量化部313所被供給的量化係數資料level(或殘差資料D),加以取得。又,編碼部314,係將從控制部301所被供給之各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等),加以取得。再者,編碼部314,係將從迴圈內濾波器部318所被供給之濾波器係數等之濾波器之相關資訊,加以取得。又,編碼部314,係將從預測部320所被供給之最佳的預測模式之相關資訊,加以取得。
編碼部314,係將量化係數資料level或殘差資料D進行熵編碼(可逆編碼),生成位元列(編碼資料)。編碼部314,作為該熵編碼,係可適用例如CABAC(Context-based Adaptive Binary Arithmetic Code)。編碼部314,作為該熵編碼,係可適用例如CAVLC(Context-based Adaptive Variable Length Code)。當然,該熵編碼的內容係為任意,並不限定於這些例子。
又,編碼部314,係從該量化係數等級,導出殘差資訊Rinfo,並將殘差資訊Rinfo予以編碼,生成位元列。
然後,編碼部314,係將從迴圈內濾波器部318所被供給之濾波器的相關資訊含入至濾波器資訊Finfo中,將從預測部320所被供給之最佳的預測模式的相關資訊含入至預測模式資訊Pinfo中。然後,編碼部314,係將上述的各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)予以編碼,生成位元列。
又,編碼部314,係將如以上所被生成的各種資訊之位元列進行多工化,生成編碼資料。編碼部314,係將該編碼資料,供給至積存緩衝區315。
<積存緩衝區> 積存緩衝區315,係將編碼部314中所得到的編碼資料,予以暫時保持。積存緩衝區315,係在所定之時序上,將所保持的編碼資料,例如作為位元串流等而輸出至影像編碼裝置300之外部。例如,該編碼資料,係透過任意之記錄媒體、任意之傳輸媒體、任意之資訊處理裝置等,而被傳輸至解碼側。亦即,積存緩衝區315,係亦為將編碼資料(位元串流)予以傳輸的傳輸部。
<逆量化逆轉換部> 逆量化逆轉換部316,係執行逆量化逆轉換之相關處理。例如,逆量化逆轉換部316,係將從轉換量化部313所被供給之量化係數資料level,加以取得。例如,逆量化逆轉換部316,係將從控制部301所被供給之轉換資訊Tinfo,加以取得。
逆量化逆轉換部316,係基於轉換資訊Tinfo,而對量化係數資料level執行逆量化逆轉換處理,導出殘差資料D'。該逆量化逆轉換處理,係為轉換量化部313中所被執行之轉換量化處理的逆處理。亦即,於逆量化逆轉換處理中係執行例如:逆量化、逆正交轉換、及逆適應色彩轉換等之處理。逆量化,係為轉換量化部313中所被執行之量化的逆處理。逆正交轉換,係為轉換量化部313中所被執行之正交轉換的逆處理。逆適應色彩轉換,係為轉換量化部313中所被執行之適應色彩轉換的逆處理。當然,逆量化逆轉換處理中所包含之處理係為任意,亦可省略上述的一部分之處理,亦可包含有上述的以外之處理。逆量化逆轉換部316係將已導出之殘差資料D'供給至演算部317。
此外,該逆量化逆轉換部316,係和解碼側的逆量化逆轉換部(後述)相同,因此關於逆量化逆轉換部316係可適用關於解碼側的說明(後述)。
<演算部> 演算部317,係將從逆量化逆轉換部316所被供給之殘差資料D'、和從預測部320所被供給之預測影像P,加以取得。演算部317係將該殘差資料D'、與該殘差資料D'所對應之預測影像進行加算,將局部解碼影像予以導出。演算部317係將已導出之局部解碼影像,供給至迴圈內濾波器部318及畫格記憶體319。
<迴圈內濾波器部> 迴圈內濾波器部318,係執行迴圈內濾波器處理之相關處理。例如,迴圈內濾波器部318,係將從演算部317所被供給之局部解碼影像,加以取得。例如,迴圈內濾波器部318,係將從控制部301所被供給之濾波器資訊Finfo,加以取得。例如,迴圈內濾波器部318,係將從排序緩衝區311所被供給之輸入影像(原影像),加以取得。此外,對迴圈內濾波器部318所被輸入的資訊係為任意,亦可輸入這些資訊以外之資訊。例如,亦可因應需要,而把預測模式、運動資訊、編碼量目標值、量化參數QP、圖像類型、區塊(CU、CTU等)之資訊等,輸入至迴圈內濾波器部318。
迴圈內濾波器部318,係基於該濾波器資訊Finfo,而對局部解碼影像適宜地執行濾波器處理。迴圈內濾波器部318,係因應需要而也把輸入影像(原影像)、或該其他輸入資訊,用於該濾波器處理。
例如,迴圈內濾波器部318,作為該濾波器處理,係可適用雙邊濾波器。例如,迴圈內濾波器部318,作為該濾波器處理,係可適用去區塊濾波器(DBF (DeBlocking Filter))。例如,迴圈內濾波器部318,作為該濾波器處理,係可適用適應偏置濾波器(SAO(Sample Adaptive Offset))。例如,迴圈內濾波器部318,作為該濾波器處理,係可適用適應迴圈濾波器(ALF(Adaptive Loop Filter))。又,迴圈內濾波器部318,作為濾波器處理,係可將這些內複數種濾波器做組合而適用。此外,要適用哪個濾波器,要以何種順序做適用係為任意,可適宜地選擇。例如,迴圈內濾波器部318,作為濾波器處理,係將雙邊濾波器、去區塊濾波器、適應偏置濾波器、及適應迴圈濾波器這4個迴圈內濾波器,按此順序而做適用。
當然,迴圈內濾波器部318所執行的濾波器處理係為任意,不限定於上述的例子。例如,迴圈內濾波器部318係亦可適用維納濾波器等。
迴圈內濾波器部318,係將已被濾波器處理過的局部解碼影像,供給至畫格記憶體319。此外,例如將濾波器係數等之濾波器的相關資訊傳輸至解碼側的情況下,則迴圈內濾波器部318,係將該濾波器的相關資訊,供給至編碼部314。
<畫格記憶體> 畫格記憶體319,係執行關於影像之資料的記憶之相關處理。例如,畫格記憶體319,係將從演算部317所被供給之局部解碼影像、或從迴圈內濾波器部318所被供給之已被濾波器處理過的局部解碼影像,加以取得,並將其予以保持(記憶)。又,畫格記憶體319,係使用該局部解碼影像而將每一圖像單位的解碼影像予以重建,並保持之(儲存至畫格記憶體319內的緩衝區)。畫格記憶體319,係隨應於預測部320之要求,而將該解碼影像(或其一部分),供給至預測部320。
<預測部> 預測部320,係執行預測影像之生成之相關處理。例如,預測部320,係將從控制部301所被供給之預測模式資訊Pinfo,加以取得。例如,預測部320,係將從排序緩衝區311所被供給之輸入影像(原影像),加以取得。例如,預測部320,係將從畫格記憶體319所讀出的解碼影像(或其一部分),加以取得。
預測部320,係使用預測模式資訊Pinfo或輸入影像(原影像),執行畫面間預測或畫面內預測等之預測處理。亦即,預測部320係將解碼影像當作參照影像而進行參照以執行預測與運動補償,生成預測影像P。預測部320,係將已生成之預測影像P,供給至演算部312及演算部317。又,預測部320,係將藉由以上之處理而選擇的預測模式,亦即最佳的預測模式的相關資訊,因應需要而供給至編碼部314。
<速率控制部> 速率控制部321,係執行速率控制之相關處理。例如,速率控制部321,係基於積存緩衝區315中所積存之編碼資料的編碼量,以不會發生溢位或下溢之方式,控制轉換量化部313的量化動作之速率。
<本技術之適用> 對於如以上之構成的影像編碼裝置300,可以適用<1.量化參數之補正>、<2.第1實施形態>、<3.第2實施形態>、<4.第3實施形態>、及<5.第4實施形態>中所上述的本技術。
<控制部> 例如,在適用上述的「方法1」的情況下,控制部301,係將分量識別元cIdx所對應之CU層級之量化參數qPx予以導出,並供給至轉換量化部313及逆量化逆轉換部316。控制部301,作為適應色彩轉換之相關參數,係將cu_act_enabled_flag予以導出,並供給至轉換量化部313及逆量化逆轉換部316。控制部301,作為適應色彩轉換之相關參數,係將分量識別元cIdx所對應之補正量dqPx予以導出,並供給至轉換量化部313及逆量化逆轉換部316。控制部301,作為轉換略過之相關參數,係將分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx]予以導出,並供給至轉換量化部313及逆量化逆轉換部316。控制部301,作為轉換略過之相關參數,係將轉換略過之際的量化參數之最小值QpPrimeTsMin予以導出,並供給至轉換量化部313及逆量化逆轉換部316。又,控制部301,係也將這些參數,供給至編碼部314。
例如,在適用上述的「方法2」的情況下,控制部301,係將適用「方法1」之情況下所供給的參數,供給至轉換量化部313、逆量化逆轉換部316、及編碼部314。控制部301,係除了這些參數以外,還將非轉換略過之際的量化參數之最小值「0」,當作轉換略過之相關參數,而供給至逆量化逆轉換部316、及編碼部314。
例如,在適用上述的「方法3」的情況下,控制部301,係將適用「方法1」之情況下所供給的參數,供給至轉換量化部313、逆量化逆轉換部316、及編碼部314。控制部301,係除了這些參數以外,還將位元深度所對應之補正量QpBdOffset,供給至轉換量化部313、逆量化逆轉換部316、及編碼部314。
例如,在適用上述的「方法4」的情況下,控制部301,係將適用「方法3」之情況下所供給的參數,供給至轉換量化部313、逆量化逆轉換部316、及編碼部314。
<轉換量化部> 例如,在適用上述的「方法1」的情況下,轉換量化部313,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又轉換量化部313,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。轉換量化部313,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。轉換量化部313,係使用已取得之這些參數,來執行轉換量化處理。
例如,在適用上述的「方法2」的情況下,轉換量化部313,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又轉換量化部313,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。轉換量化部313,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,非轉換略過之際的量化參數之最小值「0」,加以取得。轉換量化部313,係使用已取得之這些參數,來執行轉換量化處理。
例如,在適用上述的「方法3」的情況下,轉換量化部313,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又轉換量化部313,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。轉換量化部313,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。轉換量化部313,作為轉換略過之相關參數,係將從控制部301所被供給之,位元深度所對應之補正量QpBdOffset,加以取得。轉換量化部313,係使用已取得之這些參數,來執行轉換量化處理。
例如,在適用上述的「方法4」的情況下,轉換量化部313,係將與適用「方法3」之情況下所取得的相同之參數,加以取得。轉換量化部313,係使用已取得之這些參數,來執行轉換量化處理。
<轉換量化部的構成例> 圖11係圖10的轉換量化部313的主要構成例的區塊圖。如圖11所示,轉換量化部313係具有:適應色彩轉換部341、正交轉換部342、及量化部343。
適應色彩轉換部341,係執行適應色彩轉換(ALT)之相關處理。例如,適應色彩轉換部341,係將從演算部312所被供給之殘差資料res_x(亦即圖10的殘差資料D),加以取得。適應色彩轉換部341,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。適應色彩轉換部341,係基於cu_act_enabled_flag之值,而對殘差資料res_x執行適應色彩轉換。例如,在cu_act_enabled_flag為真(例如「1」)的情況下,適應色彩轉換部341,係執行如上述的式(1)所示的演算,將由R、G、B之分量所成之殘差資料res_x,進行RGB-to-YCgCo轉換。藉由該處理,就會生成由Y、Cg、Co之分量所成之適應色彩轉換係數資料res_x'。適應色彩轉換部341,係將已生成之適應色彩轉換係數資料res_x',供給至正交轉換部342。
正交轉換部342,係執行正交轉換之相關處理。例如,正交轉換部342,係將從適應色彩轉換部341所被供給之適應色彩轉換係數資料res_x',加以取得。正交轉換部342,係將從控制部301所被供給之轉換資訊Tinfo或預測模式資訊Pinfo,加以取得。例如,正交轉換部342,作為轉換資訊Tinfo,係可將transform_skip_flag、mts_idx、lfnst_idx等之資訊,加以取得。正交轉換部342,係使用已取得之這些資訊而將適應色彩轉換係數資料res_x'進行正交轉換,生成正交轉換係數資料coef_x。正交轉換部342,係將已生成之正交轉換係數資料coef_x,供給至量化部343。
量化部343,係執行量化之相關處理。例如,量化部343,係將從正交轉換部342所被供給之正交轉換係數資料coeff_x,加以取得。量化部343,係將該正交轉換係數資料coeff_x進行量化,生成量化係數資料qcoef_x。量化部343,係將已生成之量化係數資料qcoef_x(亦即圖10的量化係數資料level),供給至編碼部314及逆量化逆轉換部316。
例如,在適用上述的「方法1」的情況下,量化部343,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又量化部343,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。量化部343,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。
量化部343,係使用已取得之這些參數,而將正交轉換係數資料coeff_x進行量化,生成量化係數資料qcoef_x。
例如,在適用上述的「方法2」的情況下,量化部343,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又量化部343,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。量化部343,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,非轉換略過之際的量化參數之最小值「0」,加以取得。
量化部343,係使用已取得之這些參數,而將正交轉換係數資料coeff_x進行量化,生成量化係數資料qcoef_x。
例如,在適用上述的「方法3」的情況下,量化部343,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又量化部343,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。量化部343,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。量化部343,作為轉換略過之相關參數,係將從控制部301所被供給之,位元深度所對應之補正量QpBdOffset,加以取得。
量化部343,係使用已取得之這些參數,而將正交轉換係數資料coeff_x進行量化,生成量化係數資料qcoef_x。
例如,在適用上述的「方法4」的情況下,量化部343,係將與適用「方法3」之情況下所取得的相同之參數,加以取得。量化部343,係使用已取得之這些參數,而將正交轉換係數資料coeff_x進行量化,生成量化係數資料qcoef_x。
<量化部的構成例> 圖12係圖11的量化部343的主要構成例的區塊圖。如圖12所示,量化部343係具有量化參數補正部351及量化處理部352。
量化參數補正部351,係執行量化參數之補正之相關處理。例如,量化參數補正部351,係將分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。量化參數補正部351,係將該分量識別元cIdx所對應之CU層級之量化參數qPx進行補正,將補正後的量化參數也就是補正量化參數,供給至量化處理部352。
量化處理部352,係執行量化之相關處理。例如,量化處理部352,係將從正交轉換部342所被供給之正交轉換係數資料coef_x,加以取得。量化處理部352,係將從量化參數補正部351所被供給之補正量化參數,加以取得。量化處理部352,係使用補正量化參數而將正交轉換係數資料coef_x進行量化,生成量化係數資料qcoef_x。量化處理部352,係將已生成之量化係數資料qcoef_x(亦即圖10的量化係數資料level),供給至編碼部314及逆量化逆轉換部316。
在如以上之構成的量化部343中適用本技術的情況下,量化參數補正部351,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正。量化處理部352,係使用已被量化參數補正部351所補正之量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
例如,在適用上述的「方法1」的情況下,作為量化參數補正部351,是適用量化參數補正裝置100(圖2)。亦即,量化參數補正部351,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,量化參數補正部351,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。量化參數補正部351,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後,量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。
量化參數補正部351,係使用已取得之cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、及QpPrimeTsMin,以如第1實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部351,係執行如式(5)或式(6)之演算,以生成第2補正量化參數qP''。量化參數補正部351,係將已生成之第2補正量化參數qP'',供給至量化處理部352。
藉由如此設計,量化參數補正部351,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
例如,在適用上述的「方法2」的情況下,作為量化參數補正部351,是適用量化參數補正裝置120 (圖4)。亦即,量化參數補正部351,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,量化參數補正部351,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。量化參數補正部351,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後,量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,非轉換略過之際的量化參數之最小值「0」,加以取得。
量化參數補正部351,係使用已取得之cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin、及值「0」,以如第2實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部351,係執行如式(5)或式(13)之演算,以生成第2補正量化參數qP''。量化參數補正部351,係將已生成之第2補正量化參數qP'',供給至量化處理部352。
藉由如此設計,量化參數補正部351,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
例如,在適用上述的「方法3」的情況下,作為量化參數補正部351,是適用量化參數補正裝置140(圖6)。亦即,量化參數補正部351,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,量化參數補正部351,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。量化參數補正部351,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後,量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。量化參數補正部351,作為轉換略過之相關參數,係將從控制部301所被供給之,位元深度所對應之補正量QpBdOffset,加以取得。
量化參數補正部351,係使用已取得之cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin、及QpBdOffset,以如第3實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部351,係執行如式(16)或式(17)之演算,以生成第3補正量化參數qP'''。量化參數補正部351,係將已生成之第3補正量化參數qP''',供給至量化處理部352。
藉由如此設計,無論轉換略過是否有被適用,補正後的量化參數之值,係會落在量化參數之最小值乃至最大值的範圍內。又,在轉換略過的情況下,係還會使用轉換略過之際的量化參數之最小值QpPrimeTsMin,而將量化參數之下限予以限幅。亦即,量化參數補正部351,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
例如,在適用上述的「方法4」的情況下,作為量化參數補正部351,是適用量化參數補正裝置160(圖8)。亦即,量化參數補正部351,係將與「方法3」之情況相同之參數,加以取得。
量化參數補正部351,係使用這先參數(cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin、及QpBdOffset),以如第4實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部351,係執行如式(18)或式(17)之演算,以生成第2補正量化參數qP''。量化參數補正部351,係將已生成之第2補正量化參數qP'',供給至量化處理部352。
亦即,方法4的情況下,是執行實質上與方法3之情況同等之演算,而獲得同等之補正結果。因此,此情況下也是,和方法3之情況同樣地,量化參數補正部351係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
<編碼部> 例如,在適用上述的「方法1」的情況下,編碼部314,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又編碼部314,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。編碼部314,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。編碼部314,係將已取得之這些參數進行編碼,生成位元列,並含入至編碼資料中。
藉由如此設計,這些資訊會被訊令。亦即,這些資訊會被供給至解碼側裝置(解碼器等)。因此,該解碼側裝置,係於解碼處理中適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使其不會變成量化步距Δ<1。因此,解碼側裝置,係於該解碼處理中,可使用如此已被補正之量化參數來執行逆量化。因此,解碼側裝置係可抑制PSNR的降低。因此,解碼側裝置係可實現編碼效率的降低之抑制。
例如,在適用上述的「方法2」的情況下,編碼部314,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又編碼部314,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。編碼部314,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,非轉換略過之際的量化參數之最小值「0」,加以取得。編碼部314,係將已取得之這些參數進行編碼,生成位元列,並含入至編碼資料中。
藉由如此設計,這些資訊會被訊令。亦即,這些資訊會被供給至解碼側裝置(解碼器等)。因此,該解碼側裝置,係於解碼處理中,無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使其不會變成量化步距Δ<1。因此,解碼側裝置,係於該解碼處理中,可使用如此已被補正之量化參數來執行逆量化。因此,解碼側裝置係可抑制PSNR的降低。因此,解碼側裝置係可實現編碼效率的降低之抑制。
例如,在適用上述的「方法3」的情況下,編碼部314,係將從控制部301所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又編碼部314,作為適應色彩轉換之相關參數,係將從控制部301所被供給之cu_act_enabled_flag,加以取得。編碼部314,作為適應色彩轉換之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。編碼部314,作為轉換略過之相關參數,係將從控制部301所被供給之,位元深度所對應之補正量QpBdOffset,加以取得。編碼部314,係將已取得之這些參數進行編碼,生成位元列,並含入至編碼資料中。
藉由如此設計,這些資訊會被訊令。亦即,這些資訊會被供給至解碼側裝置(解碼器等)。因此,於該解碼側裝置所做的解碼處理中,無論轉換略過是否有被適用,補正後的量化參數之值,係都會落在量化參數之最小值乃至最大值之範圍內。又,在轉換略過的情況下,係還會使用轉換略過之際的量化參數之最小值QpPrimeTsMin,而將量化參數之下限予以限幅。亦即,解碼側裝置,係於解碼處理中,無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使其不會變成量化步距Δ<1。因此,解碼側裝置,係於該解碼處理中,可使用如此已被補正之量化參數來執行逆量化。因此,解碼側裝置係可抑制PSNR的降低。因此,解碼側裝置係可實現編碼效率的降低之抑制。
例如,在適用上述的「方法4」的情況下,編碼部314係取得與「方法3」之情況下相同之參數。編碼部314,係將已取得之這些參數(cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin、及QpBdOffset)進行編碼,生成位元列,並含入至編碼資料中。
藉由如此設計,這些資訊會被訊令。亦即,這些資訊會被供給至解碼側裝置(解碼器等)。因此,此情況下也是,該解碼側裝置,係於解碼處理中,無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使其不會變成量化步距Δ<1。因此,解碼側裝置,係於該解碼處理中,可使用如此已被補正之量化參數來執行逆量化。因此,解碼側裝置係可抑制PSNR的降低。因此,解碼側裝置係可實現編碼效率的降低之抑制。
<影像編碼處理的流程> 接著說明如以上之影像編碼裝置300所執行的各處理的流程。首先,參照圖13的流程圖,說明影像編碼處理的流程之例子。
影像編碼處理一旦開始,則於步驟S301中,排序緩衝區311,係被控制部301所控制,將已被輸入之動態影像資料之畫格的順序,從顯示順序排序成編碼順序。
於步驟S302中,控制部301,係對排序緩衝區311所保持的輸入影像,設定處理單位(將區塊予以分割)。
於步驟S303中,控制部301,係將關於排序緩衝區311所保持之輸入影像的編碼參數(例如標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo等),加以設定。
於步驟S304中,預測部320係執行預測處理,生成最佳的預測模式之預測影像等。例如,於該預測處理中,預測部320,係執行畫面內預測而生成最佳的畫面內預測模式之預測影像等,並執行畫面間預測而生成最佳的畫面間預測模式之預測影像等,從這些之中,基於成本函數值等而選擇出最佳的預測模式。
於步驟S305中,演算部312係演算,輸入影像、與藉由步驟S304之預測處理而被選擇之最佳的模式之預測影像的差分。亦即,演算部312,係生成輸入影像與預測影像的殘差資料D。如此而被求出的殘差資料D,係相較於原始的影像資料,資料量是被較為降低。因此,相較於把影像直接進行編碼的情形,可壓縮資料量。
於步驟S306中,轉換量化部313,係使用於步驟S303中所被生成之轉換資訊Tinfo等之編碼參數,對藉由步驟S305之處理而被生成之殘差資料D執行轉換量化處理,生成量化係數資料level。
於步驟S307中,逆量化逆轉換部316,係使用於步驟S303中所被生成之轉換資訊Tinfo等之編碼參數,而對步驟S306中所被生成之量化係數資料level,執行逆量化逆轉換處理,生成殘差資料D'。
該逆量化逆轉換處理,係為步驟S306之轉換量化處理的逆處理。後述的解碼側裝置(影像解碼裝置400)中,也是執行同樣的處理。因此,該逆量化逆轉換處理,係視為解碼側裝置(影像解碼裝置400)之處理而做說明。而且該說明係可適用於該逆量化逆轉換處理(步驟S307)。
於步驟S308中,演算部317,係對藉由步驟S307的逆量化逆轉換處理所得到的殘差資料D',加算藉由步驟S304之預測處理而得到的預測影像,以生成已被局部性解碼的解碼影像。
於步驟S309中,迴圈內濾波器部318,係對藉由步驟S308之處理而被導出的,已被局部性解碼的解碼影像,執行迴圈內濾波器處理。
於步驟S310中,畫格記憶體319係將,藉由步驟S308之處理而被導出的,已被局部性解碼的解碼影像、或於步驟S309中已被濾波器處理過的,已被局部性解碼的解碼影像,加以記憶。
於步驟S311中,編碼部314係將藉由步驟S306的轉換量化處理所得到的量化係數資料level予以編碼,生成編碼資料。又,此時,編碼部314係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo),予以編碼。然後,編碼部314,係從量化係數資料level導出殘差資訊RInfo,將該殘差資訊RInfo予以編碼。
於步驟S312中,積存緩衝區315,係將如此而獲得的編碼資料予以積存,例如作為位元串流,將其輸出至影像編碼裝置300之外部。該位元串流係例如,透過傳輸路或記錄媒體而被傳輸至解碼側裝置。又,速率控制部321,係因應需要而控制速率。一旦步驟S312的處理結束,則影像編碼處理就結束。
<轉換量化處理的流程> 接著,參照圖14的流程圖,說明圖13的步驟S306中所被執行之轉換量化處理的流程之例子。
一旦轉換量化處理被開始,則適應色彩轉換部341,係於步驟S341中,基於步驟S303(圖13)中所被生成之cu_act_enabled_flag,而將藉由步驟S305之處理而被生成之殘差資料res_x進行適應色彩轉換,生成適應色彩轉換係數資料res_x'。
於步驟S342中,正交轉換部342,係使用步驟S303(圖13)中所被生成之轉換資訊Tinfo或預測模式資訊Pinfo等,將步驟S341中所被生成之適應色彩轉換係數資料res_x'進行正交轉換,生成正交轉換係數資料coef_x。
於步驟S343中,量化部343,係使用步驟S303(圖13)中所被生成之轉換資訊Tinfo等,將步驟S342中所被生成之正交轉換係數資料coef_x進行量化,生成量化係數資料qcoef_x。
一旦步驟S343之處理結束,則處理係回到圖13。
<量化處理的流程> 其次,參照圖15的流程圖,說明圖14之步驟S343中所執行的量化處理的流程之例子。
一旦量化處理被開始,則量化參數補正部351,係於步驟S351中,執行量化參數補正處理,將量化參數進行補正,生成補正量化參數。
於步驟S352中,量化處理部352,係使用步驟S351中所被生成之補正量化參數,將步驟S342(圖14)中所被生成之正交轉換係數資料coef_x進行量化,生成量化係數資料qcoef_x。
一旦步驟S352的處理結束,則量化處理就結束,處理係回到圖14。
於如此的量化處理中,可以適用<1.量化參數之補正>、<2.第1實施形態>、<3.第2實施形態>、<4.第3實施形態>、及<5.第4實施形態>中所上述的本技術。
亦即,在如以上的量化處理中適用本技術的情況下,於步驟S351中,量化參數補正部351,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正。於步驟S352中,量化處理部352,係使用該已被補正之量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
例如,在適用上述的「方法1」的情況下,量化參數補正部351,作為步驟S351之量化參數補正處理,是適用參照圖3的流程圖所說明的量化參數補正處理。亦即,量化參數補正部351,係執行如式(5)或式(6)之演算,以生成第2補正量化參數qP''。
藉由如此設計,量化參數補正部351,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
例如,在適用上述的「方法2」的情況下,量化參數補正部351,作為步驟S351之量化參數補正處理,是適用參照圖5的流程圖所說明的量化參數補正處理。亦即,量化參數補正部351,係執行如式(5)或式(13)之演算,以生成第2補正量化參數qP''。
藉由如此設計,量化參數補正部351,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
例如,在適用上述的「方法3」的情況下,量化參數補正部351,作為步驟S351之量化參數補正處理,是適用參照圖7的流程圖所說明的量化參數補正處理。亦即,量化參數補正部351,係執行如式(16)或式(17)之演算,以生成第3補正量化參數qP'''。
藉由如此設計,無論轉換略過是否有被適用,補正後的量化參數之值,係會落在量化參數之最小值乃至最大值的範圍內。在轉換略過的情況下,係還會使用轉換略過之際的量化參數之最小值QpPrimeTsMin,而將量化參數之下限予以限幅。亦即,量化參數補正部351,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
例如,在適用上述的「方法4」的情況下,量化參數補正部351,作為步驟S351之量化參數補正處理,是適用參照圖9的流程圖所說明的量化參數補正處理。亦即,量化參數補正部351,係執行如式(18)或式(17)之演算,以生成第2補正量化參數qP''。
亦即,方法4的情況下,是進行實質上與方法3之情況同等之演算,而獲得同等之補正結果。因此,此情況下也是,和方法3之情況同樣地,無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於量化中不會變成量化步距Δ<1。因此,量化處理部352係使用如此已被補正之量化參數而將影像之係數資料進行量化,藉此,量化部343(轉換量化部313)係可抑制PSNR的降低。因此,影像編碼裝置300係可抑制編碼效率的降低。
<編碼> 此外,於圖13的步驟S311中,編碼部314係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo),予以編碼。在適用本技術的情況下,編碼部314,作為該編碼參數,係將量化參數之補正中所被適用的上述的各種參數,予以編碼。例如,在「方法1」被適用的情況下,編碼部314,係將分量識別元cIdx所對應之CU層級之量化參數qPx、cu_act_enabled_flag、分量識別元cIdx所對應之補正量dqPx、分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx]、轉換略過之際的量化參數之最小值QpPrimeTsMin等之參數,予以編碼。又,在「方法2」被適用的情況下,編碼部314,係除了「方法1」被適用的情況下進行編碼的參數以外,還將非轉換略過之際的量化參數之最小值「0」予以編碼。再者,在「方法3」或「方法4」被適用的情況下,編碼部314,係除了在「方法1」被適用的情況下進行編碼的參數以外,還將位元深度所對應之補正量QpBdOffset予以編碼。
藉由如此設計,這些資訊會被訊令,因此解碼側裝置係可抑制PSNR的降低。因此,解碼側裝置係可實現編碼效率的降低之抑制。
<7.第6實施形態> <影像解碼裝置> 以上所說明的本技術(各種方法),係亦可適用於將影像資料之編碼資料予以解碼的影像解碼裝置。
圖16係適用了本技術的影像處理裝置之一態樣的影像解碼裝置之構成之一例的區塊圖。圖16所示的影像解碼裝置400,係為將動態影像之編碼資料予以解碼的裝置。例如,影像解碼裝置400係將以上述的非專利文獻中所記載的VVC、AVC、HEVC等之編碼方式所被編碼的動態影像之編碼資料,予以解碼。例如,影像解碼裝置400,係可將上述的影像編碼裝置300(圖10)所生成的編碼資料(位元串流),予以解碼。
此外,於圖16中係主要表示處理部或資料的流向等,圖16所示者並非全部。亦即,於影像解碼裝置400中,亦可存在有於圖16中未以區塊而被表示的處理部,亦可存在有於圖16中未以箭頭等而表示的處理或資料之流向。這在影像解碼裝置400內的處理部等的說明的其他圖中也是同樣如此。
如圖16所示,影像解碼裝置400係具備:控制部401、積存緩衝區411、解碼部412、逆量化逆轉換部413、演算部414、迴圈內濾波器部415、排序緩衝區416、畫格記憶體417、及預測部418。此外,預測部418係具備未圖示的畫面內預測部、及畫面間預測部。
<控制部> 控制部401,係執行解碼之控制之相關處理。例如,控制部401,係將位元串流中所含之編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等),透過解碼部412而加以取得。又,控制部401,係可將位元串流中所沒包含的編碼參數,加以推定。甚至,控制部401係基於已取得之(或已推定之)編碼參數,來控制影像解碼裝置400的各處理部(積存緩衝區411乃至預測部418),以控制解碼。
例如,控制部401係將標頭資訊Hinfo,供給至逆量化逆轉換部413、預測部418、迴圈內濾波器部415。又,控制部401係將預測模式資訊Pinfo,供給至逆量化逆轉換部413及預測部418。甚至,控制部401係將轉換資訊Tinfo,供給至逆量化逆轉換部413。又,控制部401係將殘差資訊Rinfo,供給至解碼部412。甚至控制部401係將濾波器資訊Finfo,供給至迴圈內濾波器部415。
當然,上述的例子係為一例,並非限定於此例。例如,各編碼參數亦可被供給至任意之處理部。又,其他資訊亦可被供給至任意之處理部。
<標頭資訊Hinfo> 標頭資訊Hinfo係含有例如:VPS(Video Parameter Set)、SPS(Sequence ParameterSet)、PPS(Picture Parameter Set)、PH(圖像標頭)、SH(切片標頭)等之標頭資訊。標頭資訊Hinfo中係含有例如:將影像尺寸(橫幅PicWidth、縱幅PicHeight)、位元深度(亮度bitDepthY、色差bitDepthC)、色差陣列類型ChromaArrayType、CU尺寸之最大值MaxCUSize或最小值MinCUSize、4分樹分割(亦稱為Quad-tree分割)之最大深度MaxQTDepth或最小深度MinQTDepth、2分樹分割(Binary-tree分割)之最大深度MaxBTDepth或最小深度MinBTDepth、轉換略過區塊之最大值MaxTSSize(亦稱為最大轉換略過區塊尺寸)、各編碼工具的開啟關閉旗標(亦稱為有效旗標)等予以規定的資訊。
例如,作為標頭資訊Hinfo中所含之編碼工具的開啟關閉旗標,係有以下所示的涉及轉換、量化處理的開啟關閉旗標。此外,編碼工具的開啟關閉旗標,係亦可解釋成,表示編碼工具所涉及之語法是否存在於編碼資料中的旗標。又,開啟關閉旗標之值為1(真)的情況下,係表示編碼工具係為可使用。開啟關閉旗標之值為0(偽)的情況下,係表示編碼工具為不可使用。此外,旗標值的解釋亦可顛倒。
<預測模式資訊Pinfo> 預測模式資訊Pinfo中係含有例如;處理對象PB(預測區塊)之尺寸資訊PBSize(預測區塊尺寸)、畫面內預測模式資訊IPinfo、運動預測資訊MVinfo等之資訊。
畫面內預測模式資訊IPinfo中係含有例如:JCTVC-W1005, 7.3.8.5 Coding Unit syntax中的prev_intra_luma_pred_flag、mpm_idx, rem_intra_pred_mode、及從該語法所被導出的亮度畫面內預測模式IntraPredModeY等。
又,畫面內預測模式資訊IPinfo中係可含有例如:分量間預測旗標(ccp_flag(cclmp_flag))、多級別線性預測模式旗標(mclm_flag)、色差樣本位置類型識別元(chroma_sample_loc_type_idx)、色差MPM識別元(chroma_mpm_idx)、及從這些語法所被導出的亮度畫面內預測模式(IntraPredModeC)等。
分量間預測旗標(ccp_flag(cclmp_flag)),係為表示是否適用分量間線性預測的旗標資訊。例如,ccp_flag==1時,表示要適用分量間預測,ccp_flag==0時,表示不適用分量間預測。
多級別線性預測模式旗標(mclm_flag),係為線性預測之模式的相關資訊(線性預測模式資訊)。更具體而言,多級別線性預測模式旗標(mclm_flag),係為表示是否設成多級別線性預測模式的旗標資訊。例如,「0」的情況是表示1級別模式(單一級別模式)(例如CCLMP),「1」的情況是表示2級別模式(多級別模式)(例如MCLMP)。
色差樣本位置類型識別元(chroma_sample_loc_type_idx),係為用來識別色差分量的像素位置之類型(亦稱為色差樣本位置類型)的識別元。
此外,該色差樣本位置類型識別元(chroma_sample_loc_type_idx),係作為色差分量之像素位置的相關資訊(chroma_sample_loc_info())(被儲存在其中)而被傳輸。
色差MPM識別元(chroma_mpm_idx),係為表示要將色差畫面內預測模式候補清單(intraPredModeCandListC)之中的哪個預測模式候補指定作為色差畫面內預測模式的識別元。
運動預測資訊MVinfo中係可含有例如:merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0,1}、mvd等之資訊(例如參照JCTVC-W1005, 7.3.8.6 Prediction Unit Syntax)。
當然,預測模式資訊Pinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<轉換資訊Tinfo> 轉換資訊Tinfo中係可含有例如以下之資訊。
處理對象轉換區塊之橫幅尺寸TBWSize及縱幅TBHSize:以2為底的各TBWSize、TBHSize之對數值log2TBWSize、log2TBHSize)。 轉換略過旗標(ts_flag):表示是否將(逆)初級轉換及(逆)次級轉換予以略過的旗標。 掃描識別元(scanIdx) 量化參數(qp) 量化矩陣(scaling_matrix):例如JCTVC-W1005, 7.3.4 Scaling list data syntax
當然,轉換資訊Tinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<殘差資訊Rinfo> 殘差資訊Rinfo(例如參照JCTVC-W1005的7.3.8.11 Residual Coding syntax)中係可含有例如以下之資訊。
cbf(coded_block_flag):殘差資料有無旗標 last_sig_coeff_x_pos:最後非零係數X座標 last_sig_coeff_y_pos:最後非零係數Y座標 coded_sub_block_flag:子區塊非零係數有無旗標 sig_coeff_flag:非零係數有無旗標 gr1_flag:表示非零係數之等級是大於1的旗標(亦稱為GR1旗標) gr2_flag:表示非零係數之等級是大於2的旗標(亦稱為GR2旗標) sign_flag:表示非零係數之正負的碼(亦稱為符號碼) coeff_abs_level_remaining:非零係數之殘餘等級(亦稱為非零係數殘餘等級)
當然,殘差資訊Rinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<濾波器資訊Finfo> 濾波器資訊Finfo中係可含有例如:以下所示的各濾波器處理所相關之控制資訊。
去區塊濾波器(DBF)所相關之控制資訊 像素適應偏置(SAO)所相關之控制資訊 適應迴圈濾波器(ALF)所相關之控制資訊 其他線性、非線性濾波器所相關之控制資訊
又,亦可含有例如:適用各濾波器的圖像或、或指定圖像內之領域的資訊、或CU單位的濾波器開啟關閉控制資訊、關於切片、瓷磚之交界的濾波器開啟關閉控制資訊等。當然,濾波器資訊Finfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<積存緩衝區> 積存緩衝區411,係將已被輸入至影像解碼裝置400的位元串流加以取得,並予以保持(記憶)。積存緩衝區411,係在所定之時序上、或所定之條件達成等情況下,將所積存的位元串流中所含之編碼資料予以抽出,供給至解碼部412。
<解碼部> 解碼部412,係執行影像之解碼之相關處理。例如,解碼部412,係將從積存緩衝區411所被供給之編碼資料加以取得,依照語法表的定義,從該位元列,將各語法要素之語法值進行熵解碼(可逆解碼),將編碼參數予以導出。
該編碼參數係可包含有例如:標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等之資訊。亦即,解碼部412,係從位元串流,將這些資訊進行解碼,並進行剖析(進行解析並取得之)。
解碼部412,係依照控制部401之控制,而執行如此的處理(解碼或剖析等),並將所得到的這些資訊,供給至控制部401。
然後,解碼部412係參照殘差資訊Rinfo而將編碼資料予以解碼。此時,解碼部412係適用例如CABAC或CAVLC等之熵解碼(可逆解碼)。亦即,解碼部412係以影像編碼裝置300的編碼部314所執行之編碼處理的編碼方式所對應的解碼方式,將編碼資料予以解碼。
例如,假設適用CABAC。解碼部412係對編碼資料使用上下文模型進行算術解碼,將各轉換區塊內的各係數位置的量化係數資料level予以導出。解碼部412係將該導出之量化係數資料level,供給至逆量化逆轉換部413。
<逆量化逆轉換部> 逆量化逆轉換部413係執行逆量化及逆係數轉換之相關處理。例如,逆量化逆轉換部413,係將從解碼部412所被供給之量化係數資料level,加以取得。逆量化逆轉換部413,係將從控制部401所被供給之預測模式資訊Pinfo或轉換資訊Tinfo等之編碼參數,加以取得。
逆量化逆轉換部413,係基於預測模式資訊Pinfo或轉換資訊Tinfo等之編碼參數,而對量化係數資料level執行逆量化逆轉換處理,導出殘差資料D'。該逆量化逆轉換處理,係為轉換量化部313中所被執行之轉換量化處理的逆處理。亦即,於逆量化逆轉換處理中係執行例如:逆量化、逆正交轉換、及逆適應色彩轉換等之處理。逆量化,係為轉換量化部313中所被執行之量化的逆處理。逆正交轉換,係為轉換量化部313中所被執行之正交轉換的逆處理。逆適應色彩轉換,係為轉換量化部313中所被執行之適應色彩轉換的逆處理。當然,逆量化逆轉換處理中所包含之處理係為任意,亦可省略上述的一部分之處理,亦可包含有上述的以外之處理。逆量化逆轉換部413係將已導出之殘差資料D'供給至演算部414。
<演算部> 演算部414,係執行影像的相關資訊之加算之相關處理。例如,演算部414係將從逆量化逆轉換部413所被供給之殘差資料D',與從預測部418所被供給之預測影像,加以取得。演算部414係將該殘差資料與該殘差資料所對應之預測影像(預測訊號)進行加算,將局部解碼影像予以導出。演算部414,係將已導出之局部解碼影像,供給至迴圈內濾波器部415及畫格記憶體417。
<迴圈內濾波器部> 迴圈內濾波器部415,係執行迴圈內濾波器處理之相關處理。例如,迴圈內濾波器部415,係將從演算部414所被供給之局部解碼影像,加以取得。迴圈內濾波器部415,係將從控制部401所被供給之濾波器資訊Finfo,加以取得。此外,對迴圈內濾波器部415所被輸入的資訊係為任意,亦可輸入這些資訊以外之資訊。
迴圈內濾波器部415,係基於該濾波器資訊Finfo,而對局部解碼影像適宜地執行濾波器處理。例如,迴圈內濾波器部415,作為該濾波器處理,係可適用雙邊濾波器。例如,迴圈內濾波器部415,作為該濾波器處理,係可適用去區塊濾波器(DBF(DeBlocking Filter))。例如,迴圈內濾波器部415,作為該濾波器處理,係可適用適應偏置濾波器(SAO(Sample Adaptive Offset))。例如,迴圈內濾波器部415,作為該濾波器處理,係可適用適應迴圈濾波器(ALF(Adaptive Loop Filter))。又,迴圈內濾波器部415,作為濾波器處理,係可將這些內複數種濾波器做組合而適用。此外,要適用哪個濾波器,要以何種順序做適用係為任意,可適宜地選擇。例如,迴圈內濾波器部415,作為濾波器處理,係將雙邊濾波器、去區塊濾波器、適應偏置濾波器、及適應迴圈濾波器這4個迴圈內濾波器,按此順序而做適用。
迴圈內濾波器部415,係進行編碼側裝置(例如影像編碼裝置300的迴圈內濾波器部318)中所被執行之濾波器處理所對應之濾波器處理。當然,迴圈內濾波器部415所執行的濾波器處理係為任意,不限定於上述的例子。例如,迴圈內濾波器部415係亦可適用維納濾波器等。
迴圈內濾波器部415,係將已被濾波器處理過的局部解碼影像,供給至排序緩衝區416及畫格記憶體417。
<排序緩衝區> 排序緩衝區416,係將從迴圈內濾波器部415所被供給之局部解碼影像當作輸入,並將其予以保持(記憶)。排序緩衝區416,係使用該局部解碼影像而將每一圖像單位之解碼影像予以重建,並保持之(儲存在緩衝區內)。排序緩衝區416,係將所得到的解碼影像,從解碼順序排序成再生順序。排序緩衝區416,係已排序之解碼影像群,當作動態影像資料而輸出至影像解碼裝置400之外部。
<畫格記憶體> 畫格記憶體417,係執行關於影像之資料的記憶之相關處理。例如,畫格記憶體417,係將從演算部414所被供給之局部解碼影像加以取得,將每一圖像單位之解碼影像予以重建,並儲存至畫格記憶體417內的緩衝區。
又,畫格記憶體417,係將從迴圈內濾波器部415所被供給之,已被迴圈內濾波器處理過的局部解碼影像加以取得,將每一圖像單位之解碼影像予以重建,並儲存至畫格記憶體417內的緩衝區。畫格記憶體417,係適宜將其記憶的解碼影像(或其一部分),當作參照影像而供給至預測部418。
此外,畫格記憶體417亦可將解碼影像之生成所涉及的標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等,加以記憶。
<預測部> 預測部418,係執行預測影像之生成之相關處理。例如,預測部418,係將從控制部401所被供給之預測模式資訊Pinfo,加以取得。又,預測部418,係將從畫格記憶體417所讀出的解碼影像(或其一部分),加以取得。預測部418係基於預測模式資訊Pinfo而以編碼之際所被採用的預測模式來執行預測處理,將解碼影像當作參照影像進行參照而生成預測影像。預測部418係將已生成之預測影像供給至演算部414。
<本技術之適用> 對於如以上之構成的影像解碼裝置400,可以適用<1.量化參數之補正>、<2.第1實施形態>、<3.第2實施形態>、<4.第3實施形態>、及<5.第4實施形態>中所上述的本技術。
<解碼部> 如上述,解碼部412,係從位元串流,剖析出標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等之編碼參數。
因此,在適用本技術的情況下,解碼部412,係將位元串流予以解碼,將從編碼側裝置(例如影像編碼裝置300)所被供給之,量化參數之補正中所被使用的參數,加以剖析。
例如,在「方法1」被適用的情況下,解碼部412,係將分量識別元cIdx所對應之CU層級之量化參數qPx、cu_act_enabled_flag、分量識別元cIdx所對應之補正量dqPx、分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx]、轉換略過之際的量化參數之最小值QpPrimeTsMin等之參數,加以剖析。又,在「方法2」被適用的情況下,解碼部412,係除了「方法1」被適用的情況下進行編碼的參數以外,還將非轉換略過之際的量化參數之最小值「0」加以剖析。再者,在「方法3」或「方法4」被適用的情況下,解碼部412,係除了在「方法1」被適用的情況下進行編碼的參數以外,還將位元深度所對應之補正量QpBdOffset予以剖析。
<控制部> 例如,在適用上述的「方法1」的情況下,控制部401,係從解碼部412,取得分量識別元cIdx所對應之CU層級之量化參數qPx,並供給至逆量化逆轉換部413。控制部401,係從解碼部412,取得cu_act_enabled_flag,來作為適應色彩轉換之相關參數,並供給至逆量化逆轉換部413。控制部401,係從解碼部412,取得分量識別元cIdx所對應之補正量dqPx,來作為適應色彩轉換之相關參數,並供給至逆量化逆轉換部413。控制部401,係從解碼部412,取得分量識別元cIdx所對應之補正量transform_skip_flag[xTbY][yTbY][cIdx],來作為轉換略過之相關參數,並供給至逆量化逆轉換部413。控制部401,係從解碼部412,取得轉換略過之際的量化參數之最小值QpPrimeTsMin,來作為轉換略過之相關參數,並供給至逆量化逆轉換部413。
例如,在適用上述的「方法2」的情況下,控制部401,係將適用「方法1」之情況下所供給的參數,供給至逆量化逆轉換部413。控制部401,係除了這些參數以外,還將非轉換略過之際的量化參數之最小值「0」,當作轉換略過之相關參數,而供給至逆量化逆轉換部413。
例如,在適用上述的「方法3」的情況下,控制部401,係將適用「方法1」之情況下所供給的參數,供給至逆量化逆轉換部413。控制部401,係除了這些參數以外,還將位元深度所對應之補正量QpBdOffset,供給至逆量化逆轉換部413。
例如,在適用上述的「方法4」的情況下,控制部401,係將適用「方法3」之情況下所供給的參數,供給至逆量化逆轉換部413。
<逆量化逆轉換部> 例如,在適用上述的「方法1」的情況下,逆量化逆轉換部413,係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,逆量化逆轉換部413,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。逆量化逆轉換部413,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。逆量化逆轉換部413,係使用已取得之這些參數,來執行逆量化逆轉換處理。
例如,在適用上述的「方法2」的情況下,逆量化逆轉換部413,係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,逆量化逆轉換部413,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。逆量化逆轉換部413,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,非轉換略過之際的量化參數之最小值「0」,加以取得。逆量化逆轉換部413,係使用已取得之這些參數,來執行逆量化逆轉換處理。
例如,在適用上述的「方法3」的情況下,逆量化逆轉換部413,係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,逆量化逆轉換部413,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。逆量化逆轉換部413,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。逆量化逆轉換部413,作為轉換略過之相關參數,係將從控制部401所被供給之,位元深度所對應之補正量QpBdOffset,加以取得。逆量化逆轉換部413,係使用已取得之這些參數,來執行逆量化逆轉換處理。
例如,在適用上述的「方法4」的情況下,逆量化逆轉換部413,係將與適用「方法3」之情況下所取得的相同之參數,加以取得。逆量化逆轉換部413,係使用已取得之這些參數,來執行逆量化逆轉換處理。
<逆量化逆轉換部的構成例> 圖17係圖16的逆量化逆轉換部413的主要構成例的區塊圖。如圖17所示,逆量化逆轉換部413係具有:逆量化部441、逆正交轉換部442、及逆適應色彩轉換部443。
逆量化部441,係執行逆量化之相關處理。例如,逆量化部441,係將從解碼部412所被供給之量化係數資料qcoeff_x(亦即圖16的量化係數資料level),加以取得。逆量化部441,係將該量化係數資料qcoeff_x予以逆量化,生成正交轉換係數資料coef_x。逆量化部441,係將已生成之正交轉換係數資料coef_x,供給至逆正交轉換部442。
逆正交轉換部442,係執行逆正交轉換之相關處理。例如,逆正交轉換部442,係將從逆量化部441所被供給之正交轉換係數資料coeff_x,加以取得。逆正交轉換部442,係將從控制部401所被供給之轉換資訊Tinfo或預測模式資訊Pinfo,加以取得。例如,逆正交轉換部442,作為轉換資訊Tinfo,係可將transform_skip_flag、mts_idx、lfnst_idx等之資訊,加以取得。逆正交轉換部442,係使用已取得之這些資訊而將正交轉換係數資料coeff_x進行逆正交轉換,生成適應色彩轉換係數資料res_x'。逆正交轉換部442,係將已生成之適應色彩轉換係數資料res_x',供給至逆適應色彩轉換部443。
逆適應色彩轉換部443,係執行逆適應色彩轉換之相關處理。例如,逆適應色彩轉換部443,係將從逆正交轉換部442所被供給之適應色彩轉換係數資料res_x',加以取得。逆適應色彩轉換部443,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。逆適應色彩轉換部443,係基於cu_act_enabled_flag之值,而對殘差資料res_x執行適應色彩轉換。例如,在cu_act_enabled_flag為真(例如「1」)的情況下,逆適應色彩轉換部443,係執行如上述的式(2)所示的演算,將由Y、Cg、Co之分量所成之適應色彩轉換係數資料res_x'進行YCgCo-RGB轉換。藉由該處理,就會生成由R、G、B之分量所成之殘差資料res_x(亦即圖10的殘差資料D)。逆適應色彩轉換部443,係將已生成之殘差資料res_x,供給至演算部414。
例如,在適用上述的「方法1」的情況下,逆量化部441,係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又逆量化部441,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。逆量化部441,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。
逆量化部441,係使用已取得之這些參數,而將量化係數資料qcoef_x進行逆量化,生成正交轉換係數資料coeff_x。
例如,在適用上述的「方法2」的情況下,逆量化部441,逆量化部441係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又逆量化部441,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。逆量化部441,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,非轉換略過之際的量化參數之最小值「0」,加以取得。
逆量化部441,係使用已取得之這些參數,而將量化係數資料qcoef_x進行逆量化,生成正交轉換係數資料coeff_x。
例如,在適用上述的「方法3」的情況下,逆量化部441,逆量化部441係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又逆量化部441,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。逆量化部441,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。然後逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。逆量化部441,作為轉換略過之相關參數,係將從控制部401所被供給之,位元深度所對應之補正量QpBdOffset,加以取得。
逆量化部441,係使用已取得之這些參數,而將量化係數資料qcoef_x進行逆量化,生成正交轉換係數資料coeff_x。
例如,在適用上述的「方法4」的情況下,逆量化部441,係將與適用「方法3」之情況下所取得的相同之參數,加以取得。逆量化部441,係使用已取得之這些參數,而將量化係數資料qcoef_x進行逆量化,生成正交轉換係數資料coeff_x。
<逆量化部的構成例> 圖18係圖17的逆量化部441的主要構成例的區塊圖。如圖18所示,逆量化部441係具有量化參數補正部451及逆量化處理部452。
量化參數補正部451,係執行量化參數之補正之相關處理。例如,量化參數補正部451,係將分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。量化參數補正部451,係將該分量識別元cIdx所對應之CU層級之量化參數qPx進行補正,將補正後的量化參數也就是補正量化參數,供給至逆量化處理部452。
逆量化處理部452,係執行逆量化之相關處理。例如,逆量化處理部452,係將從解碼部412所被供給之量化係數資料qcoef_x,加以取得。逆量化處理部452,係將從量化參數補正部451所被供給之補正量化參數,加以取得。逆量化處理部452,係使用該補正量化參數,而將量化係數資料qcoef_x進行逆量化,生成正交轉換係數資料coef_x。逆量化處理部452,係將已生成之正交轉換係數資料coef_x,供給至逆正交轉換部442。
在如以上之構成的逆量化部441中適用本技術的情況下,量化參數補正部451,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正。逆量化處理部452,係使用已被量化參數補正部451所補正之量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
例如,在適用上述的「方法1」的情況下,作為量化參數補正部451,是適用量化參數補正裝置100 (圖2)。亦即,量化參數補正部451,係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,量化參數補正部451,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。量化參數補正部451,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。
量化參數補正部451,係使用該cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、及QpPrimeTsMin,以如第1實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部451,係執行如式(5)或式(6)之演算,以生成第2補正量化參數qP''。量化參數補正部451,係將已生成之第2補正量化參數qP'',供給至逆量化處理部452。
藉由如此設計,量化參數補正部451,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
例如,在適用上述的「方法2」的情況下,作為量化參數補正部451,是適用量化參數補正裝置100 (圖2)。亦即,量化參數補正部451,係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,量化參數補正部451,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。量化參數補正部451,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,非轉換略過之際的量化參數之最小值「0」,加以取得。
量化參數補正部451,係使用該cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin、及值「0」,以如第2實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部451,係執行如式(5)或式(13)之演算,以生成第2補正量化參數qP''。量化參數補正部451,係將已生成之第2補正量化參數qP'',供給至逆量化處理部452。
藉由如此設計,量化參數補正部451,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
例如,在適用上述的「方法3」的情況下,作為量化參數補正部451,是適用量化參數補正裝置100 (圖2)。亦即,量化參數補正部451,係將從控制部401所被供給之,分量識別元cIdx所對應之CU層級之量化參數qPx,加以取得。又,量化參數補正部451,作為適應色彩轉換之相關參數,係將從控制部401所被供給之cu_act_enabled_flag,加以取得。量化參數補正部451,作為適應色彩轉換之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之補正量dqPx,加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx],加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,轉換略過之際的量化參數之最小值QpPrimeTsMin,加以取得。量化參數補正部451,作為轉換略過之相關參數,係將從控制部401所被供給之,位元深度所對應之補正量QpBdOffset,加以取得。
量化參數補正部451,係使用該cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin、及QpBdOffset,以如第2實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部451,係執行如式(16)或式(17)之演算,以生成第3補正量化參數qP'''。量化參數補正部451,係將已生成之第3補正量化參數qP''',供給至逆量化處理部452。
藉由如此設計,無論轉換略過是否有被適用,補正後的量化參數之值,係會落在量化參數之最小值乃至最大值的範圍內。又,在轉換略過的情況下,係還會使用轉換略過之際的量化參數之最小值QpPrimeTsMin,而將量化參數之下限予以限幅。亦即,量化參數補正部451,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
例如,在適用上述的「方法4」的情況下,作為量化參數補正部451,是適用量化參數補正裝置160(圖8)。亦即,量化參數補正部451,係將與「方法3」之情況相同之參數,加以取得。
量化參數補正部451,係使用這先參數(cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin、及QpBdOffset),以如第4實施形態中所說明的方法,將qPx進行補正。亦即,量化參數補正部451,係執行如式(18)或式(17)之演算,以生成第2補正量化參數qP''。量化參數補正部451,係將已生成之第2補正量化參數qP'',供給至逆量化處理部452。
亦即,方法4的情況下,是執行實質上與方法3之情況同等之演算,而獲得同等之補正結果。因此,此情況下也是,和方法3之情況同樣地,量化參數補正部451係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
對於本實施形態中所說明的逆量化逆轉換部413之說明,係亦可適用於影像編碼裝置300的逆量化逆轉換部316。但是,此情況下,編碼參數的供給來源係為控制部301。又,量化係數資料的供給來源係為轉換量化部313。再者,殘差資料D'的供給目標係為演算部317。
<影像解碼處理的流程> 接著說明如以上之影像解碼裝置400所執行的各處理的流程。首先,參照圖19的流程圖,說明影像解碼處理的流程之例子。
一旦影像解碼處理被開始,則積存緩衝區411,係於步驟S401中,將從影像解碼裝置400之外部所被供給之位元串流(編碼資料)加以取得並保持(積存)。
於步驟S402中,解碼部412係執行解碼處理。例如,解碼部412,係從該位元串流,剖析出各種編碼參數(例如標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo等)(進行解析而取得之)。控制部401係藉由將該已取得之各種編碼參數供給至各種處理部,以設定該各種編碼參數。
又,控制部401係基於所獲得的編碼參數,來設定處理單位。再者,解碼部412,係依照控制部401之控制,而將位元串流予以解碼,獲得量化係數資料level。
於步驟S403中,逆量化逆轉換部413係執行逆量化逆轉換處理,生成殘差資料D'。關於逆量化逆轉換處理係於後述。
於步驟S404中,預測部418係生成預測影像。例如,預測部418,係基於步驟S402中所被設定之編碼參數等,以被編碼側所指定之預測方法執行預測處理,參照畫格記憶體417中所被記憶的參照影像等,而生成預測影像P。
於步驟S405中,演算部414,係將步驟S403中所得到的殘差資料D'、與步驟S404中所得到的預測影像P進行加算,導出局部解碼影像Rlocal。
於步驟S406中,迴圈內濾波器部415,係對藉由步驟S405之處理所得到的局部解碼影像Rlocal,執行迴圈內濾波器處理。
於步驟S407中,排序緩衝區416,係使用藉由步驟S406之處理而已被濾波器處理過的局部解碼影像Rlocal而導出解碼影像R,將該解碼影像R群之順序,從解碼順序排序成再生順序。已被排序成再生順序的解碼影像R群,係作為動態影像而被輸出至影像解碼裝置400之外部。
又,於步驟S408中,畫格記憶體417,係將藉由步驟S405之處理所得到的局部解碼影像Rlocal、及藉由步驟S406之處理而被濾波器處理過的局部解碼影像Rlocal之中的至少一方,加以記憶。
一旦步驟S408之處理結束,則影像解碼處理就結束。
<逆量化逆轉換處理的流程> 其次,參照圖20的流程圖,說明圖19之步驟S403中所執行的逆量化逆轉換處理的流程之例子。
一旦逆量化逆轉換處理被開始,則逆量化部441,係於步驟S441中,使用步驟S402(圖19)中所被設定之轉換資訊Tinfo等,而將量化係數資料qcoef_x進行逆量化,生成正交轉換係數資料coef_x。該量化係數資料qcoef_x,係對應於圖19的步驟S402之處理中所被生成之量化係數資料level。
於步驟S442中,逆正交轉換部442,係使用步驟S402(圖19)中所被設定之轉換資訊Tinfo等,將步驟S441中所被生成之正交轉換係數資料coef_x進行逆正交轉換,生成適應色彩轉換係數資料res_x'。
於步驟S443中,逆適應色彩轉換部443,係基於步驟S402(圖19)中所被設定之cu_act_enabled_flag,而將步驟S442中所被生成之適應色彩轉換係數資料res_x'進行逆適應色彩轉換,生成殘差資料res_x(殘差資料D')。
一旦步驟S443的處理結束,則逆量化逆轉換處理就結束,處理係回到圖19。
<量化處理的流程> 其次,參照圖21的流程圖,說明圖20之步驟S441中所執行的逆量化處理的流程之例子。
一旦逆量化處理被開始,則量化參數補正部451,係於步驟S451中,執行量化參數補正處理,將量化參數進行補正,生成補正量化參數。
於步驟S452中,逆量化處理部452,係使用步驟S451中所被生成之補正量化參數,而將量化係數資料qcoef_x進行逆量化,生成正交轉換係數資料coef_x。
一旦步驟S452的處理結束,則逆量化處理就結束,處理係回到圖20。
於如此的逆量化處理中,可以適用<1.量化參數之補正>、<2.第1實施形態>、<3.第2實施形態>、<4.第3實施形態>、及<5.第4實施形態>中所上述的本技術。
亦即,在如以上的逆量化處理中適用本技術的情況下,於步驟S451中,量化參數補正部451,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正。於步驟S452中,逆量化處理部452係使用該已被補正之量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
例如,在適用上述的「方法1」的情況下,量化參數補正部451,作為步驟S351之量化參數補正處理,是適用參照圖3的流程圖所說明的量化參數補正處理。亦即,量化參數補正部451,係執行如式(5)或式(6)之演算,以生成第2補正量化參數qP''。
藉由如此設計,量化參數補正部451,係在適應色彩轉換及轉換略過被適用的情況下,可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
例如,在適用上述的「方法2」的情況下,量化參數補正部451,作為步驟S351之量化參數補正處理,是適用參照圖5的流程圖所說明的量化參數補正處理。亦即,量化參數補正部451,係執行如式(5)或式(13)之演算,以生成第2補正量化參數qP''。
藉由如此設計,量化參數補正部451,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
例如,在適用上述的「方法3」的情況下,量化參數補正部451,作為步驟S351之量化參數補正處理,是適用參照圖7的流程圖所說明的量化參數補正處理。亦即,量化參數補正部451,係執行如式(16)或式(17)之演算,以生成第3補正量化參數qP'''。
藉由如此設計,無論轉換略過是否有被適用,補正後的量化參數之值,係會落在量化參數之最小值乃至最大值的範圍內。又,在轉換略過的情況下,係還會使用轉換略過之際的量化參數之最小值QpPrimeTsMin,而將量化參數之下限予以限幅。亦即,量化參數補正部451,係無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
例如,在適用上述的「方法4」的情況下,量化參數補正部451,作為步驟S351之量化參數補正處理,是適用參照圖9的流程圖所說明的量化參數補正處理。亦即,量化參數補正部451,係執行如式(18)或式(17)之演算,以生成第2補正量化參數qP''。
亦即,方法4的情況下,是進行實質上與方法3之情況同等之演算,而獲得同等之補正結果。因此,此情況下也是,和方法3之情況同樣地,無論轉換略過是否有被適用,在適應色彩轉換被適用的情況下,都可將量化參數予以補正,以使得於逆量化中不會變成量化步距Δ<1。因此,逆量化處理部452是使用如此已被補正之量化參數而將量化係數資料進行逆量化,藉此,逆量化部441(逆量化逆轉換部413)就可抑制PSNR的降低。因此,影像解碼裝置400係可抑制編碼效率的降低。
<解碼> 此外,於圖19的步驟S402中,解碼部412係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo),予以解碼。因此,在適用本技術的情況下,解碼部412,係將量化參數之補正中所被適用之上述的各種參數,予以解碼。例如,在「方法1」被適用的情況下,解碼部412,係將分量識別元cIdx所對應之CU層級之量化參數qPx、cu_act_enabled_flag、分量識別元cIdx所對應之補正量dqPx、分量識別元cIdx所對應之transform_skip_flag[xTbY][yTbY][cIdx]、轉換略過之際的量化參數之最小值QpPrimeTsMin等之參數,予以解碼。又,在「方法2」被適用的情況下,編碼部314,係除了「方法1」被適用的情況下進行編碼的參數以外,還將非轉換略過之際的量化參數之最小值「0」予以解碼。再者,在「方法3」或「方法4」被適用的情況下,編碼部314,係除了在「方法1」被適用的情況下進行編碼的參數以外,還將位元深度所對應之補正量QpBdOffset予以解碼。
藉由如此設計,影像解碼裝置400就可獲得被訊令的這些資訊。因此,影像解碼裝置400係可抑制PSNR的降低。因此,影像解碼裝置400係可實現編碼效率的降低之抑制。
關於本實施形態中所說明的逆量化逆轉換處理(圖19的步驟S403、圖20)之說明,係亦可適用於影像編碼處理(圖13)中所被執行之逆量化逆轉換處理(步驟S307)。
<8.附記> <電腦> 上述之一連串之處理,係可藉由硬體來執行,亦可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖22係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖22所示的電腦800中,CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM (Random Access Memory)803,係透過匯流排804而被彼此連接。
匯流排804,係還連接著輸出入介面810。輸出入介面810上係連接有:輸入部811、輸出部812、記憶部813、通訊部814、及驅動機815。
輸入部811,係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部812係由例如顯示器、揚聲器、輸出端子等所成。記憶部813,係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部814係由例如網路介面所成。驅動機815係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。
在如以上構成的電腦中,藉由CPU801而例如將記憶部813中所記憶之程式,透過輸出入介面810及匯流排804,而載入至RAM803裡並加以執行,就可執行上述一連串處理。RAM803中,還適宜地記憶著CPU801在執行各種處理時所必需的資料等。
電腦所執行的程式,係可記錄在例如封裝媒體等之可移除式媒體821中而適用。此情況下,程式係藉由將可移除式媒體821裝著至驅動機815,就可透過輸出入介面810,安裝至記憶部813。
又,該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況,程式,係可以通訊部814而接收之,並安裝至記憶部813。
除此以外,該程式係可事前安裝在ROM802或記憶部813中。
<本技術的適用對象> 本技術係可適用於任意的影像編碼方式或解碼方式。亦即,只要不與上述的本技術產生矛盾,則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等,關於影像編碼、解碼之各種處理的規格係為任意,並非限定於上述的例子。又,只要不與上述的本技術產生矛盾,亦可省略這些處理之中的一部分。
又,本技術係可適用於,將含有複數視點(view)之影像的多視點影像進行編碼的多視點影像編碼系統。又,本技術係可適用於,將含有複數視點(view)之影像的多視點影像進行編碼的多視點影像之編碼資料予以解碼的多視點影像解碼系統。此情況下,只要於各視點(view)的編碼或解碼中,適用本技術即可。
甚至,本技術係可適用於,將針對所定之參數具有可調性(scalability)機能地而被複數層化(階層化)的階層影像予以編碼的階層影像編碼(可調式編碼)系統。又,本技術係可適用於,將針對所定之參數具有可調性(scalability)機能地而被複數層化(階層化)的階層影像之編碼資料予以解碼的階層影像解碼(可調式解碼)系統。此情況下,只要於各階層(layer)的編碼或解碼中,適用本技術即可。
又,於以上說明中,作為本技術之適用例,雖然說明了量化參數補正裝置100、量化參數補正裝置120、量化參數補正裝置140、量化參數補正裝置160、影像編碼裝置300、及影像解碼裝置400,但本技術係可適用於任意之構成。
例如,本技術係可應用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等,各式各樣的電子機器。
又例如,本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等,作為裝置的部分構成而實施。
又例如,本技術係亦可對由複數裝置所構成的網路系統做適用。例如,亦可將本技術,透過網路而分擔給複數台裝置,以共同進行處理的雲端運算的方式,來加以實施。例如,亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端,提供影像(動態影像)的相關之服務的雲端服務中,實施本技術。
此外,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
<可適用本技術的領域或用途> 適用了本技術的系統、裝置、處理部等係可利用於例如:交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又,其用途也為任意。
例如,本技術係可適用於,供作觀賞用內容等之提供之用的系統或裝置。又例如,本技術係亦可適用於交通狀況之監理或自動駕駛控制等,供作交通之用的系統或裝置。甚至例如,本技術係亦可適用於供作安全之用的系統或裝置。又例如,本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如,本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又,本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如,本技術係亦可適用於供作運動之用的系統或裝置。
<其他> 此外,於本說明書中所謂「旗標」,係為用來識別複數狀態所需之資訊,不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊,亦包含可以識別3種以上之狀態的資訊。因此,該「旗標」所能採取的值,係可為例如1/0之2值,亦可為3值以上。亦即,構成該「旗標」的bit數係為任意,可為1bit亦可為複數bit。又,識別資訊(亦包含旗標),係不只將該識別資訊含入至位元串流的形式,也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式,因此於本說明書中,「旗標」或「識別資訊」,係不只包含該資訊,也還包含了相對於作為基準之資訊的差分資訊。
又,編碼資料(位元串流)的相關之各種資訊(後設資料等),係只要與編碼資料建立關連,則無論是以哪種形態而被傳輸或記錄皆可。此處,「建立關連」此一用語係意味著例如:使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即,被彼此建立關連的資料,係亦可整體視為1個資料,也可分別視為個別之資料。例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又,例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外,該「建立關連」,係亦可不是資料全體,而是資料的一部分。例如,影像與對應於該影像的資訊,係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位,而被彼此建立關連。
此外,於本說明書中,「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語,係意味著例如將編碼資料與後設資料總結成1個資料,把複數個物綁成1個的意思,是意味著上述的「建立關連」的1種方法。
又,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,亦可將以1個裝置(或處理部)做說明的構成加以分割,成為複數裝置(或處理部)而構成之。反之,亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又,對各裝置(或各處理部)之構成,當然亦可附加上述以外之構成。再者,若系統全體的構成或動作是實質相同,則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又,例如,上述的程式,係亦可於任意的裝置中被執行。此情況下,只要讓該裝置,具有必要的功能(功能區塊等),能夠獲得必要的資訊即可。
又,例如,1個流程圖的各步驟,亦可由1個裝置來執行,也可由複數裝置來分擔而執行。甚至,1個步驟中包含有複數個處理的情況下,該複數個處理亦可由1個裝置來執行,也可由複數裝置來分擔而執行。換言之,亦可將1個步驟中所含之複數個處理,以複數個步驟之處理的方式而執行之。反之,亦可將以複數個步驟的方式做說明的處理,整合成1個步驟而執行之。
又,電腦所執行的程式,係亦可具有如下的特徵。例如,用來描述程式的步驟之處理,亦可依照本說明書中所說明的順序而時間系列性地被執行。又,用來描述程式的步驟之處理亦可平行地被執行。再者,用來描述程式的步驟之處理,亦可在被呼叫時等之必要的時序上,被個別地執行。亦即,只要不產生矛盾,各步驟之處理係亦可以和上述之順序不同的順序而被執行。又,用來描述該程式的步驟之處理,亦可與其他程式之處理平行地被執行。再者,用來描述該程式的步驟之處理,亦可與其他程式之處理組合而被執行。
又,例如,本技術所相關之複數個技術,係只要不產生矛盾的況下,都可分別獨立以單體而加以實施。當然,亦可將任意的複數個本技術加以併用而實施。例如,可以將任一實施形態中所說明的本技術的部分或全部,與其他實施形態中所說明的本技術的部分或全部,加以組合而實施。又,亦可將上述的任意之本技術的部分或全部,與未上述的其他技術加以併用而實施。
此外,本技術係亦可採取如以下之構成。 (1) 一種影像處理裝置,係具備: 量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和 量化部,係使用已被前記量化參數補正部所補正之前記量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。 (2) 如(1)所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記適應色彩轉換的情況下,以處理對象分量所相應之補正量,而將前記量化參數進行補正。 (3) 如(2)所記載之影像處理裝置,其中, 在不適用前記適應色彩轉換的情況下,前記補正量係為「0」。 (4) 如(1)乃至(3)之任一項所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值,進行限幅。 (5) 如(4)所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,省略基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限之限幅。 (6) 如(1)乃至(5)之任一項所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅。 (7) 如(6)所記載之影像處理裝置,其中, 前記量化參數之最小值係為「0」。 (8) 如(1)乃至(7)之任一項所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。 (9) 如(8)所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。 (10) 一種影像處理方法,係 將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正; 使用已被補正之前記量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
(11) 一種影像處理裝置,係具備: 量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和 逆量化部,係使用已被前記量化參數補正部所補正之前記量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。 (12) 如(11)所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記適應色彩轉換的情況下,以處理對象分量所相應之補正量,而將前記量化參數進行補正。 (13) 如(12)所記載之影像處理裝置,其中, 在不適用前記適應色彩轉換的情況下,前記補正量係為「0」。 (14) 如(11)乃至(13)之任一項所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值,進行限幅。 (15) 如(14)所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,省略基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限之限幅。 (16) 如(11)乃至(15)之任一項所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅。 (17) 如(16)所記載之影像處理裝置,其中, 前記量化參數之最小值係為「0」。 (18) 如(11)乃至(17)之任一項所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。 (19) 如(18)所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。 (20) 一種影像處理方法,係 將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正; 使用已被補正之前記量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
100:量化參數補正裝置 101:第1補正部 102:第2補正部 120:量化參數補正裝置 121:第1補正部 122:第2補正部 140:量化參數補正裝置 141:第1補正部 142:第2補正部 143:第3補正部 160:量化參數補正裝置 161:第1補正部 162:第2補正部 300:影像編碼裝置 301:控制部 311:排序緩衝區 312:演算部 313:轉換量化部 314:編碼部 315:積存緩衝區 316:逆量化逆轉換部 317:演算部 318:迴圈內濾波器部 319:畫格記憶體 320:預測部 321:速率控制部 341:適應色彩轉換部 342:正交轉換部 343:量化部 351:量化參數補正部 352:量化處理部 400:影像解碼裝置 401:控制部 411:積存緩衝區 412:解碼部 413:逆量化逆轉換部 414:演算部 415:迴圈內濾波器部 416:排序緩衝區 417:畫格記憶體 418:預測部 441:逆量化部 442:逆正交轉換部 443:逆適應色彩轉換部 451:量化參數補正部 452:逆量化處理部 800:電腦 801:CPU 802:ROM 803:RAM 804:匯流排 810:輸出入介面 811:輸入部 812:輸出部 813:記憶部 814:通訊部 815:驅動機 821:可移除式媒體
[圖1]量化參數之補正方法之例子的說明圖。 [圖2]量化參數補正裝置之主要構成例的區塊圖。 [圖3]量化參數補正處理之流程之例子的流程圖。 [圖4]量化參數補正裝置之主要構成例的區塊圖。 [圖5]量化參數補正處理之流程之例子的流程圖。 [圖6]量化參數補正裝置之主要構成例的區塊圖。 [圖7]量化參數補正處理之流程之例子的流程圖。 [圖8]量化參數補正裝置之主要構成例的區塊圖。 [圖9]量化參數補正處理之流程之例子的流程圖。 [圖10]影像編碼裝置的主要構成例的區塊圖。 [圖11]轉換量化部之主要構成例的區塊圖。 [圖12]量化部之主要構成例的區塊圖。 [圖13]影像編碼處理的流程之例子的流程圖。 [圖14]轉換量化處理之流程之例子的說明用流程圖。 [圖15]量化處理之流程例的說明用流程圖。 [圖16]影像解碼裝置的主要構成例的區塊圖。 [圖17]逆量化逆轉換部之主要構成例的區塊圖。 [圖18]逆量化部之主要構成例的區塊圖。 [圖19]影像解碼處理的流程之例子的流程圖。 [圖20]逆量化逆轉換處理的流程之例子的流程圖。 [圖21]逆量化處理之流程之例子的流程圖。 [圖22]電腦的主要構成例的區塊圖。
100:量化參數補正裝置
101:第1補正部
102:第2補正部

Claims (20)

  1. 一種影像處理裝置,係具備: 量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和 量化部,係使用已被前記量化參數補正部所補正之前記量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
  2. 如請求項1所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記適應色彩轉換的情況下,以處理對象分量所相應之補正量,而將前記量化參數進行補正。
  3. 如請求項2所記載之影像處理裝置,其中, 在不適用前記適應色彩轉換的情況下,前記補正量係為「0」。
  4. 如請求項1所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值,進行限幅。
  5. 如請求項4所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,省略基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限之限幅。
  6. 如請求項1所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅。
  7. 如請求項6所記載之影像處理裝置,其中, 前記量化參數之最小值係為「0」。
  8. 如請求項1所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。
  9. 如請求項8所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。
  10. 一種影像處理方法,係 將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正; 使用已被補正之前記量化參數也就是補正量化參數,而將編碼對象之影像的係數資料進行量化。
  11. 一種影像處理裝置,係具備: 量化參數補正部,係將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正;和 逆量化部,係使用已被前記量化參數補正部所補正之前記量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
  12. 如請求項11所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記適應色彩轉換的情況下,以處理對象分量所相應之補正量,而將前記量化參數進行補正。
  13. 如請求項12所記載之影像處理裝置,其中, 在不適用前記適應色彩轉換的情況下,前記補正量係為「0」。
  14. 如請求項11所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值,進行限幅。
  15. 如請求項14所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,省略基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限之限幅。
  16. 如請求項11所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅。
  17. 如請求項16所記載之影像處理裝置,其中, 前記量化參數之最小值係為「0」。
  18. 如請求項11所記載之影像處理裝置,其中, 前記量化參數補正部,係在適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之,適用前記轉換略過之情況的前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。
  19. 如請求項18所記載之影像處理裝置,其中, 前記量化參數補正部,係在不適用前記轉換略過的情況下,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之下限,以已被預先設定之前記量化參數之最小值進行限幅,並且,將基於前記適應色彩轉換之相關參數而已被補正之前記量化參數之上限,以已被預先設定之,前記量化參數之最大值與基於位元深度的補正量之和,進行限幅。
  20. 一種影像處理方法,係 將量化參數,基於適應色彩轉換之相關參數而進行補正,然後,基於轉換略過之相關參數而進行補正; 使用已被補正之前記量化參數也就是補正量化參數,而將影像之係數資料所被量化而成的量化係數資料進行逆量化。
TW109144933A 2019-12-18 2020-12-18 影像處理裝置及方法 TW202139698A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962950055P 2019-12-18 2019-12-18
US62/950,055 2019-12-18

Publications (1)

Publication Number Publication Date
TW202139698A true TW202139698A (zh) 2021-10-16

Family

ID=76478790

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109144933A TW202139698A (zh) 2019-12-18 2020-12-18 影像處理裝置及方法

Country Status (7)

Country Link
US (1) US20230007255A1 (zh)
EP (1) EP4068778A4 (zh)
JP (1) JPWO2021125309A1 (zh)
KR (1) KR20220116152A (zh)
CN (1) CN114616828A (zh)
TW (1) TW202139698A (zh)
WO (1) WO2021125309A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121418A1 (en) * 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Joint use of adaptive colour transform and differential coding of video
JP7001668B2 (ja) * 2019-12-26 2022-01-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7026287B1 (ja) 2019-12-26 2022-02-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
JP7054765B1 (ja) 2021-12-24 2022-04-14 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7146129B2 (ja) * 2022-02-14 2022-10-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7317194B2 (ja) * 2022-02-14 2023-07-28 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
KR20220116152A (ko) 2022-08-22
US20230007255A1 (en) 2023-01-05
CN114616828A (zh) 2022-06-10
EP4068778A4 (en) 2023-01-11
WO2021125309A1 (ja) 2021-06-24
JPWO2021125309A1 (zh) 2021-06-24
EP4068778A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
TW202139698A (zh) 影像處理裝置及方法
KR20220053563A (ko) 화상 처리 장치 및 방법
US20220256151A1 (en) Image processing device and method
WO2019188465A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
US20210385456A1 (en) Image processing apparatus and method
WO2022255395A1 (ja) 画像処理装置および方法
US20220385904A1 (en) Image processing device and method
WO2022044845A1 (ja) 画像処理装置および方法
US20230007265A1 (en) Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
US20220201305A1 (en) Image processing device and method
JP7494858B2 (ja) 画像処理装置および方法
US20230045106A1 (en) Image processing apparatus and method
WO2022270451A1 (ja) 画像処理装置および方法
JP7484923B2 (ja) 画像処理装置および方法
US20220394256A1 (en) Image processing device and method
EP4050896B1 (en) Image processing device and method
US20240163437A1 (en) Image processing device and method
US20220021899A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method