TW202121897A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW202121897A
TW202121897A TW109130353A TW109130353A TW202121897A TW 202121897 A TW202121897 A TW 202121897A TW 109130353 A TW109130353 A TW 109130353A TW 109130353 A TW109130353 A TW 109130353A TW 202121897 A TW202121897 A TW 202121897A
Authority
TW
Taiwan
Prior art keywords
conversion
quantization
inverse
coefficient
unit
Prior art date
Application number
TW109130353A
Other languages
English (en)
Inventor
筑波健史
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202121897A publication Critical patent/TW202121897A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露係有關於,能夠抑制編碼及解碼所致之資訊損失的影像處理裝置及方法。 使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化;在不適用轉換略過的情況下,則對藉由逆量化而被生成的轉換係數進行逆係數轉換,生成影像與該影像之預測影像之殘差也就是預測殘差;在要適用轉換略過的情況下,則將該逆係數轉換予以略過。本揭露係可適用於例如:影像處理裝置、影像編碼裝置、影像解碼裝置、送訊裝置、收訊裝置、收送訊裝置、資訊處理裝置、攝像裝置、再生裝置、電子機器、影像處理方法、或資訊處理方法等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法,尤其是有關於能夠抑制編碼及解碼所致之資訊損失的影像處理裝置及方法。
先前,將動態影像之預測殘差予以導出,並進行係數轉換,進行量化然後進行編碼的編碼方法,已被提出(例如非專利文獻1)。又,於該影像編碼中,使用轉換量化繞過而將係數轉換或量化等予以略過(省略),將預測殘差進行可逆編碼的無損編碼,已被提出(例如非專利文獻2)。
順便一提,不使用轉換量化繞過,將量化係數Qcoef以量化步距會是1的QP=4進行逆量化,並進行轉換略過藉此以達成可逆編碼(無損的編碼)的方法,係為存在。此種策略為了方便起見而簡稱為“轉換略過+QP4”策略。 [先前技術文獻] [非專利文獻]
[非專利文獻1]VTM-5.0 in https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM [非專利文獻2]Tsung-Chuan Ma, Yi-Wen Chen, Xiaoyu Xiu, Xianglin Wang, Tangi Poirier, Fabrice Le Leannec, Karam Naser, Edouard Francois, Hyeongmun Jang, Junghak Nam, Naeri Park, Jungah Choi, Seunghwan Kim, Jaehyun Lim, "Lossless coding for VVC", JVET-O1061, m49678, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019
[發明所欲解決之課題]
然而,此種“轉換略過+QP4”策略的情況下,就先前的方法而言,參數的設定並未對應於無損編碼,恐怕會因為編碼及解碼而有導致資訊損失之虞。
本揭露係有鑑於此種狀況而研發,目的在於能夠抑制編碼及解碼所致之資訊的損失。 [用以解決課題之手段]
本技術之一側面的影像處理裝置,係為一種影像處理裝置,其係具備:逆量化部,係使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化;和逆轉換部,係在不適用前記轉換略過的情況下,則對藉由前記逆量化部所致之前記逆量化而被生成的轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
本技術之一側面的影像處理方法,係為一種影像處理方法,其係使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化;在不適用前記轉換略過的情況下,則對藉由前記逆量化而被生成的轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
本技術之另一側面的影像處理裝置,係為一種影像處理裝置,其係具備:轉換部,係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;和量化部,係使用相應於是否適用前記轉換略過的量化參數,來對前記轉換係數進行量化。
本技術之另一側面的影像處理方法,係為一種影像處理方法,其係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;使用相應於是否適用前記轉換略過的量化參數,來對前記轉換係數進行量化。
本技術之再另一側面的影像處理裝置,係為一種影像處理裝置,其係具備:逆量化部,係對量化係數進行逆量化;和逆量化正規化部,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由前記逆量化部所致之前記逆量化而被生成的轉換係數予以正規化;和逆轉換部,係在不適用前記轉換略過的情況下,則對已被前記逆量化正規化部所正規化的前記轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
本技術之再另一側面的影像處理方法,係為一種影像處理方法,其係對量化係數進行逆量化;使用相應於是否適用轉換略過的比例縮放參數,而將藉由前記逆量化而被生成的轉換係數予以正規化;在不適用前記轉換略過的情況下,則對已被正規化的前記轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
本技術之再另一側面的影像處理裝置,係為一種影像處理裝置,其係具備:轉換部,係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;和量化部,係在不適用前記轉換略過的情況下,則對前記轉換係數進行量化;在要適用前記轉換略過的情況下,則對前記預測殘差進行前記量化;量化正規化部,係使用相應於是否適用前記轉換略過的比例縮放參數,而將藉由前記量化部所致之前記量化而被生成的量化係數予以正規化。
本技術之再另一側面的影像處理方法,係為一種影像處理方法,其係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;在不適用前記轉換略過的情況下,則對前記轉換係數進行量化;在要適用前記轉換略過的情況下,則對前記預測殘差進行前記量化;使用相應於是否適用前記轉換略過的比例縮放參數,而將藉由前記量化而被生成的量化係數予以正規化。
於本技術之一側面的影像處理裝置及方法中,使用相應於是否適用轉換略過的量化參數,對量化係數的逆量化會被進行;在不適用該轉換略過的情況下,則對藉由該逆量化而被生成的轉換係數的逆係數轉換會被進行,影像與該影像之預測影像的殘差也就是預測殘差會被生成;在要適用該轉換略過的情況下,則逆係數轉換會被略過。
於本技術之另一側面的影像處理裝置及方法中,在不適用該轉換略過的情況下,則對影像與該影像之預測影像的殘差也就是預測殘差的係數轉換會被進行,轉換係數會被生成;在要適用該轉換略過的情況下,則該係數轉換會被略過;使用相應於是否適用該轉換略過的量化參數,對該轉換係數的量化會被進行。
於本技術之再另一側面的影像處理裝置及方法中,對量化係數的逆量化會被進行;使用相應於是否適用轉換略過的比例縮放參數,藉由該逆量化而被生成的轉換係數會被正規化;在不適用轉換略過的情況下,則對已被正規化之轉換係數,逆係數轉換會被進行,影像與該影像之預測影像的殘差也就是預測殘差會被生成;在要適用轉換略過的情況下,則逆係數轉換會被略過。
於本技術之再另一側面的影像處理裝置及方法中,在不適用該轉換略過的情況下,則對影像與該影像之預測影像的殘差也就是預測殘差,係數轉換會被進行,轉換係數會被生成;在要適用該轉換略過的情況下,則該係數轉換會被略過;在不適用該轉換略過的情況下,則對該轉換係數的量化會被進行;在要適用該轉換略過的情況下,則對該預測殘差的量化會被進行;使用相應於是否該適用轉換略過的比例縮放參數,藉由該量化而被生成的量化係數會被正規化。
以下,說明用以實施本揭露的形態(以下稱作實施形態)。此外,說明係用以下順序來進行。 1.轉換略過所致之近無損編碼 2.第1實施形態(參數控制) 3.第2實施形態(轉換略過時的伸張處理之合併) 4.第3實施形態(轉換略過時的正規化處理之合併) 5.第4實施形態(影像解碼裝置) 6.第5實施形態(影像編碼裝置) 7.附記
<1.轉換略過所致之近無損編碼> <支持技術內容、技術用語的文獻等> 本技術所揭露之範圍,係不只有實施形態中所記載的內容,還包含了於申請當時已為公知的以下之非專利文獻等中所記載的內容或於以下之非專利文獻中所被參照的其他文獻之內容等。
非專利文獻1:(上述) 非專利文獻2:(上述) 非專利文獻3:Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 5)", N1001-v10, m48053, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019 非專利文獻4:Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5)", JVET-N1002-v2, m48054, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019 非專利文獻5:Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 6)", JVET-O2001-vE, m49908, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻6:Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6)", JVET-O2002-v2, m49914, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻7:Tsung-Chuan Ma, Yi-Wen Chen, Xiaoyu Xiu, Xianglin Wang, "Modifications to support the lossless coding", JVET-O0591, m48730, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻8:Hyeongmun Jang, Junghak Nam, Naeri Park, Jungah Choi Seunghwan Kim, Jaehyun Lim, "Comments on transform quantization bypassed mode", JVET-O0584, m48723, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻9:Tangi Poirier, Fabrice Le Leannec, Karam Naser, Edouard Francois, "On lossless coding for VVC" JVET-O0460, m48583, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019 非專利文獻10:Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017 非專利文獻11:Recommendation ITU-T H.265 (02/18) "High efficiency video coding", february 2018
亦即,上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如,上述的非專利文獻中所記載之Quad-Tree Block Structure、QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施例中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。又,例如,關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地,即使於實施例中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。
又,於本說明書中,作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊),係在沒有特別言及的情況下,是表示圖像內的任意之部分領域,其大小、形狀、及特性等並無限定。例如,「區塊」中係可包含有:上述的非專利文獻中所記載之TB(Transform Block)、TU(Transform Unit)、PB(Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、子區塊、巨集區塊、瓷磚、或切片等,任意之部分領域(處理單位)。
又,在指定此種區塊的尺寸時,不只可直接地指定區塊尺寸,亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊,來指定區塊尺寸。又,例如,亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分,來指定區塊尺寸。例如,作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下,作為該資訊,亦可使用如上述的間接指定尺寸的資訊。藉由如此設計,可降低該資訊的資訊量,有時候可以提升編碼效率。又,該區塊尺寸之指定中係包含有,區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
又,於本說明書中,所謂編碼,係不只包含將影像轉換成位元串流的全體之處理,也包含部分之處理。例如,不只包含將預測處理、正交轉換、量化、算術編碼等予以包括的處理,也包含將量化與算術編碼予以總稱的處理、將預測處理與量化與算術編碼予以包括的處理等。同樣地,所謂解碼,係不只包含將位元串流轉換成影像的全體之處理,也包含部分之處理。例如,不只包含將逆算術解碼、逆量化、逆正交轉換、預測處理等予以包括的處理,也包含將逆算術解碼與逆量化予以包括的處理、將逆算術解碼與逆量化與預測處理予以包括的處理等。
<“轉換略過+QP4”策略> 非專利文獻2中係揭露,在非專利文獻1的影像編碼中,使用轉換量化繞過而將係數轉換或量化等予以略過(省略),將預測殘差進行可逆編碼的編碼方法也就是無損編碼。
順便一提,不使用轉換量化繞過,將量化係數Qcoef以量化步距會是1的QP=4進行逆量化,並進行轉換略過藉此以達成可逆編碼(無損的編碼)的方法,係為存在。此種策略為了方便起見而簡稱為“轉換略過+QP4”策略。
然而,此種“轉換略過+QP4”策略的情況下,就先前的方法而言,參數的設定並未對應於無損編碼,恐怕會因為編碼及解碼而有導致資訊損失之虞。
<2.第1實施形態> <逆量化逆轉換的參數控制> 於是,在逆量化逆轉換處理中,如圖1的表的從上數來第1行(最上行)中所示,以使得損失的資訊量會降低的方式,設定逆量化逆轉換的相關參數(方法1-1)。
逆量化逆轉換處理係為,將量化係數進行逆量化而生成轉換係數,將該轉換係數進行逆係數轉換而生成預測殘差的處理。預測殘差,係為影像與該影像之預測影像的殘差。預測影像,係基於該影像的時間性週邊之資訊、該影像的空間性週邊之資訊、或其雙方,而被生成。所謂時間性週邊之資訊,係為與該影像不同畫格的資訊。所謂空間性週邊之資訊,係為與該影像同一畫格之資訊。逆係數轉換,係為將預測殘差進行係數轉換而生成轉換係數的處理亦即係數轉換的逆處理。逆量化,係為將藉由係數轉換而被生成之轉換係數進行量化以生成量化係數的處理亦即量化的逆處理。亦即,逆量化逆轉換處理,係為進行係數轉換及量化的轉換量化的逆處理。因此,逆量化逆轉換處理,係可將預測殘差進行轉換量化所被生成之量化係數進行逆量化逆轉換以生成預測殘差。
在如此的逆量化逆轉換處理中,藉由以抑制資訊損失的方式來控制參數,就可抑制適用了該逆量化逆轉換處理的解碼所致之資訊的損失。亦即,可使得“轉換略過+QP4”策略所致之解碼,趨近於可逆解碼(無損編碼)。
<1-1:逆量化逆轉換裝置> 圖2係適用了本技術的影像處理裝置之一態樣的逆量化逆轉換裝置之構成之一例的區塊圖。圖2所示的逆量化逆轉換裝置100,係將量化係數進行逆量化逆轉換,以生成預測殘差的裝置。
此外,於圖2中係主要表示處理部或資料的流向等,圖2所示者並非全部。亦即,於逆量化逆轉換裝置100中,亦可存在有於圖2中未以區塊而被表示的處理部,亦可存在有於圖2中未以箭頭等而表示的處理或資料之流向。
如圖2所示,逆量化逆轉換裝置100係具有逆量化部101及逆轉換部102。逆量化部101係進行逆量化的相關處理。逆轉換部102係進行逆係數轉換的相關處理。
逆量化部101係具有逆量化處理部111及正規化部112。逆量化處理部111係將被輸入至逆量化逆轉換裝置100的量化係數,加以取得。逆量化處理部11係對已取得之量化係數進行逆量化,生成轉換係數。逆量化處理部111係將已生成之轉換係數,供給至正規化部112。正規化部112係將從逆量化處理部111所被供給之轉換係數,加以取得。正規化部112係將已取得之轉換係數予以正規化。正規化部112係將已正規化之轉換係數,供給至逆轉換部102。
逆轉換部102係具有:選擇部121、逆轉換處理部122、選擇部123、正規化部124、及伸張處理部125。
選擇部121及選擇部123,係選擇是否要適用將逆係數轉換予以略過的模式亦即轉換略過。轉換略過,係為在係數轉換處理中將該係數轉換處理予以略過的模式,且為在逆係數轉換處理中將該逆係數轉換處理予以略過的模式。
選擇部121係將從逆量化部101所被供給之轉換係數,加以取得。在不適用轉換略過的情況下,亦即,在要進行逆係數轉換處理的情況下,選擇部121係將已取得之轉換係數,供給至逆轉換處理部122。又,選擇部123係將從逆轉換處理部122所被供給之預測殘差加以取得,並供給至正規化部124。
在要適用轉換略過的情況下,亦即,在略過逆係數轉換處理的情況下,選擇部121係將已取得之轉換係數,供給至伸張處理部125。此情況下,由於係數轉換處理係被略過,因此該轉換係數就是預測殘差。又,選擇部123係將從伸張處理部125所被供給之轉換係數(亦即預測殘差)加以取得,並供給至正規化部124。
逆轉換處理部122係將從逆量化部101所被供給之轉換係數,透過選擇部121而加以取得。該轉換係數,係已被正規化部112進行了正規化。逆轉換處理部122係對已取得之轉換係數進行逆係數轉換,生成預測殘差。逆轉換處理部122係將已生成之預測殘差,透過選擇部123而供給至正規化部124。
伸張處理部125係將從逆量化部101所被供給之轉換係數,透過選擇部121而加以取得。該轉換係數,係已被正規化部112進行了正規化。又,該轉換係數就是預測殘差。伸張處理部125係將已取得之轉換係數(亦即預測殘差),予以伸張。伸張處理部125係將已伸張之轉換係數(亦即預測殘差),透過選擇部123而供給至正規化部124。
正規化部124,係在不適用轉換略過的情況下,亦即,要進行逆係數轉換處理的情況下,將從逆轉換處理部122所被供給之預測殘差,透過選擇部123而加以取得。又,在要適用轉換略過的情況下,亦即,在略過逆係數轉換處理的情況下,正規化部124係將從伸張處理部125所被供給之轉換係數(亦即預測殘差),透過選擇部123而加以取得。正規化部124係將已取得之預測殘差予以正規化。正規化部124係將已正規化之預測殘差,輸出至逆量化逆轉換裝置100之外部。
於如此的逆量化逆轉換裝置100中,適用上述的(方法1-1)。亦即,逆量化逆轉換裝置100係以抑制資訊損失的方式,來設定逆量化逆轉換的相關參數。逆量化處理部111係可使用如此所被設定的參數,來進行逆量化。正規化部112係可使用如此所被設定的參數,來進行正規化。正規化部124係可使用如此所被設定的參數,來進行正規化。
藉由如此設計,逆量化逆轉換裝置100係可抑制適用了該逆量化逆轉換處理的解碼所致之資訊的損失。亦即,逆量化逆轉換裝置100係可使得“轉換略過+QP4”策略所致之解碼,趨近於可逆解碼(無損編碼)。
<逆量化逆轉換處理的流程> 接著,該逆量化逆轉換裝置100所執行的逆量化逆轉換處理的流程之例子,參照圖3的流程圖來說明。
一旦逆量化逆轉換處理被開始,則逆量化部101係於步驟S101中,將逆量化的相關參數加以設定。
於步驟S102中,逆量化處理部111係對量化係數,使用步驟S101中所被設定之參數來進行逆量化,生成轉換係數。
於步驟S103中,正規化部112係將於步驟S102中所被生成之轉換係數,使用步驟S101中所被設定之參數,予以正規化。
於步驟S104中,選擇部121及選擇部123係判定是否要適用轉換略過。在判定為不要適用轉換略過的情況下,則處理係往步驟S105前進。
於步驟S105中,逆轉換部102係將逆係數轉換的相關參數,加以設定。
於步驟S106中,逆轉換處理部122係對步驟S103中已被正規化之轉換係數,使用步驟S105中所被設定之參數來進行逆係數轉換,生成預測殘差。一旦步驟S106之處理結束,則處理係前進至步驟S108。
又,於步驟S104中,在判定為要適用轉換略過的情況下,則處理係往步驟S107前進。於步驟S107中,伸張處理部125係將步驟S103中已被正規化之轉換係數(亦即預測殘差),予以伸張。一旦步驟S107之處理結束,則處理係前進至步驟S108。
於步驟S108中,正規化部124係將步驟S106中所被生成之預測殘差、或步驟S107中所被伸張之轉換係數(亦即預測殘差),使用步驟S105中所被設定之參數而予以正規化。
一旦步驟S108的處理結束,則逆量化逆轉換處理就結束。
於如此的逆量化逆轉換處理中,適用上述的(方法1-1)。亦即,於步驟S101中,逆量化部101係以抑制資訊損失的方式,來設定逆量化的相關參數。於步驟S102中,逆量化處理部111係可使用如此所被設定的參數來進行逆量化。於步驟S103中,正規化部112係可使用如此所被設定的參數來進行正規化。又,於步驟S105中,逆轉換部102係以抑制資訊損失的方式,來設定逆係數轉換的相關參數。於步驟S108中,正規化部124係可使用如此所被設定的參數來進行正規化。
藉由如此設計,逆量化逆轉換裝置100係可抑制適用了該逆量化逆轉換處理的解碼所致之資訊的損失。亦即,逆量化逆轉換裝置100係可使得“轉換略過+QP4”策略所致之解碼,趨近於可逆解碼(無損編碼)。
<1-1-1:量化參數之控制> 如上述,亦可控制逆量化的相關參數。例如,於影像處理中,亦可使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化。
例如,於影像處理裝置中亦可具備:使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化的逆量化部。
藉由如此設計,影像處理裝置係可抑制適用了該逆量化部所致之逆量化的解碼所致之資訊的損失。亦即,影像處理裝置係可使得“轉換略過+QP4”策略所致之解碼,趨近於可逆解碼(無損編碼)。
此時,該逆量化部,是於逆量化中適用逆依賴性量化,且不適用轉換略過的情況下,則亦可將量化參數予以補正,並使用已補正之量化參數來進行逆量化。亦即,如圖1的表的從上數來第2行所示,亦可基於轉換略過來控制依賴性量化的量化參數(QP)之補正(方法1-1-1)。
例如,在非專利文獻5所記載的編碼方法中,作為量化的模式是準備有依賴性量化(DQ(Dependent Quantization))。在依賴性量化中,是基於過去的處理對象之轉換係數與奇偶性旗標,而進行把對現在的處理對象之係數做適用的量化參數(QP)所對應之量化步距變成奇數倍或是偶數倍的選擇。亦即,對某個量化參數的量化步距是會隨著前面的狀態而轉換(分岐)。藉由如此設計,可抑制編碼效率的降低。
圖4的A係為非專利文獻5中所記載的,關於此種依賴性量化的語意。該語意所示,在依賴性量化被適用的情況下,量化參數(QP)會被補正。亦即,在依賴性量化未被適用的情況下,如式(8-960)所示,使用量化參數(qP),而導出比例縮放參數ls。相對於此,在依賴性量化被適用的情況下,如式(8-959)所示,使用已被補正之量化參數(qP' = qP + 1),來導出比例縮放參數ls。
於逆量化中也是同樣地,可適用依賴性量化。實際上,於逆量化中,依賴性量化的逆處理(亦稱為逆依賴性量化),會被適用。因此,即使於逆量化中,在依賴性量化被適用的情況下,量化參數會被同樣地補正。
然而,在轉換略過被適用的情況下,由於量化參數的最小值係為4,因此藉由如此的依賴性量化所致之量化參數的補正(QP + 1),導致無法將量化步距變成1。因此,恐怕會發生逆量化所致之資訊的損失。
於是,如例如圖4的B所示的語意,在上述的式(8-959)的條件中,追加「且轉換略過旗標(transform_skip_flag)並非表示要適用轉換略過的值(IS_SKIP)的情況」。轉換略過旗標(transform_skip_flag),係為表示是否要適用轉換略過的旗標資訊。例如,轉換略過旗標為真(例如1)的情況下,則表示要適用轉換略過。轉換略過旗標為偽(例如0)的情況下,則表示不要適用轉換略過。順便一提,在上述的式(8-960)的條件中,追加「或轉換略過旗標(transform_skip_flag)為真(IS_SKIP)的情況」。
逆量化處理部111係依照如此的語意,而將比例縮放參數ls予以導出。藉由如此設計,在要適用轉換略過的情況下,式(8-960)會被適用,依賴性量化(逆依賴性量化)所致之量化參數的補正會被省略。因此,逆量化處理部111係可抑制,在要適用轉換略過之情況下的,逆依賴性量化所致之資訊的損失。
<1-1-2:捨入偏置的符號控制> 作為控制對象的逆量化的相關參數,係亦可為量化參數以外。例如,如圖1的表的從上數來第3行所示,例如,亦可基於輸入值也就是轉換係數的符號,來設定逆量化中的正規化處理的捨入偏置的符號(方法1-1-2)。
例如,於影像處理裝置中,亦可還具備:逆量化正規化部,係基於轉換係數的符號來設定捨入偏置的符號,並使用該捨入偏置而將轉換係數予以正規化。然後,逆轉換部,係在不適用轉換略過的情況下,則亦可對已被該逆量化正規化部所正規化的轉換係數,進行逆係數轉換。
圖5的A係為非專利文獻5中所記載的,關於逆量化中的正規化處理(正規化部112所致之正規化處理)的語意。如該語意所示,在逆量化中的正規化處理中,係使用捨入偏置bdOffset1與比例縮放參數bdShift1,來進行邏輯位元移位所致之正規化(式(8-963))。捨入偏置bdOffset1,係使用比例縮放參數bdShift1而如以下的式(A)般地被導出。
bdOffset1 = (1<<(bdShift1-1)) ・・・(A)
像這樣,由於正規化處理係為邏輯位元移位,因此捨入誤差(亦稱為死角)的符號(正負)會發生偏頗。因此,逆量化就有變成不可逆處理之虞。亦即,於逆量化中,恐怕會發生資訊的損失。
於是,例如改成如圖5的B所示的語意般地,基於輸入值也就是轉換係數的符號,來設定逆量化中的正規化處理的捨入偏置的符號。亦即,如以下的式(B)所示般地,改成還會乘算轉換係數等級TransCoefLevel[xTbY][yTbY][cIdx](=dz[x][y])的符號sign(dz[x][y])。
bdOffset1 = sign(dz[x][y])*(1<<(bdShift1-1)) ・・・(B)
例如,於逆量化逆轉換裝置100中,逆量化部101係如式(B)所示般地導出捨入偏置bdOffset1,正規化部112係使用該捨入偏置bdOffset1與比例縮放參數bdShift1,來進行正規化。
換言之,逆量化部101係藉由乘算轉換係數等級TransCoefLevel[xTbY][yTbY][cIdx](=dz[x][y])的符號sign(dz[x][y]),以將藉由式(A)而被導出的捨入偏置bdOffset1予以補正。然後,正規化部112係使用該補正後的捨入偏置bdOffset1'與比例縮放參數bdShift1,來進行正規化。
藉由如此設計,正規化部112係可藉由算術位元移位而進行正規化處理,因此可降低捨入誤差的符號(正負)之偏頗,於逆量化中可抑制資訊的損失。
<1-1-3:捨入偏置的符號控制> 亦可將逆轉換的相關參數當作控制對象。例如,如圖1的表的從上數來第4行所示,例如,亦可基於輸入值也就是預測殘差的符號,來設定逆係數轉換中的正規化處理的捨入偏置的符號(方法1-1-3)。
例如,於影像處理裝置中,亦可還具備:逆轉換正規化部,係在不適用轉換略過的情況下,則基於預測殘差的符號來設定捨入偏置的符號,並使用該捨入偏置而將預測殘差予以正規化;在要適用轉換略過的情況下,則基於轉換係數(亦即預測殘差)的符號來設定捨入偏置的符號,使用該捨入偏置而將轉換係數(亦即預測殘差)予以正規化。
圖6的A係為非專利文獻5中所記載的,關於逆係數轉換中的正規化處理(正規化部124所致之正規化處理)的語意。如該語意所示,在逆係數轉換中的正規化處理中,係使用捨入偏置bdOffset2與比例縮放參數bdShift2,來進行邏輯位元移位所致之正規化(式(8-946))。捨入偏置bdOffset2,係使用比例縮放參數bdShift2而如以下的式(C)般地被導出。
bdOffset2 = (1<<(bdShift2-1)) ・・・(C)
像這樣,由於正規化處理係為邏輯位元移位,因此捨入誤差(亦稱為死角)的符號(正負)會發生偏頗。因此,逆係數轉換就有變成不可逆處理之虞。亦即,於逆係數轉換中,恐怕會發生資訊的損失。
於是,例如改成如圖6的B所示的語意般地,基於輸入值也就是預測殘差的符號,來設定逆係數轉換中的正規化處理的捨入偏置的符號。亦即,如以下的式(D)所示般地,改成還會乘算預測殘差r[x][y]的符號sign(r[x][y])。
bdOffset2 = sign(r[x][y])*(1<<(bdShift2-1)) ・・・(D)
例如,於逆量化逆轉換裝置100中,逆轉換部102係如式(D)所示般地導出捨入偏置bdOffset2,正規化部124係使用該捨入偏置bdOffset2與比例縮放參數bdShift2,來進行正規化。
換言之,逆轉換部102係藉由乘算預測殘差r[x][y]的符號sign(r[x][y]),以將藉由式(C)而被導出的捨入偏置bdOffset2予以補正。然後,正規化部124係使用該補正後的捨入偏置bdOffset2'與比例縮放參數bdShift2,來進行正規化。
藉由如此設計,正規化部124係可藉由算術位元移位,而進行正規化處理,因此可降低捨入誤差的符號(正負)之偏頗,於逆係數轉換中可抑制資訊的損失。
<1-1-4:組合> <1-1-1:量化參數之控制>、<1-1-2:捨入偏置的符號控制>、及<1-1-3:捨入偏置的符號控制>之各個段落中所說明的各方法,係可適宜地加以組合而適用。藉由組合越多的方法,逆量化逆轉換裝置100就可越為抑制逆量化逆轉換處理中的資訊的損失。亦即,逆量化逆轉換裝置100,係藉由組合越多上述的各方法,就可使得“轉換略過+QP4”策略所致之解碼,越趨近於可逆解碼(無損編碼)。
<轉換量化的參數控制> 與逆量化逆轉換處理的情況同樣地,於轉換量化處理中,亦可如圖1的表的從上數來第5而所示,以使得損失的資訊量會降低的方式,設定轉換量化的相關參數(方法1-2)。
於轉換量化處理中,藉由以抑制資訊損失的方式來控制參數,就可抑制適用了該轉換量化處理的編碼所致之資訊的損失。亦即,可使得“轉換略過+QP4”策略所致之編碼,趨近於可逆編碼(無損編碼)。
<1-2:轉換量化裝置> 圖7係適用了本技術的影像處理裝置之一態樣的轉換量化裝置之構成之一例的區塊圖。圖7所示的轉換量化裝置200係為,將預測殘差進行轉換量化,以生成量化係數的裝置。
此外,於圖7中係主要表示處理部或資料的流向等,圖7所示者並非全部。亦即,於轉換量化裝置200中,亦可存在有於圖7中未以區塊而被表示的處理部,亦可存在有於圖7中未以箭頭等而表示的處理或資料之流動。
如圖7所示,轉換量化裝置200係具有轉換部201及量化部202。轉換部201係進行係數轉換的相關處理。量化部202係進行量化的相關處理。
轉換部201係具有:選擇部211、轉換處理部212、選擇部213、正規化部214、及伸張處理部215。
選擇部211及選擇部213係選擇是否要適用轉換略過。選擇部211係將被輸入至轉換量化裝置200的預測殘差,加以取得。在不適用轉換略過的情況下,亦即,在要進行係數轉換處理的情況下,選擇部211係將已取得之預測殘差,供給至轉換處理部212。又,選擇部213係將從轉換處理部212所被供給之轉換係數加以取得,並供給至正規化部214。
在要適用轉換略過的情況下,亦即,在略過係數轉換處理的情況下,選擇部211係將已取得之預測殘差,供給至伸張處理部215。選擇部213係從將伸張處理部215所被供給之預測殘差(已被伸張之預測殘差)加以取得,並供給至正規化部214。
轉換處理部212係將被輸入至轉換量化裝置200的預測殘差,透過選擇部211而加以取得。轉換處理部212係對已取得之預測殘差進行係數轉換,生成轉換係數。轉換處理部212係將已生成之轉換係數,透過選擇部213而供給至正規化部214。
伸張處理部215係將被輸入至轉換量化裝置200的預測殘差,透過選擇部211而加以取得。伸張處理部215係將已取得之預測殘差予以伸張。伸張處理部215係將已伸張之預測殘差,透過選擇部213而供給至正規化部214。
正規化部214,係在不適用轉換略過的情況下,亦即,要進行係數轉換處理的情況下,將從轉換處理部212所被供給之轉換係數,透過選擇部213而加以取得。又,在要適用轉換略過的情況下,亦即,在略過係數轉換處理的情況下,正規化部214係將從伸張處理部215所被供給之預測殘差(已被伸張之預測殘差),透過選擇部213而加以取得。亦即,在轉換略過被適用的情況下,係數轉換會被略過,因此預測殘差係被供給至正規化部214。正規化部214以後的處理部,係將該預測殘差當作轉換係數而加以處理。亦即,該預測殘差,係和轉換處理部212中所被生成的轉換係數的情況同樣地被處理。因此,以下係將從該伸張處理部所被供給之預測殘差,也當作轉換係數而進行說明。正規化部214係將已取得之轉換係數予以正規化。正規化部214係將已正規化之轉換係數,供給至量化部202。
量化部202係具有量化處理部221及正規化部222。量化處理部221係將從轉換部201所被供給之轉換係數,加以取得。量化處理部221係對已取得之轉換係數進行量化,生成量化係數。量化處理部221係將已生成之量化係數,供給至正規化部222。正規化部222係將從量化處理部221所被供給之量化係數,加以取得。正規化部222係將已取得之量化係數予以正規化。正規化部222係將已正規化之量化係數,輸出至轉換量化裝置200之外部。
於如此的轉換量化裝置200中,適用上述的(方法1-2)。亦即,轉換量化裝置200係以抑制資訊損失的方式,來設定轉換量化的相關參數。正規化部214係可使用如此所被設定的參數,來進行正規化。量化處理部221係可使用如此所被設定的參數,來進行量化。正規化部222係可使用如此所被設定的參數,來進行正規化。
藉由如此設計,轉換量化裝置200係可抑制適用了該轉換量化處理的編碼所致之資訊的損失。亦即,轉換量化裝置200係可使得“轉換略過+QP4”策略所致之編碼,趨近於可逆編碼(無損編碼)。
<轉換量化處理的流程> 接著,被該轉換量化裝置200所執行的轉換量化處理的流程之例子,參照圖8的流程圖來加以說明。
一旦轉換量化處理被開始,則選擇部211及選擇部213係於步驟S201中,判定是否要適用轉換略過。在判定為不要適用轉換略過的情況下,則處理係往步驟S202前進。
於步驟S202中,轉換部201係將係數轉換的相關參數,加以設定。
於步驟S203中,轉換處理部212係對預測殘差,使用步驟S202中所被設定之參數來進行係數轉換,生成轉換係數。一旦步驟S203之處理結束,則處理係前進至步驟S205。
又,於步驟S201中,在判定為要適用轉換略過的情況下,則處理係往步驟S204前進。於步驟S204中,伸張處理部215係將預測殘差予以伸張。一旦步驟S204之處理結束,則處理係前進至步驟S205。
於步驟S205中,正規化部214係將步驟S203中所被生成之轉換係數、或步驟S204中所被伸張之預測殘差(亦即轉換係數),使用步驟S202中所被設定之參數而予以正規化。
於步驟S206中,量化部202係將量化的相關參數,加以設定。
於步驟S207中,量化處理部221係對步驟S205中已被正規化之轉換係數,使用步驟S206中所被設定之參數來進行量化,生成量化係數。
於步驟S208中,正規化部222係將於步驟S207中所被生成之量化係數,使用步驟S206中所被設定之參數,予以正規化。
一旦步驟S208的處理結束,則轉換量化處理就結束。
於如此的轉換量化處理中,適用上述的(方法1-2)。亦即,於步驟S202中,轉換部201係以抑制資訊損失的方式,來設定係數轉換的相關參數。於步驟S205中,正規化部214係可使用如此所被設定的參數來進行正規化。又,於步驟S206中,量化部202係以抑制資訊損失的方式,來設定量化的相關參數。於步驟S207中,量化處理部221係可使用如此所被設定的參數來進行量化。於步驟S208中,正規化部222係可使用如此所被設定的參數來進行正規化。
藉由如此設計,轉換量化裝置200係可抑制適用了該轉換量化處理的編碼所致之資訊的損失。亦即,轉換量化裝置200係可使得“轉換略過+QP4”策略所致之編碼,趨近於可逆編碼(無損編碼)。
<1-2-1:量化參數之控制> 如上述,亦可控制量化的相關參數。例如,於影像處理中,亦可使用相應於是否適用轉換略過的量化參數,來對轉換係數進行量化。
例如,於影像處理裝置中亦可具備:使用相應於是否適用轉換略過的量化參數,來對轉換係數進行量化的量化部。
藉由如此設計,影像處理裝置係可抑制適用了該量化部所致之量化的編碼所致之資訊的損失。亦即,影像處理裝置係可使得“轉換略過+QP4”策略所致之編碼,趨近於可逆編碼(無損編碼)。
此時,該量化部,是於量化中適用依賴性量化,且不適用轉換略過的情況下,則亦可將量化參數予以補正,並使用已補正之量化參數來進行量化。亦即,如圖1的表的從上數來第6行所示,亦可基於轉換略過來控制依賴性量化的量化參數(QP)之補正(方法1-2-1)。
如上述,在非專利文獻5所記載的編碼方法中,如圖4的A的例子所示,隨應於依賴性量化之適用,量化參數會被補正。亦即,量化的情況也是與逆量化的情況同樣地,在轉換略過被適用時係由於依賴性量化所致之量化參數的補正(QP + 1),導致無法將量化步距變成1。因此,恐怕會發生量化所致之資訊的損失。
於是,量化的情況也是與逆量化的情況同樣地,在上述的式(8-959)的條件中,追加「且轉換略過旗標(transform_skip_flag)並非表示要適用轉換略過的值(IS_SKIP)的情況」(圖4的B)。順便一提,在上述的式(8-960)的條件中,追加「或轉換略過旗標(transform_skip_flag)為真(IS_SKIP)的情況」(圖4的B)。
量化處理部221係依照如此的語意,而將比例縮放參數ls予以導出。藉由如此設計,在要適用轉換略過的情況下,式(8-960)會被適用,依賴性量化所致之量化參數的補正會被省略。因此,量化處理部221係可抑制,在要適用轉換略過之情況下的,依賴性量化所致之資訊的損失。
<1-2-2:捨入偏置的符號控制> 作為控制對象的量化的相關參數,係亦可為量化參數以外。例如,如圖1的表的從上數來第7行所示,例如,亦可基於輸入值也就是量化係數的符號,來設定量化中的正規化處理的捨入偏置的符號(方法1-2-2)。
例如,於影像處理裝置中,亦可還具備:量化正規化部,係基於量化係數的符號來設定捨入偏置的符號,並使用該捨入偏置而將量化係數予以正規化。
量化中的正規化處理的情況也是和逆量化中的正規化處理的情況(圖5的A的式(8-963))同樣地,使用捨入偏置fwdbdOffset2與比例縮放參數fwdbdShift2,來進行邏輯位元移位所致之正規化。
亦即,量化中的正規化處理的情況也是和逆量化中的正規化處理的情況同樣地,捨入誤差的符號(正負)會產生偏頗。因此,量化就有變成不可逆處理之虞。亦即,於量化中,恐怕會發生資訊的損失。
於是,量化中的正規化處理的情況也是和逆量化中的正規化處理的情況(圖5的B)同樣地,改成基於輸入值也就是量化係數的符號,來設定量化中的正規化處理的捨入偏置的符號。
例如,於轉換量化裝置200中,量化部202是與式(B)同樣地,使用比例縮放參數fwdbdShift2來導出捨入偏置fwdbdOffset2,正規化部222係使用該捨入偏置fwdbdOffset2與比例縮放參數fwdbdShift2,來進行正規化。
換言之,量化部202是藉由乘算量化係數等級的符號,以將使用比例縮放參數fwdbdShift2而被導出的捨入偏置fwdbdOffset2,予以補正。然後,正規化部222係使用該補正後的捨入偏置fwdbdOffset2'與比例縮放參數fwdbdShift2,來進行正規化。
藉由如此設計,正規化部222係可藉由算術位元移位而進行正規化處理,因此可降低捨入誤差的符號(正負)之偏頗,於量化中可抑制資訊的損失。
<1-2-3:捨入偏置的符號控制> 亦可將係數轉換的相關參數當作控制對象。例如,如圖1的表的從上數來第8行所示,例如,亦可基於輸入值也就是轉換係數的符號,來設定係數轉換中的正規化處理的捨入偏置的符號(方法1-2-3)。
例如,於影像處理裝置中,亦可還具備:轉換正規化部,係在不適用轉換略過的情況下,則基於轉換係數的符號來設定捨入偏置的符號,並使用該捨入偏置而將轉換係數予以正規化;在要適用轉換略過的情況下,則基於轉換係數(亦即預測殘差)的符號來設定捨入偏置的符號,使用該捨入偏置而將轉換係數(亦即預測殘差)予以正規化。
係數轉換中的正規化處理的情況也是和逆係數轉換中的正規化處理的情況(圖6的A的式(8-946))同樣地,使用捨入偏置fwdbdOffset1與比例縮放參數fwdbdShift1,來進行邏輯位元移位所致之正規化。
亦即,係數轉換中的正規化處理的情況也是和逆係數轉換中的正規化處理的情況同樣地,捨入誤差的符號(正負)會產生偏頗。因此,係數轉換就有變成不可逆處理之虞。亦即,於係數轉換中,恐怕會發生資訊的損失。
於是,係數轉換中的正規化處理的情況也是和逆係數轉換中的正規化處理的情況(圖6的B)同樣地,改成基於輸入值也就是轉換係數的符號,來設定係數轉換中的正規化處理的捨入偏置的符號。
例如,於轉換量化裝置200中,轉換部201是與式(D)同樣地,使用比例縮放參數fwdbdShift1來導出捨入偏置fwdbdOffset1,正規化部214係使用該捨入偏置fwdbdOffset1與比例縮放參數fwdbdShift1,來進行正規化。
換言之,轉換部201是藉由乘算轉換係數的符號,以將使用比例縮放參數fwdbdShift1而被導出的捨入偏置fwdbdOffset1,予以補正。然後,正規化部214係使用該補正後的捨入偏置fwdbdOffset1'與比例縮放參數fwdbdShift1,來進行正規化。
藉由如此設計,正規化部214係可藉由算術位元移位,而進行正規化處理,因此可降低捨入誤差的符號(正負)之偏頗,於係數轉換中可抑制資訊的損失。
<1-2-4:組合> <1-2-1:量化參數之控制>、<1-2-2:捨入偏置的符號控制>、及<1-2-3:捨入偏置的符號控制>之各個段落中所說明的各方法,係可適宜地加以組合而適用。藉由組合越多的方法,轉換量化裝置200就可越為抑制轉換量化處理中的資訊的損失。亦即,轉換量化裝置200,係藉由組合越多上述的各方法,就可使得“轉換略過+QP4”策略所致之編碼,越趨近於可逆編碼(無損編碼)。
此外,<1-2-1:量化參數之控制>、<1-2-2:捨入偏置的符號控制>、及<1-2-3:捨入偏置的符號控制>之各個段落中所說明的各方法,係可與<1-1-1:量化參數之控制>、<1-1-2:捨入偏置的符號控制>、及<1-1-3:捨入偏置的符號控制>之各個段落中所說明的各方法,適宜地加以組合而適用。亦即,逆量化逆轉換裝置100係可使得“轉換略過+QP4”策略所致之解碼趨近於可逆解碼(無損編碼),同時,轉換量化裝置200係可使得“轉換略過+QP4”策略所致之編碼更加趨近於可逆編碼(無損編碼)。
<3.第2實施形態> <轉換略過時的伸張處理之合併> 在要適用轉換略過的情況下,存在有冗餘的處理,因此會有導致逆量化逆轉換處理的負荷增大之虞。例如,於轉換略過時的資料路徑中,為了將逆正交轉換後的預測殘差之動態範圍與略過了逆正交轉換之情況的預測殘差之動態範圍對齊,而存在有轉換略過固有的TS係數伸張處理(<<tsShift)。然而,該TS係數伸張處理,係與逆量化處理程序中的正規化處理(>>bdShift1)為相反方向的位元移位。因此,把這些處理視為彼此互異的處理而進行,就是冗餘。
於是,於逆量化逆轉換處理中,如圖1的表的從上數來第9行所示,將轉換略過中的伸張處理(<<tsShift),以逆量化中的正規化處理來替代(方法2-1)。
例如,於影像處理方法中,使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化;在不適用轉換略過的情況下,則對藉由逆量化而被生成的轉換係數進行逆係數轉換,生成影像與該影像之預測影像之殘差也就是預測殘差;在要適用轉換略過的情況下,則將逆係數轉換予以略過。
例如,於影像處理裝置中,使其具備:逆量化部,係對量化係數進行逆量化;和逆量化正規化部,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由逆量化部所致之逆量化而被生成的轉換係數予以正規化;和逆轉換部,係在不適用轉換略過的情況下,則對已被逆量化正規化部所正規化的轉換係數進行逆係數轉換,生成影像與該影像之預測影像的殘差也就是預測殘差;在要適用轉換略過的情況下,則將逆係數轉換予以略過。
藉由如此設計,可減少冗餘的處理,可抑制逆量化逆轉換處理的負荷之增大。亦即,可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
<2-1:逆量化逆轉換裝置> 圖9係為此時的逆量化逆轉換裝置100的構成之一例的區塊圖。此外,於圖9中係主要表示處理部或資料的流向等,圖9所示者並非全部。亦即,於逆量化逆轉換裝置100中,亦可存在有於圖9中未以區塊而被表示的處理部,亦可存在有於圖9中未以箭頭等而表示的處理或資料之流向。
如圖9所示,此時的逆量化逆轉換裝置100,係與圖2的情況同樣地,具有逆量化部101及逆轉換部102。逆量化部101係與圖2的情況同樣地,具有逆量化處理部111及正規化部112。逆轉換部102係具有選擇部121乃至正規化部124。亦即,相較於圖2的情況,伸張處理部125係被省略。
於如此的逆量化逆轉換裝置100中,適用上述的(方法2-1)。亦即,逆量化逆轉換裝置100係將轉換略過中的伸張處理,以逆量化中的正規化處理來替代。亦即,正規化部112,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由逆量化處理部111所致之逆量化而被生成的轉換係數予以正規化。然後在轉換略過被適用的情況下,藉由圖2的伸張處理部125所做的伸張處理,係與圖9的正規化部112所致之逆量化中的正規化處理合併。
藉由如此設計,逆量化逆轉換裝置100係可抑制該逆量化逆轉換處理的負荷之增大。亦即,逆量化逆轉換裝置100係可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
<逆量化逆轉換處理的流程> 接著,將此時的逆量化逆轉換處理的流程之例子,參照圖10的流程圖來加以說明。
此時的逆量化逆轉換處理一旦被開始,則步驟S301乃至步驟S306之各處理,基本上是與圖3的步驟S101乃至步驟S106之各處理同樣地被執行。
但是,於步驟S304中,在判定為要適用轉換略過的情況下,則處理係往步驟S307前進。又,一旦步驟S306之處理結束,則處理係往步驟S307前進。
步驟S307之處理,係與圖3的步驟S108之處理同樣地被執行。一旦步驟S307的處理結束,則逆量化逆轉換處理就結束。
於如此的逆量化逆轉換處理中,適用上述的(方法2-1)。亦即,於步驟S303中,正規化部112,係以替代轉換略過中的伸張處理的方式,對轉換係數進行正規化處理。亦即,正規化部112,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由逆量化處理部111所致之逆量化而被生成的轉換係數予以正規化。然後在轉換略過被適用的情況下,於圖3的步驟S107中所被進行的伸張處理,係與步驟S303中的逆量化中的正規化處理合併。
藉由如此設計,逆量化逆轉換裝置100係可抑制該逆量化逆轉換處理的負荷之增大。亦即,逆量化逆轉換裝置100係可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
<2-1-1:相應於轉換略過的比例縮放參數之設定> 在將逆量化中的正規化處理、與轉換略過中的伸張處理視為個別的處理而進行的情況下,該正規化處理中所被使用的比例縮放參數bdShift1、與該伸張處理中所被使用的比例縮放參數tsShift,係例如像是圖11的A所示的語意般地被導出。
亦即,比例縮放參數bdShift1係藉由:基於位元深度的成分(bitDepth)、基於轉換區塊尺寸與轉換略過旗標(transform_skip_flag)的成分((rectNonTsFlag ? 1:0))、基於轉換區塊尺寸的成分((log2(nTbW)+log2(nTbH)/2)-5)、基於依賴性量化的成分(dep_quant_enabled_flag)之和,而被導出。又,比例縮放參數tsShift,係藉由基於轉換區塊尺寸的成分(5+(log2(nTbW)+log2(nTbH)/2)),而被導出
亦即,比例縮放參數bdShift1中係含有,將比例縮放參數tsShift的正負予以顛倒的成分。於是,在要適用轉換略過的情況下,使轉換略過中的伸張處理之位元移位,反映至逆量化中的正規化處理之位元移位,而將這些處理加以合併。
亦即,正規化部112,係在不適用轉換略過的情況下,則使用未反映出轉換略過中的伸張處理的比例縮放參數而將轉換係數予以正規化;在要適用轉換略過的情況下,則使用有反映出轉換略過中的伸張處理的比例縮放參數而將轉換係數予以正規化。
例如,如圖11的B所示的語意,在將逆量化中的正規化處理中所被使用的比例縮放參數bdShift1予以導出之際,在轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),則將基於轉換區塊尺寸的成分,設定成「0」。又,在轉換略過旗標是表示轉換略過之非適用的情況下(transform_skip_flag != IS_SKIP),則將基於轉換區塊尺寸的成分,設定成((log2(nTbW)+log2(nTbH)/2)-5)。
藉由如此設計,逆量化逆轉換裝置100係可減少冗餘的處理,因此可抑制逆量化逆轉換處理的負荷之增大。亦即,逆量化逆轉換裝置100係可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
此外,此時的語意的表現方法係為任意,並不限定於圖11的B的例子。例如,亦可如圖12的A的語意所示般地,將變數tsShift,隨應於是否適用轉換略過而加以設定,將該變數tsShift,當作基於轉換區塊尺寸的成分來使用,而導出比例縮放參數bdShift1。
又,亦可如圖12的B的語意的例子般地,還將基於依賴性量化的成分,隨應於是否適用轉換略過而加以設定。此情況下,只有在不適用轉換略過的情況下,對比例縮放參數bdShift1,加算基於依賴性量化的成分(dep_quant_enabled_flag)。
這些情況(圖12的A、圖12的B),也都和圖11的B的情況同樣地,可減少冗餘的處理。
<2-1-2:相應於量化矩陣的比例縮放參數之設定> 轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),亦可將比例縮放參數bdShift1的基於轉換區塊尺寸的成分,設定成量化矩陣所相應之值。
例如,如圖13的A所示的語意,在將逆量化中的正規化處理中所被使用的比例縮放參數bdShift1予以導出之際,在轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),則將基於轉換區塊尺寸的成分,設定成「-4」。又,在轉換略過旗標是表示轉換略過之非適用的情況下(transform_skip_flag != IS_SKIP),則將基於轉換區塊尺寸的成分,設定成((log2(nTbW)+log2(nTbH)/2)-5)。
藉由如此設計,逆量化逆轉換裝置100係可抑制處理發生溢位。
此外,此時的語意的表現方法係為任意,並不限定於圖12的A的例子。例如,亦可如圖13的B的語意所示般地,將變數tsShift,隨應於是否適用轉換略過而加以設定,將該變數tsShift,當作基於轉換區塊尺寸的成分來使用,而導出比例縮放參數bdShift1。
又,亦可如圖13的C的語意的例子般地,還將基於依賴性量化的成分,隨應於是否適用轉換略過而加以設定。此情況下,只有在不適用轉換略過的情況下,對比例縮放參數bdShift1,加算基於依賴性量化的成分(dep_quant_enabled_flag)。
這些情況(圖13的B、圖13的C),也都和圖13的A的情況同樣地,可抑制處理發生溢位。
<轉換略過時的伸張處理之合併> 於轉換量化處理中也是和上述的逆量化逆轉換處理的情況相同。亦即,在要適用轉換略過的情況下,存在有冗餘的處理,因此會有導致轉換量化處理的負荷增大之虞。例如,於轉換略過時的資料路徑中,為了將正交轉換後的轉換係數之動態範圍與略過了正交轉換之情況的預測殘差之動態範圍對齊,而存在有轉換略過固有的TS係數伸張處理(<<fwdtsShift)。然而,該TS係數伸張處理,係與量化處理程序中的正規化處理(>>fwdbdShift2)為相反方向的位元移位。因此,把這些處理視為彼此互異的處理而進行,就是冗餘。
於是,於轉換量化處理中,如圖1的表的從上數來第10行所示,將轉換略過中的伸張處理(<<fwdtsShift),以量化中的正規化處理來替代(方法2-2)。
例如,於影像處理方法中,在不適用轉換略過的情況下,則對影像與該影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用轉換略過的情況下,則將係數轉換予以略過;在不適用轉換略過的情況下,則對轉換係數進行量化;在要適用轉換略過的情況下,則對預測殘差進行量化; 使用相應於是否適用轉換略過的比例縮放參數,而將藉由量化而被生成的量化係數予以正規化。
例如,於影像處理裝置中,使其具備:轉換部,係在不適用轉換略過的情況下,則對影像與該影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用轉換略過的情況下,則將係數轉換予以略過;和量化部,係在不適用轉換略過的情況下,則對轉換係數進行量化;在要適用轉換略過的情況下,則對預測殘差進行量化;和量化正規化部,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由量化部所致之量化而被生成的量化係數予以正規化。
藉由如此設計,可減少冗餘的處理,可抑制轉換量化處理的負荷之增大。亦即,可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
<2-2:轉換量化裝置> 圖14係為此時的轉換量化裝置200的構成之一例的區塊圖。此外,於圖14中係主要表示處理部或資料的流向等,圖14所示者並非全部。亦即,於轉換量化裝置200中,亦可存在有於圖14中未以區塊而被表示的處理部,亦可存在有於圖14中未以箭頭等而表示的處理或資料之流動。
如圖14所示,此時的轉換量化裝置200,係與圖7的情況同樣地,具有轉換部201及量化部202。轉換部201係具有選擇部211乃至正規化部214。亦即,相較於圖7的情況,伸張處理部215係被省略。量化部202係與圖7的情況同樣地,具有量化處理部221及正規化部222。
於如此的轉換量化裝置200中,適用上述的(方法2-2)。亦即,轉換量化裝置200係將轉換略過中的伸張處理,以量化中的正規化處理來替代。亦即,正規化部222,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由量化處理部221所致之量化而被生成的量化係數予以正規化。然後在轉換略過被適用的情況下,圖7的伸張處理部215所致之伸張處理,係與圖14的正規化部222所致之量化中的正規化處理合併。
藉由如此設計,轉換量化裝置200係可抑制該轉換量化處理的負荷之增大。亦即,轉換量化裝置200係可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
<轉換量化處理的流程> 接著,將此時的轉換量化處理的流程之例子,參照圖15的流程圖來加以說明。
此時的轉換量化處理一旦被開始,則步驟S321乃至步驟S327之各處理,基本上是與圖8的步驟S201乃至步驟S203、以及步驟S205乃至步驟S208之各處理同樣地被執行。
但是,於步驟S321中,在判定為要適用轉換略過的情況下,則處理係往步驟S324前進。又,一旦步驟S323之處理結束,則處理係往步驟S324前進。
一旦步驟S327的處理結束,則轉換量化處理就結束。
於如此的轉換量化處理中,適用上述的(方法2-2)。亦即,於步驟S327中,正規化部222,係以替代轉換略過中的伸張處理的方式,對量化係數進行正規化處理。亦即,正規化部222,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由量化處理部221所致之量化而被生成的量化係數予以正規化。然後在轉換略過被適用的情況下,於圖8的步驟S204中所被進行的伸張處理,係與步驟S327中的量化中的正規化處理合併。
藉由如此設計,轉換量化裝置200係可抑制該轉換量化處理的負荷之增大。亦即,轉換量化裝置200係可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
<2-2-1:相應於轉換略過的比例縮放參數之設定> 在將量化中的正規化處理、與轉換略過中的伸張處理視為個別的處理而進行的情況下,該正規化處理中所被使用的比例縮放參數fwdbdShift2、與該伸張處理中所被使用的比例縮放參數fwdtsShift,係和圖11的A的例子同樣地被導出。
亦即,比例縮放參數fwdbdShift2中係含有,將比例縮放參數fwdtsShift的正負予以顛倒的成分。因此,將量化中的正規化處理,與轉換略過中的伸張處理視為個別的處理而進行,係為冗餘。於是,在要適用轉換略過的情況下,使轉換略過中的伸張處理之位元移位,反映至量化中的正規化處理之位元移位,而將這些處理加以合併。
亦即,轉換處理部212,係在不適用轉換略過的情況下,則對預測殘差進行係數轉換;在要適用轉換略過的情況下,則不進行伸張處理就將係數轉換予以略過;正規化部222,係在不適用轉換略過的情況下,則使用該未反映出轉換略過中的伸張處理的比例縮放參數而將量化係數予以正規化;在要適用轉換略過的情況下,則使用有反映出伸張處理的比例縮放參數而將量化係數予以正規化。
例如,與圖11的B所示的語意的情況同樣地,在將量化中的正規化處理中所被使用的比例縮放參數fwdbdShift2予以導出之際,在轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),則將基於轉換區塊尺寸的成分,設定成「0」。又,在轉換略過旗標是表示轉換略過之非適用的情況下(transform_skip_flag != IS_SKIP),則將基於轉換區塊尺寸的成分,設定成((log2(nTbW)+log2(nTbH)/2)-5)。
藉由如此設計,轉換量化裝置200係可減少冗餘的處理,因此可抑制轉換量化處理的負荷之增大。亦即,轉換量化裝置200係可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
此外,此時的語意之表現方法係為任意。例如,亦可如圖12的A的語意的情況同樣地,將變數fwdtsShift,隨應於是否適用轉換略過而加以設定,將該變數fwdtsShift,當作基於轉換區塊尺寸的成分來使用,而導出比例縮放參數fwdbdShift1。
又,亦可和圖12的B的語意的情況同樣地,還將基於依賴性量化的成分,隨應於是否適用轉換略過而加以設定。此情況下,只有在不適用轉換略過的情況下,對比例縮放參數fwdbdShift2,加算基於依賴性量化的成分(dep_quant_enabled_flag)。
這些情況也可減少冗餘的處理。
<2-2-2:相應於量化矩陣的比例縮放參數之設定> 又,該轉換量化處理的情況也是和上述的逆量化逆轉換處理的情況同樣地,轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),亦可將比例縮放參數fwdbdShift2的基於轉換區塊尺寸的成分,設定成量化矩陣所相應之值。
例如,與圖13的A所示的語意的情況同樣地,在將量化中的正規化處理中所被使用的比例縮放參數fwdbdShift2予以導出之際,在轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),則將基於轉換區塊尺寸的成分,設定成「-4」。又,在轉換略過旗標是表示轉換略過之非適用的情況下(transform_skip_flag != IS_SKIP),則將基於轉換區塊尺寸的成分,設定成((log2(nTbW)+log2(nTbH)/2)-5)。
藉由如此設計,轉換量化裝置200係可抑制處理發生溢位。
此外,此時的語意之表現方法係為任意。例如,亦可如圖13的B的語意的情況同樣地,將變數fwdtsShift,隨應於是否適用轉換略過而加以設定,將該變數fwdtsShift,當作基於轉換區塊尺寸的成分來使用,而導出比例縮放參數fwdbdShift2。
又,亦可和圖13的C的語意的情況同樣地,還將基於依賴性量化的成分,隨應於是否適用轉換略過而加以設定。此情況下,只有在不適用轉換略過的情況下,對比例縮放參數fwdbdShift2,加算基於依賴性量化的成分(dep_quant_enabled_flag)。
這些情況,也都是和圖13的A的情況同樣地,可抑制處理發生溢位。
此外,於本實施形態中所說明的各方法,係可適宜和第1實施形態中所說明的各方法加以組合而適用。
<4.第3實施形態> <轉換略過時的正規化處理之合併> 例如,於轉換略過時的資料路徑中,為了將逆係數轉換後的預測殘差之動態範圍與略過了逆係數轉換之情況的轉換係數(亦即預測殘差)之動態範圍對齊,而存在有轉換略過固有的TS係數伸張處理(<<tsShift)、及“bdShift2”所致之正規化處理。然而,該TS係數伸張處理及正規化處理中的位元移位,係可與逆量化處理程序中的正規化處理(>>bdShift1)中的位元移位合併。亦即,個別進行這些位元移位係為冗餘。
於是,於逆量化逆轉換處理中,如圖1的表的從上數來第11行所示,在轉換略過的情況下,將轉換略過中的伸張處理(<<tsShift)與逆係數轉換中的正規化處理,以逆量化中的正規化處理來替代(方法3-1)。
藉由如此設計,可減少冗餘的處理,可抑制逆量化逆轉換處理的負荷之增大。亦即,可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
<3-1:逆量化逆轉換裝置> 圖16係為此時的逆量化逆轉換裝置100的構成之一例的區塊圖。此外,於圖16中係主要表示處理部或資料的流向等,圖16所示者並非全部。亦即,於逆量化逆轉換裝置100中,亦可存在有於圖16中未以區塊而被表示的處理部,亦可存在有於圖16中未以箭頭等而表示的處理或資料之流向。
如圖16所示,此時的逆量化逆轉換裝置100,係與圖2的情況同樣地,具有逆量化部101及逆轉換部102。逆量化部101係與圖2的情況同樣地,具有逆量化處理部111及正規化部112。逆轉換部102係具有選擇部121乃至正規化部124。亦即,相較於圖2的情況,伸張處理部125係被省略。
又,正規化部124,係被設在逆轉換處理部122與選擇部123之間。因此,此情況下,正規化部124,係在轉換略過未被適用的情況下,將從逆轉換處理部122所被供給之預測殘差加以取得,對該預測殘差進行正規化處理,將已被正規化的預測殘差,供給至選擇部123。選擇部123,係在轉換略過未被適用的情況下,將從該正規化部124所被供給之預測殘差(已被正規化的預測殘差)加以取得,將其輸出至逆量化逆轉換裝置100之外部。
於如此的逆量化逆轉換裝置100中,適用上述的(方法3-1)。亦即,逆量化逆轉換裝置100,係在轉換略過的情況下,將轉換略過中的伸張處理、與逆係數轉換中的正規化處理,以逆量化中的正規化處理來替代。亦即,正規化部112,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由逆量化處理部111所致之逆量化而被生成的轉換係數予以正規化。然後在轉換略過被適用的情況下,圖2的伸張處理部125所致之伸張處理、與圖2的正規化部124所致之逆係數轉換中的正規化處理,係與圖16的正規化部112所致之逆量化中的正規化處理合併。
藉由如此設計,逆量化逆轉換裝置100係可抑制該逆量化逆轉換處理的負荷之增大。亦即,逆量化逆轉換裝置100係可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
<逆量化逆轉換處理的流程> 接著,將此時的逆量化逆轉換處理的流程之例子,參照圖17的流程圖來加以說明。
此時的逆量化逆轉換處理一旦被開始,則步驟S341乃至步驟S347之各處理,基本上是與圖10的步驟S301乃至步驟S307之各處理同樣地被執行。
但是,於步驟S344中,在判定為要適用轉換略過的情況下,則步驟S345乃至步驟S347之各處理係被略過,逆量化逆轉換處理就結束。
於如此的逆量化逆轉換處理中,適用上述的(方法3-1)。亦即,於步驟S343中,正規化部112,係在要適用轉換略過的情況下,為了替代轉換略過中的伸張處理與逆係數轉換中的正規化處理,而對轉換係數進行正規化處理。亦即,正規化部112,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由逆量化處理部111所致之逆量化而被生成的轉換係數予以正規化。然後在轉換略過被適用的情況下,圖3的步驟S107中所被進行的伸張處理與圖3的步驟S108中所被進行的正規化處理,係與步驟S343中的逆量化中的正規化處理合併。
藉由如此設計,逆量化逆轉換裝置100係可抑制該逆量化逆轉換處理的負荷之增大。亦即,逆量化逆轉換裝置100係可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
<3-1-1:相應於轉換略過的比例縮放參數之設定> 在把逆量化中的正規化處理、與轉換略過中的伸張處理、與逆係數轉換中的正規化處理視為個別的處理而進行的情況下,逆量化中的正規化處理中所被使用的比例縮放參數bdShift1、與伸張處理中所被使用的比例縮放參數tsShift、與逆係數轉換中的正規化處理中所被使用的比例縮放參數bdShift2係例如,如圖18的A所示的語意般地被導出。
亦即,比例縮放參數bdShift1與比例縮放參數tsShift,係分別如第2實施形態中所說明般地被導出。比例縮放參數bdShift2係被設定成,「20」與位元深度(bitDepth)之差分、和「0」兩者之中為較大之一方的值。使用這些比例縮放參數而將位元移位做合併。
亦即,正規化部124係在不適用轉換略過的情況下,則將預測殘差予以正規化;正規化部112係在要適用轉換略過的情況下,則使用有反映出正規化部124對預測殘差所做的正規化處理的比例縮放參數,而將轉換係數予以正規化。
例如,如圖18的B所示的語意,在轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),逆量化中的正規化處理中所被使用的比例縮放參數bdShift1,係根據變數trBdShift與基於依賴性量化的成分(dep_quant_enabled_flag)之和而被導出。
該變數trBdShift,係如圖18的B所示的語意,視為逆量化所相應之值(INV_QUANT)、與比例縮放清單所相應之值(SCALING_LIST_BITS)之和,而被導出。
例如,逆量化所相應的值(INV_QUANT)係被設定成「6」,比例縮放清單所相應之值(SCALING_LIST_BITS)係被設定成「4」。亦即,變數trBdShift係被設定成「10」。
藉由如此設計,逆量化逆轉換裝置100係可減少冗餘的處理,因此可抑制逆量化逆轉換處理的負荷之增大。亦即,逆量化逆轉換裝置100係可抑制“轉換略過+QP4”策略所致之解碼的負荷之增大。
此外,此時的語意之表現方法係為任意。例如,亦可如圖19的A的語意所示般地,將變數trBdShift,隨應於是否適用轉換略過而加以設定,將該變數trBdShift,當作基於轉換區塊尺寸的成分來使用,而導出比例縮放參數bdShift1。
又,亦可如圖19的B的語意的例子般地,還將基於依賴性量化的成分,隨應於是否適用轉換略過而加以設定。此情況下,只有在不適用轉換略過的情況下,對比例縮放參數bdShift1,加算基於依賴性量化的成分(dep_quant_enabled_flag)。
這些情況(圖19的A、圖19的B),也都和圖18的B的情況同樣地,可減少冗餘的處理。
<轉換略過時的正規化處理之合併> 於轉換量化處理中也是和上述的逆量化逆轉換處理的情況相同。亦即,在要適用轉換略過的情況下,存在有冗餘的處理,因此會有導致轉換量化處理的負荷增大之虞。例如,於轉換略過時的資料路徑中,為了將正交轉換後的轉換係數之動態範圍與略過了正交轉換之情況的預測殘差之動態範圍對齊,而存在有轉換略過固有的TS係數伸張處理(<<fwdtsShift)及“fwdbdShift1”所致之正規化處理。然而,該TS係數伸張處理及正規化處理中的位元移位,係可與量化處理程序中的正規化處理(>>fwdbdShift2)中的位元移位合併。亦即,個別進行這些位元移位係為冗餘。
於是,於轉換量化處理中,如圖1的表的從上數來第12行(最下行)所示,在轉換略過的情況下,將轉換略過中的伸張處理(<<fwdtsShift)與係數轉換中的正規化處理,以量化中的正規化處理來替代(方法3-2)。
藉由如此設計,可減少冗餘的處理,可抑制轉換量化處理的負荷之增大。亦即,可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
<3-2:轉換量化裝置> 圖20係為此時的轉換量化裝置200的構成之一例的區塊圖。此外,於圖20中係主要表示處理部或資料的流向等,圖20所示者並非全部。亦即,於轉換量化裝置200中,亦可存在有於圖20中未以區塊而被表示的處理部,亦可存在有於圖20中未以箭頭等而表示的處理或資料之流動。
如圖20所示,此時的轉換量化裝置200,係與圖7的情況同樣地,具有轉換部201及量化部202。轉換部201係具有選擇部211乃至正規化部214。亦即,相較於圖7的情況,伸張處理部215係被省略。
又,正規化部214,係被設在轉換處理部212與選擇部213之間。因此,此情況下,正規化部214,係在轉換略過未被適用的情況下,將從轉換處理部212所被供給之轉換係數加以取得,對該轉換係數進行正規化處理,將已被正規化的轉換係數,供給至選擇部213。選擇部213,係在轉換略過未被適用的情況下,將從該正規化部214所被供給之轉換係數(已被正規化的轉換係數)加以取得,將其輸出至轉換量化裝置200之外部。
量化部202係與圖7的情況同樣地,具有量化處理部221及正規化部222。
於如此的轉換量化裝置200中,適用上述的(方法3-2)。亦即,轉換量化裝置200,係將轉換略過中的伸張處理與係數轉換中的正規化處理,以量化中的正規化處理替代。亦即,正規化部222,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由量化處理部221所致之量化而被生成的量化係數予以正規化。然後在轉換略過被適用的情況下,圖7的伸張處理部215所致之伸張處理、與圖7的正規化部214所致之正規化處理,係與圖20的正規化部222所致之量化中的正規化處理合併。
藉由如此設計,轉換量化裝置200係可抑制該轉換量化處理的負荷之增大。亦即,轉換量化裝置200係可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
<轉換量化處理的流程> 接著,將此時的轉換量化處理的流程之例子,參照圖21的流程圖來加以說明。
此時的轉換量化處理一旦被開始,則步驟S361乃至步驟S367之各處理,基本上是與圖15的步驟S321乃至步驟S327之各處理同樣地被執行。
但是,於步驟S361中,在判定為要適用轉換略過的情況下,則步驟S362乃至步驟S364之各處理係被略過,處理係往步驟S365前進。
於如此的轉換量化處理中,適用上述的(方法3-2)。亦即,於步驟S367中,正規化部222,係在要適用轉換略過的情況下,為了替代轉換略過中的伸張處理與係數轉換中的正規化處理,而對轉換係數進行正規化處理。亦即,正規化部222,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由量化處理部221所致之量化而被生成的量化係數予以正規化。然後在轉換略過被適用的情況下,圖8的步驟S204中所被進行的伸張處理與圖8的步驟S205中所被進行的正規化處理,係與步驟S367中的量化中的正規化處理合併。
藉由如此設計,轉換量化裝置200係可抑制該轉換量化處理的負荷之增大。亦即,轉換量化裝置200係可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
<3-2-1:相應於轉換略過的比例縮放參數之設定> 正規化部214係在不適用轉換略過的情況下,則將轉換係數予以正規化;正規化部222係在要適用轉換略過的情況下,則使用有反映出正規化部214對預測殘差所做的正規化處理的比例縮放參數,而將量化係數予以正規化。
例如,和圖18的B的情況同樣地,在轉換略過旗標是表示轉換略過之適用的情況下(transform_skip_flag == IS_SKIP),量化中的正規化處理中所被使用的比例縮放參數fwdbdShift2,係根據變數fwdtrBdShift與基於依賴性量化的成分(dep_quant_enabled_flag)之和而被導出。
該變數fwdtrBdShift,係和圖18的B所示的語意的情況同樣地,視為量化所相應之值(QUANT)、與比例縮放清單所相應之值(SCALING_LIST_BITS)之和,而被導出。
例如,量化所相應的值(QUANT)係被設定成「6」,比例縮放清單所相應之值(SCALING_LIST_BITS)係被設定成「4」。亦即,變數fwdtrBdShift係被設定成「10」。
藉由如此設計,轉換量化裝置200係可減少冗餘的處理,因此可抑制轉換量化處理的負荷之增大。亦即,轉換量化裝置200係可抑制“轉換略過+QP4”策略所致之編碼的負荷之增大。
此外,此時的語意之表現方法係為任意。例如,亦可如圖19的A的語意的情況同樣地,將變數fwdtrBdShift,隨應於是否適用轉換略過而加以設定,使用該變數fwdtrBdShift,而導出比例縮放參數fwdbdShift2。
又,亦可和圖19的B的語意之例子的情況同樣地,還將基於依賴性量化的成分,隨應於是否適用轉換略過而加以設定。此情況下,只有在不適用轉換略過的情況下,對比例縮放參數fwdbdShift2,加算基於依賴性量化的成分(dep_quant_enabled_flag)。
這些情況(圖19的A、圖19的B),也都和圖18的B的情況同樣地,可減少冗餘的處理。
<5.第4實施形態> <影像解碼裝置> 於第1實施形態乃至第3實施形態等中所上述的本技術,係可適用於任意的裝置、元件、系統等。例如,可對將影像資料之編碼資料進行解碼的影像解碼裝置,適用本技術。亦可適用於將影像資料進行編碼的影像編碼裝置。
圖22係適用了本技術的影像處理裝置之一態樣的影像解碼裝置之構成之一例的區塊圖。圖22所示的影像解碼裝置500,係為將動態影像之編碼資料予以解碼的裝置。例如,影像解碼裝置500係將以上述的非專利文獻中所記載的VVC、AVC、HEVC等之編碼方式所被編碼的動態影像之編碼資料,予以解碼。例如,影像解碼裝置500係可將後述的影像編碼裝置600所生成的編碼資料(位元串流),予以解碼。
此外,於圖22中係主要表示處理部或資料的流向等,圖22所示者並非全部。亦即,於影像解碼裝置500中,亦可存在有於圖22中未以區塊而被表示的處理部,亦可存在有於圖22中未以箭頭等而表示的處理或資料之流向。這在影像解碼裝置500內的處理部等的說明的其他圖中也是同樣如此。
於圖22中,影像解碼裝置500係具備:控制部501、積存緩衝區511、解碼部512、逆量化逆轉換部513、演算部514、迴圈內濾波器部515、排序緩衝區516、畫格記憶體517、及預測部518。此外,預測部518係具備未圖示的畫面內預測部、及畫面間預測部。
<控制部> 控制部501,係進行解碼之控制的相關處理。例如,控制部501,係將位元串流中所含之編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等),透過解碼部512而加以取得。又,控制部501,係可將位元串流中所沒包含的編碼參數,加以推定。甚至,控制部501係基於已取得之(或已推定之)編碼參數,來控制影像解碼裝置500的各處理部(積存緩衝區511乃至預測部518),以控制解碼。
例如,控制部501係將標頭資訊Hinfo,供給至逆量化逆轉換部513、預測部518、迴圈內濾波器部515。又,控制部501係將預測模式資訊Pinfo,供給至逆量化逆轉換部513及預測部518。甚至,控制部501係將轉換資訊Tinfo,供給至逆量化逆轉換部513。又,控制部501係將殘差資訊Rinfo,供給至解碼部512。甚至控制部501係將濾波器資訊Finfo,供給至迴圈內濾波器部515。
當然,上述的例子係為一例,並非限定於此例。例如,各編碼參數亦可被供給至任意之處理部。又,其他資訊亦可被供給至任意之處理部。
<標頭資訊Hinfo> 標頭資訊Hinfo係含有例如:VPS(Video Parameter Set)/SPS(Sequence ParameterSet)/PPS(Picture Parameter Set)/PH(圖像標頭)/SH(切片標頭)等之標頭資訊。標頭資訊Hinfo中係含有例如:將影像尺寸(橫幅PicWidth、縱幅PicHeight)、位元深度(亮度bitDepthY、色差bitDepthC)、色差陣列類型ChromaArrayType、CU尺寸之最大值MaxCUSize/最小值MinCUSize、4分樹分割(亦稱為Quad-tree分割)之最大深度MaxQTDepth/最小深度MinQTDepth、2分樹分割(Binary-tree分割)之最大深度MaxBTDepth/最小深度MinBTDepth、轉換略過區塊之最大值MaxTSSize(亦稱為最大轉換略過區塊尺寸)、各編碼工具的開啟關閉旗標(亦稱為有效旗標)等予以規定的資訊。
例如,作為標頭資訊Hinfo中所含之編碼工具的開啟關閉旗標,係有以下所示的涉及轉換、量化處理的開啟關閉旗標。此外,編碼工具的開啟關閉旗標,係亦可解釋成,表示編碼工具所涉及之語法是否存在於編碼資料中的旗標。又,開啟關閉旗標之值為1(真)的情況下,表示編碼工具是可使用,開啟關閉旗標之值為0(偽)的情況下,表示編碼工具是不可使用。此外,旗標值的解釋亦可顛倒。
<預測模式資訊Pinfo> 預測模式資訊Pinfo中係含有例如;處理對象PB(預測區塊)之尺寸資訊PBSize(預測區塊尺寸)、畫面內預測模式資訊IPinfo、運動預測資訊MVinfo等之資訊。
畫面內預測模式資訊IPinfo中係含有例如:JCTVC-W1005, 7.3.8.5 Coding Unit syntax中的prev_intra_luma_pred_flag、mpm_idx, rem_intra_pred_mode、及從該語法所被導出的亮度畫面內預測模式IntraPredModeY等。
又,畫面內預測模式資訊IPinfo中係含有例如:組件間預測旗標(ccp_flag(cclmp_flag))、多級別線性預測模式旗標(mclm_flag)、色差樣本位置類型識別元(chroma_sample_loc_type_idx)、色差MPM識別元(chroma_mpm_idx)、及從這些語法所被導出的亮度畫面內預測模式(IntraPredModeC)等。
組件間預測旗標(ccp_flag(cclmp_flag)),係為表示是否適用組件間線性預測的旗標資訊。例如,ccp_flag==1時,表示要適用組件間預測,ccp_flag==0時,表示不適用組件間預測。
多級別線性預測模式旗標(mclm_flag),係為線性預測之模式的相關資訊(線性預測模式資訊)。更具體而言,多級別線性預測模式旗標(mclm_flag),係為表示是否設成多級別線性預測模式的旗標資訊。例如,「0」的情況是表示1級別模式(單一級別模式)(例如CCLMP),「1」的情況是表示2級別模式(多級別模式)(例如MCLMP)。
色差樣本位置類型識別元(chroma_sample_loc_type_idx),係為用來識別色差組件的像素位置之類型(亦稱為色差樣本位置類型)的識別元。
此外,該色差樣本位置類型識別元(chroma_sample_loc_type_idx),係作為色差組件之像素位置的相關資訊(chroma_sample_loc_info())(被儲存在其中)而被傳輸。
色差MPM識別元(chroma_mpm_idx),係為表示要將色差畫面內預測模式候補清單(intraPredModeCandListC)之中的哪個預測模式候補指定作為色差畫面內預測模式的識別元。
運動預測資訊MVinfo中係含有例如:merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0,1}、mvd等之資訊(例如參照JCTVC-W1005, 7.3.8.6 Prediction Unit Syntax)。
當然,預測模式資訊Pinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<轉換資訊Tinfo> 轉換資訊Tinfo中係含有例如以下之資訊。當然,轉換資訊Tinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
處理對象轉換區塊之橫幅尺寸TBWSize及縱幅TBHSize:以2為底的各TBWSize、TBHSize之對數值log2TBWSize、log2TBHSize)。 轉換略過旗標(ts_flag):表示是否將(逆)初級轉換及(逆)次級轉換予以略過的旗標。 掃描識別元(scanIdx) 量化參數(qp) 量化矩陣(scaling_matrix):例如JCTVC-W1005, 7.3.4 Scaling list data syntax
<殘差資訊Rinfo> 殘差資訊Rinfo(例如參照JCTVC-W1005的7.3.8.11 Residual Coding syntax)中係含有例如以下之語法。
cbf(coded_block_flag):殘差資料有無旗標 last_sig_coeff_x_pos:最後非零係數X座標 last_sig_coeff_y_pos:最後非零係數Y座標 coded_sub_block_flag:子區塊非零係數有無旗標 sig_coeff_flag:非零係數有無旗標 gr1_flag:表示非零係數之位準是大於1的旗標(亦稱為GR1旗標) gr2_flag:表示非零係數之位準是大於2的旗標(亦稱為GR2旗標) sign_flag:表示非零係數之正負的符號(亦稱為記號符號) coeff_abs_level_remaining:非零係數之殘餘位準(亦稱為非零係數殘餘位準) 等。
當然,殘差資訊Rinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<濾波器資訊Finfo> 濾波器資訊Finfo中係含有例如:以下所示的各濾波器處理所相關之控制資訊。
去區塊濾波器(DBF)所相關之控制資訊 像素適應偏置(SAO)所相關之控制資訊 適應迴圈濾波器(ALF)所相關之控制資訊 其他線性、非線性濾波器所相關之控制資訊
更具體而言,含有例如:適用各濾波器的圖像、或指定圖像內之領域的資訊、或CU單位的濾波器On/Off控制資訊、關於切片、瓷磚之交界的濾波器On/Off控制資訊等。當然,濾波器資訊Finfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<積存緩衝區> 積存緩衝區511,係將已被輸入至影像解碼裝置500的位元串流加以取得,並予以保持(記憶)。積存緩衝區511,係在所定之時序上、或所定之條件達成等情況下,將所積存的位元串流中所含之編碼資料予以抽出,供給至解碼部512。
<解碼部> 解碼部512,係進行影像之解碼的相關處理。例如,解碼部512,係將從積存緩衝區511所被供給之編碼資料當作輸入,依照語法表的定義,從該位元列,將各語法要素之語法值進行熵解碼(可逆解碼),並將參數予以導出。
從語法要素及語法要素之語法值所被導出的參數中係包含有例如:標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等之資訊。亦即,解碼部512,係從位元串流,將這些資訊進行剖析(進行解析並取得之)。
又,解碼部512係依照控制部501之控制,而進行如此的剖析。然後,解碼部512係將剖析所得的這些資訊,供給至控制部501。
然後,解碼部512係參照殘差資訊Rinfo而將編碼資料予以解碼。此時,解碼部512係適用例如CABAC或CAVLC等之熵解碼(可逆解碼)。亦即,解碼部512係以影像編碼裝置600的編碼部614所進行的編碼方式所對應的解碼方式,將編碼資料予以解碼。
例如,假設適用CABAC。在非無損編碼模式的情況下,解碼部512係對編碼資料使用上下文模型進行算術解碼,將各轉換區塊內的各係數位置的量化係數level予以導出。解碼部512係將該導出之量化係數level,供給至逆量化逆轉換部513。
又,在無損編碼模式的情況下,解碼部512係對編碼資料以繞過模式進行算術解碼,將殘差資料D予以導出。解碼部512係將該導出之殘差資料D,供給至逆量化逆轉換部513。
<逆量化逆轉換部> 逆量化逆轉換部513係進行逆量化及逆係數轉換的相關處理。例如,在非無損編碼模式的情況下,逆量化逆轉換部513係將從解碼部512所被供給之量化係數level,加以取得。逆量化逆轉換部513,係將該已取得之量化係數level進行比例縮放(逆量化),將轉換係數Coeff予以導出。逆量化逆轉換部513,係對該轉換係數Coeff,進行例如逆正交轉換等之逆係數轉換,將殘差資料D'予以導出。逆量化逆轉換部513係將該殘差資料D'供給至演算部514。
逆量化逆轉換部513係可將這些逆量化及逆係數轉換予以略過(省略)。例如,在無損編碼模式的情況下,逆量化逆轉換部513係將從解碼部512所被供給之殘差資料D,加以取得。逆量化逆轉換部513係將逆量化及逆係數轉換予以略過(省略),將該殘差資料D當作殘差資料D'而供給至演算部514。
此外,逆量化逆轉換部513係依照控制部501之控制而進行這些處理。例如,逆量化逆轉換部513係基於從控制部501所被供給之預測模式資訊Pinfo或轉換資訊Tinfo,而進行這些處理。
<演算部> 演算部514,係進行影像的相關資訊之加算的相關處理。例如,演算部514係將從逆量化逆轉換部513所被供給之殘差資料D',與從預測部518所被供給之預測影像,當作輸入。演算部514係將該殘差資料與該殘差資料所對應之預測影像(預測訊號)進行加算,將局部解碼影像予以導出。演算部514,係將已導出之局部解碼影像,供給至迴圈內濾波器部515及畫格記憶體517。
<迴圈內濾波器部> 迴圈內濾波器部515,係進行迴圈內濾波器處理的相關處理。例如,迴圈內濾波器部515,係將從演算部514所被供給之局部解碼影像、與從控制部501所被供給之濾波器資訊Finfo,當作輸入。此外,對迴圈內濾波器部515所被輸入的資訊係為任意,亦可輸入這些資訊以外之資訊。
迴圈內濾波器部515,係基於該濾波器資訊Finfo,而對局部解碼影像適宜地進行濾波器處理。例如,迴圈內濾波器部515,係將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器,依其順序而做適用。此外,要適用哪個濾波器,要以何種順序做適用係為任意,可適宜地選擇。
迴圈內濾波器部515,係進行編碼側(例如影像編碼裝置600的迴圈內濾波器部618)所進行之濾波器處理所對應之濾波器處理。當然,迴圈內濾波器部515所進行的濾波器處理係為任意,不限定於上述的例子。例如,迴圈內濾波器部515係亦可適用維納濾波器等。
迴圈內濾波器部515,係將已被濾波器處理過的局部解碼影像,供給至排序緩衝區516及畫格記憶體517。
<排序緩衝區> 排序緩衝區516,係將從迴圈內濾波器部515所被供給之局部解碼影像當作輸入,並將其予以保持(記憶)。排序緩衝區516,係使用該局部解碼影像而將每一圖像單位之解碼影像予以重建,並保持之(儲存在緩衝區內)。排序緩衝區516,係將所得到的解碼影像,從解碼順序排序成再生順序。排序緩衝區516,係已排序之解碼影像群,當作動態影像資料而輸出至影像解碼裝置500之外部。
<畫格記憶體> 畫格記憶體517,係進行關於影像之資料的記憶的相關處理。例如,畫格記憶體517,係將從演算部514所被供給之局部解碼影像當作輸入,將每一圖像單位之解碼影像予以重建,並儲存至畫格記憶體517內的緩衝區。
又,畫格記憶體517,係將從迴圈內濾波器部515所被供給之,已被迴圈內濾波器處理過的局部解碼影像當作輸入,將每一圖像單位之解碼影像予以重建,並儲存至畫格記憶體517內的緩衝區。畫格記憶體517,係適宜將其記憶的解碼影像(或其一部分),當作參照影像而供給至預測部518。
此外,畫格記憶體517亦可將解碼影像之生成所涉及的標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等,加以記憶。
<預測部> 預測部518,係進行預測影像之生成的相關處理。例如,預測部518係將從控制部501所被供給之預測模式資訊Pinfo、和從畫格記憶體517所讀出的解碼影像(或其一部分),當作輸入。預測部518係基於預測模式資訊Pinfo而以編碼之際所被採用的預測模式來進行預測處理,將解碼影像當作參照影像進行參照而生成預測影像。預測部518係將已生成之預測影像供給至演算部514。
<逆量化逆轉換裝置之適用> 作為如以上的影像解碼裝置500的逆量化逆轉換部513,亦可適用於第1實施形態乃至第3實施形態中所上述的逆量化逆轉換裝置100。亦即,該逆量化逆轉換部513係亦可具有如圖2、圖9、或圖16所示的構成。藉由如此設計,逆量化逆轉換部513係可獲得第1實施形態乃至第3實施形態中所上述的效果。亦即,影像解碼裝置500係於該解碼處理中,可獲得第1實施形態乃至第3實施形態中所上述的效果。
<影像解碼處理的流程> 接著,藉由如以上的影像解碼裝置500所執行的影像解碼處理的流程之例子,參照圖23的流程圖來加以說明。
一旦影像解碼處理被開始,則積存緩衝區511,係於步驟S501中,將從影像解碼裝置500之外部所被供給之位元串流(編碼資料)加以取得並保持(積存)。
於步驟S502中,解碼部512係從該位元串流將各種編碼參數予以剖析(進行解析並取得)。控制部501係藉由將該已取得之各種編碼參數供給至各種處理部,以設定該各種編碼參數。
於步驟S503中,控制部501係基於所獲得的編碼參數,來設定處理單位。
於步驟S504中,解碼部512係依照控制部501之控制,將位元串流予以解碼,獲得係數資料(量化係數level或殘差資料r)。例如一旦適用CABAC,則在非無損編碼模式的情況下,解碼部512係使用上下文模型進行算術解碼,將各轉換區塊內的各係數位置的量化係數level予以導出。又,在無損編碼模式的情況下,解碼部512係對編碼資料以繞過模式進行算術解碼,將殘差資料D予以導出。
於步驟S505中,逆量化逆轉換部513係進行逆量化逆轉換處理,生成殘差資料r(D')。關於逆量化逆轉換處理係於後述。
於步驟S506中,預測部518係基於步驟S502中所被設定之編碼參數等,以被編碼側所指定之預測方法執行預測處理,參照畫格記憶體517中所被記憶的參照影像等,而生成預測影像P。
於步驟S507中,演算部514,係將步驟S505中所得到的殘差資料D'、與步驟S506中所得到的預測影像P進行加算,導出局部解碼影像Rlocal
於步驟S508中,迴圈內濾波器部515,係對藉由步驟S507之處理所得到的局部解碼影像Rlocal ,進行迴圈內濾波器處理。
於步驟S509中,排序緩衝區516,係使用藉由步驟S508之處理而已被濾波器處理過的局部解碼影像Rlocal 而導出解碼影像R,將該解碼影像R群之順序,從解碼順序排序成再生順序。已被排序成再生順序的解碼影像R群,係作為動態影像而被輸出至影像解碼裝置500之外部。
又,於步驟S510中,畫格記憶體517,係將藉由步驟S507之處理所得到的局部解碼影像Rlocal 、及藉由步驟S508之處理而被濾波器處理過的局部解碼影像Rlocal 之中的至少一方,加以記憶。
一旦步驟S510之處理結束,則影像解碼處理就結束。
<逆量化逆轉換處理之適用> 作為如以上的影像解碼裝置500的逆量化逆轉換處理(步驟S505),亦可適用於第1實施形態乃至第3實施形態中所上述的逆量化逆轉換處理。亦即,該逆量化逆轉換處理係亦可以如圖3、圖10、或圖17所示的流程圖般的流程而被執行。藉由如此設計,逆量化逆轉換部513係可獲得第1實施形態乃至第3實施形態中所上述的效果。亦即,影像解碼裝置500係於影像解碼處理中,可獲得第1實施形態乃至第3實施形態中所上述的效果。
<6.第5實施形態> <影像編碼裝置> 圖24係適用了本技術的影像處理裝置之一態樣的影像編碼裝置之構成之一例的區塊圖。圖24所示的影像編碼裝置600,係為將動態影像之影像資料予以編碼的裝置。例如,影像編碼裝置600係以上述的非專利文獻所記載的VVC(Versatile Video Coding)、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等之編碼方式,將動態影像之影像資料予以編碼。
此外,於圖24中係主要表示處理部或資料的流向等,圖24所示者並非全部。亦即,於影像編碼裝置600中,亦可存在有於圖24中未以區塊而被表示的處理部,亦可存在有於圖24中未以箭頭等而表示的處理或資料之流向。這在影像編碼裝置600內的處理部等的說明的其他圖中也是同樣如此。
如圖24所示,影像編碼裝置600係具有:控制部601、排序緩衝區611、演算部612、轉換量化部613、編碼部614、及積存緩衝區615。又,影像編碼裝置600係具有:逆量化逆轉換部616、演算部617、迴圈內濾波器部618、畫格記憶體619、預測部620、及速率控制部621。
<控制部> 控制部601,係基於外部、或預先指定之處理單位之區塊尺寸,而將已被排序緩衝區611所保持的動態影像資料,分割成處理單位之區塊(CU、PU、TU等)。又,控制部601,係將供給至各區塊的編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等),例如基於RDO(Rate-Distortion Optimization),而加以決定。例如,控制部601係可設定轉換略過旗標等。
關於這些編碼參數的細節,將於後述。控制部601,係一旦決定了如以上之編碼參數,就將它們供給至各區塊。具體而言,係如以下所述。
標頭資訊Hinfo,係被供給至各區塊。預測模式資訊Pinfo,係被供給至編碼部614和預測部620。轉換資訊Tinfo係被供給至編碼部614、轉換量化部613、逆量化逆轉換部616。濾波器資訊Finfo,係被供給至迴圈內濾波器部618。
<排序緩衝區> 對影像編碼裝置600,係動態影像資料之各圖場(輸入影像)係按照其再生順序(顯示順序)而被輸入。排序緩衝區611,係將各輸入影像依照其再生順序(顯示順序)而加以取得,並保持(記憶)。排序緩衝區611,係基於控制部601之控制,而將該輸入影像排序成編碼順序(解碼順序),或分割成處理單位之區塊等等。排序緩衝區611,係將處理後的各輸入影像,供給至演算部612。
<演算部> 演算部612,係將從排序緩衝區611所被供給之處理單位之區塊所對應之影像,減去從預測部620所被供給之預測影像P,而導出殘差資料D,並將其供給至轉換量化部613。
<轉換量化部> 轉換量化部613係進行係數轉換與量化的相關處理。例如,轉換量化部613係將從演算部612所被供給之殘差資料D,加以取得。在非無損編碼模式的情況下,轉換量化部613係對該殘差資料D進行例如正交轉換等之係數轉換,將轉換係數Coeff予以導出。轉換量化部613係將該轉換係數Coeff進行比例縮放(量化),將量化係數level予以導出。轉換量化部613係將該量化係數level,供給至編碼部614及逆量化逆轉換部616。
轉換量化部613係可將係數轉換或量化予以略過(省略)。在無損編碼模式的情況下,轉換量化部613係將該係數轉換或量化予以略過,將已取得之殘差資料D供給至編碼部614或逆量化逆轉換部616。
此外,轉換量化部613係依照控制部601之控制而進行這些處理。例如,轉換量化部613係基於從控制部601所被供給之預測模式資訊Pinfo或轉換資訊Tinfo,而進行這些處理。又,轉換量化部613所進行的量化之速率,係被速率控制部621所控制。
<編碼部> 編碼部614,係將從轉換量化部613所被供給之量化係數level(或殘差資料D)、和從控制部601所被供給之各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)、和從迴圈內濾波器部618所被供給之濾波器係數等之濾波器的相關資訊、和從預測部620所被供給之最佳的預測模式的相關資訊,當作輸入。
編碼部614係對量化係數level或殘差資料D,進行例如CABAC(Context-based Adaptive Binary Arithmetic Code)或CAVLC(Context-based Adaptive Variable Length Code)等之熵編碼(可逆編碼),生成位元列(編碼資料)。例如,在適用CABAC的情況下,編碼部614係在非無損編碼模式中,對量化係數level使用上下文模型進行算術編碼,生成編碼資料。又,在無損編碼模式下,編碼部614係對殘差資料D以繞過模式進行算術編碼,生成編碼資料。
又,編碼部614,係從該量化係數等級或殘差資料導出殘差資訊Rinfo,將殘差資訊Rinfo予以編碼,生成位元列。
然後,編碼部614,係將從迴圈內濾波器部618所被供給之濾波器的相關資訊含入至濾波器資訊Finfo中,將從預測部620所被供給之最佳的預測模式的相關資訊含入至預測模式資訊Pinfo中。然後,編碼部614,係將上述的各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)予以編碼,生成位元列。
又,編碼部614,係將如以上所被生成的各種資訊之位元列進行多工化,生成編碼資料。編碼部614,係將該編碼資料,供給至積存緩衝區615。
<積存緩衝區> 積存緩衝區615,係將編碼部614中所得到的編碼資料,予以暫時保持。積存緩衝區615,係在所定之時序上,將所保持的編碼資料,例如作為位元串流等而輸出至影像編碼裝置600之外部。例如,該編碼資料,係透過任意之記錄媒體、任意之傳輸媒體、任意之資訊處理裝置等,而被傳輸至解碼側。亦即,積存緩衝區615,係亦為將編碼資料(位元串流)予以傳輸的傳輸部。
<逆量化逆轉換部> 逆量化逆轉換部616係進行逆量化和逆係數轉換的相關處理。例如,在非無損編碼模式的情況下,逆量化逆轉換部616係將從轉換量化部613所被供給之量化係數level、和從控制部601所被供給之轉換資訊Tinfo,當作輸入。逆量化逆轉換部616係基於轉換資訊Tinfo而將量化係數level之值進行比例縮放(逆量化),將轉換係數Coeff予以導出。此外,該逆量化,係為在轉換量化部613中所被進行之量化的逆處理。又,逆量化逆轉換部616係基於轉換資訊Tinfo而對轉換係數Coeff進行逆係數轉換(例如逆正交轉換),將殘差資料D'予以導出。此外,該逆係數轉換,係為在轉換量化部613中所被進行之係數轉換的逆處理。逆量化逆轉換部616係將已導出之殘差資料D'供給至演算部617。
此外,逆量化逆轉換部616係可將該逆量化或逆係數轉換予以略過(省略)。例如,在無損編碼模式被適用的情況下,逆量化逆轉換部616係將從轉換量化部613所被供給之殘差資料D、和從控制部601所被供給之轉換資訊Tinfo,當作輸入。逆量化逆轉換部616係將該逆量化或逆係數轉換予以略過,將殘差資料D(當作殘差資料D')供給至演算部617。
此外,該逆量化逆轉換部616,係和解碼側的逆量化逆轉換部(後述)相同,因此關於逆量化逆轉換部616係可適用在解碼側所進行的說明(後述)。
<演算部> 演算部617係將從逆量化逆轉換部616所被供給之殘差資料D'、和從預測部620所被供給之預測影像P,當作輸入。演算部617係將該殘差資料D'、與該殘差資料D'所對應之預測影像進行加算,將局部解碼影像予以導出。演算部617係將已導出之局部解碼影像,供給至迴圈內濾波器部618及畫格記憶體619。
<迴圈內濾波器部> 迴圈內濾波器部618,係進行迴圈內濾波器處理的相關處理。例如,迴圈內濾波器部618,係將從演算部617所被供給之局部解碼影像、和從控制部601所被供給之濾波器資訊Finfo、和從排序緩衝區611所被供給之輸入影像(原影像),當作輸入。此外,對迴圈內濾波器部618所被輸入的資訊係為任意,亦可輸入這些資訊以外之資訊。例如,亦可因應需要,而把預測模式、運動資訊、編碼量目標值、量化參數QP、圖像類型、區塊(CU、CTU等)之資訊等,輸入至迴圈內濾波器部618。
迴圈內濾波器部618,係基於該濾波器資訊Finfo,而對局部解碼影像適宜地進行濾波器處理。迴圈內濾波器部618,係因應需要而也把輸入影像(原影像)、或該其他輸入資訊,用於該濾波器處理。
例如,迴圈內濾波器部618係可將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器,依其順序而做適用。此外,要適用哪個濾波器,要以何種順序做適用係為任意,可適宜地選擇。
當然,迴圈內濾波器部618所進行的濾波器處理係為任意,不限定於上述的例子。例如,迴圈內濾波器部618係亦可適用維納濾波器等。
迴圈內濾波器部618,係將已被濾波器處理過的局部解碼影像,供給至畫格記憶體619。此外,例如將濾波器係數等之濾波器的相關資訊傳輸至解碼側的情況下,則迴圈內濾波器部618,係將該濾波器的相關資訊,供給至編碼部614。
<畫格記憶體> 畫格記憶體619,係進行關於影像之資料的記憶的相關處理。例如,畫格記憶體619,係將從演算部617所被供給之局部解碼影像、或從迴圈內濾波器部618所被供給之已被濾波器處理過的局部解碼影像,當作輸入,將其予以保持(記憶)。又,畫格記憶體619,係使用該局部解碼影像而將每一圖像單位的解碼影像予以重建,並保持之(儲存至畫格記憶體619內的緩衝區)。畫格記憶體619,係隨應於預測部620之要求,而將該解碼影像(或其一部分),供給至預測部620。
<預測部> 預測部620,係進行預測影像之生成的相關處理。例如,預測部620,係將從控制部601所被供給之預測模式資訊Pinfo、和從排序緩衝區611所被供給之輸入影像(原影像)、和從畫格記憶體619所讀出之解碼影像(或其一部分),當作輸入。預測部620,係使用預測模式資訊Pinfo或輸入影像(原影像),進行畫面間預測或畫面內預測等之預測處理,將解碼影像當作參照影像予以參照而進行預測,基於該預測結果而進行運動補償處理,生成預測影像。預測部620係將已生成之預測影像,供給至演算部612及演算部617。又,預測部620,係將藉由以上之處理而選擇的預測模式,亦即最佳的預測模式的相關資訊,因應需要而供給至編碼部614。
<速率控制部> 速率控制部621,係進行速率控制的相關處理。例如,速率控制部621,係基於積存緩衝區615中所積存之編碼資料的編碼量,以不會發生溢位或下溢之方式,控制轉換量化部613的量化動作之速率。
<轉換量化裝置之適用> 作為如以上的影像編碼裝置600的轉換量化部613,亦可適用於第1實施形態乃至第3實施形態中所上述的轉換量化裝置200。亦即,該轉換量化部613係亦可具有如圖7、圖14、或圖20所示的構成。藉由如此設計,轉換量化部613係可獲得第1實施形態乃至第3實施形態中所上述的效果。亦即,影像編碼裝置600係於該解碼處理中,可獲得第1實施形態乃至第3實施形態中所上述的效果。
<影像編碼處理的流程> 參照圖25的流程圖,說明藉由影像編碼裝置600而被執行的影像編碼處理的流程之例子。
影像編碼處理一旦開始,則於步驟S601中,排序緩衝區611,係被控制部601所控制,將已被輸入之動態影像資料之畫格的順序,從顯示順序排序成編碼順序。
於步驟S602中,控制部601,係針對排序緩衝區611所保持的輸入影像而將編碼參數予以決定(設定)。
於步驟S603中,控制部601,係對排序緩衝區611所保持的輸入影像,設定處理單位(進行區塊分割)。
於步驟S604中,預測部620係進行預測處理,生成最佳的預測模式之預測影像等。例如,於該預測處理中,預測部620,係進行畫面內預測而生成最佳的畫面內預測模式之預測影像等,並進行畫面間預測而生成最佳的畫面間預測模式之預測影像等,從這些之中,基於成本函數值等而選擇出最佳的預測模式。
於步驟S605中,演算部612係演算,輸入影像、與藉由步驟S604之預測處理而被選擇之最佳的模式之預測影像的差分。亦即,演算部612,係生成輸入影像與預測影像的殘差資料D。如此而被求出的殘差資料D,係相較於原始的影像資料,資料量是被較為降低。因此,相較於把影像直接進行編碼的情形,可壓縮資料量。
於步驟S606中,轉換量化部613係依照步驟S601中所被生成之轉換模式資訊,而對藉由步驟S605之處理而被生成的殘差資料D,進行轉換量化處理。
於步驟S607中,逆量化逆轉換部616係進行逆量化逆轉換處理。該逆量化逆轉換處理係為步驟S606之轉換量化處理的逆處理,於上述的影像解碼裝置500中也是執行相同的處理。因此,該逆量化逆轉換處理之說明,係在說明解碼側(影像解碼裝置500)之際進行。而且該說明係可適用於該逆量化逆轉換處理(步驟S607)。藉由該處理,逆量化逆轉換部616係對已被輸入之係數資料(量化係數level或殘差資料r(D)),適宜進行逆量化或逆係數轉換,生成殘差資料D'。
於步驟S608中,演算部617,係對藉由步驟S607的逆量化逆轉換處理所得到的殘差資料D',加算藉由步驟S604之預測處理而得到的預測影像,以生成已被局部性解碼的解碼影像。
於步驟S609中,迴圈內濾波器部618,係對藉由步驟S608之處理而被導出的,已被局部性解碼的解碼影像,進行迴圈內濾波器處理。
於步驟S610中,畫格記憶體619係將,藉由步驟S608之處理而被導出的,已被局部性解碼的解碼影像、或於步驟S609中已被濾波器處理過的,已被局部性解碼的解碼影像,加以記憶。
於步驟S611中,編碼部614係將藉由步驟S606的轉換量化處理所得到的量化係數level或殘差資料D予以編碼,生成編碼資料。又,此時,編碼部614係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo),予以編碼。然後,編碼部614,係從量化係數level或殘差資料D導出殘差資訊RInfo,將該殘差資訊RInfo予以編碼。
於步驟S612中,積存緩衝區615,係將如此而獲得的編碼資料予以積存,例如作為位元串流,將其輸出至影像編碼裝置600之外部。該位元串流係例如,透過傳輸路或記錄媒體而被傳輸至解碼側。又,速率控制部621,係因應需要而進行速率控制。一旦步驟S612的處理結束,則影像編碼處理就結束。
<轉換量化處理之適用> 作為如以上的影像編碼裝置600的轉換量化處理(步驟S606),亦可適用於第1實施形態乃至第3實施形態中所上述的逆量化逆轉換處理。亦即,該逆量化逆轉換處理係亦可以如圖8、圖15、或圖21所示的流程圖般的流程而被執行。藉由如此設計,轉換量化部613係可獲得第1實施形態乃至第3實施形態中所上述的效果。亦即,影像編碼裝置600係於影像編碼處理中,可獲得第1實施形態乃至第3實施形態中所上述的效果。
<7.附記> <電腦> 上述之一連串之處理,係可藉由硬體來執行,亦可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖26係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖26所示的電腦800中,CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803,係透過匯流排804而被彼此連接。
匯流排804,係還連接著輸出入介面810。輸出入介面810上係連接有:輸入部811、輸出部812、記憶部813、通訊部814、及驅動機815。
輸入部811,係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部812係由例如顯示器、揚聲器、輸出端子等所成。記憶部813,係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部814係由例如網路介面所成。驅動機815係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。
在如以上構成的電腦中,藉由CPU801而例如將記憶部813中所記憶之程式,透過輸出入介面810及匯流排804,而載入至RAM803裡並加以執行,就可進行上述一連串處理。RAM803中,還適宜地記憶著CPU801在執行各種處理時所必需的資料等。
電腦所執行的程式,係可記錄在例如封裝媒體等之可移除式媒體821中而適用。此情況下,程式係藉由將可移除式媒體821裝著至驅動機815,就可透過輸出入介面810,安裝至記憶部813。
又,該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況,程式,係可以通訊部814而接收之,並安裝至記憶部813。
除此以外,該程式係可事前安裝在ROM802或記憶部813中。
<本技術的適用對象> 本技術係可適用於任意的影像編碼、解碼方式。亦即,只要不與上述的本技術產生矛盾,則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等,關於影像編碼、解碼之各種處理的規格係為任意,並非限定於上述的例子。又,只要不與上述的本技術產生矛盾,亦可省略這些處理之中的一部分。
又,本技術係可適用於,將含有複數視點(view)之影像的多視點影像進行編碼、解碼的多視點影像編碼、解碼系統。此情況下,只要於各視點(view)的編碼、解碼中,適用本技術即可。
甚至,本技術係可適用於,針對所定之參數具有可調性(scalability)機能地而被複數層化(階層化)的階層影像進行編碼、解碼的階層影像編碼(可調式編碼)、解碼系統。此情況下,只要於各階層(layer)的編碼、解碼中,適用本技術即可。
又,以上作為本技術之適用例雖然說明了逆量化逆轉換裝置100、轉換量化裝置200、影像解碼裝置500、及影像編碼裝置600,但本技術係可適用於任意之構成。
例如,本技術係可應用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等,各式各樣的電子機器。
又例如,本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等,作為裝置的部分構成而實施。
又例如,本技術係亦可對由複數裝置所構成的網路系統做適用。例如,亦可將本技術,透過網路而分擔給複數台裝置,以共同進行處理的雲端運算的方式,來加以實施。例如,亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端,提供影像(動態影像)的相關之服務的雲端服務中,實施本技術。
此外,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
<可適用本技術的領域、用途> 適用了本技術的系統、裝置、處理部等係可利用於例如:交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又,其用途也為任意。
例如,本技術係可適用於,供作觀賞用內容等之提供之用的系統或裝置。又例如,本技術係亦可適用於交通狀況之監理或自動駕駛控制等,供作交通之用的系統或裝置。甚至例如,本技術係亦可適用於供作安全之用的系統或裝置。又例如,本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如,本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又,本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如,本技術係亦可適用於供作運動之用的系統或裝置。
<其他> 此外,於本說明書中所謂「旗標」,係為用來識別複數狀態所需之資訊,不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊,亦包含可以識別3種以上之狀態的資訊。因此,該「旗標」所能採取的值,係可為例如1/0之2值,亦可為3值以上。亦即,構成該「旗標」的bit數係為任意,可為1bit亦可為複數bit。又,識別資訊(亦包含旗標),係不只將該識別資訊含入至位元串流的形式,也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式,因此於本說明書中,「旗標」或「識別資訊」,係不只包含該資訊,也還包含了相對於作為基準之資訊的差分資訊。
又,編碼資料(位元串流)的相關之各種資訊(後設資料等),係只要與編碼資料建立關連,則無論是以哪種形態而被傳輸或記錄皆可。此處,「建立關連」此一用語係意味著例如:使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即,被彼此建立關連的資料,係亦可整體視為1個資料,也可分別視為個別之資料。例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又,例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外,該「建立關連」,係亦可不是資料全體,而是資料的一部分。例如,影像與對應於該影像的資訊,係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位,而被彼此建立關連。
此外,於本說明書中,「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語,係意味著例如將編碼資料與後設資料總結成1個資料,把複數個物綁成1個的意思,是意味著上述的「建立關連」的1種方法。
又,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,亦可將以1個裝置(或處理部)做說明的構成加以分割,成為複數裝置(或處理部)而構成之。反之,亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又,對各裝置(或各處理部)之構成,當然亦可附加上述以外之構成。再者,若系統全體的構成或動作是實質相同,則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又,例如,上述的程式,係亦可於任意的裝置中被執行。此情況下,只要讓該裝置,具有必要的功能(功能區塊等),能夠獲得必要的資訊即可。
又,例如,1個流程圖的各步驟,亦可由1個裝置來執行,也可由複數裝置來分擔而執行。甚至,1個步驟中包含有複數個處理的情況下,該複數個處理亦可由1個裝置來執行,也可由複數裝置來分擔而執行。換言之,亦可將1個步驟中所含之複數個處理,以複數個步驟之處理的方式而執行之。反之,亦可將以複數個步驟的方式做說明的處理,整合成1個步驟而執行之。
又,例如,電腦所執行的程式,描述程式的步驟之處理,係可為依照本說明書所說明之順序而在時間序列上被執行,也可平行地,或可在進行呼叫時等必要之時序上,而被個別地執行。亦即,只要不產生矛盾,各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至,描述該程式的步驟之處理,亦可與其他程式之處理平行地執行,也可和其他程式之處理組合而執行。
又,例如,本技術所相關之複數個技術,係只要不產生矛盾的況下,都可分別獨立以單體而加以實施。當然,亦可將任意的複數個本技術加以併用而實施。例如,可以將任一實施形態中所說明的本技術的部分或全部,與其他實施形態中所說明的本技術的部分或全部,加以組合而實施。又,亦可將上述的任意之本技術的部分或全部,與未上述的其他技術加以併用而實施。
此外,本技術係亦可採取如以下之構成。 (1) 一種影像處理裝置,係具備: 逆量化部,係使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化;和 逆轉換部,係在不適用前記轉換略過的情況下,則對藉由前記逆量化部所致之前記逆量化而被生成的轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。 (2) 如(1)所記載之影像處理裝置,其中, 前記逆量化部,係在前記逆量化中適用逆依賴性量化,且不適用前記轉換略過的情況下,則將前記量化參數予以補正,並使用已補正之前記量化參數來進行前記逆量化。 (3) 如(1)所記載之影像處理裝置,其中, 還具備:逆量化正規化部,係基於前記轉換係數的符號來設定捨入偏置的符號,並使用前記捨入偏置而將前記轉換係數予以正規化; 前記逆轉換部,係在不適用前記轉換略過的情況下,則對已被前記逆量化正規化部所正規化的前記轉換係數,進行前記逆係數轉換。 (4) 如(1)所記載之影像處理裝置,其中, 還具備:逆轉換正規化部,係在不適用前記轉換略過的情況下,則基於前記預測殘差的符號來設定捨入偏置的符號,並使用前記捨入偏置而將前記預測殘差予以正規化;在要適用前記轉換略過的情況下,則基於前記轉換係數的符號來設定前記捨入偏置的符號,使用前記捨入偏置而將前記轉換係數予以正規化。 (5) 一種影像處理方法,係 使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化; 在不適用前記轉換略過的情況下,則對藉由前記逆量化而被生成的轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
(6) 一種影像處理裝置,係具備: 轉換部,係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;和 量化部,係使用相應於是否適用前記轉換略過的量化參數,來對前記轉換係數進行量化。 (7) 一種影像處理方法,係 在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過; 使用相應於是否適用前記轉換略過的量化參數,來對前記轉換係數進行量化。
(8) 一種影像處理裝置,係具備: 逆量化部,係對量化係數進行逆量化;和 逆量化正規化部,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由前記逆量化部所致之前記逆量化而被生成的轉換係數予以正規化;和 逆轉換部,係在不適用前記轉換略過的情況下,則對已被前記逆量化正規化部所正規化的前記轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。 (9) 如(8)所記載之影像處理裝置,其中, 前記逆量化正規化部,係在不適用前記轉換略過的情況下,則使用未反映出前記轉換略過中的伸張處理的前記比例縮放參數而將前記轉換係數予以正規化;在要適用前記轉換略過的情況下,則使用有反映出前記伸張處理的前記比例縮放參數而將前記轉換係數予以正規化; 前記逆轉換部,係在不適用前記轉換略過的情況下,則對已被前記逆量化正規化部使用未反映出前記伸張處理的前記比例縮放參數進行了正規化的前記轉換係數進行前記逆係數轉換;在要適用前記轉換略過的情況下,則不進行前記伸張處理就將前記逆係數轉換予以略過。 (10) 如(9)所記載之影像處理裝置,其中, 前記逆量化正規化部,係在要適用前記轉換略過的情況下,將基於前記比例縮放參數之轉換區塊尺寸而定的成分,設定成「0」。 (11) 如(9)所記載之影像處理裝置,其中, 前記逆量化正規化部,係在要適用前記轉換略過的情況下,將基於前記比例縮放參數之轉換區塊尺寸而定的成分,設定成量化矩陣所相應之值。 (12) 如(11)所記載之影像處理裝置,其中, 前記量化矩陣所相應之值,係為「-4」。 (13) 如(8)所記載之影像處理裝置,其中, 還具備:逆轉換正規化部,係在不適用前記轉換略過的情況下,則將前記預測殘差予以正規化; 前記逆量化正規化部,係在要適用前記轉換略過的情況下,則使用有反映出前記逆轉換正規化部所致之對前記預測殘差之正規化處理的前記比例縮放參數,而將前記轉換係數予以正規化。 (14) 如(13)所記載之影像處理裝置,其中, 前記逆量化正規化部,係在要適用前記轉換略過的情況下,則使用含有逆量化及比例縮放清單所相應之值、和逆依賴性量化之適用所相應之值的前記比例縮放參數,而將前記轉換係數予以正規化。 (15) 如(14)所記載之影像處理裝置,其中, 前記逆量化及前記比例縮放清單所相應之值,係為「10」。 (16) 一種影像處理方法,係 對量化係數進行逆量化; 使用相應於是否適用轉換略過的比例縮放參數,而將藉由前記逆量化而被生成的轉換係數予以正規化; 在不適用前記轉換略過的情況下,則對已被正規化的前記轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
(17) 一種影像處理裝置,係具備: 轉換部,係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;和 量化部,係在不適用前記轉換略過的情況下,則對前記轉換係數進行量化;在要適用前記轉換略過的情況下,則對前記預測殘差進行前記量化; 量化正規化部,係使用相應於是否適用前記轉換略過的比例縮放參數,而將藉由前記量化部所致之前記量化而被生成的量化係數予以正規化。 (18) 如(17)所記載之影像處理裝置,其中, 前記轉換部,係在不適用前記轉換略過的情況下,則對前記預測殘差進行前記係數轉換;在要適用前記轉換略過的情況下,則不進行伸張處理就將前記係數轉換予以略過; 前記量化正規化部,係在不適用前記轉換略過的情況下,則使用未反映出前記轉換略過中的前記伸張處理的前記比例縮放參數而將前記量化係數予以正規化;在要適用前記轉換略過的情況下,則使用有反映出前記伸張處理的前記比例縮放參數而將前記量化係數予以正規化。 (19) 如(17)所記載之影像處理裝置,其中, 還具備:轉換正規化部,係在不適用前記轉換略過的情況下,則將前記轉換係數予以正規化; 前記量化正規化部,係在要適用前記轉換略過的情況下,則使用有反映出前記轉換正規化部所致之對前記轉換係數之正規化處理的前記比例縮放參數,而將前記量化係數予以正規化。 (20) 一種影像處理方法,係 在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過; 在不適用前記轉換略過的情況下,則對前記轉換係數進行量化;在要適用前記轉換略過的情況下,則對前記預測殘差進行前記量化; 使用相應於是否適用前記轉換略過的比例縮放參數,而將藉由前記量化而被生成的量化係數予以正規化。
100:逆量化逆轉換裝置 101:逆量化部 102:逆轉換部 111:逆量化處理部 112:正規化部 121:選擇部 122:逆轉換處理部 123:選擇部 124:正規化部 125:伸張處理部 200:轉換量化裝置 201:轉換部 202:量化部 211:選擇部 212:轉換處理部 213:選擇部 214:正規化部 215:伸張處理部 221:量化處理部 222:正規化部 500:影像解碼裝置 501:控制部 511:積存緩衝區 512:解碼部 513:逆量化逆轉換部 514:演算部 515:迴圈內濾波器部 516:排序緩衝區 517:畫格記憶體 518:預測部 600:影像編碼裝置 601:控制部 611:排序緩衝區 612:演算部 613:轉換量化部 614:編碼部 615:積存緩衝區 616:逆量化逆轉換部 617:演算部 618:迴圈內濾波器部 619:畫格記憶體 620:預測部 621:速率控制部 800:電腦 801:CPU 802:ROM 803:RAM 804:匯流排 810:輸出入介面 811:輸入部 812:輸出部 813:記憶部 814:通訊部 815:驅動機 821:可移除式媒體
[圖1]基於轉換略過的逆量化逆轉換及轉換量化之控制方法之例子的說明圖。 [圖2]逆量化逆轉換裝置的主要構成例的區塊圖。 [圖3]逆量化逆轉換處理的流程之例子的流程圖。 [圖4]基於轉換略過的量化參數控制之例子的說明圖。 [圖5]基於轉換略過的捨入偏置控制之例子的說明圖。 [圖6]基於轉換略過的捨入偏置控制之例子的說明圖。 [圖7]轉換量化裝置的主要構成例的區塊圖。 [圖8]轉換量化處理的流程之例子的流程圖。 [圖9]逆量化逆轉換裝置的主要構成例的區塊圖。 [圖10]逆量化逆轉換處理的流程之例子的流程圖。 [圖11]基於轉換略過的比例縮放參數控制之例子的說明圖。 [圖12]基於轉換略過的比例縮放參數控制之例子的說明圖。 [圖13]基於轉換略過的比例縮放參數控制之例子的說明圖。 [圖14]轉換量化裝置的主要構成例的區塊圖。 [圖15]轉換量化處理的流程之例子的流程圖。 [圖16]逆量化逆轉換裝置的主要構成例的區塊圖。 [圖17]逆量化逆轉換處理的流程之例子的流程圖。 [圖18]基於轉換略過的比例縮放參數控制之例子的說明圖。 [圖19]基於轉換略過的比例縮放參數控制之例子的說明圖。 [圖20]轉換量化裝置的主要構成例的區塊圖。 [圖21]轉換量化處理的流程之例子的流程圖。 [圖22]影像編碼裝置的主要構成例的區塊圖。 [圖23]影像編碼處理的流程之例子的流程圖。 [圖24]影像解碼裝置的主要構成例的區塊圖。 [圖25]影像解碼處理的流程之例子的流程圖。 [圖26]電腦的主要構成例的區塊圖。

Claims (20)

  1. 一種影像處理裝置,係具備: 逆量化部,係使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化;和 逆轉換部,係在不適用前記轉換略過的情況下,則對藉由前記逆量化部所致之前記逆量化而被生成的轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
  2. 如請求項1所記載之影像處理裝置,其中, 前記逆量化部,係在前記逆量化中適用逆依賴性量化,且不適用前記轉換略過的情況下,則將前記量化參數予以補正,並使用已補正之前記量化參數來進行前記逆量化。
  3. 如請求項1所記載之影像處理裝置,其中, 還具備:逆量化正規化部,係基於前記轉換係數的符號來設定捨入偏置的符號,並使用前記捨入偏置而將前記轉換係數予以正規化; 前記逆轉換部,係在不適用前記轉換略過的情況下,則對已被前記逆量化正規化部所正規化的前記轉換係數,進行前記逆係數轉換。
  4. 如請求項1所記載之影像處理裝置,其中, 還具備:逆轉換正規化部,係在不適用前記轉換略過的情況下,則基於前記預測殘差的符號來設定捨入偏置的符號,並使用前記捨入偏置而將前記預測殘差予以正規化;在要適用前記轉換略過的情況下,則基於前記轉換係數的符號來設定前記捨入偏置的符號,使用前記捨入偏置而將前記轉換係數予以正規化。
  5. 一種影像處理方法,係 使用相應於是否適用轉換略過的量化參數,來對量化係數進行逆量化; 在不適用前記轉換略過的情況下,則對藉由前記逆量化而被生成的轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
  6. 一種影像處理裝置,係具備: 轉換部,係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;和 量化部,係使用相應於是否適用前記轉換略過的量化參數,來對前記轉換係數進行量化。
  7. 一種影像處理方法,係 在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過; 使用相應於是否適用前記轉換略過的量化參數,來對前記轉換係數進行量化。
  8. 一種影像處理裝置,係具備: 逆量化部,係對量化係數進行逆量化;和 逆量化正規化部,係使用相應於是否適用轉換略過的比例縮放參數,而將藉由前記逆量化部所致之前記逆量化而被生成的轉換係數予以正規化;和 逆轉換部,係在不適用前記轉換略過的情況下,則對已被前記逆量化正規化部所正規化的前記轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
  9. 如請求項8所記載之影像處理裝置,其中, 前記逆量化正規化部,係在不適用前記轉換略過的情況下,則使用未反映出前記轉換略過中的伸張處理的前記比例縮放參數而將前記轉換係數予以正規化;在要適用前記轉換略過的情況下,則使用有反映出前記伸張處理的前記比例縮放參數而將前記轉換係數予以正規化; 前記逆轉換部,係在不適用前記轉換略過的情況下,則對已被前記逆量化正規化部使用未反映出前記伸張處理的前記比例縮放參數進行了正規化的前記轉換係數進行前記逆係數轉換;在要適用前記轉換略過的情況下,則不進行前記伸張處理就將前記逆係數轉換予以略過。
  10. 如請求項9所記載之影像處理裝置,其中, 前記逆量化正規化部,係在要適用前記轉換略過的情況下,將基於前記比例縮放參數之轉換區塊尺寸而定的成分,設定成「0」。
  11. 如請求項9所記載之影像處理裝置,其中, 前記逆量化正規化部,係在要適用前記轉換略過的情況下,將基於前記比例縮放參數之轉換區塊尺寸而定的成分,設定成量化矩陣所相應之值。
  12. 如請求項11所記載之影像處理裝置,其中, 前記量化矩陣所相應之值,係為「-4」。
  13. 如請求項8所記載之影像處理裝置,其中, 還具備:逆轉換正規化部,係在不適用前記轉換略過的情況下,則將前記預測殘差予以正規化; 前記逆量化正規化部,係在要適用前記轉換略過的情況下,則使用有反映出前記逆轉換正規化部所致之對前記預測殘差之正規化處理的前記比例縮放參數,而將前記轉換係數予以正規化。
  14. 如請求項13所記載之影像處理裝置,其中, 前記逆量化正規化部,係在要適用前記轉換略過的情況下,則使用含有逆量化及比例縮放清單所相應之值、和逆依賴性量化之適用所相應之值的前記比例縮放參數,而將前記轉換係數予以正規化。
  15. 如請求項14所記載之影像處理裝置,其中, 前記逆量化及前記比例縮放清單所相應之值,係為「10」。
  16. 一種影像處理方法,係 對量化係數進行逆量化; 使用相應於是否適用轉換略過的比例縮放參數,而將藉由前記逆量化而被生成的轉換係數予以正規化; 在不適用前記轉換略過的情況下,則對已被正規化的前記轉換係數進行逆係數轉換,生成影像與前記影像之預測影像的殘差也就是預測殘差;在要適用前記轉換略過的情況下,則將前記逆係數轉換予以略過。
  17. 一種影像處理裝置,係具備: 轉換部,係在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過;和 量化部,係在不適用前記轉換略過的情況下,則對前記轉換係數進行量化;在要適用前記轉換略過的情況下,則對前記預測殘差進行前記量化; 量化正規化部,係使用相應於是否適用前記轉換略過的比例縮放參數,而將藉由前記量化部所致之前記量化而被生成的量化係數予以正規化。
  18. 如請求項17所記載之影像處理裝置,其中, 前記轉換部,係在不適用前記轉換略過的情況下,則對前記預測殘差進行前記係數轉換;在要適用前記轉換略過的情況下,則不進行伸張處理就將前記係數轉換予以略過; 前記量化正規化部,係在不適用前記轉換略過的情況下,則使用未反映出前記轉換略過中的前記伸張處理的前記比例縮放參數而將前記量化係數予以正規化;在要適用前記轉換略過的情況下,則使用有反映出前記伸張處理的前記比例縮放參數而將前記量化係數予以正規化。
  19. 如請求項17所記載之影像處理裝置,其中, 還具備:轉換正規化部,係在不適用前記轉換略過的情況下,則將前記轉換係數予以正規化; 前記量化正規化部,係在要適用前記轉換略過的情況下,則使用有反映出前記轉換正規化部所致之對前記轉換係數之正規化處理的前記比例縮放參數,而將前記量化係數予以正規化。
  20. 一種影像處理方法,係 在不適用轉換略過的情況下,則對影像與前記影像之預測影像的殘差也就是預測殘差進行係數轉換,生成轉換係數;在要適用前記轉換略過的情況下,則將前記係數轉換予以略過; 在不適用前記轉換略過的情況下,則對前記轉換係數進行量化;在要適用前記轉換略過的情況下,則對前記預測殘差進行前記量化; 使用相應於是否適用前記轉換略過的比例縮放參數,而將藉由前記量化而被生成的量化係數予以正規化。
TW109130353A 2019-09-06 2020-09-04 影像處理裝置及方法 TW202121897A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962896989P 2019-09-06 2019-09-06
US62/896,989 2019-09-06
US201962901895P 2019-09-18 2019-09-18
US62/901,895 2019-09-18

Publications (1)

Publication Number Publication Date
TW202121897A true TW202121897A (zh) 2021-06-01

Family

ID=74853204

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109130353A TW202121897A (zh) 2019-09-06 2020-09-04 影像處理裝置及方法

Country Status (11)

Country Link
US (1) US20220224903A1 (zh)
EP (1) EP4013054A4 (zh)
JP (2) JP7528944B2 (zh)
KR (1) KR20220053563A (zh)
CN (1) CN114342396B (zh)
AU (1) AU2020341156A1 (zh)
BR (1) BR112022003668A2 (zh)
CA (1) CA3149873A1 (zh)
MX (1) MX2022002267A (zh)
TW (1) TW202121897A (zh)
WO (1) WO2021045188A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021047540A1 (en) 2019-09-09 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Coefficient scaling for high precision image and video coding
CN114731392A (zh) * 2019-09-21 2022-07-08 北京字节跳动网络技术有限公司 用于图像和视频编解码的高精度变换和量化
WO2021158049A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 영상 정보 코딩에 대한 영상 디코딩 방법 및 그 장치
CN115336274B (zh) * 2020-02-05 2023-05-26 Lg电子株式会社 与残差编码关联的图像解码方法以及用于其的装置
WO2023220946A1 (zh) * 2022-05-17 2023-11-23 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010080646A2 (en) * 2009-01-12 2010-07-15 Maxim Integrated Products, Inc. Video acquisition and processing systems
JP5741728B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10085024B2 (en) * 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
TWI627857B (zh) * 2012-06-29 2018-06-21 Sony Corp Image processing device and method
JPWO2014050676A1 (ja) * 2012-09-28 2016-08-22 ソニー株式会社 画像処理装置および方法
US10021419B2 (en) * 2013-07-12 2018-07-10 Qualcomm Incorported Rice parameter initialization for coefficient level coding in video coding process
WO2015012600A1 (ko) * 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
JP6344800B2 (ja) * 2014-01-09 2018-06-20 株式会社日立国際電気 画像処理装置及び動画像伝送方法
WO2016179110A1 (en) * 2015-05-01 2016-11-10 Verance Corporation Watermark recovery using audio and video watermarking
JP2017073602A (ja) * 2015-10-05 2017-04-13 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
FR3044196B1 (fr) * 2015-11-20 2019-05-10 Thales Methode de compression d'images permettant d'obtenir une qualite de compression fixe
JP6868786B2 (ja) * 2016-05-13 2021-05-12 ソニーグループ株式会社 画像処理装置および方法
US10595046B2 (en) * 2016-05-13 2020-03-17 Sony Corporation Image processing apparatus and method
US9712830B1 (en) * 2016-09-15 2017-07-18 Dropbox, Inc. Techniques for image recompression
EP3349452A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Scaling of transform coefficients for non-dyadic transform blocks
CN110800296A (zh) * 2017-06-29 2020-02-14 索尼公司 图像处理装置、图像处理方法和程序
EP3484151A1 (en) * 2017-11-13 2019-05-15 Thomson Licensing Method and apparatus for generating quantization matrices in video encoding and decoding
CN112771865A (zh) * 2018-08-23 2021-05-07 交互数字Vc控股法国公司 使用参数化模型对量化矩阵进行编解码
WO2020040623A1 (ko) * 2018-08-24 2020-02-27 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US12095993B2 (en) * 2019-03-10 2024-09-17 Hfi Innovation Inc. Method and apparatus of the quantization matrix computation and representation for video coding
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
CN118317117A (zh) * 2019-11-26 2024-07-09 韦勒斯标准与技术协会公司 通过使用自适应颜色空间变换处理视频信号的方法和设备
US11575896B2 (en) * 2019-12-16 2023-02-07 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
WO2021121418A1 (en) * 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Joint use of adaptive colour transform and differential coding of video
US11490122B2 (en) * 2020-09-24 2022-11-01 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
CN114342396B (zh) 2024-09-06
JP7528944B2 (ja) 2024-08-06
KR20220053563A (ko) 2022-04-29
AU2020341156A1 (en) 2022-03-03
CN114342396A (zh) 2022-04-12
EP4013054A1 (en) 2022-06-15
BR112022003668A2 (pt) 2022-05-24
WO2021045188A1 (ja) 2021-03-11
US20220224903A1 (en) 2022-07-14
CA3149873A1 (en) 2021-03-11
MX2022002267A (es) 2022-03-22
JP2024144478A (ja) 2024-10-11
EP4013054A4 (en) 2022-10-26
JPWO2021045188A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
US11523136B2 (en) Methods and apparatuses for coding transform blocks
TW202121897A (zh) 影像處理裝置及方法
US10178391B2 (en) Methods and devices for data compression using a non-uniform reconstruction space
US20230007255A1 (en) Image processing device and method
Shen et al. Ultra fast H. 264/AVC to HEVC transcoder
JP7235030B2 (ja) 画像処理装置および方法
WO2021039650A1 (ja) 画像処理装置および方法
JP2024105675A (ja) 画像処理装置および方法
WO2019188465A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
TWI744618B (zh) 圖像之精細化以區塊為基礎之預測式編碼及解碼技術
JP2022002352A (ja) 画像処理装置および方法
TW202127875A (zh) 影像處理裝置、位元串流生成方法、係數資料生成方法、及量化係數生成方法
CN114450965A (zh) 基于长范围端对端深度学习的视频压缩
TW202116067A (zh) 影像處理裝置及方法
JP7517348B2 (ja) 画像処理装置および方法
US20230045106A1 (en) Image processing apparatus and method
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
US20220086489A1 (en) Image processing apparatus and method
KR20240024808A (ko) 화상 처리 장치 및 방법