TW202127898A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW202127898A
TW202127898A TW109139856A TW109139856A TW202127898A TW 202127898 A TW202127898 A TW 202127898A TW 109139856 A TW109139856 A TW 109139856A TW 109139856 A TW109139856 A TW 109139856A TW 202127898 A TW202127898 A TW 202127898A
Authority
TW
Taiwan
Prior art keywords
conversion
component
control information
lfnst
skip flag
Prior art date
Application number
TW109139856A
Other languages
English (en)
Inventor
筑波健史
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202127898A publication Critical patent/TW202127898A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露係有關於,可抑制抑制編碼效率之降低的影像處理裝置及方法。 在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真的情況下,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽的情況下,則將次級轉換控制資訊予以編碼。本揭露係可適用於例如:影像處理裝置、影像編碼裝置、影像解碼裝置、送訊裝置、收訊裝置、收送訊裝置、資訊處理裝置、攝像裝置、再生裝置、電子機器、影像處理方法、或資訊處理方法等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法,尤其是有關於可抑制編碼效率之降低的影像處理裝置及方法。
先前,將動態影像之預測殘差予以導出,並進行係數轉換,進行量化然後進行編碼的編碼方法,已被提出(例如非專利文獻1)。在非專利文獻1中所記載的VVC(Versatile Video Coding)中,對初級轉換後之轉換係數,進行LFNST(Low Frequency Non-Separable Transform)來作為次級轉換,而且還改善能量壓實的編碼工具,係已經存在。而且,關於該次級轉換的控制資訊也就是次級轉換控制資訊會被訊令(亦即次級轉換控制資訊會被編碼,並被傳輸至解碼側)。
作為該次級轉換控制資訊,例如,表示LFNST之模式的LFNST識別元(lfnst_idx),會被訊令。該LFNST識別元,係隨應於樹類型(treeType)與轉換略過旗標(transform_skip_flag)之值,而被訊令。轉換略過旗標係為表示,於影像編碼時,是否將包含上述的初級轉換或次級轉換等的係數轉換予以略過(省略)的旗標資訊。此外,該轉換略過旗標係也表示,於影像解碼時,是否將該係數轉換之逆處理(逆轉換)予以略過(省略)。 [先前技術文獻] [非專利文獻]
[非專利文獻1] Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, “Versatile Video Coding (Draft 7)”, JVET-P2001-vE, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Feneva, CH, 1-11 Oct 2019
[發明所欲解決之課題]
然而,在非專利文獻1所記載之方法的情況下,樹類型為雙樹色度(DUAL_TREE_CHROMA),影像的Cb成分與Cr成分之雙方的轉換略過旗標為真(例如1)的情況下,由於該LFNST識別元也會被傳訊,因此恐怕會變成冗餘。亦即,恐怕會降低編碼效率。
本揭露係有鑑於此種狀況而研發,目的在於能夠抑制編碼效率之降低。 [用以解決課題之手段]
本技術之一側面的影像處理裝置,係為一種影像處理裝置,係具備編碼部,其係在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
本技術之一側面的影像處理方法,係為一種影像處理方法,其係在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
本技術之另一側面的影像處理裝置,係為一種影像處理裝置,係具備解碼部,其係在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值;若所有分量的前記轉換略過旗標為偽,則將位元串流予以解碼而生成前記次級轉換控制資訊。
本技術之另一側面的影像處理方法,係為一種影像處理方法,其係在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值;若所有分量的前記轉換略過旗標為偽,則將位元串流予以解碼而生成前記次級轉換控制資訊。
於本技術之一側面的影像處理裝置及方法中,在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼係被省略;若所有分量的轉換略過旗標為偽,則次級轉換控制資訊係被編碼。
於本技術之另一側面的影像處理裝置及方法中,在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼係被省略,並且次級轉換控制資訊之值係被推定為表示前記次級轉換之略過的所定之值;若所有分量的轉換略過旗標為偽,則位元串流係被解碼而次級轉換控制資訊係被生成。
以下,說明用以實施本揭露的形態(以下稱作實施形態)。此外,說明係用以下順序來進行。 1.LFNST識別元之訊令模態 2.第1實施形態(編碼裝置) 3.第2實施形態(解碼裝置) 4.第3實施形態(影像編碼裝置) 5.第4實施形態(影像解碼裝置) 6.附記
<1.LFNST識別元之訊令模態> <支持技術內容、技術用語的文獻等> 本技術所揭露之範圍,係不只有實施形態中所記載的內容,還包含了於申請當時已為公知的以下之非專利文獻等中所記載的內容或於以下之非專利文獻中所被參照的其他文獻之內容等。
非專利文獻1:(上述) 非專利文獻2:Jianle Chen, Yan Ye, Seung Hwan Kim, “Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7)”, JVET-P2002-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct. 2019 非專利文獻3:Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017 非專利文獻4:Recommendation ITU-T H.265 (02/18) “High efficiency video coding”, February 2018
亦即,上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如,上述的非專利文獻中所記載之Quad-Tree Block Structure、QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施例中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。又,例如,關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地,即使於實施例中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。
又,於本說明書中,作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊),係在沒有特別言及的情況下,是表示圖像內的任意之部分領域,其大小、形狀、及特性等並無限定。例如,「區塊」中係可包含有:上述的非專利文獻中所記載之TB(Transform Block)、TU(Transform Unit)、PB (Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、子區塊、巨集區塊、瓷磚、或切片等,任意之部分領域(處理單位)。
又,在指定此種區塊的尺寸時,不只可直接地指定區塊尺寸,亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊,來指定區塊尺寸。又,例如,亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分,來指定區塊尺寸。例如,作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下,作為該資訊,亦可使用如上述的間接指定尺寸的資訊。藉由如此設計,可降低該資訊的資訊量,有時候可以提升編碼效率。又,該區塊尺寸之指定中係包含有,區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
又,於本說明書中,所謂編碼,係不只包含將影像轉換成位元串流的全體之處理,也包含部分之處理。例如,不只包含將預測處理、正交轉換、量化、算術編碼等予以包括的處理,也包含將量化與算術編碼予以總稱的處理、將預測處理與量化與算術編碼予以包括的處理等。同樣地,所謂解碼,係不只包含將位元串流轉換成影像的全體之處理,也包含部分之處理。例如,不只包含將逆算術解碼、逆量化、逆正交轉換、預測處理等予以包括的處理,也包含將逆算術解碼與逆量化予以包括的處理、將逆算術解碼與逆量化與預測處理予以包括的處理等。
<LFNST識別元> 在非專利文獻1中所記載的VVC(Versatile Video Coding)中,對初級轉換後之轉換係數,進行LFNST(Low Frequency Non-Separable Transform)來作為次級轉換,而且還改善能量壓實的編碼工具,係已經存在。而且,關於該次級轉換的控制資訊也就是次級轉換控制資訊會被訊令(亦即次級轉換控制資訊係於編碼器中被編碼,並被傳輸至解碼側(解碼器))。
作為該次級轉換控制資訊,例如,表示LFNST之模式的識別元也就是LFNST識別元(lfnst_idx),會被訊令。LFNST識別元(lfnst_idx)之值為「0」的情況下,表示要將次級轉換(LFNST)予以略過(省略)。又,LFNST識別元(lfnst_idx)之值為「1」的情況,表示第1方法所致之次級轉換係被適用。再者,LFNST識別元(lfnst_idx)之值為「2」的情況,表示第2方法所致之次級轉換係被適用。此外,如後述,該LFNST識別元(lfnst_idx)之訊令,係也可略過(省略)。LFNST識別元(lfnst_idx)之訊令已被略過的情況下,解碼側(解碼器)係將其值予以推定。
解碼器,係基於如此而從編碼側(編碼器)所被訊令之LFNST識別元(或所推定之LFNST識別元),而以於編碼器中所被進行的次級轉換所對應之模式,就可進行該次級轉換之逆處理也就是逆次級轉換。亦即,次級轉換控制資訊,係亦可說是關於逆次級轉換的控制資訊。又,LFNST識別元,係亦可說是表示作為逆次級轉換而被進行的LFNST之逆處理之模式的識別元。
如上述,藉由將LFNST識別元予以訊令,編碼側(編碼器)就可控制解碼側(解碼器)中的逆次級轉換。亦即,編碼器,係可令解碼器,以編碼時之次級轉換所對應之模式來進行逆次級轉換。
非專利文獻1所記載之VVC中的,該LFNST識別元之相關語法表之例子,示於圖1。如圖1所示,在滿足該語法表之從上數來第7段及第8段之條件的情況下,從上數來第9段所示的LFNST識別元(lfnst_idx)會被訊令。亦即,該LFNST識別元,係隨應於樹類型(treeType)與轉換略過旗標(transform_skip_flag)之值,而被訊令。轉換略過旗標係為表示,於影像編碼時,是否將包含上述的初級轉換或次級轉換等的係數轉換予以略過(省略)的旗標資訊。此外,該轉換略過旗標係也表示,於影像解碼時,是否將該係數轉換之逆處理(逆轉換)予以略過(省略)。
該樹類型與轉換略過旗標之組合與LFNST識別元之訊令的對應關係之例子,示於圖2。於圖2中,樹類型係有SINGLE_TREE、DUAL_TREE_LUMA、DUAL_ TREE_CHROMA之3種類。又,transform_skip_flag[0],係表示亮度(Y)成分的轉換略過旗標。transform_skip_flag [1],係表示色差(Cb)成分的轉換略過旗標。transform_ skip_flag[2],係表示色差(Cr)成分的轉換略過旗標。圖2所示的表的各轉換略過旗標之列的「0」及「1」,係表示該轉換略過旗標之值。在此例中,值「1」係表示真,值「0」係表示偽。此外,各樹類型之非有效的分量(Y,Cb,Cr)的轉換略過旗標係不被訊令。於圖2中,係此種非有效的分量的轉換略過旗標之值是以「-」表示。
在此例中,transform_skip_flag[0]之值為「0」的情況,或樹類型為DUAL_TREE_CHROMA的情況下,LFNST識別元可被訊令(possible)。其以外的情況下,LFNST識別元之訊令係被略過(省略)。此情況下,於解碼器中,係推定LFNST識別元之值為「0」(Infer to 0)。
然而,如圖2的表的最下行所示,樹類型為雙樹色度(DUAL_TREE_CHROMA),影像的Cb成分與Cr成分之雙方的轉換略過旗標為真(例如1)的情況下,由於該LFNST識別元也會被傳訊。如上述,轉換略過旗標為真的情況下,由於數轉換(逆係數轉換)係被略過,因此次級轉換(逆次級轉換)也被略過。樹類型為雙樹色度(DUAL_ TREE_CHROMA)的情況下,由於有效分量係為Cb和Cr,因此若這些成分的轉換略過旗標為真,則次級轉換(逆次級轉換)必被略過。因此,LFNST識別元之訊令恐怕會變成冗餘。亦即,編碼效率恐怕會無謂地降低。
<方法1> 於是設計成,在有效分量中,至少1個分量的轉換略過旗標為真的情況下,就使LFNST識別元之訊令被略過(方法1)。
例如,於影像處理方法中,在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
例如,於影像處理裝置中係具備編碼部,其係在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
例如,於影像處理方法中,在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為表示次級轉換之略過的所定之值;若所有分量的轉換略過旗標為偽,則將位元串流予以解碼而生成次級轉換控制資訊。
例如,於影像處理裝置中係具備解碼部,其係在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為表示次級轉換之略過的所定之值;若所有分量的轉換略過旗標為偽,則將位元串流予以解碼而生成次級轉換控制資訊。
此外,所謂次級轉換控制資訊所相關之解碼,係將次級轉換控制資訊被編碼而被生成的位元串流(亦稱為編碼資料)予以解碼,生成該次級轉換控制資訊的意思。又,表示次級轉換之略過的所定之值,係為任意。例如,亦可為「0」。
此外,次級轉換控制資訊,係只要是關於次級轉換的控制資訊則無論哪種資訊皆可,但亦可包含例如,表示次級轉換(及逆次級轉換)之類型的識別元也就是次級轉換識別元。
又,次級轉換,係無論哪種係數轉換皆可,例如亦可為LFNST(Low Frequency Non-Separable Transform)。此情況下,逆次級轉換,係亦可為LFNST的逆處理。又,此情況下,次級轉換識別元,係為LFNST識別元(lfnst_idx)。然後,表示次級轉換之略過的所定之值係亦可為「0」(lfnst_idx == 0)。
適用該方法1之情況下的,該樹類型與轉換略過旗標之組合與LFNST識別元之訊令的對應關係之例子,示於圖3。圖3係為對應於圖2之表的表。次級轉換係為LFNST,作為次級轉換資訊,LFNST識別元係被訊令。又,假設表示次級轉換之略過的所定之值係為「0」(lfnst_idx == 0)。
和圖2的情況同樣地,樹類型係有SINGLE_TREE、DUAL_TREE_LUMA、DUAL_TREE_ CHROMA之3種類。又,transform_skip_flag[0],係表示亮度(Y)成分的轉換略過旗標。transform_skip_flag[1],係表示色差(Cb)成分的轉換略過旗標。transform_skip_flag [2],係表示色差(Cr)成分的轉換略過旗標。各轉換略過旗標之列的「0」及「1」,係表示該轉換略過旗標之值。在此例中,值「1」係表示真,值「0」係表示偽。此外,各樹類型之非有效的分量(Y,Cb,Cr)的轉換略過旗標(以「-」來表示的轉換略過旗標)係不被訊令。
在此例中,無論樹類型為何,只有在有效分量之內的所有分量的轉換略過旗標為偽(值「0」)的情況下,LFNST識別元才可被訊令(possible)。在有效分量之內的至少1個分量的轉換略過旗標為真(值「1」)的情況下,則LFNST識別元之訊令係被略過(省略)。此情況下,於解碼側(解碼器)中係推定LFNST識別元之值為「0」(亦即表示次級轉換之略過的值)(Infer to 0)。
藉由如此設計,樹類型為雙樹色度(DUAL_ TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,就可將該LFNST識別元之訊令予以略過(圖3的表的最下行)。然後,即使像這樣LFNST識別元之訊令係被略過,解碼器係仍可基於該LFNST識別元而將逆次級轉換予以略過。亦即,解碼器係可獲得與已被訊令之轉換略過旗標不產生矛盾之值的LFNST識別元,而可正確地進行影像解碼。換言之,編碼器係可正確地控制解碼器中的逆次級轉換。
亦即,藉由適用上述的方法1,就可抑制LFNST識別元之訊令的冗餘性,可抑制編碼效率的降低。
例如,影像編碼之樹類型為單樹(SINGLE_TREE)的情況下,Y、Cb、及Cr係為有效分量。因此,此情況下,在Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標之內,若至少1者為真,則次級轉換控制資訊之編碼係被略過。亦即,此情況下,LFNST識別元(lfnst_idx)之訊令係被略過。然後,於解碼器中,LFNST識別元之值係被推定為「0」(Infer to 0)。此外,所謂Y成分轉換略過旗標,係指Y成分的轉換略過旗標(transform_skip_flag[0])。所謂Cb成分轉換略過旗標,係指Cb成分的轉換略過旗標(transform_skip_flag[1])。所謂Cr成分轉換略過旗標,係指Cr成分的轉換略過旗標(transform_skip_flag[2])。
相對於此,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標為偽,則次級轉換控制資訊可被編碼(possible)。亦即,LFNST識別元(lfnst_idx)係被訊令。
又,例如,影像解碼之樹類型為單樹的情況下,在Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標之內,若至少1者為真,則次級轉換控制資訊所相關之解碼係被略過。然後,該次級轉換控制資訊之值係被推定為表示次級轉換之略過的所定之值。亦即,此情況下,LFNST識別元(lfnst_idx)所相關之解碼係被略過。然後,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標為偽,則位元串流係被解碼而次級轉換控制資訊係被生成。亦即,會獲得已被訊令之LFNST識別元(lfnst_idx)。
此外,在圖2之例子的情況下,樹類型為單樹,且Y成分轉換略過旗標為偽(transform_skip_flag[0] == 0)的情況下,LFNST識別元(lfnst_idx)係被訊令。
相對於此,在圖3之例子的情況下,樹類型為單樹,且Y成分轉換略過旗標為偽的情況下,則更進一步地,若Cb成分轉換略過旗標與Cr成分轉換略過旗標皆非偽(transform_skip_flag[1] == 0 && transform_skip_flag[2] == 0),則LFNST識別元(lfnst_idx)之訊令係被略過。因此,於解碼器中,可抑制緩衝區的容量增大。又,可抑制解碼處理的延遲之增大。
例如,影像編碼之樹類型為雙樹明度(DUAL_TREE_LUMA)的情況下,亮度Y係為有效分量。因此,此情況下,若Y成分轉換略過旗標為真,則次級轉換控制資訊之編碼係被略過。亦即,此情況下,LFNST識別元(lfnst_idx)之訊令係被略過。然後,於解碼器中,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Y成分轉換略過旗標為偽,則次級轉換控制資訊可被編碼(possible)。亦即,LFNST識別元(lfnst_idx)係被訊令。
又,例如,影像解碼之樹類型為雙樹明度的情況下,若Y成分轉換略過旗標為真,則次級轉換控制資訊所相關之解碼係被略過。然後,該次級轉換控制資訊之值係被推定為表示次級轉換之略過的所定之值。亦即,此情況下,LFNST識別元(lfnst_idx)所相關之解碼係被略過。然後,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Y成分轉換略過旗標為偽,則位元串流係被解碼而次級轉換控制資訊係被生成。亦即,會獲得已被訊令之LFNST識別元(lfnst_idx)。
例如,影像編碼之樹類型為雙樹色度(DUAL_TREE_CHROMA)的情況下,色差Cb與Cr係為有效分量。因此在此情況下,在Cb成分轉換略過旗標及Cr成分轉換略過旗標之內,若至少1者為真,則次級轉換控制資訊之編碼係被略過。亦即,此情況下,LFNST識別元(lfnst_idx)之訊令係被略過。然後,於解碼器中,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Cb成分轉換略過旗標及Cr成分轉換略過旗標為偽,則次級轉換控制資訊可被編碼(possible)。亦即,LFNST識別元(lfnst_idx)係被訊令。
又,例如,在影像解碼之樹類型為雙樹色度的情況下,在Cb成分轉換略過旗標及Cr成分轉換略過旗標之內,若至少1者為真,則次級轉換控制資訊所相關之解碼係被省略。然後,該次級轉換控制資訊之值係被推定為表示次級轉換之略過的所定之值。亦即,此情況下,LFNST識別元(lfnst_idx)所相關之解碼係被略過。然後,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Cb成分轉換略過旗標及Cr成分轉換略過旗標為偽,則位元串流係被解碼而次級轉換控制資訊係被生成。亦即,會獲得已被訊令之LFNST識別元(lfnst_idx)。
對非專利文獻1所記載之VVC適用此方法1的情況下,LFNST識別元之相關語法表之例子,示於圖4。此情況下,編碼器(或解碼器),係按照每種樹類型,針對有效分量而將變數nonTsUsed如圖4的最上段所示般地加以設定。該變數nonTsUsed,係為表示轉換略過是否未被適用的變數。該值為真(例如「1」)的情況下,表示轉換略過未被適用。該值為偽(例如「0」)的情況下,表示轉換略過已被適用。
例如,樹類型為雙樹明度的情況下,若Y成分轉換略過旗標為偽(treeType == DUAL_TREE_LUMA && transform_skip_flag[x0][y0][0] == 0),則變數nonTsUsed係被設定為真(nonTsUsed == 1)。相對於此,若Y成分轉換略過旗標為真,則變數nonTsUsed係被設定為偽(nonTsUsed == 0)。
又,樹類型為雙樹色度的情況下,若Cb成分轉換略過旗標及Cr成分轉換略過旗標為偽(treeType == DUAL_TREE_CHROMA && transform_skip_flag[x0][y0][1] == 0 && transform_skip_flag[x0][y0][2] == 0),則變數nonTsUsed係被設定為真(nonTsUsed == 1)。相對於此,若Cb成分轉換略過旗標或Cr成分轉換略過旗標為真,則變數nonTsUsed係被設定為偽(nonTsUsed == 0)。
再者,樹類型為單樹的情況下,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標為偽(treeType == SINGLE_TREE && transform_skip_ flag[x0][y0][0] == 0 && transform_skip_flag[x0][y0][1] == 0 && transform_skip_flag[x0][y0][2] == 0),則變數nonTsUsed係被設定為真(nonTsUsed == 1)。相對於此,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標之內的至少1者為真,則變數nonTsUsed係被設定為偽(nonTsUsed == 0)。
然後,將該變數nonTsUsed當作條件之1而使用,來控制是否將LFNST識別元(lfnst_idx)予以訊令。例如,該變數nonTsUsed為真(nonTsUsed == 1),且滿足其他條件的情況下,編碼器係將LFNST識別元(lfnst_idx)予以編碼。又,解碼器係進行該LFNST識別元(lfnst_idx)所相關之解碼。
又,該變數nonTsUsed為偽的情況(nonTsUsed == 0),編碼器係將LFNST識別元(lfnst_idx)之編碼予以略過。又解碼器係將LFNST識別元(lfnst_idx)所相關之解碼予以略過,並推定該LFNST識別元(lfnst_idx)之值為「0」。
圖5係為與圖4之語法表等價的,LFNST識別元之編碼條件(解碼條件)condition的圖示。例如,編碼器,係按照每種樹類型,而將變數NonTsUsed(圖5的上側)加以設定。然後,編碼器,係把該變數NonTsUsed當作條件之1而使用,來設定LFNST識別元的編碼條件condition(圖5的下側)。然後,編碼器係在該編碼條件condition為真的情況下,將LFNST識別元(lfnst_idx)予以訊令。編碼條件condition為偽的情況下,編碼器係將LFNST識別元(lfnst_idx)之訊令予以略過。
例如,解碼器,係按照每種樹類型,而將變數NonTsUsed(圖5的上側)加以設定。然後,解碼器,係把該變數NonTsUsed當作條件之1而使用,來設定LFNST識別元的解碼條件condition(圖5的下側)。然後,解碼器係在該解碼條件condition為真的情況下,將位元串流予以解碼,獲得已被訊令之LFNST識別元(lfnst_idx)。解碼條件condition為偽的情況下,解碼器係將LFNST識別元(lfnst_idx)所相關之解碼予以略過,並推定該LFNST識別元(lfnst_idx)之值為「0」。
藉由如此設計,於非專利文獻1所記載之VVC中,可抑制編碼效率的降低。
此外,如圖6所示的語法表般地,在條件式中亦可使用否定表現。圖6所示的語法表,係對應於圖4所示的語法表,但取代圖4的變數nonTsUsed,而改為使用變數TsUsed。變數TsUsed,係為表示轉換略過是否已被適用的變數,該值為真(例如「1」)的情況下,表示轉換略過已被適用。該值為偽(例如「0」)的情況下,表示轉換略過未被適用。
例如,變數TsUsed,係如圖6的最上段所示般地被設定。亦即,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標之內的至少1者為真(transform_skip_flag[x0][y0][0] == 1 || transform_skip_flag [x0][y0][1] == 1 || transform_skip_flag[x0][y0][2] == 1),則變數TsUsed係被設定為真(TsUsed == 1)。相對於此,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標為偽,則變數TsUsed係被設定為偽(TsUsed == 0)。
然後,將該變數TsUsed當作條件之1而使用,來控制是否將LFNST識別元(lfnst_idx)予以訊令。例如,該變數TsUsed為偽(TsUsed == 0),且滿足其他條件的情況下,編碼器係將LFNST識別元(lfnst_idx)予以編碼,解碼器係進行該LFNST識別元(lfnst_idx)所相關之解碼。
又,該變數TsUsed為真的情況(TsUsed == 1),編碼器係將LFNST識別元(lfnst_idx)之編碼予以略過。然後解碼器係將LFNST識別元(lfnst_idx)所相關之解碼予以略過,並推定該LFNST識別元(lfnst_idx)之值為「0」。
圖7係為與圖6之語法表等價的,LFNST識別元之編碼條件(解碼條件)condition的圖示。例如,編碼器係將變數TsUsed(圖7的上側)加以設定。然後,編碼器,係把該變數TsUsed當作條件之1而使用,來設定LFNST識別元的編碼條件condition(圖7的下側)。然後,編碼器係在該編碼條件condition為真的情況下,將LFNST識別元(lfnst_idx)予以訊令。編碼條件condition為偽的情況下,編碼器係將LFNST識別元(lfnst_idx)之訊令予以略過。
例如,解碼器係將變數TsUsed(圖7的上側)加以設定。然後,解碼器,係把該變數TsUsed當作條件之1而使用,來設定LFNST識別元的解碼條件condition(圖7的下側)。然後,解碼器係在該解碼條件condition為真的情況下,將位元串流予以解碼,獲得已被訊令之LFNST識別元(lfnst_idx)。解碼條件condition為偽的情況下,解碼器係將LFNST識別元(lfnst_idx)所相關之解碼予以略過,並推定該LFNST識別元(lfnst_idx)之值為「0」。
藉由如此設計,於非專利文獻1所記載之VVC中,可抑制編碼效率的降低。
<方法2> 例如亦可設計成,在有效分量中,所有分量的轉換略過旗標為真的情況下,LFNST識別元之訊令係被略過(方法2)。
亦可為例如,在影像編碼時的有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以省略;若至少1個分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
又亦可為例如,在影像解碼時的有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為表示次級轉換之略過的所定之值;若至少1個分量的轉換略過旗標為偽,則將位元串流予以解碼而生成次級轉換控制資訊。
於方法2中,也是和方法1的情況同樣地,所謂次級轉換控制資訊所相關之解碼,係指將次級轉換控制資訊被編碼而被生成的位元串流予以解碼,以生成該次級轉換控制資訊。又,表示次級轉換之略過的所定之值,係為任意。
再者,次級轉換控制資訊,係只要是關於次級轉換的控制資訊,則可為任意的資訊。例如,亦可包含表示次級轉換(及逆次級轉換)之類型的識別元也就是次級轉換識別元。
又,次級轉換,係無論哪種係數轉換皆可。例如,亦可為LFNST。此情況下,逆次級轉換,係亦可為LFNST的逆處理。又,此情況下,次級轉換識別元,係為LFNST識別元(lfnst_idx)。然後,表示次級轉換之略過的所定之值係亦可為「0」(lfnst_idx == 0)。
適用該方法2之情況下的,該樹類型與轉換略過旗標之組合與LFNST識別元之訊令的對應關係之例子,示於圖8。圖8係為對應於圖2之表的表。次級轉換係為LFNST,作為次級轉換資訊,LFNST識別元係被訊令。又,假設表示次級轉換之略過的所定之值係為「0」(lfnst_idx == 0)。
和圖2的情況同樣地,樹類型係有SINGLE_ TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMA之3種類。又,transform_skip_flag[0],係表示Y成分轉換略過旗標。transform_skip_flag[1],係表示Cb成分轉換略過旗標。transform_skip_flag[2],係表示Cr成分轉換略過旗標。各轉換略過旗標之列的「0」及「1」,係表示該轉換略過旗標之值。在此例中,值「1」係表示真,值「0」係表示偽。此外,各樹類型之非有效的分量(Y,Cb,Cr)的轉換略過旗標(以「-」來表示的轉換略過旗標)係不被訊令。
在此例中,無論樹類型為何,在有效分量之內的至少1個分量的轉換略過旗標為偽(值「0」)的情況下,LFNST識別元才可被訊令(possible)。只有在有效分量之內的所有分量的轉換略過旗標為真(值「1」)的情況下,LFNST識別元之訊令才會被略過(省略)。此情況下,於解碼側(解碼器)中係推定LFNST識別元之值為「0」(亦即表示次級轉換之略過的值)(Infer to 0)。
藉由如此設計,樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,就可將該LFNST識別元之訊令予以略過(圖8的表的最下行)。然後,即使像這樣LFNST識別元之訊令係被略過,解碼器係仍可基於該LFNST識別元而將逆次級轉換予以略過。亦即,解碼器係可獲得與已被訊令之轉換略過旗標不產生矛盾之值的LFNST識別元,而可正確地進行影像解碼。換言之,編碼器係可正確地控制解碼器中的逆次級轉換。
亦即,藉由適用上述的方法2,就可抑制LFNST識別元之訊令的冗餘性,可抑制編碼效率的降低。
例如,影像編碼之樹類型為單樹(SINGLE_TREE)的情況下,Y、Cb、及Cr係為有效分量。因此,此情況下,Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標為真,則次級轉換控制資訊之編碼係被略過。亦即,此情況下,LFNST識別元(lfnst_idx)之訊令係被略過。然後,於解碼器中,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,在Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標之內,若至少1者為偽,則次級轉換控制資訊可被編碼(possible)。亦即,LFNST識別元(lfnst_idx)係被訊令。
又,例如,影像解碼之樹類型為單樹的情況下,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標為真,則次級轉換控制資訊所相關之解碼係被略過。然後,該次級轉換控制資訊之值係被推定為表示次級轉換之略過的所定之值。亦即,此情況下,LFNST識別元(lfnst_idx)所相關之解碼係被略過。然後,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,在Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標之內,若至少1者為偽,則位元串流係被解碼而次級轉換控制資訊係被生成。亦即,會獲得已被訊令之LFNST識別元(lfnst_idx)。
此外,在圖2之例子的情況下,影像解碼之樹類型為單樹,且Y成分轉換略過旗標為真(transform_ skip_flag[0] == 1)時,LFNST識別元(lfnst_idx)之訊令係被略過。因此,此時即使Cb成分轉換略過旗標或Cr成分轉換略過旗標為偽(transform_skip_flag[1] == 0 || transform_ skip_flag[2] == 0),對於Cb成分或Cr成分仍然無法適用次級轉換(LFNST)。因此,Cb成分或Cr成分的編碼效率恐怕會降低。
相對於此,在圖8之例子的情況下,如上述,若Y成分轉換略過旗標、Cb成分轉換略過旗標、及Cr成分轉換略過旗標之內的至少1者為偽,則LFNST識別元可被訊令。亦即,影像解碼之樹類型為單樹,且Y成分轉換略過旗標為真(transform_skip_flag[0] == 1)時也是,若Cb成分轉換略過旗標或Cr成分轉換略過旗標為偽(transform_skip_flag[1] == 0 || transform_skip_flag[2] == 0),則對於Cb成分或Cr成分就可以適用次級轉換(LFNST)。因此,可抑制Cb成分或Cr成分的編碼效率之降低。
例如,影像編碼之樹類型為雙樹明度(DUAL_TREE_LUMA)的情況下,亮度Y係為有效分量。因此,此情況下,若Y成分轉換略過旗標為真,則次級轉換控制資訊之編碼係被略過。亦即,此情況下,LFNST識別元(lfnst_idx)之訊令係被略過。然後,於解碼器中,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Y成分轉換略過旗標為偽,則次級轉換控制資訊可被編碼(possible)。亦即,LFNST識別元(lfnst_idx)係被訊令。
又,例如,影像解碼之樹類型為雙樹明度的情況下,若Y成分轉換略過旗標為真,則次級轉換控制資訊所相關之解碼係被略過。然後,該次級轉換控制資訊之值係被推定為表示次級轉換之略過的所定之值。亦即,此情況下,LFNST識別元(lfnst_idx)所相關之解碼係被略過。然後,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Y成分轉換略過旗標為偽,則位元串流係被解碼而次級轉換控制資訊係被生成。亦即,會獲得已被訊令之LFNST識別元(lfnst_idx)。
例如,影像編碼之樹類型為雙樹色度(DUAL_TREE_CHROMA)的情況下,色差Cb與Cr係為有效分量。因此在此情況下,若Cb成分轉換略過旗標及Cr成分轉換略過旗標為真,則次級轉換控制資訊之編碼係被略過。亦即,此情況下,LFNST識別元(lfnst_idx)之訊令係被略過。然後,於解碼器中,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Cb成分轉換略過旗標及Cr成分轉換略過旗標之內的至少1者為偽,則次級轉換控制資訊可被編碼(possible)。亦即,LFNST識別元(lfnst_idx)係被訊令。ㄙ
又,例如,影像解碼之樹類型為雙樹色度的情況下,若Cb成分轉換略過旗標及Cr成分轉換略過旗標為真,則次級轉換控制資訊所相關之解碼係被省略。然後,該次級轉換控制資訊之值係被推定為表示次級轉換之略過的所定之值。亦即,此情況下,LFNST識別元(lfnst_idx)所相關之解碼係被略過。然後,LFNST識別元之值係被推定為「0」(Infer to 0)。相對於此,若Cb成分轉換略過旗標及Cr成分轉換略過旗標之內的至少1者為偽,則位元串流係被解碼而次級轉換控制資訊係被生成。亦即,會獲得已被訊令之LFNST識別元(lfnst_idx)。
<方法3> 亦可設計成例如,在樹類型為單樹的情況、與雙樹明度的情況下,則是使用與非專利文獻1所記載之方法相同的方法來控制LFNST識別元之訊令,只有在樹類型為雙樹色度(DUAL_TREE_CHROMA)的情況下,於該雙樹色度中在有效分量之內,所有分量的轉換略過旗標為真時,LFNST識別元之訊令係被略過(方法3)。
亦可為例如,影像編碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以略過;若至少1個分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
又亦可為例如,影像解碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以略過,並且推定該次級轉換控制資訊之值為表示次級轉換之略過的所定之值;若至少1個分量的轉換略過旗標為偽,則將位元串流予以解碼而生成次級轉換控制資訊。
於方法3中,也是和方法1的情況同樣地,所謂次級轉換控制資訊所相關之解碼,係指將次級轉換控制資訊被編碼而被生成的位元串流予以解碼,以生成該次級轉換控制資訊。又,表示次級轉換之略過的所定之值,係為任意。
再者,次級轉換控制資訊,係只要是關於次級轉換的控制資訊,則可為任意的資訊。例如,亦可包含表示次級轉換(及逆次級轉換)之類型的識別元也就是次級轉換識別元。
又,次級轉換,係無論哪種係數轉換皆可。例如,亦可為LFNST。此情況下,逆次級轉換,係亦可為LFNST的逆處理。又,此情況下,次級轉換識別元,係為LFNST識別元(lfnst_idx)。然後,表示次級轉換之略過的所定之值係亦可為「0」(lfnst_idx == 0)。
適用該方法3之情況下的,該樹類型與轉換略過旗標之組合與LFNST識別元之訊令的對應關係之例子,示於圖9。圖9係為對應於圖2之表的表。次級轉換係為LFNST,作為次級轉換資訊,LFNST識別元係被訊令。又,假設表示次級轉換之略過的所定之值係為「0」(lfnst_idx == 0)。
和圖2的情況同樣地,樹類型係有SINGLE_ TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMA之3種類。又,transform_skip_flag[0],係表示Y成分轉換略過旗標。transform_skip_flag[1],係表示Cb成分轉換略過旗標。transform_skip_flag[2],係表示Cr成分轉換略過旗標。各轉換略過旗標之列的「0」及「1」,係表示該轉換略過旗標之值。在此例中,值「1」係表示真,值「0」係表示偽。此外,各樹類型之非有效的分量(Y,Cb,Cr)的轉換略過旗標(以「-」來表示的轉換略過旗標)係不被訊令。
在此例中,樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若至少1個分量的轉換略過旗標為偽,則LFNST識別元可被訊令(possible)。相對於此,若所有分量的轉換略過旗標為真(值「1」),則LFNST識別元之編碼係被略過(省略)。此情況下,於解碼側(解碼器)中係推定LFNST識別元之值為「0」(亦即表示次級轉換之略過的值)(Infer to 0)。
此外,在樹類型為單樹的情況與雙樹明度的情況下,係以和非專利文獻1所記載之方法相同的方法來控制LFNST識別元之訊令。亦即,LFNST識別元之訊令是和圖2的表之情況同樣地被控制。
藉由如此設計,樹類型為雙樹色度(DUAL_ TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,就可將該LFNST識別元之訊令予以略過(圖9的表的最下行)。然後,即使像這樣LFNST識別元之訊令係被略過,解碼器係仍可基於該LFNST識別元而將逆次級轉換予以略過。亦即,解碼器係可獲得與已被訊令之轉換略過旗標不產生矛盾之值的LFNST識別元,而可正確地進行影像解碼。換言之,編碼器係可正確地控制解碼器中的逆次級轉換。
亦即,藉由適用上述的方法3,就可抑制LFNST識別元之訊令的冗餘性,可抑制編碼效率的降低。
<方法4> 亦可設計成例如,在樹類型為單樹的情況、與雙樹明度的情況下,則是使用與非專利文獻1所記載之方法相同的方法來控制LFNST識別元之訊令,只有在樹類型為雙樹色度(DUAL_TREE_CHROMA)的情況下,於該雙樹色度中在有效分量之內,至少1個分量的轉換略過旗標為真時,LFNST識別元之訊令係被略過(方法4)。
亦可為例如,影像編碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若至少1個分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以略過;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
又亦可為例如,影像解碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若至少1個分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以略過,並且推定該次級轉換控制資訊之值為表示次級轉換之略過的所定之值;若所有分量的轉換略過旗標為偽,則將位元串流予以解碼而生成次級轉換控制資訊。
於方法4中,也是和方法1的情況同樣地,所謂次級轉換控制資訊所相關之解碼,係指將次級轉換控制資訊被編碼而被生成的位元串流予以解碼,以生成該次級轉換控制資訊。又,表示次級轉換之略過的所定之值,係為任意。
再者,次級轉換控制資訊,係只要是關於次級轉換的控制資訊,則可為任意的資訊。例如,亦可包含表示次級轉換(及逆次級轉換)之類型的識別元也就是次級轉換識別元。
又,次級轉換,係無論哪種係數轉換皆可。例如,亦可為LFNST。此情況下,逆次級轉換,係亦可為LFNST的逆處理。又,此情況下,次級轉換識別元,係為LFNST識別元(lfnst_idx)。然後,表示次級轉換之略過的所定之值係亦可為「0」(lfnst_idx == 0)。
適用該方法4之情況下的,該樹類型與轉換略過旗標之組合與LFNST識別元之訊令的對應關係之例子,示於圖10。圖10係為對應於圖2之表的表。次級轉換係為LFNST,作為次級轉換資訊,LFNST識別元係被訊令。又,假設表示次級轉換之略過的所定之值係為「0」(lfnst_idx == 0)。
和圖2的情況同樣地,樹類型係有SINGLE_ TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMA之3種類。又,transform_skip_flag[0],係表示Y成分轉換略過旗標。transform_skip_flag[1],係表示Cb成分轉換略過旗標。transform_skip_flag[2],係表示Cr成分轉換略過旗標。各轉換略過旗標之列的「0」及「1」,係表示該轉換略過旗標之值。在此例中,值「1」係表示真,值「0」係表示偽。此外,各樹類型之非有效的分量(Y,Cb,Cr)的轉換略過旗標(以「-」來表示的轉換略過旗標)係不被訊令。
在此例中,樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若所有分量的轉換略過旗標為偽,則LFNST識別元可被訊令(possible)。相對於此,若至少1個分量的轉換略過旗標為真(值「1」),則LFNST識別元之編碼係被略過(省略)。此情況下,於解碼側(解碼器)中係推定LFNST識別元之值為「0」(亦即表示次級轉換之略過的值)(Infer to 0)。
此外,和方法3的情況同樣地,在樹類型為單樹的情況與雙樹明度的情況下,係以和非專利文獻1所記載之方法相同的方法來控制LFNST識別元之訊令。亦即,LFNST識別元之訊令是和圖2的表之情況同樣地被控制。
藉由如此設計,樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,就可將該LFNST識別元之訊令予以略過(圖10的表的最下行)。然後,即使像這樣LFNST識別元之訊令係被略過,解碼器係仍可基於該LFNST識別元而將逆次級轉換予以略過。亦即,解碼器係可獲得與已被訊令之轉換略過旗標不產生矛盾之值的LFNST識別元,而可正確地進行影像解碼。換言之,編碼器係可正確地控制解碼器中的逆次級轉換。
亦即,藉由適用上述的方法4,就可抑制LFNST識別元之訊令的冗餘性,可抑制編碼效率的降低。
<組合> 上述的方法1乃至方法4,係可將其一部或全部做適宜組合而適用。
<2.第1實施形態> <編碼裝置> 於<1.LFNST識別元之訊令模態>中所說明的本技術(方法1乃至方法4),係皆可於任意的裝置中做適用。以下說明本技術的適用例。圖11係適用了本技術的影像處理裝置之一態樣的編碼裝置之構成之一例的區塊圖。圖11所示的編碼裝置100,係為將LFNST識別元(lfnst_idx)予以編碼的裝置。編碼裝置100係例如,適用CABAC(Context-based Adaptive Binary Arithmetic Code)而進行編碼。
此外,於圖11中係主要表示處理部或資料的流向等,圖11所示者並非全部。亦即,於編碼裝置100中,亦可存在有於圖11中未以區塊而被表示的處理部,亦可存在有於圖11中未以箭頭等而表示的處理或資料之流動。
如圖11所示,編碼裝置100係具有LFNST識別元編碼部101。
LFNST識別元編碼部101,係進行LFNST識別元之編碼的相關處理。例如,LFNST識別元編碼部101,係從外部取得LFNST識別元(lfnst_idx)。LFNST識別元編碼部101,係將已取得之LFNST識別元予以編碼,生成位元串流。LFNST識別元編碼部101,係將已生成之位元串流,輸出至編碼裝置100的外部。該位元串流係例如,透過通訊媒體等而被傳輸至解碼側(解碼器),或是被記憶在記憶媒體中。
又,LFNST識別元編碼部101,係將LFNST識別元之編碼中所利用的各種參數,加以取得。例如,LFNST識別元編碼部101,係將treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等之參數,加以取得。這些參數,係為上述的非專利文獻(例如非專利文獻1)中所記載之參數。
然後,LFNST識別元編碼部101,係使用這些參數,如<1.LFNST識別元之訊令模態>中所說明,來進行LFNST識別元(lfnst_idx)之編碼(訊令)的控制。
例如,LFNST識別元編碼部101,係適用上述的方法1,來進行該LFNST識別元之編碼的控制。亦即,LFNST識別元編碼部101,係在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
例如,LFNST識別元編碼部101,係依照圖4所示的語法表,來控制LFNST識別元之編碼。此外,亦可設計成,LFNST識別元編碼部101,係依照圖6所示的語法表,來控制LFNST識別元之編碼。藉由依照這些語法表,LFNST識別元編碼部101,係如圖3所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
此外,LFNST識別元編碼部101,係亦可適用上述的方法2,來進行該LFNST識別元之編碼的控制。亦即,LFNST識別元編碼部101,係亦可在影像編碼時的有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以省略;若至少1個分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
藉由如此設計,LFNST識別元編碼部101,係如圖8所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,LFNST識別元編碼部101,係亦可適用上述的方法3,來進行該LFNST識別元之編碼的控制。亦即,LFNST識別元編碼部101係亦可為,影像編碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以省略;若至少1個分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
藉由如此設計,LFNST識別元編碼部101,係如圖9所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,LFNST識別元編碼部101,係亦可適用上述的方法4,來進行該LFNST識別元之編碼的控制。亦即,LFNST識別元編碼部101係亦可為,影像編碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若至少1個分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
藉由如此設計,LFNST識別元編碼部101,係如圖10所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
無論在適用方法1乃至方法4之中任一方法的情況下,LFNST識別元編碼部101,係皆可在樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,將該LFNST識別元之訊令予以略過。因此,編碼裝置100係可抑制編碼效率的降低。
<編碼處理的流程> 接著,該編碼裝置100所執行的影像編碼處理的流程之例子,參照圖12的流程圖來說明。
一旦編碼處理被開始,則編碼裝置100的LFNST識別元編碼部101,係於步驟S101中,將LFNST識別元的編碼條件condition予以導出。例如,在適用<1.LFNST識別元之訊令模態>中所上述的方法1的情況下,LFNST識別元編碼部101,係在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。例如,LFNST識別元編碼部101,係將圖5所示的變數NonTsUsed予以導出,使用該已導出之變數NonTsUsed,而將圖5所示的編碼條件condition予以導出。
此外,LFNST識別元編碼部101,係亦可將圖7所示的變數TsUsed予以導出,使用該已導出之變數TsUsed,而將圖7所示的編碼條件condition予以導出。又,LFNST識別元編碼部101,係亦可適用方法2乃至方法4之其中任一者,來導出編碼條件condition。
於步驟S102中,LFNST識別元編碼部101係判定是否滿為該編碼條件condition。亦即,LFNST識別元編碼部101係判定,步驟S101中所導出的編碼條件condition是否為真。在該編碼條件condition被判定為真的情況下,處理係往步驟S103前進。
於步驟S103中,LFNST識別元編碼部101係將LFNST識別元(lfnst_idx)予以編碼,生成位元串流。亦即,在滿足編碼條件condition的情況下,LFNST識別元編碼部101係將LFNST識別元(lfnst_idx)予以編碼,生成位元串流。該位元串流係例如,透過通訊媒體而被供給至解碼器。又,該位元串流係亦可被記憶在記憶媒體中。一旦步驟S103的處理結束,則編碼處理就結束。
又,於步驟S102中,若步驟S101中所導出的編碼條件condition被判定為偽的情況下,則處理係往步驟S104前進。
於步驟S104中,LFNST識別元編碼部101係將LFNST識別元(lfnst_idx)之編碼予以略過(省略)。亦即,在不滿足編碼條件condition的情況下,LFNST識別元編碼部101係將LFNST識別元(lfnst_idx)之編碼予以略過。亦即,此情況下,LFNST識別元的位元串流係不被生成(亦即LFNST識別元係不被訊令)。一旦步驟S104的處理結束,則編碼處理就結束。
藉由如此執行編碼處理,LFNST識別元編碼部101,係無論在適用方法1乃至方法4之其中哪一方法的情況下,當樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真時,都可將該LFNST識別元之訊令予以略過。因此,編碼裝置100係可抑制編碼效率的降低。
<補充> 此外,編碼裝置100(LFNST識別元編碼部101),係不限於LFNST識別元之例子,亦可將任意之次級轉換識別元(任意之次級轉換控制資訊)予以編碼。亦即,次級轉換,係不限定於LFNST,亦可為任意之係數轉換。又,上述的方法1乃至方法4,係可將其一部或全部做適宜組合而適用。
<3.第2實施形態> <解碼裝置> 圖13係適用了本技術的影像處理裝置之一態樣的解碼裝置之構成之一例的區塊圖。圖13所示的解碼裝置200,係為將LFNST識別元(lfnst_idx)之位元串流(編碼資料)予以解碼的裝置。解碼裝置200,係適用編碼裝置100之編碼方式所對應之解碼方式(例如CABAC),來進行解碼。例如,解碼裝置200,係將已被編碼裝置100所生成之位元串流予以解碼。
此外,於圖13中係主要表示處理部或資料的流向等,圖13所示者並非全部。亦即,於解碼裝置200中,亦可存在有於圖13中未以區塊而被表示的處理部,亦可存在有於圖13中未以箭頭等而表示的處理或資料之流動。
如圖13所示,解碼裝置200係具有LFNST識別元解碼部201。
LFNST識別元解碼部201,係進行關於LFNST識別元之解碼的相關處理。例如,LFNST識別元解碼部201,係從外部取得位元串流。LFNST識別元解碼部201,係將已取得之位元串流予以解碼,生成LFNST識別元(lfnst_idx)。LFNST識別元解碼部201,係將該已生成之LFNST識別元,輸出至解碼裝置200之外部。該LFNST識別元係例如,透過通訊媒體等而被傳輸至解碼側(解碼器),或是被記憶在記憶媒體中。
又,LFNST識別元解碼部201,係將LFNST識別元所相關之解碼中所利用的各種參數,加以取得。例如,LFNST識別元解碼部201,係將treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等之參數,加以取得。這些參數,係為上述的非專利文獻(例如非專利文獻1)中所記載之參數。
這些參數,係於編碼器(例如編碼裝置100)中被編碼,成為位元串流而被供給(亦即被訊令)。解碼裝置200,係將該位元串流加以取得,並藉由解碼,而生成這些參數。此外,此解碼係亦可於LFNST識別元解碼部201之外部的解碼部(未圖示)中被進行,亦可由LFNST識別元解碼部201來進行。
然後,LFNST識別元解碼部201,係使用這些參數,如<1.LFNST識別元之訊令模態>中所說明,來進行LFNST識別元(lfnst_idx)之解碼的控制。
例如,LFNST識別元解碼部201,係適用上述的方法1,來進行該LFNST識別元所相關之解碼的控制。亦即,LFNST識別元解碼部201,係在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為表示次級轉換之略過的所定之值;若所有分量的轉換略過旗標為偽,則將位元串流予以解碼而生成次級轉換控制資訊。
例如,LFNST識別元解碼部201,係依照圖4所示的語法表,來控制LFNST識別元所相關之解碼。此外,亦可設計成,LFNST識別元解碼部201,係依照圖6所示的語法表,來控制LFNST識別元所相關之解碼。藉由依照這些語法表,LFNST識別元解碼部201,係如圖3所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
此外,LFNST識別元解碼部201,係亦可適用上述的方法2,來進行該LFNST識別元所相關之解碼的控制。亦即,LFNST識別元解碼部201,係亦可在影像解碼時的有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為「0」。又,LFNST識別元解碼部201,係亦可在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為偽,則進行次級轉換控制資訊所相關之解碼。
藉由如此設計,LFNST識別元解碼部201,係如圖8所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,LFNST識別元解碼部201,係亦可適用上述的方法3,來進行該LFNST識別元所相關之解碼的控制。亦即,LFNST識別元解碼部201係亦可為,影像解碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以略過(省略),並且推定該次級轉換控制資訊之值為「0」。又,LFNST識別元解碼部201,係亦可在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為偽,則進行次級轉換控制資訊所相關之解碼。
藉由如此設計,LFNST識別元解碼部201,係如圖9所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,LFNST識別元解碼部201,係亦可適用上述的方法4,來進行該LFNST識別元所相關之解碼的控制。亦即,LFNST識別元解碼部201係亦可為,影像解碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若至少1個分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為「0」。又亦可為,若所有分量的轉換略過旗標為偽,則進行次級轉換控制資訊所相關之解碼。
藉由如此設計,LFNST識別元解碼部201,係如圖10所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
無論在適用方法1乃至方法4之中任一方法的情況下,LFNST識別元解碼部201,係皆可在樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,將該LFNST識別元所相關之解碼予以略過。因此,解碼裝置200係可抑制編碼效率的降低。
<解碼處理的流程> 接著,被該解碼裝置200所執行的解碼處理的流程之例子,參照圖14的流程圖來加以說明。
一旦解碼處理被開始,則解碼裝置200的LFNST識別元解碼部201,係於步驟S201中,將LFNST識別元的解碼條件condition予以導出。例如,在適用<1.LFNST識別元之訊令模態>中所上述的方法1的情況下,LFNST識別元解碼部201,係在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略;若所有分量的轉換略過旗標為偽,則進行次級轉換控制資訊所相關之解碼。例如,LFNST識別元解碼部201,係將圖5所示的變數NonTsUsed予以導出,使用該已導出之變數NonTsUsed,而將圖5所示的解碼條件condition予以導出。
此外,LFNST識別元解碼部201,係亦可將圖7所示的變數TsUsed予以導出,使用該已導出之變數TsUsed,而將圖7所示的解碼條件condition予以導出。又,LFNST識別元解碼部201,係亦可適用方法2乃至方法4之其中任一者,來導出解碼條件condition。
於步驟S202中,LFNST識別元解碼部201係判定是否滿為該解碼條件condition。亦即,LFNST識別元解碼部201係判定,步驟S201中所導出的解碼條件condition是否為真。在該解碼條件condition被判定為真的情況下,處理係往步驟S203前進。
於步驟S203中,LFNST識別元解碼部201係將位元串流予以解碼,生成LFNST識別元(lfnst_idx)。亦即,在滿足解碼條件condition的情況下,LFNST識別元解碼部201係將位元串流予以解碼,生成LFNST識別元(lfnst_idx)。一旦步驟S203之處理結束則解碼處理就結束。
又,於步驟S202中,若步驟S201中所導出的解碼條件condition被判定為偽的情況下,則處理係往步驟S204前進。
於步驟S204中,LFNST識別元解碼部201係將LFNST識別元(lfnst_idx)所相關之解碼予以略過(省略)。亦即,在不滿足解碼條件condition的情況下,LFNST識別元解碼部201,係將LFNST識別元(lfnst_idx)所相關之解碼予以略過,並且推定該LFNST識別元之值為「0」(lfnst_idx = 0)。一旦步驟S204之處理結束則解碼處理就結束。
藉由如此執行解碼處理,LFNST識別元解碼部201,係無論在適用方法1乃至方法4之其中哪一方法的情況下,當樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真時,都可將該LFNST識別元所相關之解碼予以略過。因此,解碼裝置200係可抑制編碼效率的降低。
<補充> 此外,解碼裝置200(LFNST識別元解碼部201),係不限於LFNST識別元之例子,亦可進行任意之次級轉換識別元(任意之次級轉換控制資訊)所相關之解碼。亦即,逆次級轉換,係不限定於LFNST之逆處理,亦可為任意之逆係數轉換。又,上述的方法1乃至方法4,係可將其一部或全部做適宜組合而適用。
<4.第3實施形態> <影像編碼裝置> 圖15係適用了本技術的影像處理裝置之一態樣的影像編碼裝置之構成之一例的區塊圖。圖15所示的影像編碼裝置300,係為將動態影像之影像資料予以編碼的裝置。例如,影像編碼裝置300,係可以用上述任一非專利文獻中所記載之編碼方式,而將動態影像之影像資料予以編碼。
此外,於圖15中係主要表示處理部(區塊)或資料的流向等,圖15所示者並非全部。亦即,於影像編碼裝置300中,亦可存在有於圖15中未以區塊而被表示的處理部,亦可存在有於圖15中未以箭頭等而表示的處理或資料之流向。
如圖15所示,影像編碼裝置300係具有:控制部301、排序緩衝區311、演算部312、正交轉換部313、量化部314、編碼部315、積存緩衝區316、逆量化部317、逆正交轉換部318、演算部319、迴圈內濾波器部320、畫格記憶體321、預測部322、及速率控制部323。
<控制部> 控制部301,係基於外部、或預先指定之處理單位之區塊尺寸,而將已被排序緩衝區311所保持的動態影像資料,分割成處理單位之區塊(CU、PU、轉換區塊等)。又,控制部301,係將供給至各區塊的編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等),例如基於RDO(Rate-Distortion Optimization),而加以決定。
關於這些編碼參數的細節,將於後述。控制部301,係一旦決定了如以上之編碼參數,就將它們供給至各區塊。具體而言,係如以下所述。
標頭資訊Hinfo,係被供給至各區塊。 預測模式資訊Pinfo,係被供給至編碼部315和預測部322。 轉換資訊Tinfo,係被供給至編碼部315、正交轉換部313、量化部314、逆量化部317、及逆正交轉換部318。 濾波器資訊Finfo,係被供給至迴圈內濾波器部320。
<排序緩衝區> 對影像編碼裝置300,係動態影像資料之各圖場(輸入影像)係按照其再生順序(顯示順序)而被輸入。排序緩衝區311,係將各輸入影像依照其再生順序(顯示順序)而加以取得,並保持(記憶)。排序緩衝區311,係基於控制部301之控制,而將該輸入影像排序成編碼順序(解碼順序),或分割成處理單位之區塊等等。排序緩衝區311,係將處理後的各輸入影像,供給至演算部312。又,排序緩衝區311,係將該各輸入影像(原影像),也供給至預測部322或迴圈內濾波器部320。
<演算部> 演算部312,係將處理單位之區塊所對應之影像I,及由預測部322而被供給之預測影像P,予以輸入,從影像I將預測影像P如以下的式所示般地進行減算,而導出預測殘差D,將其供給至正交轉換部313。
D = I - P
<正交轉換部> 正交轉換部313係進行係數轉換的相關處理。例如,正交轉換部313,係將從演算部312所被供給之預測殘差D,加以取得。又,正交轉換部313,係將從控制部301所被供給之轉換資訊Tinfo,加以取得。
正交轉換部313,係基於該轉換資訊Tinfo,來對預測殘差D進行正交轉換,將轉換係數Coeff予以導出。例如,正交轉換部313,係對預測殘差D進行初級轉換而生成初級轉換係數,對該初級轉換係數進行次級轉換而生成次級轉換係數。正交轉換部313,係將該所得到的次級轉換係數當作轉換係數Coeff而供給至量化部314。
此外,正交轉換係為係數轉換之一例,並不限定於此例。亦即,正交轉換部313係可對預測殘差D進行任意之係數轉換。順便一提,正交轉換部313,作為初級轉換及次級轉換,係皆可進行任意之係數轉換。
<量化部> 量化部314係進行量化的相關處理。例如,量化部314,係將從正交轉換部313所被供給之轉換係數Coeff,加以取得。又,量化部314,係將從控制部301所被供給之轉換資訊Tinfo,加以取得。再者,量化部314,係基於該轉換資訊Tinfo,而將轉換係數Coeff予以比例縮放(量化)。此外,此量化之方法係為任意。又,該量化之速率,係被速率控制部323所控制。量化部314,係將如此的量化所得到的量化後的轉換係數,亦即量化轉換係數等級level,供給至編碼部315及逆量化部317。
<編碼部> 編碼部315,係進行編碼的相關處理。例如,編碼部315,係將從量化部314所被供給之量化轉換係數等級level,加以取得。又,編碼部315,係將從控制部301所被供給之各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等),加以取得。再者,編碼部315,係將從迴圈內濾波器部320所被供給之濾波器係數等之濾波器之相關資訊,加以取得。又,編碼部315,係將從預測部322所被供給之最佳的預測模式之相關資訊,加以取得。
編碼部315,係將量化轉換係數等級level進行可變長度編碼(例如算術編碼),生成位元列(編碼資料)。又,編碼部315,係從該量化轉換係數等級level導出殘差資訊Rinfo,將殘差資訊Rinfo予以編碼,生成位元列。
編碼部315,係將迴圈內濾波器部320所被供給之濾波器之相關資訊,含入至濾波器資訊Finfo中。又,編碼部315,係將從預測部322所被供給之最佳的預測模式之相關資訊,含入至預測模式資訊Pinfo中。然後,編碼部315,係將上述的各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等)予以編碼,生成位元列。
編碼部315,係將如以上所被生成的各種資訊之位元列進行多工化,生成編碼資料。編碼部315,係將該編碼資料,供給至積存緩衝區316。
<積存緩衝區> 積存緩衝區316,係將編碼部315中所得到的編碼資料,予以暫時保持。積存緩衝區316,係在所定之時序上,將所保持的編碼資料,例如作為位元串流等而輸出至影像編碼裝置300之外部。例如,該編碼資料,係透過任意之記錄媒體、任意之傳輸媒體、任意之資訊處理裝置等,而被傳輸至解碼側。亦即,積存緩衝區316,係亦為將編碼資料(位元串流)予以傳輸的傳輸部。
<逆量化部> 逆量化部317係進行逆量化的相關處理。例如,逆量化部317,係將從量化部314所被供給之量化轉換係數等級level,加以取得。又,逆量化部317,係將從控制部301所被供給之轉換資訊Tinfo,加以取得。
逆量化部317,係基於該轉換資訊Tinfo,而將量化轉換係數等級level之值,予以比例縮放(逆量化)。此外,該逆量化,係為在量化部314中所被進行之量化的逆處理。逆量化部317,係將藉由如此的逆量化所得到的轉換係數Coeff_IQ,供給至逆正交轉換部318。
<逆正交轉換部> 逆正交轉換部318係進行逆係數轉換的相關處理。例如,逆正交轉換部318,係將從逆量化部317所被供給之轉換係數Coeff_IQ,加以取得。又,逆正交轉換部318,係將從控制部301所被供給之轉換資訊Tinfo,加以取得。
逆正交轉換部318,係基於該轉換資訊Tinfo,而對轉換係數Coeff_IQ進行逆正交轉換,導出預測殘差D’。此外,該逆正交轉換,係為在正交轉換部313中所被進行之正交轉換的逆處理。例如,逆正交轉換部318,係對轉換係數Coeff_IQ(次級轉換係數)進行逆次級轉換而生成初級轉換係數。又,逆正交轉換部318,係對該初級轉換係數進行逆初級轉換而生成預測殘差D’。此外,逆次級轉換,係為正交轉換部313中所被進行的次級轉換之逆處理。又,逆初級轉換,係為正交轉換部313中所被進行的初級轉換之逆處理。
逆正交轉換部318,係將藉由如此的逆正交轉換所得到的預測殘差D’,供給至演算部319。此外,逆正交轉換部318,係與解碼側的逆正交轉換部(後述)相同,因此關於逆正交轉換部318,係可適用針對解碼側所進行的說明(後述)。
<演算部> 演算部319,係將從逆正交轉換部318所被供給之預測殘差D’、與從預測部322所被供給之預測影像P,當作輸入。演算部319,係將該預測殘差D’、與該預測殘差D’所對應之預測影像P,進行加算,導出局部解碼影像Rlocal。演算部319,係將已導出之局部解碼影像Rlocal,供給至迴圈內濾波器部320及畫格記憶體321。
<迴圈內濾波器部> 迴圈內濾波器部320,係進行迴圈內濾波器處理的相關處理。例如,迴圈內濾波器部320,係將從演算部319所被供給之局部解碼影像Rlocal、和從控制部301所被供給之濾波器資訊Finfo、和從排序緩衝區311所被供給之輸入影像(原影像),當作輸入。此外,對迴圈內濾波器部320所被輸入的資訊係為任意,亦可輸入這些資訊以外之資訊。例如,亦可因應需要,而把預測模式、運動資訊、編碼量目標值、量化參數QP、圖像類型、區塊(CU、CTU等)之資訊等,輸入至迴圈內濾波器部320。
迴圈內濾波器部320,係基於該濾波器資訊Finfo,而對局部解碼影像Rlocal適宜地進行濾波器處理。迴圈內濾波器部320,係因應需要而也把輸入影像(原影像)、或該其他輸入資訊,用於該濾波器處理。
例如,迴圈內濾波器部320,係將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO(Sample Adaptive Offset))、及適應迴圈濾波器(ALF(Adaptive Loop Filter))這4個迴圈內濾波器,依其順序而做適用。此外,要適用哪個濾波器,要以何種順序做適用係為任意,可適宜地選擇。
當然,迴圈內濾波器部320所進行的濾波器處理係為任意,不限定於上述的例子。例如,迴圈內濾波器部320係亦可適用維納濾波器等。
迴圈內濾波器部320,係將已被濾波器處理過的局部解碼影像Rlocal,供給至畫格記憶體321。此外,例如將濾波器係數等之濾波器的相關資訊傳輸至解碼側的情況下,則迴圈內濾波器部320,係將該濾波器的相關資訊,供給至編碼部315。
<畫格記憶體> 畫格記憶體321,係進行關於影像之資料的記憶的相關處理。例如,畫格記憶體321,係將從演算部319所被供給之局部解碼影像Rlocal、或從迴圈內濾波器部320所被供給之已被濾波器處理過的局部解碼影像Rlocal,當作輸入,將其予以保持(記憶)。又,畫格記憶體321,係使用該局部解碼影像Rlocal而將每一圖像單位的解碼影像R予以重建,並保持之(儲存至畫格記憶體321內的緩衝區)。畫格記憶體321,係隨應於預測部322之要求,而將該解碼影像R(或其一部分),供給至預測部322。
<預測部> 預測部322,係進行預測影像之生成的相關處理。例如,預測部322,係將從控制部301所被供給之預測模式資訊Pinfo,加以取得。又,預測部322,係將從排序緩衝區311所被供給之輸入影像(原影像),加以取得。再者,預測部322,係將從畫格記憶體321所讀出的解碼影像R(或其一部分),加以取得。
預測部322,係使用預測模式資訊Pinfo或輸入影像(原影像)來進行畫面間預測或畫面內預測等之預測處理。亦即,預測部322係將解碼影像R當作參照影像而做參照並進行預測,將於該預測結果而進行運動補償處理,生成預測影像P。
預測部322,係將已生成之預測影像P,供給至演算部312及演算部319。又,預測部322,係將藉由以上之處理而選擇的預測模式,亦即最佳的預測模式的相關資訊,因應需要而供給至編碼部315。
<速率控制部> 速率控制部323,係進行速率控制的相關處理。例如,速率控制部323,係基於積存緩衝區316中所積存之編碼資料的編碼量,以不會發生溢位或下溢之方式,控制量化部314的量化動作之速率。
<LFNST識別元之編碼控制> 對於如以上之構成的影像編碼裝置300,可適用<1.LFNST識別元之訊令模態>中所說明的本技術。
例如,正交轉換部313,係進行LFNST來作為次級轉換,將LFNST識別元(lfnst_idx)當作次級轉換控制資訊(次級轉換識別元)而供給至編碼部315(箭頭331)。此外,正交轉換部313,係也將該LFNST識別元(lfnst_idx),供給至逆正交轉換部318(箭頭332)。
編碼部315,係具有編碼裝置100(圖11)的LFNST識別元編碼部101。該LFNST識別元編碼部101,係將從正交轉換部313所被供給之LFNST識別元,加以取得。LFNST識別元編碼部101,係將已取得之LFNST識別元予以編碼,生成位元列。編碼部315,係將該已生成之位元列與其他資訊的位元列進行多工化,生成編碼資料。編碼部315,係將該編碼資料,供給至積存緩衝區316。
又,LFNST識別元編碼部101,係將從控制部301作為轉換資訊Tinfo而被供給的,如圖11所示的LFNST識別元之編碼的控制中所被使用的各種參數,加以取得。例如,LFNST識別元編碼部101,係將treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等之參數,加以取得。這些參數,係為上述的非專利文獻(例如非專利文獻1)中所記載之參數。
然後,LFNST識別元編碼部101(亦即編碼部315),係使用這些參數,如<1.LFNST識別元之訊令模態>中所說明,來進行LFNST識別元(lfnst_idx)之編碼(訊令)的控制。
例如,編碼部315,係適用上述的方法1,來進行該LFNST識別元之編碼的控制。亦即,編碼部315,係在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
例如,編碼部315,係依照圖4所示的語法表,來控制LFNST識別元之編碼。此外,亦可設計成,編碼部315,係依照圖6所示的語法表,來控制LFNST識別元之編碼。藉由依照這些語法表,編碼部315,係如圖3所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
此外,編碼部315,係亦可適用上述的方法2,來進行該LFNST識別元之編碼的控制。亦即,編碼部315,係亦可在影像編碼時的有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以省略;若至少1個分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
藉由如此設計,編碼部315,係如圖8所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,編碼部315,係亦可適用上述的方法3,來進行該LFNST識別元之編碼的控制。亦即,編碼部315係亦可為,影像編碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以省略;若至少1個分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
藉由如此設計,編碼部315,係如圖9所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,編碼部315,係亦可適用上述的方法4,來進行該LFNST識別元之編碼的控制。亦即,編碼部315係亦可為,影像編碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若至少1個分量的轉換略過旗標為真,則將次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
藉由如此設計,編碼部315,係如圖10所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元之編碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
無論在適用方法1乃至方法4之中任一方法的情況下,編碼部315,係皆可在樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,將該LFNST識別元之訊令予以略過。因此,影像編碼裝置300係可抑制編碼效率的降低。
<構成例> 此外,這些處理部(控制部301、排序緩衝區311乃至速率控制部323),係具有任意之構成。例如,各處理部亦可藉由,實現上述處理的邏輯電路,而被構成。又,亦可為,各處理部係具有例如CPU、ROM、RAM等,藉由使用它們來執行程式,以實現上述的處理。當然,亦可為,各處理部係具有該雙方之構成,上述之處理的一部分是以邏輯電路來加以實現,其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立,例如亦可為,一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現,另一部分之處理部是藉由執行程式而實現上述處理,再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
<影像編碼處理的流程> 接著,將如以上之構成的影像編碼裝置300所執行的影像編碼處理的流程之例子,參照圖16的流程圖來加以說明。
影像編碼處理一旦開始,則於步驟S301中,排序緩衝區311,係被控制部301所控制,將已被輸入之動態影像資料之畫格的順序,從顯示順序排序成編碼順序。
於步驟S302中,控制部301,係對排序緩衝區311所保持的輸入影像,設定處理單位(進行區塊分割)。
於步驟S303中,控制部301,係針對排序緩衝區311所保持的輸入影像而將編碼參數予以決定(設定)。
於步驟S304中,預測部322係進行預測處理,生成最佳的預測模式之預測影像等。例如,於該預測處理中,預測部322,係進行畫面內預測而生成最佳的畫面內預測模式之預測影像等,並進行畫面間預測而生成最佳的畫面間預測模式之預測影像等,從這些之中,基於成本函數值等而選擇出最佳的預測模式。
於步驟S305中,演算部312係演算,輸入影像、與藉由步驟S304之預測處理而被選擇之最佳的模式之預測影像的差分。亦即,演算部312,係生成輸入影像與預測影像的預測殘差D。如此而被求出的預測殘差D,係相較於原始的影像資料,資料量是被較為降低。因此,相較於把影像直接進行編碼的情形,可壓縮資料量。
於步驟S306中,正交轉換部313,係對藉由步驟S305之處理而被生成之預測殘差D進行正交轉換處理,導出轉換係數Coeff。例如,正交轉換部313,係對預測殘差D進行初級轉換而生成初級轉換係數,對該初級轉換係數進行次級轉換而生成次級轉換係數(轉換係數Coeff)。
於步驟S307中,量化部314,係使用已被控制部301所算出之量化參數等,將步驟S306之處理所得到的轉換係數Coeff予以量化,導出量化轉換係數等級level。
於步驟S308中,逆量化部317,係將步驟S307之處理所生成的量化轉換係數等級level,以該步驟S307之量化之特性所對應之特性進行逆量化,導出轉換係數Coeff_IQ。
於步驟S309中,逆正交轉換部318,係將步驟S308之處理所得到的轉換係數Coeff_IQ,以步驟S306之正交轉換處理所對應之方法進行逆正交轉換,導出預測殘差D’。例如,逆正交轉換部318,係對轉換係數Coeff_IQ (次級轉換係數)進行逆次級轉換而生成初級轉換係數。又,逆正交轉換部318,係對該初級轉換係數進行逆初級轉換而生成預測殘差D’。
此外,該逆正交轉換處理,係與在解碼側所被進行之逆正交轉換處理相同。因此,關於該步驟S309的逆正交轉換處理,係可適用後述的針對解碼側之說明。
於步驟S310中,演算部319,係對藉由步驟S309之處理而被導出之預測殘差D’,加算藉由步驟S304之預測處理而得到的預測影像,以生成已被局部性解碼的解碼影像。
於步驟S311中,迴圈內濾波器部320,係對藉由步驟S310之處理而被導出的,已被局部性解碼的解碼影像,進行迴圈內濾波器處理。
於步驟S312中,畫格記憶體321係將,藉由步驟S310之處理而被導出的,已被局部性解碼的解碼影像、或於步驟S311中已被濾波器處理過的,已被局部性解碼的解碼影像,加以記憶。
於步驟S313中,編碼部315,係將藉由步驟S307之處理所得到的量化轉換係數等級level,予以編碼。例如,編碼部315,係將影像的相關資訊也就是量化轉換係數等級level,以算術編碼等進行編碼,生成編碼資料。又,此時,編碼部315係將各種編碼參數(標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo),予以編碼。然後,編碼部315,係從量化轉換係數等級level導出殘差資訊RInfo,將該殘差資訊RInfo予以編碼。
於步驟S314中,積存緩衝區316,係將如此而獲得的編碼資料予以積存,例如作為位元串流,將其輸出至影像編碼裝置300之外部。該位元串流係例如,透過傳輸路或記錄媒體而被傳輸至解碼側。又,速率控制部323,係因應需要而進行速率控制。
一旦步驟S314的處理結束,則影像編碼處理就結束。
<LFNST識別元之編碼控制> 對於如以上之流程的影像編碼處理,可適用<1.LFNST識別元之訊令模態>中所說明的本技術。
例如,於步驟S306中,正交轉換部313,係進行LFNST來作為次級轉換。正交轉換部313,作為關於該次級轉換(LFNST)的次級轉換控制資訊(次級轉換識別元),是生成LFNST識別元(lfnst_idx)。
於步驟S313中,編碼部315(的LFNST識別元編碼部101),係將該LFNST識別元予以編碼。此時,編碼部315,係基於轉換資訊Tinfo,來控制該LFNST識別元之編碼。亦即,編碼部315,作為步驟S313的處理之1者,是進行圖12的流程圖所示的編碼處理。
例如,於步驟S101中,編碼部315,係基於轉換資訊Tinfo中所含之上述的各種參數,而將LFNST識別元的編碼條件condition予以導出。於步驟S102中,編碼部315係判定是否滿為該編碼條件condition。在該編碼條件condition被判定為真的情況下,編碼部315,係於步驟S103中,將LFNST識別元予以編碼,生成位元列。編碼部315,係將該已生成之位元列與其他資訊的位元列進行多工化,生成編碼資料。亦即,此情況下,LFNST識別元係被訊令。
又,於步驟S102中,若步驟S101中所導出的編碼條件condition被判定為偽的情況下,則編碼部315係於步驟S104中,將LFNST識別元之編碼予以略過(省略)。亦即,此情況下,LFNST識別元的位元列係不被生成。亦即,LFNST識別元係不被訊令。
於如以上的編碼處理中,編碼部315(的LFNST識別元編碼部101)係適用例如,於<1.LFNST識別元之訊令模態>中所上述的方法1。亦即,編碼部315,係在影像編碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略;若所有分量的轉換略過旗標為偽,則將次級轉換控制資訊予以編碼。
此情況下,編碼部315,係於步驟S101中,將圖5所示的變數NonTsUsed予以導出,使用該已導出之變數NonTsUsed,而將圖5所示的編碼條件condition予以導出。此外,編碼部315,係亦可將圖7所示的變數TsUsed予以導出,使用該已導出之變數TsUsed,而將圖7所示的編碼條件condition予以導出。又,編碼部315,係亦可適用方法2乃至方法4之其中任一者,來導出編碼條件condition。
藉由如此執行影像編碼處理,編碼部315,係無論在適用方法1乃至方法4之其中哪一方法的情況下,當樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真時,都可將該LFNST識別元之訊令予以略過。因此,影像編碼裝置300係可抑制編碼效率的降低。
<補充> 此外,影像編碼裝置300,係可適用任意之係數轉換來作為次級轉換。因此,編碼部315,係不限於LFNST識別元之例子,可將任意之次級轉換識別元(任意之次級轉換控制資訊)予以編碼。又,上述的方法1乃至方法4,係可將其一部或全部做適宜組合而適用。
<5.第4實施形態> <影像解碼裝置> 圖17係適用了本技術的影像處理裝置之一態樣的影像解碼裝置之構成之一例的區塊圖。圖17所示的影像解碼裝置400,係為將動態影像之編碼資料予以編碼的裝置。例如,影像解碼裝置400,係可以用上述任一非專利文獻中所記載之解碼方式,而將編碼資料予以解碼。例如,影像解碼裝置400,係將上述的影像編碼裝置300所生成的編碼資料(位元串流),予以解碼。
此外,於圖17中係主要表示處理部(區塊)或資料的流向等,圖17所示者並非全部。亦即,於影像解碼裝置400中,亦可存在有於圖17中未以區塊而被表示的處理部,亦可存在有於圖17中未以箭頭等而表示的處理或資料之流向。
於圖17中,影像解碼裝置400係具備:積存緩衝區411、解碼部412、逆量化部413、逆正交轉換部414、演算部415、迴圈內濾波器部416、排序緩衝區417、畫格記憶體418、及預測部419。此外,預測部419係具備未圖示的畫面內預測部、及畫面間預測部。影像解碼裝置400係為,藉由將編碼資料(位元串流)予以解碼,以生成動態影像資料所需之裝置。
<積存緩衝區> 積存緩衝區411,係將已被輸入至影像解碼裝置400的位元串流加以取得,並予以保持(記憶)。積存緩衝區411,係在所定之時序上、或所定之條件達成等情況下,將所積存的位元串流供給至解碼部412。
<解碼部> 解碼部412,係進行關於影像所相關之解碼的處理。例如,解碼部412,係將從積存緩衝區411所被供給之位元串流,加以取得。又,解碼部412,係依照語法表的定義,從該位元列,將各語法要素之語法值進行可變長度解碼,並將參數予以導出。
從語法要素及語法要素之語法值所被導出的參數中係包含有例如:標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、殘差資訊Rinfo、濾波器資訊Finfo等之資訊。亦即,解碼部412,係從位元串流,將這些資訊進行剖析(進行解析並取得之)。關於這些資訊,說明如下。
<標頭資訊Hinfo> 標頭資訊Hinfo係含有例如:VPS(Video Parameter Set)/SPS(Sequence Parameter Set)/PPS(Picture Parameter Set)/SH(切片標頭)等之標頭資訊。標頭資訊Hinfo中係含有例如:將影像尺寸(橫幅PicWidth、縱幅PicHeight)、位元深度(亮度bitDepthY、色差bitDepthC)、色差陣列類型ChromaArrayType、CU尺寸之最大值MaxCUSize/最小值MinCUSize、4分樹分割(亦稱為Quad-tree分割)之最大深度MaxQTDepth/最小深度MinQTDepth、2分樹分割(Binary-tree分割)之最大深度MaxBTDepth/最小深度MinBTDepth、轉換略過區塊之最大值MaxTSSize(亦稱為最大轉換略過區塊尺寸)、各編碼工具的開啟關閉旗標(亦稱為有效旗標)等予以規定的資訊。
例如,作為標頭資訊Hinfo中所含之編碼工具的開啟關閉旗標,係有以下所示的涉及轉換、量化處理的開啟關閉旗標。此外,編碼工具的開啟關閉旗標,係亦可解釋成,表示該編碼工具所涉及之語法是否存在於編碼資料中的旗標。又,開啟關閉旗標之值為1(真)的情況下,表示該編碼工具是可使用,開啟關閉旗標之值為0(偽)的情況下,表示該編碼工具是不可使用。此外,旗標值的解釋亦可顛倒。
例如,在標頭資訊Hinfo中係可含有分量間預測有效旗標(ccp_enabled_flag)。分量間預測有效旗標,係為表示分量間預測(CCP(Cross-Component Prediction),亦稱為CC預測)是否為可使用的旗標資訊。例如,該旗標資訊為「1」(真)的情況下,表示可使用,為「0」(偽)的情況下,表示不可使用。
此外,該CCP,係亦稱為分量間線性預測(CCLM或CCLMP)。
<預測模式資訊Pinfo> 預測模式資訊Pinfo中係含有例如;處理對象PB(預測區塊)之尺寸資訊PBSize(預測區塊尺寸)、畫面內預測模式資訊IPinfo、運動預測資訊MVinfo等之資訊。
畫面內預測模式資訊IPinfo中係含有例如:JCTVC-W1005, 7.3.8.5 Coding Unit syntax中的prev_intra_ luma_pred_flag、mpm_idx, rem_intra_pred_mode、及從該語法所被導出的亮度畫面內預測模式IntraPredModeY等。
又,畫面內預測模式資訊IPinfo中係可含有例如:分量間預測旗標(ccp_flag(cclmp_flag))。分量間預測旗標(ccp_flag(cclmp_flag)),係為表示是否適用分量間線性預測的旗標資訊。例如,ccp_flag==1時,表示要適用分量間預測,ccp_flag==0時,表示不適用分量間預測。
又,畫面內預測模式資訊IPinfo中係可含有例如:多級別線性預測模式旗標(mclm_flag)。多級別線性預測模式旗標(mclm_flag),係為線性預測之模式的相關資訊(線性預測模式資訊)。更具體而言,多級別線性預測模式旗標(mclm_flag),係為表示是否設成多級別線性預測模式的旗標資訊。例如,「0」的情況是表示1級別模式(單一級別模式)(例如CCLMP),「1」的情況是表示2級別模式(多級別模式)(例如MCLMP)。
再者,畫面內預測模式資訊IPinfo中係可含有色差樣本位置類型識別元(chroma_sample_loc_type_ idx)。色差樣本位置類型識別元(chroma_sample_loc_type_ idx),係為用來識別色差分量的像素位置之類型(亦稱為色差樣本位置類型)的識別元。例如色格式的相關資訊也就是色差陣列類型(ChromaArrayType)是表示420形式的情況下,色差樣本位置類型識別元,係採取如以下的式的指派方式。
chroma_sample_loc_type_idx == 0:Type2 chroma_sample_loc_type_idx == 1:Type3 chroma_sample_loc_type_idx == 2:Type0 chroma_sample_loc_type_idx == 3:Type1
此外,該色差樣本位置類型識別元(chroma_ sample_loc_type_idx),係作為色差分量之像素位置的相關資訊(chroma_sample_loc_info())(被儲存在色差分量之像素位置之相關資訊中)而被傳輸。
又,畫面內預測模式資訊IPinfo中係可含有色差MPM識別元(chroma_mpm_idx)。色差MPM識別元(chroma_mpm_idx),係為表示要將色差畫面內預測模式候補清單(intraPredModeCandListC)之中的哪個預測模式候補指定作為色差畫面內預測模式的識別元。
再者,畫面內預測模式資訊IPinfo中係可含有,從這些語法而被導出的亮度畫面內預測模式(IntraPredModeC)。
運動預測資訊MVinfo中係含有例如:merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0,1}、mvd等之資訊(例如參照JCTVC-W1005, 7.3.8.6 Prediction Unit Syntax)。
當然,預測模式資訊Pinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<轉換資訊Tinfo> 轉換資訊Tinfo中係可含有例如:處理對象轉換區塊之橫幅尺寸TBWSize及縱幅TBHSize。此外,亦可取代該處理對象轉換區塊之橫幅尺寸TBWSize,改為適用以2為底的對數值log2TBWSize。又,亦可取代該處理對象轉換區塊之縱幅TBHSize,改為適用以2為底的對數值log2TBHSize。
又,轉換資訊Tinfo中係可含有轉換略過旗標(transform_skip_flag(或ts_flag))。該轉換略過旗標,係為表示是否要將係數轉換(或逆係數轉換)予以略過的旗標。此外,該轉換略過旗標,係亦可按照Y,Cb,Cr之每一分量而被訊令(transform_skip_flag[0]、transform_skip_ flag[1]、transform_skip_flag[2])。
再者,轉換資訊Tinfo中係可含有:掃描識別元(scanIdx)、量化參數(qp)、量化矩陣(scaling_matrix (例如JCTVC-W1005, 7.3.4 Scaling list data syntax))等之參數。
當然,轉換資訊Tinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<殘差資訊Rinfo> 殘差資訊Rinfo(例如參照JCTVC-W1005的7.3.8.11 Residual Coding syntax)中係可含有例如:殘差資料有無旗標(cbf(coded_block_flag))。又,殘差資訊Rinfo中係可含有最後非零係數X座標(last_sig_coeff_x_pos)或最後非零係數Y座標(last_sig_coeff_y_pos)。再者,殘差資訊Rinfo中係可含有子區塊非零係數有無旗標(coded_sub_block_ flag)或非零係數有無旗標(sig_coeff_flag)。
又,殘差資訊Rinfo中係可含有:表示非零係數之等級是否大於1的旗標也就是GR1旗標(gr1_flag)、或表示非零係數之等級是否大於2的旗標也就是GR2旗標(gr2_flag)。再者,殘差資訊Rinfo中係可含有,表示非零係數之正負的符號也就是標誌符號(sign_flag)。又,殘差資訊Rinfo中係可含有,非零係數之殘餘等級也就是非零係數殘餘等級(coeff_abs_level_remaining)。
當然,殘差資訊Rinfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
<濾波器資訊Finfo> 濾波器資訊Finfo中係含有濾波器處理之相關控制資訊。例如,濾波器資訊Finfo中係可含有去區塊濾波器(DBF)之相關控制資訊。又,濾波器資訊Finfo中係可含有,像素適應偏置(SAO)之相關控制資訊。再者,濾波器資訊Finfo中係可含有適應迴圈濾波器(ALF)之相關控制資訊。又,濾波器資訊Finfo中係可含有其他的線性、非線性濾波器之相關控制資訊。
例如,濾波器資訊Finfo中係可含有:要適用各濾波器的圖像、或用來指定圖像內之領域的資訊。又,濾波器資訊Finfo中係可含有CU單位之濾波器On/Off控制資訊。再者,濾波器資訊Finfo中係可含有,關於切片或瓷磚之交界的濾波器On/Off控制資訊。
當然,濾波器資訊Finfo中所含之資訊係為任意,亦可含有這些資訊以外之資訊。
回到解碼部412之說明。解碼部412,係參照殘差資訊Rinfo,將各轉換區塊內的各係數位置的量化轉換係數等級level予以導出。解碼部412,係將該量化轉換係數等級level,供給至逆量化部413。
又,解碼部412,係將已剖析之標頭資訊Hinfo、預測模式資訊Pinfo、量化轉換係數等級level、轉換資訊Tinfo、濾波器資訊Finfo,供給至各區塊。具體而言係如以下所述。
標頭資訊Hinfo,係被供給至逆量化部413、逆正交轉換部414、預測部419、迴圈內濾波器部416。預測模式資訊Pinfo,係被供給至逆量化部413及預測部419。轉換資訊Tinfo,係被供給至逆量化部413及逆正交轉換部414。濾波器資訊Finfo,係被供給至迴圈內濾波器部416。
當然,上述的例子係為一例,並非限定於此例。例如,各編碼參數亦可被供給至任意之處理部。又,其他資訊亦可被供給至任意之處理部。
<逆量化部> 逆量化部413係進行逆量化的相關處理。例如,逆量化部413,係將從解碼部412所被供給之轉換資訊Tinfo及量化轉換係數等級level,加以取得。又,逆量化部413,係基於該轉換資訊Tinfo,而將量化轉換係數等級level之值進行比例縮放(逆量化),將逆量化後的轉換係數Coeff_IQ予以導出。
此外,該逆量化,係作為影像編碼裝置300的量化部314所致之量化的逆處理,而被進行。又,該逆量化,係為與影像編碼裝置300的逆量化部317所致之逆量化相同的處理。換言之,逆量化部317,係進行與逆量化部413相同的處理(逆量化)。
逆量化部413,係將已導出之轉換係數Coeff_IQ,供給至逆正交轉換部414。
<逆正交轉換部> 逆正交轉換部414,係進行逆正交轉換的相關處理。例如,逆正交轉換部414,係將從逆量化部413所被供給之轉換係數Coeff_IQ,加以取得。又,逆正交轉換部414,係將從解碼部412所被供給之轉換資訊Tinfo,加以取得。
逆正交轉換部414,係基於該轉換資訊Tinfo,而對轉換係數Coeff_IQ進行逆正交轉換處理,導出預測殘差D’。例如,逆正交轉換部414,係對轉換係數Coeff_IQ進行逆次級轉換而生成初級轉換係數,對該初級轉換係數進行初級轉換,生成預測殘差D’。
此外,該逆正交轉換,係作為影像編碼裝置300的正交轉換部313所致之正交轉換的逆處理,而被進行。又,該逆正交轉換,係為與影像編碼裝置300的逆正交轉換部318所致之逆正交轉換相同的處理。換言之,逆正交轉換部318,係進行與逆正交轉換部414相同的處理(逆正交轉換)。
逆正交轉換部414,係將已導出之預測殘差D’,供給至演算部415。
<演算部> 演算部415,係進行影像的相關資訊之加算的相關處理。例如,演算部415,係將從逆正交轉換部414所被供給之預測殘差D’,加以取得。又,演算部415,係將從預測部419所被供給之預測影像P,加以取得。演算部415,係如以下的式所示般地,將預測殘差D’與該預測殘差D’所對應之預測影像P(預測訊號)進行加算,將局部解碼影像Rlocal予以導出。
Rlocal = D’ + P
演算部415,係將已導出之局部解碼影像Rlocal,供給至迴圈內濾波器部416及畫格記憶體418。
<迴圈內濾波器部> 迴圈內濾波器部416,係進行迴圈內濾波器處理的相關處理。例如,迴圈內濾波器部416,係將從演算部415所被供給之局部解碼影像Rlocal,加以取得。又,迴圈內濾波器部416,係將從解碼部412所被供給之濾波器資訊Finfo,加以取得。此外,對迴圈內濾波器部416所被輸入的資訊係為任意,亦可輸入這些資訊以外之資訊。
迴圈內濾波器部416,係基於該濾波器資訊Finfo,而對局部解碼影像Rlocal適宜地進行濾波器處理。例如,迴圈內濾波器部416,係將雙邊濾波器、去區塊濾波器(DBF(DeBlocking Filter))、適應偏置濾波器(SAO (Sample Adaptive Offset))、及適應迴圈濾波器(ALF (Adaptive Loop Filter))這4個迴圈內濾波器,依其順序而做適用。此外,要適用哪個濾波器,要以何種順序做適用係為任意,可適宜地選擇。
迴圈內濾波器部416,係進行編碼側(例如影像編碼裝置300的迴圈內濾波器部320)所進行之濾波器處理所對應之濾波器處理。當然,迴圈內濾波器部416所進行的濾波器處理係為任意,不限定於上述的例子。例如,迴圈內濾波器部416係亦可適用維納濾波器等。
迴圈內濾波器部416,係將已被濾波器處理過的局部解碼影像Rlocal,供給至排序緩衝區417及畫格記憶體418。
<排序緩衝區> 排序緩衝區417,係將從迴圈內濾波器部416所被供給之局部解碼影像Rlocal當作輸入,並將其予以保持(記憶)。排序緩衝區417,係使用該局部解碼影像Rlocal而將每一圖像單位之解碼影像R予以重建,並保持之(儲存在緩衝區內)。排序緩衝區417,係將所得到的解碼影像R,從解碼順序排序成再生順序。排序緩衝區417,係已排序之解碼影像R群,當作動態影像資料而輸出至影像解碼裝置400之外部。
<畫格記憶體> 畫格記憶體418,係進行關於影像之資料的記憶的相關處理。例如,畫格記憶體418,係將從演算部415所被供給之局部解碼影像Rlocal,加以取得。然後,畫格記憶體418,係使用該局部解碼影像Rlocal,來重建每一圖像單位的解碼影像R。畫格記憶體418,係將已重建之解碼影像R,儲存至畫格記憶體418內的緩衝區。
又,畫格記憶體418,係將從迴圈內濾波器部416所被供給之,已被迴圈內濾波器處理過的局部解碼影像Rlocal,加以取得。然後,畫格記憶體418,係使用該已被迴圈內濾波器處理過的局部解碼影像Rlocal,來重建每一圖像單位的解碼影像R。畫格記憶體418,係將已重建之解碼影像R,儲存至畫格記憶體418內的緩衝區。
然後,畫格記憶體418,係適宜將其記憶的解碼影像R(或其一部分),當作參照影像而供給至預測部419。
此外,畫格記憶體418亦可將解碼影像之生成所涉及的標頭資訊Hinfo、預測模式資訊Pinfo、轉換資訊Tinfo、濾波器資訊Finfo等,加以記憶。
<預測部> 預測部419,係進行預測影像之生成的相關處理。例如,預測部419,係將從解碼部412所被供給之預測模式資訊Pinfo,加以取得。又,預測部419,係使用藉由該預測模式資訊Pinfo而被指定的預測方法來進行預測,將預測影像P予以導出。該導出之際,預測部419,係將藉由該預測模式資訊Pinfo而被指定的,已被儲存在畫格記憶體418中的解碼影像R(或其一部分),當作參照影像而利用。該解碼影像R,係可為濾波器處理前,也可為濾波器處理後。預測部419,係將已導出之預測影像P,供給至演算部415。
<LFNST識別元之編碼控制> 對於如以上之構成的影像編碼裝置300,可適用<1.LFNST識別元之訊令模態>中所說明的本技術。
例如,逆正交轉換部414,係進行LFNST之逆處理來作為逆次級轉換。此時,逆正交轉換部414,係將從解碼部412作為次級轉換控制資訊(次級轉換識別元)而被供給的LFNST識別元(lfnst_idx),加以取得(箭頭431)。然後,逆正交轉換部414,係依照該LFNST識別元,來進行逆次級轉換。
亦即,解碼部412,係將該LFNST識別元(lfnst_idx),供給至逆正交轉換部414(箭頭431)。解碼部412,係具有解碼裝置200(圖13)的LFNST識別元解碼部201。例如,在LFNST識別元已被訊令的情況下,LFNST識別元解碼部201,係將位元串流予以解碼而生成該LFNST識別元,供給至逆正交轉換部414。在LFNST識別元未被訊令的情況下,LFNST識別元解碼部201,係將LFNST識別元所相關之解碼予以省略,並且將其值推定為「0」,將值「0」之LFNST識別元,供給至逆正交轉換部414。
此時,LFNST識別元解碼部201,係基於已被訊令之轉換資訊Tinfo,來判定LFNST識別元是否已被訊令(是否要進行LFNST識別元所相關之解碼)。例如,解碼部412,係將位元串流予以解碼而生成轉換資訊Tinfo。LFNST識別元解碼部201,係將該轉換資訊Tinfo中所含之,LFNST識別元所相關之解碼中所利用的各種參數,加以取得。例如,LFNST識別元解碼部201,係將treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等之參數,加以取得。這些參數,係為上述的非專利文獻(例如非專利文獻1)中所記載之參數。
解碼部412,係藉由將位元串流予以解碼,而生成這些參數。然後,LFNST識別元解碼部201,係使用這些參數,如<1.LFNST識別元之訊令模態>中所說明,來進行LFNST識別元(lfnst_idx)之解碼的控制。
例如,解碼部412,係適用上述的方法1,來進行該LFNST識別元所相關之解碼的控制。亦即,解碼部412,係在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為表示次級轉換之略過的所定之值;若所有分量的轉換略過旗標為偽,則將位元串流予以解碼而生成次級轉換控制資訊。
例如,解碼部412,係依照圖4所示的語法表,來控制LFNST識別元所相關之解碼。此外,亦可設計成,解碼部412,係依照圖6所示的語法表,來控制LFNST識別元所相關之解碼。藉由依照這些語法表,解碼部412,係如圖3所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
此外,解碼部412,係亦可適用上述的方法2,來進行該LFNST識別元所相關之解碼的控制。亦即,解碼部412,係亦可在影像解碼時的有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為「0」。又,解碼部412,係亦可在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為偽,則進行次級轉換控制資訊所相關之解碼。
藉由如此設計,解碼部412,係如圖8所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,解碼部412,係亦可適用上述的方法3,來進行該LFNST識別元所相關之解碼的控制。亦即,解碼部412係亦可為,影像解碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若所有分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以略過(省略),並且推定該次級轉換控制資訊之值為「0」。又,解碼部412,係亦可在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為偽,則進行次級轉換控制資訊所相關之解碼。
藉由如此設計,解碼部412,係如圖9所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
又,解碼部412,係亦可適用上述的方法4,來進行該LFNST識別元所相關之解碼的控制。亦即,解碼部412係亦可為,影像解碼之樹類型為雙樹色度,且於該雙樹色度中在有效分量之內,若至少1個分量的轉換略過旗標為真,則將次級轉換控制資訊所相關之解碼予以省略,並且推定該次級轉換控制資訊之值為「0」。又亦可為,若所有分量的轉換略過旗標為偽,則解碼部412係進行次級轉換控制資訊所相關之解碼。
藉由如此設計,解碼部412,係如圖10所示的表般地,可隨應於樹類型與轉換略過旗標來控制LFNST識別元所相關之解碼。各樹類型下的控制方法係如同<1.LFNST識別元之訊令模態>中所上述。
無論在適用方法1乃至方法4之中任一方法的情況下,解碼部412,係皆可在樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真的情況下,將該LFNST識別元所相關之解碼予以略過。因此,影像解碼裝置400係可抑制編碼效率的降低。
<構成例> 此外,這些處理部(積存緩衝區411乃至預測部419),係具有任意之構成。例如,各處理部亦可藉由,實現上述處理的邏輯電路,而被構成。又,亦可為,各處理部係具有例如CPU、ROM、RAM等,藉由使用它們來執行程式,以實現上述的處理。當然,亦可為,各處理部係具有該雙方之構成,上述之處理的一部分是以邏輯電路來加以實現,其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立,例如亦可為,一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現,另一部分之處理部是藉由執行程式而實現上述處理,再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
<影像解碼處理的流程> 接著,將如以上之構成的影像解碼裝置400所執行的影像解碼處理的流程之例子,參照圖18的流程圖來加以說明。
影像解碼處理一旦開始,則積存緩衝區411,係於步驟S401中,將從影像解碼裝置400之外部所被供給之編碼資料(位元串流)加以取得並保持(積存)。
於步驟S402中,解碼部412,係將該編碼資料(位元串流)予以解碼,獲得量化轉換係數等級level。又,解碼部412,係藉由該解碼,而從編碼資料(位元串流)中將各種編碼參數予以剖析(進行解析並取得之)。
於步驟S403中,逆量化部413,係對藉由步驟S402之處理所得到的量化轉換係數等級level,進行編碼側中所被進行之量化的逆處理也就是逆量化,獲得轉換係數Coeff_IQ。
於步驟S404中,逆正交轉換部414,係對步驟S403中所得到的轉換係數Coeff_IQ,進行編碼側中所被進行之正交轉換處理的逆處理也就是逆正交轉換處理,獲得預測殘差D’。例如,逆正交轉換部414,係對轉換係數Coeff_IQ(次級轉換係數)進行逆次級轉換而生成初級轉換係數,對該初級轉換係數進行逆初級轉換而生成預測殘差D’。
於步驟S405中,預測部419,係基於步驟S402中所被剖析出來的資訊,以被編碼側所指定之預測方法執行預測處理,參照畫格記憶體418中所被記憶的參照影像等,而生成預測影像P。
於步驟S406中,演算部415,係將步驟S404中所得到的預測殘差D’、與步驟S405中所得到的預測影像P進行加算,導出局部解碼影像Rlocal。
於步驟S407中,迴圈內濾波器部416,係對藉由步驟S406之處理所得到的局部解碼影像Rlocal,進行迴圈內濾波器處理。
於步驟S408中,排序緩衝區417,係使用藉由步驟S407之處理所得到的已被濾波器處理過的局部解碼影像Rlocal而導出解碼影像R,將該解碼影像R群之順序,從解碼順序排序成再生順序。已被排序成再生順序的解碼影像R群,係作為動態影像而被輸出至影像解碼裝置400之外部。
又,於步驟S409中,畫格記憶體418,係將藉由步驟S406之處理所得到的局部解碼影像Rlocal、及藉由步驟S407之處理所得到的濾波器處理後的局部解碼影像Rlocal之中的至少一方,加以記憶。
一旦步驟S409之處理結束,則影像解碼處理就結束。
<LFNST識別元所相關之解碼控制> 對於如以上之流程的影像解碼處理,可適用<1.LFNST識別元之訊令模態>中所說明的本技術。例如,於步驟S402中,解碼部412(的LFNST識別元解碼部201),係將位元串流予以解碼而生成LFNST識別元。然後,逆正交轉換部414,係於步驟S404中,依照該LFNST識別元,來進行逆次級轉換。
此時,解碼部412,係基於轉換資訊Tinfo而控制該LFNST識別元所相關之解碼。亦即,解碼部412,作為步驟S402的處理之1者,是進行圖14的流程圖所示的解碼處理。
例如,於步驟S201中,解碼部412,係基於轉換資訊Tinfo中所含之上述的各種參數,而將LFNST識別元的解碼條件condition予以導出。於步驟S202中,解碼部412係判定是否滿為該解碼條件condition。在該解碼條件condition被判定為真的情況下,由於LFNST識別元已被訊令,因此解碼部412係於步驟S203中,將位元串流予以解碼,獲得該已被訊令之LFNST識別元(lfnst_idx)。
又,於步驟S202中,在步驟S201中所導出的解碼條件condition被判定為偽的情況下,由於LFNST識別元未被訊令,因此解碼部412係步驟S204中,將LFNST識別元(lfnst_idx)所相關之解碼予以略過(省略)。亦即,在不滿足解碼條件condition的情況下,解碼部412,係將LFNST識別元(lfnst_idx)所相關之解碼予以略過,並且推定該LFNST識別元之值為「0」(lfnst_idx = 0)。
於如以上的解碼處理中,解碼部412(的LFNST識別元解碼部201)係適用例如,於<1.LFNST識別元之訊令模態>中所上述的方法1。亦即,解碼部412,係在影像解碼時的有效分量之內,若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略;若所有分量的轉換略過旗標為偽,則進行次級轉換控制資訊所相關之解碼。
此情況下,解碼部412,係於步驟S201中,將圖5所示的變數NonTsUsed予以導出,使用該已導出之變數NonTsUsed,而將圖5所示的編碼條件condition予以導出。此外,解碼部412,係亦可將圖7所示的變數TsUsed予以導出,使用該已導出之變數TsUsed,而將圖7所示的編碼條件condition予以導出。又,解碼部412,係亦可適用方法2乃至方法4之其中任一者,來導出編碼條件condition。
藉由如此執行影像解碼處理,元解碼部412,係無論在適用方法1乃至方法4之其中哪一方法的情況下,當樹類型為雙樹色度(DUAL_TREE_CHROMA),且影像的Cb成分與Cr成分之雙方的轉換略過旗標為真時,都可將該LFNST識別元所相關之解碼予以略過。因此,影像解碼裝置400係可抑制編碼效率的降低。
<補充> 此外,影像解碼裝置400,係可適用任意之逆係數轉換,來作為逆次級轉換。因此,解碼部412,係不限於LFNST識別元之例子,亦可進行任意之次級轉換識別元(任意之次級轉換控制資訊)所相關之解碼。又,上述的方法1乃至方法4,係可將其一部或全部做適宜組合而適用。
<6.附記> <電腦> 上述之一連串之處理,係可藉由硬體來執行,亦可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖19係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖19所示的電腦800中,CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM (Random Access Memory)803,係透過匯流排804而被彼此連接。
匯流排804,係還連接著輸出入介面810。輸出入介面810上係連接有:輸入部811、輸出部812、記憶部813、通訊部814、及驅動機815。
輸入部811,係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部812係由例如顯示器、揚聲器、輸出端子等所成。記憶部813,係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部814係由例如網路介面所成。驅動機815係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體821。
在如以上構成的電腦中,藉由CPU801而例如將記憶部813中所記憶之程式,透過輸出入介面810及匯流排804,而載入至RAM803裡並加以執行,就可進行上述一連串處理。RAM803中,還適宜地記憶著CPU801在執行各種處理時所必需的資料等。
電腦所執行的程式,係可記錄在例如封裝媒體等之可移除式媒體821中而適用。此情況下,程式係藉由將可移除式媒體821裝著至驅動機815,就可透過輸出入介面810,安裝至記憶部813。
又,該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況,程式,係可以通訊部814而接收之,並安裝至記憶部813。
除此以外,該程式係可事前安裝在ROM802或記憶部813中。
<本技術的適用對象> 本技術係可適用於任意的影像編碼、解碼方式。亦即,只要不與上述的本技術產生矛盾,則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等,關於影像編碼、解碼之各種處理的規格係為任意,並非限定於上述的例子。又,只要不與上述的本技術產生矛盾,亦可省略這些處理之中的一部分。
又,本技術係可適用於,將含有複數視點(view)之影像的多視點影像影像進行編碼、解碼的多視點影像編碼、解碼系統。此情況下,只要於各視點(view)的編碼、解碼中,適用本技術即可。
甚至,本技術係可適用於,針對所定之參數具有可調性(scalability)機能地而被複數層化(階層化)的階層影像進行編碼、解碼的階層影像編碼(可調式編碼)、解碼系統。此情況下,只要於各階層(layer)的編碼、解碼中,適用本技術即可。
又,以上作為本技術之適用例雖然說明了編碼裝置100、解碼裝置200、影像編碼裝置300、及影像解碼裝置400,但本技術係可適用於任意之構成。
例如,本技術係可應用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等,各式各樣的電子機器。
又例如,本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等,作為裝置的部分構成而實施。
又例如,本技術係亦可對由複數裝置所構成的網路系統做適用。例如,亦可將本技術,透過網路而分擔給複數台裝置,以共同進行處理的雲端運算的方式,來加以實施。例如,亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端,提供影像(動態影像)的相關之服務的雲端服務中,實施本技術。
此外,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
<可適用本技術的領域、用途> 適用了本技術的系統、裝置、處理部等係可利用於例如:交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又,其用途也為任意。
例如,本技術係可適用於,供作觀賞用內容等之提供之用的系統或裝置。又例如,本技術係亦可適用於交通狀況之監理或自動駕駛控制等,供作交通之用的系統或裝置。甚至例如,本技術係亦可適用於供作安全之用的系統或裝置。又例如,本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如,本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又,本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如,本技術係亦可適用於供作運動之用的系統或裝置。
<其他> 此外,於本說明書中所謂「旗標」,係為用來識別複數狀態所需之資訊,不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊,亦包含可以識別3種以上之狀態的資訊。因此,該「旗標」所能採取的值,係可為例如1/0之2值,亦可為3值以上。亦即,構成該「旗標」的bit數係為任意,可為1bit亦可為複數bit。又,識別資訊(亦包含旗標),係不只將該識別資訊含入至位元串流的形式,也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式,因此於本說明書中,「旗標」或「識別資訊」,係不只包含該資訊,也還包含了相對於作為基準之資訊的差分資訊。
又,編碼資料(位元串流)的相關之各種資訊(後設資料等),係只要與編碼資料建立關連,則無論是以哪種形態而被傳輸或記錄皆可。此處,「建立關連」此一用語係意味著例如:使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即,被彼此建立關連的資料,係亦可整體視為1個資料,也可分別視為個別之資料。例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又,例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外,該「建立關連」,係亦可不是資料全體,而是資料的一部分。例如,影像與對應於該影像的資訊,係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位,而被彼此建立關連。
此外,於本說明書中,「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語,係意味著例如將編碼資料與後設資料總結成1個資料,把複數個物綁成1個的意思,是意味著上述的「建立關連」的1種方法。
又,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,亦可將以1個裝置(或處理部)做說明的構成加以分割,成為複數裝置(或處理部)而構成之。反之,亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又,對各裝置(或各處理部)之構成,當然亦可附加上述以外之構成。再者,若系統全體的構成或動作是實質相同,則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又,例如,上述的程式,係亦可於任意的裝置中被執行。此情況下,只要讓該裝置,具有必要的功能(功能區塊等),能夠獲得必要的資訊即可。
又,例如,1個流程圖的各步驟,亦可由1個裝置來執行,也可由複數裝置來分擔而執行。甚至,1個步驟中包含有複數個處理的情況下,該複數個處理亦可由1個裝置來執行,也可由複數裝置來分擔而執行。換言之,亦可將1個步驟中所含之複數個處理,以複數個步驟之處理的方式而執行之。反之,亦可將以複數個步驟的方式做說明的處理,整合成1個步驟而執行之。
又,例如,電腦所執行的程式,描述程式的步驟之處理,係可為依照本說明書所說明之順序而在時間序列上被執行,也可平行地,或可在進行呼叫時等必要之時序上,而被個別地執行。亦即,只要不產生矛盾,各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至,描述該程式的步驟之處理,亦可與其他程式之處理平行地執行,也可和其他程式之處理組合而執行。
又,例如,本技術所相關之複數個技術,係只要不產生矛盾的況下,都可分別獨立以單體而加以實施。當然,亦可將任意的複數個本技術加以併用而實施。例如,可以將任一實施形態中所說明的本技術的部分或全部,與其他實施形態中所說明的本技術的部分或全部,加以組合而實施。又,亦可將上述的任意之本技術的部分或全部,與未上述的其他技術加以併用而實施。
此外,本技術係亦可採取如以下之構成。 (1) 一種影像處理裝置,係具備: 編碼部,其係 在影像編碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略; 若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。 (2) 如(1)所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為單樹的情況下, 在Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標、Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊之編碼予以省略; 若前記Y成分轉換略過旗標、前記Cb成分轉換略過旗標、及前記Cr成分轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。 (3) 如(1)或(2)所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹明度的情況下, 若Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若前記Y成分轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。 (4) 如(1)乃至(3)之任一項所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹色度的情況下, 在Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊之編碼予以省略; 若前記Cb成分轉換略過旗標及前記Cr成分轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。 (5) 如(1)乃至(4)之任一項所記載之影像處理裝置,其中, 前記次級轉換控制資訊係含有:表示前記次級轉換之類型的識別元也就是次級轉換識別元。 (6) 如(1)乃至(5)之任一項所記載之影像處理裝置,其中, 前記次級轉換,係為LFNST(Low Frequency Non-Separable Transform)。 (7) 如(1)乃至(6)之任一項所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼時的有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若至少1個分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。 (8) 如(1)乃至(7)之任一項所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若至少1個分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。 (9) 如(1)乃至(8)之任一項所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若至少1個分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。 (10) 一種影像處理方法,係 在影像編碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略; 若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
(11) 一種影像處理裝置,係具備: 解碼部,其係 在影像解碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若所有分量的前記轉換略過旗標為偽,則將位元串流予以解碼而生成前記次級轉換控制資訊。 (12) 如(11)所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為單樹的情況下, 在Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標、Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若前記Y成分轉換略過旗標、前記Cb成分轉換略過旗標、及前記Cr成分轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。 (13) 如(11)或(12)所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹明度的情況下, 若Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若前記Y成分轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。 (14) 如(11)乃至(13)之任一項所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹色度的情況下, 在Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若前記Cb成分轉換略過旗標及前記Cr成分轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。 (15) 如(11)乃至(14)之任一項所記載之影像處理裝置,其中, 前記次級轉換控制資訊係含有:表示前記次級轉換之類型的識別元也就是次級轉換識別元。 (16) 如(11)乃至(15)之任一項所記載之影像處理裝置,其中, 前記次級轉換,係為LFNST(Low Frequency Non-Separable Transform)。 (17) 如(11)乃至(16)之任一項所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼時的有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若至少1個分量的前記轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。 (18) 如(11)乃至(17)之任一項所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若至少1個分量的前記轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。 (19) 如(11)乃至(18)之任一項所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若至少1個分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若所有分量的前記轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。 (20) 一種影像處理方法,係 在影像解碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若所有分量的前記轉換略過旗標為偽,則將位元串流予以解碼而生成前記次級轉換控制資訊。
100:編碼裝置 101:LFNST識別元編碼部 200:解碼裝置 201:LFNST識別元解碼部 300:影像編碼裝置 301:控制部 311:排序緩衝區 312:演算部 313:正交轉換部 314:量化部 315:編碼部 316:積存緩衝區 317:逆量化部 318:逆正交轉換部 319:演算部 320:迴圈內濾波器部 321:畫格記憶體 322:預測部 323:速率控制部 400:影像解碼裝置 411:積存緩衝區 412:解碼部 413:逆量化部 414:逆正交轉換部 415:演算部 416:迴圈內濾波器部 417:排序緩衝區 418:畫格記憶體 419:預測部 800:電腦 801:CPU 802:ROM 803:RAM 804:匯流排 810:輸出入介面 811:輸入部 812:輸出部 813:記憶部 814:通訊部 815:驅動機 821:可移除式媒體
[圖1]LFNST識別元之相關語法表之例子的圖示。 [圖2]基於樹類型與轉換略過旗標的LFNST識別元之例子的圖示。 [圖3]基於樹類型與轉換略過旗標的LFNST識別元之例子的圖示。 [圖4]LFNST識別元之相關語法表之例子的圖示。 [圖5]編碼條件condition之例子的圖示。 [圖6]LFNST識別元之相關語法表之例子的圖示。 [圖7]編碼條件condition之例子的圖示。 [圖8]基於樹類型與轉換略過旗標的LFNST識別元之例子的圖示。 [圖9]基於樹類型與轉換略過旗標的LFNST識別元之例子的圖示。 [圖10]基於樹類型與轉換略過旗標的LFNST識別元之例子的圖示。 [圖11]編碼裝置的主要構成例的區塊圖。 [圖12]編碼處理的流程之例子的流程圖。 [圖13]解碼裝置的主要構成例的區塊圖。 [圖14]解碼處理的流程之例子的流程圖。 [圖15]影像編碼裝置的主要構成例的區塊圖。 [圖16]影像編碼處理的流程之例子的流程圖。 [圖17]影像解碼裝置的主要構成例的區塊圖。 [圖18]影像解碼處理的流程之例子的流程圖。 [圖19]電腦的主要構成例的區塊圖。

Claims (20)

  1. 一種影像處理裝置,係具備: 編碼部,其係 在影像編碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略; 若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  2. 如請求項1所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為單樹的情況下, 在Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標、Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊之編碼予以省略; 若前記Y成分轉換略過旗標、前記Cb成分轉換略過旗標、及前記Cr成分轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  3. 如請求項1所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹明度的情況下, 若Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若前記Y成分轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  4. 如請求項1所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹色度的情況下, 在Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊之編碼予以省略; 若前記Cb成分轉換略過旗標及前記Cr成分轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  5. 如請求項1所記載之影像處理裝置,其中, 前記次級轉換控制資訊係含有:表示前記次級轉換之類型的識別元也就是次級轉換識別元。
  6. 如請求項1所記載之影像處理裝置,其中, 前記次級轉換,係為LFNST(Low Frequency Non-Separable Transform)。
  7. 如請求項1所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼時的有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若至少1個分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  8. 如請求項1所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若至少1個分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  9. 如請求項1所記載之影像處理裝置,其中, 前記編碼部,係在前記影像編碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若至少1個分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊之編碼予以省略; 若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  10. 一種影像處理方法,係 在影像編碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊之編碼予以省略; 若所有分量的前記轉換略過旗標為偽,則將前記次級轉換控制資訊予以編碼。
  11. 一種影像處理裝置,係具備: 解碼部,其係 在影像解碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若所有分量的前記轉換略過旗標為偽,則將位元串流予以解碼而生成前記次級轉換控制資訊。
  12. 如請求項11所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為單樹的情況下, 在Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標、Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若前記Y成分轉換略過旗標、前記Cb成分轉換略過旗標、及前記Cr成分轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。
  13. 如請求項11所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹明度的情況下, 若Y成分的前記轉換略過旗標也就是Y成分轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若前記Y成分轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。
  14. 如請求項11所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹色度的情況下, 在Cb成分的前記轉換略過旗標也就是Cb成分轉換略過旗標、及Cr成分的前記轉換略過旗標也就是Cr成分轉換略過旗標之內,若至少1者為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若前記Cb成分轉換略過旗標及前記Cr成分轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。
  15. 如請求項11所記載之影像處理裝置,其中, 前記次級轉換控制資訊係含有:表示前記次級轉換之類型的識別元也就是次級轉換識別元。
  16. 如請求項11所記載之影像處理裝置,其中, 前記次級轉換,係為LFNST(Low Frequency Non-Separable Transform)。
  17. 如請求項11所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼時的有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若至少1個分量的前記轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。
  18. 如請求項11所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若所有分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若至少1個分量的前記轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。
  19. 如請求項11所記載之影像處理裝置,其中, 前記解碼部,係在前記影像解碼之樹類型為雙樹色度,且於前記雙樹色度中在有效分量之內, 若至少1個分量的前記轉換略過旗標為真,則將前記次級轉換控制資訊所相關之解碼予以省略,並推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若所有分量的前記轉換略過旗標為偽,則將前記位元串流予以解碼而生成前記次級轉換控制資訊。
  20. 一種影像處理方法,係 在影像解碼時的有效分量之內, 若至少1個分量的轉換略過旗標為真,則將關於次級轉換的控制資訊也就是次級轉換控制資訊所相關之解碼予以省略,並且推定前記次級轉換控制資訊之值係為表示前記次級轉換之略過的所定之值; 若所有分量的前記轉換略過旗標為偽,則將位元串流予以解碼而生成前記次級轉換控制資訊。
TW109139856A 2019-11-22 2020-11-16 影像處理裝置及方法 TW202127898A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962939102P 2019-11-22 2019-11-22
US62/939,102 2019-11-22

Publications (1)

Publication Number Publication Date
TW202127898A true TW202127898A (zh) 2021-07-16

Family

ID=75981242

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109139856A TW202127898A (zh) 2019-11-22 2020-11-16 影像處理裝置及方法

Country Status (9)

Country Link
US (1) US20220385904A1 (zh)
EP (1) EP4064707A4 (zh)
KR (1) KR20220104154A (zh)
CN (1) CN114731443A (zh)
AU (1) AU2020389252A1 (zh)
BR (1) BR112022009359A2 (zh)
MX (1) MX2022005833A (zh)
TW (1) TW202127898A (zh)
WO (1) WO2021100588A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019275552B2 (en) * 2019-12-03 2022-10-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a coding tree unit

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195476A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
KR20200144511A (ko) * 2019-06-18 2020-12-29 한국전자통신연구원 2차 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113711596A (zh) * 2019-09-10 2021-11-26 株式会社 Xris 图像信号编码/解码方法及其装置

Also Published As

Publication number Publication date
CN114731443A (zh) 2022-07-08
KR20220104154A (ko) 2022-07-26
JPWO2021100588A1 (zh) 2021-05-27
US20220385904A1 (en) 2022-12-01
WO2021100588A1 (ja) 2021-05-27
BR112022009359A2 (pt) 2022-08-09
MX2022005833A (es) 2022-06-09
AU2020389252A1 (en) 2022-05-26
EP4064707A1 (en) 2022-09-28
EP4064707A4 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
WO2021125309A1 (ja) 画像処理装置および方法
CA3149873A1 (en) Image processing device and method
WO2021039650A1 (ja) 画像処理装置および方法
US20240171746A1 (en) Image processing device and method
WO2019188465A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
US20230179779A1 (en) Image processing device and method
US20210385456A1 (en) Image processing apparatus and method
WO2021100588A1 (ja) 画像処理装置および方法
US20230007265A1 (en) Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
WO2020066641A1 (ja) 画像処理装置および方法
JP7494858B2 (ja) 画像処理装置および方法
JP2022038979A (ja) 画像処理装置および方法
WO2020008714A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2021117866A1 (ja) 画像処理装置および方法
JP7484923B2 (ja) 画像処理装置および方法
EP4050896B1 (en) Image processing device and method
US20240163437A1 (en) Image processing device and method
US20230045106A1 (en) Image processing apparatus and method
US20220086489A1 (en) Image processing apparatus and method
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法