WO2021201222A1 - 符号化装置、復号装置、及びプログラム - Google Patents

符号化装置、復号装置、及びプログラム Download PDF

Info

Publication number
WO2021201222A1
WO2021201222A1 PCT/JP2021/014155 JP2021014155W WO2021201222A1 WO 2021201222 A1 WO2021201222 A1 WO 2021201222A1 JP 2021014155 W JP2021014155 W JP 2021014155W WO 2021201222 A1 WO2021201222 A1 WO 2021201222A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
color difference
adaptive
difference signal
aps
Prior art date
Application number
PCT/JP2021/014155
Other languages
English (en)
French (fr)
Inventor
俊輔 岩村
慎平 根本
市ヶ谷 敦郎
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to KR1020227009188A priority Critical patent/KR20220163342A/ko
Priority to CN202180005448.0A priority patent/CN114450944A/zh
Priority to JP2022512699A priority patent/JPWO2021201222A1/ja
Publication of WO2021201222A1 publication Critical patent/WO2021201222A1/ja
Priority to US17/655,597 priority patent/US20220210417A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to a coding device, a decoding device, and a program.
  • a syntax structure called an adaptation parameter set is introduced in the draft standard of VVC (Versatile Video Coding), which is a next-generation video coding method.
  • the APS is a syntax structure for transmitting the parameters of a function that needs to transmit a relatively large number of parameters among the functions defined by the video coding method.
  • Such functions include an adaptive loop filter (ALF: Adaptive loop filter), LMCS (Luma Mapping and Chroma Scaling), and quantization processing.
  • ALF adaptive loop filter
  • LMCS Large Mapping and Chroma Scaling
  • quantization processing includes a parameter of the filter coefficient used for the ALF processing, a parameter for the LMCS, and a parameter of the scaling list that controls the quantization processing.
  • the scaling list parameters include the scaling list parameters corresponding to the luminance signal and the scaling list parameters corresponding to the color difference signal.
  • the encoding device does not need to signal the parameters of the scaling list corresponding to the color difference signal because there is no color difference signal. ..
  • the encoding device since the chroma format information is included in the SPS and the APS cannot refer to the chroma format information, the encoding device also signals the parameters of the scaling list for the unused color difference signal (see Non-Patent Document 1).
  • Non-Patent Document 2 introduces a method for avoiding such redundant signaling. Specifically, the encoding device signals a flag (Scaling_list_chroma_present_flag) indicating whether or not a scaling list corresponding to the color difference signal exists in the syntax structure of the scaling list, and the color difference is obtained only when the flag is true. Signal the parameters of the scaling list that correspond to the signal.
  • a flag Scaling_list_chroma_present_flag
  • the coding apparatus includes a quantization unit that performs quantization processing, a loop filter that performs adaptive loop filtering processing, and an entropy coding unit that includes an adaptive parameter set in a bit stream and outputs it.
  • the adaptive parameter set is a parameter candidate including any of a scaling list parameter consisting of scaling list parameters controlling the quantization process and an adaptive loop filter parameter consisting of filter coefficient parameters used in the adaptive loop filter process.
  • the coding tool type information indicating which parameter is included in the adaptive parameter set and the color difference parameter existence flag indicating whether or not the parameter for the color difference signal exists in the adaptive parameter set are included, and the color difference is included. It is gist that the parameter existence flag is commonly applied to the scaling list parameter and the adaptive loop filter parameter.
  • the decoding device includes an entropy decoding unit that acquires a bit stream including an adaptive parameter set, an inverse quantization unit that performs dequantization processing, and a loop filter that performs adaptive loop filtering processing.
  • the adaptive parameter set is a parameter candidate including either a scaling list parameter consisting of scaling list parameters controlling the inverse quantization process and an adaptive loop filter parameter consisting of filter coefficient parameters used in the adaptive loop filtering process.
  • the coding tool type information indicating which parameter is included in the adaptive parameter set and the color difference parameter existence flag indicating whether or not the parameter for the color difference signal exists in the adaptive parameter set are included, and the color difference is included. It is gist that the parameter existence flag is commonly applied to the scaling list parameter and the adaptive loop filter parameter.
  • the program according to the third aspect causes the computer to function as the coding device according to the first aspect.
  • the program according to the fourth aspect causes the computer to function as the decoding device according to the second aspect.
  • Non-Patent Document 2 can avoid redundant signaling regarding the parameters of the scaling list corresponding to the color difference signal, there is a problem that the same redundant signaling in the parameters of other APS cannot be solved yet.
  • the present disclosure aims to improve the coding efficiency by avoiding redundant signaling.
  • the coding device and the decoding device according to the embodiment will be described with reference to the drawings.
  • the coding device and the decoding device according to the embodiment encode and decode moving images represented by MPEG (Moving Picture Experts Group), respectively.
  • MPEG Motion Picture Experts Group
  • FIG. 1 is a diagram showing a configuration of a coding device 1 according to the present embodiment.
  • the coding apparatus 1 includes a block dividing unit 100, a residual generation unit 110, a conversion / quantization unit 120, an entropy coding unit 130, and an inverse quantization / inverse conversion unit 140. , A synthesis unit 150, a loop filter 160, a memory 170, and a prediction unit 180.
  • the block division unit 100 divides the original image, which is an input image for each frame (or picture) constituting the moving image, into a plurality of image blocks, and outputs the image block obtained by the division to the residual generation unit 110.
  • the size of the image block is, for example, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, 4 ⁇ 4 pixels, or the like.
  • the shape of the image block is not limited to a square and may be a rectangle (non-square).
  • the image block is a unit in which the coding device 1 performs a coding process (that is, a block to be coded) and a unit in which the decoding device performs a decoding process (that is, a block to be decoded).
  • Such an image block is sometimes called a CU (Coding Unit).
  • the block division unit 100 outputs a luminance block and a luminance block by performing block partitioning on the luminance signal and the color difference signal constituting the image.
  • the division may be independently controllable for the luminance signal and the color difference signal.
  • a coding target block when the luminance block and the color difference block are not distinguished, they are simply referred to as a coding target block.
  • the residual generation unit 110 calculates a predicted residual representing a difference (error) between the coded block output by the block dividing unit 100 and the predicted block obtained by predicting the coded block by the prediction unit 180. .. Specifically, the residual generation unit 110 calculates the predicted residual by subtracting each pixel value of the predicted block from each pixel value of the coded block, and converts the calculated predicted residual into the converted / quantized unit. Output to 120.
  • the conversion / quantization unit 120 performs conversion processing and quantization processing in block units.
  • the conversion / quantization unit 120 includes a conversion unit 121 and a quantization unit 122.
  • the conversion unit 121 performs conversion processing on the predicted residual output by the residual generation unit 110 to calculate a conversion coefficient, and outputs the calculated conversion coefficient to the quantization unit 122.
  • the conversion process refers to the process of converting the predicted residual from the spatial domain to the frequency domain, and refers to, for example, the discrete cosine transform (DCT), the discrete sine transform (DST), and / or the carunen-reve transform (KLT). ..
  • the conversion process may include a conversion skip that adjusts by scaling or the like without converting the signal in the pixel region into the frequency domain.
  • the conversion unit 121 outputs information regarding the conversion process applied to the coded target block to the entropy coding unit 130.
  • the quantization unit 122 quantizes the conversion coefficient output from the conversion unit 121 using the quantization parameter and the quantization matrix, and transfers the quantized conversion coefficient to the entropy coding unit 130 and the inverse quantization / inverse conversion unit 140. Output. Further, the quantization unit 122 outputs information on the quantization process (specifically, information on the quantization parameters and the quantization matrix used in the quantization process) to the entropy coding unit 130 and the inverse quantization unit 141. do.
  • the quantization parameter is a parameter in which one value is set for one block.
  • the quantization parameter is a parameter that is commonly applied to each conversion coefficient in the block, and is a parameter that determines the roughness (step size) of quantization.
  • the quantization matrix is a matrix consisting of values set for each component in one block.
  • the quantization matrix is a matrix consisting of values (weighting coefficients) set for each component of the i ⁇ j element according to the block size, and is quantum for each component of the conversion coefficient from low frequency to high frequency. It is used to adjust the roughness of the quantization.
  • a list of values that make up a quantization matrix is called a scaling list.
  • the scaling list is signaled from the coding side to the decoding side.
  • the scaling list for the luminance signal and the scaling list for the color difference signal can be set so as to be different from each other.
  • the entropy coding unit 130 performs entropy coding on the quantization conversion coefficient output by the quantization unit 122, performs data compression to generate coded data (bit stream), and encodes the coded data. Output to the outside of 1.
  • Huffman coding and / or CABAC Context-based Adaptive Binary Arithetic Coding
  • CABAC Context-based Adaptive Binary Arithetic Coding
  • the entropy coding unit 130 encodes the information related to the conversion process input from the conversion unit 121, outputs a bit stream, and transmits (signaling) to the decoding side. Further, the entropy coding unit 130 encodes the information regarding the prediction processing input from the prediction unit 180, outputs a bit stream, and transmits the bit stream to the decoding side.
  • the inverse quantization / inverse transformation unit 140 performs the inverse quantization processing and the inverse transformation processing in block units.
  • the inverse quantization / inverse conversion unit 140 includes an inverse quantization unit 141 and an inverse conversion unit 142.
  • the inverse quantization unit 141 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122. Specifically, the inverse quantization unit 141 restores the conversion coefficient by inversely quantizing the quantization conversion coefficient output by the quantization unit 122 using the quantization parameter (Qp) and the quantization matrix. The restored conversion coefficient is output to the inverse conversion unit 142.
  • the reverse conversion unit 142 performs reverse conversion processing corresponding to the conversion processing performed by the conversion unit 121 based on the conversion type information output by the conversion unit 121. For example, when the conversion unit 121 performs the discrete cosine transform, the inverse transform unit 142 performs the inverse discrete cosine transform. The inverse transformation unit 142 performs an inverse transformation process on the conversion coefficient output by the inverse quantization unit 141 to restore the predicted residual, and outputs the restored predicted residual, which is the restored predicted residual, to the synthesis unit 150. ..
  • the synthesis unit 150 synthesizes the restoration prediction residual output by the inverse conversion unit 142 with the prediction block output by the prediction unit 180 in pixel units.
  • the synthesizing unit 150 adds each pixel value of the restoration prediction residual and each pixel value of the prediction block to decode (reconstruct) the coded block, and outputs the decoded block to the loop filter 160.
  • the decrypted block is sometimes called a reconstructed block.
  • the loop filter 160 performs a filter process on the decoded block output by the compositing unit 150, and outputs the decoded block after the filter process to the memory 170.
  • the loop filter 160 performs adaptive loop filter (ALF) processing.
  • the loop filter 160 performs ALF processing using different filter coefficients for the luminance signal and the color difference signal.
  • the ALF process for a color difference signal includes CCALF (Cross-component ALF), which is an ALF process using color correlation in a color difference signal.
  • CCALF includes CCALF for the first component (Cb signal) of the color difference signal and CCALF for the second component (Cr signal) of the color difference signal.
  • the filter coefficient used for ALF processing is signaled from the coding side to the decoding side.
  • the filter coefficient for the luminance signal and the filter coefficient for the color difference signal can be set so as to be different from each other.
  • the memory 170 stores the decoded block after the filter processing output by the loop filter 160, and stores the decoded block as a decoded image in frame units.
  • the memory 170 outputs the stored decoded block or decoded image to the prediction unit 180.
  • the prediction unit 180 performs prediction processing in block units.
  • the prediction unit 180 includes an inter-prediction unit 181, an intra-prediction unit 182, and a switching unit 183.
  • the inter-prediction unit 181 performs inter-prediction using the correlation between frames. Specifically, the inter-prediction unit 181 uses the decoded image stored in the memory 170 as a reference image, calculates a motion vector by a method such as block matching, predicts the coded block, and predicts the inter-prediction block. Is generated, and the generated inter-prediction block is output to the switching unit 183.
  • the inter-prediction unit 181 is the optimum inter-prediction method from inter-prediction using a plurality of reference images (typically bi-prediction) and / or inter-prediction using one reference image (one-way prediction). Is selected, and inter-prediction is performed using the selected inter-prediction method.
  • the inter-prediction unit 181 outputs information (motion vector, etc.) related to the inter-prediction to the entropy coding unit 130.
  • the intra prediction unit 182 makes an intra prediction using the spatial correlation in the frame. Specifically, the intra prediction unit 182 generates an intra prediction block by referring to the decoded pixels around the coded block among the decoded images stored in the memory 170, and the generated intra prediction block. Is output to the switching unit 183. The intra prediction unit 182 selects an intra prediction mode to be applied to the coded target block from a plurality of intra prediction modes, and predicts the coded target block using the selected intra prediction mode.
  • the switching unit 183 switches between the inter prediction block output by the inter prediction unit 181 and the intra prediction block output by the intra prediction unit 182, and outputs one of the prediction blocks to the residual generation unit 110 and the synthesis unit 150.
  • the coding device 1 may have a functional unit for performing LMCS (Luma mapping and chroma scaling) processing.
  • LMCS Large mapping and chroma scaling
  • the value of the luminance signal of the original image is changed by mapping processing using a lookup table (conversion table) before processing such as prediction processing and / or conversion processing according to the signal characteristics of the input image.
  • the prediction processing, the conversion processing, and the quantization processing are applied to the luminance signal after mapping.
  • the value of the color difference signal of the original image is changed by the scaling process according to the value of the luminance signal of the original image, and the prediction process, the conversion process, and the quantization process are applied to the scaled color difference signal.
  • FIG. 2 is a diagram showing a configuration of a bit stream according to the present embodiment.
  • the bit stream consists of a plurality of NAL units and a start code provided at the beginning of each NAL unit.
  • each NAL unit comprises a NAL unit header and a payload.
  • FIG. 3 is a diagram showing the type of NAL unit.
  • the type of NAL unit is identified by nal_unit_type in the NAL unit header.
  • the types of NAL units are classified into VCL (Video Coding Layer) class and non-VCL class.
  • the VCL class is a class corresponding to a coded bit stream of a slice including a CTU (Codeing Tree Unit) to be coded.
  • the VCL class is a class corresponding to control information required for decoding, for example, VPS (Video Parameter Set), SPS (Sequence Parameter Set), PPS (Picture Parameter Set), and APS (Adaptation Parameter Set).
  • VPS, SPS, PPS, and APS are signaled by different NAL units.
  • FIG. 4 is a diagram showing the relationship between VPS, SPS, PPS, and APS according to the present embodiment.
  • the VPS has its own ID (vps_video_parameter_set_id) and is referred to by the SPS.
  • the VPS stores information about the entire decoding of the bitstream.
  • VPS includes information such as the maximum number of layers and DPB (Decoded Picture Buffer).
  • SPS has its own ID (sps_seq_parameter_set_id) and is referred to by PPS.
  • the SPS has a VPS ID (sps_video_parameter_set_id) that it refers to.
  • the SPS stores information necessary for decoding the sequence.
  • SPS is a sequence unit of chroma format, maximum width / height, bit depth, sub-picture information (number, start coordinates of each sub-picture, width, height, etc.), and each coding tool (each function).
  • On / off control and / or information such as VUI (Video usability information) is included.
  • the on / off control information for each sequence includes a flag (sps_scaling_list_enebled_flag) indicating whether or not to apply the scaling list.
  • PPS has its own ID (pps_pic_parameter_set_id) and is referred to by PH (Picture Header). Further, the PPS has an ID (pps_seq_parameter_set_id) of the SPS referred to by itself.
  • the PPS stores information necessary for decoding a picture (Picture). For example, PPS includes picture width / height, tile division information (definition of the number of vertical and horizontal tiles, width / height of each row / column, etc.), slice division information (slice division shape (rect / non-rect), and / Or in the case of rect, information such as the number of tiles in the width / height direction of each rect) is included.
  • PH is header information for each picture. It is the slice in the picture that refers to the PH. Since the slice can implicitly determine the picture in which it is included, it is not necessary to define the PH ID.
  • PH holds the ID (ph_pic_parameter_set_id) of the referenced PPS.
  • PH stores control information for the picture. For example, PH includes information such as on / off control of each coding tool (each function) for the picture. PH contains information indicating application on / off of each tool of ALF, LMCS, and scaling list. The on / off control information for each picture includes a flag (ph_scaling_list_present_flag) indicating whether or not to apply the scaling list.
  • PH includes the ID of APS that stores the parameter information of the tools.
  • APS is a syntax structure for parameter transmission for coding tools that need to transmit a relatively large number of parameters such as ALF, LMCS, and / or scaling lists. APS holds its own ID, and this ID is referred to by PH.
  • the coding device 1 includes a quantization unit 122 that performs quantization processing, a loop filter 160 that performs ALF processing, and an adaptive parameter set (APS) in a bit stream, and outputs an entropy coding unit 130. And have.
  • FIG. 5 is a diagram showing APS according to the present embodiment.
  • the APS adaptation_parameter_set_rbsp includes an APS ID adaptation_parameter_set_id, a parameter indicating whether or not a parameter for a color difference signal exists in the APS, and a choroma_aps_present_flag in the APS.
  • aps_parameters_type which is information indicating the type of conversion tool (function).
  • chroma_aps_present_flag corresponds to the color difference parameter presence flag.
  • adaptation_parameter_set_id is 5 bits
  • chroma_aps_present_flag is 1 bit
  • aps_params_type is 3 bits.
  • aps_params_type indicates "ALF_APS” indicating that the type of coding tool containing parameters in APS is ALF, "LMCS_APS” indicating that the type of coding tool containing parameters in APS is LMCS, and APS.
  • ALF_APS ALF
  • LMCS_APS LMCS
  • APS LMCS
  • One of the "SCALING_APS” indicating that the type of encoding tool that contains the parameter is a scaling list.
  • aps_params_type corresponds to the coding tool type information.
  • the APS includes an ALF parameter (alf_data) consisting of a parameter of a filter coefficient used for ALF processing.
  • Chroma_apps_present_flag is applied to the ALF parameter (alf_data).
  • chroma_apps_present_flag is applied as an argument to the ALF parameter (alf_data)
  • the ALF parameter (alf_data) depends on whether chroma_aps_present_flag is true (“1”) or false (“0”). ) Changes.
  • chroma_aps_present_flag is applied as an argument of the ALF parameter (alf_data)
  • the decoded chroma_aps_present_flag may be held in the decoding device and referenced in the ALF parameter (alf_data).
  • the value of the decoded chromaAps_present_flag is stored in the area ChromaApsPresentFlag in the memory of the decoding device, and the contents of the ALF parameter (alf_data) are changed by referring to the ChromaApsPresentFlag in decoding the ALF parameter (alf_data). You may.
  • the APS includes an LMCS parameter (lmcs_data) consisting of parameters for controlling the LMCS process.
  • the APS includes a scaling list parameter (scaling_list_data) consisting of scaling list parameters that control the quantization process.
  • Chroma_apps_present_flag is applied to the scaling list parameter (scaling_list_data).
  • chroma_aps_present_flag is applied as an argument to the scaling list parameter (scaling_list_data), and the scaling list parameter depends on whether chroma_aps_present_flag is true (“1”) or false (“0”).
  • the content of (scaling_list_data) changes.
  • chroma_aps_present_flag it is possible to reduce the amount of parameters included in the scaling list parameter (scaling_list_data) by using chroma_aps_present_flag.
  • chroma_aps_present_flag is applied as an argument of the scaling list parameter (scaling_list_data)
  • the decoded chroma_aps_present_flag is retained in the decoding device and is referenced in the scaling list parameter (scaling_list_data). You may.
  • the value of the decoded chroma_aps_present_flag is stored in the area ChromaApsPresentFlag in the memory of the decoding device, and the scaling list parameter (scaling_list_data) is changed by referring to the ChromaApsPresentFlag in decoding the scaling list parameter (scaling_list_data). It may be configured.
  • the chroma_aps_present_flag which is a flag indicating whether or not the parameter for the color difference signal exists in the APS
  • the ALF parameter (alf_data) and the scaling list parameter (scaling_list_data) are commonly applied to the ALF parameter (alf_data) and the scaling list parameter (scaling_list_data). ..
  • the amount of flags can be reduced as compared with the case where a flag indicating whether or not a parameter for a color difference signal exists in the APS is separately provided for the ALF parameter (alf_data) and the scaling list parameter (scaling_list_data).
  • APS includes aps_extension_flag and the like for future expansion.
  • the chroma_aps_present_flag is further applicable to the parameters of new coding tools that will be expanded in the future.
  • FIG. 6 is a diagram showing an ALF parameter (alf_data) according to this embodiment.
  • the ALF parameter (alf_data) includes alf_luma_filter_signal_flag indicating whether or not the ALF parameter for the luminance signal exists in the APS.
  • alf_luma_filter_signal_flag is a 1-bit flag that exists regardless of chroma_aps_present_flag.
  • the ALF parameter (alf_data) includes three flags indicating whether or not the ALF parameter for the color difference signal exists in the APS when the chroma_aps_present_flag is true (“1”). These three flags correspond to the color difference filter parameter existence flags.
  • alf_chroma_filter_signal_flag which indicates whether or not ALF is applied to the color difference signal, and whether ALF (CCALF) using color correlation is applied to the Cb signal among the color difference signals. It is composed of alf_cc_cc_filter_signal_flag indicating whether or not, and alf_cc_cr_filter_signal_flag indicating whether or not CCALF is applied to the Cr signal among the color difference signals.
  • the ALF parameter (alf_data) does not include three flags indicating whether or not the ALF parameter for the color difference signal exists in the APS.
  • the amount of flags can be reduced. For example, when the chroma format is 4: 0: 0 (monochrome), by setting chroma_aps_present_flag to false (“0”), 3 bits corresponding to these flags can be reduced.
  • FIG. 7 is a diagram showing scaling list parameters (scaling_list_data) according to the present embodiment.
  • the strikethrough in FIG. 7 indicates a portion deleted from the scaling list parameter (scaling_list_data) described in Non-Patent Document 2.
  • scaling list parameter includes a scaling_matrix_for_lfnst_disclosed_flag and a scaling list parameter for the luminance signal.
  • the scaling list parameter includes the scaling list parameter for the color difference signal when chroma_aps_present_flag is true (“1”).
  • the scaling list parameter does not include the scaling list parameter for the color difference signal.
  • the amount of signaling can be reduced. For example, when the chroma format is 4: 0: 0 (monochrome), setting chroma_aps_present_flag to false (“0”) can reduce signaling corresponding to the scaling list parameter for the color difference signal.
  • the coding apparatus 1 includes a quantization unit 122 that performs quantization processing, a loop filter 160 that performs ALF processing, and an entropy coding unit 130 that includes APS in a bit stream and outputs it.
  • chroma_aps_present_flag is commonly applied to scaling list parameters and ALF parameters.
  • APS that does not include the scaling list parameter for the color difference signal and the ALF parameter for the color difference signal is output according to the inclusion in.
  • the APS that does not include the color difference filter parameter existence flag indicating whether or not the ALF parameter for the color difference signal exists in the APS is output according to the inclusion in.
  • FIG. 8 is a diagram showing a configuration of a decoding device 2 according to the present embodiment.
  • the decoding device 2 includes an entropy decoding unit 200, an inverse quantization / inverse conversion unit 210, a synthesis unit 220, a loop filter 230, a memory 240, and a prediction unit 250.
  • the entropy decoding unit 200 decodes the coded data (bit stream) and outputs the quantization conversion coefficient corresponding to the decoding target block to the inverse quantization / inverse conversion unit 210. Further, the entropy decoding unit 200 acquires information on the conversion process and the quantization process, and outputs the information on the conversion process and the quantization process to the inverse quantization / inverse conversion unit 210. Further, the entropy decoding unit 200 acquires information on the prediction process and outputs the information on the prediction process to the prediction unit 250.
  • the inverse quantization / inverse transformation unit 210 performs the inverse quantization process and the inverse transformation process in block units.
  • the inverse quantization / inverse conversion unit 210 includes an inverse quantization unit 211 and an inverse conversion unit 212.
  • the inverse quantization unit 211 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122 of the coding device 1.
  • the inverse quantization unit 211 restores the conversion coefficient of the decoding target block by inversely quantizing the quantization conversion coefficient output by the entropy decoding unit 200 using the quantization parameter (Qp) and the quantization matrix.
  • the restored conversion coefficient is output to the inverse conversion unit 212.
  • the scaling list which is a list of values constituting the quantization matrix, is output from the entropy decoding unit 200 to the inverse transformation unit 212.
  • the scaling list for the luminance signal and the scaling list for the color difference signal can be set so as to be different from each other.
  • the inverse conversion unit 212 performs an inverse conversion process corresponding to the conversion process performed by the conversion unit 121 of the coding device 1.
  • the inverse conversion unit 212 performs inverse transformation processing on the conversion coefficient output by the inverse quantization unit 211 to restore the predicted residual, and outputs the restored predicted residual (restored predicted residual) to the synthesis unit 220. ..
  • the synthesis unit 220 decodes (reconstructs) the original block by synthesizing the prediction residual output by the inverse conversion unit 212 and the prediction block output by the prediction unit 250 on a pixel-by-pixel basis, and decodes the decoded block. Output to the loop filter 230.
  • the loop filter 230 performs a filter process on the decoded block output by the synthesis unit 220, and outputs the decoded block after the filter process to the memory 240.
  • the loop filter 230 performs adaptive loop filter (ALF) processing.
  • the loop filter 230 can be set to perform ALF processing using different filter coefficients for the luminance signal and the color difference signal.
  • the ALF process for a color difference signal includes CCALF (Cross-component ALF), which is an ALF process using color correlation in a color difference signal.
  • CCALF includes CCALF for the first component (Cb signal) of the color difference signal and CCALF for the second component (Cr signal) of the color difference signal.
  • the filter coefficient used for the ALF processing is output from the entropy decoding unit 200 to the loop filter 230.
  • the filter coefficient for the luminance signal and the filter coefficient for the color difference signal can be set so as to be different from each other.
  • the memory 240 stores the decoded blocks output by the compositing unit 220, and stores the decoded blocks as a decoded image in frame units.
  • the memory 240 outputs the decoded block or the decoded image to the prediction unit 250. Further, the memory 240 outputs the decoded image in frame units to the outside of the decoding device 2.
  • the prediction unit 250 makes a prediction in block units.
  • the prediction unit 250 includes an inter-prediction unit 251, an intra-prediction unit 252, and a switching unit 253.
  • the inter-prediction unit 251 performs inter-prediction using the correlation between frames. Specifically, the inter-prediction unit 251 encodes the decoded image stored in the memory 240 as a reference image based on the information related to the inter-prediction (for example, motion vector information) output by the entropy decoding unit 200. The target block is predicted, an inter-prediction block is generated, and the generated inter-prediction block is output to the switching unit 253.
  • the inter-prediction unit 251 encodes the decoded image stored in the memory 240 as a reference image based on the information related to the inter-prediction (for example, motion vector information) output by the entropy decoding unit 200.
  • the target block is predicted, an inter-prediction block is generated, and the generated inter-prediction block is output to the switching unit 253.
  • the intra prediction unit 252 performs intra prediction using the spatial correlation in the frame. Specifically, the intra prediction unit 252 uses the intra prediction mode corresponding to the information related to the intra prediction (for example, the intra prediction mode information) output by the entropy decoding unit 200, and the decoded image stored in the memory 240. An intra prediction block is generated with reference to the decoded pixels around the coded block, and the generated intra prediction block is output to the switching unit 253.
  • the intra prediction mode information for example, the intra prediction mode information
  • the switching unit 253 switches between the inter prediction block output by the inter prediction unit 251 and the intra prediction block output by the intra prediction unit 252, and outputs one of the prediction blocks to the synthesis unit 220.
  • the decoding device 2 may have a functional unit for performing LMCS processing.
  • the decoding device 2 includes an inverse quantization unit 211 that performs inverse quantization processing, a loop filter 230 that performs ALF processing, and an entropy decoding unit 200 that acquires a bit stream including an adaptive parameter set (APS). Has.
  • the APS adaptation_parameter_set_rbsp includes an APS ID adaptation_parameter_set_id, a parameter indicating whether or not a parameter for a color difference signal exists in the APS, and a choroma_aps_present_flag in the APS.
  • aps_parameters_type which is information indicating the type of conversion tool (function).
  • chroma_aps_present_flag corresponds to the color difference parameter presence flag.
  • the entropy decoding unit 200 interprets that the APS includes an ALF parameter (alf_data) including a parameter of a filter coefficient used for ALF processing. Chroma_apps_present_flag is applied to the ALF parameter (alf_data). Specifically, chroma_apps_present_flag is applied as an argument to the ALF parameter (alf_data). The entropy decoding unit 200 interprets the contents of the ALF parameter (alf_data) depending on whether the chroma_aps_present_flag is true (“1”) or false (“0”).
  • the decoded chroma_aps_present_flag is held in the decoding device 2 (for example, the entropy decoding unit 200) and the ALF parameter (alf_data). It may be configured to be referenced within.
  • the value of the decoded chromaAps_present_flag is stored in the area ChromaApsPresentFlag in the memory of the decoding device 2, and the contents of the ALF parameter (alf_data) are changed by referring to the ChromaApsPresentFlag in decoding the ALF parameter (alf_data). You may.
  • the entropy decoding unit 200 interprets that the APS includes an LMCS parameter (lmcs_data) including a parameter for controlling the LMCS process.
  • the entropy decoding unit 200 interprets that the APS includes a scaling list parameter (scaling_list_data) composed of scaling list parameters that control the quantization process. Chroma_apps_present_flag is applied to the scaling list parameter (scaling_list_data). Specifically, chroma_aps_present_flag is applied as an argument to the scaling list parameter (scaling_list_data). The entropy decoding unit 200 interprets the contents of the scaling list parameter (scaling_list_data) depending on whether the chroma_aps_present_flag is true (“1”) or false (“0”).
  • chroma_aps_present_flag is applied as an argument of the scaling list parameter (scaling_list_data)
  • scaling_list_data the decoded chroma_aps_present_flag is held in the decoding device 2 (for example, the entropy decoding unit 200), and the scaling list parameter (for example, the entropy decoding unit 200) is stored. It may be configured to be referred to in scaling_list_data).
  • the value of the decoded chroma_aps_present_flag is stored in the area ChromaApsPresentFlag in the memory of the decoding device 2, and the scaling list parameter (scaling_list_data) is decoded by referring to the ChromaApsPresentFlag. It may be configured as follows.
  • the chroma_aps_present_flag which is a flag indicating whether or not the parameter for the color difference signal exists in the APS, is commonly applied to the ALF parameter (alf_data) and the scaling list parameter (scaling_list_data). ..
  • the ALF parameter (alf_data) includes alf_luma_filter_signal_flag indicating whether or not the ALF parameter for the luminance signal exists in the APS.
  • alf_luma_filter_signal_flag is a 1-bit flag that exists regardless of chroma_aps_present_flag.
  • the entropy decoding unit 200 When the entropy decoding unit 200 is true (“1”), it is interpreted that the entropy decoding unit 200 includes three flags indicating whether or not the ALF parameter for the color difference signal exists in the APS. These three flags correspond to the color difference filter parameter existence flags.
  • alf_chroma_filter_signal_flag which indicates whether or not ALF is applied to the color difference signal, and whether ALF (CCALF) using color correlation is applied to the Cb signal among the color difference signals. It is composed of alf_cc_cc_filter_signal_flag indicating whether or not, and alf_cc_cr_filter_signal_flag indicating whether or not CCALF is applied to the Cr signal among the color difference signals.
  • the entropy decoding unit 200 interprets that it does not include three flags indicating whether or not the ALF parameter for the color difference signal exists in the APS.
  • scaling list parameter includes a scaling_matrix_for_lfnst_disclosed_flag and a scaling list parameter for the luminance signal.
  • the entropy decoding unit 200 interprets that the scaling list parameter (scaling_list_data) includes the scaling list parameter for the color difference signal when the chroma_aps_present_flag is true (“1”). On the other hand, when chroma_aps_present_flag is false (“0”), the entropy decoding unit 200 interprets that the scaling list parameter (scaling_list_data) does not include the scaling list parameter for the color difference signal.
  • the decoding device 2 includes an entropy decoding unit 200 that acquires a bit stream including an APS, an inverse quantization unit 211 that performs an inverse quantization process, and a loop filter 230 that performs an ALF process.
  • the APS includes any of the parameter candidates including either the scaling list parameter consisting of the scaling list parameters controlling the inverse quantization processing and the ALF parameter consisting of the filter coefficient parameters used in the ALF processing in the APS. It includes aps_params_type indicating whether or not there is a parameter for a color difference signal in APS, and chroma_aps_present_flag indicating whether or not a parameter for a color difference signal exists in the APS. chroma_aps_present_flag is commonly applied to scaling list parameters and ALF parameters.
  • the entropy coding unit 130 may control whether or not the chroma_aps_present_flag is included in the APS according to the aps_params_type. In the example shown in FIG. 9, the entropy coding unit 130 controls not to send chroma_aps_present_flag if it is a type that sends a parameter for a color difference signal among the parameter types of APS, and not to send chroma_aps_present_flag otherwise. do.
  • the entropy decoding unit 200 interprets that if the parameter type of the APS is a type that sends a parameter for a color difference signal, the chroma_aps_present_flag is included in the APS, otherwise the chroma_aps_present_flag is not included in the APS. Interpret as.
  • ALF and ScalingList have parameters for color difference, but LMCS does not send parameters for color difference. Therefore, by controlling the LMCS not to send chroma_asp_present_flag, redundant bit signaling at the time of LMCS becomes unnecessary.
  • the entropy coding unit 130 controls that the parameters for the color difference signals of ALF and ScalingList are not included in the stream when the chroma_aps_present_flag is included in the APS and the chroma_aps_present_flag is "0", and the chroma_apps_press_press.
  • the parameters for the color difference signals of ALF and ScalingList may be controlled to be included in the stream.
  • a program may be provided that causes a computer to execute each process performed by the encoding device 1 described above. Further, a program for causing the computer to execute each process performed by the decoding device 2 may be provided.
  • the program may be recorded on a computer-readable medium. Computer-readable media allow you to install programs on your computer.
  • the computer-readable medium on which the program is recorded may be a non-transient recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit that executes each process performed by the coding device 1 may be integrated, and the coding device 1 may be configured by a semiconductor integrated circuit (chipset, SoC).
  • a circuit that executes each process performed by the decoding device 2 may be integrated, and the decoding device 2 may be configured by a semiconductor integrated circuit (chipset, SoC).

Abstract

符号化装置は、量子化処理を行う量子化部と、適応ループフィルタ処理を行うループフィルタと、適応パラメータセットをビットストリームに含めて出力するエントロピー符号化部と、を備える。前記適応パラメータセットは、前記量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ、及び前記適応ループフィルタ処理に用いるフィルタ係数のパラメータからなる適応ループフィルタパラメータのいずれかを含むパラメータ候補のうち、どのパラメータを当該適応パラメータセットに含むかを示す符号化ツールタイプ情報と、前記適応パラメータセットに色差信号用のパラメータが存在するか否かを示す色差パラメータ存在フラグと、を含み、前記色差パラメータ存在フラグは、前記スケーリングリストパラメータと前記適応ループフィルタパラメータとに対して共通に適用される。

Description

符号化装置、復号装置、及びプログラム
 本発明は、符号化装置、復号装置、及びプログラムに関する。
 次世代の映像符号化方式であるVVC(Versatile Video Coding)の規格案において、適応パラメータセット(APS:Adaptation Parameter Set)と呼ばれるシンタックス構造が導入されている。APSは、映像符号化方式で規定された機能のうち、比較的多くのパラメータを伝送する必要がある機能のパラメータを伝送するためのシンタックス構造である。
 このような機能としては、適応ループフィルタ(ALF:Adaptive loop filter)、LMCS(Luma Mapping and Chroma Scaling)、及び量子化処理がある。具体的には、APSは、ALF処理に用いるフィルタ係数のパラメータと、LMCSのためのパラメータと、量子化処理を制御するスケーリングリストのパラメータとを含む。
 スケーリングリストのパラメータは、輝度信号に対応するスケーリングリストのパラメータと、色差信号に対応するスケーリングリストのパラメータとを含む。ここで、シーケンスのクロマフォーマットが4:0:0(モノクロ)であるような場合、符号化装置は、色差信号が存在しないことから、色差信号に対応するスケーリングリストのパラメータをシグナリングする必要はない。しかしながら、クロマフォーマットの情報はSPSに含まれており、APSはクロマフォーマットの情報を参照できないため、符号化装置は、利用されない色差信号に対するスケーリングリストのパラメータもシグナリングする(非特許文献1参照)。
 そこで、非特許文献2では、このような冗長なシグナリングを回避するための方法が導入されている。具体的には、符号化装置は、スケーリングリストのシンタックス構造において、色差信号に対応するスケーリングリストが存在するか否かを示すフラグ(Scaling_list_chroma_present_flag)をシグナリングし、該フラグが真の場合のみ、色差信号に対応するスケーリングリストのパラメータをシグナリングする。
 第1の態様に係る符号化装置は、量子化処理を行う量子化部と、適応ループフィルタ処理を行うループフィルタと、適応パラメータセットをビットストリームに含めて出力するエントロピー符号化部と、を備え、前記適応パラメータセットは、前記量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ、及び前記適応ループフィルタ処理に用いるフィルタ係数のパラメータからなる適応ループフィルタパラメータのいずれかを含むパラメータ候補のうち、どのパラメータを当該適応パラメータセットに含むかを示す符号化ツールタイプ情報と、前記適応パラメータセットに色差信号用のパラメータが存在するか否かを示す色差パラメータ存在フラグと、を含み、前記色差パラメータ存在フラグは、前記スケーリングリストパラメータと前記適応ループフィルタパラメータとに対して共通に適用されることを要旨とする。
 第2の態様に係る復号装置は、適応パラメータセットを含むビットストリームを取得するエントロピー復号部と、逆量子化処理を行う逆量子化部と、適応ループフィルタ処理を行うループフィルタと、を備え、前記適応パラメータセットは、前記逆量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ、及び前記適応ループフィルタ処理に用いるフィルタ係数のパラメータからなる適応ループフィルタパラメータのいずれかを含むパラメータ候補のうち、どのパラメータを当該適応パラメータセットに含むかを示す符号化ツールタイプ情報と、前記適応パラメータセットに色差信号用のパラメータが存在するか否かを示す色差パラメータ存在フラグと、を含み、前記色差パラメータ存在フラグは、前記スケーリングリストパラメータと前記適応ループフィルタパラメータとに対して共通に適用されることを要旨とする。
 第3の態様に係るプログラムは、コンピュータを第1の態様に係る符号化装置として機能させる。
 第4の態様に係るプログラムは、コンピュータを第2の態様に係る復号装置として機能させる。
実施形態に係る符号化装置の構成を示す図である。 実施形態に係るビットストリームの構成を示す図である。 実施形態に係るNALユニットのタイプを示す図である。 実施形態に係るVPS、SPS、PPS、及びAPSの関係を示す図である。 実施形態に係るAPSを示す図である。 実施形態に係るALFパラメータ(alf_data)を示す図である。 実施形態に係るスケーリングリストパラメータ(scaling_list_data)を示す図である。 実施形態に係る復号装置の構成を示す図である。 他の実施形態に係るAPSを示す図である。
 非特許文献2に記載の方法は、色差信号に対応するスケーリングリストのパラメータに関する冗長なシグナリングを回避できるものの、他のAPSのパラメータにおける同様の冗長なシグナリングを依然として解決できていないという問題がある。
 そこで、本開示は、冗長なシグナリングを回避することで符号化効率を向上させることを目的とする。
 図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、MPEG(Moving Picture Experts Group)に代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
 <符号化装置>
 (符号化装置の構成)
 まず、本実施形態に係る符号化装置の構成について説明する。図1は、本実施形態に係る符号化装置1の構成を示す図である。
 図1に示すように、符号化装置1は、ブロック分割部100と、残差生成部110と、変換・量子化部120と、エントロピー符号化部130と、逆量子化・逆変換部140と、合成部150と、ループフィルタ160と、メモリ170と、予測部180とを有する。
 ブロック分割部100は、動画像を構成するフレーム(或いはピクチャ)単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを残差生成部110に出力する。画像ブロックのサイズは、例えば32×32画素、16×16画素、8×8画素、又は4×4画素等である。画像ブロックの形状は正方形に限らず長方形(非正方形)であってもよい。画像ブロックは、符号化装置1が符号化処理を行う単位(すなわち、符号化対象ブロック)であり、且つ復号装置が復号処理を行う単位(すなわち、復号対象ブロック)である。このような画像ブロックはCU(Coding Unit)と呼ばれることがある。
 ブロック分割部100は、画像を構成する輝度信号及び色差信号に対してブロック分割を行うことで、輝度ブロック及び色差ブロックを出力する。輝度信号と色差信号とで分割を独立に制御可能であってもよい。以下の符号化装置の説明において、輝度ブロック及び色差ブロックを区別しないときは単に符号化対象ブロックと呼ぶ。
 残差生成部110は、ブロック分割部100が出力する符号化対象ブロックと、符号化対象ブロックを予測部180が予測して得た予測ブロックとの差分(誤差)を表す予測残差を算出する。具体的には、残差生成部110は、符号化対象ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部120に出力する。
 変換・量子化部120は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部120は、変換部121と、量子化部122とを有する。
 変換部121は、残差生成部110が出力する予測残差に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部122に出力する。変換処理とは、予測残差を空間領域から周波数領域に変換する処理をいい、例えば、離散コサイン変換(DCT)、離散サイン変換(DST)、及び/又はカルーネンレーブ変換(KLT)等をいう。但し、変換処理には、画素領域の信号を周波数領域に変換することなくスケーリング等により調整する変換スキップを含んでもよい。変換部121は、符号化対象ブロックに適用する変換処理に関する情報をエントロピー符号化部130に出力する。
 量子化部122は、変換部121から出力される変換係数を量子化パラメータ及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部130及び逆量子化・逆変換部140に出力する。また、量子化部122は、量子化処理に関する情報(具体的には、量子化処理で用いた量子化パラメータ及び量子化行列の情報)を、エントロピー符号化部130及び逆量子化部141に出力する。
 ここで、量子化パラメータは、1つのブロックに対して1つの値が設定されるパラメータである。具体的には、量子化パラメータは、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さ(ステップサイズ)を定めるパラメータである。
 量子化行列は、1つのブロック内の成分ごとに設定される値からなる行列である。具体的には、量子化行列は、ブロックサイズに応じてi×j要素の成分ごとに設定される値(重み付け係数)からなる行列であって、変換係数の低周波から高周波にわたる成分ごとに量子化の粗さを調整するために用いられる。量子化行列を構成する値からなるリストは、スケーリングリストと呼ばれる。スケーリングリストは符号化側から復号側にシグナリングされる。なお、輝度信号用のスケーリングリスト及び色差信号用のスケーリングリストは、互いに異なるように設定可能である。
 エントロピー符号化部130は、量子化部122が出力する量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ(ビットストリーム)を生成し、符号化データを符号化装置1の外部に出力する。エントロピー符号化には、ハフマン符号及び/又はCABAC(Context-based Adaptive Binary Arithmetic Coding)等を用いることができる。エントロピー符号化部130が出力するビットストリームの詳細については後述する。
 また、エントロピー符号化部130は、変換部121から入力された変換処理に関する情報を符号化してビットストリームを出力し、復号側に伝送(シグナリング)する。またエントロピー符号化部130は、予測部180から入力された予測処理に関する情報を符号化してビットストリームを出力し、復号側に伝送する。
 逆量子化・逆変換部140は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部140は、逆量子化部141と、逆変換部142とを有する。
 逆量子化部141は、量子化部122が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部141は、量子化部122が出力する量子化変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部142に出力する。
 逆変換部142は、変換部121が出力する変換種別情報に基づいて、変換部121が行う変換処理に対応する逆変換処理を行う。例えば、変換部121が離散コサイン変換を行った場合、逆変換部142は逆離散コサイン変換を行う。逆変換部142は、逆量子化部141が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部150に出力する。
 合成部150は、逆変換部142が出力する復元予測残差を、予測部180が出力する予測ブロックと画素単位で合成する。合成部150は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号(再構成)し、復号済みブロックをループフィルタ160に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。
 ループフィルタ160は、合成部150が出力する復号済みブロックに対してフィルタ処理を行い、フィルタ処理後の復号済みブロックをメモリ170に出力する。本実施形態において、ループフィルタ160は、適応ループフィルタ(ALF)処理を行う。ループフィルタ160は、輝度信号及び色差信号で互いに異なるフィルタ係数を用いてALF処理を行う。色差信号用のALF処理は、色差信号における色相関を用いたALF処理であるCCALF(Cross-component ALF)を含む。CCALFは、色差信号の第1成分(Cb信号)に対するCCALFと、色差信号の第2成分(Cr信号)に対するCCALFとを含む。ALF処理に用いるフィルタ係数は符号化側から復号側にシグナリングされる。なお、輝度信号用のフィルタ係数及び色差信号用のフィルタ係数は、互いに異なるよう設定可能である。
 メモリ170は、ループフィルタ160が出力するフィルタ処理後の復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ170は、記憶している復号済みブロック若しくは復号済み画像を予測部180に出力する。
 予測部180は、ブロック単位で予測処理を行う。予測部180は、インター予測部181と、イントラ予測部182と、切替部183とを有する。
 インター予測部181は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部181は、メモリ170に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部183に出力する。ここで、インター予測部181は、複数の参照画像を用いるインター予測(典型的には、双予測)及び/又は1つの参照画像を用いるインター予測(片方向予測)の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部181は、インター予測に関する情報(動きベクトル等)をエントロピー符号化部130に出力する。
 イントラ予測部182は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部182は、メモリ170に記憶された復号済み画像のうち、符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部183に出力する。イントラ予測部182は、複数のイントラ予測モードの中から、符号化対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。
 切替部183は、インター予測部181が出力するインター予測ブロックとイントラ予測部182が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを残差生成部110及び合成部150に出力する。
 符号化装置1は、LMCS(Luma mapping and chroma scaling)処理を行うための機能部を有していてもよい。LMCS処理では、入力画像の信号特性に応じて、予測処理及び/又は変換処理などの処理を行う前に原画像の輝度信号の値を、ルックアップテーブル(転換テーブル)を用いたマッピング処理により変更し、マッピング後の輝度信号に対して予測処理、変換処理、及び量子化処理を適用する。また、原画像の色差信号の値を原画像の輝度信号の値に応じてスケーリング処理により変更し、スケーリング後の色差信号に対して予測処理、変換処理、及び量子化処理を適用する。
 (ビットストリームの構成)
 次に、本実施形態に係るエントロピー符号化部130が出力するビットストリームの構成について説明する。図2は、本実施形態に係るビットストリームの構成を示す図である。
 図2(a)に示すように、ビットストリームは、複数のNALユニットと、各NALユニットの先頭に設けられるスタートコードとからなる。スタートコードは4byteであり、NALユニット内ではこの0001(=0x00000001)が発生しないよう制御されている。図2(b)に示すように、各NALユニットは、NALユニットヘッダとペイロードとからなる。
 図3は、NALユニットのタイプを示す図である。NALユニットのタイプは、NALユニットヘッダ内のnal_unit_typeにより識別される。NALユニットのタイプは、VCL(Video Coding Layer)クラスとnon-VCLクラスとに分類される。VCLクラスは、符号化対象CTU(Coding Tree Unit)を含むスライスの符号化ビットストリームに対応するクラスである。VCLクラスは、復号に必要な制御情報、例えば、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、及びAPS(Adaptation Parameter Set)に対応するクラスである。VPS、SPS、PPS、及びAPSは、それぞれ異なるNALユニットによりシグナリングされる。
 図4は、本実施形態に係るVPS、SPS、PPS、及びAPSの関係を示す図である。
 図4に示すように、VPSは、自身のID(vps_video_parameter_set_id)を持ち、SPSから参照される。VPSは、ビットストリームの復号全体に関する情報を格納する。例えば、VPSは、最大レイヤ枚数及びDPB(Decoded Picture Buffer)などの情報を含む。
 SPSは、自身のID(sps_seq_parameter_set_id)を持ち、PPSから参照される。また、SPSは、自身が参照するVPSのID(sps_video_parameter_set_id)を持つ。SPSは、シーケンスの復号に必要な情報を格納する。例えば、SPSは、クロマフォーマット、最大の幅・高さ、ビット深度、サブピクチャ情報(個数、各サブピクチャの開始座標、幅、高さなど)、各符号化ツール(各機能)のシーケンス単位でのオン・オフ制御、及び/又はVUI(Video usability information)などの情報を含む。シーケンス単位でのオン・オフ制御の情報は、スケーリングリストを適用するか否かを示すフラグ(sps_scaling_list_enebled_flag)を含む。
 PPSは、自身のID(pps_pic_parameter_set_id)を持ち、PH(Picture Header)から参照される。また、PPSは、自身が参照するSPSのID(pps_seq_parameter_set_id)を持つ。PPSは、ピクチャ(Picture)の復号に必要な情報を格納する。例えば、PPSは、ピクチャの幅・高さ、タイル分割情報(縦横のタイル数、各行・列の幅・高さなどの定義)、スライス分割情報(スライス分割形状(rect/non-rect)、及び/又はrectの場合は各rectの幅・高さ方向のタイル数)などの情報を含む。
 PHは、ピクチャごとのヘッダ情報である。PHを参照するのはピクチャ内のスライスである。スライスは、自身が含まれるピクチャを暗黙的に判別できるのでPHのIDは定義する必要ない。一方、PHは、参照先のPPSのID(ph_pic_parameter_set_id)を保持する。PHは、当該ピクチャに対する制御情報を格納する。例えば、PHは、当該ピクチャに対する各符号化ツール(各機能)のオン・オフ制御などの情報を含む。PHは、ALF、LMCS、及びスケーリングリストのそれぞれのツールの適用オン・オフを示す情報を含む。ピクチャ単位でのオン・オフ制御の情報は、スケーリングリストを適用するか否かを示すフラグ(ph_scaling_list_present_flag)を含む。PHは、1つ以上のツールを適用する場合、当該ツールのパラメータ情報を格納するAPSのIDを含む。
 APSは、ALF、LMCS、及び/又はスケーリングリストなどの比較的多くのパラメータを伝送する必要がある符号化ツールのためのパラメータ伝送用のシンタックス構造である。APSは、自身のIDを保持しており、このIDはPHから参照される。
 (符号化装置の動作)
 次に、本実施形態に係る符号化装置1の動作について説明する。
 符号化装置1は、上述したように、量子化処理を行う量子化部122と、ALF処理を行うループフィルタ160と、適応パラメータセット(APS)をビットストリームに含めて出力するエントロピー符号化部130とを有する。図5は、本実施形態に係るAPSを示す図である。
 図5に示すように、APSのadaptation_parameter_set_rbsp()は、APSのIDであるadaptation_parameter_set_idと、APSに色差信号用のパラメータが存在するか否かを示すフラグであるchroma_aps_present_flagと、APSにパラメータが含まれる符号化ツール(機能)のタイプを示す情報であるaps_params_typeとを含む。本実施形態において、chroma_aps_present_flagは、色差パラメータ存在フラグに相当する。なお、adaptation_parameter_set_idは5ビットであり、chroma_aps_present_flagは1ビットであり、aps_params_typeは3ビットである。
 aps_params_typeは、APSにパラメータが含まれる符号化ツールのタイプがALFであることを示す「ALF_APS」、APSにパラメータが含まれる符号化ツールのタイプがLMCSであることを示す「LMCS_APS」、及びAPSにパラメータが含まれる符号化ツールのタイプがスケーリングリストであることを示す「SCALING_APS」のいずれかである。本実施形態において、aps_params_typeは、符号化ツールタイプ情報に相当する。
 aps_params_typeが「ALF_APS」である場合、APSは、ALF処理に用いるフィルタ係数のパラメータからなるALFパラメータ(alf_data)を含む。ALFパラメータ(alf_data)には、chroma_aps_present_flagが適用される。具体的には、ALFパラメータ(alf_data)には、chroma_aps_present_flagが引数として適用されており、chroma_aps_present_flagが真(“1”)であるか又は偽(“0”)であるかに応じてALFパラメータ(alf_data)の内容が変化する。これにより、chroma_aps_present_flagを用いて、ALFパラメータ(alf_data)に含まれるパラメータ量の削減を図ることができる。本実施形態では、chroma_aps_present_flagをALFパラメータ(alf_data)の引数として適用する例を記載したが、復号したchroma_aps_present_flagを復号装置内に保持しておき、ALFパラメータ(alf_data)内で参照するよう構成してもよい。たとえば、復号装置のメモリ内の領域ChromaApsPresentFlagに復号したchroma_aps_present_flagの値を格納しておき、ALFパラメータ(alf_data)の復号において前記ChromaApsPresentFlagを参照することでALFパラメータ(alf_data)の内容が変化するよう構成してもよい。
 aps_params_typeが「LMCS_APS」である場合、APSは、LMCS処理を制御するためのパラメータからなるLMCSパラメータ(lmcs_data)を含む。
 aps_params_typeが「SCALING_APS」である場合、APSは、量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ(scaling_list_data)を含む。スケーリングリストパラメータ(scaling_list_data)には、chroma_aps_present_flagが適用される。具体的には、スケーリングリストパラメータ(scaling_list_data)には、chroma_aps_present_flagが引数として適用されており、chroma_aps_present_flagが真(“1”)であるか又は偽(“0”)であるかに応じてスケーリングリストパラメータ(scaling_list_data)の内容が変化する。これにより、chroma_aps_present_flagを用いて、スケーリングリストパラメータ(scaling_list_data)に含まれるパラメータ量の削減を図ることができる。本実施形態では、chroma_aps_present_flagをスケーリングリストパラメータ(scaling_list_data)の引数として適用する例を記載したが、復号したchroma_aps_present_flagを復号装置内に保持しておき、スケーリングリストパラメータ(scaling_list_data)内で参照するよう構成してもよい。たとえば、復号装置のメモリ内の領域ChromaApsPresentFlagに復号したchroma_aps_present_flagの値を格納しておき、スケーリングリストパラメータ(scaling_list_data)の復号において前記ChromaApsPresentFlagを参照することでスケーリングリストパラメータ(scaling_list_data)の内容が変化するよう構成してもよい。
 このように、本実施形態では、APSに色差信号用のパラメータが存在するか否かを示すフラグであるchroma_aps_present_flagは、ALFパラメータ(alf_data)及びスケーリングリストパラメータ(scaling_list_data)に対して共通に適用される。これにより、APSに色差信号用のパラメータが存在するか否かを示すフラグをALFパラメータ(alf_data)とスケーリングリストパラメータ(scaling_list_data)とで別々に設ける場合に比べてフラグ量を削減できる。
 なお、APSは、将来の拡張用にaps_extension_flag等を含む。chroma_aps_present_flagは、将来拡張される新たな符号化ツールのパラメータにさらに適用可能である。
 図6は、本実施形態に係るALFパラメータ(alf_data)を示す図である。
 図6に示すように、ALFパラメータ(alf_data)は、輝度信号用のALFパラメータがAPSに存在するか否かを示すalf_luma_filter_signal_flagを含む。alf_luma_filter_signal_flagは、chroma_aps_present_flagにかかわらず存在する1ビットのフラグである。
 ALFパラメータ(alf_data)は、chroma_aps_present_flagが真(“1”)である場合、色差信号用のALFパラメータがAPSに存在するか否かを示す3つのフラグを含む。これら3つのフラグは、色差フィルタパラメータ存在フラグに相当する。
 具体的には、これら3つのフラグは、色差信号に対してALFを適用するか否かを示すalf_chroma_filter_signal_flagと、色差信号のうちCb信号に対して色相関を用いたALF(CCALF)を適用するか否かを示すalf_cc_cb_filter_signal_flagと、色差信号のうちCr信号に対してCCALFを適用するか否かを示すalf_cc_cr_filter_signal_flagとからなる。
 一方、chroma_aps_present_flagが偽(“0”)である場合、ALFパラメータ(alf_data)は、色差信号用のALFパラメータがAPSに存在するか否かを示す3つのフラグを含まない。これにより、フラグ量を削減できる。例えば、クロマフォーマットが4:0:0(モノクロ)である場合において、chroma_aps_present_flagを偽(“0”)に設定することにより、これらのフラグに相当する3ビットを削減できる。
 図7は、本実施形態に係るスケーリングリストパラメータ(scaling_list_data)を示す図である。図7における取り消し線は、非特許文献2に記載のスケーリングリストパラメータ(scaling_list_data)からの削除部分を示している。
 図7に示すように、スケーリングリストパラメータ(scaling_list_data)は、scaling_matrix_for_lfnst_disabled_flagと、輝度信号用のスケーリングリストパラメータを含む。
 スケーリングリストパラメータ(scaling_list_data)は、chroma_aps_present_flagが真(“1”)である場合、色差信号用のスケーリングリストパラメータを含む。一方、chroma_aps_present_flagが偽(“0”)である場合、スケーリングリストパラメータ(scaling_list_data)は、色差信号用のスケーリングリストパラメータを含まない。これにより、シグナリング量を削減できる。例えば、クロマフォーマットが4:0:0(モノクロ)である場合において、chroma_aps_present_flagを偽(“0”)に設定することにより、色差信号用のスケーリングリストパラメータに相当するシグナリングを削減できる。
 このように、本実施形態に係る符号化装置1は、量子化処理を行う量子化部122と、ALF処理を行うループフィルタ160と、APSをビットストリームに含めて出力するエントロピー符号化部130とを有する。APSは、量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ、及びALF処理に用いるフィルタ係数のパラメータからなるALFパラメータのいずれかを含むパラメータ候補のうち、どのパラメータを当該APSに含むかを示すaps_params_typeと、APSに色差信号用のパラメータが存在するか否かを示すchroma_aps_present_flagとを含む。chroma_aps_present_flagは、スケーリングリストパラメータとALFパラメータとに対して共通に適用される。
 また、本実施形態に係るエントロピー符号化部130は、APSに色差信号用のパラメータが存在することを示すchroma_aps_present_flag(chroma_aps_present_flag=“1”)をAPSに含めない、すなわち、chroma_aps_present_flag=“0”をAPSに含めることに応じて、色差信号用のスケーリングリストパラメータ及び色差信号用のALFパラメータを含まないAPSを出力する。
 また、本実施形態に係るエントロピー符号化部130は、APSに色差信号用のパラメータが存在することを示すchroma_aps_present_flag(chroma_aps_present_flag=“1”)をAPSに含めない、すなわち、chroma_aps_present_flag=“0”をAPSに含めることに応じて、APSに色差信号用のALFパラメータが存在するか否かを示す色差フィルタパラメータ存在フラグを含まないAPSを出力する。
 また、本実施形態に係るエントロピー符号化部130は、APSに色差信号用のパラメータが存在することを示すchroma_aps_present_flag(chroma_aps_present_flag=“1”)をAPSに含めることに応じて、色差信号用のスケーリングリストパラメータ及び色差フィルタパラメータ存在フラグの少なくとも一方を含むAPSを出力する。
 <復号装置>
 次に、本実施形態に係る復号装置について、符号化装置1との相違点を主として説明する。
 (復号装置の構成)
 図8は、本実施形態に係る復号装置2の構成を示す図である。
 図8に示すように、復号装置2は、エントロピー復号部200と、逆量子化・逆変換部210と、合成部220と、ループフィルタ230と、メモリ240と、予測部250とを有する。
 エントロピー復号部200は、符号化データ(ビットストリーム)を復号して、復号対象ブロックに対応する量子化変換係数を逆量子化・逆変換部210に出力する。また、エントロピー復号部200は、変換処理及び量子化処理に関する情報を取得し、変換処理及び量子化処理に関する情報を逆量子化・逆変換部210に出力する。さらに、エントロピー復号部200は、予測処理に関する情報を取得し、予測処理に関する情報を予測部250に出力する。
 逆量子化・逆変換部210は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部210は、逆量子化部211と、逆変換部212とを有する。
 逆量子化部211は、符号化装置1の量子化部122が行う量子化処理に対応する逆量子化処理を行う。逆量子化部211は、エントロピー復号部200が出力する量子化変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部212に出力する。ここで、量子化行列を構成する値からなるリストであるスケーリングリストは、エントロピー復号部200から逆変換部212に出力される。なお、輝度信号用のスケーリングリスト及び色差信号用のスケーリングリストは、互いに異なるよう設定可能である。
 逆変換部212は、符号化装置1の変換部121が行う変換処理に対応する逆変換処理を行う。逆変換部212は、逆量子化部211が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差(復元予測残差)を合成部220に出力する。
 合成部220は、逆変換部212が出力する予測残差と、予測部250が出力する予測ブロックとを画素単位で合成することにより、元のブロックを復号(再構成)し、復号済みブロックをループフィルタ230に出力する。
 ループフィルタ230は、合成部220が出力する復号済みブロックに対してフィルタ処理を行い、フィルタ処理後の復号済みブロックをメモリ240に出力する。本実施形態において、ループフィルタ230は、適応ループフィルタ(ALF)処理を行う。ループフィルタ230は、輝度信号及び色差信号で互いに異なるフィルタ係数を用いてALF処理を行うよう設定可能である。色差信号用のALF処理は、色差信号における色相関を用いたALF処理であるCCALF(Cross-component ALF)を含む。CCALFは、色差信号の第1成分(Cb信号)に対するCCALFと、色差信号の第2成分(Cr信号)に対するCCALFとを含む。ALF処理に用いるフィルタ係数は、エントロピー復号部200からループフィルタ230に出力される。なお、輝度信号用のフィルタ係数及び色差信号用のフィルタ係数は、互いに異なるよう設定可能である。
 メモリ240は、合成部220が出力する復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ240は、復号済みブロック若しくは復号済み画像を予測部250に出力する。また、メモリ240は、フレーム単位の復号済み画像を復号装置2の外部に出力する。
 予測部250は、ブロック単位で予測を行う。予測部250は、インター予測部251と、イントラ予測部252と、切替部253とを有する。
 インター予測部251は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部251は、エントロピー復号部200が出力するインター予測に関する情報(例えば、動きベクトル情報)に基づいて、メモリ240に記憶された復号済み画像を参照画像として用いて符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部253に出力する。
 イントラ予測部252は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部252は、エントロピー復号部200が出力するイントラ予測に関する情報(例えば、イントラ予測モード情報)に応じたイントラ予測モードを用いて、メモリ240に記憶された復号済み画像のうち符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部253に出力する。
 切替部253は、インター予測部251が出力するインター予測ブロックとイントラ予測部252が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部220に出力する。
 なお、復号装置2は、LMCS処理を行うための機能部を有していてもよい。
 (復号装置の動作)
 次に、本実施形態に係る復号装置2の動作について説明する。
 復号装置2は、上述したように、逆量子化処理を行う逆量子化部211と、ALF処理を行うループフィルタ230と、適応パラメータセット(APS)を含むビットストリームを取得するエントロピー復号部200とを有する。
 図5に示すように、APSのadaptation_parameter_set_rbsp()は、APSのIDであるadaptation_parameter_set_idと、APSに色差信号用のパラメータが存在するか否かを示すフラグであるchroma_aps_present_flagと、APSにパラメータが含まれる符号化ツール(機能)のタイプを示す情報であるaps_params_typeとを含む。本実施形態において、chroma_aps_present_flagは、色差パラメータ存在フラグに相当する。
 エントロピー復号部200は、aps_params_typeが「ALF_APS」である場合、APSが、ALF処理に用いるフィルタ係数のパラメータからなるALFパラメータ(alf_data)を含むと解釈する。ALFパラメータ(alf_data)には、chroma_aps_present_flagが適用される。具体的には、ALFパラメータ(alf_data)には、chroma_aps_present_flagが引数として適用されている。エントロピー復号部200は、chroma_aps_present_flagが真(“1”)であるか又は偽(“0”)であるかに応じてALFパラメータ(alf_data)の内容を解釈する。本実施形態では、chroma_aps_present_flagをALFパラメータ(alf_data)の引数として適用する例を記載したが、復号したchroma_aps_present_flagを復号装置2(例えば、エントロピー復号部200)内に保持しておき、ALFパラメータ(alf_data)内で参照するよう構成してもよい。たとえば、復号装置2のメモリ内の領域ChromaApsPresentFlagに復号したchroma_aps_present_flagの値を格納しておき、ALFパラメータ(alf_data)の復号において前記ChromaApsPresentFlagを参照することでALFパラメータ(alf_data)の内容が変化するよう構成してもよい。
 エントロピー復号部200は、aps_params_typeが「LMCS_APS」である場合、APSが、LMCS処理を制御するためのパラメータからなるLMCSパラメータ(lmcs_data)を含むと解釈する。
 エントロピー復号部200は、aps_params_typeが「SCALING_APS」である場合、APSが、量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ(scaling_list_data)を含むと解釈する。スケーリングリストパラメータ(scaling_list_data)には、chroma_aps_present_flagが適用される。具体的には、スケーリングリストパラメータ(scaling_list_data)には、chroma_aps_present_flagが引数として適用される。エントロピー復号部200は、chroma_aps_present_flagが真(“1”)であるか又は偽(“0”)であるかに応じてスケーリングリストパラメータ(scaling_list_data)の内容を解釈する。本実施形態では、chroma_aps_present_flagをスケーリングリストパラメータ(scaling_list_data)の引数として適用する例を記載したが、復号したchroma_aps_present_flagを復号装置2(例えば、エントロピー復号部200)内に保持しておき、スケーリングリストパラメータ(scaling_list_data)内で参照するよう構成してもよい。たとえば、復号装置2のメモリ内の領域ChromaApsPresentFlagに復号したchroma_aps_present_flagの値を格納しておき、スケーリングリストパラメータ(scaling_list_data)の復号において前記ChromaApsPresentFlagを参照することでスケーリングリストパラメータ(scaling_list_data)の内容が変化するよう構成してもよい。
 このように、本実施形態では、APSに色差信号用のパラメータが存在するか否かを示すフラグであるchroma_aps_present_flagは、ALFパラメータ(alf_data)及びスケーリングリストパラメータ(scaling_list_data)に対して共通に適用される。
 図6に示すように、ALFパラメータ(alf_data)は、輝度信号用のALFパラメータがAPSに存在するか否かを示すalf_luma_filter_signal_flagを含む。alf_luma_filter_signal_flagは、chroma_aps_present_flagにかかわらず存在する1ビットのフラグである。
 エントロピー復号部200は、chroma_aps_present_flagが真(“1”)である場合、色差信号用のALFパラメータがAPSに存在するか否かを示す3つのフラグを含むと解釈する。これら3つのフラグは、色差フィルタパラメータ存在フラグに相当する。
 具体的には、これら3つのフラグは、色差信号に対してALFを適用するか否かを示すalf_chroma_filter_signal_flagと、色差信号のうちCb信号に対して色相関を用いたALF(CCALF)を適用するか否かを示すalf_cc_cb_filter_signal_flagと、色差信号のうちCr信号に対してCCALFを適用するか否かを示すalf_cc_cr_filter_signal_flagとからなる。
 一方、chroma_aps_present_flagが偽(“0”)である場合、エントロピー復号部200は、色差信号用のALFパラメータがAPSに存在するか否かを示す3つのフラグを含まないと解釈する。
 図6に示すように、スケーリングリストパラメータ(scaling_list_data)は、scaling_matrix_for_lfnst_disabled_flagと、輝度信号用のスケーリングリストパラメータを含む。
 エントロピー復号部200は、chroma_aps_present_flagが真(“1”)である場合、スケーリングリストパラメータ(scaling_list_data)が色差信号用のスケーリングリストパラメータを含むと解釈する。一方、chroma_aps_present_flagが偽(“0”)である場合、エントロピー復号部200は、スケーリングリストパラメータ(scaling_list_data)が色差信号用のスケーリングリストパラメータを含まないと解釈する。
 このように、本実施形態に係る復号装置2は、APSを含むビットストリームを取得するエントロピー復号部200と、逆量子化処理を行う逆量子化部211と、ALF処理を行うループフィルタ230とを有する。APSは、逆量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ、及びALF処理に用いるフィルタ係数のパラメータからなるALFパラメータのいずれかを含むパラメータ候補のうち、どのパラメータを当該APSに含むかを示すaps_params_typeと、APSに色差信号用のパラメータが存在するか否かを示すchroma_aps_present_flagとを含む。chroma_aps_present_flagは、スケーリングリストパラメータとALFパラメータとに対して共通に適用される。
 本実施形態に係るエントロピー復号部200は、APSに色差信号用のパラメータが存在することを示すchroma_aps_present_flag(chroma_aps_present_flag=“1”)がAPSに含まれない、すなわち、chroma_aps_present_flag=“0”をAPSに含めることに応じて、色差信号用のスケーリングリストパラメータ及び色差信号用のALFパラメータがAPSに含まれないと解釈する。
 本実施形態に係るエントロピー復号部200は、APSに色差信号用のパラメータが存在することを示すchroma_aps_present_flag(chroma_aps_present_flag=“1”)がAPSに含まれない、すなわち、chroma_aps_present_flag=“0”をAPSに含めることに応じて、APSに色差信号用のALFパラメータが存在するか否かを示す色差フィルタパラメータ存在フラグがAPSに含まれないと解釈する。
 本実施形態に係るエントロピー復号部200は、APSに色差信号用のパラメータが存在することを示すchroma_aps_present_flag(chroma_aps_present_flag=“1”)がAPSに含まれることに応じて、色差信号用のスケーリングリストパラメータ及び色差フィルタパラメータ存在フラグの少なくとも一方がAPSに含まれると解釈する。
 <その他の実施形態>
 上述した実施形態において、chroma_aps_present_flagに応じて、ALFに関するパラメータ及びScalingListに関するパラメータのうち、色差信号用のパラメータがストリーム内に含まれるか否かを制御していた。しかしながら、APSを図9に示すように構成してもよい。
 図9に示すように、エントロピー符号化部130は、aps_params_typeに応じて、chroma_aps_present_flagをAPSに含めるか否かを制御してもよい。図9に示す例において、エントロピー符号化部130は、APSのパラメータタイプのうち、色差信号用のパラメータを送るタイプである場合には、chroma_aps_present_flagを送り、そうでなければchroma_aps_present_flagを送らないように制御する。また、エントロピー復号部200は、APSのパラメータタイプのうち、色差信号用のパラメータを送るタイプである場合には、chroma_aps_present_flagがAPSに含まれると解釈し、そうでなければchroma_aps_present_flagがAPSに含まれないと解釈する。
 ALFとScalingListは色差用のパラメータがあるが、LMCSは色差用のパラメータを送らない。このため、LMCSについてchroma_asp_present_flagを送らないように制御することで、LMCSの際の冗長なビットのシグナリングが不要となる。
 そして、エントロピー符号化部130は、chroma_aps_present_flagをAPSに含める場合であって、chroma_aps_present_flagが“0”の場合には、ALF及びScalingListの色差信号用のパラメータがストリーム内に含まれないよう制御し、chroma_aps_present_flagが“1”の場合には、ALF及びScalingListの色差信号用のパラメータがストリーム内に含まれるよう制御してもよい。
 上述した符号化装置1が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、復号装置2が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
 符号化装置1が行う各処理を実行する回路を集積化し、符号化装置1を半導体集積回路(チップセット、SoC)により構成してもよい。復号装置2が行う各処理を実行する回路を集積化し、復号装置2を半導体集積回路(チップセット、SoC)により構成してもよい。
 以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
 本願は、日本国特許出願第2020-067047号(2020年4月2日出願)の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (10)

  1.  量子化処理を行う量子化部と、
     適応ループフィルタ処理を行うループフィルタと、
     適応パラメータセットをビットストリームに含めて出力するエントロピー符号化部と、を備え、
     前記適応パラメータセットは、
     前記量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ、及び前記適応ループフィルタ処理に用いるフィルタ係数のパラメータからなる適応ループフィルタパラメータのいずれかを含むパラメータ候補のうち、どのパラメータを当該適応パラメータセットに含むかを示す符号化ツールタイプ情報と、
     前記適応パラメータセットに色差信号用のパラメータが存在するか否かを示す色差パラメータ存在フラグと、を含み、
     前記色差パラメータ存在フラグは、前記スケーリングリストパラメータと前記適応ループフィルタパラメータとに対して共通に適用されることを特徴とする符号化装置。
  2.  前記エントロピー符号化部は、前記適応パラメータセットに色差信号用のパラメータが存在することを示す前記色差パラメータ存在フラグを前記適応パラメータセットに含めないことに応じて、色差信号用の前記スケーリングリストパラメータ及び色差信号用の前記適応ループフィルタパラメータを含まない前記適応パラメータセットを出力することを特徴とする請求項1に記載の符号化装置。
  3.  前記エントロピー符号化部は、前記適応パラメータセットに色差信号用のパラメータが存在することを示す前記色差パラメータ存在フラグを前記適応パラメータセットに含めないことに応じて、前記適応パラメータセットに色差信号用の前記適応ループフィルタパラメータが存在するか否かを示す色差フィルタパラメータ存在フラグを含まない前記適応パラメータセットを出力することを特徴とする請求項1又は2に記載の符号化装置。
  4.  前記エントロピー符号化部は、前記適応パラメータセットに色差信号用のパラメータが存在することを示す前記色差パラメータ存在フラグを前記適応パラメータセットに含めることに応じて、色差信号用の前記スケーリングリストパラメータ及び前記色差フィルタパラメータ存在フラグの少なくとも一方を含む前記適応パラメータセットを出力することを特徴とする請求項3に記載の符号化装置。
  5.  適応パラメータセットを含むビットストリームを取得するエントロピー復号部と、
     逆量子化処理を行う逆量子化部と、
     適応ループフィルタ処理を行うループフィルタと、を備え、
     前記適応パラメータセットは、
     前記逆量子化処理を制御するスケーリングリストのパラメータからなるスケーリングリストパラメータ、及び前記適応ループフィルタ処理に用いるフィルタ係数のパラメータからなる適応ループフィルタパラメータのいずれかを含むパラメータ候補のうち、どのパラメータを当該適応パラメータセットに含むかを示す符号化ツールタイプ情報と、
     前記適応パラメータセットに色差信号用のパラメータが存在するか否かを示す色差パラメータ存在フラグと、を含み、
     前記色差パラメータ存在フラグは、前記スケーリングリストパラメータと前記適応ループフィルタパラメータとに対して共通に適用されることを特徴とする復号装置。
  6.  前記エントロピー復号部は、前記適応パラメータセットに色差信号用のパラメータが存在することを示す前記色差パラメータ存在フラグが前記適応パラメータセットに含まれないことに応じて、色差信号用の前記スケーリングリストパラメータ及び色差信号用の前記適応ループフィルタパラメータが前記適応パラメータセットに含まれないと解釈することを特徴とする請求項5に記載の復号装置。
  7.  前記エントロピー復号部は、前記適応パラメータセットに色差信号用のパラメータが存在することを示す前記色差パラメータ存在フラグが前記適応パラメータセットに含まれないことに応じて、前記適応パラメータセットに色差信号用の前記適応ループフィルタパラメータが存在するか否かを示す色差フィルタパラメータ存在フラグが前記適応パラメータセットに含まれないと解釈することを特徴とする請求項5又は6に記載の復号装置。
  8.  前記エントロピー復号部は、前記適応パラメータセットに色差信号用のパラメータが存在することを示す前記色差パラメータ存在フラグが前記適応パラメータセットに含まれることに応じて、色差信号用の前記スケーリングリストパラメータ及び前記色差フィルタパラメータ存在フラグの少なくとも一方が前記適応パラメータセットに含まれると解釈することを特徴とする請求項7に記載の復号装置。
  9.  コンピュータを請求項1乃至4のいずれか1項に記載の符号化装置として機能させることを特徴とするプログラム。
  10.  コンピュータを請求項5乃至8のいずれか1項に記載の復号装置として機能させることを特徴とするプログラム。
PCT/JP2021/014155 2020-04-02 2021-04-01 符号化装置、復号装置、及びプログラム WO2021201222A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020227009188A KR20220163342A (ko) 2020-04-02 2021-04-01 부호화 장치, 복호 장치 및 프로그램
CN202180005448.0A CN114450944A (zh) 2020-04-02 2021-04-01 编码装置、解码装置及程序
JP2022512699A JPWO2021201222A1 (ja) 2020-04-02 2021-04-01
US17/655,597 US20220210417A1 (en) 2020-04-02 2022-03-21 Encoding device, decoding device and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020067047 2020-04-02
JP2020-067047 2020-04-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/655,597 Continuation US20220210417A1 (en) 2020-04-02 2022-03-21 Encoding device, decoding device and program

Publications (1)

Publication Number Publication Date
WO2021201222A1 true WO2021201222A1 (ja) 2021-10-07

Family

ID=77929182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014155 WO2021201222A1 (ja) 2020-04-02 2021-04-01 符号化装置、復号装置、及びプログラム

Country Status (5)

Country Link
US (1) US20220210417A1 (ja)
JP (1) JPWO2021201222A1 (ja)
KR (1) KR20220163342A (ja)
CN (1) CN114450944A (ja)
WO (1) WO2021201222A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020067047A (ja) 2018-10-25 2020-04-30 株式会社荏原製作所 給水装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113796074A (zh) * 2019-03-25 2021-12-14 联发科技股份有限公司 用于视频编解码的量化矩阵计算和表示的方法和装置
WO2021153475A1 (en) * 2020-01-28 2021-08-05 Sharp Kabushiki Kaisha Systems and methods for signaling picture information in a slice header in video coding
WO2021191114A1 (en) * 2020-03-26 2021-09-30 Interdigital Vc Holdings France Signaling coding parameters in video coding
CN115606184A (zh) * 2020-04-01 2023-01-13 抖音视界有限公司(Cn) 对量化参数增量的信令通知的控制

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020067047A (ja) 2018-10-25 2020-04-30 株式会社荏原製作所 給水装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K. NASER (INTERDIGITAL), F. LE LéANNEC, T. POIRIER, P. DE LAGRANGE (INTERDIGITAL): "AhG 9: APS Cleanup", 130. MPEG MEETING; 20200420 - 20200424; ALPBACH; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 3 April 2020 (2020-04-03), XP030286119 *
L. LI (TENCENT), X. LI, B. CHOI, S. WENGER, S. LIU (TENCENT): "AHG12: on scaling_list_chroma_present_flag in APS", 130. MPEG MEETING; 20200420 - 20200424; ALPBACH; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 4 April 2020 (2020-04-04), XP030286421 *
L. LI (TENCENT), X. LI, C. AUYEUNG, B. CHOI, S. WENGER, S. LIU (TENCENT): "AHG12: Signaling of chroma presence in PPS and APS", 17. JVET MEETING; 20200107 - 20200117; BRUSSELS; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 1 January 2020 (2020-01-01), XP030223458 *

Also Published As

Publication number Publication date
CN114450944A (zh) 2022-05-06
US20220210417A1 (en) 2022-06-30
KR20220163342A (ko) 2022-12-09
JPWO2021201222A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
JP6274299B2 (ja) 映像復号装置及び映像復号方法
JP7357736B2 (ja) 符号化装置、復号装置、及びプログラム
WO2022130663A1 (ja) 復号装置、プログラム、及び復号方法
WO2021201222A1 (ja) 符号化装置、復号装置、及びプログラム
WO2021215454A1 (ja) 符号化装置、復号装置、及びプログラム
KR20140004018A (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
WO2021132404A1 (ja) 符号化装置、復号装置、及びプログラム
JP2020028066A (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
JP7388900B2 (ja) 符号化装置、復号装置、及びプログラム
US20240129470A1 (en) Encoding device, decoding device and program that encode or decode each target block by dividing an image that includes three or more components
WO2021100450A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
WO2021251398A1 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
WO2021054380A1 (ja) 符号化装置、復号装置、及びプログラム
JP2021093575A (ja) 符号化装置、復号装置、及びプログラム
JP2021093634A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781310

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022512699

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021781310

Country of ref document: EP

Effective date: 20221102

122 Ep: pct application non-entry in european phase

Ref document number: 21781310

Country of ref document: EP

Kind code of ref document: A1