WO2023090932A1 - 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 - Google Patents

영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 Download PDF

Info

Publication number
WO2023090932A1
WO2023090932A1 PCT/KR2022/018296 KR2022018296W WO2023090932A1 WO 2023090932 A1 WO2023090932 A1 WO 2023090932A1 KR 2022018296 W KR2022018296 W KR 2022018296W WO 2023090932 A1 WO2023090932 A1 WO 2023090932A1
Authority
WO
WIPO (PCT)
Prior art keywords
intra prediction
mode
flag
intra
bdpcm
Prior art date
Application number
PCT/KR2022/018296
Other languages
English (en)
French (fr)
Inventor
장형문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2023090932A1 publication Critical patent/WO2023090932A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image encoding/decoding method and apparatus, and a recording medium storing a bitstream, and more specifically, to an image encoding/decoding method and apparatus using intra prediction, and a recording medium storing a bitstream. It is about.
  • HD High Definition
  • UHD Ultra High Definition
  • An inter-prediction technique for predicting pixel values included in the current picture from pictures before or after the current picture as an image compression technique an intra-prediction technique for predicting pixel values included in the current picture using pixel information within the current picture
  • image compression technology can be used to effectively compress and transmit or store image data.
  • This disclosure proposes a method of applying chroma component BDPCM considering DIMD (Decoder-side Intra Motion Derivation).
  • An image decoding method and apparatus obtains a first flag indicating whether an intra derivation mode is applied to a current block, and assigns a block differential pulse (BDPCM) to a chroma component of the current block based on the first flag.
  • BDPCM block differential pulse
  • Coded Modulation is applied, obtains a second flag, derives an intra prediction mode of the chroma component based on the second flag, and generates a prediction sample of the chroma component based on the intra prediction mode. can do.
  • the intra derivation mode may indicate a mode for deriving an intra prediction mode using reconstructed neighboring samples.
  • a first index indicating an intra prediction mode of the chroma component among a plurality of intra prediction modes can be obtained.
  • the plurality of intra prediction modes may include a chroma intra prediction mode for deriving a chroma intra prediction mode using reconstructed neighboring samples.
  • a third flag indicating a prediction direction of the BDPCM may be obtained.
  • the image decoding method and apparatus may obtain the second flag from a bitstream based on whether a predefined condition is satisfied.
  • the second flag may be obtained from the bitstream only when the first flag indicates that the intra derivation mode is not applied to the current block.
  • the second flag indicates that the tree type of the current block is a single tree and the first flag indicates that the intra derivation mode is not applied to the current block. It can be obtained from the bitstream only when indicated.
  • the second flag when the predefined condition is not satisfied, the second flag may be inferred to be 0.
  • An image encoding method and apparatus determine whether an intra-derived mode is applied to a current block, and determine whether BDPCM is applied to a chroma component of the current block based on whether the intra-derived mode is applied. and determine an intra prediction mode of the chroma component based on whether the BDPCM is applied, and generate prediction samples of the chroma component based on the intra prediction mode.
  • the intra derivation mode may indicate a mode for deriving an intra prediction mode using reconstructed neighboring samples.
  • a first index indicating an intra prediction mode of the chroma component among a plurality of intra prediction modes may be encoded.
  • the plurality of intra prediction modes may include a chroma intra prediction mode for deriving a chroma intra prediction mode using reconstructed neighboring samples.
  • a flag indicating a prediction direction of the BDPCM may be encoded.
  • the video encoding method and apparatus may encode a flag indicating whether the BDPCM is applied to the chroma component based on whether a predefined condition is satisfied.
  • a flag indicating whether the BDPCM is applied to the chroma component may be encoded only when the intra derivation mode is not applied to the current block.
  • the flag indicating whether the BDPCM is applied to the chroma component determines whether the tree type of the current block is a single tree and the intra derivation mode for the current block. It can be encoded only when is not applied.
  • a computer-readable digital storage medium in which encoded video/image information that causes an image decoding method to be performed by a decoding device according to the present disclosure is stored.
  • a computer-readable digital storage medium in which video/image information generated by the video encoding method according to the present disclosure is stored is provided.
  • a decoding step can be simplified and compression efficiency can be improved by saving transmitted bits.
  • FIG. 1 illustrates a video/image coding system according to the present disclosure.
  • FIG. 2 shows a schematic block diagram of an encoding device to which an embodiment of the present disclosure may be applied and encoding of a video/video signal is performed.
  • FIG. 3 is a schematic block diagram of a decoding device to which an embodiment of the present disclosure may be applied and decoding of a video/image signal is performed.
  • FIG. 4 illustrates an example of an intra prediction-based video/video encoding method to which an embodiment of the present disclosure may be applied.
  • FIG 5 illustrates an example of an intra prediction-based video/image decoding method to which an embodiment of the present disclosure may be applied.
  • FIG. 6 exemplarily illustrates an intra prediction procedure to which an embodiment of the present disclosure may be applied.
  • FIG. 7 illustrates an image decoding method performed by a decoding apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an intra prediction mode derivation process for color components according to an embodiment of the present disclosure.
  • FIG 9 illustrates a schematic configuration of an intra prediction unit performing an image decoding method according to an embodiment of the present disclosure.
  • FIG. 10 illustrates a video encoding method performed by an encoding apparatus according to an embodiment of the present disclosure.
  • FIG. 11 illustrates a schematic configuration of an intra prediction unit performing a video encoding method according to an embodiment of the present disclosure.
  • FIG. 12 shows an example of a content streaming system to which embodiments of the present disclosure may be applied.
  • first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
  • the terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
  • This disclosure relates to video/image coding.
  • the method/embodiment disclosed herein may be applied to a method disclosed in a versatile video coding (VVC) standard.
  • VVC versatile video coding
  • the method/embodiment disclosed in this specification is an essential video coding (EVC) standard, an AOMedia Video 1 (AV1) standard, a 2nd generation of audio video coding standard (AVS2), or a next-generation video/video coding standard (ex. H.267 or H.268, etc.).
  • EVC essential video coding
  • AV1 AOMedia Video 1
  • AVS2 2nd generation of audio video coding standard
  • next-generation video/video coding standard ex. H.267 or H.268, etc.
  • a video may mean a set of a series of images over time.
  • a picture generally means a unit representing one image in a specific time period
  • a slice/tile is a unit constituting a part of a picture in coding.
  • a slice/tile may include one or more coding tree units (CTUs).
  • CTUs coding tree units
  • One picture may consist of one or more slices/tiles.
  • One tile is a rectangular area composed of a plurality of CTUs in a specific tile column and a specific tile row of one picture.
  • a tile column is a rectangular area of CTUs with a height equal to that of the picture and a width specified by the syntax request of the picture parameter set.
  • a tile row is a rectangular area of CTUs with a height specified by the picture parameter set and a width equal to the width of the picture.
  • CTUs within one tile are consecutively arranged according to the CTU raster scan, whereas tiles within one picture may be consecutively arranged according to the raster scan of the tile.
  • One slice may contain an integer number of complete tiles or an integer number of contiguous complete CTU rows within a tile of a picture that may be exclusively included in a single NAL unit. Meanwhile, one picture may be divided into two or more subpictures.
  • a subpicture can be a rectangular area of one or more slices within a picture.
  • a pixel, pixel, or pel may mean a minimum unit constituting one picture (or image). Also, 'sample' may be used as a term corresponding to a pixel.
  • a sample may generally represent a pixel or a pixel value, may represent only a pixel/pixel value of a luma component, or only a pixel/pixel value of a chroma component.
  • a unit may represent a basic unit of image processing.
  • a unit may include at least one of a specific region of a picture and information related to the region.
  • One unit may include one luma block and two chroma (eg cb, cr) blocks. Unit may be used interchangeably with terms such as block or area depending on the case.
  • an MxN block may include samples (or a sample array) or a set (or array) of transform coefficients consisting of M columns and N rows.
  • a or B may mean “only A”, “only B” or “both A and B”.
  • a or B (A or B)” in the present specification may be interpreted as “A and / or B (A and / or B)”.
  • A, B or C herein means “only A”, “only B”, “only C”, or “any combination of A, B and C ( any combination of A, B and C)”.
  • a slash (/) or comma (comma) used in this specification may mean “and/or”.
  • A/B may mean “A and/or B”. Accordingly, “A/B” can mean “only A”, “only B”, or “both A and B”.
  • A, B, C may mean “A, B or C”.
  • At least one of A and B may mean “only A”, “only B” or “both A and B”.
  • the expression “at least one of A or B” or “at least one of A and/or B” means “at least one of A and B (at least one of A and B)”.
  • At least one of A, B and C means “only A”, “only B”, “only C”, or “A, B and C”. It may mean any combination of A, B and C”. Also, “at least one of A, B or C” or “at least one of A, B and/or C” means It can mean “at least one of A, B and C”.
  • parentheses used in this specification may mean “for example”. Specifically, when “prediction (intra prediction)” is indicated, “intra prediction” may be suggested as an example of “prediction”. In other words, “prediction” in this specification is not limited to “intra prediction”, and “intra prediction” may be suggested as an example of “prediction”. Also, even when indicated as “prediction (ie, intra prediction)”, “intra prediction” may be suggested as an example of “prediction”.
  • FIG. 1 illustrates a video/image coding system according to the present disclosure.
  • a video/image coding system may include a first device (source device) and a second device (receive device).
  • the source device may transmit encoded video/image information or data to a receiving device in a file or streaming form through a digital storage medium or network.
  • the source device may include a video source, an encoding device, and a transmission unit.
  • the receiving device may include a receiving unit, a decoding device, and a renderer.
  • the encoding device may be referred to as a video/image encoding device, and the decoding device may be referred to as a video/image decoding device.
  • a transmitter may be included in an encoding device.
  • a receiver may be included in a decoding device.
  • the renderer may include a display unit, and the display unit may be configured as a separate device or an external component.
  • a video source may acquire video/images through a process of capturing, synthesizing, or generating video/images.
  • a video source may include a video/image capture device and/or a video/image generation device.
  • a video/image capture device may include one or more cameras, a video/image archive containing previously captured video/images, and the like.
  • Video/image generating devices may include computers, tablets and smart phones, etc., and may (electronically) generate video/images.
  • a virtual video/image may be generated through a computer or the like, and in this case, a video/image capture process may be replaced by a process of generating related data.
  • An encoding device may encode an input video/video.
  • the encoding device may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • Encoded data (encoded video/video information) may be output in the form of a bitstream.
  • the transmission unit may transmit the encoded video/image information or data output in the form of a bit stream to the receiving unit of the receiving device in the form of a file or streaming through a digital storage medium or a network.
  • Digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • the transmission unit may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcasting/communication network.
  • the receiving unit may receive/extract the bitstream and transmit it to a decoding device.
  • the decoding device may decode video/images by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to operations of the encoding device.
  • the renderer may render the decoded video/image.
  • the rendered video/image may be displayed through the display unit.
  • FIG. 2 shows a schematic block diagram of an encoding device to which an embodiment of the present disclosure may be applied and encoding of a video/video signal is performed.
  • the encoding device 200 includes an image partitioner 210, a predictor 220, a residual processor 230, an entropy encoder 240, It may include an adder 250, a filter 260, and a memory 270.
  • the prediction unit 220 may include an inter prediction unit 221 and an intra prediction unit 222 .
  • the residual processing unit 230 may include a transformer 232 , a quantizer 233 , a dequantizer 234 , and an inverse transformer 235 .
  • the residual processing unit 230 may further include a subtractor 231 .
  • the adder 250 may be called a reconstructor or a reconstructed block generator.
  • the above-described image segmentation unit 210, prediction unit 220, residual processing unit 230, entropy encoding unit 240, adder 250, and filtering unit 260 may be one or more hardware components ( For example, it may be configured by an encoder chipset or processor). Also, the memory 270 may include a decoded picture buffer (DPB) and may be configured by a digital storage medium. The hardware component may further include a memory 270 as an internal/external component.
  • DPB decoded picture buffer
  • the image divider 210 may divide an input image (or picture or frame) input to the encoding device 200 into one or more processing units.
  • the processing unit may be called a coding unit (CU).
  • the coding unit may be partitioned recursively from a coding tree unit (CTU) or a largest coding unit (LCU) according to a quad-tree binary-tree ternary-tree (QTBTTT) structure.
  • CTU coding tree unit
  • LCU largest coding unit
  • QTBTTT quad-tree binary-tree ternary-tree
  • one coding unit may be divided into a plurality of coding units having a deeper depth based on a quad tree structure, a binary tree structure, and/or a ternary structure.
  • a quad tree structure may be applied first and a binary tree structure and/or ternary structure may be applied later.
  • the binary tree structure may be applied before the quad tree structure.
  • a coding procedure according to the present specification may be performed based on a final coding unit that is not further divided.
  • the largest coding unit can be directly used as the final coding unit, or the coding unit is recursively divided into coding units of lower depths as needed, A coding unit having a size of may be used as a final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and restoration to be described later.
  • the processing unit may further include a prediction unit (PU) or a transform unit (TU).
  • the prediction unit and the transform unit may be divided or partitioned from the above-described final coding unit, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transform unit may be a unit for deriving transform coefficients and/or a unit for deriving a residual signal from transform coefficients.
  • an MxN block may represent a set of samples or transform coefficients consisting of M columns and N rows.
  • a sample may generally represent a pixel or a pixel value, may represent only a pixel/pixel value of a luma component, or only a pixel/pixel value of a chroma component.
  • a sample may be used as a term corresponding to one picture (or image) to a pixel or pel.
  • the encoding device 200 subtracts the prediction signal (prediction block, prediction sample array) output from the inter prediction unit 221 or the intra prediction unit 222 from the input video signal (original block, original sample array) to obtain a residual signal (residual signal, residual block, residual sample array) may be generated, and the generated residual signal is transmitted to the conversion unit 232.
  • a unit for subtracting a prediction signal (prediction block, prediction sample array) from an input video signal (original block, original sample array) in the encoding device 200 may be called a subtraction unit 231 .
  • the prediction unit 220 may perform prediction on a block to be processed (hereinafter referred to as a current block) and generate a predicted block including predicted samples of the current block.
  • the predictor 220 may determine whether intra prediction or inter prediction is applied in units of current blocks or CUs.
  • the prediction unit 220 may generate and transmit various types of information related to prediction, such as prediction mode information, to the entropy encoding unit 240, as will be described later in the description of each prediction mode. Prediction-related information may be encoded in the entropy encoding unit 240 and output in the form of a bitstream.
  • the intra predictor 222 may predict a current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart from the current block by a predetermined distance according to a prediction mode.
  • prediction modes may include one or more non-directional modes and a plurality of directional modes.
  • the non-directional mode may include at least one of a DC mode and a planar mode.
  • the directional mode may include 33 directional modes or 65 directional modes according to the degree of detail of the prediction direction. However, this is an example, and more or less directional modes may be used according to settings.
  • the intra predictor 222 may determine a prediction mode applied to the current block by using a prediction mode applied to neighboring blocks.
  • the inter-prediction unit 221 may derive a prediction block for a current block based on a reference block (reference sample array) specified by a motion vector on a reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on correlation of motion information between neighboring blocks and the current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction information (L0 prediction, L1 prediction, Bi prediction, etc.).
  • a neighboring block may include a spatial neighboring block present in the current picture and a temporal neighboring block present in the reference picture.
  • a reference picture including the reference block and a reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be called a collocated reference block, a collocated CU (colCU), and the like, and a reference picture including the temporal neighboring block may be called a collocated picture (colPic).
  • the inter-prediction unit 221 constructs a motion information candidate list based on neighboring blocks, and provides information indicating which candidate is used to derive the motion vector and/or reference picture index of the current block. can create Inter prediction may be performed based on various prediction modes. For example, in the case of skip mode and merge mode, the inter prediction unit 221 may use motion information of neighboring blocks as motion information of the current block. In the case of the skip mode, the residual signal may not be transmitted unlike the merge mode. In the case of motion vector prediction (MVP) mode, the motion vector of the current block is used as a motion vector predictor and the motion vector difference is signaled. can be instructed.
  • MVP motion
  • the prediction unit 220 may generate a prediction signal based on various prediction methods described later.
  • the predictor may apply intra-prediction or inter-prediction to predict one block, as well as apply intra-prediction and inter-prediction at the same time. This may be called a combined inter and intra prediction (CIIP) mode.
  • the prediction unit may be based on an intra block copy (IBC) prediction mode or a palette mode for block prediction.
  • IBC intra block copy
  • the IBC prediction mode or the palette mode can be used for video/video coding of content such as games, such as screen content coding (SCC).
  • IBC basically performs prediction within the current picture, but may be performed similarly to inter prediction in that a reference block is derived within the current picture.
  • IBC may use at least one of the inter prediction techniques described in this specification.
  • Palette mode can be viewed as an example of intra coding or intra prediction.
  • a sample value within a picture may be signaled based on information about a palette table and a palette index.
  • the prediction signal generated by the prediction unit 220 may be used to generate a restored signal or a residual signal.
  • the transform unit 232 may generate transform coefficients by applying a transform technique to the residual signal.
  • the transform technique uses at least one of a Discrete Cosine Transform (DCT), a Discrete Sine Transform (DST), a Karhunen-Loeve Transform (KLT), a Graph-Based Transform (GBT), or a Conditionally Non-linear Transform (CNT).
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • KLT Karhunen-Loeve Transform
  • GBT Graph-Based Transform
  • CNT Conditionally Non-linear Transform
  • GBT means a transformation obtained from the graph when relation information between pixels is expressed as a graph.
  • CNT means a transformation obtained by generating a prediction signal using all previously reconstructed pixels, and based thereon.
  • the conversion process may be applied to square pixel blocks having the same size, or may be applied to non-square blocks of variable size.
  • the quantization unit 233 quantizes the transform coefficients and transmits them to the entropy encoding unit 240, and the entropy encoding unit 240 may encode the quantized signal (information on the quantized transform coefficients) and output it as a bitstream. there is. Information about the quantized transform coefficients may be referred to as residual information.
  • the quantization unit 233 may rearrange block-type quantized transform coefficients into a one-dimensional vector form based on a coefficient scan order, and the quantized transform coefficients based on the one-dimensional vector form quantized transform coefficients. Information about transform coefficients may be generated.
  • the entropy encoding unit 240 may perform various encoding methods such as exponential Golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit 240 may encode together or separately information necessary for video/image reconstruction (eg, values of syntax elements, etc.) in addition to quantized transform coefficients.
  • Encoded information may be transmitted or stored in a network abstraction layer (NAL) unit unit in the form of a bitstream.
  • the video/video information may further include information on various parameter sets such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS).
  • the video/image information may further include general constraint information.
  • information and/or syntax elements transmitted/signaled from an encoding device to a decoding device may be included in video/image information.
  • the video/image information may be encoded through the above-described encoding procedure and included in the bitstream.
  • the bitstream may be transmitted through a network or stored in a digital storage medium.
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • a transmission unit (not shown) for transmitting the signal output from the entropy encoding unit 240 and/or a storage unit (not shown) for storing may be configured as internal/external elements of the encoding device 200, or the transmission unit It may also be included in the entropy encoding unit 240.
  • the quantized transform coefficients output from the quantization unit 233 may be used to generate a prediction signal.
  • a residual signal residual block or residual samples
  • the adder 250 adds the reconstructed residual signal to the prediction signal output from the inter predictor 221 or the intra predictor 222 to obtain a reconstructed signal (reconstructed picture, reconstructed block, reconstructed sample array) can be created
  • a predicted block may be used as a reconstruction block.
  • the adder 250 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of a block to be processed next in the current picture, or may be used for inter prediction of the next picture after filtering as described below. Meanwhile, luma mapping with chroma scaling (LMCS) may be applied in a picture encoding and/or reconstruction process.
  • LMCS luma mapping with chroma scaling
  • the filtering unit 260 may improve subjective/objective picture quality by applying filtering to the reconstructed signal. For example, the filtering unit 260 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and store the modified reconstructed picture in the memory 270, specifically the memory 270. It can be stored in DPB.
  • the various filtering methods may include deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • the filtering unit 260 may generate various types of filtering-related information and transmit them to the entropy encoding unit 240 . Filtering-related information may be encoded in the entropy encoding unit 240 and output in the form of a bit stream.
  • the modified reconstructed picture transmitted to the memory 270 may be used as a reference picture in the inter prediction unit 221 .
  • the encoding device can avoid prediction mismatch between the encoding device 200 and the decoding device, and can also improve encoding efficiency.
  • the DPB of the memory 270 may store the modified reconstructed picture to be used as a reference picture in the inter prediction unit 221 .
  • the memory 270 may store motion information of a block in a current picture from which motion information is derived (or encoded) and/or motion information of blocks in a previously reconstructed picture.
  • the stored motion information may be transmitted to the inter prediction unit 221 to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory 270 may store reconstructed samples of reconstructed blocks in the current picture and transfer them to the intra predictor 222 .
  • FIG. 3 is a schematic block diagram of a decoding device to which an embodiment of the present disclosure may be applied and decoding of a video/image signal is performed.
  • the decoding device 300 includes an entropy decoder 310, a residual processor 320, a predictor 330, an adder 340, and a filtering unit. (filter, 350) and memory (memoery, 360).
  • the prediction unit 330 may include an inter prediction unit 331 and an intra prediction unit 332 .
  • the residual processing unit 320 may include a dequantizer 321 and an inverse transformer 321 .
  • the above-described entropy decoding unit 310, residual processing unit 320, prediction unit 330, adder 340, and filtering unit 350 may be configured as one hardware component (for example, a decoder chipset or processor) according to an embodiment. ) can be configured.
  • the memory 360 may include a decoded picture buffer (DPB) and may be configured by a digital storage medium.
  • the hardware component may further include a memory 360 as an internal/external component.
  • the decoding device 300 may restore an image corresponding to a process in which the video/image information is processed by the encoding device of FIG. 2 .
  • the decoding device 300 may derive units/blocks based on block division related information obtained from the bitstream.
  • the decoding device 300 may perform decoding using a processing unit applied in the encoding device.
  • a processing unit of decoding may be a coding unit, and a coding unit may be one divided from a coding tree unit or a largest coding unit according to a quad tree structure, a binary tree structure, and/or a ternary tree structure.
  • One or more transform units may be derived from a coding unit.
  • the restored video signal decoded and output through the decoding device 300 may be reproduced through a playback device.
  • the decoding device 300 may receive a signal output from the encoding device of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 310 .
  • the entropy decoding unit 310 may parse the bitstream to derive information (eg, video/image information) required for image restoration (or picture restoration).
  • the video/video information may further include information on various parameter sets such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS).
  • the video/image information may further include general constraint information.
  • the decoding device may decode a picture further based on the information about the parameter set and/or the general restriction information.
  • Signaling/received information and/or syntax elements described later in this specification may be obtained from the bitstream by being decoded through the decoding procedure.
  • the entropy decoding unit 310 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and values of syntax elements required for image reconstruction and quantized values of residual transform coefficients. can output them.
  • the CABAC entropy decoding method receives bins corresponding to each syntax element in a bitstream, and converts syntax element information to be decoded and decoding information of neighboring and decoding object blocks or symbol/bin information decoded in a previous step.
  • a symbol corresponding to the value of each syntax element can be generated by determining a context model, predicting the probability of occurrence of a bin according to the determined context model, and performing arithmetic decoding of the bin.
  • the CABAC entropy decoding method may update the context model by using information of the decoded symbol/bin for the context model of the next symbol/bin after determining the context model.
  • prediction-related information is provided to the prediction unit (inter prediction unit 332 and intra prediction unit 331), and entropy decoding is performed by the entropy decoding unit 310.
  • Dual values that is, quantized transform coefficients and related parameter information may be input to the residual processing unit 320 .
  • the residual processor 320 may derive a residual signal (residual block, residual samples, residual sample array). Also, among information decoded by the entropy decoding unit 310 , information about filtering may be provided to the filtering unit 350 . Meanwhile, a receiving unit (not shown) receiving a signal output from the encoding device may be further configured as an internal/external element of the decoding device 300, or the receiving unit may be a component of the entropy decoding unit 310.
  • a decoding device may be referred to as a video/video/picture decoding device, and the decoding device may be divided into an information decoder (video/video/picture information decoder) and a sample decoder (video/video/picture sample decoder).
  • the information decoder may include the entropy decoding unit 310, and the sample decoder includes the inverse quantization unit 321, an inverse transform unit 322, an adder 340, a filtering unit 350, and a memory 360. ), at least one of an inter prediction unit 332 and an intra prediction unit 331.
  • the inverse quantization unit 321 may inversely quantize the quantized transform coefficients and output transform coefficients.
  • the inverse quantization unit 321 may rearrange the quantized transform coefficients in the form of a 2D block. In this case, the rearrangement may be performed based on a coefficient scanning order performed by the encoding device.
  • the inverse quantization unit 321 may perform inverse quantization on quantized transform coefficients using a quantization parameter (eg, quantization step size information) and obtain transform coefficients.
  • a quantization parameter eg, quantization step size information
  • a residual signal (residual block, residual sample array) is obtained by inverse transforming the transform coefficients.
  • the predictor 320 may perform prediction on a current block and generate a predicted block including predicted samples of the current block.
  • the prediction unit 320 may determine whether intra prediction or inter prediction is applied to the current block based on the information about the prediction output from the entropy decoding unit 310, and determine a specific intra/inter prediction mode.
  • the prediction unit 320 may generate a prediction signal based on various prediction methods described later.
  • the predictor 320 may apply intra-prediction or inter-prediction to predict one block, and may simultaneously apply intra-prediction and inter-prediction. This may be called a combined inter and intra prediction (CIIP) mode.
  • the prediction unit may be based on an intra block copy (IBC) prediction mode or a palette mode for block prediction.
  • IBC intra block copy
  • the IBC prediction mode or the palette mode can be used for video/video coding of content such as games, such as screen content coding (SCC).
  • SCC screen content coding
  • IBC basically performs prediction within the current picture, but may be performed similarly to inter prediction in that a reference block is derived within the current picture. That is, IBC may use at least one of the inter prediction techniques described in this specification.
  • Palette mode can be viewed as an example of intra coding or intra prediction. When the palette mode is applied, information on a palette table and a palette index may be included in the video/
  • the intra predictor 331 may predict a current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart from the current block by a predetermined distance according to a prediction mode.
  • prediction modes may include one or more non-directional modes and a plurality of directional modes.
  • the intra prediction unit 331 may determine a prediction mode applied to the current block by using a prediction mode applied to neighboring blocks.
  • the inter-prediction unit 332 may derive a prediction block for a current block based on a reference block (reference sample array) specified by a motion vector on a reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on correlation of motion information between neighboring blocks and the current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction information (L0 prediction, L1 prediction, Bi prediction, etc.).
  • a neighboring block may include a spatial neighboring block present in the current picture and a temporal neighboring block present in the reference picture.
  • the inter-prediction unit 332 may construct a motion information candidate list based on neighboring blocks and derive a motion vector and/or reference picture index of the current block based on the received candidate selection information. Inter prediction may be performed based on various prediction modes, and the prediction-related information may include information indicating an inter prediction mode for the current block.
  • the adder 340 adds the obtained residual signal to the prediction signal (prediction block, prediction sample array) output from the prediction unit (including the inter prediction unit 332 and/or the intra prediction unit 331) to obtain a reconstructed signal (reconstructed picture, reconstructed block, reconstructed sample array) can be created.
  • a prediction block may be used as a reconstruction block.
  • the adder 340 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next block to be processed in the current picture, output after filtering as described below, or may be used for inter prediction of the next picture. Meanwhile, luma mapping with chroma scaling (LMCS) may be applied in a picture decoding process.
  • LMCS luma mapping with chroma scaling
  • the filtering unit 350 may improve subjective/objective picture quality by applying filtering to the reconstructed signal.
  • the filtering unit 350 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and store the modified reconstructed picture in the memory 360, specifically the DPB of the memory 360. can be sent to
  • the various filtering methods may include deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • a (modified) reconstructed picture stored in the DPB of the memory 360 may be used as a reference picture in the inter prediction unit 332 .
  • the memory 360 may store motion information of a block in the current picture from which motion information is derived (or decoded) and/or motion information of blocks in a previously reconstructed picture.
  • the stored motion information may be transmitted to the inter prediction unit 260 to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory 360 may store reconstructed samples of reconstructed blocks in the current picture and transfer them to the intra prediction unit 331 .
  • the embodiments described in the filtering unit 260, the inter prediction unit 221, and the intra prediction unit 222 of the encoding device 200 are the filtering unit 350 and the inter prediction of the decoding device 300, respectively.
  • the same or corresponding to the unit 332 and the intra predictor 331 may be applied.
  • At least one of quantization/inverse quantization and/or transform/inverse transform may be omitted. If the quantization/inverse quantization is omitted, the quantized transform coefficient may be referred to as a transform coefficient. If the transform/inverse transform is omitted, the transform coefficients may be called coefficients or residual coefficients, or may still be called transform coefficients for unity of expression.
  • quantized transform coefficients and transform coefficients may be referred to as transform coefficients and scaled transform coefficients, respectively.
  • the residual information may include information on transform coefficient(s), and the information on the transform coefficient(s) may be signaled through residual coding syntax.
  • Transform coefficients may be derived based on the residual information (or information about the transform coefficient(s)), and scaled transform coefficients may be derived through inverse transform (scaling) of the transform coefficients.
  • Residual samples may be derived based on an inverse transform (transform) of the scaled transform coefficients. This may be applied/expressed in other parts of this document as well.
  • the predicted block includes prediction samples in the spatial domain (or pixel domain).
  • the predicted block is identically derived from an encoding device and a decoding device, and the encoding device decodes residual information (residual information) between the original block and the predicted block, rather than the original sample value itself of the original block.
  • Video coding efficiency can be increased by signaling to the device.
  • the decoding device may derive a residual block including residual samples based on the residual information, generate a reconstructed block including reconstructed samples by combining the residual block and the predicted block, and reconstruct the reconstructed blocks. It is possible to create a reconstruction picture that contains
  • the residual information may be generated through transformation and quantization procedures.
  • the encoding apparatus derives a residual block between the original block and the predicted block, and derives transform coefficients by performing a transform procedure on residual samples (residual sample array) included in the residual block. And, by performing a quantization procedure on the transform coefficients to derive quantized transform coefficients, related residual information may be signaled to the decoding device (through a bitstream).
  • the residual information may include information such as value information of the quantized transform coefficients, position information, transform technique, transform kernel, and quantization parameter.
  • the decoding device may perform an inverse quantization/inverse transform procedure based on the residual information and derive residual samples (or residual blocks).
  • the decoding device may generate a reconstructed picture based on the predicted block and the residual block.
  • the encoding device may also derive a residual block by inverse quantizing/inverse transforming the quantized transform coefficients for reference for inter prediction of a later picture, and generate a reconstructed picture based on the residual block.
  • Intra prediction may indicate prediction for generating prediction samples for a current block based on reference samples within a picture to which the current block belongs (hereinafter referred to as current picture).
  • neighboring reference samples to be used for intra prediction of the current block may be derived.
  • the neighboring reference samples of the current block include a sample adjacent to the left boundary of the current block of size nWxnH, a total of 2xnH samples adjacent to the bottom-left, and a sample adjacent to the top boundary of the current block. and a total of 2 ⁇ nW samples neighboring the top-right and 1 sample neighboring the top-left of the current block.
  • the neighboring reference samples of the current block may include a plurality of rows of upper neighboring samples and a plurality of rows of left neighboring samples.
  • the neighboring reference samples of the current block include a total of nH samples adjacent to the right boundary of the current block, a total of nW samples adjacent to the bottom boundary of the current block, and the lower right side of the current block of size nWxnH. (bottom-right) may include one neighboring sample.
  • neighboring reference samples of the current block may not be decoded yet or may not be available.
  • the decoder may construct neighboring reference samples to be used for prediction by substituting unavailable samples with available samples.
  • neighboring reference samples to be used for prediction may be configured through interpolation of available samples.
  • a prediction sample may be derived based on the average or interpolation of neighboring reference samples of the current block, and (ii) the neighboring reference samples of the current block Among them, the prediction sample may be derived based on a reference sample existing in a specific (prediction) direction with respect to the prediction sample.
  • Case (i) may be called a non-directional mode or non-angular mode, and case (ii) may be called a directional mode or angular mode.
  • a first neighboring sample positioned in a prediction direction of an intra prediction mode of the current block and a second neighboring sample positioned in a direction opposite to the prediction direction are formed.
  • the prediction sample may be generated through interpolation.
  • LIP linear interpolation intra prediction
  • chroma prediction samples may be generated based on luma samples using a linear model (LM). This case may be called an LM mode or a chroma component LM (CCLM) mode.
  • LM linear model
  • CCLM chroma component LM
  • a temporary prediction sample of the current block is derived based on the filtered neighboring reference samples, and at least one of the existing neighboring reference samples, that is, among the unfiltered neighboring reference samples, derived according to the intra prediction mode.
  • the prediction sample of the current block may be derived by performing a weighted sum of the reference sample and the temporary prediction sample. The above case may be called position dependent intra prediction (PDPC).
  • a reference sample line with the highest prediction accuracy is selected among multiple reference sample lines adjacent to the current block, and a prediction sample is derived using a reference sample located in a prediction direction in the corresponding line, and at this time, the used reference sample line is decoded.
  • Intra prediction encoding may be performed by instructing (signaling) a device. The above case may be referred to as multi-reference line intra prediction or MRL-based intra prediction.
  • intra prediction may be performed based on the same intra prediction mode by dividing the current block into vertical or horizontal sub-partitions, but the neighboring reference samples may be derived and used in units of the sub-partitions. That is, in this case, the intra-prediction mode for the current block is equally applied to the sub-partitions, but intra-prediction performance can be improved in some cases by deriving and using neighboring reference samples in units of the sub-partitions.
  • This prediction method may be called intra prediction based on intra sub-partitions (ISP).
  • the aforementioned intra prediction methods may be referred to as an intra prediction type to be distinguished from an intra prediction mode.
  • the intra prediction type may be called various terms such as an intra prediction technique or an additional intra prediction mode.
  • the intra prediction type (or additional intra prediction mode, etc.) may include at least one of the aforementioned LIP, PDPC, MRL, and ISP.
  • a general intra prediction method excluding specific intra prediction types such as LIP, PDPC, MRL, and ISP may be referred to as a normal intra prediction type.
  • the normal intra prediction type may be generally applied when the specific intra prediction type as described above is not applied, and prediction may be performed based on the aforementioned intra prediction mode. Meanwhile, post-processing filtering may be performed on the derived prediction sample as needed.
  • the intra prediction procedure may include determining an intra prediction mode/type, deriving a neighboring reference sample, and deriving a prediction sample based on an intra prediction mode/type.
  • a post-filtering step may be performed on the derived prediction samples, if necessary.
  • FIG. 4 illustrates an example of an intra prediction-based video/video encoding method to which an embodiment of the present disclosure may be applied.
  • the encoding device performs intra prediction on a current block (S400).
  • the encoding device performs intra prediction on the current block (S400).
  • the encoding device may derive an intra prediction mode/type for a current block, derive neighboring reference samples of the current block, and generate prediction samples within the current block based on the intra prediction mode/type and the neighboring reference samples. do.
  • intra prediction mode/type determination, neighboring reference samples derivation, and prediction samples generation procedures may be performed simultaneously, or one procedure may be performed before another procedure.
  • the encoding device may determine a mode/type applied to the current block from among a plurality of intra prediction modes/types.
  • the encoding device may compare RD costs for the intra prediction modes/types and determine an optimal intra prediction mode/type for the current block.
  • the encoding device may perform a prediction sample filtering procedure.
  • Prediction sample filtering may be referred to as post filtering. Some or all of the prediction samples may be filtered by the prediction sample filtering procedure. In some cases, the prediction sample filtering procedure may be omitted.
  • the encoding device generates residual samples for the current block based on (filtered) prediction samples (S410).
  • the encoding device may compare the predicted samples from original samples of the current block based on phase and derive the residual samples.
  • the encoding device may encode image information including information on the intra prediction (prediction information) and residual information on the residual samples (S420).
  • the prediction information may include the intra prediction mode information and the intra prediction type information.
  • the encoding device may output encoded image information in the form of a bitstream.
  • the output bitstream may be delivered to a decoding device through a storage medium or network.
  • the residual information may include a residual coding syntax described later.
  • the encoding device may transform/quantize the residual samples to derive quantized transform coefficients.
  • the residual information may include information on the quantized transform coefficients.
  • the encoding device may generate a reconstructed picture (including reconstructed samples and a reconstructed block).
  • the encoding apparatus may derive (modified) residual samples by performing inverse quantization/inverse transformation on the quantized transform coefficients again.
  • the reason for performing inverse quantization/inverse transformation after transforming/quantizing the residual samples in this way is to derive the same residual samples as the residual samples derived from the decoding apparatus as described above.
  • the encoding device may generate a reconstruction block including reconstruction samples for the current block based on the prediction samples and the (modified) residual samples.
  • a reconstructed picture for the current picture may be generated based on the reconstructed block.
  • an in-loop filtering procedure or the like may be further applied to the reconstructed picture.
  • FIG 5 illustrates an example of an intra prediction-based video/image decoding method to which an embodiment of the present disclosure may be applied.
  • the decoding device may perform an operation corresponding to the operation performed by the encoding device.
  • Prediction information and residual information may be obtained from a bitstream. Based on the residual information, residual samples for the current block may be derived. Specifically, based on the quantized transform coefficients derived based on the residual information, inverse quantization is performed to derive transform coefficients, and residual samples for the current block are derived by performing inverse transform on the transform coefficients. can do.
  • the decoding device may derive an intra prediction mode/type for the current block based on the received prediction information (intra prediction mode/type information) (S500).
  • the decoding device may derive neighboring reference samples of the current block (S510).
  • the decoding device generates prediction samples within the current block based on the intra prediction mode/type and the neighboring reference samples (S520).
  • the decoding device may perform a prediction sample filtering procedure. Prediction sample filtering may be referred to as post filtering. Some or all of the prediction samples may be filtered by the prediction sample filtering procedure. In some cases, the prediction sample filtering procedure may be omitted.
  • the decoding device generates residual samples for the current block based on the received residual information (S530).
  • the decoding apparatus may generate reconstructed samples for the current block based on the prediction samples and the residual samples, and derive a reconstructed block including the reconstructed samples (S540).
  • a reconstructed picture for the current picture may be generated based on the reconstructed block. As described above, an in-loop filtering procedure or the like may be further applied to the reconstructed picture.
  • the intra prediction mode information may include, for example, flag information (ex. intra_luma_mpm_flag) indicating whether a most probable mode (MPM) or a remaining mode is applied to the current block, and the When MPM is applied to the current block, the prediction mode information may further include index information (ex. intra_luma_mpm_idx) indicating one of the intra prediction mode candidates (MPM candidates).
  • the intra prediction mode candidates (MPM candidates) may be composed of an MPM candidate list or an MPM list. Also, when the MPM is not applied to the current block, the intra prediction mode information includes remaining mode information (ex. intra_luma_mpm_remainder) indicating one of intra prediction modes other than the intra prediction mode candidates (MPM candidates). can include more.
  • the decoding device may determine the intra prediction mode of the current block based on the intra prediction mode information.
  • the intra prediction type information may be implemented in various forms.
  • the intra prediction type information may include intra prediction type index information indicating one of the intra prediction types.
  • the intra prediction type information includes reference sample line information (ex. intra_luma_ref_idx) indicating whether the MRL is applied to the current block and, if applied, which reference sample line is used, and the ISP determines whether the current block ISP flag information (ex. intra_subpartitions_mode_flag) indicating whether the ISP is applied, ISP type information indicating the split type of subpartitions when the ISP is applied (ex.
  • intra_subpartitions_split_flag flag information indicating whether PDCP is applied or application of LIP It may include at least one of flag information indicating whether or not.
  • the intra prediction type information may include a MIP flag indicating whether matrix-based intra prediction (MIP) is applied to the current block.
  • the intra prediction mode information and/or the intra prediction type information may be encoded/decoded through the coding method described in this document.
  • the intra prediction mode information and/or the intra prediction type information may be encoded/decoded through entropy coding (eg CABAC, CAVLC) coding.
  • FIG. 6 exemplarily illustrates an intra prediction procedure to which an embodiment of the present disclosure may be applied.
  • the intra prediction procedure may include determining an intra prediction mode/type, deriving neighboring reference samples, and performing intra prediction (generating prediction samples).
  • the intra prediction procedure may be performed in the encoding device and the decoding device as described above.
  • a coding device in this document may include an encoding device and/or a decoding device.
  • the coding device determines an intra prediction mode/type (S600).
  • the encoding device may determine an intra prediction mode/type applied to the current block among various intra prediction modes/types described above and generate prediction-related information.
  • the prediction related information may include intra prediction mode information indicating an intra prediction mode applied to the current block and/or intra prediction type information indicating an intra prediction type applied to the current block.
  • the decoding device may determine an intra prediction mode/type applied to the current block based on the prediction related information.
  • the intra prediction mode information may include, for example, flag information (ex. intra_luma_mpm_flag) indicating whether a most probable mode (MPM) or a remaining mode is applied to the current block, and the When MPM is applied to the current block, the prediction mode information may further include index information (ex. intra_luma_mpm_idx) indicating one of the intra prediction mode candidates (MPM candidates).
  • the intra prediction mode candidates (MPM candidates) may be composed of an MPM candidate list or an MPM list. Also, when the MPM is not applied to the current block, the intra prediction mode information includes remaining mode information (ex. intra_luma_mpm_remainder) indicating one of intra prediction modes other than the intra prediction mode candidates (MPM candidates). can include more.
  • the decoding device may determine the intra prediction mode of the current block based on the intra prediction mode information.
  • the intra prediction type information may be implemented in various forms.
  • the intra prediction type information may include intra prediction type index information indicating one of the intra prediction types.
  • the intra prediction type information includes reference sample line information (ex. intra_luma_ref_idx) indicating whether the MRL is applied to the current block and, if applied, which reference sample line is used, and the ISP determines whether the current block ISP flag information (ex. intra_subpartitions_mode_flag) indicating whether the ISP is applied, ISP type information indicating the split type of subpartitions when the ISP is applied (ex.
  • intra_subpartitions_split_flag flag information indicating whether PDCP is applied or application of LIP It may include at least one of flag information indicating whether or not.
  • the intra prediction type information may include a MIP flag indicating whether matrix-based intra prediction (MIP) is applied to the current block.
  • the intra prediction mode applied to the current block may be determined using the intra prediction modes of neighboring blocks.
  • the coding device may select one of MPM candidates in a most probable mode (MPM) list derived based on an intra prediction mode and/or additional candidate modes of a neighboring block (eg, a left and/or upper neighboring block) of a current block. may be selected based on the received MPM index, or one of the remaining intra prediction modes not included in the MPM candidates (and planner mode) may be selected based on MPM reminder information (remaining intra prediction mode information).
  • MPM list may or may not include a planner mode as a candidate.
  • the MPM list may have 6 candidates, and if the MPM list does not include the planner mode as a candidate, the mpm list may have 5 candidates.
  • a not planner flag (ex. intra_luma_not_planar_flag) indicating whether the intra prediction mode of the current block is not a planar mode may be signaled.
  • the MPM flag may be signaled first, and the MPM index and not planner flag may be signaled when the value of the MPM flag is 1. Also, the MPM index may be signaled when the value of the not planner flag is 1.
  • the reason why the MPM list is configured not to include the planar mode as a candidate is that the planar mode is not MPM m, rather than that the planar mode is always considered as the MPM, so a not planar flag is first signaled. This is to check whether it is in planner mode first.
  • whether the intra prediction mode applied to the current block is among MPM candidates (and planner mode) or remaining mode may be indicated based on an MPM flag (ex. intra_luma_mpm_flag).
  • a value of 1 of the MPM flag may indicate that the intra prediction mode for the current block is within MPM candidates (and planner mode), and a value of 0 of the MPM flag may indicate that the intra prediction mode for the current block is within MPM candidates (and planner mode). ) can indicate that it is not within.
  • the not planar flag (ex. intra_luma_not_planar_flag) value 0 may indicate that the intra prediction mode of the current block is the planar mode
  • the not planar flag value 1 may indicate that the intra prediction mode of the current block is not the planar mode.
  • the MPM index may be signaled in the form of an mpm_idx or intra_luma_mpm_idx syntax element, and the remaining intra prediction mode information may be signaled in the form of a rem_intra_luma_pred_mode or intra_luma_mpm_remainder syntax element.
  • the remaining intra prediction mode information may indicate one of all intra prediction modes by indexing remaining intra prediction modes not included in the MPM candidates (and planner mode) in order of prediction mode numbers.
  • the intra prediction mode may be an intra prediction mode for a luma component (sample).
  • the intra prediction mode information includes at least one of the MPM flag (ex. intra_luma_mpm_flag), the not planar flag (ex.
  • intra_luma_not_planar_flag the MPM index
  • the MPM index can include various terms such as MPM candidate list and candModeList.
  • a separate mpm flag (ex. intra_mip_mpm_flag), mpm index (ex. intra_mip_mpm_idx), and remaining intra prediction mode information (ex. intra_mip_mpm_remainder) for MIP may be signaled, and the not planar flag may not be signaled.
  • the encoder can use the intra-prediction mode of the neighboring block to encode the intra-prediction mode of the current block.
  • the coding device may configure a most probable modes (MPM) list for the current block.
  • the MPM list may also be referred to as an MPM candidate list.
  • the MPM may mean a mode used to improve coding efficiency by considering the similarity between the current block and neighboring blocks during intra prediction mode coding.
  • the MPM list may include the planner mode or may exclude the planner mode. For example, when the MPM list includes a planner mode, the number of candidates in the MPM list may be 6. And, when the MPM list does not include the planner mode, the number of candidates in the MPM list may be five.
  • the encoding device may perform prediction based on various intra prediction modes, and may determine an optimal intra prediction mode based on rate-distortion optimization (RDO) based thereon.
  • the encoding apparatus may determine the optimal intra prediction mode using only the MPM candidates and planner mode configured in the MPM list, or may further use the remaining intra prediction modes as well as the MPM candidates and planner mode configured in the MPM list.
  • the optimal intra prediction mode may be determined. Specifically, for example, if the intra prediction type of the current block is a specific type (eg, LIP, MRL, or ISP) rather than a normal intra prediction type, the encoding device only selects the MPM candidates and the planner mode of the current block.
  • the optimal intra prediction mode may be determined by considering intra prediction mode candidates for .
  • the intra prediction mode for the current block may be determined only from among the MPM candidates and the planner mode, and in this case, the mpm flag may not be encoded/signaled.
  • the decoding device may estimate that the mpm flag is 1 without separately signaling the mpm flag.
  • the encoding device when the intra prediction mode of the current block is not a planner mode and is one of MPM candidates in the MPM list, the encoding device generates an mpm index (mpm idx) indicating one of the MPM candidates. If the intra prediction mode of the current block is not included in the MPM list, the MPM list indicating the same mode as the intra prediction mode of the current block among the remaining intra prediction modes not included in the MPM list (and planner mode) Generating mainder information (remaining intra prediction mode information).
  • the MPM reminder information may include, for example, an intra_luma_mpm_remainder syntax element.
  • the decoding device obtains intra prediction mode information from the bitstream.
  • the intra prediction mode information may include at least one of an MPM flag, a not planner flag, an MPM index, and MPM reminder information (remaining intra prediction mode information).
  • the decoding device may construct an MPM list.
  • the MPM list is configured identically to the MPM list configured in the encoding device. That is, the MPM list may include intra prediction modes of neighboring blocks or may further include specific intra prediction modes according to a predetermined method.
  • the decoding device may determine the intra prediction mode of the current block based on the MPM list and the intra prediction mode information. For example, when the value of the MPM flag is 1, the decoding device derives a planar mode as an intra prediction mode of the current block (based on a not planar flag) or selects a candidate indicated by the MPM index from among MPM candidates in the MPM list. It can be derived as an intra prediction mode of the current block.
  • the MPM candidates may indicate only candidates included in the MPM list, or may include not only candidates included in the MPM list but also a planner mode that may be applied when the value of the MPM flag is 1.
  • the decoding device when the value of the MPM flag is 0, the decoding device indicates the remaining intra prediction mode information (which may be called mpm remainder information) among the remaining intra prediction modes not included in the MPM list and the planner mode.
  • An intra prediction mode may be derived as an intra prediction mode of the current block.
  • the intra prediction type of the current block is a specific type (eg, LIP, MRL, or ISP)
  • the decoding device may perform the planner mode or the MPM list without parsing/decoding/checking the MPM flag.
  • a candidate indicated by the MPM flag may be derived as an intra prediction mode of the current block.
  • the coding device derives neighboring reference samples of the current block (S610).
  • neighboring reference samples to be used for intra prediction of the current block may be derived.
  • the neighboring reference samples of the current block include a sample adjacent to the left boundary of the current block of size nWxnH, a total of 2xnH samples adjacent to the bottom-left, and a sample adjacent to the top boundary of the current block. and a total of 2 ⁇ nW samples neighboring the top-right and 1 sample neighboring the top-left of the current block.
  • the neighboring reference samples of the current block may include a plurality of rows of upper neighboring samples and a plurality of rows of left neighboring samples.
  • the neighboring reference samples of the current block include a total of nH samples adjacent to the right boundary of the current block, a total of nW samples adjacent to the bottom boundary of the current block, and the lower right side of the current block of size nWxnH. (bottom-right) may include one neighboring sample.
  • the neighboring reference samples may be located on lines 1 to 2 instead of line 0 adjacent to the current block on the left/upper side. In this case, the number of neighboring reference samples may be further increased. Meanwhile, when ISP is applied, the neighboring reference samples may be derived in units of sub-partitions.
  • the coding device derives prediction samples by performing intra prediction on the current block (S620).
  • the coding device may derive the prediction samples based on the intra prediction mode/type and the neighboring samples.
  • the coding device may derive a reference sample according to an intra prediction mode of the current block among neighboring reference samples of the current block, and may derive a prediction sample of the current block based on the reference sample.
  • FIG. 7 illustrates an image decoding method performed by a decoding apparatus according to an embodiment of the present disclosure.
  • the decoding device may obtain a DIMD flag indicating whether decoder side intra mode derivation (DIMD) is applied to the current block (S700).
  • DIMD represents a mode for deriving an intra prediction mode using reconstructed neighboring samples.
  • one or more intra prediction modes may be derived from the reconstructed neighboring samples, and a predictor may be derived using the derived intra prediction modes.
  • gradient calculation may be performed on the reconstructed neighboring samples.
  • a predictor derived using the derived intra prediction mode may be combined with a planar mode predictor.
  • a weighted sum may be performed based on a predetermined weight.
  • the DIMD flag may indicate whether DIMD is applied to the luma component of the current block.
  • the DIMD flag may indicate whether DIMD is applied to at least one of the luma component and chroma component of the current block.
  • the intra prediction mode derived from the DIMD may be included in a Most Probable Mode (MPM) list.
  • a DIMD process may be performed prior to constructing the MPM list.
  • the derived intra prediction mode of a block to which the DIMD is applied may be stored together with the block and may be used to construct an MPM list of an adjacent block.
  • the DIMD may be referred to as an intra derivation mode or an intra prediction mode derivation mode
  • the DIMD flag may be referred to as an intra derivation mode flag, an intra prediction mode derivation mode flag, a first flag, or the like.
  • the decoding device may obtain a BDPCM flag indicating whether Block Differential Pulse Coded Modulation (BDPCM) is applied to the chroma component of the current block based on the DIMD flag (S710).
  • BDPCM flag may be referred to as a BDPCM chroma flag, a chroma BDPCM flag, a second flag, and the like.
  • BDPCM may be performed in a quantized residual domain.
  • the quantized residual domain may include a quantized residual signal (or quantized residual coefficients), and when BDPCM is applied, transformation of the quantized residual signal may be skipped. In other words, when BDPCM is applied, transform may be skipped and quantization may be applied to residual samples.
  • the quantized residual domain may include quantized transform coefficients.
  • BDPCM may be applied to luma components or chroma components.
  • a predicted block (prediction block) including predicted samples of the current block may be generated by intra prediction.
  • an intra prediction mode for performing intra prediction may be signaled through a bitstream or derived based on a prediction direction of BDPCM described later. Also, at this time, the intra prediction mode may be determined as one of a vertical prediction direction mode and a horizontal prediction direction mode.
  • the intra prediction mode is determined as the horizontal prediction direction mode, and the prediction block of the current block may be generated by intra prediction in the horizontal direction.
  • the prediction direction of the BDPCM is vertical
  • the intra prediction mode is determined as the vertical prediction direction mode, and the prediction block of the current block may be generated by intra prediction in the vertical direction.
  • intra prediction in the horizontal direction values of pixels adjacent to the left of the current block may be determined as predicted sample values of samples included in a corresponding row of the current block.
  • vertical intra prediction is applied, a value of a pixel adjacent to an upper end of the current block may be determined as a predicted sample value of samples included in a corresponding column of the current block.
  • the video encoding apparatus may generate a residual block including residual samples of the current block by subtracting the prediction block from the current block.
  • the image encoding apparatus may encode a difference value (difference or delta) between the quantized residual sample and a predictor of the quantized residual sample.
  • the image decoding apparatus may generate a quantized residual block of the current block by obtaining a quantized residual sample of the current block based on the reconstructed difference value and the predictor from the bitstream. Thereafter, the apparatus for decoding an image may reconstruct a current block by inversely quantizing the quantized residual block and then adding the predicted block to the prediction block.
  • BDPCM can be activated at at least one level of sequence, picture, and slice.
  • a BDPCM activation flag indicating whether to activate BDPCM may be signaled at a sequence parameter set (SPS), picture parameter set (PPS), and slice header level. Also, as an example, the BDPCM activation flag may be signaled only when a transform skip mode is activated in sequence, picture, and slice levels.
  • MaxTsSize represents the maximum block size for which transform skip is allowed.
  • the predetermined flag may indicate whether normal intra coding or BDPCM is used. If BDPCM is used, a BDPCM prediction direction flag for indicating whether BDPCM prediction is in the horizontal direction or the vertical direction may be signaled. Then, prediction of the current block may be performed using a horizontal or vertical intra prediction process using unfiltered reference samples.
  • the residual signal of the current block is quantized, and the difference between each quantized residual and a predictor can be coded, wherein the predictor is a previously coded residual of a horizontal or vertical (according to the BDPCM prediction direction) neighboring position.
  • a BDPCM flag indicating whether BDPCM is applied to a chroma component of a current block may be obtained (or parsed) from a bitstream based on whether a predefined condition is satisfied.
  • the predefined condition may include a condition related to whether DIMD is applied to the current block (or DIMD flag). It will be described later in detail with reference to FIG. 8 .
  • the decoding device may derive an intra prediction mode of a chroma component based on the BDPCM flag (S720).
  • the BDPCM flag indicates that BDPCM is not applied to the chroma component
  • a chroma prediction mode index indicating an intra prediction mode of the chroma component among a plurality of intra prediction modes may be signaled. That is, when BDPCM is not applied, normal intra coding may be applied, and an intra prediction mode derivation process for chroma components may be performed.
  • DIMD may be applied to chroma components.
  • a chroma DIMD flag indicating whether DIMD is applied to a chroma component may be signaled.
  • a chroma DIMD mode representing a DIMD mode applied to a chroma component may be included in a chroma intra prediction mode group for chroma intra prediction.
  • the plurality of intra prediction modes may include a chroma DIMD mode for deriving a chroma intra prediction mode using reconstructed neighboring samples.
  • the chroma DIMD mode may be referred to as a chroma intra derivation mode and a chroma intra prediction mode derivation mode.
  • BDPCM prediction direction flag flag information indicating a prediction direction of the BDPCM
  • An intra prediction mode may be determined (or derived) according to the BDPCM prediction direction flag.
  • the intra prediction mode may be determined as either a vertical mode or a horizontal mode.
  • the intra prediction mode may be determined as a mode corresponding to the BDPCM prediction direction among a plurality of predefined prediction modes.
  • There may be three or more BDPCM prediction directions, and in this case, index information indicating the BDPCM prediction directions may be signaled.
  • the decoding device may generate prediction samples of chroma components based on the derived intra prediction mode (S730). That is, prediction samples (or predictors) may be generated using neighboring reference samples according to the prediction direction of the intra prediction mode.
  • FIG. 8 is a diagram illustrating an intra prediction mode derivation process for color components according to an embodiment of the present disclosure.
  • a decoding device may perform an intra prediction mode derivation process for a component.
  • the flowchart shown in FIG. 8 is only an example, and embodiments of the present disclosure are not limited thereto. Some steps may be omitted, or steps not shown in FIG. 8 may be added.
  • the decoding device may determine whether the current component is a luma component or a chroma component. In the case of the luma component, the decoding device checks whether BDPCM is applied to the luma component, and according to the check result, BDPCM or general intra coding may be performed. That is, the decoding device may derive an intra prediction mode and perform intra prediction based on the derived intra prediction mode. As an example, the method described above with reference to FIGS. 4 to 6 may be applied. The decoding device may obtain a BDPCM luma flag indicating whether BDPCM is applied to the luma component, and determine whether BDPCM is applied to the luma component based on the BDPCM luma flag.
  • the decoding device checks whether BDPCM is applied to the chroma component, and according to the check result, BDPCM or general intra coding may be performed.
  • the decoding device may obtain a BDPCM chroma flag indicating whether BDPCM is applied to a chroma component, and determine whether BDPCM is applied to a chroma component based on the BDPCM chroma flag. In this case, the decoding device may check whether a predefined condition is satisfied, and obtain (or parse) the BDPCM chroma flag from the bitstream according to the check result.
  • a DIMD flag indicating whether the DIMD is applied to the current block may be parsed prior to the intra prediction mode derivation process shown in Table 8.
  • the DIMD flag may indicate whether DIMD is applied to at least one of the luma component and chroma component of the current block.
  • a predefined condition Prior to DIMD flag parsing, whether a predefined condition is satisfied may be checked. For example, when the current coding unit is intra prediction, the current component is a luma component, and DIMD is activated at the current sequence level, the DIMD flag can be parsed.
  • intra_bdpcm_luma_flag indicating whether BDPCM is applied to the luma component
  • whether a predefined condition is satisfied may be checked.
  • Table 1 when BDPCM is activated for the current sequence by checking the value of sps_bdpcm_enabled_flag, both the width and height of the current coding unit are smaller than MaxTsSize, and the DIMD flag is 0, intra_bdpcm_luma_flag can be parsed.
  • MaxTsSize may represent the maximum block size for which transform skip is allowed.
  • the DIMD flag may not be considered in parsing the syntax element intra_bdpcm_chroma_flag indicating whether the chroma component is applied. That is, as shown in Table 1, when BDPCM is activated for the current sequence by checking the value of sps_bdpcm_enabled_flag and both the width and height of the current chroma component are smaller than MaxTsSize, intra_bdpcm_chroma_flag can be parsed.
  • the DIMD flag may be transmitted before signaling of the BDPCM flag for the luma component and the intra prediction mode for the luma component.
  • the DIMD flag is 1, the BDPCM flag for the luma component may not be transmitted.
  • the DIMD flag is not signaled, and the BDPCM flag for the chroma component and intra prediction mode signaling for the chroma component may be performed.
  • the DIMD flag may be signaled before the BDPCM flag of the luma component and the signaling of the intra prediction mode.
  • the DIMD flag is 1, the BDPCM flag for the luma component may not be transmitted.
  • the BDPCM flag for the chroma component may be signaled regardless of the DIMD flag.
  • the DIMD mode can be derived by considering all information of the luma and chroma components, so determining whether to apply BDPCM for the luma and chroma components according to the DIMD flag value will have the same result.
  • a method of applying chroma component BDPCM considering DIMD is proposed. That is, according to an embodiment of the present disclosure, a condition considering the DIMD flag may be checked and the BDPCM chroma flag may be signaled when the condition is satisfied. In the single tree type, when the DIMD flag is 1, BDPCM chroma information may not be signaled. Table 2 below illustrates a syntax table according to the proposed method.
  • intra_bdpcm_luma_flag indicating whether BDPCM is applied to the luma component
  • whether a predefined condition is satisfied may be checked.
  • Table 2 when BDPCM is activated for the current sequence by checking the sps_bdpcm_enabled_flag value, both the width and height of the current coding unit are smaller than MaxTsSize, and the DIMD flag is 0, intra_bdpcm_luma_flag can be parsed.
  • MaxTsSize may represent the maximum block size for which transform skip is permitted.
  • intra_bdpcm_chroma_flag indicating whether the chroma component is applied
  • Table 2 when BDPCM is activated for the current sequence by checking the sps_bdpcm_enabled_flag value, both the width and height of the current chroma component are smaller than MaxTsSize, and the DIMD flag is 0, intra_bdpcm_chroma_flag can be parsed.
  • Equation 1 a condition for BDPCM chroma in FIG. 8 may be defined as in Equation 1 below.
  • Equation 1 when 1) the luma component is not valid or the luma component is valid and single tree, and 2) the coding for the chroma component is activated, the condition for the BDPCM chroma of FIG. 8 can be satisfied.
  • the BDPCM chroma flag may be parsed based on whether a predefined condition related to DIMD is satisfied.
  • the BDPCM chroma flag can be parsed only when the tree type of the current block is a single tree and the DIMD flag indicates that DIMD is not applied to the current block.
  • a condition for applying (or permitting) BDPCM chroma may be defined as in Equation 2 below.
  • BDPCM is activated in the current sequence, 2) intra prediction is performed, 3) the width and height of the current block are less than or equal to the maximum transform skip size, and 4) DIMD is applied while being a single tree type. If not, or if it is a dual tree type, the BDPCM chroma application condition may be satisfied. When the BDPCM chroma application condition is satisfied, the BDPCM chroma flag may be parsed.
  • the BDPCM chroma flag may be parsed only when the DIMD flag indicates that DIMD is not applied to the current block.
  • a condition for applying (or allowing) BDPCM chroma may be defined as in Equation 3 below.
  • BDPCM is activated in the current sequence, 2) intra prediction is performed, 3) width and height of the current block are less than or equal to the maximum transform skip size, 4) DIMD is not applied, BDPCM chroma application conditions may be satisfied.
  • the BDPCM chroma application condition is satisfied, the BDPCM chroma flag may be parsed.
  • the BDPCM chroma flag may be inferred to a predefined value.
  • the predefined value may be 0 or 1.
  • FIG 9 illustrates a schematic configuration of an intra prediction unit performing an image decoding method according to an embodiment of the present disclosure.
  • the intra prediction unit 331 may include a DIMD flag acquisition unit 900, a BDPCM flag acquisition unit 910, an intra prediction mode derivation unit 920, and a prediction sample generation unit 930.
  • the DIMD flag acquisition unit 900 may acquire a DIMD flag indicating whether decoder side intra mode derivation (DIMD) is applied to the current block.
  • DIMD decoder side intra mode derivation
  • one or more intra prediction modes may be derived from the reconstructed neighboring samples, and a predictor may be derived using the derived intra prediction modes.
  • gradient calculation may be performed on the reconstructed neighboring samples.
  • a predictor derived using the derived intra prediction mode may be combined with a planar mode predictor.
  • a weighted sum may be performed based on a predetermined weight.
  • the DIMD flag may indicate whether DIMD is applied to the luma component of the current block.
  • the DIMD flag may indicate whether DIMD is applied to at least one of the luma component and chroma component of the current block.
  • the intra prediction mode derived from the DIMD may be included in a Most Probable Mode (MPM) list.
  • a DIMD process may be performed prior to constructing the MPM list.
  • the derived intra prediction mode of a block to which the DIMD is applied may be stored together with the block and may be used to construct an MPM list of an adjacent block.
  • the DIMD may be referred to as an intra derivation mode or an intra prediction mode derivation mode
  • the DIMD flag may be referred to as an intra derivation mode flag, an intra prediction mode derivation mode flag, a first flag, or the like.
  • the BDPCM flag acquisition unit 910 may obtain a BDPCM flag indicating whether Block Differential Pulse Coded Modulation (BDPCM) is applied to the chroma component of the current block based on the DIMD flag.
  • BDPCM flag may be referred to as a BDPCM chroma flag, a chroma BDPCM flag, a second flag, and the like.
  • the embodiments described above with reference to FIGS. 7 and 8 may be equally applied, and redundant descriptions are omitted.
  • the intra prediction mode derivation unit 920 may derive an intra prediction mode of a chroma component based on the BDPCM flag.
  • a chroma prediction mode index indicating an intra prediction mode of the chroma component among a plurality of intra prediction modes may be signaled. That is, when BDPCM is not applied, normal intra coding may be applied, and an intra prediction mode derivation process for chroma components may be performed.
  • DIMD may be applied to chroma components.
  • a chroma DIMD flag indicating whether DIMD is applied to a chroma component may be signaled.
  • a chroma DIMD mode representing a DIMD mode applied to a chroma component may be included in a chroma intra prediction mode group for chroma intra prediction.
  • the plurality of intra prediction modes may include a chroma DIMD mode for deriving a chroma intra prediction mode using reconstructed neighboring samples.
  • the chroma DIMD mode may be referred to as a chroma intra derivation mode and a chroma intra prediction mode derivation mode.
  • BDPCM prediction direction flag flag information indicating a prediction direction of the BDPCM
  • An intra prediction mode may be determined (or derived) according to the BDPCM prediction direction flag.
  • the intra prediction mode may be determined as either a vertical mode or a horizontal mode.
  • the intra prediction mode may be determined as a mode corresponding to the BDPCM prediction direction among a plurality of predefined prediction modes.
  • There may be three or more BDPCM prediction directions, and in this case, index information indicating the BDPCM prediction directions may be signaled.
  • the prediction sample generation unit 930 may generate a prediction sample of a chroma component based on the derived intra prediction mode. That is, the prediction sample generation unit 930 may generate prediction samples (or predictors) by using neighboring reference samples according to the prediction direction of the intra prediction mode.
  • FIG. 10 illustrates a video encoding method performed by an encoding apparatus according to an embodiment of the present disclosure.
  • the video decoding method discussed above with reference to FIGS. 7 to 9 may be equally/similarly applied to the video encoding method according to the present disclosure, and redundant descriptions will be omitted.
  • an encoding device may determine whether decoder side intra mode derivation (DIMD) is applied to a current block (S1000). As an example, the encoding device may signal a DIMD flag indicating whether DIMD is applied to the current block through a bitstream according to the determination result.
  • DIMD decoder side intra mode derivation
  • one or more intra prediction modes may be derived from the reconstructed neighboring samples, and a predictor may be derived using the derived intra prediction modes. In deriving the intra prediction mode, gradient calculation may be performed on the reconstructed neighboring samples.
  • a predictor derived using the derived intra prediction mode may be combined with a planar mode predictor.
  • a weighted sum may be performed based on a predetermined weight.
  • the DIMD flag may indicate whether DIMD is applied to the luma component of the current block.
  • the DIMD flag may indicate whether DIMD is applied to at least one of the luma component and chroma component of the current block.
  • the intra prediction mode derived from the DIMD may be included in a Most Probable Mode (MPM) list.
  • a DIMD process may be performed prior to constructing the MPM list.
  • the derived intra prediction mode of a block to which the DIMD is applied may be stored together with the block and may be used to construct an MPM list of an adjacent block.
  • the DIMD may be referred to as an intra derivation mode or an intra prediction mode derivation mode
  • the DIMD flag may be referred to as an intra derivation mode flag, an intra prediction mode derivation mode flag, a first flag, or the like.
  • the encoding device may determine whether Block Differential Pulse Coded Modulation (BDPCM) is applied to the chroma component of the current block based on whether DIMD is applied (S1010).
  • the encoding device may signal a BDPCM flag indicating whether BDPCM is applied to a chroma component of the current block through a bitstream.
  • the BDPCM flag may be referred to as a BDPCM chroma flag, a chroma BDPCM flag, a second flag, and the like.
  • the embodiments described above with reference to FIGS. 7 and 8 may be equally applied, and redundant descriptions are omitted.
  • the encoding device may derive an intra prediction mode of a chroma component based on whether BDPCM is applied (S1020).
  • a chroma prediction mode index indicating an intra prediction mode of the chroma component among a plurality of intra prediction modes may be signaled. That is, when BDPCM is not applied, normal intra coding may be applied, and an intra prediction mode determination process for chroma components may be performed.
  • DIMD may be applied to chroma components.
  • a chroma DIMD flag indicating whether DIMD is applied to a chroma component may be signaled.
  • a chroma DIMD mode representing a DIMD mode applied to a chroma component may be included in a chroma intra prediction mode group for chroma intra prediction.
  • the plurality of intra prediction modes may include a chroma DIMD mode for deriving a chroma intra prediction mode using reconstructed neighboring samples.
  • the chroma DIMD mode may be referred to as a chroma intra derivation mode and a chroma intra prediction mode derivation mode.
  • BDPCM prediction direction flag flag information indicating a prediction direction of the BDPCM (referred to as a BDPCM prediction direction flag) may be signaled.
  • An intra prediction mode may be determined (or derived) according to the BDPCM prediction direction. When BDPCM is applied, the intra prediction mode may be determined as either a vertical mode or a horizontal mode. Alternatively, when BDPCM is applied, the intra prediction mode may be determined as a mode corresponding to the BDPCM prediction direction among a plurality of predefined prediction modes. There may be three or more BDPCM prediction directions, and in this case, index information indicating the BDPCM prediction directions may be signaled.
  • the encoding device may generate prediction samples of chroma components based on the derived intra prediction mode (S1030). That is, the encoding device may generate prediction samples (or predictors) using neighboring reference samples according to the prediction direction of the intra prediction mode.
  • FIG. 11 illustrates a schematic configuration of an intra prediction unit performing a video encoding method according to an embodiment of the present disclosure.
  • the intra predictor 221 may include a DIMD determiner 1100, a BDPCM determiner 1110, an intra prediction mode determiner 1120, and a prediction sample generator 1130.
  • the DIMD determiner 1100 may determine whether decoder side intra mode derivation (DIMD) is applied to the current block. As an example, the DIMD determiner 1100 may signal a DIMD flag indicating whether DIMD is applied to the current block through a bitstream according to the determination result. As an embodiment, when DIMD is applied, one or more intra prediction modes may be derived from the reconstructed neighboring samples, and a predictor may be derived using the derived intra prediction modes. In deriving the intra prediction mode, gradient calculation may be performed on the reconstructed neighboring samples.
  • DIMD decoder side intra mode derivation
  • a predictor derived using the derived intra prediction mode may be combined with a planar mode predictor.
  • a weighted sum may be performed based on a predetermined weight.
  • the DIMD flag may indicate whether DIMD is applied to the luma component of the current block.
  • the DIMD flag may indicate whether DIMD is applied to at least one of the luma component and chroma component of the current block.
  • the intra prediction mode derived from the DIMD may be included in a Most Probable Mode (MPM) list.
  • a DIMD process may be performed prior to constructing the MPM list.
  • the derived intra prediction mode of a block to which the DIMD is applied may be stored together with the block and may be used to construct an MPM list of an adjacent block.
  • the DIMD may be referred to as an intra derivation mode or an intra prediction mode derivation mode
  • the DIMD flag may be referred to as an intra derivation mode flag, an intra prediction mode derivation mode flag, a first flag, or the like.
  • the BDPCM determiner 1110 may determine whether Block Differential Pulse Coded Modulation (BDPCM) is applied to the chroma component of the current block based on whether DIMD is applied.
  • the encoding device may signal a BDPCM flag indicating whether BDPCM is applied to a chroma component of the current block through a bitstream.
  • the BDPCM flag may be referred to as a BDPCM chroma flag, a chroma BDPCM flag, a second flag, and the like.
  • the embodiments described above with reference to FIGS. 7 and 8 may be equally applied, and redundant descriptions are omitted.
  • the intra prediction mode determiner 1120 may derive an intra prediction mode of a chroma component based on whether BDPCM is applied. As an example, when BDPCM is not applied to the chroma component, a chroma prediction mode index indicating an intra prediction mode of the chroma component among a plurality of intra prediction modes may be signaled. That is, when BDPCM is not applied, normal intra coding may be applied, and an intra prediction mode determination process for chroma components may be performed.
  • DIMD may be applied to chroma components.
  • a chroma DIMD flag indicating whether DIMD is applied to a chroma component may be signaled.
  • a chroma DIMD mode representing a DIMD mode applied to a chroma component may be included in a chroma intra prediction mode group for chroma intra prediction.
  • the plurality of intra prediction modes may include a chroma DIMD mode for deriving a chroma intra prediction mode using reconstructed neighboring samples.
  • the chroma DIMD mode may be referred to as a chroma intra derivation mode and a chroma intra prediction mode derivation mode.
  • BDPCM prediction direction flag flag information indicating a prediction direction of the BDPCM (referred to as a BDPCM prediction direction flag) may be signaled.
  • An intra prediction mode may be determined (or derived) according to the BDPCM prediction direction. When BDPCM is applied, the intra prediction mode may be determined as either a vertical mode or a horizontal mode. Alternatively, when BDPCM is applied, the intra prediction mode may be determined as a mode corresponding to the BDPCM prediction direction among a plurality of predefined prediction modes. There may be three or more BDPCM prediction directions, and in this case, index information indicating the BDPCM prediction directions may be signaled.
  • the prediction sample generation unit 1130 may generate a prediction sample of a chroma component based on the derived intra prediction mode. That is, the prediction sample generation unit 1130 may generate prediction samples (or predictors) by using neighboring reference samples according to the prediction direction of the intra prediction mode.
  • the above-described method according to the embodiments of this document may be implemented in the form of software, and the encoding device and/or decoding device according to this document may be used to display images of, for example, a TV, computer, smartphone, set-top box, display device, etc. It can be included in the device that performs the processing.
  • a module can be stored in memory and executed by a processor.
  • the memory may be internal or external to the processor, and may be coupled with the processor in a variety of well-known means.
  • a processor may include an application-specific integrated circuit (ASIC), other chipsets, logic circuits, and/or data processing devices.
  • Memory may include read-only memory (ROM), random access memory (RAM), flash memory, memory cards, storage media, and/or other storage devices. That is, the embodiments described in this document may be implemented and performed on a processor, microprocessor, controller, or chip. For example, functional units shown in each drawing may be implemented and performed on a computer, processor, microprocessor, controller, or chip. In this case, information for implementation (eg, information on instructions) or an algorithm may be stored in a digital storage medium.
  • a decoding device and an encoding device to which the embodiment(s) of the present specification are applied may be used in a multimedia broadcasting transceiving device, a mobile communication terminal, a home cinema video device, a digital cinema video device, a surveillance camera, a video conversation device, and a video communication device.
  • Real-time communication device mobile streaming device, storage medium, camcorder, video-on-demand (VoD) service providing device, OTT video (Over the top video) device, Internet streaming service providing device, 3D (3D) video device, VR (virtual reality) ) device, AR (argumente reality) device, video phone video device, transportation terminal (ex.
  • OTT video devices may include game consoles, Blu-ray players, Internet-connected TVs, home theater systems, smart phones, tablet PCs, digital video recorders (DVRs), and the like.
  • the processing method to which the embodiment (s) of the present specification is applied may be produced in the form of a program executed by a computer and stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to the embodiment(s) of the present specification may also be stored in a computer-readable recording medium.
  • the computer-readable recording medium includes all types of storage devices and distributed storage devices in which computer-readable data is stored.
  • the computer-readable recording medium includes, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical A data storage device may be included.
  • the computer-readable recording medium includes media implemented in the form of a carrier wave (eg, transmission through the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • embodiment(s) of the present specification may be implemented as a computer program product using program codes, and the program code may be executed on a computer by the embodiment(s) of the present specification.
  • the program code may be stored on a carrier readable by a computer.
  • FIG. 12 shows an example of a content streaming system to which embodiments of the present disclosure may be applied.
  • a content streaming system to which the embodiment(s) of the present specification is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server compresses content input from multimedia input devices such as smart phones, cameras, camcorders, etc. into digital data to generate a bitstream and transmits it to the streaming server.
  • multimedia input devices such as smart phones, cameras, and camcorders directly generate bitstreams
  • the encoding server may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which the embodiment(s) of the present specification is applied, and the streaming server temporarily stores the bitstream in a process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to a user device based on a user request through a web server, and the web server serves as a medium informing a user of what kind of service is available.
  • the web server transmits the request to the streaming server, and the streaming server transmits multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server serves to control commands/responses between devices in the content streaming system.
  • the streaming server may receive content from a media storage and/or encoding server. For example, when content is received from the encoding server, the content can be received in real time. In this case, in order to provide smooth streaming service, the streaming server may store the bitstream for a certain period of time.
  • Examples of the user devices include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, slate PCs, Tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass, HMD (head mounted display)), digital TV, desktop There may be computers, digital signage, and the like.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • navigation devices slate PCs
  • Tablet PC ultrabook
  • wearable device e.g., smartwatch, smart glass, HMD (head mounted display)
  • digital TV desktop There may be computers, digital signage, and the like.
  • Each server in the content streaming system may be operated as a distributed server, and in this case, data received from each server may be distributed and processed.

Abstract

본 개시에 따른 영상 디코딩/인코딩 방법 및 장치는, 현재 블록에 인트라 유도 모드가 적용되는지 여부를 지시하는 제1 플래그를 획득하고, 상기 제1 플래그에 기초하여 상기 현재 블록의 크로마 성분에 BDPCM이 적용되는지 여부를 지시하는 제2 플래그를 획득하고, 상기 제2 플래그에 기초하여 상기 크로마 성분의 인트라 예측 모드를 유도하고, 상기 인트라 예측 모드에 기초하여 상기 크로마 성분의 예측 샘플을 생성할 수 있다.

Description

영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
본 발명은 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체에 관한 것으로, 구체적으로, 인트라 예측(intra prediction)을 이용한 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있고, 이에 따라 고효율의 영상 압축 기술들이 논의되고 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 개시는, DIMD(Decoder-side Intra Motion Derivation)를 고려한 크로마 성분 BDPCM 적용 방법을 제안한다.
본 개시에 따른 영상 디코딩 방법 및 장치는, 현재 블록에 인트라 유도 모드가 적용되는지 여부를 지시하는 제1 플래그를 획득하고, 상기 제1 플래그에 기초하여 상기 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 지시하는 제2 플래그를 획득하고, 상기 제2 플래그에 기초하여 상기 크로마 성분의 인트라 예측 모드를 유도하고, 상기 인트라 예측 모드에 기초하여 상기 크로마 성분의 예측 샘플을 생성할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 인트라 유도 모드는 복원된 주변 샘플을 이용하여 인트라 예측 모드를 유도하는 모드를 나타낼 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치는, 상기 제2 플래그가 상기 크로마 성분에 상기 BDPCM이 적용되지 않음을 지시하는 경우, 복수의 인트라 예측 모드 중에서 상기 크로마 성분의 인트라 예측 모드를 지시하는 제1 인덱스를 획득할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 복수의 인트라 예측 모드는 복원된 주변 샘플을 이용하여 크로마 인트라 예측 모드를 유도하는 크로마 인트라 유도 모드를 포함할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치는, 상기 제2 플래그가 상기 크로마 성분에 상기 BDPCM이 적용됨을 지시하는 경우, 상기 BDPCM의 예측 방향을 지시하는 제3 플래그를 획득할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치는, 미리 정의된 조건을 만족하는지 여부에 기초하여 상기 제2 플래그를 비트스트림으로부터 획득할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 제2 플래그는, 상기 제1 플래그가 상기 현재 블록에 상기 인트라 유도 모드가 적용되지 않음을 지시하는 경우에 한하여 상기 비트스트림으로부터 획득될 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 제2 플래그는, 상기 현재 블록의 트리 타입이 싱글 트리(single tree)이고 상기 제1 플래그가 상기 현재 블록에 상기 인트라 유도 모드가 적용되지 않음을 지시하는 경우에 한하여 상기 비트스트림으로부터 획득될 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 미리 정의된 조건을 만족하지 않는 경우, 상기 제2 플래그는 0으로 추론될 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치는, 현재 블록에 인트라 유도 모드가 적용되는지 여부를 결정하고, 상기 인트라 유도 모드가 적용되는지 여부에 기초하여 상기 현재 블록의 크로마 성분에 BDPCM이 적용되는지 여부를 결정하고, 상기 BDPCM이 적용되는지 여부에 기초하여 상기 크로마 성분의 인트라 예측 모드를 결정하고, 상기 인트라 예측 모드에 기초하여 상기 크로마 성분의 예측 샘플을 생성할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 인트라 유도 모드는 복원된 주변 샘플을 이용하여 인트라 예측 모드를 유도하는 모드를 나타낼 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치는, 상기 크로마 성분에 상기 BDPCM이 적용되지 않는 경우, 복수의 인트라 예측 모드 중에서 상기 크로마 성분의 인트라 예측 모드를 지시하는 제1 인덱스를 인코딩할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 복수의 인트라 예측 모드는 복원된 주변 샘플을 이용하여 크로마 인트라 예측 모드를 유도하는 크로마 인트라 유도 모드를 포함할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치는, 상기 크로마 성분에 상기 BDPCM이 적용되는 경우, 상기 BDPCM의 예측 방향을 지시하는 플래그를 인코딩할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치는, 미리 정의된 조건을 만족하는지 여부에 기초하여 상기 크로마 성분에 상기 BDPCM이 적용되는지 여부를 지시하는 플래그를 인코딩할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 크로마 성분에 상기 BDPCM이 적용되는지 여부를 지시하는 플래그는, 상기 현재 블록에 상기 인트라 유도 모드가 적용되지 않는 경우에 한하여 인코딩될 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 크로마 성분에 상기 BDPCM이 적용되는지 여부를 지시하는 플래그는, 상기 현재 블록의 트리 타입이 싱글 트리(single tree)이고 상기 현재 블록에 상기 인트라 유도 모드가 적용되지 않는 경우에 한하여 인코딩될 수 있다.
본 개시에 따른 디코딩 장치에 의하여 영상 디코딩 방법을 수행하도록 야기하는 인코딩된 비디오/영상 정보가 저장된 컴퓨터 판독 가능한 디지털 저장 매체가 제공된다.
본 개시에 따른 영상 인코딩 방법에 따라 생성된 비디오/영상 정보가 저장된 컴퓨터 판독 가능한 디지털 저장 매체가 제공된다.
본 개시에 따르면, BDPCM 루마와 BDPCM 크로마의 부호화 조건을 동일하게 함으로써 복호화 단계를 간략화 할 수 있을 뿐만 아니라, 전송되는 비트를 절감함으로써, 압축 효율을 개선할 수 있다.
도 1은 본 개시에 따른 비디오/영상 코딩 시스템을 도시한 것이다.
도 2는 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다.
도 3은 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다.
도 4는 본 개시의 실시예가 적용될 수 있는 인트라 예측 기반 비디오/영상 인코딩 방법의 예를 나타낸다.
도 5는 본 개시의 실시예가 적용될 수 있는 인트라 예측 기반 비디오/영상 디코딩 방법의 예를 나타낸다.
도 6은 본 개시의 실시예가 적용될 수 있는 인트라 예측 절차를 예시적으로 나타낸다.
도 7은 본 개시의 일 실시예에 따른 디코딩 장치에 의해 수행되는 영상 디코딩 방법을 도시한 것이다.
도 8은 본 개시의 일 실시예에 따른 컬러 컴포넌트에 대한 인트라 예측 모드 유도 프로세스를 예시하는 도면이다.
도 9는 본 개시의 일 실시예에 따른 영상 디코딩 방법을 수행하는 인트라 예측부의 개략적인 구성을 도시한 것이다.
도 10은 본 개시의 일 실시예에 따른 인코딩 장치에 의해 수행되는 영상 인코딩 방법을 도시한 것이다.
도 11은 본 개시의 일 실시예에 따른 영상 인코딩 방법을 수행하는 인트라 예측부의 개략적인 구성을 도시한 것이다.
도 12는 본 개시의 실시예들이 적용될 수 있는 컨텐츠 스트리밍 시스템의 예를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시는 비디오/영상 코딩에 관한 것이다. 예를 들어, 본 명세서에서 개시된 방법/실시예는 VVC (versatile video coding) 표준에 개시되는 방법에 적용될 수 있다. 또한, 이 명세서에서 개시된 방법/실시예는 EVC (essential video coding) 표준, AV1 (AOMedia Video 1) 표준, AVS2 (2nd generation of audio video coding standard) 또는 차세대 비디오/영상 코딩 표준(ex. H.267 or H.268 등)에 개시되는 방법에 적용될 수 있다.
이 명세서는 비디오/영상 코딩에 관한 다양한 실시예들을 제시하며, 다른 언급이 없는 한 상기 실시예들은 서로 조합되어 수행될 수도 있다.
이 명세서에서 비디오(video)는 시간의 흐름에 따른 일련의 영상(image)들의 집합을 의미할 수 있다. 픽쳐(picture)는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)/타일(tile)은 코딩에 있어서 픽쳐의 일부를 구성하는 단위이다. 슬라이스/타일은 하나 이상의 CTU(coding tree unit)을 포함할 수 있다. 하나의 픽쳐는 하나 이상의 슬라이스/타일로 구성될 수 있다. 하나의 타일은 하나의 픽쳐의 특정 타일 열과 특정 타일 행 내에 있는 복수의 CTU들로 구성된 직사각형 영역이다. 타일 열은 픽쳐의 높이와 동일한 높이와 픽쳐 파라미터 세트의 신택스 요구에 의해 지정된 너비를 갖는 CTU들의 직사각형 영역이다. 타일 행은 픽쳐 파라미터 세트에 의해 지정된 높이와 픽쳐의 너비와 동일한 너비를 갖는 CTU들의 직사각형 영역이다. 하나의 타일 내에 CTU들은 CTU 래스터 스캔에 따라 연속적으로 배열되는 반면, 하나의 픽쳐 내 타일들은 타일의 래스터 스캔에 따라 연속적으로 배열될 수 있다. 하나의 슬라이스는 단일 NAL 유닛에 배타적으로 포함될 수 있는 픽쳐의 타일 내에서 정수 개수의 완전한 타일 또는 정수 개수의 연속적인 완전한 CTU 행을 포함할 수 있다. 한편, 하나의 픽쳐는 둘 이상의 서브픽쳐로 구분될 수 있다. 서브픽쳐는 픽쳐 내 하나 이상의 슬라이스들의 직사각형 영역일 수 있다.
화소, 픽셀(pixel) 또는 펠(pel)은 하나의 픽쳐(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 색차(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낼 수 있다. 유닛은 픽쳐의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 하나의 유닛은 하나의 루마 블록 및 두개의 크로마(ex. cb, cr) 블록을 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들(또는 샘플 어레이) 또는 변환 계수(transform coefficient)들의 집합(또는 어레이)을 포함할 수 있다.
본 명세서에서 “A 또는 B(A or B)”는 “오직 A”, “오직 B” 또는 “A와 B 모두”를 의미할 수 있다. 달리 표현하면, 본 명세서에서 “A 또는 B(A or B)”는 “A 및/또는 B(A and/or B)”으로 해석될 수 있다. 예를 들어, 본 명세서에서 “A, B 또는 C(A, B or C)”는 “오직 A”, “오직 B”, “오직 C”, 또는 “A, B 및 C의 임의의 모든 조합(any combination of A, B and C)”를 의미할 수 있다.
본 명세서에서 사용되는 슬래쉬(/)나 쉼표(comma)는 “및/또는(and/or)”을 의미할 수 있다. 예를 들어, “A/B”는 “A 및/또는 B”를 의미할 수 있다. 이에 따라 “A/B”는 “오직 A”, “오직 B”, 또는 “A와 B 모두”를 의미할 수 있다. 예를 들어, “A, B, C”는 “A, B 또는 C”를 의미할 수 있다.
본 명세서에서 “적어도 하나의 A 및 B(at least one of A and B)”는, “오직 A”, “오직 B” 또는 “A와 B 모두”를 의미할 수 있다. 또한, 본 명세서에서 “적어도 하나의 A 또는 B(at least one of A or B)”나 “적어도 하나의 A 및/또는 B(at least one of A and/or B)”라는 표현은 “적어도 하나의 A 및 B(at least one of A and B)”와 동일하게 해석될 수 있다.
또한, 본 명세서에서 “적어도 하나의 A, B 및 C(at least one of A, B and C)”는, “오직 A”, “오직 B”, “오직 C”, 또는 “A, B 및 C의 임의의 모든 조합(any combination of A, B and C)”를 의미할 수 있다. 또한, “적어도 하나의 A, B 또는 C(at least one of A, B or C)”나 “적어도 하나의 A, B 및/또는 C(at least one of A, B and/or C)”는 “적어도 하나의 A, B 및 C(at least one of A, B and C)”를 의미할 수 있다.
또한, 본 명세서에서 사용되는 괄호는 “예를 들어(for example)”를 의미할 수 있다. 구체적으로, “예측(인트라 예측)”로 표시된 경우, “예측”의 일례로 “인트라 예측”이 제안된 것일 수 있다. 달리 표현하면 본 명세서의 “예측”은 “인트라 예측”으로 제한(limit)되지 않고, “인트라 예측”이 “예측”의 일례로 제안될 것일 수 있다. 또한, “예측(즉, 인트라 예측)”으로 표시된 경우에도, “예측”의 일례로 “인트라 예측”이 제안된 것일 수 있다.
본 명세서에서 하나의 도면 내에서 개별적으로 설명되는 기술적 특징은, 개별적으로 구현될 수도 있고, 동시에 구현될 수도 있다.
도 1은 본 개시에 따른 비디오/영상 코딩 시스템을 도시한 것이다.
도 1을 참조하면, 비디오/영상 코딩 시스템은 제1 장치(소스 디바이스) 및 제2 장치(수신 디바이스)를 포함할 수 있다.
소스 디바이스는 인코딩된 비디오(video)/영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스로 전달할 수 있다. 상기 소스 디바이스는 비디오 소스, 인코딩 장치, 전송부를 포함할 수 있다. 상기 수신 디바이스는 수신부, 디코딩 장치 및 렌더러를 포함할 수 있다. 상기 인코딩 장치는 비디오/영상 인코딩 장치라고 불릴 수 있고, 상기 디코딩 장치는 비디오/영상 디코딩 장치라고 불릴 수 있다. 송신기는 인코딩 장치에 포함될 수 있다. 수신기는 디코딩 장치에 포함될 수 있다. 렌더러는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
인코딩 장치는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.
전송부는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부는 상기 비트스트림을 수신/추출하여 디코딩 장치로 전달할 수 있다.
디코딩 장치는 인코딩 장치의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 디코딩할 수 있다.
렌더러는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
도 2는 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 인코딩 장치(200)는 영상 분할부(image partitioner, 210), 예측부(predictor, 220), 레지듀얼 처리부(residual processor, 230), 엔트로피 인코딩부(entropy encoder, 240), 가산부(adder, 250), 필터링부(filter, 260) 및 메모리(memory, 270)를 포함하여 구성될 수 있다. 예측부(220)는 인터 예측부(221) 및 인트라 예측부(222)를 포함할 수 있다. 레지듀얼 처리부(230)는 변환부(transformer, 232), 양자화부(quantizer 233), 역양자화부(dequantizer 234), 역변환부(inverse transformer, 235)를 포함할 수 있다. 레지듀얼 처리부(230)은 감산부(subtractor, 231)를 더 포함할 수 있다. 가산부(250)는 복원부(reconstructor) 또는 복원 블록 생성부(recontructged block generator)로 불릴 수 있다. 상술한 영상 분할부(210), 예측부(220), 레지듀얼 처리부(230), 엔트로피 인코딩부(240), 가산부(250) 및 필터링부(260)는 실시예에 따라 하나 이상의 하드웨어 컴포넌트(예를 들어 인코더 칩셋 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(270)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구성될 수도 있다. 상기 하드웨어 컴포넌트는 메모리(270)을 내/외부 컴포넌트로 더 포함할 수도 있다.
영상 분할부(210)는 인코딩 장치(200)에 입력된 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 상기 처리 유닛은 코딩 유닛(coding unit, CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBTTT (Quad-tree binary-tree ternary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다.
예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조, 및/또는 터너리 구조를 기반으로 하위(deeper) 뎁스를 가진 복수의 코딩 유닛들로 분할될 수 있다. 이 경우, 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조 및/또는 터너리 구조가 나중에 적용될 수 있다. 또는, 바이너리 트리 구조가 쿼드 트리 구조보다 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 명세서에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 하위 뎁스의 코딩 유닛들로 분할되어, 최적의 크기를 가진 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서, 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다.
다른 예로, 상기 처리 유닛은 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)을 더 포함할 수 있다. 이 경우, 상기 예측 유닛 및 상기 변환 유닛은 각각 상술한 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 색차(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다. 샘플은 하나의 픽쳐(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.
인코딩 장치(200)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부(221) 또는 인트라 예측부(222)로부터 출력된 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있고, 생성된 레지듀얼 신호는 변환부(232)로 전송된다. 이 경우, 인코딩 장치(200) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(231)라고 불릴 수 있다.
예측부(220)는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록(predicted block)을 생성할 수 있다. 예측부(220)는 현재 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부(220)는 각 예측 모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보 등 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(240)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(240)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
인트라 예측부(222)는 현재 픽쳐 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 현재 블록으로부터 일정 거리만큼 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 하나 이상의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는, DC 모드 또는 플래너 모드(Planar 모드) 중 적어도 하나를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 33개의 방향성 모드 또는 65개의 방향성 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 모드들이 사용될 수 있다. 인트라 예측부(222)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(221)는 참조 픽쳐 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해, 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향 정보(L0 예측, L1 예측, Bi 예측 등)를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽쳐 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽쳐에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 참조 블록을 포함하는 참조 픽쳐와 상기 시간적 주변 블록을 포함하는 참조 픽쳐는 동일할 수도 있고, 다를 수도 있다. 상기 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 상기 시간적 주변 블록을 포함하는 참조 픽쳐는 동일 위치 픽쳐(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 인터 예측부(221)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 상기 현재 블록의 움직임 벡터 및/또는 참조 픽쳐 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어, 스킵 모드와 머지 모드의 경우에, 인터 예측부(221)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)을 시그날링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.
예측부(220)는 후술하는 다양한 예측 방법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 이는 combined inter and intra prediction (CIIP) 모드라고 불릴 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 인트라 블록 카피(intra block copy, IBC) 예측 모드에 기반할 수도 있고 또는 팔레트 모드(palette mode)에 기반할 수도 있다. 상기 IBC 예측 모드 또는 팔레트 모드는 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 기본적으로 현재 픽쳐 내에서 예측을 수행하나, 현재 픽쳐 내에서 참조 블록을 도출하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 명세서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다. 팔레트 모드는 인트라 코딩 또는 인트라 예측의 일 예로 볼 수 있다. 팔레트 모드가 적용되는 경우 팔레트 테이블 및 팔레트 인덱스에 관한 정보를 기반으로 픽쳐 내 샘플 값을 시그날링할 수 있다. 상기 예측부(220)를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나, 레지듀얼 신호를 생성하기 위해 이용될 수 있다.
변환부(232)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)를 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때, 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀를 이용하여 예측 신호를 생성하고, 그에 기초하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
양자화부(233)는 변환 계수들을 양자화하여 엔트로피 인코딩부(240)로 전송되고, 엔트로피 인코딩부(240)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 상기 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(233)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 상기 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다.
엔트로피 인코딩부(240)는 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(240)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예컨대, 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다.
인코딩된 정보(ex. 인코딩된 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽쳐 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한, 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)을 더 포함할 수 있다. 본 명세서에서 인코딩 장치에서 디코딩 장치로 전달/시그날링되는 정보 및/또는 신택스 요소들은 비디오/영상 정보에 포함될 수 있다. 상기 비디오/영상 정보는 상술한 인코딩 절차를 통하여 인코딩되어 상기 비트스트림에 포함될 수 있다. 상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서, 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(240)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(200)의 내/외부 엘리먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(240)에 포함될 수도 있다.
양자화부(233)로부터 출력된 양자화된 변환 계수들은 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 역양자화부(234) 및 역변환부(235)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호(레지듀얼 블록 or 레지듀얼 샘플들)를 복원할 수 있다. 가산부(250)는 복원된 레지듀얼 신호를 인터 예측부(221) 또는 인트라 예측부(222)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽쳐, 복원 블록, 복원 샘플 어레이)가 생성될 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(250)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽쳐 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽쳐의 인터 예측을 위하여 사용될 수도 있다. 한편, 픽쳐 인코딩 및/또는 복원 과정에서 LMCS (luma mapping with chroma scaling)가 적용될 수도 있다.
필터링부(260)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어, 필터링부(260)은 복원 픽쳐에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽쳐를 생성할 수 있고, 상기 수정된 복원 픽쳐를 메모리(270), 구체적으로 메모리(270)의 DPB에 저장할 수 있다. 상기 다양한 필터링 방법은, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다. 필터링부(260)은 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(240)로 전달할 수 있다. 필터링 관한 정보는 엔트로피 인코딩부(240)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
메모리(270)에 전송된 수정된 복원 픽쳐는 인터 예측부(221)에서 참조 픽쳐로 사용될 수 있다. 인코딩 장치는 이를 통하여 인터 예측이 적용되는 경우, 인코딩 장치(200)와 디코딩 장치에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다.
메모리(270)의 DPB는 수정된 복원 픽쳐를 인터 예측부(221)에서의 참조 픽쳐로 사용하기 위해 저장할 수 있다. 메모리(270)는 현재 픽쳐 내 움직임 정보가 도출된(또는 인코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽쳐 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(221)에 전달할 수 있다. 메모리(270)는 현재 픽쳐 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(222)에 전달할 수 있다.
도 3은 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 디코딩 장치(300)는 엔트로피 디코딩부(entropy decoder, 310), 레지듀얼 처리부(residual processor, 320), 예측부(predictor, 330), 가산부(adder, 340), 필터링부(filter, 350) 및 메모리(memoery, 360)를 포함하여 구성될 수 있다. 예측부(330)는 인터 예측부(331) 및 인트라 예측부(332)를 포함할 수 있다. 레지듀얼 처리부(320)는 역양자화부(dequantizer, 321) 및 역변환부(inverse transformer, 321)를 포함할 수 있다.
상술한 엔트로피 디코딩부(310), 레지듀얼 처리부(320), 예측부(330), 가산부(340) 및 필터링부(350)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 칩셋 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(360)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구성될 수도 있다. 상기 하드웨어 컴포넌트는 메모리(360)을 내/외부 컴포넌트로 더 포함할 수도 있다.
비디오/영상 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(300)는 도 2의 인코딩 장치에서 비디오/영상 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(300)는 상기 비트스트림으로부터 획득한 블록 분할 관련 정보를 기반으로 유닛들/블록들을 도출할 수 있다. 디코딩 장치(300)는 인코딩 장치에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서, 디코딩의 처리 유닛은 코딩 유닛일 수 있고, 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조 및/또는 터너리 트리 구조에 따라서 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 분할된 것일 수 있다. 코딩 유닛으로부터 하나 이상의 변환 유닛이 도출될 수 있다. 그리고, 디코딩 장치(300)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.
디코딩 장치(300)는 도 2의 인코딩 장치로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(310)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(310)는 상기 비트스트림을 파싱하여 영상 복원(또는 픽쳐 복원)에 필요한 정보(ex. 비디오/영상 정보)를 도출할 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽쳐 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)을 더 포함할 수 있다. 디코딩 장치는 상기 파라미터 세트에 관한 정보 및/또는 상기 일반 제한 정보를 더 기반으로 픽쳐를 디코딩할 수 있다. 본 명세서에서 후술되는 시그날링/수신되는 정보 및/또는 신택스 요소들은 상기 디코딩 절차를 통하여 디코딩되어 상기 비트스트림으로부터 획득될 수 있다. 예컨대, 엔트로피 디코딩부(310)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 요소의 값, 레지듀얼에 관한 변환 계수의 양자화된 값들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(310)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(332) 및 인트라 예측부(331))로 제공되고, 엔트로피 디코딩부(310)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 레지듀얼 처리부(320)로 입력될 수 있다. 레지듀얼 처리부(320)는 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플들, 레지듀얼 샘플 어레이)를 도출할 수 있다. 또한, 엔트로피 디코딩부(310)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(350)으로 제공될 수 있다. 한편, 인코딩 장치로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(300)의 내/외부 엘리먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(310)의 구성요소일 수도 있다.
한편, 본 명세서에 따른 디코딩 장치는 비디오/영상/픽쳐 디코딩 장치라고 불릴 수 있고, 상기 디코딩 장치는 정보 디코더(비디오/영상/픽쳐 정보 디코더) 및 샘플 디코더(비디오/영상/픽쳐 샘플 디코더)로 구분할 수도 있다. 상기 정보 디코더는 상기 엔트로피 디코딩부(310)를 포함할 수 있고, 상기 샘플 디코더는 상기 역양자화부(321), 역변환부(322), 가산부(340), 필터링부(350), 메모리(360), 인터 예측부(332) 및 인트라 예측부(331) 중 적어도 하나를 포함할 수 있다.
역양자화부(321)에서는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 출력할 수 있다. 역양자화부(321)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우, 상기 재정렬은 인코딩 장치에서 수행된 계수 스캔 순서를 기반하여 재정렬을 수행할 수 있다. 역양자화부(321)는 양자화 파라미터(예를 들어 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)를 획득할 수 있다.
역변환부(322)에서는 변환 계수들를 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득하게 된다.
예측부(320)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록(predicted block)을 생성할 수 있다. 예측부(320)는 엔트로피 디코딩부(310)로부터 출력된 상기 예측에 관한 정보를 기반으로 상기 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다.
예측부(320)는 후술하는 다양한 예측 방법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부(320)는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 이는 combined inter and intra prediction (CIIP) 모드라고 불릴 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 인트라 블록 카피(intra block copy, IBC) 예측 모드에 기반할 수도 있고 또는 팔레트 모드(palette mode)에 기반할 수도 있다. 상기 IBC 예측 모드 또는 팔레트 모드는 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 기본적으로 현재 픽쳐 내에서 예측을 수행하나 현재 픽쳐 내에서 참조 블록을 도출하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 명세서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다. 팔레트 모드는 인트라 코딩 또는 인트라 예측의 일 예로 볼 수 있다. 팔레트 모드가 적용되는 경우 팔레트 테이블 및 팔레트 인덱스에 관한 정보가 상기 비디오/영상 정보에 포함되어 시그날링될 수 있다.
인트라 예측부(331)는 현재 픽쳐 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 현재 블록으로부터 일정 거리만큼 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 하나 이상의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(331)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(332)는 참조 픽쳐 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향 정보(L0 예측, L1 예측, Bi 예측 등)를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽쳐 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽쳐에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(332)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신한 후보 선택 정보를 기반으로 상기 현재 블록의 움직임 벡터 및/또는 참조 픽쳐 인덱스를 도출할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 상기 예측에 관한 정보는 상기 현재 블록에 대한 인터 예측 모드를 지시하는 정보를 포함할 수 있다.
가산부(340)는 획득된 레지듀얼 신호를 예측부(인터 예측부(332) 및/또는 인트라 예측부(331) 포함)로부터 출력된 예측 신호(예측 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽쳐, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측 블록이 복원 블록으로 사용될 수 있다.
가산부(340)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽쳐 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 출력될 수도 있고 또는 다음 픽쳐의 인터 예측을 위하여 사용될 수도 있다. 한편, 픽쳐 디코딩 과정에서 LMCS (luma mapping with chroma scaling)가 적용될 수도 있다.
필터링부(350)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(350)는 복원 픽쳐에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽쳐를 생성할 수 있고, 상기 수정된 복원 픽쳐를 메모리(360), 구체적으로 메모리(360)의 DPB에 전송할 수 있다. 상기 다양한 필터링 방법은, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다.
메모리(360)의 DPB에 저장된 (수정된) 복원 픽쳐는 인터 예측부(332)에서 참조 픽쳐로 사용될 수 있다. 메모리(360)는 현재 픽쳐 내 움직임 정보가 도출된(또는 디코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽쳐 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(260)에 전달할 수 있다. 메모리(360)는 현재 픽쳐 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(331)에 전달할 수 있다.
본 명세서에서, 인코딩 장치(200)의 필터링부(260), 인터 예측부(221) 및 인트라 예측부(222)에서 설명된 실시예들은 각각 디코딩 장치(300)의 필터링부(350), 인터 예측부(332) 및 인트라 예측부(331)에도 동일 또는 대응되도록 적용될 수 있다.
본 문서에서 양자화/역양자화 및/또는 변환/역변환 중 적어도 하나는 생략될 수 있다. 상기 양자화/역양자화가 생략되는 경우, 상기 양자화된 변환 계수는 변환 계수라고 불릴 수 있다. 상기 변환/역변환이 생략되는 경우, 상기 변환 계수는 계수 또는 레지듀얼 계수 라고 불릴 수도 있고, 또는 표현의 통일성을 위하여 변환 계수라고 여전히 불릴 수도 있다.
본 문서에서 양자화된 변환 계수 및 변환 계수는 각각 변환 계수 및 스케일링된(scaled) 변환 계수라고 지칭될 수 있다. 이 경우 레지듀얼 정보는 변환 계수(들)에 관한 정보를 포함할 수 있고, 상기 변환 계수(들)에 관한 정보는 레지듀얼 코딩 신택스를 통하여 시그널링될 수 있다. 상기 레지듀얼 정보(또는 상기 변환 계수(들)에 관한 정보)를 기반으로 변환 계수들이 도출될 수 있고, 상기 변환 계수들에 대한 역변환(스케일링)을 통하여 스케일링된 변환 계수들이 도출될 수 있다. 상기 스케일링된 변환 계수들에 대한 역변환(변환)을 기반으로 레지듀얼 샘플들이 도출될 수 있다. 이는 본 문서의 다른 부분에서도 마찬가지로 적용/표현될 수 있다.
상술한 바와 같이 비디오 코딩을 수행함에 있어 압축 효율을 높이기 위하여 예측을 수행한다. 이를 통하여 코딩 대상 블록인 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록을 생성할 수 있다. 여기서 상기 예측된 블록은 공간 도메인(또는 픽셀 도메인)에서의 예측 샘플들을 포함한다. 상기 예측된 블록은 인코딩 장치 및 디코딩 장치에서 동일하게 도출되며, 상기 인코딩 장치는 원본 블록의 원본 샘플 값 자체가 아닌 상기 원본 블록과 상기 예측된 블록 간의 레지듀얼에 대한 정보(레지듀얼 정보)를 디코딩 장치로 시그널링함으로써 영상 코딩 효율을 높일 수 있다. 디코딩 장치는 상기 레지듀얼 정보를 기반으로 레지듀얼 샘플들을 포함하는 레지듀얼 블록을 도출하고, 상기 레지듀얼 블록과 상기 예측된 블록을 합하여 복원 샘플들을 포함하는 복원 블록을 생성할 수 있고, 복원 블록들을 포함하는 복원 픽처를 생성할 수 있다.
상기 레지듀얼 정보는 변환 및 양자화 절차를 통하여 생성될 수 있다. 예를 들어, 인코딩 장치는 상기 원본 블록과 상기 예측된 블록 간의 레지듀얼 블록을 도출하고, 상기 레지듀얼 블록에 포함된 레지듀얼 샘플들(레지듀얼 샘플 어레이)에 변환 절차를 수행하여 변환 계수들을 도출하고, 상기 변환 계수들에 양자화 절차를 수행하여 양자화된 변환 계수들을 도출하여 관련된 레지듀얼 정보를 (비트스트림을 통하여) 디코딩 장치로 시그널링할 수 있다. 여기서 상기 레지듀얼 정보는 상기 양자화된 변환 계수들의 값 정보, 위치 정보, 변환 기법, 변환 커널, 양자화 파라미터 등의 정보를 포함할 수 있다. 디코딩 장치는 상기 레지듀얼 정보를 기반으로 역양자화/역변환 절차를 수행하고 레지듀얼 샘플들(또는 레지듀얼 블록)을 도출할 수 있다. 디코딩 장치는 예측된 블록과 상기 레지듀얼 블록을 기반으로 복원 픽처를 생성할 수 있다. 인코딩 장치는 또한 이후 픽처의 인터 예측을 위한 참조를 위하여 양자화된 변환 계수들을 역양자화/역변환하여 레지듀얼 블록을 도출하고, 이를 기반으로 복원 픽처를 생성할 수 있다.
인트라 예측은 현재 블록이 속하는 픽처(이하, 현재 픽처) 내의 참조 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 예측을 나타낼 수 있다. 현재 블록에 인트라 예측이 적용되는 경우, 현재 블록의 인트라 예측에 사용할 주변 참조 샘플들이 도출될 수 있다. 상기 현재 블록의 주변 참조 샘플들은 nWxnH 크기의 현재 블록의 좌측(left) 경계에 인접한 샘플 및 좌하측(bottom-left)에 이웃하는 총 2xnH 개의 샘플들, 현재 블록의 상측(top) 경계에 인접한 샘플 및 우상측(top-right)에 이웃하는 총 2xnW 개의 샘플들 및 현재 블록의 좌상측(top-left)에 이웃하는 1개의 샘플을 포함할 수 있다. 또는, 상기 현재 블록의 주변 참조 샘플들은 복수열의 상측 주변 샘플들 및 복수행의 좌측 주변 샘플들을 포함할 수도 있다. 또한, 상기 현재 블록의 주변 참조 샘플들은 nWxnH 크기의 현재 블록의 우측(right) 경계에 인접한 총 nH 개의 샘플들, 현재 블록의 하측(bottom) 경계에 인접한 총 nW 개의 샘플들 및 현재 블록의 우하측(bottom-right)에 이웃하는 1개의 샘플을 포함할 수도 있다.
다만, 현재 블록의 주변 참조 샘플들 중 일부는 아직 디코딩되지 않았거나, 이용 가능하지 않을 수 있다. 이 경우, 디코더는 이용 가능한 샘플들로 이용 가능하지 않은 샘플들을 대체(substitution)하여 예측에 사용할 주변 참조 샘플들을 구성할 수 있다. 또는, 이용 가능한 샘플들의 보간(interpolation)을 통하여 예측에 사용할 주변 참조 샘플들을 구성할 수 있다.
주변 참조 샘플들이 도출된 경우, (i) 현재 블록의 주변(neighboring) 참조 샘플들의 평균(average) 혹은 인터폴레이션(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플을 기반으로 상기 예측 샘플을 유도할 수도 있다. (i)의 경우는 비방향성(non-directional) 모드 또는 비각도(non-angular) 모드, (ii)의 경우는 방향성(directional) 모드 또는 각도(angular) 모드라고 불릴 수 있다.
또한, 상기 주변 참조 샘플들 중 상기 현재 블록의 예측 샘플을 기준으로 상기 현재 블록의 인트라 예측 모드의 예측 방향에 위치하는 제1 주변 샘플과 상기 예측 방향의 반대 방향에 위치하는 제2 주변 샘플과의 보간을 통하여 상기 예측 샘플이 생성될 수도 있다. 상술한 경우는 선형 보간 인트라 예측(Linear interpolation intra prediction, LIP) 이라고 불릴 수 있다. 또한, 선형 모델(linear model, LM)을 이용하여 루마 샘플들을 기반으로 크로마 예측 샘플들이 생성될 수도 있다. 이 경우는 LM 모드 또는 CCLM(chroma component LM) 모드라고 불릴 수 있다.
또한, 필터링된 주변 참조 샘플들을 기반으로 상기 현재 블록의 임시 예측 샘플을 도출하고, 상기 기존의 주변 참조 샘플들, 즉, 필터링되지 않은 주변 참조 샘플들 중 상기 인트라 예측 모드에 따라 도출된 적어도 하나의 참조 샘플과 상기 임시 예측 샘플을 가중합(weighted sum)하여 상기 현재 블록의 예측 샘플을 도출할 수도 있다. 상술한 경우는 PDPC(Position dependent intra prediction) 라고 불릴 수 있다.
또한, 현재 블록의 주변 다중 참조 샘플 라인 중 가장 예측 정확도가 높은 참조 샘플 라인을 선택하여 해당 라인에서 예측 방향에 위치하는 참조 샘플을 이용하여 예측 샘플을 도출하고 이 때, 사용된 참조 샘플 라인을 디코딩 장치에 지시(시그널링)하는 방법으로 인트라 예측 부호화를 수행할 수 있다. 상술한 경우는 다중 참조 라인 (multi-reference line) 인트라 예측 또는 MRL 기반 인트라 예측이라고 불릴 수 있다.
또한, 현재 블록을 수직 또는 수평의 서브파티션들로 나누어 동일한 인트라 예측 모드를 기반으로 인트라 예측을 수행하되, 상기 서브파티션 단위로 주변 참조 샘플들을 도출하여 이용할 수 있다. 즉, 이 경우 현재 블록에 대한 인트라 예측 모드가 상기 서브파티션들에 동일하게 적용되되, 상기 서브파티션 단위로 주변 참조 샘플을 도출하여 이용함으로써 경우에 따라 인트라 예측 성능을 높일 수 있다. 이러한 예측 방법은 ISP (intra sub-partitions) 기반 인트라 예측이라고 불릴 수 있다.
상술한 인트라 예측 방법들은 인트라 예측 모드와 구분하여 인트라 예측 타입이라고 불릴 수 있다. 상기 인트라 예측 타입은 인트라 예측 기법 또는 부가 인트라 예측 모드 등 다양한 용어로 불릴 수 있다. 예를 들어 상기 인트라 예측 타입(또는 부가 인트라 예측 모드 등)은 상술한 LIP, PDPC, MRL, ISP 중 적어도 하나를 포함할 수 있다. 상기 LIP, PDPC, MRL, ISP 등의 특정 인트라 예측 타입을 제외한 일반 인트라 예측 방법은 노멀 인트라 예측 타입이라고 불릴 수 있다. 노멀 인트라 예측 타입은 상기와 같은 특정 인트라 예측 타입이 적용되지 않는 경우 일반적으로 적용될 수 있으며, 상술한 인트라 예측 모드를 기반으로 예측이 수행될 수 있다. 한편, 필요에 따라서 도출된 예측 샘플에 대한 후처리 필터링이 수행될 수도 있다.
구체적으로, 인트라 예측 절차는 인트라 예측 모드/타입 결정 단계, 주변 참조 샘플 도출 단계, 인트라 예측 모드/타입 기반 예측 샘플 도출 단계를 포함할 수 있다. 또한, 필요에 따라서 도출된 예측 샘플에 대한 후처리 필터링(post-filtering) 단계가 수행될 수도 있다.
도 4는 본 개시의 실시예가 적용될 수 있는 인트라 예측 기반 비디오/영상 인코딩 방법의 예를 나타낸다.
도 4를 참조하면, 인코딩 장치는 현재 블록에 대한 인트라 예측을 수행한다(S400). 인코딩 장치는 현재 블록에 대한 인트라 예측을 수행한다(S400). 인코딩 장치는 현재 블록에 대한 인트라 예측 모드/타입을 도출하고, 현재 블록의 주변 참조 샘플들을 도출할 수 있고, 상기 인트라 예측 모드/타입 및 상기 주변 참조 샘플들을 기반으로 상기 현재 블록 내 예측 샘플들을 생성한다. 여기서 인트라 예측 모드/타입 결정, 주변 참조 샘플들 도출 및 예측 샘플들 생성 절차는 동시에 수행될 수도 있고, 어느 한 절차가 다른 절차보다 먼저 수행될 수도 있다. 인코딩 장치는 복수의 인트라 예측 모드/타입들 중 상기 현재 블록에 대하여 적용되는 모드/타입을 결정할 수 있다. 인코딩 장치는 상기 인트라 예측 모드/타입들에 대한 RD cost를 비교하고 상기 현재 블록에 대한 최적의 인트라 예측 모드/타입을 결정할 수 있다.
한편, 인코딩 장치는 예측 샘플 필터링 절차를 수행할 수도 있다. 예측 샘플 필터링은 포스트 필터링이라 불릴 수 있다. 상기 예측 샘플 필터링 절차에 의하여 상기 예측 샘플들 중 일부 또는 전부가 필터링될 수 있다. 경우에 따라 상기 예측 샘플 필터링 절차는 생략될 수 있다.
인코딩 장치는 (필터링된) 예측 샘플들을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성한다(S410). 인코딩 장치는 현재 블록의 원본 샘플들에서 상기 예측 샘플들을 위상 기반으로 비교하고, 상기 레지듀얼 샘플들을 도출할 수 있다.
인코딩 장치는 상기 인트라 예측에 관한 정보 (예측 정보) 및 상기 레지듀얼 샘플들에 관한 레지듀얼 정보를 포함하는 영상 정보를 인코딩할 수 있다(S420). 상기 예측 정보는 상기 인트라 예측 모드 정보, 상기 인트라 예측 타입 정보를 포함할 수 있다. 인코딩 장치는 인코딩된 영상 정보를 비트스트림 형태로 출력될 수 있다. 출력된 비트스트림은 저장매체 또는 네트워크를 통하여 디코딩 장치로 전달될 수 있다.
상기 레지듀얼 정보는 후술하는 레지듀얼 코딩 신텍스를 포함할 수 있다. 인코딩 장치는 상기 레지듀얼 샘플들을 변환/양자화하여 양자화된 변환 계수들을 도출할 수 있다. 상기 레지듀얼 정보는 상기 양자화된 변환 계수들에 대한 정보를 포함할 수 있다.
한편, 상술한 바와 같이 인코딩 장치는 복원 픽처(복원 샘플들 및 복원 블록 포함)를 생성할 수 있다. 이를 위하여 인코딩 장치는 상기 상기 양자화된 변환 계수들을 다시 역양자화/역변환 처리하여 (수정된) 레지듀얼 샘플들을 도출할 수 있다. 이와 같이 레지듀얼 샘플들을 변환/양자화 후 다시 역양자화/역변환을 수행하는 이유는 상술한 바와 같이 디코딩 장치에서 도출되는 레지듀얼 샘플들과 동일한 레지듀얼 샘플들을 도출하기 위함이다. 인코딩 장치는 상기 예측 샘플들과 상기 (수정된) 레지듀얼 샘플들을 기반으로 상기 현재 블록에 대한 복원 샘플들을 포함하는 복원 블록을 생성할 수 있다. 상기 복원 블록을 기반으로 상기 현재 픽처에 대한 복원 픽처가 생성될 수 있다. 상기 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
도 5는 본 개시의 실시예가 적용될 수 있는 인트라 예측 기반 비디오/영상 디코딩 방법의 예를 나타낸다.
디코딩 장치는 상기 인코딩 장치에서 수행된 동작과 대응되는 동작을 수행할 수 있다.
예측 정보 및 레지듀얼 정보를 비트스트림으로부터 획득될 수 있다. 상기 레지듀얼 정보를 기반으로 현재 블록에 대한 레지듀얼 샘플들이 도출될 수 있다. 구체적으로 상기 레지듀얼 정보를 기반으로 도출된 양자화된 변환 계수들을 기반으로, 역양자화를 수행하여 변환 계수들을 도출하고, 상기 변환 계수들에 대한 역변환을 수행하여 상기 현재 블록에 대한 레지듀얼 샘플들을 도출할 수 있다.
구체적으로 디코딩 장치는 수신된 예측 정보 (인트라 예측 모드/타입 정보)를 기반으로 현재 블록에 대한 인트라 예측 모드/타입을 도출할 수 있다(S500). 디코딩 장치는 상기 현재 블록의 주변 참조 샘플들을 도출할 수 있다(S510). 디코딩 장치는 상기 인트라 예측 모드/타입 및 상기 주변 참조 샘플들을 기반으로 상기 현재 블록 내 예측 샘플들을 생성한다(S520). 이 경우 디코딩 장치는 예측 샘플 필터링 절차를 수행할 수 있다. 예측 샘플 필터링은 포스트 필터링이라 불릴 수 있다. 상기 예측 샘플 필터링 절차에 의하여 상기 예측 샘플들 중 일부 또는 전부가 필터링될 수 있다. 경우에 따라 예측 샘플 필터링 절차는 생략될 수 있다.
디코딩 장치는 수신된 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성한다(S530). 디코딩 장치는 상기 예측 샘플들 및 상기 레지듀얼 샘플들을 기반으로 상기 현재 블록에 대한 복원 샘플들을 생성하고, 상기 복원 샘플들을 포함하는 복원 블록을 도출할 수 있다(S540). 상기 복원 블록을 기반으로 상기 현재 픽처에 대한 복원 픽처가 생성될 수 있다. 상기 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
상기 인트라 예측 모드 정보는 예를 들어 MPM(most probable mode)가 상기 현재 블록에 적용되는지 아니면 리메이닝 모드(remaining mode)가 적용되는지 여부를 나타내는 플래그 정보(ex. intra_luma_mpm_flag)를 포함할 수 있고, 상기 MPM이 상기 현재 블록에 적용되는 경우 상기 예측 모드 정보는 상기 인트라 예측 모드 후보들(MPM 후보들) 중 하나를 가리키는 인덱스 정보(ex. intra_luma_mpm_idx)를 더 포함할 수 있다. 상기 인트라 예측 모드 후보들(MPM 후보들)은 MPM 후보 리스트 또는 MPM 리스트로 구성될 수 있다. 또한, 상기 MPM이 상기 현재 블록에 적용되지 않는 경우, 상기 인트라 예측 모드 정보는 상기 인트라 예측 모드 후보들(MPM 후보들)을 제외한 나머지 인트라 예측 모드들 중 하나를 가리키는 리메이닝 모드 정보(ex. intra_luma_mpm_remainder)를 더 포함할 수 있다. 디코딩 장치는 상기 인트라 예측 모드 정보를 기반으로 상기 현재 블록의 인트라 예측 모드를 결정할 수 있다.
또한, 상기 인트라 예측 타입 정보는 다양한 형태로 구현될 수 있다. 일 예로, 상기 인트라 예측 타입 정보는 상기 인트라 예측 타입들 중 하나를 지시하는 인트라 예측 타입 인덱스 정보를 포함할 수 있다. 다른 예로, 상기 인트라 예측 타입 정보는 상기 MRL이 상기 현재 블록에 적용되는지 및 적용되는 경우에는 몇번째 참조 샘플 라인이 이용되는지 여부를 나타내는 참조 샘플 라인 정보(ex. intra_luma_ref_idx), 상기 ISP가 상기 현재 블록에 적용되는지를 나타내는 ISP 플래그 정보(ex. intra_subpartitions_mode_flag), 상기 ISP가 적용되는 경우에 서브파티션들이 분할 타입을 지시하는 ISP 타입 정보 (ex. intra_subpartitions_split_flag), PDCP의 적용 여부를 나타내는 플래그 정보 또는 LIP의 적용 여부를 나타내는 플래그 정보 중 적어도 하나를 포함할 수 있다. 또한, 상기 인트라 예측 타입 정보는 상기 현재 블록에 MIP (matrix-based intra prediction)가 적용되는지 여부를 나타내는 MIP 플래그를 포함할 수 있다.
상기 인트라 예측 모드 정보 및/또는 상기 인트라 예측 타입 정보는 본 문서에서 설명한 코딩 방법을 통하여 인코딩/디코딩될 수 있다. 예를 들어, 상기 인트라 예측 모드 정보 및/또는 상기 인트라 예측 타입 정보는 엔트로피 코딩(ex. CABAC, CAVLC) 코딩을 통하여 인코딩/디코딩될 수 있다.
도 6은 본 개시의 실시예가 적용될 수 있는 인트라 예측 절차를 예시적으로 나타낸다.
도 6을 참조하면, 상술한 바와 같이 인트라 예측 절차는 인트라 예측 모드/타입 결정 단계, 주변 참조 샘플들 도출 단계, 인트라 예측 수행(예측 샘플 생성) 단계를 포함할 수 있다. 상기 인트라 예측 절차는 상술한 바와 같이 인코딩 장치 및 디코딩 장치에서 수행될 수 있다. 본 문서에서 코딩 장치라 함은 인코딩 장치 및/또는 디코딩 장치를 포함할 수 있다.
도 6을 참조하면 코딩 장치는 인트라 예측 모드/타입을 결정한다(S600).
인코딩 장치는 상술한 다양한 인트라 예측 모드/타입들 중 상기 현재 블록에 적용되는 인트라 예측 모드/타입을 결정할 수 있고, 예측 관련 정보를 생성할 수 있다. 상기 예측 관련 정보는 상기 현재 블록에 적용되는 인트라 예측 모드를 나타내는 인트라 예측 모드 정보 및/또는 상기 현재 블록에 적용되는 인트라 예측 타입을 나타내는 인트라 예츠 타입 정보를 포함할 수 있다. 디코딩 장치는 상기 예측 관련 정보를 기반으로 상기 현재 블록에 적용되는 인트라 예측 모드/타입을 결정할 수 있다.
상기 인트라 예측 모드 정보는 예를 들어 MPM(most probable mode)가 상기 현재 블록에 적용되는지 아니면 리메이닝 모드(remaining mode)가 적용되는지 여부를 나타내는 플래그 정보(ex. intra_luma_mpm_flag)를 포함할 수 있고, 상기 MPM이 상기 현재 블록에 적용되는 경우 상기 예측 모드 정보는 상기 인트라 예측 모드 후보들(MPM 후보들) 중 하나를 가리키는 인덱스 정보(ex. intra_luma_mpm_idx)를 더 포함할 수 있다. 상기 인트라 예측 모드 후보들(MPM 후보들)은 MPM 후보 리스트 또는 MPM 리스트로 구성될 수 있다. 또한, 상기 MPM이 상기 현재 블록에 적용되지 않는 경우, 상기 인트라 예측 모드 정보는 상기 인트라 예측 모드 후보들(MPM 후보들)을 제외한 나머지 인트라 예측 모드들 중 하나를 가리키는 리메이닝 모드 정보(ex. intra_luma_mpm_remainder)를 더 포함할 수 있다. 디코딩 장치는 상기 인트라 예측 모드 정보를 기반으로 상기 현재 블록의 인트라 예측 모드를 결정할 수 있다.
또한, 상기 인트라 예측 타입 정보는 다양한 형태로 구현될 수 있다. 일 예로, 상기 인트라 예측 타입 정보는 상기 인트라 예측 타입들 중 하나를 지시하는 인트라 예측 타입 인덱스 정보를 포함할 수 있다. 다른 예로, 상기 인트라 예측 타입 정보는 상기 MRL이 상기 현재 블록에 적용되는지 및 적용되는 경우에는 몇번째 참조 샘플 라인이 이용되는지 여부를 나타내는 참조 샘플 라인 정보(ex. intra_luma_ref_idx), 상기 ISP가 상기 현재 블록에 적용되는지를 나타내는 ISP 플래그 정보(ex. intra_subpartitions_mode_flag), 상기 ISP가 적용되는 경우에 서브파티션들이 분할 타입을 지시하는 ISP 타입 정보 (ex. intra_subpartitions_split_flag), PDCP의 적용 여부를 나타내는 플래그 정보 또는 LIP의 적용 여부를 나타내는 플래그 정보 중 적어도 하나를 포함할 수 있다. 또한, 상기 인트라 예측 타입 정보는 상기 현재 블록에 MIP (matrix-based intra prediction)가 적용되는지 여부를 나타내는 MIP 플래그를 포함할 수 있다.
예를 들어, 인트라 예측이 적용되는 경우, 주변 블록의 인트라 예측 모드를 이용하여 현재 블록에 적용되는 인트라 예측 모드가 결정될 수 있다. 예를 들어, 코딩 장치는 현재 블록의 주변 블록(ex. 좌측 및/또는 상측 주변 블록)의 인트라 예측 모드 및/또는 추가적인 후보 모드들을 기반으로 도출된 MPM(most probable mode) 리스트 내 MPM 후보들 중 하나를 수신된 MPM 인덱스를 기반으로 선택할 수 있으며, 또는 상기 MPM 후보들(및 플래너 모드)에 포함되지 않은 나머지 인트라 예측 모드들 중 하나를 MPM 리메인더 정보 (리메이닝 인트라 예측 모드 정보)를 기반으로 선택할 수 있다. 상기 MPM 리스트는 플래너 모드를 후보로 포함하거나 포함하지 않도록 구성될 수 있다. 예를 들어, 상기 mpm 리스트가 플래너 모드를 후보로 포함하는 경우 상기 MPM 리스트는 6개의 후보를 가질 수 있고, 상기 MPM 리스트가 플래너 모드를 후보로 포함하지 않는 경우 상기 mpm 리스트는 5개의 후보를 가질 수 있다. 상기 MPM 리스트가 플래너 모드를 후보로 포함하지 않는 경우 현재 블록의 인트라 예측 모드가 플래너 모드가 아닌지 나타내는 not 플래너 플래그(ex. intra_luma_not_planar_flag)가 시그널링될 수 있다. 예를 들어, MPM 플래그가 먼저 시그널링되고, MPM 인덱스 및 not 플래너 플래그는 MPM 플래그의 값이 1인 경우 시그널링될 수 있다. 또한, 상기 MPM 인덱스는 상기 not 플래너 플래그의 값이 1인 경우 시그널링될 수 있다. 여기서, 상기 상기 MPM 리스트가 플래너 모드를 후보로 포함하지 않도록 구성되는 것은, 상기 플래너 모드가 MPM m이 아니라는 것이라기보다는, MPM으로 항상 플래너 모드가 고려되기에 먼저 플래그(not planar flag)를 시그널링하여 플래너 모드인지 여부를 먼저 확인하기 위함이다.
예를 들어, 현재 블록에 적용되는 인트라 예측 모드가 MPM 후보들(및 플래너 모드) 중에 있는지, 아니면 리메이닝 모드 중에 있는지는 MPM 플래그 (ex. intra_luma_mpm_flag)를 기반으로 지시될 수 있다. MPM 플래그의 값 1은 상기 현재 블록에 대한 인트라 예측 모드가 MPM 후보들(및 플래너 모드) 내에 있음을 나타낼 수 있으며, MPM 플래그의 값 0은 상기 현재 블록에 대한 인트라 예측 모드가 MPM 후보들(및 플래너 모드) 내에 없음을 나타낼 수 있다. 상기 not planar flag (ex. intra_luma_not_planar_flag) 값 0은 상기 현재 블록에 대한 인트라 예측 모드가 플래너 모드임을 나타낼 수 있고, 상기 not planar flag 값 1은 상기 현재 블록에 대한 인트라 예측 모드가 플래너 모드가 아님을 나타낼 수 있다. 상기 MPM 인덱스는 mpm_idx 또는 intra_luma_mpm_idx 신텍스 요소의 형태로 시그널링될 수 있고, 상기 리메이닝 인트라 예측 모드 정보는 rem_intra_luma_pred_mode 또는 intra_luma_mpm_remainder 신텍스 요소의 형태로 시그널링될 수 있다. 예를 들어, 상기 리메이닝 인트라 예측 모드 정보는 전체 인트라 예측 모드들 중 상기 MPM 후보들(및 플래너 모드)에 포함되지 않는 나머지 인트라 예측 모드들을 예측 모드 번호 순으로 인덱싱하여 그 중 하나를 가리킬 수 있다. 상기 인트라 예측 모드는 루마 성분(샘플)에 대한 인트라 예측 모드일 수 있다. 이하, 인트라 예측 모드 정보는 상기 MPM 플래그 (ex. intra_luma_mpm_flag), 상기 not planar flag (ex. intra_luma_not_planar_flag) 상기 MPM 인덱스 (ex. mpm_idx 또는 intra_luma_mpm_idx) 상기 리메이닝 인트라 예측 모드 정보 (rem_intra_luma_pred_mode 또는 intra_luma_mpm_remainder) 중 적어도 하나를 포함할 수 있다. 본 문서에서 MPM 리스트는 MPM 후보 리스트, candModeList 등 다양한 용어로 불릴 수 있다.
MIP가 현재 블록에 적용되는 경우, MIP를 위한 별도의 mpm flag(ex. intra_mip_mpm_flag), mpm 인덱스(ex. intra_mip_mpm_idx), 리메이닝 인트라 예측 모드 정보(ex. intra_mip_mpm_remainder)가 시그널링될 수 있으며, 상기 not planar flag는 시그널링되지 않을 수 있다.
다시 말해, 일반적으로 영상에 대한 블록 분할이 되면, 코딩하려는 현재 블록과 주변(neighboring) 블록은 비슷한 영상 특성을 갖게 된다. 따라서, 현재 블록과 주변 블록은 서로 동일하거나 비슷한 인트라 예측 모드를 가질 확률이 높다. 따라서, 인코더는 현재 블록의 인트라 예측 모드를 인코딩하기 위해 주변 블록의 인트라 예측 모드를 이용할 수 있다.
코딩 장치는 현재 블록에 대한 MPM(most probable modes) 리스트를 구성할 수 있다. 상기 MPM 리스트는 MPM 후보 리스트라고 나타낼 수도 있다. 여기서, MPM이라 함은 인트라 예측 모드 코딩시 현재 블록과 주변 블록의 유사성을 고려하여 코딩 효율을 향상시키기 위해 이용되는 모드를 의미할 수 있다. 상술한 바와 같이 MPM 리스트는 플래너 모드를 포함하여 구성될 수 있고, 또는 플래너 모드를 제외하여 구성될 수 있다. 예를 들어, MPM 리스트가 플래너 모드를 포함하는 경우 MPM 리스트의 후보들의 개수는 6개일 수 있다. 그리고, MPM 리스트가 플래너 모드를 포함하지 않는 경우, MPM 리스트의 후보들의 개수는 5개일 수 있다.
인코딩 장치는 다양한 인트라 예측 모드들을 기반으로 예측을 수행할 수 있고, 이에 기반한 RDO (rate-distortion optimization)을 기반으로 최적의 인트라 예측 모드를 결정할 수 있다. 인코딩 장치는 이 경우 상기 MPM 리스트에 구성된 MPM 후보들 및 플래너 모드만을 이용하여 상기 최적의 인트라 예측 모드를 결정할 수도 있고, 또는 상기 MPM 리스트에 구성된 MPM 후보들 및 플래너 모드뿐 아니라 나머지 인트라 예측 모드들을 더 이용하여 상기 최적의 인트라 예측 모드를 결정할 수도 있다. 구체적으로 예를 들어, 만약 상기 현재 블록의 인트라 예측 타입이 노멀 인트라 예측 타입이 아닌 특정 타입 (예를 들어 LIP, MRL, 또는 ISP)인 경우에는 인코딩 장치는 상기 MPM 후보들 및 플래너 모드만을 상기 현재 블록에 대한 인트라 예측 모드 후보들로 고려하여 상기 최적의 인트라 예측 모드를 결정할 수 있다. 즉, 이 경우에는 상기 현재 블록에 대한 인트라 예측 모드는 상기 MPM 후보들 및 플래너 모드 중에서만 결정될 수 있으며, 이 경우에는 상기 mpm flag를 인코딩/시그널링하지 않을 수 있다. 디코딩 장치는 이 경우에는 mpm flag를 별도로 시그널링 받지 않고도 mpm flag가 1인 것으로 추정할 수 있다.
한편, 일반적으로 상기 현재 블록의 인트라 예측 모드가 플래너 모드가 아니고 상기 MPM 리스트 내에 있는 MPM 후보들 중 하나인 경우, 인코딩 장치는 상기 MPM 후보들 중 하나를 가리키는 mpm 인덱스(mpm idx)를 생성한다. 만약, 상기 현재 블록의 인트라 예측 모드가 상기 MPM 리스트 내에도 없는 경우에는 상기 MPM 리스트(및 플래너 모드)에 포함되지 않은 나머지 인트라 예측 모드들 중에서 상기 현재 블록의 인트라 예측 모드와 같은 모드를 가리키는 MPM 리메인더 정보 (리메이닝 인트라 예측 모드 정보)를 생성한다. 상기 MPM 리메인더 정보는 예를 들어 intra_luma_mpm_remainder 신텍스 요소를 포함할 수 있다.
디코딩 장치는 비트스트림으로부터 인트라 예측 모드 정보를 획득한다. 상기 인트라 예측 모드 정보는 상술한 바와 같이 MPM 플래그, not 플래너 플래그, MPM 인덱스, MPM 리메인더 정보(리메이닝 인트라 예측 모드 정보) 중 적어도 하나를 포함할 수 있다. 디코딩 장치는 MPM 리스트를 구성할 수 있다. 상기 MPM 리스트는 상기 인코딩 장치에서 구성된 MPM 리스트와 동일하게 구성된다. 즉, 상기 MPM 리스트는 주변 블록의 인트라 예측 모드를 포함할 수도 있고, 미리 정해진 방법에 따라 특정 인트라 예측 모드들을 더 포함할 수도 있다.
디코딩 장치는 상기 MPM 리스트 및 상기 인트라 예측 모드 정보를 기반으로 현재 블록의 인트라 예측 모드를 결정할 수 있다. 일 예로, 상기 MPM 플래그의 값이 1인 경우, 디코딩 장치는 플래너 모드를 상기 현재 블록의 인트라 예측 모드로 도출하거나(not planar flag 기반) 상기 MPM 리스트 내의 MPM 후보들 중에서 상기 MPM 인덱스가 가리키는 후보를 상기 현재 블록의 인트라 예측 모드로 도출할 수 있다. 여기서, MPM 후보들이라 함은 상기 MPM 리스트에 포함되는 후보들만을 나타낼 수도 있고, 또는 상기 MPM 리스트에 포함되는 후보들뿐 아니라 상기 MPM 플래그의 값이 1인 경우에 적용될 수 있는 플래너 모드 또한 포함될 수 있다.
다른 예로, 상기 MPM 플래그의 값이 0인 경우, 디코딩 장치는 상기 MPM 리스트 및 플래너 모드에 포함되지 않은 나머지 인트라 예측 모드들 중에서 상기 리메이닝 인트라 예측 모드 정보(mpm remainder 정보라 불릴 수 있다)가 가리키는 인트라 예측 모드를 상기 현재 블록의 인트라 예측 모드로 도출할 수 있다. 한편, 또 다른 예로, 상기 현재 블록의 인트라 예측 타입이 특정 타입(ex. LIP, MRL 또는 ISP 등)인 경우, 디코딩 장치는 상기 MPM 플래그의 파싱/디코딩/확인 없이도, 상기 플래너 모드 또는 상기 MPM 리스트 내에서 상기 MPM 플래그가 가리키는 후보를 상기 현재 블록의 인트라 예측 모드로 도출할 수도 있다.
코딩 장치는 현재 블록의 주변 참조 샘플들을 도출한다(S610). 현재 블록에 인트라 예측이 적용되는 경우, 현재 블록의 인트라 예측에 사용할 주변 참조 샘플들이 도출될 수 있다. 상기 현재 블록의 주변 참조 샘플들은 nWxnH 크기의 현재 블록의 좌측(left) 경계에 인접한 샘플 및 좌하측(bottom-left)에 이웃하는 총 2xnH 개의 샘플들, 현재 블록의 상측(top) 경계에 인접한 샘플 및 우상측(top-right)에 이웃하는 총 2xnW 개의 샘플들 및 현재 블록의 좌상측(top-left)에 이웃하는 1개의 샘플을 포함할 수 있다. 또는, 상기 현재 블록의 주변 참조 샘플들은 복수열의 상측 주변 샘플들 및 복수행의 좌측 주변 샘플들을 포함할 수도 있다. 또한, 상기 현재 블록의 주변 참조 샘플들은 nWxnH 크기의 현재 블록의 우측(right) 경계에 인접한 총 nH 개의 샘플들, 현재 블록의 하측(bottom) 경계에 인접한 총 nW 개의 샘플들 및 현재 블록의 우하측(bottom-right)에 이웃하는 1개의 샘플을 포함할 수도 있다.
한편, MRL이 적용되는 경우(즉, MRL 인덱스의 값이 0보다 큰 경우), 상기 주변 참조 샘플들은 좌측/상측에서 현재 블록에 인접한 0번 라인이 아닌, 1번 내지 2번 라인에 위치할 수 있으며, 이 경우 주변 참조 샘플들의 개수는 더 늘어날 수 있다. 한편, ISP가 적용되는 경우, 상기 주변 참조 샘플들을 서브파티션 단위로 도출될 수 있다.
코딩 장치는 현재 블록에 인트라 예측을 수행하여 예측 샘플들 도출한다(S620). 코딩 장치는 상기 인트라 예측 모드/타입 및 상기 주변 샘플들을 기반으로 상기 예측 샘플들을 도출할 수 있다. 코딩 장치는 현재 블록의 주변 참조 샘플들 중 상기 현재 블록의 인트라 예측 모드에 따른 참조 샘플을 도출할 수 있고, 상기 참조 샘플을 기반으로 상기 현재 블록의 예측 샘플을 도출할 수 있다.
도 7은 본 개시의 일 실시예에 따른 디코딩 장치에 의해 수행되는 영상 디코딩 방법을 도시한 것이다.
디코딩 장치(즉, 디코더)는 현재 블록에 DIMD(decoder side intra mode derivation)가 적용되는지 여부를 지시하는 DIMD 플래그를 획득할 수 있다(S700). DIMD는 복원된 주변 샘플을 이용하여 인트라 예측 모드를 유도하는 모드를 나타낸다. 일 실시예로서, DIMD가 적용되면 복원된 주변 샘플로부터 하나 이상의 인트라 예측 모드가 유도될 수 있고, 유도된 인트라 예측 모드를 이용하여 예측자(predictor)가 유도될 수 있다. 인트라 예측 모드를 유도함에 있어서, 복원된 주변 샘플들에 대한 그래디언트(gradient) 계산이 수행될 수 있다.
유도된 인트라 예측 모드를 이용하여 유도된 예측자는 플래너 모드(Planar mode) 예측자와 결합될 수 있다. 미리 결정된 가중치를 기반으로 가중합될 수 있다. 일 예로서, DIMD 플래그는 현재 블록의 루마 성분에 DIMD가 적용되는지 여부를 지시할 수 있다. 또는, DIMD 플래그는 현재 블록의 루마 성분 또는 크로마 성분 중 적어도 하나에 DIMD가 적용되는지 여부를 지시할 수 있다.
또한, 일 실시예로서, DIMD로 유도된 인트라 예측 모드는 MPM(Most Probable Mode) 리스트에 포함될 수 있다. MPM 리스트를 구성하기 전에 DIMD 프로세스가 수행될 수 있다. 일 예로서, DIMD가 적용된 블록의 유도된 인트라 예측 모드는 블록과 함께 저장될 수 있고, 인접 블록의 MPM 리스트 구성에 이용될 수 있다. 본 개시에서, 상기 DIMD는 인트라 유도 모드, 인트라 예측 모드 유도 모드로 지칭될 수 있고, DIMD 플래그는 인트라 유도 모드 플래그, 인트라 예측 모드 유도 모드 플래그, 제1 플래그 등으로 지칭될 수 있다.
디코딩 장치는 DIMD 플래그에 기초하여 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 지시하는 BDPCM 플래그를 획득할 수 있다(S710). 본 개시에서, 상기 BDPCM 플래그는 BDPCM 크로마 플래그, 크로마 BDPCM 플래그, 제2 플래그 등으로 지칭될 수 있다.
본 개시에 따른 BDPCM은 양자화된 레지듀얼 도메인(quantized residual domain)에서 수행될 수 있다. 양자화된 레지듀얼 도메인은 양자화된 레지듀얼 신호(또는 양자화된 레지듀얼 계수들)를 포함할 수 있으며, BDPCM을 적용하는 경우, 양자화된 레지듀얼 신호에 대한 변환은 스킵될 수 있다. 다시 말해, BDPCM을 적용하는 경우, 레지듀얼 샘플들에 대해 변환은 스킵되고 양자화는 적용될 수 있다. 또는 양자화된 레지듀얼 도메인은 양자화된 변환 계수들을 포함할 수 있다. BDPCM은 루마 성분에 적용될 수도 있고, 크로마 성분에 적용될 수도 있다.
현재 블록에 BDPCM이 적용되는 경우, 현재 블록의 예측된 샘플들을 포함하는 예측된 블록(예측 블록)은 인트라 예측에 의해 생성될 수 있다. 이 때, 인트라 예측을 수행하기 위한 인트라 예측 모드는 비트스트림을 통해 시그널링될 수도 있고, 후술하는 BDPCM의 예측 방향에 기반하여 유도될 수도 있다. 또한, 이 때 인트라 예측 모드는 수직 예측 방향 모드 또는 수평 예측 방향 모드 중 하나로 결정될 수 있다.
예를 들어, BDPCM의 예측 방향이 수평 방향인 경우, 인트라 예측 모드는 수평 예측 방향 모드로 결정되고, 현재 블록의 예측 블록은 수평 방향의 인트라 예측에 의해 생성될 수 있다. 또는, BDPCM의 예측 방향이 수직 방향인 경우, 인트라 예측 모드는 수직 예측 방향 모드로 결정되고, 현재 블록의 예측 블록은 수직 방향의 인트라 예측에 의해 생성될 수 있다. 수평 방향의 인트라 예측이 적용되는 경우, 현재 블록의 좌측에 인접한 픽셀의 값이 현재 블록의 해당 로우(row)에 포함된 샘플들의 예측된 샘플 값으로 결정될 수 있다. 수직 방향의 인트라 예측이 적용되는 경우, 현재 블록의 상단에 인접한 픽셀의 값이 현재 블록의 해당 칼럼(column)에 포함된 샘플들의 예측 샘플 값으로 결정될 수 있다. 현재 블록에 BDPCM이 적용되는 경우, 현재 블록의 예측 블록을 생성하는 방법은 영상 부호화 장치 및 영상 복호화 장치에서 동일하게 수행될 수 있다.
현재 블록에 BDPCM이 적용되는 경우, 영상 부호화 장치는 현재 블록으로부터 상기 예측 블록을 감산함으로써 현재 블록의 레지듀얼 샘플들을 포함하는 레지듀얼 블록을 생성할 수 있다. 영상 부호화 장치는 상기 레지듀얼 블록을 양자화한 후, 양자화된 레지듀얼 샘플과 해당 양자화된 레지듀얼 샘플의 예측자(predictor)와의 차이값(difference 또는 delta)을 부호화할 수 있다. 영상 복호화 장치는 비트스트림으로부터 복원된 차이값과 예측자에 기반하여 현재 블록의 양자화된 레지듀얼 샘플을 획득함으로써 현재 블록의 양자화된 레지듀얼 블록을 생성할 수 있다. 이후, 영상 복호화 장치는 양자화된 레지듀얼 블록을 역양자화한 후, 상기 예측 블록과 더함으로서 현재 블록을 복원할 수 있다
일 실시예에서, BDPCM은 시퀀스, 픽쳐, 슬라이스 중 적어도 하나의 레벨에서 활성화될 수 있다. BDPCM의 활성화 여부를 지시하는 BDPCM 활성화 플래그가 SPS(sequence parameter set), PPS(picture parameter set), 슬라이스 헤더 레벨에서 시그널링될 수 있다. 또한, 일 예로서, BDPCM 활성화 플래그는 시퀀스, 픽쳐, 슬라이스 레벨에서 변환 스킵 모드가 활성화된 경우에만 시그널링될 수 있다.
BDPCM이 활성화되고 CU 크기가 루마 샘플 측면에서 MaxTsSize만큼 MaxTsSize보다 작거나 같고 CU가 인트라 코딩된 경우, 소정의 플래그가 CU 레벨에서 전송될 수 있다. 여기서, MaxTsSize는 변환 스킵이 허용되는 최대 블록 크기를 나타낸다. 상기 소정의 플래그는 일반 인트라 코딩 또는 BDPCM이 이용되는지 여부를 나타낼 수 있다. BDPCM이 이용되면 BDPCM 예측이 수평 방향인지 또는 수직 방향인지를 지시하기 위한 BDPCM 예측 방향 플래그가 시그널링될 수 있다. 이후, 필터링되지 않은 참조 샘플을 사용하여 수평 또는 수직 인트라 예측 프로세스를 이용하여 현재 블록에 대한 예측이 수행될 수 있다. 현재 블록의 레지듀얼 신호는 양자화되고, 각각의 양자화된 레지듀얼과 예측자 사이의 차이가 코딩될 수 있고, 상기 예측자는 수평 또는 수직(BDPCM 예측 방향에 따라) 이웃 위치의 이전에 코딩된 레지듀얼일 수 있다.
본 개시의 일 실시예에 따르면, 현재 블록의 크로마 성분에 BDPCM이 적용되는지 여부를 지시하는 BDPCM 플래그는 미리 정의된 조건을 만족하는지 여부에 기초하여 비트스트림으로부터 획득(또는 파싱)될 수 있다. 일 예로서, 상기 미리 정의된 조건은 현재 블록에 DIMD가 적용되는지 여부(또는 DIMD 플래그)에 관련된 조건을 포함할 수 있다. 도 8을 참조하여 상세히 후술한다.
디코딩 장치는 BDPCM 플래그에 기초하여 크로마 성분의 인트라 예측 모드를 유도할 수 있다(S720). 실시예로서, BDPCM 플래그가 상기 크로마 성분에 BDPCM이 적용되지 않음을 지시하는 경우, 복수의 인트라 예측 모드 중에서 상기 크로마 성분의 인트라 예측 모드를 지시하는 크로마 예측 모드 인덱스가 시그널링될 수 있다. 즉, BDPCM이 적용되지 않는 경우, 일반 인트라 코딩이 적용될 수 있고, 크로마 성분에 대한 인트라 예측 모드 유도 프로세스가 수행될 수 있다.
또한, 일 실시예로서, 크로마 성분에 DIMD가 적용될 수 있다. 일 예로, 크로마 성분에 DIMD가 적용되는지 여부를 지시하는 크로마 DIMD 플래그가 시그널링 될 수 있다. 또는 다른 일 예로, 크로마 성분에 적용되는 DIMD 모드를 나타내는 크로마 DIMD 모드가 크로마 인트라 예측을 위한 크로마 인트라 예측 모드 그룹에 포함될 수 있다. 이 경우, 상기 복수의 인트라 예측 모드는 복원된 주변 샘플을 이용하여 크로마 인트라 예측 모드를 유도하는 크로마 DIMD 모드를 포함할 수 있다. 본 개시에서, 크로마 DIMD 모드는 크로마 인트라 유도 모드, 크로마 인트라 예측 모드 유도 모드로 지칭될 수 있다.
또한, BDPCM 플래그가 크로마 성분에 상기 BDPCM이 적용됨을 지시하는 경우에는 전술한 바와 같이 BDPCM의 예측 방향을 지시하는 플래그(BDPCM 예측 방향 플래그로 지칭) 정보가 시그널링될 수 있다. BDPCM 예측 방향 플래그에 따라 인트라 예측 모드가 결정(또는 유도)될 수 있다. BDPCM이 적용되는 경우, 인트라 예측 모드는 수직 모드 또는 수평 모드 중 어느 하나로 결정될 수 있다. 또는, BDPCM이 적용되는 경우, 인트라 예측 모드는 미리 정의된 복수의 예측 모드 중에서 BDPCM 예측 방향에 대응되는 모드로 결정될 수 있다. BDPCM 예측 방향이 3개 이상일 수 있고, 이 경우, BDPCM 예측 방향을 지시하는 인덱스 정보가 시그널링될 수도 있다.
디코딩 장치는 유도된 인트라 예측 모드에 기초하여 크로마 성분의 예측 샘플을 생성할 수 있다(S730). 즉, 인트라 예측 모드의 예측 방향에 따라 주변 참조 샘플을 이용하여 예측 샘플(또는 예측자)를 생성할 수 있다.
도 8은 본 개시의 일 실시예에 따른 컬러 컴포넌트에 대한 인트라 예측 모드 유도 프로세스를 예시하는 도면이다.
도 8을 참조하면, 디코딩 장치는 컴포넌트에 대한 인트라 예측 모드 유도 프로세스를 수행할 수 있다. 도 8에 도시된 순서도는 일 예로서, 본 개시의 실시예가 이에 한정되는 것은 아니다. 일부 단계가 생략될 수도 있고, 도 8에 도시되지 않은 단계가 추가될 수 있다.
디코딩 장치는 현재 성분이 루마 성분인지 또는 크로마 성분인지 확인할 수 있다. 루마 성분인 경우, 디코딩 장치는 루마 성분에 BDPCM이 적용되는지 여부를 확인하고, 확인 결과에 따라, BDPCM을 수행할 수도 있고, 일반 인트라 코딩을 수행할 수도 있다. 즉, 디코딩 장치는 인트라 예측 모드를 유도하고, 유도된 인트라 예측 모드 기반으로 인트라 예측을 수행할 수 있다. 일 예로서, 앞서 도 4 내지 도 6에서 설명한 방법이 적용될 수 있다. 디코딩 장치는 루마 성분에 BDPCM이 적용되는지 여부를 지시하는 BDPCM 루마 플래그를 획득하고, 상기 BDPCM 루마 플래그에 기초하여 루마 성분에 BDPCM이 적용되는지 여부를 확인할 수 있다.
크로마 성분인 경우, 디코딩 장치는 크로마 성분에 BDPCM이 적용되는지 여부를 확인하고, 확인 결과에 따라, BDPCM을 수행할 수도 있고, 일반 인트라 코딩을 수행할 수도 있다. 디코딩 장치는 크로마 성분에 BDPCM이 적용되는지 여부를 지시하는 BDPCM 크로마 플래그를 획득하고, 상기 BDPCM 크로마 플래그에 기초하여 크로마 성분에 BDPCM이 적용되는지 여부를 확인할 수 있다. 이때, 디코딩 장치는 미리 정의된 조건을 만족하는지 여부를 확인하고, 확인 결과에 따라, 상기 BDPCM 크로마 플래그를 비트스트림으로부터 획득(또는 파싱)할 수 있다.
일 실시예에서, 표 8에 도시된 인트라 예측 모드 유도 프로세스에 앞서, DIMD가 현재 블록에 적용되는지 여부를 지시하는 DIMD 플래그가 파싱될 수 있다. DIMD 플래그는 현재 블록의 루마 성분 또는 크로마 성분 중 적어도 하나의 성분에 DIMD가 적용되는지 여부를 지시할 수 있다. DIMD 플래그 파싱에 앞서 미리 정의된 조건을 만족하는지 여부가 확인될 수 있다. 예를 들어, 현재 코딩 유닛이 인트라 예측이고, 현재 성분이 루마 성분이고, 현재 시퀀스 레벨에서 DIMD가 활성화된 경우, DIMD 플래그가 파싱될 수 있다.
종래 기술에 따르면, 트리 타입에 따른 컬러 성분간 관련성에도 불구하고, BDPCM 크로마 플래그가 불필요하게 시그널링되어야 하는 문제가 있다. 이하에서, 상기 BDPCM 크로마 플래그를 효율적으로 시그널링하기 위한 방법을 설명한다. 이에 앞서, 다음의 표 1은 BDPCM 크로마 플래그 시그널링에서 발생하는 상술한 문제점을 설명하기 위한 신택스의 예시이다.
Figure PCTKR2022018296-appb-img-000001
Figure PCTKR2022018296-appb-img-000002
Figure PCTKR2022018296-appb-img-000003
표 1을 참조하면, 현재 코딩 유닛이 인트라 예측이고(CuPredMode[chType][x0][y0] == MODE_INTRA), 트리 타입이 싱글 트리 또는 듀얼 트리 루마이고(treeType == SINGLE_TREE || treeType == DUAL_TREE_LUMA), 현재 시퀀스에 대하여 DIMD가 활성화된 경우(sps_dimd_flag == 1), DIMD 플래그(즉, 신택스 요소 dimd_flag)가 파싱될 수 있다.
루마 성분에 BDPCM이 적용되는지 여부를 지시하는 신택스 요소 intra_bdpcm_luma_flag를 파싱함에 있어서, 미리 정의된 조건을 만족하는지 여부가 확인될 수 있다. 표 1과 같이, sps_bdpcm_enabled_flag 값을 확인하여 현재 시퀀스에 대하여 BDPCM이 활성화되고, 현재 코딩 유닛의 너비 및 높이가 모두 MaxTsSize 보다 작고, DIMD 플래그가 0인 경우, intra_bdpcm_luma_flag가 파싱될 수 있다. 여기서, MaxTsSize는 변환 스킵이 허용되는 최대 블록 크기를 나타낼 수 있다.
반면에, 종래 기술에 따르면, 크로마 성분에 적용되는지 여부를 지시하는 신택스 요소 intra_bdpcm_chroma_flag를 파싱함에 있어서, DIMD 플래그가 고려되지 않을 수 있다. 즉, 표 1과 같이, sps_bdpcm_enabled_flag 값을 확인하여 현재 시퀀스에 대하여 BDPCM이 활성화되고, 현재 크로마 성분의 너비 및 높이가 모두 MaxTsSize 보다 작은 경우, intra_bdpcm_chroma_flag가 파싱될 수 있다.
구체적으로, 듀얼 트리 타입인 경우, 루마 채널(루마 성분)의 부호화 과정에서, DIMD 플래그는 루마 성분을 위한 BDPCM 플래그 및 루마 성분을 위한 인트라 예측 모드의 시그널링 전에 전송될 수 있다. DIMD 플래그가 1인 경우, 루마 성분을 위한 BDPCM 플래그는 전송되지 않을 수 있다. 크로마 채널(크로마 성분)의 부호화 과정에서, DIMD 플래그는 시그널링 되지 않고, 크로마 성분을 위한 BDPCM 플래그 및 크로마 성분을 위한 인트라 예측 모드의 시그널링이 수행될 수 있다.
싱글 트리 타입인 경우, 루마 성분의 BDPCM 플래그 및 인트라 예측 모드의 시그널링이 전에 DIMD 플래그가 시그널링 될 수 있다. DIMD 플래그가 1인 경우, 루마 성분을 위한 BDPCM 플래그는 전송되지 않을 수 있다. 반면에, 크로마 성분을 위한 BDPCM 플래그는 DIMD 플래그와 관계없이 시그널링될 수 있다.
싱글 트리 타입에서, DIMD 플래그를 기반으로 루마 및 크로마에 대한 인트라 예측을 수행하는 경우를 가정할 때, 상술한 내용과 같이 DIMD 플래그와 관계없이 크로마 성분을 위한 BDPCM 플래그가 어느 경우에나 시그널링한다면 불필요한 비트 시그널링이 생길 수 있고, 압축 성능 저하로 이어질 수 있다. 싱글 트리에서, DIMD 플래그가 1인 경우, 루마 및 크로마 성분의 모든 정보를 고려하여 DIMD 모드가 유도될 수 있으므로, DIMD 플래그 값에 따라 루마 및 크로마 성분에 대한 BDPCM 적용 여부 결정은 그 결과가 동일할 수 있다.
따라서, 본 개시의 실시예에서는, DIMD를 고려한 크로마 성분 BDPCM 적용 방법을 제안한다. 즉, 본 개시의 실시예에 따르면, DIMD 플래그를 고려한 조건을 확인하여 조건 만족시 BDPCM 크로마 플래그를 시그널링할 수 있다. 싱글 트리 타입에서, DIMD 플래그가 1인 경우, BDPCM 크로마 정보는 시그널링되지 않을 수 있다. 다음의 표 2는 제안하는 방법에 따른 신택스 테이블을 예시한다.
Figure PCTKR2022018296-appb-img-000004
Figure PCTKR2022018296-appb-img-000005
Figure PCTKR2022018296-appb-img-000006
표 2를 참조하면, 현재 코딩 유닛이 인트라 예측이고(CuPredMode[chType][x0][y0] == MODE_INTRA), 트리 타입이 싱글 트리 또는 듀얼 트리 루마이고(treeType == SINGLE_TREE || treeType == DUAL_TREE_LUMA), 현재 시퀀스에 대하여 DIMD가 활성화된 경우(sps_dimd_flag == 1), DIMD 플래그(즉, 신택스 요소 dimd_flag)가 파싱될 수 있다.
루마 성분에 BDPCM이 적용되는지 여부를 지시하는 신택스 요소 intra_bdpcm_luma_flag를 파싱함에 있어서, 미리 정의된 조건을 만족하는지 여부가 확인될 수 있다. 표 2와 같이, sps_bdpcm_enabled_flag 값을 확인하여 현재 시퀀스에 대하여 BDPCM이 활성화되고, 현재 코딩 유닛의 너비 및 높이가 모두 MaxTsSize 보다 작고, DIMD 플래그가 0인 경우, intra_bdpcm_luma_flag가 파싱될 수 있다. 여기서, MaxTsSize는 변환 스킵이 허용되는 최대 블록 크기를 나타낼 수 있다.
크로마 성분에 적용되는지 여부를 지시하는 신택스 요소 intra_bdpcm_chroma_flag를 파싱함에 있어서, 미리 정의된 조건을 만족하는지 여부가 확인될 수 있다. 표 2와 같이, sps_bdpcm_enabled_flag 값을 확인하여 현재 시퀀스에 대하여 BDPCM이 활성화되고, 현재 크로마 성분의 너비 및 높이가 모두 MaxTsSize 보다 작고, DIMD 플래그가 0인 경우, intra_bdpcm_chroma_flag가 파싱될 수 있다.
표 2에서의 신택스와 같이, BDPCM 루마와 BDPCM 크로마의 부호화 조건을 동일하게 함으로써 복호화 단계를 간략화 할 수 있을 뿐만 아니라, 전송되는 비트를 절감함으로써, 압축 효율을 개선할 수 있다.
다시 도 8을 참조하면, 본 개시의 일 실시예에 따르면, 도 8에서 BDPCM 크로마를 위한 조건은 다음의 수학식 1과 같이 정의될 수 있다.
Figure PCTKR2022018296-appb-img-000007
수학식 1을 참조하면, 1) 루마 성분이 유효하지 않거나 루마 성분이 유효하면서 싱글 트리이고, 2) 크로마 성분에 대한 코딩이 활성화된 경우, 도 8의 BDPCM 크로마를 위한 조건이 만족될 수 있다.
전술한 바와 같이, DIMD와 관련된 미리 정의된 조건을 만족하는지 여부에 기초하여 BDPCM 크로마 플래그가 파싱될 수 있다. 일 예로서, BDPCM 크로마 플래그는 현재 블록의 트리 타입이 싱글 트리(single tree)이고 DIMD 플래그가 현재 블록에 DIMD가 적용되지 않음을 지시하는 경우에 한하여 파싱될 수 있다. 예를 들어, 도 8에서 BDPCM 크로마 적용(또는 허용) 조건은 다음의 수학식 2과 같이 정의될 수 있다.
Figure PCTKR2022018296-appb-img-000008
수학식 2를 참조하면, 1) 현재 시퀀스에서 BDPCM이 활성화되고, 2) 인트라 예측이고, 3) 현재 블록의 너비 및 높이가 변환 스킵 최대 사이즈 보다 작거나 같고, 4) 싱글 트리 타입이면서 DIMD가 적용되지 않거나 듀얼 트리 타입인 경우, BDPCM 크로마 적용 조건을 만족할 수 있다. BDPCM 크로마 적용 조건을 만족하는 경우, BDPCM 크로마 플래그가 파싱될 수 있다.
또는, 다른 일 예로서, BDPCM 크로마 플래그는 DIMD 플래그가 현재 블록에 DIMD가 적용되지 않음을 지시하는 경우에 한하여 파싱될 수 있다. 도 8에서 BDPCM 크로마 적용(또는 허용) 조건은 다음의 수학식 3과 같이 정의될 수 있다.
Figure PCTKR2022018296-appb-img-000009
수학식 3을 참조하면, 1) 현재 시퀀스에서 BDPCM이 활성화되고, 2) 인트라 예측이고, 3) 현재 블록의 너비 및 높이가 변환 스킵 최대 사이즈 보다 작거나 같고, 4) DIMD가 적용되지 않는 경우, BDPCM 크로마 적용 조건을 만족할 수 있다. BDPCM 크로마 적용 조건을 만족하는 경우, BDPCM 크로마 플래그가 파싱될 수 있다.
일 실시예로서, BDPCM 크로마 플래그가 비트스트림으로부터 파싱되지 않는 경우, BDPCM 크로마 플래그는 미리 정의된 값으로 추론될 수 있다. 예를 들어, 상기 미리 정의된 값은 0 또는 1일 수 있다.
도 9는 본 개시의 일 실시예에 따른 영상 디코딩 방법을 수행하는 인트라 예측부의 개략적인 구성을 도시한 것이다.
도 9를 참조하면, 인트라 예측부(331)는 DIMD 플래그 획득부(900), BDPCM 플래그 획득부(910), 인트라 예측 모드 유도부(920) 및 예측 샘플 생성부(930)를 포함할 수 있다.
DIMD 플래그 획득부(900)는 현재 블록에 DIMD(decoder side intra mode derivation)가 적용되는지 여부를 지시하는 DIMD 플래그를 획득할 수 있다. 일 실시예로서, DIMD가 적용되면 복원된 주변 샘플로부터 하나 이상의 인트라 예측 모드가 유도될 수 있고, 유도된 인트라 예측 모드를 이용하여 예측자(predictor)가 유도될 수 있다. 인트라 예측 모드를 유도함에 있어서, 복원된 주변 샘플들에 대한 그래디언트(gradient) 계산이 수행될 수 있다.
유도된 인트라 예측 모드를 이용하여 유도된 예측자는 플래너 모드(Planar mode) 예측자와 결합될 수 있다. 미리 결정된 가중치를 기반으로 가중합될 수 있다. 일 예로서, DIMD 플래그는 현재 블록의 루마 성분에 DIMD가 적용되는지 여부를 지시할 수 있다. 또는, DIMD 플래그는 현재 블록의 루마 성분 또는 크로마 성분 중 적어도 하나에 DIMD가 적용되는지 여부를 지시할 수 있다.
또한, 일 실시예로서, DIMD로 유도된 인트라 예측 모드는 MPM(Most Probable Mode) 리스트에 포함될 수 있다. MPM 리스트를 구성하기 전에 DIMD 프로세스가 수행될 수 있다. 일 예로서, DIMD가 적용된 블록의 유도된 인트라 예측 모드는 블록과 함께 저장될 수 있고, 인접 블록의 MPM 리스트 구성에 이용될 수 있다. 본 개시에서, 상기 DIMD는 인트라 유도 모드, 인트라 예측 모드 유도 모드로 지칭될 수 있고, DIMD 플래그는 인트라 유도 모드 플래그, 인트라 예측 모드 유도 모드 플래그, 제1 플래그 등으로 지칭될 수 있다.
BDPCM 플래그 획득부(910)는 DIMD 플래그에 기초하여 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 지시하는 BDPCM 플래그를 획득할 수 있다. 본 개시에서, 상기 BDPCM 플래그는 BDPCM 크로마 플래그, 크로마 BDPCM 플래그, 제2 플래그 등으로 지칭될 수 있다. 앞서 도 7 및 도 8에서 설명한 실시예가 동일하게 적용될 수 있으며, 중복되는 설명은 생략한다.
인트라 예측 모드 유도부(920)는 BDPCM 플래그에 기초하여 크로마 성분의 인트라 예측 모드를 유도할 수 있다. 실시예로서, BDPCM 플래그가 상기 크로마 성분에 BDPCM이 적용되지 않음을 지시하는 경우, 복수의 인트라 예측 모드 중에서 상기 크로마 성분의 인트라 예측 모드를 지시하는 크로마 예측 모드 인덱스가 시그널링될 수 있다. 즉, BDPCM이 적용되지 않는 경우, 일반 인트라 코딩이 적용될 수 있고, 크로마 성분에 대한 인트라 예측 모드 유도 프로세스가 수행될 수 있다.
또한, 일 실시예로서, 크로마 성분에 DIMD가 적용될 수 있다. 일 예로, 크로마 성분에 DIMD가 적용되는지 여부를 지시하는 크로마 DIMD 플래그가 시그널링 될 수 있다. 또는 다른 일 예로, 크로마 성분에 적용되는 DIMD 모드를 나타내는 크로마 DIMD 모드가 크로마 인트라 예측을 위한 크로마 인트라 예측 모드 그룹에 포함될 수 있다. 이 경우, 상기 복수의 인트라 예측 모드는 복원된 주변 샘플을 이용하여 크로마 인트라 예측 모드를 유도하는 크로마 DIMD 모드를 포함할 수 있다. 본 개시에서, 크로마 DIMD 모드는 크로마 인트라 유도 모드, 크로마 인트라 예측 모드 유도 모드로 지칭될 수 있다.
또한, BDPCM 플래그가 크로마 성분에 상기 BDPCM이 적용됨을 지시하는 경우에는 전술한 바와 같이 BDPCM의 예측 방향을 지시하는 플래그(BDPCM 예측 방향 플래그로 지칭) 정보가 시그널링될 수 있다. BDPCM 예측 방향 플래그에 따라 인트라 예측 모드가 결정(또는 유도)될 수 있다. BDPCM이 적용되는 경우, 인트라 예측 모드는 수직 모드 또는 수평 모드 중 어느 하나로 결정될 수 있다. 또는, BDPCM이 적용되는 경우, 인트라 예측 모드는 미리 정의된 복수의 예측 모드 중에서 BDPCM 예측 방향에 대응되는 모드로 결정될 수 있다. BDPCM 예측 방향이 3개 이상일 수 있고, 이 경우, BDPCM 예측 방향을 지시하는 인덱스 정보가 시그널링될 수도 있다.
예측 샘플 생성부(930)는 유도된 인트라 예측 모드에 기초하여 크로마 성분의 예측 샘플을 생성할 수 있다. 즉, 예측 샘플 생성부(930)는 인트라 예측 모드의 예측 방향에 따라 주변 참조 샘플을 이용하여 예측 샘플(또는 예측자)를 생성할 수 있다.
도 10은 본 개시의 일 실시예에 따른 인코딩 장치에 의해 수행되는 영상 인코딩 방법을 도시한 것이다.
앞서 도 7 내지 도 9를 참조하여 살펴본 영상 디코딩 방법은 본 개시에 따른 영상 인코딩 방법에도 동일/유사하게 적용될 수 있으며, 중복된 설명은 생략하기로 한다.
도 10을 참조하면, 인코딩 장치(즉, 인코더)는 현재 블록에 DIMD(decoder side intra mode derivation)가 적용되는지 여부를 결정할 수 있다(S1000). 일 예로서, 인코딩 장치는 상기 결정 결과에 따라, 현재 블록에 DIMD가 적용되는지 여부를 지시하는 DIMD 플래그를 비트스트림을 통해 시그널링할 수 있다. 일 실시예로서, DIMD가 적용되면 복원된 주변 샘플로부터 하나 이상의 인트라 예측 모드가 유도될 수 있고, 유도된 인트라 예측 모드를 이용하여 예측자(predictor)가 유도될 수 있다. 인트라 예측 모드를 유도함에 있어서, 복원된 주변 샘플들에 대한 그래디언트(gradient) 계산이 수행될 수 있다.
유도된 인트라 예측 모드를 이용하여 유도된 예측자는 플래너 모드(Planar mode) 예측자와 결합될 수 있다. 미리 결정된 가중치를 기반으로 가중합될 수 있다. 일 예로서, DIMD 플래그는 현재 블록의 루마 성분에 DIMD가 적용되는지 여부를 지시할 수 있다. 또는, DIMD 플래그는 현재 블록의 루마 성분 또는 크로마 성분 중 적어도 하나에 DIMD가 적용되는지 여부를 지시할 수 있다.
또한, 일 실시예로서, DIMD로 유도된 인트라 예측 모드는 MPM(Most Probable Mode) 리스트에 포함될 수 있다. MPM 리스트를 구성하기 전에 DIMD 프로세스가 수행될 수 있다. 일 예로서, DIMD가 적용된 블록의 유도된 인트라 예측 모드는 블록과 함께 저장될 수 있고, 인접 블록의 MPM 리스트 구성에 이용될 수 있다. 본 개시에서, 상기 DIMD는 인트라 유도 모드, 인트라 예측 모드 유도 모드로 지칭될 수 있고, DIMD 플래그는 인트라 유도 모드 플래그, 인트라 예측 모드 유도 모드 플래그, 제1 플래그 등으로 지칭될 수 있다.
인코딩 장치는 DIMD 적용 여부에 기초하여 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 결정할 수 있다(S1010). 일 예로서, 인코딩 장치는 현재 블록의 크로마 성분에 BDPCM이 적용되는지 여부를 지시하는 BDPCM 플래그를 비트스트림을 통해 시그널링할 수 있다. 본 개시에서, 상기 BDPCM 플래그는 BDPCM 크로마 플래그, 크로마 BDPCM 플래그, 제2 플래그 등으로 지칭될 수 있다. 앞서 도 7 및 도 8에서 설명한 실시예가 동일하게 적용될 수 있으며, 중복되는 설명은 생략한다.
인코딩 장치는 BDPCM 적용 여부에 기초하여 크로마 성분의 인트라 예측 모드를 유도할 수 있다(S1020). 실시예로서, 상기 크로마 성분에 BDPCM이 적용되지 않는 경우, 복수의 인트라 예측 모드 중에서 상기 크로마 성분의 인트라 예측 모드를 지시하는 크로마 예측 모드 인덱스가 시그널링될 수 있다. 즉, BDPCM이 적용되지 않는 경우, 일반 인트라 코딩이 적용될 수 있고, 크로마 성분에 대한 인트라 예측 모드 결정 프로세스가 수행될 수 있다.
또한, 일 실시예로서, 크로마 성분에 DIMD가 적용될 수 있다. 일 예로, 크로마 성분에 DIMD가 적용되는지 여부를 지시하는 크로마 DIMD 플래그가 시그널링 될 수 있다. 또는 다른 일 예로, 크로마 성분에 적용되는 DIMD 모드를 나타내는 크로마 DIMD 모드가 크로마 인트라 예측을 위한 크로마 인트라 예측 모드 그룹에 포함될 수 있다. 이 경우, 상기 복수의 인트라 예측 모드는 복원된 주변 샘플을 이용하여 크로마 인트라 예측 모드를 유도하는 크로마 DIMD 모드를 포함할 수 있다. 본 개시에서, 크로마 DIMD 모드는 크로마 인트라 유도 모드, 크로마 인트라 예측 모드 유도 모드로 지칭될 수 있다.
또한, 크로마 성분에 상기 BDPCM이 적용되는 경우에는 전술한 바와 같이 BDPCM의 예측 방향을 지시하는 플래그(BDPCM 예측 방향 플래그로 지칭) 정보가 시그널링될 수 있다. BDPCM 예측 방향에 따라 인트라 예측 모드가 결정(또는 유도)될 수 있다. BDPCM이 적용되는 경우, 인트라 예측 모드는 수직 모드 또는 수평 모드 중 어느 하나로 결정될 수 있다. 또는, BDPCM이 적용되는 경우, 인트라 예측 모드는 미리 정의된 복수의 예측 모드 중에서 BDPCM 예측 방향에 대응되는 모드로 결정될 수 있다. BDPCM 예측 방향이 3개 이상일 수 있고, 이 경우, BDPCM 예측 방향을 지시하는 인덱스 정보가 시그널링될 수도 있다.
인코딩 장치는 유도된 인트라 예측 모드에 기초하여 크로마 성분의 예측 샘플을 생성할 수 있다(S1030). 즉, 인코딩 장치는 인트라 예측 모드의 예측 방향에 따라 주변 참조 샘플을 이용하여 예측 샘플(또는 예측자)를 생성할 수 있다.
도 11은 본 개시의 일 실시예에 따른 영상 인코딩 방법을 수행하는 인트라 예측부의 개략적인 구성을 도시한 것이다.
도 11을 참조하면, 인트라 예측부(221)는 DIMD 결정부(1100), BDPCM 결정부(1110), 인트라 예측 모드 결정부(1120) 및 예측 샘플 생성부(1130)를 포함할 수 있다.
DIMD 결정부(1100)는 현재 블록에 DIMD(decoder side intra mode derivation)가 적용되는지 여부를 결정할 수 있다. 일 예로서, DIMD 결정부(1100)는 상기 결정 결과에 따라, 현재 블록에 DIMD가 적용되는지 여부를 지시하는 DIMD 플래그를 비트스트림을 통해 시그널링할 수 있다. 일 실시예로서, DIMD가 적용되면 복원된 주변 샘플로부터 하나 이상의 인트라 예측 모드가 유도될 수 있고, 유도된 인트라 예측 모드를 이용하여 예측자(predictor)가 유도될 수 있다. 인트라 예측 모드를 유도함에 있어서, 복원된 주변 샘플들에 대한 그래디언트(gradient) 계산이 수행될 수 있다.
유도된 인트라 예측 모드를 이용하여 유도된 예측자는 플래너 모드(Planar mode) 예측자와 결합될 수 있다. 미리 결정된 가중치를 기반으로 가중합될 수 있다. 일 예로서, DIMD 플래그는 현재 블록의 루마 성분에 DIMD가 적용되는지 여부를 지시할 수 있다. 또는, DIMD 플래그는 현재 블록의 루마 성분 또는 크로마 성분 중 적어도 하나에 DIMD가 적용되는지 여부를 지시할 수 있다.
또한, 일 실시예로서, DIMD로 유도된 인트라 예측 모드는 MPM(Most Probable Mode) 리스트에 포함될 수 있다. MPM 리스트를 구성하기 전에 DIMD 프로세스가 수행될 수 있다. 일 예로서, DIMD가 적용된 블록의 유도된 인트라 예측 모드는 블록과 함께 저장될 수 있고, 인접 블록의 MPM 리스트 구성에 이용될 수 있다. 본 개시에서, 상기 DIMD는 인트라 유도 모드, 인트라 예측 모드 유도 모드로 지칭될 수 있고, DIMD 플래그는 인트라 유도 모드 플래그, 인트라 예측 모드 유도 모드 플래그, 제1 플래그 등으로 지칭될 수 있다.
BDPCM 결정부(1110)는 DIMD 적용 여부에 기초하여 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 결정할 수 있다. 일 예로서, 인코딩 장치는 현재 블록의 크로마 성분에 BDPCM이 적용되는지 여부를 지시하는 BDPCM 플래그를 비트스트림을 통해 시그널링할 수 있다. 본 개시에서, 상기 BDPCM 플래그는 BDPCM 크로마 플래그, 크로마 BDPCM 플래그, 제2 플래그 등으로 지칭될 수 있다. 앞서 도 7 및 도 8에서 설명한 실시예가 동일하게 적용될 수 있으며, 중복되는 설명은 생략한다.
인트라 예측 모드 결정부(1120)는 BDPCM 적용 여부에 기초하여 크로마 성분의 인트라 예측 모드를 유도할 수 있다. 실시예로서, 상기 크로마 성분에 BDPCM이 적용되지 않는 경우, 복수의 인트라 예측 모드 중에서 상기 크로마 성분의 인트라 예측 모드를 지시하는 크로마 예측 모드 인덱스가 시그널링될 수 있다. 즉, BDPCM이 적용되지 않는 경우, 일반 인트라 코딩이 적용될 수 있고, 크로마 성분에 대한 인트라 예측 모드 결정 프로세스가 수행될 수 있다.
또한, 일 실시예로서, 크로마 성분에 DIMD가 적용될 수 있다. 일 예로, 크로마 성분에 DIMD가 적용되는지 여부를 지시하는 크로마 DIMD 플래그가 시그널링 될 수 있다. 또는 다른 일 예로, 크로마 성분에 적용되는 DIMD 모드를 나타내는 크로마 DIMD 모드가 크로마 인트라 예측을 위한 크로마 인트라 예측 모드 그룹에 포함될 수 있다. 이 경우, 상기 복수의 인트라 예측 모드는 복원된 주변 샘플을 이용하여 크로마 인트라 예측 모드를 유도하는 크로마 DIMD 모드를 포함할 수 있다. 본 개시에서, 크로마 DIMD 모드는 크로마 인트라 유도 모드, 크로마 인트라 예측 모드 유도 모드로 지칭될 수 있다.
또한, 크로마 성분에 상기 BDPCM이 적용되는 경우에는 전술한 바와 같이 BDPCM의 예측 방향을 지시하는 플래그(BDPCM 예측 방향 플래그로 지칭) 정보가 시그널링될 수 있다. BDPCM 예측 방향에 따라 인트라 예측 모드가 결정(또는 유도)될 수 있다. BDPCM이 적용되는 경우, 인트라 예측 모드는 수직 모드 또는 수평 모드 중 어느 하나로 결정될 수 있다. 또는, BDPCM이 적용되는 경우, 인트라 예측 모드는 미리 정의된 복수의 예측 모드 중에서 BDPCM 예측 방향에 대응되는 모드로 결정될 수 있다. BDPCM 예측 방향이 3개 이상일 수 있고, 이 경우, BDPCM 예측 방향을 지시하는 인덱스 정보가 시그널링될 수도 있다.
예측 샘플 생성부(1130)는 유도된 인트라 예측 모드에 기초하여 크로마 성분의 예측 샘플을 생성할 수 있다. 즉, 예측 샘플 생성부(1130)는 인트라 예측 모드의 예측 방향에 따라 주변 참조 샘플을 이용하여 예측 샘플(또는 예측자)를 생성할 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 해당 실시예는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 문서의 실시예들의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 본 문서의 실시예들에 따른 방법은 소프트웨어 형태로 구현될 수 있으며, 본 문서에 따른 인코딩 장치 및/또는 디코딩 장치는 예를 들어 TV, 컴퓨터, 스마트폰, 셋톱박스, 디스플레이 장치 등의 영상 처리를 수행하는 장치에 포함될 수 있다.
본 문서에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 즉, 본 문서에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 이 경우 구현을 위한 정보(ex. information on instructions) 또는 알고리즘이 디지털 저장 매체에 저장될 수 있다.
또한, 본 명세서의 실시예(들)이 적용되는 디코딩 장치 및 인코딩 장치는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, VR(virtual reality) 장치, AR(argumente reality) 장치, 화상 전화 비디오 장치, 운송 수단 단말 (ex. 차량(자율주행차량 포함) 단말, 비행기 단말, 선박 단말 등) 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recorder) 등을 포함할 수 있다.
또한, 본 명세서의 실시예(들)이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 명세서의 실시예(들)에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 명세서의 실시예(들)는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 명세서의 실시예(들)에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
도 12는 본 개시의 실시예들이 적용될 수 있는 컨텐츠 스트리밍 시스템의 예를 나타낸다.
도 12를 참조하면, 본 명세서의 실시예(들)이 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수 있다.
상기 비트스트림은 본 명세서의 실시예(들)이 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하게 되는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
본 명세서에 기재된 청구항들은 다양한 방식으로 조합될 수 있다. 예를 들어, 본 명세서의 방법 청구항의 기술적 특징이 조합되어 장치로 구현될 수 있고, 본 명세서의 장치 청구항의 기술적 특징이 조합되어 방법으로 구현될 수 있다. 또한, 본 명세서의 방법 청구항의 기술적 특징과 장치 청구항의 기술적 특징이 조합되어 장치로 구현될 수 있고, 본 명세서의 방법 청구항의 기술적 특징과 장치 청구항의 기술적 특징이 조합되어 방법으로 구현될 수 있다.

Claims (11)

  1. 현재 블록에 인트라 유도 모드가 적용되는지 여부를 지시하는 제1 플래그를 획득하는 단계로서, 상기 인트라 유도 모드는 복원된 주변 샘플을 이용하여 인트라 예측 모드를 유도하는 모드를 나타냄;
    상기 제1 플래그에 기초하여 상기 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 지시하는 제2 플래그를 획득하는 단계;
    상기 제2 플래그에 기초하여 상기 크로마 성분의 인트라 예측 모드를 유도하는 단계; 및
    상기 인트라 예측 모드에 기초하여 상기 크로마 성분의 예측 샘플을 생성하는 단계를 포함하는, 영상 디코딩 방법.
  2. 제1항에 있어서,
    상기 인트라 예측 모드를 유도하는 단계는,
    상기 제2 플래그가 상기 크로마 성분에 상기 BDPCM이 적용되지 않음을 지시하는 경우, 복수의 인트라 예측 모드 중에서 상기 크로마 성분의 인트라 예측 모드를 지시하는 제1 인덱스를 획득하는 단계를 포함하는, 영상 디코딩 방법.
  3. 제2항에 있어서,
    상기 복수의 인트라 예측 모드는 복원된 주변 샘플을 이용하여 크로마 인트라 예측 모드를 유도하는 크로마 인트라 유도 모드를 포함하는, 영상 디코딩 방법.
  4. 제2항에 있어서,
    상기 인트라 예측 모드를 유도하는 단계는,
    상기 제2 플래그가 상기 크로마 성분에 상기 BDPCM이 적용됨을 지시하는 경우, 상기 BDPCM의 예측 방향을 지시하는 제3 플래그를 획득하는 단계를 더 포함하는, 영상 디코딩 방법.
  5. 제1항에 있어서,
    상기 제2 플래그를 획득하는 단계는,
    미리 정의된 조건을 만족하는지 여부에 기초하여 상기 제2 플래그를 비트스트림으로부터 획득하는 단계를 포함하는, 영상 디코딩 방법.
  6. 제5항에 있어서,
    상기 제2 플래그는, 상기 제1 플래그가 상기 현재 블록에 상기 인트라 유도 모드가 적용되지 않음을 지시하는 경우에 한하여 상기 비트스트림으로부터 획득되는, 영상 디코딩 방법.
  7. 제5항에 있어서,
    상기 제2 플래그는, 상기 현재 블록의 트리 타입이 싱글 트리(single tree)이고 상기 제1 플래그가 상기 현재 블록에 상기 인트라 유도 모드가 적용되지 않음을 지시하는 경우에 한하여 상기 비트스트림으로부터 획득되는, 영상 디코딩 방법.
  8. 제5항에 있어서,
    상기 미리 정의된 조건을 만족하지 않는 경우, 상기 제2 플래그는 0으로 추론되는, 영상 디코딩 방법.
  9. 현재 블록에 인트라 유도 모드가 적용되는지 여부를 결정하는 단계로서, 상기 인트라 유도 모드는 복원된 주변 샘플을 이용하여 인트라 예측 모드를 유도하는 모드를 나타냄;
    상기 인트라 유도 모드가 적용되는지 여부에 기초하여 상기 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 결정하는 단계;
    상기 BDPCM이 적용되는지 여부에 기초하여 상기 크로마 성분의 인트라 예측 모드를 결정하는 단계; 및
    상기 인트라 예측 모드에 기초하여 상기 크로마 성분의 예측 샘플을 생성하는 단계를 포함하는, 영상 인코딩 방법.
  10. 제9항에 따른 영상 인코딩 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 저장 매체.
  11. 현재 블록에 인트라 유도 모드가 적용되는지 여부를 결정하는 단계로서, 상기 인트라 유도 모드는 복원된 주변 샘플을 이용하여 인트라 예측 모드를 유도하는 모드를 나타냄;
    상기 인트라 유도 모드가 적용되는지 여부에 기초하여 상기 현재 블록의 크로마 성분에 BDPCM(Block Differential Pulse Coded Modulation)이 적용되는지 여부를 결정하는 단계;
    상기 BDPCM이 적용되는지 여부에 기초하여 상기 크로마 성분의 인트라 예측 모드를 결정하는 단계;
    상기 인트라 예측 모드에 기초하여 상기 크로마 성분의 예측 샘플을 생성하는 단계;
    상기 크로마 성분의 예측 샘플에 기초하여 상기 현재 블록을 부호화함으로써 비트스트림을 생성하는 단계; 및
    상기 비트스트림을 포함한 데이터를 전송하는 단계를 포함하는, 영상 정보에 대한 데이터 전송 방법.
PCT/KR2022/018296 2021-11-18 2022-11-18 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 WO2023090932A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210159131 2021-11-18
KR10-2021-0159131 2021-11-18

Publications (1)

Publication Number Publication Date
WO2023090932A1 true WO2023090932A1 (ko) 2023-05-25

Family

ID=86397463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018296 WO2023090932A1 (ko) 2021-11-18 2022-11-18 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Country Status (1)

Country Link
WO (1) WO2023090932A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256389A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 Bdpcm 기반 영상 디코딩 방법 및 그 장치
US20200404324A1 (en) * 2019-06-19 2020-12-24 Qualcomm Incorporated Signaling for intra coding of video data
US20210203985A1 (en) * 2019-12-27 2021-07-01 Qualcomm Incorporated Block-based delta pulse code modulation for video coding
US20210306654A1 (en) * 2019-02-28 2021-09-30 Xris Corporation Method for encoding/decoding image signal, and device therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210306654A1 (en) * 2019-02-28 2021-09-30 Xris Corporation Method for encoding/decoding image signal, and device therefor
WO2020256389A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 Bdpcm 기반 영상 디코딩 방법 및 그 장치
US20200404324A1 (en) * 2019-06-19 2020-12-24 Qualcomm Incorporated Signaling for intra coding of video data
US20210203985A1 (en) * 2019-12-27 2021-07-01 Qualcomm Incorporated Block-based delta pulse code modulation for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABDOLI MOHSEN; GUIONNET THOMAS; RAULET MICKAEL; KULUPANA GOSALA; BLASI SAVERIO: "Decoder-Side Intra Mode Derivation For Next Generation Video Coding", 2020 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), IEEE, 6 July 2020 (2020-07-06), pages 1 - 6, XP033808189, DOI: 10.1109/ICME46284.2020.9102799 *

Similar Documents

Publication Publication Date Title
WO2020071829A1 (ko) 히스토리 기반 영상 코딩 방법 및 그 장치
WO2019190181A1 (ko) 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
WO2020256389A1 (ko) Bdpcm 기반 영상 디코딩 방법 및 그 장치
WO2020197236A1 (ko) 서브 픽처 핸들링 구조 기반 영상 또는 비디오 코딩
WO2020171632A1 (ko) Mpm 리스트 기반 인트라 예측 방법 및 장치
WO2020091213A1 (ko) 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2020256344A1 (ko) 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링
WO2020197038A1 (ko) 영상 코딩 시스템에서 인트라 서브 파티션 기반의 인트라 예측 방법 및 장치
WO2021137597A1 (ko) Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
WO2020149630A1 (ko) 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
WO2020145604A1 (ko) Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020256346A1 (ko) 변환 커널 세트에 관한 정보에 대한 코딩
WO2020141932A1 (ko) Cpr 기반 mmvd를 이용하는 인터 예측 방법 및 장치
WO2020184821A1 (ko) Mpm 리스트를 구성하는 방법 및 장치
WO2021091256A1 (ko) 영상/비디오 코딩 방법 및 장치
WO2021145728A1 (ko) 인루프 필터링 기반 영상 코딩 장치 및 방법
WO2021118293A1 (ko) 필터링 기반 영상 코딩 장치 및 방법
WO2021133060A1 (ko) 서브픽처 기반 영상 코딩 장치 및 방법
WO2021034161A1 (ko) 인트라 예측 장치 및 방법
WO2020251270A1 (ko) 서브블록 단위의 시간적 움직임 정보 기반 영상 또는 비디오 코딩
WO2020180100A1 (ko) 인트라 블록 코딩 기반 비디오 또는 영상 코딩
WO2020145620A1 (ko) Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020197031A1 (ko) 영상 코딩 시스템에서 다중 참조 라인 기반의 인트라 예측 방법 및 장치
WO2021201463A1 (ko) 인루프 필터링 기반 영상 코딩 장치 및 방법
WO2020235959A1 (ko) 영상 코딩 시스템에서 bdpcm을 사용하는 영상 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22896129

Country of ref document: EP

Kind code of ref document: A1