WO2023132554A1 - 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 - Google Patents

영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 Download PDF

Info

Publication number
WO2023132554A1
WO2023132554A1 PCT/KR2022/021514 KR2022021514W WO2023132554A1 WO 2023132554 A1 WO2023132554 A1 WO 2023132554A1 KR 2022021514 W KR2022021514 W KR 2022021514W WO 2023132554 A1 WO2023132554 A1 WO 2023132554A1
Authority
WO
WIPO (PCT)
Prior art keywords
current block
sample
parameter
prediction
region
Prior art date
Application number
PCT/KR2022/021514
Other languages
English (en)
French (fr)
Inventor
남정학
임재현
박내리
유선미
장형문
최장원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2023132554A1 publication Critical patent/WO2023132554A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a video encoding/decoding method and apparatus, and a recording medium storing a bitstream.
  • HD High Definition
  • UHD Ultra High Definition
  • An inter-prediction technique that predicts sample values included in the current picture from pictures before or after the current picture as a video compression technique
  • an intra-prediction technique that predicts sample values included in the current picture using sample degree information in the current picture
  • video compression techniques can be used to effectively compress and transmit or store image data.
  • the present disclosure seeks to provide a method and apparatus for determining parameters for correction of predicted/reconstructed samples.
  • the present disclosure seeks to provide a method and apparatus for determining a reference region for deriving a parameter.
  • the present disclosure seeks to provide a method and apparatus for selectively using some samples in a reference region.
  • An object of the present disclosure is to provide a method and apparatus for correcting prediction/reconstruction samples based on parameters.
  • the present disclosure intends to provide a method and apparatus for signaling correction-related information of predicted/reconstructed samples.
  • An object of the present disclosure is to provide a method and apparatus for propagating a mode used to derive information and/or parameters on whether prediction/reconstruction samples are corrected or not.
  • An image decoding method and apparatus obtains a prediction sample of a current block, determines a first reference region for the current block based on one of a plurality of modes pre-defined in a decoding apparatus, , Based on the first reference region for the current block, a first parameter for correcting the predicted sample of the current block is derived, and based on the first parameter, the predicted sample of the current block is corrected, and the corrected A prediction sample can be obtained.
  • the plurality of modes include a first mode in which an upper and left peripheral region of the current block are used as the reference region, and a left peripheral region of the current block is used as the reference region. It may include at least two of a second mode used as an area and a third mode in which an area around an upper end of the current block is used as the reference area.
  • the left peripheral region of the second mode includes a sample line not adjacent to the current block
  • the upper peripheral region of the third mode includes the current block. may include sample lines that are not adjacent to .
  • the plurality of modes include a first mode in which a first sample line adjacent to the current block is used as the reference region, and a first mode in which the first sample line not adjacent to the current block is used as the reference region. At least two of a second mode in which a second sample line adjacent to the current block is used as the reference area, or a third mode in which a third sample line adjacent to the second sample line and not adjacent to the current block is used as the reference area. can include
  • one of the plurality of modes is determined based on encoding information of a neighboring block adjacent to the current block, and the encoding information includes a quantization parameter, a prediction mode, or at least one of motion information.
  • the first parameter is derived based on one or more samples selected from among samples belonging to the reference region, and the one or more samples are selected from the current block. It may be selected based on at least one of the size of , sub-sampling for the reference region, or a representative sample of samples belonging to the reference region.
  • An image decoding method and apparatus may determine an additional reference region for the current block based on another one of the plurality of modes, and determine the current block based on the additional reference region for the current block.
  • a second parameter for correcting a prediction sample of a block may be derived, and a final parameter applied to the current block may be derived based on the first parameter and the second parameter.
  • the corrected prediction sample may be obtained by applying the final parameter to the prediction sample.
  • a region to which the first parameter is applied within the current block may be determined based on one or more types pre-defined in the decoding apparatus.
  • the one or more types include a first type in which a region to which the first parameter is applied has the same size as the current block, and a region to which the first parameter is applied
  • a region to which the second type which is one of two sub-regions generated by dividing the current block based on a horizontal division line and the first parameter is applied, is generated by dividing the current block based on a vertical division line
  • a third type which is one of two sub-regions
  • a fourth type in which the region to which the first parameter is applied is a region excluding the lower-right sub-region in the current block, or the region to which the first parameter is applied is a predetermined
  • It may include at least one of a fifth type, which is either one of two sub-regions generated by dividing the current block based on a dividing line having an angle.
  • a region to which the first parameter is applied within the current block is determined based on encoding information of at least one of the current block and neighboring blocks adjacent to the current block,
  • the encoding information may include at least one of a quantization parameter, a prediction mode, and motion information.
  • An image decoding method and apparatus configures a merge candidate list of the current block based on an inter prediction mode of the current block, and based on one candidate selected from the merge candidate list, a merge candidate list of the current block Motion information can be derived.
  • whether to correct the prediction sample may be determined based on the inter prediction mode of the current block or one of the selected candidates.
  • a video encoding method and apparatus obtains a prediction sample of a current block, determines a first reference region for the current block based on one of a plurality of modes pre-defined in an encoding apparatus, , Based on the first reference region for the current block, a first parameter for correcting the predicted sample of the current block is derived, and based on the first parameter, the predicted sample of the current block is corrected, and the corrected A prediction sample can be obtained.
  • the plurality of modes include a first mode in which an upper and left peripheral region of the current block are used as the reference region, and a left peripheral region of the current block is used as the reference region. It may include at least two of a second mode used as an area and a third mode in which an area around an upper end of the current block is used as the reference area.
  • the left peripheral area of the second mode includes a sample line not adjacent to the current block
  • the upper peripheral area of the third mode includes the current block. may include sample lines that are not adjacent to .
  • the plurality of modes include a first mode in which a first sample line adjacent to the current block is used as the reference region, and a first mode in which the first sample line not adjacent to the current block is used as the reference region. At least two of a second mode in which a second sample line adjacent to the current block is used as the reference area, or a third mode in which a third sample line adjacent to the second sample line and not adjacent to the current block is used as the reference area. can include
  • one of the plurality of modes is determined based on encoding information of a neighboring block adjacent to the current block, and the encoding information includes a quantization parameter, a prediction mode, or at least one of motion information.
  • the first parameter is derived based on one or more samples selected from among samples belonging to the reference region, and the one or more samples are selected from the current block. It may be selected based on at least one of the size of , sub-sampling for the reference region, or a representative sample of samples belonging to the reference region.
  • An image encoding method and apparatus may determine an additional reference region for the current block based on another one of the plurality of modes, and determine the current block based on the additional reference region for the current block.
  • a second parameter for correcting a prediction sample of a block may be derived, and a final parameter applied to the current block may be derived based on the first parameter and the second parameter.
  • the corrected prediction sample may be obtained by applying the final parameter to the prediction sample.
  • a region to which the first parameter is applied within the current block may be determined based on one or more types pre-defined in the encoding apparatus.
  • the one or more types include: a first type in which a region to which the first parameter is applied has the same size as the current block; A region to which the second type, which is one of two sub-regions generated by dividing the current block based on a horizontal division line and the first parameter is applied, is generated by dividing the current block based on a vertical division line A third type, which is one of two sub-regions, a fourth type, in which the region to which the first parameter is applied is a region excluding the lower-right sub-region in the current block, or the region to which the first parameter is applied is a predetermined It may include at least one of a fifth type, which is either one of two sub-regions generated by dividing the current block based on a dividing line having an angle.
  • a region to which the first parameter is applied within the current block is determined based on encoding information of at least one of the current block and neighboring blocks adjacent to the current block,
  • the encoding information may include at least one of a quantization parameter, a prediction mode, and motion information.
  • a merge candidate list of the current block is configured based on the inter prediction mode of the current block, and a merge candidate list of the current block is formed based on one candidate selected from the merge candidate list.
  • Motion information can be derived.
  • whether to correct the prediction sample may be determined based on the inter prediction mode of the current block or one of the selected candidates.
  • a method and apparatus for transmitting data for image information obtains a prediction sample of a current block, and based on any one of a plurality of modes pre-defined in an encoding apparatus, a first prediction sample for the current block is provided. 1 determine a reference region, derive a first parameter for correcting the predicted sample of the current block based on the first reference region for the current block, and derive a first parameter for correcting the predicted sample of the current block based on the first parameter By correcting , a corrected prediction sample is obtained, a bitstream is generated by encoding the current block based on the corrected prediction sample, and data including the bitstream can be transmitted.
  • a computer-readable digital storage medium in which encoded video/image information that causes an image decoding method to be performed by a decoding device according to the present disclosure is stored.
  • a computer-readable digital storage medium in which video/image information generated by the video encoding method according to the present disclosure is stored is provided.
  • video coding efficiency can be improved by adaptively using a reference region for deriving a parameter.
  • complexity of computation and implementation may be reduced and coding efficiency may be improved by selectively using some samples within a reference region.
  • prediction/reconstruction accuracy may be increased and residual signals may be reduced by correcting prediction/reconstruction samples based on parameters.
  • correction-related information of prediction/reconstruction samples can be efficiently signaled.
  • FIG. 1 illustrates a video/image coding system according to the present disclosure.
  • FIG. 2 shows a schematic block diagram of an encoding device to which an embodiment of the present disclosure may be applied and encoding of a video/video signal is performed.
  • FIG. 3 is a schematic block diagram of a decoding device to which an embodiment of the present disclosure may be applied and decoding of a video/image signal is performed.
  • FIG. 4 illustrates an image decoding method performed by a decoding apparatus according to an embodiment of the present disclosure.
  • 5 and 6 show locations of samples in a reference region selected for deriving parameters according to an embodiment of the present disclosure.
  • FIG. 7 illustrates locations of samples in a reference region selected to derive parameters for a plurality of modes according to an embodiment of the present disclosure.
  • FIG 8 illustrates a method of correcting prediction samples according to an embodiment of the present disclosure.
  • FIG 9 illustrates a schematic configuration of a prediction unit 330 performing an image decoding method according to an embodiment of the present disclosure.
  • FIG. 10 illustrates a video encoding method performed by an encoding apparatus according to an embodiment of the present disclosure.
  • FIG. 11 illustrates a schematic configuration of a predictor 220 performing a video encoding method according to an embodiment of the present disclosure.
  • FIG. 12 shows an example of a content streaming system to which embodiments of the present disclosure may be applied.
  • first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
  • the terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
  • This disclosure relates to video/image coding.
  • the method/embodiment disclosed herein may be applied to a method disclosed in a versatile video coding (VVC) standard.
  • VVC versatile video coding
  • the method/embodiment disclosed in this specification is an essential video coding (EVC) standard, an AOMedia Video 1 (AV1) standard, a 2nd generation of audio video coding standard (AVS2), or a next-generation video/video coding standard (ex. H.267 or H.268, etc.).
  • EVC essential video coding
  • AV1 AOMedia Video 1
  • AVS2 2nd generation of audio video coding standard
  • next-generation video/video coding standard ex. H.267 or H.268, etc.
  • a video may mean a set of a series of images over time.
  • a picture generally means a unit representing one image in a specific time period
  • a slice/tile is a unit constituting a part of a picture in coding.
  • a slice/tile may include one or more coding tree units (CTUs).
  • CTUs coding tree units
  • One picture may consist of one or more slices/tiles.
  • One tile is a rectangular area composed of a plurality of CTUs in a specific tile column and a specific tile row of one picture.
  • a tile column is a rectangular area of CTUs with a height equal to that of the picture and a width specified by the syntax request of the picture parameter set.
  • a tile row is a rectangular area of CTUs with a height specified by the picture parameter set and a width equal to the width of the picture.
  • CTUs within one tile are consecutively arranged according to the CTU raster scan, whereas tiles within one picture may be consecutively arranged according to the raster scan of the tile.
  • One slice may contain an integer number of complete tiles or an integer number of contiguous complete CTU rows within a tile of a picture that may be exclusively included in a single NAL unit. Meanwhile, one picture may be divided into two or more subpictures.
  • a subpicture can be a rectangular area of one or more slices within a picture.
  • a sample, pixel, or pel may mean a minimum unit constituting one picture (or image). Also, 'sample' may be used as a term corresponding to a pixel.
  • a sample may generally represent a pixel or a pixel value, may represent only a pixel/pixel value of a luma component, or only a pixel/pixel value of a chroma component.
  • a unit may represent a basic unit of image processing.
  • a unit may include at least one of a specific region of a picture and information related to the region.
  • One unit may include one luma block and two chroma (eg cb, cr) blocks. Unit may be used interchangeably with terms such as block or area depending on the case.
  • an MxN block may include samples (or a sample array) or a set (or array) of transform coefficients consisting of M columns and N rows.
  • a or B may mean “only A”, “only B”, or “both A and B”.
  • a or B (A or B)" in the present specification may be interpreted as “A and/or B (A and/or B)”.
  • A, B or C as used herein means “only A”, “only B”, “only C”, or “any and all combinations of A, B and C ( any combination of A, B and C)”.
  • a slash (/) or a comma (comma) used in this specification may mean “and/or”.
  • A/B can mean “A and/or B”. Accordingly, “A/B” may mean “only A”, “only B”, or “both A and B”.
  • A, B, C may mean “A, B or C”.
  • At least one of A and B may mean “only A”, “only B”, or “both A and B”. Also, in this specification, the expression “at least one of A or B” or “at least one of A and/or B” means “at least one It can be interpreted the same as "A and B (at least one of A and B) of
  • At least one of A, B and C means “only A”, “only B”, “only C", or “A, B and C” It may mean “any combination of A, B and C”. Also, “at least one of A, B or C” or “at least one of A, B and/or C” means It can mean “at least one of A, B and C”.
  • parentheses used in this specification may mean “for example”. Specifically, when it is indicated as “prediction (intra prediction)”, “intra prediction” may be suggested as an example of “prediction”. In other words, “prediction” in this specification is not limited to “intra prediction”, and “intra prediction” may be suggested as an example of “prediction”. Also, even when indicated as “prediction (ie, intra prediction)”, “intra prediction” may be suggested as an example of “prediction”.
  • FIG. 1 illustrates a video/image coding system according to the present disclosure.
  • a video/image coding system may include a first device (source device) and a second device (receive device).
  • the source device may transmit encoded video/image information or data to a receiving device in a file or streaming form through a digital storage medium or network.
  • the source device may include a video source, an encoding device, and a transmission unit.
  • the receiving device may include a receiving unit, a decoding device, and a renderer.
  • the encoding device may be referred to as a video/image encoding device, and the decoding device may be referred to as a video/image decoding device.
  • a transmitter may be included in an encoding device.
  • a receiver may be included in a decoding device.
  • the renderer may include a display unit, and the display unit may be configured as a separate device or an external component.
  • a video source may acquire video/images through a process of capturing, synthesizing, or generating video/images.
  • a video source may include a video/image capture device and/or a video/image generation device.
  • a video/image capture device may include one or more cameras, a video/image archive containing previously captured video/images, and the like.
  • Video/image generating devices may include computers, tablets and smart phones, etc., and may (electronically) generate video/images.
  • a virtual video/image may be generated through a computer or the like, and in this case, a video/image capture process may be replaced by a process of generating related data.
  • An encoding device may encode an input video/image.
  • the encoding device may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • Encoded data (encoded video/video information) may be output in the form of a bitstream.
  • the transmission unit may transmit the encoded video/image information or data output in the form of a bit stream to the receiving unit of the receiving device in the form of a file or streaming through a digital storage medium or a network.
  • Digital storage media may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • the transmission unit may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcasting/communication network.
  • the receiving unit may receive/extract the bitstream and transmit it to a decoding device.
  • the decoding device may decode video/images by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to operations of the encoding device.
  • the renderer may render the decoded video/image.
  • the rendered video/image may be displayed through the display unit.
  • FIG. 2 shows a schematic block diagram of an encoding device to which an embodiment of the present disclosure may be applied and encoding of a video/video signal is performed.
  • the encoding device 200 includes an image partitioner 210, a predictor 220, a residual processor 230, an entropy encoder 240, It may include an adder 250, a filter 260, and a memory 270.
  • the prediction unit 220 may include an inter prediction unit 221 and an intra prediction unit 222 .
  • the residual processing unit 230 may include a transformer 232 , a quantizer 233 , a dequantizer 234 , and an inverse transformer 235 .
  • the residual processing unit 230 may further include a subtractor 231 .
  • the adder 250 may be called a reconstructor or a reconstructed block generator.
  • the above-described image segmentation unit 210, prediction unit 220, residual processing unit 230, entropy encoding unit 240, adder 250, and filtering unit 260 may be one or more hardware components ( For example, it may be configured by an encoder chipset or processor). Also, the memory 270 may include a decoded picture buffer (DPB) and may be configured by a digital storage medium. The hardware component may further include a memory 270 as an internal/external component.
  • DPB decoded picture buffer
  • the image divider 210 may divide an input image (or picture or frame) input to the encoding device 200 into one or more processing units.
  • the processing unit may be called a coding unit (CU).
  • the coding unit may be partitioned recursively from a coding tree unit (CTU) or a largest coding unit (LCU) according to a quad-tree binary-tree ternary-tree (QTBTTT) structure.
  • CTU coding tree unit
  • LCU largest coding unit
  • QTBTTT quad-tree binary-tree ternary-tree
  • one coding unit may be divided into a plurality of coding units having a deeper depth based on a quad tree structure, a binary tree structure, and/or a ternary structure.
  • a quad tree structure may be applied first and a binary tree structure and/or ternary structure may be applied later.
  • the binary tree structure may be applied before the quad tree structure.
  • a coding procedure according to the present specification may be performed based on a final coding unit that is not further divided.
  • the largest coding unit can be directly used as the final coding unit, or the coding unit is recursively divided into coding units of lower depths as needed, A coding unit having a size of may be used as a final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and restoration to be described later.
  • the processing unit may further include a prediction unit (PU) or a transform unit (TU).
  • the prediction unit and the transform unit may be divided or partitioned from the above-described final coding unit, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transform unit may be a unit for deriving transform coefficients and/or a unit for deriving a residual signal from transform coefficients.
  • an MxN block may represent a set of samples or transform coefficients consisting of M columns and N rows.
  • a sample may generally represent a pixel or a pixel value, may represent only a pixel/pixel value of a luma component, or only a pixel/pixel value of a chroma component.
  • a sample may be used as a term corresponding to one picture (or image) to a pixel or pel.
  • the encoding device 200 subtracts the prediction signal (prediction block, prediction sample array) output from the inter prediction unit 221 or the intra prediction unit 222 from the input video signal (original block, original sample array) to obtain a residual signal (residual signal, residual block, residual sample array) may be generated, and the generated residual signal is transmitted to the conversion unit 232.
  • a unit for subtracting a prediction signal (prediction block, prediction sample array) from an input video signal (original block, original sample array) in the encoding device 200 may be called a subtraction unit 231 .
  • the prediction unit 220 may perform prediction on a block to be processed (hereinafter referred to as a current block) and generate a predicted block including predicted samples of the current block.
  • the predictor 220 may determine whether intra prediction or inter prediction is applied in units of current blocks or CUs.
  • the prediction unit 220 may generate and transmit various types of information related to prediction, such as prediction mode information, to the entropy encoding unit 240, as will be described later in the description of each prediction mode. Prediction-related information may be encoded in the entropy encoding unit 240 and output in the form of a bitstream.
  • the intra predictor 222 may predict a current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart from the current block by a predetermined distance according to a prediction mode.
  • prediction modes may include one or more non-directional modes and a plurality of directional modes.
  • the non-directional mode may include at least one of a DC mode and a planar mode.
  • the directional mode may include 33 directional modes or 65 directional modes according to the degree of detail of the prediction direction. However, this is an example, and more or less directional modes may be used according to settings.
  • the intra predictor 222 may determine a prediction mode applied to the current block by using a prediction mode applied to neighboring blocks.
  • the inter-prediction unit 221 may derive a prediction block for a current block based on a reference block (reference sample array) specified by a motion vector on a reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on correlation of motion information between neighboring blocks and the current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction information (L0 prediction, L1 prediction, Bi prediction, etc.).
  • a neighboring block may include a spatial neighboring block present in the current picture and a temporal neighboring block present in the reference picture.
  • a reference picture including the reference block and a reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be called a collocated reference block, a collocated CU (colCU), and the like, and a reference picture including the temporal neighboring block may be called a collocated picture (colPic).
  • the inter-prediction unit 221 constructs a motion information candidate list based on neighboring blocks, and provides information indicating which candidate is used to derive the motion vector and/or reference picture index of the current block. can create Inter prediction may be performed based on various prediction modes. For example, in the case of skip mode and merge mode, the inter prediction unit 221 may use motion information of neighboring blocks as motion information of the current block. In the case of the skip mode, the residual signal may not be transmitted unlike the merge mode. In the case of motion vector prediction (MVP) mode, the motion vector of the current block is used as a motion vector predictor and the motion vector difference is signaled. can be instructed.
  • MVP motion
  • the prediction unit 220 may generate a prediction signal based on various prediction methods described below.
  • the predictor may apply intra-prediction or inter-prediction to predict one block, as well as apply intra-prediction and inter-prediction at the same time. This may be called a combined inter and intra prediction (CIIP) mode.
  • the prediction unit may be based on an intra block copy (IBC) prediction mode or a palette mode for block prediction.
  • IBC intra block copy
  • the IBC prediction mode or the palette mode can be used for video/video coding of content such as games, such as screen content coding (SCC).
  • IBC basically performs prediction within the current picture, but may be performed similarly to inter prediction in that a reference block is derived within the current picture.
  • IBC may use at least one of the inter prediction techniques described in this specification.
  • Palette mode can be viewed as an example of intra coding or intra prediction.
  • a sample value within a picture may be signaled based on information about a palette table and a palette index.
  • the prediction signal generated by the prediction unit 220 may be used to generate a restored signal or a residual signal.
  • the transform unit 232 may generate transform coefficients by applying a transform technique to the residual signal.
  • the transform technique uses at least one of a Discrete Cosine Transform (DCT), a Discrete Sine Transform (DST), a Karhunen-Loeve Transform (KLT), a Graph-Based Transform (GBT), or a Conditionally Non-linear Transform (CNT).
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • KLT Karhunen-Loeve Transform
  • GBT Graph-Based Transform
  • CNT Conditionally Non-linear Transform
  • GBT means a transformation obtained from the graph when relation information between pixels is expressed as a graph.
  • CNT means a transformation obtained by generating a prediction signal using all previously reconstructed pixels, and based thereon.
  • the conversion process may be applied to square pixel blocks having the same size, or may be applied to non-square blocks of variable size.
  • the quantization unit 233 quantizes the transform coefficients and transmits them to the entropy encoding unit 240, and the entropy encoding unit 240 may encode the quantized signal (information on the quantized transform coefficients) and output it as a bitstream. there is. Information about the quantized transform coefficients may be referred to as residual information.
  • the quantization unit 233 may rearrange block-type quantized transform coefficients into a one-dimensional vector form based on a coefficient scan order, and the quantized transform coefficients based on the one-dimensional vector form quantized transform coefficients. Information about transform coefficients may be generated.
  • the entropy encoding unit 240 may perform various encoding methods such as exponential Golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit 240 may encode together or separately information necessary for video/image reconstruction (eg, values of syntax elements, etc.) in addition to quantized transform coefficients.
  • Encoded information may be transmitted or stored in a network abstraction layer (NAL) unit unit in the form of a bitstream.
  • the video/video information may further include information on various parameter sets such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS).
  • the video/image information may further include general constraint information.
  • information and/or syntax elements transmitted/signaled from an encoding device to a decoding device may be included in video/image information.
  • the video/image information may be encoded through the above-described encoding procedure and included in the bitstream.
  • the bitstream may be transmitted through a network or stored in a digital storage medium.
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • a transmission unit (not shown) for transmitting the signal output from the entropy encoding unit 240 and/or a storage unit (not shown) for storing may be configured as internal/external elements of the encoding device 200, or the transmission unit It may also be included in the entropy encoding unit 240.
  • the quantized transform coefficients output from the quantization unit 233 may be used to generate a prediction signal.
  • a residual signal residual block or residual samples
  • the adder 250 adds the reconstructed residual signal to the prediction signal output from the inter predictor 221 or the intra predictor 222 to obtain a reconstructed signal (reconstructed picture, reconstructed block, reconstructed sample array) can be created
  • a predicted block may be used as a reconstruction block.
  • the adder 250 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of a block to be processed next in the current picture, or may be used for inter prediction of the next picture after filtering as described below. Meanwhile, luma mapping with chroma scaling (LMCS) may be applied in a picture encoding and/or reconstruction process.
  • LMCS luma mapping with chroma scaling
  • the filtering unit 260 may improve subjective/objective picture quality by applying filtering to the reconstructed signal. For example, the filtering unit 260 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and store the modified reconstructed picture in the memory 270, specifically the memory 270. It can be stored in DPB.
  • the various filtering methods may include deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • the filtering unit 260 may generate various types of filtering-related information and transmit them to the entropy encoding unit 240 . Filtering-related information may be encoded in the entropy encoding unit 240 and output in the form of a bit stream.
  • the modified reconstructed picture transmitted to the memory 270 may be used as a reference picture in the inter prediction unit 221 .
  • the encoding device can avoid prediction mismatch between the encoding device 200 and the decoding device, and can also improve encoding efficiency.
  • the DPB of the memory 270 may store the modified reconstructed picture to be used as a reference picture in the inter prediction unit 221 .
  • the memory 270 may store motion information of a block in the current picture from which motion information is derived (or encoded) and/or motion information of blocks in a previously reconstructed picture.
  • the stored motion information may be transmitted to the inter prediction unit 221 to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory 270 may store reconstructed samples of reconstructed blocks in the current picture and transfer them to the intra predictor 222 .
  • FIG. 3 is a schematic block diagram of a decoding device to which an embodiment of the present disclosure may be applied and decoding of a video/image signal is performed.
  • the decoding device 300 includes an entropy decoder 310, a residual processor 320, a predictor 330, an adder 340, and a filtering unit. (filter, 350) and memory (memoery, 360).
  • the prediction unit 330 may include an inter prediction unit 331 and an intra prediction unit 332 .
  • the residual processing unit 320 may include a dequantizer 321 and an inverse transformer 321 .
  • the above-described entropy decoding unit 310, residual processing unit 320, prediction unit 330, adder 340, and filtering unit 350 may be configured as one hardware component (for example, a decoder chipset or processor) according to an embodiment. ) can be configured.
  • the memory 360 may include a decoded picture buffer (DPB) and may be configured by a digital storage medium.
  • the hardware component may further include a memory 360 as an internal/external component.
  • the decoding device 300 may restore an image corresponding to a process in which the video/image information is processed by the encoding device of FIG. 2 .
  • the decoding device 300 may derive units/blocks based on block division related information obtained from the bitstream.
  • the decoding device 300 may perform decoding using a processing unit applied in the encoding device.
  • a processing unit of decoding may be a coding unit, and a coding unit may be one divided from a coding tree unit or a largest coding unit according to a quad tree structure, a binary tree structure, and/or a ternary tree structure.
  • One or more transform units may be derived from a coding unit.
  • the restored video signal decoded and output through the decoding device 300 may be reproduced through a playback device.
  • the decoding device 300 may receive a signal output from the encoding device of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 310 .
  • the entropy decoding unit 310 may parse the bitstream to derive information (eg, video/image information) necessary for image restoration (or picture restoration).
  • the video/video information may further include information on various parameter sets such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS).
  • the video/image information may further include general constraint information.
  • the decoding device may decode a picture further based on the information about the parameter set and/or the general restriction information.
  • Signaling/received information and/or syntax elements described later in this specification may be obtained from the bitstream by being decoded through the decoding procedure.
  • the entropy decoding unit 310 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and values of syntax elements required for image reconstruction and quantized values of residual transform coefficients. can output them.
  • the CABAC entropy decoding method receives bins corresponding to each syntax element in a bitstream, and converts syntax element information to be decoded and decoding information of neighboring and decoding object blocks or symbol/bin information decoded in a previous step.
  • a symbol corresponding to the value of each syntax element can be generated by determining a context model, predicting the probability of occurrence of a bin according to the determined context model, and performing arithmetic decoding of the bin.
  • the CABAC entropy decoding method may update the context model by using information of the decoded symbol/bin for the context model of the next symbol/bin after determining the context model.
  • prediction-related information is provided to the prediction unit (inter prediction unit 332 and intra prediction unit 331), and entropy decoding is performed by the entropy decoding unit 310.
  • Dual values that is, quantized transform coefficients and related parameter information may be input to the residual processing unit 320 .
  • the residual processing unit 320 may derive a residual signal (residual block, residual samples, residual sample array). Also, among information decoded by the entropy decoding unit 310 , information about filtering may be provided to the filtering unit 350 . Meanwhile, a receiving unit (not shown) receiving a signal output from the encoding device may be further configured as an internal/external element of the decoding device 300, or the receiving unit may be a component of the entropy decoding unit 310.
  • a decoding device may be referred to as a video/video/picture decoding device, and the decoding device may be divided into an information decoder (video/video/picture information decoder) and a sample decoder (video/video/picture sample decoder).
  • the information decoder may include the entropy decoding unit 310, and the sample decoder includes the inverse quantization unit 321, an inverse transform unit 322, an adder 340, a filtering unit 350, and a memory 360. ), at least one of an inter prediction unit 332 and an intra prediction unit 331.
  • the inverse quantization unit 321 may inversely quantize the quantized transform coefficients and output transform coefficients.
  • the inverse quantization unit 321 may rearrange the quantized transform coefficients in a 2D block form. In this case, the rearrangement may be performed based on a coefficient scanning order performed by the encoding device.
  • the inverse quantization unit 321 may perform inverse quantization on quantized transform coefficients using a quantization parameter (eg, quantization step size information) and obtain transform coefficients.
  • a quantization parameter eg, quantization step size information
  • a residual signal (residual block, residual sample array) is obtained by inverse transforming the transform coefficients.
  • the predictor 320 may perform prediction on a current block and generate a predicted block including predicted samples of the current block.
  • the prediction unit 320 may determine whether intra prediction or inter prediction is applied to the current block based on the information about the prediction output from the entropy decoding unit 310, and determine a specific intra/inter prediction mode.
  • the prediction unit 320 may generate a prediction signal based on various prediction methods described later.
  • the predictor 320 may apply intra-prediction or inter-prediction to predict one block, and may simultaneously apply intra-prediction and inter-prediction. This may be called a combined inter and intra prediction (CIIP) mode.
  • the prediction unit may be based on an intra block copy (IBC) prediction mode or a palette mode for block prediction.
  • IBC intra block copy
  • the IBC prediction mode or the palette mode can be used for video/video coding of content such as games, such as screen content coding (SCC).
  • SCC screen content coding
  • IBC basically performs prediction within the current picture, but may be performed similarly to inter prediction in that a reference block is derived within the current picture. That is, IBC may use at least one of the inter prediction techniques described in this specification.
  • Palette mode can be viewed as an example of intra coding or intra prediction. When the palette mode is applied, information on a palette table and a palette index may be included in the video/
  • the intra predictor 331 may predict a current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart from the current block by a predetermined distance according to a prediction mode.
  • prediction modes may include one or more non-directional modes and a plurality of directional modes.
  • the intra prediction unit 331 may determine a prediction mode applied to the current block by using a prediction mode applied to neighboring blocks.
  • the inter-prediction unit 332 may derive a prediction block for a current block based on a reference block (reference sample array) specified by a motion vector on a reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on correlation of motion information between neighboring blocks and the current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction information (L0 prediction, L1 prediction, Bi prediction, etc.).
  • a neighboring block may include a spatial neighboring block present in the current picture and a temporal neighboring block present in the reference picture.
  • the inter prediction unit 332 may construct a motion information candidate list based on neighboring blocks and derive a motion vector and/or reference picture index of the current block based on the received candidate selection information. Inter prediction may be performed based on various prediction modes, and the prediction-related information may include information indicating an inter prediction mode for the current block.
  • the adder 340 adds the obtained residual signal to the prediction signal (prediction block, prediction sample array) output from the prediction unit (including the inter prediction unit 332 and/or the intra prediction unit 331) to obtain a reconstructed signal (reconstructed picture, reconstructed block, reconstructed sample array) can be created.
  • a prediction block may be used as a reconstruction block.
  • the adder 340 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next block to be processed in the current picture, output after filtering as described below, or may be used for inter prediction of the next picture. Meanwhile, luma mapping with chroma scaling (LMCS) may be applied in a picture decoding process.
  • LMCS luma mapping with chroma scaling
  • the filtering unit 350 may improve subjective/objective picture quality by applying filtering to the reconstructed signal.
  • the filtering unit 350 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and store the modified reconstructed picture in the memory 360, specifically the DPB of the memory 360. can be sent to
  • the various filtering methods may include deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • a (modified) reconstructed picture stored in the DPB of the memory 360 may be used as a reference picture in the inter prediction unit 332 .
  • the memory 360 may store motion information of a block in the current picture from which motion information is derived (or decoded) and/or motion information of blocks in a previously reconstructed picture.
  • the stored motion information may be transmitted to the inter prediction unit 260 to be used as motion information of a spatial neighboring block or motion information of a temporal neighboring block.
  • the memory 360 may store reconstructed samples of reconstructed blocks in the current picture and transfer them to the intra prediction unit 331 .
  • the embodiments described in the filtering unit 260, the inter prediction unit 221, and the intra prediction unit 222 of the encoding device 200 are the filtering unit 350 and the inter prediction of the decoding device 300, respectively.
  • the same or corresponding to the unit 332 and the intra predictor 331 may be applied.
  • FIG. 4 illustrates an image decoding method performed by a decoding apparatus according to an embodiment of the present disclosure.
  • a prediction sample of a current block may be obtained (S400).
  • the prediction sample of the current block may be obtained by inter prediction or intra prediction, or may be obtained based on a combination of inter prediction and intra prediction.
  • parameters for correcting the prediction sample of the current block may be obtained (S410).
  • the parameter may be referred to as a correction parameter for improving prediction accuracy.
  • the correction may be for compensating for a luminance difference between a reference picture and a current picture to which the current block belongs.
  • the parameter may be called an illumination compensation parameter.
  • a parameter may be understood to mean a correction parameter or a luminance compensation parameter, and correction of prediction samples may be understood as application of luminance compensation.
  • the parameter may be obtained at at least one level of a picture, tile, slice, coding tree unit (CTU), coding unit (CU), or sub-coding unit (sub-CU).
  • CTU coding tree unit
  • CU coding unit
  • sub-CU sub-coding unit
  • the parameter may include at least one of a weight or an offset.
  • the number of weights included in the parameter may be one, two, three, or more.
  • the number of offsets included in the parameter may be one, two, three, or more. That is, for correction of one prediction sample, one or more weights and/or offsets may be used.
  • the number of weights and the number of offsets used for correction of one prediction sample may be the same or different.
  • the parameter may be obtained by decoding at least one of weight information and offset information included in the bitstream (Example 1-A).
  • the weight information may mean information for determining the weight or an encoded weight.
  • the offset information may refer to information for determining the offset or a coded offset.
  • the parameters may be derived based on a predetermined reference region (Example 1-B).
  • a reference region may mean a region referred to for correcting a prediction sample of a current block.
  • the reference area may include at least one of a neighboring area of the current block and a neighboring area of the reference block.
  • the area adjacent to the current block is an area adjacent to the current block and may mean an area decoded before the current block.
  • the area surrounding the current block may include at least one of a top area around the current block, a left area, an upper left area, an upper right area, a lower left area, a lower area, a right area, or a lower right area of the current block.
  • the reference block may refer to a block referred to for obtaining a prediction sample of the current block.
  • the reference block may belong to a reference picture having a different decoding order (or a picture order count (POC)) than the current picture to which the current block belongs, or may belong to the same picture as the current block.
  • POC picture order count
  • the area adjacent to the reference block is an area adjacent to the reference block and may refer to a decoded area prior to the reference block.
  • the surrounding area of the reference block is at least one of an upper peripheral area, a left peripheral area, an upper left peripheral area, an upper right neighboring area, a lower left neighboring area, a lower peripheral area, a right peripheral area, or a lower right peripheral area of the reference block.
  • the parameter may be derived using all samples belonging to the reference region, or may be derived using one or more partial samples among samples belonging to the reference region. This will be described in detail with reference to FIG. 5 .
  • the reference region may include a sample line adjacent to the current block and/or the reference block (hereinafter, referred to as a first sample line), and may include one or more sample lines not adjacent to the current block and/or the reference block. It may also be composed of the above sample lines (hereinafter referred to as a second sample line). Alternatively, the reference area may include the first sample line and the second sample line. In other words, samples in the reference region used to derive the parameters may belong to the first sample line or the second sample line. Alternatively, one of the samples in the reference region used to derive the parameter may belong to the first sample line and the other one may belong to the second sample line. This will be described in detail with reference to FIG. 6 .
  • the reference region may be determined based on one selected from among a plurality of modes pre-defined in the decoding device. The selection may be performed based on index information specifying one of a plurality of modes.
  • the index information may be signaled through a bitstream.
  • the index information may be derived based on encoding information of the current block and/or neighboring blocks.
  • the encoding information is size (eg, width, height, sum / product of width and height, maximum / minimum value of width and height, etc.), shape, division type, division depth, component type, prediction mode, inter It may include at least one of a prediction mode, a transform type, whether a transform is skipped, or a quantization parameter.
  • the plurality of modes will be described in detail with reference to FIG. 7 .
  • samples of neighboring blocks may be selected using encoding information of neighboring blocks adjacent to the current block and/or the reference block. Samples of selected neighboring blocks may be used as reference regions for deriving parameters.
  • the encoding information may include at least one of a quantization parameter, a prediction mode (intra prediction or inter prediction) of a neighboring block, or motion vector information.
  • samples of neighboring blocks for which the quantization parameters of the current block and the neighboring blocks satisfy a predetermined condition may be used as neighboring samples of the current block for calculating the parameters.
  • the predetermined condition is equally pre-defined in the encoding device and the decoding device, and may include at least one of the following conditions.
  • the quantization parameters of the current block and the quantization parameters of neighboring blocks are less than or equal to a pre-defined specific value (or a first threshold value).
  • a difference between the quantization parameters of the current block and the quantization parameters of neighboring blocks is less than or equal to a pre-defined specific value (or a second threshold value).
  • the sample of the neighboring block may not be used to derive the parameter.
  • samples of neighboring blocks whose prediction mode is inter prediction may be used to derive parameters.
  • the prediction mode of the neighboring block is intra prediction, it is determined that the neighboring block has low similarity with the current block, and thus the samples of the neighboring block may not be used to derive parameters.
  • the sample of the neighboring block may be used to derive a parameter.
  • the difference between the motion vector of the neighboring block and the motion vector of the current block is greater than a pre-defined specific value, it is determined that the two blocks are different objects and the samples of the neighboring block may not be used to derive parameters. there is.
  • the current block may be divided into a plurality of sub-regions based on at least one of a vertical line and a horizontal line, and each of the plurality of sub-blocks includes a neighboring region adjacent to the corresponding sub-block and a neighboring region of the reference block corresponding thereto as reference regions. parameters can be derived using In order to divide the current block into a plurality of sub-regions, one or more vertical lines and/or horizontal lines may be used.
  • the current block is divided into four sub-regions (ie, an upper-left sub-region, an upper-right sub-region, a lower-left sub-region, and a lower-right sub-region) based on one vertical line and one horizontal line. do. However, it is not limited thereto, and the current block may be divided into two, three, or more, and the current block may be divided by either a vertical line or a horizontal line.
  • a parameter may be derived based on a neighboring region adjacent to the upper left subregion and a neighboring region of a reference block corresponding thereto.
  • the peripheral area may include at least one of an upper peripheral area, a left peripheral area, and an upper left peripheral area.
  • the upper peripheral region may have the same width as the upper left sub region, and the left peripheral region may have the same height as the upper left sub region.
  • the top peripheral area may have the same width as the current block, and the left peripheral area may have the same height as the current block.
  • the derived parameters may be used to correct prediction samples belonging to the upper-left sub-region.
  • a parameter may be derived based on a neighboring region adjacent to the upper right subregion and a neighboring region of the corresponding reference block.
  • the peripheral area may include at least one of an upper edge area and an upper right edge area.
  • the upper right peripheral region and/or the upper right peripheral region may have the same width as the upper right sub region.
  • the area around the top may have the same width as the current block.
  • the derived parameter may be used to correct a prediction sample belonging to the upper right sub-region.
  • a parameter may be derived based on a neighboring region adjacent to the lower left subregion and a neighboring region of the corresponding reference block.
  • the peripheral area may include at least one of a left peripheral area and a lower left peripheral area.
  • the left peripheral area and/or the lower left peripheral area may have the same width as the lower left sub area.
  • the left peripheral area may have the same width as the current block.
  • the derived parameter may be used to correct a prediction sample belonging to the lower left sub-region.
  • the default parameter may mean a parameter having a weight of 1 and an offset of 0. That is, correction may be omitted for prediction samples belonging to the lower right subregion.
  • the parameter for the lower right subregion may be derived based on a parameter for at least one of the upper left subregion, the upper right subregion, or the lower left subregion within the current block.
  • the current block is divided into a plurality of sub-regions, and different parameters may be derived for each sub-region by using a neighboring region corresponding to each sub-region as a reference region.
  • Both the derived weight and offset may be applied to the current block. Alternatively, at least one of the weight or offset may not be applied to the current block. To this end, whether to use at least one of the weight or offset may be determined according to a pre-defined condition. At least one of the derived weight or offset may be replaced with a pre-defined value identical to the encoding device and the decoding device. When it is determined that at least one of the weight or offset is not used according to the pre-defined condition, the corresponding weight and/or offset may be replaced with a pre-defined value identical to the encoding device and the decoding device. At least one of the weight or offset may not be applied to the prediction sample according to the location of the prediction sample within the current block to be corrected or the location of the sub-region within the current block to which the prediction sample belongs. This is to reduce the increase in complexity of calculation and implementation.
  • a luminance compensation method based on a variation amount may be used to compensate for a luminance difference between the current picture and the reference picture.
  • a plurality of parameters for a current block are obtained, one final parameter is calculated based on the change between the plurality of parameters, and luminance is compensated for the current block based on the calculated final parameter.
  • the plurality of parameters may be generated at the level of at least one of a picture, a tile, a slice, a coding tree unit (CTU), a coding unit (CU), or a sub-coding unit (sub-CU), but in this embodiment, the CU is described based on the current block.
  • the contents described in this embodiment can be applied to other levels as well.
  • the degree of luminance compensation depends on parameters, that is, values of weight (a) and offset (b).
  • luminance compensation is also performed in only one form. Accordingly, luminance compensation may be performed on the current block by deriving a plurality of parameters based on neighboring samples and considering the amount of change (or difference value) between the plurality of parameters.
  • the parameters of the current block may be obtained by using the top and left samples immediately adjacent to the current block and the reference block as reference regions.
  • Parameters here include weights and offsets, which are defined as a0 and b0, respectively.
  • parameters of the current block may be obtained by using top and left samples separated by 1 sample from the current block and the reference block as reference regions.
  • the parameters here include weights and offsets, which are defined as a1 and b1, respectively.
  • final parameters a and b applied to the current block may be calculated as in Equation 1 in consideration of the amount of change among the plurality of parameters.
  • the method includes parameters (a0, b0) derived based on top and left samples adjacent to the current block and reference block, and parameters (a1) derived based on top and left samples separated by 1 sample from the current block and reference block , b1) and parameters (a0, b0) derived based on the top and left samples adjacent to the current block and reference block.
  • the constant k represents the degree to which the amount of change is reflected, and may have a real value between 0 and 1.
  • parameters a and b applied to the current block may be calculated as in Equation 2 below.
  • the first parameter may be obtained based on the reference region according to any one of the plurality of modes described above.
  • the first parameter may include at least one of a first weight and a first offset.
  • the second parameter may be obtained based on a reference region according to any other one of the plurality of modes described above.
  • the second parameter may include at least one of a second weight and a second offset.
  • a final parameter applied to the current block may be calculated as in Equation 1 in consideration of the amount of change between the first parameter and the second parameter.
  • a predetermined difference in a first parameter obtained based on one of a plurality of modes is corrected.
  • the predetermined difference may be calculated using a second parameter obtained based on another one of a plurality of modes.
  • the predetermined difference may mean a difference between a first parameter and a second parameter. That is, the weight (a) of the final parameter corrects the first weight (a0) of the first parameter based on the difference between the first weight (a0) of the first parameter and the second weight (a1) of the second parameter. can be obtained by Similarly, the offset (b) of the final parameter corrects the first offset (b0) of the first parameter based on the difference between the first offset (b0) of the first parameter and the second offset (b1) of the second parameter. can be obtained by
  • the above parameters may be obtained based on a combination of the foregoing Embodiment 1-A and Embodiment 1-B (Example 1-C).
  • a weight may be obtained from a bitstream according to Embodiment 1-A, and an offset may be derived based on a reference region according to Embodiment 1-B.
  • the weight may be derived based on the reference region according to Embodiment 1-B, and the offset may be obtained from the bitstream according to Embodiment 1-A.
  • the parameters may include weights and offsets according to Embodiments 1-A and 1-B, respectively.
  • any one of the above-described embodiments 1-A to 1-C may be pre-defined in the decoding device, and the parameter may be obtained by a pre-defined method in the decoding device.
  • the parameter may be obtained by selectively using any one of a plurality of methods pre-defined in the decoding device.
  • the plurality of methods include at least two of the aforementioned embodiments 1-A to 1-C, and flag or index information specifying one of the plurality of methods may be signaled for the selection.
  • the acquisition of parameters according to step S410 is a flag indicating whether correction for the prediction sample of the current block is available (hereinafter referred to as a first flag) or whether correction is performed for the prediction sample of the current block. It may be adaptively performed based on at least one of the flags (hereinafter, referred to as a second flag).
  • the first flag may be defined as information indicating whether luminance compensation is available for a sequence, picture, or slice including the current block.
  • the second flag may be defined as information indicating whether luminance compensation is applied to the current block.
  • a parameter for correcting the prediction sample of the current block may not be obtained.
  • whether a parameter for correcting the prediction sample of the current block is obtained can be determined based on the second flag. That is, when the second flag indicates that correction is performed on the predicted sample of the current block, a parameter for correcting the predicted sample of the current block is obtained; otherwise, a parameter for correcting the predicted sample of the current block is obtained. Parameters may not be obtained.
  • the first flag may be signaled at a level of at least one of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), and a slice header (SH).
  • the second flag may be signaled at a level of at least one of a coding tree unit (CTU), a coding unit (CU), and a transform unit (TU).
  • CTU coding tree unit
  • CU coding unit
  • TU transform unit
  • the first flag may be signaled as shown in Table 1.
  • sps_illumination_compensation_enabled_flag indicates whether luminance compensation is available and may be signaled through a sequence parameter set.
  • the second flag may be signaled as shown in Table 2.
  • cu_ic_flag indicates whether luminance compensation is applied to the current coding block, which may be signaled at the CU level.
  • cu_ic_flag may be signaled only when sps_illumination_compensation_enabled_flag indicates that luminance compensation is available (ie, when sps_illumination_compensation_enabled_flag is 1).
  • the reference region according to embodiment 1-B may be determined based on index information specifying any one of a plurality of modes pre-defined in the decoding device.
  • the index information may be signaled as shown in Table 3.
  • cu_ic_idx is an example of the aforementioned index information, and may specify one of a plurality of modes pre-defined in the decoding device.
  • cu_ic_idx can be signaled only when cu_ic_flag indicates that luminance compensation is applied to the current coding block (ie, when cu_ic_flag is 1).
  • merge index information one syntax (hereinafter referred to as merge index information) in which a second flag indicating whether luminance compensation is applied to the current block and index information specifying one of a plurality of modes are merged may be used.
  • one of the index entries of the merge index information may indicate that luminance compensation is not applied to the current block, and the remaining index entries may specify one of a plurality of modes. For example, when the value of the merge index information is 0, this may indicate that luminance compensation is not applied to the current block.
  • the merge index information may be signaled as shown in Table 4.
  • cu_ic_idx is an example of the aforementioned merge index information, and may specify whether luminance compensation is applied to the current block and/or one of a plurality of modes.
  • cu_ic_idx may be signaled only when sps_illumination_compensation_enabled_flag indicates that luminance compensation is available (ie, when sps_illumination_compensation_enabled_flag is 1).
  • correction-related information e.g., second flag, index information, merge index information, etc.
  • an additional syntax hereinafter referred to as a third flag
  • the third flag may be signaled as shown in Table 5.
  • slice_header( ) Descriptor ... if( sps_illumination_compensation_enabled_flag ) sh_ic_disabled_flag u(1) ... ⁇
  • sh_ic_disabled_flag is an example of the aforementioned third flag and may indicate whether luminance compensation is available for the current slice.
  • sh_ic_disabled_flag may indicate whether at least one coding block to which luminance compensation is applied exists in the current slice.
  • sh_ic_disabled_flag can be signaled only when sps_illumination_compensation_enabled_flag indicates that luminance compensation is available (ie, when sps_illumination_compensation_enabled_flag is 1).
  • Table 5 corresponds to a case where the third flag is signaled in a slice header, but is not limited thereto, and the third flag may be signaled at a level lower than a sequence, such as in a picture header.
  • the merge index information may be signaled as shown in Table 6.
  • cu_ic_idx is an example of the aforementioned merge index information, and may specify whether luminance compensation is applied to the current block and/or one of a plurality of modes.
  • cu_ic_idx can be signaled only when sps_illumination_compensation_enabled_flag indicates that luminance compensation is available and sh_ic_disabled_flag indicates that luminance compensation is available for the current slice (ie, when sps_illumination_compensation_enabled_flag is 1 and sh_ic_disabled_flag is 0).
  • cu_ic_idx may be signaled only when sh_ic_disabled_flag indicates that luminance compensation is available for the current slice (ie, when sh_ic_disabled_flag is 0).
  • the second flag indicating whether luminance compensation is applied to the current block is sps_illumination_compensation_enabled_flag indicating that luminance compensation is available, and sh_ic_disabled_flag It can be signaled only when it indicates that luminance compensation is available for the current slice (ie, when sps_illumination_compensation_enabled_flag is 1 and sh_ic_disabled_flag is 0).
  • the second flag may be signaled only when sh_ic_disabled_flag indicates that luminance compensation is available for the current slice (ie, when sh_ic_disabled_flag is 0).
  • the encoding information may include at least one of size, shape, prediction mode, division type, or transformation type.
  • the size may mean the current block's width, height, maximum/minimum value of width and height, sum of width and height, or product of width and height.
  • the threshold size may mean a minimum block size that allows correction of prediction samples.
  • the threshold size may mean a minimum block size that allows correction of prediction samples.
  • the threshold size may mean a maximum block size for which correction of prediction samples is allowed.
  • the threshold size may be pre-defined identically to the encoding device and the decoding device.
  • information specifying the threshold size may be signaled through a bitstream.
  • the information is at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • PH picture header
  • SH slice header
  • CTU CTU
  • CU slice header
  • the prediction mode of the current block is the inter mode
  • the prediction mode of the current block is an intra mode or when intra prediction is partially performed on the current block.
  • the shape of the current block is NxN square, it may be determined that correction is performed on the prediction sample of the current block, and if the shape of the current block is MxN non-square, correction is performed on the prediction sample of the current block. It can be determined that it does not. Alternatively, even if the shape of the current block is MxN non-square, correction is performed on the predicted sample of the current block only when at least one of the width (M) or height (N) of the current block is greater than a predetermined threshold size. may be determined to be
  • Whether or not correction is performed on the prediction sample of the current block may be determined based on any one of the aforementioned encoding information or a combination of at least two of the aforementioned encoding information.
  • the predicted sample of the current block is corrected based on the above-described encoding information. Whether or not this is done may be re-determined.
  • At least one of the aforementioned encoding information may be used as an additional condition for parsing the second flag.
  • the second flag when the size of the current block is greater than or equal to a predetermined threshold size, the second flag may be parsed from a bitstream, and when the size of the current block is smaller than a predetermined threshold size, the second flag may be set to a bit stream. It may not be parsed from the stream.
  • the second flag when the size of the current block is smaller than or equal to the predetermined threshold size, the second flag may be parsed from the bitstream, and when the size of the current block is greater than the predetermined threshold size, the second flag may be parsed from the bitstream may not be parsed from
  • the threshold size is as described above, and redundant description will be omitted.
  • the second flag may be parsed from a bitstream, and when the prediction mode of the current block is an intra mode or partially intra prediction is performed on the current block, the The second flag may not be parsed from the bitstream.
  • the second flag when the shape of the current block is NxN square, the second flag may be parsed from the bitstream, and when the shape of the current block is MxN non-square, the second flag may not be parsed from the bitstream.
  • the shape of the current block is MxN non-square, only when at least one of the width (M) or height (N) of the current block is greater than a predetermined threshold size, the second flag is parsed from the bitstream. It can be.
  • information about whether luminance compensation for compensating for a luminance change of a reference picture is applied may be propagated/derived.
  • information on whether luminance compensation is applied may correspond to the aforementioned second flag. That is, as described above, the second flag may indicate whether correction is performed on the prediction sample of the current block or whether luminance compensation is applied to the current block.
  • a change in luminance of a reference picture may occur in various units.
  • a change in luminance may affect the entire picture, or a change in luminance may partially occur according to a location of a light source or lighting, and a composition or characteristic of a video/image. Accordingly, parameter derivation according to the present disclosure may be obtained based on various units such as a picture, a slice, a tile, a coding tree unit, a coding unit, and a sub-coding unit.
  • Whether luminance compensation is applied to the current block may be determined based on at least one of an inter prediction mode of the current block and a merge candidate used to derive motion information of the current block.
  • a second flag indicating whether luminance compensation is applied may be signaled through the bitstream.
  • cu_ic_flag may be signaled at the CU level.
  • the second flag is not explicitly signaled, and the second flag of the merge candidate referred to in order to derive motion information of the current block can be used as it is. .
  • a merge candidate list including a plurality of merge candidates may be constructed, and the plurality of merge candidates are spatial merge candidates and/or temporal merge candidates.
  • Merge candidates may be included.
  • a spatial merge candidate is derived using motion information of a neighboring block spatially adjacent to the current block (hereinafter, referred to as a spatial neighboring block)
  • a temporal merge candidate is a neighboring block temporally adjacent to the current block (hereinafter referred to as a temporal neighboring block). It may be derived using motion information of a block).
  • whether luminance compensation is applied to the current block may be determined according to whether luminance compensation is applied to a corresponding spatial neighboring block.
  • parameters of the current block for luminance compensation may be derived based on the current block.
  • the current block may equally use the mode used by the spatial neighboring block among the plurality of modes.
  • luminance compensation may not be applied to the current block.
  • the merge candidate selected for the current block is a temporal merge candidate
  • luminance compensation may not be applied to the current block. This is because information indicating whether luminance compensation is applied may not be stored for an image used as a reference picture.
  • a merge candidate list may be constructed based on at least one of an inherited candidate and a constructed candidate.
  • the inherited candidate is a candidate derived based on a control point motion vector (CPMV) of a neighboring block encoded in the affine merge mode
  • the constructed candidate is a control point vector based on motion vectors of a plurality of neighboring blocks. It may be a candidate derived by constructing.
  • whether luminance compensation is applied to the current block may be determined according to whether luminance compensation is applied to a corresponding neighboring block. That is, when luminance compensation is applied to a corresponding neighboring block, it may be determined that luminance compensation is also applied to the current block.
  • parameters of the current block for luminance compensation may be derived based on the current block. Also, even when parameters are derived based on the plurality of modes described above, the current block may equally use the mode used by the corresponding neighboring block among the plurality of modes.
  • the configured candidate is derived based on a combination of motion vectors of a plurality of neighboring blocks spatially adjacent to the current block, and whether luminance compensation is applied may be different for each neighboring block. Accordingly, when the merge candidate selected for the current block is a configured candidate, whether luminance compensation is applied to the current block may be determined by one of the following cases (1) to (3).
  • whether luminance compensation is applied and/or a mode used to derive the parameter may be different for each neighboring block. Accordingly, whether luminance compensation is applied to the current block may be determined by one of the following (1) to (5).
  • a parameter for luminance compensation of the current block may be derived by selecting one of a plurality of modes.
  • a parameter may be derived based on each of the modes used by the neighboring blocks, and an average value thereof may be used as a parameter of the current block.
  • parameters may be derived based on each of a plurality of modes pre-defined in the encoding/decoding apparatus, and an average value of these may be used as a parameter of the current block.
  • the parameters may be derived using samples of all reference regions used to derive parameters of neighboring blocks, and may be used as parameters of the current block.
  • a parameter for luminance compensation of the current block may be derived by selecting one of a plurality of modes.
  • a parameter for luminance compensation of the current block may be derived based on the same mode used by corresponding neighboring blocks.
  • luminance compensation is performed for the current block. can be determined as applicable.
  • a parameter for luminance compensation of the current block may be derived by selecting one of a plurality of modes.
  • a parameter may be derived based on each of the modes used by the neighboring blocks, and an average value thereof may be used as a parameter of the current block.
  • parameters may be derived based on each of a plurality of modes pre-defined in the encoding/decoding apparatus, and an average value of these may be used as a parameter of the current block.
  • the parameters may be derived using samples of all reference regions used to derive parameters of neighboring blocks, and may be used as parameters of the current block.
  • the inter prediction mode of the current block is the CIIP mode
  • whether luminance compensation is applied to the inter prediction block of the current block may be determined by one of the following cases (1) to (3).
  • the CIIP mode may refer to a mode in which an inter-prediction block and an intra-prediction block are respectively generated for a current block, and a final prediction block is generated through a weighted sum thereof.
  • the inter prediction block may be a block generated based on merge mode. However, it is not limited thereto, and may be a block generated based on the MVP mode or the Affine Merge mode.
  • Whether luminance compensation is applied to the current block may be determined according to whether luminance compensation is applied to neighboring blocks used to predict a motion vector of the current block. That is, when luminance compensation is applied to a corresponding neighboring block, it may be determined that luminance compensation is also applied to the current block.
  • luminance compensation is not applied to the current block.
  • whether or not luminance compensation is applied to neighboring blocks used to predict the motion vector of the current block may not be propagated to other coding blocks that refer to the current block.
  • luminance compensation is not applied to the current block. However, whether or not luminance compensation is applied to neighboring blocks used to predict the motion vector of the current block may be propagated to other coding blocks that refer to the current block.
  • a corrected prediction sample may be obtained by correcting the predicted sample of the current block based on the parameter (S420).
  • All prediction samples belonging to the current block may share the parameter obtained in step S410 (hereinafter, referred to as a first correction method).
  • a corrected prediction sample may be obtained by equally applying the parameter to each prediction sample of the current block.
  • step S410 only some prediction samples belonging to the current block may share the parameter obtained in step S410 (hereinafter, referred to as a second correction method).
  • the current block may be divided into a plurality of sub-regions based on a predetermined dividing line.
  • Corrected prediction samples may be obtained by equally applying the parameters obtained in step S410 to prediction samples belonging to some sub-regions among a plurality of sub-regions.
  • correction may not be performed on prediction samples belonging to the remaining sub-regions among the plurality of sub-regions.
  • default parameters pre-defined in the decoding device may be applied to prediction samples belonging to the remaining region.
  • the default parameter may mean a parameter having a weight of 1 and an offset of 0.
  • At least one of the size, shape, or position of the partial subregion (or the remaining subregions) may be determined depending on at least one of the size, shape, or position of the reference region.
  • the current block may be divided into a plurality of sample line groups, and different parameters may be applied to each sample line group (hereinafter referred to as a third correction method).
  • each sample line group may consist of one or more sample lines.
  • the number of sample lines belonging to one of the plurality of sample line groups may be different from the number of sample lines belonging to another one of the plurality of sample line groups.
  • a plurality of sample line groups may have the same number of sample lines.
  • the corrected prediction sample may be obtained through a weighted sum of the first corrected prediction sample and the second corrected prediction sample (hereinafter, referred to as a fourth correction method).
  • the first corrected prediction sample may be generated by correcting the prediction sample based on a first parameter
  • the second corrected prediction sample may be generated by correcting the prediction sample based on a second parameter.
  • the first and second corrected prediction samples are generated based on two parameters, that is, the first to Nth corrected predictions based on N parameters. Samples are each generated, and a final corrected prediction sample may be obtained through a weighted sum of the samples.
  • the first parameter may be derived based on a reference region (hereinafter, referred to as a first reference region) determined based on any one of the plurality of modes described above.
  • the first corrected prediction sample may be obtained based on any one of the first to third correction methods described above.
  • the second parameter may be derived based on a reference region (hereinafter referred to as a second reference region) determined based on any other one of the plurality of modes described above.
  • the second corrected prediction sample may be obtained based on any one of the first to third correction methods described above.
  • a plurality of parameters may be used to obtain a final corrected prediction sample, and for this purpose, a plurality of index information may be used for one current block.
  • Each index information specifies one of the plurality of modes described above, and the first reference region and the second reference region may be respectively determined by a plurality of index information.
  • a plurality of pieces of index information may be signaled through a bitstream or implicitly derived based on encoding information of a current block and/or neighboring blocks.
  • one of a plurality of pieces of index information may be signaled through a bitstream, and the other may be implicitly derived based on the signaled index information.
  • the current block may be divided into a plurality of sub-blocks, and parameters may be derived by using neighboring areas adjacent to each sub-block as a reference area.
  • a subblock to which the prediction sample belongs may be specified, and the prediction sample may be corrected based on a parameter corresponding to the specified subblock (hereinafter referred to as a fifth correction method).
  • Correction of the prediction sample of the current block may be performed based on any one of the first to fifth correction methods described above.
  • correction of the predicted sample of the current block may be performed based on a combination of at least two of the first to fifth correction methods described above.
  • Correction of the predicted sample of the current block may be selectively performed using any one of a plurality of correction methods pre-defined in the decoding device.
  • the plurality of correction methods may include at least two of the first to fifth correction methods.
  • index information specifying one of a plurality of correction methods may be signaled.
  • the index information may be signaled as shown in Table 7.
  • cu_ic_idx is an example of the aforementioned index information, and may specify one of a plurality of correction methods pre-defined in the decoding device.
  • cu_ic_idx can be signaled only when cu_ic_flag indicates that luminance compensation is applied to the current coding block (ie, when cu_ic_flag is 1).
  • merge index information one syntax (hereinafter referred to as merge index information) in which a second flag indicating whether luminance compensation is applied to the current block and index information specifying one of a plurality of correction methods are merged may be used.
  • one of the index entries of the merge index information may indicate that luminance compensation is not applied to the current block, and the remaining index entries may specify one of a plurality of correction methods. For example, when the value of the merge index information is 0, this may indicate that luminance compensation is not applied to the current block.
  • the merge index information may be signaled as shown in Table 8.
  • cu_ic_idx is an example of the aforementioned merge index information, and may specify whether luminance compensation is applied to the current block and/or one of a plurality of correction methods.
  • cu_ic_idx may be signaled only when sps_illumination_compensation_enabled_flag indicates that luminance compensation is available (ie, when sps_illumination_compensation_enabled_flag is 1).
  • a flag indicating whether the first correction method is used to correct the prediction sample of the current block (hereinafter referred to as a fourth flag) may be additionally used.
  • the prediction sample may be corrected according to the first correction method.
  • the prediction sample may be corrected according to the second correction method.
  • the prediction sample may be corrected according to the first correction method.
  • the prediction sample may be corrected according to the third correction method.
  • the prediction sample may be corrected according to the first correction method.
  • the fourth flag when the fourth flag is 1, correction of the prediction sample may be performed according to the fourth correction method.
  • the prediction sample when the fourth flag is 0, the prediction sample may be corrected according to the first correction method.
  • the fourth flag is 1 the prediction sample may be corrected according to the fifth correction method.
  • the fourth flag may be signaled as shown in Table 9.
  • cu_ic_flag is an example of a second flag indicating whether luminance compensation is applied to the current block.
  • cu_weighted_ic_flag may indicate whether the predicted sample of the current block is corrected by the first correction method.
  • cu_ic_idx may specify any one of a plurality of pre-defined modes in the decoding device. Depending on the value of cu_weighted_ic_flag, the signaled cu_ic_idx size may be different.
  • one syntax in which a second flag indicating whether luminance compensation is applied to the current block and index information specifying one of a plurality of modes are merged ie, merge index information
  • cu_ic_idx is an example of the aforementioned merge index information, and may specify whether luminance compensation is applied to the current block and/or one of a plurality of modes.
  • cu_weighted_ic_flag as an example of the fourth flag, may indicate whether the first correction method is used to correct the prediction sample of the current block. Since this has been described above, a detailed description thereof will be omitted.
  • cu_ic_idx and cu_weighted_ic_flag can be signaled only when sps_illumination_compensation_enabled_flag indicates that luminance compensation is available (ie, when sps_illumination_compensation_enabled_flag is 1).
  • whether or not the first correction method is used to correct the prediction sample of the current block may be determined by the block size/shape, prediction mode, inter mode type, division type, transformation type, etc. without signaling of the fourth flag. It may also be implicitly determined based on encoding information of the same current block and/or neighboring blocks.
  • the current block may be reconstructed based on the corrected prediction sample of the current block and the remaining samples of the current block.
  • the parameter obtained through the above method may be applied to the reconstructed sample of the current block, where the reconstructed sample may mean a reconstructed sample to which an in-loop filter is not applied, a deblocking filter, an adaptive sample offset, or It may mean a reconstructed sample to which at least one of the adaptive loop filters is applied.
  • 5 and 6 show locations of samples in a reference region selected for deriving parameters according to an embodiment of the present disclosure.
  • a parameter for correcting the prediction sample of the current block may be derived using all samples belonging to the reference region or one or more partial samples among samples belonging to the reference region.
  • the reference area is composed of the current block and/or the left peripheral area, the top peripheral area, and the upper left peripheral area of the reference block.
  • samples belonging to the reference region a sample used to derive the parameters is referred to as a reference sample.
  • samples belonging to at least one of the upper right peripheral region and the lower left peripheral region may be further used as reference samples (Example 2-A).
  • the parameter may be derived using samples belonging to the left peripheral region, the upper peripheral region, the upper left peripheral region, the upper right peripheral region, and the lower left peripheral region as reference samples.
  • samples belonging to the upper right and lower left peripheral areas may be used only when the neighboring area to which the sample belongs is available.
  • the corresponding sample may be replaced based on a sample of the available neighboring area.
  • the upper right peripheral region is unavailable, a sample belonging to the upper right peripheral region may be replaced based on at least one of the samples belonging to the upper right peripheral region.
  • a sample belonging to the lower left peripheral area may be replaced based on at least one of the samples belonging to the left peripheral area.
  • samples belonging to the reference region may be used as reference samples, but samples belonging to the upper right and lower left peripheral regions may not be used as reference samples (Example 2-B).
  • the parameter may be derived using samples belonging to the left peripheral region, the upper peripheral region, the upper left peripheral region, the upper right peripheral region, and the lower left peripheral region as reference samples.
  • the height of the left peripheral area may be limited so as not to be greater than the height of the current block.
  • the width of the area around the top can be constrained to be no larger than the width of the current block.
  • sample 2-C only one or more partial samples among samples belonging to the reference region may be used as a reference sample.
  • some samples in the left peripheral region, some samples in the upper peripheral region, and samples belonging to the upper left peripheral region may be selected as reference samples.
  • the parameter may be derived using selected samples.
  • some samples of the left peripheral area may include N consecutive samples from the topmost sample of the left peripheral area. N may be less than the height of the current block.
  • Some samples of the upper peripheral region may include M consecutive samples from the leftmost sample of the upper peripheral region. M can be less than the width of the current block.
  • N and M may be integers greater than or equal to 0, and N and M may be the same or different from each other.
  • samples belonging to the upper left peripheral area of the current block and/or reference block are used as reference samples.
  • the upper left peripheral region may be excluded from the reference region, and samples belonging to the upper left peripheral region may be set not to be used as reference samples.
  • one or more partial samples selected at uniform intervals through subsampling among samples belonging to the reference region may be used as reference samples (Example 2-D).
  • the subsampling ratio is 2 and the width and height of the current block are 4, respectively, two samples may be selected from the upper peripheral area and two samples from the left peripheral area, respectively.
  • the subsampling ratio is 2 and the width and height of the current block are 8
  • 4 samples may be selected from the upper peripheral area and 4 samples may be selected from the left peripheral area, respectively.
  • samples subsampled at equal intervals within a reference region according to a predetermined subsampling ratio may be used as reference samples.
  • the subsampling rate may be pre-defined identically to the encoding device and the decoding device.
  • information specifying the subsampling rate may be signaled through a bitstream.
  • the information is at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • PH picture header
  • SH slice header
  • CTU CTU
  • CU slice header
  • one or more partial samples selected at non-uniform intervals among samples belonging to the reference region may be used as reference samples (Example 2-E).
  • samples selected at non-uniform intervals within the reference region may be used as reference samples.
  • a value of a sample belonging to the reference region may be compared with a predetermined threshold value, a sample having a value greater than the threshold value may be selected, and the parameter may be derived using the selected sample as a reference sample.
  • a value of a sample belonging to the reference region may be compared with a predetermined threshold value, and a sample having a value smaller than or equal to the threshold value may be selected, and the parameter may be derived using the selected sample as a reference sample.
  • the threshold value may be pre-defined identically to the encoding device and the decoding device.
  • information specifying the threshold may be signaled through a bitstream.
  • the information is at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • PH picture header
  • SH slice header
  • CTU CTU
  • CU slice header
  • sample 2-F only one or more representative samples may be used as reference samples (Example 2-F).
  • the representative sample may refer to a sample having a maximum value and/or a minimum value among all samples in the reference region or samples available in the reference region. Samples available in the reference region may be some samples selected according to the above-described embodiment. Alternatively, the representative sample may mean a sample at a pre-defined position identically to the encoding device and the decoding device.
  • the representative sample may be the leftmost sample of the upper peripheral region, the rightmost sample of the upper peripheral region, the center sample of the upper peripheral region, the uppermost sample of the left peripheral region, the lowermost sample of the left peripheral region, or the left peripheral region. may include at least one of the central samples of Meanwhile, the number of representative samples may be limited to K, where K may be 2, 4, 6 or more.
  • two samples that is, a sample with a maximum value and a sample with a minimum value, among samples in the reference region, may be selected as reference samples.
  • the top two or more samples having the maximum value and the bottom two or more samples having the minimum value may be selected as reference samples.
  • one or more reference samples in the reference region may be determined/selected.
  • one or more reference samples in the reference region may be determined/selected based on a combination of at least two of the foregoing embodiments 2-A to 2-F.
  • One or more reference samples in the reference region may be determined/selected by selectively using any one of the foregoing embodiments 2-A to 2-F.
  • a reference sample in the reference region may be determined/selected based on the size of the current block.
  • the size of the current block may mean width, height, maximum/minimum/average values of width and height, product of width and height, or sum of width and height.
  • all samples belonging to the reference region may be determined as reference samples.
  • the parameter may be derived by further using samples belonging to at least one of the upper right and lower left peripheral regions as reference samples, as well as samples belonging to the reference region. there is.
  • the parameter is derived using all samples belonging to the reference region as reference samples, but samples belonging to the upper right and lower left peripheral regions are not used as reference samples.
  • samples belonging to the reference region may be selected as reference samples.
  • samples belonging to the reference region some samples of the left peripheral region, some samples of the upper peripheral region, and samples belonging to the upper left peripheral region may be selected as reference samples.
  • samples subsampled at equal intervals within the reference region according to a predetermined subsampling ratio may be selected as reference samples.
  • samples selected at non-uniform intervals within the reference region may be selected as reference samples.
  • two samples that is, a sample with the maximum value and a sample with the minimum value may be selected as reference samples.
  • the number of thresholds may mean the maximum number of samples available for deriving parameters, that is, the maximum number of reference samples.
  • the number of thresholds may be pre-defined identically to the encoding device and the decoding device.
  • information specifying the number of thresholds may be signaled through a bitstream.
  • the information is at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • PH picture header
  • SH slice header
  • CTU CTU
  • CU slice header
  • a reference region may include at least one of a first sample line or a second sample line of a current block and/or a reference block.
  • the reference area may be composed of the current block and/or the first sample line of the reference block.
  • a reference sample in the reference region may be selected from the current block and/or the first sample line of the reference block (Example 3-A).
  • the reference area may be composed of the current block and/or the second sample line of the reference block.
  • a reference sample in the reference region may be selected from the current block and/or the second sample line of the reference block (Example 3-B).
  • the reference area may be composed of the first sample line and the second sample line of the current block and/or reference block.
  • a reference sample in the reference region may be selected from the first sample line and the second sample line of the current block and/or the reference block (Example 3-C).
  • the reference area is shown as including one second sample line, but this is only an example, and the reference area includes two, three, four, or more second sample lines. It may contain 2 sample lines. Also, in FIGS. 6(b) and 6(c) , the second sample line may be adjacent to the first sample line or may not be adjacent to the first sample line.
  • a range of usable reference regions can be set.
  • a range of usable reference regions may be set based on a combination of at least two of the foregoing embodiments 3-A to 3-C.
  • the range of available reference regions may be adaptively determined.
  • the selection may be performed based on information specifying any one of a plurality of candidate reference regions pre-defined in the decoding device.
  • the plurality of candidate reference regions may include at least two of the reference regions according to the aforementioned embodiments 3-A to 3-C.
  • the information may be signaled at the level of at least one of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • PH picture header
  • SH slice header
  • CTU CTU
  • CU CTU
  • one of the plurality of candidate reference regions may be implicitly selected based on encoding information of the current block and/or neighboring blocks.
  • one of the plurality of candidate reference regions may be selected based on the size of the current block, and a range of usable reference regions may be determined based on the selected candidate reference region.
  • the size of the current block may mean width, height, maximum/minimum/average values of width and height, product of width and height, or sum of width and height.
  • a reference region composed of the first sample line of the current block and/or the reference block may be selected.
  • a reference region composed of the second sample line of the current block and/or the reference block may be selected.
  • a reference region composed of the first sample line and the second sample line of the current block and/or reference block may be selected.
  • the number of thresholds may mean the minimum number of reference samples required to derive parameters.
  • the number of thresholds may be pre-defined identically to the encoding device and the decoding device.
  • information specifying the number of thresholds may be signaled through a bitstream.
  • the information is at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • PH picture header
  • SH slice header
  • CTU CTU
  • CU slice header
  • the range of available reference regions may be adaptively determined based on a predetermined threshold value.
  • a sample having a value greater than the threshold value in the first sample line of the current block and/or reference block may be selected as the reference sample.
  • the first sample line may be determined as an available reference region.
  • the first sample line and the second sample line of the current block and/or reference block may be determined as available reference regions.
  • a sample having a value greater than the threshold value in the second sample line may be selected as a reference sample.
  • a sample having a value greater than the threshold value in the second sample line of the current block and/or reference block may be selected as the reference sample.
  • the second sample line may be determined as an available reference region.
  • the first sample line and the second sample line of the current block and/or reference block may be determined as available reference regions.
  • a sample having a value greater than the threshold value in the first sample line may be selected as a reference sample.
  • a sample having a value less than or equal to the threshold value in the first sample line of the current block and/or reference block may be selected as the reference sample.
  • the first sample line may be determined as an available reference region.
  • the first sample line and the second sample line of the current block and/or reference block may be determined as available reference regions.
  • a sample having a value less than or equal to the threshold value in the second sample line may be selected as a reference sample.
  • a sample having a value less than or equal to the threshold value in the second sample line of the current block and/or reference block may be selected as the reference sample.
  • the second sample line may be determined as an available reference region.
  • the first sample line and the second sample line of the current block and/or reference block may be determined as available reference regions.
  • a sample having a value less than or equal to the threshold value in the first sample line may be selected as a reference sample.
  • the threshold value may mean a minimum value or a maximum value of samples available for deriving a parameter.
  • the number of thresholds may mean the minimum number of reference samples required to derive parameters. At least one of the threshold value or the number of thresholds may be pre-defined identically to the encoding device and the decoding device. Alternatively, information specifying at least one of the threshold value and the number of thresholds may be signaled through a bitstream. For example, the information is at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU. can be signaled in
  • FIG. 7 illustrates a plurality of modes according to an embodiment of the present disclosure.
  • a case of correcting a prediction sample of a current block based on a plurality of modes is described. Also, a method for selecting a reference pixel used to define a plurality of modes based on location will be described.
  • Parameters in the above embodiment can be generated at various levels such as picture, tile, slice, coding tree unit (CTU), coding unit (CU), and sub-coding unit (sub-CU). described as a standard. Obviously, the contents described in this embodiment can be applied to other levels as well.
  • CTU coding tree unit
  • CU coding unit
  • sub-CU sub-coding unit
  • the degree of luminance compensation depends on parameters, that is, values of weight (a) and offset (b). That is, when one parameter (a, b) is derived based on the current block and neighboring samples of the corresponding reference block, luminance compensation is also performed in only one form. In this case, if one or more parameters are derived from neighboring samples, luminance compensation can also be performed in more diverse forms.
  • a reference region for deriving parameters may be determined based on at least one of a plurality of pre-defined modes in a decoding device.
  • the plurality of modes may include N modes, where N may be an integer of 2, 3, 4, or greater.
  • the plurality of modes include three modes, that is, a first mode, a second mode, and a third mode. That is, in order to define a plurality of modes, neighboring samples (hereinafter referred to as neighboring areas) of the current block and/or reference block may be divided into three groups. do.
  • a neighboring area of the current block and/or reference block may be divided into three areas based on overlapped division (Example 4-A).
  • the first mode may refer to a mode in which a region including at least one sample belonging to the upper left peripheral region is used as a reference region.
  • the reference area according to the first mode may be composed of an upper peripheral area, a left peripheral area, and an upper left peripheral area of the current block and/or the reference block.
  • the width of the upper edge area may be equal to or greater than the width of the current block
  • the height of the left edge area may be equal to or greater than the height of the current block.
  • the second mode may mean a mode in which a region including at least one sample belonging to the upper-left peripheral region and not including at least one sample belonging to the upper-left peripheral region is used as a reference region.
  • the reference area according to the second mode may be composed of the current block and/or an upper peripheral area of the reference block.
  • the width of the area around the top may be equal to or greater than the width of the current block.
  • the reference region according to the second mode may further include the current block and/or an upper right peripheral region of the reference block.
  • the third mode may refer to a mode in which a region including at least one sample belonging to the left peripheral region and not including at least one sample belonging to the upper left peripheral region is used as a reference region.
  • the reference area according to the third mode may include the current block and/or a left peripheral area of the reference block.
  • the height of the left peripheral area may be equal to or greater than the height of the current block.
  • the reference area according to the third mode may further include a lower left peripheral area of the current block and/or the reference block.
  • the plurality of modes may include all of the first to third modes according to the embodiment 4-A, or may include at least two of the first to third modes.
  • the neighboring area of the current block and/or the reference block may be divided into three areas based on non-overlapped division (Example 4-B).
  • the first mode may refer to a mode in which a region including at least one sample belonging to the upper left peripheral region is used as a reference region.
  • the reference area according to the first mode may be composed of an upper peripheral area, a left peripheral area, and an upper left peripheral area of the current block and/or the reference block.
  • the width of the area around the top may be equal to or smaller than the width of the current block.
  • the second mode may refer to a mode in which a region including at least one sample belonging to the upper-left peripheral region and not including at least one sample belonging to the upper-left peripheral region is used as a reference region.
  • the reference area according to the second mode may be composed of the current block and/or an upper peripheral area of the reference block.
  • the width of the area around the top may be equal to or smaller than the width of the current block.
  • the width of the upper peripheral region in the first mode (nW 1 ) is N
  • the width of the upper peripheral region in the second mode (nW 2 ) is equal to the difference between N from the width of the current block (nW cur ), or can be small N may be an integer greater than or equal to 0 and less than or equal to nW cur .
  • the reference region according to the second mode may further include the current block and/or an upper right peripheral region of the reference block.
  • the third mode may mean a mode in which a region including at least one sample belonging to the left peripheral region and not including at least one sample belonging to the upper left peripheral region is used as a reference region.
  • the reference area according to the third mode may be composed of the current block and/or a left peripheral area of the reference block.
  • the height of the left peripheral area may be smaller than or equal to the height of the current block.
  • the height of the left peripheral region in the first mode (nH 1 ) is M
  • the height of the left peripheral region in the second mode (nH 2 ) is equal to the difference of M from the height of the current block (nH cur ), or can be small M may be an integer greater than or equal to 0 and less than or equal to nH cur .
  • the reference area according to the third mode may further include a lower left peripheral area of the current block and/or the reference block.
  • the plurality of modes may include all of the first to third modes according to the embodiment 4-B, or may include at least two of the first to third modes.
  • a neighboring area of the current block and/or reference block may be divided into three areas based on overlapped division (Example 4-C). Unlike the neighboring area according to Example 4-A, the neighboring area according to Example 4-C may not include samples of the upper-left neighboring area of the current block and/or the reference block.
  • FIG. 7(c-1) relates to a first mode, which can use both the neighboring areas of the current block and/or the reference block as reference areas.
  • the first mode may refer to a mode in which a region including at least one sample belonging to the left peripheral region and at least one sample belonging to the upper peripheral region is used as a reference region.
  • the reference area according to the first mode may be composed of an upper peripheral area and a left peripheral area of the current block and/or the reference block.
  • the size of the width and height of the current block and / or reference block may be used as it is, or the larger value of the width and height of the current block and / or reference block A small value may also be used.
  • the width of the top peripheral area may be the same as the width of the current block, and the height of the left peripheral area may be the same as the height of the current block.
  • the width of the upper peripheral area and the height of the left peripheral area may be determined based on a maximum value or a minimum value among the width and height of the current block.
  • the width of the upper edge area may be smaller or larger than the width of the current block, and the height of the left edge area may be smaller or larger than the height of the current block.
  • the width of the top peripheral region and the height of the left peripheral region may be set to have the same size.
  • the width of the upper peripheral region and the height of the left peripheral region may be the same.
  • the width of the upper peripheral region and the height of the left peripheral region are the current block. And/or it may be determined based on the maximum or minimum value of the width and height of the reference block.
  • FIG. 7(c-2) relates to the second mode, in which the left peripheral area of the current block and/or reference block can be used as a reference area.
  • the second mode may refer to a mode in which a region including at least one sample belonging to the left peripheral region and not including a sample belonging to the upper peripheral region is used as a reference region.
  • the reference area according to the second mode may include a current block and/or a left peripheral area of the reference block.
  • the height of the left peripheral area may be the same as the height of the current block.
  • the height of the left peripheral area may be smaller or larger than the height of the current block.
  • the left peripheral area may include a first sample line and at least one second sample line.
  • the left peripheral area may include the first sample line and may not include the second sample line.
  • the reference region according to the second mode may further include at least one sample belonging to the current block and/or a lower left peripheral region of the reference block.
  • the reference region of the second mode may be set/limited to have the same number of samples as the number of samples belonging to the reference region of the first mode.
  • FIG. 7(c-3) relates to a third mode, which may use an upper peripheral area of the current block and/or reference block as a reference area.
  • the third mode may mean a mode in which a region including at least one sample belonging to the upper peripheral region and not including a sample belonging to the left peripheral region is used as a reference region.
  • the reference area according to the third mode may be composed of the current block and/or an upper peripheral area of the reference block.
  • the width of the area around the top may be the same as the width of the current block.
  • the width of the area around the top may be smaller or larger than the width of the current block.
  • the upper peripheral area may include a first sample line and at least one second sample line.
  • the upper peripheral area may include the first sample line and may not include the second sample line.
  • the reference region according to the third mode may further include at least one sample belonging to the current block and/or an upper right peripheral region of the reference block.
  • the reference region of the third mode may be set/limited to have the same number of samples as the number of samples belonging to the reference region of the first mode.
  • the plurality of modes may include all of the first to third modes according to the embodiment 4-C, or may include at least two of the first to third modes.
  • the neighboring area of the current block and/or the reference block may be divided into three areas based on non-overlapped division (Example 4-D).
  • the peripheral area according to Example 4-D may be divided into three areas in consideration of positions of sample lines constituting the peripheral area.
  • FIG. 7 (d-1) relates to a first mode, in which neighboring samples adjacent to a current block and/or a reference block may be used as a reference region.
  • the first mode may refer to a mode in which a region including at least one sample belonging to a first sample line of a current block and/or a reference block is used as a reference region.
  • the reference area according to the first mode belongs to the first sample line of the current block and/or the reference block, and includes an upper peripheral area of the current block and/or the reference block or It may include samples belonging to at least one of the left peripheral regions.
  • the width of the upper edge area may be equal to the width of the current block
  • the height of the left edge area may be equal to the height of the current block.
  • the width of the upper peripheral area and the height of the left peripheral area may be determined based on a maximum value or a minimum value among the width and height of the current block.
  • the width of the upper edge area may be smaller or larger than the width of the current block
  • the height of the left edge area may be smaller or larger than the height of the current block.
  • the reference region according to the first mode belongs to the same sample line as the first sample line of the current block and/or the reference block, and belongs to at least one of the upper right peripheral region and the lower left peripheral region of the current block and/or the reference block. It may contain more samples.
  • the second mode may refer to a mode in which a region including at least one sample belonging to a second sample line of a current block and/or a reference block is used as a reference region.
  • the second sample line according to the second mode may mean a sample line adjacent to the first sample line according to the first mode.
  • the second sample line according to the second mode may be a sample line located at a distance of n-sample from the current block and/or reference block, where n is 2, 3, 4, or more. can be an integer.
  • the reference area according to the second mode belongs to the second sample line of the current block and/or the reference block, and is an upper peripheral area of the current block and/or the reference block or It may include samples belonging to at least one of the left peripheral regions.
  • the width of the upper edge area may be equal to the width of the current block, and the height of the left edge area may be equal to the height of the current block.
  • the width of the upper peripheral area and the height of the left peripheral area may be determined based on a maximum value or a minimum value among the width and height of the current block. In this case, the width of the upper edge area may be smaller or larger than the width of the current block, and the height of the left edge area may be smaller or larger than the height of the current block.
  • the reference region according to the second mode belongs to the same sample line as the second sample line of the current block and/or the reference block, and belongs to at least one of an upper right peripheral region or a lower left peripheral region of the current block and/or the reference block. It may contain more samples.
  • the third mode may mean a mode in which a region including at least one sample belonging to the second sample line of the current block and/or the reference block is used as a reference region.
  • the second sample line according to the third mode may refer to a sample line adjacent to the second sample line according to the second mode and not adjacent to the first sample line according to the first mode.
  • the second sample line according to the third mode may be a sample line located at a distance of m-sample from the current block and/or reference block, where m is 2, 3, 4, or It can be an integer greater than .
  • the reference area according to the third mode belongs to the second sample line of the current block and/or reference block, and is an upper peripheral area of the current block and/or reference block or It may include samples belonging to at least one of the left peripheral regions.
  • the width of the upper edge area may be equal to the width of the current block, and the height of the left edge area may be equal to the height of the current block.
  • the width of the upper peripheral area and the height of the left peripheral area may be determined based on a maximum value or a minimum value among the width and height of the current block. In this case, the width of the upper edge area may be smaller or larger than the width of the current block, and the height of the left edge area may be smaller or larger than the height of the current block.
  • the reference region according to the third mode belongs to the same sample line as the second sample line of the current block and/or the reference block, and belongs to at least one of an upper right peripheral region or a lower left peripheral region of the current block and/or the reference block. It may contain more samples.
  • the widths of the upper peripheral areas according to the first to third modes may all be the same.
  • the heights of the left peripheral areas according to the first to third modes may all be the same.
  • the width of the upper peripheral region according to the first mode is smaller than the width of the upper peripheral region according to the second mode
  • the width of the upper peripheral region according to the second mode is the upper peripheral region according to the third mode. It can be less than the width.
  • the height of the left peripheral region according to the first mode is smaller than the height of the left peripheral region according to the second mode
  • the height of the left peripheral region according to the second mode is greater than the height of the left peripheral region according to the third mode.
  • the plurality of modes may include all of the first to third modes according to the embodiment 4-D, or may include at least two of the first to third modes.
  • the plurality of modes according to the present disclosure may include at least two of the first to third modes according to Embodiments 4-A to 4-D (Example 4-E).
  • FIGS. 7(a) and 7(b) it is shown that the area around the upper left corner of the current block and/or the reference block is included in the reference area, but this is only an example.
  • the upper left peripheral area may be excluded from the reference area according to the first mode.
  • samples belonging to the neighboring regions of the current block and/or the reference block may be grouped into two or more groups based on one or more threshold values. For example, when one threshold value T1 is used, samples belonging to the peripheral area may be divided into two groups. Here, one of the two groups may consist of samples less than or equal to T1, and the other may consist of samples greater than T1. Similarly, when two threshold values T1 and T2 are used, the samples belonging to the peripheral area include a first group consisting of at least one sample less than or equal to T1, and at least one sample greater than or equal to T1 and less than or equal to T2. It can be divided into a second group consisting of, and a third group consisting of at least one sample greater than T2.
  • samples belonging to the peripheral area may be divided into a first group consisting of at least one sample smaller than or equal to the threshold value and a second group consisting of at least one sample greater than the threshold value.
  • the plurality of modes may include a first mode corresponding to the first group and a second mode corresponding to the second group. That is, the first mode may mean a mode in which parameters are derived using at least one sample belonging to the first group, and the second mode is a mode in which parameters are derived using at least one sample belonging to the second group. It can mean a mode that
  • the threshold value may be pre-defined identically to the encoding device and the decoding device.
  • the threshold value may be derived based on samples belonging to neighboring regions of the current block and/or the reference block.
  • the threshold value may be derived from an average value, a median value, or a mode value of samples belonging to the peripheral area.
  • information specifying the threshold may be signaled through a bitstream.
  • the information is at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), a slice header (SH), a CTU, or a CU. can be signaled in
  • FIG 8 illustrates a method of correcting prediction samples according to an embodiment of the present disclosure.
  • FIG. 8(a) shows a region to which luminance compensation is applied.
  • FIG. 8(a) shows a partial region in which the predicted sample of the current block is corrected.
  • 8(a) relates to correction of prediction samples according to the second correction method reviewed with reference to FIG. 4 . That is, neighboring areas of different locations may be used to define a plurality of modes. In this case, considering the location of the neighboring area used as a reference area, a parameter is applied to an area having high correlation with the surrounding area, Parameters may not be applied to an area having low connectivity with the corresponding surrounding area.
  • FIG. 8(a-1) shows a case in which samples of an upper neighboring block are used when deriving parameters, and in this case, luminance compensation is applied to an area adjacent to the upper part in the current block.
  • FIG. 8(a-1) corresponds to a case in which an area around an upper end of a current block and/or a reference block is used as a reference area.
  • the current block may be divided into a plurality of sub-regions by one or more horizontal division lines.
  • the parameters derived based on the upper neighboring area may be applied to prediction samples belonging to the first sub-region 800 of the current block and may not be applied to prediction samples belonging to the second sub-region 801 of the current block.
  • the first subregion 800 may consist of P sample rows from the upper boundary of the current block, and P may be an integer less than or equal to the height of the current block.
  • 8(a-2) shows a case in which samples of a left neighboring block are used when deriving a compensation parameter, and in this case, luminance compensation is applied to a region adjacent to the left in the current block.
  • 8(a-2) corresponds to a case in which the left peripheral area of the current block and/or the reference block is used as a reference area.
  • the current block may be divided into a plurality of sub-regions by one or more vertical division lines.
  • the parameters derived based on the left peripheral region may be applied to prediction samples belonging to the first sub-region 802 of the current block and may not be applied to prediction samples belonging to the second sub-region 803 of the current block.
  • the first subregion 802 may consist of Q sample columns from the left boundary of the current block, and Q may be an integer less than or equal to the width of the current block.
  • the values of P and Q may be the same pre-defined values for the encoding device and the decoding device, or may be variably determined based on at least one of the size, shape, and division type of the current block.
  • information specifying values of P and/or Q ie, information specifying positions of horizontal division lines and/or vertical division lines
  • luminance compensation is applied to regions adjacent to the left and upper ends of the current block except for the NxM lower right region.
  • the size of the region to which luminance compensation is applied may be variably determined according to the size of the current block.
  • the values of N and M may be equally pre-defined values for the encoding device and the decoding device, or may be variably determined based on at least one of the size, shape, and division type of the current block.
  • information specifying the values of N and M ie, information specifying positions of the horizontal division line and the vertical division line
  • the current block may be divided into a first subregion 804 and a second subregion 805.
  • the first subregion 804 may refer to an area excluding the NxM lower right region from the current block
  • the second subregion 805 may refer to the NxM lower right region.
  • the current block may be divided into four sub-regions, that is, an upper-left sub-region, an upper-right sub-region, a lower-left sub-region, and a lower-right sub-region, wherein the first sub-region is an upper-left sub-region, an upper-right sub-region, or It may be defined as an area including at least one of the lower-left sub-regions, and the second sub-region may be defined as an area including the lower-right sub-region.
  • a parameter may be applied to one of the first subregion and the second subregion, and may not be applied to the other one.
  • the parameters may be applied to prediction samples belonging to the first sub-region 804 of the current block, and the parameters may not be applied to prediction samples belonging to the second sub-region 805 of the current block.
  • FIG. 8(a-4) luminance compensation is applied to an area adjacent to the top and left sides of the diagonal division line of the current block.
  • FIG. 8(a-4) illustrates a case in which a current block is divided into two sub-regions by diagonal dividing lines, but is not limited thereto. That is, the current block may be divided into two sub-regions by a dividing line having a predetermined angle, wherein the dividing line may be specified based on at least one of an angle or a distance from a central position of the current block. Information representing the angle and/or distance of the dividing line may be signaled through a bitstream.
  • parameters are applied to prediction samples belonging to either of the two subregions in consideration of the position of the reference region or the proximity to the reference region. and parameters may not be applied to prediction samples belonging to the other one.
  • a parameter may be applied to a prediction sample of a sub-region 806 adjacent to the reference region, and a parameter may not be applied to a prediction sample of a sub-region 807 not adjacent to the reference region.
  • An area to which a parameter is applied (hereinafter referred to as a luminance compensation area) within the current block may be determined based on any one of a plurality of types pre-defined in the decoding device.
  • each of the plurality of types may specify at least one of the range, size, or location of the luminance compensation area.
  • the plurality of types include a first type in which the luminance compensation region has the same size as the current block, a second type in which the luminance compensation region is one of two subregions generated by dividing the current block based on a horizontal dividing line, A third type in which the luminance compensation area is one of two subregions generated by dividing the current block based on a vertical division line, a fourth type in which the luminance compensation area is an area excluding the NxM lower right area of the current block, or
  • the luminance compensation area may include at least one of the fifth type, which is either one of two sub areas generated by dividing the current block based on a dividing line having a predetermined angle. Any one of the plurality of types may be selectively used.
  • a flag or index information indicating one of a plurality of types may be explicitly signaled.
  • one of a plurality of types may be implicitly selected based on at least one of the size, shape, position, or availability of the reference region for luminance compensation.
  • the second to fifth types may correspond to FIGS. 8(a-1) to 8(a-4), respectively.
  • the luminance compensation area may be determined based on encoding information of the current block and/or neighboring blocks.
  • the encoding information may include at least one of a quantization parameter, a prediction mode (intra prediction or inter prediction), or motion information.
  • a luminance compensation region may be selectively determined by comparing encoding information of the current block with encoding information of neighboring blocks.
  • a partial area adjacent to the corresponding neighboring block within the current block may be determined as a luminance compensation area.
  • the difference between the quantization parameter of the current block and the quantization parameter of the left neighboring block is greater than a pre-defined specific value, and the difference between the quantization parameter of the current block and the quantization parameter of the upper neighboring block is less than a pre-defined specific value.
  • luminance compensation may not be applied to a partial region adjacent to the left neighboring block within the current block, and luminance compensation may be applied to remaining regions except for the partial region.
  • the size of the luminance compensation area may be variably determined based on the size of the current block.
  • the width of the luminance compensation area may be W/8, W/4, or W/2.
  • the width of the luminance compensation region in the current block may be determined as one of integers between 1 and (W-1) according to the width of the current block.
  • the height of the current block is H, the height of the luminance compensation region may be equal to or smaller than H.
  • a partial area adjacent to the neighboring block within the current block may be excluded from the luminance compensation area.
  • the size of the partial area within the current block may be variably determined based on the size of the current block. For example, when the width of the current block is W, the width of a part of the current block may be W/8, W/4, or W/2. Similarly, when the height of the current block is H, the height of some regions in the current block may be equal to H/8, H/4, or H/2.
  • the width of the partial region within the current block may be determined as one of integers between 1 and (W-1) according to the width of the current block, and the height of the partial region within the current block may be determined by 1 according to the height of the current block. to (H-1).
  • a luminance compensation area within the current block may be determined based on a difference between motion vectors of neighboring blocks and motion vectors of the current block.
  • a partial area adjacent to the corresponding neighboring block within the current block may be determined as a luminance compensation area.
  • a partial area adjacent to the neighboring block within the current block may be excluded from the luminance compensation area.
  • the size of a partial region in the current block may be variably determined based on the size of the current block. For example, when the width of the current block is W, the width of a part of the current block may be W/8, W/4, or W/2. Similarly, when the height of the current block is H, the height of some regions in the current block may be equal to H/8, H/4, or H/2. Alternatively, the width of the partial region within the current block may be determined as one of integers between 1 and (W-1) according to the width of the current block, and the height of the partial region within the current block may be determined by 1 according to the height of the current block. to (H-1).
  • a luminance compensation region within the current block may be determined based on the prediction modes of neighboring blocks and the prediction modes of the current block.
  • the prediction mode of the neighboring block is the same as that of the current block, a partial area adjacent to the neighboring block within the current block may be selected as the luminance compensation area.
  • the prediction mode of the neighboring block is different from that of the current block, a partial area adjacent to the neighboring block within the current block may be excluded from the luminance compensation area.
  • the size of the partial area is variable based on at least one of the size of the current block or the difference between the encoding information of the neighboring block and the encoding information of the current block.
  • the neighboring block may include at least one of a left neighboring block and an upper neighboring block of the current block.
  • both the left and upper neighboring blocks of the current block may be used.
  • the luminance compensation area may be determined using only the left neighboring block of the current block.
  • the luminance compensation area may be determined using only the upper neighboring block of the current block.
  • the aforementioned pre-defined specific value may be an integer greater than or equal to zero. This may be signaled through a bitstream, and may be the same pre-defined value in the encoding device and the decoding device.
  • a plurality of neighboring blocks may exist on the left and/or upper side of the current block, and in this case, at least one of the plurality of neighboring blocks may be selectively used.
  • the coordinates of the top left sample of the current block are (0, 0), and the height and width of the current block are H and W, respectively.
  • at least one of a plurality of neighboring blocks including each of samples having coordinates of (-1, 0), (-1, H-1), and (-1, H) may be selected as the left neighboring block.
  • the plurality of neighboring blocks may further include a block including a sample of (-1, H/2) coordinates.
  • At least one of a plurality of neighboring blocks each including samples having coordinates of (0, -1), (W-1, -1) and (W, -1) may be selected as an upper neighboring block.
  • the plurality of neighboring blocks may further include blocks including samples of (W/2, -1) coordinates.
  • the position of the neighboring block is only an example, and other neighboring blocks adjacent to at least one of the left side or the top of the current block may be used as a matter of course.
  • Encoding information of the neighboring block selected as the left neighboring block may be used as encoding information representing the left direction of the current block, and in this case, a luminance compensation region of the current block may be determined based on the encoding information of the selected neighboring block.
  • Encoding information of a neighboring block selected as an upper neighboring block may be used as encoding information representing an upper direction of the current block, and in this case, a luminance compensation region of the current block may be determined based on the encoding information of the selected neighboring block.
  • a luminance compensation area may be determined for a partial area within the current block corresponding to the size and position of the left/upper neighboring blocks.
  • the size of the luminance compensation region in the current block may be signaled through a bitstream or pre-defined equally in the encoding device and the decoding device. For example, when luminance compensation is applied, syntax indicating the size of the luminance compensation region may be signaled as shown in Table 11 below.
  • sps_illumination_compensation_enabled_flag indicates whether luminance compensation is available and may be signaled through a sequence parameter set.
  • sps_illumination_compensation_size may indicate the size of the luminance compensation area.
  • sps_illumination_compensation_size may be signaled when the value of sps_illumination_compensation_enabled_flag is 1.
  • Table 11 shows that sps_illumination_compensation_size is signaled through a sequence parameter set, but this is only an example, and may be signaled at at least one level of a picture parameter set, a picture header, a slice header, a coding tree unit, or a coding unit. .
  • the luminance compensation area may be determined as shown in Equation 3 below.
  • H' (H >> sps_illumination_compensation_size)
  • W and H represent the width and height of the current block, respectively
  • W' and H' represent the width and height of the luminance compensation area, respectively. That is, luminance compensation may be applied to a region from 0 to (W'-1) in the width direction and from 0 to (H'-1) in the height direction.
  • the luminance compensation region may be determined as shown in Equation 4 below.
  • H' (H >> sps_illumination_compensation_size)
  • W and H represent the width and height of the current block, respectively
  • W' and H' represent the width and height of a partial area to which luminance compensation is not applied, respectively. That is, luminance compensation may be applied to a region from W' to (W-1) in the width direction and from H' to (H-1) in the height direction.
  • FIG. 8(b) relates to correction of prediction samples according to the third correction method discussed with reference to FIG. 4 . That is, neighboring areas of different positions may be used to define a plurality of modes. In this case, considering the position of the neighboring area used as a reference area, a parameter having a higher intensity is applied to an area closer to the corresponding neighboring area, A parameter with a lower intensity may be applied as the distance increases from the corresponding surrounding area.
  • FIG. 8(b-1) corresponds to a case in which the upper peripheral area of the current block and/or the reference block is used as the reference area.
  • the current block may be divided into a plurality of horizontal sample line groups, and different parameters may be applied to each horizontal sample line group.
  • a parameter applied to each horizontal sample line group may be generated based on a parameter derived based on the upper peripheral area.
  • a parameter applied to the uppermost horizontal sample line group in the current block may be set to be the same as a parameter derived based on the uppermost peripheral area.
  • Parameters applied to the remaining horizontal sample line groups within the current block may be generated based on parameters derived from the upper peripheral area and a distance from an upper boundary of the current block to the corresponding horizontal sample line group.
  • the current block may be divided into a plurality of vertical sample line groups, and different parameters may be applied to each vertical sample line group.
  • a parameter applied to each vertical sample line group may be generated based on a parameter derived based on the left peripheral area.
  • a parameter applied to the leftmost vertical sample line group in the current block may be set to be the same as a parameter derived based on the left peripheral area.
  • Parameters applied to the remaining vertical sample line groups within the current block may be generated based on parameters derived from the left peripheral area and a distance from the left boundary of the current block to the corresponding vertical sample line group.
  • FIG. 8(c) relates to correction of prediction samples according to the fifth correction method described with reference to FIG. 4 . That is, neighboring regions of different positions may be used to define a plurality of modes, and in this case, different parameters may be applied to each sub-region within the current block in consideration of the position of the prediction sample.
  • FIG. 8(c-1) corresponds to a case in which different parameters are applied to each sub-region of the current block, but the same parameter is applied to prediction samples belonging to the same sub-region.
  • a parameter may be derived based on the neighboring region 810 adjacent to the first subregion and/or the neighboring region of the reference block corresponding thereto, and the derived parameter is It may be applied to prediction samples belonging to the first sub-region.
  • a parameter may be derived based on the neighboring region 811 adjacent to the second subregion and/or the neighboring region of the reference block corresponding thereto, and the derived parameter is It may be applied to prediction samples belonging to the second sub-region.
  • a parameter may be derived based on the neighboring region 812 adjacent to the third subregion and/or the neighboring region of the reference block corresponding thereto, and the derived parameter is It may be applied to prediction samples belonging to the third subregion.
  • the fourth sub-region Sub3 of the current block since there is no neighboring region adjacent to the fourth sub-region, parameters for the fourth sub-region may not be allocated and prediction samples belonging to the fourth sub-region may not be assigned. Correction may be omitted for .
  • FIG. 8(c-2) shows a case in which different parameters are applied to each sub-region of the current block and different parameters are applied to prediction samples belonging to the same sub-region by considering the distance from the reference region corresponding to the corresponding sub-region. corresponds to This is derived from a combination of the embodiment of FIG. 8(c-1) and the embodiment of FIG. 8(b), and a detailed description thereof will be omitted.
  • FIG 9 illustrates a schematic configuration of a prediction unit 330 performing an image decoding method according to an embodiment of the present disclosure.
  • the prediction unit 330 may include a prediction sample acquisition unit 900, a parameter acquisition unit 910, and a prediction sample correction unit 920. This may be configured in the inter prediction unit 331 or the intra prediction unit 332 of the decoding device.
  • the prediction sample acquisition unit 900 may obtain a prediction sample of the current block.
  • the prediction sample may be obtained based on at least one of inter prediction and intra prediction.
  • the parameter acquisition unit 910 may acquire parameters for correcting the prediction sample of the current block.
  • the parameter is for improving prediction accuracy, and may be referred to as a correction parameter.
  • the correction of the prediction sample may be for compensating for a luminance difference between a reference picture and a current picture to which the current block belongs.
  • the parameter may be referred to as a luminance compensation parameter.
  • the parameter acquisition unit 910 may acquire the parameter at at least one level of a picture, tile, slice, coding tree unit (CTU), coding unit (CU), or sub-coding unit (sub-CU). .
  • CTU coding tree unit
  • CU coding unit
  • sub-CU sub-coding unit
  • the parameter acquisition unit 910 may obtain the parameter based on at least one of Embodiments 1-A to 1-C, and a detailed description thereof will be omitted herein.
  • the parameter obtainer 910 may obtain the parameter based on at least one of the first flag, the second flag, the third flag, index information, or merge index information described in Tables 1 to 6. At this time, the parameter obtaining unit 910 may determine whether correction is performed on the prediction sample of the current block. Whether correction is performed on the prediction sample of the current block may be determined based on the second flag signaled through the bitstream or based on at least one of encoding information of the current block. Alternatively, even when it is determined that correction is performed on the prediction sample of the current block according to the second flag, whether or not correction is performed on the prediction sample of the current block may be re-determined based on the above-described encoding information. Alternatively, at least one of the aforementioned encoding information may be used as an additional condition for parsing the second flag. This has been discussed in detail with reference to FIG. 4 , and a detailed description thereof will be omitted.
  • the predicted sample corrector 920 may correct the predicted sample of the current block based on the parameter acquired by the parameter acquirer 910 to obtain a corrected predicted sample.
  • the predicted sample of the current block may be corrected based on at least one of the first to fifth correction methods, which has been reviewed with reference to FIG. 4 , and a detailed description thereof will be omitted herein.
  • the predicted sample correction unit 920 uses index information and merge index information according to Tables 6 to 10. , or at least one of the fourth flags may be used.
  • FIG. 10 illustrates a video encoding method performed by an encoding apparatus according to an embodiment of the present disclosure.
  • the video decoding method discussed with reference to FIG. 4 may be equally/similarly applied to the video encoding method according to the present disclosure, and redundant descriptions will be omitted.
  • a predicted sample of a current block may be obtained (S1000).
  • the prediction sample of the current block may be obtained by inter prediction or intra prediction, or may be obtained based on a combination of inter prediction and intra prediction.
  • parameters for correcting the prediction sample of the current block may be determined (S1010).
  • the parameter is for improving prediction accuracy, and may be referred to as a correction parameter.
  • the correction of the prediction sample may be for compensating for a luminance difference between a reference picture and a current picture to which the current block belongs.
  • the parameter may be referred to as a luminance compensation parameter.
  • the parameter may be determined at the level of at least one of a picture, tile, slice, coding tree unit (CTU), coding unit (CU), or sub-coding unit (sub-CU).
  • CTU coding tree unit
  • CU coding unit
  • sub-CU sub-coding unit
  • the parameter includes at least one of a weight or an offset, and one or more weights and/or weights may be determined to correct one prediction sample.
  • the encoding device may determine an optimal parameter for correcting the predicted sample of the current block and encode it (Example 1-A). That is, the encoded parameter includes at least one of weight information and offset information, which may be included in a bitstream transmitted to the decoding device.
  • the parameters may be derived based on a predetermined reference region (Example 1-B).
  • a method of deriving a parameter based on the reference region has been reviewed with reference to FIG. 4, and a detailed description thereof will be omitted.
  • the parameters may be determined based on a combination of the above-described embodiment 1-A and embodiment 1-B (Example 1-C).
  • a weight may be encoded and inserted into a bitstream according to Embodiment 1-A, and an offset may be derived based on a reference region according to Embodiment 1-B.
  • the weight may be derived based on the reference region according to Embodiment 1-B, and the offset may be encoded and inserted into the bitstream according to Embodiment 1-A.
  • the parameters may include weights and offsets determined according to Embodiments 1-A and 1-B, respectively.
  • any one of the above-described embodiments 1-A to 1-C may be pre-defined in the encoding device, and the parameter may be determined by a method pre-defined in the encoding device.
  • the parameter may be determined by selectively using any one of a plurality of methods pre-defined in the encoding device.
  • the plurality of methods include at least two of the aforementioned embodiments 1-A to 1-C, and flag or index information specifying any one of the plurality of methods may be encoded.
  • At least one of a first flag indicating whether correction of the prediction sample of the current block is available or a second flag indicating whether correction is performed on the prediction sample of the current block may be determined and encoded.
  • the second flag may be encoded only when the first flag indicates that correction of the predicted sample of the current block is available.
  • the first flag may be encoded in at least one level of a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a picture header (PH), or a slice header (SH).
  • the second flag may be coded at at least one level of a coding tree unit (CTU), a coding unit (CU), or a transform unit (TU).
  • CTU coding tree unit
  • CU coding unit
  • TU transform unit
  • the first flag and the second flag may be encoded as shown in Tables 1 and 2 and inserted into a bitstream.
  • the reference region according to embodiment 1-B may be determined based on any one of a plurality of modes pre-defined in an encoding device, and index information specifying one of the plurality of modes may be encoded.
  • the index information may be encoded as shown in Table 3 and inserted into a bitstream.
  • the reference region according to Embodiment 1-B may be determined based on at least two of a plurality of modes pre-defined in an encoding device, and index information specifying at least two of the plurality of modes is respectively encoded. It can be.
  • index information specifying a reference region (or any one mode among a plurality of modes) used to derive the first parameter is encoded and stored in a bitstream. can be inserted.
  • index information specifying a reference region (or any other mode among a plurality of modes) used to derive the second parameter may be encoded and inserted into a bitstream.
  • one syntax in which a second flag indicating whether or not correction is performed on the prediction sample of the current block and index information specifying one of a plurality of modes are merged may be encoded.
  • one of the index entries of the merge index information may indicate that luminance compensation is not applied to the current block, and the remaining index entries may specify one of a plurality of modes. For example, when the value of the merge index information is 0, this may indicate that luminance compensation is not applied to the current block.
  • the merge index information may be encoded as shown in Table 4 and inserted into a bitstream.
  • correction-related information e.g., second flag, index information, merge index information, etc.
  • a third flag indicating whether or not there is a CU for which prediction sample correction is performed may be additionally coded.
  • the third flag may be encoded as shown in Table 5 and inserted into a bitstream.
  • the merge index information may be encoded based on at least one of the first flag and the third flag, as described with reference to Table 6.
  • the aforementioned second flag and index information may be encoded respectively.
  • the second flag can be coded only when the first flag indicates that correction of the prediction sample is available and the third flag indicates that correction of the prediction sample is available for the current slice.
  • the second flag may be coded only when the third flag indicates that prediction sample correction is available for the current slice.
  • whether or not correction is performed on the predicted sample of the current block may be determined based on at least one of the above-described encoding information of the current block, as reviewed with reference to FIG. 4 .
  • the parameter may be adaptively determined.
  • the pre-encoded second flag indicates that correction is performed on the prediction sample of the current block
  • whether or not correction is performed on the prediction sample of the current block based on at least one of the above-described encoding information of the current block may be redetermined.
  • At least one of the aforementioned encoding information may be used as an additional condition for encoding the second flag.
  • the second flag when the size of the current block is greater than or equal to the predetermined threshold size, the second flag may be encoded and inserted into a bitstream, and when the size of the current block is smaller than the predetermined threshold size, the second flag may be encoded. Coding for may be omitted.
  • the second flag when the size of the current block is smaller than or equal to the predetermined threshold size, the second flag may be encoded and inserted into a bitstream, and when the size of the current block is larger than the predetermined threshold size, the second flag Coding may be omitted.
  • the second flag may be encoded and inserted into a bitstream, and the prediction mode of the current block is an intra mode or when intra prediction is partially performed on the current block. , encoding of the second flag may be omitted.
  • the second flag may be encoded and inserted into a bitstream, and when the shape of the current block is MxN non-square, encoding of the second flag is omitted. It can be.
  • the second flag is encoded to form a bitstream can be inserted into
  • a corrected prediction sample may be obtained by correcting the predicted sample of the current block based on the parameter (S1020).
  • the corrected prediction sample may be obtained based on at least one of the first to fifth correction methods.
  • the corrected prediction sample may be obtained by equally applying the parameter to each prediction sample of the current block.
  • corrected prediction samples are obtained by applying the same parameter to prediction samples belonging to some sub-regions among a plurality of sub-regions of the current block, and prediction samples belonging to the remaining sub-regions correction may not be performed.
  • different parameters may be applied to each sample line group of the current block according to the third correction method.
  • a first corrected prediction sample and a second corrected prediction sample are obtained based on the first parameter and the second parameter, respectively, and a final corrected prediction sample is obtained through a weighted sum thereof can
  • the first parameter is derived based on a first reference region determined based on any one of a plurality of modes pre-defined in an encoding device
  • the second parameter is derived based on any other one of the plurality of modes. It may be derived based on the second reference region determined based on the reference region.
  • a plurality of pieces of index information specifying one and the other of the plurality of modes may be encoded and inserted into a bitstream.
  • the plurality of index information may be implicitly derived based on encoding information of the current block and/or neighboring blocks.
  • any one of a plurality of index information may be encoded and inserted into a bitstream, and the other may be implicitly derived based on the encoded index information.
  • the prediction sample may be corrected based on a parameter corresponding to each sub-block of the current block.
  • Correction of the predicted sample of the current block may be performed based on at least one of the first to fifth correction methods described above.
  • correction of the prediction sample of the current block may be selectively performed by using any one of a plurality of correction methods pre-defined in the encoding device.
  • the plurality of correction methods may include at least two of the first to fifth correction methods.
  • Index information specifying one of the plurality of correction methods may be encoded.
  • the index information may be coded as shown in Table 7.
  • merge index information one syntax (hereinafter referred to as merge index information) in which a second flag indicating whether correction is performed on the prediction sample of the current block and index information specifying one of a plurality of correction methods is merged is encoded.
  • the merge index information may be encoded as shown in Table 8.
  • a flag indicating whether the first correction method is used to correct the prediction sample of the current block (hereinafter referred to as a fourth flag) may be additionally encoded.
  • the fourth flag when it is determined that the prediction sample is corrected according to the first correction method, the fourth flag is coded as 0, and it is determined that the prediction sample is corrected according to the Nth correction method.
  • the fourth flag may be coded as 1.
  • the Nth correction method may mean any one of the fifth correction methods within the second.
  • the fourth flag may be encoded as shown in Table 9.
  • one syntax in which a second flag indicating whether luminance compensation is applied to the current block and index information specifying one of a plurality of modes are merged ie, merge index information
  • the merge index information may be encoded as shown in Table 10 and inserted into a bitstream.
  • the current block may be encoded based on the corrected predicted sample of the current block. That is, a residual sample may be obtained through a difference between an original sample of the current block and the corrected prediction sample, and a bitstream may be generated by encoding the residual sample.
  • FIG. 11 illustrates a schematic configuration of a predictor 220 performing a video encoding method according to an embodiment of the present disclosure.
  • the prediction unit 220 may include a prediction sample acquisition unit 1100, a parameter determination unit 1110, and a prediction sample correction unit 1120. This may be configured in the inter prediction unit 221 or the intra prediction unit 222 of the encoding device.
  • the prediction sample acquisition unit 1100 may obtain a prediction sample of the current block.
  • the prediction sample may be obtained based on at least one of inter prediction and intra prediction.
  • the parameter determiner 1110 may determine a parameter for correcting the predicted sample of the current block.
  • the parameter is for improving prediction accuracy, and may be referred to as a correction parameter.
  • the correction of the prediction sample may be for compensating for a luminance difference between a reference picture and a current picture to which the current block belongs.
  • the parameter may be referred to as a luminance compensation parameter.
  • the parameter determiner 1110 may determine the parameter at the level of at least one of a picture, a tile, a slice, a coding tree unit (CTU), a coding unit (CU), or a sub-coding unit (sub-CU). In addition, as reviewed with reference to FIG. 10 , the parameter determiner 1110 may determine the parameter based on at least one of Embodiments 1-A to 1-C, and a detailed description thereof will be omitted herein. .
  • the parameter determiner 1110 may determine at least one of a first flag indicating whether correction of the prediction sample of the current block is available or a second flag indicating whether correction is performed on the prediction sample of the current block. there is.
  • the entropy encoding unit 240 may encode the determined first flag and/or second flag. In this case, the second flag may be coded only when the first flag indicates that correction of the predicted sample of the current block is available.
  • the parameter determiner 1110 may determine a reference region based on any one of a plurality of modes pre-defined in an encoding device, and the entropy encoding unit 240 may select one of the plurality of modes. Specific index information can be encoded. Alternatively, the parameter determiner 1110 may determine the reference region based on at least two of a plurality of modes pre-defined in the encoding device, and the entropy encoder 240 may determine at least two of the plurality of modes. Index information specifying the two may be encoded respectively. For example, when the above-described variation-based luminance compensation method is used, index information specifying a reference region (or one of a plurality of modes) used to derive the first parameter may be encoded. Additionally, index information specifying a reference region (or any other mode among a plurality of modes) used to derive the second parameter may be encoded.
  • the parameter determiner 1110 generates a syntax (hereinafter, merged index information) in which a second flag indicating whether correction is performed on the prediction sample of the current block and index information specifying one of a plurality of modes are merged. ) may be determined, and the entropy encoding unit 240 may encode the merge index information.
  • merged index information a syntax in which a second flag indicating whether correction is performed on the prediction sample of the current block and index information specifying one of a plurality of modes are merged.
  • the parameter determiner 1110 may additionally determine a third flag indicating whether there is a CU for which prediction sample correction is performed at a higher level such as a slice or a picture, and the entropy encoder 240 may determine the The determined third flag may be additionally encoded. Also, when the third flag is encoded, the entropy encoding unit 240 may encode the merge index information based on at least one of the first flag and the third flag.
  • the parameter determination unit 1110 may determine the aforementioned second flag and index information instead of the merge index information, and the entropy encoding unit 240 may encode the determined second flag and index information, respectively. .
  • the parameter determiner 1110 may determine whether correction is performed on the prediction sample of the current block based on at least one of the above-described encoding information of the current block.
  • the parameter determiner 1110 may adaptively determine the parameter based on the determination result.
  • the parameter determiner 1110 determines the prediction sample of the current block based on at least one of the above-described encoding information of the current block even when the pre-determined second flag indicates that correction is performed on the prediction sample of the current block. It may be re-determined whether a correction is performed.
  • the parameter determiner 1110 may adaptively determine the second flag by using at least one of the above-described encoding information as an additional condition, and the entropy encoder 240 may perform the determined second flag can be encoded. This has been reviewed with reference to FIG. 10, and a detailed description thereof will be omitted.
  • the predicted sample corrector 1120 may correct the predicted sample of the current block based on the parameter determined by the parameter determiner 1110 to obtain a corrected predicted sample.
  • the prediction sample of the current block may be corrected based on at least one of the first to fifth correction methods, which has been reviewed with reference to FIG. 10, and detailed description thereof will be omitted herein.
  • the predicted sample corrector 1120 may correct the predicted sample of the current block by selectively using any one of a plurality of correction methods pre-defined in the encoding device. To this end, the predicted sample correction unit 1120 may determine a correction method applied to the current block from among a plurality of pre-defined correction methods, and the entropy encoding unit 240 may determine an index corresponding to the determined correction method. information can be encoded.
  • the predicted sample correction unit 1120 generates a syntax (hereinafter, merged index) in which a second flag indicating whether or not correction is performed on the predicted sample of the current block and index information specifying one of a plurality of correction methods are merged. information) may be determined, and the entropy encoding unit 240 may encode the determined merge index information.
  • the parameter determiner 1110 may be provided inside the predicted sample corrector 1120, and the predicted sample corrector 1120 may determine the parameter.
  • the predicted sample correction unit 1120 may determine a fourth flag indicating whether the first correction method is used to correct the predicted sample of the current block, and the entropy encoding unit 240 may determine the determined fourth flag. can be coded.
  • the above-described method according to the embodiments of this document may be implemented in the form of software, and the encoding device and/or decoding device according to this document may be used to display images of, for example, a TV, computer, smartphone, set-top box, display device, etc. It can be included in the device that performs the processing.
  • a module can be stored in memory and executed by a processor.
  • the memory may be internal or external to the processor, and may be coupled with the processor in a variety of well-known means.
  • a processor may include an application-specific integrated circuit (ASIC), other chipsets, logic circuits, and/or data processing devices.
  • Memory may include read-only memory (ROM), random access memory (RAM), flash memory, memory cards, storage media, and/or other storage devices. That is, the embodiments described in this document may be implemented and performed on a processor, microprocessor, controller, or chip. For example, functional units shown in each drawing may be implemented and performed on a computer, processor, microprocessor, controller, or chip. In this case, information for implementation (eg, information on instructions) or an algorithm may be stored in a digital storage medium.
  • a decoding device and an encoding device to which the embodiment(s) of the present specification are applied may be used in a multimedia broadcasting transceiving device, a mobile communication terminal, a home cinema video device, a digital cinema video device, a surveillance camera, a video conversation device, and a video communication device.
  • Real-time communication device mobile streaming device, storage medium, camcorder, video-on-demand (VoD) service providing device, OTT video (Over the top video) device, Internet streaming service providing device, 3D (3D) video device, VR (virtual reality) ) device, AR (argumente reality) device, video phone video device, transportation terminal (ex.
  • OTT video devices may include game consoles, Blu-ray players, Internet-connected TVs, home theater systems, smart phones, tablet PCs, digital video recorders (DVRs), and the like.
  • the processing method to which the embodiment (s) of the present specification is applied may be produced in the form of a program executed by a computer and stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to the embodiment(s) of the present specification may also be stored in a computer-readable recording medium.
  • the computer-readable recording medium includes all types of storage devices and distributed storage devices in which computer-readable data is stored.
  • the computer-readable recording medium includes, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical A data storage device may be included.
  • the computer-readable recording medium includes media implemented in the form of a carrier wave (eg, transmission through the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • embodiment(s) of the present specification may be implemented as a computer program product using program codes, and the program code may be executed on a computer by the embodiment(s) of the present specification.
  • the program code may be stored on a carrier readable by a computer.
  • FIG. 12 shows an example of a content streaming system to which embodiments of the present disclosure may be applied.
  • a content streaming system to which the embodiment(s) of the present specification is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server compresses content input from multimedia input devices such as smart phones, cameras, camcorders, etc. into digital data to generate a bitstream and transmits it to the streaming server.
  • multimedia input devices such as smart phones, cameras, and camcorders directly generate bitstreams
  • the encoding server may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which the embodiment(s) of the present specification is applied, and the streaming server temporarily stores the bitstream in a process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to a user device based on a user request through a web server, and the web server serves as a medium informing a user of what kind of service is available.
  • the web server transmits the request to the streaming server, and the streaming server transmits multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server serves to control commands/responses between devices in the content streaming system.
  • the streaming server may receive content from a media storage and/or encoding server. For example, when content is received from the encoding server, the content can be received in real time. In this case, in order to provide smooth streaming service, the streaming server may store the bitstream for a certain period of time.
  • Examples of the user devices include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, slate PCs, Tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass, HMD (head mounted display)), digital TV, desktop There may be computers, digital signage, and the like.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • navigation devices slate PCs
  • Tablet PC ultrabook
  • wearable device e.g., smartwatch, smart glass, HMD (head mounted display)
  • digital TV desktop There may be computers, digital signage, and the like.
  • Each server in the content streaming system may be operated as a distributed server, and in this case, data received from each server may be distributed and processed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시에 따른 영상 디코딩/인코딩 방법 및 장치는, 현재 블록의 예측 샘플을 획득하고, 디코딩/인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여 현재 블록에 대한 참조 영역을 결정하며, 현재 블록에 대한 참조 영역에 기초하여 현재 블록의 예측 샘플을 보정하기 위한 파라미터를 유도하고, 파라미터에 기초하여 현재 블록의 예측 샘플을 보정할 수 있다.

Description

영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
본 발명은 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있고, 이에 따라 고효율의 영상 압축 기술들이 논의되고 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 샘플값을 예측하는 인터 예측 기술, 현재 픽쳐 내의 샘플 도 정보를 이용하여 현재 픽쳐에 포함된 샘플값을 예측하는 인트라 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 개시는, 예측/복원 샘플의 보정을 위한 파라미터를 결정하는 방법 및 장치를 제공하고자 한다.
본 개시는, 파라미터를 유도하기 위한 참조 영역을 결정하는 방법 및 장치를 제공하고자 한다.
본 개시는, 참조 영역 내의 일부 샘플을 선택적으로 이용하기 위한 방법 및 장치를 제공하고자 한다.
본 개시는, 파라미터를 기반으로 예측/복원 샘플을 보정하는 방법 및 장치를 제공하고자 한다.
본 개시는, 예측/복원 샘플의 보정 관련 정보를 시그날링하는 방법 및 장치를 제공하고자 한다.
본 개시는, 예측/복원 샘플의 보정 여부에 관한 정보 및/또는 파라미터를 유도하기 위해 이용된 모드가 전파되는 방법 및 장치를 제공하고자 한다.
본 개시에 따른 영상 디코딩 방법 및 장치는, 현재 블록의 예측 샘플을 획득하고, 디코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여, 상기 현재 블록에 대한 제1 참조 영역을 결정하며, 상기 현재 블록에 대한 제1 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제1 파라미터를 유도하고, 상기 제1 파라미터에 기초하여 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 복수의 모드들은, 상기 현재 블록의 상단 주변 영역과 좌측 주변 영역이 상기 참조 영역으로 이용되는 제1 모드, 상기 현재 블록의 좌측 주변 영역이 상기 참조 영역으로 이용되는 제2 모드, 또는 상기 현재 블록의 상단 주변 영역이 상기 참조 영역으로 이용되는 제3 모드 중 적어도 둘을 포함할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 제2 모드의 상기 좌측 주변 영역은, 상기 현재 블록에 인접하지 않은 샘플 라인을 포함하고, 상기 제3 모드의 상기 상단 주변 영역은, 상기 현재 블록에 인접하지 않은 샘플 라인을 포함할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 복수의 모드들은, 상기 현재 블록에 인접한 제1 샘플 라인이 상기 참조 영역으로 이용되는 제1 모드, 상기 현재 블록에 인접하지 않고 상기 제1 샘플 라인에 인접한 제2 샘플 라인이 상기 참조 영역으로 이용되는 제2 모드, 또는 상기 현재 블록에 인접하지 않고 상기 제2 샘플 라인에 인접한 제3 샘플 라인이 상기 참조 영역으로 이용되는 제3 모드 중 적어도 둘을 포함할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 복수의 모드들 중 상기 어느 하나는, 상기 현재 블록에 인접한 주변 블록의 부호화 정보에 기초하여 결정되고, 상기 부호화 정보는, 양자화 파라미터, 예측 모드, 또는 움직임 정보 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 제1 파라미터는, 상기 참조 영역에 속한 샘플들 중에서 선택된 하나 또는 그 이상의 샘플들에 기초하여 유도되고, 상기 하나 또는 그 이상의 샘플들은, 상기 현재 블록의 크기, 상기 참조 영역에 대한 서브-샘플링, 또는 상기 참조 영역에 속한 샘플들의 대표 샘플 중 적어도 하나에 기초하여 선택될 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치는, 상기 복수의 모드들 중 다른 어느 하나에 기초하여, 상기 현재 블록에 대한 추가적인 참조 영역을 결정하고, 상기 현재 블록에 대한 추가적인 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제2 파라미터를 유도하며, 상기 제1 파라미터와 상기 제2 파라미터에 기초하여, 상기 현재 블록에 적용되는 최종 파라미터를 유도할 수 있다. 여기서, 상기 보정된 예측 샘플은, 상기 최종 파라미터를 상기 예측 샘플에 적용하여 획득될 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 현재 블록 내에서 상기 제1 파라미터가 적용되는 영역은, 상기 디코딩 장치에 기-정의된 하나 또는 그 이상의 타입들에 기초하여 결정될 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 하나 또는 그 이상의 타입들은, 상기 제1 파라미터가 적용되는 영역이 상기 현재 블록과 동일한 크기를 갖는 제1 타입, 상기 제1 파라미터가 적용되는 영역이 수평 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제2 타입, 상기 제1 파라미터가 적용되는 영역이 수직 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제3 타입, 상기 제1 파라미터가 적용되는 영역이 상기 현재 블록 내 우하단 서브 영역을 제외한 영역인 제4 타입, 또는 상기 제1 파라미터가 적용되는 영역이 소정의 각도를 가진 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제5 타입 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치에 있어서, 상기 현재 블록 내에서 상기 제1 파라미터가 적용되는 영역은, 상기 현재 블록 또는 상기 현재 블록에 인접한 주변 블록 중 적어도 하나의 부호화 정보를 기반으로 결정되고, 상기 부호화 정보는, 양자화 파라미터, 예측 모드, 또는 움직임 정보 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 영상 디코딩 방법 및 장치는, 상기 현재 블록의 인터 예측 모드에 기초하여 상기 현재 블록의 머지 후보 리스트를 구성하고, 상기 머지 후보 리스트로부터 선택된 어느 하나의 후보에 기초하여, 상기 현재 블록의 움직임 정보를 유도할 수 있다. 여기서, 상기 예측 샘플을 보정할지 여부는, 상기 현재 블록의 인터 예측 모드 또는 상기 선택된 어느 하나의 후보에 기초하여 결정될 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치는, 현재 블록의 예측 샘플을 획득하고, 인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여, 상기 현재 블록에 대한 제1 참조 영역을 결정하며, 상기 현재 블록에 대한 제1 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제1 파라미터를 유도하고, 상기 제1 파라미터에 기초하여 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 복수의 모드들은, 상기 현재 블록의 상단 주변 영역과 좌측 주변 영역이 상기 참조 영역으로 이용되는 제1 모드, 상기 현재 블록의 좌측 주변 영역이 상기 참조 영역으로 이용되는 제2 모드, 또는 상기 현재 블록의 상단 주변 영역이 상기 참조 영역으로 이용되는 제3 모드 중 적어도 둘을 포함할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 제2 모드의 상기 좌측 주변 영역은, 상기 현재 블록에 인접하지 않은 샘플 라인을 포함하고, 상기 제3 모드의 상기 상단 주변 영역은, 상기 현재 블록에 인접하지 않은 샘플 라인을 포함할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 복수의 모드들은, 상기 현재 블록에 인접한 제1 샘플 라인이 상기 참조 영역으로 이용되는 제1 모드, 상기 현재 블록에 인접하지 않고 상기 제1 샘플 라인에 인접한 제2 샘플 라인이 상기 참조 영역으로 이용되는 제2 모드, 또는 상기 현재 블록에 인접하지 않고 상기 제2 샘플 라인에 인접한 제3 샘플 라인이 상기 참조 영역으로 이용되는 제3 모드 중 적어도 둘을 포함할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 복수의 모드들 중 상기 어느 하나는, 상기 현재 블록에 인접한 주변 블록의 부호화 정보에 기초하여 결정되고, 상기 부호화 정보는, 양자화 파라미터, 예측 모드, 또는 움직임 정보 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 제1 파라미터는, 상기 참조 영역에 속한 샘플들 중에서 선택된 하나 또는 그 이상의 샘플들에 기초하여 유도되고, 상기 하나 또는 그 이상의 샘플들은, 상기 현재 블록의 크기, 상기 참조 영역에 대한 서브-샘플링, 또는 상기 참조 영역에 속한 샘플들의 대표 샘플 중 적어도 하나에 기초하여 선택될 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치는, 상기 복수의 모드들 중 다른 어느 하나에 기초하여, 상기 현재 블록에 대한 추가적인 참조 영역을 결정하고, 상기 현재 블록에 대한 추가적인 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제2 파라미터를 유도하며, 상기 제1 파라미터와 상기 제2 파라미터에 기초하여, 상기 현재 블록에 적용되는 최종 파라미터를 유도할 수 있다. 여기서, 상기 보정된 예측 샘플은, 상기 최종 파라미터를 상기 예측 샘플에 적용하여 획득될 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 현재 블록 내에서 상기 제1 파라미터가 적용되는 영역은, 상기 인코딩 장치에 기-정의된 하나 또는 그 이상의 타입들에 기초하여 결정될 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 하나 또는 그 이상의 타입들은, 상기 제1 파라미터가 적용되는 영역이 상기 현재 블록과 동일한 크기를 갖는 제1 타입, 상기 제1 파라미터가 적용되는 영역이 수평 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제2 타입, 상기 제1 파라미터가 적용되는 영역이 수직 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제3 타입, 상기 제1 파라미터가 적용되는 영역이 상기 현재 블록 내 우하단 서브 영역을 제외한 영역인 제4 타입, 또는 상기 제1 파라미터가 적용되는 영역이 소정의 각도를 가진 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제5 타입 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치에 있어서, 상기 현재 블록 내에서 상기 제1 파라미터가 적용되는 영역은, 상기 현재 블록 또는 상기 현재 블록에 인접한 주변 블록 중 적어도 하나의 부호화 정보를 기반으로 결정되고, 상기 부호화 정보는, 양자화 파라미터, 예측 모드, 또는 움직임 정보 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 영상 인코딩 방법 및 장치는, 상기 현재 블록의 인터 예측 모드에 기초하여 상기 현재 블록의 머지 후보 리스트를 구성하고, 상기 머지 후보 리스트로부터 선택된 어느 하나의 후보에 기초하여, 상기 현재 블록의 움직임 정보를 유도할 수 있다. 여기서, 상기 예측 샘플을 보정할지 여부는, 상기 현재 블록의 인터 예측 모드 또는 상기 선택된 어느 하나의 후보에 기초하여 결정될 수 있다.
본 개시에 따른 영상 정보에 대한 데이터를 전송하는 방법 및 장치는, 현재 블록의 예측 샘플을 획득하고, 인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여, 상기 현재 블록에 대한 제1 참조 영역을 결정하며, 상기 현재 블록에 대한 제1 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제1 파라미터를 유도하고, 상기 제1 파라미터에 기초하여 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득하며, 상기 보정된 예측 샘플을 기반으로 상기 현재 블록을 부호화하여 비트스트림을 생성하고, 상기 비트스트림을 포함한 데이터를 전송할 수 있다.
본 개시에 따른 디코딩 장치에 의하여 영상 디코딩 방법을 수행하도록 야기하는 인코딩된 비디오/영상 정보가 저장된 컴퓨터 판독 가능한 디지털 저장 매체가 제공된다.
본 개시에 따른 영상 인코딩 방법에 따라 생성된 비디오/영상 정보가 저장된 컴퓨터 판독 가능한 디지털 저장 매체가 제공된다.
본 개시에 따르면, 예측/복원 샘플의 보정을 위한 파라미터를 효율적으로 결정하고, 이를 통해 보정의 정확도를 향상시킬 수 있다.
본 개시에 따르면, 파라미터를 유도하기 위한 참조 영역을 적응적으로 이용함으로써, 영상 코딩의 효율이 향상될 수 있다.
본 개시에 따르면, 참조 영역 내의 일부 샘플을 선택적으로 이용함으로써, 연산 및 구현의 복잡도를 줄이고, 코딩 효율이 향상될 수 있다.
본 개시에 따르면, 파라미터를 기반으로 예측/복원 샘플을 보정함으로써, 예측/복원의 정확도를 높이고, 레지듀얼 신호를 줄일 수 있다.
본 개시에 따르면, 예측/복원 샘플의 보정 관련 정보를 효율적으로 시그날링할 수 있다.
본 개시에 따르면, 예측/복원 샘플의 보정 여부와 파라미터를 유도하기 위해 이용된 모드를 효율적으로 결정할 수 있다.
도 1은 본 개시에 따른 비디오/영상 코딩 시스템을 도시한 것이다.
도 2는 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다.
도 3은 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다.
도 4는 본 개시의 일실시예에 따른 디코딩 장치에 의해 수행되는 영상 디코딩 방법을 도시한 것이다.
도 5 및 도 6은 본 개시의 일실시예에 따른 파라미터를 유도하기 위해 선택된 참조 영역 내 샘플의 위치를 도시한 것이다.
도 7은 본 개시의 일실시예에 따른 복수의 모드들에 대한 파라미터를 유도하기 위해 선택된 참조 영역 내 샘플의 위치를 도시한 것이다.
도 8은 본 개시의 일실시예에 따른 예측 샘플을 보정하는 방법을 도시한 것이다.
도 9는 본 개시의 일실시예에 따른 영상 디코딩 방법을 수행하는 예측부(330)의 개략적인 구성을 도시한 것이다.
도 10은 본 개시의 일실시예에 따른 인코딩 장치에 의해 수행되는 영상 인코딩 방법을 도시한 것이다.
도 11은 본 개시의 일실시예에 따른 영상 인코딩 방법을 수행하는 예측부(220)의 개략적인 구성을 도시한 것이다.
도 12는 본 개시의 실시예들이 적용될 수 있는 컨텐츠 스트리밍 시스템의 예를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시는 비디오/영상 코딩에 관한 것이다. 예를 들어, 본 명세서에서 개시된 방법/실시예는 VVC (versatile video coding) 표준에 개시되는 방법에 적용될 수 있다. 또한, 이 명세서에서 개시된 방법/실시예는 EVC (essential video coding) 표준, AV1 (AOMedia Video 1) 표준, AVS2 (2nd generation of audio video coding standard) 또는 차세대 비디오/영상 코딩 표준(ex. H.267 or H.268 등)에 개시되는 방법에 적용될 수 있다.
이 명세서는 비디오/영상 코딩에 관한 다양한 실시예들을 제시하며, 다른 언급이 없는 한 상기 실시예들은 서로 조합되어 수행될 수도 있다.
이 명세서에서 비디오(video)는 시간의 흐름에 따른 일련의 영상(image)들의 집합을 의미할 수 있다. 픽쳐(picture)는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)/타일(tile)은 코딩에 있어서 픽쳐의 일부를 구성하는 단위이다. 슬라이스/타일은 하나 이상의 CTU(coding tree unit)을 포함할 수 있다. 하나의 픽쳐는 하나 이상의 슬라이스/타일로 구성될 수 있다. 하나의 타일은 하나의 픽쳐의 특정 타일 열과 특정 타일 행 내에 있는 복수의 CTU들로 구성된 직사각형 영역이다. 타일 열은 픽쳐의 높이와 동일한 높이와 픽쳐 파라미터 세트의 신택스 요구에 의해 지정된 너비를 갖는 CTU들의 직사각형 영역이다. 타일 행은 픽쳐 파라미터 세트에 의해 지정된 높이와 픽쳐의 너비와 동일한 너비를 갖는 CTU들의 직사각형 영역이다. 하나의 타일 내에 CTU들은 CTU 래스터 스캔에 따라 연속적으로 배열되는 반면, 하나의 픽쳐 내 타일들은 타일의 래스터 스캔에 따라 연속적으로 배열될 수 있다. 하나의 슬라이스는 단일 NAL 유닛에 배타적으로 포함될 수 있는 픽쳐의 타일 내에서 정수 개수의 완전한 타일 또는 정수 개수의 연속적인 완전한 CTU 행을 포함할 수 있다. 한편, 하나의 픽쳐는 둘 이상의 서브픽쳐로 구분될 수 있다. 서브픽쳐는 픽쳐 내 하나 이상의 슬라이스들의 직사각형 영역일 수 있다.
샘플, 픽셀(pixel) 또는 펠(pel)은 하나의 픽쳐(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 색차(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낼 수 있다. 유닛은 픽쳐의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 하나의 유닛은 하나의 루마 블록 및 두개의 크로마(ex. cb, cr) 블록을 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들(또는 샘플 어레이) 또는 변환 계수(transform coefficient)들의 집합(또는 어레이)을 포함할 수 있다.
본 명세서에서 "A 또는 B(A or B)"는 "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 달리 표현하면, 본 명세서에서 "A 또는 B(A or B)"는 "A 및/또는 B(A and/or B)"으로 해석될 수 있다. 예를 들어, 본 명세서에서 "A, B 또는 C(A, B or C)"는 "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다.
본 명세서에서 사용되는 슬래쉬(/)나 쉼표(comma)는 "및/또는(and/or)"을 의미할 수 있다. 예를 들어, "A/B"는 "A 및/또는 B"를 의미할 수 있다. 이에 따라 "A/B"는 "오직 A", "오직 B", 또는 "A와 B 모두"를 의미할 수 있다. 예를 들어, "A, B, C"는 "A, B 또는 C"를 의미할 수 있다.
본 명세서에서 "적어도 하나의 A 및 B(at least one of A and B)"는, "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 또한, 본 명세서에서 "적어도 하나의 A 또는 B(at least one of A or B)"나 "적어도 하나의 A 및/또는 B(at least one of A and/or B)"라는 표현은 "적어도 하나의 A 및 B(at least one of A and B)"와 동일하게 해석될 수 있다.
또한, 본 명세서에서 "적어도 하나의 A, B 및 C(at least one of A, B and C)"는, "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다. 또한, "적어도 하나의 A, B 또는 C(at least one of A, B or C)"나 "적어도 하나의 A, B 및/또는 C(at least one of A, B and/or C)"는 "적어도 하나의 A, B 및 C(at least one of A, B and C)"를 의미할 수 있다.
또한, 본 명세서에서 사용되는 괄호는 "예를 들어(for example)"를 의미할 수 있다. 구체적으로, "예측(인트라 예측)"로 표시된 경우, "예측"의 일례로 "인트라 예측"이 제안된 것일 수 있다. 달리 표현하면 본 명세서의 "예측"은 "인트라 예측"으로 제한(limit)되지 않고, "인트라 예측"이 "예측"의 일례로 제안될 것일 수 있다. 또한, "예측(즉, 인트라 예측)"으로 표시된 경우에도, "예측"의 일례로 "인트라 예측"이 제안된 것일 수 있다.
본 명세서에서 하나의 도면 내에서 개별적으로 설명되는 기술적 특징은, 개별적으로 구현될 수도 있고, 동시에 구현될 수도 있다.
도 1은 본 개시에 따른 비디오/영상 코딩 시스템을 도시한 것이다.
도 1을 참조하면, 비디오/영상 코딩 시스템은 제1 장치(소스 디바이스) 및 제2 장치(수신 디바이스)를 포함할 수 있다.
소스 디바이스는 인코딩된 비디오(video)/영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스로 전달할 수 있다. 상기 소스 디바이스는 비디오 소스, 인코딩 장치, 전송부를 포함할 수 있다. 상기 수신 디바이스는 수신부, 디코딩 장치 및 렌더러를 포함할 수 있다. 상기 인코딩 장치는 비디오/영상 인코딩 장치라고 불릴 수 있고, 상기 디코딩 장치는 비디오/영상 디코딩 장치라고 불릴 수 있다. 송신기는 인코딩 장치에 포함될 수 있다. 수신기는 디코딩 장치에 포함될 수 있다. 렌더러는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
인코딩 장치는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.
전송부는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 수신부는 상기 비트스트림을 수신/추출하여 디코딩 장치로 전달할 수 있다.
디코딩 장치는 인코딩 장치의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 디코딩할 수 있다.
렌더러는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
도 2는 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 인코딩 장치(200)는 영상 분할부(image partitioner, 210), 예측부(predictor, 220), 레지듀얼 처리부(residual processor, 230), 엔트로피 인코딩부(entropy encoder, 240), 가산부(adder, 250), 필터링부(filter, 260) 및 메모리(memory, 270)를 포함하여 구성될 수 있다. 예측부(220)는 인터 예측부(221) 및 인트라 예측부(222)를 포함할 수 있다. 레지듀얼 처리부(230)는 변환부(transformer, 232), 양자화부(quantizer 233), 역양자화부(dequantizer 234), 역변환부(inverse transformer, 235)를 포함할 수 있다. 레지듀얼 처리부(230)은 감산부(subtractor, 231)를 더 포함할 수 있다. 가산부(250)는 복원부(reconstructor) 또는 복원 블록 생성부(recontructged block generator)로 불릴 수 있다. 상술한 영상 분할부(210), 예측부(220), 레지듀얼 처리부(230), 엔트로피 인코딩부(240), 가산부(250) 및 필터링부(260)는 실시예에 따라 하나 이상의 하드웨어 컴포넌트(예를 들어 인코더 칩셋 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(270)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구성될 수도 있다. 상기 하드웨어 컴포넌트는 메모리(270)을 내/외부 컴포넌트로 더 포함할 수도 있다.
영상 분할부(210)는 인코딩 장치(200)에 입력된 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 상기 처리 유닛은 코딩 유닛(coding unit, CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBTTT (Quad-tree binary-tree ternary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다.
예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조, 및/또는 터너리 구조를 기반으로 하위(deeper) 뎁스를 가진 복수의 코딩 유닛들로 분할될 수 있다. 이 경우, 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조 및/또는 터너리 구조가 나중에 적용될 수 있다. 또는, 바이너리 트리 구조가 쿼드 트리 구조보다 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 명세서에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 하위 뎁스의 코딩 유닛들로 분할되어, 최적의 크기를 가진 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서, 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다.
다른 예로, 상기 처리 유닛은 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)을 더 포함할 수 있다. 이 경우, 상기 예측 유닛 및 상기 변환 유닛은 각각 상술한 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 색차(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다. 샘플은 하나의 픽쳐(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.
인코딩 장치(200)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부(221) 또는 인트라 예측부(222)로부터 출력된 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있고, 생성된 레지듀얼 신호는 변환부(232)로 전송된다. 이 경우, 인코딩 장치(200) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(231)라고 불릴 수 있다.
예측부(220)는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록(predicted block)을 생성할 수 있다. 예측부(220)는 현재 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부(220)는 각 예측 모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보 등 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(240)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(240)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
인트라 예측부(222)는 현재 픽쳐 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 현재 블록으로부터 일정 거리만큼 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 하나 이상의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는, DC 모드 또는 플래너 모드(Planar 모드) 중 적어도 하나를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 33개의 방향성 모드 또는 65개의 방향성 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 모드들이 사용될 수 있다. 인트라 예측부(222)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(221)는 참조 픽쳐 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해, 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향 정보(L0 예측, L1 예측, Bi 예측 등)를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽쳐 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽쳐에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 참조 블록을 포함하는 참조 픽쳐와 상기 시간적 주변 블록을 포함하는 참조 픽쳐는 동일할 수도 있고, 다를 수도 있다. 상기 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 상기 시간적 주변 블록을 포함하는 참조 픽쳐는 동일 위치 픽쳐(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 인터 예측부(221)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 상기 현재 블록의 움직임 벡터 및/또는 참조 픽쳐 인덱스를 유도하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어, 스킵 모드와 머지 모드의 경우에, 인터 예측부(221)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)을 시그날링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.
예측부(220)는 후술하는 다양한 예측 방법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 이는 combined inter and intra prediction (CIIP) 모드라고 불릴 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 인트라 블록 카피(intra block copy, IBC) 예측 모드에 기반할 수도 있고 또는 팔레트 모드(palette mode)에 기반할 수도 있다. 상기 IBC 예측 모드 또는 팔레트 모드는 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 기본적으로 현재 픽쳐 내에서 예측을 수행하나, 현재 픽쳐 내에서 참조 블록을 유도하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 명세서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다. 팔레트 모드는 인트라 코딩 또는 인트라 예측의 일 예로 볼 수 있다. 팔레트 모드가 적용되는 경우 팔레트 테이블 및 팔레트 인덱스에 관한 정보를 기반으로 픽쳐 내 샘플 값을 시그날링할 수 있다. 상기 예측부(220)를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나, 레지듀얼 신호를 생성하기 위해 이용될 수 있다.
변환부(232)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)를 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때, 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀를 이용하여 예측 신호를 생성하고, 그에 기초하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
양자화부(233)는 변환 계수들을 양자화하여 엔트로피 인코딩부(240)로 전송되고, 엔트로피 인코딩부(240)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 상기 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(233)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 상기 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다.
엔트로피 인코딩부(240)는 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(240)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예컨대, 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다.
인코딩된 정보(ex. 인코딩된 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽쳐 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한, 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)을 더 포함할 수 있다. 본 명세서에서 인코딩 장치에서 디코딩 장치로 전달/시그날링되는 정보 및/또는 신택스 요소들은 비디오/영상 정보에 포함될 수 있다. 상기 비디오/영상 정보는 상술한 인코딩 절차를 통하여 인코딩되어 상기 비트스트림에 포함될 수 있다. 상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서, 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(240)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(200)의 내/외부 엘리먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(240)에 포함될 수도 있다.
양자화부(233)로부터 출력된 양자화된 변환 계수들은 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 역양자화부(234) 및 역변환부(235)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호(레지듀얼 블록 or 레지듀얼 샘플들)를 복원할 수 있다. 가산부(250)는 복원된 레지듀얼 신호를 인터 예측부(221) 또는 인트라 예측부(222)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽쳐, 복원 블록, 복원 샘플 어레이)가 생성될 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(250)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽쳐 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽쳐의 인터 예측을 위하여 사용될 수도 있다. 한편, 픽쳐 인코딩 및/또는 복원 과정에서 LMCS (luma mapping with chroma scaling)가 적용될 수도 있다.
필터링부(260)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어, 필터링부(260)은 복원 픽쳐에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽쳐를 생성할 수 있고, 상기 수정된 복원 픽쳐를 메모리(270), 구체적으로 메모리(270)의 DPB에 저장할 수 있다. 상기 다양한 필터링 방법은, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다. 필터링부(260)은 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(240)로 전달할 수 있다. 필터링 관한 정보는 엔트로피 인코딩부(240)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
메모리(270)에 전송된 수정된 복원 픽쳐는 인터 예측부(221)에서 참조 픽쳐로 사용될 수 있다. 인코딩 장치는 이를 통하여 인터 예측이 적용되는 경우, 인코딩 장치(200)와 디코딩 장치에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다.
메모리(270)의 DPB는 수정된 복원 픽쳐를 인터 예측부(221)에서의 참조 픽쳐로 사용하기 위해 저장할 수 있다. 메모리(270)는 현재 픽쳐 내 움직임 정보가 유도된(또는 인코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽쳐 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(221)에 전달할 수 있다. 메모리(270)는 현재 픽쳐 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(222)에 전달할 수 있다.
도 3은 본 개시의 실시예가 적용될 수 있고, 비디오/영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 디코딩 장치(300)는 엔트로피 디코딩부(entropy decoder, 310), 레지듀얼 처리부(residual processor, 320), 예측부(predictor, 330), 가산부(adder, 340), 필터링부(filter, 350) 및 메모리(memoery, 360)를 포함하여 구성될 수 있다. 예측부(330)는 인터 예측부(331) 및 인트라 예측부(332)를 포함할 수 있다. 레지듀얼 처리부(320)는 역양자화부(dequantizer, 321) 및 역변환부(inverse transformer, 321)를 포함할 수 있다.
상술한 엔트로피 디코딩부(310), 레지듀얼 처리부(320), 예측부(330), 가산부(340) 및 필터링부(350)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 칩셋 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(360)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구성될 수도 있다. 상기 하드웨어 컴포넌트는 메모리(360)을 내/외부 컴포넌트로 더 포함할 수도 있다.
비디오/영상 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(300)는 도 2의 인코딩 장치에서 비디오/영상 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(300)는 상기 비트스트림으로부터 획득한 블록 분할 관련 정보를 기반으로 유닛들/블록들을 유도할 수 있다. 디코딩 장치(300)는 인코딩 장치에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서, 디코딩의 처리 유닛은 코딩 유닛일 수 있고, 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조 및/또는 터너리 트리 구조에 따라서 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 분할된 것일 수 있다. 코딩 유닛으로부터 하나 이상의 변환 유닛이 유도될 수 있다. 그리고, 디코딩 장치(300)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.
디코딩 장치(300)는 도 2의 인코딩 장치로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(310)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(310)는 상기 비트스트림을 파싱하여 영상 복원(또는 픽쳐 복원)에 필요한 정보(ex. 비디오/영상 정보)를 유도할 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽쳐 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)을 더 포함할 수 있다. 디코딩 장치는 상기 파라미터 세트에 관한 정보 및/또는 상기 일반 제한 정보를 더 기반으로 픽쳐를 디코딩할 수 있다. 본 명세서에서 후술되는 시그날링/수신되는 정보 및/또는 신택스 요소들은 상기 디코딩 절차를 통하여 디코딩되어 상기 비트스트림으로부터 획득될 수 있다. 예컨대, 엔트로피 디코딩부(310)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 요소의 값, 레지듀얼에 관한 변환 계수의 양자화된 값들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(310)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(332) 및 인트라 예측부(331))로 제공되고, 엔트로피 디코딩부(310)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 레지듀얼 처리부(320)로 입력될 수 있다. 레지듀얼 처리부(320)는 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플들, 레지듀얼 샘플 어레이)를 유도할 수 있다. 또한, 엔트로피 디코딩부(310)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(350)으로 제공될 수 있다. 한편, 인코딩 장치로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(300)의 내/외부 엘리먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(310)의 구성요소일 수도 있다.
한편, 본 명세서에 따른 디코딩 장치는 비디오/영상/픽쳐 디코딩 장치라고 불릴 수 있고, 상기 디코딩 장치는 정보 디코더(비디오/영상/픽쳐 정보 디코더) 및 샘플 디코더(비디오/영상/픽쳐 샘플 디코더)로 구분할 수도 있다. 상기 정보 디코더는 상기 엔트로피 디코딩부(310)를 포함할 수 있고, 상기 샘플 디코더는 상기 역양자화부(321), 역변환부(322), 가산부(340), 필터링부(350), 메모리(360), 인터 예측부(332) 및 인트라 예측부(331) 중 적어도 하나를 포함할 수 있다.
역양자화부(321)에서는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 출력할 수 있다. 역양자화부(321)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우, 상기 재정렬은 인코딩 장치에서 수행된 계수 스캔 순서를 기반하여 재정렬을 수행할 수 있다. 역양자화부(321)는 양자화 파라미터(예를 들어 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)를 획득할 수 있다.
역변환부(322)에서는 변환 계수들를 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득하게 된다.
예측부(320)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록(predicted block)을 생성할 수 있다. 예측부(320)는 엔트로피 디코딩부(310)로부터 출력된 상기 예측에 관한 정보를 기반으로 상기 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다.
예측부(320)는 후술하는 다양한 예측 방법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부(320)는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 이는 combined inter and intra prediction (CIIP) 모드라고 불릴 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 인트라 블록 카피(intra block copy, IBC) 예측 모드에 기반할 수도 있고 또는 팔레트 모드(palette mode)에 기반할 수도 있다. 상기 IBC 예측 모드 또는 팔레트 모드는 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 기본적으로 현재 픽쳐 내에서 예측을 수행하나 현재 픽쳐 내에서 참조 블록을 유도하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 명세서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다. 팔레트 모드는 인트라 코딩 또는 인트라 예측의 일 예로 볼 수 있다. 팔레트 모드가 적용되는 경우 팔레트 테이블 및 팔레트 인덱스에 관한 정보가 상기 비디오/영상 정보에 포함되어 시그날링될 수 있다.
인트라 예측부(331)는 현재 픽쳐 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 현재 블록으로부터 일정 거리만큼 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 하나 이상의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(331)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(332)는 참조 픽쳐 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향 정보(L0 예측, L1 예측, Bi 예측 등)를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽쳐 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽쳐에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(332)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신한 후보 선택 정보를 기반으로 상기 현재 블록의 움직임 벡터 및/또는 참조 픽쳐 인덱스를 유도할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 상기 예측에 관한 정보는 상기 현재 블록에 대한 인터 예측 모드를 지시하는 정보를 포함할 수 있다.
가산부(340)는 획득된 레지듀얼 신호를 예측부(인터 예측부(332) 및/또는 인트라 예측부(331) 포함)로부터 출력된 예측 신호(예측 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽쳐, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측 블록이 복원 블록으로 사용될 수 있다.
가산부(340)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽쳐 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 출력될 수도 있고 또는 다음 픽쳐의 인터 예측을 위하여 사용될 수도 있다. 한편, 픽쳐 디코딩 과정에서 LMCS (luma mapping with chroma scaling)가 적용될 수도 있다.
필터링부(350)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(350)는 복원 픽쳐에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽쳐를 생성할 수 있고, 상기 수정된 복원 픽쳐를 메모리(360), 구체적으로 메모리(360)의 DPB에 전송할 수 있다. 상기 다양한 필터링 방법은, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다.
메모리(360)의 DPB에 저장된 (수정된) 복원 픽쳐는 인터 예측부(332)에서 참조 픽쳐로 사용될 수 있다. 메모리(360)는 현재 픽쳐 내 움직임 정보가 유도된(또는 디코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽쳐 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(260)에 전달할 수 있다. 메모리(360)는 현재 픽쳐 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(331)에 전달할 수 있다.
본 명세서에서, 인코딩 장치(200)의 필터링부(260), 인터 예측부(221) 및 인트라 예측부(222)에서 설명된 실시예들은 각각 디코딩 장치(300)의 필터링부(350), 인터 예측부(332) 및 인트라 예측부(331)에도 동일 또는 대응되도록 적용될 수 있다.
도 4는 본 개시의 일실시예에 따른 디코딩 장치에 의해 수행되는 영상 디코딩 방법을 도시한 것이다.
도 4를 참조하면, 현재 블록의 예측 샘플을 획득할 수 있다(S400).
상기 현재 블록의 예측 샘플은 인터 예측 또는 인트라 예측에 의해 획득된 것일 수도 있고, 인터 예측과 인트라 예측의 조합에 기초하여 획득된 것일 수도 있다.
도 4를 참조하면, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터가 획득될 수 있다(S410).
상기 파라미터는 예측의 정확도를 향상시키기 위한 보정 파라미터로 불릴 수 있다. 일예로, 상기 보정은, 현재 블록이 속한 현재 픽쳐와 참조 픽쳐 간의 휘도 차이를 보상하기 위한 것일 수 있다. 이 경우, 상기 파라미터는 휘도 보상 파라미터(illumination compensation parameter)로 불릴 수도 있다. 이하, 파라미터는 보정 파라미터 또는 휘도 보상 파라미터를 의미하는 것으로 이해될 수 있고, 예측 샘플의 보정은 휘도 보상의 적용으로 이해될 수도 있다.
상기 파라미터는, 픽쳐, 타일, 슬라이스, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 또는 서브 코딩 유닛(sub-CU) 중 적어도 하나의 레벨에서 획득될 수 있다. 본 개시에서는, 설명의 편의를 위해, 코딩 유닛(CU)을 기준으로 기술하나, 본 개시의 실시예들은 다른 레벨에도 동일/유사하게 적용될 수 있음은 물론이다.
상기 파라미터는, 가중치 또는 오프셋 중 적어도 하나를 포함할 수 있다. 일예로, 상기 파라미터에 포함된 가중치의 개수는 1개일 수도 있고, 2개, 3개 또는 그 이상일 수도 있다. 상기 파라미터에 포함된 오프셋의 개수는 1개일 수도 있고, 2개, 3개 또는 그 이상일 수도 있다. 즉, 하나의 예측 샘플의 보정을 위해, 하나 또는 그 이상의 가중치 및/또는 오프셋이 이용될 수 있다. 하나의 예측 샘플의 보정을 위해 이용되는 가중치의 개수와 오프셋의 개수는 동일할 수도 있고, 서로 상이할 수도 있다.
상기 파라미터는, 비트스트림에 포함된 가중치 정보 및 오프셋 정보 중 적어도 하나를 복호화하여 획득될 수 있다(실시예 1-A). 상기 가중치 정보는 상기 가중치를 결정하기 위한 정보 또는 부호화된 가중치를 의미할 수 있다. 상기 오프셋 정보는 상기 오프셋을 결정하기 위한 정보 또는 부호화된 오프셋을 의미할 수 있다.
또는, 상기 파라미터는, 소정의 참조 영역에 기반하여 유도될 수 있다(실시예 1-B). 본 개시에 따른 참조 영역은, 현재 블록의 예측 샘플을 보정하기 위해 참조되는 영역을 의미할 수 있다. 상기 참조 영역은, 상기 현재 블록의 주변 영역 또는 참조 블록의 주변 영역 중 적어도 하나를 포함할 수 있다.
여기서, 상기 현재 블록의 주변 영역은, 현재 블록에 인접한 영역으로서, 현재 블록 이전에 복호화된 영역을 의미할 수 있다. 일예로, 현재 블록의 주변 영역은, 현재 블록의 상단 주변 영역, 좌측 주변 영역, 좌상단 주변 영역, 우상단 주변 영역, 좌하단 주변 영역, 하단 주변 영역, 우측 주변 영역, 또는 우하단 주변 영역 중 적어도 하나를 포함할 수 있다. 상기 참조 블록은 상기 현재 블록의 예측 샘플을 획득하기 위해 참조되는 블록을 의미할 수 있다. 상기 참조 블록은, 현재 블록이 속한 현재 픽쳐와 다른 복호화 순서(혹은, 출력 순서(picture order count, POC))를 가진 참조 픽쳐에 속한 것일 수도 있고, 현재 블록과 동일한 픽쳐에 속한 것일 수도 있다. 마찬가지로, 상기 참조 블록의 주변 영역은, 참조 블록에 인접한 영역으로서, 참조 블록 이전에 복호화된 영역을 의미할 수 있다. 일예로, 참조 블록의 주변 영역은, 참조 블록의 상단 주변 영역, 좌측 주변 영역, 좌상단 주변 영역, 우상단 주변 영역, 좌하단 주변 영역, 하단 주변 영역, 우측 주변 영역, 또는 우하단 주변 영역 중 적어도 하나를 포함할 수 있다.
한편, 상기 파라미터는 참조 영역에 속한 모든 샘플들을 이용하여 유도될 수도 있고, 참조 영역에 속한 샘플들 중 하나 또는 그 이상의 일부 샘플들을 이용하여 유도될 수도 있다. 이에 대해서는 도 5를 참조하여 자세히 살펴보도록 한다.
상기 참조 영역은, 상기 현재 블록 및/또는 상기 참조 블록에 인접한 샘플 라인(이하, 제1 샘플 라인이라 함)으로 구성될 수도 있고, 상기 현재 블록 및/또는 상기 참조 블록에 인접하지 않은 하나 또는 그 이상의 샘플 라인(이하, 제2 샘플 라인이라 함)으로 구성될 수도 있다. 또는, 상기 참조 영역은, 상기 제1 샘플 라인 및 상기 제2 샘플 라인으로 구성될 수도 있다. 다시 말해, 상기 파라미터를 유도하기 위해 이용되는 참조 영역 내 샘플은 상기 제1 샘플 라인 또는 상기 제2 샘플 라인에 속한 것일 수 있다. 또는, 상기 파라미터를 유도하기 위해 이용되는 참조 영역 내 샘플들 중 어느 하나는 제1 샘플 라인에 속하고, 다른 어느 하나는 제2 샘플 라인에 속한 것일 수 있다. 이에 대해서는 도 6을 참조하여 자세히 살펴보도록 한다.
상기 참조 영역은, 디코딩 장치에 기-정의된 복수의 모드들 중에서 선택된 어느 하나에 기초하여 결정될 수도 있다. 상기 선택은, 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보에 기초하여 수행될 수 있다. 여기서, 인덱스 정보는, 비트스트림을 통해 시그날링될 수 있다. 또는, 인덱스 정보는, 현재 블록 및/또는 주변 블록의 부호화 정보에 기초하여 유도될 수도 있다. 여기서, 부호화 정보는, 크기(예를 들어, 너비, 높이, 너비와 높이의 합/곱, 너비와 높이 중 최대값/최소값 등), 형태, 분할 타입, 분할 뎁스, 성분 타입, 예측 모드, 인터 예측 모드, 변환 타입, 변환 스킵 여부, 또는 양자화 파라미터 중 적어도 하나를 포함할 수 있다. 상기 복수의 모드들에 대해서는 도 7을 참조하여 자세히 살펴보도록 한다.
또는, 현재 블록 및/또는 참조 블록에 인접한 주변 블록의 부호화 정보를 이용하여 주변 블록의 샘플을 선택할 수 있다. 선택된 주변 블록의 샘플이 파라미터를 유도하기 위한 참조 영역으로 이용될 수 있다. 여기서, 부호화 정보는, 양자화 파라미터, 주변 블록의 예측 모드(인트라 예측 또는 인터 예측), 또는 움직임 벡터 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 현재 블록의 양자화 파라미터와 주변 블록의 양자화 파라미터가 소정의 조건을 만족하는 주변 블록의 샘플이, 상기 파라미터를 계산하기 위한 현재 블록의 주변 샘플로 이용될 수 있다. 상기 소정의 조건은, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것으로서, 다음 조건들 중 적어도 하나를 포함할 수 있다.
[조건 1] 현재 블록의 양자화 파라미터와 주변 블록의 양자화 파라미터가 기-정의된 특정 값(혹은 제1 문턱값)보다 작거나 같다.
[조건 2] 현재 블록의 양자화 파라미터와 주변 블록의 양자화 파라미터가 같다.
[조건 3] 현재 블록의 양자화 파라미터와 주변 블록의 양자화 파라미터 간의 차이가 기-정의된 특정 값(혹은 제2 문턱값)보다 작거나 같다.
전술한 조건에 따라, 현재 블록의 양자화 파라미터와 주변 블록의 양자화 파라미터가 같지 않거나 그 차이가 특정 값보다 큰 경우, 해당 주변 블록의 샘플은 파라미터를 유도하기 위해 이용되지 않을 수 있다.
또는, 예측 모드가 인터 예측인 주변 블록의 샘플은 파라미터를 유도하기 위해 이용될 수 있다. 반면, 주변 블록의 예측 모드가 인트라 예측인 경우, 해당 주변 블록은 현재 블록과의 유사성이 낮다고 판단하여 해당 주변 블록의 샘플은 파라미터를 유도하기 위해 이용되지 않을 수 있다.
또는, 주변 블록의 움직임 벡터와 현재 블록의 움직임 벡터 간의 차이가 기-정의된 특정값(혹은 제3 문턱값)보다 작거나 같은 경우, 해당 주변 블록의 샘플은 파라미터를 유도하기 위해 이용될 수 있다. 반면, 주변 블록의 움직임 벡터와 현재 블록의 움직임 벡터 간의 차이가 기-정의된 특정 값보다 큰 경우, 두 블록은 다른 객체인 것으로 판단하여 해당 주변 블록의 샘플은 파라미터를 유도하기 위해 이용되지 않을 수 있다.
현재 블록은 수직 라인 또는 수평 라인 중 적어도 하나에 기초하여 복수의 서브 영역으로 구분될 수 있고, 복수의 서브 블록 각각은 해당 서브 블록에 인접한 주변 영역 및 이에 대응하는 참조 블록의 주변 영역을 참조 영역으로 이용하여 파라미터를 유도할 수 있다. 상기 현재 블록을 복수의 서브 영역으로 구분하기 위해, 하나 또는 그 이상의 수직 라인 및/또는 수평 라인이 이용될 수 있다.
설명의 편의를 위해, 현재 블록은 하나의 수직 라인 및 하나의 수평 라인에 기초하여 4개의 서브 영역(즉, 좌상단 서브 영역, 우상단 서브 영역, 좌하단 서브 영역 및 우하단 서브 영역)으로 구분됨을 가정한다. 다만, 이에 한정되지 아니하며, 현재 블록은 2개, 3개, 또는 그 이상의 개수로 분할될 수 있고, 현재 블록은 수직 라인 또는 수평 라인 중 어느 하나에 의해서 구분될 수도 있음은 물론이다.
현재 블록의 좌상단 서브 영역의 경우, 상기 좌상단 서브 영역에 인접한 주변 영역과 이에 대응하는 참조 블록의 주변 영역을 기반으로 파라미터가 유도될 수 있다. 여기서, 주변 영역은 상단 주변 영역, 좌측 주변 영역, 또는 좌상단 주변 영역 중 적어도 하나를 포함할 수 있다. 상기 상단 주변 영역은 좌상단 서브 영역과 동일한 너비를 가지고, 상기 좌측 주변 영역은 좌상단 서브 영역과 동일한 높이를 가질 수 있다. 또는, 상기 상단 주변 영역은 현재 블록과 동일한 너비를 가지고, 상기 좌측 주변 영역은 현재 블록과 동일한 높이를 가질 수도 있다. 상기 유도된 파라미터는, 상기 좌상단 서브 영역에 속한 예측 샘플을 보정하기 위해 이용될 수 있다.
현재 블록의 우상단 서브 영역의 경우, 상기 우상단 서브 영역에 인접한 주변 영역과 이에 대응하는 참조 블록의 주변 영역을 기반으로 파라미터가 유도될 수 있다. 여기서, 주변 영역은 상단 주변 영역 또는 우상단 주변 영역 중 적어도 하나를 포함할 수 있다. 상기 상단 주변 영역 및/또는 우상단 주변 영역은 상기 우상단 서브 영역과 동일한 너비를 가질 수 있다. 또는, 상단 주변 영역은 현재 블록과 동일한 너비를 가질 수도 있다. 상기 유도된 파라미터는, 상기 우상단 서브 영역에 속한 예측 샘플을 보정하기 위해 이용될 수 있다.
현재 블록의 좌하단 서브 영역의 경우, 상기 좌하단 서브 영역에 인접한 주변 영역과 이에 대응하는 참조 블록의 주변 영역을 기반으로 파라미터가 유도될 수 있다. 여기서, 주변 영역은 좌측 주변 영역 또는 좌하단 주변 영역 중 적어도 하나를 포함할 수 있다. 상기 좌측 주변 영역 및/또는 좌하단 주변 영역은 상기 좌하단 서브 영역과 동일한 너비를 가질 수 있다. 또는, 좌측 주변 영역은 현재 블록과 동일한 너비를 가질 수도 있다. 상기 유도된 파라미터는, 상기 좌하단 서브 영역에 속한 예측 샘플을 보정하기 위해 이용될 수 있다.
현재 블록의 우하단 서브 영역의 경우, 디코딩 장치에 기-정의된 디폴트 파라미터가 적용될 수 있다. 여기서, 디폴트 파라미터는 가중치가 1이고, 오프셋이 0인 파라미터를 의미할 수 있다. 즉, 상기 우하단 서브 영역에 속한 예측 샘플에 대해서는 보정이 생략될 수 있다. 또는, 상기 우하단 서브 영역에 대한 파라미터는, 현재 블록 내 좌상단 서브 영역, 우상단 서브 영역, 또는 좌하단 서브 영역 중 적어도 하나에 대한 파라미터를 기반으로 유도될 수도 있다.
전술한 바와 같이, 현재 블록은 복수의 서브 영역으로 구분되고, 각 서브 영역에 대응하는 주변 영역을 참조 영역으로 이용하여, 서브 영역 별로 서로 상이한 파라미터가 유도될 수 있다.
상기 유도된 가중치와 오프셋 모두 현재 블록에 대해 적용될 수 있다. 또는, 상기 가중치 또는 오프셋 중 적어도 하나는 현재 블록에 대해 적용되지 않을 수도 있다. 이를 위해, 기-정의된 조건에 따라, 상기 가중치 또는 오프셋 중 적어도 하나에 대해 사용 여부가 결정될 수 있다. 상기 유도된 가중치 또는 오프셋 중 적어도 하나는 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 값으로 대체될 수도 있다. 상기 기-정의된 조건에 따라 상기 가중치 또는 오프셋 중 적어도 하나가 사용되지 않는 것으로 결정된 경우, 해당 가중치 및/또는 오프셋은 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 값으로 대체될 수 있다. 보정 대상인 현재 블록 내 예측 샘플의 위치 또는 해당 예측 샘플이 속한 현재 블록 내 서브 영역의 위치에 따라, 상기 가중치 또는 오프셋 중 적어도 하나는 해당 예측 샘플에 대해 적용되지 않을 수도 있다. 이는, 연산 및 구현의 복잡도 증가를 줄이기 위함이다.
또는, 현재 픽쳐와 참조 픽쳐 간의 휘도 차이를 보상하기 위해, 변화량 기반의 휘도 보상 방법이 이용될 수 있다. 변화량 기반의 휘도 보상 방법에 따르면, 현재 블록에 대해 복수의 파라미터들을 획득하고, 복수의 파라미터들 간의 변화량에 기초하여 하나의 최종 파라미터를 산출하며, 산출된 최종 파라미터를 기반으로 현재 블록에 대해 휘도 보상을 수행할 수 있다. 상기 복수의 파라미터들은 픽쳐, 타일, 슬라이스, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 또는 서브-코딩 유닛(sub-CU) 중 적어도 하나의 레벨에서 생성될 수 있으나, 본 실시예에서는 CU인 현재 블록을 기준으로 기술한다. 자명하게도 본 실시예에서 기술하는 내용들은 다른 레벨에도 적용될 수 있다.
앞서 살펴본 바와 같이, 휘도 보상의 정도는 파라미터 즉, 가중치(a)와 오프셋(b)의 값에 의존하게 된다. 현재 블록과 그에 대응되는 참조 블록의 주변 샘플들을 기반으로 하나의 파라미터 (a, b)를 유도한 경우, 휘도 보상 또한 하나의 형태로만 이루어진다. 이에, 주변 샘플들을 기반으로 복수의 파라미터들을 유도하고, 복수의 파라미터들 간의 변화량(혹은 차이값)을 고려하여 현재 블록에 대해서 휘도 보상을 수행할 수 있다.
구체적인 예로, 현재 블록 및 참조 블록에 바로 인접한 상단 및 좌측 샘플들을 참조 영역으로 사용하여, 현재 블록의 파라미터를 구할 수 있다. 여기서의 파라미터는 가중치와 오프셋을 포함하며, 이들을 각각 a0와 b0이라고 정의한다. 한편, 현재 블록 및 참조 블록에서 1-샘플만큼 떨어진 상단 및 좌측 샘플들을 참조 영역으로 사용하여, 현재 블록의 파라미터를 구할 수 있다. 여기서의 파라미터는 가중치와 오프셋을 포함하며, 이들을 각각 a1과 b1이라고 정의한다.
최종적으로 상기 복수의 파라미터들 간의 변화량을 고려하여, 현재 블록에 적용되는 최종 파라미터 a, b는 다음 수학식 1과 같이 계산될 수 있다.
[수학식 1]
a = a0 - k * (a1 - a0)
b = b0 - k * (b1 - b0)
상기 방법은, 현재 블록 및 참조 블록에 인접한 상단 및 좌측 샘플들을 기반으로 유도된 파라미터 (a0, b0)에 현재 블록 및 참조 블록에서 1-샘플만큼 떨어진 상단 및 좌측 샘플들을 기반으로 유도된 파라미터 (a1, b1)와 현재 블록 및 참조 블록에 인접한 상단 및 좌측 샘플들을 기반으로 유도된 파라미터 (a0, b0)의 차이를 보정하는 것이다. 상수 k 는 변화량을 반영하는 정도를 나타내며, 0 내지 1 사이의 실수 값을 가질 수 있다.
예를 들어, k 값이 1인 경우, 현재 블록에 적용되는 파라미터 a, b는 다음 수학식 2와 같이 계산될 수 있다.
[수학식 2]
a = a0 - (a1 - a0) = 2 * a0 - a1
b = b0 - (b1 - b0) = 2 * b0 - b1
다시 말해, 전술한 복수의 모드들 중 어느 하나에 따른 참조 영역을 기반으로 제1 파라미터를 획득할 수 있다. 여기서, 제1 파라미터는 제1 가중치 또는 제1 오프셋 중 적어도 하나를 포함할 수 있다. 한편, 전술한 복수의 모드들 중 다른 어느 하나에 따른 참조 영역을 기반으로 제2 파라미터를 획득할 수 있다. 여기서, 제2 파라미터는 제2 가중치 또는 제2 오프셋 중 적어도 하나를 포함할 수 있다. 상기 제1 파라미터와 제2 파라미터 간의 변화량을 고려하여, 현재 블록에 적용되는 최종 파라미터는 상기 수학식 1과 같이 계산될 수 있다.
즉, 상기 변화량 기반의 휘도 보상 방법은, 복수의 모드들 중 어느 하나에 기반하여 획득된 제1 파라미터에 소정의 차이를 보정하는 것이다. 소정의 차이는 복수의 모드들 중 다른 어느 하나에 기반하여 획득된 제2 파라미터를 이용하여 산출될 수 있다. 일예로, 상기 소정의 차이는, 제1 파라미터와 제2 파라미터 간의 차이를 의미할 수 있다. 즉, 최종 파라미터의 가중치(a)는, 제1 파라미터의 제1 가중치(a0)와 제2 파라미터의 제2 가중치(a1)의 차이를 기반으로, 제1 파라미터의 제1 가중치(a0)를 보정하여 획득될 수 있다. 마찬가지로, 최종 파라미터의 오프셋(b)는, 제1 파라미터의 제1 오프셋(b0)과 제2 파라미터의 제2 오프셋(b1)의 차이를 기반으로, 제1 파라미터의 제1 오프셋(b0)을 보정하여 획득될 수 있다.
현재 블록에 대한 복수의 파라미터들이 복수의 모드들을 기반으로 유도되는 경우를 기술하였으나, 이는 일예에 불과하다. 즉, 앞서 살펴본 다양한 파라미터 유도 방법들 중에서 적어도 하나를 선택하거나, 이들의 조합을 통해 현재 블록에 대해서 복수의 파라미터들이 유도될 수 있음은 물론이다.
또는, 상기 파라미터는 전술한 실시예 1-A와 실시예 1-B의 조합에 기초하여 획득될 수도 있다(실시예 1-C). 예를 들어, 가중치는 실시예 1-A에 따라 비트스트림으로부터 획득되고, 오프셋은 실시예 1-B에 따라 참조 영역에 기반하여 유도될 수 있다. 반대로, 가중치는 실시예 1-B에 따라 참조 영역에 기반하여 유도되고, 오프셋은 실시예 1-A에 따라 비트스트림으로부터 획득될 수 있다. 또는, 상기 파라미터는, 실시예 1-A와 실시예 1-B에 따른 가중치와 오프셋을 각각 포함할 수도 있다.
전술한 실시예 1-A 내지 1-C 중 어느 하나의 방법이 디코딩 장치에 기-정의될 수 있고, 상기 파라미터는 디코딩 장치에 기-정의된 방법에 의해 획득될 수 있다. 또는, 상기 파라미터는 디코딩 장치에 기-정의된 복수의 방법들 중 어느 하나를 선택적으로 이용하여 획득될 수도 있다. 여기서, 복수의 방법들은 전술한 실시예 1-A 내지 1-C 중 적어도 둘을 포함하며, 상기 선택을 위해 상기 복수의 방법들 중 어느 하나를 특정하는 플래그 또는 인덱스 정보가 시그날링될 수 있다.
한편, S410 단계에 따른 파라미터의 획득은, 현재 블록의 예측 샘플에 대한 보정이 가용한지 여부를 나타내는 플래그(이하, 제1 플래그라 함) 또는 현재 블록의 예측 샘플에 대해 보정이 수행되는지 여부를 나타내는 플래그(이하, 제2 플래그라 함) 중 적어도 하나에 기초하여 적응적으로 수행될 수 있다. 상기 제1 플래그는, 현재 블록을 포함한 시퀀스, 픽쳐 또는 슬라이스에 대해 휘도 보상이 가용한지 여부를 나타내는 정보로 정의될 수도 있다. 상기 제2 플래그는, 현재 블록에 대해 휘도 보상이 적용되는지 여부를 나타내는 정보로 정의될 수도 있다.
상기 제1 플래그가 현재 블록의 예측 샘플에 대한 보정이 가용하지 않음을 나타내는 경우, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터는 획득되지 않을 수 있다. 반면, 상기 제1 플래그가 현재 블록의 예측 샘플에 대한 보정이 가용함을 나타내는 경우, 상기 제2 플래그에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터가 획득되는지 여부가 결정될 수 있다. 즉, 상기 제2 플래그가 현재 블록의 예측 샘플에 대해 보정이 수행됨을 나타내는 경우, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터가 획득되고, 그렇지 않은 경우, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터가 획득되지 않을 수 있다.
상기 제1 플래그는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 또는 슬라이스 헤더(SH) 중 적어도 하나의 레벨에서 시그날링될 수 있다. 상기 제2 플래그는, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 또는 변환 유닛(TU) 중 적어도 하나의 레벨에서 시그날링될 수 있다.
일예로, 상기 제1 플래그는 표 1과 같이 시그날링될 수 있다.
seq_parameter_set_rbsp(　) { Descriptor
...
sps_illumination_compensation_enabled_flag u(1)
...
}
표 1을 참조하면, sps_illumination_compensation_enabled_flag는 제1 플래그의 일예로서, 휘도 보상이 가용한지 여부를 나타내며, 시퀀스 파라미터 세트를 통해 시그날링될 수 있다.
한편, 상기 제2 플래그는 표 2와 같이 시그날링될 수 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
cu_ic_flag ae(v)
...
}
표 2를 참조하면, cu_ic_flag는 제2 플래그의 일예로서, 현재 코딩 블록에 휘도 보상이 적용되는지 여부를 나타내며, 이는 CU 레벨에서 시그날링될 수 있다. 또한, cu_ic_flag는 sps_illumination_compensation_enabled_flag가 휘도 보상이 가용함을 나타내는 경우(즉, sps_illumination_compensation_enabled_flag가 1인 경우)에 한하여 시그날링될 수 있다.
한편, 실시예 1-B에 따른 참조 영역은, 디코딩 장치에 기-정의된 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보에 기초하여 결정될 수 있다. 이때, 상기 인덱스 정보는 표 3과 같이 시그날링될 수 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
cu_ic_flag ae(v)
if(cu_ic_flag)
cu_ic_idx ae(v)
...
}
표 3을 참조하면, cu_ic_idx는 전술한 인덱스 정보의 일예로서, 디코딩 장치에 기-정의된 복수의 모드들 중 어느 하나를 특정할 수 있다. 또한, cu_ic_idx는 cu_ic_flag가 현재 코딩 블록에 대해 휘도 보상이 적용됨을 지시하는 경우(즉, cu_ic_flag가 1인 경우)에 한하여 시그날링될 수 있다.
또는, 현재 블록에 휘도 보상이 적용되는지 여부를 나타내는 제2 플래그와 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(이하, 병합 인덱스 정보라 함)가 이용될 수도 있다. 이 경우, 상기 병합 인덱스 정보의 인덱스 엔트리(entry) 중 어느 하나는 현재 블록에 휘도 보상이 적용되지 않음을 나타낼 수 있고, 나머지 인덱스 엔트리는 복수의 모드들 중 어느 하나를 특정할 수 있다. 일예로, 상기 병합 인덱스 정보의 값이 0인 경우, 이는 현재 블록에 휘도 보상이 적용되지 않음을 나타낼 수 있다. 상기 병합 인덱스 정보는 표 4와 같이 시그날링될 수 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
cu_ic_idx ae(v)
...
}
표 4를 참조하면, cu_ic_idx는 전술한 병합 인덱스 정보의 일예로서, 현재 블록에 휘도 보상이 적용되는지 여부 및/또는 복수의 모드들 중 어느 하나를 특정할 수 있다. 또한, cu_ic_idx는 sps_illumination_compensation_enabled_flag가 휘도 보상이 가용함을 나타내는 경우(즉, sps_illumination_compensation_enabled_flag가 1인 경우)에 한하여 시그날링될 수 있다.
VPS, SPS, PPS 등과 같은 상위 레벨에서, 예측 샘플의 보정이 가용하게 되었더라도, 특정 슬라이스 또는 픽쳐의 단위에서, 예측 샘플에 대한 보정이 수행되는 CU가 하나도 존재하지 않는 경우가 발생할 수 있다. 이 경우, CU 별로 예측 샘플의 보정 관련 정보(e.g., 제2 플래그, 인덱스 정보, 병합 인덱스 정보 등)를 시그날링하는 것이 압축 효율을 떨어뜨리는 요인이 될 수 있다. 따라서, 슬라이스, 픽쳐 등과 같은 상위 레벨에서, 예측 샘플의 보정이 수행되는 CU가 존재하는지 여부를 나타내는 추가적인 신택스(이하, 제3 플래그라 함)가 필요할 수 있다. 상기 제3 플래그는 표 5와 같이 시그날링될 수 있다.
slice_header(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
sh_ic_disabled_flag u(1)
...
}
표 5를 참조하면, sh_ic_disabled_flag는 전술한 제3 플래그의 일예로서, 현재 슬라이스에 대해 휘도 보상이 가용한지 여부를 나타낼 수 있다. 또는, sh_ic_disabled_flag는 현재 슬라이스에 휘도 보상이 적용되는 적어도 하나의 코딩 블록이 존재하는지 여부를 나타낼 수도 있다. 또한, sh_ic_disabled_flag는 sps_illumination_compensation_enabled_flag가 휘도 보상이 가용함을 나타내는 경우(즉, sps_illumination_compensation_enabled_flag가 1인 경우)에 한하여 시그날링될 수 있다. 표 5는 상기 제3 플래그가 슬라이스 헤더에서 시그날링되는 경우에 해당하나, 이에 한정되지 아니하며, 상기 제3 플래그는 픽쳐 헤더 등과 같이 시퀀스보다 낮은 레벨에서 시그날링될 수도 있다.
상기 제3 플래그가 이용되는 경우, 상기 병합 인덱스 정보는 표 6과 같이 시그날링될 수 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag && !sh_ic_disabled_flag)
cu_ic_idx ae(v)
...
}
표 6을 참조하면, cu_ic_idx는 전술한 병합 인덱스 정보의 일예로서, 현재 블록에 휘도 보상이 적용되는지 여부 및/또는 복수의 모드들 중 어느 하나를 특정할 수 있다. 또한, cu_ic_idx는 sps_illumination_compensation_enabled_flag가 휘도 보상이 가용함을 나타내고, sh_ic_disabled_flag가 현재 슬라이스에 대해 휘도 보상이 가용함을 나타내는 경우(즉, sps_illumination_compensation_enabled_flag가 1이고, sh_ic_disabled_flag가 0인 경우)에 한하여 시그날링될 수 있다. 또는, cu_ic_idx는, sh_ic_disabled_flag가 현재 슬라이스에 대해 휘도 보상이 가용함을 나타내는 경우(즉, sh_ic_disabled_flag가 0인 경우)에 한하여 시그날링될 수 있다.
상기 병합 인덱스 정보 대신에 전술한 제2 플래그와 인덱스 정보가 이용될 수 있으며, 이 경우 현재 블록에 휘도 보상이 적용되는지 여부를 나타내는 제2 플래그는, sps_illumination_compensation_enabled_flag가 휘도 보상이 가용함을 나타내고, sh_ic_disabled_flag가 현재 슬라이스에 대해 휘도 보상이 가용함을 나타내는 경우(즉, sps_illumination_compensation_enabled_flag가 1이고, sh_ic_disabled_flag가 0인 경우)에 한하여 시그날링될 수 있다. 또는, 제2 플래그는, sh_ic_disabled_flag가 현재 슬라이스에 대해 휘도 보상이 가용함을 나타내는 경우(즉, sh_ic_disabled_flag가 0인 경우)에 한하여 시그날링될 수 있다.
한편, 현재 블록의 예측 샘플에 보정이 수행되는지 여부는, 현재 블록의 부호화 정보에 기초하여 결정될 수도 있다. 여기서, 부호화 정보는, 크기, 형태, 예측 모드, 분할 타입, 또는 변환 타입 중 적어도 하나를 포함할 수 있다. 상기 크기는 현재 블록의 너비, 높이, 너비와 높이의 최대값/최소값, 너비와 높이의 합, 또는 너비와 높이의 곱을 의미할 수 있다.
일예로, 현재 블록의 크기가 소정의 문턱크기보다 크거나 같은 경우, 현재 블록의 예측 샘플에 보정이 수행되는 결정될 수 있고, 현재 블록의 크기가 소정의 문턱크기보다 작은 경우, 현재 블록의 예측 샘플에 보정이 수행되지 않는 것으로 결정될 수 있다. 여기서, 문턱크기는 예측 샘플에 대한 보정이 허용되는 최소 블록 크기를 의미할 수 있다. 또는, 현재 블록의 크기가 소정의 문턱크기보다 작거나 같은 경우, 현재 블록의 예측 샘플에 보정이 수행되는 것으로 결정될 수 있고, 현재 블록의 크기가 소정의 문턱크기보다 큰 경우, 현재 블록의 예측 샘플에 보정이 수행되지 않는 것으로 결정될 수 있다. 여기서, 문턱크기는 예측 샘플에 대한 보정이 허용되는 최대 블록 크기를 의미할 수 있다. 상기 문턱크기는, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것일 수 있다. 또는, 상기 문턱크기를 특정하는 정보가 비트스트림을 통해 시그날링될 수도 있다. 예를 들어, 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
일예로, 현재 블록의 예측 모드가 인터 모드인 경우, 현재 블록의 예측 샘플에 보정이 수행되는 것으로 결정될 수 있고, 현재 블록의 예측 모드가 인트라 모드이거나 현재 블록에 대해 부분적으로 인트라 예측이 수행된 경우, 현재 블록의 예측 샘플에 보정이 수행되지 않는 것으로 결정될 수 있다.
일예로, 현재 블록의 형태가 NxN의 정방형인 경우, 현재 블록의 예측 샘플에 보정이 수행되는 것으로 결정될 수 있고, 현재 블록의 형태가 MxN의 비정방형인 경우, 현재 블록의 예측 샘플에 보정이 수행되지 않는 것으로 결정될 수 있다. 또는, 현재 블록의 형태가 MxN의 비정방형인 경우라도, 현재 블록의 너비(M) 또는 높이(N) 중 적어도 하나가 소정의 문턱크기보다 큰 경우에 한하여, 현재 블록의 예측 샘플에 보정이 수행되는 것으로 결정될 수도 있다.
현재 블록의 예측 샘플에 보정이 수행되는지 여부는, 전술한 부호화 정보 중 어느 하나에 기초하여 결정될 수도 있고, 전술한 부호화 정보 중 적어도 둘의 조합에 기초하여 결정될 수도 있다.
또는, 현재 블록의 예측 샘플에 대해 보정이 수행되는지 여부를 나타내는 제2 플래그에 따라 현재 블록의 예측 샘플에 보정이 수행되는 것으로 결정된 경우라도, 전술한 부호화 정보에 기초하여 현재 블록의 예측 샘플에 보정이 수행되는지 여부가 재결정될 수도 있다.
또는, 전술한 부호화 정보 중 적어도 하나는, 상기 제2 플래그를 파싱하기 위한 부가적인 조건으로 이용될 수도 있다.
일예로, 현재 블록의 크기가 소정의 문턱크기보다 크거나 같은 경우, 상기 제2 플래그는 비트스트림으로부터 파싱될 수 있고, 현재 블록의 크기가 소정의 문턱크기보다 작은 경우, 상기 제2 플래그는 비트스트림으로부터 파싱되지 않을 수 있다. 또는, 현재 블록의 크기가 소정의 문턱크기보다 작거나 같은 경우, 상기 제2 플래그는 비트스트림으로부터 파싱될 수 있고, 현재 블록의 크기가 소정의 문턱크기보다 큰 경우, 상기 제2 플래그는 비트스트림으로부터 파싱되지 않을 수 있다. 상기 문턱크기는 앞서 살펴본 바와 같으며, 중복된 설명은 생략하기로 한다.
일예로, 현재 블록의 예측 모드가 인터 모드인 경우, 상기 제2 플래그는 비트스트림으로부터 파싱될 수 있고, 현재 블록의 예측 모드가 인트라 모드이거나 현재 블록에 대해 부분적으로 인트라 예측이 수행된 경우, 상기 제2 플래그는 비트스트림으로부터 파싱되지 않을 수 있다.
일예로, 현재 블록의 형태가 NxN의 정방형인 경우, 상기 제2 플래그는 비트스트림으로부터 파싱될 수 있고, 현재 블록의 형태가 MxN의 비정방형인 경우, 상기 제2 플래그는 비트스트림으로부터 파싱되지 않을 수 있다. 또는, 현재 블록의 형태가 MxN의 비정방형인 경우라도, 현재 블록의 너비(M) 또는 높이(N) 중 적어도 하나가 소정의 문턱크기보다 큰 경우에 한하여, 상기 제2 플래그는 비트스트림으로부터 파싱될 수 있다.
또는, 참조 픽쳐의 휘도 변화를 보상하기 위한 휘도 보상의 적용 여부에 관한 정보는 전파/유도될 수도 있다. 여기서, 휘도 보상의 적용 여부에 관한 정보는 전술한 제2 플래그에 해당할 수 있다. 즉, 제2 플래그는 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 나타낼 수도 있고, 현재 블록에 대해 휘도 보상이 적용되는지 여부를 나타낼 수도 있음은 앞서 살펴본 바와 같다.
참조 픽쳐의 휘도 변화는 다양한 단위로 발생될 수 있다. 휘도 변화가 픽쳐 전체에 영향을 줄 수도 있으며, 광원이나 조명의 위치, 비디오/영상의 구성이나 특성에 따라 부분적으로 휘도 변화가 발생될 수도 있다. 따라서 본 개시에 따른 파라미터의 유도는, 픽쳐, 슬라이스, 타일, 코딩 트리 유닛, 코딩 유닛, 서브-코딩 유닛 등과 같이 다양한 단위를 기준으로 획득될 수 있다.
현재 블록에 대해 휘도 보상이 적용되는지 여부는, 현재 블록의 인터 예측 모드 또는 현재 블록의 움직임 정보를 유도하기 위해 이용된 머지 후보 중 적어도 하나에 기초하여 결정될 수 있다.
예를 들어, 현재 블록의 인터 예측 모드가 MVP 모드인 경우, 휘도 보상이 적용되는지 여부를 나타내는 제2 플래그가 비트스트림을 통해 시그날링될 수 있다. 일예로, 표 2에서 살펴본 바와 같이, CU 레벨에서 cu_ic_flag가 시그날링될 수 있다. 반면, 현재 블록이 머지 모드 또는 스킵 모드로 부호화된 경우, 상기 제2 플래그가 명시적으로 시그날링되지 않고, 현재 블록의 움직임 정보를 유도하기 위해 참조된 머지 후보의 제2 플래그를 그대로 사용할 수 있다.
예를 들어, 현재 블록의 인터 예측 모드가 일반적인 머지 모드(regular merge mode)인 경우, 복수의 머지 후보들을 포함한 머지 후보 리스트를 구성할 수 있고, 상기 복수의 머지 후보들은 공간적 머지 후보 및/또는 시간적 머지 후보를 포함할 수 있다. 여기서, 공간적 머지 후보는, 현재 블록에 공간적으로 인접한 주변 블록(이하, 공간적 주변 블록이라 함)의 움직임 정보를 이용하여 유도되고, 시간적 머지 후보는 현재 블록에 시간적으로 인접한 주변 블록(이하, 시간적 주변 블록이라 함)의 움직임 정보를 이용하여 유도될 수 있다.
현재 블록에 대해 선택된 머지 후보가 공간적 머지 후보인 경우, 현재 블록에 대해 휘도 보상이 적용되는지 여부는, 해당 공간적 주변 블록에 대해 휘도 보상이 적용되는지 여부에 따라 결정될 수 있다. 다만, 휘도 보상을 위한 현재 블록의 파라미터는 현재 블록을 기준으로 유도될 수 있다. 또한, 전술한 복수의 모드들을 기반으로 파라미터를 유도하는 경우에도, 현재 블록은, 복수의 모드들 중에서 공간적 주변 블록이 사용한 모드를 동일하게 사용할 수 있다. 다만, 상기 공간적 주변 블록이 CIIP 모드로 부호화된 블록인 경우, 현재 블록에 대해서 휘도 보상이 적용되지 않을 수 있다. 현재 블록 블록에 대해 선택된 머지 후보가 시간적 머지 후보인 경우, 현재 블록에 대해 휘도 보상이 적용되지 않을 수 있다. 이는 참조 픽쳐로 사용되는 영상에 대해서는 휘도 보상의 적용 여부를 나타내는 정보가 저장되지 않을 수 있기 때문이다.
또는, 현재 블록의 인터 예측 모드가 어파인 머지 모드(affine merge mode)인 경우, 상속된 후보(inherited candidate) 또는 구성된 후보(constructed candidate) 중 적어도 하나를 기반으로 머지 후보 리스트를 구성할 수 있다. 여기서, 상속된 후보는 어파인 머지 모드로 부호화된 주변 블록의 제어점 벡터(control point motion vector: CPMV)를 기반으로 유도되는 후보이고, 구성된 후보는 복수의 주변 블록들의 움직임 벡터들을 기반으로 제어점 벡터를 구성하여 유도된 후보일 수 있다.
현재 블록에 대해 선택된 머지 후보가 상속된 후보인 경우, 현재 블록에 대해 휘도 보상이 적용되는지 여부는, 해당 주변 블록에 대해 휘도 보상이 적용되는지 여부에 따라 결정될 수 있다. 즉, 해당 주변 블록에 대해서 휘도 보상이 적용된 경우, 현재 블록에 대해서도 휘도 보상이 적용되는 것으로 결정될 수 있다. 다만, 휘도 보상을 위한 현재 블록의 파라미터는 현재 블록을 기준으로 유도될 수 있다. 또한, 전술한 복수의 모드들을 기반으로 파라미터를 유도하는 경우에도, 현재 블록은, 복수의 모드들 중에서 해당 주변 블록이 사용한 모드를 동일하게 사용할 수 있다.
한편, 구성된 후보는 현재 블록에 공간적으로 인접한 복수의 주변 블록들의 움직임 벡터들의 조합에 기초하여 유도되며, 주변 블록 별로 휘도 보상의 적용 여부가 상이할 수 있다. 이에, 현재 블록에 대해 선택된 머지 후보가 구성된 후보인 경우, 현재 블록에 대해서 휘도 보상이 적용되는지 여부는 다음 (1) 내지 (3)의 경우 중 하나에 의해서 결정될 수 있다.
(1) 현재 블록의 구성된 후보를 유도하기 위해 이용된 모든 주변 블록이 휘도 보상을 사용하는 경우, 현재 블록에 대해서 휘도 보상이 적용되는 것으로 결정될 수 있다.
(2) 현재 블록의 구성된 후보를 유도하기 위해 이용된 주변 블록들 중 적어도 하나가 휘도 보상을 사용하는 경우, 현재 블록에 대해서 휘도 보상이 적용되는 것으로 결정될 수 있다.
(3) 현재 블록에 대해 선택된 머지 후보가 구성된 후보인 경우, 현재 블록에 대해서 휘도 보상이 적용되지 않는 것으로 결정될 수 있다.
또한, 복수의 모드들을 기반으로 파라미터가 유도되는 경우, 상기 주변 블록 별로 휘도 보상의 적용 여부 및/또는 파라미터를 유도하기 위해 이용된 모드가 상이할 수 있다. 이에, 현재 블록에 대해서 휘도 보상이 적용되는지 여부는 다음 (1) 내지 (5) 중 하나에 의해서 결정될 수 있다.
(1) 구성된 후보를 유도하기 위해 이용된 모든 주변 블록들이 휘도 보상을 사용하고, 동일한 모드를 사용한 경우, 현재 블록에 대해서 휘도 보상이 적용되는 것으로 결정되고, 현재 블록도 동일한 모드를 이용하여 파라미터를 유도할 수 있다.
(2) 구성된 후보를 유도하기 위해 사용된 모든 주변 블록들이 휘도 보상을 사용하나, 적어도 하나의 주변 블록이 다른 주변 블록과 상이한 모드를 사용한 경우, 현재 블록에 대해서 휘도 보상이 적용되는 것으로 결정될 수 있다.
이때, 현재 블록의 휘도 보상을 위한 파라미터는 복수의 모드들 중 어느 하나를 선택하여 유도될 수 있다. 또는, 주변 블록들이 사용한 모드들 각각에 기반하여 파라미터를 유도하고, 이들의 평균값을 현재 블록의 파라미터로 이용할 수 있다. 또는, 인코딩/디코딩 장치에 기-정의된 복수의 모드들 각각에 기반하여 파라미터를 유도하고, 이들의 평균값을 현재 블록의 파라미터로 이용할 수 있다. 또는, 주변 블록들의 파라미터를 유도하기 위해 이용된 모든 참조 영역의 샘플을 이용하여 파라미터를 유도하고, 이를 현재 블록의 파라미터로 이용할 수 있다.
(3) 구성된 후보를 유도하기 위해 사용된 주변 블록들 중 하나의 블록이 휘도 보상을 사용하는 경우 또는 상기 주변 블록들 중 둘 이상의 블록들이 휘도 보상을 사용하고 상기 둘 이상의 블록들이 동일한 모드를 사용하는 경우, 현재 블록에 대해서 휘도 보상이 적용되는 것으로 결정될 수 있다.
이때, 현재 블록의 휘도 보상을 위한 파라미터는 복수의 모드들 중 어느 하나를 선택하여 유도될 수 있다. 또는, 현재 블록의 휘도 보상을 위한 파라미터는 해당 주변 블록들이 사용한 모드와 동일한 모드를 기반으로 유도될 수 있다.
(4) 구성된 후보를 유도하기 위해 사용된 주변 블록들 중 둘 이상의 블록이 휘도 보상을 사용하나, 둘 이상의 블록들 중 어느 하나가 다른 하나와 상이한 모드를 사용하는 경우, 현재 블록에 대해서 휘도 보상이 적용되는 것으로 결정될 수 있다.
이때, 현재 블록의 휘도 보상을 위한 파라미터는 복수의 모드들 중 어느 하나를 선택하여 유도될 수 있다. 또는, 주변 블록들이 사용한 모드들 각각에 기반하여 파라미터를 유도하고, 이들의 평균값을 현재 블록의 파라미터로 이용할 수 있다. 또는, 인코딩/디코딩 장치에 기-정의된 복수의 모드들 각각에 기반하여 파라미터를 유도하고, 이들의 평균값을 현재 블록의 파라미터로 이용할 수 있다. 또는, 주변 블록들의 파라미터를 유도하기 위해 이용된 모든 참조 영역의 샘플을 이용하여 파라미터를 유도하고, 이를 현재 블록의 파라미터로 이용할 수 있다.
(5) 현재 블록에 대해 선택된 머지 후보가 구성된 후보인 경우, 현재 블록에 대해서 휘도 보상이 적용되지 않는 것으로 결정될 수 있다.
또는, 현재 블록의 인터 예측 모드가 CIIP 모드인 경우, 현재 블록의 인터 예측 블록에 대해서 휘도 보상이 적용되는지 여부는 다음 (1) 내지 (3)의 경우 중 하나에 의해서 결정될 수 있다. 여기서, CIIP 모드는 현재 블록에 대해 인터 예측 블록과 인트라 예측 블록을 각각 생성하고, 이들의 가중합을 통해 최종 예측 블록을 생성하는 모드를 의미할 수 있다. 상기 인터 예측 블록은 머지 모드에 기초하여 생성된 블록일 수 있다. 다만, 이에 한정되지 아니하며, MVP 모드 또는 어파인 머지 모드에 기초하여 생성된 블록일 수도 있다.
(1) 현재 블록에 대해 휘도 보상이 적용되는지 여부는, 현재 블록의 움직임 벡터를 예측하기 위해 이용된 주변 블록에 대해서 휘도 보상이 적용되는지 여부에 따라 결정될 수 있다. 즉, 해당 주변 블록에 대해서 휘도 보상이 적용된 경우, 현재 블록에 대해서도 휘도 보상이 적용되는 것으로 결정될 수 있다.
(2) 현재 블록에 대해서 휘도 보상이 적용되지 않는 것으로 결정될 수 있다. 또한, 현재 블록의 움직임 벡터를 예측하기 위해 이용된 주변 블록에 대한 휘도 보상의 적용 여부는, 현재 블록을 참조하는 다른 코딩 블록으로 전파되지 않을 수 있다.
(3) 현재 블록에 대해서 휘도 보상이 적용되지 않는 것으로 결정될 수 있다. 다만, 현재 블록의 움직임 벡터를 예측하기 위해 이용된 주변 블록에 대한 휘도 보상의 적용 여부는, 현재 블록을 참조하는 다른 코딩 블록으로 전파될 수 있다.
도 4를 참조하면, 상기 파라미터를 기반으로 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득할 수 있다(S420).
상기 현재 블록에 속한 모든 예측 샘플들은 S410 단계에서 획득된 파라미터를 공유할 수 있다(이하, 제1 보정 방법이라 함).
제1 보정 방법에 따르면, 상기 현재 블록의 각 예측 샘플에 상기 파라미터를 동일하게 적용하여 보정된 예측 샘플을 획득할 수 있다.
또는, 상기 현재 블록에 속한 일부 예측 샘플들만이 S410 단계에서 획득된 파라미터를 공유할 수 있다(이하, 제2 보정 방법이라 함).
제2 보정 방법에 따르면, 상기 현재 블록은 소정의 분할 라인에 기초하여 복수의 서브 영역으로 구분될 수 있다. 복수의 서브 영역 중 일부 서브 영역에 속한 예측 샘플들에 대해 S410 단계에서 획득된 파라미터를 동일하게 적용하여 보정된 예측 샘플을 획득할 수 있다. 반면, 복수의 서브 영역 중 나머지 서브 영역에 속한 예측 샘플들에 대해서는 보정이 수행되지 않을 수 있다. 또는, 상기 나머지 영역에 속한 예측 샘플들에 대해서는 디코딩 장치에 기-정의된 디폴트 파라미터가 적용될 수도 있다. 일예로, 상기 디폴트 파라미터는 가중치가 1이고, 오프셋이 0인 파라미터를 의미할 수 있다. 상기 일부 서브 영역(또는 나머지 서브 영역)의 크기, 형태, 또는 위치 중 적어도 하나는 참조 영역의 크기, 형태, 또는 위치 중 적어도 하나에 종속적으로 결정될 수 있다.
또는, 상기 현재 블록은 복수의 샘플 라인 그룹으로 구분될 수 있고, 샘플 라인 그룹 별로 서로 상이한 파라미터가 적용될 수 있다(이하, 제3 보정 방법이라 함).
제3 보정 방법에 따르면, 각 샘플 라인 그룹은 하나 또는 그 이상의 샘플 라인으로 구성될 수 있다. 복수의 샘플 라인 그룹 중 어느 하나에 속한 샘플 라인의 개수는, 복수의 샘플 라인 그룹 중 다른 어느 하나에 속한 샘플 라인의 개수와 상이할 수 있다. 또는, 복수의 샘플 라인 그룹은 동일한 샘플 라인의 개수를 가질 수도 있다.
또는, 상기 보정된 예측 샘플은, 제1 보정된 예측 샘플과 제2 보정된 예측 샘플의 가중합을 통해 획득될 수 있다(이하, 제4 보정 방법이라 함). 여기서, 상기 제1 보정된 예측 샘플은, 제1 파라미터를 기반으로 예측 샘플을 보정하여 생성된 것이고, 상기 제2 보정된 예측 샘플은, 제2 파라미터를 기반으로 예측 샘플을 보정하여 생성된 것일 수 있다. 다만, 설명의 편의를 위해 2개의 파라미터를 기반으로 제1 및 제2 보정된 예측 샘플이 각각 생성되는 경우를 가정한 것에 불과하며, 즉, N개의 파라미터를 기반으로 제1 내지 제N 보정된 예측 샘플이 각각 생성되고, 이들의 가중합을 통해 최종 보정된 예측 샘플이 획득될 수도 있다.
제4 보정 방법에 따르면, 제1 파라미터는, 전술한 복수의 모드들 중 어느 하나에 기초하여 결정된 참조 영역(이하, 제1 참조 영역이라 함)을 기반으로 유도된 것일 수 있다. 제1 보정된 예측 샘플은, 전술한 제1 보정 방법 내지 제3 보정 방법 중 어느 하나에 기초하여 획득된 것일 수 있다. 한편, 제2 파라미터는, 전술한 복수의 모드들 중 다른 어느 하나에 기초하여 결정된 참조 영역(이하, 제2 참조 영역이라 함)을 기반으로 유도된 것일 수 있다. 마찬가지로, 제2 보정된 예측 샘플은, 전술한 제1 보정 방법 내지 제3 보정 방법 중 어느 하나에 기초하여 획득된 것일 수 있다.
이와 같이, 최종 보정된 예측 샘플을 획득하기 위해 복수의 파라미터가 이용될 수 있으며, 이를 위해 하나의 현재 블록에 대해서 복수개의 인덱스 정보가 이용될 수 있다. 각 인덱스 정보는 전술한 복수의 모드들 중 어느 하나를 특정하는 것으로서, 복수개의 인덱스 정보에 의해 상기 제1 참조 영역과 제2 참조 영역이 각각 결정될 수 있다. 복수개의 인덱스 정보는 비트스트림으로 통해 시그날링되거나, 현재 블록 및/또는 주변 블록의 부호화 정보에 기초하여 묵시적으로 유도될 수 있다. 또는, 복수개의 인덱스 정보 중 어느 하나는 비트스트림을 통해 시그날링되고, 다른 하나는 시그날링된 인덱스 정보에 기초하여 묵시적으로 유도될 수도 있다.
또는, 앞서 살펴본 바와 같이, 현재 블록은 복수의 서브 블록으로 구분될 수 있고, 각 서브 블록 별로 인접한 주변 영역을 참조 영역으로 이용하여 파라미터가 유도될 수 있다. 이 경우, 예측 샘플이 속한 서브 블록을 특정하고, 상기 특정된 서브 블록에 대응하는 파라미터를 기반으로 상기 예측 샘플을 보정할 수도 있다(이하, 제5 보정 방법이라 함).
전술한 제2, 제3 및 제5 보정 방법들에 대해서는 도 8을 참조하여 자세히 살펴보도록 한다.
현재 블록의 예측 샘플에 대한 보정은, 전술한 제1 내지 제5 보정 방법 중 어느 하나에 기초하여 수행될 수 있다. 또는, 현재 블록의 예측 샘플에 대한 보정은, 전술한 제1 내지 제5 보정 방법 중 적어도 둘의 조합에 기초하여 수행될 수도 있다.
현재 블록의 예측 샘플에 대한 보정은, 디코딩 장치에 기-정의된 복수의 보정 방법들 중 어느 하나를 선택적으로 이용하여 수행될 수도 있다. 여기서, 복수의 보정 방법들은, 상기 제1 내지 제5 보정 방법들 중 적어도 둘을 포함할 수 있다. 상기 선택을 위해, 복수의 보정 방법들 중 어느 하나를 특정하는 인덱스 정보가 시그날링될 수 있다. 상기 인덱스 정보는 표 7과 같이 시그날링될 수 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
cu_ic_flag ae(v)
if(cu_ic_flag)
cu_ic_idx ae(v)
...
}
표 7을 참조하면, cu_ic_idx는 전술한 인덱스 정보의 일예로서, 디코딩 장치에 기-정의된 복수의 보정 방법들 중 어느 하나를 특정할 수 있다. 또한, cu_ic_idx는 cu_ic_flag가 현재 코딩 블록에 대해 휘도 보상이 적용됨을 지시하는 경우(즉, cu_ic_flag가 1인 경우)에 한하여 시그날링될 수 있다.
또는, 현재 블록에 휘도 보상이 적용되는지 여부를 나타내는 제2 플래그와 복수의 보정 방법들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(이하, 병합 인덱스 정보라 함)가 이용될 수도 있다. 이 경우, 상기 병합 인덱스 정보의 인덱스 엔트리(entry) 중 어느 하나는 현재 블록에 휘도 보상이 적용되지 않음을 나타낼 수 있고, 나머지 인덱스 엔트리는 복수의 보정 방법들 중 어느 하나를 특정할 수 있다. 일예로, 상기 병합 인덱스 정보의 값이 0인 경우, 이는 현재 블록에 휘도 보상이 적용되지 않음을 나타낼 수 있다. 상기 병합 인덱스 정보는 표 8과 같이 시그날링될 수 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
cu_ic_idx ae(v)
...
}
표 8을 참조하면, cu_ic_idx는 전술한 병합 인덱스 정보의 일예로서, 현재 블록에 휘도 보상이 적용되는지 여부 및/또는 복수의 보정 방법들 중 어느 하나를 특정할 수 있다. 또한, cu_ic_idx는 sps_illumination_compensation_enabled_flag가 휘도 보상이 가용함을 나타내는 경우(즉, sps_illumination_compensation_enabled_flag가 1인 경우)에 한하여 시그날링될 수 있다.
또는, 현재 블록의 예측 샘플을 보정하기 위해 상기 제1 보정 방법이 사용되는지 여부를 나타내는 플래그(이하, 제4 플래그라 함)가 추가적으로 이용될 수도 있다.
예를 들어, 제4 플래그가 0인 경우, 상기 제1 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다. 반면, 제4 플래그가 1인 경우, 상기 제2 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다. 또는, 제4 플래그가 0인 경우, 상기 제1 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다. 반면, 제4 플래그가 1인 경우, 상기 제3 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다. 또는, 제4 플래그가 0인 경우, 상기 제1 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다. 반면, 제4 플래그가 1인 경우, 상기 제4 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다. 또는, 제4 플래그가 0인 경우, 상기 제1 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다. 반면, 제4 플래그가 1인 경우, 상기 제5 보정 방법에 따라 예측 샘플에 대한 보정이 수행될 수 있다.
일예로, 제4 플래그는 표 9와 같이 시그날링될 수 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
cu_ic_flag ae(v)
cu_weighted_ic_flag
if(cu_ic_flag)
cu_ic_idx ae(v)
...
}
표 9를 참조하면, cu_ic_flag는 현재 블록에 휘도 보상이 적용되는지 여부를 나타내는 제2 플래그의 일예이다. cu_weighted_ic_flag는 전술한 제4 플래그의 일예로서, 현재 블록의 예측 샘플이 상기 제1 보정 방법에 의해 보정되는지 여부를 나타낼 수 있다. cu_ic_idx는 디코딩 장치에 기-정의된 복수의 모드들 중 어느 하나를 특정할 수 있다. cu_weighted_ic_flag의 값에 따라, 시그날링되는 cu_ic_idx의 크기는 상이할 수 있다.
또는, 상기 제4 플래그가 이용되는 경우에도, 현재 블록에 휘도 보상이 적용되는지 여부를 나타내는 제2 플래그와 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(즉, 병합 인덱스 정보)가 이용될 수도 있다.
coding_unit(　) { Descriptor
...
if( sps_illumination_compensation_enabled_flag )
cu_ic_idx ae(v)
cu_weighted_ic_flag
...
}
표 10을 참조하면, cu_ic_idx는 전술한 병합 인덱스 정보의 일예로서, 현재 블록에 휘도 보상이 적용되는지 여부 및/또는 복수의 모드들 중 어느 하나를 특정할 수 있다. 또한, cu_weighted_ic_flag는 상기 제4 플래그의 일예로서, 현재 블록의 예측 샘플을 보정하기 위해 상기 제1 보정 방법이 이용되는지 여부를 나타낼 수 있으며, 이는 앞서 살펴본 바와 같으므로 자세한 설명은 생략하기로 한다. cu_ic_idx와 cu_weighted_ic_flag는 sps_illumination_compensation_enabled_flag가 휘도 보상이 가용함을 나타내는 경우(즉, sps_illumination_compensation_enabled_flag가 1인 경우)에 한하여 시그날링될 수 있다.
또는, 현재 블록의 예측 샘플을 보정하기 위해 상기 제1 보정 방법이 사용되는지 여부는, 상기 제4 플래그의 시그날링없이, 블록 크기/형태, 예측 모드, 인터 모드의 타입, 분할 타입, 변환 타입 등과 같은 현재 블록 및/또는 주변 블록의 부호화 정보에 기초하여 묵시적으로 결정될 수도 있다.
현재 블록의 보정된 예측 샘플과 현재 블록의 잔여 샘플을 기반으로 현재 블록을 복원할 수 있다.
본 개시에 따른 실시예에서는, 소정의 파라미터를 기반으로, 현재 블록의 예측 샘플을 보정하는 것을 기술하나, 이에 한정되지 아니한다. 즉, 전술한 방법을 통해 획득된 파라미터는 현재 블록의 복원 샘플에 적용될 수도 있고, 여기서 복원 샘플은 인루프 필터가 적용되지 않은 복원 샘플을 의미할 수도 있고, 디블록킹 필터, 적응적 샘플 오프셋, 또는 적응적 루프 필터 중 적어도 하나가 적용된 복원 샘플을 의미할 수도 있다.
도 5 및 도 6은 본 개시의 일실시예에 따른 파라미터를 유도하기 위해 선택된 참조 영역 내 샘플의 위치를 도시한 것이다.
현재 블록의 예측 샘플을 보정하기 위한 파라미터는, 참조 영역에 속한 모든 샘플들을 이용하여 유도될 수도 있고, 참조 영역에 속한 샘플들 중 하나 또는 그 이상의 일부 샘플들을 이용하여 유도될 수 있다. 후술하는 실시예에서는, 참조 영역이 현재 블록 및/또는 참조 블록의 좌측 주변 영역, 상단 주변 영역 및 좌상단 주변 영역으로 구성된 경우를 가정한다. 참조 영역에 속한 샘플들 중에서, 상기 파라미터를 유도하기 위해 이용되는 샘플을 참조 샘플이라 부르기로 한다.
참조 영역에 속한 모든 샘플들 외에, 우상단 주변 영역 또는 좌하단 주변 영역 중 적어도 하나에 속한 샘플이 참조 샘플로 더 이용될 수 있다(실시예 2-A).
일예로, 도 5(a)에 도시된 바와 같이, 상기 파라미터는, 좌측 주변 영역, 상단 주변 영역, 좌상단 주변 영역, 우상단 주변 영역 및 좌하단 주변 영역에 속한 샘플들을 참조 샘플로 이용하여 유도될 수 있다. 다만, 우상단 주변 영역 및 좌하단 주변 영역에 속한 샘플들은, 해당 샘플이 속한 주변 영역이 가용한 경우에 한하여 이용될 수 있다. 또는, 해당 샘플이 속한 주변 영역이 가용하지 않은 경우, 해당 샘플은 가용한 주변 영역의 샘플을 기반으로 대체될 수 있다. 예를 들어, 우상단 주변 영역이 가용하지 않은 경우, 우상단 주변 영역에 속한 샘플은 상단 주변 영역에 속한 샘플들 중 적어도 하나를 기반으로 대체될 수 있다. 좌하단 주변 영역이 가용하지 않은 경우, 좌하단 주변 영역에 속한 샘플은 좌측 주변 영역에 속한 샘플들 중 적어도 하나를 기반으로 대체될 수 있다.
또는, 참조 영역에 속한 모든 샘플들을 참조 샘플로 이용하되, 우상단 주변 영역 및 좌하단 주변 영역에 속한 샘플들은 참조 샘플로 이용되지 않을 수 있다(실시예 2-B).
일예로, 도 5(b)에 도시된 바와 같이, 상기 파라미터는, 좌측 주변 영역, 상단 주변 영역, 좌상단 주변 영역, 우상단 주변 영역 및 좌하단 주변 영역에 속한 샘플들을 참조 샘플로 이용하여 유도될 수 있다. 여기서, 좌측 주변 영역의 높이는 현재 블록의 높이보다 크지 않도록 제한될 수 있다. 마찬가지로, 상단 주변 영역의 너비는 현재 블록의 너비보다 크지 않도록 제한될 수 있다.
또는, 참조 영역에 속한 샘플들 중 하나 또는 그 이상의 일부 샘플들만을 참조 샘플로 이용할 수 있다(실시예 2-C).
일예로, 도 5(c)에 도시된 바와 같이, 참조 영역에 속한 샘플들 중에서, 좌측 주변 영역의 일부 샘플, 상단 주변 영역의 일부 샘플, 및 좌상단 주변 영역에 속한 샘플이 참조 샘플로 선택될 수 있고, 상기 파라미터는 선택된 샘플들을 이용하여 유도될 수 있다. 여기서, 좌측 주변 영역의 일부 샘플은, 좌측 주변 영역의 최상단 샘플에서부터 N개의 연속적인 샘플들을 포함할 수 있다. N은 현재 블록의 높이보다 작을 수 있다. 상단 주변 영역의 일부 샘플은, 상단 주변 영역의 최좌측 샘플에서부터 M개의 연속적인 샘플들을 포함할 수 있다. M은 현재 블록의 너비보다 작을 수 있다. N과 M은 0보다 크거나 같은 정수일 수 있으며, N과 M은 동일하거나 서로 상이할 수 있다.
한편, 도 5(a) 내지 (c)의 실시예에서는 현재 블록 및/또는 참조 블록의 좌상단 주변 영역에 속한 샘플이 참조 샘플로 이용되는 것으로 도시된다. 다만, 이는 일예에 불과하며, 좌상단 주변 영역은 참조 영역에서 제외될 수 있고, 좌상단 주변 영역에 속한 샘플은 참조 샘플로 이용되지 않도록 설정될 수도 있다.
또는, 참조 영역에 속한 샘플들 중에서, 서브샘플링을 통해 균등한 간격(uniform interval)으로 선택된 하나 또는 그 이상의 일부 샘플들이 참조 샘플로 이용될 수 있다(실시예 2-D).
구체적으로, 서브샘플링 비율(subsampling ratio)이 2이고, 현재 블록의 너비와 높이가 각각 4인 경우, 상단 주변 영역에서 2개의 샘플을, 좌측 주변 영역에서 2개의 샘플을 각각 선택할 수 있다. 또는, 서브샘플링 비율이 2이고, 현재 블록의 너비와 높이가 각각 8인 경우, 상단 주변 영역에서 4개의 샘플을, 좌측 주변 영역에서 4개의 샘플을 각각 선택할 수 있다.
일예로, 도 5(d)에 도시된 바와 같이, 소정의 서브샘플링 비율에 따라, 참조 영역 내에서 균등한 간격으로 서브샘플링된 샘플들이 참조 샘플로 이용될 수 있다. 상기 서브샘플링 비율은, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것일 수 있다. 또는, 상기 서브샘플링 비율을 특정하는 정보가 비트스트림을 통해 시그날링될 수도 있다. 예를 들어, 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
또는, 참조 영역에 속한 샘플들 중에서, 비균등한 간격(non-uniform interval)으로 선택된 하나 또는 그 이상의 일부 샘플들이 참조 샘플로 이용될 수도 있다(실시예 2-E).
일예로, 도 5(e)에 도시된 바와 같이, 참조 영역 내에서 비균등한 간격으로 선택된 샘플들이 참조 샘플로 이용될 수 있다.
구체적으로, 참조 영역에 속한 샘플의 값과 소정의 문턱값을 비교하여, 상기 문턱값보다 큰 값을 가진 샘플을 선택할 수 있고, 선택된 샘플을 참조 샘플로 이용하여 상기 파라미터를 유도할 수 있다. 반대로, 참조 영역에 속한 샘플의 값과 소정의 문턱값을 비교하여, 상기 문턱값보다 작거나 같은 값을 가진 샘플을 선택할 수 있고, 선택된 샘플을 참조 샘플로 이용하여 상기 파라미터를 유도할 수도 있다.
상기 문턱값은, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것일 수 있다. 또는, 상기 문턱값을 특정하는 정보가 비트스트림을 통해 시그날링될 수도 있다. 예를 들어, 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
또는, 참조 영역에 속한 샘플들 중에서, 하나 또는 그 이상의 대표 샘플들만을 참조 샘플로 이용할 수 있다(실시예 2-F).
여기서, 대표 샘플은, 참조 영역 내 모든 샘플들 또는 참조 영역 내 가용한 샘플들 중에서, 최대값 및/또는 최소값을 가진 샘플을 의미할 수 있다. 상기 참조 영역 내 가용한 샘플들은, 전술한 실시예에 따라 선택된 일부 샘플들일 수 있다. 또는, 상기 대표 샘플은 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 위치의 샘플을 의미할 수 있다. 예를 들어, 상기 대표 샘플은, 상단 주변 영역의 최좌측 샘플, 상단 주변 영역의 최우측 샘플, 상단 주변 영역의 중앙 샘플, 좌측 주변 영역의 최상단 샘플, 좌측 주변 영역의 최하단 샘플, 또는 좌측 주변 영역의 중앙 샘플 중 적어도 하나를 포함할 수 있다. 한편, 상기 대표 샘플의 개수는 K개로 제한될 수 있으며, 여기서 K는 2, 4, 6 또는 그 이상일 수 있다.
일예로, 도 5(f)에 도시된 바와 같이, 참조 영역 내 샘플들 중에서, 2개의 샘플 즉, 최대값을 가진 샘플 및 최소값을 가진 샘플이 참조 샘플로 선택될 수 있다. 다만, 이에 한정되지 아니하며, 최대값을 가진 상위 2개 또는 그 이상의 샘플들 및 최소값을 하위 2개 또는 그 이상의 샘플들이 참조 샘플로 선택될 수도 있다.
전술한 실시예 2-A 내지 2-F 중 어느 하나에 기초하여, 참조 영역 내 하나 또는 그 이상의 참조 샘플들이 결정/선택될 수 있다. 또는, 전술한 실시예 2-A 내지 2-F 중 적어도 둘의 조합에 기초하여, 참조 영역 내 하나 또는 그 이상의 참조 샘플들이 결정/선택될 수 있다.
전술한 실시예 2-A 내지 2-F 중 어느 하나를 선택적으로 이용하여, 참조 영역 내 하나 또는 그 이상의 참조 샘플들이 결정/선택될 수도 있다.
예를 들어, 참조 영역 내 참조 샘플은 현재 블록의 크기에 기초하여 결정/선택될 수 있다. 여기서, 현재 블록의 크기는 너비, 높이, 너비와 높이의 최대값/최소값/평균값, 너비와 높이의 곱, 또는 너비와 높이의 합을 의미할 수 있다.
구체적으로, 현재 블록의 크기가 소정의 문턱개수보다 작은 경우, 참조 영역에 속한 모든 샘플이 참조 샘플로 결정될 수 있다. 이 경우, 도 5(a)에 도시된 바와 같이, 상기 파라미터는 참조 영역에 속한 샘플들뿐만 아니라, 우상단 주변 영역 또는 좌하단 주변 영역 중 적어도 하나에 속한 샘플을 참조 샘플로 더 이용하여 유도될 수 있다. 또는, 도 5(b)에 도시된 바와 같이, 상기 파라미터는, 참조 영역에 속한 모든 샘플들을 참조 샘플로 이용하여 유도하되, 우상단 주변 영역 및 좌하단 주변 영역에 속한 샘플들은 참조 샘플로 이용되지 않을 수 있다.
반면, 현재 블록의 크기가 소정의 문턱개수보다 크거나 같은 경우, 참조 영역에 속한 샘플들 중 일부 샘플만이 참조 샘플로 선택될 수 있다. 이 경우, 도 5(c)에 도시된 바와 같이, 참조 영역에 속한 샘플들 중에서, 좌측 주변 영역의 일부 샘플, 상단 주변 영역의 일부 샘플, 및 좌상단 주변 영역에 속한 샘플이 참조 샘플로 선택될 수 있다. 또는, 도 5(d)에 도시된 바와 같이, 소정의 서브샘플링 비율에 따라, 참조 영역 내에서 균등한 간격으로 서브샘플링된 샘플들이 참조 샘플로 선택될 수 있다. 또는, 도 5(e)에 도시된 바와 같이, 참조 영역 내에서 비균등한 간격으로 선택된 샘플들이 참조 샘플로 선택될 수 있다. 또는, 도 5(f)에 도시된 바와 같이, 참조 영역 내 샘플들 중에서, 2개의 샘플 즉, 최대값을 가진 샘플 및 최소값을 가진 샘플이 참조 샘플로 선택될 수 있다.
여기서, 문턱개수는, 파라미터를 유도하기 위해 이용 가능한 샘플 즉, 참조 샘플의 최대 개수를 의미할 수 있다. 상기 문턱개수는, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것일 수 있다. 또는, 상기 문턱개수를 특정하는 정보가 비트스트림을 통해 시그날링될 수도 있다. 예를 들어, 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
도 6을 참조하면, 참조 영역은, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 또는 제2 샘플 라인 중 적어도 하나를 포함할 수 있다.
도 6(a)에 도시된 바와 같이, 참조 영역은, 현재 블록 및/또는 참조 블록의 제1 샘플 라인으로 구성될 수 있다. 참조 영역 내 참조 샘플은, 현재 블록 및/또는 참조 블록의 제1 샘플 라인에서 선택될 수 있다(실시예 3-A).
또는, 도 6(b)에 도시된 바와 같이, 참조 영역은, 현재 블록 및/또는 참조 블록의 제2 샘플 라인으로 구성될 수 있다. 참조 영역 내 참조 샘플은, 현재 블록 및/또는 참조 블록의 제2 샘플 라인에서 선택될 수 있다(실시예 3-B).
또는, 도 6(c)에 도시된 바와 같이, 참조 영역은, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 및 제2 샘플 라인으로 구성될 수 있다. 참조 영역 내 참조 샘플은, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 및 제2 샘플 라인에서 선택될 수 있다(실시예 3-C).
도 6(b)와 도 6(c)에서는, 참조 영역이 1개의 제2 샘플 라인을 포함하는 것으로 도시되나, 이는 일예에 불과하며, 참조 영역은 2개, 3개, 4개 또는 그 이상의 제2 샘플 라인을 포함할 수도 있다. 또한, 도 6(b)와 도 6(c)에서, 제2 샘플 라인은 상기 제1 샘플 라인에 인접한 것일 수도 있고, 상기 제1 샘플 라인에 인접하지 않은 것일 수도 있다.
전술한 실시예 3-A 내지 3-C 중 어느 하나에 기초하여, 가용한 참조 영역의 범위가 설정될 수 있다. 또는, 전술한 실시예 3-A 내지 3-C 중 적어도 둘의 조합에 기초하여, 가용한 참조 영역의 범위가 설정될 수도 있다.
전술한 실시예 3-A 내지 3-C 중 어느 하나를 선택적으로 이용하여, 가용한 참조 영역의 범위가 적응적으로 결정될 수도 있다.
상기 선택은, 디코딩 장치에 기-정의된 복수의 후보 참조 영역들 중 어느 하나를 특정하는 정보를 기반으로 수행될 수 있다. 여기서, 복수의 후보 참조 영역들은, 전술한 실시예 3-A 내지 3-C에 따른 참조 영역들 중 적어도 둘을 포함할 수 있다. 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
또는, 현재 블록 및/또는 주변 블록의 부호화 정보에 기초하여, 상기 복수의 후보 참조 영역들 중 어느 하나가 묵시적으로 선택될 수도 있다.
예를 들어, 현재 블록의 크기에 기초하여 상기 복수의 후보 참조 영역들 중 어느 하나가 선택되고, 선택된 후보 참조 영역을 기반으로 가용한 참조 영역의 범위가 결정될 수 있다. 여기서, 현재 블록의 크기는 너비, 높이, 너비와 높이의 최대값/최소값/평균값, 너비와 높이의 곱, 또는 너비와 높이의 합을 의미할 수 있다.
구체적으로, 현재 블록의 크기가 소정의 문턱개수보다 큰 경우, 현재 블록 및/또는 참조 블록의 제1 샘플 라인으로 구성된 참조 영역이 선택될 수 있다. 또는, 현재 블록의 크기가 소정의 문턱개수보다 큰 경우, 현재 블록 및/또는 참조 블록의 제2 샘플 라인으로 구성된 참조 영역이 선택될 수 있다. 반면, 현재 블록의 크기가 소정의 문턱개수보다 작거나 같은 경우, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 및 제2 샘플 라인으로 구성된 참조 영역이 선택될 수 있다.
여기서, 문턱개수는, 파라미터를 유도하기 위해 필요한 참조 샘플의 최소 개수를 의미할 수 있다. 상기 문턱개수는, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것일 수 있다. 또는, 상기 문턱개수를 특정하는 정보가 비트스트림을 통해 시그날링될 수도 있다. 예를 들어, 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
또는, 소정의 문턱값에 기초하여, 가용한 참조 영역의 범위가 적응적으로 결정될 수도 있다.
구체적으로, 현재 블록 및/또는 참조 블록의 제1 샘플 라인에서 상기 문턱값보다 큰 값을 가진 샘플이 참조 샘플로 선택될 수 있다. 선택된 참조 샘플의 개수가 소정의 문턱개수보다 작거나 같은 경우, 상기 제1 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 반면, 선택된 참조 샘플의 개수가 소정의 문턱개수보다 큰 경우, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 및 제2 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 이 경우, 추가적으로 상기 제2 샘플 라인에서 상기 문턱값보다 큰 값을 가진 샘플이 참조 샘플로 선택될 수 있다.
또는, 현재 블록 및/또는 참조 블록의 제2 샘플 라인에서 상기 문턱값보다 큰 값을 가진 샘플이 참조 샘플로 선택될 수 있다. 선택된 참조 샘플의 개수가 소정의 문턱개수보다 작거나 같은 경우, 상기 제2 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 반면, 선택된 참조 샘플의 개수가 소정의 문턱개수보다 큰 경우, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 및 제2 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 이 경우, 추가적으로 상기 제1 샘플 라인에서 상기 문턱값보다 큰 값을 가진 샘플이 참조 샘플로 선택될 수 있다.
또는, 현재 블록 및/또는 참조 블록의 제1 샘플 라인에서 상기 문턱값보다 작거나 같은 값을 가진 샘플이 참조 샘플로 선택될 수 있다. 선택된 참조 샘플의 개수가 소정의 문턱개수보다 작거나 같은 경우, 상기 제1 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 반면, 선택된 참조 샘플의 개수가 소정의 문턱개수보다 큰 경우, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 및 제2 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 이 경우, 추가적으로 상기 제2 샘플 라인에서 상기 문턱값보다 작거나 같은 값을 가진 샘플이 참조 샘플로 선택될 수 있다.
또는, 현재 블록 및/또는 참조 블록의 제2 샘플 라인에서 상기 문턱값보다 작거나 같은 값을 가진 샘플이 참조 샘플로 선택될 수 있다. 선택된 참조 샘플의 개수가 소정의 문턱개수보다 작거나 같은 경우, 상기 제2 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 반면, 선택된 참조 샘플의 개수가 소정의 문턱개수보다 큰 경우, 현재 블록 및/또는 참조 블록의 제1 샘플 라인 및 제2 샘플 라인이 가용한 참조 영역으로 결정될 수 있다. 이 경우, 추가적으로 상기 제1 샘플 라인에서 상기 문턱값보다 작거나 같은 값을 가진 샘플이 참조 샘플로 선택될 수 있다.
여기서, 문턱값은, 파라미터를 유도하기 위해 이용 가능한 샘플의 최소값 또는 최대값을 의미할 수 있다. 상기 문턱개수는, 파라미터를 유도하기 위해 필요한 참조 샘플의 최소 개수를 의미할 수 있다. 상기 상기 문턱값 또는 문턱개수 중 적어도 하나는, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것일 수 있다. 또는, 상기 문턱값 또는 문턱개수 중 적어도 하나를 특정하는 정보가 비트스트림을 통해 시그날링될 수도 있다. 예를 들어, 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
도 7은 본 개시의 일실시예에 따른 복수의 모드들을 도시한 것이다.
본 실시예에서는, 복수의 모드들을 기반으로 현재 블록의 예측 샘플을 보정하는 경우를 기술한다. 또한 복수의 모드들을 정의하기 위해 사용되는 참조 화소를 위치 기반으로 선택하는 방법을 기술한다. 상기 실시예에서의 파라미터는 픽쳐, 타일, 슬라이스, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 서브-코딩 유닛(sub-CU) 등 다양한 레벨에서 생성될 수 있으나, 여기서는 CU인 현재 블록을 기준으로 기술한다. 자명하게도 본 실시예에서 기술하는 내용들은 다른 레벨에도 적용될 수 있다.
앞서 살펴본 바와 같이, 휘도 보상의 정도는 파라미터 즉, 가중치(a)와 오프셋(b)의 값에 의존하게 된다. 즉, 현재 블록과 그에 대응되는 참조 블록의 주변 샘플들을 기반으로 하나의 파라미터 (a, b)를 유도한 경우, 휘도 보상 또한 하나의 형태로만 이루어진다. 이 때, 주변 샘플들로부터 하나 또는 그 이상의 파라미터를 유도한다면, 휘도 보상 또한 보다 다양한 형태로 수행할 수 있다.
파라미터를 유도하기 위한 참조 영역은, 디코딩 장치에 기-정의된 복수의 모드들 중 적어도 하나에 기초하여 결정될 수 있다. 복수의 모드들은 N개의 모드들을 포함할 수 있고, N은 2, 3, 4, 또는 그 이상의 정수일 수 있다. 다만, 설명의 편의를 위해, 본 실시예에서는 복수의 모드들이 3개의 모드들 즉, 제1 모드, 제2 모드, 및 제3 모드를 포함함을 가정한다. 즉, 복수의 모드들을 정의하기 위해, 현재 블록 및/또는 참조 블록의 주변 샘플들(이하, 주변 영역이라 함)을 3개의 그룹으로 나눌 수 있으며, 이하 주변 영역을 나누는 방법에 대해서 자세히 살펴보기로 한다.
현재 블록 및/또는 참조 블록의 주변 영역은, 중복 분할(overlapped division) 기반의 3개의 영역으로 구분될 수 있다(실시예 4-A).
예를 들어, 제1 모드는, 좌상단 주변 영역에 속한 적어도 하나의 샘플을 포함한 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 일예로, 도 7(a-1)에 도시된 바와 같이, 제1 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 상단 주변 영역, 좌측 주변 영역 및 좌상단 주변 영역으로 구성될 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비와 같거나 클 수 있고, 좌측 주변 영역의 높이는 현재 블록의 높이와 같거나 클 수 있다.
제2 모드는, 상단 주변 영역에 속한 적어도 하나의 샘플을 포함하고, 좌상단 주변 영역에 속한 적어도 하나의 샘플을 포함하지 않는 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 일예로, 도 7(a-2)에 도시된 바와 같이, 제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 상단 주변 영역으로 구성될 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비와 같거나 클 수 있다. 상기 제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 우상단 주변 영역을 더 포함할 수도 있다.
제3 모드는, 좌측 주변 영역에 속한 적어도 하나의 샘플을 포함하고, 좌상단 주변 영역에 속한 적어도 하나의 샘플을 포함하지 않는 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 일예로, 도 7(a-3)에 도시된 바와 같이, 제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 좌측 주변 영역으로 구성될 수 있다. 여기서, 좌측 주변 영역의 높이는 현재 블록의 높이와 같거나 클 수 있다. 상기 제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 좌하단 주변 영역을 더 포함할 수도 있다.
상기 복수의 모드들은 실시예 4-A에 따른 제1 내지 제3 모드들을 모두 포함할 수도 있고, 제1 내지 제3 모드들 중 적어도 둘을 포함할 수도 있다.
또는, 현재 블록 및/또는 참조 블록의 주변 영역은, 비-중복 분할(non-overlapped division) 기반의 3개의 영역으로 구분될 수 있다(실시예 4-B).
예를 들어, 제1 모드는, 좌상단 주변 영역에 속한 적어도 하나의 샘플을 포함한 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 일예로, 도 7(b-1)에 도시된 바와 같이, 제1 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 상단 주변 영역, 좌측 주변 영역 및 좌상단 주변 영역으로 구성될 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비보다 작거나 같을 수 있다.
제2 모드는, 상단 주변 영역에 속한 적어도 하나의 샘플을 포함하고, 좌상단 주변 영역에 속한 적어도 하나의 샘플을 포함하지 않는 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 일예로, 도 7(b-2)에 도시된 바와 같이, 제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 상단 주변 영역으로 구성될 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비보다 작거나 같을 수 있다. 만일 제1 모드에서의 상단 주변 영역의 너비(nW1)가 N이라면, 제2 모드에서의 상단 주변 영역의 너비(nW2)는 현재 블록의 너비(nWcur)에서 N을 차분한 값과 같거나 작을 수 있다. N은 0보다 크거나 같고, nWcur보다 작거나 같은 정수일 수 있다. 상기 제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 우상단 주변 영역을 더 포함할 수도 있다.
제3 모드는, 좌측 주변 영역에 속한 적어도 하나의 샘플을 포함하고, 좌상단 주변 영역에 속한 적어도 하나의 샘플을 포함하지 않는 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 일예로, 도 7(b-3)에 도시된 바와 같이, 제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 좌측 주변 영역으로 구성될 수 있다. 여기서, 좌측 주변 영역의 높이는 현재 블록의 높이보다 작거나 같을 수 있다. 만일 제1 모드에서의 좌측 주변 영역의 높이(nH1)가 M이라면, 제2 모드에서의 좌측 주변 영역의 높이(nH2)는 현재 블록의 높이(nHcur)에서 M을 차분한 값과 같거나 작을 수 있다. M은 0보다 크거나 같고, nHcur보다 작거나 같은 정수일 수 있다. 상기 제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 좌하단 주변 영역을 더 포함할 수도 있다.
상기 복수의 모드들은 실시예 4-B에 따른 제1 내지 제3 모드들을 모두 포함할 수도 있고, 제1 내지 제3 모드들 중 적어도 둘을 포함할 수도 있다.
현재 블록 및/또는 참조 블록의 주변 영역은, 중복 분할(overlapped division) 기반의 3개의 영역으로 구분될 수 있다(실시예 4-C). 실시예 4-C에 따른 주변 영역은, 실시예 4-A에 따른 주변 영역과 달리, 현재 블록 및/또는 참조 블록의 좌상단 주변 영역의 샘플을 포함하지 않을 수 있다.
도 7 (c-1)은 제1 모드에 관한 것으로서, 이는 현재 블록 및/또는 참조 블록의 주변 영역 모두를 참조 영역으로 사용할 수 있다.
예를 들어, 제1 모드는, 좌측 주변 영역에 속한 적어도 하나의 샘플과 상단 주변 영역에 속한 적어도 하나의 샘플을 포함한 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 도 7(c-1)에 도시된 바와 같이, 제1 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 상단 주변 영역 및 좌측 주변 영역으로 구성될 수 있다. 제1 모드와 같이, 상단 및 좌측의 샘플을 선택하는 경우, 현재 블록 및/또는 참조 블록의 너비와 높이의 크기를 그대로 사용할 수도 있고, 현재 블록 및/또는 참조 블록의 너비와 높이 중 큰 값 또는 작은 값을 사용할 수도 있다. 다시 말해, 상단 주변 영역의 너비는 현재 블록의 너비와 같고, 좌측 주변 영역의 높이는 현재 블록의 높이와 같을 수 있다. 또는, 상단 주변 영역의 너비와 좌측 주변 영역의 높이는, 현재 블록의 너비와 높이 중 최대값 또는 최소값에 기초하여 결정될 수 있다. 이 경우, 상단 주변 영역의 너비는 현재 블록의 너비보다 작거나 클 수 있고, 좌측 주변 영역의 높이는 현재 블록의 높이보다 작거나 클 수 있다. 또는, 현재 블록 및/또는 참조 블록의 너비와 높이에 관계없이, 상단 주변 영역의 너비와 좌측 주변 영역의 높이가 서로 동일한 크기를 가지도록 설정될 수도 있다. 즉, 현재 블록 및/또는 참조 블록이 비정방형인 경우라도, 상단 주변 영역의 너비와 좌측 주변 영역의 높이가 서로 동일할 수 있으며, 이때, 상단 주변 영역의 너비와 좌측 주변 영역의 높이는, 현재 블록 및/또는 참조 블록의 너비와 높이 중 최대값 또는 최소값에 기초하여 결정될 수 있다.
도 7 (c-2)는 제2 모드에 관한 것으로서, 이는 현재 블록 및/또는 참조 블록의 좌측 주변 영역을 참조 영역으로 사용할 수 있다.
예를 들어, 제2 모드는, 좌측 주변 영역에 속한 적어도 하나의 샘플을 포함하고, 상단 주변 영역에 속한 샘플을 포함하지 않는 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 도 7(c-2)에 도시된 바와 같이, 제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 좌측 주변 영역으로 구성될 수 있다. 여기서, 좌측 주변 영역의 높이는 현재 블록의 높이와 같을 수 있다. 또는, 좌측 주변 영역의 높이는 현재 블록의 높이보다 작거나 클 수 있다. 상기 좌측 주변 영역은 제1 샘플 라인 및 적어도 하나의 제2 샘플 라인을 포함할 수 있다. 또는, 상기 좌측 주변 영역은 제1 샘플 라인을 포함하고, 제2 샘플 라인을 포함하지 않을 수도 있다. 상기 제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 좌하단 주변 영역에 속한 적어도 하나의 샘플을 더 포함할 수 있다. 제2 모드의 참조 영역은, 상기 제1 모드의 참조 영역에 속한 샘플의 개수와 동일한 개수의 샘플을 가지도록 설정/제한될 수 있다.
도 7 (c-3)은 제3 모드에 관한 것으로서, 이는 현재 블록 및/또는 참조 블록의 상단 주변 영역을 참조 영역으로 사용할 수 있다.
예를 들어, 제3 모드는, 상단 주변 영역에 속한 적어도 하나의 샘플을 포함하고, 좌측 주변 영역에 속한 샘플을 포함하지 않는 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 도 7(c-3)에 도시된 바와 같이, 제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 상단 주변 영역으로 구성될 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비와 같을 수 있다. 또는, 상단 주변 영역의 너비는 현재 블록의 너비보다 작거나 클 수 있다. 상기 상단 주변 영역은 제1 샘플 라인 및 적어도 하나의 제2 샘플 라인을 포함할 수 있다. 또는, 상기 상단 주변 영역은 제1 샘플 라인을 포함하고, 제2 샘플 라인을 포함하지 않을 수 있다. 상기 제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 우상단 주변 영역에 속한 적어도 하나의 샘플을 더 포함할 수 있다. 제3 모드의 참조 영역은, 상기 제1 모드의 참조 영역에 속한 샘플의 개수와 동일한 개수의 샘플을 가지도록 설정/제한될 수 있다.
상기 복수의 모드들은 실시예 4-C에 따른 제1 내지 제3 모드들을 모두 포함할 수도 있고, 제1 내지 제3 모드들 중 적어도 둘을 포함할 수도 있다.
또는, 현재 블록 및/또는 참조 블록의 주변 영역은, 비-중복 분할(non-overlapped division) 기반의 3개의 영역으로 구분될 수 있다(실시예 4-D). 실시예 4-D에 따른 주변 영역은, 실시예 4-B에 따른 주변 영역과 달리, 주변 영역을 구성하는 샘플 라인의 위치를 고려하여 3개의 영역으로 구분될 수 있다.
도 7 (d-1)은 제1 모드에 관한 것으로서, 이는 현재 블록 및/또는 참조 블록에 인접한 주변 샘플들을 참조 영역으로 사용할 수 있다.
예를 들어, 제1 모드는, 현재 블록 및/또는 참조 블록의 제1 샘플 라인에 속한 적어도 하나의 샘플을 포함한 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 도 7(d-1)에 도시된 바와 같이, 제1 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 제1 샘플 라인에 속하는 것으로서, 현재 블록 및/또는 참조 블록의 상단 주변 영역 또는 좌측 주변 영역 중 적어도 하나에 속한 샘플을 포함할 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비와 같고, 좌측 주변 영역의 높이는 현재 블록의 높이와 같을 수 있다. 또는, 상단 주변 영역의 너비와 좌측 주변 영역의 높이는, 현재 블록의 너비와 높이 중 최대값 또는 최소값에 기초하여 결정될 수 있다. 이 경우, 상단 주변 영역의 너비는 현재 블록의 너비보다 작거나 클 수 있고, 좌측 주변 영역의 높이는 현재 블록의 높이보다 작거나 클 수 있다.
제1 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 제1 샘플 라인과 동일한 샘플 라인에 속하는 것으로서, 현재 블록 및/또는 참조 블록의 우상단 주변 영역 또는 좌하단 주변 영역 중 적어도 하나에 속한 샘플을 더 포함할 수도 있다.
도 7 (d-2)는 제2 모드에 관한 것으로서, 이는 현재 블록 및/또는 참조 블록으로부터 1-샘플만큼 떨어진 주변 샘플들을 참조 영역으로 사용할 수 있다.
예를 들어, 제2 모드는, 현재 블록 및/또는 참조 블록의 제2 샘플 라인에 속한 적어도 하나의 샘플을 포함한 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 여기서, 제2 모드에 따른 제2 샘플 라인은 제1 모드에 따른 제1 샘플 라인에 인접한 샘플 라인을 의미할 수 있다. 다만, 이에 한정되지 아니하며, 제2 모드에 따른 제2 샘플 라인은 현재 블록 및/또는 참조 블록으로부터 n-샘플의 거리만큼 떨어진 위치의 샘플 라인일 수 있으며, n은 2, 3, 4 또는 그 이상의 정수일 수 있다.
도 7(d-2)에 도시된 바와 같이, 제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 제2 샘플 라인에 속하는 것으로서, 현재 블록 및/또는 참조 블록의 상단 주변 영역 또는 좌측 주변 영역 중 적어도 하나에 속한 샘플을 포함할 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비와 같고, 좌측 주변 영역의 높이는 현재 블록의 높이와 같을 수 있다. 또는, 상단 주변 영역의 너비와 좌측 주변 영역의 높이는, 현재 블록의 너비와 높이 중 최대값 또는 최소값에 기초하여 결정될 수 있다. 이 경우, 상단 주변 영역의 너비는 현재 블록의 너비보다 작거나 클 수 있고, 좌측 주변 영역의 높이는 현재 블록의 높이보다 작거나 클 수 있다.
제2 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 제2 샘플 라인과 동일한 샘플 라인에 속하는 것으로서, 현재 블록 및/또는 참조 블록의 우상단 주변 영역 또는 좌하단 주변 영역 중 적어도 하나에 속한 샘플을 더 포함할 수도 있다.
도 7 (d-3)은 제3 모드에 관한 것으로서, 이는 현재 블록 및/또는 참조 블록으로부터 2-샘플만큼 떨어진 주변 샘플들을 참조 영역으로 사용할 수 있다.
예를 들어, 제3 모드는, 현재 블록 및/또는 참조 블록의 제2 샘플 라인에 속한 적어도 하나의 샘플을 포함한 영역을 참조 영역으로 이용하는 모드를 의미할 수 있다. 여기서, 제3 모드에 따른 제2 샘플 라인은, 제1 모드에 따른 제1 샘플 라인에 인접하지 않고, 제2 모드에 따른 제2 샘플 라인에 인접한 샘플 라인을 의미할 수 있다. 다만, 이에 한정되지 아니하며, 제3 모드에 따른 제2 샘플 라인은, 현재 블록 및/또는 참조 블록으로부터 m-샘플의 거리만큼 떨어진 위치의 샘플 라인일 수 있으며, m은 2, 3, 4, 또는 그 이상의 정수일 수 있다.
도 7(d-3)에 도시된 바와 같이, 제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 제2 샘플 라인에 속하는 것으로서, 현재 블록 및/또는 참조 블록의 상단 주변 영역 또는 좌측 주변 영역 중 적어도 하나에 속한 샘플을 포함할 수 있다. 여기서, 상단 주변 영역의 너비는 현재 블록의 너비와 같고, 좌측 주변 영역의 높이는 현재 블록의 높이와 같을 수 있다. 또는, 상단 주변 영역의 너비와 좌측 주변 영역의 높이는, 현재 블록의 너비와 높이 중 최대값 또는 최소값에 기초하여 결정될 수 있다. 이 경우, 상단 주변 영역의 너비는 현재 블록의 너비보다 작거나 클 수 있고, 좌측 주변 영역의 높이는 현재 블록의 높이보다 작거나 클 수 있다.
제3 모드에 따른 참조 영역은, 현재 블록 및/또는 참조 블록의 제2 샘플 라인과 동일한 샘플 라인에 속하는 것으로서, 현재 블록 및/또는 참조 블록의 우상단 주변 영역 또는 좌하단 주변 영역 중 적어도 하나에 속한 샘플을 더 포함할 수도 있다.
상기 제1 모드 내지 제3 모드에 따른 상단 주변 영역의 너비는 모두 동일할 수 있다. 마찬가지로, 상기 제1 모드 내지 제3 모드에 따른 좌측 주변 영역의 높이는 모두 동일할 수 있다. 또는, 상기 제1 모드에 따른 상단 주변 영역의 너비는 상기 제2 모드에 따른 상단 주변 영역의 너비보다 작고, 상기 제2 모드에 따른 상단 주변 영역의 너비는 상기 제3 모드에 따른 상단 주변 영역의 너비보다 작을 수 있다. 마찬가지로, 상기 제1 모드에 따른 좌측 주변 영역의 높이는 상기 제2 모드에 따른 좌측 주변 영역의 높이보다 작고, 상기 제2 모드에 따른 좌측 주변 영역의 높이는 상기 제3 모드에 따른 좌측 주변 영역의 높이보다 작을 수 있다.
상기 복수의 모드들은 실시예 4-D에 따른 제1 내지 제3 모드들을 모두 포함할 수도 있고, 제1 내지 제3 모드들 중 적어도 둘을 포함할 수도 있다.
또는, 본 개시에 따른 복수의 모드들은, 실시예 4-A 내지 실시예 4-D에 따른 제1 내지 제3 모드들 중 적어도 둘을 포함할 수도 있다(실시예 4-E).
한편, 도 7(a)와 도 7(b)의 실시예에서는 현재 블록 및/또는 참조 블록의 좌상단 주변 영역이 참조 영역에 포함되는 것으로 도시되나, 이는 일예에 불과하다. 좌상단 주변 영역은 제1 모드에 따른 참조 영역에서 제외될 수도 있다.
또는, 현재 블록 및/또는 참조 블록의 주변 영역에 속한 샘플들은, 하나 또는 그 이상의 문턱값에 기초하여 둘 또는 그 이상의 그룹들로 그룹핑될 수 있다. 예를 들어, 1개의 문턱값(T1)이 이용되는 경우, 주변 영역에 속한 샘플들은 2개의 그룹으로 나누어질 수 있다. 여기서, 2개의 그룹 중 어느 하나는 T1보다 작거나 같은 샘플로 구성되고, 다른 하나는 T1보다 큰 샘플로 구성될 수 있다. 마찬가지로, 2개의 문턱값(T1, T2)이 이용되는 경우, 주변 영역에 속한 샘플들은, T1보다 작거나 같은 적어도 하나의 샘플로 구성된 제1 그룹, T1보다 크고 T2보다 작거나 같은 적어도 하나의 샘플로 구성된 제2 그룹, 및 T2보다 큰 적어도 하나의 샘플로 구성된 제3 그룹으로 나누어질 수 있다.
설명의 편의를 위해, 후술하는 실시예에서는 1개의 문턱값이 이용되는 경우를 가정한다. 이 경우, 주변 영역에 속한 샘플들은, 상기 문턱값보다 작거나 같은 적어도 하나의 샘플로 구성된 제1 그룹 및 상기 문턱값보다 큰 적어도 하나의 샘플로 구성된 제2 그룹으로 나누어질 수 있다. 이때, 복수의 모드들은 제1 그룹에 대응하는 제1 모드와 제2 그룹에 대응하는 제2 모드를 포함할 수 있다. 즉, 제1 모드는, 제1 그룹에 속한 적어도 하나의 샘플을 이용하여 파라미터를 유도하는 모드를 의미할 수 있고, 제2 모드는, 제2 그룹에 속한 적어도 하나의 샘플을 이용하여 파라미터를 유도하는 모드를 의미할 수 있다.
상기 문턱값은, 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 것일 수 있다. 또는, 상기 문턱값은, 현재 블록 및/또는 참조 블록의 주변 영역에 속한 샘플에 기초하여 유도될 수 있다. 일예로, 상기 문턱값은 주변 영역에 속한 샘플들의 평균값, 중간값, 최빈값 등으로 유도될 수 있다. 또는, 상기 문턱값을 특정하는 정보가 비트스트림을 통해 시그날링될 수도 있다. 예를 들어, 상기 정보는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 슬라이스 헤더(SH), CTU, 또는 CU 중 적어도 하나의 레벨에서 시그날링될 수 있다.
도 8은 본 개시의 일실시예에 따른 예측 샘플을 보정하는 방법을 도시한 것이다.
도 8(a)는 휘도 보상이 적용되는 영역을 도시한 것이다. 또는, 도 8(a)는 현재 블록의 예측 샘플이 보정되는 일부 영역을 도시한 것이다. 도 8(a)는 도 4를 참조하여 살펴본 제2 보정 방법에 따른 예측 샘플의 보정에 관한 것이다. 즉, 복수의 모드를 정의하기 위해 상이한 위치의 주변 영역이 이용될 수 있으며, 이 경우 참조 영역으로 이용되는 주변 영역의 위치를 고려하여, 해당 주변 영역과 연계성이 높은 영역에 대해서는 파라미터를 적용하고, 해당 주변 영역과 연계성이 낮은 영역에 대해서는 파라미터를 적용하지 않을 수 있다.
구체적으로, 도 8(a-1)은 파라미터 유도시, 상단 주변 블록의 샘플을 사용한 경우이고, 이 경우 현재 블록 내 상단에 인접한 영역에 대해서 휘도 보상을 적용한다. 도 8(a-1)은 현재 블록 및/또는 참조 블록의 상단 주변 영역이 참조 영역으로 이용되는 경우에 해당한다. 이 경우, 현재 블록은 하나 또는 그 이상의 수평 분할 라인에 의해 복수의 서브 영역으로 구분될 수 있다. 일예로, 상기 상단 주변 영역에 기초하여 유도되는 파라미터는, 현재 블록의 제1 서브 영역(800)에 속한 예측 샘플에 적용되고, 제2 서브 영역(801)에 속한 예측 샘플에 적용되지 않을 수 있다. 여기서, 제1 서브 영역(800)은 현재 블록의 상단 경계로부터의 P개의 샘플 행으로 구성될 수 있고, P는 현재 블록의 높이보다 작거나 같은 정수일 수 있다.
도 8(a-2)는 보상 파라미터 유도시, 좌측 주변 블록의 샘플을 사용한 경우이고, 이 경우 현재 블록 내 좌측에 인접한 영역에 대해서 휘도 보상을 적용한다. 도 8(a-2)은 현재 블록 및/또는 참조 블록의 좌측 주변 영역이 참조 영역으로 이용되는 경우에 해당한다. 이 경우, 현재 블록은 하나 또는 그 이상의 수직 분할 라인에 의해 복수의 서브 영역으로 구분될 수 있다. 일예로, 상기 좌측 주변 영역에 기초하여 유도되는 파라미터는, 현재 블록의 제1 서브 영역(802)에 속한 예측 샘플에 적용되고, 제2 서브 영역(803)에 속한 예측 샘플에 적용되지 않을 수 있다. 여기서, 제1 서브 영역(802)은 현재 블록의 좌측 경계로부터의 Q개의 샘플 열으로 구성될 수 있고, Q는 현재 블록의 너비보다 작거나 같은 정수일 수 있다.
상기 P와 Q의 값은 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 값일 수도 있고, 현재 블록의 크기, 형태, 또는 분할 타입 중 적어도 하나에 기초하여 가변적으로 결정될 수도 있다. 또는, P 및/또는 Q의 값을 특정하는 정보(즉, 수평 분할 라인 및/또는 수직 분할 라인의 위치를 특정하는 정보)가 비트스트림을 통해 시그날링될 수도 있다.
도 8(a-3)은 현재 블록에서 NxM 우하단 영역을 제외하고 좌측과 상단에 인접한 영역에 대해서 휘도 보상을 적용한다. 여기서, 휘도 보상이 적용되는 영역의 크기는 현재 블록의 크기에 따라서 가변적으로 결정될 수 있다. 여기서, N과 M의 값은 인코딩 장치와 디코딩 장치에 동일하게 기-정의된 값일 수도 있고, 현재 블록의 크기, 형태, 또는 분할 타입 중 적어도 하나에 기초하여 가변적으로 결정될 수도 있다. 또는, N 및 M의 값을 특정하는 정보(즉, 수평 분할 라인 및 수직 분할 라인의 위치를 특정하는 정보)가 비트스트림을 통해 시그날링될 수도 있다.
도 8(a-3)은 현재 블록 및/또는 참조 블록의 좌측 및 상단 주변 영역이 참조 영역으로 이용되는 경우에 해당한다. 다만, 본 실시예는 이에 한정되지 아니하며, 좌측 주변 영역 또는 상단 주변 영역 중 어느 하나가 참조 영역으로 이용되는 경우에도 적용될 수도 있다. 도 8(a-3)에 도시된 바와 같이, 현재 블록은 제1 서브 영역(804)과 제2 서브 영역(805)으로 구분될 수 있다. 상기 제1 서브 영역(804)은 현재 블록에서 NxM 우하단 영역을 제외한 영역을 의미하고, 제2 서브 영역(805)는 NxM 우하단 영역을 의미할 수 있다. 또는, 현재 블록은 4개의 서브 영역들 즉, 좌상단 서브 영역, 우상단 서브 영역, 좌하단 서브 영역 및 우하단 서브 영역으로 구분될 수 있고, 이때 제1 서브 영역은 좌상단 서브 영역, 우상단 서브 영역, 또는 좌하단 서브 영역 중 적어도 하나를 포함한 영역으로 정의되고, 제2 서브 영역은 우하단 서브 영역을 포함한 영역으로 정의될 수 있다. 상기 제1 서브 영역과 제2 서브 영역 중 어느 하나에 대해서는 파라미터가 적용되고, 다른 하나에 대해서는 파라미터가 적용되지 않을 수 있다. 일예로, 현재 블록의 제1 서브 영역(804)에 속한 예측 샘플에 파라미터가 적용되고, 제2 서브 영역(805)에 속한 예측 샘플에 파라미터가 적용되지 않을 수 있다.
도 8(a-4)는 현재 블록의 대각 분할 라인을 기준으로 좌측과 상단에 인접한 영역에 대해서 휘도 보상을 적용한다. 설명의 편의를 위해, 도 8(a-4)는 현재 블록이 대각 분할 라인에 의해 2개의 서브 영역으로 분할되는 경우를 도시하나, 이에 한정되지 아니한다. 즉, 현재 블록은 소정의 각도를 가진 분할 라인에 의해 2개의 서브 영역으로 분할될 수 있으며, 여기서 분할 라인은 각도 또는 현재 블록의 중앙 위치로부터의 거리 중 적어도 하나에 기초하여 특정될 수 있다. 상기 분할 라인의 각도 및/또는 거리를 나타내는 정보가 비트스트림을 통해 시그날링될 수 있다.
현재 블록이 소정의 각도를 가진 분할 라인에 의해 2개의 서브 영역으로 구분되는 경우, 참조 영역의 위치 또는 참조 영역과의 인접성을 고려하여, 2개의 서브 영역 중 어느 하나에 속한 예측 샘플에는 파라미터가 적용되고, 다른 하나에 속한 예측 샘플에는 파라미터가 적용되지 않을 수 있다. 일예로, 상기 참조 영역에 인접한 서브 영역(806)의 예측 샘플에는 파라미터가 적용되고, 상기 참조 영역에 인접하지 않은 서브 영역(807)의 예측 샘플에는 파라미터가 적용되지 않을 수 있다.
현재 블록 내에서 파라미터가 적용되는 영역(이하, 휘도 보상 영역이라 함)은, 디코딩 장치에 기-정의된 복수의 타입들 중 어느 하나에 기초하여 결정될 수 있다. 여기서, 복수의 타입들 각각은 휘도 보상 영역의 범위, 크기, 또는 위치 중 적어도 하나를 특정할 수 있다. 복수의 타입들은, 휘도 보상 영역이 현재 블록과 동일한 크기를 갖는 제1 타입, 휘도 보상 영역이 수평 분할 라인을 기반으로 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제2 타입, 휘도 보상 영역이 수직 분할 라인을 기반으로 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제3 타입, 휘도 보상 영역이 현재 블록에서 NxM 우하단 영역을 제외한 영역인 제4 타입, 또는 휘도 보상 영역이 소정의 각도를 가진 분할 라인을 기반으로 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제5 타입 중 적어도 하나를 포함할 수 있다. 상기 복수의 타입들 중 어느 하나가 선택적으로 이용될 수 있다. 상기 선택을 위해, 복수의 타입들 중 어느 하나를 지시하는 플래그 또는 인덱스 정보가 명시적으로 시그날링될 수 있다. 또는, 휘도 보상을 위한 참조 영역의 크기, 형태, 위치, 또는 가용성 중 적어도 하나에 기초하여 복수의 타입들 중 어느 하나가 묵시적으로 선택될 수도 있다. 일예로, 상기 제2 타입 내지 제5 타입은 도 8(a-1) 내지 도 8(a-4)에 각각 대응될 수 있다.
또는, 휘도 보상 영역은, 현재 블록 및/또는 주변 블록의 부호화 정보를 기반으로 결정될 수 있다. 여기서, 부호화 정보는, 양자화 파라미터, 예측 모드(인트라 예측 또는 인터 예측), 또는 움직임 정보 중 적어도 하나를 포함할 수 있다. 현재 블록의 부호화 정보와 주변 블록의 부호화 정보를 비교하여, 휘도 보상 영역이 선택적으로 결정될 수 있다.
예를 들어, 현재 블록에 인접한 주변 블록의 양자화 파라미터와 현재 블록의 양자화 파라미터가 기-정의된 특정 값보다 작거나 같은 경우, 현재 블록 내에서 해당 주변 블록과 인접한 일부 영역이 휘도 보상 영역으로 결정될 수 있다.
또는, 현재 블록의 양자화 파라미터와 좌측 주변 블록의 양자화 파라미터 간의 차이가 기-정의된 특정 값보다 크고, 현재 블록의 양자화 파라미터와 상단 주변 블록의 양자화 파라미터 간의 차이가 기-정의된 특정 값보다 작거나 같은 경우, 현재 블록 내에서 좌측 주변 블록과 인접한 일부 영역에 대해서는 휘도 보상이 적용되지 않고, 상기 일부 영역을 제외한 나머지 영역에 대해서 휘도 보상이 적용될 수 있다.
여기서, 상기 휘도 보상 영역의 크기는 현재 블록의 크기에 기반하여 가변적으로 결정될 수 있다. 일예로, 현재 블록의 너비가 W인 경우, 휘도 보상 영역의 너비는 W/8, W/4, 또는 W/2와 같을 수 있다. 또는, 현재 블록 내 휘도 보상 영역의 너비는, 현재 블록의 너비에 따라 1 내지 (W-1) 사이의 정수들 중 어느 하나로 결정될 수 있다. 한편, 현재 블록의 높이가 H인 경우, 휘도 보상 영역의 높이는 H보다 작거나 같을 수 있다.
또는, 현재 블록에 인접한 주변 블록의 양자화 파라미터와 현재 블록의 양자화 파라미터가 기-정의된 특정 값보다 큰 경우, 현재 블록 내에서 해당 주변 블록과 인접한 일부 영역이 휘도 보상 영역에서 제외될 수 있다. 상기 현재 블록 내에서 상기 일부 영역의 크기는 현재 블록의 크기에 기반하여 가변적으로 결정될 수 있다. 일예로, 현재 블록의 너비가 W인 경우, 현재 블록 내 일부 영역의 너비는 W/8, W/4, 또는 W/2와 같을 수 있다. 마찬가지로, 현재 블록의 높이가 H인 경우, 현재 블록 내 일부 영역의 높이는 H/8, H/4, 또는 H/2와 같을 수 있다. 또는, 현재 블록 내 일부 영역의 너비는, 현재 블록의 너비에 따라 1 내지 (W-1) 사이의 정수들 중 어느 하나로 결정될 수 있고, 현재 블록 내 일부 영역의 높이는, 현재 블록의 높이에 따라 1 내지 (H-1) 사이의 정수들 중 어느 하나로 결정될 수 있다.
현재 블록 내 휘도 보상 영역은, 주변 블록의 움직임 벡터와 현재 블록의 움직임 벡터 간의 차이에 기초하여 결정될 수 있다. 주변 블록의 움직임 벡터와 현재 블록의 움직임 벡터 간의 차이가 기-정의된 특정 값보다 작거나 같은 경우, 현재 블록 내에서 해당 주변 블록과 인접한 일부 영역이 휘도 보상 영역으로 결정될 수 있다. 주변 블록의 움직임 벡터와 현재 블록의 움직임 벡터 간의 차이가 기-정의된 특정 값보다 큰 경우, 현재 블록 내에서 해당 주변 블록과 인접한 일부 영역이 휘도 보상 영역에서 제외될 수 있다.
여기서, 현재 블록 내 일부 영역의 크기는 현재 블록의 크기에 기반하여 가변적으로 결정될 수 있다. 일예로, 현재 블록의 너비가 W인 경우, 현재 블록 내 일부 영역의 너비는 W/8, W/4, 또는 W/2와 같을 수 있다. 마찬가지로, 현재 블록의 높이가 H인 경우, 현재 블록 내 일부 영역의 높이는 H/8, H/4, 또는 H/2와 같을 수 있다. 또는, 현재 블록 내 일부 영역의 너비는, 현재 블록의 너비에 따라 1 내지 (W-1) 사이의 정수들 중 어느 하나로 결정될 수 있고, 현재 블록 내 일부 영역의 높이는, 현재 블록의 높이에 따라 1 내지 (H-1) 사이의 정수들 중 어느 하나로 결정될 수 있다.
현재 블록 내 휘도 보상 영역은, 주변 블록의 예측 모드와 현재 블록의 예측 모드에 기반하여 결정될 수 있다. 주변 블록의 예측 모드와 현재 블록의 예측 모드가 같은 경우, 현재 블록 내에서 해당 주변 블록과 인접한 일부 영역이 휘도 보상 영역으로 선택될 수 있다. 주변 블록의 예측 모드와 현재 블록의 예측 모드가 다른 경우, 현재 블록 내에서 해당 주변 블록과 인접한 일부 영역이 휘도 보상 영역에서 제외될 수 있다.
주변 블록의 부호화 정보에 따라 현재 블록 내 일부 영역에만 파라미터가 적용되는 경우, 해당 일부 영역의 크기는 현재 블록의 크기 또는 주변 블록의 부호화 정보와 현재 블록의 부호화 정보 간의 차이 중 적어도 하나에 기초하여 가변적으로 결정될 수 있다. 여기서의 주변 블록은, 현재 블록의 좌측 주변 블록 또는 상단 주변 블록 중 적어도 하나를 포함할 수 있다. 일예로, 현재 블록 내 휘도 보상 영역을 결정함에 있어서, 현재 블록의 좌측 및 상단 주변 블록들이 둘다 이용될 수 있다. 또는, 상단 주변 블록이 이용 가능한 경우라도, 현재 블록의 좌측 주변 블록만을 이용하여 휘도 보상 영역을 결정하도록 제한될 수 있다. 또는, 좌측 주변 블록이 이용 가능한 경우라도, 현재 블록의 상단 주변 블록만을 이용하여 휘도 보상 영역을 결정하도록 제한될 수도 있다.
전술한 기-정의된 특정 값은 0보다 크거나 같은 정수일 수 있다. 이는 비트스트림을 통하여 시그날링될 수도 있고, 인코딩 장치와 디코딩 장치에서 동일하게 기-정의된 값일 수 있다.
현재 블록의 좌측 및/또는 상단에 복수의 주변 블록들이 존재할 수 있으며, 이 경우 복수의 주변 블록들 중 적어도 하나를 선택적으로 이용할 수 있다. 설명의 편의를 위해, 현재 블록의 좌상단 샘플의 좌표는 (0, 0)이고, 현재 블록의 높이와 너비가 각각 H, W인 경우를 가정한다. 이 경우, (-1, 0), (-1, H-1) 및 (-1, H) 좌표의 샘플들 각각을 포함하는 복수의 주변 블록들 중 적어도 하나가 좌측 주변 블록으로 선택될 수 있다. 상기 복수의 주변 블록들은 (-1, H/2) 좌표의 샘플을 포함하는 블록을 더 포함할 수도 있다. 또한, (0, -1), (W-1, -1) 및 (W, -1) 좌표의 샘플들 각각을 포함하는 복수의 주변 블록들 중 적어도 하나가 상단 주변 블록으로 선택될 수 있다. 상기 복수의 주변 블록들은 (W/2, -1) 좌표의 샘플을 포함하는 블록을 더 포함할 수도 있다. 상기 주변 블록의 위치는 일예에 불과하며, 현재 블록의 좌측 또는 상단 중 적어도 하나에 인접한 다른 주변 블록이 이용될 수도 있음은 물론이다.
좌측 주변 블록으로 선택된 주변 블록의 부호화 정보는 현재 블록의 좌측 방향을 대표하는 부호화 정보로 사용될 수 있고, 이 경우 선택된 주변 블록의 부호화 정보를 기반으로 현재 블록의 휘도 보상 영역이 결정될 수 있다. 상단 주변 블록으로 선택된 주변 블록의 부호화 정보는 현재 블록의 상단 방향을 대표하는 부호화 정보로 사용될 수 있고, 이 경우 선택된 주변 블록의 부호화 정보를 기반으로 현재 블록의 휘도 보상 영역이 결정될 수 있다. 또는, 상기 좌측/상단 주변 블록의 크기와 위치에 대응하는 현재 블록 내 일부 영역에 대해서 휘도 보상 영역이 결정될 수도 있다.
현재 블록 내 휘도 보상 영역의 크기는, 비트스트림을 통하여 시그날링되거나, 인코딩 장치와 디코딩 장치에서 동일하게 기-정의된 것일 수 있다. 일예로, 휘도 보상이 적용되는 경우, 휘도 보상 영역의 크기를 나타내는 신택스가 다음 표 11과 같이 시그날링될 수 있다.
seq_parameter_set_rbsp(　) { Descriptor
...
sps_illumination_compensation_enabled_flag u(1)
if ( sps_illumination_compensation_enabled_flag )
sps_illumination_compensation_size ue(v)
}
표 11을 참조하면, sps_illumination_compensation_enabled_flag는 휘도 보상이 가용한지 여부를 나타내며, 시퀀스 파라미터 세트를 통해 시그날링될 수 있다. sps_illumination_compensation_size는 휘도 보상 영역의 크기를 나타낼 수 있다. sps_illumination_compensation_size는 sps_illumination_compensation_enabled_flag의 값이 1인 경우에 시그날링될 수 있다. 표 11에서는 sps_illumination_compensation_size가 시퀀스 파라미터 세트를 통해 시그날링됨을 나타내나, 이는 일예에 불과하며, 픽쳐 파라미터 세트, 픽쳐 헤더, 슬라이스 헤더, 코딩 트리 유닛, 또는 코딩 유닛 중 적어도 하나의 레벨에서 시그날링될 수도 있다.
상기 신택스의 값에 따라, 휘도 보상 영역은 다음 수학식 3과 같이 결정될 수 있다.
[수학식 3]
W' = (W >> sps_illumination_compensation_size)
H' = (H >> sps_illumination_compensation_size)
여기서 W와 H는 현재 블록의 너비와 높이를 각각 나타내며, W'와 H'는 휘도 보상 영역의 너비와 높이를 각각 나타낸다. 즉, 너비 방향으로 0부터 (W'-1)까지, 그리고 높이 방향으로 0부터 (H'-1)까지의 영역에 대해서 휘도 보상이 적용될 수 있다.
또는, 상기 주변 블록의 부호화 정보에 따라, 일부 영역이 휘도 보상 영역에서 제외되는 경우, 휘도 보상 영역은 다음 수학식 4와 같이 결정될 수 있다.
[수학식 4]
W' = (W >> sps_illumination_compensation_size)
H' = (H >> sps_illumination_compensation_size)
여기서 W와 H는 현재 블록의 너비와 높이를 각각 나타내며, W'와 H'는 휘도 보상이 적용되지 않는 일부 영역의 너비와 높이를 각각 나타낸다. 즉, 너비 방향으로 W'부터 (W-1)까지, 그리고 높이 방향으로 H'부터 (H-1)까지의 영역에 대해서 휘도 보상이 적용될 수 있다.
또는, 도 8(b)는 도 4를 참조하여 살펴본 제3 보정 방법에 따른 예측 샘플의 보정에 관한 것이다. 즉, 복수의 모드를 정의하기 위해 상이한 위치의 주변 영역이 이용될 수 있으며, 이 경우 참조 영역으로 이용되는 주변 영역의 위치를 고려하여, 해당 주변 영역에 가까운 영역일수록 높은 강도의 파라미터를 적용하고, 해당 주변 영역에서 멀어질수록 낮은 강도의 파라미터를 적용할 수 있다.
구체적으로, 도 8(b-1)은 현재 블록 및/또는 참조 블록의 상단 주변 영역이 참조 영역으로 이용되는 경우에 해당한다. 현재 블록은 복수의 수평 샘플 라인 그룹으로 구분될 수 있고, 각 수평 샘플 라인 그룹 별로 상이한 파라미터가 적용될 수 있다. 각 수평 샘플 라인 그룹에 적용되는 파라미터는, 상기 상단 주변 영역에 기초하여 유도된 파라미터를 기반으로 생성될 수 있다. 일예로, 현재 블록 내 최상단 수평 샘플 라인 그룹에 적용되는 파라미터는, 상기 상단 주변 영역에 기초하여 유도된 파라미터와 동일하게 설정될 수 있다. 현재 블록 내 나머지 수평 샘플 라인 그룹에 적용되는 파라미터는, 상기 상단 주변 영역으로부터 유도된 파라미터와 현재 블록의 상단 경계로부터 해당 수평 샘플 라인 그룹까지의 거리에 기초하여 생성될 수 있다.
도 8(b-2)은 현재 블록 및/또는 참조 블록의 좌측 주변 영역이 참조 영역으로 이용되는 경우에 해당한다. 마찬가지로, 현재 블록은 복수의 수직 샘플 라인 그룹으로 구분될 수 있고, 각 수직 샘플 라인 그룹 별로 상이한 파라미터가 적용될 수 있다. 각 수직 샘플 라인 그룹에 적용되는 파라미터는, 상기 좌측 주변 영역에 기초하여 유도된 파라미터를 기반으로 생성될 수 있다. 일예로, 현재 블록 내 최좌측 수직 샘플 라인 그룹에 적용되는 파라미터는, 상기 좌측 주변 영역에 기초하여 유도된 파라미터와 동일하게 설정될 수 있다. 현재 블록 내 나머지 수직 샘플 라인 그룹에 적용되는 파라미터는, 상기 좌측 주변 영역으로부터 유도된 파라미터와 현재 블록의 좌측 경계로부터 해당 수직 샘플 라인 그룹까지의 거리에 기초하여 생성될 수 있다.
또는, 도 8(c)는 도 4를 참조하여 살펴본 제5 보정 방법에 따른 예측 샘플의 보정에 관한 것이다. 즉, 복수의 모드를 정의하기 위해 상이한 위치의 주변 영역이 이용될 수 있으며, 이 경우 예측 샘플의 위치를 고려하여 현재 블록 내 서브 영역 별로 상이한 파라미터를 적용할 수도 있다.
구체적으로, 도 8(c-1)은 현재 블록의 서브 영역 별로 상이한 파라미터가 적용되되, 동일한 서브 영역에 속한 예측 샘플들에 대해서 동일한 파라미터가 적용되는 경우에 해당한다.
현재 블록의 제1 서브 영역(Sub0)의 경우, 제1 서브 영역에 인접한 주변 영역(810) 및/또는 이에 대응하는 참조 블록의 주변 영역을 기반으로 파라미터가 유도될 수 있고, 상기 유도된 파라미터가 제1 서브 영역에 속한 예측 샘플에 적용될 수 있다. 현재 블록의 제2 서브 영역(Sub1)의 경우, 제2 서브 영역에 인접한 주변 영역(811) 및/또는 이에 대응하는 참조 블록의 주변 영역을 기반으로 파라미터가 유도될 수 있고, 상기 유도된 파라미터가 제2 서브 영역에 속한 예측 샘플에 적용될 수 있다. 현재 블록의 제3 서브 영역(Sub2)의 경우, 제3 서브 영역에 인접한 주변 영역(812) 및/또는 이에 대응하는 참조 블록의 주변 영역을 기반으로 파라미터가 유도될 수 있고, 상기 유도된 파라미터가 제3 서브 영역에 속한 예측 샘플에 적용될 수 있다. 한편, 현재 블록의 제4 서브 영역(Sub3)의 경우, 제4 서브 영역에 인접한 주변 영역이 존재하지 않으므로, 제4 서브 영역에 대한 파라미터는 할당되지 않을 수 있고, 제4 서브 영역에 속한 예측 샘플에 대해서는 보정이 생략될 수 있다.
도 8(c-2)은 현재 블록의 서브 영역 별로 상이한 파라미터가 적용되고, 동일한 서브 영역에 속한 예측 샘플들에 대해서는 해당 서브 영역에 대응하는 참조 영역으로부터의 거리를 고려하여 상이한 파라미터가 적용되는 경우에 해당한다. 이는, 도 8(c-1)의 실시예와 도 8(b)의 실시예의 조합으로 유도되며, 여기서 자세한 설명은 생략하기로 한다.
도 9는 본 개시의 일실시예에 따른 영상 디코딩 방법을 수행하는 예측부(330)의 개략적인 구성을 도시한 것이다.
도 9를 참조하면, 예측부(330)는, 예측 샘플 획득부(900), 파라미터 획득부(910) 및 예측 샘플 보정부(920)를 포함할 수 있다. 이는, 디코딩 장치의 인터 예측부(331)에서 구성될 수도 있고, 인트라 예측부(332)에서 구성될 수도 있다.
예측 샘플 획득부(900)는, 현재 블록의 예측 샘플을 획득할 수 있다. 여기서, 예측 샘플은 인터 예측 또는 인트라 예측 중 적어도 하나에 기초하여 획득될 수 있다.
파라미터 획득부(910)는, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터를 획득할 수 있다. 상기 파라미터는 예측의 정확도를 향상시키기 위한 것으로서, 이는 보정 파라미터로 불릴 수 있다. 또는, 상기 예측 샘플의 보정은, 현재 블록이 속한 현재 픽쳐와 참조 픽쳐 간의 휘도 차이를 보상하기 위한 것일 수 있고, 이 경우, 상기 파라미터는 휘도 보상 파라미터로 불릴 수도 있다.
상기 파라미터 획득부(910)는, 픽쳐, 타일, 슬라이스, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 또는 서브 코딩 유닛(sub-CU) 중 적어도 하나의 레벨에서 상기 파라미터를 획득할 수 있다.
상기 파라미터 획득부(910)는, 도 4를 참조하여 살펴본 바와 같이, 실시예 1-A 내지 1-C 중 적어도 하나에 기초하여 상기 파라미터를 획득할 수 있으며, 여기서 자세한 설명은 생략하기로 한다.
상기 파라미터 획득부(910)는, 표 1 내지 표 6에 기재된 제1 플래그, 제2 플래그, 제3 플래그, 인덱스 정보, 또는 병합 인덱스 정보 중 적어도 하나에 기초하여 상기 파라미터를 획득할 수 있다. 이때, 상기 파라미터 획득부(910)는, 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 결정할 수 있다. 현재 블록의 예측 샘플에 보정이 수행되는지 여부는, 비트스트림을 통해 시그날링되는 상기 제2 플래그에 기초하여 결정될 수도 있고, 현재 블록의 부호화 정보 중 적어도 하나에 기초하여 결정될 수도 있다. 또는, 상기 제2 플래그에 따라 현재 블록의 예측 샘플에 보정이 수행되는 것으로 결정된 경우라도, 전술한 부호화 정보에 기초하여 현재 블록의 예측 샘플에 보정이 수행되는지 여부가 재결정될 수도 있다. 또는, 전술한 부호화 정보 중 적어도 하나는, 상기 제2 플래그를 파싱하기 위한 부가적인 조건으로 이용될 수도 있다. 이에 대해서는 도 4를 참조하여 자세한 살펴보았는바, 여기서 자세한 설명은 생략하기로 한다.
예측 샘플 보정부(920)는, 파라미터 획득부(910)에서 획득된 파라미터를 기반으로 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득할 수 있다. 상기 현재 블록의 예측 샘플은, 제1 보정 방법 내지 제5 보정 방법 중 적어도 하나에 기초하여 보정될 수 있으며, 이는 도 4를 참조하여 살펴보았는바, 여기서 자세한 설명은 생략하기로 한다.
또한, 도 4를 참조하여 살펴본 바와 같이, 상기 제1 보정 방법 내지 제5 보정 방법 중 적어도 하나를 특정하기 위해서, 예측 샘플 보정부(920)는 표 6 내지 표 10에 따른 인덱스 정보, 병합 인덱스 정보, 또는 제4 플래그 중 적어도 하나를 이용할 수 있음은 물론이다.
도 10은 본 개시의 일실시예에 따른 인코딩 장치에 의해 수행되는 영상 인코딩 방법을 도시한 것이다.
이하, 도 4를 참조하여 살펴본 영상 디코딩 방법은 본 개시에 따른 영상 인코딩 방법에도 동일/유사하게 적용될 수 있으며, 중복된 설명은 생략하기로 한다.
도 10을 참조하면, 현재 블록의 예측 샘플을 획득할 수 있다(S1000).
상기 현재 블록의 예측 샘플은 인터 예측 또는 인트라 예측에 의해 획득된 것일 수도 있고, 인터 예측과 인트라 예측의 조합에 기초하여 획득된 것일 수도 있다.
도 10을 참조하면, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터를 결정할 수 있다(S1010).
상기 파라미터는 예측의 정확도를 향상시키기 위한 것으로서, 이는 보정 파라미터로 불릴 수 있다. 또는, 상기 예측 샘플의 보정은, 현재 블록이 속한 현재 픽쳐와 참조 픽쳐 간의 휘도 차이를 보상하기 위한 것일 수 있고, 이 경우, 상기 파라미터는 휘도 보상 파라미터로 불릴 수도 있다.
상기 파라미터는, 픽쳐, 타일, 슬라이스, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 또는 서브 코딩 유닛(sub-CU) 중 적어도 하나의 레벨에서 결정될 수 있다. 본 개시에서는, 설명의 편의를 위해, 코딩 유닛(CU)을 기준으로 기술하나, 본 개시의 실시예들은 다른 레벨에도 동일/유사하게 적용될 수 있음은 물론이다.
상기 파라미터는 가중치 또는 오프셋 중 적어도 하나를 포함하고, 하나의 예측 샘플을 보정하기 위해, 하나 또는 그 이상의 가중치 및/또는 가중치가 결정될 수 있다.
인코딩 장치는, 현재 블록의 예측 샘플을 보정하기 위한 최적의 파라미터를 결정하고, 이를 부호화할 수 있다(실시예 1-A). 즉, 부호화된 파라미터는, 가중치 정보 또는 오프셋 정보 중 적어도 하나를 포함하며, 이는 디코딩 장치로 전송되는 비트스트림에 포함될 수 있다.
또는, 상기 파라미터는, 소정의 참조 영역에 기반하여 유도될 수 있다(실시예 1-B). 상기 참조 영역에 기반하여 파라미터를 유도하는 방법에 대해서는 도 4를 참조하여 살펴본 바와 같으며, 여기서 자세한 설명은 생략하기로 한다.
또는, 상기 파라미터는 전술한 실시예 1-A와 실시예 1-B의 조합에 기초하여 결정될 수도 있다(실시예 1-C). 예를 들어, 가중치는 실시예 1-A에 따라 부호화되어 비트스트림에 삽입될 수 있고, 오프셋은 실시예 1-B에 따라 참조 영역에 기반하여 유도될 수 있다. 반대로, 가중치는 실시예 1-B에 따라 참조 영역에 기반하여 유도되고, 오프셋은 실시예 1-A에 따라 부호화되어 비트스트림에 삽입될 수 있다. 또는, 상기 파라미터는, 실시예 1-A와 실시예 1-B에 따라 결정된 가중치와 오프셋을 각각 포함할 수도 있다.
전술한 실시예 1-A 내지 1-C 중 어느 하나의 방법이 인코딩 장치에 기-정의될 수 있고, 상기 파라미터는 인코딩 장치에 기-정의된 방법에 의해 결정될 수 있다. 또는, 상기 파라미터는 인코딩 장치에 기-정의된 복수의 방법들 중 어느 하나를 선택적으로 이용하여 결정될 수도 있다. 여기서, 복수의 방법들은 전술한 실시예 1-A 내지 1-C 중 적어도 둘을 포함하며, 상기 복수의 방법들 중 어느 하나를 특정하는 플래그 또는 인덱스 정보가 부호화될 수 있다.
한편, 현재 블록의 예측 샘플에 대한 보정이 가용한지 여부를 나타내는 제1 플래그 또는 현재 블록의 예측 샘플에 대해 보정이 수행되는지 여부를 나타내는 제2 플래그 중 적어도 하나를 결정하고, 이를 부호화할 수 있다. 상기 제2 플래그는, 상기 제1 플래그가 현재 블록의 예측 샘플에 대한 보정이 가용함을 나타내는 경우에 한하여 부호화될 수 있다.
상기 제1 플래그는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐 헤더(PH), 또는 슬라이스 헤더(SH) 중 적어도 하나의 레벨에서 부호화될 수 있다. 상기 제2 플래그는, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 또는 변환 유닛(TU) 중 적어도 하나의 레벨에서 부호화될 수 있다. 일예로, 상기 제1 플래그 및 상기 제2 플래그는 표 1 및 표 2와 같이 부호화되어 비트스트림에 삽입될 수 있다.
한편, 실시예 1-B에 따른 참조 영역은, 인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여 결정될 수 있고, 상기 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보가 부호화될 수 있다. 일예로, 상기 인덱스 정보는 표 3과 같이 부호화되어 비트스트림에 삽입될 수 있다. 또는, 실시예 1-B에 따른 참조 영역은, 인코딩 장치에 기-정의된 복수의 모드들 중 적어도 둘에 기초하여 결정될 수 있고, 상기 복수의 모드들 중 적어도 둘을 특정하는 인덱스 정보가 각각 부호화될 수 있다. 일예로, 전술한 변화량 기반의 휘도 보상 방법이 이용되는 경우, 제1 파라미터를 유도하기 위해 이용된 참조 영역(혹은 복수의 모드들 중 어느 하나의 모드)을 특정하는 인덱스 정보가 부호화되어 비트스트림에 삽입될 수 있다. 추가로, 제2 파라미터를 유도하기 위해 이용된 참조 영역(혹은 복수의 모드들 중 다른 어느 하나의 모드)를 특정하는 인덱스 정보가 부호화되어 비트스트림에 삽입될 수 있다.
또는, 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 나타내는 제2 플래그와 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(이하, 병합 인덱스 정보라 함)가 부호화될 수도 있다. 이 경우, 상기 병합 인덱스 정보의 인덱스 엔트리(entry) 중 어느 하나는 현재 블록에 휘도 보상이 적용되지 않음을 나타낼 수 있고, 나머지 인덱스 엔트리는 복수의 모드들 중 어느 하나를 특정할 수 있다. 일예로, 상기 병합 인덱스 정보의 값이 0인 경우, 이는 현재 블록에 휘도 보상이 적용되지 않음을 나타낼 수 있다. 일예로, 상기 병합 인덱스 정보는 표 4와 같이 부호화되어 비트스트림에 삽입될 수 있다.
VPS, SPS, PPS 등과 같은 상위 레벨에서, 예측 샘플의 보정이 가용하도록 결정되었더라도, 특정 슬라이스 또는 픽쳐의 단위에서, 예측 샘플에 대한 보정이 요구되는 CU가 하나도 존재하지 않는 경우가 발생할 수 있다. 이 경우, CU 별로 예측 샘플의 보정 관련 정보(e.g., 제2 플래그, 인덱스 정보, 병합 인덱스 정보 등)를 부호화하는 것이 압축 효율을 떨어뜨리는 요인이 될 수 있다. 따라서, 슬라이스, 픽쳐 등과 같은 상위 레벨에서, 예측 샘플의 보정이 수행되는 CU가 존재하는지 여부를 나타내는 제3 플래그가 추가적으로 부호화될 수 있다. 일예로, 상기 제3 플래그는 표 5와 같이 부호화되어 비트스트림에 삽입될 수 있다. 또한, 상기 제3 플래그가 부호화된 경우, 상기 병합 인덱스 정보는 상기 제1 플래그 또는 상기 제3 플래그 중 적어도 하나에 기초하여 부호화될 수 있으며, 이는 표 6을 참조하여 살펴본 바와 같다.
상기 병합 인덱스 정보 대신에 전술한 제2 플래그와 인덱스 정보가 각각 부호화될 수도 있다. 이 경우, 제2 플래그는, 제1 플래그가 예측 샘플에 대한 보정이 가용함을 나타내고, 제3 플래그가 현재 슬라이스에 대해 예측 샘플의 보정이 가용함을 나타내는 경우에 한하여 부호화될 수 있다. 또는, 제2 플래그는, 제3 플래그가 현재 슬라이스에 대해 예측 샘플의 보정이 가용함을 나타내는 경우에 한하여 부호화될 수 있다.
한편, 현재 블록의 예측 샘플에 보정이 수행되는지 여부는, 전술한 현재 블록의 부호화 정보 중 적어도 하나에 기초하여 결정될 수 있으며, 이는 도 4를 참조하여 살펴본 바와 같다. 상기 결정 결과에 기초하여, 상기 파라미터를 적응적으로 결정할 수 있다.
또는, 기-부호화된 제2 플래그가 현재 블록의 예측 샘플에 대해 보정이 수행됨을 나타내는 경우라도, 전술한 현재 블록의 부호화 정보 중 적어도 하나에 기초하여 현재 블록의 예측 샘플에 보정이 수행되는지 여부가 재결정될 수도 있다.
또는, 전술한 부호화 정보 중 적어도 하나는, 상기 제2 플래그를 부호화하기 위한 부가적인 조건으로 이용될 수도 있다.
일예로, 현재 블록의 크기가 소정의 문턱크기보다 크거나 같은 경우, 상기 제2 플래그는 부호화되어 비트스트림에 삽입될 수 있고, 현재 블록의 크기가 소정의 문턱크기보다 작은 경우, 상기 제2 플래그에 대한 부호화는 생략될 수 있다. 또는, 현재 블록의 크기가 소정의 문턱크기보다 작거나 같은 경우, 상기 제2 플래그는 부호화되어 비트스트림에 삽입될 수 있고, 현재 블록의 크기가 소정의 문턱크기보다 큰 경우, 상기 제2 플래그에 대한 부호화는 생략될 수 있다.
일예로, 현재 블록의 예측 모드가 인터 모드인 경우, 상기 제2 플래그는 부호화되어 비트스트림에 삽입될 수 있고, 현재 블록의 예측 모드가 인트라 모드이거나 현재 블록에 대해 부분적으로 인트라 예측이 수행된 경우, 상기 제2 플래그에 대한 부호화는 생략될 수 있다.
일예로, 현재 블록의 형태가 NxN의 정방형인 경우, 상기 제2 플래그는 부호화되어 비트스트림에 삽입될 수 있고, 현재 블록의 형태가 MxN의 비정방형인 경우, 상기 제2 플래그에 대한 부호화는 생략될 수 있다. 또는, 현재 블록의 형태가 MxN의 비정방형인 경우라도, 현재 블록의 너비(M) 또는 높이(N) 중 적어도 하나가 소정의 문턱크기보다 큰 경우에 한하여, 상기 제2 플래그는 부호화되어 비트스트림에 삽입될 수 있다.
도 10을 참조하면, 상기 파라미터를 기반으로 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득할 수 있다(S1020).
상기 보정된 예측 샘플은, 제1 보정 방법 내지 제5 보정 방법 중 적어도 하나에 기초하여 획득될 수 있다.
즉, 제1 보정 방법에 따라, 상기 현재 블록의 각 예측 샘플에 상기 파라미터를 동일하게 적용하여 보정된 예측 샘플을 획득할 수 있다.
또는, 제2 보정 방법에 따라, 상기 현재 블록의 복수의 서브 영역 중 일부 서브 영역에 속한 예측 샘플에 대해서는 상기 파라미터를 동일하게 적용하여 보정된 예측 샘플을 획득하고, 나머지 서브 영역에 속한 예측 샘플에 대해서는 보정이 수행되지 않을 수 있다.
또는, 제3 보정 방법에 따라, 현재 블록의 샘플 라인 그룹 별로 서로 상이한 파라미터가 적용될 수 있다.
또는, 제4 보정 방법에 따라, 제1 파라미터와 제2 파라미터를 기반으로 제1 보정된 예측 샘플과 제2 보정된 예측 샘플을 각각 획득하고, 이의 가중합을 통해 최종 보정된 예측 샘플이 획득될 수 있다. 상기 제1 파라미터는, 인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여 결정된 제1 참조 영역을 기반으로 유도된 것이고, 상기 제2 파라미터는 상기 복수의 모드들 중 다른 어느 하나에 기초하여 결정된 제2 참조 영역을 기반으로 유도된 것일 수 있다. 상기 복수의 모드들 중 어느 하나와 다른 어느 하나를 각각 특정하는 복수개의 인덱스 정보가 부호화되어 비트스트림에 삽입될 수 있다. 또는, 상기 복수개의 인덱스 정보는 현재 블록 및/또는 주변 블록의 부호화 정보에 기초하여 묵시적으로 유도될 수도 있다. 또는, 복수개의 인덱스 정보 중 어느 하나는 부호화되어 비트스트림에 삽입될 수 있고, 다른 하나는 상기 부호화된 인덱스 정보에 기초하여 묵시적으로 유도될 수도 있다.
또는, 제5 보정 방법에 따라, 현재 블록의 서브 블록 별로 이에 대응하는 파라미터를 기반으로 상기 예측 샘플을 보정할 수도 있다.
현재 블록의 예측 샘플에 대한 보정은, 전술한 제1 내지 제5 보정 방법 중 적어도 하나에 기초하여 수행될 수 있다. 또는, 현재 블록의 예측 샘플에 대한 보정은, 인코딩 장치에 기-정의된 복수의 보정 방법들 중 어느 하나를 선택적으로 이용하여 수행될 수도 있다. 여기서, 복수의 보정 방법들은, 상기 제1 내지 제5 보정 방법들 중 적어도 둘을 포함할 수 있다. 상기 복수의 보정 방법들 중 어느 하나를 특정하는 인덱스 정보가 부호화될 수 있다. 일예로, 상기 인덱스 정보는 표 7과 같이 부호화될 수 있다.
또는, 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 나타내는 제2 플래그와 복수의 보정 방법들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(이하, 병합 인덱스 정보라 함)가 부호화될 수도 있다. 일예로, 상기 병합 인덱스 정보는 표 8과 같이 부호화될 수 있다.
또는, 현재 블록의 예측 샘플을 보정하기 위해 상기 제1 보정 방법이 사용되는지 여부를 나타내는 플래그(이하, 제4 플래그라 함)가 추가적으로 부호화될 수도 있다.
예를 들어, 상기 제1 보정 방법에 따라 예측 샘플에 대한 보정이 수행되는 것으로 결정된 경우, 제4 플래그는 0으로 부호화되고, 상기 제N 보정 방법에 따라 예측 샘플에 대한 보정이 수행되는 것으로 결정된 경우, 제4 플래그는 1로 부호화될 수 있다. 여기서, 제N 보정 방법은, 제2 내 제5 보정 방법 중 어느 하나를 의미할 수 있다. 일예로, 제4 플래그는 표 9와 같이 부호화될 수 있다.
또는, 상기 제4 플래그가 부호화되는 경우에도, 현재 블록에 휘도 보상이 적용되는지 여부를 나타내는 제2 플래그와 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(즉, 병합 인덱스 정보)가 부호화될 수도 있다. 일예로, 상기 병합 인덱스 정보는 표 10과 같이 부호화되어 비트스트림에 삽입될 수 있다.
현재 블록의 보정된 예측 샘플을 기반으로 상기 현재 블록을 부호화할 수 있다. 즉, 현재 블록의 원본 샘플과 상기 보정된 예측 샘플 간의 차분을 통해 잔여 샘플을 획득하고, 상기 잔여 샘플을 부호화하여 비트스트림을 생성할 수 있다.
도 11은 본 개시의 일실시예에 따른 영상 인코딩 방법을 수행하는 예측부(220)의 개략적인 구성을 도시한 것이다.
도 11을 참조하면, 예측부(220)는, 예측 샘플 획득부(1100), 파라미터 결정부(1110) 및 예측 샘플 보정부(1120)를 포함할 수 있다. 이는, 인코딩 장치의 인터 예측부(221)에서 구성될 수도 있고, 인트라 예측부(222)에서 구성될 수도 있다.
예측 샘플 획득부(1100)는, 현재 블록의 예측 샘플을 획득할 수 있다. 여기서, 예측 샘플은 인터 예측 또는 인트라 예측 중 적어도 하나에 기초하여 획득될 수 있다.
파라미터 결정부(1110)는, 상기 현재 블록의 예측 샘플을 보정하기 위한 파라미터를 결정할 수 있다. 상기 파라미터는 예측의 정확도를 향상시키기 위한 것으로서, 이는 보정 파라미터로 불릴 수 있다. 또는, 상기 예측 샘플의 보정은, 현재 블록이 속한 현재 픽쳐와 참조 픽쳐 간의 휘도 차이를 보상하기 위한 것일 수 있고, 이 경우, 상기 파라미터는 휘도 보상 파라미터로 불릴 수도 있다.
상기 파라미터 결정부(1110)는, 픽쳐, 타일, 슬라이스, 코딩 트리 유닛(CTU), 코딩 유닛(CU), 또는 서브 코딩 유닛(sub-CU) 중 적어도 하나의 레벨에서 상기 파라미터를 결정할 수 있다. 또한, 상기 파라미터 결정부(1110)는, 도 10을 참조하여 살펴본 바와 같이, 실시예 1-A 내지 1-C 중 적어도 하나에 기초하여 상기 파라미터를 결정할 수 있으며, 여기서 자세한 설명은 생략하기로 한다.
상기 파라미터 결정부(1110)는, 현재 블록의 예측 샘플에 대한 보정이 가용한지 여부를 나타내는 제1 플래그 또는 현재 블록의 예측 샘플에 대해 보정이 수행되는지 여부를 나타내는 제2 플래그 중 적어도 하나를 결정할 수 있다. 엔트로피 인코딩부(240)는, 상기 결정된 제1 플래그 및/또는 제2 플래그를 부호화할 수 있다. 이때, 상기 제2 플래그는, 상기 제1 플래그가 현재 블록의 예측 샘플에 대한 보정이 가용함을 나타내는 경우에 한하여 부호화될 수 있다.
상기 파라미터 결정부(1110)는, 인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여 참조 영역을 결정할 수 있고, 엔트로피 인코딩부(240)는, 상기 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보를 부호화할 수 있다. 또는, 상기 파라미터 결정부(1110)는, 인코딩 장치에 기-정의된 복수의 모드들 중 적어도 둘에 기초하여 참조 영역을 결정할 수 있고, 엔트로피 인코딩부(240)는, 상기 복수의 모드들 중 적어도 둘을 특정하는 인덱스 정보를 각각 부호화할 수 있다. 일예로, 전술한 변화량 기반의 휘도 보상 방법이 이용되는 경우, 제1 파라미터를 유도하기 위해 이용된 참조 영역(혹은 복수의 모드들 중 어느 하나의 모드)을 특정하는 인덱스 정보가 부호화될 수 있다. 추가로, 제2 파라미터를 유도하기 위해 이용된 참조 영역(혹은 복수의 모드들 중 다른 어느 하나의 모드)를 특정하는 인덱스 정보가 부호화될 수 있다.
상기 파라미터 결정부(1110)는, 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 나타내는 제2 플래그와 복수의 모드들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(이하, 병합 인덱스 정보라 함)를 결정할 수 있고, 엔트로피 인코딩부(240)는 상기 병합 인덱스 정보를 부호화할 수 있다.
상기 파라미터 결정부(1110)는, 슬라이스, 픽쳐 등과 같은 상위 레벨에서, 예측 샘플의 보정이 수행되는 CU가 존재하는지 여부를 나타내는 제3 플래그를 추가적으로 결정할 수 있고, 엔트로피 인코딩부(240)는, 상기 결정된 제3 플래그를 추가적으로 부호화할 수 있다. 또한, 상기 제3 플래그가 부호화된 경우, 엔트로피 인코딩부(240)는 상기 제1 플래그 또는 상기 제3 플래그 중 적어도 하나에 기초하여 상기 병합 인덱스 정보를 부호화할 수 있다.
상기 파라미터 결정부(1110)는, 상기 병합 인덱스 정보 대신에 전술한 제2 플래그와 인덱스 정보를 각각 결정할 수 있고, 엔트로피 인코딩부(240)는 상기 결정된 제2 플래그와 인덱스 정보를 각각 부호화할 수 있다.
상기 파라미터 결정부(1110)는, 전술한 현재 블록의 부호화 정보 중 적어도 하나에 기초하여, 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 결정할 수 있다. 상기 파라미터 결정부(1110)는, 상기 결정 결과에 기초하여, 상기 파라미터를 적응적으로 결정할 수 있다.
상기 파라미터 결정부(1110)는, 기-결정된 제2 플래그가 현재 블록의 예측 샘플에 대해 보정이 수행됨을 나타내는 경우라도, 전술한 현재 블록의 부호화 정보 중 적어도 하나에 기초하여 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 재결정할 수 있다.
상기 파라미터 결정부(1110)는, 전술한 부호화 정보 중 적어도 하나를 부가적인 조건으로 이용하여 상기 제2 플래그의 결정을 적응적으로 수행할 수 있고, 엔트로피 인코딩부(240)는 상기 결정된 제2 플래그를 부호화할 수 있다. 이에 대해서는 도 10을 참조하여 살펴본 바와 같으며, 자세한 설명은 생략하기로 한다.
예측 샘플 보정부(1120)는, 상기 파라미터 결정부(1110)에서 결정된 파라미터를 기반으로 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득할 수 있다. 상기 현재 블록의 예측 샘플은, 제1 보정 방법 내지 제5 보정 방법 중 적어도 하나에 기초하여 보정될 수 있으며, 이는 도 10을 참조하여 살펴보았는바, 여기서 자세한 설명은 생략하기로 한다.
예측 샘플 보정부(1120)는, 인코딩 장치에 기-정의된 복수의 보정 방법들 중 어느 하나를 선택적으로 이용하여 상기 현재 블록의 예측 샘플을 보정할 수 있다. 이를 위해, 예측 샘플 보정부(1120)는, 기-정의된 복수의 보정 방법들 중에서, 현재 블록에 적용되는 보정 방법을 결정할 수 있고, 엔트로피 인코딩부(240)는 상기 결정된 보정 방법에 대응하는 인덱스 정보를 부호화할 수 있다.
예측 샘플 보정부(1120)는, 현재 블록의 예측 샘플에 보정이 수행되는지 여부를 나타내는 제2 플래그와 복수의 보정 방법들 중 어느 하나를 특정하는 인덱스 정보가 병합된 하나의 신택스(이하, 병합 인덱스 정보라 함)를 결정할 수 있고, 엔트로피 인코딩부(240)는 상기 결정된 병합 인덱스 정보를 부호화할 수 있다. 이 경우, 파라미터 결정부(1110)는 상기 예측 샘플 보정부(1120)의 내부에 구비될 수 있고, 상기 예측 샘플 보정부(1120)에서 상기 파라미터가 결정될 수도 있다.
예측 샘플 보정부(1120)는, 현재 블록의 예측 샘플을 보정하기 위해 상기 제1 보정 방법이 사용되는지 여부를 나타내는 제4 플래그를 결정할 수 있고, 엔트로피 인코딩부(240)는 상기 결정된 제4 플래그를 부호화할 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 해당 실시예는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 문서의 실시예들의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 본 문서의 실시예들에 따른 방법은 소프트웨어 형태로 구현될 수 있으며, 본 문서에 따른 인코딩 장치 및/또는 디코딩 장치는 예를 들어 TV, 컴퓨터, 스마트폰, 셋톱박스, 디스플레이 장치 등의 영상 처리를 수행하는 장치에 포함될 수 있다.
본 문서에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 즉, 본 문서에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 이 경우 구현을 위한 정보(ex. information on instructions) 또는 알고리즘이 디지털 저장 매체에 저장될 수 있다.
또한, 본 명세서의 실시예(들)이 적용되는 디코딩 장치 및 인코딩 장치는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, VR(virtual reality) 장치, AR(argumente reality) 장치, 화상 전화 비디오 장치, 운송 수단 단말 (ex. 차량(자율주행차량 포함) 단말, 비행기 단말, 선박 단말 등) 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recorder) 등을 포함할 수 있다.
또한, 본 명세서의 실시예(들)이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 명세서의 실시예(들)에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 명세서의 실시예(들)는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 명세서의 실시예(들)에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
도 12는 본 개시의 실시예들이 적용될 수 있는 컨텐츠 스트리밍 시스템의 예를 나타낸다.
도 12를 참조하면, 본 명세서의 실시예(들)이 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수 있다.
상기 비트스트림은 본 명세서의 실시예(들)이 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하게 되는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
본 명세서에 기재된 청구항들은 다양한 방식으로 조합될 수 있다. 예를 들어, 본 명세서의 방법 청구항의 기술적 특징이 조합되어 장치로 구현될 수 있고, 본 명세서의 장치 청구항의 기술적 특징이 조합되어 방법으로 구현될 수 있다. 또한, 본 명세서의 방법 청구항의 기술적 특징과 장치 청구항의 기술적 특징이 조합되어 장치로 구현될 수 있고, 본 명세서의 방법 청구항의 기술적 특징과 장치 청구항의 기술적 특징이 조합되어 방법으로 구현될 수 있다.

Claims (13)

  1. 현재 블록의 예측 샘플을 획득하는 단계;
    디코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여, 상기 현재 블록에 대한 제1 참조 영역을 결정하는 단계;
    상기 현재 블록에 대한 제1 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제1 파라미터를 유도하는 단계; 및
    상기 제1 파라미터에 기초하여 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득하는 단계를 포함하는, 영상 디코딩 방법.
  2. 제1항에 있어서,
    상기 복수의 모드들은, 상기 현재 블록의 상단 주변 영역과 좌측 주변 영역이 상기 참조 영역으로 이용되는 제1 모드, 상기 현재 블록의 좌측 주변 영역이 상기 참조 영역으로 이용되는 제2 모드, 또는 상기 현재 블록의 상단 주변 영역이 상기 참조 영역으로 이용되는 제3 모드 중 적어도 둘을 포함하는, 영상 디코딩 방법.
  3. 제2항에 있어서,
    상기 제2 모드의 상기 좌측 주변 영역은, 상기 현재 블록에 인접하지 않은 샘플 라인을 포함하고,
    상기 제3 모드의 상기 상단 주변 영역은, 상기 현재 블록에 인접하지 않은 샘플 라인을 포함하는, 영상 디코딩 방법.
  4. 제1항에 있어서,
    상기 복수의 모드들은, 상기 현재 블록에 인접한 제1 샘플 라인이 상기 참조 영역으로 이용되는 제1 모드, 상기 현재 블록에 인접하지 않고 상기 제1 샘플 라인에 인접한 제2 샘플 라인이 상기 참조 영역으로 이용되는 제2 모드, 또는 상기 현재 블록에 인접하지 않고 상기 제2 샘플 라인에 인접한 제3 샘플 라인이 상기 참조 영역으로 이용되는 제3 모드 중 적어도 둘을 포함하는, 영상 디코딩 방법.
  5. 제1항에 있어서,
    상기 복수의 모드들 중 상기 어느 하나는, 상기 현재 블록에 인접한 주변 블록의 부호화 정보에 기초하여 결정되고,
    상기 부호화 정보는, 양자화 파라미터, 예측 모드, 또는 움직임 정보 중 적어도 하나를 포함하는, 영상 디코딩 방법.
  6. 제1항에 있어서,
    상기 제1 파라미터는, 상기 참조 영역에 속한 샘플들 중에서 선택된 하나 또는 그 이상의 샘플들에 기초하여 유도되고,
    상기 하나 또는 그 이상의 샘플들은, 상기 현재 블록의 크기, 상기 참조 영역에 대한 서브-샘플링, 또는 상기 참조 영역에 속한 샘플들의 대표 샘플 중 적어도 하나에 기초하여 선택되는, 영상 디코딩 방법.
  7. 제1항에 있어서,
    상기 복수의 모드들 중 다른 어느 하나에 기초하여, 상기 현재 블록에 대한 추가적인 참조 영역을 결정하는 단계;
    상기 현재 블록에 대한 추가적인 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제2 파라미터를 유도하는 단계; 및
    상기 제1 파라미터와 상기 제2 파라미터에 기초하여, 상기 현재 블록에 적용되는 최종 파라미터를 유도하는 단계를 더 포함하되,
    상기 보정된 예측 샘플은, 상기 최종 파라미터를 상기 예측 샘플에 적용하여 획득되는, 영상 디코딩 방법.
  8. 제1항에 있어서,
    상기 현재 블록 내에서 상기 제1 파라미터가 적용되는 영역은, 상기 디코딩 장치에 기-정의된 하나 또는 그 이상의 타입들에 기초하여 결정되고,
    상기 하나 또는 그 이상의 타입들은, 상기 제1 파라미터가 적용되는 영역이 상기 현재 블록과 동일한 크기를 갖는 제1 타입, 상기 제1 파라미터가 적용되는 영역이 수평 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제2 타입, 상기 제1 파라미터가 적용되는 영역이 수직 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제3 타입, 상기 제1 파라미터가 적용되는 영역이 상기 현재 블록 내 우하단 서브 영역을 제외한 영역인 제4 타입, 또는 상기 제1 파라미터가 적용되는 영역이 소정의 각도를 가진 분할 라인을 기반으로 상기 현재 블록을 분할하여 생성된 2개의 서브 영역들 중 어느 하나인 제5 타입 중 적어도 하나를 포함하는, 영상 디코딩 방법.
  9. 제1항에 있어서,
    상기 현재 블록 내에서 상기 제1 파라미터가 적용되는 영역은, 상기 현재 블록 또는 상기 현재 블록에 인접한 주변 블록 중 적어도 하나의 부호화 정보를 기반으로 결정되고,
    상기 부호화 정보는, 양자화 파라미터, 예측 모드, 또는 움직임 정보 중 적어도 하나를 포함하는, 영상 디코딩 방법.
  10. 제1항에 있어서,
    상기 현재 블록의 인터 예측 모드에 기초하여 상기 현재 블록의 머지 후보 리스트를 구성하는 단계; 및
    상기 머지 후보 리스트로부터 선택된 어느 하나의 후보에 기초하여, 상기 현재 블록의 움직임 정보를 유도하는 단계를 더 포함하되,
    상기 예측 샘플을 보정할지 여부는, 상기 현재 블록의 인터 예측 모드 또는 상기 선택된 어느 하나의 후보에 기초하여 결정되는, 영상 디코딩 방법.
  11. 현재 블록의 예측 샘플을 획득하는 단계;
    인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여, 상기 현재 블록에 대한 제1 참조 영역을 결정하는 단계;
    상기 현재 블록에 대한 제1 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제1 파라미터를 유도하는 단계; 및
    상기 제1 파라미터에 기초하여 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득하는 단계를 포함하는, 영상 인코딩 방법.
  12. 영상 인코딩 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 영상 인코딩 방법은:
    현재 블록의 예측 샘플을 획득하는 단계;
    인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여, 상기 현재 블록에 대한 제1 참조 영역을 결정하는 단계;
    상기 현재 블록에 대한 제1 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제1 파라미터를 유도하는 단계; 및
    상기 제1 파라미터에 기초하여 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득하는 단계를 포함하는, 컴퓨터 판독 가능한 저장 매체.
  13. 현재 블록의 예측 샘플을 획득하는 단계;
    인코딩 장치에 기-정의된 복수의 모드들 중 어느 하나에 기초하여, 상기 현재 블록에 대한 제1 참조 영역을 결정하는 단계;
    상기 현재 블록에 대한 제1 참조 영역에 기초하여, 상기 현재 블록의 예측 샘플을 보정하기 위한 제1 파라미터를 유도하는 단계;
    상기 제1 파라미터에 기초하여 상기 현재 블록의 예측 샘플을 보정하여, 보정된 예측 샘플을 획득하는 단계;
    상기 보정된 예측 샘플을 기반으로 상기 현재 블록을 부호화하여 비트스트림을 생성하는 단계; 및
    상기 비트스트림을 포함한 데이터를 전송하는 단계를 포함하는, 영상 정보에 대한 데이터를 전송하는 방법.
PCT/KR2022/021514 2022-01-04 2022-12-28 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 WO2023132554A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0000880 2022-01-04
KR20220000880 2022-01-04
KR10-2022-0132103 2022-10-14
KR20220132103 2022-10-14

Publications (1)

Publication Number Publication Date
WO2023132554A1 true WO2023132554A1 (ko) 2023-07-13

Family

ID=87073842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021514 WO2023132554A1 (ko) 2022-01-04 2022-12-28 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Country Status (1)

Country Link
WO (1) WO2023132554A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005120A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
KR20190033624A (ko) * 2016-09-22 2019-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR20200010113A (ko) * 2018-07-18 2020-01-30 한국전자통신연구원 지역 조명 보상을 통한 효과적인 비디오 부호화/복호화 방법 및 장치
JP2021511698A (ja) * 2018-01-26 2021-05-06 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005120A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20190033624A (ko) * 2016-09-22 2019-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
JP2021511698A (ja) * 2018-01-26 2021-05-06 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置
KR20200010113A (ko) * 2018-07-18 2020-01-30 한국전자통신연구원 지역 조명 보상을 통한 효과적인 비디오 부호화/복호화 방법 및 장치

Similar Documents

Publication Publication Date Title
WO2020180102A1 (ko) 영상 코딩 시스템에서 컨텍스트 코딩된 사인 플래그를 사용하는 영상 디코딩 방법 및 그 장치
WO2020171592A1 (ko) 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
WO2020055161A1 (ko) 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2021006632A1 (ko) 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
WO2021096290A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021172914A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2020256400A1 (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020204418A1 (ko) 비디오 또는 영상 코딩 방법 및 그 장치
WO2021006698A1 (ko) 영상 코딩 시스템에서 영상 코딩 방법 및 장치
WO2021006697A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2020256393A1 (ko) 루마 맵핑 기반 비디오 또는 영상 코딩
WO2021015536A1 (ko) 팔레트 모드의 적용 여부에 따라 디블로킹 필터링을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020256512A1 (ko) 루마 맵핑 기반 비디오 또는 영상 코딩
WO2020251268A1 (ko) 크로마 성분에 대한 영상 디코딩 방법 및 그 장치
WO2020213866A1 (ko) 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
WO2023132556A1 (ko) 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2021172916A1 (ko) 영상 디코딩 방법 및 그 장치
WO2021137556A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021172907A1 (ko) 영상 디코딩 방법 및 그 장치
WO2021201549A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2021040486A1 (ko) 영상 디코딩 방법 및 그 장치
WO2021040406A1 (ko) 비디오 또는 영상 코딩 방법 및 그 장치
WO2020246790A1 (ko) 맵핑된 루마 성분 및 스케일링된 크로마 성분 기반 비디오 또는 영상 코딩
WO2021006580A1 (ko) 루마 샘플들의 맵핑 및 크로마 샘플들의 스케일링 기반 비디오 또는 영상 코딩
WO2020171668A1 (ko) 영상 코딩 시스템에서 컨텍스트 코딩된 부호 정보를 포함하는 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22919091

Country of ref document: EP

Kind code of ref document: A1