WO2020141954A1 - 비디오 데이터를 처리하기 위한 방법 및 장치 - Google Patents

비디오 데이터를 처리하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2020141954A1
WO2020141954A1 PCT/KR2020/000153 KR2020000153W WO2020141954A1 WO 2020141954 A1 WO2020141954 A1 WO 2020141954A1 KR 2020000153 W KR2020000153 W KR 2020000153W WO 2020141954 A1 WO2020141954 A1 WO 2020141954A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
candidate list
prediction
current
vector candidate
Prior art date
Application number
PCT/KR2020/000153
Other languages
English (en)
French (fr)
Inventor
장형문
남정학
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP20736137.9A priority Critical patent/EP3896971A4/en
Priority to CN202410668104.3A priority patent/CN118714341A/zh
Priority to US17/420,553 priority patent/US11962756B2/en
Priority to CN202410673340.4A priority patent/CN118714343A/zh
Priority to CN202080007969.5A priority patent/CN113273206B/zh
Priority to CN202410673599.9A priority patent/CN118714344A/zh
Priority to KR1020217020888A priority patent/KR20210093350A/ko
Priority to CN202410668153.7A priority patent/CN118714342A/zh
Publication of WO2020141954A1 publication Critical patent/WO2020141954A1/ko
Priority to US18/604,697 priority patent/US20240223750A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Definitions

  • the present specification relates to a method and apparatus for processing a video signal, and more particularly, to a method and apparatus for encoding or decoding video data using inter prediction.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or storing it in a form suitable for a storage medium.
  • Media such as video, image, and audio may be the subject of compression encoding, and a technique for performing compression encoding on an image is referred to as video image compression.
  • Next-generation video content will be characterized by high spatial resolution, high frame rate, and high dimensionality of scene representation. In order to process such content, it will bring a huge increase in terms of memory storage, memory access rate and processing power.
  • the video codec standard after the high efficiency video coding (HEVC) standard requires a more efficient prediction technique.
  • Embodiments of the present specification constitute a merge candidate list or a motion vector prediction candidate list in a current picture referencing (CPR) or intra block copy (IBC) prediction mode that performs inter prediction by using the current picture as a reference picture.
  • CPR current picture referencing
  • IBC intra block copy
  • a method for decoding video data includes: constructing a block vector candidate list for a current block to which an IBC prediction mode referring to another block in a current picture is applied, and including the block vector candidate list Generating a prediction sample for the current block based on the block vector, and constructing the block vector candidate list comprises: constructing a block vector candidate list from spatial neighboring blocks to which the IBC prediction mode is applied. And changing the block vector candidate list based on a history-based motion vector prediction (HMVP) candidate to which the IBC prediction mode is applied if the current number of candidates in the block vector candidate list is less than the maximum number of candidates. .
  • HMVP history-based motion vector prediction
  • the step of constructing the block vector candidate list may include adding a zero vector to the changed block vector candidate list if the current candidate number of the changed block vector candidate list is less than the maximum number of candidates. It may further include.
  • the step of adding a zero vector to the changed block vector candidate list is to add a zero vector to the changed block vector candidate list until the current candidate number is equal to the maximum candidate number. It may include the step of adding.
  • the spatial peripheral block may include at least one of a left peripheral block, a lower left peripheral block, an upper peripheral block, an upper right peripheral block, or an upper right peripheral block of the current block.
  • the step of constructing the block vector candidate list includes adding a pairwise candidate generated based on a combination of block vectors included in the changed block vector candidate list to the block vector candidate list. It may further include.
  • the method may further include adding a zero vector to the block vector candidate list.
  • a method for encoding video data includes constructing a block vector candidate list for a current block using an IBC prediction mode that references other blocks in a current picture, and the block vector candidate list Generating a prediction sample for the current block based on, and encoding information related to the prediction of the current block, and constructing the block vector candidate list comprises: a spatial space to which the IBC prediction mode is applied Constructing a block vector candidate list from neighboring blocks, and if the current candidate number of the block vector candidate list is less than the maximum number of candidates, based on a history-based motion vector prediction (HMVP) candidate to which the IBC prediction mode is applied, And changing the block vector candidate list.
  • HMVP history-based motion vector prediction
  • An apparatus for decoding video data includes a memory that stores the video data, a processor that is coupled to the memory, and processes the video data, wherein the processor is in a current picture.
  • a block vector candidate list for a current block to which an IBC prediction mode referring to another block is applied is configured, and a prediction sample for the current block is set based on a block vector included in the block vector candidate list, and the block is set.
  • the processor constructs a block vector candidate list from spatial neighboring blocks to which the IBC prediction mode is applied, and if the current candidate number of the block vector candidate list is less than the maximum candidate number, the IBC prediction It is set to change the block vector candidate list based on a history-based motion vector prediction (HMVP) candidate to which a mode is applied.
  • HMVP history-based motion vector prediction
  • An apparatus for encoding video data includes a memory storing the video data, a processor coupled with the memory, and processing the video data, wherein the processor is a current picture.
  • a block vector candidate list for a current block is constructed by using an IBC prediction mode referring to another block of mine, a prediction sample for the current block is generated based on a block vector included in the block vector candidate list, and the current
  • the processor is configured to encode information related to prediction of a block, and to construct the block vector candidate list, the processor constructs a block vector candidate list from spatial neighboring blocks to which the IBC prediction mode is applied, and the block vector candidate list If the current number of candidates is smaller than the maximum number of candidates, the block vector candidate list is set to be changed based on a history-based motion vector prediction (HMVP) candidate to which the IBC prediction mode is applied.
  • HMVP history-based motion vector prediction
  • a motion vector prediction candidate list may be constructed.
  • FIG. 1 shows an example of a video coding system according to an embodiment of the present specification.
  • FIG. 2 shows a schematic block diagram of an encoding apparatus for encoding a video/image signal according to an embodiment of the present specification.
  • FIG. 3 is an embodiment of the present specification, and shows a schematic block diagram of a decoding apparatus for decoding a video signal.
  • FIG. 4 shows an example of a structural diagram of a content streaming system according to an embodiment of the present specification.
  • FIG 5 shows an example of multi-type tree splitting modes according to an embodiment of the present specification.
  • FIGS. 6 and 7 show an example of an intra prediction based video encoding method according to an embodiment of the present specification and an intra prediction unit in an encoding apparatus according to an embodiment of the present invention.
  • FIG. 8 and 9 illustrate an example of an intra prediction based video/image decoding method according to an embodiment of the present specification and an intra prediction unit in a decoding apparatus according to an embodiment of the present invention.
  • 10 and 11 show examples of prediction directions of an intra prediction mode that can be applied to embodiments of the present specification.
  • FIG 12 illustrates an example of reference lines for applying multiple reference line prediction according to an embodiment of the present specification.
  • FIG. 13 shows an example of a flowchart for processing video data according to an embodiment of the present specification.
  • FIG. 14 shows an example of a flowchart for encoding video data according to an embodiment of the present specification.
  • FIG. 15 shows an example of a flowchart for decoding video data according to an embodiment of the present specification.
  • FIG. 16 shows an example of a block diagram of an apparatus for processing video data according to an embodiment of the present specification.
  • signals, data, samples, pictures, slices, tiles, frames, and blocks may be interpreted by appropriately replacing each coding process.
  • the'processing unit' refers to a unit in which encoding/decoding processing such as prediction, transformation, and/or quantization is performed.
  • the processing unit may be interpreted to include a unit for a luminance component and a unit for a chroma component.
  • the processing unit may correspond to a block, a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the processing unit may be interpreted as a unit for a luminance component or a unit for a color difference component.
  • the processing unit may correspond to a coding tree block (CTB), a coding block (CB), a PU or a transform block (TB) for the luminance component.
  • the processing unit may correspond to CTB, CB, PU or TB for the color difference component.
  • the present invention is not limited thereto, and the processing unit may be interpreted to include a unit for a luminance component and a unit for a color difference component.
  • processing unit is not necessarily limited to square blocks, and may be configured in a polygonal shape having three or more vertices.
  • pixels, pixels, or coefficients transformation coefficients or transform coefficients that have undergone first-order transformation
  • samples are hereinafter collectively referred to as samples.
  • using a sample may mean using a pixel value, a pixel value, or a coefficient (a transform coefficient or a transform coefficient that has undergone first-order transformation).
  • FIG. 1 shows an example of a video coding system according to an embodiment of the present specification.
  • the video coding system can include a source device 10 and a receiving device 20.
  • the source device 10 may transmit the encoded video/video information or data to the receiving device 20 through a digital storage medium or a network in a file or streaming form.
  • the source device 10 may include a video source 11, an encoding device 12, and a transmitter 13.
  • the receiving device 20 may include a receiver 21, a decoding device 22 and a renderer 23.
  • the encoding device 10 may be referred to as a video/video encoding device, and the decoding device 20 may be referred to as a video/video decoding device.
  • the transmitter 13 may be included in the encoding device 12.
  • the receiver 21 may be included in the decoding device 22.
  • the renderer 23 may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source may acquire a video/image through a capture, synthesis, or generation process of the video/image.
  • the video source may include a video/image capture device and/or a video/image generation device.
  • the video/image capture device may include, for example, one or more cameras, a video/image archive including previously captured video/images, and the like.
  • the video/image generating device may include, for example, a computer, a tablet and a smartphone, and may (electronically) generate a video/image.
  • a virtual video/image may be generated through a computer or the like, and in this case, a video/image capture process may be replaced by a process in which related data is generated.
  • the encoding device 12 may encode an input video/image.
  • the encoding apparatus 12 may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • the encoded data (encoded video/image information) may be output in the form of a bitstream.
  • the transmitting unit 13 may transmit the encoded video/video information or data output in the form of a bitstream to a receiving unit of a receiving device through a digital storage medium or a network in a file or streaming format.
  • Digital storage media include universal serial bus (USB), secure digital (SD), compact disk (CD), digital video disk (DVD), bluray, hard disk drive (HDD), and solid state drive (SSD). It may include various storage media.
  • the transmission unit 13 may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast/communication network.
  • the receiver 21 may extract the bitstream and transmit it to the decoding device 22.
  • the decoding apparatus 22 may decode a video/image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding apparatus 12.
  • the renderer 23 may render the decoded video/image.
  • the rendered video/image may be displayed through the display unit.
  • FIG. 2 shows a schematic block diagram of an encoding apparatus for encoding a video/image signal according to an embodiment of the present specification.
  • the encoding apparatus 100 includes an image division unit 110, a subtraction unit 115, a conversion unit 120, a quantization unit 130, an inverse quantization unit 140, and an inverse conversion unit 150, It may include an adder 155, a filtering unit 160, a memory 170, an inter prediction unit 180, an intra prediction unit 185, and an entropy encoding unit 190.
  • the inter prediction unit 180 and the intra prediction unit 185 may be collectively referred to as a prediction unit. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185.
  • the transform unit 120, the quantization unit 130, the inverse quantization unit 140, and the inverse transform unit 150 may be included in a residual processing unit.
  • the residual processing unit may further include a subtraction unit 115.
  • the above-described image segmentation unit 110, subtraction unit 115, conversion unit 120, quantization unit 130, inverse quantization unit 140, inverse conversion unit 150, addition unit 155, filtering unit 160 ), the inter prediction unit 180, the intra prediction unit 185 and the entropy encoding unit 190 may be configured by one hardware component (for example, an encoder or processor) according to an embodiment.
  • the memory 170 may be configured by one hardware component (eg, a memory or digital storage medium) according to an embodiment, and the memory 170 may include a decoded picture buff-er (DPB) 175 Can be.
  • DPB decoded picture buff-er
  • the image division unit 110 may divide the input image (or picture, frame) input to the encoding apparatus 100 into one or more processing units.
  • the processing unit may be referred to as a coding unit (CU).
  • the coding unit may be recursively divided according to a quad-tree binary-tree (QTBT) structure from a coding tree unit (CTU) or a largest coding unit (LCU).
  • QTBT quad-tree binary-tree
  • CTU coding tree unit
  • LCU largest coding unit
  • one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure and/or a binary tree structure.
  • a quad tree structure may be applied first, and a binary tree structure may be applied later.
  • a binary tree structure may be applied first.
  • the coding procedure according to the present specification may be performed based on the final coding unit that is no longer split.
  • the maximum coding unit may be directly used as the final coding unit based on coding efficiency according to image characteristics, or the coding unit may be recursively divided into coding units having a lower depth than optimal if necessary.
  • the coding unit of the size of can be used as the final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and reconstruction, which will be described later.
  • the processing unit may further include a prediction unit (PU) or a transformation unit (TU).
  • the prediction unit and transform unit may be partitioned or partitioned from the above-described final coding unit, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transformation unit may be a unit for deriving a transform coefficient and/or a unit for deriving a residual signal from the transform coefficient.
  • the unit may be used interchangeably with terms such as a block or area in some cases.
  • the MxN block may represent samples of M columns and N rows or a set of transform coefficients.
  • the sample may generally represent a pixel or a pixel value, and may indicate only a pixel/pixel value of a luma component or only a pixel/pixel value of a saturation component.
  • the sample may be used as a term for one picture (or image) corresponding to a pixel or pel.
  • the encoding apparatus 100 subtracts a prediction signal (a predicted block, a prediction sample array) output from the inter prediction unit 180 or the intra prediction unit 185 from the input image signal (original block, original sample array)
  • a signal (remaining block, residual sample array) may be generated, and the generated residual signal is transmitted to the converter 120.
  • a unit that subtracts a prediction signal (a prediction block, a prediction sample array) from an input video signal (original block, original sample array) in the encoding apparatus 100 may be referred to as a subtraction unit 115.
  • the prediction unit may perform prediction on a block to be processed (hereinafter, referred to as a current block) and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied in units of blocks or CUs.
  • the prediction unit may generate various pieces of information about prediction, such as prediction mode information, as described later in the description of each prediction mode, and transmit them to the entropy encoding unit 190.
  • the prediction information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
  • the intra prediction unit 185 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart depending on a prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the non-directional mode may include, for example, a DC mode and a planar mode (planar mode).
  • the directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes depending on the degree of detail of the prediction direction. However, this is an example, and more or less directional prediction modes may be used depending on the setting.
  • the intra prediction unit 185 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
  • the inter prediction unit 180 may derive the predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be called a name such as a collocated reference block or a colCU, and the reference picture including the temporal neighboring block may also be called a collocated picture (colPic).
  • the inter prediction unit 180 constructs a motion information candidate list based on neighboring blocks, and generates information indicating which candidate is used to derive the motion vector and/or reference picture index of the current block. can do. Inter prediction may be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the inter prediction unit 180 may use motion information of neighboring blocks as motion information of the current block.
  • the residual signal may not be transmitted.
  • the motion vector of the current block is obtained by using the motion vector of the neighboring block as a motion vector predictor and signaling a motion vector difference. I can order.
  • the prediction signal generated by the inter prediction unit 180 or the intra prediction unit 185 may be used to generate a reconstructed signal or may be used to generate a residual signal.
  • the transform unit 120 may generate transform coefficients by applying a transform technique to the residual signal.
  • the transformation technique may include at least one of a discrete cosine transform (DCT), a discrete sine transform (DST), a Karhunen-Loeve transform (KLT), a graph-based transform (GBT), or a conditionally non-linear transform (CNT).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • KLT Karhunen-Loeve transform
  • GBT graph-based transform
  • CNT conditionally non-linear transform
  • GBT means a transformation obtained from this graph when it is said that the relationship information between pixels is graphically represented.
  • CNT means a transform obtained by generating a prediction signal using all previously reconstructed pixels and based on it.
  • the transform process may be applied to pixel blocks having the same size of a square, or may be applied to blocks of variable sizes other than squares.
  • the quantization unit 130 quantizes the transform coefficients and transmits them to the entropy encoding unit 190, and the entropy encoding unit 190 encodes a quantized signal (information about quantized transform coefficients) and outputs it as a bitstream. have.
  • Information about quantized transform coefficients may be referred to as residual information.
  • the quantization unit 130 may rearrange the block-type quantized transform coefficients into a one-dimensional vector form based on a coefficient scan order, and the quantized transform based on the one-dimensional vector form quantized transform coefficients Information about coefficients may be generated.
  • the entropy encoding unit 190 may perform various encoding methods such as exponential Golomb (CAVLC), context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit 190 may encode information necessary for video/image reconstruction (eg, values of syntax elements) together with the quantized transform coefficients together or separately.
  • the encoded information (eg, video/video information) may be transmitted or stored in the unit of a network abstraction layer (NAL) unit in the form of a bitstream.
  • NAL network abstraction layer
  • the bitstream can be transmitted over a network, or it can be stored on a digital storage medium.
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the signal output from the entropy encoding unit 190 may be configured as an internal/external element of the encoding device 100 by a transmitting unit (not shown) and/or a storing unit (not shown) for storing, or the transmitting unit It may be a component of the entropy encoding unit 190.
  • the quantized transform coefficients output from the quantization unit 130 may be used to generate a prediction signal.
  • the residual signal may be reconstructed by applying inverse quantization and inverse transform through the inverse quantization unit 140 and the inverse transform unit 150 in the loop to the quantized transform coefficients.
  • the adder 155 adds the reconstructed residual signal to the predicted signal output from the inter predictor 180 or the intra predictor 185, so that the reconstructed signal (restored picture, reconstructed block, reconstructed sample array) Can be generated. If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adding unit 155 may be referred to as a restoration unit or a restoration block generation unit.
  • the reconstructed signal may be used for intra prediction of a next processing target block in a current picture, or may be used for inter prediction of a next picture through filtering as described below.
  • the filtering unit 160 may apply subjective/objective filtering to improve the subjective/objective image quality.
  • the filtering unit 160 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 170.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop fil-ter, and bilateral filter.
  • the filtering unit 160 may generate various information regarding filtering as described later in the description of each filtering method and transmit it to the entropy encoding unit 190.
  • the filtering information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
  • the corrected reconstructed picture transmitted to the decoded picture buffer 170 may be used as a reference picture in the inter prediction unit 180.
  • the inter prediction is applied through the encoding apparatus 100, prediction mismatches in the encoding apparatus 100 and the decoding apparatus 200 may be avoided, and encoding efficiency may be improved.
  • the decoded picture buffer 170 may store the corrected reconstructed picture for use as a reference picture in the inter prediction unit 180.
  • FIG. 3 is an embodiment of the present specification, and shows a schematic block diagram of a decoding apparatus for decoding a video signal.
  • the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse conversion unit 230, an addition unit 235, a filtering unit 240, a memory 250, and an inter It may be configured to include a prediction unit 260 and the intra prediction unit 265.
  • the inter prediction unit 260 and the intra prediction unit 265 may be collectively referred to as a prediction unit. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185.
  • the inverse quantization unit 220 and the inverse conversion unit 230 may be collectively referred to as a residual processing unit. That is, the residual processing unit may include an inverse quantization unit 220 and an inverse conversion unit 230.
  • the decoded picture buffer 250 may be implemented by one hardware component (eg, a memory or digital storage medium) according to an embodiment.
  • the memory 250 may include the DPB 175 and may be configured by a digital storage medium.
  • the decoding apparatus 200 may restore an image in response to a process in which the video/image information is processed by the encoding apparatus 100 of FIG. 2.
  • the decoding apparatus 200 may perform decoding using a processing unit applied by the encoding apparatus 100.
  • the processing unit may be, for example, a coding unit, and the coding unit may be divided according to a quad tree structure and/or a binary tree structure from a coding tree unit or a largest coding unit. Then, the decoded video signal decoded and output through the decoding device 200 may be reproduced through the reproduction device.
  • the decoding apparatus 200 may receive the signal output from the encoding apparatus 100 of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 210.
  • the entropy decoding unit 210 may parse the bitstream to derive information (eg, video/image information) necessary for image reconstruction (or picture reconstruction).
  • the entropy decoding unit 210 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and quantizes a value of a syntax element necessary for image reconstruction and a transform coefficient for residual.
  • the CABAC entropy decoding method receives bins corresponding to each syntax element in a bitstream, and decodes syntax information of the decoding target syntax element and surrounding and decoding target blocks, or symbols/bins decoded in the previous step.
  • the context model is determined using the information of, and the probability of occurrence of the bin is predicted according to the determined context model to perform arithmetic decoding of the bin to generate a symbol corresponding to the value of each syntax element. have.
  • the CABAC entropy decoding method may update the context model using the decoded symbol/bin information for the next symbol/bin context model after determining the context model.
  • the entropy decoding unit 210 performs entropy decoding.
  • the dual value that is, quantized transform coefficients and related parameter information may be input to the inverse quantization unit 220.
  • information related to filtering among information decoded by the entropy decoding unit 210 may be provided to the filtering unit 240.
  • a receiving unit (not shown) receiving a signal output from the encoding apparatus 100 may be further configured as an internal/external element of the decoding apparatus 200, or the receiving unit may be a component of the entropy decoding unit 210. It may be.
  • the inverse quantization unit 220 may output transform coefficients by inverse quantizing the quantized transform coefficients.
  • the inverse quantization unit 220 may rearrange the quantized transform coefficients in a two-dimensional block form. In this case, reordering may be performed based on the coefficient scan order performed by the encoding apparatus 100.
  • the inverse quantization unit 220 may perform inverse quantization on quantized transform coefficients using a quantization parameter (eg, quantization step size information), and obtain a transform coefficient.
  • a quantization parameter eg, quantization step size information
  • the inverse transform unit 230 may output a residual signal (residual block, residual sample array) by applying an inverse transform to the transform coefficient.
  • the prediction unit may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied to the current block based on information about prediction output from the entropy decoding unit 210, and may determine a specific intra/inter prediction mode.
  • the intra prediction unit 265 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or spaced apart according to the prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the intra prediction unit 265 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
  • the inter prediction unit 260 may derive the predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include information on the inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.).
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the inter prediction unit 260 may construct a motion information candidate list based on neighboring blocks, and derive a motion vector and/or reference picture index of the current block based on the received candidate selection information.
  • Inter prediction may be performed based on various prediction modes, and information on prediction may include information indicating a mode of inter prediction for a current block.
  • the adding unit 235 adds the obtained residual signal to the prediction signal (predicted block, prediction sample array) output from the inter prediction unit 260 or the intra prediction unit 265, thereby restoring signals (restored pictures, reconstructed blocks). , A reconstructed sample array). If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adding unit 235 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of a next processing target block in a current picture, or may be used for inter prediction of a next picture through filtering as described below.
  • the filtering unit 240 may improve subjective/objective image quality by applying filtering to the reconstructed signal. For example, the filtering unit 240 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 250.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset (SAO), adaptive loop filter (ALF), bilateral filter, and the like.
  • the corrected reconstructed picture transmitted to the decoded picture buffer 250 may be used as a reference picture by the inter prediction unit 260.
  • the embodiments described in the filtering unit 160, the inter prediction unit 180, and the intra prediction unit 185 of the encoding device 100 are respectively the filtering unit 240 and the inter prediction unit 260 of the decoding device.
  • the intra prediction unit 265 may be applied to the same or corresponding.
  • FIG. 4 shows an example of a structural diagram of a content streaming system according to an embodiment of the present specification.
  • the content streaming system to which the present specification is applied may largely include an encoding server 410, a streaming server 420, a web server 430, a media storage 440, a user device 450, and a multimedia input device 460. have.
  • the encoding server 410 may compress content input from multimedia input devices such as a smartphone, camera, camcorder, etc. into digital data to generate a bitstream and transmit it to the streaming server 420.
  • multimedia input devices 460 such as a smartphone, camera, and camcorder directly generate a bitstream
  • the encoding server 410 may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which the present specification is applied, and the streaming server 420 may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server 420 transmits multimedia data to the user device 450 based on a user request through the web server 430, and the web server 430 serves as an intermediary to inform the user of the service.
  • the web server 430 delivers it to the streaming server 420, and the streaming server 420 transmits multimedia data to the user.
  • the content streaming system may include a separate control server, in which case the control server serves to control commands/responses between devices in the content streaming system.
  • Streaming server 420 may receive content from media storage 440 and/or encoding server 410.
  • the streaming server 420 may receive content in real time from the encoding server 410.
  • the streaming server 420 may store the bitstream for a predetermined time.
  • the user device 450 includes a mobile phone, a smart phone, a laptop computer, a terminal for digital broadcasting, a personal digital assistants (PDA), a portable multimedia player (PMP), navigation, a slate PC ( slate PC), tablet PC (tablet PC), ultrabook (ultrabook), wearable device (wearable device, for example, a smart watch (smartwatch), glass type (smart glass), HMD (head mounted display), digital TVs, desktop computers, and digital signage.
  • PDA personal digital assistants
  • PMP portable multimedia player
  • slate PC slate PC
  • tablet PC tablet PC
  • ultrabook ultrabook
  • wearable device wearable device
  • wearable device for example, a smart watch (smartwatch), glass type (smart glass), HMD (head mounted display), digital TVs, desktop computers, and digital signage.
  • Each server in the content streaming system can be operated as a distributed server, and in this case, data received from each server can be distributed.
  • FIG. 5 shows an example of a block diagram of an apparatus for processing a video signal according to an embodiment of the present specification.
  • the video signal processing apparatus of FIG. 5 may correspond to the encoding apparatus 100 of FIG. 2 or the decoding apparatus 200 of FIG. 3.
  • the video signal processing apparatus 500 may include a memory 520 for storing a video signal, and a processor 510 for processing a video signal while being combined with the memory.
  • the processor 510 may be configured with at least one processing circuit for processing a video signal, and may process a video signal by executing instructions for encoding or decoding the video signal. That is, the processor 510 may encode the original video signal or decode the encoded video signal by executing the encoding or decoding methods described below.
  • the video/image coding method according to this document may be performed based on various detailed technologies, and the detailed description of each technique is as follows.
  • the techniques described below may be related to related procedures such as prediction, residual processing (transformation, quantization, etc.), syntax element coding, filtering, partitioning/segmentation, etc. in the video/image encoding/decoding procedure described above and/or described below. It is apparent to those skilled in the art.
  • Figure 6 is an embodiment to which the present invention can be applied,
  • Figure 6a is QT (QuadTree, QT)
  • Figure 6b is BT (Binary Tree, BT)
  • Figure 6c is TT (Ternary Tree, TT)
  • Figure 6d is AT (Asymmetric Tree, AT).
  • one block can be divided based on QT. Further, one subblock divided by QT may be further divided recursively using QT.
  • a leaf block that is no longer QT split may be split by at least one of BT, TT, or AT.
  • BT can have two types of splitting: horizontal BT (2NxN, 2NxN) and vertical BT (Nx2N, Nx2N).
  • the TT may have two types of splitting: horizontal TT (2Nx1/2N, 2NxN, 2Nx1/2N) and vertical TT (1/2Nx2N, Nx2N, 1/2Nx2N).
  • AT is horizontal-up AT (2Nx1/2N, 2Nx3/2N), horizontal-down AT (2Nx3/2N, 2Nx1/2N), vertical-left AT (1/2Nx2N, 3/2Nx2N), vertical-right AT (3 /2Nx2N, 1/2Nx2N).
  • Each BT, TT, AT can be further divided recursively using BT, TT, AT.
  • Block A can be divided into four sub-blocks (A0, A1, A2, A3) by QT.
  • Sub-block A1 may be divided into four sub-blocks (B0, B1, B2, and B3) again by QT.
  • Block B3 which is no longer divided by QT, may be divided into vertical BT(C0, C1) or horizontal BT(D0, D1). As in the block C0, each sub-block may be further divided recursively in the form of horizontal BT(E0, E1) or vertical BT (F0, F1).
  • Block B3 which is no longer divided by QT, may be divided into vertical TT (C0, C1, C2) or horizontal TT (D0, D1, D2). As in block C1, each sub-block may be further recursively divided in the form of horizontal TT (E0, E1, E2) or vertical TT (F0, F1, F2).
  • Block B3 which is no longer divided by QT, may be divided into vertical AT (C0, C1) or horizontal AT (D0, D1). As in block C1, each sub-block may be further recursively divided in the form of horizontal AT (E0, E1) or vertical TT (F0, F1).
  • BT, TT, and AT divisions can be used together to divide.
  • a sub-block divided by BT can be divided by TT or AT.
  • the sub-block divided by TT can be divided by BT or AT.
  • the sub-block divided by AT can be divided by BT or TT.
  • each sub-block may be divided into vertical BT, or after vertical BT division, each sub-block may be divided into horizontal BT. In this case, the order of division is different, but the shape of the final division is the same.
  • the order in which blocks are searched can be variously defined.
  • a search is performed from left to right, from top to bottom, and searching for blocks means an order of determining whether to divide additional blocks of each divided sub-block, or when a block is no longer divided, each sub It may mean a coding order of blocks or a search order when sub-blocks refer to information of other neighboring blocks.
  • transformation may be performed for each processing unit (or transformation block) divided by a partitioning structure, and in particular, a transformation matrix may be applied by being divided in a row direction and a column direction.
  • a transformation matrix may be applied by being divided in a row direction and a column direction.
  • other conversion types may be used depending on the length of the processing unit (or conversion block) in the row direction or the column direction.
  • FIG. 7 and 8 illustrate a video/video encoding procedure based on inter prediction according to an embodiment of the present specification and an inter prediction unit in an encoding device.
  • the encoding apparatus 100 performs inter prediction on the current block (S710).
  • the encoding apparatus 100 may derive the inter prediction mode and motion information of the current block, and generate prediction samples of the current block.
  • the procedure for determining the inter prediction mode, deriving motion information, and generating prediction samples may be performed simultaneously, or one procedure may be performed before the other procedure.
  • the inter prediction unit 180 of the encoding apparatus 100 may include a prediction mode determination unit 181, a motion information derivation unit 182, and a prediction sample derivation unit 183, and the prediction mode determination unit
  • the prediction mode for the current block may be determined at 181, the motion information of the current block may be derived from the motion information derivation unit 182, and prediction samples of the current block may be derived by the prediction sample derivation unit 183.
  • the inter prediction unit 180 of the encoding apparatus 100 searches a block similar to the current block in a certain area (search area) of reference pictures through motion estimation, and It is possible to derive a reference block whose difference is less than or equal to a certain criterion.
  • a reference picture index indicating a reference picture in which the reference block is located may be derived, and a motion vector may be derived based on a position difference between the reference block and the current block.
  • the encoding apparatus 100 may determine a mode applied to the current block among various prediction modes.
  • the encoding apparatus 100 may compare the RD cost for various prediction modes and determine an optimal prediction mode for the current block.
  • the encoding apparatus 100 configures a merge candidate list, which will be described later, and the current block among the reference blocks indicated by the merge candidates included in the merge candidate list. It is possible to derive a reference block with a difference from a current block or a minimum or a predetermined criterion. In this case, a merge candidate associated with the derived reference block is selected, and merge index information indicating the selected merge candidate may be generated and signaled to the decoding apparatus 200. Motion information of a current block may be derived using motion information of a selected merge candidate.
  • the encoding apparatus 100 configures the (A)MVP candidate list, which will be described later, and (A) the motion vector predictor (MVP) candidates included in the MVP candidate list.
  • the motion vector of the selected MVP candidate can be used as the MVP of the current block.
  • a motion vector indicating a reference block derived by the above-described motion estimation may be used as the motion vector of the current block, and among the MVP candidates, a motion vector having the smallest difference from the motion vector of the current block may be used.
  • the MVP candidate to have may be the selected MVP candidate.
  • a motion vector difference (MVD) which is a difference obtained by subtracting MVP from the motion vector of the current block, may be derived.
  • information about the MVD may be signaled to the decoding device 200.
  • the value of the reference picture index may be configured and reference signal index information may be separately signaled to the decoding apparatus 200.
  • the encoding apparatus 100 may derive residual samples based on the predicted samples (S720 ).
  • the encoding apparatus 100 may derive residual samples through comparison of original samples and prediction samples of the current block.
  • the encoding apparatus 100 encodes video information including prediction information and residual information (S730).
  • the encoding apparatus 100 may output encoded image information in the form of a bitstream.
  • the prediction information is information related to a prediction procedure and may include prediction mode information (eg, skip flag, merge flag, or mode index) and motion information.
  • the motion information may include candidate selection information (eg, merge index, mvp flag, or mvp index) that is information for deriving a motion vector.
  • the motion information may include information on the MVD and/or reference picture index information.
  • the motion information may include information indicating whether L0 prediction, L1 prediction, or bi prediction is applied.
  • the residual information is information about residual samples.
  • the residual information may include information about quantized transform coefficients for residual samples.
  • the output bitstream may be stored in a (digital) storage medium and transmitted to a decoding device, or may be delivered to a decoding device through a network.
  • the encoding apparatus may generate a reconstructed picture (including reconstructed samples and reconstructed blocks) based on the reference samples and the residual samples. This is to derive the same prediction result as that performed by the decoding apparatus 200 in the encoding apparatus 100, because it is possible to increase coding efficiency. Accordingly, the encoding apparatus 100 may store the reconstructed picture (or reconstructed samples, reconstructed block) in a memory and use it as a reference picture for inter prediction. As described above, an in-loop filtering procedure may be further applied to the reconstructed picture.
  • FIGS. 9 and 10 illustrate a video/video decoding procedure based on inter prediction according to an embodiment of the present specification and an inter prediction unit in a decoding apparatus.
  • the decoding apparatus 200 may perform an operation corresponding to an operation performed in the encoding apparatus 100.
  • the decoding apparatus 200 may perform prediction on the current block and derive prediction samples based on the received prediction information.
  • the decoding apparatus 200 may determine a prediction mode for the current block based on the received prediction information (S910). The decoding apparatus 200 may determine which inter prediction mode is applied to the current block based on the prediction mode information in the prediction information.
  • the decoding apparatus 200 may determine whether merge mode is applied to the current block or (A)MVP mode is determined based on a merge flag. Alternatively, the decoding apparatus 200 may select one of various inter prediction mode candidates based on the mode index.
  • the inter prediction mode candidates may include skip mode, merge mode and/or (A)MVP mode, or various inter prediction modes described below.
  • the decoding apparatus 200 derives motion information of the current block based on the determined inter prediction mode (S920). For example, when the skip mode or the merge mode is applied to the current block, the decoding apparatus 200 may configure a merge candidate list, which will be described later, and select one of the merge candidates included in the merge candidate list. . The selection of the merge candidate may be performed based on a merge index. Motion information of a current block may be derived from motion information of a selected merge candidate. Motion information of the selected merge candidate may be used as motion information of the current block.
  • the decoding apparatus 200 configures the (A)MVP candidate list, which will be described later, and (A) the MVP candidate selected from among the MVP candidates included in the MVP candidate list.
  • the motion vector of can be used as the MVP of the current block.
  • the selection of the MVP may be performed based on the selection information (MVP flag or MVP index) described above.
  • the decoding apparatus 200 may derive the MVD of the current block based on information about the MVD, and may derive a motion vector of the current block based on the MVP and MVD of the current block.
  • the decoding apparatus 200 may derive a reference picture index of the current block based on the reference picture index information.
  • the picture indicated by the reference picture index in the reference picture list for the current block may be derived as a reference picture referenced for inter prediction of the current block.
  • motion information of the current block may be derived without configuring a candidate list, and in this case, motion information of the current block may be derived according to a procedure disclosed in a prediction mode, which will be described later.
  • the candidate list configuration as described above may be omitted.
  • the decoding apparatus 200 may generate prediction samples for the current block based on the motion information of the current block (S930). In this case, the decoding apparatus 200 may derive a reference picture based on the reference picture index of the current block, and derive predictive samples of the current block using samples of the reference block indicated by the motion vector of the current block on the reference picture. . In this case, as described later, a prediction sample filtering procedure for all or part of the prediction samples of the current block may be further performed depending on the case.
  • the inter prediction unit 260 of the decoding apparatus 200 may include a prediction mode determination unit 261, a motion information derivation unit 262, and a prediction sample derivation unit 263, and the prediction mode determination unit
  • the prediction mode for the current block is determined based on the prediction mode information received at 181, and the motion information (motion vector) of the current block based on the information on the motion information received from the motion information deriving unit 182. And/or a reference picture index), and predicted samples of the current block may be derived from the predicted sample deriving unit 183.
  • the decoding apparatus 200 generates residual samples for the current block based on the received residual information (S940).
  • the decoding apparatus 200 may generate reconstructed samples for the current block based on the predicted samples and residual samples, and generate a reconstructed picture based on the reconstructed samples. (S950). As described above, an in-loop filtering procedure may be further applied to the reconstructed picture.
  • the inter prediction procedure may include a step of determining an inter prediction mode, a step of deriving motion information according to the determined prediction mode, and performing a prediction (generating a predictive sample) based on the derived motion information.
  • inter prediction modes may be used for prediction of a current block in a picture.
  • various modes such as a merge mode, a skip mode, an MVP mode, and an affine mode may be used.
  • Decoder side motion vector refinement (DMVR) mode, adaptive motion vector resolution (AMVR) mode, and the like may be further used as ancillary modes.
  • the affine mode may also be called aaffine motion prediction mode.
  • the MVP mode may also be called AMVP (advanced motion vector prediction) mode.
  • Prediction mode information indicating the inter prediction mode of the current block may be signaled from the encoding device to the decoding device 200.
  • the prediction mode information may be included in the bitstream and received by the decoding apparatus 200.
  • the prediction mode information may include index information indicating one of a plurality of candidate modes.
  • the inter prediction mode may be indicated through hierarchical signaling of flag information.
  • the prediction mode information may include one or more flags.
  • the encoding apparatus 100 signals whether a skip mode is applied by signaling a skip flag, and indicates whether a merge mode is applied by signaling a merge flag when a skip mode is not applied, and when a merge mode is not applied. It may be indicated that the MVP mode is applied or may further signal a flag for additional classification.
  • the affine mode may be signaled as an independent mode, or may be signaled as a mode dependent on a merge mode or an MVP mode.
  • the affine mode may be configured as one candidate of the merge candidate list or the MVP candidate list, as described later.
  • the encoding apparatus 100 or the decoding apparatus 200 may perform inter prediction using motion information of a current block.
  • the encoding apparatus 100 may derive optimal motion information for the current block through a motion estimation procedure. For example, the encoding apparatus 100 may search for a similar reference block having high correlation within a predetermined search range in a reference picture by using a original block in the original picture for the current block in a fractional pixel unit, and through this, motion information Can be derived.
  • the similarity of the block can be derived based on the difference of phase-based sample values.
  • the similarity of a block may be calculated based on a sum of absolute difference (SAD) between a current block (or a template of the current block) and a reference block (or a template of a reference block).
  • SAD sum of absolute difference
  • motion information may be derived based on a reference block having the smallest SAD in the search area.
  • the derived motion information may be signaled to the decoding apparatus according to various methods based on the inter prediction mode.
  • the encoding apparatus 100 may indicate motion information of the current prediction block by transmitting flag information indicating that the merge mode is used and a merge index indicating which prediction blocks are used.
  • the encoding apparatus 100 must search a merge candidate block used to derive motion information of a current prediction block in order to perform a merge mode. For example, up to five merge candidate blocks may be used, but the present specification is not limited thereto. In addition, the maximum number of merge candidate blocks may be transmitted in the slice header, and the present specification is not limited thereto. After finding the merge candidate blocks, the encoding apparatus 100 may generate a merge candidate list, and may select a merge candidate block having the smallest cost as a final merge candidate block.
  • This specification provides various embodiments of a merge candidate block constituting a merge candidate list.
  • the merge candidate list may use 5 merge candidate blocks, for example. For example, four spatial merge candidates and one temporal merge candidate can be used.
  • FIG. 11 shows an example of a spatial merge candidate configuration for a current block according to an embodiment of the present specification.
  • a left neighboring block (A1), a bottom-left neighboring block (A2), a top-right neighboring block (B0), and an upper neighboring block (B1) ), at least one of a top-left neighboring block B2 may be used.
  • the merge candidate list for the current block may be configured based on the procedure shown in FIG. 17.
  • FIG. 12 shows an example of a flowchart for configuring a merge candidate list according to an embodiment of the present specification.
  • the coding apparatus searches for spatial neighboring blocks of the current block and inserts the derived spatial merge candidates into the merge candidate list (S1210).
  • the spatial peripheral blocks may include blocks around the lower left corner of the current block, blocks around the left corner, blocks around the upper right corner, blocks around the upper corner, and blocks around the upper left corner.
  • additional peripheral blocks such as a right peripheral block, a lower peripheral block, and a lower right peripheral block may be further used as the spatial peripheral blocks.
  • the coding apparatus may detect available blocks by searching for spatial neighboring blocks based on priority, and derive motion information of the detected blocks as spatial merge candidates.
  • the encoding apparatus 100 or the decoding apparatus 200 searches the five blocks shown in FIG. 11 in the order of A1, B1, B0, A0, B2, sequentially indexes available candidates, and merges candidates It can be configured as a list.
  • the coding apparatus searches for temporal neighboring blocks of the current block and inserts the derived temporal merge candidate into the merge candidate list (S1220).
  • the temporal peripheral block may be located on a reference picture that is a different picture from the current picture in which the current block is located.
  • the reference picture in which the temporal neighboring block is located may be referred to as a collocated picture or a coll pic-ture.
  • the temporal neighboring blocks may be searched in the order of the lower right corner peripheral block and the lower right center block of the co-located block for the current block on the call picture. Meanwhile, when motion data compression is applied, specific motion information may be stored as a representative motion information for each predetermined storage unit in a call picture.
  • the predetermined storage unit may be predetermined in units of, for example, 16x16 sample units, or 8x8 sample units, or size information for a predetermined storage unit may be signaled from the encoding device 100 to the decoding device 200. have.
  • motion information of a temporal peripheral block may be replaced with representative motion information of a predetermined storage unit in which the temporal peripheral block is located.
  • a temporal merge candidate may be derived based on motion information of a prediction block. For example, if the constant storage unit is 2nx2n sample units, and the coordinates of the temporal peripheral block are (xTnb, yTnb), the corrected position ((xTnb >> n) ⁇ n), (yTnb >> n) Motion information of the prediction block located at ⁇ n)) may be used for temporal merge candidates.
  • the constant storage unit is 16x16 sample units, and the coordinates of the temporal peripheral block are (xTnb, yTnb), the corrected position ((xTnb >> 4) ⁇ 4), (yTnb >> 4) Motion information of the prediction block located at ⁇ 4)) can be used for temporal merge candidates.
  • the constant storage unit is 8x8 sample units, and the coordinates of the temporal peripheral block are (xTnb, yTnb), the corrected position ((xTnb >> 3) ⁇ 3), (yTnb >> 3 ) ⁇ 3)) motion information of the prediction block located at may be used for temporal merge candidate.
  • the coding apparatus may check whether the number of current merge candidates is smaller than the maximum number of merge candidates (S1230).
  • the maximum number of merge candidates may be predefined or signaled from the encoding device 100 to the decoding device 200.
  • the encoding apparatus 100 may generate information on the number of maximum merge candidates, encode, and transmit the encoded information to the decoding apparatus 200 in the form of a bitstream.
  • the subsequent candidate addition process may not proceed.
  • the coding apparatus inserts an additional merge candidate into the merge candidate list (S1240).
  • Additional merge candidates are, for example, adaptive temporal motion vector prediction (ATMVP), combined bi-predictive merge candidates (if the slice type of the current slice is of type B) and/or zero vector merge. Candidates may be included.
  • ATMVP adaptive temporal motion vector prediction
  • bi-predictive merge candidates if the slice type of the current slice is of type B
  • zero vector merge candidates
  • FIG. 13 shows an example of a flowchart for constructing a prediction candidate list (MVP candidate list).
  • a motion vector corresponding to a reconstructed spatial neighboring block eg, the neighboring block of FIG. 11
  • a motion vector corresponding to a temporal neighboring block or Col block
  • a motion vector pre-dictor (MVP) candidate list may be generated. That is, the motion vector of the reconstructed spatial neighboring block and/or the motion vector corresponding to the temporal neighboring block may be used as a motion vector predictor candidate.
  • the prediction information may include selection information (eg, an MVP flag or an MVP index) indicating an optimal motion vector predictor candidate selected from among motion vector predictor candidates included in the list.
  • the prediction unit may select a motion vector predictor of the current block from among motion vector predictor candidates included in the motion vector candidate list, using the selection information.
  • the prediction unit of the encoding apparatus 100 may obtain a motion vector difference (MVD) between a motion vector of a current block and a motion vector predictor, encode it, and output it in the form of a bitstream. That is, the MVD can be obtained by subtracting the motion vector predictor from the motion vector of the current block.
  • the prediction unit of the decoding apparatus may obtain a motion vector difference included in the information about the prediction, and derive the motion vector of the current block through addition of the motion vector difference and the motion vector predictor.
  • the prediction unit of the decoding apparatus may obtain or derive a reference picture index indicating the reference picture from the information on the prediction.
  • the motion vector predictor candidate list may be configured as shown in FIG. 13.
  • the coding apparatus searches for a spatial candidate block for motion vector prediction and inserts it into a prediction candidate list (S1310).
  • the coding apparatus may search for neighboring blocks according to a predetermined search order, and add information of neighboring blocks satisfying the condition for the spatial candidate block to the prediction candidate list (MVP candidate list).
  • the coding apparatus After constructing the spatial candidate block list, the coding apparatus compares the number of spatial candidate lists included in the prediction candidate list with a preset reference number (eg, 2) (S1320). If the number of spatial candidate lists included in the prediction candidate list is greater than or equal to the reference number (eg, 2), the coding apparatus may end the construction of the prediction candidate list.
  • a preset reference number eg, 2
  • the coding device searches for the temporal candidate block and inserts it into the prediction candidate list (S1330), and the temporal candidate block is used If it is not possible, the zero motion vector is added to the prediction candidate list (S1340).
  • the predicted block for the current block may be derived based on the motion information derived according to the prediction mode.
  • the predicted block may include predictive samples (predictive sample array) of the current block.
  • an interpolation procedure may be performed, and through this, predictive samples of the current block may be derived based on reference samples in a fractional sample unit in a reference picture. .
  • prediction samples may be generated based on a motion vector per sample/subblock.
  • prediction samples derived based on first direction prediction eg, L0 prediction
  • prediction samples derived based on second direction prediction eg, L1 prediction
  • the final prediction samples can be derived through weighted sum (per phase).
  • reconstruction samples and reconstruction pictures may be generated based on the derived prediction samples, and then procedures such as in-loop filtering may be performed.
  • IBC intra block copy
  • the IBC may be used for content video/video coding, such as a game, such as SCC (screen content coding).
  • the IBC basically performs prediction in the current picture, but may be performed similarly to inter prediction in that a reference block is derived in the current picture. That is, the IBC can use at least one of the inter prediction techniques described in this document.
  • at IBC at least one of the above-described methods for deriving motion information (motion vector) may be used.
  • the IBC may refer to the current picture, and thus may be referred to as CPR (current picture referencing).
  • a prediction technique using another block as a reference block that is, using the current picture as a reference picture
  • the current picture including the current block may be referred to as IBC or CPR, but embodiments of the present specification may be used in specific terms. It is not limited, and may be used by replacing it with other suitable terms.
  • the encoding apparatus 100 may perform block matching (BM) to derive an optimal block vector (or motion vector) for the current block (eg, CU).
  • the derived block vector (or motion vector) may be signaled to the decoding apparatus 200 through a bitstream using a method similar to the block information (motion vector) signaling in the inter prediction described above.
  • the decoding apparatus 200 may derive a reference block for the current block in the current picture through the signaled block vector (motion vector), through which the prediction signal (predicted block or prediction samples) for the current block is obtained.
  • the block vector (or motion vector) may indicate displacement from the current block to a reference block located in an area already reconstructed in the current picture.
  • the block vector (or motion vector) may also be called a displacement vector.
  • a motion vector may correspond to the block vector or displacement vector.
  • the motion vector of the current block may include a motion vector for a luma component (luma motion vector) or a motion vector for a chroma component (chroma motion vector).
  • the luma motion vector for an IBC coded CU may be an integer sample unit (ie, integer precision).
  • the chroma motion vector can also be clipped in units of integer samples.
  • the IBC can use at least one of inter prediction techniques, for example, when IBC is applied as an AMVR, 1-pel and 4-pel motion vector precision can be switched.
  • a reconstructed portion of a preset region including the current CTU can be used. This limitation allows the IBC mode to be implemented using real on-chip memory for hardware implementation.
  • hash-based motion prediction is performed for the IBC.
  • the encoder performs RD checks on blocks having a width or width not greater than 16 luminance samples. For the non-merge mode, block vector search is performed using hash-based search dominant. If the hash does not return a valid candidate, block matching based on local search is performed.
  • hash key matching 32-bit CRC
  • Hash key calculation for all positions in the current picture is based on a 4x4 subblock. If all the hash keys of the 4x4 subblocks match the hash keys at the corresponding reference positions, for the current block of a larger size, it is determined that the hash key matches the hash key of the reference block. If the hash keys of the multiple reference blocks match the hash key of the current block, the block vector of each of the matching reference blocks is calculated and the one with the least cost is selected.
  • the search range is set to N samples from the current CTU to the left and top of the current block.
  • the N value is initialized to 128, and if there is at least one temporal reference picture, the N value is initialized to 64.
  • the hash hit ratio is defined as the percentage of samples in the CTU that found a match using a hash based search. While encoding the current CTU, if the hash hit ratio is less than 5%, N is halved.
  • the IBC mode is signaled using a flag, and may be signaled as IBC AMVP mode or IBC skip/merge mode as follows.
  • the merge candidate index is used to indicate block vectors in a list from neighbor candidate IBC coded blocks used to predict the current block.
  • IBC AMVP mode The block vector difference is coded in the same way as the motion vector difference.
  • the block vector prediction method uses two candidates as a predictor, one is a left peripheral block and the other is an upper peripheral block (if coded in IBC). If neither neighboring block is available, the default block vector is used as a predictor. The flag is signaled to indicate the block vector predictor index.
  • FIG. 14 and 15 show an example of a video/video encoding method based on IBC prediction and a prediction unit in an encoding apparatus according to an embodiment of the present specification.
  • the encoding apparatus 100 performs IBC prediction (IBC-based prediction) for the current block (S1410).
  • the encoding apparatus 100 may derive a prediction mode and a motion vector of the current block, and generate prediction samples of the current block.
  • the prediction mode may include at least one of the inter prediction modes described above.
  • the procedure of determining the prediction mode, deriving the motion vector, and generating the prediction samples may be performed simultaneously, or one procedure may be performed before the other procedure.
  • the prediction unit of the encoding apparatus 100 may include a prediction mode determination unit, a motion vector derivation unit, and a prediction sample derivation unit, and the prediction mode determination unit determines a prediction mode for the current block, and derives a motion vector
  • a motion vector of the current block may be derived from a unit, and prediction samples of the current block may be derived from a prediction sample deriving unit.
  • the prediction unit of the encoding apparatus 100 searches for a block similar to the current block in the reconstructed area (or a certain area (search area) of the restored areas) of the current picture through block matching (BM), and It is possible to derive a reference block whose difference from the block is a minimum or below a certain criterion.
  • BM block matching
  • the motion vector can be derived based on the difference in displacement between the reference block and the current block.
  • the encoding apparatus 100 may determine a mode applied to the current block among various prediction modes.
  • the encoding apparatus 100 may compare RD cost based on various prediction modes and determine an optimal prediction mode for the current block.
  • the encoding apparatus 100 configures the merge candidate list described above, and the current block among the reference blocks indicated by the merge candidates included in the merge candidate list.
  • a reference block in which a difference from the current block is less than or equal to a predetermined criterion can be derived.
  • a merge candidate associated with the derived reference block is selected, and merge index information indicating the selected merge candidate may be generated and signaled to the decoding apparatus 200.
  • the motion vector of the current block may be derived using the motion vector of the selected merge candidate.
  • the encoding apparatus 100 configures the above-mentioned (A)MVP candidate list, and the mvp (motion vector predictor) included in the (A)MVP candidate list )
  • a motion vector of a selected mvp candidate among candidates may be used as the mvp of the current block.
  • a motion vector indicating a reference block derived by the above-described motion estimation may be used as a motion vector of the current block, and among mvp candidates, a motion having the smallest difference from the motion vector of the current block
  • the mvp candidate having a vector may be the selected mvp candidate.
  • a motion vector difference (MVD) which is a difference obtained by subtracting mvp from a motion vector of a current block, may be derived. In this case, information about the MVD may be signaled to the decoding device 200.
  • the encoding apparatus 100 may derive residual samples based on the predicted samples (S1420).
  • the encoding apparatus 100 may derive residual samples through comparison of original samples and prediction samples of the current block.
  • the encoding apparatus 100 encodes video information including prediction information and residual information (S1430).
  • the encoding apparatus 100 may output encoded image information in the form of a bitstream.
  • the prediction information is information related to a prediction procedure, and may include prediction mode information (eg, skip flag, merge flag, or mode index) and motion vector information.
  • the motion vector information may include candidate selection information (eg, merge index, mvp flag, or mvp index) that is information for deriving a motion vector.
  • the motion vector information may include information about the MVD described above.
  • the information about the motion vector may include information indicating whether L0 prediction, L1 prediction, or bi prediction is applied.
  • the residual information is information about residual samples.
  • the residual information may include information about quantized transform coefficients for residual samples.
  • the output bitstream may be stored in a (digital) storage medium and transmitted to a decoding device, or may be delivered to a decoding device through a network.
  • the encoding apparatus 100 may generate a reconstructed picture (including reconstructed samples and reconstructed blocks) based on reference samples and residual samples. This is to derive the same prediction result as that performed by the decoding apparatus 200 in the encoding apparatus 100, because it is possible to increase coding efficiency. Accordingly, the encoding apparatus 100 may store the reconstructed picture (or reconstructed samples, reconstructed block) in a memory and use it as a reference picture for inter prediction. As described above, an in-loop filtering procedure may be further applied to the reconstructed picture.
  • the video/video decoding procedure based on the IBC and the prediction unit in the decoding apparatus 200 may schematically include, for example, the following.
  • 16 and 17 illustrate an example of a video/video decoding method based on IBC prediction and a prediction unit in a decoding apparatus according to an embodiment of the present specification.
  • the decoding apparatus 200 may perform an operation corresponding to an operation performed in the encoding apparatus 100.
  • the decoding apparatus 200 may perform IBC prediction on the current block based on the received prediction information and derive prediction samples.
  • the decoding apparatus 200 may determine a prediction mode for the current block based on the received prediction information (S1610). The decoding apparatus 200 may determine which inter prediction mode is applied to the current block based on the prediction mode information in the prediction information.
  • inter prediction mode candidates may include skip mode, merge mode and/or (A)MVP mode, or various inter prediction modes described below.
  • the decoding apparatus 200 derives a motion vector of the current block based on the determined prediction mode (S1620). For example, when the skip mode or the merge mode is applied to the current block, the decoding apparatus 200 may configure the merge candidate list described above and select one of the merge candidates included in the merge candidate list. . The selection may be performed based on the selection index (merge index) described above. The motion vector of the current block may be derived using the motion vector of the selected merge candidate. The motion vector of the selected merge candidate may be used as the motion vector of the current block.
  • the decoding apparatus 200 configures the above-mentioned (A)MVP candidate list, and the mvp (motion vector predictor) included in the (A)MVP candidate list )
  • a motion vector of a selected mvp candidate among candidates may be used as the mvp of the current block.
  • the selection may be performed based on the selection information (mvp flag or mvp index) described above.
  • the MVD of the current block can be derived based on the information on the MVD
  • the motion vector of the current block can be derived based on the mvp and MVD of the current block.
  • the reference picture index of the current block may be derived based on the reference picture index information.
  • the picture indicated by the reference picture index in the reference picture list for the current block may be derived as a reference picture referenced for inter prediction of the current block.
  • motion information of a current block may be derived without configuring a candidate list, and in this case, a motion vector of the current block may be derived according to a procedure initiated in a corresponding prediction mode.
  • the candidate list configuration as described above may be omitted.
  • the decoding apparatus 200 may generate prediction samples for the current block based on the motion vector of the current block (S1630). Prediction samples of the current block may be derived using samples of the reference block indicated by the motion vector of the current block on the current picture. In this case, a prediction sample filtering procedure for all or part of the prediction samples of the current block may be further performed.
  • the prediction unit of the decoding apparatus 200 may include a prediction mode determination unit, a motion vector derivation unit, and a prediction sample derivation unit, and predict the current block based on the prediction mode information received from the prediction mode determination unit.
  • the mode may be determined, the motion vector of the current block may be derived based on the information on the motion vector received from the motion vector derivation unit, and prediction samples of the current block may be derived from the prediction sample derivation unit.
  • the decoding apparatus 200 generates residual samples for the current block based on the received residual information (S1640).
  • the decoding apparatus 200 may generate reconstructed samples for the current block based on the predicted samples and residual samples, and generate a reconstructed picture based on the reconstructed samples. (S1650). As described above, an in-loop filtering procedure may be further applied to the reconstructed picture.
  • an embodiment of the present specification provides a method of constructing a merge candidate list (AMVP candidate list) for prediction of a block to which an IBC prediction mode is applied (or an IBC prediction mode is not applied). More specifically, when the IBC prediction mode is enabled, a method for configuring prediction candidates for IBC blocks and non-IBC blocks is provided.
  • IBC prediction is available in the process of compressing a still image or a video
  • prediction candidates for blocks encoded/decoded in IBC prediction mode and prediction candidates for blocks encoded/decoded in modes other than IBC prediction mode Compression performance can be improved by providing a method of constructing.
  • One embodiment of the present specification provides a method for configuring an IBC merge and an IBC AVMP candidate for a block to which IBC mode is applied.
  • a prediction candidate list is constructed using IBC candidates to which IBC prediction is applied.
  • a default candidate eg, a zero vector
  • a prediction candidate list for a current block to which IBC prediction mode is applied it is checked whether a candidate added is coded in IBC prediction mode, and if it is coded in IBC prediction mode, the candidate is predicted candidate Add it to the list.
  • the temporal merge candidate is excluded because it refers to the current picture due to the characteristics of the IBC. That is, using a method of constructing an existing merge candidate list, except for temporal merge candidates, a confirmation process for whether each candidate has been applied with the IBC prediction mode has been added.
  • the coding device in order to configure a spatial candidate, the coding device (encoding device 100 or decoding device 200) searches for a spatial neighboring block, and whether the corresponding candidate is applied with the IBC mode (the prediction mode of the candidate) Is the IBC prediction mode), and if the IBC prediction mode is applied, adds the candidate to the merge candidate list.
  • the IBC mode the prediction mode of the candidate
  • HMVP HMVP candidate list
  • HMVP history-based motion vector prediction
  • HMVP indicates a method of using prediction information (motion vector, reference picture index) of another block that has already been decoded (restored) in the current picture as information for prediction of the current block.
  • the coding apparatus may search for pairwise prediction candidates.
  • the pair prediction candidate is a prediction candidate generated by combining candidates previously formed in the prediction candidate list, for example, by combining the L0 direction block vector (motion vector) of the first candidate and the L1 direction block vector of the second candidate. Prediction candidates can be generated.
  • the coding device may determine whether the pair prediction candidate has applied IBC prediction, and when the IBC prediction is applied, the pair prediction candidate may be added to the merge candidate list. When both candidates used for the construction of the pair prediction candidates have IBC prediction applied, it can be said that IBC prediction has been applied to the pair prediction candidates. If the current number of candidates in the merge candidate list is smaller than the maximum number, the coding apparatus adds a zero vector to the merge candidate list.
  • Fig. 19 is similar to constructing the existing inter prediction merge candidate list, but the temporal merge candidate and the HMVP candidate are excluded.
  • the reason why HMVP candidates are excluded is that existing HMVPs store a certain number of candidates, so when using HMVP candidates for IBC prediction, all IBC/Non-IBC candidates must be stored for a limited number of candidates. This is because predictive performance or memory efficiency may be deteriorated in the process of constructing candidates.
  • the coding apparatus searches for a spatial neighboring block, checks whether the candidate is applied with the IBC mode, and the IBC prediction mode If is applied, the candidate is added to the merge candidate list.
  • the coding apparatus may search for pairwise prediction candidates.
  • the pair prediction candidate is a prediction candidate generated by combining candidates previously formed in the prediction candidate list, for example, by combining the L0 direction block vector (motion vector) of the first candidate and the L1 direction block vector of the second candidate. Prediction candidates can be generated.
  • the coding device may determine whether the pair prediction candidate has applied IBC prediction, and when the IBC prediction is applied, the pair prediction candidate may be added to the merge candidate list. When both candidates used for the construction of the pair prediction candidates have IBC prediction applied, it can be said that IBC prediction has been applied to the pair prediction candidates. If the current number of candidates in the merge candidate list is smaller than the maximum number, the coding apparatus adds a zero vector to the merge candidate list.
  • FIG. 20 is similar to constructing the existing inter prediction merge candidate list, but the temporal merge candidate and the pair prediction candidate are excluded.
  • the coding device in order to configure a spatial candidate, the coding device (encoding device 100 or decoding device 200) searches for a spatial neighboring block, checks whether the candidate is applied with the IBC mode, and the IBC prediction mode If is applied, the candidate is added to the merge candidate list.
  • a search for HMVP candidates may be performed.
  • the coding apparatus searches for candidates in the HMVP candidate list (HMVP buffer) to construct a history-based motion vector prediction (HMVP) candidate, and adds a candidate to which the IBC prediction is applied to the merge candidate list. If the current number of candidates in the merge candidate list is smaller than the maximum number, the coding apparatus adds a zero vector to the merge candidate list.
  • the pair prediction candidate, the HMVP candidate, and the temporal merge candidate are excluded.
  • the coding device in order to configure a spatial candidate, the coding device (encoding device 100 or decoding device 200) searches for a spatial neighboring block, checks whether the candidate is applied with the IBC mode, and IBC prediction mode If is applied, the candidate is added to the merge candidate list. If the current candidate number in the merge prediction candidate list is smaller than the maximum number, the coding apparatus adds a zero vector to the merge candidate list.
  • a coding device in order to configure a spatial candidate, searches for a spatial neighboring block, checks whether the candidate is applied with an IBC mode, and IBC prediction mode If is applied, the candidate is added to the AMVP candidate list. If the current number of candidates in the AMVP candidate list is smaller than the maximum number, the coding apparatus adds a zero vector to the AMVP candidate list.
  • the coding apparatus searches for a spatial neighboring block, checks whether the candidate is applied with the IBC mode, and the IBC prediction mode If is applied, the candidate is added to the AMVP candidate list.
  • a search for HMVP candidates may be performed.
  • the coding apparatus searches for candidates in the HMVP candidate list (HMVP buffer) to construct a history-based motion vector prediction (HMVP) candidate, and adds a candidate to which IBC prediction is applied to the AMVP candidate list. If the current number of candidates in the merge candidate list is smaller than the maximum number, the coding apparatus adds a zero vector to the AMVP candidate list.
  • one embodiment of the present specification provides a merge/AMVP candidate configuration method for inter prediction mode other than IBC.
  • This is a method of constructing a candidate list only with non-IBC candidates in the process of constructing a prediction candidate when the current block is applied with an inter prediction mode (MODE_INTER) other than IBC. If the number of non-IBC candidates is not configured, the default candidate (eg, zero vector) is configured.
  • 24 and 25 are examples of flowcharts for constructing a prediction candidate list for a block to which inter prediction is applied according to an embodiment of the present specification.
  • the coding apparatus adds the candidate to the prediction candidate list only when the candidate to add the prediction candidate list in the construction process is coded with inter prediction (Non-IBC). That is, when a candidate to be added to the prediction candidate list is coded with IBC, the method is not added to the candidate list.
  • Non-IBC inter prediction
  • FIG. 24 confirms whether a prediction mode of a candidate to be added is an IBC prediction mode in a process of constructing a merge candidate list, and when the prediction mode is not an IBC prediction mode (when inter prediction is applied), adds the candidate to the merge candidate list . If the prediction mode of the candidate to be added is the IBC prediction mode, the candidate is not added to the merge candidate list.
  • the coding apparatus searches for spatial neighboring blocks, checks whether an inter prediction mode is applied to the candidate (whether the prediction mode of the spatial candidate is an inter prediction mode), and inter When the prediction mode is applied (when the IBC prediction mode is not applied), the candidate is added to the merge candidate list. The candidate to which the IBC prediction mode is applied is not added to the merge candidate list.
  • the coding device may search for temporal prediction candidates.
  • the temporal (TMVP) candidate represents motion information of a block collocated in a different picture from the current block.
  • the coding apparatus searches for inter-located blocks (temporary neighboring blocks) of different pictures to construct temporal candidates, and adds temporal candidates with inter prediction (without IBC prediction) to the merge candidate list.
  • a search for HMVP candidates may be performed.
  • the coding apparatus searches for candidates in the HMVP candidate list (HMVP buffer) to construct a history-based motion vector prediction (HMVP) candidate, and adds a candidate with inter prediction (without IBC prediction) to the merge candidate list do.
  • HMVP candidate list HMVP buffer
  • HMVP history-based motion vector prediction
  • the coding apparatus may search for pairwise prediction candidates.
  • the pair prediction candidate is a prediction candidate generated by combining candidates previously formed in the prediction candidate list, for example, by combining the L0 direction block vector (motion vector) of the first candidate and the L1 direction block vector of the second candidate. Prediction candidates can be generated.
  • the coding device checks whether the pair prediction candidate has inter prediction applied (if IBC prediction is not applied), and when the inter prediction is applied (if IBC prediction is not applied), the pair prediction candidate is merged with the candidate list Can be added to It can be said that inter prediction has been applied to the pair prediction candidates when both of the two candidates used for the construction of the pair prediction candidates have inter prediction applied (both when IBC prediction is not applied). If the number is smaller than the maximum number, the coding apparatus adds a zero vector to the merge candidate list.
  • FIG. 25 checks whether a prediction mode of a candidate to be added is an IBC prediction mode in the process of constructing an AMVP candidate list, and adds the candidate to the AMVP candidate list when it is not an IBC prediction mode (when inter prediction is applied) .
  • the prediction mode of the candidate to be added is the IBC prediction mode, the candidate is not added to the AMVP candidate list.
  • the coding apparatus searches for spatial neighboring blocks, checks whether an inter prediction mode is applied to the candidate (whether the prediction mode of the spatial candidate is an inter prediction mode), and inter When the prediction mode is applied (when the IBC prediction mode is not applied), the corresponding candidate is added to the AMVP candidate list. Candidates to which the IBC prediction mode is applied are not added to the AMVP candidate list.
  • the coding device may search for temporal prediction candidates.
  • the temporal (TMVP) candidate represents motion information of a block collocated in a different picture from the current block.
  • the coding apparatus searches for inter-located blocks (temporary neighboring blocks) of other pictures to construct temporal candidates, and adds temporal candidates with inter prediction (without IBC prediction) to the AMVP candidate list.
  • a search for HMVP candidates may be performed.
  • the coding apparatus searches for candidates in the HMVP candidate list (HMVP buffer) to construct a history-based motion vector prediction (HMVP) candidate, and adds candidates with inter prediction applied (without IBC prediction applied) to the AMVP candidate list do.
  • HMVP history-based motion vector prediction
  • the coding device may search for pairwise prediction candidates.
  • the pair prediction candidate is a prediction candidate generated by combining candidates previously formed in the prediction candidate list, for example, by combining the L0 direction block vector (motion vector) of the first candidate and the L1 direction block vector of the second candidate. Prediction candidates can be generated.
  • the coding device determines whether the inter prediction is applied to the pair prediction candidate (if IBC prediction is not applied), and when the inter prediction is applied (if IBC prediction is not applied), the pair prediction candidate is the AMVP candidate list Can be added to It can be said that inter prediction is applied to the pair prediction candidates when both of the two candidates used for the construction of the pair prediction candidates have inter prediction applied (both when IBC prediction is not applied.) Current candidates in the AMVP candidate list If the number is smaller than the maximum number, the coding apparatus adds a zero vector to the AMVP candidate list.
  • the search for any one of various types of candidates may be omitted in the process of constructing the prediction candidate list for the non-IBC block.
  • FIG. 26 is an example of a flowchart for encoding video data according to an embodiment of the present specification. The operation of FIG. 26 may be performed by the inter prediction unit 180 of the encoding device 100.
  • the encoding apparatus 100 constructs a block vector candidate list for a current block to which an IBC prediction mode referring to another block in the current picture is applied (S2610).
  • the encoding apparatus 100 adds the candidate to the block vector candidate list only when the prediction mode of the candidate to be added is the IBC prediction mode in the process of constructing the block vector candidate list (merge candidate list/AMVP candidate list).
  • the encoding apparatus 100 may add a candidate to which the IBC prediction mode is applied (spatial candidate, temporal candidate, HMVP candidate, or pair prediction candidate) to the block vector candidate list.
  • the encoding apparatus 100 constructs a block vector candidate list from spatial neighboring blocks to which the IBC prediction mode is applied, and the current candidate number of the block vector candidate list is greater than the maximum candidate number. If small, the block vector candidate list may be changed based on the HMVP candidate to which the IBC prediction mode is applied.
  • the encoding apparatus 100 may add a zero vector to the changed block vector candidate list. In one embodiment, the encoding apparatus 100 may add a zero vector to the changed block vector candidate list until the current number of candidates is equal to the maximum number of candidates.
  • the spatial peripheral block may include at least one of a left peripheral block, a lower left peripheral block, an upper peripheral block, an upper right peripheral block, or an upper right peripheral block of the current block.
  • the encoding apparatus 100 may add a pairwise candidate generated based on a combination of block vectors included in the changed block vector candidate list to the block vector candidate list.
  • a zero vector may be added to the block vector candidate list.
  • the encoding apparatus 100 generates a prediction sample for the current block based on the block vector candidate list configured as the embodiment of the present specification (S2620). For example, the encoding apparatus 100 may generate a prediction sample using a block vector (motion vector) of a candidate indicated by a merge index in a block vector candidate list (merge candidate list). Specifically, a prediction sample may be generated using a sample value indicated by a block vector in the current picture including the current block.
  • a block vector motion vector
  • a prediction sample may be generated using a sample value indicated by a block vector in the current picture including the current block.
  • the encoding apparatus 100 determines whether a prediction mode of a candidate to be added is the same prediction mode as the current block (inter prediction mode) to construct a block vector candidate list. ), and in the case of the same prediction mode (in the case of the inter prediction mode), the corresponding candidate can be added to the block vector candidate list.
  • the encoding device 100 encodes information related to prediction of the current block (S2630).
  • FIG. 27 is an example of a flowchart for decoding video data according to an embodiment of the present specification. The operations of FIG. 27 may be performed by the inter prediction unit 260 of the decoding apparatus 200.
  • the decoding apparatus 200 constructs a block vector candidate list for the current block to which the IBC prediction mode referring to another block in the current picture is applied (S2710).
  • the decoding apparatus 200 generates a prediction sample for the current block based on the block vector candidate list (S2720).
  • the decoding apparatus 100 adds the candidate to the block vector candidate list only when the prediction mode of the candidate to be added is the IBC prediction mode in the process of constructing the block vector candidate list (merge candidate list/AMVP candidate list).
  • the decoding apparatus 100 may add a candidate (spatial candidate, temporal candidate, HMVP candidate, or pair prediction candidate) to which the IBC prediction mode is applied to the block vector candidate list.
  • the decoding apparatus 200 constructs a block vector candidate list from spatial neighboring blocks to which the IBC prediction mode is applied, and the current candidate number of the block vector candidate list is greater than the maximum candidate number. If small, the block vector candidate list may be changed based on the HMVP candidate to which the IBC prediction mode is applied.
  • the decoding apparatus 200 may add a zero vector to the changed block vector candidate list if the current candidate number of the changed block vector candidate list is less than the maximum candidate number. In one embodiment, the encoding apparatus 100 may add a zero vector to the changed block vector candidate list until the current number of candidates is equal to the maximum number of candidates.
  • the spatial peripheral block may include at least one of a left peripheral block, a lower left peripheral block, an upper peripheral block, an upper right peripheral block, or an upper right peripheral block of the current block.
  • the decoding apparatus 200 may add a pairwise candidate generated based on a combination of block vectors included in the changed block vector candidate list to the block vector candidate list.
  • a zero vector may be added to the block vector candidate list.
  • the decoding apparatus 200 may generate a prediction sample using a block vector (motion vector) of a candidate indicated by a merge index in a block vector candidate list (merge candidate list).
  • a prediction sample may be generated using a sample value indicated by a block vector in the current picture including the current block.
  • the decoding apparatus 200 determines whether a prediction mode of a candidate to be added is the same prediction mode as the current block (inter prediction mode) to construct a block vector candidate list. ), and in the case of the same prediction mode (in the case of the inter prediction mode), the corresponding candidate can be added to the block vector candidate list.
  • encoded information eg, encoded video/spiritual information
  • the encoded information may be transmitted or stored in units of NAL units in the form of a bitstream.
  • the bitstream can be transmitted over a network, or it can be stored in a non-transitory digital storage medium.
  • the bitstream is not directly transmitted from the encoding device 100 to the decoding device 200, but may be streamed/downloaded through an external server (eg, a content streaming server).
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the processing method to which the present invention is applied may be produced in the form of a program executed by a computer, and may be stored in a computer readable recording medium.
  • Multimedia data having a data structure according to the present invention can also be stored in a computer-readable recording medium.
  • Computer-readable recording media includes all types of storage devices and distributed storage devices in which computer-readable data are stored.
  • Computer-readable recording media include, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk and optical data. It may include a storage device.
  • the computer-readable recording medium includes media embodied in the form of a carrier wave (eg, transmission through the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • an embodiment of the present invention may be implemented as a computer program product by program code, and the program code may be executed on a computer by the embodiment of the present invention.
  • the program code can be stored on a computer readable carrier.
  • the above-described embodiments of the present specification may be implemented by a non-transitory computer-executable component in which computer-executable components configured to execute on one or more processors of a computing device are stored.
  • the computer-executable component according to an embodiment of the present disclosure determines whether a PCM mode in which a sample value of a current block in video data is transmitted through a bitstream is applied, and based on that the PCM mode is not applied, intra prediction of the current block A reference index associated with a reference line for checking may be determined, and a prediction sample of the current block may be generated based on a reference sample included in the reference line associated with the reference index.
  • the computer-executable component according to the embodiment of the present specification may be set to execute an operation corresponding to the video data processing method described with reference to FIGS. 13 to 14.
  • the decoding apparatus 200 and the encoding apparatus 100 to which the present invention is applied may be included in a digital device.
  • digital device includes all digital devices capable of performing at least one of transmission, reception, processing, and output, for example, of data, content, and services.
  • the processing of the data, content, service, etc. by the digital device includes an operation of encoding and/or decoding data, content, service, and the like.
  • These digital devices are paired or connected (hereinafter referred to as'pairing') with other digital devices, external servers, etc. through a wired/wireless network to transmit and receive data. Convert it accordingly.
  • Digital devices include, for example, standing devices such as network TV (network TV), hybrid broadcast broadband TV (HBBTV), smart TV (Smart TV), Internet protocol television (IPTV), personal computer (PC), and the like.
  • PDA personal digital assistant
  • smart phone smart phone
  • tablet PC tablet PC
  • mobile device mobile device or handheld device
  • wired/wireless network refers to a communication network that supports various communication standards or protocols for interconnection and/or data transmission and reception between digital devices or digital devices and external servers.
  • a wired/wireless network may include both a communication network to be supported by the standard or a communication protocol therefor, and for example, Universal Serial Bus (USB), Composite Video Banking Sync (CVBS), component, and S-Video.
  • USB Universal Serial Bus
  • CVBS Composite Video Banking Sync
  • component S-Video
  • DVI digital visual interface
  • HDMI high definition multimedia interface
  • RGB high definition multimedia interface
  • D-SUB Bluetooth
  • RFID radio frequency identification
  • IrDA infrared communication
  • UWB ultra wideband
  • ZigBee digital living network alliance
  • DLNA wireless LAN
  • Wi-Fi wireless broadband
  • Wimax microwave access
  • HSDPA high speed downlink packet access
  • LTE long term evolution
  • a digital device in the case of merely referring to a digital device in the present specification, it may mean a fixed device or a mobile device or include both depending on context.
  • the digital device is an intelligent device that supports, for example, a broadcast reception function, a computer function or support, and at least one external input, e-mail, web browsing through a wired/wireless network described above ( It can support web browsing, banking, games, and applications.
  • the digital device may include an interface for supporting at least one input or control means (hereinafter referred to as an input means) such as a handwritten input device, a touch screen, and a space remote control.
  • the digital device can use a standardized general-purpose operating system (OS). For example, a digital device can add, delete, modify, and update various applications on a general-purpose OS kernel. You can configure and provide a user-friendly environment.
  • OS general-purpose operating system
  • an embodiment of the present specification may be implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above.
  • the software code can be stored in memory and driven by a processor.
  • the memory is located inside or outside the processor, and can exchange data with the processor by various known means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 명세서의 실시예에 따른 비디오 데이터를 디코딩하기 위한 방법은, 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성하는 단계와, 상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하고, 상기 블록 벡터 후보 리스트를 구성하는 단계는, 상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하는 단계와, 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하는 단계를 포함한다.

Description

비디오 데이터를 처리하기 위한 방법 및 장치
본 명세서는 비디오 신호를 처리하기 위한 방법 및 장치에 관한 것으로서, 특히 화면간 예측(inter prediction)을 사용하여 비디오 데이터를 인코딩 또는 디코딩하기 위한 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 영상, 이미지, 음성 등의 미디어가 압축 부호화의 대상이 될 수 있으며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다.
차세대 비디오 컨텐츠는 고해상도(high spatial resolution), 고프레임율(high frame rate) 및 영상 표현의 고차원화(high dimensionality of scene representation)라는 특징을 갖게 될 것이다. 그러한 컨텐츠를 처리하기 위해서는 메모리 저장(memory storage), 메모리 액세스율(memory access rate) 및 처리 전력(processing power) 측면에서 엄청난 증가를 가져올 것이다.
따라서, 차세대 영상 컨텐츠를 보다 효율적으로 처리하기 위한 코딩 툴을 디자인할 필요가 있다. 특히, HEVC(high efficiency video coding) 표준 이후의 비디오 코덱 표준은 보다 효율적인 예측 기법을 요구한다.
본 명세서의 실시예들은, 현재 픽처를 참조 픽처로 사용하여 인터 예측을 수행하는 CPR(current picture referencing) 또는 IBC(intra block copy) 예측 모드에서 머지(merge) 후보 리스트 또는 움직임 벡터 예측 후보 리스트를 구성하기 위한 비디오 데이터 처리 방법 및 장치를 제공하고자 한다.
본 명세서의 실시예가 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 실시예에 따른 비디오 데이터를 디코딩하기 위한 방법은, 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성하는 단계와, 상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하고, 상기 블록 벡터 후보 리스트를 구성하는 단계는, 상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하는 단계와, 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하는 단계를 포함한다.
일 실시예에서, 상기 블록 벡터 후보 리스트를 구성하는 단계는, 상기 변경된 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계는, 상기 현재 후보 개수가 상기 최대 후보 개수와 동일할 때까지 상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계를 포함할 수 있다.
일 실시예에서, 상기 공간적 주변 블록은, 상기 현재 블록의 좌측 주변 블록, 좌하측 주변 블록, 상측 주변 블록, 우상측 주변 블록, 또는 우상측 주변 블록 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 블록 벡터 후보 리스트를 구성하는 단계는, 상기 변경된 블록 벡터 후보 리스트에 포함된 블록 벡터들의 조합에 기반하여 생성되는 쌍(pairwise) 후보를 상기 블록 벡터 후보 리스트에 추가하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 쌍 후보가 추가된 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 제로 벡터를 상기 블록 벡터 후보 리스트에 추가하는 단계를 더 포함할 수 있다.
본 명세서의 다른 실시예에 따른 비디오 데이터를 인코딩하기 위한 방법은, 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드를 사용하여 현재 블록에 대한 블록 벡터 후보 리스트를 구성하는 단계와, 상기 블록 벡터 후보 리스트에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계와, 상기 현재 블록의 예측과 관련된 정보를 인코딩하는 단계를 포함하고, 상기 블록 벡터 후보 리스트를 구성하는 단계는, 상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하는 단계와, 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하는 단계를 포함한다.
본 명세서의 다른 실시예에 따른 비디오 데이터를 디코딩하기 위한 장치는, 상기 비디오 데이터를 저장하는 메모리와, 상기 메모리와 결합되고, 상기 비디오 데이터를 처리하는 프로세서를 포함하고, 상기 프로세서는, 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성하고, 상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하도록 설정되고, 상기 블록 벡터 후보 리스트를 구성하기 위하여, 상기 프로세서는, 상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하고, 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하도록 설정된다.
본 명세서의 다른 실시예에 따른 비디오 데이터를 인코딩하기 위한 장치는, 상기 비디오 데이터를 저장하는 메모리와, 상기 메모리와 결합되고, 상기 비디오 데이터를 처리하는 프로세서를 포함하고, 상기 프로세서는, 현 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드를 사용하여 현재 블록에 대한 블록 벡터 후보 리스트를 구성하고, 상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하고, 상기 현재 블록의 예측과 관련된 정보를 인코딩하도록 설정되고, 상기 블록 벡터 후보 리스트를 구성하기 위하여, 상기 프로세서는, 상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하고, 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하도록 설정된다.
본 명세서의 실시예에 따르면, CPR(current picture referencing) 또는 IBC(intra block copy) 예측 모드가 현재 블록에 적용될 때 현재 블록의 시간적 주변 블록을 제외하고 예측 후보 리스트를 구성함으로써 효율적으로 머지(merge) 또는 움직임 벡터 예측 후보 리스트를 구성할 수 있다.
본 명세서의 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 실시예에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서의 일 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
도 1은 본 명세서의 실시예에 따른 비디오 코딩 시스템의 예를 도시한다.
도 2는 본 명세서의 실시예에 따른 비디오/이미지 신호의 인코딩을 위한 인코딩 장치의 개략적인 블록도를 나타낸다.
도 3은 본 명세서의 실시예로서, 영상 신호의 디코딩을 위한 디코딩 장치의 개략적인 블록도를 나타낸다.
도 4는 본 명세서의 실시예에 따른 컨텐츠 스트리밍 시스템의 구조도의 예를 도시한다.
도 5는 본 명세서의 실시예에 따른 멀티타입 트리 분할 모드들의 예를 도시한다.
도 6 및 도 7은 본 명세서의 실시예에 따른 인트라 예측 기반 비디오 인코딩 방법 및 본 발명의 실시예에 따른 인코딩 장치 내 인트라 예측부의 예를 도시한다.
도 8과 도 9는 본 명세서의 실시예에 따른 인트라 예측 기반 비디오/영상 디코딩 방법과 본 발명의 실시예에 따른 디코딩 장치 내 인트라 예측부의 예를 도시한다.
도 10과 도 11은 본 명세서의 실시예들에 적용될 수 있는 인트라 예측 모드의 예측 방향의 예들을 도시한다.
도 12는 본 명세서의 실시예에 따른 다중 참조 라인 예측을 적용하기 위한 참조 라인들의 예를 도시한다.
도 13은 본 명세서의 실시예에 따른 비디오 데이터를 처리하기 위한 흐름도의 예를 도시한다.
도 14는 본 명세서의 실시예에 따른 비디오 데이터를 인코딩 하기 위한 흐름도의 예를 도시한다.
도 15는 본 명세서의 실시예에 따른 비디오 데이터를 디코딩 하기 위한 흐름도의 예를 도시한다.
도 16은 본 명세서의 실시예에 따른 비디오 데이터를 처리하기 위한 장치의 블록도의 예를 도시한다.
이하, 본 명세서에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 명세서의 예시적인 실시형태를 설명하고자 하는 것이며, 본 명세서가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 명세서의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 명세서가 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 명세서의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
아울러, 본 명세서에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 명세서의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
이하의 설명에서 사용되는 특정 용어들은 본 명세서의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 명세서의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다. 예를 들어, 신호, 데이터, 샘플, 픽처, 슬라이스, 타일, 프레임, 블록의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.
이하 본 명세서에서 '처리 유닛'은 예측, 변환 및/또는 양자화 등과 같은 인코딩/디코딩의 처리 과정이 수행되는 단위를 의미한다. 또한, 처리 유닛은 휘도(luma) 성분에 대한 단위와 색차(chroma) 성분에 대한 단위를 포함하는 의미로 해석될 수 있다. 예를 들어, 처리 유닛은 블록(block), 코딩 유닛(coding unit, CU), 예측 유닛(prediction unit, PU) 또는 변환 블록(transform unit, TU)에 해당될 수 있다.
또한, 처리 유닛은 휘도 성분에 대한 단위 또는 색차 성분에 대한 단위로 해석될 수 있다. 예를 들어, 처리 유닛은 휘도 성분에 대한 CTB(coding tree block), CB(coding block), PU 또는 TB(transform block)에 해당될 수 있다. 또는, 처리 유닛은 색차 성분에 대한 CTB, CB, PU 또는 TB에 해당할 수 있다. 또한, 이에 한정되는 것은 아니며 처리 유닛은 휘도 성분에 대한 단위와 색차 성분에 대한 단위를 포함하는 의미로 해석될 수도 있다.
또한, 처리 유닛은 반드시 정사각형의 블록으로 한정되는 것은 아니며, 3개 이상의 꼭지점을 가지는 다각형 형태로 구성될 수도 있다.
또한, 이하 본 명세서에서 픽셀, 화소, 또는 계수(변환 계수 또는 1차 변환을 거친 변환 계수)는 샘플로 통칭된다. 그리고, 샘플을 이용한다는 것은 픽셀 값, 화소 값, 또는 계수(변환 계수 또는 1차 변환을 거친 변환 계수) 등을 이용한다는 것을 의미할 수 있다.
도 1은 본 명세서의 실시예에 따른 비디오 코딩 시스템의 예를 도시한다.
비디오 코딩 시스템은 소스 디바이스(10) 및 수신 디바이스(20)를 포함할 수 있다. 소스 디바이스(10)는 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스(20)로 전달할 수 있다.
소스 디바이스(10)는 비디오 소스(11), 인코딩 장치(12), 송신기(13)를 포함할 수 있다. 수신 디바이스(20)는 수신기(21), 디코딩 장치(22) 및 렌더러(23)를 포함할 수 있다. 인코딩 장치(10)는 비디오/영상 인코딩 장치라고 불릴 수 있고, 디코딩 장치(20)는 비디오/영상 디코딩 장치라고 불릴 수 있다. 송신기(13)는 인코딩 장치(12)에 포함될 수 있다. 수신기(21)는 디코딩 장치(22)에 포함될 수 있다. 렌더러(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 태블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
인코딩 장치(12)는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치(12)는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.
전송부(13)는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 디지털 저장 매체는 USB(universal serial bus), SD(secure digital), CD(compact disk), DVD(digital video disk), 블루레이(bluray), HDD(hard disk drive), SSD(solid state drive)와 같은 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘레먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 수신기(21)는 비트스트림을 추출하여 디코딩 장치(22)로 전달할 수 있다.
디코딩 장치(22)는 인코딩 장치(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 디코딩할 수 있다.
렌더러(23)는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
도 2는 본 명세서의 실시예에 따른 비디오/이미지 신호의 인코딩을 위한 인코딩 장치의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 인코딩 장치(100)는 영상 분할부(110), 감산부(115), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 가산부(155), 필터링부(160), 메모리(170), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)를 포함할 수 있다. 인터 예측부(180) 및 인트라 예측부(185)는 예측부로 통칭될 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150)는 레지듀얼(residual) 처리부에 포함될 수 있다. 레지듀얼 처리부는 감산부(115)를 더 포함할 수도 있다. 상술한 영상 분할부(110), 감산부(115), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 가산부(155), 필터링부(160), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 인코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(170)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 메모리 또는 디지털 저장 매체)에 의하여 구성될 수 있고, 메모리(170)는 DPB(decoded picture buff-er)(175)를 포함할 수 있다.
영상 분할부(110)는 인코딩 장치(100)에 입력된 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 처리 유닛은 코딩 유닛(CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBT(Quad-tree binary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조 및/또는 바이너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 명세서에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다. 다른 예로, 처리 유닛은 예측 유닛(PU) 또는 변환 유닛(TU)을 더 포함할 수 있다. 이 경우 예측 유닛 및 변환 유닛은 각각 상술한 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다. 샘플은 하나의 픽처(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.
인코딩 장치(100)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(잔여 블록, 잔여 샘플 어레이)를 생성할 수 있고, 생성된 레지듀얼 신호는 변환부(120)로 전송된다. 이 경우 도시된 바와 같이 인코딩 장치(100) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(115)라고 불릴 수 있다. 예측부는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 각 예측 모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보와 같이 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
인트라 예측부(185)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(185)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(180)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 참조 블록을 포함하는 참조 픽처와 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 인터 예측부(180)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 인터 예측부(180)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)을 시그널링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.
인터 예측부(180) 또는 인트라 예측부(185)를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다.
변환부(120)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)를 생성할 수 있다. 예를 들어, 변환 기법은 DCT(discrete cosine transform), DST(discrete sine transform), KLT(Karhunen-Loeve transform), GBT(graph-based transform), 또는 CNT(conditionally non-linear transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)를 이용하여 예측 신호를 생성하고 그에 기초하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
양자화부(130)는 변환 계수들을 양자화하여 엔트로피 인코딩부(190)로 전송되고, 엔트로피 인코딩부(190)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(130)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다. 엔트로피 인코딩부(190)는 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding)과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(190)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예컨대 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(예: 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(190)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(100)의 내/외부 엘리먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(190)의 구성요소일 수도 있다.
양자화부(130)로부터 출력된 양자화된 변환 계수들은 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 대하여 루프 내의 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호가 복원될 수 있다. 가산부(155)는 복원된 레지듀얼 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)가 생성될 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)는 복원부 또는 복원 블록 생성부로 지칭될 수 있다. 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(160)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(160)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽처 버퍼(170)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop fil-ter), 양방향 필터(bilateral filter)를 포함할 수 있다. 필터링부(160)는 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 필터링 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
복호 픽처 버퍼(170)에 전송된 수정된 복원 픽처는 인터 예측부(180)에서 참조 픽처로 사용될 수 있다. 인코딩 장치(100)는 이를 통하여 인터 예측이 적용되는 경우, 인코딩 장치(100)와 디코딩 장치(200)에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다.
복호 픽처 버퍼(170)는 수정된 복원 픽처를 인터 예측부(180)에서의 참조 픽처로 사용하기 위해 저장할 수 있다.
도 3은 본 명세서의 실시예로서, 영상 신호의 디코딩을 위한 디코딩 장치의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 메모리(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다. 인터 예측부(260) 및 인트라 예측부(265)는 예측부로 통칭될 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 역양자화부(220)와 역변환부(230)는 레지듀얼 처리부로 통칭될 수 있다. 즉, 레지듀얼 처리부는 역양자화부(220)와 역변환부(230)을 포함할 수 있다. 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 복호 픽처 버퍼(250)은 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 메모리 또는 디지털 저장 매체)에 의하여 구현될 수 있다. 또한, 메모리(250)는 DPB(175)를 포함할 수 있고, 디지털 저장 매체에 의해 구성될 수도 있다.
비디오/이미지 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(200)는 도 2의 인코딩 장치(100)에서 비디오/이미지 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(200)는 인코딩 장치(100)에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩시 처리 유닛은, 예를 들어, 코딩 유닛일 수 있고, 코딩 유닛은 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 쿼드 트리 구조 및/또는 바이너리 트리 구조에 따라 분할될 수 있다. 그리고, 디코딩 장치(200)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.
디코딩 장치(200)는 도 2의 인코딩 장치(100)로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(예: 비디오/영상 정보)를 도출할 수 있다. 예컨대, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈(bin)을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(260) 및 인트라 예측부(265))로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 역양자화부(220)로 입력될 수 있다. 또한, 엔트로피 디코딩부(210)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(240)로 제공될 수 있다. 한편, 인코딩 장치(100)로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(200)의 내/외부 엘리먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(210)의 구성요소일 수도 있다.
역양자화부(220)에서는 양자화된 변환 계수들을 역양자화함으로써 변환 계수들을 출력할 수 있다. 역양자화부(220)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 인코딩 장치(100)에서 수행된 계수 스캔 순서에 기반하여 재정렬이 수행될 수 있다. 역양자화부(220)는 양자화 파라미터(예를 들어, 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수(transform coefficient)를 획득할 수 있다.
역변환부(230)는 변환 계수에 대한 역변환을 적용함으로써 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 출력할 수 있다.
예측부는 현재 블록에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(210)로부터 출력된 예측에 관한 정보에 기반하여 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다.
인트라 예측부(265)는 현재 픽처 내의 샘플들을 참조함으로써 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 이격되어 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(265)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(260)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록, 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등)에 대한 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(260)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신된 후보 선택 정보를 기반으로 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예측에 관한 정보는 현재 블록에 대한 인터 예측의 모드를 지시하는 정보를 포함할 수 있다.
가산부(235)는 획득된 레지듀얼 신호를 인터 예측부(260) 또는 인트라 예측부(265)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다.
가산부(235)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(240)는 복원 신호에 필터링을 적용함으로써 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(240)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽처 버퍼(250)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset, SAO), 적응적 루프 필터(adaptive loop filter, ALF), 양방향 필터(bilateral filter) 등을 포함할 수 있다.
복호 픽쳐 버퍼(250)에 전송된 수정된 복원 픽처는 인터 예측부(260)에 의해 참조 픽쳐로 사용될 수 있다.
본 명세서에서, 인코딩 장치(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코딩 장치의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일 또는 대응되도록 적용될 수 있다.
도 4는 본 명세서의 실시예에 따른 컨텐츠 스트리밍 시스템의 구조도의 예를 도시한다.
본 명세서가 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버(410), 스트리밍 서버(420), 웹 서버(430), 미디어 저장소(440), 사용자 장치(450) 및 멀티미디어 입력 장치(460)를 포함할 수 있다.
인코딩 서버(410)는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 스트리밍 서버(420)로 전송할 수 있다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치(460)들이 비트스트림을 직접 생성하는 경우, 인코딩 서버(410)는 생략될 수 있다.
비트스트림은 본 명세서가 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 스트리밍 서버(420)는 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 비트스트림을 저장할 수 있다.
스트리밍 서버(420)는 웹 서버(430)를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치(450)에 전송하고, 웹 서버(430)는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 웹 서버(430)에 원하는 서비스를 요청하면, 웹 서버(430)는 이를 스트리밍 서버(420)에 전달하고, 스트리밍 서버(420)는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 제어 서버는 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
스트리밍 서버(420)는 미디어 저장소(440) 및/또는 인코딩 서버(410)로부터 컨텐츠를 수신할 수 있다. 예를 들어, 스트리밍 서버(420)는 인코딩 서버(410)로부터 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 스트리밍 서버(420)는 비트스트림을 일정 시간동안 저장할 수 있다.
예를 들어, 사용자 장치(450)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기(smartwatch), 글래스형 단말기(smart glass), HMD(head mounted display), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지를 포함할 수 있다.
컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
도 5는 본 명세서의 실시예에 따른 비디오 신호를 처리하기 위한 장치의 블록도의 예를 도시한다. 도 5의 비디오 신호 처리 장치는 도 2의 인코딩 장치(100) 또는 도 3의 디코딩 장치(200)에 해당할 수 있다.
본 명세서의 실시예에 따른 비디오 신호 처리 장치(500)는, 비디오 신호를 저장하는 메모리(520)와, 상기 메모리와 결합되면서 비디오 신호를 처리하는 프로세서(510)를 포함할 수 있다.
본 명세서의 실시예에 따른 프로세서(510)는 비디오 신호의 처리를 위한 적어도 하나의 프로세싱 회로로 구성될 수 있으며, 비디오 신호를 인코딩 또는 디코딩을 위한 명령어들을 실행함으로써 영상 신호를 처리할 수 있다. 즉, 프로세서(510)는 이하 설명되는 인코딩 또는 디코딩 방법들을 실행함으로써 원본 비디오 신호를 인코딩하거나 인코딩된 비디오 신호를 디코딩할 수 있다.
본 문서에 따른 비디오/영상 코딩 방법은 다양한 세부 기술들에 기반하여 수행될 수 있으며, 각각의 세부 기술들을 개략적으로 설명하면 다음과 같다. 이하 설명되는 기술들은 상술한 및/또는 후술되는 비디오/영상 인코딩/디코딩 절차에서의 예측, 레지듀얼 처리(변환, 양자화 등), 신텍스 요소 코딩, 필터링, 파티셔닝/분할 등의 관련 절차에 연관될 수 있음은 당업자에게 자명하다.
도 6은 본 발명이 적용될 수 있는 실시예들로서, 도 6a는 QT(QuadTree, QT), 도 6b는 BT(Binary Tree, BT), 도 6c는 TT(Ternary Tree, TT) 도 6d는 AT(Asymmetric Tree, AT)에 의한 블록 분할 구조들을 설명하기 위한 도면이다.
비디오 코딩에서 하나의 블록은 QT 기반으로 분할될 수 있다. 또한, QT에 의해서 분할된 하나의 서브 블록(subblock)은 QT를 사용하여 재귀적으로 더 분할될 수 있다. 더 이상 QT 분할되지 않는 리프 블록(leaf block)은 BT, TT 또는 AT 중 적어도 하나의 방식에 의해서 분할될 수 있다. BT는 horizontal BT (2NxN, 2NxN)과 vertical BT (Nx2N, Nx2N)의 두 가지 형태의 분할을 가질 수 있다. TT는 horizontal TT (2Nx1/2N, 2NxN, 2Nx1/2N)와 vertical TT (1/2Nx2N, Nx2N, 1/2Nx2N)의 두 가지 형태의 분할을 가질 수 있다. AT는 horizontal-up AT (2Nx1/2N, 2Nx3/2N), horizontal-down AT (2Nx3/2N, 2Nx1/2N), vertical-left AT (1/2Nx2N, 3/2Nx2N), vertical-right AT (3/2Nx2N, 1/2Nx2N)의 네 가지 형태의 분할을 가질 수 있다. 각각의 BT, TT, AT는 BT, TT, AT를 사용하여 재귀적으로 더 분할될 수 있다.
도 6a는 QT 분할의 예를 보여준다. 블록 A는 QT에 의해서 4개의 서브 블록 (A0, A1, A2, A3)으로 분할될 수 있다. 서브 블록 A1은 다시 QT에 의해서 4개의 서브 블록 (B0, B1, B2, B3)로 분할될 수 있다.
도 6b는 BT 분할의 예를 보여준다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 vertical BT(C0, C1) 또는 horizontal BT(D0, D1)로 분할될 수 있다. 블록 C0와 같이 각각의 서브 블록은 horizontal BT(E0, E1) 또는 vertical BT (F0, F1)의 형태와 같이 재귀적으로 더 분할될 수 있다.
도 6c는 TT 분할의 예를 보여준다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 vertical TT (C0, C1, C2) 또는 horizontal TT (D0, D1, D2)으로 분할될 수 있다. 블록 C1와 같이 각각의 서브 블록은 horizontal TT (E0, E1, E2) 또는 vertical TT (F0, F1, F2)의 형태와 같이 재귀적으로 더 분할될 수 있다.
도 6d는 AT 분할의 예를 보여준다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 vertical AT (C0, C1) 또는 horizontal AT (D0, D1)으로 분할 될 수 있다. 블록 C1와 같이 각각의 서브 블록은 horizontal AT (E0, E1) 또는 vertical TT (F0, F1)의 형태와 같이 재귀적으로 더 분할 될 수 있다.
한편, BT, TT, AT 분할은 함께 사용하여 분할이 가능하다. 예를 들어, BT에 의해 분할된 서브 블록은 TT 또는 AT에 의한 분할이 가능하다. 또한, TT에 의해 분할된 서브 블록은 BT 또는 AT에 의한 분할이 가능하다. AT에 의해 분할된 서브 블록은 BT 또는 TT에 의한 분할이 가능하다. 예를 들어, horizontal BT 분할 이후, 각각의 서브 블록이 vertical BT로 분할될 수 있고, 또는 vertical BT 분할 이후, 각각의 서브 블록이 horizontal BT로 분할될 수도 있다. 이 경우 분할 순서는 다르지만 최종적으로 분할되는 모양은 동일하다.
또한, 블록이 분할되면 블록을 탐색하는 순서를 다양하게 정의할 수 있다. 일반적으로, 좌측에서 우측으로, 상단에서 하단으로 탐색을 수행하며, 블록을 탐색한다는 것은 각 분할된 서브 블록의 추가적인 블록 분할 여부를 결정하는 순서를 의미하거나, 블록이 더 이상 분할되지 않을 경우 각 서브 블록의 부호화 순서를 의미하거나, 또는 서브 블록에서 다른 이웃 블록의 정보를 참조할 때의 탐색 순서를 의미할 수 있다.
도 6a 내지 6d과 같은 분할 구조에 의해 분할된 처리 유닛(또는, 변환 블록) 별로 변환이 수행될 수 있으며, 특히, 행(row) 방향과 열(column) 방향 별로 분할되어 변환 행렬이 적용될 수 있다. 본 발명의 실시예에 따르면, 처리 유닛(또는 변환 블록)의 행 방향 또는 열 방향의 길이에 따라 다른 변환 타입이 사용될 수 있다.
도 7 및 도 8은 본 명세서의 실시예에 따른 인터 예측에 기반한 비디오/영상 인코딩 절차 및 인코딩 장치 내 인터 예측부를 도시한다.
인코딩 장치(100)는 현재 블록에 대한 인터 예측을 수행한다(S710). 인코딩 장치(100)는 현재 블록의 인터 예측 모드 및 움직임 정보를 도출하고, 현재 블록의 예측 샘플들을 생성할 수 있다. 여기서 인터 예측 모드 결정, 움직임 정보 도출 및 예측 샘플들 생성 절차는 동시에 수행될 수도 있고, 어느 한 절차가 다른 절차보다 먼저 수행될 수도 있다. 예를 들어, 인코딩 장치(100)의 인터 예측부(180)는 예측 모드 결정부(181), 움직임 정보 도출부(182), 예측 샘플 도출부(183)를 포함할 수 있으며, 예측 모드 결정부(181)에서 현재 블록에 대한 예측 모드를 결정하고, 움직임 정보 도출부(182)에서 현재 블록의 움직임 정보를 도출하고, 예측 샘플 도출부(183)에서 현재 블록의 예측 샘플들을 도출할 수 있다. 예를 들어, 인코딩 장치(100)의 인터 예측부(180)는 움직임 추정(motion estimation)을 통하여 참조 픽처들의 일정 영역(서치 영역) 내에서 상기 현재 블록과 유사한 블록을 서치하고, 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 이를 기반으로 상기 참조 블록이 위치하는 참조 픽처를 가리키는 참조 픽처 인덱스를 도출하고, 참조 블록과 현재 블록의 위치 차이를 기반으로 움직임 벡터를 도출할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들 중 현재 블록에 대하여 적용되는 모드를 결정할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들에 대한 RD 비용(cost)을 비교하고 현재 블록에 대한 최적의 예측 모드를 결정할 수 있다.
예를 들어, 인코딩 장치(100)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 후술하는 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 가리키는 참조 블록들 중 현재 블록과 중 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 이 경우 도출된 참조 블록과 연관된 머지 후보가 선택되며, 선택된 머지 후보를 가리키는 머지 인덱스 정보가 생성되어 디코딩 장치(200)로 시그널링될 수 있다. 선택된 머지 후보의 움직임 정보를 이용하여 현재 블록의 움직임 정보가 도출될 수 있다.
다른 예로, 인코딩 장치(100)는 현재 블록에 (A)MVP 모드가 적용되는 경우, 후술하는 (A)MVP 후보 리스트를 구성하고, (A)MVP 후보 리스트에 포함된 MVP(motion vector predictor) 후보들 중 선택된 MVP 후보의 움직임 벡터를 현재 블록의 MVP로 이용할 수 있다. 이 경우, 예를 들어, 상술한 움직임 추정에 의하여 도출된 참조 블록을 가리키는 움직임 벡터가 현재 블록의 움직임 벡터로 이용될 수 있으며, MVP 후보들 중 현재 블록의 움직임 벡터와의 차이가 가장 작은 움직임 벡터를 갖는 MVP 후보가 선택된 MVP 후보가 될 있다. 현재 블록의 움직임 벡터에서 MVP를 뺀 차분인 MVD(motion vector difference)가 도출될 수 있다. 이 경우 MVD에 관한 정보가 디코딩 장치(200)로 시그널링될 수 있다. 또한, (A)MVP 모드가 적용되는 경우, 참조 픽처 인덱스의 값은 참조 픽처 인덱스 정보 구성되어 별도로 디코딩 장치(200)로 시그널링될 수 있다.
인코딩 장치(100)는 예측 샘플들을 기반으로 레지듀얼 샘플들을 도출할 수 있다(S720). 인코딩 장치(100)는 현재 블록의 원본 샘플들과 예측 샘플들의 비교를 통하여 레지듀얼 샘플들을 도출할 수 있다.
인코딩 장치(100)는 예측 정보 및 레지듀얼 정보를 포함하는 영상 정보를 인코딩한다(S730). 인코딩 장치(100)는 인코딩된 영상 정보를 비트스트림 형태로 출력할 수 있다. 예측 정보는 예측 절차에 관련된 정보들로서 예측 모드 정보(예: skip flag, merge flag, 또는 mode index) 및 움직임 정보를 포함할 수 있다. 움직임 정보는 움직임 벡터를 도출하기 위한 정보인 후보 선택 정보(예: merge index, mvp flag, 또는 mvp index)를 포함할 수 있다. 또한 움직임 정보는 상술한 MVD에 관한 정보 및/또는 참조 픽처 인덱스 정보를 포함할 수 있다. 또한 움직임 정보는 L0 예측, L1 예측, 또는 쌍(bi) 예측이 적용되는지 여부를 나타내는 정보를 포함할 수 있다. 레지듀얼 정보는 레지듀얼 샘플들에 관한 정보이다. 레지듀얼 정보는 레지듀얼 샘플들에 대한 양자화된 변환 계수들에 관한 정보를 포함할 수 있다.
출력된 비트스트림은 (디지털) 저장매체에 저장되어 디코딩 장치로 전달될 수 있고, 또는 네트워크를 통하여 디코딩 장치로 전달될 수도 있다.
한편, 상술한 바와 같이 인코딩 장치는 상기 참조 샘플들 및 상기 레지듀얼 샘플들을 기반으로 복원 픽처(복원 샘플들 및 복원 블록 포함)를 생성할 수 있다. 이는 디코딩 장치(200)에서 수행되는 것과 동일한 예측 결과를 인코딩 장치(100)에서 도출하기 위함이며, 이를 통하여 코딩 효율을 높일 수 있기 때문이다. 따라서, 인코딩 장치(100)는 복원 픽처(또는 복원 샘플들, 복원 블록)을 메모리에 저장하고, 인터 예측을 위한 참조 픽처로 활용할 수 있다. 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
도 9 및 도 10은 본 명세서의 실시예에 따른 인터 예측에 기반한 비디오/영상 디코딩 절차 및 디코딩 장치 내 인터 예측부를 도시한다.
디코딩 장치(200)는 인코딩 장치(100)에서 수행된 동작과 대응되는 동작을 수행할 수 있다. 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 예측을 수행하고 예측 샘플들을 도출할 수 있다.
구체적으로 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 대한 예측 모드를 결정할 수 있다(S910). 디코딩 장치(200)는 예측 정보 내의 예측 모드 정보를 기반으로 현재 블록에 어떤 인터 예측 모드가 적용되는지 결정할 수 있다.
예를 들어, 디코딩 장치(200)는 머지 플래그(merge flag)를 기반으로 현재 블록에 머지 모드가 적용되지 또는 (A)MVP 모드가 결정되는지 여부를 결정할 수 있다. 또는 디코딩 장치(200)는 모드 인덱스(mode index)를 기반으로 다양한 인터 예측 모드 후보들 중 하나를 선택할 수 있다. 인터 예측 모드 후보들은 스킵 모드, 머지 모드 및/또는 (A)MVP 모드를 포함할 수 있고, 또는 후술하는 다양한 인터 예측 모드들을 포함할 수 있다.
디코딩 장치(200)는 결정된 인터 예측 모드를 기반으로 현재 블록의 움직임 정보를 도출한다(S920). 예를 들어, 디코딩 장치(200)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 후술하는 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 중 하나의 머지 후보를 선택할 수 있다. 머지 후보의 선택은 머지 인덱스(merge index)를 기반으로 수행될 수 있다. 선택된 머지 후보의 움직임 정보로부터 현재 블록의 움직임 정보가 도출할 수 있다. 선택된 머지 후보의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다.
다른 예로, 디코딩 장치(200)는, 현재 블록에 (A)MVP 모드가 적용되는 경우, 후술하는 (A)MVP 후보 리스트를 구성하고, (A)MVP 후보 리스트에 포함된 MVP 후보들 중 선택된 MVP 후보의 움직임 벡터를 현재 블록의 MVP로 이용할 수 있다. MVP의 선택은 상술한 선택 정보(MVP 플래그 또는 MVP 인덱스)를 기반으로 수행될 수 있다. 이 경우 디코딩 장치(200)는 MVD에 관한 정보를 기반으로 상기 현재 블록의 MVD를 도출할 수 있으며, 현재 블록의 MVP와 MVD를 기반으로 현재 블록의 움직임 벡터를 도출할 수 있다. 또한, 디코딩 장치(200)는 참조 픽처 인덱스 정보를 기반으로 현재 블록의 참조 픽처 인덱스를 도출할 수 있다. 현재 블록에 관한 참조 픽처 리스트 내에서 참조 픽처 인덱스가 가리키는 픽처가 현재 블록의 인터 예측을 위하여 참조되는 참조 픽처로 도출될 수 있다.
한편, 후술하는 바와 같이 후보 리스트 구성 없이 상기 현재 블록의 움직임 정보가 도출될 수 있으며, 이 경우 후술하는 예측 모드에서 개시된 절차에 따라 현재 블록의 움직임 정보가 도출될 수 있다. 이 경우 상술한 바와 같은 후보 리스트 구성은 생략될 수 있다.
디코딩 장치(200)는 현재 블록의 움직임 정보를 기반으로 현재 블록에 대한 예측 샘플들을 생성할 수 있다(S930). 이 경우 디코딩 장치(200)는 현재 블록의 참조 픽처 인덱스를 기반으로 참조 픽처를 도출하고, 현재 블록의 움직임 벡터가 참조 픽처 상에서 가리키는 참조 블록의 샘플들을 이용하여 현재 블록의 예측 샘플들을 도출할 수 있다. 이 경우 후술하는 바와 같이 경우에 따라 현재 블록의 예측 샘플들 중 전부 또는 일부에 대한 예측 샘플 필터링 절차가 더 수행될 수 있다.
예를 들어, 디코딩 장치(200)의 인터 예측부(260)는 예측 모드 결정부(261), 움직임 정보 도출부(262), 예측 샘플 도출부(263)를 포함할 수 있으며, 예측 모드 결정부(181)에서 수신된 예측 모드 정보를 기반으로 상기 현재 블록에 대한 예측 모드를 결정하고, 움직임 정보 도출부(182)에서 수신된 움직임 정보에 관한 정보를 기반으로 상기 현재 블록의 움직임 정보(움직임 벡터 및/또는 참조 픽처 인덱스 등)를 도출하고, 예측 샘플 도출부(183)에서 상기 현재 블록의 예측 샘플들을 도출할 수 있다.
디코딩 장치(200)는 수신된 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성한다(S940). 디코딩 장치(200)는 예측 샘플들 및 레지듀얼 샘플들을 기반으로 현재 블록에 대한 복원 샘플들을 생성하고, 이를 기반으로 복원 픽처를 생성할 수 있다. (S950). 이후 상기 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
상술한 바와 같이 인터 예측 절차는 인터 예측 모드 결정 단계, 결정된 예측 모드에 따른 움직임 정보 도출 단계, 도출된 움직임 정보에 기반한 예측 수행(예측 샘플 생성) 단계를 포함할 수 있다.
픽처 내 현재 블록의 예측을 위하여 다양한 인터 예측 모드가 사용될 수 있다. 예를 들어, 머지 모드, 스킵 모드, MVP 모드, 어파인(Affine) 모드 등 다양한 모드가 사용될 수 있다. DMVR(decoder side motion vector refinement) 모드, AMVR(adaptive motion vector resolution) 모드 등이 부수적인 모드로 더 사용될 수 있다. 어파인 모드는 어파인 움직임 예측(affine motion prediction) 모드라고 불릴 수도 있다. MVP 모드는 AMVP(advanced motion vector prediction) 모드라고 불릴 수도 있다.
현재 블록의 인터 예측 모드를 가리키는 예측 모드 정보가 인코딩 장치로부터 디코딩 장치(200)로 시그널링될 수 있다. 예측 모드 정보는 비트스트림에 포함되어 디코딩 장치(200)에서 수신될 수 있다. 예측 모드 정보는 다수의 후보 모드들 중 하나를 지시하는 인덱스 정보를 포함할 수 있다. 또는, 플래그 정보의 계층적 시그널링을 통하여 인터 예측 모드를 지시할 수도 있다. 이 경우 예측 모드 정보는 하나 이상의 플래그들을 포함할 수 있다. 예를 들어, 인코딩 장치(100)는 스킵 플래그를 시그널링하여 스킵 모드 적용 여부를 지시하고, 스킵 모드가 적용 안되는 경우에 머지 플래그를 시그널링하여 머지 모드 적용 여부를 지시하고, 머지 모드가 적용 안되는 경우에 MVP 모드 적용되는 것으로 지시하거나 추가적인 구분을 위한 플래그를 더 시그널링할 수도 있다. 어파인 모드는 독립적인 모드로 시그널링될 수도 있고, 또는 머지 모드 또는 MVP 모드 등에 종속적인 모드로 시그널링될 수도 있다. 예를 들어, 어파인 모드는 후술하는 바와 같이 머지 후보 리스트 또는 MVP 후보 리스트의 하나의 후보로 구성될 수도 있다.
인코딩 장치(100) 또는 디코딩 장치(200)는 현재 블록의 움직임 정보를 이용하여 인터 예측을 수행할 수 있다. 인코딩 장치(100)는 움직임 추정(motion estimation) 절차를 통하여 현재 블록에 대한 최적의 움직임 정보를 도출할 수 있다. 예를 들어, 인코딩 장치(100)는 현재 블록에 대한 원본 픽처 내 원본 블록을 이용하여 상관성이 높은 유사한 참조 블록을 참조 픽처 내의 정해진 탐색 범위 내에서 분수 픽셀 단위로 탐색할 수 있고, 이를 통하여 움직임 정보를 도출할 수 있다. 블록의 유사성은 위상(phase) 기반 샘플 값들의 차를 기반으로 도출될 수 있다. 예를 들어, 블록의 유사성은 현재 블록(또는 현재 블록의 템플릿)과 참조 블록(또는 참조 블록의 템플릿) 간 SAD(sum of absolute difference)를 기반으로 계산될 수 있다. 이 경우 탐색 영역 내 SAD가 가장 작은 참조 블록을 기반으로 움직임 정보를 도출할 수 있다. 도출된 움직임 정보는 인터 예측 모드 기반으로 여러 방법에 따라 디코딩 장치로 시그널링될 수 있다.
머지 모드(merge mode)가 적용되는 경우, 현재 예측 블록의 움직임 정보가 직접적으로 전송되지 않고, 주변 예측 블록의 움직임 정보를 이용하여 현재 예측 블록의 움직임 정보를 유도하게 된다. 따라서, 인코딩 장치(100)는 머지 모드를 이용하였음을 알려주는 플래그 정보 및 주변의 어떤 예측 블록을 이용하였는지를 알려주는 머지 인덱스를 전송함으로써 현재 예측 블록의 움직임 정보를 지시할 수 있다.
인코딩 장치(100)는 머지 모드를 수행하기 위해서 현재 예측 블록의 움직임 정보를 유도하기 위해 이용되는 머지 후보 블록(merge candidate block)을 서치하여야 한다. 예를 들어, 머지 후보 블록은 최대 5개까지 이용될 수 있으나, 본 명세서는 이에 한정되지 않는다. 그리고, 머지 후보 블록의 최대 개수는 슬라이스 헤더에서 전송될 수 있으며, 본 명세서는 이에 한정되지 않는다. 머지 후보 블록들을 찾은 후, 인코딩 장치(100)는 머지 후보 리스트를 생성할 수 있고, 이들 중 가장 작은 비용을 갖는 머지 후보 블록을 최종 머지 후보 블록으로 선택할 수 있다.
본 명세서는 머지 후보 리스트를 구성하는 머지 후보 블록에 대한 다양한 실시예를 제공한다.
머지 후보 리스트는 예를 들어 5개의 머지 후보 블록을 이용할 수 있다. 예를 들어, 4개의 공간적 머지 후보(spatial merge candidate)와 1개의 시간적 머지 후보(temporal merge candidate)를 이용할 수 있다.
도 11은 본 명세서의 실시예에 따른 현재 블록에 대한 공간적 머지 후보 구성의 예를 도시한다.
도 11을 참조하면, 현재 블록의 예측을 위하여 좌측 이웃 블록(A1), 좌하측(bottom-left) 이웃 블록(A2), 우상측(top-right) 이웃 블록(B0), 상측 이웃 블록(B1), 좌상측(top-left) 이웃 블록(B2) 중 적어도 하나가 사용될 수 있다. 현재 블록에 대한 머지 후보 리스트는 도 17과 같은 절차를 기반으로 구성될 수 있다.
도 12는 본 명세서의 실시예에 따른 머지 후보 리스트 구성을 위한 흐름도의 예를 도시한다.
코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 현재 블록의 공간적 주변 블록들을 탐색하여 도출된 공간적 머지 후보들을 머지 후보 리스트에 삽입한다(S1210). 예를 들어, 공간적 주변 블록들은 현재 블록의 좌하측 코너 주변 블록, 좌측 주변 블록, 우상측 코너 주변 블록, 상측 주변 블록, 좌상측 코너 주변 블록들을 포함할 수 있다. 다만, 이는 예시로서 상술한 공간적 주변 블록들 이외에도 우측 주변 블록, 하측 주변 블록, 우하측 주변 블록 등 추가적인 주변 블록들이 더 상기 공간적 주변 블록들로 사용될 수 있다. 코딩 장치는 공간적 주변 블록들을 우선순위를 기반으로 탐색하여 가용한 블록들을 검출하고, 검출된 블록들의 움직임 정보를 공간적 머지 후보들로 도출할 수 있다. 예를 들어, 인코딩 장치(100) 또는 디코딩 장치(200)는 도 11에 도시된 5개의 블록들을 A1, B1, B0, A0, B2의 순서대로 탐색하여, 가용한 후보들을 순차적으로 인덱싱하여 머지 후보 리스트로 구성할 수 있다.
코딩 장치는 현재 블록의 시간적 주변 블록을 탐색하여 도출된 시간적 머지 후보를 상기 머지 후보 리스트에 삽입한다(S1220). 시간적 주변 블록은 현재 블록이 위치하는 현재 픽처와 다른 픽처인 참조 픽처 상에 위치할 수 있다. 시간적 주변 블록이 위치하는 참조 픽처는 동일 위치 픽처(collocated picture) 또는 콜 픽처(col pic-ture)라고 불릴 수 있다. 시간적 주변 블록은 콜 픽처 상에서의 현재 블록에 대한 동일 위치 블록(co-located block)의 우하측 코너 주변 블록 및 우하측 센터 블록의 순서로 탐색될 수 있다. 한편, 움직임 데이터 압축(motion data compression)이 적용되는 경우, 콜 픽처에 일정 저장 단위마다 특정 움직임 정보를 대표 움직임 정보로 저장할 수 있다. 이 경우 상기 일정 저장 단위 내의 모든 블록에 대한 움직임 정보를 저장할 필요가 없으며 이를 통하여 움직임 데이터 압축 효과를 얻을 수 있다. 이 경우, 일정 저장 단위는 예를 들어 16x16 샘플 단위, 또는 8x8 샘플 단위 등으로 미리 정해질 수도 있고, 또는 인코딩 장치(100)로부터 디코딩 장치(200)로 일정 저장 단위에 대한 사이즈 정보가 시그널링될 수도 있다. 움직임 데이터 압축이 적용되는 경우 시간적 주변 블록의 움직임 정보는 시간적 주변 블록이 위치하는 일정 저장 단위의 대표 움직임 정보로 대체될 수 있다. 즉, 이 경우 구현 측면에서 보면, 시간적 주변 블록의 좌표에 위치하는 예측 블록이 아닌, 시간적 주변 블록의 좌표(좌상단 샘플 포지션)를 기반으로 일정 값만큼 산술적 우측 시프트 후 산술적 좌측 시프트 한 위치를 커버하는 예측 블록의 움직임 정보를 기반으로 시간적 머지 후보가 도출될 수 있다. 예를 들어, 일정 저장 단위가 2nx2n 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> n) << n), (yTnb >> n) << n))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다. 구체적으로 예를 들어, 일정 저장 단위가 16x16 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> 4) << 4), (yTnb >> 4) << 4))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다. 또는 예를 들어, 일정 저장 단위가 8x8 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> 3) << 3), (yTnb >> 3) << 3))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다.
코딩 장치는 현재 머지 후보들의 개수가 최대 머지 후보들의 개수보다 작은지 여부를 확인할 수 있다(S1230). 최대 머지 후보들의 개수는 미리 정의되거나 인코딩 장치(100)에서 디코딩 장치(200)로 시그널링될 수 있다. 예를 들어, 인코딩 장치(100)는 최대 머지 후보들의 개수에 관한 정보를 생성하고, 인코딩하여 비트스트림 형태로 디코딩 장치(200)로 전달할 수 있다. 최대 머지 후보들의 개수가 다 채워지면 이후의 후보 추가 과정은 진행하지 않을 수 있다.
확인 결과 현재 머지 후보들의 개수가 상기 최대 머지 후보들의 개수보다 작은 경우, 코딩 장치는 추가 머지 후보를 머지 후보 리스트에 삽입한다(S1240). 추가 머지 후보는 예를 들어 ATMVP(adaptive temporal motion vector prediction), 결합된 양방향 예측(combined bi-predictive) 머지 후보(현재 슬라이스의 슬라이스 타입이 B 타입인 경우) 및/또는 영 벡터(zero vector) 머지 후보를 포함할 수 있다.
도 13은 예측 후보 리스트(MVP 후보 리스트)를 구성하기 위한 흐름도의 예를 도시한다.
MVP(motion vector prediction) 모드가 적용되는 경우, 복원된 공간적 주변 블록(예를 들어, 도 11의 주변 블록)의 움직임 벡터 및/또는 시간적 주변 블록(또는 Col 블록)에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자(motion vector pre-dictor, MVP) 후보 리스트가 생성될 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록에 대응하는 움직임 벡터는 움직임 벡터 예측자 후보로 사용될 수 있다. 상기 예측에 관한 정보는 상기 리스트에 포함된 움직임 벡터 예측자 후보들 중에서 선택된 최적의 움직임 벡터 예측자 후보를 지시하는 선택 정보(예: MVP 플래그 또는 MVP 인덱스)를 포함할 수 있다. 이 때, 예측부는 상기 선택 정보를 이용하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 예측자 후보들 중에서, 현재 블록의 움직임 벡터 예측자를 선택할 수 있다. 인코딩 장치(100)의 예측부는 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 비트스트림 형태로 출력할 수 있다. 즉, MVD는 현재 블록의 움직임 벡터에서 상기 움직임 벡터 예측자를 뺀 값으로 구해질 수 있다. 이 때, 디코딩 장치의 예측부는 상기 예측에 관한 정보에 포함된 움직임 벡터 차분을 획득하고, 상기 움직임 벡터 차분과 상기 움직임 벡터 예측자의 가산을 통해 현재 블록의 상기 움직임 벡터를 도출할 수 있다. 디코딩 장치의 예측부는 참조 픽처를 지시하는 참조 픽처 인덱스 등을 상기 예측에 관한 정보로부터 획득 또는 유도할 수 있다. 예를 들어, 움직임 벡터 예측자 후보 리스트는 도 13과 같이 구성될 수 있다.
도 13을 참조하면, 코딩 장치는 움직임 벡터 예측을 위한 공간적 후보 블록을 탐색하여 예측 후보 리스트에 삽입한다(S1310). 예를 들어, 코딩 장치는 정해진 탐색 순서에 따라 주변 블록들에 대한 탐색을 수행하고, 공간적 후보 블록에 대한 조건을 만족하는 주변 블록의 정보를 예측 후보 리스트(MVP 후보 리스트)에 추가할 수 있다.
공간적 후보 블록 리스트를 구성한 후, 코딩 장치는 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수와 기 설정된 기준 개수(예: 2)를 비교한다(S1320). 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수가 기준 개수(예: 2)보다 크거나 같은 경우, 코딩 장치는 예측 후보 리스트의 구성을 종료할 수 있다.
그러나, 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수가 기준 개수(예: 2)보다 작은 경우, 코딩 장치는 시간적 후보 블록을 탐색하여 예측 후보 리스트에 추가 삽입하고(S1330), 시간적 후보 블록이 사용 불가능한 경우, 제로 움직임 벡터를 예측 후보 리스트에 추가한다(S1340).
예측 모드에 따라 도출된 움직임 정보를 기반으로 현재 블록에 대한 예측된 블록이 도출될 수 있다. 예측된 블록은 현재 블록의 예측 샘플들(예측 샘플 어레이)을 포함할 수 있다. 현재 블록의 움직임 벡터가 분수 샘플 단위를 가리키는 경우, 보간(interpolation) 절차가 수행될 수 있으며, 이를 통하여 참조 픽처 내에서 분수 샘플 단위의 참조 샘플들을 기반으로 상기 현재 블록의 예측 샘플들이 도출될 수 있다. 현재 블록에 어파인(affine) 인터 예측이 적용되는 경우, 샘플/서브블록 단위 움직임 벡터(motion vector)에 기반하여 예측 샘플들이 생성될 수 있다. 양방향(bi-direction) 예측이 적용되는 경우, 제1 방향 예측(예: L0 예측)을 기반으로 도출된 예측 샘플들과 제2 방향 예측(예: L1 예측)을 기반으로 도출된 예측 샘플들의 (위상에 따른) 가중합을 통하여 최종 예측 샘플들이 도출될 수 있다. 도출된 예측 샘플들을 기반으로 복원 샘플들 및 복원 픽처가 생성될 수 있고, 이후 인루프 필터링 등의 절차가 수행될 수 있음은 전술한 바와 같다.
이하, 인터 예측의 일 예로서, IBC(intra block copy) 예측에 대하여 설명한다. IBC는, 예를 들어, SCC (screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. 상기 IBC는 기본적으로 현재 픽처 내에서 예측을 수행하나 현재 픽처 내에서 참조 블록을 도출하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 문서에서 설명된 인터 예측 기법들 중 적어도 하나를 이용할 수 있다. 예를 들어, IBC에서는 상술한 움직임 정보(움직임 벡터) 도출 방법들 중 적어도 하나를 이용할 수 있다. 상기 IBC는 현재 픽처를 참조할 수 있으며, 따라서 CPR (current picture referencing)이라고 불릴 수도 있다. 이와 같이 현재 블록이 포함된 현재 픽처 내에서 다른 블록을 참조 블록으로(즉, 현재 픽처를 참조 픽처로서 사용하는) 사용한 예측 기법은 IBC 또는 CPR로 지칭될 수 있으나, 본 명세서의 실시예가 특정 용어에 한정되는 것이 아니며 다른 적절한 용어로 대체되어 사용될 수 있다.
IBC를 위하여, 인코딩 장치(100)는 블록 매칭 (BM)을 수행하여 현재 블록(예: CU)에 대한 최적의 블록 벡터(또는 움직임 벡터)를 도출할 수 있다. 도출된 블록 벡터(또는 움직임 벡터)는 상술한 인터 예측에서의 블록 정보(움직임 벡터) 시그널링과 유사한 방법을 이용하여 비트스트림을 통하여 디코딩 장치(200)로 시그널링될 수 있다. 디코딩 장치(200)는 시그널링된 블록 벡터(움직임 벡터)를 통하여 현재 픽처 내에서 현재 블록에 대한 참조 블록을 도출할 수 있으며, 이를 통하여 현재 블록에 대한 예측 신호(예측된 블록 또는 예측 샘플들)을 도출할 수 있다. 여기서 블록 벡터(또는 움직임 벡터)는 현재 블록으로부터 현재 픽처 내 이미 복원된 영역에 위치하는 참조 블록까지의 변위(displacement)를 나타낼 수 있다. 따라서, 블록 벡터(또는 움직임 벡터)는 변위 벡터라고 불릴 수도 있다. 이하, IBC에서 움직임 벡터는 상기 블록 벡터 또는 변위 벡터에 대응될 수 있다. 현재 블록의 움직임 벡터는 루마 성분에 대한 움직임 벡터(루마 움직임 벡터) 또는 크로마 성분에 대한 움직임 벡터(크로마 움직임 벡터)를 포함할 수 있다. 예를 들어, IBC 코딩된 CU에 대한 루마 움직임 벡터는 정수 샘플 단위(즉, integer precision)일 수 있다. 크로마 움직임 벡터 또한 정수 샘플 단위로 클리핑될(clipped) 수 있다. 상술한 바와 같이 IBC는 인터 예측 기법들 중 적어도 하나를 이용할 수 있으며, 예를 들어 IBC가 AMVR과 같이 적용되는 경우, 1-pel 및 4-pel 움직임 벡터 정밀도(precision)은 스위칭될 수 있다.
메모리 사용량과 디코더 복잡도를 감소시키기 위하여, 현재 CTU를 포함하는 기 설정된 영역의 복원된 부분이 사용될 수 있다. 이러한 제한은 하드웨어 구현을 위한 실제 온-칩 메모리를 사용하여 IBC 모드가 구현되도록 할 수 있다.
인코더 측에서, 해쉬-기반 움직임 예측이 IBC에 대해 수행된다. 인코더는 16 휘도 샘플보다 크지 않은 너비 또는 폭을 갖는 블록에 대한 RD 체크를 수행한다. non-merge 모드에 대하여, 블록 벡터 탐색이 해쉬-기반 탐색을 우성적으로 사용하여 수행된다. 해쉬가 유효한 후보를 리턴하지 않으면, 로컬 탐색에 기반한 블록 매칭이 수행된다.
해쉬-기반 탐색에서, 현재 블록와 참조 블록 사이의 해쉬 키 매칭(32-bit CRC)가 모든 허용된 블록 사이즈로 확장된다. 현재 픽처에서의 모든 위치에 대한 해쉬 키 계산은 4x4 서브블록에 기반한다. 4x4 서브블록들의 모든 해쉬 키들이 해당 참조 위치들에서의 해쉬 키들과 매칭되면, 더 큰 사이즈의 현재 블록에 대하여, 해쉬 키는 참조 블록의 해쉬 키와 매칭되는 것으로 결정된다. 다수의 참조 블록들의 해쉬 키들이 현재 블록의 해쉬 키와 매칭되면, 각 매칭되는 참조 블록들 각각의 블록 벡터가 계산되고 최소의 코스트를 갖는 하나가 선택된다.
블록 매칭 탐색에서, 탐색 범위는 현재 CTU에서 현재 블록의 좌측과 상측으로 N개의 샘플들로 설정된다. CTU의 시작에서, 시간적 암조 픽처가 없으면, N 값은 128로 초기화되고, 적어도 하나의 시간적 참조 픽처가 있으면 N 값은 64로 초기화된다. 해쉬 히트 비율은 해쉬 기반 탐색을 사용하여 매치를 발견한 CTU 내 샘플들의 퍼센티지로서 정의된다. 현재 CTU를 인코딩하면서, 해쉬 히트 비율이 5% 미만이면, N은 절반으로 감소된다.
CU 레벨에서, IBC 모드는 플래그를 사용하여 시그널링되며, IBC AMVP 모드 또는 IBC 스킵/머지 모드로서 아래와 같이 시그널링될 수 있다.
IBC 스킵/머지 모드: 머지 후보 인덱스는 현재 블록을 예측하기 위하여 사용되는 주변 후보 IBC 코딩된 블록들로부터의 리스트에서 블록 벡터들을 지시하기 위해 사용된다.
IBC AMVP 모드: 블록 벡터 차분(block vector difference)은 움직임 벡터 차분(motion vector difference)과 동일하한 방식으로 코딩된다. 블록 벡터 예측 방법은 2개의 후보들을 예측자로서 사용하는데, 하나는 좌측 주변 블록이고 나머지 하나는 상측 주변 블록이다(IBC로 코딩되었다면). 두 주변 블록 모두 사용 가능하지 않으면, 디폴트 블록 벡터가 예측자로서 사용된다. 플래그가 블록 벡터 예측자 인덱스를 지시하기 위해 시그널링된다.
도 14 및 도 15은 본 명세서의 실시예에 따른 IBC 예측 기반의 비디오/영상 인코딩 방법 및 인코딩 장치 내 예측부의 예를 도시한다.
인코딩 장치(100)는 현재 블록에 대한 IBC 예측(IBC 기반 예측)을 수행한다(S1410). 인코딩 장치(100)는 현재 블록의 예측 모드 및 움직임 벡터를 도출하고, 현재 블록의 예측 샘플들을 생성할 수 있다. 예측 모드는 상술한 인터 예측 모드들 중 적어도 하나를 포함할 수 있다. 여기서 예측 모드 결정, 움직임 벡터 도출 및 예측 샘플들 생성 절차는 동시에 수행될 수도 있고, 어느 한 절차가 다른 절차보다 먼저 수행될 수도 있다. 예를 들어, 인코딩 장치(100)의 예측부는 예측 모드 결정부, 움직임 벡터 도출부, 예측 샘플 도출부를 포함할 수 있으며, 예측 모드 결정부에서 상기 현재 블록에 대한 예측 모드를 결정하고, 움직임 벡터 도출부에서 상기 현재 블록의 움직임 벡터를 도출하고, 예측 샘플 도출부에서 상기 현재 블록의 예측 샘플들을 도출할 수 있다. 예를 들어, 인코딩 장치(100)의 예측부는 블록 매칭(BM)을 통하여 현재 픽처의 복원된 영역(또는 복원된 영역 중 일정 영역(서치 영역)) 내에서 현재 블록과 유사한 블록을 서치하고, 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 참조 블록과 현재 블록의 변위 차이를 기반으로 움직임 벡터를 도출할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들 중 현재 블록에 대하여 적용되는 모드를 결정할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들에 기반한 RD cost를 비교하고 현재 블록에 대한 최적의 예측 모드를 결정할 수 있다.
예를 들어, 인코딩 장치(100)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 상술한 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 가리키는 참조 블록들 중 상기 현재 블록과 중 상기 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 이 경우 도출된 참조 블록과 연관된 머지 후보가 선택되며, 선택된 머지 후보를 가리키는 머지 인덱스 정보가 생성되어 디코딩 장치(200)로 시그널링될 수 있다. 선택된 머지 후보의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터가 도출할 수 있다.
다른 예로, 인코딩 장치(100)는 상기 현재 블록에 (A)MVP 모드가 적용되는 경우, 상술한 (A)MVP 후보 리스트를 구성하고, 상기 (A)MVP 후보 리스트에 포함된 mvp (motion vector predictor) 후보들 중 선택된 mvp 후보의 움직임 벡터를 상기 현재 블록의 mvp로 이용할 수 있다. 이 경우, 예를 들어, 상술한 움직임 추정에 의하여 도출된 참조 블록을 가리키는 움직임 벡터가 상기 현재 블록의 움직임 벡터로 이용될 수 있으며, mvp 후보들 중 상기 현재 블록의 움직임 벡터와의 차이가 가장 작은 움직임 벡터를 갖는 mvp 후보가 상기 선택된 mvp 후보가 될 있다. 현재 블록의 움직임 벡터에서 mvp를 뺀 차분인 MVD(motion vector difference)가 도출될 수 있다. 이 경우 MVD에 관한 정보가 디코딩 장치(200)로 시그널링될 수 있다.
인코딩 장치(100)는 예측 샘플들을 기반으로 레지듀얼 샘플들을 도출할 수 있다(S1420). 인코딩 장치(100)는 현재 블록의 원본 샘플들과 예측 샘플들의 비교를 통하여 레지듀얼 샘플들을 도출할 수 있다.
인코딩 장치(100)는 예측 정보 및 레지듀얼 정보를 포함하는 영상 정보를 인코딩한다(S1430). 인코딩 장치(100)는 인코딩된 영상 정보를 비트스트림 형태로 출력할 수 있다. 예측 정보는 예측 절차에 관련된 정보들로 예측 모드 정보(예: skip flag, merge flag, 또는 mode index) 및 움직임 벡터에 관한 정보를 포함할 수 있다. 움직임 벡터에 관한 정보는 움직임 벡터를 도출하기 위한 정보인 후보 선택 정보(예: merge index, mvp flag, 또는 mvp index)를 포함할 수 있다. 또한 움직임 벡터 관한 정보는 상술한 MVD에 관한 정보를 포함할 수 있다. 또한 움직임 벡터에 관한 정보는 L0 예측, L1 예측, 또는 쌍(bi) 예측이 적용되는지 여부를 나타내는 정보를 포함할 수 있다. 레지듀얼 정보는 레지듀얼 샘플들에 관한 정보이다. 레지듀얼 정보는 레지듀얼 샘플들에 대한 양자화된 변환 계수들에 관한 정보를 포함할 수 있다.
출력된 비트스트림은 (디지털) 저장매체에 저장되어 디코딩 장치로 전달될 수 있고, 또는 네트워크를 통하여 디코딩 장치로 전달될 수도 있다.
한편, 상술한 바와 같이 인코딩 장치(100)는 참조 샘플들 및 레지듀얼 샘플들을 기반으로 복원 픽처(복원 샘플들 및 복원 블록 포함)를 생성할 수 있다. 이는 디코딩 장치(200)에서 수행되는 것과 동일한 예측 결과를 인코딩 장치(100)에서 도출하기 위함이며, 이를 통하여 코딩 효율을 높일 수 있기 때문이다. 따라서, 인코딩 장치(100)는 복원 픽처(또는 복원 샘플들, 복원 블록)를 메모리에 저장하고, 인터 예측을 위한 참조 픽처로 활용할 수 있다. 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
IBC에 기반한 비디오/영상 디코딩 절차 및 디코딩 장치(200) 내 예측부는 개략적으로 예를 들어 다음을 포함할 수 있다.
도 16 및 도 17은 본 명세서의 실시예에 따른 IBC 예측 기반의 비디오/영상 디코딩 방법 및 디코딩 장치 내 예측부의 예를 도시한다.
디코딩 장치(200)는 인코딩 장치(100)에서 수행된 동작과 대응되는 동작을 수행할 수 있다. 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 IBC 예측을 수행하고 예측 샘플들을 도출할 수 있다.
구체적으로 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 대한 예측 모드를 결정할 수 있다(S1610). 디코딩 장치(200)는 예측 정보 내의 예측 모드 정보를 기반으로 현재 블록에 어떤 인터 예측 모드가 적용되는지 결정할 수 있다.
예를 들어, merge flag를 기반으로 현재 블록에 머지 모드가 적용되지 또는 (A)MVP 모드가 결정되는지 여부를 결정할 수 있다. 또는 mode index를 기반으로 다양한 인터 예측 모드 후보들 중 하나를 선택할 수 있다. 인터 예측 모드 후보들은 스킵 모드, 머지 모드 및/또는 (A)MVP 모드를 포함할 수 있고, 또는 후술하는 다양한 인터 예측 모드들을 포함할 수 있다.
디코딩 장치(200)는 결정된 예측 모드를 기반으로 현재 블록의 움직임 벡터를 도출한다(S1620). 예를 들어, 디코딩 장치(200)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 상술한 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 중 하나의 머지 후보를 선택할 수 있다. 상기 선택은 상술한 선택 정보(merge index)를 기반으로 수행될 수 있다. 선택된 머지 후보의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터가 도출할 수 있다. 선택된 머지 후보의 움직임 벡터가 상기 현재 블록의 움직임 벡터로 이용될 수 있다.
다른 예로, 디코딩 장치(200)는 상기 현재 블록에 (A)MVP 모드가 적용되는 경우, 상술한 (A)MVP 후보 리스트를 구성하고, 상기 (A)MVP 후보 리스트에 포함된 mvp (motion vector predictor) 후보들 중 선택된 mvp 후보의 움직임 벡터를 상기 현재 블록의 mvp로 이용할 수 있다. 상기 선택은 상술한 선택 정보(mvp flag or mvp index)를 기반으로 수행될 수 있다. 이 경우 MVD에 관한 정보를 기반으로 현재 블록의 MVD를 도출할 수 있으며, 현재 블록의 mvp와 MVD를 기반으로 현재 블록의 움직임 벡터를 도출할 수 있다. 또한, 참조 픽처 인덱스 정보를 기반으로 현재 블록의 참조 픽처 인덱스를 도출할 수 있다. 현재 블록에 관한 참조 픽처 리스트 내에서 참조 픽처 인덱스가 가리키는 픽처가 현재 블록의 인터 예측을 위하여 참조되는 참조 픽처로 도출될 수 있다.
한편, 상술한 바와 같이 후보 리스트 구성 없이 현재 블록의 움직임 정보가 도출될 수도 있으며, 이 경우 해당 예측 모드에서 개시된 절차에 따라 현재 블록의 움직임 벡터가 도출될 수 있다. 이 경우 상술한 바와 같은 후보 리스트 구성은 생략될 수 있다.
디코딩 장치(200)는 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측 샘플들을 생성할 수 있다(S1630). 현재 블록의 움직임 벡터가 현재 픽처 상에서 가리키는 참조 블록의 샘플들을 이용하여 현재 블록의 예측 샘플들을 도출할 수 있다. 이 경우 현재 블록의 예측 샘플들 중 전부 또는 일부에 대한 예측 샘플 필터링 절차가 더 수행될 수 있다.
예를 들어, 디코딩 장치(200)의 예측부는 예측 모드 결정부, 움직임 벡터 도출부, 예측 샘플 도출부를 포함할 수 있으며, 예측 모드 결정부에서 수신된 예측 모드 정보를 기반으로 상기 현재 블록에 대한 예측 모드를 결정하고, 움직임 벡터 도출부에서 수신된 움직임 벡터에 관한 정보를 기반으로 상기 현재 블록의 움직임 벡터를 도출하고, 예측 샘플 도출부에서 상기 현재 블록의 예측 샘플들을 도출할 수 있다.
디코딩 장치(200)는 수신된 레지듀얼 정보를 기반으로 현재 블록에 대한 레지듀얼 샘플들을 생성한다(S1640). 디코딩 장치(200)는 예측 샘플들 및 레지듀얼 샘플들을 기반으로 현재 블록에 대한 복원 샘플들을 생성하고, 이를 기반으로 복원 픽처를 생성할 수 있다. (S1650). 이후 상기 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
이하, 본 명세서의 실시예는 IBC 예측 모드가 적용된(또는 IBC 예측 모드가 적용되지 않은) 블록의 예측을 위한 머지 후보 리스트(AMVP 후보 리스트)를 구성하는 방법을 제공한다. 보다 구체적으로 IBC 예측 모드가 사용가능한 경우(enabled), IBC 블록과 non-IBC 블록을 위한 예측 후보를 구성하기 위한 방법을 제공한다. 이하 실시예는 정지 영상 또는 동영상을 압축하는 과정에서 IBC 예측이 사용 가능한 경우, IBC 예측 모드로 인코딩/디코딩 되는 블록을 위한 예측 후보와 IBC 예측 모드 이외의 모드로 인코딩/디코딩 되는 블록을 위한 예측 후보를 구성하는 방법을 제공함으로써 압축성능을 향상시킬 수 있다.
도 18 내지 도 23은 본 명세서의 실시예에 따른 IBC 머지 후보 및 IBC AMVP 후보를 구성하기 위한 흐름도의 예를 도시한다.
본 명세서의 일 실시예는, IBC 모드가 적용된 블록에 대하여 IBC 머지 및 IBC AVMP 후보를 구성하기 위한 방법을 제공한다. 본 실시예에 따르면, 현재 블록에 IBC 예측 모드가 적용되면, IBC 예측이 적용된 IBC 후보들을 사용하여 예측 후보 리스트가 구성된다. 또한, 요구되는 개수만큼 IBC 후보가 구성되지 않으면, 디폴트 후보(예: 제로 벡터)가 머지/AVMP 후보 리스트에 추가된다.
본 명세서의 실시예에 따르면, IBC 예측 모드가 적용된 현재 블록에 대한 예측 후보 리스트를 구성시 추가되는 후보가 IBC 예측 모드로 코딩되었는지 여부를 확인하고, IBC 예측 모드로 코딩된 경우 해당 후보를 예측 후보 리스트에 추가한다.
도 18은 기존 인터 예측 머지 후보 리스트를 구성하는 것과 유사하나, IBC의 특성상 현재 픽처를 참조하기 때문에 시간적 머지 후보는 제외된 경우이다. 즉, 기존 머지 후보 리스트를 구성하는 방법을 이용하되, 시간적 머지 후보를 제외하고, 각 후보가 IBC 예측 모드가 적용되었는지에 대한 확인 과정이 추가되었다.
도 18을 참고하면, 공간적 후보를 구성하기 위하여, 코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 공간적 주변 블록을 탐색하고, 해당 후보가 IBC 모드가 적용되었는지(해당 후보의 예측 모드가 IBC 예측 모드인지) 확인하고, IBC 예측 모드가 적용된 경우 해당 후보를 머지 후보 리스트에 추가한다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, HMVP 후보에 대한 탐색을 수행할 수 있다. 코딩 장치는, HMVP(history-based motion vector prediction) 후보를 구성하기 위하여 HMVP 후보 리스트(HMVP 버퍼) 내 후보들을 탐색하고, IBC 예측이 적용된 후보를 머지 후보 리스트에 추가한다. 본 문서에서, HMVP는 현재 블록의 예측을 위한 정보로서 현재 픽처 내에서 이미 디코딩된(복원된) 다른 블록의 예측 정보(움직임 벡터, 참조 픽처 인덱스)를 사용하는 방법을 나타낸다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 쌍(pairwise) 예측 후보에 대한 탐색을 수행할 수 있다. 쌍 예측 후보는 기존에 예측 후보 리스트에 구성된 후보들을 조합함으로써 생성된 예측 후보로서, 예를 들어, 제1 후보의 L0 방향 블록 벡터(움직임 벡터)와 제2 후보의 L1 방향 블록 벡터를 조합함으로써 쌍 예측 후보가 생성될 수 있다. 여기서, 코딩 장치는 쌍 예측 후보가 IBC 예측이 적용되었는지 여부를 확인하고, IBC 예측이 적용된 경우 해당 쌍 예측 후보를 머지 후보 리스트에 추가할 수 있다. 쌍 예측 후보의 구성을 위해 사용된 2개의 후보가 모두 IBC 예측이 적용된 경우 쌍 예측 후보에 대해 IBC 예측이 적용되었다고 할 수 있다. 머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 머지 후보 리스트에 추가한다.
도 19는 기존 인터 예측 머지 후보 리스트를 구성하는 것과 유사하나, 시간적 머지 후보와 HMVP 후보가 제외된 경우이다. HMVP 후보가 제외된 이유는 기존 HMVP는 일정 개수의 후보를 저장하기 때문에 IBC 예측을 위해 HMVP 후보를 사용하는 경우 제한된 후보 개수에 대해 IBC/Non-IBC 후보를 모두 저장하여야 하고, 이로 인해 Non-IBC 후보의 구성 과정에서 예측 성능 또는 메모리 효율성이 저하될 수 있기 때문이다.
도 19를 참고하면, 공간적 후보를 구성하기 위하여, 코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 공간적 주변 블록을 탐색하고, 해당 후보가 IBC 모드가 적용되었는지 확인하고, IBC 예측 모드가 적용된 경우 해당 후보를 머지 후보 리스트에 추가한다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 쌍(pairwise) 예측 후보에 대한 탐색을 수행할 수 있다. 쌍 예측 후보는 기존에 예측 후보 리스트에 구성된 후보들을 조합함으로써 생성된 예측 후보로서, 예를 들어, 제1 후보의 L0 방향 블록 벡터(움직임 벡터)와 제2 후보의 L1 방향 블록 벡터를 조합함으로써 쌍 예측 후보가 생성될 수 있다. 여기서, 코딩 장치는 쌍 예측 후보가 IBC 예측이 적용되었는지 여부를 확인하고, IBC 예측이 적용된 경우 해당 쌍 예측 후보를 머지 후보 리스트에 추가할 수 있다. 쌍 예측 후보의 구성을 위해 사용된 2개의 후보가 모두 IBC 예측이 적용된 경우 쌍 예측 후보에 대해 IBC 예측이 적용되었다고 할 수 있다. 머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 머지 후보 리스트에 추가한다.
도 20는 기존 인터 예측 머지 후보 리스트를 구성하는 것과 유사하나, 시간적 머지 후보와 쌍 예측 후보가 제외된 경우이다.
도 20을 참고하면, 공간적 후보를 구성하기 위하여, 코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 공간적 주변 블록을 탐색하고, 해당 후보가 IBC 모드가 적용되었는지 확인하고, IBC 예측 모드가 적용된 경우 해당 후보를 머지 후보 리스트에 추가한다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, HMVP 후보에 대한 탐색을 수행할 수 있다. 코딩 장치는, HMVP(history-based motion vector prediction) 후보를 구성하기 위하여 HMVP 후보 리스트(HMVP 버퍼) 내 후보들을 탐색하고, IBC 예측이 적용된 후보를 머지 후보 리스트에 추가한다. 머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 머지 후보 리스트에 추가한다.
도 21은 기존 인터 예측 머지 후보 리스트를 구성하는 과정에서, 쌍 예측 후보, HMVP 후보, 시간적 머지 후보가 제외되었다.
도 21을 참고하면, 공간적 후보를 구성하기 위하여, 코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 공간적 주변 블록을 탐색하고, 해당 후보가 IBC 모드가 적용되었는지 확인하고, IBC 예측 모드가 적용된 경우 해당 후보를 머지 후보 리스트에 추가한다. 머지 예측 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 머지 후보 리스트에 추가한다.
도 22는 기존 인터 예측 AMVP 후보 리스트를 구성하는 과정에서, 시간적 후보와 HMVP 후보가 제외된 경우이다.
도 22를 참고하면, 공간적 후보를 구성하기 위하여, 코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 공간적 주변 블록을 탐색하고, 해당 후보가 IBC 모드가 적용되었는지 확인하고, IBC 예측 모드가 적용된 경우 해당 후보를 AMVP 후보 리스트에 추가한다. AMVP 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 AMVP 후보 리스트에 추가한다.
도 23은 기존 인터 예측 AMVP 후보 리스트를 구성하는 과정에서, 시간적 후보가 제외된 경우이다.
도 23을 참고하면, 공간적 후보를 구성하기 위하여, 코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 공간적 주변 블록을 탐색하고, 해당 후보가 IBC 모드가 적용되었는지 확인하고, IBC 예측 모드가 적용된 경우 해당 후보를 AMVP 후보 리스트에 추가한다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, HMVP 후보에 대한 탐색을 수행할 수 있다. 코딩 장치는, HMVP(history-based motion vector prediction) 후보를 구성하기 위하여 HMVP 후보 리스트(HMVP 버퍼) 내 후보들을 탐색하고, IBC 예측이 적용된 후보를 AMVP 후보 리스트에 추가한다. 머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 AMVP 후보 리스트에 추가한다.
또한, 본 명세서의 일실시예는 IBC가 아닌 인터 예측 모드에 대한 머지/AMVP 후보 구성 방법을 제공한다. 현재 블록이 IBC가 아닌 인터 예측 모드(MODE_INTER)가 적용된 경우 예측 후보 구성 과정에서 non-IBC 후보들로만 후보 리스트를 구성하는 방법이다. 요구되는 개수만큼 Non-IBC 후보가 구성되지 않을 경우, Default 후보(예: 제로 벡터)로 구성된다.
도 24와 도 25는 본 명세서의 실시예에 따른 화면간 예측이 적용된 블록에 대한 예측 후보 리스트를 구성하기 위한 흐름도의 예이다.
보다 상세하게, 코딩 장치는 예측 후보 리스트를 구성과정에서 추가하고자 하는 후보가 인터 예측(Non-IBC)으로 코딩된 경우에만 예측 후보 리스트에 해당 후보를 추가한다. 즉, 예측 후보 리스트에 추가하고자 하는 후보가 IBC로 코딩된 경우, 후보리스트에 추가하지 않는 방법이다.
도 24는 머지 후보 리스트를 구성하는 과정에서 추가하고자 하는 후보의 예측 모드가 IBC 예측 모드인지 여부를 확인하고, IBC 예측 모드가 아닌 경우(인터 예측이 적용된 경우) 해당 후보를 머지 후보 리스트에 추가한다. 추가하고자 하는 후보의 예측 모드가 IBC 예측 모드인 경우, 해당 후보는 머지 후보 리스트에 추가되지 않는다.
도 24를 참조하면, 공간적 머지 후보를 구성하기 위하여, 코딩 장치는 공간적 주변 블록을 탐색하고, 해당 후보에 인터 예측 모드가 적용되었는지(해당 공간적 후보의 예측 모드가 인터 예측 모드인지) 확인하고, 인터 예측 모드가 적용된 경우(IBC 예측 모드가 적용되지 않은 경우) 해당 후보를 머지 후보 리스트에 추가한다. IBC 예측 모드가 적용된 후보는 머지 후보 리스트에 추가되지 않는다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 시간적 예측 후보에 대한 탐색을 수행할 수 있다. 시간적(TMVP) 후보는 현재 블록과 다른 픽처에서 상호 위치한(collocated) 블록의 움직임 정보를 나타낸다. 코딩 장치는, 시간적 후보를 구성하기 위하여 다른 픽처의 상호 위치한 블록(시간적 주변 블록)을 탐색하고, 인터 예측이 적용된(IBC 예측이 적용되지 않은) 시간적 후보를 머지 후보 리스트에 추가한다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, HMVP 후보에 대한 탐색을 수행할 수 있다. 코딩 장치는, HMVP(history-based motion vector prediction) 후보를 구성하기 위하여 HMVP 후보 리스트(HMVP 버퍼) 내 후보들을 탐색하고, 인터 예측이 적용된(IBC 예측이 적용되지 않은) 후보를 머지 후보 리스트에 추가한다.
머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 쌍(pairwise) 예측 후보에 대한 탐색을 수행할 수 있다. 쌍 예측 후보는 기존에 예측 후보 리스트에 구성된 후보들을 조합함으로써 생성된 예측 후보로서, 예를 들어, 제1 후보의 L0 방향 블록 벡터(움직임 벡터)와 제2 후보의 L1 방향 블록 벡터를 조합함으로써 쌍 예측 후보가 생성될 수 있다. 여기서, 코딩 장치는 쌍 예측 후보가 인터 예측이 적용되었는지(IBC 예측이 적용되지 않았는지) 여부를 확인하고, 인터 예측이 적용된 경우(IBC 예측이 적용되지 않은 경우) 해당 쌍 예측 후보를 머지 후보 리스트에 추가할 수 있다. 쌍 예측 후보의 구성을 위해 사용된 2개의 후보가 모두 인터 예측이 적용된 경우(모두 (IBC 예측이 적용되지 않은 경우) 쌍 예측 후보에 대해 인터 예측이 적용되었다고 할 수 있다. 머지 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 머지 후보 리스트에 추가한다.
도 25는 AMVP 후보 리스트를 구성하는 과정에서 추가하고자 하는 후보의 예측 모드가 IBC 예측 모드인지 여부를 확인하고, IBC 예측 모드가 아닌 경우(인터 예측이 적용된 경우) 해당 후보를 AMVP 후보 리스트에 추가한다. 추가하고자 하는 후보의 예측 모드가 IBC 예측 모드인 경우, 해당 후보는 AMVP 후보 리스트에 추가되지 않는다.
도 25를 참조하면, 공간적 AMVP 후보를 구성하기 위하여, 코딩 장치는 공간적 주변 블록을 탐색하고, 해당 후보에 인터 예측 모드가 적용되었는지(해당 공간적 후보의 예측 모드가 인터 예측 모드인지) 확인하고, 인터 예측 모드가 적용된 경우(IBC 예측 모드가 적용되지 않은 경우) 해당 후보를 AMVP 후보 리스트에 추가한다. IBC 예측 모드가 적용된 후보는 AMVP 후보 리스트에 추가되지 않는다.
AMVP 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 시간적 예측 후보에 대한 탐색을 수행할 수 있다. 시간적(TMVP) 후보는 현재 블록과 다른 픽처에서 상호 위치한(collocated) 블록의 움직임 정보를 나타낸다. 코딩 장치는, 시간적 후보를 구성하기 위하여 다른 픽처의 상호 위치한 블록(시간적 주변 블록)을 탐색하고, 인터 예측이 적용된(IBC 예측이 적용되지 않은) 시간적 후보를 AMVP 후보 리스트에 추가한다.
AMVP 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, HMVP 후보에 대한 탐색을 수행할 수 있다. 코딩 장치는, HMVP(history-based motion vector prediction) 후보를 구성하기 위하여 HMVP 후보 리스트(HMVP 버퍼) 내 후보들을 탐색하고, 인터 예측이 적용된(IBC 예측이 적용되지 않은) 후보를 AMVP 후보 리스트에 추가한다.
AMVP 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 쌍(pairwise) 예측 후보에 대한 탐색을 수행할 수 있다. 쌍 예측 후보는 기존에 예측 후보 리스트에 구성된 후보들을 조합함으로써 생성된 예측 후보로서, 예를 들어, 제1 후보의 L0 방향 블록 벡터(움직임 벡터)와 제2 후보의 L1 방향 블록 벡터를 조합함으로써 쌍 예측 후보가 생성될 수 있다. 여기서, 코딩 장치는 쌍 예측 후보가 인터 예측이 적용되었는지(IBC 예측이 적용되지 않았는지) 여부를 확인하고, 인터 예측이 적용된 경우(IBC 예측이 적용되지 않은 경우) 해당 쌍 예측 후보를 AMVP 후보 리스트에 추가할 수 있다. 쌍 예측 후보의 구성을 위해 사용된 2개의 후보가 모두 인터 예측이 적용된 경우(모두 (IBC 예측이 적용되지 않은 경우) 쌍 예측 후보에 대해 인터 예측이 적용되었다고 할 수 있다. AMVP 후보 리스트 내 현재 후보 개수가 최대 개수보다 작으면, 코딩 장치는 제로 벡터를 AMVP 후보 리스트에 추가한다.
이전 실시예들과 마찬가지로 non-IBC 블록에 대한 예측 후보 리스트 구성 과정에서 다양한 타입의 후보들(공간적 후보, 시간적 후보, HMVP 후보, 쌍 예측 후보) 중 어느 하나의 타입에 대한 탐색이 생략될 수 있음은 당연한다.
도 26은 본 명세서의 실시예에 따른 비디오 데이터의 인코딩을 위한 흐름도의 예이다. 도 26의 동작은 인코딩 장치(100)의 인터 예측부(180)에 의해 수행될 수 있다.
도 26을 참고하면, 인코딩 장치(100)는 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성한다(S2610). 여기서, 인코딩 장치(100)는 블록 벡터 후보 리스트(머지 후보 리스트/AMVP 후보 리스트)를 구성하는 과정에서 추가하고자 하는 후보의 예측 모드가 IBC 예측 모드인 경우에만 해당 후보를 블록 벡터 후보 리스트에 추가할 수 있다. 즉, 인코딩 장치(100)는 IBC 예측 모드가 적용된 후보(공간적 후보, 시간적 후보, HMVP 후보, 또는 쌍 예측 후보)를 블록 벡터 후보 리스트에 추가할 수 있다.
일 실시예에서, 블록 벡터 후보 리스트를 구성하기 위하여, 인코딩 장치(100)는 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하고, 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, IBC 예측 모드가 적용된 HMVP 후보에 기반하여 블록 벡터 후보 리스트를 변경할 수 있다.
일 실시예에서, 인코딩 장치(100)는 변경된 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가할 수 있다. 일 실시예에서, 인코딩 장치(100)는 현재 후보 개수가 최대 후보 개수와 동일할 때까지 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가할 수 있다.
일 실시예에서, 공간적 주변 블록은 현재 블록의 좌측 주변 블록, 좌하측 주변 블록, 상측 주변 블록, 우상측 주변 블록, 또는 우상측 주변 블록 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 인코딩 장치(100)는, 변경된 블록 벡터 후보 리스트에 포함된 블록 벡터들의 조합에 기반하여 생성되는 쌍(pairwise) 후보를 블록 벡터 후보 리스트에 추가할 수 있다.
일 실시예에서, 쌍 후보가 추가된 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 제로 벡터를 상기 블록 벡터 후보 리스트에 추가할 수 있다.
인코딩 장치(100)는 본 명세서의 실시예와 같이 구성된 블록 벡터 후보 리스트에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성한다(S2620). 예를 들어, 인코딩 장치(100)는 블록 벡터 후보 리스트(머지 후보 리스트)에서 머지 인덱스에 의해 지시되는 후보의 블록 벡터(움직임 벡터)를 사용하여 예측 샘플을 생성할 수 있다. 구체적으로, 현재 블록을 포함하는 현재 픽처에서 블록 벡터에 의해 지시되는 샘플 값을 사용하여 예측 샘플이 생성될 수 있다.
또한, IBC 예측 모드가 아닌 인터 예측 모드가 적용된 블록에 대하여, 인코딩 장치(100)는 블록 벡터 후보 리스트를 구성하기 위하여 추가하고자 하는 후보의 예측 모드가 현재 블록과 동일한 예측 모드인지(인터 예측 모드인지) 여부를 결정하고, 동일한 예측 모드인 경우(인터 예측 모드인 경우) 해당 후보를 블록 벡터 후보 리스트에 추가할 수 있다.
인코딩 장치는 인코딩 장치(100)는 현재 블록의 예측과 관련된 정보를 인코딩한다(S2630).
도 27은 본 명세서의 실시예에 따른 비디오 데이터의 디코딩을 위한 흐름도의 예이다. 도 27의 동작들은 디코딩 장치(200)의 인터 예측부(260)에 의해 수행될 수 있다.
디코딩 장치(200)는 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성한다(S2710).
디코딩 장치(200)는 블록 벡터 후보 리스트에 기반하여 현재 블록에 대한 예측 샘플을 생성한다(S2720). 여기서, 디코딩 장치(100)는 블록 벡터 후보 리스트(머지 후보 리스트/AMVP 후보 리스트)를 구성하는 과정에서 추가하고자 하는 후보의 예측 모드가 IBC 예측 모드인 경우에만 해당 후보를 블록 벡터 후보 리스트에 추가할 수 있다. 즉, 디코딩 장치(100)는 IBC 예측 모드가 적용된 후보(공간적 후보, 시간적 후보, HMVP 후보, 또는 쌍 예측 후보)를 블록 벡터 후보 리스트에 추가할 수 있다.
일 실시예에서, 블록 벡터 후보 리스트를 구성하기 위하여, 디코딩 장치(200)는 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하고, 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, IBC 예측 모드가 적용된 HMVP 후보에 기반하여 블록 벡터 후보 리스트를 변경할 수 있다.
일 실시예에서, 디코딩 장치(200)는 변경된 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가할 수 있다. 일 실시예에서, 인코딩 장치(100)는 현재 후보 개수가 최대 후보 개수와 동일할 때까지 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가할 수 있다.
일 실시예에서, 공간적 주변 블록은 현재 블록의 좌측 주변 블록, 좌하측 주변 블록, 상측 주변 블록, 우상측 주변 블록, 또는 우상측 주변 블록 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 디코딩 장치(200)는, 변경된 블록 벡터 후보 리스트에 포함된 블록 벡터들의 조합에 기반하여 생성되는 쌍(pairwise) 후보를 블록 벡터 후보 리스트에 추가할 수 있다.
일 실시예에서, 쌍 후보가 추가된 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 제로 벡터를 상기 블록 벡터 후보 리스트에 추가할 수 있다.
예를 들어, 디코딩 장치(200)는 블록 벡터 후보 리스트(머지 후보 리스트)에서 머지 인덱스에 의해 지시되는 후보의 블록 벡터(움직임 벡터)를 사용하여 예측 샘플을 생성할 수 있다. 구체적으로, 현재 블록을 포함하는 현재 픽처에서 블록 벡터에 의해 지시되는 샘플 값을 사용하여 예측 샘플이 생성될 수 있다.
또한, IBC 예측 모드가 아닌 인터 예측 모드가 적용된 블록에 대하여, 디코딩 장치(200)는 블록 벡터 후보 리스트를 구성하기 위하여 추가하고자 하는 후보의 예측 모드가 현재 블록과 동일한 예측 모드인지(인터 예측 모드인지) 여부를 결정하고, 동일한 예측 모드인 경우(인터 예측 모드인 경우) 해당 후보를 블록 벡터 후보 리스트에 추가할 수 있다.
비트스트림
상술한 본 발명의 실시예에 기반하여 인코딩 장치(100)에 의하여 도출된 인코딩된 정보(예: 인코딩된 비디오/영성 정보)는 비트스트림의 형태로 출력될 수 있다. 인코딩된 정보는 비트스트림 형태로 NAL 유닛 단위로 전송 또는 저장될 수 있다. 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 비-일시적(non-transitory) 디지털 저장매체에 저장될 수 있다. 또한, 상술한 바와 같이 비트스트림은 인코딩 장치(100)에서 디코딩 장치(200)로 바로 전송되지 않고, 외부 서버(예: 컨텐츠 스트리밍 서버)를 통하여 스트리밍/다운로드 서비스될 수 있다. 여기서, 네트워크는 방송망 및/또는 통신망을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD와 같이 다양한 저장매체를 포함할 수 있다.
본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 발명의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 프로그램 코드는 본 발명의 실시예에 의해 컴퓨터에서 수행될 수 있다. 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
상술한 본 명세서의 실시예는 컴퓨팅 디바이스의 하나 이상의 프로세서에서 실행하도록 구성된 컴퓨터 실행 가능한 컴포넌트가 저장된 비 일시적(non-transitory) 컴퓨터 판독 가능한 매체(computer-executable component)에 의해 구현될 수 있다. 본 명세서의 실시예에 따른 컴퓨터 실행 가능한 컴포넌트는 비디오 데이터에서 현재 블록의 샘플 값이 비트스트림을 통해 전달되는 PCM 모드가 적용되는지 여부를 결정하고, PCM 모드가 미적용됨에 기반하여, 현재 블록의 인트라 예측을 위한 참조 라인과 관련된 참조 인덱스를 확인하고, 참조 인덱스와 관련된 참조 라인에 포함된 참조 샘플에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정될 수 있다. 뿐만 아니라, 본 명세서의 실시예에 따른 컴퓨터 실행 가능한 컴포넌트는 도 13 내지 도 14를 참조하여 설명된 비디오 데이터 처리 방법에 대응하는 동작을 실행하도록 설정될 수 있다.
본 발명이 적용되는 디코딩 장치(200) 및 인코딩 장치(100)는 디지털 기기(digital device)에 포함될 수 있다. "디지털 기기(digital device)"라 함은 예를 들어, 데이터, 컨텐트, 서비스 등을 송신, 수신, 처리 및 출력 중 적어도 하나를 수행 가능한 모든 디지털 기기를 포함한다. 여기서, 디지털 기기가 데이터, 컨텐트, 서비스 등을 처리하는 것은, 데이터, 컨텐트, 서비스 등을 인코딩 및/또는 디코딩하는 동작을 포함한다. 이러한 디지털 기기는, 유/무선 네트워크(wire/wireless network)를 통하여 다른 디지털 기기, 외부 서버(external server) 등과 페어링 또는 연결(pairing or connecting)(이하 '페어링')되어 데이터를 송수신하며, 필요에 따라 변환(converting)한다.
디지털 기기는 예를 들어, 네트워크 TV(network TV), HBBTV(hybrid broadcast Broadband TV), 스마트 TV(smart TV), IPTV(internet protocol television), PC(personal computer) 등과 같은 고정형 기기(standing device)와, PDA(personal digital assistant), 스마트 폰(smart phone), 태블릿 PC(tablet PC), 노트북 등과 같은 모바일 기기(mobile device or handheld device)를 모두 포함한다.
한편, 본 명세서에서 기술되는 "유/무선 네트워크"라 함은, 디지털 기기들 또는 디지털 기기와 외부 서버 사이에서 상호 연결 또는/및 데이터 송수신을 위해 다양한 통신 규격 내지 프로토콜을 지원하는 통신 네트워크를 통칭한다. 이러한 유/무선 네트워크는 규격에 의해 현재 또는 향후 지원될 통신 네트워크와 그를 위한 통신 프로토콜을 모두 포함할 수 있는바 예컨대, USB(Universal Serial Bus), CVBS(Composite Video Banking Sync), 컴포넌트, S-비디오(아날로그), DVI(digital visual interface), HDMI(high definition multimedia interface), RGB, D-SUB와 같은 유선 연결을 위한 통신 규격 내지 프로토콜과, 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra Wwideband), 지그비(ZigBee), DLNA(digital living network alliance), WLAN(wireless LAN)(Wi-Fi), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access), LTE(long term evolution), Wi-Fi 다이렉트(direct)와 같은 무선 연결을 위한 통신 규격에 의하여 형성될 수 있다.
이하 본 명세서에서 단지 디지털 기기로 명명하는 경우에는 문맥에 따라 고정형 기기 또는 모바일 기기를 의미하거나 양자를 모두 포함하는 의미일 수도 있다.
한편, 디지털 기기는 예컨대, 방송 수신 기능, 컴퓨터 기능 내지 지원, 적어도 하나의 외부 입력(external input)을 지원하는 지능형 기기로서, 상술한 유/무선 네트워크를 통해 이메일(e-mail), 웹 브라우징(web browsing), 뱅킹(banking), 게임(game), 애플리케이션(application) 등을 지원할 수 있다. 더불어, 디지털 기기는, 수기 방식의 입력 장치, 터치 스크린(touch screen), 공간 리모콘과 같이 적어도 하나의 입력 또는 제어 수단(이하 입력수단)을 지원하기 위한 인터페이스(interface)를 구비할 수 있다. 디지털 기기는, 표준화된 범용 OS(operating system)를 이용할 수 있다. 예를 들어, 디지털 기기는 범용의 OS 커널(kernel) 상에 다양한 애플리케이션(application)을 추가(adding), 삭제(deleting), 수정(amending), 업데이트(updating) 등을 할 수 있으며, 그를 통해 더욱 사용자 친화적인(user-friendly) 환경을 구성하여 제공할 수 있다.
이상에서 설명된 실시예들은 본 명세서의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 명세서의 실시예를 구성하는 것도 가능하다. 본 명세서의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 명세서의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.
본 명세서는 본 명세서의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (15)

  1. 비디오 데이터를 처리하기 위한 방법으로서,
    현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성하는 단계; 및
    상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하고,
    상기 블록 벡터 후보 리스트를 구성하는 단계는,
    상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하는 단계와,
    상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 블록 벡터 후보 리스트를 구성하는 단계는,
    상기 변경된 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계는,
    상기 현재 후보 개수가 상기 최대 후보 개수와 동일할 때까지 상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 공간적 주변 블록은,
    상기 현재 블록의 좌측 주변 블록, 좌하측 주변 블록, 상측 주변 블록, 우상측 주변 블록, 또는 우상측 주변 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 블록 벡터 후보 리스트를 구성하는 단계는,
    상기 변경된 블록 벡터 후보 리스트에 포함된 블록 벡터들의 조합에 기반하여 생성되는 쌍(pairwise) 후보를 상기 블록 벡터 후보 리스트에 추가하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 쌍 후보가 추가된 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 제로 벡터를 상기 블록 벡터 후보 리스트에 추가하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 비디오 데이터를 인코딩하기 위한 방법으로서,
    현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드를 사용하여 현재 블록에 대한 블록 벡터 후보 리스트를 구성하는 단계;
    상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계; 및
    상기 현재 블록의 예측과 관련된 정보를 인코딩하는 단계를 포함하고,
    상기 블록 벡터 후보 리스트를 구성하는 단계는,
    상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하는 단계와,
    상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 블록 벡터 후보 리스트를 구성하는 단계는,
    상기 변경된 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계는,
    상기 현재 후보 개수가 상기 최대 후보 개수와 동일할 때까지 상기 변경된 블록 벡터 후보 리스트에 제로(zero) 벡터를 추가하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제7항에 있어서,
    상기 공간적 주변 블록은,
    상기 현재 블록의 좌측 주변 블록, 좌하측 주변 블록, 상측 주변 블록, 우상측 주변 블록, 또는 우상측 주변 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  11. 제7항에 있어서,
    상기 블록 벡터 후보 리스트를 구성하는 단계는,
    상기 변경된 블록 벡터 후보 리스트에 포함된 블록 벡터들의 조합에 기반하여 생성되는 쌍(pairwise) 후보를 상기 블록 벡터 후보 리스트에 추가하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 쌍 후보가 추가된 상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 제로 벡터를 상기 블록 벡터 후보 리스트에 추가하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 비디오 데이터를 디코딩하기 위한 장치로서,
    상기 비디오 데이터를 저장하는 메모리와,
    상기 메모리와 결합되고, 상기 비디오 데이터를 처리하는 프로세서를 포함하고,
    상기 프로세서는,
    현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성하고,
    상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하도록 설정되고,
    상기 블록 벡터 후보 리스트를 구성하기 위하여, 상기 프로세서는,
    상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하고,
    상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하도록 설정되는 것을 특징으로 하는 장치.
  14. 비디오 데이터를 인코딩하기 위한 장치로서,
    상기 비디오 데이터를 저장하는 메모리와,
    상기 메모리와 결합되고, 상기 비디오 데이터를 처리하는 프로세서를 포함하고,
    상기 프로세서는,
    현 현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드를 사용하여 현재 블록에 대한 블록 벡터 후보 리스트를 구성하고,
    상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하고,
    상기 현재 블록의 예측과 관련된 정보를 인코딩하도록 설정되고,
    상기 블록 벡터 후보 리스트를 구성하기 위하여, 상기 프로세서는,
    상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하고,
    상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하도록 설정되는 것을 특징으로 하는 장치.
  15. 하나 또는 그 이상의 명령어들을 저장하는 비-일시적 컴퓨터-판독가능한 매체(non-transitory computer-readable medium)로서, 하나 또는 그 이상의 프로세서들에 의해 실행되는 상기 하나 또는 그 이상의 명령어들은,
    현재 픽처 내 다른 블록을 참조하는 IBC 예측 모드가 적용된 현재 블록에 대한 블록 벡터 후보 리스트를 구성하고,
    상기 블록 벡터 후보 리스트에 포함된 블록 벡터에 기반하여 상기 현재 블록에 대한 예측 샘플을 생성하도록 비디오 데이터 처리 장치를 제어하고,
    상기 블록 벡터 후보 리스트를 구성하기 위하여, 상기 하나 또는 그 이상의 명령어들은,
    상기 IBC 예측 모드가 적용된 공간적 주변 블록으로부터 블록 벡터 후보 리스트를 구성하고,
    상기 블록 벡터 후보 리스트의 현재 후보 개수가 최대 후보 개수보다 작으면, 상기 IBC 예측 모드가 적용된 HMVP(history-based motion vector prediction) 후보에 기반하여 상기 블록 벡터 후보 리스트를 변경하도록 비디오 데이터 처리 장치를 제어하는 것을 특징으로 하는 장치.
PCT/KR2020/000153 2019-01-05 2020-01-03 비디오 데이터를 처리하기 위한 방법 및 장치 WO2020141954A1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP20736137.9A EP3896971A4 (en) 2019-01-05 2020-01-03 VIDEO DATA PROCESSING METHOD AND APPARATUS
CN202410668104.3A CN118714341A (zh) 2019-01-05 2020-01-03 用于处理视频数据的方法和设备
US17/420,553 US11962756B2 (en) 2019-01-05 2020-01-03 Method and apparatus for processing video data
CN202410673340.4A CN118714343A (zh) 2019-01-05 2020-01-03 用于处理视频数据的方法和设备
CN202080007969.5A CN113273206B (zh) 2019-01-05 2020-01-03 用于处理视频数据的方法和设备
CN202410673599.9A CN118714344A (zh) 2019-01-05 2020-01-03 用于处理视频数据的方法和设备
KR1020217020888A KR20210093350A (ko) 2019-01-05 2020-01-03 비디오 데이터를 처리하기 위한 방법 및 장치
CN202410668153.7A CN118714342A (zh) 2019-01-05 2020-01-03 用于处理视频数据的方法和设备
US18/604,697 US20240223750A1 (en) 2019-01-05 2024-03-14 Method and apparatus for processing video data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962788777P 2019-01-05 2019-01-05
US62/788,777 2019-01-05

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/420,553 A-371-Of-International US11962756B2 (en) 2019-01-05 2020-01-03 Method and apparatus for processing video data
US18/604,697 Continuation US20240223750A1 (en) 2019-01-05 2024-03-14 Method and apparatus for processing video data

Publications (1)

Publication Number Publication Date
WO2020141954A1 true WO2020141954A1 (ko) 2020-07-09

Family

ID=71406632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000153 WO2020141954A1 (ko) 2019-01-05 2020-01-03 비디오 데이터를 처리하기 위한 방법 및 장치

Country Status (5)

Country Link
US (2) US11962756B2 (ko)
EP (1) EP3896971A4 (ko)
KR (1) KR20210093350A (ko)
CN (5) CN118714343A (ko)
WO (1) WO2020141954A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022037458A1 (zh) * 2020-08-20 2022-02-24 腾讯科技（深圳）有限公司 视频编解码中的运动信息列表构建方法、装置及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405870B2 (ja) * 2019-05-24 2023-12-26 華為技術有限公司 Ｉｂｃマージ・リストのために使用する符号化器、復号器、及び対応する方法
WO2023098829A1 (en) * 2021-12-01 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023236988A1 (en) * 2022-06-07 2023-12-14 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160105670A1 (en) * 2014-10-14 2016-04-14 Qualcomm Incorporated Amvp and merge candidate list derivation for intra bc and inter prediction unification
KR20160148005A (ko) * 2014-05-06 2016-12-23 에이치에프아이 이노베이션 인크. 인트라 블록 카피 모드 부호화를 위한 블록 벡터 예측 방법
KR20170046770A (ko) * 2014-09-01 2017-05-02 에이치에프아이 이노베이션 인크. 스크린 콘텐츠 및 비디오 코딩을 위한 인트라 픽처 블록 카피의 방법
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
KR20180124972A (ko) * 2016-03-24 2018-11-21 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2661882B1 (en) 2011-01-05 2015-06-24 Koninklijke Philips N.V. Video coding and decoding devices and methods preserving ppg relevant information
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
WO2015180014A1 (en) 2014-05-26 2015-12-03 Mediatek Singapore Pte. Ltd. An improved merge candidate list construction method for intra block copy
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US20200112715A1 (en) * 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160148005A (ko) * 2014-05-06 2016-12-23 에이치에프아이 이노베이션 인크. 인트라 블록 카피 모드 부호화를 위한 블록 벡터 예측 방법
KR20170046770A (ko) * 2014-09-01 2017-05-02 에이치에프아이 이노베이션 인크. 스크린 콘텐츠 및 비디오 코딩을 위한 인트라 픽처 블록 카피의 방법
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
US20160105670A1 (en) * 2014-10-14 2016-04-14 Qualcomm Incorporated Amvp and merge candidate list derivation for intra bc and inter prediction unification
KR20180124972A (ko) * 2016-03-24 2018-11-21 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3896971A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022037458A1 (zh) * 2020-08-20 2022-02-24 腾讯科技（深圳）有限公司 视频编解码中的运动信息列表构建方法、装置及设备

Also Published As

Publication number Publication date
EP3896971A1 (en) 2021-10-20
CN118714344A (zh) 2024-09-27
CN118714341A (zh) 2024-09-27
EP3896971A4 (en) 2022-04-27
CN113273206B (zh) 2024-06-18
CN113273206A (zh) 2021-08-17
US20220124308A1 (en) 2022-04-21
US20240223750A1 (en) 2024-07-04
CN118714342A (zh) 2024-09-27
CN118714343A (zh) 2024-09-27
KR20210093350A (ko) 2021-07-27
US11962756B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
WO2020141954A1 (ko) 비디오 데이터를 처리하기 위한 방법 및 장치
WO2019190181A1 (ko) 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
WO2020046091A1 (ko) 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
WO2020017861A1 (ko) 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
WO2020141889A1 (ko) 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020171632A1 (ko) Mpm 리스트 기반 인트라 예측 방법 및 장치
WO2019235822A1 (ko) 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2020149630A1 (ko) 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
WO2021040400A1 (ko) 팔레트 모드 기반 영상 또는 비디오 코딩
WO2020141879A1 (ko) 영상 코딩 시스템에서 서브 블록 기반 시간적 머지 후보를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2020171673A1 (ko) 인트라 예측을 위한 비디오 신호의 처리 방법 및 장치
WO2020141932A1 (ko) Cpr 기반 mmvd를 이용하는 인터 예측 방법 및 장치
WO2020256455A1 (ko) 디폴트 머지 모드에 기반하여 예측 샘플을 도출하는 영상 디코딩 방법 및 그 장치
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
WO2020005002A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 템플릿 영역 도출 방법 및 장치
WO2020130520A1 (ko) 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2021040398A1 (ko) 팔레트 이스케이프 코딩 기반 영상 또는 비디오 코딩
WO2021040402A1 (ko) 팔레트 코딩 기반 영상 또는 비디오 코딩
WO2020251270A1 (ko) 서브블록 단위의 시간적 움직임 정보 기반 영상 또는 비디오 코딩
WO2020256506A1 (ko) 다중 참조 라인 인트라 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021015512A1 (ko) Ibc를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2019199093A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2021091256A1 (ko) 영상/비디오 코딩 방법 및 장치
WO2021091252A1 (ko) 영상/비디오 코딩을 위한 영상 정보 처리 방법 및 장치
WO2020197243A1 (ko) Smvd(symmetric motion vector difference)를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20736137

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217020888

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020736137

Country of ref document: EP

Effective date: 20210716