WO2018199468A1 - 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치 - Google Patents

움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치 Download PDF

Info

Publication number
WO2018199468A1
WO2018199468A1 PCT/KR2018/003044 KR2018003044W WO2018199468A1 WO 2018199468 A1 WO2018199468 A1 WO 2018199468A1 KR 2018003044 W KR2018003044 W KR 2018003044W WO 2018199468 A1 WO2018199468 A1 WO 2018199468A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
current block
pixel
block
bio
Prior art date
Application number
PCT/KR2018/003044
Other languages
English (en)
French (fr)
Inventor
임정연
김효성
손세훈
신재섭
이선영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170077246A external-priority patent/KR102409430B1/ko
Priority to CN202310841020.0A priority Critical patent/CN116708828A/zh
Priority to CN202310843252.XA priority patent/CN116708830A/zh
Priority to CN202310843458.2A priority patent/CN116708831A/zh
Priority to CN202310841628.3A priority patent/CN116708829A/zh
Priority to CN201880034013.7A priority patent/CN110710213B/zh
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US16/608,020 priority patent/US11272193B2/en
Publication of WO2018199468A1 publication Critical patent/WO2018199468A1/ko
Priority to US17/668,822 priority patent/US20220166989A1/en
Priority to US17/673,922 priority patent/US12003736B2/en
Priority to US17/673,904 priority patent/US11997292B2/en
Priority to US17/673,879 priority patent/US20220174292A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present invention relates to image encoding or decoding. More specifically, the present invention relates to an adaptive bidirectional optical flow estimation method for inter prediction prediction correction in a video encoding process.
  • motion compensation is important for achieving high compression in video coding.
  • motion is an important source of information. Motion occurs not only because of the object but also because of camera movement. Apparent movement, also known as optical flow, captures spatio-temporal variations in pixel intensity in an image sequence.
  • Bi-directional Optical Flow is a motion estimation / compensation technique disclosed in JCTVC-C204 and VCEG-AZ05 BIO, and it is possible to adjust the sample level motion based on the assumption of optical flow and steady motion. motion refinement).
  • the bidirectional optical flow estimation method currently discussed has the advantage of enabling fine correction of motion vector information, but has a disadvantage of requiring much higher computational complexity than traditional bidirectional prediction for fine motion vector information correction.
  • Non-Patent Document 1 JCTVC-C204 (E. Alshina, et al., Bi-directional optical flow, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO / IEC JTC 1 / SC 29 / WG 11, 3rd Meeting: Guangzhou, CN, 7-15 October, 2010)
  • Non-Patent Document 2 VCEG-AZ05 (E. Alshina, et al., Known tools performance investigation for next generation video coding, ITU-T SG 16 Question 6, Video Coding Experts Group (VCEG), 52nd Meeting: 19-26 June 2015, Warsaw, Tru)
  • the present invention aims to reduce the complexity and / or cost of a bi-directional optical flow (BIO).
  • BIO bi-directional optical flow
  • a first motion vector pointing to the first corresponding area most similar to the current block in the first reference picture is determined, and a second pointing to the second corresponding area most similar to the current block in the second reference picture.
  • Determining a motion vector Generating a prediction block for the current block by applying a BIO process in a sub-block unit; And a method of encoding or decoding image data including reconstructing the current block by using the generated prediction block.
  • the generating of the prediction block may include: determining a BIO motion vector for each subblock constituting the current block; And generating a prediction value of pixels constituting the corresponding subblock based on the determined BIO motion vector.
  • an apparatus for decoding image data including a memory and one or more processors, the one or more processors, the first motion vector pointing to a first corresponding region most similar to the current block in a first reference picture Determining a second motion vector indicating a second corresponding region most similar to the current block in the second reference picture; Generating a prediction block for the current block by applying a BIO process in a sub-block unit; And reconstruct the pixels of the current block by using the generated prediction block.
  • the generating of the prediction block may include: determining a BIO motion vector for each subblock constituting the current block; And generating a predicted value of the pixels constituting the given subblock based on the determined BIO motion vector.
  • the BIO motion vector v x , v y is determined to be a vector such that the sum of squares of the flow differences for each pixel located in the search region defined by a predetermined masking window centered on each pixel in the subblock is minimized. Can be.
  • the BIO motion vector v x , v y is the square of the flow differences for all pixels located in the search region defined by a given masking window centered on some pixels in the subblock. It can be determined as a vector such that the sum is minimized.
  • the positions of the pixels to which the masking window is applied and the pixels to which the masking window is not applied may form a check pattern, a horizontal stripes pattern, or a vertical stripes pattern.
  • a duplicate difference value may be weighted according to the number of overlaps of the difference value.
  • flow differences for pixels located in an area outside the current block may not be considered.
  • a masking window may not be used.
  • the BIO motion vector v x , v y may be determined as a vector such that the sum of squares of the flow differences for each pixel in the subblock is minimized.
  • a first motion vector pointing to a first corresponding area most similar to the current block in the first reference picture is determined, and a second pointing area pointing to the second corresponding area most similar to the current block in the second reference picture is determined.
  • Determining a motion vector ; Generating a prediction block for the current block by applying a BIO process on a pixel basis; And reconstructing pixels of the current block by using the generated prediction block.
  • the generating of the prediction block may include determining a BIO motion vector for each pixel constituting the current block, wherein the BIO motion vector is positioned within a plus or diamond masking window centered on the pixel. Determined by a vector such that the sum of squares of flow differences obtained for all masking pixels is minimized; And generating a predicted value of the corresponding pixel based on the determined BIO motion vector.
  • an image decoding apparatus including a memory and one or more processors, wherein the one or more processors determine a first motion vector indicating a first corresponding region that is most similar to a current block in a first reference picture. Determining a second motion vector indicating a second corresponding region most similar to the current block in the second reference picture; Generating a prediction block for the current block by applying a BIO process on a pixel basis; And an image decoding apparatus configured to perform a process of reconstructing pixels of the current block by using the generated prediction block.
  • the generating of the prediction block may include determining a BIO motion vector for each pixel constituting the current block, wherein the BIO motion vector is positioned within a plus or diamond masking window centered on the pixel. Determined by a vector such that the sum of squares of flow differences obtained for all masking pixels is minimized; And generating a predicted value of the corresponding pixel based on the determined BIO motion vector.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus that may implement techniques of this disclosure.
  • 2 is an exemplary diagram of neighboring blocks of a current block.
  • FIG 3 is an exemplary block diagram of an image decoding apparatus that may implement techniques of the present disclosure.
  • BIO is a reference diagram for explaining a basic concept of BIO.
  • 5A is a flowchart illustrating a bidirectional motion compensation method performed on a pixel level BIO basis according to an embodiment of the present invention.
  • 5B is a flowchart illustrating a bidirectional motion compensation method performed based on BIO at a subblock level according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a 5 ⁇ 5 masking window used for BIO-based motion compensation and a 1 ⁇ 1 block of a current block according to the first embodiment.
  • FIG. 7 is a diagram illustrating non-rectangular masking windows that may be used to determine a pixel level BIO motion vector according to a second embodiment.
  • FIG. 8 is a diagram illustrating a diamond-shaped masking window and 1 ⁇ 1 block of a current block used for determining a BIO motion vector at a pixel level according to the second embodiment.
  • FIG. 9 is a diagram illustrating a 5x5 masking window and a 4x4 subblock used for determining a BIO motion vector at a subblock level according to the third embodiment.
  • FIG. 10A is a diagram for explaining that difference values used for determining a BIO motion vector at a sub-block level are overlapped.
  • FIG. 10B is a diagram exemplarily showing weights of respective pixel positions of difference values used to determine a BIO motion vector at a sub-block level.
  • FIG. 11 is a diagram illustrating a diamond-shaped masking window and a 4x4 subblock used for determining a BIO motion vector at a subblock level according to the fourth embodiment.
  • FIG. 12 is a diagram illustrating three types of positions of pixels to which a masking window in a sub-block is applied according to the fifth embodiment.
  • FIG. 13 is a diagram illustrating a 5 ⁇ 5 masking window used for determining a BIO motion vector at a subblock level and a 4 ⁇ 4 subblock in which pixels to which a masking window is applied are sampled in a check pattern.
  • FIG. 14 is a diagram illustrating a diamond type masking window and prediction pixels in a 4 ⁇ 4 subblock used for BIO-based motion compensation according to the sixth embodiment.
  • 15 is a diagram illustrating an example of weighting for each pixel of a subblock according to the seventh embodiment.
  • FIG. 16A illustrates subblocks located at an edge of a current block in a 16x16 current block including 16 4x4 subblocks.
  • FIG. 16B is a diagram exemplarily showing weights of pixel positions of difference values used to determine a BIO motion vector for a 4 ⁇ 4 subblock located at a top left corner of a 16 ⁇ 16 current block.
  • BIO can be applied during motion compensation.
  • the BIO is used to calculate a motion vector for each pixel in the current block through an optical flow, and to update a prediction value located at the pixel based on the calculated motion vector value for each pixel.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus that may implement techniques of this disclosure.
  • the image encoding apparatus may include a block divider 110, a predictor 120, a subtractor 130, a transformer 140, a quantizer 145, an encoder 150, an inverse quantizer 160, and an inverse transform unit ( 165, an adder 170, a filter unit 180, and a memory 190.
  • each component may be implemented as a hardware chip, or may be implemented in software and implemented so that the microprocessor executes a function of software corresponding to each component.
  • the block dividing unit 110 After dividing each picture constituting an image into a plurality of coding tree units (CTUs), the block dividing unit 110 recursively divides the CTUs using a tree structure.
  • a leaf node in the tree structure becomes a CU (coding unit) which is a basic unit of coding.
  • the tree structure is a quadtree (QT) in which a parent node (or parent node) is divided into four child nodes (or child nodes) of the same size, or such a QT structure and a parent node are divided into two child nodes.
  • QTBT QuadTree plus BinaryTree
  • the CTU may be first divided into a QT structure.
  • Quadtree splitting may be repeated until the size of the splitting block reaches the minimum block size (MinQTSize) of the leaf nodes allowed in QT. If the leaf node of the quadtree is not larger than the maximum block size (MaxBTSize) of the root node allowed in BT, it may be further partitioned into the BT structure.
  • MaxBTSize maximum block size of the root node allowed in BT
  • BT there may be a plurality of partition types. For example, in some examples, there may be two types of horizontally dividing a block of a node into two blocks of the same size (ie, symmetric horizontal splitting) and vertically dividing (ie, symmetric vertical splitting).
  • the asymmetrical form may include dividing a block of the node into two rectangular blocks having a size ratio of 1: 3, or dividing the block of the node in a diagonal direction.
  • the partition information generated by the block divider 110 by dividing the CTU by the QTBT structure is encoded by the encoder 150 and transmitted to the image decoding apparatus.
  • a block corresponding to a CU that is, a leaf node of QTBT
  • a 'current block' a block corresponding to a CU (that is, a leaf node of QTBT) to be encoded or decoded
  • the prediction unit 120 generates a prediction block by predicting the current block.
  • the predictor 120 includes an intra predictor 122 and an inter predictor 124.
  • current blocks within a picture may each be predictively coded. Prediction of the current block can be accomplished using an intra prediction technique (using data from a picture containing the current block) or an inter prediction technique (using data from a picture previously coded for a picture containing the current block). In general it may be carried out. Inter prediction includes both unidirectional prediction and bidirectional prediction.
  • the set of motion information may include motion information for the forward and backward prediction directions.
  • the forward and backward prediction directions are two prediction directions in a bi-directional prediction mode, and the terms "forward” and “reverse direction” do not necessarily have a geometric meaning. Instead, they generally correspond to whether the reference picture is to be displayed before (“reverse") or after ("forward") the current picture.
  • the "forward" and "reverse” prediction directions may correspond to reference picture list 0 (RefPicList0) and reference picture list 1 (RefPicList1) of the current picture.
  • the motion information For each prediction direction, the motion information includes a reference index and a motion vector.
  • the reference index can be used to identify the reference picture in the current reference picture list (RefPicList0 or RefPicList1).
  • the motion vector has horizontal (x) and vertical (y) components.
  • the horizontal component represents the horizontal displacement in the reference picture relative to the position of the current block in the current picture, which is necessary to position the x coordinate of the reference block.
  • the vertical component represents the vertical displacement in the reference picture relative to the position of the current block, which is necessary to position the y coordinate of the reference block.
  • the inter prediction unit 124 searches for the block most similar to the current block in the coded and decoded reference picture before the current picture, and generates a prediction block for the current block using the searched block.
  • a motion vector corresponding to a displacement between the current block in the current picture and the prediction block in the reference picture is generated.
  • motion estimation is performed on a luma component, and a motion vector calculated based on the luma component is used for both the luma component and the chroma component.
  • the motion information including the information about the reference picture and the motion vector used to predict the current block is encoded by the encoder 150 and transmitted to the image decoding apparatus.
  • Examples of the present disclosure generally relate to a bi-directional optical flow (BIO) technique.
  • certain techniques of the present disclosure may be performed by the inter predictor 124. That is, for example, the inter prediction unit 124 may perform the techniques of this disclosure described with respect to FIGS. 4 through 13 below.
  • the inter prediction unit 124 may generate the prediction block for the current block by using the motion compensation according to the BIO technique in units of image pixels or sub-blocks. .
  • one or more other units of the encoding apparatus may additionally be involved in performing the techniques of this disclosure.
  • a search process for acquiring motion information and signaling for transmitting motion information are not required.
  • the motion information of the current block can be transmitted to the decoding apparatus by encoding information for identifying the neighboring block. This method is called 'merge mode'.
  • the inter prediction unit 124 selects a predetermined number of merge candidate blocks (hereinafter, referred to as 'merge candidates') from neighboring blocks of the current block.
  • All or part of the upper left block AL may be used.
  • a block located within a reference picture (which may be the same as or different from the reference picture used to predict the current block) other than the current picture in which the current block is located may be used as the merge candidate.
  • a co-located block or a block adjacent to a block in the same position as the current block in the reference picture may be further used as a merge candidate.
  • the inter prediction unit 124 constructs a merge list including a predetermined number of merge candidates using these neighboring blocks.
  • the merge candidate to be used as the motion information of the current block is selected from the merge candidates included in the merge list, and merge index information for identifying the selected candidate is generated.
  • the generated merge index information is encoded by the encoder 150 and transmitted to the decoding apparatus.
  • Another way to encode motion information is to encode differential motion vectors.
  • the inter prediction unit 124 derives the predicted motion vector candidates for the motion vector of the current block by using the neighboring blocks of the current block.
  • a neighboring block used to derive the predictive motion vector candidates a left block L, an upper block A, a right upper block AR, and a lower left block adjacent to the current block in the current picture shown in FIG. BL
  • all or part of the upper left block AL may be used.
  • a block located within a reference picture (which may be the same as or different from the reference picture used to predict the current block) that is not the current picture in which the current block is located may be used as a neighboring block used to derive predictive motion vector candidates. It may be.
  • a co-located block or a block adjacent to a block at the same position as the current block in the reference picture may be used.
  • the inter prediction unit 124 derives the predictive motion vector candidates using the motion vectors of the neighboring blocks, and determines the predictive motion vector for the motion vector of the current block using the predictive motion vector candidates.
  • the difference motion vector is calculated by subtracting the predicted motion vector from the motion vector of the current block.
  • the predicted motion vector may be obtained by applying a predefined function (eg, median value, average value calculation, etc.) to the predicted motion vector candidates.
  • a predefined function eg, median value, average value calculation, etc.
  • the image decoding apparatus also knows a predefined function.
  • the image decoding apparatus and the motion vector of the neighboring block are already known. Therefore, the image encoding apparatus does not need to encode information for identifying the predictive motion vector candidate. Therefore, in this case, the information on the differential motion vector and the reference picture used to predict the current block are encoded.
  • the predicted motion vector may be determined by selecting any one of the predicted motion vector candidates.
  • the information for identifying the selected predicted motion vector candidate is further encoded along with the information about the differential motion vector and the reference picture used for predicting the current block.
  • the intra predictor 122 predicts pixels in the current block by using pixels (reference pixels) positioned around the current block in the current picture including the current block. There are a plurality of intra prediction modes according to the prediction direction, and the peripheral pixels to be used and the equations are defined differently according to each prediction mode. In particular, the intra predictor 122 may determine an intra prediction mode to be used to encode the current block. In some examples, intra prediction unit 122 may encode the current block using several intra prediction modes and select an appropriate intra prediction mode to use from the tested modes. For example, intra predictor 122 calculates rate distortion values using rate-distortion analysis for several tested intra prediction modes, and has the best rate distortion characteristics among the tested modes. Intra prediction mode may be selected.
  • the intra predictor 122 selects one intra prediction mode from among the plurality of intra prediction modes, and predicts the current block by using a neighboring pixel (reference pixel) and an operation formula determined according to the selected intra prediction mode.
  • Information about the selected intra prediction mode is encoded by the encoder 150 and transmitted to the image decoding apparatus.
  • the subtractor 130 subtracts the prediction block generated by the intra predictor 122 or the inter predictor 124 from the current block to generate a residual block.
  • the converter 140 converts the residual signal in the residual block having pixel values of the spatial domain into a transform coefficient of the frequency domain.
  • the transform unit 140 may convert the residual signals in the residual block using the size of the current block as a conversion unit, or divide the residual block into a plurality of smaller subblocks and convert the residual signals in a subblock-sized transform unit. You can also convert. There may be various ways of dividing the residual block into smaller subblocks. For example, it may be divided into sub-blocks of a predetermined same size, or a quadtree (QT) scheme may be used in which the residual block is a root node.
  • QT quadtree
  • the quantization unit 145 quantizes the transform coefficients output from the transform unit 140, and outputs the quantized transform coefficients to the encoder 150.
  • the encoder 150 generates a bitstream by encoding the quantized transform coefficients by using an encoding method such as CABAC.
  • the encoder 150 encodes information such as CTU size, MinQTSize, MaxBTSize, MaxBTDepth, MinBTSize, QT split flag, BT split flag, split type, etc. related to block division, so that the image decoding apparatus is the same as the image encoding apparatus. Allows you to split blocks.
  • the encoder 150 encodes information about a prediction type indicating whether the current block is encoded by intra prediction or inter prediction, and encodes intra prediction information or inter prediction information according to the prediction type.
  • a syntax element for the intra prediction mode is encoded as intra prediction information.
  • the encoder 150 encodes a syntax element for inter prediction information.
  • the syntax element for inter prediction information includes the following.
  • Mode information indicating whether motion information of the current block is encoded in a merge mode or a mode of encoding a differential motion vector.
  • the encoding unit 150 uses merge index information indicating the candidate of the merge candidates as a candidate for extracting the motion information of the current block as a syntax element for the motion information.
  • the motion information when the motion information is encoded by the mode for encoding the differential motion vector, the information about the differential motion vector and the information about the reference picture are encoded as syntax elements for the motion information. If the predicted motion vector is determined in such a manner as to select any one of the plurality of predicted motion vector candidates, the syntax element for the motion information further includes predicted motion vector identification information for identifying the selected candidate. Include.
  • the inverse quantizer 160 inversely quantizes the quantized transform coefficients output from the quantizer 145 to generate transform coefficients.
  • the inverse transformer 165 restores the residual block by converting the transform coefficients output from the inverse quantizer 160 from the frequency domain to the spatial domain.
  • the adder 170 reconstructs the current block by adding the reconstructed residual block and the predicted block generated by the predictor 120.
  • the pixels in the reconstructed current block are used as reference pixels when intra prediction of the next order of blocks.
  • the filter unit 180 deblocks and filters the boundary between reconstructed blocks in order to remove blocking artifacts that occur due to encoding / decoding of blocks. When all the blocks in a picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be encoded later.
  • FIG 3 is an exemplary block diagram of an image decoding apparatus that may implement techniques of this disclosure.
  • the image decoding apparatus includes a decoder 310, an inverse quantizer 320, an inverse transformer 330, a predictor 340, an adder 350, a filter 360, and a memory 370.
  • the image decoding apparatus may be implemented by each component as a hardware chip, or may be implemented by software and a microprocessor to execute a function of software corresponding to each component.
  • the decoder 310 decodes the bitstream received from the image encoding apparatus, extracts information related to block division, determines a current block to be decoded, and predictive information and residual signal information necessary for reconstructing the current block. Extract
  • the decoder 310 extracts information on the CTU size from a Sequence Parameter Set (SPS) or Picture Parameter Set (PPS) to determine the size of the CTU, and divides the picture into a CTU of the determined size.
  • the CTU is determined as the highest layer of the tree structure, that is, the root node, and the CTU is partitioned using the tree structure by extracting partition information about the CTU. For example, when splitting a CTU using a QTBT structure, first, a first flag (QT_split_flag) related to splitting of QT is extracted, and each node is divided into four nodes of a lower layer. For the node corresponding to the leaf node of the QT, the second flag BT_split_flag and the split type information related to the splitting of the BT are extracted to split the corresponding leaf node into the BT structure.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • the decoder 310 determines the current block to be decoded by splitting the tree structure, the decoder 310 extracts information about a prediction type indicating whether the current block is intra predicted or inter predicted.
  • the decoder 310 extracts a syntax element for intra prediction information (intra prediction mode) of the current block.
  • the decoder 310 extracts a syntax element for the inter prediction information.
  • mode information indicating whether the motion information of the current block is encoded by which of a plurality of encoding modes is extracted.
  • the plurality of encoding modes include a merge mode including a skip mode and a differential motion vector encoding mode.
  • the decoder 310 extracts merge index information indicating whether to derive the motion vector of the current block from the candidates of the merge candidates as a syntax element for the motion information.
  • the decoder 310 extracts the information about the differential motion vector and the reference picture to which the motion vector of the current block refers as a syntax element for the motion vector. do.
  • the prediction motion vector identification information is included in the bitstream. Therefore, in this case, not only the information on the differential motion vector and the reference picture but also the predicted motion vector identification information are extracted as syntax elements for the motion vector.
  • the decoder 310 extracts information on quantized transform coefficients of the current block as information on the residual signal.
  • the inverse quantizer 320 inversely quantizes the quantized transform coefficients, and the inverse transformer 330 inversely transforms the inverse quantized transform coefficients from the frequency domain to the spatial domain to generate a residual block for the current block.
  • the predictor 340 includes an intra predictor 342 and an inter predictor 344.
  • the intra predictor 342 is activated when the intra prediction is the prediction type of the current block
  • the inter predictor 344 is activated when the intra prediction is the prediction type of the current block.
  • the intra predictor 342 determines the intra prediction mode of the current block among the plurality of intra prediction modes from the syntax element for the intra prediction mode extracted from the decoder 310, and references pixels around the current block according to the intra prediction mode. Predict the current block using
  • the inter predictor 344 determines motion information of the current block by using a syntax element for the intra prediction mode extracted from the decoder 310, and predicts the current block by using the determined motion information.
  • the inter prediction unit 344 checks mode information in inter prediction extracted from the decoder 310.
  • the inter prediction unit 344 constructs a merge list including a predetermined number of merge candidates using neighboring blocks of the current block.
  • the inter prediction unit 344 configures the merge list in the same way as the inter prediction unit 124 of the image encoding apparatus.
  • one merge candidate is selected from the merge candidates in the merge list using the merge index information transmitted from the decoder 310.
  • the motion information of the selected merge candidate that is, the motion vector and the reference picture of the merge candidate are set as the motion vector and the reference picture of the current block.
  • the inter prediction unit 344 derives the predictive motion vector candidates using the motion vectors of the neighboring blocks of the current block, and uses the predictive motion vector candidates for the current block. Determine the predicted motion vector for the motion vector of.
  • the inter prediction unit 344 derives the prediction motion vector candidates in the same manner as the inter prediction unit 124 of the image encoding apparatus. If the image encoding apparatus uses any one of a plurality of prediction motion vector candidates as the prediction motion vector of the current block, the syntax element for the motion information includes the prediction motion vector identification information. Therefore, in this case, the inter prediction unit 344 may select a candidate indicated by the prediction motion vector identification information among the prediction motion vector candidates as the prediction motion vector.
  • the inter prediction unit may determine the prediction motion vector by applying the same function as the image encoding apparatus.
  • the inter predictor 344 adds the predicted motion vector and the differential motion vector transmitted from the decoder 310 to determine the motion vector of the current block.
  • the reference picture referred to by the motion vector of the current block is determined using the information about the reference picture transferred from the decoder 310.
  • the inter prediction unit 342 When the motion vector and the reference picture of the current block are determined in the merge mode or the differential motion vector encoding mode, the inter prediction unit 342 generates the prediction block of the current block using the block indicated by the motion vector in the reference picture. do.
  • Examples of the present disclosure generally relate to a bi-directional optical flow (BIO) technique.
  • BIO bi-directional optical flow
  • certain techniques of the present disclosure may be performed by the inter prediction unit 344. That is, for example, the inter prediction unit 344 may perform the techniques of this disclosure described with respect to FIGS. 4 through 13 below.
  • the inter prediction unit 344 may generate the prediction block for the current block by using motion compensation according to the BIO technique in units of image pixels or sub-blocks. .
  • one or more other units of the decryption apparatus may additionally be involved in performing the techniques of this disclosure.
  • the adder 350 reconstructs the current block by adding the residual block output from the inverse transformer and the prediction block output from the inter predictor or the intra predictor.
  • the pixels in the reconstructed current block are utilized as reference pixels in intra prediction of the block to be subsequently decoded.
  • the filter unit 360 deblocks and filters the boundary between the reconstructed blocks in order to remove blocking artifacts caused by block-by-block decoding, and stores them in the memory 370.
  • the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be decoded later.
  • the present disclosure relates to using a bi-directional optical flow (BIO) estimation technique for the correction of motion vector information obtained through inter prediction.
  • the encoding apparatus performs motion estimation and compensation in units of coding units (CUs) in the inter prediction process, and then transmits the resulting motion vector (MV) value to the decoding apparatus, and the encoding apparatus and the decoding apparatus.
  • Based on the MV value of the CU unit can further correct the MV value by the pixel unit or sub-block (ie, sub-CU) unit smaller than the CU using the BIO. That is, the BIO may precisely compensate for the movement of the coding block CU based on the size of each block from the n ⁇ n block to the 1 ⁇ 1 block (that is, the pixel).
  • a search process for acquiring motion information and signaling for transmitting motion information are not required.
  • BIO is a reference diagram for explaining a basic concept of BIO.
  • the BIO used for image encoding and decoding is based on the assumption that the motion vector information should be bi-prediction information, and the motion is a steady motion that moves sequentially along the time axis.
  • 4 shows a current picture B-picture referencing two reference pictures Ref 0 and Ref 1 .
  • a bidirectional motion vector pointing to corresponding regions (ie, reference blocks) most similar to the current block encoded in the current picture in the reference pictures Ref 0 and Ref 1 by (normal) bidirectional motion prediction for the current block Suppose that MV 0 , MV 1 have been determined.
  • the two bidirectional motion vectors are values representing the motion of the current block. That is, the current block is set in one unit, and the motion of the unit is estimated and compensated as a whole.
  • the pixel in the reference picture Ref 0 indicated by the bidirectional motion vector MV 0 as corresponding to the pixel P in the current block is P 0
  • the bidirectional motion vector ( The pixel in the reference picture Ref 1 indicated by MV 1 ) is P 1 .
  • the motion for the pixel P in FIG. 4 is slightly different from the overall motion of the current block. For example, if an object located at pixel A in Ref 0 of FIG. 4 has moved past pixel P in the current block of the current picture to pixel B in Ref1, pixel A and pixel B have fairly similar values.
  • the point in Ref0 that is most similar to the pixel P in the current block is not P0 indicated by the bidirectional motion vector MV0, but A that moves P0 by a predetermined displacement vector v x ⁇ 0 , v y ⁇ 0 .
  • the point in Ref1 that is most similar to the pixel P in the current block is not P1 indicated by the bidirectional motion vector MV1, but B that moves P1 by a predetermined displacement vector ( -v x ⁇ 1 , -v y ⁇ 1 ).
  • ( v x , v y ) is referred to as a “BIO motion vector”.
  • the reference pixels P0 and P1 indicated by the bidirectional motion vectors MV0 and MV1 are determined. More accurate predictions are possible than using them.
  • the concept of changing the reference pixel used to predict one pixel of the current block in consideration of the pixel-by-pixel motion in the current block specified by the BIO motion vector ( v x , v y ) is a subblock in the current block.
  • BIO-based bidirectional motion compensation is performed in units of pixels.
  • the decoding apparatus may determine the bidirectional motion vectors MV 0 and MV 1 from the motion vector information included in the bitstream.
  • the luminance value of the pixel in the reference picture Ref 0 indicated by the motion vectors MV 0 corresponding to the pixel ( i, j ) in the current block is denoted by I (0) ( i, j ).
  • the brightness value of the pixel in the reference picture Ref 1 indicated by the motion vectors MV 1 as corresponding to the pixel ( i, j ) in the current block is defined as I (1) ( i, j ).
  • the brightness value of pixel A in reference picture Ref 0 which indicates that the BIO motion vector ( v x , v y ) corresponds to the pixel in the current block
  • the brightness value of pixel B in the reference picture Ref 1 is It can be defined as. Therefore, the flow difference ⁇ between the pixel A and the pixel B is generally defined as in Equation 1 below.
  • luminance and ( v x , v y ) are the BIO motion vectors to obtain.
  • the position ( i , j ) of the pixels in the reference pictures Ref 0 and Ref 1 is omitted in each term of Equation 1 above.
  • Wow Are the horizontal and vertical components of the I (k) gradient, respectively.
  • ⁇ 0 and ⁇ 1 represent the temporal distance between the current picture and two reference pictures Ref 0 and Ref 1 .
  • POC (current), POC (Ref 0 ), and POC (Ref 1 ) refer to POCs of the current picture, reference picture Ref 0 , and reference picture Ref 1 , respectively.
  • the pixel constant region ⁇ centered on the pixel (i, j) of BIO motion vectors to the current prediction for the (i, j) to the current prediction Consider the difference values ⁇ in Equation 1 for all the pixels ( i ′, j ′) present. That is, the BIO motion vector for the current pixel ( i , j ) is the minimum sum of squares of the difference values ⁇ [ i ' , j '] obtained for each pixel in a certain area ⁇ , as shown in Equation 2 below. Can be determined as a vector.
  • ( i ', j ') means all pixels located in the search region ⁇ . Therefore, as shown in Equation 2, the BIO motion vector ( v x , v y ) of the current pixel can be determined by calculating an explicit equation that minimizes the objective function (sum of ⁇ 2 ) at the current pixel position. There is no need for a discovery process for acquiring the motion information and signaling for transmitting the motion information.
  • the search region ⁇ may be defined as a masking window having a size of (2M + 1) ⁇ (2N + 1) centered on the current pixel ( i , j ).
  • the structure and size of the masking window greatly affects the complexity and precision of the algorithm for determining the BIO motion vectors ( v x , v y ). Therefore, the selection of the masking window is very important for the algorithm to determine the BIO motion vector ( v x , v y ).
  • the bidirectional prediction value pred BIO based on the BIO motion vector for the current pixel ( i , j ) may be calculated by Equation 3.
  • FIGS. 5A and 5B a bidirectional motion compensation method based on BIO will be described with reference to FIGS. 5A and 5B.
  • the following method is common to the video encoding apparatus and the video decoding apparatus.
  • the encoding apparatus encodes, decodes, and stores pictures for use as reference pictures, and stores the same in a memory.
  • the decoding apparatus decodes pictures for use as reference pictures and stores them in a memory.
  • 5A is a flowchart illustrating a bidirectional motion compensation method performed on a pixel level BIO basis according to an embodiment of the present invention.
  • the encoding apparatus and the decoding apparatus determine a first motion vector pointing to a first corresponding region most similar to the current block in the first reference picture, and a second pointing region to a second corresponding region most similar to the current block in the second reference picture.
  • the motion vector is determined (S510).
  • the encoding apparatus and the decoding apparatus apply a BIO process on a pixel-by-pixel basis to determine a BIO motion vector ( v x , v y ) corresponding to each pixel in the current block (S520).
  • the BIO motion vector ( v x , v y ) is the flow difference expressed by Equation 1 for each pixel located in the search region defined by a given masking window centered on the corresponding pixel. It can be determined as a vector such that the sum of squares is minimized.
  • BIO motion vector for a pixel located at the edge of the current block, flow differences for pixels located in an area outside the current block may not be considered.
  • a rectangular masking window with size (2M + 1) ⁇ (2N + 1) may be used.
  • a 5 ⁇ 5 size, square shaped masking window can be used.
  • a non-square masking window may be used, such as a plus shape or diamond shape.
  • the encoding apparatus and the decoding apparatus generate a prediction block for the current block using bidirectional prediction based on the BIO motion vectors v x and v y calculated in units of pixels (S530). That is, the encoding apparatus and the decoding apparatus generate the bidirectional predictive values of the corresponding pixels based on Equation 3 using the respective BIO motion vectors.
  • the encoding apparatus and the decoding apparatus encode or decode pixels of the current block by using the generated prediction block (S540).
  • 5B is a flowchart illustrating a bidirectional motion compensation method performed based on BIO at a subblock level according to an embodiment of the present invention.
  • the encoding apparatus and the decoding apparatus determine a first motion vector pointing to a first corresponding region most similar to the current block in the first reference picture, and a second pointing region to a second corresponding region most similar to the current block in the second reference picture.
  • the motion vector is determined (S560).
  • the encoding apparatus and the decoding apparatus apply a BIO process to each subblock unit in the current block, and determine a BIO motion vector ( v x , v y ) corresponding to each sub block (S570).
  • the BIO motion vector v x , v y is determined to be a vector such that the sum of squares of the flow differences for each pixel located in the search region defined by a predetermined masking window centered on each pixel in the subblock is minimized. Can be.
  • the BIO motion vector v x , v y is the square of the flow differences for all pixels located in the search region defined by a given masking window centered on some pixels in the subblock. It can be determined as a vector such that the sum is minimized.
  • the positions of the pixels to which the masking window is applied and the pixels to which the masking window is not applied may form a check pattern, a horizontal stripes pattern, or a vertical stripes pattern.
  • a duplicate difference value may be weighted according to the number of overlaps of the difference value.
  • flow differences for pixels located in an area outside the current block may not be considered.
  • a rectangular masking window with size (2M + 1) ⁇ (2N + 1) may be used.
  • the masking window may be square shaped (eg, 5 ⁇ 5 in size).
  • non-square masking windows may be used, such as, for example, plus and diamond shapes.
  • a masking window may not be used.
  • the BIO motion vector v x , v y may be determined as a vector such that the sum of squares of the flow differences for each pixel in the subblock is minimized.
  • the encoding apparatus and the decoding apparatus generate a prediction block for the current block using bidirectional prediction based on the BIO motion vectors v x and v y calculated in units of sub blocks (S580). All pixels in a subblock share a BIO motion vector ( v x , v y ) calculated in subblock units. That is, the BIO-based prediction value for all the pixels in the subblock is calculated by Equation 3 using one BIO motion vector ( v x , v y ) determined for the corresponding sub block.
  • the encoding apparatus and the decoding apparatus encode or decode pixels of the current block by using the generated prediction block (S590).
  • the BIO is applied on a pixel-level basis, and in some embodiments the BIO is applied on a block-level basis.
  • embodiments of the pixel-level BIO process will be described first, and then embodiments of the block-level BIO process will be described.
  • BIO is applied on a pixel-level basis.
  • the pixel-level BIO obtains a BIO motion vector at the pixel-level and generates a bidirectional prediction value at the pixel-level based on the obtained BIO motion vector when generating the prediction block of the current block.
  • a rectangular masking window is used to calculate the BIO motion vector at the pixel level.
  • the total number of difference values ⁇ required for determining the BIO motion vector of the pixel to be predicted will be described with reference to FIG. 6.
  • 6 illustrates a 5 ⁇ 5 masking window 610 and a pixel 621 to be predicted in the current block.
  • One pixel 621 to be predicted in the current block becomes the center of the masking window 810 indicated by hatching in FIG. 6, and the number of pixels located in the masking window 810 includes the pixel 821 to be predicted. That's a total of 25.
  • the number of difference values ⁇ required to determine the BIO motion vectors v x and v y for the pixel 621 to be predicted in the current block is 25.
  • the 25 difference values ⁇ are substituted into Equation 2 to obtain a BIO motion vector ( v x , v y ) for the pixel to be predicted.
  • the bidirectional prediction value for the corresponding pixel of the current block is calculated by Equation 3. This process is repeatedly applied to each pixel in the current block, producing a prediction value of all the pixels constituting the prediction block of the current block.
  • BIO motion vector for a pixel located at the edge of the current block, even if included in the masking window, flow differences for pixels located in an area outside the current block may not be considered.
  • FIG. 7 is a diagram illustrating non-square masking windows used for BIO-based motion compensation according to a second embodiment.
  • This embodiment uses a masking window of various shapes, unlike the first embodiment using a masking window of square shape.
  • two types of masking windows ie, a plus shape and a diamond shape
  • the present invention does not exclude the use of any masking window of various shapes other than a rectangular masking window. .
  • the use of such a masking window reduces the complexity of processing all the pixels in the square-shaped masking window used in the first embodiment.
  • the size of the plus-shaped and diamond-shaped masking windows can be scaled depending on the parameter M value.
  • One pixel 821 to be predicted in the current block becomes the center of the masking window 810 indicated by hatching in FIG. 8B, and the number of pixels in the masking window 810 is the pixel 821 to be predicted. Including 13 total. Therefore, the number of difference values ⁇ required to determine the BIO motion vectors ( v x , v y ) for the pixels 821 to be predicted in the current block is thirteen. Finally, the 13 difference values ⁇ are substituted into Equation 2 to obtain a BIO motion vector ( v x , v y ) for the pixel to be predicted. In this embodiment, these processes are performed for every pixel in the current block, so that a BIO motion vector corresponding to each pixel is calculated.
  • BIO motion vector for a pixel located at the edge of the current block, even if included in the masking window, flow differences for pixels located in an area outside the current block may not be considered.
  • BIO based motion compensation is applied at the block-level.
  • the sub block size may be M ⁇ N (M and N are integers). All pixels in the M ⁇ N subblock share a BIO motion vector ( v x , v y ) calculated in subblock units. That is, bidirectional prediction based on the optical flow for all pixels in the M ⁇ N subblock is calculated by Equation 3 using the calculated BIO motion vector ( v x , v y ).
  • the methods of the present disclosure do not limit the size of the subblock, it is noted that the following embodiments describe the BIO process based on the 4 ⁇ 4 subblock for convenience of description.
  • FIG. 9 shows an example of a 5x5 masking window 910 and a 4x4 subblock 920 according to an example of the scheme proposed in this embodiment.
  • the current pixels i and j 921 in the sub block 920 become the centers of the masking window 910 corresponding to the hatched portions of FIG. 9.
  • the BIO motion vector for the subblock is determined as a vector that minimizes the sum of squares of these difference values.
  • the remaining difference values except 64 distinct difference values are in the form of overlapping 64 difference values.
  • the remaining difference values except 64 distinct difference values are in the form of overlapping 64 difference values.
  • the remaining difference values except 64 distinct difference values are in the form of overlapping 64 difference values.
  • BIO motion vector ( v x , v y ) can be determined such that the sum of squares of the two is minimized.
  • the numbers written in the pixels are weight values according to the number of overlaps.
  • the highlighted 4x4 block represents the position of the sub block.
  • This embodiment uses a masking window of various patterns (as illustrated in FIG. 7), unlike the third embodiment using a rectangular masking window.
  • the use of such masking windows reduces the complexity of processing all the pixels in the rectangular masking window.
  • FIG. 11 a diamond type masking window 1110 and a 4 ⁇ 4 subblock 1120 are illustrated.
  • the 208 difference values are substituted into Equation 2 to obtain a BIO motion vector corresponding to the 4 ⁇ 4 block.
  • a weighted value corresponding to the number of overlaps may be given to a difference value to substitute in Equation 2 to obtain a BIO motion vector for a corresponding 4 ⁇ 4 subblock.
  • a masking window is applied to all pixels in the sub block.
  • the present embodiment applies a masking window to some pixels in the subblock.
  • FIG. 12 illustrates three types of positions of pixels to which a masking window in a sub block is applied.
  • the pixels to which the masking window is applied and the positions of the non-applied pixels form a check pattern (see FIG. 12A), and in the other two types, horizontal stripes are respectively.
  • the pattern forms a vertical stripes pattern (see FIGS. 12B and 12C).
  • the present invention does not exclude the use of any type of sampling and processing only some pixels in a subblock. Through this, in the above-described embodiments, it is possible to reduce the computational complexity required to calculate the difference value of the number corresponding to the masking window for all the pixels in the sub-block.
  • the total number of difference values ⁇ required to determine the BIO motion vector of the sub block will be described with reference to FIG. 13.
  • 13 illustrates pixels in a 4 ⁇ 4 subblock 1320 sampled with a 5 ⁇ 5 square shaped masking window 1310 and a check pattern.
  • the total number of pixels in the 5 ⁇ 5 square-shaped masking window 1310 is 25.
  • the 200 difference values are substituted into Equation 2 to obtain a BIO motion vector corresponding to the 4 ⁇ 4 block.
  • a weighted value corresponding to the number of overlaps may be given to a difference value to substitute in Equation 2 to obtain a BIO motion vector for a corresponding 4 ⁇ 4 subblock.
  • This embodiment is a combined form of the schemes presented in the fourth and fifth embodiments. That is, the present embodiment adopts a masking window of various patterns other than the rectangular shape (similar to the fourth embodiment), and adopts a method of applying the masking window only to some sample pixels in the sub-block (fiveth embodiment). And similar). Therefore, the technique of this embodiment has a lower complexity of calculation than the fourth embodiment and the fifth embodiment.
  • FIG. 14 shows sample pixels applying a diamond type masking window 1410 and a BIO process in a 4x4 subblock 1420, according to an example of the scheme proposed in this embodiment.
  • the 104 difference values are substituted into Equation 2 to obtain a BIO motion vector ( v x , v y ) corresponding to the 4 ⁇ 4 subblock.
  • a weighted value corresponding to the number of overlaps may be given to a difference value to substitute in Equation 2 to obtain a BIO motion vector for a corresponding 4 ⁇ 4 subblock.
  • the difference values ⁇ of the number corresponding to the size of the window mask are calculated for the (all or some) pixels of the subblock, respectively.
  • the present embodiment does not use a masking window. Or you can use a 1 ⁇ 1 masking window. That is, for each pixel in the sub-block, only one difference value ⁇ of Equation 1 is calculated.
  • the number of difference values ⁇ considered to obtain a BIO motion vector for a 4 ⁇ 4 subblock is only 16 in total.
  • only 16 difference values ⁇ are substituted into Equation 2 to obtain a BIO motion vector for a 4 ⁇ 4 subblock. That is, the BIO motion vector is calculated to minimize the sum of squares of the 16 difference values.
  • BIO motion vectors corresponding to the corresponding 4 ⁇ 4 subblocks may be obtained by substituting different weights to the 16 difference values and then substituting Equation (2).
  • a higher weight may be given inside the sub block, and a lower weight may be given to the sub block edge region.
  • 15 shows an example of weighting for each pixel of a subblock.
  • the constraint that does not calculate the difference value ( ⁇ ) for the area out of the current block when determining the BIO motion vector for the sub-blocks located at the edge of the current block, the constraint that does not calculate the difference value ( ⁇ ) for the area out of the current block. For example, suppose that the size of the current block is 16 ⁇ 16 and the BIO motion vector is calculated in units of 4 ⁇ 4 subblocks, as illustrated in FIG. 16A.
  • the difference value ⁇ for the masking pixel located in an area outside the current block is Not taken into account.
  • the masking pixel located in an area outside the current block may vary according to the size of the sub-block, the size and position of the masking window. Therefore, in the present embodiment, the number of difference values ⁇ to be calculated to determine the BIO motion vector of the sub block may vary depending on the position in the current block of the corresponding sub block.
  • the weighting value for each masking pixel is shown in FIG. 16B. That is, the pixels marked as 0 in FIG. 16B are pixels located outside the current block, and difference values thereof are not calculated. According to this method, since the number of difference values to be calculated is smaller than in the third embodiment, the amount of calculation is reduced, and the memory usage can be saved by not referring to pixel values located outside the current block.
  • this method is not limited to the case of using a square masking window, but also applicable to the use of masking windows of various shapes including diamonds and pluses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 부호화 과정 중에서 화면 간 예측 보정을 위한 적응적인 양방향 옵티컬 플로우(bidirectional optical flow; BIO) 추정 방법을 개시한다. 본 발명은 픽셀 레벨 혹은 서브 블록 레벨의 양방향 옵티컬 플로우의 복잡성 및/또는 비용을 감소시키는 데 그 목적이 있다. BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이를 바탕으로 결정된다.

Description

움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
본 발명은 영상 부호화 또는 복호화에 관한 것이다. 보다 상세하게는, 본 발명은 동영상 부호화 과정 중에서 화면 간 예측 보정을 위한 적응적인 양방향 옵티컬 플로우(bidrectional optical flow) 추정 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
비디오 코딩에 관한 한 압축은 공간적 및 시간적 차원에서 데이터 중복성을 활용하여 이루어진다. 공간 중복성 감소는 변환 코딩에 의해 크게 달성된다. 시간적 중복성은 예측 코딩을 통해 감소된다. 움직임 궤적을 따라 시간 상관이 최대화되는 것을 관찰하면, 움직임 보상 예측이 이러한 목적으로 사용된다. 이러한 맥락에서 움직임 추정의 주된 목적은, 장면에서 '실제' 움직임을 찾지 않는 것이 아니라, 압축 효율을 극대화하는 것이다. 즉, 움직임 벡터는 신호의 정확한 예측을 제공해야 한다. 또한, 움직임 정보는 압축된 비트 스트림에서 오버헤드로서 전송되어야 하기 때문에 압축된 표현을 가능하게 해야 한다. 효율적인 움직임 추정은 비디오 코딩에서 높은 압축을 달성하는 데 중요하다.
비디오 시퀀스에서 움직임은 중요한 정보 소스이다. 움직임(motion)은 물체는 물론 카메라 움직임으로 인해서도 발생한다. 옵티컬 플로우(optical flow)로도 알려진 외관상의 움직임은 이미지 시퀀스에서 픽셀 강도(pixel intensity)의 시공간적인 변화(spatio-temporal variations)를 포착한다.
양방향 옵티컬 플로우(Bi-directional Optical Flow; BIO)는 JCTVC-C204 및 VCEG-AZ05 BIO에 개시된 움직임 추정/보상 기술로서, 옵티컬 플로우 및 일정한 움직임(steady　motion)의 가정에 기초하여 샘플 레벨의 모션 조정(motion refinement)을 수행한다. 현재 논의 중인 양방향 옵티컬 플로우 추정 방법의 경우 움직임 벡터 정보의 세밀한 보정이 가능하다는 장점이 있으나 세밀한 움직임 벡터 정보 보정을 위해 전통적인 양방향 예측보다 훨씬 높은 연산 복잡도를 요하는 단점이 있다.
비특허문헌1: JCTVC-C204 (E. Alshina, et al., Bi-directional optical flow, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Guangzhou, CN, 7-15 October, 2010)
비특허문헌2: VCEG-AZ05 (E. Alshina, et al., Known tools performance investigation for next generation video coding, ITU-T SG 16 Question 6, Video Coding Experts Group (VCEG), 52nd Meeting: 19-26 June 2015, Warsaw, Poland)
본 발명은 양방향 옵티컬 플로우(bi-directional optical flow; BIO)의 복잡성 및/또는 비용을 감소시키는 데 그 목적이 있다.
본 발명의 일 측면에 의하면, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록을 재구성하는 과정을 포함하는 영상 데이터를 부호화 혹은 복호화하는 방법을 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및 결정된 BIO 움직임 벡터를 기초로, 해당 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함한다.
본 발명의 다른 측면에 의하면, 메모리 및 하나 이상의 프로세서들을 포함하는 영상 데이터를 복호화하는 장치로서, 상기 하나 이상의 프로세서들은, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성된, 영상 데이터를 복호화하는 장치를 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및 결정된 BIO 움직임 벡터를 기초로, 상기 주어진 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함한다.
BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 각 픽셀에 대한 플로우 차이들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 대안적으로, BIO 움직임 벡터(v x , v y)는 서브 블록 내 일부 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 모든 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 예컨대, 마스킹 윈도우가 적용되는 픽셀들과 적용되지 않는 픽셀들의 위치는 체크(check) 패턴, 가로 줄무늬 (horizontal stripes) 패턴 혹은 세로 줄무늬(vertical stripes) 패턴을 이룰 수 있다.
일부 예시에서, 플로우 차이들을 반복적으로 계산하는 대신에, 중복되는 차이값에 대해서는 그 차이값에 중복되는 횟수에 따른 가중치를 부여할 수 있다. 일부 예시에서, 현재 블록의 가장자리에 위치하는 서브 블록에 대한 BIO 움직임 벡터를 결정함에 있어서, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
일부 예시에서, 마스킹 윈도우가 사용되지 않을 수 있다. 예컨대, BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다.
본 발명의 또 다른 측면에 의하면, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 포함하는 영상 복호화 방법을 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및 결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함한다.
본 발명의 또 다른 측면에 의하면, 메모리 및 하나 이상의 프로세서들을 포함하는 영상 복호화 장치로서, 상기 하나 이상의 프로세서들은, 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정; 픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및 생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성된 영상 복호화 장치를 제공한다. 여기서, 상기 예측 블록을 생성하는 과정은, 상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및 결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 현재 블록의 주변블록에 대한 예시도이다.
도 3은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치에 대한 예시적인 블록도이다.
도 4는 BIO의 기본적인 개념을 설명하기 위한 참조도이다.
도 5a는 본 발명의 일 실시예에 따른 픽셀 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
도 5b는 본 발명의 일 실시예에 따른 서브 블록 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
도 6은 제1 실시예에 따른 BIO 기반의 움직임 보상에 사용되는 5×5 마스킹 윈도우와 현재 블록의 1×1 블록을 예시한 도면이다.
도 7은 제2 실시예에 따른 픽셀 레벨의 BIO 움직임 벡터 결정에 사용될 수 있는 사각형이 아닌 마스킹 윈도우들을 예시한 도면이다.
도 8은 제2 실시예에 따른 픽셀 레벨의 BIO 움직임 벡터 결정에 사용되는 다이아몬드 모양의 마스킹 윈도우와 현재 블록의 1×1 블록을 예시한 도면이다.
도 9는 제3 실시예에 따른 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 5×5 마스킹 윈도우와 4×4 서브 블록을 예시한 도면이다.
도 10a는 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 차이값들이 중복 계산되는 것을 설명하기 위한 도면이다.
도 10b는 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 차이값들의 픽셀 위치별 가중치들을 예시적으로 도시한 도면이다.
도 11은 제4 실시예에 따른 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 다이아몬드 모양의 마스킹 윈도우와 4×4 서브 블록이 예시한 도면이다.
도 12는 제5 실시예에 따른 서브 블록 내 마스킹 윈도우가 적용되는 픽셀의 위치들에 대한 3가지 타입을 예시한 도면이다.
도 13은 제5 실시예에 따른 서브 블록 레벨의 BIO 움직임 벡터 결정에 사용되는 5×5 마스킹 윈도우와 마스킹 윈도우가 적용되는 픽셀들이 체크 패턴으로 샘플링된 4×4 서브 블록을 예시한 도면이다.
도 14는 제6 실시예에 따른 BIO 기반의 움직임 보상에 사용되는 다이아몬드 타입의 마스킹 윈도우와 4×4 서브 블록 내 예측 픽셀들을 예시한 도면이다.
도 15는 제7 실시예에 따른 서브 블록의 각 픽셀에 대한 가중치 부여의 일례를 도시한 도면이다.
도 16a는 16개의 4×4 서브 블록을 포함하는 16×16 현재 블록에서, 현재 블록의 가장자리에 위치한 서브 블록들을 예시한 도면이다.
도 16b는 16×16 현재 블록에서 좌상 모서리에 위치한 4×4 서브 블록에 대한 BIO 움직임 벡터 결정에 사용되는 차이값들의 픽셀 위치별 가중치들을 예시적으로 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시의 기술들은, 일반적으로, 양방향 옵티컬 플로우(bi-directional optical flow; BIO) 기법의 복잡성 및/또는 비용을 감소시키는 것과 관련된다. BIO는 움직임 보상 동안에 적용될 수 있다. 일반적으로, BIO는 현재 블록 내 모든 픽셀 각각에 대한 움직임 벡터를 옵티컬 플로우를 통해 산정하고, 산정된 픽셀 별 움직임 벡터 값을 근거하여 해당 픽셀에 위치한 예측값을 갱신하는 데 사용된다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
영상 부호화 장치는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 부호화부(150), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함한다. 영상 부호화 장치는 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 복수의 CTU(Coding Tree Unit)으로 분할한 이후에, CTU를 트리 구조(tree structure)를 이용하여 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU (coding unit)가 된다. 트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 이러한 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다. 즉, CTU를 다수의 CU로 분할하기 위해 QTBT를 사용할 수 있다.
QTBT (QuadTree plus BinaryTree) 구조에서, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달 할 때까지 반복 될 수 있다. 쿼드트리의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 크지 않은 경우, BT 구조로 더 파티셔닝될 수 있다. BT에서는 복수의 분할 타입이 존재할 수 있다. 예컨대, 일부 예시에서, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. 또한, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태로는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태를 포함할 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태를 포함할 수도 있다.
블록 분할부(110)가 QTBT 구조에 의해 CTU를 분할하여 생성하는 분할 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBT의 리프 노드)에 해당하는 블록을 '현재 블록'이라 칭한다.
예측부(120)는 현재 블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.
일반적으로, 픽처 내 현재 블록들은 각각 예측적으로 코딩될 수 있다. 현재 블록의 예측은 (현재 블록을 포함하는 픽처으로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (현재 블록을 포함하는 픽처에 대해 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 일반적으로 수행될 수 있다. 인터 예측은 단방향 예측과 양방향 예측 모두를 포함한다.
각각의 인터 예측된 블록에 대해, 움직임 정보 세트가 이용 가능할 수 있다. 한 세트의 움직임 정보는 순방향(forward) 및 역방향(backward) 예측 방향에 대한 움직임 정보를 포함할 수 있다. 여기서, 순방향 및 역방향 예측 방향은 양방향(bi-directional) 예측 모드의 2개의 예측 방향이고, 용어 "순방향" 및 "역방향"은 반드시 기하학적 의미를 가질 필요는 없다. 대신에, 이들은 일반적으로 참조 픽처가 현재 픽처 전에("역방향") 또는 후에("순방향")에 표시될지 여부에 대응한다. 일부 예에서, "순방향" 및 "역방향" 예측 방향은 현재 픽처의 참조 픽처 리스트 0(RefPicList0) 및 참조 픽처 리스트 1(RefPicList1)에 대응할 수 있다.
각 예측 방향에 대해, 움직임 정보는 참조 인덱스 및 움직임 벡터를 포함한다. 참조 인덱스는 현재 참조 픽처 리스트 (RefPicList0 또는 RefPicList1) 내의 참조 픽처를 식별하는데 사용될 수 있다. 움직임 벡터는 수평(x) 및 수직(y) 성분을 갖는다. 일반적으로, 수평 성분은 참조 블록의 x 좌표를 위치 시키는데 필요한, 현재 픽처에서의 현재 블록의 위치에 상대적인 참조 픽처 내의 수평 변위(horizontal displacement)를 나타낸다. 수직 성분은 참조 블록의 y 좌표를 위치 시키는데 필요한, 현재 블록의 위치에 상대적인 참조 픽처 내의 수직 변위(vertical displacement)를 나타낸다.
인터 예측부(124)는 현재 픽처보다 먼저 부호화 및 복호화된 참조 픽처 내에서 현재 블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재 블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재 블록과 참조 픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재 블록을 예측하기 위해 사용된 참조 픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
본 개시의 예시들은 일반적으로 양방향 옵티컬 플로우(bi-directional optical flow; BIO) 기법에 관한 것이다. 이와 같이, 본 개시의 소정의 기법들은 인터 예측부(124)에 의해 수행될 수도 있다. 즉, 예를 들어, 인터 예측부(124)는 아래의 도 4 내지 도 13에 대해 기술된 본 개시의 기법들을 수행할 수도 있다. 다시 말해, 인터 예측부(124)는 현재 블록에 대한 양방향 움직임 벡터를 결정한 후에, 영상 픽셀 단위 혹은 서브 블록 단위로 BIO 기법에 따른 움직인 보상을 사용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 다른 예들에서, 부호화 장치의 하나 이상의 다른 유닛들이 추가적으로 본 개시의 기법들을 수행하는 데 관여할 수도 있다. 또한, 움직임 벡터를 계산하는 명시적인 방정식이 있기 때문에 움직임 정보를 획득하기 위한 탐색 과정과 움직임 정보를 전송하기 위한 시그널링을 필요로 하지 않는다.
움직임 정보를 부호화하는 데에 소요되는 비트량을 최소화하기 위해 다양한 방법이 사용될 수 있다.
예컨대, 현재블록의 참조 픽처와 움직임벡터가 주변블록의 참조 픽처 및 움직임벡터와 동일한 경우에는 그 주변블록을 식별할 수 있는 정보를 부호화함으로써, 현재블록의 움직임 정보를 복호화 장치로 전달할 수 있다. 이러한 방법을 '머지 모드 (merge mode)'라 한다.
머지 모드에서, 인터 예측부(124)는 현재블록의 주변블록들로부터 기 결정된 개수의 머지 후보블록(이하, '머지 후보'라 함)들을 선택한다.
머지 후보를 유도하기 위한 주변블록으로는, 도 2에 도시된 바와 같이, 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조 픽처(현재블록을 예측하기 위해 사용된 참조 픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 머지 후보로서 사용될 수도 있다. 예컨대, 참조 픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 머지 후보로서 추가로 더 사용될 수 있다.
인터 예측부(124)는 이러한 주변블록들을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 머지 리스트에 포함된 머지 후보들 중에서 현재블록의 움직임정보로서 사용할 머지 후보를 선택하고 선택된 후보를 식별하기 위한 머지 인덱스 정보를 생성한다. 생성된 머지 인덱스 정보는 부호화부(150)에 의해 부호화되어 복호화 장치로 전달된다.
움직임 정보를 부호화하는 또 다른 방법은 차분 움직임벡터를 부호화하는 것이다.
이 방법에서, 인터 예측부(124)는 현재블록의 주변블록들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터 후보들을 유도한다. 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로는, 도 5에 도시된 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조 픽처(현재블록을 예측하기 위해 사용된 참조 픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로서 사용될 수도 있다. 예컨대, 참조 픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 사용될 수 있다.
인터 예측부(124)는 이 주변블록들의 움직임벡터를 이용하여 예측 움직임벡터 후보들을 유도하고, 예측 움직임벡터 후보들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터를 결정한다. 그리고, 현재블록의 움직임벡터로부터 예측 움직임벡터를 감산하여 차분 움직임벡터를 산출한다.
예측 움직임벡터는 예측 움직임벡터 후보들에 기 정의된 함수(예컨대, 중앙값, 평균값 연산 등)를 적용하여 구할 수 있다. 이 경우, 영상 복호화 장치도 기 정의된 함수를 알고 있다. 또한, 예측 움직임벡터 후보를 유도하기 위해 사용하는 주변블록은 이미 부호화 및 복호화가 완료된 블록이므로 영상 복호화 장치도 그 주변블록의 움직임벡터도 이미 알고 있다. 그러므로 영상 부호화 장치는 예측 움직임벡터 후보를 식별하기 위한 정보를 부호화할 필요가 없다. 따라서, 이 경우에는 차분 움직임벡터에 대한 정보와 현재블록을 예측하기 위해 사용한 참조 픽처에 대한 정보가 부호화된다.
한편, 예측 움직임벡터는 예측 움직임벡터 후보들 중 어느 하나를 선택하는 방식으로 결정될 수도 있다. 이 경우에는 차분 움직임벡터에 대한 정보 및 현재블록을 예측하기 위해 사용한 참조 픽처에 대한 정보와 함께, 선택된 예측 움직임벡터 후보를 식별하기 위한 정보가 추가로 부호화된다.
인트라 예측부(122)는 현재 블록이 포함된 현재 픽처 내에서 현재 블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재 블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다. 특히, 인트라 예측부(122)는 현재 블록을 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측 모드들을 사용하여 현재 블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.
인트라 예측부(122)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재 블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.
감산기(130)는 현재 블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.
변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(140)는 잔차 블록 내의 잔차 신호들을 현재 블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(150)로 출력한다.
부호화부(150)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 또한, 부호화부(150)는 블록 분할과 관련된 CTU size, MinQTSize, MaxBTSize, MaxBTDepth, MinBTSize, QT 분할 플래그, BT 분할 플래그, 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.
부호화부(150)는 현재 블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다.
현재블록이 인트라 예측된 경우에는 인트라 예측정보로서 인트라 예측 모드에 대한 신택스 요소(syntax element)를 부호화한다. 현재블록이 인터 예측된 경우, 부호화부(150)는 인터 예측정보에 대한 신택스 요소를 부호화한다. 인터 예측정보에 대한 신택스 요소는 다음을 포함한다.
(1) 현재블록의 움직임정보가 머지 모드로 부호화되는지 아니면 차분 움직임벡터를 부호화하는 모드로 부호화되는지 여부를 지시하는 모드 정보
(2) 움직임정보에 대한 신택스 요소
움직임정보가 머지 모드에 의해 부호화되는 경우, 부호화부(150)는 머지 후보들 중 어느 후보가 현재블록의 움직임정보를 추출하기 위한 후보로서 선택되는지를 지시하는 머지 인덱스 정보를 움직임정보에 대한 신택스 요소로 부호화한다.
반면, 움직임정보가 차분 움직임벡터를 부호화하는 모드에 의해 부호화되는 경우, 차분 움직임벡터에 대한 정보 및 참조 픽처에 대한 정보를 움직임정보에 대한 신택스 요소로 부호화한다. 만약, 예측 움직임벡터가 복수의 예측 움직임벡터 후보들 중 어느 하나의 후보를 선택하는 방식으로 결정되는 경우에는, 움직임정보에 대한 신택스 요소는 그 선택된 후보를 식별하기 위한 예측 움직임벡터 식별 정보를 추가로 더 포함한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(190)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하에서는 영상 복호화 장치에 대해 설명한다.
도 3은 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
영상 복호화 장치는 복호화부(310), 역양자화부(320), 역변환부(330), 예측부(340), 가산기(350), 필터부(360) 및 메모리(370)를 포함한다. 도 2의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치는 각 구성요소가 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(310)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출하여 복호화하고자 하는 현재 블록을 결정하고, 현재 블록을 복원하기 위해 필요한 예측 정보와 잔차신호에 대한 정보 등을 추출한다.
복호화부(310)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다. 예컨대, QTBT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT의 분할과 관련된 제2 플래그(BT_split_flag) 및 분할 타입 정보를 추출하여 해당 리프 노드를 BT 구조로 분할한다.
한편, 복호화부(310)는 트리 구조의 분할을 통해 복호화하고자 하는 현재 블록을 결정하게 되면, 현재 블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다.
예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(310)는 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출한다.
예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(310)는 인터 예측정보에 대한 신택스 요소를 추출한다. 먼저, 현재블록의 움직임정보가 복수의 부호화 모드 중 어느 모드에 의해 부호화되었는지 여부를 지시하는 모드 정보를 추출한다. 여기서, 복수의 부호화 모드는 스킵모드를 포함한 머지 모드 및 차분 움직임벡터 부호화 모드를 포함한다. 모드 정보가 머지 모드를 지시하는 경우, 복호화부(310)는 머지 후보들 중 어느 후보로부터 현재블록의 움직임벡터를 유도할지 여부를 지시하는 머지 인덱스 정보를 움직임정보에 대한 신택스 요소로서 추출한다. 반면, 모드 정보가 차분 움직임벡터 부호화 모드를 지시하는 경우, 복호화부(310)는 차분 움직임벡터에 대한 정보 및 현재블록의 움직임벡터가 참조하는 참조 픽처에 대한 정보를 움직임벡터에 대한 신택스 요소로서 추출한다. 한편, 영상 부호화 장치가 복수의 예측 움직임벡터 후보들 중에서 어느 하나의 후보를 현재블록의 예측 움직임벡터로 사용한 경우에는 예측 움직임벡터 식별정보가 비트스트림에 포함된다. 따라서 이 경우에는, 차분 움직임벡터에 대한 정보와 참조 픽처에 대한 정보뿐만 아니라 예측 움직임벡터 식별정보도 움직임벡터에 대한 신택스 요소로서 추출한다.
한편, 복호화부(310)는 잔차신호에 대한 정보로서 현재 블록의 양자화된 변환계수들에 대한 정보를 추출한다.
역양자화부(320)는 양자화된 변환계수들을 역양자화하고 역변환부(330)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재 블록에 대한 잔차블록을 생성한다.
예측부(340)는 인트라 예측부(342) 및 인터 예측부(344)를 포함한다. 인트라 예측부(342)는 현재 블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(344)는 현재 블록의 예측 타입인 인트라 예측일 때 활성화된다.
인트라 예측부(342)는 복호화부(310)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재 블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재 블록 주변의 참조 픽셀들을 이용하여 현재 블록을 예측한다.
인터 예측부(344)는 복호화부(310)로부터 추출된 인트라 예측 모드에 대한 신택스 요소를 이용하여 현재 블록의 움직임정보를 결정하고, 결정된 움직임정보를 이용하여 현재 블록을 예측한다.
먼저, 인터 예측부(344)는 복호화부(310)로부터 추출된 인터 예측에서의 모드 정보를 확인한다. 모드 정보가 머지 모드를 지시하는 경우, 인터 예측부(344)는 현재블록의 주변블록을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 인터 예측부(344)가 머지 리스트를 구성하는 방법은 영상 부호화 장치의 인터 예측부(124)와 동일하다. 그리고, 복호화부(310)으로부터 전달된 머지 인덱스 정보를 이용하여 머지 리스트 내의 머지 후보들 중에서 하나의 머지 후보를 선택한다. 그리고 선택된 머지 후보의 움직임정보, 즉, 머지 후보의 움직임벡터와 참조 픽처를 현재블록의 움직임벡터와 참조픽처로 설정한다.
반면, 모드 정보가 차분 움직임벡터 부호화 모드를 지시하는 경우, 인터 예측부(344)는 현재블록의 주변블록들의 움직임벡터를 이용하여 예측 움직임벡터 후보들을 유도하고, 예측 움직임벡터 후보들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터를 결정한다. 인터 예측부(344)가 예측 움직임벡터 후보들을 유도하는 방법은 영상 부호화 장치의 인터 예측부(124)와 동일하다. 만약, 영상 부호화 장치가 복수의 예측 움직임벡터 후보들 중에서 어느 하나의 후보를 현재블록의 예측 움직임벡터로 사용한 경우에는 움직임정보에 대한 신택스 요소는 예측 움직임벡터 식별정보를 포함한다. 따라서, 이 경우에, 인터 예측부(344)는 예측 움직임벡터 후보들 중 예측 움직임벡터 식별정보에 의해 지시되는 후보를 예측 움직임벡터로 선택할 수 있다. 그러나, 영상 부호화 장치가 복수의 예측 움직임벡터 후보들에 기 정의된 함수를 사용하여 예측 움직임벡터를 결정한 경우에는, 인터 예측부는 영상 부호화 장치와 동일한 함수를 적용하여 예측 움직임벡터를 결정할 수도 있다. 현재블록의 예측 움직임벡터가 결정되면, 인터 예측부(344)는 예측 움직임벡터와 복호화부(310)로부터 전달된 차분 움직임벡터를 가산하여 현재블록의 움직임벡터를 결정한다. 그리고 복호화부(310)로부터 전달된 참조픽처에 대한 정보를 이용하여 현재블록의 움직임벡터가 참조하는 참조픽처를 결정한다.
머지 모드 또는 차분 움직임벡터 부호화 모드에서 현재블록의 움직임벡터와 참조픽처가 결정되면, 인터 예측부(342)는 참조픽처 내에서 움직임벡터가 지시하는 위치의 블록을 이용하여 현재블록의 예측블록을 생성한다.
본 개시의 예시들은 일반적으로 양방향 옵티컬 플로우(bi-directional optical flow; BIO) 기법에 관한 것이다. 이와 같이, 본 개시의 소정의 기법들은 인터 예측부(344)에 의해 수행될 수 있다. 즉, 예를 들어, 인터 예측부(344)는 아래의 도 4 내지 도 13에 대해 기술된 본 개시의 기법들을 수행할 수 있다. 다시 말해, 인터 예측부(344)는 현재 블록에 대한 양방향 움직임 벡터들을 결정한 후에, 영상 픽셀 단위 혹은 서브 블록 단위로 BIO 기법에 따른 움직인 보상을 사용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 다른 예들에서, 복호화 장치의 하나 이상의 다른 유닛들이 추가적으로 본 개시의 기법들을 수행하는 데 관여할 수도 있다.
가산기(350)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(360)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(370)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 복호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
본 개시는 화면 간 예측을 통해 얻어진 움직임 벡터 정보의 보정을 위해서 양방향 옵티컬 플로우(bi-directional optical flow, BIO) 추정 기법을 사용하는 것과 관련되어 있다. 부호화 장치는 화면 간 예측 과정에서 코딩 블록(CU: coding unit) 단위의 움직임 추정 및 보상을 수행한 후, 그 결과물인 움직임 벡터(MV) 값을 복호화 장치 측에 전송하게 되고, 부호화 장치 및 복호화 장치는 CU 단위의 MV 값을 기반으로 BIO를 이용하여 픽셀 단위로 혹은 CU 보다 작은 서브 블록(즉, sub-CU) 단위로 MV 값을 추가적으로 보정할 수 있다. 즉, BIO는 n×n 크기의 블록에서부터 1×1 크기의 블록(즉, 픽셀) 단위로 코딩 블록(CU)의 움직임을 각 블록의 크기를 기준으로 정밀하게 움직임을 보상할 수 있다. 또한, 움직임 벡터를 계산하는 명시적인 방정식이 있기 때문에 움직임 정보를 획득하기 위한 탐색 과정과 움직임 정보를 전송하기 위한 시그널링을 필요로 하지 않는다.
도 4는 BIO의 기본적인 개념을 설명하기 위한 참조도이다.
영상 부호화 및 복호화 시 이용하는 BIO는 움직임 벡터 정보가 양방향 (bi-prediction) 정보여야 하고, 움직임은 시간축을 기준으로 순차적으로 이동하는 일정한 움직임(steady motion)이라는 가정을 기반으로 한다. 도 4에서 두 개의 참조 픽처 (Ref0, Ref1)를 참조하는 현재 픽처 (B-picture)를 보인다.
우선, 현재 블록에 대한 (통상의) 양방향 움직임 예측에 의하여 참조 픽처(Ref0과 Ref1)에서 현재 픽처의 부호화되는 현재 블록과 가장 유사한 대응 영역들(즉, 참조 블록들)을 가리키는 양방향 움직임 벡터들(MV0, MV1)이 결정되었다고 가정하자. 해당 두 개의 양방향 움직임 벡터들은 현재 블록의 움직임을 나타내는 값이다. 즉, 현재 블록을 하나의 단위로 설정하고, 해당 단위에 대한 움직임을 전체적으로 추정 및 보상한 값이다.
도 4의 예시에서, 현재 블록 내 픽셀 P와 대응되는 것으로 양방향 움직임 벡터(MV0)가 가리키는 참조 픽처(Ref0)내 픽셀은 P0이며, 현재 블록 내 픽셀 P와 대응되는 것으로 양방향 움직임 벡터(MV1)가 가리키는 참조 픽처(Ref1)내 픽셀은 P1이다. 그리고, 도 4에서 픽셀 P에 대한 움직임은 현재 블록의 전체적인 움직임과는 조금 상이하다라고 가정하자. 예컨대, 도 4의 Ref0 내 픽셀 A에 위치하는 물체가 현재 픽처의 현재 블록 내 픽셀 P를 지나 Ref1 내 픽셀 B로 움직였다면, 픽셀 A 및 픽셀 B는 상당히 유사한 값을 가지게 된다. 또한, 이 경우, 현재 블록 내 픽셀 P와 가장 유사한 Ref0 내 지점은 양방향 움직임 벡터(MV0)가 가리키는 P0이 아니라, P0를 소정의 변위 벡터(v x τ 0 , v y τ 0)만큼 이동시킨 A이며, 현재 블록 내 픽셀 P와 가장 유사한 Ref1 내 지점은 양방향 움직임 벡터(MV1)가 가리키는 P1이 아니라, P1를 소정의 변위 벡터(-v x τ 1 , - v y τ 1)만큼 이동시킨 B이다. 이하에서는, 편의상, (v x , v y)를 “BIO 움직임 벡터”라고 지칭한다.
그러므로, 현재 픽처 내 현재 블록의 픽셀(P)값을 예측함에 있어서, 두 참조 픽셀(A, B)의 값을 이용하면, 양방향 움직임 벡터(MV0, MV1)가 가리키는 참조 픽셀(P0, P1)을 이용하는 것보다 좀 더 정확한 예측이 가능하다. 위와 같이, BIO 움직임 벡터(v x , v y)에 의해 특정되는 현재 블록 내 픽셀 단위의 움직임을 고려하여 현재 블록의 한 픽셀을 예측하는 데 사용되는 참조 픽셀을 변경하는 개념은 현재 블록 내 서브 블록들로 확장될 수 있다.
이하에서는, BIO 기법에 따라, 현재 블록 내 픽셀에 대한 예측값을 생성하는 이론적인 방법을 설명하기로 한다. 설명의 편의를 위해, BIO 기반의 양방향 움직임 보상을 픽셀 단위로 수행하는 것을 전제로 한다.
현재 블록에 대한 (통상의) 블록 단위 양방향 움직임 예측에 의하여 참조 픽처(Ref0과 Ref1)에서 현재 픽처의 부호화되는 현재 블록과 가장 유사한 대응 영역들(즉, 참조 블록들)을 가리키는 양방향 움직임 벡터들(MV0, MV1)이 결정되었다고 가정한다. 복호화 장치는 비트스트림에 포함된 움직임 벡터 정보로부터 양방향 움직임 벡터들(MV0, MV1)를 결정할 수 있다. 또한, 현재 블록 내 픽셀 (i,j)와 대응되는 것으로 움직임 벡터들(MV0)가 가리키는 참조 픽처(Ref0)내 픽셀의 밝기 값(luminance value)을 I (0)(i,j)라고 정의하고, 현재 블록 내 픽셀 (i,j)와 대응되는 것으로 움직임 벡터들(MV1)가 가리키는 참조 픽처(Ref1)내 픽셀의 밝기값을 I (1)(i,j)라고 정의한다.
BIO 움직임 벡터 (v x , v y)가 현재 블록 내 픽셀에 대응되는 것으로 가리키는 참조 픽처 Ref0 내의 픽셀 A의 밝기값은
Figure PCTKR2018003044-appb-I000001
로 정의될 수 있으며, 참조 픽처 Ref1 내의 픽셀 B의 밝기값은
Figure PCTKR2018003044-appb-I000002
로 정의될 수 있다. 따라서, 픽셀 A와 픽셀 B 사이의 플로우 차이값(flow difference) Δ는 일반적으로 <수학식 1>와 같이 정의된다.
Figure PCTKR2018003044-appb-M000001
여기서, I (k) (k = 0, 1)는 현재 블록 내의 예측하고자 하는 픽셀에 대응되는 것으로 움직임 벡터들(MV0, MV1)가 가리키는 참조 픽처(Ref0 및 Ref1)내 픽셀의 밝기 (luminance)이고, (v x , v y)은 구하고자 하는 BIO 움직임 벡터이다. 간략하게 표기하기 위해, 위 <수학식 1>의 각 항에서 참조 픽처(Ref0 및 Ref1)내 픽셀의 위치 (i, j)는 생략되었다.
Figure PCTKR2018003044-appb-I000003
와
Figure PCTKR2018003044-appb-I000004
는 각각 I (k) 그래디언트(gradient)의 수평 및 수직 성분을 나타낸다. τ 0와 τ 1은 현재 픽처와 2개의 참조 픽처(Ref0과 Ref1) 간의 시간적 거리를 나타낸다. τ 0와 τ 1은 POC(picture order count)를 기반으로 계산될 수 있으며, 예컨대, τ 0=POC(current)-POC(Ref0), τ 1= POC(Ref1)-POC(current) 이다. 여기서, POC(current), POC(Ref0), 및 POC(Ref1)은 각각 현재 픽처, 참조 픽처 Ref0, 및 참조 픽처 Ref1의 POC를 의미한다.
움직임이 지역적으로 주변 픽셀들과 일관성이 있다는 가정을 기반하여, 현재 예측하고자 하는 픽셀 (i, j)에 대한 BIO 움직임 벡터는 현재 예측하고자 하는 픽셀 (i, j)를 중심으로 하는 일정 영역 Ω 내 존재하는 모든 픽셀 (i', j')에 대한 <수학식 1>의 차이값 Δ들을 고려한다. 즉, 현재 픽셀 (i, j)에 대한 BIO 움직임 벡터는 다음의 <수학식 2>와 같이, 일정 영역 Ω 내의 각 픽셀에 대하여 획득된 차이값 Δ[i',j']의 제곱합을 최소로 하는 벡터로 결정될 수 있다.
Figure PCTKR2018003044-appb-M000002
여기서, (i', j')는 탐색 영역 Ω 내에 위치하는 모든 픽셀들을 의미한다. 따라서, <수학식 2>와 같이, 현재 픽셀 위치에서 목적함수(Δ2의 합)를 최소화하는 명시적인 방정식을 계산함으로써 현재 픽셀의 BIO 움직임 벡터 (v x , v y)를 결정할 수 있으므로, 세부적인 움직임 정보를 획득하기 위한 탐색 과정과 움직임 정보를 전송하기 위한 시그널링을 필요로 하지 않는다.
일반적으로, 상기 탐색 영역 Ω은 현재 픽셀 (i, j)에 중심을 둔 (2M + 1) × (2N + 1) 크기의 마스킹 윈도우(masking window)로 정의될 수 있다. 마스킹 윈도우의 구조 및 크기는 BIO 움직임 벡터 (v x , v y)를 결정하는 알고리즘의 복잡성 및 그 정밀도에 큰 영향을 미친다. 따라서, 마스킹 윈도우의 선택은 BIO 움직임 벡터 (v x , v y)를 결정하는 알고리즘에 있어서 매우 중요하다.
현재 픽셀의 BIO 움직임 벡터 (v x , v y)가 결정되면, 현재 픽셀 (i, j)에 대한 BIO 움직임 벡터에 기반한 양방향 예측값(pred BIO)은 <수학식 3>에 의해 계산될 수 있다.
Figure PCTKR2018003044-appb-M000003
<수학식 3>에서, (I (0)+I (1))/2는 통상적인 블록 단위 양방향 예측 보상이므로, 나머지 항들은 BIO 오프셋(offset)으로 지칭될 수 있다.
이하, 도 5a 및 도 5b를 참조하여, BIO 기반의 양방향 움직임 보상 방법을 설명한다. 이하의 방법은 영상 부호화 장치 및 영상 복호화 장치에 공통된다. 비록 도 5에는 도시되어 있지 않지만, 부호화 장치는 참조 픽처들로 사용하기 위한 픽처들을 부호화하고 이어서 복호화하여, 메모리에 저장하였다고 가정한다. 또한, 복호화 장치는 참조 픽처들로 사용하기 위한 픽처들을 복호화하여, 메모리에 저장하였다고 가정한다.
도 5a는 본 발명의 일 실시예에 따른 픽셀 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
먼저, 부호화 장치 및 복호화 장치는 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정한다(S510).
부호화 장치 및 복호화 장치는 픽셀 단위로 BIO 프로세스를 적용하여 현재 블록 내 각 픽셀에 대응하는 BIO 움직임 벡터(v x , v y)를 결정한다(S520).
BIO 움직임 벡터(v x , v y)는 해당하는 픽셀을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 각 픽셀에 대한 <수학식 1 >로 표현되는 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다.
일부 예시에서, 현재 블록의 가장자리에 위치하는 픽셀에 대한 BIO 움직임 벡터를 결정함에 있어서, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
일부 예시에서, (2M + 1) × (2N + 1) 크기를 갖는 사각형 모양의 마스킹 윈도우가 사용될 수 있다. 바람직하게는, 예컨대, 5×5 크기의, 정사각형 모양의 마스킹 윈도우가 사용될 수 있다. 다른 일부 예시에서, 플러스(plus) 모양 혹은 다이아몬드(diamond) 모양과 같은, 사각형 모양이 아닌 마스킹 윈도우가 사용될 수 있다.
부호화 장치 및 복호화 장치는 픽셀 단위로 계산된 BIO 움직임 벡터(v x , v y)를 기초로, 양방향 예측을 사용하여 현재 블록에 대한 예측 블록을 생성한다(S530). 즉, 부호화 장치 및 복호화 장치는, 각 BIO 움직임 벡터를 이용하여, 대응되는 픽셀의 양방향 예측값을 <수학식 3>에 기초로 생성한다.
최종적으로, 부호화 장치 및 복호화 장치는 생성된 예측 블록을 이용하여 현재 블록의 픽셀들을 부호화 혹은 복호화한다(S540).
도 5b는 본 발명의 일 실시예에 따른 서브 블록 레벨의 BIO 기반으로 수행되는 양방향 움직임 보상 방법을 도시한 흐름도이다.
먼저, 부호화 장치 및 복호화 장치는 제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정한다(S560).
부호화 장치 및 복호화 장치는 현재 블록 내 각 서브 블록 단위로 BIO 프로세스를 적용하여, 각 서브 블록에 대응하는 BIO 움직임 벡터(v x , v y)를 결정한다(S570).
BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 각 픽셀에 대한 플로우 차이들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 대안적으로, BIO 움직임 벡터(v x , v y)는 서브 블록 내 일부 픽셀들을 중심으로 하는 소정의 마스킹 윈도우에 의해 정의되는 탐색 영역 내의 위치하는 모든 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다. 예컨대, 마스킹 윈도우가 적용되는 픽셀들과 적용되지 않는 픽셀들의 위치는 체크(check) 패턴, 가로 줄무늬 (horizontal stripes) 패턴 혹은 세로 줄무늬(vertical stripes) 패턴을 이룰 수 있다.
일부 예시에서, 플로우 차이들을 반복적으로 계산하는 대신에, 중복되는 차이값에 대해서는 그 차이값에 중복되는 횟수에 따른 가중치를 부여할 수 있다. 일부 예시에서, 현재 블록의 가장자리에 위치하는 서브 블록에 대한 BIO 움직임 벡터를 결정함에 있어서, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
일부 예시에서, (2M + 1) × (2N + 1) 크기를 갖는 사각형 모양의 마스킹 윈도우가 사용될 수 있다. 일부 예시에서, 마스킹 윈도우는 (예컨대, 5×5 크기의) 정사각형 모양일 수 있다. 다른 일부 예시에서, 예컨대 플러스(plus) 모양 및 다이아몬드(diamond) 모양과 같은, 사각형 모양이 아닌 마스킹 윈도우가 사용될 수 있다. 일부 예시에서, 마스킹 윈도우가 사용되지 않을 수 있다. 예컨대, BIO 움직임 벡터(v x , v y)는 서브 블록 내 각 픽셀에 대한 플로우 차이(flow difference)들의 제곱의 합이 최소화되도록 하는 벡터로 결정될 수 있다.
부호화 장치 및 복호화 장치는 서브 블록 단위로 계산된 BIO 움직임 벡터(v x , v y)들을 기초로, 양방향 예측을 사용하여 현재 블록에 대한 예측 블록을 생성한다(S580). 서브 블록 내 모든 픽셀은 서브 블록 단위로 계산된 BIO 움직임 벡터 (v x , v y)를 공유한다. 즉, 서브 블록 내 모든 픽셀에 대한 BIO 기반의 예측값은 해당 서브 블록에 대해 결정된 하나의 BIO 움직임 벡터 (v x , v y)를 이용하여 <수학식 3>에 의해 계산된다.
최종적으로, 부호화 장치 및 복호화 장치는 생성된 예측 블록을 이용하여 현재 블록의 픽셀들을 부호화 혹은 복호화한다(S590).
본 개시의 일부 실시예들에서 BIO는 픽셀-레벨 기반으로 적용되며, 다른 일 부 실시예들에서 BIO는 블록-레벨 기반으로 적용된다. 이하에서는 픽셀-레벨의 BIO 프로세스에 관한 실시예들을 먼저 기술한 후, 블록-레벨의 BIO 프로세스에 관한 실시예들을 기술한다.
이하에서 설명하는 제1 실시예 및 제2 실시예에서는 픽셀-레벨 기반으로 BIO가 적용된다. BIO 프로세스에 사용되는 마스킹 윈도우는 현재 픽셀 (i, j)에 중심을 둔 (2M + 1) × (2N + 1) 크기를 가질 수 있으나, 설명의 간략화를 위해, 이하에서는, 가로 및 세로 크기가 같은 값을 가지는 것(즉, M=N)으로 가정한다. 픽셀-레벨 BIO는 현재 블록의 예측 블록 생성 시에, 픽셀-레벨로 BIO 움직임 벡터를 구하고, 구해진 BIO 움직임 벡터에 근거하여 픽셀-레벨로 양방향 예측값을 구한다.
제1 실시예
본 실시예에서는 픽셀 레벨로 BIO 움직임 벡터를 계산함에 있어서 사각형 모양의 마스킹 윈도우를 사용한다. 본 실시예에서, 예측하고자 하는 픽셀의 BIO 움직임 벡터를 결정하는 데 요구되는 차이값(Δ)의 총 개수를 도 6을 참조하여 설명한다. 도 6에는 5×5 마스킹 윈도우(610)와 현재 블록 내 예측하고자 하는 픽셀(621)이 예시되어 있다. 현재 블록 내 예측하고자 하는 하나의 픽셀(621)이 도 6에서 빗금으로 표시된 마스킹 윈도우(810)의 중앙이 되고, 마스킹 윈도우(810) 내에 위치하는 픽셀의 개수는 예측하고자 하는 픽셀(821)을 포함하여 총 25개가 된다. 따라서, 현재 블록 내 예측하고자 하는 픽셀(621)에 대한 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 개수는 25개이다. 최종적으로 해당 25개의 차이값(Δ)을 <수학식 2>에 대입하여 예측하고자 하는 픽셀에 대한 BIO 움직임 벡터 (v x , v y)를 구하게 된다. 옵티컬 플로우에 기반하여 BIO 움직임 벡터 (v x , v y)가 결정되면, 현재 블록의 해당 픽셀에 대한 양방향 예측값은 <수학식 3>에 의해 계산된다. 이러한 프로세스를 현재 블록 내 각 픽셀에 대하여 반복적으로 적용하여, 현재 블록의 예측 블록을 구성하는 모든 픽셀들의 예측값을 생성한다.
다만, 현재 블록의 가장자리에 위치하는 픽셀에 대한 BIO 움직임 벡터를 결정함에 있어서, 마스킹 윈도우내에 포함되더라도, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
제2 실시예
도 7은 제2 실시예에 따른, BIO 기반의 움직임 보상에 사용되는 사각형이 아닌 마스킹 윈도우들을 예시한 도면이다.
본 실시예는, 정사각형 모양의 마스킹 윈도우를 사용하는 제1 실시예와 달리, 다양한 모양의 마스킹 윈도우를 사용한다. 도 7에서는 2가지 타입(즉, 플러스(plus) 모양 및 다이아몬드(diamond) 모양)의 마스킹 윈도우를 제시하였으나, 본 발명은 사각형 모양의 마스킹 윈도우가 아닌 다양한 모양의 어떠한 마스킹 윈도우의 사용도 배제하지 않는다. 이러한 마스킹 윈도우의 사용은 제1 실시예에서 사용하는 정사각형 모양의 마스킹 윈도우 내 모든 픽셀을 처리하는데 드는 복잡도를 줄인다. 도 7에 예시된 바와 같이, 플러스 모양 및 다이아몬드 모양의 마스킹 윈도우의 사이즈는 파라미터 M 값에 의존하여 스케일링(scaling)될 수 있다.
본 실시예에서, 서브 블록의 BIO 움직임 벡터를 결정하는 데 요구되는 차이값(Δ)의 총 개수를 도 8을 참조하여 설명한다.
도 8에는 M=2인 다이아몬드 모양의 마스킹 윈도우(810)와 현재 블록 내 예측하고자 하는 픽셀(821)이 예시되어 있다. 현재 블록 내 예측하고자 하는 하나의 픽셀(821)이 도 8의 (b)에서 빗금으로 표시된 마스킹 윈도우(810)의 중앙이 되고, 마스킹 윈도우(810) 내의 픽셀의 개수는 예측하고자 하는 픽셀(821)을 포함하여 총 13개가 된다. 따라서, 현재 블록 내 예측하고자 하는 픽셀(821)에 대한 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 개수는 13개이다. 최종적으로 해당 13개의 차이값(Δ)을 <수학식 2>에 대입하여 예측하고자 하는 픽셀에 대한 BIO 움직임 벡터 (v x , v y)를 구하게 된다. 본 실시예에서, 이러한 과정들은 현재 블록 내 모든 픽셀에 대해 수행되어, 각 픽셀에 대응되는 BIO 움직임 벡터가 계산된다.
다만, 현재 블록의 가장자리에 위치하는 픽셀에 대한 BIO 움직임 벡터를 결정함에 있어서, 마스킹 윈도우내에 포함되더라도, 현재 블록을 벗어나는 영역에 위치하는 픽셀들에 대한 플로우 차이들은 고려되지 않을 수 있다.
이하에서 설명하는 제3 실시예 내지 제8 실시예에서는 블록-레벨에서 BIO 기반 움직임 보상이 적용된다. 서브 블록-레벨의 BIO 움직임 보상 프로세스에서, 서브 블록 크기는 M × N (M과 N은 정수) 일 수 있다. M × N 서브 블록 내 모든 픽셀은 서브 블록 단위로 계산된 BIO 움직임 벡터 (v x , v y)를 공유한다. 즉, M × N 서브 블록 내 모든 픽셀에 대한 옵티컬 플로우에 기반한 양방향 예측은 계산된 BIO 움직임 벡터 (v x , v y)를 이용하여 <수학식 3>에 의해 계산된다. 본 개시의 방법들은 서브 블록의 크기에 제한을 두지 않으나, 이하의 실시예들에서는 설명의 편의상 4×4 서브 블록을 기준으로 BIO 프로세스를 설명하고 있음에 유의한다.
제3 실시예
본 실시예에서는, 서브 블록에 대한 하나의 BIO 움직임 벡터를 결정하기 위해, 서브 블록 내의 각 픽셀마다, 해당 픽셀에 중심을 둔 사각형 모양의 마스킹 윈도우를 적용하고, 마스킹 윈도우 내에 위치하는 모든 픽셀들 각각에 대한 <수학식 1>의 차이값(Δ)을 구한다. 최종적으로 이들 차이값들을 <수학식 2>에 대입하여 해당 서브 블록에 해당하는 BIO 움직임 벡터를 구하게 된다.
도 9에는, 본 실시예에서 제안하는 방식의 일례에 따른, 5×5 마스킹 윈도우(910)와 4×4 서브 블록(920)의 일 예가 도시되어 있다. 도 9에 예시된 마스킹 윈도우(910)는 M=2인 정사각형 모양이다. 서브 블록(920) 내 현재 픽셀(i, j)(921)이 도 9의 빗금 표시된 부분에 해당하는 마스킹 윈도우(910)의 중앙이 된다. 서브 블록의 한 픽셀(i, j)에 대한 마스킹 윈도우(910) 내의 픽셀의 개수는 (i, j) 픽셀을 포함하여 총 25 (= (2M + 1) × (2M + 1) = 5 × 5)개가 된다. 따라서, 4×4 서브 블록에 대한 BIO 움직임 벡터를 결정하기 위해 요구되는 차이값의 총 개수는 서브 블록의 크기 및 마스킹 윈도우의 크기에 기반하여 총 400(= 16 × 25)개에 달한다. 서브 블록에 대한 BIO 움직임 벡터는 이들 차이값들의 제곱의 합을 최소화하는 벡터로 결정된다.
위 400개의 차이값들 중에서, 구별되는 64개의 차이값들을 제외한 나머지 차이값들은 상기 64개의 차이값들이 중복되는 형태임을 유의한다. 예컨대, 도 10a와 같이, 서브 블록(1020)의 (0,0) 위치의 픽셀에 중심을 둔 마스킹 윈도우(1010a) 내에 위치하는 픽셀들 대부분은, 서브 블록(1020)의 (1,0) 위치의 픽셀에 중심을 둔 마스킹 윈도우(1010b) 내에도 위치한다. 따라서, 중복되는 차이값들을 반복적으로 계산하는 대신에, 중복되는 차이값에 대해서는 그 차이값에 중복되는 횟수에 따른 가중치를 부여함으로써, <수학식 2>의 계산을 단순화할 수 있다. 예컨대, 4×4 서브 블록에 대해 5×5 마스킹 윈도우를 적용하는 경우에, 총 64개의 구별되는 차이값을 계산한 후, 각 차이값들에 대응되는 가중치를 부여한 후, 가중치가 부여된 차이값들의 제곱의 합이 최소화되도록 BIO 움직임 벡터 (v x , v y)를 결정할 수 있다. 도 10b에서 각 픽셀에 표기된 숫자는 중복되는 횟수에 따른 가중치 값이다. 여기서, 강조 표시된 4×4 블록은 서브 블록의 위치를 나타낸다.
제4 실시예
본 실시예는, 사각형 모양의 마스킹 윈도우를 사용하는 제3 실시예와 달리, (도 7에 예시된 것과 같은) 다양한 패턴의 마스킹 윈도우를 사용한다. 이러한 마스킹 윈도우의 사용은 사각형 마스킹 윈도우 내 모든 픽셀을 처리하는데 드는 복잡도를 줄인다.
도 11에는, 다이아몬드 타입의 마스킹 윈도우(1110)와 4×4 서브 블록(1120)이 예시되어 있다. 도 11에 예시된 바와 같이, M=2인 다이아몬드 모양의 마스킹 윈도우(1110)를 사용하는 경우에, 마스킹 윈도우(1110) 내의 픽셀의 개수는 총 13개가 된다. 따라서, 서브 블록의 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 총 개수는 208 (= 16 × 13)이다. 최종적으로 해당 208개의 차이값을 <수학식 2>에 대입하여 해당 4×4 블록에 해당하는 BIO 움직임 벡터를 구하게 된다. 제3 실시예와 마찬가지로, 중복되는 횟수에 따른 가중치를 차이값에 주어 <수학식 2>에 대입하여 해당 4×4 서브 블록에 대한 BIO 움직임 벡터를 구할 수도 있다.
제5 실시예
제3 실시예 및 제4 실시예에서는, 서브 블록 내 모든 픽셀들에 대해, 마스킹 윈도우를 적용하였다. 이에 반해, 본 실시예는 서브 블록 내 일부 픽셀들에 대해 마스킹 윈도우를 적용한다.
도 12에는 서브 블록 내 마스킹 윈도우가 적용되는 픽셀의 위치들에 대한 3가지 타입을 예시하고 있다. 하나의 타입에서는 마스킹 윈도우가 적용되는 픽셀들과 적용되지 않는 픽셀들의 위치가 체크(check) 패턴을 이루고 있으며(도 12의 (a) 참조), 다른 2개의 타입들에서는 각각 가로 줄무늬 (horizontal stripes) 패턴과 세로 줄무늬(vertical stripes) 패턴을 이루고 있다(도 12의 (b), (c) 참조). 본 발명은, 도 12에 예시된 타입들 외에도, 서브 블록 내 일부 픽셀만을 샘플링하여 처리하는 어떠한 타입의 사용도 배제하지 않는다. 이를 통해, 전술한 실시예들에서, 서브 블록 내 모든 픽셀에 대해 마스킹 윈도우에 대응되는 개수의 차이값들을 계산하는 데 드는 연산 복잡도를 줄일 수 있다.
본 실시예에서, 서브 블록의 BIO 움직임 벡터를 결정하는 데 요구되는 차이값(Δ)의 총 개수를 도 13을 참조하여 설명한다. 도 13에는 5×5 정사각형 모양의 마스킹 윈도우(1310)와 체크(check) 패턴으로 샘플링된 4×4 서브 블록(1320) 내 픽셀들이 예시되어 있다. 5×5 정사각형 모양의 마스킹 윈도우(1310) 내의 픽셀의 개수는 총 25개이다. 서브 블록 내 빗금 표시된 8개의 픽셀들에 대해, 각 픽셀마다, 마스킹 윈도우를 적용하여, 25개의 <수학식 1>의 차이값(Δ)을 구하여야 한다. 따라서, 4×4 서브 블록의 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 총 개수는 총 200 (= 8 × 25)개에 달한다. 최종적으로 해당 200개의 차이값을 <수학식 2>에 대입하여 해당 4×4 블록에 해당하는 BIO 움직임 벡터를 구하게 된다. 제3 실시예와 마찬가지로, 중복되는 횟수에 따른 가중치를 차이값에 주어 <수학식 2>에 대입하여 해당 4×4 서브 블록에 대한 BIO 움직임 벡터를 구할 수도 있다.
제6 실시예
본 실시예는, 제4 실시예와 제5 실시예에서 제시한 방식들의 결합된 형태이다. 즉, 본 실시예는 사각형 모양이 아닌 다양한 패턴의 마스킹 윈도우를 채용하고(제4 실시예와 유사), 서브 블록 내 일부 샘플 픽셀들에 대해서만 마스킹 윈도우를 적용하는 방식을 채용한다(제5 실시예와 유사). 따라서, 본 실시예의 기법은 제4 실시예 및 제5 실시예보다 계산의 복잡도가 낮다.
도 14에는, 본 실시예에서 제안하는 방식의 일례에 따른, 다이아몬드 타입의 마스킹 윈도우(1410)와 4×4 서브 블록(1420) 내 BIO 프로세스를 적용하는 샘플 픽셀들이 도시되어 있다. 도 14의 경우에, 서브 블록의 BIO 움직임 벡터 (v x , v y)를 결정하는 데 필요한 차이값(Δ)의 총 개수는 104 (= 8 × 13)이다. 최종적으로 해당 104개의 차이값을 <수학식 2>에 대입하여 해당 4×4 서브 블록에 해당하는 BIO 움직임 벡터 (v x , v y)를 구하게 된다. 제3 실시예와 마찬가지로, 중복되는 횟수에 따른 가중치를 차이값에 주어 <수학식 2>에 대입하여 해당 4×4 서브 블록에 대한 BIO 움직임 벡터를 구할 수도 있다.
제7 실시예
이전 실시예들에서는 서브 블록의 (모든 혹은 일부) 픽셀들에 대해, 각각, 윈도우 마스크의 크기에 대응되는 수의 차이값(Δ)들을 계산하였다. 예컨대, 제3 실시예에서, 5×5 마스킹 윈도우를 사용하여, 4×4 서브 블록에 대한 BIO 움직임 벡터를 결정하기 위해 요구되는 차이값의 수는 총 400(= 16 × 25)개에 달했다. 이에 반해, 본 실시예는 마스킹 윈도우를 사용하지 않는다. 혹은 1×1 마스킹 윈도우를 사용한다고 볼 수 있다. 즉, 서브 블록 내 픽셀들에 대해, 각각, 하나의 <수학식 1>의 차이값(Δ)만이 계산된다. 예를 들어, 4×4 서브 블록에 대한 BIO 움직임 벡터를 구하기 위해 고려되는 차이값(Δ)의 수는 총 16개에 불과하다. 최종적으로 16개의 차이값(Δ)만을 <수학식 2>에 대입하여 4×4 서브 블록에 관한 BIO 움직임 벡터를 구하게 된다. 즉, 16개의 차이값의 제곱의 합을 최소화하도록 BIO 움직임 벡터를 계산한다.
대안적으로, 16개 차이값에 각기 다른 가중치를 주어서 <수학식 2>에 대입하여 해당 4×4 서브 블록에 해당하는 BIO 움직임 벡터를 구할 수도 있다. 여기서, 서브 블록 내부에 더 높은 가중치가 부여되고, 서브 블록 가장자리 영역에 더 낮은 가중치가 부여될 수 있다. 도 15는 서브 블록의 각 픽셀에 대한 가중치 부여의 일례를 보인다.
제8 실시예
본 실시예에서는, 현재 블록의 가장자리에 위치하는 서브 블록들에 대한 BIO 움직임 벡터를 결정할 때, 현재 블록을 벗어나는 영역에 대해서는 차이값(Δ)을 계산하지 않는 제약을 둔다. 예를 들어, 도 16a에 예시된 것처럼, 현재 블록의 크기가 16×16이고, 4×4 서브 블록 단위로 BIO 움직임 벡터를 계산하는 경우를 가정하자. 총 16개의 4×4 서브 블록들 중에서 현재 블록의 가장자리에 위치하는 12개의 4×4 서브 블록의 BIO 움직임 벡터를 결정할 때, 현재 블록 외부의 영역에 위치하는 마스킹 픽셀에 대한 차이값(Δ)은 고려하지 않는다. 여기서, 현재 블록 외부의 영역에 위치하는 마스킹 픽셀은 서브 블록의 크기와 마스킹 윈도우 크기 및 위치에 따라 달라질 수 있다. 따라서, 본 실시예에서, 서브 블록의 BIO 움직임 벡터를 결정하기 위해 계산하여야 하는 차이값(Δ)의 개수는 해당 서브 블록의 현재 블록 내 위치에 따라 달라질 수 있다.
이러한 방식을 제3 실시예에서 설명한 중복된 차이값들에 대한 가중치를 부여하는 방식과 결합하면, 각 마스킹 픽셀에 대한 가중치는 도 16b와 같다. 즉, 도 16b에 0으로 표시된 픽셀들은 현재 블록 외부에 위치한 픽셀들이며, 이들에 대한 차이값은 계산하지 않는다. 이러한 방식에 따르면, 제3 실시예에 비해, 계산해야 할 차이값의 개수가 적으므로 연산량이 줄어 들고, 현재 블록 외부에 위치한 픽셀값을 참조하지 않으므로 그 만큼 메모리 사용량을 절약할 수 있다.
이러한 방식은 정사각형 마스킹 윈도우를 사용하는 경우에 한정하지 않고, 다이아몬드 및 플러스를 포함한 다양한 모양의 마스킹 윈도우를 사용하는 경우에도 적용 가능함에 유의한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2017년 04월 24일 한국에 출원한 특허출원번호 제10-2017-0052290호 및 2017년 06월 19일 한국에 출원한 특허출원번호 제10-2017-0077246호에 대해 우선권을 주장한다.

Claims (16)

  1. 영상 데이터를 복호화하는 방법에 있어서,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록을 재구성하는 과정을 포함하고,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및
    결정된 BIO 움직임 벡터를 기초로, 해당 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 방법.
  2. 제1항에 있어서,
    상기 BIO 움직임 벡터는,
    해당 서브 블록에 상응하는 마스킹 픽셀들 각각에 대해 획득되는 플로우 차이(flow difference)들의 제곱합(sum of squares)이 최소가 되도록 하는 벡터로 결정되며,
    상기 마스킹 픽셀들은 해당 서브 블록 내의 픽셀들을 중심으로 하는 플러스(plus) 모양, 또는 다이아몬드(diamond) 모양의 마스킹 윈도우들에 의해 규정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  3. 제1항에 있어서,
    상기 BIO 움직임 벡터는,
    해당 서브 블록에 상응하는 마스킹 픽셀들 각각에 대해 획득되는 플로우 차이(flow difference)들의 가중치가 부여된 제곱합(weighted sum of squares)이 최소가 되도록 하는 벡터로 결정되며,
    상기 마스킹 픽셀들은 해당 서브 블록 내의 픽셀들을 중심으로 하는 마스킹 윈도우들에 의해 규정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  4. 제2항에 있어서,
    각 플로우 차이에 부여된 가중치는,
    해당 서브 블록 내의 픽셀이 상기 마스킹 윈도우에 포함되는 횟수에 상응하여 부여된 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  5. 제2항에 있어서,
    상기 마스킹 픽셀에 대한 플로우 차이는,
    상기 마스킹 픽셀에 대응되는 것으로 상기 BIO 움직임 벡터가 가리키는 상기 제1 참조 픽처 상의 제1 지점과 상기 제2 참조 픽처 상의 제2 지점 간의 밝기 차이인 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  6. 제5항에 있어서,
    상기 제1 참조 픽처 상의 제1 지점은,
    상기 마스킹 픽셀에 대응되는 것으로 상기 제1 움직임 벡터가 가리키는 상기 제1 대응 영역 내의 제1 참조 픽셀의 밝기, 상기 제1 참조 픽셀의 그레디언트, 현재 픽처와 제1 참조 픽처 간의 시간적 거리, 및 상기 BIO 움직임 벡터에 의해 정의되고,
    상기 제2 참조 픽처 상의 제2 지점은,
    상기 마스킹 픽셀에 대응되는 것으로 상기 제2 움직임 벡터가 가리키는 상기 제2 대응 영역 내의 제2 참조 픽셀의 밝기, 상기 제2 참조 픽셀의 그레디언트, 상기 현재 픽처와 제2 참조 픽처 간의 시간적 거리, 및 상기 BIO 움직임 벡터에 의해 정의되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  7. 제2항에 있어서,
    상기 현재 블록의 바운더리(boundary)에 위치하는 서브 블록에 대한 BIO 움직임 벡터는,
    상기 현재 블록 외부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이를 배제하고, 상기 현재 블록 내부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  8. 제1항에 있어서,
    상기 BIO 움직임 벡터는,
    해당 서브 블록 내의 픽셀들 각각에 대하여 획득되는 플로우 차이들의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  9. 제8항에 있어서,
    해당 서브 블록 내부에 위치하는 픽셀에 대하여 획득되는 플로우 차이일수록 높은 가중치가 부여된 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  10. 제1항에 있어서,
    해당 서브 블록에 상응하는 마스킹 픽셀들 각각에 대해 획득되는 플로우 차이(flow difference)들의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되며,
    상기 마스킹 픽셀들은 해당 서브 블록 내에서 샘플링된 일부 픽셀들을 중심으로 하는 마스킹 윈도우들에 의해 규정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  11. 제10항에 있어서,
    상기 샘플링된 픽셀들과 샘플링되지 않은 픽셀들은,
    상기 서브 블록 내에서 체크(check) 패턴, 가로 줄무늬 (horizontal stripes) 패턴 또는 세로 줄무늬(vertical stripes) 패턴을 이루는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  12. 제10항에 있어서,
    상기 마스킹 윈도우는,
    사각형 모양, 플러스(plus) 모양, 또는 다이아몬드(diamond) 모양인 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  13. 영상 데이터를 복호화하는 장치로서,
    메모리; 및
    하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    서브 블록 단위의 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성되되,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 서브 블록에 대하여 BIO 움직임 벡터를 결정하는 과정; 및
    결정된 BIO 움직임 벡터를 기초로, 상기 주어진 서브 블록을 구성하는 픽셀들의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 장치.
  14. 영상 데이터를 복호화하는 방법에 있어서,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 포함하고,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및
    결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 방법.
  15. 제14항에 있어서,
    상기 현재 블록의 바운더리(boundary)에 위치하는 픽셀에 대한 BIO 움직임 벡터는,
    상기 현재 블록 외부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이를 배제하고, 상기 현재 블록 내부에 위치하는 마스킹 픽셀들에 대하여 획득되는 플로우 차이의 제곱합 혹은 가중치가 부여된 제곱합이 최소가 되도록 하는 벡터로 결정되는 것을 특징으로 하는, 영상 데이터를 복호화하는 방법.
  16. 영상 데이터를 복호화하는 장치로서,
    메모리; 및
    하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    제1 참조 픽처에서 현재 블록과 가장 유사한 제1 대응 영역을 가리키는 제1 움직임 벡터를 결정하고, 제2 참조 픽처에서 현재 블록과 가장 유사한 제2 대응 영역을 가리키는 제2 움직임 벡터를 결정하는 과정;
    픽셀 단위로 BIO 프로세스를 적용하여 상기 현재 블록에 대한 예측 블록을 생성하는 과정; 및
    생성된 예측 블록을 이용하여 상기 현재 블록의 픽셀들을 재구성하는 과정을 수행하도록 구성되되,
    상기 예측 블록을 생성하는 과정은,
    상기 현재 블록을 구성하는 각 픽셀에 대한 BIO 움직임 벡터를 결정하는 과정, 상기 BIO 움직임 벡터는 해당 픽셀을 중심으로 하는 플러스 모양 또는 다이아몬드 모양의 마스킹 윈도우 내에 위치하는 모든 마스킹 픽셀에 대하여 얻어지는 플로우 차이(flow difference)의 제곱합이 최소가 되도록 하는 벡터로 결정됨; 및
    결정된 BIO 움직임 벡터를 기초로, 해당 픽셀의 예측값을 생성하는 과정을 포함하는, 영상 데이터를 복호화하는 장치.
PCT/KR2018/003044 2017-04-24 2018-03-15 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치 WO2018199468A1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
US16/608,020 US11272193B2 (en) 2017-04-24 2018-03-15 Method and apparatus for estimating optical flow for motion compensation
CN202310843252.XA CN116708830A (zh) 2017-04-24 2018-03-15 编解码视频数据的装置、存储编码视频数据比特流的方法
CN202310843458.2A CN116708831A (zh) 2017-04-24 2018-03-15 编解码视频数据的方法、发送编码视频数据比特流的方法
CN202310841628.3A CN116708829A (zh) 2017-04-24 2018-03-15 编解码视频数据的装置、发送编码视频数据比特流的方法
CN201880034013.7A CN110710213B (zh) 2017-04-24 2018-03-15 用于估计运动补偿的光流的方法及装置
CN202310841020.0A CN116708828A (zh) 2017-04-24 2018-03-15 编解码视频数据的方法、发送编码视频数据比特流的方法
US17/668,822 US20220166989A1 (en) 2017-04-24 2022-02-10 Method and apparatus for estimating optical flow for motion compensation
US17/673,922 US12003736B2 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,904 US11997292B2 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,879 US20220174292A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170052290 2017-04-24
KR10-2017-0052290 2017-04-24
KR10-2017-0077246 2017-06-19
KR1020170077246A KR102409430B1 (ko) 2017-04-24 2017-06-19 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US16/608,020 A-371-Of-International US11272193B2 (en) 2017-04-24 2018-03-15 Method and apparatus for estimating optical flow for motion compensation
US17/668,822 Continuation US20220166989A1 (en) 2017-04-24 2022-02-10 Method and apparatus for estimating optical flow for motion compensation
US17/673,922 Continuation US12003736B2 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,879 Continuation US20220174292A1 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation
US17/673,904 Continuation US11997292B2 (en) 2017-04-24 2022-02-17 Method and apparatus for estimating optical flow for motion compensation

Publications (1)

Publication Number Publication Date
WO2018199468A1 true WO2018199468A1 (ko) 2018-11-01

Family

ID=63920338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003044 WO2018199468A1 (ko) 2017-04-24 2018-03-15 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치

Country Status (4)

Country Link
US (5) US11272193B2 (ko)
KR (2) KR102490114B1 (ko)
CN (4) CN116708829A (ko)
WO (1) WO2018199468A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187284A1 (en) * 2019-03-19 2020-09-24 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
WO2020211864A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
WO2020253853A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Early termination for optical flow refinment
WO2021047542A1 (en) * 2019-09-09 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Recursive splitting of video coding blocks
CN113411606A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11368711B2 (en) 2019-04-19 2022-06-21 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
US11936904B2 (en) 2019-09-20 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video encoding and/or decoding with bidirectional optical flow simplification on shift operations and related apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117241017A (zh) * 2018-11-05 2023-12-15 北京字节跳动网络技术有限公司 数字视频编解码的方法、设备和系统
WO2023186752A1 (en) * 2022-03-30 2023-10-05 Interdigital Ce Patent Holdings, Sas Methods and apparatuses for encoding/decoding a video

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286635A1 (en) * 2010-05-18 2011-11-24 Honda Motor Co., Ltd. Fast sub-pixel optical flow estimation
US8712095B2 (en) * 2008-10-15 2014-04-29 Spinella Ip Holdings, Inc. Digital processing method and system for determination of optical flow
US20170041632A1 (en) * 2015-08-05 2017-02-09 Thomson Licensing Method and apparatus for hierarchical motion estimation using dfd-based image segmentation
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding
US20170091894A1 (en) * 2015-09-30 2017-03-30 Intel Corporation Dense optical flow acceleration

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102062821B1 (ko) * 2010-09-29 2020-01-07 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US20170337711A1 (en) * 2011-03-29 2017-11-23 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
KR101444675B1 (ko) 2011-07-01 2014-10-01 에스케이 텔레콤주식회사 영상 부호화 및 복호화 방법과 장치
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
CN105847804B (zh) 2016-05-18 2017-12-15 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712095B2 (en) * 2008-10-15 2014-04-29 Spinella Ip Holdings, Inc. Digital processing method and system for determination of optical flow
US20110286635A1 (en) * 2010-05-18 2011-11-24 Honda Motor Co., Ltd. Fast sub-pixel optical flow estimation
US20170041632A1 (en) * 2015-08-05 2017-02-09 Thomson Licensing Method and apparatus for hierarchical motion estimation using dfd-based image segmentation
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding
US20170091894A1 (en) * 2015-09-30 2017-03-30 Intel Corporation Dense optical flow acceleration

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187284A1 (en) * 2019-03-19 2020-09-24 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
US20220007051A1 (en) * 2019-03-19 2022-01-06 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
US11889109B2 (en) 2019-03-19 2024-01-30 Huawei Technologies Co., Ltd. Optical flow based video inter prediction
US11997303B2 (en) 2019-04-02 2024-05-28 Beijing Bytedance Network Technology Co., Ltd Bidirectional optical flow based video coding and decoding
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
WO2020211864A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
US11924463B2 (en) 2019-04-19 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Gradient calculation in different motion vector refinements
US11356697B2 (en) 2019-04-19 2022-06-07 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
US11368711B2 (en) 2019-04-19 2022-06-21 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113411606A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411606B (zh) * 2019-06-21 2022-07-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020253853A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Early termination for optical flow refinment
WO2021047542A1 (en) * 2019-09-09 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Recursive splitting of video coding blocks
US11930216B2 (en) 2019-09-09 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Recursive splitting of video coding blocks
US11936904B2 (en) 2019-09-20 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video encoding and/or decoding with bidirectional optical flow simplification on shift operations and related apparatus

Also Published As

Publication number Publication date
US20220174292A1 (en) 2022-06-02
US12003736B2 (en) 2024-06-04
KR102490118B1 (ko) 2023-01-18
KR102490114B1 (ko) 2023-01-18
CN116708830A (zh) 2023-09-05
KR20220081326A (ko) 2022-06-15
CN116708829A (zh) 2023-09-05
US20220174294A1 (en) 2022-06-02
US20220174293A1 (en) 2022-06-02
US20210105490A1 (en) 2021-04-08
CN116708828A (zh) 2023-09-05
US11272193B2 (en) 2022-03-08
US20220166989A1 (en) 2022-05-26
CN116708831A (zh) 2023-09-05
KR20220080732A (ko) 2022-06-14
US11997292B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
WO2018199468A1 (ko) 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2019147079A1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
WO2016204360A1 (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
WO2019045427A1 (ko) 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
WO2013069975A1 (ko) 예측 단위의 파티션 모드에 기초한 계수 스캔 방법 및 장치
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2013077659A1 (ko) 모션 벡터의 예측 부호화/복호화 방법 및 장치
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR20180119084A (ko) 움직임 보상을 위한 옵티컬 플로우 추정 방법 및 장치
WO2013081365A1 (ko) 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
WO2015142057A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2018056709A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2019240425A1 (ko) 인터 예측 방법 및 영상 복호화 장치
WO2020185050A1 (ko) 인트라 블록 복사를 이용하는 영상 부호화 및 복호화
WO2018128228A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2022065977A1 (ko) 가변계수 딥러닝 기반 인터 예측 방법
WO2022045738A1 (ko) 딥러닝 기반 인루프 필터를 이용하는 영상 부호화 및 복호화
WO2021071145A1 (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
WO2024122886A1 (ko) 적응적 템플릿 기반 인트라 예측모드 유도를 이용하는 비디오 코딩방법 및 장치
WO2022031003A1 (ko) 영상 부/복호화 장치에서 이용하는 양자화 파라미터 예측 방법
WO2023022376A1 (ko) 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치
WO2024117693A1 (ko) 아핀 모델 기반의 예측에서 움직임 보상 필터를 적응적으로 이용하는 비디오 코딩을 위한 방법 및 장치
WO2022177375A1 (ko) 인트라 예측 신호와 인터 예측 신호의 가중 합을 이용하여 예측 블록을 생성하는 방법 및 이를 이용한 장치
WO2024117533A1 (ko) 아핀 모델 기반의 예측을 이용하는 비디오 코딩방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18789985

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18789985

Country of ref document: EP

Kind code of ref document: A1