WO2020141833A1 - 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2020141833A1
WO2020141833A1 PCT/KR2019/018722 KR2019018722W WO2020141833A1 WO 2020141833 A1 WO2020141833 A1 WO 2020141833A1 KR 2019018722 W KR2019018722 W KR 2019018722W WO 2020141833 A1 WO2020141833 A1 WO 2020141833A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
information
current block
block
mmvd
Prior art date
Application number
PCT/KR2019/018722
Other languages
English (en)
French (fr)
Inventor
안용조
Original Assignee
디지털인사이트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지털인사이트 주식회사 filed Critical 디지털인사이트 주식회사
Priority to US17/419,849 priority Critical patent/US11895289B2/en
Publication of WO2020141833A1 publication Critical patent/WO2020141833A1/ko
Priority to US18/541,960 priority patent/US20240114126A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to video encoding/decoding.
  • the present invention relates to a motion merging technique among video encoding/decoding techniques.
  • the present invention relates to a method and apparatus for transmitting and parsing a prediction method for an encoded block encoded in a skip and/or merge mode.
  • the present invention when transmitting a prediction method and a differential motion vector for a coding block encoded in a skip and/or merge mode, selects one prediction method among a plurality of prediction methods and encodes/decodes related information based thereon. It relates to a method and apparatus.
  • the present invention relates to an image encoding/decoding method and apparatus for signaling information on a prediction method for a coding block encoded in a skip and/or merge mode.
  • Techniques applied to video compression include intra prediction (or intra prediction), inter prediction (or inter prediction), transformation, quantization, entropy coding, and/or in-loop filter. can do.
  • intra prediction or intra prediction
  • inter prediction or inter prediction
  • transformation or quantization
  • quantization quantization
  • entropy coding and/or in-loop filter.
  • An object of the present invention is to provide an image encoding/decoding method and apparatus having improved encoding efficiency.
  • an object of the present invention is to provide an image encoding/decoding method and apparatus for performing efficient prediction in an image encoding/decoding method and apparatus performing skip and/or merge mode.
  • the present invention provides an image encoding/decoding method and apparatus for efficiently signaling one prediction method among a plurality of prediction methods when the current coding block is encoded in a skip (SKIP) and/or merge (MERGE) mode It is aimed at.
  • SKIP skip
  • MERGE merge
  • an object of the present invention is to provide an image encoding/decoding method and apparatus for parsing information regarding a method for predicting a block encoded in a skip and/or merge mode.
  • an object of the present invention is to provide an image encoding/decoding method and apparatus for performing one or more motion information encoding methods when a current encoding block is not encoded in a skip and/or merge mode.
  • decoding information on a prediction method of a current block determining a prediction method of the current block based on information on the prediction method, and the determined prediction method And generating a prediction block of the current block by performing prediction on the current block based on the information, and information on a prediction method of the current block includes information on subblock merge and MMVD. It may include at least one of information, information about multi hypothesis prediction, and information about partition prediction.
  • the information on the split prediction may be information on triangular partition prediction.
  • the information on the multiple estimation prediction includes information indicating whether to perform multiple estimation prediction on the current block, and the multiple estimation prediction on the current block according to the information When it is determined that this is not performed, information about the triangulation prediction may be signaled.
  • the information on the subblock merge may be signaled before the information on the MMVD, the information on the multiple estimation prediction, and the information on the triangulation prediction.
  • the information on the prediction method of the current block includes information indicating whether the prediction method of the current block is multi-prediction prediction or triangulation prediction, and according to the information, the current block When it is determined that the prediction method of is not a multi-estimation prediction or triangulation prediction, information on the MMVD may be signaled.
  • the information on the prediction method of the current block is signaled in the order of information on subblock merge, information on MMVD, information on triangulation prediction, and information on multiple estimation prediction. Can.
  • the information on the split prediction may be information on geometric partition prediction.
  • the information on the geometric split prediction may be signaled before the information on the multiple estimation prediction.
  • the information on the prediction method of the current block is signaled in the order of information on sub-block merge, information on geometric split prediction, information on MMVD, and information on multiple estimation prediction. Can.
  • An image decoding apparatus includes at least one processor, and the processor decodes information on a prediction method of a current block, and predicts the current block based on information on the prediction method By determining, and performing prediction on the current block based on the determined prediction method, the prediction block of the current block is generated, and information about the prediction method of the current block is related to a subblock merge. It may include at least one of information, information on MMVD, information on multi hypothesis prediction, and information on partition prediction.
  • An image encoding method includes: determining a prediction method of a current block, and generating prediction blocks of the current block by performing prediction on the current block based on the determined prediction method And encoding information on a prediction method of the current block, and information on a prediction method of the current block includes information on subblock merge, information on MMVD, and multiple estimation prediction (multi. It may include at least one of information on hypothesis prediction and information on partition prediction.
  • the information on the split prediction may be information on triangular partition prediction.
  • the information on the multiple estimation prediction includes information indicating whether to perform multiple estimation prediction on the current block, and the multiple estimation prediction is not performed on the current block
  • information about the triangulation prediction may be encoded.
  • information on the subblock merge may be encoded before information on the MMVD, information on the multiple estimation prediction, and information on the triangulation prediction.
  • the information on the prediction method of the current block includes information indicating whether the prediction method of the current block is multi-prediction prediction or triangulation prediction, and the prediction method of the current block is If the prediction is not multi-prediction or triangulation, information on the MMVD may be encoded.
  • the information on the prediction method of the current block is encoded in the order of information on sub-block merge, information on MMVD, information on triangulation prediction, and information on multiple estimation prediction. Can.
  • the information on the split prediction may be information on geometric partition prediction.
  • the information on the geometric split prediction may be encoded before the information on the multiple estimation prediction.
  • the information on the prediction method of the current block is encoded in the order of information on subblock merge, information on geometric split prediction, information on MMVD, and information on multiple estimation prediction. Can.
  • An image encoding apparatus includes at least one processor, and the processor determines a prediction method of a current block and performs prediction on the current block based on the determined prediction method, Generating a prediction block of the current block, and encoding information about a prediction method of the current block, and information about a prediction method of the current block is included in information about a subblock merge, MMVD. It may include at least one of information on information, information on multi hypothesis prediction, and information on partition prediction.
  • a computer-readable recording medium can store a bitstream generated by the video encoding method of the present invention.
  • the video encoding/decoding method and apparatus may signal information regarding a prediction method of a block encoded in a skip and/or merge mode.
  • one coding block may be predicted using one prediction block shape among various prediction block shapes. Information on one of the types of the prediction block may be signaled.
  • one of the types of the prediction blocks may be selected according to a predefined signaling order.
  • the type of the other prediction block and information related thereto may be signaled.
  • the image encoding/decoding method and apparatus may include a process of parsing information on a method of predicting a block encoded in a skip and/or merge mode.
  • the order of parsing the prediction methods of the current coding block may be the order of subblock-based merge (or affine merge), partition prediction, MMVD, and multi hypothesis prediction. .
  • the order of parsing the prediction methods of the current coding block may be a sequence of subblock merge (or affine merge), partition prediction, multiple estimation prediction, and MMVD.
  • one syntax element (eg, prediction_shape) may be used for the prediction type of the current block.
  • the syntax element may use a syntax form composed of two bins such as 0, 10, 11 or 1, 01, 00.
  • a block division structure independent of a luminance component and a color difference component may be used.
  • the intra prediction mode of the color difference component block may be derived based on the intra prediction mode of the luminance component block.
  • additional steps for adjusting the intra-prediction mode may be performed.
  • a prediction mode of a current block is not a skip and/or a merge mode
  • one or more motion information encoding methods may be performed.
  • the one or more motion information encoding methods may be AMVP mode or MMVD mode.
  • at least one of the AMVP mode or the MMVD mode may use the AFFINE mode.
  • a step of signaling and parsing two motion information or three motion information according to a parameter model of the AFFINE mode may be performed.
  • the motion information may be a flag or index for a motion prediction value, a prediction direction for motion prediction, a reference picture index used for motion prediction, and/or a differential motion vector.
  • the motion information may be a flag or index for a motion prediction value, distance information of a differential motion, and/or direction information of a differential motion.
  • the image encoding/decoding method and apparatus performs a step of parsing a syntax element for whether or not AFFINE mode is applied, and parses a syntax element for the motion information encoding method according to whether AFFINE mode is applied. You can perform the steps.
  • the step of parsing the syntax element for the motion information encoding method may not be performed.
  • the prediction mode of the current block is the AFFINE mode
  • motion information can be signaled and parsed in the AMVP mode.
  • a step of parsing a syntax element for the motion information encoding method may be performed.
  • an image encoding/decoding method and apparatus with improved encoding efficiency can be provided.
  • an image encoding/decoding method and apparatus performing efficient prediction may be provided.
  • an image encoding/decoding method and apparatus for efficiently signaling one prediction method among a plurality of prediction methods is provided. Can be provided.
  • an image encoding/decoding method and apparatus for parsing information regarding a method of predicting a block encoded in a skip and/or merge mode may be provided.
  • an image encoding/decoding method and apparatus for performing one or more motion information encoding methods may be provided.
  • a computer readable recording medium storing a bitstream generated by the image encoding method and/or apparatus according to the present invention can be provided.
  • FIG. 1 is a block diagram showing the configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a form of a prediction block according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a method of signaling information on a method of predicting a block encoded in a skip and/or merge mode according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a method of signaling information on a method for predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • FIG. 6 is a view for explaining a method of signaling information on a method of predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of parsing information on a method of predicting a block encoded in a skip and/or merge mode according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of parsing information on a method for predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of parsing information on a method for predicting a block coded in a skip and/or merge mode according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a syntax table for signaling information on a method for predicting a block that is not encoded in a skip and/or merge mode according to an embodiment of the present invention, by applying one or more motion information encoding methods according to the present invention It is a drawing.
  • FIG. 11 is a syntax table for signaling information on a method for predicting a block that is not encoded in a skip and/or merge mode according to another embodiment of the present invention and signaling one or more motion information encoding methods according to the present invention. It is one drawing.
  • FIG. 12 is a diagram for explaining an example of dividing a current coding block into an arbitrary line.
  • FIG. 13 is a diagram illustrating various angles of a segmentation line of geometric segmentation prediction.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.
  • a part of the configuration of the apparatus or a part of the method may be omitted.
  • the order of some of the components of the device or the steps of the method may be changed.
  • other configurations or other steps may be inserted in some of the configuration of the device or in some of the steps of the method.
  • each component shown in the embodiments of the present invention are shown independently to indicate different characteristic functions, and do not mean that each component is composed of separate hardware or one software component unit. That is, for convenience of description, each component is listed as each component, and at least two components of each component may be combined to form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each of these components are also included in the scope of the present invention without departing from the essence of the present invention.
  • the video decoding apparatus (Video(Image) Decoding Apparatus), which will be described below, includes a civil security camera, a civil security system, a military security camera, a military security system, a personal computer (PC), a notebook computer, and a portable multimedia player (PMP, Portable Multimedia Player), a wireless communication terminal (Wireless Communication Terminal), a smart phone (Smart Phone), may be a device included in the server terminal, such as a TV application server and service server.
  • the video decoding apparatus is a user terminal such as various devices, a communication device such as a communication modem for performing communication with a wired/wireless communication network, various programs and data for performing inter-screen prediction or intra-screen prediction for decoding or decoding an image. It may mean a variety of devices including a memory for storing the data, a microprocessor for executing and controlling a program, and the like.
  • the video encoded in the bitstream by the image encoding device is real-time or non-real time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like. , Universal Serial Bus (USB, Universal Serial Bus), etc. It can be transmitted to the video decoding device through a variety of communication interfaces, such as decrypted, reconstructed and reproduced as an image.
  • the wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like.
  • USB Universal Serial Bus
  • the bitstream generated by the video encoding apparatus may be stored in the memory.
  • the memory may include both volatile memory and non-volatile memory.
  • the memory may be represented as a recording medium storing a bitstream.
  • a moving picture may be composed of a series of pictures, and each picture may be divided into coding units such as blocks.
  • coding units such as blocks.
  • picture described below may be substituted for and used with other terms having the same meaning as an image or a frame. will be.
  • coding unit can be used interchangeably with other terms having the same meaning, such as unit blocks, coding blocks, and blocks.
  • FIG. 1 is a block diagram showing the configuration of an image encoding apparatus according to an embodiment of the present invention.
  • the video encoding apparatus includes an inter prediction unit 120, an intra prediction unit 125, a subtraction unit 130, a transformation unit 140, a quantization unit 150, and an entropy encoding unit ( 160, an inverse transform unit 145, an inverse quantization unit 155, an adder 135, an in-loop filter unit 180, and/or a reconstructed picture buffer 190.
  • the inter-screen prediction unit 120 may generate a prediction signal by performing motion estimation and/or motion prediction using the input image 110 and the reconstructed image (reference image) stored in the reconstructed picture buffer 190. . That is, the inter-screen prediction unit 120 may generate a prediction block of the current encoding target block (current block) in the current picture using the reference picture.
  • the intra prediction unit 125 may generate a prediction signal by performing spatial prediction using pixel values of pre-restored neighboring blocks in a current picture spatially adjacent to a current encoding target block. That is, the intra prediction unit 125 may generate a prediction block of a current encoding target block (current block) using pixels of a neighboring block reconstructed in the current picture.
  • the subtraction unit 130 generates a residual signal by using the prediction signal generated by the inter prediction unit 120 between the input image and the screen or the intra prediction unit 125.
  • the subtraction unit 130 may generate a residual block by subtracting the prediction block of the current encoding target block from the current encoding target block. That is, the residual block may correspond to a difference between the current block and the prediction block.
  • the prediction block may be a predicted block in a screen or a predicted block between screens.
  • the transform unit 140 may generate transformed coefficients by performing transformation on the residual signal generated by the subtractor 130. In some cases, the conversion can be skipped. That is, it is not possible to perform the conversion on the residual signal. Whether to perform the conversion may be determined based on information signaled through the bitstream. Alternatively, it may be determined whether to perform the transformation based on the encoding parameters (size, color component, shape, etc.) of the current block.
  • the quantization unit 150 may generate a quantized transformed coefficient by performing quantization on the transformed coefficient generated by the transform unit 140. As described above, when transformation is not performed on the residual signal, the quantization unit 150 generates quantized coefficients by performing quantization on the residual signal generated through the subtraction unit 130. Can.
  • the output of the quantization unit 150 may be referred to as a quantized transform coefficient or a quantized coefficient. In some cases, the quantization may be skipped. That is, quantization may not be performed on the residual signal. Alternatively, quantization may not be performed on the transform coefficients. Whether to perform quantization may be determined based on information signaled through a bitstream. Alternatively, it may be determined whether to perform the transformation based on the encoding parameters (size, color component, shape, etc.) of the current block.
  • whether to perform transformation and quantization may be simultaneously determined based on information signaled through a bitstream.
  • whether to perform transformation and quantization may be simultaneously determined based on encoding parameters (size, color component, shape, etc.) of the current block.
  • the entropy encoder 160 may output a bitstream by performing entropy encoding on encoding information such as syntax elements and quantized coefficients defined in the video compression standard.
  • the inverse transform unit 145 and the inverse quantization unit 155 may inversely perform the operations of the above-described transform unit 140 and quantization unit 150, respectively.
  • the inverse transform unit 145 and the inverse quantization unit 155 may receive a quantization coefficient and sequentially perform inverse quantization and inverse transform, thereby generating a reconstructed residual signal.
  • the adder 135 generates a reconstructed signal using the predicted signal generated through the inter prediction unit 120 or the intra prediction unit 125 and the reconstructed residual signal. That is, the current block may be reconstructed by adding the prediction block and the residual block.
  • the reconstructed signal is transmitted to the in-loop filter unit 180 and at least one in-loop filter among a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) may be applied.
  • the reconstructed signal to which the in-loop filter is applied may be stored in the reconstructed picture buffer 190 as a final reconstructed signal.
  • the reconstructed signal stored in the reconstructed picture buffer 190 may be used as a reference signal in the inter prediction unit 120.
  • signal may mean a block or a picture in some cases.
  • FIG. 2 is a block diagram showing the configuration of an image decoding apparatus according to an embodiment of the present invention.
  • An image decoding apparatus includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, and an addition unit 260, an in-loop filter unit 270, and a reconstructed picture buffer 280.
  • the entropy decoding unit 210 may output the decoded information such as syntax elements and quantized coefficients by decoding the input bitstream 200.
  • the inverse quantization unit 220 and the inverse transform unit 230 may perform the same functions as the inverse quantization unit and the inverse transform unit of the image encoding apparatus. That is, the inverse quantization unit 220 and the inverse transformation unit 230 may receive a quantization coefficient and sequentially perform inverse quantization and inverse transformation to output a residual signal. Also, at least one of inverse quantization and inverse transform may not be performed based on information signaled from the bitstream and/or encoding parameters of a current decoding target block (current block).
  • the intra prediction unit 240 may generate a prediction signal by performing spatial prediction using pixel values of pre-restored neighboring blocks in a current picture spatially adjacent to a current decoding target block. That is, the intra prediction unit 240 may generate a prediction block of a current decoding target block (current block) using pixels of a neighboring block reconstructed in the current picture.
  • the inter-screen prediction unit 250 may generate a prediction signal by performing motion compensation using a motion vector extracted from a bitstream and a reconstructed image (reference image) stored in the reconstructed picture buffer 280. That is, the inter-screen prediction unit 250 may generate a prediction block of the current decoding target block (current block) in the current picture using the reference picture.
  • the adder 260 generates a reconstructed signal using the predicted signal generated through the inter prediction unit 250 or the intra prediction unit 240 and the reconstructed residual signal. That is, the current block may be reconstructed by adding the prediction block and the residual block.
  • the reconstructed signal is transmitted to the in-loop filter unit 270 and at least one in-loop filter among a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) may be applied.
  • the reconstructed signal to which the in-loop filter is applied may be stored in the reconstructed picture buffer 280 as a final reconstructed signal.
  • the reconstructed signal stored in the reconstructed picture buffer 280 may be used as a reference signal in the inter prediction unit 250.
  • FIG. 3 is a diagram illustrating a form of a prediction block according to an embodiment of the present invention.
  • a current block is divided, and prediction is performed for each divided block (prediction block) Can.
  • the image encoding/decoding method and apparatus can perform prediction by dividing one coding block into various forms.
  • One coding block may be predicted using one prediction block type among the prediction block types shown in FIG. 3.
  • information about which prediction block type is used or used for the current coding block may be signaled.
  • one of various types of prediction blocks may be applied to the coding block, and one of the types of prediction blocks may be selected according to a predefined signaling order. That is, when a type of one prediction block is selected, information regarding the type of another prediction block that follows in the signaling order may not be signaled. In addition, if the type of one prediction block is not selected, information regarding the type of the next prediction block may be signaled in the signaling order.
  • the coding block can be used as a prediction block.
  • FIG. 3B shows a case where one coding block is divided into a plurality of subblocks for prediction.
  • each of the plurality of sub-blocks can be used as a prediction block.
  • 3C illustrates a case where one coding block is divided into a plurality of triangular blocks for prediction.
  • one coding block may be divided in a diagonal direction or an inverse diagonal direction for prediction.
  • each of the plurality of triangular blocks may be used as a prediction block.
  • a final prediction block having a coding block size may be generated by weighting the PART_0 prediction block predicted with the coding block size using the information of PART_0 and the PART_1 prediction block predicted with the coding block size using the information of PART_1.
  • a weight to be applied to samples of the PART_0 prediction block at the corresponding location and samples of the PART_1 prediction block at the corresponding location may be derived based on the distance from the position of the sample in the prediction block to the diagonal or anti-diagonal line used for division.
  • the weighted sample value of the corresponding position can be calculated by applying the derived weights to the samples of the PART_0 prediction block and the samples of the PART_1 prediction block, respectively.
  • FIG. 4 is a diagram for explaining a method of signaling information on a method of predicting a block encoded in a skip and/or merge mode according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a syntax table signaling information on a method of predicting a block encoded in a skip and/or merge mode according to an embodiment of the present invention.
  • a block encoded in a skip and/or merge mode may be encoded/decoded by selecting one of a plurality of prediction methods.
  • mmvd_flag 410 is information indicating whether to use a method of transmitting a motion difference in a skip and/or merge mode.
  • merge_subblock_flag 420 is information indicating whether to use a method of dividing and predicting one coding block into a plurality of subblocks.
  • mh_intra_flag 430 is information indicating whether to use a prediction method by applying a plurality of prediction methods to one coding block and combining prediction results of a plurality of prediction methods. For example, a prediction method for performing both inter prediction and intra prediction on one coding block, and combining the prediction block generated by inter prediction and the prediction block generated by intra prediction to generate a final prediction block
  • mh_intra_flag may be set to a first value (eg 1).
  • merge_triangle_flag 440 is information indicating whether to use a method of dividing and predicting one coding block into two triangles, as shown in FIG. 3C.
  • One of a plurality of prediction methods may be selected for a block encoded in a skip and/or merge mode.
  • one selected prediction method may be signaled using the syntax structure shown in FIG. 4.
  • the prediction method used for the coding block may be signaled according to the order on the syntax structure shown in FIG. 4. That is, a prediction method used for a coding block among a plurality of prediction methods may be signaled based on a predetermined predetermined selection order.
  • the order of selection of the prediction methods may be an order of MMVD, subblock-based merge or affine merge, multi hypothesis prediction, and triangle partition prediction.
  • the order of selection of the prediction methods (signaling order) is not limited to the above example.
  • the selection order of the prediction methods may be determined based on encoding efficiency of each prediction method. For example, a prediction method having high encoding efficiency is more likely to be selected than a prediction method having low encoding efficiency.
  • a prediction method of a coding block when a prediction method of a coding block is determined, information on a prediction method subsequent to the prediction method determined in the signaling order need not be signaled. Accordingly, signaling overhead of the prediction method can be minimized by signaling information on a prediction method having high encoding efficiency before information on a prediction method having low encoding efficiency.
  • Subblock merge has higher encoding efficiency than multiple estimation prediction. Also, the subblock merge has higher coding efficiency than triangulation prediction. Also, the multiple estimation prediction has higher coding efficiency than the triangulation prediction. Therefore, the information on the subblock merge can be signaled before the information on the multiple estimation prediction and the information on the triangulation prediction. In addition, information on multiple estimation prediction may be signaled before information on triangulation prediction.
  • the selection order of the prediction methods may be determined based on the selection frequency of each prediction method. For example, when signaling for a method with a high selection frequency of a prediction method is prioritized, signaling overhead for a method with a low selection frequency can be minimized.
  • the signaling method of the prediction mode based on the coding efficiency and the signaling method of the prediction method based on the selection frequency may be used interchangeably.
  • the subblock merge has higher encoding efficiency than multiple estimation prediction, triangulation prediction, and general merging prediction. Therefore, signaling for a subblock merge mode may take precedence over other skip or merge modes.
  • the general merge prediction mode has a statistical characteristic in which the frequency of selection is highest compared to other skip or merge modes. Accordingly, in the case of signaling for the general merge prediction mode, it may take precedence over the signaling for the multiple estimation prediction or triangulation prediction mode.
  • information on MMVD is signaled before information on subblock merge.
  • information on sub-block merge may be signaled before information on MMVD.
  • the selection order of the prediction methods may be the order of subblock merge, MMVD, multiple estimation prediction, and triangular partition prediction.
  • triangulation prediction may be performed when it is determined that the prediction method of the coding block is not multiple estimation prediction. Specifically, when information indicating whether multi-prediction prediction is performed (eg, mh_intra_flag) has a second value (eg, 0), it may be determined that multi-prediction prediction is not performed on a coding block. Accordingly, for example, when mh_intra_flag is 0, information about triangulation prediction of a coding block may be signaled. In this case, the information on the triangulation prediction may mean direction information on triangulation and merge candidate index information on two triangulations.
  • the triangular division is not limited to triangular division and may refer to geometric division that divides one rectangular or square block into one arbitrary line segment.
  • two or more prediction methods among the plurality of prediction methods may be selected for a block encoded in a skip and/or merge mode.
  • the prediction method of the current coding block when the prediction method of the current coding block is selected as MMVD, subblock merge, multiple estimation prediction, and triangulation prediction are not selected. Accordingly, when the prediction method of the current coding block is not selected as the MMVD, information about subblock merge, multiple estimation prediction, and/or triangulation prediction can be signaled and parsed.
  • the prediction method of the current coding block is not MMVD and is selected as the subblock merge, multiple estimation prediction and/or triangulation prediction are not selected. Accordingly, when the prediction method of the current coding block is not MMVD and is not selected as a subblock merge, information regarding multiple estimation prediction and/or triangulation prediction may be signaled and parsed.
  • triangulation prediction is not selected. Accordingly, when the prediction method of the current coding block is not MMVD and subblock merge, and is not selected as multi-estimation prediction, information on triangulation prediction may be signaled and parsed.
  • FIG. 5 is a diagram for explaining a method of signaling information on a method for predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a syntax table signaling information on a method of predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • a block encoded in a skip and/or merge mode may be encoded/decoded by selecting one of a plurality of prediction methods.
  • the order of selection of the prediction methods may be the order of sub-block merge 510, multiple estimation prediction 520, triangulation prediction 530 and MMVD 540.
  • the order of selection of the prediction methods is not limited to the above example.
  • information on a subblock merge having the highest coding efficiency may be signaled before information on other prediction methods.
  • a prediction method of a current coding block when a prediction method of a current coding block is selected as a subblock merge, multiple estimation prediction, triangulation prediction, and MMVD are not selected. Accordingly, when the prediction method of the current coding block is not selected as a subblock merge, information regarding multiple estimation prediction, triangulation prediction, and/or MMVD may be signaled and parsed.
  • triangulation prediction and MMVD are not selected. Accordingly, when the prediction method of the current coding block is not a subblock merge and is not selected as multi-estimation prediction, information on triangulation and/or MMVD may be signaled and parsed.
  • MMVD is not selected. Accordingly, when the prediction method of the current coding block is not sub-block merge and multi-estimation prediction, and is not selected as triangulation prediction, information on MMVD may be signaled and parsed.
  • information on MMVD may be signaled when the prediction method of the current coding block does not correspond to subblock merge, multiple estimation prediction, and triangulation prediction. For example, it may be determined that the prediction method of the current coding block is not a subblock merge based on first information (eg, a flag) indicating whether the current coding block prediction method is a subblock merge.
  • first information eg, a flag
  • second information indicating whether the prediction method of the current coding block is multi-prediction prediction or triangulation prediction may be signaled. If the second information has the first value, it may be determined that the prediction method of the current coding block is multi-prediction prediction or triangulation prediction.
  • the prediction method of the current coding block may be determined to be not multi-estimation prediction or triangular division (or geometric division) prediction, and such a case is referred to as general merge. can do.
  • the second information has a second value
  • third information indicating whether the current coding block prediction method is MMVD may be signaled.
  • the third information has a first value
  • FIG. 6 is a view for explaining a method of signaling information on a method of predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a syntax table signaling information on a method for predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • a block encoded in a skip and/or merge mode may be encoded/decoded by selecting one of a plurality of prediction methods.
  • the order of selection of the prediction methods may be the order of sub-block merge 610, triangulation prediction (6200. MMVD 630 and multiple estimation prediction 640.
  • the selection order (signaling order) is not limited to the above example.
  • a prediction method of a current coding block when a prediction method of a current coding block is selected as a subblock merge, triangulation prediction, MMVD, and multiple estimation prediction are not selected. Accordingly, when a prediction method of a current coding block is not selected as a subblock merge, information on triangulation prediction, MMVD and/or multiple estimation prediction may be signaled and parsed.
  • MMVD and multiple estimation prediction are not selected. Accordingly, when the prediction method of the current coding block is not a subblock merge and is not selected as triangulation prediction, information on MMVD and/or multiple estimation prediction may be signaled and parsed.
  • the prediction method of the current coding block is not sub-block merge and triangulation, and is selected as the MMVD, multiple estimation prediction is not selected. Accordingly, when the prediction method of the current coding block is not sub-block merge and triangulation, and is not selected as the MMVD, information on triangulation may be signaled and parsed.
  • MMVD when the prediction method of the current coding block is not sub-block merge and triangulation prediction, and is selected as multiple estimation prediction, MMVD is not selected. Accordingly, as another example, if the current coding block prediction method is not sub-block merge and triangulation prediction and is not selected as multi-prediction prediction, information on MMVD may be signaled and parsed.
  • the signaling sequence described with reference to FIGS. 4 to 6 may be applied in the same manner in the encoding process and the decoding process.
  • information indicating that CU unit prediction is performed according to a prediction type of a current coding block may be signaled preferentially.
  • information about MMVD and/or multiple estimation prediction may be signaled sequentially.
  • the video decoding apparatus may parse the information on the prediction method in the same order as above.
  • information on a corresponding prediction method may be sequentially signaled according to whether sub-block prediction is performed or triangulation prediction is performed.
  • FIG. 7 is a flowchart illustrating a method of parsing information on a method of predicting a block encoded in a skip and/or merge mode according to an embodiment of the present invention.
  • information on prediction methods of a current coding block may be signaled or parsed in the order of subblock merge, triangulation prediction, MMVP, and multiple estimation prediction.
  • merge_subblock_flag 710 and merge_triangle_flag 720 may be syntax for predicting a current coding block, that is, a block shape for prediction.
  • the flags may be combined into a single syntax and used as a syntax indicating one of the types of blocks for two or more predictions.
  • FIG. 8 is a flowchart illustrating a method of parsing information on a method for predicting a block encoded in a skip and/or merge mode according to another embodiment of the present invention.
  • information on prediction methods of a current coding block may be signaled or parsed in the order of subblock merge, triangulation prediction, multiple estimation prediction, and MMVD.
  • syntax that is parsed next using a predefined condition 810 may be skipped according to the characteristics of the prediction method.
  • the number of merge candidates used in the MMVD prediction method may be used.
  • MMVP information (mmvd_flag, mmvd_data, etc.) may be omitted.
  • FIG. 9 is a flowchart illustrating a method of parsing information on a method for predicting a block coded in a skip and/or merge mode according to another embodiment of the present invention.
  • two syntax elements of merge_subblock_flag 710 and merge_triangle_flag 720 are used as a determination condition for parsing the next syntax element.
  • one syntax element prediction_shape 910 for the prediction form of the current block is used.
  • one syntax element prediction_shape 910 for the prediction form of the current block may use a syntax form composed of two bins such as 0, 10, 11, or 1, 01, 00.
  • one syntax element prediction_shape 910 for the prediction type may be used to classify a prediction method as well as a prediction form of a block.
  • the number of bins may increase depending on the number.
  • the current block in parsing prediction information of a current block, when the current block is encoded in a skip and/or merge mode, the current block is a block by parsing a syntax element for a prediction type of the current block It may be determined whether the block is predicted by a unit, a block predicted by a subblock, or a block predicted by a triangular unit.
  • the prediction information of the current block is a flag for whether the prediction for the current block is a sub-block unit prediction or not, and/or a flag for a triangular unit prediction or a block unit prediction. It can be composed of.
  • the prediction information of the current block may be configured with a flag for whether the prediction for the current block is block-wise prediction or not, and/or a flag for whether it is sub-block prediction or triangular prediction. .
  • the combination of the flags may be configured as one syntax element to mean the prediction form of the current block.
  • the one syntax element may be composed of two bins.
  • an index for sub-block unit motion merge may be parsed.
  • triangular unit prediction is performed on the current block
  • a flag for a triangle split direction and an index for motion merge may be parsed.
  • the index for motion merging may be parsed by the number of triangle units.
  • the block unit prediction mode may be, for example, a combined intra-inter prediction (CIIP), merge with mvd (MMVD), or the like.
  • CIIP combined intra-inter prediction
  • MMVD merge with mvd
  • MMVD When MMVD is performed on the current block, information about the MMVD may be signaled in a different way from the above-described embodiment. For example, if the current block is not in the skip and/or merge mode, the syntax element for MMVD may be parsed.
  • the MMVD mode may be signaled using another method of encoding motion information.
  • syntax related to the MMVD mode may be signaled or parsed.
  • the syntax associated with the MMVD mode may include information (eg, flag information), MMVD index information, MMVD distance information, and/or MMVD direction information on whether the current block prediction mode is an MMVD mode.
  • FIG. 10 is a diagram illustrating a syntax table for signaling information on a method for predicting a block that is not encoded in a skip and/or merge mode according to an embodiment of the present invention, by applying one or more motion information encoding methods according to the present invention It is a drawing.
  • information eg, a flag on whether the current block is encoded in a skip and/or merge mode may be parsed.
  • the corresponding information indicates that the current block is not encoded in the skip and/or merge mode, one or more of the above-described motion information encoding methods may be selected.
  • the above-mentioned one or more motion information encoding methods may be an AMVP mode or an MMVD mode. Also, at least one of the AMVP mode or the MMVD mode may use the AFFINE mode. At this time, when using the AFFINE mode, two motion information or three motion information may be signaled and parsed according to the parameter model of the AFFINE mode.
  • the motion information may include a flag or index for a motion prediction value, a prediction direction for motion prediction, a reference picture index used for motion prediction, and/or a differential motion vector.
  • the motion information may include a flag or index for a motion prediction value, distance information of a differential motion, and/or direction information of a differential motion.
  • information for selecting at least one of a plurality of motion information encoding methods is included as a syntax element, and parsing the syntax element may be included. Further, the syntax element may be parsed without a predefined condition, or parsed only when a predefined condition is satisfied.
  • the predefined conditions are conditions related to at least one of a block size, a quantization parameter (QP) of a current block, a type of a current tile group, a type of a current picture, and a type of a current slice.
  • QP quantization parameter
  • whether the width and/or height of the current block is smaller than a predetermined threshold may be the predefined condition.
  • the predetermined threshold may be 128.
  • whether the product (area) of the width and height of the current block is greater than a predetermined threshold may be the predefined condition.
  • the predetermined threshold may be one of 32, 64, 128, and 256.
  • whether the type of the current tile group is a B type, that is, a bi-predictive type may be the predefined condition.
  • whether the type of the current tile group is a P type or a B type may be the predefined condition. That is, whether the current tile group performs inter-screen prediction may be the predefined condition.
  • whether the type of the current picture is a B type, that is, a bi-predictive type may be the predefined condition.
  • whether the type of the current picture is a P type or a B type may be the predefined condition. That is, whether or not the current picture performs inter prediction is a predefined condition.
  • FIG. 11 is a syntax table for signaling information on a method for predicting a block that is not encoded in a skip and/or merge mode according to another embodiment of the present invention and signaling one or more motion information encoding methods according to the present invention. It is one drawing.
  • information eg, a flag on whether the current block is encoded in a skip and/or merge mode may be parsed.
  • the corresponding flag indicates that the current block is not encoded in the skip and/or merge mode, one or more of the motion information encoding methods described above may be selected.
  • the step of parsing the syntax element for whether or not the AFFINE mode is applied may be performed first, and the syntax element for the motion information encoding method may or may not be included according to whether the AFFINE mode is applied.
  • the parsing step of the syntax element for the motion information encoding method may not be performed. That is, when the AFFINE mode is selected for the current block, motion information is signaled in the AMVP mode, and a method of parsing it may be used.
  • a parsing step of a syntax element for the motion information encoding method may be performed.
  • the one or more motion information encoding methods may be AMVP mode or MMVD mode.
  • at this time at least one of the AMVP mode or the MMVD mode may use the AFFINE mode.
  • the motion information may include a flag or index for a motion prediction value, a prediction direction for motion prediction, a reference picture index used for motion prediction, and/or a differential motion vector.
  • the motion information may include a flag or index for a motion prediction value, distance information of a differential motion, and/or direction information of a differential motion.
  • information for selecting at least one of a plurality of motion information encoding methods is included as a syntax element, and parsing the syntax element may be included. Further, the syntax element may be parsed without a predefined condition, or parsed only when a predefined condition is satisfied.
  • the predefined conditions are related to at least one of a block size, a quantization parameter (QP) of a current block, a type of a current tile group, a type of a current picture, and a type of a current slice. It can be a condition.
  • whether the width and/or height of the current block is smaller than a predetermined threshold may be the predefined condition.
  • the predetermined threshold may be 128.
  • whether the product (area) of the width and height of the current block is greater than a predetermined threshold may be the predefined condition.
  • the predetermined threshold may be one of 32, 64, 128, and 256.
  • whether the type of the current tile group is a B type, that is, a bi-predictive type may be the predefined condition.
  • whether the type of the current tile group is a P type or a B type may be the predefined condition. That is, whether the current tile group performs inter-screen prediction may be the predefined condition.
  • whether the type of the current picture is a B type, that is, a bi-predictive type may be the predefined condition.
  • whether the type of the current picture is a P type or a B type may be the predefined condition. That is, whether or not the current picture performs inter prediction is a predefined condition.
  • Triangulation prediction of the present disclosure is a method of predicting a current coding block by dividing it into diagonal or inverted diagonal lines, as shown in FIG. 3C.
  • the method of dividing the current coding block is not limited to the example of FIG. 3C.
  • a line dividing the current coding block may be a line having an arbitrary starting point and an arbitrary angle.
  • a line dividing the current coding block may be defined as an arbitrary start point and an arbitrary end point.
  • FIG. 12 is a diagram for explaining an example of dividing a current coding block into an arbitrary line.
  • the current coding block may be predicted by being divided into various shapes with arbitrary lines.
  • any line dividing the current coding block may be defined as a starting point and an angle or a starting point and an ending point, as described above.
  • information on a dividing line for dividing a current coding block is predefined in an encoder/decoder, and by signaling an index through a bitstream, a dividing line for dividing the current coding block can be derived.
  • a method of predicting a current coding block by dividing it with an arbitrary line may be referred to as geometric partition prediction. Since the triangulation prediction may be included as one of the geometric division predictions, when geometric division prediction is used, information about the triangulation prediction may not be signaled.
  • information on geometric split prediction may be signaled instead of information on triangular split prediction.
  • Geometric segmentation prediction may be performed in the same manner as triangular segmentation prediction described above. Therefore, the information on the geometric segmentation prediction may be the same as the information on the triangulation segmentation prediction.
  • the coding efficiency of geometric split prediction may be higher than that of triangular split prediction. That is, since the current coding block is predicted by dividing it more precisely, the accuracy of prediction is increased, and thus the coding efficiency can be improved.
  • the geometric split prediction may have higher encoding efficiency than the triangular split prediction
  • the signaling and/or parsing order of the prediction method in various embodiments described above may be changed.
  • the coding efficiency of geometric split prediction may be higher than that of MMVD and/or multiple estimation prediction.
  • the signaling order of the prediction method may be the order of subblock merge, geometric division prediction, MMVD, and multiple estimation prediction.
  • the signaling order of the prediction method may be the order of subblock merge, MMVD, geometric division prediction, and multiple estimation prediction.
  • the signaling order of the prediction method may be geometric split prediction, subblock merge, MMVD, and multiple estimation prediction.
  • FIG. 13 is a diagram illustrating various angles of a segmentation line of geometric segmentation prediction.
  • the encoder/decoder may predefine the angle of a segmentation line of geometric segmentation prediction.
  • various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • Universal It can be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor.
  • the scope of the present disclosure includes software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause an operation according to the method of various embodiments to be executed on a device or computer, and such software or Instructions include a non-transitory computer-readable medium that is stored and executable on a device or computer.
  • software or Instructions include a non-transitory computer-readable medium that is stored and executable on a device or computer.
  • the present invention can be used to encode/decode an image.

Abstract

영상 복호화 방법, 영상 복호화 장치, 영상 부호화 방법, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체가 제공된다. 본 발명에 따른 영상 복호화 방법은, 현재 블록의 예측 방법에 관한 정보를 복호화하는 단계, 상기 예측 방법에 관한 정보에 기초하여 상기 현재 블록의 예측 방법을 결정하는 단계, 상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하고, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함할 수 있다.

Description

영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체
본 발명은 영상 부호화/복호화에 관한 것이다. 특히, 본 발명은 영상 부호화/복호화 기술 중 움직임 병합 기술에 관한 것이다. 구체적으로, 본 발명은 스킵 및/또는 병합 모드로 부호화된 부호화 블록에 대한 예측 방법을 전송하고 파싱하는 방법 및 장치에 관한 것이다. 또한, 본 발명은 스킵 및/또는 병합 모드로 부호화된 부호화 블록에 대한 예측 방법 및 차분 움직임 벡터를 전송할 때, 복수의 예측 방법들 중 하나의 예측 방법을 선택하고 이에 기초하여 관련 정보를 부호화/복호화하는 방법 및 장치에 관한 것이다. 또한, 본 발명은 스킵 및/또는 병합 모드로 부호화된 부호화 블록에 대한 예측 방법에 관한 정보를 시그널링하는 영상 부호화/복호화 방법 및 장치에 관한 것이다.
고해상도 영상에 대한 시장의 수요가 증가하고 있으며, 이에 따라 고해상도 영상을 효율적으로 압축할 수 있는 기술이 필요하다. 이러한 시장의 요구에 따라 ISO/IEC의 MPEG (Moving Picture Expert Group)과 ITU-T의 VCEG (Video Coding Expert Group)이 공동으로 JCT-VC (Joint Collaborative Team on Video Coding)를 결성하여, HEVC (High Efficiency Video Coding) 비디오 압축 표준을 2013년 1월에 개발 완료했으며, 차세대 압축 표준에 대한 연구 및 개발을 활발히 진행해오고 있다.
동영상 압축에 적용되는 기술은 크게 화면 내 예측 (또는 인트라 예측), 화면 간 예측(또는 인터 예측), 변환, 양자화, 엔트로피(Entropy coding) 부호화 및/또는 인루프 필터(In-loop filter)를 포함할 수 있다. 한편, 고해상도 영상에 대한 수요가 증가함과 함께, 새로운 영상 서비스로서 입체 영상 컨텐츠에 대한 수요도 함께 증가하고 있다. 이에 따라, 고해상도 및 초고해상도의 입체 영상 콘텐츠를 효과적으로 제공하기 위한 영상 압축 기술에 대해서도 논의가 활발히 진행되고 있다.
본 발명은 부호화 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 스킵 및/또는 병합 모드를 수행하는 영상 부호화/복호화 방법 및 장치에 있어, 효율적인 예측을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 현재 부호화 블록이 스킵(SKIP) 및/또는 병합(MERGE) 모드로 부호화된 경우, 복수의 예측 방법 중 하나의 예측 방법을 효율적으로 시그널링하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 현재 부호화 블록이 스킵 및/또는 병합 모드로 부호화 되지 않은 경우에, 하나 이상의 움직임 정보 부호화 방법을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 본 발명에 따른 영상 부호화 방법 및/또는 장치에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 일 양상에 따른 영상 복호화 방법은, 현재 블록의 예측 방법에 관한 정보를 복호화하는 단계, 상기 예측 방법에 관한 정보에 기초하여 상기 현재 블록의 예측 방법을 결정하는 단계, 상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하고, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 분할 예측에 관한 정보는 삼각 분할 예측(triangle partition prediction)에 관한 정보일 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 다중 추정 예측에 관한 정보는 상기 현재 블록에 대해 다중 추정 예측을 수행할지 여부를 나타내는 정보를 포함하고, 상기 정보에 따라 상기 현재 블록에 대해 상기 다중 추정 예측이 수행되지 않는 것으로 판단되는 경우, 상기 삼각 분할 예측에 관한 정보가 시그널링될 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 서브블록 머지에 관한 정보는 상기 MMVD에 관한 정보, 상기 다중 추정 예측에 관한 정보 및 상기 삼각 분할 예측에 관한 정보보다 먼저 시그널링될 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 현재 블록의 예측 방법에 관한 정보는 상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측인지 여부를 나타내는 정보를 포함하고, 상기 정보에 따라 상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측이 아닌 것으로 판단되는 경우, 상기 MMVD에 관한 정보가 시그널링될 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, MMVD에 관한 정보, 삼각 분할 예측에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 시그널링될 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 분할 예측에 관한 정보는 기하학적 분할 예측(geometric partition prediction)에 관한 정보일 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 기하학적 분할 예측에 관한 정보는 상기 다중 추정 예측에 관한 정보보다 먼저 시그널링될 수 있다.
본 발명에 따른 영상 복호화 방법에 있어서, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, 기하학적 분할 예측에 관한 정보, MMVD에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 시그널링될 수 있다.
본 발명의 다른 양상에 따른 영상 복호화 장치는 적어도 하나의 프로세서를 포함하고, 상기 프로세서는, 현재 블록의 예측 방법에 관한 정보를 복호화하고, 상기 예측 방법에 관한 정보에 기초하여 상기 현재 블록의 예측 방법을 결정하고, 상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하고, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 양상에 따른 영상 부호화 방법은, 현재 블록의 예측 방법을 결정하는 단계, 상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하는 단계, 및 상기 현재 블록의 예측 방법에 관한 정보를 부호화하는 단계를 포함하고, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 분할 예측에 관한 정보는 삼각 분할 예측(triangle partition prediction)에 관한 정보일 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 다중 추정 예측에 관한 정보는 상기 현재 블록에 대해 다중 추정 예측을 수행할지 여부를 나타내는 정보를 포함하고, 상기 현재 블록에 대해 상기 다중 추정 예측이 수행되지 않는 경우, 상기 삼각 분할 예측에 관한 정보가 부호화될 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 서브블록 머지에 관한 정보는 상기 MMVD에 관한 정보, 상기 다중 추정 예측에 관한 정보 및 상기 삼각 분할 예측에 관한 정보보다 먼저 부호화될 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 현재 블록의 예측 방법에 관한 정보는 상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측인지 여부를 나타내는 정보를 포함하고, 상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측이 아닌 경우, 상기 MMVD에 관한 정보가 부호화될 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, MMVD에 관한 정보, 삼각 분할 예측에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 부호화될 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 분할 예측에 관한 정보는 기하학적 분할 예측(geometric partition prediction)에 관한 정보일 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 기하학적 분할 예측에 관한 정보는 상기 다중 추정 예측에 관한 정보보다 먼저 부호화될 수 있다.
본 발명에 따른 영상 부호화 방법에 있어서, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, 기하학적 분할 예측에 관한 정보, MMVD에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 부호화될 수 있다.
본 발명의 또 다른 양상에 따른 영상 부호화 장치는 적어도 하나의 프로세서를 포함하고, 상기 프로세서는, 현재 블록의 예측 방법을 결정하고, 상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하고, 상기 현재 블록의 예측 방법에 관한 정보를 부호화하는 단계를 포함하고, 상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 양상에 따른 컴퓨터 판독 가능한 기록 매체는 본 발명의 영상 부호화 방법에 의해 생성된 비트스트림을 저장할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링할 수 있다.
또한, 하나의 부호화 블록은 다양한 예측 블록의 형태 중 하나의 예측 블록의 형태를 사용하여 예측될 수 있다. 상기 예측 블록의 형태 중 하나에 대한 정보가 시그널링될 수 있다.
또한, 미리 정의된 시그널링 순서에 따라 상기 예측 블록의 형태 중 하나가 선택될 수 있다. 상기 예측 블록의 형태 중 하나가 선택되지 않은 경우에 한하여 다른 예측 블록의 형태와 그에 관한 정보가 시그널링될 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 프로세스를 포함할 수 있다.
또한, 현재 부호화 블록의 예측 방법들을 파싱하는 순서는 서브블록 머지(subblock-based merge (혹은 affine merge)), 분할 예측(partition prediction), MMVD 및 다중 추정 예측(multi hypothesis prediction)의 순서일 수 있다.
또한, 현재 부호화 블록의 예측 방법들을 파싱하는 순서는 서브블록 머지(혹은 affine merge), 분할 예측(partition prediction), 다중 추정 예측 및 MMVD의 순서일 수 있다.
또한, 현재 블록의 예측 형태에 대하여 하나의 신택스 요소(예컨대, prediction_shape)가 이용될 수 있다. 상기 신택스 요소는 0, 10, 11 혹은, 1, 01, 00 등의 두 개의 bin으로 구성되는 신택스 형태를 사용할 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 휘도 성분과 색차 성분에 대해 독립적인 블록 분할 구조를 사용할 수 있다.
휘도 성분 블록과 그에 대응하는 색차 성분 블록의 분할 형태가 서로 상이한 경우, 휘도 성분 블록의 화면 내 예측 모드에 기초하여 색차 성분 블록의 화면 내 예측 모드를 유도할 수 있다. 이 때, 휘도 성분 블록의 화면 내 예측 모드 및 색차 성분 블록의 화면 내 예측 모드 중 적어도 하나의 모드가 확장된 방향성 모드일 때, 화면 내 예측 모드를 조정하기 위한 추가적인 단계가 수행될 수 있다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는, 현재 블록의 예측 모드가 스킵 및/또는 병합 모드인지의 여부에 대한 정보를 파싱한 후, 현재 블록의 예측 모드가 스킵 및/또는 병합 모드가 아닌 경우, 하나 이상의 움직임 정보 부호화 방법을 수행할 수 있다.
또한, 상기 하나 이상의 움직임 정보 부호화 방법은, AMVP 모드 혹은 MMVD 모드일 수 있다. 또한, AMVP 모드 혹은 MMVD 모드 중 적어도 하나는 AFFINE 모드를 사용할 수 있다. 상기 AFFINE 모드를 사용하는 경우에는 AFFINE 모드의 파라미터 모델에 따라 2개의 움직임 정보 혹은 3개의 움직임 정보를 시그널링하고 이를 파싱하는 단계가 수행될 수 있다.
또한, AMVP 모드의 경우, 상기 움직임 정보는 움직임 예측치에 대한 플래그 혹은 인덱스, 움직임 예측을 위한 예측 방향, 움직임 예측에 사용되는 참조 픽처 인덱스 및/또는 차분 움직임 벡터일 수 있다. MMVD 모드의 경우, 상기 움직임 정보는 움직임 예측치에 대한 플래그 혹은 인덱스, 차분 움직임의 거리 정보 및/또는 차분 움직임의 방향 정보일 수 있다.
또한, 본 발명에 따른 영상 부호화/복호화 방법 및 장치는, AFFINE 모드의 적용 여부에 대한 신택스 요소를 파싱하는 단계를 수행하고, AFFINE 모드의 적용 여부에 따라 상기 움직임 정보 부호화 방법에 대한 신택스 요소를 파싱하는 단계를 수행할 수 있다.
현재 블록의 예측 모드가 AFFINE 모드인 경우, 상기 움직임 정보 부호화 방법에 대한 신택스 요소를 파싱하는 단계는 수행되지 않을 수 있다. 상기 현재 블록의 예측 모드가 AFFINE 모드인 경우, AMVP 모드로 움직임 정보를 시그널링하고 파싱할 수 있다.
현재 블록의 예측 모드가 AFFINE 모드가 아닌 경우, 상기 움직임 정보 부호화 방법에 대한 신택스 요소를 파싱하는 단계가 수행될 수 있다.
본 발명에 따르면, 부호화 효율이 향상된 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 스킵 및/또는 병합 모드를 수행하는 영상 부호화/복호화 방법 및 장치에 있어, 효율적인 예측을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 현재 부호화 블록이 스킵(SKIP) 및/또는 병합(MERGE) 모드로 부호화된 경우, 복수의 예측 방법 중 하나의 예측 방법을 효율적으로 시그널링하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 현재 부호화 블록이 스킵 및/또는 병합 모드로 부호화 되지 않은 경우에, 하나 이상의 움직임 정보 부호화 방법을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 본 발명에 따른 영상 부호화 방법 및/또는 장치에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 예측 블록의 형태를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 방법에 관한 흐름도이다.
도 8은 본 발명의 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 방법에 관한 흐름도이다.
도 9는 본 발명의 또 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 방법에 관한 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 스킵 및/또는 병합 모드로 부호화 되지 않은 블록의 예측 방법에 관한 정보를, 본 발명에 따른 하나 이상의 움직임 정보 부호화 방법을 적용하여 시그널링하는 신택스 테이블을 도시한 도면이다.
도 11은 본 발명의 또 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화되지 않은 블록의 예측 방법에 관한 정보를, 본 발명에 따른 하나 이상의 움직임 정보 부호화 방법을 적용하여 시그널링하는 신택스 테이블을 도시한 도면이다.
도 12는 현재 부호화 블록을 임의의 선으로 분할하는 예를 설명하기 위한 도면이다.
도 13은 기하학적 분할 예측의 분할 선의 다양한 각도를 예시한 도면이다.
본 명세서에 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다.
또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 본 명세서에서 설명되는 장치 및 방법에 관한 실시예에 있어서, 장치의 구성 일부 또는 방법의 단계 일부는 생략될 수 있다. 또한 장치의 구성 일부 또는 방법의 단계 일부의 순서가 변경될 수 있다. 또한 장치의 구성 일부 또는 방법의 단계 일부에 다른 구성 또는 다른 단계가 삽입될 수 있다.
또한, 본 발명의 제1 실시예의 일부 구성 또는 일부 단계는 본 발명의 제2 실시예에 부가되거나, 제2 실시예의 일부 구성 또는 일부 단계를 대체할 수 있다.
덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.
이하에서 후술할 영상 복호화 장치(Video(Image) Decoding Apparatus)는 민간 보안 카메라, 민간 보안 시스템, 군용 보안 카메라, 군용 보안 시스템, 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있다.
또한, 영상 복호화 장치는 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 예측 또는 화면 내 예측을 실행하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치(Image Encoding Apparatus)에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus)등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.
또한, 영상 부호화 장치에 의해 생성된 비트스트림은 메모리에 저장될 수 있다. 상기 메모리는 휘발성 메모리와 비휘발성 메모리를 모두 포함할 수 있다. 본 명세서에서 메모리는 비트스트림을 저장한 기록 매체로 표현될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)들로 구성될 수 있으며, 각 픽처들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽처라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 그리고 코딩 유닛이라는 용어는 단위 블록, 부호화 블록, 블록 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 비디오 부호화 장치는 화면 간 예측부(120), 화면 내 예측부(125), 감산부(130), 변환부(140), 양자화부(150), 엔트로피 부호화부(160), 역변환부(145), 역양자화부(155), 가산부(135), 인-루프 필터부(180) 및/또는 복원 픽처 버퍼(190)를 포함할 수 있다.
화면 간 예측부(120)는 입력 영상(110)과 복원 픽처 버퍼(190)에 저장되어 있는 복원 영상(참조 영상)을 이용하여 움직임 추정 및/또는 움직임 예측을 수행함으로써 예측 신호를 생성할 수 있다. 즉, 화면 간 예측부(120)는 참조 픽처를 이용하여 현재 픽처 내 현재 부호화 대상 블록(현재 블록)의 예측 블록을 생성할 수 있다.
화면 내 예측부(125)는 현재 부호화 대상 블록과 공간적으로 인접하는 현재 픽처 내 기-복원된 주변 블록의 화소 값을 이용하여 공간적 예측을 수행함으로써, 예측 신호를 생성할 수 있다. 즉, 화면 내 예측부(125)는 현재 픽처 내 복원된 주변 블록의 화소를 이용하여 현재 부호화 대상 블록(현재 블록)의 예측 블록을 생성할 수 있다.
감산부(130)는 입력 영상과 화면 간 예측부(120) 혹은 화면 내 예측부(125)를 통해 생성된 예측 신호를 이용하여 잔차 신호(residual signal)를 생성한다. 예컨대, 감산부(130)는 현재 부호화 대상 블록으로부터 현재 부호화 대상 블록의 예측 블록을 감산함으로써, 잔차 블록을 생성할 수 있다. 즉, 잔차 블록은 현재 블록과 예측 블록의 차(difference)에 해당할 수 있다. 이 때, 예측 블록은 화면 내 예측된 블록 또는 화면 간 예측된 블록일 수 있다.
변환부(140)는 감산부(130)를 통해 생성된 잔차 신호에 대하여 변환을 수행함으로써 변환 계수(transformed coefficient)를 생성할 수 있다. 경우에 따라, 상기 변환은 스킵될 수 있다. 즉, 잔차 신호에 대하여 변환을 수행하지 않을 수 있다. 변환의 수행 여부는 비트스트림을 통해 시그널링되는 정보에 기초하여 결정될 수 있다. 또는 현재 블록의 부호화 파라미터(크기, 색 성분, 형태 등)에 기초하여 변환 수행 여부가 결정될 수도 있다.
양자화부(150)는 변환부(140)를 통해 생성된 변환 계수(transformed coefficient)에 대하여 양자화를 수행함으로써, 양자화된 변환 계수(quantized transformed coefficient)를 생성할 수 있다. 전술한 바와 같이, 잔차 신호에 대하여 변환이 수행되지 않는 경우, 양자화부(150)는 감산부(130)를 통해 생성된 잔차 신호에 대하여 양자화를 수행함으로써, 양자화된 계수(quantized coefficient)를 생성할 수 있다. 양자화부(150)의 출력은 양자화된 변환 계수 또는 양자화된 계수로 호칭될 수 있다. 경우에 따라, 상기 양자화는 스킵될 수 있다. 즉, 잔차 신호에 대하여 양자화가 수행되지 않을 수 있다. 또는 변환 계수에 대하여 양자화가 수행되지 않을 수 있다. 양자화의 수행 여부는 비트스트림을 통해 시그널링되는 정보에 기초하여 결정될 수 있다. 또는 현재 블록의 부호화 파라미터(크기, 색 성분, 형태 등)에 기초하여 변환 수행 여부가 결정될 수도 있다.
또는 변환 및 양자화의 수행 여부가 비트스트림을 통해 시그널링되는 정보에 기초하여 동시에 결정될 수도 있다. 또는 현재 블록의 부호화 파라미터(크기, 색 성분, 형태 등)에 기초하여 변환 및 양자화의 수행 여부가 동시에 결정될 수도 있다.
엔트로피 부호화부(160)는 비디오 압축 표준에 정의된 신택스 요소(syntax elements) 및 양자화된 계수 등과 같은 부호화 정보에 대하여 엔트로피 부호화를 수행함으로써 비트스트림을 출력할 수 있다.
역변환부(145) 및 역양자화부(155)는 각각 전술한 변환부(140) 및 양자화부(150)의 동작을 반대로(inversely) 수행할 수 있다. 역변환부(145) 및 역양자화부(155)는 양자화 계수를 수신하여 역양자화 및 역변환을 차례대로 수행함으로써, 복원된 잔차 신호를 생성할 수 있다.
가산부(135)는 화면 간 예측부(120) 또는 화면 내 예측부(125)를 통해 생성된 예측 신호와 복원된 잔차 신호를 이용하여 복원 신호를 생성한다. 즉, 예측 블록과 잔차 블록을 가산하여 현재 블록을 복원할 수 있다.
복원 신호는 인-루프 필터부(180)로 전달되어 디블록킹 필터, SAO (Sample Adaptive Offset), ALF (Adaptive Loop Filter) 중 적어도 하나의 인-루프 필터가 적용될 수 있다. 인-루프 필터가 적용된 복원 신호는 최종 복원 신호로서 복원 픽처 버퍼(190)에 저장될 수 있다.
복원 픽처 버퍼(190)에 저장된 복원 신호는 화면 간 예측부(120)에서 참조 신호로 사용될 수 있다.
본 명세서에서 “신호”는 경우에 따라 블록을 의미할 수도 있고, 픽처를 의미할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 화면 내 예측부(240), 화면 간 예측부(250), 가산부(260), 인-루프 필터부(270), 복원 픽처 버퍼(280)를 포함할 수 있다.
엔트로피 복호화부(210)는 입력된 비트스트림(200)을 복호화함으로써 신택스 요소(syntax elements) 및 양자화된 계수 등과 같은 복호화된 정보를 출력할 수 있다.
역양자화부(220) 및 역변환부(230)는 영상 부호화 장치의 역양자화부 및 역변환부와 동일한 기능을 수행할 수 있다. 즉, 역양자화부(220) 및 역변환부(230)는 양자화 계수를 수신하여 역양자화 및 역변환을 차례대로 수행함으로써 잔차 신호(residual signal)를 출력할 수 있다. 또한, 비트스트림으로부터 시그널링되는 정보 및/또는 현재 복호화 대상 블록(현재 블록)의 부호화 파라미터에 기초하여 역양자화 및 역변환 중 적어도 하나가 수행되지 않을 수 있다.
화면 내 예측부(240)는 현재 복호화 대상 블록과 공간적으로 인접하는 현재 픽처 내 기-복원된 주변 블록의 화소 값을 이용하여 공간적 예측을 수행함으로써, 예측 신호를 생성할 수 있다. 즉, 화면 내 예측부(240)는 현재 픽처 내 복원된 주변 블록의 화소를 이용하여 현재 복호화 대상 블록(현재 블록)의 예측 블록을 생성할 수 있다.
화면 간 예측부(250)는 비트스트림으로부터 추출된 움직임 벡터와 복원 픽처 버퍼(280)에 저장되어 있는 복원 영상(참조 영상)을 이용하여 움직임 보상을 수행함으로서 예측 신호를 생성할 수 있다. 즉, 화면 간 예측부(250)는 참조 픽처를 이용하여 현재 픽처 내 현재 복호화 대상 블록(현재 블록)의 예측 블록을 생성할 수 있다.
가산부(260)는 화면 간 예측부(250) 또는 화면 내 예측부(240)를 통해 생성된 예측 신호와 복원된 잔차 신호를 이용하여 복원 신호를 생성한다. 즉, 예측 블록과 잔차 블록을 가산하여 현재 블록을 복원할 수 있다.
복원 신호는 인-루프 필터부(270)로 전달되어 디블록킹 필터, SAO (Sample Adaptive Offset), ALF (Adaptive Loop Filter) 중 적어도 하나의 인-루프 필터가 적용될 수 있다. 인-루프 필터가 적용된 복원 신호는 최종 복원 신호로서 복원 픽처 버퍼(280)에 저장될 수 있다.
복원 픽처 버퍼(280)에 저장된 복원 신호는 화면 간 예측부(250)에서 참조 신호로 사용될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 예측 블록의 형태를 도시한 도면이다.
본 발명의 일 실시 예에 따른 영상 부호화/복호화 방법 및 장치에서 예측을 수행할 때, 도 3에 도시된 바와 같이 현재 블록을 분할하고, 각각의 분할된 블록(예측 블록)에 대해 예측을 수행할 수 있다.
도 3에 도시된 바와 같이, 본 발명에 따른 영상 부호화/복호화 방법 및 장치는 하나의 부호화 블록을 다양한 형태로 분할하여 예측을 수행할 수 있다. 하나의 부호화 블록은 도 3에 도시된 예측 블록의 형태 중 하나의 예측 블록의 형태를 사용하여 예측될 수 있다. 또한, 현재 부호화 블록에 대해 어떤 예측 블록의 형태가 사용되는지 또는 사용되었는지에 대한 정보가 시그널링될 수 있다.
전술한 바와 같이, 부호화 블록에 대해 다양한 예측 블록의 형태 중 하나가 적용될 수 있으며, 미리 정의된 시그널링 순서에 따라 상기 예측 블록의 형태 중 하나가 선택될 수 있다. 즉, 하나의 예측 블록의 형태가 선택되면 시그널링 순서상 후속하는 다른 예측 블록의 형태에 관한 정보는 시그널링되지 않을 수 있다. 또한, 하나의 예측 블록의 형태가 선택되지 않으면, 시그널링 순서상 다음 예측 블록의 형태에 관한 정보가 시그널링될 수 있다.
도 3의 (a)는 하나의 부호화 블록이 예측을 위해 분할되지 않는 경우를 도시한다. 이 경우, 부호화 블록이 예측 블록으로 이용될 수 있다.
도 3의 (b)는 하나의 부호화 블록이 예측을 위해 복수의 서브블록들로 분할되는 경우를 도시한다. 이 경우, 복수의 서브블록들의 각각이 예측 블록으로 이용될 수 있다.
도 3의 (c)는 하나의 부호화 블록이 예측을 위해 복수의 삼각 블록들로 분할되는 경우를 도시한다. 예컨대, 하나의 부호화 블록이 예측을 위해 대각 방향 또는 역대각 방향으로 분할될 수 있다. 이 경우, 복수의 삼각 블록들의 각각이 예측 블록으로 이용될 수 있다. 또는 PART_0의 정보를 이용하여 부호화 블록 크기로 예측된 PART_0 예측 블록과 PART_1의 정보를 이용하여 부호화 블록 크기로 예측된 PART_1 예측 블록을 가중합함으로써 부호화 블록 크기의 최종 예측 블록을 생성할 수도 있다. 예컨대, 예측 블록 내 샘플의 위치로부터 분할에 이용된 대각선 또는 역대각선까지의 거리에 기초하여 해당 위치의 PART_0 예측 블록의 샘플과 해당 위치의 PART_1 예측 블록의 샘플에 적용될 가중치를 유도할 수 있다. 또한 유도된 가중치를 각각 PART_0 예측 블록의 샘플과 PART_1 예측 블록의 샘플에 적용하여 가중합을 구함으로써 해당 위치의 가중합된 샘플값을 계산할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 방법을 설명하기 위한 도면이다.
예를 들어, 도 4는 본 발명의 일 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 신택스 테이블을 도시한 도면이다.
도 4에서 도시된 바와 같이, 스킵 및/또는 병합 모드로 부호화된 블록은 복수의 예측 방법 중 하나의 방법을 선택하여 부호화/복호화될 수 있다.
mmvd_flag(410)는 스킵 및/또는 병합 모드에서 움직임 차분을 전송하는 방법을 사용할지 여부를 나타내는 정보이다.
또한, merge_subblock_flag(420)는 하나의 부호화 블록을 복수의 서브블록들로 분할하여 예측하는 방법을 사용할지 여부를 나타내는 정보이다.
또한, mh_intra_flag(430)는 하나의 부호화 블록에 대해 복수의 예측 방법을 적용하고, 복수의 예측 방법의 예측 결과를 결합하여 예측하는 방법을 사용할지 여부를 나타내는 정보이다. 예컨대, 하나의 부호화 블록에 대해 화면 간 예측과 화면 내 예측을 모두 수행하고, 화면 간 예측에 의해 생성된 예측 블록과 화면 내 예측에 의해 생성된 예측 블록을 결합하여 최종 예측 블록을 생성하는 예측 방법이 사용되는 경우, mh_intra_flag는 제1값(예컨대, 1)으로 설정될 수 있다.
또한, merge_triangle_flag(440)는 도 3의 (c)에 도시된 바와 같이, 하나의 부호화 블록을 두 개의 삼각형 형태로 분할하여 예측하는 방법을 사용할지 여부를 나타내는 정보이다.
스킵 및/또는 병합 모드로 부호화된 블록에 대해 복수의 예측 방법 중 하나가 선택될 수 있다. 또한, 선택된 하나의 예측 방법은 도 4에 도시된 신택스 구조를 이용하여 시그널링될 수 있다. 부호화 블록에 대해 사용된 예측 방법은 도 4에 도시된 신택스 구조 상의 순서에 따라 시그널링될 수 있다. 즉, 복수의 예측 방법 중 부호화 블록에 대해 사용된 예측 방법은 미리 정해진 소정의 선택 순서에 기초하여 시그널링될 수 있다.
상기 예측 방법들의 선택 순서는 MMVD, 서브블록 머지(subblock-based merge or affine merge), 다중 추정 예측(multi hypothesis prediction) 및 삼각 분할 예측(triangle partition prediction)의 순서일 수 있다. 그러나, 예측 방법들의 선택 순서(시그널링 순서)는 상기 예로 한정되지 않는다.
상기 예측 방법들의 선택 순서는 각 예측 방법들의 부호화 효율에 기초하여 결정될 수 있다. 예컨대, 부호화 효율이 높은 예측 방법은 부호화 효율이 낮은 예측 방법보다 선택될 확률이 높다. 또한, 부호화 블록의 예측 방법이 결정되면, 시그널링 순서 상 결정된 예측 방법에 후속하는 예측 방법에 대한 정보는 시그널링할 필요가 없다. 따라서, 부호화 효율이 높은 예측 방법에 대한 정보를 부호화 효율이 낮은 예측 방법에 대한 정보보다 먼저 시그널링함으로써, 예측 방법의 시그널링 오버헤드를 최소화할 수 있다.
서브블록 머지는 다중 추정 예측보다 높은 부호화 효율을 갖는다. 또한 서브블록 머지는 삼각 분할 예측 보다 높은 부호화 효율을 갖는다. 또한, 다중 추정 예측은 삼각 분할 예측 보다 높은 부호화 효율을 갖는다. 따라서, 서브블록 머지에 관한 정보는 다중 추정 예측에 관한 정보 및 삼각 분할 예측에 관한 정보보다 먼저 시그널링될 수 있다. 또한, 다중 추정 예측에 관한 정보는 삼각 분할 예측에 관한 정보보다 먼저 시그널링될 수 있다.
이에 추가적으로 상기 예측 방법들의 선택 순서는 각 예측 방법들의 선택 빈도에 기초하여 결정될 수 있다. 예컨대, 예측 방법의 선택 빈도가 높은 방법에 대한 시그널링이 우선하는 경우 선택 빈도가 낮은 방법에 대한 시그널링 오버헤드를 최소화할 수 있다. 혹은, 상기 부호화 효율에 기초한 예측 모드의 시그널링 방법과 선택 빈도에 기초한 예측 방법의 시그널링 방법이 혼용되어 사용될 수 있다.
일 실시 예로 서브블록 머지는 다중 추정 예측, 삼각 분할 예측, 일반적인 병합 예측 보다 높은 부호화 효율을 갖는다. 따라서 서브블록 머지 모드에 대한 시그널링은 다른 스킵 혹은 병합 모드에 우선할 수 있다. 이에 추가적으로 일반적인 병합 예측 (regular merge) 모드의 경우에는 다른 스킵 혹은 병합 모드에 비해 선택 빈도가 가장 높게 나타나는 통계적인 특성을 가진다. 따라서, 일반적인 병합 예측 모드에 대한 시그널링의 경우 다중 추정 예측 혹은 삼각 분할 예측 모드에 대한 시그널링에 우선할 수 있다.
도 4에 도시된 예에서, MMVD에 관한 정보가 서브블록 머지에 관한 정보보다 먼저 시그널링된다. 그러나 이에 한정되지 않으며, 서브블록 머지에 관한 정보가 MMVD에 관한 정보보다 먼저 시그널링될 수 있다. 이 경우, 상기 예측 방법들의 선택 순서는 서브블록 머지, MMVD, 다중 추정 예측 및 삼각 분할 예측(triangle partition prediction)의 순서일 수 있다.
도 4에 도시된 예에서, 부호화 블록의 예측 방법이 다중 추정 예측이 아니라고 판단된 경우에 삼각 분할 예측이 수행될 수 있다. 구체적으로, 다중 추정 예측의 수행 여부를 나타내는 정보(예컨대, mh_intra_flag)가 제2값(예컨대, 0)을 가질 때, 부호화 블록에 대해 다중 추정 예측이 수행되지 않는 것으로 결정될 수 있다. 따라서, 예컨대, mh_intra_flag가 0 일 때, 부호화 블록의 삼각 분할 예측에 관한 정보가 시그널링될 수 있다. 이때, 상기 삼각 분할 예측에 관한 정보는 삼각 분할에 대한 방향 정보, 두 개의 삼각 분할에 대한 병합 후보 인덱스 정보를 의미할 수 있다. 또한, 상기 삼각 분할은 삼각 분할에 국한되지 않고 하나의 직방형 혹은 정방형 블록을 하나의 임의의 선분으로 분할하는 기하학적 분할을 지칭할 수도 있다.
또는, 스킵 및/또는 병합 모드로 부호화된 블록에 대해 상기 복수의 예측 방법들 중 둘 이상의 예측 방법을 조합하여 선택할 수도 있다.
도 4에 도시된 실시 예에 따르면, 현재 부호화 블록의 예측 방법이 MMVD로 선택된 경우, 서브블록 머지, 다중 추정 예측 및 삼각 분할 예측은 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 MMVD로 선택되지 않는 경우, 서브블록 머지, 다중 추정 예측 및/또는 삼각 분할 예측에 관한 정보가 시그널링 및 파싱될 수 있다.
현재 부호화 블록의 예측 방법이 MMVD가 아니고, 서브블록 머지로 선택되는 경우, 다중 추정 예측 및/또는 삼각 분할 예측은 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 MMVD가 아니고, 서브블록 머지로 선택되지 않는 경우, 다중 추정 예측 및/또는 삼각 분할 예측에 관한 정보가 시그널링 및 파싱될 수 있다.
현재 부호화 블록의 예측 방법이 MMVD 및 서브블록 머지가 아니고, 다중 추정 예측으로 선택되는 경우에, 삼각 분할 예측은 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 MMVD 및 서브블록 머지가 아니고, 다중 추정 예측으로 선택되지 않는 경우, 삼각 분할 예측에 관한 정보가 시그널링 및 파싱될 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 방법을 설명하기 위한 도면이다.
예를 들어, 도 5는 본 발명의 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 신택스 테이블을 도시한 도면이다.
도 5에서 도시된 바와 같이, 스킵 및/또는 병합 모드로 부호화된 블록은 복수의 예측 방법 중 하나의 방법을 선택하여 부호화/복호화될 수 있다.
도 5에 도시된 예에서, 상기 예측 방법들의 선택 순서는 서브블록 머지(510), 다중 추정 예측(520), 삼각 분할 예측(530) 및 MMVD(540)의 순서일 수 있다. 그러나, 예측 방법들의 선택 순서(시그널링 순서)는 상기 예로 한정되지 않는다.
상기 예측 방법들 중, 부호화 효율이 가장 높은 서브블록 머지에 관한 정보가 다른 예측 방법들에 관한 정보보다 먼저 시그널링될 수 있다.
도 5에 도시된 실시 예에 따르면, 현재 부호화 블록의 예측 방법이 서브블록 머지로 선택된 경우, 다중 추정 예측, 삼각 분할 예측 및 MMVD는 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 서브블록 머지로 선택되지 않는 경우, 다중 추정 예측, 삼각 분할 예측 및/또는 MMVD에 관한 정보가 시그널링 및 파싱될 수 있다.
현재 부호화 블록의 예측 방법이 서브블록 머지가 아니고, 다중 추정 예측으로 선택되는 경우, 삼각 분할 예측 및 MMVD는 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 서브블록 머지가 아니고, 다중 추정 예측으로 선택되지 않는 경우, 삼각 분할 예측 및/또는 MMVD에 관한 정보가 시그널링 및 파싱될 수 있다.
현재 부호화 블록의 예측 방법이 서브블록 머지 및 다중 추정 예측이 아니고, 삼각 분할 예측으로 선택되는 경우, MMVD는 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 서브블록 머지 및 다중 추정 예측이 아니고, 삼각 분할 예측으로 선택되지 않는 경우, MMVD에 관한 정보가 시그널링 및 파싱될 수 있다.
상기 설명된 바와 같이, 도 5에 도시된 예에서, MMVD에 관한 정보는 현재 부호화 블록의 예측 방법이 서브블록 머지, 다중 추정 예측 및 삼각 분할 예측에 해당하지 않을 때 시그널링될 수 있다. 예컨대, 현재 부호화 블록의 예측 방법이 서브블록 머지인지 여부를 나타내는 제1 정보(예컨대, 플래그)에 기초하여 현재 부호화 블록의 예측 방법이 서브블록 머지가 아니라고 판단될 수 있다. 현재 부호화 블록의 예측 방법이 서브블록 머지가 아닐 때, 현재 부호화 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측인지 여부를 나타내는 제2 정보가 시그널링될 수 있다. 제2 정보가 제1 값을 가지면, 현재 부호화 블록의 예측 방법은 다중 추정 예측 또는 삼각 분할 예측인 것으로 판단될 수 있다. 반면, 제2 정보가 제2 값을 가지면, 현재 부호화 블록의 예측 방법은 다중 추정 예측 또는 삼각 분할 (혹은 기하학적 분할) 예측이 아닌 것으로 판단될 수 있으며, 이러한 경우를 일반적인 머지 (regular merge)라고 지칭할 수 있다. 제2 정보가 제2 값을 가지면, 현재 부호화 블록의 예측 방법이 MMVD인지 여부를 나타내는 제3 정보가 시그널링될 수 있다. 이때, 제3 정보가 제1 값을 가지면, 현재 부호화 블록의 예측 방법은 MMVD인 것으로 판단될 수 있다. 즉, 상기와 같이 제1 정보, 제2 정보 및/또는 제3 정보에 기초하여 MMVD에 관한 정보를 시그널링 및/또는 파싱할 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 방법을 설명하기 위한 도면이다.
예를 들어, 도 6은 본 발명의 또 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 시그널링하는 신택스 테이블을 도시한 도면이다.
도 6에서 도시된 바와 같이, 스킵 및/또는 병합 모드로 부호화된 블록은 복수의 예측 방법 중 하나의 방법을 선택하여 부호화/복호화될 수 있다.
도 6에 도시된 예에서, 상기 예측 방법들의 선택 순서는 서브블록 머지(610), 삼각 분할 예측(6200. MMVD(630) 및 다중 추정 예측(640)의 순서일 수 있다. 그러나, 예측 방법들의 선택 순서(시그널링 순서)는 상기 예로 한정되지 않는다.
도 6에 도시된 실시 예에 따르면, 현재 부호화 블록의 예측 방법이 서브블록 머지로 선택된 경우, 삼각 분할 예측, MMVD 및 다중 추정 예측은 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 서브블록 머지로 선택되지 않는 경우, 삼각 분할 예측, MMVD 및/또는 다중 추정 예측에 관한 정보가 시그널링 및 파싱될 수 있다.
현재 부호화 블록의 예측 방법이 서브블록 머지가 아니고, 삼각 분할 예측으로 선택되는 경우, MMVD 및 다중 추정 예측은 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 서브블록 머지가 아니고, 삼각 분할 예측으로 선택되지 않는 경우, MMVD 및/또는 다중 추정 예측에 관한 정보가 시그널링 및 파싱될 수 있다.
현재 부호화 블록의 예측 방법이 서브블록 머지 및 삼각 분할 예측이 아니고, MMVD로 선택되는 경우, 다중 추정 예측은 선택되지 않는다. 따라서, 현재 부호화 블록의 예측 방법이 서브블록 머지 및 삼각 분할 예측이 아니고, MMVD로 선택되지 않는 경우, 삼각 분할 예측에 관한 정보가 시그널링 및 파싱될 수 있다.
다른 예로, 현재 부호화 블록의 예측 방법이 서브블록 머지 및 삼각 분할 예측이 아니고, 다중 추정 예측으로 선택되는 경우, MMVD는 선택되지 않는다. 따라서, 다른 예로, 현재 부호화 블록의 예측 방법이 서브블록 머지 및 삼각 분할 예측이 아니고, 다중 추정 예측으로 선택되지 않는 경우, MMVD에 관한 정보가 시그널링 및 파싱될 수 있다.
도 6에 도시된 실시 예에서, 서브블록 머지에 관한 정보가 우선적으로 시그널링 및 파싱되고, 현재 부호화 블록의 예측 방법이 서브블록 머지인 경우, 서브블록 머지에 대한 추가 정보만이 시그널링 및 파싱될 수 있다. 현재 부호화 블록의 예측 방법이 서브블록 머지가 아닌 경우, 삼각 분할 예측에 관한 정보가 두번째로 시그널링 및 파싱될 수 있다. 현재 부호화 블록의 예측 방법이 삼각 분할 예측이 아닌 경우, CU 단위 예측이 수행되고, CU 단위 예측에 대한 세부 예측 방법에 관한 정보가 순차적으로 시그널링 및 파싱될 수 있다.
도 4 내지 도 6을 참조하여 설명한 시그널링 순서는 부호화 과정과 복호화 과정에서 동일하게 적용될 수 있다.
또 다른 실시 예로, 현재 부호화 블록의 예측 형태에 따라 CU 단위의 예측을 수행하는 것을 나타내는 정보가 우선적으로 시그널링될 수 있다. CU 단위의 예측이 수행되는 경우, MMVD 및/또는 다중 추정 예측에 관한 정보가 순차적으로 시그널링될 수 있다. 영상 복호화 장치는 상기와 동일한 순서로 예측 방법에 관한 정보를 파싱할 수 있다. 또한, CU 단위의 예측이 수행되지 않는 경우, 서브블록 단위의 예측이 수행되는지 또는 삼각 분할 예측이 수행되는지에 따라 해당 예측 방법에 대한 정보가 순차적으로 시그널링될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 방법에 관한 흐름도이다.
도 7에 도시된 실시 예에서, 현재 부호화 블록의 예측 방법들에 관한 정보는 서브블록 머지, 삼각 분할 예측, MMVP 및 다중 추정 예측의 순서로 시그널링되거나 파싱될 수 있다.
도 7에 도시된 실시 예에서, merge_subblock_flag(710)와 merge_triangle_flag(720)는 현재 부호화 블록을 예측하는 형태, 즉, 예측을 위한 블록의 형태를 나타내는 신택스일 수 있다.
또는, 전술한 바와 같이, 상기 플래그들은 하나의 신택스로 결합되어 둘 이상의 예측을 위한 블록의 형태 중 하나를 나타내는 신택스로 사용될 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 방법에 관한 흐름도이다.
도 8에 도시된 실시 예에서, 현재 부호화 블록의 예측 방법들에 관한 정보는 서브블록 머지, 삼각 분할 예측, 다중 추정 예측 및 MMVD의 순서로 시그널링되거나 파싱될 수 있다.
도 8에 도시된 실시 예에서, 예측 방법의 특징에 따라, 미리 정의된 조건(810)을 이용하여 다음에 파싱하는 신택스가 스킵될 수 있다.
예컨대, 미리 정의된 조건(610)으로서, MMVD 예측 방법에서 사용하는 머지 후보(merge candidate)의 개수, 선행하는 예측 방법 또는 예측 형태를 이용한 예측의 수행 여부가 이용될 수 있다.
일 예로, merge_idx를 먼저 파싱하고, 해당 merge_idx가 MMVD에서 사용하는 머지 후보의 최대 개수(N)보다 큰 경우, MMVP에 관한 정보(mmvd_flag, mmvd_data 등)의 시그널링이 생략될 수 있다.
도 9는 본 발명의 또 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화된 블록의 예측 방법에 관한 정보를 파싱하는 방법에 관한 흐름도이다.
도 7에 도시된 실시 예에서는, merge_subblock_flag(710)와 merge_triangle_flag(720)의 두 개의 신택스 요소를 다음 신택스 요소의 파싱을 위한 판단 조건으로 사용한다. 반면, 도 9에 도시된 예에서는 현재 블록의 예측 형태에 관한 하나의 신택스 요소 prediction_shape(910)를 이용한다. 이 때, 현재 블록의 예측 형태에 관한 하나의 신택스 요소 prediction_shape(910)은 0, 10, 11 혹은, 1, 01, 00 등의 두 개의 bin으로 구성되는 신택스 형태를 사용할 수 있다.
또는, 상기 예측 형태에 대한 하나의 신택스 요소 prediction_shape(910)는 블록의 예측 형태뿐만 아니라 예측 방법을 분류하기 위해 사용될 수도 있다. 분류의 대상인 예측 방법이 둘, 셋 혹은 그 이상의 복수개인 경우, 그 갯수에 따라 bin의 수도 증가할 수 있다.
본 발명의 일 실시 예에 따르면, 현재 블록의 예측 정보를 파싱함에 있어, 현재 블록이 스킵 및/또는 병합 모드로 부호화된 경우, 현재 블록의 예측 형태에 대한 신택스 요소를 파싱함으로써, 현재 블록이 블록 단위로 예측된 블록인지, 혹은 서브블록 단위로 예측된 블록인지, 혹은 삼각형 단위로 예측된 블록인지가 결정될 수 있다.
이 때, 상기 도면들에 도시되고 기술된 바와 같이, 현재 블록의 예측 정보는 현재 블록에 대한 예측이 서브블록 단위 예측인지 아닌지에 대한 플래그 및/또는 삼각형 단위 예측인지 혹은 블록 단위 예측인지에 대한 플래그로 구성될 수 있다.
본 발명의 다른 실시 예에 따르면, 현재 블록의 예측 정보는 현재 블록에 대한 예측이 블록 단위 예측인지 아닌지에 대한 플래그 및/또는 서브블록 단위 예측인지 혹은 삼각형 단위 예측인지에 대한 플래그로 구성될 수 있다.
또는, 상기 플래그의 조합을 하나의 신택스 요소로 구성하여 현재 블록의 예측 형태를 의미하도록 할 수 있다. 상기 하나의 신택스 요소는 두 개의 bin으로 구성될 수 있다.
현재 블록에 대해 서브블록 단위 예측이 수행되는 경우, 서브블록 단위 움직임 병합(merge)을 위한 인덱스가 파싱될 수 있다. 현재 블록에 대해 삼각형 단위 예측이 수행되는 경우, 삼각형의 분할 방향에 대한 플래그와 움직임 병합(merge)을 위한 인덱스가 파싱될 수 있다. 이 때, 움직임 병합을 위한 인덱스는 삼각형 단위의 개수만큼 파싱될 수 있다.
현재 블록에 대해 블록 단위 예측이 수행되는 경우, 블록 단위 예측 모드의 종류에 따라 추가적인 신택스가 파싱될 수 있다.
블록 단위 예측 모드는 예컨대, CIIP (combined intra-inter prediction), MMVD (merge with mvd) 등의 모드일 수 있다.
현재 블록에 대해 MMVD가 수행되는 경우, MMVD에 관한 정보는 전술한 실시 예와는 다른 방법으로 시그널링될 수 있다. 예컨대, 현재 블록이 스킵 및/또는 병합 모드가 아닌 경우, MMVD에 관한 신택스 요소가 파싱될 수 있다.
본 발명의 다른 실시 예에 따르면, 움직임 정보를 부호화하는 또 다른 방법으로 사용하여 MMVD 모드를 시그널링할 수 있다.
예를 들어, 본 발명의 일 실시 예에 따르면 현재 블록이 스킵 모드나 병합 모드로 부호화 되지 않은 경우, MMVD 모드와 관련된 신택스들을 시그널링하거나 파싱할 수 있다. 이 때, 상기 MMVD 모드와 관련된 신택스는 현재 블록의 예측 모드가 MMVD 모드인지에 대한 정보(예컨대, 플래그 정보), MMVD 인덱스 정보, MMVD 거리 정보 및/또는 MMVD 방향 정보를 포함할 수 있다.
본 발명에 따르면, MMVD 모드를 시그널링하기 위해, 전술할 실시 예들을 조합한 방법을 사용할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 스킵 및/또는 병합 모드로 부호화 되지 않은 블록의 예측 방법에 관한 정보를, 본 발명에 따른 하나 이상의 움직임 정보 부호화 방법을 적용하여 시그널링하는 신택스 테이블을 도시한 도면이다.
구체적으로, 도 10에 도시된 바와 같이, 현재 블록이 스킵 및/또는 병합 모드로 부호화되었는지에 대한 정보(예컨대, 플래그)를 파싱할 수 있다. 해당 정보가 현재 블록이 스킵 및/또는 병합 모드로 부호화되지 않은 것을 나타내는 경우, 전술한 하나 이상의 움직임 정보 부호화 방법을 선택할 수 있다.
이 때, 전술한 하나 이상의 움직임 정보 부호화 방법이라 함은, AMVP 모드 혹은 MMVD 모드일 수 있다. 또한, AMVP 모드 혹은 MMVD 모드 중 적어도 하나는 AFFINE 모드를 사용할 수 있다. 이 때, AFFINE 모드를 사용하는 경우에는 AFFINE 모드의 파라미터 모델에 따라 2개의 움직임 정보 혹은 3개의 움직임 정보를 시그널링하고 이를 파싱할 수 있다.
또한, AMVP 모드의 경우, 상기 움직임 정보는 움직임 예측치에 대한 플래그 혹은 인덱스, 움직임 예측을 위한 예측 방향, 움직임 예측에 사용되는 참조 픽처 인덱스 및/또는 차분 움직임 벡터를 포함할 수 있다. MMVD 모드의 경우, 상기 움직임 정보는 움직임 예측치에 대한 플래그 혹은 인덱스, 차분 움직임의 거리 정보 및/또는 차분 움직임의 방향 정보를 포함할 수 있다.
도 10에 도시된 실시 예에서, 복수의 움직임 정보 부호화 방법 중 적어도 하나를 선택하기 위한 정보가 신택스 요소로서 포함되고, 해당 신택스 요소를 파싱하는 단계가 포함될 수 있다. 또한, 해당 신택스 요소는 미리 정의된 조건 없이 파싱될 수도 있고, 미리 정의된 조건을 만족하는 경우에만 파싱될 수도 있다.
이 때, 미리 정의된 조건(예, conditions_800)이라 함은 블록의 크기, 현재 블록의 양자화 파라미터(QP), 현재 타일 그룹의 타입, 현재 픽처의 타입, 현재 슬라이스의 타입 등 중 적어도 하나에 관한 조건일 수 있다.
상기 블록의 크기에 관한 조건의 예로, 현재 블록의 너비 및/또는 높이가 소정의 임계값보다 작은지의 여부가 상기 미리 정의된 조건일 수 있다. 이 때, 상기 소정의 임계값은 128일 수 있다.
또는, 상기 블록의 크기에 관한 조건의 다른 예로, 현재 블록의 너비와 높이의 곱(면적)이 소정의 임계값보다 큰지의 여부가 상기 미리 정의된 조건일 수 있다. 이 때, 상기 소정의 임계값은 32, 64, 128 및 256 중 하나일 수 있다.
또는, 상기 현재 타일 그룹의 타입에 관한 조건의 예로, 현재 타일 그룹의 타입이 B 타입, 즉, 양방향 예측(Bi-predictive) 타입인지의 여부가 상기 미리 정의된 조건일 수 있다.
또는, 상기 현재 타일 그룹의 타입에 관한 조건의 다른 예로, 상기 현재 타일 그룹의 타입이 P 타입 혹은 B 타입인지의 여부가 상기 미리 정의된 조건일 수 있다. 즉, 현재 타일 그룹이 화면 간 예측을 수행하는지의 여부가 상기 미리 정의된 조건일 수 있다.
또는, 상기 현재 픽처의 타입에 관한 조건의 일 예로, 현재 픽처의 타입이 B 타입, 즉, 양방향 예측(Bi-predictive) 타입인지의 여부가 상기 미리 정의된 조건일 수 있다.
또는, 상기 현재 픽처의 타입에 관한 조건의 다른 예로, 상기 현재 픽처의 타입이 P 타입 혹은 B 타입인지의 여부가 상기 미리 정의된 조건일 수 있다. 즉, 현재 픽처가 화면 간 예측을 수행하는지의 여부가 상기 미리 정의된 조건일 수 있다.
도 11은 본 발명의 또 다른 실시 예에 따른 스킵 및/또는 병합 모드로 부호화되지 않은 블록의 예측 방법에 관한 정보를, 본 발명에 따른 하나 이상의 움직임 정보 부호화 방법을 적용하여 시그널링하는 신택스 테이블을 도시한 도면이다.
구체적으로, 도 11에서 도시된 바와 같이, 현재 블록이 스킵 및/또는 병합 모드로 부호화되었는지에 대한 정보(예컨대, 플래그)를 파싱할 수 있다. 해당 플래그가 현재 블록이 스킵 및/또는 병합 모드로 부호화되지 않은 것을 나타내는 경우, 전술한 하나 이상의 움직임 정보 부호화 방법을 선택할 수 있다.
이 때, AFFINE 모드의 적용 여부에 대한 신택스 요소를 파싱하는 단계를 먼저 수행하고, AFFINE 모드의 적용 여부에 따라 움직임 정보 부호화 방법에 대한 신택스 요소를 파싱하는 단계를 포함하거나, 포함하지 않을 수 있다.
본 발명의 일 실시 예에 따르면, AFFINE 모드의 적용 여부에 대한 신택스 요소의 파싱 결과, 현재 블록이 AFFINE 모드로 예측된 경우, 상기 움직임 정보 부호화 방법에 대한 신택스 요소의 파싱 단계는 수행되지 않을 수 있다. 즉, 상기 현재 블록에 대해 AFFINE 모드가 선택된 경우, AMVP 모드로 움직임 정보가 시그널링되고, 이를 파싱하는 방법이 사용될 수 있다.
반면, 현재 블록이 AFFINE 모드로 예측되지 않은 경우, 상기 움직임 정보 부호화 방법에 대한 신택스 요소의 파싱 단계가 수행될 수 있다.
이 때, 상기 하나 이상의 움직임 정보 부호화 방법은 AMVP 모드 혹은 MMVD 모드일 수 있다. 또한, 이 때, AMVP 모드 혹은 MMVD 모드 중 적어도 하나는 AFFINE 모드를 사용할 수 있다.
또한, AMVP 모드의 경우, 상기 움직임 정보는 움직임 예측치에 대한 플래그 혹은 인덱스, 움직임 예측을 위한 예측 방향, 움직임 예측에 사용되는 참조 픽처 인덱스 및/또는 차분 움직임 벡터를 포함할 수 있다. MMVD 모드의 경우, 상기 움직임 정보는 움직임 예측치에 대한 플래그 혹은 인덱스, 차분 움직임의 거리 정보 및/또는 차분 움직임의 방향 정보를 포함할 수 있다.
도 11에서 도시된 실시 예에서, 복수의 움직임 정보 부호화 방법 중 적어도 하나를 선택하기 위한 정보가 신택스 요소로서 포함되고, 해당 신택스 요소를 파싱하는 단계가 포함될 수 있다. 또한, 해당 신택스 요소는 미리 정의된 조건 없이 파싱될 수도 있고, 미리 정의된 조건을 만족하는 경우에만 파싱될 수도 있다.
이 때, 상기 미리 정의된 조건(예, conditions_900)이라 함은 블록의 크기, 현재 블록의 양자화 파라미터(QP), 현재 타일 그룹의 타입, 현재 픽처의 타입, 현재 슬라이스의 타입 등 중 적어도 하나에 관한 조건일 수 있다.
상기 블록의 크기에 관한 조건의 예로, 현재 블록의 너비 및/또는 높이가 소정의 임계값보다 작은지의 여부가 상기 미리 정의된 조건일 수 있다. 이 때, 상기 소정의 임계값은 128일 수 있다.
또는, 상기 블록의 크기에 관한 조건의 다른 예로, 현재 블록의 너비와 높이의 곱(면적)이 소정의 임계값보다 큰지의 여부가 상기 미리 정의된 조건일 수 있다. 이 때, 상기 소정의 임계값은 32, 64, 128 및 256 중 하나일 수 있다.
또는, 상기 현재 타일 그룹의 타입에 관한 조건의 예로, 현재 타일 그룹의 타입이 B 타입, 즉, 양방향 예측(Bi-predictive) 타입인지의 여부가 상기 미리 정의된 조건일 수 있다.
또는, 상기 현재 타일 그룹의 타입에 관한 조건의 다른 예로, 상기 현재 타일 그룹의 타입이 P 타입 혹은 B 타입인지의 여부가 상기 미리 정의된 조건일 수 있다. 즉, 현재 타일 그룹이 화면 간 예측을 수행하는지의 여부가 상기 미리 정의된 조건일 수 있다.
또는, 상기 현재 픽처의 타입에 관한 조건의 일 예로, 현재 픽처의 타입이 B 타입, 즉, 양방향 예측(Bi-predictive) 타입인지의 여부가 상기 미리 정의된 조건일 수 있다.
또는, 상기 현재 픽처의 타입에 관한 조건의 다른 예로, 상기 현재 픽처의 타입이 P 타입 혹은 B 타입인지의 여부가 상기 미리 정의된 조건일 수 있다. 즉, 현재 픽처가 화면 간 예측을 수행하는지의 여부가 상기 미리 정의된 조건일 수 있다.
본 개시의 삼각 분할 예측은 도 3의 (c)에 도시된 바와 같이, 현재 부호화 블록을 대각선 또는 역대각선으로 분할하여 예측하는 방법이다. 그러나, 현재 부호화 블록을 분할하는 방법은 도 3의 (c)의 예로 한정되지 않는다. 예컨대, 현재 부호화 블록을 분할하는 선은 임의의 시작점과 임의의 각도를 가지는 선일 수 있다. 또는 현재 부호화 블록을 분할하는 선은 임의의 시작점과 임의의 종료점으로 정의될 수 있다.
도 12는 현재 부호화 블록을 임의의 선으로 분할하는 예를 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 현재 부호화 블록은 임의의 선으로 다양한 형태로 분할되어 예측될 수 있다. 이 때, 현재 부호화 블록을 분할하는 임의의 선은 전술한 바와 같이, 시작점과 각도 또는 시작점과 종료점으로 정의될 수 있다. 또는 현재 부호화 블록을 분할하는 분할 선에 관한 정보가 부호화기/복호화기에 미리 정의되고, 비트스트림을 통해 인덱스를 시그널링함으로써, 현재 부호화 블록을 분할하는 분할 선을 유도할 수 있다.
도 12에 도시된 바와 같이, 현재 부호화 블록을 임의의 선으로 분할하여 예측하는 방법은 기하학적 분할 예측(geometric partition prediction)으로 호칭될 수 있다. 삼각 분할 예측은 기하학적 분할 예측의 하나로 포함될 수 있으므로, 기하학적 분할 예측이 사용되는 경우, 삼각 분할 예측에 관한 정보는 시그널링되지 않을 수 있다.
즉, 삼각 분할 예측에 관한 정보 대신에 기하학적 분할 예측에 관한 정보가 시그널링될 수 있다. 기하학적 분할 예측은 전술한 삼각 분할 예측과 동일하게 수행될 수 있다. 따라서, 기하학적 분할 예측에 관한 정보는 삼각 분할 예측에 관한 정보와 동일할 수 있다.
다만, 기하학적 분할 예측의 부호화 효율은 삼각 분할 예측의 부호화 효율보다 높을 수 있다. 즉, 보다 정교하게 현재 부호화 블록을 분할하여 예측하므로, 예측의 정확도가 높아지고 따라서, 부호화 효율도 향상될 수 있다.
기하학적 분할 예측은 삼각 분할 예측보다 부호화 효율이 높을 수 있으므로, 삼각 분할 예측 대신 기하학적 분할 예측이 사용되는 경우, 전술한 다양한 실시 예들에서 예측 방법의 시그널링 및/또는 파싱 순서는 달라질 수 있다.
기하학적 분할 예측의 부호화 효율은 MMVD 및/또는 다중 추정 예측의 부호화 효율보다 높을 수 있다. 따라서, 이 경우, 예측 방법의 시그널링 순서는 서브블록 머지, 기하학적 분할 예측, MMVD 및 다중 추정 예측의 순서일 수 있다. 또는 예측 방법의 시그널링 순서는 서브블록 머지, MMVD, 기하학적 분할 예측 및 다중 추정 예측의 순서일 수 있다. 또는 예측 방법의 시그널링 순서는 기하학적 분할 예측, 서브블록 머지, MMVD 및 다중 추정 예측의 순서일 수 있다.
도 13은 기하학적 분할 예측의 분할 선의 다양한 각도를 예시한 도면이다.
도 13에 도시된 바와 같이, 부호화기/복호화기는 기하학적 분할 예측의 분할 선의 각도를 미리 정의할 수 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
본 발명은 영상을 부호화/복호화하는데 이용될 수 있다.

Claims (21)

  1. 현재 블록의 예측 방법에 관한 정보를 복호화하는 단계;
    상기 예측 방법에 관한 정보에 기초하여 상기 현재 블록의 예측 방법을 결정하는 단계;
    상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하는 단계를 포함하고,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 분할 예측에 관한 정보는 삼각 분할 예측(triangle partition prediction)에 관한 정보인 영상 복호화 방법.
  3. 제2항에 있어서,
    상기 다중 추정 예측에 관한 정보는 상기 현재 블록에 대해 다중 추정 예측을 수행할지 여부를 나타내는 정보를 포함하고,
    상기 정보에 따라 상기 현재 블록에 대해 상기 다중 추정 예측이 수행되지 않는 것으로 판단되는 경우, 상기 삼각 분할 예측에 관한 정보가 시그널링되는 영상 복호화 방법.
  4. 제2항에 있어서,
    상기 서브블록 머지에 관한 정보는 상기 MMVD에 관한 정보, 상기 다중 추정 예측에 관한 정보 및 상기 삼각 분할 예측에 관한 정보보다 먼저 시그널링되는 영상 복호화 방법.
  5. 제4항에 있어서,
    상기 현재 블록의 예측 방법에 관한 정보는 상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측인지 여부를 나타내는 정보를 포함하고,
    상기 정보에 따라 상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측이 아닌 것으로 판단되는 경우, 상기 MMVD에 관한 정보가 시그널링되는 영상 복호화 방법.
  6. 제2항에 있어서,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, MMVD에 관한 정보, 삼각 분할 예측에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 시그널링되는 영상 복호화 방법.
  7. 제1항에 있어서,
    상기 분할 예측에 관한 정보는 기하학적 분할 예측(geometric partition prediction)에 관한 정보인 영상 복호화 방법.
  8. 제7항에 있어서,
    상기 기하학적 분할 예측에 관한 정보는 상기 다중 추정 예측에 관한 정보보다 먼저 시그널링되는 영상 복호화 방법.
  9. 제7항에 있어서,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, 기하학적 분할 예측에 관한 정보, MMVD에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 시그널링되는 영상 복호화 방법.
  10. 적어도 하나의 프로세서를 포함하는 영상 복호화 장치로서,
    상기 프로세서는,
    현재 블록의 예측 방법에 관한 정보를 복호화하고, 상기 예측 방법에 관한 정보에 기초하여 상기 현재 블록의 예측 방법을 결정하고, 상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하고,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함하는 영상 복호화 장치.
  11. 현재 블록의 예측 방법을 결정하는 단계;
    상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하는 단계; 및
    상기 현재 블록의 예측 방법에 관한 정보를 부호화하는 단계를 포함하고,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함하는 영상 부호화 방법.
  12. 제11항에 있어서,
    상기 분할 예측에 관한 정보는 삼각 분할 예측(triangle partition prediction)에 관한 정보인 영상 부호화 방법.
  13. 제12항에 있어서,
    상기 다중 추정 예측에 관한 정보는 상기 현재 블록에 대해 다중 추정 예측을 수행할지 여부를 나타내는 정보를 포함하고,
    상기 현재 블록에 대해 상기 다중 추정 예측이 수행되지 않는 경우, 상기 삼각 분할 예측에 관한 정보가 부호화되는 영상 부호화 방법.
  14. 제12항에 있어서,
    상기 서브블록 머지에 관한 정보는 상기 MMVD에 관한 정보, 상기 다중 추정 예측에 관한 정보 및 상기 삼각 분할 예측에 관한 정보보다 먼저 부호화되는 영상 부호화 방법.
  15. 제14항에 있어서,
    상기 현재 블록의 예측 방법에 관한 정보는 상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측인지 여부를 나타내는 정보를 포함하고,
    상기 현재 블록의 예측 방법이 다중 추정 예측 또는 삼각 분할 예측이 아닌 경우, 상기 MMVD에 관한 정보가 부호화되는 영상 부호화 방법.
  16. 제12항에 있어서,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, MMVD에 관한 정보, 삼각 분할 예측에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 부호화되는 영상 부호화 방법.
  17. 제11항에 있어서,
    상기 분할 예측에 관한 정보는 기하학적 분할 예측(geometric partition prediction)에 관한 정보인 영상 부호화 방법.
  18. 제17항에 있어서,
    상기 기하학적 분할 예측에 관한 정보는 상기 다중 추정 예측에 관한 정보보다 먼저 부호화되는 영상 부호화 방법.
  19. 제17항에 있어서,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지에 관한 정보, 기하학적 분할 예측에 관한 정보, MMVD에 관한 정보 및 다중 추정 예측에 관한 정보의 순서로 부호화되는 영상 부호화 방법.
  20. 적어도 하나의 프로세서를 포함하는 영상 부호화 장치로서,
    상기 프로세서는,
    현재 블록의 예측 방법을 결정하고, 상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하고, 상기 현재 블록의 예측 방법에 관한 정보를 부호화하는 단계를 포함하고,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함하는 영상 부호화 장치.
  21. 영상 부호화 방법에 의해 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 부호화 방법은,
    현재 블록의 예측 방법을 결정하는 단계,
    상기 결정된 예측 방법에 기초하여 상기 현재 블록에 대한 예측을 수행함으로써, 상기 현재 블록의 예측 블록을 생성하는 단계, 및
    상기 현재 블록의 예측 방법에 관한 정보를 부호화하는 단계를 포함하고,
    상기 현재 블록의 예측 방법에 관한 정보는 서브블록 머지(subblock merge)에 관한 정보, MMVD에 관한 정보, 다중 추정 예측(multi hypothesis prediction)에 관한 정보 및 분할 예측(partition prediction)에 관한 정보 중 적어도 하나를 포함하는 컴퓨터 판독 가능한 기록 매체.
PCT/KR2019/018722 2019-01-02 2019-12-30 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체 WO2020141833A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/419,849 US11895289B2 (en) 2019-01-02 2019-12-30 Image decoding method, image encoding method, image decoding device, image encoding device, and computer-readable recording medium
US18/541,960 US20240114126A1 (en) 2019-01-02 2023-12-15 Image decoding method, image encoding method, image decoding device, image encoding device, and computer-readable recording medium

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2019-0000420 2019-01-02
KR20190000420 2019-01-02
KR20190001085 2019-01-04
KR10-2019-0001085 2019-01-04
KR10-2019-0006842 2019-01-18
KR20190006842 2019-01-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/419,849 A-371-Of-International US11895289B2 (en) 2019-01-02 2019-12-30 Image decoding method, image encoding method, image decoding device, image encoding device, and computer-readable recording medium
US18/541,960 Continuation US20240114126A1 (en) 2019-01-02 2023-12-15 Image decoding method, image encoding method, image decoding device, image encoding device, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2020141833A1 true WO2020141833A1 (ko) 2020-07-09

Family

ID=71407044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018722 WO2020141833A1 (ko) 2019-01-02 2019-12-30 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체

Country Status (3)

Country Link
US (2) US11895289B2 (ko)
KR (1) KR20200084300A (ko)
WO (1) WO2020141833A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022117030A1 (en) * 2020-12-02 2022-06-09 Zhejiang Dahua Technology Co., Ltd. Systems and method for inter prediction based on a merge mode

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230319271A1 (en) * 2020-07-20 2023-10-05 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image by using geometric partitioning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100029246A (ko) * 2007-06-15 2010-03-16 콸콤 인코포레이티드 비디오 블록 예측 모드의 적응형 코딩
WO2010120113A2 (ko) * 2009-04-14 2010-10-21 에스케이텔레콤 주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2017099385A1 (ko) * 2015-12-11 2017-06-15 삼성전자 주식회사 인트라 스킵 모드의 예측 방법을 나타내는 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
WO2017188784A2 (ko) * 2016-04-29 2017-11-02 세종대학교 산학협력단 영상 신호 부호화/복호화 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761001A (zh) * 2017-08-29 2023-09-15 Sk电信有限公司 视频编码装置、视频解码装置和存储比特流的方法
KR20190046704A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100029246A (ko) * 2007-06-15 2010-03-16 콸콤 인코포레이티드 비디오 블록 예측 모드의 적응형 코딩
WO2010120113A2 (ko) * 2009-04-14 2010-10-21 에스케이텔레콤 주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2017099385A1 (ko) * 2015-12-11 2017-06-15 삼성전자 주식회사 인트라 스킵 모드의 예측 방법을 나타내는 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
WO2017188784A2 (ko) * 2016-04-29 2017-11-02 세종대학교 산학협력단 영상 신호 부호화/복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BLASER, MAX: "CE10: Results on Geometric Partitioning (Experiments 3.2.a-3.2.c", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. JVET-L0417. 12TH MEETING, 12 October 2018 (2018-10-12), Macao, CN ., Retrieved from the Internet <URL:http://phenix.int-evry.fr/jvet> [retrieved on 20200325] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022117030A1 (en) * 2020-12-02 2022-06-09 Zhejiang Dahua Technology Co., Ltd. Systems and method for inter prediction based on a merge mode

Also Published As

Publication number Publication date
US20220078403A1 (en) 2022-03-10
US20240114126A1 (en) 2024-04-04
US11895289B2 (en) 2024-02-06
KR20200084300A (ko) 2020-07-10

Similar Documents

Publication Publication Date Title
WO2020071829A1 (ko) 히스토리 기반 영상 코딩 방법 및 그 장치
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2016175549A1 (ko) 비디오 신호의 처리 방법 및 이를 위한 장치
WO2016052977A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2020009419A1 (ko) 병합 후보를 사용하는 비디오 코딩 방법 및 장치
WO2019078581A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2012173415A2 (ko) 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2019117639A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2016159610A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013109123A1 (ko) 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
WO2015020504A1 (ko) 병합 모드 결정 방법 및 장치
WO2016114583A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016085231A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009036A1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
WO2021137597A1 (ko) Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
WO2020130600A1 (ko) 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2020242145A1 (ko) 적응적 파라미터 셋을 사용하는 비디오 코딩 방법 및 장치
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
WO2020149630A1 (ko) 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
WO2020256506A1 (ko) 다중 참조 라인 인트라 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020235960A1 (ko) Bdpcm 에 대한 영상 디코딩 방법 및 그 장치
WO2020180100A1 (ko) 인트라 블록 코딩 기반 비디오 또는 영상 코딩
WO2020141833A1 (ko) 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906612

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19906612

Country of ref document: EP

Kind code of ref document: A1