WO2019059721A1 - 해상도 향상 기법을 이용한 영상의 부호화 및 복호화 - Google Patents

해상도 향상 기법을 이용한 영상의 부호화 및 복호화 Download PDF

Info

Publication number
WO2019059721A1
WO2019059721A1 PCT/KR2018/011266 KR2018011266W WO2019059721A1 WO 2019059721 A1 WO2019059721 A1 WO 2019059721A1 KR 2018011266 W KR2018011266 W KR 2018011266W WO 2019059721 A1 WO2019059721 A1 WO 2019059721A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
coding block
block
picture
decoding
Prior art date
Application number
PCT/KR2018/011266
Other languages
English (en)
French (fr)
Inventor
임정연
신재섭
김효성
손세훈
김형덕
이경택
이선영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170175586A external-priority patent/KR102528365B1/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of WO2019059721A1 publication Critical patent/WO2019059721A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to image encoding or decoding, and more particularly, to encoding and decoding of an image selectively applying a resolution enhancement technique.
  • the interpolation technique used to improve the existing resolution uses a weighted average by using the pixel values of the low resolution image in which the high frequency component of the original high resolution image is lost, the high frequency component of the original image is used There is a limit to restoration.
  • the resolution enhancement technique that has been attracting attention is such an example-based patch matching method, a motion registration-based method, or a deep-learning-based method. These resolution enhancement techniques can generate images of the quality close to the original high resolution image from the low resolution images.
  • Deep learning based resolution enhancement techniques are generally based on CNN.
  • the CNN-based super-resolution technology can be applied to sequentially apply a 3-D filter to nonlinearly map the input low-resolution image to the high-resolution image.
  • the 3D filter uses the already learned filter coefficients through training.
  • An object of the present invention is to enhance image compression efficiency by selectively encoding or decoding an image by applying a resolution enhancement technique.
  • a method for decoding an image using a resolution enhancement technique comprising: decoding resolution mode information from a bitstream to determine whether a coding block, which is a decoding target block, Identifying whether or not the user is a user; Decoding the syntax elements for restoring the coding block from the bitstream and restoring the coding block using the decoded syntax elements; And storing the restored coded block in a second picture buffer when the coded block is coded by a resolution enhancement technique, generating a high-resolution block by converting the restored coded block into a high resolution by the resolution enhancement technique, And storing the block in a first picture buffer.
  • the image decoding method stores the reconstructed coding block in the first picture buffer, converts the reconstructed coding block to a low resolution to generate a low-resolution block And storing the low-resolution block in the second picture buffer.
  • an apparatus for decoding an image using a resolution enhancement method comprising: a first picture buffer for storing a high-resolution reconstructed picture; A second picture buffer for storing a picture reconstructed at a low resolution; A decoder for decoding the resolution mode information from the bitstream to identify whether a coding block, which is a decoding target block, is coded by a resolution enhancement technique, and decoding syntax elements for decoding the coding block; And a reconstructor for reconstructing the coding block using syntax elements for reconstructing the coding block, wherein when the coding block is coded by the resolution enhancement technique, the reconstructor reconstructs the reconstructed coding block into the second picture, And a high resolution block is generated by converting the reconstructed coding block into a high resolution by the resolution enhancement technique, and the high resolution block is stored in the first picture buffer.
  • the reconstructor may store the reconstructed coding block in the first picture buffer and convert the reconstructed coding block to a low resolution to generate a low resolution block when the coding block is not coded by the resolution enhancement technique, May be stored in the second picture buffer.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is an exemplary flowchart illustrating a method of managing a picture buffer according to an embodiment of the present invention.
  • FIG. 3 is an exemplary block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is an exemplary flowchart illustrating a method of managing a picture buffer by an image decoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus receives and encodes a high resolution (HR) image and encodes the low resolution image (LR) obtained by down-sampling the high resolution image. Then, an image having good coding efficiency is selected from the encoded high resolution and low resolution images, and the selected image is transmitted to the image decoding apparatus.
  • the image decoding apparatus decodes the received data to reconstruct the image. When the received data corresponds to the high-resolution image, the reconstructed image is displayed as it is. However, if the received data corresponds to the low-resolution image, And converted to a high resolution and then displayed.
  • a reference picture management different from the conventional one is required so that an image encoding apparatus and an image decoding apparatus can encode or decode an image with reference to the same reference picture. Also, appropriate signaling of the syntax indicating whether the encoded image is encoded using a resolution enhancement technique, that is, whether the encoded image is a high resolution or a low resolution downsampled high resolution, is required.
  • FIG. 1 is an exemplary block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus may include a first encoding module 1100, a second encoding module 1200, an evaluator 1300, a bitstream generating unit 1400, a first picture buffer 1500 And a second picture buffer 1600.
  • the components of the first encoding module 1100, the second encoding module 1200, the evaluator 1300, and the bitstream generating unit 1400 may be implemented as hardware chips, The above microprocessor may be implemented to execute the functions of the software corresponding to each component.
  • the first coding module 1100 receives the high-resolution original image and performs coding.
  • the second coding module 1200 receives the low-resolution original image and performs coding.
  • An image is composed of a plurality of pictures, each picture can be divided into one or more slices, and each slice can be divided into one or more coding tree units (CTU).
  • the CTU is recursively partitioned using a tree structure.
  • a leaf node in a tree structure becomes a coding unit (CU) which is a basic unit of coding.
  • CU coding unit
  • a quad tree (QuadTree, QT) in which an upper node (or a parent node) is divided into four sub nodes (or child nodes) of the same size, or a QT structure and an upper node are divided into two lower nodes
  • QTBT QuadTree plus BinaryTree
  • BT binary tree
  • a CTU can be first divided into a QT structure.
  • the quadtree partitioning can be repeated until the size of the splitting block reaches the minimum block size (MinQTSize) of the leaf node allowed in QT. If the leaf node of the quadtree is not larger than the maximum block size (MaxBTSize) of the root node allowed in BT, it can be further partitioned into a BT structure.
  • MinQTSize minimum block size
  • MaxBTSize maximum block size
  • a symmetric horizontal splitting and a vertically splitting type i.e., symmetric vertical splitting
  • a vertically splitting type i.e., symmetric vertical splitting
  • the block of the node may be divided into two rectangular blocks having a size ratio of 1: 3, or the block of the corresponding node may be divided into diagonal directions.
  • the CU may have various sizes depending on the QTBT segmentation from the CTU.
  • a block corresponding to a CU to be encoded or decoded i.e., a leaf node of QTBT
  • a 'coding block' a block corresponding to a CU to be encoded or decoded (i.e., a leaf node of QTBT)
  • the coding block is a basic unit for encoding and decoding.
  • the block partitioning structure of the high resolution image input to the first encoding module 1100 and the low resolution image input to the second encoding module 1120 may or may not be the same depending on the encoding unit for distinguishing the high resolution and the low resolution. For example, if a high-resolution image and a low-resolution image are distinguished on a picture-by-picture basis, the intra-picture block partitioning structure may be different. On the other hand, if the high-resolution image and the low-resolution image are distinguished in units of coding blocks, the partitioning structure of the coding block must be the same.
  • the first encoding module 1100 and the second encoding module 1120 are physically separated modules, but the present invention is not limited thereto.
  • the first encoding module 1100 and the second encoding module 1120 are physically configured as one module, and the high-resolution image and the low-resolution image may be sequentially encoded.
  • the first encoding module 1100 receives a high-resolution image on a picture-by-picture basis and encodes the input picture F. After reconstructing the coded picture, the reconstructed picture F 'is generated.
  • the first coding module 1100 includes an intra prediction unit 1102, an inter prediction unit 1104, a subtractor 1106, a transform unit 1108, a quantization unit 1110, a coding unit 1112, An inverse transform unit 1114, an inverse transform unit 1116, an adder 1118, and a filter unit 1120.
  • Each intra-picture coding block can be predictively coded. Prediction of a coded block is generally performed using an intra prediction technique (using data from a picture including a coding block) or an inter prediction technique (using data from a picture coded prior to a picture including a coding block) .
  • the first encoding module 1100 includes an intra prediction unit 1102 and an inter prediction unit 1104.
  • the intra predictor 1102 predicts pixels in the current coding block using pixels (reference pixels) located around the current coding block in the current picture including the current coding block. There are a plurality of intra prediction modes according to the prediction direction, and the neighboring pixels to be used and the calculation formula are defined differently according to each prediction mode.
  • the intra prediction unit 1102 selects one intra prediction mode from among a plurality of intra prediction modes, and predicts the current coding block using neighboring pixels (reference pixels) determined by the selected intra prediction mode and an equation.
  • the information on the selected intra prediction mode is encoded by the encoding unit 1112. [
  • the inter-prediction unit 1104 generates a prediction block for the current coding block through a motion compensation process.
  • a block most similar to the current coding block is searched in a reference picture coded and decoded earlier than the current picture and a prediction block for the current coding block is generated using the searched block.
  • a motion vector corresponding to a displacement between the current coding block in the current picture and the prediction block in the reference picture is generated.
  • motion estimation is performed on a luma component, and motion vectors calculated based on luma components are used for both luma components and chroma components.
  • the motion information including information on the reference picture used for predicting the current coding block and information on the motion vector is encoded by the coding unit 1112.
  • the subtractor 1106 subtracts the prediction block generated by the intra prediction unit 1102 or the inter prediction unit 1104 from the current coding block to generate a residual block.
  • the transforming unit 1108 transforms the residual signal in the residual block having pixel values in the spatial domain into transform coefficients in the frequency domain.
  • the transform unit 1108 may transform the residual signals in the residual block by using the size of the current coding block as a conversion unit or divide the residual block into a plurality of smaller subblocks, .
  • the quantization unit 1110 quantizes the transform coefficients output from the transform unit 1108 and outputs the quantized transform coefficients to the encoding unit 1112.
  • the encoding unit 1112 encodes the quantized transform coefficients using a coding scheme such as CABAC to generate a bit stream.
  • the encoding unit 150 encodes information such as a CTU size, a MinQTSize, a MaxBTSize, a MaxBTDepth, a MinBTSize, a QT division flag, a BT division flag, and a division type associated with the block division so that the video decoding apparatus So that the block can be divided.
  • the encoding unit 1112 encodes information on a prediction type indicating whether the current coding block is coded by intraprediction or inter prediction, and encodes the intra prediction information or the inter prediction information according to the prediction type .
  • a syntax element for the intra-prediction mode is encoded as intra-prediction information.
  • the coding unit 1112 codes the syntax element for the motion information.
  • the inverse quantization unit 1114 dequantizes the quantized transform coefficients output from the quantization unit 1110 to generate transform coefficients.
  • the inverse transform unit 1116 transforms the transform coefficients output from the inverse quantization unit 1114 from the frequency domain to the spatial domain and restores the residual block.
  • the adder 1118 adds the reconstructed residual block to the intra prediction unit 1102 or the prediction block generated by the inter prediction unit 1104 to reconstruct the current coding block.
  • the pixels in the reconstructed current coding block are used as reference pixels when intra prediction of the next-order block.
  • the filter unit 1120 performs deblocking filtering on boundaries between the restored blocks to remove blocking artifacts caused by encoding / decoding on a block-by-block basis.
  • the image encoding apparatus further includes a down sampler (D / S) 1122.
  • the downsampler 1122 generates a reconstructed picture DS (F ') converted to a lower resolution by downsampling the reconstructed picture F' after deblocking filtering.
  • the second encoding module 1200 receives the low-resolution image down-sampled from the high-resolution image on a picture-by-picture basis and encodes the inputted picture f. After reconstructing the coded picture, the reconstructed picture f 'is transformed using a resolution enhancement technique to generate a reconstructed picture SR (f') transformed into a high-resolution picture.
  • the second encoding module 1200 includes an intra prediction unit 1202, an inter prediction unit 1204, a subtractor 1206, a transform unit 1208, a quantization unit 1210, an encoding unit 1212, An inverse transform unit 1216, an adder 1218, These components include an intra prediction unit 1102, an inter prediction unit 1104, a subtracter 1106, a transform unit 1108, a quantization unit 1110, a coding unit 1112, and a quantization unit 1110 of the first coding module 1100, The details of each component of the second encoding module 1200 are the same as those of the inverse quantization unit 1114, the inverse transform unit 1116, the adder 1118, and the filter unit 1120, Omission.
  • the second encoding module 1200 further includes a super resolution conversion unit 1222.
  • the super resolution conversion unit 1222 converts the reconstructed picture f 'output from the filter unit 1220 into a resolution enhancement Technique to generate a reconstructed picture SR (f ') converted into a high-resolution picture.
  • resolution enhancement techniques include an example-based patch matching method, a motion registration based method, or a deep-learning based method.
  • the evaluator 1300 compares the encoding cost of the first encoding module 1100 with the encoding cost of the second encoding module 1200 to compare the data encoded by the first encoding module 1100 with the encoding cost of the second encoding module 1200.
  • [ 2 encoding module 1200 generates the resolution mode information for selecting one of the encoded data.
  • the encoding cost may be a rate-distortion cost or the like.
  • the rate is an indicator of the amount of data required for encoding and the distortion is an indicator of the difference between the loss of original data, that is, the reconstructed image after being encoded with the original image.
  • the evaluator 1300 receives the amount of data required when the first encoding module encodes the picture from the encoding unit 1112 and outputs the restored picture output from the filter unit 1120 to the high- (F '). And calculates the rate-distortion cost when it is encoded by the first encoding module 1100. [ The evaluator 1300 receives the amount of data required for the second encoding module to encode the picture from the encoding unit 1212 and outputs the amount of data to be encoded by the high resolution original picture F and the super resolution conversion unit 1222 And calculates the difference between the reconstructed picture SR (f ') converted into the outputted high resolution.
  • the resolution-mode information is generated by comparing the two rate-distortion costs.
  • the resolution mode information is used as a control signal for managing the picture buffer and for selecting one of the encoded data generated by the first encoding module and the encoded data generated by the second encoding module, .
  • the bitstream generation unit 1400 generates encoded data output from the encoding unit 1112 of the first encoding module and encoded data output from the encoding unit 1212 of the second encoding module based on the resolution mode information generated by the evaluator 1300 And outputs the selected encoded data as a bit stream to the video decoding apparatus.
  • the bitstream includes the resolution mode information generated by the evaluator 1300.
  • the evaluator 1300 calculates the rate-distortion cost on a picture-by-picture basis and generates resolution mode information, but the present invention is not limited thereto.
  • the evaluator 1300 may calculate a rate-distortion cost on a coding block, CTU, or slice basis.
  • the resolution mode information is generated in units of coding blocks, CTUs, or slices. This means that the resolution mode information of the present invention can be encoded into the syntax of any one of the CU, CTU, slice header, and picture parameter set (PPS) corresponding to the coding block and signaled to the video decoding apparatus .
  • PPS picture parameter set
  • the first picture buffer 1500 and the second picture buffer 1600 store a reference picture of a high resolution and a reference picture of a low resolution, respectively.
  • a method in which the image encoding apparatus manages picture buffers according to the resolution mode information will be described.
  • FIG. 2 is an exemplary flowchart illustrating a method of managing a picture buffer according to an embodiment of the present invention.
  • the unit for which the evaluator 1300 of the image encoding apparatus compares the encoding costs between the first and second encoding modules may be a CU, a CTU, a slice, or a picture.
  • the term 'image area' is used to collectively refer to these units. That is, the image area may be any one of a CU, a CTU, a slice, and a picture.
  • the image encoding apparatus converts the encoding cost cost HR when the high-resolution image region F is encoded by the first encoding module and the low-resolution image region f obtained by down-sampling the high resolution image region F, (Cost (LR)) when encoding is performed by the encoding module (S202).
  • the image encoding apparatus generates resolution mode information corresponding to the comparison result.
  • the image encoding apparatus converts the encoded data (high resolution image area F) by the encoding unit 1112 of the first encoding module Coded data) to the bitstream generator 1400 (S204).
  • the bit stream generated by the bit stream generating unit 1400 includes resolution mode information indicating that the high resolution image area F is encoded.
  • the restored high resolution image area F ' is stored in the first picture buffer 1500 (S206), and the image area DS (F') obtained by downsampling the restored high resolution image area F ' And stores it in the picture buffer 1600 (S208). For example, referring to FIG.
  • the image encoding apparatus converts the data encoded by the encoding unit 1212 of the second encoding module (high resolution image region F) (I.e., data obtained by coding the downsampled low resolution image area f) to the bitstream generation unit 1400 (S210).
  • the bitstream generated by the bitstream generator 1400 includes resolution mode information indicating that the low resolution image area f is encoded, that is, a resolution enhancement technique is used.
  • the reconstructed low resolution image area f ' is stored in the second picture buffer 1600 and the reconstructed low resolution image area f' is converted into the high resolution image area SR ' Is stored in the first picture buffer 1500.
  • the present disclosure performs coding by selectively applying resolution enhancement techniques in units of pictures, slices, CTUs, or CUs. That is, the high-resolution image region may be directly encoded, or the low-resolution image region may be encoded after the high-resolution image region is converted to the low-resolution image region. Accordingly, a low resolution image area may be referred to for prediction encoding of a high resolution image area, and a high resolution image area may be referred to for prediction encoding of a low resolution image area.
  • FIG. 3 is an exemplary block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • An image decoding apparatus includes a decoding unit 3100, a reconstructor 3200, a first picture buffer 3300, and a second picture buffer 3400.
  • Each component of the decoding unit 3100 and the restoring unit 3200 may be implemented as a hardware chip or may be implemented as software and one or more microprocessors may be implemented to execute the functions of the software corresponding to each component .
  • the decoding unit 3100 decodes the resolution mode information in units of image regions from the bit stream received from the image encoding apparatus.
  • the image area may be any one of a CU, a CTU, a slice, and a picture.
  • the decoding unit 3100 decodes the bitstream received from the image encoding apparatus to extract information related to the block division to determine a current coding block to be decoded and outputs the prediction information and the residual information necessary for restoring the current coding block, And the like.
  • the decoding unit 3100 extracts information on a CTU size from an SPS (Sequence Parameter Set) or a PPS (Picture Parameter Set) to determine a size of the CTU, and divides the picture into CTUs of a predetermined size. Then, the CTU is determined as the top layer of the tree structure, that is, the root node, and the CTU is divided using the tree structure by extracting the partition information for the CTU. For example, when the CTU is divided using the QTBT structure, the first flag (QT_split_flag) related to the division of the QT is first extracted and each node is divided into four nodes of the lower layer. For the node corresponding to the leaf node of the QT, the second flag (BT_split_flag) related to the BT division and the division type information are extracted and the corresponding leaf node is divided into the BT structure.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • the decoding unit 3100 extracts information on a prediction type indicating whether the current block is intra-predicted or inter-predicted.
  • the prediction type information indicates intra prediction
  • the decoding unit 3100 extracts a syntax element for the intra prediction mode of the current block.
  • the prediction type information indicates inter prediction
  • the decoding unit 3100 extracts a syntax element for the motion information.
  • the decoding unit 3100 extracts information on the quantized transform coefficients of the current block as information on the residual signal.
  • the reconstructor 3200 reconstructs the coded coding blocks.
  • the reconstructor 3200 includes an inverse quantization unit 3202, an inverse transform unit 3204, an intra prediction unit 3206, an inter prediction unit 3208, an adder 3210, and a filter unit 3212 .
  • the inverse quantization unit 3202 dequantizes the quantized transform coefficients and the inverse transform unit 3204 inversely transforms the dequantized transform coefficients from the frequency domain to the spatial domain to generate residual blocks for the current coding block by restoring the residual signals .
  • the intra prediction unit 3206 is activated when the prediction type of the current coding block is intra prediction.
  • the intra prediction unit 3206 determines an intra prediction mode of the current coding block among the plurality of intra prediction modes from the syntax element for the intra prediction mode extracted from the decoding unit 3100, The current block is predicted using reference pixels.
  • the inter-prediction unit 3208 determines a reference picture and a motion vector for inter-prediction of the current coding block using the syntax element of the motion information extracted from the decoding unit 3100. [ Then, the current coding block is predicted using the determined reference picture and motion vector.
  • the adder 3210 adds the residual block output from the inverse transform unit and the prediction block output from the inter prediction unit or the intra prediction unit to reconstruct the current coding block.
  • the pixels in the reconstructed current coding block are utilized as reference pixels for intra prediction of a block to be decoded later.
  • the filter unit 3212 performs deblocking filtering on boundaries between the restored blocks to remove blocking artifacts caused by decoding on a block-by-block basis.
  • the reconstructor 3200 further includes a downsampler (D / S) 3214 and a super-resolution transformer 3216.
  • the downsampler 3214 and the super-resolution converter 3216 are selectively activated according to the resolution mode information extracted from the bitstream.
  • the downsampler 3214 is activated when the resolution mode information indicates high-resolution encoding, and downsamples the reconstructed picture to convert it into a low-resolution picture.
  • the reconstructor 3200 stores the reconstructed picture before downsampling in the first picture buffer 3300 and stores the low-resolution picture after downsampling in the second picture buffer 3400.
  • the super resolution converting unit 3216 is activated when the resolution mode information indicates low resolution encoding, that is, when a resolution enhancement technique is used, and the reconstructed picture is converted using a resolution enhancement technique to generate a high resolution picture .
  • the reconstructor 3200 stores the reconstructed picture before applying the resolution enhancement technique to the second picture buffer 3400 and stores the high resolution picture after applying the resolution enhancement technique to the first picture buffer 3300.
  • the high-resolution reference picture stored in the first picture buffer 3300 and the low-resolution reference picture stored in the second picture buffer 3400 are used to predict blocks to be decoded later. For example, when a coding block to be decoded is coded with a high resolution, the reconstructor 3200 obtains a reference area used for predicting the coding block from the first picture buffer 3300. On the other hand, if a coding block to be decoded is encoded with a low resolution (i.e., a resolution enhancement technique is used), the reconstructor 3200 reconstructs a reference block used for prediction of the coding block from the second picture buffer 3400, .
  • the reconstructor 3200 may switch the switch 4 (sw4) to the A position to predict the current coding block using the reference pictures stored in the first picture buffer 3300 .
  • the reconstructor 3200 switches all of the switches 1 to 3 (sw1 to sw3) to the A position and outputs the reconstructed current picture including reconstructed coding blocks output from the filter unit to the low-resolution picture And stores the reconstructed current picture prior to downsampling in the first picture buffer 3300 and the low-resolution picture after downsampling in the second picture buffer 3400.
  • the decompressor 3200 switches the switch 4 (sw4) to the B position to store the reference pictures stored in the second picture buffer 3400 So that the current coding block can be predicted.
  • the reconstructor 3200 switches all the switches 1 to 3 (sw1 to sw3) to the B position and outputs the reconstructed current picture including the reconstructed coding blocks output from the filter unit to the super-resolution transformer 3216 Resolution picture, and restores the current picture restored before the conversion to the second picture buffer 3400 and the high-resolution picture after the conversion to the first picture buffer 3300.
  • FIG. 4 is an exemplary flowchart illustrating a method of managing a picture buffer by an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus decodes the resolution mode information from the bitstream (S402), decodes the syntax elements necessary for restoring the current coding block, and restores the current coding block using the decoded syntax elements (S404).
  • the video decoding apparatus determines whether the resolution mode information indicates high-resolution encoding or low-resolution encoding, that is, whether resolution enhancement is applied (S406).
  • the image decoding apparatus stores the restored coding block in the first picture buffer 3300 (S408). Then, the reconstructed coding block is converted into a low resolution through down-sampling (S410), and the low-resolution converted block is stored in the second picture buffer (S412).
  • the image decoding apparatus stores the restored coding block in the second picture buffer 3400 (S414). Then, the reconstructed coding block is converted into a high-resolution image using a resolution enhancement technique (S416), and the high-resolution converted block is stored in the first picture buffer 3300 (S418).
  • the resolution enhancement technique In order to selectively apply the resolution enhancement technique, a technique of designing two buffers storing a high-resolution reference picture and a low-resolution reference picture and managing a picture buffer has been described. However, it is also possible to manage picture buffers in other ways. For example, it is also possible to use one picture buffer for storing a high-resolution reference picture. At this time, the high-resolution reference pictures can be constructed in the picture buffer as follows. When high resolution coding is applied, the reconstructed block is stored in the picture buffer as it is. When low resolution coding is applied, the reconstructed block is converted into high resolution using resolution enhancement technology and the converted block is stored in the picture buffer.
  • a reference picture stored in the picture buffer is directly output, so that a corresponding block can be predicted using a high-resolution reference picture. If the encoding or decoding target block is coded with a low resolution, the reference picture stored in the picture buffer is downsampled and output, so that the block can be predicted using a reference picture of low resolution.
  • the resolution mode information may be always signaled, but a flag indicating whether resolution mode information is signaled at a higher level may be encoded first. If the flag is 0, the resolution mode information is not signaled. In this case, all the blocks belonging to the upper level perform high-resolution encoding like conventional encoding / decoding. That is, the resolution enhancement technique is not applied. If the flag is 1, the resolution mode information is signaled at the lower level of the higher level.
  • Table 1 is an example of coding the corresponding flag as a syntax ( SPS_super_resolution_coding_enabled_flag ) of SPS (sequence parameter set).
  • Resolution mode information can be signaled in picture, slice, CTU, or CU units. That is, when signaling at the picture level, the syntax of the picture parameter set (PPS) is signaled at the slice level, as the syntax of the slice header, when signaled at the CTU level, as the syntax of the CTU, And encoded as the syntax of the CU. Tables 2 to 5 below show the syntax structure of each case.
  • PPS picture parameter set
  • a value of zero low_resolution_coding_mode high-resolution coding a value of low_resolution_coding_mode 1 means a low-resolution coding (that is, a resolution enhancement technique applied).
  • the resolution mode information is signaled at a certain level means that all the blocks belonging to the specific level are encoded in the same resolution mode. For example, when the resolution mode information is included in the slice header and indicates high-resolution encoding, all blocks in the slice are encoded at a high resolution. When the resolution mode information is included in the syntax of the CU level, the resolution mode is individually determined for each coding block.
  • the level at which the resolution mode information is signaled may be determined adaptively.
  • level information indicating the level at which the resolution mode information is signaled is additionally encoded.
  • the video decoding apparatus decodes the resolution mode information at a level indicated by the level information.
  • level information may be signaled at the SPS or PPS, as shown in Table 6 or 7 below.
  • super_resolution_unit_type can have the values shown in Table 8.
  • the resolution mode information is signaled as the syntax of the PPS as shown in Table 9. If super_resolution_unit_type is 1, the resolution mode information is signaled as a syntax of the slice header as shown in Table 10.
  • the resolution enhancement technique is not applied to CUs having a size smaller than the critical size. That is, in this embodiment, the resolution mode information is selectively encoded according to the size of the CU (the size of the coding block) at the CU level. That is, if the size of the CU is smaller than the threshold size, the resolution mode information is not encoded. If the size of the CU is larger than the threshold size, the resolution mode information is encoded. Table 11 shows the syntax structure according to this embodiment.
  • the threshold size may be a fixed value shared by the image encoding apparatus and the image decoding apparatus, but may be signaled at a higher level of the CU. That is, the image encoding apparatus determines a threshold size to be applied to a higher level and transmits information on the determined threshold size to a video decoding apparatus as a syntax within a higher level. The image decoding apparatus decodes the information indicating the threshold size and decides the threshold size, and then decodes the resolution mode information only for the coding block of the threshold level or higher among the coding blocks belonging to the upper level.
  • Table 12 is an example in which information on a threshold size is encoded as a syntax of a PPS, but the present invention is not limited thereto, and information on a threshold size may be included as a syntax of a higher level of the CU, for example, a CTU or a slice header.
  • an image area to be coded using intraprediction for example, an intra-random access point (IRAP) picture, an intra-slice or an intra-coded block, which is a random access picture, has a large amount of data occupied in the entire bitstream. Therefore, in this embodiment, the resolution enhancement technique is selectively applied only to the image region to be encoded using the intra prediction, and only the high resolution encoding is performed on the image region that does not use the intra prediction, without applying the resolution enhancement technique.
  • IRAP intra-random access point
  • the resolution enhancement technique when selectively applied to an IRAP picture, when the nal_unit_type of the NAL unit header indicates an IRAP (intra random access point) picture, Can be included as a syntax. Which level of syntax mode the resolution mode information is to be included can be indicated through level information as described in Embodiment A-1.
  • the image encoding apparatus and the image decoding apparatus may be fixed information shared by each other.
  • the slice header or the CTU or CU level syntax may be included when the slice_type syntax included in the slice header indicates the I slice. Which level of syntax mode the resolution mode information is to be included can be indicated through level information as described in Embodiment A-1. Alternatively, the image encoding apparatus and the image decoding apparatus may be fixed information shared by each other. Table 13 is an example of signaling the resolution mode information as a syntax of the CU level when slice_type indicates an I-slice.
  • pred_mode_flag information on a prediction type indicating whether the coding block is intra-predicted or intra-predicted
  • the resolution mode information is encoded.
  • Table 14 is an example in which resolution mode information is encoded as a syntax of a CU level when the coding block is an intra block using intra prediction.
  • the low_resolution_coding_mode value determined in the first picture in the picture group is referred to by the remaining pictures in the group.
  • pictures up to immediately before the next I-picture can be generated as one group on the basis of an I (intra) picture made up only of I-slices.
  • the I picture may be an IRAP (intra random access point) picture.
  • IRAP intra-random access point
  • resolution mode information may be included as the syntax of the PPS.
  • the resolution converting unit 1222 of the image encoding apparatus of FIG. 1 and the resolution converting unit 3216 of the image decoding apparatus of FIG. 3 may use any resolution enhancement technique. However, It is also possible to use a plurality of resolution enhancement techniques, such as a patch matching method, a motion registration based method, or a deep-learning based method. In this case, it is required to signal selection information indicating which resolution enhancement scheme is applied among a plurality of resolution enhancement schemes so that the image encoding apparatus and the image decoding apparatus can use the same resolution enhancement scheme.
  • a plurality of resolution enhancement techniques such as a patch matching method, a motion registration based method, or a deep-learning based method. In this case, it is required to signal selection information indicating which resolution enhancement scheme is applied among a plurality of resolution enhancement schemes so that the image encoding apparatus and the image decoding apparatus can use the same resolution enhancement scheme.
  • the image encoding apparatus encodes a syntax indicating which one of a plurality of resolution enhancement techniques is used, and the image decoding apparatus converts a low-resolution encoded image region into a high resolution using a resolution enhancement technique indicated by the syntax.
  • various methods of coding a syntax for indicating a resolution enhancement technique will be described.
  • the flag Indicates whether or not the syntax is encoded before encoding the syntax for indicating the resolution enhancement technique
  • the flag may be further encoded. If the flag is 0, the syntax for indicating the resolution enhancement technique is not encoded. In this case, the image encoding apparatus and the image decoding apparatus use a predetermined resolution enhancement technique. On the other hand, if the corresponding flag is 1, a syntax for indicating a resolution enhancement technique is encoded.
  • Table 15 is an example of coding these syntaxes in the SPS.
  • sps_super_resolution_list_enabled_flag 0 if sps_super_resolution_list_enabled_flag is 0, the syntax sps_super_resolution_list_id, which is a syntax for indicating a resolution enhancement technique, is not coded. If sps_super_resolution_list_enabled_flag is 1, then sps_super_resolution_list_id is coded and the resolution enhancement technique indicated by sps_super_resolution_list_id applies to all blocks referring to the same SPS.
  • these syntaxes may be encoded at the PPS level as shown in Table 16.
  • Table 16 if pps_super_resolution_list_enabled_flag is 1, pps_super_resolution_list_id, which is a syntax for indicating a resolution enhancement technique, is coded and a resolution enhancement technique indicated by pps_super_resolution_list_id is applied to all blocks in the concerned picture.
  • two syntaxes are signaled at the same level, but in the present embodiment, May be signaled. That is, it is also possible to encode the flag at a higher level and to encode the syntax for indicating a resolution enhancement technique at a lower level.
  • the flag may be encoded at the SPS level
  • the syntax for indicating resolution enhancement techniques may be encoded at the PPS level.
  • a deep-learning based resolution enhancement technique it may be required to additionally signal information on the filter coefficients from the image encoding apparatus to the image decoding apparatus.
  • This embodiment relates to further signaling the filter coefficients when a deep-learning based resolution enhancement technique is applied.
  • a flag indicating whether a depth learning based resolution enhancement technique is applied may be encoded, and the filter coefficients may be encoded if the flag indicates that a deep learning based resolution enhancement technique is applied.
  • Table 17 is an example of encoding related syntaxes at the SPS level.
  • sps_super_resolution_list_data_present_flag indicating whether the resolution enhancement technique of the deep-learning-based application, and if sps_super_resolution_list_data_present_flag 1 (if directed to the improvement of deep-learning-based resolution techniques applied), filter through super_resolution_list_data () And encodes the coefficients. If sps_super_resolution_list_data_present_flag is 0 (indicating that it is not a deep-run-based resolution enhancement scheme), one of the resolution enhancement schemes other than the deep-run-based resolution enhancement scheme encodes sps_super_resolution_list_id to indicate.
  • the filter coefficients can be encoded as shown in Table 18.
  • the filter coefficients for applying the depth-learning-based resolution enhancement technique are encoded through super_resolution_list_data ().
  • Tables 17 and 18 are described as being encoded at the SPS level, they may be encoded at the PPS level as shown in Tables 19 and 20 below.
  • the filter coefficients may be encoded differently depending on the level at which the resolution mode information is signaled have.
  • the super_resolution_unit_type in Table 8 is 0, information on filter coefficients applied on a picture-by-picture basis is coded, and when super_resolution_unit_type is 1, information on filter coefficients applied on a slice basis is coded.
  • Table 21 shows an example in which the related syntaxes are encoded at the SPS level, but it is also possible to encode at the PPS level.

Abstract

본 발명은 영상 압축 효율을 향상시키기 위한 해상도 향상 기법을 선택적으로 적용한 영상을 부호화 또는 복호화 하는 기술을 제공하며, 해상도 향상 기법을 선택적으로 적용하기 위해 필요한 픽처 버퍼 관리 기술 및 관련 정보의 시그널링 기술을 제안한다. 본 발명은 해상도 향상 기법을 선택적으로 적용하여 영상 압축 효율을 높이는 것을 일 목적으로 한다.

Description

해상도 향상 기법을 이용한 영상의 부호화 및 복호화
본 발명은 영상 부호화 또는 복호화에 관한 것으로, 보다 상세하게는 해상도 향상 기법을 선택적으로 적용하는 영상의 부호화 및 복호화에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
영상의 해상도가 높아지면서 영상을 효율적으로 부호화하고자 하는 다양한 노력들이 이루어지고 있다. 해상도 향상 기술은 종래에 컴퓨터 비전 및 영상처리 분야에서 주로 다루어지던 기술이었으나, 최근 영상압축 기술에 이러한 해상도 향상 기술 및 컴퓨터 비전 기술을 도입하려는 시도가 다양하게 이루어지고 있다. 2008년 IEEE ISCAS에 기고된 "Adaptive downsampling / upsampling for better video compression at low bit rate" 논문은 주파수 변환된 DCT 계수들의 분포 특성에 기반하여 4가지 모드(normal, horizontal down-sampling, vertical down-sampling, 1/2 down-samping)를 정의하여 주파수 영역에서의 다운/업 샘플링을 시도하였다. 2014년 IEEE TCSVT에 기고된 "Adaptive downsampling for high-definition video coding" 논문은 영상 프레임의 다운 샘플링 에러를 최소화하기 위해 power spectral density에 기반한 다운/업 샘플링 필터를 설계했다. 2017년 IEEE TCSVT에 기고된 "Convolutional neural network-based block up-sampling for intra frame coding" 논문은 최근 뛰어난 성능을 보이고 있는 합성곱 신경망(CNN, convolutional neural network) 기반의 해상도 향상 기술을 HEVC의 화면 내 예측 과정에 적용하여 AI (all intra) 환경에서 5.5%의 BD rate를 감소시켰다.
기존의 해상도 향상을 위해 사용하던 보간(interpolation) 기법은 이미 원본 고해상도 영상의 고주파 성분이 손실된 저해상도 영상의 화소 값들을 사용하여 가중 평균을 취하는 등의 방법을 사용하기 때문에, 원본 영상의 고주파 성분을 복원하는데 한계가 있다. 최근 주목받고 있는 해상도 향상 기법은 이러한 고주파 성분을 예제(example) 기반의 패치 정합 방법, 움직임 정합(registration) 기반의 방법, 또는 딥러닝(deep-learning) 기반의 방법 등이 있다. 이러한 해상도 향상 기법들은 원본 고해상도 영상에 가까운 화질의 영상을 저해상도 영상으로부터 생성할 수 있다.
딥러닝 기반의 해상도 향상 기법은 일반적으로 CNN을 기반으로 한다. 이러한 CNN 기반의 초해상도 기술은 입력으로 들어온 저해상도 영상을 고해상도 영상으로 비선형 매핑하기 위해서 3차원 필터를 순차적으로 적용하는 과정을 수행한다고 볼 수 있다. 해당 3차원 필터는 training을 통해 이미 학습된 필터 계수들이 사용된다.
본 발명은 해상도 향상 기법을 선택적으로 적용하여 영상을 부호화 또는 복호화 함으로써, 영상 압축 효율을 높이는 것을 일 목적으로 한다.
본 발명의 일 측면에 의하면, 해상도 향상 기법을 이용하여 영상을 복호화하기 위한 방법에 있어서, 비트스트림으로부터 해상도 모드 정보를 복호화하여, 복호화 대상 블록인 코딩블록(coding block)이 해상도 향상 기법으로 부호화되었는지 여부를 식별하는 단계; 상기 코딩블록을 복원하기 위한 신택스 요소들을 상기 비트스트림으로부터 복호화하고, 상기 복호화된 신택스 요소들을 이용하여 상기 코딩블록을 복원하는 단계; 및 상기 코딩블록이 해상도 향상 기법으로 부호화된 경우, 상기 복원된 코딩블록을 제2 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 상기 해상도 향상 기법에 의해 고해상도로 변환하여 고해상도 블록을 생성하고 상기 고해상도 블록을 제1 픽처 버퍼에 저장하는 단계를 포함하는 영상 복호화 방법을 제공한다.
한편, 그 영상 복호화 방법은 상기 코딩블록이 해상도 향상 기법으로 부호화되지 않은 경우, 상기 복원된 코딩블록을 상기 제1 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 저해상도로 변환하여 저해상도 블록을 생성하고 상기 저해상도 블록을 상기 제2 픽처 버퍼에 저장하는 단계를 더 포함할 수 있다.
본 발명은 다른 측면에 따르면, 해상도 향상 기법을 이용하여 영상을 복호화하기 위한 장치에 있어서, 고해상도로 복원된 픽처를 저장하기 위한 제1 픽처 버퍼; 저해상도로 복원된 픽처를 저장하기 위한 제2 픽처 버퍼; 비트스트림으로부터 해상도 모드 정보를 복호화하여 복호화 대상 블록인 코딩블록(coding block)이 해상도 향상 기법으로 부호화되었는지 여부를 식별하고, 상기 코딩블록을 복원하기 위한 신택스 요소들을 복호화하는 복호화기; 및 상기 코딩블록을 복원하기 위한 신택스 요소들을 이용하여 상기 코딩블록을 복원하는 복원기를 포함하되, 상기 복원기는, 상기 코딩블록이 해상도 향상 기법으로 부호화된 경우, 상기 복원된 코딩블록을 상기 제2 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 상기 해상도 향상 기법에 의해 고해상도로 변환하여 고해상도 블록을 생성하고 상기 고해상도 블록을 상기 제1 픽처 버퍼에 저장하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
상기 복원기는, 상기 코딩블록이 해상도 향상 기법으로 부호화되지 않은 경우, 상기 복원된 코딩블록을 상기 제1 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 저해상도로 변환하여 저해상도 블록을 생성하고 상기 저해상도 블록을 상기 제2 픽처 버퍼에 저장할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 부호화 장치에 대한 예시적인 블록도,
도 2는 본 발명의 실시예에 따른 영상 부호화 장치가 픽처 버퍼를 관리하는 방법을 나타내는 예시적인 순서도,
도 3은 본 발명의 실시예에 따른 영상 복호화 장치에 대한 예시적인 블록도,
도 4는 본 발명의 실시예에 따른 영상 복호화 장치가 픽처 버퍼를 관리하는 방법을 나타내는 예시적인 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시는 해상도 향상 기법을 선택적으로 적용하기 위한 영상의 부호화 또는 복호화와 관련된다. 영상 부호화 장치는 고해상도(HR, high resolution) 영상을 입력받아 부호화하고, 고해상도 영상을 다운샘플링(down-sampling)하여 얻은 저해상도(LR, low resolution) 영상을 입력받아 부호화한다. 그리고 부호화된 고해상도와 저해상도 영상 중 부호화 효율이 좋은 영상을 선택하여 영상 복호화 장치로 전달한다. 영상 복호화 장치는 수신한 데이터를 복호화하여 영상을 복원하는데, 수신한 데이터가 고해상도 영상에 해당하는 경우에는 복원된 영상을 그대로 디스플레이하면 되지만 저해상도 영상에 해당하는 경우에는 복원된 영상을 해상도 향상 기법을 이용하여 고해상도로 변환한 이후에 디스플레이하게 된다.
이러한 해상도 향상 기술을 선택적으로 적용하기 위해서는 영상 부호화 장치와 영상 복호화 장치가 동일한 참조픽처를 참조하여 영상을 부호화 또는 복호화할 수 있도록 기존과는 다른 참조픽처 관리가 요구된다. 또한, 부호화된 영상이 해상도 향상 기법을 사용하여 부호화된 것인지, 즉, 부호화된 영상이 고해상도인지 아니면 고해상도를 다운샘플링한 저해상도인지를 나타내는 신택스의 적절한 시그널링이 요구된다.
도 1은 본 발명의 실시예에 따른 영상 부호화 장치에 대한 예시적인 블록도이다.
본 발명의 실시예에 따른 영상 부호화 장치는, 제1 부호화 모듈(1100), 제2 부호화 모듈(1200), 평가기(evaluator, 1300), 비트스트림 생성부(1400), 제1 픽처 버퍼(1500) 및 제2 픽처 버퍼(1600)을 포함한다. 제1 부호화 모듈(1100), 제2 부호화 모듈(1200), 평가기(evaluator, 1300) 및 비트스트림 생성부(1400)는 각 구성요소가 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 하나 이상의 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
제1 부호화 모듈(1100)은 고해상도 원본 영상을 입력받아 부호화를 수행하고, 제2 부호화 모듈(1200)은 저해상도 원본 영상을 입력받아 부호화를 수행한다.
영상은 복수의 픽처들로 구성되는데, 각 픽처는 하나 이상의 슬라이스(slice)로 분할될 수 있고, 각 슬라이스들은 하나 이상의 코딩 트리 유닛(CTU, coding tree unit)으로 분할될 수 있다. CTU는 트리 구조(tree structure)를 이용하여 반복적으로(recursively) 분할된다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 코딩 유닛(CU, coding unit)이 된다. 트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 이러한 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다. 즉, CTU를 다수의 CU로 분할하기 위해 QTBT를 사용할 수 있다.
QTBT (QuadTree plus BinaryTree) 구조에서, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달 할 때까지 반복 될 수 있다. 쿼드트리의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지않은 경우, BT 구조로 더 파티셔닝될 수 있다. BT에서는 복수의 분할 타입이 존재할 수 있다. 예컨대, 일부 예시에서, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. 또한, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태로는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태를 포함할 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태를 포함할 수도 있다.
CU는 CTU로부터의 QTBT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBT의 리프 노드)에 해당하는 블록을 '코딩블록(coding block)'이라 칭한다. 코딩블록은 부호화 및 복호화를 위한 기본 단위가 된다.
제1 부호화 모듈(1100)로 입력되는 고해상도 영상과 제2 부호화 모듈(1120)로 입력되는 저해상도 영상의 블록 파티셔닝 구조는 고해상도 및 저해상도를 구분하는 부호화 단위에 따라 동일할 수도 동일하지 않을 수도 있다. 가령, 픽처 단위로 고해상도 영상 및 저해상도 영상을 구분한다면, 픽처 내 블록 파티셔닝 구조는 다를 수 있다. 반대로, 코딩블록 단위로 고해상도 영상 및 저해상도 영상을 구분한다면, 코딩블록의 파티셔닝 구조는 동일 해야만 한다.
한편, 도 1에는 제1 부호화 모듈(1100)과 제2 부호화 모듈(1120)이 물리적으로 구분된 모듈인 것으로 도시되어 있으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 제1 부호화 모듈(1100)과 제2 부호화 모듈(1120)이 물리적으로 하나의 모듈로 구성되고, 고해상도 영상과 저해상도 영상을 순차적으로 부호화해도 무방하다.
제1 부호화 모듈(1100)은 고해상도 영상을 픽처 단위로 입력받아 입력된 픽처(F)를 부호화한다. 그리고 부호화된 픽처를 복원한 이후에 복원된 픽처(F’)를 생성한다. 이를 위해 제1 부호화 모듈(1100)은 인트라 예측부(1102), 인터 예측부(1104), 감산기(1106), 변환부(1108), 양자화부(1110), 부호화부(1112), 역양자화부(1114), 역변환부(1116), 가산기(1118), 필터부(1120)를 포함한다.
픽처 내 코딩블록들은 각각 예측적으로 부호화될 수 있다. 코딩블록의 예측은 (코딩블록을 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (코딩블록을 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 일반적으로 수행될 수 있다. 이를 위해, 제1 부호화 모듈(1100)은 인트라 예측부(1102) 및 인터 예측부(1104)를 포함한다.
인트라 예측부(1102)는 현재 부호화하고자 하는 코딩블록이 포함된 현재 픽처 내에서 현재 코딩블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재 코딩블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다. 인트라 예측부(1102)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재 코딩블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보는 부호화부(1112)에 의해 부호화된다.
인터 예측부(1104)는 움직임 보상 과정을 통해 현재 코딩블록에 대한 예측블록을 생성한다. 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재 코딩블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재 코딩블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재 코딩블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재 코딩블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(1112)에 의해 부호화된다.
감산기(1106)는 현재 코딩블록으로부터 인트라 예측부(1102) 또는 인터 예측부(1104)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.
변환부(1108)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(1108)는 잔차 블록 내의 잔차 신호들을 현재 코딩블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.
양자화부(1110)는 변환부(1108)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(1112)로 출력한다.
부호화부(1112)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 또한, 부호화부(150)는 블록 분할과 관련된 CTU size, MinQTSize, MaxBTSize, MaxBTDepth, MinBTSize, QT 분할 플래그, BT 분할 플래그, 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.
부호화부(1112)는 현재 코딩블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다. 현재 코딩블록이 인트라 예측된 경우에는 인트라 예측정보로서 인트라 예측 모드에 대한 신택스 요소(syntax element)를 부호화한다. 현재 코딩블록이 인터 예측된 경우, 부호화부(1112)는 움직임 정보에 대한 신택스 요소를 부호화한다.
역양자화부(1114)는 양자화부(1110)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(1116)는 역양자화부(1114)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(1118)는 복원된 잔차블록과 인트라 예측부(1102) 또는 인터 예측부(1104)에 의해 생성된 예측블록을 가산하여 현재 코딩블록을 복원한다. 복원된 현재 코딩블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(1120)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링한다.
한편, 본 발명의 실시예에 따른 영상 부호화 장치는 다운 샘플러(D/S, 1122)를 더 포함한다. 다운 샘플러(1122)는 디블록킹 필터링 후의 복원된 픽처(F’)를 다운 샘플링함으로써 저해상도로 변환된 복원된 픽처(DS(F’))를 생성한다.
제2 부호화 모듈(1200)은 고해상도 영상을 다운 샘플링한 저해상도 영상을 픽처 단위로 입력받아 입력된 픽처(f)를 부호화한다. 그리고 부호화된 픽처를 복원한 이후에 복원된 픽처(f’)를 해상도 향상 기법을 이용하여 변환함으로써, 고해상도로 변환된 복원된 픽처(SR(f’))를 생성한다. 이를 위해, 제2 부호화 모듈(1200)은 인트라 예측부(1202), 인터 예측부(1204), 감산기(1206), 변환부(1208), 양자화부(1210), 부호화부(1212), 역양자화부(1214), 역변환부(1216), 가산기(1218), 필터부(1220)를 포함한다. 이들 구성요소들은 각각 제1 부호화 모듈(1100)의 인트라 예측부(1102), 인터 예측부(1104), 감산기(1106), 변환부(1108), 양자화부(1110), 부호화부(1112), 역양자화부(1114), 역변환부(1116), 가산기(1118), 필터부(1120)와 동일한 기능을 수행하므로, 제2 부호화 모듈(1200)의 각 구성요소에 대한 상세는 설명의 중복을 피하기 위해 생략한다.
제2 부호화 모듈(1200)은 초해상도 변환부(S/R, 1222)를 더 포함하는데, 초해상도 변환부(1222)는 필터부(1220)로부터 출력되는 복원된 픽처(f’)를 해상도 향상 기법을 이용하여 변환함으로써, 고해상도로 변환된 복원된 픽처(SR(f’))를 생성한다. 해상도 향상 기법으로는 예제(example) 기반의 패치 정합 방법, 움직임 정합(registration) 기반의 방법, 또는 딥러닝(deep-learning) 기반의 방법 등이 사용될 수 있다.
평가기(evaluator, 1300)는, 제1 부호화 모듈(1100)에 의한 부호화 비용과 제2 부호화 모듈(1200)에 의한 부호화 비용을 비교함으로써, 제1 부호화 모듈(1100)에 의해 부호화된 데이터와 제2 부호화 모듈(1200)에 의해 부호화된 데이터 중 하나를 선택하기 위한 해상도 모드 정보를 생성한다. 부호화 비용으로는 율-왜곡(rate-distortion) 비용 등이 사용될 수 있다. 율(rate)은 부호화를 위해 요구되는 데이터의 양을 나타내는 지표이고, 왜곡(distortion)은 원본 데이터의 손실, 즉, 원본 영상과 부호화된 이후에 복원되는 영상 간의 차이를 나타내는 지표이다.
평가기(1300)는 제1 부호화 모듈이 픽처를 부호화할 때 소요되는 데이터의 양을 부호화부(1112)로부터 수신하고, 고해상도의 원본 픽처(F)와 필터부(1120) 로부터 출력되는 복원된 픽처(F’) 간의 차이를 계산한다. 이를 통해 제1 부호화 모듈(1100)에 의해 부호화되는 경우의 율-왜곡 비용을 계산한다. 또한, 평가기(1300)는 제2 부호화 모듈이 픽처를 부호화할 때 소요되는 데이터의 양을 부호화부(1212)로부터 수신하고, 고해상도의 원본 픽처(F)와 초해상도 변환부(1222)에 의해 출력되는 고해상도로 변환된 복원된 픽처(SR(f’)) 간의 차이를 계산한다. 이를 통해 제2 부호화 모듈(1100)에서 해상도 향상 기법을 사용한 경우의 율-왜곡 비용을 계산한다. 그리고, 그 두 개의 율-왜곡 비용을 비교하여 해상도 모드 정보를 생성한다. 해상도 모드 정보는 픽처 버퍼를 관리하기 위한, 그리고 비트스트림 생성부(1400)가 제1 부호화 모듈에 의해 생성된 부호화 데이터와 제2 부호화 모듈에 의해 생성된 부호화 데이터 중 하나를 선택하기 위한 컨트롤 신호로서 작용한다.
비트스트림 생성부(1400)는, 평가기(1300)에 의해 생성된 해상도 모드 정보에 근거하여, 제1 부호화 모듈의 부호화부(1112)로부터 출력되는 부호화 데이터 및 제2 부호화 모듈의 부호화부(1212)로부터 출력되는 부호화 데이터 중 어느 하나를 선택하고 선택된 부호화 데이터를 비트스트림으로 생성하여 영상 복호화 장치로 전달한다. 비트스트림에는 평가기(1300)에 의해 생성된 해상도 모드 정보가 포함된다.
한편, 이상에서는 평가기(1300)가 픽처 단위로 율-왜곡 비용을 계산하고 해상도 모드 정보를 생성하는 것으로 기재하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 평가기(1300)는 코딩블록, CTU, 또는 슬라이스 단위로 율-왜곡 비용을 계산할 수도 있다. 이 경우, 해상도 모드 정보는 코딩블록, CTU, 또는 슬라이스 단위로 생성된다. 이는 본 발명의 해상도 모드 정보가 코딩블록에 대응하는 CU, CTU, 슬라이스 헤더 및 픽처 파라미터 세트(PPS, picture parameter set) 중 어느 한 레벨의 신택스로 부호화되어 영상 복호화 장치로 시그널링될 수 있음을 의미한다.
제1 픽처 버퍼(1500) 및 제2 픽처 버퍼(1600)는 각각 고해상도의 참조픽처와 저해상도의 참조픽처를 저장한다. 이하에서는, 영상 부호화 장치가 해상도 모드 정보에 따라 픽처 버퍼들을 관리하는 방법을 설명한다.
도 2는 본 발명의 실시예에 따른 영상 부호화 장치가 픽처 버퍼를 관리하는 방법을 나타내는 예시적인 순서도이다.
앞서 언급한 바와 같이, 영상 부호화 장치의 평가기(1300)가 제1 및 제2 부호화 모듈 간의 부호화 비용을 비교하는 단위는 CU, CTU, 슬라이스, 또는 픽처일 수 있다. 이하에서는 이 단위들을 통칭하기 위해 ‘이미지 영역’이라는 표현을 사용한다. 즉, 이미지 영역은 CU, CTU, 슬라이스, 또는 픽처 중 어느 하나일 수 있다.
영상 부호화 장치는 고해상도 이미지 영역(F)를 제1 부호화 모듈에 의해 부호화하였을 때의 부호화 비용(cost(HR))과, 고해상도 이미지 영역(F)을 다운샘플링한 저해상도 이미지 영역(f)을 제2 부호화 모듈에 의해 부호화하였을 때의 부호화 비용(cost(LR))을 비교한다(S202). 영상 부호화 장치는 비교 결과에 대응하는 해상도 모드 정보를 생성한다.
cost(HR)이 cost(LR) 보다 작거나 같으면(예컨대, 해상도 모드 정보 = 0), 영상 부호화 장치는 제1 부호화 모듈의 부호화부(1112)에 의해 부호화된 데이터(고해상도 이미지 영역(F)를 부호화한 데이터)를 비트스트림 생성부(1400)로 출력하도록 제어한다(S204). 이때, 비트스트림 생성부(1400)에 의해 생성된 비트스트림에는 고해상도 이미지 영역(F)이 부호화됨을 나타내는 해상도 모드 정보가 포함된다. 그리고 복원된 고해상도 이미지 영역(F’)을 제1 픽처 버퍼(1500)에 저장하고(S206), 복원된 고해상도 이미지 영역(F’)을 다운 샘플링한 이미지 영역(DS(F’))을 제2 픽처 버퍼(1600)에 저장한다(S208). 예컨대, 도 1을 참조하면, cost(HR)이 cost(LR) 보다 작거나 같을 때(예컨대, 해상도 모드 정보 = 0), 스위치 1 내지 3(sw1~sw3)은 모두 A 위치로 스위칭된다. 따라서, 제1 부호화 모듈(1100)의 부호화부(1112)에 의해 출력되는 부호화 데이터가 비트스트림 생성부(1400)로 출력된다. 또한, 복원된 고해상도 이미지 영역(F’)이 제1 픽처 버퍼(1500)에 저장되고, 복원된 고해상도 이미지 영역(F’)을 다운 샘플링한 이미지 영역(DS(F’))은 제2 픽처 버퍼(1600)에 저장된다.
반면, cost(HR)이 cost(LR) 보다 크면(예컨대, 해상도 모드 정보 = 1), 영상 부호화 장치는 제2 부호화 모듈의 부호화부(1212)에 의해 부호화된 데이터(고해상도 이미지 영역(F)을 다운샘플링한 저해상도 이미지 영역(f)을 부호화한 데이터)를 비트스트림 생성부(1400)로 출력하도록 제어한다(S210). 이때 비트스트림 생성부(1400)에 의해 생성된 비트스트림에는 저해상도 이미지 영역(f)이 부호화됨을 나타내는, 즉, 해상도 향상 기법이 사용됨을 나타내는, 해상도 모드 정보가 포함된다. 그리고 복원된 저해상도 이미지 영역(f’)을 제2 픽처 버퍼(1600)에 저장하고(S212), 복원된 저해상도 이미지 영역(f’)을 해상도 향상 기법을 사용하여 고해상도로 변환한 이미지 영역(SR(f’))을 제1 픽처 버퍼(1500)에 저장한다(S214).예컨대, 도 1을 참조하면, cost(HR)이 cost(LR) 보다 크면(예컨대, 해상도 모드 정보 = 1), 스위치 1 내지 3(sw1~sw3)은 모두 B 위치로 스위칭된다. 따라서, 제2 부호화 모듈(1200)의 부호화부(1212)에 의해 출력되는 부호화 데이터가 비트스트림 생성부(1400)로 출력된다. 또한, 복원된 저해상도 이미지 영역(f’)이 제2 픽처 버퍼(1600)에 저장되고, 복원된 저해상도 이미지 영역(f’)을 해상도 향상 기법을 통해 고해상도로 변환한 이미지 영역(SR(f’))은 제1 픽처 버퍼(1500)에 저장된다.
본 개시는 픽처, 슬라이스, CTU, 또는 CU 단위로 해상도 향상 기법을 선택적으로 적용하여 부호화를 수행한다. 즉, 고해상도의 이미지 영역을 직접 부호화할 수도 있고 또는 고해상도 이미지 영역을 저해상도로 변환한 이후에 저해상도 이미지 영역을 부호화할 수도 있다. 따라서 고해상도 이미지 영역의 예측 부호화를 위해 저해상도 이미지 영역이 참조될 수 있고, 저해상도 이미지 영역의 예측 부호화를 위해 고해상도 이미지 영역이 참조될 수도 있다. 따라서, 고해상도 이미지 영역이 부호화되는지 아니면 저해상도 이미지 영역이 부호화되는지(해상도 향상 기법을 사용하는지)에 따라 전술한 바와 같이 픽처 버퍼를 관리하면, 고해상도 이미지 영역과 저해상도 이미지 영역 간의 상호 참조가 가능해지므로 더 효율적으로 영상을 부호화할 수 있게 된다.
도 3은 본 발명의 실시예에 따른 영상 복호화 장치에 대한 예시적인 블록도이다.
본 발명의 실시예에 따른 영상 복호화 장치는 복호화부(3100), 복원기(reconstructor, 3200), 제1 픽처 버퍼(3300) 및 제2 픽처 버퍼(3400)을 포함한다. 복호화부(3100) 및 복원기(3200)의 각 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 하나 이상의 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(3100)는 영상 부호화 장치로부터 수신한 비트스트림으로부터 이미지 영역 단위로 해상도 모드 정보를 복호화한다. 전술한 바와 같이, 이미지 영역은 CU, CTU, 슬라이스, 픽처 중 어느 하나일 수 있다.
또한, 복호화부(3100)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출하여 복호화하고자 하는 현재 코딩블록을 결정하고, 현재 코딩블록을 복원하기 위해 필요한 예측 정보와 잔차신호에 대한 정보 등을 추출한다.
복호화부(3100)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다. 예컨대, QTBT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT의 분할과 관련된 제2 플래그(BT_split_flag) 및 분할 타입 정보를 추출하여 해당 리프 노드를 BT 구조로 분할한다.
한편, 복호화부(3100)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(3100)는 현재블록의 인트라 예측 모드에 대한 신택스 요소를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(3100)는 움직임 정보에 대한 신택스 요소를 추출한다.
또한, 복호화부(3100)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
복원기(3200)는 부호화된 코딩블록들을 복원한다. 이를 위해, 복원기(3200)는 역양자화부(3202), 역변환부(3204), 인트라 예측부(3206), 인터 예측부(3208), 가산기(3210), 및 필터부(3212)를 포함한다.
역양자화부(3202)는 양자화된 변환계수들을 역양자화하고 역변환부(3204)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재 코딩블록에 대한 잔차블록을 생성한다.
인트라 예측부(3206)는 현재 코딩블록의 예측 타입이 인트라 예측일 때 활성화된다. 인트라 예측부(3206)는 복호화부(3100)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재 코딩블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재 코딩블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.
인터 예측부(3208)는 복호화부(3100)로부터 추출된 움직임 정보 대한 신택스 요소를 이용하여 현재 코딩블록을 인터 예측하기 위한 참조픽처와 움직임벡터를 결정한다. 그리고 결정된 참조픽처와 움직임벡터를 이용하여 현재 코딩블록을 예측한다.
가산기(3210)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재 코딩블록을 복원한다. 복원된 현재 코딩블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(3212)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링한다.
한편, 복원기(3200)는 다운 샘플러(D/S. 3214) 및 초해상도 변환부(3216)을 더 포함한다. 다운 샘플러(3214)와 초해상도 변환부(3216)는 비트스트림으로부터 추출된 해상도 모드 정보에 따라 선택적으로 활성화된다.
다운 샘플러(3214)는, 해상도 모드 정보가 고해상도 부호화를 지시할 때 활성화되며, 복원된 픽처를 다운샘플링하여 저해상도 픽처로 변환한다. 복원기(3200)는 다운샘플링 이전의 복원된 픽처를 제1 픽처 버퍼(3300)에 저장하고 다운샘플링 이후의 저해상도 픽처를 제2 픽처 버퍼(3400)에 저장한다.
초해상도 변환부(3216)는 해상도 모드 정보가 저해상도 부호화를 지시할 때, 즉, 해상도 향상 기법이 사용됨을 지시할 때 활성화되며, 복원된 픽처를 해상도 향상 기법을 이용하여 변환하여 고해상도 픽처를 생성한다. 복원기(3200)는 해상도 향상 기법을 적용하기 전의 복원된 픽처를 제2 픽처 버퍼(3400)에 저장하고, 해상도 향상 기법을 적용한 후의 고해상도 픽처를 제1 픽처 버퍼(3300)에 저장한다.
제1 픽처 버퍼(3300)에 저장된 고해상도의 참조픽처와 및 제2 픽처 버퍼(3400)에 저장된 저해상도의 참조픽처는 이후에 복호화할 블록들을 예측하기 위해 사용된다. 예컨대, 복호화할 코딩블록이 고해상도로 부호화된 경우, 복원기(3200)는 제1 픽처 버퍼(3300)로부터 해당 코딩블록의 예측을 위해 사용되는 참조영역을 획득한다. 반면, 이후에 복호화할 코딩블록이 저해상도로 부호화된 경우(즉, 해상도 향상 기법을 사용한 경우), 복원기(3200)는 제2 픽처 버퍼(3400)로부터 해당 코딩블록의 예측을 위해 사용되는 참조영역을 획득한다.
예컨대, 해상도 모드 정보가 고해상도 부호화를 지시하는 경우, 복원기(3200)는 스위치 4(sw4)를 A 위치로 스위칭하여 제1 픽처 버퍼(3300)에 저장된 참조픽처들을 이용하여 현재 코딩블록을 예측할 수 있도록 한다. 또한, 복원기(3200)는 스위치 1 내지 3 (sw1~sw3)을 모두 A 위치로 스위칭하여 필터부로부터 출력되는 복원된 코딩블록들을 포함하는 복원된 현재 픽처를 다운 샘플러(3214)를 통해 저해상도 픽처로 변환하고, 다운 샘플링 이전의 복원된현재 픽처는 제1 픽처 버퍼(3300)에, 그리고 다운 샘플링 이후의 저해상도 픽처는 제2 픽처 버퍼(3400)에 저장한다.
반면, 해상도 모드 정보가 저해상도 부호화를 지시하는 경우(해상도 해상 기법이 적용된 경우), 복원기(3200)는 스위치 4(sw4)를 B 위치로 스위칭하여 제2 픽처 버퍼(3400)에 저장된 참조픽처들을 이용하여 현재 코딩블록을 예측할 수 있도록 한다. 또한, 복원기(3200)는 스위치 1 내지 3 (sw1~sw3)을 모두 B 위치로 스위칭하여 필터부로부터 출력되는 복원된 코딩블록들을 포함하는 복원된 현재 픽처를 초해상도 변환부(3216)를 통해 고해상도 픽처로 변환하고, 변환 이전의 복원된 현재 픽처는 제2 픽처 버퍼(3400)에, 그리고 변환 이후의 고해상도 픽처는 제1 픽처 버퍼(3300)에 저장한다.
도 4는 본 발명의 실시예에 따른 영상 복호화 장치가 픽처 버퍼를 관리하는 방법을 나타내는 예시적인 순서도이다.
영상 복화화 장치는 비트스트림으로부터 해상도 모드 정보를 복호화하고(S402), 현재 코딩블록을 복원하기 위해 필요한 신택스 요소들을 복호화한 후 복호화된 신택스 요소들을 이용하여 현재 코딩블록을 복원한다(S404).
영상 복호화 장치는 해상도 모드 정보가 고해상도 부호화를 지시하는지 아니면 저해상도 부호화를 지시하는지 여부, 즉, 해상도 향상 기법이 적용되는지 여부를 판단한다(S406).
해상도 모드 정보가 고해상도 부호화를 지시하는 경우, 영상 복호화 장치는 복원된 코딩블록을 제1 픽처 버퍼(3300)에 저장한다(S408). 그리고, 복원된 코딩블록을 다운 샘플링을 통해 저해상도로 변환하고(S410), 저해상도로 변환된 블록을 제2 픽처 버퍼에 저장한다(S412).
해상도 모드 정보가 저해상도 부호화를 지시하는 경우(해상도 향상 기법이 적용되는 경우), 영상 복호화 장치는 복원된 코딩블록을 제2 픽처 버퍼(3400)에 저장한다(S414). 그리고, 복원된 코딩블록을 해상도 향상 기법을 이용하여 고해상도로 변환하고(S416), 고해상도로 변환된 블록을 제1 픽처 버퍼(3300)에 저장한다(S418).
이상에서는 해상도 향상 기법을 선택적으로 적용하기 위해, 고해상도 참조픽처와 저해상도 참조픽처를 각각 저장하는 두 개의 버퍼를 설계하고 픽처 버퍼를 관리하는 기술에 대해 설명하였다. 그러나, 다른 방식으로 픽처 버퍼를 관리하는 것도 가능하다. 예컨대, 고해상도 참조픽처를 저장하는 하나의 픽처 버퍼를 이용하는 것도 가능하다. 이 때, 그 하나의 픽처 버퍼에는 다음과 같이 고해상도 참조픽처들이 구성될 수 있다. 고해상도 부호화가 적용되는 경우 복원된 블록을 그대로 픽처 버퍼에 저장하고, 저해상도 부호화가 적용되는 경우 복원된 블록을 해상도 향상 기술을 이용하여 고해상도로 변환하고 고해상도로 변환된 블록을 픽처 버퍼에 저장한다. 그리고, 부호화 또는 복호화하고자 하는 블록이 고해상도로 부호화된 경우, 픽처 버퍼에 저장된 참조픽처를 그대로 출력함으로써 고해상도의 참조픽처를 이용하여 해당 블록을 예측할 수 있도록 한다. 만약 부호화 또는 복호화 대상 블록이 저해상도로 부호화된 경우, 픽처 버퍼에 저장된 참조픽처를 다운샘플링하여 출력함으로써 저해상도의 참조픽처를 이용하여 해당 블록을 예측할 수 있도록 한다.
이하에서는, 영상 부호화 장치와 영상 복호화 장치가 전술한 바와 같은 방식으로 픽처 버퍼를 관리할 수 있도록 하기 위해, 해상도 모드 정보를 시그널링하는 방법에 대해 설명한다.
A. 해상도 모드 정보의 시그널링
해상도 모드 정보는 항상 시그널링될 수도 있지만, 상위 레벨에서 해상도 모드 정보가 시그널링되는지 여부를 지시하는 플래그가 먼저 부호화될 수도 있다. 해당 플래그가 0인 경우 해상도 모드 정보는 시그널링되지 않는다. 이 경우, 그 상위 레벨에 속하는 모든 블록들은 통상적인 부호화/복호화와 마찬가지로 고해상도 부호화를 수행한다. 즉, 해상도 향상 기법이 적용되지 않는다. 만약, 해당 플래그가 1이면, 그 상위 레벨의 하위 레벨에서 해상도 모드 정보가 시그널링된다. 예컨대, 표 1은 해당 플래그를 SPS(sequence parameter set)의 신택스(sps_super_resolution_coding_enabled_flag)로서 부호화하는 예시이다.
Figure PCTKR2018011266-appb-T000001
실시예 A-1
해상도 모드 정보는 픽처, 슬라이스, CTU, 또는 CU 단위로 시그널링될 수 있다. 즉, 픽처 레벨에서 시그널링되는 경우는 PPS(picture parameter set)의 신택스로서, 슬라이스 레벨에서 시그널링되는 경우 슬라이스 헤더의 신택스로서, CTU 레벨에서 시그널링되는 경우는 CTU의 신택스로서, CU 레벨에서 시그널링되는 경우는 CU의 신택스로서 부호화된다. 아래 표 2 내지 5는 각 경우의 신택스 구조를 나타낸다.
Figure PCTKR2018011266-appb-T000002
Figure PCTKR2018011266-appb-T000003
Figure PCTKR2018011266-appb-T000004
Figure PCTKR2018011266-appb-T000005
표 2 내지 5에서 해상도 모드 정보는 low_resolution_coding_mode 로 표기되었으며, low_resolution_coding_mode의 값이 0이면 고해상도 부호화를, low_resolution_coding_mode의 값이 1이면 저해상도 부호화(즉, 해상도 향상 기법 적용)을 의미한다.
해상도 모드 정보가 특정 레벨에서 시그널링된다 함은 그 특정 레벨에 속하는 모든 블록들이 동일한 해상도 모드로 부호화되었다는 것을 의미한다. 예컨대, 해상도 모드 정보가 슬라이스 헤더에 포함되고 고해상도 부호화를 지시하는 경우, 해당 슬라이스 내의 모든 블록들은 고해상도로 부호화된다. 해상도 모드 정보가 CU 레벨의 신택스로 포함되는 경우에는, 해상도 모드는 코딩블록마다 개별적으로 결정된다.
한편, 해상도 모드 정보가 시그널링되는 레벨은 적응적으로 결정될 수도 있다. 이 경우, 해상도 모드 정보가 시그널링되는 레벨을 지시하는 레벨 정보가 추가적으로 부호화된다. 영상 복호화 장치는 레벨 정보가 지시하는 레벨에서 해상도 모드 정보를 복호화한다. 예컨대 레벨 정보는, 아래 표 6 또는 7과 같이, SPS 또는 PPS에서 시그널링될 수 있다.
Figure PCTKR2018011266-appb-T000006
Figure PCTKR2018011266-appb-T000007
표 6 및 7에서 레벨 정보는 super_resolution_unit_type로 표기되었다. super_resolution_unit_type은 표 8와 같은 값들을 가질 수 있다.
Figure PCTKR2018011266-appb-T000008
예컨대, super_resolution_unit_type가 0이면 해상도 모드 정보는 표 9와 같이 PPS의 신택스로서 시그널링되고, super_resolution_unit_type가 1이면 표 10과 같이 슬라이스 헤더의 신택스로서 시그널링된다.
Figure PCTKR2018011266-appb-T000009
Figure PCTKR2018011266-appb-T000010
실시예 A-2
CU의 크기(코딩블록의 크기)가 작을 경우, 해상도 향상 기법을 사용하더라도 압축 효율 상의 큰 이득을 얻지 못할 가능성 높다. 따라서 본 실시예에서는 임계 크기보다 작은 크기를 가지는 CU에 대해서는 해상도 향상 기법을 적용하지 않는다. 즉, 본 실시예에서 해상도 모드 정보는 CU 레벨에서 CU의 크기(코딩블록의 크기)에 따라 선택적으로 부호화한다. 즉, CU의 크기가 임계크기보다 작으면 해상도 모드 정보는 부호화되지 않고, 임계크기 이상이면 해상도 모드 정보가 부호화된다. 표 11은 본 실시예에 따른 신택스 구조를 나타낸다.
Figure PCTKR2018011266-appb-T000011
한편, 임계크기는 영상 부호화 장치와 영상 복호화 장치가 서로 공유하는 고정된 값일 수도 있지만, CU의 상위 레벨에서 시그널링될 수도 있다. 즉, 영상 부호화 장치는 상위 레벨에 적용되는 임계 크기를 결정하고 결정된 임계 크기에 대한 정보를 상위 레벨 내의 신택스로서 영상 복호화 장치로 전달한다. 영상 복호화 장치는 임계 크기를 지시하는 정보를 복호화하여 임계 크기를 결정한 이후에 상위 레벨에 속하는 코딩블록들 중 임계 크기 이상인 코딩블록에 대해서만 해상도 모드 정보를 복호화한다. 표 12는 임계크기에 대한 정보가 PPS의 신택스로서 부호화되는 예시이나, 본 발명이 이에 한정되는 것은 아니며 임계 크기에 대한 정보는 CU의 상위 레벨, 예컨대, CTU 또는 슬라이스 헤더의 신택스로서 포함될 수도 있다.
Figure PCTKR2018011266-appb-T000012
실시예 A-3
일반적으로 인트라 예측을 사용하여 부호화되는 이미지 영역, 예컨대, 랜덤 액세스 픽처인 IRAP(intra random access point) 픽처, I (intra) 슬라이스 또는 인트라 코딩블록은 전체 비트스트림에서 차지하는 데이터량이 많다. 따라서, 본 실시예는 인트라 예측을 사용하여 부호화되는 이미지 영역에 대해서만 해상도 향상 기법을 선택적으로 적용하고, 인트라 예측을 사용하지 않는 이미지 영역에 대해서는 해상도 향상 기법을 적용하지 않고 고해상도 부호화만을 수행한다.
예컨대, IRAP(intra random access point) 픽처에 대해서 해상도 향상 기법을 선택적으로 적용하는 경우에는, NAL 유닛 헤더의 nal_unit_type이 IRAP(intra random access point) 픽처를 나타낼 때, 해상도 모드 정보가 PPS 또는 슬라이스 헤더의 신택스로서 포함될 수 있다. 해상도 모드 정보를 어느 레벨의 신택스로 포함시킬 것인지는, 실시예 A-1에서 설명한 바와 같이, 레벨 정보를 통해 지시될 수 있다. 혹은, 영상 부호화 장치와 영상 복호화 장치가 서로 공유하는 고정된 정보일 수도 있다.
I (intra) 슬라이스에 대해서 해상도 향상 기법을 선택적으로 적용하는 경우에는, 슬라이스 헤더에 포함된 slice_type 신택스가 I 슬라이스를 지시할 때, 슬라이스 헤더 또는 CTU나 CU 레벨의 신택스로서 포함될 수 있다. 해상도 모드 정보를 어느 레벨의 신택스로 포함시킬 것인지는, 실시예 A-1에서 설명한 바와 같이, 레벨 정보를 통해 지시될 수 있다. 혹은, 영상 부호화 장치와 영상 복호화 장치가 서로 공유하는 고정된 정보일 수도 있다. 표 13은 slice_type이 I 슬라이스를 지시할 때, 해상도 모드 정보를 CU 레벨의 신택스로서 시그널링하는 경우의 예시이다.
Figure PCTKR2018011266-appb-T000013
인트라 코딩블록에 대해서 해상도 향상 기법을 선택적으로 적용하는 경우에는, CU 레벨의 신택스 중 하나인 pred_mode_flag(코딩블록이 인터 예측되는지 또는 인트라 예측되는지 여부를 나타내는 예측 타입에 대한 정보)가 인트라 예측을 지시할 때, 해상도 모드 정보가 부호화된다. 표 14는 코딩블록이 인트라 예측을 사용하는 인트라 블록일 때, 해상도 모드 정보를 CU 레벨의 신택스로서 부호화하는 예시이다.
Figure PCTKR2018011266-appb-T000014
실시예 A-4
인접한 영상 사이에는 높은 연관성이 있으므로, 인접한 영상들로 구성된 하나의 픽처 그룹은 동일한 특성을 가질 가능성이 높다. 따라서 본 실시예에서는 픽처 그룹 내 첫번째 픽처에서 결정된 low_resolution_coding_mode 값을 해당 그룹 내 나머지 픽처들이 참조하도록 한다.
하나의 예시로서 I 슬라이스로만 이루어진 I(intra) 픽처를 기준으로 다음 번 I 픽처 직전까지의 픽처를 하나의 그룹으로 생성할 수 있다. 여기서, I 픽처는 IRAP(intra random access point) 픽처일 수 있다. 이 경우, NAL 유닛 헤더의 nal_unit_type이 IRAP(intra random access point) 픽처를 나타낼 때, 해상도 모드 정보가 PPS의 신택스로서 포함될 수 있다.
도 1의 영상 부호화 장치의 초해상도 변환부(1222) 및 도 3의 영상 복호화 장치의 초해상도 변환부(3216)는 어느 하나의 해상도 향상 기법을 사용할 수도 있으나, 고주파 성분을 예제(example) 기반의 패치 정합 방법, 움직임 정합(registration) 기반의 방법, 또는 딥러닝(deep-learning) 기반의 방법 등 복수의 해상도 향상 기법을 사용하는 것도 가능하다. 이 경우, 영상 부호화 장치와 영상 복호화 장치가 동일한 해상도 향상 기법을 사용할 수 있도록 복수의 해상도 향상 기법 중 어느 해상도 향상 기법이 적용되었는지를 나타내는 선택 정보를 시그널링하는 것이 요구된다.
B. 해상도 향상 기법을 지시하는 정보의 시그널링
영상 부호화 장치는 복수의 해상도 향상 기법 중 어느 것이 사용되는지를 지시하는 신택스를 부호화하고, 영상 복호화 장치는 해당 신택스가 지시하는 해상도 향상 기법을 사용하여 저해상도로 부호화된 이미지 영역을 고해상도로 변환한다. 이하에서는 해상도 향상 기법을 지시하기 위한 신택스를 부호화화하는 다양한 방법을 설명한다.
실시예 B-1
해상도 향상 기법을 지시하기 위한 신택스를 부호화하기 전에 그 신택스가 부호화되는지 여부를 지시하는 플래그가 추가로 부호화할 수도 있다. 해당 플래그가 0이면, 해상도 향상 기법을 지시하기 위한 신택스는 부호화되지 않는다. 이 경우 영상 부호화 장치와 영상 복호화 장치는 디폴트의 정해진 해상도 향상 기법을 사용하게 된다. 반면, 해당 플래그가 1이면 해상도 향상 기법을 지시하기 위한 신택스가 부호화된다.
표 15는 이 신택스들을 SPS에서 부호화하는 경우의 예시이다.
Figure PCTKR2018011266-appb-T000015
표 15에서 sps_super_resolution_list_enabled_flag가 0이면 해상도 향상 기법을 지시하기 위한 신택스인 sps_super_resolution_list_id가 부호화되지 않는다. sps_super_resolution_list_enabled_flag가 1이면 sps_super_resolution_list_id가 부호화되며 동일한 SPS를 참조하는 모든 블록들에 대해서 sps_super_resolution_list_id가 지시하는 해상도 향상 기법이 적용된다.
한편, 이 신택스들은 표 16과 같이 PPS 레벨에서 부호화될 수도 있다. 표 16에서 pps_super_resolution_list_enabled_flag가 1이면 해상도 향상 기법을 지시하기 위한 신택스인 pps_super_resolution_list_id가 부호화되고, 해당 픽처 내의 모든 블록들에 대해 pps_super_resolution_list_id가 지시하는 해상도 향상 기법이 적용된다.
Figure PCTKR2018011266-appb-T000016
위 표 15 및 16에서는 두 개의 신택스(해상도 향상 기법을 지시하기 위한 신택스와 그 신택스가 부호화되는지 여부를 나타내는 플래그)가 동일한 레벨에서 시그널링되는 것으로 설명하였으나, 본 실시예에서 두 신택스는 서로 다른 레벨에서 시그널링될 수도 있다. 즉, 플래그는 상위 레벨에서 부호화하고 해상도 향상 기법을 지시하기 위한 신택스는 하위 레벨에서 부호화하는 것도 가능하다. 일례로, 플래그는 SPS 레벨에서 부호화하고, 해상도 향상 기법을 지시하기 위한 신택스는 PPS 레벨에서 부호화할 수도 있다.
실시예 B-2
딥러닝(deep-learning) 기반의 해상도 향상 기법의 경우에는, 영상 부호화 장치로부터 영상 복호화 장치로 필터 계수에 대한 정보를 추가적으로 시그널링하는 것이 요구될 수 있다. 본 실시예는 딥러닝(deep-learning) 기반의 해상도 향상 기법이 적용되는 경우에 필터 계수를 추가로 시그널링하는 것과 관련된다.
하나의 예시로서, 딥러닝 기반의 해상도 향상 기법이 적용되는지 여부를 지시하는 플래그를 부호화하고, 그 플래그가 딥러닝 기반의 해상도 향상 기법이 적용됨을 지시하면 필터 계수들을 부호화할 수 있다.
표 17은 SPS 레벨에서 관련 신택스들을 부호화하는 예시이다.
Figure PCTKR2018011266-appb-T000017
표 17을 참조하면, 딥러닝 기반의 해상도 향상 기법이 적용되는지 여부를 지시하는 sps_super_resolution_list_data_present_flag를 부호화하고, sps_super_resolution_list_data_present_flag가 1이면(딥러닝 기반의 해상도 향상 기법이 적용됨을 지시하면), super_resolution_list_data()를 통해 필터 계수들을 부호화한다. sps_super_resolution_list_data_present_flag가 0이면(딥러닝 기반의 해상도 향상 기법이 아님을 지시하면), 딥러닝 기반의 해상도 향상 기법을 제외한 나머지 해상도 향상 기법들 중 하나는 지시하기 위한 sps_super_resolution_list_id를 부호화한다.
다른 예시로서, 딥러닝 기반의 해상도 향상 기법이 적용되는지 여부를 지시하는 플래그를 별도로 부호화하지 않고 sps_super_resolution_list_id 값이 딥러닝 기반의 해상도 향상 기법을 지시하면 필터 계수들을 부호화할 수도 있다. 예컨대, 총 4개의 해상도 향상 기법이 존재하고 sps_super_resolution_list_id = 3이 딥러닝 기반의 해상도 향상 기법을 지시한다고 하면, 표 18과 같이 필터 계수를 부호화할 수 있다.
Figure PCTKR2018011266-appb-T000018
표 18을 참조하면, sps_super_resolution_list_id 이 2보다 큰 경우(즉, 3인 경우), 딥러닝 기반의 해상도 향상 기법을 적용하기 위한 필터 계수들이 super_resolution_list_data()를 통해 부호화된다.
한편, 표 17과 18에서 관련 신택스들을 SPS 레벨에서 부호화하는 것으로 설명하였으나, 아래의 표 19및 20에서와 같이 PPS 레벨에서 부호화할 수도 있다.
Figure PCTKR2018011266-appb-T000019
Figure PCTKR2018011266-appb-T000020
또 다른 예시로서, 실시예 A-1의 표 6 내지 8에서 설명한 바와 같이 해상도 모드 정보가 시그널링되는 레벨이 적응적으로 결정되는 경우, 해상도 모드 정보가 시그널링되는 레벨에 따라 필터 계수를 달리 부호화할 수도 있다. 예컨대, 표 8의 super_resolution_unit_type가 0이면 픽처 단위로 적용되는 필터 계수에 대한 정보가 부호화되고 super_resolution_unit_type가 1이면 슬라이스 단위로 적용되는 필터 계수에 대한 정보가 부호화된다. 표 21은 이와 관련된 신택스들을 SPS 레벨에서 부호화한 예시이나 PPS 레벨에서 부호화하는 것도 가능하다.
Figure PCTKR2018011266-appb-T000021
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2017년 9월 21일자로 한국에 출원한 특허출원번호 제10-2017-0122117호 및 2017년 12월 19일자로 한국에 출원한 특허출원번호 제10-2017-0175586호에 대해 우선권을 주장한다.

Claims (10)

  1. 해상도 향상 기법을 이용하여 영상을 복호화하기 위한 방법에 있어서,
    비트스트림으로부터 해상도 모드 정보를 복호화하여, 복호화 대상 블록인 코딩블록(coding block)이 해상도 향상 기법으로 부호화되었는지 여부를 식별하는 단계;
    상기 코딩블록을 복원하기 위한 신택스 요소들을 상기 비트스트림으로부터 복호화하고, 상기 복호화된 신택스 요소들을 이용하여 상기 코딩블록을 복원하는 단계; 및
    상기 코딩블록이 해상도 향상 기법으로 부호화된 경우, 상기 복원된 코딩블록을 제2 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 상기 해상도 향상 기법에 의해 고해상도로 변환하여 고해상도 블록을 생성하고 상기 고해상도 블록을 제1 픽처 버퍼에 저장하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 코딩블록이 해상도 향상 기법으로 부호화되지 않은 경우, 상기 복원된 코딩블록을 상기 제1 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 저해상도로 변환하여 저해상도 블록을 생성하고 상기 저해상도 블록을 상기 제2 픽처 버퍼에 저장하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제2항에 있어서,
    상기 코딩블록을 복원하는 단계는,
    상기 코딩블록이 상기 해상도 향상 기법으로 부호화되지 않은 경우, 상기 제1 픽처 버퍼로부터 상기 코딩블록을 예측하기 위해 사용되는 참조영역을 획득하는 단계; 및
    상기 코딩블록이 상기 해상도 향상 기법으로 부호화된 경우, 상기 제2 픽처 버퍼로부터 상기 코딩블록을 예측하기 위해 사용되는 참조영역을 획득하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  4. 제1항에 있어서,
    상기 해상도 모드 정보는,
    상기 코딩블록에 대응하는 코딩 유닛의 신택스 요소이거나 상기 코딩 유닛의 상위 레벨의 신택스 요소이고,
    상기 상위 레벨은 픽처 파라미터 세트(PPS, picture parameter set), 슬라이스 헤더 (slice header), 코딩 트리 유닛(CTU, coding tree unit) 중 어느 하나인 것을 특징으로 하는 영상 복호화 방법.
  5. 제4항에 있어서,
    상기 해상도 모드 정보를 복호화하기 이전에,
    상기 비트스트림으로부터 상기 해상도 모드 정보가 포함되는 레벨을 지시하는 레벨 정보를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  6. 제4항에 있어서,
    상기 해상도 모드 정보는,
    상기 코딩 유닛의 신택스 요소이고,
    상기 코딩블록의 크기가 임계크기보다 클 때 상기 비트스트림으로부터 복호화되는 것을 특징으로 하는 영상 복호화 방법.
  7. 제6항에 있어서,
    상기 비트스트림으로부터 상기 임계크기를 지시하는 정보를 복호화하고, 상기 임계크기를 지시하는 정보에 의해 상기 임계크기를 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  8. 제1항에 있어서,
    상기 비트스트림으로부터 복수의 해상도 향상 기법 중 하나를 지시하기 위한 선택 정보를 복호화하는 단계를 더 포함하고,
    상기 고해상도 블록은 상기 복수의 해상도 향상 기법 중 상기 선택 정보에 의해 지시되는 해상도 향상 기법을 이용하여 생성되는 것을 특징으로 하는 영상 복호화 방법.
  9. 해상도 향상 기법을 이용하여 영상을 복호화하기 위한 장치에 있어서,
    고해상도로 복원된 픽처를 저장하기 위한 제1 픽처 버퍼;
    저해상도로 복원된 픽처를 저장하기 위한 제2 픽처 버퍼;
    비트스트림으로부터 해상도 모드 정보를 복호화하여 복호화 대상 블록인 코딩블록(coding block)이 해상도 향상 기법으로 부호화되었는지 여부를 식별하고, 상기 코딩블록을 복원하기 위한 신택스 요소들을 복호화하는 복호화기; 및
    상기 코딩블록을 복원하기 위한 신택스 요소들을 이용하여 상기 코딩블록을 복원하는 복원기를 포함하되,
    상기 복원기는,
    상기 코딩블록이 해상도 향상 기법으로 부호화된 경우, 상기 복원된 코딩블록을 상기 제2 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 상기 해상도 향상 기법에 의해 고해상도로 변환하여 고해상도 블록을 생성하고 상기 고해상도 블록을 상기 제1 픽처 버퍼에 저장하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제9항에 있어서,
    상기 복원기는,
    상기 코딩블록이 해상도 향상 기법으로 부호화되지 않은 경우, 상기 복원된 코딩블록을 상기 제1 픽처 버퍼에 저장하고, 상기 복원된 코딩블록을 저해상도로 변환하여 저해상도 블록을 생성하고 상기 저해상도 블록을 상기 제2 픽처 버퍼에 저장하는 것을 특징으로 하는 영상 복호화 장치.
PCT/KR2018/011266 2017-09-21 2018-09-21 해상도 향상 기법을 이용한 영상의 부호화 및 복호화 WO2019059721A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0122117 2017-09-21
KR20170122117 2017-09-21
KR10-2017-0175586 2017-12-19
KR1020170175586A KR102528365B1 (ko) 2017-09-21 2017-12-19 해상도 향상 기법을 이용한 영상의 부호화 및 복호화

Publications (1)

Publication Number Publication Date
WO2019059721A1 true WO2019059721A1 (ko) 2019-03-28

Family

ID=65810456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011266 WO2019059721A1 (ko) 2017-09-21 2018-09-21 해상도 향상 기법을 이용한 영상의 부호화 및 복호화

Country Status (1)

Country Link
WO (1) WO2019059721A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057684A1 (zh) * 2019-09-27 2021-04-01 腾讯科技（深圳）有限公司 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
CN112967188A (zh) * 2021-03-04 2021-06-15 中国科学技术大学 结合结构化语义码流的空间自适应图像超分辨重建方法
EP4011068A4 (en) * 2019-08-06 2023-08-09 OP Solutions, LLC IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE
EP4114026A4 (en) * 2020-03-28 2023-08-30 Huawei Technologies Co., Ltd. VIDEO TRANSMISSION METHOD AND SYSTEM AND RELATED DEVICE AND STORAGE MEDIA
US11968379B2 (en) 2019-09-27 2024-04-23 Tencent Technology (Shenzhen) Company Limited Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100958253B1 (ko) * 2008-10-21 2010-05-17 인하대학교 산학협력단 블록 단위 스케러블 부호화기, 복호화기 및 그 방법
KR101365444B1 (ko) * 2007-11-19 2014-02-21 삼성전자주식회사 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치
US9060172B2 (en) * 2005-09-15 2015-06-16 Sri International Methods and systems for mixed spatial resolution video compression
US20150229942A1 (en) * 2008-05-30 2015-08-13 JVC Kenwood Corporation Moving picture encoding system, moving picture encoding method, moving picture encoding program, moving picture decoding system, moving picture decoding method, moving picture decoding program, moving picture reencoding system, moving picture reencoding method, moving picture reencoding program
KR20150140777A (ko) * 2013-04-07 2015-12-16 샤프 가부시키가이샤 출력 계층 세트들에서의 시그널링 변경

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9060172B2 (en) * 2005-09-15 2015-06-16 Sri International Methods and systems for mixed spatial resolution video compression
KR101365444B1 (ko) * 2007-11-19 2014-02-21 삼성전자주식회사 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치
US20150229942A1 (en) * 2008-05-30 2015-08-13 JVC Kenwood Corporation Moving picture encoding system, moving picture encoding method, moving picture encoding program, moving picture decoding system, moving picture decoding method, moving picture decoding program, moving picture reencoding system, moving picture reencoding method, moving picture reencoding program
KR100958253B1 (ko) * 2008-10-21 2010-05-17 인하대학교 산학협력단 블록 단위 스케러블 부호화기, 복호화기 및 그 방법
KR20150140777A (ko) * 2013-04-07 2015-12-16 샤프 가부시키가이샤 출력 계층 세트들에서의 시그널링 변경

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4011068A4 (en) * 2019-08-06 2023-08-09 OP Solutions, LLC IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE
WO2021057684A1 (zh) * 2019-09-27 2021-04-01 腾讯科技（深圳）有限公司 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
US11968379B2 (en) 2019-09-27 2024-04-23 Tencent Technology (Shenzhen) Company Limited Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device
EP4114026A4 (en) * 2020-03-28 2023-08-30 Huawei Technologies Co., Ltd. VIDEO TRANSMISSION METHOD AND SYSTEM AND RELATED DEVICE AND STORAGE MEDIA
CN112967188A (zh) * 2021-03-04 2021-06-15 中国科学技术大学 结合结构化语义码流的空间自适应图像超分辨重建方法
CN112967188B (zh) * 2021-03-04 2024-04-02 中国科学技术大学 结合结构化语义码流的空间自适应图像超分辨重建方法

Similar Documents

Publication Publication Date Title
WO2016204360A1 (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
WO2013025065A2 (ko) 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
WO2012002785A2 (ko) 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법
WO2013062193A1 (ko) 영상 복호화 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2020185004A1 (ko) 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치
WO2020251260A1 (ko) Block dpcm 예측 방법을 사용하는 비디오 신호 처리 방법 및 장치
WO2019059721A1 (ko) 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
WO2013165143A1 (ko) 멀티뷰 영상의 부호화 방법, 부호화 장치, 복호화 방법, 복호화 장치
WO2018056602A1 (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2019112071A1 (ko) 영상 코딩 시스템에서 크로마 성분의 효율적 변환에 기반한 영상 디코딩 방법 및 장치
WO2019194500A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
KR20190033403A (ko) 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
WO2021025478A1 (ko) 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
WO2020231228A1 (ko) 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
WO2019212230A1 (ko) 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
WO2021251787A1 (ko) 루마 매핑 크로마 스케일링을 이용하는 영상 부호화 및 복호화
WO2020184999A1 (ko) 영상 부호화 및 복호화 방법 및 장치
WO2020185050A1 (ko) 인트라 블록 복사를 이용하는 영상 부호화 및 복호화
WO2016204372A1 (ko) 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치
WO2023038447A1 (ko) 비디오 부호화/복호화 방법 및 장치
WO2022114742A1 (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
WO2022030980A1 (ko) 비디오 데이터의 패치북 기반 부호화 및 복호화를 위한 방법 및 장치
WO2018124686A1 (ko) 인트라 예측을 이용한 영상의 부호화 및 복호화
WO2019135636A1 (ko) Ycbcr간의 상관 관계를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18857519

Country of ref document: EP

Kind code of ref document: A1