WO2012077928A1 - 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법 - Google Patents

초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법 Download PDF

Info

Publication number
WO2012077928A1
WO2012077928A1 PCT/KR2011/009167 KR2011009167W WO2012077928A1 WO 2012077928 A1 WO2012077928 A1 WO 2012077928A1 KR 2011009167 W KR2011009167 W KR 2011009167W WO 2012077928 A1 WO2012077928 A1 WO 2012077928A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
encoding
encoded
current block
Prior art date
Application number
PCT/KR2011/009167
Other languages
English (en)
French (fr)
Inventor
임성창
최해철
정세윤
조숙희
김휘용
이진호
이하현
김종호
최진수
김진웅
박광훈
김경용
심동규
오승준
Original Assignee
한국전자통신연구원
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020100124368A external-priority patent/KR20110095119A/ko
Application filed by 한국전자통신연구원, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to CN2011800667804A priority Critical patent/CN103385002A/zh
Priority to US13/990,190 priority patent/US9794556B2/en
Publication of WO2012077928A1 publication Critical patent/WO2012077928A1/ko
Priority to US15/712,835 priority patent/US20180014026A1/en
Priority to US16/533,921 priority patent/US11770550B2/en
Priority to US18/363,282 priority patent/US20240022753A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a technique for reducing computational complexity and improving coding efficiency in intra-prediction encoding in ultra-high resolution images.
  • Broadcast service with high definition (HD) resolution such as 1280 ⁇ 1024, 1920 ⁇ 1080
  • the number of pixels of a 4K image is four times the size of an HD image
  • the number of pixels of an 8K (7680x4320) image is 16 times the size of an HD image.
  • 4K and 8K images are more delicate and natural than the images having HD resolution.
  • MPEG-4 Part 10 Advanced Video Coding H.264 / AVC
  • H.264 / AVC MPEG-4 Part 10 Advanced Video Coding
  • FIG. 1 is a diagram comparing pixel numbers used to express a part of an image for each resolution.
  • the pixel value of the current block can be almost predicted using only the pixel value of the neighboring block. Accordingly, when the correlation between the pixels is high, the process of encoding and decoding the difference block increases computational complexity and decreases coding efficiency.
  • an encoding apparatus and method a decoding apparatus, and a method capable of reducing computational complexity due to splicing.
  • the present invention also provides an encoding apparatus, a method, a decoding apparatus, and a method for improving encoding efficiency by performing encoding and decoding using a prediction block having the best encoding efficiency among a plurality of prediction blocks.
  • An encoding apparatus may include an intra prediction unit that generates a prediction block of a current block based on a reference image, and a subtraction unit that generates a differential block based on a difference between the current block and the generated prediction block.
  • a coded information generator for generating coded information indicating whether the coded difference block is encoded based on whether the difference block is encoded, and entropy coding at least one of the difference block and the coded information based on the coded information. It may include an entropy encoder.
  • the entropy encoding unit may generate a bitstream by encoding only the encoding information.
  • the intra prediction unit may generate the prediction block by using any one of a plurality of prediction block generation methods.
  • the intra prediction unit may generate a plurality of prediction blocks of the current block according to a plurality of prediction block generation methods.
  • the intra prediction unit may generate one or more prediction blocks of the current block based on the prediction block generation method used when generating the prediction blocks of each of the reconstructed neighboring blocks.
  • the apparatus may further include a prediction block selecting unit that selects any one of the generated prediction blocks of the plurality of current blocks.
  • An encoding method may include generating a prediction block of a current block based on a reference image, generating a difference block based on a difference between the current block and the generated prediction block, and the difference block. Generating encoding information indicating whether the difference block is encoded based on whether encoding is performed, converting and quantizing the difference block based on the encoding information, and generating the difference block and the encoding block based on the encoding information. Entropy encoding at least one of the encoding information.
  • the bitstream may be generated by encoding only the encoding information.
  • a plurality of prediction blocks of the current block may be generated according to a plurality of prediction block generation methods.
  • the generating of the prediction block may generate one or more prediction blocks of the current block based on the prediction block generation method used when generating the prediction blocks of each of the reconstructed neighboring blocks.
  • the method may further include selecting any one of the generated prediction blocks of the current block having the best encoding efficiency.
  • the decoding apparatus includes an entropy decoding unit for extracting encoded coded information from a bitstream and decoding the encoded coded information, and a screen for generating a prediction block of a current block by using a reconstructed neighboring block. And an adder for reconstructing the current block by using at least one of an inner prediction unit, a differential block reconstructed based on the decoded encoding information, and a prediction block of the generated current block.
  • the adder may reconstruct the current block using only the prediction block of the current block, as the encoding information includes information indicating that the differential block is not encoded.
  • the decoding method comprises the steps of: extracting at least one of encoded information and prediction block selection information encoded from a bitstream, decoding the extracted encoding information and prediction block selection information, and reconstructed peripheral Generating prediction blocks of the current block using the block, selecting one of the prediction blocks of the generated current block based on the decoded prediction block selection information, and based on the decoded encoding information And reconstructing the current block using at least one of the reconstructed differential block and the prediction block of the selected current block.
  • computational complexity may be reduced by outputting a bitstream using only prediction blocks of a current block in intra prediction encoding on a super high resolution image having high correlation between pixels.
  • coding efficiency can be improved by performing encoding and decoding using a prediction block having the best coding efficiency among a plurality of prediction blocks.
  • FIG. 1 is a diagram comparing pixel numbers used to express a part of an image for each resolution.
  • FIG. 2 is a diagram illustrating a configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating the overall configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart provided to explain an operation of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 5 is a block diagram showing a configuration of a decoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the overall configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a flowchart provided to explain an operation of a decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 9 is a flowchart provided to explain an operation of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 10 is a block diagram illustrating a configuration of a decoding apparatus according to an embodiment of the present invention.
  • FIG. 11 is a flowchart provided to explain an operation of a decoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an encoding apparatus according to an embodiment of the present invention.
  • the input image may be processed as a coding unit having a horizontal and vertical size of 16 ⁇ 16 pixels.
  • the encoding apparatus may output a bitstream generated through intra prediction encoding or inter prediction encoding.
  • intra prediction encoding process will be described with reference to FIG. 2, and the inter prediction encoding process will be described later with reference to FIG. 3.
  • the encoding apparatus 200 may include an intra prediction unit 210, a reference image buffer 220, a subtractor 230, an encoding information generator 240, a transform and quantization unit 250, and entropy encoding.
  • the unit 260 may include an inverse quantization and inverse transform unit 270, and an adder 280.
  • the intra prediction unit 210 may generate a prediction block of the current block based on the reference image stored in the reference image buffer 220. In this case, when the neighboring block reconstructed as the reference image is used, the intra prediction unit 210 may select one of a plurality of predefined prediction block generation methods and the pixel value of the neighboring blocks spatially adjacent to the current block. The prediction block of the block may be generated.
  • the intra prediction unit 210 may generate a prediction block of the current block by copying (padding) pixels of a neighboring block adjacent to the current block.
  • the pixel copied (padded) to the current block may vary according to the predicted direction, and the predicted direction information may be encoded and included in the bitstream.
  • the intra prediction unit 210 may generate the prediction block of the current block by using the intra prediction method of H.264 / AVC.
  • the intra prediction unit 210 determines a prediction direction based on the similarity between the current block and the neighboring block, and generates a prediction block of the current block by copying pixels of the neighboring block according to the determined prediction direction.
  • the intra prediction unit 210 may select a neighboring block located in the determined prediction direction among a plurality of neighboring blocks adjacent to the current block, and copy the pixels of the selected neighboring block to generate the predicted block of the current block. Can be.
  • the intra prediction unit 210 may extract a block most similar to the current block through matching in a current screen region where encoding has already been performed.
  • the intra prediction unit 210 may generate the prediction block of the current block by using the extracted block.
  • the difference information on the position between the current block and the prediction block of the current block may be included in the bitstream.
  • the intra prediction unit 210 may find a form most similar to a neighboring block in a current screen region where encoding is already performed, and generate a block surrounded by the found form as a prediction block of the current block.
  • the intra prediction unit 210 may generate a prediction block of the current block by mixing a plurality of predefined prediction block generation methods.
  • the intra prediction unit 210 may generate a prediction block by using an average value of the prediction blocks generated by using a plurality of prediction block generation methods.
  • the prediction block may be generated by a sum of weights according to each of the plurality of prediction block generation methods.
  • the subtraction unit 230 may generate a residual block by subtracting the current block and the prediction block of the current block.
  • the encoding information generator 240 may generate encoding information based on whether the difference block is encoded. For example, a similarity between the current block and the prediction block of the current block may be used to determine whether to encode the differential block or not.
  • the encoding information generator 240 uses sum of absolute differences (SAT), sum of absolute transformed differences (SATD), sum of squared difference (SSD), and the like.
  • SAT sum of absolute differences
  • SATD sum of absolute transformed differences
  • SSD sum of squared difference
  • the similarity between the current block and the prediction block of the current block can be calculated.
  • the encoded information generator 240 may generate encoded information based on the calculated similarity.
  • the encoding information may include information indicating whether to encode a difference block or not.
  • the encoding information generator 240 may generate encoding information including information indicating that the differential block is not encoded.
  • the similarity between the current block and the prediction block of the current block is the similarity between the current block and the prediction block of the current block
  • the encoding information generator 240 may generate encoding information including information indicating that the differential block is encoded.
  • the transform and quantization unit 250 may transform and quantize the differential block based on the encoding information.
  • the entropy encoder 260 may generate a bitstream by entropy encoding at least one of the encoded information and the difference block based on the encoded information.
  • the transform and quantization unit 250 may not transform and quantize the differential block. Then, the entropy encoder 260 may generate a bitstream by entropy encoding only the encoded information without the difference block. Accordingly, computational complexity and encoding time due to transforming and quantizing the differential block can be reduced. As such, when the encoding information includes information indicating that the differential block is not encoded, the generated bitstream may include encoded encoding information.
  • the transform and quantization unit 250 may transform and quantize the differential block. Then, the entropy encoder 260 may entropy-encode the transformed and quantized differential blocks and entropy-encode the encoded information. The entropy encoder 260 may generate a bitstream by mixing the encoded difference block and the encoded encoding information. As such, when the encoding information includes information indicating that the differential block is encoded, the generated bitstream may include both the encoded difference block and the encoded encoding information.
  • the transform and quantization unit 250 may perform transform and quantization differently on the difference block according to the intra prediction encoding mode.
  • the transform and quantization unit 250 transforms the differential block to generate a transform coefficient, and collects only DC coefficients from the generated transform coefficients to perform a Hadamard transform. Can be performed. Then, the entropy encoder 260 may entropy-encode only the Hadamard transformed DC coefficient and output it as a bitstream.
  • the transform and quantization unit 250 transforms the differential block to generate a transform coefficient, and generates the transform.
  • Quantized coefficients may be generated by quantizing coefficients according to quantization parameters.
  • the entropy encoder 260 may entropy-code the generated quantization coefficients according to a probability distribution and output the entropy encoder as a bitstream.
  • the inverse quantization and inverse transform unit 270 may inverse quantize and inverse transform the quantization coefficients output from the transform and quantization unit 250 to decode the differential block.
  • the adder 280 may reconstruct the current block by adding the decoded difference block and the prediction block of the current block. Then, the reference picture buffer 220 may store the restored current block.
  • the neighboring blocks reconstructed in the previous step may be stored in the reference image buffer 220 as a reference image.
  • the reconstructed neighboring block stored in the reference image buffer 220 is a block reconstructed using only the prediction block of the neighboring block.
  • the reconstructed neighboring block stored in the reference image buffer 220 is a block reconstructed using the differential block and the predictive block of the neighboring block. Accordingly, the intra prediction unit 210 currently uses the neighboring block reconstructed using only the prediction block of the neighboring block or the reconstructed differential block and the neighboring block reconstructed using the prediction block of the neighboring block according to the encoding information.
  • the prediction block of the block may be generated.
  • FIG. 2 a configuration of performing intra prediction encoding on an input image is described for convenience of description.
  • a configuration of performing both intra prediction encoding and inter prediction encoding will be described with reference to FIG. 3. Let's do it.
  • FIG. 3 is a diagram illustrating the overall configuration of an encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus 300 of FIG. 3 may further include a motion predictor 310, a motion compensator 320, and a deblocking unit 350 in the encoding apparatus 200 of FIG. 2.
  • the motion predictor 310 calculates a motion vector by finding a region that best matches the current block among reference images by using various motion estimation algorithms such as block matching algorithm, phase correlation, and HSBMA.
  • the motion compensator 320 may generate the prediction block of the current block by performing motion compensation using the calculated motion vector.
  • the encoding apparatus may perform inter-prediction encoding through motion prediction and compensation.
  • the subtractor 330 may generate a difference block by subtracting the prediction block and the current block of the current block generated through inter prediction encoding or intra prediction encoding.
  • the adder 340 may reconstruct the current block by using at least one of the prediction block and the reconstructed difference block of the current block.
  • the restored difference block may be stored in the reference picture buffer.
  • the adder 304 may reconstruct the current block using only the prediction block of the current block.
  • the adder 304 may reconstruct the current block by adding the predicted block and the reconstructed difference block of the current block.
  • the deblocking unit 340 may remove the blocking artifact from the current block reconstructed using the deblocking filter and store the blocking artifact in the reference picture buffer.
  • the inter prediction encoding is divided into 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ 16, and 8 ⁇ 8 inter prediction encoding modes, and the 8 ⁇ 8 inter prediction encoding mode is again 8 ⁇ 8 and 8 ⁇ 4. , 4 ⁇ 8, and 4 ⁇ 4 sub-picture inter prediction prediction modes.
  • FIG. 4 is a flowchart provided to explain an operation of an encoding apparatus according to an embodiment of the present invention.
  • the intra prediction unit 210 may generate a prediction block of the current block based on the reference image.
  • the intra prediction unit 210 may generate a prediction block of the current block by using any one of a plurality of predefined prediction block generation methods.
  • the reconstructed neighboring block may be used as the reference image.
  • the reconstructed neighboring block may be reconstructed using only the prediction block of the neighboring block or may be a block reconstructed using the prediction block and the decoded differential block of the neighboring block. Then, the intra prediction unit 210 may generate the prediction block of the current block by using the reconstructed neighboring block.
  • the subtractor 230 may generate a difference block by subtracting the current block and the prediction block of the current block.
  • the encoding information generator 240 may generate encoding information based on whether the residual block is encoded. In this case, whether to encode the differential block may be determined based on the similarity between the current block and the prediction block of the current block.
  • the encoding information generator 240 may use the sum of squared difference (SSD), the sum of squared difference (SSD), sum of absolute transforms (SATD), sum of squared difference (SSD), and the like.
  • the similarity between the prediction blocks can be calculated.
  • the encoded information generator 240 may generate encoded information based on the calculated similarity.
  • the encoding information generator 240 may generate encoding information to include information indicating that the differential block is not encoded. If the calculated similarity is less than the reference similarity, the encoding information generator 240 may generate encoding information to include information indicating that the differential block is encoded.
  • the transform and quantization unit 250 may transform and quantize the differential block based on the encoding information.
  • the transform and quantization unit 250 may transform and quantize the differential block.
  • the transform and quantization unit 250 may not transform and quantize the differential block.
  • the entropy encoder 260 may entropy-encode at least one of the transformed and quantized differential blocks and encoding information and output the entropy encoding as a bitstream.
  • the entropy encoder 260 may entropy encode the transformed and quantized difference block and entropy encode the encoded information.
  • the entropy encoder 260 may transmit a bitstream generated by mixing the encoded difference block and the encoding information to the decoding apparatus.
  • the entropy encoder 260 may entropy-encode only the encoded information without the differential block and output the bitstream.
  • FIG. 5 is a block diagram showing a configuration of a decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus 500 includes an intra prediction unit 510, a reference image buffer 520, an entropy decoder 530, an inverse quantization and inverse transform unit 540, and an adder 550. can do.
  • the intra prediction unit 510 may generate a prediction block of the current block based on the reference image.
  • the intra prediction unit 520 may generate the prediction block of the current block by using any one of a plurality of predefined prediction block generation methods.
  • the predefined plurality of prediction block generation methods have already been described in the intra prediction unit 210 of FIG. 2, overlapping descriptions will be omitted.
  • the intra prediction unit 510 may generate the prediction block of the current block by using the reconstructed neighboring block stored in the reference image buffer 520.
  • the reconstructed neighboring block may be reconstructed using only the prediction block of the neighboring block or may be a block reconstructed using the predicted block and the decoded differential block of the neighboring block.
  • the entropy decoder 530 may demultiplex the bitstream to extract encoded encoding information, and entropy decode the encoded encoded information.
  • the entropy decoding unit 530 may demultiplex the bitstream and extract the encoded differential block as well as the encoded encoding information.
  • the entropy decoding unit 530 may decode the encoded encoding information, and decode the encoded difference block.
  • the entropy decoding unit 530 may extract encoded encoding information while demultiplexing the bitstream. That is, when the encoding information includes information indicating that the differential block is not encoded, the bitstream may not include the encoded difference block. Accordingly, the entropy decoding unit 530 may entropy decode only the encoded coded information.
  • the inverse quantization and inverse transform unit 540 may inverse quantize and inverse transform the differential block based on the decoded encoding information to decode the differential block.
  • the inverse quantization and inverse transform unit 540 dequantizes the encoded differential block by using variable length decoding according to probability distribution to perform quantization coefficients. You can print
  • the output quantization coefficient may include only DC coefficient information or may include both DC coefficient information and AC coefficient information.
  • the inverse quantization and inverse transform unit 540 may not operate because there is no encoded difference block extracted from the bitstream. In other words, the inverse quantization and inverse transform unit 540 may operate only when the encoded differential block is included in the bitstream.
  • the adder 550 may reconstruct the current block using at least one of the decoded differential block and the prediction block of the current block based on the encoding information.
  • the adder 550 may reconstruct the current block by adding the reconstructed differential block and the prediction block of the current block.
  • the adder 550 may reconstruct the current block using only the prediction block of the current block generated by the intra prediction unit 510. .
  • the reference picture buffer 520 may store the restored current block.
  • FIG. 6 is a diagram illustrating the overall configuration of an encoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus 600 of FIG. 6 may further include a motion compensator 610 and a deblocking unit 620 in the encoding apparatus 500 of FIG. 5.
  • the motion compensator 610 may perform motion compensation on the reference image using the motion vector extracted from the bitstream through entropy decoding.
  • the motion compensator 610 may generate a prediction block of the current block through motion compensation.
  • the deblocking unit 620 may output the reconstructed image by removing the blocking phenomenon from the reconstructed current block.
  • the reconstructed image may be stored in the reference image buffer.
  • FIG. 7 is a flowchart provided to explain an operation of a decoding apparatus according to an embodiment of the present invention.
  • the intra prediction unit 510 may generate a prediction block of the current block by using a reference image.
  • the intra prediction unit 510 may generate the prediction block of the current block by using the reconstructed neighboring block stored in the reference image buffer 520.
  • the intra prediction unit 510 may generate the prediction block of the current block according to any one of a plurality of predefined prediction block generation methods, as described in the intra prediction unit 210 of FIG. 2. have.
  • the entropy decoder 530 may demultiplex the bitstream to extract encoded encoding information.
  • the entropy decoder 530 may entropy decode the encoded encoding information.
  • the encoding information may include information indicating that the differential block is encoded or information indicating that the difference block is not encoded.
  • the encoding information includes information indicating that the difference block is encoded.
  • the entropy decoder 530 may extract an encoded difference block from the bitstream and entropy decode it.
  • the inverse quantization and inverse transform unit 540 may inverse quantize and inverse transform the differential block based on the decoded encoding information.
  • the inverse quantization and inverse transform unit 540 may inversely quantize the encoded differential block, and inversely transform the second block to restore the differential block.
  • the inverse quantization and inverse transform unit 540 may skip the operation because there is no difference block extracted from the bitstream. In other words, the inverse quantization and inverse transform unit 540 may operate only when the encoded differential block is included in the bitstream. Accordingly, the computational complexity of the decoding apparatus can be reduced, and the decoding time can be shortened.
  • the adder 550 may reconstruct the current block based on at least one of the prediction block and the reconstructed differential block of the current block.
  • the adder 550 may reconstruct the current block by adding the predicted block and the reconstructed difference block of the current block. Then, the current block, which is the image of the present application, may be displayed.
  • the adder 550 may reconstruct the current block using only the prediction block of the current block.
  • the reconstructed image may consist of only prediction blocks of the current block.
  • the configuration of generating the prediction block of the current block by using any one of a plurality of predefined prediction block generations has been described with reference to FIGS. 2 to 7.
  • the encoding and decoding apparatus according to an embodiment of the present invention has been described with respect to the configuration of reconstructing the current block using only the prediction block of the current block based on whether the differential block is encoded.
  • a plurality of prediction blocks of the current block are generated according to a prediction block generation method used in generating a prediction block of a neighboring block or a plurality of predefined prediction block generation methods, and one of the prediction blocks of the current block is selected.
  • FIG. 8 is a diagram illustrating a configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 8 further includes a prediction block selector in the encoding apparatus of FIG. 2, wherein an operation of the intra prediction unit is different from the intra prediction unit of FIG. 2. Accordingly, the names overlapping with those of FIG. 2 among the components of FIG. 8 will be omitted, and the description will be mainly focused on the prediction block selection unit and the intra prediction unit.
  • the encoding apparatus 800 may include an intra prediction unit 810, a reference image buffer 820, a prediction block selector 830, a subtractor 840, an encoding information generator 850, a transform, and the like.
  • a quantizer 860, an entropy encoder 870, an inverse quantization and inverse transform unit 880, and an adder 890 may be included.
  • the intra prediction unit 810 may generate one or more prediction blocks of the current block by using the reference image stored in the reference image buffer 820.
  • the intra prediction unit 810 is used to generate a plurality of predefined prediction block generation methods or prediction blocks of each of the reconstructed neighboring blocks based on the number of prediction block generation methods used when generating the prediction blocks of the neighboring blocks.
  • a prediction block of the current block may be generated according to the predicted prediction block generation method.
  • the intra prediction unit 810 may generate the prediction block of the current block according to the prediction block generation method of the neighboring blocks that are all used the same. Can be.
  • the intra prediction unit 810 may generate the prediction blocks of the current block using the reference image according to the intra prediction 1.
  • the prediction block selector 830 may output the prediction block of the generated current block as it is because there is only one prediction block of the generated current block.
  • the intra prediction unit 810 may generate two current blocks according to the two prediction block generation methods used when generating the prediction blocks of the neighboring blocks.
  • the prediction block of the block may be generated.
  • the prediction block selector 830 may select a prediction block having good encoding efficiency from among the prediction blocks of the two current blocks. For example, the prediction block selector 830 may select a prediction block having good coding efficiency by using the similarity between the prediction block of the current block and the current block, the rate-distortion cost, and the like.
  • the prediction block selection unit 830 may generate prediction block selection information including information indicating a prediction block generation method used when generating the prediction block of the selected current block. In this case, the prediction block selector 830 may calculate the similarity using SAD, SSD, SATD, or the like.
  • the intra prediction unit 810 may generate a plurality of prediction blocks of the current block according to a plurality of predefined prediction block generation methods. Can produce dogs. For example, when the prediction block generation methods of (1) to (5) described in the intra prediction unit 210 of FIG. 2 are defined, the intra prediction unit 810 generates five predefined prediction blocks. Five prediction blocks of the current block may be generated using the methods. In other words, when there are three or more types, the intra prediction unit 810 may generate the prediction blocks of the current block by using a plurality of predefined prediction block generation methods instead of the prediction block generation method used when generating the prediction blocks of the neighboring blocks. Can be.
  • the prediction block selector 830 may select any one of the best coding efficiency among the prediction blocks of the current block.
  • the prediction block selection unit 830 may generate prediction block selection information including information indicating a prediction block generation method used when generating the prediction block of the selected current block.
  • the adder 840 may generate a difference block by subtracting the prediction block and the current block of the selected current block.
  • the encoding information generator 850 may generate encoding information based on whether the residual block is encoded. For example, a similarity between the current block and the prediction block of the current block may be used to determine whether to encode the differential block or not.
  • the encoding information may include information indicating whether to encode a difference block or not.
  • the transform and quantization unit 860 may transform and quantize the difference block based on the encoding information.
  • the entropy encoder 870 may entropy-encode at least one of the encoding information, the prediction block selection information, and the difference block to output the bitstream. For example, when the differential block is not encoded, the entropy encoder 870 may entropy-encode the encoding information and the prediction block selection information and output the entropy encoding as a bitstream. When the difference block is encoded, the encoded information, the prediction block selection information, and the difference block may be entropy encoded and output as a bitstream.
  • the inverse quantization and inverse transform unit 880 may inversely quantize and inverse transform the transformed and quantized differential blocks to restore the differential blocks.
  • the adder 890 may reconstruct the current block by adding the reconstructed difference block and the prediction block of the selected current block based on the encoding information. Then, the reference picture buffer 820 may store the restored current block. In this case, when the difference block is not encoded, the adder 890 may reconstruct the current block using only the prediction block of the selected current block.
  • FIG. 9 is a flowchart provided to explain an operation of an encoding apparatus according to an embodiment of the present invention.
  • the prediction block generator 810 may generate one or more prediction blocks of the current block by using the reference image.
  • the intra prediction unit 810 may generate the prediction block of the current block according to the prediction block generation method used when generating the prediction blocks of each of the reconstructed neighboring blocks.
  • the intra prediction unit 810 may generate a plurality of prediction blocks of the current block according to a plurality of predefined prediction block generation methods based on the number of prediction block generation methods used when generating the prediction blocks of the neighboring blocks. Can be.
  • the prediction block selector 820 may select any one of the prediction blocks of the current block as the prediction blocks of the plurality of current blocks are generated.
  • the prediction block selector 820 may select a prediction block having the best coding efficiency among the prediction blocks of the plurality of current blocks.
  • the prediction block selector 820 may determine that the higher the similarity, the better the coding efficiency. Accordingly, the prediction block selector 820 may select the prediction block having the highest similarity among the prediction blocks of the current block.
  • the prediction block selector 820 may select the prediction block having the best coding efficiency using the rate-distortion cost.
  • the subtractor 840 may generate a difference block by subtracting the prediction block and the current block of the selected current block.
  • the encoding information generator 850 may generate encoding information based on whether the residual block is encoded.
  • the transform and quantization unit 860 may transform and quantize the difference block based on the encoding information.
  • the entropy encoder 870 may entropy encode at least one of encoding information, prediction block selection information, and a difference block based on the encoding information.
  • the entropy encoder 870 entropy encodes the encoding information, the prediction block selection information, and each of the transformed and quantized difference blocks, and encodes the encoded encoding information, the encoded prediction block selection information, and the like.
  • the encoded difference blocks may be mixed and output as a bitstream.
  • FIG. 10 is a block diagram illustrating a configuration of a decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus 1000 of FIG. 10 may further include a prediction block selector 1050 in the encoding apparatus 400 of FIG. 4. Accordingly, since the components mentioned while describing the operation of FIG. 4 in FIG. 10 are substantially the same, overlapping descriptions will be omitted.
  • the decoding apparatus 1000 includes an intra prediction unit 1010, a reference image buffer 1020, an entropy decoder 1030, an inverse quantization and inverse transform unit 1040, and an adder 1060. can do.
  • the intra prediction unit 1010 may generate a prediction block of the current block based on the reference image stored in the reference image buffer 1020.
  • the intra prediction unit 810 may generate the prediction block of the current block according to the prediction block generation method used when generating the prediction blocks of each of the reconstructed neighboring blocks.
  • the intra prediction unit 810 may generate a plurality of prediction blocks of the current block according to a plurality of predefined prediction block generation methods based on the number of prediction block generation methods used when generating the prediction blocks of the neighboring blocks. Can be.
  • the prediction block generation methods of (1) to (5) defined by the intra prediction unit 210 of FIG. 2 may be used.
  • the entropy decoder 1030 may demultiplex the bitstream to extract at least one of encoded encoding information, encoded differential blocks, and encoded prediction block selection information.
  • the entropy decoder 1030 may entropy decode the encoded encoded information, the encoded differential block, and the encoded prediction block selection information.
  • the entropy decoding unit 1030 may entropy decode only the encoded encoding information and the encoded prediction block selection information.
  • the entropy decoding unit 1030 may entropy decode all of the encoded encoding information, the encoded differential block, and the encoded prediction block selection information.
  • the prediction block selection unit 1050 may select any one of one or more prediction blocks generated based on the prediction block selection information.
  • the inverse quantization and inverse transform unit 1040 may inverse quantize and inverse transform the encoded differential block based on the encoding information.
  • the inverse quantization and inverse transform unit 1040 may inversely quantize the encoded differential block, and inversely transform the second block to restore the differential block.
  • the inverse quantization and inverse transform unit 1040 may omit the operation.
  • the adder 1060 may reconstruct the current block using at least one of the reconstructed differential block and the prediction block of the selected current block.
  • the adder 1060 may reconstruct the current block by adding the reconstructed differential block and the prediction block of the selected current block. have.
  • the adder 1060 may reconstruct the current block using only the prediction block of the selected current block. . Then, a reconstructed image composed of only prediction blocks of the current block may be displayed.
  • the reference picture buffer 1020 may store the restored current block.
  • FIG. 11 is a flowchart provided to explain an operation of a decoding apparatus according to an embodiment of the present invention.
  • the intra prediction unit 1030 may generate one or more prediction blocks of the current block.
  • the intra prediction unit 810 may generate the prediction block of the current block according to the prediction block generation method used when generating the prediction blocks of each of the reconstructed neighboring blocks.
  • the intra prediction unit 810 may generate a plurality of prediction blocks of the current block according to a plurality of predefined prediction block generation methods based on the number of prediction block generation methods used when generating the prediction blocks of the neighboring blocks. Can be.
  • the entropy decoder 1030 may demultiplex the bitstream to extract encoded encoding information and encoded prediction block selection information, and entropy encode the encoded encoding information and the encoded prediction block selection information. have.
  • the entropy decoding unit 1030 may extract the encoded difference block from the bitstream through demultiplexing and entropy decode the information.
  • the inverse quantization and inverse transform unit 1040 may inversely quantize and inversely transform the encoded differential block to restore the differential block.
  • the prediction block selector 1050 may select any one of the prediction blocks of the one or more current blocks based on the prediction block selection information.
  • the adder 1060 may reconstruct the current block using at least one of the prediction block and the reconstructed difference block of the selected current block. Then, the reference picture buffer 1020 may store the restored current block.
  • the adder 1060 selects the current block using only the prediction block of the selected current block. Can be restored In other words, since the encoded differential block is not included in the bitstream, there is no reconstructed differential block. Accordingly, the reconstructed image may consist of only prediction blocks of the current block selected based on the prediction block selection information.
  • the adder 1060 may reconstruct the current block by adding the predicted block and the reconstructed differential block of the selected current block. have.

Abstract

화면내 예측 부호화를 이용하는 부호화 장치 및 방법, 복호화 장치 및 방법이 제공된다. 부호화 장치는, 기정의된 복수의 예측 블록 생성 방법들 중 어느 하나에 따라 현재 블록의 예측 블록을 생성하고, 차분 블록의 부호화 여부에 따라 부호화 정보 및 차분 블록 중 적어도 하나를 엔트로피 부호화하여 비트스트림으로 출력할 수 있다.

Description

초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
본 발명은 초고해상도 영상에서 화면내 예측 부호화 시 계산 복잡도를 낮추고 부호화 효율을 향상시키는 기술에 관한 것이다.
1280×1024, 1920×1080 등의 HD(High Definition) 해상도를 갖는 방송 서비
스가 국내뿐만 아니라 세계적으로 확대되고 있다. 이에 따라, 사용자들은 더욱 현장감 있는 영상을 시청하기 위해 4K(3840×2160), 8K(7680×4320) 등과 같이 더 큰 해상도와 더 좋은 화질의 컨텐츠를 요구하고 있다.
4K 영상의 화소수는 HD 영상의 4배 크기이고, 8K(7680x4320) 영상의 화소수는 HD 영상의 16배 크기이다. 이에 따라, 4K 및 8K 영상은 HD 해상도를 갖는 영상에 비해 더욱 섬세하고 자연스러운 영상의 표현이 가능하다. 일반적으로, 4K 혹은 8K 영상을 부호화하기 위해 H.264/AVC(MPEG-4 Part 10 Advanced Video Coding)가 이용된다. 이처럼, 영상의 해상도가 증가함에 따라 화소 간의 공간적 상관도가 크게 높아질 수 있다.
도 1은 영상의 일부분을 표현하는 데 사용되는 화소수를 해상도 별로 비교한 도면이다.
도 1에서, QVGA(352×288) 해상도 이상의 480×270 해상도에서 영상의 일부분을 표현하는 데 사용되는 화소 수가 4개인 경우, 960×540 해상도 및 FULL HDTV(1920×1080)에서는 영상의 일부분을 표현하는데 사용되는 화소 수가 각각 9개, 25개이다. 그리고, 4K(3840×2160) 해상도에서는 화소 수가 100개이고, 8K(7680×4320) 해상도에서는 361개의 화소 수로 영상의 일부분이 표현된다. 이처럼, 4K 및 8K 해상도의 영상은 특정 영상의 일부분을 표현하기 위해 사용되는 화소수가 과대하게 많아진다. 다시 말해, 4K 및 8K 해상도의 영상은 HD 해상도 이하의 영상보다 화소 간의 상관도가 매우 높다. 특히, 복잡하지 않고 평탄한 특성을 갖는 영상 또는 영상의 일부분에서 화소 간의 상관도가 더욱 높아진다.
이처럼, 4K 또는 8K 등과 같이, 화소 간의 상관성이 매우 높은 초고해상도 영상에서 화면내 예측을 수행하는 경우, 현재 블록의 화소값은 주변 블록의 화소값만을 이용하여 거의 예측될 수 있다. 이에 따라, 화소 간의 상관도가 높은 경우, 차분 블록을 부호화 및 복호화하는 과정은 계산 복잡도를 증가시키며 부호화 효율을 저하시키는 원인이 된다.
따라서, 화소 간의 상관도가 높은 초고해상도 영상을 부호화 및 복호화하는경우, 계산 복잡도를 감소시키면서 부호화 효율을 향상시킬 수 있는 부호화 및 복호화 기술이 필요하다.
본 발명은 화소 간의 상관성이 높은 초고해상도 영상에 대한 화면내 예측 부
호화에 따른 계산 복잡도를 감소시킬 수 있는 부호화 장치 및 방법, 복호화 장치 및 방법을 제공한다.
또한, 본 발명은 복수의 예측 블록들 중 부호화 효율이 가장 좋은 예측 블록을 이용하여 부호화 및 복호화를 수행함에 따라 부호화 효율을 향상시킬 수 있는 부호화 장치 및 방법, 복호화 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 부호화 장치는, 참조 영상에 기초하여 현재 블록의 예측 블록을 생성하는 화면내 예측부, 상기 현재 블록과 상기 생성된 예측 블록의 차를 통해 차분 블록을 생성하는 감산부, 상기 차분 블록의 부호화 여부에 기초하여 상기 차분 블록의 부호화 여부를 나태는 부호화 정보를 생성하는 부호화 정보 생성부, 및 상기 부호화 정보에 기초하여 상기 차분 블록 및 상기 부호화 정보 중 적어도 하나를 엔트로피 부호화하는 엔트로피 부호화부를 포함할 수 있다.
또한, 상기 부호화 정보가 상기 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하는 경우, 상기 엔트로피 부호화부는, 상기 부호화 정보만 부호화하여 비트스트림을 생성할 수 있다.
또한, 상기 화면내 예측부는, 복수의 예측 블록 생성 방법들 중 어느 하나를이용하여 상기 예측 블록을 생성할 수 있다.
또한, 상기 화면내 예측부는, 복수의 예측 블록 생성 방법에 따라 상기 현재블록의 예측 블록을 복수개 생성할 수 있다.
또한, 상기 화면내 예측부는, 복원된 주변 블록들 각각의 예측 블록 생성 시이용된 예측 블록 생성 방법에 기초하여 상기 현재 블록의 예측 블록을 하나 이상 생성할 수 있다.
또한, 상기 생성된 복수의 현재 블록의 예측 블록들 중에서 어느 하나를 선택하는 예측 블록 선택부를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은, 참조 영상에 기초하여 현재 블록의 예측 블록을 생성하는 단계, 상기 현재 블록과 상기 생성된 예측 블록의 차를 통해 차분 블록을 생성하는 단계, 상기 차분 블록의 부호화 여부에 기초하여 상기 차분 블록의 부호화 여부를 나태는 부호화 정보를 생성하는 단계, 상기 부호화 정보에 기초하여 상기 차분 블록을 변환 및 양자화하는 단계, 및 상기 부호화 정보에 기초하여 상기 차분 블록 및 상기 부호화 정보 중 적어도 하나를 엔트로피 부호화하는 단계를 포함할 수 있다.
또한, 상기 엔트로피 부호화하는 단계는, 부호화 정보가 상기 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라, 상기 부호화 정보만 부호화하여 비트스트림을 생성할 수 있다.
또한, 상기 예측 블록을 생성하는 단계는, 복수의 예측 블록 생성 방법에 따라 상기 현재 블록의 예측 블록을 복수 개 생성할 수 있다.
또한, 상기 예측 블록을 생성하는 단계는, 복원된 주변 블록들 각각의 예측블록 생성시 이용된 예측 블록 생성 방법에 기초하여 상기 현재 블록의 예측 블록을 하나 이상 생성할 수 있다.
또한, 상기 생성된 현재 블록의 예측 블록들 중에서 부호화 효율이 가장 좋은 어느 하나를 선택하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 장치는, 비트스트림으로부터 부호화된 부호화 정보를 추출하여 상기 부호화된 부호화 정보를 복호화하는 엔트로피 복호화부, 복원된 주변 블록을 이용하여 현재 블록의 예측 블록을 생성하는 화면내 예측부, 상기 복호된 부호화 정보에 기초하여 복원된 차분 블록 및 상기 생성된 현재 블록의 예측 블록 중 적어도 하나를 이용하여 현재 블록을 복원하는 가산부를 포함할 수 있다.
또한, 상기 가산부는, 상기 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라, 상기 현재 블록의 예측 블록 만을 이용하여 상기 현재 블록을 복원할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은, 비트스트림으로부터 부호화된 부호화 정보 및 예측 블록 선택 정보 중 적어도 하나를 추출하는 단계, 상기 추출된 부호화 정보 및 예측 블록 선택 정보를 복호화하는 단계, 복원된 주변 블록을 이용하여 현재 블록의 예측 블록들을 생성하는 단계, 상기 복호된 예측 블록 선택 정보에 기초하여 상기 생성된 현재 블록의 예측 블록들 중에서 어느 하나를 선택하는 단계, 및 상기 복호된 부호화 정보에 기초하여 복원된 차분 블록 및 상기 선택된 현재 블록의 예측 블록 중 적어도 하나를 이용하여 현재 블록을 복원하는 단계를 포함할 수 있다.
본 발명에 따르면, 화소 간의 상관성이 높은 초고해상도 영상에 대한 화면 내 예측 부호화 시 현재 블록의 예측 블록만을 이용하여 비트스트림을 출력함에 따라 계산 복잡도를 감소시킬 수 있다.
본 발명에 따르면, 복수의 예측 블록들 중 부호화 효율이 가장 좋은 예측 블록을 이용하여 부호화 및 복호화를 수행함에 따라 부호화 효율을 향상시킬 수 있다.
도 1은 영상의 일부분을 표현하는 데 사용되는 화소수를 해상도 별로 비교한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 부호화 장치의 전체 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 부호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
도 5는 본 발명의 일실시예에 따른 복호화 장치의 구성을 도시한 블록도이다.
도 6은 본 발명의 일실시예에 따른 부호화 장치의 전체 구성을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 복호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 부호화 장치의 구성을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 부호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
도 10은 본 발명의 일실시예에 따른 복호화 장치의 구성을 도시한 블록도이다.
도 11은 본 발명의 일실시예에 따른 복호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 구성을 도시한 도면이다.
도 2에서, 입력 영상은 가로 및 세로가 16×16 화소 크기를 갖는 부호화 단위로 처리될 수 있다. 이때, 부호화 장치는 화면내 예측 부호화 또는 화면간 예측 부호화를 통해 생성된 비트스트림을 출력할 수 있다. 먼저, 도 2를 참조하여 화면 내 예측 부호화 과정을 설명하고, 화면간 예측 부호화 과정은 도 3을 참조하여 후술하기로 한다.
도 2에 따르면, 부호화 장치(200)는 화면내 예측부(210), 참조 영상 버퍼(220), 감산부(230), 부호화 정보 생성부(240), 변환 및 양자화부(250), 엔트로피 부호화부(260), 역양자화 및 역변환부(270), 그리고 가산부(280)를 포함할 수 있다.
화면내 예측부(210)는 참조 영상 버퍼(220)에 저장된 참조영상에 기초하여 현재 블록의 예측 블록을 생성할 수 있다. 이때, 참조영상으로 복원된 주변 블록을 이용하는 경우, 화면내 예측부(210)는 기정의된 복수의 예측 블록 생성 방법들 중 어느 하나와 현재 블록과 공간적으로 인접한 주변 블록들의 화소값을 이용하여 현재 블록의 예측 블록을 생성할 수 있다.
일례로, (1) 화면내 예측부(210)는 현재 블록과 인접한 주변 블록의 화소를그대로 복사(패딩)하여 현재 블록의 예측 블록을 생성할 수 있다. 이때, 현재 블록에 복사(패딩)되는 화소는 예측되는 방향에 따라 달라질 수 있으며, 예측되는 방향 정보는 부호화되어 비트스트림에 포함될 수 있다. 다시 말해, 화면내 예측부(210)는 H.264/AVC의 화면 내 예측 방법을 이용하여 현재 블록의 예측 블록을 생성할 수 있다.
다른 예로, (2) 화면내 예측부(210)는 현재 블록과 주변 블록 간의 유사도에기초하여 예측 방향을 결정하고, 결정된 예측 방향에 따라 주변 블록의 화소를 복사하여 현재 블록의 예측 블록을 생성할 수 있다. 다시 말해, 화면내 예측부(210)는 현재 블록과 인접하는 복수의 주변 블록들 중에서 결정된 예측 방향에 위치하는 주변 블록을 선택하고, 선택된 주변 블록의 화소를 복사하여 현재 블록의 예측 블록을 생성할 수 있다.
또 다른 예로, (3) 화면내 예측부(210)는 이미 부호화가 수행된 현재 화면 영역에서 매칭을 통해 현재 블록과 가장 유사한 블록을 추출할 수 있다. 그리고, 화면내 예측부(210)는 추출된 블록을 이용하여 현재 블록의 예측 블록으로 생성할 수 있다. 이때, 현재 블록과 현재 블록의 예측 블록 간의 위치에 대한 차이 정보는 비트스트림에 포함될 수 있다.
또 다른 예로, (4) 화면내 예측부(210)는 이미 부호화가 수행된 현재 화면 영역에서 주변 블록과 가장 유사한 형태를 찾고, 찾은 형태로 둘러싸인 블록을 현재 블록의 예측 블록으로 생성할 수 있다.
또 다른 예로, (5) 화면내 예측부(210)는 기정의된 복수의 예측 블록 생성 방법들을 혼합하여 현재 블록의 예측 블록을 생성할 수 있다. 이때, 화면내 예측부(210)는 복수의 예측 블록 생성 방법들을 이용하여 생성된 예측 블록들의 평균값을 이용하여 예측 블록을 생성할 수 있다. 또한, 복수의 예측 블록 생성 방법들 각각에 따른 가중치의 합으로 예측 블록을 생성할 수 있다.
감산부(230)는 현재 블록과 현재 블록의 예측 블록을 감산하여 차분 블록(Residual Block)을 생성할 수 있다.
부호화 정보 생성부(240)는 차분 블록의 부호화 여부에 기초하여 부호화 정보를 생성할 수 있다. 일례로, 차분 블록을 부호화할지 부호화지 않을지를 결정하기 위해 현재 블록과 현재 블록의 예측 블록 간의 유사도 등이 이용될 수 있다.
현재 블록과 현재 블록의 예측 블록 간의 유사도가 이용되는 경우, 부호화 정보 생성부(240)는 SAD (Sum of Absolute Differences), SATD (Sum of Absolute Transformed Differences), SSD(sum of squared difference) 등을 이용하여 현재 블록 및 현재 블록의 예측 블록 간의 유사도를 계산할 수 있다. 그리고, 부호화 정보 생성부(240)는, 계산된 유사도에 기초하여 부호화 정보를 생성할 수 있다.
여기서, 부호화 정보는 차분 블록을 부호화할지, 부호화하지 않을지 여부를 나타내는 정보를 포함할 수 있다.
일례로, 현재 블록과 현재 블록의 예측 블록 간의 유사도가 기설정된 기준 유사도 이상인 경우, 부호화 정보 생성부(240)는 차분 블록을 부호화 하지 않음을 나타내는 정보를 포함하는 부호화 정보를 생성할 수 있다.
다른 예로, 현재 블록과 현재 블록의 예측 블록 간의 유사도가 기준 유사도
미만인 경우, 부호화 정보 생성부(240)는 차분 블록을 부호화함을 나타내는 정보를 포함하는 부호화 정보를 생성할 수 있다.
그러면, 변환 및 양자화부(250)는 부호화 정보에 기초하여 차분 블록을 변환 및 양자화할 수 있다. 그리고, 엔트로피 부호화부(260)는 부호화 정보에 기초하여 부호화 정보 및 차분 블록 중 적어도 하나를 엔트로피 부호화하여 비트스트림을 생성할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하는 경우, 변환 및 양자화부(250)는 차분 블록을 변환 및 양자화하지 않을 수 있다. 그러면, 엔트로피 부호화부(260)는 차분 블록 없이 부호화 정보만을 엔트로피 부호화하여 비트스트림을 생성할 수 있다. 이에 따라, 차분 블록을 변환 및 양자화함에 따른 계산 복잡도 및 부호화 시간이 감소될 수 있다. 이처럼, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하는 경우, 생성된 비트스트림은 부호화된 부호화 정보를 포함할 수 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 변환 및 양자화부(250)는 차분 블록을 변환 및 양자화할 수 있다. 그러면, 엔트로피 부호화부(260)는 변환 및 양자화된 차분 블록을 엔트로피 부호화하고, 부호화 정보를 엔트로피 부호화할 수 있다. 그리고, 엔트로피 부호화부(260)는 부호화된 차분 블록과 부호화된 부호화 정보를 혼합하여 비트스트림을 생성할 수 있다. 이처럼, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 생성된 비트스트림은 부호화된 차분 블록 및 부호화된 부호화 정보를 모두 포함할 수 있다.
이때, 변환 및 양자화부(250)는 화면내 예측 부호화 모드에 따라 차분 블록에 대해 변환 및 양자화를 다르게 수행할 수 있다.
일례로, 16×16 화면내 예측 부호화를 이용한 경우, 변환 및 양자화부(250)는 차분 블록을 변환하여 변환계수(Transform Coefficient)를 생성하고, 생성된 변환계수 중에서 DC 계수만을 모아서 다시 하다마드 변환을 수행할 수 있다. 그러면, 엔트로피 부호화부(260)는 하다마드 변환된 DC 계수만을 엔트로피 부호화하여 비트스트림으로 출력할 수 있다.
다른 예로, 16×16 이외에 8×8, 및 4×4 화면내 예측 부호화 모드를 이용한 경우, 변환 및 양자화부(250)는 차분 블록을 변환하여 변환계수(Transform Coefficient)를 생성하고, 생성된 변환계수를 양자화 파라미터에 따라 양자화하여 양자화 계수(Quantized Coefficient)를 생성할 수 있다. 그러면, 엔트로피 부호화부(260)는 생성된 양자화 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림으로 출력할 수 있다.
역양자화 및 역변환부(270)는 변환 및 양자화부(250)에서 출력된 양자화 계수를 역양자화 및 역변환하여 차분 블록을 복호화할 수 있다.
그리고, 가산부(280)는 복호화된 차분 블록과 현재 블록의 예측 블록을 가산하여 현재 블록을 복원할 수 있다. 그러면, 참조 영상 버퍼(220)는 복원된 현재 블록을 저장할 수 있다.
이처럼, 참조 영상 버퍼(220)에 복원된 현재 블록이 저장됨에 따라, 이전 단계에서 복원된 주변 블록이 참조 영상으로 참조 영상 버퍼(220)에 저장될 수 있다.
그러면, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하는 경우, 참조 영상 버퍼(220)에 저장된 복원된 주변 블록은 주변 블록의 예측 블록만을 이용하여 복원된 블록이다. 그리고, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 참조 영상 버퍼(220)에 저장된 복원된 주변 블록은 차분 블록 및 주변 블록의 예측 블록을 이용하여 복원된 블록이다. 이에 따라, 화면내 예측부(210)는 부호화 정보에 따라 주변 블록의 예측 블록 만을 이용하여 복원된 주변 블록, 또는 복원된 차분 블록과 주변 블록의 예측 블록을 이용하여 복원된 주변 블록을 이용하여 현재 블록의 예측 블록을 생성할 수 있다.
이상의 도 2에서는 설명의 편의를 위해 입력 영상에 대해 화면내 예측 부호화를 수행하는 구성에 대해 설명하였으나, 이하에서는 도 3을 참조하여 화면내 예측 부호화 및 화면간 예측 부호화를 모두 수행하는 구성에 대해 설명하기로 한다.
도 3은 본 발명의 일실시예에 따른 부호화 장치의 전체 구성을 도시한 도면이다.
도 3에서 도 2의 동작을 설명하면서 언급된 구성 요소는 실질적으로 동일하므로, 중복되는 설명은 생략하기로 한다. 도 3의 부호화 장치(300)는 도 2의 부호화 장치(200)에서 움직임 예측부(310), 움직임 보상부(320), 및 디블로킹부(350)를 더 포함할 수 있다.
움직임 예측부(310)는 BMA(Block Matching Algorithm), 위상 상관(Phase Correlation), HSBMA등의 다양한 움직임 추정 알고리즘을 이용하여 참조 영상들 중 현재 블록과 가장 매치가 잘되는 영역을 찾아 움직임 벡터를 계산할 수 있다
그러면, 움직임 보상부(320)는 계산된 움직임 벡터를 이용하여 움직임 보상을 수행하여 현재 블록의 예측 블록을 생성할 수 있다. 이처럼, 본 발명의 일실시예에 따른 부호화 장치는 움직임 예측 및 보상을 통해 화면간 예측 부호화를 수행할 수 있다. 그러면, 감산부(330)는 화면간 예측 부호화 또는 화면내 예측 부호화를 통해 생성된 현재 블록의 예측 블록과 현재 블록을 감산하여 차분 블록을 생성할 수 있다.
가산부(340)는 현재 블록의 예측 블록 및 복원된 차분 블록 중 적어도 하나를 이용하여 현재 블록을 복원할 수 있다. 그리고, 복원된 차분 블록은 참조 영상 버퍼에 저장될 수 있다.
일례로, 변환 및 양자화부에서 차분 블록이 변환 및 양자화되지 않은 경우,가산부(304)는 현재 블록의 예측 블록만으로 현재 블록을 복원할 수 있다. 다른 예로, 변환 및 양자화부에서 차분 블록이 변환 및 양자화된 경우, 가산부(304)는 현재 블록의 예측 블록과 복원된 차분 블록을 가산하여 현재 블록을 복원할 수 있다.
그러면, 디블로킹부(340)는 디블로킹 필터를 이용하여 복원된 현재 블록에서블록킹 현상(Blocking Artifact)를 제거하여 참조 영상 버퍼에 저장할 수 있다.
도 3에서, 화면간 예측 부호화는 16×16, 16×8, 8×16, 8×8 화면간 예측 부호화 모드로 나누어지고, 8×8 화면간 예측 부호화 모드는 다시 8×8, 8×4, 4×8, 4×4 서브 화면간 예측 부호화 모드로 나누어질 수 있다.
도 4는 본 발명의 일실시예에 따른 부호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
먼저, 410 단계에서, 화면내 예측부(210)는 참조 영상에 기초하여 현재 블록의 예측 블록을 생성할 수 있다.
일례로, 화면내 예측부(210)는 기정의된 복수의 예측 블록 생성 방법들 중 어느 하나를 이용하여 현재 블록의 예측 블록을 생성할 수 있다. 여기서, 참조 영상은 복원된 주변 블록이 이용될 수 있다. 이때, 복원된 주변 블록은 주변 블록의 예측 블록 만을 이용하여 복원되거나, 또는 주변 블록의 예측 블록 및 복호화된 차분 블록을 이용하여 복원된 블록일 수 있다. 그러면, 화면내 예측부(210)는 복원된 주변 블록을 이용하여 현재 블록의 예측 블록을 생성할 수 있다.
이어, 420 단계에서, 감산부(230)는 현재 블록 및 현재 블록의 예측 블록을감산하여 차분 블록을 생성할 수 있다.
그리고, 430 단계에서, 부호화 정보 생성부(240)는 차분 블록의 부호화 여부에 기초하여 부호화 정보를 생성할 수 있다. 이때, 차분 블록의 부호화 여부는 현재 블록 및 현재 블록의 예측 블록 간의 유사도 등에 기초하여 결정될 수 있다.
일례로, 유사도를 이용하는 경우, 부호화 정보 생성부(240)는 SAD (Sum of Absolute Differences), SATD (Sum of Absolute Transformed Differences), SSD(sum of squared difference) 등을 이용하여 현재 블록 및 현재 블록의 예측 블록 간의 유사도를 계산할 수 있다. 그리고, 부호화 정보 생성부(240)는 계산된 유사도에 기초하여 부호화 정보를 생성할 수 있다.
이때, 계산된 유사도가 기준 유사도 이상인 경우, 부호화 정보 생성부(240)는 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하도록 부호화 정보를 생성할 수 있다. 그리고, 계산된 유사도가 기준 유사도 미만인 경우, 부호화 정보 생성부(240)는 차분 블록을 부호화함을 나타내는 정보를 포함하도록 부호화 정보를 생성할 수 있다.
이어, 440 단계에서, 변환 및 양자화부(250)는 부호화 정보에 기초하여 차분블록을 변환 및 양자화할 수 있다.
이때, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 변환 및 양자화부(250)는 차분 블록을 변환 및 양자화할 수 있다.
그리고, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하는 경우, 변환 및 양자화부(250)는 차분 블록을 변환 및 양자화하지 않을 수 있다.
그러면, 450 단계에서 엔트로피 부호화부(260)는 변환 및 양자화된 차분 블록 및 부호화 정보 중 적어도 하나를 엔트로피 부호화하여 비트스트림으로 출력할 수 있다.
일례로, 부호화 정보에 기초하여 차분 블록이 변환 및 양자화된 경우, 엔트로피 부호화부(260)는 변환 및 양자화된 차분 블록을 엔트로피 부호화하고 부호화 정보를 엔트로피 부호화할 수 있다. 그리고, 엔트로피 부호화부(260)는 부호화된 차분 블록 및 부호화 정보를 혼합하여 생성된 비트스트림을 복호화 장치로 전송할수 있다.
다른 예로, 부호화 정보에 기초하여 차분 블록이 변환 및 양자화되지 않은 경우, 엔트로피 부호화부(260)는 차분 블록 없이 부호화 정보 만을 엔트로피 부호화하여 비트스트림으로 출력할 수 있다.
도 5는 본 발명의 일실시예에 따른 복호화 장치의 구성을 도시한 블록도이다.
도 5에 따르면, 복호화 장치(500)는 화면내 예측부(510), 참조 영상 버퍼(520), 엔트로피 복호화부(530), 역양자화 및 역변환부(540), 그리고 가산부(550)를 포함할 수 있다.
화면내 예측부(510)는 참조 영상에 기초하여 현재 블록의 예측 블록을 생성할 수 있다. 이때, 화면내 예측부(520)는 기정의된 복수의 예측 블록 생성 방법들 중에서 어느 하나를 이용하여 현재 블록의 예측 블록을 생성할 수 있다. 여기서, 기정의된 복수의 예측 블록 생성 방법은 도 2의 화면내 예측부(210)에서 이미 설명하였으므로 중복되는 설명은 생략하기로 한다.
일례로, 화면내 예측부(510)는 참조 영상 버퍼(520)에 저장된 복원된 주변 블록을 이용하여 현재 블록의 예측 블록을 생성할 수 있다. 이때, 차분 블록의 부호화 여부에 따라, 복원된 주변 블록은 주변 블록의 예측 블록 만을 이용하여 복원되거나, 또는 주변 블록의 예측 블록과 복호화된 차분 블록을 이용하여 복원된 블록일 수 있다.
엔트로피 복호화부(530)는 비트스트림을 역다중화하여 부호화된 부호화 정보를 추출하고, 부호된 부호화 정보를 엔트로피 복호화할 수 있다.
이때, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 엔트로피 복호화부(530)는 비트스트림을 역다중화하면서 부호화된 부호화 정보뿐만 아니라 부호화된 차분 블록을 추출할 수 있다. 그리고, 엔트로피 복호화부(530)는 부호화된 부호화 정보를 복호화하고, 부호화된 차분 블록을 복호화할 수 있다.
그리고, 부호화 정보가 차분 블록을 부호화하지 않음 나타내는 정보를 포함하는 경우, 엔트로피 복호화부(530)는 비트스트림을 역다중화하면서 부호화된 부호화 정보를 추출할 수 있다. 즉, 부호화 정보가 차분 블록을 부호화하지 않음 나타내는 정보를 포함하는 경우, 비트스트림에는 부호화된 차분 블록이 포함되지 않을 수 있다. 이에 따라, 엔트로피 복호화부(530)는 부호화된 부호화 정보만을 엔트로피 복호화할 수 있다.
역양자화 및 역변환부(540)는 복호된 부호화 정보에 기초하여 차분 블록을 역양자화 및 역변환하여 차분 블록을 복호화할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화하지 않음 나타내는 정보를 포함하는 경우, 역양자화 및 역변환부(540)는 부호화된 차분 블록을 확률 분포에 따른 가변길이 복호화를 이용하여 역양자화함에 따라 양자화 계수를 출력할 수 있다.
이때, 출력되는 양자화 계수는 DC 계수 정보 만을 포함할 수도 있고, DC 계수 정보와 AC 계수 정보를 모두 포함할 수도 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화하지 않음 나타내는 정보를 포함하는 경우, 역양자화 및 역변환부(540)는 비트스트림으로부터 추출된 부호화된 차분 블록이 없으므로 동작하지 않을 수 있다. 다시 말해, 역양자화 및 역 변환부(540)는 비트스트림에 부호화된 차분 블록이 포함된 경우에만 동작할 수 있다.
가산부(550)는 부호화 정보에 기초하여 복호화된 차분 블록 및 현재 블록의예측 블록 중 적어도 하나를 이용하여 현재 블록을 복원할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화하지 않음 나타내는 정보를 포함하는 경우, 가산부(550)는 복원된 차분 블록 및 현재 블록의 예측 블록을 가산하여 현재 블록을 복원할 수 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 가산부(550)는 화면내 예측부(510)에서 생성된 현재 블록의 예측 블록만을 이용하여 현재 블록을 복원할 수 있다.
참조 영상 버퍼(520)는 복원된 현재 블록을 저장할 수 있다.
도 6은 본 발명의 일실시예에 따른 부호화 장치의 전체 구성을 도시한 도면이다.
도 6에서 도 5의 동작을 설명하면서 언급된 구성 요소는 실질적으로 동일하므로, 중복되는 설명은 생략하기로 한다. 도 6의 복호화 장치(600)는 도 5의 부호화 장치(500)에서 움직임 보상부(610), 및 디블로킹부(620)를 더 포함할 수 있다.
움직임 보상부(610)는 엔트로피 복호화를 통해 비트스트림으로부터 추출된 움직임 벡터를 이용하여 참조 영상에 대해 움직임 보상을 수행할 수 있다. 그리고, 움직임 보상부(610)는 움직임 보상을 통해 현재 블록의 예측 블록을 생성할 수 있다.
디블로킹부(620)는 복원된 현재 블록에서 블록킹 현상을 제거하여 복원 영상을 출력할 수 있다. 그리고, 복원 영상은 참조 영상 버퍼에 저장될 수 있다.
도 7은 본 발명의 일실시예에 따른 복호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
먼저, 710 단계에서, 화면내 예측부(510)는 참조 영상을 이용하여 현재 블록의 예측 블록을 생성할 수 있다.
일례로, 화면내 예측부(510)는 참조 영상 버퍼(520)에 저장된 복원된 주변 블록을 이용하여 현재 블록의 예측 블록을 생성할 수 있다. 이때, 화면내 예측부(510)는 도 2의 화면내 예측부(210)에서 이미 설명한 바와 같이, 기정의된 복수의 예측 블록 생성 방법들 중 어느 하나에 따라 현재 블록의 예측 블록을 생성할 수 있다.
이어, 720 단계에서, 엔트로피 복호화부(530)는 비트스트림을 역다중화하여부호화된 부호화 정보를 추출할 수 있다.
그리고, 730 단계에서, 엔트로피 복호화부(530)는 부호화된 부호화 정보를 엔트로피 복호화할 수 있다. 여기서, 부호화 정보는 차분 블록을 부호화함을 나타내는 정보 또는 차분 블록을 부호화하지 않음을 나타내는 정보를 포함할 수 있다.
이때, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경
우, 엔트로피 복호화부(530)는 비트스트림으로부터 부호화된 차분 블록을 추출하여 엔트로피 복호화할 수 있다.
이어, 740 단계에서, 역양자화 및 역변환부(540)는 복호된 부호화 정보에 기초하여 차분 블록을 역양자화 및 역변환할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 역양자화 및 역변환부(540)는 부호화된 차분 블록을 역양자화하고, 다시 역변환하여 차분 블록을 복원할 수 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를포함하는 경우, 역양자화 및 역변환부(540)는 비트스트림으로부터 추출된 차분 블록이 없으므로 동작을 생략할 수 있다. 다시 말해, 역양자화 및 역변환부(540)는 비트스트림에 부호화된 차분 블록이 포함된 경우에만 동작할 수 있다. 이에 따라, 복호화 장치의 계산 복잡도가 감소하고, 복호화 시간이 단축될 수 있다.
그리고, 750 단계에서, 가산부(550)는 현재 블록의 예측 블록 및 복원된 차분 블록 중 적어도 하나에 기초하여 현재 블록을 복원할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 가산부(550)는 현재 블록의 예측 블록 및 복원된 차분 블록을 더하여 현재 블록을 복원할 수 있다. 그러면, 본원 영상인 현재 블록은 디스플레이될 수 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를포함하는 경우, 가산부(550)는 현재 블록의 예측 블록 만을 이용하여 현재 블록을 복원할 수 있다. 다시 말해, 복원 영상은 현재 블록의 예측 블록 만으로 구성될 수 있다.
이상에서는 도 2 내지 도 7을 참조하여, 기정의된 복수의 예측 블록 생성들중에서 어느 하나를 이용하여 현재 블록의 예측 블록을 생성하는 구성에 대해 설명하였다. 특히, 본 발명의 일실시예에 따른 부호화 및 복호화 장치는 차분 블록의 부호화 여부에 기초하여 현재 블록의 예측 블록 만을 이용하여 현재 블록을 복원하는 구성에 대해 설명하였다.
이하에서는 주변 블록의 예측 블록 생성 시 이용된 예측 블록 생성 방법 또는 기정의된 복수의 예측 블록 생성 방법들에 따라 현재 블록의 예측 블록을 복수개 생성하고, 현재 블록의 예측 블록들 중에서 어느 하나를 선택하여 부호화 및 복호화를 수행하는 구성에 대해 설명하기로 한다.
도 8은 본 발명의 일실시예에 따른 부호화 장치의 구성을 도시한 도면이다.
도 8은 도 2의 부호화 장치에서 예측 블록 선택부를 더 포함하며, 화면내 예측부의 동작이 도 2의 화면내 예측부와 상이하다. 이에 따라, 도 8의 구성 요소들 중 도 2와 중복되는 성명은 생략하고, 예측 블록 선택부 및 화면내 예측부를 중심으로 설명하기로 한다.
도 8에 따르면, 부호화 장치(800)는 화면내 예측부(810), 참조 영상 버퍼(820), 예측 블록 선택부(830), 감산부(840), 부호화 정보 생성부(850), 변환 및 양자화부(860), 엔트로피 부호화부(870), 역양자화 및 역 변환부(880), 그리고 가산부(890)를 포함할 수 있다.
화면 내 예측부(810)는 참조 영상 버퍼(820)에 저장된 참조 영상을 이용하여현재 블록의 예측 블록을 하나 이상 생성할 수 있다. 이때, 화면내 예측부(810)는 주변 블록들의 예측 블록 생성 시 이용된 예측 블록 생성 방법의 개수에 기초하여 기정의된 복수의 예측 블록 생성 방법 또는 복원된 주변 블록들 각각의 예측 블록 생성시 이용된 예측 블록 생성 방법에 따라 현재 블록의 예측 블록을 생성할 수 있다.
일례로, 주변 블록들의 예측 블록 생성 시 이용된 예측 블록 생성 방법이 모두 동일한 경우, 화면내 예측부(810)는 모두 동일하게 이용한 주변 블록의 예측 블록 생성 방법에 따라 현재 블록의 예측 블록을 생성할 수 있다. 다시 말해, 주변 블록들의 예측 블록이 화면내 예측 1에 따라 생성된 경우, 화면내 예측부(810)는 화면내 예측 1에 따라 참조 영상을 이용하여 현재 블록의 예측 블록을 생성할 수 있다. 그러면, 예측 블록 선택부(830)는 생성된 현재 블록의 예측 블록이 하나이므로 생성된 현재 블록의 예측 블록을 그대로 출력할 수 있다.
다른 예로, 주변 블록들의 예측 블록 생성 시 이용된 예측 블록 생성 방법이2가지 이하인 경우, 화면내 예측부(810)는 주변 블록들의 예측 블록 생성 시 이용된 2개의 예측 블록 생성 방법에 따라 2개의 현재 블록의 예측 블록을 생성할 수 있다.
그러면, 예측 블록 선택부(830)는 2개의 현재 블록의 예측 블록 중에서 부호화 효율이 좋은 예측 블록을 선택할 수 있다. 예를 들면, 예측 블록 선택부(830)는 현재 블록의 예측 블록과 현재 블록 간의 유사도, 및 율-왜곡 비용 등을 이용하여 부호화 효율이 좋은 예측 블록을 선택할 수 있다. 그리고, 예측 블록 선택부(830)는 선택된 현재 블록의 예측 블록 생성 시 이용된 예측 블록 생성 방법을 나타내는 정보를 포함하는 예측 블록 선택 정보를 생성할 수 있다. 이때, 예측 블록 선택부(830)는 SAD, SSD, SATD 등을 이용하여 유사도를 계산할 수 있다.
또 다른 예로, 주변 블록들의 예측 블록 생성 시 이용된 예측 블록 생성 방법이 3가지 이상인 경우, 화면내 예측부(810)는 기정의된 복수의 예측 블록 생성 방법들에 따라 현재 블록의 예측 블록을 복수 개 생성할 수 있다. 예를 들면, 도 2의 화면내 예측부(210)에서 설명한 (1)~(5)의 예측 블록 생성 방법들이 기정의된 경우, 화면내 예측부(810)는 기정의된 5개의 예측 블록 생성 방법들을 이용하여 현재 블록의 예측 블록을 5개 생성할 수 있다. 다시 말해, 3가지 이상인 경우, 화면 내 예측부(810)는 주변 블록들의 예측 블록 생성시 이용된 예측 블록 생성 방법 대신 기정의된 복수개의 예측 블록 생성 방법들을 이용하여 현재 블록의 예측 블록들을 생성할 수 있다.
그러면, 예측 블록 선택부(830)는 현재 블록의 예측 블록들 중에서 부호화 효율이 가장 좋은 어느 하나를 선택할 수 있다. 그리고, 예측 블록 선택부(830)는 선택된 현재 블록의 예측 블록 생성 시 이용된 예측 블록 생성 방법을 나타내는 정보를 포함하는 예측 블록 선택 정보를 생성할 수 있다.
가산부(840)는 선택된 현재 블록의 예측 블록과 현재 블록을 감산하여 차분블록을 생성할 수 있다.
부호화 정보 생성부(850)는 차분 블록의 부호화 여부에 기초하여 부호화 정보를 생성할 수 있다. 일례로, 차분 블록을 부호화할지 부호화지 않을지를 결정하기 위해 현재 블록과 현재 블록의 예측 블록 간의 유사도 등이 이용될 수 있다.
여기서, 부호화 정보는 차분 블록을 부호화할지, 부호화하지 않을지 여부를 나타내는 정보를 포함할 수 있다.
변환 및 양자화부(860)는 부호화 정보에 기초하여 차분 블록을 변환 및 양자화할 수 있다.
엔트로피 부호화부(870)는 부호화 정보, 예측 블록 선택 정보 및 차분 블록중 적어도 하나를 엔트로피 부호화하여 비트스트림으로 출력할 수 있다. 일례로, 차분 블록이 부호화되지 않은 경우, 엔트로피 부호화부(870)는 부호화 정보 및 예측 블록 선택 정보를 엔트로피 부호화하여 비트스트림으로 출력할 수 있다. 그리고, 차분 블록이 부호화된 경우, 부호화 정보, 예측 블록 선택 정보 및 차분 블록을 엔트로피 부호화하여 비트스트림으로 출력할 수 있다.
역양자화 및 역변환부(880)는 변환 및 양자화된 차분 블록을 역양자화 및 역변환하여 차분 블록을 복원할 수 있다.
가산부(890)는 부호화 정보에 기초하여 복원된 차분 블록 및 선택된 현재 블록의 예측 블록을 더하여 현재 블록을 복원할 수 있다. 그러면, 참조 영상 버퍼(820)는 복원된 현재 블록을 저장할 수 있다. 이때, 차분 블록이 부호화되지 않은 경우, 가산부(890)는 선택된 현재 블록의 예측 블록만으로 현재 블록을 복원할 수 있다.
도 9는 본 발명의 일실시예에 따른 부호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
먼저, 910 단계에서, 예측 블록 생성부(810)는 참조 영상을 이용하여 현재 블록의 예측 블록을 하나 이상 생성할 수 있다.
일례로, 화면내 예측부(810)는 복원된 주변 블록들 각각의 예측 블록 생성시이용된 예측 블록 생성 방법에 따라 현재 블록의 예측 블록을 생성할 수 있다.
다른 예로, 화면내 예측부(810)는 주변 블록들의 예측 블록 생성 시 이용된예측 블록 생성 방법의 개수에 기초하여 기정의된 복수의 예측 블록 생성 방법에따라 현재 블록의 예측 블록을 복수 개 생성할 수 있다.
이어, 920 단계에서, 예측 블록 선택부(820)는 복수의 현재 블록의 예측 블록들이 생성됨에 따라 현재 블록의 예측 블록들 중 어느 하나를 선택할 수 있다.
이때, 예측 블록 선택부(820)는 복수의 현재 블록의 예측 블록들 중에서 부호화 효율이 가장 좋은 예측 블록을 선택할 수 있다.
일례로, 현재 블록과 생성된 현재 블록의 예측 블록 간의 유사도를 이용하는경우, 예측 블록 선택부(820)는 유사도가 높을수록 부호화 효율이 좋은 것으로 결정할 수 있다. 이에 따라, 예측 블록 선택부(820)는 현재 블록의 예측 블록들 중에서 유사도가 가장 높은 예측 블록을 선택할 수 있다.
다른 예로, 예측 블록 선택부(820)는 율-왜곡 비용을 이용하여 부호화 효율이 가장 좋은 예측 블록을 선택할 수도 있다.
그리고, 930 단계에서, 감산부(840)는 선택된 현재 블록의 예측 블록 및 현재 블록을 감산하여 차분 블록을 생성할 수 있다.
이어, 940 단계에서, 부호화 정보 생성부(850)는 차분 블록의 부호화 여부에기초하여 부호화 정보를 생성할 수 있다.
그리고, 950 단계에서, 변환 및 양자화부(860)는 부호화 정보에 기초하여 차분 블록을 변환 및 양자화할 수 있다.
이어, 960 단계에서, 엔트로피 부호화부(870)는 부호화 정보에 기초하여 부호화 정보, 예측 블록 선택 정보, 및 차분 블록 중 적어도 하나를 엔트로피 부호화할 수 있다.
일례로, 차분 블록이 부호화된 경우, 엔트로피 부호화부(870)는 부호화 정보, 예측 블록 선택 정보, 및 변환 및 양자화된 차분 블록 각각을 엔트로피 부호화하고, 부호화된 부호화 정보, 부호화된 예측 블록 선택 정보 및 부호화된 차분 블록을 혼합하여 비트스트림으로 출력할 수 있다.
도 10은 본 발명의 일실시예에 따른 복호화 장치의 구성을 도시한 블록도이다.
도 10의 복호화 장치(1000)는 도 4의 부호화 장치(400)에서 예측 블록 선택부(1050)를 더 포함할 수 있다. 이에 따라, 도 10에서 도 4의 동작을 설명하면서 언급된 구성 요소는 실질적으로 동일하므로, 중복되는 설명은 생략하기로 한다.
도 10에 따르면, 복호화 장치(1000)는 화면내 예측부(1010), 참조 영상 버퍼(1020), 엔트로피 복호화부(1030), 역양자화 및 역변환부(1040), 그리고 가산부(1060)를 포함할 수 있다.
화면내 예측부(1010)는 참조 영상 버퍼(1020)에 저장된 참조 영상에 기초하여 현재 블록의 예측 블록을 생성할 수 있다.
일례로, 화면내 예측부(810)는 복원된 주변 블록들 각각의 예측 블록 생성시이용된 예측 블록 생성 방법에 따라 현재 블록의 예측 블록을 생성할 수 있다.
다른 예로, 화면내 예측부(810)는 주변 블록들의 예측 블록 생성 시 이용된예측 블록 생성 방법의 개수에 기초하여 기정의된 복수의 예측 블록 생성 방법에 따라 현재 블록의 예측 블록을 복수 개 생성할 수 있다. 여기서, 복수의 예측 블록 생성 방법으로는 도 2의 화면내 예측부(210)에서 설명한 기정의된 (1)~(5)의 예측 블록 생성 방법들이 이용될 수 있다.
엔트로피 복호화부(1030)는 비트스트림을 역다중화하여 부호화된 부호화 정보, 부호화된 차분 블록, 및 부호화된 예측 블록 선택 정보 중 적어도 하나를 추출할 수 있다. 그리고, 엔트로피 복호화부(1030)는 부호화된 부호화 정보, 부호화된 차분 블록, 및 부호화된 예측 블록 선택 정보를 엔트로피 복호화할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라, 엔트로피 복호화부(1030)는 부호화된 부호화 정보 및 부호화된 예측 블록 선택 정보 만을 엔트로피 복호화할 수 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함함에 따라, 엔트로피 복호화부(1030)는 부호화된 부호화 정보, 부호화된 차분 블록 및 부호화된 예측 블록 선택 정보 모두를 엔트로피 복호화할 수 있다.
예측 블록 선택부(1050)는 예측 블록 선택 정보에 기초하여 생성된 하나 이상의 예측 블록들 중에서 어느 하나를 선택할 수 있다.
역양자화 및 역변환부(1040)는 부호화 정보에 기초하여 부호화된 차분 블록을 역양자화 및 역변환할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함함에 따라, 역양자화 및 역변환부(1040)는 부호화된 차분 블록을 역양자화하고, 다시 역변환하여 차분 블록을 복원할 수 있다. 이때, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라, 역양자화 및 역변환부(1040)는 동작을 생략할 수도 있다.
가산부(1060)는 복원된 차분 블록 및 선택된 현재 블록의 예측 블록 중 적어도 하나를 이용하여 현재 블록을 복원할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함함에따라 차분 블록이 복원된 경우, 가산부(1060)는 복원된 차분 블록 및 선택된 현재 블록의 예측 블록을 더하여 현재 블록을 복원할 수 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를포함함에 따라 역양자화 및 역변환부가 동작을 생략한 경우, 가산부(1060)는 선택된 현재 블록의 예측 블록만으로 현재 블록을 복원할 수 있다. 그러면, 현재 블록의 예측 블록만으로 구성된 복원 영상이 디스플레이될 수 있다.
그리고, 참조 영상 버퍼(1020)는 복원된 현재 블록을 저장할 수 있다.
도 11은 본 발명의 일실시예에 따른 복호화 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
먼저, 1110 단계에서, 화면내 예측부(1030)는 현재 블록의 예측 블록을 하나이상 생성할 수 있다.
일례로, 화면내 예측부(810)는 복원된 주변 블록들 각각의 예측 블록 생성시이용된 예측 블록 생성 방법에 따라 현재 블록의 예측 블록을 생성할 수 있다.
다른 예로, 화면내 예측부(810)는 주변 블록들의 예측 블록 생성 시 이용된예측 블록 생성 방법의 개수에 기초하여 기정의된 복수의 예측 블록 생성 방법에따라 현재 블록의 예측 블록을 복수 개 생성할 수 있다.
이어, 1120 단계에서, 엔트로피 복호화부(1030)는 비트스트림을 역다중화하여 부호화된 부호화 정보 및 부호화된 예측 블록 선택 정보를 추출하고, 부호화된 부호화 정보 및 부호화된 예측 블록 선택 정보를 엔트로피 부호화할 수 있다.
이때, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 엔트로피 복호화부(1030)는 역다중화를 통해 비트스트림으로부터 부호화된 차분 블록을 추출하여 엔트로피 복호화할 수 있다.
그러면, 1130 단계에서, 역양자화 및 역변환부(1040)는 부호화된 차분 블록을 역양자화 및 역변환하여 차분 블록을 복원할 수 있다.
이어, 1140 단계에서, 예측 블록 선택부(1050)는 예측 블록 선택 정보에 기초하여 하나 이상의 현재 블록의 예측 블록 중에서 어느 하나를 선택할 수 있다.
그리고, 1150 단계에서, 가산부(1060)는 선택된 현재 블록의 예측 블록 및 복원된 차분 블록 중 적어도 하나를 이용하여 현재 블록을 복원할 수 있다. 그러면, 참조 영상 버퍼(1020)는 복원된 현재 블록을 저장할 수 있다.
일례로, 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라 역양자화 및 역변환부(1040)의 동작이 생략된 경우, 가산부(1060)는 선택된 현재 블록의 예측 블록 만으로 현재 블록을 복원할 수 있다. 다시 말해, 비트스트림에 부호화된 차분 블록이 포함되지 않았으므로 복원된 차분 블록이 존재하지 않는다. 이에 따라, 복원 영상은 예측 블록 선택 정보에 기초하여 선택된 현재 블록의 예측 블록만으로 구성될 수 있다.
다른 예로, 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함함에 따라 차분 블록이 복원된 경우, 가산부(1060)는 선택된 현재 블록의 예측 블록 및 복원된 차분 블록을 더하여 현재 블록을 복원할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 참조 영상에 기초하여 현재 블록의 예측 블록을 생성하는 화면 내 예측부;
    상기 현재 블록과 상기 예측 블록 간의 차를 통해 차분 블록을 생성하는 감산부;
    상기 차분 블록을 부호화할지 여부에 기초하여 차분 블록의 부호화 여부를 나타내는 부호화 정보를 생성하는 부호화 정보 생성부; 및
    상기 부호화 정보에 기초하여 상기 차분 블록 및 상기 부호화 정보 중 적어도 하나를 엔트로피 부호화하는 엔트로피 부호화부를 포함하는 부호화 장치.
  2. 제1항에 있어서, 상기 엔트로피 부호화부는,
    상기 부호화 정보가 상기 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하는 경우, 상기 부호화 정보만 부호화하여 비트스트림을 생성하는 것을 특징으로 하는 부호화 장치.
  3. 제1항에 있어서, 상기 부호화 정보 생성부는,
    상기 현재 블록과 상기 예측 블록 간의 유사도가 기설정된 기준 유사도 이상인 경우, 상기 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하고, 상기 현재 블록과 상기 예측 블록 간의 유사도가 상기 기준 유사도 미만인 경우, 상기 차분 블록을 부호화함을 나타내는 정보를 포함하는 부호화 정보를 생성하는 것을 특징으로 하는 부호화 장치.
  4. 제1항에 있어서, 상기 화면내 예측부는,
    상기 부호화 정보가 상기 차분 블록을 부호화하지 않음을 나타내는 정보를 포함하는 경우, 주변 블록의 예측 블록에 따라 복호화된 주변 블록에 기초하여 상기 현재 블록의 예측 블록을 생성하고, 상기 부호화 정보가 상기 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 상기 차분 블록 및 상기 주변 블록의 예측 블록에 따라 복호화된 주변 블록을 이용하여 상기 현재 블록의 예측 블록을 생성하는 것을 특징으로 하는 부호화 장치.
  5. 제1항에 있어서, 상기 화면내 예측부는,
    복수의 예측 블록 생성 방법들 중 어느 하나를 이용하여 상기 예측 블록을 생성하는 것을 특징으로 하는 부호화 장치.
  6. 제1항에 있어서, 상기 화면내 예측부는,
    복수의 예측 블록 생성 방법에 따라 상기 현재 블록의 예측 블록을 복수 개생성하는 것을 특징으로 하는 부호화 장치.
  7. 제1항에 있어서, 상기 화면내 예측부는,
    복호화된 주변 블록들 각각의 예측 블록 생성 시 이용된 예측 블록 생성 방법에 기초하여 상기 현재 블록의 예측 블록을 하나 이상 생성하는 것을 특징으로 하는 부호화 장치.
  8. 제7항에 있어서,
    상기 현재 블록의 예측 블록이 복수개 생성된 경우, 현재 블록의 예측 블록들 중에서 어느 하나를 선택하는 예측 블록 선택부를 포함하고, 상기 감산부는 상기 현재 블록과 상기 선택된 예측 블록 간의 차를 통해 차분 블록을 생성하는 것을 특징으로 하는 부호화 장치.
  9. 제8항에 있어서, 상기 예측 블록 선택부는,
    상기 현재 블록의 예측 블록들 중에서 부호화 효율이 가장 좋은 어느 하나를선택하는 것을 특징으로 하는 부호화 장치.
  10. 참조 영상에 기초하여 현재 블록의 예측 블록을 생성하는 단계;
    상기 현재 블록과 상기 예측 블록 간의 차를 통해 차분 블록을 생성하는 단계;
    상기 차분 블록을 부호화할지 여부에 기초하여 차분 블록의 부호화 여부를 나타내는 부호화 정보를 생성하는 단계;
    상기 부호화 정보에 기초하여 상기 차분 블록을 변환 및 양자화하는 단계; 및
    상기 부호화 정보에 기초하여 상기 차분 블록 및 상기 부호화 정보 중 적어도 하나를 엔트로피 부호화하는 단계를 포함하는 부호화 방법.
  11. 제10항에 있어서, 상기 변환 및 양자화하는 단계는,
    상기 부호화 정보가 상기 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라 상기 차분 블록을 변환 및 양자화하지 않고, 상기 부호화 정보가 상기 차분 블록을 부호화함을 나타내는 정보를 포함함에 따라 상기 차분 블록을 변환 및 양자화하는 것을 특징으로 하는 부호화 방법.
  12. 제10항에 있어서, 상기 엔트로피 부호화하는 단계는,
    부호화 정보가 상기 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라, 상기 부호화 정보만 부호화하여 비트스트림을 생성하는 것을 특징으로 하는 부호화 방법.
  13. 제10항에 있어서, 상기 예측 블록을 생성하는 단계는,
    복수의 예측 블록 생성 방법에 따라 상기 현재 블록의 예측 블록을 복수 개생성하는 것을 특징으로 하는 부호화 방법.
  14. 제10항에 있어서, 상기 예측 블록을 생성하는 단계는,
    복호화된 주변 블록들 각각의 예측 블록 생성 시 이용된 예측 블록 생성 방법에 기초하여 상기 현재 블록의 예측 블록을 하나 이상 생성하는 것을 특징으로 하는 부호화 방법.
  15. 제14항에 있어서,
    상기 현재 블록의 예측 블록이 복수개 생성된 경우, 상기 현재 블록의 예측블록들 중에서 부호화 효율이 가장 좋은 어느 하나를 선택하는 단계를 더 포함하고,
    상기 차분 블록을 생성하는 단계는, 상기 현재 블록과 상기 선택된 예측 블록 간의 차를 통해 차분 블록을 생성하는 것을 특징으로 하는 부호화 장치.
  16. 비트스트림으로부터 추출된 부호화 정보를 복호화하는 엔트로피 복호화부;
    복호화된 주변 블록을 이용하여 현재 블록의 예측 블록을 생성하는 화면내 예측부;
    상기 복호화된 부호화 정보에 기초하여 복호화된 차분 블록 및 상기 현재 블록의 예측 블록 중 적어도 하나를 이용하여 현재 블록을 복원하는 가산부를 포함하는 복호화 장치.
  17. 제16항에 있어서, 상기 가산부는,
    상기 부호화 정보가 차분 블록을 부호화하지 않음을 나타내는 정보를 포함함에 따라, 상기 현재 블록의 예측 블록만을 이용하여 상기 현재 블록을 복원하는 것을 특징으로 하는 복호화 장치.
  18. 제16항에 있어서,
    상기 부호화 정보가 차분 블록을 부호화함을 나타내는 정보를 포함하는 경우, 상기 비트스트림으로부터 추출된 부호화된 차분 블록을 역양자화 및 역변환하여 차분 블록을 복호화하는 역양자화 및 역변환부를 더 포함하고, 상기 가산부는, 상기 복호화된 차분 블록 및 상기 생성된 현재 블록의 예측 블록을 가산하여 상기 현재 블록을 복원하는 것을 특징으로 하는 복호화 장치.
  19. 제16항에 있어서, 상기 엔트로피 복호화부는,
    상기 비트스트림으로부터 추출된 예측 블록 선택 정보를 복호화하고, 상기 가산부는, 복호화된 예측 블록 선택 정보에 따라 선택된 현재 블록 및 상기 복호화된 차분 블록 중 적어도 하나를 이용하여 현재 블록을 복원하는 것을 특징으로 하는 복호화 장치.
  20. 비트스트림으로부터 부호화된 부호화 정보 및 예측 블록 선택 정보 중 적어도 하나를 추출하는 단계;
    상기 부호화 정보 및 예측 블록 선택 정보를 복호화하는 단계;
    복호화된 주변 블록을 이용하여 현재 블록의 예측 블록들을 생성하는 단계;
    복호화된 예측 블록 선택 정보에 기초하여 상기 현재 블록의 예측 블록들 중에서 어느 하나를 선택하는 단계; 및
    복호화된 부호화 정보에 기초하여 복호화된 차분 블록 및 상기 선택된 현재블록의 예측 블록 중 적어도 하나를 이용하여 현재 블록을 복원하는 단계를 포함하는 복호화 방법.
PCT/KR2011/009167 2010-02-17 2011-11-29 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법 WO2012077928A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2011800667804A CN103385002A (zh) 2010-02-17 2011-11-29 用于对超高清图像进行编码的装置及其方法、以及解码装置及其方法
US13/990,190 US9794556B2 (en) 2010-02-17 2011-11-29 Method and device for simplifying encoding and decoding of ultra-high definition images
US15/712,835 US20180014026A1 (en) 2010-12-07 2017-09-22 Method and device for simplifying the encoding and decoding of ultra-high definition images
US16/533,921 US11770550B2 (en) 2010-12-07 2019-08-07 Method and device for simplifying the encoding and decoding of ultra-high definition images
US18/363,282 US20240022753A1 (en) 2010-12-07 2023-08-01 Method and device for simplifying the encoding and decoding of ultra-high definition images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0124368 2010-12-07
KR1020100124368A KR20110095119A (ko) 2010-02-17 2010-12-07 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/990,190 A-371-Of-International US9794556B2 (en) 2010-02-17 2011-11-29 Method and device for simplifying encoding and decoding of ultra-high definition images
US15/712,835 Continuation US20180014026A1 (en) 2010-12-07 2017-09-22 Method and device for simplifying the encoding and decoding of ultra-high definition images

Publications (1)

Publication Number Publication Date
WO2012077928A1 true WO2012077928A1 (ko) 2012-06-14

Family

ID=46208223

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009167 WO2012077928A1 (ko) 2010-02-17 2011-11-29 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법

Country Status (3)

Country Link
US (4) US9794556B2 (ko)
CN (2) CN108848379A (ko)
WO (1) WO2012077928A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9794556B2 (en) 2010-02-17 2017-10-17 Electronics And Telecommunications Research Institute Method and device for simplifying encoding and decoding of ultra-high definition images
US11039138B1 (en) * 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
KR102197505B1 (ko) * 2013-10-25 2020-12-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩에서의 해시 값을 갖는 블록의 표현
US10264290B2 (en) * 2013-10-25 2019-04-16 Microsoft Technology Licensing, Llc Hash-based block matching in video and image coding
EP3114838B1 (en) * 2014-03-04 2018-02-07 Microsoft Technology Licensing, LLC Hash table construction and availability checking for hash-based block matching
CN105556971B (zh) * 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
US10681372B2 (en) * 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
MX2017004210A (es) 2014-09-30 2017-11-15 Microsoft Technology Licensing Llc Decisiones de codificador basadas en hash para codificar video.
WO2017142326A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
WO2019107927A1 (ko) 2017-11-28 2019-06-06 한국전자통신연구원 양방향 인트라 예측 방법 및 장치
WO2020184990A1 (ko) * 2019-03-11 2020-09-17 엘지전자 주식회사 Ibc 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020184991A1 (ko) * 2019-03-11 2020-09-17 엘지전자 주식회사 Ibc 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020185043A1 (ko) * 2019-03-13 2020-09-17 엘지전자 주식회사 Ibc 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060007786A (ko) * 2004-07-22 2006-01-26 삼성전자주식회사 컨텍스트 적응형 이진 산술 부호화 방법 및 그 장치
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
KR20100109459A (ko) * 2009-03-30 2010-10-08 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584226B1 (en) * 1997-03-14 2003-06-24 Microsoft Corporation Method and apparatus for implementing motion estimation in video compression
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7289672B2 (en) * 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
KR101100811B1 (ko) * 2003-06-25 2012-01-02 톰슨 라이센싱 압축된 비디오 비트스트림에 워터마크를 삽입하기 위한인코딩 방법 및 장치
KR20050026318A (ko) * 2003-09-09 2005-03-15 삼성전자주식회사 인트라 스킵 모드를 포함하는 비디오 인코딩_디코딩 장치및 방법
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
KR100885443B1 (ko) * 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR100772868B1 (ko) 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US20070140353A1 (en) * 2005-12-19 2007-06-21 Sharp Laboratories Of America, Inc. Intra prediction skipping in mode selection for video compression
JP2009060153A (ja) * 2005-12-21 2009-03-19 Panasonic Corp 面内予測モード決定方法及び装置及びプログラム
EP1995973A4 (en) * 2006-03-10 2011-10-26 Nec Corp INTERNAL PREDICTION MODE SELECTION METHOD, ANIMATED IMAGE ENCODING METHOD, AND DEVICE AND PROGRAM USING SAME
US8005140B2 (en) * 2006-03-17 2011-08-23 Research In Motion Limited Soft decision and iterative video coding for MPEG and H.264
US20080002770A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Methods, apparatus, and a computer program product for providing a fast inter mode decision for video encoding in resource constrained devices
JP4829019B2 (ja) 2006-07-06 2011-11-30 株式会社東芝 通信端末装置
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
CN101222641B (zh) 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP5351021B2 (ja) * 2007-06-29 2013-11-27 シャープ株式会社 画像符号化装置、および画像復号装置
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
KR100973657B1 (ko) * 2007-11-01 2010-08-02 경희대학교 산학협력단 디블록킹 필터링을 포함하는 코덱 사이의 트랜스코딩 방법 및 장치
KR101228020B1 (ko) 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR101439847B1 (ko) 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
US8213515B2 (en) * 2008-01-11 2012-07-03 Texas Instruments Incorporated Interpolated skip mode decision in video compression
KR101353301B1 (ko) * 2008-04-11 2014-01-21 에스케이 텔레콤주식회사 인트라 예측 모드 결정 방법 및 그 장치와 이를 이용한영상 부호화/복호화 방법 및 그 장치
WO2009136743A2 (ko) * 2008-05-07 2009-11-12 Lg전자 비디오 신호의 디코딩 방법 및 장치
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
JP5422168B2 (ja) * 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
KR101567974B1 (ko) * 2009-01-05 2015-11-10 에스케이 텔레콤주식회사 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
US8498330B2 (en) 2009-06-29 2013-07-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for coding mode selection
KR101507344B1 (ko) 2009-08-21 2015-03-31 에스케이 텔레콤주식회사 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
WO2011075072A1 (en) * 2009-12-17 2011-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for video coding
KR20180028430A (ko) 2010-02-17 2018-03-16 한국전자통신연구원 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
US9794556B2 (en) 2010-02-17 2017-10-17 Electronics And Telecommunications Research Institute Method and device for simplifying encoding and decoding of ultra-high definition images
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
SG185050A1 (en) * 2010-04-26 2012-12-28 Panasonic Corp Filtering mode for intra prediction inferred from statistics of surrounding blocks
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
WO2012011432A1 (ja) * 2010-07-20 2012-01-26 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
EP2624564B1 (en) 2010-09-30 2018-05-30 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, program, and integrated circuit
WO2012070857A2 (ko) * 2010-11-25 2012-05-31 엘지전자 주식회사 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
CN102857764B (zh) * 2011-07-01 2016-03-09 华为技术有限公司 帧内预测模式处理的方法和装置
US9426473B2 (en) * 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction
US9967594B2 (en) * 2013-06-28 2018-05-08 Mozilla Corporation Probability modeling of intra prediction modes
KR102434327B1 (ko) 2017-01-02 2022-08-19 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN117395405A (zh) * 2017-04-28 2024-01-12 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
KR20200093468A (ko) * 2019-01-28 2020-08-05 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN115715465A (zh) * 2020-06-05 2023-02-24 抖音视界有限公司 使用非紧邻临近块的帧内块复制
US20230103405A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC Method and apparatus for intra block copy prediction with sample padding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060007786A (ko) * 2004-07-22 2006-01-26 삼성전자주식회사 컨텍스트 적응형 이진 산술 부호화 방법 및 그 장치
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
KR20100109459A (ko) * 2009-03-30 2010-10-08 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
CN103385002A (zh) 2013-11-06
CN108848379A (zh) 2018-11-20
US11770550B2 (en) 2023-09-26
US20130243089A1 (en) 2013-09-19
US20240022753A1 (en) 2024-01-18
US20190364294A1 (en) 2019-11-28
US9794556B2 (en) 2017-10-17
US20180014026A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
US11770550B2 (en) Method and device for simplifying the encoding and decoding of ultra-high definition images
KR102447472B1 (ko) 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
US20110182523A1 (en) Method and apparatus for image encoding/decoding
US20080240245A1 (en) Image encoding/decoding method and apparatus
JP2014197865A (ja) 予測映像の生成方法、装置及び記録媒体
EP1811785A2 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
JP2006512809A (ja) 立体ビデオの符号化及び復号化方法、符号化及び復号化装置
JP6704932B2 (ja) ビデオコーディングシステムにおける残差変換及び逆変換方法
KR102555224B1 (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
US20130230104A1 (en) Method and apparatus for encoding/decoding images using the effective selection of an intra-prediction mode group
KR20120116363A (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
KR20190091422A (ko) 복원 블록을 생성하는 방법 및 장치
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20100019717A (ko) 동영상 부호화 장치 및 방법
KR20090117858A (ko) 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
KR100667815B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR20110095119A (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
KR20110073154A (ko) 영상 부호화/복호화 장치 및 방법
KR20100000420A (ko) Ｈ.264 표준에서 섬네일 이미지를 생성하는 장치
KR20130050534A (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11846397

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13990190

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11846397

Country of ref document: EP

Kind code of ref document: A1