WO2010039000A2 - 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치 - Google Patents

예측 모드를 이용한 영상 부호화 장치 및 복호화 장치 Download PDF

Info

Publication number
WO2010039000A2
WO2010039000A2 PCT/KR2009/005647 KR2009005647W WO2010039000A2 WO 2010039000 A2 WO2010039000 A2 WO 2010039000A2 KR 2009005647 W KR2009005647 W KR 2009005647W WO 2010039000 A2 WO2010039000 A2 WO 2010039000A2
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
subblock
subblocks
image
prediction
Prior art date
Application number
PCT/KR2009/005647
Other languages
English (en)
French (fr)
Other versions
WO2010039000A3 (ko
Inventor
최해철
정세윤
임성창
최진수
홍진우
심동규
오승준
안창범
박광훈
국승용
박시내
정광수
Original Assignee
한국전자통신연구원
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42214724&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2010039000(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 한국전자통신연구원, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to EP19214774.2A priority Critical patent/EP3644609A1/en
Priority to EP09818010.2A priority patent/EP2346259A4/en
Priority to CN200980148236.7A priority patent/CN102282852B/zh
Priority to US13/129,570 priority patent/US8363965B2/en
Priority to EP19214784.1A priority patent/EP3644610A1/en
Publication of WO2010039000A2 publication Critical patent/WO2010039000A2/ko
Publication of WO2010039000A3 publication Critical patent/WO2010039000A3/ko
Priority to US14/469,288 priority patent/US9407937B2/en
Priority to US14/469,340 priority patent/US9369737B2/en
Priority to US14/469,309 priority patent/US9332282B2/en
Priority to US14/469,236 priority patent/US9332281B2/en
Priority to US15/192,627 priority patent/US9942554B2/en
Priority to US15/288,909 priority patent/US10178393B2/en
Priority to US15/288,942 priority patent/US10321137B2/en
Priority to US16/388,429 priority patent/US10917647B2/en
Priority to US16/388,382 priority patent/US10742996B2/en
Priority to US16/820,814 priority patent/US11277622B2/en
Priority to US17/141,509 priority patent/US11683502B2/en
Priority to US17/588,685 priority patent/US11882292B2/en
Priority to US18/311,330 priority patent/US20230276058A1/en
Priority to US18/532,554 priority patent/US20240107032A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding and decoding technique, and more particularly, to a technique for encoding or decoding an image using unidirectional prediction.
  • Video compression techniques such as the MPEG4 and H.264 standards, use several prediction techniques to improve compression.
  • One such prediction technique is an intra prediction encoding method.
  • a prediction image is generated for a plurality of subblocks included in a macroblock by using reference pixels around the subblock, and a difference image is generated by performing a difference with a current block to be encoded.
  • the specific prediction mode is determined according to the position of the reference pixel with respect to each subblock.
  • the intra prediction coding method includes an intra 16x16 coding mode and an intra 4x4 coding mode according to the size of a subblock, and H.264 supports up to an intra 8x8 coding mode.
  • the generated differential image is transformed using a Discrete Cosine Transform (DCT), a quantization process, and an entropy transform.
  • DCT Discrete Cosine Transform
  • the bit-distortion rate for each mode is calculated by calculating the bit amount of the transformed image according to each prediction mode and calculating the distortion with the decoded block.
  • the encoding is performed by determining a mode having the lowest bit-distortion rate as an optimal mode.
  • H.264 encodes / decodes each macroblock unit of 16x16 blocks.
  • the size of the subblock is 4x4. Therefore, the intra 4x4 encoding mode divides the macro block into 16 sub blocks to generate a predictive image.
  • 16 prediction mode information for each subblock is required.
  • the intra 8x8 coding mode requires four prediction modes because the size of the subblock is 8x8.
  • encoding efficiency is increased by reducing intra 4x4 encoding mode information by using Most Probable Mode (MPM).
  • MPM Most Probable Mode
  • An object of the present invention is to improve the coding efficiency of an image.
  • An object of the present invention is to efficiently encode an image to reduce the capacity of the encoded image.
  • the present invention provides a partitioning unit for dividing a macroblock into a plurality of subblocks, and a unidirectional application decision for determining whether to apply the same prediction mode to each of the subblocks. And a prediction mode determiner configured to determine a prediction mode for each of the subblocks according to the determination.
  • a splitter for dividing a macroblock into a plurality of subblocks, a prediction mode determiner for determining a prediction mode for each subblock, and a coding order for each subblock according to the prediction mode is determined.
  • an image encoding apparatus including an encoding order determiner.
  • a one-way application determination unit for determining whether the same prediction mode is applied to a plurality of sub-blocks included in the macro block
  • An image decoding apparatus including a decoder which decodes the subblocks according to a determination result of the macroblock is provided.
  • 1 is a diagram illustrating various examples of intra prediction modes.
  • FIG. 2 is a block diagram illustrating a structure of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a concept of unidirectional prediction according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an embodiment of the present invention in which the coding order of each subblock is determined according to a prediction mode.
  • FIG. 5 is a diagram illustrating step by step an embodiment of the present invention for determining whether to perform unidirectional prediction with reference to context information of a reference macro block.
  • FIG. 6 is a diagram illustrating step by step an embodiment of the present invention for determining an encoding mode for a macroblock.
  • FIG. 7 is a diagram illustrating an embodiment of the present invention for determining whether the prediction modes of subblocks included in each subblock group are the same.
  • FIG. 8 is a flowchart illustrating a step-by-step embodiment of improving encoding efficiency by omitting MPM flag encoding when the MPM flags of subblocks belonging to each subblock group are continuously the same.
  • FIG. 9 is a flowchart illustrating a specific embodiment for improving coding efficiency by omitting the MPM flag step by step.
  • FIG. 10 illustrates an embodiment of the present invention for encoding whether to apply unidirectional prediction.
  • FIG. 11 is a block diagram illustrating a structure of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 12 is a block diagram illustrating a structure of an image encoding apparatus according to another embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a structure of a video encoding apparatus according to another embodiment of the present invention.
  • FIG. 14 is a block diagram illustrating a structure of an image decoding apparatus according to another embodiment of the present invention.
  • 1 is a diagram illustrating various examples of intra prediction modes.
  • the macroblock to be encoded is divided into at least one subblock.
  • the encoding apparatus according to the present invention calculates the difference between the pixel value of each subblock and the pixel value of the reference pixel to generate a differential image, and encodes the differential image.
  • the image can be encoded more accurately, thereby reducing distortion.
  • the position of the optimal reference pixel may vary according to the characteristics of the image included in each subblock. Accordingly, the encoding apparatus selects an optimal position of the reference pixel according to the characteristics of the image included in each subblock, and among the nine prediction modes shown in FIGS. 1A to 1I according to the position of the reference pixel. One can be set as the prediction mode for each subblock.
  • pixels located at the same arrow are encoded with reference to pixel values of the same reference pixel.
  • FIG. 1A all pixels located in the first column of the 4x4 subblock are encoded with reference to the reference pixel A.
  • FIG. 1B all pixels positioned in the first row of the 4x4 subblock are encoded with reference to the reference pixel I.
  • the decoding apparatus for decoding the encoded image should consider the prediction mode for each sub block.
  • the encoding apparatus may indicate a prediction mode for each subblock, and the decoding apparatus may decode each subblock with reference to the displayed prediction mode.
  • the encoding apparatus may allocate 3 to 4 bits to indicate the prediction mode for each subblock. Considering that a 16 ⁇ 16 macroblock is divided into 4 ⁇ 4 subblocks, it is possible to divide the 16 ⁇ 16 macroblock into 16 subblocks. Therefore, displaying a prediction mode for each subblock includes a lot of information. .
  • the image encoding apparatus includes an image predictor 210, an intra predictor 220, a difference signal generator 230, an encoder 250, and a decoder 240.
  • the image predictor 210 includes a motion predictor 201, a motion compensator 202, and an intra predictor 220.
  • the image predictor 210 generates a predicted image with respect to an original image currently to be encoded.
  • the intra predictor 220 includes an intra prediction selector 211, a unidirectional prediction selector 212, an intra predictor 213, an image block information determiner 214, and an image block information analyzer 215.
  • the unidirectional prediction mode flag transmitter 216 is included to generate an intra prediction image with respect to the original image to be currently encoded.
  • the image block information analyzer 215 analyzes the context information based on the context information of the image blocks 320 and 330 already decoded for intra prediction of the current image block 310.
  • the context information may be MB type, quantization coefficient, CBP information, coefficient value, and the like.
  • the image block information determiner 214 determines whether unidirectional prediction is possible based on the content analyzed by the image block information analyzer 215, and determines whether or not the actual unidirectional prediction selector 212 is performed. When the unidirectional prediction selector 212 is performed, the unidirectional predictive encoding information may be encoded.
  • the difference signal generator 230 generates a difference signal by subtracting the predicted image generated by the image predictor 210 from the original image currently being encoded.
  • the image predictor 210 performs motion estimation or estimation to encode one block of a predetermined size in the current frame Fn to be encoded, and the difference signal generator 230 performs a difference signal ( Dn).
  • the encoder 250 includes a discrete cosine transform unit (DCT) 251, a quantization unit 252, a reordering unit 253, and an entropy encoder 254, and the difference output from the difference signal generator 230.
  • DCT discrete cosine transform unit
  • An image is encoded through the discrete cosine transform 251, the quantization 252, the reordering 253, and the entropy encoder 254.
  • the decoder 240 includes an inverse quantization unit 241, an inverse discrete cosine transform unit 242, an adder 243, and a filter 244, and the current block to encode the next block or the next frame.
  • the image is reconstructed by compensating for the original block in the process of encoding the current frame.
  • the decoder 240 applies the inverse discrete cosine transform and inverse quantization process to the discrete cosine transform and quantized differential signal magnitude (output of the quantizer 252) in the encoder 250. Restore the differential signal magnitude.
  • the decoder 240 reconstructs the original image (the original image) by performing motion compensation on the reconstructed differential image in the same manner as the image predicting unit 210, and then stores it as a new reference image for encoding the next image. .
  • FIG. 3 is a diagram illustrating a concept of unidirectional prediction according to an embodiment of the present invention.
  • FIG. 3A illustrates an example in which a vertical prediction mode is applied to the first sub block 311 included in the macro block 310.
  • Each of the columns included in the sub block is encoded with reference to the vertical direction.
  • Each pixel included in the first sub block 311 may be encoded using the pixel included in the macro block 350 as a reference pixel.
  • the pixels located at the bottom of the pixels included in the macro block 350 may be the reference pixels for the first sub block 311.
  • FIG. 3B illustrates an example in which a vertical prediction mode is applied to the second sub block 320 included in the macro block 310.
  • Each of the columns included in the sub block is encoded with reference to the vertical direction.
  • Each pixel included in the second sub block 320 may be encoded using a pixel included in the first sub block 311 that is already encoded as a reference pixel.
  • Each of the pixels included in the second sub block 320 may be encoded using the pixels located at the bottom of the pixels of the first sub block 311 as reference pixels.
  • each column 331, 332, 333, 334, 341, 342, 342, 343 is encoded with reference to the vertical direction.
  • Each pixel included in the third sub block 330 may be encoded by using the pixel included in the macro block 350 as a reference pixel.
  • the pixels located at the bottom of the pixels included in the macro block 350 may be the reference pixels for the first sub block 330.
  • Each pixel included in the fourth sub block 340 may be encoded using a pixel included in the third sub block 330 that is already encoded as a reference pixel.
  • Each of the pixels included in the fourth sub block 340 may be encoded using pixels located at the bottom of the pixels of the third sub block 330 as reference pixels.
  • 'unidirectional prediction' means that the same prediction mode is applied to each subblock included in the macro block similarly to the embodiment illustrated in FIG. 3.
  • the apparatus for encoding an image may determine whether to apply unidirectional prediction to the macro block 310 with reference to the reference macro blocks 350 and 360 adjacent to the macro block 310.
  • the apparatus for encoding an image may determine whether to apply unidirectional prediction to the macroblock 310 by referring to context information of the reference macroblocks 350 and 360.
  • the context information may include one or more of MB format, quantization coefficient, CBP information, and coefficient value for the reference macro block.
  • FIG. 4 is a diagram illustrating an embodiment of the present invention in which the coding order of each subblock is determined according to a prediction mode.
  • a pixel present in E, F, G, and H is determined as a reference pixel for each subblock.
  • Each subblock may be encoded using the determined reference pixel.
  • the coding efficiency can be reduced.
  • the subblocks of the upper right portion may be preferentially encoded by determining pixels present in E, F, G, and H as reference pixels. have. Thereafter, the pixel present in the encoded upper subblock may be determined as a reference pixel, and the subblock of the lower left portion may be encoded.
  • the coding order for each subblock may be determined according to the prediction mode. Since the distance between the reference pixel and the sub block is short, the difference between the value of the reference pixel and the pixel to be encoded is not large. In other words, the accuracy of prediction is improved and the coding efficiency is improved.
  • an 8x8 block is divided into four 4x4 blocks 430, 440, 450, and 460 and encoded.
  • each of the sub-blocks 430, 440, 450, and 460 is determined without considering the prediction mode.
  • each of the sub-blocks 430, 440, 450, and 460 is encoded in the order of the upper left 440-> upper right 430-> lower left 460-> lower right 450.
  • the diagonal down-left is determined as the prediction direction as shown in FIG.
  • neighboring pixels that can be used for prediction are E, F, G, and H. Since the right block of each block is not yet encoded, N, O, P, and Q cannot be used. Therefore, the prediction efficiency is low because the distance between the pixel to be referred to and the pixel to be encoded is far.
  • an encoding order for each subblock may be determined according to a prediction mode for each subblock.
  • the encoding order for each subblock may be determined such that the subblock including the reference pixel is encoded before the subblock to be encoded.
  • the upper right 430-> upper left 440-> lower right ( 450) The encoding order may be determined to be encoded in the order of the lower left 460.
  • each sub block may be encoded by referring to the pixel of the neighboring block that is already encoded. Since the distance between the reference pixel and the pixel to be encoded is close, the prediction efficiency is improved.
  • the subblock may be encoded with reference to the neighboring pixels N, O, P, and Q.
  • FIG. 4 only the left diagonal direction has been described. However, among the prediction modes shown in FIG. 1, the present invention is similar to the (h) vertical-left and (i) horizontal-up directions. Can be applied.
  • FIG. 5 is a diagram illustrating step by step an embodiment of the present invention for determining whether to perform unidirectional prediction with reference to context information of a reference macro block.
  • the apparatus for encoding an image refers to context information of a reference macro block.
  • the reference macroblock may be a macroblock already encoded as a macroblock adjacent to a macroblock to be encoded by the image encoding apparatus.
  • the reference macro block may include reference pixels for the macro block to be encoded by the image encoding apparatus.
  • the context information may include one or more of MB format, quantization coefficient, CBP information, and coefficient value for the reference macro block.
  • the image encoding apparatus determines whether to perform unidirectional prediction on the macroblock to be encoded.
  • the apparatus for encoding an image may determine whether to perform unidirectional prediction with reference to context information of a reference macro block.
  • step S520 If it is determined in step S520 that the unidirectional prediction is to be performed, the image encoding apparatus performs unidirectional prediction on the macroblock to be encoded in step S530.
  • Unidirectional prediction means applying the same prediction mode to all subblocks included in the macroblock.
  • the image encoding apparatus may select an optimal prediction mode from the nine prediction modes shown in FIG. 1 and apply it to all subblocks included in the macroblock.
  • the apparatus for encoding an image may encode each macroblock according to the nine prediction modes illustrated in FIG. 1, and calculate a rate-distortion cost for the encoded image.
  • the rate-distortion cost is a value calculated by considering both the distortion and the data rate of the encoded image.
  • the image encoding apparatus may select a prediction mode having a low rate-distortion cost as an optimal prediction mode.
  • Intra prediction is to determine an optimal prediction mode for each subblock included in a macroblock, and a different prediction mode may be determined for each subblock.
  • the image encoding apparatus encodes the prediction mode.
  • the image encoding apparatus may encode whether the unidirectional prediction is applied to the macroblock or, if so, which prediction mode is applied.
  • the image encoding apparatus may encode the prediction mode applied to each subblock.
  • FIG. 6 is a diagram illustrating step by step an embodiment of the present invention for determining an encoding mode for a macroblock.
  • the image encoding apparatus divides the macro block into a plurality of sub blocks.
  • the image encoding apparatus determines a unidirectional prediction mode with respect to the macroblock.
  • the unidirectional prediction mode determined in step S620 may be one of the prediction modes shown in FIG. 1.
  • the image encoding apparatus encodes the macroblock according to the determined prediction mode.
  • the image encoding apparatus may apply the same prediction mode to each subblock included in the macroblock and encode the same.
  • the apparatus for encoding an image determines whether encoding has been performed for all prediction modes. If the encoding has not been performed for all the prediction modes, the image encoding apparatus determines the prediction mode in which the encoding is not yet performed as the unidirectional prediction mode in operation S620.
  • the image encoding apparatus determines a prediction mode for each subblock.
  • the image encoding apparatus may determine a different prediction mode for each subblock.
  • the image encoding apparatus encodes each subblock according to a prediction mode differently determined for each subblock.
  • the video encoding apparatus encodes the macroblock according to the intra mode in steps S650 and S660.
  • the image encoding apparatus selects an optimal encoding mode from unidirectional prediction mode and intra mode.
  • the intra mode selects an optimal prediction mode for each subblock, distortion may be less than that of the unidirectional prediction mode.
  • the unidirectional prediction mode applies the same prediction mode to each subblock, it is not necessary to store the prediction mode for each subblock. Thus, it is possible to encode macroblocks at a lower data rate than intra mode.
  • the image encoding apparatus may calculate a rate-distortion cost for each unidirectional mode and an intra mode, and select an optimal encoding mode based on the calculated rate-distortion cost.
  • FIG. 7 is a diagram illustrating an embodiment of the present invention for determining whether the prediction modes of subblocks included in each subblock group are the same.
  • the image encoding apparatus divides each subblock included in the macroblock into at least one subblock group 710, 720, 730, and 740.
  • each subblock group includes four subblocks.
  • each subblock may include a different number of subblocks.
  • the image encoding apparatus may determine an optimal encoding mode for each subblock.
  • the number indicated in each subblock indicates the optimal encoding mode determined for each subblock.
  • the first to third subblocks 711, 712, and 713 may have a first encoding mode.
  • the encoding mode is the fourth sub-block 714
  • the second encoding mode is the optimal encoding mode. That is, the encoding modes of the subblocks 711, 712, 713, and 714 included in the first subblock group 710 are not the same.
  • the optimal encoding mode for each subblock 721, 722, 723, 724 included in the second subblock group 720 is the same as the second encoding mode.
  • the image encoding apparatus may encode whether the encoding modes of the subblocks included in each subblock group are the same.
  • the image encoding apparatus may display the encoding mode for each subblock group, and may not display the encoding mode for each subblock group. Therefore, the number of bits required for encoding is reduced, and the encoding efficiency is improved.
  • FIG. 8 is a flowchart illustrating a step-by-step embodiment of improving encoding efficiency by omitting MPM flag encoding when the MPM flags of subblocks belonging to each subblock group are continuously the same.
  • the encoding apparatus determines a prediction mode for each subblock. In addition, the encoding apparatus may predict a prediction mode for each subblock.
  • the encoding apparatus may check subblocks having the same prediction mode and the determined prediction mode among the plurality of subblocks.
  • MPM Most Probable Mode
  • the encoding apparatus sets MPM_SKIP_Flag to '1' if there is a subblock encoded in the MPM mode in the macroblock, and sets MPM_SKIP_Flag to “0” if no subblock is encoded in the MPM mode.
  • the encoding apparatus compares the value of MPM_SKIP_Flag with 1. If the value of the MPM_SKIP_Flag is not '1', it means that no subblock is encoded in the MPM mode, and the encoding apparatus encodes each subblock in step S850.
  • step S840 If the value of MPM_SKIP_Flag is '1' in step S840, it means that there is a subblock encoded in the MPM mode. Therefore, in step S860, the encoding apparatus checks the subblock encoded in the MPM mode and the MPM skip pattern. Is generated and the prediction mode for the subblock is encoded using the MPM skip pattern.
  • the encoding apparatus encodes the remaining transform coefficients of the difference image.
  • FIG. 9 is a flowchart illustrating a specific embodiment for improving coding efficiency by omitting the MPM flag step by step.
  • step S910 the encoder initializes i for counting the number of iterations to perform MPM skipped pattern coding.
  • step S920 the encoder encodes the [i] th bit of the MPM skip pattern.
  • the encoder may be included in the macroblock and set a subblock group by grouping N consecutive subblocks.
  • the encoder may encode the [i] th bit of the MPM skip pattern with respect to the i th subblock group.
  • the i + 1 th subblock group includes i * N to N * (i + 1) -1 th subblock group.
  • the encoder determines that [i ] Th bit can be encoded as '1'. In other cases, the [i] th bit of the MPM skip pattern may be encoded as '0'.
  • step S930 the encoder checks the value of the [i] th bit of the MPM skip pattern. If the [i] th bit of the MPM skip pattern is '1', i * N to N * (i + 1) -1 subblocks of the macroblock are all encoded in the MPM mode, and thus i * N in step S940. Prediction mode coding for the N * (i + 1) ⁇ 1 th subblock may be omitted. If the [i] th bit of the MPM skip pattern is '0', the prediction mode for the i * N to N * (i + 1) -1 th subblocks of the macroblock is encoded.
  • step S960 the encoder determines whether prediction mode encoding for each subblock group has ended. If not, in step S970 i is increased and the prediction mode is encoded for the next sub-block group.
  • FIG. 10 illustrates an embodiment of the present invention for encoding whether to apply unidirectional prediction.
  • unidirectional prediction 1012 may be encoded together with the MB format 1011 for the macro block.
  • whether the unidirectional prediction is applied 1012 may be '0'.
  • the conventional intra prediction mode is applied to the macro block.
  • prediction mode flags or prediction mode data 1031, 1032, 1033 for each sub block are encoded.
  • the prediction mode flag 1034 and the prediction mode data 1035 are encoded only once for the macroblock. Therefore, when unidirectional prediction is applied to the macroblock, the number of bits for encoding the prediction mode is reduced, and the data rate is improved.
  • Whether unidirectional prediction is applied 1012 may be coded together with saturation prediction mode 1041, CBP 1042, Delta QP 1043, and saturation / brightness coefficient 1044.
  • the image decoding apparatus may predict the unidirectional prediction mode based on context information of the reference macro block for the macro block.
  • the image decoding apparatus includes an image reconstructor 1110, an intra predictor 1120, and a decoder 1130.
  • the decoder 1130 includes an entropy decoder 1131, a reordering unit 1132, an inverse quantization unit 1133, and an inverse discrete cosine transform unit 1134, and includes a bit string received from an encoding device (FIG. 1).
  • Decoding process is performed like the existing video compression standards such as entropy decoding 1131, data reordering 1132, inverse quantization 1133, and inverse discrete cosine transform 1134.
  • the image reconstructor 1110 includes a motion compensator 1111, an intra predictor 1120, an adder 1112, and a filter 1113, and uses a reconstructed difference signal and a reference image (previous image). To restore the original image.
  • the intra predictor 1120 includes an image block information analyzer 1121, an image block information determiner 1122, a prediction method determiner 1123, a unidirectional prediction mode flag receiver 1124, an intra predictor 1125, and a unidirectional direction.
  • the prediction unit 1126 is configured to generate an intra prediction image with respect to an image currently to be decoded.
  • the image block information analyzer 1121 analyzes the context information based on the context information of the macro block that is already decoded for intra prediction of the macro block to be decoded.
  • the MB format, the quantization coefficient, the CBP information, the coefficient value, and the like may be context information.
  • the image block information determiner 1122 determines whether unidirectional prediction is possible based on the content analyzed by the image block information analyzer 1121.
  • the prediction method determiner 1123 selects either the intra predictor 1125 or the unidirectional predictor 1126 through the values transmitted from the image block information determiner 1122 and the unidirectional prediction mode flag receiver 1124. Make predictions.
  • the image block information determination unit 1122 determines that the unidirectional prediction method is impossible, intra prediction is performed by the intra prediction unit 1125, and when it is determined that the unidirectional prediction method is possible, the unidirectional prediction method is performed.
  • the intra predictor 1125 is selected. If the value is 1, the unidirectional predictor 1126 is selected and intra prediction is performed. .
  • the unidirectional prediction method flag value is 1, as shown in FIG. 10, there may be an intra prediction mode flag and intra mode information.
  • the image decoding apparatus may predict the prediction mode of the macro block based on the context information of the reference macro block. In this way, the actual intra prediction is performed using the intra prediction mode flag and the intra mode information.
  • FIG. 12 is a block diagram illustrating a structure of an image encoding apparatus according to another embodiment of the present invention.
  • the divider 1210 divides the macro block into a plurality of sub blocks.
  • the unidirectional application decision unit 1220 determines whether to apply the same prediction mode to each subblock included in the macroblock. When the same prediction mode is applied to each subblock, it may be said that the unidirectional prediction mode is applied.
  • the unidirectional application determiner 1220 may determine whether to apply the same prediction mode to each subblock included in the macroblock to be encoded by referring to context information of the reference macroblock for the macroblock to be encoded. have.
  • the reference macro block may be adjacent to the macro block to be encoded.
  • the context information of the reference macro block may include one or more of MB format, quantization coefficient, CBP information, and coefficient values for the reference macro block.
  • the prediction mode determiner 1230 determines a prediction mode for each subblock according to the decision of the unidirectional application determiner 1220. For example, when the unidirectional application determiner 1220 determines to apply the unidirectional prediction mode, the prediction mode determiner 1230 may determine which prediction mode to apply to the subblock included in the macroblock.
  • the prediction mode determiner 1230 may determine one prediction mode among the various prediction modes shown in FIG. 1 as the prediction mode for the macroblock.
  • the prediction mode determiner 1230 may encode a macroblock according to various prediction modes illustrated in FIG. 1 and may determine an optimal prediction mode among them.
  • the prediction mode determiner 1230 may calculate the rate-distortion cost of the encoded macroblock according to various prediction modes, respectively, and determine the prediction mode having the minimum rate-distortion cost as the optimal prediction mode.
  • the prediction mode encoder 1250 stores information about the prediction mode according to the determined prediction mode. According to an embodiment, when it is determined to apply the same prediction mode to each subblock included in the macroblock, the prediction mode encoder 1250 may determine information on whether to apply the same prediction mode and determine the determined prediction mode. Can store information about
  • the prediction mode should be encoded for each subblock. Therefore, a bit corresponding to the product of the number of bits necessary for encoding the prediction mode and the number of each subblock is additionally needed.
  • the prediction mode can be encoded with fewer bits.
  • one prediction mode may be applied to the entire macroblock, but one prediction mode may be applied to a portion of the macroblock.
  • the grouping unit 1240 may group the divided subblocks into a plurality of subblock groups. For example, the grouping unit 1240 may group consecutive subblocks into one subblock group.
  • the prediction mode encoder 1250 encodes whether the prediction modes are the same. In addition, the prediction mode encoder 1250 encodes information about a prediction mode applied to the subblock. Similarly to the case where the unidirectional prediction mode is applied to the macroblock, even when the prediction modes of all the subblocks included in the subblock group are the same, the prediction mode can be encoded with a small number of bits.
  • the encoder 1260 encodes each subblock according to the prediction mode determined for each subblock.
  • FIG. 13 is a block diagram illustrating a structure of a video encoding apparatus according to another embodiment of the present invention.
  • the divider 1310 divides the macro block into a plurality of sub blocks.
  • the prediction mode determiner 1330 determines a prediction mode for each subblock. According to an embodiment, the prediction mode determiner 1330 may determine one mode among the various prediction modes illustrated in FIG. 1 as a prediction mode for each subblock. In addition, the prediction mode determiner 1330 may determine a different prediction mode for each subblock included in the macroblock.
  • the prediction mode determiner 1330 may determine the prediction mode based on the rate-distortion cost for each subblock according to various prediction modes.
  • the prediction mode determiner 1330 may calculate a rate-distortion cost for each subblock, and determine a prediction mode having a minimum rate-distortion cost as an optimal prediction mode.
  • the encoding order determiner 1340 determines an encoding order for each subblock according to a prediction mode for each subblock. According to an embodiment, the encoding order determiner 1340 may determine an encoding order for each subblock so that a subblock to be encoded may be encoded by referring to an already encoded subblock.
  • the reference pixel determiner 1350 determines a reference pixel for each subblock in consideration of the coding order of each subblock. According to an embodiment, the reference pixel determiner 1350 may determine a pixel of a subblock that is already encoded as a reference pixel for a subblock to be encoded.
  • the grouping unit 1360 groups the divided subblocks into a plurality of subblock groups, and the prediction mode encoder 1380 determines whether the prediction modes of the subblocks included in each subblock group are the same. Whether or not can be encoded.
  • the prediction mode can be encoded with a small number of bits.
  • the prediction mode predictor 1370 predicts a prediction mode for each subblock.
  • the prediction mode predictor 1370 may estimate a prediction mode of a subblock to be encoded by referring to a reference subblock adjacent to the subblock to be encoded. If the subblock to be encoded and the reference subblock are adjacent to each other, the properties of the subblock to be encoded and the reference subblock may be similar. In this case, the prediction mode of the reference subblock and the prediction mode of the subblock to be encoded may be similar.
  • the prediction mode encoder 1380 determines whether the predicted prediction mode (MPM: Most Probable Mode) and the prediction mode determined by the prediction mode determiner 1370 are the same for the subblock to be encoded, and encodes the same. can do.
  • MPM Most Probable Mode
  • the image decoding apparatus may predict the prediction mode for the subblock to be decoded in a similar manner, and there is no need to encode the determined prediction mode.
  • the image decoding apparatus 1400 may include a unidirectional application determining unit 1410, a grouping unit 1420, a decoding order determiner 1430, a reference pixel determiner 1440, and a decoder 1450.
  • the one-way application determining unit 1410 determines whether the same prediction mode is applied to all subblocks included in the macroblock. According to an embodiment, the apparatus for encoding a macroblock stores whether the same prediction mode is applied to a macroblock header, and the one-way application determining unit 1410 uses the information stored in the macroblock header to determine the same prediction mode. It can be determined whether is applied.
  • the decoder 1450 decodes each subblock according to the determination result of the macroblock. If the same prediction mode is applied to all subblocks included in the macroblock, the same prediction mode is applied to decode each subblock.
  • the grouping unit 1420 may select consecutive subblocks from among subblocks included in the macroblock. Grouping into subblock groups, the unidirectional application determination unit 1410 may determine whether the same prediction mode is applied to all of the subblocks included in each subblock group.
  • the decoder 1450 decodes each subblock according to the determination result of the macroblock. If the same prediction mode is applied to all subblocks included in the macroblock, the same prediction mode is applied to decode each subblock.
  • the decoding order determiner 1430 determines the decoding order for each subblock according to the prediction mode applied to each subblock. As an example, the decoding order determiner 1430 may determine the decoding order of each subblock so that each subblock may be decoded by referring to a reference subblock that has already been decoded according to a prediction mode applied to each subblock. The decoder 1450 may decode each subblock according to the determined decoding order.
  • the reference pixel determiner 1440 determines a reference pixel for each subblock according to a prediction mode applied to each subblock.
  • the reference pixel determiner 1440 determines a reference pixel for each subblock in consideration of the decoding order of each subblock.
  • the reference pixel determiner 1350 may determine a pixel of a subblock that is already decoded as a reference pixel for a subblock to be decoded.
  • the decoder 1450 may decode each subblock by referring to the reference pixel determined for each subblock.

Abstract

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 단방향 예측을 이용하여 영상을 부호화하거나 복호화하는 기술에 관한 것이다. 본 발명은 매크로 블록에 대한 예측 모드를 결정하는 단계, 상기 매크로 블록을 복수의 서브 블록으로 분할하는 단계, 상기 예측 모드에 따라서 상기 각 서브 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

Description

예측 모드를 이용한 영상 부호화 장치 및 복호화 장치
본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 단방향 예측을 이용하여 영상을 부호화하거나 복호화하는 기술에 관한 것이다.
MPEG4 및 H.264 표준과 같은 비디오 압축 기술에서는 압축효과를 높이기 위해 여러 가지의 예측 기법을 사용한다. 이러한 예측 기법중 하나로 인트라 예측 부호화 방법이 있다.
인트라 예측 모드는 매크로 블록에 포함된 복수의 서브 블록에 대하여 서브 블록 주변의 참조 화소들을 이용하여 예측 영상을 생성하고 부호화 하고자 하는 현재의 블록과 차분을 실시하여 차분 영상을 생성한다. 각 서브 블록에 대한 참조 화소의 위치에 따라서 구체적인 예측 모드가 결정된다.
인트라 예측 부호화 방법에는 서브 블록의 크기에 따라서 인트라 16×16 부호화 모드, 인트라 4×4 부호화 모드가 있으며, H.264 에서는 인트라 8×8 부호화 모드까지 지원하고 있다.
생성된 차분 영상은 이산 여현 변환(DCT: Discrete Cosine Transform), 양자화 과정, 엔트로피 변환을 이용하여 변환된다. 인트라 예측 부호화 방법에서는 각 예측 모드에 따라 변환된 영상의 비트량을 계산하고 복호화 된 블록과의 왜곡도를 계산하여 각 모드에 대한 비트-왜곡률을 계산한다. 이중 최저의 비트-왜곡률을 가지는 모드를 최적의 모드로 결정하여 부호화를 실시한다.
기본적으로 H.264는 16×16 블록의 매크로블록 단위로 부호화/복호화를 실시한다. 인트라 4×4 부호화 모드는 서브 블록의 크기가 4×4 이다. 따라서, 인트라 4×4 부호화 모드는 예측 영상 생성을 위하여 매크로 블록을 16개의 서브 블록으로 분할한다. 인트라 4×4 부호화 모드에서는 각 서브 블록에 대한 16개의 예측 모드 정보가 필요하다. 유사하게, 인트라 8×8 부호화 모드는 서브 블록의 크기가 8×8 이므로, 4개의 예측 모드가 필요하다.
따라서, 종래의 H.264 동영상 압축 표준에서는 MPM(Most Probable Mode)을 사용하여, 인트라 4×4의 부호화 모드 정보를 줄임으로써, 부호화 효율을 높이고 있다.
하지만, 종래의 동영상 압축 표준에서는 인트라 4×4 부호화 방법에서 인트라 예측 모드와 실제 부호화 모드가 서로 같은 경우가 연속적으로 많이 발생되며, 이러한 경우 단방향의 플래그 정보를 추가하여 부호화 비트를 줄일 수 있는 여지가 남아 있다.
본 발명의 목적은 영상의 부호화 효율을 향상시키는 것이다.
본 발명의 목적은 영상을 효율적으로 부호화하여 부호화된 영상의 용량을 감소시키는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 매크로 블록을 복수의 서브 블록으로 분할하는 분할부, 상기 각 서브 블록들에 대하여 동일한 예측 모드를 적용할지 여부를 결정하는 단방향 적용 결정부 및 상기 결정에 따라서 상기 각 서브 블록들에 대하여 예측 모드를 결정하는 예측 모드 결정부를 포함하는 영상 부호화 장치를 제공한다.
본 발명의 일측에 따르면 매크로 블록을 복수의 서브 블록으로 분할하는 분할부, 상기 각 서브 블록에 대하여 예측 모드를 결정하는 예측 모드 결정부 및 상기 예측 모드에 따라서 상기 각 서브 블록에 대한 부호화 순서를 결정하는 부호화 순서 결정부를 포함하는 영상 부호화 장치가 제공된다.
본 발명의 또 다른 일측에 따르면, 매크로 블록에 포함된 복수의 서브 블록들에 동일한 예측 모드가 적용되었는지 여부를 판단하는 단방향 적용 판단부; 및
상기 매크로 블록에 대한 판단 결과에 따라서 상기 서브 블록들을 복호화하는 복호화부를 포함하는 영상 복호화 장치가 제공된다.
본 발명에 따르면 영상의 부호화 효율이 향상된다.
본 발명에 따르면 영상을 효율적으로 부호화하여 부호화된 영상의 용량을 감소시킬 수 있다.
도 1은 인트라 예측 모드의 여러가지 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 단방향 예측의 개념을 도시한 도면이다.
도 4는 예측 모드에 따라서 각 서브 블록의 부호화 순서를 결정하는 본 발명의 일실시예를 도시한 도면이다.
도 5는 참조 매크로 블록의 문맥 정보를 참조하여 단방향 예측을 수행할 것인지 여부를 결정하는 본 발명의 일실시예를 단계별로 설명한 도면이다.
도 6은 매크로 블록에 대한 부호화 모드를 결정하는 본 발명의 일실시예를 단계별로 설명한 도면이다.
도 7는 각 서브 블록 그룹에 포함된 서브 블록들의 예측 모드가 동일한지 여부를 판단하는 본 발명의 일실시예를 도시한 도면이다.
도 8은 각 서브 블록 그룹에 속한 서브 블록들의 MPM 플래그가 연속적으로 같은 경우에, MPM 플래그 부호화를 생략하여 부호화 효율을 향상시키는 실시예를 단계별로 설명한 순서도이다.
도 9는 MPM 플래그를 생략하여 부호화 효율을 향상시키는 구체적인 실시예를 단계별로 설명한 순서도이다.
도 10은 단방향 예측 적용 여부를 부호화하는 본 발명의 일실시예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 영상 복호화 장치의 구조를 도시한 블록도이다.
도 12는 본 발명의 다른 실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
도 14는 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구조를 도시한 블록도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 인트라 예측 모드의 여러가지 예를 도시한 도면이다.
부호화하고자 하는 매크로 블록은 적어도 하나 이상의 서브 블록으로 분할된다. 본 발명에 따른 부호화 장치는 각 서브 블록의 화소값과 참조 화소와의 화소값과의 차이를 산출하여 차분 영상을 생성하고, 차분 영상을 부호화한다.
만약 차분 영상의 값이 작다면, 작은 범위의 데이터에 상대적으로 많은 비트를 할당할 수 있으므로, 영상을 더욱 정확히 부호화할 수 있어 왜곡이 감소된다. 각 서브 블록에 포함된 영상의 특성에 따라서 최적의 참조 화소의 위치가 달라 질 수 있다. 따라서, 부호화 장치는 각 서브 블록에 포함된 영상의 특성에 따라서 최적의 참조 화소의 위치를 선택하고, 참조 화소의 위치에 따라서 도 1의 (a) 내지 (i)에 도시된 9개의 예측 모드 중에서 어느 하나를 각 서브 블록에 대한 예측 모드로 설정할 수 있다.
도 1에서, 동일한 화살표에 위치한 화소들은 동일한 참조 화소의 화소값을 참조하여 부호화된다. 예를 들어, 도 1의 (a)에서 4x4 서브 블록의 첫 번째 열에 위치한 화소들은 모두 참조 화소 A를 참조하여 부호화된다. 또한, 도 1의 (b)에서 4x4 서브 블록의 첫 번째 행에 위치한 화소들은 모두 참조 화소 I를 참조하여 부호화된다.
각 서브 블록에 대한 예측 모드가 서로 다르다면, 부호화된 영상을 복호하는 복호화 장치는 각 서브 블록에 대한 예측 모드를 고려하여야 한다. 일실시예에 따르면, 부호화 장치는 각 서브 블록에 대하여 예측 모드를 표시하고, 복호화 장치는 표시된 예측 모드를 참조하여 각 서브 블록을 복호화할 수 있다.
부호화 장치는 각 서브 블록에 대한 예측 모드를 표시하기 위하여 3내지 4비트를 할당할 수 있다. 16 x 16 크기의 매크로 블록을 4 x 4크기의 서브 블록으로 분할하는 경우 16개의 서브 블록으로 분할할 수 있는 것을 고려하면, 각 서브 블록에 대하여 예측 모드를 표시하는 것은 많은 군더더기 정보를 포함 시키는 것이다.
본 발명에서는 동일한 매크로 블록에 포함된 각 서브 블록에 대하여 동일한 예측 모드를 사용함으로써, 각 서브 블록에 대하여 예측 모드를 표시할 필요가 없다. 따라서 영상 부호화 효율이 향상된다.
도 2는 본 발명의 일실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다. 본 발명에 따른 영상 부호화 장치는 영상 예측부(210), 인트라 예측부(220), 차분신호 생성기(230), 부호화부(250), 및 복호화부(240)를 포함하여 이루어진다.
영상 예측부(210)는 움직임 예측부(201), 움직임 보상부(202), 인트라 예측부(220)를 포함하여 이루어지는 것으로서, 현재 부호화 대상이 되는 원본영상에 대하여 예측 영상을 생성한다.
구체적으로, 인트라 예측부(220)는 인트라 예측 선택부(211), 단방향 예측 선택부(212), 인트라 예측부(213), 영상블록정보 판단부(214), 영상블록정보 분석부(215), 단방향 예측 모드 플래그 전송부(216)를 포함하여 이루어지는 것으로서, 현재 부호화 대상이 되는 원본영상에 대하여 인트라 예측 영상을 생성하는 것이다.
구체적으로, 영상블록정보 분석부(215)에서는 도 3와 같이, 현재 영상블록(310)의 인트라 예측을 위해 이미 복호화된 영상블록(320, 330)의 문맥정보를 기반으로 문맥정보 분석을 한다. 예를 들어, 문맥정보는 MB type, 양자화 계수, CBP정보, 계수 값등이 될 수 있다. 그리고, 영상블록정보 판단부(214)에서는 영상블록정보 분석부(215)에서 분석된 내용을 바탕으로 단방향 예측이 가능한지를 판단하여, 실제적인 단방향 예측 선택부(212)의 수행여부를 결정한다. 단방향 예측 선택부(212)가 수행이 되면, 단방향 예측 부호화 정보를 부호화할 수 있다.
차분 신호 생성기(230)는 현재 부호화 대상이 되는 원본 영상에서 영상 예측부(210)에서 생성된 예측 영상을 감산하여 차분신호를 생성하게 된다.
즉, 영상 예측부(210)는 부호화 대상이 되는 현재 프레임(Fn)에서 소정의 크기의 한 블록을 부호화하기 위해서 움직임 예측이나 추정을 하고, 차분 신호 생성기(230)는 현재 블록에 대한 차분신호(Dn)를 생성한다.
부호화부(250)는 이산여현변환부(DCT)(251), 양자화부(252), 재정렬부(253), 엔트로피 인코더(254)를 포함하여 이루어지는 것으로서, 차분 신호 생성기(230)에서 출력되는 차분신호에 대해 이산여현변환(251), 양자화(252), 재정렬(253) 및 엔트로피 인코더(254)을 통하여 영상을 부호화한다.
한편, 복호화부(240)는 역양자화부(241), 역이산여현변환부(242), 가산기(243), 필터(244)를 포함하여 이루어지는 것으로서, 다음 블록 또는 다음 프레임을 부호화하기 위해서 현재 블록 또는 현재 프레임을 부호화하는 과정에서도 원래 블록을 보상하여 영상을 복원한다.
보다 상세하게 설명하면, 복호화부(240)는 부호화부(250)에서 이산여현변환 및 양자화된 차분신호 크기(양자화부(252)의 출력)에 역이산여현변환과 역양자화 과정을 적용함으로써 원래의 차분신호 크기를 복원한다. 복호화부(240)는 복원된 차분 영상에 상기 영상 예측부(210)에서 동일한 방법으로 움직임 보상을 하여 원 영상(원래 영상)을 복원한 후, 이를 다음 영상의 부호화를 위한 새로운 참조영상으로 저장한다.
도 3은 본 발명의 일실시예에 따른 단방향 예측의 개념을 도시한 도면이다.
도 3의 (a)는 매크로 블록(310)에 포함된 제1 서브 블록(311)에 대하여 수직 방향(vertical)의 예측 모드가 적용된 예가 도시되었다. 서브 블록에 포함된 각각의 열(column)들은 수직 방향을 참조하여 부호화된다. 제1 서브 블록(311)에 포함된 각각의 화소들은 매크로 블록(350)에 포함된 화소를 참조 화소로 하여 부호화될 수 있다. 일실시예에 따르면, 매크로 블록(350)에 포함된 화소들 중에서 가장 아랫 부분에 위치한 화소들이 제1 서브 블록(311)에 대한 참조 화소가 될 수 있다.
도 3의 (b)는 매크로 블록(310)에 포함된 제2 서브 블록(320)에 대하여 수직 방향(vertical)의 예측 모드가 적용된 예가 도시되었다. 서브 블록에 포함된 각각의 열(column)들은 수직 방향을 참조하여 부호화된다. 제2 서브 블록(320)에 포함된 각각의 화소들은 이미 부호화된 제1 서브 블록(311)에 포함된 화소를 참조 화소로 하여 부호화될 수 있다. 제2 서브 블록(320)에 포함된 각각의 화소들은 제1 서브 블록(311)의 화소들 중에서 가장 아랫 부분에 위치한 화소들을 참조 화소로 하여 부호화될 수 있다.
도 3의 (c) 및 (d)에서도, 제3 서브 블록(330) 및 제4 서브 블록(340)에 대하여 수직 방향의 예측 모드가 적용된다. 각 열(331, 332, 333, 334, 341, 342, 342, 343)들은 수직 방향을 참조하여 부호화된다. 제3 서브 블록(330)에 포함된 각 화소들은 매크로 블록(350)에 포함된 화소를 참조 화소로 하여 부호화될 수 있다. 일실시예에 따르면, 매크로 블록(350)에 포함된 화소들 중에서 가장 아랫 부분에 위치한 화소들이 제1 서브 블록(330)에 대한 참조 화소가 될 수 있다. 제4 서브 블록(340)에 포함된 각각의 화소들은 이미 부호화된 제3 서브 블록(330)에 포함된 화소를 참조 화소로 하여 부호화될 수 있다. 제4 서브 블록(340)에 포함된 각각의 화소들은 제3 서브 블록(330)의 화소들 중에서 가장 아랫 부분에 위치한 화소들을 참조 화소로 하여 부호화될 수 있다.
본 발명에서의 '단방향 예측'이란 도 3에서 도시된 실시예와 유사하게 매크로 블록에 포함된 각 서브 블록들에 대하여 동일한 예측 모드를 적용하는 것을 의미한다.
일실시예에 따르면, 영상 부호화 장치는 매크로 블록(310)에 인접한 참조 매크로 블록(350, 360)을 참조하여 매크로 블록(310)에 대하여 단방향 예측을 적용할 지 여부를 판단할 수 있다.
일실시예에 따르면 영상 부호화 장치는 참조 매크로 블록(350, 360)의 문맥 정보(context information)를 참조하여 매크로 블록(310)에 대하여 단방향 예측을 적용할 지 여부를 판단할 수 있다.
일실시예에 따르면 문맥 정보는 참조 매크로 블록에 대한 MB 형식, 양자화 계수, CBP 정보, 계수값 중에서 하나 이상을 포함할 수 있다.
도 4는 예측 모드에 따라서 각 서브 블록의 부호화 순서를 결정하는 본 발명의 일실시예를 도시한 도면이다.
예를 들어 도 1의 (d)에 도시된 대각선 왼쪽 아래방향(diagonal down-left)을 예측 모드로 적용한다면, 각 서브 블록에 대하여 E, F, G, H에 존재하는 화소를 참조 화소로 결정하고, 결정된 참조 화소를 이용하여 각 서브 블록을 부호화할 수 있다.
그러나, E, F, G, H에 존재하는 화소를 참조 화소로 결정한다면, 왼쪽 아래 부분의 서브 블록과 참조 화소의 거리는 상당히 멀다. 따라서 참조 화소의 값과 왼쪽 아래 부분의 서브 블록에 존재하는 화소의 값은 상당히 다른 값을 가질 수 있다. 이 경우 부호화 효율은 감소할 수 있다.
본 발명의 일실시예에 따르면, 대각선 왼쪽 아래 방향을 예측 모드로 적용하는 경우, E, F, G, H에 존재하는 화소를 참조 화소로 결정하여 오른쪽 윗 부분의 서브 블록을 우선적으로 부호화할 수 있다. 그 후, 부호화된 오른쪽 윗 부분의 서브 블록에 존재하는 화소를 참조 화소로 결정하여 좌측 아래 부분의 서브 블록을 부호화할 수 있다.
즉, 예측 모드에 따라서 각 서브 블록에 대한 부호화 순서를 결정할 수 있다. 참조 화소와 서브 블록간의 거리가 짧으므로, 참조 화소의 값과 부호화 하려는 화소의 값이 차이가 크지 않다. 즉 예측의 정확성이 향상되고, 부호화 효율이 향상된다.
도 4를 참조하여 예측 모드에 따라서 각 서브 블록데 대한 부호화 순서를 결정하는 개념을 좀 더 상세히 설명한다.
도 4의 (b)에 도시된 바와 같이 8x8 크기의 블록을 4개의 4x4 블록(430, 440, 450, 460)으로 분할하여 부호화한다고 가정하자.
종래의 기법에 따르면, 예측 모드를 고려하지 않고, 각 서브 블록(430, 440, 450, 460)에 대한 부호화 순서가 결정된다. 결과적으로, 각 서브 블록들(430, 440, 450, 460)은 좌 상단(440) -> 우 상단(430) -> 좌 하단(460) -> 우 하단(450)의 순서대로 부호화된다.
도 4의 (a)에 도시된 바와 같이 대각선 아래 왼쪽방향(diagonal down-left)를 예측 방향으로 결정하였다고 가정하자. 기존의 부호화 기법에 따르면, 좌 상단(440) 및 좌 하단(460)의 블록을 부호화하는 경우, 예측 시 이용할 수 있는 주변 화소는 E, F, G, H이다. 각 블록의 우측 블록은 아직 부호화 되지 않은 상태이므로, N, O, P, Q를 이용할 수 없다. 따라서 참조하려는 화소와 부호화 하려는 화소의 거리가 멀기 때문에 예측 효율이 떨어진다.
본 발명의 일실시예에 따르면, 각 서브 블록에 대한 예측 모드에 따라서 각 서브 블록에 대한 부호화 순서를 결정할 수 있다. 일예로서, 참조 화소가 포함된 서브 블록이 부호화하려는 서브 블록보다 먼저 부호화되도록 각 서브 블록에 대한 부호화 순서를 결정할 수 있다.
도 4의 (a)에 도시된 바와 같이 대각선 아래 왼쪽방향이 예측 모드로 선택된 경우, 도 4의 (b)에 도시된 바와 같이 우 상단(430) -> 좌 상단(440) -> 우 하단(450) -> 좌 하단(460)의 순서대로 부호화되도록 부호화 순서를 결정할 수 있다.
참조 화소가 포함된 서브 블록이 부호화하려는 서브 블록보다 먼저 부호화되므로, 이미 부호화된 인접 블록의 화소를 참조하여 각 서브 블록은 부호화될 수 있다. 참조 화소와 부호화하려는 화소의 거리가 가까우므로 예측 효율이 향상된다.
대각선 아래 왼쪽 방향이 예측 모드인 경우, 이미 부호화되어 새로이 인접하는 블록에 위치한 주변 화소 N, O, P, Q가 존재한다. 따라서 도 4의 (a)에 도시된 바와 같이 주변 화소 N, O, P, Q를 참조하여 서브 블록을 부호화 할 수 있다.
도 4에서는 대각선 아래 왼쪽 방향에 대해서만 설명되었으나, 도 1에 도시된 예측 모드들 중에서, (h) 수직 아래(vertical-left), (i)수평 위(horizontal-up) 방향에 대해서도 본 발명이 유사하게 적용될 수 있다.
도 5는 참조 매크로 블록의 문맥 정보를 참조하여 단방향 예측을 수행할 것인지 여부를 결정하는 본 발명의 일실시예를 단계별로 설명한 도면이다.
단계(S510)에서 영상 부호화 장치는 참조 매크로 블록의 문맥 정보를 참조한다. 참조 매크로 블록은 영상 부호화 장치가 부호화하려는 매크로 블록에 인접한 매크로 블록으로서 이미 부호화된 매크로 블록일 수 있다. 또한, 참조 매크로 블록은 영상 부호화 장치가 부호화하려는 매크로 블록에 대한 참조 화소를 포함할 수 있다.
본 발명의 일 실시예에 따르면 문맥 정보는 참조 매크로 블록에 대한 MB 형식, 양자화 계수, CBP 정보, 계수값 중에서 하나 이상을 포함할 수 있다.
단계(S520)에서 영상 부호화 장치는 부호화하려는 매크로 블록에 대하여 단방향 예측을 수행할 것인지 여부를 판단한다. 일실시예에 따르면 영상 부호화 장치는 참조 매크로 블록의 문맥 정보를 참조하여 단방향 예측을 수행할 것인지 여부를 판단할 수 있다.
단계(S520)에서 단방향 예측을 수행하기로 결정한 경우에, 단계(S530)에서 영상 부호화 장치는 부호화하려는 매크로 블록에 대하여 단방향 예측을 수행한다. 단방향 예측은 매크로 블록에 포함된 모든 서브 블록에 대하여 동일한 예측 모드를 적용하는 것을 의미한다.
일실시예에 따르면 영상 부호화 장치는 도 1에 도시된 9가지의 예측 모드 중에서 최적의 예측 모드를 선택하여 매크로 블록에 포함된 모든 서브 블록에 대하여 적용할 수 있다.
일실시예에 따르면 영상 부호화 장치는 도 1에 도시된 9가지 예측 모드에 따라서 각 매크로 블록을 부호화하고, 부호화된 영상에 대하여 율-왜곡 코스트를 산출할 수 있다. 율-왜곡 코스트는 부호화된 영상의 왜곡과 데이터율을 모두 고려하여 산출된 값이다. 영상 부호화 장치는 율-왜곡 코스트가 낮은 예측 모드를 최적의 예측 모드로 선택할 수 있다.
단계(S520)에서 단방향 예측을 수행하지 않기로 결정한 경우에, 영상 부호화 장치는 단계(S540)에서 인트라 예측을 수행한다. 인트라 예측은 매크로 블록에 포함된 각 서브 블록에 대하여 최적의 예측 모드를 결정하는 것으로서, 각 서브 블록에 대하여 상이한 예측 모드가 결정될 수 있다.
단계(S550)에서 영상 부호화 장치는 예측 모드를 부호화한다. 영상 부호화 장치는 매크로 블록에 단방향 예측이 적용되었는지, 적용되었다면 적용된 예측 모드는 어떤 예측 모드인지 부호화할 수 있다.
단방향 예측이 적용되지 않은 경우에, 영상 부호화 장치는 각 서브 블록에 대하여 적용된 예측 모드를 부호화할 수 있다.
도 6은 매크로 블록에 대한 부호화 모드를 결정하는 본 발명의 일실시예를 단계별로 설명한 도면이다.
단계(S610)에서 영상 부호화 장치는 매크로 블록을 복수의 서브 블록으로 분할한다.
단계(S620)에서 영상 부호화 장치는 매크로 블록에 대하여 단방향 예측 모드를 결정한다. 단계(S620)에서 결정된 단방향 예측 모드는 도 1에 도시된 예측 모드 중에서 하나일 수 있다.
단계(S630)에서 영상 부호화 장치는 결정된 예측 모드에 따라서 매크로 블록을 부호화한다. 영상 부호화 장치는 매크로 블록에 포함된 각 서브 블록에 대하여 동일한 예측 모드를 적용하여 부호화할 수 있다.
단계(S640)에서 영상 부호화 장치는 모든 예측 모드에 대하여 부호화를 수행하였는지 여부를 판단한다. 모든 예측 모드에 대하여 부호화를 수행하지 않았다면, 영상 부호화 장치는 단계(S620)에서 아직 부호화가 수행되지 않은 예측 모드를 단방향 예측 모드로 결정한다.
단계(S650)에서 영상 부호화 장치는 각 서브 블록에 대하여 예측 모드를 결정한다. 영상 부호화 장치는 각 서브 블록에 대하여 상이한 예측 모드를 결정할 수 있다.
단계(S660)에서 영상 부호화 장치는 각 서브 블록에 대하여 상이하게 결정된 예측 모드에 따라서 각 서브 블록을 부호화한다.
즉, 단계(S650) 및 단계(S660)에서 영상 부호화 장치는 인트라 모드에 따라서 매크로 블록을 부호화한다.
단계(S670)에서 영상 부호화 장치는 단방향 예측 모드 및 인트라 모드 중에서 최적의 부호화 모드를 선택한다. 일반적으로 인트라 모드는 각 서브 블록에 대하여 최적의 예측 모드를 선택하므로, 단방향 예측 모드와 비교하여 왜곡이 더 적을 수 있다.
그러나, 단방향 예측 모드는 각 서브 블록에 대하여 동일한 예측 모드를 적용하므로, 각 서브 블록에 대하여 예측 모드를 저장할 필요가 없다. 따라서, 인트라 모드보다 더 적은 데이터율로 매크로 블록을 부호화할 수 있다.
단계(S670)에서 영상 부호화 장치는 각 단방향 모드 및 인트라 모드에 대하여 율-왜곡 코스트를 산출하고, 산출된 율-왜곡 코스트에 기반하여 최적의 부호화 모드를 선택할 수 있다.
도 7는 각 서브 블록 그룹에 포함된 서브 블록들의 예측 모드가 동일한지 여부를 판단하는 본 발명의 일실시예를 도시한 도면이다.
영상 부호화 장치는 매크로 블록에 포함된 각 서브 블록들을 적어도 하나 이상의 서브 블록 그룹(710, 720, 730, 740)으로 분할한다. 도 7에서는 각 서브 블록 그룹들이 모두 4개의 서브 블록을 포함하는 실시예가 도시되었으나, 본 발명의 다른 실시예에 따르면 각 서브 블록들은 서로 다른 개수의 서브 블록을 포함할 수도 있다.
영상 부호화 장치는 각 서브 블록들에 대하여 최적의 부호화 모드를 결정할 수 있다. 각각의 서브 블록에 표시된 숫자는 각 서브 블록에 대하여 결정된 최적의 부호화 모드를 나타낸다.
제1 서브 블록 그룹(710)에 포함된 각 서브 블록들(711, 712, 713, 714) 중에서, 제1 서브 블록 내지 제3 서브 블록(711, 712, 713)은 제1 부호화 모드가 최적의 부호화 모드이고, 제4 서브 블록(714)은 제2 부호화 모드가 최적의 부호화 모드이다. 즉, 제1 서브 블록 그룹(710)에 포함된 서브 블록들(711, 712, 713, 714)의 부호화 모드는 동일하지 않다.
반면, 제2 서브 블록 그룹(720)에 포함된 각 서브 블록들(721, 722, 723, 724)에 대한 최적의 부호화 모드는 제2 부호화 모드로서 모두 동일하다.
본 발명의 일실시예에 따르면, 영상 부호화 장치는 각 서브 블록 그룹에 포함된 서브 블록의 부호화 모드가 동일한지 여부를 부호화할 수 있다.
만약 각 서브 블록 그룹에 포함된 서브 블록의 부호화 모드가 동일하다면, 영상 부호화 장치는 각 서브 블록 그룹에 대한 부호화 모드를 표시하고, 각 서브 블록에 대한 부호화 모드는 표시하지 않을 수 있다. 따라서 부호화에 필요한 비트수가 감소하고, 부호화 효율이 향상된다.
도 8은 각 서브 블록 그룹에 속한 서브 블록들의 MPM 플래그가 연속적으로 같은 경우에, MPM 플래그 부호화를 생략하여 부호화 효율을 향상시키는 실시예를 단계별로 설명한 순서도이다.
단계(S810)에서 부호화 장치는 각 서브 블록에 대한 예측 모드를 결정한다. 또한 부호화 장치는 각 서브 블록에 대한 예측 모드를 예상할 수 있다.
단계(S820)에서 부호화 장치는 복수의 서브 블록들 중에서 예상된 예측 모드와 결정된 예측 모드가 동일한 서브 블록들을 체크할 수 있다. 이하 예상된 예측 모드와 결정된 예측 모드가 동일한 경우, 서브 블록이 MPM(Most Probable Mode)으로 부호화된다고 말 수 있다.
단계(S830)에서 부호화 장치는 매크로 블록 내에서 MPM 모드로 부호화되는 서브 블록이 있다면 MPM_SKIP_Flag를 '1'로 설정하고 MPM 모드로 부호화되는 서브 블록이 없다면 MPM_SKIP_Flag를 '0'으로 설정한다.
단계(S840)에서 부호화 장치는 MPM_SKIP_Flag의 값을 1과 비교한다. 만약 MPM_SKIP_Flag의 값이 '1'이 아니라면 MPM 모드로 부호화되는 서브 블록이 없다는 의미이므로 부호화 장치는 단계(S850)에서 각 서브 블록을 부호화한다.
만약 단계(S840)에서 MPM_SKIP_Flag의 값이 '1'이라면, MPM 모드로 부호화되는 서브 블록이 있다는 의미이므로 부호화 장치는 단계(S860)에서 부호화 장치는 MPM 모드로 부호화되는 서브 블록을 체크하여 MPM 생략 패턴을 생성하고, MPM 생략 패턴을 이용하여 서브 블록에 대한 예측 모드를 부호화한다.
MPM 생략 패턴을 이용하여 서브 블록에 대한 예측 모드를 부호화하는 구체적인 구성에 대해서는 이하 도 9에서 상세히 설명하기로 한다.
단계(S870)에서 부호화 장치는 차분 영상에 대한 나머지 변환 계수를 부호화한다.
도 9는 MPM 플래그를 생략하여 부호화 효율을 향상시키는 구체적인 실시예를 단계별로 설명한 순서도이다.
단계(S910)에서는 부호화기는 MPM 생략 패턴 부호화를 수행하기 위하여 반복 횟수 카운팅을 위한 i를 초기화 한다.
단계(S920)에서 부호화기는 MPM 생략 패턴의 [i]번째 비트를 부호화한다. 부호화기는 매크로 블록에 포함되고, 연속적인 N개의 서브 블록들을 그룹핑하여 서브 블록 그룹을 설정할 수 있다. 부호화기는 i번째 서브 블록 그룹에 대하여 MPM 생략 패턴의 [i]번째 비트를 부호화할 수 있다.
일 예로서, i+1번째 서브 블록 그룹은 i*N ~ N*(i+1)-1 번째 서브 블록 그룹을 포함한다.
매크로 블록에 포함된 서브 블록들 중에서 i+1번째 서브 블록 그룹에 포함된 i*N ~ N*(i+1)-1 번째 서브 블록들이 모두 MPM 모드로 부호화 되었다면 부호화기는 MPM 생략 패턴의 [i]번째 비트를 '1'로 부호화할 수 있다. 다른 경우에는 MPM 생략 패턴의 [i]번째 비트를 '0'으로 부호화할 수 있다.
단계(S930)에서 부호화기는 MPM 생략 패턴의 [i]번째 비트의 값을 검사한다. 만약 MPM 생략 패턴의 [i]번째 비트가 '1'이라면 매크로 블록의 i*N ~ N*(i+1)-1 번째 서브 블록까지 모두 MPM 모드로 부호화 되었으므로, 단계(S940)에서 i*N ~ N*(i+1)-1 번째 서브 블록에 대한 예측 모드 부호화를 생략할 수 있다. 만약 MPM 생략 패턴의 [i]번째 비트가 '0'이라면 매크로 블록의 i*N ~ N*(i+1)-1 번째 서브 블록에 대한 예측 모드를 부호화 한다.
단계(S960)에서 부호화기는 각 서브 블록 그룹에 대한 예측 모드 부호화가 종료되었는지 여부를 판단한다. 종료되지 않은 경우, 단계(S970)에서 i를 증가시키고, 다음 서브 블록 그룹에 대하여 예측 모드를 부호화한다.
도 8 및 도 9를 참고하면, 연속된 서브 블록들에 대하여 유사한 정보가 동일한 값으로 결정되는 경우에, 최초 서브 블록에 대해서만 정보를 부호화하고, 이후 서브 블록에 대해서는 부호화를 생략함으로써, 부호화 효율을 향상시킬 수 있다.
도 10은 단방향 예측 적용 여부를 부호화하는 본 발명의 일실시예를 도시한 도면이다.
단방향 예측 적용 여부(1012)는 매크로 블록에 대한 MB 형식(1011)과 함께 부호화될 수 있다. 매크로 블록에 대하여 단방향 예측이 적용되지 않는 경우, 단방향 예측 적용 여부(1012)의 값은 '0'일 수 있다. 이 경우, 매크로 블록에 대해서는 종래의 인트라 예측 모드가 적용된다. 매크로 블록에 대해서 인트라 예측 모드가 적용되는 경우에, 각 서브 블록에 대한 예측 모드 플래그 또는 예측 모드 데이터(1031, 1032, 1033) 들이 부호화된다.
매크로 블록에 대하여 단방향 예측이 적용되는 경우, 단방향 예측 적용 여부(1012)의 값은 '1'일 수 있다. 이 경우, 매크로 블록에 대하여 예측 모드 플래그(1034) 및 예측 모드 데이터(1035)가 한번만 부호화된다. 따라서, 매크로 블록에 대하여 단방향 예측이 적용되는 경우, 예측 모드를 부호화하기 위한 비트수가 감소되고, 데이터율이 향상된다.
단방향 예측 적용 여부(1012)는 채도 예측 모드(1041), CBP(1042), Delta QP(1043) 및 채도/밝기 계수(1044)와 함께 부호화될 수 있다.
본 발명의 다른 예에 따르면 단방향 예측이 적용되는 경우에도, 매크로 블록에 적용된 단방향 예측 모드에 대한 정보를 부호화하지 않을 수 있다. 즉, 단방향 예측이 적용되는 경우에도 예측 모드 플래그 및 예측 모드 데이터를 부호화하지 않을 수 있다. 영상 복호화 장치는 매크로 블록에 대한 참조 매크로 블록의 문맥 정보에 기반하여 단방향 예측 모드를 예측할 수 있다.
도 11은 본 발명의 일실시예에 따른 영상 복호화 장치의 구조를 도시한 블록도이다. 영상 복호화 장치는 영상 복원부(1110), 인트라 예측부(1120) 및 복호화부(1130)를 포함한다.
복호화부(1130)는 엔트로피 디코더(1131), 재정렬부(1132), 역양자화부(1133), 및 역이산여현변환부(1134)를 포함하여 이루어지는 것으로서, 부호화 장치(도 1)로부터 받은 비트열을 기존의 동영상 압축 표준들처럼 엔트로피 디코딩(1131), 데이터 재정렬(1132), 역양자화(1133), 및 역이산여현변환(1134) 등의 복호화 과정을 수행한다.
영상 복원부(1110)는 움직임 보상부(1111), 인트라 예측부(1120), 가산기(1112), 및 필터(1113)를 포함하여 이루어지는 것으로서, 복원된 차분신호와 참조 영상(이전 영상)을 이용하여 원래의 영상을 복원한다.
인트라 예측부(1120)는 영상블록정보 분석부(1121), 영상블록정보 판단부(1122), 예측방법 판단부(1123), 단방향 예측 모드 플래그 수신부(1124), 인트라 예측부(1125), 단방향 예측부(1126)를 포함하여 이루어지는 것으로서, 현재 복호화 대상이 되는 영상에 대하여 인트라 예측 영상을 생성하는 것이다.
구체적으로, 영상블록정보 분석부(1121)에서는 복호화하려는 매크로 블록의 인트라 예측을 위해 이미 복호화된 매크로 블록의 문맥정보를 기반으로 문맥정보 분석을 한다. 예를 들어, MB 형식, 양자화 계수, CBP정보, 계수 값 등이 문맥정보가 될 수 있다.
영상블록정보 판단부(1122)는 영상블록정보 분석부(1121)에서 분석된 내용을 바탕으로 단방향 예측이 가능한지를 판단한다.
예측방법 판단부(1123)는 영상블록정보 판단부(1122)와 단방향 예측 모드 플래그 수신부(1124)에서 전송된 값을 통해 인트라 예측부(1125) 또는 단방향 예측부(1126) 중의 하나를 택일하여 인트라 예측을 수행한다.
예를 들어, 영상블록정보 판단부(1122)에서 만약, 단방향 예측 방법이 불가능하다고 판단될 경우, 인트라 예측부(1125)에 의해 인트라 예측이 수행되며, 단방향 예측 방법이 가능하다고 판단될 경우, 단방향 예측 모드 플래그 수신부(1124)에서 전송되는 플래그 값에 따라, 그 값이 0이면 인트라 예측부(1125)가 선택되고, 그 값이 1이면 단방향 예측부(1126)가 선택이 되어 인트라 예측이 수행된다.
또한, 단방향 예측 방법 플래그 값이 1이더라도, 도 10에서 도시된 바와 같이, 인트라 예측 모드 플래그와 인트라 모드 정보가 있을 수도 있다.
또 다른 실시예에 따르면, 단방향 예측 방법 플래그 값이 1이더라도 인트라 예측 모드 플래그와 인트라 모드 정보에 대한 값이 없을 수도 있다. 이 경우에, 영상 복호화 장치는 참조 매크로 블록의 문맥정보를 기반으로 매크로 블록의 예측 모드를 예측할 수도 있다. 이와 같이, 인트라 예측 모드 플래그와 인트라 모드 정보를 이용하여 실제적인 인트라 예측을 수행한다.
도 12은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
분할부(1210)는 매크로 블록을 복수의 서브 블록으로 분할한다.
단방향 적용 여부 결정부(1220)는 매크로 블록에 포함된 각 서브 블록에 대하여 동일한 예측 모드를 적용할지 여부를 결정한다. 각 서브 블록에 대하여 동일한 예측 모드를 적용하는 경우, 단방향 예측 모드를 적용한다고 할 수 있다.
일실시예에 따르면 단방향 적용 결정부(1220)는 부호화하려는 매크로 블록에 대한 참조 매크로 블록의 문맥 정보를 참조하여 부호화하려는 매크로 블록에 포함된 각 서브 블록에 대하여 동일한 예측 모드를 적용할지 여부를 결정할 수 있다.
참조 매크로 블록은 부호화하려는 매크로 블록에 인접할 수 있다. 또한, 참조 매크로 블록의 문맥정보는 참조 매크로 블록에 대한 MB 형식, 양자화 계수, CBP 정보, 계수값 중에서 하나 이상을 포함할 수 있다.
예측 모드 결정부(1230)는 단방향 적용 결정부(1220)의 결정에 따라서 각 서브 블록들에 대하여 예측 모드를 결정한다. 예를들어, 단방향 적용 결정부(1220)가 단방향 예측 모드를 적용하기로 결정한 경우에, 예측 모드 결정부(1230)는 매크로 블록에 포함된 서브 블록에 대하여 어떤 예측 모드를 적용할지를 결정할 수 있다.
예측 모드 결정부(1230)는 도 1에 도시된 여러 가지 예측 모드 중에서 어느 한 예측 모드를 매크로 블록에 대한 예측 모드로 결정할 수 있다.
일예로서, 예측 모드 결정부(1230)는 도 1에 도시된 여러 가지 예측 모드에 따라서 매크로 블록을 부호화하고, 그 중 최적의 예측 모드를 결정할 수 있다. 예측 모드 결정부(1230)는 여러 가지 예측 모드에 따라서 부호화된 매크로 블록의 율-왜곡 코스트를 각각 산출하고, 율-왜곡 코스트가 최소인 예측 모드를 최적의 예측 모드로 결정할 수 있다.
예측 모드 부호화부(1250)는 결정된 예측 모드에 따라서 예측 모드에 대한 정보를 저장한다. 일실시예에 따르면, 매크로 블록에 포함된 각 서브 블록에 대하여 동일한 예측 모드를 적용하기로 결정한 경우에, 예측 모드 부호화부(1250)는 동일한 예측 모드를 적용할지 여부에 대한 정보 및 결정된 예측 모드에 대한 정보를 저장할 수 있다.
만약 동일한 예측 모드를 적용하지 않는다면, 각 서브 블록에 대하여 예측 모드를 부호화해야 한다. 따라서, 예측 모드를 부호화하기 위하여 필요한 비트수와 각 서브 블록의 개수의 곱에 해당하는 비트가 추가적으로 필요하다.
그러나, 동일한 예측 모드를 적용한다면, 매크로 블록에 포함된 서브 블록에 적용되는 예측 모드를 부호화하기 위한 비트수만이 필요하다. 따라서, 동일한 예측 모드를 적용한다면, 적은 비트로 예측 모드를 부호화할 수 있다.
본 발명의 다른 실시예에 따르면 매크로 블록 전체에 대하여 하나의 예측 모드가 적용될 수도 있으나, 매크로 블록의 일부에 대하여 하나의 예측 모드가 적용될 수도 있다.
일실시예에 따르면, 그룹핑부(1240)는 분할된 서브 블록들을 복수의 서브 블록 그룹으로 그룹핑할 수 있다. 예를들어, 그룹핑부(1240)는 연속된 서브 블록들을 하나의 서브 블록 그룹으로 그룹핑 할 수 있다.
특정 서브 블록 그룹에 포함된 모든 서브 블록의 예측 모드가 동일한 경우에, 예측 모드 부호화부(1250)는 예측 모드가 동일한지 여부를 부호화한다. 또한 예측 모드 부호화부(1250)는 서브 블록에 적용되는 예측 모드에 대한 정보를 부호화한다. 매크로 블록에 대하여 단방향 예측 모드가 적용되는 경우와 유사하게, 서브 블록 그룹에 포함된 모든 서브 블록의 예측 모드가 동일한 경우에도, 적은 비트수로 예측 모드를 부호화할 수 있다.
부호화부(1260)는 각 서브 블록에 대하여 결정된 예측 모드에 따라서 각 서브 블록을 부호화한다.
도 13는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치의 구조를 도시한 블록도이다.
분할부(1310)는 매크로 블록을 복수의 서브 블록으로 분할한다.
예측 모드 결정부(1330)는 각 서브 블록에 대하여 예측 모드를 결정한다. 일실시예에 따르면 예측 모드 결정부(1330)는 도 1에 도시된 여러 가지 예측 모드들 중에서 한가지 모드를 각 서브 블록에 대한 예측 모드로 결정할 수 있다. 또한, 예측 모드 결정부(1330)는 매크로 블록에 포함된 각 서브 블록에 대하여 상이한 예측 모드를 결정할 수 있다.
예측 모드 결정부(1330)는 여러 가지 예측 모드에 따라서 각 서브 블록에 대한 율-왜곡 코스트에 기반하여 예측 모드를 결정할 수 있다. 예측 모드 결정부(1330)는 각 서브 블록에 대한 율-왜곡 코스트를 산출하고, 율-왜곡 코스트가 최소인 예측 모드를 최적의 예측 모드로 결정할 수 있다.
부호화 순서 결정부(1340)는 각 서브 블록에 대한 예측 모드에 따라서 각 서브 블록에 대한 부호화 순서를 결정한다. 일실시예에 따르면, 부호화 순서 결정부(1340)는 이미 부호화된 서브 블록을 참조하여 부호화하려는 서브 블록이 부호화될 수 있도록 각 서브 블록에 대한 부호화 순서를 결정할 수 있다.
참조 화소 결정부(1350)는 각 서브 블록의 부호화 순서를 고려하여 각 서브 블록에 대한 참조 화소를 결정한다. 일실시예에 따르면, 참조 화소 결정부(1350)는 이미 부호화된 서브 블록의 화소를 부호화하려는 서브 블록에 대한 참조 화소로서 결정할 수 있다.
일실시예에 따르면, 그룹핑부(1360)는 분할된 서브 블록들을 복수의 서브 블록 그룹으로 그룹핑하고, 예측 모드 부호화부(1380)는 각 서브 블록 그룹에 포함된 서브 블록의 예측 모드가 모두 동일한지 여부를 부호화할 수 있다.
매크로 블록에 대하여 단방향 예측 모드가 적용되는 경우와 유사하게, 서브 블록 그룹에 포함된 모든 서브 블록의 예측 모드가 동일한 경우에도, 적은 비트수로 예측 모드를 부호화할 수 있다.
일실시예에 따르면, 예측 모드 예상부(1370)는 각 서브 블록에 대하여 예측 모드를 예상한다. 일예로서, 예측 모드 예상부(1370)는 부호화하려는 서브 블록에 인접한 참조 서브 블록을 참조하여 부호화 하려는 서브 블록의 예측 모드를 예상할 수 있다. 부호화 하려는 서브 블록과 참조 서브 블록이 서로 인접하다면, 부호화하려는 서브 블록과 참조 서브 블록의 성질은 유사할 수 있다. 이 경우, 참조 서브 블록의 예측 모드와 부호화하려는 서브 블록의 예측 모드는 유사할 수 있다.
예측 모드 부호화부(1380)는 부호화하려는 서브 블록에 대하여 예상된 예측 모드(MPM: Most Probable Mode)와 예측 모드 결정부(1370)가 결정한 예측 모드가 동일한지 여부를 판단하고, 동일한지 여부를 부호화할 수 있다.
만약 예상된 예측 모드와 결정된 예측 모드가 동일하다면, 영상 복호화 장치도 유사한 방법으로 복호화하려는 서브 블록에 대한 예측 모드를 예상할 수 있고, 결정된 예측 모드를 부호화할 필요가 없다.
도 14은 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구조를 도시한 블록도이다. 영상 복호화 장치(1400)는 단방향 적용 판단부(1410), 그룹핑부(1420), 복호화 순서 결정부(1430), 참조 화소 결정부(1440) 및 복호화부(1450)를 포함할 수 있다.
단방향 적용 판단부(1410)는 매크로 블록에 포함된 모든 서브 블록들에 대하여 동일한 예측 모드가 적용되었는지 여부를 판단한다. 일실시예에 따르면, 매크로 블록을 부호화하는 영상 부호화 장치는 동일한 예측 모드가 적용되었는지 여부를 매크로 블록 헤더에 저장하고, 단방향 적용 판단부(1410)는 매크로 블록 헤더에 저장된 정보를 이용하여 동일한 예측 모드가 적용되었는지 여부를 판단할 수 있다.
복호화부(1450)는 매크로 블록에 대한 판단 결과에 따라서 각 서브 블록들을 복호화한다. 만약 매크로 블록에 포함된 모든 서브 블록들에 대하여 동일한 예측 모드가 적용되었다면, 동일한 예측 모드를 적용하여 각 서브 블록들을 복호화한다.
본 발명의 다른 실시예에 따르면, 매크로 블록에 포함된 모든 서브 블록에 대하여 동일한 예측 모드가 적용되자 않은 경우에, 그룹핑부(1420)는 매크로 블록에 포함된 서브 블록들 중에서, 연속된 서브 블록들을 서브 블록 그룹으로 그룹핑하고, 단방향 적용 판단부(1410)는 각 서브 블록 그룹에 포함된 서브 블록들에 대하여 모두 동일한 예측 모드가 적용되었는지 여부를 판단할 수 있다.
복호화부(1450)는 매크로 블록에 대한 판단 결과에 따라서 각 서브 블록들을 복호화한다. 만약 매크로 블록에 포함된 모든 서브 블록들에 대하여 동일한 예측 모드가 적용되었다면, 동일한 예측 모드를 적용하여 각 서브 블록들을 복호화한다.
복호화 순서 결정부(1430)는 각 서브 블록에 대하여 적용된 예측 모드에 따라서 각 서브 블록에 대한 복호화 순서를 결정한다. 일예로서, 복호화 순서 결정부(1430)는 각 서브 블록에 적용된 예측 모드에 따라서, 각 서브 블록들이 이미 복호화된 참조 서브 블록을 참조하여 복호화될 수 있도록 각 서브 블록들의 복호화 순서를 결정할 수 있다. 복호화부(1450)는 결정된 복호화 순서에 따라서 각 서브 블록들을 복호화할 수 있다.
참조 화소 결정부(1440)는 각 서브 블록들에 대하여 적용된 예측 모드에 따라서 각 서브 블록에 대한 참조 화소를 결정한다.
참조 화소 결정부(1440)는 각 서브 블록의 복호화 순서를 고려하여 각 서브 블록에 대한 참조 화소를 결정한다. 일실시예에 따르면, 참조 화소 결정부(1350)는 이미 복호화된 서브 블록의 화소를 복호화하려는 서브 블록에 대한 참조 화소로서 결정할 수 있다. 복호화부(1450)는 각 서브 블록에 대하여 결정된 참조 화소를 참조하여 각 서브 블록들을 복호화할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 매크로 블록을 복수의 서브 블록으로 분할하는 분할부;
    상기 각 서브 블록들에 대하여 동일한 예측 모드를 적용할지 여부를 결정하는 단방향 적용 결정부; 및
    상기 결정에 따라서 상기 각 서브 블록들에 대하여 예측 모드를 결정하는 예측 모드 결정부;
    를 포함하는 영상 부호화 장치.
  2. 제1항에 있어서,
    상기 단방향 적용 결정부는 상기 매크로 블록에 대한 참조 매크로 블록의 문맥 정보를 참조하여 결정하는 영상 부호화 장치.
  3. 제2항에 있어서,
    상기 문맥 정보는 상기 참조 매크로 블록에 대한 MB 형식, 양자화 계수, CBP 정보, 계수값 중에서 하나 이상을 포함하는 영상 부호화 장치.
  4. 제1항에 있어서,
    상기 동일한 예측 모드를 적용하기로 결정한 경우에,
    상기 동일한 예측 모드를 적용할지 여부에 대한 정보 및 상기 결정된 예측 모드에 대한 정보를 저장하는 예측 모드 부호화부
    를 더 포함하는 영상 부호화 장치.
  5. 제1항에 있어서,
    상기 각 서브 블록들에 대하여 동일한 예측 모드를 적용하지 않기로 결정한 경우에, 상기 분할된 복수의 서브 블록들을 복수의 서브 블록 그룹으로 그룹핑하는 그룹핑부; 및
    상기 각 서브 블록 그룹에 포함된 서브 블록의 예측 모드가 모두 동일한지 여부를 부호화하는 예측 모드 부호화부
    를 포함하는 영상 부호화 장치.
  6. 제1항에 있어서,
    상기 각 서브 블록에 대하여 결정된 예측 모드에 따라서 상기 각 서브 블록을 부호화하는 부호화부
    를 더 포함하는 영상 부호화 장치.
  7. 매크로 블록을 복수의 서브 블록으로 분할하는 분할부;
    상기 각 서브 블록에 대하여 예측 모드를 결정하는 예측 모드 결정부; 및
    상기 예측 모드에 따라서 상기 각 서브 블록에 대한 부호화 순서를 결정하는 부호화 순서 결정부
    를 포함하는 영상 부호화 장치.
  8. 제7항에 있어서,
    상기 부호화 순서를 고려하여 상기 각 서브 블록에 대한 참조 화소를 결정하는 참조 화소 결정부
    를 포함하는 영상 부호화 장치.
  9. 제7항에 있어서,
    상기 예측 모드 결정부는 각 서브 블록에 대한 율-왜곡 코스트에 기반하여 상기 예측 모드를 결정하는 영상 부호화 장치.
  10. 제7항에 있어서,
    상기 분할된 복수의 서브 블록들을 복수의 서브 블록 그룹으로 그룹핑하는 그룹핑부; 및
    상기 각 서브 블록 그룹에 포함된 서브 블록의 예측 모드가 모두 동일한지 여부를 부호화하는 예측 모드 부호화부
    를 더 포함하는 영상 부호화 장치.
  11. 제7항에 있어서,
    상기 각 서브 블록에 대하여 예측 모드를 예상하는 예측모드 예상부; 및
    상기 결정된 예측모드가 상기 예측된 예측 모드와 동일한지 여부를 부호화하는 예측 모드 부호화부
    를 더 포함하는 영상 부호화 장치.
  12. 매크로 블록에 포함된 복수의 서브 블록들에 동일한 예측 모드가 적용되었는지 여부를 판단하는 단방향 적용 판단부; 및
    상기 매크로 블록에 대한 판단 결과에 따라서 상기 서브 블록들을 복호화하는 복호화부
    를 포함하는 영상 복호화 장치.
  13. 제12항에 있어서,
    상기 각 서브 블록들에 대하여 동일한 예측 모드가 적용되지 않은 경우에, 연속된 서브 블록들을 적어도 하나 이상의 서브 블록 그룹으로 그룹핑하는 그룹핑부
    를 더 포함하고,
    상기 단방향 적용 판단부는 상기 각 서브 블록 그룹에 포함된 서브 블록들에 대하여 동일한 예측 모드가 적용되었는지 여부를 판단하고,
    상기 복호화부는 상기 각 서브 블록 그룹에 대한 판단 결과에 따라서 상기 서브 블록들을 복호화하는 영상 복호화 장치.
  14. 제12항에 있어서,
    상기 각 서브 블록들에 대하여 적용된 예측 모드에 따라서 상기 각 서브 블록에 대한 복호화 순서를 결정하는 복호화 순서 결정부
    를 더 포함하고,
    상기 복호화부는 상기 복호화 순서에 따라서 상기 각 서브 블록들을 복호화하는 영상 복호화 장치.
  15. 제12항에 있어서,
    상기 각 서브 블록들에 대하여 적용된 예측 모드에 따라서 상기 각 서브 블록에 대한 참조 화소를 결정하는 참조 화소 결정부
    를 더 포함하고,
    상기 복호화부는 상기 참조 화소를 참조하여 상기 각 서브 블록들을 복호화하는 영상 복호화 장치.
PCT/KR2009/005647 2008-10-01 2009-10-01 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치 WO2010039000A2 (ko)

Priority Applications (19)

Application Number Priority Date Filing Date Title
EP19214774.2A EP3644609A1 (en) 2008-10-01 2009-10-01 Image encoder and decoder using unidirectional prediction
EP09818010.2A EP2346259A4 (en) 2008-10-01 2009-10-01 IMAGE CODERS AND DECODERS WITH UNIDIRECTIONAL PREDICTION
CN200980148236.7A CN102282852B (zh) 2008-10-01 2009-10-01 使用预测模式的视频编码装置和解码装置
US13/129,570 US8363965B2 (en) 2008-10-01 2009-10-01 Image encoder and decoder using unidirectional prediction
EP19214784.1A EP3644610A1 (en) 2008-10-01 2009-10-01 Image encoder and decoder using unidirectional prediction
US14/469,288 US9407937B2 (en) 2008-10-01 2014-08-26 Image encoder and decoder using undirectional prediction
US14/469,236 US9332281B2 (en) 2008-10-01 2014-08-26 Image encoder and decoder using undirectional prediction
US14/469,309 US9332282B2 (en) 2008-10-01 2014-08-26 Image encoder and decoder using undirectional prediction
US14/469,340 US9369737B2 (en) 2008-10-01 2014-08-26 Image encoder and decoder using undirectional prediction
US15/192,627 US9942554B2 (en) 2008-10-01 2016-06-24 Image encoder and decoder using unidirectional prediction
US15/288,942 US10321137B2 (en) 2008-10-01 2016-10-07 Image encoder and decoder using unidirectional prediction
US15/288,909 US10178393B2 (en) 2008-10-01 2016-10-07 Image encoder and decoder using unidirectional prediction
US16/388,382 US10742996B2 (en) 2008-10-01 2019-04-18 Image encoder and decoder using unidirectional prediction
US16/388,429 US10917647B2 (en) 2008-10-01 2019-04-18 Image encoder and decoder using unidirectional prediction
US16/820,814 US11277622B2 (en) 2008-10-01 2020-03-17 Image encoder and decoder using unidirectional prediction
US17/141,509 US11683502B2 (en) 2008-10-01 2021-01-05 Image encoder and decoder using unidirectional prediction
US17/588,685 US11882292B2 (en) 2008-10-01 2022-01-31 Image encoder and decoder using unidirectional prediction
US18/311,330 US20230276058A1 (en) 2008-10-01 2023-05-03 Image encoder and decoder using unidirectional prediction
US18/532,554 US20240107032A1 (en) 2008-10-01 2023-12-07 Image encoder and decoder using unidirectional prediction

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2008-0096658 2008-10-01
KR20080096658 2008-10-01
KR20090001240 2009-01-07
KR10-2009-0001240 2009-01-07
KR10-2009-0093128 2009-09-30
KR1020090093128A KR101356448B1 (ko) 2008-10-01 2009-09-30 예측 모드를 이용한 복호화 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/129,570 A-371-Of-International US8363965B2 (en) 2008-10-01 2009-10-01 Image encoder and decoder using unidirectional prediction
US13/738,463 Continuation US8867854B2 (en) 2008-10-01 2013-01-10 Image encoder and decoder using undirectional prediction

Publications (2)

Publication Number Publication Date
WO2010039000A2 true WO2010039000A2 (ko) 2010-04-08
WO2010039000A3 WO2010039000A3 (ko) 2013-01-03

Family

ID=42214724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005647 WO2010039000A2 (ko) 2008-10-01 2009-10-01 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치

Country Status (5)

Country Link
US (2) US8363965B2 (ko)
EP (3) EP2346259A4 (ko)
KR (3) KR101356448B1 (ko)
CN (3) CN104219523B (ko)
WO (1) WO2010039000A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012167418A1 (en) * 2011-06-07 2012-12-13 Technicolor (China) Technology Co., Ltd. Method for encoding and/or decoding images on macroblock level using intra-prediction
TWI571103B (zh) * 2011-11-04 2017-02-11 新加坡商英孚布瑞智有限私人貿易公司 決定當前預測單元之圖框內預測模式之方法
CN106878745A (zh) * 2011-03-11 2017-06-20 索尼公司 图像处理设备和图像处理方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356448B1 (ko) 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
RU2628319C2 (ru) * 2012-04-15 2017-08-15 Самсунг Электроникс Ко., Лтд. Способ и устройство для определения опорных изображений для внешнего предсказания
JP2015526004A (ja) 2012-07-04 2015-09-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 空間予測方法及び空間予測装置
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
US20170339403A1 (en) * 2014-11-04 2017-11-23 Samsung Electronics Co., Ltd. Method and device for encoding/decoding video using intra prediction
CN104394419B (zh) * 2014-12-11 2018-01-05 上海兆芯集成电路有限公司 高阶视频编解码芯片以及高阶视频编解码方法
KR20180030791A (ko) * 2015-07-20 2018-03-26 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US10334276B2 (en) * 2015-12-28 2019-06-25 Ati Technologies Ulc Method and apparatus for determining the severity of corruption in a picture
CN108605129A (zh) * 2016-01-28 2018-09-28 日本放送协会 编码装置、解码装置以及程序
JP6890428B2 (ja) * 2016-01-28 2021-06-18 日本放送協会 符号化装置、復号装置及びプログラム
JP2019528621A (ja) * 2016-10-13 2019-10-10 富士通株式会社 画像コーディング／デコーディング方法、装置及び画像処理機器
KR102504876B1 (ko) 2016-11-01 2023-02-28 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11785236B2 (en) 2018-11-06 2023-10-10 InterDigital Madision Patent Holdings, SAS Parameter grouping among plural coding units for video encoding and decoding
CN111385572B (zh) * 2018-12-27 2023-06-02 华为技术有限公司 预测模式确定方法、装置及编码设备和解码设备
CN110267036B (zh) * 2019-03-11 2020-07-10 杭州海康威视数字技术股份有限公司 一种滤波方法及设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0514663A3 (en) * 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
US5652629A (en) * 1995-09-12 1997-07-29 International Business Machines Corporation Bidirectional motion estimation in a motion video compression system
US6408029B1 (en) * 1998-04-02 2002-06-18 Intel Corporation Method and apparatus for simplifying real-time data encoding
JP2004140473A (ja) * 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
EP1645135A4 (en) 2003-01-10 2010-03-03 Thomson Licensing DEFINE INTERPOLATION FILTERS FOR ERROR FILING IN A CODED PICTURE
CN1224270C (zh) * 2003-09-30 2005-10-19 清华大学 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法
CN101159874A (zh) * 2004-09-08 2008-04-09 华为技术有限公司 基于帧内编码的图像色度预测方法
CN100338957C (zh) * 2005-06-20 2007-09-19 浙江大学 一种复杂度可分级的模式选择方法
KR100725407B1 (ko) 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
KR100667808B1 (ko) 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP5089878B2 (ja) 2005-10-28 2012-12-05 パナソニック株式会社 画像符号化装置
KR101330630B1 (ko) * 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
US20090310677A1 (en) * 2006-07-28 2009-12-17 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
JP5639056B2 (ja) * 2008-08-19 2014-12-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 輝度評価
KR101306834B1 (ko) 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8867854B2 (en) 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
KR101356448B1 (ko) * 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US20110249733A1 (en) 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
DK2991355T3 (en) * 2010-04-13 2018-02-19 Ge Video Compression Llc Inheritance in sampler array multitree subdivision
KR101379188B1 (ko) 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
KR101396754B1 (ko) 2010-11-08 2014-05-28 한국전자통신연구원 템플릿 매칭 및 방향 예측을 사용한 비디오 압축 방법 및 장치
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
RS61146B1 (sr) 2011-10-24 2020-12-31 Innotive Ltd Postupak i aparat za dekodiranje slike
KR20240027889A (ko) 2011-11-11 2024-03-04 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
PL3697090T3 (pl) 2013-03-29 2022-05-09 Jvckenwood Corporation Urządzenie dekodujące obraz wizyjny, sposób dekodowania obrazu wizyjnego i program dekodujący obraz wizyjny
EP3261349A4 (en) 2015-02-17 2018-09-12 LG Electronics Inc. Method and device for encoding/decoding video signal by using adaptive scan order
CN108702504A (zh) 2016-02-17 2018-10-23 日本放送协会 编码装置、解码装置以及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878745A (zh) * 2011-03-11 2017-06-20 索尼公司 图像处理设备和图像处理方法
CN107071468A (zh) * 2011-03-11 2017-08-18 索尼公司 图像处理设备和图像处理方法
WO2012167418A1 (en) * 2011-06-07 2012-12-13 Technicolor (China) Technology Co., Ltd. Method for encoding and/or decoding images on macroblock level using intra-prediction
US10728575B2 (en) 2011-06-07 2020-07-28 Interdigital Vc Holdings, Inc. Method for encoding and/or decoding images on macroblock level using intra-prediction
TWI571103B (zh) * 2011-11-04 2017-02-11 新加坡商英孚布瑞智有限私人貿易公司 決定當前預測單元之圖框內預測模式之方法
TWI571101B (zh) * 2011-11-04 2017-02-11 英孚布瑞智有限私人貿易公司 決定當前預測單元之圖框內預測模式之方法
TWI571102B (zh) * 2011-11-04 2017-02-11 英孚布瑞智有限私人貿易公司 決定當前預測單元之圖框內預測模式之方法
US10375390B2 (en) 2011-11-04 2019-08-06 Infobridge Pte. Ltd. Method and apparatus of deriving intra prediction mode using most probable mode group
US10924734B2 (en) 2011-11-04 2021-02-16 Infobridge Pte. Ltd. Method and apparatus of deriving quantization parameter

Also Published As

Publication number Publication date
CN103384333A (zh) 2013-11-06
KR101356448B1 (ko) 2014-02-06
CN104219523A (zh) 2014-12-17
US11277622B2 (en) 2022-03-15
CN102282852B (zh) 2014-09-24
KR20140064748A (ko) 2014-05-28
KR101461497B1 (ko) 2014-11-14
KR101605852B1 (ko) 2016-03-23
EP3644609A1 (en) 2020-04-29
EP2346259A4 (en) 2016-12-21
CN103384333B (zh) 2018-01-16
CN104219523B (zh) 2018-02-16
CN102282852A (zh) 2011-12-14
US20200221101A1 (en) 2020-07-09
KR20140064749A (ko) 2014-05-28
KR20100037564A (ko) 2010-04-09
EP3644610A1 (en) 2020-04-29
WO2010039000A3 (ko) 2013-01-03
US20120020579A1 (en) 2012-01-26
EP2346259A2 (en) 2011-07-20
US8363965B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
WO2010039000A2 (ko) 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치
WO2011155758A2 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2017069419A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2016204360A1 (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
WO2011010900A2 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2010039015A2 (ko) 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2013025065A2 (ko) 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2017069590A1 (ko) 영상 코딩 시스템에서 모델링 기반 영상 디코딩 방법 및 장치
WO2011087323A2 (en) Method and apparatus for encoding and decoding image by using large transform unit
WO2013002586A2 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
WO2011129619A2 (ko) 트리 구조 부호화 단위에 기반한 디블록킹 필터링을 수행하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
WO2010120113A2 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011019247A2 (en) Method and apparatus for encoding/decoding motion vector
WO2013069975A1 (ko) 예측 단위의 파티션 모드에 기초한 계수 스캔 방법 및 장치
WO2015083929A1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2011090313A2 (ko) 이전 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 이용하는 영상 부호화, 복호화 방법 및 장치
WO2013109122A1 (ko) 계층적 부호화 단위에 따라 스캔 순서를 변경하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2012044074A2 (ko) 적응적 필터링 방법 및 장치
WO2010151018A2 (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
WO2013109123A1 (ko) 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
WO2013109124A1 (ko) 쌍방향 예측 및 블록 병합을 제한하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2011021910A2 (ko) 인트라 예측 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980148236.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09818010

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009818010

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13129570

Country of ref document: US