WO2010027170A2 - 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법 - Google Patents

예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
WO2010027170A2
WO2010027170A2 PCT/KR2009/004865 KR2009004865W WO2010027170A2 WO 2010027170 A2 WO2010027170 A2 WO 2010027170A2 KR 2009004865 W KR2009004865 W KR 2009004865W WO 2010027170 A2 WO2010027170 A2 WO 2010027170A2
Authority
WO
WIPO (PCT)
Prior art keywords
rectangular
prediction direction
encoding
block
bitstream
Prior art date
Application number
PCT/KR2009/004865
Other languages
English (en)
French (fr)
Other versions
WO2010027170A3 (ko
Inventor
김하윤
문주희
이영렬
김해광
전병우
박민철
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20080086733A external-priority patent/KR101487436B1/ko
Priority claimed from KR1020080087651A external-priority patent/KR101369161B1/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/002,259 priority Critical patent/US9100646B2/en
Publication of WO2010027170A2 publication Critical patent/WO2010027170A2/ko
Publication of WO2010027170A3 publication Critical patent/WO2010027170A3/ko
Priority to US14/692,298 priority patent/US9654798B2/en
Priority to US14/833,914 priority patent/US10298954B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an apparatus and method for image encoding / decoding using prediction direction switching and selective encoding. More specifically, in encoding or decoding an image, an apparatus and method for improving encoding efficiency of an image by increasing the accuracy of prediction by varying a method of determining a prediction direction for each block to be encoded and by selectively determining an encoding method. It is about.
  • a method of decoding an image comprising: a prediction mode extraction step of extracting information on a prediction mode from a bitstream; Extracting the bitstream identifier from the bitstream; Decoding a bitstream to extract a quantized frequency coefficient sequence; And a reconstruction step of reconstructing and outputting the current block in units of rectangular blocks using the quantization frequency coefficient sequence or reconstructing and outputting the current block in units of square blocks using the quantization frequency coefficient sequence. It provides a video decoding method characterized in that.
  • a rectangular inverse scan step of outputting a quantized rectangular residual block A rectangular inverse quantization step of inverse quantizing a plurality of quantized rectangular residual blocks; A rectangular inverse transform step of inversely transforming a plurality of inverse quantized rectangular residual blocks into a time domain; A rectangular prediction step of generating a plurality of rectangular prediction blocks by stepwise predicting a plurality of rectangular current blocks corresponding to the plurality of inversely transformed rectangular residual blocks; And adding the plurality of inverse transformed rectangular residual blocks to the plurality of rectangular prediction blocks to reconstruct the plurality of rectangular current blocks, and combining the rectangular current blocks to reconstruct the image. to provide.
  • a method of decoding an image comprising: a prediction mode extraction step of extracting information on a prediction mode from a bitstream; Decoding a bitstream to extract a quantized frequency coefficient sequence; A prediction direction switching step of extracting a prediction direction identifier from the quantized frequency coefficient sequence and changing the prediction direction according to the prediction mode; Extracting a bitstream identifier from the bitstream; A rectangular reconstruction step of reconstructing the current block in units of rectangular blocks by using the quantized frequency coefficient sequence according to the bitstream identifier, and reconstructing and outputting the current block stepwise according to the changed prediction direction; And a square reconstruction step of reconstructing the current block in units of square blocks by using the quantized frequency coefficient sequence according to the bitstream identifier, and reconstructing and outputting the current block according to the prediction direction according to the prediction mode.
  • the apparatus for switching the prediction direction when predicting the current block of the image for image encoding, in the apparatus for switching the prediction direction, if the quantization frequency coefficient of the previous block coded before the current block is input and stored, When the current block is input, when the quantization frequency coefficients of the previous block are all '0', the reference prediction direction is determined as the prediction direction of the current block, and when one or more coefficients of the quantization frequency coefficients of the previous block are not '0',
  • a prediction direction switching device characterized in that the encoding cost of the plurality of prediction direction candidates is determined to determine the prediction direction having the minimum encoding cost as the prediction direction of the current block.
  • FIG. 10 is a block diagram schematically illustrating an electronic configuration of a rectangular scan device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a method of determining an initial scanning pattern according to an embodiment of the present invention
  • 1 is an exemplary diagram showing nine conventional 4x4 intra prediction modes.
  • the square encoder 210 When the current block of the input image is input, the square encoder 210 outputs a square encoded bitstream by encoding the data in a square block unit. That is, as in normal video encoding, a bitstream is output by predicting a current block in units of square blocks according to a predetermined block mode, generating a residual block for the current block, and transforming, quantizing, and encoding the residual block.
  • a bitstream encoded and output in block units is called a 'square encoded bitstream' in the present invention.
  • the square quantizer 330 quantizes the residual block transformed by the square transformer 320 to generate a residual block having a quantization frequency coefficient.
  • Dead zone uniform threshold quantization (DZUTQ) or quantization weighted matrix (DZUTQ) may be used as the quantization method, but various quantization methods such as quantization improved therefrom may be used.
  • the rectangular transform unit 430 converts the plurality of rectangular residual blocks generated by the subtractor 420 into the frequency domain. That is, the rectangular transform unit 430 generates a residual block having a frequency coefficient by converting each pixel value of the rectangular residual block into a frequency domain by using a DCT-based transform or the like. In this case, the frequency conversion of each pixel value of the rectangular residual block may be performed by matrix transformation or the like.
  • the rectangular scan unit 450 generates a quantized square residual block by combining the plurality of residual blocks quantized by the rectangular quantization unit 440, and generates a quantized frequency coefficient sequence by scanning a quantized frequency coefficient. That is, the rectangular scan unit 450 combines the plurality of quantized residual blocks according to the prediction direction of the block mode and the prediction mode of the current block to generate a square residual block, and each quantization frequency of the square residual block. The coefficients are scanned according to a scanning method to generate a quantized frequency coefficient sequence.
  • the image encoding apparatus 200 generates a square encoded bitstream by encoding the current block of the input image to be encoded in a square block unit as it is (S610), and divides the current block into rectangular block units to encode the rectangular encoded bit stepwise. A stream is generated (S620).
  • the rectangular current block is divided into a rectangular current block of size 1x4 as shown, and when the prediction mode of the current block is the vertical mode, the rectangular current block is divided into a rectangular current block of size 4x1.
  • the prediction mode of the block is the diagonal right mode, the block is divided into rectangular current blocks having a size of 4x1 similar to the vertical mode.
  • ⁇ n is a pixel weight that can be adjusted by the user.
  • FIG. 11 is a flowchart illustrating a method of determining an initial scanning pattern according to an embodiment of the present invention.
  • FIG. 12 illustrates quantization frequency coefficients of a square residual block generated by combining a plurality of rectangular residual blocks in units of a 4x4 block mode or an 8x8 block mode when the prediction mode of the current block is the vertical mode.
  • the initial scanning pattern may be determined by giving a higher priority to the coefficient of the DC component.
  • DC (3), DC ( 2), DC (1), DC (0), AC 1 (3), AC 1 (2), ... The initial scanning pattern is determined in the order of AC 3 (0).
  • the image encoded in the bitstream by the video encoding apparatus 200 is real-time or non-real-time through the wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like,
  • the image decoding apparatus may be transmitted to a video decoding apparatus to be described later through a communication interface such as a universal serial bus (USB), decoded by the video decoding apparatus, and restored and reproduced.
  • a communication interface such as a universal serial bus (USB)
  • the bitstream identifier extractor 1530 extracts the bitstream identifier from the bitstream when at least one of the quantization frequency coefficients of the quantization frequency coefficient sequence transmitted from the decoder 1520 is not '0'. If the extracted bitstream identifier is '1', the bitstream identifier extractor 1530 restores the rectangular quantization frequency coefficient sequence from which the decoder 1520 decodes the bitstream since the bitstream is a rectangular encoded bitstream. If the bitstream identifier is '0' and the bitstream is a square encoded bitstream, the decoder 1520 outputs the quantized frequency coefficient sequence from which the bitstream is decoded to the square reconstructor 1550. To control.
  • the rectangular inverse scan unit 1610 may scan an quantization frequency coefficient by determining an initial inverse scanning pattern according to the size of an image. For example, if the size of the image is greater than or equal to the preset size, the DC component and the lowest coefficient of the square residual block are given priority among the quantized frequency coefficients of the quantized residual block, but are larger than the coefficient of the DC component.
  • the initial inverse scanning pattern can be determined by giving priority to the image. If the image size is smaller than the preset size, the same priority is applied to the DC component coefficient and the lowest coefficient of the square residual block among the quantized frequency coefficients of the quantized residual block. The initial reverse scanning pattern can be determined.
  • the rectangular inverse scan unit 1610 may adaptively update the inverse scanning pattern according to a probability that a quantization frequency coefficient other than '0' occurs at each position of the quantized residual block.
  • the inverse scanning pattern can be adaptively updated by calculating the probability of occurrence of a non-zero quantization frequency coefficient at each position of the quantized residual block and determining the inverse scanning order in the order of the highest probability. .
  • the rectangular prediction unit 1640 generates a plurality of rectangular prediction blocks by estimating a plurality of rectangular current blocks corresponding to the plurality of inversely transformed rectangular residual blocks in steps.
  • the rectangular prediction unit 1640 predicts a plurality of rectangular current blocks in stages according to a prediction direction by a prediction mode extracted from a bitstream.
  • the rectangular adder 1650 reconstructs a plurality of rectangular current blocks by adding a plurality of inversely transformed rectangular residual blocks to the plurality of rectangular prediction blocks, combines each rectangular current block, and reconstructs an image and outputs a reconstructed image.
  • the rectangular reconstructor 1540 When the quantized frequency coefficient extracted by decoding the bitstream is input, the rectangular reconstructor 1540 generates quantized residual blocks by inverse scanning, divides them into rectangular block units, and outputs a plurality of quantized rectangular residual blocks. Inversely quantizes two quantized rectangular residual blocks, inversely transforms a plurality of inverse quantized rectangular residual blocks into a time domain, and predicts a plurality of rectangular current blocks corresponding to the plurality of inversely transformed rectangular residual blocks in steps to form a plurality of rectangular A prediction block is generated, and a plurality of inverse transformed rectangular residual blocks are added to the plurality of rectangular prediction blocks to restore the plurality of rectangular current blocks, and the respective rectangular current blocks are combined to reconstruct an image.
  • 17 is a block diagram schematically illustrating an electronic configuration of a square decoding apparatus according to an embodiment of the present invention.
  • Determining the initial reverse scanning pattern according to the size of the image is similar to determining the initial scanning pattern described above with reference to FIG. 13. That is, the probability that a non-zero value occurs in the quantization frequency coefficients of a square residual block depends on the size of the image, and when the image size increases, the probability that a non-zero value occurs in the coefficient of the DC component is the lowest. By using a characteristic that is higher than the coefficients of the part, the initial scanning pattern is determined according to the size of the image.
  • 20 is an exemplary diagram for explaining a process of updating a reverse scanning pattern according to an embodiment of the present invention.
  • 21 is a block diagram schematically illustrating an electronic configuration of a video encoding apparatus according to another embodiment of the present invention.
  • the rectangular encoder 2120 sequentially outputs a rectangular encoded bitstream by sequentially encoding a plurality of rectangular current blocks generated by dividing the rectangular blocks in units.
  • the rectangular encoder 2120 may predict the plurality of rectangular current blocks according to the prediction direction changed by the prediction direction switcher 2110.
  • the prediction direction switching unit 2110 may include a previous block coefficient storage unit 2210, a prediction direction determination unit 2220, an encoding cost calculator 2230, and a prediction direction identifier output unit 2240. It is configured to include.
  • the image decoding apparatus 2600 may include a prediction mode extractor 1510, a decoder 1520, a bitstream identifier extractor 1530, a prediction direction identifier extractor 2610, and a rectangular reconstructor. 2620 and the square recovery unit 1550 may be configured.
  • the video decoding apparatus 1500 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP). ),
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for decoding an image, and executing a program.
  • the image decoding apparatus 2600 is a method of decoding an image, extracts information about a prediction mode from a bitstream, decodes the bitstream to extract a quantization frequency coefficient sequence, and Extract the prediction direction identifier from the coefficient sequence to change the prediction direction according to the prediction mode, extract the bitstream identifier from the bitstream, and restore the current block in rectangular block units using the quantized frequency coefficient sequence according to the bitstream identifier. Restoring and outputting the current block step by step according to the changed prediction direction, and restoring the current block in square block units using the quantization frequency coefficient sequence according to the bitstream identifier, but restoring the current block according to the prediction direction according to the prediction mode. To print.
  • the previous block coefficient storage unit 2710 stores the quantized frequency coefficients of the rectangular previous block decoded before each rectangular current block. That is, the previous block coefficient storage unit 2710 receives and stores the quantization frequency coefficients of the rectangular current block in the quantization frequency coefficient sequence transmitted from the decoder 1520, when the stored quantization frequency coefficients encode the next rectangular current block. It becomes the quantization frequency coefficient of the rectangular block before use.
  • the prediction direction identifier extractor 2730 extracts the prediction direction identifier from the quantized frequency coefficient string transmitted from the decoder 1520 under the control of the prediction direction determiner 2720.
  • the present invention is applied to a field related to an apparatus and a method for encoding or decoding an image, thereby improving the accuracy of prediction when encoding or decoding an image, thereby generating an effect of improving the encoding efficiency of the image. Is a very useful invention.

Abstract

본 발명은 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 본 발명은 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다. 본 발명에 의하면, 영상을 부호화하거나 복호화할 때 예측의 정확도를 높일 수 있어 영상의 부호화 효율을 향상시킬 수 있다.

Description

예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
본 발명은 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 부호화하고자 하는 블록마다 예측 방향을 결정하는 방법을 달리하고 부호화 방식을 선택적으로 결정함으로써 예측의 정확도를 높여 영상의 부호화 효율을 향상시키는 장치와 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다. 이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 등 기존의 동영상 부호화와 관련된 국제 표준과는 다른 방법인 공간 예측 부호화(Spatial Predictive Coding) 방법을 사용한다.
기존의 동영상 부호화 방법에서는 이산 코사인 변환 영역(DCT Domain: Discrete Cosine Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트라 예측(Intra Prediction)"을 사용함으로써 부호화 효율 증대를 추구하며, 그로 인해 저역 전송 비트율 대의 주관적 화질을 열화시키는 결과를 초래하였다. 하지만, H.264에서는 변환 영역(Transform Domain)이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction)을 기반으로 하는 부호화 방법을 채택하고 있다.
기존의 공간적 인트라 예측을 기반으로 하는 부호화 방법을 사용하는 부호화기(Encoder)는 이미 부호화가 완료되어 재생된 이전 블록의 정보로부터 현재 부호화하고자 하는 블록 정보를 예측하고 부호화하고자 하는 실제 블록 정보의 차이(Difference) 정보만을 부호화해서 복호화기(Decoder)로 전송한다. 이때, 블록 정보를 예측하는 데 필요한 파라미터를 복호화기로 전송하거나, 부호화기와 복호화기를 동기화시켜 예측에 필요한 파라미터를 공유하도록 함으로써 복호화기가 블록 정보를 예측하도록 할 수도 있다. 복호화기는 이미 복호화가 완료되어 재생된 주변 블록의 정보를 예측하고, 부호화기로부터 전송된 오차 정보와 예측된 주변 블록의 정보의 합을 구하여 원하는 현재 복호화하고자 하는 블록의 정보를 생성하여 재생한다. 이때도 역시 부호화기로부터 예측에 필요한 파라미터가 전송되었다면, 복호화기는 해당 파라미터를 이용하여 주변 블록의 정보를 예측하는데 이용한다.
한편, 기존의 공간적 인트라 예측 기반의 부호화 방법은 정사각형의 블록 모드만을 사용한다. 변환 효율을 높이기 위해, 4x4 변환, 8x8 변환 등 2차원 정사각형 변환을 사용하기 때문이다. 하지만, 정사각형의 블록 모드만을 사용하게 되면 블록의 오른쪽과 아래쪽 부분에 존재하는 화소들은 공간적으로 멀리 떨어진 화소로부터 예측되기 대문에 블록의 예측의 정확도가 떨어지는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하거나 복호화하는 데 있어서, 부호화하고자 하는 블록마다 예측 방향을 결정하는 방법을 달리하고 부호화 방식을 선택적으로 결정함으로써 예측의 정확도를 높여 영상의 부호화 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 방법에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화 단계; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화 단계; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하는 블록 분할부; 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하는 직사각 예측부; 복수 개의 직사각 현재 블록에서 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성하는 직사각 감산부; 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하는 직사각 변환부; 변환된 복수 개의 직사각 잔차 블록을 양자화하는 직사각 양자화부; 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고, 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성하는 직사각 스캔부; 양자화 주파수 계수열을 부호화하여 비트스트림을 생성하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 방법에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하는 블록 분할 단계; 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하는 직사각 예측 단계; 복수 개의 직사각 현재 블록에서 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성하는 직사각 감산 단계; 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하는 직사각 변환 단계; 변환된 복수 개의 직사각 잔차 블록을 양자화하는 직사각 양자화 단계; 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고, 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성하는 직사각 스캔 단계; 양자화 주파수 계수열을 부호화하여 비트스트림을 생성하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출부; 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부; 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하는 직사각 복원부; 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하여 출력하는 정사각 복원부; 및 비트스트림으로부터 비트스트림 식별자를 추출하고 비트스트림 식별자에 따라, 복호화부로 하여금 양자화 주파수 계수열을 직사각 복원부 및 정사각 복원부 중 하나로 출력하도록 제어하는 비트스트림 식별자 추출부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출 단계; 비트스트림으로부터 비트스트림 식별자를 추출하는 식별자 추출 단계; 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계; 및 비트스트림 식별자에 따라, 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 단계적으로 현재 블록을 복원하여 출력하거나 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하여 출력하는 복원 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하는 직사각 역 스캔부; 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하는 직사각 역 양자화부; 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하는 직사각 역 변환부; 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하는 직사각 예측부; 및 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원하는 직사각 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하는 직사각 역 스캔 단계; 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하는 직사각 역 양자화 단계부; 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하는 직사각 역 변환 단계; 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하는 직사각 예측 단계; 및 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부; 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 각 직사각 현재 블록의 예측 방향을 변경하는 예측 방향 전환부; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 방법에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화 단계; 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 각 직사각 현재 블록의 예측 방향을 변경하는 예측 방향 전환 단계; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화 단계; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출부; 비트스트림을 복호화하여 양자화된 주파수 계수열을 추출하는 복호화부; 양자화된 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 모드에 따른 예측 방향을 변경하는 예측 방향 전환부; 양자화된 주파수 계수열을 이용하여 직사각형 블록 단위로 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하는 직사각 복원부; 양자화된 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력하는 정사각 복원부; 및 비트스트림으로부터 비트스트림 식별자를 추출하고 비트스트림 식별자에 따라 복호화부로 하여금 양자화된 주파수 계수열을 직사각 복원부 및 정사각 복원부 중 하나로 출력하도록 제어하는 비트스트림 식별자 추출부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출 단계; 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계; 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 모드에 따른 예측 방향을 변경하는 예측 방향 전환 단계; 비트스트림으로부터 비트스트림 식별자를 추출하는 비트스트림 식별자 추출 단계; 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 현재 블록을 복원하되, 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하는 직사각 복원 단계; 및 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하되, 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력하는 정사각 복원 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상 부호화를 위해 영상의 현재 블록을 예측할 때, 예측 방향을 전환하는 장치에 있어서, 현재 블록 이전에 부호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록이 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 부호화 비용을 계산하여 부호화 비용이 최소인 예측 방향을 현재 블록의 예측 방향으로 결정하는 것을 특징으로 하는 예측 방향 전환 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상 복호화를 위해 영상의 현재 블록을 예측할 때, 예측 방향을 전환하는 장치에 있어서, 현재 블록 이전에 복호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 현재 블록의 양자화 주파수 계수로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향을 현재 블록의 예측 방향으로서 결정하는 것을 특징으로 하는 예측 방향 전환 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 부호화하고자 하는 블록마다 예측 방향을 결정하는 방법을 달리하여 예측할 수 있고, 영상을 부호화하거나 복호화할 때 부호화 효율이 좋은 방식으로 부호화 방식을 선택할 수 있어, 예측의 정확도를 높이고 그를 통해 영상의 부호화 효율을 향상시킬 수 있다.
도 1은 통상적인 9 가지의 4x4 인트라 예측 모드를 나타내는 예시도,
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따른 부호화 선택 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시예에 따른 비트스트림 선택 과정을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시예에 따른 직사각 현재 블록을 나타낸 예시도,
도 9는 본 발명의 일 실시예에 따라 직사각 예측부가 단계적 인트라 예측을 수행하는 과정을 설명하기 위한 예시도,
도 10은 본 발명의 일 실시예에 따른 직사각 스캔 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 11은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 방법을 설명하기 위한 순서도,
도 12는 본 발명의 바람직한 실시예에 따라 복수 개의 직사각 잔차 블록이 정사각 잔차 블록으로 결합된 것을 나타낸 예시도,
도 13은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 과정을 설명하기 위한 예시도,
도 14는 본 발명의 일 실시예에 따라 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도,
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 16은 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 17은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 18은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 19는 본 발명의 일 실시예에 따라 초기 역 스캐닝 패턴에 따라 역 스캐닝하는 과정을 설명하기 위한 예시도,
도 20은 본 발명의 일 실시예에 따라 역 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도,
도 21은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 22는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 23은 본 발명의 일 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도,
도 24 및 도 25는 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도,
도 26은 본 발명의 다른 실시예에 다른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 27은 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 28은 본 발명의 다른 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도,
도 29 및 도 30은 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 통상적인 9 가지의 4x4 인트라 예측 모드를 나타내는 예시도이다.
인트라 예측에는 인트라 4x4 예측, 인트라 16x16 예측 및 인트라 8x8 예측 등이 있는데, 각 인트라 예측에는 복수 개의 예측 모드를 포함하고 있다. 도 1에서는 인트라 4x4 예측에서의 9 가지 예측 모드를 도시하였다.
도 1을 참조하면, 인트라 4x4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다.
도시하지는 않았지만, 인트라 8x8 예측에는 인트라 4x4 예측과 동일한 예측 모드가 있으며, 인트라 16x16 예측에는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모드가 있다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 영상을 부호화하는 장치로서, 정사각 부호화부(210), 직사각 부호화부(220) 및 부호화 선택부(230)를 포함하여 구성될 수 있다.
이러한 영상 부호화 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
정사각 부호화부(210)는 입력 영상의 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력한다. 즉, 통상적인 동영상 부호화와 같이, 정해진 블록 모드에 따라 정사각형 블록 단위로 현재 블록을 예측하고 현재 블록에 대한 잔차 블록을 생성하여 잔차 블록을 변환, 양자화, 부호화함으로써 비트스트림을 출력하는데, 이와 같이 정사각형 블록 단위로 부호화되어 출력되는 비트스트림을 본 발명에서는 '정사각 부호화 비트스트림'이라 칭한다.
직사각 부호화부(220)는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력한다. 즉, 통상적인 부호화와는 달리, 정해진 블록 모드에 따른 현재 블록을 현재 블록의 예측 방향에 따라 직사각형 블록 단위로 분할하고 각 직사각형 블록을 단계적으로 예측하고 그 잔차 블록을 변환, 양자화한 후 정사각형 블록으로 결합하고 스캔하여 부호화함으로써 비트스트림을 출력하는데, 이와 같이 직사각형 블록 단위로 단계적으로 부호화되어 출력되는 비트스트림을 본 발명에서는 '직사각 부호화 비트스트림'이라 칭한다.
부호화 선택부(230)는 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력한다. 즉, 부호화 선택부(230)는 정사각 부호화부(210)로부터 출력되는 정사각 부호화 비트스트림을 부호화하는 데에 따른 비용을 계산하고 직사각 부호화부(220)로부터 출력되는 직사각 부호화 비트스트림을 부호화하는 데에 따른 비용을 계산하여 각 비용을 비교함으로써 최소의 부호화 비용을 갖는 비트스트림을 출력한다.
도 3은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 정사각 부호화 장치는 도 2에서는 정사각 부호화부(210)로 구현될 수 있으므로, 이하에서는 정사각 부호화부(210)라 칭한다. 본 발명의 일 실시예에 따른 정사각 부호화부(210)는 정사각 감산부(310), 정사각 변환부(320), 정사각 양자화부(330), 정사각 스캔부(340), 정사각 부호화부(350), 정사각 역 양자화부(360), 정사각 역 변환부(370), 정사각 가산부(380) 및 정사각 예측부(390)를 포함하여 구성된다.
정사각 감산부(310)는 입력 영상의 현재 블록에서 정사각 예측부(380)에 의해 예측된 예측 블록을 감산하여 잔차 블록을 생성하고 출력한다. 즉, 감산부(310)는 현재 블록의 각 화소의 원 화소값(Original Pixel Value)과 정사각 예측부(380)에 의해 예측된 예측 블록의 각 화소의 예측 화소값(Predicted Pixel Value)을 감산하여 화소값의 차이의 잔차 신호(Residual Signal)를 잔차 블록으로 생성한다.
정사각 변환부(320)는 잔차 블록을 주파수 영역으로 변환하여 주파수 계수를 갖는 잔차 블록을 생성한다. 여기서, 정사각 변환부(320)는 이산 코사인 변환(DCT: Discrete Cosine Transform) 기반 변환 또는 하다마다 변환(Hadamard Transform) 등을 이용할 수도 있지만, 반드시 이에 한정되지 않고 DCT 변환을 개량 및 변형한 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있다.
정사각 양자화부(330)는 정사각 변환부(320)에서 변환된 잔차 블록을 양자화(Quantization)하여 양자화 주파수 계수를 갖는 잔차 블록을 생성한다. 이러한 양자화 방법에는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등을 이용할 수 있지만 이를 개량한 양자화 등 다양한 양자화 방법을 이용할 수 있다.
정사각 스캔부(340)는 정사각 양자화부(330)에서 양자화된 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식을 이용하여 스캔함으로써 양자화 주파수 계수열을 생성한다.
정사각 부호화부(350)는 양자화된 잔차 블록을 비트스트림으로 부호화한다. 즉, 정사각 부호화부(350)는 정사각 스캔부(340)에 의해 스캔되어 생성된 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다. 또한, 정사각 부호화부(350)는 양자화된 잔차 블록뿐만 아니라 정사각 예측부(390)에서 결정한 예측 모드 또는 예측 방향에 대한 정보를 잔차 블록과 함께 비트스트림으로 부호화할 수 있다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다. 정사각 부호화부(350)에서 출력되는 비트스트림을 본 발명에서는 정사각 부호화 비트스트림이라 한다.
정사각 역 양자화부(360)는 양자화된 잔차 블록을 역 양자화(Inverse Quantization)하여 역 양자화된 잔차 블록을 생성한다. 즉, 정사각 역 양자화부(360)는 양자화된 잔차 블록의 양자화 주파수 계수를 역 양자화하여 역 양자화된 주파수 계수를 갖는 잔차 블록을 생성한다.
정사각 역 변환부(370)는 역 양자화된 잔차 블록을 역 변환(Inverse Transform)하여 역 변환된 잔차 블록을 생성한다. 즉, 정사각 역 변환부(370)는 역 양자화된 잔차 블록의 역 양자화 주파수 계수를 시간 영역으로 역 변환하여 화소값을 갖는 역 변환된 잔차 블록을 생성한다.
정사각 가산부(380)는 정사각 예측부(390)에 의해 예측된 예측 블록과 정사각 역 변환부(370)에 의해 역 변환된 잔차 블록을 가산하여 현재 블록을 복원하고 복원된 현재 블록을 정사각 예측부(390)로 출력한다.
정사각 예측부(390)는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 정사각 예측부(390)는 정해진 블록 모드와 예측 모드에 따라서 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측함으로써 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 갖는 예측 블록을 생성한다. 이때, 현재 블록의 각 화소값을 예측하는 데에는 이전에 이미 부호화되고 복호화되어 복원된 이전 블록의 각 화소값을 이용하는데, 현재 블록 이전에 정사각 가산부(380)로부터 수신한 복원된 블록을 이용한다.
도 4는 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 직사각 부호화 장치는 도 2에서는 직사각 부호화부(220)로 구현될 수 있으므로, 이하에서는 직사각 부호화부(220)라 칭한다. 본 발명의 일 실시예에 따른 직사각 부호화부(220)는 블록 분할부(410), 직사각 감산부(420), 직사각 변환부(430), 직사각 양자화부(440), 직사각 스캔부(450), 직사각 부호화부(460), 직사각 역 양자화부(470), 직사각 역 변환부(480), 직사각 가산부(490) 및 직사각 예측부(492)를 포함하여 구성된다.
블록 분할부(410)는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력한다. 여기서, 현재 블록은 블록 모드와 부호화 모드에 따라 정사각형의 블록으로 결정되는데, 블록 분할부(410)는 인트라 예측에서 현재 블록의 화소를 더욱 가까운 인접 화소로부터 예측하여 예측의 효율을 높이기 위해, 현재 블록을 직사각형 블록으로 분할하고 분할된 각 직사각 현재 블록을 단계적으로 예측할 수 있도록 한다.
또한, 블록 분할부(410)는 정사각형의 현재 블록을 복수 개의 직사각형의 블록으로 분할하는데 있어서, 현재 블록의 예측 모드에 따른 예측 방향에 따라 직사각형의 블록 크기를 결정할 수 있다. 즉, 블록 분할부(410)에 의해 분할되는 직사각형 현재 블록은 Nx1 블록 N개, Nx2 블록 N/2개, 1xN 블록 N개, 2xN 블록 N/2개 등이 될 수 있다. 예를 들어, 현재 블록의 블록 모드가 NxN 블록이라고 가정하면, 예측 모드에 따른 예측 방향이 수직 방향인 경우 현재 블록은 Nx1 블록 N개 등으로 분할되고, 예측 방향이 수평 방향인 경우 1xN 블록 N개 등으로 분할될 수 있으며, 예측 모드가 DC 모드인 경우 1x1 블록, 4x4 블록과 같이 MxM 블록 N/M개 등으로 분할될 수 있다.
직사각 감산부(420)는 블록 분할부(410)에 의해 분할된 복수 개의 직사각 현재 블록에서 직사각 예측부(492)에 의해 예측된 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성한다.
직사각 변환부(430)는 감산부(420)에 의해 생성된 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환한다. 즉, 직사각 변환부(430)는 DCT 기반 변환 등을 이용하여 직사각 잔차 블록의 각 화소값을 주파수 영역으로 변환하여 주파수 계수를 갖는 잔차 블록을 생성한다. 이때, 직사각형의 형태의 잔차 블록의 각 화소값을 주파수 변환하는 것은 행렬 변환 등을 통해 변환을 수행할 수 있다.
직사각 양자화부(440)는 직사각 변환부(430)에 의해 변환된 복수 개의 직사각 잔차 블록을 양자화한다. 즉, 직사각 양자화부(440)는 복수 개의 직사각 잔차 블록의 주파수 계수를 양자화하여 양자화 주파수 계수를 갖는 잔차 블록을 생성한다.
직사각 스캔부(450)는 직사각 양자화부(440)에서 양자화된 복수 개의 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성한다. 즉, 직사각 스캔부(450)는 각각 양자화된 복수 개의 잔차 블록을 현재 블록의 블록 모드와 예측 모드의 예측 방향에 따라 결합하여 정사각형 형태의 잔차 블록을 생성하고, 정사각형 형태의 잔차 블록의 각 양자화 주파수 계수들을 스캐닝 방법에 따라 스캐닝하여 양자화 주파수 계수열을 생성한다.
직사각 부호화부(460)는 직사각 스캔부(450)에 의해 생성된 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다. 즉, 직사각 부호화부(460)는 양자화 주파수 계수열들을 엔트로피 부호화(Entropy Encoding) 등의 다양한 부호화 방법을 이용하여 부호화함으로써 비트스트림을 생성한다. 이때, 직사각 부호화부(460)는 현재 블록의 예측 모드를 추가로 부호화할 수도 있다.
이와 같이 도 5를 통해 전술한 직사각 부호화 장치가 입력 영상의 현재 블록을 부호화 방법을 설명하면, 직사각 부호화 장치는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하고, 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하며, 복수 개의 직사각 현재 블록에서 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성하며, 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하고 변환된 복수 개의 직사각 잔차 블록을 양자화하며, 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성한 후, 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다.
도 5는 본 발명의 일 실시예에 따른 부호화 선택 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 부호화 선택 장치는 도 2에서는 부호화 선택부(230)로 구현될 수 있으므로, 이하에서는 부호화 선택부(230)라 칭한다. 본 발명의 일 실시예에 따른 부호화 선택부(230)는 비트스트림 선택부(510) 및 비트스트림 식별자 삽입부(520)를 포함하여 구성된다.
비트스트림 선택부(510)는 직사각 부호화부(460)로부터 직사각 부호화 비트스트림을 수신하고 정사각 부호화부(350)로부터 정사각 부호화 비트스트림을 수신하면, 직사각 부호화 효율과 정사각 부호화 효율을 계산하여 더 큰 부호화 효율을 갖는 부호화에 따른 비트스트림을 출력한다. 여기서, 부호화 효율은 부호화 비용으로서 계산될 수 있으며, 부호화 비용이 최소인 부호화가 부호화 효율이 더 큰 부호화로 결정될 수 있다.
비트스트림 식별자 삽입부(520)는 비트스트림 선택부(510)에 의해 출력되는 비트스트림을 식별하기 위한 식별자를 생성하여 비트스트림 선택부(510)에서 출력되는 비트스트림에 삽입한다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(200)는 부호화하고자 하는 입력 영상의 현재 블록을 그대로 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 생성하고(S610), 현재 블록을 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 생성한다(S620).
정사각 비트스트림과 직사각 비트스트림이 생성되면, 영상 부호화 장치(200)는 정사각 부호화 비트스트림의 부호화 효율을 계산하고 직사각 부호화 비트스트림의 부호화 효율을 계산하여 부호화 효율이 큰 부호화 비트스트림을 출력한다(S630). 여기서, 부호화 효율은 각 부호화 비트스트림을 부호화하는 데 소요되는 부호화 비용이 될 수 있으며, 부호화 비용이 작으면 부호화 효율을 큰 것으로 결정할 수 있다. 또한, 영상 부호화 장치(200)는 부호화 효율이 큰 비트스트림을 출력하면서 영상 복호화 장치에서 해당 비트스트림이 정사각 부호화를 이용하여 부호화된 비트스트림인지 또는 직사각 부호화를 이용하여 부호화된 비트스트림인지 여부를 식별할 수 있도록 비트스트림 식별자를 비트스트림에 삽입하여 출력할 수 있다.
도 7은 본 발명의 일 실시예에 따른 비트스트림 선택 과정을 설명하기 위한 순서도이다.
도 6을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 방법에서, 단계 S630과 같이 부호화 효율이 큰 비트스트림을 출력하는 단계는 도 7에 나타낸 바와 같은 과정을 통해 수행될 수 있다.
영상 부호화 장치(200)의 부호화 선택부(230)는 정사각 부호화 비트스트림과 직사각 부호화 비트스트림의 부호화 효율을 계산하기 위해, 정사각 부호화 비트스트림의 부호화 비용과 직사각 부호화 비트스트림의 부호화 비용을 계산한다(S710). 여기서, 부호화 비용은 율-왜곡 비용(RDcost: Rate-Distortion Cost)이 될 수 있지만, 다른 부호화 비용이 사용될 수 있다.
부호화 비용을 계산한 영상 부호화 장치(200)는 직사각 부호화 비용의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 비교하여(S720), 직사각 부호화 비트스트림의 부호화 비용이 정사각 부호화 비트스트림의 부호화 비용 보다 작은 경우에는 직사각 부호화 비트스트림을 출력한다(S730).
또한, 영상 부호화 장치(200)는 직사각 부호화 비트스트림으로 부호화된 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S740), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 '1'로서 생성하고 직사각 부호화 비트스트림과 함께 비트스트림 식별자를 출력하고(S750), 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 생성하고 출력하지 않을 수 있다. 즉, 해당 비트스트림의 양자화 주파수 계수가 모두 '0'인 경우에는 영상 복호화 장치에서 직사각 부호화 비트스트림과 정사각 부호화 비트스트림을 모두 정사각형 블록 단위로 복호화하는 통상적인 복호화를 통해 복호화할 수 있으므로 비트스트림 식별자를 출력하지 않으며, 그를 통해, 비트스트림 식별자를 위한 비트를 절약할 수 있다.
또한, 영상 부호화 장치(200)는 단계 S720의 비교 결과, 직사각 부호화 비트스트림의 부호화 비용이 정사각 부호화 비트스트림의 부호화 비용 보다 크거나 같은 경우에는 정사각 부호화 비트스트림을 출력한다(S760). 또한, 정사각 부호화 비트스트림으로 부호화된 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S770), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 '0'로서 생성하고 정사각 부호화 비트스트림과 함께 비트스트림 식별자를 출력하고(S780), 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 생성하고 출력하지 않을 수 있다. 즉, 해당 비트스트림의 양자화 주파수 계수가 모두 '0'인 경우에는 영상 복호화 장치에서 직사각 부호화 비트스트림과 정사각 부호화 비트스트림을 모두 정사각형 블록 단위로 복호화하는 통상적인 복호화를 통해 복호화할 수 있으므로 비트스트림 식별자를 출력하지 않으며, 그를 통해, 비트스트림 식별자를 위한 비트를 절약할 수 있다.
도 8은 본 발명의 일 실시예에 따른 직사각 현재 블록을 나타낸 예시도이다.
도 8에서는 현재 블록의 블록 모드가 4x4 블록 모드라고 가정하고, 현재 블록을 그 예측 모드에 따라 직사각형 블록 단위로 분할하여 생성되는 직사각 현재 블록을 예시적으로 나타내었다.
현재 블록의 예측 모드가 수평 모드인 경우 직사각 현재 블록은 도시한 바와 같이, 1x4 크기의 직사각 현재 블록으로 분할되고, 현재 블록의 예측 모드가 수직 모드인 경우 4x1 크기의 직사각 현재 블록으로 분할되며, 현재 블록의 예측 모드가 대각선 오른쪽 모드인 경우 수직 모드와 유사하게 4x1 크기의 직사각 현재 블록으로 분할된다.
도 8에서 각 직사각 현재 블록 내에 있는 P0 *(m) (m = 0, 1, 2, 3)은 직사각 예측부(492)에 의해 예측되는 예측 화소를 나타내고, Pn(m) (m = 0, 1, 2, 3, n = 0, 1, …, N)은 예측 방향에 따라 직사각 현재 블록 이전에 부호화된 화소들을 나타낸다.
직사각 예측부(492)는 직사각 현재 블록을 예측하여 직사각 예측 블록을 생성할 때, 수학식 1과 같이 직사각 예측 블록의 각 화소를 예측 화소값을 계산할 수 있다.
수학식 1
Figure PCTKR2009004865-appb-M000001
여기서, αn은 사용자에 의해서 조정될 수 있는 화소 가중치이다.
도 9는 본 발명의 일 실시예에 따라 직사각 예측부가 단계적 인트라 예측을 수행하는 과정을 설명하기 위한 예시도이다.
도 9에서는 수학식 1에서 N=1이고, α1=1이며, 예측 모드가 수평 모드인 경우, 4x4 크기의 현재 블록을 복수 개의 직사각 현재 블록으로 분할하여 단계적으로 예측하는 과정을 나타내었다.
도 9에 나타낸 바와 같이, 첫 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 A', B', C', D'를 이용하여 현재 블록의 첫번째 직사각 현재 블록의 화소 P11, P21, P31, P41을 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P11', P21', P31', P41'의 화소를 갖는다.
두 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P11', P21', P31', P41'를 이용하여 현재 블록의 두 번째 직사각 현재 블록인 화소 P12, P22, P32, P42를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P12', P22', P32', P42'의 화소를 갖는다.
세 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P12', P22', P32', P42'를 이용하여 현재 블록의 세 번째 직사각 현재 블록인 화소 P13, P23, P33, P43를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P13', P23', P33', P43'의 화소를 갖는다.
네 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P13', P23', P33', P43'를 이용하여 현재 블록의 네 번째 직사각 현재 블록인 화소 P14, P24, P34, P44를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P14', P24', P34', P44'의 화소를 갖는다.
이와 같이, 직사각 예측부(492)는 현재 블록의 복수 개의 직사각 현재 블록을 단계적으로 예측하는데, 단계적으로 예측한다고 함은 모든 직사각 현재 블록을 동시에 예측하는 것이 아니라 각 직사각 현재 블록을 예측할 때 이전에 부호화되고 복원된 직사각 이전 블록의 화소를 이용하여 예측한다는 것이다.
도 10은 본 발명의 일 실시예에 따른 직사각 스캔 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 직사각 스캔 장치는 도 4에서는 직사각 스캔부(450)로 구현될 수 있다. 이하에서는 본 발명의 일 실시예에 따른 직사각 스캔 장치를 직사각 스캔부(450)라 칭한다.
본 발명의 일 실시예에 따른 직사각 스캔부(450)는 블록 결합부(1010), 초기 스캐닝 패턴 결정부(1020), 스캐닝부(1030) 및 스캐닝 패턴 갱신부(1040)를 포함하여 구성될 수 있다.
블록 결합부(1010)는 직사각 양자화부(440)로부터 전달된 양자화된 복수 개의 직사각 잔차 블록을 현재 블록의 예측 모드에 따른 예측 방향에 따라 결합하여 정사각형 형태의 양자화된 정사각 잔차 블록을 생성한다. 예를 들어, 블록 결합부(1010)는 양자화된 복수 개의 잔차 블록을 해당 블록 모드에 따른 블록 크기에 맞도록 그리고 예측 모드의 예측 방향에 따라 결합하여 정사각형 형태의 잔차 블록을 생성할 수 있다. 즉, 양자화된 복수 개의 잔차 블록이 4x1 블록 4개라면, 4 개의 4x1 블록을 차례로 결합하되 예측 방향인 수직 방향으로 결합하여 4x4 블록 크기의 양자화된 잔차 블록을 생성할 수 있다.
초기 스캐닝 패턴 결정부(1020)는 블록 결합부(1010)에 의해 결합된 양자화된 정사각 잔차 블록의 양자화 주파수 계수를 스캐닝할 초기 스캐닝 패턴을 결정한다. 이때, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기에 따라 초기 스캐닝 패턴을 결정한다. 예를 들어, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 또한, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다.
스캐닝부(1030)는 결정된 스캐닝 패턴(초기 스캐닝 패턴 결정부(1020)에 의해 결정되는 초기 스캐닝 패턴 또는 스캐닝 패턴 갱신부(104)에 의해 결정되는 갱신 스캐닝 패턴)에 따라 양자화된 잔차 블록의 양자화 주파수 계수들을 스캐닝하여 양자화 주파수 계수열을 생성한다.
스캐닝 패턴 갱신부(1040)는 정사각 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 스캐닝 패턴을 적응적으로 갱신할 수 있다. 예를 들어, 스캐닝 패턴 갱신부(1040)는 영상 부호화 장치(200)가 현재 블록을 부호화할 때마다 정사각 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 확률이 큰 순서대로 스캐닝 순서를 결정함으로써, 스캐닝 패턴을 적응적으로 갱신할 수 있다.
도 11은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 방법을 설명하기 위한 순서도이다.
직사각 스캔부(450)는 양자화된 복수 개의 직사각 잔차 블록을 블록 모드 단위로 결합하여 정사각 잔차 블록을 생성하고(S1110), 현재 블록이 속한 영상의 크기가 기 설정된 크기 보다 큰지 여부를 확인하여(S1120), 영상의 크기가 기 설정된 크기 보다 큰 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정하고(S1130), 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정한다(S1140).
도 12는 본 발명의 바람직한 실시예에 따라 복수 개의 직사각 잔차 블록이 정사각 잔차 블록으로 결합된 것을 나타낸 예시도이다.
도 12에는 현재 블록의 예측 모드가 수직 모드인 경우, 복수 개의 직사각 잔차 블록이 4x4 블록 모드 또는 8x8 블록 모드 단위로 결합하여 생성된 정사각 잔차 블록의 양자화 주파수 계수들을 예시적으로 나타내었다.
4x4 블록 모드로 결합된 정사각 잔차 블록은 4x1 크기의 직사각 잔차 블록이 수직 방향으로 결합된 것이고, 8x8 블록 모드로 결합된 정사각 잔차 블록은 8x1 크기의 직사각 잔차 블록이 수직 방향으로 결합된 것이다.
현재 블록을 복수 개의 직사각 현재 블록을 분할하여 각 직사각 현재 블록의 잔차 블록을 변환하고 양자화하기 때문에, 양자화된 각 직사각 잔차 블록의 좌측에 DC 성분의 양자화 주파수 계수가 위치하게 된다. 따라서, 정사각형 블록 단위로 결합한 양자화된 정사각 잔차 블록의 좌측에 DC 성분의 계수가 몰리게 된다.
도 13은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 과정을 설명하기 위한 예시도이다.
통상적으로 정사각형 형태의 정사각 잔차 블록에서는 DC 성분의 계수들과 잔차 블록의 최하단 부분의 계수들에 '0'이 아닌 값이 빈번하게 발생한다. 따라서, 스캐닝할 때 '0'이 아닌 값이 발생할 확률이 높은 DC 성분의 계수들과 최하단 부분의 계수들을 우선적으로 스캐닝하면 부호화 효율을 높일 수 있다.
한편, 영상의 크기에 따라 정사각 잔차 블록의 양자화 주파수 계수들에서 '0'이 아닌 값이 발생할 확률이 달라지는데, 영상의 크기가 커지면 DC 성분의 계수에 '0'이 아닌 값이 발생할 확률이 최하단 부분의 계수들보다 더 높아지는 특성이 있다. 따라서, 본 발명에서는 영상의 크기에 따라 초기 스캐닝 패턴을 결정한다.
예를 들어, 영상의 크기를 비교할 임계 크기를 기 설정해 놓고, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 또한, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다.
도 13에서는 영상의 크기를 비교하기 위한 기 설정된 크기가 720p인 것으로 설정될 때 결정되는 초기 스캐닝 패턴을 예시적으로 나타낸 것이다. 영상의 크기가 QCIF 또는 CIF인 경우에는 영상의 크기가 기 설정된 크기 보다 작다고 판단하여 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다. 이 경우, 도시한 화살표의 순서와 같이, DC(3)에서 시작해서 AC1(3), DC(2), DC(1), AC1(2), AC1(3), …, AC3(0)의 순서로 초기 스캐닝 패턴이 결정된다.
또한, 영상의 크기가 720p 또는 1080p인 경우에는 영상의 크기가 기 설정된 크기 보다 크거나 같다고 판단하여 DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 이 경우, 도시한 화살표 순서와 같이, DC(3), DC(2), DC(1), DC(0), AC1(3), AC1(2), …, AC3(0)의 순서로 초기 스캐닝 패턴이 결정된다.
도 14는 본 발명의 일 실시예에 따라 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도이다.
도 13에서 예를 들어 전술한 바와 같이, 초기 스캐닝 패턴이 결정되면, 직사각 스캔부(450)는 초기 스캐닝 패턴에 따라서 양자화된 정사각형 잔차 블록의 양자화 주파수 계수들을 스캐닝하여 양자화 주파수 계수열을 생성하고 직사각 부호화부(460)에서 양자화 주파수 계수열을 부호화하여 직사각 부호화 비트스트림을 생성한다. 이후, 현재 블록 이후의 다음 블록이 입력되면 다시 복수 개의 직사각 다음 블록을 분할하여 그 잔차 블록을 변환하고 양자화하여 정사각 잔차 블록을 정사각형 잔차 블록으로 결합한 후 스캐닝하는데, 이와 같은 과정을 반복할 때마다 처음에 결정된 초기 스캐닝 패턴을 사용하여 스캐닝하는 것이 아니라, 적응적으로 스캐닝 패턴을 갱신하여 스캐닝한다.
이때, 스캐닝 패턴을 갱신하는 기준은 정사각 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률이 될 수 있다. 예를 들어, 영상의 복수 개의 블록을 부호화할 때마다, 정사각 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 그 확률이 큰 순서대로 스캐닝 순서를 결정함으로써, 스캐닝 패턴을 적응적으로 갱신할 수 있다.
도 14에 도시한 바와 같이, 초기 스캐닝 패턴이 결정되어 해당 정사각 잔차 블록에 대해 스캐닝하여 부호화가 완료되면, 다음 블록을 부호화하는 과정을 반복하면서, 적어도 1회 이상 부호화될 때마다 각 양자화 주파수 계수의 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산한다. 예를 들어, 도시한 바와 같이, 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률 분포가 계산될 수 있으며, 이때에는 그 확률 분포에 따라 확률이 높은 순서대로 차례로 스캐닝 패턴을 결정하여 갱신된 스캐닝 패턴을 결정할 수 있다.
이상에서 설명한 바와 같이, 영상 부호화 장치(200)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(1500)는 예측 모드 추출부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530), 직사각 복원부(1540) 및 정사각 복원부(1550)를 포함하여 구성될 수 있다.
이러한 영상 복호화 장치(1500)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측 모드 추출부(1510)는 비트스트림으로부터 예측 모드에 대한 정보를 추출한다. 여기서, 예측 모드에 대한 정보는 영상 부호화 장치(200)에서 결정한 현재 블록의 예측 모드를 식별하기 위한 정보로서, 현재 블록의 예측 모드가 수평 모드인지, 수직 모드인지, DC 모드 인지 등에 대한 정보를 포함한다.
복호화부(1520)는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출한다. 복호화부(1520)는 양자화 주파수 계수열을 추출하여 출력할 때, 비트스트림 식별자 추출부(1530)의 제어에 따라 양자화 주파수 계수열을 직사각 복원부(1540)와 정사각 복원부(1550) 중 하나로 출력한다.
비트스트림 식별자 추출부(1530)는 양자화 주파수 계수열을 이용하여 비트스트림으로부터 비트스트림 식별자를 추출하고, 비트스트림 식별자에 따라 복호화부(1520)로 하여금 양자화 주파수 계수열을 직사각 복원부(1540) 및 정사각 복원부(1550) 중 하나로 출력하도록 제어한다.
예를 들어, 비트스트림 식별자 추출부(1530)는 복호화부(1520)로부터 전달된 양자화 주파수 계수열의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 비트스트림으로부터 추출한다. 비트스트림 식별자 추출부(1530)는 추출한 비트스트림 식별자가 '1'인 경우에는 비트스트림이 직사각 부호화 비트스트림이므로 복호화부(1520)로 하여금 비트스트림을 복호화한 양자화 주파수 계수열을 직사각 복원부(1540)로 출력하도록 제어하고, 비트스트림 식별자가 '0'인 경우에는 비트스트림이 정사각 부호화 비트스트림이므로 복호화부(1520)로 하여금 비트스트림을 복호화한 양자화 주파수 계수열을 정사각 복원부(1550)로 출력하도록 제어한다. 또한, 비트스트림 식별자 추출부(1530)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 비트스트림으로부터 추출하지 않고, 복호화부(1520)로 하여금 양자화 주파수 계수열을 정사각 복원부(1550)로 출력하도록 제어한다.
직사각 복원부(1540)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하여 출력한다. 즉, 직사각 복원부(1540)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하고 역 변환하며, 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하며, 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상의 현재 블록을 복원한다.
정사각 복원부(1550)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하여 출력한다.
도 16은 본 발명의 일 실시예에 따른 직사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 직사각 복호화 장치는 도 15에서는 직사각 복원부(1540)로 구현될 수 있다. 이하에서는 본 발명의 일 실시예에 따른 직사각 복호화 장치를 직사각 복원부(1540)라 칭한다.
본 발명의 일 실시예에 따른 직사각 복원부(1540)는 직사각 역 스캔부(1610), 직사각 역 양자화부(1620), 직사각 역 변환부(1630), 직사각 예측부(1640) 및 직사각 가산부(1650)를 포함하여 구성될 수 있다.
직사각 역 스캔부(1610)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력한다.
여기서, 직사각 역 스캔부(1610)는 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하여 양자화 주파수 계수를 스캔할 수 있다. 예를 들어, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 역 스캔닝 패턴을 결정할 수 있으며, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 역 스캐닝 패턴을 결정할 수 있다.
또한, 직사각 역 스캔부(1610)는 양자화된 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 역 스캐닝 패턴을 적응적으로 갱신할 수 있는데, 예를 들면, 비트스트림을 복호화할 때마다, 양자화된 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 확률이 큰 순서대로 역 스캐닝 순서를 결정함으로써, 역 스캐닝 패턴을 적응적으로 갱신할 수 있다.
직사각 역 양자화부(1620)는 복수 개의 양자화된 직사각 잔차 블록을 역 양자화한다. 직사각 역 변환부(1630)는 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환한다.
직사각 예측부(1640)는 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성한다. 여기서, 직사각 예측부(1640)는 복수 개의 직사각 현재 블록을 비트스트림으로부터 추출된 예측 모드에 의한 예측 방향에 따라 단계적으로 예측한다.
직사각 가산부(1650)는 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원하고 복원 영상을 출력한다.
이와 같은 직사각 복원부(1540)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하며, 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하고 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하며, 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하며, 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원한다.
도 17은 본 발명의 일 실시예에 따른 정사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 정사각 복호화 장치는 도 15에서는 정사각 복원부(1550)로 구현될 수 있다. 이하에는 본 발명의 일 실시예에 따른 정사각 복호화 장치를 정사각 복원부(1550)라 칭한다.
정사각 복원부(1550)는 정사각 역 스캔부(1710), 정사각 역 양자화부(1720), 정사각 역 변환부(1730), 정사각 예측부(1740) 및 정사각 가산부(1750)를 포함하여 구성될 수 있다.
정사각 역 스캔부(1710)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 역 스캔닝하여 양자화된 정사각 잔차 블록을 생성한다. 이때, 정사각 역 스캔부(1710)는 부호화하는 과정에서 스캐닝 패턴을 적응적으로 갱신할 수 있다.
정사각 역 양자화부(1720)는 양자화된 정사각 잔차 블록을 역 양자화한다. 정사각 역 변환부(1730)는 역 양자화된 정사각 잔차 블록을 시간 영역으로 역 변환한다.
정사각 예측부(1740)는 역 변환된 정사각 잔차 블록에 대응하는 정사각 현재 블록을 예측하여 정사각 예측 블록을 생성한다. 여기서, 정사각 예측부(1740)는 비트스트림으로부터 추출된 예측 모드에 의한 예측 방향에 따라 정사각 현재 블록을 예측한다.
정사각 가산부(1750)는 정사각 예측 블록에 역 변환된 정사각 잔차 블록을 가산하여 정사각 현재 블록을 복원함으로써 영상을 복원하고 복원 영상을 출력한다.
도 18은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(1500)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(1500)는 비트스트림으로부터 예측 모드에 대한 정보를 추출하고(S1810), 비트스트림을 복호화하여 양자화 주파수 계수열을 추출한다(S1820). 양자화 주파수 계수열을 추출한 영상 복호화 장치(1500)는 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인한다(S1830). 영상 복호화 장치(1500)는, 단계 S1830의 확인 결과 양자화 주파수 계수가 모두 '0'인 경우에는 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하고 출력하고(S1840), 단계 S1830의 확인 결과 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림으로부터 비트스트림 식별자를 추출한다(S1850). 비트스트림 식별자를 추출한 영상 복호화 장치(1500)는 비트스트림 식별자가 '1'인지 여부를 확인하여(S1860), 비트스트림 식별자가 '1'인 경우에는 해당 비트스트림이 직사각 비트스트림인 것으로 식별하고 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하여 출력한다(S1870). 또한, 영상 복호화 장치(1500)는 비트스트림 식별자가 '1'이 아닌 경우에는 해당 비트스트림이 정사각 비트스트림인 것으로 식별하고 단계 S1840으로 진행하여, 양자화 주파수 계수열을 이용하여 정사각 블록 단위로 예측 모드에 따라 영상의 현재 블록을 복원하고 출력한다.
도 19는 본 발명의 일 실시예에 따라 초기 역 스캐닝 패턴에 따라 역 스캐닝하는 과정을 설명하기 위한 예시도이다.
영상 복호화 장치(1500)는 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하고, 초기 역 스캐닝 패턴에 따라 양자화 주파수 계수열을 역 스캐닝하여 양자화된 잔차 블록을 구성한다. 도 19에서는 양자화 주파수 계수열이 "0, -1, 2, 0, 4, 0, 0, 0, …"이고, 영상의 크기가 CIF이며, 블록 모드가 4x4 크기이고 예측 모드가 수직 모드인 경우, 결정된 초기 스캐닝 패턴에 따라 역 스캔하여 양자화된 잔차 블록을 구성하는 과정을 나타내었다.
영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하는 것은 도 13을 통해 전술한, 초기 스캐닝 패턴을 결정하는 것과 유사하다. 즉, 영상의 크기에 따라 정사각 잔차 블록의 양자화 주파수 계수들에서 '0'이 아닌 값이 발생할 확률이 달라지고, 영상의 크기가 커지면 DC 성분의 계수에 '0'이 아닌 값이 발생할 확률이 최하단 부분의 계수들보다 더 높아지는 특성을 이용하여, 영상의 크기에 따라 초기 스캐닝 패턴을 결정하는 것이다.
예를 들어, 영상의 크기를 비교할 임계 크기를 기 설정해 놓고, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 양자화 주파수 계수열에서 차례대로 읽어들인 양자화 주파수 계수를 양자화된 잔차 블록의 양자화 주파수 계수의 각 위치 중 DC 성분의 계수에 해당하는 위치와 양자화된 잔차 블록의 최하단 계수에 해당하는 위치에 우선 순위를 두되, DC 성분의 계수의 위치에 더 큰 우선 순위를 두어 읽어들인 양자화 주파수 계수를 배열하는 식으로 초기 역 스캔닝 패턴을 결정할 수 있다. 또한, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수의 각 위치 중 DC 성분의 계수에 해당하는 위치와 정사각 잔차 블록의 최하단 계수에 해당하는 위치에 동일한 우선 순위를 두어 초기 역 스캐닝 패턴을 결정할 수 있다.
도 19의 예에서, 기 설정된 크기가 720p이고 영상의 크기가 CIF인 경우, 영상의 크기가 기 설정된 크기 보다 작으므로 DC 성분의 계수에 해당하는 위치와 최하단 계수에 해당하는 위치에 동일한 우선 순위를 두어 역 스캐닝함으로써 도시한 바와 같은 양자화된 잔차 블록을 얻을 수 있다.
또한, 역 스캐닝되어 양자화된 잔차 블록이 구성되면 현재 블록의 예측 모드의 예측 방향인 수직 방향에 따라 양자화된 잔차 블록이 복수 개로 분할되어 복수 개의 직사각 잔차 블록이 생성된다.
도 20은 본 발명의 일 실시예에 따라 역 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도이다.
영상 복호화 장치(200)에서 스캐닝 패턴을 갱신한 것과 같이, 영상 복호화 장치(1500)도 역 스캐닝 패턴을 갱신할 수 있다. 즉, 블록을 복호화할 때마다 처음에 결정된 초기 역 스캐닝 패턴을 사용하여 역 스캐닝하는 것이 아니라, 적응적으로 역 스캐닝 패턴을 갱신하여 스캐닝한다.
이때, 역 스캐닝 패턴을 갱신하는 기준은 스캐닝 패턴을 갱신하는 기준과 유사하다. 즉, 양자화된 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률이 될 수 있다. 예를 들어, 영상의 복수 개의 블록을 복호화할 때마다, 양자화된 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 그 확률이 큰 순서대로 역 스캐닝 순서를 결정함으로써, 역 스캐닝 패턴을 적응적으로 갱신할 수 있다.
도 21은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치(2100)는 정사각 부호화부(210), 부호화 선택부(230), 예측 방향 전환부(2110) 및 직사각 부호화부(2120)를 포함하여 구성될 수 있다.
이러한 영상 부호화 장치(2100)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
정사각 부호화부(210)와 부호화 선택부(230)는 도 2를 통해 전술한 바와 동일 또는 유사한 역할을 수행하므로, 그에 대한 상세한 설명은 생략한다.
예측 방향 전환부(2110)는 직사각 부호화부(2120)에서 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 각 직사각 현재 블록의 예측 방향을 변경한다.
이를 위해, 예측 방향 전환부(2110)는 직사각 부호화부(2120)와 연결되어 직사각 부호화부(2120)로부터 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수를 수신하여 저장한다.
직사각 부호화부(2120)는 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력한다. 이때, 직사각 부호화부(2120)는 예측 방향 전환부(2110)에 의해 변경된 예측 방향에 따라 복수 개의 직사각 현재 블록을 예측할 수 있다.
직사각 부호화부(2120)는 도 4를 통해 전술한 직사각 부호화부(220)와 동일한 구조를 가진다. 다만, 직사각 부호화부(460)와 직사각 예측부(492)가 예측 방향 전환부(2110)에 연결되며, 직사각 부호화부(460)는 직사각 스캔부(450)로부터 전달되는 각 직사각 현재 블록의 양자화 주파수 계수를 예측 방향 전환부(2110)에 전달하고, 직사각 예측부(492)는 예측 방향 전환부(2110)로부터 전달되는 예측 방향에 따라 각 직사각 현재 블록을 예측한다. 여기서, 직사각 예측부(492)가 예측 방향 전환부(2110)로부터 수신하는 예측 방향은 현재 블록의 예측 모드의 예측 방향일 수 있지만, 직사각 이전 블록의 양자화 주파수 계수에 따라 변경된 예측 방향일 수도 있다.
도 22는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치는 도 21에서는 예측 방향 전환부(2110)로 구현될 수 있다. 이하에서는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치를 예측 방향 전환부(2110)라 칭한다.
본 발명의 다른 실시예에 따른 예측 방향 전환부(2110)는 이전 블록 계수 저장부(2210), 예측 방향 결정부(2220), 부호화 비용 계산부(2230) 및 예측 방향 식별자 출력부(2240)를 포함하여 구성된다.
이전 블록 계수 저장부(2210)는 직사각 이전 블록의 양자화 주파수 계수를 저장한다. 즉, 이전 블록 계수 저장부(2210)는 직사각 부호화부(2120)에서 각 직사각 현재 블록을 부호화할 때마다. 각 직사각 현재 블록의 양자화 주파수 계수를 수신하여 저장하는데, 이 양자화 주파수 계수가 다음번의 직사각 현재 블록을 예측하기 위한 예측 방향을 결정하는 데에 기준이 되는 직사각 이전 블록의 양자화 주파수 계수가 된다.
예측 방향 결정부(2220)는 현재 블록을 직사각형 블록 단위로 분할하여 생성된 복수 개의 직사각 현재 블록을 단계적으로 부호화할 때, 각 직사각 현재 블록에 대한 예측 방향을 변경한다. 예측 방향 결정부(2220)는 이전 블록 계수 저장부(2210)에 저장된 직사각 이전 블록의 양자화 주파수 계수의 계수값을 확인하여, 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다. 또한, 예측 방향 결정부(2220)는 직사각 이전 블록의 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 복수 개의 예측 방향 후보 중 부호화 비용이 최소(또는 부호화 효율이 최대)인 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다.
즉, 현재 예측하고자 하는 직사각 현재 블록을 부호화하기 이전에 이미 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'이었다면, 예측이 거의 완벽하게 이루어져 부호화 효율이 매우 뛰어나다는 것을 의미하므로, 직사각 이전 블록의 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정하는 것이다. 여기서, 기준 예측 방향이란 직사각 현재 블록이 분할된 현재 블록의 예측 방향이거나 직사각 이전 블록의 예측 방향을 말한다.
또한, 현재 예측하고자 하는 직사각 현재 블록을 부호화하기 이전에 이미 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값 중 적어도 하나 이상이 '0'이 아니었다면, 예측의 정확도가 떨어져서 부호화 효율이 매우 높은 것은 아니라는 것을 의미하므로, 기준 예측 방향을 그대로 사용하지 않고 예측 방향을 변경하기 위해, 복수 개의 예측 방향 후보 중 부호화 비용이 최소인 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다. 여기서, 예측 방향 후보군이란 직사각 현재 블록의 예측 방향으로 결정될 복수 개의 예측 방향으로서, 기준 예측 방향을 제외한 예측 방향을 말한다. 예측 방향 후보군은 인트라 4x4 예측의 경우 총 9가지의 예측 방향 중 기준 예측 방향을 제외한 8가지의 예측 방향이 될 수도 있다. 다만, 이와 같이 예측 방향의 개수가 많아지면 계산량이 복잡해 져서 부호화 효율이 떨어질 수 있으므로 예측 방향의 개수를 더 작은 수로 제한할 수 있다. 예를 들면, 기준 예측 방향을 중심으로 양 옆의 예측 방향을 예측 방향 후보군으로 선택할 수 있을 것이다.
부호화 비용 계산부(2230)는 복수 개의 예측 방향 후보의 각 예측 방향에 따른 부호화 비용을 계산한다. 여기서, 부호화 비용은 율-왜곡 비용이 될 수 있지만 반드시 이에 한정되지는 않을 뿐만 아니라, 부호화 비용에 한정하지 않고 부호화 효율을 측정할 수 있는 비용이 될 수 있다. 또한, 예측 방향에 따른 부호화 비용이란 해당 예측 방향으로 부호화했을 때 소요되는 비용을 의미한다.
예측 방향 식별자 출력부(2240)는 각 직사각 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력한다.
도 23은 본 발명의 일 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도이다.
예측 방향 전환부(2110)는 직사각 부호화부(2120)로부터 전달되는 직사각 이전 블록의 양자화 주파수 계수를 저장한 상태에서(S2310), 직사각 현재 블록의 예측 방향을 결정할 때에는 직사각 이전 블록의 양자화 주파수 계수를 확인하여 양자화 주파수 계수 모두가 '0'인 경우에는 현재 블록의 예측 방향을 기준 예측 방향으로 결정하고(S2330), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 기준 예측 방향을 제외한 나머지 예측 방향 즉, 예측 방향 후보군의 각 예측 방향에 따른 부호화 비용을 계산하고(S2340), 각 부호화 비용을 비교하여 최소의 부호화 비용을 갖는 예측 방향을 현재 블록의 예측 방향으로서 결정한다(S2350). 즉, 예측 방향이 기준 예측 방향에서 변경된다.
도 24 및 도 25는 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.
도 24를 참조하면, 현재 블록의 예측 모드가 수평 모드인 경우, 현재 블록의 예측 방향은 수평 방향이며, 예측 방향 후보는 현재 블록의 예측 방향인 수평 방향을 중심으로 양 옆의 방향인 대각선 오른쪽 위 방향과 대각선 오른쪽 아래 방향이 될 수 있다.
이때, 기준 예측 방향이 점선으로 표시된 수평 방향이었다고 가정하면, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수가 모두 '0'일 경우, 기준 예측 방향인 수평 방향이 그대로 직사각 현재 블록의 예측 방향이 된다. 하지만, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우, 예측 방향 후보 중에서 기준 예측 방향인 수평 방향을 제외한 옆의 방향인 대각선 오른쪽 위 방향과 대각선 오른쪽 아래 방향 중 부호화 비용이 최소가 되는 방향이 직사각 현재 블록의 예측 방향이 된다.
도 25를 참조하면, 현재 블록의 예측 모드가 대각선 오른쪽 아래 모드인 경우, 현재 블록의 예측 방향은 대각선 오른쪽 아래 방향이며, 예측 방향 후보는 현재 블록의 예측 방향인 대각선 오른쪽 아래 방향을 중심으로 양 옆의 방향인 수평 방향과 수직 방향이 될 수 있다.
이때, 기준 예측 방향이 점선으로 표시된 대각선 오른쪽 아래 방향이었다고 가정하면, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수가 모두 '0'일 경우, 기준 예측 방향인 대각선 오른쪽 아래 방향이 그대로 직사각 현재 블록의 예측 방향이 된다. 하지만, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우, 예측 방향 후보 중에서 기준 예측 방향인 대각선 오른쪽 아래 방향을 제외한 옆의 방향인 수평 방향과 수직 방향 중 부호화 비용이 최소가 되는 방향이 직사각 현재 블록의 예측 방향이 된다.
도 26은 본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)는 예측 모드 추출부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530), 예측 방향 식별자 추출부(2610), 직사각 복원부(2620) 및 정사각 복원부(1550)를 포함하여 구성될 수 있다.
이러한 영상 복호화 장치(1500)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측 모드 추출부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530) 및 정사각 복원부(1550)는 도 15를 통해 전술한 바와 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.
예측 방향 전환부(2610)는 복호화부(1520)로부터 전달되는 양자화된 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향으로 각 직사각 현재 블록에 대한 예측 방향을 변경한다.
직사각 복원부(2620)는 양자화된 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 방향 전환부(2610)에 의해 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력한다. 여기서, 직사각 복원부(2620)는 도 16을 통해 전술한 직사각 복원부(1540)와 동일한 구조를 갖는다. 다만, 직사각 복원부(2620)에서는 직사각 예측부(1640)가 예측 방향 전환부(2610)와 연결되고, 직사각 예측부(1640)는 현재 블록의 예측 모드의 예측 방향이 아닌 예측 방향 전환부(2610)로부터 전달되는 예측 방향에 따라 직사각 현재 블록을 예측한다.
이러한 본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)는 영상을 복호화하는 방법으로서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하고, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하며, 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 모드에 따른 예측 방향을 변경하며, 비트스트림으로부터 비트스트림 식별자를 추출하며, 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 현재 블록을 복원하되, 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하며, 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하되, 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력한다.
도 27은 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치는 도 26에서는 예측 방향 전환부(2610)로 구현될 수 있다. 이하에서는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치를 예측 방향 전환부(2610)라 칭한다.
본 발명의 다른 실시예에 따른 예측 방향 전환부(2610)는 이전 블록 계수 저장부(2710), 예측 방향 결정부(2720) 및 예측 방향 식별자 추출부(2730)를 포함하여 구성될 수 있다.
이전 블록 계수 저장부(2710)는 각 직사각 현재 블록 이전에 복호화된 직사각 이전 블록의 양자화 주파수 계수를 저장한다. 즉, 이전 블록 계수 저장부(2710)는 복호화부(1520)로부터 전달되는 양자화 주파수 계수열에서 직사각 현재 블록의 양자화 주파수 계수를 수신하여 저장하는데, 저장된 양자화 주파수 계수가 다음 직사각 현재 블록을 부호화할 때 사용되는 직사각 이전 블록의 양자화 주파수 계수가 된다.
예측 방향 결정부(2720)는 이전 블록 계수 저장부(2710)에 저장된 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정하고, 직사각 이전 블록의 양자화 주파수 계수의 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 양자화 주파수 계수열로부터 추출되는 예측 방향 식별자가 지시하는 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다.
예측 방향 식별자 추출부(2730)는 예측 방향 결정부(2720)의 제어에 따라 복호화부(1520)로부터 전달되는 양자화 주파수 계수열로부터 예측 방향 식별자를 추출한다.
여기서, 기준 예측 방향은 현재 블록의 예측 방향 및 직사각 이전 블록의 예측 방향 중 하나일 수 있으며, 예측 방향 후보는 기준 예측 방향을 기준으로 결정될 수 있다.
도 28은 본 발명의 다른 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도이다.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치 즉, 예측 방향 전환부(2610)는 직사각 이전 블록의 양자화 주파수 계수를 저장하고(S2810), 직사각 이전 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S2820), 직사각 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 직사각 현재 블록의 예측 방향으로서 결정하고(S2830), 직사각 이전 블록의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우에는 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하고(S2840), 예측 방향 식별자에 의해 지시되는 예측 방향을 직사각 현재 블록의 예측 방향으로서 결정한다(S2850).
도 29 및 도 30은 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.
직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 기준 예측 방향을 직사각 현재 블록의 예측 방향으로 결정하거나, 예측 방향 식별자에 의해 지시되는 현재 블록의 예측 모드의 예측 방향을 기준으로 양 옆의 예측 방향 중 한 방향을 직사각 현재 블록의 예측 방향으로 결정한다.
이와 같은 실시예를 통해 다음과 같은 실시예를 응용할 수도 있다. 즉, 정사각형 블록 단위로 예측하고 변환하고 양자화할 때, 각 정사각형 블록을 예측할 때마다 해당 블록의 예측 모드의 예측 방향에 따라 예측하는 것이 아니라, 이전 정사각형 블록의 양자화 주파수 계수를 확인하여 양자화 주파수 계수의 계수값에 따라 예측 방향을 변경하여 예측함으로써, 예측의 정확도를 높여 부호화 효율을 높일 수 있다.
따라서, 본 발명의 또 다른 실시예에 따른 예측 방향 전환 장치는 영상 부호화를 위해 영상의 현재 블록을 예측할 때, 현재 블록 이전에 부호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 부호화 비용을 계산하여 부호화 비용이 최소인 예측 방향을 현재 블록의 예측 방향으로 결정할 수 있다. 또한, 예측 방향 전환 장치는 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 예측 방향 전환 장치는 영상 복호화를 위해 영상의 현재 블록을 예측할 때, 현재 블록 이전에 복호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 현재 블록의 양자화 주파수 계수로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향을 현재 블록의 예측 방향으로서 결정할 수 있다.
여기서, 기준 예측 방향은 현재 블록의 예측 방향 및 이전 블록의 예측 방향 중 하나일 수 있으며, 예측 방향 후보는 기준 예측 방향을 기준으로 결정될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 장치와 방법과 관련된 분야에 적용되어, 영상을 부호화하거나 복호화할 때 예측의 정확도를 높일 수 있어 영상의 부호화 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2008년 9월 3일 한국에 출원한 특허출원번호 제 10-2008-0086733 호 및 2008년 9월 5일에 출원한 특허출원번호 제 10-2008-0087651 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (45)

  1. 영상의 현재 블록을 부호화하는 장치에 있어서,
    상기 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부;
    상기 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및
    상기 직사각 부호화 비트스트림의 부호화 비용과 상기 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 부호화 선택부는,
    상기 직사각 부호화 비트스트림의 부호화 비용과 상기 정사각 부호화 비트스트림의 부호화 비용을 계산하여 상기 최소의 부호화 비용을 갖는 비트스트림을 출력하는 비트스트림 선택부; 및
    상기 출력되는 비트스트림을 식별하기 위한 비트스트림 식별자를 출력하는 비트스트림 식별자 출력부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2 항에 있어서, 상기 비트스트림 식별자 출력부는,
    상기 최소의 부호화 비용을 갖는 비트스트림의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우에만, 상기 비트스트림 식별자를 출력하는 것을 특징으로 하는 영상 부호화 장치.
  4. 영상의 현재 블록을 부호화하는 방법에 있어서,
    상기 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화 단계;
    상기 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화 단계; 및
    상기 직사각 부호화 비트스트림의 부호화 비용과 상기 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 4 항에 있어서, 상기 부호화 선택 단계는,
    상기 직사각 부호화 비트스트림의 부호화 비용과 상기 정사각 부호화 비트스트림의 부호화 비용을 계산하여 비교하는 부호화 비용 비교 단계;
    상기 직사각 부호화 비트스트림의 부호화 비용이 상기 정사각 부호화 비트스트림의 부호화 비용 보다 작은 경우에는 직사각 부호화 비트스트림을 출력하는 단계;
    상기 직사각 부호화 비트스트림을 출력하면, 상기 직사각 부호화 비트스트림의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우, 비트스트림 식별자를 '1'로서 출력하는 직사각 식별자 출력 단계;
    상기 직사각 부호화 비트스트림의 부호화 비용이 상기 정사각 부호화 비트스트림의 부호화 비용 보다 크거나 같은 경우에는 정사각 부호화 비트스트림을 출력하는 단계; 및
    상기 정사각 부호화 비트스트림을 출력하면, 상기 정사각 부호화 비트스트림의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우, 비트스트림 식별자를 '0'으로 출력하는 정사각 식별자 출력 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 영상의 현재 블록을 부호화하는 장치에 있어서,
    상기 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하는 블록 분할부;
    상기 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하는 직사각 예측부;
    상기 복수 개의 직사각 현재 블록에서 상기 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성하는 직사각 감산부;
    상기 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하는 직사각 변환부;
    상기 변환된 복수 개의 직사각 잔차 블록을 양자화하는 직사각 양자화부;
    상기 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고, 상기 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성하는 직사각 스캔부;
    상기 양자화 주파수 계수열을 부호화하여 비트스트림을 생성하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 6 항에 있어서, 상기 영상 부호화 장치는,
    상기 양자화된 복수 개의 직사각 잔차 블록을 역 양자화하여 역 양자화된 복수 개의 직사각 잔차 블록을 생성하는 직사각 역 양자화부;
    상기 역 양자화된 복수 개의 직사각 잔차 블록을 시간 영역으로 역 변환하여 역 변환된 복수 개의 직사각 잔차 블록을 생성하는 직사각 역 변환부; 및
    상기 역 변환된 복수 개의 직사각 잔차 블록을 저장하는 직사각 메모리
    를 추가로 포함하되, 상기 직사각 예측부는 상기 역 변환된 복수 개의 직사각 잔차 블록을 이용하여 상기 복수 개의 직사각 현재 블록을 단계적으로 예측하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 7 항에 있어서, 상기 직사각 예측부는,
    상기 복수 개의 직사각 현재 블록을 상기 현재 블록의 예측 방향에 따라 단계적으로 예측하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 6 항에 있어서, 상기 직사각 스캔부는,
    상기 영상의 크기에 따라 초기 스캐닝 패턴을 결정하여 상기 양자화 주파수 계수를 스캔하는 것을 특징으로 하는 영상 부호화 장치.
  10. 제 9 항에 있어서, 상기 직사각 스캔부는,
    상기 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 상기 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 상기 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, 상기 DC 성분의 계수에 더 큰 우선 순위를 두어 상기 초기 스캔닝 패턴을 결정하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제 9 항에 있어서, 상기 직사각 스캔부는,
    상기 영상의 크기가 기 설정된 크기 보다 작은 경우에는 상기 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 상기 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 상기 초기 스캐닝 패턴을 결정하는 것을 특징으로 하는 영상 부호화 장치.
  12. 제 6 항에 있어서, 상기 직사각 스캔부는,
    상기 정사각 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 스캐닝 패턴을 적응적으로 갱신하는 것을 특징으로 하는 영상 부호화 장치.
  13. 제 12 항에 있어서, 상기 직사각 스캔부는,
    상기 영상의 복수 개의 블록을 부호화할 때마다, 상기 정사각 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 상기 확률이 큰 순서대로 스캐닝 순서를 결정함으로써, 상기 스캐닝 패턴을 적응적으로 갱신하는 것을 특징으로 하는 영상 부호화 장치.
  14. 영상의 현재 블록을 부호화하는 방법에 있어서,
    상기 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하는 블록 분할 단계;
    상기 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하는 직사각 예측 단계;
    상기 복수 개의 직사각 현재 블록에서 상기 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성하는 직사각 감산 단계;
    상기 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하는 직사각 변환 단계;
    상기 변환된 복수 개의 직사각 잔차 블록을 양자화하는 직사각 양자화 단계;
    상기 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고, 상기 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성하는 직사각 스캔 단계;
    상기 양자화 주파수 계수열을 부호화하여 비트스트림을 생성하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  15. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출부;
    상기 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화부;
    상기 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 상기 예측 모드에 따라 단계적으로 상기 영상의 현재 블록을 복원하는 직사각 복원부;
    상기 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 상기 예측 모드에 따라 현재 블록을 복원하여 출력하는 정사각 복원부; 및
    상기 비트스트림으로부터 비트스트림 식별자를 추출하고 상기 비트스트림 식별자에 따라, 상기 복호화부로 하여금 상기 양자화 주파수 계수열을 상기 직사각 복원부 및 상기 정사각 복원부 중 하나로 출력하도록 제어하는 비트스트림 식별자 추출부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  16. 제 15 항에 있어서, 상기 비트스트림 식별자 추출부는,
    상기 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인 경우에는 상기 복호화부로 하여금 상기 양자화 주파수 계수열을 상기 정사각 복원부로 출력하도록 제어하는 것을 특징으로 하는 영상 복호화 장치.
  17. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출 단계;
    상기 비트스트림으로부터 비트스트림 식별자를 추출하는 식별자 추출 단계;
    상기 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계; 및
    상기 비트스트림 식별자에 따라, 상기 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 단계적으로 현재 블록을 복원하여 출력하거나 상기 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하여 출력하는 복원 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  18. 제 17 항에 있어서, 상기 복원 단계는,
    상기 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인 경우 및 상기 비트스트림 식별자가 '0'인 경우 중 하나의 경우, 상기 양자화된 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하여 출력하는 것을 특징으로 하는 영상 복호화 방법.
  19. 제 17 항에 있어서, 상기 복원 단계는,
    상기 양자화된 주파수 계수열의 양자화 주파수 계수 중 하나 이상이 '0'이 아니고 상기 비트스트림 식별자가 '1'인 경우, 상기 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 단계적으로 현재 블록을 복원하여 출력하는 것을 특징으로 하는 영상 복호화 방법.
  20. 영상을 복호화하는 장치에 있어서,
    비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하는 직사각 역 스캔부;
    상기 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하는 직사각 역 양자화부;
    상기 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하는 직사각 역 변환부;
    상기 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하는 직사각 예측부; 및
    상기 복수 개의 직사각 예측 블록에 상기 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 상기 영상을 복원하는 직사각 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  21. 제 20 항에 있어서, 상기 직사각 역 스캔부는,
    상기 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하여 상기 양자화 주파수 계수를 스캔하는 것을 특징으로 하는 영상 복호화 장치.
  22. 제 21 항에 있어서, 상기 직사각 역 스캔부는,
    상기 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 상기 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 상기 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, 상기 DC 성분의 계수에 더 큰 우선 순위를 두어 상기 초기 역 스캔닝 패턴을 결정하는 것을 특징으로 하는 영상 복호화 장치.
  23. 제 21 항에 있어서, 상기 직사각 역 스캔부는,
    상기 영상의 크기가 기 설정된 크기 보다 작은 경우에는 상기 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 상기 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 상기 초기 역 스캐닝 패턴을 결정하는 것을 특징으로 하는 영상 복호화 장치.
  24. 제 20 항에 있어서, 상기 직사각 역 스캔부는,
    상기 양자화된 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 역 스캐닝 패턴을 적응적으로 갱신하는 것을 특징으로 하는 영상 복호화 장치.
  25. 제 24 항에 있어서, 상기 직사각 스캔부는,
    상기 비트스트림을 복호화할 때마다, 상기 양자화된 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 상기 확률이 큰 순서대로 역 스캐닝 순서를 결정함으로써, 상기 역 스캐닝 패턴을 적응적으로 갱신하는 것을 특징으로 하는 영상 복호화 장치.
  26. 제 20 항에 있어서, 상기 직사각 예측부는,
    상기 복수 개의 직사각 현재 블록을 상기 비트스트림으로부터 추출된 예측 모드에 의한 예측 방향에 따라 단계적으로 예측하는 것을 특징으로 하는 영상 복호화 장치.
  27. 영상을 복호화하는 방법에 있어서,
    비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하는 직사각 역 스캔 단계;
    상기 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하는 직사각 역 양자화 단계부;
    상기 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하는 직사각 역 변환 단계;
    상기 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하는 직사각 예측 단계; 및
    상기 복수 개의 직사각 예측 블록에 상기 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 상기 영상을 복원하는 가산 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  28. 영상의 현재 블록을 부호화하는 장치에 있어서,
    상기 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부;
    상기 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 상기 각 직사각 현재 블록의 예측 방향을 변경하는 예측 방향 전환부;
    상기 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및
    상기 직사각 부호화 비트스트림의 부호화 비용과 상기 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  29. 제 28 항에 있어서, 상기 예측 방향 전환부는,
    상기 직사각 이전 블록의 양자화 주파수 계수를 저장하는 이전 블록 계수 저장부;
    상기 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 상기 각 직사각 현재 블록의 예측 방향으로 결정하고, 상기 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 복수 개의 예측 방향 후보 중 부호화 비용이 최소인 예측 방향을 상기 각 직사각 현재 블록의 예측 방향으로 결정하는 예측 방향 결정부;
    상기 복수 개의 예측 방향 후보의 각 예측 방향에 따른 부호화 비용을 계산하는 부호화 비용 계산부; 및
    상기 각 직사각 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력하는 예측 방향 식별자 출력부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  30. 제 29 항에 있어서, 상기 기준 예측 방향은,
    상기 현재 블록의 예측 방향 및 상기 직사각 이전 블록의 예측 방향 중 하나인 것으로 특징으로 하는 영상 부호화 장치.
  31. 제 29 항에 있어서, 상기 예측 방향 후보는,
    상기 기준 예측 방향을 기준으로 결정되는 것을 특징으로 하는 영상 부호화 장치.
  32. 영상의 현재 블록을 부호화하는 방법에 있어서,
    상기 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화 단계;
    상기 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 상기 각 직사각 현재 블록의 예측 방향을 변경하는 예측 방향 전환 단계;
    상기 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화 단계; 및
    상기 직사각 부호화 비트스트림의 부호화 비용과 상기 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택 단계;
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  33. 제 32 항에 있어서, 상기 예측 방향 전환 단계는,
    상기 직사각 이전 블록의 양자화 주파수 계수를 저장하는 이전 블록 계수 저장 단계;
    상기 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 상기 각 직사각 현재 블록의 예측 방향으로 결정하는 예측 방향 유지 단계;
    상기 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 각 예측 방향에 따른 부호화 비용을 계산하는 부호화 비용 계산 단계;
    상기 각 예측 방향에 따른 부호화 비용이 최소인 예측 방향을 상기 각 직사각 현재 블록의 예측 방향으로 결정하는 예측 방향 변경 단계; 및
    상기 각 직사각 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력하는 예측 방향 식별자 출력 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  34. 제 33 항에 있어서, 상기 기준 예측 방향은,
    상기 현재 블록의 예측 방향 및 상기 직사각 이전 블록의 예측 방향 중 하나인 것으로 특징으로 하는 영상 부호화 방법.
  35. 제 34 항에 있어서, 상기 예측 방향 후보는,
    상기 기준 예측 방향을 기준으로 결정되는 것을 특징으로 하는 영상 부호화 방법.
  36. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출부;
    상기 비트스트림을 복호화하여 양자화된 주파수 계수열을 추출하는 복호화부;
    상기 양자화된 주파수 계수열로부터 예측 방향 식별자를 추출하여 상기 예측 모드에 따른 예측 방향을 변경하는 예측 방향 전환부;
    상기 양자화된 주파수 계수열을 이용하여 직사각형 블록 단위로 상기 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하는 직사각 복원부;
    상기 양자화된 주파수 계수열을 이용하여 정사각형 블록 단위로 상기 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력하는 정사각 복원부; 및
    상기 비트스트림으로부터 비트스트림 식별자를 추출하고 상기 비트스트림 식별자에 따라 상기 복호화부로 하여금 상기 양자화된 주파수 계수열을 상기 직사각 복원부 및 상기 정사각 복원부 중 하나로 출력하도록 제어하는 비트스트림 식별자 추출부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  37. 제 36 항에 있어서, 상기 예측 방향 전환부는,
    상기 직사각 복원부에서 상기 정사각형 블록 단위로 단계적으로 복원되는 각 직사각 현재 블록 이전에 복호화된 직사각 이전 블록의 양자화 주파수 계수를 저장하는 이전 블록 계수 저장부;
    상기 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 상기 각 직사각 현재 블록의 예측 방향으로 결정하고, 상기 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 상기 양자화 주파수 계수열로부터 추출된 예측 방향 식별자가 지시하는 예측 방향을 상기 각 직사각 현재 블록의 예측 방향으로 결정하는 예측 방향 결정부; 및
    상기 양자화 주파수 계수열로부터 상기 예측 방향 식별자를 추출하는 예측 방향 식별자 추출부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  38. 제 37 항에 있어서, 상기 기준 예측 방향은,
    상기 현재 블록의 예측 방향 및 상기 직사각 이전 블록의 예측 방향 중 하나인 것으로 특징으로 하는 영상 복호화 장치.
  39. 제 37 항에 있어서, 상기 예측 방향 후보는,
    상기 기준 예측 방향을 기준으로 결정되는 것을 특징으로 하는 영상 복호화 장치.
  40. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출 단계;
    상기 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계;
    상기 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하여 상기 예측 모드에 따른 예측 방향을 변경하는 예측 방향 전환 단계;
    상기 비트스트림으로부터 비트스트림 식별자를 추출하는 비트스트림 식별자 추출 단계;
    상기 비트스트림 식별자에 따라 상기 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 현재 블록을 복원하되, 상기 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하는 직사각 복원 단계; 및
    상기 비트스트림 식별자에 따라 상기 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하되, 상기 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력하는 정사각 복원 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  41. 영상 부호화를 위해 영상의 현재 블록을 예측할 때, 예측 방향을 전환하는 장치에 있어서,
    현재 블록 이전에 부호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 상기 현재 블록이 입력되면 상기 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 상기 현재 블록의 예측 방향으로서 결정하고, 상기 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 부호화 비용을 계산하여 부호화 비용이 최소인 예측 방향을 상기 현재 블록의 예측 방향으로 결정하는 것을 특징으로 하는 예측 방향 전환 장치.
  42. 제 41 항에 있어서, 예측 방향 전환 장치는,
    상기 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력하는 것을 특징으로 하는 예측 방향 전환 장치.
  43. 영상 복호화를 위해 영상의 현재 블록을 예측할 때, 예측 방향을 전환하는 장치에 있어서,
    현재 블록 이전에 복호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 상기 현재 블록의 양자화 주파수 계수가 입력되면 상기 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 상기 현재 블록의 예측 방향으로서 결정하고, 상기 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 상기 현재 블록의 양자화 주파수 계수로부터 예측 방향 식별자를 추출하여 상기 예측 방향 식별자에 의해 지시되는 예측 방향을 상기 현재 블록의 예측 방향으로서 결정하는 것을 특징으로 하는 예측 방향 전환 장치.
  44. 제 41 항 또는 제 43 항에 있어서, 상기 기준 예측 방향은,
    상기 현재 블록의 예측 방향 및 상기 이전 블록의 예측 방향 중 하나인 것으로 특징으로 하는 예측 방향 전환 장치.
  45. 제 41 항 또는 제 43 항에 있어서, 상기 예측 방향 후보는,
    상기 기준 예측 방향을 기준으로 결정되는 것을 특징으로 하는 예측 방향 전환 장치.
PCT/KR2009/004865 2008-09-03 2009-08-31 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법 WO2010027170A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/002,259 US9100646B2 (en) 2008-09-03 2009-08-31 Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US14/692,298 US9654798B2 (en) 2008-09-03 2015-04-21 Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US14/833,914 US10298954B2 (en) 2008-09-03 2015-08-24 Device and method for image encoding/decoding using prediction direction conversion and selective encoding

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20080086733A KR101487436B1 (ko) 2008-09-03 2008-09-03 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
KR10-2008-0086733 2008-09-03
KR1020080087651A KR101369161B1 (ko) 2008-09-05 2008-09-05 예측 방향 전환 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR10-2008-0087651 2008-09-05

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/002,259 A-371-Of-International US9100646B2 (en) 2008-09-03 2009-08-31 Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US14/692,298 Continuation US9654798B2 (en) 2008-09-03 2015-04-21 Device and method for image encoding/decoding using prediction direction conversion and selective encoding

Publications (2)

Publication Number Publication Date
WO2010027170A2 true WO2010027170A2 (ko) 2010-03-11
WO2010027170A3 WO2010027170A3 (ko) 2010-07-08

Family

ID=41797630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/004865 WO2010027170A2 (ko) 2008-09-03 2009-08-31 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법

Country Status (2)

Country Link
US (3) US9100646B2 (ko)
WO (1) WO2010027170A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220174279A1 (en) * 2011-01-14 2022-06-02 Huawei Technologies Co., Ltd. Encoding and decoding methods and apparatuses with multiple image block division manners

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR101483497B1 (ko) * 2008-09-25 2015-01-20 에스케이텔레콤 주식회사 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
US20120163456A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
CN106937126B (zh) 2011-05-20 2019-11-15 索尼公司 图像处理装置和图像处理方法
JP2013038768A (ja) * 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CA2836161C (en) * 2011-08-23 2017-12-19 Mediatek Singapore Pte. Ltd. Method and system of transform block processing according to quantization matrix in video coding
US9210438B2 (en) 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
US9781418B1 (en) * 2012-06-12 2017-10-03 Google Inc. Adaptive deadzone and rate-distortion skip in video processing
US9179155B1 (en) 2012-06-14 2015-11-03 Google Inc. Skipped macroblock video encoding enhancements
RU2510589C2 (ru) * 2012-07-05 2014-03-27 Вадим Витальевич Ярошенко Способ кодирования цифрового видеоизображения
JP6671339B2 (ja) * 2015-02-27 2020-03-25 Kddi株式会社 符号化装置及び復号装置
WO2016143991A1 (ko) * 2015-03-06 2016-09-15 한국과학기술원 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
CN111885381B (zh) * 2015-03-23 2023-10-13 Lg 电子株式会社 在内预测模式的基础上处理图像的方法及其装置
US10721492B2 (en) * 2015-09-23 2020-07-21 Lg Electronics Inc. Intra prediction method and device in image coding system
US10368073B2 (en) * 2015-12-07 2019-07-30 Qualcomm Incorporated Multi-region search range for block prediction mode for display stream compression (DSC)
US10681354B2 (en) * 2016-12-05 2020-06-09 Lg Electronics Inc. Image encoding/decoding method and apparatus therefor
BR122021018343B1 (pt) * 2017-04-13 2022-10-25 Lg Electronics Inc Método para reconstruir uma imagem incluindo um bloco não quadrado, método para codificar uma imagem e mídia de armazenamento digital legível por computador
CN117241044A (zh) 2017-05-17 2023-12-15 株式会社Kt 解码视频的方法和编码视频的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050053299A1 (en) * 2002-11-05 2005-03-10 Canon Kabushiki Kaisha Encoding of digital data combining a plurality of encoding modes
US20050276493A1 (en) * 2004-06-01 2005-12-15 Jun Xin Selecting macroblock coding modes for video encoding
US20060203907A1 (en) * 2005-03-09 2006-09-14 Yang Kyeong H Model based rate control for predictive video encoder

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128533A (ja) 1995-11-06 1997-05-16 Fuji Xerox Co Ltd 画像符号化復号化処理装置
JP2005184042A (ja) * 2003-12-15 2005-07-07 Sony Corp 画像復号装置及び画像復号方法並びに画像復号プログラム
US20070098069A1 (en) * 2005-04-27 2007-05-03 Stephen Gordon Inverse scan, coefficient, inverse quantization and inverse transform system and method
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
WO2008056923A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding based on intra prediction
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050053299A1 (en) * 2002-11-05 2005-03-10 Canon Kabushiki Kaisha Encoding of digital data combining a plurality of encoding modes
US20050276493A1 (en) * 2004-06-01 2005-12-15 Jun Xin Selecting macroblock coding modes for video encoding
US20060203907A1 (en) * 2005-03-09 2006-09-14 Yang Kyeong H Model based rate control for predictive video encoder

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220174279A1 (en) * 2011-01-14 2022-06-02 Huawei Technologies Co., Ltd. Encoding and decoding methods and apparatuses with multiple image block division manners
US11750809B2 (en) * 2011-01-14 2023-09-05 Huawei Technologies Co., Ltd. Encoding and decoding methods and apparatuses with multiple image block division manners

Also Published As

Publication number Publication date
US9654798B2 (en) 2017-05-16
US20110158315A1 (en) 2011-06-30
US10298954B2 (en) 2019-05-21
US9100646B2 (en) 2015-08-04
US20150365700A1 (en) 2015-12-17
WO2010027170A3 (ko) 2010-07-08
US20150229943A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
WO2010027170A2 (ko) 예측 방향 전환과 선택적 부호화를 이용한 영상 부호화/복호화 장치 및 방법
WO2010120113A2 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011126275A2 (en) Determining intra prediction mode of image coding unit and image decoding unit
WO2011031044A2 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
WO2011016702A2 (ko) 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2011087323A2 (en) Method and apparatus for encoding and decoding image by using large transform unit
WO2011053021A2 (en) Method and apparatus for encoding and decoding image by using rotational transform
WO2011021838A2 (en) Method and apparatus for encoding video, and method and apparatus for decoding video
WO2011021839A2 (en) Method and apparatus for encoding video, and method and apparatus for decoding video
WO2013157825A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2011087292A2 (en) Method and apparatus for encoding video and method and apparatus for decoding video by considering skip and split order
WO2020046091A1 (ko) 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
WO2020246849A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2010151018A2 (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
EP2471266A2 (en) Method and apparatus for encoding residual block, and method and apparatus for decoding residual block
WO2016048092A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016159610A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013109123A1 (ko) 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
WO2011021910A2 (ko) 인트라 예측 부호화/복호화 방법 및 장치
WO2011037420A2 (ko) 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2016064123A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020256344A1 (ko) 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링
WO2019164306A1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
WO2020256346A1 (ko) 변환 커널 세트에 관한 정보에 대한 코딩

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09811669

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13002259

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC

122 Ep: pct application non-entry in european phase

Ref document number: 09811669

Country of ref document: EP

Kind code of ref document: A2