KR101369161B1 - Prediction Direction Change Method and Apparatus and Video Encoding/Decoding Method and Apparatus - Google Patents
Prediction Direction Change Method and Apparatus and Video Encoding/Decoding Method and Apparatus Download PDFInfo
- Publication number
- KR101369161B1 KR101369161B1 KR1020080087651A KR20080087651A KR101369161B1 KR 101369161 B1 KR101369161 B1 KR 101369161B1 KR 1020080087651 A KR1020080087651 A KR 1020080087651A KR 20080087651 A KR20080087651 A KR 20080087651A KR 101369161 B1 KR101369161 B1 KR 101369161B1
- Authority
- KR
- South Korea
- Prior art keywords
- prediction direction
- rectangular
- current block
- block
- prediction
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Abstract
본 발명은 예측 방향 전환 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for predicting direction switching and an image encoding / decoding apparatus and method using the same.
본 발명은 영상 부호화를 위해 영상의 현재 블록을 예측할 때, 예측 방향을 전환하는 장치에 있어서, 현재 블록 이전에 부호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록이 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 부호화 비용을 계산하여 부호화 비용이 최소인 예측 방향을 현재 블록의 예측 방향으로 결정하는 것을 특징으로 하는 예측 방향 전환 장치를 제공한다.The present invention is a device for switching the prediction direction when predicting the current block of the image for image coding, the quantization frequency coefficient of the previous block coded before the current block is stored if input, and if the current block is input of the previous block If the quantization frequency coefficients are all '0', the reference prediction direction is determined as the prediction direction of the current block, and when one or more coefficients of the quantization frequency coefficients of the previous block are not '0', the coding cost of the plurality of prediction direction candidates The present invention provides a prediction direction switching device, wherein the prediction direction having the minimum encoding cost is determined as the prediction direction of the current block.
본 발명에 의하면, 영상을 부호화하거나 복호화할 때 예측의 정확도를 높일 수 있어 영상의 부호화 효율을 향상시킬 수 있다.According to the present invention, when encoding or decoding an image, the accuracy of prediction can be increased, and the encoding efficiency of the image can be improved.
영상, 부호화, 복호화, 인트라, 예측, 직사각, 방향, 전환 Image, encoding, decoding, intra, prediction, rectangular, direction, transition
Description
본 발명은 예측 방향 전환 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 부호화하고자 하는 블록마다 예측 방향을 결정하는 방법을 달리하여 예측함으로써 예측의 정확도를 높여 영상의 부호화 효율을 향상시키는 장치와 방법에 관한 것이다.The present invention relates to an apparatus and method for predicting direction switching and an image encoding / decoding apparatus and method using the same. More specifically, the present invention relates to an apparatus and method for improving the encoding efficiency of an image by increasing the accuracy of prediction by predicting by differently predicting a prediction direction for each block to be encoded in encoding or decoding an image.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다. 이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 등 기존의 동영상 부호화와 관련된 국제 표준과는 다른 방법인 공간 예측 부호화(Spatial Predictive Coding) 방법을 사용한다.Moving Picture Experts Group (MPEG) and Video Coding Experts Group (VCEG) have developed superior video compression techniques superior to the existing MPEG-4
기존의 동영상 부호화 방법에서는 이산 코사인 변환 영역(DCT Domain: Discrete Cosine Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트라 예측(Intra Prediction)"을 사용함으로써 부호화 효율 증대를 추구하며, 그로 인해 저역 전송 비트율 대의 주관적 화질을 열화시키는 결과를 초래하였다. 하지만, H.264에서는 변환 영역(Transform Domain)이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction)을 기반으로 하는 부호화 방법을 채택하고 있다.In the conventional moving image encoding method, "intra prediction" is used for the coefficient value transformed in the discrete cosine transform domain (DCT domain), thereby seeking to increase the coding efficiency. As a result, Resulting in deterioration in the subjective image quality of the transmission bit rate band. However, H.264 adopts a coding method based on Spatial Intra Prediction in a Spatial Domain instead of a Transform Domain.
기존의 공간적 인트라 예측을 기반으로 하는 부호화 방법을 사용하는 부호화기(Encoder)는 이미 부호화가 완료되어 재생된 이전 블록의 정보로부터 현재 부호화하고자 하는 블록 정보를 예측하고 부호화하고자 하는 실제 블록 정보의 차이(Difference) 정보만을 부호화해서 복호화기(Decoder)로 전송한다. 이때, 블록 정보를 예측하는 데 필요한 파라미터를 복호화기로 전송하거나, 부호화기와 복호화기를 동기화시켜 예측에 필요한 파라미터를 공유하도록 함으로써 복호화기가 블록 정보를 예측하도록 할 수도 있다. 복호화기는 이미 복호화가 완료되어 재생된 주변 블록의 정보를 예측하고, 부호화기로부터 전송된 오차 정보와 예측된 주변 블록의 정보의 합을 구하여 원하는 현재 복호화하고자 하는 블록의 정보를 생성하여 재생한다. 이때도 역시 부호화기로부터 예측에 필요한 파라미터가 전송되었다면, 복호화기는 해당 파라미터를 이용하여 주변 블록의 정보를 예측하는데 이용한다.An encoder using a coding method based on the existing spatial intraprediction predicts block information to be currently encoded from the information of a previous block that has been already encoded and reproduced and calculates a difference ) Information and transmits it to a decoder. At this time, parameters necessary for predicting the block information may be transmitted to the decoder, or the encoder and the decoder may be synchronized to share parameters required for prediction, so that the decoder may predict the block information. The decoder predicts the information of the neighboring block that has already been decoded and reproduced, obtains the sum of the error information transmitted from the encoder and the information of the predicted neighboring block, and generates and reproduces information of a desired current block to be decoded. In this case, if parameters necessary for prediction are also transmitted from the encoder, the decoder uses the parameter to predict information of neighboring blocks.
한편, 기존의 공간적 인트라 예측 기반의 부호화 방법은 정사각형의 블록 모드만을 사용한다. 변환 효율을 높이기 위해, 4x4 변환, 8x8 변환 등 2차원 정사각 형 변환을 사용하기 때문이다. 하지만, 정사각형의 블록 모드만을 사용하게 되면 블록의 오른쪽과 아래쪽 부분에 존재하는 화소들은 공간적으로 멀리 떨어진 화소로부터 예측되기 대문에 블록의 예측의 정확도가 떨어지는 문제점이 있다.Meanwhile, the conventional spatial intra prediction based coding method uses only a square block mode. This is because two-dimensional square transformations such as 4x4 and 8x8 transforms are used to increase the conversion efficiency. However, when only the square block mode is used, the pixels in the right and lower parts of the block are predicted from pixels far away from space, so the accuracy of the block prediction is inferior.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하거나 복호화하는 데 있어서, 부호화하고자 하는 블록마다 예측 방향을 결정하는 방법을 달리하여 예측함으로써 예측의 정확도를 높여 영상의 부호화 효율을 향상시키는 데 주된 목적이 있다.In order to solve the above-described problems, the present invention, in encoding or decoding an image, is mainly used to improve the encoding efficiency of an image by increasing the accuracy of prediction by predicting by differently determining a method of determining a prediction direction for each block to be encoded. There is a purpose.
전술한 목적을 달성하기 위해 본 발명은, 영상의 현재 블록을 부호화하는 장치에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화부; 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 각 직사각 현재 블록의 예측 방향을 변경하는 예측 방향 전환부; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화부; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.In order to achieve the above object, the present invention provides a device for encoding a current block of an image, wherein a rectangular encoded bitstream is encoded by stepwise encoding a plurality of rectangular current blocks generated by dividing a rectangular block by a unit when the current block is input. A rectangular encoder for outputting; A prediction direction switching unit for changing a prediction direction of each rectangular current block according to a coefficient value of a quantization frequency coefficient of a rectangular previous block coded before each rectangular current block coded stepwise; A square encoder for outputting a square encoded bitstream by encoding the current block in units of square blocks; And an encoding selector configured to calculate the encoding cost of the rectangular encoded bitstream and the encoding cost of the square encoded bitstream, and output a bitstream having a minimum encoding cost.
또한, 본 발명의 다른 목적에 의하면, 영상의 현재 블록을 부호화하는 방법에 있어서, 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력하는 직사각 부호화 단계; 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 각 직사각 현재 블록의 예측 방향을 변경하는 예측 방향 전환 단계; 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력하는 정사각 부호화 단계; 및 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소 부호화 비용을 갖는 비트스트림을 출력하는 부호화 선택 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.According to another object of the present invention, in the method of encoding a current block of an image, when the current block is input, a rectangular encoded bitstream is output by stepwise encoding a plurality of rectangular current blocks generated by dividing the rectangular block into units. A rectangular encoding step; A prediction direction switching step of changing a prediction direction of each rectangular current block according to a coefficient value of a quantization frequency coefficient of a rectangular previous block coded before each rectangular current block coded stepwise; A square encoding step of outputting a square encoded bitstream by encoding the current block in units of square blocks; And an encoding selection step of calculating the encoding cost of the rectangular encoded bitstream and the encoding cost of the square encoded bitstream to output a bitstream having the minimum encoding cost.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출부; 비트스트림을 복호화하여 양자화된 주파수 계수열을 추출하는 복호화부; 양자화된 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 모드에 따른 예측 방향을 변경하는 예측 방향 전환부; 양자화된 주파수 계수열을 이용하여 직사각형 블록 단위로 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하는 직사각 복원부; 양자화된 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력하는 정사각 복원부; 및 비트스트림으로부터 비트스트림 식별자를 추출하고 비트스트림 식별자에 따라 복호화부로 하여금 양자화된 주파수 계수열을 직사각 복원부 및 정사각 복원부 중 하나로 출력하도 록 제어하는 비트스트림 식별자 추출부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.According to still another object of the present invention, there is provided an apparatus for decoding an image, comprising: a prediction mode extraction unit for extracting information about a prediction mode from a bitstream; A decoder which extracts a quantized frequency coefficient sequence by decoding the bitstream; A prediction direction switching unit which extracts a prediction direction identifier from the quantized frequency coefficient sequence and changes the prediction direction according to the prediction mode; A rectangular reconstruction unit for reconstructing and outputting the current block step by step according to the prediction direction changed in units of rectangular blocks using the quantized frequency coefficient sequence; A square restoring unit for restoring and outputting a current block according to a prediction direction according to a prediction mode in units of square blocks using a quantized frequency coefficient sequence; And a bitstream identifier extractor for extracting the bitstream identifier from the bitstream and controlling the decoder to output the quantized frequency coefficient sequence to one of a rectangular reconstructor and a square reconstructor according to the bitstream identifier. Provided is a decoding device.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하는 예측 모드 추출 단계; 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하는 복호화 단계; 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 모드에 따른 예측 방향을 변경하는 예측 방향 전환 단계; 비트스트림으로부터 비트스트림 식별자를 추출하는 비트스트림 식별자 추출 단계; 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 현재 블록을 복원하되, 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하는 직사각 복원 단계; 및 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하되, 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력하는 정사각 복원 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.According to still another object of the present invention, there is provided a method of decoding an image, comprising: a prediction mode extraction step of extracting information on a prediction mode from a bitstream; Decoding a bitstream to extract a quantized frequency coefficient sequence; A prediction direction switching step of extracting a prediction direction identifier from the quantized frequency coefficient sequence and changing the prediction direction according to the prediction mode; Extracting a bitstream identifier from the bitstream; A rectangular reconstruction step of reconstructing the current block in units of rectangular blocks by using the quantized frequency coefficient sequence according to the bitstream identifier, and reconstructing and outputting the current block step by step according to the changed prediction direction; And a square reconstruction step of reconstructing the current block in units of square blocks by using the quantized frequency coefficient sequence according to the bitstream identifier, and reconstructing and outputting the current block according to the prediction direction according to the prediction mode. Provide a method.
또한, 본 발명의 또 다른 목적에 의하면, 영상 부호화를 위해 영상의 현재 블록을 예측할 때, 예측 방향을 전환하는 장치에 있어서, 현재 블록 이전에 부호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록이 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 부호화 비용을 계산하여 부호화 비용이 최소인 예측 방향을 현재 블록의 예측 방향으로 결정하는 것을 특징 으로 하는 예측 방향 전환 장치를 제공한다.Further, according to another object of the present invention, when predicting the current block of the image for image encoding, in the apparatus for switching the prediction direction, if the quantization frequency coefficient of the previous block coded before the current block is input and stored, When the current block is input, when the quantization frequency coefficients of the previous block are all '0', the reference prediction direction is determined as the prediction direction of the current block, and when one or more coefficients of the quantization frequency coefficients of the previous block are not '0', Provided is a prediction direction switching device, characterized in that the prediction direction of the minimum block is determined as the prediction direction of the current block by calculating the encoding cost of the plurality of prediction direction candidates.
또한, 본 발명의 또 다른 목적에 의하면, 영상 복호화를 위해 영상의 현재 블록을 예측할 때, 예측 방향을 전환하는 장치에 있어서, 현재 블록 이전에 복호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 현재 블록의 양자화 주파수 계수로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향을 현재 블록의 예측 방향으로서 결정하는 것을 특징으로 하는 예측 방향 전환 장치를 제공한다.Further, according to another object of the present invention, when predicting the current block of the image for image decoding, in the apparatus for switching the prediction direction, if the quantization frequency coefficient of the previous block decoded before the current block is stored, When the quantization frequency coefficients of the current block are input, when the quantization frequency coefficients of the previous block are all '0', the reference prediction direction is determined as the prediction direction of the current block, and at least one coefficient of the quantization frequency coefficients of the previous block is '0'. Otherwise, the prediction direction switching apparatus is provided, wherein the prediction direction identifier is extracted from the quantization frequency coefficient of the current block to determine the prediction direction indicated by the prediction direction identifier as the prediction direction of the current block.
이상에서 설명한 바와 같이 본 발명에 의하면, 부호화하고자 하는 블록마다 예측 방향을 결정하는 방법을 달리하여 예측함으로써 예측의 정확도를 높여 영상의 부호화 효율을 향상시킬 수 있다.As described above, according to the present invention, by predicting by differently determining a prediction direction for each block to be encoded, it is possible to increase the accuracy of prediction and to improve the encoding efficiency of an image.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상 세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected" or "connected" to another component, the component may be directly connected to or connected to that other component, but another component is "connected" between each component. It will be understood that "or" may be connected.
도 1은 통상적인 9 가지의 4x4 인트라 예측 모드를 나타내는 예시도이다.1 is an exemplary diagram showing nine conventional 4x4 intra prediction modes.
인트라 예측에는 인트라 4x4 예측, 인트라 16x16 예측 및 인트라 8x8 예측 등이 있는데, 각 인트라 예측에는 복수 개의 예측 모드를 포함하고 있다. 도 1에서는 인트라 4x4 예측에서의 9 가지 예측 모드를 도시하였다.Intra prediction includes intra 4x4 prediction, intra 16x16 prediction, and intra 8x8 prediction, and each intra prediction includes a plurality of prediction modes. 1 illustrates nine prediction modes in intra 4x4 prediction.
도 1을 참조하면, 인트라 4x4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다.Referring to FIG. 1, intra 4x4 prediction includes vertical mode, horizontal mode, direct current mode, diagonal down-left mode, diagonal down-right, and vertical. There are nine prediction modes, including the right-right mode, horizontal-down mode, vertical-left and horizontal-up modes.
도시하지는 않았지만, 인트라 8x8 예측에는 인트라 4x4 예측과 동일한 예측 모드가 있으며, 인트라 16x16 예측에는 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current) 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모 드가 있다.Although not shown, intra 8x8 prediction has the same prediction mode as intra 4x4 prediction, and intra 16x16 prediction includes vertical mode, horizontal mode, direct current mode, and plane mode. There are four prediction modes.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.2 is a block diagram schematically illustrating an electronic configuration of a video encoding apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 영상을 부호화하는 장치로서, 정사각 부호화부(210), 직사각 부호화부(220) 및 부호화 선택부(230)를 포함하여 구성될 수 있다. The image encoding
이러한 영상 부호화 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.The image encoding
정사각 부호화부(210)는 입력 영상의 현재 블록이 입력되면 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 출력한다. 즉, 통상적인 동영상 부호화와 같이, 정해진 블록 모드에 따라 정사각형 블록 단위로 현재 블록을 예측하고 현재 블록에 대한 잔차 블록을 생성하여 잔차 블록을 변환, 양자화, 부호화함으로써 비트스트림을 출력하는데, 이와 같이 정사각형 블록 단위로 부호화되어 출력되는 비트스트림을 본 발명에서는 '정사각 부호화 비트스트림'이라 칭한다.When the current block of the input image is input, the
직사각 부호화부(220)는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력한다. 즉, 통상적인 부호화와는 달리, 정해진 블록 모드에 따른 현재 블록을 현재 블록의 예측 방향에 따라 직사각형 블록 단위로 분할하고 각 직사각형 블록을 단계적으로 예측하고 그 잔차 블록을 변환, 양자화한 후 정사각형 블록으로 결합하고 스캔하여 부호화함으로써 비트스트림을 출력하는데, 이와 같이 직사각형 블록 단위로 단계적으로 부호화되어 출력되는 비트스트림을 본 발명에서는 '직사각 부호화 비트스트림'이라 칭한다.When the current block of the input image is input, the
부호화 선택부(230)는 직사각 부호화 비트스트림의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 계산하여 최소의 부호화 비용을 갖는 비트스트림을 출력한다. 즉, 부호화 선택부(230)는 정사각 부호화부(210)로부터 출력되는 정사각 부호화 비트스트림을 부호화하는 데에 따른 비용을 계산하고 직사각 부호화부(220)로부터 출력되는 직사각 부호화 비트스트림을 부호화하는 데에 따른 비용을 계산하여 각 비용을 비교함으로써 최소의 부호화 비용을 갖는 비트스트림을 출력한다.The
도 3은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.3 is a block diagram schematically illustrating an electronic configuration of a square encoding apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 정사각 부호화 장치는 도 2에서는 정사각 부호화부(210)로 구현될 수 있으므로, 이하에서는 정사각 부호화부(210)라 칭한다. 본 발명의 일 실시예에 따른 정사각 부호화부(210)는 정사각 감산부(310), 정사각 변 환부(320), 정사각 양자화부(330), 정사각 스캔부(340), 정사각 부호화부(350), 정사각 역 양자화부(360), 정사각 역 변환부(370), 정사각 가산부(380) 및 정사각 예측부(390)를 포함하여 구성된다.Since the square encoding apparatus according to an embodiment of the present invention may be implemented by the
정사각 감산부(310)는 입력 영상의 현재 블록에서 정사각 예측부(380)에 의해 예측된 예측 블록을 감산하여 잔차 블록을 생성하고 출력한다. 즉, 감산부(310)는 현재 블록의 각 화소의 원 화소값(Original Pixel Value)과 정사각 예측부(380)에 의해 예측된 예측 블록의 각 화소의 예측 화소값(Predicted Pixel Value)을 감산하여 화소값의 차이의 잔차 신호(Residual Signal)를 잔차 블록으로 생성한다.The
정사각 변환부(320)는 잔차 블록을 주파수 영역으로 변환하여 주파수 계수를 갖는 잔차 블록을 생성한다. 여기서, 정사각 변환부(320)는 이산 코사인 변환(DCT: Discrete Cosine Transform) 기반 변환 또는 하다마다 변환(Hadamard Transform) 등을 이용할 수도 있지만, 반드시 이에 한정되지 않고 DCT 변환을 개량 및 변형한 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있다.The
정사각 양자화부(330)는 정사각 변환부(320)에서 변환된 잔차 블록을 양자화(Quantization)하여 양자화 주파수 계수를 갖는 잔차 블록을 생성한다. 이러한 양자화 방법에는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등을 이용할 수 있지만 이를 개량한 양자화 등 다양한 양자화 방법을 이용할 수 있다.The
정사각 스캔부(340)는 정사각 양자화부(330)에서 양자화된 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식을 이용하여 스캔함으로 써 양자화 주파수 계수열을 생성한다.The
정사각 부호화부(350)는 양자화된 잔차 블록을 비트스트림으로 부호화한다. 즉, 정사각 부호화부(350)는 정사각 스캔부(340)에 의해 스캔되어 생성된 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다. 또한, 정사각 부호화부(350)는 양자화된 잔차 블록뿐만 아니라 정사각 예측부(390)에서 결정한 예측 모드 또는 예측 방향에 대한 정보를 잔차 블록과 함께 비트스트림으로 부호화할 수 있다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다. 정사각 부호화부(350)에서 출력되는 비트스트림을 본 발명에서는 정사각 부호화 비트스트림이라 한다.The
정사각 역 양자화부(360)는 양자화된 잔차 블록을 역 양자화(Inverse Quantization)하여 역 양자화된 잔차 블록을 생성한다. 즉, 정사각 역 양자화부(360)는 양자화된 잔차 블록의 양자화 주파수 계수를 역 양자화하여 역 양자화된 주파수 계수를 갖는 잔차 블록을 생성한다.The square
정사각 역 변환부(370)는 역 양자화된 잔차 블록을 역 변환(Inverse Transform)하여 역 변환된 잔차 블록을 생성한다. 즉, 정사각 역 변환부(370)는 역 양자화된 잔차 블록의 역 양자화 주파수 계수를 시간 영역으로 역 변환하여 화소값을 갖는 역 변환된 잔차 블록을 생성한다.The square
정사각 가산부(380)는 정사각 예측부(390)에 의해 예측된 예측 블록과 정사각 역 변환부(370)에 의해 역 변환된 잔차 블록을 가산하여 현재 블록을 복원하고 복원된 현재 블록을 정사각 예측부(390)로 출력한다.The
정사각 예측부(390)는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 정사각 예측부(390)는 정해진 블록 모드와 예측 모드에 따라서 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측함으로써 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 갖는 예측 블록을 생성한다. 이때, 현재 블록의 각 화소값을 예측하는 데에는 이전에 이미 부호화되고 복호화되어 복원된 이전 블록의 각 화소값을 이용하는데, 현재 블록 이전에 정사각 가산부(380)로부터 수신한 복원된 블록을 이용한다.The
도 4는 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.4 is a block diagram schematically illustrating an electronic configuration of a rectangular encoding apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 직사각 부호화 장치는 도 2에서는 직사각 부호화부(220)로 구현될 수 있으므로, 이하에서는 직사각 부호화부(220)라 칭한다. 본 발명의 일 실시예에 따른 직사각 부호화부(220)는 블록 분할부(410), 직사각 감산부(420), 직사각 변환부(430), 직사각 양자화부(440), 직사각 스캔부(450), 직사각 부호화부(460), 직사각 역 양자화부(470), 직사각 역 변환부(480), 직사각 가산부(490) 및 직사각 예측부(492)를 포함하여 구성된다.Since the rectangular encoding apparatus according to an embodiment of the present invention may be implemented by the
블록 분할부(410)는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력한다. 여기서, 현재 블록은 블록 모드와 부호화 모드에 따라 정사각형의 블록으로 결정되는데, 블록 분할부(410)는 인트라 예측에서 현재 블록의 화소를 더욱 가까운 인접 화소로부터 예측하여 예측 의 효율을 높이기 위해, 현재 블록을 직사각형 블록으로 분할하고 분할된 각 직사각 현재 블록을 단계적으로 예측할 수 있도록 한다.The
또한, 블록 분할부(410)는 정사각형의 현재 블록을 복수 개의 직사각형의 블록으로 분할하는데 있어서, 현재 블록의 예측 모드에 따른 예측 방향에 따라 직사각형의 블록 크기를 결정할 수 있다. 즉, 블록 분할부(410)에 의해 분할되는 직사각형 현재 블록은 Nx1 블록 N개, Nx2 블록 N/2개, 1xN 블록 N개, 2xN 블록 N/2개 등이 될 수 있다. 예를 들어, 현재 블록의 블록 모드가 NxN 블록이라고 가정하면, 예측 모드에 따른 예측 방향이 수직 방향인 경우 현재 블록은 Nx1 블록 N개 등으로 분할되고, 예측 방향이 수평 방향인 경우 1xN 블록 N개 등으로 분할될 수 있으며, 예측 모드가 DC 모드인 경우 1x1 블록, 4x4 블록과 같이 MxM 블록 N/M개 등으로 분할될 수 있다.Also, in dividing a square current block into a plurality of rectangular blocks, the
직사각 감산부(420)는 블록 분할부(410)에 의해 분할된 복수 개의 직사각 현재 블록에서 직사각 예측부(492)에 의해 예측된 복수 개의 직사각 예측 블록을 감산하여 복수 개의 직사각 잔차 블록을 생성한다.The
직사각 변환부(430)는 감산부(420)에 의해 생성된 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환한다. 즉, 직사각 변환부(430)는 DCT 기반 변환 등을 이용하여 직사각 잔차 블록의 각 화소값을 주파수 영역으로 변환하여 주파수 계수를 갖는 잔차 블록을 생성한다. 이때, 직사각형의 형태의 잔차 블록의 각 화소값을 주파수 변환하는 것은 행렬 변환 등을 통해 변환을 수행할 수 있다.The
직사각 양자화부(440)는 직사각 변환부(430)에 의해 변환된 복수 개의 직사 각 잔차 블록을 양자화한다. 즉, 직사각 양자화부(440)는 복수 개의 직사각 잔차 블록의 주파수 계수를 양자화하여 양자화 주파수 계수를 갖는 잔차 블록을 생성한다.The
직사각 스캔부(450)는 직사각 양자화부(440)에서 양자화된 복수 개의 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성한다. 즉, 직사각 스캔부(450)는 각각 양자화된 복수 개의 잔차 블록을 현재 블록의 블록 모드와 예측 모드의 예측 방향에 따라 결합하여 정사각형 형태의 잔차 블록을 생성하고, 정사각형 형태의 잔차 블록의 각 양자화 주파수 계수들을 스캐닝 방법에 따라 스캐닝하여 양자화 주파수 계수열을 생성한다.The
직사각 부호화부(460)는 직사각 스캔부(450)에 의해 생성된 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다. 즉, 직사각 부호화부(460)는 양자화 주파수 계수열들을 엔트로피 부호화(Entropy Encoding) 등의 다양한 부호화 방법을 이용하여 부호화함으로써 비트스트림을 생성한다. 이때, 직사각 부호화부(460)는 현재 블록의 예측 모드를 추가로 부호화할 수도 있다.The
이와 같이 도 5를 통해 전술한 직사각 부호화 장치가 입력 영상의 현재 블록을 부호화 방법을 설명하면, 직사각 부호화 장치는 입력 영상의 현재 블록이 입력되면 직사각형 블록 단위로 분할하여 복수 개의 직사각 현재 블록을 출력하고, 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 출력하며, 복수 개의 직사각 현재 블록에서 복수 개의 직사각 예측 블록을 감산하 여 복수 개의 직사각 잔차 블록을 생성하며, 복수 개의 직사각 잔차 블록을 주파수 영역으로 변환하고 변환된 복수 개의 직사각 잔차 블록을 양자화하며, 양자화된 복수 개의 직사각 잔차 블록을 결합하여 양자화된 정사각 잔차 블록을 생성하고 정사각 잔차 블록의 양자화 주파수 계수를 스캔하여 양자화 주파수 계수열을 생성한 후, 양자화 주파수 계수열을 부호화하여 비트스트림을 생성한다.As described above, when the rectangular encoding apparatus described above encodes the current block of the input image, the rectangular encoding apparatus outputs a plurality of rectangular current blocks by dividing the current block of the input image into rectangular block units. Predicting a plurality of rectangular current blocks stepwise to output a plurality of rectangular prediction blocks, subtracting a plurality of rectangular prediction blocks from the plurality of rectangular current blocks to generate a plurality of rectangular residual blocks, and generating a plurality of rectangular residual blocks Convert to the frequency domain and quantize the transformed rectangular residual blocks, combine the quantized rectangular residual blocks to generate a quantized square residual block, and generate quantized frequency coefficient sequences by scanning the quantized frequency coefficients of the square residual block Quantization frequency meter Encoding the heat to generate a bitstream.
도 5는 본 발명의 일 실시예에 따른 부호화 선택 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.5 is a block diagram schematically illustrating an electronic configuration of an encoding selection apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 부호화 선택 장치는 도 2에서는 부호화 선택부(230)로 구현될 수 있으므로, 이하에서는 부호화 선택부(230)라 칭한다. 본 발명의 일 실시예에 따른 부호화 선택부(230)는 비트스트림 선택부(510) 및 비트스트림 식별자 삽입부(520)를 포함하여 구성된다.Since the encoding selecting apparatus according to the embodiment of the present invention may be implemented by the
비트스트림 선택부(510)는 직사각 부호화부(460)로부터 직사각 부호화 비트스트림을 수신하고 정사각 부호화부(350)로부터 정사각 부호화 비트스트림을 수신하면, 직사각 부호화 효율과 정사각 부호화 효율을 계산하여 더 큰 부호화 효율을 갖는 부호화에 따른 비트스트림을 출력한다. 여기서, 부호화 효율은 부호화 비용으로서 계산될 수 있으며, 부호화 비용이 최소인 부호화가 부호화 효율이 더 큰 부호화로 결정될 수 있다.When the
비트스트림 식별자 삽입부(520)는 비트스트림 선택부(510)에 의해 출력되는 비트스트림을 식별하기 위한 식별자를 생성하여 비트스트림 선택부(510)에서 출력되는 비트스트림에 삽입한다.The
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
영상 부호화 장치(200)는 부호화하고자 하는 입력 영상의 현재 블록을 그대로 정사각형 블록 단위로 부호화함으로써 정사각 부호화 비트스트림을 생성하고(S610), 현재 블록을 직사각형 블록 단위로 분할하여 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 생성한다(S620).The
정사각 비트스트림과 직사각 비트스트림이 생성되면, 영상 부호화 장치(200)는 정사각 부호화 비트스트림의 부호화 효율을 계산하고 직사각 부호화 비트스트림의 부호화 효율을 계산하여 부호화 효율이 큰 부호화 비트스트림을 출력한다(S630). 여기서, 부호화 효율은 각 부호화 비트스트림을 부호화하는 데 소요되는 부호화 비용이 될 수 있으며, 부호화 비용이 작으면 부호화 효율을 큰 것으로 결정할 수 있다. 또한, 영상 부호화 장치(200)는 부호화 효율이 큰 비트스트림을 출력하면서 영상 복호화 장치에서 해당 비트스트림이 정사각 부호화를 이용하여 부호화된 비트스트림인지 또는 직사각 부호화를 이용하여 부호화된 비트스트림인지 여부를 식별할 수 있도록 비트스트림 식별자를 비트스트림에 삽입하여 출력할 수 있다.When the square bitstream and the rectangular bitstream are generated, the
도 7은 본 발명의 일 실시예에 따른 비트스트림 선택 과정을 설명하기 위한 순서도이다.7 is a flowchart illustrating a bitstream selection process according to an embodiment of the present invention.
도 6을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 방법에서, 단계 S630과 같이 부호화 효율이 큰 비트스트림을 출력하는 단계는 도 7에 나타낸 바와 같은 과정을 통해 수행될 수 있다.In the image encoding method according to the embodiment of the present invention described above with reference to FIG. 6, the step of outputting a bitstream having high encoding efficiency as in step S630 may be performed through the process as illustrated in FIG. 7.
영상 부호화 장치(200)의 부호화 선택부(230)는 정사각 부호화 비트스트림과 직사각 부호화 비트스트림의 부호화 효율을 계산하기 위해, 정사각 부호화 비트스트림의 부호화 비용과 직사각 부호화 비트스트림의 부호화 비용을 계산한다(S710). 여기서, 부호화 비용은 율-왜곡 비용(RDcost: Rate-Distortion Cost)이 될 수 있지만, 다른 부호화 비용이 사용될 수 있다.The
부호화 비용을 계산한 영상 부호화 장치(200)는 직사각 부호화 비용의 부호화 비용과 정사각 부호화 비트스트림의 부호화 비용을 비교하여(S720), 직사각 부호화 비트스트림의 부호화 비용이 정사각 부호화 비트스트림의 부호화 비용 보다 작은 경우에는 직사각 부호화 비트스트림을 출력한다(S730).The
또한, 영상 부호화 장치(200)는 직사각 부호화 비트스트림으로 부호화된 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S740), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 '1'로서 생성하고 직사각 부호화 비트스트림과 함께 비트스트림 식별자를 출력하고(S750), 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 생성하고 출력하지 않을 수 있다. 즉, 해당 비트스트림의 양자화 주파수 계수가 모두 '0'인 경우에는 영상 복호화 장치에서 직사각 부호화 비트스트림과 정사각 부호화 비트스트림을 모두 정사각형 블록 단위로 복호화하는 통상적인 복호화를 통해 복호화할 수 있으므로 비트스트림 식별자를 출력하지 않으며, 그를 통해, 비트스트림 식별자를 위한 비트를 절약할 수 있다.In addition, the
또한, 영상 부호화 장치(200)는 단계 S720의 비교 결과, 직사각 부호화 비트 스트림의 부호화 비용이 정사각 부호화 비트스트림의 부호화 비용 보다 크거나 같은 경우에는 정사각 부호화 비트스트림을 출력한다(S760). 또한, 정사각 부호화 비트스트림으로 부호화된 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S770), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 '0'로서 생성하고 정사각 부호화 비트스트림과 함께 비트스트림 식별자를 출력하고(S780), 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 생성하고 출력하지 않을 수 있다. 즉, 해당 비트스트림의 양자화 주파수 계수가 모두 '0'인 경우에는 영상 복호화 장치에서 직사각 부호화 비트스트림과 정사각 부호화 비트스트림을 모두 정사각형 블록 단위로 복호화하는 통상적인 복호화를 통해 복호화할 수 있으므로 비트스트림 식별자를 출력하지 않으며, 그를 통해, 비트스트림 식별자를 위한 비트를 절약할 수 있다.In addition, when the encoding cost of the rectangular encoded bit stream is greater than or equal to the encoding cost of the square encoded bit stream, the
도 8은 본 발명의 일 실시예에 따른 직사각 현재 블록을 나타낸 예시도이다.8 is an exemplary view showing a rectangular current block according to an embodiment of the present invention.
도 8에서는 현재 블록의 블록 모드가 4x4 블록 모드라고 가정하고, 현재 블록을 그 예측 모드에 따라 직사각형 블록 단위로 분할하여 생성되는 직사각 현재 블록을 예시적으로 나타내었다.In FIG. 8, it is assumed that the block mode of the current block is a 4x4 block mode, and the rectangular current block generated by dividing the current block into rectangular block units according to the prediction mode is exemplarily illustrated.
현재 블록의 예측 모드가 수평 모드인 경우 직사각 현재 블록은 도시한 바와 같이, 1x4 크기의 직사각 현재 블록으로 분할되고, 현재 블록의 예측 모드가 수직 모드인 경우 4x1 크기의 직사각 현재 블록으로 분할되며, 현재 블록의 예측 모드가 대각선 오른쪽 모드인 경우 수직 모드와 유사하게 4x1 크기의 직사각 현재 블록으로 분할된다.When the prediction mode of the current block is the horizontal mode, the rectangular current block is divided into a rectangular current block of size 1x4 as shown, and when the prediction mode of the current block is the vertical mode, the rectangular current block is divided into a rectangular current block of size 4x1. When the prediction mode of the block is the diagonal right mode, the block is divided into rectangular current blocks having a size of 4x1 similar to the vertical mode.
도 8에서 각 직사각 현재 블록 내에 있는 P0 *(m) (m = 0, 1, 2, 3)은 직사각 예측부(492)에 의해 예측되는 예측 화소를 나타내고, Pn(m) (m = 0, 1, 2, 3, n = 0, 1, …, N)은 예측 방향에 따라 직사각 현재 블록 이전에 부호화된 화소들을 나타낸다.In FIG. 8, P 0 * (m) (m = 0, 1, 2, 3) in each rectangular current block represents a prediction pixel predicted by the
직사각 예측부(492)는 직사각 현재 블록을 예측하여 직사각 예측 블록을 생성할 때, 수학식 1과 같이 직사각 예측 블록의 각 화소를 예측 화소값을 계산할 수 있다.When the
여기서, αn은 사용자에 의해서 조정될 수 있는 화소 가중치이다.Where n is the pixel weight that can be adjusted by the user.
도 9는 본 발명의 일 실시예에 따라 직사각 예측부가 단계적 인트라 예측을 수행하는 과정을 설명하기 위한 예시도이다.9 is an exemplary diagram for describing a process of performing a stepped intra prediction by the rectangular prediction unit according to an embodiment of the present invention.
도 9에서는 수학식 1에서 N=1이고, α1=1이며, 예측 모드가 수평 모드인 경우, 4x4 크기의 현재 블록을 복수 개의 직사각 현재 블록으로 분할하여 단계적으로 예측하는 과정을 나타내었다.In FIG. 9, when N = 1, α 1 = 1, and the prediction mode is a horizontal mode, a process of predicting stepwise by dividing a 4 × 4 current block into a plurality of rectangular current blocks is shown.
도 9에 나타낸 바와 같이, 첫 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 A', B', C', D'를 이용하여 현재 블록의 첫번째 직사각 현재 블록의 화소 P11, P21, P31, P41을 예측하고, 그 잔차 신호를 가지는 직사각 잔 차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P11', P21', P31', P41'의 화소를 갖는다.As shown in FIG. 9, in the first step, pixels P11, P21, and P31 of the first rectangular current block of the current block using pixels A ', B', C ', and D' of the previously encoded rectangular reconstructed block. , P41 is predicted, and a rectangular reconstruction block is generated by encoding and reconstructing a rectangular residual block having the residual signal. The rectangular recovery block has pixels of P11 ', P21', P31 ', and P41'.
두 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P11', P21', P31', P41'를 이용하여 현재 블록의 두 번째 직사각 현재 블록인 화소 P12, P22, P32, P42를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P12', P22', P32', P42'의 화소를 갖는다.In the second step, pixels P12, P22, P32, and P42, which are the second rectangular current blocks of the current block, are predicted using the pixels P11 ', P21', P31 ', and P41' of the previously encoded rectangular block. A rectangular reconstruction block is generated by encoding and reconstructing a rectangular residual block having the residual signal. The rectangular recovery block has pixels of P12 ', P22', P32 ', and P42'.
세 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P12', P22', P32', P42'를 이용하여 현재 블록의 세 번째 직사각 현재 블록인 화소 P13, P23, P33, P43를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P13', P23', P33', P43'의 화소를 갖는다.In the third step, pixels P13, P23, P33, and P43, which are the third rectangular current block of the current block, are predicted using the pixels P12 ', P22', P32 ', and P42 of the previously encoded rectangular block. A rectangular reconstruction block is generated by encoding and reconstructing a rectangular residual block having the residual signal. The rectangular recovery block has pixels of P13 ', P23', P33 ', and P43'.
네 번째 단계에서는 이전에 부호화되고 복원된 직사각 이전 블록의 화소 P13', P23', P33', P43'를 이용하여 현재 블록의 네 번째 직사각 현재 블록인 화소 P14, P24, P34, P44를 예측하고, 그 잔차 신호를 가지는 직사각 잔차 블록에 대해 부호화하고 복원하여 직사각 복원 블록을 생성한다. 직사각 복원 블록은 P14', P24', P34', P44'의 화소를 갖는다.In the fourth step, pixels P14, P24, P34, and P44, which are the fourth rectangular current block of the current block, are predicted using the pixels P13 ', P23', P33 ', and P43' of the previously encoded rectangular block. A rectangular reconstruction block is generated by encoding and reconstructing a rectangular residual block having the residual signal. The rectangular recovery block has pixels of P14 ', P24', P34 ', and P44'.
이와 같이, 직사각 예측부(492)는 현재 블록의 복수 개의 직사각 현재 블록을 단계적으로 예측하는데, 단계적으로 예측한다고 함은 모든 직사각 현재 블록을 동시에 예측하는 것이 아니라 각 직사각 현재 블록을 예측할 때 이전에 부호화되고 복원된 직사각 이전 블록의 화소를 이용하여 예측한다는 것이다.As described above, the
도 10은 본 발명의 일 실시예에 따른 직사각 스캔 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.10 is a block diagram schematically illustrating an electronic configuration of a rectangular scan apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 직사각 스캔 장치는 도 4에서는 직사각 스캔부(450)로 구현될 수 있다. 이하에서는 본 발명의 일 실시예에 따른 직사각 스캔 장치를 직사각 스캔부(450)라 칭한다.The rectangular scan device according to an embodiment of the present invention may be implemented as a
본 발명의 일 실시예에 따른 직사각 스캔부(450)는 블록 결합부(1010), 초기 스캐닝 패턴 결정부(1020), 스캐닝부(1030) 및 스캐닝 패턴 갱신부(1040)를 포함하여 구성될 수 있다.The
블록 결합부(1010)는 직사각 양자화부(440)로부터 전달된 양자화된 복수 개의 직사각 잔차 블록을 현재 블록의 예측 모드에 따른 예측 방향에 따라 결합하여 정사각형 형태의 양자화된 정사각 잔차 블록을 생성한다. 예를 들어, 블록 결합부(1010)는 양자화된 복수 개의 잔차 블록을 해당 블록 모드에 따른 블록 크기에 맞도록 그리고 예측 모드의 예측 방향에 따라 결합하여 정사각형 형태의 잔차 블록을 생성할 수 있다. 즉, 양자화된 복수 개의 잔차 블록이 4x1 블록 4개라면, 4 개의 4x1 블록을 차례로 결합하되 예측 방향인 수직 방향으로 결합하여 4x4 블록 크기의 양자화된 잔차 블록을 생성할 수 있다.The
초기 스캐닝 패턴 결정부(1020)는 블록 결합부(1010)에 의해 결합된 양자화된 정사각 잔차 블록의 양자화 주파수 계수를 스캐닝할 초기 스캐닝 패턴을 결정한다. 이때, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기에 따라 초기 스캐닝 패턴 을 결정한다. 예를 들어, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 또한, 초기 스캐닝 패턴 결정부(1020)는 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다.The initial
스캐닝부(1030)는 결정된 스캐닝 패턴(초기 스캐닝 패턴 결정부(1020)에 의해 결정되는 초기 스캐닝 패턴 또는 스캐닝 패턴 갱신부(104)에 의해 결정되는 갱신 스캐닝 패턴)에 따라 양자화된 잔차 블록의 양자화 주파수 계수들을 스캐닝하여 양자화 주파수 계수열을 생성한다.The
스캐닝 패턴 갱신부(1040)는 정사각 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 스캐닝 패턴을 적응적으로 갱신할 수 있다. 예를 들어, 스캐닝 패턴 갱신부(1040)는 영상 부호화 장치(200)가 현재 블록을 부호화할 때마다 정사각 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 확률이 큰 순서대로 스캐닝 순서를 결정함으로써, 스캐닝 패턴을 적응적으로 갱신할 수 있다.The
도 11은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 방법을 설명하기 위한 순서도이다.11 is a flowchart illustrating a method of determining an initial scanning pattern according to an embodiment of the present invention.
직사각 스캔부(450)는 양자화된 복수 개의 직사각 잔차 블록을 블록 모드 단 위로 결합하여 정사각 잔차 블록을 생성하고(S1110), 현재 블록이 속한 영상의 크기가 기 설정된 크기 보다 큰지 여부를 확인하여(S1120), 영상의 크기가 기 설정된 크기 보다 큰 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정하고(S1130), 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정한다(S1140).The
도 12는 본 발명의 바람직한 실시예에 따라 복수 개의 직사각 잔차 블록이 정사각 잔차 블록으로 결합된 것을 나타낸 예시도이다.12 is an exemplary view illustrating a plurality of rectangular residual blocks combined into square residual blocks according to a preferred embodiment of the present invention.
도 12에는 현재 블록의 예측 모드가 수직 모드인 경우, 복수 개의 직사각 잔차 블록이 4x4 블록 모드 또는 8x8 블록 모드 단위로 결합하여 생성된 정사각 잔차 블록의 양자화 주파수 계수들을 예시적으로 나타내었다.12 illustrates quantization frequency coefficients of a square residual block generated by combining a plurality of rectangular residual blocks in units of a 4x4 block mode or an 8x8 block mode when the prediction mode of the current block is the vertical mode.
4x4 블록 모드로 결합된 정사각 잔차 블록은 4x1 크기의 직사각 잔차 블록이 수직 방향으로 결합된 것이고, 8x8 블록 모드로 결합된 정사각 잔차 블록은 8x1 크기의 직사각 잔차 블록이 수직 방향으로 결합된 것이다.A square residual block combined in 4x4 block mode is a rectangular residual block of 4x1 size combined in a vertical direction, and a square residual block combined in 8x8 block mode is an 8x1 rectangular residual block combined in a vertical direction.
현재 블록을 복수 개의 직사각 현재 블록을 분할하여 각 직사각 현재 블록의 잔차 블록을 변환하고 양자화하기 때문에, 양자화된 각 직사각 잔차 블록의 좌측에 DC 성분의 양자화 주파수 계수가 위치하게 된다. 따라서, 정사각형 블록 단위로 결합한 양자화된 정사각 잔차 블록의 좌측에 DC 성분의 계수가 몰리게 된다.Since the current block is divided into a plurality of rectangular current blocks to transform and quantize the residual blocks of each rectangular current block, the quantized frequency coefficient of the DC component is positioned to the left of each quantized rectangular residual block. Therefore, the coefficient of the DC component is driven to the left of the quantized square residual block combined in the square block unit.
도 13은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 과정을 설명하기 위한 예시도이다.13 is an exemplary view for explaining a process of determining an initial scanning pattern according to an embodiment of the present invention.
통상적으로 정사각형 형태의 정사각 잔차 블록에서는 DC 성분의 계수들과 잔차 블록의 최하단 부분의 계수들에 '0'이 아닌 값이 빈번하게 발생한다. 따라서, 스캐닝할 때 '0'이 아닌 값이 발생할 확률이 높은 DC 성분의 계수들과 최하단 부분의 계수들을 우선적으로 스캐닝하면 부호화 효율을 높일 수 있다.In a square residual block, a non-zero value frequently occurs in the coefficients of the DC component and the coefficients of the lowest part of the residual block. Accordingly, if scanning is performed first, the coefficients of the DC component and the coefficients of the lowermost portion having a high probability of occurrence of a value other than '0' may be improved.
한편, 영상의 크기에 따라 정사각 잔차 블록의 양자화 주파수 계수들에서 '0'이 아닌 값이 발생할 확률이 달라지는데, 영상의 크기가 커지면 DC 성분의 계수에 '0'이 아닌 값이 발생할 확률이 최하단 부분의 계수들보다 더 높아지는 특성이 있다. 따라서, 본 발명에서는 영상의 크기에 따라 초기 스캐닝 패턴을 결정한다.Meanwhile, the probability that a non-zero value occurs in the quantization frequency coefficients of a square residual block varies according to the size of the image. When the size of the image increases, the probability that a non-zero value occurs in the coefficient of the DC component is lowest. Is higher than the coefficients of. Therefore, in the present invention, the initial scanning pattern is determined according to the size of the image.
예를 들어, 영상의 크기를 비교할 임계 크기를 기 설정해 놓고, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 또한, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 정사각 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다.For example, if a threshold size for comparing the image size is set in advance, and the image size is larger than or equal to the preset size, the DC component coefficient and the lowest coefficient of the square residual block have priority over the quantization frequency coefficients of the square residual block. An initial scanning pattern can be determined by ranking, but giving a higher priority to the coefficients of the DC component. In addition, when the size of the image is smaller than the preset size, the initial scanning pattern may be determined by giving the same priority to the DC component coefficient and the lowest coefficient of the square residual block among the quantization frequency coefficients of the square residual block.
도 13에서는 영상의 크기를 비교하기 위한 기 설정된 크기가 720p인 것으로 설정될 때 결정되는 초기 스캐닝 패턴을 예시적으로 나타낸 것이다. 영상의 크기가 QCIF 또는 CIF인 경우에는 영상의 크기가 기 설정된 크기 보다 작다고 판단하여 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 스캐닝 패턴을 결정할 수 있다. 이 경우, 도시한 화살표의 순서와 같이, DC(3)에서 시작해서 AC1(3), DC(2), DC(1), AC1(2), AC1(3), …, AC3(0)의 순서로 초기 스캐닝 패턴이 결정된다.FIG. 13 exemplarily illustrates an initial scanning pattern determined when the preset size for comparing the sizes of images is set to 720p. When the size of the image is QCIF or CIF, it may be determined that the size of the image is smaller than the preset size, and the initial scanning pattern may be determined by giving the same priority to the coefficient of the DC component and the lowest coefficient of the square residual block. In this case, starting from
또한, 영상의 크기가 720p 또는 1080p인 경우에는 영상의 크기가 기 설정된 크기 보다 크거나 같다고 판단하여 DC 성분의 계수에 더 큰 우선 순위를 두어 초기 스캔닝 패턴을 결정할 수 있다. 이 경우, 도시한 화살표 순서와 같이, DC(3), DC(2), DC(1), DC(0), AC1(3), AC1(2), …, AC3(0)의 순서로 초기 스캐닝 패턴이 결정된다.In addition, when the size of the image is 720p or 1080p, it may be determined that the size of the image is greater than or equal to the preset size, and the initial scanning pattern may be determined by giving a higher priority to the coefficient of the DC component. In this case, as illustrated arrow order, DC (3), DC ( 2), DC (1), DC (0), AC 1 (3), AC 1 (2), ... , The initial scanning pattern is determined in the order of AC 3 (0).
도 14는 본 발명의 일 실시예에 따라 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도이다.14 is an exemplary view for explaining a process of updating a scanning pattern according to an embodiment of the present invention.
도 13에서 예를 들어 전술한 바와 같이, 초기 스캐닝 패턴이 결정되면, 직사각 스캔부(450)는 초기 스캐닝 패턴에 따라서 양자화된 정사각형 잔차 블록의 양자화 주파수 계수들을 스캐닝하여 양자화 주파수 계수열을 생성하고 직사각 부호화부(460)에서 양자화 주파수 계수열을 부호화하여 직사각 부호화 비트스트림을 생성한다. 이후, 현재 블록 이후의 다음 블록이 입력되면 다시 복수 개의 직사각 다음 블록을 분할하여 그 잔차 블록을 변환하고 양자화하여 정사각 잔차 블록을 정사각형 잔차 블록으로 결합한 후 스캐닝하는데, 이와 같은 과정을 반복할 때마다 처음에 결정된 초기 스캐닝 패턴을 사용하여 스캐닝하는 것이 아니라, 적응적으로 스캐 닝 패턴을 갱신하여 스캐닝한다.For example, as described above with reference to FIG. 13, when the initial scanning pattern is determined, the
이때, 스캐닝 패턴을 갱신하는 기준은 정사각 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률이 될 수 있다. 예를 들어, 영상의 복수 개의 블록을 부호화할 때마다, 정사각 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 그 확률이 큰 순서대로 스캐닝 순서를 결정함으로써, 스캐닝 패턴을 적응적으로 갱신할 수 있다.In this case, a criterion for updating the scanning pattern may be a probability that a quantization frequency coefficient other than '0' occurs for each position of the square residual block. For example, each time a plurality of blocks of an image are encoded, a scanning pattern is calculated by calculating a probability that a non-zero quantization frequency coefficient occurs at each position of a square residual block and determining the scanning order in the order of the greatest probability. Can be adaptively updated.
도 14에 도시한 바와 같이, 초기 스캐닝 패턴이 결정되어 해당 정사각 잔차 블록에 대해 스캐닝하여 부호화가 완료되면, 다음 블록을 부호화하는 과정을 반복하면서, 적어도 1회 이상 부호화될 때마다 각 양자화 주파수 계수의 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산한다. 예를 들어, 도시한 바와 같이, 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률 분포가 계산될 수 있으며, 이때에는 그 확률 분포에 따라 확률이 높은 순서대로 차례로 스캐닝 패턴을 결정하여 갱신된 스캐닝 패턴을 결정할 수 있다.As shown in FIG. 14, when the initial scanning pattern is determined and the encoding is completed by scanning the corresponding square residual block, the process of encoding the next block is repeated, and each quantization frequency coefficient of each quantization frequency coefficient is repeated at least once. Calculate the probability of generating a non-zero quantized frequency coefficient for each position. For example, as illustrated, a probability distribution in which quantization frequency coefficients other than '0' may be generated at each position may be calculated. In this case, the scanning patterns may be sequentially determined and updated in order of high probability according to the probability distribution. The scanning pattern can be determined.
이상에서 설명한 바와 같이, 영상 부호화 장치(200)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.As described above, the image encoded in the bitstream by the
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.15 is a block diagram schematically illustrating an electronic configuration of an image decoding apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 영상 복호화 장치(1500)는 예측 모드 추출부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530), 직사각 복원부(1540) 및 정사각 복원부(1550)를 포함하여 구성될 수 있다.The
이러한 영상 복호화 장치(1500)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.The
예측 모드 추출부(1510)는 비트스트림으로부터 예측 모드에 대한 정보를 추출한다. 여기서, 예측 모드에 대한 정보는 영상 부호화 장치(200)에서 결정한 현재 블록의 예측 모드를 식별하기 위한 정보로서, 현재 블록의 예측 모드가 수평 모드인지, 수직 모드인지, DC 모드 인지 등에 대한 정보를 포함한다.The
복호화부(1520)는 비트스트림을 복호화하여 양자화 주파수 계수열을 추출한다. 복호화부(1520)는 양자화 주파수 계수열을 추출하여 출력할 때, 비트스트림 식별자 추출부(1530)의 제어에 따라 양자화 주파수 계수열을 직사각 복원부(1540)와 정사각 복원부(1550) 중 하나로 출력한다.The
비트스트림 식별자 추출부(1530)는 양자화 주파수 계수열을 이용하여 비트스트림으로부터 비트스트림 식별자를 추출하고, 비트스트림 식별자에 따라 복호화부(1520)로 하여금 양자화 주파수 계수열을 직사각 복원부(1540) 및 정사각 복원부(1550) 중 하나로 출력하도록 제어한다.The
예를 들어, 비트스트림 식별자 추출부(1530)는 복호화부(1520)로부터 전달된 양자화 주파수 계수열의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우에는 비트스트림 식별자를 비트스트림으로부터 추출한다. 비트스트림 식별자 추출부(1530)는 추출한 비트스트림 식별자가 '1'인 경우에는 비트스트림이 직사각 부호화 비트스트림이므로 복호화부(1520)로 하여금 비트스트림을 복호화한 양자화 주파수 계수열을 직사각 복원부(1540)로 출력하도록 제어하고, 비트스트림 식별자가 '0'인 경우에는 비트스트림이 정사각 부호화 비트스트림이므로 복호화부(1520)로 하여금 비트스트림을 복호화한 양자화 주파수 계수열을 정사각 복원부(1550)로 출력하도록 제어한다. 또한, 비트스트림 식별자 추출부(1530)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림 식별자를 비트스트림으로부터 추출하지 않고, 복호화부(1520)로 하여금 양자화 주파수 계수열을 정사각 복원부(1550)로 출력하도록 제어한다.For example, the
직사각 복원부(1540)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하여 출력한다. 즉, 직사각 복원부(1540)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각 형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하고 역 변환하며, 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하며, 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상의 현재 블록을 복원한다.The
정사각 복원부(1550)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하여 출력한다.The
도 16은 본 발명의 일 실시예에 따른 직사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.16 is a block diagram schematically illustrating an electronic configuration of a rectangular decoding apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 직사각 복호화 장치는 도 15에서는 직사각 복원부(1540)로 구현될 수 있다. 이하에서는 본 발명의 일 실시예에 따른 직사각 복호화 장치를 직사각 복원부(1540)라 칭한다.The rectangular decoding apparatus according to an embodiment of the present invention may be implemented by the
본 발명의 일 실시예에 따른 직사각 복원부(1540)는 직사각 역 스캔부(1610), 직사각 역 양자화부(1620), 직사각 역 변환부(1630), 직사각 예측부(1640) 및 직사각 가산부(1650)를 포함하여 구성될 수 있다.According to an exemplary embodiment, the
직사각 역 스캔부(1610)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력한다.When the quantized frequency coefficient extracted by decoding the bitstream is input, the rectangular
여기서, 직사각 역 스캔부(1610)는 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하여 양자화 주파수 계수를 스캔할 수 있다. 예를 들어, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 우선 순위를 두되, DC 성분의 계수에 더 큰 우선 순위를 두어 초기 역 스캔닝 패턴을 결정할 수 있으며, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수 중 DC 성분의 계수와 정사각 잔차 블록의 최하단 계수에 동일한 우선 순위를 두어 초기 역 스캐닝 패턴을 결정할 수 있다.Here, the rectangular
또한, 직사각 역 스캔부(1610)는 양자화된 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률에 따라 역 스캐닝 패턴을 적응적으로 갱신할 수 있는데, 예를 들면, 비트스트림을 복호화할 때마다, 양자화된 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 확률이 큰 순서대로 역 스캐닝 순서를 결정함으로써, 역 스캐닝 패턴을 적응적으로 갱신할 수 있다.Also, the rectangular
직사각 역 양자화부(1620)는 복수 개의 양자화된 직사각 잔차 블록을 역 양자화한다. 직사각 역 변환부(1630)는 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환한다.The
직사각 예측부(1640)는 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성한다. 여기서, 직사각 예측부(1640)는 복수 개의 직사각 현재 블록을 비트스트 림으로부터 추출된 예측 모드에 의한 예측 방향에 따라 단계적으로 예측한다.The
직사각 가산부(1650)는 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원하고 복원 영상을 출력한다.The
이와 같은 직사각 복원부(1540)는 비트스트림이 복호화되어 추출된 양자화 주파수 계수가 입력되면 역 스캐닝하여 양자화된 잔차 블록을 생성하고 직사각형 블록 단위로 분할하여 복수 개의 양자화된 직사각 잔차 블록을 출력하며, 복수 개의 양자화된 직사각 잔차 블록을 역 양자화하고 복수 개의 역 양자화된 직사각 잔차 블록을 시간 영역으로 역 변환하며, 복수 개의 역 변환된 직사각 잔차 블록에 대응하는 복수 개의 직사각 현재 블록을 단계적으로 예측하여 복수 개의 직사각 예측 블록을 생성하며, 복수 개의 직사각 예측 블록에 복수 개의 역 변환된 직사각 잔차 블록을 가산하여 복수 개의 직사각 현재 블록을 복원하고 각 직사각 현재 블록을 결합하여 영상을 복원한다.When the quantized frequency coefficient extracted by decoding the bitstream is input, the
도 17은 본 발명의 일 실시예에 따른 정사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.17 is a block diagram schematically illustrating an electronic configuration of a square decoding apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 정사각 복호화 장치는 도 15에서는 정사각 복원부(1550)로 구현될 수 있다. 이하에는 본 발명의 일 실시예에 따른 정사각 복호화 장치를 정사각 복원부(1550)라 칭한다.The square decoding apparatus according to the embodiment of the present invention may be implemented by the
정사각 복원부(1550)는 정사각 역 스캔부(1710), 정사각 역 양자화부(1720), 정사각 역 변환부(1730), 정사각 예측부(1740) 및 정사각 가산부(1750)를 포함하여 구성될 수 있다.The
정사각 역 스캔부(1710)는 복호화부(1520)로부터 출력되는 양자화 주파수 계수열을 역 스캔닝하여 양자화된 정사각 잔차 블록을 생성한다. 이때, 정사각 역 스캔부(1710)는 부호화하는 과정에서 스캐닝 패턴을 적응적으로 갱신할 수 있다.The square
정사각 역 양자화부(1720)는 양자화된 정사각 잔차 블록을 역 양자화한다. 정사각 역 변환부(1730)는 역 양자화된 정사각 잔차 블록을 시간 영역으로 역 변환한다.The
정사각 예측부(1740)는 역 변환된 정사각 잔차 블록에 대응하는 정사각 현재 블록을 예측하여 정사각 예측 블록을 생성한다. 여기서, 정사각 예측부(1740)는 비트스트림으로부터 추출된 예측 모드에 의한 예측 방향에 따라 정사각 현재 블록을 예측한다.The
정사각 가산부(1750)는 정사각 예측 블록에 역 변환된 정사각 잔차 블록을 가산하여 정사각 현재 블록을 복원함으로써 영상을 복원하고 복원 영상을 출력한다.The square adder 1750 reconstructs an image by adding an inverse transformed square residual block to the square prediction block to reconstruct the square current block, and outputs a reconstructed image.
도 18은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.18 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(1500)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.The
이를 위해, 영상 복호화 장치(1500)는 비트스트림으로부터 예측 모드에 대한 정보를 추출하고(S1810), 비트스트림을 복호화하여 양자화 주파수 계수열을 추출한다(S1820). 양자화 주파수 계수열을 추출한 영상 복호화 장치(1500)는 양자화 주파수 계수열의 양자화 주파수 계수가 모두 '0'인지 여부를 확인한다(S1830). 영상 복호화 장치(1500)는, 단계 S1830의 확인 결과 양자화 주파수 계수가 모두 '0'인 경우에는 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 예측 모드에 따라 현재 블록을 복원하고 출력하고(S1840), 단계 S1830의 확인 결과 양자화 주파수 계수가 모두 '0'인 경우에는 비트스트림으로부터 비트스트림 식별자를 추출한다(S1850). 비트스트림 식별자를 추출한 영상 복호화 장치(1500)는 비트스트림 식별자가 '1'인지 여부를 확인하여(S1860), 비트스트림 식별자가 '1'인 경우에는 해당 비트스트림이 직사각 비트스트림인 것으로 식별하고 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 모드에 따라 단계적으로 영상의 현재 블록을 복원하여 출력한다(S1870). 또한, 영상 복호화 장치(1500)는 비트스트림 식별자가 '1'이 아닌 경우에는 해당 비트스트림이 정사각 비트스트림인 것으로 식별하고 단계 S1840으로 진행하여, 양자화 주파수 계수열을 이용하여 정사각 블록 단위로 예측 모드에 따라 영상의 현재 블록을 복원하고 출력한다.To this end, the
도 19는 본 발명의 일 실시예에 따라 초기 역 스캐닝 패턴에 따라 역 스캐닝하는 과정을 설명하기 위한 예시도이다.19 is an exemplary diagram for describing a process of reverse scanning according to an initial reverse scanning pattern according to an embodiment of the present invention.
영상 복호화 장치(1500)는 영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하고, 초기 역 스캐닝 패턴에 따라 양자화 주파수 계수열을 역 스캐닝하여 양자화된 잔차 블록을 구성한다. 도 19에서는 양자화 주파수 계수열이 "0, -1, 2, 0, 4, 0, 0, 0, …"이고, 영상의 크기가 CIF이며, 블록 모드가 4x4 크기이고 예측 모드가 수직 모드인 경우, 결정된 초기 스캐닝 패턴에 따라 역 스캔하여 양자화된 잔차 블록을 구성하는 과정을 나타내었다.The
영상의 크기에 따라 초기 역 스캐닝 패턴을 결정하는 것은 도 13을 통해 전술한, 초기 스캐닝 패턴을 결정하는 것과 유사하다. 즉, 영상의 크기에 따라 정사각 잔차 블록의 양자화 주파수 계수들에서 '0'이 아닌 값이 발생할 확률이 달라지고, 영상의 크기가 커지면 DC 성분의 계수에 '0'이 아닌 값이 발생할 확률이 최하단 부분의 계수들보다 더 높아지는 특성을 이용하여, 영상의 크기에 따라 초기 스캐닝 패턴을 결정하는 것이다.Determining the initial reverse scanning pattern according to the size of the image is similar to determining the initial scanning pattern described above with reference to FIG. 13. That is, the probability that a non-zero value occurs in the quantization frequency coefficients of a square residual block depends on the size of the image, and when the image size increases, the probability that a non-zero value occurs in the coefficient of the DC component is the lowest. By using a characteristic that is higher than the coefficients of the part, the initial scanning pattern is determined according to the size of the image.
예를 들어, 영상의 크기를 비교할 임계 크기를 기 설정해 놓고, 영상의 크기가 기 설정된 크기 보다 크거나 같은 경우에는 양자화 주파수 계수열에서 차례대로 읽어들인 양자화 주파수 계수를 양자화된 잔차 블록의 양자화 주파수 계수의 각 위치 중 DC 성분의 계수에 해당하는 위치와 양자화된 잔차 블록의 최하단 계수에 해당하는 위치에 우선 순위를 두되, DC 성분의 계수의 위치에 더 큰 우선 순위를 두어 읽어들인 양자화 주파수 계수를 배열하는 식으로 초기 역 스캔닝 패턴을 결정할 수 있다. 또한, 영상의 크기가 기 설정된 크기 보다 작은 경우에는 양자화된 잔차 블록의 양자화 주파수 계수의 각 위치 중 DC 성분의 계수에 해당하는 위치와 정사각 잔차 블록의 최하단 계수에 해당하는 위치에 동일한 우선 순위를 두어 초기 역 스캐닝 패턴을 결정할 수 있다.For example, if a threshold size for comparing the size of the image is set in advance, and the size of the image is larger than or equal to the preset size, the quantization frequency coefficients sequentially read from the quantization frequency coefficient sequence are converted into quantization frequency coefficients of the quantized residual block. Arrange the quantized frequency coefficients of the positions of the coefficients of the DC component and the positions of the coefficients of the lowest coefficient of the quantized residual block, and give the higher priority to the positions of the coefficients of the DC component. The initial inverse scanning pattern can be determined. In addition, when the size of the image is smaller than the preset size, the same priority is given to the position corresponding to the coefficient of the DC component among the positions of the quantization frequency coefficients of the quantized residual block and the position corresponding to the lowest coefficient of the square residual block. An initial reverse scanning pattern can be determined.
도 19의 예에서, 기 설정된 크기가 720p이고 영상의 크기가 CIF인 경우, 영 상의 크기가 기 설정된 크기 보다 작으므로 DC 성분의 계수에 해당하는 위치와 최하단 계수에 해당하는 위치에 동일한 우선 순위를 두어 역 스캐닝함으로써 도시한 바와 같은 양자화된 잔차 블록을 얻을 수 있다.In the example of FIG. 19, when the preset size is 720p and the image size is CIF, since the size of the image is smaller than the preset size, the same priority is given to the position corresponding to the coefficient of the DC component and the position corresponding to the lowest coefficient. By inverse scanning, a quantized residual block as shown can be obtained.
또한, 역 스캐닝되어 양자화된 잔차 블록이 구성되면 현재 블록의 예측 모드의 예측 방향인 수직 방향에 따라 양자화된 잔차 블록이 복수 개로 분할되어 복수 개의 직사각 잔차 블록이 생성된다.In addition, when the quantized residual block is inversely scanned, a plurality of rectangular residual blocks are generated by dividing the quantized residual blocks into a plurality of vertical blocks according to the vertical direction, which is a prediction direction of the prediction mode of the current block.
도 20은 본 발명의 일 실시예에 따라 역 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도이다.20 is an exemplary diagram for explaining a process of updating a reverse scanning pattern according to an embodiment of the present invention.
영상 복호화 장치(200)에서 스캐닝 패턴을 갱신한 것과 같이, 영상 복호화 장치(1500)도 역 스캐닝 패턴을 갱신할 수 있다. 즉, 블록을 복호화할 때마다 처음에 결정된 초기 역 스캐닝 패턴을 사용하여 역 스캐닝하는 것이 아니라, 적응적으로 역 스캐닝 패턴을 갱신하여 스캐닝한다.As the
이때, 역 스캐닝 패턴을 갱신하는 기준은 스캐닝 패턴을 갱신하는 기준과 유사하다. 즉, 양자화된 잔차 블록의 각 위치마다 '0'이 아닌 양자화 주파수 계수가 발생할 확률이 될 수 있다. 예를 들어, 영상의 복수 개의 블록을 복호화할 때마다, 양자화된 잔차 블록의 각 위치에서 '0'이 아닌 양자화 주파수 계수가 발생할 확률을 계산하고 그 확률이 큰 순서대로 역 스캐닝 순서를 결정함으로써, 역 스캐닝 패턴을 적응적으로 갱신할 수 있다.At this time, the criteria for updating the reverse scanning pattern is similar to the criteria for updating the scanning pattern. That is, it may be a probability that a quantization frequency coefficient other than '0' occurs for each position of the quantized residual block. For example, each time a plurality of blocks of an image are decoded, the probability of occurrence of a non-zero quantization frequency coefficient at each position of the quantized residual block is calculated and the reverse scanning order is determined in the order of the greatest probability. The inverse scanning pattern can be updated adaptively.
도 21은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.21 is a block diagram schematically illustrating an electronic configuration of a video encoding apparatus according to another embodiment of the present invention.
본 발명의 다른 실시예에 따른 영상 부호화 장치(2100)는 정사각 부호화부(210), 부호화 선택부(230), 예측 방향 전환부(2110) 및 직사각 부호화부(2120)를 포함하여 구성될 수 있다.The
이러한 영상 부호화 장치(2100)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.The
정사각 부호화부(210)와 부호화 선택부(230)는 도 2를 통해 전술한 바와 동일 또는 유사한 역할을 수행하므로, 그에 대한 상세한 설명은 생략한다.Since the
예측 방향 전환부(2110)는 직사각 부호화부(2120)에서 단계적으로 부호화되는 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 각 직사각 현재 블록의 예측 방향을 변경한다.The prediction
이를 위해, 예측 방향 전환부(2110)는 직사각 부호화부(2120)와 연결되어 직사각 부호화부(2120)로부터 각 직사각 현재 블록 이전에 부호화된 직사각 이전 블록의 양자화 주파수 계수를 수신하여 저장한다.To this end, the
직사각 부호화부(2120)는 현재 블록이 입력되면 직사각형 블록 단위로 분할 하여 생성되는 복수 개의 직사각 현재 블록을 단계적으로 부호화함으로써 직사각 부호화 비트스트림을 출력한다. 이때, 직사각 부호화부(2120)는 예측 방향 전환부(2110)에 의해 변경된 예측 방향에 따라 복수 개의 직사각 현재 블록을 예측할 수 있다.When the current block is input, the
직사각 부호화부(2120)는 도 4를 통해 전술한 직사각 부호화부(220)와 동일한 구조를 가진다. 다만, 직사각 부호화부(460)와 직사각 예측부(492)가 예측 방향 전환부(2110)에 연결되며, 직사각 부호화부(460)는 직사각 스캔부(450)로부터 전달되는 각 직사각 현재 블록의 양자화 주파수 계수를 예측 방향 전환부(2110)에 전달하고, 직사각 예측부(492)는 예측 방향 전환부(2110)로부터 전달되는 예측 방향에 따라 각 직사각 현재 블록을 예측한다. 여기서, 직사각 예측부(492)가 예측 방향 전환부(2110)로부터 수신하는 예측 방향은 현재 블록의 예측 모드의 예측 방향일 수 있지만, 직사각 이전 블록의 양자화 주파수 계수에 따라 변경된 예측 방향일 수도 있다.The
도 22는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.FIG. 22 is a block diagram schematically illustrating an electronic configuration of an apparatus for predicting direction change according to another embodiment of the present invention.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치는 도 21에서는 예측 방향 전환부(2110)로 구현될 수 있다. 이하에서는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치를 예측 방향 전환부(2110)라 칭한다.The prediction direction switching device according to another embodiment of the present invention may be implemented by the prediction
본 발명의 다른 실시예에 따른 예측 방향 전환부(2110)는 이전 블록 계수 저장부(2210), 예측 방향 결정부(2220), 부호화 비용 계산부(2230) 및 예측 방향 식 별자 출력부(2240)를 포함하여 구성된다.According to another exemplary embodiment of the present invention, the prediction
이전 블록 계수 저장부(2210)는 직사각 이전 블록의 양자화 주파수 계수를 저장한다. 즉, 이전 블록 계수 저장부(2210)는 직사각 부호화부(2120)에서 각 직사각 현재 블록을 부호화할 때마다. 각 직사각 현재 블록의 양자화 주파수 계수를 수신하여 저장하는데, 이 양자화 주파수 계수가 다음번의 직사각 현재 블록을 예측하기 위한 예측 방향을 결정하는 데에 기준이 되는 직사각 이전 블록의 양자화 주파수 계수가 된다.The previous block
예측 방향 결정부(2220)는 현재 블록을 직사각형 블록 단위로 분할하여 생성된 복수 개의 직사각 현재 블록을 단계적으로 부호화할 때, 각 직사각 현재 블록에 대한 예측 방향을 변경한다. 예측 방향 결정부(2220)는 이전 블록 계수 저장부(2210)에 저장된 직사각 이전 블록의 양자화 주파수 계수의 계수값을 확인하여, 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다. 또한, 예측 방향 결정부(2220)는 직사각 이전 블록의 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 복수 개의 예측 방향 후보 중 부호화 비용이 최소(또는 부호화 효율이 최대)인 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다. The
즉, 현재 예측하고자 하는 직사각 현재 블록을 부호화하기 이전에 이미 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'이었다면, 예측이 거의 완벽하게 이루어져 부호화 효율이 매우 뛰어나다는 것을 의미하므로, 직사각 이전 블록의 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정하는 것이다. 여기서, 기준 예측 방향이란 직사각 현재 블록이 분할된 현재 블록의 예측 방향이거나 직사각 이전 블록의 예측 방향을 말한다.That is, if the coefficient values of the quantization frequency coefficients of the rectangular block previously encoded before encoding the rectangular current block to be currently predicted are all '0', this means that the prediction is almost complete and the encoding efficiency is very excellent. The reference prediction direction of the previous rectangular block is determined as the prediction direction of each rectangular current block. Here, the reference prediction direction refers to the prediction direction of the current block in which the rectangular current block is divided or the prediction direction of the previous rectangular block.
또한, 현재 예측하고자 하는 직사각 현재 블록을 부호화하기 이전에 이미 부호화된 직사각 이전 블록의 양자화 주파수 계수의 계수값 중 적어도 하나 이상이 '0'이 아니었다면, 예측의 정확도가 떨어져서 부호화 효율이 매우 높은 것은 아니라는 것을 의미하므로, 기준 예측 방향을 그대로 사용하지 않고 예측 방향을 변경하기 위해, 복수 개의 예측 방향 후보 중 부호화 비용이 최소인 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다. 여기서, 예측 방향 후보군이란 직사각 현재 블록의 예측 방향으로 결정될 복수 개의 예측 방향으로서, 기준 예측 방향을 제외한 예측 방향을 말한다. 예측 방향 후보군은 인트라 4x4 예측의 경우 총 9가지의 예측 방향 중 기준 예측 방향을 제외한 8가지의 예측 방향이 될 수도 있다. 다만, 이와 같이 예측 방향의 개수가 많아지면 계산량이 복잡해 져서 부호화 효율이 떨어질 수 있으므로 예측 방향의 개수를 더 작은 수로 제한할 수 있다. 예를 들면, 기준 예측 방향을 중심으로 양 옆의 예측 방향을 예측 방향 후보군으로 선택할 수 있을 것이다.In addition, if at least one or more of the coefficient values of the quantization frequency coefficients of the previous rectangular block previously encoded before encoding the rectangular current block to be predicted are not '0', the prediction accuracy is low and the encoding efficiency is very high. In order to change the prediction direction without using the reference prediction direction as it is, the prediction direction having the smallest encoding cost among the plurality of prediction direction candidates is determined as the prediction direction of each rectangular current block. Here, the prediction direction candidate group is a plurality of prediction directions to be determined as the prediction directions of the rectangular current block, and refers to prediction directions other than the reference prediction direction. The prediction direction candidate group may be eight prediction directions except for the reference prediction direction among a total of nine prediction directions in the case of intra 4x4 prediction. However, as the number of prediction directions increases, the computational complexity increases and the coding efficiency may decrease, so that the number of prediction directions may be limited to a smaller number. For example, the prediction directions on both sides of the reference prediction direction may be selected as the prediction direction candidate group.
부호화 비용 계산부(2230)는 복수 개의 예측 방향 후보의 각 예측 방향에 따른 부호화 비용을 계산한다. 여기서, 부호화 비용은 율-왜곡 비용이 될 수 있지만 반드시 이에 한정되지는 않을 뿐만 아니라, 부호화 비용에 한정하지 않고 부호화 효율을 측정할 수 있는 비용이 될 수 있다. 또한, 예측 방향에 따른 부호화 비용이란 해당 예측 방향으로 부호화했을 때 소요되는 비용을 의미한다.The
예측 방향 식별자 출력부(2240)는 각 직사각 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력한다.The prediction direction
도 23은 본 발명의 일 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도이다.23 is a flowchart illustrating a prediction direction switching method according to an embodiment of the present invention.
예측 방향 전환부(2110)는 직사각 부호화부(2120)로부터 전달되는 직사각 이전 블록의 양자화 주파수 계수를 저장한 상태에서(S2310), 직사각 현재 블록의 예측 방향을 결정할 때에는 직사각 이전 블록의 양자화 주파수 계수를 확인하여 양자화 주파수 계수 모두가 '0'인 경우에는 현재 블록의 예측 방향을 기준 예측 방향으로 결정하고(S2330), 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우에는 기준 예측 방향을 제외한 나머지 예측 방향 즉, 예측 방향 후보군의 각 예측 방향에 따른 부호화 비용을 계산하고(S2340), 각 부호화 비용을 비교하여 최소의 부호화 비용을 갖는 예측 방향을 현재 블록의 예측 방향으로서 결정한다(S2350). 즉, 예측 방향이 기준 예측 방향에서 변경된다.The prediction
도 24 및 도 25는 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.24 and 25 are exemplary diagrams for describing a prediction direction candidate group according to another embodiment of the present invention.
도 24를 참조하면, 현재 블록의 예측 모드가 수평 모드인 경우, 현재 블록의 예측 방향은 수평 방향이며, 예측 방향 후보는 현재 블록의 예측 방향인 수평 방향을 중심으로 양 옆의 방향인 대각선 오른쪽 위 방향과 대각선 오른쪽 아래 방향이 될 수 있다.Referring to FIG. 24, when the prediction mode of the current block is the horizontal mode, the prediction direction of the current block is a horizontal direction, and the prediction direction candidates are diagonally upper rightwards on both sides with respect to the horizontal direction that is the prediction direction of the current block. It can be in the direction of the bottom right and diagonally.
이때, 기준 예측 방향이 점선으로 표시된 수평 방향이었다고 가정하면, 직사 각 이전 블록(a, b, c, d)의 양자화 주파수 계수가 모두 '0'일 경우, 기준 예측 방향인 수평 방향이 그대로 직사각 현재 블록의 예측 방향이 된다. 하지만, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우, 예측 방향 후보 중에서 기준 예측 방향인 수평 방향을 제외한 옆의 방향인 대각선 오른쪽 위 방향과 대각선 오른쪽 아래 방향 중 부호화 비용이 최소가 되는 방향이 직사각 현재 블록의 예측 방향이 된다.In this case, assuming that the reference prediction direction is a horizontal direction indicated by a dotted line, when the quantization frequency coefficients of the rectangular previous blocks (a, b, c, d) are all '0', the horizontal direction, which is the reference prediction direction, is the rectangular current as it is. It is the prediction direction of the block. However, when at least one or more of the quantization frequency coefficients of the previous rectangular block (a, b, c, d) is not '0', the diagonal upper right direction is a side direction except for the horizontal direction that is the reference prediction direction among the prediction direction candidates. The direction in which the encoding cost becomes the minimum among the right and bottom diagonal directions is the prediction direction of the rectangular current block.
도 25를 참조하면, 현재 블록의 예측 모드가 대각선 오른쪽 아래 모드인 경우, 현재 블록의 예측 방향은 대각선 오른쪽 아래 방향이며, 예측 방향 후보는 현재 블록의 예측 방향인 대각선 오른쪽 아래 방향을 중심으로 양 옆의 방향인 수평 방향과 수직 방향이 될 수 있다.Referring to FIG. 25, when the prediction mode of the current block is a diagonal lower right mode, the prediction direction of the current block is a diagonal right lower direction, and the prediction direction candidates are located on both sides of the diagonal right lower direction, which is the prediction direction of the current block. It may be a vertical direction and a horizontal direction of.
이때, 기준 예측 방향이 점선으로 표시된 대각선 오른쪽 아래 방향이었다고 가정하면, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수가 모두 '0'일 경우, 기준 예측 방향인 대각선 오른쪽 아래 방향이 그대로 직사각 현재 블록의 예측 방향이 된다. 하지만, 직사각 이전 블록(a, b, c, d)의 양자화 주파수 계수 중 적어도 하나 이상이 '0'이 아닌 경우, 예측 방향 후보 중에서 기준 예측 방향인 대각선 오른쪽 아래 방향을 제외한 옆의 방향인 수평 방향과 수직 방향 중 부호화 비용이 최소가 되는 방향이 직사각 현재 블록의 예측 방향이 된다.In this case, assuming that the reference prediction direction is a diagonal right lower direction indicated by a dotted line, when the quantization frequency coefficients of the previous rectangular blocks (a, b, c, d) are all '0', the diagonal right lower direction, which is the reference prediction direction, This is the prediction direction of the rectangular current block. However, when at least one or more of the quantization frequency coefficients of the previous rectangular block (a, b, c, d) is not '0', the horizontal direction is a side direction except for the lower right diagonal direction that is the reference prediction direction among the prediction direction candidates. The direction in which the encoding cost is the minimum among the and vertical directions is the prediction direction of the rectangular current block.
도 26은 본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.FIG. 26 is a block diagram schematically illustrating an electronic configuration of an
본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)는 예측 모드 추출 부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530), 예측 방향 식별자 추출부(2610), 직사각 복원부(2620) 및 정사각 복원부(1550)를 포함하여 구성될 수 있다.The
이러한 영상 복호화 장치(1500)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.The
예측 모드 추출부(1510), 복호화부(1520), 비트스트림 식별자 추출부(1530) 및 정사각 복원부(1550)는 도 15를 통해 전술한 바와 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.Since the
예측 방향 전환부(2610)는 복호화부(1520)로부터 전달되는 양자화된 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향으로 각 직사각 현재 블록에 대한 예측 방향을 변경한다.The prediction
직사각 복원부(2620)는 양자화된 주파수 계수열을 이용하여 직사각형 블록 단위로 예측 방향 전환부(2610)에 의해 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력한다. 여기서, 직사각 복원부(2620)는 도 16을 통해 전술한 직사각 복원부(1540)와 동일한 구조를 갖는다. 다만, 직사각 복원부(2620)에서는 직사각 예측부(1640)가 예측 방향 전환부(2610)와 연결되고, 직사각 예측부(1640)는 현재 블록의 예측 모드의 예측 방향이 아닌 예측 방향 전환부(2610)로부터 전달되는 예측 방향에 따라 직사각 현재 블록을 예측한다.The
이러한 본 발명의 다른 실시예에 따른 영상 복호화 장치(2600)는 영상을 복호화하는 방법으로서, 비트스트림으로부터 예측 모드에 대한 정보를 추출하고, 비트스트림을 복호화하여 양자화 주파수 계수열을 추출하며, 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하여 예측 모드에 따른 예측 방향을 변경하며, 비트스트림으로부터 비트스트림 식별자를 추출하며, 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 직사각형 블록 단위로 현재 블록을 복원하되, 변경된 예측 방향에 따라 단계적으로 현재 블록을 복원하여 출력하며, 비트스트림 식별자에 따라 양자화 주파수 계수열을 이용하여 정사각형 블록 단위로 현재 블록을 복원하되, 예측 모드에 따른 예측 방향에 따라 현재 블록을 복원하여 출력한다.The
도 27은 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.27 is a block diagram schematically illustrating an electronic configuration of an apparatus for predicting direction change according to another embodiment of the present invention.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치는 도 26에서는 예측 방향 전환부(2610)로 구현될 수 있다. 이하에서는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치를 예측 방향 전환부(2610)라 칭한다.The prediction direction switching device according to another embodiment of the present invention may be implemented as the prediction
본 발명의 다른 실시예에 따른 예측 방향 전환부(2610)는 이전 블록 계수 저장부(2710), 예측 방향 결정부(2720) 및 예측 방향 식별자 추출부(2730)를 포함하 여 구성될 수 있다.The prediction
이전 블록 계수 저장부(2710)는 각 직사각 현재 블록 이전에 복호화된 직사각 이전 블록의 양자화 주파수 계수를 저장한다. 즉, 이전 블록 계수 저장부(2710)는 복호화부(1520)로부터 전달되는 양자화 주파수 계수열에서 직사각 현재 블록의 양자화 주파수 계수를 수신하여 저장하는데, 저장된 양자화 주파수 계수가 다음 직사각 현재 블록을 부호화할 때 사용되는 직사각 이전 블록의 양자화 주파수 계수가 된다.The previous block
예측 방향 결정부(2720)는 이전 블록 계수 저장부(2710)에 저장된 직사각 이전 블록의 양자화 주파수 계수의 계수값이 모두 '0'인 경우에는 기준 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정하고, 직사각 이전 블록의 양자화 주파수 계수의 양자화 주파수 계수의 계수값 중 하나 이상이 '0'이 아닌 경우에는 양자화 주파수 계수열로부터 추출되는 예측 방향 식별자가 지시하는 예측 방향을 각 직사각 현재 블록의 예측 방향으로 결정한다.The
예측 방향 식별자 추출부(2730)는 예측 방향 결정부(2720)의 제어에 따라 복호화부(1520)로부터 전달되는 양자화 주파수 계수열로부터 예측 방향 식별자를 추출한다.The prediction
여기서, 기준 예측 방향은 현재 블록의 예측 방향 및 직사각 이전 블록의 예측 방향 중 하나일 수 있으며, 예측 방향 후보는 기준 예측 방향을 기준으로 결정될 수 있다.Here, the reference prediction direction may be one of the prediction direction of the current block and the prediction direction of the previous rectangular block, and the prediction direction candidate may be determined based on the reference prediction direction.
도 28은 본 발명의 다른 실시예에 따른 예측 방향 전환 방법을 설명하기 위 한 순서도이다.28 is a flowchart illustrating a prediction direction switching method according to another embodiment of the present invention.
본 발명의 다른 실시예에 따른 예측 방향 전환 장치 즉, 예측 방향 전환부(2610)는 직사각 이전 블록의 양자화 주파수 계수를 저장하고(S2810), 직사각 이전 블록의 양자화 주파수 계수가 모두 '0'인지 여부를 확인하여(S2820), 직사각 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 직사각 현재 블록의 예측 방향으로서 결정하고(S2830), 직사각 이전 블록의 양자화 주파수 계수 중 하나 이상이 '0'이 아닌 경우에는 양자화 주파수 계수열로부터 예측 방향 식별자를 추출하고(S2840), 예측 방향 식별자에 의해 지시되는 예측 방향을 직사각 현재 블록의 예측 방향으로서 결정한다(S2850).According to another exemplary embodiment of the present invention, the prediction direction switching device, that is, the prediction
도 29 및 도 30은 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.29 and 30 are exemplary diagrams for describing a prediction direction candidate group according to another embodiment of the present invention.
직사각 이전 블록의 양자화 주파수 계수의 계수값에 따라 기준 예측 방향을 직사각 현재 블록의 예측 방향으로 결정하거나, 예측 방향 식별자에 의해 지시되는 현재 블록의 예측 모드의 예측 방향을 기준으로 양 옆의 예측 방향 중 한 방향을 직사각 현재 블록의 예측 방향으로 결정한다.The reference prediction direction is determined as the prediction direction of the rectangular current block according to the coefficient value of the quantization frequency coefficient of the previous rectangular block, or among the prediction directions on both sides based on the prediction direction of the prediction mode of the current block indicated by the prediction direction identifier. One direction is determined as the prediction direction of the rectangular current block.
이와 같은 실시예를 통해 다음과 같은 실시예를 응용할 수도 있다. 즉, 정사각형 블록 단위로 예측하고 변환하고 양자화할 때, 각 정사각형 블록을 예측할 때마다 해당 블록의 예측 모드의 예측 방향에 따라 예측하는 것이 아니라, 이전 정사각형 블록의 양자화 주파수 계수를 확인하여 양자화 주파수 계수의 계수값에 따라 예측 방향을 변경하여 예측함으로써, 예측의 정확도를 높여 부호화 효율을 높일 수 있다.Through such embodiments, the following embodiments may be applied. In other words, when predicting, transforming, and quantizing a square block unit, each square block is predicted according to the prediction direction of the prediction mode of the corresponding block, and the quantization frequency coefficient of the previous square block is checked to determine the quantization frequency coefficient. By predicting by changing the prediction direction according to the coefficient value, the coding efficiency can be increased by increasing the accuracy of the prediction.
따라서, 본 발명의 또 다른 실시예에 따른 예측 방향 전환 장치는 영상 부호화를 위해 영상의 현재 블록을 예측할 때, 현재 블록 이전에 부호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 복수 개의 예측 방향 후보의 부호화 비용을 계산하여 부호화 비용이 최소인 예측 방향을 현재 블록의 예측 방향으로 결정할 수 있다. 또한, 예측 방향 전환 장치는 현재 블록의 예측 방향을 식별하기 위한 예측 방향 식별자를 출력할 수 있다.Therefore, when the prediction direction switching device according to another embodiment of the present invention predicts a current block of an image for image encoding, the prediction direction shifting device stores the quantized frequency coefficient of the previous block encoded before the current block and stores the quantized frequency coefficient of the current block. When the frequency coefficient is input, if the quantization frequency coefficients of the previous block are all '0', the reference prediction direction is determined as the prediction direction of the current block, and if one or more coefficients of the quantization frequency coefficients of the previous block are not '0', The encoding cost of the plurality of prediction direction candidates may be calculated to determine the prediction direction having the smallest encoding cost as the prediction direction of the current block. In addition, the prediction direction switching device may output a prediction direction identifier for identifying the prediction direction of the current block.
또한, 본 발명의 또 다른 실시예에 따른 예측 방향 전환 장치는 영상 복호화를 위해 영상의 현재 블록을 예측할 때, 현재 블록 이전에 복호화된 이전 블록의 양자화 주파수 계수가 입력되면 저장하며, 현재 블록의 양자화 주파수 계수가 입력되면 이전 블록의 양자화 주파수 계수가 모두 '0'인 경우에는 기준 예측 방향을 현재 블록의 예측 방향으로서 결정하고, 이전 블록의 양자화 주파수 계수 중 하나 이상의 계수가 '0'이 아닌 경우에는 현재 블록의 양자화 주파수 계수로부터 예측 방향 식별자를 추출하여 예측 방향 식별자에 의해 지시되는 예측 방향을 현재 블록의 예측 방향으로서 결정할 수 있다.Also, when the prediction direction change device according to another embodiment of the present invention predicts a current block of an image for image decoding, the quantization frequency coefficient of the previous block decoded before the current block is stored, and the quantization of the current block is performed. When the frequency coefficient is input, if the quantization frequency coefficients of the previous block are all '0', the reference prediction direction is determined as the prediction direction of the current block, and if one or more coefficients of the quantization frequency coefficients of the previous block are not '0', A prediction direction identifier may be extracted from the quantization frequency coefficient of the current block to determine the prediction direction indicated by the prediction direction identifier as the prediction direction of the current block.
여기서, 기준 예측 방향은 현재 블록의 예측 방향 및 이전 블록의 예측 방향 중 하나일 수 있으며, 예측 방향 후보는 기준 예측 방향을 기준으로 결정될 수 있 다.Here, the reference prediction direction may be one of the prediction direction of the current block and the prediction direction of the previous block, and the prediction direction candidate may be determined based on the reference prediction direction.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.In the above description, it is described that all the components constituting the embodiments of the present invention operate in combination, but the present invention is not necessarily limited to these embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어 와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, the terms "comprises", "comprising", or "having" described above mean that a component can be implanted unless otherwise specifically stated, But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
이상에서 설명한 바와 같이 본 발명은 영상을 부호화하거나 복호화하는 장치와 방법과 관련된 분야에 적용되어, 영상을 부호화하거나 복호화할 때 예측의 정확도를 높일 수 있어 영상의 부호화 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.As described above, the present invention is applied to a field related to an apparatus and a method for encoding or decoding an image, so that the accuracy of prediction can be improved when coding or decoding an image, Is a very useful invention.
도 1은 통상적인 9 가지의 4x4 인트라 예측 모드를 나타내는 예시도,1 is an exemplary diagram showing nine conventional 4x4 intra prediction modes,
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,2 is a block diagram schematically illustrating an electronic configuration of an image encoding apparatus according to an embodiment of the present invention;
도 3은 본 발명의 일 실시예에 따른 정사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,3 is a block diagram schematically illustrating an electronic configuration of a square-angle encoding apparatus according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 직사각 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,FIG. 4 is a block diagram schematically illustrating an electronic configuration of a rectangular encoder according to an embodiment of the present invention. FIG.
도 5는 본 발명의 일 실시예에 따른 부호화 선택 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,5 is a block diagram schematically illustrating an electronic configuration of an encoding selection apparatus according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,6 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 비트스트림 선택 과정을 설명하기 위한 순서도,FIG. 7 is a flowchart illustrating a bitstream selection process according to an embodiment of the present invention. FIG.
도 8은 본 발명의 일 실시예에 따른 직사각 현재 블록을 나타낸 예시도,8 is a diagram illustrating a rectangular current block according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따라 직사각 예측부가 단계적 인트라 예측을 수행하는 과정을 설명하기 위한 예시도,9 is a diagram illustrating a process of performing a stepwise intra prediction by a rectangular prediction unit according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따른 직사각 스캔 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,10 is a block diagram schematically showing an electronic configuration of a rectangular scanning device according to an embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 방법을 설명하기 위한 순서도,11 is a flowchart illustrating a method for determining an initial scanning pattern according to an exemplary embodiment of the present invention.
도 12는 본 발명의 바람직한 실시예에 따라 복수 개의 직사각 잔차 블록이 정사각 잔차 블록으로 결합된 것을 나타낸 예시도,FIG. 12 is a diagram illustrating an example in which a plurality of rectangular residual blocks are combined into a square residual block according to a preferred embodiment of the present invention;
도 13은 본 발명의 일 실시예에 따라 초기 스캐닝 패턴을 결정하는 과정을 설명하기 위한 예시도,13 is an exemplary diagram for explaining a process of determining an initial scanning pattern according to an embodiment of the present invention;
도 14는 본 발명의 일 실시예에 따라 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도,FIG. 14 is an exemplary diagram for explaining a process of updating a scanning pattern according to an embodiment of the present invention;
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,15 is a block diagram schematically illustrating an electronic configuration of an image decoding apparatus according to an embodiment of the present invention.
도 16은 본 발명의 일 실시예에 따른 직사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,16 is a block diagram schematically illustrating an electronic configuration of a rectangular decoding apparatus according to an embodiment of the present invention;
도 17은 본 발명의 일 실시예에 따른 정사각 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,17 is a block diagram schematically illustrating an electronic configuration of a square decoding apparatus according to an embodiment of the present invention;
도 18은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,18 is a flowchart for explaining a video decoding method according to an embodiment of the present invention.
도 19는 본 발명의 일 실시예에 따라 초기 역 스캐닝 패턴에 따라 역 스캐닝하는 과정을 설명하기 위한 예시도,19 is an exemplary view for explaining a process of inverse scanning according to an initial reverse scanning pattern according to an embodiment of the present invention;
도 20은 본 발명의 일 실시예에 따라 역 스캐닝 패턴을 갱신하는 과정을 설명하기 위한 예시도,20 is an exemplary diagram for explaining a process of updating an inverse scanning pattern according to an embodiment of the present invention.
도 21은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,FIG. 21 is a block diagram schematically showing an electronic configuration of an image encoding apparatus according to another embodiment of the present invention; FIG.
도 22는 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,22 is a block diagram schematically showing an electronic configuration of a prediction direction switching apparatus according to another embodiment of the present invention;
도 23은 본 발명의 일 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도,23 is a flowchart for explaining a prediction direction switching method according to an embodiment of the present invention;
도 24 및 도 25는 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도,24 and 25 are diagrams for explaining a prediction direction candidate group according to another embodiment of the present invention,
도 26은 본 발명의 다른 실시예에 다른 영상 복호화 장치(2600)의 전자적인 구성을 간략하게 나타낸 블록 구성도,FIG. 26 is a block diagram schematically illustrating an electronic configuration of an
도 27은 본 발명의 다른 실시예에 따른 예측 방향 전환 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,27 is a block diagram schematically showing an electronic configuration of a prediction direction switching apparatus according to another embodiment of the present invention;
도 28은 본 발명의 다른 실시예에 따른 예측 방향 전환 방법을 설명하기 위한 순서도,28 is a flowchart for explaining a prediction direction switching method according to another embodiment of the present invention;
도 29 및 도 30은 본 발명의 다른 실시예에 따른 예측 방향 후보군을 설명하기 위한 예시도이다.29 and 30 are exemplary diagrams for describing a prediction direction candidate group according to another embodiment of the present invention.
Claims (18)
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080087651A KR101369161B1 (en) | 2008-09-05 | 2008-09-05 | Prediction Direction Change Method and Apparatus and Video Encoding/Decoding Method and Apparatus |
US13/002,259 US9100646B2 (en) | 2008-09-03 | 2009-08-31 | Device and method for image encoding/decoding using prediction direction conversion and selective encoding |
PCT/KR2009/004865 WO2010027170A2 (en) | 2008-09-03 | 2009-08-31 | Device and method for image encoding/decoding using prediction direction conversion and selective encoding |
US14/692,298 US9654798B2 (en) | 2008-09-03 | 2015-04-21 | Device and method for image encoding/decoding using prediction direction conversion and selective encoding |
US14/833,914 US10298954B2 (en) | 2008-09-03 | 2015-08-24 | Device and method for image encoding/decoding using prediction direction conversion and selective encoding |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080087651A KR101369161B1 (en) | 2008-09-05 | 2008-09-05 | Prediction Direction Change Method and Apparatus and Video Encoding/Decoding Method and Apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100028769A KR20100028769A (en) | 2010-03-15 |
KR101369161B1 true KR101369161B1 (en) | 2014-03-05 |
Family
ID=42179263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080087651A KR101369161B1 (en) | 2008-09-03 | 2008-09-05 | Prediction Direction Change Method and Apparatus and Video Encoding/Decoding Method and Apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101369161B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130028329A1 (en) * | 2011-07-22 | 2013-01-31 | General Instrument Corporation | Device and methods for scanning rectangular-shaped transforms in video coding |
US9210438B2 (en) * | 2012-01-20 | 2015-12-08 | Sony Corporation | Logical intra mode naming in HEVC video coding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050053299A1 (en) | 2002-11-05 | 2005-03-10 | Canon Kabushiki Kaisha | Encoding of digital data combining a plurality of encoding modes |
US20050276493A1 (en) | 2004-06-01 | 2005-12-15 | Jun Xin | Selecting macroblock coding modes for video encoding |
US20060203907A1 (en) | 2005-03-09 | 2006-09-14 | Yang Kyeong H | Model based rate control for predictive video encoder |
-
2008
- 2008-09-05 KR KR1020080087651A patent/KR101369161B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050053299A1 (en) | 2002-11-05 | 2005-03-10 | Canon Kabushiki Kaisha | Encoding of digital data combining a plurality of encoding modes |
US20050276493A1 (en) | 2004-06-01 | 2005-12-15 | Jun Xin | Selecting macroblock coding modes for video encoding |
US20060203907A1 (en) | 2005-03-09 | 2006-09-14 | Yang Kyeong H | Model based rate control for predictive video encoder |
Also Published As
Publication number | Publication date |
---|---|
KR20100028769A (en) | 2010-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101379185B1 (en) | Prediction Mode Selection Method and Apparatus and Video Enoding/Decoding Method and Apparatus Using Same | |
KR101379187B1 (en) | Image Encoding/Decoding Method and Apparatus Using Block Transformation | |
KR101432775B1 (en) | Video Encoding/Decoding Method and Apparatus Using Arbitrary Pixel in Subblock | |
KR101772046B1 (en) | Video Encoding/Decoding Method and Apparatus for Intra-Predicting Using Filtered Value of Pixel According to Prediction Mode | |
US10298954B2 (en) | Device and method for image encoding/decoding using prediction direction conversion and selective encoding | |
KR101444667B1 (en) | Video Coding Method and Apparatus Using Bi-Direction Intra Prediction | |
KR101712351B1 (en) | Video Encoding/Decoding Method and Apparatus by Using Multiple Dimensional Integer Transform | |
KR101483179B1 (en) | Frequency Transform Block Coding Method and Apparatus and Image Encoding/Decoding Method and Apparatus Using Same | |
KR101677480B1 (en) | Method and Apparatus for Encoding/Decoding of Video Data Using Efficient Selection of Intra Prediction Mode Set | |
KR20120074534A (en) | Video encoding/decoding method and apparatus using feature vector of adjacent block | |
KR20100035104A (en) | Video encoding/decoding apparatus and method of considering impulse signal | |
KR101531186B1 (en) | Video Encoding/Decoding Method and Apparatus by Using Selective Encoding | |
KR101369161B1 (en) | Prediction Direction Change Method and Apparatus and Video Encoding/Decoding Method and Apparatus | |
KR101997599B1 (en) | Method and Apparatus for Image Encoding/Decoding using Efficient Non-fixed Quantization | |
KR101487436B1 (en) | Video Encoding/Decoding Method and Apparatus by Using Selective Encoding | |
KR101943425B1 (en) | Method and Apparatus for Image Encoding/Decoding using Efficient Non-fixed Quantization | |
KR20150035873A (en) | Video Encoding/Decoding Method and Apparatus Using Sequential Intra-prediction | |
KR101537767B1 (en) | Video Encoding/Decoding Method and Apparatus Using Arbitrary Pixel in Subblock | |
KR101483495B1 (en) | Video Encoding/Decoding Method and Apparatus Using Arbitrary Pixel in Subblock | |
KR20150039594A (en) | Video Encoding/Decoding Method and Apparatus Using Sequential Intra-prediction | |
KR20150035872A (en) | Video Encoding/Decoding Method and Apparatus Using Sequential Intra-prediction | |
KR20150035871A (en) | Video Encoding/Decoding Method and Apparatus Using Sequential Intra-prediction | |
KR101534014B1 (en) | Video Encoding/Decoding Method and Apparatus Using Arbitrary Pixel in Subblock | |
KR101464949B1 (en) | Video Encoding/Decoding Method and Apparatus Using Arbitrary Pixel in Subblock | |
KR101464944B1 (en) | Video Encoding/Decoding Method and Apparatus Using Arbitrary Pixel in Subblock |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170207 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180201 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190131 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20191216 Year of fee payment: 7 |