KR101339764B1

KR101339764B1 - Apparatus for encoding/decoding sampled color image acquired by cfa and method thereof

Info

Publication number: KR101339764B1
Application number: KR1020130017969A
Authority: KR
Inventors: 이철희
Original assignee: 연세대학교 산학협력단
Priority date: 2013-02-20
Filing date: 2013-02-20
Publication date: 2013-12-10
Also published as: KR20130056877A

Abstract

본 발명에 의한 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 제1 색좌표계의 컬러 영상을 획득하는 획득부; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 변환부; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함한다.
이를 통해, 본 발명은 컬러 영상의 보간 없이 YUV 색좌표계로 변환할 수 있고, YUV 색좌표계로의 변환으로 인해 생성되는 데이터의 크기를 감소시킬 수 있을 뿐 아니라, 코딩 효율의 저하 가능성을 제거할 수 있다.An apparatus and method for encoding / decoding a sampled color image obtained using a CFA according to the present invention are disclosed.
An apparatus for encoding a color image according to the present invention includes an acquisition unit for obtaining a color image of the first color coordinate system; A conversion unit for converting the obtained color image of the first color coordinate system into a color image of a second color coordinate system by a predetermined number of pixels; And an encoder configured to generate a compressed image by encoding the converted color image of the second color coordinate system.
Through this, the present invention can convert to the YUV color coordinate system without interpolation of color images, can reduce the size of data generated by the conversion to the YUV color coordinate system, and can also eliminate the possibility of deterioration of coding efficiency. .

Description

Apparatus and method for encoding / decoding the sampled color image acquired using CAF {APPARATUS FOR ENCODING / DECODING SAMPLED COLOR IMAGE ACQUIRED BY CFA AND METHOD THEREOF}

본 발명은 컬러 영상 부호화에 관한 것으로, 특히, CFA(Color Filter Array)를 이용하여 획득한 RGB 색좌표계의 샘플링된 컬러 영상을 복수 개의 화소를 하나의 단위로 다른 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법에 관한 것이다.The present invention relates to color image encoding, and more particularly, after converting a sampled color image of an RGB color coordinate system obtained by using a color filter array (CFA) into a color image of a different color coordinate system with a plurality of pixels in one unit. The present invention relates to an apparatus and a method for encoding / decoding a sampled color image obtained using a CFA capable of encoding the same.

대부분 디지털 카메라, 디지털 캠코더, 휴대용 카메라 폰 등의 영상 장치들은 영상을 디지털 포맷으로 저장한다. 예컨대, 대부분의 디지털 카메라는 JPEG(Joint Photographic Expert Group) 등과 같은 압축 기법을 사용하여 영상을 압축한다. 또한, 많은 디지털 캠코더 역시 동영상을 디지털 포맷으로 저장한다. Most video devices such as digital cameras, digital camcorders, and portable camera phones store images in digital format. For example, most digital cameras compress images using compression techniques such as Joint Photographic Expert Group (JPEG). Many digital camcorders also store video in digital format.

점점 더 많은 수의 영상 장치가 정지영상 및 동영상을 디지털 포맷으로 저장한다. 그리고 대부분의 휴대폰이 카메라를 장착하고 있고, 디지털 통신을 통해 정지영상 및 동영상을 전송할 수 있다.More and more imaging devices store still and moving images in digital format. Most mobile phones are equipped with a camera and can transmit still images and video via digital communication.

CFA를 구비한 단일 영상 센서를 사용하는 영상 시스템에서 샘플링된 컬러 영상은 보간 알고리즘에 의하여 풀컬러(full color) 영상으로 보간 된다. 이러한 보간 과정에 의해 생성된 풀컬러 영상의 데이터량은 샘플링된 컬러 영상의 데이터량의 3배에 달한다.In an image system using a single image sensor having a CFA, color images sampled are interpolated into full color images by an interpolation algorithm. The data amount of the full color image generated by this interpolation process is three times the data amount of the sampled color image.

따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 CFA(Color Filter Array)를 이용하여 획득한 샘플링된 RGB 색좌표계의 컬러 영상을 복수 개의 화소를 하나의 단위로 다른 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법을 제공하는데 있다.Accordingly, an object of the present invention is to solve color problems of a sampled RGB color coordinate system obtained by using a color filter array (CFA). The present invention provides an apparatus and method for encoding / decoding a sampled color image obtained by using a CFA capable of encoding the image after conversion to the image.

본 발명의 다른 목적은 CFA를 이용하여 획득한 샘플링된 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킨 후 복수 개의 화소를 하나의 단위로 다른 색좌표계의 컬러 영상으로 변환하여 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법을 제공하는데 있다.Another object of the present invention is to rotate a color image of a sampled RGB color coordinate system obtained using a CFA at a predetermined angle, and then convert a plurality of pixels into a color image of another color coordinate system in one unit so as to encode the same. An apparatus and method are provided for encoding / decoding a sampled color image obtained using a CFA.

본 발명의 또 다른 목적은 단일 영상 센서를 복수개의 화소를 한 단위로 하여 컬러 영상을 획득하고, 이를 다른 색좌표계로 변환하여 이를 부호화할 수 있도록 하는 CFA를 이용하여 획득한 샘플링된 컬러 영상을 효울적으로 부호화/복호화하기 위한 장치 및 그 방법을 제공하는데 있다.It is still another object of the present invention to obtain a color image obtained by using a CFA that obtains a color image by using a single image sensor as a unit of a plurality of pixels, and converts the same to another color coordinate system to encode the color image. An apparatus and method for encoding / decoding a feature are provided.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 컬러 영상을 부호화하기 위한 장치는 제1 색좌표계의 샘플링된 컬러 영상을 획득하는 영상 센싱부; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 컬러 변환부; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함할 수 있다.In order to achieve the above objects, an apparatus for encoding a color image according to an aspect of the present invention includes an image sensing unit for obtaining a sampled color image of the first color coordinate system; A color converting unit converting the obtained color image of the first color coordinate system into a color image of a second color coordinate system by a predetermined number of pixels; And an encoder configured to generate a compressed image by encoding the converted color image of the second color coordinate system.

바람직하게, 상기 제1 색좌표계는 RGB 색좌표계인 것을 특징으로 한다.Preferably, the first color coordinate system is an RGB color coordinate system.

바람직하게, 상기 제2 색좌표계는 YUV 색좌표계인 것을 특징으로 한다.Preferably, the second color coordinate system is characterized in that the YUV color coordinate system.

바람직하게, 상기 컬러 변환부는 상기 제1 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 4개의 화소 단위로 상기 제2 색좌표계의 컬러 영상으로 변환할 수 있다.Preferably, the color converter may convert the color image of the first color coordinate system into a color image of the second color coordinate system in units of four pixels existing at positions adjacent to each other.

바람직하게, 상기 컬러 변환부는 상기 제1 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 R, G1, G2, B의 화소를 상기 제2 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환할 수 있다.Preferably, the color converter is configured to position the pixels of R, G1, G2, and B located at adjacent positions of the color image of the first color coordinate system on the same horizontal axis of the color image of the second color coordinate system (Y1, u). , v), (Y2, u, v) can be converted into signals.

바람직하게, 상기 부호화부는 Y1, Y2가 원래 서로 다른 가로축에 위치하는 것을 고려하여 예측을 수행하는 것을 특징으로 한다.
Preferably, the encoder is configured to perform prediction in consideration of the fact that Y1 and Y2 are located on different horizontal axes.

본 발명의 다른 한 관점에 따른 컬러 영상을 부호화하기 위한 장치는 제1 색좌표계의 컬러 영상을 획득하는 영상 센싱부; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 각도로 회전시키는 영상 회전부; 회전된 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 컬러 변환부; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함할 수 있다.According to another aspect of the present invention, an apparatus for encoding a color image includes an image sensing unit configured to acquire a color image of a first color coordinate system; An image rotating unit rotating the obtained color image of the first color coordinate system at a predetermined angle; A color converter configured to convert the rotated color image of the first color coordinate system into a color image of a second color coordinate system by a predetermined number of pixels; And an encoder configured to generate a compressed image by encoding the converted color image of the second color coordinate system.

바람직하게, 상기 영상 회전부는 획득한 상기 제1 색좌표계의 컬러 영상을 45도 각도 회전시키는 것을 특징으로 한다. 바람직하게, 상기 부호화부는 Y1, Y2가 회전하여 얻는 것을 고려하여 예측을 수행하고, 잔여오차를 계산하여 변환계수를 출력하는 것을 특징으로 한다. 또한 영상이 회전된 것을 고려하여 잔여 오차에 적용되는 변환함수를 최적화하여 설계할 수 있다. 현재는 직사각형 단위로 움직임 예측을 수행하고, DCT과 같은 변환함수도 직사각형 구조를 가정하여 설계 하였으나, 회전된 영상에서는 이와 같은 방식을 비효율적일 수 있다. 이러한 문제를 해결하기 위하여, 본 발명에서는 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 구조 등을 모두 회전된 직사각형 구조로 최적화하여 코딩 효율을 향상 시킨다. 즉 영상을 회전한 후 기존 방식으로 부호화 하면, 도 7의 좌측 그림과 같이 직사각형 구조로 부호화가 수행되게 된다 (움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수). 본 발명에서는 도 7의 우측 그림과 같이 회전된 직사각형 구조로 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 등의 작업을 수행한다. 이 때 회전 각도는 동일하게 설정함은 물론이다.
Preferably, the image rotating unit rotates the obtained color image of the first color coordinate system by 45 degrees. Preferably, the encoder performs prediction by considering the rotation of Y1 and Y2, and calculates a residual error to output a transform coefficient. In addition, the image may be rotated to optimize the conversion function applied to the residual error. Currently, motion prediction is performed in a rectangular unit, and a transform function such as DCT is also designed assuming a rectangular structure, but such a method may be inefficient in a rotated image. In order to solve this problem, the present invention improves coding efficiency by optimizing all motion prediction, motion compensation, residual error calculation, transform function structure applied to residual error, etc. into a rotated rectangular structure. That is, when the image is rotated and then encoded by the conventional method, the encoding is performed in a rectangular structure as shown in the left figure of FIG. 7 (motion function, motion compensation, residual error calculation, transform function applied to residual error). In the present invention, as shown in the right figure of FIG. 7 is performed a motion prediction, motion compensation, residual error calculation, transform function applied to the residual error, etc. in a rotated rectangular structure. At this time, the rotation angle is of course set the same.

본 발명의 또 다른 한 관점에 따른 CFA를 갖는 단일 영상 센서를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화하는 부호화 장치는 상기 CFA를 이용하여 샘플링된 제1 색좌표계의 컬러 신호를 보간 없이 제2색 좌표계로 변환하는 제1 컬러 변환부; 상기 제2 색좌표계의 컬러 신호를 부호화하는 부호화부; 상기 부호화된 제2 색좌표계의 컬러 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 제2 컬러 변환부; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도(full resolution) 복호화 컬러 신호를 생성하는 풀컬러 보간부; 및 상기 생성된 제 1좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 제3 컬러 변환부를 포함하고, 상기 부호화부는 상기 제3 컬러 변환부에서 생성된 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 부호화 되고 있는 블록 예측에 이용하는 예측부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, an encoding apparatus for encoding a color signal sampled without interpolation using a single image sensor having a CFA without interpolation may use the second color without interpolation of the color signal of the first color coordinate system sampled using the CFA. A first color conversion unit converting the coordinate system; An encoder which encodes a color signal of the second color coordinate system; A decoder configured to decode the encoded color signal of the second color coordinate system to generate a decoded color signal of a second color coordinate system; A second color converter configured to inversely transform the decoded color signal of the second color coordinate system to generate a sampled decoded color signal of the first color coordinate system; A full color interpolator configured to generate a full resolution decoded color signal of the first color coordinate system by interpolating the sampled decoded color signal of the first color coordinate system; And a third color converter configured to convert the generated full resolution decoded color signal of the first coordinate system to generate a full resolution decoded color signal of a second color coordinate system. And a predictor which uses the full resolution decoded color signal of the two-color coordinate system to predict the block currently being encoded.

바람직하게, 상기 부호화부는 인트라모드 부호화부인 것을 특징으로 한다.Preferably, the encoder is an intra-mode encoder.

바람직하게, 상기 부호화부는 인터모드 부호화부인 것을 특징으로 한다.
Preferably, the encoder is an intermode encoder.

본 발명의 또 다른 한 관점에 따른 컬러 영상을 부호화하는 부호화 장치는 수직 방향에서 45도 각도가 기울어져 4개의 화소 단위로 마름모 형태를 이루도록 배열된 단일 영상 센서를 포함할 수 있다.According to another aspect of the present invention, an encoding apparatus for encoding a color image may include a single image sensor arranged to form a rhombus in four pixel units at an angle of 45 degrees from a vertical direction.

바람직하게, 상기 단일 영상 센서에 배열된 상기 4개의 화소 중 2개는 녹색, 1개는 적색, 나머지 1개는 청색인 것을 특징으로 한다.
Preferably, two of the four pixels arranged in the single image sensor are green, one red, and the other blue.

본 발명의 또 다른 한 관점에 따른 컬러 영상을 부호화하기 위한 부호화 장치는 4개의 화소 단위로 마름모 형태를 이루도록 배열된 단일 영상 센서에서 생성된 색 신호를 수신하는 수신부; 수신된 상기 색 신호를 상기 디스플레이부의 격자 구조에 맞게 보간하는 보간부; 및 보간된 상기 색 신호를 표시하는 디스플레이부를 포함할 수 있다.
According to still another aspect of the present invention, there is provided an encoding apparatus for encoding a color image, including: a receiver configured to receive a color signal generated by a single image sensor arranged in a rhombus shape in units of four pixels; An interpolation unit which interpolates the received color signal according to the lattice structure of the display unit; And a display unit displaying the interpolated color signal.

본 발명의 또 다른 한 관점에 따른 동영상 부호화 부호화 장치는 양자화 크기를 결정하는 양자화 결정부; 결정된 상기 양자화 크기에 따라 LPF(Low Pass Filter)를 설계하여 설계된 상기 LPF를 입력 영상에 적용하는 LPF 적용부; 및 상기 LPF 적용부로부터 출력된 영상을 부호화하여 압축된 영상을 생성하는 부호화부를 포함할 수 있다.
According to still another aspect of the present invention, there is provided a video encoding encoding apparatus comprising: a quantization determiner configured to determine a quantization size; An LPF application unit which applies the LPF designed by designing a low pass filter (LPF) according to the determined quantization size to an input image; And an encoder for generating a compressed image by encoding the image output from the LPF applying unit.

본 발명의 또 다른 한 관점에 따른 동영상 부호화 장치는 제1의 양자화 크기를 이용하여 변환 계수를 양자화하는 제1양자화부; 양자화된 상기 변환 계수의 특정 주파수 대역의 에너지 값을 계산하는 에너지 계산부; 및 계산된 상기 에너지 값이 기 설정된 임계치 이상이면, 제2의 양자화 크기를 결정하여 결정된 상기 제2 양자화 크기를 이용하여 상기 변환 계수를 다시 양자화하여 출력하는 제2 양자화부를 포함할 수 있다.
According to still another aspect of the present invention, there is provided a video encoding apparatus comprising: a first quantization unit configured to quantize transform coefficients using a first quantization magnitude; An energy calculator configured to calculate an energy value of a specific frequency band of the quantized transform coefficients; And a second quantizer configured to quantize the transform coefficients again by using the second quantization size determined by determining a second quantization size when the calculated energy value is greater than or equal to a preset threshold.

본 발명의 또 다른 한 관점에 따른 CFA를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화한 압축 신호를 복호화하는 복호화 장치는 수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 제1 컬러 변환부; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 풀컬러 보간부; 및 상기 생성된 제1 색좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 제2 컬러 변환부를 포함하고, 상기 복호화부는 상기 제2 변환부에서 생성된 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 복호화 되고 있는 블록의 기준 영상으로 사용하는 것을 특징으로 한다.
According to another aspect of the present invention, a decoding apparatus for decoding a compressed signal obtained by interpolating a sampled color signal without interpolation may generate a decoded color signal of a second color coordinate system by decoding the received compressed signal. A decoder; A first color converter configured to inversely transform the decoded color signal of the second color coordinate system to generate a sampled decoded color signal of the first color coordinate system; A full color interpolation unit interpolating the sampled decoded color signals of the first color coordinate system to generate a full resolution decoded color signal of the first color coordinate system; And a second color converter configured to convert the generated full resolution decoded color signal of the first color coordinate system to generate a full resolution decoded color signal of a second color coordinate system, wherein the decoder comprises a second color converter generated by the second converter. A full resolution decoded color signal of a two-color coordinate system is used as a reference image of a block currently being decoded.

본 발명의 또 다른 한 관점에 따른 컬러 영상을 복호화하기 위한 장치는 수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 복호화부; 양자화된 변환 계수를 산출하는 양자화계수 산출부; 산출된 상기 양자화된 변환 계수에 상응하는 특정 주파수 대역의 에너지 값을 계산하는 에너지 계산부; 및 산출된 상기 에너지 값과 기 설정된 임계치를 비교하여 그 비교한 결과에 따라 서로 다른 양자화 크기를 사용하여 상기 양자화된 변환 계수를 역양자화하는 역양자화부를 포함할 수 있다.
In accordance with another aspect of the present invention, an apparatus for decoding a color image includes: a decoder configured to decode the received compressed signal to generate a decoded color signal of a second color coordinate system; A quantization coefficient calculator configured to calculate a quantized transform coefficient; An energy calculator configured to calculate an energy value of a specific frequency band corresponding to the calculated quantized transform coefficients; And an inverse quantization unit that compares the calculated energy value with a predetermined threshold and inversely quantizes the quantized transform coefficients using different quantization magnitudes according to the comparison result.

본 발명의 또 다른 한 관점에 따른 컬러 영상을 부호화하기 위한 방법은 제1 색좌표계의 컬러 영상을 획득하는 단계; 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환하는 단계; 및 변환된 상기 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, a method for encoding a color image includes: obtaining a color image of a first color coordinate system; Converting the obtained color image of the first color coordinate system into a color image of a second color coordinate system by a predetermined number of pixels; And encoding the converted color image of the second color coordinate system to generate a compressed image.

바람직하게, 상기 제2 색좌표계는 YUV 색좌표계인 것을 특징으로 한다.
Preferably, the second color coordinate system is characterized in that the YUV color coordinate system.

본 발명의 또 다른 한 관점에 따른 CFA를 갖는 단일 영상 센서를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화하는 부호화 방법은 상기 CFA를 이용하여 샘플링된 제1 색좌표계의 컬러 신호를 보간 없이 제2색 좌표계로 변환하는 단계; 상기 제2 색좌표계의 컬러 신호를 부호화하는 단계; 상기 부호화된 제2 색좌표계의 컬러 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 단계; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 단계; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 및 상기 생성된 제 1좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 를 포함하고, 상기 부호화하는 단계는 생성된 상기 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 부호화 되고 있는 블록 예측에 이용하는 것을 특징으로 한다.
According to another aspect of the present invention, an encoding method of encoding a color signal sampled without interpolation using a single image sensor having a CFA without interpolation includes performing a second color without interpolation on a color signal sampled using the CFA. Converting to a coordinate system; Encoding a color signal of the second color coordinate system; Generating a decoded color signal of a second color coordinate system by decoding the encoded color signal of the second color coordinate system; Inversely transforming the decoded color signal of the second color coordinate system to generate a sampled decoded color signal of the first color coordinate system; Generating a full resolution decoded color signal of the first color coordinate system by interpolating the sampled decoded color signal of the first color coordinate system; And generating a full resolution decoded color signal of a second color coordinate system by converting the generated full resolution decoded color signal of the first coordinate system. And wherein the encoding comprises using the generated full resolution decoded color signal of the second color coordinate system for block prediction that is currently being encoded.

본 발명의 또 다른 한 관점에 따른 동영상 부호화 방법은 양자화 크기를 결정하는 단계; 결정된 상기 양자화 크기에 따라 LPF(Low Pass Filter)를 설계하여 설계된 상기 LPF를 입력 영상에 적용하는 단계; 및 상기 LPF 적용부로부터 출력된 영상을 부호화하여 압축된 영상을 생성하는 단계를 포함할 수 있다.
In accordance with still another aspect of the present invention, there is provided a video encoding method comprising: determining a quantization size; Designing a low pass filter (LPF) according to the determined quantization size and applying the designed LPF to an input image; And encoding the image output from the LPF applying unit to generate a compressed image.

본 발명의 또 다른 한 관점에 따른 동영상 부호화 방법은 제1의 양자화 크기를 이용하여 변환 계수를 양자화하는 단계; 양자화된 상기 변환 계수의 특정 주파수 대역의 에너지 값을 계산하는 단계; 및 계산된 상기 에너지 값이 기 설정된 임계치 이상이면, 제2의 양자화 크기를 결정하여 결정된 상기 제2 양자화 크기를 이용하여 상기 변환 계수를 양자화하는 단계를 포함할 수 있다.
According to still another aspect of the present invention, there is provided a video encoding method comprising: quantizing transform coefficients using a first quantization magnitude; Calculating an energy value of a specific frequency band of the quantized transform coefficients; And if the calculated energy value is greater than or equal to a preset threshold, quantizing the transform coefficient using the second quantization size determined by determining a second quantization size.

본 발명의 또 다른 한 관점에 따른 CFA를 이용하여 샘플링된 컬러 신호를 보간 없이 부호화한 압축 신호를 복호화하는 복호화 방법은 수신된 상기 압축 신호를 복호화하여 제2 색좌표계의 복호화된 컬러 신호를 생성하는 단계; 상기 제2 색좌표계의 복호화된 컬러 신호를 역변환하여 제1 색좌표계의 샘플링된 복호화 컬러 신호를 생성하는 단계; 상기 제1 색좌표계의 샘플링된 복호화 컬러 신호를 보간하여 제1 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 및 상기 생성된 제1 색좌표계의 풀해상도 복호화 컬러 신호를 변환하여 제2 색좌표계의 풀해상도 복호화 컬러 신호를 생성하는 단계; 를 포함하고, 상기 복호화하는 단계는 생성된 상기 제2 색좌표계의 풀해상도 복호화 컬러 신호를 현재 복호화 되고 있는 블록의 기준 영상으로 사용하는 것을 특징으로 한다.
According to another aspect of the present invention, a decoding method for decoding a compressed signal obtained by interpolating a sampled color signal without using interpolation is performed by decoding the received compressed signal to generate a decoded color signal of a second color coordinate system. step; Inversely transforming the decoded color signal of the second color coordinate system to generate a sampled decoded color signal of the first color coordinate system; Generating a full resolution decoded color signal of the first color coordinate system by interpolating the sampled decoded color signal of the first color coordinate system; Generating a full resolution decoded color signal of a second color coordinate system by converting the generated full resolution decoded color signal of the first color coordinate system; And the decoding comprises using the generated full resolution decoded color signal of the second color coordinate system as a reference image of a block currently being decoded.

본 발명의 또 다른 한 관점에 따른 컬러 영상을 복호화하기 위한 방법은 수신된 상기 압축 신호를 복호화하여 양자화된 변환 계수를 산출하는 단계; 산출된 상기 양자화된 변환 계수의 특정 주파수 대역의 에너지 값을 계산하는 단계; 및 산출된 상기 에너지 값과 기 설정된 임계치를 비교하여 그 비교한 결과에 따라 서로 다른 양자화 크기를 사용하여 상기 양자화된 변환 계수를 역양자화하는 단계를 포함할 수 있다.According to still another aspect of the present invention, there is provided a method for decoding a color image, the method comprising: calculating a quantized transform coefficient by decoding the received compressed signal; Calculating an energy value of a specific frequency band of the calculated quantized transform coefficients; And comparing the calculated energy value with a predetermined threshold and inversely quantizing the quantized transform coefficients using different quantization magnitudes according to the comparison result.

이를 통해, 본 발명은 CFA를 이용하여 획득한 RGB 색좌표계의 샘플링된 컬러 영상을 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화함으로써, 컬러 영상의 보간 없이 YUV 색좌표계로 변환할 수 있다.Through this, the present invention converts the sampled color image of the RGB color coordinate system obtained by using the CFA into a color image of the YUV color coordinate system by converting a plurality of pixels into one unit, and then encodes the YUV color without interpolation of the color image. Can be converted to coordinate system.

또한, 본 발명은 CFA를 이용하여 획득한 RGB 색좌표계의 샘플링된 컬러 영상을 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환한 후에 이를 부호화함으로써, YUV 색좌표계로의 변환으로 인해 생성되는 데이터의 크기를 감소시킬 수 있다.In addition, the present invention is generated by converting the sampled color image of the RGB color coordinate system obtained using the CFA by converting the plurality of pixels into a color image of the YUV color coordinate system in one unit and then encoding the same, thereby converting to the YUV color coordinate system. The size of the data can be reduced.

또한, 본 발명은 CFA를 이용하여 획득한 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킨 후 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환하여 이를 부호화함으로써, 코딩 효율의 저하 가능성을 제거할 수 있다.In addition, the present invention rotates the color image of the RGB color coordinate system obtained by using a CFA at a predetermined angle, and then converts a plurality of pixels into a color image of the YUV color coordinate system in one unit and encodes it, thereby reducing coding efficiency. This can eliminate the possibility.

도 1은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제1 도면이다.
도 2는 본 발명의 일 실시예에 따른 베이어(Bayer) 패턴의 CFA를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제1 도면이다.
도 4는 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제1 도면이다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제2 도면이다.
도 7은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제2 도면이다.
도 8은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제2 도면이다.
도 9는 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.
도 10은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제3 도면이다.
도 11은 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 제2 도면이다.
도 12는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 코딩 효율을 향상 시킬 수 있는 과정을 보여주는 도면이다.
도 13은 H.264의 인트라 예측 모드의 일례를 보여준다.
도14는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 인트라 예측 및 인터 예측의 성능을 개선하는 과정을 보여주는 도면이다.
도 15는 양자화 크기를 조절하여 부호화하는 과정을 보여주는 도면이다.
도 16은 도 15의 방식으로 산출된 압축 데이터의 복호화 과정을 보여주는 도면이다.
도 17은 양자화 크기에 따라 LPF를 설계하고 적용하여 부호화하는 과정을 보여주는 도면이다.
도 18은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.1 is a first diagram illustrating an apparatus for encoding a color image according to an embodiment of the present invention.
2 is a diagram illustrating a CFA of a Bayer pattern according to an embodiment of the present invention.
3 is a first diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.
4 is a first diagram illustrating a method for encoding a color image according to an embodiment of the present invention.
5 is a diagram illustrating an apparatus for decoding a color image according to an embodiment of the present invention.
6 is a second diagram illustrating an apparatus for encoding a color image according to an embodiment of the present invention.
7 is a second diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.
8 is a second diagram illustrating a method for encoding a color image according to an embodiment of the present invention.
9 is a third diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.
10 is a third diagram illustrating an apparatus for encoding a color image according to an embodiment of the present invention.
11 is a second diagram illustrating an apparatus for decoding a color image according to an embodiment of the present invention.
12 is a diagram illustrating a process of improving coding efficiency considering that Y1 and Y2 are located on different axes.
13 shows an example of an intra prediction mode of H.264.
14 is a diagram illustrating a process of improving the performance of intra prediction and inter prediction by considering that Y1 and Y2 are located on different axes.
15 is a diagram illustrating a process of adjusting and encoding a quantization size.
FIG. 16 is a diagram illustrating a decoding process of compressed data calculated by the method of FIG. 15.
17 is a diagram illustrating a process of designing, applying, and encoding an LPF according to a quantization size.
18 is a third diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.

이하에서는, 본 발명의 실시예에 따른 CFA(Color Filter Array)를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 18을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.Hereinafter, an apparatus and method for encoding / decoding a sampled color image acquired using a color filter array (CFA) according to an embodiment of the present invention will be described with reference to FIGS. 1 to 18. The present invention will be described in detail with reference to the portions necessary for understanding the operation and operation according to the present invention. Like reference numerals in the drawings denote like elements throughout the specification.

특히, 본 발명에서는 CFA를 이용하여 획득한 RGB 색좌표계의 컬러 영상을 복수 개의 화소 또는 픽셀을 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환한 후에 그 변환된 YUV 색좌표계의 컬러 영상을 부호화할 수 있도록 하는 새로운 방안을 제안한다.In particular, the present invention converts a color image of an RGB color coordinate system obtained by using a CFA into a color image of a YUV color coordinate system after converting a plurality of pixels or pixels into a color image of a YUV color coordinate system as a unit, and then encodes the converted color image of the YUV color coordinate system. Suggest new ways to help

이때, 본 발명에서는 CFA를 이용하여 획득한 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킨 후 복수 개의 화소를 하나의 단위로 YUV 색좌표계의 컬러 영상으로 변환하여 이를 부호화할 수도 있다.In this case, in the present invention, after rotating the color image of the RGB color coordinate system obtained by using the CFA at a predetermined angle, a plurality of pixels may be converted into a color image of the YUV color coordinate system by one unit and encoded.

도 1은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제1 도면이다.1 is a first diagram illustrating an apparatus for encoding a color image according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 영상 센싱부(110), 컬러 변환부(120), 부호화부(130) 등을 포함하여 구성될 수 있다. 여기서 컬러 영상은 정지 영상, 및 동영상 등을 모두 포괄하는 개념일 수 있다.As shown in FIG. 1, the apparatus for encoding a color image according to the present invention may include an image sensing unit 110, a color converter 120, an encoder 130, and the like. In this case, the color image may include a still image, a moving image, and the like.

영상 센싱부(110)는 CFA를 갖는 단일 영상 센서를 이용하여 RGB 색좌표계의 샘플링된 컬러 영상(sampled color image)들을 획득할 수 있다. 여기서, 샘플링된 컬러 영상은 CFA를 이용하여 획득된 영상으로서 한 화소가 하나의 색만을 갖는 영상을 일컫는다.The image sensing unit 110 may acquire sampled color images of the RGB color coordinate system using a single image sensor having a CFA. Here, the sampled color image is an image obtained by using the CFA and refers to an image in which one pixel has only one color.

이때, 이렇게 획득된 컬러 영상은 베이어 패턴의 CFA일 수 있다.
In this case, the obtained color image may be a CFA of a Bayer pattern.

도 2는 본 발명의 일 실시예에 따른 베이어 패턴의 CFA를 나타내는 도면이다.2 is a diagram illustrating a CFA of a Bayer pattern according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명에 따른 컬러 영상으로 적색(R) 화소, 녹색(G) 화소, 청색(B) 화소들로 이루어진 베이어 패턴(bayer pattern)의 CFA를 보여주고 있다.
As shown in FIG. 2, a color image according to the present invention shows a CFA of a Bayer pattern composed of red (R) pixels, green (G) pixels, and blue (B) pixels.

컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다. 이를 도 3을 참조하여 설명한다.The color converter 120 may convert a color image of the RGB color coordinate system into a color image of the YUV color coordinate system in units of a predetermined number of pixels. This will be described with reference to FIG.

도 3은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제1 도면이다.3 is a first diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 본 발명에 따른 컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 4개의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다.As shown in FIG. 3, the color converter 120 according to the present invention may convert a color image of an RGB color coordinate system into a color image of a YUV color coordinate system in units of four pixels existing at adjacent positions.

예컨대, RGB 색좌표계의 컬러 영상의 서로 인접한 위치에 존재하는 화소 R, G1, G2, B를 YUV 색좌표계의 컬러 영상의 동일한 가로축에 위치하는 (Y1, u, v), (Y2, u, v) 신호로 변환하게 된다.For example, (Y1, u, v), (Y2, u, v) in which pixels R, G1, G2, and B located at adjacent positions of a color image in an RGB color coordinate system are located on the same horizontal axis of a color image in a YUV color coordinate system. ) Is converted into a signal.

이때, (Y1, Y2, u, v) 신호는 다음의 [수학식 1]을 이용하여 구할 수 있다.At this time, the (Y1, Y2, u, v) signal can be obtained using the following Equation 1.

[수학식 1][Equation 1]

Y1=w₁₁*R+w₁₂*G1+w₁₃*BY1 = w ₁₁ * R + w ₁₂ * G1 + w ₁₃ * B

Y2=w₂₁*R+w₂₂*G1+w₂₃*BY2 = w ₂₁ * R + w ₂₂ * G1 + w ₂₃ * B

u=w₃₁*R+w₃₂*G1+w₃₂*G2+w₃₃*Bu = w ₃₁ * R + w ₃₂ * G1 + w ₃₂ * G2 + w ₃₃ * B

v=w₄₁*R+w₄₂*G1+w₄₂*G2+w₄₃*Bv = w ₄₁ * R + w ₄₂ * G1 + w ₄₂ * G2 + w ₄₃ * B

여기서, w₁₁, w₁₂, w₁₃, w₂₁, w₂₂, w₂₃, w₃₁, w₃₂, w₃₂, w₃₃, w₄₁, w₄₂, w₄₂, w₄₃는 가중치를 나타낸다. 여기서, w₁₁=w₂₁, w₁₂=w₂₂, w₁₃=w₂₃일 수 있다.Here, w ₁₁ , w ₁₂ , w ₁₃ , w ₂₁ , w ₂₂ , w ₂₃ , w ₃₁ , w ₃₂ , w ₃₂ , w ₃₃ , w ₄₁ , w ₄₂ , w ₄₂ and w ₄₃ represent weights. Here, w ₁₁ = w ₂₁ , w ₁₂ = w ₂₂ , and w ₁₃ = w ₂₃ .

또한, [수학식 1]을 변형하여 다음의 [수학식 2]와 같이 정의하여 사용할 수 있다.In addition, the Equation 1 may be modified and used as defined in Equation 2 below.

[수학식 2]&Quot; (2) "

Y2=w₂₁*R+w₂₂*G2+w₂₃*BY2 = w ₂₁ * R + w ₂₂ * G2 + w ₂₃ * B

u=w₃₁*R+w₃₂*G1+w₃₃*Bu = w ₃₁ * R + w ₃₂ * G1 + w ₃₃ * B

v=w₄₁*R+w₄₂*G2+w₄₃*B.v = w ₄₁ * R + w ₄₂ * G2 + w ₄₃ * B.

여기서, u와 v의 신호 생성시 하나의 G 신호를 사용하는 것을 특징으로 한다. 이는 u,v 신호 생성 시 동일 가로축에 위치하는 G 신호를 사용함으로 수평선이 많은 영상에 유리한다. 여기서도, w₁₁=w₂₁, w₁₂=w₂₂, w₁₃=w₂₃일 수 있다.Here, one G signal is used to generate the signals u and v. This is advantageous for images with many horizontal lines by using G signals located on the same horizontal axis when generating u and v signals. Here too, w ₁₁ = w ₂₁ , w ₁₂ = w ₂₂ , w ₁₃ = w ₂₃ .

이때, 다음의 [수학식 3]과 같이 G1과 G2의 역할을 바꾸어 u와 v 신호를 생성할 수 있다.In this case, as shown in Equation 3, u and v signals may be generated by changing the roles of G1 and G2.

[수학식 3]&Quot; (3) "

u=w₃₁*R+w₃₂*G2+w₃₃*Bu = w ₃₁ * R + w ₃₂ * G2 + w ₃₃ * B

v=w₄₁*R+w₄₂*G1+w₄₃*B.v = w ₄₁ * R + w ₄₂ * G1 + w ₄₃ * B.

이렇게 서로 인접한 위치에 존재하는 RGB 신호들로 YUV 신호들을 생성하는 경우 YUV422 구조가 되는데, 이러한 YUV422 구조는 기존의 코덱에 적용 가능할 수 있다.
When the YUV signals are generated by the RGB signals existing in adjacent positions, the YUV422 structure may be applied to the existing codec.

부호화부(130)는 변환된 YUV 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성할 수 있다. 이렇게 압축된 영상은 저장 수단(미도시)에 저장될 수도 있다.
The encoder 130 may generate a compressed image by encoding the color image of the converted YUV color coordinate system. The compressed image may be stored in a storage means (not shown).

도 4는 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제1 도면이다.4 is a first diagram illustrating a method for encoding a color image according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치(이하, 부호화 장치라고 한다)는 제1 색좌표계의 컬러 영상을 획득할 수 있다 (S410).As shown in FIG. 4, an apparatus for encoding a color image according to the present invention (hereinafter, referred to as an encoding apparatus) may acquire a color image of a first color coordinate system (S410).

다음으로, 부호화 장치는 획득한 제1 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환할 수 있다. 여기서, 부호화 장치는 제1 색좌표계를 4개의 화소 단위로 제2 색좌표계로 변환할 수 있다 (S420).Next, the encoding apparatus may convert the obtained color image of the first color coordinate system into a color image of the second color coordinate system in units of a predetermined number of pixels existing at positions adjacent to each other. Here, the encoding apparatus may convert the first color coordinate system into the second color coordinate system in units of four pixels (S420).

다음으로, 부호화 장치는 변환된 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성할 수 있다 (S430). 여기서, 제1 색좌표계는 RGB 색좌표계를 나타내고 제2 색좌표계는 YUV 색좌표계를 나타낼 수 있는데 반드시 이에 한정되지 않는다.
Next, the encoding apparatus may generate a compressed image by encoding the converted color image of the second color coordinate system (S430). Here, the first color coordinate system may represent an RGB color coordinate system and the second color coordinate system may represent a YUV color coordinate system, but is not limited thereto.

도 5는 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 제1 도면이다.5 is a first diagram illustrating an apparatus for decoding a color image according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 복호화하기 위한 장치는 복호화부(140), 컬러 역변환부(150), 풀컬러 보간부(160), 및 디스플레이부(170) 등을 포함하여 구성될 수 있다.As shown in FIG. 5, an apparatus for decoding a color image according to the present invention includes a decoder 140, a color inverse transform unit 150, a full color interpolator 160, a display unit 170, and the like. It can be configured.

복호화부(140)는 압축된 영상을 입력 받으면, 그 압축된 영상을 복호화하여 YUV 색좌표계의 샘플링된 컬러 영상을 복원할 수 있다. 이때, 복호화부(140)는 RGB 색좌표계의 컬러 영상, YUV 색좌표계의 컬러 영상 등을 부호화시 압축된 포맷으로 복원하게 된다.When the decoder 140 receives the compressed image, the decoder 140 may decode the compressed image to reconstruct the sampled color image of the YUV color coordinate system. In this case, the decoder 140 restores the color image of the RGB color coordinate system, the color image of the YUV color coordinate system, and the like into a compressed format during encoding.

컬러 역변환부(160)는 복원된 YUV 색좌표계의 컬러 영상을 RGB 색좌표계의 컬러 영상으로 역변환할 수 있다.The color inverse converter 160 may inversely convert the restored color image of the YUV color coordinate system to the color image of the RGB color coordinate system.

풀컬러 보간부(150)는 변환된 RGB 컬러 영상을 보간하여 풀컬러 영상을 생성할 수 있다.The full color interpolator 150 may generate a full color image by interpolating the converted RGB color image.

디스플레이부(170)는 생성된 풀컬러 영상을 디스플레이할 수 있다. 이때, 디스플레이부(170)는 그 디스플레이 형식에 따라 입력된 풀컬러 영상을 변환할 수 있다.
The display unit 170 may display the generated full color image. In this case, the display unit 170 may convert the input full color image according to the display format.

도 6은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제2 도면이다.6 is a second diagram illustrating an apparatus for encoding a color image according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 영상 센싱부(110), 영상 회전부(111), 컬러 변환부(120), 부호화부(130) 등을 포함하여 구성될 수 있다.As shown in FIG. 6, the apparatus for encoding a color image according to the present invention includes an image sensing unit 110, an image rotating unit 111, a color converter 120, an encoding unit 130, and the like. Can be.

영상 센싱부(110)는 CFA를 갖는 단일 영상 센서를 이용하여 RGB 색좌표계의 샘플링된 컬러 영상(sampled color image)들을 획득할 수 있다.The image sensing unit 110 may acquire sampled color images of the RGB color coordinate system using a single image sensor having a CFA.

영상 회전부(111)는 획득한 RGB 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킬 수 있다. 이때, 영상 회전부(111)는 상기 RGB 색좌표계의 컬러 영상을 시계 방향으로 45도 각도로 회전시키거나 반시계 방향으로 45도 각도로 회전시킬 수 있다.The image rotating unit 111 may rotate the acquired color image of the RGB color coordinate system at a predetermined angle. In this case, the image rotating unit 111 may rotate the color image of the RGB color coordinate system at an angle of 45 degrees clockwise or at an angle of 45 degrees counterclockwise.

이렇게 영상을 회전시키는 이유는 서로 다른 세로축의 2개의 화소를 동일한 가로축에 위치시키는 경우 고주파 성분이 발생하여 코딩 효율을 저하시킬 수 있기 때문이다.The reason for rotating the image is that high frequency components are generated when two pixels of different vertical axes are positioned on the same horizontal axis, thereby reducing coding efficiency.

도 7은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제2 도면이다.7 is a second diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.

도 7에 도시한 바와 같이, 본 발명에 따른 컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 45도 각도로 회전시켜 서로 인접한 위치에 존재하는 4개의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다.As shown in FIG. 7, the color conversion unit 120 according to the present invention rotates a color image of an RGB color coordinate system at an angle of 45 degrees to a color image of a YUV color coordinate system in units of four pixels existing at adjacent positions. I can convert it.

예컨대, 서로 다른 세로축의 2개의 화소 G1, G2가 동일한 가로축에 위치하게 된다.
For example, two pixels G1 and G2 of different vertical axes are positioned on the same horizontal axis.

컬러 변환부(120)는 RGB 색좌표계의 컬러 영상을 기 설정된 개수의 화소 단위로 YUV 색좌표계의 컬러 영상으로 변환할 수 있다.The color converter 120 may convert a color image of the RGB color coordinate system into a color image of the YUV color coordinate system in units of a predetermined number of pixels.

도 8은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 방법을 나타내는 제2 도면이다.8 is a second diagram illustrating a method for encoding a color image according to an embodiment of the present invention.

도 8에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치(이하, 부호화 장치라고 한다)는 제1 색좌표계의 컬러 영상을 획득할 수 있다(S810).As shown in FIG. 8, the apparatus for encoding a color image according to the present invention (hereinafter, referred to as an encoding apparatus) may acquire a color image of a first color coordinate system (S810).

다음으로, 부호화 장치는 획득한 상기 제1 색좌표계의 컬러 영상을 기 설정된 각도로 회전시킬 수 있다(S811).Next, the encoding apparatus may rotate the obtained color image of the first color coordinate system at a preset angle (S811).

다음으로, 부호화 장치는 회전된 제1 색좌표계의 컬러 영상을 서로 인접한 위치에 존재하는 기 설정된 개수의 화소 단위로 제2 색좌표계의 컬러 영상으로 변환할 수 있다. 여기서, 부호화 장치는 제1 색좌표계를 4개의 화소 단위로 제2 색좌표계로 변환할 수 있다(S820).Next, the encoding apparatus may convert the rotated color image of the first color coordinate system into a color image of the second color coordinate system in units of a predetermined number of pixels existing at positions adjacent to each other. Here, the encoding apparatus may convert the first color coordinate system into the second color coordinate system in units of four pixels (S820).

다음으로, 부호화 장치는 변환된 제2 색좌표계의 컬러 영상을 부호화하여 압축된 영상을 생성할 수 있다(S830). 여기서, 제1 색좌표계는 RGB 색좌표계를 나타내고 제2 색좌표계는 YUV 색좌표계를 나타낼 수 있는데 반드시 이에 한정되지 않는다. 또한 부호화시 Y1, Y2가 회전하여 구한 것을 고려하여 예측을 수행하고, 잔여 오차를 계산하여 변환과정을 수행하여 코딩 효율을 향상 시킬 수 있다. 즉 영상이 회전된 것을 고려하여 잔여 오차에 적용되는 변환함수를 설계할 수 있다. 기존 방식에서는 직사각형 단위로 움직임 예측을 수행하고, DCT과 같은 변환함수도 직사각형 구조를 가정하여 설계 하였으나, 회전된 영상에서는 이와 같은 방식을 비효율적일 수 있다. 이러한 문제를 해결하기 위하여, 본 발명에서는 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 구조 등을 모두 회전된 직사각형 구조로 최적화하여 코딩 효율을 향상 시킨다. 즉 영상을 회전한 후 기존 방식으로 부호화 하면, 도 7의 좌측 그림과 같이 직사각형 구조로 부호화가 수행되게 된다 (움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수). 본 발명에서는 도 7의 우측 그림과 같이 회전된 직사각형 구조로 움직임 예측, 움직임 보상, 잔여오차 계산, 잔여오차에 적용되는 변환함수 등의 작업을 수행한다. 이 때 회전 각도는 동일하게 설정함은 물론이다.
Next, the encoding apparatus may generate a compressed image by encoding the color image of the transformed second color coordinate system (S830). Here, the first color coordinate system may represent an RGB color coordinate system and the second color coordinate system may represent a YUV color coordinate system, but is not limited thereto. In addition, the coding efficiency can be improved by performing prediction by considering that Y1 and Y2 are obtained by rotation and encoding the residual error. That is, a conversion function applied to the residual error may be designed in consideration of the rotation of the image. In the conventional method, the motion prediction is performed in a rectangular unit, and a transform function such as DCT is designed assuming a rectangular structure, but such a method may be inefficient in a rotated image. In order to solve this problem, the present invention improves coding efficiency by optimizing all motion prediction, motion compensation, residual error calculation, transform function structure applied to residual error, etc. into a rotated rectangular structure. That is, when the image is rotated and then encoded by the conventional method, the encoding is performed in a rectangular structure as shown in the left figure of FIG. 7 (motion function, motion compensation, residual error calculation, transform function applied to residual error). In the present invention, as shown in the right figure of FIG. 7 is performed a motion prediction, motion compensation, residual error calculation, transform function applied to the residual error, etc. in a rotated rectangular structure. At this time, the rotation angle is of course set the same.

한편, 도3과 같이 다른 가로축에 위치하는 G1, G2 값은 동일 가로축의 Y1, Y2로 변환하는 경우, 원래 영상에는 존재하지 않았던 고주파 성분이 발생할 수 있고 이를 코딩 효율의 저하를 가져오게 된다. 또한 다른 가로축에 위치하는 G1, G2 값은 동일 가로축의 Y1, Y2로 변환하는 경우 움직임 예측 및 보상(motion estimation, motion compensation)에도 오류가 발생할 수 있어 최적의 해를 얻기가 어렵다. 본 발명에서는 이러한 문제를 해결하는 방법을 도 9 내지 도 14를 참조하여 설명한다.On the other hand, as shown in FIG. 3, when G1 and G2 values located on different horizontal axes are converted to Y1 and Y2 on the same horizontal axis, high frequency components that do not exist in the original image may occur, resulting in a decrease in coding efficiency. In addition, when G1 and G2 values located on different horizontal axes are converted to Y1 and Y2 on the same horizontal axis, errors may occur in motion estimation and motion compensation, and thus it is difficult to obtain an optimal solution. In the present invention, a method for solving such a problem will be described with reference to FIGS. 9 to 14.

도 9는 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.9 is a third diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.

도9에 도시한 바와 같이, Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 부호화 함으로 코딩 효율을 향상시킬 수 있다. 즉 움직임 보상의 경우 인접 프레임에서 유사한 블록을 검색하는데 이 때 Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 최적의 움직임 벡터를 구한다. 인트라 모드의 경우 인접 블록/화소에서 현재 블록의 값을 예측하는데 이 경우도 Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 최적의 해를 구한다. 즉 서로 다른 가로축에 위치한 Y1, Y2가 동일한 가로축에 저장되어 있지만, 예측을 통한 잔여오차 축소 하는 과정에서, Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 최적의 해를 구한다.As shown in FIG. 9, coding efficiency can be improved by encoding Y1 and Y2 considering that they are originally located on different horizontal axes. That is, in the case of motion compensation, similar blocks are searched for in adjacent frames. At this time, Y1 and Y2 are found to be optimally located in different horizontal axes. In the intra mode, the neighboring block / pixel predicts the value of the current block. In this case, Y1 and Y2 are originally located on different horizontal axes to obtain an optimal solution. That is, although Y1 and Y2 located on different horizontal axes are stored on the same horizontal axis, in the process of reducing residual error through prediction, Y1 and Y2 are originally located on different horizontal axes to obtain an optimal solution.

구체적으로 설명하면 다음과 같다. 동영상 부호화에서 인터 예측(inter prediction)은 인접 프레임 정보를 이용하여 잔여오차(residual error)를 축소하여 코딩 효율을 높이고 있다. 이를 위해 움직임 보상 (motion compensation) 기법이 사용되는데, 이 때 움직임 예측(motion estimation)이 필요하다. 본 발명에서는 이러한 움직임 예측 시, Y1, Y2는 원래 다른 가로축에 위치하는 것을 고려하여 움직임 예측을 수행하여 성능을 향상시키고자 한다.Specifically, it is as follows. In video encoding, inter prediction improves coding efficiency by reducing residual errors by using adjacent frame information. For this purpose, a motion compensation technique is used, which requires motion estimation. In the present invention, in order to predict the motion, Y1 and Y2 are originally considered to be located on different horizontal axes, and then perform motion prediction to improve performance.

즉, 복호화 과정에서 Yuv 레퍼런스(reference) 영상에 생성되면, 이에 해당하는 레퍼런스 RGB 영상을 생성하여, 이 레퍼런스 RGB 영상을 인접 프레임 부호화 및 복호화에 사용한다. 본 발명에서는 레퍼런스 RGB 영상이 샘플링된 RGB 영상으로 생성되기 때문에 demosaicking 기법이 필요하게 되는데 이 때는 다양한 demosaicking 기술을 이용할 수 있다. 복호화기에서 Yuv 레퍼런스 영상이 생성되면, 이에 상응하는 레퍼런스 RGB 영상을 생성하여 생성된 레퍼런스 RGB 영상에 demosaicking 과정을 적용한 후 풀해상도 YUV 영상으로 변환하고, 이 레퍼런스 RGB 풀해상도 YUV 영상을 인접 프레임의 부호화 및 복호화에 사용한다.
That is, when a Yuv reference image is generated during the decoding process, a reference RGB image corresponding thereto is generated, and the reference RGB image is used for encoding and decoding adjacent frames. In the present invention, since a reference RGB image is generated as a sampled RGB image, a demosaicking technique is required. In this case, various demosaicking techniques can be used. When the Yuv reference image is generated by the decoder, a corresponding reference RGB image is generated, demosaicking is applied to the generated reference RGB image, and then converted into a full resolution YUV image, and the reference RGB full resolution YUV image is encoded into an adjacent frame. And decryption.

도 10은 본 발명의 일 실시예에 따른 컬러 영상을 부호화하기 위한 장치를 나타내는 제3 도면이다.10 is a third diagram illustrating an apparatus for encoding a color image according to an embodiment of the present invention.

도 10에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 부호화하기 위한 장치는 제1 컬러 변환부(1010), 부호화부(1020), 복호화부(1030), 제2 컬러 변환부(1040), 풀컬러 보간부(1050), 및 제3 컬러 변환부(1060) 등을 포함하여 구성될 수 있다.As illustrated in FIG. 10, an apparatus for encoding a color image according to the present invention includes a first color converter 1010, an encoder 1020, a decoder 1030, a second color converter 1040, The full color interpolation unit 1050 and the third color conversion unit 1060 may be included.

본 발명에서는 YUV 영상을 복호화 하여 컬러 변환하면 레퍼런스 RGB 영상이 샘플링된 RGB 영상으로 생성되기 때문에 디모자이킹(demosaicking) 기법이 필요하게 되는데 이 때는 다양한 기술을 이용할 수 있다.In the present invention, since a reference RGB image is generated as a sampled RGB image when the color conversion of the YUV image is decoded, a demosaiking technique is required. In this case, various techniques may be used.

복호화부(1030)는 압축된 영상을 입력 받으면, 그 압축된 영상을 복호화하여 YUV 색좌표계의 복호화된 컬러 영상을 복원할 수 있다.When the decoder 1030 receives the compressed image, the decoder 1030 may decode the compressed image to reconstruct the decoded color image of the YUV color coordinate system.

제2 컬러 변환부(1040)는 복호화된 Yuv 영상을 컬러 역변환하여 원래 CFA 패턴의 샘플링된 RGB 영상을 생성할 수 있다.The second color converter 1040 may generate a sampled RGB image of the original CFA pattern by performing color inverse conversion on the decoded Yuv image.

풀컬러 보간부(1050)는 복호화된 샘플링된 RGB 영상를 보간 즉, 샘플링된 RGB 신호에 디모자이킹 기법을 적용하여 full resolution RGB 컬러 영상을 생성할 수 있다.The full color interpolator 1050 may generate a full resolution RGB color image by interpolating the decoded sampled RGB image, that is, applying a demosaicing technique to the sampled RGB signal.

제3 컬러 변환부(1060)는 full resolution 레퍼런스 RGB 영상에서부터 full resolution Yuv 레퍼런스 신호를 생성할 수 있다. 이 full resolution Yuv 레퍼런스 신호를 부호화부(1020)에서 움직임 예측 및 움직임 보상에 사용함으로 코딩 효율을 향상 시킬 수 있다.
The third color converter 1060 may generate a full resolution Yuv reference signal from the full resolution reference RGB image. The full resolution Yuv reference signal may be used by the encoder 1020 for motion prediction and motion compensation to improve coding efficiency.

도 11은 본 발명의 일 실시예에 따른 컬러 영상을 복호화하기 위한 장치를 나타내는 제2 도면이다.11 is a second diagram illustrating an apparatus for decoding a color image according to an embodiment of the present invention.

도 11에 도시한 바와 같이, 본 발명에 따른 컬러 영상을 복호화하기 위한 장치는 복호화부(1110), 제1 컬러 변환부(1120), 풀컬러 보간부(1130), 제2 컬러 변환부(1140) 등을 포함하여 구성될 수 있다.As shown in FIG. 11, an apparatus for decoding a color image according to the present invention includes a decoder 1110, a first color converter 1120, a full color interpolator 1130, and a second color converter 1140. ) And the like.

이렇게 구성되는 복호화 장치에서도 앞서 설명한 부호화 장치와 동일한 과정을 통하여 full resolution Yuv 레퍼런스 신호를 생성하고 이를 복호화부에서 기준영상으로 사용할 수 있다.
The decoding apparatus configured as described above may generate a full resolution Yuv reference signal through the same process as the above-described encoding apparatus, and may use it as a reference image in the decoder.

현재 대부분 코딩의 경우에는 먼저 Y 신호를 사용하여 먼저 움직임 예측을 수행하고, Y,u,v 신호의 코딩을 진행한다. 즉 움직임 예측, 움직임 보상, 변환(예컨대, DCT: Discrete Cosine Transform), 양자화, 엔트로피 코딩 등의 일련의 과정을 3채널(예컨대, Y, u, v) 신호에 대하여 동시에 진행하여 최적의 해를 구한다. 다양한 코딩 방식에서 사용되는 움직임 예측, 움직임 보상, 변환(예컨대, DCT), 양자화, 엔트로피 코딩 등의 일련의 부호화 과정은 많은 종래 기술에 상세히 기재되어 있으므로 본 명세서에는 생략한다.
Currently, in most coding, motion prediction is performed first using a Y signal, and then coding of Y, u, and v signals is performed. That is, a series of processes such as motion prediction, motion compensation, transform (e.g., Discrete Cosine Transform), quantization, and entropy coding are performed simultaneously on three channel (e.g., Y, u, v) signals to obtain an optimal solution. . A series of encoding processes such as motion prediction, motion compensation, transform (eg, DCT), quantization, entropy coding, etc. used in various coding schemes are described in detail in many prior art and thus are omitted herein.

본 발명에서는 인트라 모드(intra mode) 예측에서도 3채널에 대하여 동시에 부호화를 진행하여 타 채널의 정보를 이용하여 코딩 성능을 향상 시킬 수 있다.
In the present invention, even in intra mode prediction, encoding may be performed on three channels simultaneously to improve coding performance by using information of another channel.

도 12는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 코딩 효율을 향상 시킬 수 있는 과정을 보여주는 도면이다.12 is a diagram illustrating a process of improving coding efficiency considering that Y1 and Y2 are located on different axes.

도 12에 도시한 바와 같이, 원래 녹색 화소의 위치는 그림(a)와 같고 이에 해당하는 Y 화소의 위치는 그림 (b)와 같으나 메모리에는 그림(c)와 같이 저장되게 된다. 움직임 벡터 예측, 움직임 보상 및 인트라 예측을 다른 가로축에 위치한 Y1, Y2를 그림 (c)와 같이 동일 가로축에 놓인 것을 가정하고 수행됨으로 코딩 효율이 저하될 수 있다. 이러한 문제를 해결하기 위하여 본 발명에서는 부호화된 Y 신호를 복호화하여(그림 (d)), 이를 다시 원래 위치에 배치한다(그림 (e)). 또한 복화화된 uv 신호(그림 (f))와 재배치된 복호화된 Y 신호(를 사용하여 원래 CFA에 해당하는 복호화된 RGB 영상을 얻게 된다(그림 (g)). 이를 보간하면 (demosaicking), full resolution 영상을 얻게 되고, 여기서 복호화된 full resolution Y 영상을 구할 수 있다(그림 (h)). 즉 이미 부호화된 프레임이나 블록에 해당하는 full resolution Y 영상을 구할 수 있으므로 이를 이용하여 움직임 벡터 예측, 움직임 보상 및 인트라 예측을 효율적으로 수행할 수 있다.
As shown in FIG. 12, the position of the original green pixel is as shown in FIG. A, and the position of the corresponding Y pixel is as in FIG. Coding efficiency may be reduced by assuming that motion vector prediction, motion compensation, and intra prediction are placed on the same horizontal axis as shown in (c) of Y1 and Y2 located on different horizontal axes. In order to solve this problem, the present invention decodes the encoded Y signal (Fig. (D)) and places it back in its original position (Fig. (E)). In addition, the decoded uv signal (Figure (f)) and the rearranged decoded Y signal (using the decoded RGB image corresponding to the original CFA are obtained (Figure (g)). A resolution image is obtained, and a decoded full resolution Y image can be obtained (Fig. (h)), that is, a full resolution Y image corresponding to an already encoded frame or block can be obtained. Compensation and intra prediction can be performed efficiently.

도 13은 H.264의 인트라 예측 모드의 일례를 보여준다. 도14는 Y1, Y2가 서로 다른 축에 위치하는 것을 고려하여 인트라 예측 및 인터 예측의 성능을 개선하는 과정을 보여주는 도면이다.13 shows an example of an intra prediction mode of H.264. 14 is a diagram illustrating a process of improving the performance of intra prediction and inter prediction by considering that Y1 and Y2 are located on different axes.

기 부호화된 블록은 앞서 설명한 방법으로 full resolution Y 영상을 얻는다 (

). 현재 부호와 되고 있는 블록(회색)을 기 부호화된 블록에서 예측하는 경우, Y1과 Y2를 비록 메모리에는 동일 가로축에 위치한 것으로 저장되었지만 인트라 예측, 인터 모드 움직임 예측/보상에서는 도14와 같이 Y1과 Y2를 다른 가로축에 위치한 것을 고려하여 예측을 수행한다. 도 14의 그림 (a), (b)는 프레임간 움직임 예측과정을 보여준다. 현재 부호화 되고 있는 블록(회색, 도 14(b))에 해당하는 블록을 기 부호화된 기준 영상(reference image, 도 14(a))에서 찾는 경우 Y1과 Y2를 다른 가로축에 위치한 것을 고려하면, 정확한 움직임 벡터 검색과 움직임 보상이 가능하다. 특히 움직임 벡터가 정수가 아닌 경우 예측의 정확성을 높일 수 있게 된다.The pre-coded block obtains a full resolution Y image by the method described above.

). In the case of predicting the current code and the block (gray) from the pre-coded block, Y1 and Y2 are stored in the same horizontal axis in memory, but in intra prediction and inter mode motion prediction / compensation, as shown in FIG. The prediction is performed taking into account the position of the other horizontal axis. Figures (a) and (b) of Figure 14 show the inter-frame motion prediction process. When a block corresponding to the block currently being encoded (gray, FIG. 14 (b)) is found in a pre-coded reference image (reference image, FIG. 14 (a)), considering that Y1 and Y2 are located on different horizontal axes, Motion vector search and motion compensation are possible. In particular, when the motion vector is not an integer, the accuracy of prediction can be improved.

또한 서로 다른 가로축에 위치하는 Y1과 Y2를 도 12의 그림 (c)와 같이 동일 가로축으로 이동 후, 도 13과 같은 인트라 모드 예측을 수행하는 경우 예측 정확성의 저하가 발생한다. 그러나 도 14(c)와 같이 기 부호화된 블록은 앞서 설명한 방법으로 full resolution Y 영상을 얻고, Y1과 Y2는 다른 가로축에 위치한 것을 고려하여 인트라 예측을 수행하는 경우 예측 정확성을 향상시킬 수 있다.
Also, after moving Y1 and Y2 located on different horizontal axes to the same horizontal axis as illustrated in FIG. 12C, the prediction accuracy decreases when intra mode prediction is performed as shown in FIG. 13. However, as shown in FIG. 14C, the pre-coded block obtains a full resolution Y image by the above-described method, and when the intra prediction is performed considering that Y1 and Y2 are located on different horizontal axes, prediction accuracy may be improved.

일반적으로 움직임 예측(motion estimation)이 부정확한 경우 큰 잔여오차가 발생한다. 이러한 경우 DCT 등을 사용하여 변환하여도 큰 에너지를 갖게 된다. 이러한 부분을 정확하게 부호화 하기 위하여는 양자화 크기(quantization step)를 작게 하여야 한다. 그러나 양자화 크기를 작게 하는 경우 많은 비트가 생성되게 되어, 코딩 효율을 저하하게 된다.In general, a large residual error occurs when motion estimation is inaccurate. In this case, even if the conversion using DCT or the like has a large energy. In order to correctly encode such a portion, the quantization step must be made small. However, if the quantization size is made small, many bits are generated, thereby reducing coding efficiency.

본 발명에서는 이러한 문제를 해결하기 위하여 잔여오차 에너지에 따라 양자화 크기를 적응적으로 변동하는 방법을 개시한다.
In order to solve this problem, the present invention discloses a method of adaptively varying the quantization size according to the residual error energy.

도 15는 양자화 크기를 조절하여 부호화하는 과정을 보여주는 도면이다. 도 15에 도시한 바와 같이, 본 발명은 부호화 과정에서 각 블록(block) 또는 코딩 단위의 잔여 오차에 DCT 등과 같은 변환을 적용하여 양자화한 후 출력되는 비트 스트림을 조사하여 에너지가 특정 값보다 큰 경우, 양자화 크기를 축소하여 다시 양자화하여 비트스트림을 생성한다. 이 때 양자화 크기를 축소하였음으로 비트스트림에 포함된 에너지는 증가하게 된다.15 is a diagram illustrating a process of adjusting and encoding a quantization size. As shown in FIG. 15, when the energy is greater than a specific value by applying a transform such as DCT to a residual error of each block or coding unit in the encoding process and then quantizing the output bit stream Then, the quantization size is reduced and quantized again to generate a bitstream. At this time, since the quantization size is reduced, the energy included in the bitstream increases.

즉, 제1 양자화부는 기 설정된 제1 양자화 크기가 결정되면, 제1 양자화 크기 (예, QP: Quantization Parameter)를 사용하여 양자화 변환 계수를 양자화할 수 있다(S1510).That is, when the first quantization size is determined, the first quantization unit may quantize the quantization transform coefficients using the first quantization size (eg, QP: Quantization Parameter) (S1510).

에너지 계산부는 제1 양자화부(1211a)에서 양자화된 양자화 변환 계수에 상응하는 특정 주파수 대역의 에너지 값을 계산할 수 있다(S1520).The energy calculator may calculate an energy value of a specific frequency band corresponding to the quantized transform coefficient quantized by the first quantizer 1211a (S1520).

에너지 계산부는 계산된 에너지 값과 기 설정된 임계치를 비교하여(S1530) 그 비교한 결과에 따라 제2 양자화부는 계산된 에너지 값이 기 설정된 임계치 이상이면 기 설정된 제2 양자화 크기를 결정하고, 결정된 제2 양자화 크기를 사용하여 다시 변환 계수를 양자화할 수 있다(S1540).The energy calculation unit compares the calculated energy value with a preset threshold (S1530). If the calculated energy value is greater than or equal to the preset threshold, the second quantization unit determines the preset second quantization size and determines the determined second value. The transform coefficient may be quantized again using the quantization magnitude (S1540).

반면, 제1 양자화부는 계산된 에너지 값이 기 설정된 임계치 미만이면 제1 양자화 크기를 사용하여 양자화되어 출력된 양자화 변환 계수를 그대로 사용할 수 있다.
On the other hand, if the calculated energy value is less than the preset threshold, the first quantization unit may use the quantized transform coefficients that are quantized and output using the first quantization magnitude.

또한, 본 발명은 복호화 과정에서도, 비트스트림에 포함된 에너지가 특정값 보다 큰 경우, 양자화 크기를 적응적으로 조절하여 복호화함은 물론이다.In addition, in the decoding process, if the energy included in the bitstream is larger than a specific value, the quantization size may be adaptively adjusted and decoded.

도 16은 도 15의 방식으로 산출된 압축 데이터의 복호화 과정을 보여주는 도면이다.FIG. 16 is a diagram illustrating a decoding process of compressed data calculated by the method of FIG. 15.

도 16에 도시한 바와 같이, 양화화 변환 계수의 특정 주파수 대역의 에너지를 계산하여 이 값이 특정 문턱치(T)보다 작은 경우, 양자화 크기 (D1)을 사용하여 역양자화 하고, 문턱치(T)보다 큰 경우 양자화 크기 (D2)을 사용하여 역양자화 한다.As shown in Fig. 16, when the energy of a specific frequency band of the quantization transformation coefficient is calculated and this value is smaller than a specific threshold T, the quantization magnitude D1 is used to dequantize and then to dequantize the threshold T. If large, inverse quantization is done using the quantization magnitude (D2).

즉, 에너지 계산부는 복호화된 양자화 변환 계수의 특정 주파수 대역의 에너지 값을 계산할 수 있다(S1610).That is, the energy calculator may calculate an energy value of a specific frequency band of the decoded quantization transform coefficient (S1610).

에너지 계산부는 계산된 에너지 값과 기 설정된 임계치를 비교하여(S1620) 그 비교한 결과에 따라 제1 역양자화부는 계산된 에너지 값이 기 설정된 임계치보다 작거나 같으면, 제1 양자화 크기를 사용하여 역양자화할 수 있다(S1630).The energy calculator compares the calculated energy value with a preset threshold (S1620), and according to the result of the comparison, if the calculated inverse quantizer is less than or equal to the preset threshold, the inverse quantization is performed using the first quantization size. It may be (S1630).

반면, 제2 역양자화부는 계산된 에너지 값이 기 설정된 임계치보다 크거나 같은 경우 제2 양자화 크기를 이용하여 역양자화를 수행할 수 있다(S1640).On the other hand, when the calculated energy value is greater than or equal to the preset threshold value, the second inverse quantization unit may perform inverse quantization using the second quantization size (S1640).

예컨대, QP=32를 사용하여 부호화하였을 때, 특정 블록에서 발생한 비트스트림의 에너지가 특정값보다 큰 경우, 해당 블록을 더 작은 값의 QP(예, 27)을 사용하여 다시 부호화한다.For example, when encoding using QP = 32, if the energy of a bitstream generated in a specific block is greater than a specific value, the corresponding block is re-encoded using a smaller QP (eg, 27).

또한, 본 발명은 복호화 과정에서 특정 블록의 비트스트림 에너지가 특정값을 초과하는 경우 QP=27을 사용하고, 특정 블록의 비트스트림 에너지가 특정값보다 작거나 같은 경우 QP=32를 사용하여 복호화한다. 여기서, 본 발명은 비트스트림 전체 에너지를 고려하는 대신 특정 주파수 대역(예컨대, 고주파 성분)에 포함된 에너지를 고려하여 QP 값을 가변적으로 조절할 수 있다. 예컨대, 4x4 DCT를 사용하는 경우, 다음의 [수학식 4]와 같이 16개의 변환 계수가 생성된다.In addition, the present invention uses QP = 27 when the bitstream energy of a specific block exceeds a specific value during decoding, and uses QP = 32 when the bitstream energy of a specific block is less than or equal to a specific value. . Here, the present invention may variably adjust the QP value in consideration of the energy included in a specific frequency band (eg, a high frequency component) instead of considering the total energy of the bitstream. For example, when using 4x4 DCT, 16 transform coefficients are generated as shown in Equation 4 below.

[수학식 4]&Quot; (4) "

여기서,

는 DC 성분을 나타내고,

는 최고 주파수를 나타낸다. 이렇게 생성된 16개의 변환 계수를 양자화 하면, 다음의 [수학식 5]와 같은 양자화된 변환 계수가 생성된다.here,

Represents the DC component,

Represents the highest frequency. When the 16 transform coefficients are quantized, the quantized transform coefficients are generated as shown in Equation 5 below.

[수학식 5]&Quot; (5) "

이때, 전체 양자화된 계수의 에너지 E_total은 다음의 [수학식 6]과 같이 계산할 수 있다.In this case, the energy E _total of the _total quantized coefficient may be calculated as shown in Equation 6 below.

[수학식 6]&Quot; (6) "

일반적으로 곱셉은 많은 연산이 요구되기 때문에 연산량을 고려하여 다음의 [수학식 7]과 같이 절대값의 합을 전체 에너지로 대체할 수 있음은 물론이다.In general, since multiplying requires a lot of operations, it is a matter of course that the sum of absolute values can be replaced with the total energy as shown in Equation 7 below.

[수학식 7][Equation 7]

또한, 본 발명은 만일 특정 주파수 대역의 에너지만을 고려한다면, 특정 주파수 대역의 에너지 E_sub를 다음의 [수학식 8]과 같이 계산할 수 있다.In addition, in the present invention, if only energy of a specific frequency band is considered, the energy E _sub of a specific frequency band may be calculated as in Equation 8 below.

[수학식 8][Equation 8]

이와 같이 비트스트림 에너지에 따라 상이한 양자화 크기를 사용하는 경우, 양자화 크기를 조절하는 방법에 대한 정보를 부호화기와 복호화기가 공용하여야 함은 물론이다. 이 또한 가변적으로 적용할 수 있고 부호화기는 양자화 크기 변동 방법에 대한 정보를 동영상 압축데이터와 함께 전송할 수 있다.
As such, when using different quantization sizes according to bitstream energies, it is a matter of course that the encoder and the decoder share information about a method of controlling the quantization size. This also can be applied variably and the encoder can transmit information on the quantization size variation method together with the video compressed data.

또한, 다른 수평선상에 있는 G 신호를 사용하여 동일선 상에 있는 Y 신호를 생성하는 경우 원래 영상에 존재하지 않은 고주파 성분이 발생하여 코딩 효율을 저하시킨다.In addition, when the Y signal on the same line is generated by using the G signal on another horizontal line, a high frequency component that does not exist in the original image is generated to reduce coding efficiency.

이러한 문제를 해결하기 위하여 본 발명에서는 양자화 크기를 고려하여 선택적으로 필터를 적용한다.In order to solve this problem, the present invention selectively applies a filter in consideration of the quantization size.

도 17은 양자화 크기에 따라 LPF를 설계하고 적용하여 부호화하는 과정을 보여주는 도면이다.17 is a diagram illustrating a process of designing, applying, and encoding an LPF according to a quantization size.

도 17에 도시한 바와 같이, 큰 값의 양자화 크기를 사용하여 부호화하는 경우, 먼저 low pass filter를 적용한 후 Yuv 신호를 생성한다. 또한 일반적으로 양자화 크기에 따라 압축된 동영상에 포함되는 최고 주파수 에너지가 결정된다. 부호화 및 복호화를 하나의 압축전송 시스템으로 생각하면, 여러 QP에 따라 압축전송시스템의 주파수 응답을 변하게 된다. 물론 이 시스템은 입력 영상에 따라 주파수 응답이 일정하지 않지만, 큰 틀에서는 유사한 주파수 응답을 보이게 된다. 따라서, 양자화 크기가 정해지면 압축하여 전송할 수 있는 고주파수 에너지가 어느 정도 한정됨으로 본 발명에서는 이를 고려하여 양자화 크기에 따라 먼저 신호에 LPF를 적용한 후 부호화한다.As shown in FIG. 17, when encoding using a large value of quantization, a low pass filter is first applied, and then a Yuv signal is generated. In addition, the quantization size generally determines the highest frequency energy included in the compressed video. Considering coding and decoding as one compression transmission system, the frequency response of the compression transmission system is changed according to several QPs. Of course, the system does not have a constant frequency response according to the input image, but in a large frame, the frequency response is similar. Therefore, when the quantization size is determined, the high frequency energy that can be compressed and transmitted is limited to some extent. In the present invention, LPF is first applied to a signal according to the quantization size and then encoded.

즉, 양자화 결정부가 양자화 크기를 결정하고(S1710), LPF 적용부가 결정된 상기 양자화 크기에 따라 LPF(Low Pass Filter)를 설계하여 설계된 상기 LPF를 입력 영상에 적용할 수 있다(S1720).That is, the quantization determination unit determines the quantization size (S1710), and the LPF designed by designing a low pass filter (LPF) according to the quantization size determined by the LPF application unit may apply the input image to the input image (S1720).

부호화부는 LPF 적용부로부터 출력된 영상을 부호화하여 압축된 영상을 생성할 수 있다(S1730).
The encoder may generate a compressed image by encoding the image output from the LPF applying unit (S1730).

색 변환 후, 불필요한 고주파 성분 발생 문제를 해결하기 위하여 CFA를 도 18과 같이 설계할 수 있다.After color conversion, the CFA may be designed as shown in FIG. 18 to solve an unnecessary high frequency component generation problem.

도 18은 본 발명의 일 실시예에 따른 색좌표계의 변환 과정을 설명하기 위한 제3 도면이다.18 is a third diagram for describing a process of converting a color coordinate system according to an embodiment of the present invention.

도 18에 도시한 바와 같이, 이러한 구조에서 마름모 형태의 4 화소가 하나의 단위를 이루고 이를 색변환하게 되면, 정사각형 격자에 Y 신호가 위치하게 되어 코딩 효율을 향상 시킬 수 있다. 다만, 대부분의 디스플레이는 사각형의 격자 구조를 갖기 때문에 이러한 신호를 표시하기 위하여는 보간이 필요하게 된다. 즉 기존 디스플레이와의 호환성을 위하여 복호화기는 최종 신호를 디스플레이부의 격자 구조에 맞게 보간하여 출력할 수 있다.As shown in FIG. 18, when four pixels having a rhombus form one unit in this structure and perform color conversion, the Y signal is positioned on a square grid to improve coding efficiency. However, since most displays have a rectangular lattice structure, interpolation is necessary to display such a signal. That is, for compatibility with the existing display, the decoder may interpolate and output the final signal according to the lattice structure of the display unit.

즉, 본 발명에 따른 컬러 영상을 부호화/복호화 장치는 단일 영상 센서에서 생성된 색 신호를 표시하는 디스플레이부를 더 포함할 수 있다. 여기서, 디스플레이부는 단일 영상 센서에서 생성된 색 신호를 수신하는 수신부, 및 수신된 색 신호를 디스플레이부의 격자 구조에 맞게 보간하는 보간부로 구성될 수 있다.
That is, the apparatus for encoding / decoding a color image according to the present invention may further include a display unit displaying a color signal generated by a single image sensor. The display unit may include a receiver that receives a color signal generated by a single image sensor, and an interpolator that interpolates the received color signal according to a grid structure of the display unit.

본 발명에 의한 CFA를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Apparatus for encoding / decoding a sampled color image obtained by using the CFA according to the present invention, and those skilled in the art to which the method belongs, various modifications and variations without departing from the essential characteristics of the present invention This will be possible. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

110: 영상 센싱부
111: 영상 회전부
120: 컬러 변환부
130: 부호화부
140: 복호화부
150: 컬러 역변환부
160: 풀컬러 보간부
170: 디스플레이부110: image sensing unit
111: video rotating unit
120: color conversion unit
130: encoder
140:
150: color inversion converter
160: full color interpolator
170:

Claims

delete

A moving picture encoding apparatus comprising:
A first quantizer for quantizing transform coefficients using a first quantization magnitude;
An energy calculator configured to calculate an energy value of a specific frequency band corresponding to the quantized transform coefficients; And
A second quantizer configured to determine a second quantization magnitude and requantize the transform coefficient using the second quantization magnitude determined when the calculated energy value is greater than or equal to a preset threshold;
Wherein the first quantization unit uses a quantized transform coefficient using a first quantization size when the energy value is less than a preset threshold.

A quantization coefficient calculator configured to decode the received compressed signal to calculate a quantized transform coefficient;
An energy calculator configured to calculate an energy value of a specific frequency band corresponding to the calculated quantized transform coefficients; And
An inverse quantization unit for comparing the calculated energy value with a preset threshold and inversely quantizing the quantized transform coefficients using different quantization magnitudes according to the comparison result;
The inverse quantization unit may include a first quantization magnitude when the energy value is less than or equal to a preset threshold, and a second quantization magnitude when the energy value is greater than a preset threshold. Device for decryption.

delete

In the video encoding method,
Quantizing the transform coefficients using the first quantization magnitude;
Calculating an energy value of a specific frequency band corresponding to the quantized transform coefficients; And
If the calculated energy value is greater than or equal to a predetermined threshold, quantizing the transform coefficient using the second quantization magnitude determined by determining a second quantization magnitude;
Wherein the step of quantizing the transform coefficients again comprises using a quantized transform coefficient using a first quantization magnitude if the energy value is less than a preset threshold.

Decoding the received compressed signal to calculate a quantized transform coefficient;
Calculating an energy value of a specific frequency band corresponding to the calculated quantized transform coefficients; And
Inversely quantizing the quantized transform coefficients using different quantization magnitudes according to the comparison result by comparing the calculated energy value with a predetermined threshold value;
Wherein the dequantizing comprises using a first quantization magnitude if the energy value is less than or equal to a preset threshold, and using a second quantization magnitude if the energy value is greater than a preset threshold. Method for decoding an image.