KR101349466B1

KR101349466B1 - Apparatus and method for improving image quality in digital camera

Info

Publication number: KR101349466B1
Application number: KR1020070087435A
Authority: KR
Inventors: 임해근
Original assignee: 엘지이노텍 주식회사
Priority date: 2007-08-30
Filing date: 2007-08-30
Publication date: 2014-01-08
Also published as: KR20090022256A

Abstract

실시예에 따른 카메라의 이미지 개선 방법은 피사체에서 반사된 빛의 적색, 녹색 및 청색(RGB)의 밝기와 컬러 값을 전기적인 신호로 변환하고, 상기 전기적인 신호를 영상데이터로 변환하는 단계; 상기 영상데이터의 피사계 심도(Depth of Field)를 깊게 하는 단계; 상기 피사계 심도가 깊어진 영상데이터에 색조정, 해상력 조절 및 노이즈 감쇄 등의 이미지 처리를 하는 단계; 및 상기 이미지 처리 과정을 거친 영상데이터를 RGB 방식의 데이터로 변환하여 표시부에 영상이 표시되는 단계를 포함한다. An image improving method of a camera according to an embodiment may include converting brightness and color values of red, green, and blue (RGB) of light reflected from a subject into an electrical signal, and converting the electrical signal into image data; Deepening a depth of field of the image data; Performing image processing such as color tone adjustment, resolution adjustment, and noise reduction on the image data having a deep depth of field; And converting the image data processed through the image processing into RGB data and displaying the image on the display unit.

실시예에 따른 카메라의 이미지 개선 장치 및 방법은 이미지 처리부에 피사계 심도를 깊게 하는 기능을 추가하여, 거리에 상관없이 선명한 이미지를 볼 수 있다.The apparatus and method for improving an image of a camera according to an embodiment may add a function to deepen a depth of field to an image processing unit, so that a clear image may be viewed regardless of a distance.

카메라, 이미지 개선 Camera, image enhancement

Description

Apparatus and method for improving image quality in digital camera}

실시예는 카메라의 이미지 개선 장치 및 방법에 관한 것이다.Embodiments relate to an apparatus and method for image enhancement of a camera.

최근 들어, 디지털 카메라 기술의 비약적인 발달과 더불어, 보다 높은 해상도와 다양한 기능을 지원하는 디지털 카메라들이 상품화되고 있다.In recent years, with the rapid development of digital camera technology, digital cameras supporting higher resolution and various functions have been commercialized.

이러한 디지털 카메라에는 기본적으로 피사체의 빛을 포획하여 전기적 신호로 변환하여 주는 CCD(charge coupled device), CMOS(complementary metal oxide semiconductor) 등과 같은 이미지 센서가 기본적으로 포함되어 있다.The digital camera basically includes an image sensor such as a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), etc., which captures and converts light of a subject into an electrical signal.

그러나, 현재의 기술로는 이러한 이미지 센서에 의하여 영상을 획득시 초점이 잘 맞지 않는 등의 문제점 등으로 인해 흐려지게 된다.However, the current technology is blurred due to problems such as poor focus when acquiring an image by such an image sensor.

실시예에 의한 카메라의 이미지 개선 방법은 영상 처리 과정에서 디컨볼루션 알고리즘(deconvolution algorithm)으로 영상의 이미지 향상을 제공한다.The image enhancement method of the camera according to the embodiment provides an image enhancement of an image by a deconvolution algorithm during image processing.

실시예에 의한 카메라의 이미지 개선 장치는 향상된 이미지 영상을 제공한다.An image improving apparatus of a camera according to an embodiment provides an improved image image.

실시예에 따른 카메라의 이미지 개선 장치는 피사체에서 반사된 빛이 입사되는 렌즈부; 상기 렌즈부를 통해 입사된 영상을 전기적인 신호로 변환하는 센서부; 및 상기 전기적인 신호로 변환된 데이터에 대하여 피사계 심도(Depth of Field)를 깊게해주고, 화질을 부드럽고 선명하게 하는 피사계 심도부 및 이미지 보정부를 포함하는 이미지 처리부;를 포함한다.An image improving apparatus of a camera according to an embodiment includes a lens unit to which light reflected from a subject is incident; A sensor unit for converting an image incident through the lens unit into an electrical signal; And an image processor including a depth-of-field unit and an image correction unit that deepens a depth of field with respect to the data converted into the electrical signal and makes image quality smooth and clear.

도 1은 카메라에서 영상 데이터를 처리하는 과정을 대략적으로 도시한 개략도이고, 도 2는 피사체에서 반사된 빛이 센서에 입사되는 것을 개략적으로 도시한 도면이며, 도 3은 디컨볼루션 알고리즘에 의해 피사계 심도가 깊어진 것을 도시한 도면이다.FIG. 1 is a schematic diagram illustrating a process of processing image data in a camera, FIG. 2 is a diagram schematically illustrating incident light reflected from a subject to a sensor, and FIG. 3 is a depth of field by a deconvolution algorithm. It is a figure which shows that depth was deep.

도 1을 참조하여 카메라에서 영상 데이터를 처리하는 과정을 살펴본다.A process of processing image data in the camera will be described with reference to FIG. 1.

카메라의 렌즈부(1)는 피사체에서 반사된 빛이 센서부(2)에 들어가기 전에 상기 센서부(2)로 입력되는 빛의 양을 조절한다.The lens unit 1 of the camera adjusts the amount of light input to the sensor unit 2 before the light reflected from the subject enters the sensor unit 2.

그리고, 상기 센서부(2)는 상기 렌즈부(1)를 통해 들어온 영상의 적색, 녹색 및 청색(Red, Green, Blue; 이하 RGB)의 밝기와 컬러 값을 전기적인 신호로 변환한다.The sensor unit 2 converts the brightness and color values of red, green, and blue (RGB) of the image input through the lens unit 1 into electrical signals.

이때, 상기 렌즈부(1)를 통과한 빛은, 도 2에 도시된 바와 같이, 이미지 센서(40)에 입사된다.At this time, the light passing through the lens unit 1 is incident on the image sensor 40, as shown in FIG.

그러나, 녹색의 초점(20)에 맞추어 상기 이미지 센서(20)를 배치하게 되면, 청색의 초점(10)은 상기 이미지 센서(40)보다 앞에 맺히고, 적색의 초점(30)은 상기 이미지 센서(40)를 지나야 맺힐 수 있다.However, when the image sensor 20 is disposed in accordance with the green focus 20, the blue focus 10 is formed in front of the image sensor 40, and the red focus 30 is located in the image sensor 40. Can only be concluded.

이는 상기 렌즈부(1)를 통과한 빛의 RGB의 초점거리가 다르기 때문이며, 따라서 상기 이미지 센서(20)에 의해 형성된 이미지는 RGB 파장의 차이로 인해 거리별 색수차가 발생한다.This is because the focal lengths of RGB of the light passing through the lens unit 1 are different, and therefore, chromatic aberration for each distance occurs in the image formed by the image sensor 20 due to the difference in the RGB wavelength.

아날로그/디지털 변환기(Analog to Digital Converter; ADC, 3)에서는 센서부(2)에서 출력되는 연속적인 아날로그 영상신호를 0과 1의 디지털 영상데이터로 변환한다.An analog to digital converter (ADC) 3 converts a continuous analog video signal output from the sensor unit 2 into digital video data of 0 and 1.

여기서, 디지털 영상데이터의 색표현 방식으로 영상데이터를 밝기(Luminance)와 색상(Chrominance) 성분으로 분리하여 컬러를 표현하는 YUV 또는 YCbCr 방식이 사용된다. Here, as a color expression method of the digital image data, a YUV or YCbCr method is used to express the color by dividing the image data into luminance and chrominance components.

만일, 상기 아날로그/디지털 변환기(3)에 의해서 영상신호의 RGB 값이 주어진 경우 YUV 값은,If the RGB value of the video signal is given by the analog / digital converter 3, the YUV value is

Y=0.3R+0.59G+0.11BY = 0.3R + 0.59G + 0.11B

U=(B-Y)×0.493U = (B-Y) × 0.493

V=(R-Y)×0.877V = (R-Y) × 0.877

로 주어진다..

한편, YCbCr 방식은 JPEG(Joint Photographic Experts Group) 및 MPEG(Motion Picture Experts Group)에서 사용되는 색 표현방식으로, 색을 밝기인 Y 성분과 색상인 Cb 및 Cr 성분으로 구분한다.On the other hand, the YCbCr method is a color expression method used in the Joint Photographic Experts Group (JPEG) and the Motion Picture Experts Group (MPEG).

만일 RGB 값이 주어졌을 경우, YCbCr 값은Given an RGB value, the YCbCr value is

Y=0.3R+0.59G+0.11BY = 0.3R + 0.59G + 0.11B

Cb=((B-Y)/2)+0.5Cb = ((B-Y) / 2) +0.5

Cr=((R-Y)/1.6)+0.5Cr = ((R-Y) /1.6) +0.5

로 주어진다..

상기 RGB 값에서 YUV 또는 YCbCr 방식으로 변환하는 식의 계수값 및 상수값은 약간의 차이가 있을 수 있다.The coefficient value and the constant value of the equation for converting from the RGB value to the YUV or YCbCr method may be slightly different.

이미지 처리부(4)는 피사계 심도부(4a) 및 이미지 보정부(4b)를 포함하여 이루어질 수 있다.The image processor 4 may include a depth of field 4a and an image corrector 4b.

상기 피사계 심도부(4a)는 원 데이터에 대하여 피사계 심도(Depth of Field)를 깊게 해 주는 기능을 하며, 이는 디컨볼루션 알고리즘(De-convolution algorithm)을 사용하여 이미지를 처리한다.The depth-of-field unit 4a functions to deepen the depth of field with respect to the original data, which processes an image using a de-convolution algorithm.

상기 디컨볼루션은 이미지 복원(image restoration)이라고도 하며, 디지털 영상에서 초점에서 벗어난 것들을 원래의 위치로 복원(restoration)하는 방법 중의 하나이다.The deconvolution, also called image restoration, is one of the methods of restoring out of focus in a digital image to its original position.

선형 시스템으로부터의 출력 신호 y(t)는 입력신호 x(t)와 시스템 함수 h(t)의 컨볼루션(convolution)으로 표시된다.The output signal y (t) from the linear system is represented by the convolution of the input signal x (t) and the system function h (t).

y=x(t)*h(t)y = x (t) * h (t)

만약, 출력 신호 y(t)와 시스템 함수 h(t)를 안다면, 역으로 입력신호 x(t)를 구할 수 있으며, 이러한 과정을 디컨볼루션이라고 한다.If the output signal y (t) and the system function h (t) are known, the input signal x (t) can be obtained inversely. This process is called deconvolution.

즉, 상기 디컨볼루션 알고리즘을 이용하면 흐려지기 이전의 높은 콘트라스트(contrast)의 이미지를 얻을 수 있게 된다.In other words, using the deconvolution algorithm, it is possible to obtain a high contrast image before blurring.

도 3은 디컨볼루션 알고리즘에 의해 피사계 심도가 깊어진 것을 도시한 도면이다.3 is a diagram showing that the depth of field is deepened by a deconvolution algorithm.

상기 이미지 센서(40)에서 형성된 RGB 광원(50) 중 초점이 맞지 않는 청색(blue)과 적색(red)의 광원이 디컨볼루션 알고리즘을 통해 높은 콘트라스트의 이미지를 얻을 수 있다.Among the RGB light sources 50 formed by the image sensor 40, blue and red light sources that are out of focus may obtain a high contrast image through a deconvolution algorithm.

즉, 이미지의 피사계 심도(Depth of field)가 깊어져, 모든 광원에서 초점이 맞는 RGB 광원(60)이 형성된다.That is, the depth of field of the image is deepened, thereby forming an RGB light source 60 that is in focus in all light sources.

상기 디컨볼루션 알고리즘은 inverse filtering, Wiener filtering, CLEAN algorithm, maximum entropy method, LUCY 등이 있다.The deconvolution algorithm includes inverse filtering, Wiener filtering, CLEAN algorithm, maximum entropy method, LUCY, and the like.

그리고, 상기 이미지 보정부(4b)는 상기 피사계 심도부(4a)에서 얻은 높은 콘트라스트의 이미지에 대하여 샤픈 필터(sharpen filter)와 블러 필터(blur filter)를 가감하여, 색조정, 해상력 조절 및 노이즈 감쇄 등의 기능을 한다.The image correction unit 4b adds or subtracts a sharpen filter and a blur filter to the high-contrast image obtained by the depth-of-field unit 4a to adjust color tone, resolution, and noise reduction. And functions.

각 필터를 적용하기 위해서는 이미지 데이터를 공간적 도메인에서 주파수 영역으로 변환한 후 샤픈 필터와 블러 필터를 적용한다.To apply each filter, image data is converted from the spatial domain to the frequency domain, and then sharpen and blur filters are applied.

상기 샤픈 필터는 고역통과필터(high pass filter), 상기 블러 필터는 저역통과필터(low pass filter)로 동작한다.The sharp filter operates as a high pass filter, and the blur filter operates as a low pass filter.

상기 샤픈필터는 고주파수 영역, 즉 에지 부분을 통과시켜 이미지를 좀 더 선명하게 만들어주고, 상기 플러필터는 저주파수 영역, 즉 평이한 부분을 통과시켜 이미지를 부드럽게 만들어주며 노이즈를 감소시켜주는 역할을 한다.The sharp filter passes the high frequency region, i.e., the edge portion, to make the image more clear, and the plug filter passes the low frequency region, i.e., the flat portion, to soften the image and reduce noise.

종래의 이미지 처리부(4)는 화질을 부드럽고 선명하게 하기 위해 샤픈 필터와 블러 필터를 사용하는 상기 이미지 보정부(4b)의 기능만 있으나, 본 실시예에서는 상기 피사계 심도부(4a)를 추가하여 피사계의 심도를 깊게 하여, 거리에 상관없이 선명한 이미지를 볼 수 있다.The conventional image processing unit 4 has only a function of the image correcting unit 4b that uses a sharp filter and a blur filter to make the image quality smooth and clear, but in the present embodiment, the depth of field unit 4a is added to add the depth of field. Deeper depth of field allows you to see clear images regardless of the distance.

이미지 압축부(5)는 상기 이미지 처리부(4)를 거친 디지털 영상 데이터를 압축해서 저장이 용이하도록 만든다.The image compressor 5 compresses the digital image data passed through the image processor 4 to make it easy to store.

이때, 데이터의 압축 형식은 JPEG 방식을 포함한 MPEG 및 기타 방식으로 압축될 수 있다.At this time, the compression format of the data may be compressed in MPEG and other manners, including the JPEG method.

그리고, 메모리부(6)에서는 이미지 압축부(5)에서 압축된 디지털 영상데이터 를 저장한다.The memory unit 6 stores the digital image data compressed by the image compressor 5.

또한, 상기 메모리부(6)에 저장된 압축된 디지털 영상데이터는 이미지 복호부(7)에서 YUV 방식의 영상데이터로 변환되고, 다시 RGB 방식의 영상데이터로 변환된 후(8), LCD 등의 표시부(9)에 영상이 표시된다.In addition, the compressed digital image data stored in the memory unit 6 is converted into YUV image data by the image decoder 7, and then converted into RGB image data (8), and then, a display unit such as an LCD. An image is displayed at (9).

도 1을 참조하여 실시예에 따른 카메라의 이미지 개선 장치에 대해 살펴본다.An apparatus for improving an image of a camera according to an embodiment will be described with reference to FIG. 1.

실시예에 따른 카메라의 이미지 개선 장치는 피사체에서 반사된 빛이 입사되는 렌즈부(1); 상기 렌즈부(1)를 통해 입사된 영상을 전기적인 신호로 변환하는 센서부(2); 상기 센서부(2)에서 출력되는 아날로그 영상신호를 디지털 영상 데이터로 변환하는 아날로그/디지털 변환기(Analog to Digital Converter; ADC, 3); 및 상기 전기적인 신호로 변환된 데이터에 대하여 피사계 심도(Depth of Field)를 깊게해주고, 화질을 부드럽고 선명하게 하는 피사계 심도부(4a) 및 이미지 보정부(4b)를 포함하는 이미지 처리부(4)를 포함한다.An image improving apparatus of a camera according to an embodiment includes a lens unit 1 through which light reflected from a subject is incident; A sensor unit 2 for converting an image incident through the lens unit 1 into an electrical signal; An analog-to-digital converter (ADC) 3 for converting an analog video signal output from the sensor unit 2 into digital video data; And an image processor 4 including a depth of field 4a and an image corrector 4b that deepen a depth of field with respect to the data converted into the electrical signal, and make the image quality smooth and clear. Include.

또한, 상기 이미지 처리부(4)를 거친 디지털 영상 데이터를 압축하는 이미지 압축부(5); 상기 압축된 디지털 영상 데이터를 저장하는 메모리부(6); 상기 메모리부(6)에 저장된 디지털 영상 데이터를 YUV 방식의 영상데이터로 변환하는 이미지 복호부(7); 및 상기 YUV 방식의 영상데이터를 RGB 방식의 영상데이터로 변환한 후 상기 RGB 방식의 영상데이터가 표시되는 표시부(9)를 더 포함한다.In addition, the image compressor (5) for compressing the digital image data passed through the image processor (4); A memory unit 6 for storing the compressed digital image data; An image decoding unit (7) for converting digital image data stored in the memory unit (6) into image data of a YUV method; And a display unit 9 for converting the YUV image data into RGB image data and displaying the RGB image data.

상기 렌즈부(1)는 피사체에서 반사된 빛이 상기 센서부(2)로 들어가기 전에 사익 센서부(2)로 입력되는 빛의 양을 조절한다.The lens unit 1 adjusts the amount of light input to the sound sensor unit 2 before the light reflected from the subject enters the sensor unit 2.

상기 센서부(2)는 상기 렌즈부(1)를 통해 들어온 영상의 적색, 녹색 및 청색(Red, Green, Blue; 이하 RGB)의 밝기와 컬러 값을 전기적인 신호로 변환한다.The sensor unit 2 converts the brightness and color values of red, green, and blue (hereinafter referred to as RGB) of the image input through the lens unit 1 into electrical signals.

상기 아나로그/디지털 변환기(3)는 상기 센서부(2)에서 출력되는 연속적인 아날로그 영상신호를 0과 1의 디지털 영상데이터로 변환한다.The analog-to-digital converter 3 converts the continuous analog image signal output from the sensor unit 2 into digital image data of 0 and 1.

상기 이미지 처리부(4)는 피사계 심도부(4a) 및 이미지 보정부(4b)를 포함하여 이루어질 수 있다.The image processor 4 may include a depth of field 4a and an image corrector 4b.

상기 이미지 압축부(5)는 상기 이미지 처리부(4)를 거친 디지털 영상 데이터를 압축해서 저장이 용이하도록 만든다.The image compression unit 5 compresses the digital image data passed through the image processing unit 4 to facilitate storage.

그리고, 상기 메모리부(6)에서는 상기 이미지 압축부(5)에서 압축된 디지털 영상데이터를 저장한다.The memory unit 6 stores the digital image data compressed by the image compressor 5.

또한, 상기 메모리부(6)에 저장된 압축된 디지털 영상데이터는 이미지 복호부(7)에서 YUV 방식의 영상데이터로 변환되고, 다시 RGB 방식의 영상데이터로 변환된 후(8), LCD 등의 표시부(9)에 영상이 표시될 수 있다.In addition, the compressed digital image data stored in the memory unit 6 is converted into YUV image data by the image decoder 7, and then converted into RGB image data (8), and then, a display unit such as an LCD. An image may be displayed at (9).

실시예에 따른 카메라의 이미지 개선 장치 및 방법은 차량용 카메라에서도 사용될 수 있다.The image enhancement device and method of the camera according to the embodiment can also be used in a vehicle camera.

차량용 카메라는 광각(110~150 °) 렌즈를 사용하여 시야를 확보하고 있다.In-vehicle cameras use a wide-angle (110-150 °) lens to ensure visibility.

이때, 상기 광각 렌즈는 설계 상에서 구경이 커지게 되고, 높이도 높아지게 된다. In this case, the wide-angle lens has a large diameter in design and a high height.

또한 렌즈의 F넘버(F-number)가 낮아짐으로써, 밝기는 밝아지는 대신 피사계 심도가 얕아지게 되는데, 실시예에 따른 카메라의 이미지 개선 방법을 적용하면, 거리에 상관없이 선명한 이미지를 구현할 수 있다.In addition, as the F-number of the lens is lowered, the brightness becomes brighter, but the depth of field becomes shallower. By applying the image improvement method of the camera according to the embodiment, a clear image can be realized regardless of the distance.

또한, 상기 피사계 심도를 깊게 하는 기능은 디컨볼루션 알고리즘을 사용할 수 있다.In addition, the function of deepening the depth of field may use a deconvolution algorithm.

도 1은 카메라에서 영상 데이터를 처리하는 과정을 대략적으로 도시한 개략도이다.1 is a schematic diagram illustrating a process of processing image data in a camera.

도 2는 렌즈부를 통과한 빛이 이미지 센서에 입사되는 것을 대략적으로 도시한 도면이다.FIG. 2 is a diagram schematically illustrating that light passing through the lens unit is incident on the image sensor.

Claims

Photographing a subject to obtain image data;

Reconstructing the image data of the non-focused area to be in focus as the depth of field is out of the acquired image data;

Performing image processing on at least one of color adjustment, resolution adjustment, and noise reduction on the reconstructed image data; And

Converting the image data subjected to the image processing into RGB data and displaying the converted image data.

The method according to claim 1,

Wherein,

Increasing the range of depth of field based on a de-convolution algorithm to restore data of the unfocused area.

The method according to claim 1,

Wherein,

Restoring the image data to focus even if the distance from the subject is different.

3. The method of claim 2,

When the output signal y (t) is expressed as the convolution of the input signal x (t) and the system function h (t), it is represented by the following equation,

y = x (t) * h (t)

The deconvolution algorithm obtains an input signal x (t) and restores an image.

A lens unit to which light reflected from a subject is incident;

A sensor unit for converting an image incident through the lens unit into an electrical signal; And

In the data converted into the electrical signal, the data of the unfocused area is refocused as the out of depth of field, and at least one of color adjustment, resolution adjustment, and noise reduction of the restored image data is focused. An image processor including a depth of field and an image corrector configured to perform image processing;

Image enhancement device comprising a.

6. The method of claim 5,

An analog to digital converter (ADC) for converting an analog video signal output from the sensor unit into digital video data;

An image compressor which compresses the digital image data which has passed through the image processor;

A memory unit for storing the compressed digital image data;

An image decoder for converting digital image data stored in the memory unit into image data of a YUV method; And

And a display unit for converting the YUV image data into RGB image data and displaying the RGB image data.