KR100997203B1 - Image processing apparatus and method thereof - Google Patents

Image processing apparatus and method thereof Download PDF

Info

Publication number
KR100997203B1
KR100997203B1 KR1020070112309A KR20070112309A KR100997203B1 KR 100997203 B1 KR100997203 B1 KR 100997203B1 KR 1020070112309 A KR1020070112309 A KR 1020070112309A KR 20070112309 A KR20070112309 A KR 20070112309A KR 100997203 B1 KR100997203 B1 KR 100997203B1
Authority
KR
South Korea
Prior art keywords
information
image
luminance
color
corrected
Prior art date
Application number
KR1020070112309A
Other languages
Korean (ko)
Other versions
KR20080114463A (en
Inventor
강봉수
이영신
윤진석
Original Assignee
주식회사 코아로직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코아로직 filed Critical 주식회사 코아로직
Priority to KR1020070112309A priority Critical patent/KR100997203B1/en
Publication of KR20080114463A publication Critical patent/KR20080114463A/en
Application granted granted Critical
Publication of KR100997203B1 publication Critical patent/KR100997203B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

본 발명은 영상 처리 장치 및 그 방법에 관한 것이며, 특히 손떨림에 의한 영상 왜곡을 보정하는 영상 처리 장치 및 그 방법에 관한 것이다.

본 발명에 따른 영상 처리 장치는 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득부 및 2개의 기준영상의 휘도비와 색차비에 따라 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 보정하는 색정보 보정부를 포함한다.

본 발명에 따르면, 손떨림에 의한 영상 왜곡을 보정하는 등의 효과가 있다.

Figure R1020070112309

손떨림, 휘도 히스토그램, 색차정보, 셔터 타임, ISO 감도 설정치

The present invention relates to an image processing apparatus and a method thereof, and more particularly, to an image processing apparatus and a method for correcting image distortion due to camera shake.

The image processing apparatus according to the present invention includes a reference image acquisition unit for acquiring two reference images by applying different shutter times and ISO sensitivity settings, and a shorter shutter time among the shutter times according to the luminance ratio and the color difference ratio of the two reference images. It includes a color information correction unit for correcting the color information of the obtained input image.

According to the present invention, there is an effect such as correcting image distortion due to camera shake.

Figure R1020070112309

Image stabilization, luminance histogram, color difference information, shutter time, ISO sensitivity settings

Description

영상 처리 장치 및 그 방법{Image processing apparatus and method thereof}Image processing apparatus and method thereof

본 발명은 영상 처리 장치 및 그 방법에 관한 것이며, 특히 손떨림에 의한 영상 왜곡을 보정하는 영상 처리 장치 및 그 방법에 관한 것이다.The present invention relates to an image processing apparatus and a method thereof, and more particularly, to an image processing apparatus and a method for correcting image distortion due to camera shake.

종래에는 손떨림에 의한 정지 영상의 왜곡을 보정하기 위하여 주로 디지털 카메라에서 자이로 미터를 이용하여 렌즈나 센서의 위치를 적절히 보정하는 방법들이 주로 이용되었다. 즉, 자이로 미터 측정치의 반대 방향으로 렌즈나 센서를 이동시켜 물리적으로 흔들리는 변수를 제거하는 방법을 사용하였다. 한편으로는 셔터 시간을 짧게 하여 여러 장의 영상을 찍은 후 이들 간의 위치 변화를 연산하여 보정하는 방법을 사용하기도 하였다.Conventionally, in order to correct distortion of a still image due to camera shake, a method of properly correcting a position of a lens or a sensor using a gyrometer is mainly used in a digital camera. In other words, by moving the lens or sensor in the opposite direction of the gyrometer measurement, the method of removing the physical shaking parameter was used. On the other hand, a short shutter time was used to take a plurality of images and calculate a position change between them to correct them.

그러나 1) 자이로 미터를 이용하는 경우, 기본적인 카메라 모듈에 자이로 미터뿐만 아니라 추가적으로 렌즈나 센서의 위치를 움직이게 할 수 있는 별도의 하드웨어 장치가 필요하게 된다. 이는 특히 그 크기가 점점 작아지는 추세인 핸드폰 카메라의 관점에서 본다면 적용하기에 부담스러운 방법이다. 또한 2) 여러 장의 어두운 영상을 이용하여 그 위치 차이를 연산하여 보정하는 방법은 여러 장의 영상을 저장할 수 있는 별도의 프레임(frame) 메모리를 필요로 하고, 그 연산량 또한 매우 커서 이를 카메라 모듈에 직접 탑재하기에는 많은 어려움이 따른다.However, 1) In the case of using a gyro meter, the basic camera module needs a separate hardware device to move the position of the lens or sensor as well as the gyro meter. This is a burdensome method to apply, especially from the perspective of mobile phone cameras, which are becoming smaller in size. Also, the method of calculating and correcting the position difference using multiple dark images requires a separate frame memory for storing multiple images, and the amount of calculation is also very large so that it is directly mounted on the camera module. There are many difficulties to do this.

이러한 문제점을 해결하기 위한 본 발명은 자이로 미터 등의 별도의 추가적인 장치를 사용하지 않고도 손떨림에 의한 정지 영상의 왜곡을 보정하는 영상 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.An object of the present invention to solve this problem is to provide an image processing apparatus and a method for correcting the distortion of the still image due to camera shake without using a separate additional device such as a gyro meter.

또한, 본 발명은 메모리 연산량을 줄이면서도 손떨림에 의한 정지 영상의 왜곡을 효율적으로 보정하는 영상 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.Another object of the present invention is to provide an image processing apparatus and method for efficiently correcting distortion of a still image caused by camera shake while reducing the amount of memory computation.

또한, 본 발명은 어두운 환경에서 렌즈의 셔터 타임이 길어짐에 의해 발생하는 영상의 흔들림과 노이즈 및 충분치 못한 색재현 등의 문제점을 해결하는 영상 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide an image processing apparatus and method for solving the problems such as the shaking and noise of the image caused by the long shutter time of the lens in the dark environment and insufficient color reproduction.

이러한 기술적 과제를 달성하기 위한 본 발명에 따른 영상 처리 장치는 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득부 및 상기 2개의 기준영상의 휘도비와 색차비에 따라 상기 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 보정하는 색정보 보정부를 포함한다.The image processing apparatus according to the present invention for achieving the technical problem is a reference image acquisition unit for acquiring two reference images by applying different shutter times and ISO sensitivity settings to the luminance ratio and color difference ratio of the two reference images. Accordingly, a color information corrector configured to correct color information of an input image obtained by applying a shorter shutter time among the shutter times.

상기 기준영상 획득부는 제1 셔터 타임과 제1 ISO 감도 설정치를 적용하여 제1 기준영상을 획득하고, 상기 제1 셔터 타임보다 긴 제2 셔터 타임과 상기 제1 ISO 감도 설정치보다 작은 제2 ISO 감도 설정치를 적용하여 제2 기준영상을 획득하는 것이 바람직하다.The reference image acquisition unit obtains a first reference image by applying a first shutter time and a first ISO sensitivity setting value, and has a second shutter time longer than the first shutter time and a second ISO sensitivity smaller than the first ISO sensitivity setting value. It is preferable to obtain a second reference image by applying the set value.

상기 제2 셔터 타임은 상기 제1 셔터 타임의 4배 이상 8배 이하이고, 상기 제1 ISO 감도 설정치는 상기 제2 ISO 감도 설정치의 4배 이상 8배 이하인 것이 바람직하다.Preferably, the second shutter time is four times or more and eight times or less than the first shutter time, and the first ISO sensitivity setting value is four or more times and eight times or less of the second ISO sensitivity setting value.

상기 기준영상의 해상도는 상기 입력영상의 해상도보다 낮은 것이 바람직하다.The resolution of the reference image is preferably lower than the resolution of the input image.

상기 색정보 보정부는 상기 제1 기준영상의 휘도 히스토그램과 상기 제2 기준영상의 휘도 히스토그램을 분석하는 휘도 히스토그램 분석부와, 상기 제1 기준영상과 상기 제2 기준영상 간의 휘도 히스토그램 변환연산에 기초하여 상기 입력영상의 휘도를 보정하는 휘도 보정 연산부와, 상기 제1 기준영상과 상기 제2 기준영상의 대응하는 화소들의 색차정보들을 추출하는 색차정보 추출부 및 상기 색차정보들에 기초하여 상기 입력영상의 색차정보를 보정하는 색차정보 보정 연산부를 포함하는 것이 바람직하다.The color information corrector may include a luminance histogram analyzer configured to analyze a luminance histogram of the first reference image and a luminance histogram of the second reference image, and a luminance histogram conversion operation between the first reference image and the second reference image. A luminance correction calculator for correcting luminance of the input image, a color difference information extractor extracting color difference information of corresponding pixels of the first reference image and the second reference image, and the color difference information based on the color difference information. It is preferable to include a color difference information correction calculation unit for correcting the color difference information.

상기 휘도 히스토그램 분석부는 상기 제1 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제1 최소 레벨로 정의하고, 상기 제1 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제1 최대 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제2 최소 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제2 최대 레벨로 정의하는 것이 바람직하다.The luminance histogram analyzer defines a first level having a value equal to or greater than a predetermined number of pixels in the luminance histogram of the first reference image as a first minimum level, and a value equal to or greater than the predetermined number of pixels in the luminance histogram of the first reference image. Defines a last level having a first maximum level, defines a first level having a value greater than or equal to the predetermined number of pixels in a luminance histogram of the second reference image as a second minimum level, Preferably, the last level having a value equal to or greater than the predetermined number of pixels in the luminance histogram is defined as a second maximum level.

상기 휘도 보정 연산부는 상기 제2 최소 레벨과 상기 제1 최소 레벨 간의 차 이와 상기 제2 최대 레벨과 제1 최대 레벨 간의 차이에 기초하여 상기 입력영상의 휘도 히스토그램을 스트레칭하는 것이 바람직하다.Preferably, the luminance correction calculator stretches the luminance histogram of the input image based on a difference between the second minimum level and the first minimum level and a difference between the second maximum level and the first maximum level.

상기 색차 정보 추출부는 상기 제1 기준영상의 해당 화소가 중심에 위치한 제1 NⅹN 영역의 청색차신호의 평균인 제1 청색차정보와, 상기 제1 NⅹN 영역의 적색차신호의 평균인 제1 적색차정보와, 상기 제2 기준영상의 해당 화소가 중심에 위치한 제2 NⅹN 영역의 청색차신호의 평균인 제2 청색차정보와, 상기 제2 NⅹN 영역의 적색차신호의 평균인 제2 적색차정보를 추출하는 것이 바람직하다.The chrominance information extracting unit includes first blue difference information that is an average of a blue difference signal of a first NⅹN region where a corresponding pixel of the first reference image is located, and a first red that is an average of red difference signals of the first NⅹN region. Second blue difference information that is an average of the difference information, a blue difference signal of a second N_N region where the corresponding pixel of the second reference image is located, and a second red difference that is an average of the red difference signal of the second N_N region It is desirable to extract the information.

상기 색차정보 보정 연산부는 상기 제2 청색차정보와 상기 제1 청색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제1 적색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 적색차정보를 보정하는 것이 바람직하다.The color difference information correction calculator corrects the blue difference information of the input image by applying a weighted ratio between the second blue difference information and the first blue difference information, and between the second red difference information and the first red difference information. Preferably, the ratio is weighted to correct red difference information of the input image.

상기 색차정보 보정 연산부는 상기 제1 청색차정보와 상기 입력영상의 대응 화소의 청색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정보를 보정하고,The color difference information correction calculator corrects the blue difference information of the input image by applying a weighted ratio between the first blue difference information and the blue difference information of the corresponding pixel of the input image.

상기 제1 적색차정보와 상기 입력영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바람직하다.Preferably, the red difference information of the input image is corrected by applying a weighted ratio between the first red difference information and the red difference information of the corresponding pixel of the input image.

상기 색차정보 보정 연산부는 상기 제2 청색차정보와 상기 제2 기준영상의 대응 화소의 청색차신호 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제2 기준영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바 람직하다.The color difference information correction calculator corrects blue difference information of the input image by weighting a ratio between the second blue difference information and a blue difference signal of a corresponding pixel of the second reference image, and corrects the second red difference information and the Preferably, the ratio of the red difference information of the corresponding pixel of the second reference image is weighted to correct the red difference information of the input image.

상기 입력영상의 에지 정보에 기초하여 상기 입력영상에 포함된 잡음을 제거하는 잡음 제거부를 더 포함하는 것이 바람직하다.The apparatus may further include a noise removing unit configured to remove noise included in the input image based on edge information of the input image.

상기 잡음 제거부는 상기 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출하는 휘도 변화 방향성 정보 추출부와, 상기 휘도 변화 방향성 정보에 기초하여 상기 색정보가 보정된 영상의 에지 정보를 추출하는 에지 정보 추출부 및 상기 에지 정보에 기초하여 상기 색정보가 보정된 영상의 잡음을 감쇠시키는 잡음 감쇠 연산부를 포함하는 것이 바람직하다.The noise removing unit extracts the directional information of the luminance change of the image in which the color information is corrected, and a luminance change directional information extracting unit, and an edge extracting the edge information of the image in which the color information is corrected based on the luminance change directional information. It is preferable to include an information extracting unit and a noise attenuation calculating unit for attenuating the noise of the image whose color information is corrected based on the edge information.

상기 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성되는 것이 바람직하다.The luminance change directional information may be generated based on the luminance change amounts of the eight directions of the ROI where the ROI is located.

상기 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 상기 색정보가 보정된 영상의 휘도를 보정하는 휘도 보정부를 더 포함하는 것이 바람직하다.The apparatus may further include a luminance corrector configured to correct the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected.

상기 휘도 보정부는 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 상기 색정보가 보정된 영상의 휘도 정보를 추출하는 휘도 정보 추출부와, 상기 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성하는 감마곡선 생성부 및 상기 감마곡선을 상기 색정보가 보정된 영상에 적용하는 감마곡선 적용부를 포함하는 것이 바람직하다.The luminance correction unit extracts the luminance information of the image corrected with the color information based on the luminance histogram of the image whose color information is corrected, and the gamma based on the luminance information of the image corrected with the color information. It is preferable to include a gamma curve generating unit for generating a curve and a gamma curve applying unit for applying the gamma curve to the image whose color information is corrected.

상기 색정보가 보정된 영상의 휘도 히스토그램은 NH-양자화(NH-Quantized) 방식으로 생성되는 것이 바람직하다.Luminance histogram of the corrected image and the color information are N H - is preferably generated by a quantization (N H -Quantized) method.

본 발명에 따른 영상 처리 방법은 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득단계 및 상기 2개의 기준영상의 휘도비와 색차비에 따라 상기 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 보정하는 색정보 보정단계를 포함한다.In the image processing method according to the present invention, a reference image acquisition step of acquiring two reference images by applying different shutter times and ISO sensitivity settings and a shorter one of the shutter times according to the luminance ratio and the color difference ratio of the two reference images. And a color information correcting step of correcting color information of an input image obtained by applying a shutter time.

상기 기준영상 획득단계에서, 제1 셔터 타임과 제1 ISO 감도 설정치를 적용하여 제1 기준영상을 획득하고, 상기 제1 셔터 타임보다 긴 제2 셔터 타임과 상기 제1 ISO 감도 설정치보다 작은 제2 ISO 감도 설정치를 적용하여 제2 기준영상을 획득하는 것이 바람직하다.In the obtaining of the reference image, a first reference image is obtained by applying a first shutter time and a first ISO sensitivity setting value, and a second shutter time longer than the first shutter time and a second smaller than the first ISO sensitivity setting value. It is preferable to obtain the second reference image by applying the ISO sensitivity setting value.

상기 제2 셔터 타임은 상기 제1 셔터 타임의 4배 이상 8배 이하이고, 상기 제1 ISO 감도 설정치는 상기 제2 ISO 감도 설정치의 4배 이상 8배 이하인 것이 바람직하다.Preferably, the second shutter time is four times or more and eight times or less than the first shutter time, and the first ISO sensitivity setting value is four or more times and eight times or less of the second ISO sensitivity setting value.

상기 기준영상의 해상도는 상기 입력영상의 해상도보다 낮은 것이 바람직하다.The resolution of the reference image is preferably lower than the resolution of the input image.

상기 색정보 보정단계는 상기 제1 기준영상의 휘도 히스토그램과 상기 제2 기준영상의 휘도 히스토그램을 분석하는 휘도 히스토그램 분석단계와, 상기 제1 기준영상과 상기 제2 기준영상 간의 휘도 히스토그램 변환연산에 기초하여 상기 입력영상의 휘도를 보정하는 휘도 보정 연산단계와, 상기 제1 기준영상과 상기 제2 기준영상의 대응하는 화소들의 색차정보들을 추출하는 색차정보 추출단계 및 상기 색차정보들에 기초하여 상기 입력영상의 색차정보를 보정하는 색차정보 보정 연산단계를 포함하는 것이 바람직하다.The color information correction step is based on a luminance histogram analysis step of analyzing the luminance histogram of the first reference image and the luminance histogram of the second reference image, and a luminance histogram conversion operation between the first reference image and the second reference image. A luminance correction calculating step of correcting luminance of the input image, a color difference information extraction step of extracting color difference information of corresponding pixels of the first reference image and the second reference image, and the input based on the color difference information It is preferable to include a color difference information correction calculation step of correcting color difference information of the image.

상기 휘도 히스토그램 분석단계에서, 상기 제1 기준영상의 휘도 히스토그램 에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제1 최소 레벨로 정의하고, 상기 제1 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제1 최대 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제2 최소 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제2 최대 레벨로 정의하는 것이 바람직하다.In the luminance histogram analysis step, the first level having a value equal to or greater than a predetermined number of pixels in the luminance histogram of the first reference image is defined as a first minimum level, and the predetermined number of pixels in the luminance histogram of the first reference image. The last level having the above value is defined as the first maximum level, and the first level having the value equal to or greater than the predetermined number of pixels in the luminance histogram of the second reference image is defined as the second minimum level, and the second reference Preferably, the last level having a value equal to or greater than the predetermined number of pixels in the luminance histogram of the image is defined as the second maximum level.

상기 휘도 보정 연산단계에서, 상기 제2 최소 레벨과 상기 제1 최소 레벨 간의 차이와 상기 제2 최대 레벨과 제1 최대 레벨 간의 차이에 기초하여 상기 입력영상의 휘도 히스토그램을 스트레칭하는 것이 바람직하다.In the luminance correction operation, it is preferable to stretch the luminance histogram of the input image based on the difference between the second minimum level and the first minimum level and the difference between the second maximum level and the first maximum level.

상기 색차 정보 추출단계에서, 상기 제1 기준영상의 해당 화소가 중심에 위치한 제1 NⅹN 영역의 청색차신호의 평균인 제1 청색차정보와, 상기 제1 NⅹN 영역의 적색차신호의 평균인 제1 적색차정보와, 상기 제2 기준영상의 해당 화소가 중심에 위치한 제2 NⅹN 영역의 청색차신호의 평균인 제2 청색차정보와, 상기 제2 NⅹN 영역의 적색차신호의 평균인 제2 적색차정보를 추출하는 것이 바람직하다.In the color difference information extraction step, first blue difference information which is an average of a blue difference signal of a first NⅹN region in which the corresponding pixel of the first reference image is located, and a second difference which is an average of red difference signals of the first NⅹN region. First red difference information, second blue difference information which is an average of a blue difference signal of a second N_N region where a corresponding pixel of the second reference image is located, and a second red difference signal which is an average of a red difference signal of the second N_N region; It is preferable to extract the red difference information.

상기 색차정보 보정 연산단계에서, 상기 제2 청색차정보와 상기 제1 청색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제1 적색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 적색차정보를 보정하는 것이 바람직하다.In the color difference information correction calculation step, the ratio between the second blue difference information and the first blue difference information is weighted to correct the blue difference information of the input image, and the second red difference information and the first red difference. Preferably, the red difference information of the input image is corrected by weighting a ratio between the information.

상기 색차정보 보정 연산단계에서, 상기 제1 청색차정보와 상기 입력영상의 대응 화소의 청색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정 보를 보정하고, 상기 제1 적색차정보와 상기 입력영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바람직하다.In the color difference information correcting operation, the blue difference information of the input image is corrected by applying a weighted ratio between the first blue difference information and the blue difference information of the corresponding pixel of the input image, and the first red difference information and the input are performed. The red difference information of the input image may be corrected by applying a weighted ratio between the red difference information of the corresponding pixel of the image.

상기 색차정보 보정 연산단계에서, 상기 제2 청색차정보와 상기 제2 기준영상의 대응 화소의 청색차신호 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제2 기준영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바람직하다.In the color difference information correcting operation, the blue difference information of the input image is corrected by applying a weighted ratio between the second blue difference information and a blue difference signal of a corresponding pixel of the second reference image, and the second red difference information. It is preferable to correct the red difference information of the input image by applying a weight to a ratio between the red difference information of the corresponding pixel of the second reference image.

상기 입력영상의 에지 정보에 기초하여 상기 입력영상에 포함된 잡음을 제거하는 잡음 제거단계를 더 포함하는 것이 바람직하다.The method may further include a noise removing step of removing noise included in the input image based on edge information of the input image.

상기 잡음 제거단계는 상기 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출하는 휘도 변화 방향성 정보 추출단계와, 상기 휘도 변화 방향성 정보에 기초하여 상기 색정보가 보정된 영상의 에지 정보를 추출하는 에지 정보 추출단계 및 상기 에지 정보에 기초하여 상기 색정보가 보정된 영상의 잡음을 감쇠시키는 잡음 감쇠 연산단계를 포함하는 것이 바람직하다.The noise removing step may include: extracting brightness change direction information extracting directional information of brightness changes of the image in which the color information is corrected; extracting edge information of the image corrected in color information based on the brightness change directional information; It is preferable to include an edge information extraction step and a noise attenuation calculation step of attenuating the noise of the image whose color information is corrected based on the edge information.

상기 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성되는 것이 바람직하다.The luminance change directional information may be generated based on the luminance change amounts of the eight directions of the ROI where the ROI is located.

상기 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 상기 색정보가 보정된 영상의 휘도를 보정하는 휘도 보정단계를 더 포함하는 것이 바람직하다.The method may further include a luminance correction step of correcting the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected.

상기 휘도 보정단계는 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 상기 색정보가 보정된 영상의 휘도 정보를 추출하는 휘도 정보 추출단계와, 상기 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성하는 감마곡선 생성단계 및 상기 감마곡선을 상기 색정보가 보정된 영상에 적용하는 감마곡선 적용단계를 포함하는 것이 바람직하다.The brightness correction step may include extracting brightness information of an image in which the color information is corrected based on a brightness histogram of the image in which the color information is corrected, and based on brightness information of the image in which the color information is corrected. A gamma curve generating step of generating a gamma curve and a gamma curve applying step of applying the gamma curve to the image in which the color information is corrected may be included.

상기 색정보가 보정된 영상의 휘도 히스토그램은 NH-양자화(NH-Quantized) 방식으로 생성되는 것이 바람직하다.Luminance histogram of the corrected image and the color information are N H - is preferably generated by a quantization (N H -Quantized) method.

이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 자이로 미터 등의 별도의 추가적인 장치를 사용하지 않고도 손떨림에 의한 정지 영상의 왜곡을 보정하는 영상 처리 장치 및 그 방법을 구현하는 효과가 있다.As described in detail above, according to the present invention, there is an effect of implementing the image processing apparatus and method for correcting the distortion of the still image due to the hand shake without using a separate additional device such as a gyro meter.

또한 본 발명에 따르면, 메모리 연산량을 줄이면서도 손떨림에 의한 정지 영상의 왜곡을 효율적으로 보정하는 영상 처리 장치 및 그 방법을 구현하는 효과가 있다.In addition, according to the present invention, there is an effect of implementing the image processing apparatus and method for efficiently correcting the distortion of the still image due to camera shake while reducing the amount of memory computation.

또한 본 발명에 따르면, 어두운 환경에서 렌즈의 셔터 타임이 길어짐에 의해 발생하는 영상의 흔들림과 노이즈 및 충분치 못한 색재현 등의 문제점을 해결하는 영상 처리 장치 및 그 방법을 구현하는 효과가 있다.In addition, according to the present invention, there is an effect of implementing the image processing apparatus and method for solving the problems such as the shake and noise and insufficient color reproduction of the image caused by the long shutter time of the lens in a dark environment.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described a preferred embodiment of the present invention;

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치는 기준영상 획득부(2) 및 색정보 보정부(4)를 포함한다.1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment. Referring to FIG. 1, an image processing apparatus according to an exemplary embodiment includes a reference image acquisition unit 2 and a color information correction unit 4.

기준영상 획득부(2)는 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 연속된 프레임의 2개의 기준영상을 획득한다.The reference image acquisition unit 2 obtains two reference images of successive frames by applying different shutter times and ISO sensitivity settings.

이러한 기준영상 획득부(2)는 제1 셔터 타임과 제1 ISO 감도 설정치를 적용하여 제1 기준영상을 획득하고, 제1 셔터 타임보다 긴 제2 셔터 타임과 제1 ISO 감도 설정치보다 작은 제2 ISO 감도 설정치를 적용하여 제2 기준영상을 획득하는 것이 바람직하다. 이와 같이 하는 이유는 다음과 같다. 즉, 일반적으로 어두운 환경에서 카메라의 셔터 타임이 길어지게 되고, 길어진 셔터 타임 동안 사람의 손의 흔들림에 의해 획득된 영상 또한 흔들리게 된다. 이 현상을 막기 위해 셔터 타임을 수동으로 짧게 하면 카메라 센서가 충분한 양의 빛을 받지 못하여 밝기나 색감이 매우 부족해진다. 이러한 색감의 부족을 해결하기 위해 ISO 감도 설정치를 평상시에 비해 높여서 획득하게 되면 영상 내의 노이즈가 증가한다. 본 발명은 이와 같은 상호 트레이드 오프(trade off) 관계를 갖는 특성들을 동시에 향상시키기 위한 것이다. 이를 위하여 본 발명에서는 손떨림 보정 기능을 구동할 경우 셔터 타임을 짧게하여 흔들림이 없는 제1 기준영상을 획득하고, 연속하여 셔터 타임을 길게 하여 밝기와 색정보를 충분히 가진 제2 기준영상을 획득한 후, 후술하는 바와 같이, 두 기준영상 간의 휘도와 색정보 비교 연산을 통해 셔터 타임이 짧은 풀 사이즈(full size)의 입력영상에 적용하는 방법을 이용하여, 흔들림이 없으면서도 휘도와 색정보를 충분히 나타낼 수 있는 영상을 획득한다. 이를 보다 상세히 설명하면 다음과 같다. 즉, 셔터 타임을 길게 설정한 상태에서 영상 상태는 다소 흔들려 있으나 색감이나 밝기가 적정 수준인 상태를 획득할 수 있다. 셔터 타임을 짧게 설정한 상태에서는 영상의 흔들림 상태는 거의 없으나 밝기가 매우 어둡고, 색 정보 또한 적절치 않다. 매우 낮은 색 정보를 보상하기 위해 ISO 감도 설정치를 평상시보다 높게 설정할 수 있으나, 이 경우 영상 내에 색잡영이 매우 많이 존재하게 된다. 이러한 두 종류의 영상은 이후의 색정보 보정부에서 처리할 셔터 타임이 짧은 풀 사이즈의 입력영상의 밝기와 색정보를 보정하는 사전 정보로 이용된다. 제1 기준영상을 획득할 때에 적용된 짧은 셔터 타임과 높은 ISO 감도 설정치를 적용하여, 입력영상을 획득한다.The reference image acquisition unit 2 obtains a first reference image by applying a first shutter time and a first ISO sensitivity setting value, and a second shutter time longer than the first shutter time and a second smaller than the first ISO sensitivity setting value. It is preferable to obtain the second reference image by applying the ISO sensitivity setting value. The reason for doing this is as follows. That is, in general, the shutter time of the camera becomes longer in a dark environment, and the image acquired by the shaking of the human hand during the longer shutter time also shakes. In order to prevent this phenomenon, if you shorten the shutter time manually, the camera sensor may not receive enough light, resulting in very low brightness or color. To solve this lack of color, the noise in the image increases when the ISO sensitivity setting is acquired higher than usual. The present invention aims at simultaneously improving the characteristics having such a trade off relationship. To this end, in the present invention, when the camera shake correction function is driven, the shutter time is shortened to obtain a first reference image without shaking, and the shutter time is continuously extended to acquire a second reference image having sufficient brightness and color information. As described below, the luminance and color information can be sufficiently represented without shaking by using a method of applying to a full-size input image having a short shutter time by comparing luminance and color information between two reference images. Acquire an image that can be. This will be described in more detail as follows. That is, in a state where the shutter time is set to a long time, the image state is somewhat shaken, but a state in which the color or brightness is appropriate is obtained. When the shutter time is set to a short time, the image is almost not shaken, but the brightness is very dark, and the color information is not appropriate. In order to compensate for very low color information, the ISO sensitivity setting value may be set higher than usual, but in this case, there are many color noises in the image. These two types of images are used as preliminary information for correcting brightness and color information of a full-size input image having a short shutter time to be processed by a subsequent color information corrector. An input image is obtained by applying a short shutter time and a high ISO sensitivity setting value applied when the first reference image is acquired.

이러한 제2 기준영상에 적용되는 셔터 타임인 제2 셔터 타임은 제1 기준영상에 적용되는 셔터 타임인 제1 셔터 타임의 4배 이상 8배 이하인 것이 바람직하고, 제1 기준영상에 적용되는 ISO 감도 설정치인 제1 ISO 감도 설정치는 제2 기준영상에 적용되는 ISO 감도 설정치인 제2 ISO 감도 설정치의 4배 이상 8배 이하인 것이 바람직하다.The second shutter time which is the shutter time applied to the second reference image is preferably 4 times or more and 8 times or less than the first shutter time which is the shutter time applied to the first reference image, and the ISO sensitivity applied to the first reference image. The first ISO sensitivity setting value which is a set value is preferably 4 times or more and 8 times or less of the second ISO sensitivity setting value which is an ISO sensitivity setting value applied to the second reference image.

또한 제1 기준영상과 제2 기준영상의 해상도는 메모리 연산량을 고려하여 풀 사이즈의 입력영상의 해상도보다 낮게 설정하는 것이 바람직하다. 예컨대, 제1 기준영상과 제2 기준영상은 가용 메모리 크기를 고려하여 프리뷰(preview) 사이즈의 영상으로 획득하는 것이 바람직하다.In addition, the resolution of the first reference image and the second reference image is preferably set lower than the resolution of the full-size input image in consideration of the amount of memory computation. For example, the first reference image and the second reference image may be obtained as an image having a preview size in consideration of the available memory size.

색정보 보정부(4)는 제1 기준영상과 제2 기준영상에 적용된 2개의 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 제1 기준영상과 제2 기준영상 간의 휘도비와 색차비에 따라 보정한다.The color information corrector 4 may adjust luminance of the input image acquired by applying a shorter shutter time among two shutter times applied to the first reference image and the second reference image, between the first reference image and the second reference image. Correct according to ratio and color difference ratio.

도 2를 참조하면, 이러한 색정보 보정부(4)는 휘도 히스토그램 분석부(42)와, 휘도 보정 연산부(44)와, 색차정보 추출부(46) 및 색차정보 보정 연산부(48)를 포함하여 구성될 수 있다.Referring to FIG. 2, the color information correcting unit 4 includes a luminance histogram analyzing unit 42, a luminance correcting calculating unit 44, a color difference information extracting unit 46, and a color difference information correcting calculating unit 48. Can be configured.

휘도 히스토그램 분석부(42)는 제1 기준영상의 휘도 히스토그램과 제2 기준영상의 휘도 히스토그램을 구하여 분석한다.The luminance histogram analyzer 42 obtains and analyzes the luminance histogram of the first reference image and the luminance histogram of the second reference image.

이러한 휘도 히스토그램 분석부(42)는 제1 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제1 최소 레벨(MinLP)로 정의하고, 제1 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제1 최대 레벨(MaxLP)로 정의하고, 제2 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제2 최소 레벨(MinSP)로 정의하고, 제2 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제2 최대 레벨(MaxSP)로 정의하는 것이 바람직하다. 이러한 휘도 히스토그램 분석부(42)의 동작을 도 3을 참조하여 설명한다. 도 3은 2개의 기준영상의 휘도 히스토그램을 나타낸 도면이다. 도 3의 가로축은 휘도 레벨을 가르키고, 도 3의 세로축은 화소수를 가르킨다. 예를 들어 문턱값(Threshold)이 10인 경우, 휘도 히스토그램 분석부(42)는 제1 기준영상과 제2 기준영상의 휘도 히스토그램에서 10 이상의 값을 갖는 최초의 휘도 레벨을 각각 제1 최소 레벨(MinLP)과 제2 최소 레벨(MinSP)로 정의하 고, 제1 기준영상과 제2 기준영상의 휘도 히스토그램에서 10 이상의 값을 갖는 최후의 휘도 레벨을 각각 제1 최대 레벨(MaxLP)과 제2 최대 레벨(MaxSP)로 정의한다.The luminance histogram analyzer 42 defines a first level having a value equal to or greater than a predetermined number of pixels in the luminance histogram of the first reference image as the first minimum level Min LP , and selects the first level in the luminance histogram of the first reference image. Defines a last level having a value greater than or equal to the pixel number as a first maximum level Max LP and defines a first level having a value greater than or equal to a predetermined number of pixels in the luminance histogram of the second reference image as the second minimum level (Min SP). ), And a final level having a value equal to or greater than a predetermined number of pixels in the luminance histogram of the second reference image is defined as the second maximum level Max SP . The operation of the luminance histogram analyzer 42 will be described with reference to FIG. 3. 3 is a diagram illustrating luminance histograms of two reference images. The horizontal axis of FIG. 3 indicates the luminance level, and the vertical axis of FIG. 3 indicates the number of pixels. For example, when the threshold is 10, the luminance histogram analyzer 42 may determine the first luminance level having a value of 10 or more in the luminance histogram of the first reference image and the second reference image, respectively. Min LP ) and the second minimum level (Min SP ), and the last luminance level having a value of 10 or more in the luminance histogram of the first reference image and the second reference image, respectively, is defined as the first maximum level Max LP and This is defined as the second maximum level Max SP .

휘도 보정 연산부(44)는 제1 기준영상과 제2 기준영상 간의 휘도 히스토그램의 형태가 유사해지도록 하는 휘도 히스토그램 변환연산에 기초하여 입력영상의 휘도를 보정한다. 이를 보다 상세히 설명하면 다음과 같다. 휘도 보정 연산부(44)는 제2 최소 레벨(MinSP)과 제1 최소 레벨(MinLP) 간의 차이와 제2 최대 레벨(MaxSP)과 제1 최대 레벨(MaxLP) 간의 차이에 기초하여 입력영상의 휘도 히스토그램을 스트레칭함으로써 입력영상의 휘도를 보정한다. 앞서 설명한 바와 같이, 제1 최소 레벨(MinLP)과 제1 최대 레벨(MaxLP)은 셔터 타임이 짧게 적용된 제1 기준영상의 휘도 레벨을 반영하는 값이고, 제2 최소 레벨(MinSP)과 제2 최대 레벨(MaxSP)은 셔터 타임이 길게 적용된 제2 기준영상의 휘도 레벨을 반영하는 값이다. 하나의 예로써, 휘도 보정 연산부는 제1 최소 레벨(MinLP), 제2 최소 레벨(MinSP), 제1 최대 레벨(MaxLP), 제2 최대 레벨(MaxSP)을 포함하는 룩업 테이블(look up table, LUT)을 참조하여 입력영상의 휘도를 비례연산함으로써, 입력영상의 휘도를 보정할 수 있다.The luminance correction calculator 44 corrects the luminance of the input image based on a luminance histogram conversion operation such that the shape of the luminance histogram between the first reference image and the second reference image is similar. This will be described in more detail as follows. The luminance correction calculator 44 is input based on a difference between the second minimum level Min SP and the first minimum level Min LP and a difference between the second maximum level Max SP and the first maximum level Max LP . The luminance of the input image is corrected by stretching the luminance histogram of the image. As described above, the first minimum level (Min LP) and a first maximum level (Max LP) is a value that reflects the luminance level of the first reference image applied to the shutter time becomes shorter, the second minimum level (Min SP) and The second maximum level Max SP reflects the luminance level of the second reference image to which the shutter time is long applied. As an example, the luminance correction calculator may include a lookup table including a first minimum level Min LP , a second minimum level Min SP , a first maximum level Max LP , and a second maximum level Max SP . look up table (LUT), by proportionally calculating the luminance of the input image, the luminance of the input image can be corrected.

색차정보 추출부(46)는 제1 기준영상과 제2 기준영상의 대응하는 화소들의 색차정보들을 추출한다. 색차정보 추출부(46)는 두 기준영상의 각 화소들에 대해 그 화소를 중심으로 한 일정 크기의 부분 영역 내에 있는 색차정보들을 누적하는 연산을 수행할 수 있다.The color difference information extractor 46 extracts color difference information of pixels corresponding to the first reference image and the second reference image. The color difference information extracting unit 46 may perform an operation of accumulating color difference information in a partial area of a predetermined size with respect to each pixel of the two reference images.

이러한 색차정보 추출부(46)는 제1 기준영상의 해당 화소가 중심에 위치한 제1 NⅹN 영역의 청색차신호의 평균인 제1 청색차정보(CbLP(NpⅹNp))와, 제1 NⅹN 영역의 적색차신호의 평균인 제1 적색차정보(CrLP( Np Np ))와, 제2 기준영상의 해당 화소가 중심에 위치한 제2 NⅹN 영역의 청색차신호의 평균인 제2 청색차정보(CbSP(NpⅹNp))와, 제2 NⅹN 영역의 적색차신호의 평균인 제2 적색차정보(CrSP(NpⅹNp))를 추출하는 것이 바람직하다.The chrominance information extracting unit 46 may include the first blue difference information Cb LP (NpⅹNp), which is an average of the blue difference signals of the first NⅹN region where the corresponding pixel of the first reference image is located, and the first NⅹN region. The first red difference information Cr LP ( Np Np ) , which is an average of the red difference signals, and the second blue difference information, which is an average of blue difference signals in a second NⅹN region where the corresponding pixel of the second reference image is located at the center ( It is preferable to extract Cb SP (Np SPNp) and the second red difference information Cr SP (NpⅹNp) which is an average of the red difference signals in the second NⅹN region.

색차정보 보정 연산부(48)는 색차정보 추출부(46)로부터 입력받은 색차정보들에 기초하여 입력영상의 색차정보를 보정한다.The color difference information correction calculator 48 corrects the color difference information of the input image based on the color difference information received from the color difference information extractor 46.

이러한 색차정보 보정 연산부(48)는 제2 청색차정보(CbSP(NpⅹNp))와 제1 청색차정보(CbLP( NpⅹNp)) 간의 비율을 가중치 적용하여 입력영상의 청색차정보(CbSF)를 보정하고, 제2 적색차정보(CrSP( NpⅹNp))와 제1 적색차정보(CrLP ( Np Np )) 간의 비율을 가중치 적용하여 입력영상의 적색차정보(CrSF)를 보정하는 것이 바람직하다.The color difference information correction calculation unit 48, a second blue color difference information (Cb SP (NpⅹNp)) and the first blue color difference information (Cb LP (Np ⅹNp)) ratio of weighted by a blue color difference information of the input image between (Cb SF ) the correction, and the second red color difference information (Cr SP (NpⅹNp)) and the first red color difference information (Cr LP (Np Np)) applied to a red color difference information of the input image is the ratio between weight (Cr SF), the correction It is desirable to.

한편, 색차정보 보정 연산부(48)는 제1 청색차정보(CbLP(NpⅹNp))와 입력영상의 대응 화소의 청색차정보(CbSF) 간의 비율을 가중치 적용하여 입력 영상의 청색차정보(CbSF)를 보정하고, 제1 적색차정보(CrLP(NpⅹNp))와 입력영상의 대응 화소의 적색차정보(CrSF) 간의 비율을 가중치 적용하여 입력 영상의 적색차정보(CrSF)를 보정할 수 있다.Meanwhile, the color difference information correction calculator 48 applies a weighted ratio between the first blue difference information Cb LP (NpⅹNp ) and the blue difference information Cb SF of the corresponding pixel of the input image to weight the blue difference information Cb of the input image. correcting SF), and the first red color difference information (Cr LP (NpⅹNp)) and the input image red color difference information of the corresponding pixel (weighting the ratio between Cr SF) applied to compensate for the red color difference information (Cr SF) of the input image of the can do.

또한, 색차정보 보정 연산부(48)는 제2 청색차정보(CbSP(NpⅹNp))와 제2 기준영상의 대응 화소의 청색차신호 간의 비율을 가중치 적용하여 입력 영상의 청색차정보(CbSF)를 보정하고, 제2 적색차정보(CrSP(NpⅹNp))와 제2 기준영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 입력 영상의 적색차정보(CrSF)를 보정할 수도 있다.In addition, the color difference information correction calculator 48 applies a weighted ratio between the second blue difference information Cb SP (NpⅹNp ) and the blue difference signal of the corresponding pixel of the second reference image to determine the blue difference information Cb SF of the input image. The red difference information Cr SF of the input image may be corrected by applying a weighted ratio between the second red difference information Cr SP (Np ⅹ Np) and the red difference information of the corresponding pixel of the second reference image.

본 발명의 일 실시 예에 따른 영상 처리 장치는 잡음 제거부(6)를 더 포함할 수 있다. 이러한 잡음 제거부(6)는 입력영상의 에지 정보에 기초하여 입력영상에 포함된 잡음을 제거한다. 즉, 잡음 제거부(6)는 색정보 보정부(4)로부터 입력된 영상의 휘도신호에 대해 주변 화소들과의 연관 함수를 정의하여 에지 존재 여부를 검사하고, 이를 기초로 입력영상에 포함된 잡음을 제거하는 것이다.The image processing apparatus according to an embodiment of the present invention may further include a noise removing unit 6. The noise removing unit 6 removes noise included in the input image based on the edge information of the input image. That is, the noise removing unit 6 checks the existence of an edge by defining a correlation function with surrounding pixels with respect to the luminance signal of the image input from the color information correcting unit 4, and based on this, the noise removing unit 6 is included in the input image. It is to remove noise.

도 4를 참조하면, 이러한 잡음 제거부(6)는 휘도 변화 방향성 정보 추출부(62)와, 에지 정보 추출부(64) 및 잡음 감쇠 연산부(66)를 포함하여 구성될 수 있다.Referring to FIG. 4, the noise removing unit 6 may include a luminance change direction information extracting unit 62, an edge information extracting unit 64, and a noise attenuation calculating unit 66.

휘도 변화 방향성 정보 추출부(62)는 색정보 보정부로(4)부터 입력받은 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출한다. 이러한 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성될 수 있다.The luminance change directional information extracting unit 62 extracts the directional information of the luminance change of the image in which the color information received from the color information correcting unit 4 is corrected. The luminance change direction information may be generated based on the luminance change amount in eight directions of the ROI where the ROI is located.

에지 정보 추출부(64)는 휘도 변화 방향성 정보 추출부(62)로부터 입력받은 휘도 변화 방향성 정보에 기초하여 색정보가 보정된 영상의 에지 정보를 추출한다.The edge information extracting unit 64 extracts edge information of the image whose color information is corrected based on the luminance change directional information received from the luminance change directional information extracting unit 62.

잡음 감쇠 연산부(66)는 에지 정보 추출부(64)로부터 입력받은 색정보가 보정된 영상의 에지 정보에 기초하여 색정보가 보정된 영상의 잡음을 감쇠시킨다.The noise attenuation calculator 66 attenuates the noise of the image in which the color information is corrected based on the edge information of the image in which the color information received from the edge information extractor 64 is corrected.

본 발명의 일 실시 예에 따른 영상 처리 장치는 휘도 보정부(8)를 더 포함할 수 있다. 이러한 휘도 보정부(8)는 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 색정보가 보정된 영상의 휘도를 최종적으로 보정한다.The image processing apparatus according to an embodiment of the present invention may further include a luminance corrector 8. The luminance corrector 8 finally corrects the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected.

도 5를 참조하면, 이러한 휘도 보정부(8)는 휘도 정보 추출부(82)와, 감마곡선 생성부(84) 및 감마곡선 적용부(86)를 포함하여 구성될 수 있다.Referring to FIG. 5, the luminance correcting unit 8 may include a luminance information extracting unit 82, a gamma curve generating unit 84, and a gamma curve applying unit 86.

휘도 보정부(8)는 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 색정보가 보정된 영상의 휘도 정보를 추출한다. 색정보가 보정된 영상의 휘도 히스토그램은 NH-양자화(NH-Quantized) 방식으로 생성될 수 있다.The luminance corrector 8 extracts luminance information of an image in which color information is corrected based on the luminance histogram of the image in which color information is corrected. Luminance histogram of the color information corrected image is N H - may be generated in the quantization (N H -Quantized) method.

감마곡선 생성부(84)는 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성한다.The gamma curve generator 84 generates a gamma curve based on the luminance information of the image whose color information is corrected.

감마곡선 적용부(86)은 감마곡선을 색정보가 보정된 영상에 적용하여 출력영상을 생성한다.The gamma curve applying unit 86 generates an output image by applying the gamma curve to the image of which color information is corrected.

도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 나타낸 도면이다. 도 6을 참조하면 본 발명의 일 실시 예에 따른 영상 처리 방법은 기준영상 획득단계(S2), 휘도 히스토그램 분석단계(S42)와, 휘도 보정 연산단계(S44)와, 색차정보 추출단계(S46)와, 색차정보 보정 연산단계(S48)를 포함하는 색정보 보정단계(S4) 와, 잡음 제거단계(S6) 및 휘도 보정단계(S8)를 포함한다.6 is a diagram illustrating an image processing method according to an exemplary embodiment. Referring to FIG. 6, an image processing method according to an exemplary embodiment may include a reference image acquisition step S2, a luminance histogram analysis step S42, a luminance correction calculation step S44, and a color difference information extraction step S46. And a color information correction step S4 including a color difference information correction calculation step S48, a noise removal step S6, and a luminance correction step S8.

이러한 본 발명의 일 실시 예에 따른 영상 처리 방법의 작동 원리는 앞서 상세히 설명한 본 발명의 일 실시 예에 따른 영상 처리 장치와 실질적으로 동일하므로 본 발명의 일 실시 예에 따른 영상 처리 방법에 대한 상세한 설명은 본 발명의 일 실시 예에 따른 영상 처리 장치에 대한 상세한 설명으로 대체한다.Since the operation principle of the image processing method according to an embodiment of the present invention is substantially the same as the image processing apparatus according to an embodiment of the present invention described above in detail, a detailed description of the image processing method according to an embodiment of the present invention Replaces the detailed description of the image processing apparatus according to an embodiment of the present invention.

이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As described above, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. Therefore, the above-described embodiments are to be understood as illustrative and not restrictive in all respects, and the scope of the present invention is indicated by the appended claims rather than the foregoing description, and the meaning and scope of the claims and All changes or modifications derived from the equivalent concept should be interpreted as being included in the scope of the present invention.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면.1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment.

도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 색정보 보정부를 나타낸 도면.2 is a diagram illustrating a color information correcting unit included in an image processing apparatus according to an embodiment of the present invention.

도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 휘도 히스토그램 분석부의 동작의 일례를 나타낸 도면.3 is a diagram illustrating an example of an operation of a luminance histogram analyzer included in an image processing apparatus according to an exemplary embodiment.

도 4는 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 잡음 제거부를 나타낸 도면.4 is a diagram illustrating a noise canceller included in an image processing apparatus according to an exemplary embodiment.

도 5는 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 휘도 보정부를 나타낸 도면.5 is a diagram illustrating a luminance corrector included in an image processing apparatus according to an exemplary embodiment.

도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 나타낸 도면.6 is a diagram illustrating an image processing method according to an embodiment of the present invention.

***** 도면의 주요부분에 대한 부호의 설명 ********** Explanation of symbols for main parts of drawing *****

2: 기준영상 획득부2: reference image acquisition unit

4: 색정보 보정부4: color information correction unit

6: 잡음 제거부6: noise canceling unit

8: 휘도 보정부8: luminance correction unit

42: 휘도 히스토그램 분석부42: luminance histogram analyzer

44: 휘도 보정 연산부44: luminance correction calculator

46: 색차정보 추출부46: color difference information extraction unit

48: 색차정보 보정 연산부48: color difference information correction calculator

62: 휘도 변화 방향성 정보 추출부62: luminance change direction information extraction unit

64: 에지 정보 추출부64: edge information extraction section

66: 잡음 감쇠 연산부66: noise attenuation calculator

82: 휘도 정보 추출부82: luminance information extraction unit

84: 감마곡선 생성부84: gamma curve generation unit

86: 감마곡선 적용부86: gamma curve application

Claims (12)

셔터 타임들과 ISO(International Standard Organization) 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득부; 및A reference image acquisition unit for obtaining two reference images by differently applying shutter times and ISO (International Standard Organization) sensitivity settings; And 상기 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상에 대하여, 상기 2개의 기준영상의 휘도 히스토그램 및 색차정보에 기초하여, 상기 입력영상의 휘도 및 색차정보를 보정하는 색정보 보정부; 및A color information correcting unit configured to correct luminance and color difference information of the input image based on the luminance histogram and the color difference information of the two reference images with respect to the input image acquired by applying a short shutter time among the shutter times; And 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 상기 색정보가 보정된 영상의 휘도를 보정하는 휘도 보정부;를 포함하는 영상 처리 장치.And a luminance corrector configured to correct the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected. 제1 항에 있어서,According to claim 1, 상기 휘도 보정부는The brightness correction unit 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 상기 색정보가 보정된 영상의 휘도 정보를 추출하는 휘도 정보 추출부;A luminance information extracting unit extracting luminance information of an image in which the color information is corrected based on a luminance histogram of the image in which the color information is corrected; 상기 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성하는 감마곡선 생성부; 및A gamma curve generating unit generating a gamma curve based on luminance information of the image in which the color information is corrected; And 상기 감마곡선을 상기 색정보가 보정된 영상에 적용하는 감마곡선 적용부;를 포함하는 것을 특징으로 하는 영상 처리 장치.And a gamma curve applying unit configured to apply the gamma curve to the image in which the color information is corrected. 제1 항에 있어서,According to claim 1, 상기 2개의 기준 영상 중 어느 하나인 제1 기준 영상과 다른 하나인 제2 기준 영상의 상기 휘도 히스토그램를 각각 분석하여, 상기 제1 기준 영상과 제2 기준 영상 간의 휘도 히스토그램 변환연산에 기초하여 상기 입력영상의 휘도를 보정하며,Analyzing the luminance histogram of the first reference image, which is one of the two reference images, and the second reference image, which is the other one, respectively, and based on the luminance histogram conversion operation between the first reference image and the second reference image, Compensates for 상기 제1 기준 영상과 상기 제2 기준영상의 대응하는 화소들의 색차정보들을 추출하고, 추출된 상기 색차정보들에 기초하여 상기 입력영상의 색차정보를 보정하는 것을 특징으로 하는 영상 처리 장치.And extracting color difference information of corresponding pixels of the first reference image and the second reference image, and correcting color difference information of the input image based on the extracted color difference information. 제1 항에 있어서,According to claim 1, 영상 처리 장치는 Image processing device 상기 입력영상의 에지 정보에 기초하여 상기 입력영상에 포함된 잡음을 제거하는 잡음 제거부;를 더 포함하는 것을 특징으로 하는 영상 처리 장치.And a noise remover configured to remove noise included in the input image based on the edge information of the input image. 제4 항에 있어서,5. The method of claim 4, 상기 잡음 제거부는The noise canceling unit 상기 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출하는 휘도 변화 방향성 정보 추출부;A luminance change directional information extraction unit for extracting directional information of luminance change of the image in which the color information is corrected; 상기 휘도 변화 방향성 정보에 기초하여 상기 색정보가 보정된 영상의 에지 정보를 추출하는 에지 정보 추출부; 및An edge information extracting unit extracting edge information of the image whose color information is corrected based on the luminance change directional information; And 상기 에지 정보에 기초하여 상기 색정보가 보정된 영상의 잡음을 감쇠시키는 잡음 감쇠 연산부;를 포함하는 것을 특징으로 하는 영상 처리 장치.And a noise attenuation calculator configured to attenuate noise of the image in which the color information is corrected based on the edge information. 제5 항에 있어서,6. The method of claim 5, 상기 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성되는 것을 특징으로 하는 영상 처리 장치.And the luminance change directional information is generated based on a luminance change amount in eight directions of the ROI located at the center of the pixel of interest. 셔터 타임들과 ISO(International Standard Organization) 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득단계; 및Acquiring two reference images by applying different shutter times and ISO (International Standard Organization) sensitivity settings; And 상기 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상에 대하여, 상기 2개의 기준영상의 휘도 히스토그램 및 색차정보에 기초하여, 상기 입력영상의 휘도 및 색차정보를 보정하는 색정보 보정단계; 및 The luminance of the input image and the luminance difference of the input image are corrected based on the luminance histogram and the color difference information of the two reference images with respect to the input image acquired by applying a short shutter time among the shutter times. Color information correcting step; And 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 상기 색정보가 보정된 영상의 휘도를 보정하는 휘도 보정단계;를 포함하는 영상 처리 방법.And a luminance correction step of correcting the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected. 제7 항에 있어서,8. The method of claim 7, 상기 휘도 보정단계는The brightness correction step 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 상기 색정보가 보정된 영상의 휘도 정보를 추출하는 휘도 정보 추출단계;A brightness information extraction step of extracting brightness information of an image in which the color information is corrected based on a luminance histogram of the image in which the color information is corrected; 상기 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성하는 감마곡선 생성단계; 및A gamma curve generation step of generating a gamma curve based on luminance information of the image in which the color information is corrected; And 상기 감마곡선을 상기 색정보가 보정된 영상에 적용하는 감마곡선 적용단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.And applying a gamma curve to the image in which the color information is corrected. 제7 항에 있어서,8. The method of claim 7, 상기 2개의 기준 영상 중 어느 하나인 제1 기준 영상과 다른 하나인 제2 기준 영상의 상기 휘도 히스토그램를 각각 분석하여, 상기 제1 기준 영상과 제2 기준 영상 간의 휘도 히스토그램 변환연산에 기초하여 상기 입력영상의 휘도를 보정하며,Analyzing the luminance histogram of the first reference image, which is one of the two reference images, and the second reference image, which is the other one, respectively, based on a luminance histogram conversion operation between the first reference image and the second reference image, Compensates for 상기 제1 기준 영상과 상기 제2 기준영상의 대응하는 화소들의 색차정보들을 추출하고, 추출된 상기 색차정보들에 기초하여 상기 입력영상의 색차정보를 보정하는 것을 특징으로 하는 영상 처리 방법.And extracting color difference information of corresponding pixels of the first reference image and the second reference image, and correcting color difference information of the input image based on the extracted color difference information. 제7 항에 있어서,8. The method of claim 7, 상기 영상 처리 방법은,The image processing method, 상기 휘도 보정단계 전에, 상기 입력영상의 에지 정보에 기초하여 상기 입력영상에 포함된 잡음을 제거하는 잡음 제거단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.And a noise removing step of removing noise included in the input image based on edge information of the input image before the luminance correction step. 제10 항에 있어서,The method of claim 10, 상기 잡음 제거단계는The noise removing step 상기 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출하는 휘도 변화 방향성 정보 추출단계;A luminance change directional information extraction step of extracting directional information of luminance change of the image in which the color information is corrected; 상기 휘도 변화 방향성 정보에 기초하여 상기 색정보가 보정된 영상의 에지 정보를 추출하는 에지 정보 추출단계; 및An edge information extraction step of extracting edge information of the image in which the color information is corrected based on the luminance change directional information; And 상기 에지 정보에 기초하여 상기 색정보가 보정된 영상의 잡음을 감쇠시키는 잡음 감쇠 연산단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.And a noise attenuation calculation step of attenuating the noise of the image in which the color information is corrected based on the edge information. 제11 항에 있어서,12. The method of claim 11, 상기 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성되는 것을 특징으로 하는 영상 처리 방법.The luminance change directional information is generated based on the amount of change in luminance in eight directions of the ROI where the ROI is located.
KR1020070112309A 2007-11-05 2007-11-05 Image processing apparatus and method thereof KR100997203B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070112309A KR100997203B1 (en) 2007-11-05 2007-11-05 Image processing apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070112309A KR100997203B1 (en) 2007-11-05 2007-11-05 Image processing apparatus and method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020070062099A Division KR101023944B1 (en) 2007-06-25 2007-06-25 Image processing apparatus and method thereof

Publications (2)

Publication Number Publication Date
KR20080114463A KR20080114463A (en) 2008-12-31
KR100997203B1 true KR100997203B1 (en) 2010-11-29

Family

ID=40371550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070112309A KR100997203B1 (en) 2007-11-05 2007-11-05 Image processing apparatus and method thereof

Country Status (1)

Country Link
KR (1) KR100997203B1 (en)

Also Published As

Publication number Publication date
KR20080114463A (en) 2008-12-31

Similar Documents

Publication Publication Date Title
KR101023944B1 (en) Image processing apparatus and method thereof
EP2987135B1 (en) Reference image selection for motion ghost filtering
US9681026B2 (en) System and method for lens shading compensation
US8982232B2 (en) Image processing apparatus and image processing method
TWI542224B (en) Image signal processing method and image signal processor
JP6415062B2 (en) Image processing apparatus, image processing method, control program, and recording medium
JP2011010108A (en) Imaging control apparatus, imaging apparatus, and imaging control method
US10382671B2 (en) Image processing apparatus, image processing method, and recording medium
US9589339B2 (en) Image processing apparatus and control method therefor
US20220101503A1 (en) Method and apparatus for combining low-dynamic range images to a single image
JP2015186247A (en) Image processing system, control method, and program
US20140028879A1 (en) Image processing device, image processing method, and solid-state imaging device
CN114418879A (en) Image processing method, image processing device, electronic equipment and storage medium
CN114584700A (en) Focusing marking method, marking device and electronic equipment
US20220021800A1 (en) Image capturing apparatus, method of controlling image capturing apparatus, and storage medium
JP2011100204A (en) Image processor, image processing method, image processing program, imaging apparatus, and electronic device
US8982244B2 (en) Image capturing apparatus for luminance correction, a control method therefor, and a recording medium
US20130129212A1 (en) Method for reducing image artifacts produced by a cmos camera
US11563898B2 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
CN111147924A (en) Video enhancement processing method and system
KR100997203B1 (en) Image processing apparatus and method thereof
KR100958175B1 (en) Image processing apparatus and method thereof
JP5631153B2 (en) Image processing apparatus, control method, and program
US11696044B2 (en) Image capturing apparatus, control method, and storage medium
JP2023144442A (en) Image processing device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee