KR100997203B1 - Image processing apparatus and method thereof - Google Patents
Image processing apparatus and method thereof Download PDFInfo
- Publication number
- KR100997203B1 KR100997203B1 KR1020070112309A KR20070112309A KR100997203B1 KR 100997203 B1 KR100997203 B1 KR 100997203B1 KR 1020070112309 A KR1020070112309 A KR 1020070112309A KR 20070112309 A KR20070112309 A KR 20070112309A KR 100997203 B1 KR100997203 B1 KR 100997203B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- luminance
- color
- corrected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 38
- 230000035945 sensitivity Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008520 organization Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006641 stabilisation Effects 0.000 abstract 1
- 238000011105 stabilization Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
본 발명은 영상 처리 장치 및 그 방법에 관한 것이며, 특히 손떨림에 의한 영상 왜곡을 보정하는 영상 처리 장치 및 그 방법에 관한 것이다.
본 발명에 따른 영상 처리 장치는 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득부 및 2개의 기준영상의 휘도비와 색차비에 따라 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 보정하는 색정보 보정부를 포함한다.
본 발명에 따르면, 손떨림에 의한 영상 왜곡을 보정하는 등의 효과가 있다.
손떨림, 휘도 히스토그램, 색차정보, 셔터 타임, ISO 감도 설정치
The present invention relates to an image processing apparatus and a method thereof, and more particularly, to an image processing apparatus and a method for correcting image distortion due to camera shake.
The image processing apparatus according to the present invention includes a reference image acquisition unit for acquiring two reference images by applying different shutter times and ISO sensitivity settings, and a shorter shutter time among the shutter times according to the luminance ratio and the color difference ratio of the two reference images. It includes a color information correction unit for correcting the color information of the obtained input image.
According to the present invention, there is an effect such as correcting image distortion due to camera shake.
Image stabilization, luminance histogram, color difference information, shutter time, ISO sensitivity settings
Description
본 발명은 영상 처리 장치 및 그 방법에 관한 것이며, 특히 손떨림에 의한 영상 왜곡을 보정하는 영상 처리 장치 및 그 방법에 관한 것이다.The present invention relates to an image processing apparatus and a method thereof, and more particularly, to an image processing apparatus and a method for correcting image distortion due to camera shake.
종래에는 손떨림에 의한 정지 영상의 왜곡을 보정하기 위하여 주로 디지털 카메라에서 자이로 미터를 이용하여 렌즈나 센서의 위치를 적절히 보정하는 방법들이 주로 이용되었다. 즉, 자이로 미터 측정치의 반대 방향으로 렌즈나 센서를 이동시켜 물리적으로 흔들리는 변수를 제거하는 방법을 사용하였다. 한편으로는 셔터 시간을 짧게 하여 여러 장의 영상을 찍은 후 이들 간의 위치 변화를 연산하여 보정하는 방법을 사용하기도 하였다.Conventionally, in order to correct distortion of a still image due to camera shake, a method of properly correcting a position of a lens or a sensor using a gyrometer is mainly used in a digital camera. In other words, by moving the lens or sensor in the opposite direction of the gyrometer measurement, the method of removing the physical shaking parameter was used. On the other hand, a short shutter time was used to take a plurality of images and calculate a position change between them to correct them.
그러나 1) 자이로 미터를 이용하는 경우, 기본적인 카메라 모듈에 자이로 미터뿐만 아니라 추가적으로 렌즈나 센서의 위치를 움직이게 할 수 있는 별도의 하드웨어 장치가 필요하게 된다. 이는 특히 그 크기가 점점 작아지는 추세인 핸드폰 카메라의 관점에서 본다면 적용하기에 부담스러운 방법이다. 또한 2) 여러 장의 어두운 영상을 이용하여 그 위치 차이를 연산하여 보정하는 방법은 여러 장의 영상을 저장할 수 있는 별도의 프레임(frame) 메모리를 필요로 하고, 그 연산량 또한 매우 커서 이를 카메라 모듈에 직접 탑재하기에는 많은 어려움이 따른다.However, 1) In the case of using a gyro meter, the basic camera module needs a separate hardware device to move the position of the lens or sensor as well as the gyro meter. This is a burdensome method to apply, especially from the perspective of mobile phone cameras, which are becoming smaller in size. Also, the method of calculating and correcting the position difference using multiple dark images requires a separate frame memory for storing multiple images, and the amount of calculation is also very large so that it is directly mounted on the camera module. There are many difficulties to do this.
이러한 문제점을 해결하기 위한 본 발명은 자이로 미터 등의 별도의 추가적인 장치를 사용하지 않고도 손떨림에 의한 정지 영상의 왜곡을 보정하는 영상 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.An object of the present invention to solve this problem is to provide an image processing apparatus and a method for correcting the distortion of the still image due to camera shake without using a separate additional device such as a gyro meter.
또한, 본 발명은 메모리 연산량을 줄이면서도 손떨림에 의한 정지 영상의 왜곡을 효율적으로 보정하는 영상 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.Another object of the present invention is to provide an image processing apparatus and method for efficiently correcting distortion of a still image caused by camera shake while reducing the amount of memory computation.
또한, 본 발명은 어두운 환경에서 렌즈의 셔터 타임이 길어짐에 의해 발생하는 영상의 흔들림과 노이즈 및 충분치 못한 색재현 등의 문제점을 해결하는 영상 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide an image processing apparatus and method for solving the problems such as the shaking and noise of the image caused by the long shutter time of the lens in the dark environment and insufficient color reproduction.
이러한 기술적 과제를 달성하기 위한 본 발명에 따른 영상 처리 장치는 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득부 및 상기 2개의 기준영상의 휘도비와 색차비에 따라 상기 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 보정하는 색정보 보정부를 포함한다.The image processing apparatus according to the present invention for achieving the technical problem is a reference image acquisition unit for acquiring two reference images by applying different shutter times and ISO sensitivity settings to the luminance ratio and color difference ratio of the two reference images. Accordingly, a color information corrector configured to correct color information of an input image obtained by applying a shorter shutter time among the shutter times.
상기 기준영상 획득부는 제1 셔터 타임과 제1 ISO 감도 설정치를 적용하여 제1 기준영상을 획득하고, 상기 제1 셔터 타임보다 긴 제2 셔터 타임과 상기 제1 ISO 감도 설정치보다 작은 제2 ISO 감도 설정치를 적용하여 제2 기준영상을 획득하는 것이 바람직하다.The reference image acquisition unit obtains a first reference image by applying a first shutter time and a first ISO sensitivity setting value, and has a second shutter time longer than the first shutter time and a second ISO sensitivity smaller than the first ISO sensitivity setting value. It is preferable to obtain a second reference image by applying the set value.
상기 제2 셔터 타임은 상기 제1 셔터 타임의 4배 이상 8배 이하이고, 상기 제1 ISO 감도 설정치는 상기 제2 ISO 감도 설정치의 4배 이상 8배 이하인 것이 바람직하다.Preferably, the second shutter time is four times or more and eight times or less than the first shutter time, and the first ISO sensitivity setting value is four or more times and eight times or less of the second ISO sensitivity setting value.
상기 기준영상의 해상도는 상기 입력영상의 해상도보다 낮은 것이 바람직하다.The resolution of the reference image is preferably lower than the resolution of the input image.
상기 색정보 보정부는 상기 제1 기준영상의 휘도 히스토그램과 상기 제2 기준영상의 휘도 히스토그램을 분석하는 휘도 히스토그램 분석부와, 상기 제1 기준영상과 상기 제2 기준영상 간의 휘도 히스토그램 변환연산에 기초하여 상기 입력영상의 휘도를 보정하는 휘도 보정 연산부와, 상기 제1 기준영상과 상기 제2 기준영상의 대응하는 화소들의 색차정보들을 추출하는 색차정보 추출부 및 상기 색차정보들에 기초하여 상기 입력영상의 색차정보를 보정하는 색차정보 보정 연산부를 포함하는 것이 바람직하다.The color information corrector may include a luminance histogram analyzer configured to analyze a luminance histogram of the first reference image and a luminance histogram of the second reference image, and a luminance histogram conversion operation between the first reference image and the second reference image. A luminance correction calculator for correcting luminance of the input image, a color difference information extractor extracting color difference information of corresponding pixels of the first reference image and the second reference image, and the color difference information based on the color difference information. It is preferable to include a color difference information correction calculation unit for correcting the color difference information.
상기 휘도 히스토그램 분석부는 상기 제1 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제1 최소 레벨로 정의하고, 상기 제1 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제1 최대 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제2 최소 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제2 최대 레벨로 정의하는 것이 바람직하다.The luminance histogram analyzer defines a first level having a value equal to or greater than a predetermined number of pixels in the luminance histogram of the first reference image as a first minimum level, and a value equal to or greater than the predetermined number of pixels in the luminance histogram of the first reference image. Defines a last level having a first maximum level, defines a first level having a value greater than or equal to the predetermined number of pixels in a luminance histogram of the second reference image as a second minimum level, Preferably, the last level having a value equal to or greater than the predetermined number of pixels in the luminance histogram is defined as a second maximum level.
상기 휘도 보정 연산부는 상기 제2 최소 레벨과 상기 제1 최소 레벨 간의 차 이와 상기 제2 최대 레벨과 제1 최대 레벨 간의 차이에 기초하여 상기 입력영상의 휘도 히스토그램을 스트레칭하는 것이 바람직하다.Preferably, the luminance correction calculator stretches the luminance histogram of the input image based on a difference between the second minimum level and the first minimum level and a difference between the second maximum level and the first maximum level.
상기 색차 정보 추출부는 상기 제1 기준영상의 해당 화소가 중심에 위치한 제1 NⅹN 영역의 청색차신호의 평균인 제1 청색차정보와, 상기 제1 NⅹN 영역의 적색차신호의 평균인 제1 적색차정보와, 상기 제2 기준영상의 해당 화소가 중심에 위치한 제2 NⅹN 영역의 청색차신호의 평균인 제2 청색차정보와, 상기 제2 NⅹN 영역의 적색차신호의 평균인 제2 적색차정보를 추출하는 것이 바람직하다.The chrominance information extracting unit includes first blue difference information that is an average of a blue difference signal of a first NⅹN region where a corresponding pixel of the first reference image is located, and a first red that is an average of red difference signals of the first NⅹN region. Second blue difference information that is an average of the difference information, a blue difference signal of a second N_N region where the corresponding pixel of the second reference image is located, and a second red difference that is an average of the red difference signal of the second N_N region It is desirable to extract the information.
상기 색차정보 보정 연산부는 상기 제2 청색차정보와 상기 제1 청색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제1 적색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 적색차정보를 보정하는 것이 바람직하다.The color difference information correction calculator corrects the blue difference information of the input image by applying a weighted ratio between the second blue difference information and the first blue difference information, and between the second red difference information and the first red difference information. Preferably, the ratio is weighted to correct red difference information of the input image.
상기 색차정보 보정 연산부는 상기 제1 청색차정보와 상기 입력영상의 대응 화소의 청색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정보를 보정하고,The color difference information correction calculator corrects the blue difference information of the input image by applying a weighted ratio between the first blue difference information and the blue difference information of the corresponding pixel of the input image.
상기 제1 적색차정보와 상기 입력영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바람직하다.Preferably, the red difference information of the input image is corrected by applying a weighted ratio between the first red difference information and the red difference information of the corresponding pixel of the input image.
상기 색차정보 보정 연산부는 상기 제2 청색차정보와 상기 제2 기준영상의 대응 화소의 청색차신호 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제2 기준영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바 람직하다.The color difference information correction calculator corrects blue difference information of the input image by weighting a ratio between the second blue difference information and a blue difference signal of a corresponding pixel of the second reference image, and corrects the second red difference information and the Preferably, the ratio of the red difference information of the corresponding pixel of the second reference image is weighted to correct the red difference information of the input image.
상기 입력영상의 에지 정보에 기초하여 상기 입력영상에 포함된 잡음을 제거하는 잡음 제거부를 더 포함하는 것이 바람직하다.The apparatus may further include a noise removing unit configured to remove noise included in the input image based on edge information of the input image.
상기 잡음 제거부는 상기 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출하는 휘도 변화 방향성 정보 추출부와, 상기 휘도 변화 방향성 정보에 기초하여 상기 색정보가 보정된 영상의 에지 정보를 추출하는 에지 정보 추출부 및 상기 에지 정보에 기초하여 상기 색정보가 보정된 영상의 잡음을 감쇠시키는 잡음 감쇠 연산부를 포함하는 것이 바람직하다.The noise removing unit extracts the directional information of the luminance change of the image in which the color information is corrected, and a luminance change directional information extracting unit, and an edge extracting the edge information of the image in which the color information is corrected based on the luminance change directional information. It is preferable to include an information extracting unit and a noise attenuation calculating unit for attenuating the noise of the image whose color information is corrected based on the edge information.
상기 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성되는 것이 바람직하다.The luminance change directional information may be generated based on the luminance change amounts of the eight directions of the ROI where the ROI is located.
상기 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 상기 색정보가 보정된 영상의 휘도를 보정하는 휘도 보정부를 더 포함하는 것이 바람직하다.The apparatus may further include a luminance corrector configured to correct the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected.
상기 휘도 보정부는 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 상기 색정보가 보정된 영상의 휘도 정보를 추출하는 휘도 정보 추출부와, 상기 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성하는 감마곡선 생성부 및 상기 감마곡선을 상기 색정보가 보정된 영상에 적용하는 감마곡선 적용부를 포함하는 것이 바람직하다.The luminance correction unit extracts the luminance information of the image corrected with the color information based on the luminance histogram of the image whose color information is corrected, and the gamma based on the luminance information of the image corrected with the color information. It is preferable to include a gamma curve generating unit for generating a curve and a gamma curve applying unit for applying the gamma curve to the image whose color information is corrected.
상기 색정보가 보정된 영상의 휘도 히스토그램은 NH-양자화(NH-Quantized) 방식으로 생성되는 것이 바람직하다.Luminance histogram of the corrected image and the color information are N H - is preferably generated by a quantization (N H -Quantized) method.
본 발명에 따른 영상 처리 방법은 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 2개의 기준영상을 획득하는 기준영상 획득단계 및 상기 2개의 기준영상의 휘도비와 색차비에 따라 상기 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 보정하는 색정보 보정단계를 포함한다.In the image processing method according to the present invention, a reference image acquisition step of acquiring two reference images by applying different shutter times and ISO sensitivity settings and a shorter one of the shutter times according to the luminance ratio and the color difference ratio of the two reference images. And a color information correcting step of correcting color information of an input image obtained by applying a shutter time.
상기 기준영상 획득단계에서, 제1 셔터 타임과 제1 ISO 감도 설정치를 적용하여 제1 기준영상을 획득하고, 상기 제1 셔터 타임보다 긴 제2 셔터 타임과 상기 제1 ISO 감도 설정치보다 작은 제2 ISO 감도 설정치를 적용하여 제2 기준영상을 획득하는 것이 바람직하다.In the obtaining of the reference image, a first reference image is obtained by applying a first shutter time and a first ISO sensitivity setting value, and a second shutter time longer than the first shutter time and a second smaller than the first ISO sensitivity setting value. It is preferable to obtain the second reference image by applying the ISO sensitivity setting value.
상기 제2 셔터 타임은 상기 제1 셔터 타임의 4배 이상 8배 이하이고, 상기 제1 ISO 감도 설정치는 상기 제2 ISO 감도 설정치의 4배 이상 8배 이하인 것이 바람직하다.Preferably, the second shutter time is four times or more and eight times or less than the first shutter time, and the first ISO sensitivity setting value is four or more times and eight times or less of the second ISO sensitivity setting value.
상기 기준영상의 해상도는 상기 입력영상의 해상도보다 낮은 것이 바람직하다.The resolution of the reference image is preferably lower than the resolution of the input image.
상기 색정보 보정단계는 상기 제1 기준영상의 휘도 히스토그램과 상기 제2 기준영상의 휘도 히스토그램을 분석하는 휘도 히스토그램 분석단계와, 상기 제1 기준영상과 상기 제2 기준영상 간의 휘도 히스토그램 변환연산에 기초하여 상기 입력영상의 휘도를 보정하는 휘도 보정 연산단계와, 상기 제1 기준영상과 상기 제2 기준영상의 대응하는 화소들의 색차정보들을 추출하는 색차정보 추출단계 및 상기 색차정보들에 기초하여 상기 입력영상의 색차정보를 보정하는 색차정보 보정 연산단계를 포함하는 것이 바람직하다.The color information correction step is based on a luminance histogram analysis step of analyzing the luminance histogram of the first reference image and the luminance histogram of the second reference image, and a luminance histogram conversion operation between the first reference image and the second reference image. A luminance correction calculating step of correcting luminance of the input image, a color difference information extraction step of extracting color difference information of corresponding pixels of the first reference image and the second reference image, and the input based on the color difference information It is preferable to include a color difference information correction calculation step of correcting color difference information of the image.
상기 휘도 히스토그램 분석단계에서, 상기 제1 기준영상의 휘도 히스토그램 에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제1 최소 레벨로 정의하고, 상기 제1 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제1 최대 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제2 최소 레벨로 정의하고, 상기 제2 기준영상의 휘도 히스토그램에서 상기 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제2 최대 레벨로 정의하는 것이 바람직하다.In the luminance histogram analysis step, the first level having a value equal to or greater than a predetermined number of pixels in the luminance histogram of the first reference image is defined as a first minimum level, and the predetermined number of pixels in the luminance histogram of the first reference image. The last level having the above value is defined as the first maximum level, and the first level having the value equal to or greater than the predetermined number of pixels in the luminance histogram of the second reference image is defined as the second minimum level, and the second reference Preferably, the last level having a value equal to or greater than the predetermined number of pixels in the luminance histogram of the image is defined as the second maximum level.
상기 휘도 보정 연산단계에서, 상기 제2 최소 레벨과 상기 제1 최소 레벨 간의 차이와 상기 제2 최대 레벨과 제1 최대 레벨 간의 차이에 기초하여 상기 입력영상의 휘도 히스토그램을 스트레칭하는 것이 바람직하다.In the luminance correction operation, it is preferable to stretch the luminance histogram of the input image based on the difference between the second minimum level and the first minimum level and the difference between the second maximum level and the first maximum level.
상기 색차 정보 추출단계에서, 상기 제1 기준영상의 해당 화소가 중심에 위치한 제1 NⅹN 영역의 청색차신호의 평균인 제1 청색차정보와, 상기 제1 NⅹN 영역의 적색차신호의 평균인 제1 적색차정보와, 상기 제2 기준영상의 해당 화소가 중심에 위치한 제2 NⅹN 영역의 청색차신호의 평균인 제2 청색차정보와, 상기 제2 NⅹN 영역의 적색차신호의 평균인 제2 적색차정보를 추출하는 것이 바람직하다.In the color difference information extraction step, first blue difference information which is an average of a blue difference signal of a first NⅹN region in which the corresponding pixel of the first reference image is located, and a second difference which is an average of red difference signals of the first NⅹN region. First red difference information, second blue difference information which is an average of a blue difference signal of a second N_N region where a corresponding pixel of the second reference image is located, and a second red difference signal which is an average of a red difference signal of the second N_N region; It is preferable to extract the red difference information.
상기 색차정보 보정 연산단계에서, 상기 제2 청색차정보와 상기 제1 청색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제1 적색차정보 간의 비율을 가중치 적용하여 상기 입력영상의 적색차정보를 보정하는 것이 바람직하다.In the color difference information correction calculation step, the ratio between the second blue difference information and the first blue difference information is weighted to correct the blue difference information of the input image, and the second red difference information and the first red difference. Preferably, the red difference information of the input image is corrected by weighting a ratio between the information.
상기 색차정보 보정 연산단계에서, 상기 제1 청색차정보와 상기 입력영상의 대응 화소의 청색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정 보를 보정하고, 상기 제1 적색차정보와 상기 입력영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바람직하다.In the color difference information correcting operation, the blue difference information of the input image is corrected by applying a weighted ratio between the first blue difference information and the blue difference information of the corresponding pixel of the input image, and the first red difference information and the input are performed. The red difference information of the input image may be corrected by applying a weighted ratio between the red difference information of the corresponding pixel of the image.
상기 색차정보 보정 연산단계에서, 상기 제2 청색차정보와 상기 제2 기준영상의 대응 화소의 청색차신호 간의 비율을 가중치 적용하여 상기 입력 영상의 청색차정보를 보정하고, 상기 제2 적색차정보와 상기 제2 기준영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 상기 입력 영상의 적색차정보를 보정하는 것이 바람직하다.In the color difference information correcting operation, the blue difference information of the input image is corrected by applying a weighted ratio between the second blue difference information and a blue difference signal of a corresponding pixel of the second reference image, and the second red difference information. It is preferable to correct the red difference information of the input image by applying a weight to a ratio between the red difference information of the corresponding pixel of the second reference image.
상기 입력영상의 에지 정보에 기초하여 상기 입력영상에 포함된 잡음을 제거하는 잡음 제거단계를 더 포함하는 것이 바람직하다.The method may further include a noise removing step of removing noise included in the input image based on edge information of the input image.
상기 잡음 제거단계는 상기 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출하는 휘도 변화 방향성 정보 추출단계와, 상기 휘도 변화 방향성 정보에 기초하여 상기 색정보가 보정된 영상의 에지 정보를 추출하는 에지 정보 추출단계 및 상기 에지 정보에 기초하여 상기 색정보가 보정된 영상의 잡음을 감쇠시키는 잡음 감쇠 연산단계를 포함하는 것이 바람직하다.The noise removing step may include: extracting brightness change direction information extracting directional information of brightness changes of the image in which the color information is corrected; extracting edge information of the image corrected in color information based on the brightness change directional information; It is preferable to include an edge information extraction step and a noise attenuation calculation step of attenuating the noise of the image whose color information is corrected based on the edge information.
상기 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성되는 것이 바람직하다.The luminance change directional information may be generated based on the luminance change amounts of the eight directions of the ROI where the ROI is located.
상기 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 상기 색정보가 보정된 영상의 휘도를 보정하는 휘도 보정단계를 더 포함하는 것이 바람직하다.The method may further include a luminance correction step of correcting the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected.
상기 휘도 보정단계는 상기 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 상기 색정보가 보정된 영상의 휘도 정보를 추출하는 휘도 정보 추출단계와, 상기 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성하는 감마곡선 생성단계 및 상기 감마곡선을 상기 색정보가 보정된 영상에 적용하는 감마곡선 적용단계를 포함하는 것이 바람직하다.The brightness correction step may include extracting brightness information of an image in which the color information is corrected based on a brightness histogram of the image in which the color information is corrected, and based on brightness information of the image in which the color information is corrected. A gamma curve generating step of generating a gamma curve and a gamma curve applying step of applying the gamma curve to the image in which the color information is corrected may be included.
상기 색정보가 보정된 영상의 휘도 히스토그램은 NH-양자화(NH-Quantized) 방식으로 생성되는 것이 바람직하다.Luminance histogram of the corrected image and the color information are N H - is preferably generated by a quantization (N H -Quantized) method.
이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 자이로 미터 등의 별도의 추가적인 장치를 사용하지 않고도 손떨림에 의한 정지 영상의 왜곡을 보정하는 영상 처리 장치 및 그 방법을 구현하는 효과가 있다.As described in detail above, according to the present invention, there is an effect of implementing the image processing apparatus and method for correcting the distortion of the still image due to the hand shake without using a separate additional device such as a gyro meter.
또한 본 발명에 따르면, 메모리 연산량을 줄이면서도 손떨림에 의한 정지 영상의 왜곡을 효율적으로 보정하는 영상 처리 장치 및 그 방법을 구현하는 효과가 있다.In addition, according to the present invention, there is an effect of implementing the image processing apparatus and method for efficiently correcting the distortion of the still image due to camera shake while reducing the amount of memory computation.
또한 본 발명에 따르면, 어두운 환경에서 렌즈의 셔터 타임이 길어짐에 의해 발생하는 영상의 흔들림과 노이즈 및 충분치 못한 색재현 등의 문제점을 해결하는 영상 처리 장치 및 그 방법을 구현하는 효과가 있다.In addition, according to the present invention, there is an effect of implementing the image processing apparatus and method for solving the problems such as the shake and noise and insufficient color reproduction of the image caused by the long shutter time of the lens in a dark environment.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described a preferred embodiment of the present invention;
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치는 기준영상 획득부(2) 및 색정보 보정부(4)를 포함한다.1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment. Referring to FIG. 1, an image processing apparatus according to an exemplary embodiment includes a reference
기준영상 획득부(2)는 셔터 타임들과 ISO 감도 설정치들을 다르게 적용하여 연속된 프레임의 2개의 기준영상을 획득한다.The reference
이러한 기준영상 획득부(2)는 제1 셔터 타임과 제1 ISO 감도 설정치를 적용하여 제1 기준영상을 획득하고, 제1 셔터 타임보다 긴 제2 셔터 타임과 제1 ISO 감도 설정치보다 작은 제2 ISO 감도 설정치를 적용하여 제2 기준영상을 획득하는 것이 바람직하다. 이와 같이 하는 이유는 다음과 같다. 즉, 일반적으로 어두운 환경에서 카메라의 셔터 타임이 길어지게 되고, 길어진 셔터 타임 동안 사람의 손의 흔들림에 의해 획득된 영상 또한 흔들리게 된다. 이 현상을 막기 위해 셔터 타임을 수동으로 짧게 하면 카메라 센서가 충분한 양의 빛을 받지 못하여 밝기나 색감이 매우 부족해진다. 이러한 색감의 부족을 해결하기 위해 ISO 감도 설정치를 평상시에 비해 높여서 획득하게 되면 영상 내의 노이즈가 증가한다. 본 발명은 이와 같은 상호 트레이드 오프(trade off) 관계를 갖는 특성들을 동시에 향상시키기 위한 것이다. 이를 위하여 본 발명에서는 손떨림 보정 기능을 구동할 경우 셔터 타임을 짧게하여 흔들림이 없는 제1 기준영상을 획득하고, 연속하여 셔터 타임을 길게 하여 밝기와 색정보를 충분히 가진 제2 기준영상을 획득한 후, 후술하는 바와 같이, 두 기준영상 간의 휘도와 색정보 비교 연산을 통해 셔터 타임이 짧은 풀 사이즈(full size)의 입력영상에 적용하는 방법을 이용하여, 흔들림이 없으면서도 휘도와 색정보를 충분히 나타낼 수 있는 영상을 획득한다. 이를 보다 상세히 설명하면 다음과 같다. 즉, 셔터 타임을 길게 설정한 상태에서 영상 상태는 다소 흔들려 있으나 색감이나 밝기가 적정 수준인 상태를 획득할 수 있다. 셔터 타임을 짧게 설정한 상태에서는 영상의 흔들림 상태는 거의 없으나 밝기가 매우 어둡고, 색 정보 또한 적절치 않다. 매우 낮은 색 정보를 보상하기 위해 ISO 감도 설정치를 평상시보다 높게 설정할 수 있으나, 이 경우 영상 내에 색잡영이 매우 많이 존재하게 된다. 이러한 두 종류의 영상은 이후의 색정보 보정부에서 처리할 셔터 타임이 짧은 풀 사이즈의 입력영상의 밝기와 색정보를 보정하는 사전 정보로 이용된다. 제1 기준영상을 획득할 때에 적용된 짧은 셔터 타임과 높은 ISO 감도 설정치를 적용하여, 입력영상을 획득한다.The reference
이러한 제2 기준영상에 적용되는 셔터 타임인 제2 셔터 타임은 제1 기준영상에 적용되는 셔터 타임인 제1 셔터 타임의 4배 이상 8배 이하인 것이 바람직하고, 제1 기준영상에 적용되는 ISO 감도 설정치인 제1 ISO 감도 설정치는 제2 기준영상에 적용되는 ISO 감도 설정치인 제2 ISO 감도 설정치의 4배 이상 8배 이하인 것이 바람직하다.The second shutter time which is the shutter time applied to the second reference image is preferably 4 times or more and 8 times or less than the first shutter time which is the shutter time applied to the first reference image, and the ISO sensitivity applied to the first reference image. The first ISO sensitivity setting value which is a set value is preferably 4 times or more and 8 times or less of the second ISO sensitivity setting value which is an ISO sensitivity setting value applied to the second reference image.
또한 제1 기준영상과 제2 기준영상의 해상도는 메모리 연산량을 고려하여 풀 사이즈의 입력영상의 해상도보다 낮게 설정하는 것이 바람직하다. 예컨대, 제1 기준영상과 제2 기준영상은 가용 메모리 크기를 고려하여 프리뷰(preview) 사이즈의 영상으로 획득하는 것이 바람직하다.In addition, the resolution of the first reference image and the second reference image is preferably set lower than the resolution of the full-size input image in consideration of the amount of memory computation. For example, the first reference image and the second reference image may be obtained as an image having a preview size in consideration of the available memory size.
색정보 보정부(4)는 제1 기준영상과 제2 기준영상에 적용된 2개의 셔터 타임들 중 짧은 셔터 타임을 적용하여 획득한 입력영상의 색정보를 제1 기준영상과 제2 기준영상 간의 휘도비와 색차비에 따라 보정한다.The
도 2를 참조하면, 이러한 색정보 보정부(4)는 휘도 히스토그램 분석부(42)와, 휘도 보정 연산부(44)와, 색차정보 추출부(46) 및 색차정보 보정 연산부(48)를 포함하여 구성될 수 있다.Referring to FIG. 2, the color
휘도 히스토그램 분석부(42)는 제1 기준영상의 휘도 히스토그램과 제2 기준영상의 휘도 히스토그램을 구하여 분석한다.The
이러한 휘도 히스토그램 분석부(42)는 제1 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제1 최소 레벨(MinLP)로 정의하고, 제1 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제1 최대 레벨(MaxLP)로 정의하고, 제2 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최초의 레벨을 제2 최소 레벨(MinSP)로 정의하고, 제2 기준영상의 휘도 히스토그램에서 소정의 화소수 이상의 값을 갖는 최후의 레벨을 제2 최대 레벨(MaxSP)로 정의하는 것이 바람직하다. 이러한 휘도 히스토그램 분석부(42)의 동작을 도 3을 참조하여 설명한다. 도 3은 2개의 기준영상의 휘도 히스토그램을 나타낸 도면이다. 도 3의 가로축은 휘도 레벨을 가르키고, 도 3의 세로축은 화소수를 가르킨다. 예를 들어 문턱값(Threshold)이 10인 경우, 휘도 히스토그램 분석부(42)는 제1 기준영상과 제2 기준영상의 휘도 히스토그램에서 10 이상의 값을 갖는 최초의 휘도 레벨을 각각 제1 최소 레벨(MinLP)과 제2 최소 레벨(MinSP)로 정의하 고, 제1 기준영상과 제2 기준영상의 휘도 히스토그램에서 10 이상의 값을 갖는 최후의 휘도 레벨을 각각 제1 최대 레벨(MaxLP)과 제2 최대 레벨(MaxSP)로 정의한다.The
휘도 보정 연산부(44)는 제1 기준영상과 제2 기준영상 간의 휘도 히스토그램의 형태가 유사해지도록 하는 휘도 히스토그램 변환연산에 기초하여 입력영상의 휘도를 보정한다. 이를 보다 상세히 설명하면 다음과 같다. 휘도 보정 연산부(44)는 제2 최소 레벨(MinSP)과 제1 최소 레벨(MinLP) 간의 차이와 제2 최대 레벨(MaxSP)과 제1 최대 레벨(MaxLP) 간의 차이에 기초하여 입력영상의 휘도 히스토그램을 스트레칭함으로써 입력영상의 휘도를 보정한다. 앞서 설명한 바와 같이, 제1 최소 레벨(MinLP)과 제1 최대 레벨(MaxLP)은 셔터 타임이 짧게 적용된 제1 기준영상의 휘도 레벨을 반영하는 값이고, 제2 최소 레벨(MinSP)과 제2 최대 레벨(MaxSP)은 셔터 타임이 길게 적용된 제2 기준영상의 휘도 레벨을 반영하는 값이다. 하나의 예로써, 휘도 보정 연산부는 제1 최소 레벨(MinLP), 제2 최소 레벨(MinSP), 제1 최대 레벨(MaxLP), 제2 최대 레벨(MaxSP)을 포함하는 룩업 테이블(look up table, LUT)을 참조하여 입력영상의 휘도를 비례연산함으로써, 입력영상의 휘도를 보정할 수 있다.The
색차정보 추출부(46)는 제1 기준영상과 제2 기준영상의 대응하는 화소들의 색차정보들을 추출한다. 색차정보 추출부(46)는 두 기준영상의 각 화소들에 대해 그 화소를 중심으로 한 일정 크기의 부분 영역 내에 있는 색차정보들을 누적하는 연산을 수행할 수 있다.The color
이러한 색차정보 추출부(46)는 제1 기준영상의 해당 화소가 중심에 위치한 제1 NⅹN 영역의 청색차신호의 평균인 제1 청색차정보(CbLP(NpⅹNp))와, 제1 NⅹN 영역의 적색차신호의 평균인 제1 적색차정보(CrLP( Np ⅹ Np ))와, 제2 기준영상의 해당 화소가 중심에 위치한 제2 NⅹN 영역의 청색차신호의 평균인 제2 청색차정보(CbSP(NpⅹNp))와, 제2 NⅹN 영역의 적색차신호의 평균인 제2 적색차정보(CrSP(NpⅹNp))를 추출하는 것이 바람직하다.The chrominance
색차정보 보정 연산부(48)는 색차정보 추출부(46)로부터 입력받은 색차정보들에 기초하여 입력영상의 색차정보를 보정한다.The color difference
이러한 색차정보 보정 연산부(48)는 제2 청색차정보(CbSP(NpⅹNp))와 제1 청색차정보(CbLP( NpⅹNp)) 간의 비율을 가중치 적용하여 입력영상의 청색차정보(CbSF)를 보정하고, 제2 적색차정보(CrSP( NpⅹNp))와 제1 적색차정보(CrLP ( Np ⅹ Np )) 간의 비율을 가중치 적용하여 입력영상의 적색차정보(CrSF)를 보정하는 것이 바람직하다.The color difference information
한편, 색차정보 보정 연산부(48)는 제1 청색차정보(CbLP(NpⅹNp))와 입력영상의 대응 화소의 청색차정보(CbSF) 간의 비율을 가중치 적용하여 입력 영상의 청색차정보(CbSF)를 보정하고, 제1 적색차정보(CrLP(NpⅹNp))와 입력영상의 대응 화소의 적색차정보(CrSF) 간의 비율을 가중치 적용하여 입력 영상의 적색차정보(CrSF)를 보정할 수 있다.Meanwhile, the color difference
또한, 색차정보 보정 연산부(48)는 제2 청색차정보(CbSP(NpⅹNp))와 제2 기준영상의 대응 화소의 청색차신호 간의 비율을 가중치 적용하여 입력 영상의 청색차정보(CbSF)를 보정하고, 제2 적색차정보(CrSP(NpⅹNp))와 제2 기준영상의 대응 화소의 적색차정보 간의 비율을 가중치 적용하여 입력 영상의 적색차정보(CrSF)를 보정할 수도 있다.In addition, the color difference
본 발명의 일 실시 예에 따른 영상 처리 장치는 잡음 제거부(6)를 더 포함할 수 있다. 이러한 잡음 제거부(6)는 입력영상의 에지 정보에 기초하여 입력영상에 포함된 잡음을 제거한다. 즉, 잡음 제거부(6)는 색정보 보정부(4)로부터 입력된 영상의 휘도신호에 대해 주변 화소들과의 연관 함수를 정의하여 에지 존재 여부를 검사하고, 이를 기초로 입력영상에 포함된 잡음을 제거하는 것이다.The image processing apparatus according to an embodiment of the present invention may further include a noise removing unit 6. The noise removing unit 6 removes noise included in the input image based on the edge information of the input image. That is, the noise removing unit 6 checks the existence of an edge by defining a correlation function with surrounding pixels with respect to the luminance signal of the image input from the color
도 4를 참조하면, 이러한 잡음 제거부(6)는 휘도 변화 방향성 정보 추출부(62)와, 에지 정보 추출부(64) 및 잡음 감쇠 연산부(66)를 포함하여 구성될 수 있다.Referring to FIG. 4, the noise removing unit 6 may include a luminance change direction
휘도 변화 방향성 정보 추출부(62)는 색정보 보정부로(4)부터 입력받은 색정보가 보정된 영상의 휘도 변화의 방향성 정보를 추출한다. 이러한 휘도 변화 방향성 정보는 관심픽셀이 중앙에 위치한 관심영역의 8가지 방향의 휘도 변화량에 기초하여 생성될 수 있다.The luminance change directional
에지 정보 추출부(64)는 휘도 변화 방향성 정보 추출부(62)로부터 입력받은 휘도 변화 방향성 정보에 기초하여 색정보가 보정된 영상의 에지 정보를 추출한다.The edge
잡음 감쇠 연산부(66)는 에지 정보 추출부(64)로부터 입력받은 색정보가 보정된 영상의 에지 정보에 기초하여 색정보가 보정된 영상의 잡음을 감쇠시킨다.The
본 발명의 일 실시 예에 따른 영상 처리 장치는 휘도 보정부(8)를 더 포함할 수 있다. 이러한 휘도 보정부(8)는 색정보가 보정된 영상의 휘도 히스토그램에 기초한 감마곡선에 따라 색정보가 보정된 영상의 휘도를 최종적으로 보정한다.The image processing apparatus according to an embodiment of the present invention may further include a luminance corrector 8. The luminance corrector 8 finally corrects the luminance of the image in which the color information is corrected according to a gamma curve based on the luminance histogram of the image in which the color information is corrected.
도 5를 참조하면, 이러한 휘도 보정부(8)는 휘도 정보 추출부(82)와, 감마곡선 생성부(84) 및 감마곡선 적용부(86)를 포함하여 구성될 수 있다.Referring to FIG. 5, the luminance correcting unit 8 may include a luminance
휘도 보정부(8)는 색정보가 보정된 영상의 휘도 히스토그램에 기초하여 색정보가 보정된 영상의 휘도 정보를 추출한다. 색정보가 보정된 영상의 휘도 히스토그램은 NH-양자화(NH-Quantized) 방식으로 생성될 수 있다.The luminance corrector 8 extracts luminance information of an image in which color information is corrected based on the luminance histogram of the image in which color information is corrected. Luminance histogram of the color information corrected image is N H - may be generated in the quantization (N H -Quantized) method.
감마곡선 생성부(84)는 색정보가 보정된 영상의 휘도 정보에 기초하여 감마곡선을 생성한다.The
감마곡선 적용부(86)은 감마곡선을 색정보가 보정된 영상에 적용하여 출력영상을 생성한다.The gamma
도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 나타낸 도면이다. 도 6을 참조하면 본 발명의 일 실시 예에 따른 영상 처리 방법은 기준영상 획득단계(S2), 휘도 히스토그램 분석단계(S42)와, 휘도 보정 연산단계(S44)와, 색차정보 추출단계(S46)와, 색차정보 보정 연산단계(S48)를 포함하는 색정보 보정단계(S4) 와, 잡음 제거단계(S6) 및 휘도 보정단계(S8)를 포함한다.6 is a diagram illustrating an image processing method according to an exemplary embodiment. Referring to FIG. 6, an image processing method according to an exemplary embodiment may include a reference image acquisition step S2, a luminance histogram analysis step S42, a luminance correction calculation step S44, and a color difference information extraction step S46. And a color information correction step S4 including a color difference information correction calculation step S48, a noise removal step S6, and a luminance correction step S8.
이러한 본 발명의 일 실시 예에 따른 영상 처리 방법의 작동 원리는 앞서 상세히 설명한 본 발명의 일 실시 예에 따른 영상 처리 장치와 실질적으로 동일하므로 본 발명의 일 실시 예에 따른 영상 처리 방법에 대한 상세한 설명은 본 발명의 일 실시 예에 따른 영상 처리 장치에 대한 상세한 설명으로 대체한다.Since the operation principle of the image processing method according to an embodiment of the present invention is substantially the same as the image processing apparatus according to an embodiment of the present invention described above in detail, a detailed description of the image processing method according to an embodiment of the present invention Replaces the detailed description of the image processing apparatus according to an embodiment of the present invention.
이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As described above, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. Therefore, the above-described embodiments are to be understood as illustrative and not restrictive in all respects, and the scope of the present invention is indicated by the appended claims rather than the foregoing description, and the meaning and scope of the claims and All changes or modifications derived from the equivalent concept should be interpreted as being included in the scope of the present invention.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면.1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 색정보 보정부를 나타낸 도면.2 is a diagram illustrating a color information correcting unit included in an image processing apparatus according to an embodiment of the present invention.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 휘도 히스토그램 분석부의 동작의 일례를 나타낸 도면.3 is a diagram illustrating an example of an operation of a luminance histogram analyzer included in an image processing apparatus according to an exemplary embodiment.
도 4는 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 잡음 제거부를 나타낸 도면.4 is a diagram illustrating a noise canceller included in an image processing apparatus according to an exemplary embodiment.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 장치에 포함된 휘도 보정부를 나타낸 도면.5 is a diagram illustrating a luminance corrector included in an image processing apparatus according to an exemplary embodiment.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 나타낸 도면.6 is a diagram illustrating an image processing method according to an embodiment of the present invention.
***** 도면의 주요부분에 대한 부호의 설명 ********** Explanation of symbols for main parts of drawing *****
2: 기준영상 획득부2: reference image acquisition unit
4: 색정보 보정부4: color information correction unit
6: 잡음 제거부6: noise canceling unit
8: 휘도 보정부8: luminance correction unit
42: 휘도 히스토그램 분석부42: luminance histogram analyzer
44: 휘도 보정 연산부44: luminance correction calculator
46: 색차정보 추출부46: color difference information extraction unit
48: 색차정보 보정 연산부48: color difference information correction calculator
62: 휘도 변화 방향성 정보 추출부62: luminance change direction information extraction unit
64: 에지 정보 추출부64: edge information extraction section
66: 잡음 감쇠 연산부66: noise attenuation calculator
82: 휘도 정보 추출부82: luminance information extraction unit
84: 감마곡선 생성부84: gamma curve generation unit
86: 감마곡선 적용부86: gamma curve application
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070112309A KR100997203B1 (en) | 2007-11-05 | 2007-11-05 | Image processing apparatus and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070112309A KR100997203B1 (en) | 2007-11-05 | 2007-11-05 | Image processing apparatus and method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070062099A Division KR101023944B1 (en) | 2007-06-25 | 2007-06-25 | Image processing apparatus and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080114463A KR20080114463A (en) | 2008-12-31 |
KR100997203B1 true KR100997203B1 (en) | 2010-11-29 |
Family
ID=40371550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070112309A KR100997203B1 (en) | 2007-11-05 | 2007-11-05 | Image processing apparatus and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100997203B1 (en) |
-
2007
- 2007-11-05 KR KR1020070112309A patent/KR100997203B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20080114463A (en) | 2008-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101023944B1 (en) | Image processing apparatus and method thereof | |
EP2987135B1 (en) | Reference image selection for motion ghost filtering | |
US9681026B2 (en) | System and method for lens shading compensation | |
US8982232B2 (en) | Image processing apparatus and image processing method | |
TWI542224B (en) | Image signal processing method and image signal processor | |
JP6415062B2 (en) | Image processing apparatus, image processing method, control program, and recording medium | |
JP2011010108A (en) | Imaging control apparatus, imaging apparatus, and imaging control method | |
US10382671B2 (en) | Image processing apparatus, image processing method, and recording medium | |
US9589339B2 (en) | Image processing apparatus and control method therefor | |
US20220101503A1 (en) | Method and apparatus for combining low-dynamic range images to a single image | |
JP2015186247A (en) | Image processing system, control method, and program | |
US20140028879A1 (en) | Image processing device, image processing method, and solid-state imaging device | |
CN114418879A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
CN114584700A (en) | Focusing marking method, marking device and electronic equipment | |
US20220021800A1 (en) | Image capturing apparatus, method of controlling image capturing apparatus, and storage medium | |
JP2011100204A (en) | Image processor, image processing method, image processing program, imaging apparatus, and electronic device | |
US8982244B2 (en) | Image capturing apparatus for luminance correction, a control method therefor, and a recording medium | |
US20130129212A1 (en) | Method for reducing image artifacts produced by a cmos camera | |
US11563898B2 (en) | Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion | |
CN111147924A (en) | Video enhancement processing method and system | |
KR100997203B1 (en) | Image processing apparatus and method thereof | |
KR100958175B1 (en) | Image processing apparatus and method thereof | |
JP5631153B2 (en) | Image processing apparatus, control method, and program | |
US11696044B2 (en) | Image capturing apparatus, control method, and storage medium | |
JP2023144442A (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20131101 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |