KR101878817B1 - Image enhancement method and apparatus - Google Patents

Image enhancement method and apparatus Download PDF

Info

Publication number
KR101878817B1
KR101878817B1 KR1020160148717A KR20160148717A KR101878817B1 KR 101878817 B1 KR101878817 B1 KR 101878817B1 KR 1020160148717 A KR1020160148717 A KR 1020160148717A KR 20160148717 A KR20160148717 A KR 20160148717A KR 101878817 B1 KR101878817 B1 KR 101878817B1
Authority
KR
South Korea
Prior art keywords
component
reflection component
pixel
reflection
gain
Prior art date
Application number
KR1020160148717A
Other languages
Korean (ko)
Other versions
KR20180051856A (en
Inventor
홍민철
오종근
Original Assignee
숭실대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교 산학협력단 filed Critical 숭실대학교 산학협력단
Priority to KR1020160148717A priority Critical patent/KR101878817B1/en
Publication of KR20180051856A publication Critical patent/KR20180051856A/en
Application granted granted Critical
Publication of KR101878817B1 publication Critical patent/KR101878817B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

영상 개선 방법 및 그 장치가 개시된다. 영상 개선 방법은 (a) 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 단계; (b) 상기 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 단계; (c) 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하는 단계; (d) 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하는 단계; (e) 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 단계; 및 (f) 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 단계를 포함한다.An image enhancement method and apparatus therefor are disclosed. The image enhancement method includes the steps of (a) estimating a reflection component for each pixel using a luminance component of an input image; (b) calculating reflection component asymmetry and luminance component asymmetry using the predicted reflection component of each pixel and the luminance component of each pixel; (c) calculating a parameter using the luminance component asymmetry; (d) calculating a gain and an offset of the reflection component using the reflection component asymmetry; (e) correcting the predicted reflection component for each pixel using the parameter, the gain and the offset of the reflection component; And (f) correcting the luminance component of each pixel using the corrected reflection component of each pixel.

Description

영상 개선 방법 및 그 장치{Image enhancement method and apparatus}[0001] Image enhancement method and apparatus [0002]

본 발명은 영상 개선 방법 및 그 장치에 관한 것이다.The present invention relates to an image enhancement method and apparatus therefor.

영상 획득 디바이스의 고성능화 및 소형화로 인해 모바일 기기를 포함한 다양한 응용 분야에서 영상 정보가 활용되고 있다. 특히, 영상 인식 및 영상 기반 보안 시스템 등의 응용 시스템을 위해 의미 있는 영상 정보의 획득, 표현 및 처리는 매우 중요한 연구 분야로 인식되어 왔다. 그러나 영상 획득 과정에서 환경의 영향으로 인한 영상 왜곡은 응용 시스템의 성능 저하를 발생시키는 주요 원인이 된다.Due to the high performance and miniaturization of image acquisition devices, image information is being utilized in various applications including mobile devices. Particularly, acquisition, representation and processing of meaningful image information for application systems such as image recognition and image based security system have been recognized as very important research fields. However, image distortion due to environmental influences during image acquisition is a major cause of deterioration of application system performance.

조도량의 부족은 외부 환경에 의한 영상 왜곡의 대표적인 원인으로서, 상기 문제를 해결하기 위해 많은 연구가 진행되어 왔다. 대표적인 방식으로는 히스토그램 평활화(histogram equalization), 자동 노출 조정(auto exposure correction), 감마 조정(gamma correction) 등이 활용되어 왔으나 저연산량의 이점에도 불구하고 성능 개선의 한계점을 갖고 있다.The lack of illumination is a major cause of image distortion caused by the external environment, and a lot of research has been conducted to solve the above problem. Histogram equalization, auto exposure correction, and gamma correction have been used as representative methods, but they have limitations in performance improvement in spite of the advantages of low computational complexity.

저조도 및 역광 현상 문제를 해결하기 위해 인간 시각 모델에 대한 연구가 진행되어 왔으며, 인간의 시각 모델은 물체의 반사를 통해서 들어오는 반사(reflectance) 성분과 광원을 통하여 들어오는 조명(illuminance) 성분으로 표현될 수 있음이 실험적으로 입증되었다. 더불어, 이와 같은 시각 모델과 인간의 지각 모델인 Werber-Fachner Law를 바탕으로 SSR(Single Scale Retinex) 방식이 발표되었다. SSR 방식은 관측 영상의 반사 성분을 예측 및 보정하여 저조도 영상을 효과적으로 개선할 수 있으나, 색차 왜곡, 필터 의존성 및 후광 현상 등의 문제점이 존재한다.The human visual model has been studied to solve low light and back light phenomenon. The human visual model can be expressed by the reflection component coming in through the reflection of the object and the illuminant component coming in through the light source. Has been experimentally proven. In addition, SSR (Single Scale Retinex) method has been introduced based on Werber-Fachner Law, which is a human perception model. The SSR method can effectively improve the low-illuminance image by predicting and correcting the reflection component of the observation image, but there are problems such as color difference distortion, filter dependency, and halo phenomenon.

이와 같은 문제점을 해결하기 위해 다수의 가우시안 필터를 기반으로 하는 MSR(Multi Scale Retinex) 및 MSR 방식에서 색차 보정 과정이 추가된 MSRCR(Multi Scale Retienx with Color Restoration) 방식이 제안되었다. 또한, 반사 성분 예측 과정에 random spray 모델을 적용한 RSR(Random Spray Retinex) 등의 방식들이 제안되었다. 그러나 상기 방식들의 성능은 각 색신호 성분에 대해 독립적인 처리를 수행하며, 반사 성분 예측에 적용되는 가우시안 필터의 표준 편차 및 필터 윈도우 크기에 따라 성능 편차가 큰 문제점이 있다. In order to solve such problems, a Multi Scale Retinex (MSR) method based on a plurality of Gaussian filters and a Multi Scale Retinx with Color Restoration (MSRCR) method in which a color difference correction process is added in the MSR method have been proposed. In addition, methods such as RSR (Random Spray Retinex) applying a random spray model to the prediction process of reflection components have been proposed. However, the performance of the above methods is independent of each color signal component, and there is a problem that the performance variation is large according to the standard deviation of the Gaussian filter applied to the reflection component prediction and the filter window size.

이와 같은 문제를 해결하기 위한 방안으로 AMSR(Adaptive Muti Scale Retinex) 방식이 제안되었다. 이러한 방식은 YCbCr 영역에서 휘도(luminance) 성분에 대해서 MSR 방식을 적용하여 입력 영상에 대한 적응성을 향상시키고자 하였다. 휘도 채널을 통하여 반사 성분을 예측 및 보정하고, 보정된 반사 성분을 이용하여 휘도 및 밝기 정보를 보정하는 과정으로 구성되어 있다. 상기 방식은 연산 속도 향상의 이점이 있으나 광원 색도의 왜곡 성분을 제거하는데 한계가 있으며, 이로 인해 채도성분에 대한 표현이 자연스럽지 못한 단점이 있다.To solve this problem, Adaptive Muti Scale Retinex (AMSR) has been proposed. In this method, the adaptation to the input image is improved by applying the MSR method to the luminance component in the YCbCr region. Estimating and correcting the reflection component through the luminance channel, and correcting the luminance and brightness information using the corrected reflection component. Although this method has the advantage of improving the computation speed, there is a limitation in removing the distortion component of the chromaticity of the light source, which has a disadvantage that the representation of the chroma component is not natural.

상기와 같이 기존 레티넥스 방식들은 조도에 의한 왜곡 정도를 반영하기 위한 매개 변수의 부족으로 인해 가우시안 필터의 표준편차 선택에 의한 성능의 민감성, 복원 영상의 색신호 성분 왜곡 및 신호 분포 특성의 손실 등의 문제점을 갖고 있다.As described above, existing Retinex systems suffer from problems such as sensitivity of performance due to selection of standard deviation of Gaussian filter, distortion of color signal component of reconstructed image and loss of signal distribution characteristic due to lack of parameters for reflecting the degree of distortion due to illumination Lt; / RTI >

본 발명은 영상의 저조도 영역을 개선할 수 있는 영상 개선 방법 및 그 장치를 제공하기 위한 것이다.The present invention provides an image enhancement method and apparatus that can improve a low-illuminance region of an image.

또한, 본 발명은 레티넥스 방식을 기반으로 하는 변형 특성을 활용하여 영상의 조도를 개선할 수 있는 영상 개선 방법 및 그 장치를 제공하기 위한 것이다.It is another object of the present invention to provide an image enhancement method and apparatus that can improve the illuminance of an image by utilizing deformation characteristics based on the Retinex method.

또한, 본 발명은 영상 내에서 조명 성분을 예측하고, 예측된 조명 성분을 제거하여 얻어진 반사 성분을 구하고, 영상의 전역 통계특성 중 하나인 변형 특성(Skewness)를 이용하여 반사 성분 왜곡을 예측하여 적응적으로 보정함으로써 조도를 개선할 수 있는 영상 개선 방법 및 그 장치를 제공하기 위한 것이다. In addition, the present invention predicts an illumination component in an image, obtains a reflection component obtained by eliminating the predicted illumination component, predicts a reflection component distortion by using a skewness, which is one of global statistical characteristics of the image, The present invention provides an image enhancement method and apparatus capable of improving illumination by correcting illumination intensity.

본 발명의 일 측면에 따르면 영상의 저조도 영역을 개선할 수 있는 영상 개선 방법이 제공된다.According to an aspect of the present invention, there is provided an image enhancement method capable of improving a low-illuminance region of an image.

본 발명의 일 실시예에 따르면, (a) 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 단계; (b) 상기 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 단계; (c) 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하는 단계; (d) 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하는 단계; (e) 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 단계; 및 (f) 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 단계를 포함하는 영상 개선 방법이 제공될 수 있다. According to an embodiment of the present invention, there is provided a method of generating an image, comprising: (a) predicting a reflection component for each pixel using a luminance component of an input image; (b) calculating reflection component asymmetry and luminance component asymmetry using the predicted reflection component of each pixel and the luminance component of each pixel; (c) calculating a parameter using the luminance component asymmetry; (d) calculating a gain and an offset of the reflection component using the reflection component asymmetry; (e) correcting the predicted reflection component for each pixel using the parameter, the gain and the offset of the reflection component; And (f) correcting the luminance component of each pixel using the corrected reflection component of each pixel.

상기 각 픽셀의 휘도 성분을 보정하는 단계 이후에, 상기 각 픽셀의 휘도 성분과 보정된 휘도 성분을 이용하여 상기 각 픽셀의 휘도 성분의 이득을 계산하는 단계; 및 상기 각 픽셀의 휘도 성분의 이득을 반영하여 상기 각 픽셀의 색차 성분을 보정하는 단계를 더 포함할 수 있다. Calculating a gain of a luminance component of each pixel by using a luminance component and a corrected luminance component of each pixel after correcting the luminance component of each pixel; And correcting the chrominance component of each pixel by reflecting the gain of the luminance component of each pixel.

상기 (b) 단계는, 상기 각 픽셀에 대해 상기 예측된 반사 성분의 평균값 및 표준편차값을 각각 계산하는 단계; 상기 각 픽셀에 대해 예측된 반사 성분, 상기 예측된 반사 성분의 평균값 및 상기 표준편차값을 이용하여 상기 반사 성분 비대칭도를 계산하는 단계; 상기 각 픽셀의 휘도 성분에 대한 평균값 및 표준편차값을 각각 계산하는 단계; 및 상기 각 픽셀에 대한 휘도 성분의 값, 상기 휘도 성분에 대한 평균값 및 상기 표준편차값을 이용하여 상기 휘도 성분 비대칭도를 계산하는 단계를 포함할 수 있다. The step (b) may include: calculating an average value and a standard deviation value of the predicted reflection component for each pixel; Calculating the reflection component asymmetry using a predicted reflection component for each pixel, an average value of the predicted reflection component, and the standard deviation value; Calculating an average value and a standard deviation value for the luminance component of each pixel; And calculating the brightness component asymmetry using the brightness component value for each pixel, the average value for the brightness component, and the standard deviation value.

상기 (d) 단계는, 상기 반사 성분의 이득이 상기 반사 성분의 오프셋보다 작도록 상기 반사 성분의 이득과 상기 반사 성분의 오프셋이 계산될 수 있다. The step (d) may calculate an offset of the reflection component and a gain of the reflection component such that a gain of the reflection component is smaller than an offset of the reflection component.

상기 (d) 단계는, 상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다. In the step (d), when the input image is a low-illuminance image, the absolute value of the difference between the average value of the predicted reflection component and the gain of the reflection component is an offset of the average value of the predicted reflection component and the reflection component The gain and offset of the reflection component can be calculated to be less than the absolute value of the difference value of the reflection component.

상기 (d) 단계는, 상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다.If the input image is a high-contrast image, the absolute value of the difference between the average value of the predicted reflection component and the gain of the reflection component is calculated as the average of the predicted reflection component and the reflection component The gain and offset of the reflection component can be calculated to be greater than the absolute value of the offset difference value.

상기 (d) 단계는, 상기 반사 성분의 이득과 오프셋은 하기 수학식을 이용하여 계산되되, In the step (d), the gain and offset of the reflection component are calculated using the following equation,

Figure 112016109494334-pat00001
Figure 112016109494334-pat00001

여기서,

Figure 112016109494334-pat00002
는 각 픽셀에 대해 예측된 반사 성분의 평균값을 나타내고,
Figure 112016109494334-pat00003
는 각 픽셀에 대해 예측된 반사 성분의 표준편차값을 나타내며,
Figure 112016109494334-pat00004
는 이득과 오프셋을 위한 보정 상수를 나타내며,
Figure 112016109494334-pat00005
는 비대칭도 보정 상수를 나타내고,
Figure 112016109494334-pat00006
는 반사 성분 비대칭도를 나타낸다. here,
Figure 112016109494334-pat00002
Represents an average value of the reflection components predicted for each pixel,
Figure 112016109494334-pat00003
Represents the standard deviation value of the reflection component predicted for each pixel,
Figure 112016109494334-pat00004
Represents a correction constant for gain and offset,
Figure 112016109494334-pat00005
Represents an asymmetry correction constant,
Figure 112016109494334-pat00006
Represents the reflection component asymmetry.

상기 매개변수는 하기 수학식을 이용하여 계산되되,The parameter is calculated using the following equation,

Figure 112016109494334-pat00007
Figure 112016109494334-pat00007

여기서,

Figure 112016109494334-pat00008
는 비대칭도 보정 상수를 나타내고,
Figure 112016109494334-pat00009
는 휘도 성분 비대칭도를 나타낸다. here,
Figure 112016109494334-pat00008
Represents an asymmetry correction constant,
Figure 112016109494334-pat00009
Represents the luminance component asymmetry.

상기 각 픽셀의 휘도 성분의 이득은 하기 수학식을 이용하여 계산되되, The gain of the luminance component of each pixel is calculated using the following equation,

Figure 112016109494334-pat00010
Figure 112016109494334-pat00010

여기서,

Figure 112016109494334-pat00011
는 각 픽셀에 대해 보정된 휘도 성분을 나타내고,
Figure 112016109494334-pat00012
는 각 픽셀의 휘도 성분을 나타내며,
Figure 112016109494334-pat00013
는 색차 성분 보정 상수를 나타낸다.here,
Figure 112016109494334-pat00011
Represents the corrected luminance component for each pixel,
Figure 112016109494334-pat00012
Represents a luminance component of each pixel,
Figure 112016109494334-pat00013
Represents a chrominance component correction constant.

본 발명의 다른 측면에 따르면, 영상의 저조도 영역을 개선할 수 있는 영상 개선 장치가 제공된다.According to another aspect of the present invention, there is provided an image enhancement apparatus capable of improving a low-illuminance region of an image.

본 발명의 일 실시예에 따르면, 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 반사 성분 예측부; 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 비대칭도 계산부; 상기 휘도 성분 비대칭도 및 상기 반사 성분 비대칭도를 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 반사 성분 보정부; 및 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 휘도 성분 보정부를 포함하는 영상 개선 장치가 제공될 수 있다. According to an embodiment of the present invention, there is provided an image processing apparatus including: a reflection component predicting unit that predicts a reflection component for each pixel using a luminance component of an input image; An asymmetry degree calculator for calculating a reflection component asymmetry and a luminance component asymmetry using the predicted reflection component of each pixel and the luminance component of each pixel; A reflection component correcting unit for correcting the predicted reflection component for each pixel using the luminance component asymmetry and the reflection component asymmetry; And a luminance component correcting unit for correcting the luminance component of each pixel using the corrected reflection component of each pixel.

상기 각 픽셀의 휘도 성분 및 상기 보정된 휘도 성분을 이용하여 각 픽셀의 색차 성분을 보정하는 색차 성분 보정부를 더 포함할 수 있다.And a chrominance component correcting unit for correcting chrominance components of each pixel using the luminance components of the pixels and the corrected luminance components.

상기 반사 성분 보정부는, 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하고, 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하며, 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정할 수 있다.Wherein the reflection component correction unit calculates a parameter using the luminance component asymmetry and calculates a gain and an offset of the reflection component using the reflection component asymmetry, and calculates a gain and an offset of the reflection component, Can be used to correct the predicted reflection component for each pixel.

상기 반사 성분 보정부는, 상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다.Wherein when the input image is a low-illuminance image, the reflection component correction unit corrects the reflection component of the input image based on the average of the predicted reflection component and the difference of the gain of the reflection component, The gain and offset of the reflection component can be calculated to be less than the absolute value of the difference value.

상기 반사 성분 보정부는, 상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산될 수 있다.Wherein when the input image is a high-contrast image, the reflection component correction unit corrects the reflection component of the input image based on an average value of the predicted reflection component and an offset value of the reflection component, The gain and offset of the reflection component can be calculated to be greater than the absolute value of the difference value of the reflection component.

본 발명의 일 실시예에 따른 영상 개선 방법 및 그 장치를 제공함으로써, 영상의 저조도 영역을 개선할 수 있다.By providing the image enhancement method and apparatus according to an embodiment of the present invention, it is possible to improve the low-illuminance region of the image.

또한, 본 발명은 레티넥스 방식을 기반으로 하는 변형 특성을 활용하여 영상의 조도를 개선할 수 있다.Further, the present invention can improve the illuminance of the image by utilizing the deformation characteristics based on the Retinex method.

또한, 본 발명은 영상 내에서 조명 성분을 예측하고, 예측된 조명 성분을 제거하여 얻어진 반사 성분을 구하고, 영상의 전역 통계특성 중 하나인 변형 특성(Skewness)를 이용하여 반사 성분 왜곡을 예측하여 적응적으로 보정함으로써 조도를 개선할 수 있다. In addition, the present invention predicts an illumination component in an image, obtains a reflection component obtained by eliminating the predicted illumination component, predicts a reflection component distortion by using a skewness, which is one of global statistical characteristics of the image, It is possible to improve the illuminance by correcting it.

도 1은 본 발명의 일 실시예에 따른 영상 개선 방법을 나타낸 순서도.
도 2 및 도 3은 종래와 본 발명의 일 실시예에 따른 영상 저조도 개선 방법에 대한 CPP(Contrast Per Pixel) 및 연산량 성능을 비교한 표.
도 4 내지 도 7을 통해 종래와 본 발명의 일 실시예에 따른 시각적 성능 비교를 도시한 결과.
도 8은 본 발명의 일 실시예에 따른 영상 개선 장치의 내부 구성을 나타낸 블록도.
도 9는 본 발명의 일 실시예에 따른 비선형 사상 함수에 사용되는 매개면수

Figure 112016109494334-pat00014
에 따른 개선된 반사 성분의 결과 그래프.1 is a flowchart illustrating an image enhancement method according to an exemplary embodiment of the present invention;
FIGS. 2 and 3 are tables comparing contrast per pixel (CPP) and computation performance for a conventional image degradation improvement method according to an exemplary embodiment of the present invention.
4 to 7 show results of visual performance comparison according to one embodiment of the present invention.
8 is a block diagram illustrating an internal configuration of an image enhancement apparatus according to an embodiment of the present invention.
9 is a graph showing the number of parameters used in the nonlinear mapping function according to an embodiment of the present invention
Figure 112016109494334-pat00014
≪ / RTI >

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms " comprising ", or " comprising " and the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps. Also, the terms " part, " " module, " and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 개선 방법을 나타낸 순서도이다. 1 is a flowchart illustrating an image enhancement method according to an embodiment of the present invention.

단계 110에서 영상 개선 장치(100)는 영상(편의상 입력 영상이라 칭하기로 함)을 입력받는다. 여기서, 입력 영상은 RGB 형태일 수 있다. In operation 110, the image enhancement apparatus 100 receives an image (for convenience sake, referred to as an input image). Here, the input image may be in RGB form.

레티넥스 기반 영상 개선 방법은 영상의 휘도 성분을 통해 반사 성분을 예측하고, 예측된 반사 성분의 보정 과정을 통해 휘도 성분을 보정하는 방식이다.The Retinex-based image enhancement method is a method of predicting a reflection component through a luminance component of an image and correcting a luminance component through a correction process of a predicted reflection component.

따라서, 단계 115에서 영상 개선 장치(100)는 입력 영상의 색공간을　YCbCr 형태로 변환한다. Accordingly, in step 115, the image enhancement apparatus 100 converts the color space of the input image into the YCbCr format.

단계 120에서 영상 개선 장치(100)는 색공간이 변환된 영상의 각 픽셀의 휘도 성분(Y)을 이용하여 각 픽셀의 반사 성분을 예측한다. In operation 120, the image enhancement apparatus 100 predicts the reflection component of each pixel using the luminance component Y of each pixel of the color-space-converted image.

예를 들어, 영상의 각 채널에 N개의 center/surround 가우시안 필터를 적용하고, 각 결과에 가중치를 적용함으로써 각 픽셀에 대한 반사 성분을 예측할 수 있다.For example, by applying N center / surround Gaussian filters to each channel of an image and applying weights to each result, the reflection component for each pixel can be predicted.

영상 개선 장치(100)는 수학식 1을 이용하여 각 픽셀에 대한 반사 성분을 예측할 수 있다. The image enhancement apparatus 100 can estimate the reflection component for each pixel using Equation (1).

Figure 112016109494334-pat00015
Figure 112016109494334-pat00015

여기서, G는 가우시안 저주파 통과 필터를 나타내고,

Figure 112016109494334-pat00016
는 컨볼루션(convolution) 연산자를 나타낸다.
Figure 112016109494334-pat00017
는 가중치를 나타낸다. Here, G represents a Gaussian low-pass filter,
Figure 112016109494334-pat00016
Represents a convolution operator.
Figure 112016109494334-pat00017
Represents a weight.

또한,

Figure 112016109494334-pat00018
로, K 및 c는 정규화 상수 및 표준편차를 나타내며, S는 가우시안 필터를 적용하는 2차원 윈도우 영역을 나타낸다.Also,
Figure 112016109494334-pat00018
, K and c denote a normalization constant and a standard deviation, and S denotes a two-dimensional window region to which a Gaussian filter is applied.

단계 125에서 영상 개선 장치(100)는 각 픽셀에 대해 예측된 반사 성분을 이용하여 반사 성분 비대칭도를 계산하고, 각 픽셀에 대한 휘도 성분을 이용하여 휘도 성분 비대칭도를 각각 계산한다. In step 125, the image enhancement apparatus 100 calculates the reflection component asymmetry using the predicted reflection component for each pixel, and calculates the luminance component asymmetry using the luminance component for each pixel.

예를 들어, 영상 개선 장치(100)는 반사 성분 비대칭도와 휘도 성분 비대칭도를 하기 수학식 2를 이용하여 계산할 수 있다. For example, the image enhancement apparatus 100 may calculate reflection component asymmetry and luminance component asymmetry using the following equation (2).

Figure 112016109494334-pat00019
Figure 112016109494334-pat00019

여기서,

Figure 112016109494334-pat00020
는 휘도 성분의 비대칭도를 나타내고,
Figure 112016109494334-pat00021
는 반사 성분에 대한 비대칭도를 나타낸다. here,
Figure 112016109494334-pat00020
Represents the asymmetry of the luminance component,
Figure 112016109494334-pat00021
Represents the asymmetry of the reflection component.

또한,

Figure 112016109494334-pat00022
는 각 픽셀에 대한 휘도 성분의 평균값을 나타내고,
Figure 112016109494334-pat00023
는 각 픽셀에 대한 휘도 성분의 표준편차값을 나타내고,
Figure 112016109494334-pat00024
는 각 픽셀에 대해 예측된 반사 성분의 평균값을 나타내고,
Figure 112016109494334-pat00025
는 각 픽셀에 대해 예측된 반사 성분의 표준편차값을 나타낸다. Also,
Figure 112016109494334-pat00022
Represents an average value of luminance components for each pixel,
Figure 112016109494334-pat00023
Represents the standard deviation value of the luminance component for each pixel,
Figure 112016109494334-pat00024
Represents an average value of the reflection components predicted for each pixel,
Figure 112016109494334-pat00025
Represents the standard deviation value of the reflection component predicted for each pixel.

각 픽셀의 휘도 성분 및 각 픽셀에 대해 예측된 반사 성분의 분포가 평균값을 기준으로 좌우 대칭인 경우 비대칭도는 "0"이 된다. The asymmetry becomes " 0 " when the luminance component of each pixel and the distribution of the reflection component predicted for each pixel are symmetrical with respect to the average value.

그러나, 각 픽셀의 휘도 성분 및 각 픽셀에 대해 예측된 반사 성분의 분포가 평균값을 기준으로 좌측으로 밀집될수록 비대칭도는 커지게 된다.However, the asymmetry becomes larger as the luminance component of each pixel and the distribution of the reflection component predicted for each pixel become closer to the left based on the average value.

조도양이 작아짐에 따라 각 픽셀의 휘도 성분 및 해당 휘도 성분으로부터 예측된 반사 성분의 왜곡이 존재하게 된다.As the illumination amount becomes smaller, the luminance component of each pixel and the distortion component of the reflection component predicted from the luminance component exist.

따라서, 왜곡된 휘도 성분 및 반사 성분의 왜곡 특성을 보정하기 위한 매개 변수가 필요하다. Therefore, a parameter for correcting the distortion characteristic of the distorted luminance component and the reflection component is required.

이를 위해, 단계 130에서 영상 개선 장치(100)는 휘도 성분 비대칭도를 이용하여 매개 변수를 계산한다. To this end, in step 130, the image enhancement apparatus 100 calculates a parameter using the luminance component asymmetry.

영상 개선 장치(100)는 수학식 3를 이용하여 매개 변수를 계산할 수 있다. The image enhancement apparatus 100 can calculate the parameters using Equation (3).

Figure 112016109494334-pat00026
Figure 112016109494334-pat00026

여기서,

Figure 112016109494334-pat00027
는 비대칭도 보정 상수를 나타낸다. here,
Figure 112016109494334-pat00027
Represents an asymmetry correction constant.

휘도양이 작을수록 휘도 성분에 대한 비대칭도(

Figure 112016109494334-pat00028
)는 큰 값을 가지고 되고, 매개변수(
Figure 112016109494334-pat00029
)도 비례하여 큰 값을 가지게 된다. 반면, 휘도양이 커질수록 매개변수(
Figure 112016109494334-pat00030
)는 작은 값을 갖게 된다. As the amount of luminance is smaller, the asymmetry of the luminance component (
Figure 112016109494334-pat00028
) Has a large value, and the parameter (
Figure 112016109494334-pat00029
) Also have a large value in proportion. On the other hand, as the amount of luminance increases,
Figure 112016109494334-pat00030
) Has a small value.

대조비 개선이 효과적이기 위해서는 반사 성분 보정 함수는 휘도 성분 비대칭도가 클수록 반사 성분의 표현 영역을 확장하고, 휘도 성분 비대칭도가 작을수록 반사 성분의 표현 영역을 축소하는 특성을 지녀야 한다. In order for the contrast ratio improvement to be effective, the reflection component correction function should have the property of expanding the expression region of the reflection component as the luminance component asymmetry becomes larger and reducing the expression region of the reflection component as the luminance component asymmetry becomes smaller.

따라서, 이와 같은 특성을 반영하기 위해 매개 변수를 이용하여 각 픽셀에 대한 예측된 반사 성분을 보정해야 한다. Therefore, in order to reflect such a characteristic, it is necessary to correct the predicted reflection component for each pixel by using a parameter.

이를 위해, 단계 135에서 영상 개선 장치(100)는 반사 성분 비대칭도를 이용하여 반사 성분 이득 및 오프셋을 계산한다.To this end, in a step 135, the image enhancement apparatus 100 calculates reflection component gains and offsets using the reflection component asymmetry.

각 픽셀의 예측된 반사 성분은 조도양에 따라 왜곡 성분을 포함할 수 있다. 이로 인해, 각 픽셀의 예측된 반사 성분은 비대칭적인 분포 특성을 갖고 있다.The predicted reflection component of each pixel may include a distortion component depending on the amount of illumination. As a result, the predicted reflection component of each pixel has an asymmetric distribution characteristic.

따라서, 영상 개선 장치(100)는 반사 성분 비대칭도, 각 픽셀에 대해 예측된 반사 성분의 평균값 및 표준편차값을 이용하여 반사 성분의 이득과 오프셋을 각각 계산할 수 있다.Accordingly, the image enhancement apparatus 100 can calculate the gains and offsets of the reflection components using the reflection component asymmetry degree, the average value and the standard deviation value of the reflection component predicted for each pixel.

이를 수학식으로 나타내면, 수학식 4와 같다. This can be expressed by the following equation (4).

Figure 112016109494334-pat00031
Figure 112016109494334-pat00031

여기서, T는 이득 및 오프셋을 위한 보정 상수를 나타낸다.

Figure 112016109494334-pat00032
조건을 만족하기 위해서는 T>0인 상수로 정의되어야 한다.Where T denotes a correction constant for gain and offset.
Figure 112016109494334-pat00032
To satisfy the condition, it must be defined as a constant T> 0.

반사 성분 이득 및 오프셋은 다음과 같은 특성을 가지도록 계산되어야 한다.The reflection component gain and offset should be calculated to have the following characteristics.

저조도로 인해 반사 성분 비대칭도가 양의 값을 갖는 경우, 각 픽셀에 대해 예측된 반사 성분은 평균값보다 작은 영역에 밀집되어 있다. 따라서,

Figure 112016109494334-pat00033
로 설정하여 각 픽셀에 대해 예측된 반사 성분의 밀집도가 큰 영역은 각 픽셀에 대해 예측된 반사 성분의 좁은 영역을 반사 성분 보정 과정에 사용하고, 밀집도가 작은 영역은 각 픽셀의 예측된 반사 성분의 넓은 영역을 반사 성분 보정 과정에 사용함으로써, 밀집도에 따라 반사 성분 보정 과정에 사용하는 화소수의 균형을 유지하도록 할 수 있다.When the reflection component asymmetry has a positive value due to low light intensity, the reflection component predicted for each pixel is concentrated in a region smaller than the average value. therefore,
Figure 112016109494334-pat00033
An area having a large density of predicted reflection components for each pixel uses a narrow area of a predicted reflection component for each pixel for the reflection component correction process and a region having a small density has a predicted reflection component of each pixel By using a large area for the reflection component correction process, it is possible to maintain the balance of the number of pixels used in the reflection component correction process according to density.

반면에, 고조도 영상인 경우,

Figure 112016109494334-pat00034
로 설정하여 예측된 반사 성분의 밀집도에 따라 반사 성분 보정 과정에 사용하는 예측된 반사 성분의 값이 큰 영역과 작은 영역의 화소수의 균형을 유지하도록 할 수 있다.On the other hand, in the case of a high-
Figure 112016109494334-pat00034
It is possible to maintain a balance between the number of pixels of a large region and the number of pixels of a small region which are expected to be used for the reflection component correction process depending on the density of the predicted reflection component.

단계 140에서 영상 개선 장치(100)는 매개변수, 반사 성분의 이득과 오프셋을 이용하여 각 픽셀의 예측된 반사 성분을 보정한다.In step 140, the image enhancement apparatus 100 corrects the predicted reflection component of each pixel using the parameters, gain and offset of the reflection component.

예를 들어, 영상 개선 장치(100)는 수학식 5를 이용하여 각 픽셀에 대해 예측된 반사 성분을 보정할 수 있다.For example, the image enhancement apparatus 100 may correct the predicted reflection component for each pixel using Equation (5).

Figure 112016109494334-pat00035
Figure 112016109494334-pat00035

수학식 5에 의해 각 픽셀에 대해 예측된 반사 성분은 [0,1] 사이의 값으로 정규화될 수 있다. The reflection component predicted for each pixel by equation (5) can be normalized to a value between [0,1].

단계 145에서 영상 개선 장치(100)는 각 픽셀의 보정된 반사 성분을 이용하여 각 픽셀의 휘도 성분을 보정한다.In step 145, the image enhancement apparatus 100 corrects the luminance component of each pixel using the corrected reflection component of each pixel.

예를 들어, 영상 개선 장치(100)는 하기 수학식 6을 이용하여 각 픽셀의 휘도 성분을 보정할 수 있다.For example, the image enhancement apparatus 100 may correct the luminance component of each pixel using Equation (6).

Figure 112016109494334-pat00036
Figure 112016109494334-pat00036

단계 150에서 영상 개선 장치(100)는 각 픽셀의 휘도 성분의 값 및 보정된 휘도 성분의 값을 이용하여 휘도 성분의 이득을 계산한다.In operation 150, the image enhancement apparatus 100 calculates the gain of the luminance component using the values of the luminance component and the corrected luminance component of each pixel.

본 발명의 일 실시예에서는 휘도 성분과 색차 신호의 상관성 유지 및 연산량의 절감을 위해, 휘도 성분의 이득을 이용하여 색차 성분 보정에 이용할 수 있다. 이를 위해, 영상 개선 장치(100)는 하기 수학식 7을 이용하여 각 픽셀의 휘도 성분의 이득을 계산할 수 있다.In an embodiment of the present invention, in order to maintain the correlation between the luminance component and the color difference signal and to reduce the amount of computation, the gain of the luminance component can be used for chrominance component correction. To this end, the image enhancement apparatus 100 may calculate the gain of the luminance component of each pixel using Equation (7).

Figure 112016109494334-pat00037
Figure 112016109494334-pat00037

여기서,

Figure 112016109494334-pat00038
는 색차 성분 보정 상수를 나타낸다.
Figure 112016109494334-pat00039
가 커질수록 색차 성분 포화 현상이 발생한다. here,
Figure 112016109494334-pat00038
Represents a chrominance component correction constant.
Figure 112016109494334-pat00039
The saturation phenomenon of chrominance components occurs.

따라서, 본 발명의 일 실시예에서는

Figure 112016109494334-pat00040
에서 색차 성분 보정을 수행할 수 있다.Thus, in one embodiment of the present invention
Figure 112016109494334-pat00040
The chrominance component correction can be performed.

단계 155에서 영상 개선 장치(100)는 각 픽셀에 대한 휘도 성분 이득을 이용하여 각 픽셀의 색차 성분을 각각 보정한다. In operation 155, the image enhancement apparatus 100 corrects the chrominance components of each pixel using the luminance component gains for the respective pixels.

이를 수학식으로 나타내면, 수학식 8과 같다.This can be expressed by the following equation (8).

Figure 112016109494334-pat00041
Figure 112016109494334-pat00041

단계 160에서 영상 개선 장치(100)는 색공간을 RGB 형식으로 변환한다.In operation 160, the image enhancement apparatus 100 converts the color space into RGB format.

도 2 및 도 3은 종래와 본 발명의 일 실시예에 따른 영상 저조도 개선 방법에 대한 CPP(Contrast Per Pixel) 및 연산량 성능을 비교한 표이다. FIG. 2 and FIG. 3 are tables comparing contrast per pixel (CPP) and computation performance for a conventional image degradation improvement method according to an exemplary embodiment of the present invention.

U x V 크기의 영상에 대해 CPP는 수학식 9와 같이 기술된다.For an image of size U x V, the CPP is described as:

Figure 112016109494334-pat00042
Figure 112016109494334-pat00042

CPP는 주변 화소와의 변화 정도를 표현하는 지표이다. 도 2에서 보여지는 바와 같이, MSRCR 방식이 RSR 방식보다 CPP 측면에서 효과적인 것을 알 수 있으며, 본 발명의 일 실시예에 따른 저조도 영상 개선 방법이 종래의 기술보다 CPP 개선 효과가 우수함을 알 수 있다. 특히, 본 발명의 일 실시예에 따른 저조도 개선 방법은 저조도 영상 대비 평균 100%, MSRCR 대비 평균 37%, RSR 대비 75% CPP 개선 효과가 있음을 알 수 있다.CPP is an index expressing the degree of change with surrounding pixels. As shown in FIG. 2, it can be seen that the MSRCR method is more effective in terms of CPP than the RSR method, and the low-illuminance image improving method according to an embodiment of the present invention is superior to the conventional art in improving CPP. Particularly, it can be seen that the low-illuminance improvement method according to an embodiment of the present invention has an improvement of 100% on average, 37% on average of MSRCR and 75% on RSR compared to low-illuminance image.

도 3에서 보여지는 바와 같이, RSR 방식은 각 화소에 적용되는 random spray 필터 수 및 필터 윈도우 크기가 큰 관계로 가장 많은 연산량을 필요로 하며, MSRCR 방식은 각 채널의 독립적인 반사 성분 보정 과정으로 인해 본 발명의 일 실시예에 따른 저조도 영상 개선 방법에 비해 많은 연산량을 필요로 하는 것을 알 수 있다.As shown in FIG. 3, since the number of random spray filters and the size of the filter window applied to each pixel are large, the RSR method requires the largest amount of computation, and the MSRCR method requires independent reflection component correction for each channel It can be seen that a large amount of computation is required as compared with the low-illuminance image improving method according to the embodiment of the present invention.

또한, 본 발명의 일 실시예에 따른 저조도 영상 개선 방법은 휘도 성분만 비선형 함수를 이용하여 보정하고, 색 신호 성분은 휘도 성분의 이득을 이용한 관계로 연산량이 가장 낮음을 알 수 있다. 본 발명의 일 실시예에 따른 저조도 영상 개선 방법의 연산량은 MSRCR 방식의 평균 50%, RSR 방식의 평균 6%을 나타냄을 알 수 있다.In addition, in the low-illuminance image improving method according to an embodiment of the present invention, only the luminance component is corrected using a nonlinear function, and the color signal component has the lowest amount of calculation due to the use of the gain of the luminance component. It can be seen that the computation amount of the low-illuminance image improving method according to an embodiment of the present invention is 50% on average of the MSRCR method and 6% on the average of the RSR method.

도 4 내지 도 7을 통해 종래와 본 발명의 일 실시예에 따른 시각적 성능 비교를 도시한 결과이다. 도 4 내지 도 7에서 (a)는 저조도 영상, (b)는 MSRCR 방식을 이용한 결과 영상, (c)는 RSR 방식을 이용한 결과 영상을 나타내고, (d)는 본 발명의 일 실시예에 따른 저조도 영상 개선 방법에 따른 결과 영상을 나타낸다. FIG. 4 through FIG. 7 show the results of visual performance comparison according to an embodiment of the present invention. 4 to 7 show a low-illuminance image, (b) a result image using the MSRCR scheme, (c) a result image using the RSR scheme, and (d) And shows the result image according to the image enhancement method.

도 4 내지 도 7에서 보여지는 바와 같이, MSRCR 방식은 대조비 개선 측면에서는 효과적이지만, 저조도 영상의 비대칭성에 대한 고려 미흡하여 신호의 포화 현상 및 색신호 왜곡 현상이 존재함을 알 수 있다.As shown in FIG. 4 to FIG. 7, the MSRCR method is effective in terms of the improvement of the contrast ratio, but there is insufficient consideration of the asymmetry of the low-illuminance image, so that the signal saturation phenomenon and the color signal distortion phenomenon exist.

또한, RSR 방식은 색신호는 효과적으로 유지되었으나, 대조비 개선에 한계를 갖고 있음을 확인할 수 있었다. In addition, it was confirmed that the color signal was effectively maintained in the RSR method, but the improvement of the contrast ratio was limited.

반면에 본 발명의 일 실시예에 따른 저조도 영상 개선 방법은 영상들의 분포 특성을 효과적으로 반영하여 대조비 개선 및 색 신호 성분을 효과적으로 유지함을 확인할 수 있다.On the other hand, the low-illuminance image enhancement method according to an embodiment of the present invention effectively reflects the distribution characteristics of the images, thereby improving the contrast ratio and effectively maintaining the color signal components.

따라서, 도 2 내지 도 7에서 보여지는 바와 같이, 영상 조도양에 대한 사전 정보 없이 관측 영상 및 예측된 반사 성분의 비대칭성을 이용하여 대조비 개선, 색신호 보존 및 연산량 측면에서 종래에 비해 성능 개선이 효과적으로 이루어진 것을 알 수 있다. Therefore, as shown in FIG. 2 to FIG. 7, the improvement of the contrast ratio, the preservation of the color signal and the calculation amount can be effectively performed by using the asymmetry of the observation image and the predicted reflection component without prior information on the image illumination amount .

도 8은 본 발명의 일 실시예에 따른 영상 개선 장치의 내부 구성을 나타낸 블록도이다.8 is a block diagram illustrating an internal configuration of an image enhancement apparatus according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 개선 장치(100)는 입력부(810), 변환부(815), 반사 성분 예측부(820), 비대칭도 계산부(825), 반사 성분 보정부(830), 휘도 성분 보정부(835), 색차 성분 보정부(840), 메모리(845) 및 프로세서(850)를 포함하여 구성된다.8, an image enhancement apparatus 100 according to an exemplary embodiment of the present invention includes an input unit 810, a transform unit 815, a reflection component prediction unit 820, an asymmetry degree calculation unit 825, A correction unit 830, a luminance component correction unit 835, a color difference correction unit 840, a memory 845, and a processor 850.

입력부(810)는 영상을 입력받기 위한 수단이다. 여기서, 영상은 RGB 형태의 영상을 나타낸다. The input unit 810 is a means for receiving images. Here, the image represents an image of RGB type.

변환부(815)는 영상의 색공간을 변환하기 위한 수단이다. The converting unit 815 is means for converting the color space of the image.

변환부(815)는 RGB 형태의 영상을 YCbCr 형태로 변환한다. 또한, 변환부(815)는 조도 개선이 완료된 YCbCr 형태의 영상을 RGB 형태로 변환하는 기능을 한다. The conversion unit 815 converts the RGB type image into the YCbCr type image. In addition, the conversion unit 815 converts the YCbCr-type image, which has undergone illumination improvement, into RGB form.

반사 성분 예측부(820)는 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 기능을 한다. The reflection component prediction unit 820 predicts reflection components for each pixel using the luminance components of the input image.

비대칭도 계산부(825)는 각 픽셀의 예측된 반사 성분과 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 기능을 한다. The asymmetry degree calculator 825 calculates a reflection component asymmetry and a luminance component asymmetry using the predicted reflection component of each pixel and the luminance component of each pixel.

반사 성분 보정부(830)는 휘도 성분 비대칭도 및 반사 성분 비대칭도를 이용하여 각 픽셀에 대해 예측된 반사 성분을 보정하는 기능을 한다.The reflection component correcting unit 830 corrects the predicted reflection component for each pixel using the luminance component asymmetry and the reflection component asymmetry.

반사 성분 보정부(830)는 휘도 성분 비대칭도를 이용하여 매개변수를 계산하고, 반사 성분 비대칭도를 이용하여 반사 성분의 이득 및 오프셋을 계산한다. 또한, 반사 성분 보정부(830)는 매개 변수, 반사 성분의 이득과 오프셋을 이용하여 각 픽셀에 대해 예측된 반사 성분을 보정할 수 있다. The reflection component correcting unit 830 calculates a parameter using the luminance component asymmetry and calculates the gain and offset of the reflection component using the reflection component asymmetry. Also, the reflection component correcting unit 830 can correct the predicted reflection component for each pixel by using the parameters, the gains and the offsets of the reflection components.

휘도 성분 보정부(835)는 각 픽셀의 보정된 반사 성분을 이용하여 각 픽셀의 휘도 성분을 보정하는 기능을 한다.The luminance component correcting unit 835 corrects the luminance component of each pixel by using the corrected reflection component of each pixel.

색차 성분 보정부(840)는 각 픽셀의 휘도 성분 및 보정된 휘도 성분을 이용하여 각 픽셀의 색차 성분을 보정하는 기능을 한다. The chrominance component correcting unit 840 corrects the chrominance components of each pixel using the luminance component and the corrected luminance component of each pixel.

반사 성분 예측부(820), 비대칭도 계산부(825), 반사 성분 보정부(830), 휘도 성분 보정부(835), 색차 성분 보정부(840)의 각 기능은 도 1에서 상세히 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.The functions of the reflection component prediction unit 820, the asymmetry degree calculation unit 825, the reflection component correction unit 830, the luminance component correction unit 835 and the color difference component correction unit 840 are the same as those described in detail with reference to FIG. Therefore, redundant description will be omitted.

메모리(845)는 본 발명의 일 실시예에 따른 영상 개선 방법을 수행하기 위한 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.The memory 845 is a means for storing an algorithm for performing the image enhancement method according to an embodiment of the present invention, various data derived from the algorithm, and the like.

프로세서(850)는 본 발명의 일 실시예에 따른 영상 개선 장치(100)의 내부 구성 요소들(예를 들어, 입력부(810), 변환부(815), 반사 성분 예측부(820), 비대칭도 계산부(825), 반사 성분 보정부(830), 휘도 성분 보정부(835), 색차 성분 보정부(840), 메모리(845) 등)을 제어하는 기능을 한다. The processor 850 may include internal components (e.g., an input unit 810, a transform unit 815, a reflection component prediction unit 820, an asymmetry degree calculation unit 820, and an asymmetry degree calculation unit 820) of the image enhancement apparatus 100 according to an embodiment of the present invention. A reflection component correcting unit 830, a luminance component correcting unit 835, a color difference correcting unit 840, a memory 845, and the like).

도 9는 본 발명의 일 실시예에 따른 비선형 사상 함수에 사용되는 매개면수

Figure 112016109494334-pat00043
에 따른 개선된 반사 성분의 결과 그래프이다. 도 9를 참조하면,
Figure 112016109494334-pat00044
> 1 일 때 밝게 사상 되고, 0<
Figure 112016109494334-pat00045
< 1 일 때 어둡게 사상 됨을 알 수 있다.9 is a graph showing the number of parameters used in the nonlinear mapping function according to an embodiment of the present invention
Figure 112016109494334-pat00043
&Lt; / RTI &gt; 9,
Figure 112016109494334-pat00044
> 1, and 0 <
Figure 112016109494334-pat00045
1 &lt; / RTI &gt;

한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.On the other hand, the components of the above-described embodiment can be easily grasped from a process viewpoint. That is, each component can be identified as a respective process. Further, the process of the above-described embodiment can be easily grasped from the viewpoint of the components of the apparatus.

또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다. It will be apparent to those skilled in the art that various modifications, additions and substitutions are possible, without departing from the spirit and scope of the invention as defined by the appended claims. Should be regarded as belonging to the following claims.

100: 영상 개선 장치
810: 입력부
815: 변환부
820: 반사 성분 예측부
825: 비대칭도 계산부
830: 반사 성분 보정부
835: 휘도 성분 보정부
840: 색차 성분 보정부
845: 메모리
850: 프로세서100: Image enhancement device
810:
815:
820: Reflection component prediction unit
825: Asymmetry degree calculation unit
830:
835:
840: chrominance component correction unit
845: Memory
850: Processor

Claims (15)

(a) 입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 단계;
(b) 상기 각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 단계;
(c) 상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하는 단계;
(d) 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하는 단계;
(e) 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 단계; 및
(f) 상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 단계를 포함하는 영상 개선 방법.
(a) predicting a reflection component for each pixel using a luminance component of an input image;
(b) calculating reflection component asymmetry and luminance component asymmetry using the predicted reflection component of each pixel and the luminance component of each pixel;
(c) calculating a parameter using the luminance component asymmetry;
(d) calculating a gain and an offset of the reflection component using the reflection component asymmetry;
(e) correcting the predicted reflection component for each pixel using the parameter, the gain and the offset of the reflection component; And
(f) correcting the luminance component of each pixel using the corrected reflection component of each pixel.
제1 항에 있어서,
상기 각 픽셀의 휘도 성분을 보정하는 단계 이후에,
상기 각 픽셀의 휘도 성분과 보정된 휘도 성분을 이용하여 상기 각 픽셀의 휘도 성분의 이득을 계산하는 단계; 및
상기 각 픽셀의 휘도 성분의 이득을 반영하여 상기 각 픽셀의 색차 성분을 보정하는 단계를 더 포함하는 영상 개선 방법.
The method according to claim 1,
After the step of correcting the luminance component of each pixel,
Calculating a gain of a luminance component of each pixel using a luminance component and a corrected luminance component of each pixel; And
And correcting a chrominance component of each pixel by reflecting a gain of a luminance component of each pixel.
제1 항에 있어서, 상기 (b) 단계는,
상기 각 픽셀에 대해 상기 예측된 반사 성분의 평균값 및 표준편차값을 각각 계산하는 단계;
상기 각 픽셀에 대해 예측된 반사 성분, 상기 예측된 반사 성분의 평균값 및 상기 표준편차값을 이용하여 상기 반사 성분 비대칭도를 계산하는 단계;
상기 각 픽셀의 휘도 성분에 대한 평균값 및 표준편차값을 각각 계산하는 단계; 및
상기 각 픽셀에 대한 휘도 성분의 값, 상기 휘도 성분에 대한 평균값 및 상기 표준편차값을 이용하여 상기 휘도 성분 비대칭도를 계산하는 단계를 포함하는 것을 특징으로 하는 영상 개선 방법.
The method of claim 1, wherein the step (b)
Calculating an average value and a standard deviation value of the predicted reflection component for each pixel;
Calculating the reflection component asymmetry using a predicted reflection component for each pixel, an average value of the predicted reflection component, and the standard deviation value;
Calculating an average value and a standard deviation value for the luminance component of each pixel; And
And calculating the luminance component asymmetry using the luminance component value for each pixel, the average value for the luminance component, and the standard deviation value.
제1 항에 있어서, 상기 (d) 단계는,
상기 반사 성분의 이득이 상기 반사 성분의 오프셋보다 작도록 상기 반사 성분의 이득과 상기 반사 성분의 오프셋이 계산되는 것을 특징으로 하는 영상 개선 방법.
The method of claim 1, wherein the step (d)
Wherein a gain of the reflection component and an offset of the reflection component are calculated such that a gain of the reflection component is smaller than an offset of the reflection component.
제1 항에 있어서, 상기 (d) 단계는,
상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 방법.
The method of claim 1, wherein the step (d)
Wherein when the input image is a low-illuminance image, an absolute value of a difference between an average value of the predicted reflection component and a gain of the reflection component is an absolute value of a difference between an average value of the predicted reflection component and an offset of the reflection component Wherein the gain and offset of the reflection component are calculated to be smaller than the gain and offset of the reflection component.
제1 항에 있어서, 상기 (d) 단계는,
상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 방법.
The method of claim 1, wherein the step (d)
Wherein when the input image is a high-contrast image, an absolute value of a difference between an average value of the predicted reflection component and a gain of the reflection component is an absolute value of a difference between an average value of the predicted reflection component and an offset of the reflection component. Wherein the gain and the offset of the reflection component are calculated so that the gain and offset of the reflection component are larger than the gain and offset of the reflection component.
제1 항에 있어서, 상기 (d) 단계는,
상기 반사 성분의 이득과 오프셋은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 영상 개선 방법.
Figure 112016109494334-pat00046

여기서,
Figure 112016109494334-pat00047
는 각 픽셀에 대해 예측된 반사 성분의 평균값을 나타내고,
Figure 112016109494334-pat00048
는 각 픽셀에 대해 예측된 반사 성분의 표준편차값을 나타내며,
Figure 112016109494334-pat00049
는 이득과 오프셋을 위한 보정 상수를 나타내며,
Figure 112016109494334-pat00050
는 비대칭도 보정 상수를 나타내고,
Figure 112016109494334-pat00051
는 반사 성분 비대칭도를 나타냄.
The method of claim 1, wherein the step (d)
Wherein the gain and the offset of the reflection component are calculated using the following equation.
Figure 112016109494334-pat00046

here,
Figure 112016109494334-pat00047
Represents an average value of the reflection components predicted for each pixel,
Figure 112016109494334-pat00048
Represents the standard deviation value of the reflection component predicted for each pixel,
Figure 112016109494334-pat00049
Represents a correction constant for gain and offset,
Figure 112016109494334-pat00050
Represents an asymmetry correction constant,
Figure 112016109494334-pat00051
Represents the reflection component asymmetry.
제1 항에 있어서,
상기 매개변수는 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 영상 개선 방법.
Figure 112016109494334-pat00052

여기서,
Figure 112016109494334-pat00053
는 비대칭도 보정 상수를 나타내고,
Figure 112016109494334-pat00054
는 휘도 성분 비대칭도를 나타냄.
The method according to claim 1,
Wherein the parameter is calculated using the following equation.
Figure 112016109494334-pat00052

here,
Figure 112016109494334-pat00053
Represents an asymmetry correction constant,
Figure 112016109494334-pat00054
Represents the luminance component asymmetry.
제2 항에 있어서,
상기 각 픽셀의 휘도 성분의 이득은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 영상 개선 방법.
Figure 112016109494334-pat00055

여기서,
Figure 112016109494334-pat00056
는 각 픽셀에 대해 보정된 휘도 성분을 나타내고,
Figure 112016109494334-pat00057
는 각 픽셀의 휘도 성분을 나타내며,
Figure 112016109494334-pat00058
는 색차 성분 보정 상수를 나타냄.
3. The method of claim 2,
Wherein the gain of the luminance component of each pixel is calculated using the following equation.
Figure 112016109494334-pat00055

here,
Figure 112016109494334-pat00056
Represents the corrected luminance component for each pixel,
Figure 112016109494334-pat00057
Represents a luminance component of each pixel,
Figure 112016109494334-pat00058
Represents the chrominance component correction constant.
제1 항 내지 제9 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
10. A computer-readable recording medium having recorded thereon a program code for performing the method according to any one of claims 1 to 9.
입력 영상의 휘도 성분을 이용하여 각 픽셀에 대한 반사 성분을 각각 예측하는 반사 성분 예측부;
각 픽셀의 예측된 반사 성분과 상기 각 픽셀의 휘도 성분을 이용하여 반사 성분 비대칭도 및 휘도 성분 비대칭도를 각각 계산하는 비대칭도 계산부;
상기 휘도 성분 비대칭도 및 상기 반사 성분 비대칭도를 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 반사 성분 보정부; 및
상기 각 픽셀의 보정된 반사 성분을 이용하여 상기 각 픽셀의 휘도 성분을 보정하는 휘도 성분 보정부를 포함하는 영상 개선 장치.
A reflection component predicting unit for predicting a reflection component for each pixel using the luminance component of the input image;
An asymmetry degree calculator for calculating a reflection component asymmetry and a luminance component asymmetry using the predicted reflection component of each pixel and the luminance component of each pixel;
A reflection component correcting unit for correcting the predicted reflection component for each pixel using the luminance component asymmetry and the reflection component asymmetry; And
And a luminance component correcting unit for correcting the luminance component of each pixel using the corrected reflection component of each pixel.
제11 항에 있어서,
상기 각 픽셀의 휘도 성분 및 상기 보정된 휘도 성분을 이용하여 각 픽셀의 색차 성분을 보정하는 색차 성분 보정부를 더 포함하는 영상 개선 장치.
12. The method of claim 11,
And a chrominance component correcting unit for correcting a chrominance component of each pixel using the luminance component of each pixel and the corrected luminance component.
제11 항에 있어서,
상기 반사 성분 보정부는,
상기 휘도 성분 비대칭도를 이용하여 매개변수를 계산하고, 상기 반사 성분 비대칭도를 이용하여 상기 반사 성분의 이득 및 오프셋을 계산하며, 상기 매개 변수, 상기 반사 성분의 이득과 오프셋을 이용하여 상기 각 픽셀에 대해 상기 예측된 반사 성분을 보정하는 것을 특징으로 하는 영상 개선 장치.
12. The method of claim 11,
The reflection-
Calculating a parameter using the luminance component asymmetry, calculating a gain and an offset of the reflection component using the reflection component asymmetry, calculating a gain and an offset of the reflection component using the parameter, the gain and the offset of the reflection component, And corrects the predicted reflection component with respect to the estimated reflection component.
[청구항 14은(는) 설정등록료 납부시 포기되었습니다.][14] has been abandoned due to the registration fee. 제13 항에 있어서,
상기 반사 성분 보정부는,
상기 입력 영상이 저조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 작도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 장치.
14. The method of claim 13,
The reflection-
Wherein when the input image is a low-illuminance image, an absolute value of a difference between an average value of the predicted reflection component and a gain of the reflection component is an absolute value of a difference between an average value of the predicted reflection component and an offset of the reflection component And a gain and an offset of the reflection component are calculated to be smaller than the gain and offset of the reflection component.
[청구항 15은(는) 설정등록료 납부시 포기되었습니다.][Claim 15 is abandoned upon payment of registration fee] 제13 항에 있어서,
상기 반사 성분 보정부는,
상기 입력 영상이 고조도 영상인 경우, 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 이득의 차이값에 대한 절대값이 상기 예측된 반사 성분의 평균값과 상기 반사 성분의 오프셋의 차이값에 대한 절대값보다 크도록 상기 반사 성분의 이득과 오프셋이 계산되는 것을 특징으로 하는 영상 개선 장치.

14. The method of claim 13,
The reflection-
Wherein when the input image is a high-contrast image, an absolute value of a difference between an average value of the predicted reflection component and a gain of the reflection component is an absolute value of a difference between an average value of the predicted reflection component and an offset of the reflection component. And a gain and an offset of the reflection component are calculated so that the gain and the offset of the reflection component are larger than the gain of the reflection component.

KR1020160148717A 2016-11-09 2016-11-09 Image enhancement method and apparatus KR101878817B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160148717A KR101878817B1 (en) 2016-11-09 2016-11-09 Image enhancement method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148717A KR101878817B1 (en) 2016-11-09 2016-11-09 Image enhancement method and apparatus

Publications (2)

Publication Number Publication Date
KR20180051856A KR20180051856A (en) 2018-05-17
KR101878817B1 true KR101878817B1 (en) 2018-07-17

Family

ID=62486105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148717A KR101878817B1 (en) 2016-11-09 2016-11-09 Image enhancement method and apparatus

Country Status (1)

Country Link
KR (1) KR101878817B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833274B (en) * 2020-07-17 2023-12-08 中国电子技术标准化研究院 Image enhancement method and computing device
CN113781360B (en) * 2021-09-27 2023-10-20 牟宗勇 Image enhancement method and system for infusion device based on artificial intelligence

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060095173A (en) * 2005-02-28 2006-08-31 한국과학기술원 An illumination reflectance model based image distortion elimination method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060095173A (en) * 2005-02-28 2006-08-31 한국과학기술원 An illumination reflectance model based image distortion elimination method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
논문1:대한전자공학회(2016.10) *
논문2:한국통신학회(2011.08) *
논문3:대한전자공학회(2014.11) *
대조비 개선을 위한 비대칭도 특성을 이용한 적응적인 레티넥스 방식, 전자공학회논문지 *

Also Published As

Publication number Publication date
KR20180051856A (en) 2018-05-17

Similar Documents

Publication Publication Date Title
Parihar et al. A study on Retinex based method for image enhancement
US9123103B2 (en) Method and apparatus for image denoising with three-dimensional block-matching
US9390482B2 (en) Image processing apparatus and method of processing image
US9454805B2 (en) Method and apparatus for reducing noise of image
US9842382B2 (en) Method and device for removing haze in single image
US11445214B2 (en) Determining variance of a block of an image based on a motion vector for the block
US9129403B2 (en) Method and system for generating enhanced images
WO2019200657A1 (en) Method for processing image edge, electronic device, and computer readable storage medium
US20160253787A1 (en) Methods and systems for denoising images
US9165346B2 (en) Method and apparatus for reducing image noise
US20130236095A1 (en) Image processing device, image processing method, and program
JP6293374B2 (en) Image processing apparatus, image processing method, program, recording medium recording the same, video photographing apparatus, and video recording / reproducing apparatus
CN111340732B (en) Low-illumination video image enhancement method and device
Hou et al. Underwater image dehazing and denoising via curvature variation regularization
KR102465070B1 (en) Method and device to recover image
KR101878817B1 (en) Image enhancement method and apparatus
KR101456445B1 (en) Apparatus and method for image defogging in HSV color space and recording medium storing program for executing method of the same in computer
CN110175967B (en) Image defogging processing method, system, computer device and storage medium
US20160343115A1 (en) Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium
KR20230049231A (en) Image enhancement method and apparatus
US20220383614A1 (en) Image adjustment apparatus, image adjustment method, and program
KR102644946B1 (en) Image processing method and apparatus thereof
KR101617551B1 (en) Image processing method and system for improving face detection
KR20180064028A (en) Method and apparatus of image processing
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant