KR20120083671A - Low illumination intensity image enhancement method and apparatus using histogram normalization and gamma correction - Google Patents
Low illumination intensity image enhancement method and apparatus using histogram normalization and gamma correction Download PDFInfo
- Publication number
- KR20120083671A KR20120083671A KR1020110004942A KR20110004942A KR20120083671A KR 20120083671 A KR20120083671 A KR 20120083671A KR 1020110004942 A KR1020110004942 A KR 1020110004942A KR 20110004942 A KR20110004942 A KR 20110004942A KR 20120083671 A KR20120083671 A KR 20120083671A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- histogram
- unit
- brightness
- gamma correction
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
- H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
Abstract
Description
개시된 기술은 영상 처리 장치 및 영상 처리 방법에 관한 것으로, 보다 자세하지만 제한됨 없이는, 히스토그램 정규화와 감마 보정을 결합하여 저조도 영상을 개선하는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.The disclosed technique relates to an image processing apparatus and an image processing method, and more particularly, but without limitation, relates to an image processing apparatus and an image processing method for improving low light image by combining histogram normalization and gamma correction.
어두운 환경에서 촬영된 저조도 영상은 밝기와 색감이 떨어지고 노이즈가 발생하는 문제점이 있다. 이에, 다양한 영상 처리 기법을 적용하여 저조도 영상을 개선하는 방법이 제안되었다. 저조도 영상을 개선하는 방법으로 히스토그램 정규화(Histogram Normalization), 히스토그램 평활화(Histogram Equalization) 등이 있다. Low light image captured in a dark environment has a problem in that the brightness and color drops and noise occurs. Therefore, a method of improving low light image by applying various image processing techniques has been proposed. Histogram Normalization, Histogram Equalization, etc. may be used to improve low-light images.
기존의 히스토그램 정규화와 히스토그램 평활화는 밝기 대비의 향상효과를 가져오기는 하지만, 밝은 영역에 대하여 화질의 열화를 가져오거나, 급격한 밝기 변화를 초래하는 등의 문제점이 있다. 따라서 보다 향상된 성능을 보이는 저조도 영상의 화질 개선 방법이 요구된다. Conventional histogram normalization and histogram smoothing have an effect of improving the contrast, but there are problems such as deterioration of image quality in a bright area or a sudden change in brightness. Therefore, there is a need for a method of improving the image quality of a low light image having improved performance.
개시된 기술이 이루고자 하는 기술적 과제는 히스토그램 정규화와 감마 보정 합성을 통하여 저조도 영상을 개선하는 방법 및 장치를 제공하는 데 있다.An object of the present invention is to provide a method and apparatus for improving low light image through histogram normalization and gamma correction synthesis.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제1 측면은 입력된 영상에서 밝기 정보를 분리하는 영상입력부; 상기 밝기 정보에 대하여 히스토그램을 작성하고 히스토그램의 분포를 전체 밝기 범위로 확장하는 제1 히스토그램 정규화부; 상기 밝기 정보에 대하여 감마 보정을 수행하는 감마보정부; 및 상기 입력 영상을 구성하는 각각의 단위 영상 별로, 상기 단위 영상의 밝기 정보에 대한 히스토그램 정규화 결과 및 감마 보정 결과를, 상기 단위 영상의 밝기에 따라 결정되는 비율로 결합하는 영상합성부를 포함하는 영상 처리 장치를 제공한다.A first aspect of the disclosed technology to achieve the above technical problem is an image input unit for separating the brightness information from the input image; A first histogram normalizer which creates a histogram with respect to the brightness information and extends the distribution of the histogram to a full brightness range; A gamma correction unit for performing gamma correction on the brightness information; And an image synthesizing unit for combining the histogram normalization result and the gamma correction result of the brightness information of the unit image for each unit image constituting the input image at a ratio determined according to the brightness of the unit image. Provide the device.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제2 측면은 입력된 영상에서 밝기 정보를 분리하는 단계; 상기 밝기 정보에 대하여 히스토그램을 작성하고 히스토그램의 분포를 전체 밝기 범위로 확장하는 단계; 상기 밝기 정보에 대하여 감마 보정을 수행하는 단계; 및 상기 입력 영상을 구성하는 각각의 단위 영상 별로, 상기 단위 영상의 밝기 정보에 대한 히스토그램 처리 결과 및 감마 보정 결과를, 상기 단위 영상의 밝기에 따라 결정되는 비율로 결합하는 단계를 포함하는 영상 처리 방법을 제공한다.A second aspect of the disclosed technology to achieve the above technical problem is the step of separating the brightness information from the input image; Creating a histogram with respect to the brightness information and extending a distribution of the histogram to a full brightness range; Performing gamma correction on the brightness information; And combining the histogram processing result and the gamma correction result of the brightness information of the unit image for each unit image constituting the input image at a ratio determined according to the brightness of the unit image. To provide.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technique may have effects that include the following advantages. It should be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, since the embodiments of the disclosed technology are not meant to include all such embodiments.
개시된 기술에 따르면, 저조도 영상의 화질이 개선된다. 개시된 기술의 일 실시예에 따르면, 영상 처리 과정에서 발생하는 화질 열화가 감소되어 전체적으로 영상의 밝기 대비가 높아지고, 물체의 식별 능력이 향상된다. 또한, 밝기의 급격한 변화가 보다 자연스러운 밝기 변화로 개선되는 효과가 있다. According to the disclosed technique, the image quality of the low light image is improved. According to an embodiment of the disclosed technology, image quality deterioration occurring in an image processing process is reduced, so that an overall contrast of brightness of an image is improved, and an object's identification ability is improved. In addition, there is an effect that a sudden change in brightness is improved to a more natural brightness change.
도 1은 저조도 입력 영상과 그 히스토그램을 나타낸 도면이다.
도 2는 종래의 기법에 따라 저조도 입력 영상을 개선한 히스토그램을 나타낸다.
도 3은 개시된 기술의 일 실시예에 따라 저조도 영상을 개선한 결과에 대한 히스토그램을 나타낸다.
도 4는 개시된 기술의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 순서도이다.
도 5는 개시된 기술의 일 실시예에 따라, 히스토그램 정규화 결과와 감마 보정 결과를 결합하는 방법을 설명하기 위한 순서도이다.
도 6은 개시된 기술의 일 실시예에 따른 영상 처리 장치를 설명하기 위한 블록도이다.1 is a diagram illustrating a low light input image and a histogram thereof.
2 illustrates a histogram of an improved low light input image according to a conventional technique.
3 illustrates a histogram of results of improving low light images according to an embodiment of the disclosed technology.
4 is a flowchart illustrating an image processing method according to an embodiment of the disclosed technology.
5 is a flowchart illustrating a method of combining a histogram normalization result and a gamma correction result, according to an embodiment of the disclosed technology.
6 is a block diagram illustrating an image processing apparatus according to an embodiment of the disclosed technology.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments may be variously modified and may have various forms, and thus the scope of the disclosed technology should be understood to include equivalents capable of realizing the technical idea.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.
“제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms " first ", " second ", and the like are used to distinguish one element from another and should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions describing the relationship between the components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring to", should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "include" or "have" refer to features, numbers, steps, operations, components, parts, or parts thereof described. It is to be understood that the combination is intended to be present, but not to exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Each step may occur differently from the stated order unless the context clearly dictates the specific order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Terms such as those defined in the commonly used dictionaries should be construed as consistent with the meanings in the context of the related art, and should not be construed as having ideal or overly formal meanings unless expressly defined in this application. .
도 1은 저조도 입력 영상과 그 히스토그램을 나타낸 도면이다. 도 1의 (a)는 어두운 환경에서 촬영된 저조도 영상의 예로, 촬영된 영상의 사물을 인식하는 것이 매우 어렵다. 이러한 영상을 분석하는 작업은 특히 보안용 카메라에서 중요할 수 있다. 도 1의 (b)는 도 1의 (a)의 영상에 대한 히스토그램을 나타낸다. 히스토그램에서 확인할 수 있듯이, (a)의 저조도 영상의 밝기는 대부분이 0 근처에 분포하고 있다.1 is a diagram illustrating a low light input image and a histogram thereof. FIG. 1A is an example of a low light image captured in a dark environment, and it is very difficult to recognize an object of the captured image. Analyzing such images can be particularly important for security cameras. FIG. 1B illustrates a histogram of the image of FIG. 1A. As can be seen from the histogram, the brightness of the low light image of (a) is mostly distributed near zero.
도 2는 종래의 기법에 따라 저조도 입력 영상을 개선한 히스토그램을 나타낸다. 도 2의 (a)는 도 1의 입력 영상에 대하여 히스토그램 평활화를 수행한 결과이다. 히스토그램 평활화는 영상의 밝기 값의 분포를 균일하게 만드는 영상 개선 작업이다. 예컨대, 히스토그램 평활화는 영상의 히스토그램을 구한 후, 누적 히스토그램이 0에서 MAX까지 선형적으로 증가하도록 변환하는 방법으로 이루어질 수 있다. 히스토그램 평활화 변환 함수를 구하는 방법을 예를 들어 설명하면 다음과 같다. 수학식 1은 히스토그램의 확률 분포 함수로, px(i)는 입력 영상에서 밝기 값이 i인 화소가 존재할 확률을 나타낸다. 2 illustrates a histogram of an improved low light input image according to a conventional technique. FIG. 2A illustrates a result of performing histogram smoothing on the input image of FIG. 1. Histogram smoothing is an image enhancement that makes the distribution of brightness values uniform. For example, the histogram smoothing may be performed by obtaining a histogram of an image and then converting the cumulative histogram to increase linearly from 0 to MAX. An example of how to obtain a histogram smoothing transform function is as follows. Equation 1 is a probability distribution function of a histogram, and p x (i) represents a probability that a pixel having a brightness value of i exists in an input image.
이때, L은 입력 영상의 최대 밝기(여기서는 255), n은 입력 영상의 총 화소 수, ni -는 입력 영상에서 밝기 값이 i인 화소 수를 나타낸다. 수학식 1을 기초로 입력 영상에 대한 히스토그램의 누적 분포 함수를 구하면 수학식 2와 같다.In this case, L denotes the maximum brightness of the input image (here 255), n denotes the total number of pixels of the input image, and n i − denotes the number of pixels whose brightness value is i in the input image. Based on Equation 1, the cumulative distribution function of the histogram for the input image is obtained as in
여기서, cdf x (i)는 입력 영상에 대한 히스토그램의 누적 분포 함수를 나타낸다. 한편, 평활화된 히스토그램의 누적 분포 함수는 수학식 3과 같이 선형적으로 증가한다. Here, cdf x (i) represents a cumulative distribution function of the histogram for the input image. Meanwhile, the cumulative distribution function of the smoothed histogram increases linearly as shown in Equation 3 below.
여기서, cdf y (i)는 평활화된 히스토그램의 누적 분포 함수이고, K는 상수이다. 이때, 수학식 3을 만족하도록 변환하는 수학식 4의 함수 T가 히스토그램 평활화 함수이다. Where cdf y (i) is the cumulative distribution function of the smoothed histogram and K is a constant. In this case, the function T of Equation 4, which is converted to satisfy Equation 3, is a histogram smoothing function.
도 2의 (b)는 도 1의 입력 영상에 대하여 히스토그램 정규화를 수행한 결과이다. 히스토그램 정규화는 히스토그램 확장(Histogram Stretching)이라고도 하는데, 영상의 콘트라스트가 나쁜 영상은 히스토그램이 계조도 전역에 퍼져 있지 않고 한 곳에 몰려 있기 때문에, 계조도 전역으로 히스토그램을 골고로 퍼지게 만드는 방법이다. 히스토그램 정규화는, 예컨대, 영상의 히스토그램을 구한 후, 몰려 있는 히스토그램의 처음과 끝 계조도 값을 구하고, 양 끝의 계조도를 계조도의 최소값(0)과 최대값(255)으로 확장하는 방법으로 이루어질 수 있다. 이와 같은 히스토그램 정규화는 수학식 5와 같이 표현될 수 있다. FIG. 2B is a result of performing histogram normalization on the input image of FIG. 1. Histogram normalization, also known as histogram stretching, is a method in which a poorly contrasted image spreads the histogram evenly across the gradation because the histogram is not scattered throughout the gradation. Histogram normalization, for example, obtains a histogram of an image, obtains the first and the last gray level values of the histogram, and extends the gray levels at both ends to the minimum value (0) and the maximum value (255) of the gray level. Can be done. Such histogram normalization may be expressed as in Equation 5.
여기서, f는 입력된 화소의 밝기 값, g는 정규화된 화소의 밝기 값, fmin은 입력 영상 내 가장 어두운 화소의 밝기 값, fmax는 입력 영상 내 가장 밝은 화소의 밝기 값을 나타낸다.Here, f is the brightness value of the input pixel, g is the brightness value of the normalized pixel, f min is the brightness value of the darkest pixel in the input image, f max is the brightness value of the brightest pixel in the input image.
히스토그램 평활화 또는 히스토그램 정규화를 수행한 결과를 살펴보면, 저조도에 밀집되어 있던 히스토그램이 계조도 전역에 넓게 분포하게 되어 전반적으로 밝기 대비가 개선되는 효과가 있음을 알 수 있다. 그러나, 이러한 작업을 수행하면, 각 히스토그램 막대 사이에 빈 영역이 발생하게 되는데 이는 급격한 밝기의 변화를 초래하여 영상을 부자연스럽게 한다. 또한, 상대적으로 밝은 영역의 화질을 열화시키는 문제가 있다. As a result of performing histogram smoothing or histogram normalization, it can be seen that the histogram, which is densely concentrated in low light, is widely distributed throughout the gray scale, thereby improving the overall brightness contrast. However, when this operation is performed, a blank area is generated between the histogram bars, which causes an abrupt change in brightness and unnatural images. In addition, there is a problem of degrading the image quality of a relatively bright area.
도 3은 개시된 기술의 일 실시예에 따라 저조도 영상을 개선한 결과에 대한 히스토그램을 나타낸다. 도 3을 살펴보면, 각 히스토그램 막대 사이의 빈 영역이 중간 값들로 채워져 있음을 알 수 있다. 따라서, 도 3의 결과 영상에서는 밝기의 급격한 변화로 인한 부자연스러움이 개선되었음을 확인할 수 있다.
3 illustrates a histogram of results of improving low light images according to an embodiment of the disclosed technology. Referring to FIG. 3, it can be seen that the blank area between each histogram bar is filled with intermediate values. Therefore, in the resultant image of FIG. 3, it can be confirmed that unnaturalness due to a sudden change in brightness is improved.
도 4는 개시된 기술의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 순서도이다. 개시된 기술에 따르면, 영상 처리 장치가 히스토그램 정규화와 감마 보정을 결합하여 저조도 영상의 화질을 개선할 수 있다. 개시된 기술의 일 실시예에 따르면, 영상 처리 장치는, 밝기가 어두운 영역에서는 히스토그램 정규화를 주로 적용하고, 밝기가 밝은 영역에서는 감마 보정을 주로 적용하여, 어두운 영역에서의 밝기 대비를 향상시키는 한편 국부적으로 발생하는 밝은 영역에 대한 화질 열화를 개선하도록 한다. 또한, 히스토그램 정규화 결과에 가우시안 필터링을 적용하여 보다 부드러운 영상을 얻을 수 있도록 한다. 개시된 기술의 일 실시예에 따른 영상 처리 방법은 다음과 같다. 4 is a flowchart illustrating an image processing method according to an embodiment of the disclosed technology. According to the disclosed technology, the image processing apparatus may combine histogram normalization and gamma correction to improve the image quality of the low light image. According to an embodiment of the disclosed technology, the image processing apparatus mainly applies histogram normalization in a dark region and mainly applies gamma correction in a bright region, thereby improving brightness contrast in a dark region locally. Improve image quality deterioration for bright areas that occur. In addition, Gaussian filtering is applied to the histogram normalization result to obtain a smoother image. An image processing method according to an embodiment of the disclosed technology is as follows.
S410 단계에서, 영상 처리 장치는 입력된 영상에서 밝기 정보를 분리한다. 각 단위 영상(예를 들어, 화소)의 색상 정보는 RGB 포맷, YUV 포맷 등으로 표현될 수 있다. RGB 포맷은 각 단위 영상이 빛의 3원색인 적색(Red), 녹색(Green), 청색(Blue)을 포함하고 있는 정도로 색상을 표현하는 방식이다. R, G, B 각각은 0에서부터 최대 값(예컨대, 255)까지의 값을 가지며, R, G, B 모두 0인 경우 흑색을, 모두 최대 값인 경우 백색을 나타낸다. YUV 포맷은 색상 정보에서 휘도(밝기) 정보(Y)를 분리하여 표시하는 형태로, 각 단위 영상의 색상 정보는 휘도 성분(Y), 휘도 성분과 청색 성분의 차이(U), 휘도 성분과 적색 성분의 차이(V)로 표현된다. 따라서, YUV 포맷으로 색상 정보를 표현하는 경우, Y값을 독출함으로써, 색상 정보에서 밝기 정보를 분리할 수 있다. 또한, RGB 포맷으로 색상 정보가 표현되어 있는 경우에도, RGB 포맷을 YUV 포맷으로 변환하여 Y값을 구함으로써, 색상 정보에서 밝기 정보를 분리할 수 있다. 이때, RGB 포맷은 수학식 6을 이용하여 YUV 포맷으로 변환할 수 있으며, 반대로 수학식 7을 이용하여 YUV 포맷에서 RGB 포맷으로 변환할 수 있다. In operation S410, the image processing apparatus separates brightness information from the input image. Color information of each unit image (eg, pixels) may be expressed in an RGB format, a YUV format, or the like. The RGB format expresses colors to the extent that each unit image includes three primary colors of light, red, green, and blue. Each of R, G, and B has a value from 0 to a maximum value (for example, 255), and R, G, and B each represent black when 0 and white when all are maximum values. The YUV format displays luminance (brightness) information separately from color information. The color information of each unit image includes luminance component (Y), difference between luminance component and blue component (U), luminance component and red component. Expressed as the difference (V) of the components. Therefore, when the color information is expressed in the YUV format, the brightness information can be separated from the color information by reading the Y value. In addition, even when the color information is expressed in the RGB format, the brightness information can be separated from the color information by converting the RGB format into the YUV format to obtain the Y value. In this case, the RGB format may be converted to the YUV format using Equation 6, and conversely, the RGB format may be converted from the YUV format to the RGB format using Equation 7.
S420 단계에서, 영상 처리 장치는 입력된 영상의 밝기 정보에 대하여 히스토그램을 작성하고 히스토그램의 분포를 전체 밝기 범위로 확장한다. 예컨대, 영상 처리 장치는 수학식 5와 같이, 입력된 영상의 밝기 정보에 대하여 히스토그램 정규화를 수행할 수 있다. In operation S420, the image processing apparatus creates a histogram with respect to the brightness information of the input image and extends the distribution of the histogram to the entire brightness range. For example, the image processing apparatus may perform histogram normalization on brightness information of an input image, as shown in Equation 5 below.
S430 단계에서, 영상 처리 장치는 입력된 영상의 밝기 정보에 대하여 감마 보정을 수행한다. 이때, S430 단계와 S420 단계는 동시에 수행되어도 무방하며, S430 단계가 먼저 수행되어도 무방하다. 감마 보정은 영상 처리에서, 비선형 전달함수를 사용하여 영상의 밝기 정보를 비선형적으로 변형하는 것을 말한다. 감마 보정은 감마 부호화라고도 한다. 인간의 시각이 밝기에 대하여 비선형적으로 반응하기 때문에, 감마 보정은 어두운 부분에서의 밝기 정보를 더 자세히 기록하는 과정에서 주로 사용된다. 한편, 본 실시예에서는 1보다 작은 감마 값을 적용하여, 밝은 영역에서의 화질 열화를 개선하기 위하여 감마 보정을 사용한다. 감마 보정은 최대 밝기 값이 255인 경우, 수학식 8과 같이 나타낼 수 있다. In operation S430, the image processing apparatus performs gamma correction on brightness information of the input image. At this time, step S430 and step S420 may be performed at the same time, step S430 may be performed first. Gamma correction refers to nonlinear transformation of brightness information of an image using a nonlinear transfer function in image processing. Gamma correction is also called gamma coding. Since human vision reacts non-linearly to brightness, gamma correction is mainly used in the process of recording brightness information in the dark areas in more detail. On the other hand, in the present embodiment, gamma correction is used to apply a gamma value smaller than 1 to improve image quality deterioration in a bright area. Gamma correction may be expressed as Equation 8 when the maximum brightness value is 255.
여기서, s는 감마 보정된 화소의 밝기 값을, k는 입력된 화소의 밝기 값을, r은 감마 값을 나타낸다. 본 실시예에서는 밝은 영역에서의 화질 열화를 개선하기 위하여 감마 보정을 사용하기 때문에, 감마 값은 1 보다 작은 값으로 선택된다. Here, s denotes a brightness value of a gamma corrected pixel, k denotes a brightness value of an input pixel, and r denotes a gamma value. In this embodiment, since gamma correction is used to improve image quality deterioration in a bright area, the gamma value is selected to be less than one.
S440 단계에서, 영상 처리 장치는 입력 영상을 구성하는 각각의 단위 영상(예컨대, 화소) 별로, 각 단위 영상의 밝기 정보에 대한 히스토그램 처리 결과 및 감마 보정 결과를, 각 단위 영상의 밝기에 따라 결정되는 비율로 결합 한다. 일 실시예에 따라, 영상 처리 장치는 수학식 9와 같이, 소정의 비율로 히스토그램 정규화 결과와 감마 보정 결과를 결합한다. In operation S440, the image processing apparatus determines a histogram processing result and a gamma correction result for brightness information of each unit image for each unit image (eg, pixels) constituting the input image, according to the brightness of each unit image. Combine in proportions. According to an embodiment, the image processing apparatus combines the histogram normalization result and the gamma correction result at a predetermined ratio, as shown in Equation (9).
여기서, Yi는 합성 결과 영상의 i번째 화소 값, Ai는 히스토그램 정규화 영상의 i번째 화소 값, Bi는 감마 보정 영상의 i번째 화소 값, αi는 i번째 화소의 결합 기준치를 나타낸다. 이때, 히스토그램 정규화 결과와 감마 보정 결과가 결합되는 비율은 αi에 따라 결정되는데, αi의 값은 해당 화소, 즉, i번째 화소의 밝기에 따라 결정된다. 개시된 기술에서는 저조도 영상의 어두운 부분의 밝기 대비를 개선시켜 사물의 인식률을 높이고, 밝은 부분의 밝기 대비는 유지시켜 전체적으로 영상의 밝기 분포를 골고루 한다. 따라서, 본 실시예에 따른 영상 처리 장치는 어두운 부분에서는 히스토그램 정규화 결과를 주로 반영하고, 밝은 부분에서는 감마 보정 결과를 주로 반영하여 영상을 합성한다. 결합 비율을 결정하는 보다 구체적인 방법은 도 5를 참조하여 후술한다. Here, i i is the i-th pixel value of the synthesis result image, A i is the i-th pixel value of the histogram normalized image, B i is the i-th pixel value of the gamma-corrected image, and α i represents the combined reference value of the i-th pixel. In this case, the normalized histogram results and the rate at which gamma correction result of the combination is determined according to α i, the value of α i is determined in accordance with the brightness of the pixel, that is, i-th pixel. In the disclosed technology, the brightness contrast of the dark portion of the low light image is improved to increase the recognition rate of the object, and the brightness contrast of the bright portion is maintained to uniformly distribute the brightness of the image as a whole. Therefore, the image processing apparatus according to the present embodiment synthesizes the image by mainly reflecting the histogram normalization result in the dark part and mainly reflecting the gamma correction result in the bright part. A more specific method of determining the binding ratio will be described later with reference to FIG. 5.
S450 단계에서, 영상 처리 장치는 S440 단계에서 합성된 영상에 대하여 히스토그램을 작성하고 히스토그램의 분포를 정규화한다. 영상 처리 장치는 S450 단계에서 수행되는 히스토그램 정규화에 따라 합성된 영상의 밝기 대비를 최대화 할 수 있다. In operation S450, the image processing apparatus creates a histogram for the image synthesized in operation S440 and normalizes the distribution of the histogram. The image processing apparatus may maximize the brightness contrast of the synthesized image according to the histogram normalization performed at operation S450.
S460 단계에서, 영상 처리 장치는 S450 단계에서 정규화된 합성 영상의 밝기 정보에 S410 단계에서 분리된 색상 정보를 결합하여 영상을 출력한다. 실시예에 따라, 출력되는 영상 정보는 입력 영상의 포맷과 동일하게 할 수 있다. 일례로, 입력 영상이 YUV 포맷인 경우에는 S450 단계에서 산출되는 밝기 정보(Y)를 입력 영상의 U, V 값과 결합하여 출력한다. 다른 일례로, 입력 영상이 RGB 포맷인 경우에는 S450 단계에서 산출되는 밝기 정보(Y)에 입력 영상의 U, V 값을 결합한 결과를 다시 RGB 포맷으로 변환하여 출력한다.
In operation S460, the image processing apparatus outputs an image by combining color information separated in operation S410 with brightness information of the composite image normalized in operation S450. According to an embodiment, the output image information may be the same as the format of the input image. For example, when the input image is in the YUV format, the brightness information Y calculated in operation S450 is combined with the U and V values of the input image and output. As another example, when the input image is in RGB format, a result of combining U and V values of the input image with brightness information Y calculated in operation S450 is converted into the RGB format and output.
도 5는 개시된 기술의 일 실시예에 따라, 히스토그램 정규화 결과와 감마 보정 결과를 결합하는 방법을 설명하기 위한 순서도이다. 도 5에서는 S450 단계에서 히스토그램 정규화 결과와 감마 보정 결과를 결합하는 비율을 결정하는 방법을 구체적으로 예를 들어 설명한다. 5 is a flowchart illustrating a method of combining a histogram normalization result and a gamma correction result, according to an embodiment of the disclosed technology. In FIG. 5, a method of determining a ratio of combining the histogram normalization result and the gamma correction result in step S450 will be described in detail as an example.
S510 단계에서, 영상 처리 장치는 S420 단계에서 수행되는 히스토그램 정규화 결과(Ai)를 가우시안 필터(Gaussian Filter)로 필터링한다. 필터링된 결과(Gi)는 히스토그램 정규화 결과와 감마 보정 결과를 선택하는 기초가 되는 값이다. 이때, 사용될 수 있는 가우시안 필터의 예로는 수학식 10과 같은 2차원 필터 커널 값을 가지는 필터가 있다. In operation S510, the image processing apparatus filters the histogram normalization result A i performed in operation S420 with a Gaussian filter. The filtered result G i is a basis for selecting the histogram normalization result and the gamma correction result. At this time, an example of the Gaussian filter that can be used is a filter having a two-dimensional filter kernel value as shown in Equation (10).
여기서, G(x,y)는 위치(x,y)에서 필터 계수 값, σ는 필터의 입력 파라미터를 의미한다. 영상 처리 장치는 이와 같이, 히스토그램 정규화 결과를 가우시안 필터로 필터링 하여, 급격한 밝기 변화에 대하여 보다 부드러운 합성 결과를 얻을 수 있다. Here, G (x, y) denotes a filter coefficient value at position (x, y), and σ denotes an input parameter of the filter. In this way, the image processing apparatus may filter the histogram normalization result with a Gaussian filter to obtain a smoother synthesis result with respect to the sudden brightness change.
S520 단계에서, 영상 처리 장치는 필터링된 각각의 단위 영상의 밝기에 따라 히스토그램 정규화 결과와 감마 보정 결과를 결합할 비율을 결정한다. 결합 비율은 결합 기준치에 따라 결정되며, 일 실시예에 따라, 결합 기준치는 수학식 11과 같이 산출될 수 있다. In operation S520, the image processing apparatus determines a ratio of combining the histogram normalization result and the gamma correction result according to the brightness of each filtered unit image. The binding ratio is determined according to the binding reference value, and according to an embodiment, the binding reference value may be calculated as shown in Equation 11 below.
여기서, αi는 i번째 화소의 결합 기준치, Gi는 가우시안 필터 영상의 i번째 화소 값을 나타낸다. 산출되는 결합 기준치에 따라, 히스토그램 정규화 결과와 감마 보정 결과의 결합 비율은 각각 (255- αi)와 αi로 결정된다. S530 단계에서, 영상 처리 장치는 결정된 비율에 따라 히스토그램 정규화 결과와 감마 보정 결과를 결합한다.
Here, α i denotes the combined reference value of the i-th pixel, and G i denotes the i-th pixel value of the Gaussian filter image. According to the binding reference values calculated, the coupling ratios of the histogram normalization result and the gamma correction result are determined as (255-α i ) and α i , respectively. In operation S530, the image processing apparatus combines the histogram normalization result and the gamma correction result according to the determined ratio.
도 6은 개시된 기술의 일 실시예에 따른 영상 처리 장치를 설명하기 위한 블록도이다. 도 4 내지 도 5에서 설명한 방법은 도 6의 영상 처리 장치(600)에서 구현될 수 있으며, 도 4 내지 도 5에서 설명한 내용과 중복되는 내용은 생략한다. 도 6의 영상 처리 장치(600)는 영상 입력부(610), 제1 히스토그램 정규화부(620), 감마보정부(630), 필터링부(640), 영상 합성부(650), 제2 히스토그램 정규화부(660) 및 영상 출력부(670)를 포함한다. 6 is a block diagram illustrating an image processing apparatus according to an embodiment of the disclosed technology. The method described with reference to FIGS. 4 to 5 may be implemented in the image processing apparatus 600 of FIG. 6, and descriptions overlapping with those described with reference to FIGS. 4 to 5 will be omitted. The image processing apparatus 600 of FIG. 6 includes an
영상 입력부(610)는 입력된 영상에서 밝기 정보와 색상 정보를 분리한다. 예컨대, 영상 입력부(610)는 RGB 포맷의 영상을 YUV 포맷의 영상으로 변환하여 밝기 정보와 색상 정보를 분리할 수 있다. The
제1 히스토그램 정규화부(620)는 입력된 영상의 밝기 정보에 대하여 히스토그램을 작성하고 히스토그램의 분포를 전체 밝기 범위로 확장한다. 예컨대, 제1 히스토그램 정규화부(620)는 수학식 5와 같이 표현되는 히스토그램 정규화를 수행할 수 있다. The
감마보정부(630)는 입력된 영상의 밝기 정보에 대하여 감마 보정을 수행한다. 예컨대, 감마보정부(630)는 수학식 8과 같이 표현되는 감마 보정을 수행할 수 있으며, 이때, 사용되는 감마 값은 1보다 작은 값으로 한다. The
영상 합성부(650)는 입력 영상을 구성하는 각각의 단위 영상 별로, 각 단위 영상의 밝기 정보에 대한 히스토그램 처리 결과 및 감마 보정 결과를, 각 단위 영상의 밝기에 따라 결정되는 비율로 결합한다. 일 실시예에 따라, 영상 합성부(650)는 수학식 9와 같이 각 단위 영상의 밝기 값을 산출할 수 있다. The
필터링부(640)는 결합 비율을 결정하는데 기준이 되는 값을 산출하기 위하여 사용된다. 일 실시예에 따라, 필터링부(640)와 영상 합성부(650)가 결합 비율을 결정하는 방법은 다음과 같다. 필터링부(640)는 입력된 영상의 밝기 정보를 가우시안 필터로 필터링한다. 영상 합성부(650)는 필터링된 각각의 단위 영상의 밝기에 따라 결합할 비율을 결정한다. 예컨대, 영상 합성부(650)는 수학식 11과 같이 결합 기준치 αi를 산출하고, 산출된 결합 기준치를 이용하여 히스토그램 정규화 결과와 감마 보정 결과가 결합되는 비율을 (255- αi)와 αi로 결정할 수 있다. The
제2 히스토그램 정규화부(660)는 영상 합성부(650)에서 합성된 영상에 대하여 다시 히스토그램을 작성하고 히스토그램의 분포를 정규화한다. 영상 출력부(670)는 제2 히스토그램 정규화부에서 정규화된 합성 영상의 밝기 정보에 영상 입력부(610)에서 분리된 색상 정보를 결합하여 영상을 출력한다.
The
이러한 개시된 기술인 시스템 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.While the system and apparatus disclosed herein have been described with reference to the embodiments shown in the drawings for purposes of clarity of understanding, they are illustrative only and various modifications and equivalent embodiments can be made by those skilled in the art. I will understand that. Accordingly, the true scope of protection of the disclosed technology should be determined by the appended claims.
Claims (12)
상기 밝기 정보에 대하여 히스토그램을 작성하고 히스토그램의 분포를 전체 밝기 범위로 확장하는 제1 히스토그램 정규화부;
상기 밝기 정보에 대하여 감마 보정을 수행하는 감마보정부; 및
상기 입력 영상을 구성하는 각각의 단위 영상 별로, 상기 단위 영상의 밝기 정보에 대한 히스토그램 정규화 결과 및 감마 보정 결과를, 상기 단위 영상의 밝기에 따라 결정되는 비율로 결합하는 영상합성부를 포함하는 영상 처리 장치.An image input unit separating brightness information from an input image;
A first histogram normalizer which creates a histogram with respect to the brightness information and extends the distribution of the histogram to a full brightness range;
A gamma correction unit for performing gamma correction on the brightness information; And
And an image synthesizing unit for combining the histogram normalization result and the gamma correction result of the brightness information of the unit image for each unit image constituting the input image at a ratio determined according to the brightness of the unit image. .
상기 밝기 정보를 가우시안 필터로 필터링하는 필터링부를 더 포함하고,
상기 영상합성부는 상기 필터링된 각각의 단위 영상의 밝기에 따라 상기 결합할 비율을 결정하는 영상 처리 장치.The method of claim 1,
Further comprising a filtering unit for filtering the brightness information with a Gaussian filter,
The image synthesis unit determines the ratio to be combined according to the brightness of each of the filtered unit image.
RGB 포맷의 영상을 YUV 포맷의 영상으로 변환하여 밝기 정보를 색상 정보에서 분리하는 영상 처리 장치.The method of claim 1, wherein the image input unit,
An image processing apparatus that converts an image in RGB format into an image in YUV format and separates brightness information from color information.
히스토그램 정규화를 통하여 영상이 가지는 밝기의 범위를 0에서 255로 확장하는 영상 처리 장치.The method of claim 1, wherein the first histogram normalization unit,
An image processing apparatus that extends the brightness range of an image from 0 to 255 through histogram normalization.
감마 값이 1보다 작도록 하여 감마 보정을 수행하는 영상 처리 장치.The method of claim 1, wherein the gamma correction unit,
An image processing apparatus that performs gamma correction by making a gamma value smaller than 1.
상기 합성된 영상에 대하여 히스토그램을 작성하고 히스토그램의 분포를 정규화하는 제2 히스토그램 정규화부; 및
상기 제2 히스토그램 정규화부에서 정규화된 합성 영상의 밝기 정보에 상기 영상 입력부에서 분리된 색상 정보를 결합하여 영상을 출력하는 영상출력부를 더 포함하는 영상 처리 장치.The method of claim 1,
A second histogram normalizer which creates a histogram with respect to the synthesized image and normalizes a distribution of the histogram; And
And an image output unit configured to combine brightness information of the synthesized image normalized by the second histogram normalizer and color information separated by the image input unit to output an image.
상기 밝기 정보에 대하여 히스토그램을 작성하고 히스토그램의 분포를 전체 밝기 범위로 확장하는 단계;
상기 밝기 정보에 대하여 감마 보정을 수행하는 단계; 및
상기 입력 영상을 구성하는 각각의 단위 영상 별로, 상기 단위 영상의 밝기 정보에 대한 히스토그램 처리 결과 및 감마 보정 결과를, 상기 단위 영상의 밝기에 따라 결정되는 비율로 결합하는 단계를 포함하는 영상 처리 방법.Separating brightness information from an input image;
Creating a histogram with respect to the brightness information and extending a distribution of the histogram to a full brightness range;
Performing gamma correction on the brightness information; And
And combining the histogram processing result and the gamma correction result for the brightness information of the unit image for each unit image constituting the input image at a ratio determined according to the brightness of the unit image.
상기 밝기 정보를 가우시안 필터로 필터링하는 단계를 더 포함하고,
상기 결합하는 단계는, 상기 필터링된 각각의 단위 영상의 밝기에 따라 상기 결합할 비율을 결정하는 영상 처리 방법.10. The method of claim 9,
Filtering the brightness information with a Gaussian filter;
The combining may include determining the ratio to be combined according to the brightness of each of the filtered unit images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110004942A KR101180409B1 (en) | 2011-01-18 | 2011-01-18 | Low illumination intensity image enhancement method and apparatus using histogram normalization and gamma correction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110004942A KR101180409B1 (en) | 2011-01-18 | 2011-01-18 | Low illumination intensity image enhancement method and apparatus using histogram normalization and gamma correction |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120083671A true KR20120083671A (en) | 2012-07-26 |
| KR101180409B1 KR101180409B1 (en) | 2012-09-10 |
Family
ID=46714841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110004942A KR101180409B1 (en) | 2011-01-18 | 2011-01-18 | Low illumination intensity image enhancement method and apparatus using histogram normalization and gamma correction |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101180409B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101592790B1 (en) * | 2014-11-26 | 2016-02-18 | 현대자동차주식회사 | System for controling exposure of camera and method thereof |
| KR20210077427A (en) * | 2019-12-17 | 2021-06-25 | 주식회사 휴비츠 | Method for revising fundus photographing image |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101651889B1 (en) * | 2014-11-12 | 2016-08-29 | 고려대학교 산학협력단 | Video quality enhancement device and method for extremely low-light video |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005159693A (en) | 2003-11-26 | 2005-06-16 | Olympus Corp | Image processing apparatus |
| JP2010028609A (en) | 2008-07-23 | 2010-02-04 | Sanyo Electric Co Ltd | Video display device |
-
2011
- 2011-01-18 KR KR1020110004942A patent/KR101180409B1/en active IP Right Grant
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101592790B1 (en) * | 2014-11-26 | 2016-02-18 | 현대자동차주식회사 | System for controling exposure of camera and method thereof |
| CN105635596A (en) * | 2014-11-26 | 2016-06-01 | 现代自动车株式会社 | System for controlling exposure of camera and method thereof |
| US9692982B2 (en) | 2014-11-26 | 2017-06-27 | Hyundai Motor Company | System for controlling exposure of camera and method thereof |
| CN105635596B (en) * | 2014-11-26 | 2020-06-02 | 现代自动车株式会社 | System for controlling exposure of camera and method thereof |
| KR20210077427A (en) * | 2019-12-17 | 2021-06-25 | 주식회사 휴비츠 | Method for revising fundus photographing image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101180409B1 (en) | 2012-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5159208B2 (en) | Image correction method and apparatus | |
| CN105745914B (en) | Method and system for inverse tone mapping (ITM) | |
| KR101257942B1 (en) | Pre-processing method and apparatus in Wide Dynamic Range image processing | |
| CN102970549B (en) | Image processing method and image processing device | |
| EP2624204B1 (en) | Image processing apparatus and method of controlling the same | |
| KR100990904B1 (en) | The apparatus for enhancing image by generating and blending multiple image and method therefor | |
| JP5316625B2 (en) | Image composition apparatus and program | |
| CN103593830B (en) | A kind of low illumination level video image enhancement | |
| WO2013157201A1 (en) | Image processing device, image processing method, program, and storage medium | |
| CN107680056B (en) | Image processing method and device | |
| CN101512597B (en) | Method and apparatus for image enhancement | |
| KR100771158B1 (en) | Method AND System For Enhancement Color Image Quality | |
| JP5392560B2 (en) | Image processing apparatus and image processing method | |
| CN104869380A (en) | Image processing apparatus and image processing method | |
| Kumar et al. | An improved Gamma correction model for image dehazing in a multi-exposure fusion framework | |
| JP2012165204A (en) | Signal processing apparatus, signal processing method, imaging apparatus, and imaging processing method | |
| CN107317967A (en) | Image processing method, device, mobile terminal and computer-readable recording medium | |
| US20060077304A1 (en) | Method and device for image contrast enhancement | |
| US20070086650A1 (en) | Method and Device for Color Saturation and Sharpness Enhancement | |
| JP2013254390A (en) | Image processing apparatus and image processing method | |
| CN109636739B (en) | Detail processing method and device for enhancing image saturation | |
| KR101180409B1 (en) | Low illumination intensity image enhancement method and apparatus using histogram normalization and gamma correction | |
| KR101349968B1 (en) | Image processing apparatus and method for automatically adjustment of image | |
| CN113658043A (en) | Image processing method, image processing device, electronic equipment and readable storage medium | |
| JP4719559B2 (en) | Image quality improving apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150825 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160829 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170828 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180827 Year of fee payment: 7 |