KR20160051463A - System for processing a low light level image and method thereof - Google Patents

System for processing a low light level image and method thereof Download PDF

Info

Publication number
KR20160051463A
KR20160051463A KR1020140151566A KR20140151566A KR20160051463A KR 20160051463 A KR20160051463 A KR 20160051463A KR 1020140151566 A KR1020140151566 A KR 1020140151566A KR 20140151566 A KR20140151566 A KR 20140151566A KR 20160051463 A KR20160051463 A KR 20160051463A
Authority
KR
South Korea
Prior art keywords
image data
image
brightness
adjustment value
calculating
Prior art date
Application number
KR1020140151566A
Other languages
Korean (ko)
Other versions
KR102188163B1 (en
Inventor
최진혁
신동인
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140151566A priority Critical patent/KR102188163B1/en
Publication of KR20160051463A publication Critical patent/KR20160051463A/en
Application granted granted Critical
Publication of KR102188163B1 publication Critical patent/KR102188163B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T5/90—

Abstract

An embodiment of the present invention relates to a system to pre-process an image with low level of illumination, and a method thereof. According to an embodiment of the present invention, the system to pre-process the image with low level of illumination comprises: image input unit to receive input of image data; a brightness adjustment calculation unit to calculate a brightness adjustment value using an average brightness of the image data, and a reference image brightness; and a brightness adjustment value application unit to apply the calculated brightness adjustment value to the image data. According to an embodiment of the present invention, the system to pre-process the image with low level of illumination is able to enhance a movement detecting ability.

Description

저조도 영상의 전처리 시스템 및 그 방법{System for processing a low light level image and method thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a low-

본 발명은 저조도 영상의 전처리 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 저조도 영상에서의 움직임 검출을 위한 전처리 기술에 관한 것이다.The present invention relates to a preprocessing system for a low-illuminance image and a method thereof, and more particularly to a preprocessing technique for motion detection in a low-illuminance image.

일반적인 카메라로 획득되는 영상, 즉 사진(photo)은 빛에 의한 에너지가 센서의 특정한 위치에 결집되므로 생성되고, 빛에 의한 에너지는 빛의 입자적인 특성에 비추어 볼 때 광자(photon)라는 물리적인 형태로 표현되며 영상의 화소는 이러한 광자들이 전달한 에너지가 광센서와 전기장치에 의하여 변환된 에너지의 전기적인 값이다.The image obtained by a typical camera, that is, a photo, is generated because the energy of light is collected at a specific position of the sensor, and the energy due to the light is a physical form called a photon And the pixels of the image are the electrical values of the energy transferred by these photons and converted by the optical sensor and the electrical device.

그러나 주변 광원이 거의 없는 저조도 환경에서는 광자의 수가 극히 제한되고 일반적인 카메라는 이러한 광자의 검출이 불가능하여 물체의 식별이 일반적인 카메라로 영상을 획득하기는 불가능하다고 하는 문제점이 있다.However, the number of photons is extremely limited in a low-illuminance environment in which there is almost no ambient light source, and a conventional camera can not detect such a photon, so that identification of an object is impossible to acquire an image with a general camera.

이에, 저조도 환경에서 카메라 영상에서 움직임 검출을 위해서는 전처리 과정이 필요하다.Therefore, a preprocessing process is required for motion detection in a camera image in a low-illuminance environment.

본 발명의 실시예는 저조도 영상의 전처리 과정에서 움직임 성분을 강하게 나타나도록 처리하여 움직임 검출 성능을 향상시킬 수 있는 저조도 영상의 전처리 시스템 및 그 방법을 제공하고자 한다.An embodiment of the present invention is to provide a pre-processing system and method for a low-illuminance image capable of enhancing motion detection performance by processing a motion component so as to strongly appear in a preprocessing process of a low-illuminance image.

본 발명의 실시예에 따른 저조도 영상의 전처리 시스템은 영상 데이터를 입력받는 영상 입력부; 상기 영상 데이터의 평균 밝기 및 기준 영상 밝기를 이용하여 밝기조정값을 산출하는 밝기조정값 산출부; 및 상기 산출된 밝기조정값을 상기 영상 데이터에 적용하는 밝기조정값 적용부를 포함할 수 있다.A preprocessing system for a low-illuminance image according to an exemplary embodiment of the present invention includes an image input unit receiving image data; A brightness adjustment value calculator for calculating a brightness adjustment value using the average brightness of the image data and the reference image brightness; And a brightness adjustment value application unit for applying the calculated brightness adjustment value to the image data.

또한, 상기 영상 데이터의 평균 밝기를 산출하는 평균밝기 산출부; 및 상기 영상 데이터의 표준 편차를 산출하는 표준편차 산출부를 더 포함할 수 있다.An average brightness calculating unit for calculating an average brightness of the image data; And a standard deviation calculation unit for calculating a standard deviation of the image data.

또한, 상기 표준편차를 이용하여 상기 영상 데이터의 고대비 여부를 판단하는 고대비 판단부를 더 포함할 수 있다.The image processing apparatus may further include a high contrast determination unit for determining whether the image data has high contrast using the standard deviation.

또한, 상기 고대비 판단부는, 상기 표준편차가 미리 정한 임계값보다 크면 고대비 영상인 것으로 판단할 수 있다.In addition, the high contrast determination unit may determine that the standard deviation is a high contrast image if the standard deviation is greater than a predetermined threshold value.

또한, 상기 고대비 영상에 대해 고대비를 저하시키는 고대비 영상 처리부를 더 포함할 수 있다.In addition, the image processing apparatus may further include a high contrast image processing unit for reducing the high contrast of the high contrast image.

또한, 상기 밝기조정값 적용부는 상기 영상 데이터가 고대비 영상인 경우, 상기 고대비 영상처리부에서 고대비가 저하된 영상 데이터에 대해 밝기조정값을 적용할 수 있다.In addition, when the image data is a high-contrast image, the brightness adjustment value application unit may apply the brightness adjustment value to the image data in which the ancient ratio has decreased in the high-contrast image processing unit.

또한, 상기 영상 입력부는, 상기 입력된 영상 데이터가 최초 입력된 영상 데이터인지 판단하여, 상기 영상 데이터가 최초 입력된 영상 데이터가 아닌 경우 영상 데이터를 상기 밝기조정값 적용부로 전송하고, 상기 입력된 영상 데이터가 최초 입력된 영상 데이터인 경우 상기 영상 데이터를 상기 평균 밝기 산출부 및 상기 표준편차 산출부로 전송할 수 있다.The image input unit may determine whether the input image data is the first input image data, transmit the image data to the brightness adjustment value application unit when the image data is not the first input image data, The image data may be transmitted to the average brightness calculating unit and the standard deviation calculating unit when the data is the first inputted image data.

본 발명에 따른 저조도 영상의 전처리 방법은 영상 데이터를 입력되면, 입력된 영상 데이터의 평균 밝기를 산출하는 단계; 상기 산출된 평균 밝기 및 기준 영상 밝기를 이용하여 밝기조정값을 산출하는 단계; 및 상기 밝기조정값을 상기 영상 데이터에 적용하여 화면 밝기를 조절하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a preprocessing method of a low-illuminance image, the method comprising: calculating average brightness of input image data when the image data is input; Calculating a brightness adjustment value using the calculated average brightness and the reference image brightness; And adjusting the brightness of the screen by applying the brightness adjustment value to the image data.

또한, 상기 영상 데이터의 평균 밝기를 산출하는 단계는 상기 영상 데이터가 입력되면 상기 영상 데이터가 최초 영상 데이터인지 판단하는 단계; 상기 영상 데이터가 최초 영상 데이터인 경우 상기 평균 밝기를 산출하는 단계; 상기 영상 데이터가 최초 영상 데이터가 아닌 경우 이전에 산출한 밝기조정값을 적용한 후 적용된 영상 데이터에 대해 상기 평균 밝기를 산출하는 단계를 포함할 수 있다.The calculating of the average brightness of the image data may include: determining whether the image data is the first image data when the image data is input; Calculating the average brightness when the image data is the first image data; And calculating the average brightness for the applied image data after applying the previously calculated brightness adjustment value when the image data is not the initial image data.

또한, 상기 화면 밝기를 조절하는 단계는, 상기 영상 데이터의 표준 편차를 산출하는 단계; 상기 표준 편차를 이용하여 상기 영상 데이터의 고대비 여부를 판단하는 단계; 상기 영상 데이터가 고대비 영상인 경우 고대비를 저하시키는 단계; 및 상기 고대비가 저하된 영상 데이터에 대해 상기 밝기조정값을 적용하는 단계를 포함할 수 있다.The adjusting the brightness of the screen may include calculating a standard deviation of the image data; Determining whether the image data is high-contrast using the standard deviation; Decreasing high contrast when the image data is a high contrast image; And applying the brightness adjustment value to the image data whose antecedent ratio is degraded.

본 기술은 야간에 촬영된 영상 데이터에서 야간 보행자 및 야간 차량 등의 움직임에 대한 시인성을 향상시킬 수 있다.This technique can improve the visibility of the motion of the nighttime pedestrian and the nighttime vehicle in the image data photographed at night.

도 1은 본 발명의 실시예에 따른 저조도 영상의 전처리 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 저조도 영상의 전처리방법을 나타내는 순서도이다.
도 3a는 고대비 영상 데이터에 히스토그램 스트래칭을 적용한 경우의 예시도이이다.
도 3b는 고대비 영상 데이터에 히스토그램 스트래칭을 적용한 경우의 예시도이다.
도 4a는 디폴트 밝기조정값의 상태일 때의 화면 밝기를 나타내는 예시도이다.
도 4b는 밝기조정값이 "+30"일 때의 화면 밝기를 나타내는 예시도이다.
도 4c는 밝기조정값이 "+450"일 때의 화면 밝기를 나타내는 예시도이다.
도 5a는 본 발명의 실시예에 따른 밝기조정값의 변화를 나타내는 그래프이다.
도 5b는 본 발명의 실시예에 따른 밝기조정값 조절을 통한 최적 영상 밝기 조절된 경우를 나타내는 그래프이다.
도 6a는 저조도 영상 데이터의 예시도이다.
도 6b는 본 발명의 전처리 기술을 저조도 영상 데이터에 적용하여 화면 밝기가 밝아진 예시도이다.
도 6c는 고대비 영상 데이터의 예시도이다.
도 6d는 본 발명의 전처리 기술을 고대비 영상 데이터에 적용하여 화면 밝기가 밝아진 예시도이다.
도 7은 본 발명의 실시예에 따른 저조도 영상의 전처리 알고리즘을 적용한 하드웨어 구성을 나타내는 도면이다.1 is a configuration diagram of a preprocessing system for a low-illuminance image according to an embodiment of the present invention.
2 is a flowchart illustrating a preprocessing method of a low-illuminance image according to an embodiment of the present invention.
3A is an exemplary diagram of histogram stretching applied to high contrast image data.
FIG. 3B is an example of histogram stretching applied to high-contrast image data.
FIG. 4A is an exemplary diagram showing screen brightness when the default brightness adjustment value is in a state. FIG.
4B is an exemplary diagram showing the screen brightness when the brightness adjustment value is "+30 ".
4C is an exemplary diagram showing the screen brightness when the brightness adjustment value is "+450 ".
5A is a graph illustrating a change in brightness adjustment value according to an embodiment of the present invention.
FIG. 5B is a graph illustrating a case where an optimal image brightness is adjusted by adjusting a brightness adjustment value according to an exemplary embodiment of the present invention.
6A is an exemplary view of low-illuminance image data.
FIG. 6B is an example of brightness of a screen illuminated by applying the pre-processing technique of the present invention to low-illuminance image data.
6C is an illustration of high contrast image data.
FIG. 6D is an example of brightness of a screen obtained by applying the pre-processing technique of the present invention to high-contrast image data.
7 is a diagram illustrating a hardware configuration to which a pre-processing algorithm for a low-illuminance image according to an embodiment of the present invention is applied.

이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention.

전처리 알고리즘은 영상 처리 과정에서 움직임 검출 알고리즘을 수행하기 전에 원본 영상 데이터의 매 프레임마다 수행되어 원본 영상 데이터의 밝기 조절 및 노이즈 신호를 처리하는 과정으로, 특히 본 발명에서는 저조도 영상의 전처리 알고리즘에 관한 기술을 개시한다.
The preprocessing algorithm is performed for each frame of the original image data before performing the motion detection algorithm in the image processing, thereby adjusting the brightness of the original image data and processing the noise signal. Particularly, in the present invention, .

이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 7. FIG.

도 1은 본 발명의 실시예에 따른 저조도 영상의 전처리 시스템의 구성도이다.1 is a configuration diagram of a preprocessing system for a low-illuminance image according to an embodiment of the present invention.

본 발명에 따른 저조도 영상의 전처리 시스템은 영상 입력부(100), 평균 밝기 산출부(200), 표준편차 산출부(300), 밝기조정값 산출부(400), 고대비 판단부(500), 고대비 영상 처리부(600), 밝기조정값 적용부(700)를 포함한다.A preprocessing system for a low-illuminance image according to the present invention includes an image input unit 100, an average brightness calculating unit 200, a standard deviation calculating unit 300, a brightness adjusting value calculating unit 400, a high contrast determining unit 500, A contrast image processor 600, and a brightness adjustment value application unit 700.

영상 입력부(100)는 카메라(미도시)로부터 영상 데이터를 입력받으면, 입력된 영상 데이터가 최초 입력된 영상 데이터인지 판단하여, 영상 데이터가 최초 입력된 영상 데이터가 아닌 경우 영상 데이터를 밝기조정값 적용부(700)로 전송하고, 한편, 입력된 영상 데이터가 최초 입력된 영상 데이터인 경우, 평균 밝기 산출부(200)와 표준편차 산출부(300)로 영상 데이터를 전송한다.When the image input unit 100 receives the image data from the camera (not shown), it determines whether the input image data is the first input image data. When the image data is not the first input image data, the image input unit 100 applies the brightness adjustment value And transmits the image data to the average brightness calculating unit 200 and the standard deviation calculating unit 300 when the inputted image data is the first inputted image data.

평균 밝기 산출부(200)는 현재 영상 데이터의 평균 밝기를 산출하고 표준편차 산출부(300)는 영상 데이터의 표준 편차를 산출한다밝기조정값 산출부(400)는 산출된 평균 밝기와 기준 영상 밝기의 차이만큼을 밝기조정값으로 산출한다. 이때, 기준 영상 밝기는 이전 영상 데이터와 현재 영상 데이터의 차영상 특성이 가장 잘 나타나는 최적의 밝기 상태를 의미하고 밝기조정값의 산출 방법은 아래 수학식 1을 통해 구체적으로 설명하기로 한다.The average brightness calculator 200 calculates the average brightness of the current image data and the standard deviation calculator 300 calculates the standard deviation of the image data. The brightness adjustment value calculator 400 calculates the average brightness of the image data, Is calculated as the brightness adjustment value. In this case, the reference image brightness means an optimum brightness state in which the difference image characteristic between the previous image data and the current image data is best represented, and a method of calculating the brightness adjustment value will be described in detail with reference to Equation 1 below.

고대비 판단부(500)는 표준편차 산출부(300)에서 산출된 표준편차가 미리 정한 임계값과 비교하여 고대비 영상 여부를 판단한다. 즉, 고대비 판단부(500)는 표준편차가 임계값보다 작으면 고대비 영상이 아닌 것으로 판단하고, 표준편차가 임계값(β)보다 크면 고대비 영상으로 판단한다.The high contrast determination unit 500 compares the standard deviation calculated by the standard deviation calculation unit 300 with a predetermined threshold value to determine whether the high contrast image is displayed. That is, the high contrast determination unit 500 determines that the standard deviation is not the high contrast image if the standard deviation is smaller than the threshold value, and determines the high contrast image if the standard deviation is larger than the threshold value beta.

고대비 영상 처리부(600)는 영상 데이터의 대비가 심한 특정 영역에 히스토그램 스트래칭(histogram stretching)을 적용하여 고대비를 저하시킨다.The high contrast image processing unit 600 applies histogram stretching to a specific region where the contrast of image data is severe, thereby degrading high contrast.

밝기조정값 적용부(700)는 밝기조정값 산출부(400)에서 산출된 밝기조정값을 영상 데이터에 적용시켜 화면 밝기를 조절한다.The brightness adjustment value application unit 700 adjusts the screen brightness by applying the brightness adjustment value calculated by the brightness adjustment value calculation unit 400 to the image data.

이와 같은 구성을 갖는 본 발명의 저조도 영상에서의 전처리 시스템은 저조도 영상의 전처리를 통해 화면 밝기를 최적으로 조절하여 영상 내의 보행자 또는 물체를 확인할 수 있도록 한다.
The pre-processing system in the low-illuminance image having the above-described structure of the present invention optimizes the brightness of the screen through the preprocessing of the low-illuminance image so that the pedestrian or object in the image can be identified.

이하, 도 2를 참조하여 본 발명의 실시예에 따른 저조도 영상의 전처리 방법을 구체적으로 설명하기로 한다.Hereinafter, a method of pre-processing a low-illuminance image according to an embodiment of the present invention will be described in detail with reference to FIG.

먼저, 영상 입력부(100)는 카메라(미도시)로부터 영상 데이터를 입력받으면(S101), 입력된 영상 데이터가 최초 입력된 영상 데이터인지 판단하여(S102), 영상 데이터가 최초 입력된 영상 데이터가 아닌 경우 영상 데이터를 밝기조정값 적용부(700)로 전송하여 밝기조정값 적용부(700)가 이전 영상 데이터의 전처리 과정 시 산출된 밝기조정값을 현재의 영상 데이터에 적용하여 영상 밝기를 조절한다(S103). 이후, 영상 입력부(100)는 조절된 영상 데이터를 평균 밝기 산출부(200)와 표준편차 산출부(300)로 전송한다.First, when the image input unit 100 receives the image data from the camera (S101), it determines whether the input image data is the first inputted image data (S102). If the image data is not the first input image data The brightness adjustment value application unit 700 applies the brightness adjustment value calculated during the preprocessing of the previous image data to the current image data to adjust the brightness of the image S103). Then, the image input unit 100 transmits the adjusted image data to the average brightness calculating unit 200 and the standard deviation calculating unit 300.

한편, 입력된 영상 데이터가 최초 입력된 영상 데이터인 경우, 영상 입력부(100)는 평균 밝기 산출부(200)와 표준편차 산출부(300)로 영상 데이터를 전송하여, 평균 밝기 산출부(200)가 영상 데이터의 평균 밝기를 산출하고 표준편차 산출부(300)가 영상 데이터의 표준 편차를 산출한다(S104). 이때, 평균밝기와 표준 편차는 통상의 방식으로 산출할 수 있다. If the input image data is the first input image data, the image input unit 100 transmits the image data to the average brightness calculating unit 200 and the standard deviation calculating unit 300, and the average brightness calculating unit 200 Calculates the average brightness of the image data, and the standard deviation calculating unit 300 calculates the standard deviation of the image data (S104). At this time, the average brightness and standard deviation can be calculated in a usual manner.

그 후, 밝기조정값 산출부(400)는 산출된 평균 밝기와 기준 영상 밝기의 차이만큼 밝기조정값을 산출한다(S105). 이때, 기준 영상 밝기는 이전 영상 데이터와 현재 영상 데이터의 차영상 특성이 가장 잘 나타나는 최적의 밝기 상태를 의미한다. 이에, 기준 영상 밝기는 수많은 실험과 데이터를 통해 120~130(픽셀)로 설정할 수 있다.Thereafter, the brightness adjustment value calculator 400 calculates the brightness adjustment value by the difference between the calculated average brightness and the reference image brightness (S105). In this case, the reference image brightness means an optimal brightness state in which the difference image characteristic between the previous image data and the current image data is best represented. Accordingly, the reference image brightness can be set to 120 to 130 (pixels) through a large number of experiments and data.

평균 밝기와 기준 영상 밝기의 차에 의한 밝기조정값 산출 관계식은 아래 수학식 1과 같다.The brightness adjustment value calculation relation based on the difference between the average brightness and the reference image brightness is expressed by Equation 1 below.

Figure pat00001
Figure pat00001

여기서, G는 밝기조정값(Gain), K는 디폴트 밝기조정값(default Gain), AVGDiff는 평균 밝기와 기준 영상 밝기의 차, α는 임계값을 의미한다.Here, G denotes a brightness adjustment value (Gain), K denotes a default brightness adjustment value (default Gain), AVG Diff denotes a difference between an average brightness and a reference image brightness, and a denotes a threshold value.

이러한 밝기조정값은 평균 밝기가 기준 영상 밝기보다 어두우면 플러스(+)값을 가지게 되고 평균 밝기가 기준 영상 밝기보다 밝으면 마이너스(-) 값을 가지게 된다.The brightness adjustment value has a plus (+) value when the average brightness is darker than the reference image brightness, and a minus (-) value when the average brightness is brighter than the reference image brightness.

도 4a는 디폴트 밝기조정값의 상태일 때의 화면 밝기를 나타내는 예시도이고, 도 4b는 밝기조정값이 "+30"일 때의 화면 밝기를 나타내는 예시도이며, 도 4c는 밝기조정값이 "+450"일 때의 화면 밝기를 나타내는 예시도이다.FIG. 4A is a diagram illustrating a screen brightness when the brightness adjustment value is "+30 ". FIG. 4C is a diagram illustrating a screen brightness when the brightness adjustment value is" Quot; +450 ".

이어서, 고대비 판단부(500)는 표준편차 산출부(300)에서 산출된 표준편차가 미리 정한 임계값과 비교하여 고대비 영상 여부를 판단한다(S106). 이때, 고대비 영상은 도 6b와 같이 특정 영역의 밝기가 강하여 물체가 구분되지 않은 경우를 의미한다.Then, the high contrast determination unit 500 compares the standard deviation calculated by the standard deviation calculation unit 300 with a predetermined threshold value to determine whether the high contrast image is displayed (S106). Here, the high-contrast image means a case where the brightness of the specific region is strong and the object is not distinguished as shown in FIG. 6B.

고대비 판단부(500)는 표준편차가 임계값보다 작으면 고대비 영상이 아닌 것으로 판단하고, 표준편차가 임계값(β)보다 크면 고대비 영상으로 판단한다.The high contrast determination unit 500 determines that the standard deviation is not a high contrast image if the standard deviation is smaller than the threshold value and determines the high contrast image if the standard deviation is larger than the threshold value beta.

상기 과정 S106의 판단 결과, 고대비 영상이 아닌 경우 밝기조정값 적용부(700)는 상기 과정 S105에서 산출된 밝기조정값을 영상 데이터에 적용시켜 화면 밝기를 조절한다(S108). 도 6a와 같이 저조도 영상 데이터에 대해 밝기조정값을 적용시키면 도 6b와 같이 화면 밝기가 밝아져 이동중인 보행자 또는 차량의 시인이 좋아짐을 알 수 있다.If it is determined in step S106 that the image is not a high contrast image, the brightness adjustment value application unit 700 adjusts the brightness of the screen by applying the brightness adjustment value calculated in step S105 to the image data (step S108). As shown in FIG. 6A, when the brightness adjustment value is applied to the low-illuminance image data, the brightness of the screen is increased as shown in FIG. 6B, and thus the visibility of the moving pedestrian or the vehicle is improved.

고대비 영상으로 판단되면, 고대비 영상 처리부(600)에서 영상 데이터에 히스토그램 스트래칭(histogram stretching)을 적용한다(S107). 도 3a와 같이 빛이 포화된 영역과 어두운 영역의 대조가 존재하는 상태에서 전체 영상 데이터에 대해 일괄적으로 밝기조정값 적용 시 빛이 포화된 영역과 어두운 영역의 대조가 더욱 극명하게 커지게 된다. 이에, 도 3b와 같이 히스토그램의 재배열이 필요하다. If the high contrast image is determined, the high contrast image processor 600 applies histogram stretching to the image data (S107). As shown in FIG. 3A, when the brightness adjustment value is collectively applied to the entire image data in the state where the light saturated area and the darkened area exist, the contrast between the light saturated area and the darkened area becomes more apparent. Thus, it is necessary to rearrange the histogram as shown in FIG. 3B.

고대비 영상 처리부(600)는 특정 영역에 대해서 히스토그램 스트레칭을 적용한다. 즉, 고대비 영상 처리부(600)는 어두운 영역을 제외하고 빛이 포화된 영역에 대해서 밝기를 낮추도록 하여 영상 데이터 전체의 밝기를 고르게 만든다. 이때, 부분적 스트래칭을 적용하여 130~255 픽셀영역을 130~180 픽셀영역으로 축소 스트래칭 진행한다.The high contrast image processing unit 600 applies histogram stretching to a specific region. That is, the high-contrast image processing unit 600 lowers the brightness of the saturated region except for the dark region, thereby making the brightness of the entire image data uniform. At this time, the partial stretching is applied to reduce the 130 to 255 pixel area to the 130 to 180 pixel area.

이 후, 밝기조정값 적용부(700)는 상기 과정 S105에서 산출된 밝기조정값을 히스토그램 스트래칭이 적용된 영상 데이터에 적용시켜 화면 밝기를 조절한다(S108). Thereafter, the brightness adjustment value application unit 700 adjusts the screen brightness by applying the brightness adjustment value calculated in step S105 to the image data to which the histogram stretching is applied (S108).

도 6c와 같이 화면이 너무 밝아 보행자 또는 차량을 확인할 수 없는 고대비 영상 데이터에 히스토그램 스트래칭을 적용한 후 밝기조정값을 적용한 경우 도 6d와 같이 화면 밝기가 최적으로 밝아져 보행자 또는 차량 등 물체의 시인성이 좋아진 것을 알 수 있다. As shown in FIG. 6C, when the brightness adjustment value is applied after histogram stretching is applied to the high-contrast image data in which the pedestrian or the vehicle can not be identified because the screen is too bright, the brightness of the screen is optimally bright, I can see that it is getting better.

도 5a는 밝기조정값을 나타내는 그래프이고, 도 5b는 평균 밝기를 나타내는 그래프로서, 평균 밝기가 기준 밝기인 120으로 조절된 경우를 도시하고 있다. 이때, 중간중간 블랭크 화면(검정화면)을 삽입하여 기준 영상 밝기를 유지하는 지 확인할 수 있으며 도 5b에서 피크부분이 블랭크 화면 시작시점이고 점선부분이 기준 영상 밝기로 밝기가 조절된 것을 의미한다.FIG. 5A is a graph showing the brightness adjustment value, and FIG. 5B is a graph showing the average brightness, in which the average brightness is adjusted to 120, which is the reference brightness. In this case, it can be confirmed whether the reference image brightness is maintained by inserting the intermediate intermediate blank screen (black screen). In FIG. 5B, the peak portion is the start point of the blank screen and the dotted portion is the brightness of the reference image brightness.

본 발명의 전처리 시스템은 상술한 과정 S101~S108의 전처리 과정이 수행된 영상 데이터를 움직임 후보 검출 시스템(미도시)의 입력값으로 전달할 수 있다.The preprocessing system of the present invention can transmit the image data subjected to the preprocessing processes of the above-described processes S101 to S108 as input values of a motion candidate detection system (not shown).

이와 같이, 본 발명은 영상의 밝기를 높이거나 낮추면서 주변 밝기에 가려져 있던 움직임 특성이 드러나도록 하는 것으로 밝기조정값을 조절하여 영상 내 움직임 여부를 확인할 수 있도록 한다.
As described above, the present invention can increase or decrease the brightness of the image and reveal the motion characteristics hidden by the surrounding brightness, thereby adjusting the brightness adjustment value so as to check whether the image is moving.

도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 7, a computing system 1000 includes at least one processor 1100, a memory 1300, a user interface input device 1400, a user interface output device 1500, (1600), and a network interface (1700).

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다. The processor 1100 may be a central processing unit (CPU) or a memory device 1300 and / or a semiconductor device that performs processing for instructions stored in the storage 1600. Memory 1300 and storage 1600 may include various types of volatile or non-volatile storage media. For example, the memory 1300 may include a ROM (Read Only Memory) and a RAM (Random Access Memory).

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.Thus, the steps of a method or algorithm described in connection with the embodiments disclosed herein may be embodied directly in hardware, in a software module executed by processor 1100, or in a combination of the two. The software module may reside in a storage medium (i.e., memory 1300 and / or storage 1600) such as a RAM memory, a flash memory, a ROM memory, an EPROM memory, an EEPROM memory, a register, a hard disk, a removable disk, You may. An exemplary storage medium is coupled to the processor 1100, which can read information from, and write information to, the storage medium. Alternatively, the storage medium may be integral to the processor 1100. [ The processor and the storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and the storage medium may reside as discrete components in a user terminal.

상술한 본 발명의 바람직한 실시예는 예시의 목적을 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It should be regarded as belonging to the claims.

Claims (10)

영상 데이터를 입력받는 영상 입력부;
상기 영상 데이터의 평균 밝기 및 기준 영상 밝기를 이용하여 밝기조정값을 산출하는 밝기조정값 산출부; 및
상기 산출된 밝기조정값을 상기 영상 데이터에 적용하는 밝기조정값 적용부
를 포함하는 저조도 영상의 전처리 시스템.A video input unit for receiving video data;
A brightness adjustment value calculator for calculating a brightness adjustment value using the average brightness of the image data and the reference image brightness; And
A brightness adjustment value application unit for applying the calculated brightness adjustment value to the image data,
A pre-processing system for low-illuminance images. 청구항 1에 있어서,
상기 영상 데이터의 평균 밝기를 산출하는 평균밝기 산출부; 및
상기 영상 데이터의 표준 편차를 산출하는 표준편차 산출부
를 더 포함하는 것을 특징으로 하는 저조도 영상의 전처리 시스템.The method according to claim 1,
An average brightness calculating unit for calculating an average brightness of the image data; And
A standard deviation calculation unit for calculating a standard deviation of the image data,
Further comprising: a pre-processing unit for pre-processing the low-illuminance image. 청구항 2에 있어서,
상기 표준편차를 이용하여 상기 영상 데이터의 고대비 여부를 판단하는 고대비 판단부
를 더 포함하는 것을 특징으로 저조도 영상의 전처리 시스템.The method of claim 2,
A high-contrast determination unit for determining whether the image data is high-contrast using the standard deviation,
Processing system for low-illuminance images. 청구항 3에 있어서,
상기 고대비 판단부는,
상기 표준편차가 미리 정한 임계값보다 크면 고대비 영상인 것으로 판단하는 것을 특징으로 하는 저조도 영상의 전처리 시스템.The method of claim 3,
The high-
Contrast image if the standard deviation is greater than a predetermined threshold value. 청구항 4에 있어서,
상기 고대비 영상에 대해 고대비를 저하시키는 고대비 영상 처리부
를 더 포함하는 것을 특징으로 하는 저조도 영상의 전처리 시스템.The method of claim 4,
A high-contrast image processing unit for lowering high contrast with respect to the high-
Further comprising: a pre-processing unit for pre-processing the low-illuminance image. 청구항 5에 있어서,
상기 밝기조정값 적용부는
상기 영상 데이터가 고대비 영상인 경우, 상기 고대비 영상처리부에서 고대비가 저하된 영상 데이터에 대해 밝기조정값을 적용하는 것을 특징으로 하는 저조도 영상의 전처리 시스템.The method of claim 5,
The brightness adjustment value application unit
Wherein when the image data is a high-contrast image, the high-contrast image processing unit applies a brightness adjustment value to the image data whose antecedent ratio is degraded. 청구항 2에 있어서,
상기 영상 입력부는,
상기 입력된 영상 데이터가 최초 입력된 영상 데이터인지 판단하여, 상기 영상 데이터가 최초 입력된 영상 데이터가 아닌 경우 영상 데이터를 상기 밝기조정값 적용부로 전송하고, 상기 입력된 영상 데이터가 최초 입력된 영상 데이터인 경우 상기 영상 데이터를 상기 평균 밝기 산출부 및 상기 표준편차 산출부로 전송하는 것을 특징으로 저조도 영상의 전처리 시스템. The method of claim 2,
Wherein the image input unit comprises:
The control unit determines whether the input image data is the first input image data, and transmits the image data to the brightness adjustment value application unit when the image data is not the firstly input image data, And transmits the image data to the average brightness calculating unit and the standard deviation calculating unit. 영상 데이터를 입력되면, 입력된 영상 데이터의 평균 밝기를 산출하는 단계;
상기 산출된 평균 밝기 및 기준 영상 밝기를 이용하여 밝기조정값을 산출하는 단계; 및
상기 밝기조정값을 상기 영상 데이터에 적용하여 화면 밝기를 조절하는 단계
를 포함하는 것을 특징으로 하는 저조도 영상의 전처리 방법.Calculating average brightness of input image data when the image data is input;
Calculating a brightness adjustment value using the calculated average brightness and the reference image brightness; And
Adjusting the brightness of the screen by applying the brightness adjustment value to the image data
Wherein the low-illuminance image comprises a plurality of pixels. 청구항 8에 있어서,
상기 영상 데이터의 평균 밝기를 산출하는 단계는
상기 영상 데이터가 입력되면 상기 영상 데이터가 최초 영상 데이터인지 판단하는 단계;
상기 영상 데이터가 최초 영상 데이터인 경우 상기 평균 밝기를 산출하는 단계;
상기 영상 데이터가 최초 영상 데이터가 아닌 경우 이전에 산출한 밝기조정값을 적용한 후 적용된 영상 데이터에 대해 상기 평균 밝기를 산출 하는 단계
를 포함하는 것을 특징으로 하는 저조도 영상의 전처리 방법.The method of claim 8,
The step of calculating the average brightness of the image data
Determining whether the image data is the first image data when the image data is input;
Calculating the average brightness when the image data is the first image data;
When the image data is not the first image data, calculating the average brightness for the applied image data after applying the previously calculated brightness adjustment value
Wherein the low-illuminance image comprises a plurality of pixels. 청구항 8에 있어서,
상기 화면 밝기를 조절하는 단계는,
상기 영상 데이터의 표준 편차를 산출하는 단계;
상기 표준 편차를 이용하여 상기 영상 데이터의 고대비 여부를 판단하는 단계;
상기 영상 데이터가 고대비 영상인 경우 고대비를 저하시키는 단계; 및
상기 고대비가 저하된 영상 데이터에 대해 상기 밝기조정값을 적용하는 단계
를 포함하는 것을 특징으로 하는 저조도 영상의 전처리 방법.The method of claim 8,
Wherein the step of adjusting the screen brightness comprises:
Calculating a standard deviation of the image data;
Determining whether the image data is high-contrast using the standard deviation;
Decreasing high contrast when the image data is a high contrast image; And
Applying the brightness adjustment value to the image data whose antecedent ratio has decreased;
Wherein the low-illuminance image comprises a plurality of pixels.
KR1020140151566A 2014-11-03 2014-11-03 System for processing a low light level image and method thereof KR102188163B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140151566A KR102188163B1 (en) 2014-11-03 2014-11-03 System for processing a low light level image and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140151566A KR102188163B1 (en) 2014-11-03 2014-11-03 System for processing a low light level image and method thereof

Publications (2)

Publication Number Publication Date
KR20160051463A true KR20160051463A (en) 2016-05-11
KR102188163B1 KR102188163B1 (en) 2020-12-07

Family

ID=56026209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140151566A KR102188163B1 (en) 2014-11-03 2014-11-03 System for processing a low light level image and method thereof

Country Status (1)

Country Link
KR (1) KR102188163B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231505A (en) * 2017-07-18 2017-10-03 北京小米移动软件有限公司 Image processing method and device
KR102277005B1 (en) 2020-03-13 2021-07-14 이화여자대학교 산학협력단 Low-Light Image Processing Method and Device Using Unsupervised Learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282416A (en) * 2003-03-17 2004-10-07 Oki Data Corp Method and apparatus for processing image
KR20070121299A (en) * 2006-06-22 2007-12-27 주식회사 아이닉스 Device and method for wide dynamic range
KR20090032385A (en) * 2007-09-27 2009-04-01 삼성전기주식회사 Apparatus and method of stretching histogram for enhancing contrast of image
JP2011166520A (en) * 2010-02-10 2011-08-25 Panasonic Corp Gradation correction device and image display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282416A (en) * 2003-03-17 2004-10-07 Oki Data Corp Method and apparatus for processing image
KR20070121299A (en) * 2006-06-22 2007-12-27 주식회사 아이닉스 Device and method for wide dynamic range
KR20090032385A (en) * 2007-09-27 2009-04-01 삼성전기주식회사 Apparatus and method of stretching histogram for enhancing contrast of image
JP2011166520A (en) * 2010-02-10 2011-08-25 Panasonic Corp Gradation correction device and image display device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231505A (en) * 2017-07-18 2017-10-03 北京小米移动软件有限公司 Image processing method and device
CN107231505B (en) * 2017-07-18 2019-09-10 北京小米移动软件有限公司 Image processing method and device
KR102277005B1 (en) 2020-03-13 2021-07-14 이화여자대학교 산학협력단 Low-Light Image Processing Method and Device Using Unsupervised Learning

Also Published As

Publication number Publication date
KR102188163B1 (en) 2020-12-07

Similar Documents

Publication Publication Date Title
US9710715B2 (en) Image processing system, image processing device, and image processing method
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
CN106127693B (en) Defogging system and defogging method
US9317910B2 (en) Defogging system and defogging method
US20090095880A1 (en) Autofocus control circuit, autofocus control method and image pickup apparatus
KR100557219B1 (en) Method and apparatus for compensating for automatic exposure
JP4645921B2 (en) Image signal processing apparatus and method, program, and imaging apparatus
EP3162048B1 (en) Exposure metering based on background pixels
US10091422B2 (en) Image processing device and recording medium
WO2019105254A1 (en) Background blur processing method, apparatus and device
JP6531542B2 (en) IMAGE PROCESSING SYSTEM, IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM
JP4595569B2 (en) Imaging device
JP4851505B2 (en) Image processing apparatus and image processing method
US10089731B2 (en) Image processing device to reduce an influence of reflected light for capturing and processing images
KR20160110019A (en) Image generating device and image generating method
KR20160051463A (en) System for processing a low light level image and method thereof
JP2017038139A (en) Imaging apparatus, imaging apparatus control method, and program
KR20190072643A (en) A face detecting apparatus, a control method therefor, and a program
WO2024024283A1 (en) Image recognition assistance device, method, and program
KR101761947B1 (en) Device and method for reducing blooming of camera image
JP2007312099A (en) Image-taking device
KR102099299B1 (en) Apparatus and method for detecting object
US11388346B2 (en) Image capturing control apparatus and image capturing control method
WO2021261125A1 (en) Movable body detection device and movable body detection method
CN116309085A (en) Enhancement method, device, medium and equipment for thermal imaging image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant