KR20100021952A - Image enhancement processing method and apparatus for distortion correction by air particle like fog - Google Patents

Image enhancement processing method and apparatus for distortion correction by air particle like fog Download PDF

Info

Publication number
KR20100021952A
KR20100021952A KR1020080111875A KR20080111875A KR20100021952A KR 20100021952 A KR20100021952 A KR 20100021952A KR 1020080111875 A KR1020080111875 A KR 1020080111875A KR 20080111875 A KR20080111875 A KR 20080111875A KR 20100021952 A KR20100021952 A KR 20100021952A
Authority
KR
South Korea
Prior art keywords
image
luminance image
scattering light
luminance
brightness
Prior art date
Application number
KR1020080111875A
Other languages
Korean (ko)
Other versions
KR101518722B1 (en
Inventor
강봉협
김동준
전창원
고한석
Original Assignee
삼성테크윈 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 고려대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to US12/436,885 priority Critical patent/US8396324B2/en
Publication of KR20100021952A publication Critical patent/KR20100021952A/en
Application granted granted Critical
Publication of KR101518722B1 publication Critical patent/KR101518722B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An image enhancement processing method and an apparatus for distortion correction by air particle like fog are provided to effectively eliminate scattered light into the air. CONSTITUTION: The scattered light map generation part(120) creates the atmosphere scattered light map based on the average of the first brightness signal and rate of the standard deviation. The subtraction unit(130) subtracts scattered light map from the brightness signal of Y/C transform unit(110). The edge enhancement part(140) performs the edge enhancement processing toward the brightness signal of the subtraction unit. The post processing unit(160) performs the histogram stretching about the RGB signal of the RGB transform unit(150).

Description

안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치 {Image enhancement processing method and apparatus for distortion correction by air particle like fog}[0001] The present invention relates to an image processing method and apparatus for correcting distortion caused by atmospheric scattering particles such as fog,

본 발명은 영상 처리에 관한 것으로, 더 상세하게는 안개 환경에서의 안개로 인한 왜곡을 보정하여 영상의 화질을 개선하는 영상 처리 방법 및 장치에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to image processing, and more particularly, to an image processing method and apparatus for improving image quality by correcting distortion caused by mist in a foggy environment.

안개란 대기 중의 수증기의 응결된 형태의 물방울이 떠있는 현상이다. 보통 안개가 끼었을 때 가시거리가 1km 미만의 시정 장애 현상이 나타난다. 안개가 끼었을 때 대기 중에 물방울 입자들이 생기게 되고 이 물방울 입자들로 인한 빛의 산란 현상이 발생한다. 빛의 산란이란 빛이 공기 중의 입자들과 충돌하여 진행방향이 바뀌는 것을 말한다. 이는 빛의 파장과 입자크기에 따라 다르다. Fog is a phenomenon in which condensed water droplets float in the atmosphere. When the mist is fogged, visibility disturbance of less than 1km appears. When fog occurs, droplet particles are generated in the atmosphere and scattering of light due to these droplet particles occurs. The scattering of light means that the light collides with particles in the air and changes its direction of travel. This depends on the wavelength of light and particle size.

일반적으로 빛의 산란은 크게 레일리 산란(Rayleigh scattering)과 미에 산란(Mie scattering)으로 나뉜다. 레일리 산란은 산란의 요인이 되는 입자의 크기가 빛의 파장보다 작을 때 적용되고 이때 산란 에너지는 파장의 네 제곱에 반비례한다. 맑은 날 빛이 공기분자들에 의해 산란될 때 파란색이 붉은색보다 더 많이 산란되어서 하늘이 파랗게 보이는 것이 그 예이다. 그러나 산란의 요인이 되는 입자의 크기가 빛의 파장보다 큰 경우의 빛의 산란은 미에 산란이론에 따른다. 안개의 경우 입자의 직경이 수μm 내지 수십 μm로 가시광선의 파장인 400nm~700nm의 파장보다 크기 때문에 미에 산란 이론에 따른다. 미에 산란 이론에 의하면 대기 중에 물방울과 같이 산란의 원인이 되는 입자의 크기가 클 때는 산란의 양이 파장의 영향을 적게 받아서 가시광선 영역의 모든 빛을 거의 동일하게 산란시킨다. 따라서 안개가 끼었을 때 피사체들이 뿌옇게 보이게 된다. 이 때 발생하는 새로운 광원을 대기 산란광(Airlight)이라고 한다.Generally, light scattering is largely divided into Rayleigh scattering and Mie scattering. Rayleigh scattering is applied when the size of the scattering particle is smaller than the wavelength of light, and the scattering energy is inversely proportional to the square of the wavelength. For example, when a sunny day is scattered by air molecules, blue is scattered more than red and the sky is blue. However, the scattering of light in the case where the size of the particle, which is a factor of scattering, is larger than the wavelength of light, is based on the micro scattering theory. In the case of fog, the particle diameter is from several μm to several tens μm, which is larger than the wavelength of 400 to 700 nm, which is the wavelength of visible light, so that it follows the myel scattering theory. According to the Mie scattering theory, when the size of scattering particles such as water drops in the atmosphere is large, the amount of scattering is less influenced by the wavelength, so that almost all the light in the visible light region is scattered almost equally. Therefore, when the fog is caught, the objects appear cloudy. The new light source that is generated at this time is called the air light.

안개 왜곡 보정을 통한 영상 화질 개선은 시정 장애를 해결하고 뿌연 영상을 선명하게 만들 수 있다. 또한, 안개로 인해 손상된 글씨, 물체 등에 대한 정보를 복원함으로써 인식을 위한 전처리 단계로서의 중요성을 가진다.Improvement of image quality through correction of fog distortion can solve visibility problems and make blurred images clear. Also, it has importance as a preprocessing step for recognition by restoring information about text, objects, etc. damaged due to fog.

종래의 안개 제거 기술은 크게 비 모델 방식과 모델 방식으로 나눌 수 있다. Conventional fog removal techniques can largely be divided into a non-model method and a model method.

전자의 예로는 히스토그램 평활화(Histogram equalization)를 들 수 있다. 히스토그램 평활화는 히스토그램 평활화는 영상의 히스토그램을 분석하여 분포를 재분배하는 방법이다. 이러한 히스토그램 평활화는 쉽고 개선의 효과가 좋지만, 깊이(Depth)가 균일하지 않은 안개 영상의 경우 적합하지 않다. 또한, 일반적인 화질 개선에 적합하나 안개가 영상에 미치는 영향의 특성을 잘 반영하지 못하여 짙은 안개 영상의 경우 개선이 미미하다는 단점이 있다.An example of the former is histogram equalization. Histogram Smoothing Histogram smoothing is a method of redistributing the distribution by analyzing the histogram of the image. This histogram smoothing is easy and effective, but it is not suitable for fog images where the depth is not uniform. Also, it is suitable for general image quality improvement, but it does not reflect characteristics of influence of fog on the image, so that there is a disadvantage that the improvement of dark fog image is insignificant.

후자는 안개로 인한 빛의 산란현상이 영상에 미치는 영향을 모델링한 방식이 다. 먼저, S. G. Narasimhan and S. K. Nayar의 "Contrast restoration of weather degraded images," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, pp. 713-724, 2003.에는 다른 날씨 환경에서 얻은 두 장 이상의 영상을 비교하여 장면 깊이(Scene depth)를 추정한 후 보정을 함으로써 안개에 의한 왜곡을 보정하는 기술이 개시되어 있다. 하지만, 이는 날씨가 서로 다른 2장의 영상 입력이 필요하므로 실시간 구현을 위해서는 날씨의 변화를 감지함과 동시에 그에 상응하는 영상 저장 공간을 필요로 하게 된다. 그리고, 날씨 변화에 대한 주기를 예측할 수 없기 때문에, 저장 주기에 관한 결정이 어렵게 된다. 또한, 오차가 없는 동일한 장면을 촬영해야만 하기 때문에 움직이는 물체가 있는 경우 안개 왜곡 정도를 추정 시 오류가 발생할 수 있다. The latter modeled the effect of light scattering due to fog on the image. First, S. G. Narasimhan and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, pp. 713-724, 2003 discloses a technique of correcting distortion caused by fog by comparing two or more images obtained in different weather environments, estimating the scene depth, and correcting the scene depth. However, this requires two image inputs having different weather conditions, so that real-time implementation requires a video storage space corresponding to the change of weather while sensing the change of weather. Since it is impossible to predict the cycle of the weather change, it becomes difficult to determine the storage cycle. In addition, since the same scene without errors should be photographed, an error may occur when estimating the degree of fog distortion when there is a moving object.

다음으로, J. P. Oakley and H. Bu의 "Correction of Simple Contrast Loss in Color Images," Image Processing, IEEE Transactions on, vol. 16, pp. 511-522, 2007.에는 안개에 의해 영상의 픽셀 값이 변한 정도를 추정하여 빼 줌으로써 안개에 의한 왜곡을 보정하는 기술이 명시되어 있다. 하지만, 안개가 균일하다는 가정으로부터 출발하였기 때문에 균일하고 옅은 안개의 경우에는 적용 가능하나 실제 균일하지 않은 안개의 경우가 더 많고, 안개가 균일하다고 할지라도 카메라와 피사체와의 거리에 따라 안개에 의하여 영향을 받는 정도가 달라지므로 실제 적용에 있어서는 문제점이 있다.Next, see J. P. Oakley and H. Bu, "Correction of Simple Contrast Loss in Color Images," Image Processing, IEEE Transactions on, vol. 16, pp. 511-522, 2007. A technique for correcting distortion caused by fog by specifying and subtracting the degree of change of pixel values of an image by fog is specified. However, since it is based on the assumption that the fog is homogeneous, it is applicable to uniform and light fog, but there are more cases of nonuniform fog, and even if the fog is uniform, depending on the distance between the camera and the object, There is a problem in actual application.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로, 안개를 포함한 영상으로부터 안개 성분을 효과적으로 추정하여 제거함으로써 영상 화질을 개선해 줄 수 있는 영상 처리 방법 및 장치를 제공하는 데 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an image processing method and apparatus capable of improving image quality by effectively estimating and removing fog components from an image including a fog.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 영상 처리 방법은 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 단계; 및 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 단계를 포함한다.According to an aspect of the present invention, there is provided an image processing method, comprising: receiving a first luminance image of an image including atmospheric air scattering; calculating a ratio of an average and a standard deviation of the first luminance image; Generating an atmospheric scattered light map based on the atmospheric scattered light map; And outputting a second luminance image from which the atmospheric scattering light is removed by subtracting the generated atmospheric scattering light map from the first luminance image.

바람직하게, 상기 대기 산란광 맵은 상기 대기 산란광에 의한 영향의 정도를 표현하는 것을 특징으로 한다.Preferably, the atmospheric scattering light map expresses the degree of influence by the atmospheric scattering light.

바람직하게, 상기 생성 단계는 상기 제1 휘도 영상을 소정의 개수의 블록으로 영역 분할하는 단계; 상기 분할한 영역별로 상기 제1 휘도 영상의 평균과 표준편차의 비율을 이용하여 비용 함수(cost function)를 정의하고, 상기 비용 함수를 이용해서 영역별로 대기 산란광 성분을 계산하는 단계; 및 상기 계산한 영역별 대기 산란광 성분을 최소 자승법(Least Square method)을 이용하여 상기 제1 휘도 영상의 대기 산란광 맵을 생성하는 단계를 포함한다.Preferably, the generating step comprises: segmenting the first brightness image into a predetermined number of blocks; Defining a cost function using a ratio of an average and a standard deviation of the first luminance image for each of the divided regions and calculating a background scattering light component for each region using the cost function; And generating the atmospheric scattering light map of the first luminance image using the calculated atmospheric scattering light component by the Least Square method.

바람직하게, 상기 영역 분할 단계는 상기 제1 휘도 영상의 깊이, 즉 피사체 와의 거리 차이를 기초로 적응적으로 수행하는 것을 특징으로 한다.Preferably, the region segmentation step is performed adaptively based on a depth of the first luminance image, that is, a difference in distance from the subject.

바람직하게, 상기 영역 분할 단계는 상기 제1 휘도 영상의 열과 행 방향으로 그래디언트 합을 계산하고, 상기 계산한 그래디언트 합이 최대가 되는 좌표를 기준으로 분할하는 것을 특징으로 한다.Preferably, the region segmentation step calculates a gradient sum in the column direction and the row direction of the first luminance image, and divides the gradient sum based on a coordinate at which the calculated gradient sum becomes the maximum.

바람직하게, 상기 영역 분할 단계 이전에 상기 제1 휘도 영상의 에지 정보를 이용하여 하늘 영역을 검출하는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the method further comprises detecting a sky region using edge information of the first luminance image before the region segmentation step.

바람직하게, 상기 방법은 상기 검출한 하늘 영역을 제외한 영역을 포함하는 제1 휘도 영상에 대한 밝기의 표현 범위를 확장하고, 히스토그램을 이용하여 밝기를 조정하고, 상기 조정된 히스토그램의 값을 누적하여 밝기의 표현 범위를 나타내는 매핑함수를 생성하는 전 처리 단계를 더 포함하는 것을 특징으로 한다.Preferably, the method further comprises: expanding a range of brightness of the first luminance image including the detected region excluding the detected sky region; adjusting the brightness using the histogram; accumulating the adjusted histogram to obtain brightness And a pre-processing step of generating a mapping function indicating a range of expression of the input data.

바람직하게, 상기 전 처리 단계는 다음 수학식 7을 이용하여 밝기를 조정하는 것을 특징으로 한다.Preferably, the preprocessing step adjusts the brightness using Equation (7).

[수학식 7]&Quot; (7) "

hnew(k)=(h(k)+1)1/n h new (k) = (h (k) +1) 1 / n

(여기서, h(k)는 히스토그램이고, k는 밝기 표현 범위, n은 지수승의 상수를 의미한다)(Where h (k) is a histogram, k is a brightness expression range, and n is a constant of exponentiation)

바람직하게, 상기 매핑 함수는 상기 검출한 하늘 영역에 대한 밝기 표현 범위를 유지하는 것을 특징으로 한다. Preferably, the mapping function maintains a brightness expression range for the detected sky area.

바람직하게, 상기 비용 함수는 다음 수학식 2와 같이 정의되는 것을 특징으 로 한다. Preferably, the cost function is defined as: " (2) "

[수학식 2]&Quot; (2) "

Figure 112008078064591-PAT00001
Figure 112008078064591-PAT00002
Figure 112008078064591-PAT00001
Figure 112008078064591-PAT00002

(여기서, Y'(i,j)는 대기 산란광을 포함한 영상의 휘도이고, I(i,j)는 대기 산란광을 포함하지 않은 영상의 휘도 신호이다. 예를 들면 맑은 날씨의 영상의 휘도 신호이거나, 이상적인 영상의 휘도 신호일 수 있다. 이상적인 영상(ideal image) I(i,j)는 영상의 재현범위를 모두 사용하고 평균을 (최대-최소)/2로 갖는 일정한 분포를 가지는 영상을 의미한다. i,j는 픽셀의 좌표이고, λ는 영상에서 감해주는 휘도의 정도, 즉 대기 산란광 성분이다.)(I, j) is the luminance signal of the image including the atmospheric scattering light, and I (i, j) is the luminance signal of the image not including the atmospheric scattering light. The ideal image I (i, j) means an image having a uniform distribution with all of the image reproducible range and a mean (maximum-minimum) / 2. i, j are the coordinates of the pixel, and lambda is the degree of luminance that is subtracted from the image, that is, the air scattering light component.)

바람직하게, 상기 대기 산란광 성분은, 다음 수학식 3을 이용하여 계산하는 것을 특징으로 한다. Preferably, the atmospheric scattering light component is calculated using the following equation (3).

[수학식 3]&Quot; (3) "

Figure 112008078064591-PAT00003
Figure 112008078064591-PAT00003

바람직하게, 상기 방법은 상기 출력된 제2 휘도 영상에 대한 에지 강조 처리를 수행하는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the method further comprises performing an edge enhancement process on the output second luminance image.

바람직하게, 상기 에지 강조 처리는 다음 수학식 5를 이용해서 수행하는 것 을 특징으로 한다. Preferably, the edge enhancement process is performed using the following equation (5).

[수학식 5]&Quot; (5) "

Yout(i,j)=Y"(i,j)±s×g(i,j)Y out (i, j) = Y "(i, j) ± s × g (i, j)

(여기서, Yout(i,j)는 안개 왜곡 정도를 보상하고, 에지 강조 처리를 수행한 결과 휘도 영상이고, Y"(i,j)는 안개 왜곡 정도를 보상한 휘도 영상이며, s는 에지 개선 정도를 조절하는 파라미터이고, g(i,j)는 고주파 필터를 통과한 에지 성분이다)(Wherein, Y out (i, j) is the result of compensating the degree of haze distortion, performs edge emphasis processing luminance image, Y "(i, j) is the luminance compensation the degree fog distorted image, s is an edge G (i, j) is an edge component passed through the high-frequency filter)

바람직하게, 상기 방법은 상기 대기 산란광(Airlight)을 포함한 영상의 색차 영상과 상기 에지 강조 처리된 제3 휘도 영상을 RGB 영상으로 변환하는 단계; 및 상기 변환한 RGB 영상에 대해 히스토그램 스트레칭을 수행하는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the method further comprises the steps of: converting a chrominance image of the image including the atmospheric air light and the third luminance image subjected to the edge enhancement processing into an RGB image; And performing histogram stretching on the transformed RGB image.

바람직하게, 상기 방법은 상기 출력된 제2 휘도 영상에 대해 밝기 감소를 보정하는 후 처리 단계를 더 포함하는 것을 특징으로 한다.Preferably, the method further comprises a post-processing step of correcting the brightness reduction for the output second brightness image.

바람직하게, 상기 방법은 상기 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상과 제1 색차 영상, 및 상기 후 처리한 제2 휘도 영상을 이용하여 영상의 밝기 변화에 따른 채도 감소를 보정하는 단계를 더 포함하는 것을 특징으로 한다. Preferably, the method further comprises the step of correcting saturation reduction according to the brightness change of the image using the first luminance image and the first chroma image of the image including the airlight and the post-processed second luminance image, And further comprising:

바람직하게, 상기 대기 산란광은 안개에 의해 발생한 것을 특징으로 한다.Preferably, the atmospheric scattering light is generated by mist.

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 영상 처리 방법은 안개 영상을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상을 소정 개수의 블록으로 영역 분할하는 단계; 상기 분할한 영역별로 평균과 표준편차의 비율을 기초로 상기 안개 영상의 영향을 반영한 대기 산란광을 계산하는 단계; 상기 계산한 영역별 대기 산란광을 기초로 최소 자승법을 이용해서 상기 제1 휘도 영상의 대기 산란광 맵을 생성하는 단계; 및 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 안개 영상의 영향이 제거된 제2 휘도 영상을 출력하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image processing method for dividing a first luminance image into a predetermined number of blocks by receiving a first luminance image of an image including a mist image, ; Calculating atmospheric scattering light reflecting the influence of the foggy image based on a ratio of an average and a standard deviation for each of the divided regions; Generating a standby scattered light map of the first luminance image using a least squares method based on the calculated atmospheric scattering light of each region; And outputting a second luminance image from which the influence of the mist image is removed by subtracting the generated atmospheric scattering light map from the first luminance image.

바람직하게, 상기 영역 분할 단계는 상기 제1 휘도 영상의 깊이, 즉 피사체와의 거리 차이를 기초로 적응적으로 수행하는 것을 특징으로 한다.Preferably, the region segmentation step is performed adaptively based on a depth of the first luminance image, that is, a difference in distance from the subject.

바람직하게, 상기 방법은 상기 영역 분할 단계 이전에 상기 제1 휘도 영상의 에지 정보를 이용하여 하늘 영역을 검출하는 단계; 및 상기 검출한 하늘 영역을 제외한 영역을 포함하는 제1 휘도 영상의 밝기를 전 처리하는 단계를 더 포함하고, 상기 영역 분할 단계는, 상기 전 처리된 제1 휘도 영상의 깊이 정보를 기초로 적응적으로 분할하는 것을 특징으로 한다.Preferably, the method further comprises: detecting a sky area using edge information of the first luminance image before the segmentation step; And a step of preprocessing the brightness of the first luminance image including the detected area excluding the sky area, wherein the area dividing step comprises: an adaptive processing step of, based on the depth information of the preprocessed first luminance image, .

바람직하게, 상기 대기 산란광은 안개에 의해 발생한 것을 특징으로 한다.Preferably, the atmospheric scattering light is generated by mist.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 영상 처리 장치는 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 대기 산란광 맵 생성부; 및 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 감산부를 포함한다.According to another aspect of the present invention, there is provided an image processing apparatus including a first brightness image of an image including atmospheric air light, An air-scattering light map generating unit for generating a standby-scattered light map based on the ratio of the air- And a subtractor for subtracting the generated atmospheric scattering light map from the first luminance image to output a second luminance image from which the atmospheric scattering light is removed.

바람직하게, 상기 대기 산란광 맵은 상기 대기 산란광에 의한 영향의 정도를 표현하는 것을 특징으로 한다.Preferably, the atmospheric scattering light map expresses the degree of influence by the atmospheric scattering light.

바람직하게, 상기 대기 산란광 맵 생성부는 상기 제1 휘도 영상을 소정의 개수의 블록으로 영역 분할하는 영역 분할부; 상기 분할한 영역별로 상기 제1 휘도 영상의 평균과 표준편차의 비율을 이용하여 비용 함수(cost function)를 정의하고, 상기 비용 함수를 이용해서 영역별로 대기 산란광 성분을 계산하는 대기 산란광 계산부; 및 상기 계산한 영역별 대기 산란광 성분을 최소 자승법(Least Square method)을 이용하여 상기 제1 휘도 영상의 대기 산란광 맵을 생성하는 맵 생성부를 포함한다.Preferably, the atmospheric scattering light map generation unit includes: a region dividing unit dividing the first luminance image into a predetermined number of blocks; A light scattering light calculation unit for defining a cost function using a ratio of an average and a standard deviation of the first luminance image for each of the divided regions and calculating a light scattering light component for each region using the cost function; And a map generator for generating the atmospheric scattering light map of the first luminance image using the calculated Least Square method.

바람직하게, 상기 장치는 상기 감산부로부터 출력된 제2 휘도 영상에 대해 에지 강조 처리를 수행하는 에지 강조부를 더 포함하는 것을 특징으로 한다.Preferably, the apparatus further comprises an edge emphasis unit for performing edge emphasis processing on the second luminance image output from the subtraction unit.

바람직하게, 상기 장치는 상기 대기 산란광을 포함한 영상의 색차 영상과 상기 에지 강조부로부터 출력된 제3 휘도 영상을 RGB 영상으로 변환하는 RGB변환부; 및 상기 변환한 RGB 영상에 대해 히스토그램 스트레칭을 수행하는 후 처리부를 더 포함하는 것을 특징으로 한다.Preferably, the apparatus includes an RGB converter for converting a chrominance image of the image including the atmospheric scattering light and a third luminance image output from the edge enhancement unit into an RGB image; And a post-processing unit for performing histogram stretching on the converted RGB image.

바람직하게, 상기 영역 분할부는, 상기 제1 휘도 영상의 깊이 차이를 기초로 적응적으로 수행하는 것을 특징으로 한다.Preferably, the region dividing unit adaptively performs the region dividing unit based on a depth difference of the first luminance image.

바람직하게, 상기 장치는 상기 제1 휘도 영상의 에지 정보를 이용하여 하늘 영역을 검출하는 하늘 영역 검출부를 더 포함하는 것을 특징으로 한다.Preferably, the apparatus further includes a sky area detection unit for detecting a sky area using edge information of the first luminance image.

바람직하게, 상기 장치는 상기 검출한 하늘 영역을 제외한 영역을 포함하는 제1 휘도 영상에 대한 밝기의 표현 범위를 확장하고, 히스토그램을 이용하여 밝기를 조정하고, 상기 조정된 히스토그램의 값을 누적하여 밝기의 표현 범위를 나타내는 매핑함수를 생성하는 전 처리부를 더 포함하는 것을 특징으로 한다.Preferably, the apparatus extends the range of brightness of the first luminance image including the detected region excluding the detected sky region, adjusts the brightness using the histogram, accumulates the adjusted histogram value, Processing unit for generating a mapping function indicating a range of expression of the input image data.

바람직하게, 상기 장치는 상기 출력된 제2 휘도 영상에 대해 밝기 감소를 보정하는 후 처리부를 더 포함하는 것을 특징으로 한다.Preferably, the apparatus further comprises a post-processing unit for correcting the brightness reduction for the output second brightness image.

바람직하게, 상기 장치는 상기 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상과 제1 색차 영상, 및 상기 후 처리한 제2 휘도 영상을 이용하여 영상의 밝기 변화에 따른 채도 감소를 보정하는 색차 보정부를 더 포함하는 것을 특징으로 한다.Preferably, the apparatus further includes a color difference correction unit for correcting chroma saturation according to the brightness change of the image using the first luminance image and the first chrominance image of the image including the airlight, And a correction unit.

바람직하게, 상기 대기 산란광은 안개에 의해 발생한 것을 특징으로 한다.Preferably, the atmospheric scattering light is generated by mist.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다. According to another aspect of the present invention, there is provided a recording medium on which a program for executing the methods according to another embodiment of the present invention is recorded.

본 발명의 일 실시 예에 따른 영상 처리 방법은 안개에 의해 발생한 대기 산란광(Airlight)을 포함한 영상의 휘도의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하고, 이를 감산해줌으로써 효과적으로 대기 산란광 성분을 없애줄 수 있다. An image processing method according to an embodiment of the present invention generates a standby scattered light map based on a ratio of an average and a standard deviation of brightness of an image including air light generated by mist, You can remove ingredients.

또한, 영상의 깊이 차이를 고려하여 적응적으로 영역 분할을 수행함으로써 후광 효과, 안개 왜곡 보정 후 동일한 물체의 밝기 차이 등의 영향을 줄일 수 있으 며, 전 처리 과정을 통하여 하늘 영역을 제외한 부분의 밝기 보정을 한 후 안개 보정 정도를 추정함으로써 새벽이나 저녁 안개에 대해서도 효과적으로 안개 성분을 제거한 영상을 얻을 수 있다. In addition, by performing adaptive region segmentation considering the depth difference of the image, it is possible to reduce the influence of the halo effect, the difference in brightness of the same object after the fog distortion correction, and the brightness of the portion excluding the sky region By estimating the degree of fog correction after correction, it is possible to obtain an image that effectively removes fog components even at dawn or evening fog.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the present invention will be described, and descriptions of other parts may be omitted so as not to disturb the gist of the present invention.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. In addition, terms and words used in the following description and claims should not be construed to be limited to ordinary or dictionary meanings, but are to be construed in a manner consistent with the technical idea of the present invention As well as the concept.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치(100)의 개략적인 블록도이다.1 is a schematic block diagram of an image processing apparatus 100 according to an embodiment of the present invention.

도 1을 참조하면, 영상 처리 장치(100)는 Y/C변환부(110), 대기 산란광 맵 생성부(120), 감산부(130), 에지 강조부(140), RGB변환부(150) 및 후 처리부(160)를 포함한다. 또한, 영상 처리 장치(100)는 대기 산란광 맵 생성부(120)와 감산부(130)만을 포함하여 구현할 수도 있다.1, the image processing apparatus 100 includes a Y / C conversion unit 110, an air-scattering light map generation unit 120, a subtraction unit 130, an edge emphasis unit 140, an RGB conversion unit 150, And a post-processing unit (160). Also, the image processing apparatus 100 may include only the atmospheric scattered light map generating unit 120 and the subtracting unit 130.

Y/C변환부(110)는 RGB 입력 영상을 휘도/색차 컬러 공간으로 변환하여 휘도(Y) 및 색차 신호(C)로 출력한다. 여기서, RGB 입력 영상은 대기 산란광 성분을 포함하고 있으며, 대기 산란광은 공기 중의 안개에 의해 만들어진 것이다. 또한, 입력 영상은 안개에 의해 뿌옇게 보이면서 색상이 선명하지 않은 영상이다. 즉, 안개 환경에서 빛이 공기 중의 안개 입자와 충돌하여 발생하는 대기 산란광의 영향으로 영상이 손상된다. 이때 안개로 생성된 대기 산란광은 새로운 광원으로서 작용한다.The Y / C conversion unit 110 converts the RGB input image into a luminance / chrominance color space and outputs the luminance (Y) and color difference signals (C). Here, the RGB input image includes the atmospheric scattering light component, and the atmospheric scattering light is generated by mist in the air. In addition, the input image is an image which is blurred by mist and whose color is not clear. That is, the image is damaged by the effect of the air scattering light generated by the collision of the light with the mist particles in the air in the fog environment. At this time, the atmospheric scattering light generated by the mist acts as a new light source.

여기서, RGB 색 공간에서 YCbCr 색 공간으로의 변환은 다음 수학식 1을 이용한다.Here, the conversion from the RGB color space to the YCbCr color space is expressed by the following equation (1).

Y=0.29900R+0.58700G+0.11400BY = 0.29900R + 0.58700G + 0.11400B

Cb=-0.16874R-0.33126G+0.50000BCb = -0.16874R-0.33126G + 0.50000B

Cr=0.50000R-0.41869G-0.08131BCr = 0.50000R-0.41869G-0.08131B

여기서, 휘도(Y)는 밝고 어두운 정도를 표현하는 성분이고, 색차(C)는 색상 정보를 표현하는 성분이다. 2가지 색차 성분은 Cb,Cr값을 가지는데, Cb는 블루(B) 성분과 기준값과의 차이, Cr은 레드(R) 성분과 기준값과의 차이를 의미한다. 본 발명의 바람직한 실시 예에서, Y/C 신호를 이용함으로써 RGB 신호를 이용하는 것에 비해 복잡도가 감소하고, 인간의 눈은 색상의 변화보다 밝기의 변화에 더 민감함으로 휘도 신호만을 이용한다. 특히, YCbCr 색공간은 휘도에 민감한 인간의 시각 특성을 이용해 색상 정보로부터 휘도 성분을 분리해 낸 색공간이다. 또한, 본 발명의 바람직한 실시 예에서는 RGB 영상을 YCbCr 신호로 변환하는 것을 설명하고 있지만, YCbCr 변환 좌표뿐만 아니라, 다른 색 공간 좌표, 예를 들면 YUV, Lab, YCC 등 의 다른 색공간 좌표계에도 적용할 수 있음은 물론이다. Here, the luminance (Y) is a component expressing a bright and dark degree, and the color difference (C) is a component expressing color information. The two chrominance components have Cb and Cr values, Cb is the difference between the blue (B) component and the reference value, and Cr is the difference between the red (R) component and the reference value. In the preferred embodiment of the present invention, the complexity is reduced compared to using the RGB signal by using the Y / C signal, and the human eye uses only the luminance signal because it is more sensitive to the change in brightness than the color change. In particular, the YCbCr color space is a color space obtained by separating luminance components from color information using human visual characteristics sensitive to luminance. In the preferred embodiment of the present invention, the RGB image is converted into the YCbCr signal. However, the present invention can be applied not only to YCbCr conversion coordinates but also to other color space coordinates such as YUV, Lab, YCC Of course.

대기 산란광 맵 생성부(120)는 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 신호(Y')를 입력받아, 제1 휘도 신호의 평균과 표준편차의 비율을 기초로 대기 산란광 맵(λ)을 생성한다. 여기서, 평균과 표준편차의 비율을 이용하는 것은 대기 산란광, 특히 안개에 의해 발생한 대기 산란광이 영상에 미치는 영향을 고려한 것이다. 대기 산란광이 영상에 미치는 영향을 도 3a 내지 3d를 참조하여 설명한다. The atmospheric scattering map generator 120 receives the first luminance signal Y 'of the image including the atmospheric air scattering light and calculates the atmospheric scattering light map λ based on the ratio of the average and the standard deviation of the first luminance signal. . Here, the use of the ratio of the mean and the standard deviation takes into account the influence of the atmospheric scattering light, particularly the atmospheric scattering light generated by the mist, on the image. The influence of the atmospheric scattering light on the image will be described with reference to FIGS. 3A to 3D.

도 3a는 맑은 날씨에 촬영한 영상이고, 도 3c는 안개가 낀 날씨에 촬영한 영상이다. 도 3b는 도 3a에 도시된 맑은 날씨의 영상의 휘도 신호를 분석한 히스토그램이다. 도 3d는 도 3b에 도시된 안개 영상의 휘도 신호를 분석한 히스토그램이다.FIG. 3A shows an image taken in a clear weather, and FIG. 3C shows an image taken in a misty weather. FIG. 3B is a histogram for analyzing the luminance signal of the image of the clear weather shown in FIG. 3A. FIG. 3D is a histogram obtained by analyzing the luminance signal of the mist image shown in FIG. 3B.

일반적으로, 안개 영상은 전체 밝기가 상승하여 뿌옇게 보이고, 안개에 의해 주변 픽셀과 밝기 차이가 구분되지 않는다. 이는 픽셀 간의 밝기의 분산이 감소했음을 의미한다. 이는 도 3b 및 3d로부터 확인할 수 있다. Generally, the fog image is blurred due to the increase in the overall brightness, and the difference in brightness between the neighboring pixels is not distinguished by the fog. This means that the variance of brightness between pixels is reduced. This can be seen from FIGS. 3b and 3d.

도 3b 및 3d에 도시된 선은 각각의 휘도에 대한 히스토그램의 평균을 나타낸다. 도 3b에 도시된 것보다 3d에 도시된 선이 더 우측으로 치우쳐 있다. 즉, 안개 영상의 휘도의 평균이 맑은 영상보다 크다는 것을 의미한다. 또한, 히스토그램이 좌우로 퍼져 있는 정도를 비교하면 도 3d가 더 작게 퍼져있음을 알 수 있다. 즉, 안개 영상의 분산이 더 작다는 것을 의미한다. The lines shown in Figs. 3B and 3D show the average of the histograms for each luminance. The line shown at 3d is more right-biased than that shown in Fig. 3B. That is, the mean of the brightness of the fog image is larger than that of the clear image. In addition, when the degree of spread of the histogram to the left and right is compared, it can be seen that Fig. That is, the variance of the fog image is smaller.

대기 산란광 맵 생성부(120)가 휘도 신호의 평균과 표준편차의 비율을 이용 하는 것은 영상의 변화를 좀 더 정확히 반영하기 위함이다. 웨버(Weber)의 법칙에 따르면 한 영상의 어두운 영역에서의 휘도의 작은 변화는 밝은 영역에서의 동일한 작은 변화보다 잘 인식된다. 즉, 안개가 끼었을 때는 영상 전체에서 휘도가 증가하게 되어 영상 내의 휘도 변화를 사람의 시각이 잘 느끼지 못한다. 따라서, 종래의 안개 영향을 모델링하는 경우에는 평균과 표준편차를 각각 고려했지만, 본 발명의 바람직한 실시 예에서는 평균과 표준편차의 비율을 고려함으로써 안개에 의한 휘도의 영향을 더 정확하게 반영해 줄 수 있다.The use of the ratio of the mean and standard deviation of the luminance signal by the atmospheric scattering light map generation unit 120 is intended to more accurately reflect the change of the image. According to Weber's law, a small change in luminance in a dark region of an image is better than a small change in a bright region. That is, when the fog is caught, the brightness increases in the entire image, and the human vision does not feel the brightness change in the image. Accordingly, in the case of modeling the conventional fog effect, the mean and the standard deviation are respectively considered. However, in the preferred embodiment of the present invention, the influence of the fog by the fog can be more accurately reflected by considering the ratio of the mean and standard deviation .

대기 산란광 맵 생성부(120)의 구체적인 구성과 기능을 도 2를 참조하여 설명한다.The specific configuration and function of the air scattering light map generating unit 120 will be described with reference to FIG.

도 1 및 2를 참조하면, 대기 산란광 맵 생성부(120)는 영역 분할부(210), 대기 산란광 계산부(220) 및 맵 생성부(230)를 포함한다.1 and 2, the atmospheric scattering map generator 120 includes an area dividing unit 210, an air scattering light calculating unit 220, and a map generating unit 230.

영역 분할부(210)는 제1 휘도 신호(Y')를 입력받아, 소정의 개수의 블록으로 영역 분할한다. 휘도 신호를 균등한 크기의 블록으로 영역 분할하는데, 블록의 개수는 임의로 정할 수 있다. 도 4a에는 임의의 영상을 9개의 블록으로 분할한 것이 예시적으로 도시되어 있다. 영역 분할을 하는 것은 균등하지 않은 안개에 의한 영향을 고려하여 안개 성분을 보상해주기 위함이다. 영역 분할을 위한 블록의 개수는 하드웨어 복잡도를 고려하여 적절하게 선정할 수 있다.The area dividing unit 210 receives the first luminance signal Y ', and divides the first luminance signal Y' into a predetermined number of blocks. The luminance signal is divided into blocks of equal size, and the number of blocks can be arbitrarily set. In FIG. 4A, an arbitrary image is divided into nine blocks by way of example. Region splitting is to compensate for the fog component in consideration of the effects of uneven fog. The number of blocks for area partitioning can be appropriately selected in consideration of hardware complexity.

대기 산란광 계산부(220)는 영역 분할부(210)가 분할한 영역별로 제1 휘도 신호(Y')의 평균과 표준편차의 비율을 이용하여 비용 함수(cost function)를 정의하고, 정의한 비용 함수를 이용해서 영역별로 대기 산란광 성분을 계산한다. 여기 서, 평균과 표준편차는 전술한 바와 같이 안개 특성을 반영하기 위해서 평균과 표준편차의 비율을 이용하는 것이고, 비용 함수는 최적의 해를 찾기 위한 도구로서 다음 수학식 2와 같이 정의된다.The atmospheric scattering light calculation unit 220 defines a cost function using the ratio of the mean and standard deviation of the first luminance signal Y 'to the area divided by the area dividing unit 210, To calculate the atmospheric scattering light component for each region. Here, the mean and the standard deviation are obtained by using the ratio of the mean and the standard deviation to reflect the fog characteristic as described above, and the cost function is defined as the following equation (2) as a tool for finding the optimal solution.

Figure 112008078064591-PAT00004
Figure 112008078064591-PAT00005
Figure 112008078064591-PAT00004
Figure 112008078064591-PAT00005

본 발명의 바람직한 실시 예에서는 상기 수학식 2와 같이, 비용 함수 A(λ)와 B(λ)를 사용하지만, 이에 한정되지 않고 안개 특성을 반영하기 위해 휘도의 평균과 표준편차의 비율을 이용한 다른 비용함수를 사용할 수도 있음은 물론이다.In the preferred embodiment of the present invention, the cost function A () and B () are used as in Equation (2), but the present invention is not limited thereto. It goes without saying that a cost function may also be used.

여기서, Y'(i,j)는 대기 산란광을 포함한 영상의 휘도이고, Y(i,j)는 대기 산란광을 포함하지 않은 영상의 휘도 신호이다. 예를 들면 맑은 날씨의 영상의 휘도 신호이거나, 이상적인 영상의 휘도 신호일 수 있다. 이상적인 영상(ideal image) I(i,j)는 영상의 재현범위를 모두 사용하고 평균을 (최대-최소)/2로 갖는 일정한 분포를 가지는 영상을 의미한다. i,j는 픽셀의 좌표이고, λ는 영상에서 감해주는 휘도의 정도, 즉 대기 산란광 성분이다.Here, Y '(i, j) is the brightness of the image including the atmospheric scattering light, and Y (i, j) is the brightness signal of the image not including the atmospheric scattering light. For example, it may be a luminance signal of an image of a clear weather or an ideal luminance signal of an image. The ideal image I (i, j) means an image having a uniform distribution with all of the image reproducible range and a mean (maximum-minimum) / 2. i, j are the coordinates of the pixel, and [lambda] is the degree of luminance to be subtracted from the image, i.e., the atmospheric scattering light component.

상기와 같이 정의된 비용함수 A(λ) 및 B(λ)를 이용하여 안개가 영상에 영향을 미친 대기 산란광 성분을 계산하기 위해 다음 수학식 3을 이용한다.Using the cost functions A () and B () defined as above, the following equation (3) is used to calculate the atmospheric scattering light components influencing the fog image.

Figure 112008078064591-PAT00006
Figure 112008078064591-PAT00006

상기 수학식 3은 A(λ)와 B(λ) 차이를 최소로 하는 λ값을 계산한다는 의미이다. 여기서, 각각의 영역별 대기 산란광 성분을 계산한 것이 도 4b에 도시되어 있다. 도 4b는 도 4a에 도시된 영역 분할 결과에 대해 영역별 대기 산란광 성분을 계산하여 표시한 것이다. 다만, 도 4a에서는 9개의 영역으로 분할하였지만, 도 4b에는 25개의 블록으로 영역 분할한 영상에 대한 대기 산란광 성분이 점으로 도시되어 있다. Equation (3) means that the value of? Is minimized to make a difference between A (?) And B (?). Here, the calculation of the air-scattered light components for each area is shown in FIG. 4B. FIG. 4B is a graph illustrating the calculation of the light components of the scattered light of each region with respect to the region dividing result shown in FIG. 4A. In FIG. 4A, the image is divided into nine regions. In FIG. 4B, the scattered light components for the images obtained by dividing the image into 25 blocks are shown by dots.

맵 생성부(230)는 상기 계산한 영역별 대기 산란광 성분을 최소 자승법(Least Square method)을 이용하여 제1 휘도 신호, 즉 전체 휘도 신호에 대한 대기 산란광 맵(λ)을 생성한다. 여기서, 최소 자승법을 이용해서 영상의 좌표값과 대기 산란광 성분의 관계를 모델링할 수 있다. 그리고 각각의 점, 즉 대기 산란광에 의한 보상 정도(λ)를 영상의 좌표값으로 모델링하고, 보간(Interpolation) 방법을 이용하여 전체 영상에 대한 대기 산란광 맵을 생성한다. 최소 자승법(Least Square Method)은 선형 통계 모델에서 효율적인 추정방법으로 공지되어 있다. 이에 대한 설명은 생략한다. 본 발명의 바람직한 실시 예에서는 최소 자승법을 사용하지만, 이에 한정되지 않고 여러 개의 좌표 사이의 값을 유추하는 다른 보간(Interpolation) 방법을 사용할 수 있음은 물론이다. The map generating unit 230 generates the atmospheric scattering light map (λ) for the first luminance signal, ie, the entire luminance signal, using the calculated atmospheric scattering light components for each area using the Least Square method. Here, the relationship between the coordinate value of the image and the atmospheric scattering light component can be modeled by using the least squares method. Then, the degree of compensation (λ) by each point, ie, the atmospheric scattering light, is modeled as the coordinate value of the image, and the atmospheric scattering light map is generated for the entire image using the interpolation method. The Least Square Method is known as an efficient estimation method in the linear statistical model. A description thereof will be omitted. In the preferred embodiment of the present invention, the least squares method is used, but it is needless to say that other interpolation methods can be used to infer values between a plurality of coordinates.

여기서, 전체 영상에 대한 대기 산란광 맵이 도 4c에 도시되어 있다. 도 4c 를 참조하면, 전체의 보상 정도가 일률적인 것이 아니라 영상의 부분마다 보상 정도가 차이가 있는 것을 알 수 있다. 다시 도 4a와 4c를 함께 참조하면, 도 4a에서 오른쪽 윗부분에 안개의 영향이 많은 것을 알 수 있으며, 도 4c에서 오른쪽 윗부분이 좀 더 밝은 것을 알 수 있다. 또한, 도 4a에서 왼쪽 아랫부분은 안개의 영향이 적은 것을 알 수 있으며, 도 4c에서 왼쪽 아랫부분이 좀 더 어두운 것을 알 수 있다. Here, a standby scattered light map for the entire image is shown in FIG. 4C. Referring to FIG. 4C, it can be seen that the degree of compensation is not uniform but the degree of compensation is different for each part of the image. Referring again to FIGS. 4A and 4C, it can be seen that the upper right portion in FIG. 4A has a large influence of mist, and the upper right portion in FIG. 4C is slightly brighter. In addition, it can be seen that the lower left portion in FIG. 4A is less influenced by the mist, and the lower left portion is darker in FIG. 4C.

감산부(130)는 Y/C변환부(110)로부터 출력된 휘도 신호(Y')에서 대기 산란광 맵 생성부(120)가 생성한 대기 산란광 맵(λ)을 감산함으로써 대기 산란광이 제거된 제2 휘도 신호(Y'')를 출력한다.The subtraction unit 130 subtracts the air-scattering light map? Generated by the air-scattering light map generator 120 from the luminance signal Y 'output from the Y / C conversion unit 110, 2 luminance signal Y ''.

이를 수식으로 표현하면 다음 수학식 4와 같다.This can be expressed by the following equation (4).

Y"(i,j)=Y'(i,j)-λY(i,j)Y '(i, j) = Y' (i, j) -λ Y (i, j)

여기서, Y'(i,j)는 안개에 의해 왜곡된 원본 휘도 성분이고, λY(i,j) 는 안개에 의해 왜곡된 정도를 나타내는 대기 산란광 맵이고, Y"(i,j)는 안개 왜곡이 보정된 휘도 성분이다. Here, Y '(i, j) is an original luminance component distorted by the fog, and λ Y (i, j) is a background scattered light map indicating the degree of distortion by the fog, The distortion is the corrected luminance component.

에지 강조부(140)는 감산부(130)로부터 출력된 휘도 신호(Y")에 대한 에지 강조 처리를 수행한다. 안개 영상의 경우 대기 산란광으로 인해 경계가 불분명해져 영상이 블러링(Blurring)된다. 이러한 현상을 해결하기 위해 윤곽선 성분 개선을 수행한다. 에지 강조 처리는 다음 수학식 5를 이용하여 수행한다.The edge emphasis unit 140 performs edge emphasis processing on the luminance signal Y "output from the subtraction unit 130. In the case of the fog image, the boundary is unclear due to the atmospheric scattering light, and the image is blurred The edge enhancement process is performed using the following equation (5).

Yout(i,j)=Y"(i,j)±s×g(i,j)Y out (i, j) = Y "(i, j) ± s × g (i, j)

여기서, YOUT(i,j) 는 안개 왜곡 정도를 보상하고, 에지 강조 처리를 수행한 결과 휘도 신호이고, Y"(i,j)는 안개 왜곡 정도를 보상한 휘도 영상이며, s는 에지 개선 정도를 조절하는 파라미터이고, g(i,j)는 고주파 필터를 통과한 에지 성분이다. 바람직하게, 에지 강조를 위한 고주파 필터는 가우시안 고주파 필터(Gaussian high pass filter)를 사용할 수 있다. 본 발명의 바람직한 실시 예에서는 가우시안 고주파 필터를 사용하지만, 이에 한정되지 않고 다양한 고주파 통과 필터를 사용할 수 있음은 물론이다. Here, Y OUT (i, j) is a luminance image obtained by compensating the degree of fog distortion and compensating for the degree of fog distortion by performing edge enhancement processing, Y "(i, j) (I, j) is an edge component passed through the high-frequency filter. Preferably, the high-frequency filter for edge emphasis may use a Gaussian high pass filter. Although a Gaussian high-frequency filter is used in the preferred embodiment, it is needless to say that various high-pass filters can be used.

RGB변환부(150)는 에지 강조부(140)로부터 출력된 휘도 신호(YOUT)와 Y/C변환부(110)로부터 출력된 색차 신호(C)를 이용하여 RGB신호로 변환한다. YCbCr 색 공간에서 RGB 색 공간으로의 변환식은 다음 수학식 6과 같다.The RGB conversion unit 150 converts the luminance signal Y OUT output from the edge emphasis unit 140 and the color difference signal C output from the Y / C conversion unit 110 into RGB signals. The conversion formula from the YCbCr color space to the RGB color space is expressed by the following equation (6).

R=1.164(Y-16)+1.596(Cr-128)R = 1.164 (Y-16) +1.596 (Cr-128)

G=1.164(Y-16)-0.813(Cr-128)-0.392(Cb-128)G = 1.164 (Y-16) -0.813 (Cr-128) -0.392 (Cb-128)

B=1.164(Y-16)+2.017(Cb-128)B = 1.164 (Y-16) + 2.017 (Cb-128)

후 처리부(160)는 RGB 변환부(150)로부터 RGB신호를 입력받아 히스토그램 스트레칭을 수행한다. 감산 연산을 통한 안개 제거 알고리즘을 적용한 후 영상이 전반적으로 어둡게 보이는 현상을 없애기 위해 후처리 단계이다. 히스토그램 스트레 칭은 RGB영상의 히스토그램의 최소값과 최대값 사이 범위를 영상 장치가 표현할 수 있는 최대 범위로 확장시키는 것이다. 일반적으로 사용되는 R, G, B 각각의 채널별 8 비트의 경우, 0~255의 범위까지를 가지도록 확장한다.The post-processing unit 160 receives the RGB signals from the RGB conversion unit 150 and performs histogram stretching. It is a post-processing step to eliminate the phenomenon that the image looks dark overall after applying the fog removal algorithm through the subtraction operation. The histogram stretching extends the range between the minimum and maximum values of the histogram of the RGB image to the maximum range that the imaging device can express. In the case of 8 bits for each channel of R, G and B commonly used, it is extended to have a range from 0 to 255.

도 5a에는 RGB신호의 히스토그램이 도시되어 있고, 도 5b에는 히스토그램 스트레칭의 결과가 도시되어 있다. 도 6a에 도시된 것처럼, 빼기 연산을 한 결과 전체 영상의 밝기가 낮아져 있다. 또한, 새벽 안개나 저녁 안개의 경우 원본 영상이 어두운데 안개 제거를 위해 빼기 연산을 하므로 더 어두워져 물체가 전혀 구분되지 않을 수도 있다. 따라서, 이러한 경우들에 있어서는 히스토그램 스트레칭을 함으로써 도 5b에 도시된 것처럼 휘도를 0~255 사이에 고르게 분포하도록 해 준다.5A shows the histogram of the RGB signal, and FIG. 5B shows the result of the histogram stretching. As shown in FIG. 6A, the result of the subtraction operation is that the brightness of the entire image is lowered. Also, in the case of dawn fog or evening fog, the original image is dark and the subtraction operation is performed to remove fog, so that it may become darker and the object may not be distinguished at all. Therefore, in such cases, histogram stretching allows the luminance to be evenly distributed between 0 and 255 as shown in FIG. 5B.

본 발명의 바람직한 실시 예에서는 전체 영상이 어두워지는 것을 보상해주기 위해 히스토그램 스트레칭 처리를 하였지만, 다른 후 처리 기법을 적용하여 어두워진 영상을 보상해줄 수도 있음은 물론이다. In the preferred embodiment of the present invention, the histogram stretching process is performed to compensate for the darkening of the entire image, but it is needless to say that the darkened image may be compensated by applying another post-processing technique.

도 6은 본 발명의 또 다른 실시 예에 따른 영상 처리 장치(100)의 개략적인 블록도이다.6 is a schematic block diagram of an image processing apparatus 100 according to another embodiment of the present invention.

도 6을 참조하면, Y/C 변환부(110), 대기 산란광 맵 생성부(120), 감산부(130), RGB 변환부(150), 하늘 영역 검출부(170), 전 처리부(180), 후 처리부(190), 색차 보정부(200)를 포함한다. 도 1에 도시된 영상 처리 장치(100)의 구성과 동일한 구성에 대한 설명은 생략하고 차이가 있는 구성에 대해서만 설명한다. 6, the Y / C conversion unit 110, the atmospheric scattered light map generation unit 120, the subtraction unit 130, the RGB conversion unit 150, the sky area detection unit 170, the preprocessing unit 180, A post-processing unit 190, and a color difference correcting unit 200. Description of the same configuration as the configuration of the image processing apparatus 100 shown in Fig. 1 will be omitted and only differences will be described.

하늘 영역 검출부(170)는 Y/C 변환부(110)로부터 휘도 영상을 입력받아, 휘도 영상의 에지 성분을 이용하여 하늘 영역을 검출한다. 여기서, 휘도 영상의 그 래디언트 영상을 이용하여 윤곽선 검출, 즉 에지 검출을 수행한다.The sky area detection unit 170 receives the luminance image from the Y / C conversion unit 110, and detects the sky area using the edge component of the luminance image. Here, the edge detection, that is, the edge detection, is performed using the gradient image of the luminance image.

하늘 영역을 검출하는 것은 하늘 영역의 분포가 균일하므로 평균 밝기와 분산을 이용하는 안개 왜곡 보정 방법에서 짙은 안개가 낀 영역과 구분이 되지 않아 하늘 영역을 포함하여 화질 개선을 할 때 오버인핸스먼트(Overenhancement)를 유발시킬 수 있기 때문이다. 따라서 하늘 영역은 대기 산란광의 추정에 있어서 제외시킨다. 본 발명의 바람직한 실시 예에서는 하늘 영역을 검출하기 위해서 안개 영상의 특성을 이용한다. 하늘 영역은 일반적으로 영상의 상단에 위치하고 안개 영상의 하늘 영역의 경우 윤곽 성분을 가지고 있지 않다. 하늘 영역의 검출을 위해 영상의 그레디언트 영상을 이용하여 윤곽선 검출을 수행한다. 각 행에 대해 열 상단에서 하단방향으로 스캔하며 윤곽선이 감지되면 이전까지의 픽셀까지를 하늘 영역으로 검출한다. 예를 들면, 윤곽선 검출 방법으로 라플라시안 마스크를 사용한다. 라플라시안 윤곽선 검출기는 하나의 마스크만을 사용하기 때문에 속도가 매우 빠르고 2차 미분 연산자를 사용하여 모든 방향의 윤곽선 검출이 가능하다. 윤곽선 검출을 위한 마스크 연산 방법은 원 영상 안의 픽셀들과 동일한 위치의 마스크 픽셀들과 곱하여 모든 픽셀을 더해서 중심 픽셀에 할당한다. 또한, 하늘 영역을 검출하고 나서, 전체 영상에서 하늘 영역이 차지하는 비율, 검출한 하늘 영역에서의 최대, 최소 밝기값을 이용하여 하늘 영역의 표현 범위를 계산한다.Since the distribution of the sky region is uniform because the distribution of the sky region is detected, the fog distortion correction method using the average brightness and dispersion can not distinguish the sky region from the dark mist region. Therefore, the overenhancement (overenhancement) . ≪ / RTI > Therefore, the sky area is excluded from the estimation of the atmospheric scattering light. In a preferred embodiment of the present invention, the feature of the fog image is used to detect the sky area. The sky region is generally located at the top of the image and has no contour component in the sky region of the fog image. Contour detection is performed using the gradient image of the image to detect the sky area. For each row, the scan is performed from the top of the column to the bottom, and when an outline is detected, up to the previous pixel is detected as the sky area. For example, a laplacian mask is used as a contour detection method. Because the Laplacian contour detector uses only one mask, the speed is very fast and contour detection in all directions is possible using the second derivative operator. The mask operation method for contour detection is performed by multiplying the mask pixels at the same positions as the pixels in the original image, and adding all the pixels to the center pixel. After detecting the sky area, the expression range of the sky area is calculated by using the ratio of the sky area occupied by the entire image and the maximum and minimum brightness values in the detected sky area.

본 발명의 바람직한 실시 예에서는 윤곽선 검출을 위해, 라플라시안 마스크를 이용하지만, 이에 한정되지 않고 다른 에지 검출을 위한 마스크를 사용할 수 있음은 물론이다.In the preferred embodiment of the present invention, for contour detection, a laplacian mask is used, but it is needless to say that a mask for other edge detection can be used.

전 처리부(180)는 Y/C변환부(110)로부터 입력된 휘도 영상(Yin)과 하늘 영역 검출부(170)로부터 검출된 하늘 영역 정보를 이용해서 하늘 영역을 제외한 부분의 밝기의 표현 범위를 확장하고, 히스트로그램을 이용해서 밝기를 재조정한다. The preprocessing unit 180 may expand the range of brightness of the portion excluding the sky region using the luminance image Yin input from the Y / C converter 110 and the sky region information detected from the sky region detection unit 170 , And the brightness is readjusted using the histogram.

전 처리부(180)의 영상 처리 과정은 도 7을 참조하여 설명한다.The image processing procedure of the pre-processing unit 180 will be described with reference to FIG.

전 처리부(180)는 하늘 영역을 제외한 입력 휘도 영상의 히스토그램 정보를 추출한다. 도 7a에는 입력된 휘도 영상의 히스토그램을 나타낸다. 그리고, 영상의 픽셀 전체 개수의 소정의 퍼센트의 비율로 추출한 히스토그램의 높낮이를 제한한다. 이는 도 7b에 도시되어 있다.The pre-processing unit 180 extracts histogram information of the input luminance image excluding the sky area. 7A shows a histogram of the input luminance image. Then, the height of the histogram extracted at a ratio of a predetermined percentage of the total number of pixels of the image is limited. This is illustrated in FIG.

그리고, 다음 수학식 7과 같은 지수승 연산을 이용하여 히스토그램의 포락선(envelope)은 유지하면서 높낮이 차이를 줄인다.Then, the exponentiation operation as shown in Equation (7) is used to reduce the height difference while maintaining the envelope of the histogram.

hnew(k)=(h(k)+1)1/n h new (k) = (h (k) +1) 1 / n

여기서, h(k)는 히스토그램이고, k는 밝기 표현 범위, n은 지수승의 상수를 의미한다.Here, h (k) is a histogram, k is a brightness expression range, and n is a constant of the exponentiation.

그리고, 변형된 히스토그램 값을 누적하여 누적 히스토그램을 생성한 후, 밝기 성분의 표현범위로 변경함으로써 매핑 함수를 생성한다. 여기서, 하늘 영역의 표현 범위는 변하지 않도록 조절한다. 매핑 함수는 도 7d에 도시되어 있다.Then, the modified histogram values are accumulated to generate a cumulative histogram, and then the range of brightness components is changed to generate a mapping function. Here, the expression range of the sky area is adjusted so as not to change. The mapping function is shown in Figure 7d.

대기 산란광 맵 생성부(120)는 전처리된 휘도 영상으로부터 대기 산란광 맵을 생성한다. 여기서, 전처리된 휘도 영상은 하늘 영역을 제외하고, 즉 하늘 영역 의 밝기의 최대, 최소 범위는 유지한 채, 안개 성분을 제거하기 위한 관심 영역의 밝기의 범위를 조절한 휘도 영상이다.The atmospheric scattering light map generation unit 120 generates the atmospheric scattering light map from the preprocessed luminance image. Here, the preprocessed luminance image is a luminance image in which the range of brightness of the region of interest is adjusted to remove the fog component while excluding the sky region, that is, the maximum and minimum ranges of the brightness of the sky region are maintained.

대기 산란광 맵 생성부(120)의 구체적인 구성은 도 8을 참조하여 설명한다.The specific configuration of the air scattering light map generating unit 120 will be described with reference to FIG.

도 8을 참조하면, 대기 산란광 맵 생성부(120)는 적응적 영역 분할부(240), 대기 산란광 계산부(220) 및 맵 생성부(230)를 포함한다.8, the atmospheric scattered light map generating unit 120 includes an adaptive region dividing unit 240, a light scattering light calculating unit 220, and a map generating unit 230.

도 2에 도시된 대기 산란광 맵 생성부(120)와의 차이점은 적응적 영역 분할부(240)를 포함한다는 것이다. 도 2에 도시된 영역 분할부(210)는 분할된 하나의 영역 내에서 서로 다른 깊이(Depth)를 갖는 화소가 존재하지만, 이를 고려하지 않는다. 여기서, 깊이는 카메라와 피사체와의 거리를 의미한다. 일반적으로 안개환경에서 대기 산란광은 피사체와 카메라와의 거리에 대한 함수로 표현된다. 즉, 도 2에 도시된 영역 분할부(210)는 각각의 영역에 따라 비용함수를 이용하여 하나의 대기 산란광을 계산하기 때문에, 동일한 영역으로 분할된 동일 영역 내의 깊이 차이가 큰 화소가 존재할수록 결과 영상이 자연스럽지 못할 수 있다. 예를 들면, 균일 영역 분할시 동일 영역에서 깊이 차이가 큰 부분에는 후광효과(Halo effect)가 발생할 수 있으며, 실제로는 같은 건물이나 물체이지만 주변에 의한 영향으로 보상 정보가 다르게 추정되어 밝기가 달라지는 경우가 발생할 수 있다.The difference from the air scattering light map generating unit 120 shown in FIG. 2 is that the adaptive region dividing unit 240 is included. The area dividing unit 210 shown in FIG. 2 includes pixels having different depths in one divided area, but does not consider the pixels having different depths. Here, the depth means the distance between the camera and the subject. Generally, in the fog environment, the atmospheric scattering light is expressed as a function of the distance between the subject and the camera. That is, since the area dividing unit 210 shown in FIG. 2 calculates one air-scattering light using the cost function according to each area, the larger the difference in depth in the same area divided into the same area, The image may not be natural. For example, when a uniform region is divided, a halo effect may occur in a portion where the depth difference is large in the same region. In reality, the compensation information is estimated differently due to the influence of the same building or object, May occur.

도 8에 도시된 적응적 영역 분할부(240)는 입력 영상의 거리를 기초로 적응적으로 영역을 분할한다. 즉, 촬영 대상 물체 간의 거리를 추정하고, 이를 반영하여 영역을 비균일하도록 분할한다.The adaptive region dividing unit 240 shown in FIG. 8 adaptively divides an area based on the distance of the input image. That is, the distance between the objects to be photographed is estimated, and the area is divided to be non-uniform by reflecting the distance.

적응적 영역 분할의 방법은 도 9a 내지 9e를 참조하여 설명한다.A method of adaptive region segmentation will be described with reference to Figs. 9A to 9E.

영역별 대기 산란광을 추정하기 위해 먼저 영역 분할을 수행한다. 원 영상을 균일한 영역들로 분할한다. 영상 내의 하나의 영역을 동일한 깊이(Depth)로 추정하기 위해 그래디언트영상을 이용하여 영역 재분할을 하였다. 한 영역의 영상을 그래디언트 영상으로 만들어 주고 열과 행 방향에 대해서 각각 그래디언트 값을 합한다. 각 영역의 열 방향과 행 방향에 대한 그레디언트 값의 지역 최대값을 분할점으로 삼아 다시 영역 분할을 수행한다.To estimate the atmospheric scattering light for each region, region segmentation is first performed. The original image is divided into uniform regions. The region was re-segmented using gradient images to estimate one region of the image with the same depth. Create an image of a region as a gradient image and add the gradient values to the column and row directions. The region maximum value of the gradient value for the column direction and the row direction of each region is used as the dividing point, and region division is performed again.

예를 들면, 원 영상을 9개(3×3)로 분할하는 경우, 열과 행 방향으로 2×2로 균일하게 분할한다(도 9b). 그리고, 열과 행 방향으로 그래디언트 합을 계산한다. 즉, 균일하게 분할된 하나의 영역에 대하여, 다음 수학식 8을 이용해 그래디언트 합을 계산한다.For example, when the original image is divided into nine (3 x 3), the image is uniformly divided into 2 x 2 in the column and row directions (Fig. 9B). Then, the gradient sum is calculated in the column and row directions. That is, for one uniformly divided region, the gradient sum is calculated using the following equation (8).

Figure 112008078064591-PAT00007
Figure 112008078064591-PAT00007

Figure 112008078064591-PAT00008
Figure 112008078064591-PAT00008

여기서, nrow 와 ncol 은 분할된 영역의 행과 열의 수를 의미하고, G(i,j)는 해당 영역의 그래디언트 영상을 의미하고, k(여기서, k=1,...4)는 분할된 영역의 인덱스를 의미한다. Here, n row and n col mean the number of rows and columns of the divided region, G (i, j) means the gradient image of the corresponding region, k (where k = 1, ... 4) Means the index of the divided area.

열과 행 방향으로 영역 별 최대 그래디언트 합인 좌표를 선택하다. 즉 하나의 영역에서, Srow, Scol 의 최대값을 갖는 좌표를 구한다(도 9c 및 9d의 도면 번호 900, 910, 920 및 930). 이는 다음 수학식 9와 같다.Selects coordinates that are the sum of the maximum gradient for each region in the column and row directions. Namely, in one area, the coordinates having the maximum value of S row , S col are obtained (reference numerals 900, 910, 920 and 930 in FIGS. 9c and 9d). This is expressed by the following equation (9).

Figure 112008078064591-PAT00009
Figure 112008078064591-PAT00009

그리고, 영역 재분할을 수행한다(도 9d). 원 영상을 적응적으로 영역 분할한 결과가 도 9e에 도시되어 있다.Then, region re-segmentation is performed (Fig. 9D). The result of adaptively segmenting the original image is shown in FIG. 9E.

대기 산란광 계산부(220)는 적응적 영역 분할부(240)로부터 비균일하게 분할된 각각의 영역별로 비용함수를 이용해서 안개제거 보상에 필요한 대기산란광을 계산한다. 즉, 안개 제거 보상이 필요한 정도를 계산한다.The atmospheric scattering light calculation unit 220 calculates the atmospheric scattering light necessary for the fog removal compensation using the cost function for each non-uniformly divided region from the adaptive region dividing unit 240. That is, calculate the degree of necessity of fog removal compensation.

맵 생성부(230)는 대기 산란광 계산부(220)에서 계산된 각각의 영역별 대기 산란광을 전체 영상에 대해 인터폴레이션을 함으로써 전체 영상을 보정하는 대기 산란광 맵을 생성한다.The map generation unit 230 generates a standby scattered light map for correcting the entire image by interpolating the atmospheric scattered light for each of the areas calculated by the atmospheric scattered light calculation unit 220 with respect to the entire image.

후 처리부(190)는 감산부(130)로부터 입력된 안개성분을 제거한 휘도 영상과 하늘 영역 검출부(170)로부터 입력된 하늘 영역 정보를 이용하여 후 처리를 수행한다. 여기서, 후 처리는 빼기 연산을 기반으로 한 안개 왜곡 보정으로 인하여 생긴 전체 영상의 밝기 감소를 보정하고, 안개에 의한 에지 정보 손실을 복원하는 처리이다.The post-processing unit 190 performs post-processing using the luminance image from which the fog component input from the subtraction unit 130 is removed and the sky area information input from the sky area detection unit 170. Here, the post-processing is a process of correcting the brightness reduction of the entire image due to the fog distortion correction based on the subtraction operation and restoring the edge information loss due to the fog.

후 처리부(190)의 구성은 도 10을 참조하여 설명한다.The configuration of the post-processing unit 190 will be described with reference to FIG.

도 10을 참조하면, 후 처리부(190)는 히스토그램 스트레칭부(240), 적응적 히스토그램 등화부(250) 및 에지 강조부(260)를 포함한다.Referring to FIG. 10, the post-processing unit 190 includes a histogram stretching unit 240, an adaptive histogram equalizer 250, and an edge emphasis unit 260.

히스토그램 스트레칭부(240)는 하늘 영역 검출부(170)로부터 입력된 하늘 영역 정보를 이용하여 하늘 영역을 제외한 나머지 영역의 평균 밝기가 안개 왜곡 보정 전후가 동일하도록 밝기 범위를 조절한다. The histogram stretching unit 240 adjusts the brightness range so that the average brightness of the remaining regions except for the sky region is the same before and after the fog distortion correction using the sky region information input from the sky region detection unit 170. [

적응적 히스토그램 등화부(250)는 하늘 영역 검출부(170)로부터 입력된 하늘 영역 정보를 이용하여 하늘 영역을 제외한 나머지 부분의 밝기 표현 범위를 확장시키고, 히스토그램을 이용한 밝기를 재조정한다. 이는 전 처리부의 처리과정과 동일하다.The adaptive histogram equalizer 250 uses the sky area information input from the sky area detector 170 to expand the brightness expression range of the remaining part except for the sky area and readjust the brightness using the histogram. This is the same as the processing procedure of the pre-processing unit.

에지 강조부(260)는 적응적 히스토그램 등화부(20)로부터 출력된 휘도 신호에 대한 에지 강조 처리를 수행한다. 안개 영상의 경우 대기 산란광으로 인해 경계가 불분명해져 영상이 블러링(Blurring)된다. 이러한 현상을 해결하기 위해 윤곽선 성분 개선을 수행한다. 여기서, 에지 강조 처리는 상기 수학식 5를 참조하여 설명한 방식과 동일하다.The edge emphasis unit 260 performs edge emphasis processing on the luminance signal output from the adaptive histogram equalizer 20. In the case of fog images, the boundary is unclear due to the atmospheric scattering light, and the image is blurred. In order to solve this problem, the contour component improvement is performed. Here, the edge emphasis process is the same as that described with reference to Equation (5) above.

색차 보정부(200)는 Y/C 변환부(110)로부터 입력된 휘도 영상(Yin)과 색차 영상(Cin), 후 처리부(190)로부터 입력된 휘도 영상(Yout)을 이용해서 색차 영상을 보정한다. 여기서, 색차 보정은 대기 산란광에 의한 영향을 보정하기 때문에 밝기 변환에 따른 채도 감소분을 보정해 주는 것이다. 색차 보정은 다음 수학식 10을 이용한다.The chrominance correction unit 200 performs chrominance correction using the luminance image Y in and the chrominance image C in input from the Y / C conversion unit 110 and the luminance image Y out input from the post- Correct the image. Here, the chrominance correction corrects the effect of the atmospheric scattering light, so the saturation reduction due to the brightness conversion is corrected. The color difference correction uses the following Equation (10).

Figure 112008078064591-PAT00010
Figure 112008078064591-PAT00010

여기서, cp는 채도 보정 상수, Cmid는 색차 성분의 중간값, Yin과 Cin은 안개 영상의 휘도 및 색차 영상, Yout 및 Cout은 안개 왜곡이 보정된 영상의 휘도 및 색차 영상을 의미한다.In this case, c p is the saturation correction constant, C mid is the intermediate value of the chrominance component, Y in and C in are the luminance and chrominance images of the fog image, Y out and C out are the luminance and chrominance images of the fog- it means.

RGB 변환부(150)는 색차 보정부(200)로부터 휘도 영상(Yout)과 색차 성분이 보정된 색차 영상(Cout)을 입력받아 RGB 영상을 출력한다. Y/C 색공간에서 RGB 영상으로 변환은 상기 수학식 6을 이용한다.The RGB converter 150 receives the luminance image Yout and the chrominance component Cout corrected from the chrominance correction unit 200 and outputs the RGB image. The conversion from the Y / C color space to the RGB image uses Equation (6).

도 11은 본 발명의 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.11 is a flowchart illustrating an image processing method according to another embodiment of the present invention.

도 11를 참조하면, 단계 1100에서, RGB신호를 Y/C신호로 변환한다. 단계 1102에서, 휘도 신호의 영상을 소정 개수의 블록으로 영역 분할한다. 단계 1104에서, 영역별로 비용함수를 이용해 대기 산란광을 계산하고, 단계 1106에서, 전체 영상을 보정하는 대기 산란광 맵을 생성한다. 단계 1108에서, 휘도 영상에서 대기 산란광 맵을 감산하여 대기 산란광 성분이 제거된 휘도 신호를 얻는다. 단계 1110에서, 대기 산란광으로 인한 에지 성분이 줄어드는 것을 보상해주기 위해 에지 성분을 강조한다. 단계 1112에서, 대기 산란광 성분이 제거되고 에지 성분이 강조된 휘도 신호와, 색차 신호를 이용하여 RGB변환을 하여 RGB신호를 출력한다. 단계 1114에서, 히스토그램 스트레칭을 수행함으로써 전체 영상이 어두워지는 것을 보상해준다.Referring to FIG. 11, in step 1100, the RGB signal is converted into a Y / C signal. In step 1102, the image of the luminance signal is divided into a predetermined number of blocks. At step 1104, a cost function is used to calculate the atmospheric scattering light for each area, and at step 1106, a standby scattering light map for correcting the entire image is generated. In step 1108, a luminance signal in which the atmospheric scattering light component is removed is obtained by subtracting the atmospheric scattering light map from the luminance image. In step 1110, the edge component is emphasized to compensate for the reduction of the edge component due to the air scattering light. In step 1112, the RGB signal is outputted by performing RGB conversion using the luminance signal in which the background scattered light component is removed and the edge component is emphasized, and the color difference signal. In step 1114, histogram stretching is performed to compensate for the darkening of the entire image.

도 12는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating an image processing method according to another embodiment of the present invention.

도 12를 참조하면, 단계 1200에서, RGB 신호를 Y/C 신호로 변환한다. 단계 1202에서, 입력 휘도 신호로부터 하늘 영역을 검출한다. 여기서, 하늘 영역 검출은 영상의 맨 위에서부터 에지 정보를 검색하고, 특정 이상의 에지가 생기기 전까지를 하늘 영역으로 검출한다. 그리고, 전체 영상에서 하늘 영역이 차지하는 비율과 하늘 영역에서의 최대, 최소 밝기 값을 이용하여 하늘 영역의 밝기 표현 범위를 계산한다. 단계 1024에서, 입력 휘도 신호와 검출한 하늘 영역 정보를 이용하여 전 처리를 수행한다. 전 처리는 하늘 영역을 제외한 나머지 부분의 밝기의 표현 범위를 확장하고 히스토그램을 이용한 밝기를 다시 조정하는 것이다. 여기서, 히스토그램의 높낮이를 제한하고, 특히 지수승 연산을 이용하여 히스토그램의 포락선은 유지하면서 높낮이 차이를 줄인다. 그리고, 하늘 영역의 범위를 유지하면서 매핑함수를 생성한다. 단계 1206에서, 휘도 영상의 깊이 차이를 고려하여 적응적으로 영역을 분할한다. 여기서, 적응적 영역 분할은 그래디언트 영상을 이용하여 영역 분할을 수행한다. 단계 1208에서, 영역별로 비용함수를 이용해 대기 산란광을 계산하고, 단계 1210에서, 전체 영상을 보정하는 대기 산란광 맵을 생성한다. 단계 1212에서, 휘도 영상에서 대기 산란광 맵을 감산하여 대기 산란광 성분이 제거된 휘도 신호를 얻는다. 단계 1214에서, 하늘 영역 정보와 대기 산란광 성분이 제 거된 휘도 신호에 대해 후 처리를 수행한다. 여기서, 후 처리는 히스토그램 스트레칭 처리, 하늘 영역을 고려한 적응적 히스토그램 등화 처리, 에지 강조 처리를 포함한다. 단계 1216에서, 후 처리된 휘도 신호, 입력 휘도 신호, 입력 색차 신호를 이용해서 색차 보정을 수행한다. 색차 보정은 밝기 변화에 따른 채도 감소를 보정해 주는 것이다. 단계 1218에서, 후 처리된 휘도 신호와 색차 보정된 색차 신호를 이용해서 RGB 신호로 변환한다. Referring to FIG. 12, in step 1200, an RGB signal is converted into a Y / C signal. In step 1202, a sky area is detected from the input luminance signal. Here, the sky area detection detects edge information from the top of the image, and detects it as a sky area until a specific edge is generated. Then, the brightness expression range of the sky area is calculated by using the ratio of the sky area in the entire image and the maximum and minimum brightness values in the sky area. In step 1024, pre-processing is performed using the input luminance signal and the detected sky area information. The preprocessing extends the range of brightness of the remaining portions except for the sky region and adjusts the brightness using the histogram again. Here, the height of the histogram is limited, and in particular, the exponentiation operation is used to reduce the height difference while maintaining the envelope of the histogram. Then, the mapping function is generated while maintaining the range of the sky area. In step 1206, the area is adaptively divided in consideration of the depth difference of the luminance image. Here, the adaptive region segmentation is performed using the gradient image. In step 1208, the airborne scattering light is calculated using the cost function for each area, and in step 1210, a standby scattering light map for correcting the entire image is generated. In step 1212, a luminance signal in which the atmospheric scattering light component is removed is obtained by subtracting the atmospheric scattering light map from the luminance image. In step 1214, post-processing is performed on the luminance signal from which the sky area information and the atmospheric scattering light component are removed. Here, the post-processing includes a histogram stretching process, an adaptive histogram equalization process considering the sky region, and an edge emphasis process. In step 1216, color difference correction is performed using the post-processed luminance signal, input luminance signal, and input color difference signal. The chrominance correction corrects the saturation reduction according to the brightness change. In step 1218, the post-processed luminance signal and the color-difference-corrected color difference signal are converted into RGB signals.

도 13a 내지 13g는 본 발명의 또 다른 실시 예에 따른 영상 처리 결과를 설명하기 위한 예시도이다.13A to 13G are diagrams for explaining image processing results according to another embodiment of the present invention.

도 13a는 원본 영상이고, 도 13b는 원본 영상의 휘도 영상이고, 도 13c는 전 처리 과정을 거친 다음의 휘도 영상이고, 도 13d는 그레이 레벨로 표현된 대기 산란광 맵이고, 도 13e는 도 13b에 도시된 휘도 영상과 도 13d에 도시된 대기 산란광 맵을 감산한 왜곡 보정 후의 휘도 영상이고, 도 13f는 후 처리한 휘도 영상이고, 도 13g는 최종 결과 영상이다. 13B is a luminance image of the original image, FIG. 13C is a luminance image following the preprocessing process, FIG. 13D is a standby-scattered light map expressed in gray level, and FIG. FIG. 13F is a luminance image after the post-processing, and FIG. 13G is a final result image. FIG. 13B is a luminance image after distortion correction obtained by subtracting the illustrated luminance image and the standby-scattered light map shown in FIG.

도 13g에 도시된 것처럼, 도 13a의 원본 영상과 비교하여 안개로 인한 왜곡이 제거된 결과 영상임을 알 수 있다.As shown in FIG. 13G, it can be seen that the resultant image is a result of removing distortion due to fog as compared with the original image of FIG. 13A.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the present invention can be embodied in computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof. Therefore, the above-described embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치(100)의 개략적인 블록도이다.1 is a schematic block diagram of an image processing apparatus 100 according to an embodiment of the present invention.

도 2는 도 1에 도시된 대기 산란광 맵 생성부(120)의 다른 실시 예이다.2 is another embodiment of the atmospheric scattered light map generator 120 shown in FIG.

도 3a 내지 3d는 안개에 의해 발생한 대기 산란광이 영상의 휘도에 미치는 영향을 설명하기 위한 도면이다.3A to 3D are diagrams for explaining the effect of the air scattering light generated by the mist on the brightness of an image.

도 4a 내지 4c는 도 2에 도시된 대기 산란광 맵 생성부(120)의 기능을 설명하기 위한 도면이다.4A to 4C are views for explaining the functions of the air scattering light map generating unit 120 shown in FIG.

도 5a 및 5b는 도 1에 도시된 후 처리부(160)의 기능을 설명하기 위한 도면이다.5A and 5B are views for explaining the function of the post-processing unit 160 shown in FIG.

도 6은 본 발명의 다른 실시 예에 따른 영상 처리 장치(100)의 개략적인 블록도이다.6 is a schematic block diagram of an image processing apparatus 100 according to another embodiment of the present invention.

도 7a 내지 7d는 본 발명의 또 다른 실시 예에 따른 전 처리 방법을 설명하기 위한 도면이다.7A to 7D are views for explaining a pre-processing method according to another embodiment of the present invention.

도 8은 도 6에 도시된 대기 산란광 맵 생성부(120)의 또 다른 실시 예이다.FIG. 8 shows another embodiment of the atmospheric scattered light map generator 120 shown in FIG.

도 9a 내지 9e는 본 발명의 또 다른 실시 예에 따른 적응적 영역 분할을 설명하기 위한 도면이다.9A to 9E are views for explaining adaptive region division according to another embodiment of the present invention.

도 10은 도 6에 도시된 후 처리부(190)의 개략적인 블록도이다.FIG. 10 is a schematic block diagram of the post-processing unit 190 shown in FIG.

도 11은 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.11 is a flowchart illustrating an image processing method according to another embodiment of the present invention.

도 12는 본 발명의 또 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating an image processing method according to another embodiment of the present invention.

도 13a 내지 13g는 본 발명의 또 다른 실시 예에 따른 영상 처리 결과를 설명하기 위한 예시도이다.13A to 13G are diagrams for explaining image processing results according to another embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명>Description of the Related Art

100: 영상 처리 장치 110: Y/C 변환부100: image processing apparatus 110: Y / C conversion unit

120: 대기 산란광 맵 생성부 130: 감산부120: Atmospheric scattering light map generating unit 130:

140: 에지 강조부 150: RGB 변환부140: edge emphasis unit 150: RGB conversion unit

160: 후 처리부 210: 영역 분할부160: post-processing unit 210: area division unit

220: 대기 산란광 계산부 230: 맵 생성부220: Atmospheric scattering calculation unit 230: Map generation unit

Claims (33)

대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 단계; 및Generating a standby scattered light map based on a ratio of an average and a standard deviation of the first luminance image to a first luminance image of an image including atmospheric air light; And 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 단계를 포함하는 영상 처리 방법.And outputting a second luminance image from which the atmospheric scattering light is removed by subtracting the generated atmospheric scattering light map from the first luminance image. 제 1 항에 있어서,The method according to claim 1, 상기 대기 산란광 맵은,The atmospheric scattering light map may include: 상기 대기 산란광에 의한 영향의 정도를 표현하는 것을 특징으로 하는 영상 처리 방법.Wherein the degree of influence of the atmospheric scattering light is expressed. 제 1 항에 있어서,The method according to claim 1, 상기 생성 단계는,Wherein the generating comprises: 상기 제1 휘도 영상을 소정의 개수의 블록으로 영역 분할하는 단계;Dividing the first luminance image into a predetermined number of blocks; 상기 분할한 영역별로 상기 제1 휘도 영상의 평균과 표준편차의 비율을 이용하여 비용 함수(cost function)를 정의하고, 상기 비용 함수를 이용해서 영역별로 대기 산란광 성분을 계산하는 단계; 및Defining a cost function using a ratio of an average and a standard deviation of the first luminance image for each of the divided regions and calculating a background scattering light component for each region using the cost function; And 상기 계산한 영역별 대기 산란광 성분을 최소 자승법(Least Square method) 을 이용하여 상기 제1 휘도 영상의 대기 산란광 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.And generating the atmospheric scattering light map of the first luminance image using the calculated atmospheric scattering light component by the Least Square method. 제 3 항에 있어서,The method of claim 3, 상기 영역 분할 단계는,Wherein, 상기 제1 휘도 영상의 깊이 차이를 기초로 적응적으로 수행하는 것을 특징으로 하는 영상 처리 방법. Wherein the first luminance image is adaptively performed based on a depth difference of the first luminance image. 제 3 항에 있어서,The method of claim 3, 상기 영역 분할 단계는,Wherein, 상기 제1 휘도 영상의 열과 행 방향으로 그래디언트 합을 계산하고, 상기 계산한 그래디언트 합이 최대가 되는 좌표를 기준으로 분할하는 것을 특징으로 하는 영상 처리 방법.Calculating a gradient sum in a row and a column direction of the first luminance image, and dividing the gradient sum based on a coordinate at which the calculated gradient sum is maximum. 제 3 항에 있어서,The method of claim 3, 상기 영역 분할 단계 이전에,Before the region segmentation step, 상기 제1 휘도 영상의 에지 정보를 이용하여 하늘 영역을 검출하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.And detecting a sky region using edge information of the first luminance image. 제 6 항에 있어서,The method according to claim 6, 상기 검출한 하늘 영역을 제외한 영역을 포함하는 제1 휘도 영상에 대한 밝기의 표현 범위를 확장하고, 히스토그램을 이용하여 밝기를 조정하고, 상기 조정된 히스토그램의 값을 누적하여 밝기의 표현 범위를 나타내는 매핑함수를 생성하는 전 처리 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.A brightness range of the first luminance image including a region excluding the detected sky region is expanded, a brightness is adjusted using a histogram, and a value of the adjusted histogram is accumulated to represent a range of brightness Further comprising a pre-processing step of generating a function. 제 7 항에 있어서,8. The method of claim 7, 상기 전 처리 단계는,The pre- 다음 수학식 7을 이용하여 밝기를 조정하는 것을 특징으로 하는 영상 처리 방법.And brightness is adjusted using Equation (7). [수학식 7]&Quot; (7) &quot; hnew(k)=(h(k)+1)1/n h new (k) = (h (k) +1) 1 / n (여기서, h(k)는 히스토그램이고, k는 밝기 표현 범위, n은 지수승의 상수를 의미한다)(Where h (k) is a histogram, k is a brightness expression range, and n is a constant of exponentiation) 제 8 항에 있어서,9. The method of claim 8, 상기 매핑 함수는,Wherein the mapping function comprises: 상기 검출한 하늘 영역에 대한 밝기 표현 범위를 유지하는 것을 특징으로 하는 영상 처리 방법. And a brightness expression range for the detected sky area is maintained. 제 3 항에 있어서,The method of claim 3, 상기 비용 함수는,The cost function, 다음 수학식 2와 같이 정의되는 것을 특징으로 하는 영상 처리 방법.(2). &Lt; EMI ID = 2.0 &gt; [수학식 2]&Quot; (2) &quot;
Figure 112008078064591-PAT00011
Figure 112008078064591-PAT00012
Figure 112008078064591-PAT00011
Figure 112008078064591-PAT00012
 (여기서, Y'(i,j)는 대기 산란광을 포함한 영상의 휘도 성분이고, I(i,j)는 대기 산란광을 포함하지 않은 영상의 휘도 성분이고, i,j는 픽셀의 좌표이고, λ는 영상에서 감해주는 휘도의 정도이다)(I, j) is a luminance component of an image not including atmospheric scattering light, i, j is a pixel coordinate, and? (I, j) Is the degree of brightness that is subtracted from the image) 제 10 항에 있어서,11. The method of claim 10, 상기 대기 산란광 성분은,The atmospheric scattered light component may be, 다음 수학식 3을 이용하여 계산하는 것을 특징으로 하는 영상 처리 방법.Wherein the calculation is performed using the following equation (3). [수학식 3]&Quot; (3) &quot;
Figure 112008078064591-PAT00013
Figure 112008078064591-PAT00013
 제 1 항에 있어서,The method according to claim 1, 상기 출력된 제2 휘도 영상에 대한 에지 강조 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.And performing edge enhancement processing on the output second luminance image. 제 12 항에 있어서,13. The method of claim 12, 상기 에지 강조 처리는 다음 수학식 5를 이용해서 수행하는 것을 특징으로 하는 영상 처리 방법.Wherein the edge enhancement process is performed using the following equation (5). [수학식 5]&Quot; (5) &quot; Yout(i,j)=Y"(i,j)±s×g(i,j)Y out (i, j) = Y "(i, j) ± s × g (i, j) (여기서, Yout(i,j)는 안개 왜곡 정도를 보상하고, 에지 강조 처리를 수행한 결과 휘도 영상이고, Y"(i,j)는 안개 왜곡 정도를 보상한 휘도 영상이며, s는 에지 개선 정도를 조절하는 파라미터이고, g(i,j)는 고주파 필터를 통과한 에지 성분이다)(Wherein, Y out (i, j) is the result of compensating the degree of haze distortion, performs edge emphasis processing luminance image, Y "(i, j) is the luminance compensation the degree fog distorted image, s is an edge G (i, j) is an edge component passed through the high-frequency filter) 제 13 항에 있어서,14. The method of claim 13, 상기 대기 산란광(Airlight)을 포함한 영상의 색차 영상과 상기 에지 강조 처리된 제3 휘도 영상을 RGB 영상으로 변환하는 단계; 및Converting the chrominance image of the image including the atmospheric air light and the third luminance image subjected to the edge enhancement processing into an RGB image; And 상기 변환한 RGB 영상에 대해 히스토그램 스트레칭을 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.And performing histogram stretching on the transformed RGB image. 제 8 항에 있어서,9. The method of claim 8, 상기 출력된 제2 휘도 영상에 대해 밝기 감소를 보정하는 후 처리 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.Further comprising a post-processing step of correcting brightness reduction of the output second luminance image. 제 15 항에 있어서,16. The method of claim 15, 상기 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상과 제1 색차 영상, 및 상기 후 처리한 제2 휘도 영상을 이용하여 영상의 밝기 변화에 따른 채도 감소를 보정하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법. And correcting the saturation reduction according to the brightness change of the image using the first brightness image and the first chroma image of the image including the airlight and the post-processed second brightness image, . 제 1 항에 있어서,The method according to claim 1, 상기 대기 산란광은,The atmospheric scattering light, 안개에 의해 발생한 것을 특징으로 하는 영상 처리 방법.Wherein the image is generated by fog. 안개 영상을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상을 소정 개수의 블록으로 영역 분할하는 단계;Receiving a first luminance image of an image including a fog image and dividing the first luminance image into a predetermined number of blocks; 상기 분할한 영역별로 평균과 표준편차의 비율을 기초로 상기 안개 영상의 영향을 반영한 대기 산란광을 계산하는 단계;Calculating atmospheric scattering light reflecting the influence of the foggy image based on a ratio of an average and a standard deviation for each of the divided regions; 상기 계산한 영역별 대기 산란광을 기초로 최소 자승법을 이용해서 상기 제1 휘도 영상의 대기 산란광 맵을 생성하는 단계; 및Generating a standby scattered light map of the first luminance image using a least squares method based on the calculated atmospheric scattering light of each region; And 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 안개 영상의 영향이 제거된 제2 휘도 영상을 출력하는 단계를 포함하는 영상 처리 방법.And outputting a second luminance image in which the influence of the mist image is removed by subtracting the generated atmospheric scattering light map from the first luminance image. 제 18 항에 있어서,19. The method of claim 18, 상기 영역 분할 단계는,Wherein, 상기 제1 휘도 영상의 깊이 차이를 기초로 적응적으로 수행하는 것을 특징으로 하는 영상 처리 방법. Wherein the first luminance image is adaptively performed based on a depth difference of the first luminance image. 제 19 항에 있어서,20. The method of claim 19, 상기 영역 분할 단계 이전에,Before the region segmentation step, 상기 제1 휘도 영상의 에지 정보를 이용하여 하늘 영역을 검출하는 단계; 및Detecting a sky region using edge information of the first luminance image; And 상기 검출한 하늘 영역을 제외한 영역을 포함하는 제1 휘도 영상의 밝기를 전 처리하는 단계를 더 포함하고,Further comprising the step of pre-processing the brightness of the first luminance image including the detected area excluding the sky area, 상기 영역 분할 단계는,Wherein, 상기 전 처리된 제1 휘도 영상의 깊이 정보를 기초로 적응적으로 분할하는 것을 특징으로 하는 영상 처리 방법. Wherein the depth information of the first luminance image is adaptively divided based on the depth information of the first luminance image. 제 18 항에 있어서,19. The method of claim 18, 상기 대기 산란광은,The atmospheric scattering light, 안개에 의해 발생한 것을 특징으로 하는 영상 처리 방법.Wherein the image is generated by fog. 제 1 항 내지 제 21 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.22. A recording medium recording a program for causing a computer to execute the method according to any one of claims 1 to 21. 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 대기 산란광 맵 생성부; 및An air scattering light map generator for receiving a first luminance image of an image including atmospheric air light and generating a standby scattered light map based on a ratio of an average and a standard deviation of the first luminance image; And 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 감산부를 포함하는 영상 처리 장치.And a subtractor for subtracting the generated atmospheric scattering light map from the first luminance image to output a second luminance image from which the atmospheric scattering light is removed. 제 23 항에 있어서,24. The method of claim 23, 상기 대기 산란광 맵은,The atmospheric scattering light map may include: 상기 대기 산란광에 의한 영향의 정도를 표현하는 것을 특징으로 하는 영상 처리 장치.And expresses the degree of influence by the atmospheric scattering light. 제 24 항에 있어서,25. The method of claim 24, 상기 대기 산란광 맵 생성부는,Wherein the atmospheric scattering light map generation unit comprises: 상기 제1 휘도 영상을 소정의 개수의 블록으로 영역 분할하는 영역 분할부;An area dividing unit dividing the first luminance image into a predetermined number of blocks; 상기 분할한 영역별로 상기 제1 휘도 영상의 평균과 표준편차의 비율을 이용 하여 비용 함수(cost function)를 정의하고, 상기 비용 함수를 이용해서 영역별로 대기 산란광 성분을 계산하는 대기 산란광 계산부; 및A light scattering light calculation unit for defining a cost function using a ratio of an average and a standard deviation of the first luminance image for each of the divided regions and calculating a light scattering light component for each region using the cost function; And 상기 계산한 영역별 대기 산란광 성분을 최소 자승법(Least Square method)을 이용하여 상기 제1 휘도 영상의 대기 산란광 맵을 생성하는 맵 생성부를 포함하는 것을 특징으로 하는 영상 처리 장치.And a map generator for generating the atmospheric scattering light map of the first luminance image using the calculated Least Square method. 제 25 항에 있어서,26. The method of claim 25, 상기 감산부로부터 출력된 제2 휘도 영상에 대해 에지 강조 처리를 수행하는 에지 강조부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.And an edge emphasis unit that performs edge emphasis processing on the second luminance image output from the subtraction unit. 제 26 항에 있어서,27. The method of claim 26, 상기 대기 산란광을 포함한 영상의 색차 영상과 상기 에지 강조부로부터 출력된 제3 휘도 영상을 RGB 영상으로 변환하는 RGB변환부; 및An RGB converter for converting a chrominance image of the image including the atmospheric scattering light and a third luminance image output from the edge enhancing unit into an RGB image; And 상기 변환한 RGB 영상에 대해 히스토그램 스트레칭을 수행하는 후 처리부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.And a post-processing unit for performing histogram stretching on the converted RGB image. 제 25 항에 있어서,26. The method of claim 25, 상기 영역 분할부는,Wherein, 상기 제1 휘도 영상의 깊이 차이를 기초로 적응적으로 수행하는 것을 특징으로 하는 영상 처리 장치.Wherein the first luminance image is adaptively performed based on a depth difference of the first luminance image. 제 24 항에 있어서,25. The method of claim 24, 상기 제1 휘도 영상의 에지 정보를 이용하여 하늘 영역을 검출하는 하늘 영역 검출부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.And a sky area detecting unit detecting an sky area using edge information of the first luminance image. 제 29 항에 있어서,30. The method of claim 29, 상기 검출한 하늘 영역을 제외한 영역을 포함하는 제1 휘도 영상에 대한 밝기의 표현 범위를 확장하고, 히스토그램을 이용하여 밝기를 조정하고, 상기 조정된 히스토그램의 값을 누적하여 밝기의 표현 범위를 나타내는 매핑함수를 생성하는 전 처리부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.A brightness range of the first luminance image including a region excluding the detected sky region is expanded, a brightness is adjusted using a histogram, and a value of the adjusted histogram is accumulated to represent a range of brightness Further comprising a pre-processing unit for generating a function. 제 30 항에 있어서,31. The method of claim 30, 상기 출력된 제2 휘도 영상에 대해 밝기 감소를 보정하는 후 처리부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.And a post-processing unit for correcting brightness reduction of the output second luminance image. 제 31 항에 있어서,32. The method of claim 31, 상기 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상과 제1 색차 영상, 및 상기 후 처리한 제2 휘도 영상을 이용하여 영상의 밝기 변화에 따른 채도 감소를 보정하는 색차 보정부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.And a chrominance correction unit for correcting chroma saturation according to the brightness change of the image using the first luminance image and the first chrominance image of the image including the airlight and the post processed second luminance image The image processing apparatus characterized in. 제 23 항에 있어서,24. The method of claim 23, 상기 대기 산란광은,The atmospheric scattering light, 안개에 의해 발생한 것을 특징으로 하는 영상 처리 장치.Characterized in that it is generated by fog.
KR1020080111875A 2008-08-18 2008-11-11 Image enhancement processing method and apparatus for distortion correction by air particle like fog KR101518722B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/436,885 US8396324B2 (en) 2008-08-18 2009-05-07 Image processing method and apparatus for correcting distortion caused by air particles as in fog

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080080558 2008-08-18
KR20080080558 2008-08-18

Publications (2)

Publication Number Publication Date
KR20100021952A true KR20100021952A (en) 2010-02-26
KR101518722B1 KR101518722B1 (en) 2015-05-15

Family

ID=42091464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080111875A KR101518722B1 (en) 2008-08-18 2008-11-11 Image enhancement processing method and apparatus for distortion correction by air particle like fog

Country Status (1)

Country Link
KR (1) KR101518722B1 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053833A2 (en) * 2010-10-20 2012-04-26 이영섭 Fog-correcting telescope
KR101292421B1 (en) * 2011-08-05 2013-08-01 경희대학교 산학협력단 Method for improving foggy image by unit image block
WO2013165210A1 (en) * 2012-05-03 2013-11-07 에스케이텔레콤 주식회사 Image processing apparatus for removing haze contained in still image and method thereof
WO2013172580A1 (en) * 2012-05-15 2013-11-21 에스케이텔레콤 주식회사 Image-processing apparatus for removing haze contained in video, and method therefor
KR101418185B1 (en) * 2012-12-26 2014-07-10 금오공과대학교 산학협력단 System and method for visibility enhancement using fusion of dehazing and retinex
WO2014142417A1 (en) * 2013-03-11 2014-09-18 전남대학교산학협력단 System for improving foggy luminance image using fog reduction estimation model
KR101470833B1 (en) * 2013-05-24 2014-12-09 전남대학교산학협력단 Apparatus for enhancing the foggy luminance image using lower bound of transmission rate
KR101470831B1 (en) * 2013-05-28 2014-12-10 전남대학교산학협력단 Appatatus for image dehazing using the user controllable radical root operation
US8934711B2 (en) 2012-12-24 2015-01-13 Samsung Techwin Co., Ltd. Apparatus and method of processing image
KR101490594B1 (en) * 2013-05-28 2015-02-05 주식회사 코아로직 Method and apparatus for processing image including for area
KR101507642B1 (en) * 2012-07-17 2015-04-07 경희대학교 산학협력단 Method for compensating fogs image based on estimated transmission value
KR20150146045A (en) * 2014-06-20 2015-12-31 현대자동차주식회사 Apparatus and method for image defogging
KR101582779B1 (en) * 2015-07-17 2016-01-06 중앙대학교 산학협력단 Wavelength-adaptive dehazing device and method for image
US9317910B2 (en) 2014-03-27 2016-04-19 Hanwha Techwin Co., Ltd. Defogging system and defogging method
KR101634724B1 (en) 2015-02-03 2016-06-30 전남대학교산학협력단 Apparatus for adaptive enhancing the brightness of night image using generation and selection of brightness conversion curve
KR20160088178A (en) * 2015-01-15 2016-07-25 박진상 The method and the recording media for original image restoration technology based on scattering noise removal and photon detection for single recorded image
KR20170044844A (en) * 2015-10-16 2017-04-26 삼성전자주식회사 Image haze removing device
US9846925B2 (en) 2015-05-08 2017-12-19 Hanwha Techwin Co., Ltd. Defog system and defog method
US10290081B2 (en) 2016-04-29 2019-05-14 Industry Foundation Of Chonnam National University System for image dehazing by modifying lower bound of transmittance and method therefor
KR20190138137A (en) * 2018-06-04 2019-12-12 주식회사 샛별교육연구 System and method for image defogging
CN113840123A (en) * 2020-06-24 2021-12-24 上海赫千电子科技有限公司 Image processing device of vehicle-mounted image and automobile
KR102388301B1 (en) * 2021-01-19 2022-04-20 주식회사 포에스텍 Correction method of underwater environment image using ultrasonic sensor
CN113840123B (en) * 2020-06-24 2024-05-31 上海赫千电子科技有限公司 Image processing device of vehicle-mounted image and automobile

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584522B1 (en) 2016-12-27 2023-10-05 한화비전 주식회사 Image processing device and image enhancing method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4200718B2 (en) * 2002-09-06 2008-12-24 ソニー株式会社 Image processing apparatus and method, recording medium, and program
JP2006197460A (en) * 2005-01-17 2006-07-27 Konica Minolta Photo Imaging Inc Image processing method, image processor, image processing program and image pickup device

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053833A2 (en) * 2010-10-20 2012-04-26 이영섭 Fog-correcting telescope
WO2012053833A3 (en) * 2010-10-20 2012-06-28 이영섭 Fog-correcting telescope
KR101292421B1 (en) * 2011-08-05 2013-08-01 경희대학교 산학협력단 Method for improving foggy image by unit image block
WO2013165210A1 (en) * 2012-05-03 2013-11-07 에스케이텔레콤 주식회사 Image processing apparatus for removing haze contained in still image and method thereof
KR20130123525A (en) * 2012-05-03 2013-11-13 에스케이텔레콤 주식회사 Image processing apparatus for image haze removal and method using that
US9336577B2 (en) 2012-05-03 2016-05-10 Sk Telecom Co., Ltd. Image processing apparatus for removing haze contained in still image and method thereof
WO2013172580A1 (en) * 2012-05-15 2013-11-21 에스케이텔레콤 주식회사 Image-processing apparatus for removing haze contained in video, and method therefor
KR20130127654A (en) * 2012-05-15 2013-11-25 에스케이텔레콤 주식회사 Image processing apparatus for moving image haze removal and method using that
US9275443B2 (en) 2012-05-15 2016-03-01 Sk Telecom Co., Ltd. Image-processing apparatus for removing haze contained in video, and method therefof
KR101507642B1 (en) * 2012-07-17 2015-04-07 경희대학교 산학협력단 Method for compensating fogs image based on estimated transmission value
US8934711B2 (en) 2012-12-24 2015-01-13 Samsung Techwin Co., Ltd. Apparatus and method of processing image
KR101418185B1 (en) * 2012-12-26 2014-07-10 금오공과대학교 산학협력단 System and method for visibility enhancement using fusion of dehazing and retinex
WO2014142417A1 (en) * 2013-03-11 2014-09-18 전남대학교산학협력단 System for improving foggy luminance image using fog reduction estimation model
KR101445577B1 (en) * 2013-03-11 2014-11-04 주식회사 브이아이티시스템 System for enhancing the foggy luminance image using the estimation model of haze removal
US9418402B2 (en) 2013-03-11 2016-08-16 Industry Foundation Of Chonnam National University System for improving foggy luminance image using fog reduction estimation model
KR101470833B1 (en) * 2013-05-24 2014-12-09 전남대학교산학협력단 Apparatus for enhancing the foggy luminance image using lower bound of transmission rate
KR101490594B1 (en) * 2013-05-28 2015-02-05 주식회사 코아로직 Method and apparatus for processing image including for area
KR101470831B1 (en) * 2013-05-28 2014-12-10 전남대학교산학협력단 Appatatus for image dehazing using the user controllable radical root operation
US9384532B2 (en) 2013-05-28 2016-07-05 Industry Foundation Of Chonnam National University Apparatus for improving fogged image using user-controllable root operator
US9317910B2 (en) 2014-03-27 2016-04-19 Hanwha Techwin Co., Ltd. Defogging system and defogging method
US9466097B2 (en) 2014-06-20 2016-10-11 Hyundai Motor Company Apparatus and method for removing fog in image
KR20150146045A (en) * 2014-06-20 2015-12-31 현대자동차주식회사 Apparatus and method for image defogging
KR20160088178A (en) * 2015-01-15 2016-07-25 박진상 The method and the recording media for original image restoration technology based on scattering noise removal and photon detection for single recorded image
KR101634724B1 (en) 2015-02-03 2016-06-30 전남대학교산학협력단 Apparatus for adaptive enhancing the brightness of night image using generation and selection of brightness conversion curve
US9846925B2 (en) 2015-05-08 2017-12-19 Hanwha Techwin Co., Ltd. Defog system and defog method
WO2017014396A1 (en) * 2015-07-17 2017-01-26 중앙대학교 산학협력단 Device and method for wavelength-adaptive dehazing of image
KR101582779B1 (en) * 2015-07-17 2016-01-06 중앙대학교 산학협력단 Wavelength-adaptive dehazing device and method for image
KR20170044844A (en) * 2015-10-16 2017-04-26 삼성전자주식회사 Image haze removing device
US10290081B2 (en) 2016-04-29 2019-05-14 Industry Foundation Of Chonnam National University System for image dehazing by modifying lower bound of transmittance and method therefor
KR20190138137A (en) * 2018-06-04 2019-12-12 주식회사 샛별교육연구 System and method for image defogging
CN113840123A (en) * 2020-06-24 2021-12-24 上海赫千电子科技有限公司 Image processing device of vehicle-mounted image and automobile
CN113840123B (en) * 2020-06-24 2024-05-31 上海赫千电子科技有限公司 Image processing device of vehicle-mounted image and automobile
KR102388301B1 (en) * 2021-01-19 2022-04-20 주식회사 포에스텍 Correction method of underwater environment image using ultrasonic sensor
WO2022158611A1 (en) * 2021-01-19 2022-07-28 주식회사 포에스텍 Method for correcting underwater environment image by using ultrasonic sensor

Also Published As

Publication number Publication date
KR101518722B1 (en) 2015-05-15

Similar Documents

Publication Publication Date Title
KR101518722B1 (en) Image enhancement processing method and apparatus for distortion correction by air particle like fog
US8396324B2 (en) Image processing method and apparatus for correcting distortion caused by air particles as in fog
Shin et al. Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing
KR102104403B1 (en) Method and Apparatus for removing haze in a single image
RU2658874C1 (en) Fog remover device and method of forming images
Hou et al. An efficient nonlocal variational method with application to underwater image restoration
US8923612B2 (en) Image processing apparatus and method, and program
WO2013168618A1 (en) Image processing device and image processing method
KR101448164B1 (en) Method for Image Haze Removal Using Parameter Optimization
KR100771158B1 (en) Method AND System For Enhancement Color Image Quality
EP2846306B1 (en) Image processing apparatus for removing haze contained in still image and method thereof
CN104240194A (en) Low-light-level image enhancement algorithm based on parabolic function
CN109377450B (en) Edge protection denoising method
Mohan et al. Underwater image enhancement based on histogram manipulation and multiscale fusion
CN110023957B (en) Method and apparatus for estimating drop shadow region and/or highlight region in image
Yu et al. Image and video dehazing using view-based cluster segmentation
John et al. Enhancement of weather degraded video sequences using wavelet fusion
Mei et al. Single image dehazing using dark channel fusion and haze density weight
CN105719251A (en) Compression and quality reduction image restoration method used for large image motion linear fuzziness
Kansal et al. Fusion-based image de-fogging using dual tree complex wavelet transform
Li et al. A retinex algorithm for image enhancement based on recursive bilateral filtering
KR101651889B1 (en) Video quality enhancement device and method for extremely low-light video
Hu et al. A low-illumination image enhancement algorithm based on morphological-Retinex (MR) operator
JP5822739B2 (en) Image processing apparatus, method, and program
Negru et al. Exponential image enhancement in daytime fog conditions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 5