KR101470833B1 - Apparatus for enhancing the foggy luminance image using lower bound of transmission rate - Google Patents

Apparatus for enhancing the foggy luminance image using lower bound of transmission rate Download PDF

Info

Publication number
KR101470833B1
KR101470833B1 KR1020130058933A KR20130058933A KR101470833B1 KR 101470833 B1 KR101470833 B1 KR 101470833B1 KR 1020130058933 A KR1020130058933 A KR 1020130058933A KR 20130058933 A KR20130058933 A KR 20130058933A KR 101470833 B1 KR101470833 B1 KR 101470833B1
Authority
KR
South Korea
Prior art keywords
image
fog
calculation unit
transfer rate
transmission rate
Prior art date
Application number
KR1020130058933A
Other languages
Korean (ko)
Other versions
KR20140137832A (en
Inventor
홍성훈
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020130058933A priority Critical patent/KR101470833B1/en
Publication of KR20140137832A publication Critical patent/KR20140137832A/en
Application granted granted Critical
Publication of KR101470833B1 publication Critical patent/KR101470833B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 전달률 하한치를 이용한 안개영상 개선 장치에 관한 것으로서, 안개, 연기, 구름 등 공기 중의 밝기 및 색상 성분과, 객체의 빛과 색 성분이 혼합되어 가시성이 낮아진 영상에 대해 공기 중의 밝기와 색상성분을 제거하여 선명한 영상을 제공하도록 함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 안개낀 입력영상을 입력받아 전달률 하한치 및 전달률 추정치를 계산하고, 계산된 전달률 추정치와 하한치를 가중합하여 전달률을 계산하는 전달률 계산부; 상기 전달률 계산부를 통해 계산된 전달률과 안개낀 입력영상을 입력받아, 입력된 상기 전달률, 안개낀 입력영상 및 대기의 밝기값을 이용하여 안개가 제거된 영상을 출력하는 복원영상 계산부; 및 상기 복원영상 계산부를 통해 출력된 영상에 대하여 명도 확장 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력하는 후 처리부; 를 포함한다.
The present invention relates to a device for improving a fog image using a lower transfer rate, and more particularly, to a device for improving the image quality of a fog, a smoke, a cloud and the like, in which the brightness and color components of the air are mixed with the light and color components of the object, So that a clear image can be provided.
In order to achieve the above object, according to the present invention, there is provided a transmission rate calculation apparatus comprising: a transmission rate calculation unit for receiving a fogged input image, calculating a transmission rate lower limit and a transmission rate estimation value, calculating a transmission rate by weighting the calculated transmission rate estimation value and a lower limit value; A reconstructed image calculation unit that receives the calculated transmission rate and the fogged input image through the transmission rate calculation unit, and outputs a fog removed image using the input transmission rate, the fogged input image, and the ambient brightness value; And a post-processing unit for performing a brightness enhancement process on the image output through the reconstructed image calculation unit and finally outputting a fog removed image; .

Description

전달률 하한치를 이용한 안개영상 개선 장치{Apparatus for enhancing the foggy luminance image using lower bound of transmission rate}FIELD OF THE INVENTION [0001] The present invention relates to a foggy image enhancement apparatus using a lower limit of transmission rate,

본 발명은 안개 또는 연기로 인해 화질이 저하된 휘도영상에서 안개 또는 연기를 제거하여 가시성이 향상된 영상을 제공하는 안개영상 개선 장치에 관한 것으로서, 더욱 상세하게는 기존 방식에서 휘도영상만을 사용할 경우 안개제거 성능이 저하되고, 필터의 사용으로 인해 후광효과가 발생하는 문제와 매우 많은 연산량을 요구함에 따른 실시간 처리의 어려움을 해결할 수 있는 전달률 하한치를 이용한 안개영상 개선 장치에 관한 것이다. The present invention relates to a device for improving visibility of an image by removing fog or smoke from a luminance image whose image quality has been degraded due to fog or smoke, and more particularly, The present invention relates to a fog image improving apparatus using a lower limit of the transfer rate which can solve the problem that the performance is deteriorated and the backlight effect occurs due to the use of the filter and the difficulty of real time processing due to a demand for a large amount of calculation.

최근 사고예방이나 감지를 위하여 영상 감시시스템이나 차량용 영상 블랙박스 등이 사용되고 있다. 또한 첨단 안전차량의 경우 컴퓨터 비전기술을 이용하여 동영상 카메라에서 획득한 영상으로부터 차선과 전방차량을 검출하여 차선이탈과 차량추돌 경보 등을 제공하는 연구가 진행되고 있다. In recent years, video surveillance systems and vehicle image black boxes have been used to prevent or detect accidents. In the case of advanced safety vehicles, studies are underway to detect lane and forward vehicles from video images obtained by video camera using computer vision technology, and provide lane departure and vehicle collision alerting.

영상처리 또는 컴퓨터 비전 응용 시스템의 성능을 향상시키기 위해서는 깨끗한 입력 영상이 필요하다. 특히, 객체를 탐지/추적하거나 영상의 에지 정보를 사용할 때는 입력 영상이 깨끗할수록 좋은 결과를 얻을 수 있다. Clear input images are needed to improve the performance of image processing or computer vision application systems. Especially, when the object is detected / tracked or the edge information of the image is used, the better the input image is, the better the result can be obtained.

하지만, 실외 상황에서 촬영된 영상의 경우에는 객체로부터 반사되는 밝기와 색이 공기 중의 입자와 혼합되므로 원래의 선명한 색과 밝기 대비를 제공하지 못한다. 특히 안개나 연기와 같이 공기 중에 큰 입자가 있는 경우 객체의 원래 색과 형태를 정확하게 획득하기 어렵다. However, in the case of an image taken in an outdoor environment, the brightness and color reflected from the object are mixed with the particles in the air, so that the original bright color and brightness contrast can not be provided. Especially when there are large particles in the air, such as fog or smoke, it is difficult to accurately obtain the original color and shape of the object.

종래 안개 등이 포함된 영상을 개선하는 방법과 관련해서는, 한국공개특허 제10-2010-0021952호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.Related to the method of improving the image including the conventional fog, there have been many applications and disclosures in addition to Korean Patent Laid-Open No. 10-2010-0021952 (hereinafter referred to as 'prior art').

선행문헌에 따른 방법은, 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 단계; 및 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 단계; 를 포함한다. 그러나, 상기한 선행문헌은 화소 단위로 안개 영상 처리를 수행하지 않고, 블록 단위로 단위로 처리를 수행한다. The method according to the preceding document includes the steps of generating a standby scattered light map based on a ratio of an average and a standard deviation of the first luminance image to a first luminance image of an image including atmospheric air light; And outputting a second luminance image from which the atmospheric scattering light is removed by subtracting the generated atmospheric scattering light map from the first luminance image; . However, the preceding document does not perform fog image processing on a pixel-by-pixel basis, but performs processing on a block-by-block basis.

한편, 안개가 있는 영상에서 안개를 제거하여 선명한 영상을 추정하는 다양한 방법들이 제시되었는데, 초기에는 안개가 낀 영상을 안개가 제거된 영상으로 복원하기 위해서 여러 개의 영상을 이용하거나, 영상 외에 추가적인 정보를 이용하는 방법이 제안되었다. 여러 개의 영상을 이용한 방법으로 편광을 이용한 방법[1, 2]이 제안되었는데, 이 방법은 정확히 동일한 위치에서 각각 다른 편광 필터가 장착된 상태로 촬영된 2장 이상의 영상을 획득하고, 편광된 양을 측정하는 방법을 통해 깊이 값을 계산하고 이를 이용하여 안개를 제거하였다. In the meantime, various methods for estimating a clear image by removing fog from a foggy image have been proposed. In the beginning, in order to restore a foggy image to a foggy image, several images are used or additional information A method of using the same has been proposed. A method using polarized light [1, 2] has been proposed using multiple images, which acquires two or more images taken at exactly the same position with different polarizing filters mounted, Through the measurement method, the depth value was calculated and the fog was removed by using it.

이 방법들은 매우 좋은 결과 영상을 제공하지만, 동일한 위치에서 각각 다른 편광 필터를 사용해야 한다는 강한 제한 조건이 요구된다. 편광 필터를 이용하지 않고 단순히 여러 장의 영상을 이용하는 방법[3, 4, 5]은 동일한 위치에서 촬영된 다른 기상 환경의 두 영상으로부터 안개 값과 깊이 정보를 구하여 안개를 제거하였다. Kopf 등[6]은 여러 장의 영상을 이용하는 대신 영상의 깊이 정보를 이용하여 안개를 제거하는 방법을 제안하였는데, 카메라에 내장된 GPS 정보를 이용하여 깊이나 텍스쳐 정보를 획득하고, 안개 값의 농도(밀도)가 깊이정보라고 가정하여 영상의 안개를 제거하였다. Although these methods provide very good result images, there is a strong constraint that different polarizing filters should be used at the same location. The method of using multiple images without using a polarizing filter [3, 4, 5] is to remove the fog by obtaining fog value and depth information from two images of different weather conditions taken at the same position. Kopf et al. [6] proposed a method to remove fog using image depth information instead of using multiple images. We obtained depth or texture information using GPS information embedded in the camera, Density) is the depth information.

여러 장의 영상을 이용하거나 또는 한 장의 영상을 이용하더라도 추가적인 정보를 이용하여 안개를 제거하는 방법들은 다양한 조건에서의 영상 데이터 확보가 필요하므로 동적으로 움직이는 카메라로 촬영된 영상에 적용할 수 없다는 단점을 가지고 있다. 따라서 최근에는 단일 영상으로 안개를 제거하는 방법이 연구되고 있다. The methods of removing fog by using additional information using multiple images or a single image have a disadvantage that they can not be applied to images captured by dynamically moving cameras because it is necessary to acquire image data under various conditions have. Recently, a method of removing fog by a single image has been studied.

Tan은 [8]에서 밝기대비를 늘리는 방법을 통해서 안개를 제거하는 방법을 제안하였는데, 안개가 없는 깨끗한 영상은 안개가 있는 영상에 비해 높은 에지 강도를 가지고 있고, 안개 값은 급격하게 변하지 않는다는 속성을 이용하여 안개를 제거하였다. 이 방법은 밝기대비가 크게 개선되기 때문에 영상의 형태나 구조가 확실히 들어난다는 장점이 있지만, 과도한 대비 증가로 인하여 포화현상이 일어나고, 깊이 정보가 많이 차이나는 구간에서는 후광효과(halo effect)가 발생하기도 한다. Fattal [9]은 일정 영상 영역 내에서 측정된 반사율은 항상 같은 벡터 방향을 갖는다는 가정을 통하여 영상의 반사율을 측정하여 안개가 제거된 영상을 복원하는 방법을 제안하였다. Tan proposed a method to remove fog by increasing the contrast of brightness in [8]. The clean image without fog has a higher edge strength than the fog image, and the fog value does not change rapidly The fog was removed. This method has the advantage that the shape and structure of the image are clearly recognized because the brightness contrast is greatly improved. However, the saturation phenomenon occurs due to the excessive contrast increase, and the halo effect occurs in the section where the depth information is much different It is also said. Fattal [9] proposed a method to reconstruct fog removed images by measuring the reflectance of the image through the assumption that the reflectance measured in the constant image region always has the same vector direction.

He 등[10]은 안개가 없는 깨끗한 영상은 안개가 있는 영상에 비해 칼라의 채도가 높다는 특성을 이용하였는데, 안개가 없는 깨끗한 영상의 색선명도가 높은 화소는 R, G, B 값 중 한 채널(channel) 값이 매우 작은 값을 가지므로 안개가 없는 칼라 영상의 경우 일정 영역에서 매우 낮은 채널 값을 갖는 화소가 있다는 관측 결과를 이용하여 안개를 제거하는 방법을 제안하였다. 하지만 한 장의 영상을 사용하는 기존 방법은 RGB 칼라를 사용하므로 휘도영상만을 사용할 경우 안개제거 성능이 저하되고, 큰 크기의 필터를 사용하므로 후광효과가 나타나며, 전달률(transmission rate)을 정재하기 위해 매우 많은 연산량이 요구되어 실시간 처리가 어려운 문제가 있다. He et al. [10] used a characteristic that a clean image without fog has higher color saturation than a fog image. A pixel with high color sharpness of a fog free image has one channel of R, G, B channel) values are very small, we proposed a method to remove fog by using the observation result that there is a pixel with a very low channel value in a certain region in a foggy color image. However, since the conventional method using one image uses the RGB color, the fog removal performance is degraded when only the luminance image is used, the halo effect is exhibited due to the use of the large size filter, and a very large There is a problem that a computation amount is required and real-time processing is difficult.

Tarel 등[11]은 연산 속도를 개선하기 위하여 미디언 필터를 사용하는 안개제거 방법을 제안하였는데, 큰 크기의 미디언 필터를 사용하면 연산속도가 느려지고 후광효과가 나타나는 단점이 있다.Tarel et al. [11] proposed a fog removal method that uses a median filter to improve the computation speed. However, when a large-sized median filter is used, the operation speed is slowed and a halo effect appears.

[1] Y. Y. Schechner, S. G. Narasimhan, and S. K. Nayar, "Instant dehazing of images using polarization," in Proc. CVPR, pp. 1984-1991, Hawaii, USA, Dec. 2001.[1] Y. Y. Schechner, S. G. Narasimhan, and S. K. Nayar, "Instant dehazing of images using polarization," in Proc. CVPR, pp. 1984-1991, Hawaii, USA, Dec. 2001.

[2] S. Shwartz, E. Namer, and Y. Y. Schechner, "Blind haze separation," in Proc. CVPR, pp. 1984-1991, New York, USA, Oct. 2006.[2] S. Shwartz, E. Namer, and Y. Schechner, "Blind haze separation," in Proc. CVPR, pp. 1984-1991, New York, USA, Oct. 2006.

[3] S.G. Narasimhan and S. K. Nayar, "Chromatic framework for vision in bad weather," in Proc. CVPR, pp. 598-605, SC, USA, June 2000. [3] S.G. Narasimhan and S. K. Nayar, "Chromatic framework for vision in bad weather," in Proc. CVPR, pp. 598-605, SC, USA, June 2000.

[4] S. G. Narasimhan and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 6, pp. 713-724, June 2003.[4] S. G. Narasimhan and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Trans. Pattern Anal. Mach. Intell., Vol. 25, no. 6, pp. 713-724, June 2003.

[5] S. K. Nayar and S. G. Narasimhan, "Vision in bad weather," in Proc. ICCV, pp. 820-827, Corfu, Greece, Sep. 1999.[5] S. K. Nayar and S. G. Narasimhan, "Vision in bad weather," in Proc. ICCV, pp. 820-827, Corfu, Greece, Sep. 1999.

[6] J. Kopf, B. Neubert, B. Chen , M. Cohen, D. Cohen-Or, O. Deussen, M. Uyttendaele, and D. Lischinski, "Deep photo: Model-based photograph enhancement and viewing," ACM Trans. Graphics, vol. 27, no. 5, pp. 1-10, Dec. 2008.[6] Deep photo: Model-based photographic enhancement and viewing, J. Kopf, B. Neubert, B. Chen, M. Cohen, D. Cohen-Or, O. Deussen, M. Uyttendaele, and D. Lischinski, ACM Trans. Graphics, vol. 27, no. 5, pp. 1-10, Dec. 2008.

[7] S. G. Narasimhan and S. K. Nayar, "Interactive deweathering of an image using physical models," In Workshop on Color and Photometirc Methods in Computer Vision, OCT. 2003[7] S. G. Narasimhan and S. K. Nayar, "Interactive deweathering of an image using physical models," In Workshop on Color and Photometry Methods in Computer Vision, OCT. 2003

[8] R.Tan, "Visibility in bad weather from a single image," in Proc CVPR, pp. 1-8, Alaska, USA, June 2008.[8] R.Tan, "Visibility in bad weather from a single image," in Proc CVPR, pp. 1-8, Alaska, USA, June 2008.

[9] R.Fattal, "Single image dehazing," ACM Trans. Graphics, vol. 27, no. 3, pp. 1-9, Aug. 2008.[9] R. Fattal, "Single image dehazing," ACM Trans. Graphics, vol. 27, no. 3, pp. 1-9, Aug. 2008.

[10] K. He, J. Sun, and X.Tang, "Single image haze removal using dark channel prior," in Proc. CVPR, pp. 1956-1963, Miami, USA, June 2009.[10] K. He, J. Sun, and X.Tang, "Single image haze removal using dark channel prior," Proc. CVPR, pp. 1956-1963, Miami, USA, June 2009.

[11] Tarel, Jean-Philippe; Hautiere, Nicolas; "Fast visibility restoration from a single color or gray level image," Computer Vision, 2009 IEEE 12th International Conference on, pp.2201-2208, Sept. 2009.[11] Tarel, Jean-Philippe; Hautiere, Nicolas; "Fast visibility restoration from a single color or gray level image," Computer Vision, 2009 IEEE 12th International Conference on, pp. 2201-2208, Sept. 2009.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 안개, 연기, 구름 등 공기 중의 밝기 및 색상 성분과, 객체의 빛과 색 성분이 혼합되어 가시성이 낮아진 영상에 대해 공기 중의 밝기와 색상성분을 제거하여 선명한 영상을 제공하도록 함에 그 목적이 있다. Disclosure of the Invention The present invention has been made in view of the above problems, and it is an object of the present invention to provide an image processing apparatus and a method of processing the image, in which brightness and color components of air such as fog, smoke, and clouds are mixed with light and color components of an object, So that a clear image can be provided.

기존 안개제거 방법은 입력영상의 R, G, B 성분을 이용하고, 휘도성분만을 사용할 경우 성능 저하가 발생한다. 하지만, 현재 대부분의 멀티미디어 시스템에서 사용되는 색좌표계는 RGB 좌표계가 아닌 YCbCr 색좌표계와 같이 휘도신호와 색차신호를 사용하므로 기존 방식을 적용하기 위해서는 색좌표계 변환 처리가 요구되고, 각 R, G, B 각 신호성분에 대해 독립적인 처리를 할 경우 색상 변화가 발생할 수 있다. 또한 기존 안개제거 방법은 큰 크기의 필터를 사용하므로 후광효과가 나타나며, 매우 많은 연산량이 요구되어 실시간 처리가 어려운 문제가 있다.The existing fog removal method uses R, G, and B components of the input image, and performance degradation occurs when only the luminance component is used. However, since the color coordinate system used in most multimedia systems currently uses a luminance signal and a color difference signal like the YCbCr color coordinate system instead of the RGB coordinate system, a color coordinate system conversion process is required to apply the existing method. Color changes can occur when performing independent processing on each signal component. In addition, the existing fog removal method uses a large size filter, so that a halo effect occurs, and a very large amount of computation is required, so that real-time processing is difficult.

본 발명에서는 기존 방식에서 발생하는 문제를 해결하기 위하여, 입력영상으로부터 화소단위로 원영상에 안개가 어느 정도의 비율로 섞여있는지를 나타내는 전달률(transmission rate)의 하한치를 계산하고, 계산된 전달률의 하한 값으로부터 전달률을 추정하고, 추정된 전달률을 이용하여 안개가 제거된 영상을 구한다. 본 발명에서 제안한 방식은 필터를 사용하지 않고 화소단위의 연산만을 사용하므로 기존 방법에서 나타나는 후광효과와 높은 연산량 문제를 해결할 수 있다.In the present invention, in order to solve a problem occurring in the conventional method, a lower limit of a transmission rate indicating how much fog is mixed with an original image in pixel units from an input image is calculated, and the lower limit of the calculated transmission rate And the fog removed image is obtained by using the estimated transfer rate. The method proposed in the present invention solves the problem of halo effect and high computation amount which appear in the conventional method because only the pixel unit operation is performed without using a filter.

이러한 기술적 과제를 달성하기 위한 본 발명은 전달률 하한치를 이용한 안개영상 개선 장치에 관한 것으로서, 안개낀 입력영상을 입력받아 전달률 하한치 및 전달률 추정치를 계산하고, 계산된 전달률 추정치와 하한치를 가중합하여 전달률을 계산하는 전달률 계산부; 상기 전달률 계산부를 통해 계산된 전달률과 안개낀 입력영상을 입력받아, 입력된 상기 전달률, 안개낀 입력영상 및 대기의 밝기값을 이용하여 안개가 제거된 영상을 출력하는 복원영상 계산부; 및 상기 복원영상 계산부를 통해 출력된 영상에 대하여 명도 확장 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력하는 후 처리부; 를 포함한다. In order to accomplish the above object, the present invention provides a foggy image enhancement apparatus using a lower transfer rate, which comprises a foggy input image, calculates a transfer rate lower limit value and a transfer rate estimate, calculates a transfer rate by weighting the calculated transfer rate estimate and a lower limit value A transfer rate calculation unit A reconstructed image calculation unit that receives the calculated transmission rate and the fogged input image through the transmission rate calculation unit, and outputs a fog removed image using the input transmission rate, the fogged input image, and the ambient brightness value; And a post-processing unit for performing a brightness enhancement process on the image output through the reconstructed image calculation unit and finally outputting a fog removed image; .

상기와 같은 본 발명에 따르면, 안개, 연기, 구름 등 공기 중의 밝기 및 색상 성분과, 객체의 빛과 색 성분이 혼합되어 가시성이 낮아진 영상에 대해 공기 중의 밝기와 색상성분을 제거하여 선명한 영상을 제공할 수 있는 효과가 있다. According to the present invention, brightness and color components in the air are reduced by blending the brightness and color components of the air such as fog, smoke, and clouds with the light and color components of the object, thereby providing a clear image There is an effect that can be done.

현재 대부분의 멀티미디어 시스템에서 사용되는 색좌표계는 RGB 좌표계가 아닌 YCbCr 색좌표계와 같이 휘도신호와 색차신호를 사용하므로 휘도 정보만으로도 우수한 성능을 발휘하는 제안된 방법은 색좌표계의 변환없이 멀티미디어 시스템에 적용이 용이하고, 입력칼라의 색상을 유지할 수 있다. 특히 제안된 방법은 화소단위의 연산을 수행하므로 큰 크기의 필터를 사용하는 기존 방법의 문제인 후광효과와 높은 연산량 문제를 해결할 수 있으므로, 실시간 응용에 적용할 수 있다.Since the color coordinate system used in most multimedia systems does not use the RGB coordinate system but uses the luminance signal and the color difference signal as in the YCbCr color coordinate system, the proposed method exhibiting excellent performance with only luminance information is applied to the multimedia system without conversion of the color coordinate system And the color of the input color can be maintained. In particular, since the proposed method performs pixel-based operation, it can solve the halo effect and the high computational cost problem of the conventional method using a large-sized filter, and thus can be applied to real-time applications.

따라서, 고화질 감시시스템, 차량용 영상 블랙박스, 화재 방지시스템 등에 적용할 경우 안개나 연기 등으로 가시성이 감소되는 문제를 해결할 수 있고, 최근에 많은 연구가 이루어지는 첨단 안전차량에 적용이 가능하다.Therefore, it is possible to solve the problem that visibility is reduced due to fog or smoke when applied to a high-definition surveillance system, a vehicle image black box, a fire prevention system, and the like, and can be applied to advanced safety vehicles that have recently been subjected to much research.

도 1 은 본 발명에 따른 전달률 하한치를 이용한 안개영상 개선 장치에 관한 전체 구성도.
도 2 는 본 발명의 제 1 실시예에 따른 전달률 하한치를 이용한 안개영상 개선 장치에 관한 구성도.
도 3 은 본 발명의 제 2 실시예에 따른 전달률 하한치를 이용한 안개영상 개선 장치에 관한 구성도.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of an apparatus for improving a foggy image using a transfer rate lower limit according to the present invention; FIG.
2 is a configuration diagram of a mist image improving apparatus using a lower transfer rate lower limit according to the first embodiment of the present invention.
3 is a block diagram of a mist image improving apparatus using a lower transfer rate limit according to a second embodiment of the present invention.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

본 발명에 따른 전달률 하한치를 이용한 안개영상 개선 장치에 관하여 도 1 내지 도 3 을 참조하여 설명하면 다음과 같다. A mist image enhancing apparatus using a lower transfer rate according to the present invention will be described with reference to FIGS. 1 to 3. FIG.

한 장의 영상을 이용하여 안개를 제거하는 방법들은 공통적으로 아래의 안개 모델링 식을 이용한다.The methods of removing fog by using one image commonly use the following fog modeling equation.

[수식 1][Equation 1]

Figure 112013045976245-pat00001
Figure 112013045976245-pat00001

여기서,

Figure 112013045976245-pat00002
는 카메라를 통해 획득된 안개낀 영상의 x번째 화소값이고,
Figure 112013045976245-pat00003
는 안개가 제거된 깨끗한 영상,
Figure 112013045976245-pat00004
는 영상내의 화소 중 카메라에서 가장 먼 대기의 밝기값(atmospheric brightness)이다.
Figure 112013045976245-pat00005
는 전달률(transmission rate)로서, 일반적으로 전달률
Figure 112013045976245-pat00006
는 다음의 [수식 2] 와 같이 거리에 따라 지수함수적으로 감소한다.here,
Figure 112013045976245-pat00002
Is the x-th pixel value of the fogged image acquired through the camera,
Figure 112013045976245-pat00003
A clean image with fog removed,
Figure 112013045976245-pat00004
Is the atmospheric brightness of the pixels in the image that is farthest from the camera.
Figure 112013045976245-pat00005
Is the transmission rate and is generally expressed as the transmission rate
Figure 112013045976245-pat00006
Is exponentially decreasing with distance as shown in the following [Equation 2].

[수식 2][Equation 2]

Figure 112013045976245-pat00007
Figure 112013045976245-pat00007

여기서,

Figure 112013045976245-pat00008
는 공기의 산란계수이고,
Figure 112013045976245-pat00009
는 x번째 화소에 대응하는 공간상의 점과 카메라 사이의 거리이다. here,
Figure 112013045976245-pat00008
Is the scattering coefficient of air,
Figure 112013045976245-pat00009
Is the distance between the point on the space corresponding to the x-th pixel and the camera.

따라서, 안개가 일정하게 낀 경우, 하늘과 같이 거리가 먼 곳은 전달률이 0에 가깝게 되어 [수식 1] 에서

Figure 112013045976245-pat00010
가 되고, 매우 가까운 곳의 화소는 전달률이 1에 근접하므로
Figure 112013045976245-pat00011
가 된다. 따라서, 영상에서 밝은 화소는 거리가 멀어 안개가 많이 낀 경우로 가정할 수 있고 전달률이 작다고 가정할 수 있다.Therefore, when the fog is constantly fixed, the transmission rate is close to zero at a distance such as the sky, so that [Equation 1]
Figure 112013045976245-pat00010
, And the pixel near the pixel is close to 1
Figure 112013045976245-pat00011
. Therefore, it can be assumed that the bright pixels in the image are assumed to be far away from the fog, and the transmission rate is small.

안개제거는 카메라로부터 획득한 입력영상

Figure 112013045976245-pat00012
로부터
Figure 112013045976245-pat00013
Figure 112013045976245-pat00014
를 구하고, 이를 이용하여 최종적으로 안개가 제거된
Figure 112013045976245-pat00015
를 복원하는 것이다. 상기 [수식 1] 로부터 전달률과 복원값은 각각 [수식 3] 과 [수식 4] 로 구할 수 있다.The fog removal is based on the input image
Figure 112013045976245-pat00012
from
Figure 112013045976245-pat00013
Wow
Figure 112013045976245-pat00014
And finally, the fog removed
Figure 112013045976245-pat00015
. The transfer rate and the restoration value can be obtained from [Expression 1] by [Expression 3] and [Expression 4], respectively.

[수식 3][Equation 3]

Figure 112013045976245-pat00016
Figure 112013045976245-pat00016

[수식 4][Equation 4]

Figure 112013045976245-pat00017
Figure 112013045976245-pat00017

한편, 안개가 제거된 영상

Figure 112013045976245-pat00018
Figure 112013045976245-pat00019
를 만족해야하므로, [수식 4] 로부터 전달률
Figure 112013045976245-pat00020
의 범위는 [수식 5] 와 같이 결정된다. 전달률 하한치는 짙은 안개로 인해 객체가 보이지 않거나 원래 객체의 밝기(radiance)가 없는 경우의 전달률이다. On the other hand,
Figure 112013045976245-pat00018
The
Figure 112013045976245-pat00019
Therefore, from Equation 4,
Figure 112013045976245-pat00020
Is determined as shown in [Equation 5]. The lower limit of the transmission rate is the transmission rate when the object is not visible due to dense fog, or the original object has no radiance.

[수식 5][Equation 5]

Figure 112013045976245-pat00021
Figure 112013045976245-pat00021

[수식 3] 을 다시 정리하면, 전달률

Figure 112013045976245-pat00022
는 다음의 [수식 6] 과 같이 안개영상
Figure 112013045976245-pat00023
의 전달률의 하한치
Figure 112013045976245-pat00024
를 안개가 제거된 영상
Figure 112013045976245-pat00025
의 전달률의 하한치
Figure 112013045976245-pat00026
로 나눈값과 같다. [Formula 3] is rearranged,
Figure 112013045976245-pat00022
As shown in the following Equation 6,
Figure 112013045976245-pat00023
The lower limit of the transfer rate
Figure 112013045976245-pat00024
Fog removed video
Figure 112013045976245-pat00025
The lower limit of the transfer rate
Figure 112013045976245-pat00026
.

[수식 6][Equation 6]

Figure 112013045976245-pat00027
Figure 112013045976245-pat00027

전달률

Figure 112013045976245-pat00028
라고 가정하고 [수식 4] 를 이용하여 추정한 안개가 제거된 영상
Figure 112013045976245-pat00029
은 다음의 [수식 7] 과 같고,
Figure 112013045976245-pat00030
인 경우 상기 [수식 3] 을 이용하여 추정한 전달률은 다음의 [수식 8] 과 같다.Delivery rate
Figure 112013045976245-pat00028
And the fog-free image estimated using [Equation 4]
Figure 112013045976245-pat00029
Is expressed by Equation (7) below,
Figure 112013045976245-pat00030
, The transmission rate estimated using the above-mentioned [Equation 3] is expressed by the following [Equation 8].

[수식 7][Equation 7]

Figure 112013045976245-pat00031
Figure 112013045976245-pat00031

[수식 8][Equation 8]

Figure 112013045976245-pat00032
Figure 112013045976245-pat00032

결국 전달률이

Figure 112013045976245-pat00033
인 경우 안개가 제거된 영상은
Figure 112013045976245-pat00034
가 된다.Finally,
Figure 112013045976245-pat00033
The fog removed image
Figure 112013045976245-pat00034
.

안개제거 효과를 향상시키기 위해, 안개가 짙은 화소에 대응하는 전달률이 안개가 옅은 화소의 전달률에 비해 상대적으로 더욱 작은 값을 갖도록 해야 한다. In order to improve the fog removal effect, it is necessary to ensure that the transmissivity corresponding to the foggy pixels has a smaller value relative to the transmissivity of the foggy pixel.

이를 위해 본 발명에서는 전달률을 다음의 [수식 9] 와 같이 전달률 추정치

Figure 112013045976245-pat00035
와 전달률 하한치와의 가중합으로 계산하는데, 가중치가 추정된 전달률
Figure 112013045976245-pat00036
로 설정하면 안개제거 효과를 증대시킬 수 있다. To this end, in the present invention, the transmission rate is calculated as a transmission rate estimate
Figure 112013045976245-pat00035
And the lower limit of the transfer rate. The weighted transfer rate
Figure 112013045976245-pat00036
The effect of removing fog can be increased.

[수식 9][Equation 9]

Figure 112013045976245-pat00037
Figure 112013045976245-pat00037

가중치가

Figure 112013045976245-pat00038
인 경우 전달률과 안개가 제거된 영상은 각각 다음의 [수식 10] 과 [수식 11] 로 표현된다.Weight
Figure 112013045976245-pat00038
, The images with transmission rate and fog removed are expressed by [Equation 10] and [Equation 11], respectively.

[수식 10][Equation 10]

Figure 112013045976245-pat00039
Figure 112013045976245-pat00039

[수식 11][Equation 11]

Figure 112013045976245-pat00040

Figure 112013045976245-pat00040

도 1 은 본 발명에 따른 전달률 하한치를 이용한 안개영상 개선 장치에 관한 전체 구성도로서, 도시된 바와 같이 전달률 계산부(100), 복원영상 계산부(200) 및 후 처리부(300)를 포함하여 이루어진다. FIG. 1 is a block diagram of an apparatus for improving a fog using an upper limit of a transfer rate according to the present invention. The apparatus includes a transfer rate calculation unit 100, a reconstruction image calculation unit 200, and a post-processing unit 300 .

전달률 계산부(100)는 안개낀 입력영상(

Figure 112013045976245-pat00041
)을 입력받아 전달률 하한치(
Figure 112013045976245-pat00042
) 및 전달률 추정치(
Figure 112013045976245-pat00043
) 를 계산하고, 계산된 전달률 추정치와 하한치를 가중합하여 전달률(
Figure 112013045976245-pat00044
)을 계산하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 전달률 하한치 계산모듈(110), 전달률 추정모듈(120) 및 가중합 계산모듈(130)을 포함한다. The transfer rate calculation unit 100 calculates the transfer rate
Figure 112013045976245-pat00041
) And the lower limit of transmission rate
Figure 112013045976245-pat00042
) And transfer rate estimates
Figure 112013045976245-pat00043
), And weights the computed transfer rate estimate and the lower bound to obtain the transfer rate
Figure 112013045976245-pat00044
As shown in FIG. 1, the transfer rate lower limit calculation module 110, the transfer rate estimation module 120, and the weighted sum calculation module 130 are included.

구체적으로, 전달률 하한치 계산모듈(110)은 안개낀 입력영상(

Figure 112013045976245-pat00045
)을 입력받아, [수식 5] 와 같은 화소단위로 안개낀 입력영상(
Figure 112013045976245-pat00046
)에 대한 전달률 하한치(
Figure 112013045976245-pat00047
)를 계산한다. 여기서, 대기의 밝기값
Figure 112013045976245-pat00048
는 영상에서 가장 밝은 값으로 설정한다.Specifically, the transfer rate lower limit value calculation module 110 calculates the transfer rate lower limit value
Figure 112013045976245-pat00045
) And receives the input image fogged in pixel units as shown in [Equation 5]
Figure 112013045976245-pat00046
) Lower limit of transmission rate (
Figure 112013045976245-pat00047
). Here, the brightness value of the atmosphere
Figure 112013045976245-pat00048
Is set to the brightest value in the image.

전달률 추정모듈(120)은 안개낀 입력영상(

Figure 112013045976245-pat00049
)을 입력받아, [수식 8] 을 통해 전달률 추정치(
Figure 112013045976245-pat00050
)를 계산한다. 이때, 전달률 추정치(
Figure 112013045976245-pat00051
) 는 전달률 하한치를 제곱근한 값이다. The transfer rate estimation module 120 calculates the transfer rate
Figure 112013045976245-pat00049
), And the transmission rate estimate (
Figure 112013045976245-pat00050
). At this time,
Figure 112013045976245-pat00051
) Is the square root of the lower limit of the transmission rate.

가중합 계산모듈(130)은 상기 전달률 추정모듈(120)을 통해 계산된 전달률 추정치(

Figure 112013045976245-pat00052
)와 상기 전달률 하한치 계산모듈(110)을 통해 계산된 전달률 하한치(
Figure 112013045976245-pat00053
)를 [수식 9] 를 통해 가중합하여 안개가 제거된 영상의 복원에 사용될 전달률(
Figure 112013045976245-pat00054
)을 계산한다.
The weighted sum calculation module 130 calculates a weighted sum calculation value
Figure 112013045976245-pat00052
) And the transfer rate lower limit value calculation module 110
Figure 112013045976245-pat00053
) Is multiplied by [Equation 9] to obtain the transmission rate to be used for reconstructing the fog removed image
Figure 112013045976245-pat00054
).

복원영상 계산부(200)는 상기 전달률 계산부(100)를 통해 계산된 전달률(

Figure 112013045976245-pat00055
)과 안개낀 입력영상(
Figure 112013045976245-pat00056
)을 입력받아, 입력된 상기 전달률(
Figure 112013045976245-pat00057
), 안개낀 입력영상(
Figure 112013045976245-pat00058
) 및 대기의 밝기값(
Figure 112013045976245-pat00059
)을 이용한 [수식 4] 를 통해 안개가 제거된 영상(
Figure 112013045976245-pat00060
)을 출력한다.
The reconstructed image calculation unit 200 calculates the reconstructed image using the transfer rate calculated through the transfer rate calculation unit 100
Figure 112013045976245-pat00055
) And fogged input image
Figure 112013045976245-pat00056
) And receives the input transmission rate (
Figure 112013045976245-pat00057
), Fogged input image (
Figure 112013045976245-pat00058
) And the brightness value of the atmosphere
Figure 112013045976245-pat00059
), The fog-free image (
Figure 112013045976245-pat00060
).

후 처리부(300)는 상기 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장(stretching) 등의 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력한다.
The post-processing unit 300 performs processing such as brightness stretching on the image output through the reconstructed image calculation unit 200, and finally outputs a fog-free image.

한편, 도 2 는 본 발명의 제 1 실시예에 따른 안개영상 개선 장치에 관한 구성도로서, 도시된 바와 같이 대기 밝기값 계산부(100), 복원영상 계산부(200) 및 후 처리부(300)를 포함하여 이루어진다. FIG. 2 is a block diagram of a foggy image improving apparatus according to the first embodiment of the present invention. As shown in FIG. 2, the atmospheric brightness value calculating unit 100, the restored image calculating unit 200, .

본 실시예에서는, 안개가 제거된 영상이 매우 간단한 수식으로 표현되는데, 전달률을 상기 [수식 8] 에서 구한 전달률의 추정치

Figure 112013045976245-pat00061
로 사용하는 경우 안개가 제거된 영상은 상기 [수식 7] 과 같다. In the present embodiment, the fog removed image is represented by a very simple formula, and the transmission rate is calculated as an estimate of the transmission rate
Figure 112013045976245-pat00061
The image with the fog removed is shown in Equation (7).

대기 밝기값 계산부(100)는 안개낀 입력영상(

Figure 112013045976245-pat00062
)을 입력받아, 대기의 가장 밝은 화소값(
Figure 112013045976245-pat00063
)을 출력한다. The atmospheric brightness value calculation unit 100 calculates the atmospheric brightness value
Figure 112013045976245-pat00062
) And receives the brightest pixel value (
Figure 112013045976245-pat00063
).

복원영상 계산부(200)는 상기 대기 밝기값 계산부(100)를 통해 계산된 대기의 가장 밝은 화소값(

Figure 112013045976245-pat00064
)과 안개낀 입력영상(
Figure 112013045976245-pat00065
)을 입력받아, 나눗셈 연산자(210), 뺄셈연산자(220), 제곱근연산자(230) 및 뺄셈연산자(240)를 통해
Figure 112013045976245-pat00066
을 출력하고, 곱셈연산자(250)를 통해 상기 대기 밝기값 계산부(100)의 화소값과 뺄셈연산자(240)의 출력을 곱하여 안개가 제거된 영상(
Figure 112013045976245-pat00067
) 을 출력한다.The restored image calculation unit 200 calculates the restored image by using the atmospheric brightness value calculated by the atmospheric brightness value calculation unit 100
Figure 112013045976245-pat00064
) And fogged input image
Figure 112013045976245-pat00065
), A division operator 210, a subtraction operator 220, a square root operator 230, and a subtraction operator 240
Figure 112013045976245-pat00066
And multiplies the pixel value of the atmospheric brightness value calculation unit 100 and the output of the subtraction operator 240 through the multiplication operator 250 to output the fog removed image
Figure 112013045976245-pat00067
).

후 처리부(300)는 상기 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장(stretching) 등의 처리를 수행하여, 최종적으로 안개가 제거된 영상((

Figure 112013045976245-pat00068
)을 출력한다.
The post-processing unit 300 performs processing such as brightness stretching on the image output through the reconstructed image calculation unit 200, and finally outputs the fog removed image ((
Figure 112013045976245-pat00068
).

그리고, 도 3 은 본 발명의 제 2 실시예에 따른 전달률 하한치를 이용한 안개영상 개선 장치에 관한 구성도로서, 도시된 바와 같이 대기 밝기값 계산부(100), 복원영상 계산부(200) 및 후 처리부(300)를 포함하여 이루어진다. FIG. 3 is a block diagram of an apparatus for improving a fog image using a transfer rate lower limit according to the second embodiment of the present invention. As shown in FIG. 3, the apparatus includes an atmospheric brightness value calculator 100, And a processing unit (300).

대기 밝기값 계산부(100)는 안개낀 입력영상(

Figure 112013045976245-pat00069
)을 입력받아, 대기의 가장 밝은 화소값(
Figure 112013045976245-pat00070
)을 출력한다. The atmospheric brightness value calculation unit 100 calculates the atmospheric brightness value
Figure 112013045976245-pat00069
) And receives the brightest pixel value (
Figure 112013045976245-pat00070
).

복원영상 계산부(200)는 상기 대기 밝기값 계산부(100)를 통해 계산된 대기의 가장 밝은 화소값(

Figure 112013045976245-pat00071
)과 안개낀 입력영상(
Figure 112013045976245-pat00072
)을 입력받아, 나눗셈 연산자(210), 뺄셈연산자(220), 제곱근연산자(230), 뺄셈연산자(240) 및 곱셈연산자(250)를 통해
Figure 112013045976245-pat00073
을 출력하고, 덧셈연산자(260)를 통해 뺄셈연산자(240)의 출력에 상수 1을 더하여
Figure 112013045976245-pat00074
을 구한 후, 나눗셈연산자(270)를 통해 곱셈연산자(250)의 출력을 덧셈연산자(260)의 출력으로 나누어, 안개가 제거된 영상을 출력한다.The restored image calculation unit 200 calculates the restored image by using the atmospheric brightness value calculated by the atmospheric brightness value calculation unit 100
Figure 112013045976245-pat00071
) And fogged input image
Figure 112013045976245-pat00072
The subtraction operator 220, the square root operator 230, the subtraction operator 240, and the multiplication operator 250. The division operator 210, the subtraction operator 220, the square root operator 230,
Figure 112013045976245-pat00073
And a constant 1 is added to the output of the subtraction operator 240 through the addition operator 260
Figure 112013045976245-pat00074
And divides the output of the multiplication operator 250 by the output of the addition operator 260 through the division operator 270 to output the fog removed image.

후 처리부(300)는 상기 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장(stretching) 등의 처리를 수행하여, 최종적으로 안개가 제거된 영상((

Figure 112013045976245-pat00075
)을 출력한다.
The post-processing unit 300 performs processing such as brightness stretching on the image output through the reconstructed image calculation unit 200, and finally outputs the fog removed image ((
Figure 112013045976245-pat00075
).

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.While the present invention has been particularly shown and described with reference to preferred embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be appreciated by those skilled in the art that numerous changes and modifications may be made without departing from the invention. Accordingly, all such appropriate modifications and changes, and equivalents thereof, should be regarded as within the scope of the present invention.

100: 전달률 계산부 200: 복원영상 계산부
300: 후 처리부 110: 전달률 하한치 계산모듈
120: 전달률 추정모듈 130: 가중합 계산모듈
100: transfer rate calculation unit 200: reconstruction image calculation unit
300: post-processor 110: transmission rate lower limit calculation module
120: transfer rate estimation module 130: weighted sum calculation module

Claims (9)

삭제delete 안개낀 입력영상(
Figure 112014062365607-pat00076
)을 입력받아 전달률 하한치(
Figure 112014062365607-pat00077
) 및 전달률 추정치(
Figure 112014062365607-pat00078
) 를 계산하고, 계산된 전달률 추정치와 하한치를 가중합하여 전달률(
Figure 112014062365607-pat00079
)을 계산하는 전달률 계산부(100);
상기 전달률 계산부(100)를 통해 계산된 전달률(
Figure 112014062365607-pat00080
)과 안개낀 입력영상(
Figure 112014062365607-pat00081
)을 입력받아, 입력된 상기 전달률(
Figure 112014062365607-pat00082
), 안개낀 입력영상(
Figure 112014062365607-pat00083
) 및 대기의 밝기값(
Figure 112014062365607-pat00084
)을 이용하여 안개가 제거된 영상(
Figure 112014062365607-pat00085
)을 출력하는 복원영상 계산부(200); 및
상기 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력하는 후 처리부(300); 를 포함하되,
상기 복원영상 계산부(200)는,
[수식 4] 를 통해 안개가 제거된 영상(
Figure 112014062365607-pat00119
)을 출력하는 것을 특징으로 하는 전달률 하한치를 이용한 안개영상 개선 장치.
[수식 4]
Figure 112014062365607-pat00120

Fogged input image (
Figure 112014062365607-pat00076
) And the lower limit of transmission rate
Figure 112014062365607-pat00077
) And transfer rate estimates
Figure 112014062365607-pat00078
), And weights the computed transfer rate estimate and the lower bound to obtain the transfer rate
Figure 112014062365607-pat00079
A transmission rate calculation unit 100 for calculating a transmission rate;
The transfer rate calculated by the transfer rate calculation unit 100
Figure 112014062365607-pat00080
) And fogged input image
Figure 112014062365607-pat00081
) And receives the input transmission rate (
Figure 112014062365607-pat00082
), Fogged input image (
Figure 112014062365607-pat00083
) And the brightness value of the atmosphere
Figure 112014062365607-pat00084
) To remove the fog image
Figure 112014062365607-pat00085
A reconstructed image calculation unit 200 for outputting reconstructed images; And
A post-processing unit (300) for performing brightness enhancement processing on the image output through the reconstructed image calculation unit (200) and finally outputting a fog removed image; , ≪ / RTI &
The restored image calculation unit 200 calculates a restored image,
The fog-free image (Fig. 4)
Figure 112014062365607-pat00119
And outputting a lower limit of the transfer rate.
[Equation 4]
Figure 112014062365607-pat00120

제 2 항에 있어서,
상기 대기의 밝기값(
Figure 112014062365607-pat00086
)은,
영상에서 가장 밝은 값인 것을 특징으로 하는 전달률 하한치를 이용한 안개영상 개선 장치.
3. The method of claim 2,
The brightness value of the atmosphere (
Figure 112014062365607-pat00086
)silver,
Wherein the fog image is the brightest value in the image.
제 2 항에 있어서,
상기 전달률 계산부(100)는,
안개낀 입력영상(
Figure 112013045976245-pat00087
)을 입력받아, 화소단위로 안개낀 입력영상(
Figure 112013045976245-pat00088
)에 대한 전달률 하한치(
Figure 112013045976245-pat00089
)를 계산하는 전달률 하한치 계산모듈(110);
상기 안개낀 입력영상(
Figure 112013045976245-pat00090
)을 입력받아, 제곱근하여 전달률 추정치(
Figure 112013045976245-pat00091
)를 계산하는 전달률 추정모듈(120); 및
상기 전달률 추정모듈(120)을 통해 계산된 전달률 추정치(
Figure 112013045976245-pat00092
)와 상기 전달률 하한치 계산모듈(110)을 통해 계산된 전달률 하한치(
Figure 112013045976245-pat00093
)를 가중합하여 전달률(
Figure 112013045976245-pat00094
)을 계산하는 가중합 계산모듈(130); 을 포함하는 것을 특징으로 하는 전달률 하한치를 이용한 안개영상 개선 장치.
3. The method of claim 2,
The transfer rate calculation unit (100)
Fogged input image (
Figure 112013045976245-pat00087
), The input image fogged in units of pixels (
Figure 112013045976245-pat00088
) Lower limit of transmission rate (
Figure 112013045976245-pat00089
A transfer rate lower limit calculation module 110 for calculating a transfer rate lower limit value;
The fogged input image (
Figure 112013045976245-pat00090
), Square root of the transmission rate estimate (
Figure 112013045976245-pat00091
A transfer rate estimation module 120 for calculating a transfer rate; And
The transfer rate estimation module 120 calculates a transfer rate estimate
Figure 112013045976245-pat00092
) And the transfer rate lower limit value calculation module 110
Figure 112013045976245-pat00093
) Is weighted and the transmission rate
Figure 112013045976245-pat00094
A weighted sum calculation module 130 for calculating a weighted sum; And a fog correction unit that corrects the fog image based on the lower limit of the transfer rate.
제 4 항에 있어서,
상기 전달률(
Figure 112013045976245-pat00095
)의 범위는,
Figure 112013045976245-pat00096
인 것을 특징으로 하는 전달률 하한치를 이용한 안개영상 개선 장치.
5. The method of claim 4,
The transfer rate
Figure 112013045976245-pat00095
),
Figure 112013045976245-pat00096
And a fog image enhancing device using the lower limit of the transfer rate.
삭제delete 제 2 항에 있어서,
상기 복원영상 계산부(200)는,
전달률
Figure 112014062365607-pat00099
라고 가정한 경우, 상기 [수식 4] 를 통해 추정한 안개가 제거된 영상(
Figure 112014062365607-pat00100
)은, 다음의 [수식 7] 을 통해 계산되는 것을 특징으로 하는 전달률 하한치를 이용한 안개영상 개선 장치.
[수식 7]
Figure 112014062365607-pat00101

3. The method of claim 2,
The restored image calculation unit 200 calculates a restored image,
Delivery rate
Figure 112014062365607-pat00099
, The fog removed image estimated through the above-mentioned [Expression 4] (
Figure 112014062365607-pat00100
) Is calculated through the following equation (7): " (7) "
[Equation 7]
Figure 112014062365607-pat00101

안개낀 입력영상(
Figure 112013045976245-pat00102
)을 입력받아, 대기의 가장 밝은 화소값(
Figure 112013045976245-pat00103
)을 출력하는 대기 밝기값 계산부(100);
상기 대기 밝기값 계산부(100)를 통해 계산된 대기의 가장 밝은 화소값(
Figure 112013045976245-pat00104
)과 안개낀 입력영상(
Figure 112013045976245-pat00105
)을 입력받아, 나눗셈 연산자(210), 뺄셈연산자(220), 제곱근연산자(230) 및 뺄셈연산자(240)를 통해
Figure 112013045976245-pat00106
을 출력하고, 곱셈연산자(250)를 통해 상기 대기 밝기값 계산부(100)의 화소값과 뺄셈연산자(240)의 출력을 곱하여 안개가 제거된 영상(
Figure 112013045976245-pat00107
) 을 출력하는 복원영상 계산부(200); 및
상기 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장(stretching) 처리를 수행하여, 최종적으로 안개가 제거된 영상((
Figure 112013045976245-pat00108
)을 출력하는 후 처리부(300); 를 포함하는 전달률 하한치를 이용한 안개영상 개선 장치.
Fogged input image (
Figure 112013045976245-pat00102
) And receives the brightest pixel value (
Figure 112013045976245-pat00103
An ambient brightness value calculation unit 100 for outputting an ambient brightness value;
The brightest pixel value of the atmosphere calculated through the atmospheric brightness value calculation unit 100
Figure 112013045976245-pat00104
) And fogged input image
Figure 112013045976245-pat00105
), A division operator 210, a subtraction operator 220, a square root operator 230, and a subtraction operator 240
Figure 112013045976245-pat00106
And multiplies the pixel value of the atmospheric brightness value calculation unit 100 and the output of the subtraction operator 240 through the multiplication operator 250 to output the fog removed image
Figure 112013045976245-pat00107
A reconstructed image calculation unit 200 for outputting reconstructed images; And
The image output through the reconstructed image calculation unit 200 is subjected to a brightness stretching process, and finally, a fog removed image ((
Figure 112013045976245-pat00108
A post-processing unit 300 for outputting a post-processing result; And a lower limit of the transmission rate.
안개낀 입력영상(
Figure 112013045976245-pat00109
)을 입력받아, 대기의 가장 밝은 화소값(
Figure 112013045976245-pat00110
)을 출력하는 대기 밝기값 계산부(100);
상기 대기 밝기값 계산부(100)를 통해 계산된 대기의 가장 밝은 화소값(
Figure 112013045976245-pat00111
)과 안개낀 입력영상(
Figure 112013045976245-pat00112
)을 입력받아, 나눗셈 연산자(210), 뺄셈연산자(220), 제곱근연산자(230), 뺄셈연산자(240) 및 곱셈연산자(250)를 통해
Figure 112013045976245-pat00113
을 출력하고, 덧셈연산자(260)를 통해 뺄셈연산자(240)의 출력에 상수 1을 더하여
Figure 112013045976245-pat00114
을 구한 후, 나눗셈연산자(270)를 통해 곱셈연산자(250)의 출력을 덧셈연산자(260)의 출력으로 나누어, 안개가 제거된 영상을 출력하는 복원영상 계산부(200); 및
상기 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장(stretching) 처리를 수행하여, 최종적으로 안개가 제거된 영상((
Figure 112013045976245-pat00115
)을 출력하는 후 처리부(300); 를 포함하는 전달률 하한치를 이용한 안개영상 개선 장치.
Fogged input image (
Figure 112013045976245-pat00109
) And receives the brightest pixel value (
Figure 112013045976245-pat00110
An ambient brightness value calculation unit 100 for outputting an ambient brightness value;
The brightest pixel value of the atmosphere calculated through the atmospheric brightness value calculation unit 100
Figure 112013045976245-pat00111
) And fogged input image
Figure 112013045976245-pat00112
The subtraction operator 220, the square root operator 230, the subtraction operator 240, and the multiplication operator 250. The division operator 210, the subtraction operator 220, the square root operator 230,
Figure 112013045976245-pat00113
And a constant 1 is added to the output of the subtraction operator 240 through the addition operator 260
Figure 112013045976245-pat00114
A reconstructed image calculation unit 200 for dividing the output of the multiplication operator 250 by an output of the addition operator 260 through a division operator 270 and outputting a fog removed image; And
The image output through the reconstructed image calculation unit 200 is subjected to a brightness stretching process, and finally, a fog removed image ((
Figure 112013045976245-pat00115
A post-processing unit 300 for outputting a post-processing result; And a lower limit of the transmission rate.
KR1020130058933A 2013-05-24 2013-05-24 Apparatus for enhancing the foggy luminance image using lower bound of transmission rate KR101470833B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130058933A KR101470833B1 (en) 2013-05-24 2013-05-24 Apparatus for enhancing the foggy luminance image using lower bound of transmission rate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130058933A KR101470833B1 (en) 2013-05-24 2013-05-24 Apparatus for enhancing the foggy luminance image using lower bound of transmission rate

Publications (2)

Publication Number Publication Date
KR20140137832A KR20140137832A (en) 2014-12-03
KR101470833B1 true KR101470833B1 (en) 2014-12-09

Family

ID=52457514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130058933A KR101470833B1 (en) 2013-05-24 2013-05-24 Apparatus for enhancing the foggy luminance image using lower bound of transmission rate

Country Status (1)

Country Link
KR (1) KR101470833B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002412B2 (en) 2015-10-16 2018-06-19 Samsung Electronics Co., Ltd. Image processing device that removes haze from image
KR20200037627A (en) 2018-10-01 2020-04-09 전남대학교산학협력단 System and method of transmission rate calculation for suppression of degradation of image quality
US11538139B2 (en) 2020-08-07 2022-12-27 Samsung Electronics Co., Ltd. Method and apparatus with image processing
KR20230144838A (en) 2022-04-08 2023-10-17 한화오션 주식회사 A method of removing haze from a single image using a white channel prior

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583922B1 (en) * 2023-09-04 2023-10-05 엘텍코리아 주식회사 Apparatus and method for controlling the location of mobile object including low visibility video improvement apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (en) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 Image enhancement processing method and apparatus for distortion correction by air particle like fog
KR20120079564A (en) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 Apparatus and method for image defogging based on edge information and tone mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (en) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 Image enhancement processing method and apparatus for distortion correction by air particle like fog
KR20120079564A (en) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 Apparatus and method for image defogging based on edge information and tone mapping
KR101190286B1 (en) * 2011-01-05 2012-10-12 중앙대학교 산학협력단 Apparatus and method for image defogging based on edge information and tone mapping

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002412B2 (en) 2015-10-16 2018-06-19 Samsung Electronics Co., Ltd. Image processing device that removes haze from image
KR20200037627A (en) 2018-10-01 2020-04-09 전남대학교산학협력단 System and method of transmission rate calculation for suppression of degradation of image quality
US11538139B2 (en) 2020-08-07 2022-12-27 Samsung Electronics Co., Ltd. Method and apparatus with image processing
KR20230144838A (en) 2022-04-08 2023-10-17 한화오션 주식회사 A method of removing haze from a single image using a white channel prior

Also Published As

Publication number Publication date
KR20140137832A (en) 2014-12-03

Similar Documents

Publication Publication Date Title
KR101470831B1 (en) Appatatus for image dehazing using the user controllable radical root operation
KR101445577B1 (en) System for enhancing the foggy luminance image using the estimation model of haze removal
KR101756173B1 (en) Image dehazing system by modifying the lower-bound of transmission rate and method therefor
Tang et al. Investigating haze-relevant features in a learning framework for image dehazing
Tripathi et al. Single image fog removal using bilateral filter
Ancuti et al. Single image dehazing by multi-scale fusion
KR101568971B1 (en) Method and system for removal of fog, mist or haze from images and videos
US20160071244A1 (en) Method and system for image haze removal based on hybrid dark channel prior
Zhou et al. Single image dehazing motivated by Retinex theory
KR101470833B1 (en) Apparatus for enhancing the foggy luminance image using lower bound of transmission rate
KR101917094B1 (en) Fast smog and dark image improvement method and apparatus by using mapping table
CN104272347A (en) Image processing apparatus for removing haze contained in still image and method thereof
Barros et al. Single-shot underwater image restoration: A visual quality-aware method based on light propagation model
Huo et al. Fast fusion-based dehazing with histogram modification and improved atmospheric illumination prior
Lu et al. Single underwater image descattering and color correction
KR20180075753A (en) A visibility Improvement System for foggy/dark image in luminance-color difference signal color coordinate system and method therefor
US10726581B2 (en) System and method for scene-space video processing
Trongtirakul et al. Transmission map optimization for single image dehazing
Negru et al. Exponential image enhancement in daytime fog conditions
Li et al. Haze density estimation and dark channel prior based image defogging
Gundawar et al. Improved single image dehazing by fusion
Kumari et al. Fast and efficient contrast enhancement for real time video dehazing and defogging
CN111091500A (en) Point light source multi-scattering model image restoration method
Ancuti et al. Single image restoration of outdoor scenes
Zhang et al. Haze removal from single images based on a luminance reference model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 5