KR101470831B1 - 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치 - Google Patents

사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치 Download PDF

Info

Publication number
KR101470831B1
KR101470831B1 KR1020130060278A KR20130060278A KR101470831B1 KR 101470831 B1 KR101470831 B1 KR 101470831B1 KR 1020130060278 A KR1020130060278 A KR 1020130060278A KR 20130060278 A KR20130060278 A KR 20130060278A KR 101470831 B1 KR101470831 B1 KR 101470831B1
Authority
KR
South Korea
Prior art keywords
image
calculation unit
transfer rate
value
equation
Prior art date
Application number
KR1020130060278A
Other languages
English (en)
Other versions
KR20140140163A (ko
Inventor
홍성훈
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020130060278A priority Critical patent/KR101470831B1/ko
Priority to PCT/KR2013/009950 priority patent/WO2014193055A1/ko
Priority to US14/425,901 priority patent/US9384532B2/en
Publication of KR20140140163A publication Critical patent/KR20140140163A/ko
Application granted granted Critical
Publication of KR101470831B1 publication Critical patent/KR101470831B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관한 것으로서, 카메라를 통해 촬영된 영상이 안개, 연기, 구름 등 공기 중의 입자에 의한 산란과 흡수 및 하늘과 땅 등 다른 반사광과의 혼합에 의해 색선명도와 명도대비가 감소하는 현상을 제거하여 선명한 영상을 제공하는 장치를 제공함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 안개낀 입력영상을 입력받아, 대기의 가장 밝은 화소값을 계산하는 대기 밝기값 계산부; 상기 안개낀 입력영상과 대기 밝기값 계산부를 통해 계산된 화소값을 이용하여 전달률 하한치를 계산하고, 사용자의 제어값에 따라 상기 전달률 하한치를 거듭제곱 연산처리하여 각 화소별로 전달률을 계산하는 전달률 계산부; 상기 안개낀 입력영상과 전달률 계산부를 통해 계산된 전달률을 이용하여 안개가 제거된 영상을 출력하는 복원영상 계산부; 및 상기 복원영상 계산부를 통해 출력된 영상에 대하여 명도 확장 또는 컬러 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력하는 후 처리부; 를 포함한다.

Description

사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치{Appatatus for image dehazing using the user controllable radical root operation}
본 발명은 안개 또는 연기로 인해 화질이 저하된 휘도영상에서 안개 또는 연기를 제거하여 가시성이 향상된 영상을 제공하는 장치에 관한 것으로서, 더욱 상세하게는 사용자가 기상상황에 따라 안개제거 정도를 조정할 수 있고, 입력영상의 화소단위로 안개가 제거된 영상을 계산할 수 있는 폐쇄공식(closed formula)을 제공하므로 후광효과가 발생하지 않고 연산량이 매우 적어 실시간 처리가 가능한 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관한 것이다.
최근 사고예방이나 감지를 위하여 영상 감시시스템이나 차량용 영상 블랙박스 등이 사용되고 있다. 또한, 첨단 안전차량의 경우 컴퓨터 비전기술을 이용하여 동영상 카메라에서 획득한 영상으로부터 차선과 전방차량을 검출하여 차선이탈과 차량추돌 경보 등을 제공하는 연구가 진행되고 있다.
영상처리 또는 컴퓨터 비전 응용 시스템의 성능을 향상시키기 위해서는 깨끗한 입력 영상이 필요하다. 특히, 객체를 탐지/추적하거나 영상의 에지 정보를 사용할 때는 입력 영상이 깨끗할수록 좋은 결과를 얻을 수 있다.
하지만, 실외 상황에서 촬영된 영상의 경우에는 객체로부터 반사되는 밝기와 색이 공기 중의 입자와 혼합되므로 원래의 선명한 색과 밝기 대비를 제공하지 못한다. 특히 안개나 연기와 같이 공기 중에 큰 입자가 있는 경우 객체의 원래 색과 형태를 정확하게 획득하기 어렵다.
종래 안개 등이 포함된 영상을 개선하는 방법과 관련해서는, 한국공개특허 제10-2010-0021952호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.
선행문헌에 따른 방법은, 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 단계; 및 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 단계; 를 포함한다. 그러나, 상기한 선행문헌은 화소 단위로 안개 영상 처리를 수행하지 않고, 블록 단위로 단위로 처리를 수행한다.
한편, 안개가 있는 영상에서 안개를 제거하여 선명한 영상을 추정하는 다양한 방법들이 제시되었는데, 초기에는 안개가 낀 영상을 안개가 제거된 영상으로 복원하기 위해서 여러 개의 영상을 이용하거나, 영상 외에 추가적인 정보를 이용하는 방법이 제안되었다. 여러 개의 영상을 이용한 방법으로 편광을 이용한 방법[1, 2]이 제안되었는데, 이 방법은 정확히 동일한 위치에서 각각 다른 편광 필터가 장착된 상태로 촬영된 2장 이상의 영상을 획득하고, 편광된 양을 측정하는 방법을 통해 깊이 값을 계산하고 이를 이용하여 안개를 제거하였다. 이 방법들은 매우 좋은 결과 영상을 제공하지만, 동일한 위치에서 각각 다른 편광 필터를 사용해야 한다는 강한 제한 조건이 요구된다. 편광 필터를 이용하지 않고 단순히 여러 장의 영상을 이용하는 방법[3, 4, 5]은 동일한 위치에서 촬영된 다른 기상 환경의 두 영상으로부터 안개 값과 깊이 정보를 구하여 안개를 제거하였다. Kopf 등[6]은 여러 장의 영상을 이용하는 대신 영상의 깊이 정보를 이용하여 안개를 제거하는 방법을 제안하였는데, 카메라에 내장된 GPS 정보를 이용하여 깊이나 텍스쳐 정보를 획득하고, 안개 값의 농도(밀도)가 깊이정보라고 가정하여 영상의 안개를 제거하였다.
여러 장의 영상을 이용하거나 또는 한 장의 영상을 이용하더라도 추가적인 정보를 이용하여 안개를 제거하는 방법들은 다양한 조건에서의 영상 데이터 확보가 필요하므로 동적으로 움직이는 카메라로 촬영된 영상에 적용할 수 없다는 단점을 가지고 있다. 따라서 최근에는 단일 영상으로 안개를 제거하는 방법이 연구되고 있다.
Tan은 [8]에서 밝기대비를 늘리는 방법을 통해서 안개를 제거하는 방법을 제안하였는데, 안개가 없는 깨끗한 영상은 안개가 있는 영상에 비해 높은 에지 강도를 가지고 있고, 안개 값은 급격하게 변하지 않는다는 속성을 이용하여 안개를 제거하였다. 이 방법은 밝기대비가 크게 개선되기 때문에 영상의 형태나 구조가 확실히 들어난다는 장점이 있지만, 과도한 대비 증가로 인하여 포화현상이 일어나고, 깊이 정보가 많이 차이나는 구간에서는 후광효과(halo effect)가 발생하기도 한다.
Fattal [9]은 일정 영상 영역 내에서 측정된 반사율은 항상 같은 벡터 방향을 갖는다는 가정을 통하여 영상의 반사율을 측정하여 안개가 제거된 영상을 복원하는 방법을 제안하였다.
He 등[10]은 안개가 없는 깨끗한 영상은 안개가 있는 영상에 비해 칼라의 채도가 높다는 특성을 이용하였는데, 안개가 없는 깨끗한 영상의 색선명도가 높은 화소는 R, G, B 값 중 한 채널(channel) 값이 매우 작은 값을 가지므로 안개가 없는 칼라 영상의 경우 일정 영역에서 매우 낮은 채널 값을 갖는 화소가 있다는 관측 결과를 이용하여 안개를 제거하는 방법을 제안하였다. 하지만, 한 장의 영상을 사용하는 기존 방법은 RGB 칼라를 사용하므로 휘도영상만을 사용할 경우 안개제거 성능이 저하되고, 큰 크기의 필터를 사용하므로 후광효과가 나타나며, 전달률(transmission rate)을 정재하기 위해 매우 많은 연산량이 요구되어 실시간 처리가 어려운 문제가 있다.
Tarel 등[11]은 연산 속도를 개선하기 위하여 미디언 필터를 사용하는 안개제거 방법을 제안하였는데, 큰 크기의 미디언 필터를 사용하면 연산속도가 느려지고 후광효과가 나타나는 단점이 있다.
[1] Y. Y. Schechner, S. G. Narasimhan, and S. K. Nayar, "Instant dehazing of images using polarization," in Proc. CVPR, pp. 1984-1991, Hawaii, USA, Dec. 2001.
[2] S. Shwartz, E. Namer, and Y. Y. Schechner, "Blind haze separation," in Proc. CVPR, pp. 1984-1991, New York, USA, Oct. 2006.
[3] S.G. Narasimhan and S. K. Nayar, "Chromatic framework for vision in bad weather," in Proc. CVPR, pp. 598-605, SC, USA, June 2000.
[4] S. G. Narasimhan and S. K. Nayar, "Contrast restoration of weather degraded images," IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 6, pp. 713-724, June 2003.
[5] S. K. Nayar and S. G. Narasimhan, "Vision in bad weather," in Proc. ICCV, pp. 820-827, Corfu, Greece, Sep. 1999.
[6] J. Kopf, B. Neubert, B. Chen , M. Cohen, D. Cohen-Or, O. Deussen, M. Uyttendaele, and D. Lischinski, "Deep photo: Model-based photograph enhancement and viewing," ACM Trans. Graphics, vol. 27, no. 5, pp. 1-10, Dec. 2008.
[7] S. G. Narasimhan and S. K. Nayar, "Interactive deweathering of an image using physical models," In Workshop on Color and Photometirc Methods in Computer Vision, OCT. 2003
[8] R.Tan, "Visibility in bad weather from a single image," in Proc CVPR, pp. 1-8, Alaska, USA, June 2008.
[9] R.Fattal, "Single image dehazing," ACM Trans. Graphics, vol. 27, no. 3, pp. 1-9, Aug. 2008.
[10] K. He, J. Sun, and X.Tang, "Single image haze removal using dark channel prior," in Proc. CVPR, pp. 1956-1963, Miami, USA, June 2009.
[11] Tarel, Jean-Philippe; Hautiere, Nicolas; "Fast visibility restoration from a single color or gray level image," Computer Vision, 2009 IEEE 12th International Conference on, pp.2201-2208, Sept. 2009.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 카메라를 통해 촬영된 영상이 안개, 연기, 구름 등 공기 중의 입자에 의한 산란과 흡수 및 하늘과 땅 등 다른 반사광과의 혼합에 의해 색선명도와 명도대비가 감소하는 현상을 제거하여 선명한 영상을 제공하는 장치를 제공함에 그 목적이 있다.
기존 안개제거 방법은 입력영상의 R, G, B 성분을 이용하고, 휘도성분만을 사용할 경우 성능 저하가 발생한다. 하지만 현재 대부분의 멀티미디어 시스템에서 사용되는 색좌표계는 RGB 좌표계가 아닌 YCbCr 색좌표계와 같이 휘도신호와 색차신호를 사용하므로 기존 방식을 적용하기 위해서는 색좌표계 변환 처리가 요구되고, 각 R, G, B 각 신호성분에 대해 독립적인 처리를 할 경우 색상 변화가 발생할 수 있다. 또한 기존 안개제거 방법은 큰 크기의 필터를 사용하므로 후광효과가 나타나며, 매우 많은 연산량이 요구되어 실시간 처리가 어려운 문제가 있다. 또한 기상상황에 따라 사용자가 안개제거 정도를 제어할 수 없다.
본 발명에서는 기존 방식에서 발생하는 문제를 해결하기 위하여 사용자가 기상상황에 따라 안개제거 정도를 제어할 수 있고, 안개제거에 대한 폐쇄공식(closed formula)을 제공하여 화소단위로 안개가 제거된 영상을 계산할 수 있어 기존 방법에서 나타나는 후광효과와 높은 연산량 문제를 해결할 수 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관한 것으로서, 안개낀 입력영상을 입력받아, 대기의 가장 밝은 화소값을 계산하는 대기 밝기값 계산부; 상기 안개낀 입력영상과 대기 밝기값 계산부를 통해 계산된 화소값을 이용하여 전달률 하한치를 계산하고, 사용자의 제어값에 따라 상기 전달률 하한치를 거듭제곱 연산처리하여 각 화소별로 전달률을 계산하는 전달률 계산부; 상기 안개낀 입력영상과 전달률 계산부를 통해 계산된 전달률을 이용하여 안개가 제거된 영상을 출력하는 복원영상 계산부; 및 상기 복원영상 계산부를 통해 출력된 영상에 대하여 명도 확장 또는 컬러 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력하는 후 처리부; 를 포함한다.
상기와 같은 본 발명에 따르면, 안개, 연기, 구름 등 공기 중의 밝기와 색상 성분이 객체의 빛과 색 성분과 혼합되어 가시성이 낮아진 영상에 대해 공기 중의 밝기와 색상성분을 제거하여 선명한 영상을 제공할 수 있는 효과가 있다.
현재 대부분의 멀티미디어 시스템에서 사용되는 색좌표계는 RGB 좌표계가 아닌 YCbCr 색좌표계와 같이 휘도신호와 색차신호를 사용하므로 휘도 정보만으로도 우수한 성능을 발휘하는 제안된 방법은 색좌표계의 변환없이 멀티미디어 시스템에 적용이 용이하고, 입력칼라의 색상을 유지할 수 있다. 특히 제안된 방법은 화소단위의 연산을 수행하므로 큰 크기의 필터를 사용하는 기존 방법의 문제인 후광효과와 높은 연산량 문제를 해결할 수 있으므로, 실시간 응용에 적용할 수 있고, 사용자가 직접 기상상황에 따라 안개제거 정도와 영상의 밝기를 제어할 수 있다.
따라서, 고화질 감시시스템, 차량용 영상 블랙박스, 화재 방지시스템 등에 적용할 경우 안개나 연기 등으로 가시성이 감소되는 문제를 해결할 수 있고, 최근에 많은 연구가 이루어지는 첨단 안전차량에 적용이 가능하다.
도 1 은 본 발명에 따른 산란계수 비율에 따른 전달률과 복원영상의 밝기값 변화를 보이는 일예시도.
도 2 는 본 발명에 따른 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관한 전체 구성도.
도 3 은 본 발명의 제 1 실시예에 따른 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관한 구성도.
도 4 및 도 5 는 본 발명에 따른 안개영상 개선 장치를 통한 시뮬레이션 결과(를 보이는 사용자 제어값에 따른 안개제거 처리된 결과 영상)를 보이는 일예시도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관하여 도 1 내지 도 5 를 참조하여 설명하면 다음과 같다.
카메라를 통해 촬영된 야외 영상은 물체를 반사한 빛에 의해 밝기와 색이 결정되는데, 물체의 반사광은 일반적으로 공기 중의 입자에 의해 산란 및 흡수되고, 하늘과 땅 등 다른 반사광과 혼합되어 카메라로 촬영된 영상은 색선명도와 명도대비가 감소하게 된다.
컴퓨터 비젼 등에서 사용되는 안개낀 영상에 대한 일반적인 모델은 다음의 [수식 1] 과 같다.
[수식 1]
Figure 112013047209606-pat00001
여기서,
Figure 112013047209606-pat00002
는 카메라를 통해 획득된 안개낀 영상의 x번째 화소값이고,
Figure 112013047209606-pat00003
는 안개가 제거된 깨끗한 영상,
Figure 112013047209606-pat00004
는 영상내의 화소 중 카메라에서 가장 먼 대기의 밝기값(atmospheric brightness)이다.
Figure 112013047209606-pat00005
는 감쇄 없이 카메라에 도착하는 물체의 반사광의 비율을 나타내는 전달률(transmission rate)이다.
[수식 1] 에서 첫 번째 항
Figure 112013047209606-pat00006
는 직접 감쇄(direct attenuation)이고, 두 번째 항
Figure 112013047209606-pat00007
은 대기산란광(airlight)이다. 직접감쇄는 물체에서 반사된 빛이 전달률에 따라 감소함을 의미하고, 대기산란광은 대기의 입자로 인한 산란으로 인해 발생한다.
일반적으로 전달률
Figure 112013047209606-pat00008
는 다음의 [수식 2] 와 같이 공간상의 물체와 카메라사이의 거리에 따라 지수함수적으로 감소한다.
[수식 2]
Figure 112013047209606-pat00009
여기서,
Figure 112013047209606-pat00010
는 공기의 산란계수(scattering coefficient)이고,
Figure 112013047209606-pat00011
는 x번째 화소에 대응하는 공간상의 점과 카메라 사이의 거리이다.
산란계수
Figure 112013047209606-pat00012
값은 대기 중의 입자 크기와 관계가 있는데, 비나 짙은 안개와 같이 큰 입자의 경우
Figure 112013047209606-pat00013
는 1에 근접하고, 맑은 날씨가 맑을수록 입자가 작아 0에 가까워진다. 따라서, 산란계수
Figure 112013047209606-pat00014
가 일정한 경우 하늘과 같이 거리가 먼 곳은 전달률이 0에 가깝게 되어 [수식 1]에서
Figure 112013047209606-pat00015
가 되고, 매우 가까운 곳의 화소는 전달률이 1에 근접하므로
Figure 112013047209606-pat00016
가 된다. 따라서, 영상에서 밝은 화소는 거리가 멀어 안개가 많이 낀 경우로 가정할 수 있고, 전달률
Figure 112013047209606-pat00017
는 작은 값을 갖게 된다.
안개제거는 카메라로부터 획득한 입력영상
Figure 112013047209606-pat00018
로부터
Figure 112013047209606-pat00019
Figure 112013047209606-pat00020
를 구하고, 이를 이용하여 최종적으로 안개가 제거된??영상
Figure 112013047209606-pat00021
를 복원하는 것이다.
[수식 1] 로부터 전달률과 복원영상은 각각 [수식 3] 과 [수식 4] 로 구할 수 있다.
[수식 3]
Figure 112013047209606-pat00022
[수식 4]
Figure 112013047209606-pat00023
한편, 안개가 제거된 영상
Figure 112013047209606-pat00024
Figure 112013047209606-pat00025
를 만족해야하므로, [수식 4] 로부터 전달률
Figure 112013047209606-pat00026
의 범위는 [수식 5] 와 같이 결정된다.
[수식 5]
Figure 112013047209606-pat00027
[수식 5] 에서 전달률 하한치(lower bound of transmission rate)는 짙은 안개로 인해 객체가 보이지 않거나, 원래 객체의 밝기(radiance)가 없는 경우의 전달률을 의미한다.
만일 기상 상태가 다른(산란계수
Figure 112013047209606-pat00028
가 다른) 두 개의 상황에서 동일한 장면(카메라와 공간상의 점의 거리가 같음)을 촬영한 경우, 카메라를 통해 촬영된 영상들은 각각 [수식 6] )으로 나타낼 수 있다.
[수식 6]
Figure 112013047209606-pat00029
또한, [수식 2] 로부터 두 상황에 대한 전달률간의 상호관계는 다음의 [수식 7] 과 [수식 8] 로 표현된다.
[수식 7]
Figure 112013047209606-pat00030
[수식 8]
Figure 112013047209606-pat00031
결국 두 상황에 대한 산란계수의 비율과 한 상황에서의 전달률을 알면 다른 기상상황에서의 전달률도 계산할 수 있다. 만일 대기의 밝기 값이 같고(즉,
Figure 112013047209606-pat00032
) 한 개의 기상상황에서의 전달률이 [수식 5] 의 하한값과 같다면 [수식 8] 로부터 특정 기상상황에서의 전달률을 [수식 9] 와 같이 구할 수 있다.
[수식 9]
Figure 112013047209606-pat00033
여기서, 전달률의 하한값 상황에서의 산란계수는 다른 기상상황에서의 산란계수보다 크기 때문에 산란계수 비율 상수 C는 1보다 작다.
한편, [수식 9] 의 전달률을 [수식 4] 에 대입하면 안개가 제거된 복원영상은 [수식 10] 과 같이 구할 수 있다.
[수식 10]
Figure 112013047209606-pat00034

도 1 은 입력화소의 밝기값이 0에서 255로 증가할 때 산란계수 비율 상수 C를 0.2에서 0.8까지 증가시키면서 [수식 9] 의 전달률(a)과 [수식 10] 의 복원영상의 밝기값(b)을 계산한 그래프이다.
전달률은 C가 증가할수록 전달률의 하한(C=1)에 근접하고, 복원영상은 안개제거 효과가 증가하지만 어두운 영상을 출력하게 된다. 따라서, C를 사용자가 제어할 수 있도록 안개영상 개선장치를 구현하면 안개제거 강도와 밝기를 사용자가 직접 제어할 수 있다
도 2 는 본 발명에 따른 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관한 전체 구성도로서, 도시된 바와 같이 대기 밝기값 계산부(100), 전달률 계산부(200), 복원영상 계산부(300) 및 후 처리부(400)를 포함하여 이루어진다.
대기 밝기값 계산부(100)는 안개낀 입력영상(
Figure 112013047209606-pat00035
)을 입력받아, 대기의 가장 밝은 화소값(
Figure 112013047209606-pat00036
)을 계산한다.
전달률 계산부(200)는 안개낀 입력영상(
Figure 112013047209606-pat00037
)과 대기 밝기값 계산부(200)를 통해 계산된 화소값(
Figure 112013047209606-pat00038
)을 이용하여 안개가 어느 정도의 비율로 섞여있는지를 나타내는 전달률 하한치를 계산하고, 사용자의 제어값에 따라 상기 전달률 하한치를 거듭제곱 연산처리하여 각 화소별로 전달률을 계산하는 기능을 수행하는 바, 상기 도 2 에 도시된 바와 같이 전달률 하한치 계산모듈(210) 및 전달률 계산모듈(220)을 포함한다.
구체적으로, 전달률 하한치 계산모듈(210)은 안개낀 입력영상(
Figure 112013047209606-pat00039
)과 대기 밝기값 계산부(200)를 통해 계산된 화소값(
Figure 112013047209606-pat00040
)을 이용하여 [수식 5] 를 통해 화소단위로 안개낀 입력영상(
Figure 112013047209606-pat00041
)에 대한 전달률 하한치(
Figure 112013047209606-pat00042
)를 계산한다.
[수식 5]
Figure 112013047209606-pat00043

전달률 계산모듈(220)은 사용자의 제어값(C)을 입력받아, [수식 9] 를 통해 입력된 제어값(C)에 따라 전달률 하한치 계산모듈(210)을 통해 계산된 전달률 하한치를 거듭제곱 연산처리하여 전달률(
Figure 112013047209606-pat00044
)을 계산한다.
[수식 9]
Figure 112013047209606-pat00045

복원영상 계산부(300)는 안개낀 입력영상(
Figure 112013047209606-pat00046
), 전달률 계산부(200)를 통해 계산된 전달률(
Figure 112013047209606-pat00047
) 및 대기의 밝기값(
Figure 112013047209606-pat00048
)을 이용한 [수식 4] 및 [수식 10] 을 통해 안개가 제거된 영상(
Figure 112013047209606-pat00049
)을 출력한다.
[수식 4]
Figure 112013047209606-pat00050
[수식 10]
Figure 112013047209606-pat00051

후 처리부(400)는 복원영상 계산부(300)를 통해 출력된 영상에 대하여 명도 확장(stretching), 컬러 처리(색차 신호 처리) 등을 수행하여, 최종적으로 안개가 제거된 영상을 출력한다.
한편, 도 3 은 본 발명의 제 1 실시예에 따른 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치에 관한 구성도로서, 도시된 바와 같이 대기 밝기값 계산부(100), 복원영상 계산부(200) 및 후 처리부(300)를 포함하여 이루어진다.
대기 밝기값 계산부(100)는 안개낀 입력영상(
Figure 112013047209606-pat00052
)을 입력받아, 대기의 가장 밝은 화소값(
Figure 112013047209606-pat00053
)을 출력한다.
복원영상 계산부(200)는 대기 밝기값 계산부(100)를 통해 계산된 대기의 가장 밝은 화소값(
Figure 112013047209606-pat00054
)과 안개낀 입력영상(
Figure 112013047209606-pat00055
)을 입력받아, 나눗셈 연산자(210), 뺄셈연산자(220), 사용자의 제어값(1-C)에 따라 거듭제곱 연산을 수행하는 거듭제곱근연산자(230)를 통해
Figure 112013047209606-pat00056
값을 출력한 후, 상기 뺄셈연산자(240)를 통해 1에서 상기 거듭제곱근연산자(230)의 출력 값을 빼고, 곱셈연산자(250)를 통해 상기 대기 밝기값 계산부(100)의 화소값과 뺄셈연산자(240)의 출력을 곱하여 안개가 제거된 영상을 출력한다.
후 처리부(300)는 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장(stretching), 컬러 처리(색차 신호 처리) 등을 수행하여, 최종적으로 안개가 제거된 영상을 출력한다.
도 4 및 도 5 는 본 발명에 따른 안개영상 개선 장치를 통한 시뮬레이션 결과를 나타낸 예이다. (a) 는 안개낀 입력영상이고, (b) 는 사용자 제어값 C = 0.25, (c) 는 사용자 제어값 C = 0.5, (d) 는 사용자 제어값 C = 0.75 경우 안개제거 처리된 결과 영상이다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100: 대기 밝기값 계산부 200: 전달률 계산부
300: 복원영상 계산부 400: 후 처리부
210: 전달률 하한치 계산모듈 220: 전달률 계산모듈

Claims (5)

  1. 삭제
  2. 안개낀 입력영상(
    Figure 112014068243158-pat00057
    )을 입력받아, 대기의 가장 밝은 화소값(
    Figure 112014068243158-pat00058
    )을 계산하는 대기 밝기값 계산부(100);
    상기 안개낀 입력영상(
    Figure 112014068243158-pat00059
    )과 대기 밝기값 계산부(200)를 통해 계산된 화소값(
    Figure 112014068243158-pat00060
    )을 이용하여 전달률 하한치를 계산하고, 사용자의 제어값에 따라 상기 전달률 하한치를 거듭제곱 연산처리하여 각 화소별로 전달률을 계산하는 전달률 계산부(200);
    상기 안개낀 입력영상(
    Figure 112014068243158-pat00061
    )과 전달률 계산부(200)를 통해 계산된 전달률(
    Figure 112014068243158-pat00062
    )을 이용하여 안개가 제거된 영상(
    Figure 112014068243158-pat00063
    )을 출력하는 복원영상 계산부(300); 및
    상기 복원영상 계산부(300)를 통해 출력된 영상에 대하여 명도 확장(stretching) 또는 컬러 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력하는 후 처리부(400); 를 포함하되,
    상기 복원영상 계산부(300)는,
    [수식 4] 및 [수식 10] 을 통해 안개가 제거된 영상(
    Figure 112014068243158-pat00084
    )을 출력하는 것을 특징으로 하는 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치.
    [수식 4]
    Figure 112014068243158-pat00085

    [수식 10]
    Figure 112014068243158-pat00086

  3. 제 2 항에 있어서,
    상기 전달률 계산부(200)는,
    상기 안개낀 입력영상(
    Figure 112013047209606-pat00064
    )과 대기 밝기값 계산부(200)를 통해 계산된 화소값(
    Figure 112013047209606-pat00065
    )을 이용하여 [수식 5] 를 통해 화소단위로 안개낀 입력영상(
    Figure 112013047209606-pat00066
    )에 대한 전달률 하한치(
    Figure 112013047209606-pat00067
    )를 계산하는 전달률 하한치 계산모듈(210); 및
    사용자의 제어값(C)을 입력받아, [수식 9] 를 통해 입력된 제어값에 따라 상기 전달률 하한치 계산모듈(210)을 통해 계산된 전달률 하한치를 거듭제곱 연산처리하여 전달률(
    Figure 112013047209606-pat00068
    )을 계산하는 전달률 계산모듈(220); 을 포함하는 것을 특징으로 하는 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치.
    [수식 5]
    Figure 112013047209606-pat00069

    [수식 9]
    Figure 112013047209606-pat00070

  4. 삭제
  5. 안개낀 입력영상(
    Figure 112013047209606-pat00074
    )을 입력받아, 대기의 가장 밝은 화소값(
    Figure 112013047209606-pat00075
    )을 출력하는 대기 밝기값 계산부(100);
    상기 대기 밝기값 계산부(100)를 통해 계산된 대기의 가장 밝은 화소값(
    Figure 112013047209606-pat00076
    )과 안개낀 입력영상(
    Figure 112013047209606-pat00077
    )을 입력받아, 나눗셈 연산자(210), 뺄셈연산자(220), 사용자의 제어값(1-C)에 따라 거듭제곱 연산을 수행하는 거듭제곱근연산자(230)를 통해
    Figure 112013047209606-pat00078
    값을 출력한 후, 상기 뺄셈연산자(240)를 통해 1에서 상기 거듭제곱근연산자(230)의 출력 값을 빼고, 곱셈연산자(250)를 통해 상기 대기 밝기값 계산부(100)의 화소값과 뺄셈연산자(240)의 출력을 곱하여 안개가 제거된 영상을 출력하는 복원영상 계산부(200); 및
    상기 복원영상 계산부(200)를 통해 출력된 영상에 대하여 명도 확장(stretching) 또는 컬러 처리를 수행하여, 최종적으로 안개가 제거된 영상을 출력하는 후 처리부(300); 를 포함하는 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치.
KR1020130060278A 2013-05-28 2013-05-28 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치 KR101470831B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130060278A KR101470831B1 (ko) 2013-05-28 2013-05-28 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
PCT/KR2013/009950 WO2014193055A1 (ko) 2013-05-28 2013-11-05 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
US14/425,901 US9384532B2 (en) 2013-05-28 2013-11-05 Apparatus for improving fogged image using user-controllable root operator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130060278A KR101470831B1 (ko) 2013-05-28 2013-05-28 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치

Publications (2)

Publication Number Publication Date
KR20140140163A KR20140140163A (ko) 2014-12-09
KR101470831B1 true KR101470831B1 (ko) 2014-12-10

Family

ID=51989047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130060278A KR101470831B1 (ko) 2013-05-28 2013-05-28 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치

Country Status (3)

Country Link
US (1) US9384532B2 (ko)
KR (1) KR101470831B1 (ko)
WO (1) WO2014193055A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609303B2 (en) 2017-08-29 2020-03-31 Industry Foundation Of Chonnam National University Method and apparatus for rapid improvement of smog/low-light-level image using mapping table

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156968B1 (en) * 2014-06-12 2019-02-27 EIZO Corporation Haze removal device and image generation method
CN104574407B (zh) * 2015-01-15 2018-04-27 华南理工大学 基于暗通道优先和解三角形法的绝缘子覆冰监测方法
US9508126B2 (en) * 2015-02-17 2016-11-29 Adobe Systems Incorporated Image haze removal using fast constrained transmission estimation
KR101582779B1 (ko) * 2015-07-17 2016-01-06 중앙대학교 산학협력단 영상의 파장 적응적 안개 제거 장치 및 방법
TWI580266B (zh) * 2016-02-15 2017-04-21 聯詠科技股份有限公司 影像處理裝置
JP6707943B2 (ja) * 2016-03-25 2020-06-10 富士通株式会社 生体画像処理装置及び生体画像処理方法
CN105913391B (zh) * 2016-04-07 2018-12-07 西安交通大学 一种基于形状可变形态学重构的去雾方法
CN105976338A (zh) * 2016-05-12 2016-09-28 山东大学 一种基于天空识别与分割的暗通道先验去雾方法
CN106504216B (zh) * 2016-11-14 2019-01-08 山东交通学院 基于变分模型的单幅图像去雾方法
CN106600560B (zh) * 2016-12-22 2019-07-12 福州大学 一种适用于行车记录仪的图像去雾方法
KR101881883B1 (ko) * 2016-12-26 2018-08-27 전남대학교산학협력단 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN107194901B (zh) * 2017-07-27 2020-01-10 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN107341782B (zh) * 2017-07-27 2020-01-10 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN109886920A (zh) * 2019-01-16 2019-06-14 安徽谛听信息科技有限公司 一种雾天分级方法、雾天分级系统
JP7227785B2 (ja) * 2019-02-18 2023-02-22 キヤノン株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
US11127121B2 (en) 2019-03-29 2021-09-21 Wipro Limited System and method of generating enhanced video by removing fog for vehicle navigation
CN114067173A (zh) * 2021-11-07 2022-02-18 西北工业大学 基于多清晰度集成自训练的小样本低质量图像目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (ko) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
KR20120079564A (ko) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법
KR20130015906A (ko) * 2011-08-05 2013-02-14 경희대학교 산학협력단 단위 블록별 안개 영상 보상 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2884637B1 (fr) * 2005-04-19 2007-06-29 Valeo Vision Sa Procede de detection de brouillard nocturne et systeme de mise en oeuvre de ce procede
TWI423166B (zh) * 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
US8340461B2 (en) * 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
JP5771430B2 (ja) * 2011-04-08 2015-08-26 オリンパス株式会社 霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラム
US8582915B2 (en) * 2011-06-27 2013-11-12 Wuxi Jinnang Technology Development Ltd. Image enhancement for challenging lighting conditions
KR20130012749A (ko) 2011-07-26 2013-02-05 (주)영훈전자 환경 자동 적응 비디오 인핸서 및 비디오 이미지의 처리 방법
CN102968760B (zh) 2011-08-30 2016-08-17 富士通株式会社 图像去雾方法和系统
CN102999883B (zh) 2011-09-08 2016-03-02 富士通株式会社 图像去雾方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (ko) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
KR20120079564A (ko) * 2011-01-05 2012-07-13 중앙대학교 산학협력단 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법
KR20130015906A (ko) * 2011-08-05 2013-02-14 경희대학교 산학협력단 단위 블록별 안개 영상 보상 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609303B2 (en) 2017-08-29 2020-03-31 Industry Foundation Of Chonnam National University Method and apparatus for rapid improvement of smog/low-light-level image using mapping table

Also Published As

Publication number Publication date
US9384532B2 (en) 2016-07-05
WO2014193055A1 (ko) 2014-12-04
US20150287170A1 (en) 2015-10-08
KR20140140163A (ko) 2014-12-09

Similar Documents

Publication Publication Date Title
KR101470831B1 (ko) 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
KR101445577B1 (ko) 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템
KR101756173B1 (ko) 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법
Tang et al. Investigating haze-relevant features in a learning framework for image dehazing
Ancuti et al. Single image dehazing by multi-scale fusion
Narasimhan et al. Contrast restoration of weather degraded images
Tripathi et al. Single image fog removal using bilateral filter
TWI514323B (zh) 基於混合暗通道先驗的影像除霧方法及其系統
CN102831591B (zh) 一种基于高斯滤波的单幅图像的实时去雾方法
US20140140619A1 (en) Method and System for Removal of Fog, Mist, or Haze from Images and Videos
Zhou et al. Single image dehazing motivated by Retinex theory
Kil et al. A dehazing algorithm using dark channel prior and contrast enhancement
KR101470833B1 (ko) 전달률 하한치를 이용한 안개영상 개선 장치
KR101917094B1 (ko) 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치
Lu et al. Single underwater image descattering and color correction
KR101881883B1 (ko) 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
Huo et al. Fast fusion-based dehazing with histogram modification and improved atmospheric illumination prior
Gadnayak et al. A survey on image dehazing methods
Trongtirakul et al. Transmission map optimization for single image dehazing
CN111091500A (zh) 点光源多散射模型图像复原方法
Mittal et al. IoT based image defogging system for road accident control during winters
Li et al. Polarization filtering for automatic image dehazing based on contrast enhancement
Gundawar et al. Improved single image dehazing by fusion
Li et al. Haze density estimation and dark channel prior based image defogging
Lu et al. Single image dehazing based on multiple scattering model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 6