KR101582779B1 - 영상의 파장 적응적 안개 제거 장치 및 방법 - Google Patents

영상의 파장 적응적 안개 제거 장치 및 방법 Download PDF

Info

Publication number
KR101582779B1
KR101582779B1 KR1020150101648A KR20150101648A KR101582779B1 KR 101582779 B1 KR101582779 B1 KR 101582779B1 KR 1020150101648 A KR1020150101648 A KR 1020150101648A KR 20150101648 A KR20150101648 A KR 20150101648A KR 101582779 B1 KR101582779 B1 KR 101582779B1
Authority
KR
South Korea
Prior art keywords
fog
image
input image
class
value
Prior art date
Application number
KR1020150101648A
Other languages
English (en)
Inventor
백준기
윤인혜
정석화
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020150101648A priority Critical patent/KR101582779B1/ko
Application granted granted Critical
Publication of KR101582779B1 publication Critical patent/KR101582779B1/ko
Priority to CN201680030045.0A priority patent/CN107636724A/zh
Priority to PCT/KR2016/002359 priority patent/WO2017014396A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

영상의 파장 적응적 안개 제거 장치 및 방법이 개시된다. 개시된 영상의 파장 적응적 안개 제거 장치는 안개 성분이 포함된 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 라벨 영상을 생성하는 세그먼테이션부 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -; 상기 입력 영상과 상기 라벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 전달맵 생성부; 상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 안개값 추정부; 및 상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 포함한다.

Description

영상의 파장 적응적 안개 제거 장치 및 방법{Wavelength-adaptive dehazing device and method for image}
본 발명의 실시예들은 영상의 파장 적응적 안개 제거 장치 및 방법에 관한 것이다.
외부에 설치되어 있는 비디오 감시 시스템(예를 들어, 무인 항공기 영상, 블랙박스 영상, cctv 영상 등)은 기상 상태에 따라 객체의 원래 색상과 형태를 구별하기 힘든 경우가 많다. 특히, 안개가 끼어있는 경우 피사체 특성 인식에 어려움이 따른다. 따라서, 안개 등을 제거하고자 하는 연구는 오랫동안 진행되고 있다.
Narasimhan은 한 위치에서 열화 요인에 의한 밝기 값이 서로 다른 두 영상을 획득한 후 대기 열화 요인에 따른 투과 정도와 깊이 정보를 구하여 안개를 제거하였다.
Schwartz는 동일한 위치에서 각각 다른 편광 필터가 장착되어 얻어진 두 장의 영상을 사용한다. 이는 각 편광 필터를 통해서 전달된 빛의 세기가 다르기 때문에 편광된 양을 분할하여 편광 값을 계산하고 이를 이용하여 편광된 안개를 제거하는 방법이다.
그러나, 상기의 방법들은 다수의 영상을 획득해야 한다거나, 편광 필터와 같은 추가적인 장치가 필요하기 때문에 실제 카메라에 장착하기 위해서는 구현 및 비용의 문제가 있다.
이를 보완하기 위해서, 추가적인 정보 없이 한 장의 영상만을 이용하여 안개를 제거하는 방법에 대한 연구가 시작되었다.
Fattal은 영상의 반사율을 측정하고 같은 위치에서는 빛이 반사되는 방향이 항상 같다는 가정을 통해 안개를 제거하였다. 또한, Tan은 안개가 존재하는 영상을 안개가 존재하지 않는 영상보다 낮은 대비(contrast)를 가지고 있다는 특성을 이용하여 대기 열화요인을 제거하였다. 하지만 이는 과도하게 대비를 증가시켜 부분적인 색상 왜곡 문제점이 발생한다.
Kratz는 안개 이미지의 모델링을 위해서 Markov random field를 사용하여 영상의 반사율(albedo)과 거리를 두 개의 통계적 독립 요소를 추정하고 이를 이용하여 안개를 제거하였다. 하지만 단일 영상을 사용한 안개 제거 방법은 후광효과(halo effect)와 색상 왜곡 문제가 나타날 수 있다.
이와 같은 안개 제거 방법과 유사한 특성을 가진 기술로 대비개선 기술이 있다. Kong은 영상의 픽셀 전체에 히스토그램 균등화를 실시하는 동시에 영상을 지역적으로 분할함으로써 대비를 개선한 영상을 얻는다. Xu는 영상의 매개변수 제어를 통해 가상 히스토그램 분포 방법을 이용해서 명암과 선명도를 강화시킨다. 하지만, 상기의 방법들은 영상의 가시성을 향상시킬 수 있지만, 안개 영상에서의 본래의 피사체 색상을 복원시키기는 어렵다는 문제점가 있다.
한편, He 등은 다양한 실외 영상을 이용한 실험을 통해 dark channel prior 기법을 제안하였다. 이는 안개 제거에만 효과적일 뿐만 아니라, 수중 영상 화질 개선, 야간 영상 화질 개선, 전반사 성분 분리 등에도 효과적으로 적용할 수 있다. 이처럼 dark channel prior는 어떠한 왜곡에도 노출되지 않은 영상이 가진 기본적인 특성이기 때문에, 다양한 왜곡에 의해 손상된 영상으로부터 왜곡 정도를 추정하고 이를 복원한다.
그러나, dark channel prior 기법은 파장 대역간의 특성을 고려하지 않기 때문에 부적절한 대기값과 전달맵(transmission map)의 추정으로 색상 왜곡 및 에지 열화 현상을 발생시키고, 많은 연산량으로 실시간 구현에 어려움이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 연산량을 감소시키고 파장 적응적으로 안개를 제거할 수 있는 안개 제거 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 안개 성분이 포함된 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 세그먼테이션부 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -; 상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 전달맵 생성부; 상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 안개값 추정부; 및 상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 포함하는 것을 특징으로 하는 영상의 안개 제거 장치가 제공된다.
상기 세그먼테이션부는 상기 입력 영상의 밝기값 히스토그램을 이용하여 상기 하늘 영역 클래스, 상기 지상 영역 클래스 및 상기 수직 영역 클래스를 세분화할 수 있다.
상기 전달맵 생성부는 아래의 수학식을 이용하여 표현될 수 있다.
Figure 112015069402067-pat00001

여기서,
Figure 112015069402067-pat00002
는 상기 전달맵,
Figure 112015069402067-pat00003
는 대기의 산란계수,
Figure 112015069402067-pat00004
는 파장,
Figure 112015069402067-pat00005
는 파장 지수,
Figure 112015069402067-pat00006
는 필터 커널,
Figure 112015069402067-pat00007
는 상기 레벨 영상,
Figure 112015069402067-pat00008
는 상기 입력 영상,
Figure 112015069402067-pat00009
는 중심 픽셀 k를 갖는 윈도우,
Figure 112015069402067-pat00010
는
Figure 112015069402067-pat00011
의 픽셀 수, i 및 j는 픽셀의 좌표,
Figure 112015069402067-pat00012
는 정규화 파라미터,
Figure 112015069402067-pat00013
는
Figure 112015069402067-pat00014
의 평균,
Figure 112015069402067-pat00015
는
Figure 112015069402067-pat00016
의 분산을 각각 의미함.
상기 파장은 빨간색 파장, 초록색 파장 및 파랑색 파장을 포함하고, 상기 대기의 산란계수는 상기 빨간색 파장, 상기 초록색 파장 및 상기 파랑색 파장 별로 다른 값을 가질 수 있다.
상기 대기의 산란계수는 아래의 수학식과 같이 표현될 수 있다.
Figure 112015069402067-pat00017
상기 안개값은 아래의 수학식과 같이 표현될 수 있다.
Figure 112015069402067-pat00018

여기서,
Figure 112015069402067-pat00019
는 상기 안개값,
Figure 112015069402067-pat00020
는 상기 입력 영상,
Figure 112015069402067-pat00021
는 상기 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 안개 성분이 포함된 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 단계 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -; 상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 단계; 상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 단계; 및 상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상의 안개 제거 방법이 제공된다.
본 발명에 따르면, 연산량을 감소시키고 파장 적응적으로 안개를 제거할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 파장 적응적 안개 영상의 형성 모델을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 장치의 개략적인 구성을 도시한 도면이다.
도 3는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 방법의 흐름도를 도시한 도면이다.
도 4 및 도 6은 본 발명의 일 실시예에 따른 파장 적응적 안개 제거 장치 및 방법의 동작 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 파장 적응적 안개 제거 장치 및 방법의 시뮬레이션 결과를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 파장 적응적 안개 영상의 형성 모델을 도시한 도면이다.
도 1를 참조하면, 안개가 있는 경우, 무인 항공기(UAV) 내의 카메라에서 획득된 영상 즉, 입력 영상은 아래의 수학식 1과 같이 표현된다.
Figure 112015069402067-pat00022
여기서,
Figure 112015069402067-pat00023
는 입력 영상,
Figure 112015069402067-pat00024
(
Figure 112015069402067-pat00025
)는 파장,
Figure 112015069402067-pat00026
는 안개가 없는 영상,
Figure 112015069402067-pat00027
는 대기 중에서 산란되지 않는 빛,
Figure 112015069402067-pat00028
는 대기 중에서 산란되는 빛,
Figure 112015069402067-pat00029
는 대기값 내기 안개값,
Figure 112015069402067-pat00030
는 변환맵 내지 전달맵을 각각 의미한다.
보다 상세하게, 안개가 없는 영상인
Figure 112015069402067-pat00031
는, 광원에서 객체로 도달하기 전에 대기 중에서 산란되는 빛
Figure 112015069402067-pat00032
및 산란되지 않는
Figure 112015069402067-pat00033
의 조합으로 생성된다. 여기서,
Figure 112015069402067-pat00034
이 산란됨으로 인해 영상의 피사체와 자연 색상의 왜곡을 일으킨다.
또한, 수학식 1에서,
Figure 112015069402067-pat00035
은 객체에서 열화 요인의 영향을 받지 않고 카메라로 들어가는 빛 즉, 직접 감쇠이고,
Figure 112015069402067-pat00036
는 카메라에 도달하기 전에 안개에 영향을 받아 산란되어 들어가는 빛 즉, 대기 산란광이다.
따라서, 결과적으로 영상
Figure 112015069402067-pat00037
에서 안개값
Figure 112015069402067-pat00038
과 전달맵
Figure 112015069402067-pat00039
를 추정하여 안개가 없는 영상을 복원한다.
도 2는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 장치의 개략적인 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 안개 제거 장치(200)는 입력부(210), 세그먼테이션부(220), 전달맵 생성부(230), 안개값 추정부(240) 및 영상 복원부(250)를 포함한다.
그리고, 도 3는 본 발명의 일 실시예에 따른 영상의 파장 적응적 안개 제거 방법의 흐름도를 도시한 도면이다.
이하, 도 2 및 도 3를 참조하여, 각 구성요소 별 기능 및 각 과정 별로 수행되는 과정을 상세하게 설명한다.
먼저, 단계(310)에서, 입력부(210)는 카메라에서 획득된 영상을 입력받는다.
여기서, 입력 영상은 안개 성분이 포함되어 있는 영상으로서, 이는 무인 항공기(Unmanned Aerial Vehicle) 영상, 블랙박스 영상, cctv 영상일 수 있다. 이하, 설명의 편의를 위해, 입력 영상이 무인 항공기에서 획득된 것으로 가정하여 설명하지만, 본 발명이 이에 한정되는 것은 아니다.
다음으로, 단계(320)에서, 세그먼테이션부(220)는 안개 성분이 포함된 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성한다. 이 때, 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성되며, 수직 영역 클래스는 건물과 같은 수직 구조물을 포함한다.
보다 상세하게, 입력 영상에서는 가시적 거리와 외부적인 영향으로 인해 균일한 탁도의 안개가 분포되지 않으며, 멀리 있는 물체일수록 산란 정도에 대한 파장 의존성이 감소한다. 그러나, 단일영상 또는 비디오 시스템에서 전달맵 생성을 위한 깊이 정보 추출에 어려움이 따른다. 이러한 문제를 해결하기 위해, 기하학적 클래스 기반의 영상 분류와 적응적 영역 합병을 이용한 레벨 영상을 생성하여 전달맵을 추정한다.
Hoiem은 일반적인 장면의 분할을 위해 기하학적 클래스의 완전한 세트를 정의하였지만, 세분화가 많이 되어 계산량이 증가하는 문제점이 있다. 따라서, 본 발명의 경우, 효율적인 안개 영상의 세분화를 위해서 세 가지의 클래스 즉, 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 기하학적 클래스를 분류하였다.
본 발명의 일 실시예에 따르면, 세그먼테이션부(220)는 입력 영상의 밝기값 히스토그램을 이용하여 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스를 세분화할 수 있다.
즉, 세그먼테이션부(220)는 도 4에 도시된 슈퍼픽셀을 사용하여 영상의 객체의 경계를 유지하면서 작은 영역으로 분류하고, 도 5에 도시된 밝기값 히스토그램 분포를 이용하여 영역 합병을 수행함으로 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스를 세분화한다. 이에 대해 보다 상세하게 설명하면 다음과 같다.
먼저, 도 4의 (a)에서는 5개의 슈퍼 픽셀(s i )로 이루어진 샘플 입력 영상을 도시하고 있다. 이 때, 슈퍼 픽셀을 3가지 클래스(하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스,
Figure 112015069402067-pat00040
) 중 하나로 할당하기 위해, 세그먼테이션부(220)는 서로 다른 가설을 통해 세분화를 수행한다.
도 4의 (b) 내지 (d)에서는 s i 를 포함하는 영역을 보여주고 있다. 이 때, s i 에 대한 가장 적합한 레벨은 신뢰값(confidence value)으로 표현되며, 이는 수학식 2와 같이 표현될 수 있다.
Figure 112015069402067-pat00041
여기서, C는 레벨 신뢰값, P는 우도값(likelihood), h ji 는 s i 에 대한 j번째 가설, b i 는 슈퍼 픽셀의 레벨,
Figure 112015069402067-pat00042
는 h ji 의 레벨을 각각 의미한다.
예들 들어, 하늘 영역 클래스인 s 1 에 대한 레벨 신뢰값은 아래의 수학식 3과 같이 표현될 수 있다.
Figure 112015069402067-pat00043
한편, 레벨 생성의 첫 단계에서, 세그먼테이션부(220)는 영상에서 작고 균질한 영역으로부터 슈퍼 픽셀을 추정하는 것이다. 다음으로, 세그먼테이션부(220)는 밝기값 히스토그램 분류를 사용하여 인접 지역을 병합한다. 그리고, 세그먼테이션부(220)는 16개의 레벨로 균일하게 각 색상 채널을 양자화하고, 특징 영역에서 각 영역의 히스토그램을 추정한다. 또한, 도 7의 (b)에 도시된 바와 같이, 세그먼테이션부(220)는 다크 영역, 미들 영역 및 브라이트 영역으로 영상 영역을 병합한다.
R A 영역 R C 영역 사이의 유사도 측정치
Figure 112015069402067-pat00044
는 수학식 4과 같이 표현될 수 있다.
Figure 112015069402067-pat00045
만약, R C 및 R A 가 관심 영역 및 그의 주변 영역으로 가정하고, K개의 주변 영역(R k )이 있는 것으로 가정하고,
Figure 112015069402067-pat00046
는 K개의 유사도 측정치(
Figure 112015069402067-pat00047
) 중 최대값을 의미하는 것으로 가정하면, 두 영역은 아래의 수학식 5과 같이 병합되며, 더 이상 병합 영역이 없을 때까지 이 과정은 반복된다.
Figure 112015069402067-pat00048
그 후, 세그먼테이션부(220)는 색상, 컬러,　질감, 모양과 같은 단순 형상에 기초하여 복수의 레벨 즉, n s 를 산출한다. 그리고, 세그먼테이션부(220)는 추정 확률을 이용하여 각 영역에 대해 최적의 클래스를 결정한다. 이 때, 슈퍼 픽셀의 레벨은 아래의 수학식 6과 같이 표현될 수 있다.
Figure 112015069402067-pat00049
여기서, v는 가능한 레벨의 값, N h 는 복수의 가설의 개수,
Figure 112015069402067-pat00050
는 동질성 우도값,
Figure 112015069402067-pat00051
는 레벨 우도값을 각각 의미한다. 따라서, 특정 지역의 레벨 우도값의 합 및 슈퍼 픽셀을 포함하는 모든 영역에 대한 동질성 합계 레벨 우도값의 합은 정규화된다.
요컨대, 세그먼테이션부(220)는 입력 영상(도 5의 (a)) 내의 안개 영상의 각 색상 채널을 균일하게 양자화하여 히스토그램을 구한 후, 히스토그램 특성 공간을 밝기값 영역으로 나누고(도 5의 (b)), 세분화 영상의 인접한 영역 간의 유사한 특성을 갖는 인접 영역을 병합한다(도 5의 (c)). 또한, 합병된 영역을 기반으로 컬러, 질감, 모양과 같은 정보를 이용하여 하늘 영역 클래스, 수직 영역 클래스, 지상 영역 클래스로 분류하여 영역간의 레벨링을 하여 레벨 영상을 생성한다(도 5의 (d)).
계속하여, 단계(330)에서, 전달맵 생성부(230)는 입력 영상과 레벨 영상을 이용하여 안개 성분을 제거하기 위한 전달맵을 생성한다. 여기서, 전달맵은 파장 적응적 특성을 가진다.
즉, 종래의 전달맵을 이용하여 안개 제거를 수행하면, 후광 효과나 색상이 왜곡되는 문제점이 나타난다. 이러한 문제점을 해결하기 위하여, 본 발명에 따른 전달맵은 상기에서 설명한 클래스 기반의 세분화 기반의 레벨 영상을 사용하여 파장 적응적으로 안개 제거를 수행한다.
본 발명의 일 실시예에 따르면, 전달맵은 아래의 수학식 7과 같이 표현될 수 있다.
Figure 112015069402067-pat00052
여기서,
Figure 112015069402067-pat00053
는 전달맵,
Figure 112015069402067-pat00054
는 대기의 산란계수,
Figure 112015069402067-pat00055
는 파장,
Figure 112015069402067-pat00056
는 파장 지수(일례로, 1.5),
Figure 112015069402067-pat00057
는 필터 커널,
Figure 112015069402067-pat00058
는 레벨 영상,
Figure 112015069402067-pat00059
는 입력 영상,
Figure 112015069402067-pat00060
는 중심 픽셀 k를 갖는 윈도우,
Figure 112015069402067-pat00061
는
Figure 112015069402067-pat00062
의 픽셀 수, i 및 j는 픽셀의 좌표,
Figure 112015069402067-pat00063
는 정규화 파라미터,
Figure 112015069402067-pat00064
는
Figure 112015069402067-pat00065
의 평균,
Figure 112015069402067-pat00066
는
Figure 112015069402067-pat00067
의 분산을 각각 의미한다.
이 때, 상황 적응적(context-adaptive) 영상을 생성하기 위하여, 필터의 에지 보존 특성을 이용하여, 레벨 영상의 에지 특성은 유지하면서 상황 적응적(context-adaptive) 영상인
Figure 112015069402067-pat00068
을 생성할 수 있다.
또한, 파장은 빨간색 파장, 초록색 파장 및 파랑색 파장을 포함하고, 대기의 산란계수는 빨간색 파장, 초록색 파장 및 파랑색 파장 별로 다른 값을 가질 수 있다.
본 발명이 일 실시예에 따르면, 대기의 산란계수는 아래의 수학식 8과 같이 표현될 수 있다.
Figure 112015069402067-pat00069
도 6의 (a)에서는 도 5의 (a)에 도시된 입력 영상과 대응되는 전달맵을 도시하고 있다.
다음으로, 단계(340)에서, 안개값 추정부(240)는 입력 영상과 하늘 영역 클래스를 이용하여 안개 성분과 대응되는 안개값을 추정한다.
즉, 안개값 추정부(240)는 입력 영상과 함께 세 개의 클래스 중 하늘 영역 클래스로 레벨링된 영상을 이용하여 안개값을 추정하되, 하늘 영역 클래스의 영상에서 각 채널의 가장 높은 밝기값을 안개값으로 추정할 수 있으며, 이는 수학식 9과 같이 표현될 수 있다.
Figure 112015069402067-pat00070
여기서,
Figure 112015069402067-pat00071
는 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미한다.
도 6의 (b)에서는 본 발명의 일 실시예에 따른 하늘 영상 클래스의 레벨 영상을 도시하고 있다.
마지막으로, 단계(350)에서, 영상 복원부(250)는 전달맵과 안개값을 이용하여 안개 성분을 제거하여 복원 영상을 생성한다. 이는 아래의 수학식 10과 같이 표현된다.
Figure 112015069402067-pat00072
도 6의 (c)에서는 본 발명의 일 실시예에 따른 복원 영상을 도시하고 있다.
도 7은 본 발명의 일 실시예에 따른 파장 적응적 안개 제거 장치 및 방법의 시뮬레이션 결과를 도시한 도면이다.
도 7의 (a)는 입력 영상, 도 7의 (b)는 본 발명에 따른 전달맵, 도 7의 (c)는 복원 영상을 각각 도시하고 있으며, 색상 왜곡이 없는 결과 영상을 확인할 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 세그먼테이션부 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성되고, 상기 밝기값 히스토그램은 기 설정된 밝기 기준값에 의한 다크(dark) 영역, 미들(middle) 영역 및 브라이트(bright) 영역을 포함함 -;
    상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 전달맵 생성부;
    상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 안개값 추정부; 및
    상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 영상 복원부;를 포함하되,
    상기 안개값은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 영상의 안개 제거 장치.
    Figure 112015107079778-pat00101

    여기서,
    Figure 112015107079778-pat00102
    는 상기 안개값,
    Figure 112015107079778-pat00103
    는 상기 입력 영상,
    Figure 112015107079778-pat00104
    는 상기 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미함.
  2. 삭제
  3. 제1항에 있어서,
    상기 전달맵은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 영상의 안개 제거 장치.

    Figure 112015107079778-pat00073


    여기서,
    Figure 112015107079778-pat00074
    는 상기 전달맵,
    Figure 112015107079778-pat00075
    는 대기의 산란계수,
    Figure 112015107079778-pat00076
    는 파장,
    Figure 112015107079778-pat00077
    는 파장 지수,
    Figure 112015107079778-pat00078
    는 필터 커널,
    Figure 112015107079778-pat00079
    는 상기 레벨 영상,
    Figure 112015107079778-pat00080
    는 상기 입력 영상,
    Figure 112015107079778-pat00081
    는 중심 픽셀 k를 갖는 윈도우,
    Figure 112015107079778-pat00082
    는
    Figure 112015107079778-pat00083
    의 픽셀 수, i 및 j는 픽셀의 좌표,
    Figure 112015107079778-pat00084
    는 정규화 파라미터,
    Figure 112015107079778-pat00085
    는
    Figure 112015107079778-pat00086
    의 평균,
    Figure 112015107079778-pat00087
    는
    Figure 112015107079778-pat00088
    의 분산을 각각 의미함.
  4. 제3항에 있어서,
    상기 파장은 빨간색 파장, 초록색 파장 및 파랑색 파장을 포함하고, 상기 대기의 산란계수는 상기 빨간색 파장, 상기 초록색 파장 및 상기 파랑색 파장 별로 다른 값을 가지는 것을 특징으로 하는 영상의 안개 제거 장치.
  5. 제3항에 있어서,
    상기 대기의 산란계수는 아래의 수학식과 같이 표현되는 것을 특징으로 하는 영상의 안개 제거 장치.

    Figure 112015069402067-pat00089

  6. 삭제
  7. 안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 단계 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성되고, 상기 밝기값 히스토그램은 기 설정된 밝기 기준값에 의한 다크(dark) 영역, 미들(middle) 영역 및 브라이트(bright) 영역을 포함함 -;
    상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 단계;
    상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 단계; 및
    상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 단계;를 포함하되,
    상기 안개값은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 영상의 안개 제거 방법.
    Figure 112015107079778-pat00105

    여기서,
    Figure 112015107079778-pat00106
    는 상기 안개값,
    Figure 112015107079778-pat00107
    는 상기 입력 영상,
    Figure 112015107079778-pat00108
    는 상기 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미함.
  8. 컴퓨터가 판독 가능한 매체에 저장되어, 상기 컴퓨터로 하여금 이하의 단계들을 수행하도록 하기 위한 컴퓨터 프로그램으로서,
    상기 단계는,
    안개 성분이 포함된 입력 영상의 밝기값 히스토그램을 이용하여 상기 입력 영상을 세분화하여 복수의 영역 클래스를 포함하는 레벨 영상을 생성하는 단계 - 상기 복수의 영역 클래스는 하늘 영역 클래스, 지상 영역 클래스 및 수직 영역 클래스로 구성됨 -;
    상기 입력 영상과 상기 레벨 영상을 이용하여 상기 안개 성분을 제거하기 위한 전달맵을 생성하는 단계;
    상기 입력 영상과 상기 하늘 영역 클래스를 이용하여 상기 안개 성분과 대응되는 안개값을 추정하는 단계; 및
    상기 전달맵과 상기 안개값을 이용하여 상기 안개 성분을 제거하여 복원 영상을 생성하는 단계;
    를 포함하되,
    상기 안개값은 아래의 수학식과 같이 표현되는, 영상의 안개 제거 방법을 수행하기 위해 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터 프로그램.
    Figure 112015107079778-pat00109

    여기서,
    Figure 112015107079778-pat00110
    는 상기 안개값,
    Figure 112015107079778-pat00111
    는 상기 입력 영상,
    Figure 112015107079778-pat00112
    는 상기 하늘 영역 클래스의 레벨 영상, max( )는 밝기값을 비교하는 최대화 함수를 각각 의미함.
KR1020150101648A 2015-07-17 2015-07-17 영상의 파장 적응적 안개 제거 장치 및 방법 KR101582779B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150101648A KR101582779B1 (ko) 2015-07-17 2015-07-17 영상의 파장 적응적 안개 제거 장치 및 방법
CN201680030045.0A CN107636724A (zh) 2015-07-17 2016-03-09 影像的波长自适应去雾装置及方法
PCT/KR2016/002359 WO2017014396A1 (ko) 2015-07-17 2016-03-09 영상의 파장 적응적 안개 제거 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150101648A KR101582779B1 (ko) 2015-07-17 2015-07-17 영상의 파장 적응적 안개 제거 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101582779B1 true KR101582779B1 (ko) 2016-01-06

Family

ID=55165499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150101648A KR101582779B1 (ko) 2015-07-17 2015-07-17 영상의 파장 적응적 안개 제거 장치 및 방법

Country Status (3)

Country Link
KR (1) KR101582779B1 (ko)
CN (1) CN107636724A (ko)
WO (1) WO2017014396A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827361B1 (ko) 2016-12-08 2018-02-08 한국항공대학교산학협력단 안개 제거를 위한 대기 강도 추정 장치 및 방법
CN108805190A (zh) * 2018-05-30 2018-11-13 北京奇艺世纪科技有限公司 一种图像处理方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545544A (zh) * 2016-06-29 2018-01-05 诺基亚技术有限公司 去除图像中的混浊对象的方法和装置
CN111489420B (zh) * 2020-02-25 2023-05-12 天津大学 一种多光谱遥感卫星影像的雾霾分量模拟方法
CN111539891A (zh) * 2020-04-27 2020-08-14 高小翎 单张遥感图像的波段自适应除雾优化处理方法
CN111738941B (zh) * 2020-06-05 2023-08-29 大连海事大学 融合光场和偏振信息的水下图像优化方法
CN116188331B (zh) * 2023-04-28 2023-07-18 淄博市淄川区市政环卫服务中心 一种建设工程施工状态变化监测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (ko) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
KR20140017776A (ko) * 2012-08-01 2014-02-12 엠텍비젼 주식회사 영상 처리 장치 및 영상 내의 안개 제거 방법
KR20140026747A (ko) * 2012-08-23 2014-03-06 중앙대학교 산학협력단 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
KR20140140163A (ko) * 2013-05-28 2014-12-09 전남대학교산학협력단 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396324B2 (en) * 2008-08-18 2013-03-12 Samsung Techwin Co., Ltd. Image processing method and apparatus for correcting distortion caused by air particles as in fog
CN103020917B (zh) * 2012-12-29 2015-05-27 中南大学 一种基于显著性检测的中国古代书法绘画图像复原方法
KR102104403B1 (ko) * 2013-05-28 2020-04-28 한화테크윈 주식회사 단일영상 내의 안개 제거 방법 및 장치
CN104166968A (zh) * 2014-08-25 2014-11-26 广东欧珀移动通信有限公司 一种图像去雾的方法、装置及移动终端
CN104182943B (zh) * 2014-08-27 2015-12-02 湖南大学 一种融合人眼视觉特性的单幅图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100021952A (ko) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
KR20140017776A (ko) * 2012-08-01 2014-02-12 엠텍비젼 주식회사 영상 처리 장치 및 영상 내의 안개 제거 방법
KR20140026747A (ko) * 2012-08-23 2014-03-06 중앙대학교 산학협력단 Ｈｓｖ 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
KR20140140163A (ko) * 2013-05-28 2014-12-09 전남대학교산학협력단 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827361B1 (ko) 2016-12-08 2018-02-08 한국항공대학교산학협력단 안개 제거를 위한 대기 강도 추정 장치 및 방법
CN108805190A (zh) * 2018-05-30 2018-11-13 北京奇艺世纪科技有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
WO2017014396A1 (ko) 2017-01-26
CN107636724A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
KR101582779B1 (ko) 영상의 파장 적응적 안개 제거 장치 및 방법
Shin et al. Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
Huang et al. Visibility restoration of single hazy images captured in real-world weather conditions
US9361670B2 (en) Method and system for image haze removal based on hybrid dark channel prior
US8934711B2 (en) Apparatus and method of processing image
KR102261532B1 (ko) 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법
Yadav et al. Fog removal techniques from images: A comparative review and future directions
CN105469372A (zh) 一种基于均值滤波的雾天图像清晰化处理方法
Kim et al. Adaptive patch based convolutional neural network for robust dehazing
CN111598800B (zh) 基于空间域同态滤波和暗通道先验的单幅图像去雾方法
Raikwar et al. An improved linear depth model for single image fog removal
CN115393216A (zh) 基于偏振特性与大气传输模型的图像去雾方法和装置
Raikwar et al. Tight lower bound on transmission for single image dehazing
Kansal et al. Fusion-based image de-fogging using dual tree complex wavelet transform
Wang et al. Haze removal algorithm based on single-images with chromatic properties
Pandey et al. A fast and effective vision enhancement method for single foggy image
Khan et al. Recent advancement in haze removal approaches
Lee et al. Stereo image defogging
Toka et al. A fast method of fog and haze removal
CN104168402A (zh) 一种视频帧图像去雾方法及装置
Thomas et al. Effectual single image dehazing with color correction transform and dark channel prior
Alluhaidan et al. Retinex-based framework for visibility enhancement during inclement weather with tracking and estimating distance of vehicles
CN110322431B (zh) 雾霾图像质量评价方法、系统、存储介质及电子设备
Yu et al. Unmanned aerial vehicle (UAV) image haze removal using dark channel prior

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 5