KR102483159B1 - 기계 학습에 기반한 자동 안개 제거 시스템 - Google Patents

기계 학습에 기반한 자동 안개 제거 시스템 Download PDF

Info

Publication number
KR102483159B1
KR102483159B1 KR1020210120425A KR20210120425A KR102483159B1 KR 102483159 B1 KR102483159 B1 KR 102483159B1 KR 1020210120425 A KR1020210120425 A KR 1020210120425A KR 20210120425 A KR20210120425 A KR 20210120425A KR 102483159 B1 KR102483159 B1 KR 102483159B1
Authority
KR
South Korea
Prior art keywords
fog
image
depth map
machine learning
input image
Prior art date
Application number
KR1020210120425A
Other languages
English (en)
Inventor
강봉순
이기동
이승민
응오닷
강의진
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020210120425A priority Critical patent/KR102483159B1/ko
Application granted granted Critical
Publication of KR102483159B1 publication Critical patent/KR102483159B1/ko

Links

Images

Classifications

    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/24—Fluid dynamics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 기계 학습에 기반한 자동 안개 제거 시스템에 관한 것으로, 보다 구체적으로는, 기계학습 기반의 안개제거, 영상의 안개 밀도 추정, 가중치 생성, 적응적인 깊이 맵 생성, 적응형 색조 리맵핑(Adaptive Tone Remapping)과 같은 간단한 영상 화질 개선 기술을 사용하며 이로 인해 입력 영상에 따라 안개 제거 수행유무를 결정할 수 있도록 하기 위한 기계 학습에 기반한 자동 안개 제거 시스템에 관한 것이다.

Description

기계 학습에 기반한 자동 안개 제거 시스템{Method and system for auto image dehazing using machine learning}
본 발명은 기계 학습에 기반한 자동 안개 제거 시스템에 관한 것으로, 보다 구체적으로는, 기계학습 기반의 안개제거, 영상의 안개 밀도 추정, 가중치 생성, 적응적인 깊이 맵 생성, 적응형 색조 리맵핑(Adaptive Tone Remapping)과 같은 간단한 영상 화질 개선 기술을 사용하며 이로 인해 입력 영상에 따라 안개 제거 수행유무를 결정할 수 있도록 하기 위한 기계 학습에 기반한 자동 안개 제거 시스템에 관한 것이다.
기상 악조건 또는 공기오염과 같은 환경과 관련된 원인으로 인해서 감시 시스템 및 자율주행 성능이 급격히 떨어질 수 있으며, 이러한 이유로 안개제거 알고리즘은 최근에 과학분야에서 많은 관심을 받고 있다.
기상 악조건 또는 공기오염은 항상 발생하지 않고 특정한 날에만 일어나는데 현재까지 개발한 안개제거 알고리즘들은 입력 영상에서 안개 유무 판단하는 기능이 부재하여 어떠한 입력 영상에도, 즉 안개 유무에 상관없이 무조건 안개제거를 적용하며, 기존의 안개 제거 시스템에서는 입력 영상이 안개가 있는 영상이라 가정하고 수행되어 왔다.
따라서 입력 영상은 안개가 없는 영상이면 안개제거로 인해서 화질이 떨어진다. 이러한 문제를 보완하기 위해 기존에 출원된 안개 밀도 추정 방법을 적용하여 안개 제거를 적응적(adaptive)으로 수행한다.
종래의 안개 제거 방법에는 영상 처리 방법과, 기계학습 방법, 딥러닝 방법으로 크게 3 분류로 나눌 수 있다. 영상처리 방법에서는 미국등록특허인 특허문헌 1에 대표적인 방법으로써 안개 전달 맵을 추정하기 위해 Dark Channel Prior(DCP)를 제안되어 있다.
그리고 기계학습 방법으로는 Zhu et al.가 비특허문헌 1에서 기계 학습 기술을 이용하여 영상의 깊이(depth)를 추정하는 방법으로, 안개 전달 맵은 깊이에 지수로 비례하기 때문에 깊이가 주어지면 안개 전달 맵을 추정하는 방법을 제안하였다.
마지막으로 딥러닝 방법에서는 정량적 측면에서 성능이 우수한 대표적인 방법으로는 Ren at el.가 비특허문헌 2에서 제안하였으나, 이 방법은 Convolutional Neural Network(CNN)에 기반하여 안개 전달 맵의 정교화과정이 필요 없는 Multi-Scale CNN을 제시했다. 하지만 이 방법은 위 두 가지 방법보다 연산량이 너무 많은 단점이 있다.
현재까지 종래의 안개 제거 기술들은 여러 방법이 제시되어 왔지만, 이 모든 방법은 입력 영상이 안개영상이라 가정하고 진행되는 방법들이다. 하지만 안개 제거 시스템이 주로 쓰이는 곳은 지능형 CCTV 및 자율주행차로써 실외의 환경이 안개가 낄 경우도 있고 안개가 없을 경우도 있다. 현재까지 안개제거 방법들은 안개 유무를 탐지하여 적응적으로 안개를 제거하는 시스템은 발표되지 않았다.
미국 등록특허공보 제8340461호(2012.12.25.) "Single Image Haze Removal Using Dark Channel Priors" 대한민국 등록특허공보 제10-2151750호(2020.09.03. 공고) "단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법" 대한민국 특허출원 제10-2021-0028757호(2021.03.04. 출원) "흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법"
Qingsong Zhu, Jiaming Mai, Ling Shao, "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior", IEEE Transactions on Image Processing (2015), Vol. 24, pp. 3522-3533 W. Ren, J. Zang, X. Xu, L. Ma, X. Cao, G. Meng, W. Liu, "Deep Vedio Dehaing With Semantic Segmentation", IEEE Transactions on Image Processing (2019), Vol. 28, pp. 1895-1908
본 발명은 상기의 문제점을 해결하기 위한 것으로, 종래 안개 제거 기술들에서 한계로 지목되고 있는 입력 영상의 안개 유무에 상관없이 일괄적으로 안개를 제거하는 방법에 대해 개선하도록 하기 위한 기계 학습에 기반한 자동 안개 제거 시스템을 제공하기 위한 것이다.
또한, 본 발명은 안개가 없는 영상의 경우 안개 제거 시스템을 통과하면 영상의 품질이 악화되어 지능형 CCTV 및 자율주행차의 성능을 제대로 발휘하지 못하는 문제점을 해결하도록 하기 위한 기계 학습에 기반한 자동 안개 제거 시스템을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 기계 학습에 기반한 자동 안개 제거 시스템은, 영상의 안개 밀도 추정 과정에서 추출된 안개 밀도 값을 이용하여 가중치를 깊이 맵에 적용하는 적응적인 깊이 맵 생성하며,
Figure 112022113414215-pat00001
에 해당하는 적응적인 깊이 맵 생성 수식(상기에서,
Figure 112022113414215-pat00002
은 선형모델의 매개 변수로 기계학습으로 추정된 매개변수,
Figure 112022113414215-pat00003
는 입력 영상의 밝기,
Figure 112022113414215-pat00004
는 입력 영상의 채도,
Figure 112022113414215-pat00005
는 안개 밀도 추정 값을 통해 구해진 가중치)을 이용하여 적응적인 깊이 맵 생성을 수행하는 적응적인 깊이 맵 생성 모듈(140); 을 포함하는 것을 특징으로 할 수 있다.
이때, 본 발명은, 상기 가중치를 생성하기 위한 가중치 생성 모듈(130); 을 더 포함하는 것을 특징으로 할 수 있다.
또한, 가중치 생성 모듈(130)에 의한 깊이 맵 및 후처리 가중치 생성은
Figure 112022113414215-pat00006
에 의해 연산되며, 상기에서,
Figure 112022113414215-pat00007
는 입력 영상의 안개 밀도 추정값이고,
Figure 112022113414215-pat00008
는 안개 유무 임계값이고,
Figure 112022113414215-pat00009
는 안개 영상의 안개 밀도 추정값의 평균값이고,
Figure 112022113414215-pat00010
는 안개 가중치 전달함수를 선형으로 할지 비선형으로 할지 결정하는 기울기이고,
Figure 112022113414215-pat00011
는 깊이 맵 및 후처리 가중치인 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 기계 학습에 기반한 자동 안개 제거 시스템은, 종래의 안개 제거 기술들의 단점인 입력 영상에 따라 안개 제거 유무 시행을 할 수 있다. 또한, 본 출원인이 2020년 특허 등록받은 특허문헌 2(등록특허 제10-2261532호)의 기계학습을 이용한 안개 제거 방법보다 연산량을 간단하게 변형시켜 안개 제거 강도에 따라 색상왜곡을 방지할 수 있을 뿐만 아니라 안개가 없을 경우 입력 영상 그래도 출력함으로써 날씨에 상관없이 시스템을 동작시킬 수 있는 효과를 제공할 수 있다.
그뿐만 아니라, 본 발명의 다른 실시예에 따른 기계 학습에 기반한 자동 안개 제거 시스템은, 날씨에 상관없이 실시간으로 동작을 요구하는 지능형 CCTV 및 자율주행자동차에 적용할 수 있는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 기계 학습에 기반한 자동 안개 제거 시스템(100)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 기계 학습에 기반한 자동 안개 제거 시스템(100)에 따른 자동 안개 제거 방법을 나타내는 흐름도이다.
도 3은 본 출원인이 선출원한 특허문헌 3에서 다른 흐릿함 정도 평가기를 이용한 안개 밀도 추정 방법을 나타내는 흐름도이다.
도 4는 도 2의 단계(S200)에서의 가중치 생성단계를 나타낸 그래프이다.
도 5는 도 2의 단계(S600)를 나타낸 영상이다.
도 6은 도 5의 자세한 설명을 위해 나타낸 도면이다.
도 7은 입력 휘도 값과 결과 휘도 값이 1:1인 것을 나타낸 그래프이다.
도 8은 입력 영상의 안개 밀도 추정 값이 얕은 안개의 경우에 대해 기존 안개제거와 제안하는 방법에 대한 차이점을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 자동 안개 제거 방법과 기존의 안개 제거 방법에 대해 안개 없는 영상, 안개가 얕은 영상, 안개가 짙은 영상에 대한 결과를 나열한 영상들이다.
도 10은 본 출원인인 특허 등록받은 특허문헌 2의 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치의 세부 구조를 예시한 블록다이어그램이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 기계 학습에 기반한 자동 안개 제거 시스템(100)을 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른 기계 학습에 기반한 자동 안개 제거 시스템(100)에 따른 자동 안개 제거 방법을 나타내는 흐름도이다. 도 1을 참조하면, 기계 학습에 기반한 자동 안개 제거 시스템(100)은 기계학습 기반의 안개제거 모듈(110), 영상의 안개 밀도 추정 모듈(120), 가중치 생성 모듈(130), 적응적인 깊이 맵 생성 모듈(140), 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 모듈(150)로 구성되어 있다.
이러한 구성을 통해 본 발명의 기능은 임의의 입력 영상의 안개 밀도를 추정하고, 안개 밀도 추정 값을 이용하여 기계학습 기반의 깊이 맵 생성에 가중치를 적용한다. 이에 따라 안개가 없는 영상은 안개를 제거하지 않고, 안개가 얕은 영상은 약하게 제거하고, 안개가 짙은 영상은 안개를 강하게 제거하여 자동 안개제거 알고리즘이 될 수 있다.
예를 들어서 디지털 감지기로 획득된 RGB 영상이 주어지면, 영상의 안개 밀도 추정 모듈(120)은 입력 영상의 안개 유무를 탐지하기 위해 본 출원인이 2021년에 선출원한 특허문헌 3(특허출원 제10-2021-0028757호)의 '흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법'을 이용할 수 있다. 이를 이용하여 입력 영상의 안개 밀도를 추정하게 되고, 안개가 없는 임계값, 안개가 짙은 임계값을 이용하여 가중치를 생성한다.
도 3은 본 출원인이 선출원한 특허문헌 3에서 다른 흐릿함 정도 평가기를 이용한 안개 밀도 추정 방법을 나타내는 흐름도이다.
보다 구체적으로, 도 3을 참조하면, 본 출원인이 선출원한 특허문헌 3의 '흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법'특허에 있어서, 단일 입력 영상을 받아서 안개와 관련있는 특징들인 Dark Channel Prior, Saturation x Value, Sharpness 등을 이용하여 흐릿함 정도에 대한 수치를 계산하는 방법을 나타낸다. 이를 통해 안개가 없는 영상, 안개가 얕은 영상, 안개가 짙은 영상을 구분할 수 있으며, 자동 안개 제거 시스템의 중요한 역할을 수행한다.
먼저, 가중치 생성 모듈(130)에 의한 깊이 맵 및 후처리 가중치 생성은 하기와 같이 수행될 수 있다.
(1) 깊이 맵 및 후처리 가중치 생성은 하기의 수학식 1에 의해 수행될 수 있다.
Figure 112021104584065-pat00012
여기서
Figure 112022113414215-pat00013
는 입력 영상의 안개 밀도 추정값이고,
Figure 112022113414215-pat00014
는 안개 유무 임계값이고,
Figure 112022113414215-pat00015
는 안개 영상의 안개 밀도 추정값의 평균값이고,
Figure 112022113414215-pat00016
는 안개 가중치 전달함수를 선형으로 할지 비선형으로 할지 결정하는 기울기이고,
Figure 112022113414215-pat00017
는 깊이 맵 및 후처리 가중치를 나타낸 것이다.
Figure 112021104584065-pat00018
가 1이면 도 4의 도면에서 볼 수 있듯이 선형그래프를 나타내고,
Figure 112021104584065-pat00019
가 1보다 작으면 비선형 그래프를 나타낸다.
Figure 112021104584065-pat00020
값을 통해 얕은 안개일지라도 깊이 맵 가중치를 조절할 수 있다.
보다 구체적으로 도 4는 도 2의 단계(S200)에서의 가중치 생성단계를 나타낸 그래프이다.
도 4를 참조하면, 도 3에서 영상의 안개밀도 추정 값을 추출하여 안개 없는 임계값(검은색 점선), 안개가 많은 임계값(빨간색 점선) 기준으로 하여 입력 영상에 대해 안개가 없음, 안개가 얕음, 안개가 짙음을 구별할 수 있다. 안개 밀도 추정 값이 안개 없는 임계값보다 낮으면 가중치는 0 이며, 안개 없는 임계값과 안개가 많은 임계값 사이에서는 선형 또는 비선형그래프를 통해 가중치를 추출한다. 마지막으로 안개가 많은 임계값 보다 크면 가중치는 1이다. 또한, 안개 밀도 추정값이 0.8975(파란색 점선)일 경우, 선형 또는 비선형 그리고 비선형의 알파값에 따라 가중치가 달라질 수 있다(검은색 원).
다음으로 기계학습 기반의 안개제거 모듈(110)에 의한 기계학습 기반의 안개 제거 방법은 하기와 같이 수행될 수 있다.
(2) 기계학습 기반의 안개 제거 방법
본 발명에서 제안하는 방법의 자동 안개 제거 방법은 본 출원인이 2020년 특허 등록받은 특허문헌 2의 "단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법"을 사용할 수 있으며 그 방법에서도 일부분을 수정한 방식이다.
먼저, 도 2를 참조하면, 기계 학습에 기반한 자동 안개 제거 시스템(100)에 의한 자동 안개 제거 방법의 과정에서 입력 영상의 화이트 밸런스를 조정하여 전처리를 수행하는 전처리 과정(S300), 전처리된 안개 영상의 채도 채널에 저역 통과 필터를 적용하는 배경잡음 제거 과정(S400), 등분할된 균일 분포를 갖는 훈련용 영상을 이용하여 기계 학습에 의해 추정되는 매개 변수에 입력 영상의 채도 및 밝기를 적용하여 깊이 맵을 생성 과정(S500), 영상의 안개 밀도 추정 과정에서 추출된 안개 밀도 값을 이용하여 가중치를 깊이 맵에 적용하는 적응적인 깊이 맵 생성 과정(S600), 상기 깊이 맵을 통한 안개 전달량 생성 과정(S700), 입력 영상의 휘도 채널을 이용한 대기광 추정 과정(S800), 대기강도와 전달량 및 입력 영상의 RGB 채널를 이용한 안개 제거 수행 과정(S900)으로 안개 제거가 수행되며, 마지막으로 안개제거로 인해 휘도가 낮아지는 것을 방지하고자 후처리 알고리즘으로 적응형 색조 리맵핑(Adaptive Tone Remapping)(S1000)을 사용하여 영상의 화질을 향상시킬 수 있다.
본 출원인이 특허등록받은 특허문헌 2의 ‘단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법’과 본 발명에 따른 자동안개 제거 방법에서의 차이점은 아래와 같다.
첫째, 특허문헌 2의 방법에서는 도 10에 도시된 바와 같이 색상 왜곡 등을 방지하기 위해 적응형 제약조건부(240)가 포함되어 있지만, 본 발명에 따른 방법에서는 특허문헌 2와는 달리 적응형 제약조건부(240)가 포함되지 않는다. 그 이유로는, 색상 왜곡의 경우 과도한 안개 제거를 통해 발생하는 현상으로 본 발명에 따른 방법에서는 안개 밀도 추정값에 따라 안개제거를 이뤄지기 때문에 안개가 얕은 경우 안개를 약하게 제거하여 색상왜곡이 발생하지 않는다. 그래서 불필요하게 적응형 제약조건부를 사용하지 않아도 되는 장점이 있다.
둘째, 특허문헌 2는 도 10에 도시된 바와 같이, 영상복원부(270)를 이용한 방법으로 화이트 밸런스된 RGB 채널을 이용하여 영상을 복원하는 방법이지만, 본 발명에 따른 방법에서는 입력 영상 RGB를 사용하여, 안개가 없는 입력 영상의 경우 입력 영상과 동일하게끔 출력 영상이 나온다.
그래서 본 발명은 본 출원인이 특허 등록받은 특허문헌 2의 방법보다 연산이 더 간단한 효과를 제공할 수 있다.
다음으로 적응적인 깊이 맵 생성 모듈(140)에 의한 깊이 맵 생성에 대해서 하기에서 구체적으로 살펴보도록 한다.
(2.1) 먼저, 종래의 깊이 맵 생성은 하기의 수학식 2에 의해 수행될 수 있다.
Figure 112021104584065-pat00021
수학식 2는 특허문헌 2에서 제안하는 방법으로 수행되는 안개 제거 방법의 깊이 맵 생성 수학식이다(특허문헌 2의 수학식 8 참조).
Figure 112022113414215-pat00022
은 선형모델의 매개 변수로 기계학습으로 추정된 매개변수이며,
Figure 112022113414215-pat00023
는 입력 영상의 밝기,
Figure 112022113414215-pat00024
는 입력 영상의 채도이다. 이를 통해 깊이 맵을 생성한다.
(2.2) 한편, 적응적인 깊이 맵 생성 모듈(140)에 의한 적응적인 깊이 맵 생성은 하기의 수학식 3에 의해 수행될 수 있다.
Figure 112021104584065-pat00025
수학식 3은 본 발명에서 제안하는 방법의 적응적인 깊이 맵 생성 수식이다.
Figure 112022113414215-pat00026
는 상기 안개 밀도 추정 값을 통해 구해진 가중치이다. 가중치를 단순히 기존 깊이 맵에 곱해줌으로써 연산이 복잡하지 않는 구조로 자동안개 제거 시스템을 구현하는 것이다.
보다 구체적으로, 도 5는 도 2의 단계(S600)를 나타낸 것이다.
도 5를 참조하면, 일반적인 안개 제거 방법에서의 깊이 맵에서는 값이 1에 가까우면 안개라고 판단하며, 값이 0에 가까우면 안개가 없다고 판단한다. 도시한 안개 제거 방법은 특허문헌 2의 '단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법'이며, 본 안개 제거 방식은 기계학습을 기반으로 하여 깊이 맵을 추정하는 방식이다. 기계학습에 기반한 깊이맵을 추정하더라도 구름 및 기타 배경들에 대해 안개가 있다고 판단하여 안개를 일괄적으로 제거하게 되고 결과 영상의 화질이 악화된다. 안개 제거 기능의 경우, 카메라에 기반한 자율주행자동차 및 지능형 CCTV에 주로 쓰이는데, 안개 낀 악조건의 날씨에서는 제 기능을 발휘할 수 없다. 하지만 입력 영상의 안개 밀도를 정확히 추정하여 안개의 농도에 따른 가중치(도 4 참조)를 생성하여 간단한 연산으로 적응적인 깊이 맵을 생성하면 날씨에 적응적(Adaptive)으로 대응할 수 있는 안개 제거 시스템을 구현할 수 있다. 본 발명에 따른 방법을 사용한 깊이 맵에서는 전체 영상에 대해 안개가 없다고 판단하여, 값이 0으로 추정된다. 결과적으로, 결과 영상에서는 입력 영상과 동일한 영상이 출력된다.
도 6은 도 5의 자세한 설명을 위한 도면을 나타낸 것이다.
도 6을 참조하면, 안개가 없는 입력 영상의 안개 밀도 추정값(HDE)은 0.7308이며, 이는 안개가 없는 임계값(0.8811)보다 낮다. 즉 안개가 없다고 판단하며 가중치는 0이 된다. 또한 안개 제거 후 후처리 과정인 적응형 색조 리맵핑(Adaptive Tone Remapping)에서도 화질 향상 없이 그대로 영상을 출력하게 된다.
(3) 기계학습 기반의 안개제거 모듈(110)에 의한 안개 제거 수행에 대해서 살펴본다.
Figure 112021104584065-pat00027
수학식 4는 안개 제거 수식을 나타낸 것이다.
Figure 112022113414215-pat00028
는 안개가 제거된 결과 영상이며,
Figure 112022113414215-pat00029
는 입력 영상의 RGB 채널,
Figure 112022113414215-pat00030
는 대기강도,
Figure 112022113414215-pat00031
는 안개 전달량이다. 위의 수식을 자세하게 설명하면 아래와 같다.
Figure 112022113414215-pat00032
의 경우
Figure 112022113414215-pat00033
로 구해지며,
Figure 112022113414215-pat00034
는 산란계수로써 상수 1로 고정된다. 그래서 입력 영상이 안개가 없는 경우 d는 영상 전체 픽셀 값이 0으로 되며,
Figure 112022113414215-pat00035
는 1이 된다. 그럼 A의 값에 상관없이
Figure 112022113414215-pat00036
만 남게되어 입력영상이 그대로 출력되게 된다.
다음으로 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 모듈(150)에 의한 후처리는 하기와 같이 수행될 수 있다.
(4) 적응형 색조 리맵핑(Adaptive Tone Remapping)으로 후처리
(4.1) 색 공간 변환 (RGB → YCbCr)
색 공간을 변환하기 위해서 세부 강조 부분에서 소개했던 수식을 사용하면 된다. 그런데 여기서 표준 YCbCr 4:4:4대신에 YCbCr 4:2:2를 사용한다. 그래서 색 공간을 변환한 후 밝기 채널(
Figure 112022113414215-pat00037
)과 색차 채널(Chrominance channel)(
Figure 112022113414215-pat00038
)을 얻는다.
(4.2) 밝기 채널에 화질 개선
Figure 112022113414215-pat00039
여기서
Figure 112022113414215-pat00040
는 개선된 밝기이고
Figure 112022113414215-pat00041
는 밝기 계수이고
Figure 112022113414215-pat00042
는 적응적인 밝기 가중치이다.
Figure 112022113414215-pat00043
는 앞서 구했던 안개 가중치를 뜻하고
Figure 112022113414215-pat00044
에 따라 적응적인 밝기 가중치를 조절한다. 만약 입력영상이 안개가 없는 영상으로,
Figure 112022113414215-pat00045
가 0이면 화질 개선의 가중치가 0이 되므로, 입력 영상의 화소가 그대로 출력된다. 그리고 입력 밝기의 히스크램을 사용하여 CDF(cumulative distribution function)를 계산한 후 ALP(adaptive limit point)를 구한다.
Figure 112022113414215-pat00046
는 ALP에 따른 비선형 거듭제곱 함수이고
Figure 112022113414215-pat00047
는 간단한 선형 함수이다. 도 7은
Figure 112022113414215-pat00048
가 0으로, 화질 개선 가중치가 0인 그래프를 나타낸 것으로, 입력 휘도 값과 결과 휘도 값이 1:1인 것을 그래프로 확인할 수 있다.
(4.3) 밝기 채널의 향상에 따른 색차 강조
Figure 112022113414215-pat00049
여기서
Figure 112022113414215-pat00050
는 강조된 색차이고
Figure 112022113414215-pat00051
는 색차 계수이고
Figure 112022113414215-pat00052
는 적응적인 색차 가중치이다.
Figure 112022113414215-pat00053
를 입력 색차(
Figure 112022113414215-pat00054
)와 밝기 향상 정도(
Figure 112022113414215-pat00055
)의 곱으로 정의하였다.
Figure 112022113414215-pat00056
는 세부 강조 부분에서 소개한 가중치와 비슷하게 piecewise linear 함수로 설계하였다.
(4.4.) 색 공간 변환 (YCbCr → RGB)
마지막으로 디스플레이 장치에 출력하기 위해서 RGB 색 공간으로 바꾼다.
도 8은 입력 영상의 안개 밀도 추정 값이 얕은 안개의 경우에 대해 기존 안개제거와 제안하는 방법에 대한 차이점을 나타낸 도면이다. 도 8을 참조하면, 입력 영상의 안개 밀도 추정 값이 얕은 안개의 경우에 대해 기존 안개제거와 제안하는 방법에 대한 차이점을 나타낸 도면이다. 기존 안개 제거 방법의 경우, 안개가 짙고, 얕음의 정도를 무시하고 일괄적으로 안개를 제거하다 보니, 안개가 얕은 경우 빨간색 네모박스에서 보이는 것처럼 과도한 안개제거로 인해 영상의 정보가 손실된다(검은색으로 saturation). 하지만 제안하는 방법에서는 안개를 얕게 제거하여 암벽의 detail 정보들이 손실되지 않게끔 안개 제거를 수행한다.
이러한 안개제거 처리를 수동적으로 하는 것이 아니라, 입력 영상에 따라 적응적으로 수행한다는 점에서 제안하는 방법이 우수하다고 볼 수 있다.
한편, 도 9는 본 발명의 실시예에 따른 자동 안개 제거 방법과 기존의 안개 제거 방법에 대해 안개 없는 영상, 안개가 얕은 영상, 안개가 짙은 영상에 대한 결과를 나열한 것으로 본 발명의 효과가 우수한 것을 직관적으로 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 기계 학습에 기반한 자동 안개 제거 시스템
110 : 기계학습 기반의 안개제거 모듈
120 : 영상의 안개 밀도 추정 모듈
130 : 가중치 생성 모듈
140 : 적응적인 깊이 맵 생성 모듈
150 : 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 모듈

Claims (3)

  1. 영상의 안개 밀도 추정 과정에서 추출된 안개 밀도 값을 이용하여 가중치를 깊이 맵에 적용하는 적응적인 깊이 맵을 생성하되,
    아래 (수학식 1)에 의해 깊이 맵 및 후처리 가중치 생성을 수행하기 위한 가중치 생성 모듈(130);과,
    아래 (수학식 3)에 의해 적응적인 깊이 맵 생성을 수행하는 적응적인 깊이 맵 생성 모듈(140);
    을 포함하는 것을 특징으로 하는 기계 학습에 기반한 자동 안개 제거 시스템.

    (수학식 1)
    Figure 112022113414215-pat00057

    상기에서,
    Figure 112022113414215-pat00058
    는 입력 영상의 안개 밀도 추정값이고,
    Figure 112022113414215-pat00059
    는 안개 유무 임계값이고,
    Figure 112022113414215-pat00060
    는 안개 영상의 안개 밀도 추정값의 평균값이고,
    Figure 112022113414215-pat00061
    는 안개 가중치 전달함수를 선형으로 할지 비선형으로 할지 결정하는 기울기이고,
    Figure 112022113414215-pat00062
    는 깊이 맵 및 후처리 가중치임.

    (수학식 3)
    Figure 112022113414215-pat00063

    상기에서,
    Figure 112022113414215-pat00064
    은 선형모델의 매개 변수로 기계학습으로 추정된 매개변수,
    Figure 112022113414215-pat00065
    는 입력 영상의 밝기,
    Figure 112022113414215-pat00066
    는 입력 영상의 채도,
    Figure 112022113414215-pat00067
    는 안개 밀도 추정 값을 통해 구해진 가중치임.
  2. 삭제
  3. 삭제
KR1020210120425A 2021-09-09 2021-09-09 기계 학습에 기반한 자동 안개 제거 시스템 KR102483159B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210120425A KR102483159B1 (ko) 2021-09-09 2021-09-09 기계 학습에 기반한 자동 안개 제거 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210120425A KR102483159B1 (ko) 2021-09-09 2021-09-09 기계 학습에 기반한 자동 안개 제거 시스템

Publications (1)

Publication Number Publication Date
KR102483159B1 true KR102483159B1 (ko) 2022-12-29

Family

ID=84539510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210120425A KR102483159B1 (ko) 2021-09-09 2021-09-09 기계 학습에 기반한 자동 안개 제거 시스템

Country Status (1)

Country Link
KR (1) KR102483159B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827361B1 (ko) * 2016-12-08 2018-02-08 한국항공대학교산학협력단 안개 제거를 위한 대기 강도 추정 장치 및 방법
KR102151750B1 (ko) 2019-08-08 2020-09-03 동아대학교 산학협력단 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법
KR20210028757A (ko) 2016-06-22 2021-03-12 차이나 아카데미 오브 텔레커뮤니케이션즈 테크놀로지 물리 업링크 공유 채널의 전송 방법 및 장치
KR102261532B1 (ko) * 2020-05-29 2021-06-04 동아대학교 산학협력단 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028757A (ko) 2016-06-22 2021-03-12 차이나 아카데미 오브 텔레커뮤니케이션즈 테크놀로지 물리 업링크 공유 채널의 전송 방법 및 장치
KR101827361B1 (ko) * 2016-12-08 2018-02-08 한국항공대학교산학협력단 안개 제거를 위한 대기 강도 추정 장치 및 방법
KR102151750B1 (ko) 2019-08-08 2020-09-03 동아대학교 산학협력단 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법
KR102261532B1 (ko) * 2020-05-29 2021-06-04 동아대학교 산학협력단 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Qingsong Zhu, Jiaming Mai, Ling Shao, "A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior", IEEE Transactions on Image Processing (2015), Vol. 24, pp. 3522-3533
W. Ren, J. Zang, X. Xu, L. Ma, X. Cao, G. Meng, W. Liu, "Deep Vedio Dehaing With Semantic Segmentation", IEEE Transactions on Image Processing (2019), Vol. 28, pp. 1895-1908
Zhigang Ling ET AL. Joint Haze-relevant Features Selection and Transmission Estimation via Deep Belief Network for Efficient Single Image Dehazing. 2018 24th International Conference on Pattern Recognition (ICPR), Pages 133-139, Nov. 2018(2018.11.29.) 1부.* *
미국 등록특허공보 제8340461호(2012.12.25.) "Single Image Haze Removal Using Dark Channel Priors"

Similar Documents

Publication Publication Date Title
CN107103591B (zh) 一种基于图像雾霾浓度估计的单幅图像去雾方法
CN102750674B (zh) 基于自适应容差的视频图像去雾方法
KR102261532B1 (ko) 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법
CN109064426B (zh) 一种用于抑制低照度图像中眩光并增强图像的方法及装置
CN102831591B (zh) 一种基于高斯滤波的单幅图像的实时去雾方法
CN109949247A (zh) 一种基于yiq空间光学成像模型的梯度域自适应增益水下图像增强方法
KR101917094B1 (ko) 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치
KR102377318B1 (ko) 광노출 보정 및 화질 개선을 위한 hdr 기법
CN112435184A (zh) 一种基于Retinex和四元数的雾霾天图像识别方法
KR101881883B1 (ko) 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
KR102483159B1 (ko) 기계 학습에 기반한 자동 안개 제거 시스템
KR102439145B1 (ko) 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법
Senthilkumar et al. A review on haze removal techniques
KR102346752B1 (ko) 저시정 영상개선 기능을 갖는 영상처리 시스템 및 이의 영상처리 방법
Peng et al. Single image dehazing based on improved dark channel prior and unsharp masking algorithm
Raigonda et al. Haze Removal Of Underwater Images Using Fusion Technique
CN116229404A (zh) 一种基于距离传感器的图像去雾优化方法
Sharma et al. Single Image Dehazing and Non-uniform Illumination Enhancement: AZ-Score Approach
CN115937031A (zh) 一种针对低光照图像的增强方法
Dharwadkar et al. Improving the quality of underwater imaging using deep convolution neural networks
CN110827241B (zh) 基于颜色失真和对比度增强的低亮度增强图片全参考方法
CN110148188B (zh) 一种基于最大差值图像估计低照度图像光照分布的方法
Kim Edge-preserving and adaptive transmission estimation for effective single image haze removal
KR102668932B1 (ko) 저조도 이미지 대비 향상 방법 및 장치
Li et al. Image Enhancement Method Based on Dark Channel Prior

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant