KR102439145B1 - 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법 - Google Patents

단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법 Download PDF

Info

Publication number
KR102439145B1
KR102439145B1 KR1020210072338A KR20210072338A KR102439145B1 KR 102439145 B1 KR102439145 B1 KR 102439145B1 KR 1020210072338 A KR1020210072338 A KR 1020210072338A KR 20210072338 A KR20210072338 A KR 20210072338A KR 102439145 B1 KR102439145 B1 KR 102439145B1
Authority
KR
South Korea
Prior art keywords
fog
image
weight
brightness
equation
Prior art date
Application number
KR1020210072338A
Other languages
English (en)
Inventor
강봉순
이기동
이승민
응오닷
쿠옥 히우 응웬
민 찌 응오
심휘보
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020210072338A priority Critical patent/KR102439145B1/ko
Application granted granted Critical
Publication of KR102439145B1 publication Critical patent/KR102439145B1/ko

Links

Images

Classifications

    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법에 관한 것으로, 보다 구체적으로는, 단일 스케일 영상 융합에 기반한 안개 제거, 영상의 안개 밀도 추정, 안개 제거 및 후처리 가중치 생성, 영상혼합, 적응형 색조 리맵핑(Adaptive Tone Remapping)과 같은 간단한 영상 화질 개선 기술을 사용하며 이로 인해 입력 영상에 따라 안개 제거 수행유무를 결정할 수 있도록 하기 위한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법에 관한 것이다.

Description

단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법{Method and system for Auto image dehazing using single scale image fusion}
본 발명은 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법에 관한 것으로, 보다 구체적으로는, 단일 스케일 영상 융합에 기반한 안개 제거, 영상의 안개 밀도 추정, 안개 제거 및 후처리 가중치 생성, 영상혼합, 적응형 색조 리맵핑(Adaptive Tone Remapping)과 같은 간단한 영상 화질 개선 기술을 사용하며 이로 인해 입력 영상에 따라 안개 제거 수행유무를 결정할 수 있도록 하기 위한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법에 관한 것이다.
기상 악조건 또는 공기오염과 같은 환경과 관련된 원인으로 인해서 감시 시스템 및 자율주행 성능이 급격히 떨어질 수 있으며, 이러한 이유로 안개제거 알고리즘은 최근에 과학분야에서 많은 관심을 받고 있다.
기상 악조건 또는 공기오염은 항상 발생하지 않고 특정한 날에만 일어나는데 현재까지 개발한 안개제거 알고리즘들은 입력 영상에서 안개 유무 판단하는 기능이 부재하여 어떠한 입력 영상에도 안개 유무에 상관없이 무조건 안개제거를 적용하며, 기존의 안개 제거 시스템에서는 입력 영상이 안개가 있는 영상이라 가정하고 수행되어 왔다.
이에 따라서 입력 영상은 안개가 없는 영상이면 안개제거로 인해서 화질이 떨어진다. 이러한 문제를 보완하기 위해 기존에 출원된 안개 밀도 추정 방법을 적용하여 안개 제거를 적응적(adaptive)으로 수행하기 위한 기술 개발이 요구되고 있다.
한편, 종래의 안개 제거 방법에는 영상 처리 방법과, 기계학습 방법, 딥러닝 방법으로 크게 3분류로 나눌 수 있다. 영상처리 방법으로 특허문헌 1은 대표적인 방법으로써 안개 전달 맵을 추정하기 위해 다크 채널 프라이어(DCP, Dark Channel Prior)를 제안하였다.
그리고 기계학습 방법으로 비특허문헌 1은 기계 학습 기술을 이용하여 영상의 깊이(depth)를 추정하는 방법으로, 안개 전달 맵은 깊이에 지수로 비례하기 때문에 깊이가 주어지면 안개 전달 맵을 추정할 수 있다.
마지막으로 딥러닝 방법으로는 정량적 측면에서 성능이 우수한 비특허문헌 2가 대표적인 방법이다. 이 방법은 CNN(Convolutional Neural Network)에 기반하여 안개 전달 맵의 정교화과정이 필요 없는 Multi-Scale CNN을 제시했다. 하지만 이 방법은 위 두 가지 방법보다 연산량이 너무 많은 단점이 있다.
이와 같이 현재까지 종래의 안개 제거 기술들은 여러 방법이 제시되어 왔지만, 이 모든 방법은 입력 영상이 안개영상이라 가정하고 진행되는 방법들이다. 하지만 안개 제거 시스템이 주로 쓰이는 곳은 지능형 CCTV 및 자율주행차로써 실외의 환경이 안개가 낄 경우도 있고 안개가 없을 경우도 있다. 현재까지 안개제거 방법들은 안개 유무를 탐지하여 적응적으로 안개를 제거하는 시스템에 적용할 수 없는 한계점이 있다.
미국 등록특허공보 제8340461호(2012.12.25. 등록) Single image haze removal using Dark Channel Priors 대한민국 특허출원번호 제10-2020-0065052호(2020. 05. 27. 출원) 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법 대한민국 특허출원번호 제10-2021-0028757호(2021. 03. 04. 출원) 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법
"A Fast Sigle Image Haze Removal Algorithm Using Color Attenuation Prior", Q. Zhu, J. Mai, and L. Shao, IEEE Tains. Image. Process., vol.24, no.11, pp.3522-3533, 2015 "Single Image Dehazing via Multi-scale Convolutional Neural Networks with Holistic Edges.", W. Ren, Zhang. J, X. Cao, M.H. Yang, International Journal of Computer Vision 128, pp.240-259. 2020
본 발명은 상기의 문제점을 해결하기 위한 것으로, 안개가 없는 영상의 경우 안개 제거 시스템을 통과하면 영상의 품질이 악화되어 지능형 CCTV 및 자율주행차의 성능을 제대로 발휘하지 못하는 종래의 안개 제거 기술들에서 한계로 지목되고 있는 것을 개선한 것으로 입력 영상의 안개 유무에 상관없이 일괄적으로 안개를 제거하기 위한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법을 제공하기 위한 것을 목적으로 한다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 방법은, 단일 스케일 영상 융합에 기반한 안개 제거 단계; 영상의 안개 밀도 추정 단계; 자동 안개 제거 및 후처리 가중치 생성 단계; 영상 혼합 단계; 및 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 단계;를 포함하는 것을 특징으로 한다.
이때, 자동 안개 제거 및 후처리 가중치 생성은, 입력 영상이 안개가 없는 영상, 안개가 얕은 영상, 안개가 짙은 영상을 분리하여 가중치는 주는 방식으로, 안개가 없는 영상이면 가중치가 0이 되고 적응형 색조 리맵핑(Adaptive Tone Remapping) 후처리 알고리즘에서도 휘도 향상을 하지 않고 입력 영상 그대로 결과로 출력하는 것을 특징으로 한다.
또한, 영상 혼합 방법은, 안개 가중치에 따라 안개가 제거된 영상 및 입력 영상에 대해 각각 혼합 비율을 정하는 것을 특징으로 한다.
또한, 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 단계는, 안개 제거된 영상의 화질을 개선하며, 가상 under-exposure된 영상을 사용하는 것과 다크 채널 프라이어(Dark Channel Prior)의 널리 알려진 단점으로 인해서 융합한 영상이 어두워지므로 먼저 RGB → YCbCr 색 공간을 변환하고 나서 밝기 채널과 색차 채널을 얻고, 밝기 채널에 화질 개선을 실시한 후 개선된 정도에 따라 색차를 강조하여 밝기와 색차를 모두 향상시키기 때문에 시각적으로 요소를 두드러지도록 하며,마지막으로 디스플레이 장치에 출력하기 위해 YCbCr → RGB 색 공간을 변환하는 것을 특징으로 한다.
또한, 적응형 색조 리맵핑(Adaptive Tone Remapping)에서는 휘도 향상의 가중치를 안개 가중치로 사용하고, 단순히 휘도 향상 수식에 안개 가중치를 곱해주는 방식으로 수행하는 것을 특징으로 한다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템은, 단일 스케일 영상 융합에 기반한 안개 제거를 수행하는 안개 제거 모듈(100); 영상의 안개 밀도 추정을 수행하는 안개 밀도 추정 모듈(200); 자동 안개 제거 및 후처리 가중치 생성을 수행하는 안개 제거 및 후처리 가중치 생성 모듈(300); 영상 혼합을 수행하는 영상 혼합 모듈(400); 및 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 단계;를 수행하는 후처리 모듈(500)로 구성되는 것을 특징으로 한다.
본 발명의 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법은, 종래의 안개 제거 기술들의 단점인 입력 영상에 따라 안개 제거 유무 시행을 할 수 있는 효과를 제공한다.
또한, 본 발명의 다른 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법은, 여러 안개 제거 기술들 중에서 연산량이 낮은 단일 스케일 영상 융합에 기반한 안개 제거 방법을 사용함으로써, 영상의 안개 밀도 추정 방법 또한 연산량이 낮고 정확도가 우수한 방식을 제공하는 효과가 있다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법은, 자동 안개 제거 시스템을 구축하기 위해 영상 혼합이라는 아주 간단한 방법을 사용하여 연산량이 낮고 복잡하지 않아서 추후 실시간 하드웨어 설계까지 가능한 구조를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 방법을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 안개 제거 모듈(100)에 의한 단일 스케일 영상 융합에 기반한 안개 제거 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 안개 밀도 추정 모듈(200)에 의한 영상의 안개 밀도 추정 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 제안한 안개 밀도 추정 방법에 기반한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1) 및 방법이 도시된 블록도이다.
도 6은 본 발명에 따른 본 발명에 제안한 안개 밀도 추정 방법에 기반한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1) 및 방법이 필요한 이유를 설명하기 위한 도면이다.
도 7 내지 도 15는 본 발명의 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1) 중 안개 제거 및 후처리 가중치 생성 모듈(300), 영상 혼합 모듈(400), 후처리 모듈(500)을 설명하기 위한 도면이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1)을 나타내는 도면이다.
도 1을 참조하면, 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1)은 단일 스케일 영상 융합에 기반한 안개 제거를 수행하는 안개 제거 모듈(100), 영상의 안개 밀도 추정을 수행하는 안개 밀도 추정 모듈(200), 자동 안개 제거 및 후처리 가중치 생성을 수행하는 안개 제거 및 후처리 가중치 생성 모듈(300), 영상 혼합을 수행하는 영상 혼합 모듈(400), 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 단계를 수행하는 후처리 모듈(500)로 구성됨으로써, 임의의 입력 영상의 안개 밀도를 추정하고, 안개 밀도 추정 값을 이용하여 단일 스케일 영상 융합에 기반한 안개제거 기능을 입력 영상에 따라 적응적으로 안개 제거를 할 수 있다.
이에 따라 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1)은 안개가 없는 영상은 안개를 제거하지 않고, 안개가 얕은 영상은 약하게 제거하고, 안개가 짙은 영상은 안개를 강하게 제거하는 자동 안개제거 알고리즘으로 활용될 수 있다. 또한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1)은 사용한 안개 밀도 추정 방법과 단일 스케일 영상 융합에 기반한 안개 제거 방법을 통해 연산량이 낮을 뿐만 아니라, 안개 유무 탐지 및 안개 제거에 탁월한 성능을 제공할 수 있다.
이하에서는 보다 구체적인 실시예에 대해서 살펴보도록 한다.
디지털 감지기로 획득된 RGB 영상이 주어지면, 안개 제거 모듈(100)은 단일 스케일 영상 융합에 기반한 안개제거(S100)를 하게 되고, 이 방법은 본 출원인이 특허출원한 특허문헌 2의 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법을 활용하여 수행한다.
한편, 안개 제거 모듈(100)에 대해서 살펴보면 도 3은 단일 스케일 영상 융합에 기반한 안개 제거 방법으로써, 세부 강조, 감마 보정, 영상 융합을 위한 가중치 계산 및 정규화, 단일 스케일 영상 융합으로 구성된다. 도 3의 방법은 본 출원인이 특허출원한 특허문헌 2의 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법으로 출원된 방법이다.
그러나 본 발명에서의 안개 제거 모듈(100)은 도 2와 같이 본 발명의 자동 안개 제거 모델에서 단일 스케일 영상 융합에 기반한 안개제거 모델이며, 자동 안개 제거 모델에서 안개 제거 방법으로 사용된다. 즉, 기존의 출원된 방법에서는 감마 보정된 이미지 4개를 사용했다면(102, 103), 본 발명에서는 6개의 감마 보정을 통해 6개의 감마 보정된 이미지를 안개 제거를 위해 사용하는 특징을 갖는다.
다음으로는 안개 밀도 추정 모듈(200)은 RGB 영상에 대해 안개 밀도를 추정(S200)한다. 이 방법은 본 출원인이 특허출원한 특허문헌 3의 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법을 활용하여 수행한다. 도 4는 영상의 안개 밀도 추정 과정을 나타낸 것으로, 안개밀도 추정은 안개와 관련된 다크 채널 프라이어(Dark Channel Prior), 채도×명도(Saturation × Value), 선명도(Sharpness) 등의 특징 선택(S201), 다크 채널 프라이어(Dark Channel Prior) 계산을 위한 입력 영상의 밝기 강조(S202) 및 흐릿함 정도에 대한 수치 계산(S203)을 수행하여 영상의 안개밀도를 추정(S204)한다.
이후, 안개 제거 및 후처리 가중치 생성 모듈(300), 영상 혼합 모듈(400), 후처리 모듈(500) 각각은 안개 제거 및 후처리 가중치 생성(S300)과 영상 혼합(S400), 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리(S500)를 수행한다.
즉, 도 5는 본 발명에 제안한 안개 밀도 추정 방법에 기반한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1) 및 방법이 도시된 블록도이다.
한편, 도 6은 본 발명에 따른 본 발명에 제안한 안개 밀도 추정 방법에 기반한 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1) 및 방법이 필요한 이유를 설명하기 위한 도면으로, 대중적으로 알려진 안개 제거 시스템들은 입력 영상이 안개영상이라 가정하고 동작되지만, 실제로 지능형 CCTV 및 자율주행자동차에서는 안개 영상뿐만 아니라 안개가 없는 영상도 받아들인다. 이때 안개 제거 시스템은 안개가 없는 영상에 대해 일괄적으로 안개 제거를 하여 영상의 품질이 저하되는 단점이 있다. 도 6에는 본 특허의 방법과 대표적으로 사용되는 안개제거 방법들을 나열한 것으로, 자동안개 제거 시스템의 필요성을 증명한다.
먼저, 안개 제거 및 후처리 가중치 생성(S300)에 대해서 구체적으로 살펴본다. 도 7은 안개 제거 및 후처리 가중치 생성(S300)에 의해 영상의 안개밀도 추정 값을 이용하여 안개 가중치를 생성하는 과정을 나타낸 것이다.
도 7은 안개 제거 및 후처리 가중치 생성(S300)에 해당하는 영상의 안개밀도 추정 값을 이용하여 안개 가중치를 생성하는 과정을 나타낸 것이다. 도 8은 안개 제거 및 후처리 가중치 생성(S300)에 의해 영상의 안개밀도 추정 값을 이용하여 안개 가중치, 안개 제거 및 후처리 가중치를 생성하는 것을 나타낸 것이다.
즉, 안개 제거 및 후처리 가중치 생성 모듈(300)은 도 4에서 구해진 영상의 안개 밀도 추정 값을 x 축의 값으로 하고, 안개 유무 임계값보다 작을 경우 입력 영상 내 안개가 없다고 판단하여 안개 가중치는 0으로 설정한다.
그리고, 안개 제거 및 후처리 가중치 생성 모듈(300)은 안개유무 임계값과 안개 강도 임계값 사이에서는 안개가 얕게 분포되어 있다고 인식하고 0 ~ 1 사이의 안개 가중치를 적용한다. 마지막으로 안개 강도 임계값보다 클 경우는 안개가 짙다고 판단하여 안개 가중치를 1로 가져간다. 또한 안개 제거 및 후처리 가중치 생성 모듈(300)은 얕은 안개의 경우 안개 가중치의 연속성을 위해 선형 기울기 및 비선형 기울기로 구성되며, 사용자에 따라 안개 가중치를 더 부여하고자 한다면 비선형 기울기(파란색)를 사용할 수 있다.
이에 대한 안개 제거 및 후처리 가중치 생성 모듈(300)에 의한 수학적 처리 과정에 대해서 살펴보면, 안개 제거 및 후처리 가중치 생성 모듈(300) 하기의 수학식 1을 활용하여 안개 제거 및 후처리 가중치를 생성한다.
Figure 112021064503465-pat00001
여기서
Figure 112021064503465-pat00002
는 입력 영상의 안개 밀도 추정값이고,
Figure 112021064503465-pat00003
는 안개 유무 임계값이고,
Figure 112021064503465-pat00004
는 안개 영상의 안개 밀도 추정값의 평균값이고,
Figure 112021064503465-pat00005
는 안개 가중치 전달함수를 선형으로 할지 비선형으로 할지 결정하는 기울기이고,
Figure 112021064503465-pat00006
는 안개 제거 및 후처리 가중치를 나타낸 것이다.
도 9를 참조하면, 얕은 안개 부분의 빨간색의 선형 그래프가 전달함수를 의미하며 이때
Figure 112021064503465-pat00007
는 1이다. 반면 파란색의 비선형 그래프는
Figure 112021064503465-pat00008
가 1보다 작은 1/2이며,
Figure 112021064503465-pat00009
가 1일 때보다 더 많은 안개 제거 가중치를 가져간다.
Figure 112021064503465-pat00010
는 사용자에 따라 안개 제거 양을 설정할 수 있다.
영상 혼합 모듈(400)은 영상 혼합을 수행하기 위해 혼합 가중치 생성 과정과 영상 혼합 과정을 순차적으로 수행할 수 있다.
보다 구체적으로, 도 10은 도 8에서 구한 안개 가중치를 이용하여 혼합 가중치를 생성하는 그래프를 나타낸 것이다. 혼합 가중치란, 입력 영상과 단일 스케일 영상 융합에 기반한 안개제거 방법을 통해 안개 제거된 영상과의 혼합을 위해 이용되는 가중치를 뜻한다. 혼합 가중치에 대한 자세한 설명은 아래에 수식을 통해 설명을 하도록 하겠다.
먼저, 영상 혼합 모듈(400)은 혼합 가중치 생성 과정에서 있어서 상기 안개 가중치(
Figure 112021064503465-pat00011
)를 이용하여 영상 혼합 가중치를 하기의 수학식 2를 활용하여 생성한다.
Figure 112021064503465-pat00012
여기서,
Figure 112022073210618-pat00013
,
Figure 112022073210618-pat00014
는 혼합 가중치로써
Figure 112022073210618-pat00015
는 단일 스케일 영상 융합에 기반한 안개 제거 영상에 적용되는 가중치이며,
Figure 112022073210618-pat00016
는 입력 영상에 적용되는 가중치이다.
Figure 112022073210618-pat00017
는 안개가 제거된 영상의 가중치를 결정하기 위한 상수이다. 도 10과 같이
Figure 112022073210618-pat00018
가 1이면 선형 그래프(빨간색)이고,
Figure 112022073210618-pat00019
가 1보다 큰 2이면 비선형 그래프(파란색)이다.
Figure 112022073210618-pat00020
와
Figure 112022073210618-pat00021
의 합은 1이 된다.
다음으로, 영상 혼합 모듈(400)은 영상 혼합 과정에서 있어서 하기의 수학식 3을 활용하여 생성한다.
Figure 112021064503465-pat00022
여기서,
Figure 112021064503465-pat00023
는 혼합 영상의 RGB 채널을 의미하고,
Figure 112021064503465-pat00024
는 단일 스케일 영상 융합에 기반한 안개 제거 결과 영상의 RGB 채널을 의미한다. 그리고
Figure 112021064503465-pat00025
입력 영상의 RGB 채널이다. 혼합 가중치에 따라 안개 제거된 영상과 입력 영상의 혼합 비율을 정하게 되고, 입력 영상이 안개가 없을 경우,
Figure 112021064503465-pat00026
의 가중치가 1이 되고,
Figure 112021064503465-pat00027
의 가중치는 0이 되어,
Figure 112021064503465-pat00028
는 입력 영상의 RGB
Figure 112021064503465-pat00029
를 그대로 가져가게 된다.
후처리 모듈(500)에 의한 적응형 색조 리맵핑(Adaptive Tone Remapping)으로 후처리 과정은 색 공간 변환(RGB → YCbCr) 과정, 밝기 채널에 화질 개선 과정, 밝기 채널의 향상에 따른 색차 강조 과정, 색 공간 변환(YCbCr → RGB) 과정을 포함할 수 있다.
먼저, 색 공간 변환(RGB → YCbCr) 과정에 있어서, 후처리 모듈(500)은 색 공간을 변환하기 위해서 세부 강조 부분에서 소개했던 수식을 사용하면 되며, 여기서 표준 YCbCr 4:4:4대신에 YCbCr 4:2:2를 사용하는 것이 바람직하다. 이에 따라 후처리 모듈(500)은 색 공간을 변환한 후 밝기 채널(
Figure 112021064503465-pat00030
) 색차 채널(Chrominance channel)(
Figure 112021064503465-pat00031
)을 획득할 수 있다.
이후, 후처리 모듈(500)은 하기의 수학식 4를 활용하여 밝기 채널에 화질 개선을 수행한다.
Figure 112021064503465-pat00032
여기서
Figure 112022073210618-pat00033
는 개선된 밝기이고,
Figure 112022073210618-pat00034
는 밝기 계수이고,
Figure 112022073210618-pat00035
는 적응적인 밝기 가중치이다.
Figure 112022073210618-pat00036
는 앞서 구했던 안개 가중치를 뜻하고
Figure 112022073210618-pat00037
에 따라 적응적인 밝기 가중치를 조절한다. 만약 입력영상이 안개가 없는 영상으로,
Figure 112022073210618-pat00038
가 0이면 화질 개선의 가중치가 0이 되므로, 입력 영상의 화소가 그대로 출력된다. 그리고 입력 밝기의 히스크램을 사용하여 CDF(cumulative distribution function)를 계산한 후 ALP(adaptive limit point)를 구한다.
Figure 112022073210618-pat00039
는 ALP에 따른 비선형 거듭제곱 함수이고
Figure 112022073210618-pat00040
는 간단한 선형 함수이다. 도 12는
Figure 112022073210618-pat00041
가 0으로, 화질 개선 가중치가 0인 그래프를 나타낸 것이다. 그래서 입력 휘도 값과 결과 휘도 값이 1:1인 것을 그래프로 확인할 수 있다.
다음으로, 후처리 모듈(500)은 하기의 수학식 5를 활용하여 밝기 채널의 향상에 따른 색차 강조 과정을 수행한다.
Figure 112021064503465-pat00042
여기서
Figure 112022073210618-pat00043
는 강조된 색차이고,
Figure 112022073210618-pat00044
는 색차 계수이고,
Figure 112022073210618-pat00045
는 적응적인 색차 가중치이다.
Figure 112022073210618-pat00046
를 입력 색차(
Figure 112022073210618-pat00047
)와 밝기 향상 정도(
Figure 112022073210618-pat00048
)의 곱으로 정의하였다.
Figure 112022073210618-pat00049
는 세부 강조 부분에서 소개한 가중치와 비슷하게 piecewise linear 함수로 설계할 수 있다.
다음으로, 후처리 모듈(500)은 색 공간 변환(YCbCr → RGB) 과정으로 디스플레이 장치에 출력하기 위해서 RGB 색 공간으로 바꾼다.
한편, 도 13은 도 8에서 구한 안개 가중치를 적응형 색조 리맵핑(Adaptive Tone Remapping)에서 밝기를 강조하는 전달함수에 적용하는 것을 나타낸다. 도 14는 안개가 없는 입력 영상을 받았을 경우에 처리되는 과정을 나타낸 그림이다. 도 15는 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템(1)의 결과를 입력 영상에 따라 나타낸 그림이다. 안개가 있는 영상의 경우 안개 밀도를 추정하여 안개의 농도에 따라 안개를 제고하고, 안개가 없는 영상의 경우 입력 영상 그대로 출력하는 것을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템
100 : 안개 제거 모듈
200 : 안개 밀도 추정 모듈
300 : 안개 제거 및 후처리 가중치 생성 모듈
400 : 영상 혼합 모듈
500 : 후처리 모듈

Claims (6)

  1. 세부 강조, 감마 보정, 영상 융합을 위한 가중치 계산 및 정규화에 의해 단일 스케일 영상 융합에 기반한 안개 제거 단계;
    안개와 관련된 다크 채널 프라이어(Dark Channel Prior), 채도×명도(Saturation × Value), 선명도(Sharpness)의 특징 선택, 다크 채널 프라이어(Dark Channel Prior) 계산을 위한 입력 영상의 밝기 강조 및 흐릿함 정도에 대한 수치 계산에 의해 영상의 안개 밀도를 추정하는 영상의 안개 밀도 추정 단계;
    입력 영상이 안개가 없는 영상, 안개가 얕은 영상, 안개가 짙은 영상을 분리하여 가중치는 주는 방식으로, 안개가 없는 영상이면 가중치가 0이 되고 적응형 색조 리맵핑(Adaptive Tone Remapping) 후처리 알고리즘에서도 휘도 향상을 하지 않고 입력 영상 그대로 결과로 출력하는 자동 안개 제거 및 후처리 가중치 생성 단계;
    아래 [수학식 2]에 의해 생성된 안개 가중치에 따라 안개가 제거된 영상 및 입력 영상에 대해 아래 [수학식 3]에 의해 생성된 각각 혼합 비율을 정하는 영상 혼합 단계; 및
    휘도 향상의 가중치를 안개 가중치로 사용하고, 단순히 휘도 향상 수식에 안개 가중치를 곱해주는 방식으로 수행하되, 아래 [수학식 4]에 의해 밝기 채널에 화질 개선을 수행하고, 아래 [수학식 5]에 의해 밝기 채널의 향상에 따른 색차 강조 과정을 수행하는 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 단계;
    를 포함하는 것을 특징으로 하는 단일 스케일 영상 융합에 기반한 자동 안개 제거 방법.

    [수학식 2]
    Figure 112022073210618-pat00050

    여기서,
    Figure 112022073210618-pat00051
    ,
    Figure 112022073210618-pat00052
    는 혼합 가중치로써
    Figure 112022073210618-pat00053
    는 단일 스케일 영상 융합에 기반한 안개 제거 영상에 적용되는 가중치이며,
    Figure 112022073210618-pat00054
    는 입력 영상에 적용되는 가중치이고,
    Figure 112022073210618-pat00055
    는 안개가 제거된 영상의 가중치를 결정하기 위한 상수임.

    [수학식 3]
    Figure 112022073210618-pat00056

    여기서,
    Figure 112022073210618-pat00057
    는 혼합 영상의 RGB 채널이고,
    Figure 112022073210618-pat00058
    는 단일 스케일 영상 융합에 기반한 안개 제거 결과 영상의 RGB 채널이며,
    Figure 112022073210618-pat00059
    입력 영상의 RGB 채널임.

    [수학식 4]
    Figure 112022073210618-pat00060

    여기서
    Figure 112022073210618-pat00061
    는 개선된 밝기이고,
    Figure 112022073210618-pat00062
    는 밝기 계수이고,
    Figure 112022073210618-pat00063
    는 적응적인 밝기 가중치임.

    [수학식 5]
    Figure 112022073210618-pat00064

    여기서
    Figure 112022073210618-pat00065
    는 강조된 색차이고,
    Figure 112022073210618-pat00066
    는 색차 계수이고,
    Figure 112022073210618-pat00067
    는 적응적인 색차 가중치이며,
    Figure 112022073210618-pat00068
    는 입력 색차임.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서, 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리 단계는,
    안개 제거된 영상의 화질을 개선하며, 가상 under-exposure된 영상을 사용하는 것과 다크 채널 프라이어(Dark Channel Prior)의 널리 알려진 단점으로 인해서 융합한 영상이 어두워지므로 먼저 RGB → YCbCr 색 공간을 변환하고 나서 밝기 채널과 색차 채널을 얻고, 밝기 채널에 화질 개선을 실시한 후 개선된 정도에 따라 색차를 강조하여 밝기와 색차를 모두 향상시키기 때문에 시각적으로 요소를 두드러지도록 하며,마지막으로 디스플레이 장치에 출력하기 위해 YCbCr → RGB 색 공간을 변환하는 것을 특징으로 하는 단일 스케일 영상 융합에 기반한 자동 안개 제거 방법.
  5. 삭제
  6. 세부 강조, 감마 보정, 영상 융합을 위한 가중치 계산 및 정규화에 의해 단일 스케일 영상 융합에 기반한 안개 제거를 수행하는 안개 제거 모듈(100);
    안개와 관련된 다크 채널 프라이어(Dark Channel Prior), 채도×명도(Saturation × Value), 선명도(Sharpness)의 특징 선택, 다크 채널 프라이어(Dark Channel Prior) 계산을 위한 입력 영상의 밝기 강조 및 흐릿함 정도에 대한 수치 계산에 의해 영상의 안개 밀도 추정을 수행하는 안개 밀도 추정 모듈(200);
    입력 영상이 안개가 없는 영상, 안개가 얕은 영상, 안개가 짙은 영상을 분리하여 가중치는 주는 방식으로, 안개가 없는 영상이면 가중치가 0이 되고 적응형 색조 리맵핑(Adaptive Tone Remapping) 후처리 알고리즘에서도 휘도 향상을 하지 않고 입력 영상 그대로 결과로 출력하는 자동 안개 제거 및 후처리 가중치 생성을 수행하는 안개 제거 및 후처리 가중치 생성 모듈(300);
    아래 [수학식 2]에 의해 생성된 안개 가중치에 따라 안개가 제건된 영상 및 입력 영상에 대해 아래 [수학식 3]에 의해 생성된 각각 혼합 비율을 정하는 영상 혼합을 수행하는 영상 혼합 모듈(400); 및
    휘도 향상의 가중치를 안개 가중치로 사용하고, 단순히 휘도 향상 수식에 안개 가중치를 곱해주는 방식으로 수행하되, 아래 [수학식 4]에 의해 밝기 채널에 화질 개선을 수행하고, 아래 [수학식 5]에 의해 밝기 채널의 향상에 따른 색차 강조 과정을 수행하는 적응형 색조 리맵핑(Adaptive Tone Remapping) 알고리즘 후처리를 수행하는 후처리 모듈(500);
    로 구성되는 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템.

    [수학식 2]
    Figure 112022073210618-pat00069

    여기서,
    Figure 112022073210618-pat00070
    ,
    Figure 112022073210618-pat00071
    는 혼합 가중치로써
    Figure 112022073210618-pat00072
    는 단일 스케일 영상 융합에 기반한 안개 제거 영상에 적용되는 가중치이며,
    Figure 112022073210618-pat00073
    는 입력 영상에 적용되는 가중치이고,
    Figure 112022073210618-pat00074
    는 안개가 제거된 영상의 가중치를 결정하기 위한 상수임.

    [수학식 3]
    Figure 112022073210618-pat00075

    여기서,
    Figure 112022073210618-pat00076
    는 혼합 영상의 RGB 채널이고,
    Figure 112022073210618-pat00077
    는 단일 스케일 영상 융합에 기반한 안개 제거 결과 영상의 RGB 채널이며,
    Figure 112022073210618-pat00078
    입력 영상의 RGB 채널임.

    [수학식 4]
    Figure 112022073210618-pat00079

    여기서
    Figure 112022073210618-pat00080
    는 개선된 밝기이고,
    Figure 112022073210618-pat00081
    는 밝기 계수이고,
    Figure 112022073210618-pat00082
    는 적응적인 밝기 가중치임.

    [수학식 5]
    Figure 112022073210618-pat00083

    여기서
    Figure 112022073210618-pat00084
    는 강조된 색차이고,
    Figure 112022073210618-pat00085
    는 색차 계수이고,
    Figure 112022073210618-pat00086
    는 적응적인 색차 가중치이며,
    Figure 112022073210618-pat00087
    는 입력 색차임.
KR1020210072338A 2021-06-03 2021-06-03 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법 KR102439145B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210072338A KR102439145B1 (ko) 2021-06-03 2021-06-03 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210072338A KR102439145B1 (ko) 2021-06-03 2021-06-03 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102439145B1 true KR102439145B1 (ko) 2022-09-01

Family

ID=83282130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210072338A KR102439145B1 (ko) 2021-06-03 2021-06-03 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102439145B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196971A (zh) * 2023-08-14 2023-12-08 上海为旌科技有限公司 基于大气散射模型的图像去雾方法、装置及可读存储介质
CN117196971B (zh) * 2023-08-14 2024-05-31 上海为旌科技有限公司 基于大气散射模型的图像去雾方法、装置及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200065052A (ko) 2017-10-16 2020-06-08 후아웨이 테크놀러지 컴퍼니 리미티드 전이중 통신을 위한 미디어 액세스 제어
KR20210028757A (ko) 2016-06-22 2021-03-12 차이나 아카데미 오브 텔레커뮤니케이션즈 테크놀로지 물리 업링크 공유 채널의 전송 방법 및 장치
KR102261532B1 (ko) * 2020-05-29 2021-06-04 동아대학교 산학협력단 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028757A (ko) 2016-06-22 2021-03-12 차이나 아카데미 오브 텔레커뮤니케이션즈 테크놀로지 물리 업링크 공유 채널의 전송 방법 및 장치
KR20200065052A (ko) 2017-10-16 2020-06-08 후아웨이 테크놀러지 컴퍼니 리미티드 전이중 통신을 위한 미디어 액세스 제어
KR102261532B1 (ko) * 2020-05-29 2021-06-04 동아대학교 산학협력단 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"A Fast Sigle Image Haze Removal Algorithm Using Color Attenuation Prior", Q. Zhu, J. Mai, and L. Shao, IEEE Tains. Image. Process., vol.24, no.11, pp.3522-3533, 2015
"Single Image Dehazing via Multi-scale Convolutional Neural Networks with Holistic Edges.", W. Ren, Zhang. J, X. Cao, M.H. Yang, International Journal of Computer Vision 128, pp.240-259. 2020
A.Galdran, "Image dehazing by artificial multiple-exposure image fusion", Signal Processing, Volume 149, Pages 135-147, 31 August 2018(2018.08.31.) 1부.* *
Dat Ngo, Bongsoon Kang, "Image Detail Enhancement via Constant-Time Unsharp Masking", 2019 IEEE 21st Electronics Packaging Technology Conference (EPTC), 4 Dec. 2019(2019.12.04.) 1부.* *
Hosang Cho, et al, "Color Image Enhancement Based on Adaptive Nonlinear Curves of Luminance Features", JOURNAL OF SEMICONDUCTOR TECHNOLOGY AND SCIENCE 15(1), 60-67(8 pages) Feb. 2015(2015.02.28.) 1부.* *
Quoc Hieu Nguyen, Bongsoon Kang, "Single-image Dehazing using Exposure Fusion", 대한전자공학회 학술대회, 420-421(2 pages), 30 Nov. 2019(2019.11.30.) 1부.* *
미국 등록특허공보 제8340461호(2012.12.25. 등록) Single image haze removal using Dark Channel Priors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196971A (zh) * 2023-08-14 2023-12-08 上海为旌科技有限公司 基于大气散射模型的图像去雾方法、装置及可读存储介质
CN117196971B (zh) * 2023-08-14 2024-05-31 上海为旌科技有限公司 基于大气散射模型的图像去雾方法、装置及可读存储介质

Similar Documents

Publication Publication Date Title
KR101756173B1 (ko) 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법
KR102261532B1 (ko) 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법
US20100040300A1 (en) Image processing method and apparatus for correcting distortion caused by air particles as in fog
EP0927952B1 (en) Digital image color correction device employing fuzzy logic
US10367976B2 (en) Single image haze removal
US10609303B2 (en) Method and apparatus for rapid improvement of smog/low-light-level image using mapping table
CN109949247A (zh) 一种基于yiq空间光学成像模型的梯度域自适应增益水下图像增强方法
Singh et al. Single image defogging by gain gradient image filter
JP2022103003A (ja) 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置
Barros et al. Single-shot underwater image restoration: A visual quality-aware method based on light propagation model
CN111192205A (zh) 一种图像去雾方法、系统和计算机可读存储介质
CN107451974B (zh) 一种高动态范围图像的自适应再现显示方法
Zhu et al. Generative adversarial network-based atmospheric scattering model for image dehazing
Wang et al. Haze removal algorithm based on single-images with chromatic properties
Pei et al. Underwater images enhancement by revised underwater images formation model
KR102439145B1 (ko) 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법
Raigonda et al. Haze Removal Of Underwater Images Using Fusion Technique
KR20180064028A (ko) 영상 처리 방법 및 장치
KR101535630B1 (ko) 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치
Dharwadkar et al. Improving the quality of underwater imaging using deep convolution neural networks
Negru et al. Exponential image enhancement in daytime fog conditions
CN116263942A (zh) 一种调整图像对比度的方法、存储介质及计算机程序产品
KR102483159B1 (ko) 기계 학습에 기반한 자동 안개 제거 시스템
KR102439149B1 (ko) 흐릿함 정도 평가기 및 이를 이용한 안개 밀도 추정 방법
Mittal A Deep Learning Algorithm Grounded Image Dehazing for Corrupted Underwater Image Classification

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant