KR101938945B1 - Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템 - Google Patents

Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템 Download PDF

Info

Publication number
KR101938945B1
KR101938945B1 KR1020160147352A KR20160147352A KR101938945B1 KR 101938945 B1 KR101938945 B1 KR 101938945B1 KR 1020160147352 A KR1020160147352 A KR 1020160147352A KR 20160147352 A KR20160147352 A KR 20160147352A KR 101938945 B1 KR101938945 B1 KR 101938945B1
Authority
KR
South Korea
Prior art keywords
image
ambient light
haze
underwater
estimating
Prior art date
Application number
KR1020160147352A
Other languages
English (en)
Other versions
KR20180050832A (ko
Inventor
김아영
신영식
조영근
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160147352A priority Critical patent/KR101938945B1/ko
Publication of KR20180050832A publication Critical patent/KR20180050832A/ko
Application granted granted Critical
Publication of KR101938945B1 publication Critical patent/KR101938945B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

CNN을 이용한 이미지 디헤이징 방법 및 그 시스템이 개시된다. 이미지 디헤이징 방법은, CNN(convolutional neural network) 모델을 이용하여 입력 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및 상기 전달량과 상기 환경광에 기초하여 상기 입력 이미지에서 디헤이징 처리된 복원 영상을 생성하는 단계를 포함할 수 있다.

Description

ＣＮＮ을 이용한 이미지 디헤이징 방법 및 그 시스템{METHOD AND SYSTEM FOR DEHAZING IMAGE USING CONVOLUTIONAL NEURAL NETWORK}
아래의 설명은 화질이 저하된 영상을 처리하는 기술에 관한 것이다.
해양 공학 분야에서는 수중 환경에서 고해상도 컬러 이미지를 촬영하는 많은 어플리케이션을 가진다. 심해에서 높은 품질의 이미지는 다양한 수중 현상을 연구하는 과학자들에게 매우 유용하다. 카메라 기술의 눈부신 발전에도 불구하고 높은 품질의 수중 이미지 획득은 여전히 풀리지 않는 문제로 남아 있다.
물 입자에 의한 빛의 산란과 감쇠, 환경광(외부 광원을 포함한)의 상이한 파장의 색 변화는 수중에서 촬영된 이미지에 헤이즈(haze) 효과를 일으킨다. 수중 화면의 선명한 사진이 가시화 될 수 있기 위해서는 이러한 헤이즈 효과가 제거될 필요가 있다.
사전 정보(prior information)로부터 헤이즈 효과를 제거하기 위한 여러 가지 기술이 제안되고 있으며, 헤이즈 효과를 제거하는 기술의 일례로서, 한국공개특허 제10-2014-0142381호(공개일 2014년 12월 12일)에는 안개가 포함되어 화질이 저하된 영상을 개선하는 기술이 개시되어 있다.
공통된 컨볼루션 네트워크 아키텍처(common convolutional network architecture)를 통해 수중 이미지의 환경광(ambient light)과 전달량(transmission)을 효과적으로 추정하여 수중 이미지를 디헤이징 처리하는 방법 및 시스템을 제공한다.
컴퓨터로 구현되는 이미지 디헤이징(dehazing) 방법에 있어서, CNN(convolutional neural network) 모델을 이용하여 입력 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및 상기 전달량과 상기 환경광에 기초하여 상기 입력 이미지에서 디헤이징 처리된 복원 영상을 생성하는 단계를 포함하는 이미지 디헤이징 방법을 제공한다.
일 측면에 따르면, 상기 추정하는 단계는, 상기 CNN 모델에 해당되는 공통된 모델 구조를 이용하여 상기 전달량과 상기 환경광을 추정하는 것으로, 상기 CNN 모델에서 상기 전달량과 상기 환경광 중 어느 하나를 고정시키고 다른 하나를 트레이닝 하는 단계를 포함할 수 있다.
다른 측면에 따르면, 상기 추정하는 단계는, 상기 입력 이미지의 차원 축소를 위한 멀티-스케일 융합 단계(multi-scale fusion stage), 상기 입력 이미지의 헤이즈(haze)-관련 특성들을 추출하기 위한 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage), 상기 전달량과 상기 환경광의 추정을 위한 비선형 회귀 단계(nonlinear regression stage)를 포함하는 상기 CNN 모델을 통해 상기 전달량과 상기 환경광을 추정할 수 있다.
또 다른 측면에 따르면, 상기 멀티-스케일 융합 단계는 서로 다른 사이즈 필터를 가진 복수의 컨볼루션 레이어(convolution layer)로 구성될 수 있다.
또 다른 측면에 따르면, 상기 멀티-스케일 융합 단계에서는 마지막 과정에서 픽셀의 엘리먼트-와이즈 합(element-wise summation) 연산을 수행할 수 있다.
또 다른 측면에 따르면, 상기 멀티-스케일 특성 추출 단계는 상기 입력 이미지의 심도(depth) 방향에서 특성을 추출하기 위한 최대 유닛(maxout unit)과, 헤이즈-관련 특성을 추출하기 위한 적어도 하나의 컨볼루션 레이어(convolution layer)로 구성될 수 있다.
또 다른 측면에 따르면, 상기 컨볼루션 레이어 각각은 ReLU(Rectified Linear Unit) 활성화 기능을 가진다.
또 다른 측면에 따르면, 상기 멀티-스케일 특성 추출 단계는 상기 컨볼루션 레이어 다음으로 공간적으로 변하지 않는 특성을 추출하기 위한 최대-풀링 레이어(max-pooling layer)로 구성될 수 있다.
또 다른 측면에 따르면, 상기 비선형 회귀 단계는 컨볼루션 레이어(convolution layer)가 단일 필터로 구성될 수 있다.
또 다른 측면에 따르면, 상기 컨볼루션 레이어의 뒤에 ReLU(Rectified Linear Unit) 레이어가 추가될 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 수학식 1을 통해 상기 복원 영상을 생성할 수 있다.
수학식 1:
Figure 112016108458120-pat00001
(여기서,
Figure 112016108458120-pat00002
는 복원 영상을,
Figure 112016108458120-pat00003
는 CNN 모델을 통해 추정된 전달량을,
Figure 112016108458120-pat00004
는 CNN 모델을 통해 추정된 환경광을 의미한다. 그리고,
Figure 112016108458120-pat00005
는 균형 잡힌 환경광(balanced ambient light)으로,
Figure 112016108458120-pat00006
(
Figure 112016108458120-pat00007
는 RGB 공간에서의 고정 벡터)와 같이 정의된다.)
컴퓨터로 구현되는 이미지 디헤이징(dehazing) 방법에 있어서, 수중 환경에서 촬영된 수중 이미지에 대하여 공통된 학습 모델을 통해 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및 상기 전달량과 상기 환경광을 이용하여 상기 수중 이미지를 디헤이즈(dehaze) 하는 단계를 포함하는 이미지 디헤이징 방법을 제공한다.
컴퓨터로 구현되는 이미지 디헤이징(dehazing) 시스템에 있어서, 상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, CNN(convolutional neural network) 모델을 이용하여 입력 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정한 후, 상기 전달량과 상기 환경광에 기초하여 상기 입력 이미지에서 디헤이징 처리된 복원 영상을 생성하는 것을 특징으로 하는 이미지 디헤이징 시스템을 제공한다.
본 발명의 실시예들에 따르면, 공통된 컨볼루션 네트워크 아키텍처를 이용하여 수중 이미지의 환경광과 전달량을 효과적으로 추정할 수 있고 환경광과 함께 전달량을 이용하여 수중 이미지를 디헤이징 처리함으로써 수중 이미지의 품질을 향상시킬 수 있다.
본 발명의 실시예들에 따르면, 수중 이미지의 복원 시 발생하는 색상 왜곡을 보정하기 위해 보정 환경광을 적용함으로써 수중 이미지의 색상 왜곡을 최소화 할 수 있다.
도 1은 본 발명의 일실시예에 있어서 수중 이미지의 디헤이징을 위한 CNN 아키텍처를 도시한 것이다.
도 2 내지 도 4는 본 발명의 일실시예에 있어서 수중 이미지의 디헤이징 과정을 설명하기 위한 예시 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
수중 이미지는 빛의 흡수와 산란 등으로 헤이즈 효과가 나타나며 결국 가시성이 떨어지게 된다. 이에, 수중 로봇, 수중 감시 시스템 등을 위한 수중 이미지의 영상 개선, 즉 디헤이징이 필요하다.
본 발명의 실시예들은 수중 이미지를 복원하는 방법으로 CNN(convolutional neural network)을 사용하여 환경광과 전달량을 추정하고 이를 이용하여 효과적으로 헤이즈 효과를 제거할 수 있는 방법 및 시스템에 관한 것이다.
본 발명에서는 헤이즈-프리 이미지(haze-free image)와 환경광의 가중치 합으로 헤이즈 이미지를 표현하는 헤이즈 모델인 대기 산란 모델(atmospheric scattering model)을 사용할 수 있다.
픽셀 (x)에 대하여 헤이즈된 픽셀 값 I(x)은 수학식 1과 같이 모델링 될 수 있다.
[수학식 1]
I(x)=J(x)T(x)+A(1-T(x))
여기서, I는 헤이즈 이미지, J는 원본 이미지(scene radiance), A는 환경광, T는 빛의 전달량을 의미할 수 있다.
임의의 픽셀에서 전달량 T(x)는 수학식 2와 같이 도달된 빛의 거리에 대하여 지수적으로 감소한다.
[수학식 2]
T(x)=e-βd(x)
여기서, d(x)는 장면 포인트의 심도, β는 매질의 감쇠계수를 의미한다.
원본 이미지 J는 빛의 흡수와 산란으로 인해 빛의 전달량이 줄어들고 환경광의 영향은 증가하여 결국 가시성이 떨어진 영상 I로 나타나게 된다. 따라서, 환경광 A와 전달량 T를 추정하면 영상 개선이 가능하다.
본 발명에서는 딥러닝 기법의 일종인 CNN을 이용하여 빛의 전달량 T와 환경광 A를 추정할 수 있고, 추정된 전달량 T와 환경광 A를 수중 이미지를 복원하는데 사용할 수 있다.
도 1은 본 발명의 일실시예에 있어서 수중 이미지의 디헤이징을 위한 CNN 아키텍처를 도시한 것이다.
본 발명에 따른 CNN 아키텍처는 세 단계(S1~S3)의 네트워크 전달 구조, 즉 멀티-스케일 융합 단계(multi-scale fusion stage)(S1), 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage)(S2), 비선형 회귀 단계(nonlinear regression stage)(S3)로 이루어질 수 있으며, 이러한 공통된 모델 구조를 이용하여 수중 이미지의 복원을 위한 환경광 A와 전달량 T를 추정할 수 있다.
첫 번째 단계인 멀티-스케일 융합 단계(S1)에서는 차원 축소를 위해 픽셀의 엘리먼트-와이즈 합(element-wise summation)을 사용할 수 있다. 이 방법은 각 레이어에 보다 많은 특성 맵(feature maps)을 생성할 수 있게 하여 트레이닝 정확성을 향상시킬 수 있다.
환경광 A와 전달량 T를 동일한 네트워크 아키텍처에서 추정하게 되므로 환경광 A와 전달량 T 중 어느 하나의 특정 변수를 트레이닝 하는 동안에는 다른 하나의 값을 고정시킬 필요가 있다.
본 발명에 따른 CNN 아키텍처의 각 단계를 상세히 설명하면 다음과 같다.
1) 본 발명에 따른 CNN 아키텍처 첫 번째 단계(S1)는 단일 이미지 디헤이징을 포함한 이미지 향상을 위해 널리 사용되는 멀티-스케일 융합 레이어이다. 일례로, 멀티-스케일 융합 단계(S1)에서는 3개의 평행하는 컨볼루션 레이어(convolution layer)(110)를 사용하는데, 예를 들어 컨볼루션 레이어(110) 각각은 [3×3×32], [5×5×32], [7×7×32] 사이즈의 필터를 가질 수 있다.
멀티-스케일 융합 단계(S1)에서는 변수의 불확실성을 줄이기 위해 기존 CNN 모델(예컨대, DehazeNet)보다 더 많은 수의 특성 맵을 선택할 수 있다. 멀티-스케일 레이어들을 쌓기만(only stacks up) 하는 기존 방식과는 달리, 멀티-스케일 융합 단계(S1)의 마지막 과정에서 엘리먼트-와이즈 합 연산을 수행할 수 있다. 멀티-스케일 레이어를 합산하는 것은 이후 단계(S2 내지 S3)에서 계산의 복잡성을 줄이고자 하기 위함이다.
2) 멀티-스케일 특성 추출 단계(S2)에서는 단일 이미지 디헤이즈의 불량 조건(ill-posed)을 처리하기 위해 헤이즈 이미지의 속성과 밀접하게 관련된 다양한 기능을 포함할 수 있다. 예를 들어, 다크채널(dark channel)에서는 색상 불일치와 RGB 채널 불일치가 헤이즈-관련 특성으로서 사용될 수 있다. 따라서, 두 번째 단계(S2)는 헤이즈-관련 특성들을 추출하기 위한 과정으로 설계될 수 있다. 일례로, 멀티-스케일 특성 추출 단계(S2)는 최대(maxout) 유닛(121), ReLU(Rectified Linear Unit) 활성화 기능을 가진 두 개의 컨볼루션 레이어(122), 최대-풀링(max-pooling) 레이어(123)로 구성될 수 있다.
멀티-스케일 특성 추출 단계(S2)에서 최대 유닛(121)은 입력 데이터의 심도 방향에서 특성들을 찾기 위해 사용될 수 있다. 최대 유닛(121) 이후 사이즈가 [3×3×32]인 필터를 가진 두 개의 컨볼루션 레이어(122)를 사용할 수 있다. 마지막으로, 공간적으로 변하지 않는 특성을 얻기 위해 최대-풀링 레이어(123)가 사용될 수 있다. 일반적으로 최대-풀링 레이어는 로컬 감도를 극복하고 기존 CNN에 특성 맵의 해상도를 감소시키기 위해 사용된다. 그러나, 본 발명에서는 최대-풀링 레이어(123)를 해상도의 손실을 예방하기 위한 과정으로 적용할 수 있으며, 이를 통해 이미지 복원을 위한 CNN의 사용을 달성할 수 있고 복원 이미지의 목표 해상도를 달성할 수 있다.
3) 본 발명에 따른 CNN 아키텍처에서 마지막 단계는 환경광 A와 전달량 T의 추정을 위한 비선형 회귀 단계(S3)로 구성될 수 있다. 다시 말해, 마지막 단계(S3)는 환경광 A와 전달량 T의 추정을 수행하는 비선형 회귀 레이어이다. 비선형 회귀 단계(S3)는 ReLU을 포함하는 컨볼루션 레이어(130)로 구성될 수 있다. 비선형 회귀 단계(S3)에서 사용되는 컨볼루션 레이어(130)는 사이즈가 [3×3×32]인 단일 필터로 구성될 수 있다. 트레이닝 단계 동안의 수렴 속도 저하와 로컬 최소 문제를 방지하기 위해 ReLU 레이어를 컨볼루션 레이어(130)의 뒤에 추가할 수 있다.
따라서, 도 1을 통해 설명한 공통된 CNN 모델을 이용하여 수중 이미지의 복원을 위한 환경광 A와 전달량 T를 추정할 수 있다. 본 발명에서는 환경광 A와 전달량 T를 추정함으로써 디헤이징뿐 아니라 수중 이미지에서의 색상 왜곡 현상 또한 제거할 수 있다.
CNN 트레이닝 과정을 설명하면 다음과 같다.
1) 트레이닝 데이터: CNN의 트레이닝은 헤이즈 이미지 패치와 이에 대응하는 헤이즈-프리 정보 쌍(예를 들어, 환경광 A와 전달량 T)을 필요로 한다. CNN 아키텍처의 트레이닝을 위해 수학식 1의 헤이즈 모델 방정식을 사용하고 헤이즈-프리 이미지 패치로부터 헤이즈 된 패치를 합성한다. 일례로, 랜덤 전달량 t∈(0,1)과 랜덤 환경광 A∈(0,1)을 헤이즈-프리 이미지 패치에 적용하고 전달량과 환경광은 이미지 패치에서의 지역적 상수라고 가정한다. 수중 이미지에 대해 랜덤한 환경광을 사용하는 것은 일반적으로 수중 환경에 대해서 바람직하고, 이러한 방식에서 생성된 데이터 세트는 색상 왜곡을 가지는 헤이즈 이미지 상에서 보다 정확한 전달량 추정이 가능하다. 랜덤 전달량과 랜덤 환경광을 가지는 헤이즈-프리 이미지 패치로부터 많은 수의 헤이즈 이미지 패치를 만들어 낼 수 있다. 이러한 트레이닝 데이터 세트는 도 1을 통해 설명한 CNN 아키텍처를 학습하는데 사용될 수 있다.
2) 트레이닝 방법: CNN 모델에서 헤이즈 이미지 패치와 라벨 데이터(예를 들어, 환경광 값과 전달량 값) 사이에 지도 학습(supervised learning) 메커니즘을 사용할 수 있다. CNN 모델의 필터 가중치는 손실 함수를 최소화 함으로써 학습될 수 있다. 헤이즈 이미지 패치와 그에 대응하는 라벨의 쌍을 감안하여 평균 제곱 오차(MSE)를 손실 함수로 사용할 수 있다. 손실 함수는 수학식 3과 같이 정의될 수 있다.
[수학식 3]
Figure 112016108458120-pat00008
여기서 pi는 입력 헤이즈 이미지 패치, li는 라벨 데이터, Θ는 필터 가중치를 의미한다. CNN 모델을 트레이닝 하기 위해 SGD(stochastic gradient descent) 알고리즘을 적용할 수 있다.
마지막으로, 이미지 복원 과정을 설명하면 다음과 같다.
전달량 t(u,v)과 환경광 A이 얻어지면 원본 화면 복사 J가 수학식 1의 대기 산란 모델로부터 복구될 수 있다. 아래의 수학식 4에서 보여지는 것과 같이 원본 화면 복사 J가 역 대기 산란 모델로부터 통상적으로 복귀된다.
[수학식 4]
Figure 112016108458120-pat00009
그러나, 수학식 4의 모델은 수중 환경에서 원본 화면 복사의 복구를 달성할 수 없다. 수중 환경에서 환경광의 감쇠는 지나간 거리와 빛 경로 상 입자의 농도 뿐만 아니라 빛의 색상과 파장에도 의존한다. 예를 들어, 레드 채널의 농도는 빠르게 감소하는 반면에 블루나 그린 채널의 농도는 느리게 감소한다. 다시 말해, 수중 환경에서 촬영한 이미지의 환경광 요소는 대기 산란 모델(수학식 4)로부터 화면 복사를 복구하는데 영향을 미치는 실제 환경광이 아니다. 따라서, 이러한 문제를 해결하기 위해 본 발명에서는 새로운 균형 잡힌 화면 복사 복구(balanced scene radiance recovery) 모델(수학식 5)을 사용하여 원본 화면 복사 J를 복구할 수 있다.
[수학식 5]
Figure 112016108458120-pat00010
여기서,
Figure 112016108458120-pat00011
는 CNN 모델을 통해 추정된 전달량 값,
Figure 112016108458120-pat00012
는 CNN 모델을 통해 추정된 환경광,
Figure 112016108458120-pat00013
는 균형 잡힌 환경광(balanced ambient light)을 의미한다.
균형 잡힌 환경광
Figure 112016108458120-pat00014
는 수학식 6과 같이 정의될 수 있다.
[수학식 6]
Figure 112016108458120-pat00015
여기서,
Figure 112016108458120-pat00016
는 RGB 공간에서 균형 잡힌 환경광
Figure 112016108458120-pat00017
을 나타내는 고정 벡터(fixed vector),
Figure 112016108458120-pat00018
이다. 균형 잡힌 환경광
Figure 112016108458120-pat00019
이 세가지 색상 채널에 대하여 동일한 크기(
Figure 112016108458120-pat00020
)를 가진다고 가정한다.
균형 잡힌 화면 복사 복구 모델을 이용하여 수중 이미지를 재건하는 디헤이징 과정은 도 2 내지 도 4와 같다. 먼저, 도 1을 통해 설명한 CNN 모델로 입력 이미지 (a)를 학습하여 전송량 맵 (b)을 추정할 수 있다(도 2). 이어, 공통된 학습 모델인 도 1의 CNN 모델로 입력 이미지 (a)를 학습하여 환경광 (c)을 추정할 수 있다(도 3). CNN 모델을 통해 추정된 전송량 맵 (b)과 환경광 (c)을 균형 잡힌 화면 복사 복구 모델(수학식 5)에 적용함으로써 디헤이징 처리된 최종 이미지 (d)를 획득할 수 있다(도 4). 다시 말해, CNN 모델을 통해 추정된 전송량 맵 (b)과 환경광 (c)을 이용하여 입력 이미지에서 헤이즈가 제거된 복원 영상 (d)을 생성할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 공통된 컨볼루션 네트워크 아키텍처를 이용하여 수중 이미지의 환경광과 전달량을 효과적으로 추정할 수 있고 환경광과 함께 전달량을 이용하여 수중 이미지를 디헤이징 처리함으로써 수중 이미지의 품질을 향상시킬 수 있다. 그리고, 본 발명의 실시예들에 따르면, 수중 이미지의 복원 시 발생하는 색상 왜곡을 보정하기 위해 보정 환경광을 적용함으로써 수중 이미지의 색상 왜곡을 최소화 할 수 있다.
본 발명에 따른 이미지 디헤이징 방법은 도 1 내지 도 4를 통해 설명한 상세 내용을 바탕으로 둘 이상의 동작들을 포함할 수 있다. 본 발명에 따른 이미지 디헤이징 시스템은 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함할 수 있으며, 이때 적어도 하나의 프로세서는 도 1 내지 도 4를 통해 설명한 이미지 디헤이징 방법을 실행할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터로 구현되는 이미지 디헤이징(dehazing) 방법에 있어서,
    수중 환경에서 촬영된 수중 이미지에 대하여 CNN(convolutional neural network) 모델을 이용하여 상기 수중 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정하는 단계; 및
    상기 전달량과 상기 환경광에 기초하여 상기 수중 이미지에서 디헤이징 처리된 복원 영상을 생성하는 단계
    를 포함하고,
    상기 추정하는 단계는,
    상기 수중 이미지의 차원 축소를 위한 멀티-스케일 융합 단계(multi-scale fusion stage), 상기 수중 이미지의 헤이즈(haze)-관련 특성들을 추출하기 위한 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage), 상기 전달량과 상기 환경광의 추정을 위한 비선형 회귀 단계(nonlinear regression stage)를 포함하는 상기 CNN 모델을 통해 상기 전달량과 상기 환경광을 추정하고,
    상기 멀티-스케일 융합 단계는: 서로 다른 사이즈 필터를 가진 복수의 컨볼루션 레이어(convolution layer)로 구성되고, 마지막 과정에서 픽셀의 엘리먼트-와이즈 합(element-wise summation) 연산을 수행하고,
    상기 멀티-스케일 특성 추출 단계는: 상기 수중 이미지의 심도(depth) 방향에서 특성을 추출하기 위한 최대 유닛(maxout unit)과, 헤이즈-관련 특성을 추출하기 위한 적어도 하나의 컨볼루션 레이어(convolution layer)로 구성되고, 상기 컨볼루션 레이어 다음으로 공간적으로 변하지 않는 특성을 추출하기 위한 최대-풀링 레이어(max-pooling layer)로 구성되고, 상기 컨볼루션 레이어 각각은 ReLU(Rectified Linear Unit) 활성화 기능을 가지며,
    상기 비선형 회귀 단계는: 컨볼루션 레이어(convolution layer)가 단일 필터로 구성되고, 상기 컨볼루션 레이어의 뒤에 ReLU(Rectified Linear Unit) 레이어가 추가되고,
    상기 CNN 모델에 해당되는 공통된 모델 구조를 이용하여 상기 전달량과 상기 환경광을 각각 추정하는 것으로,
    랜덤 전달량과 랜덤 환경광을 가지는 헤이즈-프리 이미지 패치로부터 트레이닝에 필요한 헤이즈 이미지 패치를 생성하여 각 헤이즈 이미지 패치 및 해당 헤이즈 이미지 패치에 대응하는 헤이즈-프리 정보 쌍을 상기 CNN 모델을 학습하기 위한 트레이닝 데이터로 사용하는 것
    을 특징으로 하는 이미지 디헤이징 방법.
  2. 제1항에 있어서,
    상기 추정하는 단계는,
    상기 CNN 모델에서 상기 전달량과 상기 환경광 중 어느 하나를 고정시키고 다른 하나를 트레이닝 하는 단계
    를 포함하는 이미지 디헤이징 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제1항에 있어서,
    상기 생성하는 단계는,
    수학식 1을 통해 상기 복원 영상을 생성하는 것
    을 특징으로 하는 이미지 디헤이징 방법.
    수학식 1:
    Figure 112016108458120-pat00021

    (여기서,
    Figure 112016108458120-pat00022
    는 복원 영상을,
    Figure 112016108458120-pat00023
    는 CNN 모델을 통해 추정된 전달량을,
    Figure 112016108458120-pat00024
    는 CNN 모델을 통해 추정된 환경광을 의미한다. 그리고,
    Figure 112016108458120-pat00025
    는 균형 잡힌 환경광(balanced ambient light)으로,
    Figure 112016108458120-pat00026
    (
    Figure 112016108458120-pat00027
    는 RGB 공간에서의 고정 벡터)와 같이 정의된다.)
  12. 삭제
  13. 컴퓨터로 구현되는 이미지 디헤이징(dehazing) 시스템에 있어서,
    상기 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    수중 환경에서 촬영된 수중 이미지에 대하여 CNN(convolutional neural network) 모델을 이용하여 상기 수중 이미지에서 빛의 전달량(transmission map)과 환경광(ambient light)을 추정한 후,
    상기 전달량과 상기 환경광에 기초하여 상기 수중 이미지에서 디헤이징 처리된 복원 영상을 생성하고,
    상기 적어도 하나의 프로세서는,
    상기 수중 이미지의 차원 축소를 위한 멀티-스케일 융합 단계(multi-scale fusion stage), 상기 수중 이미지의 헤이즈(haze)-관련 특성들을 추출하기 위한 멀티-스케일 특성 추출 단계(multi-scale feature extraction stage), 상기 전달량과 상기 환경광의 추정을 위한 비선형 회귀 단계(nonlinear regression stage)를 포함하는 상기 CNN 모델을 통해 상기 전달량과 상기 환경광을 추정하고,
    상기 멀티-스케일 융합 단계는: 서로 다른 사이즈 필터를 가진 복수의 컨볼루션 레이어(convolution layer)로 구성되고, 마지막 과정에서 픽셀의 엘리먼트-와이즈 합(element-wise summation) 연산을 수행하고,
    상기 멀티-스케일 특성 추출 단계는: 상기 수중 이미지의 심도(depth) 방향에서 특성을 추출하기 위한 최대 유닛(maxout unit)과, 헤이즈-관련 특성을 추출하기 위한 적어도 하나의 컨볼루션 레이어(convolution layer)로 구성되고, 상기 컨볼루션 레이어 다음으로 공간적으로 변하지 않는 특성을 추출하기 위한 최대-풀링 레이어(max-pooling layer)로 구성되고, 상기 컨볼루션 레이어 각각은 ReLU(Rectified Linear Unit) 활성화 기능을 가지며,
    상기 비선형 회귀 단계는: 컨볼루션 레이어(convolution layer)가 단일 필터로 구성되고, 상기 컨볼루션 레이어의 뒤에 ReLU(Rectified Linear Unit) 레이어가 추가되고,
    상기 CNN 모델에 해당되는 공통된 모델 구조를 이용하여 상기 전달량과 상기 환경광을 각각 추정하는 것으로,
    랜덤 전달량과 랜덤 환경광을 가지는 헤이즈-프리 이미지 패치로부터 트레이닝에 필요한 헤이즈 이미지 패치를 생성하여 각 헤이즈 이미지 패치 및 해당 헤이즈 이미지 패치에 대응하는 헤이즈-프리 정보 쌍을 상기 CNN 모델을 학습하기 위한 트레이닝 데이터로 사용하는 것
    을 특징으로 하는 이미지 디헤이징 시스템.
  14. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 CNN 모델에서 상기 전달량과 상기 환경광 중 어느 하나를 고정시키고 다른 하나를 트레이닝 하는 것
    을 특징으로 하는 이미지 디헤이징 시스템.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    수학식 2를 통해 상기 복원 영상을 생성하는 것
    을 특징으로 하는 이미지 디헤이징 시스템.
    수학식 2:
    Figure 112016108458120-pat00028

    (여기서,
    Figure 112016108458120-pat00029
    는 복원 영상을,
    Figure 112016108458120-pat00030
    는 CNN 모델을 통해 추정된 전달량을,
    Figure 112016108458120-pat00031
    는 CNN 모델을 통해 추정된 환경광을 의미한다. 그리고,
    Figure 112016108458120-pat00032
    는 균형 잡힌 환경광(balanced ambient light)으로,
    Figure 112016108458120-pat00033
    (
    Figure 112016108458120-pat00034
    는 RGB 공간에서의 고정 벡터)와 같이 정의된다.)
KR1020160147352A 2016-11-07 2016-11-07 Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템 KR101938945B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160147352A KR101938945B1 (ko) 2016-11-07 2016-11-07 Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160147352A KR101938945B1 (ko) 2016-11-07 2016-11-07 Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20180050832A KR20180050832A (ko) 2018-05-16
KR101938945B1 true KR101938945B1 (ko) 2019-01-15

Family

ID=62452181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160147352A KR101938945B1 (ko) 2016-11-07 2016-11-07 Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101938945B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102206792B1 (ko) 2019-12-26 2021-01-22 고려대학교 산학협력단 병렬 특징 피라미드를 이용한 네트워크 영상 내 잡음 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805839A (zh) * 2018-06-08 2018-11-13 西安电子科技大学 基于卷积神经网络的联合估计图像去雾方法
KR101998027B1 (ko) * 2018-06-11 2019-07-08 인하대학교 산학협력단 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템
KR102022648B1 (ko) * 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법
US10832084B2 (en) * 2018-08-17 2020-11-10 Nec Corporation Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN109712083B (zh) * 2018-12-06 2021-02-12 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
KR102170547B1 (ko) * 2019-01-29 2020-10-27 건국대학교 산학협력단 초해상도 신경망 기반 고해상도 이미지 복원 장치 및 방법
KR102166337B1 (ko) * 2019-09-17 2020-10-15 삼성전자주식회사 영상의 ａｉ 부호화 방법 및 장치, 영상의 ａｉ 복호화 방법 및 장치
KR102124497B1 (ko) * 2020-03-02 2020-06-18 엔에이치네트웍스 주식회사 영상 개선 장치
CN111369472B (zh) * 2020-03-12 2021-04-23 北京字节跳动网络技术有限公司 图像去雾方法、装置、电子设备及介质
CN111489302B (zh) * 2020-03-27 2023-12-05 武汉理工大学 一种雾气环境下海事图像增强方法
CN111681178B (zh) * 2020-05-22 2022-04-26 厦门大学 一种基于知识蒸馏的图像去雾方法
CN112215122B (zh) * 2020-09-30 2023-10-24 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN112508091B (zh) * 2020-12-03 2024-01-19 大连海事大学 基于卷积神经网络的低质量图像分类方法
CN112508814B (zh) * 2020-12-07 2022-05-20 重庆邮电大学 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN113643207A (zh) * 2021-08-20 2021-11-12 Oppo广东移动通信有限公司 图像处理方法、装置及电子设备
CN115063304B (zh) * 2022-05-19 2023-08-25 湖南师范大学 一种多尺寸融合的金字塔神经网络图像去雾方法及系统
CN114820388B (zh) * 2022-06-22 2022-09-06 合肥工业大学 一种基于编解码器结构的图像去雾方法
CN115456913A (zh) * 2022-11-07 2022-12-09 四川大学 一种夜间雾图去雾方法及装置
CN117218033B (zh) * 2023-09-27 2024-03-12 仲恺农业工程学院 一种水下图像复原方法、装置、设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Human Parsing with Contextualized Convolutional Neural Network*
Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture*
Underwater Image Enhancement Using Wavelength*
논문:BOLUN CAI ET AL.,*
논문:WENQI REN ET AL.,*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102206792B1 (ko) 2019-12-26 2021-01-22 고려대학교 산학협력단 병렬 특징 피라미드를 이용한 네트워크 영상 내 잡음 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
KR20180050832A (ko) 2018-05-16

Similar Documents

Publication Publication Date Title
KR101938945B1 (ko) Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템
Yu et al. Underwater-GAN: Underwater image restoration via conditional generative adversarial network
US10534998B2 (en) Video deblurring using neural networks
CN109215080B (zh) 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
Shin et al. Estimation of ambient light and transmission map with common convolutional architecture
CN111402146B (zh) 图像处理方法以及图像处理装置
Eigen et al. Restoring an image taken through a window covered with dirt or rain
US20190180418A1 (en) Scene-based nonuniformity correction using a convolutional recurrent neural network
US20140307950A1 (en) Image deblurring
CN114746895A (zh) 用于图像去噪的噪声重构
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
Shen et al. UDAformer: underwater image enhancement based on dual attention transformer
CN114004766A (zh) 一种水下图像增强方法、系统和设备
CN111260794B (zh) 基于跨源图像匹配的户外增强现实应用方法
KR102319643B1 (ko) 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
Song et al. Multistage curvature-guided network for progressive single image reflection removal
CN110503609A (zh) 一种基于混合感知模型的图像去雨方法
Ali et al. Boundary-constrained robust regularization for single image dehazing
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
US20220301211A1 (en) Methods, systems and computer medium for scene-adaptive future depth prediction in monocular videos
KR102334730B1 (ko) 라이트필드 초해상도와 블러 제거의 동시 수행을 위한 적대적 신경망 모델 장치 및 그 동작 방법
Saxena et al. An efficient single image haze removal algorithm for computer vision applications
Dakshinamurthi et al. DEEP LEARNING-BASED IMAGE DEHAZING AND VISIBILITY ENHANCEMENT FOR IMPROVED VISUAL PERCEPTION.
US20230334626A1 (en) Techniques for denoising videos
Pawar et al. A comparative study of effective way to modify different object in image and video using different inpainting methods

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant