KR20230069528A - 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치 - Google Patents

보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치 Download PDF

Info

Publication number
KR20230069528A
KR20230069528A KR1020210155645A KR20210155645A KR20230069528A KR 20230069528 A KR20230069528 A KR 20230069528A KR 1020210155645 A KR1020210155645 A KR 1020210155645A KR 20210155645 A KR20210155645 A KR 20210155645A KR 20230069528 A KR20230069528 A KR 20230069528A
Authority
KR
South Korea
Prior art keywords
image
fog
network
correction
haze
Prior art date
Application number
KR1020210155645A
Other languages
English (en)
Other versions
KR102577361B1 (ko
KR102577361B9 (ko
Inventor
백준기
신중철
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020210155645A priority Critical patent/KR102577361B1/ko
Publication of KR20230069528A publication Critical patent/KR20230069528A/ko
Application granted granted Critical
Publication of KR102577361B1 publication Critical patent/KR102577361B1/ko
Publication of KR102577361B9 publication Critical patent/KR102577361B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/24—Fluid dynamics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, (a) 물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하고, (b) 상기 안개 이미지를 합성곱 신경망 기반 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하고, (c) 상기 제1 안개 제거 이미지를 합성곱 신경망 기반 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하고, (d) 보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하고, (e) 선명한 자연 이미지를 통해 상기 보정 네트워크 및 상기 안개 네트워크를 자가 지도 학습하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 안개 제거 장치가 제공된다.

Description

보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치{Method and apparatus for image dehazing via complementary adversarial learning}
본 발명은 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치에 관한 것이다.
실외 환경에서 획득된 이미지는 입자가 가시광을 약화시키기 때문에 대비(contrast) 및 세일리언트 엣지(salient edge)와 같은 중요 정보를 잃게된다. 이러한 열화를 안개 열화(hazy degradation)라고 하며, 이는 공간 및 색상 특징을 모두 왜곡하고 실외 객체의 가시성을 감소시킨다.
안개 열화가 복원되지 않으면 객체 감지, 이미지 매칭과 같은 주요 이미지 처리 또는 이미지 분석 방법에서 좋은 성능을 기대할 수 없다.
이에 강도 및 컬러 채도를 억제하면서 대비와 엣지를 향상시키기 위한 안개 제거 알고리즘은 제안된다.
그러나 기존 알고리즘은 계산 복잡도가 증가하거나 이미지 내에서 안개를 적응적으로 제거하지 못하는 문제점이 있다.
KR 등록특허 10-1746712
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 계산 복잡도는 높이지 않고 아티팩트 없이 안개를 제거할 수 있는 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 보완적인 적대적 학습을 통한 안개 제거 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, (a) 물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하고, (b) 상기 안개 이미지를 합성곱 신경망 기반 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하고, (c) 상기 제1 안개 제거 이미지를 합성곱 신경망 기반 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하고, (d) 보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하고, (e) 선명한 자연 이미지를 통해 상기 보정 네트워크 및 상기 안개 네트워크를 자가 지도 학습하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 안개 제거 장치가 제공된다.
상기 안개 네트워크 및 보정 네트워크는 동일한 개수의 복수의 컨볼루션 레이어를 포함하고, 상기 안개 네트워크의 개별 컨볼루션 레이어에서 출력하는 특징맵이 상기 보정 네트워크의 대응 컨볼루션 레이어로 입력될 수 있다.
상기 프로그램 명령어들은, 상기 선명한 자연 이미지를 상기 보정 네트워크 및 상기 안개 네트워크에 각각 입력하여 생성되는 이미지로부터 자가 지도 학습 손실이 최소화되도록 하는 안개 네트워크 출력 이미지를 생성하고, 상기 보정 이미지, 상기 제2 안개 제거 이미지, 상기 선명한 자연 이미지 및 상기 안개 네트워크 출력 이미지를 이용하여 상기 보정 네트워크 및 안개 네트워크를 학습할 수 있다.
상기 프로그램 명령어들은, 상기 보정 이미지, 상기 제2 안개 제거 이미지, 상기 선명한 자연 이미지 및 상기 안개 네트워크 출력 이미지를 판별기에 입력하여 이들의 확률값을 계산하고, 서로 다른 안개 이미지에 대해 상기 4개의 이미지의 확률값이 유사하게 상기 (a) 내지 (e) 과정을 반복 수행할 수 있다.
상기 안개 네트워크는 확장된 컨볼루션(dilated convolution)과 적응 정규화(adaptive normalization)가 적용될 수 있다.
본 발명의 다른 측면에 따르면, 보완적인 적대적 학습을 통한 안개 제거 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하고, 상기 안개 이미지를 합성곱 신경망 기반의 복수의 컨볼루션 레이어를 포함하는 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하고, 상기 제1 안개 제거 이미지를 합성곱 신경망 기반의 복수의 컨볼루션 레이어를 포함하는 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하고, 보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되, 상기 안개 네트워크 및 보정 네트워크는 동일한 개수의 복수의 컨볼루션 레이어를 포함하고, 상기 안개 네트워크의 개별 컨볼루션 레이어에서 출력하는 특징맵이 상기 보정 네트워크의 대응 컨볼루션 레이어로 입력되는 안개 제거 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 보완적인 적대적 학습을 통한 안개 제거 방법으로서, (a) 물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하는 단계; (b) 상기 안개 이미지를 합성곱 신경망 기반 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하는 단계; (c) 상기 제1 안개 제거 이미지를 합성곱 신경망 기반 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하는 단계; (d) 보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하는 단계; (e) 선명한 자연 이미지를 통해 상기 보정 네트워크 및 상기 안개 네트워크를 자가 지도 학습하는 단계를 포함하는 안개 제거 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 보정 네트워크와 안개 네트워크의 보완적인 결합과 판별기를 포함하는 검증 네트워크를 통해 노이즈 및 후광 아티팩트 없이 효과적으로 안개 제거 이미지를 생성할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 안개 제거 이미지 생성을 위한 네트워크의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 보정 네트워크가 실제 안개 데이터셋에서 색상, 밝기 및 채도를 보정한 결과를 나타낸 것이다.
도 3은 본 실시예에 따른 네트워크 최적화를 위한 자가 지도 손실의 별도 적용 알고리즘이다.
도 4는 기존 네트워크와 본 실시예에 따른 네트워크의 안개 제거 성능을 비교하는 도면이다.
도 5는 본 실시예에 따른 안개 제거 장치의 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 실시예는 보완적인 적대적 학습을 통해 이미지에서 안개를 제거하는 것으로서 이하에서는 물리적 안개 모델을 우선 설명한다.
아래의 수학식 1과 같이 물리적 안개 모델(Physical haze model)에 의해 선명한 이미지(clear image)가 열화된다.
Figure pat00001
여기서, J는 안개가 없는 선명한 이미지, x는 안개에 의해 열화된 이미지, p는 2차원 픽셀 좌표, t는 광전달맵(light transmission map), A는 공간적으로 불변하는 대기광이다.
x, J 및 A의 위 첨자는 색상 채널을 나타내며, 전달량 t(p)은 색상 채널과 무관하다.
상기한 방정식을 풀기 위해 물리적 안개 모델 기반 방법은 적절한 가정을 기반으로 t 및 A와 같은 주요 구성요소를 추정한다.
최근 몇몇 딥러닝 기술을 이용하면 t 또는 A를 추정하지 않고도 이를 풀수 있다.
이하에서는 물리적 안개 모델 기반 안개 제거 과정을 설명한다.
기존 연구에서는 전달량을 추정하기 위해 dark channel prior(DCP)를 이용한다.
Figure pat00002
여기서, q는 N(p)로 표시되는 p 주변의 로컬 패치 영역에서 2차원 픽셀 좌표이고, 전달량은 일정하다고 가정한다.
Berman et al. 는 기하학적 안개 특성을 이용하여 비로컬(Non Local) 전달량을 다음과 같이 추정하였다.
Figure pat00003
수학식 3을 풀기 위해, Berman et al.는 500개의 대표 색상을 사용하고 k-NN(k-Nearest Neighbor) 알고리즘을 사용하여 분모를 근사화하였다.
추정된 전달량에서 노이즈 및 후광과 같은 아티팩트를 최소화하기 위해 soft matting 또는 weighted least squares 알고리즘을 정규화 함수로 사용할 수 있고, Shinet al.는 다음과 같이 방사-반사(radiance-reflectance) 결합 비용을 최소화하여 전달량을 추정하였다.
Figure pat00004
여기서 dI, dJ는 대기광과 입력 및 대략적으로 복원된 입력과 같은 이전 이미지 간의 차이맵이다.
이하에서는 방사 기반 안개 제거 모델을 설명한다.
안개가 포함되거나 포함되지 않은 N쌍(haze-free 및 hazy 이미지의 쌍)의 패치가 주어지면 CNN 기반 안개 제거 방법은 일반적으로 다음과 같이 손실 함수를 최소화하여 네트워크를 훈련시킨다.
Figure pat00005
여기서
Figure pat00006
는
Figure pat00007
각각 haze-free(안개 없는) 및 hazy(안개 포함) 이미지의 i번째 훈련 패치를 나타낸다.
Figure pat00008
는 가중치와 바이어스(bias)을 포함하는 네트워크 매개변수 세트이고
Figure pat00009
는 입력된 안개 이미지 패치와 매개변수 세트가 주어진 네트워크의 출력이다.
생성된 이미지와 실제 이미지와의 차이를 줄이기 위해 적대적 손실(adversarial loss)을 다음과 같이 정의할 수 있다.
Figure pat00010
여기서,
Figure pat00011
는 안개 없는 이미지 생성기, D는 실제와 가짜 클래스를 구분하기 위한 판별기(104)이고,
Figure pat00012
는 시그모이드 교차 엔트로피 연산자를 나타낸다. 적대적 학습은 선명한 이미지에 더 가까운 안개 없는 이미지를 생성할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 안개 제거 이미지 생성을 위한 네트워크의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 네트워크는 안개 제거 네트워크(Dehazing Network) 및 검증 네트워크(Verifying Network)를 포함한다.
본 실시예에 따른 네트워크는 확장된 컨볼루션 레이어(dilated convolution layer)와 생성적 적대 신경망(generative adversarial network)을 이용하여 안개 제거 이미지를 생성하고, 학습을 진행한다.
본 실시예에 따른 안개 제거 이미지 생성은 이미지 쌍으로 구성되는 데이터 생성, 딥러닝 모델 구성, 모델 학습 과정이 필요하다.
도 1에 도시된 바와 같이, 본 실시예에서는 수학식 1과 같은 물리적 안개 모델(physical model-based dehazing)을 이용하여 안개 이미지(Iin)와 초기 제1 안개 제거 이미지(ID)의 쌍을 포함하는 데이터를 생성한다.
Figure pat00013
를 입력 안개 이미지라 하고, 수학식 3 또는 4를 이용하여 추정된 전달량을
Figure pat00014
라 하면 제1 안개 제거 이미지는 다음과 같이 계산된다.
Figure pat00015
수학식 7은 한 단계, 닫힌 형태의 추정이기 때문에 안개 이미지 및 안개 없는 이미지 쌍을 쉽게 만들 수 있다.
본 실시예에서는 수학식 3 및 4에 따른 비로컬 안개 제거(non-local dehazing)와 방사-반사 최적화 방법(radiance-reflectance Optimization method, RRO)을 이용하여 제1 안개 제거 이미지를 생성한다.
또한 안개 시뮬레이션 이미지를 사용하여 물리적 안개 모델을 기반으로 ID 및 Iin 쌍을 생성할 수도 있다.
본 실시예에 따르면, 색상 및 명암 값을 모두 보정하여 제1 안개 제거 이미지를 개선하기 위해 보정 네트워크(Correction Network, C-Net, 100)가 제공되고, 또한, 유실된 정보를 복원하기 위해 확장된 컨볼루션과 적응 정규화(adaptive normalization)가 적용된 안개 네트워크(Haze Network, H-Net, 102)가 제공된다.
C-Net(100)는 상기한 제1 안개 이미지를 입력으로 하여 보정 이미지(IC)를 생성하고, H-Net(102)은 안개 이미지를 입력으로 하여 제1 특징맵을 출력한다.
본 실시예에 따른 C-Net(100) 및 H-Net(102)는 복수의 컨볼루션 레이어 및 복수의 풀리 커넥티드 레이어를 포함하는 합성곱 신경망일 수 있고, 예를 들어, ImageNet 데이터를 이용하여 사전 훈련된 VGG 16 네트워크일 수 있다.
도 1에 도시된 바와 같이, C-Net(100)에는 제1 안개 제거 이미지(ID)가 입력되고, H-Net(102)에는 안개 이미지(Iin)가 입력된다.
C-Net(100) 및 H-Net(102)는 동일한 개수의 복수의 컨볼루션 레이어를 포함하고, H-Net(102)의 개별 컨볼루션 레이어에서 출력하는 특징맵이 C-Net(100)의 대응 컨볼루션 레이어로 입력된다.
도 1에 도시된 바와 같이, H-Net(102)에서 추출된 제1 특징맵이 C-Net(100)로 입력되고, 아래와 같이 결합된다.
Figure pat00016
여기서,
Figure pat00017
와
Figure pat00018
는 각각 k번째 컨볼루션 레이어의 i번째 특징맵과 바이어스를 나타내고,
Figure pat00019
는 k-1번째 컨볼루션 레이어
Figure pat00020
에서 추출된 특징맵을 이용하여 i번째 특징맵을 얻기 위한 커널이다.
연산자
Figure pat00021
는 k번째 컨볼루션 레이어
Figure pat00022
의 비율을 이용하는 확장된 컨볼루션을 나타낸다.
확장된 컨볼루션은 스케일을 변경하지 않고 넓은 수용 필드에서 빠르게 필터링을 수행할 수 있다.
Figure pat00023
는 leaky rectified iinear unit 활성화 함수(LReLU)이고 다음과 같이 정의된다.
Figure pat00024
Figure pat00025
는 k번째 컨볼루션 레이어의 적응 정규화(Adaptive Network, AN) 함수를 나타낸다.
Figure pat00026
여기서,
Figure pat00027
는 배치 정규화 함수이고,
Figure pat00028
와
Figure pat00029
는 배치 정규화 함수의 상대적인 부분을 제어하기 위한 훈련 가능한 파라미터이다.
수학식 10에서 주어진 적응 정규화 접근법은 향상된 복원 결과를 제공할 수 있고, 수학식 8에서
Figure pat00030
는 다음과 같이 결합된다.
Figure pat00031
여기서, concat은 특징 결합 연산자이고, f는 이하에서 설명할 H-Net(102)의 특징맵이다.
이러한 특징맵의 결합은 학습 방향을 조정하는데 중요한 역할을 하며, 예를 들어, 상향 결합 없이 C-Net(100)을 잘못 학습하면 H-Net(102)도 다른 이미지로 학습되어 잘못된 사이클이 반복된다.
학습 방향을 올바르게 전파하기 위해 H-Net(102)에서 추출된 특징맵을 C-Net(100)의 특징맵과 결합한다.
또한 C-Net(100)의 파라미터는 지각 손실(perceptual loss) 이용한 자가 지도 학습으로 최적화할 수 있다.
C-Net(100)의 지각 손실을 보정 손실이라 하고, 다음과 같이 정의된다.
Figure pat00032
여기서, N은 배치(batch) 크기,
Figure pat00033
는 C-Net의 출력,
Figure pat00034
는 C-Net(100)의 특징맵을 반환한다.
Figure pat00035
는 기울기의
Figure pat00036
정규화를 위한 파라미터이다.
이러한 자가 지도 C-Net(100)은 도 2에 도시된 바와 같이, 실제 안개 데이터셋에서 색상, 밝기 및 채도를 보정할 수 있다.
H-Net(102)은 열화된 이미지를 개선하는 역할을 한다.
또한 H-Net(102)의 효율적인 설계로 처리 시간을 크게 줄일 수 있다.
이에, H-Net(102)은 확장된 컨볼루션과 적응 정규화를 다음과 같이 사용한다.
Figure pat00037
여기서,
Figure pat00038
는 k번째 컨볼루션 레이어에서 H-Net(102)의 특징맵이고, b, h 및
Figure pat00039
는 각각 바이어스, 커널 및 적응 정규화 연산자를 나타낸다. H-Net(102)은 C-Net(100)의 결과를 사용하여 학습되기 때문에 그 결과도 적응적으로 보정할 수 있다. H-Net(102)은 다음과 같이 안개 손실을 최소화하여 최적화할 수 있다.
Figure pat00040
여기서,
Figure pat00041
는 H-Net(102)의 출력이다.
도 1에 도시된 바와 같이, 안개 제거 네트워크는 보정 이미지와 상기 제1 특징맵을 이용하여 C-Net(100)의 보정 손실 및 H-Net(102)의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지(IH)를 생성한다.
안개 제거 네트워크(H-Net, C-Net)의 출력을 보다 자연스럽게 보이도록 하기 위해 검증 네트워크를 이용하여 노이즈 및 후광 아티팩트와 같은 오류를 검증한다. 본 실시예에 따른 검증 네트워크는 선명한 데이터로 자가 지도 학습을 사용하여 노이즈 및 후광 아티팩트와 같은 오류를 검증한다.
도 1에 도시된 바와 같이, 선명한 자연 이미지를 C-Net(100) 및 H-Net(102)에 각각 입력하여 생성되는 이미지로부터 자가 지도 학습 손실이 최소화되도록 하는 안개 네트워크 출력 이미지를 생성한다.
자가 지도 학습의 검증 손실은 다음과 같이 정의된다.
Figure pat00042
여기서,
Figure pat00043
,
Figure pat00044
및
Figure pat00045
는 각각 선명한 자연 이미지, C-Net(100) 및 H-Net(102)의 선명한 자연 이미지에 대한 출력을 나타낸다.
상기한 각 항들은 오류를 고려하여 설계된다.
즉, 입력 이미지가 이상적으로 선명할 때, C-Net(100) 및 H-Net(102)의 출력 이미지에 있는 픽셀과 특징이 실제 자연 이미지에 가깝게 된다.
입력 이미지가 선명한 자연 이미지라면, 이상적인 안개 제거 모델은 도 1의 하단과 같이 자연스러운 이미지를 생성해야 한다.
따라서 자가 지도 손실은 도 3의 알고리즘 1과 알고리즘 2와 같이 네트워크를 최적화하기 위해 별도로 적용되어야 한다.
선명한 이미지를 사용하여 수학식 15의 손실을 기반으로 한 자가 지도 학습은 도 4d와 같이 아티팩트를 최소화할 수 있다
또한, 생성된 이미지와 실제 이미지 간의 통계적 차이를 줄이기 위해 제안된본 실시예에 따른 안개 제거 네트워크 및 검증 네트워크(dehazing and verifying network, DVNet)는 최소 제곱 적대 비용(Least Square Adversarial Cost)를 기반으로 다음과 같이 최적화될 수 있다.
Figure pat00046
Figure pat00047
여기서, D는 도 1의 오른쪽 하단과 같이 합성곱 신경망 기반 판별기(Discriminator)이고, 바이너리 소프트맥스(softmax) 알고리즘을 사용하여 입력 이미지
Figure pat00048
의 확률값을 반환한다.
보다 상세하게, 판별기에는 보정 이미지(IC), 제2 안개 제거 이미지(IH), 상기 선명한 자연 이미지(IN) 및 안개 네트워크 출력 이미지(IV)를 판별기(D)에 입력하여 이들의 확률값을 계산한다.
바람직하게, 본 실시예에 따른 판별기가 서로 다른 안개 이미지에 대해 상기한 4개의 이미지의 확률값이 유사하게 되도록 제2 안개 제거 이미지 생성 및 검증 과정이 반복 수행된다.
여기서, 보정 이미지(IC), 제2 안개 제거 이미지(IH) 및 안개 네트워크 출력 이미지(IV)가 GAN에서 생성기(Generator)에서 생성하는 이미지에 대응될 수 있다.
이러한 적대적 학습 방법에서, 본 실시예에 따른 네트워크는 쌍을 이루지 않는 이미지를 사용하여 선명한 이미지
Figure pat00049
과 제안된 네트워크의
Figure pat00050
의 결과 사이의 확률 발산을 줄이기 위해 학습될 수 있다.
따라서 결과 이미지
Figure pat00051
는 가시성이 깨끗한 이미지
Figure pat00052
와 유사하게 향상될 수 있다.
도 4e는 본 실시예에 따른 네트워크의 성능을 보여준다. 보다 구체적으로, 도 4e를 참조하면, 본 실시예에 따른 결과 이미지는 원하지 않는 아티팩트 없이 DVNet이 세부 사항과 대비 모두에서 열화된 이미지를 더 잘 향상시킬 수 있음을 보여준다.
도 5는 본 실시예에 따른 안개 제거 장치의 구성을 도시한 도면이다.
도 5에 도시된 바와 같이, 본 실시예에 따른 장치는 프로세서(500) 및 메모리(502)를 포함할 수 있다.
프로세서(500)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그 밖에 가상 머신 등을 포함할 수 있다.
메모리(502)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 콤팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(502)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 실시예에 따르면, 메모리(502)에 저장된 프로그램 명령어들은, 물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하고, 상기 안개 이미지를 합성곱 신경망 기반 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하고, 상기 제1 안개 제거 이미지를 합성곱 신경망 기반 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하고, 보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하고, 선명한 자연 이미지를 통해 상기 보정 네트워크 및 상기 안개 네트워크를 자가 지도 학습을 수행한다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 보완적인 적대적 학습을 통한 안개 제거 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    (a) 물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하고,
    (b) 상기 안개 이미지를 합성곱 신경망 기반 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하고,
    (c) 상기 제1 안개 제거 이미지를 합성곱 신경망 기반 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하고,
    (d) 보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하고,
    (e) 선명한 자연 이미지를 통해 상기 보정 네트워크 및 상기 안개 네트워크를 자가 지도 학습하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 안개 제거 장치.
  2. 제1항에 있어서,
    상기 안개 네트워크 및 보정 네트워크는 동일한 개수의 복수의 컨볼루션 레이어를 포함하고,
    상기 안개 네트워크의 개별 컨볼루션 레이어에서 출력하는 특징맵이 상기 보정 네트워크의 대응 컨볼루션 레이어로 입력되는 안개 제거 장치.
  3. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 선명한 자연 이미지를 상기 보정 네트워크 및 상기 안개 네트워크에 각각 입력하여 생성되는 이미지로부터 자가 지도 학습 손실이 최소화되도록 하는 안개 네트워크 출력 이미지를 생성하고,
    상기 보정 이미지, 상기 제2 안개 제거 이미지, 상기 선명한 자연 이미지 및 상기 안개 네트워크 출력 이미지를 이용하여 상기 보정 네트워크 및 안개 네트워크를 학습하는 안개 제거 장치.
  4. 제3항에 있어서,
    상기 프로그램 명령어들은,
    상기 보정 이미지, 상기 제2 안개 제거 이미지, 상기 선명한 자연 이미지 및 상기 안개 네트워크 출력 이미지를 판별기에 입력하여 이들의 확률값을 계산하고,
    서로 다른 안개 이미지에 대해 상기 4개의 이미지의 확률값이 유사하게 상기 (a) 내지 (e) 과정을 반복 수행하는 안개 제거 장치.
  5. 제1항에 있어서,
    상기 안개 네트워크는 확장된 컨볼루션(dilated convolution)과 적응 정규화(adaptive normalization)가 적용되는 안개 제거 장치.
  6. 보완적인 적대적 학습을 통한 안개 제거 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하고,
    상기 안개 이미지를 합성곱 신경망 기반의 복수의 컨볼루션 레이어를 포함하는 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하고,
    상기 제1 안개 제거 이미지를 합성곱 신경망 기반의 복수의 컨볼루션 레이어를 포함하는 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하고,
    보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    상기 안개 네트워크 및 보정 네트워크는 동일한 개수의 복수의 컨볼루션 레이어를 포함하고,
    상기 안개 네트워크의 개별 컨볼루션 레이어에서 출력하는 특징맵이 상기 보정 네트워크의 대응 컨볼루션 레이어로 입력되는 안개 제거 장치.
  7. 프로세서 및 메모리를 포함하는 보완적인 적대적 학습을 통한 안개 제거 방법으로서,
    (a) 물리적 안개 모델 기반으로 안개 이미지에서 제1 안개 제거 이미지를 생성하는 단계;
    (b) 상기 안개 이미지를 합성곱 신경망 기반 안개 네트워크(Haze Network)에 입력하여 제1 특징맵을 출력하는 단계;
    (c) 상기 제1 안개 제거 이미지를 합성곱 신경망 기반 보정 네트워크(Correction Network)에 입력하여 보정 이미지를 생성하는 단계;
    (d) 보정 이미지와 상기 제1 특징맵을 이용하여 상기 보정 네트워크의 보정 손실 및 상기 안개 네트워크의 안개 손실의 합이 최소화되도록 하는 제2 안개 제거 이미지를 생성하는 단계;
    (e) 선명한 자연 이미지를 통해 상기 보정 네트워크 및 상기 안개 네트워크를 자가 지도 학습하는 단계를 포함하는 안개 제거 방법.
  8. 제7항에 있어서,
    상기 (e) 단계는,
    (f) 상기 선명한 자연 이미지를 상기 보정 네트워크 및 상기 안개 네트워크에 각각 입력하여 생성되는 이미지로부터 자가 지도 학습 손실이 최소화되도록 하는 안개 네트워크 출력 이미지를 생성하는 단계; 및
    (g) 상기 보정 이미지, 상기 제2 안개 제거 이미지, 상기 선명한 자연 이미지 및 상기 안개 네트워크 출력 이미지를 이용하여 상기 보정 네트워크 및 안개 네트워크를 학습하는 단계를 포함하는 안개 제거 방법.
  9. 제8항에 있어서,
    상기 (g) 단계는,
    상기 보정 이미지, 상기 제2 안개 제거 이미지, 상기 선명한 자연 이미지 및 상기 안개 네트워크 출력 이미지를 판별기에 입력하여 이들의 확률값을 계산하는 단계; 및
    서로 다른 안개 이미지에 대해 상기 4개의 이미지의 확률값이 유사하게 상기 (a) 내지 (e) 과정을 반복 수행하는 단계를 포함하는 안개 제거 방법.
  10. 제7항에 따른 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체.
KR1020210155645A 2021-11-12 2021-11-12 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치 KR102577361B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210155645A KR102577361B1 (ko) 2021-11-12 2021-11-12 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210155645A KR102577361B1 (ko) 2021-11-12 2021-11-12 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치

Publications (3)

Publication Number Publication Date
KR20230069528A true KR20230069528A (ko) 2023-05-19
KR102577361B1 KR102577361B1 (ko) 2023-09-11
KR102577361B9 KR102577361B9 (ko) 2024-02-08

Family

ID=86546695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210155645A KR102577361B1 (ko) 2021-11-12 2021-11-12 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102577361B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746712B1 (ko) 2016-02-26 2017-06-13 울산과학기술원 안개 제거 방법 및 장치
US20210201452A1 (en) * 2016-04-07 2021-07-01 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746712B1 (ko) 2016-02-26 2017-06-13 울산과학기술원 안개 제거 방법 및 장치
US20210201452A1 (en) * 2016-04-07 2021-07-01 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fisher Yu ET AL, Multi-Scale Context Aggregation by Dilated Convolutions, ICLR 2016, 30 Apr. 2016(2016.04.30.) 1부.* *
Qifeng Chen ET AL, Fast Image Processing with Fully-Convolutional Networks, ICCV 2017, 2 Sept. 2017(2017.09.02.) 1부.* *
Yi Ouyang, Total variation constraint GAN for dynamic scene deblurring, Image and Vision Computing, Volume 88, 5 June 2019(2019.06.05.) 1부.* *

Also Published As

Publication number Publication date
KR102577361B1 (ko) 2023-09-11
KR102577361B9 (ko) 2024-02-08

Similar Documents

Publication Publication Date Title
Xu et al. Noisy-as-clean: Learning self-supervised denoising from corrupted image
CN111899163B (zh) 生成对抗网络中单图像超分辨率的有效结构保持
Divakar et al. Image denoising via CNNs: An adversarial approach
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
Kang et al. Convolutional neural networks for no-reference image quality assessment
CN110516716B (zh) 基于多分支相似度网络的无参考图像质量评价方法
CN109360170B (zh) 基于高级特征的人脸修复方法
CN111861901A (zh) 一种基于gan网络的边缘生成图像修复方法
CN111047543A (zh) 图像增强方法、装置和存储介质
Wang et al. Active fine-tuning from gMAD examples improves blind image quality assessment
KR20210042432A (ko) 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
Dupont et al. Probabilistic semantic inpainting with pixel constrained cnns
Yap et al. A recursive soft-decision approach to blind image deconvolution
CN113763268B (zh) 人脸图像盲修复方法及系统
CN116310008B (zh) 一种基于少样本学习的图像处理方法及相关设备
CN111951373B (zh) 一种人脸图像的处理方法和设备
CN113362255A (zh) 一种基于改进dcgan的文字图像修复方法及系统
KR102577361B1 (ko) 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치
Piriyatharawet et al. Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments
KR102537207B1 (ko) 머신 러닝에 기반한 이미지 처리 방법 및 장치
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN114842242A (zh) 一种基于生成模型的鲁棒对抗样本生成方法
Kumwilaisak et al. On the Numerical Distortion-Mutual Information Function of Image Denoising with Deep Convolutional Networks
Wu et al. RDS-denoiser: a detail-preserving convolutional neural network for image denoising
Bertelli et al. Robust depth estimation for efficient 3D face reconstruction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]