KR101746712B1 - 안개 제거 방법 및 장치 - Google Patents

안개 제거 방법 및 장치 Download PDF

Info

Publication number
KR101746712B1
KR101746712B1 KR1020160023568A KR20160023568A KR101746712B1 KR 101746712 B1 KR101746712 B1 KR 101746712B1 KR 1020160023568 A KR1020160023568 A KR 1020160023568A KR 20160023568 A KR20160023568 A KR 20160023568A KR 101746712 B1 KR101746712 B1 KR 101746712B1
Authority
KR
South Korea
Prior art keywords
image
learning
model
input
generating
Prior art date
Application number
KR1020160023568A
Other languages
English (en)
Inventor
최재식
강상훈
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020160023568A priority Critical patent/KR101746712B1/ko
Application granted granted Critical
Publication of KR101746712B1 publication Critical patent/KR101746712B1/ko

Links

Images

Classifications

    • G06T5/003—
    • G06F15/18—
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 안개 제거 방법 및 장치에 관한 것이다. 개시된 안개 제거 방법은 안개 성분이 포함된 원시 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 학습대상 이미지를 생성하는 단계와, 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성하는 단계와, 학습대상 이미지를 입력으로 하고 학습용 전달량 이미지를 출력으로 한 데이터셋으로 학습 모델이 기계학습을 수행하는 단계와, 입력 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성하는 단계와, 기계학습이 수행된 학습 모델이 전처리 이미지로부터 복원용 전달량 이미지를 생성하는 단계와, 복원용 전달량 이미지를 이용하여 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성하는 단계를 포함한다. 본 발명의 실시예에 따르면 모델 기반 방식에 기계학습을 접목시켜 전달량을 신속하고 정확하게 산출함으로써, 실시간 이미지 처리를 통해 안개 성분이 제거된 복원 이미지를 생성할 수 있다.

Description

안개 제거 방법 및 장치{METHOD AND APPARATUS FOR REMOVING HAZE}
본 발명은 안개 제거 방법 및 장치에 관한 것으로, 더욱 상세하게는 이미지 내의 안개 성분을 제거하는 방법 및 장치에 관한 것이다.
일반적으로, 실내가 아닌 야외에서 촬영된 이미지는 대기 중의 입자 및 물방울 등에 의하여 품질이 저하된다. 촬영 이미지의 화질은 날씨에 의해 영향을 받으며, 이는 이미지에 포함된 객체의 본래 색상 및 형태를 식별하는데 영향을 미치게 된다.
특히, 안개에 의한 화질 저하는 이미지 전반에 걸쳐 발생하며 통상 균일하고 지속적으로 유지되기 때문에 이를 제거하기 위한 다양한 기법들이 제안되고 있다.
안개 이미지 개선 방법은 대기의 물리학적 모델을 사용하는 모델 기반(Model based) 방식과 대기의 물리학적 모델을 이용하지 않는 비모델 기반(Non-model based)방식으로 분류된다.
비모델 기반 방식의 경우 모델 기반과 달리 대기 매개 변수를 추정하지 않고 그 구현이 간단하지만 안개 제거 효과 및 색 충실도(color fidelity)가 왜곡되는 경향이 있기 때문에 일반적으로는 모델 기반 방식이 이용된다.
그러나, 모델 기반 방식은 대기의 물리학적 모델을 사용하기 때문에 대기산란광으로 인해 열화된 대조비와 색감을 효과적으로 개선할 수 있지만 매개 변수를 정확히 알아내기까지 장시간이 소요되는 단점이 있다. 다크채널 모델을 이용하는 경우에는 분산되지 않고 촬영 영상장치에 도달하는 빛의 양을 의미하는 전달량을 추정하기까지는 비교적 짧은 시간 이내에 추정할 수 있지만 이후 소프트 매팅을 통해 전달량을 정확하게 산출하기까지 장시간이 소요되어 실시간 이미지 처리가 불가능한 문제점이 있었다.
미국등록특허 8340461, 등록일 2012.12.25.
본 발명의 실시예는, 모델 기반 방식에 기계학습을 접목시켜 전달량을 신속하고 정확하게 산출함으로써 실시간 이미지 처리가 가능하도록 한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점에 따르면, 안개 제거 장치에 의해 수행되는 안개 제거 방법은, 안개 성분이 포함된 원시 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 학습대상 이미지를 생성하는 단계와, 상기 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성하는 단계와, 상기 학습대상 이미지를 입력으로 하고 상기 학습용 전달량 이미지를 출력으로 한 데이터셋으로 학습 모델이 기계학습을 수행하는 단계와, 입력 이미지에 대해 상기 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성하는 단계와, 상기 기계학습이 수행된 학습 모델이 상기 전처리 이미지로부터 복원용 전달량 이미지를 생성하는 단계와, 상기 복원용 전달량 이미지를 이용하여 상기 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성하는 단계를 포함할 수 있다.
여기서, 상기 학습대상 이미지를 생성하는 단계는, 상기 원시 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 학습대상 이미지를 생성할 수 있다.
상기 학습용 전달량 이미지를 추출하는 단계는, 상기 원시 이미지에서 거리에 따른 안개의 농도를 나타내는 다크채널 프라이어를 생성하는 단계와, 상기 다크채널 프라이어를 기초로 하여 상기 원시 이미지로부터 상기 학습용 전달량 이미지를 추출하는 단계를 포함할 수 있다.
상기 전처리 이미지를 생성하는 단계는, 상기 입력 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 전처리 이미지를 생성할 수 있다.
상기 복원용 전달량 이미지를 생성하는 단계는, CNN(Convolutional Neural Network) 모델을 상기 학습 모델로서 이용할 수 있다.
상기 복원 이미지를 생성하는 단계는, 상기 CNN 모델에 의해 크기가 축소된 상기 복원용 전달량 이미지를 상기 입력 이미지와 동일한 크기로 확대한 후에 안개 성분의 제거에 이용할 수 있다.
본 발명의 제 2 관점에 따르면, 상기 안개 제거 장치에서 수행되는 안개 제거 방법을 프로세서가 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명의 제 3 관점에 따르면, 이미지들을 입력 받는 입력부와, 상기 이미지들에 대한 기계학습을 수행하는 학습 모델을 포함하는 기계학습부와, 상기 이미지들에 대한 영상 처리를 수행하는 처리부와, 상기 처리부에 의해 영상 처리가 된 이미지를 출력하는 출력부와, 상기 이미지들에 대한 기계학습, 영상 처리 및 출력을 제어하는 제어부를 포함하며, 상기 제어부는, 상기 입력부를 통해 입력 받은 안개 성분이 포함된 원시 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 학습대상 이미지를 생성하도록 상기 처리부를 제어하고, 상기 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성하도록 상기 처리부를 제어하며, 상기 학습대상 이미지를 입력으로 하고 상기 학습용 전달량 이미지를 출력으로 한 데이터셋으로 상기 기계학습부가 기계학습을 수행하도록 제어하고, 입력 이미지에 대해 상기 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성하도록 상기 처리부를 제어하며, 상기 기계학습이 수행된 학습 모델이 상기 전처리 이미지로부터 복원용 전달량 이미지를 생성하도록 상기 기계학습부를 제어하고, 상기 복원용 전달량 이미지를 이용하여 상기 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성하도록 상기 처리부를 제어하며, 상기 복원 이미지를 출력하도록 상기 출력부를 제어할 수 있다.
여기서, 상기 처리부는, 상기 원시 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 학습대상 이미지를 생성할 수 있다.
상기 처리부는, 상기 원시 이미지에서 거리에 따른 안개의 농도를 나타내는 다크채널 프라이어를 생성한 후, 상기 다크채널 프라이어를 기초로 하여 상기 원시 이미지로부터 상기 학습용 전달량 이미지를 추출할 수 있다.
상기 처리부는, 상기 입력 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 전처리 이미지를 생성할 수 있다.
상기 기계학습부는, CNN 모델을 상기 학습 모델로서 이용할 수 있다.
상기 처리부는, 상기 CNN 모델에 의해 크기가 축소된 상기 복원용 전달량 이미지를 상기 입력 이미지와 동일한 크기로 확대한 후에 안개 성분의 제거에 이용할 수 있다.
본 발명의 실시예에 따르면, 모델 기반 방식에 기계학습을 접목시켜 전달량을 신속하고 정확하게 산출할 수 있다.
따라서, 실시간 이미지 처리를 통해 안개 성분이 제거된 복원 이미지를 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 안개 제거 방법을 수행할 수 있는 안개 제거 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 안개 제거 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 안개 제거 방법과 종래 기술을 비교한 이미지들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 안개 제거 방법을 수행할 수 있는 안개 제거 장치의 블록 구성도이다.
이에 나타낸 바와 같이 실시예에 따른 안개 제거 장치(100)는 입력부(110), 기계학습부(120), 처리부(130), 출력부(140), 제어부(150)를 포함한다. 이 중에서 기계학습부(120)와 처리부(130) 및 제어부(150)는 마이크로프로세서로 구현할 수 있다.
입력부(110)는 이미지들을 입력 받는다.
기계학습부(120)는 이미지들에 대한 기계학습을 수행하는 학습 모델을 포함한다. 이러한 기계학습부(120)는 CNN(Convolutional Neural Network) 모델을 학습 모델로서 이용할 수 있다.
처리부(130)는 이미지들에 대한 영상 처리를 수행한다.
출력부(140)는 처리부(130)에 의해 영상 처리가 된 이미지를 출력한다.
제어부(150)는 이미지들에 대한 기계학습, 영상 처리 및 출력을 제어한다.
이러한 제어부(150)는 입력부(110)를 통해 입력 받은 안개 성분이 포함된 원시 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 학습대상 이미지를 생성하도록 처리부(130)를 제어한다.
그리고, 제어부(150)는 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성하도록 처리부(130)를 제어한다.
또, 제어부(150)는 학습대상 이미지를 입력으로 하고 학습용 전달량 이미지를 출력으로 한 데이터셋으로 기계학습부(120)가 기계학습을 수행하도록 제어한다.
아울러, 제어부(150)는 입력 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성하도록 처리부(130)를 제어한다.
그리고, 제어부(150)는 기계학습이 수행된 학습 모델이 전처리 이미지로부터 복원용 전달량 이미지를 생성하도록 기계학습부(120)를 제어한다.
또, 제어부(150)는 복원용 전달량 이미지를 이용하여 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성하도록 처리부(130)를 제어한다.
아울러, 제어부(150)는 복원 이미지를 출력하도록 출력부(140)를 제어한다.
이러한 제어부(150)의 제어에 따라 처리부(130)는 원시 이미지를 대기산란광으로 제산하는 영상 처리를 포함하여 학습대상 이미지를 생성한다. 그리고, 처리부(130)는 제어부(150)의 제어에 따라 원시 이미지에서 거리에 따른 안개의 농도를 나타내는 다크채널 프라이어를 생성한 후, 다크채널 프라이어를 기초로 하여 원시 이미지로부터 학습용 전달량 이미지를 추출한다. 아울러, 처리부(130)는 제어부(150)의 제어에 따라 입력 이미지를 대기산란광으로 제산하는 영상 처리를 포함하여 전처리 이미지를 생성한다. 또, 처리부(130)는 제어부(150)의 제어에 따라 CNN 모델에 의해 크기가 축소된 복원용 전달량 이미지를 입력 이미지와 동일한 크기로 확대한 후에 안개 성분의 제거에 이용한다.
도 2는 본 발명의 실시예에 따른 안개 제거 방법을 설명하기 위한 흐름도이다.
이에 나타낸 바와 같이 실시예에 따른 안개 제거 방법은, 안개 성분이 포함된 원시 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 학습대상 이미지를 생성하는 단계(S210)를 포함한다. 여기서, 원시 이미지를 대기산란광으로 제산하는 영상 처리를 포함하여 학습대상 이미지를 생성할 수 있다.
그리고, 원시 이미지에서 거리에 따른 안개의 농도를 나타내는 다크채널 프라이어를 생성하는 단계(S220)를 더 포함한다.
이어서, 다크채널 프라이어를 기초로 하여 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성하는 단계(S230)를 더 포함한다.
그리고, 학습대상 이미지를 입력으로 하고 학습용 전달량 이미지를 출력으로 한 데이터셋으로 학습 모델이 기계학습을 수행하는 단계(S240)를 더 포함한다.
아울러, 입력 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성하는 단계(S250)를 더 포함한다. 여기서, 입력 이미지를 대기산란광으로 제산하는 영상 처리를 포함하여 전처리 이미지를 생성할 수 있다.
그리고, 기계학습이 수행된 학습 모델이 전처리 이미지로부터 복원용 전달량 이미지를 생성하는 단계(S260)를 더 포함한다. 여기서, CNN 모델을 학습 모델로서 이용하여 복원용 전달량 이미지를 생성할 수 있다.
또, 학습 모델에 의해 크기가 축소된 복원용 전달량 이미지를 입력 이미지와 동일한 크기로 확대하는 단계(S270)를 더 포함한다.
다음으로, 확대된 복원용 전달량 이미지를 이용하여 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성하는 단계(S280)를 더 포함한다.
이하, 본 발명의 실시예에 따른 안개 제거 장치가 이미지로부터 안개 성분을 제거하여 복원 이미지를 생성하는 과정을 더 자세히 살펴보기로 한다.
본 발명은 안개 이미지의 개선에 이용되던 모델 기반 방식에 기계학습을 접목시켜서 대기 매개 변수인 전달량을 신속하고 정확하게 산출한다. 이를 위해 안개 제거 장치(100)는 기계학습을 선행하여야 한다. 이러한 기계학습 과정을 살펴보기로 한다.
먼저, 입력부(110)를 통해 안개 성분이 포함된 원시 이미지가 입력되면 처리부(130)는 대기산란광을 이용한 영상 처리를 수행하여 기계학습에 이용할 학습대상 이미지를 생성한다(S210).
여기서, 안개 제거 장치(100)가 안개 성분이 포함된 입력 이미지로부터 안개 성분을 제거한 복원 이미지를 생성하기 위한 것이기에, 입력 이미지에 대응하는 원시 이미지를 기계학습에 그대로 이용할 수도 있다. 예컨대, 원시 이미지를 입력으로 하고 이로부터 안개 성분을 제거한 복원 이미지를 출력으로 한 데이터셋으로 기계학습을 수행할 수도 있는 것이다. 하지만, 원시 이미지로부터 복원 이미지를 생성하기 까지는 여러 단계의 영상 처리를 거쳐야 하며, 이들을 모두 기계학습으로 대체한다면 복원 이미지가 정확히 생성되기를 기대하기가 어렵다.
한편, 안개가 포함된 이미지를 표현하기 위해 수학식 1과 같은 Koschmider 모델이 널리 이용되고 있다.
Figure 112016019307203-pat00001
여기서, I(x)는 안개 성분이 포함된 원시 이미지이며, J(x)는 안개 성분이 제거된 복원 이미지이고, t(x)는 전달량이며, A는 대기산란광이다.
수학식 1에서 알 수 있듯이 대기 매개 변수인 전달량을 산출할 수 있다면 변수가 하나 제거되어 복원 이미지 J(x)를 얻기 용이하다고 볼 수 있다. 이를 반영하여, 원시 이미지를 입력으로 하고 이로부터 산출할 수 있는 전달량 t(x)을 출력으로 한 데이터셋으로 기계학습을 수행할 수도 있는 것이다. 하지만, 원시 이미지로부터 전달량 t(x)을 산출하기까지도 여러 단계의 처리 과정을 거쳐야 하며, 이들을 기계학습으로 대체하더라도 복원 이미지가 정확히 생성되기를 기대하기가 어렵다.
본 발명에서는 원시 이미지 I(x)로부터 복원 이미지 J(x)를 생성하기까지의 또 다른 변수인 대기산란광(A)을 기계학습에 이용하며, 입력부(110)를 통해 안개 성분이 포함된 원시 이미지(I)가 입력되면 처리부(130)는 대기산란광(A)을 이용한 영상 처리를 수행하여 기계학습에 이용할 학습대상 이미지를 생성하는 것이다. 예컨대, 처리부(130)는 제어부(150)의 제어에 따라 원시 이미지 I(x)를 대기산란광(A)으로 제산하는 영상 처리를 포함하여 학습대상 이미지를 생성할 수 있으며, 수학식 2와 같은 영상 처리 과정을 통하여 학습대상 이미지를 생성할 수 있다.
Figure 112016019307203-pat00002
아울러, 처리부(130)는 수학식 2를 통해 생성된 학습대상 이미지와 함께 기계학습에 이용하기 위하여 원시 이미지 I(x)로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성한다.
이처럼, 학습용 전달량 이미지를 생성하기 위해 처리부(130)는 원시 이미지에서 거리에 따른 안개의 농도를 나타내는 다크채널 프라이어를 생성하며(S220), 다크채널 프라이어를 기초로 하여 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성한다(S230). 여기서, 다크채널 프라이어를 기초로 하여 모델 기반 방식으로 전달량을 산출하는 과정은 미국등록특허 제8340461호 등에 개시되어 있다.
이렇게, 처리부(130)에 의해 학습대상 이미지와 학습용 전달량 이미지가 생성되면 기계학습부(120)로 전달되며, 기계학습부(120)의 학습 모델이 제어부(150)의 제어에 따라 학습대상 이미지를 입력으로 하고 학습용 전달량 이미지를 출력으로 한 데이터셋으로 기계학습을 수행한다(S240). 예컨대, 기계학습부(120)는 딥러닝(deep learning)을 통해 기계학습을 수행할 수 있다. 딥러닝은 기계학습의 한 분야로서 인간 두뇌의 신경세포인 뉴런을 모방한 인공신경망(artificial neural network)을 활용하는 기계학습을 말한다. 보통 인공신경망을 다층 구조로 형성하기에 DNN(Deep Neural Network)이라 부르며, DNN을 활용한 기계학습을 딥러닝이라 부른다.
다음으로, 안개 성분이 포함된 입력 이미지가 입력부(110)로 입력되면 처리부(130)는 제어부(150)의 제어에 따라 입력 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성한다(S250). 여기서, 처리부(130)는 단계 S210에서 학습대상 이미지를 생성할 때와 동일한 영상 처리를 통해 전처리 이미지를 생성할 수 있다. 예컨대, 입력 이미지를 대기산란광으로 제산하는 영상 처리를 포함하여 전처리 이미지를 생성할 수 있다.
그리고, 처리부(130)에서 생성된 전처리 이미지는 기계학습부(120)로 전달되며, 단계 S240에서 기계학습을 수행한 기계학습부(120)의 학습 모델은 전처리 이미지로부터 복원용 전달량 이미지를 생성한다(S260).
여기서, 기계학습부(120)는 CNN(Convolutional Neural Network), RBM(Restricted Boltzmann Machine), RNN(Recurrent Neural Network) 등과 같은 딥러닝 모델을 학습 모델로서 이용하여 복원용 전달량 이미지를 생성할 수 있다.
예컨대, CNN 모델을 학습 모델로서 이용할 수 있다. 이러한 CNN 모델은 컴퓨터 비젼(computer vision)에 특화된 네트워크이며, 인간의 시신경 구조를 모방하여 인간이 비젼 정보를 처리하는 것을 흉내 낸 모형이고, 합성곱 계층(convolutional layer), 통합 계층(pooling layer), 완전 연결 계층(fully connected layer)으로 구성되어 있다. 합성곱 계층은 이미지의 특징을 추출하는 계층이다. 통합 계층은 합성곱 계층에서 추출한 특징의 차원을 줄이는 계층이다. 이미지 특성상 픽셀의 계수가 너무 많을 때에 서브샘플링(sub-sampling)하는 과정을 통합(pooling)이라 한다. 완전 연결 계층은 합성곱 계층과 통합 계층에서 나온 특징들을 이용해서 분류를 할 때에 사용된다. 예컨대, 제 1 합성곱 계층, 제 1 통합 계층, 제 2 합성곱 계층, 제 2 통합 계층, 제 3 합성곱 계층, 제 4 합성곱 계층, 제 5 합성곱 계층, 제 3 통합 계층, 제 1 완전 연결 계층, 제 2 완전 연결 계층, 제 3 완전 연결 계층의 순서로 복수의 계층을 배열 및 구성할 수 있다.
그리고, 처리부(130)는 학습 모델에 의해 크기가 축소된 복원용 전달량 이미지를 제어부(150)의 제어에 따라 입력 이미지와 동일한 크기로 확대한다(S270). 예컨대, 이미지 확대는 2중 선형 보간법(bilinear interpolation)으로 수행할 수 있다.
다음으로, 처리부(130)는 단계 S270에서 확대된 복원용 전달량 이미지를 이용하여 제어부(150)의 제어에 따라 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성한다.
여기서, 처리부(130)는 수학식 3을 이용하여 입력 이미지로부터 복원 이미지를 생성할 수 있다.
Figure 112016019307203-pat00003
여기서, max(t(x), t0)를 사용하는 이유는 만약 t가 너무 작은 값이라면 나눗셈의 결과가 너무 커질 수 있기에 최소 한계값(t0)을 정해주는 것이다. J, A, I, t는 전부 숫자 하나의 값을 가지는 것이 아니라 여러 개의 픽셀 볼륨(value)으로 이루어진 매트릭스(matrix)이다.
그러면, 출력부(140)는 처리부(130)에 의해 생성된 복원 이미지를 제어부(150)의 제어에 따라 출력하게 된다(S280).
도 3은 본 발명의 실시예에 따른 안개 제거 방법과 종래 기술을 비교한 이미지들이다.
도 3에서, (a)는 단계 S250에서 입력부(110)로 입력되는 입력 이미지이다. (b2)는 단계 S260에서 생성된 복원용 전달량 이미지이며, (c2)는 단계 S270에서 확대된 이미지이고, (d2)는 단계 S280에서 출력된 복원 이미지이다. (b1)은 종래 기술에 따라 추정된 전달량 이미지이고, (c1)은 종래 기술에 따라 보정된 전달량 이미지이며, (d1)은 종래 기술에 따른 복원 이미지이다. 예컨대, 227x227 크기의 입력 이미지로부터 복원 이미지를 생성하기까지의 소요 시간을 시험한 결과에 따르면 종래 기술은 (d1)이 생성되기까지 약 6.64초가 소요되었으나, 본 발명에서는 (d2)가 생성되기까지 약 0.58초가 소요되었다.
지금까지 설명한 바와 같이, 본 발명의 실시예에 따르면 모델 기반 방식에 기계학습을 접목시켜 전달량을 신속하고 정확하게 산출할 수 있다.
따라서, 실시간 이미지 처리를 통해 안개 성분이 제거된 복원 이미지를 생성할 수 있다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 안개 제거 장치 101 : 마이크로프로세서
110 : 입력부 120 : 처리부
130 : 제어부 140 : 기계학습부
150 : 출력부

Claims (13)

  1. 안개 제거 장치에 의해 수행되는 안개 제거 방법으로서,
    안개 성분이 포함된 원시 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 학습대상 이미지를 생성하는 단계와,
    상기 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성하는 단계와,
    상기 학습대상 이미지를 입력으로 하고 상기 학습용 전달량 이미지를 출력으로 한 데이터셋으로 학습 모델이 기계학습을 수행하는 단계와,
    입력 이미지에 대해 상기 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성하는 단계와,
    상기 기계학습이 수행된 학습 모델이 상기 전처리 이미지로부터 복원용 전달량 이미지를 생성하는 단계와,
    상기 복원용 전달량 이미지를 이용하여 상기 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성하는 단계를 포함하는 안개 제거 방법.
  2. 제 1 항에 있어서,
    상기 학습대상 이미지를 생성하는 단계는,
    상기 원시 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 학습대상 이미지를 생성하는 안개 제거 방법.
  3. 제 1 항에 있어서,
    상기 학습용 전달량 이미지를 생성하는 단계는,
    상기 원시 이미지에서 거리에 따른 안개의 농도를 나타내는 다크채널 프라이어를 생성하는 단계와,
    상기 다크채널 프라이어를 기초로 하여 상기 원시 이미지로부터 상기 학습용 전달량 이미지를 추출하는 단계를 포함하는 안개 제거 방법.
  4. 제 1 항에 있어서,
    상기 전처리 이미지를 생성하는 단계는,
    상기 입력 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 전처리 이미지를 생성하는 안개 제거 방법.
  5. 제 1 항에 있어서,
    상기 복원용 전달량 이미지를 생성하는 단계는,
    CNN(Convolutional Neural Network) 모델을 상기 학습 모델로서 이용하는 안개 제거 방법.
  6. 제 5 항에 있어서,
    상기 복원 이미지를 생성하는 단계는,
    상기 CNN 모델에 의해 크기가 축소된 상기 복원용 전달량 이미지를 상기 입력 이미지와 동일한 크기로 확대한 후에 안개 성분의 제거에 이용하는 안개 제거 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항의 안개 제거 장치에서 수행되는 안개 제거 방법을 프로세서가 수행하도록 하는
    컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
  8. 이미지들을 입력 받는 입력부와,
    상기 이미지들에 대한 기계학습을 수행하는 학습 모델을 포함하는 기계학습부와,
    상기 이미지들에 대한 영상 처리를 수행하는 처리부와,
    상기 처리부에 의해 영상 처리가 된 이미지를 출력하는 출력부와,
    상기 이미지들에 대한 기계학습, 영상 처리 및 출력을 제어하는 제어부를 포함하며,
    상기 제어부는,
    상기 입력부를 통해 입력 받은 안개 성분이 포함된 원시 이미지에 대해 대기산란광을 이용한 영상 처리를 수행하여 학습대상 이미지를 생성하도록 상기 처리부를 제어하고,
    상기 원시 이미지로부터 모델 기반 방식으로 학습용 전달량 이미지를 생성하도록 상기 처리부를 제어하며,
    상기 학습대상 이미지를 입력으로 하고 상기 학습용 전달량 이미지를 출력으로 한 데이터셋으로 상기 기계학습부가 기계학습을 수행하도록 제어하고,
    입력 이미지에 대해 상기 대기산란광을 이용한 영상 처리를 수행하여 전처리 이미지를 생성하도록 상기 처리부를 제어하며,
    상기 기계학습이 수행된 학습 모델이 상기 전처리 이미지로부터 복원용 전달량 이미지를 생성하도록 상기 기계학습부를 제어하고,
    상기 복원용 전달량 이미지를 이용하여 상기 입력 이미지에서 안개 성분을 제거한 복원 이미지를 생성하도록 상기 처리부를 제어하며,
    상기 복원 이미지를 출력하도록 상기 출력부를 제어하는 안개 제거 장치.
  9. 제 8 항에 있어서,
    상기 처리부는,
    상기 원시 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 학습대상 이미지를 생성하는 안개 제거 장치.
  10. 제 8 항에 있어서,
    상기 처리부는,
    상기 원시 이미지에서 거리에 따른 안개의 농도를 나타내는 다크채널 프라이어를 생성한 후, 상기 다크채널 프라이어를 기초로 하여 상기 원시 이미지로부터 상기 학습용 전달량 이미지를 추출하는 안개 제거 장치.
  11. 제 8 항에 있어서,
    상기 처리부는,
    상기 입력 이미지를 상기 대기산란광으로 제산하는 영상 처리를 포함하여 상기 전처리 이미지를 생성하는 안개 제거 장치.
  12. 제 8 항에 있어서,
    상기 기계학습부는,
    CNN(Convolutional Neural Network) 모델을 상기 학습 모델로서 이용하는 안개 제거 장치.
  13. 제 12 항에 있어서,
    상기 처리부는,
    상기 CNN 모델에 의해 크기가 축소된 상기 복원용 전달량 이미지를 상기 입력 이미지와 동일한 크기로 확대한 후에 안개 성분의 제거에 이용하는 안개 제거 장치.


KR1020160023568A 2016-02-26 2016-02-26 안개 제거 방법 및 장치 KR101746712B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160023568A KR101746712B1 (ko) 2016-02-26 2016-02-26 안개 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160023568A KR101746712B1 (ko) 2016-02-26 2016-02-26 안개 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101746712B1 true KR101746712B1 (ko) 2017-06-13

Family

ID=59218770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160023568A KR101746712B1 (ko) 2016-02-26 2016-02-26 안개 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101746712B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933856B1 (ko) * 2017-07-03 2018-12-31 (주)시정 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법
KR102124497B1 (ko) * 2020-03-02 2020-06-18 엔에이치네트웍스 주식회사 영상 개선 장치
KR102233402B1 (ko) * 2019-12-05 2021-03-29 주식회사 딥비전스 미세먼지 농도 추정 방법 및 이를 수행하기 위한 장치
KR102238629B1 (ko) * 2020-10-13 2021-04-09 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 시스템 및 방법
KR20220059817A (ko) * 2020-11-03 2022-05-10 건국대학교 산학협력단 미세 먼지 수준 추정 방법 및 장치
CN114636648A (zh) * 2022-01-25 2022-06-17 中国北方车辆研究所 一种基于目标检测反馈的雾浓度估计方法
WO2022196941A1 (ko) * 2021-03-17 2022-09-22 한국전기연구원 영상 강화 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
US11538139B2 (en) 2020-08-07 2022-12-27 Samsung Electronics Co., Ltd. Method and apparatus with image processing
KR20230069528A (ko) 2021-11-12 2023-05-19 중앙대학교 산학협력단 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547059B1 (ko) 2014-02-24 2015-08-25 창원대학교 산학협력단 영상의 안개 제거 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547059B1 (ko) 2014-02-24 2015-08-25 창원대학교 산학협력단 영상의 안개 제거 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
유제택 외 3명, "근적외선 영상의 특성을 활용한 안개 제거 알고리즘", 전자공학회논문지 제52권 제11호, 2015.11, pp.115-123(2015.11.30.)*

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933856B1 (ko) * 2017-07-03 2018-12-31 (주)시정 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법
KR102233402B1 (ko) * 2019-12-05 2021-03-29 주식회사 딥비전스 미세먼지 농도 추정 방법 및 이를 수행하기 위한 장치
KR102124497B1 (ko) * 2020-03-02 2020-06-18 엔에이치네트웍스 주식회사 영상 개선 장치
US11538139B2 (en) 2020-08-07 2022-12-27 Samsung Electronics Co., Ltd. Method and apparatus with image processing
KR102238629B1 (ko) * 2020-10-13 2021-04-09 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 시스템 및 방법
KR20220059817A (ko) * 2020-11-03 2022-05-10 건국대학교 산학협력단 미세 먼지 수준 추정 방법 및 장치
KR102446490B1 (ko) 2020-11-03 2022-09-23 건국대학교 산학협력단 미세 먼지 수준 추정 방법 및 장치
WO2022196941A1 (ko) * 2021-03-17 2022-09-22 한국전기연구원 영상 강화 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
KR20230069528A (ko) 2021-11-12 2023-05-19 중앙대학교 산학협력단 보완적인 적대적 학습을 통한 이미지에서의 안개 제거 방법 및 장치
CN114636648A (zh) * 2022-01-25 2022-06-17 中国北方车辆研究所 一种基于目标检测反馈的雾浓度估计方法

Similar Documents

Publication Publication Date Title
KR101746712B1 (ko) 안개 제거 방법 및 장치
TW202134997A (zh) 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備
JP2020160616A (ja) 生成装置、コンピュータプログラム、生成方法
CN107644225A (zh) 肺部病灶识别方法、装置和实现装置
TWI526990B (zh) 用以轉換二維影像為三維模型的影像處理方法
JP7303844B2 (ja) データ拡張システム、データ拡張方法、及びプログラム
CN111080531B (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
US11068746B2 (en) Image realism predictor
JP2020129276A5 (ko)
Montulet et al. Deep learning for robust end-to-end tone mapping
CN111243051B (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
CN113947537A (zh) 图像去雾方法、装置及设备
JP7353803B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113642576B (zh) 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
CN112528782B (zh) 水下鱼类目标检测方法及装置
RU2697627C1 (ru) Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
Jiménez-Sánchez et al. Morphological background detection and enhancement of images with poor lighting
CN112561813A (zh) 人脸图像增强方法、装置、电子设备及存储介质
CN112819699A (zh) 视频处理方法、装置及电子设备
CN112801911B (zh) 一种去除自然图像中文字类噪声的方法及装置、存储介质
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
JP2023508641A (ja) データ増強基盤事物分析モデル学習装置及び方法
Pan et al. ChebyLighter: Optimal Curve Estimation for Low-light Image Enhancement
US11900564B2 (en) Storage medium storing program, image processing apparatus, and training method of machine learning model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant