KR20230030728A - 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법 - Google Patents

통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법 Download PDF

Info

Publication number
KR20230030728A
KR20230030728A KR1020210112750A KR20210112750A KR20230030728A KR 20230030728 A KR20230030728 A KR 20230030728A KR 1020210112750 A KR1020210112750 A KR 1020210112750A KR 20210112750 A KR20210112750 A KR 20210112750A KR 20230030728 A KR20230030728 A KR 20230030728A
Authority
KR
South Korea
Prior art keywords
image
neural network
parameter
fog
target image
Prior art date
Application number
KR1020210112750A
Other languages
English (en)
Other versions
KR102552308B1 (ko
Inventor
임창훈
오형석
김혜나
김예진
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020210112750A priority Critical patent/KR102552308B1/ko
Publication of KR20230030728A publication Critical patent/KR20230030728A/ko
Application granted granted Critical
Publication of KR102552308B1 publication Critical patent/KR102552308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/24—Fluid dynamics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 방법은, 안개 성분을 포함하는 학습 이미지를 준비하는 단계, 상기 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 상기 신경망을 구축하는 단계, 대상 이미지를 수신하는 단계 및 상기 신경망에 기초하여 상기 대상 이미지를 안개 제거 이미지로 변환하는 단계를 포함할 수 있다.

Description

통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법{HAZE REMOVAL APPRARATUS AND METHOD USING UNIFIED FUNCTION BASED ON NEURAL NETWORKS}
본원은 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법에 관한 것이다.
영상 내의 안개(Haze)는 대기 입자가 무작위 각도에서 산란 되어 시각적 정보를 가지면서 발생한다. 이러한 안개(Haze)에 의해 왜곡된 특징은 물체 검출이나 인식 같은 높은 레벨의 컴퓨터 비전의 성능을 저하시킨다.
이와 관련하여 대기 산란 모델은 안개가 없는 클린 이미지로부터 안개 이미지(hazy image)로의 변환을 설명하는 물리학적 모델로서, 이러한 대기 산란 모델에서 전역 대기 산란광(Global atmospheric light) 및 전달 맵(transmission map)은 안개 성분의 제거를 위한 중요한 매개변수로 작용한다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1746712호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 안개 제거를 위한 주요 매개변수를 단일의 통합된 함수로 취급하여 학습하는 딥러닝 네트워크 모델을 포함하는 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 방법은, 안개 성분을 포함하는 학습 이미지를 준비하는 단계, 상기 학습 이미지에 기초하여 상기 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 상기 신경망을 구축하는 단계, 대상 이미지를 수신하는 단계 및 상기 신경망에 기초하여 상기 대상 이미지를 안개 제거 이미지로 변환하는 단계를 포함할 수 있다.
또한, 상기 제1매개변수는 전역 대기 산란광(Global atmospheric light)일 수 있다.
또한, 상기 제2매개변수는 전달 맵(transmission map)일 수 있다.
또한, 상기 변환하는 단계는, 상기 신경망을 통해 상기 대상 이미지에 대응하는 변환 성분을 도출하는 단계 및 상기 대상 이미지에 상기 변환 성분을 합산하는 단계를 포함할 수 있다.
또한, 상기 통합 함수는 하기 식 1로 정의될 수 있다.
또한, 상기 신경망은 상기 학습 이미지 또는 상기 대상 이미지를 압축하여 피처의 수를 증가시키는 인코더(Encoder) 모듈 및 상기 압축된 이미지를 복원하는 디코더(Decoder) 모듈을 포함하는 오토인코더 구조일 수 있다.
또한, 상기 신경망은 이미지 내의 색상 특성의 복원을 위한 제1손실함수 및 이미지 내의 엣지 구조의 복원을 위한 제2손실함수에 기초하여 학습될 수 있다.
또한, 상기 변환 성분을 합산하는 단계는, 상기 신경망에 입력되는 상기 대상 이미지를 상기 신경망의 스킵 커넥션(Skip Connection)을 통해 상기 신경망의 출력 측으로 제공하여 상기 변환 성분과 합산할 수 있다.
또한, 상기 준비하는 단계는, 안개 성분을 미포함하는 그라운드 트루스 이미지로부터 상기 제1매개변수 및 상기 제2매개변수 중 적어도 하나를 조정하여 합성한 이미지를 상기 학습 이미지로서 획득할 수 있다.
한편, 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 장치는, 안개 성분을 포함하는 학습 이미지를 준비하는 수집부, 상기 학습 이미지에 기초하여 상기 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 상기 신경망을 구축하는 학습부 및 대상 이미지를 수신하고, 상기 신경망에 기초하여 상기 대상 이미지를 안개 제거 이미지로 변환하는 변환부를 포함할 수 있다.
또한, 상기 변환부는, 상기 신경망을 통해 상기 대상 이미지에 대응하는 변환 성분을 도출하고, 상기 대상 이미지에 상기 변환 성분을 합산할 수 있다.
또한, 상기 변환부는, 상기 신경망에 입력되는 상기 대상 이미지를 상기 신경망의 스킵 커넥션(Skip Connection)을 통해 상기 신경망의 출력 측으로 제공하여 상기 변환 성분과 합산할 수 있다.
또한, 상기 수집부는, 안개 성분을 미포함하는 그라운드 트루스 이미지로부터 상기 제1매개변수 및 상기 제2매개변수 중 적어도 하나를 조정하여 합성한 이미지를 상기 학습 이미지로서 획득할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 안개 제거를 위한 주요 매개변수를 단일의 통합된 함수로 취급하여 학습하는 딥러닝 네트워크 모델을 포함하는 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 기존의 안개 제거 네트워크가 복수의 매개변수에 대한 개별적인 학습을 통해 구축되거나, 추가적으로 복잡한 연산이 필요한데 반해, 추가적인 연산을 요하지 않는 통합된 함수를 네트워크에 학습시키고, 입력 이미지에 대한 안개 제거 동작이 덧셈 연산만으로도 이루어지도록 하여 연산 복잡도가 획기적으로 감소될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 장치를 포함하는 영상 처리 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 통합 함수를 이용한 신경망의 구조를 나타낸 개념도이다.
도 3은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망의 하위 모듈 별 세부 구조를 나타낸 개념도이다.
도 4a 및 도 4b는 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 기법에 의한 영상 변환 결과와 종래의 안개 제거 기법에 의한 영상 변환 결과를 비교하여 나타낸 도면이다.
도 5a 및 도 5b는 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 기법과 종래의 안개 제거 기법의 성능을 정량적으로 비교하여 나타낸 도표이다.
도 6은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 장치를 포함하는 영상 처리 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 영상 처리 시스템(10)은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 장치(100)(이하, '안개 제거 장치(100)'라 한다.), 학습 이미지 데이터베이스(200), 촬영 디바이스(300) 및 사용자 단말(400)을 포함할 수 있다.
안개 제거 장치(100), 학습 이미지 데이터베이스(200), 촬영 디바이스(300) 및 사용자 단말(400) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
본원의 실시예에 관한 설명에서 촬영 디바이스(300)는 안개 제거 장치(100)에 의해 안개 제거 이미지로 변환될 대상 이미지를 촬영하기 위한 디바이스일 수 있다. 또한, 본원의 실시예에 관한 설명에서 사용자 단말(400)은 안개 제거 장치(100)에 의해 변환된 안개 제거 이미지를 출력하기 위한 디바이스일 수 있다.
참고로, 도 1은 촬영 디바이스(300)와 사용자 단말(400)이 각기 구분되는 하드웨어 장치인 것으로 도시하나, 이에만 한정되는 것은 아니고, 본원의 구현예에 따라 안개 제거 장치(100)는 사용자 단말(400)로부터 대상 이미지를 수신하고, 수신한 대상 이미지를 안개 제거 이미지로 변환하여 사용자 단말(400)로 전송하여 사용자 단말(400)을 통해 안개 제거 이미지가 출력되도록 할 수 있다. 이 때, 촬영 디바이스(300)는 구체적으로 사용자 단말(400)에 탑재(내장)되는 카메라 모듈을 지칭하는 것일 수 있다.
사용자 단말(400)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
안개 제거 장치(100)는 안개 성분을 포함하는 학습 이미지를 준비할 수 있다. 예를 들어, 안개 제거 장치(100)는 기 구축된 학습 이미지 데이터베이스(200)로부터 안개 성분을 포함하는 학습 이미지를 포함하는 학습용 데이터 셋을 수신하는 것일 수 있다.
구체적으로, 학습 이미지 데이터베이스(200)에는 안개 성분을 미포함하는 그라운드 트루스 이미지(실질적으로 안개 성분이 반영되는 정도가 미비하여 안개 성분이 미존재하는 클린 이미지로 취급될 수 있는 수준의 이미지를 포함한다.)의 파라미터 중 후술하는 대기 산란 모델과 연계된 제1매개변수 및 제2매개변수 중 적어도 하나를 조정하는 방식으로 합성한 이미지가 안개 성분을 포함하는 학습 이미지로서 저장되는 것일 수 있다.
달리 말해, 안개 제거 장치(100)는 안개 성분을 미포함하는 클린 이미지인 그라운드 트루스 이미지와 해당 그라운드 트루스 이미지에 기초하여 안개 성분을 포함하도록 합성된 학습 이미지를 한 쌍으로 포함하는 다수의 데이터 셋을 신경망의 구축을 위한 학습 데이터로서 획득할 수 있다.
또한, 안개 제거 장치(100)는 준비(수집)된 학습 이미지에 기초하여 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 신경망(1)을 구축할 수 있다.
이하에서는 대기 산란 모델(atmospheric scattering model)과 이와 관련한 제1매개변수 및 제2매개변수에 대하여 설명하고, 본원에서 개시하는 안개 제거 장치(100)가 보유한 신경망이 학습하는 제1매개변수 및 제2매개변수를 함께 포함하는 통합 함수에 대하여 설명하도록 한다.
대기 산란 모델(atmospheric scattering model)은 하기 식 1-1로 정의될 수 있다.
[식 1-1]
Figure pat00001
여기서, I(x)는 안개 성분을 포함할 수 있는 관찰 이미지이고, J(x)는 관찰 이미지에 대응하여 안개 성분이 제거된 선명한 이미지인 클린 이미지이고, A는 제1매개변수이고, t(x)는 제2매개변수일 수 있다.
구체적으로, 본원의 실시예에 관한 설명에서 제1매개변수는 전역 대기 산란광(Global atmospheric light)일 수 있다. 또한, 본원의 실시예에 관한 설명에서 제2매개변수는 전달 맵(transmission map)일 수 있다.
이와 관련하여, 제2매개변수인 전달 맵(transmission map)은 하기 식 1-2에 의해 도출될 수 있다.
[식 1-2]
Figure pat00002
여기서, d(x)는 관찰 대상인 물체와 카메라(예를 들면, 촬영 디바이스(300)의 카메라 모듈 등) 사이의 거리이고, β는 산란 계수(scattering coefficient)일 수 있다.
이와 관련하여, 상기 식 1-1을 하기 식 1-3 및 식 1-4로 변형할 수 있다.
[식 1-3]
Figure pat00003
[식 1-4]
Figure pat00004
또한, 상기 식 1-4를 하기 식 1-5로 변형하여 클린 이미지에 대한 식으로 정리하면 다음과 같다.
[식 1-5]
Figure pat00005
여기서, R(x)는 본원에서 개시하는 '통합 함수'로서 후술하는 신경망(1)의 각 모듈은 제1매개변수인 A 및 제2매개변수인 t(x)를 함께 포함하는 통합된 단일 파라미터인 통합 함수를 매개변수로 하여 훈련될 수 있다. 참고로, 상기의 통합 함수는 본원의 구현예에 따라 안개 제거 함수(Haze Removal Function, HRF)로 달리 지칭될 수 있다.
또한, 본원의 일 실시예에 따르면, 전술한 통합 함수는 하기 식 1-6의 범위를 만족하는 값을 출력할 수 있다.
[식 1-6]
Figure pat00006
여기서, Imax는 관찰 이미지 또는 클린 이미지의 픽셀의 최대 값일 수 있다. 예를 들어, 관찰 이미지 또는 클린 이미지가 픽셀을 표현하기 위하여 8 bits를 사용하는 경우, Imax는 255로 결정될 수 있으며, 이에 대응하여 통합 함수의 출력은 -255 초과 255 미만의 유효 범위 내에서 결정될 수 있다.
이와 관련하여, 본원에서 개시하는 안개 제거 장치(100)는 하기 식 1으로 정의되며, 제1매개변수인 전역 대기 산란광(Global atmospheric light)에 대한 텀과 제2매개변수인 전달 맵(transmission map)에 대한 텀으로 이루어진 통합 함수를 단일 매개변수로 하여 후술하는 신경망을 구축하므로 입력된 대상 이미지로부터 안개 성분을 제거하는 기능을 수행하는 신경망의 학습 프로세스를 간소화하며, 학습된 신경망에 의해 출력되는 변환 성분(달리 말해, 통합 함수의 출력 값)을 입력된 대상 이미지에 단순 합산하는 연산을 통해 안개 제거 이미지의 변환이 이루어지도록 하여 연산량 내지 연산을 위한 리소스 사용량을 획기적으로 절감할 수 있는 이점이 있다.
이하에서는 도 2 및 도 3을 참조하여 본원에서 개시하는 안개 제거 장치(100)에 의해 구축되는 신경망의 구조적 특성에 대하여 설명하도록 한다.
도 2는 본원의 일 실시예에 따른 통합 함수를 이용한 신경망의 구조를 나타낸 개념도이고, 도 3은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망의 하위 모듈 별 세부 구조를 나타낸 개념도이다.
도 2 및 도 3을 참조하면, 본원에서 개시하는 안개 제거 장치(100)에 의해 구축되는 신경망(1)은 학습 이미지 또는 대상 이미지를 압축하여 피처의 수를 증가시키는 인코더(Encoder) 모듈(11) 및 압축된 이미지를 복원하는 디코더(Decoder) 모듈(13)을 포함하는 오토인코더(Auto-Encoder) 구조의 신경망일 수 있다.
이와 관련하여, 오토인코더(Autoencoder)는 인코더(Encoder)와 디코더(Decoder)를 포함하는 구조로 이루어지는 비지도 학습 알고리즘으로서, 인코더는 인풋으로 입력된 원본 데이터를 축약하여 주요 특징을 벡터화하여 출력하도록 동작하며 디코더는 이러한 인코더의 출력값을 인풋으로 하여 원본 데이터를 재구축하도록 동작한다.
또한, 도 2 및 도 3을 참조하면, 신경망(1)은 메모리와 시간 복잡도를 줄이기 위한 복수 개의 병목 잔차 블록(Bottleneck Residual Block)을 포함하는 잔차 모듈(Residual module, 12)을 포함할 수 있다.
본원의 일 실시예에 따르면, 인코더 모듈(11)은 도 3에 도시된 바와 같이 3개의 채널을 가진 입력 이미지(예를 들면, 안개 제거 장치(100)로 제공되는 학습 이미지, 대상 이미지 등)에서 64개의 피처를 생성하는 입력 블록(121), 피처의 크기를 증가(예를 들면, N개의 피처를 2N개의 피처로 배로 증가)시키는 복수 개의 인코더 블록(112)을 포함할 수 있다. 예시적으로 인코더 블록(112)은 Encoder Block1 및 Encoder Block2와 같이 두 개 구비될 수 있으나 이에만 한정되는 것은 아니다.
또한, 본원의 일 실시예에 따르면, 잔차 모듈(12)은 도 3에 도시된 바와 같이 복수 개(예를 들면, 16개 등)의 병목 잔차 블록(121)으로 이루어져, 각각의 병목 잔차 블록(121)이 작게 분할된 조각 이미지로부터 피처(feature)를 추출하도록 동작할 수 있다. 이는 인코더 모듈(11)에 의해 도출되는 다수 개의 피처(예를 들면, 256개 피처)가 후반부의 딥러닝(deep learning) 시 과도한 리소스(메모리 등)를 소모하지 않도록 하기 위해 배치되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 디코더 모듈(13)은 도 3에 도시된 바와 같이 복수 개의 디코더 블록(132)과 출력 블록(131)으로 이루어져 인코더 모듈(11) 및 잔차 모듈(12)을 거쳐 추출된 피처들(features)로부터 기존 이미지 크기로의 복원 프로세스를 수행할 수 있다. 구체적으로, 디코더 모듈(13)은 인코더 모듈(11)과 대칭을 이루며, 분할된 피처를 통합하여 전술한 통합 함수(haze removal function)의 출력을 생성할 수 있다.
한편, 본원의 일 실시예에 따르면, 신경망(1)은 이미지 내의 색상 특성의 복원을 위한 제1손실함수 및 이미지 내의 엣지 구조의 복원을 위한 제2손실함수에 기초하여 학습되는 것일 수 있다.
보다 구체적으로, 색(intensity) 수준의 복원을 위한 제1손실함수는 평균 제곱 오차 함수(MSE loss)이고, 엣지 구조의 복원을 위한 제2손실함수는 edge loss함수일 수 있다. 또한, 본원의 일 실시예에 따르면, 엣지 구조 복원을 위한 제2손실함수는 n X n LoG(Laplacian of Gaussian) 가장자리 필터를 포함하며, 이미지에서 추출되는 가장자리(edge)의 L1-norm 값에 기초하여 손실함수를 연산할 수 있다. 본원의 일 실시예에 따르면, LoG 필터는 5 X 5 필터일 수 있으나, 이에만 한정되는 것은 아니다.
또한, 제1손실함수 및 제2손실함수를 함께 포함하는 신경망(1)의 전체 손실함수는 하기 식 2와 같이 정의될 수 있다.
[식 2]
Figure pat00007
여기서, L은 전체 손실함수이고, Lmse는 제1손실함수이고, Ledge는 제2손실함수이고, λ는 임의의 상수일 수 있다.
또한, 안개 제거 장치(100)는 안개 성분을 제거하는 변환을 수행하기 위한 대상 이미지를 수신할 수 있다.
또한, 안개 제거 장치(100)는 앞서 상세히 설명한 바와 같이 학습 이미지에 기초하여 구축된 신경망(1)을 통해 수신된 대상 이미지를 안개 제거 이미지로 변환할 수 있다.
구체적으로, 안개 제거 장치(100)는 구축된 신경망(1)을 통해 입력된 대상 이미지에 대응하는 변환 성분을 도출하고, 도출된 변환 성분을 대상 이미지에 합산하여 안개 제거 이미지를 생성할 수 있다.
이와 관련하여 도 2를 참조하면, 안개 제거 장치(100)는 신경망(1)에 입력되는 대상 이미지(도 2의 I(x), Input Image)를 신경망(1)의 스킵 커넥션(Skip Connection)을 통해 신경망(1)의 출력 측으로 제공하여 변환 성분(도 2의 R(x))과 합산하여 출력 이미지인 안개 제거 이미지(도 2의 J(x), Output Image)를 생성할 수 있다.
이하에서는 도 4a 내지 도 5b를 참조하여 본원에서 개시하는 통합 함수 기반의 안개 제거 기법과 종래의 안개 제거 기법의 성능을 비교하도록 한다.
도 4a 및 도 4b는 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 기법에 의한 영상 변환 결과와 종래의 안개 제거 기법에 의한 영상 변환 결과를 비교하여 나타낸 도면이다.
구체적으로, 도 4a의 'h'는 안개 성분을 미포함하는 실내 또는 실외의 클린 이미지인 그라운드 트루스 이미지(Ground truth image)이고, 도 4a의 'a'는 안개 성분을 포함하도록 그라운드 트루스 이미지로부터 합성되는 이미지를 나타낸다. 이와 대비하여, 도 4b의 'a'는 안개 성분을 포함하도록 촬영된 이미지를 예시적으로 나타낸다.
즉, 도 4a는 안개 성분이 반영되도록 합성된 이미지에 대한 복원 성능을 비교할 수 있도록 나타낸 도면이고, 도 4b는 안개 성분을 포함하도록 촬영된 실제 이미지에 대한 복원 성능을 비교할 수 있도록 나타낸 도면이다.
또한, 도 4a 및 도 4b에서 'b'로 표시된 이미지는 종래의 DCP 모델에 의하여 학습 이미지 또는 대상 이미지로부터 복원된 안개 제거 이미지를 나타내고, 도 4a 및 도 4b에서 'c'로 표시된 이미지는 종래의 AOD-Net 모델에 의하여 학습 이미지 또는 대상 이미지로부터 복원된 안개 제거 이미지를 나타내고, 도 4a 및 도 4b에서 'd'로 표시된 이미지는 종래의 DehazeNet 모델에 의하여 학습 이미지 또는 대상 이미지로부터 복원된 안개 제거 이미지를 나타내고, 도 4a 및 도 4b에서 'e'로 표시된 이미지는 종래의 MSCNN 모델에 의하여 학습 이미지 또는 대상 이미지로부터 복원된 안개 제거 이미지를 나타내고, 도 4a 및 도 4b에서 'f'로 표시된 이미지는 종래의 AtJ-DH 모델에 의하여 학습 이미지 또는 대상 이미지로부터 복원된 안개 제거 이미지를 나타내고, 도 4a 및 도 4b에서 'g'로 표시된 이미지는 본원에서 개시하는 안개 제거 장치(100)에 의하여 학습 이미지 또는 대상 이미지로부터 복원된 안개 제거 이미지를 나타낸다(Proposed method).
이와 관련하여, DCP 모델은 안개가 없는 영상에서 각 픽셀의 R, G, B 채널 중 적어도 하나가 매우 낮은 밝기(세기, intensity)값을 가진다는 통계적 특성을 발견하였으며, AOD-Net 모델은 기존의 대기 산란 모델을 변형한 복원식에서 매개변수인 K(x)와 입력 이미지인 I(x)의 곱에 K(x)를 뺀 후 편향 (bias) 상수를 더하는 복잡한 연산을 통해 안개 성분을 제거하는 기법을 개시하였다.
또한, DehazeNet 모델은 대기 산란 모델을 이용해 픽셀의 값을 직접 복원하기 위해 BReLU(bilateral rectified linear unit)을 이용한 딥러닝 네트워크이며, MSCNN 모델은 영상의 안개 제거에 encoder-decoder 구조를 일부 도입하였고, AtJ-DH 모델은 1개의 encoder와 DenseNet 기반의 다수의 decoder로 구성되어 안개 성분과 연계된 여러 매개변수(즉, 전역 대기 산란광(global atmosphere light), 전달 맵(transmission map) 등)를 각각 개별적으로 추정하여 안개 제거 이미지를 얻어내는 특징을 가진다.
도 4a 및 도 4b를 참조하면, 종래의 안개 제거 기법에 의하면, 의도치 않게 이미지가 전체적으로 어둡게 변환되거나, 실외 이미지에서 광원 부분과 하늘 부분이 부자연스럽게 왜곡되는 현상이 발생하는 것과 달리, 본원에서 개시하는 안개 제거 장치(100)에 의할 때 실내 또는 실외 이미지인지 여부 및 합성 또는 실제 이미지인지 여부와 무관하게 개선된 안개 제거 성능을 보이는 것을 확인할 수 있다.
또한, 도 5a 및 도 5b는 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 기법과 종래의 안개 제거 기법의 성능을 정량적으로 비교하여 나타낸 도표이다.
구체적으로, 도 5a는 100장의 합성된 실내 및 실외 이미지와 그라운드 트루스 이미지의 평균 제곱 오차(MSE), 최대 신호 대 잡음비(PSNR)와 구조적 유사도(SSIM)의 평균 값을 비교하여 나타낸 것이며, 여기서 기준이 되는 베이스라인(Baseline)은 안개 성분을 포함하도록 합성된 이미지와 그라운드 트루스 이미지 사이에서 산출된 결과를 나타낸다. 도 5a를 참조하면, 본원에서 개시하는 안개 제거 장치(100)는 정량적인 모든 지표 상에서 종래의 기법 대비 개선된 결과를 보였으며, 특히, 전술한 제2손실함수와 관련하여 서로 다른 크기의 LoG 필터(3x3, 5x5, 7x7)의 성능을 비교한 결과 LoG 필터의 크기가 커질수록 성능이 개선되는 정도가 큰 것을 확인할 수 있다.
또한, 도 5b는 학습 가능한 매개변수의 크기 및 소정의 크기(예를 들면, 480 X 640 크기)의 이미지에 대한 추론(inference)에 소요되는 시간을 비교하여 나타낸 도표로서, 이러한 실행(추론)시간은 본원에서 개시하는 안개 제거 장치(100)에 의할 때, AOD-Net 모델을 제외한 다른 종래 기법들 대비 빠른 속도를 보이는 것을 확인할 수 있다. 또한, 상대적으로 최근에 개발되어 복잡한 구조를 가지는 딥러닝 모델인 AtJ-DH 모델은 본원에서 개시하는 안개 제거 장치(100)의 신경망의 훈련 가능한 파라미터의 수 대비 훨씬 큰 훈련 파라미터가 필요한 것을 확인할 수 있다.
도 6은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 장치의 개략적인 구성도이다.
도 6을 참조하면, 안개 제거 장치(100)는 수집부(110), 학습부(120), 변환부(130) 및 출력부(140)를 포함할 수 있다.
수집부(110)는 안개 성분을 포함하는 학습 이미지를 준비할 수 있다.
본원의 일 실시예에 따르면, 수집부(110)는 안개 성분을 미포함하는 그라운드 트루스 이미지로부터 제1매개변수 및 제2매개변수 중 적어도 하나를 조정하여 합성한 이미지를 학습 이미지로서 획득할 수 있다.
또한, 본원의 일 실시예에 따르면, 수집부(110)는 학습 이미지 획득 시, 해당 학습 이미지를 생성하기 위해 사용된 그라운드 트루스 이미지로부터 제1매개 변수 및 제2매개변수 중 적어도 하나가 조정된 정도에 대한 변환 정보를 함께 수집할 수 있다. 이와 관련하여, 수집된 변환 정보는 학습부(120)의 신경망(1) 구축(훈련, 학습) 과정에서 손실함수에 반영되어 그라운드 트루스 이미지와 학습 이미지의 변환 관계를 보다 정밀하게 파악하여 신경망(1)의 통합 함수에 따른 단일 매개변수에 대한 학습 프로세스가 용이하게 이루어지도록 할 수 있다.
예시적으로, 수집부(110)는 그라운드 트루스 이미지로부터 제1매개변수를 [0.6, 1.0] 범위의 임의의 값으로 채널 별로 조정한 학습 이미지와 해당 제1매개변수에 대한 조정 정도를 포함하는 변환 정보를 매칭하여 수집할 수 있다.
다른 예로, 수집부(110)는 그라운드 트루스 이미지로부터 제2매개변수와 연계된 산란 계수를 [0.4, 1.6] 범위의 임의의 값으로 조정한 학습 이미지와 해당 산란 계수에 대한 정보를 포함하는 변환 정보를 매칭하여 수집할 수 있다.
학습부(120)는 준비된 학습 이미지에 기초하여 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 신경망(1)을 구축할 수 있다.
변환부(130)는 대상 이미지를 수신하고, 구축된 신경망(1)에 기초하여 대상 이미지를 안개 제거 이미지로 변환할 수 있다.
출력부(140)는 변환된 안개 제거 이미지를 출력할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 방법에 대한 동작 흐름도이다.
도 7에 도시된 통합 함수를 이용한 신경망 기반의 안개 제거 방법은 앞서 설명된 안개 제거 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 안개 제거 장치(100)에 대하여 설명된 내용은 통합 함수를 이용한 신경망 기반의 안개 제거 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계 S11에서 수집부(110)는 안개 성분을 포함하는 학습 이미지를 준비할 수 있다.
다음으로, 단계 S12에서 학습부(120)는 단계 S11을 통해 수집된 학습 이미지에 기초하여 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 신경망(1)을 구축할 수 있다.
다음으로, 단계 S13에서 변환부(130)는 대상 이미지를 수신할 수 있다.
다음으로, 단계 S14에서 변환부(130)는 구축된 신경망(1)에 기초하여 수신된 대상 이미지를 안개 제거 이미지로 변환할 수 있다.
상술한 설명에서, 단계 S11 내지 S14는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 통합 함수를 이용한 신경망 기반의 안개 제거 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 통합 함수를 이용한 신경망 기반의 안개 제거 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 영상 처리 시스템
100: 통합 함수를 이용한 신경망 기반의 안개 제거 장치
110: 수집부
120: 학습부
130: 변환부
140: 출력부
200: 학습 이미지 데이터베이스
300: 촬영 디바이스
400: 사용자 단말
20: 네트워크
1: 신경망

Claims (15)

  1. 통합 함수를 이용한 신경망 기반의 안개 제거 방법에 있어서,
    안개 성분을 포함하는 학습 이미지를 준비하는 단계;
    상기 학습 이미지에 기초하여 상기 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 상기 신경망을 구축하는 단계;
    대상 이미지를 수신하는 단계; 및
    상기 신경망에 기초하여 상기 대상 이미지를 안개 제거 이미지로 변환하는 단계,
    를 포함하는, 안개 제거 방법.
  2. 제1항에 있어서,
    상기 제1매개변수는 전역 대기 산란광(Global atmospheric light)이고, 상기 제2매개변수는 전달 맵(transmission map)인 것을 특징으로 하는, 안개 제거 방법.
  3. 제1항에 있어서,
    상기 변환하는 단계는,
    상기 신경망을 통해 상기 대상 이미지에 대응하는 변환 성분을 도출하는 단계; 및
    상기 대상 이미지에 상기 변환 성분을 합산하는 단계,
    를 포함하는 것인, 안개 제거 방법.
  4. 제1항에 있어서,
    상기 통합 함수는 하기 식 1로 정의되고,
    [식 1]
    Figure pat00008

    여기서, R(x)는 상기 통합 함수이고, I(x)는 상기 학습 이미지 또는 상기 대상 이미지이고, A는 상기 제1매개변수이고, t(x)는 상기 제2매개변수인 것인, 안개 제거 방법.
  5. 제3항에 있어서,
    상기 신경망은 상기 학습 이미지 또는 상기 대상 이미지를 압축하여 피처의 수를 증가시키는 인코더(Encoder) 모듈 및 상기 압축된 이미지를 복원하는 디코더(Decoder) 모듈을 포함하는 오토인코더 구조인 것을 특징으로 하는, 안개 제거 방법.
  6. 제5항에 있어서,
    상기 신경망은 이미지 내의 색상 특성의 복원을 위한 제1손실함수 및 이미지 내의 엣지 구조의 복원을 위한 제2손실함수에 기초하여 학습되는 것을 특징으로 하는, 안개 제거 방법.
  7. 제5항에 있어서,
    상기 변환 성분을 합산하는 단계는,
    상기 신경망에 입력되는 상기 대상 이미지를 상기 신경망의 스킵 커넥션(Skip Connection)을 통해 상기 신경망의 출력 측으로 제공하여 상기 변환 성분과 합산하는 것인, 안개 제거 방법.
  8. 제1항에 있어서,
    상기 준비하는 단계는,
    안개 성분을 미포함하는 그라운드 트루스 이미지로부터 상기 제1매개변수 및 상기 제2매개변수 중 적어도 하나를 조정하여 합성한 이미지를 상기 학습 이미지로서 획득하는 것인, 안개 제거 방법.
  9. 통합 함수를 이용한 신경망 기반의 안개 제거 장치에 있어서,
    안개 성분을 포함하는 학습 이미지를 준비하는 수집부;
    상기 학습 이미지에 기초하여 상기 안개 성분과 연계된 제1매개변수 및 제2매개변수를 포함하는 통합 함수를 학습하는 상기 신경망을 구축하는 학습부; 및
    대상 이미지를 수신하고, 상기 신경망에 기초하여 상기 대상 이미지를 안개 제거 이미지로 변환하는 변환부,
    를 포함하는, 안개 제거 장치.
  10. 제9항에 있어서,
    상기 제1매개변수는 전역 대기 산란광(Global atmospheric light)이고, 상기 제2매개변수는 전달 맵(transmission map)인 것을 특징으로 하는, 안개 제거 장치.
  11. 제9항에 있어서,
    상기 변환부는,
    상기 신경망을 통해 상기 대상 이미지에 대응하는 변환 성분을 도출하고, 상기 대상 이미지에 상기 변환 성분을 합산하는 것인, 안개 제거 장치.
  12. 제9항에 있어서,
    상기 통합 함수는 하기 식 1로 정의되고,
    [식 1]
    Figure pat00009

    여기서, R(x)는 상기 통합 함수이고, I(x)는 상기 학습 이미지 또는 상기 대상 이미지이고, A는 상기 제1매개변수이고, t(x)는 상기 제2매개변수인 것인, 안개 제거 장치.
  13. 제11항에 있어서,
    상기 신경망은 상기 학습 이미지 또는 상기 대상 이미지를 압축하여 피처의 수를 증가시키는 인코더(Encoder) 모듈 및 상기 압축된 이미지를 복원하는 디코더(Decoder) 모듈을 포함하는 오토인코더 구조인 것을 특징으로 하는, 안개 제거 장치.
  14. 제13항에 있어서,
    상기 변환부는,
    상기 신경망에 입력되는 상기 대상 이미지를 상기 신경망의 스킵 커넥션(Skip Connection)을 통해 상기 신경망의 출력 측으로 제공하여 상기 변환 성분과 합산하는 것인, 안개 제거 장치.
  15. 제9항에 있어서,
    상기 수집부는,
    안개 성분을 미포함하는 그라운드 트루스 이미지로부터 상기 제1매개변수 및 상기 제2매개변수 중 적어도 하나를 조정하여 합성한 이미지를 상기 학습 이미지로서 획득하는 것인, 안개 제거 장치.
KR1020210112750A 2021-08-26 2021-08-26 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법 KR102552308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210112750A KR102552308B1 (ko) 2021-08-26 2021-08-26 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210112750A KR102552308B1 (ko) 2021-08-26 2021-08-26 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230030728A true KR20230030728A (ko) 2023-03-07
KR102552308B1 KR102552308B1 (ko) 2023-07-05

Family

ID=85513447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210112750A KR102552308B1 (ko) 2021-08-26 2021-08-26 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102552308B1 (ko)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tiantong Guo, et al., "Dense Scene Information Estimation Network for Dehazing", 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, (2019.06.16.-17.)* *
Tianyi Chen et al., "SRKTDN: Applying Super Resolution Method to Dehazing Task", 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, (2021.06.19.-25.)* *
Yanwei Pang et al., "Visual Haze Removal by a Unified Generative Adversarial Network", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 29, NO. 11, (2019.11)* *

Also Published As

Publication number Publication date
KR102552308B1 (ko) 2023-07-05

Similar Documents

Publication Publication Date Title
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
CN109410146A (zh) 一种基于Bi-Skip-Net的图像去模糊算法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
Akbari et al. Joint sparse learning with nonlocal and local image priors for image error concealment
Chen et al. Image denoising via deep network based on edge enhancement
Cui et al. An efficient deep quantized compressed sensing coding framework of natural images
Chen et al. Neural network-based video compression artifact reduction using temporal correlation and sparsity prior predictions
KR102552308B1 (ko) 통합 함수를 이용한 신경망 기반의 안개 제거 장치 및 방법
CN111640061A (zh) 一种自适应图像超分辨率系统
Mei et al. Deep residual refining based pseudo‐multi‐frame network for effective single image super‐resolution
Chen et al. Multi‐scale single image dehazing based on the fusion of global and local features
Petrov et al. Intra frame compression and video restoration based on conditional markov processes theory
Xue et al. Research of Single Image Rain Removal Algorithm Based on LBP‐CGAN Rain Generation Method
Xiao et al. Video denoising algorithm based on improved dual‐domain filtering and 3D block matching
Florentín-Núñez et al. Adaptive kernel regression and probabilistic self-organizing maps for JPEG image deblocking
CN115474046A (zh) 点云属性信息编码方法、解码方法、装置及相关设备
Karaca et al. MultiTempGAN: multitemporal multispectral image compression framework using generative adversarial networks
Jayasankar et al. A new objective image quality assessment metric: For color and grayscale images
Hitha et al. Comparison of image compression analysis using deep autoencoder and deep cnn approach
Liu et al. Soft-introVAE for continuous latent space image super-resolution
Zhang et al. The generative adversarial network based on attention mechanism for image defogging
JP7075012B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Yathavaraj et al. Multimedia IoT Data Compression using Deep Learning Technique
Liu et al. Compression artifact reduction of low bit‐rate videos via deep neural networks using self‐similarity prior
Pushpalatha et al. Interpolative Model on Hueristic Projection Transform for Image Compression in Cloud Services

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant