KR20220059881A - 순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치 - Google Patents

순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치 Download PDF

Info

Publication number
KR20220059881A
KR20220059881A KR1020210008608A KR20210008608A KR20220059881A KR 20220059881 A KR20220059881 A KR 20220059881A KR 1020210008608 A KR1020210008608 A KR 1020210008608A KR 20210008608 A KR20210008608 A KR 20210008608A KR 20220059881 A KR20220059881 A KR 20220059881A
Authority
KR
South Korea
Prior art keywords
target image
image
blocks
feature values
local feature
Prior art date
Application number
KR1020210008608A
Other languages
English (en)
Inventor
김종옥
이규호
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20220059881A publication Critical patent/KR20220059881A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/005—Retouching; Inpainting; Scratch removal
    • G06T5/77—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치를 개시한다. 본 발명에 따르면, 순환 신경망 네트워크를 이용한 점진적 비 제거 장치로서, 비 제거 대상이 되는 타겟 영상 및 상기 타겟 영상을 포함하여 생성되며 서로 다른 양의 비를 포함하는 n-1개의 참조 영상을 입력 받아 상기 타겟 영상 및 상기 n-1개의 참조 영상 각각의 로컬 특징값을 추출하는 n개의 인코딩 블록; 서로 인접한 인코딩 블록에서 출력하는 로컬 특징값들의 차이를 추출하는 n-1개의 차이 잔차 블록; 상기 n개의 인코딩 블록 각각이 추출한 로컬 특징값 및 상기 n-1개의 차이 잔차 블록 각각이 추출한 상기 로컬 특징값들의 차이를 입력 받아 상기 타겟 영상 및 상기 n-1개 참조 영상 각각의 글로벌 특징값을 순차적으로 추출하는 n개의 멀티 확장 잔차 밀도 블록; 및 상기 글로벌 특징값을 이용하여 상기 타겟 영상에서 비가 제거된 영상을 생성하는 디코딩 블록을 포함하는 점진적 비 제거 장치가 제공된다.

Description

순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치{Progressive rain removal method and apparatus via a recurrent neural network}
본 발명은 순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치에 관한 것으로서, 보다 상세하게는, 실제 촬영 영상의 포함된 비 성분을 분석하고 제거하여 정확하게 비를 제거할 수 있는 방법 및 장치에 관한 것이다.
디지털 카메라의 기술 발달로 보다 쉽게 영상을 취득할 수 있다.
흐리고 비가 오는 날의 경우 영상에 배경 및 비가 함께 촬영되어 사용자가 원하고자 하는 영상에 비로 인한 화질 저하가 발생한다.
빗방물이 카메라 렌즈에 가까워지면 반사 하이라이트, 산란 및 흐림을 일으켜 영상의 가시성을 크게 떨어뜨린다.
영상에서 비와 눈을 제거하는 방법은 오랫동안 연구되어 왔지만 아직까지 어려운 과제이다.
딥 네트워크를 이용하여 비와 배경 사이의 상관 관계를 학습할 수 있으나, 종래에는 비가 오는 이미지를 가상으로 합성하여 생성하기 때문에 실제 비가 포함된 영상과는 차이가 나는 문제점이 있다.
본 발명에서는 비를 효율적으로 제거할 수 있는 순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 순환 신경망 네트워크를 이용한 점진적 비 제거 장치로서, 비 제거 대상이 되는 타겟 영상 및 상기 타겟 영상을 포함하여 생성되며 서로 다른 양의 비를 포함하는 n-1개의 참조 영상을 입력 받아 상기 타겟 영상 및 상기 n-1개의 참조 영상 각각의 로컬 특징값을 추출하는 n개의 인코딩 블록; 서로 인접한 인코딩 블록에서 출력하는 로컬 특징값들의 차이를 추출하는 n-1개의 차이 잔차 블록; 상기 n개의 인코딩 블록 각각이 추출한 로컬 특징값 및 상기 n-1개의 차이 잔차 블록 각각이 추출한 상기 로컬 특징값들의 차이를 입력 받아 상기 타겟 영상 및 상기 n-1개 참조 영상 각각의 글로벌 특징값을 순차적으로 추출하는 n개의 멀티 확장 잔차 밀도 블록; 및 상기 글로벌 특징값을 이용하여 상기 타겟 영상에서 비가 제거된 영상을 생성하는 디코딩 블록을 포함하는 점진적 비 제거 장치가 제공된다.
상기 n개의 멀티 확장 잔차 밀도 블록 중, k번째(k는 1≤k≤n) 멀티 확장 잔차 밀도 블록에는 k번째 인코딩 블록에서 추출한 로컬 특징값, k-1번째 차이 잔차 블록에서 추출한 k-1번째 영상과 k번째 영상의 로컬 특징값들의 차이 및 k+1번째 멀티 확장 잔차 밀도 블록에서 추출하는 글로벌 특징값이 입력된다.
상기 n개의 인코딩 블록 중 제1 인코딩 블록에 타겟 영상이 입력되며, 제2 내지 제n-1 인코딩 블록으로 갈수록 비의 양이 많은 참조 영상이 입력된다.
상기 n-1개의 영상은 상기 타겟 영상을 포함하는 동영상을 이용하여 생성되며, k번째 영상보다 k+1번째 영상이 더 많은 수의 프레임을 중첩하여 생성된다.
상기 n-1개의 영상은 상기 타겟 영상을 기준으로 좌우 인접한 m개의 프레임을 중첩하여 생성된다.
상기 차이 잔차 블록은, 병합 모듈(concat), 복수의 Res블록 및 복수의 컨볼루션 레이어를 포함한다.
상기 멀티 확장 잔차 밀도 블록은 복수의 확장 컨볼루션 레이어 및 복수의 레귤러 컨볼루션 레이어 및 복수의 1 × 1 컨볼루션 레이어를 포함한다.
본 발명의 다른 측면에 따르면, 순환 신경망 네트워크를 이용한 점진적 비 제거 방법으로서, n개의 인코딩 블록이, 비 제거 대상이 되는 타겟 영상 및 상기 타겟 영상을 포함하여 생성되며 서로 다른 양의 비를 포함하는 n-1개의 참조 영상을 입력 받아 상기 타겟 영상 및 상기 n-1개의 참조 영상 각각의 로컬 특징값을 추출하는 단계; n-1개의 차이 잔차 블록이, 서로 인접한 인코딩 블록에서 출력하는 로컬 특징값들의 차이를 추출하는 단계; n개의 멀티 확장 잔차 블록이, 상기 n개의 인코딩 블록 각각이 추출한 로컬 특징값 및 상기 n-1개의 차이 잔차 블록 각각이 추출한 상기 로컬 특징값들의 차이를 입력 받아 상기 타겟 영상 및 상기 n-1개 참조 영상 각각의 글로벌 특징값을 순차적으로 추출하는 단계; 및 디코딩 블록이, 상기 글로벌 특징값을 이용하여 상기 타겟 영상에서 비가 제거된 영상을 생성하는 단계를 포함하는 점진적 비 제거 방법이 제공된다.
본 발명에 따르면, 흐리고 비가 오는 날 촬영된 실제 영상을 비가 제거된 영상으로 개선이 가능하고, 합성된 비 영상을 사용하지 않고, 상관 관계가 높은 실제 비 영상 데이터를 이용하여 딥러닝 구조를 학습함으로써 보다 효율적이고 정확하게 딥러닝 구조의 하이퍼파라미터 학습이 가능한 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 점진적 비 제거 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 참조 영상 생성 과정을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 차이 잔차 블록의 상세 구성을 도시한 도면이다.
도 4는 본 실시예에 따른 입력 영상의 로컬 특징값의 차이를 출력한 결과를 나타낸 도면이다.
도 5 내지 도 6은 타겟 영상부터 이후 시점의 프레임을 중첩하여 참조 영상을 생성하는 과정 및 차이 잔차 블록에서 추출한 로컬 특징값의 차이를 도시한 도면이다.
도 7은 본 실시예에 따른 멀티 확장 잔차 밀도 블록의 상세 구성을 도시한 도면이다.
도 8은 실제 촬영된 연속 영상 시퀀스 내의 움직이는 객체와 이의 바이너리 맵을 나타낸다.
도 9는 본 실시예에 따른 딥러닝 학습을 위한 pseudo ground truth 영상 및 점진적으로 비가 감소하는 영상을 생성한 예시를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서는 비 제거 대상이 되는 타겟 영상과 서로 다른 비의 양을 포함하는 복수의 참조 영상을 이용하여 순환 신경망 네트워크 내에서 점진적으로 비를 제거하기 위한 방법을 제시한다.
본 발명에 따르면, 실제 촬영된 동영상을 이용하여 생성된 다양한 참조 영상을 순차적으로 순환 신경망 네트워크에 입력하여 비의 변화량을 측정하고, 이를 이용하여 타겟 영상 내에 비를 효율적으로 제거한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 점진적 비 제거 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 점진적 비 제거 장치는, 복수의 인코딩 블록(Encoding Block: EB, 100), 차이 잔치 블록(Difference Residual Block: DFRB, 102), 멀티 확장 잔차 밀도 블록(Multi-Dilated Residual Dense Block: MDRD, 104) 및 디코딩 블록(106)을 포함할 수 있다.
본 실시예에 따르면, n개의 인코딩 블록(100-n)이 제공되며, 각 인코딩 블록(100-n)은 비 제거 대상이 되는 타겟 영상 및 서로 다른 양의 비를 포함하는 n-1개의 참조 영상을 입력 받아 타겟 영상 및 n-1개의 참조 영상 각각의 로컬 특징값(Xn)을 추출한다.
여기서, n은 3이상의 자연수일 수 있다.
그리고, n-1개의 참조 영상은 상기한 타겟 영상을 포함하는 서로 다른 개수의 프레임을 중첩하여 생성된다.
도 1은 타겟 영상(R1) 및 이를 이용하여 생성한 3개의 서로 다른 양의 비를 포함하는 참조 영상(R2 내지 R4)을 이용하는 것을 예시적으로 도시한 것이다.
본 실시예에 따르면, R2 내지 R4로 갈수록 많은 비를 포함하며, R2 내지 R4는 타겟 영상을 포함하는 동영상을 이용하여 생성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 참조 영상 생성 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 연속되는 프레임을 포함하는 동영상에서, Input 1이 타겟 영상이라 가정할 때, Input 2는 타겟 영상과 이를 중심으로 좌우에 인접한 두 개의 프레임을 중첩하여 생성되고, Input 3는 타겟 영상과 이를 중심으로 좌우에 인접한 네 개의 프레임, Input 4는 여섯 개의 프레임을 중첩하여 생성된다.
도 2에서는 Input 2 내지 4를 2n개의 개수로 프레임을 중첩하는 것으로 설명하였으나, 이에 한정됨이 없이 다양한 개수의 프레임의 중첩하여 서로 다른 비의 양을 포함하는 참조 영상을 생성할 수 있다.
다시 도 1을 참조하면, 차이 잔차 블록(102)은 서로 인접한 인코딩 블록(100)에서 출력하는 로컬 특징값들의 차이를 추출한다.
본 실시예에 따른 차이 잔차 블록은 n개의 인코딩 블록에 대응하여 n-1개 제공될 수 있다.
예를 들어, 제1 차이 잔차 블록(102-1)은 제1 인코딩 블록(100-1)과 제2 인코딩 블록(100-2)가 출력하는 두 개의 로컬 특징값 X1과 X2의 차이를 추출한다.
도 3은 본 실시예에 따른 차이 잔차 블록의 상세 구성을 도시한 도면이다.
도 3에 도시된 바와 같이, 본 실시예에 따른 차이 잔차 블록(102)은 병합 모듈(concat), 복수의 Res블록 및 복수의 컨볼루션 레이어를 포함할 수 있다.
도 4는 본 실시예에 따른 입력 영상의 로컬 특징값의 차이를 출력한 결과를 나타낸 도면이다.
도 4는 도 2와 같이 타겟 영상을 중심으로 좌우에 인접한 프레임을 중첩하여 참조 영상을 생성한 경우의 로컬 특징값의 차이를 나타낸 것이다.
도 4를 참조하면, 4개의 인코딩 블록에 타겟 영상 및 서로 다른 비의 양을 포함하는 3개의 참조 영상이 입력된다고 할 때, 각 차이 잔차 블록(102)은 도 4의 하단에서와 같은 로컬 특징값을 추출한다.
차이 잔차 블록(102)의 로컬 특징값의 차이는 서로 인접한 인코딩 블록에 입력된 영상들의 비의 양의 차이를 나타낸 값으로 정의할 수 있다.
도 5 내지 도 6은 타겟 영상부터 이후 시점의 프레임을 중첩하여 참조 영상을 생성하는 과정 및 차이 잔차 블록에서 추출한 로컬 특징값의 차이를 도시한 도면이다.
우선 도 4를 참조하면, Input 2는 타겟 영상(Input 1) 이후의 두 개의 프레임을 중첩하여 생성되고, Input 3는 타겟 영상과 이후의 네 개의 프레임, Input 4는 여섯 개의 프레임을 중첩하여 생성된다.
도 4과 도 6의 차이 잔차 블록에서 출력한 로컬 특징값을 비교할 때, 도 4의 로컬 특징값의 차이에서 볼 수 있듯이 빗물 줄무늬의 강도가 프레임의 중첩할수록 점진적으로 증가하기 때문에 비의 양에 따라 높은 상관관계를 가진다.
그러나, 도 6에서는 빗물 줄무늬는 점진적으로 증가하지만 각 참조 영상의 빗물 줄무늬는 서로 독립적으며 낮은 상관관계를 가진다.
따라서, 도 2와 같이 프레임을 중첩하는 경우, 비가 점점 증가하는 방식으로 추가 참고 영상을 생성할 수 있기 때문에 생성된 각 참조 영상은 부분집합의 관계를 가지게 된다.
다시 도 1을 참조하면, 멀티 확장 잔차 밀도 블록(104)은 n개 제공되며, n개의 멀티 확장 잔차 밀도 블록(104-n) 각각에는 n개의 인코딩 블록(100-n) 각각이 추출한 로컬 특징값 및 n-1개의 차이 잔차 블록(102) 각각이 추출한 상기 로컬 특징값들의 차이를 입력 받고, 타겟 영상 및 n-1개 참조 영상 각각의 글로벌 특징값(F1 내지 F4)을 순차적으로 추출한다.
도 1에서, 제4 멀티 확장 잔차 밀도 블록(104-4)에는 가장 많은 비를 포함하는 참조 영상의 로컬 특징값 및 상기한 참조 영상과 이보다 적은 비를 포함하는 참조 영상의 로컬 특징값들의 차이가 입력 받아 가장 많은 비를 포함하는 참조 영상의 글로벌 특징값을 추출한다.
추출된 글로벌 특징값은 다음으로 많은 비를 포함하는 참조 영상의 로컬 특징값을 입력 받는 제3 멀티 확장 잔차 밀도 블록(104-3)으로 입력된다.
보다 상세하게, n개의 멀티 확장 잔차 밀도 블록 중, k번째(k는 1≤k≤n) 멀티 확장 잔차 밀도 블록에는 k번째 인코딩 블록에서 추출한 로컬 특징값, k-1번째 차이 잔차 블록에서 추출한 k-1번째 영상과 k번째 영상의 로컬 특징값들의 차이 및 k+1번째 멀티 확장 잔차 밀도 블록에서 추출하는 글로벌 특징값이 입력된다.
이처럼 점진적으로 비를 제거하는 과정을 통해 최종적으로 타겟 영상에서 비를 제거한 영상을 생성(복원)할 수 있다.
도 7은 본 실시예에 따른 멀티 확장 잔차 밀도 블록의 상세 구성을 도시한 도면이다.
도 7에 도시된 바와 같이, 멀티 확장 잔차 밀도 블록은 복수의 확장 컨볼루션 레이어 및 복수의 레귤러 컨볼루션 레이어 및 복수의 1 × 1 컨볼루션 레이어를 포함할 수 있다.
제1 멀티 확장 잔차 밀도 블록(104-1)은 타겟 영상의 로컬 특징값과 제2 멀티 확장 잔차 밀도 블록(104-2)에서 추출한 글로벌 특징값을 이용하여 타겟 영상에 대한 글로벌 특징값(F1)을 출력한다.
타겟 영상 및 참조 영상의 글로벌 특징값이 병합 모듈(Concat), 1 × 1 컨볼루션 레이어 및 추가 멀티 확장 잔차 밀도 블록 및 디코딩 블록(106)에 입력되고, 최종적으로 글로벌 특징값을 이용하여 타겟 영상에서 비가 제거된 영상을 생성한다.
본 실시예에 따른 참조 영상은 동일한 배경의 연속 영상 시퀀스를 이용하여 생성될 수 있다.
이와 같이, 동일한 배경의 연속 영상 시퀀스를 이용하여 참조 영상 제작 시 영상 내에 움직이는 객체가 있을 경우 아티팩트가 생길 가능성이 있다.
이러한 아티팩트를 방지하기 위해 영상 내의 움직이는 객체를 분석, 추적하여 움직임이 있는 객체를 제외하고 참조 영상을 생성한다.
도 8은 실제 촬영된 연속 영상 시퀀스 내의 움직이는 객체와 이의 바이너리 맵을 나타낸다.
도 8과 같이 영상 내의 움직이는 객체를 분리하고 참조 영상을 제작하여 아티팩트가 없는 데이터 세트를 얻을 수 있다.
본 발명에 따르면, 입력 영상 간(타깃 영상과 참조 영상)의 상관 관계가 높은 실제 비 영상 데이터를 이용하여 딥러닝 구조를 학습한다.
가상으로 합성한 비 영상의 경우 깨끗한 영상에 비를 합성하는 것이기 때문에 페어 영상이 존재하나, 도 9에 도시된 바와 같이, 실제 비 영상 데이터셋의 경우 딥러닝 학습을 위한 페어(비 영상 및 비가 없는 영상) 영상이 존재하지 않는다.
본 발명에 따르면, 딥러닝 학습을 위한 pseudo ground truth 영상을 실제 비 영상 데이터셋을 이용하여 temporal filtering을 통해 생성한다.
그리고, 도 1의 딥러닝 구조를 이용하여 점진적으로 비가 감소하는 비의 변화를 학습하고 이를 이용하여 비를 제거할 수 있다.
즉, 다수의 실제 비 영상 데이터셋을 이용하여 학습하며, 도 1과 같이 R4 ~ R1 입력 영상을 이용하여 이웃하는 입력 영상들을 잔차 블록, 멀티 확장 잔차 밀도 블록을 통해 점진적으로 비의 변화 (비의 양이 감소하는)를 학습한다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (8)

  1. 순환 신경망 네트워크를 이용한 점진적 비 제거 장치로서,
    비 제거 대상이 되는 타겟 영상 및 상기 타겟 영상을 포함하여 생성되며 서로 다른 양의 비를 포함하는 n-1개의 참조 영상을 입력 받아 상기 타겟 영상 및 상기 n-1개의 참조 영상 각각의 로컬 특징값을 추출하는 n개의 인코딩 블록;
    서로 인접한 인코딩 블록에서 출력하는 로컬 특징값들의 차이를 추출하는 n-1개의 차이 잔차 블록;
    상기 n개의 인코딩 블록 각각이 추출한 로컬 특징값 및 상기 n-1개의 차이 잔차 블록 각각이 추출한 상기 로컬 특징값들의 차이를 입력 받아 상기 타겟 영상 및 상기 n-1개 참조 영상 각각의 글로벌 특징값을 순차적으로 추출하는 n개의 멀티 확장 잔차 밀도 블록; 및
    상기 글로벌 특징값을 이용하여 상기 타겟 영상에서 비가 제거된 영상을 생성하는 디코딩 블록을 포함하는 점진적 비 제거 장치.
  2. 제1항에 있어서,
    상기 n개의 멀티 확장 잔차 밀도 블록 중, k번째(k는 1≤k≤n) 멀티 확장 잔차 밀도 블록에는 k번째 인코딩 블록에서 추출한 로컬 특징값, k-1번째 차이 잔차 블록에서 추출한 k-1번째 영상과 k번째 영상의 로컬 특징값들의 차이 및 k+1번째 멀티 확장 잔차 밀도 블록에서 추출하는 글로벌 특징값이 입력되는 점진적 비 제거 장치.
  3. 제1항에 있어서,
    상기 n개의 인코딩 블록 중 제1 인코딩 블록에 타겟 영상이 입력되며, 제2 내지 제n-1 인코딩 블록으로 갈수록 비의 양이 많은 참조 영상이 입력되는 점진적 비 제거 장치.
  4. 제1항에 있어서,
    상기 n-1개의 영상은 상기 타겟 영상을 포함하는 동영상을 이용하여 생성되며, k번째 영상보다 k+1번째 영상이 더 많은 수의 프레임을 중첩하여 생성되는 점진적 비 제거 장치.
  5. 제1항에 있어서,
    상기 n-1개의 영상은 상기 타겟 영상을 기준으로 좌우 인접한 m개의 프레임을 중첩하여 생성되는 점진적 비 제거 장치.
  6. 제1항에 있어서,
    상기 차이 잔차 블록은, 병합 모듈(concat), 복수의 Res블록 및 복수의 컨볼루션 레이어를 포함하는 점진적 비 제거 장치.
  7. 제1항에 있어서,
    상기 멀티 확장 잔차 밀도 블록은 복수의 확장 컨볼루션 레이어 및 복수의 레귤러 컨볼루션 레이어 및 복수의 1 × 1 컨볼루션 레이어를 포함하는 점진적 비 제거 장치.
  8. 순환 신경망 네트워크를 이용한 점진적 비 제거 방법으로서,
    n개의 인코딩 블록이, 비 제거 대상이 되는 타겟 영상 및 상기 타겟 영상을 포함하여 생성되며 서로 다른 양의 비를 포함하는 n-1개의 참조 영상을 입력 받아 상기 타겟 영상 및 상기 n-1개의 참조 영상 각각의 로컬 특징값을 추출하는 단계;
    n-1개의 차이 잔차 블록이, 서로 인접한 인코딩 블록에서 출력하는 로컬 특징값들의 차이를 추출하는 단계;
    n개의 멀티 확장 잔차 블록이, 상기 n개의 인코딩 블록 각각이 추출한 로컬 특징값 및 상기 n-1개의 차이 잔차 블록 각각이 추출한 상기 로컬 특징값들의 차이를 입력 받아 상기 타겟 영상 및 상기 n-1개 참조 영상 각각의 글로벌 특징값을 순차적으로 추출하는 단계; 및
    디코딩 블록이, 상기 글로벌 특징값을 이용하여 상기 타겟 영상에서 비가 제거된 영상을 생성하는 단계를 포함하는 점진적 비 제거 방법.
KR1020210008608A 2020-11-03 2021-01-21 순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치 KR20220059881A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200145470 2020-11-03
KR1020200145470 2020-11-03

Publications (1)

Publication Number Publication Date
KR20220059881A true KR20220059881A (ko) 2022-05-10

Family

ID=81591955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210008608A KR20220059881A (ko) 2020-11-03 2021-01-21 순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220059881A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820379A (zh) * 2022-05-12 2022-07-29 中南大学 基于注意力对偶残差生成对抗网络的图像类雨层去除方法
CN116485689A (zh) * 2023-06-25 2023-07-25 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820379A (zh) * 2022-05-12 2022-07-29 中南大学 基于注意力对偶残差生成对抗网络的图像类雨层去除方法
CN114820379B (zh) * 2022-05-12 2024-04-26 中南大学 基于注意力对偶残差生成对抗网络的图像类雨层去除方法
CN116485689A (zh) * 2023-06-25 2023-07-25 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统
CN116485689B (zh) * 2023-06-25 2023-11-14 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统

Similar Documents

Publication Publication Date Title
Li et al. All in one bad weather removal using architectural search
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN109872278B (zh) 基于u形网络和生成对抗网络的图像云层移除方法
KR20220059881A (ko) 순환 신경망 네트워크를 이용한 점진적 비 제거 방법 및 장치
CN112102182A (zh) 一种基于深度学习的单图像去反射方法
Chang et al. A two-stage convolutional neural network for joint demosaicking and super-resolution
CN112102179B (zh) 一种基于Retinex的深度网络单幅图像去雾方法
CN114663309A (zh) 一种基于多尺度信息选择注意机制的图像去雾方法及系统
CN115034982A (zh) 一种基于多尺度注意机制融合的水下图像增强方法
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
CN113034413A (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN111612721B (zh) 一种图像修复模型训练、卫星图像修复方法及装置
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN112489103A (zh) 一种高分辨率深度图获取方法及系统
Zeng et al. \mathrm 3D^ 2Unet 3 D 2 U net: 3D Deformable Unet for Low-Light Video Enhancement
CN115100076A (zh) 基于上下文感知注意力的低光图像去雾方法
CN115731132A (zh) 图像修复方法、装置、设备及介质
CN115578260A (zh) 针对图像超分辨率的方向解耦的注意力方法和系统
Wu et al. Algorithm Development of Cloud Removal from Solar Images Based on Pix2Pix Network.
CN113160358A (zh) 一种无绿幕抠图渲染方法
Shi et al. Refactoring ISP for High-Level Vision Tasks
Wu et al. MSDB-based CNN architecture for image dehazing in driverless cars
Zhang et al. Deep joint demosaicing and super resolution on high resolution bayer sensor data
CN114119428B (zh) 一种图像去模糊方法和装置
Wu et al. Mask-Guided Progressive Network for Joint Raindrop and Rain Streak Removal in Videos

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)