KR102402749B1 - 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법은, 입력 이미지에 대해 거친 점진적 반복 단계(Coarse progressive and recurrent step)를 복수 회 반복 수행하여 점진적으로 거칠게 비를 제거하여 중간 출력을 예측하는 단계; 및 상기 중간 출력에 대해 섬세한 점진적 반복 단계(Fine progressive and recurrent step)를 복수 회 반복 수행하여 점진적으로 세부 사항을 복원하여 최종 출력을 생성하는 단계를 포함하며, 상기 거친 점진적 반복 단계 및 섬세한 점진적 반복 단계는 잔여 마스킹된 네트워크(Residual Masked Network)를 포함하고, 상기 잔여 마스킹된 네트워크는 소프트 마스크를 자동으로 학습하고 중요도 또는 유효성에 따라 특징 값을 조정하는 것을 특징으로 한다.

Description

단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법 {Method of De-Raining Based on Validity-Aware for Single Image Rain Removal}

본 출원은 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법에 관한 것이다.

단일 이미지 빗물 제거의 목표는 빗물이 겹쳐진 이미지에서 원래 깨끗한 이미지를 복구하는 것이다.

초기 방법은 프라이어(prior)를 설계하여 빗줄기를 제거하려고 시도하였다(비특허문헌 1 내지 3 참조). 이러한 프라이어 기반 모델은 비 분포에 대한 단순화된 가정으로 인해 복잡한 비가 오는 장면에서 빗줄기를 충분히 제거하지 못하는 경향이 있다.

최근 제안된 방법은 딥 러닝 기반 추정 기술을 제안한다. 비특허문헌 4는 심층 CNN을 활용하여 비가 오는 이미지와 깨끗한 이미지 사이의 비선형 매핑을 학습하는 방법을 제안한다. 또한, 비특허문헌 5 및 6에서는 비가 내리는 이미지의 상황 정보를 고려하고, 비특허문헌 7에서는 추가 개선 모듈을 구성하여 심층 네트워크의 성능을 향상시킨다. 그러나, 기존의 딥 러닝 기반 방법 역시 빗물 제거 결과에서 가장자리와 질감이 여전히 흐릿하게 남아 있다는 한계가 있다.

Luo, Y.; Xu, Y.; and Ji, H. 2015. Removing Rain from a Single Image via Discriminative Sparse Coding. In 2015 IEEE International Conference on Computer Vision (ICCV), 3397-3405. Li, Y.; Tan, R. T.; Guo, X.; Lu, J.; and Brown, M. S. 2016. Rain Streak Removal Using Layer Priors. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2736-2744. Gu, S.; Meng, D.; Zuo, W.; and Zhang, L. 2017. Joint Convolutional Analysis and Synthesis Sparse Representation for Single Image Layer Separation. In Proceedings of the IEEE International Conference on Computer Vision (ICCV). Fu, X.; Huang, J.; Ding, X.; Liao, Y.; and Paisley, J. 2017. Clearing the skies: A deep network architecture for single image rain removal. IEEE Transactions on Image Processing 26(6): 2944-2956. Yang, W.; Tan, R. T.; Feng, J.; Liu, J.; Guo, Z.; and Yan, S. 2017. Deep joint rain detection and removal from a single image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1357-1366. Qian, R.; Tan, R. T.; Yang, W.; Su, J.; and Liu, J. 2018. Attentive generative adversarial network for raindrop removal from a single image. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2482-2491. Zhang, H.; and Patel, V. M. 2018. Density-Aware Single Image De-Raining Using a Multi-Stream Dense Network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Fan, Z.; Wu, H.; Fu, X.; Hunag, Y.; and Ding, X. 2018. Residual-guide feature fusion network for single image deraining. arXiv preprint arXiv:1804.07493 Li, X.;Wu, J.; Lin, Z.; Liu, H.; and Zha, H. 2018. Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining. In Proceedings of the European Conference on Computer Vision (ECCV). Ren, D.; Zuo, W.; Hu, Q.; Zhu, P.; and Meng, D. 2019. Progressive Image Deraining Networks: A Better and Simpler Baseline. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Wang, T.; Yang, X.; Xu, K.; Chen, S.; Zhang, Q.; and Lau, R. W. 2019. Spatial Attentive Single-Image Deraining With a High Quality Real Rain Dataset. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Yasarla, R.; and Patel, V. M. 2020. Confidence measure guided single image de-raining. IEEE Transactions on Image Processing 29: 4544-4555. Jiang, K.; Wang, Z.; Yi, P.; Chen, C.; Huang, B.; Luo, Y.; Ma, J.; and Jiang, J. 2020. Multi-Scale Progressive Fusion Network for Single Image Deraining. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Deng, S.; Wei, M.; Wang, J.; Liang, L.; Xie, H.; and Wang, M. 2019. DRD-Net: Detail-recovery Image Deraining via Context Aggregation Networks. arXiv preprint arXiv:1908.10267

따라서, 당해 기술분야에서는 보다 간단하면서도 효과적으로 빗물을 제거하고 배경 이미지를 복원하기 위한 방안이 요구되고 있다.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법을 제공한다.

상기 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법은, 입력 이미지에 대해 거친 점진적 반복 단계(Coarse progressive and recurrent step)를 복수 회 반복 수행하여 점진적으로 거칠게 비를 제거하여 중간 출력을 예측하는 단계; 및 상기 중간 출력에 대해 섬세한 점진적 반복 단계(Fine progressive and recurrent step)를 복수 회 반복 수행하여 점진적으로 세부 사항을 복원하여 최종 출력을 생성하는 단계를 포함하며, 상기 거친 점진적 반복 단계 및 섬세한 점진적 반복 단계는 잔여 마스킹된 네트워크(Residual Masked Network)를 포함하고, 상기 잔여 마스킹된 네트워크는 소프트 마스크를 자동으로 학습하고 중요도 또는 유효성에 따라 특징 값을 조정하는 것을 특징으로 한다.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 보다 간단하면서도 효과적으로 빗물을 제거하고 배경 이미지를 복원할 수 있다. 즉, 본 발명의 실시예에서는 세부 정보의 추가적인 복원을 위해 간단하지만 효과적인 거친-섬세한(Coarse-to-Fine) 파이프라인을 구축함으로써, 구현이 용이하면서도 보다 정밀한 질감 및 가장자리의 복원이 가능해진다.

도 1은 본 발명의 일 실시예에 따른 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법의 전체 파이프 라인을 개략적으로 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 잔여 마스킹된 블록을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 입력, 중간 출력 및 최종 출력의 예를 도시하는 도면이다.
도 5 및 도 6은 본 발명의 실시예와 다양한 종래의 빗물 제거 모델에 의한 빗물 제거 결과를 도시하는 도면이다.
도 7은 본 발명과 기준 모델의 특징 맵과 본 발명의 소프트 마스크를 시각화한 결과를 도시하는 도면이다.
도 8은 본 발명에 따라 반복 횟수를 달리하는 다양한 실시예의 성능을 비교한 그래프를 도시하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법의 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법의 전체 파이프 라인을 개략적으로 도시하는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법은, 크게, 거친 점진적 반복 단계(Coarse progressive and recurrent step)를 통해 중간 출력을 예측하는 제1 단계(S100)와 섬세한 점진적 반복 단계(Fine progressive and recurrent step)를 통해 세부 사항을 복원하는 제2 단계(S200)를 포함하여 구성될 수 있다. 또한, 상술한 본 발명은 입력 이미지에 대한 심층 네트워크의 학습이 가능한 프로세싱 장치에 의해 수행될 수 있다.

도 2를 참조하면, 입력 이미지(즉, 비가 오는 이미지)가 입력되면, 우선 거친 점진적 반복 단계를 C회 반복 수행하여 점진적으로 거칠게 비를 제거함으로써 중간 출력, 즉 거친 출력(Coarse output)을 예측할 수 있다(S100).

이후, 섬세한 점진적 반복 단계를 F회 반복 수행하여 점진적으로 세부 사항을 복원하여 최종 출력(즉, 비가 제거된 이미지)을 생성할 수 있다(S200).

여기서, 중간 출력과 최종 출력은 지면 진실(ground truth)인 비가 내리지 않는 이미지(Target image)로부터 지도(supervision)를 받을 수 있다.

도 2에서 c는 입력 및 중간 특징 맵의 연결을 나타내고,

는 입력 및 추정된 비 잔여 맵의 픽셀별 추가를 나타내는 것이다.

또한, 각 단계에 포함된 마스킹된 레이어는 소프트 마스크 값을 학습하여 빗줄기를 제거하기 위한 유효한 영역에 집중할 수 있도록 한다.

이하, 상술한 각 단계 및 이에 포함되는 네트워크 구조에 대해 보다 구체적으로 설명한다.

우선, 본 발명의 실시예에서 사용하는 가산 복합 비 모델은 다음과 같다.

[수학식 1]

여기서, X는 비가 오는 이미지를 의미하고, Y는 원래 배경 이미지를 의미하며, R은 비 레이어를 의미한다.

본 발명에서는 입력 이미지 X에서 깨끗한 배경 이미지 Y로의 비선형 매핑을 추정하기 위해 심층 네트워크를 학습하여 상술한 비 모델을 기반으로 빗물 제거를 수행한다.

상술한 거친 및 섬세한 점진적 반복 단계(S100, S200)에 포함되는 잔여 마스킹된 네트워크(Residual Masked Network; RMN)(10)는 입력 마스킹된 컨볼루션 레이어(11), 컨볼루션 LSTM(convLSTM) 모듈(12), 복수의 잔여 마스킹된 블록(Residual Masked Block; RMB)(13) 및 출력 마스킹된 컨볼루션 레이어(11')가 순차로 연결되어 구성될 수 있다.

일반적으로 컨볼루션 레이어는 입력 이미지에서 의미 있는 특징을 추출하기 위한 것이다. 그러나, 화질이 저하된 이미지의 경우 이미지의 각 픽셀의 유효성이 달라질 수 있다. 따라서, 이러한 다양한 유효성을 설명하기 위해 본 발명에서는 각 컨볼루션 레이어에서 추출한 특징 맵에 동일한 차원을 갖는 소프트 마스크를 연결하고, 네트워크가 소프트 마스크를 자동으로 학습하고 중요도 또는 유효성에 따라 특징 값을 조정하도록 구성된다.

우선, 일반적인 잔여 네트워크를 구축하고, 마스크 학습 컨볼루션과 시그모이드 함수를 각 컨볼루션 레이어에 병렬로 연결하여 RMB(13)를 형성할 수 있다. RMB(13)는 다음과 같이 표현될 수 있다.

[수학식 2]

[수학식 3]

여기서, MConv는 마스킹된 컨볼루션 레이어를 나타내고,

및

는 각각 MConv_i의 특징 추출 및 마스크 학습 컨볼루션 레이어를 나타내고, ρ는 활성화 함수를 나타내고, σ는 시그모이드 함수를 나타내며, x_fi는 i 번째 RMB 블록의 입력을 나타낸다. 또한, RMB(13)는 두 개의 MConv가 직렬 결합되어 구성될 수 있다.

각 RMB 블록의 입력 x_fi는 특징 추출 컨볼루션 레이어

와 마스크 학습 컨볼루션 레이어

를 동시에 통과한다.

를 통과한 출력 값은 시그모이드 함수 σ를 통해 0과 1 사이의 값이 되고 이 값이 소프트 마스크가 된다. ρ를 통과하거나 통과하지 않은

의 출력 값은 마스크 값에 의해 요소별로 곱해진다. ρ는 예를 들어 tanh, ReLU 또는 Leaky ReLU와 같은 다양한 활성화 함수일 수 있으며, 본 실시예에서는 0.2의 음의 기울기를 갖는 Leaky ReLU를 사용하였으나 반드시 이로 제한되는 것은 아니다. x_fi는 잔여 연결을 사용하여 MConv_i,2 (MConv_i,1 (x_fi))에 더해져서 RMB_i(x_fi)의 최종 출력 x_{fi + 1}이 되고, x_{fi + 1}은 다음 블록 RMB_{i + 1}에 입력된다.

도 3은 본 발명의 일 실시예에 따른 잔여 마스킹된 블록을 도시하는 도면으로, 도 3에 도시된 바와 같이 RMB(13)는 시그모이드 함수 σ를 사용하는 마스크 학습 컨볼루션

과 활성화 함수 ρ를 사용하는 특징 추출 컨볼루션

의 직렬 묶음으로 구성될 수 있다. 각

는

에 병렬로 결합된다. 입력 이미지 또는 특징 맵이 블록에 입력되면

는 소프트 마스크를 학습하고

은 특징을 추출할 수 있으며, 각 경로의 출력은 요소별로 곱해진다.

또한, 거친 및 섬세한 점진적 반복 단계(S100, S200)는 다음과 같이 표현될 수 있다.

[수학식 4]

[수학식 5]

[수학식 6]

[수학식 7]

[수학식 8]

[수학식 9]

[수학식 10]

여기서, h₀ = 0,

, 그리고

이다.

상술한 잔여 마스킹된 네트워크

는 비가 오는 이미지 X에서 비 잔여 -R을 추정하고 그 결과를 X에 더하여 깨끗한 배경 이미지

을 생성할 수 있다. 다시 말해, 본 발명에서는 비 잔여를 매핑 할 때 점진적 방법을 선택하되, 전반적인 점진적 단계를 거친-섬세한 반복으로 나누어서 정제된 출력을 얻을 수 있다.

또한, 본 발명의 실시예에 따르면, 도 2에 도시된 바와 같이 중간 출력에 지도 기능을 추가할 수 있다.

상술한 바와 같이, 제1 단계에 해당하는 거친 점진적 반복 단계에서 거친 RMN

은 C 회의 반복적인 프로세스를 수행하고, 이후 제2 단계에 해당하는 섬세한 점진적 반복 단계에서 섬세한 RMN

은 F회의 반복적인 프로세스를 수행하여 빗줄기를 제거할 수 있다. 이러한 반복 횟수는 t = [c, f]로 표시될 수 있으며, c = {f1,... , C} 및 f = {f1,... , F}이다.

RMN(10)의 convLSTM 모듈(12)은 각 반복의 h_t를 통해 다음 반복 t+1에 정보를 전달할 수 있다(수학식 4 내지 6). 각 반복 t의 중간 결과인 R_t가 X에 더해져

가 된다(수학식 8, 10). 중간 출력인 거친 출력

은 픽셀 재구성 손실을 통해 Y로부터 지도를 받을 수 있다. 마찬가지로 최종 출력

역시 Y로부터 동일한 지도를 받을 수 있다.

상술한 네트워크의 훈련시에 픽셀 재구성 손실로 빗물 제거에 적합한 것으로 알려진 네거티브 SSIM을 사용할 수 있다. 네거티브 SSIM 손실 함수는 다음과 같이 표현할 수 있다.

여기서, μ는 평균을 나타내고, σ는 분산을 나타내고,

는 Y와

사이의 공분산을 나타내며, c는 분할 안정화 변수를 나타낸다.

상술한 본 발명의 실시예에 따른 네트워크의 훈련에 사용되는 목적 함수는 다음과 같다.

[수학식 11]

[수학식 12]

[수학식 13]

여기서 α,β는 각각 거친 손실과 미세 손실에 대한 가중치를 나타내는 것으로, 각 손실 가중치 (α,β)는 경험적으로 (1, 1)로 결정될 수 있으나 반드시 이로 제한되는 것은 아니다.

도 4는 본 발명의 일 실시예에 따른 입력, 중간 출력 및 최종 출력의 예를 도시하는 도면으로, 도 4에 도시된 바와 같이 본 발명의 실시예는 (a)와 같은 비가 오는 입력에 대해 거친 반복을 통해 (b)와 같은 거친 출력을 예측하고, 이후 섬세한 반복을 통해 (c)와 같이 질감 및 가장자리와 같은 세부 사항을 복구할 수 있다.

상술한 본 발명의 실시예에 따른 빗물 제거 성능을 검증하기 위해서 다음과 같은 테스트를 수행하였다.

본 발명의 실시예는 종래의 빗물 제거 모델인 JORDER(비특허문헌 5), RGN(비특허문헌 8), RESCAN(비특허문헌 9), PReNet(비특허문헌 10), SPANet(비특허문헌 11), QuDec(비특허문헌 12), MSPFN(비특허문헌 13), DRD-Net(비특허문헌 14)와 대비하여 평가되었다.

테스트용 합성 데이터 세트로는 Rain100H, Rain200H, Rain100L, Rain200L 및 Rain800를 사용하였다. Rain100H은 폭우 이미지를 렌더링하기 위해 5 가지 방향의 빗줄기가 합성되어 구성된다. Rain100L은 동일한 수의 열차 및 한 방향으로 가벼운 비가 내리는 모습을 보여주는 테스트 이미지로 구성된다. Rain100H와 Rain100L은 훈련용 이미지 1,800 개와 테스트 용 이미지 100 개를 포함한다. Rain200H 및 Rain200L은 각각 테스트 용 이미지 200개를 포함하는 것을 제외하고는 Rain100H 및 Rain100L와 동일하다. Rain800은 강도와 방향이 서로 다른 빗줄기가 있는 800 개의 이미지를 합성하여 구성되며, 이는 700 개의 훈련 용 이미지와 100 개의 테스트 용 이미지로 구분된다.

또한, 평가 지표로는 정량적 평가에 일반적으로 사용되는 지표인 PSNR(Peak Signal to Noise Ratio) 및 SSIM(Structural Similarity)을 사용하였다. 또한, 실제 비 이미지에 대한 정성적 평가를 수행하였다.

본 발명의 실시예에서는 폭우 데이터 세트의 경우 (C = 3, F = 6), 약한 비 데이터 세트의 경우 (C = 4, F = 8)로 거친-섬세한 반복 단계를 설정하였다. 입력 이미지는 80 strides를 갖는 100 X 100 크기의 패치로 잘린다. β = (0.9, 0.999) 및 ε = 1e-8 인 Adam 최적화 프로그램을 채택하였다. 135 epoch 동안 배치 크기 18로 훈련하였다. 초기 학습률은 0.0001이며, 학습률을 [81, 108] epoch에서 0.1만큼 감소시켰다. NVIDIA Titan X_p 및 V GPU로 모델을 훈련하였다.

표 1은 Rain100H 및 Rain100L에 대한 정량적 평가 결과를 나타내고, 표 2는 Rain200H, Rain200L 및 Rain800에 대한 정량적 평가 결과를 나타내는 것으로, 표 1 및 표 2에서 볼드체 및 밑줄은 각각 최고 및 두 번째로 좋은 성능을 나타낸다. 또한

는 방법이 원래 코드 및 이의 설정으로 재현되었음을 나타내고, 표시가 없는 것은 보고된 결과가 없음을 나타낸다.

표 1 및 2는 본 발명의 실시예가 Rain100H, Rain100L, Rain200H, Rain200L 및 Rain800에서 새로운 최상의 결과를 달성했음을 보여준다. 본 발명의 실시예는 폭우 및 약한 비 데이터 세트에서 종래의 방법보다 성능이 뛰어나다. 구체적으로, 본 발명의 실시예는 PSNR 측면에서 Rain100H에서 + 1.96dB, Rain100L에서 + 4.09dB, Rain200H에서 + 2.30dB, 그리고 Rain200L에서 + 2.38dB 이상 종래 방법에 비해 성능이 뛰어나다. 또한, 본 발명의 실시예는 SSIM 측면에서는 Rain100H, Rain100L, Rain200H, Rain200L 및 Rain800에서 각각 0.019(+ 2.0 %), 0.005(+ 0.5 %), 0.010(+ 1.1 %), 0.004(+ 0.4 %) 및 0.010(+ 1.1 %)인 최상의 결과를 달성하였다.

[표 1]

[표 2]

도 5 및 도 6은 본 발명의 실시예와 다양한 종래의 빗물 제거 모델에 의한 빗물 제거 결과를 도시하는 도면이다.

구체적으로, 도 5는 합성 데이터 세트 중에서 Rain100H에 대한 빗물 제거 결과를 도시하는 도면으로, 종래의 모델은 명백한 시각적 아티팩트를 남기지만 본 발명의 실시예(Ours)는 보다 현실에 가까운 결과를 얻음을 알 수 있다.

상측 2행에 도시된 대성당 이미지에 대해서 종래의 모델에 의하면 가장가리 및 형상 세부 사항이 훼손되지만, 본 발명의 실시예에 따르면 뛰어난 가시성으로 이미지의 질감과 윤곽을 복원할 수 있다.

하측 2행에 도시된 사람 이미지에 대해서 종래의 모델에 의하면 종종 시각적 아티팩트와 흐린 질감이 남는데 반해, 본 발명의 실시예에 따르면 머리카락의 세부 사항이 성공적으로 복원됨을 알 수 있다.

또한, 본 발명의 실시예는 수직 및 비스듬한 비를 동시에 제거할 수 있는데 반해, 종래의 모델은 수직 빗줄기만 제거하는 경향이 있다.

한편, 도 6은 실제 비 이미지에 대한 빗물 제거 결과를 도시하는 도면으로, 상측 행에서 종래의 모델인 PReNet은 빗줄기가 있는 배경의 반복되는 흰색 울타리 영역을 구별하지 못하고 이를 제거함을 알 수 있다. 반면, 본 발명의 실시예에 따르면 해당 영역을 제대로 인식하고 그 형상과 시맨틱을 보존할 수 있다. 하측 행에서는 PReNet은 선수의 유니폼에 표시된 텍스트의 시맨틱을 제거하나 본 발명의 실시예에 따르면 빗줄기를 제거하면서도 텍스트를 성공적으로 복원할 수 있다.

하기의 표 3은 본 발명의 실시예에서 마스킹된 블록과 거친-섬세한 프레임 워크의 효과를 분석하기 위해 본 발명의 실시예와 기준 모델(PreNet)의 성능을 비교한 결과를 나타낸다.

[표 3]

기준 모델인 PreNet은 6 개의 반복 단계가 있는 점진적이고 반복적인 모델이다. PReNet*은 본 발명의 실시예와의 공정한 비교를 위해 반복 횟수를 9회로 늘린 것이다. Ours는 본 발명의 실시예에 따른 모델로 3회의 거친 반복 단계와 6회의 섬세한 반복 단계를 수행한 것이고, Ours-는 Ours에서 거친-섬세한 스킴을 제외한 모델을 나타낸다.

PreNet에서는 6회 이상 반복이 수행되면 기능이 포화되기 시작한다고 개시한다. 그러나 상술한 바와 같은 테스트 결과는 본 발명에서 제안하는 마스킹된 블록을 통한 특징 게이팅이 더 깊은 모델을 훈련시키고 빗물 제거에 대한 보다 개선된 표현을 산출하는 데 도움이 된다는 것을 보여준다.

또한, FID 점수를 사용하여 빗줄기가 제거된 출력의 품질을 측정하였다. 여기서, FID 점수는 재구성된 이미지가 지면 진실 이미지와 인지적으로 유사한 지 여부를 측정하기 위해 사전 훈련된 인셉션(Inception) 네트워크의 특징 공간에서 두 개의 개별 입력의 거리를 측정하는 것으로, 점수가 작을수록 품질이 우수한 것이다. 본 발명은 기준 모델에 비해 FID에서 약 16 점 감소한 점수를 얻어 품질이 향상되었음을 알 수 있다. 즉, 본 발명의 실시예에 따르면 정량적 지표를 향상시킬 뿐만 아니라 시맨틱의 복원도 향상시킴을 알 수 있다.

한편, 본 발명에서 도입한 학습 가능한 소프트 마스크가 심층 네트워크에 미치는 영향을 분석하기 위해 본 발명 및 PReNet에서 각 레이어의 중간 마스크와 특징 맵을 시각화하였다.

도 7의 본 발명과 기준 모델의 특징 맵과 본 발명의 소프트 마스크를 시각화한 결과를 도시하는 도면으로, {RMB_i}_T=t에서 t는 t 번째 반복을 나타내고, i는 t 번째 반복에서 i 번째 RMB을 나타낸다.

도 7의 상단 행은 기준 모델인 PReNet의 특징 맵으로, PReNet은 배경 이미지와 빗물 잔여를 명확하게 구분하지 못함을 보여준다.

이에 반해, 도 7의 중간 행은 본 발명에서 상응하는 특징 맵으로, 얕은 레이어에서 상황 별 표현을 학습하고 더 깊은 레이어에서 배경과 분리된 빗물 잔여를 추정함을 보여준다.

도 7의 하단 행은 본 발명에서 상응하는 소프트 마스크로 초기 단계에서 배경 이미지의 윤곽과 질감에 대해 더 높은 값을 할당하고 이후 단계에서는 빗줄기에 대해 더 높은 값을 할당한다. 가중치가 적용된 값은 추출된 특징 맵에 곱해져서 비 영역 또는 배경 영역과의 공간적 상관 관계에 따라 다시 보정한다. 이와 같은 과정은 소프트 마스크에 의해 네트워크가 강조 표시된 영역에 초점을 맞추도록 안내하고 빗물 잔여 추정을 인상적으로 개선시킬 수 있다.

도 8은 본 발명에 따라 반복 횟수를 달리하는 다양한 실시예의 성능을 비교한 그래프를 도시하는 도면으로, 본 발명에서의 반복 효과를 분석하기 위해 Rain100H의 1,254 개 이미지로 구성된 하위 집합에 대해 본 발명에 따라 반복 횟수를 달리하는 다양한 실시예의 성능을 비교하였다. 도 8에서 좌측 그래프는 PSNR을 나타내고, 우측 그래프는 SSIM을 나타내며, 양측 그래프에서 가로 축은 섬세한 반복 단계의 반복 횟수를 나타낸다. 또한, 기준 모델인 PReNet의 성능이 함께 도시되었다.

도 8을 참조하면, 본 발명에서 반복 횟수가 증가함에 따라 성능이 향상되고, 3회의 거친 반복 단계와 6회의 섬세한 반복 단계를 수행하면 정량적 결과가 포화 상태가 가까워짐을 알 수 있다.

PReNet에서는 6회 반복 후 포화되지만, 본 발명에서는 6 회 이상의 반복 단계 후에도 성능을 계속 향상시킴을 알 수 있으며, 이는 본 발명에서 제안하는 특징 게이팅 메커니즘과 2 단계 프레임 워크에 의해 가능한 것이다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

10: 잔여 마스킹된 네트워크
11: 입력 마스킹된 컨볼루션 레이어
11': 출력 마스킹된 컨볼루션 레이어
12: 컨볼루션 LSTM 모듈
13: 잔여 마스킹된 블록

Claims (8)

1. 입력 이미지에 대해 거친 점진적 반복 단계(Coarse progressive and recurrent step)를 복수 회 반복 수행하여 점진적으로 거칠게 비를 제거하여 중간 출력을 예측하는 단계; 및
   상기 중간 출력에 대해 섬세한 점진적 반복 단계(Fine progressive and recurrent step)를 복수 회 반복 수행하여 점진적으로 세부 사항을 복원하여 최종 출력을 생성하는 단계를 포함하며,
   상기 거친 점진적 반복 단계 및 섬세한 점진적 반복 단계는 잔여 마스킹된 네트워크(Residual Masked Network)를 포함하고,
   상기 잔여 마스킹된 네트워크는 소프트 마스크를 자동으로 학습하고 중요도 또는 유효성에 따라 특징 값을 조정하며,
   상기 잔여 마스킹된 네트워크는 입력 마스킹된 컨볼루션 레이어, 컨볼루션 LSTM 모듈, 복수의 잔여 마스킹된 블록(Residual Masked Block) 및 출력 마스킹된 컨볼루션 레이어가 순차로 연결되어 구성되며,
   상기 잔여 마스킹된 블록은 두 개의 마스킹된 컨볼루션 레이어가 직렬 결합되어 구성되고, 하기의 수학식
   

   

   

   
   으로 표현되며,
   MConv는 마스킹된 컨볼루션 레이어를 나타내고,

   

   및

   

   는 각각 MConv_i의 특징 추출 및 마스크 학습 컨볼루션 레이어를 나타내고, ρ는 활성화 함수를 나타내고, σ는 시그모이드 함수를 나타내며, x_fi는 i 번째 잔여 마스킹된 블록의 입력을 나타내는 것을 특징으로 하는 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법.
   
2. 제 1 항에 있어서,
   하기의 가산 복합 비 모델
   

   

   
   을 사용하며, X는 비가 오는 이미지를 의미하고, Y는 원래 배경 이미지를 의미하며, R은 비 레이어를 의미하는 것을 특징으로 하는 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법.
   
3. 삭제
4. 삭제
5. 제 1 항에 있어서,
   상기 x_fi는 상기 특징 추출 컨볼루션 레이어

   

   와 상기 마스크 학습 컨볼루션 레이어

   

   를 동시에 통과하고, 상기

   

   를 통과한 출력 값은 시그모이드 함수 σ를 통해 0과 1 사이인 소프크 마스크 값이 되며, 선택적으로 ρ를 통과한

   

   의 출력 값은 상기 소프트 마스크 값에 의해 요소별로 곱해지는 것을 특징으로 하는 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법.
   
6. 제 5 항에 있어서,
   상기 거친 점진적 반복 단계 및 섬세한 점진적 반복 단계는 하기의 수학식
   

   

   
   

   

   
   

   

   
   

   

   
   

   

   
   

   

   
   

   

   
   으로 표현되며,
   

   

   는 잔여 마스킹된 네트워크를 나타내고,

   

   는 중간 출력을 나타내고,

   

   는 최종 출력을 나타내며, h₀ = 0,

   

   , 그리고

   

   인 것을 특징으로 하는 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법.
   
7. 제 6 항에 있어서,
   상기 중간 출력 및 최종 출력은 지면 진실 Y로부터 픽셀 재구성 손실을 통해 지도를 받으며, 상기 픽셀 재구성 손실은 네거티브 SSIM 손실 함수인 것을 특징으로 하는 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법.
   
8. 제 7 항에 있어서,
   상기 잔여 마스킹된 네트워크의 훈련을 위해 하기의 목적 함수
   

   

   
   

   

   
   

   

   
   가 사용되며, α,β는 각각 거친 손실과 미세 손실에 대한 가중치를 나타내는 것을 특징으로 하는 단일 이미지 빗물 제거를 위한 유효성 인식 기반 빗물 제거 방법.
   
   

Images