KR102095444B1 - 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치 - Google Patents

Abstract

본 실시예들은 프로세서, 프로세서에 의해 실행되는 프로그램을 저장하는 메모리 및 영상 촬영 장치에서 촬영된 선형 노이즈 성분을 포함하는 입력 영상을 수신하는 영상 수신부에 의해 동작하는 선형성을 갖는 노이즈 영상 제거 방법에 있어서, 프로세서가 선형 노이즈 성분을 포함하는 입력 영상을 전달받는 단계, 입력 영상을 컨볼루션 연산에 따라 필터링하여 입력 영상에 대한 선형 영상을 생성하는 단계, 입력 영상에 생성된 선형 영상을 차감하여 차분 영상을 생성하는 단계 및 차분 영상을 선형화하여 활성화하여 배경 영상을 생성하는 단계를 포함하는 선형성을 갖는 노이즈 영상 제거 방법을 제시한다.

Description

딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치{Method and Apparatus for Removing gain Linearity Noise Based on Deep Learning}

본 발명은 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 장치 및 방법에 관한 것으로, 특히 시간에 따라 변화하는 빗줄기 장면을 이용하여 딥러닝 기반의 비지도 학습을 통해 빗줄기를 제거 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

기존의 심층 컨볼루셔널 신경망의(Deep Convolutional Neural Networks) 발전과 함께 빗줄기 제거 알고리즘들이 제안 되었다. 최신 방법들은 대부분 포토샵(Photoshop)을 이용하여 합성(Synthetic) 실제 위치(Ground Truth)를 생성하고, 합성된 비 이미지와 빗줄기가 없는 깨끗한 이미지 쌍을 활용하여 신경망을 지도 학습(Supervised Learning) 방식으로 학습한다. 이러한 지도 학습은 데이터를 인위적으로 구축해야 한다는 문제가 있다. 또한 기존의 단일 이미지 기반의 빗줄기 제거 방법은 학습 시 활용한 합성 데이터 영상에만 성능을 보인다는 한계가 있다. 학습 데이터와 다른 빗줄기 형태는 고려하지 않았으며, 실제 비가 온 이미지에는 효과적으로 적용이 되지 않는다. 따라서, 비 오는 영상과 깨끗한 배경 이미지 쌍을 얻는 것은 불가능하며, 합성 데이터를 이용한 학습은 빗줄기 제거 알고리즘에 있어서 근원적인 문제를 갖는다.

기존의 신경망을 활용한 방식은 빗줄기 입력 영상을 기지 레이어(Base Layer)와 세부 레이어(Detail Layer)로 나누어 세부 레이어(Detail Layer)를 학습하는 방식을 제안한다. 네트워크를 깊게 설정하지 않고 입력 빗줄기 성분에서 고주파(High-frequency)성분을 분리하여 빗줄기의 차(Residual)영상을 학습한다. 네트워크의 결과 영상을 처음에 추출하였던 저주파(Low-frequency) 성분과 다시 더하여 빗줄기가 제거된 영상을 복원한다. 따라서, 기존의 신경망을 활용한 방식은 고주파 성분만을 학습 영상으로 사용하기 때문에 빗줄기 성분이 아닌 성분이 오버(Over de-rain) 되는 한계점을 갖는다.

기존의 신경망을 활용한 또 다른 방식은 다양한 밀도의 빗줄기 정보를 갖는다는 관찰로부터 실제 비 영상을 빗줄기의 밀도를 고려한 모델로 새롭게 정의한다. 학습을 위해 빗줄기 위치를 나타내는 이미지(Binary Map), 빗줄기 이미지(Rain streak), 그리고 빗줄기가 제거된 이미지(Background)를 동시에 학습하는 방법을 제안한다. 하지만 합성 데이터(Synthetic Data)로 학습을 진행하므로 학습 데이터를 구축해야 한다는 한계가 있으며, 실제 비 영상에 테스트 하였을 때 성능이 급격히 저하된다는 단점이 있다.

본 발명의 실시예들은 실제 비가 오는 자연현상을 관찰하여 이를 기반으로 학습 데이터를 생성하여 비지도 학습(Unsupervised Learning)을 통한 선형성을 갖는 노이즈 영상 제거 알고리즘을 제안한다. 선형성을 갖는 노이즈 영상 제거 알고리즘에서 실제 환경에서 비 오는 날의 입력 영상 데이터는 기존과 다르게 합성 실제 위치 데이터(Ground-truth data)를 생성하지 않으며, 합성 데이터를 생성하는 것보다도 용이하다.

본 발명의 실시예들은 기존의 방법들이 실제로 구하기 힘든 실제 위치(Ground Truth) 데이터를 이용하여 신경망과 자연현상 기반의 관찰을 통한 단일 이미지 기반 빗줄기를 제거할 수 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 방법은 프로세서, 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리 및 영상 촬영 장치에서 촬영된 선형 노이즈 성분을 포함하는 입력 영상을 수신하는 영상 수신부에 의해 동작하는 선형성을 갖는 노이즈 영상 제거 방법에 있어서, 상기 프로세서가 상기 선형 노이즈 성분을 포함하는 제1 입력 영상을 전달받는 단계, 상기 제1 입력 영상을 컨볼루션 연산에 따라 필터링하여 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계, 상기 제1 입력 영상에 상기 생성된 제1 선형 영상을 차감하여 제1 차분 영상을 생성하는 단계 및 상기 제1 차분 영상을 선형화하여 활성화하여 제1 배경 영상을 생성하는 단계를 포함한다.

여기서, 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계는 컨볼루션 레이어를 이용하여 상기 제1 입력 영상에 대하여 컨볼루션 연산을 하여 상기 제1 입력 영상에 포함된 선형 노이즈와 관련된 특징을 나타내는 피처맵으로 변환하는 단계 및 상기 피처맵을 입력 받아 상기 선형 노이즈와 관련된 피처맵을 재구성하여 상기 제1 선형 영상을 생성하는 단계를 포함한다.

여기서, 상기 선형 노이즈와 관련된 특징을 나타내는 피처맵으로 변환하는 단계는 상기 제1 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 피처맵을 생성하는 단계, 상기 제1 컨볼루션 연산의 값을 정규화하는 단계, 상기 피처맵을 기 설정된 함수에 따라 매핑하여 상기 피처맵을 선형화하여 활성화하는 단계 및 상기 기 설정된 함수에 따라 매핑된 상기 피처맵의 크기를 조정하는 단계를 포함한다.

여기서, 상기 선형 노이즈와 관련된 피처맵을 재구성하여 제1 선형 영상을 생성하는 단계는 상기 피처맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 선형 노이즈와 관련된 선형맵을 생성하는 단계, 상기 제2 컨볼루션 연산의 값을 정규화하는 단계, 상기 선형맵을 기 설정된 함수에 따라 매핑하여 상기 선형맵을 선형화하여 활성화하는 단계 및 상기 기 설정된 함수에 따라 매핑된 상기 선형맵의 크기를 상기 제1 입력 영상의 크기와 일치하도록 조정하여 상기 제1 선형 영상을 생성하는 단계를 포함한다.

여기서, 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계는 상기 선형 노이즈와 관련된 피처맵을 재구성하여 제1 선형 영상을 생성하는 단계에 상기 제1 입력 영상의 입력 정보를 넘겨주기 위한 스킵 커넥션(Skip Connection)을 수행하는 단계를 더 포함하며, 상기 입력 정보는 상기 제1 입력 영상의 (i) 색상 정보, (ii) 객체의 위치 정보, (iii) 픽셀 정보, (iv) 굴곡도 정보, 및 (v) 밀접도 정보를 적어도 하나 포함한다.

여기서, 상기 선형성을 갖는 노이즈 영상 제거 방법은 제2 입력 영상을 컨볼루션 연산에 따라 필터링하여 상기 제2 입력 영상에 대한 제2 선형 영상을 생성하는 단계, 상기 제2 입력 영상에 상기 생성된 제2 선형 영상을 차감하여 제2 차분 영상을 생성하는 단계 및 상기 제2 차분 영상을 선형화하여 활성화하는 단계를 더 포함하며, 상기 선형성을 갖는 노이즈 영상 제거 방법은 상기 제1 입력 영상, 상기 제1 배경 영상, 상기 제2 입력 영상 및 상기 제2 배경 영상을 통해 손실 함수를 구하는 단계 및 상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 오류 역 전파를 수행하는 단계를 더 포함한다.

여기서, 상기 손실 함수를 구하는 단계는 기 설정된 시간 동안 입력된 상기 제2 입력 영상의 값 및 상기 제1 배경 영상의 값의 차의 제곱 및 조정 파라미터의 곱의 합으로 제1 교차 정보 손실 함수를 계산하는 단계 및 기 설정된 시간 동안 입력된 상기 제1 입력 영상의 값 및 상기 제2 배경 영상의 값의 차의 제곱 및 조정 파라미터의 곱의 합으로 제2 교차 정보 손실 함수를 계산하는 단계를 포함하고, 상기 조정 파라미터는 상기 기 설정된 시간 중 일정 범위 내에서 선형적으로 1에서 0.01로 감소되며, 상기 기 설정된 시간 중 일정 범위가 지나면 고정된다.

여기서, 상기 손실 함수를 구하는 단계는 기 설정된 시간 동안 입력된 상기 제1 배경 영상의 값 및 상기 제2 배경 영상의 값의 차의 제곱의 합으로 배경 유사 손실 함수를 계산하는 단계를 더 포함한다.

여기서, 상기 가중치를 설정하는 오류 역 전파를 수행하는 단계는 상기 제1 교차 정보 손실 함수의 값, 상기 제2 교차 정보 손실 함수의 값 및 상기 배경 유사 손실 함수의 값의 합을 통해 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계에서의 가중치를 설정하는 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치는, 선형 노이즈 성분을 포함하는 제1 입력 영상을 전달 받는 제1 입력부 및 상기 제1 입력 영상을 컨볼루션 연산함에 따라 필터링하여 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 제1 인코더, 상기 제1 입력 영상에 재구성된 상기 제1 선형 영상을 차감하여 제1 차분 영상을 생성하는 제1 디코더 및 상기 제1 차분 영상을 선형화하여 활성화하여 제1 배경 영상을 생성하는 제1 함수 매핑부를 포함하는 제1 영상 처리부를 포함한다.

여기서, 상기 인코더는 상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 피처맵을 생성하는 제1 컨볼루션 필터, 상기 제1 컨볼루션 연산의 값을 정규화하는 제1 정규화부, 상기 피처맵을 기 설정된 함수에 따라 매핑하여 상기 피처맵을 선형화하여 활성화하는 피처맵 함수 매핑부 및 상기 기 설정된 함수에 따라 매핑된 상기 피처맵의 크기를 조정하는 풀링을 포함한다.

여기서, 상기 디코더는 상기 피처맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 상기 선형 노이즈와 관련된 선형맵을 생성하는 제2 컨볼루션 필터, 상기 제2 컨볼루션 연산의 값을 정규화하는 제2 정규화부, 상기 선형맵을 기 설정된 함수에 따라 매핑하여 상기 선형맵을 선형화하여 활성화하는 선형맵 함수 매핑부 및 상기 기 설정된 함수에 따라 매핑된 상기 선형맵의 크기를 상기 입력 영상의 크기와 일치하도록 조정하여 상기 선형 영상을 생성하는 디컨볼루션 필터를 포함한다.

여기서, 상기 선형성을 갖는 노이즈 영상 제거 장치는 선형 노이즈 성분을 포함하는 제2 입력 영상을 전달 받는 제2 입력부 및 상기 제2 입력 영상을 컨볼루션 연산함에 따라 필터링하여 상기 제2 입력 영상에 대한 제2 선형 영상을 생성하는 제2 인코더, 상기 제2 입력 영상에 재구성된 상기 제2 선형 영상을 차감하여 제2 차분 영상을 생성하는 제2 디코더 및 상기 제2 차분 영상을 선형화하여 활성화하여 제2 배경 영상을 생성하는 제2 함수 매핑부를 포함하는 제2 영상 처리부를 더 포함하며, 상기 선형성을 갖는 노이즈 영상 제거 장치는 상기 제1 입력 영상, 상기 제1 배경 영상, 상기 제2 입력 영상 및 상기 제2 배경 영상을 통해 손실 함수를 구하는 손실 함수 계산부 및 상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 오류 역 전파를 수행하는 가중치 설정부를 더 포함한다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 본 발명은 실제 환경에서 비 오는 날의 영상 데이터는 합성 실제 위치 데이터(Ground-truth data)를 생성하지 않아도 되며 합성 데이터 생성보다 획득하기 용이하다는 이점이 있다.

본 발명의 실시예들에 의하면, 본 발명은 배경 정보는 같지만 빗줄기 정보가 다른 두 장의 입력 영상을 효과적으로 활용하기 위해 샴(Siamese) 구조를 이용하였으며, 빗줄기 제거 학습에 용이한 목적 함수(Objective Function)를 정의 하여 빗줄기를 제거의 성능이 저하되는 문제를 해결 할 수 있는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치 및 방법이 수행되기 위한 구성 요소를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 방법을 자세히 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 방법의 손실 함수 계산을 자세히 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 시간에 따른 빗줄기의 형상을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 과정을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치의 인코더-디코더 학습을 자세히 나타내는 도면이다.
도 8는 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치와 기존 기술들을 비교한 도면이다.
도 9는 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치를 나타내는 도면이다.
도 10은 실시예들에서 사용되기에 적합한 컴퓨팅 기기를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

및/또는 이라는 용어는 복수의 관련된 기재된 항들의 조합 또는 복수의 관련된 기재된 항들 중의 어느 항을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 선형성을 갖는 노이즈 영상 제거 장치 및 방법에 관한 것이다.

도 1은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치 및 방법이 수행되기 위한 구성 요소를 나타내는 블록도이다.

도 1을 참조하면, 선형성을 갖는 노이즈 영상 제거 장치(10)는 프로세서(12), 프로세서(12)에 의해 실행되는 프로그램을 저장하는 메모리(14) 및 영상 촬영 장치(20)에서 촬영된 선형 노이즈 성분을 포함하는 입력 영상을 수신하는 영상 수신부(16)를 포함할 수 있으며, 프로세서(12)에 의해 선형성을 갖는 노이즈 영상 제거 방법을 수행할 수 있다.

영상 촬영 장치(20)는 선형성을 갖는 노이즈 영상 제거 장치(10)의 외부에 위치하는 것으로 도시하였으나 반드시 이에 한정되는 것은 아니며 선형성을 갖는 노이즈 영상 제거 장치(10)의 내부에 구성되어 촬영된 영상을 주고 받아 빗줄기를 제거할 수 있다.

영상 촬영 장치(20)는 카메라, CCTV 등 영상을 촬영하여 영상 데이터를 생성하거나 이미지를 촬영하여 이미지 데이터를 생성하기 위한 장치일 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 샴 신경망(Siamese network)을 이용하여 효과적으로 빗줄기를 제거할 수 있다.

최근 컴퓨터 비전 분야의 영상 인식 시스템은 실외 환경에서 비디오 감시와 자율주행 자동차와 같은 다양한 응용분야에서 핵심적인 역할을 수행한다. 컴퓨터 비전 알고리즘의 성능은 입력 영상의 품질에 많은 영향을 받는다. 실외 환경에서 촬영된 영상들은 종종 예측 불가능한 자연현상(비, 눈, 안개 등)으로 인해 입력 영상이 손상된다. 특히 비가 오는 환경에서 획득한 영상은 빗줄기(Rain Streaks)로 인해 굴절, 산란, 번짐(Blurring) 효과로 영상의 품질이 저하된다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 빗줄기로 인해 왜곡된 영상들을 복원하기 위한 것으로, 실외 환경에서의 객체 검출 및 영상 분할(Semantic Segmentation)과 같은 분야에도 적용되고 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 신경망과 자연현상 기반의 관찰을 통한 단일 이미지를 기반으로 빗줄기를 제거할 수 있으며, 기존의 방법들이 실제로 구하기 힘든 실제 위치(Ground Truth) 데이터를 이용하여 학습하기 위해 포토샵(Photoshop)을 이용하여 합성으로 빗줄기 데이터를 생성하여 학습한다는 근원적인 문제점에서 시작하였다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 비가 오는 환경에서 고정된 카메라를 이용하여 촬영하면 배경은 동일하지만 빗줄기 정보는 다르게 확인된다는 직관적인 자연현상 관찰을 이용하여 실제 데이터를 구축하였다. 배경 정보는 같지만 빗줄기 정보가 다른 두 장의 입력 영상을 효과적으로 활용하기 위해 샴(Siamese) 구조를 이용하였으며 빗줄기 제거 학습에 용이한 목적 함수(Objective Function)를 정의 하여 문제를 해결 하였다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 최신 기술(State-of-the-art)을 기반으로 한 인코더-디코더(Encoder-decoder) 학습 네트워크이다. 선형성을 갖는 노이즈 영상 제거 장치(10)의 네트워크는 출력(Output) 영상의 크기가 입력(Input) 영상의 크기와 같게 출력되는 완전 컨볼루션 네트워크(FCN, Fully Convolutional Network)이다. 완전 컨볼루션 네트워크(FCN, Fully Convolutional Network)는 파라미터를 공유하지 않는 두 네트워크를 사용하여 각각의 입력 영상에 대해 학습하는 경우보다 적은 파라미터 개수로 학습을 수행할 수 있으며, 학습 시간을 줄일 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 샴(Siamese) 구조의 신경망을 이용하였으며, 입력되는 영상 정보를 공유하기 때문에 한 쌍의 입력 영상에서 동일한 빗줄기가 제거된 영상을 찾는데 적합할 수 있다.

비지도 학습은 데이터 형태로 학습을 진행하는 방법으로, 데이터를 비슷한 특징을 가진 다수의 부류로 묶을 수 있다. 즉, 비지도 학습은 비슷한 데이터들을 군집화하는 것이다.

본 발명의 일 실시예에 따르면, 비지도 학습은 영상에서 입력되는 환경 또는 외부 구조물 등으로 형성된 입력 이미지의 요소들을 비슷한 단위로 군집화할 수 있다. 예를들어, 비슷한 단위로 군집화는 외부 구조물을 한 분류로 묶거나, 외부 구조물이 사각형 또는 원형 등 다른 형상을 나타내는 것을 다른 분류로 나눌 수 있다. 이는 영상에서 입력되는 입력 영상의 특징을 찾아내기 위한 방법으로서, 입력 영상에서 다수의 특징을 찾아낼 수 있다.

본 발명의 일 실시예에 따르면, 선형성을 갖는 노이즈 영상 제거 장치(10)는 고정된 카메라를 이용하여 다른 시간에 촬영된 두 영상이 서로 공통된 배경정보를 포함하고 있다는 사실에 초점을 맞추었다. 두 영상 간의 차이는 서로 다른 빗줄기 정보를 포함한다. 이러한 관측으로부터, 선형성을 갖는 노이즈 영상 제거 장치(10)는 비지도 학습 기반의 배경 표현자 학습 알고리즘을 제안할 수 있다. 영상 쌍으로부터 같은 구조와 파라미터를 공유하므로 학습이 진행될 때 두 영상에 모두 영향을 주는 샴(Siamese) 구조를 통한 빗줄기가 제거된 영상을 추정하는 네트워크를 학습한다. 즉, 학습된 네트워크는 빗줄기의 정보를 포함하지 않는 배경 영상만을 결과로 추출할 수 있다.

도 2는 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 방법을 나타내는 흐름도이다.

선형성을 갖는 노이즈 영상 제거 방법은 선형 노이즈 성분을 포함하는 제1 입력 영상을 전달받는 단계(S210), 제1 입력 영상을 컨볼루션 연산에 따라 필터링하여 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계(S220), 제1 입력 영상에 재구성된 제1 선형 영상을 차감하여 제1 차분 영상을 생성하는 단계(S230) 및 제1 차분 영상을 선형화하여 활성화하는 단계(S240)를 포함한다.

제1 입력 영상을 컨볼루션 연산에 따라 필터링하여 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계(S220)는 컨볼루션 레이어를 이용하여 제1 입력 영상에 대하여 컨볼루션 연산을 하여 제1 입력 영상에 포함된 선형 노이즈와 관련된 특징을 나타내는 피처맵으로 변환하는 단계 및 피처맵을 입력 받아 선형 노이즈와 관련된 피처맵을 재구성하여 제1 선형 영상을 생성하는 단계를 포함한다.

상술한 컨볼루션 레이어를 이용하여 제1 입력 영상에 대하여 컨볼루션 연산을 하여 제1 입력 영상에 포함된 선형 노이즈와 관련된 특징을 나타내는 피처맵으로 변환하는 단계는 제1 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 피처맵을 생성하는 단계, 제1 컨볼루션 연산의 값을 정규화하는 단계, 피처맵을 기 설정된 함수에 따라 매핑하여 피처맵을 선형화하여 활성화하는 단계 및 기 설정된 함수에 따라 매핑된 피처맵의 크기를 조정하는 단계를 포함한다.

상술한 피처맵을 입력 받아 선형 노이즈와 관련된 피처맵을 재구성하여 제1 선형 영상을 생성하는 단계는 피처맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 선형 노이즈와 관련된 선형맵을 생성하는 단계, 제2 컨볼루션 연산의 값을 정규화하는 단계, 선형맵을 기 설정된 함수에 따라 매핑하여 선형맵을 선형화하여 활성화하는 단계 및 기 설정된 함수에 따라 매핑된 선형맵의 크기를 제1 입력 영상의 크기와 일치하도록 조정하여 제1 선형 영상을 생성하는 단계를 포함한다.

제1 입력 영상을 컨볼루션 연산에 따라 필터링하여 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계(S220)는 선형 노이즈와 관련된 피처맵을 재구성하여 제1 선형 영상을 생성하는 단계에 제1 입력 영상의 입력 정보를 넘겨주기 위한 스킵 커넥션(skip connection)을 수행하는 단계를 더 포함한다.

여기서, 입력 정보는 제1 입력 영상의 (i) 색상 정보, (ii) 객체의 위치 정보, (iii) 픽셀 정보, (iv) 굴곡도 정보 및 (v) 밀접도 정보를 적어도 하나 포함할 수 있으며, 반드시 이에 한정되는 것은 아니다.

선형성을 갖는 노이즈 영상 제거 방법은 제2 입력 영상을 컨볼루션 연산에 따라 필터링하여 제2 입력 영상에 대한 제2 선형 영상을 생성하는 단계, 제2 입력 영상에 생성된 제2 선형 영상을 차감하여 제2 차분 영상을 생성하는 단계 및 제2 차분 영상을 선형화하여 활성화하는 단계를 더 포함한다.

선형성을 갖는 노이즈 영상 제거 방법은 제1 입력 영상, 제1 배경 영상, 제2 입력 영상 및 제2 배경 영상을 통해 손실 함수를 구하는 단계 및 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 오류 역 전파를 수행하는 단계를 더 포함한다.

상술한 손실 함수를 구하는 단계는 기 설정된 시간 동안 입력된 제2 입력 영상의 값 및 제1 배경 영상의 값의 차의 제곱 및 조정 파라미터의 곱의 합으로 제1 교차 정보 손실 함수를 계산하는 단계 및 기 설정된 시간 동안 입력된 제1 입력 영상의 값 및 제2 배경 영상의 값의 차의 제곱 및 조정 파라미터의 곱의 합으로 제2 교차 정보 손실 함수를 계산하는 단계를 포함한다.

조정 파라미터는 기 설정된 시간 중 일정 범위 내에서 선형적으로 1에서 0.01로 감소되며, 상기 기 설정된 시간 중 일정 범위가 지나면 고정된다. 본 발명의 일 실시예에 따르면, 기 설정된 시간 중 일정 범위 내는 기 설정된 시간 중 처음 30% 동안을 의미하며, 이는 반드시 한정되는 것은 아니다.

손실 함수를 구하는 단계는 기 설정된 시간 동안 입력된 제1 배경 영상의 값 및 제2 배경 영상의 값의 차의 제곱의 합으로 배경 유사 손실 함수를 계산하는 단계를 더 포함한다.

상술한 가중치를 설정하는 오류 역 전파를 수행하는 단계는 제1 교차 정보 손실 함수의 값, 제2 교차 정보 손실 함수의 값 및 제1 배경 유사 손실 함수의 값의 합을 통해 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계에서의 가중치를 설정하는 단계를 포함한다.

도 2에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.

이하에서는 선형성을 갖는 노이즈 영상 제거 방법에 대해서 자세히 알아본다.

도 3은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 방법을 자세히 나타내는 흐름도이다.

선형성을 갖는 노이즈 영상 제거 방법은 입력 영상을 수신하는 단계(S310)를 통해 영상 촬영 장치(20)에 의해 촬영된 선형 노이즈 성분을 포함하는 입력 영상을 수신할 수 있다.

선형성을 갖는 노이즈 영상 제거 방법은 수신한 입력 영상이 제1 입력 영상인지를 판단할 수 있다(S320). 선형성을 갖는 노이즈 영상 제거 방법은 제1 입력 영상인 경우, 제1 입력 영상을 전달 받아 제1 선형 영상을 생성하고(S330), 제1 입력 영상이 아닌 경우, 제2 입력 영상으로 판단하여 제2 입력 영상을 전달 받아 제2 선형 영상을 생성할 수 있다(S340).

선형성을 갖는 노이즈 영상 제거 방법은 단계 S330을 통해 제1 선형 영상이 생성되면, 제1 입력 영상에 제1 선형 영상을 차감하여 제1 처분 영상을 생성하고(S332), 제1 처분 영상을 활성화하여 제1 배경 영상을 생성할 수 있다(S334).

선형성을 갖는 노이즈 영상 제거 방법은 단계 S340을 통해 제2 선형 영상이 생성되면, 제2 입력 영상에 제2 선형 영상을 차감하여 제2 처분 영상을 생성하고(S342), 제2 처분 영상을 활성화하여 제2 배경 영상을 생성할 수 있다(S344).

단계 S334 및 단계 S344를 통해 제1 배경 영상 및 제2 배경 영상이 생성된 후 손실 함수 계산 여부를 판단한다(S350). 손실 함수를 계산하는 경우에는 손실 함수 계산부를 통해 손실 함수를 계산하며(S360), 손실 함수를 계산하지 않는 경우에는 제1 배경 영상 또는 제2 배경 영상을 출력한다(S370).

본 발명의 일 실시예에 따르면, 제1 배경 영상 및 제2 배경 영상은 선형성을 갖는 노이즈 영상이 제거된 영상이다. 예를 들면, 비가 내리는 빗줄기 영상이 제거되어 배경만 남은 영상일 수 있다.

이하에서는 손실 함수 계산 과정에 대해 자세히 알아본다.

도 4는 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 방법의 손실 함수 계산을 자세히 나타내는 흐름도이다.

손실 함수 계산은 단계 S334 및 단계 S344를 통해 제1 배경 영상 및 제2 배경 영상이 생성되면 제1 입력 영상, 제2 입력 영상, 제1 배경 영상 및 제2 배경 영상을 손실 함수 계산부가 획득하며(S352), 손실 함수를 계산할 수 있다(S360).

손실 함수 계산은 제1 배경 영상의 값 및 제2 배경 영상의 값을 통해 배경 유사 손실 함수 계산하는 단계(S362), 제2 입력 영상의 값 및 제1 배경 영상의 값을 통해 제1 교차 정보 손실 함수 계산하는 단계(S364) 및 제1 입력 영상의 값 및 제2 배경 영상의 값을 통해 제2 교차 정보 손실 함수 계산하는 단계(S366)를 포함할 수 있다.

단계 S362, S364 및 S366을 통해 계산된 배경 유사 손실 함수의 값, 제1 교차 정보 손실 함수의 값 및 제2 교차 정보 손실 함수의 값의 합을 통해 손실 함수를 계산할 수 있다(S368). 본 발명의 일 실시예에 따르면, 단계 S362를 통해 계산된 배경 유사 손실 함수는 도 6에서의 L_B이며, 단계 S364 및 366을 통해 계산된 제1 교차 정보 손실 함수의 값 및 제2 교차 정보 손실 함수의 값의 합은 도 6에서의 L_C일 수 있다.

단계 S368에서 계산된 손실 함수를 통해 입력 영상의 컨볼루션 연산 과정의 가중치 재 설정할 수 있다. 예를 들어 단계 S368을 통해 계산된 합을 통해 제1 입력 영상의 인코더가 수행되는 과정의 가중치를 재 설정하며, 이를 통해 제1 배경 영상에서 제1 선형 영상이 제거될 때 형성되는 오차를 줄일 수 있으며, 제2 입력 영상의 인코더가 수행되는 과정의 가중치를 재 설정하며, 이를 통해 제2 배경 영상에서 제2 선형 영상이 제거될 때 형성되는 오차를 줄일 수 있다.

도 3 및 도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3 및 도 4에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.

도 5는 본 발명의 일 실시예에 따른 시간에 따른 빗줄기의 형상을 나타낸 도면이다. 예를 들어 시간에 따른 빗줄기의 형상은 고정된 카메라를 이용하여 비가 오는 장면을 촬영했을 때를 나타날 수 있다.

도 5를 참조하면, 촬영된 영상에서 배경은 일정하게 고정되어 있지만 시간에 따라 빗줄기는 다르게 촬영되는 현상을 확인할 수 있다. 선형성을 갖는 노이즈 영상 제거 장치(10)는 이러한 자연 형상을 이용하여 획득한 연속된 영상들을 학습 데이터로 이용할 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 포토샵(Photoshop)을 이용하여 학습 데이터를 인위적으로 생성하는 기존 방식들과는 다르게, 실제 환경에서 비 오는 날의 영상 데이터를 통해 합성 실제 위치 데이터(Ground-truth data)를 생성하지 않아도 되며, 합성 데이터 생성보다 획득하기 용이할 수 있다.

본 발명의 일 실시예에 따르면, 선형성을 갖는 노이즈 영상 제거 장치(10)는 고정된 카메라를 이용하여 촬영된 영상에서 확인되는 자연현상이 비가 내리는 자연현상뿐만 아니라 눈이 내리는 현상, 안개가 끼는 현상 등으로 자연현상에 의해 영상이 굴절, 산란 등에 의해 품질이 저하되는 자연현상일 경우에도 활용될 수 있다.

본 발명의 일 실시예에 따르면, 도 5a는 제1 입력 영상(110)을 나타내며, 도 5b는 제2 입력 영상(120)을 나타낼 수 있다.

도 5a의 제1 입력 영상(110)에서의 제1 입력 부분(112) 및 제2 입력 부분(114)은 도 5b의 제2 입력 영상(120)에서의 제3 입력 부분(122) 및 제4 입력 부분(124)과 같은 영역에서 형성된 영상을 나타낼 수 있다.

본 발명의 일 실시예에 따르면, 도 5a 및 도 5b의 입력 영상으로부터 특징 추출할 수 있으며, 추출된 레이어는 제1 입력 영상(110)와 제2 입력 영상(120)의 공통된 부분으로 추출될 수 있다.

예를 들어, 제1 입력 부분(112)은 제3 입력 부분(122)과 비교했을 때, 주변 환경 정보는 일치하며, 자연현상인 빗줄기만 서로 다른 형상을 띄고 있으며, 제2 입력 부분(114)은 제4 입력 부분(124)과 비교했을 때, 주변 환경 정보는 일치하며, 자연현상인 빗줄기만 서로 다른 형상을 띄고 있다.

도 6은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 과정을 예시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치의 인코더-디코더 학습을 자세히 나타내는 도면이다.

도 6 및 도 7에 도시한 바와 같이, 선형성을 갖는 노이즈 영상 제거 장치(10)는 입력 영상(100), 인코더-디코더(200), 선형 영상(300), 함수 매핑부(Relu)(400) 및 배경 영상(500)를 포함한다. 선형성을 갖는 노이즈 영상 제거 장치(10)는 도 6 및 도 7에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

본 발명의 일 실시예에 따르면, 선형성을 갖는 노이즈 영상 제거 장치(10)는 빗줄기 제어 알고리즘일 수 있다. 입력 영상(100)는 선형 영상(300) 및 배경 영상(500)으로 분리될 수 있다. 예를 들어, 선형 영상(300)은 빗줄기를 나타내는 빗줄기 영상을 나타내며, 배경 영상(500)는 입력 영상(100)에서 빗줄기가 제거된 배경을 나타내는 배경일 수 있다.

도 6은 선형성을 갖는 노이즈 영상 제거 장치(10)의 전체적인 알고리즘 개요도이며, 도 7은 선형성을 갖는 노이즈 영상 제거 장치(10)의 자연현상 기반의 비지도 학습 샴(Siamese) 학습 과정을 자세히 서술한다. 또한, 도 6 및 도 7은 샴(Siamese) 구조를 이용한 딥러닝 기반의 비지도 학습의 구조를 나타낸다.

도 6를 참조하면, 선형성을 갖는 노이즈 영상 제거 장치(10)에 입력되는 입력 영상(100)은 제1 입력 영상(110) 및 제2 입력 영상(120)으로 형성될 수 있다. 예를 들어, 제1 입력 영상(110) 및 제2 입력 영상(120)은 비가 내리는 영상일 수 있으며, 반드시 이에 한정되는 것은 아니고 비가 아닌 눈 또는 우박 등 자연 환경에 의해 영상이 굴절, 산란, 번짐(Blurring) 등에 의해 영상의 품질이 저하되는 상황의 영상일 수 있다.

상술한 제1 입력 영상(110)은 제1 인코더-디코더(210)를 통해 제1 선형 영상(310)을 출력하며, 제1 입력 영상(110)에서 제1 선형 영상(310)을 제거하여 제1 함수 매핑부(410)를 통해 빗줄기가 제거된 제1 배경 영상(510)를 산출할 수 있다.

상술한 제2 입력 영상(120)는 제2 인코더-디코더(220)를 통해 제2 선형 영상(320)를 출력하며, 제2 입력 영상(120)에서 제2 선형 영상(320)을 제거하여 제2 함수 매핑부(420)를 통해 빗줄기가 제거된 제2 배경 영상(520)를 산출할 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 제1 입력 영상(110) 및 제2 입력 영상(120)을 기반으로 딥러닝 기반의 비지도 학습을 통해 제1 입력 영상(110) 및 제2 입력 영상(120)에서 빗줄기를 제거한 배경을 산출할 수 있다.

이하에서는 빗줄기를 나타내는 선형 영상(300)의 추출을 자세히 설명한다.

도 7는 자연현상 기반의 비지도 학습의 샴(Siamese) 학습 과정을 표현하는 도면이다. 단일의 시간 경과 영상을 고려할 때, 선형성을 갖는 노이즈 영상 제거 장치(10)에서 신경망의 목표는 비지도 학습 방법으로 깨끗한 배경 영상을 예측하는 것이다. 배경은 같지만 시간에 따라 빗줄기가 변하는 비디오 시퀀스에서 추출한 두 장의 학습데이터를 입력 영상으로 사용하여 입력되는 제1 입력 영상(110) 및 제2 입력 영상(120)에 대해 정방향(Forward Pass)으로 영상을 분해하여 선형 영상 및 배경 영상을 생성하고 손실 함수를 사용하여 오류를 역전파(Back Propagation)할 수 있다.

오류 역전파는 오류를 최소화하기 위한 것으로, 반복되는 계산을 통해 발생할 수 있는 실수를 줄이기 위한 방법이다. 예를 들어, 오류 역전파는 입력 영상 (100)을 통해 출력된 선형 영상(300) 및 배경 영상(500)을 기반으로 산출된 결과 값이 오차를 가질 수 있으며, 오차를 줄이기 위해 인코더-디코더(200)의 수행 과정의 가중치를 업데이트하면서 선형 영상(300) 및 배경 영상(500)에서 발생하는 오차를 최소화할 수 있다.

가중치는 각 입력 영상(100)에 컨볼루션하는 과정에서 필요한 값으로서, 오차가 최소가 되도록 조절되는 값이다. 예를 들어, 가중치는 제1 입력 영상(110) 및 제2 입력 영상(120)의 인코더-디코더(200) 수행 과정에 입력될 수 있다.

도 6 및 도 7을 참조하면, 선형성을 갖는 노이즈 영상 제거 장치(10)는 딥러닝 기반의 인코더-디코더(200)를 통해 빗줄기를 나타내는 선형 영상을 출력할 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 입력 영상(100)을 통해 인코더-디코더(200)를 수행하여 입력 영상(100)에서 빗줄기를 식별하여 빗줄기를 나타내는 출력 영상(300)을 출력하고, 입력 영상(100)에서 출력 영상(300)을 제거한 복수의 배경 영상(500)을 생성할 수 있다.

인코더(Encoder)(230)는 (i) 제 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 피처맵을 생성하는 제1 컨볼루션(Convolution) 필터, (ii) 제1 컨볼루션 연산의 값을 정규화하는 제1 정규화부(Batch Normalization), (iii) 피처맵을 기 설정된 함수에 따라 매핑하여 피처맵을 선형화하여 활성화하는 피처맵 함수 매핑부 및 (iv) 기 설정된 함수에 따라 매핑된 상기 피처맵의 크기를 조정하는 풀링(Pooling)(232)을 반복하여 구성할 수 있다.

본 발명의 일 실시예에 따르면, 풀링(232)은 매핑된 상기 피처맵의 낮은 값 또는 높은 값을 추출하여 가로 또는 세로 방향으로 입력 영상(100)를 축소할 수 있다. 예를 들어, 풀링(232)은 최대 풀링(Max Pooling)일 수 있으며, n x n 크기 내에 있는 컨볼루션 데이터에서 가장 큰 것을 대푯값으로 추출할 수 있으며, 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따르면, 인코더-디코더(200)의 인코더(230)는 VGG-16 구조를 기반으로 3Х3 컨볼루션과 정류 선형 유닛, 배치 정규화 그리고 최대 풀링이 반복되어 구성된다.

본 발명의 일 실시예에 따르면, 배치 정규화는 역전파시 기울기 (Gradient)값의 안정성과 전체적인 학습 속도 향상을 위해 컨볼루션과 정류선형 유닛 사이에 위치할 수 있다. 배치 정규화는 각 레이어에 입력되는 값들을 정규화하여 학습을 안정화 할 수 있다. 역전파는 오차를 거슬러 올라가면서 다시 전파하는 것을 의미할 수 있다. 배치 정규화는 각 레이어마다 도출되는 중간 출력값에 정규화를 해주면서 가중치의 차이를 완화하여 줄 수 있다. 역전파시 기울기는 가중치의 기울기를 의미할 수 있다.

디코더(Decoder)(240)는 (i) 피처맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 선형 노이즈와 관련된 선형맵을 생성하는 제2 컨볼루션(Convolution) 필터, (ii) 제2 컨볼루션 연산의 값을 정규화하는 제2 정규화부, (iii) 선형맵을 기 설정된 함수에 따라 매핑하여 선형맵을 선형화하여 활성화하는 선형맵 함수 매핑부 및 (iv) 기 설정된 함수에 따라 매핑된 선형맵의 크기를 상기 입력 영상의 크기와 일치하도록 조정하여 상기 선형 영상을 생성하는 디컨볼루션(Deconvolution) 필터(242)을 반복하여 구성할 수 있다.

본 발명의 일 실시예에 따르면, 디컨볼루션 필터는 매핑된 선형맵의 가로 또는 세로 방향으로 확대하며, 확대된 선형맵의 초점을 맞춰 선형 영상(300)를 출력할 수 있다. 디코더(240)는 디컨볼루션을 통해 피처맵(202)의 크기를 확대할 수 있다. 예를 들어, 디코더(240)는 피처맵(202)의 크기 확대를 위해 객체 특징 값 이외의 영역은 0으로 설정하여 확대할 수 있다.

본 발명의 일 실시예에 따르면, 디컨볼루션(Deconvolution)은 컨볼루션(Convolution)의 반대 과정으로, 인코더(230)에서 역 추적하여 특정 필터가 처음의 입력 영상에서 담당하는 부분을 확인할 수 있다. 본 발명의 일 실시예에 따르면, 디컨볼루션은 컨볼루션 전치(Convolution Transpose)일 수 있으며, 반드시 이에 한정되는 것은 아니다.

도 7을 참조하면, "Conv"는 컨볼루션 필터를 나타낼 수 있다. "BN"은 배치 정규화(Batch Normalization)를 나타낼 수 있다. "ReLU"는 정류된 선형 유닛(Rectified Linear Unit)을 나타낼 수 있다. "Deconv"는 디컨볼루션 필터를 나타낼 수 있다.

본 발명의 일 실시예에 따르면, 제1 정규화부 및 제2 정규화부는 배치 정규화(Batch Normalization)로 구성될 수 있으며, 이에 반드시 한정되는 것은 아니다.

본 발명의 일 실시예에 따르면, 피처맵 함수 매핑부 및 선형맵 함수 매핑부는 정류 선형 유닛(Relu)으로 형성될 수 있으며, 이에 반드시 한정되는 것은 아니다.

본 발명의 일 실시예에 따르면, 제1 정규화부는 역전파시 기울기(Gradient)값의 안정성과 전체적인 학습 속도 향상을 위해 제1 컨볼루션 필터와 피처맵 함수 매핑부 사이에 위치할 수 있다. 또한, 제2 정규화부는 역전파시 기울기(Gradient)값의 안정성과 전체적인 학습 속도 향상을 위해 제1 컨볼루션 필터와 피처맵 함수 매핑부 사이에 위치할 수 있다.

본 발명의 일 실시예에 따르면, 제1 정규화부 및 제2 정규화부는 각 입력 영상(100)에 따른 입력되는 값들을 정규화하여 학습을 안정화 할 수 있다. 역전파는 오차를 거슬러 올라가면서 다시 전파하는 것을 의미할 수 있다. 제1 정규화부 및 제2 정규화부는 도출되는 중간 출력값에 정규화를 해주면서 가중치의 차이를 완화하여 줄 수 있다. 역전파시 기울기는 가중치의 기울기를 의미할 수 있다.

디코더(240)는 인코더(230)와 역대칭으로 형성되며, 디코더(240)를 통해 출력되는 선형 영상(300)의 출력 값과 인코더에 입력되는 입력 영상(100)의 입력 값과 일치시킬 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 인코더(230)에서 디코더(240)로 입력 정보를 넘겨주기 위한 스킵 커넥션(Skip Connection)을 더 수행하며, 입력 정보는 입력 영상의 (i) 해상도 정보 (ii) 객체의 위치 정보 (iii) 픽셀 정보 (iv) 굴곡도 정보 (v) 밀접도 정보를 적어도 하나 포함할 수 있다. 입력 정보는 상술한 입력 영상의 해상도 정보, 객체의 위치 정보, 픽셀 정보, 굴곡도 정보 및 밀접도 정보에 한정되지 않으며, 입력 영상에 대한 특징을 형성하는 정보를 추가적으로 포함할 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 손실 함수를 사용하여 오차를 최소화하기 위한 오류 역 전파를 수행하는 손실 함수 계산부(600)를 더 포함할 수 있다.

이때, 손실 함수는 배경 영상(500)에 대한 최적화 함수를 의미하는 배경 유사 손실 함수를 이용하여 학습하고, 교차 정보 손실 함수를 기반으로 가중 손실을 제한할 수 있다. 오류 역 전파는 가중치 설정부(미도시)에서 배경 유사 손실 함수 및 교차 정보 손실 함수의 합을 기반으로 인코더-디코더(200)의 수행 과정의 가중치를 변환할 수 있다.

본 발명의 일 실시예에 따르면, 인코더(230) 부분을 지나 변환된 피처맵(202)은 입력되는 원본 입력 영상에 8배 줄어든다. 디코더(240)는 인코더(230) 마지막 부분에서 생성된 피처맵이 컨볼루션 전치를 통과한 뒤 2배로 확대될 수 있다. 확대된 표현자는 스킵 커넥션(Skip Connection)을 통해 인코더 부분의 같은 크기의 표현자와 연결(Concatenation)이 된다. 인코더(230)와 마찬가지로 3Х3 컨볼루션과 함수 매핑부, 배치 정규화를 거쳐 학습이 진행 된다. 디코더(240)는 컨볼루션 전치 과정을 통해 공간의 크기를 점차적으로 확대되고, 스킵 커넥션(Skip Connection)을 통해 Low-level 표현자 정보를 함께 활용함으로써 원본 이미지와 같은 크기로 향상된 결과를 출력할 수 있다.

스킵 커넥션(Skip Connection)은 입력된 입력 영상(100)의 크기를 줄였다가 다시 원 상태로 늘리는 경우에 정교한 픽셀 정보가 사라지는 경우를 방지하기 위해 사용될 수 있으며, 인코더(230)에서 디코더(240)로 중요한 정보를 넘겨주기 때문에 디코더(240)에서 출력되는 선형 영상이 더 선명해질 수 있다. 이때, 중요한 정보는 입력 정보일 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 단일의 시간 경과 영상을 고려할 때, 감독되지 않은 방법으로 깨끗한 배경 영상(500)을 예측하는 것이다. 배경은 같지만 시간에 따라 빗줄기가 변하는 시변(Time-varying)한 영상으로부터 T = {I₁,...,I_N}, 두 장의 학습 데이터 {I_i,I_j}를 입력 영상(100)으로 사용한다. 각 영상 I_i에 대해 정방향(Forward Pass)으로 영상을 분해하여 (R_i,B_j)를 생성하고 손실 함수를 사용하여 오류를 역전파(Back Propagation) 한다.

손실 함수는 손실 함수 계산부(600)에서 계산되며, 배경 유사 손실 함수 및 교차 정보 손실 함수를 계산할 수 있다.

본 발명의 일 실시예에 따르면, 한 영상으로부터 두 장의 학습 데이터를 입력 영상으로 사용하는 것으로 예시하였으나 반드시 이에 한정되는 것은 아니며, 두 장 이상의 입력 영상을 통해 선형성을 갖는 노이즈 영상 제거 장치(10)를 수행할 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 추론 과정에서 단일 영상만 필요로 한다. 비가 내리는 입력 영상(I)은 [수학식 1]과 같이 배경 영상(B)과 빗줄기 성분을 나타내는 선형 영상(R)의 선형 조합으로 모델링 될 수 있다.

여기서 I는 입력 영상을 나타내고, B는 배경 영상을 나타내고, R은 선형 영상을 나타낸다.

상술한 [수학식 1]을 기반으로 [수학식 2] 및 [수학식 3]과 같은 손실함수를 제안 할 수 있다. 이하에서는 [수학식 2] 및 [수학식 3]의 손실 함수를 자세히 서술한다.

상술한 [수학식 2]는 배경 유사 손실 함수(Background Similarity Loss Function)이다. 여기서 L_B는 배경 유사 손실 함수이며, B_i 및 B_j는 배경 영상이고, T는 빗줄기가 변하는 시간을 나타낸다. 본 발명의 일 실시예에 따르면, B_i는 제1 배경 영상(510)이며, B_j는 제2 배경 영상(520)일 수 있다.

배경 유사 손실 함수는 기 설정된 시간 동안 입력된 제1 배경 영상(510)의 값 및 제2 배경 영상(520)의 값의 차의 제곱의 합으로 계산할 수 있다. 기 설정된 시간은 영상 촬영 장치(20)에서 촬영되어 선형성을 갖는 노이즈 영상 제거 장치(10)에 입력된 영상의 총 시간이다.

선형성을 갖는 노이즈 영상 제거 장치(10)의 빗줄기 제거 알고리즘의 주된 학습 목표는 입력 영상들을 배경 영상과 선형 영상으로 분리하는데 있다.

배경 유사 손실 함수는 [수학식 2]와 같이 샴(Siamese) 네트워크를 통과한 두 출력 영상을 L₂인 배경 유사 손실 함수를 이용하여 학습할 수 있다. 배경 유사 손실 함수는 구하고자 하는 배경 영상에 대한 주된 최적화 함수를 의미한다. 하지만 단일 영상 비 제거 기법은 매우 정립되지 않은(Highly ill-posed) 문제로 여전히 무한한 최솟값이 존재하여 미지수가 방정식 보다 많은 경우(Under-determined)가 문제로 남아있다. 따라서, 추가적인 정규화(Regularization)과정이 필요하다.

추가적인 정규화 과정은 함수 매핑부(400)를 통해 이루어 지며, 인코더-디코더(200)를 통해 빗줄기를 나타내는 선형 영상(300)이 출력된 후 이루어질 수 있다.

상술한 [수학식 3]은 교차 정보 손실 함수(Cross-information Loss Function)이다. 여기서 L_C는 배경 유사 손실 함수이고,

는 조정 파라미터이고, B_j는 출력 영상(300)이며, I_i는 입력 영상(100)일 수 있다.

본 발명의 일 실시예에 따르면, 교차 정보 손실 함수는 제1 교차 정보 손실 함수 및 제2 교차 정보 손실 함수를 포함할 수 있다.

제1 교차 정보 손실 함수는 기 설정된 시간 동안 입력된 제2 입력 영상(120)의 값 및 제1 배경 영상(510)의 값의 차의 제곱 및 조정 파라이터의 곱의 합으로 계산할 수 있다. 또한, 제2 교차 정보 손실 함수는 기 설정된 시간 동안 입력된 제1 입력 영상(110)의 값 및 제2 배경 영상(520)의 값의 차의 제곱 및 조정 파라이터의 곱의 합으로 계산할 수 있다. 기 설정된 시간은 영상 촬영 장치(20)에서 촬영되어 선형성을 갖는 노이즈 영상 제거 장치(10)에 입력된 영상의 총 시간이다.

[수학식 3]에서의 단일 손실 함수만으로는 아직 자유도(Degree of Freedom)가 높기 때문에 이를 제한(Constrain) 하기 위해, 대부분의 색상과 질감(Texture) 정보가 입력 영상(100)과 추정된 배경 영상(500)에 공통적으로 있다고 가정한다. 이러한 관찰을 통해 [수학식 3]과 같은 교차 정보 손실 함수를 제안한다.

본 발명의 일 실시예에 따르면, 학습 시

를 처음 30% 동안 1에서 0.01로 선형적으로 감소시킨 뒤 그 후로는 값을 고정시킨다. 다른 장면에서 관측한 I_i와 B_j의 배경의 유사성을 이용하기 때문에 i ≠ j 인 입력 영상을 사용하며 교차 정보라고 명명할 수 있다. 단순한 변형으로 i = j 인 입력 영상을 활용하여 실험을 한 경우 추정되는 결과 배경 영상에 빗줄기가 남아 있음을 확인할 수 있었다. I_i와 I_j 사이의 빗줄기 차이는 이러한 원치 않는 효과를 방지할 수 있다.

상술한 [수학식 4]는 전체 손실 함수이다. 여기서, L_total은 전체 손실 함수를 나타내고, L_B는 배경 유사 손실 함수를 나타내고, L_C는 교차 정보 손실 함수를 나타낸다. 전체 손실 함수는 배경 유사 손실 함수와 교차 정보 손실 함수의 합으로 형성될 수 있다.

본 발명의 일 실시예에 따르면, 전체 손실 함수는 제1 전체 손실 함수 및 제2 전체 손실 함수를 포함할 수 있다.

제1 전체 손실 함수는 제1 교차 정보 손실 함수의 값 및 배경 유사 손실 함수의 값의 합을 통해 계산하며, 인코딩(230), 디코딩(240) 또는 인코딩-디코딩(200)에 가중치를 설정할 수 있다.

제2 전체 손실 함수는 제2 교차 정보 손실 함수의 값 및 배경 유사 손실 함수의 값의 합을 통해 계산하며, 인코딩(230), 디코딩(240) 또는 인코딩-디코딩(200)에 가중치를 설정할 수 있다.

따라서, [수학식 2] 및 [수학식 3]의 손실 함수들을 활용하여 전체 프레임워크를 학습하고, 전체 손실 함수는 [수학식 4]와 같다.

도 8은 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치와 기존 기술들을 비교한 도면이다.

도 8a는 입력되는 입력 영상이고, 도 8b는 신경망 CVPR17을 통해 입력 영상에서 빗줄기를 제거한 결과를 나타내는 도면이고, 도 8c는 신경망 TIP17을 통해 입력 영상에서 빗줄기를 제거한 결과를 나타내는 도면이고, 도 8d는 선형성을 갖는 노이즈 영상 제거 장치(10)를 기반으로 빗줄기를 제거한 결과를 나타내는 도면이다.

입력 영상 8a와 도 8b, 도 8c 및 도 8d의 결과를 비교했을 때, 선형성을 갖는 노이즈 영상 제거 장치(10)를 이용한 도 8d는 빗줄기를 제거한 결과의 배경 영상(500)에서 빗줄기 및 그에 따른 왜곡이 보이지 않는 것을 확인할 수 있다.

도 9는 본 발명의 일 실시예에 따른 선형성을 갖는 노이즈 영상 제거 장치를 나타내는 도면이다. 선형성을 갖는 노이즈 영상 제거 장치는 선형성을 갖는 노이즈 영상 제거 방법과 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.

도 9를 참조하면, 노이즈 영상 제거 장치(10)는 입력부(102) 및 영상 처리부(18)를 포함할 수 있다.

입력부(102)는 선형 노이즈 성분을 포함하는 입력 영상(100)을 전달 받을 수 있다.

영상 처리부(18)는 입력 영상(100)을 컨볼루션 연산함에 따라 필터링하여 입력 영상(100)에 대한 선형 영상(300)을 생성하는 인코더(230), 입력 영상(100)에 재구성된 선형 영상(300)을 차감하여 차분 영상(302)을 생성하는 디코더(240) 및 차분 영상(302)을 선형화하여 활성화하여 배경 영상(500)을 생성하는 함수 매핑부(400)를 포함한다.

인코더는(230) (i) 입력 영상(100)에 대하여 제1 컨볼루션 연산을 수행함에 따라 피처맵(202)을 생성하는 제1 컨볼루션 필터, (ii) 제1 컨볼루션 연산의 값을 정규화하는 제1 정규화부, (iii) 피처맵(202)을 기 설정된 함수에 따라 매핑하여 피처맵(202)을 선형화하여 활성화하는 피처맵 함수 매핑부 및 (iv) 기 설정된 함수에 따라 매핑된 피처맵(202)의 크기를 조정하는 풀링을 포함할 수 있다. 인코더(230)의 구성은 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

디코더(240)는 (i) 피처맵(202)에 대하여 제2 컨볼루션 연산을 수행함에 따라 선형 노이즈와 관련된 선형맵을 생성하는 제2 컨볼루션 필터, (ii) 제2 컨볼루션 연산의 값을 정규화하는 제2 정규화부, (iii) 선형맵을 기 설정된 함수에 따라 매핑하여 선형맵을 선형화하여 활성화하는 선형맵 함수 매핑부 및 (iv) 기 설정된 함수에 따라 매핑된 선형맵의 크기를 입력 영상(100)의 크기와 일치하도록 조정하여 선형 영상(300)을 생성하는 디컨볼루션 필터를 포함할 수 있다. 디코더(240)의 구성은 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

노이즈 영상 제거 장치(10)는 제1 입력 영상(110) 및 제2 입력 영상(120)를 입력 받아 상술한 과정을 통해 제1 배경 영상(510) 및 제2 배경 영상(520)을 추출할 수 있다.

노이즈 영상 제거 장치(10)는 제1 입력 영상(110), 제1 배경 영상(510), 제2 입력 영상(120) 및 제2 배경 영상(520)을 통해 손실 함수를 구하는 손실 함수 계산부(600) 및 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 오류 역 전파를 수행하는 가중치 설정부(미도시)를 더 포함할 수 있다.

도 10은 실시예들에서 사용되기에 적합한 컴퓨팅 기기를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.

도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 기기를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경은 선형성을 갖는 노이즈 영상 제거 장치(10)를 포함한다. 일 실시예에서, 선형성을 갖는 노이즈 영상 제거 장치(10)는 타 단말기와 신호를 송수신하는 모든 형태의 컴퓨팅 기기일 수 있다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 적어도 하나의 프로세서(1010), 컴퓨터 판독 가능한 저장매체(1020) 및 통신 버스(1060)를 포함한다. 프로세서(1010)는 선형성을 갖는 노이즈 영상 제거 장치(10)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(1010)는 컴퓨터 판독 가능한 저장 매체(1020)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(1010)에 의해 실행되는 경우 선형성을 갖는 노이즈 영상 제거 장치(10)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능한 저장 매체(1020)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(1020)에 저장된 프로그램(1030)은 프로세서(1010)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(1020)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 기기들, 광학 디스크 저장 기기들, 플래시 메모리 기기들, 그 밖에 선형성을 갖는 노이즈 영상 제거 장치(10)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(1060)는 프로세서(1010), 컴퓨터 판독 가능한 저장 매체(1020)를 포함하여 선형성을 갖는 노이즈 영상 제거 장치(10)의 다른 다양한 컴포넌트들을 상호 연결한다.

선형성을 갖는 노이즈 영상 제거 장치(10)는 또한 하나 이상의 입출력 장치(미도시)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(1040) 및 하나 이상의 통신 인터페이스(1050)를 포함할 수 있다. 입출력 인터페이스(1040) 및 통신 인터페이스(1050)는 통신 버스(1060)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(1040)를 통해 선형성을 갖는 노이즈 영상 제거 장치(10)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(미도시)는 선형성을 갖는 노이즈 영상 제거 장치(10)를 구성하는 일 컴포넌트로서 선형성을 갖는 노이즈 영상 제거 장치(10)의 내부에 포함될 수도 있고, 선형성을 갖는 노이즈 영상 제거 장치(10)와는 구별되는 별개의 장치로 컴퓨팅 기기와 연결될 수도 있다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 선형성을 갖는 노이즈 영상 제거 장치
100: 입력 영상
200: 인코더-디코더
300: 선형 영상
400: 함수 매핑부
500: 배경 영상
600: 손실 함수 계산부

Claims (13)

1. 프로세서, 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리 및 영상 촬영 장치에서 촬영된 선형 노이즈 성분을 포함하는 입력 영상을 수신하는 영상 수신부를 포함하는 노이즈 영상 제거 장치에 의해 동작하는 선형성을 갖는 노이즈 영상 제거 방법에 있어서,
   상기 프로세서가,
   상기 선형 노이즈 성분을 포함하는 제1 입력 영상을 전달받는 단계;
   상기 제1 입력 영상을 컨볼루션 연산에 따라 필터링하여 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계;
   상기 제1 입력 영상에 상기 생성된 제1 선형 영상을 차감하여 제1 차분 영상을 생성하는 단계; 및
   상기 제1 차분 영상을 선형화하여 활성화하여 제1 배경 영상을 생성하는 단계를 포함하는 선형성을 갖는 노이즈 영상 제거 방법.
2. 제1항에 있어서,
   상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계는,
   컨볼루션 레이어를 이용하여 상기 제1 입력 영상에 대하여 컨볼루션 연산을 하여 상기 제1 입력 영상에 포함된 선형 노이즈와 관련된 특징을 나타내는 피처맵으로 변환하는 단계; 및
   상기 피처맵을 입력 받아 상기 선형 노이즈와 관련된 피처맵을 재구성하여 상기 제1 선형 영상을 생성하는 단계를 포함하는 선형성을 갖는 노이즈 영상 제거 방법.
3. 제2항에 있어서,
   상기 피처맵으로 변환하는 단계는,
   상기 제1 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 피처맵을 생성하는 단계;
   상기 제1 컨볼루션 연산의 값을 정규화하는 단계;
   상기 피처맵을 기 설정된 함수에 따라 매핑하여 상기 피처맵을 선형화하여 활성화하는 단계; 및
   상기 기 설정된 함수에 따라 매핑된 상기 피처맵의 크기를 조정하는 단계를 포함하는 선형성을 갖는 노이즈 영상 제거 방법.
4. 제2항에 있어서,
   상기 피처맵을 재구성하여 제1 선형 영상을 생성하는 단계는,
   상기 피처맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 선형 노이즈와 관련된 선형맵을 생성하는 단계;
   상기 제2 컨볼루션 연산의 값을 정규화하는 단계;
   상기 선형맵을 기 설정된 함수에 따라 매핑하여 상기 선형맵을 선형화하여 활성화하는 단계; 및
   상기 기 설정된 함수에 따라 매핑된 상기 선형맵의 크기를 상기 제1 입력 영상의 크기와 일치하도록 조정하여 상기 제1 선형 영상을 생성하는 단계를 포함하는 선형성을 갖는 노이즈 영상 제거 방법.
5. 제2항에 있어서,
   상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계는 상기 선형 노이즈와 관련된 피처맵을 재구성하여 제1 선형 영상을 생성하는 단계에 상기 제1 입력 영상의 입력 정보를 넘겨주기 위한 스킵 커넥션(Skip Connection)을 수행하는 단계를 더 포함하며,
   상기 입력 정보는 상기 제1 입력 영상의 (i) 색상 정보, (ii) 객체의 위치 정보, (iii) 픽셀 정보, (iv) 굴곡도 정보 및 (v) 밀접도 정보를 적어도 하나 포함하는 것을 특징으로 하는 선형성을 갖는 노이즈 영상 제거 방법.
6. 제1항에 있어서,
   상기 선형성을 갖는 노이즈 영상 제거 방법은,
   제2 입력 영상을 컨볼루션 연산에 따라 필터링하여 상기 제2 입력 영상에 대한 제2 선형 영상을 생성하는 단계;
   상기 제2 입력 영상에 상기 생성된 제2 선형 영상을 차감하여 제2 차분 영상을 생성하는 단계; 및
   상기 제2 차분 영상을 선형화하여 활성화하여 제2 배경 영상을 생성하는 단계를 더 포함하며,
   상기 선형성을 갖는 노이즈 영상 제거 방법은,
   상기 제1 입력 영상, 상기 제1 배경 영상, 상기 제2 입력 영상 및 상기 제2 배경 영상을 통해 손실 함수를 구하는 단계; 및
   상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 오류 역 전파를 수행하는 단계를 더 포함하는 선형성을 갖는 노이즈 영상 제거 방법.
7. 제6항에 있어서,
   상기 손실 함수를 구하는 단계는,
   기 설정된 시간 동안 입력된 상기 제2 입력 영상의 값 및 상기 제1 배경 영상의 값의 차의 제곱 및 조정 파라미터의 곱의 합으로 제1 교차 정보 손실 함수를 계산하는 단계; 및
   기 설정된 시간 동안 입력된 상기 제1 입력 영상의 값 및 상기 제2 배경 영상의 값의 차의 제곱 및 조정 파라미터의 곱의 합으로 제2 교차 정보 손실 함수를 계산하는 단계를 포함하고,
   상기 조정 파라미터는 상기 기 설정된 시간 중 일정 범위 내에서 선형적으로 설정된 범위 내에서 감소되며, 상기 기 설정된 시간 중 일정 범위가 지나면 고정되는 것을 특징으로 하는 선형성을 갖는 노이즈 영상 제거 방법.
8. 제7항에 있어서,
   상기 손실 함수를 구하는 단계는,
   상기 기 설정된 시간 동안 입력된 상기 제1 배경 영상의 값 및 상기 제2 배경 영상의 값의 차의 제곱의 합으로 배경 유사 손실 함수를 계산하는 단계를 더 포함하는 선형성을 갖는 노이즈 영상 제거 방법.
9. 제8항에 있어서,
   상기 가중치를 설정하는 오류 역 전파를 수행하는 단계는,
   상기 제1 교차 정보 손실 함수의 값, 상기 제2 교차 정보 손실 함수의 값 및 상기 배경 유사 손실 함수의 값의 합을 통해 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 단계에서의 가중치를 설정하는 단계를 포함하는 선형성을 갖는 노이즈 영상 제거 방법.
10. 선형 노이즈 성분을 포함하는 제1 입력 영상을 전달 받는 제1 입력부; 및
    상기 제1 입력 영상을 컨볼루션 연산함에 따라 필터링하여 상기 제1 입력 영상에 대한 제1 선형 영상을 생성하는 제1 인코더, 상기 제1 입력 영상에 재구성된 상기 제1 선형 영상을 차감하여 제1 차분 영상을 생성하는 제1 디코더 및 상기 제1 차분 영상을 선형화하여 활성화하여 제1 배경 영상을 생성하는 제1 함수 매핑부를 포함하는 제1 영상 처리부를 포함하는 선형성을 갖는 노이즈 영상 제거 장치.
11. 제10항에 있어서,
    상기 제1 인코더는,
    상기 입력 영상에 대하여 제1 컨볼루션 연산을 수행함에 따라 피처맵을 생성하는 제1 컨볼루션 필터;
    상기 제1 컨볼루션 연산의 값을 정규화하는 제1 정규화부;
    상기 피처맵을 기 설정된 함수에 따라 매핑하여 상기 피처맵을 선형화하여 활성화하는 피처맵 함수 매핑부; 및
    상기 기 설정된 함수에 따라 매핑된 상기 피처맵의 크기를 조정하는 풀링을 포함하는 선형성을 갖는 노이즈 영상 제거 장치.
12. 제11항에 있어서,
    상기 제1 디코더는,
    상기 피처맵에 대하여 제2 컨볼루션 연산을 수행함에 따라 상기 선형 노이즈와 관련된 선형맵을 생성하는 제2 컨볼루션 필터;
    상기 제2 컨볼루션 연산의 값을 정규화하는 제2 정규화부;
    상기 선형맵을 기 설정된 함수에 따라 매핑하여 상기 선형맵을 선형화하여 활성화하는 선형맵 함수 매핑부; 및
    상기 기 설정된 함수에 따라 매핑된 상기 선형맵의 크기를 상기 입력 영상의 크기와 일치하도록 조정하여 상기 제1 선형 영상을 생성하는 디컨볼루션 필터를 포함하는 선형성을 갖는 노이즈 영상 제거 장치.
13. 제11항에 있어서,
    상기 선형성을 갖는 노이즈 영상 제거 장치는,
    선형 노이즈 성분을 포함하는 제2 입력 영상을 전달 받는 제2 입력부; 및
    상기 제2 입력 영상을 컨볼루션 연산함에 따라 필터링하여 상기 제2 입력 영상에 대한 제2 선형 영상을 생성하는 제2 인코더, 상기 제2 입력 영상에 재구성된 상기 제2 선형 영상을 차감하여 제2 차분 영상을 생성하는 제2 디코더 및 상기 제2 차분 영상을 선형화하여 활성화하여 제2 배경 영상을 생성하는 제2 함수 매핑부를 포함하는 제2 영상 처리부를 더 포함하며,
    상기 선형성을 갖는 노이즈 영상 제거 장치는,
    상기 제1 입력 영상, 상기 제1 배경 영상, 상기 제2 입력 영상 및 상기 제2 배경 영상을 통해 손실 함수를 구하는 손실 함수 계산부; 및
    상기 손실 함수를 통해 오차를 최소화하기 위한 가중치를 설정하는 오류 역 전파를 수행하는 가중치 설정부를 더 포함하는 선형성을 갖는 노이즈 영상 제거 장치.

Images