KR20200025889A

KR20200025889A - 영상 복원 장치 및 방법

Info

Publication number: KR20200025889A
Application number: KR1020180103859A
Authority: KR
Inventors: 조남익; 김윤식; 소재웅
Original assignee: 서울대학교산학협력단
Priority date: 2018-08-31
Filing date: 2018-08-31
Publication date: 2020-03-10
Also published as: KR102102182B1

Abstract

본 발명의 실시예에 따른 영상 복원 장치는, 잡음레벨을 사용하여 잡음벡터를 생성하는 잡음벡터 생성부, 및 복수의 잔여블록들 각각에서, 잡음을 포함한 입력 영상으로부터 생성된 영상 특징맵과 잡음 벡터를 연산하여 입력 영상에 포함된 잡음을 제거하는 잡음 제거 신경망을 포함한다.

Description

영상 복원 장치 및 방법{APPARATUS AND METHOD FOR RESTORING IMAGE}

본 발명은 영상 복원 장치 및 방법에 관한 것이다. 보다 상세하게는, 메모리 저장 공간을 최소화할 수 있도록 학습된 신경망을 사용하여 영상을 복원할 수 있는 영상 복원 장치 및 방법에 관한 것이다.

최근에는 기기의 발전으로 인해 영상을 쉽고 간편하게 만들어낼 수 있게 되어 영상을 다양하고 광범위하게 사용하고 있다. 이로 인해, 영상을 촬영하는 촬영 기기로 인해 영상에 잡음이 섞일 수 있고, 압축 또는 압축 해제 등과 같은 영상의 가공 과정에서 영상에 잡음이 섞일 수 있다.

이와 같이, 영상에 섞인 잡음은 영상의 품질을 저하시키는 요인이 된다. 더욱이, 기기의 발전으로 인해 영상의 해상도 측면에 있어서도 높은 해상도를 사용하기 때문에 이러한 잡음은 영상 처리에 있어 화질의 개선을 위해 제거되어야 하는 중요한 요소이다.

관련하여, 선행기술문헌인 한국등록특허 제10-1578426호에서는 입력된 영상 정보에 포함된 잡음 성분을 제거하기 위해 복수의 모델링 정보들 중에서 입력 영상 정보에 대응하는 모델링을 선택하고, 모델링의 특성을 근거로 영상 정보에 포함된 잡음 성분을 제거하는 신호 처리 장치를 기재하고 있다. 하지만, 이러한 영상 처리 장치는 영상에서 잡음을 제거하기 위해 복수의 모델링에 포함된 다양한 정보를 포함해야 한다. 더욱이, 복수의 모델링은 영상을 구성하는 다양한 구성 요소 각각에 대해 수집된 데이터를 이용하기 때문에 메모리 점유율이 높다는 문제점이 있었다. 또한, 최근 다양한 전자 기기는 휴대성으로 인해 메모리 용량에 한계가 있으므로 복수의 모델링 정보를 이용한 잡음 제거 방식을 적용하기 어려운 문제점이 있다.

따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 명세서에서 개시되는 실시예들은 영상의 잡음 제거 시 사용되는 신경망의 점유 메모리 용량을 최소화할 수 있는 영상 복원 장치 및 방법을 제시하는데 목적이 있다.

본 명세서에서 개시되는 실시예들은 영상 복원을 위한 신경망 적용 시 메모리 용량을 최소화하는 영상 복원 장치 및 방법을 제시하는데 목적이 있다.

본 명세서에서 개시되는 실시예들은 영상의 잡음을 제거할 수 있는 신경망을 학습하기 위한 영상 복원 장치 및 방법을 제시하는데 목적이 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 영상 복원 장치는, 잡음레벨을 사용하여 잡음벡터를 생성하는 잡음벡터 생성부, 및 복수의 잔여블록들 각각에서, 잡음을 포함한 입력 영상으로부터 생성된 영상 특징맵과 상기 잡음 벡터를 연산하여 상기 입력 영상에 포함된 잡음을 제거하는 잡음 제거 신경망을 포함한다.

다른 실시예에 따르면, 영상 복원 장치에 의해 수행되는 영상 복원 방법은, 잡음레벨을 사용하여 잡음벡터를 생성하는 단계, 및 복수의 잔여블록들 각각에서, 잡음을 포함한 입력 영상으로부터 생성된 영상 특징맵과 상기 잡음 벡터를 연산하여 상기 입력 영상에 포함된 잡음을 제거하여 잡음 제거 신경망을 학습하는 단계를 포함한다.

또 다른 실시예에 따르면, 영상 복원 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 잡음레벨을 사용하여 잡음벡터를 생성하는 단계, 및 복수의 잔여블록들 각각에서, 잡음을 포함한 입력 영상으로부터 생성된 영상 특징맵과 상기 잡음 벡터를 연산하여 상기 입력 영상에 포함된 잡음을 제거하여 잡음 제거 신경망을 학습하는 단계를 포함한다.

또 다른 실시예에 따르면, 영상 복원 장치에 의해 수행되며, 영상 제공 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램으로서, 잡음레벨을 사용하여 잡음벡터를 생성하는 단계, 및 복수의 잔여블록들 각각에서, 잡음을 포함한 입력 영상으로부터 생성된 영상 특징맵과 상기 잡음 벡터를 연산하여 상기 입력 영상에 포함된 잡음을 제거하여 잡음 제거 신경망을 학습하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상의 잡음 제거 시 사용되는 신경망의 점유 메모리 용량을 최소화할 수 있는 영상 복원 장치 및 방법을 제시할 수 있다.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상 복원을 위한 신경망 적용 시 메모리 용량을 최소화하는 영상 복원 장치 및 방법을 제시할 수 있다.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상의 잡음을 제거할 수 있는 신경망을 학습하기 위한 영상 복원 장치 및 방법을 제시할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 영상 복원 장치를 도시한 블록도이다.
도 2는 일 실시예에 따른 잡음 제거 신경망을 학습하기 위한 제어부를 도시한 블록도이다.
도 3은 일 실시예에 따른 잡음 벡터 생성부를 도시한 블록도이다.
도 4는 일 실시예에 따른 잡음 제거 신경망을 도시한 블록도이다.
도 5는 일 실시예에 따른 잔여 블록을 도시한 블록도이다.
도 6은 일 실시예에 따른 영상 블록에 잡음이 결합되는 동작을 도시한 도면이다.
도 7은 일 실시예에 따른 영상 복원 장치에서의 잡음 제거 신경망을 학습하는 동작을 도시한 순서도이다.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.

다만, 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.

이하에서, '잡음 제거 신경망'은 영상에 포함된 잡음을 제거하기 위한 신경망이다. 잡음 제거 신경망은 인공 신경망으로서, 입력되는 영상의 잡음을 제거하기 위해 모델링될 수 있다.

'영상 특징맵'과 '잡음 특징맵'은 인공 신경망, 예를 들어, 콘볼루션 신경망을 사용하여 생성되는 특징맵을 의미한다. 여기서, 영상 특징맵은 영상을 입력받아 생성된 특징맵을 의미하고, 잡음 특징맵은 잡음 성분을 입력받아 생성된 특징맵을 의미한다.

위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.

도 1은 일 실시예에 따른 영상 복원 장치를 도시한 블록도이다.

도 1을 참조하면, 영상 복원 장치(100)는 네트워크를 통해 원격지의 서버에 접속하거나, 다른 전자 장치 또는 서버와 연결 가능한 전자 장치로 구현되거나 서버로 구현될 수 있다.

이때, 전자 장치는 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant),GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.

영상 복원 장치(100)는 입출력부(110), 통신부(120), 저장부(130) 및 제어부(140)를 포함할 수 있다.

입출력부(110)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 영상 복원 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널 및 화면을 표시하는 디스플레이 패널 등을 포함할 수 있다.

구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.

통신부(120)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(120)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.

통신부(120)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(120)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다. 상술된 통신은 예시일 뿐이며, 영상 복원 장치(100)가 통신을 수행할 수 있도록 하는 각종 통신 기법이 가능하다.

저장부(130)는 파일, 애플리케이션, 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 저장부(130)에 저장된 데이터는 후술될 제어부(140)에 의해 액세스되어 이용되거나, 또는 제어부(140)에 의해 새로운 데이터가 저장될 수 있다. 또한 저장부(130)는 제어부(140)에 의해 실행될 수 있는 프로그램을 저장할 수 있다. 일 실시예에 따르면, 저장부(130)에는 잡음 제거 신경망을 학습하기 위한 프로그램과 잡음 제거 신경망을 이용하여 영상 내 잡음을 제거하는 동작을 수행하기 위한 프로그램이 저장될 수 있다.

한편, 제어부(140)는 영상 복원 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(140)는 입출력부(110)를 통해 수신한 유저 입력에 대응되는 동작을 수행하도록 영상 복원 장치(100)에 포함된 다른 구성들을 제어할 수 있다.

본 실시예에 따르면, 제어부(140)는 잡음 제거 신경망을 학습할 수 있다. 이를 위해, 제어부(140)는 신경망을 사용하여 잡음 레벨로부터 잡음 벡터를 생성할 수 있다. 제어부(140)는 잡음 레벨을 다양하게 변화시키면서 잡음 벡터를 생성할 수 있다.

제어부(140)는 잡음 벡터를 사용하여 잡음 제거 신경망을 학습할 수 있다. 제어부(140)가 학습한 잡음 제거 신경망은 잡음이 포함된 영상을 입력받으면, 영상 특징맵을 생성하여 복수의 잔여 블록들 각각에서 영상 특징맵과 다양한 잡음 레벨에 대응되는 잡음 벡터를 연산하여 잡음 제거 신경망을 학습시킬 수 있다.

제어부(140)는 잡음 제거 신경망에서 잡음 레벨로 생성된 잡음 벡터를 사용하여 학습하기 때문에 특정 잡음 레벨에 편향되지 않도록 학습을 수행할 수 있다. 잡음 제거 신경망 내에서 제어부(140)는 잡음이 포함된 영상을 입력으로 영상 특징맵을 생성하고, 복수의 잔여 블록들에서 영상 특징맵과 잡음 벡터를 연산하여 결합한다. 제어부(140)는 잡음 제거 신경망에서 잡음 벡터를 입력시켜 잡음이 제거된 영상을 출력 영상으로 출력하도록 학습할 수 있다.

제어부(140)는 잡음 레벨을 다양하게 변화시켜 잡음 제거 신경망을 학습시킬 수 있으며, 학습이 완료된 신경망을 사용하면 잡음이 섞인 입력 영상으로부터 잡음을 제거한 영상을 출력할 수 있다.

특히, 제어부(140)는 입력 이미지에서만 표현되던 잡음에 대한 정보를 더욱 명확하게 숫자로 구분한 잡음 레벨을 사용하여 학습을 수행하도록 할 수 있다. 또한, 이러한 잡음 레벨이 잡음 제거 신경망의 콘볼루션 필터를 조정할 수 있는 계수로 되어 제어부(140)는 잡음 레벨에 따라 잡음 레벨 신경망의 구조가 일부 적응적인 형태로 바뀔 수 있다.

이로 인해, 제어부(140)는 다양한 잡음 레벨에 대해서 일정 잡음 레벨에 쏠리지 않고 학습이 가능하다. 이로 인해, 제어부(140)는 잡음 레벨이 낮은 이미지나 복잡한 영상에서도 영상 복원 성능을 보장할 수 있다.

또한, 제어부(140)는 하나의 잡음 제거 신경망만을 사용하여도 학습 범위 이외의 잡음 레벨에서도 일정한 성능을 갖기 때문에 학습 범위 이외의 잡음 레벨에 대한 처리가 가능하다.

이와 같이, 영상 복원 장치(100)는 잡음 제거 신경망을 학습할 수 있으며, 학습된 잡음 제거 신경망을 내부의 저장부(130) 등에 저장하여 입력되는 영상에 대해 잡음 제거에 이용할 수 있다.

따라서, 영상 복원 장치(100)는 잡음 제거 신경망의 학습에 관련된 기능만을 수행할 수 있으며, 훈련이 완료된 잡음 제거 신경망을 적용하여 입력 영상의 잡음 제거를 하는 기능만을 수행하도록 구현될 수도 있다.

이로 인해, 제안된 영상 복원 장치(100)는 잡음 영상으로부터 잡음을 제거하여 영상을 복원하기 위해 하나의 잡음 제거 신경망을 사용하기 때문에 다양한 노이즈 레벨에 대한 잡음 제거 신경망의 학습 계수를 모두 저장할 필요가 없이 한 개의 학습 계수만을 필요로 하기 때문에 저장부(140), 즉 메모리의 저장 공간을 감소시킬 수 있다.

도 2는 일 실시예에 따른 잡음 제거 신경망을 학습하기 위한 제어부를 도시한 블록도이다.

도 2를 참조하면, 제어부(140)는 잡음 벡터 생성부(141)와 잡음 제거 신경망(142)을 포함할 수 있다.

여기서, 잡음 벡터 생성부(141)는 숫자로 수치화된 잡음 정보인 잡음 레벨을 입력받을 수 있다. 예를 들어, 잡음 레벨은 1, 5, 10, 20, 25 및 30 등과 같은 숫자로 구분될 수 있는 정보이다.

잡음 벡터 생성부(141)는 신경망의 형태로 구성될 수 있으며, 콘볼루션 신경망으로 구성될 수 있다. 잡음 벡터 생성부(141)는 잡음 레벨로부터 잡음 벡터를 생성하기 위해 두 개의 전체 연결 레이어(fully connected layer)가 연결된 구조를 갖는다. 잡음 벡터 생성부(141)는 신경망 내에서 영상 특징맵에 대응되는 차원을 갖는 잡음 벡터를 생성할 수 있다. 이때, 잡음 벡터는 잡음 제거 신경망(142)으로 입력된다.

잡음 제거 신경망(142)은 잡음이 포함된 입력 영상을 수신할 수 있으며, 잡음 벡터를 입력받아 학습을 수행할 수 있다. 이를 통해, 잡음 제거 신경망은 잡음이 제거된 출력 영상을 출력한다.

잡음 제거 신경망(142)은 입력 영상으로부터 영상 특징맵을 생성하며, 영상 특징맵의 차원은 잡음 벡터의 차원과 동일할 수 있다. 잡음 제거 신경망(142)은 영상 특징맵을 입력으로 하는 복수의 잔여 블록들이 연결된 구조를 포함하며, 잔여 블록 각각에서 영상 특징맵과 잡음 벡터를 연산하여 출력할 수 있다.

도 3은 일 실시예에 따른 잡음 벡터 생성부를 도시한 블록도이다.

잡음 벡터 생성부(141)는 콘볼루션 신경망의 형태일 수 있으며, 숫자로 표현된 잡음 레벨로부터 잡음 벡터를 생성한다. 이러한, 잡음 벡터 생성부(141)는 제 1 전체 연결 레이어부(210)와 제 2 전체 연결 레이어부(220)를 포함할 수 있다.

제 1 전체 연결 레이어부(210)는 잡음 벡터를 표시하기 위해 1차원의 스칼라 형태의 잡음 레벨을 소정 차원를 갖는 잡음 특징맵으로 생성할 수 있다. 예를 들어, 소정 차원은 64차원일 수 있다. 제 1 전체 연결 레이어부(210)는 64차원의 잡음 특징맵을 제 2 전체 연결 레이어부(220)로 출력할 수 있다.

제 2 전체 연결 레이어부(220)는 64차원의 잡음 특징맵으로부터 128차원의 잡음 특징맵, 즉, 1x1x128 형태의 잡음 특징맵을 생성할 수 있다. 제 2 전체 연결 레이어부(220)는 1x1x128 형태의 잡음 특징맵을 잡음 벡터로서 잡음 제거 신경망(142)으로 출력할 수 있다.

여기서는 예시적으로 설명된 것으로, 잡음 제거 신경망(142) 내의 잔여 블록에서 처리되는 영상 특징맵의 차수와 동일한 차수를 갖는 잡음 벡터를 생성하기 위해 두 개의 전체 연결 레이어부(210, 220)가 연결된 구조를 기준으로 설명하지만, 더 많은 개수의 전체 연결 레이어부를 이용하거나 하나의 전체 연결 레이어만을 사용할 수도 있다.

이와 같이, 잡음 벡터 생성부(141)는 잡음 레벨에 대한 정보를 학습 시 처리가 편리한 형태로 잡음 벡터를 생성할 수 있다.

도 4는 일 실시예에 따른 잡음 제거 신경망을 도시한 블록도이다.

도 4를 참조하면, 잡음 제거 신경망(142)은 제 1 콘볼루션 레이어부(310), 잔여블록(320, 330, 340), 덧셈기(350) 및 제 2 콘볼루션 레이어부(360)를 포함할 수 있다.

제 1 콘볼루션 레이어부(310)는 차원(또는, 채널)이 1인 입력 영상을 복수의 차원(D)으로 확장한 특징맵을 생성할 수 있다. 여기서, 차원은 128차원일 수 있으며, 입력 영상의 차원(D)을 1로 가정하면, 특징맵의 차원(D)은 128이된다. 따라서, 입력 영상을 'HxWx1'로 가정하면, 특징맵은 'HxWx128'이 될 수 있다.

제 1 잔여블록, 제 i 잔여 블록, 및 제 n 잔여 블록(320, 330, 340)은 각각 특징맵에 잡음 벡터를 연산하여 출력할 수 있으며, 제 1 잔여블록, 제 i 잔여 블록, 및 제 n 잔여 블록(320, 330, 340) 각각에서 출력되는 특징맵은 128차원의 형태를 유지(HxWx128)할 수 있다. 이때, 제 1 잔여블록, 제 i 잔여 블록, 및 제 n 잔여 블록(320, 330, 340) 각각에 입력되는 잡음 벡터는 '1x1x128'로서 128차원을 갖기 때문에 잡음 레벨에 따른 학습이 용이하다.

덧셈부(350)는 제 1 콘볼루션 레이어부(310)에서 출력되는 특징맵과 마지막 잔여 블록, 즉 제 n 잔여 블록(340)에서 출력되는 잡음 벡터를 덧셈 연산하여 출력한다.

제 2 콘볼루션 레이어부(360)는 복수의 차원(128차원)을 갖는 특징맵 형태의 입력값을 입력 영상과 동일한 1차원의 이미지로 변환한다. 이를 통해, 제 2 콘볼루션 레이어부(360)는 'WxHx1'의 출력 영상을 출력할 수 있다.

제안된 실시예에 따른 콘볼루션 레이어의 경우, 소정 크기를 갖는 커널을 사용할 수 있으며, 일예로 3x3 커널을 사용할 수 있다.

이를 통해, 잡음 제거 신경망(142)은 입력 영상에 포함된 잡음 성분을 제거한 출력 영상을 획득하는 동작을 학습할 수 있다.

도 5는 일 실시예에 따른 잔여 블록을 도시한 블록도이다.

도 5를 참조하면, 제 i 잔여 블록(330)은 제 1 콘볼루션 블록(331), 비선형함수(ReNU) 블록(332), 제 2 콘볼루션 블록(333) 및 게이트(334)를 포함할 수 있다. 다른 잔여 블록들(320, 340)은 제 i 잔여 블록(330)과 유사한 구조를 가질 수 있으며, 동일한 크기(예를 들어, HxWx128)를 갖는 특징맵을 입력 및 출력할 수 있다.

제 1 콘볼루션 블록(331)은 영상 특징맵에 대해서 제1 콘볼루션 레이어 연산을 할 수 있다. 또한, 제 1 콘볼루션 블록(331)은 로우 패스 필터(Low Pass Filter)의 기능을 가질 수 있다. 제 1 콘볼루션 블록(331)은 제 1 콘볼루션 레이어 연산된 특징맵을 비선형함수 블록(332)으로 출력할 수 있다.

비선형함수 블록(332)은 제 1 콘볼루션 레이어 연산된 특징맵을 비선형 함수(예를 들어, f(x)=max(0,x))를 적용한다. 비선형함수 블록(332)은 이를 통해, 선형적이지 않아 예측할 수 없는 비선형적인 특징맵, 즉 새로운 형태의 특징맵을 생성할 수 있다. 비선형함수 블록(332)은 비선형함수를 적용한 특징맵을 제 2 콘볼루션 블록(333)으로 출력한다.

제 2 콘볼루션 블록(333)은 비선형함수가 적용된 특징맵을 제 2 콘볼루션 연산을 할 수 있다. 제 2 콘볼루션 블록(333)은 제 2 콘볼루션 연산된 특징맵을 게이트(334)로 출력한다.

이와 같이, 제 1 콘볼루션 블록(331)과 제 2 콘볼루션 블록(333)은 신경망의 콘볼루션 레이어에 대응되는 것으로, 연속된 구조를 갖지 않고, 비선형함수 블록(332)을 사이에 위치시킬 수 있다. 이를 통해, 각 콘볼루션 레이어에서 새로운 영상 특징맵을 사용(예를 들면, 깊이(deep)가 증가되는 효과를 가짐)하기 때문에 잡음 제거를 위한 영상 복원 성능이 향상될 수 있다.

게이트(334)는 제 2 콘볼루션 연산된 영상 특징맵과 잡음 벡터를 성분곱(element wise multiplication) 연산하여 출력할 수 있다. 영상 특징맵과 잡음 벡터의 차원의 크기는 동일하도록 생성되기 때문에, 게이트(334)는 성분곱 연산을 통해 영상 특징맵을 출력할 수 있다.

한편, 제 1 잔여 블록(320)은 첫 번째에 위치한 잔여 블록으로 도 4의 제 1 콘볼루션 레이어부(310)에서 출력되는 영상 특징맵을 입력으로 하여 두 번째 잔여 블록으로 영상 특징맵을 출력한다. 이와 달리, 제 n 잔여 블록(340)이 마지막에 위치한 잔여 블록으로 이전에 위치한 잔여 블록으로부터 영상 특징맵을 입력으로 하여 덧셈기(350)로 영상 특징맵을 출력할 수 있다. 이와 같이, 잔여 블록들은 이전 블록으로부터의 출력을 입력으로 하는 연결 구조를 가질 수 있다.

도 6은 일 실시예에 따른 영상 블록에 잡음이 결합되는 동작을 도시한 도면이다.

도 6을 참조하면, 제 i 잔여 블록(330)은 영상 특징맵(410)을 입력으로 받을 수 있다. 이후, 제 i 잔여 블록(330)은 두 개의 콘볼루션 블록을 통해 출력된 영상 특징맵(420)과 잡음 벡터(430)를 성분곱(450)연산하여 영상 특징맵(440)을 출력하는 것을 도시하고 있으며, 잡음 벡터의 성분이 HxW로 나타내는 특징맵의 세기를 조정할 수 있어 각 성분에 대한 연산 프로세스(411, 421, 431, 441)를 확인할 수 있다.

이와 같은 제 i 잔여 블록(330)의 동작은 하기의 수학식 1과 같이 나타낼 수 있다.

여기서, (Y)^k _i,out는 잔여 블록의 출력을 나타내고, F(Y)^k _i,0 는 잔여 블록의 입력이다. 여기서, i는 잔여 블록의 인덱스이고, k는 픽셀의 인덱스(k는 1부터 HxW까지 존재)이다. F(Y)^k _i,2는 두 개의 콘볼루션 블록을 통과한 특징맵이고,

는 학습을 위한 계수이고, tanh는 비선형 함수이다. 또한, ○는 성분곱 연산이고, s()는 시그모이드 함수(비선형 함수를 사용하여 잡음 벡터를 정규화 함)이고,

는 잡음 벡터이다.

도 7은 일 실시예에 따른 영상 복원 장치에서의 잡음 제거 신경망을 학습하는 동작을 도시한 순서도이다.

도 7을 참조하면, 영상 복원 장치(100)는 수치화된 잡음 레벨을 사용하여 잡음 벡터를 생성할 수 있다(S510). 여기서, 잡음 벡터는 2번의 차원으로 각각 변환하여 생성될 수 있으며, 영상 성분과의 연산을 위해 콘볼루션 신경망을 통해 특징맵의 형태로 생성될 수 있다. 따라서, 영상 복원 장치(100)는 영상 내에 잡음 벡터를 직접 적용하지 않고, 영상의 학습 시 별도로 생성된 잡음 벡터를 학습 단계에서 적용할 수 있다.

영상 복원 장치(100)는 잡음이 포함된 영상을 복수의 차원(또는, 채널)으로 확장하여 영상 특징맵을 생성할 수 있다(S520).

영상 복원 장치(100)는 복수의 잔여 블록 각각에서 영상 특징맵과 잡음 벡터를 연산하여 출력할 수 있다(S530). 여기서, 영상 복원 장치(100)는 잔여 블록 각각에서 영상 특징맵의 콘볼루션 레이어 연산 사이에 비선형함수를 사용한다. 또한, 영상 복원 장치(100)는 콘볼루션 레이어 연산된 영상 특징맵과 잡음 벡터를 성분곱하여 출력한다.

영상 복원 장치(100)는 잡음 벡터와 연산된 특징맵을 하나의 차원에 대응되는 이미지로 변환하여 잡음이 제거된 영상을 출력한다(S540). 영상 복원 장치(100)는 다양한 수치로 설정된 잡음 레벨에 대한 잡음 벡터 각각에 대해서 잡음 제거 신경망의 학습을 수행할 수 있다. 영상 복원 장치(100)는 영상에 따라 잡음 제거 신경망을 복수개를 필요로 하지 않으며, 하나의 잡음 제거 신경망을 사용하면 모든 형태의 영상에 대해 잡음의 제거에 이용할 수 있다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다

또한 본 발명의 일실시예에 따르는 영상 복원 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 본 발명의 일실시예에 따르는 영상 복원 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 영상 복원 장치 110: 입출력부
120: 통신부 130: 저장부
140: 하향링크 스케쥴러 141: 잡음 벡터 생성부
142: 잡음 제거 신경망 210: 제 1 전체 연결 레이어부
220; 제 2 전체 연결 레이어부 310: 제 1 콘볼루션 레이어부
320, 330, 340: 잔여 블록들 350: 덧셈부
360: 제 2 콘볼루션 레이어부 331: 제 1 콘볼루션 블록
332: 비선형 함수 블록 333: 제 2 콘볼루션 블록
334: 게이트

Claims

잡음레벨을 사용하여 잡음벡터를 생성하는 잡음벡터 생성부; 및
복수의 잔여블록들 각각에서, 잡음을 포함한 입력 영상으로부터 생성된 영상 특징맵과 상기 잡음 벡터를 연산하여 상기 입력 영상에 포함된 잡음을 제거하는 잡음 제거 신경망을 포함하는 영상 복원 장치.
제 1 항에 있어서,
상기 잡음 벡터 생성부는,
상기 잡음 레벨을 사용하여 제1 차원을 갖는 잡음 특징맵을 생성하는 제 1 전체 연결 레이어부; 및
상기 잡음 특징맵을 사용하여 제 2 차원을 갖는 상기 잡음 벡터를 생성하는 제 2 전체 연결 레이어부를 포함하고,
상기 제 1 차원은 상기 제 2 차원보다 작은 차원을 갖는 영상 복원 장치.
제 1 항에 있어서,
상기 잡음 제거 신경망은,
상기 입력 영상을 복수의 차원으로 확장하여 상기 영상 특징맵을 생성하는 제 1 콘볼루션 레이어부;
상기 영상 특징맵을 상기 잡음 벡터와 연산하여 출력하되, 각각이 소정 깊이의 레이어에 대응되는 복수의 잔여 블록들; 및
상기 잡음 벡터와 연산하여 출력된 영상 특징맵을 하나의 차원의 영상으로 변환하여 잡음이 제거된 영상을 출력하는 제 2 콘볼루션 레이어부를 포함하는 영상 복원 장치.
제 3 항에 있어서,
상기 영상 특징맵과 상기 복수의 잔여 블록들 중 마지막 잔여 블록의 출력을 덧셈 연산하여 상기 제 2 콘볼루션 레이어로 출력하는 덧셈부를 더 포함하는 영상 복원 장치.
제 3 항에 있어서,
상기 복수의 잔여 블록들 각각은,
상기 영상 특징맵을 제 1 콘볼루션 레이어 연산하는 제 1 콘볼루션 블록;
상기 콘볼루션 레이어 연산된 영상 특징맵에 비선형함수를 적용하는 비선형 함수 블록;
상기 비선형 함수가 적용된 영상 특징맵을 제 2 콘볼루션 레이어 연산하는 제 2 콘볼루션 블록; 및
상기 제 2 콘볼루션 연산된 특징맵에 상기 잡음 벡터를 성분곱(element wise multiplication) 연산하여 출력하는 게이트를 포함하는 영상 복원 장치.
제 3 항에 있어서,
상기 잔여 블록 각각은
하기의 수학식에 기초하여 상기 영상 특징맵과 상기 잡음 벡터를 연산하는 영상 복원 장치.
[수학식]

여기서, F(Y)^k _i,out는 잔여 블록의 출력이고, F(Y)^k _i,0 는 잔여 블록의 입력이고, i는 잔여 블록의 인덱스이고, k는 픽셀의 인덱스이고, F(Y)^k _i,2는 두 개의 콘볼루션 블록을 통과한 특징맵이고,
는 학습을 위한 계수이고, tanh는 비선형 함수이고, ○는 성분곱 연산이고, s()는 시그모이드 함수이고,
는 잡음 벡터임.
영상 복원 장치에 의해 수행되는 영상 복원 방법에 있어서,
잡음레벨을 사용하여 잡음벡터를 생성하는 단계; 및
복수의 잔여블록들 각각에서, 잡음을 포함한 입력 영상으로부터 생성된 영상 특징맵과 상기 잡음 벡터를 연산하여 상기 입력 영상에 포함된 잡음을 제거하여 잡음 제거 신경망을 학습하는 단계를 포함하는 영상 복원 방법.
제 7 항에 있어서,
상기 잡음벡터를 생성하는 단계는,
상기 잡음 레벨을 사용하여 제1 차원을 갖는 잡음 특징맵을 생성하는 단계; 및
상기 잡음 특징맵을 사용하여 제 2 차원을 갖는 상기 잡음 벡터를 생성하는 단계를 포함하고,
상기 제 1 차원은 상기 제 2 차원보다 작은 차원을 갖는 영상 복원 방법.
제 7 항에 있어서,
상기 잡음 제거 신경망을 학습하는 단계는,
상기 입력 영상을 복수의 차원으로 확장하여 상기 영상 특징맵을 생성하는 단계;
복수의 잔여 블록들 각각에서 상기 영상 특징맵을 상기 잡음 벡터와 연산하여 출력하는 단계;
상기 잡음 벡터와 연산하여 출력된 영상 특징맵을 하나의 차원의 영상으로 변환하여 잡음이 제거된 영상을 출력하는 단계를 포함하는 영상 복원 방법.
제 9 항에 있어서,
상기 잡음 벡터와 연산하여 출력하는 단계 이후에,
상기 영상 특징맵과 상기 복수의 잔여 블록들 중 마지막 잔여 블록의 출력을 덧셈 연산하는 단계를 더 포함하는 영상 복원 방법.
제 9 항에 있어서,
상기 영상 특징맵을 상기 잡음 벡터와 연산하여 출력하는 단계는,
상기 영상 특징맵을 제 1 콘볼루션 레이어 연산하는 단계;
상기 콘볼루션 레이어 연산된 영상 특징맵에 비선형함수를 적용하는 단계;
상기 비선형 함수가 적용된 영상 특징맵을 제 2 콘볼루션 레이어 연산하는 단계; 및
상기 제 2 콘볼루션 연산된 특징맵에 상기 잡음 벡터를 성분곱(element wise multiplication) 연산하여 출력하는 단계를 포함하는 영상 복원 방법.
제 9 항에 있어서,
상기 영상 특징맵을 상기 잡음 벡터와 연산하여 출력하는 단계는,
하기의 수학식에 기초하여 상기 영상 특징맵과 상기 잡음 벡터를 연산하는 영상 복원 방법.
[수학식]

여기서, F(Y)^k _i,out는 잔여 블록의 출력이고, F(Y)^k _i,0 는 잔여 블록의 입력이고, i는 잔여 블록의 인덱스이고, k는 픽셀의 인덱스이고, F(Y)^k _i,2는 두 개의 콘볼루션 레이어 연산을 수행한 특징맵이고,
는 학습을 위한 계수이고, tanh는 비선형 함수이고, ○는 성분곱 연산이고, s()는 시그모이드 함수이고,
는 잡음 벡터임.
제 7 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
영상 복원 장치에 의해 수행되며, 제 7 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.