KR102172234B1 - 영상 처리 방법 및 장치, 및 전자 디바이스 - Google Patents

Abstract

이 출원은 영상 처리 방법 및 장치, 및 전자 디바이스를 제공하며, 영상 처리 기술 분야에 관한 것이다. 이 출원에 의해 제공되는 영상 처리 방법 및 장치 및 전자 디바이스는 처리될 영상에 대해 노이즈 제거를 수행하여 노이즈 제거된 영상을 획득하고, 다음으로 노이즈 제거된 영상으로부터 추출된 대상 영역 영상에 대해 디테일 향상을 수행하여 디테일 향상된 영상을 획득한 후에, 노이즈 제거된 영상을 디테일 향상된 영상과 융합하여 출력 영상을 획득한다. 대상 영역 영상에 대해 디테일 향상이 수행되므로, 획득된 출력 영상은 더 선명하고 디스플레이 효과가 더 좋다.

Description

영상 처리 방법 및 장치, 및 전자 디바이스{IMAGE PROCESSING METHOD AND APPARATUS, AND ELECTRONIC DEVICE}

본 개시는 영상 처리 기술 분야, 더 구체적으로, 영상 처리 방법 및 장치 및 전자 디바이스에 관한 것이다.

불충분한 조명의 경우에 스마트폰과 같은 전자 디바이스로 촬영한 사진은 종종 더 많은 국소 노이즈 및 피사체의 디테일 손실 등을 갖는다. 어두운 환경에서 전자 디바이스로 촬영한 사진에 대해, 현재의 영상 처리 기술은 통상적으로 노이즈 감소 방법을 사용하여 사진 내의 노이즈의 일부를 제거하지만, 기존의 노이즈 감소 방법은 강한 스미어링 센스(strong sense of smearing)를 가지고 영상의 핵심 부분의 디테일을 복원할 수 없어, 영상 왜곡을 일으킨다.

이러한 관점에서, 본 개시의 목적은 영상의 선명도를 개선하고 기존의 노이즈 감소 방법에 의해 야기되는 영상 왜곡을 개선할 수 있는 영상 처리 방법 및 장치, 및 전자 디바이스를 제공하는 것이다.

위의 목적을 달성하기 위해, 본 개시의 실시예에 의해 채택된 기술적 해결책은 다음과 같다.

제1 양상에서, 본 개시의 일 실시예는 영상 처리 방법을 제공하며, 이는

노이즈 제거된 영상을 생성하기 위해, 처리될 영상에 대해 노이즈 제거(denoising)를 수행하는 것;

노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상을 추출하는 것;

디테일 향상된 영상을 생성하기 위해 대상 영역 영상에 대해 디테일 향상을 수행하는 것; 및

출력 영상을 획득하기 위해, 노이즈 제거된 영상을 디테일 향상된 영상과 융합하는 것을 포함한다.

제1 양상과 관련하여, 본 개시의 일 실시예는 제1 양상의 제1 가능한 구현을 제공하며, 여기에서 노이즈 제거된 영상을 생성하기 위해, 처리될 영상에 대해 노이즈 제거를 수행하는 것은:

처리될 영상을 노이즈 감소 네트워크 내로 입력하고, 노이즈 감소 네트워크의 출력을 노이즈 제거된 영상으로서 사용하는 것을 포함하며; 노이즈 감소 네트워크는 컨벌루션-디컨벌루션(convolution-deconvolution) 신경망을 채용하고; 노이즈 제거된 영상 및 처리될 영상은 동일한 크기를 갖는다.

제1 양상의 제1 가능한 구현과 관련하여, 본 개시의 일 실시예는 제1 양상의 제2 가능한 구현을 제공하며, 여기에서 컨벌루션-디컨벌루션 신경망은 컨벌루션 신경망 및 디컨벌루션 신경망을 포함하고;

컨벌루션 신경망은 적어도 하나의 컨벌루션 레이어를 포함하고, 적어도 하나의 컨벌루션 레이어 각각은 하나 이상의 제1 컨벌루션 커널(kernel)을 포함하며, 제1 컨벌루션 커널이 처리될 영상의 픽셀 행렬을 순회(traverse)한 후에 노이즈 제거된 특징 맵(feature map)이 획득되고;

디컨벌루션 신경망은 컨벌루션 신경망과 대칭적인 구조를 채용하고, 디컨벌루션 신경망은 적어도 하나의 디컨벌루션 레이어를 포함하고, 적어도 하나의 디컨벌루션 레이어 각각은 대응하는 컨벌루션 레이어와 동일한 수의 제2 컨벌루션 커널을 포함하며, 제2 컨벌루션 커널이 노이즈 제거된 특징 맵의 특징 행렬(feature matrix)을 순회한 후에 노이즈 제거된 영상이 획득된다.

제1 양상과 관련하여, 본 개시의 일 실시예는 제1 양상의 제3 가능한 구현을 제공하며, 여기에서 노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상을 추출하는 것은:

대상 추출 네트워크에 의하여, 노이즈 제거된 영상 내에서 촬영 대상이 있는 영역을 결정하는 것-대상 추출 네트워크는 컨벌루션 신경망을 채용함; 및

대상 영역 영상을 획득하기 위해 촬영 대상이 있는 영역을 노이즈 제거된 영상으로부터 분리(isolating)하는 것을 포함한다.

제1 양상과 관련하여, 본 개시의 일 실시예는 제1 양상의 제4 가능한 구현을 제공하며, 여기에서 디테일 향상된 영상을 생성하기 위해 대상 영역 영상에 대해 디테일 향상을 수행하는 것은:

대상 영역 영상을 디테일 향상 네트워크 내로 입력하고, 디테일 향상 네트워크의 출력을 디테일 향상된 영상으로서 사용하는 것을 포함하며; 디테일 향상 네트워크는 컨벌루션-디컨벌루션 신경망을 채용하고; 디테일 향상된 영상 및 대상 영역 영상은 동일한 크기를 갖는다.

제1 양상과 관련하여, 본 개시의 일 실시예는 제1 양상의 제5 가능한 구현을 제공하며, 여기에서 출력 영상을 획득하기 위해 노이즈 제거된 영상을 디테일 향상된 영상과 융합하는 것은:

노이즈 제거된 영상 내의 대상 영역 영상을 디테일 향상된 영상으로 대체하는 것; 및

디테일 향상된 영상이 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하는 것을 포함한다.

제1 양상의 제5 가능한 구현과 관련하여, 본 개시의 일 실시예는 제1 양상의 제6 가능한 구현을 제공하며, 여기에서 노이즈 제거된 영상 내의 대상 영역 영상을 디테일 향상된 영상으로 대체하는 것은:

다음 식을 통한 대체 프로세스를 구현하는 것을 포함하며:

여기에서 R_final은 출력 영상, R_206은 디테일 향상된 영상, R_202는 노이즈 제거된 영상, a는 노이즈 제거된 영상 내에서 대상 영역 영상이 있는 영역, 1-a는 노이즈 제거된 영상 내의 대상 영역 영상이 아닌 영역이다.

제1 양상의 제5 가능한 구현과 관련하여, 본 개시의 일 실시예는 제1 양상의 제7 가능한 구현을 제공하며, 여기에서 디테일 향상된 영상이 상기 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하는 것은:

스무딩 필터링(smoothing filtering) 또는 웨이블릿(wavelet) 재구성에 의해 디테일 향상된 영상이 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하는 것을 포함한다.

제1 양상의 제1 가능한 구현 내지 제4 가능한 구현과 관련하여, 본 개시의 일 실시예는 제1 양상의 제8 가능한 구현을 제공하며, 여기에서 처리될 영상에 대해 노이즈 제거를 수행하는 것 이전에, 방법은:

훈련 영상 샘플 세트를 획득하는 것-훈련 영상 샘플 세트는 쌍을 이루는 훈련 영상의 복수의 그룹을 포함함; 및

훈련 영상 샘플 세트를 사용하여 노이즈 감소 네트워크, 대상 추출 네트워크, 또는 디테일 향상 네트워크를 훈련하는 것을 더 포함한다.

제1 양상의 제8 가능한 구현과 관련하여, 본 개시의 일 실시예는 제1 양상의 제9 가능한 구현을 제공하며, 여기에서 쌍을 이루는 훈련 영상의 각 그룹은 동일한 촬영 환경에서 각각 취득된 제1 영상 및 제2 영상을 포함하며;

제1 영상을 취득하는 것은 설정된 제1 노출 시간 및 설정된 제1 감도 파라미터에 따라 제 1 영상을 캡처하는 것을 포함하고;

제2 영상을 취득하는 것은 설정된 제2 노출 시간 및 설정된 제2 감도 파라미터에 따라 제 2 영상을 캡처하는 것을 포함하며;

제2 노출 시간은 제1 노출 시간보다 크고; 제2 감도 파라미터는 제1 감도 파라미터보다 작다.

제1 양상의 제6 가능한 구현과 관련하여, 본 개시의 일 실시예는 제1 양상의 제9 가능한 구현을 제공하며, 여기에서 제2 노출 시간은 제1 노출 시간의 4배 내지 8배이다.

제1 양상과 관련하여, 본 개시의 일 실시예는 제1 양상의 제7 가능한 구현을 제공하며, 여기에서 처리될 영상에 대해 노이즈 제거를 수행하는 것 이전에, 방법은:

현재 촬영 환경의 조명 밝기가 설정된 밝기 임계치보다 낮은지 여부를 결정하는 것; 및

그러하면, 캡처된 영상을 처리될 영상으로서 사용하는 것을 더 포함한다.

제2 양상에서, 본 개시의 일 실시예는 또한 영상 처리 장치를 제공하며, 이는:

노이즈 제거된 영상을 생성하기 위해, 처리될 영상에 대해 노이즈 제거를 수행하도록 구성되는 노이즈 제거 모듈;

노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상을 추출하도록 구성되는 대상 추출 모듈;

디테일 향상된 영상을 생성하기 위해 대상 영역 영상에 대해 디테일 향상을 수행하도록 구성되는 디테일 향상 모듈; 및

출력 영상을 획득하기 위해 노이즈 제거된 영상을 디테일 향상된 영상과 융합하도록 구성되는 융합 모듈을 포함한다.

제3 양상에서, 본 개시의 일 실시예는 영상 취득 어셈블리, 메모리 및 프로세서를 포함하는 전자 디바이스를 제공하며;

영상 취득 어셈블리는 영상 데이터를 취득하도록 구성되고;

메모리는 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 저장하며, 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1 양상의 임의의 구현에 따른 방법의 단계들이 수행된다.

제4 양상에서, 본 개시의 일 실시예는 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체를 제공하며, 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1 양상의 임의의 구현에 따른 방법의 단계들이 수행된다.

본 개시의 실시예는 다음의 유익한 효과를 가져온다.

본 개시의 실시예에 의해 제공되는 영상 처리 방법 및 장치 및 전자 디바이스는 노이즈 제거된 영상을 획득하기 위해 처리될 영상에 대해 노이즈 제거를 수행하고, 다음으로 디테일 향상된 영상을 획득하기 위해 노이즈 제거된 영상으로부터 추출된 대상 영역 영상에 대해 디테일 향상을 수행한 후에, 출력 영상을 획득하기 위해 노이즈 제거된 영상을 디테일 향상된 영상과 융합한다. 대상 영역 영상에 대해 디테일 향상이 수행되므로, 기존의 노이즈 감소 방법에 의해 야기되는 영상 왜곡에 대한 개선이 이루어졌으며, 획득된 출력 영상은 더 선명하고 디스플레이 효과가 더 좋다.

본 개시의 다른 특징 및 이점은 다음의 설명에서 제시될 것이며, 또는 특징 및 이점의 일부는 명세서로부터 유예되거나 이로부터 의심의 여지없이 결정되거나 또는 본 개시의 위 기술을 구현함에 의해 습득될 수 있다.

본 개시의 상술한 목적, 특징 및 이점을 더욱 명확하고 이해하기 쉽도록, 바람직한 실시예가 아래에서 도면과 함께 설명되어, 이하의 상세한 설명을 제공할 것이다.

본 개시의 특정한 구현 또는 종래 기술의 기술적 해결책을 더욱 명확하게 설명하기 위해, 특정한 구현 또는 종래 기술을 설명하기 위해 필요한 도면이 이하에서 간단히 소개되며, 자명하게, 다음의 도면은 본 발명의 구현의 일부이고, 당업자에게는 창조적인 노력을 기울이지 않고 이들 도면을 기초로 다른 도면을 얻는 것이 가능하다.
도 1은 본 개시의 일 실시예에 따른 전자 디바이스의 개략적인 구조도이다.
도 2는 본 개시의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 컨벌루션-디컨벌루션 신경망의 개략적인 구조도이다.
도 4는 본 개시의 일 실시예에 따른 영상 처리 장치의 구조 블록도이다.

본 개시의 목적, 기술적 해결책 및 이점을 더욱 명확하고 분명하게 하기 위하여, 이하에서, 본 개시의 기술적 해결책이 도면과 조합하여 명확하고 포괄적으로 기술될 것이며, 자명하게, 이러한 기술되는 실시예들은 본 개시의 모든 실시예가 아니라 실시예의 일부이다. 창의적인 노력을 기울이지 않고 본 개시의 실시예에 기초하여 당업자에 의해 획득된 다른 모든 실시예는 본 개시의 보호 범위에 속한다. 다음은 본 개시의 실시예의 상세한 설명이다.

제1 실시예

먼저, 본 개시의 일 실시예에 따른 영상 처리 방법 및 장치를 구현하기 위한 예시적인 전자 시스템(100)이 도 1을 참조하여 기술된다.

도 1에 나타난 바와 같이, 전자 시스템(100)은 하나 이상의 프로세서(102), 하나 이상의 저장 디바이스(104), 입력 디바이스(106), 출력 디바이스(108) 및 영상 취득 디바이스(110)를 포함하며, 이들 구성요소는 버스 시스템(112) 및/또는 다른 형태의 연결 메커니즘(미도시)을 통해 서로 연결된다. 도 1에 나타난 전자 시스템(100)의 구성요소 및 구조는 단지 예시적일 뿐, 제한적이 아니며, 전자 시스템은 필요에 따라 다른 구성요소 및 구조를 가질 수 있음을 유의한다.

프로세서(102)는 중앙 처리 유닛(CPU) 또는 데이터 처리 성능 및/또는 명령 실행 성능을 갖는 다른 형태의 처리 유닛일 수 있으며, 전자 디바이스(100)의 다른 구성요소를 제어하여 원하는 기능을 수행하도록 할 수 있다.

저장 디바이스(104)는 하나 이상의 컴퓨터 프로그램 제품을 포함할 수 있으며, 상기 컴퓨터 프로그램 제품은 휘발성 메모리 및/또는 비휘발성 메모리와 같은 다양한 형태의 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 휘발성 메모리는, 예를 들어, 임의 접근 메모리(RAM) 및/또는 캐시 등을 포함할 수 있다. 비휘발성 메모리는, 예를 들어, 읽기 전용 메모리(ROM), 하드 디스크, 플래시 메모리 등을 포함할 수 있다. 하나 이상의 컴퓨터 프로그램 명령이 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 프로세서(102)는 프로그램 명령을 실행하여 이하에서 기술되는 본 개시의 실시예에서 (프로세서에 의해 구현되는) 클라이언트 기능 및/또는 다른 원하는 기능을 구현할 수 있다. 다양한 응용 프로그램 및 응용 프로그램에 의해 사용 및/또는 생성되는 다양한 데이터 등과 같은 다양한 데이터가 또한 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.

입력 디바이스(106)는 명령을 입력하기 위하여 사용자가 사용하는 디바이스일 수 있으며, 키보드, 마우스, 마이크, 터치 스크린 등의 하나 이상을 포함할 수 있다.

출력 디바이스(108)는 외부(예를 들어, 사용자)로 다양한 유형의 정보(예를 들어, 영상 또는 음향)을 출력할 수 있으며, 디스플레이, 스피커 등의 하나 이상을 포함할 수 있다.

영상 취득 디바이스(110)는 사용자가 원하는 영상(예를 들어, 사진, 비디오, 등)을 캡처하고 캡처된 영상을 다른 구성요소에 의해 사용하기 위해 저장 디바이스(104)에 저장할 수 있다.

실례로, 본 개시의 일 실시예에 따른 영상 처리 방법 및 장치를 구현하기 위한 예시적인 전자 시스템은 스마트폰, 태블릿 컴퓨터 등과 같은 모바일 단말기로 구현될 수 있다.

제2 실시예

이 실시예는 영상 처리 방법을 제공하며, 도면의 흐름도에 나타난 단계가 컴퓨터 시스템에서, 예를 들어, 컴퓨터 실행 가능 명령 세트를 실행함에 의해 실행될 수 있으며, 단계가 흐름도에서 논리적인 순서로 제시되어 있지만, 일부 상황에서, 도시되거나 기술된 단계가 본원에 기술된 것과 다른 순서로 실행될 수 있음을 유의한다. 이 실시예가 이하에서 자세히 기술된다.

도 2는 본 개시의 일 실시예에 따른 영상 처리 방법의 흐름도이며, 도 2에 나타난 바와 같이, 방법은 다음의 단계를 포함한다.

단계 S202, 노이즈 제거된 영상을 생성하기 위해, 처리될 영상에 대해 노이즈 제거가 수행된다.

처리될 영상은 스마트폰 또는 전자 카메라와 같은 전자 디바이스에 의해 캡처된 영상일 수 있다. 예를 들어, 촬영 환경이 어두우면, 불충분한 조명의 경우 전자 디바이스의 감광 요소에 의해 얻어진 어두운 조명 영상은 일반적으로 더 많은 국소 노이즈와 캡처된 대상의 디테일 손실을 갖는다. 본 개시의 실시예에 의해 제공되는 영상 처리 방법은 더 선명한 영상을 얻기 위하여 상술한 어두운 조명 영상을 처리하는 데 사용될 수 있다.

선택적으로, 전자 디바이스에 의해 캡처된 영상은 처리될 영상으로 사용될 수 있으며, 본 개시의 실시예에 의해 제공되는 영상 처리 방법에 의해 처리될 수 있다. 전자 디바이스의 전력을 절약하고 전자 디바이스의 촬영 속도를 높이기 위하여, 어두운 조명 영상과 같이, 선명해질 필요가 있는 흐린 영상만을 처리될 영상으로서 사용하는 것이 가능하다. 예를 들어, 전자 디바이스로 사진을 찍을 때, 현재 촬영 환경의 조명 밝기가 설정된 밝기 임계치보다 낮은지 여부가 먼저 결정될 수 있다. 구체적으로, 현재 촬영 환경의 조명 밝기는 감광 요소(예를 들어, 감광 센서)에 의해 감지될 수 있다. 현재 촬영 환경의 조명 밝기가 설정된 밝기 임계치보다 낮으면, 전자 디바이스에 의해 현재 캡처된 영상은 어두운 조명 영상으로 간주되고, 어두운 조명 영상이 영상 처리되어야 할 처리될 영상으로서 사용된다.

선택적으로, 처리될 영상은 사전 훈련된 노이즈 감소 네트워크를 통한 노이즈 감소의 대상이 될 수 있다. 처리될 영상은 노이즈 감소 네트워크로 입력되어 노이즈 감소 네트워크에 의해 출력되는 노이즈 제거된 영상을 획득할 수 있으며, 노이즈 제거된 영상은 처리될 영상과 동일한 크기를 갖는다. 노이즈 감소 네트워크는 도 3에 나타난 컨벌루션-디컨벌루션 신경망을 사용할 수 있다. 컨벌루션-디컨벌루션 신경망은 컨벌루션 신경망 및 디컨벌루션 신경망을 포함한다. 본원에서, 컨벌루션 신경망 및 디컨벌루션 신경망은 대칭적 구조를 채택할 수 있다.

컨벌루션 신경망은 처리될 영상의 노이즈를 감소하고, 처리될 영상의 노이즈 제거된 특징 맵을 획득하기 위하여 사용된다. 디컨벌루션 신경망은 노이즈 제거된 특징 맵을 처리될 영상의 크기로 매핑하고, 처리될 영상과 동일한 크기의 노이즈 제거된 영상을 획득하기 위하여 사용된다.

예시적으로, 노이즈 감소 네트워크의 컨벌루션 신경망은 적어도 하나의 컨벌루션 레이어를 포함하며, 적어도 하나의 컨벌루션 레이어 각각은 입력 영상의 픽셀 행렬로부터 영상 노이즈를 감소시키고 유용한 정보를 추출하기 위한 하나 이상의 제1 컨벌루션 커널을 포함하고, 적어도 하나의 노이즈 제거된 특징 값을 획득하기 위해 입력 영상의 픽셀 행렬은 일정한 스텝 크기에 따라 제1 컨벌루션 커널에 의해 순회되며, 적어도 하나의 노이즈 제거된 특징 값은 노이즈 제거된 특징 맵을 구성한다. 제1 컨벌루션 레이어의 입력 영상은 처리될 영상이며, 나머지 컨벌루션 레이어의 입력 영상은 이전 컨벌루션 레이어의 출력 영상이다. 디컨벌루션 연산은 컨벌루션 연산의 역이며, 노이즈 감소 네트워크의 디컨벌루션 신경망은 컨벌루션 신경망과 대칭인 구조를 채택할 수 있고, 디컨벌루션 신경망은 적어도 하나의 디컨벌루션 레이어를 포함하고, 적어도 하나의 디컨벌루션 레이어 각각은 대응하는 컨벌루션 레이어와 동일한 수의 제2 컨벌루션 커널을 포함할 수 있으며, 디컨벌루션 레이어를 통과한 후에 처리될 영상과 동일한 크기의 노이즈 제거된 영상이 획득될 수 있다.

예를 들어, 도 3에 나타난 바와 같이, 256*256*3 크기를 갖는 처리될 영상이 노이즈 감소 네트워크로 입력되고, 다음 컨벌루션 신경망을 통과한 후에 16*16*512 노이즈 제거된 특징 맵이 획득되며, 노이즈 제거된 특징 맵이 디컨벌루션 신경망을 통과한 후에 256*256*3 노이즈 제거된 영상이 획득될 수 있다.

단계 S204, 노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상이 추출된다.

본 개시의 실시예에서, 촬영 대상은 보행자일 수 있으며, 사람 몸의 특정한 부분(예컨대 얼굴)일 수 있고, 동물 또는 임의의 객체, 예를 들어, 특정한 랜드마크 빌딩, 일부 아이콘 로고 등일 수 있으며, 이 실시예는 이에 대해 제한을 두지 않는다.

선택적인 실시예에서, 노이즈 제거된 영상 내에서 촬영 대상이 있는 영역은 대상 추출 네트워크에 의해 결정될 수 있으며; 대상 추출 네트워크는 다음의 구조를 갖는 컨벌루션 신경망을 채택할 수 있고, 컨벌루션 신경망은 컨벌루션 레이어, 심도 레지듀얼 네트워크, 영역 제안(region proposal) 네트워크, 관심 영역 풀링 레이어 및 연속적으로 연결된 완전 연결 레이어(fully connected layer)를 포함한다. 선택적으로, 대상 추출 네트워크는: 컨벌루션 레이어, 복수의 심도 레지듀얼 네트워크, 영역 제안 네트워크, 관심 영역 풀링 레이어 및 완전 연결 레이어를 포함할 수 있다.

예를 들어, 촬영 대상이 사람의 얼굴이면, 대상 추출 네트워크는 얼굴 특징 인식을 위해 사전 훈련된 컨벌루션 신경망을 채용할 수 있다. 특정한 스텝 크기에 따라 노이즈 제거된 영상 상에서 슬라이딩하기 위하여 직사각형 슬라이딩 윈도우가 사용되며, 슬라이딩 윈도우 내의 영상이 컨벌루션 신경망의 입력으로 사용되며; 컨벌루션 신경망의 출력이 0이면, 이는 사람 얼굴이 검출되지 않았음을 의미하고; 컨벌루션 신경망의 출력이 1이면, 이는 사람 얼굴이 검출되었음을 의미한다. 사람 얼굴이 위치하는 영역이 촬영 대상이 있는 영역으로서 결정되고, 대상 영역 영상을 획득하기 위해 촬영 대상이 있는 영역이 노이즈 제거된 영상으로부터 분리된다.

노이즈 제거된 영상으로부터 추출된 대상 영역 영상이 하나이거나 다수일 수 있음을 유의하여야 한다. 예를 들어, 노이즈 제거된 영상에 다수의 사람 얼굴이 포함되면, 다수의 대상 영역 영상이 추출될 수 있다.

단계 S206, 대상 영역 영상에 대해 디테일 향상이 수행되어 디테일 향상된 영상을 생성한다.

대상 영역 영상이 사전 훈련된 디테일 향상 네트워크로 입력되고, 디테일 향상 네트워크의 출력이 디테일 향상된 영상으로서 사용된다. 디테일 향상 네트워크는 또한 도 3에 나타난 컨벌루션-디컨벌루션 신경망을 채택할 수 있으며, 디테일 향상 네트워크에 의해 출력된 디테일 향상된 영상은 대상 영역 영상과 동일한 크기이다.

노이즈 감소 네트워크의 네트워크 구조와 유사하게, 디테일 향상 네트워크는 또한 컨벌루션 신경망 및 디컨벌루션 신경망을 포함할 수 있다. 컨벌루션 신경망 및 디컨벌루션 신경망은 대칭 구조를 채택할 수 있다.

컨벌루션 신경망은 대상 영역 영상의 디테일 특징을 추출하고, 디테일 특징 맵을 획득하는 데 사용된다. 디컨벌루션 신경망은 디테일 특징 맵을 대상 영역 영상의 크기로 매핑하고, 처리될 영상과 동일한 크기의 디테일 향상된 영상을 획득하는 데 사용된다.

예시적으로, 디테일 향상 네트워크의 컨벌루션 신경망은 적어도 하나의 컨벌루션 레이어를 포함하고, 적어도 하나의 컨벌루션 레이어 각각은 입력 영상의 픽셀 행렬로부터 디테일 특징 정보를 추출하기 위한 하나 이상의 제1 컨벌루션 커널을 포함하고, 적어도 하나의 디테일 특징 값을 획득하기 위해 입력 영상의 픽셀 행렬은 특정한 스텝 크기에 따라 제1 컨벌루션 커널에 의해 순회되며, 적어도 하나의 디테일 특징 값은 디테일 특징 맵을 구성한다. 제1 컨벌루션 레이어의 입력 영상은 대상 영역 영상이며, 나머지 컨벌루션 레이어의 입력 영상은 이전 컨벌루션 레이어의 출력 영상이다. 디테일 향상 네트워크의 디컨벌루션 신경망은 컨벌루션 신경망과 대칭적인 구조를 채택할 수 있으며, 적어도 하나의 디컨벌루션 레이어의 각 레이어는 대응하는 컨벌루션 레이어와 동일한 수의 제2 컨벌루션 커널을 포함할 수 있고, 디컨벌루션 레이어를 통과한 후에 대상 영역 영상과 동일한 크기의 디테일 향상된 영상이 획득된다.

노이즈 제거된 영상으로부터 복수의 대상 영역 영상이 추출되면, 대응하는 디테일 향상된 영상을 획득하기 위해 각 대상 영역 영상은 디테일 향상 네트워크 내로 별도로 입력될 수 있으며; 즉, 복수의 대상 영역 영상에 대응하여, 복수의 디테일 향상된 영상이 획득된다.

단계 S208, 노이즈 제거된 영상이 디테일 향상된 영상과 융합되어 출력 영상을 획득한다.

디테일 향상된 영상은 노이즈 제거된 영상 내의 대상 영역 영상을 대체하도록 사용될 수 있으며, 디테일 향상된 영상이 노이즈 제거된 영상과 교차하는 경계 영역이 선형으로 융합되어, 더 선명한 출력 영상이 획득될 수 있다.

노이즈 제거된 영상 내의 대상 영역 영상을 디테일 향상된 영상으로 대체하는 위의 프로세스는 다음의 식에 의해 표현될 수 있다:

여기에서 R_final은 출력 영상, R_206은 단계 S206에서 획득된 디테일 향상된 영상, R_202는 단계 S202에서 획득된 노이즈 제거된 영상, a는 노이즈 제거된 영상 내에서 대상 영역 영상이 있는 영역, 1-a는 노이즈 제거된 영상 내의 대상 영역 영상이 아닌 영역이다.

디테일 향상된 영상이 노이즈 제거된 영상과 교차하는 경계 영역은 스무딩 필터링(smoothing filtering) 또는 웨이블릿 재구성에 의해 선형으로 융합될 수 있다.

선택적으로, 복수의 디테일 향상된 영상이 있으면, 디테일 향상된 영상 각각이 노이즈 제거된 영상 내의 대응하는 대상 영역 영상을 대체하도록 사용될 수 있으며, 그 다음에 각 디테일 향상된 영상이 노이즈 제거된 영상과 교차하는 경계 영역이 선형으로 융합되어, 더 선명한 출력 영상이 획득된다.

위에서 언급된 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크가 영상의 디테일 향상에 직접 적용될 수 있도록 하고 더 정확하고 신뢰할 수 있는 결과를 출력하기 위하여, 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크를 미리 훈련하는 것이 필요하다 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크의 훈련 프로세스가 이하에서 상세히 기술된다.

훈련 영상 샘플 세트가 획득되며, 훈련 영상 샘플 세트는 쌍을 이루는 훈련 영상의 복수의 그룹을 포함하고; 쌍을 이루는 훈련 영상의 각 그룹은 동일한 촬영 환경에서 각각 취득된 제1 영상 및 제2 영상을 포함한다. 제1 영상은 또한 초기 영상으로 지칭될 수 있으며, 제2 영상은 또한 선명한 영상으로 지칭될 수 있다. 초기 영상은 설정된 제1 노출 시간 및 설정된 제1 감도 파라미터에 따라 캡처되고; 선명한 영상은 설정된 제2 노출 시간 및 설정된 제2 감도 파라미터에 따라 캡처된다. 제2 노출 시간은 제1 노출 시간보다 크고, 제2 감도 파라미터는 제1 감도 파라미터보다 작다.

예를 들어, 촬영 환경이 어두울 때, 초기 영상은 (제1 노출 시간 및 제1 감도 파라미터를 포함하는) 통상의 촬영 파라미터를 사용하여 전자 디바이스에 의해 캡처된다. 전자 디바이스의 감광 요소에 의해 수신되는 광이 불충분하므로, 초기 영상은 많은 노이즈를 가지며, 캡처된 대상의 디테일이 손실되는 현상이 있다. 어두운 조명 하에서 선명한 영상을 획득하기 위하여, 동일한 촬영 환경에서, 전자 디바이스가 영상을 캡처할 때 노출 시간을 증가시켜 들어오는 빛의 양을 증가시킨다. 노출 시간을 증가시키는 동안 감도 파라미터가 함께 낮추어져 과다 노출을 방지한다. 즉, 설정된 제2 노출 시간 및 설정된 제2 감도 파라미터에 따라 선명한 영상이 캡처된다. 예를 들어, 제2 노출 시간은 제1 노출 시간의 4배 내지 8배일 수 있다. 제2 감도 파라미터는 설정된 최소값보다 크고 제1 감도 파라미터보다 작을 수 있다. 훈련 영상 샘플 세트를 형성하기 위하여, 복수의 훈련 영상 쌍이 위의 방법에 의하여 획득될 수 있다.

노이즈 감소 네트워크, 대상 추출 네트워크 또는 디테일 향상 네트워크를 훈련할 때, 훈련 영상 샘플 세트로부터 훈련 영상 쌍이 무작위로 선택되고, 그 안에 포함된 초기 영상이 노이즈 감소 네트워크 내로 입력된다. 초기 영상은 먼저 노이즈 감소 네트워크의 컨벌루션 신경망을 통과하여, 초기 영상의 노이즈 제거된 특징 맵을 획득하고; 노이즈 제거된 특징 맵은 적어도 하나의 노이즈 제거된 특징 값을 포함한다. 그 다음, 디컨벌루션 신경망을 통과하며, 초기 영상의 노이즈 제거된 특징 맵이 초기 영상의 크기로 매핑되어, 초기 영상의 노이즈 제거된 영상을 획득한다. 초기 영상의 노이즈 제거된 영상 내에서 대상이 있는 촬영 대상 영역이 대상 추출 네트워크에 의해 결정되어, 초기 영상의 대상 영역 영상을 획득한다. 초기 영상의 대상 영역 영상은 디테일 향상 네트워크로 입력된다. 초기 영상의 대상 영역 영상은 먼저 디테일 향상 네트워크의 컨벌루션 신경망을 통과하여, 초기 영상의 대상 영역 영상에 대응하는 디테일 특징 맵을 획득하고; 다음 이는 디컨벌루션 신경망을 통과하며, 디테일 특징 맵이 대상 영역 영상의 크기로 매핑되고, 초기 영상의 대상 영역 영상에 대응하는 디테일 향상된 영상이 획득된다. 초기 영상에 대응하는 출력 영상을 획득하기 위해, 디테일 향상된 영상은 초기 영상의 노이즈 제거된 영상과 융합된다.

초기 영상에 대응하는 출력 영상을 선명한 영상과 비교하여, 초기 영상에 대응하는 출력 영상과 선명한 영상 사이의 오류가 설정된 오류보다 작을 때까지 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크 내의 파라미터가 추가로 조정되어, 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크의 훈련이 완료되고, 현재 파라미터가 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크의 파라미터로 사용된다.

본 개시의 실시예에 의해 제공되는 영상 처리 방법은 노이즈 제거된 영상을 획득하기 위해, 처리될 영상에 대해 노이즈 제거를 수행하고, 그 다음 디테일 향상된 영상을 획득하기 위해 노이즈 제거된 영상으로부터 추출된 대상 영역 영상에 대해 디테일 향상을 수행하고, 그 후 출력 영상을 획득하기 위해, 노이즈 제거된 영상을 디테일 향상된 영상과 융합한다. 대상 영역 영상에 대해 디테일 향상이 수행되었으므로, 획득된 출력 영상은 더 선명하고 디스플레이 효과가 더 좋다. 특히 어두운 조명 영상을 처리할 때, 어두운 조명 영상에서 손실된 디테일을 보완하고 향상시켜 영상의 선명도를 개선할 수 있다.

본 개시의 실시예에서 노이즈 감소 네트워크와 디테일 향상 네트워크 모두가 컨벌루션-디컨벌루션 신경망을 사용하여, 노이즈 감소 및 디테일 향상의 효과가 증대되고, 영상 처리의 효율성이 개선된다. 동시에, 본 개시의 실시예는 촬영 파라미터를 조정함으로써 어두운 조명 하에서 선명한 영상을 획득하며, 선명한 영상과 초기 영상이 쌍을 이루는 훈련 영상을 구성하여, 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크를 훈련하고, 노이즈 감소 네트워크, 대상 추출 네트워크 및 디테일 향상 네트워크의 각 파라미터의 정확도가 개선될 수 있다.

제3 실시예

제2 실시예에서 제공되는 영상 처리 방법에 대응하여, 이 실시예는 영상 처리 장치를 제공하며, 도 4는 본 개시의 일 실시예에 따른 영상 처리 장치의 구조 블록도를 나타내고, 도 4에 나타난 바와 같이, 장치는 다음의 모듈을 포함한다:

노이즈 제거된 영상을 생성하기 위해, 처리될 영상에 대해 노이즈 제거를 수행하도록 구성되는 노이즈 제거 모듈(41);

노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상을 추출하도록 구성되는 대상 추출 모듈(42);

디테일 향상된 영상을 생성하기 위해, 대상 영역 영상에 대해 디테일 향상을 수행하도록 구성되는 디테일 향상 모듈(43); 및

출력 영상을 획득하기 위해, 노이즈 제거된 영상을 디테일 향상된 영상과 융합하도록 구성되는 융합 모듈(44).

본원에서, 노이즈 제거 모듈(41)은 처리될 영상을 노이즈 감소 네트워크로 입력하도록 더 구성될 수 있으며, 노이즈 감소 네트워크의 출력을 노이즈 제거된 영상으로 사용하고; 노이즈 감소 네트워크는 컨벌루션-디컨벌루션 신경망을 채용하며; 노이즈 제거된 영상 및 처리될 영상은 동일한 크기를 갖는다. 컨벌루션-디컨벌루션 신경망은 컨벌루션 신경망 및 디컨벌루션 신경망을 포함하며; 컨벌루션 신경망은 적어도 하나의 컨벌루션 레이어를 포함하고, 적어도 하나의 컨벌루션 레이어 각각은 하나 이상의 제1 컨벌루션 커널을 포함하며, 제1 컨벌루션 커널이 처리될 영상의 픽셀 행렬을 순회한 후에 노이즈 제거된 특징 맵이 획득되며; 디컨벌루션 신경망은 컨벌루션 신경망과 대칭적인 구조를 채용하고, 디컨벌루션 신경망은 적어도 하나의 디컨벌루션 레이어를 포함하며, 적어도 하나의 디컨벌루션 레이어 각각은 대응하는 컨벌루션 레이어와 동일한 수의 제2 컨벌루션 커널을 포함하고, 제2 컨벌루션 커널이 노이즈 제거된 특징 맵의 특징 매트릭스를 순회한 후에 노이즈 제거된 영상이 획득된다.

대상 추출 모듈(42)은, 대상 추출 네트워크에 의하여, 노이즈 제거된 영상 내에서 촬영 대상이 있는 영역을 결정하도록 더 구성될 수 있으며; 대상 추출 네트워크는 컨벌루션 신경망을 채용하고; 대상 영역 영상을 획득하기 위해 노이즈 제거된 영상으로부터 촬영 대상이 있는 영역을 분리한다.

디테일 향상 모듈(43)은 대상 영역 영상을 디테일 향상 네트워크로 입력하고, 디테일 향상 네트워크의 출력을 디테일 향상된 영상으로서 사용하도록 더 구성될 수 있으며; 디테일 향상 네트워크는 컨벌루션-디컨벌루션 신경망을 채용하고; 디테일 향상된 영상과 대상 영역 영상은 동일한 크기를 갖는다.

융합 모듈(44)은 노이즈 제거된 영상 내의 대상 영역 영상을 디테일 향상된 영상으로 대체하고; 디테일 향상된 영상이 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하도록 더 구성될 수 있다.

또한, 영상 처리 장치는 훈련 모듈을 더 포함할 수 있다. 훈련 모듈은 노이즈 제거 모듈에 연결되며, 훈련 영상 샘플 세트를 획득하도록 구성되고, 훈련 영상 샘플 세트는 쌍을 이루는 훈련 영상의 복수의 그룹을 포함하며; 훈련 영상 샘플 세트를 사용하여 노이즈 감소 네트워크, 대상 추출 네트워크, 또는 디테일 향상 네트워크를 훈련한다. 본원에서, 쌍을 이루는 훈련 영상의 각 그룹은: 동일한 촬영 환경에서 각각 취득된 제1 영상 및 제2 영상을 포함하며; 제1 영상을 취득하는 것은 설정된 제1 노출 시간 및 제1 감도 파라미터에 따라 제1 영상을 캡처하는 것을 포함하고; 제2 영상을 취득하는 것은 설정된 제2 노출 시간 및 제2 감도 파라미터에 따라 제2 영상을 캡처하는 것을 포함하며; 제2 노출 시간은 제1 노출 시간보다 크고; 제2 감도 파라미터는 제1 감도 파라미터보다 작다.

선택적으로, 영상 처리 장치는 훈련 모듈과 노이즈 제거 모듈(41) 사이에 연결되며, 현재 촬영 환경의 조명 밝기가 설정된 밝기 임계치보다 낮은지 여부를 결정하고; 그러하면, 캡처된 영상을 처리될 영상으로서 사용하도록 구성되는 결정 모듈을 더 포함할 수 있다.

이 실시예에서 제공되는 장치의 구현 원리 및 이에 의해 발생하는 기술적 효과는 앞선 실시예의 것과 동일하다. 간결하게 하기 위해서, 장치 실시예에서 언급되지 않은 사항에 대해서는, 앞선 방법 실시예의 대응하는 내용을 참조할 수 있다.

본 개시의 실시예에 의해 제공되는 영상 처리 장치는 노이즈 제거된 영상을 획득하기 위해 처리될 영상에 대해 노이즈 제거를 수행하고, 그 다음 디테일 향상된 영상을 획득하기 위해 노이즈 제거된 영상으로부터 추출된 대상 영역 영상에 대해 디테일 향상을 수행하고, 그 후 출력 영상을 획득하기 위해 노이즈 제거된 영상을 디테일 향상된 영상과 융합한다. 대상 영역 영상에 대해 디테일 향상이 수행되었으므로, 기존의 노이즈 감소 방법에 의해 야기되는 영상 왜곡 문제에 대한 개선이 이루어졌고, 획득된 출력 영상은 더 선명하고 디스플레이 효과가 더 좋다.

추가적으로, 본 개시의 일 실시예는 영상 취득 어셈블리, 메모리 및 프로세서를 포함하는 전자 디바이스를 제공하며; 영상 취득 어셈블리는 영상 데이터를 취득하도록 구성되고; 메모리는 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 저장하며, 컴퓨터 프로그램이 프로세서에 의해 실행될 때 앞선 방법 실시예에 따른 방법의 단계들이 수행된다.

또한, 이 실시예는 컴퓨터 프로그램을 저장하며, 컴퓨터 프로그램이 처리 디바이스에 의해 실행될 때 앞선 방법 실시예에서 제공되는 방법의 단계들이 실행되는 컴퓨터 판독 가능 저장 매체를 더 제공한다.

본 개시의 실시예에 의해 제공되는 영상 처리 방법 및 장치의 컴퓨터 프로그램 제품은 프로그램 코드를 저장하는 컴퓨터 판독 가능 저장 매체를 포함하고, 프로그램 코드는 위의 방법 실시예에서 기술된 방법을 실행하기 위한 명령을 포함한다. 특정 구현에 관해서는, 방법 실시예를 참조할 수 있으며, 상세한 설명은 본원에서 되풀이되지 않는다.

위의 기능들은 또한 소프트웨어 기능 모듈의 형태로 구현되어 독립적인 제품으로 판매되고 사용될 때 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수있다. 이러한 이해에 기초하여, 종래 기술에 기여하는 본 개시의 기술적 해결책의 실질 또는 부분 또는 기술적 해결책 부분은 소프트웨어 제품의 형태로 반영될 수 있으며, 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장될 수 있고, (개인용 컴퓨터, 서버, 또는 네트워크 디바이스일 수 있는) 컴퓨터 디바이스가 본 개시의 다양한 실시예에서 기술된 방법을 완전히 또는 부분적으로 수행하도록 하기 위한 여러 명령을 포함할 수 있다. 상술한 저장 매체는 모바일 저장 디바이스, 읽기 전용 메모리(ROM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

마지막으로, 위의 실시예는 본 개시를 제한하는 것이 아니라, 본 개시의 기술적 해결책을 설명하기 위해 채택된 특정한 구현일 뿐이며, 본 개시의 보호 범위가 이에 한정되지 않는다는 점을 유의한다. 본 개시가 위의 실시예를 참조하여 자세히 설명되었지만, 본 개시에 의해 밝혀지는 기술적 범위 내에서, 앞의 실시예에 기록된 기술적 해결책에 대한 다양한 수정이 또한 이루어질 수 있으며, 그에 대한 변경이 쉽게 이루어질 수 있고, 기술적 특징의 일부가 동등물에 의해 대체될 수 있고, 이러한 수정 또는 대체를 갖는 대응하는 기술적 해결책의 본질은 여전히 본 개시의 실시예의 기술적 해결책의 사상 및 범위 내에 있음을 당업자는 이해할 것이다. 이들 수정, 변경 및 치환은 대응하는 기술적 해결책이 본 개시의 실시예의 기술적 해결책의 사상 및 범위로부터 벗어나도록 하지 않으며, 이들은 본 개시의 보호 범위 내에 있어야 한다. 그러므로, 본 개시의 보호 범위는 첨부된 청구범위에 의해 결정되어야 한다.

Claims (14)

1. 노이즈 제거된 영상(denoised image)을 생성하기 위해, 처리될 영상에 대해 노이즈 제거를 수행하는 것;
   상기 노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상을 추출하는 것;
   디테일 향상된 영상(detail enhanced image)을 생성하기 위해, 상기 대상 영역 영상에 대해 디테일 향상을 수행하는 것; 및
   출력 영상을 획득하기 위해, 상기 노이즈 제거된 영상을 상기 디테일 향상된 영상과 융합하는 것을 포함하고,
   출력 영상을 획득하기 위해 상기 노이즈 제거된 영상을 상기 디테일 향상된 영상과 융합하는 것은:
   상기 노이즈 제거된 영상 내의 상기 대상 영역 영상을 상기 디테일 향상된 영상으로 대체하는 것; 및
   상기 디테일 향상된 영상이 상기 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하는 것을 포함하는, 영상 처리 방법.
2. 제1항에 있어서, 노이즈 제거된 영상을 생성하기 위해, 처리될 영상에 대해 노이즈 제거를 수행하는 것은:
   상기 처리될 영상을 노이즈 감소 네트워크 내로 입력하고, 상기 노이즈 감소 네트워크의 출력을 상기 노이즈 제거된 영상으로 사용하는 것을 포함하며; 상기 노이즈 감소 네트워크는 컨벌루션-디컨벌루션(convolution-deconvolution) 신경망을 채용하고; 상기 노이즈 제거된 영상 및 상기 처리될 영상은 동일한 크기를 갖는 영상 처리 방법.
3. 제2항에 있어서, 상기 컨벌루션-디컨벌루션 신경망은 컨벌루션 신경망 및 디컨벌루션 신경망을 포함하고;
   상기 컨벌루션 신경망은 적어도 하나의 컨벌루션 레이어를 포함하고, 상기 적어도 하나의 컨벌루션 레이어 각각은 하나 이상의 제1 컨벌루션 커널(kernel)을 포함하며, 상기 제1 컨벌루션 커널이 상기 처리될 영상의 픽셀 행렬(pixel matrix)을 순회(traverse)한 후에 노이즈 제거된 특징 맵(feature map)이 획득되고;
   상기 디컨벌루션 신경망은 상기 컨벌루션 신경망과 대칭적인 구조를 채용하고, 상기 디컨벌루션 신경망은 적어도 하나의 디컨벌루션 레이어를 포함하고, 상기 적어도 하나의 디컨벌루션 레이어 각각은 대응하는 컨벌루션 레이어와 동일한 수의 제2 컨벌루션 커널을 포함하며, 상기 제2 컨벌루션 커널이 상기 노이즈 제거된 특징 맵의 특징 행렬(feature matrix)을 순회한 후에 상기 노이즈 제거된 영상이 획득되는 영상 처리 방법.
4. 제2항에 있어서, 상기 노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상을 추출하는 것은:
   대상 추출 네트워크에 의하여, 상기 노이즈 제거된 영상 내에서 상기 촬영 대상이 있는 영역을 결정하는 것-상기 대상 추출 네트워크는 컨벌루션 신경망을 채용함-; 및
   상기 대상 영역 영상을 획득하기 위해, 상기 촬영 대상이 있는 상기 영역을 상기 노이즈 제거된 영상으로부터 분리(isolating)하는 것을 포함하고,
   디테일 향상된 영상을 생성하기 위해 상기 대상 영역 영상에 대해 디테일 향상을 수행하는 것은:
   상기 대상 영역 영상을 디테일 향상 네트워크 내로 입력하고, 상기 디테일 향상 네트워크의 출력을 상기 디테일 향상된 영상으로 사용하는 것을 포함하며; 상기 디테일 향상 네트워크는 컨벌루션-디컨벌루션 신경망을 채용하고; 상기 디테일 향상된 영상 및 상기 대상 영역 영상은 동일한 크기를 갖는, 영상 처리 방법.
5. 삭제
6. 삭제
7. 제1항에 있어서, 상기 노이즈 제거된 영상 내의 상기 대상 영역 영상을 상기 디테일 향상된 영상으로 대체하는 것은:
   다음 식을 통한 대체 프로세스를 구현하는 것을 포함하며:
   

   

   
   여기에서 R_final은 상기 출력 영상, R_206은 상기 디테일 향상된 영상, R_202는 상기 노이즈 제거된 영상, a 는 상기 노이즈 제거된 영상 내에서 상기 대상 영역 영상이 있는 영역, 1-a 는 상기 노이즈 제거된 영상 내의 상기 대상 영역 영상이 아닌 영역인 영상 처리 방법.
8. 제1항에 있어서, 상기 디테일 향상된 영상이 상기 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하는 것은:
   스무딩 필터링(smoothing filtering) 또는 웨이블릿 재구성에 의해 상기 디테일 향상된 영상이 상기 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하는 것을 포함하는 영상 처리 방법.
9. 제4항에 있어서, 처리될 영상에 대해 노이즈 제거를 수행하는 것 이전에:
   훈련 영상 샘플 세트를 획득하는 것-상기 훈련 영상 샘플 세트는 쌍을 이루는 훈련 영상의 복수의 그룹을 포함함-; 및
   상기 훈련 영상 샘플 세트를 사용하여 상기 노이즈 감소 네트워크, 상기 대상 추출 네트워크, 또는 상기 디테일 향상 네트워크를 훈련하는 것을 더 포함하는 영상 처리 방법.
10. 제9항에 있어서, 쌍을 이루는 훈련 영상의 각 그룹은 동일한 촬영 환경에서 각각 취득된 제1 영상 및 제2 영상을 포함하며;
    상기 제1 영상을 취득하는 것은 설정된 제1 노출 시간 및 설정된 제1 감도 파라미터에 따라 상기 제 1 영상을 캡처하는 것을 포함하고;
    상기 제2 영상을 취득하는 것은 설정된 제2 노출 시간 및 설정된 제2 감도 파라미터에 따라 상기 제 2 영상을 캡처하는 것을 포함하며;
    상기 제2 노출 시간은 상기 제1 노출 시간보다 크고; 상기 제2 감도 파라미터는 상기 제1 감도 파라미터보다 작은 영상 처리 방법.
11. 제1항에 있어서, 처리될 영상에 대해 노이즈 제거를 수행하는 것 이전에:
    현재 촬영 환경의 조명 밝기가 설정된 밝기 임계치보다 낮은지 여부를 결정하는 것; 및
    그러하면, 캡처된 영상을 상기 처리될 영상으로 사용하는 것을 더 포함하는 영상 처리 방법.
12. 노이즈 제거된 영상을 생성하기 위해, 처리될 영상에 대해 노이즈 제거를 수행하도록 구성되는 노이즈 제거 모듈;
    상기 노이즈 제거된 영상으로부터 촬영 대상에 대응하는 대상 영역 영상을 추출하도록 구성되는 대상 추출 모듈;
    디테일 향상된 영상을 생성하기 위해, 상기 대상 영역 영상에 대해 디테일 향상을 수행하도록 구성되는 디테일 향상 모듈; 및
    출력 영상을 획득하기 위해, 상기 노이즈 제거된 영상을 상기 디테일 향상된 영상과 융합하도록 구성되는 융합 모듈을 포함하고,
    출력 영상을 획득하기 위해 상기 노이즈 제거된 영상을 상기 디테일 향상된 영상과 융합하도록 하는 것은:
    상기 노이즈 제거된 영상 내의 상기 대상 영역 영상을 상기 디테일 향상된 영상으로 대체하는 것; 및
    상기 디테일 향상된 영상이 상기 노이즈 제거된 영상과 교차하는 경계 영역을 선형으로 융합하는 것을 포함하는, 영상 처리 장치.
13. 영상 취득 어셈블리, 메모리 및 프로세서를 포함하는 전자 디바이스에 있어서;
    상기 영상 취득 어셈블리는 영상 데이터를 취득하도록 구성되고;
    상기 메모리는 상기 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 저장하며, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 때 제1항 내지 제4항 및 제7항 내지 제11항 중 어느 한 항에 따른 방법의 단계들이 수행되는 전자 디바이스.
14. 컴퓨터 프로그램을 저장하며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제4항 및 제7항 내지 제11항 중 어느 한 항에 따른 방법의 단계들이 수행되는 컴퓨터 판독 가능 저장 매체.

Images