KR20210013149A

KR20210013149A - 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체

Info

Publication number: KR20210013149A
Application number: KR1020207036791A
Authority: KR
Inventors: 시지에 런; 이안 첸; 슈안예 청; 웬시우 순
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2018-12-14
Filing date: 2019-05-20
Publication date: 2021-02-03
Also published as: WO2020119026A1; TW202027033A; CN109658352B; CN109658352A; SG11202012776VA; JP2021531566A; JP7072119B2; TWI717865B; US20210110522A1; KR102538164B1

Abstract

본 발명은 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체에 관한 것으로, 비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 얻는 단계 - 여기서, 복수의 원본 이미지 내의 동일한 화소점들에 대응하는 위상 파라미터값은 상이함; 및 뉴럴 네트워크에 의해 복수의 원본 이미지에 대해, 1회 이상의 콘볼루션 처리 및 1회 이상의 비선형 함수 매핑 처리를 포함하는 최적화 처리를 실행하여, 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계를 포함한다. 본 발명의 실시예는 원본 이미지로부터 고품질의 심도 정보를 효과적으로 복원 가능하다.

Description

이미지 처리 방법 및 장치, 전자 장치 및 기억 매체

본원은 2018년 12월 14일에 중국 특허국에 제출된 출원번호 201811536144.3, 발명 명칭 「이미지 정보의 최적화 방법 및 장치, 전자 장치 및 기억 매체」의 중국 특허출원의 우선권을 주장하고, 그 개시 전체가 참조에 의해 본원에 포함된다.

본 발명은 이미지 처리 분야에 관한 것으로, 특히 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체에 관한 것이다.

심도 이미지의 취득 또는 이미지 최적화는 많은 분야에 있어서 중요한 응용 가치를 갖는다. 예를 들면, 자원 탐사, 3차원 재구축, 로봇 네비게이션 등의 분야에 있어서 장해물 검출, 자동 운전, 생체 검출 등은 전부 장면의 고정밀도 3차원 데이터에 의존하고 있다. 관련 기술에서는 신호대잡음비가 낮은 경우, 이미지의 정확한 심도 정보를 얻는 것이 곤란하고, 대표적으로는 얻어진 심도 이미지에 심도 정보가 결락된 큰 블랙홀이 존재한다.

본 발명의 실시예는 이미지 최적화를 통한 이미지 처리 방법 및 이미지 처리장치를 제공한다.

본 발명의 제1 양태에 의하면, 비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하는 단계 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및 뉴럴 네트워크(neural network)에 의해 상기 복수의 원본 이미지에 대해, 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 함수 매핑 처리를 포함하는 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계를 포함하는 이미지 처리 방법이 제공된다.

일부 가능한 실시형태에서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는: 상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하는 과정 - 여기서, 각 최적화된 이미지의 신호대잡음비는 상기 원본 이미지의 신호대잡음비보다 높음; 및 상기 복수의 최적화된 이미지를 후처리하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는: 상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하는 과정을 포함한다.

일부 가능한 실시형태에서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는: 최적화 처리를 위해 상기 복수의 원본 이미지를 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 방법은: 복수의 원본 이미지에 대해, 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작들 중 적어도 하나를 포함하는 전처리를 실행하여, 복수의 전처리된 원본 이미지를 얻는 단계를 추가로 포함하며, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는: 최적화 처리를 위해 상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크가 실행한 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및/또는 적어도 1회의 비선형 매핑 처리를 포함하며, 여기서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하는 상기 단계는: 상기 복수의 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬(feature optimal matrix)을 얻는 과정; 최적화 처리를 위해 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하거나, 또는 최적화 처리를 위해 전의 n개의 최적화 절차 그룹이 출력한 최적화 특징 행렬들을 제n+1 최적화 절차 그룹의 입력 정보로 사용하는 과정(n은 1보다 크고 Q보다 작은 정수임); 및 제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하는 상기 단계는: 상기 복수의 원본 이미지에 상기 다운-샘플링 처리를 실행하여 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 과정; 상기 제1 특징 행렬에 상기 잔차 처리를 실행하여 제2 특징 행렬을 얻는 과정; 상기 제2 특징 행렬에 상기 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 과정을 포함하며, 여기서, 상기 뉴럴 네트워크의 출력 결과는 상기 최적화 특징 행렬에 기초하여 얻어진다.

일부 가능한 실시형태에서, 제2 특징 행렬에 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 상기 과정은: 상기 다운-샘플링 처리 절차에서 얻어진 특징 행렬을 사용하여 상기 제2 특징 행렬에 상기 업-샘플링 처리를 실행하여 상기 최적화 특징 행렬을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지며, 여기서, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 상기 제1 샘플 이미지의 신호대잡음비보다 높다. 상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크(generative adversarial network) 중의 생성적 네트워크이고, 상기 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며, 상기 제1 네트워크 손실은 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 상기 뉴럴 네트워크에 의해 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고, 상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵들과 상기 훈련 샘플에 포함된 심도 맵들 사이의 차이에 기초하여 얻어진다.

본 발명이 제공하는 제2 양태에 의하면 이미지 처리 방법이 제공되며, 이 방법은: 비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하는 단계 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계를 포함하며, 여기서, 상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지고, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 대응하는 상기 제1 샘플 이미지의 신호대잡음비보다 높다.

일부 가능한 실시형태에서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는: 최적화 처리를 위해 상기 복수의 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 방법은 추가로: 상기 복수의 원본 이미지에 대해, 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작들 중 적어도 하나를 포함하는 전처리를 실행하여, 복수의 전치리된 원본 이미지를 얻는 단계를 포함하며, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는: 최적화 처리를 위해 상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크가 실행한 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및/또는 적어도 1회의 비선형 매핑 처리를 포함하며, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하는 상기 단계는: 상기 복수의 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻는 과정; 최적화 처리를 위해 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하거나, 또는 최적화 처리를 위해 전의 n개의 최적화 절차 그룹이 출력한 최적화 특징 행렬들을 제n+1 최적화 절차 그룹의 입력 정보로 사용하는 과정(n은 1보다 크고 Q보다 작은 정수임); 및 제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며, 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하는 상기 단계는: 상기 복수의 원본 이미지에 상기 다운-샘플링 처리를 실행하여 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 과정; 상기 제1 특징 행렬에 상기 잔차 처리를 실행하여 제2 특징 행렬을 얻는 과정; 상기 제2 특징 행렬에 상기 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 과정을 포함하고, 여기서, 상기 뉴럴 네트워크의 출력 결과가 상기 최적화 특징 행렬에 기초하여 얻어진다.

일부 가능한 실시형태에서, 제2 특징 행렬에 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 상기 단계는: 상기 다운-샘플링 처리 절차에서 얻어진 특징 행렬을 사용하여 상기 제2 특징 행렬에 상기 업-샘플링 처리를 실행하여, 상기 최적화 특징 행렬을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이고, 상기 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며, 상기 제1 네트워크 손실은 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 상기 뉴럴 네트워크에 의해 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고, 상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵들과 상기 훈련 샘플에 포함된 심도 맵들 사이의 차이에 기초하여 얻어진다.

본 발명의 제3 양태에 의하면 이미지 처리 장치가 제공되며, 이 장치는: 비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하도록 구성된 취득 모듈 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및 뉴럴 네트워크에 의해 복수의 원본 이미지에 대해, 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 함수 매핑 처리를 포함하는 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된 최적화 모듈을 포함한다.

본 발명의 제4 양태에 의하면 이미지 처리 장치가 제공되며, 이 장치는: 비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하도록 구성된 취득 모듈 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된 최적화 모듈을 포함하며, 여기서, 상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지고, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 대응하는 상기 제1 샘플 이미지의 신호대잡음비보다 높다.

본 발명의 제5 양태에 의하면 전자 장치가 제공되며, 프로세서; 및 프로세서 실행 가능 명령을 저장하기 위한 메모리를 포함하며, 상기 프로세서는 제1 양태 또는 제2 양태 중 어느 한 항의 방법을 실행하도록 구성된다.

본 발명의 제6 양태에 의하면 컴퓨터 프로그램 명령을 저장하는 컴퓨터 판독 가능 기억 매체가 제공되며, 상기 컴퓨터 프로그램 명령은 프로세서에 실행될 때, 제1 양태 또는 제2 양태 중 어느 한 항에 기재된 방법을 구현한다.

본 발명의 제7 양태에 의하면 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램이 제공되며, 상기 컴퓨터 판독 가능 코드는, 전자 장치에서 운용될 때, 상기 전자 장치 내의 프로세서에 의해 실행되어 제1 양태 또는 제2 양태 중 어느 한 항에 기재된 방법을 구현한다.

본 발명의 실시예는 노출률이 낮고 이미지의 신호대잡음비가 낮은 경우에 적용할 수 있다. 전술한 경우들에서 카메라 센서가 수신하는 신호는 매우 약하고 또 많은 잡음이 존재하기 때문에, 종래 기술에서는 상기 신호에 의해 정밀도가 높은 심도값을 얻는 것이 곤란하다. 그러나 본 발명의 실시예는 수집한 낮은 신호대잡음비의 원본 이미지의 최적화 처리를 실행하여, 낮은 신호대잡음비의 이미지에서 심도 정보를 효과적으로 복원함으로써, 이미지 특징 정보를 효과적으로 추출할 수 없다는 종래의 기술적 문제를 해결한다. 한편, 본 발명의 실시예는, 원거리 측정 및 고흡수율 물체 측정에 의해 기인되는 심도 정보를 낮은 신호대잡음비가 복원할 수 없다는 문제를 해결할 수 있는 한편, 신호대잡음비의 요구에 의해 기인한 부족한 촬상 해상도 문제를 해결할 수 있다. 즉, 본 발명의 실시예는 낮은 신호대잡음비의 이미지를 최적화하여 이미지의 특징 정보(심도 정보)를 복원할 수 있다.

또한, 이상의 개략적인 설명 및 이하의 상세한 설명은 예시적 및 설명적인 것에 불과하고, 본 발명을 한정하는 것이 아님을 이해해야 한다.

하기 도면은 명세서에 포함되어 그 일부가 되고, 이들 도면은 본 발명에 적합한 실시예를 나타낸 것이고, 또한, 명세서와 함께 본 발명의 기술적 해결 수단을 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서의 최적화 처리의 예시적 흐름도를 나타낸다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법에서의 최적화 처리의 다른 예시적 흐름도를 나타낸다.
도 4는 본 발명의 실시예에 따른 이미지 처리 방법에서의 제1 최적화 절차 그룹의 예시적 흐름도를 나타낸다.
도 5는 본 발명의 실시예에 따른 이미지 처리 방법에서의 제2 최적화 절차 그룹의 예시적 흐름도를 나타낸다.
도 6은 본 발명의 실시예에 따른 이미지 처리 방법에서의 제3 최적화 절차 그룹의 예시적 흐름도를 나타낸다.
도 7은 본 발명의 실시예에 따른 이미지 처리 방법의 다른 흐름도를 나타낸다.
도 8은 본 발명의 실시예에 따른 이미지 처리 방법의 다른 흐름도를 나타낸다.
도 9는 본 발명의 실시예에 따른 이미지 처리 방법의 다른 흐름도를 나타낸다.
도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 11은 본 발명의 실시예에 따른 이미지 처리 장치의 다른 블록도를 나타낸다.
도 12는 본 발명의 실시예에 따른 전자 장치의 블록도를 나타낸다.
도 13은 본 발명의 실시예에 따른 다른 전자 장치의 블록도를 나타낸다.

이하에 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 양태를 상세하게 설명한다. 도면에서의 동일한 부호는 기능이 동일하거나 또는 유사한 요소를 나타낸다. 도면에 실시예의 다양한 양태를 나타내지만, 특별히 언급하지 않는 한, 비례를 따라 도면을 그릴 필요가 없다.

여기서 특별히 사용되는 용어 「예시적」이란, 「예로서 사용되는 것, 실시예 또는 설명적인 것」을 의미한다. 여기서, 「예시적」으로써 설명한 어떠한 실시예도 다른 실시예에 우선하는 것 또는 그보다도 우수한 것으로 해석해서는 안된다.

본 명세서에서, 용어 「및/또는」은 관련 대상의 관련 관계를 설명하기 위한 것에 불과하고, 세 가지 관계가 존재 가능함을 나타내고, 예를 들면, A 및/또는 B는 A만이 존재, A와 B가 동시에 존재, B만이 존재한다는 세 가지 상황을 나타낼 수 있다. 또한, 본 명세서에 있어서, 용어 「적어도 하나」는 복수종 중 어느 하나 또는 복수종 중 적어도 두 개의 임의의 조합을 나타내고, 예를 들면, A, B, C 중 적어도 하나를 포함하는 것은 A, B 및 C로 이루어지는 집합으로부터 선택된 어느 하나 또는 복수의 원소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명을 보다 효율적으로 설명하기 위해 이하의 구체적인 실시형태에 있어서 많은 구체적인 상세를 제공하였다. 당업자라면 다소 구체적인 상세가 없어도 본 발명은 동일하게 실시 가능함을 이해해야만 한다. 일부 실시예에서는 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대해 본 발명의 취지를 강조하기 위해 상세한 설명을 행하지 않는다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다. 본 발명의 실시예의 이미지 처리 방법은 심도 촬영 기능을 갖는 전자 장치 또는 이미지 처리를 실행 가능한 전자 장치, 예를 들면, 휴대 전화, 카메라, 컴퓨터 장치, 스마트 워치, 리스트 밴드 등의 장치에 있어서 사용할 수 있지만, 본 발명은 이를 한정하지 않는다. 본 발명의 실시예는 낮은 노광율로 얻어진 낮은 신호대잡음비의 이미지를 최적화 처리하여, 최적화 처리 후의 이미지가 풍부한 심도 정보를 갖게 할 수 있다.

S100에서, 비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고, 신호대잡음비가 제1 수치 값보다 낮고 이미지에서의 동일한 화소점에 대응하는 위상 파라미터값이 상이한 복수의 원본 이미지를 취득한다.

S200에서, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해, 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 함수 매핑 처리를 포함하는 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는다.

전술한 바와 같이, 본 발명의 실시예가 제공하는 뉴럴 네트워크는 낮은 신호대잡음비의 이미지를 최적화 처리하여, 보다 풍부한 특징 정보를 갖는 이미지를 얻는다. 즉, 고품질의 심도 정보를 갖는 심도 맵을 얻을 수 있다. 본 발명의 실시예의 방법은 ToF 카메라(비행 시간 카메라)를 구비하는 장치에 적용 가능하다. 우선, 본 발명의 실시예는 S100에 의해 낮은 신호대잡음비를 갖는 복수의 원본 이미지를 취득할 수 있으며, 여기서 원본 이미지는 비행 시간 카메라에 의해 수집된 이미지이며, 예를 들면, 비행 시간 센서에 의해 1회 노광 프로세스에서 수집한, 복수의 낮은 신호대잡음비의 원본 이미지일 수 있다. 본 발명의 실시예에서는, 신호대잡음비가 제1 수치 값보다 낮은 이미지를 낮은 신호대잡음비 이미지라고 지칭할 수 있으며, 제1 수치 값은 상황에 따라 상이한 값을 설정할 수 있고, 본 발명은 이를 구체적으로 한정하지 않는다. 다른 일부의 실시예에서는, 다른 전자 장치에서 원본 이미지를 수신하여 낮은 신호대잡음비의 원본 이미지를 취득할 수 있다. 예를 들면, 다른 전자 장치에서 ToF 센서가 수집한 원본 이미지를 수신하여 최적화 처리의 대상으로 사용할 수 있으며, 장치 자체에 배치된 촬영 장치에 의해 원본 이미지를 촬영할 수 있다. 본 발명의 실시예에서 얻은 원본 이미지는 동일 촬영 대상에 대해 1회 노광으로 얻어진 복수의 이미지이고, 각 이미지의 신호대잡음비는 상이하고, 각 원본 이미지는 상이한 특징 행렬을 가진다. 예를 들면, 복수의 원본 이미지의 특징 행렬에서 동일한 화소점에 대한 위상 파라미터값이 상이하다. 본 발명의 실시예에서의 낮은 신호대잡음비란, 이미지의 신호대잡음비가 낮은 것을 말하고, ToF 카메라에 의해 촬영하는 경우, 1회 노광의 경우에 각 원본 이미지를 얻는 동시에 적외선 이미지를 얻을 수 있다. 상기 적외선 이미지에서의 화소값에 대응하는 신뢰도 정보가 소정값보다 낮은 화소점의 수가 소정 비율을 초과한 경우, 원본 이미지가 낮은 신호대잡음비의 이미지인 것을 나타내며, 상기 소정값은 TOF 카메라의 사용 시나리오에 따라 결정할 수 있고, 일부 가능한 실시형태에서는 100으로 설정해도 되지만, 구체적으로 한정하는 것은 아니다. 또한, 상기 소정 비율은 필요에 따라, 예를 들면 30％ 또는 다른 비율로 설정해도 되며, 당업자는 다른 설정에 기초하여 원본 이미지의 낮은 신호대잡음비를 결정할 수 있다. 또한, 낮은 노광율에서 얻어진 이미지는 낮은 신호대잡음비의 이미지일 수 있기 때문에, 낮은 노광율에서 얻어진 이미지는 본 발명의 실시예의 처리 대상의 원본 이미지가 될 수 있고, 또한, 각 원본 이미지에서의 위상 특성이 상이하다. 낮은 노광율이란 노광 시간이 400 마이크로초 이하의 노광을 말하며, 상기 조건에서 얻어진 이미지의 신호대잡음비가 낮지만, 본 발명의 실시예에 의해 이미지의 신호대잡음비가 향상되고, 이미지에서 보다 풍부한 심도 정보를 얻어, 최적화 후의 이미지가 보다 많은 특징 정보를 갖게 되며, 이에 의해 고품질의 심도 이미지를 얻을 수 있다. 본 발명의 실시예에서 얻어진 원본 이미지는 2개 또는 4개일 수 있으며, 본 발명의 실시예는 이를 한정하지 않고 다른 수치여도 된다.

낮은 신호대잡음비의 복수의 원본 이미지를 얻고 나서, 뉴럴 네트워크에 의해 원본 이미지의 최적화 처리를 실행하고, 원본 이미지에서 심도 정보를 복원하고, 원본 이미지에 대응하는 심도 맵을 얻을 수 있다. 원본 이미지를 뉴럴 네트워크에 입력하고, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 최적화 처리를 실행하여, 추가로 최적화된 심도 맵을 얻을 수 있다. 본 발명의 실시예에 사용된 최적화 처리는 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 함수 매핑 처리를 포함할 수 있다. 우선 원본 이미지에 콘볼루션 처리를 실행하고 추가로 콘볼루션 처리 결과의 비선형 함수 매핑 처리를 하거나, 또는 우선 원본 이미지에 비선형 매핑 처리를 실행하고 추가로 비선형 매핑 처리 결과에 콘볼루션 처리를 하거나, 또는 콘볼루션 처리 및 비선형 처리를 교대로 수회 실행할 수 있다. 예를 들면, 콘볼루션 처리를 J로 나타내고, 비선형 함수 매핑 처리를 Y로 나타내면, 본 발명의 실시예에서 최적화 처리 절차는 예를 들면, JY, JJY, JYJJY, YJ, YYJ, YJYYJ 등으로 할 수 있다. 즉, 본 발명의 실시예에서의 원본 이미지의 최적화 처리는 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 매핑 처리를 포함할 수 있으며, 각 콘볼루션 처리 및 비선형 매핑 처리의 순서나 횟수에 대해, 당업자는 필요에 따라 설정할 수 있고, 본 발명은 이를 구체적으로 한정하지 않는다.

특징 행렬에서의 특징 정보는 콘볼루션 처리에 의해 융합될 수 있으며, 입력 정보에서 보다 많고 보다 정확한 심도 정보가 추출될 수 있고, 또한, 비선형 함수 매핑 처리에 의해 한층 깊은 심도 정보를 얻을 수 있어서, 보다 풍부한 특징 정보를 취득할 수 있다.

일부 가능한 실시형태에서는 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계는:

뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 최적화 처리를 실행하고, 신호대잡음비가 원본 이미지보다 높은, 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하는 과정과,

상기 복수의 최적화된 이미지를 후처리하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

즉, 본 발명의 실시예는 뉴럴 네트워크에 의해 복수의 원본 이미지에 대응하는 복수의 최적화된 이미지를 직접 얻을 수 있다. 뉴럴 네트워크의 최적화 처리에 의해, 입력된 원본 이미지의 신호대잡음비를 향상시켜, 대응하는 최적화된 이미지를 얻을 수 있다. 또한, 최적화된 이미지를 후처리하여 보다 많고 보다 정확한 심도 정보를 갖는 심도 맵을 얻을 수 있다.

복수의 최적화된 이미지에 의해 심도 맵은 다음 식 (1)로 표현될 수 있다:

여기서, d는 심도 맵을 나타내고, c는 광속을 나타내고, f는 카메라의 조정 파라미터를 나타내며, r_ij ^pre0, r_ij ^pre1, r_ij ^pre2및 r_ig ^pre3은원본 이미지에서의 제i행 제j열의 특징값이고, i 및 j는 각각 N 이하의 양의 정수이며, N은 원본 이미지의 차원(N*N)을 나타낸다.

다른 일부 가능한 실시형태에서는 뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계는, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하는 과정을 포함한다.

즉, 본 발명의 실시예의 뉴럴 네트워크는 복수의 원본 이미지에 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 직접 얻을 수 있다. 상기 구성은 뉴럴 네트워크의 훈련과 함께 구현될 수 있다.

상기 구성에서 알 수 있는 바와 같이, 본 발명의 실시예는 뉴럴 네트워크의 최적화 처리에 의해 보다 풍부하고 보다 정확한 심도 정보를 갖는 심도 맵을 직접 얻거나, 또는 입력된 원본 이미지에 대응하는 최적화된 이미지를 뉴럴 네트워크의 최적화에 의해 얻고 추가로 최적화된 이미지의 후처리에 의해 보다 풍부하고 보다 정확한 심도 정보를 갖는 심도 맵이 얻어진다.

또한, 일부 가능한 실시형태에서는, 뉴럴 네트워크에 의해 원본 이미지를 최적화 처리하기 전에, 본 발명의 실시예는 원본 이미지를 전처리하여 전처리된 복수의 원본 이미지를 얻고, 이들을 뉴럴 네트워크에 입력하여 최적화 처리를 실행하여, 복수의 원본 이미지에 대응하는 심도 맵을 얻을 수도 있다. 상기 전처리 동작은, 이미지 교정(image calibration), 이미지 보정(image correction), 및 임의의 두 개의 원본 이미지 사이의 선형 처리나 비선형 처리 중 적어도 하나를 포함할 수 있다. 원본 이미지의 이미지 교정을 실행함으로써, 원본 이미지를 얻는 이미지 수집 장치에서 기준 이미지의 영향을 해소하고, 이미지 수집 장치에 의한 잡음을 해소하여, 원본 이미지의 정밀도를 더욱 향상시킬 수 있다. 이미지 교정은 종래의 기술적 해결 수단, 예를 들면, 자기 교정 알고리즘 등에 기초하여 구현될 수 있고, 본 발명은 교정 알고리즘의 구체적인 처리 절차를 한정하지 않는다. 이미지 보정이란 이미지에 실시하는 복원 처리를 말하며, 일반적으로 이미지 왜곡의 발생 원인은 촬상 시스템의 수차, 왜곡, 한정된 대역폭 등에 의한 이미지 왜곡과, 촬상 디바이스의 촬영 자세 및 주사의 비선형성에 의한 이미지 기하학적 왜곡과, 모션 블러링, 복사 왜곡, 잡음 도입 등에 의한 이미지 왜곡을 포함한다. 이미지 보정에서는 이미지 왜곡의 발생 원인에 따라 대응하는 수학적 모델을 수립하여, 오염되거나 왜곡된 이미지 신호에서 필요한 정보를 추출하고, 이미지 왜곡의 역 프로세스를 따라 이미지를 원본으로 복원시킬 수 있다. 이미지 보정의 프로세스는 필터에 의해 원본 이미지 내의 잡음을 해소하고, 이에 의해 원본 이미지의 정밀도를 향상시킬 수 있다.

임의의 두 개의 원본 이미지 사이의 선형 처리란, 두 개의 원본 이미지에 대해 대응하는 화소점의 특징값의 가산 또는 감산을 실행하여, 상기 선형 처리의 결과를 얻는 것을 말하며, 그 결과는 이미지의 새로운 이미지 특징으로서 나타낼 수 있다.

임의의 두 개의 원본 이미지 사이의 비선형 처리란, 미리 설정된 비선형 함수에 의해 원본 이미지의 각 화소점의 비선형 처리를 행하는 것을 말한다. 즉, 각 화소점의 특징값을 비선형 함수에 입력하여 새로운 화소값을 얻고, 이에 의해 원본 이미지의 각 화소점의 비선형 처리를 완료하여, 이미지의 새로운 이미지 특징을 얻을 수 있다.

원본 이미지를 전처리하고 나서, 전처리된 이미지를 뉴럴 네트워크에 입력하고 최적화 처리를 실행하여, 최적화된 심도 맵을 얻을 수 있다. 전처리 동작에 의해, 원본 이미지에서 잡음 및 오차에 의한 영향을 경감시키고 심도 맵의 정밀도를 향상시킬 수 있다. 이하에서 최적화 절차가 구체적으로 설명되며, 원본 이미지의 최적화 처리 절차를 예로서 설명한다. 전처리된 이미지의 최적화 처리 방법은 원본 이미지의 최적화된 처리 방법과 동일하므로, 상세한 설명을 반복하지 않는다.

본 발명의 실시예에서, 뉴럴 네트워크가 실행하는 최적화 처리는 복수의 최적화 절차 그룹, 예를 들면, Q개의 최적화 절차 그룹을 포함해도 되며, 여기서 Q는 1보다 큰 정수이고, 각 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및/또는 적어도 1회의 비선형 매핑 처리를 포함한다. 복수의 최적화 절차의 조합에 의해 원본 이미지에 대해 상이한 최적화 처리를 실행할 수 있다. 예를 들면, 세 개의 최적화 절차 그룹 A, B 및 C를 포함할 수 있으며, 상기 세 개의 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및/또는 적어도 1회의 비선형 매핑 처리를 포함해도 되지만, 모든 최적화 절차도 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 처리를 포함해야 한다.

도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서의 최적화 처리의 예시적 흐름도를 나타내며, Q개의 최적화 절차 그룹을 예로 들어 설명한다.

S201에서, 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 하고, 상기 제1 최적화 절차 그룹에 의해 처리하여 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻는다.

S202에서, 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 하여 최적화 처리를 실행하거나, 또는 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬 및 전의 n-1개 최적화 절차 그룹 중 적어도 하나가 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 하여 최적화 처리를 실행하며, 최종 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻는다. 여기서, n은 1보다 크고 Q보다 작은 정수이며, Q는 최적화 절차 내 그룹의 수이다.

본 발명의 실시예에서는, 뉴럴 네트워크가 실행하는 최적화 처리에 포함되는 복수의 최적화 절차 그룹은, 선행 최적화 절차 그룹에서 얻어진 처리 결과(최적화 특징 행렬)에 추가로 최적화 처리를 순차적으로 실행할 수 있으며, 최종 최적화 절차 그룹에서 얻어진 처리 결과를 심도 맵 또는 최적화된 이미지에 대응하는 특징 행렬로 사용할 수 있다. 일부 가능한 실시형태에서는. 선행 최적화 절차 그룹에서 얻어진 처리 결과를 직접 최적화할 수 있다. 즉, 선행 최적화 처리 절차 그룹에서 얻어진 처리 결과만을 다음의 최적화 절차 그룹의 입력 정보로 할 수 있다. 다른 일부 가능한 실시형태에서는, 현재의 최적화 절차의 선행 최적화 절차에서 얻어진 처리 결과와 상기 선행 최적화 절차 이외의 나머지 이전 최적화 절차 중 하나 이상의 결과를 입력으로 사용할 수 있다(예를 들면, 전의 n개의 최적화 절차 그룹에서 출력한 최적화 특징 행렬들을 제n+1 최적화 절차 그룹의 입력 정보로 사용함). 예를 들면, A, B 및 C를 세 개의 최적화 절차로 하면, B의 입력은 A의 출력일 수 있고, C의 입력은 B의 출력일 수 있고, A 및 B의 출력일 수 있다. 즉, 본 발명의 실시예에서 제1 최적화 절차의 입력은 원본 이미지이다. 원본 이미지의 최적화 처리 후의 최적화 특징 행렬은 제1 최적화 절차에 의해 얻을 수 있고, 이때, 최적화 처리하여 얻어진 최적화 특징 행렬은 제2 최적화 절차에 입력될 수 있다, 제1 최적화 절차는 제1 최적화 절차에서 얻어진 최적화 특징 행렬에 추가로 최적화 처리를 실행하여, 제2 최적화 절차에 대한 최적화 특징 행렬을 얻을 수 있다. 제2 최적화 절차에서 얻어진 최적화 특징 행렬은 제3 최적화 특징 행렬에 입력될 수 있다. 가능한 일 실시형태에서는, 제3 최적화 절차는 제2 최적화 특징 행렬의 출력만을 입력 정보로 사용할 수 있고, 제1 최적화 절차에서 얻어진 최적화 특징 행렬 및 제2 최적화 절차에서 얻어진 최적화 특징 행렬을 동시에 입력 정보로 하여 최적화 처리를 할 수 있고, 이후 동일하게, 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 하여 최적화 처리하거나, 또는 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬 및 전의 n-1개의 최적화 절차 그룹 중 적어도 하나가 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 하여 최적화 처리를 하고, 최종 최적화 절차 그룹의 처리 후에 최적화된 결과를 얻는다. 상기 최적화된 결과는 최적화된 심도 맵이거나, 원본 이미지에 대응하는 최적화된 이미지일 수 있다. 상기 구성에 의해 당업자는 필요에 따라 상이한 최적화 절차를 구성할 수 있고, 본 발명의 실시예는 이를 한정하지 않는다.

또한, 각 최적화 절차 그룹에 의해, 입력 정보 내의 특징 정보를 끊임없이 융합하여 특징 정보로부터 보다 많은 심도 정보를 복원할 수 있다. 즉, 얻어진 최적화 특징 행렬은 입력 정보보다 많은 특징을 갖고, 보다 많은 심도 정보를 가질 수 있다.

각 최적화 절차 그룹에서 콘볼루션 처리를 실행할 때 사용된 콘볼루션 커널은 동일할 수 있고 동일하지 않아도 되며, 각 최적화 절차 그룹에서 비선형 매핑 처리를 실행할 때 사용된 활성화 함수도 동일할 수 있고 동일하지 않아도 된다. 또한, 콘볼루션 처리에 사용되는 콘볼루션 커널의 수도 동일할 수 있고 동일하지 않아도 되며, 당업자는 대응하는 구성을 수행할 수 있다.

ToF 카메라가 취득한 이미지에는 각 화소점의 위상 정보가 포함되기 때문에, 본 발명의 실시예의 최적화 처리에 의해, 위상 정보로부터 대응하는 심도 정보를 복원하여, 보다 많고 보다 정확한 심도 정보를 갖는 심도 맵을 얻을 수 있다.

상기 실시예에 기재된 바와 같이, S200의 최적화 처리 절차는 복수의 최적화 절차 그룹을 포함할 수 있다. 각 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 함수 매핑 처리를 포함할 수 있다. 본 발명의 일부 가능한 실시형태에서, 각 최적화 절차 그룹은 상이한 처리 절차, 예를 들면, 다운-샘플링, 업-샘플링, 콘볼루션 처리 또는 잔차 처리(residual processing) 등을 채용할 수 있다. 당업자는 상이한 조합 및 처리 순서를 구성할 수 있다.

도 3은 본 발명의 실시예에 따른 이미지 처리 방법에서의 최적화 처리의 다른 예시적 흐름도를 나타내며, 원본 이미지에 대한 최적화 처리를 실행하는 단계는 다음 과정을 추가로 포함할 수 있다:

S203: 복수의 원본 이미지에 대해 제1 최적화 절차 그룹을 실행하여, 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 과정.

S204: 상기 제1 특징 행렬에 대해 제2 최적화 절차 그룹을 실행하여, 제2 특징 행렬을 얻는 과정으로서, 제2 특징 행렬은 제1 특징 행렬보다 더 많은 특징 정보를 가진다.

S205: 상기 제2 특징 행렬에 대해 제3 최적화 절차 그룹을 실행하여, 출력 결과를 얻는 과정으로서, 상기 최적화 특징 행렬은 제2 특징 행렬보다 더 많은 특징 정보를 가진다.

즉, 본 발명의 실시예의 뉴럴 네트워크의 최적화 처리는 순차적으로 실행되는 3개의 최적화 절차 그룹을 포함할 수 있다. 즉, 뉴럴 네트워크는 상기 제1 최적화 절차 그룹, 제2 최적화 절차 그룹, 및 제3 최적화 절차 그룹에 의해 원본 이미지의 최적화를 달성할 수 있다. 일부 가능한 실시형태에서, 제1 최적화 절차 그룹은 다운-샘플링 처리 절차일 수 있고, 제2 최적화 절차 그룹은 잔차 처리 절차일 수 있으며, 제3 최적화 절차 그룹은 업-샘플링 처리 절차일 수 있다.

우선, S203에 의해 각 원본 이미지에 대해 제1 최적화 절차 그룹이 실행되며, 각 원본 이미지의 특징 정보가 융합되고, 특징 정보의 심도 정보를 복원하여 제1 특징 행렬을 얻는다. 본 발명의 실시예는 제1 최적화 절차 그룹에 의해 특징 행렬의 사이즈, 예를 들면, 길이 및 폭의 치수를 변경할 수 있는 한편, 보다 많은 특징을 추가로 융합하여 그로부터 부분적인 심도 정보를 복원하기 위해, 각 화소점에 대한 특징 행렬 내의 특징 정보를 늘릴 수 있다.

도 4는 본 발명의 실시예에 따른 이미지 처리 방법에 있어서의 제1 최적화 절차 그룹의 예시적 흐름도를 나타낸다. 복수의 원본 이미지에 대해 제1 최적화 절차 그룹을 실행하여, 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 단계는 다음 과정을 포함할 수 있다:

S2031: 첫 번째 제1 최적화 하위절차(sub-procedure)에 의해 복수의 원본 이미지에 대해 제1 콘볼루션 처리를 실행하여 제1 콘볼루션 특징을 얻고, 상기 제1 콘볼루션 특징에 대해 제1 비선형 매핑 처리를 실행함으로써 제1 최적화 특징 행렬을 얻는 과정.

S2032: i번째 제1 최적화 하위절차에 의해, i-1번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬에 대해 제1 콘볼루션 처리를 실행하고, 상기 제1 콘볼루션 처리에 의해 얻어진 제1 콘볼루션 특징에 대해 제1 비선형 매핑 처리를 실행함으로써, i번째 제1 최적화 하위절차에 대한 제1 최적화 특징 행렬을 얻는 과정.

S2033: N번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬에 기초하여 제1 특징 행렬이 결정되며, 여기서 i는 1보다 크고 N 이하의 양의 정수이며, N은 제1 최적화 하위절차의 수를 나타낸다.

본 발명의 실시예는 다운-샘플링 네트워크를 사용하여 S203의 절차를 실행할 수 있다. 즉, 제1 최적화 절차 그룹은 다운-샘플링 네트워크를 사용하여 실행되는 다운-샘플링 처리의 절차일 수 있으며, 여기서 다운-샘플링 네트워크는 뉴럴 네트워크에서 네트워크 구조의 일부일 수 있다. 본 발명의 실시예에서의 다운-샘플링 네트워크가 실행하는 제1 최적화 절차 그룹은 최적화 처리의 최적화 절차로서 사용될 수 있으며, 상기 절차는 복수의 제1 최적화 하위절차를 포함할 수 있다. 예를 들면, 다운-샘플링 네트워크는 복수의 다운-샘플링 모듈을 포함할 수 있다. 각 다운-샘플링 모듈은 순차적으로 접속될 수 있으며, 제1 콘볼루션 유닛 및 제1 활성화 유닛을 포함할 수 있다. 제1 활성화 유닛은 제1 콘볼루션 유닛과 접속되어 제1 콘볼루션 유닛에 의해 출력된 특징 행렬을 처리한다. 이에 대해, S203에서의 제1 최적화 절차 그룹은 복수의 제1 최적화 하위절차를 포함할 수 있으며, 각 제1 최적화 하위절차는 제1 콘볼루션 처리 및 제1 비선형 매핑 처리를 포함한다. 즉, 각 다운-샘플링 모듈은 하나의 제1 최적화 하위절차를 실행할 수 있고, 다운-샘플링 모듈 내의 제1 콘볼루션 유닛은 제1 콘볼루션 처리를 실행할 수 있고, 제1 활성화 유닛은 제1 비선형 매핑 처리를 실행할 수 있다.

S100에서 얻어진 각 원본 이미지의 제1 콘볼루션 처리를 첫 번째 제1 최적화 하위절차에 의해 실행하여 대응하는 제1 콘볼루션 특징을 얻고, 제1 활성화 함수에 의해 상기 제1 콘볼루션 특징에 대해 제1 비선형 매핑 처리가 실행된다. 예를 들면, 제1 활성화 함수와 상기 제1 콘볼루션 특징을 곱하여 최종적으로 상기 첫 번째 다운-샘플링 절차의 제1 최적화 특징 행렬을 얻거나, 또는 제1 콘볼루션 특징을 제1 활성화 함수에 대응하는 파라미터에 대입하여 활성화 함수 처리 결과(제1 최적화 특징 행렬)를 얻을 수 있다. 이에 대해, 상기 첫 번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬을 두 번째 제1 최적화 하위절차의 입력으로 하고, 두 번째 제1 최적화 하위절차에 의해 첫 번째 제1 최적화 하위절차의 제1 최적화 특징 행렬에 대해 제1 콘볼루션 처리를 실행하여 대응하는 제1 콘볼루션 특징을 얻고, 제1 활성화 함수를 사용하여 제1 콘볼루션 특징에 대해 제1 활성화 처리를 실행하여 상기 두 번째 제1 최적화 하위절차의 제1 최적화 특징 행렬을 얻을 수 있다.

이후 동일하게, i-1번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬의 제1 콘볼루션 처리를 i번째 제1 최적화 하위절차에 의해 실행하고, 상기 제1 콘볼루션 처리에 의해 얻어진 제1 콘볼루션 특징에 대해 제1 비선형 매핑 처리를 실행함으로써 i번째 제1 최적화 하위절차에 대한 제1 최적화 특징 행렬을 얻고, 또한 N번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬에 기초하여 상기 제1 특징 행렬을 결정할 수 있으며, 여기서 i는 1보다 크고 N 이하의 양의 정수이며, N은 제1 최적화 하위절차의 수를 나타낸다.

각 제1 최적화 하위절차의 제1 콘볼루션 처리를 실행할 때, 각 제1 콘볼루션 처리에 사용된 제1 콘볼루션 커널은 동일하고, 또한 적어도 하나의 제1 최적화 하위절차의 제1 콘볼루션 처리에 사용된 제1 콘볼루션 커널의 수는 다른 제1 최적화 하위절차의 제1 콘볼루션 처리에 사용된 제1 콘볼루션 커널의 수와 상이하다. 즉, 본 발명의 실시예의 제1 최적화 하위절차에서 사용된 콘볼루션 커널은 제1 콘볼루션 커널이다. 그러나 각 제1 최적화 하위절차에 사용된 제1 콘볼루션 커널의 수는 상이할 수 있고, 상이한 제1 최적화 하위절차에 대응하여, 합치하는 수를 선택하여 제1 콘볼루션 처리를 실행할 수 있다. 제1 콘볼루션 커널은 4*4의 콘볼루션 커널이거나, 또는 다른 타입의 콘볼루션 커널이어도 되며, 본 발명은 이를 한정하지 않는다. 또한, 제1 최적화 하위절차에 사용된 제1 활성화 함수는 동일하다.

바꾸어 말하면, S100에서 취득한 원본 이미지를 다운-샘플링 네트워크에 있어서의 첫 번째 다운-샘플링 모듈에 입력하고, 첫 번째 다운-샘플링 모듈이 출력한 제1 최적화 특징 행렬을 두 번째 다운-샘플링 모듈에 입력하고, 이후 동일하게 마지막의 제1 다운-샘플링 모듈에 의해 처리하여 제1 특징 행렬을 출력할 수 있다.

우선, 다운-샘플링 네트워크에 있어서의 첫 번째 다운-샘플링 모듈 내의 제1 콘볼루션 유닛을 사용하여 제1 콘볼루션 커널에 의해 각 원본 이미지에 대한 제1 최적화 하위절차를 실행함으로써, 첫 번째 다운-샘플링 모듈에 대응하는 제1 콘볼루션 특성을 얻을 수 있다. 예를 들면, 본 발명의 실시예의 제1 콘볼루션 유닛에 사용된 제1 콘볼루션 커널은 4*4의 콘볼루션 커널일 수 있고, 상기 콘볼루션 커널에 의해 각 원본 이미지에 대한 제1 콘볼루션 처리를 실행하고, 각 화소점의 콘볼루션 결과를 누적하여, 최종적인 제1 콘볼루션 특징을 얻을 수 있다. 또한, 본 발명의 실시예에서는, 각 제1 콘볼루션 유닛에 사용된 제1 콘볼루션 커널의 수는 복수로 할 수 있고, 상기 복수의 제1 콘볼루션 커널에 의해 각 원본 이미지의 제1 콘볼루션 처리를 각각 실행하고, 추가로 동일한 화소점에 대응하는 콘볼루션 결과를 가산하여 제1 콘볼루션 특징을 얻을 수 있으며, 상기 제1 콘볼루션 특징도 실질적으로 행렬 형식이다. 제1 콘볼루션 특징을 얻고 나서, 상기 첫 번째 다운-샘플링 모듈의 제1 활성화 유닛을 사용하여 제1 활성화 함수에 의해 상기 제1 콘볼루션 특징을 처리하여, 첫 번째 다운-샘플링 모듈에 대한 제1 최적화 특징 행렬을 얻을 수 있다. 즉, 본 발명의 실시예는 제1 콘볼루션 유닛이 출력한 제1 콘볼루션 특징을 그것과 접속되는 제1 활성화 유닛에 입력하고, 상기 제1 활성화 함수에 의해 제1 콘볼루션 특징을 처리할 수 있다. 예를 들면, 제1 활성화 함수를 제1 콘볼루션 특징과 곱하여 첫 번째 제1 다운-샘플링 모듈의 제1 최적화 특징 행렬을 얻는다.

또한, 첫 번째 다운-샘플링 모듈의 제1 최적화 특징 행렬을 얻고 나서, 두 번째 다운-샘플링 모듈을 사용하여 제1 최적화 특징 행렬을 처리하여 상기 두 번째 다운-샘플링 모듈에 대응하는 제1 최적화 특징 행렬을 얻고, 이후 동일하게, 각 다운-샘플링 모듈에 대응하는 제1 최적화 특징 행렬을 각각 얻으며, 최종적으로 제1 특징 행렬을 얻을 수 있다. 각 다운-샘플링 모듈 내의 제1 콘볼루션 유닛에 사용된 제1 콘볼루션 커널은 동일한 콘볼루션 커널일 수 있고, 예를 들면, 전부 4*4의 콘볼루션 커널이어도 되지만, 각 다운-샘플링 모듈 내의 제1 콘볼루션 유닛에 사용된 제1 콘볼루션 커널의 수는 상이할 수 있다. 이렇게 상이한 사이즈의 제1 콘볼루션 특징이 얻어지는 것에 의해, 상이한 특징을 융합한 제1 특징 행렬을 얻을 수 있다.

표 1은 본 발명의 실시예에 따른 이미지 처리 방법의 네트워크 구조의 모식표를 나타낸다. 다운-샘플링 네트워크는 4개의 다운-샘플링 모듈(D1∼D4)을 포함할 수 있다. 각 다운-샘플링 모듈은 제1 콘볼루션 유닛 및 제1 활성화 유닛을 포함할 수 있다. 본 발명의 실시예의 각 제1 콘볼루션 유닛은 동일한 제1 콘볼루션 커널에 의해 입력 특징 행렬에 제1 콘볼루션 처리를 실행할 수 있지만, 각 제1 콘볼루션 유닛이 실행하는 제1 콘볼루션 처리의 제1 콘볼루션 커널의 수는 상이할 수 있다. 예를 들면, 표 1에서 나타나는 바와 같이, 첫 번째 다운-샘플링 모듈(D1)은 콘볼루션층 및 활성화 함수 층을 포함할 수 있고, 제1 콘볼루션 커널은 4*4의 콘볼루션 커널이다. 소정의 스텝 사이즈(예를 들면, 2)를 따라 제1 콘볼루션 처리가 실행되며, 다운-샘플링 모듈(D1) 내의 제1 콘볼루션 유닛은 64개의 제1 콘볼루션 커널에 의해 입력 원본 이미지의 제1 콘볼루션 처리를 실행하여 64개 이미지의 특징 정보를 포함하는 제1 콘볼루션 특징을 얻는다. 제1 콘볼루션 특징을 얻고 나서, 제1 활성화 유닛을 사용하여 처리를 실행한다. 예를 들면, 제1 콘볼루션 특징과 제1 활성화 함수를 곱하여 D1의 최종적인 제1 최적화 특징 행렬을 얻는다. 제1 활성화 유닛에 의해 처리함으로써, 특징 정보를 보다 풍부하게 할 수 있다.

이에 대해, 두 번째 다운-샘플링 모듈(D2)은 D1으로부터 그것이 출력한 제1 최적화 특징 행렬을 수신하고, 128개의 제1 콘볼루션 커널을 가진 제1 콘볼루션 유닛을 사용하여 제1 최적화 특징 행렬에 대해 제1 콘볼루션 처리를 수행한다. 제1 콘볼루션 커널은 4*4의 콘볼루션 커널이며, 제1 콘볼루션 처리는 소정의 스텝 사이즈(예를 들면, 2)를 따라 수행된다. 다운-샘플링 모듈(D2) 내의 제1 콘볼루션 유닛은 128개의 제1 콘볼루션 커널에 의해 입력된 제1 최적화 특징 행렬에 대해 제1 콘볼루션 처리를 실행하여, 128개 이미지의 특징 정보를 포함하는 제1 콘볼루션 특징을 얻는다. 제1 콘볼루션 특징을 얻고 나서, 제1 활성화 유닛이 처리를 실행한다. 예를 들면, 제1 콘볼루션 특징과 제1 활성화 함수를 곱하여, D2의 최종적인 제1 최적화 특징 행렬을 얻는다. 제1 활성화 유닛에 의해 처리함으로써, 특징 정보를 보다 풍부하게 할 수 있다.

동일하게, 세 번째 다운-샘플링 모듈(D3)은 D2가 출력한 제1 최적화 특징 행렬에 대해 256개의 제1 콘볼루션 커널에 의해 콘볼루션 동작을 실행한다. 동일하게, 스텝 사이즈는 2이며, 출력된 제1 콘볼루션 특징이 제1 활성화 유닛을 사용하여 추가로 처리되어 D3의 제1 최적화 특징 행렬을 얻는다. 그리고, 네 번째 다운-샘플링 모듈(D4)도 256개의 제1 콘볼루션 커널로 D3의 제1 최적화 특징 행렬에 대해 콘볼루션 동작을 실행할 수 있다. 동일하게, 스텝 사이즈는 2이며, 출력된 제1 콘볼루션 특징이 제1 활성화 유닛을 사용하여 처리되어 D4의 제1 최적화 특징 행렬, 즉 제1 특징 행렬을 얻는다.

본 발명의 실시예에서는, 각 다운-샘플링 모듈에 사용된 제1 콘볼루션 커널은 동일할 수 있고, 콘볼루션 동작을 실행하기 위한 스텝 사이즈는 동일해도 되지만, 각 제1 콘볼루션 유닛이 콘볼루션 동작을 실행하기 위해 사용한 제1 콘볼루션 커널의 수는 상이할 수 있다. 각 다운-샘플링 모듈에 의해 다운-샘플링 동작이 수행된 후, 이미지의 특징 정보가 더욱 풍부하게 되고, 이미지의 신호대잡음비가 향상된다.

S203을 실행하여 제1 특징 행렬을 얻고 나서, 제1 특징 행렬에 대해 S204을 실행하여 제2 특징 행렬을 얻을 수 있다. 예를 들면, 제1 특징 행렬을 잔차 네트워크에 입력하고, 잔차 네트워크에 의해 특징을 스크리닝하고, 이어서 활성화 함수에 의해 특징 정보의 심도를 증가시킬 수 있다. 잔차 네트워크는 동일하게 단독 뉴럴 네트워크여도 되고, 하나의 뉴럴 네트워크 내의 일부 네트워크 모듈일 수 있다. 본 발명의 실시예의 S204에서의 콘볼루션 동작은 복수의 콘볼루션 처리 절차를 포함할 수 있는 두 번째 최적화 처리 절차이며, 각 콘볼루션 처리 절차는 제2 콘볼루션 처리 및 제2 비선형 매핑 처리를 포함한다. 대응하는 잔차 네트워크는 복수의 잔차 모듈을 포함할 수 있으며, 복수의 잔차 모듈 각각은 대응하는 제2 콘볼루션 처리 및 제2 비선형 매핑 처리를 실행할 수 있다.

도 5는 본 발명의 실시예에 따른 이미지 처리 방법에 있어서의 제2 최적화 절차 그룹의 예시적 흐름도를 나타낸다. 제1 특징 행렬에 대해 제2 최적화 절차 그룹을 실행하여 제2 특징 행렬을 얻는 상기 단계는 다음 과정을 포함할 수 있다:

S2041: 첫 번째 제2 최적화 하위절차에 의해 상기 제1 특징 행렬에 대해 제2 콘볼루션 처리를 실행하여 제2 콘볼루션 특징을 얻고, 상기 제2 콘볼루션 특징에 대해 제2 비선형 매핑 처리를 실행함으로써 첫 번째 제2 최적화 하위절차의 제2 최적화 특징 행렬을 얻는 과정;

S2042: j-1번째 제2 최적화 하위절차에서 얻어진 제2 최적화 특징 행렬에 대해 j번째 제2 최적화 하위절차에 의해 제2 콘볼루션 처리를 실행하고, 상기 제2 콘볼루션 처리에 의해 얻어진 제2 콘볼루션 특징에 대해 제2 비선형 매핑 처리를 실행함으로써 j번째 제2 최적화 하위절차의 제2 최적화 특징 행렬을 얻는 과정;

S2043: M번째 제2 최적화 하위절차에서 얻어진 제2 최적화 특징 행렬에 기초하여 상기 제2 특징 행렬을 결정하는 과정; 여기서 j는 1보다 크고 M 이하의 양의 정수이며, M은 제2 최적화 하위절차의 수를 나타낸다.

본 발명의 실시예에서 S204의 제2 최적화 절차 그룹은 다른 최적화 처리 절차 그룹일 수 있으며, 그것은 S203의 최적화 처리 결과에 기초하여 추가적인 최적화 동작을 실행할 수 있다. 상기 제2 최적화 절차 그룹은 순차적으로 실행되는 복수의 제2 최적화 하위절차를 포함하며, 선행 제2 부최적화에 의해 얻어진 제2 최적화 특징 행렬은 다음의 제2 부최적화의 입력으로 사용되어, 복수의 제2 최적화 하위절차를 순차적으로 실행하고, 최종적으로 제2 특징 행렬이 마지막의 제2 최적화 하위절차에 의해 얻어진다. 첫 번째 제2 최적화 하위절차의 입력은 S203에서 얻어진 제1 특징 행렬이다.

구체적으로는, 본 발명의 실시예는 S203에서 얻어진 제1 특징 행렬에 대해 첫 번째 제2 최적화 절차 그룹에 의해 제2 콘볼루션 처리를 실행하여 대응하는 제2 콘볼루션 특징을 얻고, 또한 상기 제2 콘볼루션 특징에 대해 제2 비선형 매핑 처리를 실행함으로써 제2 최적화 특징 행렬을 얻는다.

j-1번째 제2 최적화 하위절차에서 얻어진 제2 최적화 특징 행렬의 제2 콘볼루션 처리를 j번째 제2 최적화 하위절차에 의해 실행하고, 상기 제2 콘볼루션 처리에 의해 얻어진 제2 콘볼루션 특징에 대해 제2 비선형 매핑 처리를 실행함으로써 j번째 제2 최적화 하위절차에 대한 제2 최적화 특징 행렬을 얻고, 또한 M번째 제2 최적화 하위절차에서 얻어진 제2 최적화 특징 행렬에 기초하여 상기 제2 특징 행렬을 결정하며, 여기서 j는 1보다 크고 M 이하의 양의 정수이며, M은 제2 최적화 하위절차의 수를 나타낸다.

전술한 바와 같이, 본 발명의 실시예에서는, 잔차 네트워크에 의해 상기 제2 최적화 절차 그룹이 실행된다. 즉, 제2 최적화 절차 그룹은 잔차 네트워크에 의해 실행된 최적화 절차일 수 있고, 잔차 네트워크는 뉴럴 네트워크에서의 네트워크 구조의 일부일 수 있다. 제2 최적화 절차 그룹은 복수의 제2 최적화 하위절차를 포함할 수 있고, 잔차 네트워크는 순차적으로 접속된 복수의 잔차 모듈을 포함할 수 있고, 각 잔차 모듈은 대응하는 제2 최적화 하위절차를 실행하기 위해 제2 콘볼루션 유닛 및 상기 제2 콘볼루션 유닛에 접속된 제2 활성화 유닛을 포함할 수 있다.

S203에서 얻어진 제1 특징 행렬의 제2 콘볼루션 처리를 첫 번째 제2 최적화 하위절차에 의해 실행하여 대응하는 제2 콘볼루션 특징을 얻고, 제1 활성화 함수에 의해 상기 제2 콘볼루션 특징에 대해 제2 비선형 매핑 처리를 실행한다. 예를 들면, 제2 활성화 함수와 상기 제2 콘볼루션 특징을 곱하여, 최종적으로 두 번째 제2 최적화 하위절차의 제2 최적화 특징 행렬을 얻거나, 또는 제2 콘볼루션 특징을 제2 활성화 함수의 대응하는 파라미터에 대입하여 활성화 함수 처리 결과(제2 최적화 특징 행렬)를 얻는다. 이에 대해, 상기 첫 번째 제2 최적화 하위절차에서 얻어진 제2 최적화 특징 행렬을 두 번째 제2 최적화 하위절차의 입력으로 하고, 두 번째 제2 최적화 하위절차에 의해 첫 번째 제2 최적화 하위절차의 제2 최적화 특징 행렬에 대해 제2 콘볼루션 처리를 실행하여 대응하는 제2 콘볼루션 특징을 얻고, 제2 활성화 함수에 의해 상기 제2 콘볼루션 특징에 대해 제2 활성화 처리를 실행하여 상기 두 번째 제2 최적화 하위절차의 제2 최적화 특징 행렬을 얻는다.

동일하게, j-1번째 제2 최적화 하위절차에서 얻어진 제2 최적화 특징 행렬에 대해 j번째 제2 최적화 하위절차에 의해 제2 콘볼루션 처리를 실행하고, 상기 제2 콘볼루션 처리에 의해 얻어진 제2 콘볼루션 특징에 대해 제2 비선형 매핑 처리를 실행함으로써 j번째 제2 최적화 하위절차에 대한 제2 최적화 특징 행렬을 얻고, 또한 M번째 제2 최적화 하위절차에서 얻어진 제2 최적화 특징 행렬에 기초하여 상기 제2 특징 행렬을 결정하며, 여기서 j는 1보다 크고 M 이하의 양의 정수이며, M은 제2 최적화 하위절차의 수를 나타낸다.

각 제2 최적화 하위절차의 제2 콘볼루션 처리를 실행할 때, 각 제2 콘볼루션 처리에서 사용된 제2 콘볼루션 커널은 동일하고, 적어도 하나의 제2 최적화 하위절차의 제2 콘볼루션 처리에서 사용된 제2 콘볼루션 커널의 수는 다른 제2 최적화 하위절차의 제2 콘볼루션 처리에서 사용된 제2 콘볼루션 커널의 수와 상이하다. 즉, 본 발명의 실시예에서 제1 최적화 하위절차에서 사용된 콘볼루션 커널은 제2 콘볼루션 커널이지만, 각 제2 최적화 하위절차에 사용된 제2 콘볼루션 커널의 수는 상이할 수 있고, 상이한 제2 최적화 하위절차에 대응하여 합치하는 수를 선택하여, 제2 콘볼루션 처리를 실행할 수 있다. 제2 콘볼루션 커널은 3*3의 콘볼루션 커널일 수 있고, 또는 다른 타입의 콘볼루션 커널이어도 되며, 본 발명은 이를 한정하지 않는다. 또한, 각 제2 최적화 하위절차에 사용된 제2 활성화 함수는 동일하다.

바꾸어 말하면, S203에서 취득한 제1 특징 행렬을 잔차 네트워크의 제1 잔차 모듈에 입력되고, 첫 번째 잔차 모듈이 출력한 제2 최적화 특징 행렬이 두 번째 잔차 모듈에 입력되고, 이후 동일하게 마지막의 잔차 모듈에 의해 제2 특징 행렬이 처리되어 출력될 수 있다.

우선 잔차 네트워크의 첫 번째 잔차 모듈 내의 제2 콘볼루션 유닛을 사용하여 제2 콘볼루션 커널에 의해 제1 특징 행렬에 대해 콘볼루션 동작이 실행되어, 첫 번째 잔차 모듈에 대응하는 제2 콘볼루션 특징을 얻는다. 예를 들면, 본 발명의 실시예에서 제2 콘볼루션 유닛에 사용된 제2 콘볼루션 커널은 3*3의 콘볼루션 커널일 수 있고, 상기 콘볼루션 커널에 의해 제1 특징 행렬에 대해 콘볼루션 동작이 실행되고, 각 화소점의 콘볼루션 결과를 누적하여 최종적인 제2 콘볼루션 특징을 얻을 수 있다. 또한, 본 발명의 실시예에서는, 각 제2 콘볼루션 유닛은 복수의 제2 콘볼루션 커널을 사용하고, 상기 복수의 제1 콘볼루션 커널에 의해 제1 특징 행렬의 콘볼루션 동작이 각각 실행될 수 있고, 동일한 화소점에 대응하는 콘볼루션 결과가 추가로 합산되어 제2 콘볼루션 특징을 얻으며, 이것도 실질적으로 행렬 형태이다. 제2 콘볼루션 특징을 얻고 나서, 제2 활성화 함수에 의해 상기 제2 콘볼루션 특징을 처리하기 위해 상기 첫 번째 잔차 모듈의 제2 활성화 유닛을 사용하여, 첫 번째 잔차 모듈에 대한 제2 최적화 특징 행렬을 얻을 수 있다. 즉, 본 발명의 실시예는 제2 콘볼루션 유닛이 출력한 제2 콘볼루션 특징을 그것에 접속된 제2 활성화 유닛에 입력하고, 상기 제2 활성화 함수에 의해 제2 콘볼루션 특징을 처리할 수 있다. 예를 들면, 제2 활성화 함수를 제2 콘볼루션 특징에 곱하여, 첫 번째 잔차 모듈의 제2 최적화 특징 행렬을 얻을 수 있다.

또한, 첫 번째 잔차 모듈의 제2 최적화 특징 행렬을 얻고 나서, 첫 번째 잔차 모듈이 출력한 제2 최적화 특징 행렬을 두 번째 잔차 모듈을 사용하여 처리하여, 상기 두 번째 잔차 모듈에 대응하는 제2 최적화 특징 행렬을 얻고, 이후 동일하게 각 잔차 모듈에 대응하는 제2 최적화 특징 행렬을 각각 얻으며, 최종적으로 제2 특징 행렬을 얻는다. 각 잔차 모듈 내의 제2 콘볼루션 유닛에 사용된 제2 콘볼루션 커널은 동일한 콘볼루션 커널일 수 있고, 예를 들면, 3*3의 콘볼루션 커널이어도 되며, 본 발명은 이를 한정하지 않지만, 특징 행렬의 사이즈를 변경하지 않고 이미지의 풍부한 특징 정보를 보증하기 위해 각 다운-샘플링 모듈 내의 제1 콘볼루션 유닛에 사용된 제2 콘볼루션 커널의 수는 동일할 수 있다.

표 1에 나타내는 바와 같이, 잔차 네트워크는 9개의 잔차 모듈(Res1∼Res9)을 포함할 수 있다. 각 잔차 모듈은 제2 콘볼루션 유닛 및 제2 활성화 유닛을 포함할 수 있다. 본 발명의 실시예의 각 제2 콘볼루션 유닛은 입력된 특징 행렬에 대해 동일한 제2 콘볼루션 커널에 의해 콘볼루션 동작을 실행할 수 있지만, 각 제2 콘볼루션 유닛이 실행한 콘볼루션 동작의 제2 콘볼루션 커널의 수는 동일하다. 예를 들면, 표 1에서 보이는 바와 같이, 각 잔차 모듈(Res1 내지 Res9)은 동일한 동작을 실행할 수 있고, 제2 콘볼루션 유닛의 콘볼루션 동작 및 제2 활성화 유닛의 처리 동작을 포함한다. 제2 콘볼루션 커널은 3*3의 콘볼루션 커널일 수 있고, 콘볼루션의 스텝 사이즈는 1로 해도 되지만, 본 발명은 이를 구체적으로 한정하지 않는다.

구체적으로는, 잔차 모듈(Res1) 내의 제2 콘볼루션 유닛은 입력된 제1 특징 행렬에 대해 256개의 제2 콘볼루션 커널에 의해 콘볼루션 동작을 실행하여, 256개 이미지의 특징 정보를 포함하는 것에 상당하는 제2 콘볼루션 특징을 얻는다. 제2 콘볼루션 특징을 얻고 나서, 제2 활성화 유닛은 처리를 수행한다. 예를 들면, 제2 콘볼루션 특징과 제2 활성화 함수를 곱하여, Res1의 최종적인 제2 최적화 특징 행렬을 얻는다. 제2 활성화 유닛에 의해 처리함으로써, 특징 정보를 보다 풍부하게 할 수 있다.

이에 대해, 두 번째 잔차 모듈(Res2)은 Res1으로부터 그것이 출력한 제2 최적화 특징 행렬을 수신하고, 256개 제2 콘볼루션 커널을 가지고 그 내부의 제2 콘볼루션 유닛을 사용하여 상기 제2 최적화 특징 행렬에 대해 콘볼루션 동작을 수행한다. 제2 콘볼루션 커널은 3*3의 콘볼루션 커널이며, 소정의 스텝 사이즈(예를 들면, 1)를 따라 콘볼루션 동작이 실행된다. 잔차 모듈(Res2) 내의 제2 콘볼루션 유닛은 입력된 제2 최적화 특징 행렬에 대해 256개의 제2 콘볼루션 커널을 가지고 콘볼루션 동작을 실행하여, 256개의 이미지의 특징 정보를 포함하는 제2 콘볼루션 특징을 얻는다. 제2 콘볼루션 특징을 얻고 나서, 제2 활성화 유닛이 처리를 실행한다. 예를 들면, 제2 콘볼루션 특징과 제2 활성화 함수를 곱하여, Res2의 최종적인 제2 최적화 특징 행렬을 얻는다. 제2 활성화 유닛에 의해 처리함으로써, 특징 정보를 보다 풍부하게 할 수 있다.

동일하게, 후속의 각 잔차 모듈(Res3∼9)은 256개의 제2 콘볼루션 커널을 가지고 선행 잔차 모듈(Res2∼8)이 출력한 제2 최적화 특징 행렬에 대해 콘볼루션 동작을 실행한다, 동일하게 스텝 사이즈는 1이며, 출력된 제2 콘볼루션 특징이 제2 활성화 유닛을 사용하여 추가로 처리되어, Res3∼9의 제2 최적화 특징 행렬을 얻을 수 있다. Res9가 출력한 제2 최적화 특징 행렬은 잔차 네트워크가 출력한 제2 특징 행렬이다. D4의 제1 최적화 특징 행렬은 제1 특징 행렬이다.

본 발명의 실시예에서는, 각 잔차 모듈에 사용된 제2 콘볼루션 커널은 동일할 수 있고, 콘볼루션 동작을 실행하기 위한 스텝 사이즈는 동일할 수 있으며, 또한 각 제2 콘볼루션 유닛이 콘볼루션 동작을 실행하기 위해 사용된 제2 콘볼루션 커널의 수도 동일하다. 각 잔차 모듈에 의한 처리는 이미지의 특징 정보를 더욱 풍부하고, 이미지의 신호대잡음비를 향상시킬 수 있다.

S204에 의해 제2 특징 행렬을 얻고 나서, 그 다음의 최적화 절차에 의해 제2 특징 행렬에 대해 추가로 최적화를 실행하여, 출력 결과를 얻을 수 있다. 예를 들면, 상기 제2 특징 행렬을 업-샘플링 네트워크에 입력할 수 있고, 업-샘플링 네트워크는 제2 특징 행렬의 제3 최적화 절차 그룹을 실행할 수 있으며, 심도 특징 정보를 더욱 풍부하게 할 수 있다. 업-샘플링 처리 절차를 실행할 때, 다운-샘플링 처리 절차에서 얻어진 특징 행렬에 의해 제2 특징 행렬에 대해 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻을 수 있다. 예를 들면, 다운-샘플링 처리시에 얻어진 제1 최적화 특징 행렬에 의해 제2 특징 행렬에 대해 최적화 처리를 실행할 수 있다.

도 6은 본 발명의 실시예에 따른 이미지 처리 방법에 있어서의 제3 최적화 절차 그룹의 예시적 흐름도를 나타낸다. 상기 제2 특징 행렬에 대해 제3 최적화 절차 그룹을 실행하여 출력 결과를 얻는 단계는 다음 과정을 포함할 수 있다:

S2051: 첫 번째 제3 최적화 하위절차에 의해 상기 제2 특징 행렬에 대해 제3 콘볼루션 처리를 실행하여 제3 콘볼루션 특징을 얻고, 또한 상기 제3 콘볼루션 특징에 대해 제3 비선형 매핑 처리를 실행함으로써 첫 번째 제3 최적화 하위절차에 대한 제3 최적화 특징 행렬을 얻는 과정;

S2052: k-1번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬 및 G-k+2번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬을 k번째 제3 최적화 하위절차의 입력 정보로 하고, k번째 제3 최적화 하위절차에 의해 상기 입력 정보의 제3 콘볼루션 처리를 실행하고, 상기 제3 콘볼루션 처리에 의해 얻어진 제3 콘볼루션 특징에 대해 제3 비선형 매핑 처리를 실행함으로써 k번째 제3 최적화 하위절차에 대한 제3 최적화 특징 행렬을 얻는 과정;

S2053: G번째 제3 최적화 하위절차가 출력한 제3 최적화 특징 행렬에 기초하여 상기 출력 결과에 대응하는 최적화 특징 행렬을 결정하는 과정; 여기서 k는 1보다 크고 G 이하의 양의 정수이고, G는 제3 최적화 하위절차의 수를 나타낸다.

본 발명의 실시예는 업-샘플링 네트워크에 의해 S205의 프로세스를 실행할 수 있으며, 업-샘플링 네트워크는 단독 뉴럴 네트워크이거나, 또는 뉴럴 네트워크의 네트워크 구조의 일부일 수 있으며, 본 발명은 이를 구체적으로 한정하지 않는다. 본 발명의 실시예에 있어서의 업-샘플링 네트워크가 실행하는 제3 최적화 절차 그룹은 최적화 처리의 최적화 절차일 수 있으며, 예를 들면, 잔차 네트워크에 대응하는 최적화 절차 후의 최적화 절차일 수 있고, 또한, 제2 특징 행렬에 대해 추가로 최적화를 실행할 수 있다. 상기 절차는 복수의 제3 최적화 하위절차를 포함할 수 있다. 예를 들면 업-샘플링 네트워크는 복수의 업-샘플링 모듈을 포함할 수 있으며, 각 업-샘플링 모듈은 순차적으로 접속되고, 각 업-샘플링 모듈은 제3 콘볼루션 유닛 및 제3 활성화 유닛을 포함할 수 있다. 제3 활성화 유닛은 제3 콘볼루션 유닛에 접속되어 출력된 제2 특징 행렬을 처리한다. 이에 대해, S205에서의 제3 최적화 절차 그룹은 복수의 제3 최적화 하위절차를 포함할 수 있으며, 각 제3 최적화 하위절차는 제3 콘볼루션 처리 및 제3 비선형 매핑 처리를 포함한다. 즉, 각 업-샘플링 모듈은 하나의 제3 최적화 하위절차를 실행할 수 있다. 업-샘플링 모듈 내의 제3 콘볼루션 유닛은 상기 제3 콘볼루션 처리를 실행할 수 있고, 또한 제3 활성화 유닛은 상기 제3 비선형 매핑 처리를 실행할 수 있다.

S204에서 얻어진 제2 특징 행렬의 제1 콘볼루션 처리를 첫 번째 제3 최적화 하위절차에 의해 실행하여 대응하는 제3 콘볼루션 특징을 얻고, 제3 활성화 함수에 의해 상기 제3 콘볼루션 특징의 제1 비선형 매핑 처리를 실행한다. 예를 들면, 제3 활성화 함수와 상기 제3 콘볼루션 특징을 곱하여, 최종적으로 첫 번째 제3 최적화 하위절차의 제3 최적화 특징 행렬을 얻거나, 또는 제3 콘볼루션 특징을 제3 활성화 함수에 대응하는 파라미터에 대입하여, 활성화 함수 처리 결과(제3 최적화 특징 행렬)를 얻을 수 있다. 이에 대해, 상기 첫 번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬을 두 번째 제3 최적화 하위절차의 입력으로 하고, 두 번째 제3 최적화 하위절차에 의해 첫 번째 제3 최적화 하위절차의 제3 최적화 특징 행렬에 대해 제3 콘볼루션 처리를 행하여 대응하는 제3 콘볼루션 특징을 얻고, 제3 활성화 함수에 의해 상기 제3 콘볼루션 특징의 제3 활성화 처리를 실행하여, 상기 두 번째 제3 최적화 하위절차의 제3 최적화 특징 행렬을 얻을 수 있다.

동일하게, k-1번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬에 대해 k번째 제3 최적화 하위절차에 의해 제3 콘볼루션 처리를 실행하고, 상기 제3 콘볼루션 처리에 의해 얻어진 제3 콘볼루션 특징에 대해 제3 비선형 매핑 처리를 실행함으로써 k번째 제3 최적화 절차에 대한 제3 최적화 특징 행렬을 얻고, 또한 G번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬에 기초하여 상기 출력 결과에 대응하는 최적화 특징 행렬이 결정되며, 여기서 k는 1보다 크고 G 이하의 양의 정수이고, G는 제3 최적화 하위절차의 수를 나타낸다.

또는, 다른 일부 가능한 실시형태에서는, 두 번째 제3 최적화 하위절차로부터, k-1번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬 및 G-k+2번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬을 k번째 제3 최적화 하위절차의 입력 정보로 하고, k번째 제3 최적화 하위절차에 의해 상기 입력 정보의 제3 콘볼루션 처리를 행하고, 상기 제3 콘볼루션 처리에 의해 얻어진 제3 콘볼루션 특징에 대해 제3 비선형 매핑 처리를 실행함으로써, k번째 제3 최적화 하위절차에 대한 제3 최적화 특징 행렬을 얻고, 또한 G번째 제3 최적화 하위절차에서 출력된 제3 최적화 특징 행렬에 기초하여 상기 출력 결과에 대응하는 최적화 특징 행렬을 결정할 수 있으며, 여기서 k는 1보다 크고 G 이하의 양의 정수이고, G는 제3 최적화 하위절차의 수를 나타낸다. 상기 제3 최적화 하위절차의 수는 상기 제1 최적화 절차 그룹에 포함되는 제1 최적화 하위절차의 수와 동일하다.

즉, 첫 번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬 및 G번째 제1 최적화 하위절차에서 얻어진 제1 특징 행렬을 두 번째 제3 최적화 하위절차에 입력하고, 두 번째 제3 최적화 하위절차에 의해 입력 정보의 제3 콘볼루션 처리를 실행하여 제3 콘볼루션 특징을 얻고, 제3 활성화 함수에 의해 상기 제3 콘볼루션 특징에 대해 비선형 함수 매핑 처리를 실행하여 두 번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬을 얻을 수 있다. 또한, 두 번째 제3 최적화 하위절차에서 얻어진 제3 최적화 특징 행렬 및 G-1번째 제1 최적화 하위절차에서 얻어진 제1 최적화 특징 행렬을 세 번째 제3 최적화 하위절차에 입력하고, 제3 콘볼루션 처리 및 제3 활성화 함수 처리를 실행하여 세 번째 제3 최적화 하위절차에 대한 제3 최적화 특징 행렬을 얻고, 이후 동일하게 마지막의 제3 최적화 하위절차에 대응하는 제3 최적화 특징 행렬, 즉 출력 결과에 대응하는 최적화 특징 행렬을 얻는다.

각 업-샘플링 프로세스의 제1 콘볼루션 처리를 실행할 때, 각 제3 콘볼루션 처리에 사용된 제3 콘볼루션 커널은 동일하고, 또한 적어도 하나의 제3 최적화 하위절차의 제3 콘볼루션 처리에 사용된 제3 콘볼루션 커널의 수는 다른 제3 최적화 하위절차의 제3 콘볼루션 처리에 사용된 제3 콘볼루션 커널의 수와 상이하다. 즉, 본 발명의 실시예의 각 업-샘플링 프로세스에 사용된 콘볼루션 커널은 제3 콘볼루션 커널이지만, 각 제3 최적화 하위절차에 사용된 제3 콘볼루션 커널의 수는 상이할 수 있고, 상이한 제3 최적화 하위절차에 대응하여 합치하는 수를 선택하여 제3 콘볼루션 처리를 실행할 수 있다. 제3 콘볼루션 커널은 4*4의 콘볼루션 커널이거나, 또는 다른 타입의 콘볼루션 커널일 수 있고, 본 발명은 이를 한정하지 않는다. 또한, 각 업-샘플링 프로세스에 사용된 제3 활성화 함수는 동일하다.

본 발명의 실시예는 업-샘플링 네트워크에 의해 상기 제2 특징 행렬에 대해 제3 최적화 절차 그룹을 실행하여 출력 결과에 대응하는 특징 행렬을 얻을 수 있다. 본 발명의 실시예에서, 업-샘플링 네트워크는 순차적으로 접속된 복수의 업-샘플링 모듈을 포함할 수 있고, 각 업-샘플링 모듈은 제3 콘볼루션 유닛, 및 상기 제3 콘볼루션 유닛과 접속되는 제3 활성화 유닛을 포함할 수 있다.

S204에서 취득한 제2 특징 행렬은 업-샘플링 네트워크의 첫 번째 업-샘플링 모듈에 입력되고, 첫 번째 업-샘플링 모듈이 출력한 제3 최적화 특징 행렬은 두 번째 업-샘플링 모듈에 입력된다. 또한, 대응하는 다운-샘플링 모듈에서 출력된 제1 최적화 특징 행렬도 대응하는 업-샘플링 모듈에 입력될 수 있다. 따라서, 업-샘플링 모듈은 2개의 입력된 특징 행렬의 콘볼루션 동작을 동시에 실행하여, 그에 대응하는 제3 최적화 특징 행렬을 얻으며, 이후 동일하게, 제3 특징 행렬이 마지막의 업-샘플링 모듈에 의해 처리되어 출력된다.

우선, 제3 콘볼루션 커널에 의해 업-샘플링 네트워크의 첫 번째 업-샘플링 모듈 내의 제3 콘볼루션 유닛을 사용하여 제2 특징 행렬에 대해 콘볼루션 동작을 실행하여, 첫 번째 업-샘플링 모듈에 대응하는 제3 콘볼루션 특징을 얻는다. 예를 들면, 본 발명의 실시예의 제3 콘볼루션 유닛에 사용된 제3 콘볼루션 커널은 4*4의 콘볼루션 커널일 수 있고, 상기 콘볼루션 커널에 의해 제2 특징 행렬에 대해 콘볼루션 동작을 실행하고, 화소점들의 콘볼루션 결과를 누적하여 최종적인 제2 콘볼루션 특성을 얻을 수 있다. 또한, 본 발명의 실시예에서, 각 제3 콘볼루션 유닛은 복수의 제3 콘볼루션 커널을 사용하고, 상기 복수의 제3 콘볼루션 커널에 의해 제2 특징 행렬의 제2 최적화 절차 그룹을 각각 실행하고, 동일한 화소점에 대응하는 콘볼루션 결과를 합산하여, 제3 콘볼루션 특징을 얻을 수 있으며, 상기 제3 콘볼루션 특징도 실질적으로 행렬 형식이다. 제3 콘볼루션 특징을 얻고 나서, 제3 활성화 함수에 의해 상기 첫 번째 업-샘플링 모듈의 제3 활성화 유닛을 사용하여 상기 제3 콘볼루션 특징을 처리하여, 첫 번째 업-샘플링 모듈에 대한 제3 최적화 특징 행렬을 얻을 수 있다. 즉, 본 발명의 실시예는 제3 콘볼루션 유닛이 출력한 제3 콘볼루션 특징을 그것과 접속된 제3 활성화 유닛에 입력하고, 상기 제3 활성화 함수에 의해 제3 콘볼루션 특징을 처리할 수 있다. 예를 들면, 제3 활성화 함수와 제3 콘볼루션 특징을 곱하여, 첫 번째 업-샘플링 모듈의 제3 최적화 특징 행렬을 얻을 수 있다.

또한, 첫 번째 업-샘플링 모듈의 제3 최적화 특징 행렬을 얻고 나서, 두 번째 업-샘플링 모듈을 사용하여, 첫 번째 업-샘플링 모듈이 출력한 제3 최적화 특징 행렬 및 대응하는 다운-샘플링 모듈이 출력한 제1 최적화 특징 행렬에 대해 콘볼루션 동작을 실행하여, 상기 두 번째 업-샘플링 모듈에 대응하는 제3 최적화 특징 행렬을 얻으며, 이후 동일하게 각 업-샘플링 모듈에 대응하는 제3 최적화 특징 행렬을 각각 얻고, 최종적으로 제3 특징 행렬을 얻을 수 있다. 각 업-샘플링 모듈 내의 제3 콘볼루션 유닛에 사용된 제3 콘볼루션 커널은 동일한 콘볼루션 커널일 수 있고, 예를 들면, 4*4의 콘볼루션 커널일 수 있으며, 본 발명은 이를 한정하지 않는다. 그러나 각 다운-샘플링 모듈 내의 제3 콘볼루션 유닛에 사용된 제3 콘볼루션 커널의 수는 상이할 수 있으므로, 업-샘플링 절차에 의해 이미지 행렬을 입력된 원본 이미지와 동일한 사이즈의 이미지 행렬로 서서히 변환될 수 있으며, 특징 정보가 추가로 증가될 수 있다.

가능한 일 실시예에서는, 업-샘플링 네트워크의 업-샘플링 모듈의 수는 다운-샘플링 네트워크의 다운-샘플링 모듈의 수와 동일할 수 있고, 대응하는 업-샘플링 모듈과 다운-샘플링 모듈의 대응은 k번째 업-샘플링 모듈과 G-k+2번째 다운-샘플링 모듈이 대응하는 대응 관계일 수 있으며, 여기서 k는 1보다 큰 정수이고, G는 업-샘플링 모듈의 수, 즉 다운-샘플링 모듈의 수이다. 예를 들면, 두 번째 업-샘플링 모듈에 대응하는 다운-샘플링 모듈은 G번째 다운-샘플링 모듈이고, 세 번째 업-샘플링 모듈에 대응하는 다운-샘플링 모듈은 G-1번째 다운-샘플링 모듈이며, k번째 업-샘플링 모듈에 대응하는 다운-샘플링 모듈은 G-k+2번째 다운-샘플링 모듈이다.

표 1에 나타낸 바와 같이, 본 발명의 실시예는 4개의 업-샘플링 모듈(U1∼U4)을 포함할 수 있다. 각 업-샘플링 모듈은 제3 콘볼루션 유닛 및 제3 활성화 유닛을 포함할 수 있다. 본 발명의 실시예의 각 제3 콘볼루션 유닛은 입력된 특징 행렬에 대해 동일한 제3 콘볼루션 커널을 사용하여 콘볼루션 동작을 실행할 수 있지만, 각 제2 콘볼루션 유닛이 실행한 콘볼루션 동작의 제1 콘볼루션 커널의 수는 상이하다. 예를 들면, 표 1에서 보인 바와 같이, 각 업-샘플링 모듈(U1 내지 U4)은 상이한 업-샘플링 모듈을 사용하여 제3 최적화 절차 그룹을 각각 실행할 수 있고, 제3 콘볼루션 유닛의 콘볼루션 동작 및 제3 활성화 유닛의 처리 동작을 포함한다. 제3 콘볼루션 커널은 4*4의 콘볼루션 커널일 수 있고, 콘볼루션 스텝 사이즈는 2일 수 있지만, 본 발명은 이를 구체적으로 한정하지 않는다.

구체적으로는, 첫 번째 업-샘플링 모듈(U1) 내의 제3 콘볼루션 유닛은 입력된 제2 특징 행렬에 대해 256개의 제3 콘볼루션 커널에 의해 콘볼루션 동작을 실행하여 제3 콘볼루션 특징을 얻으며, 제3 콘볼루션 특징은 512개 이미지의 특징 정보를 포함하는 것에 상당한다. 제3 콘볼루션 특징을 얻고 나서, 제3 활성화 유닛이 처리를 실행한다. 예를 들면, 제3 콘볼루션 특징과 제3 활성화 함수를 곱하여 U1의 최종적인 제3 최적화 특징 행렬을 얻는다. 제3 활성화 유닛에 의한 처리 후에, 특징 정보가 보다 풍부해질 수 있다.

이에 대해, 두 번째 업-샘플링 모듈(U2)은 그것에 의해 출력된 제3 최적화 특징 행렬 및 D4에 의해 출력된 제1 특징 행렬을 U1으로부터 수신하고, 128개의 제2 콘볼루션 커널을 가진 그 내부의 제3 콘볼루션 유닛을 사용하여 U1이 출력한 제3 최적화 특징 행렬 및 D4가 출력한 제1 특징 행렬에 대해 콘볼루션 동작을 실행한다. 제2 콘볼루션 커널은 4*4 콘볼루션 커널이며, 콘볼루션 동작은 소정의 스텝 사이즈(예를 들면, 2)에 따라 실행되고, 업-샘플링 모듈(U2) 내의 제3 콘볼루션 유닛은 128개 제3 콘볼루션 커널에 의해 상기 콘볼루션 동작을 실행하여, 256개 이미지의 특징 정보를 포함하는 제3 콘볼루션 특징을 얻는다. 제3 콘볼루션 특징을 얻고 나서, 제3 활성화 유닛을 사용하여 처리를 실행한다. 예를 들면, 제3 콘볼루션 특징과 제3 활성화 함수를 곱하여, U2의 최종적인 제3 최적화 특징 행렬을 얻는다. 제3 활성화 유닛에 의한 처리 후에, 특징 정보가 보다 풍부해질 수 있다.

또한, 세 번째 업-샘플링 모듈(U3)은 U2로부터 그것이 출력한 제3 최적화 특징 행렬 및 D3에서 출력된 제1 최적화 특징 행렬을 수신하고, 4*4의 콘볼루션 커널인 64개의 제2 콘볼루션 커널을 가진 그 내부의 제3 콘볼루션 유닛을 사용하여 U2가 출력한 제3 최적화 특징 행렬 및 D3이 출력한 제1 최적화 특징 행렬에 대해 소정의 스텝 사이즈(예를 들면, 2)를 따라 콘볼루션 동작을 실행할 수 있다. 업-샘플링 모듈(U3) 내의 제3 콘볼루션 유닛은 64개 제3 콘볼루션 커널에 의해 상기 콘볼루션 동작을 실행하여 128개 이미지의 특징 정보를 포함하는 제3 콘볼루션 특징을 얻는다. 제3 콘볼루션 특징을 얻고 나서, 제3 활성화 유닛을 사용하여 처리를 실행한다. 예를 들면, 제3 콘볼루션 특징과 제3 활성화 함수를 곱하여, U3의 최종적인 제3 최적화 특징 행렬을 얻는다. 제3 활성화 유닛에 의한 처리 후에 특징 정보가 보다 풍부하게 될 수 있다.

또한, 네 번째 업-샘플링 모듈(U4)은 U3로부터 그것이 출력한 제3 최적화 특징 행렬 및 D2에서 출력된 제1 최적화 특징 행렬을 수신하고, 4*4의 콘볼루션 커널인 3개의 제2 콘볼루션 커널을 가진 그 내부의 제3 콘볼루션 유닛을 사용하여 U3이 출력한 제3 최적화 특징 행렬 및 D2가 출력한 제1 최적화 특징 행렬에 대해 소정의 스텝 사이즈(예를 들면, 2)를 따라 콘볼루션 동작을 실행할 수 있다. 업-샘플링 모듈(U4) 내의 제3 콘볼루션 유닛은 3개의 제3 콘볼루션 커널에 의해 상기 콘볼루션 동작을 실행하여 제3 콘볼루션 특징을 얻는다. 제3 콘볼루션 특징을 얻고 나서, 제3 활성화 유닛을 사용하여 처리를 실행한다. 예를 들면, 제3 콘볼루션 특징과 제3 활성화 함수를 곱하여, U4의 최종적인 제3 최적화 특징 행렬을 얻는다. 제3 활성화 유닛에 의한 처리 후에, 특징 정보는 보다 풍부하게 될 수 있다.

본 발명의 실시예에서, 각 업-샘플링 모듈에 사용된 제3 콘볼루션 커널은 동일할 수 있고, 콘볼루션 동작을 실행하는 스텝 사이즈도 동일할 수 있지만, 각 제3 콘볼루션 유닛이 콘볼루션 동작을 실행하기 위해 사용한 제3 콘볼루션 커널의 수는 상이할 수 있다. 각 업-샘플링 모듈에 의한 처리 후에, 이미지의 특징 정보는 더욱 풍부하게 될 수 있고, 이미지의 신호대잡음비는 더욱 향상된다.

마지막의 업-샘플링 모듈에 의해 처리하고 나서 제3 특징 행렬이 얻어진다. 상기 제3 특징 행렬은 복수의 원본 이미지에 대응하는 심도 맵일 수 있고, 원본 이미지와 동일한 사이즈를 가지고, 풍부한 특징 정보(심도 정보 등)를 포함하며, 이에 의해 이미지의 신호대잡음비가 향상되며, 제3 특징 행렬을 이용하여 최적화된 이미지를 얻을 수 있다.

또한, 뉴럴 네트워크가 출력한 제3 특징 행렬은 복수의 원본 이미지에 대응하는 최적화된 이미지의 특징 행렬일 수 있고, 대응하는 복수의 최적화된 이미지를 상기 제3 특징 행렬에 의해 얻을 수 있다. 최적화된 이미지는 원본 이미지에 비해 보다 정확한 특징값을 갖고, 최적화된 심도 맵을 얻어진 원본 이미지로부터 얻을 수 있다.

또한, 본 발명의 실시예에서, 다운-샘플링 네트워크, 업-샘플링 네트워크 및 잔차 네트워크에 의한 이미지 최적화 절차를 행하기 전에 훈련 데이터를 이용하여 각 네트워크를 훈련할 수 있다. 본 발명의 실시예는 상기 다운-샘플링 네트워크, 업-샘플링 네트워크 및 잔차 네트워크에 기초하여 형성된 이미지 정보 뉴럴 네트워크에 기초하여 제1 훈련 이미지를 뉴럴 네트워크에 입력함으로써 뉴럴 네트워크를 훈련할 수 있다. 본 발명의 실시예의 뉴럴 네트워크는 훈련하여 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이다.

일부 가능한 실시형태에서, 뉴럴 네트워크가 원본 이미지의 심도 맵을 직접 출력하는 경우에 있어서, 뉴럴 네트워크를 훈련하는 동안, 복수의 훈련 샘플을 포함하는 훈련 세트가 뉴럴 네트워크에 입력될 수 있으며, 여기서 각 훈련 샘플은 복수의 제1 샘플 이미지와, 상기 복수의 제1 샘플 이미지에 대응하는 실측 심도 맵을 포함할 수 있다. 뉴럴 네트워크에 의해 입력된 훈련 샘플을 최적화 처리하여, 각 훈련 샘플에 대응하는 예측 심도 맵을 얻는다. 실측 심도 맵과 예측 심도 맵 사이의 차이에 의해 네트워크 손실을 얻을 수 있고, 훈련 요건을 만족할 때까지 상기 네트워크 손실에 기초하여 네트워크 파라미터를 조정할 수 있다. 훈련 요건은 실측 심도 맵과 예측 심도 맵의 차이에 의해 결정된 네트워크 손실이 손실 임계값보다 작은 것이며, 상기 손실 임계값은 미리 설정된 값, 예를 들면, 0.1일 수 있지만, 본 발명은 이를 구체적으로 한정하지 않는다. 네트워크 손실은 아래 식으로 주어질 수 있다:

여기서, L_depth는 네트워크 손실(즉, 심도 손실)을 나타내고, N은 원본 이미지의 차원(N*N 차원)을 나타내고, i 및 j는 각각 화소점의 위치를 나타내고, d_ij ^gt는 실측 심도 맵에서의 제i 행 제j 열의 화소점의 실측 심도값을 나타내고, d_ij ^pre는 예측 심도 맵에서의 제i 행 제j 열의 화소점의 예측 심도값을 나타내고, i 및 j는 각각 1 이상 N 이하의 정수이다.

이상에 의해, 뉴럴 네트워크의 네트워크 손실을 얻을 수 있고, 이 네트워크 손실에 기초하여, 네트워크 손실이 손실 임계값보다 작아질 때까지 뉴럴 네트워크를 조정하기 위한 네트워크 파라미터가 피드백될 수 있다. 이 경우에, 훈련 요건을 만족하는 것으로 결정할 수 있고, 얻어진 뉴럴 네트워크는 원본 이미지에 대응하는 심도 맵을 정확하게 얻을 수 있다.

또한, 뉴럴 네트워크가 원본 이미지에 대응하는 최적화된 이미지를 얻는 경우에, 본 발명의 실시예는 심도 손실 및 이미지 손실에 기초하여 뉴럴 네트워크의 훈련 프로세스를 감시할 수 있다. 도 7은 본 발명의 실시예에 따른 이미지 처리 방법의 다른 흐름도를 나타낸다. 도 7에 도시한 바와 같이, 본 발명의 실시예의 상기 방법은 추가로 뉴럴 네트워크의 훈련 프로세스를 포함하고, 그것은 이하의 단계를 포함할 수 있다.

S401: 훈련 세트를 취득한다. 상기 훈련 세트는 복수의 훈련 샘플을 포함하고, 각 훈련 샘플은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함할 수 있으며, 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상의 이미지이고, 또한, 제2 샘플 이미지의 신호대잡음비는 제1 샘플 이미지의 신호대잡음비보다 높다.

S402: 상기 뉴럴 네트워크에 의해 상기 훈련 세트에 대해 최적화 처리를 실행하여 상기 훈련 세트 내의 제1 샘플 이미지에 대한 최적화 결과를 얻고, 그에 의해 제1 네트워크 손실 및 제2 네트워크 손실을 얻는다. 상기 제1 네트워크 손실은 상기 뉴럴 네트워크에 의해 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 처리함으로써 얻은 복수의 예측된 최적화 이미지와, 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고, 상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵과 상기 훈련 샘플에 포함된 심도 맵 사이의 차이에 기초하여 얻어진다.

S403: 상기 제1 네트워크 손실 및 제2 네트워크 손실에 기초하여 뉴럴 네트워크의 네트워크 손실을 얻고, 상기 네트워크 손실에 기초하여 소정의 요건을 만족할 때까지 상기 뉴럴 네트워크의 파라미터를 조정한다.

본 발명의 실시예는 복수의 훈련 샘플을 뉴럴 네트워크에 입력하며, 각 훈련 샘플은, 예를 들면, 낮은 노광율로 취득한 이미지 정보와 같은, 낮은 신호대잡음비의 복수의 이미지(제1 샘플 이미지)를 포함할 수 있다. 상기 제1 샘플 이미지는 EPC660 ToF 카메라 및 Sony의 IMX316 Minikit 개발 키트를 사용하여, 실험실, 사무실, 침실, 응접실, 식당 등의 상이한 시나리오에서 수집될 수 있다. 본 발명은 수집 장치 및 수집 시나리오를 구체적으로 한정하지 않으며, 낮은 노광율에서 제1 훈련 이미지를 얻을 수 있다면, 본 발명의 실시예가 될 수 있다. 본 발명의 실시예에서 제1 샘플 이미지는 200개(또는, 다른 수)의 데이터 그룹을 포함할 수 있으며, 각 데이터 그룹은 200us 및 400us 등의 낮은 노광 시간 및 정상적인 노광 시간 또는 장노광 시간에서의 ToF 미가공 측정 데이터, 심도 맵, 및 진폭 이미지를 포함하며, ToF 미가공 측정 데이터는 제1 샘플 이미지로 사용될 수 있다. 대응하는 특징 최적화 행렬이 뉴럴 네트워크의 최적화 처리에 의해 얻어진다. 예를 들면, 다운-샘플링 네트워크, 잔차 네트워크 및 업-샘플링 네트워크에 의해, 훈련 샘플 내 복수의 제1 샘플 이미지의 최적화 절차를 실행하여, 최종적으로 제1 샘플 이미지에 각각 대응하는 최적화 특징 행렬, 즉 예측된 최적화 이미지를 얻는다. 뉴럴 네트워크의 최적화 처리에 의해 대응하는 최적화 특징 행렬을 얻을 수 있다. 본 발명의 실시예는 제1 샘플 이미지에 대응하는 최적화 특징 행렬을 표준 특징 행렬과 비교하여, 즉 예측된 최적화 이미지를 대응하는 제2 샘플 이미지와 비교하여 양자의 차이를 결정할 수 있다. 표준 특징 행렬은 제1 훈련 이미지의 각 이미지에 대응하는 제2 샘플 이미지의 특징 행렬, 즉 정확한 특징 정보(위상, 진폭, 화소값 등의 정보)를 갖는 이미지 특징 행렬이다. 상기 예측된 최적화 특징 행렬을 표준 특징 행렬과 비교함으로써, 뉴럴 네트워크의 제1 네트워크 손실을 결정할 수 있다.

각 훈련 샘플이 4개의 제1 샘플 이미지를 포함하는 경우를 예로 들어 설명한다. 제1 네트워크 손실은 하기 식으로 표현될 수 있다:

여기서, L_raw는 제1 네트워크 손실을 나타내고, N은 제1 샘플 이미지, 제2 샘플 이미지, 예측된 최적화 이미지의 차원(N*N)을 나타내고, r_ij ^gt ₀, r_ij ^gt ₁, r_ij ^gt ₂및 r_ij ^gt ₃은 훈련 샘플에서의 4개의 제1 샘플 이미지의 제i 행 제j 열의 실특징값을 각각 나타내고, r_ij ^pre ₀, r_ij ^pre ₁, r_ij ^pre ₂및 r_ij ^pre ₃은4개의 제1 샘플 이미지에 대응하는 4개의 예측된 최적화 이미지의 제i 행 제j 열의 예측된 특성값을 각각 나타낸다.

상기 방법에 의해 제1 네트워크 손실을 얻을 수 있다. 또한, 훈련 샘플의 각 제1 샘플 이미지에 대응하는 예측된 최적화 이미지를 얻는 경우, 얻어진 예측된 최적화 이미지에 기초하여, 상기 복수의 제1 샘플 이미지에 대응하는 예측된 심도 맵이 추가로 결정된다. 즉, 예측된 최적화 이미지의 후처리를 실행하며, 구체적인 방법은 식 (1)을 참조하여 정의될 수 있다.

이에 대해, 예측된 심도 맵을 얻고 나서, 제2 네트워크 손실, 즉 심도 손실을 추가로 결정할 수 있다. 구체적으로는 상기 식 2에 기초하여 제2 네트워크 손실을 얻을 수 있으며, 여기에서는 상세한 설명을 생략한다.

제1 네트워크 손실 및 제2 네트워크 손실을 얻고 나서, 제1 네트워크 손실과 제2 네트워크 손실의 가중합에 의해 뉴럴 네트워크의 네트워크 손실을 얻을 수 있다. 뉴럴 네트워크의 네트워크 손실은 하기 식으로 나타낸다.

여기서, L은 뉴럴 네트워크의 네트워크 손실을 나타내고, α 및 β는 각각 제1 네트워크 손실 및 제2 네트워크 손실의 가중치이다. 상기 가중치는 필요에 따라 설정될 수 있고, 예를 들면, 모두 1로 설정하거나, 또는 α와 β의 합을 1로 설정할 수 있으며, 본 발명은 이를 구체적으로 한정하지 않는다.

가능한 일 실시형태에서는, 얻어진 네트워크 파라미터에 기초하여, 뉴럴 네트워크를 조정하기 위한 파라미터, 예를 들면 콘볼루션 커널 파라미터 및 활성화 함수 파라미터를 피드백할 수 있다. 예를 들면, 다운-샘플링 네트워크, 잔차 네트워크 및 업-샘플링 네트워크의 파라미터가 조정되거나, 또는 차이가 적합도 함수에 입력되고, 최적화 처리 절차의 파라미터와 다운-샘플링 네트워크, 잔차 네트워크 및 업-샘플링 네트워크의 파라미터가 얻어진 파라미터 값에 기초하여 조정된다. 그 다음에, 조어된 파라미터를 가지고 뉴럴 네트워크에 의해 훈련 샘플에 대해 다시 최적화 처리를 실행하여, 새로운 최적화된 결과를 얻는다. 이와 같이, 얻어진 네트워크 손실이 미리 설정된 훈련 요건, 예를 들면, 네트워크 손실이 미리 설정된 손실 임계값보다 작아지는 것을 만족할 때까지 상기 처리가 반복된다. 상기 얻어진 네트워크 손실이 미리 설정된 요구 사항을 만족하는 경우, 뉴럴 네트워크의 훈련이 완료되며, 이 경우에, 상기 훈련된 뉴럴 네트워크에 따라 낮은 신호대잡음비의 이미지에 대해 최적화 절차를 실행하고, 더 높은 최적화 정밀도를 얻을 수 있다.

또한, 뉴럴 네트워크의 최적화 정밀도를 추가로 보증하기 위해, 본 발명의 실시예는 훈련된 뉴럴 네트워크의 최적화 결과를 적대적 네트워크를 사용하여 추가로 검증할 수 있다. 판정 결과 상기 네트워크가 추가로 최적화될 필요가 있다면, 상기 적대적 네트워크의 판정 결과 뉴럴 네트워크가 더 나은 최적화 효과를 달성할 때가지, 뉴럴 네트워크의 파라미터를 추가로 조정할 수 있다.

도 8은 본 발명의 실시예에 따른 이미지 처리 방법의 다른 흐름도를 나타내며, 본 발명의 실시예에서, 이 방법은, S502 후에, 추가로 이하의 단계를 포함할 수 있다:

S501: 훈련 세트를 취득한다. 상기 훈련 세트는 복수의 훈련 샘플을 포함하고, 각 훈련 샘플은 복수의 제1 샘플 이미지, 및 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함할 수 있다.

S502: 뉴럴 네트워크를 사용하여 상기 훈련 샘플에 대해 최적화 처리를 실행하여, 최적화된 결과를 얻는다.

일부 가능한 실시형태에서, 얻어진 최적화 결과는 뉴럴 네트워크에 의해 얻어지고 제1 샘플 이미지에 대응하는 예측된 최적화 이미지이거나, 또는 제1 샘플 이미지에 대응하는 예측된 심도 맵일 수 있다.

S503: 상기 최적화 결과 및 대응하는 감시 샘플(제2 샘플 이미지 또는 심도 맵)을 적대적 네트워크에 입력하고, 상기 최적화된 결과와 감시 샘플에 대해 상기 적대적 네트워크에 의해 진위 판정을 실행하고, 상기 적대적 네트워크에 의해 생성되는 판정 결과가 제1 판정 결과인 경우, 상기 제1 최적화된 이미지 및 상기 표준 이미지에 대한 상기 적대적 네트워크의 판정값이 제2 판정값이 될 때까지 상기 최적화 처리 절차를 조정하기 위한 파라미터가 피드백된다.

본 발명의 실시예에서, S401∼S403에 의해 뉴럴 네트워크를 훈련하고 나서, 적대적 네트워크를 사용하여 생성된 네트워크(뉴럴 네트워크)에 대해 추가 최적화가 실행될 수 있으며, S501에서의 훈련 세트와 S401에서의 훈련 세트는 동일하거나 상이할 수 있으며, 본 발명은 이를 한정하지 않는다.

훈련 세트 내의 훈련 샘플의 최적화된 결과가 뉴럴 네트워크에 의해 얻어지는 경우, 상기 최적화된 결과가 적대적 네트워크에 입력되고, 동시에 대응하는 감시 샘플(즉, 실제의 명료한 제2 샘플 이미지 또는 심도 맵)이 적대적 네트워크에 입력될 수 있다. 적대적 네트워크는 최적화 결과 및 감시 샘플에 대해 진위 판정을 실행할 수 있다. 즉, 최적화 결과와 감시 샘플 사이의 차이가 제3 임계값보다 작으면, 적대적 네트워크는 제2 판정값(예를 들면, 1)을 출력할 수 있으며, 이것은 최적화된 뉴럴 네트워크의 최적화 정밀도가 높은 것을 나타낸다. 적대적 네트워크는 최적화 결과와 감시 샘플 중 어느 하나의 진위를 구별할 수 없다. 이 경우, 뉴럴 네트워크를 추가로 훈련할 필요가 없다.

최적화 결과와 감시 샘플 사이의 차이가 제3 임계값 이상인 경우, 적대적 네트워크는 제1 판정값(예를 들면, 0)을 출력할 수 있으며, 이것은, 최적화된 뉴럴 네트워크의 최적화 정밀도가 높지 않고, 적대적 네트워크가 최적화 결과와 감시 샘플을 구별할 수 있음을 나타낸다. 이 경우에, 뉴럴 네트워크를 추가로 훈련할 필요가 있다. 즉, 상기 적대적 네트워크의 상기 최적화 결과 및 감시 샘플에 대한 판정값이 제2 판정값이 될 때까지, 상기 뉴럴 네트워크를 조정하기 위한 파라미터가 최적화 결과와 감시 샘플 사이의 차이에 기초하여 피드백된다. 상기 구성에 의해, 이미지 뉴럴 네트워크의 최적화 정밀도를 더욱 향상시킬 수 있다.

요약하면, 본 발명의 실시예는 심도 촬영 기능을 갖는 전자 장치, 예를 들면, ToF 카메라에 적용할 수 있고, 본 발명의 실시예에 의해, 낮은 신호대잡음비의 원본 이미지 데이터로부터 심도 맵이 복원될 수 있으므로, 최적화된 이미지가 높은 해상도, 높은 프레임 레이트 등의 효과를 갖게 되며, 이것은 정밀도를 손상시키지 않고 구현될 수 있다. 본 발명의 실시예가 제공하는 방법은 무인 운전 시스템의 ToF 카메라 모듈에 적용될 수 있고, 이에 의해 보다 긴 탐측 거리 및 보다 높은 탐측 정밀도를 구현할 수 있다. 또한, 본 발명의 실시예는 스마트 폰 및 스마트 시큐리티 감시에 적용되어 측정 정밀도에 영향을 주지 않으면서 모듈의 소비 전력을 저감시키므로, ToF 모듈은 스마트 폰 및 시큐리티 감시의 지속 동작 능력에 영향을 주지 않도록 할 수 있다.

또한, 본 발명의 실시예는 이미지 처리 방법을 추가로 제공하며, 도 9는 본 발명의 실시예에 따른 이미지 처리 방법의 다른 흐름도를 나타낸다. 상기 이미지 처리 방법은 이하의 단계를 포함할 수 있다:

S10: 비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집된, 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지가 얻어지며, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값은 상이하다.

S20: 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는다. 여기서, 뉴럴 네트워크는 훈련 세트에 의해 훈련하여 얻어지고, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함한다. 여기서, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 제2 샘플 이미지의 신호대잡음비는 상기 제1 샘플 이미지의 신호대잡음비보다 높다.

일부 가능한 실시형태에서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계는: 뉴럴 네트워크에 의해 상기 복수의 원본 이미지의 최적화 처리를 실행하고, 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하는 과정, 및 상기 복수의 최적화된 이미지에 대해 후처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함하며, 여기서, 각 최적화된 이미지의 신호대잡음비는 각 원본 이미지보다 높다.

일부 가능한 실시형태에서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계는: 뉴럴 네트워크에 의해 상기 복수의 원본 이미지의 최적화 처리를 실행하고, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하는 과정을 포함한다.

일부 가능한 실시형태에서, 뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계는: 상기 복수의 원본 이미지를 뉴럴 네트워크에 입력하여 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 방법은: 복수의 원본 이미지에 대해, 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작들 중 적어도 하나를 포함하는 전처리를 실행하여, 복수의 전처리된 원본 이미지를 얻는 단계를 추가로 포함한다. 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 복수의 원본 이미지에 대응하는 심도 맵을 얻는 단계는: 상기 전처리된 복수의 원본 이미지를 상기 뉴럴 네트워크에 입력하여 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크가 실행한 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및/또는 적어도 1회의 비선형 매핑 처리를 포함하며, 여기서, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하는 단계는:

상기 복수의 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 하고, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻는 과정; 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하거나, 또는 전의 n개의 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하는 과정(여기서, n은 1보다 크고 Q보다 작은 정수임); 및 제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻는 과정을 포함한다.

일부 가능한 실시형태에서, 상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하는 상기 단계는: 상기 복수의 원본 이미지에 대해 다운-샘플링 처리를 실행하여 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 과정; 상기 제1 특징 행렬에 대해 상기 잔차 처리를 실행하여 제2 특징 행렬을 얻는 과정; 및 상기 제2 특징 행렬에 대해 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 과정을 포함하며, 여기서, 상기 뉴럴 네트워크의 출력 결과는 상기 최적화 특징 행렬에 기초하여 얻어진다. 일부 가능한 실시형태에서, 상기 제2 특징 행렬에 대해 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 상기 단계 전에, 상기 방법은:

상기 다운-샘플링 처리 절차에서 얻어진 특징 행렬을 사용하여 상기 제2 특징 행렬에 대해 업-샘플링 처리를 실행하여, 최적화 특징 행렬을 얻는 과정을 추가로 포함한다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이고; 뉴럴 네트워크 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며, 여기서, 제1 네트워크 손실은 상기 뉴럴 네트워크에 의해 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고, 상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵과 상기 훈련 샘플에 포함된 심도 맵 사이의 차이에 기초하여 얻어진다.

당업자라면, 구체적인 실시형태의 상기 방법에서, 상기 단계들의 기재 순서는 실시 프로세스에 대해 어떤 제한을 부여하는 엄격한 실행 순서를 시사하는 것이 아니고, 상기 단계들의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정되어야 함을 이해할 수 있다.

본 발명에서 언급된 상기 각 방법의 실시예는, 핵심 논리를 위반하지 않는 한, 서로 조합하여 조합된 실시예를 형성할 수 있다. 지면의 한계를 고려하여 상세한 설명은 생략한다.

또한, 본 발명은 이미지 처리 장치, 전자 장치, 컴퓨터 판독 가능 기억 매체, 및 프로그램을 추가로 제공하며, 이것들은 전부 본 발명이 제공하는 임의의 이미지 처리 방법을 구현하기 위해 사용할 수 있다. 대응하는 기술적 해결 수단 및 설명에 대해서는, 방법 부분의 대응하는 기재를 참조하면 되므로, 추가의 상세한 설명을 생략한다.

도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 도시하며, 도 10에 도시한 바와 같이, 상기 이미지 처리 장치는:

비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하도록 구성된 취득 모듈(10) - 여기서, 상기 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함;

뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된 최적화 모듈(20) - 여기서, 상기 최적화 처리는 적어도 1회의 콘볼루션 처리 및 적어도 1회의 비선형 함수 매핑 처리를 포함한다.

일부 가능한 실시형태에서, 상기 최적화 모듈은 추가로, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 추가로 실행하여, 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하고; 또한 상기 복수의 최적화된 이미지에 대해 후처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된다. 여기서, 각 최적화된 이미지의 신호대잡음비는 각 원본 이미지보다 높다.

일부 가능한 실시형태에서, 상기 최적화 모듈은 추가로, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하고, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하도록 구성된다.

일부 가능한 실시형태에서, 상기 최적화 모듈은 추가로, 상기 복수의 원본 이미지를 뉴럴 네트워크에 입력하여 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 장치는, 상기 복수의 원본 이미지에 대해, 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작들 중 적어도 하나를 포함하는 전처리를 실행하여, 복수의 전처리된 원본 이미지를 얻도록 구성된 전처리 모듈을 추가로 포함하며; 상기 최적화 모듈은 추가로, 상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하여 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 최적화 모듈이 실행한 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및/또는 적어도 1회의 비선형 매핑 처리를 포함하며; 상기 최적화 모듈은 추가로, 상기 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻고; 또한 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하거나, 또는 전의 n개의 최적화 절차 그룹에서 출력된 최적화 특징 행렬들을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하여, 제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬들에 기초하여 출력 결과를 얻도록 구성되며, 여기서, n은 1보다 크고 Q보다 작은 정수이며, Q는 최적화 절차의 그룹들의 수이다.

일부 가능한 실시형태에서, 상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며, 상기 최적화 모듈은: 상기 복수의 원본 이미지에 대해 다운-샘플링 처리를 실행하여, 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻도록 구성된 제1 최적화 유닛과; 상기 제1 특징 행렬에 대해 잔차 처리를 실행하여 제2 특징 행렬을 얻도록 구성된 제2 최적화 유닛과; 상기 제2 특징 행렬에 대해 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻도록 구성된 제3 최적화 유닛을 포함하며, 여기서, 상기 뉴럴 네트워크의 출력 결과는 상기 최적화 특징 행렬에 기초하여 얻어진다.

일부 가능한 실시형태에서, 상기 제3 최적화 유닛은 추가로, 상기 다운-샘플링 처리 절차에서 얻은 특징 행렬을 사용하여 상기 제2 특징 행렬에 대해 상기 업-샘플링 처리를 실행하여, 상기 최적화 특징 행렬을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지며, 상기 훈련 샘플 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 상기 제1 샘플 이미지의 신호대잡음비보다 높으며, 상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이고, 상기 뉴럴 네트워크의 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며, 상기 제1 네트워크 손실은 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 상기 뉴럴 네트워크에 의해 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고, 상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵과 상기 훈련 샘플에 포함된 심도 맵 사이의 차이에 기초하여 얻어진다.

도 11은 본 발명의 실시예에 따른 이미지 처리 장치의 다른 블록도를 나타내며, 상기 이미지 처리 장치는:

비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하도록 구성된 취득 모듈(100) - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및

뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된 최적화 모듈(200) - 여기서, 상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지고, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하고, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 대응하는 상기 제1 샘플 이미지의 신호대잡음비보다 높다.

일부 가능한 실시형태에서, 상기 최적화 모듈은 추가로, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하고; 및 상기 복수의 최적화된 이미지에 대해 후처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성되며, 여기서 각 최적화된 이미지의 신호대잡음비는 각 원본 이미지보다 높다.

일부 가능한 실시형태에서, 상기 최적화 모듈은 추가로, 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하도록 구성된다.

일부 가능한 실시형태에서, 상기 장치는, 상기 복수의 원본 이미지에 대해 전처리를 실행하여 복수의 전처리된 원본 이미지를 얻도록 구성된 전처리 모듈을 포함하며, 여기서 상기 전처리는 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작 중 적어도 하나를 포함하며; 상기 최적화 모듈은 추가로, 상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하여 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크가 실행한 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 적어도 1회의 콘볼루션 처리 및/또는 적어도 1회의 비선형 매핑 처리를 포함하며, 상기 최적화 모듈은 추가로: 상기 복수의 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻고; 제n 최적화 절차 그룹에서 출력된 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하거나, 또는 전의 n개의 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하고(n은 1보다 크고 Q보다 작은 정수임); 및 제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하고, 상기 최적화 모듈은: 상기 제1 특징 행렬에 대해 잔차 처리를 실행하여 제2 특징 행렬을 얻기 위한 제1 최적화 유닛과; 상기 제2 특징 행렬에 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻기 위한 제2 최적화 유닛을 포함하며, 여기서 상기 뉴럴 네트워크의 출력 결과는 상기 최적화 특징 행렬에 기초하여 얻어진다.

일부 가능한 실시형태에서, 상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이고, 상기 뉴럴 네트워크의 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며, 상기 제1 네트워크 손실은 상기 뉴럴 네트워크에 의해 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고, 상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵과 상기 훈련 샘플에 포함된 심도 맵 사이의 차이에 기초하여 얻어진다.

일부 실시예에서, 본 발명의 실시예가 제공하는 장치에 의해 제공되는 기능 또는 포함하는 모듈은 상기 실시예에 기재된 방법을 구현하기 위해 사용할 수 있으며, 그 구체적인 구현을 위해, 상기 방법의 실시예의 설명을 참조할 수 있다. 설명을 간결하게 하기 위해, 여기서는 상세한 설명을 반복하지 않는다.

본 발명의 실시예는 추가로, 컴퓨터 프로그램 명령이 기억되는 컴퓨터 판독 가능 기억 매체를 제공하며, 여기서 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 때, 상기 방법들이 구현된다. 컴퓨터 판독 가능 기억 매체는 비휘발성 컴퓨터 판독 가능 기억 매체 또는 휘발성 컴퓨터 판독 가능 기억 매체를 포함할 수 있다.

본 발명의 실시예는 추가로, 상기 방법들을 실행하도록 구성된 프로세서, 및 프로세서 실행 가능 명령을 기억하기 위한 메모리를 포함하는 전자 장치를 제공한다.

본 발명의 실시예는 추가로, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하며, 여기서 상기 컴퓨터 판독 가능 코드가 전자 장치에 있어서 운용될 때, 상기 전자 장치 내의 프로세서는 상기 방법들을 실행한다.

상기 전자 장치는 단말기, 서버 또는 다른 형태의 장치로서 제공일 수 있다.

도 12는 본 발명의 실시예에 따른 전자 장치의 블록도를 나타낸다. 예를 들면, 전자 장치(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 장치, 게임 콘솔, 태블릿 디바이스, 의료 장치, 피트니스 장치, 휴대 정보 단말 등의 단말일 수 있다.

도 12를 참조하면, 전자 장치(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814), 및 통신 컴포넌트(816) 중 하나 이상을 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로, 전자 장치(800)의 전체적인 동작, 예를 들면, 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작에 관련된 동작을 제어한다. 처리 컴포넌트(802)는, 명령을 실행하여 상기 방법들의 전부 또는 일부 단계를 완료하기 위한 하나 이상의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 대화를 위해 하나 이상의 모듈을 포함할 수 있다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 대화를 위해 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 전자 장치(800)에서의 동작을 지원하기 위해 다양한 타입의 데이터를 기억하도록 구성된다. 상기 데이터의 예는 전자 장치(800)에서 운용하기 위한 모든 애플리케이션 프로그램 또는 방법에 대한 명령, 연락처 데이터, 전화 번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 모든 타입의 휘발성 또는 비휘발성 기억 장치 또는 이들의 조합에 의해 구현할 수 있다.

전원 컴포넌트(806)는 전자 장치(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전력 관리 시스템, 하나 이상의 전원 및 전자 장치(800)를 위한 전력 생성, 관리 및 배분에 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 전자 장치(800)와 사용자 사이에서 출력 인터페이스를 제공하는 화면을 포함한다. 일부 실시예에서, 화면은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 화면이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해, 터치 화면으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해, 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련된 지속 시간 및 압력을 검출할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(808)는 하나의 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 장치(800)가 동작 모드, 예를 들면, 사진 모드 또는 촬영 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전면 카메라 및 후면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것일 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 전자 장치(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드로 되는 경우, 외부의 오디오 신호를 수신하도록 구성된 마이크(MIC)를 포함한다. 수신된 오디오 신호는 추가로, 메모리(804)에 기억되거나, 또는 통신 컴포넌트(816)에 의해 송신될 수 있다. 일부 실시예에서, 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 상기 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있으나, 이들에 한정되지 않는다.

센서 컴포넌트(814)는 전자 장치(800)에 대해 다양한 측면에서 상태 평가를 제공하기 위한 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 장치(800)의 온/오프 상태, 및 예를 들면 전자 장치(800)의 표시 장치 및 키패드인 컴포넌트의 상대적 위치를 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 장치(800) 또는 전자 장치(800) 컴포넌트의 위치 변화, 사용자와 전자 장치(800)의 접촉 유무, 전자 장치(800)의 방위 또는 가감속, 및 전자 장치(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하기 위해 사용되도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 추가로, CMOS 또는 CCD 이미지 센서와 같은 이미징 애플리케이션에서 사용하기 위한 광 센서를 포함할 수 있다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로, 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함할 수 있다.

통신 컴포넌트(816)는 전자 장치(800)와 다른 장치 사이의 유선 또는 무선 통신을 구현하도록 배치된다. 전자 장치(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 예시적 실시예에서 통신 컴포넌트(816)는 방송 채널에 의해 외부의 방송 관리 시스템의 방송 신호 또는 방송 관련 정보를 수신한다. 예시적 실시예에서 상기 통신 컴포넌트(816)는 추가로, 근거리 통신을 촉진하기 위해, 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈에서는 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 기타 기술에 의해 구현할 수 있다.

예시적인 실시예에서, 전자 장치(800)는 하나 이상의 특정 용도 대상 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 요소에 의해 구현되고, 상기 방법을 실행하기 위해 사용할 수 있다.

예시적인 실시예에서, 비휘발성 컴퓨터 판독 가능 기억 매체가 추가로 제공되며, 예를 들면, 메모리(804)는 상기 방법을 구현하기 위해 전자 장치(800)의 프로세서(820)에 의해 실행될 수 있는 컴퓨터 프로그램 명령을 포함한다.

도 13은 본 발명의 실시예에 따른 다른 전자 장치의 블록도를 나타낸다. 예를 들면, 전자 장치(1900)는 서버로서 제공될 수 있다. 도 13을 참조하면, 전자 장치(1900)는 추가로, 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하도록 구성된 메모리(1932)로 표현된 메모리 자원을 포함한다. 메모리(1932)에 기억된 애플리케이션 프로그램은, 각각 한 세트의 명령에 대응하는 하나 이상의 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령을 실행하여 상기 방법을 실행하도록 구성된다.

전자 장치(1900)는 추가로, 전자 장치(1900)의 전원 관리를 실행하도록 구성된 전원 컴포넌트(1926), 전자 장치(1900)를 네트워크에 액세스하도록 구성된 유선 또는 무선 네트워크 인터페이스(1950), 및 입출력(I/O) 인터페이스(1958)를 포함할 수 있다. 전자 장치(1900)는 메모리(1932)에 기억된 운영체제, 예를 들면, Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM, FreeBSD^TM 또는 유사한 것에 기초하여 동작할 수 있다.

예시적인 실시예에서, 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 장치(1900)의 처리 컴포넌트(1922)에 의해 실행되어 상기 방법을 구현할 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 양태를 구현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 저장되어 있는 컴퓨터 판독 가능 기억 매체를 포함할 수 있다.

컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 의해 사용되는 명령을 저장 및 기억 가능한 유형의 장치일 수 있다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비포괄적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 기계적 부호화 장치, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내돌기 구조 및 상기 임의의 적당한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 기타 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광섬유 케이블을 통과하는 펄스 광) 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.

여기서 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 장치에 다운로드되거나, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크에 의해 외부의 컴퓨터 또는 외부 기억 장치에 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각 계산/처리 장치 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 장치 내의 컴퓨터 판독 가능 기억 매체에 기억한다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 Smalltalk, C++ 등의 오브젝트 지향 프로그래밍 언어 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 오브젝트 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행될 수 있고, 부분적으로 사용자의 컴퓨터에 있어서 실행될 수 있고, 독립 소프트웨어 패키지로서 실행될 수 있고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 원격 컴퓨터에서 실행될 수 있고, 또는 완전히 원격 컴퓨터 혹은 서버에서 실행될 수 있다. 원격 컴퓨터를 수반하는 시나리오에서, 원격 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되거나, 또는 (예를 들면, 인터넷서비스 사업자를 이용하여 인터넷을 경우하여) 외부 컴퓨터에 접속될 수 있다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 개인화함으로써, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령을 실행하고, 이에 의해 본 발명의 각 양태를 구현할 수 있게 된다.

또한, 여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 실시형태를 설명했지만, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 구현할 수 있음을 이해해야 한다.

상기 컴퓨터 판독 가능 프로그램 명령은 기계를 제조하기 위해, 공용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공될 수 있고, 이에 의해, 상기 명령은 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되고, 흐름도 및/또는 블록도의 하나 이상의 블록에 있어서 지정된 기능/동작을 구현하는 수단을 창출한다. 또한, 상기 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 이에 의해 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 기타 장치를 특정 방식으로 동작시키도록 할 수 있고, 이에 의해, 안에 저장된 명령을 갖는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도의 하나 이상의 블록에 있어서 지정된 기능/동작의 각 양태를 구현하는 명령을 포함하는 제품을 구비한다.

컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치, 또는 기타 장치에 로드함으로써, 컴퓨터 실시 프로세스를 생성하도록 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 장치에서 일련의 동작 단계를 실행시키도록 할 수 있고, 이에 의해, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 장치에서 실행되는 명령은 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 구현한다.

도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리적 기능을 구현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 일부 치환으로서의 구현 형태에서는 블록에 표기되는 기능은 도면에 표시한 것과 상이한 순서로 구현할 수 있다. 예를 들면, 두 개의 연속적인 블록은 실질적으로 동시에 실행할 수 있고, 또한, 이러한 기능에 의해, 이들은 반대의 순서로 실행해도 되는 경우가 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 구현할 수 있고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 구현해도 되는 것에도 주의해야 한다.

이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고 망라적인 것이 아니며, 또한, 개시된 각 실시예에 한정되는 것은 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않으면서 다양한 수정 및 변경이 이루어질 수 있음은 자명하다. 본 명세서에 선정된 용어는 각 실시예의 원리, 실제 적용 또는 시장에서의 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims

이미지 처리 방법에 있어서,
비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하는 단계 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및
뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정 - 여기서, 상기 처리는, 1회 이상의 콘볼루션 처리 및 1회 이상의 비선형 함수 매핑 처리를 포함함;
을 포함하는, 이미지 처리 방법.
제 1 항에 있어서,
뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하는 과정 - 여기서, 상기 최적화된 이미지의 신호대잡음비는 상기 원본 이미지보다 높음; 및
상기 복수의 최적화된 이미지에 대해 후처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정;
포함하는, 이미지 처리 방법.
제 1 항에 있어서,
뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하는 과정을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
상기 복수의 원본 이미지를 상기 뉴럴 네트워크에 입력하여 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 임의의 두 개의 원본 이미지 사이의 비선형 처리를 포함하는 동작 중 하나 이상을 포함하는 전처리를 상기 복수의 원본 이미지에 대해 실행하여 복수의 전처리된 원본 이미지를 얻는 단계를 추가로 포함하며,
뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하고 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크에 의해 실행된 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 1회 이상의 콘볼루션 처리 및 1회 이상의 비선형 매핑 처리 중 하나 이상을 포함하며,
상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하는 상기 단계는:
상기 복수의 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻는 과정;
제n 최적화 절차 그룹에서 출력된 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하거나, 또는 전의 n개 최적화 절차 그룹에서 출력된 최적화 특징 행렬들을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여 최적화 처리를 실행하는 과정(여기서, n은 1보다 크고 Q보다 작은 정수임); 및
제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻는 과정;
을 포함하는, 이미지 처리 방법.
제 6 항에 있어서,
상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며,
뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하는 상기 단계는:
상기 복수의 원본 이미지에 대해 상기 다운-샘플링 처리를 실행하여 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 과정;
상기 제1 특징 행렬에 대해 상기 잔차 처리를 실행하여 제2 특징 행렬을 얻는 과정; 및
상기 제2 특징 행렬에 상기 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 과정 - 여기서, 상기 뉴럴 네트워크의 출력 결과는 상기 최적화 특징 행렬에 기초하여 얻어짐;
을 포함하는, 이미지 처리 방법.
제 7 항에 있어서,
제2 특징 행렬에 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 상기 단계는:
상기 다운-샘플링 처리 절차에서 얻어진 특징 행렬을 사용하여 상기 제2 특징 행렬에 대해 업-샘플링 처리를 실행하여 상기 최적화 특징 행렬을 얻는 과정을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지고, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 상기 제1 샘플 이미지의 신호대잡음비보다 높으며,
상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이며,
상기 뉴럴 네트워크의 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며,
상기 제1 네트워크 손실은, 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 상기 뉴럴 네트워크에 의해 처리함으로써 얻은 복수의 예측된 최적화 이미지와, 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지며,
상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵과, 상기 훈련 샘플에 포함된 심도 맵 사이의 차이에 기초하여 얻어지는, 이미지 처리 방법.
이미지 처리 방법에 있어서,
비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하는 단계 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및
뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정 - 여기서, 상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지고, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 제2 샘플 이미지의 신호대잡음비는 대응하는 상기 제1 샘플 이미지의 신호대잡음비보다 높은, 이미지 처리 방법.
제 10 항에 있어서,
뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지의 최적화 처리를 실행하여, 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하는 과정 - 여기서, 상기 최적화된 이미지의 신호대잡음비는 상기 원본 이미지보다 높음; 및
상기 복수의 최적화된 이미지를 후처리하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정;
을 포함하는, 이미지 처리 방법.
제 10 항에 있어서,
뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하는 과정을 포함하는, 이미지 처리 방법.
제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
최적화 처리를 위해 상기 복수의 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
복수의 원본 이미지에 대해, 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 및 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작들 중 하나 이상을 포함하는 전처리를 실행하여, 복수의 전처리된 원본 이미지를 얻는 과정을 추가로 포함하며,
뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 상기 단계는:
최적화 처리를 위해 상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 과정을 포함하는, 이미지 처리 방법.
제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크에 의해 실행된 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 1회 이상의 콘볼루션 처리 및 1회 이상의 비선형 매핑 처리 중 하나 이상을 포함하며,
뉴럴 네트워크에 의해 복수의 원본 이미지에 최적화 처리를 실행하는 상기 단계는:
상기 복수의 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻는 과정;
최적화 처리를 위해 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하거나, 또는 최적화 처리를 위해 전의 n개의 최적화 절차 그룹이 출력한 최적화 특징 행렬들을 제n+1 최적화 절차 그룹의 입력 정보로 사용하는 과정(n은 1보다 크고 Q보다 작은 정수임); 및
제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻는 과정;
을 포함하는, 이미지 처리 방법.
제 15 항에 있어서,
상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며,
뉴럴 네트워크에 의해 복수의 원본 이미지에 대해 최적화 처리를 실행하는 상기 단계는:
상기 복수의 원본 이미지에 상기 다운-샘플링 처리를 실행하여 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 과정;
상기 제1 특징 행렬에 상기 잔차 처리를 실행하여 제2 특징 행렬을 얻는 과정;
상기 제2 특징 행렬에 상기 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 과정;
을 포함하며, 상기 최적화 특징 행렬에 기초하여 상기 뉴럴 네트워크의 출력 결과가 얻어지는, 이미지 처리 방법.
제 16 항에 있어서,
제2 특징 행렬에 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 상기 단계는:
상기 다운-샘플링 처리 절차에서 얻어진 특징 행렬을 사용하여 상기 제2 특징 행렬에 대해 상기 업-샘플링 처리를 실행하여 상기 최적화 특징 행렬을 얻는 과정을 포함하는, 이미지 처리 방법.
제 10 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이며,
상기 뉴럴 네트워크의 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며,
상기 제1 네트워크 손실은 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 상기 뉴럴 네트워크에 의해 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고,
상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵들과 상기 훈련 샘플에 포함된 심도 맵들 사이의 차이에 기초하여 얻어지는, 이미지 처리 방법.
비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하는 취득 모듈 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및
뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해, 1회 이상의 콘볼루션 처리 및 1회 이상의 비선형 함수 매핑 처리를 포함하는 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 최적화 모듈;
을 포함하는, 이미지 처리 장치.
제 19 항에 있어서,
상기 최적화 모듈은 추가로,
상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하고, 여기서, 상기 최적화된 이미지의 신호대잡음비는 상기 원본 이미지보다 높으며,
상기 복수의 최적화된 이미지를 후처리하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는, 이미지 처리 장치.
제 19 항에 있어서,
상기 최적화 모듈은 추가로 상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하는, 이미지 처리 장치.
제 19 항 내지 제 22 항 중 어느 한 항에 있어서,
상기 최적화 모듈은 추가로 최적화 처리를 위해 상기 복수의 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는, 이미지 처리 방법.
제 19 항 내지 제 21 항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는,
상기 복수의 원본 이미지에 대해, 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 및 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작들 중 하나 이상을 포함하는 전처리를 실행하여, 복수의 전처리된 원본 이미지를 얻기 위한 전처리 모듈을 추가로 포함하며,
상기 최적화 모듈은 추가로 최적화 처리를 위해 상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는, 이미지 처리 장치.
제 19 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 최적화 모듈이 실행한 상기 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 1회 이상의 콘볼루션 처리 및 1회 이상의 비선형 매핑 처리 중 하나 이상을 포함하며,
상기 최적화 모듈은 추가로 원본 이미지를 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻고,
최적화 처리를 위해 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하거나, 또는 최적화 처리를 위해 전의 n개의 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여, 제Q 최적화 절차 그룹의 처리 후에 얻어진 최적화 특징 행렬에 기초하여 출력 결과를 얻으며, 여기서, n은 1보다 크고 Q보다 작은 정수이고, Q는 최적화 절차의 그룹 수인, 이미지 처리 장치.
제 13 항 또는 제 14 항 중 어느 한 항에 있어서,
상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며,
상기 최적화 모듈은:
상기 복수의 원본 이미지에 대해 상기 다운-샘플링 처리를 실행하여, 상기 복수의 원본 이미지의 특징 정보를 융합한 제1 특징 행렬을 얻는 제1 최적화 유닛;
상기 제1 특징 행렬에 대해 상기 잔차 처리를 실행하여 제2 특징 행렬을 얻는 제2 최적화 유닛; 및
상기 제2 특징 행렬에 대해 상기 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻는 제3 최적화 유닛;을 포함하며, 여기서, 상기 최적화 특징 행렬에 기초하여 상기 뉴럴 네트워크의 출력 결과가 얻어지는, 이미지 처리 장치.
제 25 항에 있어서,
상기 제3 최적화 유닛은 추가로 상기 다운-샘플링 처리 절차에서 얻어진 특징 행렬을 사용하여 상기 제2 특징 행렬에 대해 상기 업-샘플링 처리를 실행하여, 상기 최적화 특징 행렬을 얻는, 이미지 처리 장치.
제 19 항 내지 제 26 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지며, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며, 상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 상기 제1 샘플 이미지의 신호대잡음비보다 높으며,
상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이며,
상기 뉴럴 네트워크의 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며,
상기 제1 네트워크 손실은 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 상기 뉴럴 네트워크에 의해 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고,
상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵들과 상기 훈련 샘플에 포함된 심도 맵들 사이의 차이에 기초하여 얻어지는, 이미지 처리 장치.
비행 시간(TOF) 센서에 의해 동일한 노광 프로세스에서 수집되고 신호대잡음비가 제1 수치 값보다 낮은 복수의 원본 이미지를 취득하는 취득 모듈 - 여기서, 상기 복수의 원본 이미지 내 동일한 화소점들에 대응하는 위상 파라미터 값들은 상이함; 및
뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는 최적화 모듈을 포함하고,
상기 뉴럴 네트워크는 훈련 세트를 훈련하여 얻어지고, 상기 훈련 세트에 포함된 복수의 훈련 샘플들 각각은 복수의 제1 샘플 이미지, 상기 복수의 제1 샘플 이미지에 대응하는 복수의 제2 샘플 이미지, 및 상기 복수의 제2 샘플 이미지에 대응하는 심도 맵을 포함하며,
상기 제2 샘플 이미지 및 대응하는 제1 샘플 이미지는 동일 대상에 대한 이미지이고, 상기 제2 샘플 이미지의 신호대잡음비는 대응하는 상기 제1 샘플 이미지의 신호대잡음비보다 높은, 이미지 처리 장치.
제 28 항에 있어서,
상기 최적화 모듈은 추가로:
상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여 상기 복수의 원본 이미지의 복수의 최적화된 이미지를 출력하고, 여기서, 상기 최적화된 이미지의 신호대잡음비는 상기 원본 이미지보다 높으며,
상기 복수의 최적화된 이미지를 후처리하여 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는, 이미지 처리 장치.
제 28 항에 있어서,
상기 최적화 모듈은 추가로 상기 뉴럴 네트워크에 의해 상기 복수의 원본 이미지에 대해 최적화 처리를 실행하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 출력하는, 이미지 처리 장치.
제 28 항 내지 제 30 항 중 어느 한 항에 있어서,
상기 최적화 모듈은 추가로 최적화 처리를 위해 상기 복수의 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는, 이미지 처리 장치.
제 28 항 내지 제 30 항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는,
상기 복수의 원본 이미지에 대해, 이미지 교정, 이미지 보정, 임의의 두 개의 원본 이미지 사이의 선형 처리, 임의의 두 개의 원본 이미지 사이의 비선형 처리와 같은 동작들 중 하나 이상을 포함하는 전처리를 실행하여, 복수의 전처리된 원본 이미지를 얻기 위한 전처리 모듈을 추가로 포함하며,
상기 최적화 모듈은 추가로 최적화 처리를 위해 상기 복수의 전처리된 원본 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 복수의 원본 이미지에 대응하는 심도 맵을 얻는, 이미지 처리 장치.
제 28 항 내지 제 32 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크가 실행한 최적화 처리는 순차적으로 실행되는 Q개의 최적화 절차 그룹을 포함하고, 각 최적화 절차 그룹은 1회 이상의 콘볼루션 처리 및 1회 이상의 비선형 매핑 처리 중 하나 이상을 포함하며,
상기 최적화 모듈은 추가로:
상기 복수의 원본 이미지를 상기 제1 최적화 절차 그룹의 입력 정보로 사용하여, 상기 제1 최적화 절차 그룹의 처리 후에 상기 제1 최적화 절차 그룹에 대한 최적화 특징 행렬을 얻고;
최적화 처리를 위해 제n 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하거나, 또는 최적화 처리를 위해 전의 n개의 최적화 절차 그룹이 출력한 최적화 특징 행렬을 제n+1 최적화 절차 그룹의 입력 정보로 사용하여(n은 1보다 크고 Q보다 작은 정수임);
제Q 최적화 절차 그룹의 처리 후에 얻어진 상기 최적화 특징 행렬에 기초하여 출력 결과를 얻는, 이미지 처리 장치.
제 33 항에 있어서,
상기 Q개의 최적화 절차 그룹은 순차적으로 실행되는 다운-샘플링 처리, 잔차 처리, 및 업-샘플링 처리를 포함하며,
상기 최적화 모듈은:
상기 제1 특징 행렬에 상기 잔차 처리를 실행하여 제2 특징 행렬을 얻기 위한 제1 최적화 유닛;
상기 제2 특징 행렬에 상기 업-샘플링 처리를 실행하여 최적화 특징 행렬을 얻기 위한 제2 최적화 유닛 - 여기서, 상기 최적화 특징 행렬에 기초하여 상기 뉴럴 네트워크의 출력 결과가 얻어짐;
을 포함하는, 이미지 처리 장치.
제 28 항 내지 제 34 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크는 훈련에 의해 얻어진 생성적 적대 네트워크 중의 생성적 네트워크이며,
상기 뉴럴 네트워크의 네트워크 손실값은 제1 네트워크 손실과 제2 네트워크 손실의 가중합이며,
상기 제1 네트워크 손실은 상기 훈련 샘플에 포함된 복수의 제1 샘플 이미지를 상기 뉴럴 네트워크에 의해 처리함으로써 얻은 복수의 예측된 최적화 이미지와 상기 훈련 샘플에 포함된 복수의 제2 샘플 이미지 사이의 차이에 기초하여 얻어지고,
상기 제2 네트워크 손실은 상기 복수의 예측된 최적화 이미지를 후처리함으로써 얻어진 예측된 심도 맵들과 상기 훈련 샘플에 포함된 심도 맵들 사이의 차이에 기초하여 얻어지는, 이미지 처리 장치.
제 1 항 내지 제 18 항 중 어느 한 항의 방법을 실행하는 프로세서; 및
상기 프로세서에 의해 실행 가능 명령을 기억하는 메모리;
를 포함하는, 전자 장치.
컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서,
상기 컴퓨터 프로그램 명령이 상기 프로세서에 실행될 때, 제 1 항 내지 제 18 항 중 어느 한 항의 방법이 구현하는, 컴퓨터 판독 가능 기억 매체.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
상기 컴퓨터 판독 가능 코드가 전자 장치에 있어서 운용될 때, 상기 컴퓨터 판독 가능 코드는 상기 전자 장치 내의 프로세서에 의해 실행되어 제 1 항 내지 제 18 항 중 어느 한 항의 방법을 실행하는, 컴퓨터 프로그램.