KR20210028218A

KR20210028218A - 이미지 처리 방법과 장치, 전자 기기 및 저장 매체

Info

Publication number: KR20210028218A
Application number: KR1020217002881A
Authority: KR
Inventors: 샹첸 조우; 지아웨이 장; 시지에 렌
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2019-01-22
Filing date: 2019-10-28
Publication date: 2021-03-11
Also published as: WO2020151281A9; US20210319538A1; SG11202106271XA; JP2021530056A; CN109829863A; CN109829863B; JP7033674B2; TWI706379B; TW202029125A; WO2020151281A1

Abstract

본 발명은 이미지 처리 방법과 장치, 전자 기기 및 저장 매체에 관한 것이고, 상기 이미지 처리 방법은, 양안 이미지를 획득하는 단계 - 상기 양안 이미지는 동일한 시나리오에서 동일한 대상을 촬영한 제1 이미지 및 제2 이미지를 포함함 - ; 상기 양안 이미지의 제1 특징 맵, 상기 양안 이미지의 제1 깊이 맵, 및 상기 양안 이미지의 이미지 특징 및 깊이 특징을 융합한 제2 특징 맵을 획득하는 단계; 상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻는 단계; 및 상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻는 단계를 포함한다.

Description

이미지 처리 방법과 장치, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 발명은 출원번호가 201910060238.6이고, 출원일이 2019년 01월 22일인 중국 특허 출원에 기반해 제출하였으며, 상기 중국 특허 출원의 우선권을 주장하는 바, 당해 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.

본 발명은 이미지 처리 분야에 관한 것으로 이미지 처리 분야에 한정되지 않으며, 특히, 양안 이미지의 이미지 처리 방법과 장치, 전자 기기 및 저장 매체에 관한 것이다.

현재, 양안 시력은 스마트 폰, 무인 운전, 드론 및 로봇 등 분야에서 급속히 발전하고 있다. 이제는 양안 카메라를 그 어디서나 다 찾아볼 수 있고, 또한 양안 이미지에 기반한 관련 과제 연구도 더욱 발전하였으며, 예를 들어, 스테레오 매칭, 양안 이미지의 초해상도 및 양안 스타일 변환 등 분야에서도 응용되고 있다. 그러나 일반적으로, 응용 과정에서 카메라 흔들림, 아웃 포커싱 및 물체의 고속 이동 등 요소로 인해 이미지가 흐려지는 상황이 초래된다. 상기 상황에 대하여, 양안 디블러링 분야에는 극 소수의 연구 성과만 있고, 또한 최적화 방법은 성능 및 효율 면에서 만족스럽지 못하다.

본 발명의 실시예는 양안 이미지 정밀도를 향상시키는 이미지 처리 방법과 장치, 전자 기기 및 저장 매체를 제공한다.

본 발명의 제1 양태에 따르면 이미지 처리 방법을 제공을 제공하였고, 상기 이미지 처리 방법은, 양안 이미지를 획득하는 단계 - 상기 양안 이미지는 동일한 시나리오에서 동일한 대상을 촬영한 제1 이미지 및 제2 이미지를 포함함 - ; 상기 양안 이미지의 제1 특징 맵, 상기 양안 이미지의 제1 깊이 맵, 및 상기 양안 이미지의 이미지 특징 및 깊이 특징을 융합한 제2 특징 맵을 획득하는 단계; 상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻는 단계; 및 상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻는 단계를 포함한다.

본 발명의 제2 양태에 따르면 이미지 처리 장치를 제공하고, 상기 이미지 처리 장치는, 양안 이미지를 획득하도록 구성된 획득 모듈 - 상기 양안 이미지는 동일한 시나리오에서 동일한 대상을 촬영한 제1 이미지 및 제2 이미지를 포함함 - ; 상기 양안 이미지의 제1 특징 맵, 상기 양안 이미지의 제1 깊이 맵, 및 상기 양안 이미지의 이미지 특징 및 깊이 특징을 융합한 제2 특징 맵을 획득하도록 구성된 특징 추출 모듈; 상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻도록 구성된 특징 융합 모듈; 및 상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻도록 구성된 최적화 모듈을 포함한다.

본 발명의 제3 양태에 따르면 전자 기기를 제공하고, 상기 전자 기기는, 프로세서; 및 프로세서에 의해 실행 가능한 명령이 저장되는 메모리를 포함하며; 상기 프로세서는 제1 양태에 따른 임의의 하나의 방법을 실행하도록 구성된다.

본 발명의 제4 양태에 따르면 컴퓨터 프로그램 명령이 저장되는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 제1 양태에 따른 임의의 하나의 방법을 실행한다.

본 발명의 제5 양태에 따르면 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램 명령을 포함하며, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 제1 양태에 따른 임의의 하나의 방법을 실행한다.

본 발명의 실시예는, 양안 이미지를 입력으로 취하고, 양안 이미지에서의 제1 이미지 및 제2 이미지에 대해 각각 특징 추출 처리를 수행하여 대응되는 제1 특징 맵을 얻고, 양안 이미지에서 제1 이미지 및 제2 이미지의 깊이 맵을 획득할 수 있으며, 획득한 특징을 융합하여, 뷰 정보 및 깊이 정보를 포함하는 융합 특징을 얻을 수 있고, 상기 융합 특징에는 더 풍부한 이미지 정보를 포함하며 공간 변형 블러에 대해 견고성이 더 높고, 마지막으로, 융합 특징을 최적화 처리하여, 선명한 양안 이미지를 얻을 수 있다. 본 발명의 실시예는 양안 이미지에 대해 디블러링 처리하여, 이미지의 정밀도 및 해상도를 향상시킨다. 상기 일반적인 설명 및 하기 상세한 설명은 예시적이고 해석적일 뿐, 본 발명을 한정하지는 않는다는 것을 이해해야 한다. 이하 도면에 따라 예시적 실시예에 대해 상세히 설명하면, 본 발명의 다른 특징 및 양태가 명확해질 것이다.

하기의 도면은 명세서에 병합되어 명세서의 일부를 구성하고, 이들 도면은 본 발명에 부합되는 실시예를 도시하여, 명세서와 함께 본 발명의 기술적 해결수단을 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S20의 흐름도를 도시한다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법을 구현하는 신경망 모델의 블록도를 도시한다.
도 4는 본 발명의 실시예에 따른 문맥 감지 유닛의 구조 블록도를 도시한다.
도 5는 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S23의 흐름도를 도시한다
도 6은 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S20의 다른 흐름도를 도시한다.
도 7은 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S30의 흐름도를 도시한다.
도 8은 본 발명의 실시예에 따른 네트워크 모듈을 융합하는 블록도를 도시한다.
도 9는 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S31의 흐름도를 도시한다.
도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 도시한다.
도 11은 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 도시한다.
도 12는 본 발명의 실시예에 따른 전자 기기(1900)의 블록도를 도시한다.

이하, 도면을 참조하여 본 발명의 다양한 예시적 실시예, 특징 및 양태를 상세히 설명할 것이다. 도면에서 동일한 도면 부호는 기능이 동일하거나 유사한 컴포넌트를 나타낸다. 비록, 도면에 실시예의 다양한 양태를 도시하였지만, 달리 언급되지 않는 한, 도면은 비율에 따라 그려질 필요는 없다.

여기서, “예시적”이라는 단어는 “예, 실시예 또는 설명성”을 의미한다. 여기서, “예시적”으로 설명되는 임의의 실시예는 다른 실시예보다 우수하거나 바람직하게 해석할 필요는 없다.

본문에서, 용어 “및/또는”은, 관련 대상을 설명하는 관련 관계일 뿐이고, 예를 들어, A 및/또는 B는 A가 단독으로 존재, A와 B가 동시에 존재 및 B가 단독으로 존재 등과 같은 3가지 관계를 나타낼 수 있다. 또한, 본문에서 “적어도 하나”라는 용어는 복수에서 임의의 하나 또는 복수에서 적어도 두 가지의 임의의 조합을 나타내고, 예를 들어, A, B 및 C 중의 적어도 하나는, A, B 및 C로 구성된 집합에서 선택한 임의의 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명을 더 잘 설명하기 위해, 하기의 구체적인 실시형태에서 다양한 구체적인 세부사항이 제공된다. 본 발명의 분야에서 통상의 지식을 가진 자라면, 특정한 구체적인 세부사항이 없이도 본 발명은 여전히 실시될 수 있음을 이해해야 한다. 일부 구현예에서, 본 발명의 취지를 강조하기 위해, 본 발명의 분야에서 통상의 지식을 가진 자가 숙지하고 있는 방법, 수단, 컴포넌트 및 회로에 대해서는 상세히 설명하지 않는다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 도시하며, 여기서, 본 발명의 실시예의 이미지 처리 방법은 양안 이미지에 대해 디블러링 처리를 수행하여, 선명한 양안 이미지를 얻을 수 있다. 본 발명의 실시예의 방법은 양안 카메라, 양안 촬영 기기, 항공기 또는 다른 촬영 기능이 있는 기기에 응용될 수 있거나, 본 발명의 실시예는 예를 들어, 휴대폰 및 컴퓨팅 기기 등과 같은 이미지 처리 기능이 있는 전자 기기 또는 서버 기기에 응용될 수 있고, 본 발명은 이에 대해 구체적으로 한정하지 않으며, 양안 촬영 조작을 실행할 수 있거나, 이미지 처리 기능을 실행할 수 있기만 하면 본 발명의 실시예에 응용될 수 있다. 이하, 도 1과 결부하여 본 발명의 실시예를 설명한다.

도 1에 도시된 바와 같이, 본 발명의 실시예의 이미지 처리 방법은 하기와 같은 단계를 포함할 수 있다. 단계 S10에 있어서, 양안 이미지를 획득하고, 여기서, 상기 양안 이미지는 동일한 시나리오에서 동일한 대상을 촬영한 제1 이미지 및 제2 이미지를 포함한다.

상기와 같이, 본 발명의 실시예의 방법은 촬영 기기 또는 이미지 처리 기기에 응용될 수 있고, 상기 기기를 통해 양안 이미지를 획득할 수 있으며, 예를 들어, 촬영 기기를 통해 수집되거나 다른 기기를 통해 양안 이미지를 전송할 수 있다. 양안 이미지는 제1 이미지 및 제2 이미지를 포함할 수 있고, 실제 응용 과정에서, 양안 뷰를 수집하는 촬영 기기는 다양한 요소(예를 들어, 기기의 흔들림, 촬영 대상의 이동 등 상황)로 인해, 이미지가 흐려지거나 해상도가 낮은 상황을 초래하며, 본 발명의 실시예는 양안 이미지에 대해 디블러링 처리를 수행하여, 선명한 양안 이미지를 얻을 수 있다. 여기서, 촬영 기기의 구조가 상이함에 따라, 양안 이미지에서 제1 이미지 및 제2 이미지는 좌측 이미지 및 우측 이미지로 각각 구성될 수 있거나 상측 뷰 및 하측 뷰로 구성될 수 있고, 구체적으로, 양안 이미지를 수집하는 촬영 기기의 촬영 렌즈의 위치에 따라 결정할 수 있으며, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다.

단계 S20에 있어서, 상기 양안 이미지의 제1 특징 맵, 상기 양안 이미지의 제1 깊이 맵, 및 상기 양안 이미지의 이미지 특징 및 깊이 특징을 융합한 제2 특징 맵을 획득한다.

일부 실시예에서, 상기 양안 이미지는 동일한 시각에 하나의 대상을 수집하는 다양한 각도의 이미지일 수 있다. 이와 같이, 양안 이미지의 시각 차이를 결부하여 상기 대상의 깊이 값을 결정할 수 있다. 예를 들어, 양안 카메라를 이용하여 사람의 양안을 시뮬레이션하여 하나의 대상에 대해 다양한 각도에서 각각 이미지를 수집하고, 동일한 시각에 카메라가 수집한 2개의 이미지를 상기 양안 이미지로 사용할 수 있다. 양안 이미지를 얻은 후, 양안 이미지 중의 특징 맵, 깊이 맵 및 융합 특징과 깊이 정보의 특징 맵을 추출할 수 있다.

본 발명의 실시예는 신경망을 통해 상기 특징을 추출하는 기능을 구현할 수 있고, 예를 들어, 신경망은 컨볼루션 신경망일 수 있으며, 상기 신경망을 통해 제1 이미지 및 제2 이미지의 제1 특징 맵 및 제1 깊이 맵을 각각 추출할 수 있다. 신경망은 이미지 특징 추출 모듈 및 깊이 특징 추출 모듈을 포함할 수 있고, 양안 이미지를 이미지 특징 추출 모듈에 입력함으로써, 제1 이미지의 제1 특징 맵 및 제2 이미지의 제1 특징 맵을 각각 획득할 수 있으며, 양안 이미지를 깊이 특징 추출 모듈에 입력함으로써, 제1 이미지의 제1 깊이 맵 및 제2 이미지의 제1 깊이 맵을 획득할 수 있고, 아울러 제1 이미지의 이미지 특징 및 깊이 특징을 융합하는 제2 특징 맵, 및 제2 이미지의 이미지 특징 및 깊이 특징을 융합하는 제2 특징 맵을 각각 획득할 수도 있다. 제1 특징 맵은 예를 들어 각 픽셀 점의 픽셀 값과 같은 제1 이미지 및 제2 이미지의 이미지 특징을 나타낸다. 제1 깊이 맵은 예를 들어 각 픽셀 점의 깊이 정보와 같은 제1 이미지 및 제2 이미지의 깊이 특징을 나타낸다. 제2 특징 맵에는 이미지 특징 및 깊이 특징이 융합된다. 또한, 제1 깊이 맵, 제1 특징 맵 및 제2 특징 맵의 각 픽셀 점은 일대일로 대응된다.

이미지 특징 추출 모듈 및 깊이 특징 추출 모듈의 구조에 대해 본 발명의 실시예는 구체적으로 한정하지 않고, 여기서, 예를 들어, 컨볼루션 계층, 풀링 계층, 잔차 모듈 계층 또는 완전 연결 계층 등 구조를 포함할 수 있으며, 본 발명의 분야에서 통상의 지식을 가진 자라면 필요에 따라 설정할 수 있고, 특징 추출을 구현할 수 있으면 본 발명의 실시예로 사용될 수 있다. 각 특징을 획득한 후, 특징 융합 처리를 수행하여, 각 정보를 더 융합한 기초 위에서 더 정확한 특징 맵을 얻을 수 있다.

단계 S30에 있어서, 상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻는다.

본 발명의 실시예는 단계 S20에서 얻은 각 특징에 따라, 특징 융합 처리를 수행하고, 즉, 원 이미지 및 대응되는 제1 특징 맵, 제2 특징 맵과 제1 깊이 맵에 대해 특징 융합 처리를 수행하여 융합 특징을 얻으며, 상기 융합 특징에는 더 풍부한 이미지 정보(이미지 특징)를 포함하며 공간 변형의 블러에 대한 견고성이 더 높을 수 있다.

예를 들어, 본 발명의 실시예의 신경망은 융합 네트워크 모듈을 포함할 수 있고, 상기 융합 네트워크 모듈은 상기 단계 S30을 수행할 수 있으며, 제1 이미지의 제1 특징 맵, 제1 깊이 맵 및 제2 특징 맵을 상기 융합 네트워크 모듈에 입력함으로써, 제1 이미지의 이미지 정보 및 깊이 정보를 융합하는 제1 이미지의 융합 특징 맵을 얻을 수 있다. 이에 따라, 제2 이미지의 제1 특징 맵, 제1 깊이 맵 및 제2 특징 맵을 융합 네트워크 모듈에 입력함으로써, 제2 이미지의 이미지 정보 및 깊이 정보를 융합하는 제2 이미지의 융합 특징 맵을 얻을 수 있다. 얻은 융합 특징 맵을 통해 더 선명한 최적화 뷰를 얻을 수 있다. 여기서, 융합 특징 모듈의 구조에 대해서도 본 발명의 실시예는 구체적으로 한정하지 않고, 여기서, 예를 들어, 컨볼루션 계층, 풀링 계층, 잔차 모듈 계층 또는 완전 연결 계층 등 구조를 포함할 수 있으며, 본 발명의 분야에서 통상의 지식을 가진 자라면 필요에 따라 설정할 수 있고, 특징 융합을 구현할 수 있으면 본 발명의 실시예로 사용될 수 있다.

특징 맵 및 깊이 맵의 융합을 수행할 경우, 특징 워프 후의 특징 접합 방식을 통해 융합을 구현할 수 있고, 특징 워프 후의 특징 가중치 평균 등 융합 계산에 기반하여 특징 융합을 구현할 수도 있다. 특징 융합에는 다양한 방식이 있으며, 여기서 더 이상 설명하지 않는다.

단계 S40에 있어서, 상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻는다. 여기서, 본 발명의 실시예는 컨볼루션 처리 조작을 통해 제1 융합 특징 맵 및 제2 융합 특징 맵에 대해 최적화를 수행하고, 컨볼루션 조작을 통해 각 융합 특징 맵 중의 유효 정보를 이용하여, 정확도가 더 높은 최적화 뷰를 얻을 수 있으며, 본 발명의 실시예는 양안 이미지의 디블러링화를 구현함으로써, 뷰의 해상도를 증가시킬 수 있다.

여기서, 본 발명의 실시예의 신경망은 최적화 모듈을 더 포함할 수 있고, 제1 이미지의 제1 융합 특징 맵 및 제2 이미지의 제1 융합 특징 맵은 최적화 모듈에 각각 입력될 수 있고, 최적화 모듈의 적어도 1회의 컨볼루션 처리 조작을 통해, 각각 2개의 이미지의 제1 융합 특징 맵에 대해 융합 및 최적화를 수행하여, 최적화된 후 얻은 융합 특징 맵의 스케일은 원래 양안 이미지의 스케일에 대응되며, 원 양안 이미지의 해상도를 향상시킬 수 있다.

이하, 각 과정을 각각 상세히 설명한다. 상기와 같이, 양안 이미지를 획득한 후 양안 이미지 중의 제1 이미지 및 제2 이미지에 대해 각각 특징 추출 처리를 수행할 수 있다. 도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S20의 흐름도를 도시한다. 여기서, 상기 양안 이미지의 제1 특징 맵을 획득하는 단계는 하기와 같은 단계를 포함할 수 있다.

단계 S21에 있어서, 상기 제1 이미지 및 제2 이미지에 대해 각각 제1 컨볼루션 처리를 처리하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻는다. 본 발명의 실시예에서, 신경망은 이미지 특징 추출 모듈(디블러링 네트워크 모듈)을 포함할 수 있고, 상기 이미지 특징 추출 모듈을 사용하여 단계 S20을 실행하여, 양안 이미지의 제1 특징 맵을 얻을 수 있다. 도 3은 본 발명의 실시예에 따른 이미지 처리 방법을 구현하는 신경망 모델의 블록도를 도시한다. 여기서, 양안 이미지를 이미지 특징 추출 모듈(A)에 각각 입력하여, 양안 이미지에서 제1 이미지에 따라 제1 이미지의 제1 특징 맵(F^L)을 얻고, 제2 이미지에 따라 제2 이미지의 제1 특징 맵(F^R)을 얻을 수 있다.

여기서, 먼저 제1 이미지 및 제2 이미지에 대해 각각 제1 컨볼루션 처리를 수행할 수 있고, 상기 제1 컨볼루션 처리는 적어도 하나의 컨볼루션 유닛을 이용하여 상응한 컨볼루션 처리를 수행할 수 있다. 예를 들어, 복수의 컨볼루션 유닛을 이용하여 순차적으로 상기 제1 컨볼루션 조작을 수행할 수 있고, 여기서, 이전 컨볼루션 유닛의 출력은 다음 컨볼루션 유닛의 입력으로 사용되며, 제1 컨볼루션 처리를 통해, 2개 이미지의 제1 중간 특징 맵을 얻을 수 있고, 여기서, 제1 중간 특징 맵은 대응되는 이미지의 이미지 특징 정보를 각각 포함할 수 있다. 본 실시예에서, 제1 컨볼루션 처리는 표준 컨볼루션 처리를 포함할 수 있고, 표준 컨볼루션 처리는 컨볼루션 커널을 이용하거나 설정된 컨볼루션 스텝 길이에 따라 실행되는 컨볼루션 조작이며, 각 컨볼루션 유닛은 상응한 컨볼루션 커널을 이용하여 컨볼루션을 수행하거나 기설정된 스텝 길이에 따라 컨볼루션을 수행하여, 최종적으로 제1 이미지의 이미지 특징 정보를 특성화하는 제1 중간 특징 맵 및 제2 이미지의 이미지 특징 정보를 특성화하는 제1 중간 특징 맵을 얻는다. 여기서, 컨볼루션 커널은 1*1인 컨볼루션 커널일 수 있고, 3*3인 컨볼루션 커널일 수도 있으며, 본 발명의 분야에서 통상의 지식을 가진 자는 필요에 따라 선택하고 설정할 수 있고, 본 발명의 실시예에서 사용되는 컨볼루션 커널은 작은 컨볼루션 커널일 수 있으므로, 신경망의 구조를 간략화하고, 아울러 이미지 처리의 정밀도 수요를 만족시킬 수 있다.

단계 S22에 있어서, 상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 각각 제2 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 멀티 스케일의 제2 중간 특징 맵을 얻는다.

본 발명의 실시예에서의 특징 추출 네트워크 모듈에는 문맥 감지 유닛을 포함할 수 있고, 제1 중간 특징 맵을 획득한 후, 제1 중간 맵을 문맥 감지 유닛에 입력하여, 멀티 스케일의 제2 중간 특징 맵을 얻을 수 있다.

본 발명의 실시예의 문맥 감지 유닛은 제1 이미지의 제1 중간 특징 맵 및 제2 이미지의 제1 중간 특징 맵에 제2 컨볼루션 처리를 수행하여, 복수의 다양한 스케일의 제2 중간 특징 맵을 얻을 수 있다.

즉, 제1 컨볼루션 처리를 수행한 후, 획득한 제1 중간 특징 맵을 문맥 감지 유닛에 입력할 수 있고, 본 발명의 실시예의 문맥 감지 유닛은 제1 중간 특징 맵에 대해 제2 컨볼루션 처리를 수행할 수 있으며, 상기 과정은 순환 처리의 방식이 필요 없이 제1 중간 특징 맵에 대응되는 멀티 스케일의 제2 중간 특징 맵을 얻을 수 있다.

도 4는 본 발명의 실시예에 따른 문맥 감지 유닛의 구조 블록도를 도시한다. 여기서, 문맥 감지 유닛을 통해 제1 이미지의 제1 중간 특징 맵 및 제2 이미지의 제1 중간 특징 맵에 대해 특징 융합 및 최적화 처리를 추가적으로 수행하여, 동시에 다양한 스케일의 제2 중간 특징 맵을 얻을 수 있다.

여기서, 제2 컨볼루션 처리는 공간 컨볼루션 처리일 수 있고, 여기서, 다양한 공간률을 사용해 제1 중간 특징 맵에 대해 각각 공간 컨볼루션을 수행하여, 상응한 스케일의 제2 중간 특징 맵을 얻을 수 있으며, 예를 들어, 도 4에서는 d₁, d₂, d₃ 및 d₄ 4개의 다양한 제1 공간률을 사용해 제1 중간 특징 맵에 대해 제2 컨볼루션 처리를 수행하여, 4개의 다양한 스케일의 제2 중간 특징 맵을 얻을 수 있고, 예를 들어, 각 제2 중간 특징 맵의 스케일은 2배 변화의 관계일 수 있으며, 본 발명은 이에 대해 구체적으로 한정하지 않고, 본 발명의 분야에서 통상의 지식을 가진 자라면 필요에 따라 다양한 제1 공간률을 선택해 대응되는 제2 컨볼루션을 수행하여, 상응한 제2 중간 특징 맵을 얻을 수 있으며, 또한, 공간률의 개수에 대해 본 발명도 구체적으로 한정하지 않는다. 공간 컨볼루션의 공간률은 공간 컨볼루션의 확장률(dilated rates)로도 지칭될 수 있다. 공간률은 공간 컨볼루션에서 컨볼루션 커널이 데이터를 처리할 때의 각 값 사이의 간격을 정의한다.

상기 과정에 따라, 즉, 제1 이미지의 제1 중간 특징 맵에 각각 대응되는 멀티 스케일의 제2 중간 특징 맵, 및 제2 이미지의 제1 중간 특징 맵에 각각 대응되는 멀티 스케일의 제2 중간 특징 맵을 각각 얻을 수 있다. 얻은 제2 중간 특징 맵은 제1 중간 특징 맵이 다양한 스케일에서의 특징 정보를 포함할 수 있어, 후속 처리 과정에 도움이 된다.

단계 S23에 있어서, 상기 제1 이미지 및 제2 이미지의 각 스케일의 제2 중간 특징 맵에 대해 각각 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 특징 맵을 얻는다.

제1 이미지의 다양한 스케일에 대응되는 제2 중간 특징 맵, 및 제2 이미지의 다양한 스케일에 대응되는 제2 특징 맵을 얻은 후, 문맥 감지 유닛을 통해 다양한 스케일의 제2 중간 특징 맵에 대해 잔차 처리를 수행하여, 제1 이미지에 대응되는 제1 특징 맵, 및 제2 이미지에 대응되는 제1 특징 맵을 얻을 수 있다.

도 5는 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S23의 흐름도를 도시하며, 여기서, 상기 제1 이미지 및 제2 이미지의 각 스케일의 제2 중간 특징 맵에 대해 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 특징 맵을 얻는 단계(단계 S23)는 하기와 같은 단계를 포함한다.

단계 S231에 있어서, 상기 제1 이미지의 멀티 스케일의 제2 중간 특징 맵을 각각 연결하여 제1 연결 특징 맵을 얻고, 제2 이미지의 멀티 스케일의 제2 중간 특징 맵을 연결하여 제2 연결 특징 맵을 얻는다.

본 발명의 실시예에서, 제1 중간 특징 맵에 대해 멀티 스케일 처리를 수행한 후, 획득한 멀티 스케일의 제2 중간 특징 맵에 대해 연결 처리를 수행하여, 대응되는 다양한 스케일 정보를 포함하는 특징 맵을 얻을 수 있다.

일부 실시예에서, 제1 이미지의 각각의 스케일의 제2 중간 특징 맵에 대해 연결 처리를 수행하여, 제1 연결 특징 맵을 얻을 수 있고, 예를 들어, 채널 정보의 방향에서 각각의 제2 중간 맵에 각각 연결될 수 있다. 동시에, 제2 이미지의 각각의 스케일의 제2 중간 특징 맵에 대해 연결 처리를 수행하여, 제2 연결 특징 맵을 더 얻을 수 있고, 예를 들어, 채널 정보의 방향에서 각각의 제2 중간 맵에 연결될 수 있으므로, 제1 이미지 및 제2 이미지의 제2 중간 특징 맵의 특징을 융합할 수 있다.

단계 S232에 있어서, 상기 제1 연결 특징 맵 및 제2 연결 특징 맵에 대해 각각 컨볼루션 처리를 수행한다.

단계 S231의 처리 결과에 기반하여, 컨볼루션 유닛을 이용하여 제1 연결 특징 맵 및 제2 연결 특징 맵에 대해 각각 컨볼루션 처리을 수행할 수 있고, 상기 과정은 각각의 제2 중간 특징 맵 내의 특징을 더 융합할 수 있으며, 또한, 컨볼루션 처리 후의 연결 특징 맵의 스케일은 제1 중간 특징 맵의 스케일과 동일하다.

일부 실시예에서, 문맥 감지 유닛에는 특징을 인코딩하는 컨볼루션 유닛을 더 포함할 수 있고, 여기서, 연결 처리하여 얻은 제1 연결 특징 맵 또는 제2 연결 특징 맵을 상기 컨볼루션 유닛에 입력해 상응한 컨볼루션 처리를 수행하여, 제1 연결 특징 맵 또는 제2 연결 특징 맵의 특징 융합을 구현할 수 있는 동시에, 상기 컨볼루션 유닛을 통해 컨볼루션 처리 후 얻은 제1 특징 맵은 제1 이미지의 스케일과 매칭되고, 컨볼루션 유닛을 통해 컨볼루션 처리 후의 제2 특징 맵은 제2 이미지의 스케일과 매칭된다. 제1 특징 맵 및 제2 특징 맵은 예를 들어, 픽셀 점의 픽셀 값 등 정보와 같은 제1 이미지 및 제2 이미지의 이미지 특징을 구현할 수 있다.

여기서, 상기 컨볼루션 유닛은 적어도 하나의 계층의 컨볼루션 계층일 수 있고, 각 층의 컨볼루션 계층은 다양한 컨볼루션 커널을 이용하여 컨볼루션 조작을 수행할 수 있거나, 동일한 컨볼루션 커널을 이용하여 컨볼루션 조작을 수행할 수도 있으며, 본 발명의 분야에서 통상의 지식을 가진 자는 스스로 선택할 수 있고, 본 발명은 이에 대해 한정하지 않는다.

단계 S233에 있어서, 상기 제1 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제1 연결 특징 맵에 대해 가산 처리를 수행하여, 상기 제1 이미지의 제1 특징 맵을 얻고, 상기 제2 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제2 연결 특징 맵에 대해 가산 처리를 수행하여, 상기 제2 이미지의 제1 특징 맵을 얻는다.

단계 S232의 처리 결과에 기반하여, 제1 이미지의 제1 중간 특징 맵 및 컨볼루션 처리하여 얻은 제1 연결 특징 맵에 대해 가산 처리를 수행하여, 예를 들어, 요소를 대응되게 추가하여, 제1 이미지의 제1 특징 맵을 더 얻을 수 있고, 이에 따라, 제2 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제2 연결 특징 맵에 대해 가산 처리를 수행하여, 제2 이미지의 제1 특징 맵을 얻을 수 있다.

상기 배치를 통해, 디블러링 네트워크 모듈의 전 과정을 구현할 수 있고, 제1 이미지 및 제2 이미지의 특징 정보의 최적화 및 추출 과정을 구현할 수 있으며, 본 발명의 실시예는 다중 분기의 문맥 감지 유닛을 도입함으로써, 네트워크 모델을 증가시키지 않고, 풍부한 멀티 스케일 특징을 획득할 수 있고, 작은 컨볼루션 커널을 통해 디블러링 신경망을 디자인하여, 최종적으로, 공간 점용이 작고 양안 디블러링이 빠른 신경망 모델을 얻을 수 있다.

또한, 단계 S20은 제1 이미지 및 제2 이미지의 제1 깊이 맵을 획득하는 단계를 포함할 수 있다. 도 6은 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S20의 다른 흐름도를 도시한다. 여기서, 제1 이미지 및 제2 이미지의 제1 깊이 맵을 획득하는 단계는 하기와 같은 단계를 포함할 수 있다.

단계 S201에 있어서, 상기 제1 이미지 및 제2 이미지를 조합하여, 조합 뷰를 형성한다.

본 발명의 실시예에서, 신경망은 깊이 특징 추출 모듈(B)을 더 포함할 수 있다(도 3에 도시된 바와 같음). 상기 깊이 특징 추출 모듈을 통해 예를 들어, 제1 깊이 맵과 같은 제1 이미지 및 제2 이미지의 깊이 정보를 획득할 수 있고, 상기 제1 깊이 맵은 매트릭스의 형태으로 체현될 수 있으며, 매트릭스 중의 요소는 제1 이미지 또는 제2 이미지에 대응되는 픽셀 점의 깊이 값을 나타낼 수 있다.

우선, 제1 이미지 및 제2 이미지를 조합하여, 조합 뷰를 형성한 후 깊이 추출 모듈에 입력할 수 있다. 여기서, 이미지 조합 방식은 2개의 이미지를 상하 위치의 방향으로 직접 연결할 수 있고, 다른 실시예에서, 좌우 방향의 조합 방식을 사용하여 상기 2개의 이미지를 연결할 수도 있으며, 본 발명은 이에 대해 구체적으로 한정하지 않는다.

단계 S202에 있어서, 상기 조합 뷰에 대해 적어도 하나의 계층의 제3 컨볼루션 처리를 수행하여 제1 중간 깊이 특징 맵을 얻는다.

조합 뷰를 얻은 후, 상기 조합 뷰에 대한 컨볼루션 처리를 수행할 수 있고, 여기서, 적어도 1회의 제3 컨볼루션 처리를 수행할 수 있으며, 마찬가지로, 상기 제3 컨볼루션 처리도 적어도 하나의 컨볼루션 유닛을 포함할 수 있고, 여기서, 각 컨볼루션 유닛은 제3 컨볼루션 커널을 이용하여 컨볼루션을 수행하거나, 제3 기설정 스텝 길이에 따라 컨볼루션을 수행하여, 최종적으로, 조합 뷰의 깊이 정보를 특성화하는 제1 중간 깊이 맵을 얻을 수 있다. 여기서, 제3 컨볼루션 커널은 1*1인 컨볼루션 커널일 수 있고, 3*3인 컨볼루션 커널일 수도 있으며, 제3 기설정 스텝 길이는 2일 수 있고, 본 발명의 분야에서 통상의 지식을 가진 자는 필요에 따라 선택하고 설정할 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다. 여기서, 본 발명의 실시예에서 사용되는 컨볼루션 커널은 작은 컨볼루션 커널일 수 있으므로, 신경망의 구조를 간략화하고, 아울러 이미지 처리의 정밀도 수요를 만족시킬 수 있다.

단계 S203에 있어서, 상기 제1 중간 깊이 특징 맵에 대해 제4 컨볼루션 처리를 수행하여, 멀티 스케일의 제2 중간 깊이 특징 맵을 얻는다.

나아가, 본 발명의 실시예의 깊이 추출 모듈은 제1 중간 특징 맵의 멀티 스케일 특징을 추출하는 문맥 감지 유닛을 포함할 수도 있고, 즉, 제1 중간 특징 맵을 얻은 후, 문맥 감지 유닛을 사용하여 다양한 스케일의 제2 중간 깊이 특징 맵을 얻을 수 있다. 여기서, 깊이 추출 모듈 중의 문맥 감지 유닛은, 다양한 제2 공간률을 사용하여 제1 중간 특징 맵에 대해 제4 컨볼루션 처리를 수행할 수 있고, 예를 들어, 도 4에서는 d₁, d₂, d₃ 및 d₄ 4개의 상이한 제2 공간률을 사용해 제1 중간 특징 맵에 대해 제2 컨볼루션 처리를 수행하여, 4개의 상이한 스케일의 제2 중간 깊이 특징 맵을 얻을 수 있다. 예를 들어, 각 제2 중간 깊이 특징 맵의 스케일은 2배 변화의 관계일 수 있고, 본 발명은 이에 대해 구체적으로 한정하지 않으며, 본 발명의 분야에서 통상의 지식을 가진 자라면 필요에 따라 다양한 공간률을 선택해 대응되는 제4 컨볼루션 처리를 수행하여, 상응한 제2 중간 깊이 특징 맵을 얻을 수 있고, 또한, 공간률의 개수에 대해 본 발명도 구체적으로 한정하지 않는다. 본 발명의 실시예의 제1 공간률 및 제2 공간률은 동일할 수 있고, 다를 수도 있으며, 본 발명은 이에 대해 구체적으로 한정하지 않는다.

즉, 단계 S203에서, 제1 이미지의 제1 중간 깊이 특징 맵 및 제2 이미지의 제1 중간 깊이 특징 맵을 문맥 감지 유닛에 각각 입력하고, 문맥 감지 유닛을 사용하여 상이한 제2 공간률을 통해 각 제1 중간 깊이 특징 맵에 대해 공간 컨볼루션 처리를 수행하여, 제1 이미지의 제1 중간 특징 맵에 대응되는 멀티 스케일의 제2 중간 특징 맵, 및 제2 이미지의 제1 중간 특징 맵에 대응되는 멀티 스케일의 제2 중간 특징 맵을 얻을 수 있다.

단계 S204에 있어서, 상기 제2 중간 깊이 특징 및 상기 제1 중간 깊이 맵에 대해 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지의 제1 깊이 맵을 각각 얻고, 임의의 하나의 계층의 제1 컨볼루션 처리에 따라 상기 제2 특징 맵을 획득한다.

본 발명의 실시예에서, 단계 S203의 처리 결과에 기반하여, 제1 이미지의 각 스케일의 제2 중간 깊이 특징 맵을 더 연결하고, 예를 들어, 통로 방향에서 연결한 다음, 연결하여 얻은 연결 깊이 맵에 대해 컨볼루션 처리를 수행할 수 있고, 상기 과정은 각각의 제2 중간 깊이 특징 맵 내의 깊이 특징을 더 융합할 수 있으며, 또한, 컨볼루션 처리 후의 연결 깊이 맵의 스케일은 제1 이미지의 제1 중간 깊이 특징 맵의 스케일과 동일하다. 이에 따라, 제2 이미지의 각 스케일의 제2 중간 깊이 특징 맵을 연결하고, 예를 들어, 통로 방향에서 연결한 다음, 연결하여 얻은 연결 깊이 맵에 대해 컨볼루션 처리를 수행할 수 있고, 상기 과정은 각각의 제2 중간 깊이 특징 맵 내의 깊이 특징을 더 융합할 수 있으며, 또한, 컨볼루션 처리 후의 연결 깊이 맵의 스케일은 제2 이미지의 제1 중간 깊이 특징 맵의 스케일과 동일하다.

다음, 컨볼루션 처리 후의 특징 맵 및 대응되는 제1 중간 깊이 특징 맵을 가산 처리하여, 예를 들어, 요소를 대응되게 추가하여, 다음, 상기 결과에 대해 컨볼루션 처리를 수행하여, 제1 이미지 및 제2 이미지의 제1 깊이 맵을 각각 얻을 수 있다.

상기 배치를 통해, 즉, 깊이 추출 모듈의 전반 과정을 구현할 수 있고, 제1 이미지 및 제2 이미지의 깊이 정보의 추출 및 최적화의 과정을 구현할 수 있으며, 본 발명의 실시예는 멀티 분기의 문맥 감지 유닛을 도입함으로써, 네트워크 모델을 증가시키지 않고, 풍부한 멀티 스케일의 깊이 특징을 획득할 수 있으며, 네트워크 구조가 간단하고 실행 속도가 빠른 특징이 있다.

여기서 설명해야 할 것은, 단계 S20에서 상기 제1 이미지 및 제2 이미지의 이미지 정보 및 깊이 정보를 포함하는 제2 특징 맵을 더 획득할 수 있고, 상기 과정은 깊이 추출 모듈의 처리 과정에 기반하여 획득할 수 있으며, 깊이 추출 모듈에서 적어도 1회의 제3 컨볼루션 처리를 수행할 수 있고, 여기서, 적어도 하나의 계층의 제3 컨볼루션 처리에 기반하여 융합 이미지 특징의 깊이 맵을 얻을 수 있으므로, 제1 이미지의 이미지 특징 및 깊이 특징을 융합하는 제2 특징 맵, 및 제2 이미지의 이미지 특징 및 깊이 특징을 융합하는 제2 특징 맵을 획득할 수 있다.

단계 S20을 수행한 후, 얻은 각 특징에 대해 특징 융합 처리를 수행할 수 있고, 도 7은 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S30의 흐름도를 도시하며, 여기서, 상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻는 단계(단계 S30)는 하기와 같은 단계를 포함한다.

단계 S31에 있어서, 상기 양안 이미지에서 제1 이미지의 제1 깊이 맵에 따라 제2 이미지에 대해 보정 처리를 수행하여, 상기 제1 이미지의 마스크 맵을 획득하고, 상기 양안 이미지에서 제2 이미지의 제1 깊이 맵에 따라 제1 이미지에 대해 보정 처리를 수행하여, 상기 제2 이미지의 마스크 맵을 획득한다.

본 발명의 실시예의 신경망은 상기 특징 정보에 대해 융합 처리를 수행하는 융합 네트워크 모듈을 더 포함할 수 있고, 도 8은 본 발명의 실시예에 따른 네트워크 모듈을 융합하는 블록도를 도시하며, 여기서, 제1 이미지, 제1 이미지의 제1 깊이 맵, 제1 이미지의 제1 특징 맵 및 제1 이미지의 제2 특징 맵의 융합 처리 결과에 따라, 제1 이미지의 융합 특징 맵을 얻고, 제2 이미지, 제2 이미지의 제1 깊이 맵, 제2 이미지의 제1 특징 맵 및 제2 이미지의 제2 특징 맵의 융합 처리 결과에 따라, 제2 이미지의 융합 특징 맵을 얻을 수 있다.

일부 실시예에서, 상기와 같이, 본 발명의 신경망은 특징 융합 모듈(C)을 더 포함할 수 있고, 상기 특징 융합 모듈(C)을 통해 특징 정보에 대해 융합 및 최적화를 더 수행할 수 있다.

먼저, 본 발명의 실시예는 양안 이미지에서 각 이미지에 대응되는 보정 맵 및 마스크 맵에 따라, 양안 이미지의 각 이미지의 중간 특징 맵을 얻을 수 있다. 즉, 제1 이미지의 보정 맵 및 마스크 맵을 이용하여 제1 이미지의 중간 융합 특징을 얻고, 제2 이미지의 보정 맵 및 마스크 맵을 이용하여 제2 이미지의 중간 융합 특징을 얻을 수 있다. 여기서, 보정 맵은 깊이 정보를 이용하여 보정 처리한 후의 특징 맵을 지칭한다. 마스크 맵은 이미지의 제1 특징 맵에서 특징 정보의 허용도를 나타낸다. 이하, 보정 맵 및 마스크 맵의 획득 과정을 설명한다.

도 9는 본 발명의 실시예에 따른 이미지 처리 방법에서 단계 S31의 흐름도를 도시한다. 여기서, 상기 양안 이미지에서 제1 이미지의 제1 깊이 맵에 따라 제2 이미지에 대해 보정 처리를 수행하여, 상기 제1 이미지의 마스크 맵을 획득하고, 상기 양안 이미지에서 제2 이미지의 제1 깊이 맵에 따라 제1 이미지에 대해 보정 처리를 수행하여, 상기 제2 이미지의 마스크 맵을 획득하는 단계는 하기와 같은 단계를 포함한다.

단계 S311에 있어서, 양안 이미지에서 제1 이미지의 제1 깊이 맵을 사용하여 제2 이미지에 대해 워프 처리를 수행하여, 상기 제1 이미지의 보정 맵을 얻고, 상기 제2 이미지의 제1 깊이 맵을 사용하여 상기 제1 이미지에 대해 워프 처리를 수행하여, 상기 제2 이미지의 보정 맵을 얻는다.

본 발명의 실시예에서, 제1 이미지의 깊이 특징을 이용하여 제2 이미지의 워프(warp) 처리를 수행하여, 제1 이미지의 보정 맵을 얻을 수 있다. 및 제2 이미지의 깊이 특징을 이용하여 제2 이미지의 워프(warp) 처리를 수행하여, 제2 이미지의 보정 맵을 얻을 수 있다.

여기서, 워프 처리를 수행하는 과정은 하기의 일반식을 통해 구현될 수 있다.

제1 깊이 특징 = 베이스라인 * 초점 거리 / 픽셀 오프셋 특징;

여기서, 베이스라인은 획득한 제1 이미지 및 제2 이미지의 2개의 렌즈 사이의 거리를 나타내고, 초점 거리는 2개의 렌즈의 초점 거리를 지칭하며, 상기 일반식을 통해 제1 이미지의 제1 깊이 맵에 따라 상기 제1 깊이 맵에 대응되는 제1 픽셀 오프셋 특징을 결정하고, 제2 이미지의 제1 깊이 맵에 따라 상기 제1 깊이 맵에 대응되는 제2 픽셀 오프셋 특징을 결정할 수 있다. 여기서 픽셀 오프셋 특징은 제1 깊이 맵에서 각 픽셀 점의 깊이 특징에 대응되는 픽셀 값의 편차를 지칭하고, 본 발명의 실시예는 상기 편차를 이용하여 이미지에 대해 워프 처리를 수행할 수 있고, 즉 제1 이미지의 제1 깊이 맵에 대응되는 제1 픽셀 오프셋 특징을 이용하여 제2 이미지에 작용하여, 제1 이미지의 보정 맵을 얻고, 제2 이미지의 제1 깊이 맵에 대응되는 제2 픽셀 오프셋 특징을 이용하여 제1 이미지에 작용하여, 제2 이미지의 보정 맵을 얻을 수 있다.

여기서, 제1 이미지의 제1 깊이 맵에 대응되는 제1 픽셀 오프셋 량을 얻은 후, 상기 제1 픽셀 오프셋 량에 따라 제2 이미지를 워프 처리하고, 즉, 제2 이미지의 픽셀 특징을 제1 픽셀 오프셋 량에 추가하여, 제1 이미지의 보정 맵을 얻을 수 있다. 상기 제2 픽셀 오프셋 량에 따라 제1 이미지를 워프 처리하고, 즉 제1 이미지의 대응 픽셀 특징을 제2 픽셀 오프셋 량에 추가하여, 제1 이미지의 보정 맵을 얻을 수 있다.

단계 S312에 있어서, 양안 이미지에서 각 이미지와, 대응되는 보정 맵 사이의 차이에 따라, 상기 제1 이미지 및 제2 이미지의 마스크 맵을 각각 얻는다.

각각의 이미지의 보정 맵을 얻은 후, 각 이미지 및 대응되는 보정 맵을 차이 값 처리하고, 상기 차이 값 처리의 결과를 이용하여 마스크 맵을 얻을 수 있다.

여기서, 제1 이미지와 제1 이미지의 보정 맵 사이의 차이 값은

로 나타낼 수 있고, 제2 이미지와 제2 이미지의 보정 맵 사이의 차이 값은

로 나타낼 수 있으며, 여기서,

는 제1 이미지와 제1 이미지의 보정 맵 사이의 제1 차이 값의 보정 맵이고,

는 제1 이미지를 나타내며,

는 제1 이미지의 제1 깊이 맵을 이용하여 제2 이미지의 워프 처리 후 얻은 보정 맵을 나타낸다.

는 제2 이미지와 제2 이미지의 보정 맵 사이의 제2 차이 값을 나타내고,

는 제2 이미지를 나타내며,

는 제2 이미지를 이용한 보정 맵을 나타낸다.

상기 과정을 통해, 제1 이미지와 제1 이미지의 보정 맵 사이의 차이 값을 얻을 수 있고, 예를 들어, 제1 차이 값 및 제2 차이 값을 얻을 수 있으며, 상기 제1 차이 값 및 제2 차이 값은 각각 매트릭스 형태일 수 있고, 제1 이미지 및 제2 이미지의 각 픽셀 점의 편차를 나타낼 수 있다. 이 경우, 특징 융합 모듈 중의 마스크 네트워크 모듈을 통해 상기 차이 값의 최적화 조작을 수행하고, 제1 이미지 및 제2 이미지의 특징 정보에 대응되는 허용도 매트릭스를 출력할 수 있으며, 즉, 대응되는 마스크 맵을 출력할 수 있다.

여기서, 상기 제1 이미지와 제1 이미지의 보정 맵 사이의 제1 차이 값에 기반하여, 제1 이미지의 마스크 맵을 획득하고, 상기 제2 이미지와 제2 이미지의 보정 맵 사이의 제2 차이 값에 기반하여, 제2 이미지의 마스크 맵을 획득할 수 있으며, 상기 제1 이미지의 마스크 맵은 상기 제1 이미지의 제1 특징 맵 중의 특징 정보의 허용도를 나타내고, 상기 제2 이미지의 마스크 맵은 제2 이미지의 제1 특징 맵 중의 특징 정보의 허용도를 나타낸다.

도 8에 도시된 바와 같이, 제1 이미지와 이의 보정 맵 사이의 제1 차이 값에 대해 예를 들어, 2회의 컨볼루션 처리와 같은 컨볼루션 처리를 수행하고, 컨볼루션 처리 후의 결과를 원 제1 차이 값에 추가하며, 다음, 여기에 컨볼루션 처리를 수행하여 최종적으로 제1 이미지의 각 특징 정보에 대응되는 허용도의 매트릭스(마스크 맵)를 출력할 수 있고, 상기 허용도의 매트릭스는 제1 이미지의 각 픽셀 점의 제1 특징 정보의 허용도를 나타낼 수 있다. 또한, 제2 이미지 및 이의 보정 맵 사이의 제2 차이 값에 대해 예를 들어 2회의 컨볼루션 처리와 같은 컨볼루션 처리를 수행하고, 컨볼루션 처리 후의 결과를 원 차이 값에 추가하며, 다음, 여기에 컨볼루션 처리를 수행하여 최종적으로 제2 이미지의 각 특징 정보에 대응되는 허용도의 매트릭스(마스크 맵)를 출력할 수 있고, 상기 허용도의 매트릭스는 제2 이미지의 각 픽셀 점의 제1 특징 정보의 허용도를 나타낼 수 있다. 상기 허용도는 0과 1 사이의 임의의 수일 수 있고, 다양한 디자인 또는 모델의 트레이닝 방식에 따라, 상기 수치가 클수록 허용도가 더 높을 수 있고, 수치가 작을수록 허용도가 더 높을 수도 있으며, 본 발명은 이에 대해 구체적으로 한정하지 않는다.

단계 S32에 있어서, 상기 양안 이미지에서 각 이미지에 대응되는 상기 보정 맵 및 마스크 맵에 기반하여, 상기 양안 이미지에서 각 이미지의 중간 융합 특징을 각각 획득한다.

본 발명의 실시예는 예를 들어, 보정 맵, 마스크 맵 및 양안 이미지와 같은 얻은 상기 정보를 이용하여, 특징 융합을 수행하여, 중간 융합 특징 맵을 더 얻을 수 있다.

일부 실시예에서, 제1 기설정 방식에 따라, 제1 이미지의 보정 맵, 및 상기 제1 이미지의 마스크 맵을 따라, 상기 제1 이미지의 중간 융합 특징 맵을 얻고, 제2 기설정 방식에 따라, 상기 제2 이미지의 보정 맵, 및 상기 제2 이미지의 마스크 맵에 기반하여 상기 제2 이미지의 중간 융합 특징 맵을 얻을 수 있다. 여기서, 제1 기설정 방식의 표현식은 하기와 같다.

여기서,

는 제1 이미지의 중간 융합 특징을 나타내며, ⊙는 대응되는 요소의 곱셈을 나타내고,

는 제1 이미지의 제1 깊이 맵을 이용하여 제2 이미지의 워프 처리 후 얻은 보정 맵을 나타내며,

는 제1 이미지의 마스크 맵을 나타낸다.

제2 기설정 방식의 표현식은 하기와 같다.

여기서,

는 제2 이미지의 중간 융합 특징을 나타내고, ⊙는 대응되는 요소의 곱셈을 나타내고,

는 제2 이미지의 제1 깊이 맵을 이용하여 제1 이미지의 워프 처리 후 얻은 보정 맵을 나타내며,

는 제2 이미지의 마스크 맵을 나타낸다.

단계 S33에 있어서, 상기 양안 이미지에서 각 이미지의 제1 깊이 맵 및 제2 특징 맵에 따라, 상기 양안 이미지의 각 이미지의 깊이 특징 융합 맵을 획득한다.

나아가, 본 발명의 실시예는 2개의 이미지의 제1 깊이 맵의 특징 융합 과정을 더 수행할 수 있고, 여기서, 제1 이미지의 제1 깊이 맵 및 제1 이미지의 제2 특징 맵을 이용하여 제1 이미지의 깊이 특징 융합 맵을 얻을 수 있고, 즉, 이미지 정보 및 특징 정보를 포함한 제1 이미지의 제2 특징 맵 및 제1 깊이 맵에 대해 적어도 1회의 컨볼루션 처리를 수행하여, 각 깊이 정보 및 뷰 정보를 더 융합하여, 깊이 특징 융합 맵을 얻을 수 있다.

이에 따라, 상기 제2 이미지의 제1 깊이 맵 및 제2 이미지의 제2 특징 맵을 이용하여 제2 이미지의 깊이 특징 융합 맵을 얻을 수 있다. 즉, 뷰 정보 및 특징 정보를 포함한 제2 이미지의 제2 특징 맵 및 제1 깊이 맵에 대해 적어도 1회의 컨볼루션 처리를 수행하여, 각 깊이 정보 및 뷰 정보를 더 융합하여, 깊이 특징 융합 맵을 얻을 수 있다.

단계 S34에 있어서, 상기 양안 이미지에서 각 이미지의 제1 이미지의 제1 특징 맵, 제1 이미지의 중간 융합 특징 맵 및 제1 이미지의 깊이 특징 융합 맵의 연결 결과에 따라, 대응되는 각 이미지의 상기 융합 특징 맵을 얻는다.

여기서, 상기 제1 이미지의 제1 특징 맵, 제1 이미지의 중간 융합 특징 맵 및 제1 이미지의 깊이 특징 융합 맵의 연결 결과에 따라 상기 제1 이미지의 융합 특징 맵을 얻고, 상기 제2 이미지의 제1 특징 맵, 제2 이미지의 중간 융합 특징 맵 및 제2 이미지의 깊이 특징 융합 맵의 연결 결과에 따라 상기 제2 이미지의 융합 특징 맵을 얻을 수 있다.

본 발명의 실시예에서, 각 제1 특징 맵의 중간 융합 특징 맵 및 깊이 특징 융합 맵을 얻은 후, 상기 정보를 연결하여, 예를 들어, 통로 방향에서 연결하여, 상응한 뷰의 융합 특징 맵을 얻을 수 있다.

상기 방식을 통해 얻은 융합 특징 맵은 최적화 처리 후의 깊이 정보, 뷰 정보, 및 깊이 정보와 뷰 정보가 융합된 중간 융합 특징을 포함한다. 대응되는 단계 S40에서, 융합 특징 맵의 컨볼루션 처리를 더 수행하여, 양안 이미지에 대응되는 최적화된 후의 양안 이미지을 얻을 수 있다. 여기서, 상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻는 단계는,

상기 제1 이미지의 융합 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 최적화의 제1 이미지를 얻고, 상기 제2 이미지의 융합 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 최적화의 제2 이미지를 얻는 단계를 포함한다.

단계 S40을 통해, 일 양태는 원 양안 이미지 스케일에 매칭되는 최적화 이미지를 얻을 수 있고, 다른 양태는 각 특징을 더 심도 있게 융합하여, 정보의 정밀도를 향상시킨다.

이미지가 흐려지는 원인은 매우 복잡한 바, 예를 들면, 카메라 흔들림, 아웃 포커싱 및 물체의 고속 이동 등이다. 그러나, 기존의 이미지 편집 도구는 이러한 복잡하게 흐려진 이미지를 복원하기 어렵고, 본 발명의 실시예는 상기 기술적 과제를 해결하여, 양안 스마트 폰 촬영에 응용될 수 있으며, 상기 이미지 처리 방법을 이용하여 흔들림 또는 고속 이동으로 인해 생성되는 이미지 퍼지를 제거하여, 선명한 이미지를 얻을 수 있어, 사용자가 더욱 좋은 촬영 체험을 경험하게 한다. 또한, 본 발명의 실시예는 항공기, 로봇 또는 자율주행의 시각 시스템에 응용될 수 있고, 흔들림 또는 고속 이동으로 인해 생성되는 이미지 퍼지를 복원시켜, 얻은 선명한 이미지는 다른 시각 시스템이 더욱 우수한 성능을 발휘하는데 도움이 되며, 예를 들어, 장애물 회피 시스템 및 위치 측정 및 동시 지도화(Simultaneous localization and mapping, SLAM) 재구축 시스템 등이다.

본 발명의 실시예의 방법은 차량의 비디오 감시 보조 분석에도 응용될수 있고, 상기 이미지 처리 방법은 고속 운동으로 인해 퍼지에 대한 복원 성능을 크게 향상시켜, 고속 주행 중인 차량 정보, 예를 들어 차량 번호 및 운전자 외모 정보를 더 선명하게 포착할 수 있다.

요약하면, 본 발명의 실시예는 양안 이미지를 입력으로, 양안 이미지 중의 제1 이미지 및 제2 이미지에 대해 특징 추출 처리를 수행하여 대응되는 제1 특징 맵을 얻을 수 있고, 제1 이미지 및 제2 이미지의 깊이 맵을 얻은 후, 양안 이미지의 제1 특징 및 깊이 값에 대해 융합을 수행하여, 제1 이미지 및 제2 이미지의 이미지 정보 및 깊이 정보를 포함하는 특징을 얻을 수 있으며, 상기 특징은 더 풍부한 이미지 정보를 포함하고 공간 변형의 블러에 대한 견고성이 더 높으며, 최종적으로, 융합 특징에 대해 디블러링 처리의 최적화 처리를 수행하여, 선명한 양안 이미지를 얻을 수 있다.

본 발명의 분야에서 통상의 지식을 가진 자라면, 구체적인 실시형태의 상기 이미지 처리 방법에서, 각 단계의 작성 순서는 엄격한 수행 순서를 의미하지 않고 실시과정에 대해 어떠한 한정도 구성하지 않으며, 각 단계의 구체적인 실행 순서는 기능 및 가능한 내부 논리에 의해 결정되어야 한다는 것을 이해할 수 있다.

원리 및 논리를 위배하지 않는 상황에서, 본 발명에서 언급된 상기 각각의 방법 실시예는 서로 결합되어 결합된 실시예를 형성할 수 있으며, 편폭의 제한으로 인해, 본 발명은 더 이상 반복하지 않는다.

또한, 본 발명은, 본 발명에서 제공되는 임의의 이미지 처리 방법을 구현할 수 있는 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체 및 프로그램을 더 제공하고, 상응하는 기술적 해결수단 및 설명은 방법 부분의 상응한 기록을 참조하며, 더 이상 반복하지 않는다.

도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 도시한 것이고, 도 10에 도시된 바와 같이, 상기 이미지 처리 장치는, 양안 이미지를 획득하도록 구성된 획득 모듈(10) - 상기 양안 이미지는 동일한 시나리오에서 동일한 대상을 촬영한 제1 이미지 및 제2 이미지를 포함함 - ; 상기 양안 이미지의 제1 특징 맵, 상기 양안 이미지의 제1 깊이 맵, 및 상기 양안 이미지의 이미지 특징 및 깊이 특징을 융합한 제2 특징 맵을 획득하도록 구성된 특징 추출 모듈(20); 상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻도록 구성된 특징 융합 모듈(30); 및 상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻도록 구성된 최적화 모듈(40)을 포함한다.

일부 가능한 실시형태에서, 상기 특징 추출 모듈은, 상기 제1 이미지 및 제2 이미지에 대해 각각 제1 컨볼루션 처리를 처리하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻고; 상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 각각 제2 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 멀티 스케일의 제2 중간 특징 맵을 얻으며; 상기 제1 이미지 및 제2 이미지의 각 스케일의 제2 중간 특징 맵에 대해 각각 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 특징 맵을 얻도록 구성된 이미지 특징 추출 모듈을 포함한다.

일부 가능한 실시형태에서, 상기 이미지 특징 추출 모듈은, 제1 기설정 컨볼루션 커널 및 제1 컨볼루션 스텝 길이를 사용하여 상기 제1 이미지 및 제2 이미지에 대해 각각 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻도록 더 구성된다.

일부 가능한 실시형태에서, 상기 이미지 특징 추출 모듈은 또한, 각각 기설정된 다양한 복수의 제1 공간률에 따라, 상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 복수의 제1 공간률에 각각 대응되는 제2 중간 특징 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 이미지 특징 추출 모듈은 또한, 상기 제1 이미지의 멀티 스케일의 제2 중간 특징 맵을 각각 연결하여 제1 연결 특징 맵을 얻고, 제2 이미지의 멀티 스케일의 제2 중간 특징 맵을 연결하여 제2 연결 특징 맵을 얻으며; 상기 제1 연결 특징 맵 및 제2 연결 특징 맵에 대해 각각 컨볼루션 처리를 수행하고; 상기 제1 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제1 연결 특징 맵에 대해 가산 처리를 수행하여, 제1 이미지의 제1 특징 맵을 얻으며, 및 상기 제2 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제2 연결 특징 맵에 대해 가산 처리를 수행하여, 상기 제2 이미지의 제1 특징 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 특징 추출 모듈은, 상기 제1 이미지 및 제2 이미지를 조합하여, 조합 뷰를 형성하고; 상기 조합 뷰에 대해 적어도 하나의 계층의 제3 컨볼루션 처리를 수행하여 제1 중간 깊이 특징 맵을 얻으며; 상기 제1 중간 깊이 특징 맵에 대해 제4 컨볼루션 처리를 수행하여, 멀티 스케일의 제2 중간 깊이 특징 맵을 얻고; 상기 제2 중간 깊이 특징 및 상기 제1 중간 깊이 맵에 대해 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지의 제1 깊이 맵을 각각 얻으며, 임의의 하나의 계층의 제3 컨볼루션 처리에 따라 상기 제2 특징 맵을 획득하도록 구성된 깊이 특징 추출 모듈을 더 포함한다.

일부 가능한 실시형태에서, 상기 깊이 특징 추출 모듈은 또한, 제2 기설정 컨볼루션 커널 및 제2 컨볼루션 스텝 길이를 사용하여 상기 조합 뷰에 대해 적어도 1회의 컨볼루션 처리를 수행하여, 상기 제1 중간 깊이 특징 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 깊이 특징 추출 모듈은 또한, 각각 기설정된 다양한 복수의 제2 공간률에 따라, 상기 제1 중간 깊이 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 복수의 제2 공간률에 각각 대응되는 제2 중간 깊이 특징 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 특징 융합 모듈은 또한, 상기 양안 이미지에서 제1 이미지의 제1 깊이 맵에 따라 제2 이미지에 대해 보정 처리를 수행하여, 상기 제1 이미지의 마스크 맵을 획득하고, 상기 양안 이미지에서 제2 이미지의 제1 깊이 맵에 따라 제1 이미지에 대해 보정 처리를 수행하여, 상기 제2 이미지의 마스크 맵을 획득하며; 상기 양안 이미지에서 각 이미지에 대응되는 상기 보정 맵 및 마스크 맵에 기반하여, 상기 양안 이미지에서 각 이미지의 중간 융합 특징을 각각 획득하고; 상기 양안 이미지에서 각 이미지의 제1 깊이 맵 및 제2 특징 맵에 따라, 상기 양안 이미지의 각 이미지의 깊이 특징 융합 맵을 획득하며; 상기 양안 이미지에서 각 이미지의 제1 이미지의 제1 특징 맵, 제1 이미지의 중간 융합 특징 맵 및 제1 이미지의 깊이 특징 융합 맵의 연결 결과에 따라, 대응되는 각 이미지의 상기 융합 특징 맵을 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 특징 융합 모듈은 또한, 양안 이미지에서 제1 이미지의 제1 깊이 맵을 사용하여 제2 이미지에 대해 워프 처리를 수행하여, 상기 제1 이미지의 보정 맵을 얻고, 상기 제2 이미지의 제1 깊이 맵을 사용하여 상기 제1 이미지에 대해 워프 처리를 수행하여, 상기 제2 이미지의 보정 맵을 얻으며; 양안 이미지에서 각 이미지와, 대응되는 보정 맵 사이의 차이에 따라, 상기 제1 이미지 및 제2 이미지의 마스크 맵을 각각 얻도록 구성된다.

일부 가능한 실시형태에서, 상기 융합 특징 모듈은, 제1 기설정 방식에 따라, 상기 제1 이미지의 보정 맵, 및 상기 제1 이미지의 마스크 맵에 기반하여 상기 제1 이미지의 중간 융합 특징 맵을 얻고; 제2 기설정 방식에 따라, 상기 제2 이미지의 보정 맵, 및 상기 제2 이미지의 마스크 맵에 기반하여 상기 제2 이미지의 중간 융합 특징 맵을 얻도록 더 구성된다.

일부 가능한 실시형태에서, 상기 제1 기설정 방식의 표현식은,

이고; 여기서,

는 제1 이미지의 제1 깊이 맵을 사용하여 제2 이미지를 워프 처리한 후의 결과를 나타내며,

는 제1 이미지의 마스크 맵을 나타내고;

상기 제2 기설정 방식의 표현식은,

이며;

여기서,

는 제2 이미지의 제1 깊이 맵을 이용하여 제1 이미지를 워프 처리한 후의 결과를 나타내며,

는 제2 이미지의 마스크 맵을 나타낸다.

일부 가능한 실시형태에서, 상기 최적화 모듈은, 또한 상기 양안 이미지의 융합 특징 맵에 대해 각각 컨볼루션 처리를 수행하여, 상기 디블러링 처리된 양안 이미지를 얻는다.

일부 실시예에서, 본 발명의 실시예에서 제공하는 장치가 갖는 기능 또는 포함된 모듈은 상기 문맥상 방법 실시예에서 설명되는 방법을 수행할 수 있고, 이는 문맥상 방법 실시예를 참조하는 설명을 구체적으로 구현할 수 있으며, 간결함을 위해, 여기서 더 이상 반복하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 상기 이미지 처리 방법을 구현한다. 컴퓨터 판독 가능한 저장 매체는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 발명의 실시예는, 프로세서; 및 프로세서에 의해 실행 가능한 명령을 저장하는 메모리를 포함하는 전자 기기를 더 제공하고; 여기서, 상기 프로세서는 상기 이미지 처리 방법을 실행하도록 구성된다. 전자 기기는 단말기, 서버 또는 다른 형태의 기기로 제공될 수 있다.

본 발명의 실시예는, 컴퓨터 프로그램 명령을 포함하는 컴퓨터 프로그램 제품을 제공하고, 여기서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행될 경우 전술한 임의의 방법을 실행한다.

도 11은 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 도시한다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메세지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 헬스 기기 및 개인용 정보 단말기 등의 단말기일 수 있다. 도 11을 참조하면, 전자 기기(800)는, 프로세싱 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중의 하나 또는 복수의 컴포넌트를 포함할 수 있다.

일반적으로, 프로세싱 컴포넌트(802)는, 예를 들어, 디스플레이, 전화 통화, 데이터 통신, 카메라 조작 및 기록 조작에 관련된 조작과 같은 전자 기기(800)의 전반적 조작을 제어한다. 프로세싱 컴포넌트(802)는 상기 이미지 처리 방법의 전부 또는 부분적 단계를 완료하기 위해 하나 또는 복수의 프로세서(820)를 포함하여 명령을 실행할 수 있다. 또한, 프로세싱 컴포넌트(802)는, 프로세싱 컴포넌트(802)와 다른 컴포넌트 사이의 인터랙션의 편의를 위해 하나 또는 복수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(802)는, 멀티미디어 컴포넌트(808)와 프로세싱 컴포넌트(802) 사이의 인터랙션의 편의를 위해 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는, 다양한 타입의 데이터를 저장하여 전자 기기(800)의 조작을 지지하도록 구성된다. 이러한 데이터의 예시는, 전자 기기(800)에서 조작되는 임의의 응용 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메세지, 사진 및 동영상 등을 포함한다. 메모리(804)는, 예를 들어, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그램 가능 판독 전용 메모리(EEPROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM), 프로그램 가능 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크와 같은 임의의 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합으로 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트를 위해 전력을 제공한다. 전원 컴포넌트(806)는, 전원 관리 시스템, 하나 또는 복수의 전원, 및 전자 기기(800)에 의한 전력의 생성, 관리 및 분배와 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에 제공되는 출력 인터페이스의 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패드(TP)를 포함할 수 있다. 만약 스크린이 터치 패드를 포함하면, 스크린은 터치 스크린으로 구현되어, 사용자의 입력 신호를 수신할 수 있도록 구현된다. 터치 패드는, 터치, 슬라이딩 및 터치 패드의 제스처를 감지하는 하나 또는 복수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이딩 동작의 경계를 감지하고, 또한 상기 터치 또는 슬라이딩 조작에 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(808)는 전방 카메라 및/또는 후방 카메라를 포함한다. 전자 기기(800)가 예를 들어 촬영 모드 또는 동영상 모드와 같은 조작 모드에 처할 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라 및 후방 카메라는 고정된 광학 렌즈 시스템이거나 초점거리와 광학 줌 능력을 가질 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 마이크(MIC)를 포함하고, 전자 기기(800)가 예를 들어 통화 모드, 기록 모드 및 음성 인식 모드와 같은 조작 모드에 처할 경우, 마이크는 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에서, 오디오 컴포넌트(810)는 오디오 신호를 출력하는 스피커를 더 포함한다.

I/O 인터페이스(812)는 프로세싱 컴포넌트(802)와 주변 인터페이스 모듈 사이에 제공되는 인터페이스이고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠 및 버튼 등일 수 있다. 이러한 버튼은, 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만, 이에 제한되지 않는다.

센서 컴포넌트(814)는, 전자 기기(800)를 위해 각 방면의 상태 평가를 제공하는 하나 또는 복수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태 및 컴포넌트의 상대적 위치를 감지할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 디스플레이 및 키보드이며, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)의 컴포넌트의 위치 변화, 사용자가 전자 기기(800)와 접촉하는지 여부, 전자 기기(800)의 방향 또는 가속/감속과 전자 기기(800) 온도의 변화를 더 감지할 수 있다. 센서 컴포넌트(814)는, 어떠한 물리적 접촉이 없을 경우에 주변 물체의 존재를 감지하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는, 예를 들어 이미징 응용에 사용되는 CMOS 또는 CCD 이미지 센서와 같은 광 센서를 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(814)는, 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 형태의 통신에 편의하도록 구성된다. 전자 기기(800)는 예를 들어 WiFi, 2G 또는 3G, 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 접속할 수 있다. 예시적 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 예시적 실시예에서, 상기 통신 컴포넌트(816)는, 단거리 통신을 촉진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID) 기술, 적외선 데이터 연관(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에서, 전자 기기(800)는, 상기 이미지 처리 방법을 실행하기 위한 하나 또는 복수의 전용 집적회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 기기(DSPD), 프로그램 가능 논리 소자(PLD), 현장 필드 프로그램 가능 게이트 어레이(FPGA), 제어기, 마이크로 제어기, 마이크로 프로세서 또는 다른 전자 컴포넌트에 의해 구현될 수 있다.

예시적 실시예에서, 예를 들어, 컴퓨터 프로그램 명령을 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령은 상기 이미지 처리 방법을 완료하기 위해 전자 기기(800)의 프로세서(820)에 의해 실행될 수 있다.

도 12는 본 발명의 실시예에 따른 전자 기기(1900)의 블록도를 도시한다. 예를 들어, 전자 기기(1900)는 서버로 제공될 수 있다. 도 12를 참조하면, 전자 기기(1900)는, 하나 또는 복수의 프로세서를 더 포함하는 프로세싱 컴포넌트(1922), 및 프로세싱 컴포넌트(1922)에 의해 예를 들어 응용 프로그램과 같은 실행 가능한 명령을 저장하기 위한 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 저장된 응용 프로그램은 한 세트의 명령에 각각 대응되는 하나 이상의 모듈을 포함할 수 있다. 또한, 프로세싱 컴포넌트(1922)는 상기 이미지 처리 방법을 실행하기 위한 명령을 실행하도록 구성된다.

전자 기기(1900)는, 전자 기기(1900)의 전원 관리를 실행하도록 구성된 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 유선 또는 무선 네트워크 인터페이스(1950), 및 입력/출력(I/O) 인터페이스(1958)를 포함할 수 있다. 전자 기기(1900)는, 예를 들어, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것과 같은 메모리(1932)에 저장된 조작 시스템을 기반으로 조작할 수 있다.

예시적 실시예에서, 예를 들어, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령은, 상기 이미지 처리 방법을 완료하기 위한 전자 기기(1900)의 프로세싱 컴포넌트(1922)에 의해 실행될 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 여기에는 프로세서가 본 발명의 각 양태를 실현하도록 하는 컴퓨터 판독 가능 프로그램 명령이 로딩되어 있다.

컴퓨터 판독 가능한 저장 매체는 명령으로 실행되는 기기를 유지 및 저장하는데 사용하는 인스트럭션의 유형의 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자 저장 기기, 반도체 저장 기기 또는 상기 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체의 보다 구체적인 예는(완전하지 않은 리스트) 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 및 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), CD-ROM, 디지털 비디오 디스크(DVD), 메모리스틱, 플로피 디스켓, 기계 코딩 기기, 여기에 명령이 저장되는 천공 카드 또는 요홈내 돌기 구조, 및 상기 임의의 적절한 조합을 포함할 수 있다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 예컨대 무선파 또는 다른 자유 전파되는 전자파, 도파관 또는 다른 매체를 통해 전송되는 전자파(예를 들면, 광 섬유 와다음의 라이트 펄스), 또는 전선으로 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않을 수 있다.

본 명세서에서 설명되는 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능한 저장 매체에서 각각의 컴퓨팅/프로세싱 기기로 다운로드 되거나, 예를 들어, 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크와 같은 네트워크를 통해 외부 컴퓨터 또는 외부 저장 기기에 다운도르될 수 있다. 네트워크는, 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 프린지 서버를 포함할 수 있다. 각각의 컴퓨팅/프로세싱 기기 중의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전달하여, 각각의 컴퓨팅/프로세싱 기기의 컴퓨터 판독 가능한 저장 매체에 저장되도록 한다.

본 발명의 조작을 실행하도록 구성된 컴퓨터 프로그램 명령은, 어셈블리 명령, 명령어 집합 기계(Instruction Set Architecture, ISA) 명령, 기계적 명령, 기계 관련 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 타겟 코드일 수 있고, 상기 프로그래밍 언어는 예를 들어, Smalltalk 및 C++ 등과 같은 객체 지향 프로그래밍 언어, 및 예를 들어 “C”언어 또는 유사한 프로그래밍 언어와 같은 기존 절차적 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능 프로그램 명령은, 완전히 사용자 컴퓨터에서, 부분적으로 사용자 컴퓨터에서, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 LAN 또는 WAN을 포함한 모든 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결함). 일부 실시예에서, 컴퓨터 판독 가능 프로그램 명령의 상태 정보로써 프로그래머블 로직 회로, 필드 프로그램 가능 게이트 어레이(FPGA) 또는 프로그래머블 로직 어레이(PLA)와 같은 전자 회로를 맞춤형 제작할 수 있으며, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령을 실행하여 본 발명의 각 양태를 실현할 수 있다.

여기서 본 발명의 실시예에 따른 이미지 처리 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도/블록도를 참조하여 본 발명의 각 양태를 서술한다. 흐름도/블록도의 각 하나의 블록 및 흐름도/블록도의 각 블록의 조합은 모두 컴퓨터 판독 가능 프로그램 명령으로써 실현할 수 있다.

이러한 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 한 가지 기기를 생산하여 이러한 명령이 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에서 실행될 경우, 흐름도/블록도 중의 하나 또는 복수의 블록에 규정된 기능/동작을 실현하는 장치를 생성하였다. 또 이러한 컴퓨터 판독 가능 프로그램 명령을 컴퓨터 판독 가능한 저장 매체에 저장할 수 있으며, 이러한 명령은 컴퓨터, 프로그래머블 데이터 처리 및/또는 다른 기기가 특정된 방식으로 작동되도록 하며, 이로써 명령이 저장된 컴퓨터 판독 가능 매체가 하나의 완제품을 포함하도록 하며, 이는 흐름도/블록도 중의 하나 또는 복수의 블록에 규정된 기능/동작을 실현한다.

컴퓨터 판독 가능 프로그램 명령를 컴퓨터, 다른 프로그래머블 데이터 처리, 또는 다른 기기에 로딩시켜, 컴퓨터, 다른 프로그래머블 데이터 처리 또는 다른 기기에서 일련의 동작 단계를 실행하도록 하여, 컴퓨터 실현의 과정을 생성함으로써, 컴퓨터, 다른 프로그래머블 데이터 처리, 또는 다른 기기에서 실행되는 명령이 흐름도/블록도 중의 하나 또는 복수의 블록에 규정된 기능/동작을 실현한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 또는 하나 이상의 실행 가능한 명령을 포함하는 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 마크업된 기능은 또한 도면에 도시된 것과 다른 순서로 발생할 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬로 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 실행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령어를 조합하여 구현할 수도 있음에 유의해야 한다.

상기와 같이 본 발명의 각 실시예를 서술하였고, 상기 설명은 예시적인 것으로서 완전한 것이 아니며, 또한 공개된 각 실시예에 의해 한정되지 않는다. 서술되는 각 실시예의 범위 및 정신을 벗어나지 않는 상황하에, 본 기술분야의 통상의 기술자에게 있어서 많은 보정과 변경은 모두 자명한 것이다. 본문에서 용어의 선택은 실시예의 원리, 실제 응용 또는 시장에서 기술에 대한 기술 개진으로 해석됨이 바람직하며, 또는 본 기술분야의 통상의 기술자는 본문에서 공개된 각 실시예를 이해할 수 있다.

Claims

이미지 처리 방법으로서,
양안 이미지를 획득하는 단계 - 상기 양안 이미지는 동일한 시나리오에서 동일한 대상을 촬영한 제1 이미지 및 제2 이미지를 포함함 - ;
상기 양안 이미지의 제1 특징 맵, 상기 양안 이미지의 제1 깊이 맵, 및 상기 양안 이미지의 이미지 특징 및 깊이 특징을 융합한 제2 특징 맵을 획득하는 단계;
상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻는 단계; 및
상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻는 단계를 포함하는 이미지 처리 방법.
제1항에 있어서,
상기 양안 이미지의 제1 특징 맵을 획득하는 단계는,
상기 제1 이미지 및 제2 이미지에 대해 각각 제1 컨볼루션 처리를 처리하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻는 단계;
상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 각각 제2 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 멀티 스케일의 제2 중간 특징 맵을 얻는 단계; 및
상기 제1 이미지 및 제2 이미지의 각 스케일의 제2 중간 특징 맵에 대해 각각 잔차(residual error) 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제2항에 있어서,
상기 양안 이미지의 제1 이미지 및 제2 이미지에 대해 각각 제1 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻는 단계는,
제1 기설정 컨볼루션 커널 및 제1 컨볼루션 스텝 길이를 사용하여 상기 제1 이미지 및 제2 이미지에 대해 각각 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제2항 또는 제3항에 있어서,
상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 각각 제2 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 멀티 스케일의 제2 중간 특징 맵을 얻는 단계는,
각각 기설정된 다양한 복수의 제1 공간률에 따라, 상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 복수의 제1 공간률에 각각 대응되는 제2 중간 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 이미지 및 제2 이미지의 각 스케일의 제2 중간 특징 맵에 대해 각각 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 특징 맵을 얻는 단계는,
상기 제1 이미지의 멀티 스케일의 제2 중간 특징 맵을 각각 연결하여 제1 연결 특징 맵을 얻고, 제2 이미지의 멀티 스케일의 제2 중간 특징 맵을 연결하여 제2 연결 특징 맵을 얻는 단계;
상기 제1 연결 특징 맵 및 제2 연결 특징 맵에 대해 각각 컨볼루션 처리를 수행하는 단계; 및
상기 제1 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제1 연결 특징 맵에 대해 가산(plus) 처리를 수행하여, 제1 이미지의 제1 특징 맵을 얻고, 상기 제2 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제2 연결 특징 맵에 대해 가산 처리를 수행하여, 상기 제2 이미지의 제1 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 양안 이미지의 제1 깊이 맵 및 상기 양안 이미지의 이미지 특징과 깊이 특징을 융합하는 제2 특징 맵을 획득하는 단계는,
상기 제1 이미지 및 제2 이미지를 조합하여, 조합 뷰를 형성하는 단계;
상기 조합 뷰에 대해 적어도 하나의 계층의 제3 컨볼루션 처리를 수행하여 제1 중간 깊이 특징 맵을 얻는 단계;
상기 제1 중간 깊이 특징 맵에 대해 제4 컨볼루션 처리를 수행하여, 멀티 스케일의 제2 중간 깊이 특징 맵을 얻는 단계; 및
상기 제2 중간 깊이 특징 및 상기 제1 중간 깊이 맵에 대해 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지의 제1 깊이 맵을 각각 얻고, 임의의 하나의 계층의 제3 컨볼루션 처리에 따라 상기 제2 특징 맵을 획득하는 단계를 포함하는 이미지 처리 방법.
제6항에 있어서,
상기 조합 뷰에 대해 적어도 하나의 계층의 제3 컨볼루션 처리를 수행하여 제1 중간 깊이 특징 맵을 얻는 단계는,
제2 기설정 컨볼루션 커널 및 제2 컨볼루션 스텝 길이를 사용하여 상기 조합 뷰에 대해 적어도 1회의 컨볼루션 처리를 수행하여, 상기 제1 중간 깊이 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제6항 또는 제7항에 있어서,
상기 제1 중간 깊이 특징 맵에 대해 제4 컨볼루션 처리를 수행하여, 멀티 스케일의 제2 중간 깊이 특징 맵을 얻는 단계는,
각각 기설정된 다양한 복수의 제2 공간률에 따라, 상기 제1 중간 깊이 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 복수의 제2 공간률에 각각 대응되는 제2 중간 깊이 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻는 단계는,
상기 양안 이미지에서 제1 이미지의 제1 깊이 맵에 따라 제2 이미지에 대해 보정(calibration) 처리를 수행하여, 상기 제1 이미지의 마스크 맵을 획득하고, 상기 양안 이미지에서 제2 이미지의 제1 깊이 맵에 따라 제1 이미지에 대해 보정 처리를 수행하여, 상기 제2 이미지의 마스크 맵을 획득하는 단계;
상기 양안 이미지에서 각 이미지에 대응되는 상기 보정 맵 및 마스크 맵에 기반하여, 상기 양안 이미지에서 각 이미지의 중간 융합 특징을 각각 획득하는 단계;
상기 양안 이미지에서 각 이미지의 제1 깊이 맵 및 제2 특징 맵에 따라, 상기 양안 이미지의 각 이미지의 깊이 특징 융합 맵을 획득하는 단계; 및
상기 양안 이미지에서 각 이미지의 제1 이미지의 제1 특징 맵, 제1 이미지의 중간 융합 특징 맵 및 제1 이미지의 깊이 특징 융합 맵의 연결 결과에 따라, 대응되는 각 이미지의 상기 융합 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제9항에 있어서,
상기 양안 이미지에서 제1 이미지의 제1 깊이 맵에 따라 제2 이미지에 대해 보정 처리를 수행하여, 상기 제1 이미지의 마스크 맵을 획득하고, 상기 양안 이미지에서 제2 이미지의 제1 깊이 맵에 따라 제1 이미지에 대해 보정 처리를 수행하여, 상기 제2 이미지의 마스크 맵을 획득하는 단계는,
양안 이미지에서 제1 이미지의 제1 깊이 맵을 사용하여 제2 이미지에 대해 워프 처리를 수행하여, 상기 제1 이미지의 보정 맵을 얻고, 상기 제2 이미지의 제1 깊이 맵을 사용하여 상기 제1 이미지에 대해 워프 처리를 수행하여, 상기 제2 이미지의 보정 맵을 얻는 단계; 및
양안 이미지에서 각 이미지와, 대응되는 보정 맵 사이의 차이에 따라, 상기 제1 이미지 및 제2 이미지의 마스크 맵을 각각 얻는 단계를 포함하는 이미지 처리 방법.
제9항에 있어서,
상기 양안 이미지에서 각 이미지에 대응되는 상기 보정 맵 및 마스크 맵에 기반하여, 상기 양안 이미지에서 각 이미지의 중간 융합 특징을 각각 획득하는 단계는,
제1 기설정 방식에 따라, 상기 제1 이미지의 보정 맵, 및 상기 제1 이미지의 마스크 맵에 기반하여 상기 제1 이미지의 중간 융합 특징 맵을 얻는 단계; 및
제2 기설정 방식에 따라, 상기 제2 이미지의 보정 맵, 및 상기 제2 이미지의 마스크 맵에 기반하여 상기 제2 이미지의 중간 융합 특징 맵을 얻는 단계를 포함하는 이미지 처리 방법.
제11항에 있어서,
상기 제1 기설정 방식의 표현식은,

이고;
는 제1 이미지의 중간 융합 특징을 나타내며, ⊙는 대응되는 요소의 곱셈을 나타내고,
는 제1 이미지의 제1 깊이 맵을 사용하여 제2 이미지를 워프 처리한 후의 결과를 나타내며,
는 제1 이미지의 마스크 맵을 나타내고;
상기 제2 기설정 방식의 표현식은,

이며;
는 제2 이미지의 중간 융합 특징을 나타내고, ⊙는 대응되는 요소의 곱셈을 나타내며,
는 제2 이미지의 제1 깊이 맵을 이용하여 제1 이미지를 워프 처리한 후의 결과를 나타내고,
는 제2 이미지의 마스크 맵을 나타내는 이미지 처리 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻는 단계는,
상기 양안 이미지의 융합 특징 맵에 대해 각각 컨볼루션 처리를 수행하여, 상기 디블러링 처리된 양안 이미지를 얻는 단계를 포함하는 이미지 처리 방법.
이미지 처리 장치로서,
양안 이미지를 획득하도록 구성된 획득 모듈 - 상기 양안 이미지는 동일한 시나리오에서 동일한 대상을 촬영한 제1 이미지 및 제2 이미지를 포함함 - ;
상기 양안 이미지의 제1 특징 맵, 상기 양안 이미지의 제1 깊이 맵, 및 상기 양안 이미지의 이미지 특징 및 깊이 특징을 융합한 제2 특징 맵을 획득하도록 구성된 특징 추출 모듈;
상기 양안 이미지, 상기 양안 이미지의 제1 특징 맵, 제1 깊이 맵 및 상기 제2 특징 맵에 대해 특징 융합 처리를 수행하여, 상기 양안 이미지의 융합 특징 맵을 얻도록 구성된 특징 융합 모듈; 및
상기 양안 이미지의 융합 특징 맵에 대해 최적화 처리를 수행하여, 디블러링 처리된 양안 이미지를 얻도록 구성된 최적화 모듈을 포함하는 이미지 처리 장치.
제14항에 있어서,
상기 특징 추출 모듈은,
상기 제1 이미지 및 제2 이미지에 대해 각각 제1 컨볼루션 처리를 처리하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻고;
상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 각각 제2 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 멀티 스케일의 제2 중간 특징 맵을 얻으며;
상기 제1 이미지 및 제2 이미지의 각 스케일의 제2 중간 특징 맵에 대해 각각 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 특징 맵을 얻도록 구성된 이미지 특징 추출 모듈을 포함하는 이미지 처리 장치.
제15항에 있어서,
상기 이미지 특징 추출 모듈은 또한, 제1 기설정 컨볼루션 커널 및 제1 컨볼루션 스텝 길이를 사용하여 상기 제1 이미지 및 제2 이미지에 대해 각각 컨볼루션 처리를 수행하여, 상기 제1 이미지 및 제2 이미지에 각각 대응되는 제1 중간 특징 맵을 얻도록 구성된 이미지 처리 장치.
제15항 또는 제16항에 있어서,
상기 이미지 특징 추출 모듈은 또한, 각각 기설정된 다양한 복수의 제1 공간률에 따라, 상기 제1 이미지 및 제2 이미지의 상기 제1 중간 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 복수의 제1 공간률에 각각 대응되는 제2 중간 특징 맵을 얻기 위한 이미지 처리 장치.
제15항 내지 제17항 중 어느 한 항에 있어서,
상기 이미지 특징 추출 모듈은 또한,
상기 제1 이미지의 멀티 스케일의 제2 중간 특징 맵을 각각 연결하여 제1 연결 특징 맵을 얻으며, 제2 이미지의 멀티 스케일의 제2 중간 특징 맵을 연결하여 제2 연결 특징 맵을 얻고;
상기 제1 연결 특징 맵 및 제2 연결 특징 맵을 각각 컨볼루션 처리하며;
상기 제1 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제1 연결 특징 맵에 대해 가산 처리를 수행하여, 제1 이미지의 제1 특징 맵을 얻고, 상기 제2 이미지의 제1 중간 특징 맵 및 컨볼루션 처리 후의 제2 연결 특징 맵에 대해 가산 처리를 수행하여, 상기 제2 이미지의 제1 특징 맵을 얻도록 구성된 이미지 처리 장치.
제14항 내지 제18항 중 어느 한 항에 있어서,
상기 특징 추출 모듈은,
상기 제1 이미지 및 제2 이미지를 조합하여, 조합 뷰를 형성하고;
상기 조합 뷰에 대해 적어도 하나의 계층의 제3 컨볼루션 처리를 수행하여 제1 중간 깊이 특징 맵을 얻으며;
상기 제1 중간 깊이 특징 맵에 대해 제4 컨볼루션 처리를 수행하여, 멀티 스케일의 제2 중간 깊이 특징 맵을 얻고;
상기 제2 중간 깊이 특징 및 상기 제1 중간 깊이 맵에 대해 잔차 처리를 수행하여, 상기 제1 이미지 및 제2 이미지의 제1 깊이 맵을 각각 얻으며, 임의의 하나의 계층의 제3 컨볼루션 처리에 따라 상기 제2 특징 맵을 획득하도록 구성된 깊이 특징 추출 모듈을 더 포함하는 이미지 처리 장치.
제19항에 있어서,
상기 깊이 특징 추출 모듈은 또한, 제2 기설정 컨볼루션 커널 및 제2 컨볼루션 스텝 길이를 사용하여 상기 조합 뷰에 대해 적어도 1회의 컨볼루션 처리를 수행하여, 상기 제1 중간 깊이 특징 맵을 얻도록 구성된 이미지 처리 장치.
제19항 또는 제20항에 있어서,
상기 깊이 특징 추출 모듈은 또한, 각각 기설정된 다양한 복수의 제2 공간률에 따라, 상기 제1 중간 깊이 특징 맵에 대해 컨볼루션 처리를 수행하여, 상기 복수의 제2 공간률에 각각 대응되는 제2 중간 깊이 특징 맵을 얻도록 구성된 이미지 처리 장치.
제14항 내지 제21항 중 어느 한 항에 있어서,
상기 특징 융합 모듈은 또한,
상기 양안 이미지에서 제1 이미지의 제1 깊이 맵에 따라 제2 이미지에 대해 보정 처리를 수행하여, 상기 제1 이미지의 마스크 맵을 획득하고, 상기 양안 이미지에서 제2 이미지의 제1 깊이 맵에 따라 제1 이미지에 대해 보정 처리를 수행하여, 상기 제2 이미지의 마스크 맵을 획득하며;
상기 양안 이미지에서 각 이미지에 대응되는 상기 보정 맵 및 마스크 맵에 기반하여, 상기 양안 이미지에서 각 이미지의 중간 융합 특징을 각각 획득하고;
상기 양안 이미지에서 각 이미지의 제1 깊이 맵 및 제2 특징 맵에 따라, 상기 양안 이미지의 각 이미지의 깊이 특징 융합 맵을 획득하며;
상기 양안 이미지에서 각 이미지의 제1 이미지의 제1 특징 맵, 제1 이미지의 중간 융합 특징 맵 및 제1 이미지의 깊이 특징 융합 맵의 연결 결과에 따라, 대응되는 각 이미지의 상기 융합 특징 맵을 얻도록 구성된 이미지 처리 장치.
제22항에 있어서,
상기 특징 융합 모듈은 또한,
양안 이미지에서 제1 이미지의 제1 깊이 맵을 사용하여 제2 이미지에 대해 워프 처리를 수행하여, 상기 제1 이미지의 보정 맵을 얻고, 상기 제2 이미지의 제1 깊이 맵을 사용하여 상기 제1 이미지에 대해 워프 처리를 수행하여, 상기 제2 이미지의 보정 맵을 얻으며;
양안 이미지에서 각 이미지와, 대응되는 보정 맵 사이의 차이에 따라, 상기 제1 이미지 및 제2 이미지의 마스크 맵을 각각 얻도록 구성된 이미지 처리 장치.
제22항에 있어서,
상기 융합 특징 모듈은 또한,
제1 기설정 방식에 따라, 상기 제1 이미지의 보정 맵, 및 상기 제1 이미지의 마스크 맵에 기반하여 상기 제1 이미지의 중간 융합 특징 맵을 얻고;
제2 기설정 방식에 따라, 상기 제2 이미지의 보정 맵, 및 상기 제2 이미지의 마스크 맵에 기반하여 상기 제2 이미지의 중간 융합 특징 맵을 얻도록 구성된 이미지 처리 장치.
제24항에 있어서,
상기 제1 기설정 방식의 표현식은,

이고;
는 제1 이미지의 중간 융합 특징을 나타내며, ⊙는 대응되는 요소의 곱셈을 나타내고,
는 제1 이미지의 제1 깊이 맵을 사용하여 제2 이미지를 워프 처리한 후의 결과를 나타내며,
는 제1 이미지의 마스크 맵을 나타내고;
상기 제2 기설정 방식의 표현식은,

이며;
는 제2 이미지의 중간 융합 특징을 나타내고, ⊙는 대응되는 요소의 곱셈을 나타내며,
는 제2 이미지의 제1 깊이 맵을 이용하여 제1 이미지를 워프 처리한 후의 결과를 나타내고,
는 제2 이미지의 마스크 맵을 나타내는 이미지 처리 장치.
제14항 내지 제23항 중 어느 한 항에 있어서,
상기 최적화 모듈은 또한, 상기 양안 이미지의 융합 특징 맵에 대해 각각 컨볼루션 처리를 수행하여, 상기 디블러링 처리된 양안 이미지를 얻는 이미지 처리 장치.
전자 기기로서,
프로세서; 및
프로세서에 의해 실행 가능한 명령을 저장하는 메모리를 포함하고;
상기 프로세서는 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법을 실행하도록 구성된 전자 기기.
컴퓨터 프로그램 명령이 저장되는 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법을 실행하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램 제품으로서,
상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램 명령을 포함하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 이미지 처리 방법을 실행하는 컴퓨터 프로그램 제품.