KR102292559B1 - 단안 이미지 깊이 추정 방법 및 장치, 기기, 프로그램 및 저장 매체 - Google Patents

Abstract

본 출원의 실시예에서 단안 이미지 깊이 추정 방법 및 장치, 기기, 컴퓨터 프로그램 및 저장 매체를 개시하였고, 단안 이미지 깊이 추정 방법은, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하는 단계; 및 상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득하는 단계를 포함한다. 본 출원의 실시예는 단안 이미지 깊이 추정의 정확도를 향상시킬 수 있다.

Description

단안 이미지 깊이 추정 방법 및 장치, 기기, 프로그램 및 저장 매체

관련 출원의 상호 참조

본 출원은 출원번호가 201810845040.4이고, 출원일이 2018년 07월 27일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 원용된다.

본 출원은 컴퓨터 시각 기술에 관한 것으로서, 특히 단안 이미지 깊이 추정 방법 및 장치, 전자 기기, 컴퓨터 프로그램 및 저장 매체에 관한 것이다.

이미지의 깊이 추정은 컴퓨터 시각분야의 중요한 과제로서, 현재 이미지의 깊이 추정은 주로 단안 이미지 깊이 추정 및 양안 이미지 깊이 추정을 포함한다. 여기서, 단안 이미지 깊이 추정은 주로 단안 이미지에 기반하여 이미지의 깊이 정보를 추정하는 것이지만, 단안 이미지 깊이 추정은 도전적인 문제이므로, 현재 많은 기존의 단안 이미지 깊이 추정 방법에 의해 예측된 단안 이미지의 깊이 정보의 정확도는 여전히 비교적 낮다.

본 출원의 실시예는 단안 이미지 깊이 추정의 기술적 해결수단을 제공한다.

본 출원의 실시예의 한 양태에 따르면, 단안 이미지 깊이 추정 방법을 제공하는 바,

깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하는 단계; 및

상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득하는 단계를 포함한다.

선택적으로, 본 출원의 상기 방법 실시예에서, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하기 전에,

상기 단안 이미지에 대해 제1 뉴럴 네트워크를 통해 특징 추출을 진행하여, 상기 단안 이미지 중 각 기설정 영역의 특징을 획득하며, 상기 각 기설정 영역의 특징을 상기 단안 이미지 중 각 기설정 영역의 절대적 특징으로 하는 단계; 및

상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하는 단계를 더 포함한다.

선택적으로, 본 출원 상기 임의의 한 방법 실시예에서, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하는 단계는,

상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 대해 관련도 계층을 통해 벡터 연산을 진행하여, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하는 단계를 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 단안 이미지에 대해 제1 뉴럴 네트워크를 통해 특징 추출을 진행하기 전에,

상기 단안 이미지에 대해 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득하는 단계를 더 포함하고, 상기 단안 이미지의 차원은 상기 기설정 차원의 배수이다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하는 단계는,

완전 연결 계층을 통해 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징을 결합하여, 상기 단안 이미지의 글로벌 특징을 획득하는 단계를 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득하는 단계는,

상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 깊이 추정기를 통해 깊이를 추정하여, 상기 단안 이미지의 예측 깊이 맵을 획득하는 단계를 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득한 후,

상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계를 더 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계는,

상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하는 단계; 및

상기 잔차 플롯에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계를 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하는 단계는,

상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 잔차 추정 네트워크를 통해 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하는 단계를 포함하고,

상기 잔차 플롯에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계는,

상기 잔차 플롯 및 상기 예측 깊이 맵에 대해 픽셀 단위 중첩 연산을 진행하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계를 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하기 전에,

상기 예측 깊이 맵에 따라 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하는 단계를 더 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 예측 깊이 맵에 따라 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하는 단계는,

종방향 풀링 계층을 통해 상기 예측 깊이 맵을 처리하여, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하는 단계를 포함한다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하는 단계는,

상기 예측 깊이 맵에 대해 기설정 횟수의 업 샘플링을 진행하고, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵에 따라 깊이 정보의 종방향 변화 법칙을 획득하며, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵의 깊이 정보의 종방향 변화 법칙에 따라, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵을 최적화하여, 최적화된 목표 깊이 맵을 획득하는 단계를 포함하고,

최종 업 샘플링 이외의 각각의 업 샘플링에 의해 획득된 최적화된 목표 깊이 맵을 다음 업 샘플링의 예측 깊이 맵으로 하고, 최종 업 샘플링하여 획득된 최적화된 목표 깊이 맵을 상기 단안 이미지의 목표 깊이 맵으로 하며, 상기 목표 깊이 맵의 차원과 상기 단안 이미지의 차원은 동일하다.

선택적으로, 본 출원의 상기 임의의 한 방법 실시예에서, 상기 깊이 추정 뉴럴 네트워크는, 관련도 계층, 완전 연결 계층 및 깊이 추정기를 포함하고, 주석 데이터로서 희소 깊이 맵 및 양안 이미지 스테레오 매칭을 통해 획득된 조밀 깊이 맵을 이용하여 상기 깊이 추정 뉴럴 네트워크에 대해 트레이닝을 진행하여 획득한다.

본 출원의 실시예의 다른 한 양태에 따르면, 단안 이미지 깊이 추정 장치를 제공하는 바,

단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하고, 상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득하도록 구성되는 깊이 추정 뉴럴 네트워크를 포함한다.

선택적으로, 본 출원의 상기 장치 실시예에서,

상기 단안 이미지에 대해 특징 추출을 진행하여, 상기 단안 이미지 중 각 기설정 영역의 특징을 획득하고, 상기 각 기설정 영역의 특징을 상기 단안 이미지 중 각 기설정 영역의 절대적 특징으로 하도록 구성되는 제1 뉴럴 네트워크를 더 포함하고,

상기 깊이 추정 뉴럴 네트워크는 또한, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하기 위한 것이다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 깊이 추정 뉴럴 네트워크는,

상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 대해 벡터 연산을 진행하여, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하도록 구성되는 관련도 계층을 포함한다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서,

상기 단안 이미지에 대해 특징 추출을 진행하기 전에, 상기 단안 이미지에 대해 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득하도록 구성되는 다운 샘플링 계층을 더 포함하고, 상기 단안 이미지의 차원은 상기 기설정 차원의 배수이다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 깊이 추정 뉴럴 네트워크는,

상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징을 결합하여, 상기 단안 이미지의 글로벌 특징을 획득하도록 구성되는 완전 연결 계층을 포함한다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 깊이 추정 뉴럴 네트워크는,

상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 깊이를 추정하여, 상기 단안 이미지의 예측 깊이 맵을 획득하도록 구성되는 깊이 추정기를 포함한다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서,

상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하도록 구성되는 제2 뉴럴 네트워크를 더 포함한다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 제2 뉴럴 네트워크는, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하고, 상기 잔차 플롯에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하도록 구성된다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 제2 뉴럴 네트워크는,

상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하도록 구성되는 잔차 추정 네트워크; 및

상기 잔차 플롯 및 상기 예측 깊이 맵에 대해 픽셀 단위 중첩 연산을 진행하여, 상기 단안 이미지의 목표 깊이 맵을 획득하도록 구성되는 가산 연산 유닛을 포함한다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 제2 뉴럴 네트워크는 또한, 상기 예측 깊이 맵에 따라 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하기 위한 것이다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 제2 뉴럴 네트워크는,

상기 예측 깊이 맵을 처리하여, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하도록 구성되는 종방향 풀링 계층을 포함한다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서,

상기 예측 깊이 맵에 대해 기설정 횟수의 업 샘플링을 진행하도록 구성되는 업 샘플링 계층; 및

각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵에 따라 깊이 정보의 종방향 변화 법칙을 획득하도록 구성되는 종방향 풀링 계층을 더 포함하고,

상기 제2 뉴럴 네트워크는, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵의 깊이 정보의 종방향 변화 법칙에 따라, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵을 최적화하여, 최적화된 목표 깊이 맵을 획득하도록 구성되며,

최종 업 샘플링 이외의 각각의 업 샘플링에 의해 획득된 최적화된 목표 깊이 맵을 다음 업 샘플링의 예측 깊이 맵으로 하고, 최종 업 샘플링하여 획득된 최적화된 목표 깊이 맵을 상기 단안 이미지의 목표 깊이 맵으로 하며, 상기 목표 깊이 맵의 차원과 상기 단안 이미지의 차원은 동일하다.

선택적으로, 본 출원의 상기 임의의 장치 실시예에서, 상기 깊이 추정 뉴럴 네트워크는, 관련도 계층, 완전 연결 계층 및 깊이 추정기를 포함하고, 주석 데이터로서 희소 깊이 맵 및 양안 이미지 스테레오 매칭을 통해 획득된 조밀 깊이 맵을 이용하여 상기 깊이 추정 뉴럴 네트워크에 대해 트레이닝을 진행하여 획득한다.

본 출원의 실시예의 또 하나의 양태에 따라 제공되는 전자 기기는, 상기 임의의 실시예의 단안 이미지 깊이 추정 장치를 포함한다.

본 출원의 실시예의 또 다른 하나의 양태에 따르라 제공되는 전자 기기는,

실행 가능한 명령어를 저장하도록 구성되는 메모리; 및

상기 실행 가능한 명령어를 실행하여 상기 임의의 실시예의 단안 이미지 깊이 추정 방법을 완성하도록 구성되는 프로세서를 포함한다.

본 출원의 실시예의 또 다른 하나의 양태에 따라 제공되는 컴퓨터 프로그램은, 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 기기에서 실행될 경우, 상기 기기 중의 프로세서는 상기 임의의 실시예의 단안 이미지 깊이 추정 방법을 구현하는 명령어를 실행한다.

본 출원의 실시예의 또 다른 하나의 양태에 따라 제공되는 컴퓨터 저장 매체는, 컴퓨터 판독 가능 명령어를 저장하도록 구성되며, 상기 명령어가 실행될 경우 상기 임의의 실시예의 단안 이미지 깊이 추정 방법을 구현한다.

본 출원의 상기 실시예에 따라 제공되는 단안 이미지 깊이 추정 방법 및 장치, 전자 기기, 컴퓨터 프로그램 및 저장 매체는, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득하며, 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득하고, 단안 이미지의 깊이 추정에서 이미지 중 각 기설정 영역의 상대적 특징과 절대적 특징 사이의 상호보완을 이용함으로써, 깊이 추정 중 상대 거리의 예측의 정확도가 향상되어, 단안 이미지 깊이 추정의 정확도를 향상시킬 수 있다.

아래 도면과 실시예를 통해 본 출원의 기술적 해결수단을 더욱 상세하게 설명하도록 한다.

명세서의 일부를 구성하는 도면은 본 출원의 실시예를 설명하였고, 또한 설명과 함께 본 출원의 원리를 해석한다.
도면을 참조하면, 이하 상세한 설명에 따라 본 출원을 더욱 명확하게 이해할 수 있는 바, 여기서,
도 1은 본 출원의 일부 실시예의 단안 이미지 깊이 추정 방법의 흐름도이다.
도 2는 본 출원의 다른 실시예들의 단안 이미지 깊이 추정 방법의 흐름도이다.
도 3은 본 출원의 실시예의 멀티 스케일 학습을 사용하여 최적화할 경우의 각 스케일 최적화의 흐름도이다.
도 4a 내지 도 4c는 본 출원의 일부 실시예의 단안 이미지 깊이 추정 방법을 구현하는 네트워크 구조의 모식도이다.
도 5는 본 출원의 일부 실시예의 단안 이미지 깊이 추정 장치의 구조 모식도이다.
도 6은 본 출원의 다른 실시예들의 단안 이미지 깊이 추정 장치의 구조 모식도이다.
도 7은 본 출원의 또 다른 실시예들의 단안 이미지 깊이 추정 장치의 구조 모식도이다.
도 8은 본 출원의 일부 실시예에서 제공하는 전자 기기의 구조 모식도이다.

도면을 참조하여 본 출원의 각 예시적인 실시예를 설명하도록 한다. 별도의 구체적인 설명이 없는 한, 이러한 실시예에서 설명되는 부재 및 단계의 상대적인 배치, 숫자 표현식 및 수치는 본 출원의 범위를 한정하지 않는다.

아울러, 설명의 편의를 위해 도면에 도시된 각 부분의 크기는 실제 비율에 따라 제작된 것이 아님을 반드시 알아야 한다.

적어도 하나의 예시적인 실시예의 설명은 실질적으로 단지 설명적인 것으로 본 출원 및 그 응용 또는 사용에 대해 그 어떤 한정도 하지 않는다.

본 발명에 속하는 기술분야의 통상의 기술자에게 공지된 기술, 방법 및 기기에 대해 상세하게 논의하지 않을 수 있지만 적절한 상황에서 상기 기술, 방법 및 기기는 반드시 명세서의 일부로 간주되어야 한다.

유사한 표기 및 알파벳은 이하 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 도면에서 정의되었다면 후속 도면에서 이에 대해 추가로 논의할 필요가 없음에 유의해야 한다.

본 출원의 실시예는 컴퓨터 시스템/서버에 응용될 수 있고, 많은 다른 범용 또는 전용 컴퓨팅 시스템 환경 또는 구성과 함께 작동될 수 있다. 컴퓨터 시스템/서버와 함께 사용하기에 잘 알려진 컴퓨팅 시스템, 환경 및/또는 구성의 예는 개인 컴퓨터 시스템/서버, 서버 컴퓨터 시스템/서버, 신 클라이언트, 팻 클라이언트, 핸디형 또는 랩톱 기기, 마이크로 프로세서에 기반한 시스템/서버, 셋톱박스, 프로그래머블 소비 전자 제품, 네트워크 퍼스널 컴퓨터, 소형 컴퓨터 시스템/서버, 대형 컴퓨터 시스템/서버 및 상기 임의의 시스템/서버를 포함하는 분포식 클라우드 컴퓨팅 기술 환경 등을 포함하지만 이에 한정되지 않는다.

컴퓨터 시스템/서버는 컴퓨터 시스템/서버로 실행하는 컴퓨터 시스템/서버 실행 가능한 명령어(예컨대 프로그램 모듈)의 일반적인 맥락에서 설명될 수 있다. 통상적으로, 프로그램 모듈은 루틴, 프로그램, 목표 프로그램, 컴포넌트, 로직, 데이터 구조 등을 포함할 수 있고, 이들은 특정된 태스크를 실행하거나 또는 특정된 추상적인 데이터 타입을 구현한다. 컴퓨터 시스템/서버는 분포식 클라우드 컴퓨팅 환경에서 실행할 수 있고, 분포식 클라우드 컴퓨팅 환경에서, 태스크는 통신 네트워크 링크의 원격 프로세싱 기기를 통해 실행된다. 분포식 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.

도 1은 본 출원의 일부 실시예의 단안 이미지 깊이 추정 방법의 흐름도이다.

도 1에 도시된 바와 같이, 상기 방법은 하기의 단계를 포함한다.

단계 102에서, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득한다.

본 실시예에서, 단안 이미지는 이미지 수집 기기로부터 획득된 이미지일 수 있고, 저장 장치로부터 획득된 이미지일 수도 있으며, 예를 들어, 이미지 수집 기기는 카메라, 비디오 카메라, 스캐너 등일 수 있고, 저장 장치는 USB 메모리, CD, 하드웨어 등일 수 있으며, 본 실시예는 단안 이미지의 획득 방식에 대해 한정하지 않는다. 여기서, 단안 이미지 중 각 기설정 영역의 절대적 특징은 단안 이미지 중 각 기설정 영역의 국부적 외관을 표시할 수 있는 바, 예를 들어, 이는 텍스처 특징, 기하학적 특징 등을 포함할 수 있다. 단안 이미지 중 각 기설정 영역 사이의 상대적 특징은 단안 이미지 중 각 기설정 영역의 국부적 외관 사이의 차이를 표시할 수 있는 바, 예를 들어, 이는 텍스처 차이, 기하학적 차이 등을 포함할 수 있다. 단안 이미지 중의 각 기설정 영역은 이미지의 특징에 따라 설정할 수 있다. 본 실시예의 깊이 맵은 이미지 중 각 픽셀의 픽셀 값으로 이미지의 각 픽셀과 이미지 수집 기기 사이의 거리를 나타내는 맵이다.

하나의 선택적인 예에서, 완전 연결 계층을 통해 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징을 결합하여, 단안 이미지의 글로벌 특징을 획득할 수 있다.

단계 104에서, 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득한다.

하나의 선택적인 예에서, 단안 이미지의 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 깊이 추정기를 통해 깊이를 추정하여, 단안 이미지의 예측 깊이 맵을 획득할 수 있다. 예를 들어, 깊이 추정기는 완전 컨볼루션 네트워크를 사용할 수 있고, 완전 컨볼루션 네트워크는 주로 컨볼루션 계층 및 디컨볼루션 계층으로 구성되며, 이는 이미지의 기하학적 분포 정보, 즉 이미지의 글로벌 특징, 이미지 중 각 기설정 영역의 절대적 특징과 각 기설정 영역 사이의 상대적 특징에 따라, 이미지 중 각 픽셀의 깊이 값을 회귀하여, 예측 깊이 맵을 획득한다.

본 실시예에서 제공하는 단안 이미지 깊이 추정 방법은, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득하며, 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득하고, 단안 이미지 깊이 추정에서, 이미지 중 각 기설정 영역의 상대적 특징과 절대적 특징의 상호보완을 이용함으로써, 깊이 추정 중 상대 거리의 예측의 정확도가 향상되어, 단안 이미지 깊이 추정의 정확도를 향상시킬 수 있다.

선택적으로, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득하기 전에, 또한 제1 뉴럴 네트워크를 통해 단안 이미지에 대해 특징을 추출하여, 단안 이미지 중 각 기설정 영역의 특징을 획득할 수도 있고, 각 기설정 영역의 특징을 단안 이미지 중 각 기설정 영역의 절대적 특징으로 한 다음, 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득할 수 있다. 예를 들어, 제1 뉴럴 네트워크는 하나의 컨볼루션 계층 및 풀링 계층으로 구성된 코더 네트워크를 사용할 수 있고, 단안 이미지는 코더 네트워크를 통해 특징 추출을 진행하여, 이미지의 고차원 특징을 획득할 수 있다.

하나의 선택적인 예에서, 단안 이미지 중 각 기설정 영역의 절대적 특징에 대해 관련도 계층을 통해 벡터 연산을 진행하여, 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득할 수 있다. 여기서, 이미지 중 각 기설정 영역 사이의 상대적 특징은, 이미지 중 각 기설정 영역과 그 주변 기설정 범위 내의 기설정 영역 사이의 상대적 특징일 수 있고, 예를 들어, 단안 이미지 중 각 기설정 영역과 그 주변 기설정 범위 내의 기설정 영역 사이의 특징 벡터에 대해, 점곱 연산을 진행하여, 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득할 수 있다.

선택적으로, 제1 뉴럴 네트워크를 통해 단안 이미지에 대해 특징 추출을 진행하기 전에, 단안 이미지에 대해 또한 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득할 수 있으며, 기설정 차원을 갖는 단안 이미지를 깊이 추정 뉴럴 네트워크가 깊이 추정을 진행하는 단안 이미지로 하여, 산출량을 감소시켜, 데이터 처리의 속도를 향상시킨다. 여기서, 단안 이미지의 차원은 기설정 차원의 배수 예를 들어 8 배이다.

통상적으로, 이미지는 수직 방향에서의 깊이 변화가 수평 방향에서의 깊이 변화보다 더욱 큰 바, 예를 들어, 운전 장면에서, 이미지의 도로는 항상 수직 방향을 따라 비디오 카메라로부터 멀리 떨어진 곳까 연장되는데, 따라서, 이미지 깊이 정보의 종방향 변화 법칙은 이미지 절대 거리의 추정에 유리하다. 따라서, 단안 이미지 깊이 정보의 종방향 변화 법칙을 단안 이미지의 깊이 추정에 이용할 수 있는 바, 예를 들어, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화할 수 있다.

일부 실시예에서, 도 2에 도시된 바와 같이, 단계 204 즉, 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득한 후에, 단계 206을 더 포함할 수 있다.

단계 206에서, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화하여, 단안 이미지의 목표 깊이 맵을 획득한다.

선택적으로, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 예측 깊이 맵에 대해 잔차 추정을 진행하여, 예측 깊이 맵의 잔차 플롯을 획득한 다음 잔차 플롯에 따라 예측 깊이 맵을 최적화하여, 단안 이미지의 목표 깊이 맵을 획득한다.

하나의 선택적인 예에서, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 잔차 추정 네트워크를 통해 예측 깊이 맵에 대해 잔차 추정을 진행하여, 예측 깊이 맵의 잔차 플롯을 획득한 다음, 잔차 플롯 및 예측 깊이 맵에 대해 픽셀 단위 중첩 연산을 진행하여, 단안 이미지의 목표 깊이 맵을 획득한다.

선택적으로, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화하여, 단안 이미지의 목표 깊이 맵을 획득하기 전에, 예측 깊이 맵에 따라 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득할 수도 있다.

하나의 선택적인 예에서, 종방향 풀링 계층을 통해 예측 깊이 맵을 처리하여, 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득한다. 여기서, 종방향 풀링 계층은 하나의 열벡터를 풀링 핵으로 사용하여, 예측 깊이 맵에 대해 풀링 처리를 진행할 수 있는 바, 예를 들어, 종방향 풀링 계층은 크기가 H×1인 풀링 핵을 사용할 수 있고, 예측 깊이 맵에 대해 풀링 처리를 진행하며, 여기서 H는 1보다 큰 정수이다.

본 실시예에서 제공하는 단안 이미지 깊이 추정 방법은, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득하며, 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득하고, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화하여, 단안 이미지의 목표 깊이 맵을 획득하며, 단안 이미지의 깊이 추정에서 이미지 중 각 기설정 영역의 상대적 특징과 절대적 특징 사이의 상호 보완을 이용함으로써, 깊이 추정 중 상대 거리의 예측의 정확도가 향상되는 외에도, 또한 이미지 깊이 정보의 종방향 변화 법칙을 이용하여 최적화를 진행하여, 깊이 추정 중 절대 거리 예측의 정확도를 향상시킴으로써, 단안 이미지 깊이 추정의 정확도를 전반적으로 향상시킬 수 있다.

일부 실시예에서, 제1 뉴럴 네트워크를 통해 단안 이미지에 대해 특징 추출을 진행하기 전에, 단안 이미지에 대해 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득하고, 기설정 차원을 갖는 단안 이미지를 깊이 추정 뉴럴 네트워크에 의해 깊이 추정이 진행된 단안 이미지로 할 경우, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화하여, 멀티 스케일 학습의 방법을 사용하여, 단안 이미지 깊이 추정의 정확도를 향상시킬 수 있다.

선택적으로, 예측 깊이 맵에 대해 기설정 횟수의 업 샘플링을 진행할 수 있고, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵에 따라 깊이 정보의 종방향 변화 법칙을 획득하며, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵의 깊이 정보의 종방향 변화 법칙에 따라, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵을 최적화하여, 최적화된 목표 깊이 맵을 획득한다. 여기서, 최종 업 샘플링 이외의 각각의 업 샘플링에 의해 획득된 최적화된 목표 깊이 맵을, 다음 업 샘플링의 예측 깊이 맵으로 하며, 최종 업 샘플링하여 획득된 최적화된 목표 깊이 맵을 단안 이미지의 목표 깊이 맵으로 하고, 상기 목표 깊이 맵의 차원은 단안 이미지의 차원과 동일하다.

이하 도 3과 결부하여, 멀티 스케일 학습을 사용하여 최적화할 경우 각 스케일 최적화 흐름을 상세하게 설명한다.

도 3에 도시된 바와 같이, 상기 방법은 하기의 단계를 포함한다.

단계 302에서, 제1 기설정 차원을 갖는 예측 깊이 맵에 대해 업 샘플링을 진행하여, 제2 기설정 차원을 갖는 예측 깊이 맵을 획득한다.

본 실시예에서, 제1 기설정 차원을 갖는 예측 깊이 맵은 깊이 추정 뉴럴 네트워크에서 획득된 예측 깊이 맵일 수 있고, 이전 스케일 최적화 흐름에서 획득된 최적화된 목표 깊이 맵일 수도 있다. 제2 기설정 차원은 제1 기설정 차원의 배수이고, 제1 기설정 차원 및 제2 기설정 차원의 크기는 업 샘플링의 횟수, 주파수 및 단안 이미지의 크기 등에 따라 결정될 수 있다.

하나의 선택적인 예에서, 업 샘플링 계층에 의해 제1 기설정 차원을 갖는 예측 깊이 맵에 대해 업 샘플링을 진행함으로써, 제2 기설정 차원을 갖는 예측 깊이 맵을 획득할 수 있다.

단계 304에서, 제2 기설정 차원을 포함하는 예측 깊이 맵에 따라, 대응되는 깊이 정보의 종방향 변화 법칙을 획득한다.

하나의 선택적인 예에서, 종방향 풀링 계층을 통해 제2 기설정 차원을 갖는 예측 깊이 맵을 처리하여, 대응되는 깊이 정보의 종방향 변화 법칙을 획득할 수 있다.

단계 306에서, 대응되는 깊이 정보의 종방향 변화 법칙에 따라, 제2 기설정 차원을 갖는 예측 깊이 맵에 대해 잔차 추정을 진행하여, 대응되는 잔차 플롯을 획득한다.

하나의 선택적인 예에서, 대응되는 깊이 정보의 종방향 변화 법칙에 따라, 잔차 추정 네트워크를 통해 제2 기설정 차원을 갖는 예측 깊이 맵에 대해 잔차 추정을 진행하여, 대응되는 잔차 플롯을 획득할 수 있다.

단계 308에서, 대응되는 잔차 플롯에 따라 제2 기설정 차원을 갖는 예측 깊이 맵을 최적화하여, 제2 기설정 차원을 갖는 최적화된 목표 깊이 맵을 획득한다.

하나의 선택적인 예에서, 대응되는 잔차 플롯 및 제2 기설정 차원을 갖는 예측 깊이 맵을 통해 픽셀 단위 중첩 연산을 진행하여, 제2 기설정 차원을 갖는 최적화된 목표 깊이 맵을 획득할 수 있다.

도 4a 내지 도 4c는 본 출원의 일부 실시예의 단안 이미지 깊이 추정 방법의 네트워크 구조의 모식도이다.

본 실시예에서, 도 4a에 도시된 바와 같이, 본 출원의 실시예를 구현하는 단안 이미지 깊이 추정 방법의 네트워크는, 컨볼루션 뉴럴 네트워크, 깊이 추정 뉴럴 네트워크 및 깊이 최적화 뉴럴 네트워크를 포함한다. 여기서, 컨볼루션 뉴럴 네트워크는 다운 샘플링 계층 및 제1 뉴럴 네트워크를 포함하고, 다운 샘플링 계층을 통해 단안 이미지에 대해 8배 다운 샘플링을 진행하여, 차원이 단안 이미지의 1/8인 단안 이미지를 획득한 다음, 제1 뉴럴 네트워크를 통해 1/8 차원인 단안 이미지에 대해 특징 추출을 진행하여, 1/8 차원인 단안 이미지 중 각 기설정 영역의 절대적 특징을 획득한다.

도 4b에 도시된 바와 같이, 깊이 추정 뉴럴 네트워크는, 관련도 계층, 완전 연결 계층 및 깊이 추정기를 포함하고, 여기서, 관련도 계층은 1/8 차원인 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 1/8 차원인 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득할 수 있고, 완전 연결 계층은 1/8 차원인 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 1/8 차원인 단안 이미지의 글로벌 특징을 획득할 수 있으며, 깊이 추정기는 1/8 차원인 이미지의 글로벌 특징, 1/8 차원인 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 1/8 차원인 예측 깊이 맵을 획득할 수 있다.

본 실시예에서, 깊이 최적화 뉴럴 네트워크는 제1 스케일 최적화 네트워크 , 제2 스케일 최적화 네트워크 및 제3 스케일 최적화 네트워크를 포함하고, 여기서, 각 스케일 최적화 네트워크의 구조는, 도 4c에 도시된 바와 같이, 업 샘플링 계층, 종방향 풀링 계층, 잔차 추정 네트워크 및 가산 연산 유닛을 모두 포함한다.

여기서, 제1 스케일 최적화 네트워크의 업 샘플링 계층은 1/8 차원인 예측 깊이 맵에 대해 2배 업 샘플링을 진행하여, 1/4 차원인 예측 깊이 맵을 획득할 수 있고, 제1 스케일 최적화 네트워크의 종방향 풀링 계층은 1/4 차원인 예측 깊이 맵에 따라, 대응되는 깊이 정보의 종방향 변화 법칙을 획득할 수 있으며, 제1 스케일 최적화 네트워크의 잔차 추정 네트워크는 1/4 차원인 예측 깊이 맵에 대응되는 깊이 정보의 종방향 변화 법칙에 따라, 1/4 차원인 예측 깊이 맵에 대해 잔차 추정을 진행하여, 대응되는 잔차 플롯을 획득할 수 있으며, 제1 스케일 최적화 네트워크의 가산 연산 유닛은 대응되는 잔차 플롯 및 1/4 차원인 예측 깊이 맵에 대해 픽셀 단위 중첩 연산을 진행하여, 최적화된 1/4 차원인 목표 깊이 맵을 획득할 수 있으며, 상기 최적화된 1/4 차원인 목표 깊이 맵을 제2 스케일 최적화 네트워크의 예측 깊이 맵으로 할 수 있다.

제2 스케일 최적화 네트워크의 업 샘플링 계층은 최적화된 1/4 차원인 목표 깊이 맵에 대해 2배 업 샘플링을 진행하여, 1/2 차원인 예측 깊이 맵을 획득할 수 있고, 제2 스케일 최적화 네트워크의 종방향 풀링 계층은 1/2 차원인 예측 깊이 맵에 따라, 대응되는 깊이 정보의 종방향 변화 법칙을 획득할 수 있으며, 제2 스케일 최적화 네트워크의 잔차 추정 네트워크는 1/2 차원인 예측 깊이 맵에 대응되는 깊이 정보의 종방향 변화 법칙에 따라, 1/2 차원인 예측 깊이 맵에 대해 잔차 추정을 진행하여, 대응되는 잔차 플롯을 획득할 수 있고, 제2 스케일 최적화 네트워크의 가산 연산 유닛은 대응되는 잔차 플롯 및 1/2 차원인 예측 깊이 맵에 대해 픽셀 단위 중첩 연산을 진행하여, 최적화된 1/2 차원인 목표 깊이 맵을 획득할 수 있으며, 상기 최적화된 1/2차원인 목표 깊이 맵을 제3 스케일 최적화 네트워크의 예측 깊이 맵으로 할 수 있다.

제3 스케일 최적화 네트워크의 업 샘플링 계층은 최적화된 1/2 차원인 목표 깊이 맵에 대해 2배 업 샘플링을 진행하여, 차원이 단안 이미지의 차원과 동일한 예측 깊이 맵을 획득할 수 있고, 제3 스케일 최적화 네트워크의 종방향 풀링 계층은 차원이 단안 이미지의 차원과 동일한 예측 깊이 맵에 따라, 대응되는 깊이 정보의 종방향 변화 법칙을 획득할 수 있고, 제3 스케일 최적화 네트워크의 잔차 추정 네트워크는 차원이 단안 이미지의 차원과 동일한 예측 깊이 맵에 대응되는 깊이 정보의 종방향 변화 법칙에 따라, 차원이 단안 이미지의 차원과 동일한 예측 깊이 맵에 대해 잔차 추정을 진행하여, 대응되는 잔차 플롯을 획득할 수 있으며, 제3 스케일 최적화 네트워크의 가산 연산 유닛은 대응되는 잔차 플롯 및 차원이 단안 이미지의 차원과 동일한 예측 깊이 맵에 대해 픽셀 단위 중첩을 진행하여, 최적화된 차원이 단안 이미지의 차원과 동일한 목표 깊이 맵을 획득할 수 있고, 상기 최적화된 깊이 맵을 단안 이미지의 목표 깊이 맵으로 할 수 있다.

하나의 선택적인 예에서, 상기 각 실시예의 깊이 추정 뉴럴 네트워크는, 양안 이미지 스테레오 매칭을 통해 획득된 조밀 깊이 맵 및 희소 깊이 맵을 주석 데이터로 하여, 준 감독의 트레이닝을 진행하여 획득된다.

본 실시예에서, 다른 방법을 사용하여 획득된 트레이닝 데이터의 “주석 데이터”는 비교적 희소한 바, 즉 깊이 맵 중 유효한 픽셀 값이 비교적 적으므로 양안 매칭을 통해 획득된 깊이 맵을 트레이닝 데이터의 “주석 데이터”로 한다.

본 출원의 실시예에서 제공하는 단안 이미지 깊이 추정 방법은 다른 구조 분석, 자율 주행, 보조 주행, 목표 추적 및 로봇의 자동 장애물 회피 분야에 응용될 수 있다. 예를 들어, 운전 장면에서, 본 출원의 실시예에서 제공하는 단안 이미지 깊이 추정 방법을 이용하여 전방 차량 또는 보행자의 거리를 예측할 수 있다. 휴대폰으로 촬영할 경우, 본 출원의 실시예에서 제공하는 단안 이미지 깊이 추정 방법을 이용하여 예측한 깊이 정보에 대해, 단안 블러링 동작을 진행할 수 있으며, 본 출원의 실시예에서 제공하는 단안 이미지 깊이 추정 방법의 예측 결과를 이용하여, 물체 추적 알고리즘을 개선함에 있어서 유리하다.

도 5는 본 출원의 일부 실시예의 단안 이미지 깊이 추정 장치의 구조 모식도이다.

도 5에 도시된 바와 같이, 상기 장치는 깊이 추정 뉴럴 네트워크(510)를 포함한다. 여기서,

깊이 추정 뉴럴 네트워크(510)는, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득하며; 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득하도록 구성된다.

본 실시예에서, 단안 이미지는 이미지 수집 기기로부터 획득된 이미지일 수 있고, 저장 장치로부터 획득된 이미지일 수도 있으며, 예를 들어, 이미지 수집 기기는 카메라, 비디오 카메라, 스캐너 등일 수 있고, 저장 장치는 USB 메모리, CD, 하드웨어 등일 수 있으며, 본 실시예는 단안 이미지의 획득 방식에 대해 한정하지 않는다. 여기서, 단안 이미지 중 각 기설정 영역의 절대적 특징은 단안 이미지 중 각 기설정 영역의 국부적 외관을 표시할 수 있는 바, 예를 들어, 이는 텍스처 특징, 기하학 특징 등을 포함할 수 있다. 단안 이미지 중 각 기설정 영역 사이의 상대적 특징은 단안 이미지 중 각 기설정 영역의 국부적 외관 사이의 차이성을 표시할 수 있는 바, 예를 들어, 이는 텍스처 차이, 기하학적 차이 등을 포함할 수 있다. 단안 이미지 중의 각 기설정 영역은 이미지의 특징에 따라 설정될 수 있다. 본 실시예의 깊이 맵은 이미지 중 각 픽셀의 픽셀 값으로 이미지 중의 각 픽셀과 이미지 수집 기기 사이의 거리를 나타내는 맵이다.

하나의 선택적인 예에서, 도 5에 도시된 바와 같이, 깊이 추정 뉴럴 네트워크(510)는, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징을 결합하여, 단안 이미지의 글로벌 특징을 획득하도록 구성되는 완전 연결 계층(511)을 포함할 수 있다. 깊이 추정 뉴럴 네트워크(510)는, 단안 이미지의 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 깊이를 추정하고, 단안 이미지의 예측 깊이 맵을 획득하도록 구성되는 깊이 추정기(512)를 더 포함할 수 있다. 예를 들어, 깊이 추정기는 완전 컨볼루션 네트워크를 사용할 수 있고, 완전 컨볼루션 네트워크는 주로 컨볼루션 계층 및 디컨볼루션 계층으로 구성되며, 이는 이미지의 기하학적 분포 정보, 즉 이미지의 글로벌 특징, 이미지 중 각 기설정 영역의 절대적 특징과 각 기설정 영역 사이의 상대적 특징에 따라, 이미지 중 각 픽셀의 깊이 값을 회귀하여, 예측 깊이 맵을 획득한다.

본 실시예에서 제공하는 단안 이미지 깊이 추정 장치는, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득하며, 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득하고, 단안 이미지의 깊이 추정에서 이미지 중 각 기설정 영역의 상대적 특징과 절대적 특징 사이의 상호보완을 이용함으로써, 깊이 추정 중 상대 거리의 예측의 정확도가 향상되어, 단안 이미지 깊이 추정의 정확도를 향상시킬 수 있다.

도 6은 본 출원의 다른 실시예들의 단안 이미지 깊이 추정 장치의 구조 모식도이다.

도 6에 도시된 바와 같이, 도 5의 실시예와 비교하면, 양자의 상이한 점은, 상기 장치는 제1 뉴럴 네트워크(620)를 더 포함한다는 것이. 여기서,

제1 뉴럴 네트워크(620)는, 단안 이미지에 대해 특징 추출을 진행하여, 단안 이미지 중 각 기설정 영역의 특징을 획득하고, 각 기설정 영역의 특징을 단안 이미지 중 각 기설정 영역의 절대적 특징으로 하도록 구성된다. 예를 들어, 제1 뉴럴 네트워크는 하나의 컨볼루션 계층 및 풀링 계층으로 구성된 코더 네트워크를 사용할 수 있고, 단안 이미지는 코더 네트워크를 통해 특징 추출을 진행함으로써, 이미지의 고차원 특징을 획득할 수 있다.

깊이 추정 뉴럴 네트워크(610)는 또한, 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하기 위한 것이다.

하나의 선택적인 예에서, 도 6에 도시된 바와 같이, 깊이 추정 뉴럴 네트워크(610)는, 단안 이미지 중 각 기설정 영역의 절대적 특징에 대해 관련도 계층을 통해 벡터 연산을 진행하고, 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득할 수 있도록 구성되는 관련도 계층(613)을 더 포함할 수 있다. 여기서, 이미지 중 각 기설정 영역 사이의 상대적 특징은, 이미지 중 각 기설정 영역과 그 주변 기설정 범위 내의 기설정 영역 사이의 상대적 특징일 수 있고, 예를 들어, 단안 이미지 중 각 기설정 영역과 그 주변 기설정 범위 내의 기설정 영역 사이의 특징 벡터에 대해, 점곱 연산을 진행하여, 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득할 수 있다.

선택적으로, 상기 장치는, 단안 이미지에 대해 특징 추출을 진행하기 전에, 단안 이미지에 대해 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득하도록 구성되는 다운 샘플링 계층을 더 포함할 수 있고, 이때 깊이 추정 뉴럴 네트워크(610)는 기설정 차원을 갖는 단안 이미지에 대해 깊이를 추정하여, 산출량을 감소시킴으로써, 데이터 처리의 속도를 향상시킨다. 여기서, 단안 이미지의 차원은 기설정 차원의 배수 예를 들어 8 배이다.

도 7은 본 출원의 다른 실시예들의 단안 이미지 깊이 추정 장치의 구조 모식도이다.

도 7에 도시된 바와 같이, 도 5의 실시예와 비교하면, 양자의 상이한 점은, 상기 장치는, 제2 뉴럴 네트워크(730)를 더 포함한다는 것이다. 여기서,

제2 뉴럴 네트워크(730)는, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화하여, 단안 이미지의 목표 깊이 맵을 획득하도록 구성된다.

선택적으로, 제2 뉴럴 네트워크(730)는, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 예측 깊이 맵에 대해 잔차 추정을 진행하여, 예측 깊이 맵의 잔차 플롯을 획득한 다음, 잔차 플롯에 따라 예측 깊이 맵을 최적화하여, 단안 이미지의 목표 깊이 맵을 획득하도록 구성된다.

하나의 선택적인 예에서, 도 7에 도시된 바와 같이, 제2 뉴럴 네트워크(730)는, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 잔차 추정 네트워크를 통해 예측 깊이 맵에 대해 잔차 추정을 진행하여, 예측 깊이 맵의 잔차 플롯을 획득하도록 구성되는 잔차 추정 네트워크(731); 잔차 플롯 및 예측 깊이 맵에 대해 픽셀 단위 중첩 연산을 진행하고, 단안 이미지의 목표 깊이 맵을 획득하도록 구성되는 가산 연산 유닛(732)을 포함할 수 있다.

선택적으로, 제2 뉴럴 네트워크(730)는 또한, 예측 깊이 맵에 따라 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하기 위한 것이다.

하나의 선택적인 예에서, 도 7에 도시된 바와 같이, 제2 뉴럴 네트워크(730)는, 종방향 풀링 계층을 통해 예측 깊이 맵을 처리하여, 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하도록 구성되는 종방향 풀링 계층(733)을 더 포함할 수 있다. 여기서, 종방향 풀링 계층은 하나의 열벡터를 풀링 핵으로 사용하여, 예측 깊이 맵에 대해 풀링 처리를 진행할 수 있는 바, 예를 들어, 종방향 풀링 계층은 크기가 H×1인 풀링 핵을 사용할 수 있고, 예측 깊이 맵에 대해 풀링 처리를 진행하며, 여기서 H는 1보다 큰 정수이다.

본 실시예에서 제공하는 단안 이미지 깊이 추정 장치는, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 글로벌 특징을 획득하며, 글로벌 특징, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 단안 이미지의 예측 깊이 맵을 획득하고, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화하여, 단안 이미지의 목표 깊이 맵을 획득하며, 단안 이미지의 깊이 추정에서 이미지 중 각 기설정 영역의 상대적 특징과 절대적 특징 사이의 상호 보완을 이용함으로써, 깊이 추정 중 상대 거리의 예측의 정확도가 향상되는 외에도, 또한 이미지 깊이 정보의 종방향 변화 법칙을 이용하여 최적화를 진행하여, 깊이 추정 중 절대 거리 예측의 정확도를 향상시킴으로써, 단안 이미지 깊이 추정의 정확도를 전반적으로 향상시킬 수 있다.

하나의 선택적인 예에서, 제1 뉴럴 네트워크를 통해 단안 이미지에 대해 특징 추출을 진행하기 전에, 다운 샘플링 계층 단안 이미지에 대해 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득하고, 기설정 차원을 갖는 단안 이미지를 깊이 추정 뉴럴 네트워크에 의해 깊이 추정이 진행된 단안 이미지로 할 경우, 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 예측 깊이 맵을 최적화하여, 멀티 스케일 학습의 방법을 사용함으로써, 단안 이미지 깊이 추정의 정확도를 향상시킬 수 있다.

선택적으로, 상기 장치는, 예측 깊이 맵에 대해 기설정 횟수의 업 샘플링을 진행하도록 구성되는 업 샘플링 계층; 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵에 따라 깊이 정보의 종방향 변화 법칙을 획득하도록 구성되는 종방향 풀링 계층; 및 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵의 깊이 정보의 종방향 변화 법칙에 따라, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵을 최적화하여, 최적화된 목표 깊이 맵을 획득하도록 구성되는 제2 뉴럴 네트워크를 더 포함할 수 있다. 여기서, 최종 업 샘플링 이외의 각각의 업 샘플링에 의해 획득된 최적화된 목표 깊이 맵을, 다음 업 샘플링의 예측 깊이 맵으로 하며, 최종 업 샘플링하여 획득된 최적화된 목표 깊이 맵을 단안 이미지의 목표 깊이 맵으로 하고, 상기 목표 깊이 맵의 차원은 단안 이미지의 차원과 동일하다.

하나의 선택적인 예에서, 상기 각 실시예의 깊이 추정 뉴럴 네트워크는, 양안 이미지 스테레오 매칭을 통해 획득된 조밀 깊이 맵 및 희소 깊이 맵을 주석 데이터로 하여, 준 감독의 트레이닝을 진행하여 획득된다.

하나의 선택적인 예에서, 다른 방법을 사용하여 획득된 트레이닝 데이터의 “주석 데이터”가 비교적 희소하며, 즉 깊이 맵 중 유효한 픽셀 값이 비교적 적으므로, 양안 이미지 스테레오 매칭을 사용하여 획득된 깊이 맵을 트레이닝 데이터의 “주석 데이터”로 한다. 본 출원의 실시예는 모바일 단말, 개인 컴퓨터(PC), 태블릿 PC, 서버 등과 같은 전자 기기를 더 제공한다. 이하 도 8을 참조하면, 본 출원의 실시예를 구현하는 단말 기기 또는 서버에 적용되는 전자 기기(800)의 구조 모식도이다. 도 8에 도시된 바와 같이, 전자 기기(800)는 하나 또는 복수의 프로세서, 통신부 등을 포함하고, 상기 하나 또는 복수의 프로세서 예를 들어, 하나 또는 복수의 중앙 처리 장치(CPU)(801), 및/또는 하나 또는 복수의 그래픽 처리 장치(GPU)(813) 등이며, 프로세서는 롬(ROM)(802)에 저장된 실행 가능한 명령 또는 저장 부분(808)에서 램(RAM)(803)에 로딩된 실행 가능한 명령에 따라 다양한 적한 동작 및 처리를 수행한다. 통신부(812)는 랜 카드를 포함하지만 이에 한정되지 않고, 상기 랜 카드는 인피니 밴드(Infiniband, IB) 네트워 카드를 포함하지만 이에 한정되지 않으며, 프로세서는 롬(802) 및/또는 RAM(803)과 통신하여 실행 가능한 명령어를 수행할 수 있으며, 버스(804)를 통해 통신부(812)와 서로 연결되며, 통신부(812)에 의해 다른 목표 기기와 통신하여, 본 출원의 실시예에서 제공하는 임의의 방법에 대응되는 동작을 완성하는 바, 예를 들어, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하고; 상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득한다.

또한, RAM(803)에는 또한, 장치의 동작에 필요한 다양한 프로그램 및 데이터가 저장되어 있을 수 있다. CPU(801), ROM(802) 및 RAM(803)은 버스(804)를 통해 서로 연결된다. RAM(803)이 존재하는 경우, ROM(802)은 선택적인 모듈이다. RAM(803)은 실행 가능한 명령어를 저장하거나, 또는 실행될 경우 ROM(802)에 실행 가능한 명령어를 기록하고, 실행 가능한 명령어는 중앙 처리 장치(801)가 상기 통신 방법에 대응되는 단계를 실행하도록 한다. 입력/출력(I/O) 인터페이스(805)도 버스(804)에 연결된다. 통신부(812)는 통합 설치될 수 있고, 복수의 서브 모듈(예를 들어 복수의 IB 네트워크 카드)을 구비하도록 설치될 수도 있으며, 버스에 연결된다.

하기의 부재는 I/O인터페이스(805)에 연결되는 바, 키보드, 마우스 등을 포함하는 입력 부분(806), 예컨대 음극선관(CRT), 액정 모니터(LCD) 등 및 확성기 등을 포함하는 출력 부분(807), 하드웨어 등을 포함하는 저장 부분(808); 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신 부분(809)을 포함한다. 통신 부분(809)은 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 드라이버(810)는 또한 필요에 따라 I/O인터페이스(805)에 연결된다. 자기 디스크, CD, 자기 CD, 반도체 메모리 등과 같은 제거 가능한 매체(811)가 필요에에 따라 드라이버(810)에 설치되어 제거 가능한 매체로부터 판독된 컴퓨터 프로그램이 필요에 따라 저장 부분(808)에 설치된다.

설명해야 할 것은, 도 8에 도시된 아키텍처는 단지 선택적인 실시방식으로서, 구체적인 실천 과정에서 실제 요구사항에 따라 상기 도 8의 부재의 개수 및 타입은 선택, 삭제, 증가 또는 교체될 수 있다. 상이한 기능의 부재의 설치에 있어서, 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수 있는 바, 예를 들어 GPU(813)와 CPU(801)는 분리 설치될 수 있거나 또는 GPU(813)를 CPU(801)에 통합시키고, 통신부는 분리 설치될 수 있으며, CPU(801) 또는 GPU(813)에 통합 설치될 수도 있다. 이러한 대안적인 실시형태는 모두 본 출원에 개시된 보호범위에 속한다.

특히, 본 출원의 실시예에 따르면, 상기 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 출원의 실시예는 컴퓨터 프로그램 제품을 포함하는 바, 기계 판독 가능 매체에 유형적으로 포함되는 컴퓨터 프로그램을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하는 프로그램 코드를 포함하며, 프로그램 코드는 본 출원의 실시예에서 제공하는 방법을 실행하는 단계에 대응되는 명령어를 포함할 수 있는 바, 예를 들어, 깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하며; 상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득한다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 부분(809)을 통해 네트워크에서 다운 및 설치될 수 있거나, 및/또는 제거 가능한 매체(811)에 의해 설치될 수 있다. 상기 컴퓨터 프로그램이 중앙 처리 장치(CPU)(801)에 의해 실행될 경우, 본 출원의 방법 중 한정된 상기 기능을 실행한다.

하나 또는 복수의 선택적인 실시형태에서, 본 출원의 실시예는 컴퓨터 프로그램 제품을 더 제공하였고 컴퓨터 판독 가능한 명령어를 저장하도록 구성되며, 상기 명령어가 실행될 경우 컴퓨터는 상기 임의의 가능한 실시형태 중의 이미지 복구 방법을 수행한다.

상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 그 조합의 방식으로 구현된다. 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체에 의해 구현되며, 다른 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 예를 들어 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구체적으로 구현될 수 있다.

하나 또는 복수의 선택적인 실시형태에서, 본 출원의 실시예는 단안 이미지 깊이 추정 방법 및 이에 대응되는 장치, 전자 기기, 컴퓨터 저장 매체, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품을 더 제공하며, 여기서, 상기 방법은 제1 장치가 제2 장치에 단안 이미지 깊이 추정 지시를 송신하는 단계 - 상기 지시는 제2 장치가 상기 임의의 가능한 실시예 중의 단안 이미지 깊이 추정 방법을 실행하도록 함 - ; 및 제1 장치가 제2 장치에 의해 송신된 단안 이미지 깊이 추정 결과를 수신하는 단계를 포함한다.

일부 실시예에서, 상기 단안 이미지 깊이 추정 지시는 스케줄링 명령어일 수 있고, 제1 장치는 스케줄링된 방식으로 제2 장치가 단안 이미지 깊이 추정을 실행하도록 지시하며, 상응하게 스케줄링 명령어를 수신한 것 응답하며, 제2 장치는 상기 단안 이미지 깊이 추정 방법 중의 임의의 실시예 중의 단계 및/또는 흐름을 실행할 수 있다.

본 출원의 실시예 중의 “제1”, “제2” 등 용어는 단지 구별을 위해서만 사용되며 본 출원의 실시예에 대한 한정으로 이해되어서는 안된다는 것을 이해해야 한다.

또한 본 출원에서 “복수”는 두 개 또는 두 개 이상을 가리키며, “적어도 하나”는 하나, 두 개 또는 두 개 이상을 가리킬 수 있음을 이해해야 한다.

또한 본 출원에서 언급된 임의의 컴포넌트, 데이터 또는 구조에 대해,문맥상 명확하게한 한정이 없거나 전후 문장에서 상반되는 동기가 제공되지 않는 경우, 일반적으로 하나 또는 복수로 이해할 수 있다.

본 출원의 각 실시예의 설명은 각 실시예 사이의 차이점에 초점을 맞추고, 실시예의 동일하거나 유사한 점은 서로 참조 가능하다는 것을 이해해야 하며, 간결함을 위해 더이상 설명하지 않는다.

많은 방식으로 본 출원의 방법 및 장치를 구현할 수 있다. 예를 들어, 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 본 출원의 방법 및 장치를 구현한다. 상기 방법의 단계의 상기 순서는 단지 설명을 위한 것으로서, 별도의 다른 방식으로 특별히 설명하지 않는 한, 본 출원의 방법의 단계는 상기의 구체적으로 설명된 순서에 한정되지 않는다. 또한, 일부 실시예에서, 본 출원을 기록 매체에 기록된 프로그램으로 구현될 수 있으며, 이러한 프로그램은 본 출원의 방법을 구현하는 기계 판독 가능 명령어를 포함한다. 따라서, 본 출원은 본 출원에 따른 방법을 실행하는 프로그램을 저장하기 위한 기록 매체를 더 포함한다.

본 출원의 설명은 단지 예 및 설명을 위해 제공된 것으로서, 본 출원을 개시된 형태로 완전하게 하거나 한정하려는 것은 아니다. 많은 수정 및 변경은 당업자에게 명백하다. 실시예들은 본 출원의 원리 및 실제 응용을 더 잘 설명하고, 당업자가 본 출원을 이해하게하여 특정 용도에 적용 가능한 다양한 수정들을 갖는 다양한 실시 예들을 설계하도록 선택되고 설명된다.

Claims (30)

1. 단안 이미지 깊이 추정 방법으로서,
   깊이 추정 뉴럴 네트워크에 기반하여, 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하는 단계; 및
   상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득하는 단계를 포함하며;
   상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득한 후,
   상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계를 더 포함하며;
   상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하기 전에,
   상기 예측 깊이 맵에 따라 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하는 단계를 더 포함하며;
   상기 예측 깊이 맵에 따라 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하는 단계는,
   종방향 풀링 계층을 통해 상기 예측 깊이 맵을 처리하여, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하는 단계를 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
2. 청구항 1에 있어서,
   상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하기 전에,
   상기 단안 이미지에 대해 제1 뉴럴 네트워크를 통해 특징 추출을 진행하여, 상기 단안 이미지 중 각 기설정 영역의 특징을 획득하며, 상기 각 기설정 영역의 특징을 상기 단안 이미지 중 각 기설정 영역의 절대적 특징으로 하는 단계; 및
   상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하는 단계를 더 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
3. 청구항 2에 있어서,
   상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하는 단계는,
   상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 대해 관련도 계층을 통해 벡터 연산을 진행하여, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
4. 청구항 2 또는 청구항 3에 있어서,
   상기 단안 이미지에 대해 제1 뉴럴 네트워크를 통해 특징 추출을 진행하기 전에,
   상기 단안 이미지에 대해 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득하는 단계를 더 포함하고, 단안 이미지의 차원은 상기 기설정 차원의 배수인 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
5. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
   상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하는 단계는,
   완전 연결 계층을 통해 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징을 결합하여, 상기 단안 이미지의 글로벌 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
6. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
   상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득하는 단계는,
   상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 깊이 추정기를 통해 깊이를 추정하여, 상기 단안 이미지의 예측 깊이 맵을 획득하는 단계를 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
7. 삭제
8. 청구항 1에 있어서,
   상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계는,
   상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하는 단계; 및
   상기 잔차 플롯에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계를 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
9. 청구항 8에 있어서,
   상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하는 단계는,
   상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라, 잔차 추정 네트워크를 통해 상기 예측 깊이 맵에 대해 잔차 추정을 진행하여, 상기 예측 깊이 맵의 잔차 플롯을 획득하는 단계를 포함하고,
   상기 잔차 플롯에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계는,
   상기 잔차 플롯 및 상기 예측 깊이 맵에 대해 픽셀 단위 중첩 연산을 진행하여, 상기 단안 이미지의 목표 깊이 맵을 획득하는 단계를 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
10. 삭제
11. 삭제
12. 청구항 1에 있어서,
    상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하는 단계는,
    상기 예측 깊이 맵에 대해 기설정 횟수의 업 샘플링을 진행하고, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵에 따라 깊이 정보의 종방향 변화 법칙을 획득하며, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵의 깊이 정보의 종방향 변화 법칙에 따라, 각각의 업 샘플링에 의해 획득된, 차원이 순차적으로 배수로 커지는 예측 깊이 맵을 최적화하여, 최적화된 목표 깊이 맵을 획득하는 단계를 포함하고,
    최종 업 샘플링 이외의 각각의 업 샘플링에 의해 획득된 최적화된 목표 깊이 맵을 다음 업 샘플링의 예측 깊이 맵으로 하고, 최종 업 샘플링하여 획득된 최적화된 목표 깊이 맵을 상기 단안 이미지의 목표 깊이 맵으로 하며, 상기 목표 깊이 맵의 차원과 상기 단안 이미지의 차원은 동일한 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
13. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 깊이 추정 뉴럴 네트워크는, 관련도 계층, 완전 연결 계층 및 깊이 추정기를 포함하고, 주석 데이터로서 희소 깊이 맵 및 양안 이미지 스테레오 매칭을 통해 획득된 조밀 깊이 맵을 이용하여 상기 깊이 추정 뉴럴 네트워크에 대해 트레이닝을 진행하여 획득하는 것을 특징으로 하는 단안 이미지 깊이 추정 방법.
14. 단안 이미지 깊이 추정 장치로서,
    단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 글로벌 특징을 획득하고, 상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 상기 단안 이미지의 예측 깊이 맵을 획득하도록 구성되는 깊이 추정 뉴럴 네트워크를 포함하며;
    상기 단안 이미지 깊이 정보의 종방향 변화 법칙에 따라 상기 예측 깊이 맵을 최적화하여, 상기 단안 이미지의 목표 깊이 맵을 획득하도록 구성되는 제2 뉴럴 네트워크를 더 포함하며;
    상기 제2 뉴럴 네트워크는 또한, 상기 예측 깊이 맵에 따라 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하기 위한 것이며;
    상기 제2 뉴럴 네트워크는,
    상기 예측 깊이 맵을 처리하여, 상기 단안 이미지 깊이 정보의 종방향 변화 법칙을 획득하도록 구성되는 종방향 풀링 계층을 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 장치.
15. 청구항 14에 있어서,
    상기 단안 이미지에 대해 특징 추출을 진행하여, 상기 단안 이미지 중 각 기설정 영역의 특징을 획득하고, 상기 각 기설정 영역의 특징을 상기 단안 이미지 중 각 기설정 영역의 절대적 특징으로 하도록 구성되는 제1 뉴럴 네트워크를 더 포함하고,
    상기 깊이 추정 뉴럴 네트워크는 또한, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 따라, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하기 위한 것임을 특징으로 하는 단안 이미지 깊이 추정 장치.
16. 청구항 15에 있어서,
    상기 깊이 추정 뉴럴 네트워크는,
    상기 단안 이미지 중 각 기설정 영역의 절대적 특징에 대해 벡터 연산을 진행하여, 상기 단안 이미지 중 각 기설정 영역 사이의 상대적 특징을 획득하도록 구성되는 관련도 계층을 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 장치.
17. 청구항 15 또는 청구항 16에 있어서,
    상기 단안 이미지에 대해 특징 추출을 진행하기 전에, 상기 단안 이미지에 대해 다운 샘플링을 진행하여, 기설정 차원을 갖는 단안 이미지를 획득하도록 구성되는 다운 샘플링 계층을 더 포함하고, 상기 단안 이미지의 차원은 상기 기설정 차원의 배수인 것을 특징으로 하는 단안 이미지 깊이 추정 장치.
18. 청구항 14 내지 청구항 16 중 어느 한 항에 있어서,
    상기 깊이 추정 뉴럴 네트워크는,
    상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징을 결합하여, 상기 단안 이미지의 글로벌 특징을 획득하도록 구성되는 완전 연결 계층; 또는
    상기 글로벌 특징, 상기 단안 이미지 중 각 기설정 영역의 절대적 특징 및 각 기설정 영역 사이의 상대적 특징에 따라, 깊이를 추정하여, 상기 단안 이미지의 예측 깊이 맵을 획득하도록 구성되는 깊이 추정기를 포함하는 것을 특징으로 하는 단안 이미지 깊이 추정 장치.
19. 삭제
20. 전자 기기로서,
    실행 가능한 명령어를 저장하도록 구성되는 메모리; 및
    상기 실행 가능한 명령어를 실행하여 청구항 1 내지 청구항 3 중 어느 한 항에 따른 단안 이미지 깊이 추정 방법을 완성하도록 구성되는 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
21. 컴퓨터 판독 가능 기록 매체에 저장되고, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능 코드가 기기에서 실행될 경우, 상기 기기 중의 프로세서는 청구항 1 내지 청구항 3 중 어느 한 항에 따른 단안 이미지 깊이 추정 방법을 구현하는 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램.
22. 컴퓨터 판독 가능한 명령어가 저장되도록 구성되는 컴퓨터 저장 매체로서,
    상기 명령어가 실행될 경우 청구항 1 내지 청구항 3 중 어느 한 항에 따른 단안 이미지 깊이 추정 방법을 구현하는 것을 특징으로 하는 컴퓨터 저장 매체.
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제

Images