KR20210089737A

KR20210089737A - 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체

Info

Publication number: KR20210089737A
Application number: KR1020217017780A
Authority: KR
Inventors: 용 치; 시아오준 시앙; 한칭 지앙; 구오펭 장
Original assignee: 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-07-10
Filing date: 2019-08-21
Publication date: 2021-07-16
Also published as: TWI738196B; CN112215880B; TW202103106A; JP7116262B2; US20210350559A1; CN112215880A; SG11202108201RA; JP2022515517A; WO2021003807A1

Abstract

본 발명의 실시예는 이미지 깊이 추정 방법을 제공하고, 상기 방법은, 현재 프레임에 대응되는 기준 프레임 및 현재 프레임의 역 깊이 공간 범위를 획득하는 단계; 현재 프레임 및 기준 프레임에 대해 피라미드 다운 샘플링 처리를 각각 수행하여, 현재 프레임에 대응되는 k 층의 현재 이미지, 및 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하는 단계 - k는 2보다 크거나 같은 자연수임 - ; 및 k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 현재 프레임의 역 깊이 추정 결과를 획득하는 단계를 포함한다. 상기 방안을 실시하는 것을 통해, 이미지의 깊이 추정 결과를 실시간으로 획득할 수 있고, 깊이 추정 결과의 정확도가 높다.

Description

이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체

관련 출원의 상호 참조

본 출원은 출원 번호가 201910621318.4이고 출원일이 2019년 7월 10일이고 출원 명칭이 "이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체"인 중국 특허 출원에 기반하여 제출한 것이며, 상기 중국특허 출원의 우선권을 주장하고, 상기 중국 특허 출원의 전부 내용은 본 출원에 참조 자료로서 인용된다.

본 발명은 컴퓨터 시각 기술 영역에 관한 것으로서, 특히 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체에 관한 것이다.

이미지의 깊이 추정은 컴퓨터 시각 분야에서 중요한 문제이다. 이미지의 깊이 정보를 직접 획득할 수 없을 경우, 깊이 추정 방법을 통해서만 시나리오의 3 차원 재구축을 수행할 수 있음으로써, 증강 현실 및 게임 등 애플리케이션을 위해 서비스한다.

현재, 컴퓨터 시각에 기반한 깊이 추정 방법은 주동적인 시각 방법 및 피동적인 시각 방법으로 나뉠 수 있다. 여기서, 주동적인 시각 방법은 측정 물체에 제어 가능한 빔을 방출한 다음, 빔에 의해 물체 표면에서 형성된 이미지를 촬영하고, 기하학적 관계를 통해 측정 물체 거리를 계산하는 방법을 가리키고, 피동적인 시각 방법은 입체 시각, 포커싱 방법 및 디포커싱 방법 등을 포함하며, 주로 하나 또는 복수 개의 촬영 장치에 의해 획득된 2 차원 이미지 정보를 통해 깊이 정보를 결정한다.

본 발명의 실시예는 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체를 제공하기를 원한다.

본 발명의 실시예는 아래와 같이 구현된다.

본 발명의 실시예는 이미지 깊이 추정 방법을 제공하고, 상기 방법은,

현재 프레임에 대응되는 기준 프레임 및 상기 현재 프레임의 역 깊이 공간 범위를 획득하는 단계;

상기 현재 프레임 및 상기 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 상기 현재 프레임에 대응되는 k 층의 현재 이미지 및 상기 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하는 단계 - k는 2보다 크거나 같은 자연수임 - ; 및

상기 k 층의 기준 이미지 및 상기 역 깊이 공간 범위에 기반하여, 상기 k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 상기 현재 프레임의 역 깊이 추정 결과를 획득하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 현재 프레임의 역 깊이 추정 결과를 결정하기 위해, 현재 프레임 및 현재 프레임에 대응되는 기준 프레임에 대해 다운 샘플링 처리를 수행하여, 획득된 다중 계층의 현재 이미지와 다중 계층의 기준 이미지를 결합하여 역 깊이 추정 반복 처리를 수행한다. 역 깊이 추정 결과를 결정하는 과정에서, 역 깊이 검색 공간을 계층 별로 감소시킴으로써, 역 깊이 추정의 계산량을 감소시키고, 추정 속도를 향상시켜, 역 깊이 추정 결과를 실시간으로 획득할 수 있다.

상기 이미지 깊이 추정 방법에 있어서, 상기 현재 프레임에 대응되는 기준 프레임을 획득하는 단계는,

적어도 두 개의 선별될 프레임을 획득하는 단계; 및

상기 적어도 두 개의 선별될 프레임로부터, 상기 현재 프레임과 기설정된 각도 제약 조건을 만족하는 적어도 하나의 프레임을 선택하고, 상기 적어도 하나의 프레임을 상기 기준 프레임으로 사용하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 기설정된 각도 기설정된 조건에 따라 적어도 두 개의 선별될 프레임으로부터 기준 프레임을 선택하면, 품질이 비교적 좋고, 현재 프레임과 매칭하기에 적절한 프레임을 어느 정도로 선택할 수 있음으로써, 후속 깊이 추정 과정에서 추정의 정확성을 향상시킨다.

상기 이미지 깊이 추정 방법에 있어서, 상기 기설정된 각도 제약 조건은,

상기 현재 프레임에 대응되는 포즈 중심 및 상기 기준 프레임에 대응되는 포즈 중심이, 타겟 포인트와의 연결선에 의해 형성된 협각은 제1 기설정된 각도 범위에 존재하고; 상기 타겟 포인트가 상기 현재 프레임에 대응되는 평균 깊이 포인트와 상기 기준 프레임에 대응되는 평균 깊이 포인트의 연결선의 중점인 것;

상기 현재 프레임 및 상기 기준 프레임에 대응되는 광축 협각이 제2 기설정된 각도 범위에 존재하는 것; 및

상기 현재 프레임 및 상기 기준 프레임에 대응되는 세로축 협각이 제3 기설정된 각도 범위에 존재하는 것을 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 첫 번째 각도 조건은 현재 시나리오부터 두 개의 카메라까지 거리를 한정하였고, 각도가 너무 크면 시나리오가 너무 가까워서, 두 개의 프레임의 중첩도가 비교적 낮은 것을 설명하며, 각도가 너무 작으면, 시나리오가 너무 멀고, 시차가 비교적 작아, 오차가 비교적 큰 것을 설명하며, 카메라가 아주 가까울 경우에도 각도가 너무 작은 경우가 발생될 수 있으며, 이때의 오차도 마찬가지로 비교적 크다. 제2 각도 조건은 두 개의 카메라가 충분한 공동 시야 영역을 갖도록 보장하기 위한 것이다. 세 번째 각도 조건은 카메라가 광축을 중심으로 회전하여, 후속 깊이 추정 계산 과정에 영향을 미치는 것을 예방하기 위한 것이다. 상기 세 개의 각도 조건을 동시에 만족하는 프레임을 기준 프레임으로 사용하면 현재 프레임 깊이 추정의 정확도를 향상시킴에 있어서 유리하다.

상기 이미지 깊이 추정 방법에 있어서, 상기 k 층의 기준 이미지 및 상기 역 깊이 공간 범위에 기반하여, 상기 k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 상기 현재 프레임의 역 깊이 추정 결과를 획득하는 단계는,

상기 k 층의 현재 이미지 및 상기 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계 - 상기 i 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 i 번째 계층의 현재 이미지가 샘플링되어 획득된 픽셀 포인트이고, i는 1보다 크거나 같고 k보다 작거나 같은 자연수임 - ;

상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 상기 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하는 단계;

i=i+1으로 하면, i=k 일때까지, 상기 k 층의 현재 이미지 중 해상도가 상기 i 번째 계층의 현재 이미지보다 높은 i+1 번째 계층의 현재 이미지에 대해 계속 역 깊이 추정을 수행하여, K 번째 계층의 역 깊이 값을 획득하는 단계; 및

상기 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 예를 들어 꼭대기 층(첫 번째 계층)의 현재 이미지(픽셀이 가장 적은 이미지)로부터, 밑층을 향해 역 깊이 추정 반복을 차례로 수행하여, 역 깊이 검색 공간을 계층 별로 축소시킬 수 있음으로써, 역 깊이 추정의 계산량을 효과적으로 감소시킨다.

상기 이미지 깊이 추정 방법에 있어서, 상기 k 층의 현재 이미지 및 상기 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계는,

상기 역 깊이 공간 범위에 대해 구간 분할을 수행하고, 각 분할 구간에서 하나의 역 깊이 값을 선택하여, 복수 개의 초기 역 깊이 값을 얻는 단계;

상기 복수 개의 초기 역 깊이 값을 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하는 단계;

i가 1이 아닐 경우, 상기 k 층의 현재 이미지로부터 i-1 번째 계층의 샘플링 포인트 및 i-1 번째 계층의 역 깊이 값을 획득하는 단계; 및

상기 i-1 번째 계층의 역 깊이 값, i-1 번째 계층의 샘플링 포인트 및 상기 복수 개의 초기 역 깊이 값에 기반하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 역 깊이 공간 범위에 대해 구간 분할을 수행함으로써, 상이한 구간 내에서 역 깊이 값을 선택하여, 각 구간 내에 역 깊이 후보 값으로서 역 깊이 값이 존재하도록 할 수 있다. 다시 말해, 각 샘플링 포인트는 상이한 역 깊이 범위 내에서 하나의 역 깊이 후보 값이 존재하고, 후속으로 샘플링 포인트의 역 깊이 값을 결정하여, 상이한 역 깊이 범위의 역 깊이 값이 역 깊이 값 추정 결정을 수행할 수 있도록 보장할 수 있어, 추정 과정이 전체 역 깊이 공간 범위를 커버하도록 보장함으로써, 정확한 역 깊이 값을 최종적으로 추정할 수 있다.

상기 이미지 깊이 추정 방법에 있어서, 상기 i-1 번째 계층의 역 깊이 추정 값, i-1 번째 계층의 샘플링 포인트 및 상기 복수 개의 초기 역 깊이 값에 기반하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계는,

상기 i-1 번째 계층의 샘플링 포인트로부터, 제1 샘플링 포인트와 거리가 가장 가까운 제2 샘플링 포인트 및 상기 제2 샘플링 포인트에 인접한 적어도 두 개의 제3 샘플링 포인트를 결정하는 단계 - 상기 제1 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ;

상기 i-1 번째 계층의 역 깊이 값에 따라, 상기 적어도 두 개의 제3 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값 및 상기 제2 샘플링 포인트의 역 깊이 값을 획득하고, 적어도 세 개의 역 깊이 값을 얻는 단계;

상기 적어도 세 개의 역 깊이 값으로부터, 최대 역 깊이 값 및 최소 역 깊이 값을 결정하는 단계;

상기 복수 개의 초기 역 깊이 값으로부터, 상기 최대 역 깊이 값 및 상기 최소 역 깊이 값 범위 내에 위치한 역 깊이 값을 선택하고, 상기 복수 개의 등분된 역 깊이 값을 선택하며, 선택된 역 깊이 값을 상기 제1 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하는 단계; 및

상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 제1 샘플링 포인트가 아닌 샘플링 포인트에 대응되는 역 깊이 후보 값을 계속하여 결정하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, i-1 계층의 샘플링 포인트에 대응되는 역 깊이 값을 이용하여 복수 개의 초기 역 깊이 값으로부터 i 번째 계층의 샘플링 포인트의 역 깊이 후보 값을 결정하므로, i 번째 계층의 샘플링 포인트의 역 깊이 후보 값을 더욱 정확하게 획득할 수 있고, 또한, 역 깊이 후보 값의 개수를 감소시키며, 상응하게, 역 깊이 추정의 계산량을 감소시킨다.

상기 이미지 깊이 추정 방법에 있어서, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 상기 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하는 단계는,

상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대해, 각각 대응되는 역 깊이 후보 값 중 각 역 깊이 값에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트를 상기 i 번째 계층의 기준 이미지에 투영하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트를 획득하는 단계;

상기 i 번째 계층의 샘플링 포인트 및 상기 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하는 단계; 및

상기 i 번째 계층의 매칭 결과에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, i 번째 계층의 샘플링 포인트에 대해, 각각 상응하는 i 번째 계층의 프로젝션 포인트와 매칭함으로써, 상이한 역 깊이 값을 사용하여 투영된 프로젝션 포인트와의 차이 정도를 결정하므로, i 번째 계층의 샘플링 포인트의 역 깊이 값을 정확하게 선택할 수 있다.

상기 이미지 깊이 추정 방법에 있어서, 상기 i 번째 계층의 샘플링 포인트 및 상기 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하는 단계는,

기설정된 창구를 이용하여, 상기 i 번째 계층의 현재 이미지로부터 매칭될 샘플링 포인트를 중심으로 한 제1 이미지 블록을 선택하고, 상기 i 번째 계층의 기준 이미지로부터 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트 중 각 프로젝션 포인트를 각각 중심으로 한 복수 개의 제2 이미지 블록을 선택하는 단계 - 상기 매칭될 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ;

상기 제1 이미지 블록을 각각 상기 복수 개의 제2 이미지 블록 중 각 이미지 블록과 비교하여, 복수 개의 매칭 결과를 획득하고, 상기 복수 개의 매칭 결과를 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로 결정하는 단계; 및

상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 매칭될 샘플링 포인트와 상이한 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 계속하여 결정하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 블록 매칭의 방식을 이용하여 샘플링 포인트 및 프로젝션 포인트의 매칭을 수행하고, 얻은 매칭 결과는 실제로 매칭되는 페널티 값이며, 이는 상기 프로젝션 포인트와 샘플링 포인트의 차이도를 나타내며, 상응하게, 상기 프로젝션 포인트를 투영한 역 깊이 값이 샘플링 포인트 역 깊이 값으로 사용 가능한 정도를 반영하므로, 그 결과를 이용하여 후속 비교적 정확하게 샘플링 포인트의 역 깊이 값을 선택할 수 있다.

상기 이미지 깊이 추정 방법에 있어서, 상기 i 번째 계층의 매칭 결과에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하는 단계는,

타겟 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로부터 타겟 매칭 결과를 선택하는 단계 - 상기 타겟 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ;

상기 타겟 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트에서, 상기 타겟 매칭 결과에 대응되는 프로젝션 포인트를 타겟 프로젝션 포인트로 결정하는 단계;

상기 역 깊이 후보 값에서, 상기 타겟 프로젝션 포인트에 대응되는 역 깊이 값을 상기 타겟 샘플링 포인트의 역 깊이 값으로 결정하는 단계; 및

상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 타겟 샘플링 포인트와 상이한 샘플링 포인트의 역 깊이 값을 계속 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 상기 샘플링 포인트 매칭의 과정에 대한 것은, 실제로 하나의 샘플링 포인트에 대한 것이며, 상이한 역 깊이 값을 사용하여 투영된 프로젝션 포인트와의 차이 정도를 각각 결정한다. 매칭 결과값 중 최소 결과를 선택하는 것은, 대응되는 프로젝션 포인트와 샘플링 포인트 차이도가 최소인 것을 나타내므로, 상기 프로젝션 포인트에 의해 사용된 역 깊이 값을 샘플링 포인트의 역 깊이 값으로 결정할 수 있음으로써, 샘플링 포인트가 정확한 역 깊이 값을 얻는다.

상기 이미지 깊이 추정 방법에 있어서, 상기 K 번째 계층의 역 깊이 값을 획득한 후, 상기 방법은,

상기 K 번째 계층의 역 깊이 값에 대해 보간 최적화을 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계; 및

상기 최적화된 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하는 단계를 더 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 상기 과정에서 추정된 깊이가 이산값이므로, 2차 보간을 더 수행할 수 있고, 각 샘플링 포인트의 역 깊이를 조정함으로써, 더욱 정확한 역 깊이 값을 획득한다.

상기 이미지 깊이 추정 방법에 있어서, 상기 K 번째 계층의 역 깊이 값에 대해 보간 최적화을 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계는,

상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해, 각각 K 번째 계층의 샘플링 포인트에서 대응되는 샘플링 포인트의 후보 역 깊이 값으로부터, 인접한 역 깊이 값을 선택하는 단계 - 상기 K 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 K 번째 계층의 현재 이미지를 샘플링하여 획득된 픽셀 포인트임 - ;

상기 인접한 역 깊이 값에 대응되는 매칭 결과를 획득하는 단계; 및

상기 인접한 역 깊이 값 및 상기 인접한 역 깊이 값에 대응되는 매칭 결과에 기반하여, 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해 보간 최적화를 수행하여, 상기 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 결정된 샘플링 포인트의 역 깊이 값, 이에 인접한 역 깊이 값 및 인접한 역 깊이 값에 대응되는 매칭 결과를 이용하여, 샘플링 포인트의 역 깊이 값에 대해 정밀한 보간 조정을 수행하고, 조정 방식이 간단하고 빠르다.

본 발명의 실시예는 이미지 깊이 추정 장치를 제공하고, 상기 장치는,

현재 프레임에 대응되는 기준 프레임 및 상기 현재 프레임의 역 깊이 공간 범위를 획득하도록 구성된 획득 부분;

상기 현재 프레임 및 상기 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 상기 현재 프레임에 대응되는 k 층의 현재 이미지 및 상기 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하도록 구성된 다운 샘플링 부분 - k는 2보다 크거나 같은 자연수임 - ; 및

상기 k 층의 기준 이미지 및 상기 역 깊이 공간 범위에 기반하여, 상기 k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 상기 현재 프레임의 역 깊이 추정 결과를 획득하도록 구성된 추정 부분을 포함한다.

상기 이미지 깊이 추정 장치에서, 상기 획득 부분은, 구체적으로 적어도 두 개의 선별될 프레임을 획득하고; 상기 적어도 두 개의 선별될 프레임로부터, 상기 현재 프레임과 기설정된 각도 제약 조건을 만족하는 적어도 하나의 프레임을 선택하고, 상기 적어도 하나의 프레임을 상기 기준 프레임으로 사용하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 기설정된 각도 제약 조건은,

상기 현재 프레임에 대응되는 포즈 중심 및 상기 기준 프레임에 대응되는 포즈 중심이, 타겟 포인트와의 연결선에 의해 형성된 협각이 제1 기설정된 각도 범위에 존재하는 것; 상기 타겟 포인트가 상기 현재 프레임에 대응되는 평균 깊이 포인트와 상기 기준 프레임에 대응되는 평균 깊이 포인트의 연결선의 중점인 것;

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은, 구체적으로 상기 k 층의 현재 이미지 및 상기 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하고 - 상기 i 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 i 번째 계층의 현재 이미지가 샘플링되어 획득된 픽셀 포인트이고, i는 1보다 크거나 같고 k보다 작거나 같은 자연수임 - ; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 상기 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하며; i=i+1이면, 상기 k 층의 현재 이미지 중 해상도가 상기 i 번째 계층의 현재 이미지보다 높은 i+1 번째 계층의 현재 이미지에 대해 계속 역 깊이 추정을 수행하여, i=k 일때까지, K 번째 계층의 역 깊이 값을 획득하며; 상기 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은, 구체적으로 상기 역 깊이 공간 범위에 대해 구간 분할을 수행하고, 각 분할 구간에서 하나의 역 깊이 값을 선택하여, 복수 개의 초기 역 깊이 값을 얻고; 상기 복수 개의 초기 역 깊이 값을 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하며; i가 1이 아닐 경우, 상기 k 층의 현재 이미지로부터 i-1 번째 계층의 샘플링 포인트 및 i-1 번째 계층의 역 깊이 값을 획득하며; 상기 i-1 번째 계층의 역 깊이 추정 값, i-1 번째 계층의 샘플링 포인트, 및 상기 복수 개의 초기 역 깊이 값에 기반하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은, 구체적으로 상기 i-1 번째 계층의 샘플링 포인트로부터 제1 샘플링 포인트와 거리가 가장 가까운 제2 샘플링 포인트, 및 상기 제2 샘플링 포인트에 인접한 적어도 두 개의 제3 샘플링 포인트를 결정하고 - 상기 제1 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 i-1 번째 계층의 역 깊이 값에 따라, 상기 적어도 두 개의 제3 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값 및 상기 제2 샘플링 포인트의 역 깊이 값을 획득하여, 적어도 세 개의 역 깊이 값을 얻으며; 상기 적어도 세 개의 역 깊이 값으로부터, 최대 역 깊이 값 및 최소 역 깊이 값을 결정하며; 상기 복수 개의 초기 역 깊이 값으로부터, 상기 최대 역 깊이 값 및 상기 최소 역 깊이 값 범위 내에 위치한 역 깊이 값을 선택하고, 선택된 역 깊이 값을 상기 제1 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할때 까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 제1 샘플링 포인트가 아닌 샘플링 포인트에 대응되는 역 깊이 후보 값을 계속하여 결정하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은, 구체적으로 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대해, 각각 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트를 상기 i 번째 계층의 기준 이미지에 투영하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트를 획득하고; 상기 i 번째 계층의 샘플링 포인트 및 상기 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하며; 상기 i 번째 계층의 매칭 결과에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은, 구체적으로 기설정된 창구를 이용하여, 상기 i 번째 계층의 현재 이미지로부터 매칭될 샘플링 포인트를 중심으로 한 제1 이미지 블록을 선택하고, 상기 i 번째 계층의 기준 이미지로부터 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트 중 각 프로젝션 포인트를 각각 중심으로 한 복수 개의 제2 이미지 블록을 선택하고 - 상기 매칭될 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 제1 이미지 블록을 각각 상기 복수 개의 제2 이미지 블록 중 각 이미지 블록과 비교하여, 복수 개의 매칭 결과를 획득하고, 상기 복수 개의 매칭 결과를 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 매칭될 샘플링 포인트와 상이한 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 계속하여 결정하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은, 구체적으로 타겟 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로부터 타겟 매칭 결과를 선택하고 - 상기 타겟 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 타겟 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트에서, 상기 타겟 매칭 결과에 대응되는 프로젝션 포인트를 타겟 프로젝션 포인트로 결정하며; 상기 역 깊이 후보 값에서, 상기 타겟 프로젝션 포인트에 대응되는 역 깊이 값을 상기 타겟 샘플링 포인트의 역 깊이 값으로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 타겟 샘플링 포인트와 상이한 샘플링 포인트의 역 깊이 값을 계속 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은 또한, 상기 K 번째 계층의 역 깊이 값에 대해 보간 최적화을 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하고; 상기 최적화된 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하도록 구성된다.

상기 이미지 깊이 추정 장치에서, 상기 추정 부분은, 구체적으로 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해, 각각 K 번째 계층의 샘플링 포인트에서 대응되는 샘플링 포인트의 후보 역 깊이 값으로부터, 인접한 역 깊이 값을 선택하고 - 상기 K 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 K 번째 계층의 현재 이미지를 샘플링하여 획득된 픽셀 포인트임 - ; 상기 인접한 역 깊이 값에 대응되는 매칭 결과를 획득하며; 상기 인접한 역 깊이 값 및 상기 인접한 역 깊이 값에 대응되는 매칭 결과에 기반하여, 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해 보간 최적화를 수행하여, 상기 최적화된 K 번째 계층의 역 깊이 값을 획득하도록 구성된다.

본 발명의 실시예는 전자 기기를 제공하고, 상기 전자 기기는 프로세서, 메모리 및 통신 버스를 포함하며; 여기서,

상기 통신 버스는, 상기 프로세서 및 상기 메모리 사이의 연결 통신을 구현하도록 구성되고;

상기 프로세서, 이미지 깊이 추정 방법을 구현하기 위해, 상기 메모리에 저장된 이미지 깊이 추정 프로그램을 실행하도록 구성된다.

상기 전자 기기에서, 상기 전자 기기는 핸드폰 또는 태블릿 컴퓨터이다.

본 발명의 실시예는 하나 또는 복수 개의 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행될 수 있어, 상기 이미지 깊이 추정 방법을 구현한다.

본 발명의 실시예는 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능한 코드가 프로세서에 의해 실행될 경우, 상기 이미지 깊이 추정 방법에 대응되는 단계를 구현한다.

이로부터 알다시피, 본 발명의 실시예의 기술방안에서, 현재 프레임에 대응되는 기준 프레임 및 현재 프레임의 역 깊이 공간 범위를 획득하고; 현재 프레임 및 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 현재 프레임에 대응되는 k 층의 현재 이미지, 및 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하며; k는 2보다 크거나 같은 자연수이며; k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 현재 프레임의 역 깊이 추정 결과를 획득한다. 다시 말해, 본 발명에서 제공한 기술 방안은, 복수 계층의 현재 이미지에 복수 계층의 기준 이미지를 결합하여 역 깊이 추정 반복 처리를 수행하여, 역 깊이 검색 공간을 계층별로 감소시키고, 현재 프레임의 역 깊이 추정 결과를 결정하며, 상기 역 깊이 추정 결과는 현재 프레임의 픽셀 포인트가 카메라 좌표계에서의 z 축 좌표값의 역수이며, 좌표 변환을 추가로 수행할 필요없으며, 역 깊이 검색 공간을 계층 별로 감소시키므로 역 깊이 추정의 계산량을 감소시키는데 도움이 되며, 추정 속도를 향상시킴으로써, 이미지의 깊이 추정 결과를 실시간으로 획득할 수 있고, 깊이 추정 결과의 정확도가 비교적 높다.

도 1은 본 발명의 실시예에서 제공한 이미지 깊이 추정 방법의 흐름 예시도이다.
도 2는 본 발명의 실시예에서 제공한 예시적인 카메라 포즈 협각의 예시도이다.
도 3은 본 발명의 실시예에서 제공한 역 깊이 추정 반복 처리의 흐름 예시도 1이다.
도 4는 본 발명의 실시예에서 제공한 예시적인 3 층의 현재 이미지의 예시도이다.
도 5는 본 발명의 실시예에서 제공한 역 깊이 후보 값을 결정하는 흐름 예시도이다.
도 6은 본 발명의 실시예에서 제공한 예시적인 샘플링 포인트 투영 예시도이다.
도 7은 본 발명의 실시예에서 제공한 역 깊이 추정 반복 처리의 흐름 예시도 2이다.
도 8은 본 발명의 실시예에서 제공한 이미지 깊이 추정 장치의 구조 예시도이다.
도 9는 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이다.

아래에, 본 발명의 실시예에서의 도면을 결합하여, 본 발명의 실시예에서의 기술 방안에 대해 명확하고 완전한 설명을 진행한다.

본 발명의 실시예는 이미지 깊이 추정 방법을 제공하고, 그 실행 주체는 이미지 깊이 추정 장치일 수 있으며, 예를 들어, 이미지 깊이 추정 방법은 단말 기기 또는 서버 또는 다른 전자 기기에 의해 실행될 수 있으며, 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 이미지 깊이 추정 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식으로 구현된다. 도 1은 본 발명의 실시예에서 제공한 이미지 깊이 추정 방법의 흐름 예시도이다. 도 1에 도시된 바와 같이, 주로 아래와 같은 단계를 포함한다.

단계 S101에 있어서, 현재 프레임에 대응되는 기준 프레임 및 현재 프레임의 역 깊이 공간 범위를 획득한다.

본 발명의 실시예에 있어서, 실행 주체가 이미지 깊이 추정 장치인 것을 예로 설명한다. 먼저, 이미지 깊이 추정 장치가 현재 프레임에 대해 깊이 추정을 수행할 경우, 현재 프레임에 대응되는 기준 프레임 및 현재 프레임의 역 깊이 공간 범위를 먼저 획득해야 한다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 현재 프레임은 깊이 추정을 수행해야 하는 이미지이고, 기준 프레임은 현재 프레임에 대해 깊이 추정을 수행해야 할 경우, 기준 매칭을 수행하기 위한 이미지이며, 기준 프레임의 개수는 복수 개일 수 있고, 깊이 추정의 속도 및 로버스트의 밸런스를 고려하면, 5 개 좌우의 기준 프레임을 선택하는 것이 비교적 적합하며, 구체적인 현재 프레임의 기준 프레임은 본 발명의 실시예에서 한정하지 않는다.

구체적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 현재 프레임에 대응되는 기준 프레임을 획득하는 단계는, 적어도 두 개의 선별될 프레임을 획득하는 단계; 및 적어도 두 개의 선별될 프레임으로부터, 현재 프레임 사이와 기설정된 각도 제약 조건을 만족하는 적어도 하나의 프레임을 선택하고, 상기 적어도 하나의 프레임을 기준 프레임으로 사용하는 단계를 포함한다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 또한 다른 방식으로 기준 프레임을 획득할 수 있고, 예를 들어, 사용자에 의해 송신된 적어도 두 개의 선별될 프레임에 대한 선택 명령어를 수신하며, 선택 명령어에 의해 지시된 적어도 하나의 프레임을 기준 프레임으로 사용한다. 구체적인 기준 프레임 획득 방식은 본 출원의 실시예에서 한정하지 않는다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치에 의해 적어도 두 개의 선별될 프레임으로부터, 선택된 현재 프레임에 대응되는 기준 프레임은 복수 개일 수 있지만, 각 기준 프레임은 현재 프레임 사이와 기설정된 각도 제약 조건을 만족한다. 선별될 프레임은 즉 현재 프레임과 동일한 시나리오에 관하여, 상이한 각도 하에서 획득된 이미지이다. 이미지 깊이 추정 장치에는 촬영 모듈이 구성되어 있을 수 있고, 상기 촬영 모듈을 통해 선별될 프레임을 획득할 수 있으며, 물론, 다른 독립적인 촬영 기기를 통해 선별될 프레임을 먼저 획득하고, 이미지 깊이 추정 장치가 촬영 기기로부터 선별될 프레임을 재차 획득할 수도 있다. 구체적인 기설정된 각도 제약 조건은 실제 깊이 추정 필요에 따라 이미지 깊이 추정 장치에 미리 설정될 수 있고, 다른 장치에 저장될 수도 있으며, 깊이 추정을 수행해야 할 경우 다른 장치로부터 획득하거나, 또는 사용자에 의해 입력된 각도 제약 조건을 수신하는 것을 통해 획득하는 것 등일 수 있으며, 본 발명의 실시예는 한정하지 않는다.

구체적으로, 본 발명의 실시예에 있어서, 기설정된 각도 제약 조건은, 현재 프레임에 대응되는 포즈 중심 및 기준 프레임에 대응되는 포즈 중심과 타겟 포인트의 연결선에 의해 형성된 협각이 제1 기설정된 각도 범위 내에 존재하는 것; 타겟 포인트가 현재 프레임에 대응되는 평균 깊이 포인트와 기준 프레임에 대응되는 평균 깊이 포인트의 연결선의 중점인 것; 현재 프레임 및 기준 프레임에 대응되는 광축 협각이 제2 기설정된 각도 범위 내에 존재하는 것; 및 현재 프레임 및 기준 프레임에 대응되는 세로축 협각이 제3 기설정된 각도 범위에 존재하는 것을 포함한다. 여기서, 세로축은 즉 3 차원 공간 중 카메라 좌표계의 Y 축이다.

본 발명의 일부 실시예에 있어서, 현재 프레임에 대응되는 포즈 중심은, 실제로 카메라가 현재 프레임을 획득할 경우의 위치 및 자세 하에서의, 카메라의 중심(빛의 중심)이다. 기준 프레임에 대응되는 포즈 중심은, 실제로 카메라가 기준 프레임을 획득할 경우의 위치 및 자세 하에서의, 카메라의 중심(빛의 중심)이다.

예시적으로, 본 발명의 실시예에 있어서, 도 2에 도시된 바와 같이, 현재 프레임을 획득할 경우 카메라의 포즈를 포즈 1로 정의하고, 기준 프레임을 획득할 경우 카메라의 포즈를 포즈2로 정의하면, 포즈 1일 경우 카메라의 중심(빛의 중심)으로부터 대응되는 시나리오까지의 평균 깊이 포인트는 포인트 P1이고, 포즈 2일 경우 카메라의 중심(빛의 중심)으로부터 대응되는 시나리오까지의 평균 깊이 포인트는 포인트 P2이며, P1 및 P2의 연결선 중점은 포인트 P이며, 기설정된 각도의 기설정된 조건은 구체적으로 세 개의 각도 조건을 포함하고, 첫 번째 각도 조건은, 포즈 1 및 포즈 2일 경우 카메라 중심과 P점의 연결선에 의해 형성된 시야각(α)이 [5^ｏ, 45^ｏ] 사이에 위치한 것이며; 두 번째 각도 조건은, 카메라가 포즈 1 및 포즈 2일 경우의 광축 협각이 [0^ｏ, 45^ｏ] 사이에 위치한 것이며; 세 번째 각도 조건은 카메라가 포즈 1 및 포즈 2일 경우의 Y 축 협각이 [0^ｏ, 30^ｏ] 사이에 위치한 것이며, 이 세 개의 각도 조건을 동시에 만족하는 프레임만 기준 프레임으로 사용될 수 있다. 이상 각도 구간은 모두 실제로 조정될 수 있다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 현재 프레임 및 기준 프레임의 카메라에는 위치 결정 장치가 구성되어 있을 수 있음으로써, 현재 프레임 및 기준 프레임을 획득할 경우 상응하는 포즈를 직접 획득할 수 있고, 이미지 깊이 추정 장치는 위치 결정 장치에서 획득된 관련 포즈를 획득할 수 있으며, 물론, 이미지 깊이 추정 장치는 또한 포즈 추정 알고리즘에 따라, 획득된 현재 프레임 및 기준 프레임에서의 일부 특징 포인트를 결합하여, 상응하는 포즈를 계산할 수 있다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 현재 프레임에 따라 대응되는 역 깊이 공간 범위를 직접 획득할 수 있고, 역 깊이 공간 범위는 현재 프레임에서의 픽셀 포인트의 역 깊이 값이 취할 수 있는 공간 범위이며, 물론, 이미지 깊이 추정 장치는 또한 사용자의 설정 명령어를 수신할 수 있고, 설정 명령어에 따라 사용자에 의해 지시된 역 깊이 공간 범위를 획득할 수 있다. 구체적으로 본 발명의 실시예는 역 깊이 공간 범위를 한정하지 않는다. 예를 들어, 역 깊이 공간 범위는 [dmin, dmax]이고, dmin은 역 깊이 공간 범위 내에서 최소의 역 깊이 값이며, dmax는 역 깊이 공간 범위 내에서 최대의 역 깊이 값이다.

단계 S102에 있어서, 현재 프레임 및 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 현재 프레임에 대응되는 k 층의 현재 이미지, 및 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하고; k는 2보다 크거나 같은 자연수이다.

본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 현재 프레임에 대응되는 기준 프레임을 획득한 후, 현재 프레임 및 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행할 수 있음으로써, 현재 프레임에 대응되는 k 층의 현재 이미지, 및 기준 프레임에 대응되는 k 층의 기준 이미지를 획득한다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 기준 프레임이 복수 개일 수 있으므로, 이미지 깊이 추정 장치가 각 기준 프레임 이미지에 대해 각각 피라미드 다운 샘플링 처리를 수행함으로써, 획득한 k 층의 기준 이미지는 실제로 복수 그룹이며, 구체적인 k 층의 기준 이미지의 개수는 본 발명의 실시예에서 한정하지 않는다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 현재 프레임 및 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 획득한 현재 이미지 피라미드 및 기준 이미지 피라미드의 층수는 동일하고, 사용된 스케일링 인자도 동일하다. 예를 들어, 이미지 깊이 추정 장치가 현재 프레임 및 기준 프레임에 대해 각각 스케일링 인자가 2인 다운 샘플링을 수행하여, 3 층의 현재 이미지 및 3 층의 기준 이미지를 형성하고, 이 두 세트의 3 층의 이미지 중, 꼭대기 층의 이미지의 해상도가 가장 낮고, 중간 계층 이미지의 해상도가 꼭대기 층의 이미지의 해상도보다 높으며, 하위 계층 이미지의 해상도가 가장 높으며, 실제로, 하위 계층 이미지가 바로 원래 이미지이며, 즉 대응되는 현재 프레임 및 기준 프레임이다. 구체적인 이미지 층수(k), 및 다운 샘플링의 스케일링 인자는 실제 필요에 따라 미리 설정될 수 있으며, 본 발명의 실시예는 한정하지 않는다.

예시적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 현재 프레임It에 대응되는 5 개의 기준 프레임을 획득하였고, 이들은 각각, 기준 프레임(I1), 기준 프레임(I2), 기준 프레임(I3), 기준 프레임(I4), 및 기준 프레임(I5)이며, 이미지 깊이 추정 장치는 이러한 프레임에 대해 각각 스케일링 인자가 2인 다운 샘플링을 수행함으로써, 현재 프레임(It)에 대응되는 3 층의 현재 이미지, 및 기준 프레임(I1), 기준 프레임(I2), 기준 프레임(I3), 기준 프레임(I4) 및 기준 프레임(I5) 각각에 대응되는 3 층의 기준 이미지를 획득한다.

단계 S103에 있어서, k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 현재 프레임에 대응되는 역 깊이 추정 결과를 획득한다.

본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 k 층의 현재 이미지 및 k 층의 기준 이미지를 획득한 후, k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행할 수 있고, 예를 들어 꼭대기 층(첫 번째 계층)의 현재 이미지(픽셀이 가장 적은 이미지)로부터, 가장 밑의 K 번째 계층까지, 차례로 하위 계층으로 역 깊이 추정 반복을 수행하여, 역 깊이 검색 공간을 계층 별로 감소시키며, 현재 프레임에 대응되는 역 깊이 추정 결과를 획득한다.

도 3은 본 발명의 실시예에서 제공한 역 깊이 추정 반복 처리의 흐름 예시도1 이다. 도 3에 도시된 바와 같이, 이미지 깊이 추정 장치가 k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 현재 프레임에 대응되는 역 깊이 추정 결과를 획득하는 단계는 아래와 같은 단계를 포함한다.

S301, k 층의 현재 이미지 및 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하고; i 번째 계층의 샘플링 포인트는 k 층의 현재 이미지 중 i 번째 계층의 현재 이미지를 샘플링하여 획득된 픽셀 포인트이고, i는 1보다 크거나 같고 k보다 작거나 같은 자연수이다.

본 발명의 실시예에 있어서, k 층의 현재 이미지에서 해상도의 오름순에 따르면, 첫 번째 계층의 현재 이미지, 두 번째 계층의 현재 이미지, 세 번째 계층의 현재 이미지, ……, K 번째 계층의 현재 이미지를 순차적으로 포함하고, 첫 번째 계층의 현재 이미지는 k 층의 현재 이미지에서의 꼭대기 층의 이미지이고, K 번째 계층의 현재 이미지는 현재 이미지 피라미드에서의 하위 계층의 이미지이며, 마찬가지로, k 층의 기준 이미지에서 해상도의 오름순에 따르면, 첫 번째 계층의 기준 이미지, 두 번째 계층의 기준 이미지, 세 번째 계층의 기준 이미지, ……, K 번째 계층의 기준 이미지를 순차적으로 포함하며, 첫 번째 계층의 기준 이미지는 기준 이미지 피라미드에서의 꼭대기 층의 이미지이고, K 번째 계층의 기준 이미지는 기준 이미지 피라미드에서의 하위 계층의 이미지이다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 k 층의 현재 이미지 중 i 번째 계층의 현재 이미지에 대해 픽셀 포인트 샘플링을 수행할 수 있고, 샘플링으로 획득된 픽셀 포인트는 즉 i 번째 계층의 샘플링 포인트이며, 구체적인 i의 값은 1보다 크거나 같고 k보다 작거나 같은 자연수이고, 본 발명의 실시예는 한정하지 않는다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 i 번째 계층의 현재 이미지에 대해 픽셀 포인트 샘플링을 수행하는 단계는, 기설정된 샘플링 스텝 사이즈에 따라 구현된다. 구체적인 샘플링 스텝 사이즈는 실제 필요에 따라 결정될 수 있고, 본 발명의 실시예는 한정하지 않는다.

도 4는 본 발명의 실시예에서 제공한 예시적인 3 층의 현재 이미지의 예시도이다. 도 4에 도시된 바와 같이, 이미지 깊이 추정 장치는 미리 현재 프레임에 대해, x 축 및 y 축 좌표에서 샘플링 스텝 사이즈 2에 따라 픽셀 포인트 샘플링을 수행할 수 있어, 총3 층의 현재 이미지를 획득할 수 있으며, 여기서, 첫 번째 계층의 현재 이미지 해상도가 가장 낮고, 두 번째 계층의 현재 이미지 해상도가 첫 번째 계층의 현재 이미지보다 높으며, 세 번째 계층의 현재 이미지 해상도가 두 번째 계층의 현재 이미지보다 높으며, 세 번째 계층의 현재 이미지는 실제로 현재 프레임 원래 이미지이다.

구체적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 k 층의 현재 이미지 및 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 역 깊이 후보 값을 결정하는 단계는, i가 1일 경우, 역 깊이 공간 범위에 대해 구간 등분을 수행하여, 분할 구간의 복수 개의 등분된 역 깊이 값을 획득하는 단계; 복수 개의 등분된 역 깊이 값을 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하는 단계; i가 1이 아닐 경우, k 층의 현재 이미지로부터 i-1 번째 계층의 샘플링 포인트, 및 i-1 번째 계층의 역 깊이 추정 값을 획득하는 단계; 및 i-1 번째 계층의 역 깊이 추정 값, i-1 번째 계층의 샘플링 포인트, 및 복수 개의 등분된 역 깊이 값에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계를 포함한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 역 깊이 공간 범위에 대해 구간 분할을 수행함으로써, 상이한 구간 내에서 역 깊이 값을 선택하여, 각 구간 내에 역 깊이 후보 값으로서 역 깊이 값이 존재하도록 할 수 있다. 다시 말해, 각 샘플링 포인트는 상이한 역 깊이 범위 내에서 모두 하나의 역 깊이 후보 값이 존재하고, 후속 샘플링 포인트의 역 깊이 값을 결정하면, 상이한 역 깊이 범위의 역 깊이 값이 모두 역 깊이 값 추정 결정을 수행할 수 있는 것을 보장할 수 있으며, 추정 과정이 전체 역 깊이 공간 범위를 커버하는 것을 보장함으로써, 최종적으로 정확한 역 깊이 값을 추정할 수 있다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, i가 1일 경우, 이미지 깊이 추정 장치는 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정해야 하고, 여기서, 첫 번째 계층의 샘플링 포인트는 k 층의 현재 이미지 중 해상도가 가장 낮은 첫 번째 계층의 현재 이미지에서의 샘플링 포인트이며, 이미지 깊이 추정 장치는 현재 프레임에 대응되는 역 깊이 공간 범위가 [dmin, dmax]인 것을 획득하면, 이를 등분할 수 있고, 분할 구간의 q 개의 등분된 역 깊이 값(d1, d2, ……, dq)을 획득하며, 이 q 개의 등분된 역 깊이 값을 초기 역 깊이 값, 즉 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정할 수 있으며, 물론, 역 깊이 후보 값은 또한 dmin 및 dmax을 포함할 수 있다. 즉 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 경우, 이에 대응되는 역 깊이 후보 값은 완전히 동일하다. 이미지 깊이 추정 장치가 역 깊이 공간 범위에 대한 등분된 구간은 실제 필요에 따라 설정될 수 있으며, 본 발명의 실시예는 한정하지 않는다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 상기 등분의 방식에 따라 역 깊이 공간 범위에 대해 구간 분할을 수행하고, 분할 구간의 역 깊이 값을 역 깊이 후보 값으로 사용하면, 역 깊이 후보 값이 전체 역 깊이 공간 범위를 커버하는 것을 보장할 수 있고, 후속 역 깊이 후보 값으로부터 결정된 역 깊이 값이 더욱 정확한 것을 보장할 수 있다.

설명해야 할 것은, 본 발명의 실시예에 있어서, i가 1일 경우, 역 깊이 공간 범위를 등분의 방식으로 분할하는 것 외에, 또한 비등분 방식으로 분할할 수 있다. 예를 들어, 미리 설정된 복수 개의 상이한 간격으로 순차적으로 역 깊이 공간 범위를 분할하거나, 기설정된 초기 분할 간격에 기반하여, 간격 변화 규칙을 결합하여, 각 분할마다 간격을 조정한 다음, 조정된 간격을 이용하여 다음 구간을 분할한다. 물론, 초기 역 깊이 값의 선택은 직접 분할된 구간에서 하나의 역 깊이 값을 랜덤으로 선택할 수도 있으며, 각 분할 구간의 중간 역 깊이 값을 선택할 수도 있다. 구체적인 구간 분할 방식 및 초기 역 깊이 값의 선택 방식은 본 발명의 실시예에서 한정하지 않는다.

설명해야 할 것은, 본 발명의 실시예에 있어서, i가 1이 아닐 경우, 이미지 깊이 추정 장치는 k 층의 현재 이미지로부터 i-1 번째 계층의 샘플링 포인트, 즉 k 층의 현재 이미지로부터, i-1 번째 계층의 샘플링 포인트를 샘플링하여 획득된 픽셀 포인트를 획득해야 하고, 또한, i-1 번째 계층의 역 깊이 값을 획득해야 한다. 각 계층의 현재 이미지는 모두 상이한 샘플링 스텝 사이즈로 샘플링될 수 있다. 여기서, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하기 전, i=i-1일 경우, 이미지 깊이 추정 장치는 이미 상기 역 깊이 추정 단계에 따라 i 번째 계층의 역 깊이 값, 즉 i-1 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 획득하였다. 따라서, 이미지 깊이 추정 장치는 i-1 번째 계층의 역 깊이 값을 직접 획득할 수 있고, 더 나아가 i-1 번째 계층의 역 깊이 값, i-1 번째 계층의 샘플링 포인트, 및 복수 개의 등분된 역 깊이 값에 따라, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할 수 있다.

도 5는 본 발명의 실시예에서 제공한 역 깊이 후보 값을 결정하는 흐름 예시도이다. 도 5에 도시된 바와 같이, 이미지 깊이 추정 장치는 i-1 번째 계층의 역 깊이 추정 값, i-1 번째 계층의 샘플링 포인트, 및 복수 개의 초기 역 깊이 값에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계는 아래와 같은 단계를 포함한다.

단계 S501에 있어서, i-1 번째 계층의 샘플링 포인트로부터 제1 샘플링 포인트와 거리가 가장 가까운 제2 샘플링 포인트, 및 제2 샘플링 포인트에 인접한 적어도 두 개의 제3 샘플링 포인트를 결정하고; 제1 샘플링 포인트는 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트이다.

단계 S502에 있어서, i-1 번째 계층의 역 깊이 값에 따라, 적어도 두 개의 제3 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값, 및 제2 샘플링 포인트의 깊이 값을 획득하고, 적어도 세 개의 역 깊이 값을 얻는다.

단계 S503에 있어서, 적어도 세 개의 역 깊이 값으로부터, 최대 역 깊이 값 및 최소 역 깊이 값을 결정한다.

단계 S504에 있어서, 복수 개의 초기 역 깊이 값으로부터, 최대 역 깊이 값 및 최소 역 깊이 값 범위 내의 역 깊이 값을 선택하고, 선택된 역 깊이 값을 제1 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정한다.

단계 S505에 있어서, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할 때까지, i 번째 계층의 샘플링 포인트 중 제1 샘플링 포인트가 아닌 샘플링 포인트에 대응되는 역 깊이 후보 값을 계속 결정한다.

설명해야 할 것은, 본 발명의 실시예에 있어서, i가 1일 경우, i 번째 계층의 샘플링 포인트, 즉 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값은, 동일하지만, i가 1이 아닐 경우, i 번째 계층의 샘플링 포인트 중, 각 샘플링 포인트에 대응되는 i 번째 계층의 역 깊이 후보 값은 i-1 번째 계층의 샘플링 포인트 및 i-1 번째 계층의 역 깊이 값에 따라, 복수 개의 초기 역 깊이 값로부터 선택하여, 범위가 비교적 작은 역 깊이 후보 값을 결정하고, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값은 동일하지 않을 수 있다.

예시적으로, 본 발명의 실시예에 있어서,

는 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트, 이미지 깊이 추정 장치는 i-1 번째 계층의 샘플링 포인트에서 거리(

)가 가장 가까운 샘플링 포인트(

)를 검색할 수 있음으로써, i-1 번째 계층의 샘플링 포인트로부터

을 중심으로, 이에 인접한 복수 개의 (예를 들어8 개) 샘플링 포인트를 결정한 다음, i-1 번째 계층의 역 깊이 값에 따라,

, 및 이에 인접한 8 개의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 획득하며, 즉 9 개의 역 깊이 값을 획득하며, 더 나아가, 9 개의 역 깊이 값 중 최대의 역 깊이 값(d1) 및 최소의 역 깊이 값(d2)을 한계로, 복수 개의 초기 역 깊이 값에서 d1 및 d2 사이의 깊이 값을 선택하며, d1 및 d2도 선택하며,

에 대응되는 후보역 깊이 값으로 결정한다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 i-1 번째 계층의 샘플링 포인트로부터 제2 샘플링 포인트에 인접한 제3 샘플링 포인트를 결정하고, 주위의 8 개의 샘플링 포인트를 제3 샘플링 포인트로 결정할 수 있으며, 물론, 이의 좌우에 인접한 2 개의 샘플링 포인트, 또는 상하에 인접한 2 개의 샘플링 포인트를 제3 샘플링 포인트로 결정할 수도 있으며, 또한 이의 상하 좌우에 인접한 4 개의 샘플링 포인트를 제3 샘플링 포인트로 결정할 수 있으며, 구체적인 제3 샘플링 포인트의 개수는 본 발명의 실시예에서 한정하지 않는다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 또한 다른 규칙에 따라 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할 수 있다. 예를 들어, 사용자에 의해 설정된 상이한 계층의 샘플링 포인트에 대해 설정된 상이한 역 깊이 후보 값을 수신하고, 동일한 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값은 동일하다. 구체적인 역 깊이 후보 값의 결정 방식은 본 발명의 실시예에서 한정하지 않는다.

단계 S302에 있어서, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득한다.

구체적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하는 단계는, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대해, 각각 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트를 i 번째 계층의 기준 이미지에 투영하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트를 획득하는 단계; i 번째 계층의 샘플링 포인트 및 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭을 수행하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하는 단계; 및 i 번째 계층의 매칭 결과에 따라, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하는 단계를 포함한다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 i 번째 계층의 샘플링 포인트에서의 각 샘플링 포인트에 대해, 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라 i 번째 계층의 기준 이미지에 투영한다. 물론, 복수 개의 기준 프레임이 존재하면, 상응하게, 복수 개의 i 번째 계층의 기준 이미지가 존재하므로, 이미지 깊이 추정 장치는 i 번째 계층의 샘플링 포인트에서의 각 샘플링 포인트를, 각각 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라, 각 K 번째 계층의 기준 이미지에 각각 투영한다.

구체적으로, 본 발명의 실시예에 있어서, 현재 프레임(t) 및 기준 프레임(r)의 경우, 이미지 깊이 추정 장치가 i 번째 계층의 샘플링 포인트에서의 어느 하나의 샘플링 포인트

, u 및 v에 대한 것은 상기 샘플링 포인트의 x 축 및 y 축 좌표이고,

에 대응되는 역 깊이 후보 값에서의 어느 하나의 역 깊이 값(

)의 경우, 아래의 공식(1) 및 공식(2)에 따라 K 번째 계층의 기준 이미지에 투영한다.

,

(1)

(2)

설명해야 할 것은, K는 현재 프레임(t) 및 기준 프레임(r)을 획득하는 카메라에 대응되는 카메라내부 변수 매트릭스이고,

및

는 i 번째 계층의 현재 이미지에 대응되는 초점 거리가 x 축 및 y 축에서의 픽셀 매트릭에 기반한 스케일링 인자이며,

는 픽셀을 사용하여 설명된 x 축 방향 초점 거리의 길이이며,

는 픽셀을 사용하여 설명된 y 축 방향 초점 거리의 길이이다.

는 i 번째 계층의 현재 이미지의 메인 포인트 위치이고,

는 3×3의 회전 매트릭스이며,

는 3×1의 평행 이동 벡터이다. 공식(1)에서 최종적으로 획득된

은 3×1의 매트릭스이며, 여기서, 첫 번째 행의 요인은

이며, 두 번째 행의 요인은

이며, 세 번째 행의 요인은

이며, 공식(2)에 따라 추가로 계산하면, 샘플링 포인트(

)가 대응되는 역 깊이 후보 값에서의 역 깊이 값(

)에 따라, 기준 프레임(r) 중 i 번째 계층의 기준 이미지에 투영된 프로젝션 포인트(

)를 획득할 수 있다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, i 번째 계층의 샘플링 포인트에서의 각 샘플링 포인트의 경우, 공식(2) 및 공식(3)을 통해, 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라 i 번째 계층의 기준 이미지에 투영하고, 복수 개의 i 번째 계층의 기준 이미지일 경우, 중복 실행하면 된다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 i 번째 계층의 프로젝션 포인트를 획득한 후, i 번째 계층의 샘플링 포인트 및 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭을 수행할 수 있고, 구체적으로 i 번째 계층의 샘플링 포인트에서의 각 샘플링 포인트, 대응되는 i 번째 계층의 프로젝션 포인트에서의 각 프로젝션 포인트에 대해 각각 블록 매칭을 수행하는 것임으로써, 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득한다.

구체적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 i 번째 계층의 샘플링 포인트 및 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭을 수행하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하는 단계는, 기설정된 창구를 이용하여, i 번째 계층의 현재 이미지로부터 매칭될 샘플링 포인트를 중심으로 하는 제1 이미지 블록을 선택하고, i 번째 계층의 기준 이미지로부터 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트에서의 각 프로젝션 포인트를 각각 중심으로 하는 복수 개의 제2 이미지 블록을 선택하는 단계 - 매칭될 샘플링 포인트는 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 제1 이미지 블록을 각각 복수 개의 제2 이미지 블록 중 각 이미지 블록과 비교하여, 복수 개의 매칭 결과를 획득하고, 복수 개의 매칭 결과를 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로 결정하는 단계; 및 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득할 때까지, i 번째 계층의 샘플링 포인트 중 매칭될 샘플링 포인트와 상이한 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 계속 결정하는 단계를 포함한다. 예를 들어, 3×3의 창구를 사용하여, i 번째 계층의 현재 이미지 및 i 번째 계층의 기준 이미지에서, 각각 i 번째 계층의 샘플링 포인트에서의 각 샘플링 포인트 및 이에 대응되는 프로젝션 포인트을 중심으로, 샘플링 포인트 및 프로젝션 포인트의 영역 포인트를 획득하여, 두 개의 이미지 블록을 얻은 다음, 획득된 이미지 블록 중 대응되는 위치의 픽셀 포인트의 픽셀값을 비교하여, 두 개의 이미지 블록의 매칭되는 페널티값(예를 들어 픽셀 차이값의 절대치의 합)을 얻는다. 동일한 역 깊이 값, 각 i 번째 계층의 기준 이미지에 대해, 하나의 페널티값을 얻을 수 있으며; 복수 개의 i 번째 계층의 기준 이미지가 존재할 경우, 얻은 복수 개의 페널티값을 융합하면(예를 들어 복수 개의 페널티값의 평균값을 구함), 각 샘플링 포인트가 하나의 역 깊이 값에 대응되는 i 번째 계층의 매칭 결과를 얻을 수 있다. 각 샘플링 포인트의 복수 개의 역 깊이 값에 대해, 각 역 깊이 값에 대응되는 페널티값을 얻을 수 있고, 즉 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 얻을 수 있다.

구체적으로, 본 발명의 실시예에 있어서, 도 6에 도시된 바와 같이, 현재 프레임(t) 및 m 개의 기준 프레임에 대해, m은 1보다 크거나 같은 자연수이고, 이미지 깊이 추정 장치는 i 번째 계층의 샘플링 포인트에서의 어느 하나의 샘플링 포인트(

)에 대해, 아래의 공식(3)에 도시된 바에 따라, 대응되는 i 번째 계층의 프로젝션 포인트 중 역 깊이 값을

로 투영하여 획득된 프로젝션 포인트(

)와 블록 매칭을 수행함으로써, i 번째 계층의 매칭 결과 중 역 깊이 값이

인 매칭 결과를 획득한다.

(3)

여기서,

는

자체에 대응되는 후보 역 깊이 값에서의 역 깊이 값(

)에 따라, m 개의 기준 프레임 중 각 프레임에 각각 대응되는 i 번째 계층의 기준 이미지에 각각 투영된 프로젝션 포인트이고, 총 m 개이다.

는

및

의 인접 영역 픽셀값 비교 함수이고, 상기 비교 함수는

및

의 인접 영역 그레이 스케일값의 0 평균값 정규화 공분산(Zero-mean Normalized Cross Correlation, ZNCC)일 수 있고, 절대 차이의 합(Sum of absolute differences, SAD) 또는 차이의 제곱의 합(Sum of Squared Differences, SSD)의 두 가지 방법을 사용할 수도 있다.

은 즉

에 대응되는 i 번째 계층의 매칭 결과에서, 역 깊이 값이

인 매칭 결과이다.

설명해야 할 것은, 본 발명의 실시예에 있어서, i 번째 계층의 샘플링 포인트에서, 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과는 자체에 대응되는 역 깊이 후보 값에서, 상이한 역 깊이 값의 매칭 결과를 포함하고, 예를 들어, i 번째 계층의 샘플링 포인트에서의 어느 하나의 샘플링 포인트(

)의 경우, 대응되는 역 깊이 후보 값은 d1, d2, ……, dq를 포함하며, 획득된 i 번째 계층의 매칭 결과는 각 역 깊이 값의 매칭 결과를 포함하며, 구체적인 i 번째 계층의 매칭 결과는 본 발명의 실시예에서 한정하지 않는다.

예시적으로, 본 발명의 실시예에 있어서, 현재 프레임에 대응되는 기준 프레임은 2 개의 프레임을 포함하고, 각 프레임에는 한 세트의 2 층의 기준 이미지가 대응되게 존재하며, 즉 두 개의 첫 번째 계층의 기준 이미지가 존재하며, 이미지 깊이 추정 장치는 현재 프레임 중 첫 번째 계층의 현재 이미지의 하나의 샘플링 포인트(

)를, 이에 대응되는 역 깊이 후보 값(

,

및

)에 따라 두 개의 첫 번째 계층의 기준 이미지에 각각 투영하며, 각각 두 개의 첫 번째 계층의 기준 이미지에서 세 개의 프로젝션 포인트를 획득하며, 총 6 개의 프로젝션 포인트를, 이에 대응되는 첫 번째 계층의 프로젝션 포인트로 사용한다. 여기서,

에 따라 첫 번째 계층의 기준 이미지에 투영된 프로젝션 포인트가

이고,

에 따라 다른 첫 번째 계층의 기준 이미지에 투영된 프로젝션 포인트가

이므로,

,

및

를 공식(3)에 대입할 수 있으며, 즉 m은 2이며,

가 역 깊이 값이

인 매칭 결과를 획득하며, 마찬가지로, 역 깊이 후보 값이

및

인 매칭 결과를 획득할 수도 있어,

에 대응되는 i 번째 계층의 매칭 결과를 구성한다.

구체적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 i 번째 계층의 매칭 결과에 따라, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하고, i 번째 계층의 역 깊이 값을 획득하는 단계는, 타겟 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로부터 타겟 매칭 결과를 선택하는 단계 - 타겟 샘플링 포인트는 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 타겟 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트에서, 타겟 매칭 결과에 대응되는 프로젝션 포인트를 타겟 프로젝션 포인트로 결정하는 단계; 역 깊이 후보 값에서, 타겟 프로젝션 포인트에 대응되는 역 깊이 값을 타겟 샘플링 포인트의 역 깊이 값으로 결정하는 단계; 및 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정할 때까지, i 번째 계층의 샘플링 포인트 중 타겟 샘플링 포인트와 상이한 샘플링 포인트의 역 깊이 값을 계속 결정하여, i 번째 계층의 역 깊이 값을 획득하는 단계를 포함한다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득한 후, 아래의 공식(4)에 따라 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트(

)의 역 깊이 값을 결정할 수 있다.

(4)

여기서,

에 대응되는 i 번째 계층의 매칭 결과 중 역 깊이 값이

인 매칭 결과(

)가, 다른 역 깊이 값의 매칭 결과값에 비해 가장 작으므로, 대응되는 역 깊이 값(

)을

인 역 깊이 값으로 실제로 결정한다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 상기 샘플링 포인트 매칭의 과정의 경우, 실제로 하나의 샘플링 포인트에 대해, 상이한 역 깊이 값을 사용하여 투영된 프로젝션 포인트와의 차이 정도를 각각 결정하는 것이고, 공식(4)를 사용하여 역 깊이 값을 결정하는 것은, 실제로 매칭 결과값의 최소 결과를 선택하는 것이며, 대응되는 프로젝션 포인트와 샘플링 포인트의 차이가 가장 작은 것을 나타내므로, 상기 프로젝션 포인트에 의해 사용된 역 깊이 값을 샘플링 포인트의 역 깊이 값으로 결정할 수 있음으로써, 샘플링 포인트가 정확한 역 깊이 값을 얻는다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 방법은 또한 다른 방식으로 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정할 수 있다. 예를 들어, 각 샘플링 포인트 중 대응되는 매칭 결과로부터 특정 범위에 위치한 부분 결과를 선택한 다음, 부분 결과로부터 매칭 결과를 랜덤으로 선택하며, 랜덤으로 선택된 매칭 결과에 대응되는 프로젝션 포인트에 의해 사용된 역 깊이 값을 샘플링 포인트의 역 깊이 값으로 결정한다.

단계 S303에 있어서, i=i+1으로 하면, i=k 일때까지, 계속 k 층의 현재 이미지 중 해상도가 i 번째 계층의 현재 이미지보다 높은 i+1 번째 계층의 현재 이미지에 대해 역 깊이 추정을 수행하여, K 번째 계층의 역 깊이 값을 획득한다.

본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 i 번째 계층의 역 깊이 값을 획득한 후, i=i+1으로 함으로써, 추가로 계속 i 번째 계층의 현재 이미지의 i+1 번째 계층의 현재 이미지에 대해 역 깊이 추정을 수행하며, 그 과정과 i 번째 계층의 역 깊이 값을 획득하는 과정은 동일하며, 여기서 더이상 반복하여 설명하지 않는다, 끊임없는 반복 추정 과정에서, i=k일 때까지, 이미지 깊이 추정 장치는 K 번째 계층의 역 깊이 값, 즉 k 층의 현재 이미지 중 해상도가 가장 높은 이미지, 실제로 현재 프레임 원래 이미지 중 각 샘플링 포인트의 역 깊이 값을 획득하였으므로, i=i+1을 중지한다.

단계 S304에 있어서, K 번째 계층의 역 깊이 값을 역 깊이 추정 결과로 결정한다.

본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 K 번째 계층의 역 깊이 값을 획득한 후, 즉K 번째 계층의 역 깊이 값을 역 깊이 추정 결과로 결정할 수 있다.

선택적으로, 상기 과정에서 추정된 깊이는 이산값이고, 더욱 정확한 역 깊이를 획득하는 것이며, 또한 2차 보간을 수행하여, 각 샘플링 포인트의 역 깊이를 조정할 수 있다. 구체적으로, 도 7에 도시된 바와 같이, 단계 S303 이후 또한 단계 S305 내지 단계 S306을 포함할 수 있다.

단계 S305에 있어서, K 번째 계층의 역 깊이 값에 대해 보간 최적화를 수행하여, 역 깊이 추정 결과를 획득한다.

본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 K 번째 계층의 역 깊이 값을 획득한 후, 더욱 정확한 K 번째 계층의 역 깊이 값을 획득하기 위해, K 번째 계층의 역 깊이 값에 대해 보간 최적화를 수행할 수 있고, 즉 K 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값에 대해 조정 최적화를 수행함으로써, 최적화된 K 번째 계층의 역 깊이 값을 획득하며, 여기서, K 번째 계층의 역 깊이 값은 K 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 값을 포함한다.

구체적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치가 K 번째 계층의 역 깊이 값에 대해 보간 최적화를 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계는, K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해, 각각 K 번째 계층의 샘플링 포인트에서 대응되는 샘플링 포인트의 후보 역 깊이 값으로부터, 역 깊이 값의 인접한 역 깊이 값을 선택하는 단계 - K 번째 계층의 샘플링 포인트는 k 층의 현재 이미지 중 K 번째 계층의 현재 이미지를 샘플링하여 획득된 픽셀 포인트임 - ; 인접한 역 깊이 값에 대응되는 매칭 결과를 획득하는 단계; 및 인접한 역 깊이 값 및 인접한 역 깊이 값에 대응되는 매칭 결과에 기반하여, K 번째 계층의 역 깊이 값에서의 각 역 깊이 값에 대해 보간 최적화를 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계를 포함한다.

구체적으로, 본 발명의 실시예에 있어서, K 번째 계층의 역 깊이 값이 K 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 값을 포함하면, 이미지 깊이 추정 장치는 K 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 값에 대해 보간 최적화를 수행해야 함으로써, 현재 프레임의 역 깊이 추정 결과로서, 보간 최적화 결과를 획득한다. 여기서, K 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트(

)의 경우, 이에 대응되는 역 깊이 값이

이면, 공식(5)에 따라 보간 최적화를 수행할 수 있다.

(5)

여기서,

는 샘플링 포인트(

)에 대응되는 역 깊이 후보 값에서,

에 인접한 이전 역 깊이 값이다.

는

이며,

는

이며,

는

이며,

의 역 깊이 값을 계산할 경우, 공식(3)을 통해 계산하여 얻을 수 있으며,

및

는

에 대응되는 후보 역 깊이 값 중

에 인접한 두 개의 역 깊이 값이며, 여기서 더이상 반복하여 설명하지 않는다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 공식(5)에 따라 K 번째 계층의 역 깊이 값에 대해 보간 최적화를 수행하고, k 층의 현재 이미지에서, K 번째 계층의 현재 이미지가 실제로 현재 프레임이므로, 현재 프레임 중 각 샘플링 포인트의 역 깊이 값을 실제로 획득한 후, 추가로 최적화함으로써, 현재 프레임 중 각 샘플링 포인트가 더욱 정확한 역 깊이 값을 획득하였고, 즉 현재 프레임의 역 깊이 추정 결과를 획득하였다. 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 또한 세 개의 또는 더 많은 인접한 역 깊이 값 및 이에 대응되는 매칭 결과를 획득할 수 있고, 공식(5)와 유사한 다항식을 이용하여 보간 최적화를 수행한다. 또한, 이미지 깊이 추정 장치는 또한 K 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값에 대해, 이에 대응되는 역 깊이 후보 값 중 결정된 역 깊이 값에 인접한 두 개의 깊이 값을 획득할 수 있고, 이 세 개의 역 깊이 값의 평균값을 샘플링 포인트의 최종적인 역 깊이 값으로서, 역 깊이 값의 최적화를 구현할 수 있다.

단계 S306에 있어서, 최적화된 K 번째 계층의 역 깊이 값을 역 깊이 추정 결과로 결정한다.

본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 최적화된 K 번째 계층의 역 깊이 값을 획득한 후, 최적화된 K 번째 계층의 역 깊이 값을 역 깊이 추정 결과로 결정할 수 있다.

선택적으로, 본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 역 깊이 추정 결과를 결정한 후, 즉 단계 S103 이후, 또한 아래와 같은 단계를 실행할 수 있다.

단계 S104에 있어서, 역 깊이 추정 결과에 따라, 현재 프레임의 깊이 추정 결과를 결정한다.

본 발명의 실시예에 있어서, 이미지 깊이 추정 장치는 현재 프레임의 역 깊이 추정 결과를 획득한 후, 역 깊이 추정 결과에 따라, 현재 프레임의 깊이 추정 결과를 결정할 수 있고; 상기 깊이 추정 결과는 현재 프레임에 기반한 3 차원 시나리오 구축을 구현하는데 사용될 수 있다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 하나의 샘플링 포인트의 경우, 그 역 깊이 값 및 깊이 값이 서로 역수이므로, 이미지 깊이 추정 장치는 현재 프레임의 역 깊이 추정 결과, 즉 현재 프레임 중 각 샘플링 포인트가 보간 최적화된 역 깊이 값을 획득한 후, 그 역수를 각각 취하면 대응되는 깊이 값을 획득할 수 있음으로써, 현재 프레임의 깊이 추정 결과를 획득한다. 예를 들어, 현재 프레임 중 어느 하나의 샘플링 포인트가 보간 최적화된 역 깊이 값이 A이면, 그 깊이 값은 1/A이다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 종래 기술에서 삼각화 역해 측량 등 계산을 수행해야 카메라 좌표계에서의 z 축 좌표값을 획득할 수 있고, 상기 이미지 깊이 추정 방법에 의해 최종적으로 결정된 깊이 추정 결과는 현재 프레임의 샘플링 포인트가 카메라 좌표계에서의 z 축 좌표값이며, 추가로 좌표 변환을 수행할 필요없다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 상기 이미지 깊이 추정 방법은 현재 프레임에 기반한 3 차원 시나리오 구축 과정을 구현하는데 적용될 수 있다. 예를 들어, 사용자가 모바일 기기 카메라를 이용하여 특정한 시나리오를 촬영할 경우, 상기 이미지 깊이 추정 방법을 이용하여 현재 프레임의 깊이 추정 결과를 획득할 수 있음으로써, 비디오 시나리오의 3D 구조를 재구축하며; 사용자가 모바일 기기에서 비디오의 현재 프레임에서의 특정한 위치를 클릭할 경우, 상기 이미지 깊이 추정 방법에 의해 결정된 현재 프레임의 깊이 추정 결과를 이용하여, 클릭한 위치의 시선을 교차시켜 가상 물체를 배치할 앵커 포인트를 찾음으로써, 가상 물체 및 실제 시나리오의 기하학적으로 일치하게 융합되는 증강 현실 효과를 구현하며; 단안 비디오에서 상기 이미지 깊이 추정 방법을 이용하여 3 차원 시나리오 구조를 복원할 수 있고, 실제 시나리오 및 가상 물체 사이의 차폐 관계를 계산할 수 있음으로써, 가상 물체 및 실제 시나리오의 차폐가 일치하게 융합되는 증강 현실 효과를 구현하며; 단안 비디오에서 상기 이미지 깊이 추정 방법을 이용하여 시나리오 3 차원 구조를 복원할 수 있어, 사실적인 음영 효과를 구비할 수 있음으로써, 가상 물체 및 실제 시나리오의 광이 일치하게 융합되는 증강 현실 효과를 구현하며; 단안 비디오에서 상기 이미지 깊이 추정 방법을 이용하여 시나리오 3 차원 구조, 가상 애니메이션 캐릭터 사이의 물리적 충돌을 복원 할 수 있음으로써, 가상 애니메이션 캐릭터 및 실제 시나리오가 물리적으로 일차하게 융합되는 사실적인 애니메이션 효과를 구현한다.

또한, 본 발명의 실시예에 있어서, 상기 단계 S104를 실행하지 않을 수 있고, 상기 역 깊이 추정 결과는 비 3 차원 시나리오에 의해 구축된 다른 이미지 처리에 사용될 수 있다. 예를 들어, 다른 기기가 타겟 식별 또는 3 차원 포인트 거리 계산 등 데이터 처리를 수행할 때까지, 이미지 샘플링 포인트의 깊이 정보 변화값을 직접 출력한다.

본 발명의 실시예는 이미지 깊이 추정 방법을 제공하여, 현재 프레임에 대응되는 기준 프레임 및 현재 프레임의 역 깊이 공간 범위를 획득하고; 현재 프레임 및 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 현재 프레임에 대응되는 k 층의 현재 이미지, 및 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하며; k는 2보다 크거나 같은 자연수이며; k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 현재 프레임의 역 깊이 추정 결과를 획득한다. 다시 말해, 본 발명에서 제공한 기술방안은, 복수 개의 계층의 현재 이미지에 대해 복수 개의 계층의 기준 이미지를 결합하여 역 깊이 추정 반복 처리를 수행하여, 역 깊이 검색 공간을 계층 별로 감소시키고, 현재 프레임의 깊이 추정 결과를 결정하며, 최종적인 깊이 추정 결과가 현재 프레임의 픽셀 포인트가 카메라 좌표계에서의 z 축 좌표값이므로, 추가로 좌표 변환을 수행할 필요가 없음으로써, 이미지의 깊이 추정 결과를 실시간으로 획득할 수 있고, 깊이 추정 결과의 정확도가 높다.

본 발명의 실시예는 이미지 깊이 추정 장치를 더 제공하고, 도 8은 본 발명의 실시예에서 제공한 이미지 깊이 추정 장치의 구조 예시도이다. 도 8에 도시된 바와 같이, 상기 장치는,

현재 프레임에 대응되는 기준 프레임 및 상기 현재 프레임의 역 깊이 공간 범위를 획득하도록 구성된 획득 부분(801);

상기 현재 프레임 및 상기 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 상기 현재 프레임에 대응되는 k 층의 현재 이미지 및 상기 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하도록 구성된 다운 샘플링 부분(802) - k는 2보다 크거나 같은 자연수임 - ; 및

상기 k 층의 기준 이미지 및 상기 역 깊이 공간 범위에 기반하여, 상기 k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 상기 현재 프레임의 역 깊이 추정 결과를 획득하도록 구성된 추정 부분(803)을 포함하고;

선택적으로, 본 발명의 실시예의 이미지 깊이 추정 장치는 상기 역 깊이 추정 결과에 따라, 상기 현재 프레임의 깊이 추정 결과를 결정하도록 구성된 결정 부분(804)을 더 포함할 수 있고; 상기 깊이 추정 결과는 상기 현재 프레임에 기반한 3 차원 시나리오 구축을 구현하는데 사용될 수 있다.

선택적으로, 상기 획득 부분(801)은, 구체적으로 적어도 두 개의 선별될 프레임을 획득하고; 상기 적어도 두 개의 선별될 프레임로부터, 상기 현재 프레임과 기설정된 각도 제약 조건을 만족하는 적어도 하나의 프레임을 선택하고, 상기 적어도 하나의 프레임을 상기 기준 프레임으로 사용하도록 구성된다.

선택적으로, 상기 기설정된 각도 제약 조건은,

상기 현재 프레임에 대응되는 포즈 중심 및 상기 기준 프레임에 대응되는 포즈 중심이, 타겟 포인트와의 연결선에 의해 형성된 협각은 제1 기설정된 각도 범위에 존재하는 것; 상기 타겟 포인트가 상기 현재 프레임에 대응되는 평균 깊이 포인트와 상기 기준 프레임에 대응되는 평균 깊이 포인트의 연결선의 중점인 것;

선택적으로, 상기 추정 부분(803)은, 구체적으로 상기 k 층의 현재 이미지 및 상기 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하고 - 상기 i 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 i 번째 계층의 현재 이미지가 샘플링되어 획득된 픽셀 포인트이고, i는 1보다 크거나 같고 k보다 작거나 같은 자연수임 - ; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 상기 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하며; i=i+1로 하면, i=k 일때까지, 상기 k 층의 현재 이미지 중 해상도가 상기 i 번째 계층의 현재 이미지보다 높은 i+1 번째 계층의 현재 이미지에 대해 계속 역 깊이 추정을 수행하여, K 번째 계층의 역 깊이 값을 획득하며; 상기 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하도록 구성된다.

선택적으로, 상기 추정 부분(803)은, 구체적으로 상기 역 깊이 공간 범위에 대해 구간 분할을 수행하고, 각 분할 구간에서 하나의 역 깊이 값을 선택하여, 복수 개의 초기 역 깊이 값을 얻고; 상기 복수 개의 초기 역 깊이 값을 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하며; i가 1이 아닐 경우, 상기 k 층의 현재 이미지로부터 i-1 번째 계층의 샘플링 포인트 및 i-1 번째 계층의 역 깊이 값을 획득하며; 상기 i-1 번째 계층의 역 깊이 추정 값, i-1 번째 계층의 샘플링 포인트, 및 상기 복수 개의 초기 역 깊이 값에 기반하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하도록 구성된다.

선택적으로, 상기 추정 부분(803)은, 구체적으로 상기 i-1 번째 계층의 샘플링 포인트로부터 제1 샘플링 포인트와 거리가 가장 가까운 제2 샘플링 포인트, 및 상기 제2 샘플링 포인트에 인접한 적어도 두 개의 제3 샘플링 포인트를 결정하고 - 상기 제1 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 i-1 번째 계층의 역 깊이 값에 따라, 상기 적어도 두 개의 제3 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값 및 상기 제2 샘플링 포인트의 역 깊이 값을 획득하고, 적어도 세 개의 역 깊이 값을 얻으며; 상기 적어도 세 개의 역 깊이 값으로부터, 최대 역 깊이 값 및 최소 역 깊이 값을 결정하며; 상기 복수 개의 초기 역 깊이 값으로부터, 상기 최대 역 깊이 값 및 상기 최소 역 깊이 값 범위 내에 위치한 역 깊이 값을 선택하고, 선택된 역 깊이 값을 상기 제1 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 제1 샘플링 포인트가 아닌 샘플링 포인트에 대응되는 역 깊이 후보 값을 계속하여 결정하도록 구성된다.

선택적으로, 상기 추정 부분(803)은, 구체적으로 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대해, 각각 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트를 상기 i 번째 계층의 기준 이미지에 투영하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트를 획득하고; 상기 i 번째 계층의 샘플링 포인트 및 상기 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하며; 상기 i 번째 계층의 매칭 결과에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하도록 구성된다.

선택적으로, 상기 추정 부분(803)은, 구체적으로 기설정된 창구를 이용하여, 상기 i 번째 계층의 현재 이미지로부터 매칭될 샘플링 포인트를 중심으로 한 제1 이미지 블록을 선택하고, 상기 i 번째 계층의 기준 이미지로부터 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트 중 각 프로젝션 포인트를 각각 중심으로 한 복수 개의 제2 이미지 블록을 선택하고 - 상기 매칭될 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 제1 이미지 블록을 각각 상기 복수 개의 제2 이미지 블록 중 각 이미지 블록과 비교하여, 복수 개의 매칭 결과를 획득하고, 상기 복수 개의 매칭 결과를 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 매칭될 샘플링 포인트와 상이한 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 계속하여 결정하도록 구성된다.

선택적으로, 상기 추정 부분(803)은, 구체적으로 타겟 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로부터 타겟 매칭 결과를 선택하고 - 상기 타겟 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 타겟 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트에서, 상기 타겟 매칭 결과에 대응되는 프로젝션 포인트를 타겟 프로젝션 포인트로 결정하며; 상기 역 깊이 후보 값에서, 상기 타겟 프로젝션 포인트에 대응되는 역 깊이 값을 상기 타겟 샘플링 포인트의 역 깊이 값으로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 타겟 샘플링 포인트와 상이한 샘플링 포인트의 역 깊이 값을 계속 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하도록 구성된다.

선택적으로, 상기 추정 부분(803)은 또한, 상기 K 번째 계층의 역 깊이 값에 대해 보간 최적화을 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하고; 상기 최적화된 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하도록 구성된다.

선택적으로, 상기 추정 부분(803)은, 구체적으로 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해, 각각 K 번째 계층의 샘플링 포인트에서 대응되는 샘플링 포인트의 후보 역 깊이 값으로부터, 인접한 역 깊이 값을 선택하고 - 상기 K 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 K 번째 계층의 현재 이미지를 샘플링하여 획득된 픽셀 포인트임 - ; 상기 인접한 역 깊이 값에 대응되는 매칭 결과를 획득하며; 상기 인접한 역 깊이 값 및 상기 인접한 역 깊이 값에 대응되는 매칭 결과에 기반하여, 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해 보간 최적화를 수행하여, 상기 최적화된 K 번째 계층의 역 깊이 값을 획득하도록 구성된다.

본 발명의 실시예는 이미지 깊이 추정 장치를 제공하여, 현재 프레임에 대응되는 기준 프레임 및 현재 프레임의 역 깊이 공간 범위를 획득하고; 현재 프레임 및 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 현재 프레임에 대응되는 k 층의 현재 이미지, 및 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하며; k는 2보다 크거나 같은 자연수이며; k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 현재 프레임의 역 깊이 추정 결과를 획득한다. 다시 말해, 본 발명에서 제공한 이미지 깊이 추정 장치는, 복수 개의 계층의 현재 이미지와 복수 개의 계층의 기준 이미지를 결합하여 역 깊이 추정 반복 처리를 수행하여, 역 깊이 검색 공간을 계층 별로 감소시키고, 현재 프레임의 깊이 추정 결과를 결정하며, 최종적인 깊이 추정 결과가 현재 프레임의 픽셀 포인트가 카메라 좌표계에서의 z 축 좌표값이므로, 추가로 좌표 변환을 수행할 필요가 없음으로써, 이미지의 깊이 추정 결과를 실시간으로 획득할 수 있고, 깊이 추정 결과의 정확도가 높다.

본 발명의 실시예는 전자 기기를 더 제공하고, 도 9는 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이다. 도 9에 도시된 바와 같이, 상기 전자 기기는,

프로세서(901), 메모리(902) 및 통신 버스(903)를 포함하고; 여기서,

상기 통신 버스(903)는, 상기 프로세서(901) 및 상기 메모리(902) 사이의 연결 통신을 구현하도록 구성되고;

상기 프로세서(901)는, 상기 메모리(902)에 저장된 이미지 깊이 추정 프로그램을 실행하여, 상기 이미지 깊이 추정 방법을 구현하도록 구성된다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 상기 전자 기기는 핸드폰 또는 태블릿 컴퓨터이고, 물론, 다른 타입의 기기일 수도 있으며, 본 발명의 실시예는 한정하지 않는다.

본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 하나 또는 복수 개의 프로그램이 저장되어 있으며, 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행될 수 있어, 상기 이미지 깊이 추정 방법을 구현한다. 컴퓨터 판독 가능한 저장 매체는 랜덤 액세스 메모리(Random-Access Memory, RAM)와 같은 휘발성 메모리(volatile memory)일 수 있고; 또는 판독 전용 메모리(Read-Only Memory, ROM), 플래시 메모리(flash memory), 하드 디스크(Hard Disk Drive, HDD) 또는 솔리드 스테이트 디스크(Solid-State Drive, SSD)와 같은 비휘발성 메모리(non-volatile memory)일 수 있으며; 휴대 전화, 컴퓨터, 태블릿 기기, 개인용 정보 단말 등과 같은 상기 메모리 중 하나 또는 임의의 조합을 포함하는 각 기기일 수도 있다.

본 발명의 실시예는 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램를 더 제공하고, 상기 컴퓨터 판독 가능한 코드가 프로세서에 의해 실행될 경우, 상기 이미지 깊이 추정 방법에 대응되는 단계를 구현한다.

본 기술분야의 기술자는 본 발명의 실시예 방법, 시스템, 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 알아야 한다. 따라서, 본 발명은 하드웨어 실시예, 소프트웨어 실시예, 또는 소프트웨어 및 하드웨어 측면의 실시예의 결합 형식을 채택할 수 있다. 또한, 본 발명은 컴퓨터 사용 가능한 프로그램 코드를 포함하는 하나 또는 복수 개의 컴퓨터 사용 가능 저장 매체(자기 디스크 기억 장치 및 광 메모리 등) 상에서 실행되는 컴퓨터 프로그램 제품의 형태를 채택할 수 있다.

본 발명은 본 발명의 실시예의 방법, 기기(시스템), 컴퓨터 프로그램 제품의 흐름도 및 프레임도 중 적어도 하나에 따라 설명된 것이다. 컴퓨터 프로그램 명령어에 의해 흐름도 및 프레임도 중의 각 흐름 및 프레임 중 적어도 하나, 및 흐름도 및 프레임도 중의 흐름 및 프레임의 결합 중 적어도 하나를 구현할 수 있다. 하나의 기계를 생성하기 위해, 이러한 컴퓨터 프로그램 명령어를 범용 컴퓨터, 전용 컴퓨터, 임베디드 처리기 또는 다른 프로그래머블 신호 처리 기기의 처리기에 제공할 수 있어, 컴퓨터 또는 다른 프로그래머블 신호 처리 기기의 처리기를 통해 수행된 명령어로 하여금 흐름도의 하나의 흐름 또는 복수 개의 흐름 및 프레임도의 하나의 프레임 또는 복수 개의 프레임 중 적어도 하나를 구현하기 위해 생성하도록 한다.

이러한 컴퓨터 프로그램 명령어는 컴퓨터나 다른 프로그래머블 신호 처리 기기를 특정 방식으로 동작하도록 유도할 수 있는 컴퓨터 판독 가능 메모리에 저장될 수 있어, 상기 컴퓨터 판독 가능 메모리에 저장된 명령 내의 명령어로 하여금 명령어 장치를 포함한 제조품을 생성하도록 하며, 상기 명령어 장치는 흐름도의 하나의 흐름 또는 복수 개의 흐름 및 프레임도의 하나의 프레임 또는 복수 개의 프레임 중 지정된 기능을 구현한다.

이러한 컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그래머블 신호 처리 기기에 로딩되어, 컴퓨터 구현의 처리를 구현하기 위해, 컴퓨터 또는 다른 프로그래머블 기기 상에서 일련의 동작을 수행함으로써, 컴퓨터 또는 다른 프로그래머블 기기 상에서 수행되는 명령어는 흐름도의 하나의 흐름 또는 복수 개의 흐름 및 프레임도의 하나의 프레임 중 적어도 하나에서 지정된 기능을 구현하기 위한 단계를 제공한다.

위의 설명은 본 발명의 일부 실시예일뿐이며, 본 발명의 범위를 한정하려는 것은 아니다. 논리를 위반하지 않는 경우, 본 출원의 상이한 실시예들은 상호 결합될 수 있고, 상이한 실시예의 설명은 강조되어 설명되며, 강조되어 설명된 부분은 다른 실시예의 설명을 참조할 수 있다.

본 발명의 실시예의 기술방안에서, 현재 프레임에 대응되는 기준 프레임 및 현재 프레임의 역 깊이 공간 범위를 획득하고; 현재 프레임 및 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 현재 프레임에 대응되는 k 층의 현재 이미지, 및 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하며; k는 2보다 크거나 같은 자연수이며; k 층의 기준 이미지 및 역 깊이 공간 범위에 기반하여, k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 현재 프레임의 역 깊이 추정 결과를 획득한다. 다시 말해, 본 발명에서 제공한 기술방안은, 복수 개의 계층의 현재 이미지와 복수 개의 계층의 기준 이미지를 결합하여 역 깊이 추정 반복 처리를 수행하여, 역 깊이 검색 공간을 계층 별로 감소시키고, 현재 프레임의 역 깊이 추정 결과를 결정하며, 상기 역 깊이 추정 결과가 현재 프레임의 픽셀 포인트가 카메라 좌표계에서의 z 축 좌표값의 역수이므로, 추가로 좌표 변환을 수행할 필요없고, 역 깊이 검색 공간을 계층 별로 감소시키면 역 깊이 추정의 계산량을 감소시키는데 도움이 되며, 추정 속도를 향상시킴으로써, 이미지의 깊이 추정 결과를 실시간으로 획득할 수 있고, 깊이 추정 결과의 정확도가 높다.

Claims

이미지 깊이 추정 방법으로서,
현재 프레임에 대응되는 기준 프레임 및 상기 현재 프레임의 역 깊이 공간 범위를 획득하는 단계;
상기 현재 프레임 및 상기 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 상기 현재 프레임에 대응되는 k 층의 현재 이미지 및 상기 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하는 단계 - k는 2보다 크거나 같은 자연수임 - ; 및
상기 k 층의 기준 이미지 및 상기 역 깊이 공간 범위에 기반하여, 상기 k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 상기 현재 프레임의 역 깊이 추정 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제1항에 있어서,
상기 현재 프레임에 대응되는 기준 프레임을 획득하는 단계는,
적어도 두 개의 선별될 프레임을 획득하는 단계; 및
상기 적어도 두 개의 선별될 프레임로부터, 상기 현재 프레임과 기설정된 각도 제약 조건을 만족하는 적어도 하나의 프레임을 선택하고, 상기 적어도 하나의 프레임을 상기 기준 프레임으로 사용하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제2항에 있어서,
상기 기설정된 각도 제약 조건은,
상기 현재 프레임에 대응되는 포즈 중심 및 상기 기준 프레임에 대응되는 포즈 중심이, 타겟 포인트와의 연결선에 의해 형성된 협각은 제1 기설정된 각도 범위에 존재하는 것; 상기 타겟 포인트가 상기 현재 프레임에 대응되는 평균 깊이 포인트와 상기 기준 프레임에 대응되는 평균 깊이 포인트의 연결선의 중점인 것;
상기 현재 프레임 및 상기 기준 프레임에 대응되는 광축 협각이 제2 기설정된 각도 범위에 존재하는 것; 및
상기 현재 프레임 및 상기 기준 프레임에 대응되는 세로축 협각이 제3 기설정된 각도 범위에 존재하는 것을 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 k 층의 기준 이미지 및 상기 역 깊이 공간 범위에 기반하여, 상기 k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 상기 현재 프레임의 역 깊이 추정 결과를 획득하는 단계는,
상기 k 층의 현재 이미지 및 상기 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계 - 상기 i 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 i 번째 계층의 현재 이미지가 샘플링되어 획득된 픽셀 포인트이고, i는 1보다 크거나 같고 k보다 작거나 같은 자연수임 - ;
상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 상기 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하는 단계;
i=i+1로 하면, i=k일 때까지, 계속 상기 k 층의 현재 이미지 중 해상도가 상기 i 번째 계층의 현재 이미지보다 높은 i+1 번째 계층의 현재 이미지에 대해 역 깊이 추정을 수행하여, K 번째 계층의 역 깊이 값을 획득하는 단계; 및
상기 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제4항에 있어서,
상기 k 층의 현재 이미지 및 상기 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계는,
상기 역 깊이 공간 범위에 대해 구간 분할을 수행하고, 각 분할 구간에서 하나의 역 깊이 값을 선택하여, 복수 개의 초기 역 깊이 값을 얻는 단계;
상기 복수 개의 초기 역 깊이 값을 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하는 단계;
i가 1이 아닐 경우, 상기 k 층의 현재 이미지로부터 i-1 번째 계층의 샘플링 포인트 및 i-1 번째 계층의 역 깊이 값을 획득하는 단계; 및
상기 i-1 번째 계층의 역 깊이 값, i-1 번째 계층의 샘플링 포인트 및 상기 복수 개의 초기 역 깊이 값에 기반하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제5항에 있어서,
상기 i-1 번째 계층의 역 깊이 추정 값, i-1 번째 계층의 샘플링 포인트 및 상기 복수 개의 초기 역 깊이 값에 기반하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하는 단계는,
상기 i-1 번째 계층의 샘플링 포인트로부터 제1 샘플링 포인트와 거리가 가장 가까운 제2 샘플링 포인트, 및 상기 제2 샘플링 포인트에 인접한 적어도 두 개의 제3 샘플링 포인트를 결정하는 단계 - 상기 제1 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ;
상기 i-1 번째 계층의 역 깊이 값에 따라, 상기 적어도 두 개의 제3 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값 및 상기 제2 샘플링 포인트의 역 깊이 값을 획득하고, 적어도 세 개의 역 깊이 값을 얻는 단계;
상기 적어도 세 개의 역 깊이 값으로부터, 최대 역 깊이 값 및 최소 역 깊이 값을 결정하는 단계;
상기 복수 개의 초기 역 깊이 값으로부터, 상기 최대 역 깊이 값 및 상기 최소 역 깊이 값 범위 내에 위치한 역 깊이 값을 선택하고, 선택된 역 깊이 값을 상기 제1 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하는 단계; 및
상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 제1 샘플링 포인트가 아닌 샘플링 포인트에 대응되는 역 깊이 후보 값을 계속하여 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제4항에 있어서,
상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 상기 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하는 단계는,
상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대해, 각각 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트를 상기 i 번째 계층의 기준 이미지에 투영하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트를 획득하는 단계;
상기 i 번째 계층의 샘플링 포인트 및 상기 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하는 단계; 및
상기 i 번째 계층의 매칭 결과에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제7항에 있어서,
상기 i 번째 계층의 샘플링 포인트 및 상기 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하는 단계는,
기설정된 창구를 이용하여, 상기 i 번째 계층의 현재 이미지로부터 매칭될 샘플링 포인트를 중심으로 한 제1 이미지 블록을 선택하고, 상기 i 번째 계층의 기준 이미지로부터 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트 중 각 프로젝션 포인트를 각각 중심으로 한 복수 개의 제2 이미지 블록을 선택하는 단계 - 상기 매칭될 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ;
상기 제1 이미지 블록을 각각 상기 복수 개의 제2 이미지 블록 중 각 이미지 블록과 비교하여, 복수 개의 매칭 결과를 획득하고, 상기 복수 개의 매칭 결과를 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로 결정하는 단계; 및
상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 매칭될 샘플링 포인트와 상이한 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 계속하여 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제7항에 있어서,
상기 i 번째 계층의 매칭 결과에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하는 단계는,
타겟 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로부터 타겟 매칭 결과를 선택하는 단계 - 상기 타겟 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ;
상기 타겟 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트에서, 상기 타겟 매칭 결과에 대응되는 프로젝션 포인트를 타겟 프로젝션 포인트로 결정하는 단계;
상기 역 깊이 후보 값에서, 상기 타겟 프로젝션 포인트에 대응되는 역 깊이 값을 상기 타겟 샘플링 포인트의 역 깊이 값으로 결정하는 단계; 및
상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 타겟 샘플링 포인트와 상이한 샘플링 포인트의 역 깊이 값을 계속 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제4항 내지 제9항 중 어느 한 항에 있어서,
상기 K 번째 계층의 역 깊이 값을 획득한 후, 상기 이미지 깊이 추정 방법은,
상기 K 번째 계층의 역 깊이 값에 대해 보간 최적화을 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계; 및
상기 최적화된 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
제10항에 있어서,
상기 K 번째 계층의 역 깊이 값에 대해 보간 최적화을 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계는,
상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해, 각각 K 번째 계층의 샘플링 포인트에서 대응되는 샘플링 포인트의 후보 역 깊이 값으로부터, 상기 역 깊이 값의 인접한 역 깊이 값을 선택하는 단계 - 상기 K 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 K 번째 계층의 현재 이미지를 샘플링하여 획득된 픽셀 포인트임 - ;
상기 인접한 역 깊이 값에 대응되는 매칭 결과를 획득하는 단계; 및
상기 인접한 역 깊이 값 및 상기 인접한 역 깊이 값에 대응되는 매칭 결과에 기반하여, 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해 보간 최적화를 수행하여, 상기 최적화된 K 번째 계층의 역 깊이 값을 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 깊이 추정 방법.
이미지 깊이 추정 장치로서,
현재 프레임에 대응되는 기준 프레임 및 상기 현재 프레임의 역 깊이 공간 범위를 획득하도록 구성된 획득 부분;
상기 현재 프레임 및 상기 기준 프레임에 대해 각각 피라미드 다운 샘플링 처리를 수행하여, 상기 현재 프레임에 대응되는 k 층의 현재 이미지 및 상기 기준 프레임에 대응되는 k 층의 기준 이미지를 획득하도록 구성된 다운 샘플링 부분 - k는 2보다 크거나 같은 자연수임 - ; 및
상기 k 층의 기준 이미지 및 상기 역 깊이 공간 범위에 기반하여, 상기 k 층의 현재 이미지에 대해 역 깊이 추정 반복 처리를 수행하여, 상기 현재 프레임의 역 깊이 추정 결과를 획득하도록 구성된 추정 부분을 포함하는 것을 특징으로 하는 이미지 깊이 추정 장치.
제12항에 있어서,
상기 획득 부분은, 구체적으로 적어도 두 개의 선별될 프레임을 획득하고; 상기 적어도 두 개의 선별될 프레임로부터, 상기 현재 프레임과 기설정된 각도 제약 조건을 만족하는 적어도 하나의 프레임을 선택하고, 상기 적어도 하나의 프레임을 상기 기준 프레임으로 사용하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제13항에 있어서,
상기 기설정된 각도 제약 조건은,
상기 현재 프레임에 대응되는 포즈 중심 및 상기 기준 프레임에 대응되는 포즈 중심이, 타겟 포인트와의 연결선에 의해 형성된 협각은 제1 기설정된 각도 범위에 존재하는 것; 상기 타겟 포인트가 상기 현재 프레임에 대응되는 평균 깊이 포인트와 상기 기준 프레임에 대응되는 평균 깊이 포인트의 연결선의 중점인 것;
상기 현재 프레임 및 상기 기준 프레임에 대응되는 광축 협각이 제2 기설정된 각도 범위에 존재하는 것; 및
상기 현재 프레임 및 상기 기준 프레임에 대응되는 세로축 협각이 제3 기설정된 각도 범위에 존재하는 것을 포함하는 것을 특징으로 하는 이미지 깊이 추정 장치.
제12항 내지 제14항 중 어느 한 항에 있어서,
상기 추정 부분은, 구체적으로 상기 k 층의 현재 이미지 및 상기 역 깊이 공간 범위에 기반하여, i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하고 - 상기 i 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 i 번째 계층의 현재 이미지가 샘플링되어 획득된 픽셀 포인트이고, i는 1보다 크거나 같고 k보다 작거나 같은 자연수임 - ; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값 및 상기 k 층의 기준 이미지 중 i 번째 계층의 기준 이미지에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, i 번째 계층의 역 깊이 값을 획득하며; i=i+1로 하면, 상기 k 층의 현재 이미지 중 해상도가 상기 i 번째 계층의 현재 이미지보다 높은 i+1 번째 계층의 현재 이미지에 대해 계속 역 깊이 추정을 수행하여, i=k 일때까지, K 번째 계층의 역 깊이 값을 획득하며; 상기 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제15항에 있어서,
상기 추정 부분은, 구체적으로 상기 역 깊이 공간 범위에 대해 구간 분할을 수행하고, 각 분할 구간에서 하나의 역 깊이 값을 선택하여, 복수 개의 초기 역 깊이 값을 얻고; 상기 복수 개의 초기 역 깊이 값을 첫 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하며; i가 1이 아닐 경우, 상기 k 층의 현재 이미지로부터 i-1 번째 계층의 샘플링 포인트 및 i-1 번째 계층의 역 깊이 값을 획득하며; 상기 i-1 번째 계층의 역 깊이 추정 값, i-1 번째 계층의 샘플링 포인트, 및 상기 복수 개의 초기 역 깊이 값에 기반하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제16항에 있어서,
상기 추정 부분은, 구체적으로 상기 i-1 번째 계층의 샘플링 포인트로부터 제1 샘플링 포인트와 거리가 가장 가까운 제2 샘플링 포인트, 및 상기 제2 샘플링 포인트에 인접한 적어도 두 개의 제3 샘플링 포인트를 결정하고 - 상기 제1 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 i-1 번째 계층의 역 깊이 값에 따라, 상기 적어도 두 개의 제3 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값 및 상기 제2 샘플링 포인트의 역 깊이 값을 획득하고, 적어도 세 개의 역 깊이 값을 얻으며; 상기 적어도 세 개의 역 깊이 값으로부터, 최대 역 깊이 값 및 최소 역 깊이 값을 결정하며; 상기 복수 개의 초기 역 깊이 값으로부터, 상기 최대 역 깊이 값 및 상기 최소 역 깊이 값 범위 내에 위치한 역 깊이 값을 선택하고, 선택된 역 깊이 값을 상기 제1 샘플링 포인트에 대응되는 역 깊이 후보 값으로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 역 깊이 후보 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 제1 샘플링 포인트가 아닌 샘플링 포인트에 대응되는 역 깊이 후보 값을 계속하여 결정하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제15항에 있어서,
상기 추정 부분은, 구체적으로 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대해, 각각 대응되는 역 깊이 후보 값에서의 각 역 깊이 값에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트를 상기 i 번째 계층의 기준 이미지에 투영하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트를 획득하고; 상기 i 번째 계층의 샘플링 포인트 및 상기 i 번째 계층의 프로젝션 포인트에 따라 블록 매칭하여, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득하며; 상기 i 번째 계층의 매칭 결과에 따라, 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제18항에 있어서,
상기 추정 부분은, 구체적으로 기설정된 창구를 이용하여, 상기 i 번째 계층의 현재 이미지로부터 매칭될 샘플링 포인트를 중심으로 한 제1 이미지 블록을 선택하고, 상기 i 번째 계층의 기준 이미지로부터 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트 중 각 프로젝션 포인트를 각각 중심으로 한 복수 개의 제2 이미지 블록을 선택하고 - 상기 매칭될 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 제1 이미지 블록을 각각 상기 복수 개의 제2 이미지 블록 중 각 이미지 블록과 비교하여, 복수 개의 매칭 결과를 획득하고, 상기 복수 개의 매칭 결과를 상기 매칭될 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 획득할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 매칭될 샘플링 포인트와 상이한 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과를 계속하여 결정하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제18항에 있어서,
상기 추정 부분은, 구체적으로 타겟 샘플링 포인트에 대응되는 i 번째 계층의 매칭 결과로부터 타겟 매칭 결과를 선택하고 - 상기 타겟 샘플링 포인트는 상기 i 번째 계층의 샘플링 포인트 중 어느 하나의 샘플링 포인트임 - ; 상기 타겟 샘플링 포인트에 대응되는 i 번째 계층의 프로젝션 포인트에서, 상기 타겟 매칭 결과에 대응되는 프로젝션 포인트를 타겟 프로젝션 포인트로 결정하며; 상기 역 깊이 후보 값에서, 상기 타겟 프로젝션 포인트에 대응되는 역 깊이 값을 상기 타겟 샘플링 포인트의 역 깊이 값으로 결정하며; 상기 i 번째 계층의 샘플링 포인트 중 각 샘플링 포인트의 역 깊이 값을 결정할 때까지, 상기 i 번째 계층의 샘플링 포인트 중 상기 타겟 샘플링 포인트와 상이한 샘플링 포인트의 역 깊이 값을 계속 결정하여, 상기 i 번째 계층의 역 깊이 값을 획득하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제15항 내지 제20항 중 어느 한 항에 있어서,
상기 추정 부분은 또한, 상기 K 번째 계층의 역 깊이 값에 대해 보간 최적화을 수행하여, 최적화된 K 번째 계층의 역 깊이 값을 획득하고; 상기 최적화된 K 번째 계층의 역 깊이 값을 상기 역 깊이 추정 결과로 결정하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
제21항에 있어서,
상기 추정 부분은, 구체적으로 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해, 각각 K 번째 계층의 샘플링 포인트에서 대응되는 샘플링 포인트의 후보 역 깊이 값으로부터, 인접한 역 깊이 값을 선택하고 - 상기 K 번째 계층의 샘플링 포인트는 상기 k 층의 현재 이미지 중 K 번째 계층의 현재 이미지를 샘플링하여 획득된 픽셀 포인트임 - ; 상기 인접한 역 깊이 값에 대응되는 매칭 결과를 획득하며; 상기 인접한 역 깊이 값 및 상기 인접한 역 깊이 값에 대응되는 매칭 결과에 기반하여, 상기 K 번째 계층의 역 깊이 값 중 각 역 깊이 값에 대해 보간 최적화를 수행하여, 상기 최적화된 K 번째 계층의 역 깊이 값을 획득하도록 구성된 것을 특징으로 하는 이미지 깊이 추정 장치.
전자 기기로서,
프로세서, 메모리 및 통신 버스를 포함하고;
상기 통신 버스는, 상기 프로세서 및 상기 메모리 사이의 연결 통신을 구현하도록 구성되고;
상기 프로세서는, 상기 메모리에 저장된 이미지 깊이 추정 프로그램을 실행하여, 제1항 내지 제11항 중 어느 한 항에 따른 이미지 깊이 추정 방법을 구현하도록 구성된 것을 특징으로 하는 전자 기기.
제23항에 있어서,
상기 전자 기기는 핸드폰 또는 태블릿 컴퓨터인 것을 특징으로 하는 전자 기기.
하나 또는 복수 개의 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체로서,
상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 실행 가능하여, 제1항 내지 제11항 중 어느 한 항에 따른 이미지 깊이 추정 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램으로서,
상기 컴퓨터 판독 가능한 코드가 프로세서에 의해 실행될 경우, 제1항 내지 제11항 중 어느 한 항에 따른 이미지 깊이 추정 방법에 대응되는 단계를 구현하는 것을 특징으로 하는 컴퓨터 프로그램.