KR20220120674A

KR20220120674A - 3차원 재구성 방법, 장치, 기기 및 저장 매체

Info

Publication number: KR20220120674A
Application number: KR1020227026271A
Authority: KR
Inventors: 후준 바오; 시아오웨이 조우; 지아밍 순; 이밍 시에
Original assignee: 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2021-01-15
Filing date: 2021-06-24
Publication date: 2022-08-30
Also published as: CN112750201A; CN112750201B; WO2022151661A1; US20230290099A1; JP2023514107A; JP7352748B2

Abstract

본 발명의 실시예는 3차원 재구성 방법, 장치, 기기 및 저장 매체를 개시하고, 여기서 3차원 재구성 방법은, 이번 재구성을 위한 다수의 프레임의 제1 키 이미지를 획득하고, 다수의 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하는 단계 - 제1 키 이미지는 재구성할 타깃을 촬영하여 획득됨 - ; 다수의 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하는 단계 - 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함함 - ; 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계; 및 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는 단계를 포함한다. 상술한 해결수단은, 3차원 재구성 과정의 실시간성 및 3차원 재구성 결과의 평활도를 향상시킬 수 있다.

Description

3차원 재구성 방법, 장치, 기기 및 저장 매체

관련 출원의 상호 참조

본 특허 출원은 2021년 01월 15일에 제출된 중국 특허 출원번호가 202110057035.9이고, 출원인이 절강 센스타임 과학 기술 개발 유한 책임 회사이며, 발명의 명칭이“3차원 재구성 방법 및 관련 장치, 기기”인 특허 출원의 우선권을 주장하는 바, 상기 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.

본 발명은 컴퓨터 비전 기술 분야에 관한 것으로, 특히 3차원 재구성 방법, 장치, 기기 및 저장 매체에 관한 것이다.

전자 정보 기술의 발전과 함께 휴대폰 및 태블릿 컴퓨터와 같은 카메라가 통합된 전자 기기를 통해 실제 장면의 물체에 대해 3차원 재구성을 수행하는데, 이는 많은 응용 장면에서 널리 사용된다. 예를 들어, 증강현실(AR, Augmented Reality)과 같은 다운스트림 애플리케이션에 적용될 수 있으며, AR 효과와 물리적 장면 사이의 몰입도를 높이기 위해서는 3차원 재구성 결과는 가능한 평활하고 3차원 재구성 과정은 가능한 실시간이어야 한다. 이러한 점에서, 3차원 재구성 과정의 실시간성과 3차원 재구성 결과의 평활도를 향상시키는 방법은 큰 연구 가치가 있는 과제로 되었다.

본 발명의 실시예는 3차원 재구성 방법, 장치, 기기 및 저장 매체를 제공한다.

본 발명의 실시예는, 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하고, 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하는 단계 - 제1 키 이미지는 재구성할 타깃을 촬영하여 획득됨 - ; 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하는 단계 - 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함함 - ; 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계; 및 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는 단계를 포함하는 3차원 재구성 방법을 제공한다.

따라서, 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하고, 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하되, 제1 키 이미지는 재구성할 타깃을 촬영하여 획득되고, 이의 기초상에서 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하되, 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함하며, 이로써 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하며, 더 나아가 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트함으로써, 각 재구성 과정에서, 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간 전체에 대해 3차원 재구성을 수행할 수 있으므로, 산출 부하를 크게 감소시킬 수 있을 뿐만 아니라, 재구성 결과의 계층화 또는 분산 발생 확률을 감소시킬 수 있으며, 더 나아가 3차원 재구성 과정의 실시간성 및 3차원 재구성 결과의 평활도를 향상시킬 수 있다.

여기서, 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하는 단계 이후에, 방법은, 각 프레임의 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 제1 키 이미지의 제2 특징 맵을 획득하는 단계를 더 포함하고, 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하는 단계는, 제2 특징 맵에서 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하는 단계를 포함한다.

따라서, 각 프레임의 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 제1 키 이미지의 제2 특징 맵을 획득함으로써, 제2 특징 맵에서 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하며, 따라서 각 프레임의 제1 키 이미지의 제2 특징 맵을 융합하여, 제1 공간의 제1 특징 맵을 획득할 수 있고, 제1 특징 맵의 정확성을 향상시키는데 유리하며, 더 나아가 3차원 재구성의 정확성을 향상시키는데 유리할 수 있다.

여기서, 제2 특징 맵에서 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하는 단계는, 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 각각 복셀에 대응되는 제2 특징 정보를 추출하는 단계; 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보를 융합하여, 복셀의 제1 특징 정보를 획득하는 단계; 및 제1 공간의 각 복셀의 제1 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하는 단계를 포함한다.

따라서, 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 각각 복셀에 대응되는 제2 특징 정보를 추출하고, 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보를 융합하여, 복셀의 제1 특징 정보를 획득함으로써, 제1 공간의 각 복셀의 제1 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하며, 따라서 제1 공간 중 각각의 복셀의 경우, 대응되는 각 프레임의 제1 키 이미지의 제2 특징 정보가 융합되어, 제1 공간의 제1 특징 맵의 정밀성을 더욱 향상시키는데 유리할 수 있다.

여기서, 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보를 융합하여, 복셀의 제1 특징 정보를 획득하는 단계는, 복셀에 대응되는 각 프레임의 제1 키 이미지의 제2 특징 정보의 평균값을 복셀의 제1 특징 정보로 사용하는 단계; 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 각각 복셀에 대응되는 제2 특징 정보를 추출하는 단계 이후에, 각 프레임의 제1 키 이미지의 제2 특징 맵에서 복셀에 대응되는 제2 특징 정보가 모두 추출되지 않은 경우, 기설정된 특징 정보를 복셀의 제1 특징 정보로 사용하는 단계 중 적어도 하나를 포함한다.

따라서, 복셀에 대응되는 각 프레임의 제1 키 이미지의 제2 특징 정보의 평균값을 복셀의 제1 특징 정보로 사용하여, 제1 특징 정보를 획득하는 복잡도를 감소시킬 수 있으므로, 3차원 재구성의 속도를 향상시키는데 유리할 수 있고, 더 나아가 3차원 재구성 과정의 실시간성을 더욱 향상시키는데 유리할 수 있으며; 각 프레임의 제1 키 이미지의 제2 특징 맵에서 복셀에 대응되는 제2 특징 정보가 모두 추출되지 않은 경우, 기설정된 특징 정보를 복셀의 제1 특징 정보로 사용하여, 제1 특징 정보를 획득하는 복잡도를 더욱 감소시키는데 유리할 수 있다.

여기서, 각 프레임의 제1 키 이미지의 제2 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제2 특징 맵을 포함하고; 제1 공간은 상이한 해상도에 대응하는 기설정된 개수의 제1 공간을 포함하며, 해상도가 높을수록 제1 공간 중 복셀의 사이즈는 작아지며; 제1 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제1 특징 맵을 포함하고, 각각의 제1 특징 맵은 동일한 해상도의 제2 특징 맵의 제2 특징 정보를 기반으로 획득된다.

따라서, 각 프레임의 제1 키 이미지의 제2 특징 맵을 상이한 해상도에 대응하는 기설정된 개수의 제2 특징 맵을 포함하도록 설정하고, 제1 공간은 상이한 해상도에 대응하는 기설정된 개수의 제1 공간을 포함하며, 해상도가 높을수록 제1 공간 중 복셀의 사이즈는 작아지며, 이외 제1 특징 맵을 상이한 해상도에 대응하는 기설정된 개수의 제1 특징 맵을 포함하도록 설정하고, 각각의 제1 특징 맵은 동일한 해상도의 제2 특징 맵의 제2 특징 정보를 기반으로 획득되므로, 상이한 해상도의 기설정된 개수의 제2 특징 맵을 통해 3차원 재구성을 수행하는데 유리할 수 있으며, 3차원 재구성의 정밀도를 더욱 향상시키는데 유리할 수 있다.

여기서, 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계는, 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택하는 단계; 이전에 선택된 해상도에 대응하는 제1 재구성 결과에 대해 업샘플링을 수행하고, 업샘플링된 제1 재구성 결과와 현재 해상도에 대응되는 제1 특징 맵을 융합하여, 현재 해상도에 대응되는 융합 특징 맵을 획득하는 단계; 융합 특징 맵을 기반으로, 현재 해상도에 대응되는 제1 재구성 결과를 획득하는 단계; 현재 해상도가 가장 높은 해상도가 아닌 경우, 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택하는 단계와 후속의 단계를 다시 수행하는 단계; 및 현재 해상도가 가장 높은 해상도인 경우, 현재 해상도에 대응되는 제1 재구성 결과를 이번 재구성의 최종 제1 재구성 결과로 사용하는 단계를 포함한다.

따라서, 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택하고, 이전에 선택된 해상도에 대응되는 제1 재구성 결과에 대해 업샘플링을 수행하고, 업샘플링된 제1 재구성 결과와 현재 해상도에 대응되는 제1 특징 맵을 융합하여, 현재 해상도에 대응되는 융합 특징 맵을 획득하며, 이의 기초상에서 융합 특징 맵을 기반으로, 현재 해상도에 대응되는 제1 재구성 결과를 획득함으로써, 현재 해상도가 가장 높은 해상도가 아닌 경우, 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택하는 단계와 후속의 단계를 다시 수행하거나, 현재 해상도가 가장 높은 해상도인 경우, 현재 해상도에 대응되는 제1 재구성 결과를 이번 재구성의 최종 제1 재구성 결과로 사용함으로써, “낮은 해상도”를 기반으로 하는 제1 특징 맵에서 “높은 해상도”를 기반으로 하는 제1 특징 맵으로 점진적으로 3차원 재구성을 수행할 수 있고, “거친 것에서 미세한 것으로”의 3차원 재구성을 구현하는데 유리할 수 있으며, 더 나아가 3차원 재구성의 정밀도를 더욱 향상시키는데 유리할 수 있다.

여기서, 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계는, 제1 특징 맵을 기반으로 예측하여, 제1 공간 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득하는 단계 - 제1 재구성 값은 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타냄 - ; 제1 공간 중 확률값이 기설정된 조건을 만족하는 복셀을 선택하는 단계; 및 선택된 복셀의 제1 재구성 값을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계를 포함한다.

따라서, 제1 특징 맵을 기반으로 예측하여, 제1 공간 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득하되, 제1 재구성 값은 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타내며, 제1 공간 중 확률값이 기설정된 조건을 만족하는 복셀을 선택함으로써, 선택된 복셀의 제1 재구성 값을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하며, 따라서 확률값이 기설정된 조건을 만족하지 않는 복셀의 3차원 재구성에 대한 간섭을 제거할 수 있고, 3차원 재구성의 정확성을 더욱 향상시키는데 유리할 수 있다.

여기서, 제1 재구성 결과는 제1 공간 중 복셀의 제1 재구성 값을 포함하고, 제2 재구성 결과는 제2 공간 중 복셀의 제2 재구성 값을 포함하며, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이고, 제1 재구성 값과 제2 재구성 값은 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타내며; 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는 단계는, 제1 공간 중 복셀의 제1 재구성 값을 기반으로, 제2 공간 중 대응되는 복셀의 제2 재구성 값을 업데이트하는 단계를 포함한다.

따라서, 제1 재구성 결과를 제1 공간 중 복셀의 제1 재구성 값을 포함하도록 설정하고, 제2 재구성 결과를 제2 공간 중 복셀의 제2 재구성 값을 포함하도록 설정하며, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이고, 제1 재구성 값과 제2 재구성 값은 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타내고, 이의 기초상에서 제1 공간 중 복셀의 제1 재구성 값을 기반으로, 제2 공간 중 대응되는 복셀의 제2 재구성 값을 업데이트하여, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트함으로써, 3차원 재구성 과정에서 이번 재구성 과정에서 제1 공간 중 복셀의 제1 재구성 값을 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는데 유리할 수 있고, 더 나아가 재구성 과정에서 제2 재구성 결과를 지속적으로 보완하고, 3차원 재구성의 정확성을 향상시키는데 유리할 수 있다.

여기서, 관련 물체 표면은 재구성할 타깃 중 복셀과의 거리가 가장 가까운 물체 표면이다.

따라서, 관련 물체 표면을 재구성할 타깃 중 복셀과의 거리가 가장 가까운 물체 표면으로 설정함으로써, 3차원 재구성의 정확성을 더욱 향상시키는데 유리할 수 있다.

여기서, 제1 재구성 결과는 3차원 재구성 모델을 사용하여 획득되고; 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계는, 3차원 재구성 모델의 융합 네트워크의 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 획득하는 단계 - 제1 역사 히든 레이어 상태는 제2 공간 중 복셀에 대응되는 상태값을 포함하고, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간임 - ; 제1 역사 히든 레이어 상태에서, 제1 공간의 복셀에 대응되는 상태값을 추출하여 제2 역사 히든 레이어 상태로 사용하는 단계; 및 융합 네트워크를 기반으로, 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계; 및 3차원 재구성 모델을 사용하여 이번 히든 레이어 상태를 예측하여, 제1 재구성 결과를 획득하는 단계를 포함한다.

따라서, 제1 재구성 결과를 3차원 재구성 모델을 사용하여 획득하고, 3차원 재구성 모델의 융합 네트워크의 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 획득하도록 설정하되, 제1 역사 히든 레이어 상태는 제2 공간 중 복셀에 대응되는 상태값을 포함하고, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이며, 이의 기초상에서 제1 역사 히든 레이어 상태로부터, 제1 공간의 복셀에 대응되는 상태값을 추출하여 제2 역사 히든 레이어 상태로 사용하며, 융합 네트워크를 기반으로, 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하고, 더 나아가 3차원 재구성 모델을 사용하여 이번 히든 레이어 상태를 예측하여, 제1 재구성 결과를 획득하는 단계를 수행함으로써, 각 재구성 과정에서 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 모두 참조할 수 있어, 이번 재구성과 이전 재구성의 일관성을 향상시키는데 유리할 수 있으며, 이로써 이번 재구성 결과와 이전 재구성 결과 사이의 계층화 또는 분산 발생 확률을 감소시키는데 유리할 수 있고, 더 나아가3차원 재구성 결과의 평활도를 더욱 향상시키는데 유리할 수 있다.

여기서, 이번 재구성이 최초 재구성인 경우, 제1 역사 히든 레이어 상태 중의 상태값은 기설정된 상태값이다.

따라서, 이번 재구성이 최초 재구성인 경우, 제1 역사 히든 레이어 상태 중의 상태값을 기설정된 상태값으로 설정하여, 3차원 재구성의 로버스트를 향상시키는데 유리할 수 있다.

여기서, 융합 네트워크는 게이팅 순환 유닛을 포함하고; 3차원 재구성 모델은 예측 네트워크를 더 포함하며, 3차원 재구성 모델을 사용하여 이번 히든 레이어 상태를 예측하여, 제1 재구성 결과를 획득하는 단계는, 예측 네트워크를 기반으로 이번 히든 레이어 상태를 예측하여 제1 재구성 결과를 획득하는 단계를 포함한다.

따라서, 융합 네트워크를 게이팅 순환 유닛을 포함하도록 설정하여, 게이팅 순환 유닛을 통해 선택적 주의 메커니즘을 도입하는데 유리할 수 있어, 3차원 재구성 과정에서 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 선택적으로 참조하는데 유리할 수 있고, 더 나아가 3차원 재구성의 정확성을 향상시키는데 유리할 수 있으며; 3차원 재구성 모델을 예측 네트워크를 포함하도록 설정하여, 예측 네트워크를 기반으로 이번 히든 레이어 상태를 예측하여 제1 재구성 결과를 획득함으로써, 3차원 재구성의 효율을 향상시키는데 유리할 수 있다.

여기서, 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계 이전에, 방법은, 제1 특징 맵에 대해 기하학적 정보 추출을 수행하여, 기하학적 특징 맵을 획득하는 단계를 더 포함하되, 여기서, 기하학적 특징 맵은 복셀의 기하학적 정보를 포함하며; 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계는, 기하학적 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계를 포함한다.

따라서, 제1 특징 맵에 대해 기하학적 정보 추출을 수행하여, 기하학적 특징 맵을 획득하되, 기하학적 특징 맵은 복셀의 기하학적 정보를 포함하고, 이의 기초상에서 기하학적 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득함으로써, 추출하여 획득된 복셀의 기하학적 정보를 기반으로 이번 재구성의 제1 공간의 제2 역사 히든 레이어 상태를 업데이트할 수 있어, 3차원 재구성의 정확성을 향상시키는데 유리할 수 있다.

여기서, 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계 이후에, 방법은, 이번 히든 레이어 상태 중의 상태값을 기반으로, 제1 역사 히든 레이어 상태 중 대응하는 복셀에 대응되는 상태값을 업데이트하는 단계를 더 포함한다.

따라서, 이번 히든 레이어 상태 중의 상태값을 기반으로, 이번 재구성의 제1 공간의 제2 역사 히든 레이어 상태 중 대응하는 복셀에 대응되는 상태값을 업데이트함으로써, 업데이트하여 이번 히든 레이어 상태를 획득한 후, 제2 공간의 제1 역사 히든 레이어 상태를 추가로 업데이트할 수 있어, 이번 재구성을 기반으로 제2 공간의 제1 역사 히든 레이어 상태의 정확성을 더욱 향상시키는데 유리하고, 3차원 재구성의 정확성을 향상시키는데 유리할 수 있다.

여기서, 재구성할 타깃을 촬영하는 과정에서, 적어도 두 프레임의 제1 키 이미지를 획득하되; 제1 키 이미지는 카메라 포즈 파라미터에 대응되고, 카메라 포즈 파라미터는 평행 이동 거리와 회전 각도를 포함하고, 제1 키 이미지는, 인접한 제1 키 이미지 사이의 평행 이동 거리의 차이가 기설정된 거리 임계값보다 큰 것, 인접한 제1 키 이미지 사이의 회전 각도의 차이가 기설정된 각도의 임계값보다 큰 것 중 적어도 하나를 만족한다.

따라서, 적어도 두 프레임의 제1 키 이미지를 재구성할 타깃을 촬영하는 과정에서 획득된 것으로 설정하여, 촬영하면서 3차원 재구성을 수행하도록 구현할 수 있고; 제1 키 이미지는 카메라 포즈 파라미터에 대응될 수 있고, 카메라 포즈 파라미터는 평행 이동 거리와 회전 각도를 포함하며, 제1 키 이미지는, 인접한 제1 키 이미지 사이의 평행 이동 거리의 차이가 기설정된 거리 임계값보다 큰 것, 인접한 제1 키 이미지 사이의 회전 각도의 차이가 기설정된 각도의 임계값 보다 큰 것 중 적어도 하나를 만족하도록 설정함으로써, 각 재구성 과정에서 가능한 적은 키 이미지를 참조하는 기초상에서 제1 공간의 비전 범위를 가능한 확장함으로써, 3차원 재구성의 효율을 향상시키는데 유리할 수 있다.

본 발명의 실시예는, 키 이미지 획득 모듈, 제1 공간 결정 모듈, 제1 특징 획득 모듈, 재구성 결과 획득 모듈 및 재구성 결과 업데이트 모듈을 포함하는 3차원 재구성 장치를 제공하고, 키 이미지 획득 모듈은 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하도록 구성되고; 제1 공간 결정 모듈은 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하도록 구성되되; 여기서 제1 키 이미지는 재구성할 타깃을 촬영하여 획득되며; 제1 특징 획득 모듈은 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하도록 구성되되; 여기서 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함하고; 재구성 결과 획득 모듈은 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하도록 구성되며; 재구성 결과 업데이트 모듈은 이번 재구성의 제1 재구성 결과를 기반으로, 이전에 재구성에 의해 획득된 제2 재구성 결과를 업데이트하도록 구성된다.

본 발명의 실시예는, 서로 결합되는 메모리 및 프로세서를 포함하되, 프로세서는 메모리에 저장된 프로그램 명령을 실행하여 상기 3차원 재구성 방법을 구현하도록 구성되는 전자 기기를 제공한다.

본 발명의 실시예는, 프로그램 명령이 저장되되, 프로그램 명령이 프로세서에 의해 실행될 경우, 상기 3차원 재구성 방법을 구현하는 컴퓨터 판독 가능 저장 매체를 제공한다.

상술한 해결수단은, 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하고, 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하되, 제1 키 이미지는 재구성할 타깃을 촬영하여 획득되고, 이의 기초상에서 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하되, 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함하며, 이로써 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하며, 더 나아가 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트함으로써, 각 재구성 과정에서, 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간 전체에 대해 3차원 재구성을 수행할 수 있으므로, 산출 부하를 크게 감소시킬 수 있을 뿐만 아니라, 재구성 결과의 계층화 또는 분산 발생 확률을 감소시킬 수 있으며, 더 나아가 3차원 재구성 과정의 실시간성 및 3차원 재구성 결과의 평활도를 향상시킬 수 있다.

본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 이하에서는 실시예에 사용된 첨부 도면을 간략히 소개하되, 여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 이러한 도면은 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 기술적 해결 수단을 설명하기 위한 것이다. 아래 첨부 도면에는 본 발명의 특정 실시예만 도시하였으므로, 범위를 한정하는 것으로 간주되어서는 안되며, 본 기술분야의 통상의 지식을 가진 자가 진보성 창출에 힘을 쓰지 않은 전제하에서 이러한 첨부 도면에 따라 다른 관련된 첨부 도면을 획득할 수 있음을 이해해야 한다.
도 1a는 본 발명의 실시예의 3차원 재구성 방법의 일 실시예의 흐름 모식도이다.
도 1b는 본 발명의 실시예의 3차원 재구성 방법의 시스템 구조 모식도를 도시한다.
도 2는 제1 공간의 일 실시예의 모식도이다.
도 3은 본 발명의 실시예의 3차원 재구성 방법의 일 실시예의 과정 모식도이다.
도 4는 본 발명의 실시예의 3차원 재구성 방법과 다른 3차원 재구성 방법의 효과 모식도이다.
도 5는 도 1a 중 단계 S12의 일 실시예의 흐름 모식도이다.
도 6은 제1 특징 맵을 획득하는 일 실시예의 상태 모식도이다.
도 7은 도 1a중 단계 S13의 일 실시예의 흐름 모식도이다.
도 8은 이번 히든 레이어 상태를 획득하는 일 실시예의 상태 모식도이다.
도 9는 본 발명의 실시예의 3차원 재구성 방법의 다른 실시예의 과정 모식도이다.
도 10은 본 발명의 실시예의 3차원 재구성 장치의 일 실시예의 프레임 모식도이다.
도 11은 본 발명의 실시예의 전자 기기의 일 실시예의 프레임 모식도이다.
도 12는 본 발명의 실시예의 컴퓨터 판독 가능 저장 매체의 일 실시예의 프레임 모식도이다.

이하 명세서의 첨부된 도면을 결합하여, 본 발명의 실시예의 해결수단에 대해 상세히 설명한다.

아래 설명에서, 한정이 아니라 설명의 목적으로, 본 발명의 실시예의 정확한 이해를 위해 특정 시스템 구조, 인터페이스 및 기술과 같은 세부사항이 제시된다.

본문의 용어“시스템” 및 “ 네트워크”는 본문에서 자주 서로 교환되어 사용될 수 있다. 본문의 용어 “및/또는”은 단지 관련 객체를 설명하는 연관 관계일 뿐, 3가지 관계가 존재할 수 있음을 의미한다, 예를 들어, A 및/또는 B는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 의미한다. 이 밖에, 본문에서 “/” 부호는 일반적으로 전후 관련 객체가 "또는" 관계임을 나타낸다. 또한, 본 명세서에서 "다수"는 둘 또는 둘 이상을 나타낸다.

도 1a를 참조하면, 도 1a는 본 발명의 실시예의 3차원 재구성 방법의 일 실시예의 흐름 모식도이다. 하기와 같은 단계를 포함할 수 있다.

단계 S11에서, 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하고, 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정한다.

본 발명의 실시예에서, 제1 키 이미지는 재구성할 타깃을 촬영하여 획득된다. 재구성할 타깃은 실제 적용되는 경우에 따라 설정될 수 있다. 예를 들어, 특정 물체에 대한 3차원 재구성이 필요한 경우, 재구성할 타깃은 물체일 수 있고, 예를 들어, 재구성할 타깃은 테이블, 의자, 소파 등을 포함할 수 있지만 이에 한정되지 않으며, 여기서는 한정하지 않는다. 또는, 특정 장면에 대한 3차원 재구성이 필요한 경우, 재구성할 타깃은 장면일 수 있고, 설명해야 할 것은, 장면에는 다수의 물체가 포함될 수 있으며, 거실을 재구성할 타깃으로 예를 들면, 거실내에는 테이블, 의자, 소파 등 물체가 포함될 수 있지만 이에 한정되지 않고, 건물을 재구성할 타깃으로 예를 들면, 건물은 계단, 복도, 대문 등 물체가 포함될 수 있지만 이에 한정되지 않으며, 다른 경우는 이와 같이 유추될 수 있으므로, 여기서는 일일이 열거하지 않는다.

일 구현 장면에서, 3차원 재구성의 실시간성을 향상시키기 위해, 제1 키 이미지는 재구성할 타깃을 촬영하는 과정에서 획득된 것일 수 있다. 재구성할 타깃을 촬영하면서, 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하여, 3차원 재구성 과정에 대한 증분 처리가 구현될 수 있다.

일 구현 장면에서, 제1 키 이미지는 카메라 포즈 파라미터에 대응될 수 있고, 카메라 포즈 파라미터는 예를 들어 평행 이동 거리와 회전 각도를 포함할 수 있으며, 이의 기초상에서, 제1 키 이미지는, 인접한 제1 키 이미지 사이의 평행 이동 거리의 차이가 기설정된 거리 임계값보다 큰 것, 인접한 제1 키 이미지 사이의 회전 각도의 차이가 기설정된 각도의 임계값보다 큰 것 중 적어도 하나를 만족한다. 상술한 해결수단은, 각 재구성 과정에서 가능한 적은 키 이미지를 참조하는 기초상에서 제1 공간의 비전 범위를 가능한 확장함으로써, 3차원 재구성의 효율을 향상시키는데 유리할 수 있다.

일 구현 장면에서, 카메라 포즈 파라미터는 SLAM(Simultaneous Localization And Mapping)과 같은 방식을 기반으로 획득될 수 있고, 이에 한정되지 않는다. SLAM은 일반적으로 특징 추출, 데이터 연관, 상태 추정, 상태 업데이트 및 특징 업데이트 등과 같은 여러 부분을 포함하고 세부사항은 여기에서 반복하여 설명하지 않는다.

다른 구현 장면에서, 설명의 편의를 위해, 재구성할 타깃을 촬영하여 획득된 이미지 서열을

로 기록할 수 있고, 이미지 서열에 대응되는 카메라 포즈 파라미터는

로 기록할 수 있으며, 카메라 포즈 파라미터

는 평행 이동 거리(t) 및 회전 각도(R)를 포함할 수 있다. 다시점 재구성 과정에서 충족한 비전 범위의 제공을 유지하기 위해, 상기 이미지 서열에서 선택된 제1 키 이미지는 3차원 공간에서 서로 사이가 너무 가깝거나 너무 멀지 않아야 하므로, 이미지 서열 중 특정 프레임의 이미지의 평행 이동 거리(t)와 가장 최근에 선택된 제1 키 이미지의 평행 이동 거리(t) 사이의 차이가 기설정된 거리 임계값

보다 크고, 상기 프레임의 이미지의 회전 각도(R)와 상기 가장 최근에 선택된 제1 키 이미지의 회전 각도(R) 사이의 차이가 기설정된 각도의 임계값

보다 큰 경우, 상기 프레임의 이미지를 새로운 제1 키 이미지로 선택할 수 있다. 상술한 해결수단은, 각 재구성 과정에서 최대한 적은 제1 키 이미지를 기반으로 하고, 동시에 제1 공간의 비전 범위를 최대한 확장할 수 있다.

또 다른 구현 장면에서, 각 3차원 재구성의 산출 부하를 합리적으로 제어하기 위해, 각 3차원 재구성에 의해 획득된 적어도 두 프레임의 제1 키 이미지의 이미지 개수는 기설정된 개수의 임계값 보다 작을 수 있고, 기설정된 개수의 임계값은 실제 적용되는 경우에 따라 설정될 수 있으며, 예를 들어, 3차원 재구성을 수행하는 전자 기기가 상대적으로 여유의 컴퓨팅 리소스를 갖는 경우, 기설정된 개수의 임계값은 5, 10, 15와 같이 약간 크게 설정될 수 있거나; 3차원 재구성을 수행하는 전자 기기가 상대적으로 부족한 컴퓨팅 리소스를 갖는 경우, 기설정된 개수의 임계값은 2, 3, 4와 같이 약간 작게 설정될 수 있으며, 여기서는 한정하지 않는다.

또한, 설명해야 할 것은, 뷰 콘은 사각뿔 형태의 실체 형상으로 이해될 수 있고, 상기 실체 형상은 카메라가 렌더링할 때 볼 수 있는 영역의 형상이다. 카메라로 촬영된 이미지 중 임의의 점은 최종적으로 현실 세계에서 한 라인에 대응되고, 해당 라인의 한 점에서만 구현되며, 표시된 점 뒤에 있는 해당 라인의 모든 물체는 가려져 있지만, 이미지의 외부 경계는 4개의 정점에 대응되는 다이버전트 라인으로 정의되며, 이 4개의 라인은 최종적으로 카메라의 위치와 비교되는 것으로 이해할 수 있다.

도 1b는 본 발명의 실시예의 3차원 재구성 방법의 시스템 구조 모식도에 적용될 수 있다. 도 1b에 도시된 바와 같이, 상기 시스템 구조는, 이미지 수집 기기(2001), 네트워크(2002) 및 이미지 획득 단말기(2003)를 포함한다. 예시적인 애플리케이션을 지원하기 위해, 이미지 수집 기기(2001) 및 이미지 획득 단말기(2003)는 네트워크(2002)를 통해 통신 연결을 구축할 수 있고, 이미지 수집 기기(2001)는 네트워크(2002)를 통해 이미지 획득 단말기(2003)에 수집된 이미지를 전송하며, 이미지 획득 단말기(2003)는 이미지를 수신하여 이미지를 처리하며, 더 나아가 이번 재구성의 결과를 획득할 수 있다.

예시로서, 현재 장면 이미지 수집 기기(2001)는 카메라와 같이 이미지 수집 기능을 가진 기기를 포함할 수 있다. 이미지 획득 단말기(2003)는 소정의 컴퓨팅 기능과 이미지 처리 기능을 가진 컴퓨터 기기를 포함할 수 있고, 상기 컴퓨터 기기는 예를 들어, 단말 기기 또는 서버 또는 다른 처리 기기를 포함한다. 네트워크(2002)는 유선 연결 또는 무선 연결의 방식을 적용할 수 있다. 여기서, 이미지 획득 단말기(2003)가 서버인 경우, 이미지 수집 기기는 유선 연결의 방식으로 이미지 획득 단말기와 통신 연결될 수 있고, 예를 들어 버스를 통해 데이터를 통신하며; 이미지 획득 단말기(2003)가 단말 기기인 경우, 이미지 수집 기기는 무선 연결의 방식으로 이미지 획득 단말기와 통신 연결될 수 있고, 더 나아가 데이터 통신을 수행한다.

또는, 일부 장면에서, 이미지 획득 단말기(2003)는 영상 수집 모듈을 구비한 비전 처리 기기일 수 있으며, 카메라가 있는 호스트일수 있다. 이 경우, 본 발명의 실시예의 정보 처리 방법은 이미지 획득 단말기(2003)에 의해 수행될 수 있고, 상기 시스템 구조는 네트워크(2002) 및 이미지 수집 기기(2001)를 포함하지 않을 수 있다.

일 구현 장면에서, 도 2와 결부하여 참조하면, 도 2는 제1 공간의 일 실시예의 모식도이다. 도 2에 도시된 바와 같이, 제1 키 이미지는 각각 검은색 점으로 표시된 카메라 1, 카메라 2 및 카메라 3으로 촬영하여 획득되고, 실제 적용 과정에서, 카메라에서 너무 멀리 떨어진 이미지 정보가 후속의 3차원 재구성에 대해 발생시킬 수 있는 간섭을 줄이기 위해, 제1 공간을 결정할 때, 상기 뷰 콘의 최대 깊이를

로 미리 정의할 수 있고, 즉 사각뿔의 높이는 상기 최대 깊이

이다. 계속하여 도 2와 결부하여 참조하면, 설명의 편의를 위해, 도 2는 이등변 삼각형으로 도시된 뷰 콘을 제1 공간의 평면 경우의 뷰 콘으로 하는 모식도이고, 즉 도 2에 도시된 제1 공간은 2차원 시각에서의 모식도이며, 여기서 이등변 삼각형 중의 점선은 상기 최대 깊이

를 나타내고, 이 경우, 카메라 1, 카메라 2 및 카메라 3으로 촬영된 제1 키 이미지의 뷰 콘에 의해 둘러싸인 공간을 제1 공간로 정의할 수 있다. 3차원 재구성의 편의를 위해, 본 발명의 실시예 및 하기 발명의 실시예에서, 달리 명시되지 않는 한, 제1 공간은 예를 들어 직육면체 및 정육면체와 같이 인접한 표면이 서로 수직되는 육면체를 포함할 수 있다. 또한, 제1 키 이미지의 뷰 콘이 다른 경우, 또는 제1 키 이미지가 다른 개수인 경우, 제1 공간은 상기 설명을 참조하여 유추될 수 있으므로, 여기서는 일일이 열거하지 않는다.

또한, 본 발명의 실시예 및 하기 발명의 실시예에서, 제1 공간은 약간의 복셀(voxel)을 포함할 수 있다. 제1 공간을 직육면체 또는 정육면체로 예를 들면, 복셀도 직육면체 또는 정육면체일 수 있으며, 약간의 복셀이 적층되어 제1 공간을 형성할 수 있다. 또한, 복셀의 사이즈는 실제 적용되는 경우에 따라 설정될 수 있다. 예를 들어, 3차원 재구성에 대한 정밀도 요구가 비교적 높은 경우, 복셀의 사이즈는 약간 작게 설정될 수 있고, 또는, 3차원 재구성에 대한 정밀도 요구가 상대적으로 느슨한 경우, 복셀의 사이즈는 약간 크게 설정될 수 있으며, 여기서는 한정하지 않는다.

단계 S12에서, 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득한다.

본 발명의 실시예에서, 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함한다.

일 구현 장면에서, 각 프레임의 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 제1 키 이미지의 제2 특징 맵을 획득하고, 이의 기초상에서 제2 특징 맵에서 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득할 수 있다. 상술한 해결수단은, 각 프레임의 제1 키 이미지의 제2 특징 맵을 융합하여,제1 공간의 제1 특징 맵을 획득할 수 있어, 제1 특징 맵의 정확성을 향상시키는데 유리하고, 더 나아가 3차원 재구성의 정확성을 향상시키는데 유리할 수 있다.

일 구현 장면에서, 특징 추출의 효율을 향상시키기 위해, 3차원 재구성 모델을 미리 트레이닝할 수 있되, 상기 3차원 재구성 모델은 특징 추출 네트워크를 포함하며, 이로써 특징 추출 네트워크를 기반으로 각 프레임의 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 제1 키 이미지의 제2 특징 맵을 획득할 수 있다. 특징 추출 네트워크에는 콘볼루션 신경 네트워크(Convolutional Neural Networks, CNN)가 포함될 수 있지만 이에 한정되지 않는다. 3차원 재구성 모델의 트레이닝 과정에서 하기 관련 발명의 실시예를 참조할 수 있으므로, 여기서는 반복하여 설명하지 않는다.

다른 구현 장면에서, 제1 키 이미지의 제2 특징 맵은 기설정된 해상도의 특징 맵일 수 있고, 기설정된 해상도는 실제 적용되는 경우에 따라 설정할 수 있고, 예를 들어, 3차원 재구성의 정밀도에 대한 요구가 비교적 높은 경우, 기설정된 해상도는 약간 크게 설정될 수 있고, 3차원 재구성의 정밀도에 대한 요구가 상대적으로 느슨한 경우, 기설정된 해상도는 약간 작게 설정될 수 있으므로 여기서는 한정하지 않는다.

또 다른 구현 장면에서, 제1 공간의 각각의 복셀에 대해, 제2 특징 맵에서 상기 복셀에 대응되는 제2 특징 정보를 융합하여, 상기 복셀의 제1 특징 정보를 획득할 수 있고, 최종적으로 제1 공간의 모든 복셀의 제1 특징 정보를 획득한 기초상에서, 제1 공간의 제1 특징 맵을 획득할 수 있다.

또 다른 구현 장면에서, 각 프레임의 제1 키 이미지의 제2 특징 맵에서 복셀에 대응되는 제2 특징 정보가 모두 추출되지 않은 경우, 기설정된 특징 정보를 상기 복셀의 제1 특징 정보로 사용할 수 있다. 기설정된 특징 정보는 실제 적용되는 경우에 따라 설정할 수 있고, 예를 들어, 3차원 재구성의 산출 복잡도를 더욱 감소시키기 위해, 기설정된 특징 정보는 0으로 설정될 수 있으며, 여기서는 한정하지 않는다.

또 다른 구현 장면에서, 각 프레임의 제1 키 이미지의 제2 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제2 특징 맵을 포함할 수 있고, 제1 공간은 상이한 해상도에 대응하는 기설정된 개수의 제1 공간을 포함하며, 해상도가 높을 수록 제1 공간 중 복셀의 사이즈는 작아지고, 제1 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제1 특징 맵을 포함할 수도 있으며, 각각의 제1 특징 맵은 동일한 해상도의 제2 특징 맵의 제2 특징 정보를 기반으로 획득된다. 상술한 해결수단은, 상이한 해상도의 기설정된 개수의 제2 특징 맵을 통해 3차원 재구성을 수행하는데 유리할 수 있으므로, 3차원 재구성의 정밀도를 더욱 향상시키는데 유리할 수 있다.

일 구현 장면에서, 기설정된 개수는 실제 적용되는 경우에 따라 설정될 수 있고, 예를 들어, 2개의 상이한 해상도, 3개의 상이한 해상도, 4개의 상이한 해상도로 설정될 수 있으며, 여기서는 한정하지 않는다. 또한, 상이한 해상도는 실제 적용되는 경우에 따라 설정될 수도 있고, 예를 들어, 640 * 480 및 480 * 360 2개의 해상도로 설정될 수 있고, 1280 * 960 및 640 * 480 2개의 해상도로 설정될 수도 있으며; 또는, 640 * 480, 480 * 360 및 360 * 240 3개의 해상도로 설정될 수 있고, 1280 * 960, 640 * 480 및 480 * 360 3개의 해상도로 설정될 수도 있으며, 여기서는 한정하지 않는다.

다른 구현 장면에서, 상술한 바와 같이, 3차원 재구성의 효율을 향상시키기 위해, 3차원 재구성 모델을 미리 트레이닝할 수 있되, 상기 3차원 재구성 모델은 특징 추출 네트워크를 포함하며, 더 나아가 상기 특징 추출 네트워크를 기반으로 약간의 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 상이한 해상도의 제2 특징 맵을 획득할 수 있다. 상기 특징 추출 네트워크는 특징 피라미드 네트워크(Feature Pyramid Networks, FPN)를 포함할 수 있지만 이에 한정되지 않는다.

또 다른 구현 장면에서, 제1 키 이미지의 제2 특징 맵에 N개의 상이한 해상도에 대응하는 N장의 제2 특징 맵이 포함되는 경우, 제1 공간에도 N개의 상이한 해상도에 대응하는 N개의 제1 공간이 각각 포함될 수 있고, 해상도가 높을수록 제1 공간 중 복셀의 사이즈는 작아진다. 예를 들어, 제1 키 이미지의 제2 특징 맵에 1280 * 960 및 640 * 480 2개의 해상도의 제2 특징 맵이 포함되는 경우, 제1 공간도 해상도 1280 * 960에 대응되는 제1 공간 및 해상도 640 * 480에 대응되는 제1 공간을 포함하고, 해상도 1280 * 960에 대응되는 제1 공간 중 복셀의 사이즈는 해상도 640 * 480에 대응되는 제1 공간 중 복셀의 사이즈보다 작다. 다른 경우도 이와 같이 유추할 수 있으므로, 여기서는 일일이 열거하지 않는다. 일부 실시예에서, i번째의 해상도에 대응되는 제1 공간 중 복셀의 제1 특징 정보에 대해, 적어도 두 프레임의 제1 키 이미지 중 i번째의 해상도의 제2 특징 맵에서 대응되는 제2 특징 정보를 기반으로 획득할 수 있고, 상세 과정은 아래 발명의 실시예를 참조할 수 있으므로, 여기서는 반복하여 설명하지 않는다.

또 다른 구현 장면에서, i번째의 해상도에 대응되는 제1 공간 중 복셀의 폭은 아래 식으로 산출하여 획득될 수 있다.

····(1);

상기 공식 (1)에서,

는 i번째의 해상도에 대응되는 제1 공간 중 복셀의 폭을 나타내고, s는 미리 설정된 기준 복셀의 폭을 나타내며, 실제 적용 상황에 따라 조정할 수 있다. 또한, 설명해야 할 것은, i는 상이한 해상도를 낮은 해상도에서 높은 해상도의 순서에 따라 배열한 후의 i번째 해상도이다. 여전히 상기 1280 * 960, 640 * 480 및 480 * 360 3개의 해상도를 예로 들면, 낮은 해상도에서 높은 해상도의 순서에 따라 배열한 후, 각각 480 * 360, 640 * 480, 1280 * 960이고, 즉 해상도 480 * 360에 대응되는 제1 공간의 복셀의 폭을 산출할 경우, i는 1이고, 해상도 640*480에 대응되는 제1 공간의 복셀의 폭을 산출할 경우, i는 2이며, 해상도 1280*960에 대응되는 제1 공간의 복셀의 폭을 산출할 경우, i는 3이고, 다른 경우도 이와 같이 유추할 수 있으므로, 여기서는 일일이 열거하지 않는다.

단계 S13에서, 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득한다.

일 구현 장면에서, 제1 특징 맵을 기반으로 예측하여, 제1 공간 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득하되, 제1 재구성 값은 복셀과 재구성할 타깃 중 관련 물체 표면 사이의 거리를 나타내고, 이의 기초상에서, 상기 예측 결과에 대해 희소화(sparsify) 처리를 수행할 수 있고, 제1 공간 중 확률이 기설정된 조건을 만족하는 복셀을 선택할 수 있으며, 선택된 복셀의 제1 재구성 값을 기반으로, 이번 충전된 제1 재구성 결과를 획득한다. 상술한 해결수단은, 확률값이 기설정된 조건을 만족하지 않는 복셀의 3차원 재구성에 대한 간섭을 제거할 수 있고, 3차원 재구성의 정확성을 더욱 향상시키는데 유리할 수 있다.

일 구현 장면에서, 3차원 재구성의 효율을 향상시키기 위해, 3차원 재구성 모델을 미리 트레이닝할 수 있되, 상기 3차원 재구성 모델은 특징 예측 네트워크를 포함하며, 이로써 제1 특징 맵을 예측 네트워크에 입력하여, 제1 공간 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득할 수 있다. 예측 네트워크는 멀티 레이어 퍼셉트론(Multi-Layer Perceptron, MLP)을 포함할 수 있지만 이에 제한되지는 않으므로, 여기서는 한정하지 않는다.

다른 구현 장면에서, 제1 재구성 값은 절단된 부호 거리 함수 (Truncated Signed Distance Function, TSDF)를 사용하여 표시할 수 있고, 이 경우, 기설정된 값 범위는 -1에서 1 사이일 수 있다. 설명의 편의를 위해, j번째 복셀의 제1 재구성 값을

로 표시할 수 있고, 설명해야 할 것은,

이 0보다 크고 1보다 작은 경우, j번째 복셀은 관련 물체 표면 전의 절단거리

이내에 있음을 나타내고,

이 0보다 작고 -1보다 큰 경우, j번째 복셀은 관련 물체 표면 후의 절단거리

이내에 있음을 나타낸다.

또 다른 구현 장면에서, 기설정된 값 범위 내에서 제1 재구성 값의 확률값은 기설정된 값 범위 내에서 제1 재구성 값의 가능성으로 간주될 수 있고, 확률값이 높을수록 기설정된 값 범위 내에서 제1 재구성 값의 가능성이 더 높아지며, 반대로, 확률값이 낮을수록 기설정된 값 범위 내에서 제1 재구성 값의 가능성이 더 낮아진다.

또 다른 구현 장면에서, 기설정된 조건은 확률값이 기설정된 확률의 임계값보다 큰 것을 포함하도록 설정될 수 있다. 기설정된 확률의 임계값은 실제 적용되는 경우에 따라 설정될 수 있다. 예를 들어, 3차원 재구성에 대한 정확성 요구가 비교적 높은 경우, 기설정된 확률의 임계값은 0.9, 0.95와 같이 약간 크게 설정될 수 있거나, 3차원 재구성에 대한 정확성 요구가 상대적으로 느슨한 경우, 기설정된 확률의 임계값은 0.8, 0.85와 같이 약간 작게 설정될 수 있으며, 여기서는 한정하지 않는다.

또 다른 구현 장면에서, 제1 공간 중 확률값이 기설정된 조건을 만족하는 복셀을 선택한 후, 선택된 복셀 및 이의 제1 재구성 값 전체를 이번 재구성의 제1 재구성 결과로 사용할 수 있다.

또 다른 구현 장면에서, 후속의 재구성 값을 기반으로 재구성할 타깃의 표면을 쉽게 재구성하기 위해, 관련 물체 표면은 재구성할 타깃 중 복셀과의 거리가 가장 가까운 물체의 표면일 수 있다. 거실을 재구성할 타깃으로 예를 들면, 거실 바닥에 가장 가까운 복셀의 경우, 관련 물체의 표면은 바닥일 수 있으며, 거실의 소파에 가장 가까운 복셀의 경우, 관련 물체의 표면은 소파일 수 있으며, 다른 경우는 이와 같이 유추할 수 있으므로, 여기서는 일일이 열거하지 않는다. 상술한 해결수단은, 3차원 재구성의 정확성을 더욱 향상시키는데 유리할 수 있다.

다른 구현 장면에서, 상술한 바와 같이, 각 프레임의 제1 키 이미지의 제2 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제2 특징 맵을 모두 포함할 수 있고, 이 경우, 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택할 수 있으며, 이의 기초상에서 이전에 선택된 해상도에 대응되는 제1 재구성 결과에 대해 업샘플링(Upsample)을 수행하고, 업샘플링된 제1 재구성 결과와 현재 해상도에 대응되는 제1 특징 맵을 융합하여, 현재 해상도에 대응되는 융합 특징 맵을 획득함으로써, 융합 특징 맵을 기반으로, 현재 해상도에 대응되는 제1 재구성 결과를 획득하고, 더 나아가 현재 해상도가 가장 높은 해상도가 아닌 경우, 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택하는 단계와 후속의 단계를 다시 수행하거나, 현재 해상도가 가장 높은 해상도인 경우, 현재 해상도에 대응되는 제1 재구성 결과를 이번 재구성의 최종 제1 재구성 결과로 사용한다. 상술한 해결수단은, “낮은 해상도”를 기반으로 하는 제1 특징 맵에서 “높은 해상도”를 기반으로 하는 제1 특징 맵으로 점진적으로 3차원 재구성을 수행할 수 있고, “거친 것에서 미세한 것으로”의 3차원 재구성을 구현하는데 유리할 수 있으며, 더 나아가 3차원 재구성의 정밀도를 더욱 향상시키는데 유리할 수 있다.

일 구현 장면에서, 최근접 이웃 보간과 같은 업샘플링 방식으로 제1 재구성 결과에 대해 업샘플링을 수행할 수 있다. 설명해야 할 것은, 업샘플링된 제1 재구성 결과와 현재 해상도에 대응되는 제1 특징 맵의 후속 융합을 용이하게 하기 위해, 복셀의 폭이 상기 공식 (1)에 의해 산출되는 경우, 즉 i번째의 해상도에 대응되는 제1 공간 중 복셀의 폭이 i+1번째의 해상도에 대응되는 제1 공간 중 복셀의 폭의 2배인 경우, 업샘플링된 복셀의 폭은 기존 폭의 절반이므로, 업샘플링된 제1 재구성 결과 중 복셀의 폭과 현재 해상도에 대응되는 제1 공간 중 복셀의 폭이 동일할 수 있도록 한다.

다른 구현 장면에서, 각각의 복셀에 대해, 업샘플링된 제1 재구성 결과 중 j번째 복셀의 제1 재구성 값과 현재 해상도에 대응되는 제1 공간 중 j번째 복셀의 제1 특징 정보를 연결(Concatenate)할 수 있으므로, 업샘플링된 제1 재구성 결과와 현재 해상도에 대응되는 제1 특징 맵의 융합을 구현할 수 있다. 예를 들어, 현재 해상도에 대응되는 제1 공간 중 각각의 복셀의 제1 특징 정보를 차원 d의 행렬로 나타낼 수 있고, 업샘플링된 제1 재구성 결과 중 각각의 복셀의 제1 재구성 값은 차원 1의 행렬로 간주될 수 있으며, 양자를 연결한 후 획득된 융합 특징 맵을 차원 d+1의 행렬로 간주할 수 있으므로, 더 나아가 융합 특징 맵 중 각각의 복셀을 d+1 차원의 행렬로 나타낼 수 있다.

또 다른 구현 장면에서, 융합 특징 맵을 기반으로, 현재 해상도에 대응되는 제1 재구성 결과를 획득하는 상세한 과정은 상술한 제1 특징 맵을 기반으로 이번 재구성의 제1 재구성 결과를 획득하는 관련 설명을 참조할 수 있으므로, 여기서는 반복하여 설명하지 않는다.

또 다른 구현 장면에서, 도 3과 결부하여 참조하면, 도 3은 본 발명의 실시예의 3차원 재구성 방법의 일 실시예의 과정 모식도이다. 도 3에 도시된 바와 같이, 재구성할 타깃을 촬영한 이미지 서열에서 다수의 제1 키 이미지를 선별하여 획득하고, 특징 추출 네트워크(예를 들어, 상기 FPN)를 통해 특징을 추출한 후, 각 프레임의 제1 키 이미지에 대해, 3개의 상이한 해상도의 제2 특징 맵을 추출하며, 이러한 3개의 상이한 해상도를 낮은 해상도에서 높은 해상도로 배열한 후, 해상도 1, 해상도 2 및 해상도 3으로 각각 기록할 수 있고, 해상도 1에 대응되는 제1 공간은 제1 공간 1로 기록할 수 있으며, 해상도 2에 대응되는 제1 공간은 제1 공간 2로 기록할 수 있고, 해상도 3에 대응되는 제1 공간은 제1 공간 3으로 기록할 수 있으며, 각각의 해상도에 대해 상기 해상도의 제2 특징 맵에서 상기 해상도에 대응되는 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 상기 해상도에 대응하는 제1 공간의 제1 특징 맵을 획득할 수 있다. 설명의 편의를 위해 이번 재구성(즉 t번째 타임 스텝)의 제1 공간 1의 제1 특징 맵을

로 기록할 수 있고, 제1 공간 2의 제1 특징 맵을

로 기록할 수 있으며, 제1 공간 3의 제1 특징 맵을

로 기록할 수 있다. 해상도가 낮은 데서 높은 데로의 순서에 따라, 우선 해상도 1을 선택하여 현재 해상도로 사용하고, 이전에 선택된 해상도에 대응되는 제1 재구성 결과에 대해 업샘플링을 수행하며, 해상도 1은 최초로 선택된 해상도이므로, 이전에 선택된 해상도에 대응되는 제1 재구성 결과가 존재하지 않고, 따라서 직접 MLP와 같은 예측 네트워크를 기반으로 현재 해상도에 대응되는 제1 특징 맵

을 예측하여, 제1 공간 1 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득할 수 있으며, 설명의 편의를 위해

로 기록할 수 있고,

에 대해 희소화(즉 도 3에서 S) 처리를 수행하여 제1 재구성 결과를 획득할 수 있다. 현재 해상도가 가장 높은 해상도가 아니므로, 계속해서 해상도 2를 현재 해상도로 사용할 수 있고, 이전에 선택된 해상도 1에 대응되는 제1 재구성 결과에 대해 업샘플링(즉 도 3에서 U)을 수행하며, 업샘플링된 제1 재구성 결과를 기반으로 현재 해상도에 대응되는 제1 특징 맵

과 연결(즉 도 3에서 C) 처리를 수행하여 해상도 2에 대응되는 융합 특징 맵을 획득함으로써, MLP와 같은 예측 네트워크를 기반으로 융합 특징 맵을 예측하여, 제1 공간 2 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득할 수 있으며, 설명의 편의를 위해

로 기록할 수 있고,

에 대해 희소화(즉 도 3에서 S) 처리를 수행하여 제1 재구성 결과를 획득할 수 있다. 현재 해상도가 여전히 가장 높은 해상도가 아니므로, 계속해서 해상도 3을 현재 해상도로 사용할 수 있고, 이전에 선택된 해상도 2에 대응되는 제1 재구성 결과에 대해 업샘플링(즉 도 3에서 U)을 수행하며, 업샘플링된 제1 재구성 결과를 기반으로 현재 해상도에 대응되는 제1 특징 맵

과 연결(즉 도 3에서 C) 처리를 수행하여 해상도 3에 대응되는 융합 특징 맵을 획득함으로써, MLP와 같은 예측 네트워크를 기반으로 융합 특징 맵을 예측하여, 제1 공간 3 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득할 수 있으며, 설명의 편의를 위해

로 기록할 수 있고,

에 대해 희소화(즉 도 3에서 S) 처리를 수행하여 제1 재구성 결과를 획득할 수 있다. 현재 해상도가 가장 높은 해상도이므로, 현재 해상도에 대응되는 제1 재구성 결과를 이번 재구성의 최종 제1 재구성 결과로 사용할 수 있고, 설명의 편의를 위해 이번 재구성의 최종 제1 재구성 결과를

로 기록할 수 있다. 다른 경우는 이와 같이 유추할 수 있으므로, 여기서는 일일이 열거하지 않는다.

단계 S14에서, 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트한다.

일 구현 장면에서, 상술한 바와 같이, 제1 재구성 결과는 예를 들어 제1 공간 중 복셀의 제1 재구성 값을 포함하고, 유사하게, 제2 재구성 결과는 제2 공간 중 복셀의 제2 재구성 값을 포함하며, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이고, 제1 재구성 값과 제2 재구성 값은 상기 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타낸다. 예를 들어 제1 재구성 값에 대해서는 앞서 언급한 관련 설명을 참조할 수 있으며, 여기서는 반복하여 설명하지 않는다. 이의 기초상에서, 제1 공간 중 복셀의 제1 재구성 값을 기반으로, 제2 공간 중 대응되는 복셀의 제2 재구성 값을 업데이트할 수 있다. 상술한 해결수단은, 3차원 재구성 과정에서 이번 재구성 과정에서 제1 공간 중 복셀의 제1 재구성 값을 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는데 유리할 수 있고, 더 나아가 재구성 과정에서 제2 재구성 결과를 지속적으로 보완하고, 3차원 재구성의 정확성을 향상시키는데 유리할 수 있다.

일 구현 장면에서, 이번 재구성이 재구성할 타깃에 대해 3차원 재구성을 수행하는 과정 중 최초 재구성인 경우, 이번 재구성의 제1 재구성 결과를 기반으로 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는 단계를 수행하지 않을 수 있다.

다른 구현 장면에서, 제2 공간 중 제1 공간에 대응되는 일부 복셀의 제2 재구성 값을 이번 재구성의 제1 공간 중 복셀의 제1 재구성 값으로 대체할 수 있다. 계속하여 도 3에 결부하여 참조하면, 상술한 바와 같이, 설명의 편의를 위해 이번 재구성의 최종 제1 재구성 결과를

로 기록하고, 이전 재구성에 의해 획득된 제2 재구성 결과를

로 기록할 수 있으며, 제1 공간 중 복셀의 제1 재구성 값을 기반으로 제2 공간에서 대응되는 복셀의 제2 재구성 값을 업데이트하여, 업데이트된 제2 재구성 결과를 획득할 수 있으며, 설명의 편의를 위해

로 기록할 수 있다.

또 다른 구현 장면에서, 이번 재구성 이후 추가 재구성이 필요한 경우, 상기 단계 S11 및 후속 단계를 다시 수행하여, 여러 번의 재구성을 통해 제2 재구성 결과를 지속적으로 보완할 수 있다. 또한, 이번 재구성 이후 추가 재구성이 필요하지 않을 경우, 업데이트된 제2 재구성 결과

를 재구성할 타깃의 최종 재구성 결과로 사용할 수 있다.

또 다른 구현 장면에서, 도 4에 결부하여 참조하면, 도 4는 본 발명의 실시예의 3차원 재구성 방법과 다른 3차원 재구성 방법의 효과 모식도이다. 도 4에서 41 및 42는 다른 재구성 방법으로 재구성하여 획득된 재구성 결과를 나타내고, 도 4에서 43 및 44는 본 발명의 실시예의 3차원 재구성 방법으로 재구성하여 획득된 재구성 결과를 나타낸다. 도 4 중 41 및 42에 도시된 바와 같이, 다른 3차원 재구성 방법으로 재구성하여 획득된 재구성 결과는 직사각형 블록으로 표시된 벽 부분에서 선명한 분산 및 계층화 현상이 나타나고, 도 4 중 43 및 44에서, 본 발명의 실시예의 3차원 재구성 방법으로 재구성하여 획득된 재구성 2급 결과는 직사각형 블록으로 표시된 벽 부분에서 선명한 분산 및 계층화 현상이 나타나지 않고, 비교적 우수한 평활도를 가진다.

도 5를 참조하면, 도 5는 도 1a 중 단계 S12의 일 실시예의 흐름 모식도이다. 전술한 발명의 실시예에서 설명된 바와 같이, 각 프레임의 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 제1 키 이미지의 제2 특징 맵을 획득할 수 있으므로, 제2 특징 맵에서 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득할 수 있다. 본 발명의 실시예는 제2 특징 맵에서 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 제1 특징 맵을 획득하는 흐름 모식도이다. 하기와 같은 단계를 포함할 수 있다.

단계 S51에서, 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 각각 복셀에 대응되는 제2 특징 정보를 추출한다.

본 발명의 실시예에서, 제1 공간 중 각각의 복셀에 대해, 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 각각 복셀에 대응되는 제2 특징 정보를 추출할 수 있다.

일 구현 장면에서, 제1 키 이미지의 카메라 포즈 파라미터 및 카메라 내부 파라미터를 기반으로 제2 특징 맵 중 각 픽셀점에 대해 역 투영을 수행할 수 있고, 제1 공간 중 제2 특징 맵 중 픽셀점에 대응되는 복셀을 결정할 수 있다. 이의 기초상에서, 제1 공간 중 각각의 복셀에 대해, 각 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 각각 상기 복셀에 대응되는 픽셀점의 제2 특징 정보를 추출하여 획득할 수 있다.

다른 구현 장면에서, 도 6에 결부하여 참조하면, 도 6은 제1 특징 맵을 획득하는 일 실시예의 상태 모식도이다. 도 6에 도시된 바와 같이, 설명의 편의를 위해, 도 2와 유사하게, 도 6도 “2차원 시각”으로 제1 특징 맵을 획득하는 상세 과정을 설명한다. 도 6에 도시된 바와 같이, 제2 특징 맵 중 픽셀점에 대해 역 투영을 수행하여, 제1 공간 중 각 픽셀점에 대응되는 복셀을 결정할 수 있다. 설명해야 할 것은, 도 6에서 상이한 색상의 사각형은 상이한 제2 특징 정보에 대응되는 것을 나타낸다.

단계 S52에서, 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보를 융합하여, 복셀의 제1 특징 정보를 획득한다.

일 구현 장면에서, 계속하여 도 6에 결부하여 참조하면, 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보의 평균값을 복셀의 제1 특징 정보로 사용할 수 있다. 예를 들어, 제1 공간 중 k번째 복셀은 첫 번째 제1 키 이미지의 제2 특징 맵에서 i번째 행 j번째 열의 픽셀점에 대응되고, 두 번째 제1 키 이미지의 제2 특징 맵에서 m번째 행 n번째 열의 픽셀점에 대응되며, 이의 기초상에서, 첫 번째 제1 키 이미지의 제2 특징 맵에서 i번째 행 j번째 열의 픽셀점의 제2 특징 정보 및 두 번째 제1 키 이미지의 제2 특징 맵에서 m번째 행 n번째 열의 픽셀점의 제2 특징 정보의 평균값을 제1 공간 중 k번째 복셀의 제1 특징 정보로 사용할 수 있으며, 다른 경우는 이와 같이 유추할 수 있으므로, 여기서는 일일이 열거하지 않는다.

다른 구현 장면에서, 또한 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보의 가중 결과를 복셀의 제1 특징 정보로 사용할 수 있다. 상기 가중 결과는 가중 합산, 가중 평균 등을 포함할 수 있지만, 이에 제한되는 것은 아니므로, 여기서는 한정하지 않는다.

또 다른 구현 장면에서, 전술한 발명의 실시예에서 설명된 바와 같이, 각 프레임의 제1 키 이미지의 제2 특징 맵에서 복셀에 대응되는 제2 특징 정보가 모두 추출되지 않은 경우, 기설정된 특징 정보를 복셀의 제1 특징 정보로 사용한다. 전술한 발명의 실시예에서 관련 설명을 참조할 수 있으며, 여기서는 반복하여 설명하지 않는다.

단계 S53에서, 제1 공간의 각 복셀의 제1 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득한다.

제1 공간에서 각 픽셀점의 제1 특징 정보를 획득한 후, 제1 공간에서 각 복셀의 제1 특징 정보 전체를 제1 특징 맵으로 사용할 수 있다.

전술한 실시예와 달리, 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 각각 복셀에 대응되는 제2 특징 정보를 추출하고, 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보를 융합하여, 복셀의 제1 특징 정보를 획득함으로써, 제1 공간의 각 복셀의 제1 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하며, 따라서 제1 공간 중 각각의 복셀에 대해, 대응되는 각 프레임의 제1 키 이미지의 제2 특징 정보를 융합하여, 제1 공간의 제1 특징 맵의 정밀성을 더욱 향상시키는데 유리할 수 있다.

도 7을 참조하면, 도 7은 도 1a 중 단계 S13의 일 실시예의 흐름 모식도이다. 본 발명의 실시예에서, 제1 재구성 결과는 3차원 재구성 모델을 사용하여 획득된다. 하기와 같은 단계를 포함할 수 있다.

단계 S71에서, 3차원 재구성 모델의 융합 네트워크의 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 획득한다.

본 발명의 실시예에서, 제1 역사 히든 레이어 상태는, 제2 공간 중 복셀에 대응되는 상태값을 포함하고, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이다. 설명해야 할 것은, 이번 재구성이 최초 재구성인 경우, 제2 공간은 이번 재구성의 제1 공간이고, 이 경우, 제1 역사 히든 레이어 상태에 포함된 제2 공간 중 복셀에 대응되는 상태값을 기설정된 상태값(예를 들어, 기설정된 상태값을 0으로 설정)으로 설정할 수 있다.

단계 S72에서, 제1 역사 히든 레이어 상태에서, 제1 공간의 복셀에 대응되는 상태값을 추출하여, 제2 역사 히든 레이어 상태로 사용한다.

도 8에 결부하여 참조하면, 도 8은 이번 히든 레이어 상태를 획득하는 일 실시예의 상태 모식도이다. 설명해야 할 것은, 설명의 편의를 위해, 전술한 도 2 및 도 6과 유사하며, 도 8은 “2차원 시각”에서 설명된 이번 히든 레이어 상태를 획득하는 상태 모식도이다. 도 8에 도시된 바와 같이, 설명의 편의를 위해, 제1 역사 히든 레이어 상태를

로 기록할 수 있고, 제1 역사 히든 레이어 상태

중 상이한 그레이 사각형은 복셀의 상태값을 나타내며, 색상이 없는 사각형은 대응하는 복셀에 상태값이 없음을 나타내고, 또한 제1 역사 히든 레이어 상태

중의 직사각형 블록은 제1 공간을 나타내며, 제1 역사 히든 레이어 상태

로부터 제1 공간의 복셀에 대응되는 상태값을 추출하여, 제2 역사 히든 레이어 상태

를 획득할 수 있다. 다른 경우는 이와 같이 유추할 수 있으므로, 여기서는 일일이 열거하지 않는다.

단계S73에서, 융합 네트워크를 기반으로, 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계를 수행한다.

일 구현 장면에서, 제1 특징 맵, 제2 역사 히든 레이어 상태를 융합 네트워크에 입력하여, 이번 히든 레이어 상태를 출력할 수 있다. 융합 네트워크는 게이팅 순환 유닛(Gated Recurrent Unit, GRU)을 포함하도록 설정할 수 있지만, 여기서는 제한되지 않는다.

다른 구현 장면에서, 계속하여 도 8에 결부하여 참조하면, 제2 역사 히든 레이어 상태

를 업데이트하기 이전에, 제1 특징 맵

에 대해 기하학적 정보 추출을 추가로 수행하여, 기하학적 특징 맵

을 획득할 수 있고, 기하학적 특징 맵은 복셀의 기하학적 정보를 포함하며, 이로써 기하학적 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득할 수 있다. 상술한 해결수단은, 추출하여 획득된 복셀의 기하학적 정보의 기초상에서 이번 재구성의 제1 공간의 제2 역사 히든 레이어 상태를 업데이트 할 수 있어 3차원 재구성의 정확성을 향상시키는데 유리하다.

일 구현 장면에서, 3차원 희소 콘볼루션, pointnet 등 네트워크를 통해 제1 특징 맵

에 대해 기하학적 정보 추출을 수행하여, 기하학적 특징 맵

을 획득할 수 있으며, 실제 응용 수요에 따라 설정할 수 있으므로, 여기서는 한정하지 않는다.

다른 구현 장면에서, 융합 네트워크에 게이팅 순환 유닛(GRU)이 포함되는 것을 예로 들어, 도 8에 결부하여 참조하면, GRU는 기하학적 특징 맵

및 제2 역사 히든 레이어 상태

를 융합하여 최종적으로 이번 히든 레이어 상태

를 획득할 수 있다. 설명의 편의를 위해, 게이팅 순환 유닛(GRU)의 업데이트 게이팅을

로 기록하고, 리셋 게이팅을

로 기록할 수 있으며, 하기와 같이 나타낼 수 있다.

····(2);

····(3);

상기 공식 (2) 및 공식 (3)에서, sparseconv는 희소 콘볼루션을 나타내고,

는 희소 콘볼루션의 네트워크 가중치를 나타내며,

는 활성화 함수(예를 들어, sigmoid)를 나타낸다.

이의 기초상에서, 업데이트 게이팅

및 리셋 게이팅

는 융합을 위해 기하학적 특징 맵

으로부터 도입된 정보의 양과, 융합을 위해 제2 역사 히든 레이어 상태

로부터 도입된 정보의 양을 결정할 수 있다. 하기와 같이 나타낼수 있다.

····(4);

····(5);

상기 공식 (4) 및 공식 (5)에서, sparseconv는 희소 콘볼루션을 나타내고,

는 희소 콘볼루션의 네트워크 가중치를 나타내며, tanh는 활성화 함수를 나타낸다. 이로부터 보아낼 수 있다 시피, 데이터 구동 방식으로서, GRU는 3차원 재구성 과정에서 선택적 주의 메니커즘을 제공할 수 있다.

단계S74에서, 3차원 재구성 모델을 사용하여 이번 히든 레이어 상태를 예측하여, 제1 재구성 결과를 획득한다.

일 구현 장면에서, 전술한 발명의 실시예에서 설명된 바와 같이, 3차원 모델은 예측 네트워크(예를 들어, MLP)를 더 포함할 수 있고, 이의 기초상에서, 예측 네트워크를 기반으로 이번 히든 레이어 상태

를 예측하여, 제1 재구성 결과를 획득할 수 있다.

일 구현 장면에서, 예측 네트워크를 기반으로 이번 히든 레이어 상태

를 예측하여 제1 공간 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득하되, 제1 재구성 값은 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타낼 수 있으며, 이의 기초상에서, 제1 공간 중 확률값이 기설정된 조건을 만족하는 복셀을 선택할 수 있고, 선택된 복셀의 제1 재구성 값을 기반으로, 이번 재구성의 제1 재구성 결과를 획득할 수 있다. 세부사항은 전술한 발명의 실시예에서 관련 설명을 참조할 수 있으며, 여기서는 반복하여 설명하지 않는다.

다른 구현 장면에서, 계속하여 도 8과 결부하여 참조하면, 이번 히든 레이어 상태

를 획득한 후, 이번 히든 레이어 상태

중의 상태값을 기반으로, 제1 역사 히든 레이어 상태

중 대응하는 복셀에 대응되는 상태값을 업데이트하여, 업데이트된 제1 역사 히든 레이어 상태

를 획득하여, 다음 재구성에서 사용될 수 있도록 한다. 상술한 해결수단은, 이번 히든 레이어 상태를 업데이트한 후, 제2 공간의 제1 역사 히든 레이어 상태를 추가로 업데이트할 수 있어, 이번 재구성을 기반으로 제2 공간의 제1 역사 히든 레이어 상태의 정확성을 더욱 향상시키는데 유리하고, 3차원 재구성의 정확성을 향상시키는데 유리할 수 있다.

일 구현 장면에서, 제1 역사 히든 레이어 상태

에서 제1 공간 중 복셀의 상태값을 이번 히든 레이어 상태

에서 대응하는 복셀의 상태값으로 직접 대체할 수 있다.

또 다른 구현 장면에서, 도 9에 결부하여 참조하면, 도 9는 본 발명의 실시예의 3차원 재구성 방법의 다른 실시예의 과정 모식도이다. 도 3에 도시된 3차원 재구성 과정과 달리, 본 발명의 실시예에서 설명된 바와 같이, 도 9에 도시된 3차원 재구성 과정은 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태(도 9에서 global hidden state)를 도입하고, 즉 전술한 발명의 실시예에서 설명된 3차원 재구성 과정에서, 매번 MLP와 같은 예측 네트워크를 기반으로 현재 해상도에 대응되는 제1 특징 맵

를 예측하는 단계는 하기와 같은 단계를 포함할 수 있다. 즉 이전 재구성에 의해 획득된 현재 해상도에 대응되는 제1 역사 히든 레이어 상태를 획득하고, 현재 해상도에 대응되는 제1 역사 히든 레이어 상태에서, 제1 공간의 복셀에 대응되는 상태값을 추출하여 제2 역사 히든 레이어 상태로 사용하며, GRU와 같은 융합 네트워크를 기반으로, 현재 해상도에 대응되는 제1 특징 맵

을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 현재 해상도에 대응되는 이번 히든 레이어 상태를 획득하며, 이의 기초상에서 다시 MLP와 같은 예측 네트워크를 기반으로 현재 해상도에 대응되는 이번 히든 레이어 상태를 예측하여, 현재 해상도에 대응되는 제1 재구성 결과를 획득하는 단계를 수행한다. 본 발명의 실시예는 전술한 발명의 실시예와의 상이한 부분만 설명하였고, 다른 과정은 전술한 발명의 실시예에서 관련 설명을 참조할 수 있으므로, 여기서는 반복하여 설명하지 않는다.

전술한 실시예와 달리, 제1 재구성 결과를 3차원 재구성 모델을 사용하여 획득되도록 설정하고, 3차원 재구성 모델의 융합 네트워크의 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 획득하되, 제1 역사 히든 레이어 상태는 제2 공간 중 복셀에 대응되는 상태값을 포함하고, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이며, 이의 기초상에서 제1 역사 히든 레이어 상태에서, 제1 공간의 복셀에 대응되는 상태값을 추출하여 제2 역사 히든 레이어 상태로 사용함으로써, 융합 네트워크를 기반으로, 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하고, 더 나아가 3차원 재구성 모델을 사용하여 이번 히든 레이어 상태를 예측하여, 제1 재구성 결과를 획득하는 단계를 수행함으로써, 각 재구성 과정에서 모두 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 참조할 수 있어, 이번 재구성과 이전 재구성의 일관성을 향상시키는데 유리할 수 있으므로, 이번 재구성 결과와 이전 재구성 결과 사이의 계층화 또는 분산 발생 확률을 감소시키고, 더 나아가3차원 재구성 결과의 평활도를 더욱 향상시키는데 유리할 수 있다.

일부 발명의 실시예에서, 상기 임의의 3차원 재구성 방법의 실시예에서의3차원 재구성 결과는 3차원 재구성 모델의 재구성에 의해 획득될 수 있다. 샘플 타깃을 촬영한 여러 샘플 이미지 그룹을 미리 수집하되, 각 샘플 이미지 그룹은 적어도 두 프레임의 샘플 키 이미지를 포함하고, 각 샘플 이미지 그룹에 포함된 적어도 두 프레임의 샘플 키 이미지의 뷰 콘은 제1 샘플 공간에 의해 둘러싸여져 있으며, 제1 샘플 공간은 약간의 복셀을 포함하고, 전술한 발명의 실시예에서 관련 설명을 참조할 수 있으므로, 여기서는 반복하여 설명하지 않는다. 전술한 발명의 실시예와 달리, 각 샘플 이미지 그룹에는 제1 샘플 공간 중 각 복셀의 제1 실제 재구성 값 및 기설정된 값 범위 내에서 제1 실제 재구성 값의 실제 확률값이 표기되어 있고, 제1 실제 재구성 값은 복셀과 샘플 타깃 중 관련 물체 표면 사이의 거리를 나타내고, 제1 실제 재구성 값은 TSDF를 사용하여 나타낼 수 있으며, 관련 물체 표면은 전술한 발명의 실시예에서 관련 설명을 참조할 수 있으므로, 여기서는 반복하여 설명하지 않는다. 또한, 제1 실제 재구성 값이 기설정된 값 범위내에 있을 때, 제1 실제 재구성 값에 대응되는 실제 확률값을 1로 표기할 수 있고, 제1 실제 재구성 값이 기설정된 값 범위 내에 있지 않는 경우, 제1 실제 재구성 값에 대응되는 실제 확률값을 0으로 표기할 수 있다. 이의 기초상에서, 샘플 이미지 그룹에 포함된 적어도 두 프레임의 샘플 키 이미지를 3차원 재구성 모델의 특징 추출 네트워크(예를 들어, FPN)에 입력하여, 제1 샘플 공간의 제1 샘플 특징 맵을 획득할 수 있되, 제1 샘플 특징 맵은 제1 샘플 공간 중 복셀의 제1 샘플 특징 정보를 포함하며, 제1 샘플 특징 맵을 3차원 재구성 모델의 예측 네트워크에 입력하여, 제1 샘플 재구성 결과를 획득할 수 있되, 제1 샘플 재구성 결과는 제1 샘플 공간 중 각 복셀의 제1 샘플 재구성 값 및 기설정된 값 범위 내에서 제1 샘플 재구성 값의 샘플 확률값을 획득할 수 있으므로, 더 나아가 제1 샘플 공간 중 각 복셀의 제1 샘플 재구성 값과 제1 실제 재구성 값 사이의 차이 및 제1 샘플 공간 중 각 복셀의 샘플 확률값과 실제 확률값 사이의 차이를 기반으로, 3차원 재구성 모델의 네트워크 파라미터를 조정할 수 있다.

일 구현 장면에서, 바이너리 크로스 엔트로피(binary cross-entropy, BCE) 함수를 기반으로 샘플 확률값과 실제 확률값 사이의 제1 손실값을 산출할 수 있고, L1 손실 함수를 기반으로 제1 샘플 재구성 값과 제1 실제 재구성 값 사이의 제2 손실값을 산출할 수 있으므로, 제1 손실값 및 제2 손실값을 기반으로, 3차원 재구성 모델의 네트워크 파라미터를 조정할 수 있다.

다른 구현 장면에서, 전술한 발명의 실시예와 유사하게, 제1 샘플 재구성 결과를 예측하는 과정에서, 3차원 재구성 모델의 융합 네트워크의 이전 재구성에 의해 획득된 제1 샘플 역사 히든 레이어 상태를 획득할 수 있되, 제1 샘플 역사 히든 레이어 상태는 제2 샘플 공간 중 복셀에 대응되는 샘플 상태값을 포함하고, 제2 샘플 공간은 이전에 재구성된 여러 샘플 이미지 그룹의 뷰 콘을 둘러싼 전체 공간이며, 이의 기초상에서, 제1 샘플 역사 히든 레이어 상태에서, 제1 샘플 공간의 복셀에 대응되는 샘플 상태값을 추출하여 제2샘플 역사 히든 레이어 상태로 사용할 수 있으므로, 융합 네트워크를 기반으로, 제1 샘플 특징 맵을 기반으로 제2 샘플 역사 히든 레이어 상태 중의 샘플 상태값을 업데이트하여, 이번 샘플 히든 레이어 상태를 획득하며, 더 나아가 예측 네트워크를 기반으로 이번 샘플 히든 레이어 상태를 예측하여, 제1 샘플 재구성 결과를 획득하는 단계를 수행할 수 있다. 전술한 발명의 실시예에서 관련 설명을 참조할 수 있으므로, 여기서는 반복하여 설명하지 않는다.

도 10을 참조하면, 도 10은 본 발명의 실시예의 3차원 재구성 장치(100)의 일 실시예의 프레임 모식도이다. 3차원 재구성 장치(100)는 키 이미지 획득 모듈(101), 제1 공간 결정 모듈(102), 제1 특징 획득 모듈(103), 재구성 결과 획득 모듈(104) 및 재구성 결과 업데이트 모듈(105)을 포함하고, 키 이미지 획득 모듈(101)은 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하도록 구성되며; 제1 공간 결정 모듈(102)은 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하도록 구성되되; 여기서 제1 키 이미지는 재구성할 타깃을 촬영하여 획득되고; 제1 특징 획득 모듈(103)은 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하도록 구성되되; 여기서 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함하며; 재구성 결과 획득 모듈(104)은 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하도록 구성되고; 재구성 결과 업데이트 모듈(105)은 이번 재구성의 제1 재구성 결과 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하도록 구성된다.

일부 발명의 실시예에서, 3차원 재구성 장치(100)는 각 프레임의 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 제1 키 이미지의 제2 특징 맵을 획득하도록 구성되는 제2 특징 획득 모듈을 더 포함하고, 제1 특징 획득 모듈(103)은 제1 공간의 각 복셀이 제2 특징 맵에서 대응되는 제2 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하도록 구성된다.

일부 발명의 실시예에서, 제1 특징 획득 모듈(103)은 각 프레임의 제1 키 이미지의 제2 특징 맵으로부터, 복셀에 대응되는 제2 특징 정보를 각각 추출하도록 구성되는 특징 정보 추출 서브 모듈을 포함하고, 제1 특징 획득 모듈(103)은 복셀에 각각 대응되는 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보를 융합하여, 복셀의 제1 특징 정보를 획득하도록 구성되는 특징 정보 융합 서브 모듈을 포함하며, 제1 특징 획득 모듈(103)은 제1 공간의 각 복셀의 제1 특징 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하도록 구성되는 제1 특징 획득 서브 모듈을 포함한다.

일부 발명의 실시예에서, 특징 정보 융합 서브 모듈은 복셀에 대응되는 각 프레임의 제1 키 이미지의 제2 특징 정보의 평균값을 복셀의 제1 특징 정보로 사용하도록 구성된다.

일부 발명의 실시예에서, 제1 특징 획득 모듈(103)은 각 프레임의 제1 키 이미지의 제2 특징 맵에서 복셀에 대응되는 제2 특징 정보가 모두 추출되지 않은 경우, 기설정된 특징 정보를 복셀의 제1 특징 정보로 사용하도록 구성되는 특징 정보 설정 서브 모듈을 더 포함한다.

일부 발명의 실시예에서, 각 프레임의 제1 키 이미지의 제2 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제2 특징 맵을 포함하고; 제1 공간은 상이한 해상도에 대응하는 기설정된 개수의 제1 공간을 포함하며; 해상도가 높을수록, 제1 공간 중 복셀의 사이즈는 작아지고; 제1 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제1 특징 맵을 포함하며, 각각의 제1 특징 맵은 동일한 해상도의 제2 특징 맵의 제2 특징 정보를 기반으로 획득된다.

일부 발명의 실시예에서, 재구성 결과 획득 모듈(104)은 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택하도록 구성되는 해상도 선택 서브 모듈을 포함하고, 재구성 결과 획득 모듈(104)은 이전에 선택된 해상도에 대응되는 제1 재구성 결과에 대해 업샘플링을 수행하고, 업샘플링된 제1 재구성 결과와 현재 해상도에 대응되는 제1 특징 맵을 융합하여, 현재 해상도에 대응되는 융합 특징 맵을 획득하도록 구성되는 특징 맵 업데이트 서브 모듈 포함하며, 재구성 결과 획득 모듈(104)은 융합 특징 맵을 기반으로, 현재 해상도에 대응되는 제1 재구성 결과를 획득하도록 구성되는 재구성 결과 획득 서브 모듈을 포함하고, 재구성 결과 획득 모듈(104)은 현재 해상도가 가장 높은 해상도가 아닌 경우, 전술한 해상도 선택 서브 모듈, 특징 맵 업데이트 서브 모듈 및 재구성 결과 획득 서브 모듈을 결합하여 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 해상도를 현재 해상도로서 선택하는 단계와 후속의 단계를 다시 수행하도록 구성되는 순환 수행 서브 모듈을 포함하며, 재구성 결과 획득 모듈(104)은 현재 해상도가 가장 높은 해상도인 경우, 현재 해상도에 대응되는 제1 재구성 결과를 이번 재구성의 최종 제1 재구성 결과로 사용하도록 구성되는 제1 결과 결정 서브 모듈을 포함한다.

일부 발명의 실시예에서, 재구성 결과 획득 모듈(104)은 제1 특징 맵을 기반으로 예측하여, 제1 공간 중 각 복셀의 제1 재구성 값 및 기설정된 값 범위 내에서 제1 재구성 값의 확률값을 획득하도록 구성되는 결과 예측 서브 모듈을 포함하되, 여기서 제1 재구성 값은 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타내도록 구성되고, 재구성 결과 획득 모듈(104)은 제1 공간 중 확률값이 기설정된 조건 조건을 만족하는 복셀을 선택하도록 구성되는 복셀 선택 서브 모듈을 포함하며, 재구성 결과 획득 모듈(104)은 선택된 복셀의 제1 재구성 값을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하도록 구성되는 제2 결과 결정 서브 모듈을 포함한다.

일부 발명의 실시예에서, 제1 재구성 결과는 제1 공간 중 복셀의 제1 재구성 값을 포함하고, 제2 재구성 결과는 제2 공간 중 복셀의 제2 재구성 값을 포함하며, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이고, 제1 재구성 값과 제2 재구성 값은 복셀과 재구성할 타깃 중의 관련 물체 표면 사이의 거리 거리를 나타내도록 구성되며, 재구성 결과 업데이트 모듈(105)은 제1 공간 중 복셀의 제1 재구성 값을 기반으로, 제2 공간 중 대응되는 복셀의 제2 재구성 값을 업데이트하도록 구성된다.

일부 발명의 실시예에서, 관련 물체 표면은 재구성할 타깃 중 복셀과의 거리가 가장 가까운 물체의 표면이다.

일부 발명의 실시예에서, 제1 재구성 결과는 3차원 재구성 모델을 사용하여 획득되고, 재구성 결과 획득 모듈(104)은 3차원 재구성 모델의 융합 네트워크의 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 획득하도록 구성되는 히든 레이어 상태 획득 서브 모듈을 포함하되, 여기서 제1 역사 히든 레이어 상태는 제2 공간 중 복셀에 대응되는 상태값을 포함하고, 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이며, 재구성 결과 획득 모듈(104)은 제1 역사 히든 레이어 상태에서, 제1 공간의 복셀에 대응되는 상태값을 추출하여 제2 역사 히든 레이어 상태로 사용하도록 구성되는 히든 레이어 상태 추출 서브 모듈을 포함하고, 재구성 결과 획득 모듈(104)은 융합 네트워크를 기반으로, 제1 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계를 수행하도록 구성되는 히든 레이어 상태 업데이트 서브 모듈을 포함하며, 재구성 결과 획득 모듈(104)은 3차원 재구성 모델을 사용하여 이번 히든 레이어 상태를 예측하여, 제1 재구성 결과를 획득하도록 구성되는 재구성 결과 예측 서브 모듈을 포함한다.

일부 발명의 실시예에서, 이번 재구성이 최초 재구성인 경우, 제1 역사 히든 레이어 상태 중의 상태값은 기설정된 상태값이다.

일부 발명의 실시예에서, 융합 네트워크는 게이팅 순환 유닛을 포함한다.

일부 발명의 실시예에서, 3차원 재구성 모델은 예측 네트워크를 더 포함하고, 재구성 결과 예측 서브 모듈은 예측 네트워크를 기반으로 이번 히든 레이어 상태를 예측하여 제1 재구성 결과를 획득하도록 구성된다.

일부 발명의 실시예에서, 재구성 결과 획득 모듈(104)은 제1 특징 맵에 대해 기하학적 정보 추출을 수행하여, 기하학적 특징 맵을 획득하도록 구성되는 기하학적 특징 추출 서브 모듈을 포함하되, 여기서 기하학적 특징 맵은 복셀의 기하학적 정보를 포함하고, 히든 레이어 상태 업데이트 서브 모듈은 기하학적 특징 맵을 기반으로 제2 역사 히든 레이어 상태 중의 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하도록 구성된다.

일부 발명의 실시예에서, 재구성 결과 획득 모듈(104)은 이번 히든 레이어 상태 중의 상태값을 기반으로, 제1 역사 히든 레이어 상태중 대응하는 복셀에 대응되는 상태값을 업데이트하도록 구성되는 역사 상태 업데이트 서브 모듈을 더 포함한다.

일부 발명의 실시예에서, 상기 재구성할 타깃을 촬영하는 과정에서, 상기 적어도 두 프레임의 제1 키 이미지를 획득하되; 제1 키 이미지는 카메라 포즈 파라미터에 대응되고, 카메라 포즈 파라미터는 평행 이동 거리와 회전 각도를 포함하며, 제1 키 이미지는 인접한 제1 키 이미지 사이의 평행 이동 거리의 차이가 기설정된 거리 임계값보다 큰 것, 인접한 제1 키 이미지 사이의 회전 각도의 차이가 기설정된 각도의 임계값보다 큰 것 중 적어도 하나를 만족한다.

도 11을 참조하면, 도 11은 본 발명의 실시예의 전자 기기(110)의 일 실시예의 프레임 모식도이다. 전자 기기(110)는 서로 결합되는 메모리(111) 및 프로세서(112)를 포함하되, 프로세서(112)는 메모리(111)에 저장된 프로그램 명령을 실행하여 상기 임의의 3차원 재구성 방법 실시예의 단계를 수행한다. 일 구현 장면에서, 전자 기기(110)는 마이크로 컴퓨터, 서버를 포함할 수 있으나, 이에 한정되지 않고, 또한, 전자 기기(110)는 휴대폰, 노트북, 태블릿 컴퓨터와 같은 모바일 기기를 더 포함할 수 있으며, 여기서는 한정하지 않는다.

프로세서(112)는 자체 및 메모리(111)를 제어하여 상기 임의의 3차원 재구성 방법의 실시예의 단계를 수행하도록 구성된다. 프로세서(112)는 또한 중앙 처리 장치(Central Processing Unit, CPU)로 지칭될 수 있다. 프로세서(112)는 신호 처리 기능을 갖는 집적 회로 칩일 수 있다. 프로세서(112)는 또한 범용 프로세서, 디지털 신호 프로세서(Digital Signal Process, DSP), 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 다른 프로그램 가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트일 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있거나 상기 프로세서는 임의의 통상적인 프로세서일 수도 있다. 또한, 프로세서(112)는 집적 회로 칩에 의해 공동으로 구현될 수 있다.

상술한 해결수단은, 3차원 재구성 과정의 실시간성 및 3차원 재구성 결과의 평활도를 향상시킬 수 있다.

도 12를 참조하면, 도 12는 본 발명의 실시예의 컴퓨터 판독 가능 저장 매체(120)의 일 실시예의 프레임 모식도이다. 컴퓨터 판독 가능 저장 매체(120)에는 프로세서에 의해 실행되는 프로그램 명령(121)이 저장되고, 프로그램 명령(121)은 상기 임의의 3차원 재구성 방법의 실시예의 단계를 수행하도록 구성된다.

상술한 해결수단은, 3차원 재구성 과정의 실시간성 및 3차원 재구성 결과의 평활도를 향상시킨다.

일부 실시예에서, 본 발명의 실시예에서 제공되는 장치에 구비된 기능 또는 포함된 모듈은 상기 방법의 실시예에서 설명된 방법을 구현하도록 구성될 수 있고, 그 구현은 상기 방법의 실시예의 설명을 참조할 수 있으며, 간결함을 위해 여기서는 반복하여 설명하지 않는다.

다양한 실시예에 대한 상기 설명은 다양한 실시예 사이의 차이점을 강조하는데 중점을 두며, 동일하거나 유사한 점은 서로 참조할 수 있으므로, 간결함을 위해 여기서는 반복하여 설명하지 않는다.

본 발명에 제공된 여러 실시예에서, 개시된 방법 및 장치는 다른 방식으로 구현될 수 있음을 이해해야 한다. 예를 들면, 설명된 장치 실시형태는 단지 예시적인 것으로, 예를 들면, 모듈 또는 유닛의 구획은 논리적 기능 구획일 뿐, 실제 구현에서는 다른 구획 방식이 있을 수 있고, 예를 들어 유닛 또는 컴포넌트는 결합되거나 다른 시스템에 통합될 수 있고, 또는 일부 특징은 생략되거나 수행되지 않을 수 있다. 다른 한편으로, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛의 간접 결합 또는 통신 연결을 통한 것일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.

분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로 표시된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 한 곳에 위치할 수도 있고, 여러 네트워크 유닛에 분산될 수도 있다. 실제 수요에 따라 그 중의 일부 또는 전부 유닛을 선택하여 본 실시형태의 목적을 구현할 수 있다.

이 밖에, 본 발명의 여러 실시예에서 각 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 각 유닛이 물리적으로 단독으로 존재할 수 있거나, 또는 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 상술한 통합 유닛들은 하드웨어의 형태로 구현될 수 있고, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

통합된 유닛은 소프트웨어 기능 유닛의 형태로 구현되어 독립 제품으로 판매 또는 사용되는 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반해보면, 본 발명의 실시예의 기술적 해결수단은 본질적으로 또는 종래 기술에 기여하는 부분 또는 상기 기술적 해결수단의 전부 또는 일부가 소프트웨어 제품의 형태로 반영될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며, 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등일 수 있음) 또는 프로세서(processor)가 본 발명의 다양한 실시형태의 방법의 전부 또는 일부 단계를 수행하도록 하는 복수의 명령을 포함한다. 상술한 저장 매체는 U 디스크, 모바일 하드 디크스, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

본 발명의 실시예는 3차원 재구성 방법, 장치, 기기 및 저장 매체를 개시하고, 여기서, 3차원 재구성 방법은, 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하고, 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하되, 상기 제1 키 이미지는 재구성할 타깃을 촬영하여 획득되는 단계; 상기 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 제1 공간의 제1 특징 맵을 획득하되, 상기 제1 특징 맵은 제1 공간 중 복셀의 제1 특징 정보를 포함하는 단계; 상기 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계; 및 상기 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는 단계를 포함한다.

Claims

전자 기기에 의해 수행되는 3차원 재구성 방법으로서,
이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하고, 상기 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하는 단계 - 상기 제1 키 이미지는 재구성할 타깃을 촬영하여 획득됨 - ;
상기 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 상기 제1 공간의 제1 특징 맵을 획득하는 단계 - 상기 제1 특징 맵은 상기 제1 공간 중 복셀의 제1 특징 정보를 포함함 - ;
상기 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 결정하는 단계; 및
상기 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는 단계를 포함하는 3차원 재구성 방법.
제1항에 있어서,
상기 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하는 단계 이후에, 상기 방법은,
각 프레임의 상기 제1 키 이미지에 대해 각각 특징 추출을 수행하여, 각 프레임의 상기 제1 키 이미지의 제2 특징 맵을 획득하는 단계를 더 포함하고,
상기 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 상기 제1 공간의 제1 특징 맵을 획득하는 단계는,
상기 제2 특징 맵에서 상기 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 상기 제1 공간의 상기 제1 특징 맵을 획득하는 단계를 포함하는 3차원 재구성 방법.
제2항에 있어서,
상기 제2 특징 맵에서 상기 제1 공간의 각 복셀에 대응되는 제2 특징 정보를 기반으로, 상기 제1 공간의 상기 제1 특징 맵을 획득하는 단계는,
각 프레임의 상기 제1 키 이미지의 상기 제2 특징 맵으로부터, 각각 상기 복셀에 대응되는 제2 특징 정보를 추출하는 단계;
상기 복셀에 각각 대응되는 상기 적어도 두 프레임의 제1 키 이미지의 상기 제2 특징 정보를 융합하여, 상기 복셀의 제1 특징 정보를 획득하는 단계; 및
상기 제1 공간의 각 복셀의 상기 제1 특징 정보를 기반으로, 상기 제1 공간의 상기 제1 특징 맵을 획득하는 단계를 포함하는 3차원 재구성 방법.
제3항에 있어서,
상기 복셀에 각각 대응되는 상기 적어도 두 프레임의 제1 키 이미지의 상기 제2 특징 정보를 융합하여, 상기 복셀의 제1 특징 정보를 획득하는 단계는,
상기 복셀에 각각 대응되는 상기 적어도 두 프레임의 제1 키 이미지의 제2 특징 정보의 평균값을 상기 복셀의 제1 특징 정보로 사용하는 단계; 및
각 프레임의 상기 제1 키 이미지의 제2 특징 맵에서 상기 복셀에 대응되는 제2 특징 정보가 모두 추출되지 않은 경우, 기설정된 특징 정보를 상기 복셀의 제1 특징 정보로 사용하는 단계; 중 적어도 하나를 포함하는 3차원 재구성 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
각 프레임의 상기 제1 키 이미지의 제2 특징 맵은 상이한 해상도에 대응하는 기설정된 개수의 제2 특징 맵을 포함하고; 상기 제1 공간은 상이한 상기 해상도에 대응하는 기설정된 개수의 제1 공간을 포함하며; 상기 제1 특징 맵은 상이한 상기 해상도에 대응하는 기설정된 개수의 제1 특징 맵을 포함하고, 각각의 상기 제1 특징 맵은 동일한 상기 해상도의 상기 제2 특징 맵의 제2 특징 정보를 기반으로 획득되는 3차원 재구성 방법.
제5항에 있어서,
상기 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계는,
상기 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 상기 해상도를 현재 해상도로서 선택하는 단계;
이전에 선택된 해상도에 대응되는 제1 재구성 결과에 대해 업샘플링을 수행하고, 업샘플링된 제1 재구성 결과와 상기 현재 해상도에 대응되는 제1 특징 맵을 융합하여, 상기 현재 해상도에 대응되는 융합 특징 맵을 획득하는 단계;
상기 융합 특징 맵을 기반으로, 상기 현재 해상도에 대응되는 제1 재구성 결과를 획득하는 단계; 및
상기 현재 해상도가 가장 높은 상기 해상도가 아닌 경우, 상기 해상도가 낮은 데서 높은 데로의 순서에 따라, 순차적으로 하나의 상기 해상도를 현재 해상도로서 선택하는 단계와 후속의 단계를 다시 수행하는 단계; 및
상기 현재 해상도가 가장 높은 상기 해상도인 경우, 상기 현재 해상도에 대응되는 제1 재구성 결과를 이번 재구성의 상기 제1 재구성 결과로 사용하는 단계를 포함하는 3차원 재구성 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계는,
상기 제1 특징 맵을 기반으로 예측하여, 상기 제1 공간 중 각 상기 복셀의 제1 재구성 값과 기설정된 값 범위 내에서 상기 제1 재구성 값의 확률값을 획득하는 단계 - 상기 제1 재구성 값은 상기 복셀과 상기 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타냄 - ;
제1 공간 중 상기 확률값이 기설정된 조건을 만족하는 상기 복셀을 선택하는 단계; 및
선택된 상기 복셀의 상기 제1 재구성 값을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계를 포함하는 3차원 재구성 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 재구성 결과는 상기 제1 공간 중 상기 복셀의 제1 재구성 값을 포함하고, 상기 제2 재구성 결과는 제2 공간 중 상기 복셀의 제2 재구성 값을 포함하며, 상기 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간이고, 상기 제1 재구성 값과 상기 제2 재구성 값은 상기 복셀과 상기 재구성할 타깃 중의 관련 물체 표면 사이의 거리를 나타내며;
상기 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하는 단계는,
상기 제1 공간 중 상기 복셀의 제1 재구성 값을 기반으로, 상기 제2 공간 중 상기 복셀에 대응하는 제2 재구성 값을 업데이트하는 단계를 포함하는 3차원 재구성 방법.
제7항 또는 제8항에 있어서,
상기 관련 물체 표면은 상기 재구성할 타깃 중 상기 복셀과의 거리가 가장 가까운 물체의 표면인 3차원 재구성 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 제1 재구성 결과는 3차원 재구성 모델을 사용하여 획득되고; 상기 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하는 단계는,
상기 3차원 재구성 모델의 융합 네트워크의 이전 재구성에 의해 획득된 제1 역사 히든 레이어 상태를 획득하는 단계 - 상기 제1 역사 히든 레이어 상태는 제2 공간 중 상기 복셀에 대응되는 상태값을 포함하고, 상기 제2 공간은 이전에 재구성된 제2 키 이미지의 뷰 콘을 둘러싸는 전체 공간임 - ;
상기 제1 역사 히든 레이어 상태로부터, 상기 제1 공간의 복셀에 대응되는 상태값을 추출하여 제2 역사 히든 레이어 상태로 사용하는 단계;
상기 융합 네트워크에서, 상기 제1 특징 맵을 기반으로 상기 제2 역사 히든 레이어 상태 중의 상기 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계; 및
상기 3차원 재구성 모델을 사용하여 상기 이번 히든 레이어 상태를 예측하여, 상기 제1 재구성 결과를 획득하는 단계를 포함하는 3차원 재구성 방법.
제10항에 있어서,
이번 재구성이 최초 재구성인 경우, 상기 제1 역사 히든 레이어 상태 중의 상태값은 기설정된 상태값인 3차원 재구성 방법.
제10항에 있어서,
상기 융합 네트워크는 게이팅 순환 유닛을 포함하고; 상기 3차원 재구성 모델은 예측 네트워크를 더 포함하며, 상기 3차원 재구성 모델을 사용하여 상기 이번 히든 레이어 상태를 예측하여, 상기 제1 재구성 결과를 획득하는 단계는,
상기 예측 네트워크를 기반으로 상기 이번 히든 레이어 상태를 예측하여 상기 제1 재구성 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 3차원 재구성 방법.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 제1 특징 맵을 기반으로 상기 제2 역사 히든 레이어 상태 중의 상기 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계 이전에, 상기 방법은,
상기 제1 특징 맵에 대해 기하학적 정보 추출을 수행하여, 기하학적 특징 맵을 획득하는 단계를 더 포함하되, 상기 기하학적 특징 맵은 상기 복셀의 기하학적 정보를 포함하고,
상기 제1 특징 맵을 기반으로 상기 제2 역사 히든 레이어 상태 중의 상기 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계는,
상기 기하학적 특징 맵을 기반으로 상기 제2 역사 히든 레이어 상태 중의 상기 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계를 포함하는 3차원 재구성 방법.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 제1 특징 맵을 기반으로 상기 제2 역사 히든 레이어 상태 중의 상기 상태값을 업데이트하여, 이번 히든 레이어 상태를 획득하는 단계 이후에, 상기 방법은,
상기 이번 히든 레이어 상태 중의 상태값을 기반으로, 상기 제1 역사 히든 레이어 상태 중 대응하는 상기 복셀에 대응되는 상태값을 업데이트하는 단계를 더 포함하는 3차원 재구성 방법.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하는 단계는,
상기 재구성할 타깃을 촬영하는 과정에서, 상기 적어도 두 프레임의 제1 키 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 3차원 재구성 방법.
제1항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 키 이미지는 카메라 포즈 파라미터에 대응되고, 상기 카메라 포즈 파라미터는 평행 이동 거리와 회전 각도를 포함하며, 상기 제1 키 이미지는, 인접한 상기 제1 키 이미지 사이의 상기 평행 이동 거리의 차이가 기설정된 거리 임계값보다 큰 것, 인접한 상기 제1 키 이미지 사이의 상기 회전 각도의 차이가 기설정된 각도의 임계값보다 큰 것 중 적어도 하나를 만족하는 것을 특징으로 하는 3차원 재구성 방법.
3차원 재구성 장치로서,
이번 재구성을 위한 적어도 두 프레임의 제1 키 이미지를 획득하도록 구성되는 키 이미지 획득 모듈;
상기 적어도 두 프레임의 제1 키 이미지의 뷰 콘을 둘러싸는 제1 공간을 결정하도록 구성되는 제1 공간 결정 모듈 - 상기 제1 키 이미지는 재구성할 타깃을 촬영하여 획득됨 - ;
상기 적어도 두 프레임의 제1 키 이미지 중의 이미지 정보를 기반으로, 상기 제1 공간의 제1 특징 맵을 획득하도록 구성되는 제1 특징 획득 모듈 - 상기 제1 특징 맵은 상기 제1 공간 중 복셀의 제1 특징 정보를 포함함 - ;
상기 제1 특징 맵을 기반으로, 이번 재구성의 제1 재구성 결과를 획득하도록 구성되는 재구성 결과 획득 모듈; 및
상기 이번 재구성의 제1 재구성 결과를 기반으로, 이전 재구성에 의해 획득된 제2 재구성 결과를 업데이트하도록 구성되는 재구성 결과 업데이트 모듈을 포함하는 3차원 재구성 장치.
전자 기기로서,
서로 결합되는 메모리 및 프로세서를 포함하되,
상기 프로세서는 상기 메모리에 저장된 프로그램 명령을 실행하여 제1항 내지 제16항 중 어느 한 항에 따른 3차원 재구성 방법을 구현하도록 구성되는 전자 기기.
프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 프로그램 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제16항 중 어느 한 항에 따른 3차원 재구성 방법을 구현하는 컴퓨터 판독 가능 저장 매체.