KR20230127313A

KR20230127313A - 3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련장치, 기기

Info

Publication number: KR20230127313A
Application number: KR1020237025998A
Authority: KR
Inventors: 샤오쥔 샹; 융 치; 궈펑 장; 후쥔 바오; 이하오 위; 한칭 장
Original assignee: 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2021-01-11
Filing date: 2021-06-28
Publication date: 2023-08-31
Also published as: WO2022147976A1; JP2023540917A; JP7453470B2; CN112767538A

Abstract

본 발명은 3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련 장치, 기기를 제공한다. 여기서, 3차원 재구성 방법은, 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하는 단계; 각 프레임의 처리할 이미지 및 촬상 소자의 보정 파라미터를 이용하여 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 그 카메라 포즈 파라미터를 결정하는 단계; 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하는 단계; 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 이용하여 데이터 세트의 포즈 최적화 파라미터를 결정하는 단계; 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정하는 단계; 처리할 이미지의 이미지 데이터를 재구성 처리하여, 재구성할 대상의 3차원 모델을 획득하는 단계를 포함한다. 상기 수단에 따르면, 3차원 재구성의 효과를 향상시키고, 3차원 재구성의 계산 부하를 줄일 수 있다.

Description

3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련 장치, 기기

관련 출원의 상호 참조

본 발명은 출원번호가 202110031502.0이고 출원일이 2021년 1월 11일이며, 발명의 명칭이 "3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련 장치, 기기"인 중국 특허 출원을 기반으로 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 이의 모든 내용은 참조로서 본 발명에 인용된다.

본 발명은 컴퓨터 비전 기술분야에 관한 것으로, 특히3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련 장치, 기기에 관한 것이다.

정보 기술의 발전과 전자 기술 수준의 향상과 더불어, 사람들은 점점 휴대폰, 태블릿 PC 등과 같은 촬상 소자가 통합된 이동 단말기를 사용하여 실제 장면 중의 물체를 3차원 재구성함으로써, 3차원적으로 재구성된 3차원 모델을 이용하여 이동 단말기에서 증강 현실(Augmented Reality, AR) 및 게임 등 응용을 구현한다.

그러나, 촬상 소자로 실제 장면 중의 물체를 스캐닝하여 촬영할 때, 촬상 소자로부터 획득된 이미지는 노이즈 정도가 다르며, 현재 주류 카메라 포즈 파라미터 해결 방법은 부득이하게 약간의 오차를 도입하게 되고, 오차는 스캐닝 촬영에 따라 지속적으로 누적되어, 3차원 모델의 효과에 영향을 미치게 되며, 또한, 전체 3차원 재구성 과정에서, 스캐닝 촬영의 시야 범위가 넓어짐에 따라, 새로 촬영된 이미지가 지속적으로 융합되고, 계산 부하도 점차 증가된다. 이러한 측면에서 3차원 재구성의 효과를 향상시키고 3차원 재구성의 계산 부하를 줄이는 방법은 시급히 해결해야 할 과제이다.

본 발명은 3차원 재구성 방법 및 관련 장치, 기기를 제공한다.

본 발명의 제1 측면은, 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하는 단계; 각 프레임의 처리할 이미지 및 촬상 소자의 보정 파라미터를 이용하여 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 그 카메라 포즈 파라미터를 결정하는 단계; 기설정된 구획 전략에 따라, 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하는 단계 - 이미지 데이터는 적어도 대상 픽셀 포인트를 포함함 - ; 각 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 데이터 세트의 포즈 최적화 파라미터를 결정하는 단계; 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속하는 처리할 이미지의 카메라 포즈 파라미터를 조정하는 단계; 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여 처리할 이미지의 이미지 데이터를 재구성 처리하여, 재구성할 대상의 3차원 모델을 획득하는 단계를 포함하는 3차원 재구성 방법을 제공한다.

따라서, 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 처리할 이미지 및 촬상 소자의 보정 파라미터를 통해, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 그 카메라 포즈 파라미터를 결정하고, 기설정된 구획 전략에 따라, 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획함으로써 각 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 데이터 세트의 포즈 최적화 파라미터를 결정하며, 나아가, 각각의 데이터 세트의 포즈 최적화 파라미터는 이전의 데이터 세트의 포즈 최적화 파라미터를 기반으로 결정되므로, 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정할 경우, 스캐닝 과정에서 누적된 카메라 포즈 파라미터의 오차 제거에 유리하고, 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여 처리할 이미지의 이미지 데이터를 재구성 처리하여, 획득된 재구성할 대상의 3차원 모델의 효과는 효과적으로 향상되며, 데이터 세트를 단위로 하여 카메라 포즈 파라미터의 오차를 제거함으로써 계산량을 줄일 수 있어 계산 부하를 줄이는데 유리하다.

본 발명의 제2 측면은, 재구성할 대상의 3차원 모델을 획득하는 단계 - 3차원 모델은 제1 측면의 3차원 재구성 방법을 이용하여 획득됨 - ; 기설정된 시각적 관성 방식을 이용하여 촬상 소자가 위치하는 장면의 3차원 지도를 구축하고, 3차원 지도에서 촬상 소자의 현재 포즈 정보를 획득하는 단계; 및 포즈 정보를 기반으로, 촬상 소자에 의해 현재 촬영된 장면 이미지에 3차원 모델을 표시하는 단계를 포함하는 3차원 재구성 기반의 인터랙션 방법을 제공한다.

따라서, 3차원 지도에서 촬상 소자의 현재 포즈 정보를 기반으로, 재구성할 대상의 3차원 모델을 현재 촬영한 장면 이미지에 표시하여, 가상 물체와 실제 장면의 기하학적 일관성 융합을 구현할 수 있으며, 3차원 모델은 상기 제1 측면의 3차원 재구성 방법에 의해 획득되므로, 3차원 재구성의 효과를 향상시킬 수 있음으로써, 가상과 현실 기하학적 일관성 융합 효과를 향상시켜, 사용자 체험을 향상시키는데 유리하다.

본 발명의 제3 측면은, 재구성할 대상의 3차원 모델을 획득하는 단계 - 3차원 모델은 상기 제1 측면의 3차원 재구성 방법을 이용하여 획득됨 - ; 사용자가 3차원 모델에 설정한 복수의 측정 포인트를 수신하는 단계; 및 복수의 측정 포인트 간의 거리를 획득하여, 재구성할 대상에서 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득하는 단계를 포함하는 3차원 재구성 기반의 측정 방법을 제공한다.

따라서, 사용자가 3차원 모델에 설정한 복수의 측정 포인트를 수신함으로써, 복수의 측정 포인트 간의 거리를 획득함으로써, 재구성할 대상에서 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득함으로써, 실제 장면에서 물체에 대한 측정 수요를 충족시킬 수 있으며, 3차원 모델은 상기 제1 측면의 3차원 재구성 방법을 이용하여 획득되므로, 3차원 재구성의 효과를 향상시킴으로써, 측정 정확성을 향상시킬 수 있다.

본 발명의 제4 측면은, 이미지 획득 모듈, 제1 결정 모듈, 데이터 구획 모듈, 제2 결정 모듈, 파라미터 조정 모듈 및 모델 재구성 모듈을 포함하되, 이미지 획득 모듈은 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하고; 제1 결정 모듈은 각 프레임의 처리할 이미지 및 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 카메라 포즈 파라미터를 결정하며; 데이터 구획 모듈은 기설정된 구획 전략에 따라, 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하되, 이미지 데이터는 대상 픽셀 포인트를 적어도 포함하며; 제2 결정 모듈은 각 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 데이터 세트의 포즈 최적화 파라미터를 결정하고; 파라미터 조정 모듈은 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속하는 처리할 이미지의 카메라 포즈 파라미터를 조정하며; 모델 재구성 모듈은 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여 처리할 이미지의 이미지 데이터를 재구성 처리하여, 재구성할 대상의 3차원 모델을 획득하는 3차원 재구성 장치를 제공한다.

본 발명의 제5 측면은, 모델 획득 모듈, 매핑 포지셔닝 모듈 및 디스플레이 인터랙션 모듈을 포함하되, 모델 획득 모듈은 재구성할 대상의 3차원 모델을 획득하되, 3차원 모델은 상기 제4 측면의 3차원 재구성 장치를 이용하여 획득되고; 매핑 포지셔닝 모듈은 기설정된 시각적 관성 방식을 이용하여 촬상 소자가 위치하는 장면의 3차원 지도를 구축하여, 3차원 지도에서 촬상 소자의 현재 포즈 정보를 획득하며; 디스플레이 인터랙션 모듈은 포즈 정보를 기반으로, 촬상 소자에 의해 현재 촬영된 장면 이미지에 3차원 모델을 표시하는 3차원 재구성 기반의 인터랙션 장치를 제공한다.

본 발명의 제6 측면은, 모델 획득 모듈, 디스플레이 인터랙션 모듈 및 거리 획득 모듈을 포함하되, 모델 획득 모듈은 재구성할 대상의 3차원 모델을 획득하되, 3차원 모델은 상기 제4 측면의 3차원 재구성 장치를 이용하여 획득되고; 디스플레이 인터랙션 모듈은 사용자가 3차원 모델에 설정한 복수의 측정 포인트를 수신하며; 거리 획득 모듈은 복수의 측정 포인트 간의 거리를 획득하여, 재구성할 대상에서 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득하는 3차원 재구성 기반의 측정 장치를 제공한다.

본 발명의 제7 측면은, 서로 커플링되는 메모리와 프로세서를 포함하되, 프로세서는 상기 제1 측면의 3차원 재구성 방법, 또는 상기 제2 측면의 3차원 재구성 기반의 인터랙션 방법, 또는 상기 제3 측면의 3차원 재구성 기반의 측정 방법을 구현하는 전자 기기를 제공한다.

본 발명의 제8 측면은, 프로그램 명령이 저장되되, 프로그램 명령이 프로세서에 의해 실행될 경우 상기 제1 측면의 3차원 재구성 방법, 또는 상기 제2 측면의 3차원 재구성 기반의 인터랙션 방법, 또는 상기 제3 측면의 3차원 재구성 기반의 측정 방법을 구현하는 컴퓨터 판독 가능 저장 매체를 제공한다.

본 발명의 제9 측면은, 컴퓨터 판독 가능 코드를 포함하되, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되고 또한 상기 전자 기기 중의 프로세서에 의해 실행될 경우, 상기 제1 측면의 3차원 재구성 방법, 또는 상기 제2 측면의 3차원 재구성 기반의 인터랙션 방법, 또는 상기 제3 측면의 3차원 재구성 기반의 측정 방법을 구현하는 컴퓨터 프로그램을 제공한다.

본 발명의 제10 측면은, 컴퓨터에서 실행될 경우, 컴퓨터가 상기 제1 측면의 3차원 재구성 방법, 또는 상기 제2 측면의 3차원 재구성 기반의 인터랙션 방법, 또는 상기 제3 측면의 3차원 재구성 기반의 측정 방법을 구현하도록 하는 컴퓨터 프로그램 제품을 제공한다.

상기 방안에 따르면, 각각의 데이터 세트의 포즈 최적화 파라미터는 이전의 데이터 세트의 포즈 최적화 파라미터를 기반으로 결정되고, 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정할 경우, 스캐닝 과정에서 누적된 카메라 포즈 파라미터의 오차 제거에 유리하고, 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여 처리할 이미지의 이미지 데이터를 재구성 처리하여, 획득된 재구성할 대상의 3차원 모델의 효과는 효과적으로 향상되며, 데이터 세트를 단위로 하여 카메라 포즈 파라미터의 오차를 제거함으로써 계산량을 줄일 수 있어 계산 부하를 줄이는데 유리하다.

도 1은 본 발명의 3차원 재구성 방법의 일 실시예의 흐름 모식도이다.
도 2는 본 발명의 3차원 재구성 방법의 일 실시예의 상태 모식도이다.
도 3은 도 1 중의 단계 S12의 일 실시예의 흐름 모식도이다.
도 4는 도 1 중의 단계 S13의 일 실시예의 흐름 모식도이다.
도 5는 도 1 중의 단계 S14의 일 실시예의 흐름 모식도이다.
도 6은 도 5 중의 단계 S141의 일 실시예의 흐름 모식도이다.
도 7은 도 5 중의 단계 S142의 일 실시예의 흐름 모식도이다.
도 8은 도 5 중의 단계 S143의 일 실시예의 흐름 모식도이다.
도 9는 본 발명의 3차원 재구성 기반의 인터랙션 방법의 일 실시예의 흐름 모식도이다.
도 10은 본 발명의 3차원 재구성 기반의 측정 방법의 일 실시예의 흐름 모식도이다.
도 11은 본 발명의 3차원 재구성 장치의 일 실시예의 프레임워크 모식도이다.
도 12는 본 발명의 3차원 재구성 기반의 인터랙션 장치의 일 실시예의 프레임워크 모식도이다.
도 13은 본 발명의 3차원 재구성 기반의 측정 장치의 일 실시예의 프레임워크 모식도이다.
도 14는 본 발명의 전자 기기의 일 실시예의 프레임워크 모식도이다.
도 15는 본 발명의 컴퓨터 판독 가능 저장 매체의 일 실시예의 프레임워크 모식도이다.

이하 명세서 도면을 결부하여 본 발명의 실시예의 기술적 해결방안을 상세하게 설명한다.

하기 설명에서는 본 발명의 실시예에 대한 완전한 이해를 위해 한정이 아니라 설명의 목적으로 특정 시스템 구조, 인터페이스, 기술과 같은 구체적인 세부 사항을 제시한다.

본문에서의 용어 "시스템"과 "네트워크"는 본문에서 흔히 서로 교환되어 사용될 수 있다. 본문에서 용어 "중 적어도 하나"는, 단지 연관 대상의 연관 관계를 설명하기 위한 것으로, 3가지 관계가 존재함을 의미하며 예를 들면 "A와 B중 적어도 하나"는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 의미한다. 또한, 본문에서 부호 "/"는 일반적으로 전후 연관 대상이 "또는"의 관계임을 의미한다. 또한, 본문에서 "복수"는 두 개 또는 두 개 이상임을 의미한다.

현재, 3차원 재구성은 컴퓨터 비전 및 증강 현실 분야의 중요한 문제이며, 모바일 플랫폼의 증강 현실, 게임 및 3차원 프린팅 등과 같은 응용 분야에서 중요한 역할을 한다. 스켈레톤 드라이브와 같은 모바일 플랫폼에서 실제 물체의 AR 효과를 구현하려면 사용자는 일반적으로 실제 물체에 대해 빠르게 3차원 재구성을 해야 하므로, 3차원 물체 스캐닝 재구성 기술은 모바일 플랫폼의 증강 현실 분야에서 폭넓은 요구사항을 갖고 있다.

그러나, 모바일 플랫폼에서 실시간 3차원 물체 재구성을 구현하는데 많은 문제점이 있다. (1) 촬상 소자 포즈의 누적 오차가 제거된다. 여기서, 촬상 소자에 의해 획득된 깊이 비디오 스트림과 이미지 비디오 스트림은 노이즈의 정도가 다르기 때문에, 현재 주류 카메라 포즈 해결 방법은 필연적으로 몇 가지 오차를 도입하고, 상기 오차는 스캐닝이 진행됨에 따라 계속 누적되어 최종 모델 효과에 영향을 미치게 된다. (2) 재구성할 물체의 컬러, 크기 및 형상 등 각 방면의 차이가 크기 때문에 재구성 방법의 로버스트 및 사용성에 대한 요구가 매우 높다. 또한, 모바일 플랫폼에서 물체를 스캐닝하고 재구성하려면 점층적인 재구성 모드를 갖는 재구성 방법이 필요하고, 스캐닝 시야 범위의 확장으로 새로 촬영된 이미지가 지속적으로 융합되고, 시야에 들어오는 모델의 새로운 영역은 기존의 모델과 지속적으로 병합되며, 전체 재구성 과정의 계산은 부하를 갖게 되고, 모바일 플랫폼의 계산 리소스는 한정된다.

이를 고려하여, 3차원 재구성의 효과를 향상시키고, 3차원 재구성의 계산 부하를 줄이는 방법은 해결해야 할 시급한 문제가 되었다. 본 발명은 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하고; 각 프레임의 처리할 이미지 및 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 카메라 포즈 파라미터를 결정하며; 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하며; 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여, 각각의 데이터 세트의 포즈 최적화 파라미터를 결정하며; 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정하며; 처리할 이미지의 이미지 데이터를 재구성 처리하여, 재구성할 대상의 3차원 모델을 획득하는 3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련 장치, 기기를 제공한다.

상기 방안에 따르면, 각각의 데이터 세트의 포즈 최적화 파라미터는 모두 이전의 데이터 세트의 포즈 최적화 파라미터를 기반으로 결정될 수 있으므로, 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정할 경우, 스캐닝 과정에서 누적된 카메라 포즈 파라미터의 오차 제거에 유리하고, 따라서 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여 처리할 이미지의 이미지 데이터를 재구성 처리하여, 획득된 재구성할 대상의 3차원 모델의 효과는 효과적으로 향상되며, 데이터 세트를 단위로 하여 카메라 포즈 파라미터의 오차를 제거함으로써 계산량을 줄일 수 있어 계산 부하를 줄이는데 유리하다.

3차원 재구성 방법, 3차원 재구성의 인터랙션 방법 및 3차원 재구성의 측정 방법의 수행 주체는 전자 기기일 수 있고, 여기서, 전자 기기는 스마트폰, 데스크톱 컴퓨터, 태블릿 PC, 노트북, 스마트 스피커, 디지털 비서, 증강 현실(augmented reality, AR)/가상 현실(virtual reality, VR) 기기, 스마트 웨어러블 기기 등과 같은 엔티티 기기일 수 있다. 응용 프로그램, 브라우저 등과 같은 엔티티 기기에서 실행되는 소프트웨어일 수도 있다. 여기서, 엔티티 기기에서 실행되는 운영 체제는 안드로이드 시스템, 애플 시스템(IOS Input Output System, IOS), linux, windows 등이 포함될 수 있지만 이에 한정되지 않는다.

도 1을 참조하면, 도 1은 본 발명의 3차원 재구성 방법의 일 실시예의 흐름 모식도이며 하기와 같은 단계를 포함할 수 있다.

단계 S11에서, 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득한다.

촬상 소자는 핸드폰, 태블릿 PC 및 컴퓨터 등과 같은 이동 단말기를 포함할 수 있지만 이에 한정되지 않는다. 본 발명의 방법 실시예의 단계는 이동 단말기에 의해 수행될 수 있고, 스캐닝 및 촬영 기능을 구비한 촬상 소자와 연결된 마이크로 컴퓨터와 같은 처리 기기에 의해 수행될 수도 있으며, 여기서는 이에 대해 한정하지 않는다. 일 실시 장면에서, 촬상 소자는 가시광선을 감지할 수 있는 컬러 카메라와 구조 광 깊이 카메라와 같이 재구성할 대상 깊이를 감지할 수 있는 깊이 카메라를 포함할 수 있으며, 촬상 소자가 컬러 카메라와 깊이 카메라를 포함하는 경우, 각 프레임의 처리할 이미지는 컬러 데이터와 깊이 데이터를 포함한다.

재구성할 대상은 사람, 동물, 물체(예를 들어, 조각상, 가구 등)를 포함할 수 있지만 이에 한정되지 않는다. 예를 들어, 조각상을 재구성할 대상으로 사용하는 경우, 조각상을 스캐닝하여 최종적으로 조각상의 3차원 모델을 획득할 수 있고, 또한, 이를 기반으로 조각상의 3차원 모델에 대해 추가로 렌더링, 골격 바인딩과 같은 작업을 수행할 수도 있으며, 여기서는 이에 대해 한정하지 않고, 재구성할 대상은 실제 응용 요구에 따라 결정될 수 있으며, 여기서는 이에 대해 한정하지 않는다.

단계 S12에서, 각 프레임의 처리할 이미지 및 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 카메라 포즈 파라미터를 결정한다.

보정 파라미터는 촬상 소자의 내부 파라미터를 포함할 수 있고, 예를 들어, 촬상 소자가 컬러 카메라를 포함하는 경우, 보정 파라미터는 컬러 카메라의 내부 파라미터를 포함할 수 있고; 촬상 소자가 깊이 카메라를 포함하거나, 컬러 카메라 및 깊이 카메라를 포함하는 경우, 이에 따라 유추할 수 있으며, 여기서 일일이 예시하지 않는다. 일 실시 장면에서, 내부 파라미터는 카메라 초점 거리, 카메라 주점 좌표를 포함할 수 있지만 이에 한정되지 않으며, 일 실시 장면에서, 내부 파라미터는 행렬 형태로 표시될 수 있고, 예를 들어, 컬러 카메라의 내부 파라미터 는 다음과 같이 표시할 수 있다.

여기서, 공식(1)에서, 는 컬러 카메라의 초점 거리를 표시하고, 는 컬러 카메라의 주점 좌표를 표시한다. 또한, 깊이 카메라의 내부 파라미터 는 이에 따라 유추할 수 있으며, 여기서 더 이상 일일이 예시하지 않는다.

보정 파라미터는 촬상 소자의 깊이 카메라와 컬러 카메라 간의 외부 파라미터를 더 포함할 수 있고, 세계 좌표계에서 카메라 좌표계로의 변환을 나타낸다. 본 발명의 실시예에서, 외부 파라미터는 3*3 회전 행렬 과 3*1 평행 이동 행렬 를 포함할 수 있다. 회전 행렬 을 세계 좌표계의 좌표점 에 좌향 곱셈하고, 평행 이동행렬 와의 합을 구하여 세계 좌표계에서 좌표점 의 카메라 좌표계에서의 대응 좌표점 를 획득할 수 있다.

실제 스캐닝 과정에서, 부득이하게 재구성할 대상에 속하지 않는 물체가 스캐닝(예를 들어, 바닥, 벽 등)되므로, 후속의 3차원 재구성의 효과를 향상시키기 위해, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트를 결정해야 한다. 일 실시 장면에서, 사전 트레이닝된 이미지 분할 모델(예를 들어, Unet 모델)을 이용하여 처리할 이미지에 대해 이미지 분할을 수행함으로써, 처리할 이미지에서 재구성할 대상에 속하는 대상 픽셀 포인트를 획득할 수 있고; 다른 실시 장면에서, 재구성할 대상을 이와의 색수차가 비교적 큰 환경에 배치할 수도 있으며, 예를 들어, 재구성할 대상이 유백색의 석고상일 경우, 재구성할 대상을 검은색 환경에 배치하여 스캐닝함으로써 처리할 이미지에서 환경 컬러에 속하는 픽셀 포인트를 무효로 표시하고, 재구성할 대상 컬러에 속하는 픽셀 포인트를 유효한 것으로 표시하며, 유효한 것으로 표시된 픽셀 포인트로 이루어진 연결 영역의 크기를 비교하여 가장 큰 연결 영역 중의 픽셀 포인트를 재구성할 대상에 속하는 픽셀 포인트로 결정한다.

재구성할 대상의 완전한 3차원 모델을 얻기 위해, 촬상 소자는 상이한 포즈로 재구성할 대상을 스캐닝해야 하므로, 다양한 처리할 이미지를 촬영하는데 사용되는 카메라 포즈 파라미터는 상이할 수 있어, 카메라 포즈 파라미터의 오차를 제거하여 후속의 3차원 재구성의 효과를 향상시키기 위해, 각 프레임의 처리할 이미지의 카메라 포즈 파라미터를 먼저 결정해야 한다. 일 실시 장면에서, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 , 재구성할 대상에 속하는 이전 프레임의 처리할 이미지의 대상 픽셀 포인트 및 촬상 소자의 내부 파라미터 를 이용하여 상대적 포즈 파라미터 의 목적 함수를 구축하고, 반복 근접점(Iterative Closest Point, ICP) 알고리즘을 이용하여 상기 목적 함수를 최소화함으로써, 상대적 포즈 파라미터 를 구하는데, 여기서, 상대적 포즈 파라미터 는 이전 프레임의 처리할 이미지의 카메라 포즈 파라미터 에 대한 각 프레임의 처리할 이미지의 카메라 포즈 파라미터 의 상대적 파라미터이다. 여기서, 상대적 포즈 파라미터 에 관한 목적 함수는 하기 식을 참조할 수 있다.

상기 식에서, 공식(2) 내지 공식(5)에서, 는 가중치이고, 는 컬러 데이터 에서 픽셀 포인트 (픽셀 포인트 는 대상 픽셀 포인트)의 2차원 이미지 좌표이며, 는 깊이 데이터 를 컬러 데이터 에 투영한 후 픽셀 포인트 의 깊이 값이다. 따라서, 상기 식에서, 는 상대적 포즈 파라미터 와 내부 파라미터 를 이용하여 현재 프레임의 픽셀 포인트 가 이전 프레임으로 변환된 후 3차원 공간에서 이론적으로 대응되는 픽셀 포인트의 위치 좌표를 나타낼 수 있고, 상기 상대적 포즈 파라미터 가 정확할 수록 이전 프레임의 컬러 데이터 에서 상기 대응 픽셀 포인트의 픽셀 값 과 현재 프레임의 컬러 데이터 에서 픽셀 포인트 의 픽셀 값 간의 제곱과 오차 가 더 작아지고, 이전 프레임의 깊이 데이터 에서 상기 대응 픽셀 포인트의 깊이 값 과 3차원 공간에서 대응 픽셀 포인트의 좌표 값 간의 제곱과 오차 도 작아지므로, 상기 목적 함수 를 최소화하여 상대적 포즈 파라미터 를 정확하게 획득할 수 있어, 카메라 포즈 파라미터의 정확성을 향상시킬 수 있다.

각 프레임의 처리할 이미지의 카메라 포즈 파라미터 가 이전 프레임의 처리할 이미지에 대한 카메라 포즈 파라미터 간의 상대적 포즈 파라미터 를 획득한 후, 상대적 포즈 파라미터 의 역수(즉 )를 이전 프레임의 처리할 이미지의 카메라 포즈 파라미터 에 좌향 곱셈하여 현재 프레임의 처리할 이미지의 카메라 포즈 파라미터 를 획득할 수 있다. 일 실시 장면에서, 처리할 이미지가 촬상 소자에 의해 스캐닝되어 획득한 멀티 프레임의 처리할 이미지 중의 제1 프레임인 경우, 카메라 포즈 파라미터는 단위 행렬로 초기화될 수 있고, 본 발명의 실시예에서, 단위 행렬은 주대각선의 요소가 모두 1이고 다른 요소가 모두 0인 직각 행렬이다. 또한, 다른 실시 장면에서, 또한 처리할 이미지의 스캐닝, 대상 픽셀 포인트 및 카메라 포즈 파라미터의 결정을 동시에 수행할 수 있으며, 즉 한 프레임의 처리할 이미지를 스캐닝하여 획득한 후, 방금 스캐닝하여 획득된 처리할 이미지에 대해 대상 픽셀 포인트 및 카메라 포즈 파라미터의 결정을 수행할 수 있고, 이와 동시에, 다음 프레임의 처리할 이미지를 스캐닝하여 획득함으로써, 재구성할 대상에 대해 실시간 및 온라인으로 3차원 재구성을 수행할 수 있다.

단계 S13에서, 기설정된 구획 전략에 따라, 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하되, 여기서, 이미지 데이터는 대상 픽셀 포인트를 적어도 포함한다.

일 실시 장면에서, 구획할 때, 각 데이터 세트가 수용할 수 있는 이미지 데이터가 속한 처리할 이미지의 최대 프레임 수(예를 들어, 8 프레임, 9 프레임, 10 프레임 등)를 설정할 수 있음으로써, 현재 데이터 세트에 포함된 이미지 데이터가 속한 처리할 이미지의 프레임 수가 최대 프레임 수에 도달하면, 새로운 데이터 세트를 다시 생성하고, 계속해서 구획되지 않은 처리할 이미지의 이미지 데이터를 새로 생성된 데이터 세트로 구획하며, 이와 같이 스캐닝이 완료될 때까지 계속 반복한다. 다른 실시 장면에서, 포즈가 유사(예를 들어, 카메라 대면 각도가 유사하고, 카메라 위치가 유사한 등)하고, 시간 시퀀스에서 연속적인 처리할 이미지의 이미지 데이터를 동일한 데이터 세트로 구획할 수도 있으며, 이에 구체적으로 제한하지 않는다. 또 다른 실시 장면에서, 각 프레임의 처리할 이미지의 이미지 데이터를 구획할 때, 이미지 데이터가 속한 처리할 이미지와 그 이전 프레임의 처리할 이미지의 포즈 차이(예를 들어, 카메라 대면 각도 차이, 카메라 위치 거리)가 기설정된 하한 값보다 작은지 여부를 판단할 수 있으며, 기설정된 하한 값보다 작으면, 구획될 처리할 이미지를 생략하고, 다음 프레임의 처리할 이미지의 이미지 데이터의 구획 작업을 처리할 수도 있다. 또 다른 실시 장면에서, 인접한 데이터 세트 간에는 처리할 동일한 이미지에 속하는 이미지 데이터가 있을 수 있으며, 예를 들어, 인접한 데이터 세트 간에 두 프레임의 동일한 처리할 이미지에 속하는 이미지 데이터가 있을 수 있거나, 인접한 데이터 세트 간에 세 프레임의 동일한 처리할 이미지에 속하는 이미지 데이터가 있을 수도 있으며, 여기서는 이에 대해 한정하지 않는다.

일 실시 장면에서, 각 프레임의 처리할 이미지의 이미지 데이터는 재구성할 대상에 속하는 대상 픽셀 포인트(예를 들어, 깊이 데이터 중의 대상 픽셀 포인트, 컬러 데이터 중의 대상 픽셀 포인트)만 포함할 수 있고; 다른 실시 장면에서, 각 프레임의 처리할 이미지의 이미지 데이터는 재구성할 대상에 속하지 않는 픽셀 포인트를 포함할 수도 있으며, 예를 들어, 데이터 세트 중에 구획된 이미지 데이터는 전체 처리할 이미지의 이미지 데이터일 수도 있고, 이 경우, 이미지 데이터는 대상 픽셀 포인트의 위치 좌표를 포함하여 후속의 대상 픽셀 포인트 검색이 용이해질 수 있도록 한다.

도 2를 참조하면, 도 2는 본 발명의 3차원 재구성 방법의 일 실시예의 상태 모식도이다. 도 2에 도시된 바와 같이, 재구성할 대상은 초상화 석고 조각상이며, 각 프레임의 처리할 이미지(21)는 컬러 데이터(22)와 깊이 데이터(23)를 포함할 수 있고, 재구성할 대상에 속하는 대상 픽셀 포인트를 획득함으로써 대상 픽셀 포인트를 적어도 포함하는 이미지 데이터(24)를 대응되는 데이터 세트(25)로 순차적으로 구획할 수 있다.

단계 S14에서, 각 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여, 각각의 데이터 세트의 포즈 최적화 파라미터를 결정한다.

일 실시 장면에서, 각 데이터 세트의 이미지 데이터 및 시간 시퀀스가 그 이전에 위치한 데이터 세트의 이미지 데이터를 순차적으로 이용하여, 둘 사이의 공간 변환 파라미터 를 결정할 수 있으므로, 둘 사이의 공간 변환 파라미터 및 각각의 포즈 최적화 파라미터 를 이용하여, 포즈 최적화 파라미터 에 관한 목적 함수를 구축할 수 있으며, 나아가, 목적 함수를 구하여 그 포즈 최적화 파라미터 및 시간 시퀀스가 그 이전에 위치한 데이터 세트의 포즈 최적화 파라미터를 획득할 수 있고, 그 이전의 데이터 세트의 최적화 파라미터 를 업데이트할 수 있다. 따라서, 각 데이터 세트의 포즈 최적화 파라미터 의 해를 순차적으로 구할 경우, 시간 시퀀스가 그 이전에 위치한 데이터 세트의 포즈 최적화 파라미터 , 즉 데이터 세트와 그 이전의 데이터 세트의 포즈 최적화 파라미터 간에 서로 관련되는 것을 모두 고려하면, 새로운 데이터 세트의 지속적인 생성에 따라 이전의 데이터 세트의 포즈 최적화 파라미터도 지속적으로 업데이트될 수 있으며, 이와 같이 마지막 데이터 세트까지 반복되어 각 데이터 세트의 최종 포즈 최적화 파라미터를 획득할 수 있고, 따라서 누적 오차를 효과적으로 제거할 수 있다. 일 실시 장면에서, 데이터 세트가 첫 번째 데이터 세트인 경우, 첫 번째 데이터 세트의 포즈 최적화 파라미터를 단위 행렬로 초기화할 수 있다. 일 실시 장면에서, 새로운 데이터 세트를 생성할 때마다, 그 전의 데이터 세트의 포즈 최적화 파라미터를 계산하고, 관련 데이터 세트의 포즈 최적화 파라미터를 업데이트할 수 있으며, 이와 같이 스캐닝이 종료될 때까지 반복하여, 각 데이터 세트의 최종 포즈 최적화 파라미터를 획득함으로써, 계산량의 균형을 맞추는데 유리하고, 나아가 계산 부하를 줄이는데 유리할 수 있다. 촬상 소자가 핸드폰, 태블릿 PC 등 이동 단말기일 경우, 또한 촬영하여 얻은 처리할 이미지를 대응되는 데이터 세트로 구획하는 동시에, 데이터 세트의 포즈 최적화 파라미터의 해를 구하고 업데이트하여 실시간 및 온라인으로 재구성할 대상의 3차원 재구성을 수행할 수 있다. 설명해야 할 것은, 본 발명의 실시예 및 아래 다른 발명의 실시예에서, 특별한 설명이 없는 한, 시간 시퀀스는 데이터 세트 내의 처리할 이미지의 전체 촬영 시간 시퀀스를 나타낼 수 있다. 예를 들어, 데이터 세트1은 촬영 시간 시퀀스 t=1인 처리할 이미지, 촬영 시간 시퀀스 t=2인 처리할 이미지 및 촬영 시간 시퀀스 t=3인 처리할 이미지를 포함하고; 데이터 세트2는 촬영 시간 시퀀스 t=4인 처리할 이미지, 촬영 시간 시퀀스 t=5인 처리할 이미지 및 촬영 시간 시퀀스 t=6인 처리할 이미지를 포함하며, 데이터 세트1에서 처리할 이미지의 전체 촬영 시간 시퀀스가 데이터 세트2에서 처리할 이미지의 전체 촬영 시간 시퀀스에 위치하면, 데이터 세트1의 시간 시퀀스는 데이터 세트2의 이전에 위치하는 것으로 간주할 수 있다. 다른 경우도 이에 따라 유추할 수 있으며, 여기서 더 이상 일일이 예시하지 않는다.

일 실시 장면에서, 도 2를 참조하면, 스캐닝 과정에서 동적 조정을 구현하여 사용자 체험을 향상시키고, 3차원 재구성의 계산 부하를 줄이기 위해, 순차적으로 데이터 세트(25) 중의 이미지 데이터 세트 중의 이미지 데이터를 3차원 공간으로 매핑하여 각각의 데이터 세트에 대응되는 3차원 포인트 클라우드를 획득할 수 있다.

일 실시 장면에서, 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터 및 촬상 소자의 내부 파라미터 를 이용하여 이미지 데이터를 3차원 공간으로 매핑하여 3차원 포인트 클라우드를 획득할 수 있되, 여기서, 먼저 이미지 데이터에 대해 3차원 동차를 수행하여 픽셀 좌표를 획득한 다음, 카메라 포즈 파라미터 의 역수 와 내부 파라미터 의 역수 을 동차된 후의 픽셀 좌표에 좌향 곱셈하여 3차원 공간 중의 3차원 포인트 클라우드를 획득할 수 있다. 다른 실시 장면에서, 데이터 세트의 포즈 최적화 파라미터 의 역수 을 3차원 포인트 클라우드에 좌향 곱셈하여 동적 조정을 구현할 수 있다. 각각의 데이터 세트의 포즈 최적화 파라미터를 획득한 후, 또한 데이터 세트의 카메라 포즈 파라미터를 사용하여 이에 대응되는 3차원 포인트 클라우드를 조정할 수 있다. 또 다른 실시 장면에서, 기설정된 컬러(예를 들어, 녹색)로 3차원 포인트 클라우드를 표시할 수 있으며, 여기서는 이에 대해 한정하지 않는다.

단계 S15에서, 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속하는 처리할 이미지의 카메라 포즈 파라미터를 조정한다.

여기서, 각각의 데이터 세트의 포즈 최적화 파라미터 의 역수 을 그 안에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터 에 좌향 곱셈하여 카메라 포즈 파라미터에 대한 조정을 구현할 수 있다. 예를 들어, 데이터 세트A에서 이미 데이터 세트A로 이미 구획된 시간 시퀀스는 이미지 데이터01(처리할 이미지01에 속함), 이미지 데이터02(처리할 이미지02에 속함), 이미지 데이터03(처리할 이미지03에 속함)을 포함하므로, 데이터 세트A의 포즈 최적화 파라미터 의 역수 을 각각 처리할 이미지01의 카메라 포즈 파라미터 , 처리할 이미지02의 카메라 포즈 파라미터 , 처리할 이미지03의 카메라 포즈 파라미터 에 좌향 곱셈하여, 데이터 세트A에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터에 대한 조정을 구현할 수 있다. 일 실시 장면에서, 인접한 데이터 세트 간에 동일한 처리할 이미지에 속하는 이미지 데이터가 있는 경우, 두 개의 데이터 세트 중 하나의 포즈 최적화 파라미터만 이용하여 동일한 처리할 이미지의 카메라 포즈 파라미터를 조정할 수 있다. 예를 들어, 여전히 상기 데이터 세트A를 예로 들면, 인접한 데이터 세트B는 이미지 데이터03(처리할 이미지03에 속함), 이미지 데이터04(처리할 이미지04에 속함)를 포함하므로, 데이터 세트 A의 포즈 최적화 파라미터 의 역수 을 각각 처리할 이미지01의 카메라 포즈 파라미터 , 처리할 이미지02의 카메라 포즈 파라미터 , 처리할 이미지03의 카메라 포즈 파라미터 에 좌향 곱셈하는 경우, 데이터 세트B에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정할 때, 데이터 세트B의 포즈 최적화 파라미터 의 역수 을 처리할 이미지 04의 카메라 포즈 파라미터 에 좌향 곱셈하고, 처리할 이미지03의 카메라 포즈 파라미터 에 더 이상 좌향 곱셈하지 않을 수 있다.

일 실시 장면에서, 도 2를 참조하면, 각각의 데이터 세트의 포즈 최적화 파라미터를 획득한 후, 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터(26)를 조정하여, 조정된 카메라 포즈 파라미터(27)를 획득한다. 각각의 데이터 세트의 조정된 포즈 최적화 파라미터(27)를 획득한 후, 데이터 세트의 조정된 카메라 포즈 파라미터(27)를 사용하여 이에 대응되는 3차원 포인트 클라우드(28)를 조정하여, 사용자가 3차원 포인트 클라우드의 동적 조정을 감지할 수 있도록 한다.

단계 S16에서, 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여, 처리할 이미지의 이미지 데이터를 재구성 처리하여, 재구성할 대상의 3차원 모델을 획득한다.

기설정된 3차원 재구성 방식은 절단에 기반한 부호를 가진 거리 함수(Truncated Signed Distance Function, TSDF) 재구성 방식, 푸아송 재구성 방식을 포함할 수 있지만 이에 대해 한정하지 않는다. TSDF 재구성 방식은 3차원 재구성에서 잠재적 표면을 계산하는 방식이며, 여기서 더 이상 설명하지 않는다. 푸아송 재구성의 주요 사상은 3차원 포인트 클라우드가 재구성할 대상의 표면 위치를 나타내고, 법선 벡터가 내부 및 외부 방향을 나타내며, 하나의 물체가 파생한 표시 함수를 잠재적으로 피팅하여 매끄러운 물체 표면을 추정할 수 있고, 구체적으로 여기서 더 이상 설명하지 않는다. 일 실시 장면에서, 촬상 소자로 재구성할 대상을 촬영할 경우, 상기 단계를 이용하여 재구성할 대상의 3차원 모델을 실시간으로 재구성하고, 현재 촬영된 이미지 프레임과 동일한 위치 각도로 중첩되게 렌더링할 수 있어, 사용자에게 재구성할 대상의 주요 3차원 모델을 표시할 수 있다. 다른 실시 장면에서, 3차원 입체 프린터를 이용하여 상기 단계에서 재구성된 3차원 모델을 프린팅하여 재구성할 대상에 대응되는 실물 모델을 획득할 수 있다.

상기 방안에 따르면, 각각의 데이터 세트의 포즈 최적화 파라미터는 모두 이전의 데이터 세트의 포즈 최적화 파라미터를 기반으로 결정될 수 있으므로, 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정할 경우, 스캐닝 과정에서 누적된 카메라 포즈 파라미터의 오차 제거에 유리하므로, 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여 처리할 이미지의 이미지 데이터를 재구성 처리하여, 획득된 재구성할 대상의 3차원 모델의 효과가 효과적으로 향상되며, 데이터 세트를 단위로 하여 카메라 포즈 파라미터의 오차를 제거함으로써 계산량을 줄일 수 있어 계산 부하를 줄이는데 유리하다.

도 3을 참조하면, 도 3은 도 1의 단계 S12의 일 실시예의 흐름 모식도이다. 여기서, 도 3은 도 1에서 대상 픽셀 포인트를 결정하는 과정의 흐름 모식도이며 하기와 같은 단계를 포함할 수 있다.

단계 S121에서, 컬러 데이터와 정렬한 후의 깊이 데이터에 포함된 각각의 픽셀 포인트의 법선 벡터와 처리할 이미지의 중력 방향 사이의 협각을 획득한다.

여기서, 각 프레임의 처리할 이미지는 컬러 데이터 와 깊이 데이터 를 포함하고, 깊이 데이터 를 컬러 데이터 에 투영함으로써, 정렬한 후의 깊이 데이터 를 획득할 수 있다. 일 실시 장면에서, 공식(6)을 이용하여 깊이 데이터 의 픽셀 포인트의 2차원 이미지 좌표 를 이의 깊이 값 을 이용하여 3차원 동차 좌표 로 변환한다.

공식 (7)을 기반으로, 촬상 소자에서 깊이 카메라의 내부 파라미터 를 사용하여 3차원 동차 좌표 를 3차원 공간에 역투영한 후, 깊이 카메라와 컬러 카메라의 회전 행렬 과 평행 이동 행렬 를 이용하여 강성 변환을 수행한 다음 컬러 카메라의 내부 파라미터 를 사용하여 2차원 평면에 투영하여, 컬러 데이터에서 객체의 픽셀 포인트 좌표 를 획득한다.

상기 식에서, 컬러 데이터에서 객체의 픽셀 포인트 좌표 는 3차원 좌표이고, 이를 2차원 좌표로 변환하기 위해, 공식 (8)을 기반으로, 그 깊이 값, 즉 세 번째 값 을 그 첫 번째 값 및 두 번째 값으로 각각 나누어, 컬러 데이터에서 객체의 픽셀 포인트 좌표 의 2차원 좌표 를 획득한다.

또한, 상기 나눗셈 결과에 기설정된 부동 소수점 수(예를 들어, 0.5)를 각각 가할 수도 있으며, 여기서 더 이상 설명하지 않는다.

3차원 공간에서, 동일한 직선 위에 있지 않은 임의의 3개의 포인트를 통해 하나의 평면을 결정할 수 있음으로써 상기 평면과 수직인 벡터를 획득할 수 있고, 따라서, 각각의 픽셀 포인트의 법선 벡터는 인접한 두 개의 픽셀 포인트를 통해 하나의 평면을 결정한 다음, 평면에 수직인 평면을 구하여 획득할 수 있다. 각각의 픽셀 포인트의 법선 벡터의 정확도를 향상시키기 위해 각각의 픽셀 포인트의 복수 영역의 픽셀 포인트(예를 들어, 8영역 픽셀 포인트)를 획득한 다음 복수 영역의 픽셀 포인트 중의 임의의 두 개와 각각의 픽셀 포인트를 이용하여 3차원 공간에서 하나의 평면을 결정하고, 평면에 수직인 벡터를 구하며, 마지막으로 복수 벡터의 평균값을 구하여 각각의 픽셀 포인트의 법선 벡터로 사용할 수 있다. 픽셀 포인트 를 예로 들어, 깊이 값 에 따라 이의 3차원 동차 좌표를 획득한 다음, 내부 파라미터 의 역수 을 3차원 동차 좌표에 좌향 곱셈하여 픽셀 포인트 를 3차원 공간에 역투영한 3차원 포인트 를 획득하고, 픽셀 포인트 를 3*3 창의 8개 영역 픽셀 포인트에서 역시침 방향으로 배열하고, 3차원 공간에 각각 역투영하여 대응되는 3차원 포인트를 획득하여, 으로 표기하고, 픽셀 포인트 의 3차원 법선 벡터 는 다음과 같이 표시할 수 있다.

상기 식에서, 공식(9)에서, 는 외적을 표시하고, 는 나머지를 표시하며, 예를 들어, 는 1을 8로 나눈 후의 나머지를 표시하고, 즉 1을 표시하고, 다른 경우도 이와 같이 유추할 수 있으며, 여기서 더 이상 일일이 예시하지 않는다.

일 실시 장면에서, 법선 벡터와 중력 방향의 협각은 코사인 공식을 이용하여 계산할 수 있으며, 여기서 더 이상 설명하지 않는다.

단계 S122에서, 3차원 공간에서 각각의 픽셀 포인트를 중력 방향으로 투영하여 3차원 공간에서 각각의 픽셀 포인트의 높이 값을 획득한다.

여전히 픽셀 포인트 를 예로 들면, 이전 단계를 참조하여 3차원 공간에서의 3차원 포인트 를 획득하고, 중력 방향에서 3차원 포인트 의 투영 3차원 포인트를 획득함으로써 투영 3차원 포인트의 세 번째 값( 좌표)을 3차원 공간에서 픽셀 포인트 의 높이 값 로 사용한다.

상기 단계 S121에서 각각의 픽셀 포인트의 법선 벡터와 처리할 이미지의 중력 방향 사이의 협각을 구하는 단계 및 단계 S122에서 3차원 공간에서 각각의 픽셀 포인트의 높이 값을 구하는 단계는 선후 순서대로 수행될 수 있고, 동시에 수행될 수도 있으며, 여기서는 이에 대해 한정하지 않는다.

단계 S123에서, 협각이 기설정된 각도 조건을 충족하는 픽셀 포인트의 높이 값을 분석하여 재구성할 대상의 평면 높이를 획득한다.

일 실시 장면에서, 기설정된 각도 조건은, 픽셀 포인트의 법선 벡터와 처리할 이미지의 중력 방향 사이의 협각이 기설정된 각도 임계값(예를 들어, 15도, 10도 등)보다 작거나 같은 조건을 포함할 수 있으므로, 이전 단계 S121에서 획득된 각각의 픽셀 포인트에 대응되는 협각을 기반으로 기설정된 각도 조건에 따라 선별하여, 조건을 만족하는 픽셀 포인트를 획득하고, 다음, 이전 단계 S122에서 획득된 3차원 공간에서 각각의 픽셀 포인트의 높이 값으로부터, 상기 기설정된 각도 조건을 충족하는 픽셀 포인트의 높이 값을 조회하되, 여기서, 상기 기설정된 각도 조건을 충족하는 픽셀 포인트의 높이 값을 높이 세트로 사용한 다음, 높이 세트의 높이 값에 대해 클러스터 분석을 수행하여 재구성할 대상의 평면 높이를 획득함으로써, 높이 값만을 이용하여 재구성할 대상의 평면 높이를 획득할 수 있어, 계산 부하를 줄일 수 있다. 일 실시 장면에서, 클러스터 분석을 수행할 때, 랜덤 샘플링 합의 알고리즘(Random Sample Consensus, RANSAC)을 이용하여 높이 세트에 대해 클러스터링을 수행하고, 매번 하나의 높이 값, 현재 평면 높이를 랜덤으로 선택하고, 평면 높이와의 높이 차이가 기설정된 드롭 범위(예를 들어, 2센치미터) 내에 있는 내부 포인트 수를 통계할 수 있고, 내부 포인트 수 및 반복 회수가 기설정된 클러스터 조건을 충족할 때, 모든 내부 포인트의 높이 값의 평균을 후보 높이로 사용하고, 높이 세트에서 남은 높이 값에 대해 높이 세트 중의 수가 하나의 기설정된 임계값보다 작을 때까지 다음 클러스터링을 수행하며, 복수 개의 후보 높이가 있을 때, 최소값 및 대응되는 내부 포인트 수가 하나의 기설정된 임계값보다 큰 후보 높이를 최종 평면 높이로서 선택한다.

단계 S124에서, 평면 높이를 이용하여 컬러 데이터에서 재구성할 물체에 속하는 대상 픽셀 포인트를 선별한다.

여기서, 높이 값이 평면 높이보다 큰 픽셀 포인트를 선별한 다음, 컬러 데이터에서 선별된 픽셀 포인트에 대응되는 픽셀 포인트를 조회하여 후보 픽셀 포인트로 사용하고, 컬러 데이터에서 후보 픽셀 포인트로 이루어진 최대 연결 영역을 결정하고, 최대 연결 영역 중의 후보 픽셀 포인트를 재구성할 대상에 속한 대상 픽셀 포인트로 사용한다.

전술한 실시예와 달리, 중력 방향을 결합하여 각 프레임의 처리할 이미지에서 재구성할 대상에 속하는 대상 픽셀 포인트를 자동 식별할 수 있고, 3차원 재구성의 계산 부하를 줄여 사용자의 개입을 피할 수 있으므로 사용자 체험을 향상시킬 수 있다.

도 4를 참조하면, 도 4는 도 1중의 단계 S13의 일 실시예의 흐름 모식도이다. 여기서, 도 4는 각 프레임의 처리할 이미지의 이미지 데이터를 대응하는 데이터 세트로 구획하는 일 실시예의 흐름 모식도이다. 하기와 같은 단계를 포함할 수 있다.

단계 S131에서, 순차적으로 각 프레임의 처리할 이미지를 현재 처리할 이미지로 사용한다.

여기서, 특정 프레임의 처리할 이미지의 이미지 데이터를 구획할 때 상기 처리할 이미지를 현재 처리할 이미지로 사용할 수 있다.

단계 S132에서, 현재 처리할 이미지의 이미지 데이터를 구획할 때, 기존의 데이터 세트 중의 마지막 데이터 세트가 기설정된 오버플로 조건을 충족하는지 판단하여, 충족하면 단계 S133를 수행하고, 아니면 단계 S134를 수행한다.

기존의 데이터 세트는 하나만 있을 수 있으며, 이 데이터 세트는 마지막 데이터 세트이거나; 기존의 데이터 세트는 복수 개일 수 있으며, 복수의 데이터 세트에서 가장 마지막에 생성된 데이터 세트가 마지막 데이터 세트이다. 예를 들어, 기존의 데이터 세트에는, 데이터 세트A, 데이터 세트B, 데이터 세트C가 있으며, 여기서, 데이터 세트C가 제일 마지막에 생성되었으므로 데이터 세트C를 마지막 데이터 세트로 사용할 수 있다.

일 실시 장면에서, 데이터 세트가 프레임 수, 촬상 소자의 각도 및 위치 변화에 따라 자체 적응 구축을 구현하여, 데이터 세트의 구축이 보다 견고할 수 있도록 하기 위해, 기설정된 오버플로 조건은, 마지막 데이터 세트에 포함된 이미지 데이터에 대응되는 처리할 이미지의 프레임 수가 기설정된 프레임 수의 임계값(예를 들어, 8프레임, 9프레임, 10프레임 등)보다 크거나 같은 조건; 마지막 데이터 세트 중 어느 하나의 이미지 데이터가 속한 처리할 이미지의 카메라 위치와 현재 처리할 이미지의 카메라 위치 거리가 기설정된 거리 임계값(예를 들어, 20센치미터, 25센치미터, 30센치미터 등)보다 큰 조건; 및 마지막 데이터 세트 중 어느 하나의 이미지 데이터가 속한 처리할 이미지의 카메라 대면 각도와 현재 처리할 이미지의 카메라 대면 각도 사이의 차이가 기설정된 각도 임계값(예를 들어, 25도, 30도, 35도 등)보다 큰 조건; 중 어느 하나를 포함할 수 있다. 여기서, 카메라 대면 각도 및 카메라 위치는 처리할 이미지의 카메라 포즈 파라미터에 따라 계산될 수 있다. 여기서, 카메라 포즈 파라미터 는 행렬 로 표시할 수 있고, 즉 카메라 포즈 파라미터는 회전 행렬 과 평행 이동 행렬 를 포함하고, 카메라 위치 은 다음과 같이 표시할 수 있다.

상기 식에서, 공식(10)에서, 는 행렬의 전치를 표시한다. 또한, 의 세 번째 행 벡터를 카메라 대면 각도 으로 표시할 수 있다.

단계 S133에서, 마지막 데이터 세트에서 최신 멀티 프레임의 처리할 이미지의 이미지 데이터를 획득하고, 새로 생성한 데이터 세트에 저장하여 새로운 마지막 데이터 세트로 사용하며, 현재 처리할 이미지의 이미지 데이터를 새로운 마지막 데이터 세트로 구획한다.

여전히 상기 기존의 데이터 세트A, 데이터 세트B, 데이터 세트C를 예로 들면, 이미지 데이터10(처리할 이미지10에 속함)을 구획할 때, 현재 마지막 데이터 세트C가 기설정된 오버플로 조건을 충족하면 마지막 데이터 세트C에서 최신 멀티 프레임의 처리할 이미지의 이미지 데이터를 획득하고, 예를 들어, 마지막 데이터 세트C에 이미지 데이터05(처리할 이미지05에 속함), 이미지 데이터06(처리할 이미지06에 속함), 이미지 데이터07(처리할 이미지07에 속함), 이미지 데이터08(처리할 이미지08에 속함), 이미지 데이터09(처리할 이미지09에 속함)가 포함되면, 처리할 이미지07 ~ 처리할 이미지09의 이미지 데이터를 획득할 수 있거나, 처리할 이미지08 ~ 처리할 이미지09의 이미지 데이터를 획득할 수도 있으며, 여기서는 이에 대해 한정하지 않으며, 획득된 이미지 데이터를 새로 생성된 데이터 세트에 저장하며, 예를 들어, 처리할 이미지07 ~ 처리할 이미지09의 이미지 데이터를 데이터 세트 D에 저장하는데, 이 경우, 데이터 세트D 에는 시간 시퀀스에 따라 이미지 데이터07(처리할 이미지07에 속함), 이미지 데이터08(처리할 이미지08에 속함), 이미지 데이터09(처리할 이미지09에 속함)가 포함되고, 데이터 세트D를 새로운 마지막 데이터 세트로 사용하며, 이미지 데이터10(처리할 이미지10에 속함)을 데이터 세트 D로 구획한다.

일 실시 장면에서, 현재 처리할 이미지의 이미지 데이터를 구획할 때, 마지막 데이터 세트가 기설정된 오버플로 조건을 충족하지 않는 경우도 있을 수 있으며, 이 경우 하기 단계 S134를 수행할 수 있다.

단계 S134에서, 현재 처리할 이미지의 이미지 데이터를 마지막 데이터 세트로 구획한다.

여전히 상기 기존의 데이터 세트A, 데이터 세트B, 데이터 세트C를 예로 들면, 이미지 데이터10(처리할 이미지10에 속함)을 구획할 때, 현재의 마지막 데이터 세트C가 기설정된 오버플로 조건을 충족하지 못하면, 이미지 데이터10(처리할 이미지10에 속함)을 마지막 데이터 세트C로 구획한다.

전술한 실시예와 달리, 현재 처리할 이미지의 이미지 데이터를 구획할 때, 기존의 데이터 세트 중의 마지막 데이터 세트가 기설정된 오버플로 조건을 충족하면, 마지막 데이터 세트에서 최신 멀티 프레임의 처리할 이미지의 이미지 데이터를 획득하고, 새로 생성된 데이터 세트에 저장하여 새로운 마지막 데이터 세트로 사용하고, 따라서, 인접한 데이터 세트 간에 멀티 프레임의 동일한 처리할 이미지의 이미지 데이터가 있으므로, 인접한 데이터 세트 간의 정렬 효과 향상에 유리하고, 나아가 3차원 재구성의 효과 향상에 유리하다.

도 5를 참조하면, 도 5는 도 1에서 단계 S14의 일 실시예의 흐름 모식도이다. 여기서, 도 5는 데이터 세트의 포즈 최적화 파라미터를 결정하는 일 실시예의 흐름 모식도이며 하기와 같은 단계를 포함할 수 있다.

단계 S141에서, 순차적으로 각각의 데이터 세트를 현재 데이터 세트로 사용하고, 적어도 하나의 시간 시퀀스가 현재 데이터 세트 이전에 위치한 데이터 세트를 선택하여 후보 데이터 세트로 사용한다.

여전히 상기 기존의 데이터 세트A, 데이터 세트B, 데이터 세트C를 예로 들면, 데이터 세트B의 포즈 최적화 파라미터를 결정할 때, 데이터 세트B를 현재 데이터 세트로 사용하고, 데이터 세트C의 포즈 최적화 파라미터를 결정할 때, 데이터 세트C를 현재 데이터 세트로 사용할 수 있다. 또한, 새로운 데이터 세트를 생성할 때, 즉 새로 생성된 데이터 세트의 이전 데이터 세트의 포즈 최적화 파라미터를 결정할 때, 전술한 실시예와 같이, 이미지 데이터10(처리할 이미지10에 속함)을 구획할 때, 현재의 마지막 데이터 세트C가 기설정된 오버플로 조건을 만족하면 새로운 데이터 세트D를 새로 생성할 수 있고, 이 경우, 데이터 세트C를 현재 데이터 세트로 사용할 수 있고, 그 포즈 최적화 파라미터도 결정할 수 있다.

일 실시 장면에서, 포즈 최적화 파라미터의 정확성을 향상시켜, 3차원 재구성 효과를 향상시키기 위해, 현재 데이터 세트 이전에 위치한 데이터 세트로부터, 이미지 데이터가 비교적 유사한 것을 후보 데이터 세트로서 선택하되, 여기서, 도 6을 참조하면, 도 6은 도 5에서 단계 S141의 일 실시예의 흐름 모식도이며 하기와 같은 단계를 포함할 수 있다.

단계 S61에서, 현재 데이터 세트 및 시간 시퀀스가 이전 데이터 세트에 위치한 이미지 데이터의 기설정된 이미지 특징을 이용하여 낱말 주머니 모델을 구축한다.

기설정된 이미지 특징은 ORB(Oriented FAST and Rotated BRIEF) 이미지 특징을 포함할 수 있고, 이미지 데이터 중의 키포인트에 대한 특징 벡터를 신속하게 생성하고, 특징 벡터는 이미지 데이터 중의 재구성할 대상을 식별하며, 여기서, Fast와 Brief는 각각 특징 검출 알고리즘과 벡터 생성 알고리즘이며 구체적으로 여기서 더 이상 설명하지 않는다.

낱말 주머니 모델(Bag of Words)은 자연 언어 처리 및 정보 검색에서 단순화된 표현 모델이며, 낱말 주머니 모델에서 각 기설정된 이미지 특징은 모두 독립적이며, 구체적으로 여기서 더 이상 설명하지 않는다. 일 실시 장면에서, 새로운 데이터 세트를 생성할 때, 그 이전의 데이터 세트를 현재 데이터 세트로 사용할 수 있고, 현재 데이터 세트에서 이미지 데이터의 기설정된 이미지 특징을 추출하여 낱말 주머니 모델에 추가할 수 있으며, 이와 같이 반복하여 낱말 주머니 모델의 점진적 확장이 구현될 수 있도록 한다. 일 실시 장면에서, 현재 데이터 세트와 이전 데이터 세트 사이에 중복된 이미지 데이터가 있으므로, 현재 데이터 세트에서 이미지 데이터의 기설정된 이미지 특징을 추출할 때, 이전 데이터 세트와 중복된 이미지 데이터에 대해서는 더 이상 특징 추출을 수행하지 않는다.

단계 S62에서, 현재 데이터 세트에서 기설정된 시간 시퀀스에 위치하는 처리할 이미지에 속하는 이미지 데이터를 선택하여 매칭할 이미지 데이터로 사용한다.

일 실시 장면에서, 기설정된 시간 시퀀스는 처음 위치, 중간 위치 및 마지막 위치를 포함하고, 여전히 이전 실시예 중의 데이터 세트C를 예로 들면, 데이터 세트C는 이미지 데이터05(처리할 이미지05에 속함), 이미지 데이터06(처리할 이미지06에 속함), 이미지 데이터07(처리할 이미지07에 속함), 이미지 데이터08(처리할 이미지08에 속함), 이미지 데이터09(처리할 이미지09에 속함)를 포함하고, 처음 위치의 처리할 이미지05의 이미지 데이터05, 중간 위치의 처리할 이미지07의 이미지 데이터07 및 마지막 위치의 처리할 이미지09의 이미지 데이터09를 선택하여, 매칭할 이미지 데이터로 사용할 수 있으며, 다른 실시 장면도 이와 같이 유추할 수 있으며, 여기서 더 이상 일일이 예시하지 않는다. 또한, 기설정된 시간 시퀀스를 실제 상황에 따라 처음 위치, 1/4 시간 시퀀스 위치, 1/2 시간 시퀀스 위치, 3/4 시간 시퀀스 위치, 마지막 위치로 설정할 수도 있으며, 여기서는 이에 대해 한정하지 않는다.

단계 S63에서, 낱말 주머니 모델의 기설정된 범위로부터, 매칭할 이미지 데이터의 기설정된 이미지 특징과의 유사성 평점이 하나의 기설정된 유사성 임계값보다 큰 기설정된 이미지 특징을 조회한다.

기설정된 범위는 현재 데이터 세트에 인접하지 않고, 현재 데이터 세트에 포함되지 않는 데이터 세트에 속하는 이미지 데이터의 기설정된 이미지 특징을 포함할 수 있다. 여전히 이전 실시예 중의 데이터 세트A, 데이터 세트B 및 데이터 세트C를 예로 들면, 현재 데이터 세트가 데이터 세트C일 때, 기설정된 범위는 데이터 세트A 및 데이터 세트B에 속하는 기설정된 이미지 특징일 수 있다. 일 실시 장면에서, 기설정된 유사성 임계값은 기설정된 평점값일 수 있으며, 예를 들어, 0.018, 0.019, 0.020 등이고, 여기서는 이에 대해 한정하지 않는다. 다른 실시 장면에서, 현재 데이터 세트에 인접한 데이터 세트에서 각 이미지 데이터와 매칭할 이미지 데이터 간의 유사성 평점 중 최대 평점값 을 획득하고, 최대 평점값 의 기설정된 배수(예를 들어, 1.5배, 2배, 2.5배)를 기설정된 유사성 임계값으로 사용할 수 있다. 또 다른 실시 장면에서, 최대 평점값 의 기설정된 배수, 상기 기설정된 평점값 중 어느 하나를 기설정된 유사성 임계값으로 사용할 수 있고, 낱말 주머니 모델의 기설정된 범위로부터, 매칭할 이미지 데이터의 기설정된 이미지 특징과의 유사성 평점 가 최대 평점값 보다 큰 기설정된 배수, 상기 기설정된 평점값 중 어느 하나의 기설정된 이미지 특징을 조회할 수 있으며, 여기서는 이에 대해 한정하지 않는다.

단계 S64에서, 조회된 기설정된 이미지 특징이 속한 이미지 데이터가 있는 데이터 세트 및 현재 데이터 세트에 인접한 데이터 세트를 후보 데이터 세트로 사용한다.

현재 데이터 세트가 데이터 세트H인 것을 예로 들면, 처음 위치에 위치한 매칭할 이미지 데이터를 이용하여, 데이터 세트C, 데이터 세트D를 조회하고, 중간 위치에 위치한 매칭할 이미지 데이터를 이용하여, 데이터 세트D, 데이터 세트E를 조회하며, 마지막 위치에 위치한 매칭할 이미지 데이터를 이용하여 데이터 세트E, 데이터 세트F를 조회하면, 데이터 세트C~F 및 데이터 세트G를 현재 데이터 세트H의 후보 데이터 세트로 사용할 수 있다. 일 실시 장면에서, 조회된 기설정된 이미지 특징이 속한 이미지 데이터가 있는 데이터 세트 중 최대 유사성 평점의 기설정된 수(예를 들어, 2개, 3개 등)의 데이터 세트, 및 현재 데이터 세트에 인접한 데이터 세트를 선별하여 후보 데이터 세트로 사용할 수 있다. 여전히 현재 데이터 세트가 데이터 세트H인 것을 예로 들면, 데이터 세트C~F로부터 유사성 평점 이 가장 큰 3개, 및 현재 데이터 세트에 인접한 데이터 세트G를 선별하여 후보 데이터 세트로 사용할 수 있다.

단계 S142에서, 현재 데이터 세트의 이미지 데이터 및 후보 데이터 세트의 이미지 데이터를 이용하여, 현재 데이터 세트 및 후보 데이터 세트 간의 공간 변환 파라미터를 결정한다.

일 실시 장면에서, 현재 데이터 세트 및 후보 데이터 세트 간의 공간 변환 파라미터의 정확성을 확보하여, 포즈 최적화 파라미터의 정확성을 향상시킴으로써, 3차원 재구성의 효과를 향상시키기 위해, 현재 데이터 세트 및 후보 데이터 세트의 이미지 데이터의 이미지 특징 및 3차원 공간에서의 위치를 결합하여 둘 사이의 공간 변환 파라미터를 결정할 수 있고, 여기서, 도 7을 참조하면, 도 7은 도 5에서 단계 S142의 일 실시예의 흐름 모식도이며 하기와 같은 단계를 포함할 수 있다.

단계 S71에서, 후보 데이터 세트 및 현재 데이터 세트에서 기설정된 매칭 조건을 충족하는 한 그룹의 매칭할 이미지 데이터를 검색한다.

기설정된 매칭 조건은 매칭할 이미지 데이터가 속한 처리할 이미지의 카메라 대면 각도 간의 차이가 가장 작은 조건을 포함할 수 있으며, 여기서, 각각의 후보 데이터 세트에 대해, 모두 후보 데이터 세트와 현재 데이터 세트에서 기설정된 매칭 조건을 충족하는 한 그룹의 매칭할 이미지 데이터를 검색할 수 있고, 설명의 편의를 위해, 현재 데이터 세트에 속한 매칭할 이미지 데이터를 로 표기하고, 후보 데이터 세트에 속한 매칭할 이미지 데이터를 로 표기할 수 있다.

단계 S72에서, 각 그룹의 매칭할 이미지 데이터로부터 추출된 기설정된 이미지 특징을 기반으로, 각 그룹의 매칭할 이미지 데이터 간의 매칭 픽셀 포인트 쌍을 획득한다.

RANSAC 알고리즘과 결합하여. 과 의 기설정된 이미지 특징(예를 들어, ORB 이미지 특징)에 대해 매칭 쌍 선별을 수행하여 과 간의 매칭 픽셀 포인트를 획득할 수 있는 바, 설명의 편의를 위해, 각각 와 로 표기할 수 있다. RANSAC 알고리즘에 관하여 이전 실시예 중의 관련 단계를 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

단계 S73에서, 매칭 픽셀 포인트 쌍에서 현재 데이터 세트에 속하는 픽셀 포인트를 3차원 공간에 매핑하여, 제1 3차원 매칭 포인트를 획득하고, 매칭 픽셀 포인트 쌍에서 후보 데이터 세트에 속하는 픽셀 포인트를 3차원 공간에 매핑하여 제2 3차원 매칭 포인트를 획득한다.

를 3차원 공간에 매핑하여, 제1 3차원 매칭 포인트를 획득하는 바, 설명의 편의를 위해, 로 표기하고, 를 3차원 공간에 매핑하여 제2 3차원 매칭 포인트를 획득하는 바, 설명의 편의를 위해, 로 표기한다. 여기서, 및 를 각각 3차원 동차 좌표로 변환한 다음, 내부 파라미터 의 역수 을 각각 및 의 3차원 동차 좌표에 좌향 곱셈하여 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트 를 획득할 수 있다.

단계 S74에서, 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트를 정렬 처리하여 공간 변환 파라미터를 획득한다.

여기서, 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트를 3차원 공간에서 정렬하여 둘 사이의 일치도를 가능한 크게 함으로써, 둘 사이의 공간 변환 파라미터를 획득할 수 있다. 일 실시 장면에서, 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트 간의 제1 포즈 변환 파라미터를 획득하되, 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트를 이용하여 제1 포즈 변환 파라미터에 관한 목적 함수를 구축한 다음, 특이값 분해(Singular Value Decomposition, SVD) 또는 비오프라인 최적화 등 방식을 이용하여 목적 함수를 구하여 제1 포즈 변환 파라미터 를 획득할 수 있다.

공식 (11)에서, 및 는 각각 3차원 공간의 제i번째 쌍 매칭 3차원 포인트를 표시한다.

상기 목적 함수를 구하여 제1 포즈 변환 파라미터 를 획득한 후, 제1 포즈 변환 파라미터 및 기설정된 포즈 변환 파라미터(예를 들어, 단위 행렬)를 이용하여, 제1 3차원 매칭 포인트에 대해 포즈 최적화를 수행하여 각각 제1 최적화 매칭 포인트와 제2 최적화 매칭 포인트를 획득할 수 있으며, 여기서, 제1 포즈 변환 파라미터 및 기설정된 포즈 변환 파라미터를 각각 제1 3차원 매칭 포인트 에 좌향 곱셈하여 제1 최적화 매칭 포인트와 제2 최적화 매칭 포인트를 각각 획득할 수 있는 바, 설명의 편의를 위해, 각각 및 로 표시할 수 있다. 다음 제2 3차원 매칭 포인트 와 제1 최적화 매칭 포인트 , 제2 최적화 매칭 포인트 간의 일치도를 계산하고, 일치도가 높은 최적화 매칭 포인트에 사용된 포즈 변환 파라미터를 선택하여, 제2 포즈 변환 파라미터로 사용하는 바, 설명의 편의를 위해, 로 표시할 수 있다. 여기서, 제2 3차원 매칭 포인트 및 제1 최적화 매칭 포인트 간의 일치도를 계산할 때, 각 제2 3차원 매칭 포인트 의 기설정된 범위 내(예를 들어, 5센치미터 범위)에서 제1 최적화 매칭 포인트 를 찾을 수 있고, 찾을 수 있으면, 제2 3차원 매칭 포인트 를 유효한 것으로 표시하고, 그렇지 않으면, 무효인 것으로 표시할 수 있으며, 모든 제2 3차원 매칭 포인트 를 찾은 후, 제2 3차원 매칭 포인트 총 수에서 유효인 것으로 표시된 제2 3차원 매칭 포인트 의 수가 차지하는 비율을 계산하고, 즉, 제2 3차원 매칭 포인트 및 제1 최적화 매칭 포인트 간의 일치도이며, 제2 3차원 매칭 포인트 및 제2 최적화 매칭 포인트 간의 일치도는 이에 따라 유추할 수 있으며, 여기서 더 이상 설명하지 않는다.

제2 포즈 변환 파라미터 를 획득한 후, 제2 포즈 변환 파라미터 를 초기값으로 사용할 수 있고, 기설정된 정렬 방식(예를 들어, point-to-normal의 ICP 방식)을 이용하여 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트 를 정렬 처리하여 현재 데이터 세트와 후보 데이터 세트 간의 공간 변환 파라미터를 획득할 수 있는 바, 설명의 편의를 위해, 로 표시한다. 상기 단계를 중복하여, 현재 데이터 세트와 각각의 후보 데이터 세트 간의 공간 변환 파라미터 를 획득할 수 있다.

단계 S143에서, 적어도 후보 데이터 세트의 포즈 최적화 파라미터 및 현재 데이터 세트와 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 현재 데이터 세트의 포즈 최적화 파라미터를 획득하고, 적어도 후보 데이터 세트의 포즈 최적화 파라미터를 업데이트한다.

일 실시 장면에서, 포즈 최적화 파라미터의 정확성을 향상시키기 위해, 또한 현재 데이터 세트의 포즈 최적화 파라미터를 구하기 전에, 상기 공간 변환 파라미터 를 선별할 수 있으며, 여기서, 현재 데이터 세트와 각 후보 데이터 세트 간의 공간 변환 파라미터 로부터, 기설정된 선별 조건에 부합되는 공간 변환 파라미터를 선별하여 현재 데이터 세트의 포즈 최적화 파라미터를 구하는데 사용할 수 있다. 기설정된 선별 조건은 공간 변환 파라미터 에 관련된 후보 데이터 세트가 현재 데이터 세트에 인접하는 조건, 또는, 공간 변환 파라미터 를 이용하여 제1 3차원 매칭 포인트 에 대해 포즈 최적화를 수행하여 획득된 최적화 매칭 포인트와 제2 3차원 매칭 포인트 간의 일치도가 하나의 기설정된 일치도 임계값(예를 들어, 60%, 65%, 70% 등)보다 큰 조건을 포함할 수 있다. 여기서, 공간 변환 파라미터 를 제1 3차원 매칭 포인트 에 좌향 곱셈하여 포즈 최적화를 구현할 수 있다.

여기서, 후보 데이터 세트의 포즈 최적화 파라미터 및 현재 데이터 세트와 후보 데이터 세트 간의 공간 변환을 이용하여, 현재 데이터 세트의 포즈 최적화 파라미터에 관련된 목적 함수를 구축하고, 목적 함수를 구하여 현재 데이터 세트의 포즈 최적화 파라미터를 획득하며, 적어도 후보 데이터 세트의 포즈 최적화 파라미터를 업데이트할 수 있다. 또한, 이와 같이 반복하여, 각각 새로 생성된 데이터 세트의 이전 데이터 세트를 현재 데이터 세트로 사용하고, 재구성할 대상을 스캐닝하고 데이터 세트를 생성하는 동시에, 포즈 최적화 파라미터를 획득할 수 있어, 나아가, 계산량의 평형을 맞추는데 유리하고, 계산 부하를 줄여 재구성할 대상에 대한 3차원 재구성을 실시간으로, 온라인적으로 구현할 수 있다. 일 실시 장면에서, 도 8을 참조하면, 도 8은 도 5에서 단계 S143의 일 실시예의 흐름 모식도이며 하기와 같은 단계를 포함할 수 있다.

단계 S81에서, 각각 현재 데이터 세트 및 시간 시퀀스가 이전에 위치한 후보 데이터 세트에 관련된 각 공간 변환 파라미터에 대응되는 두 개의 데이터 세트를 하나의 데이터 세트 쌍으로 사용한다.

여전히 현재 데이터 세트가 데이터 세트H인 것을 예로 들면, 데이터 세트C~F 및 데이터 세트G를 현재 데이터 세트H의 후보 데이터 세트로 사용하고, 공간 변환 파라미터 에 대응되는 후보 데이터 세트C 및 현재 데이터 세트H를 한 쌍의 데이터 세트 쌍으로 사용하며, 공간 변환 파라미터 에 대응되는 후보 데이터 세트 D 및 현재 데이터 세트H를 한 쌍의 데이터 세트 쌍으로 사용하며, 공간 변환 파라미터 에 대응되는 후보 데이터 세트E 및 현재 데이터 세트H를 한 쌍의 데이터 세트 쌍으로 사용하며, 공간 변환 파라미터 에 대응되는 후보 데이터 세트F 및 현재 데이터 세트H를 한 쌍의 데이터 세트 쌍으로 사용하며, 공간 변환 파라미터 에 대응되는 후보 데이터 세트G 및 현재 데이터 세트 H를 한 쌍의 데이터 세트 쌍으로 사용한다. 또한, 현재 데이터 세트H 이전의 각 데이터 세트(즉 데이터 세트A~G)도 각각 대응하는 공간 변환 파라미터를 가지며, 예를 들어, 데이터 세트 B의 경우, 데이터 세트A 와의 사이에 공간 변환 파라미터가 있을 수 있으므로, 데이터 세트B와 데이터 세트A를 데이터 세트 쌍으로 사용할 수 있고, 데이터 세트C의 경우, 각각 데이터 세트A와 데이터 세트B와의 사이에 공간 변환 파라미터가 있을 수 있으므로, 각각 데이터 세트C와 데이터 세트A를 하나의 데이터 세트 쌍으로 사용하고, 데이터 세트C와 데이터 세트B를 하나의 데이터 세트 쌍으로 사용하며, 이에 따라 유추할 수 있으며, 여기서 더 이상 일일이 예시하지 않고, 공간 변환 파라미터의 해를 구하는 방법은 이전 실시예 중의 관련 단계를 구체적으로 참조할 수 있다.

단계 S82에서, 각 데이터 세트 쌍의 공간 변환 파라미터 및 각각의 포즈 최적화 파라미터를 이용하여, 포즈 최적화 파라미터에 관련된 하나의 목적 함수를 구축한다.

여기서, 목적 함수는 다음과 같이 표시할 수 있다.

여기서, 공식 (12)에서, 는 각 데이터 세트 쌍에 포함된 데이터 세트의 번호(예를 들어, C, D, E 등 자모, 또는, 1, 2, 3 등 아라비아 숫자로도 표시할 수 있음)를 각각 표시하고, 는 각 데이터 세트 쌍 간의 공간 변환 파라미터를 표시하며, 는 각 데이터 세트 쌍에 포함된 데이터 세트 각각의 포즈 최적화 파라미터를 각각 표시하고, 는 최적화식을 표시하며, 다음과 같이 표시할 수 있다.

공식 (13)에서, 은 각각 의 역수 및 의 역수를 표시한다. 따라서, 하나의 데이터 세트의 공간 변환 파라미터를 결정한 후, 모두 목적 함수를 위한 새로운 최적화 관계가 형성될 수 있어, 그 이전의 데이터 세트의 포즈 최적화 파라미터에 대해 모든 데이터 세트의 포즈 최적화 파라미터가 결정될 때까지 다시 한번 최적화하므로, 스캐닝 과정에서 누적 포즈 오차를 제거하는데 유리해질 수 있고, 포즈 최적화 파라미터의 정확성을 향상시키며, 3차원 재구성의 효과를 향상시킬 수 있다. 일 실시 장면에서, 현재 데이터 세트가 제1 데이터 세트일 때, 그 포즈 최적화 파라미터는 단위 행렬로 초기화될 수 있으며, 이전 실시예 중의 관련 단계를 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

단계 S83에서, 기설정된 해를 구하는 방법을 이용하여 목적 함수를 구하여, 현재 데이터 세트 및 시간 시퀀스가 그 이전에 위치한 후보 데이터 세트가 각각 대응되는 데이터 세트 쌍에 포함된 데이터 세트의 포즈 최적화 파라미터를 획득한다.

상기 식과 같이, 상기 목적 함수를 최소화하여 각각 데이터 세트 쌍에 포함된 데이터 세트의 포즈 최적화 파라미터를 획득할 수 있다. 여전히 현재 데이터 세트가 데이터 세트H인 것을 예로 들면, 상기 목적 함수를 구하여 현재 데이터 세트H의 포즈 최적화 파라미터를 획득하고, 추가적으로 최적화된 데이터 세트C~G 의 포즈 최적화 파라미터 및 현재 데이터 세트H 이전의 데이터 세트가 추가적으로 최적화된 포즈 최적화 파라미터를 획득할 수 있다. 새로운 데이터 세트I가 도입될 경우, 관련된 공간 변환 파라미터를 획득한 후, 목적 함수를 구축하여 데이터 세트I의 포즈 최적화 파라미터를 획득하고, 그 이전의 데이터 세트가 추가적으로 최적화된 포즈 최적화 파라미터를 획득할 수 있으며, 이와 같이 반복하여 포즈 누적 오차를 제거하는데 더욱 유리할 수 있다.

전술한 실시예와 달리, 순차적으로 각각의 데이터 세트를 현재 데이터 세트로 사용하고, 현재 데이터 세트 이전에 위치한 적어도 하나의 데이터 세트를 선택하여 후보 세트로 사용함으로써, 현재 데이터 세트의 이미지 데이터 및 후보 데이터 세트의 이미지 데이터를 이용하여, 현재 데이터 세트와 후보 데이터 세트 간의 공간 변환 파라미터를 결정하고, 나아가, 적어도 후보 데이터 세트의 포즈 최적화 파라미터 및 현재 데이터 세트와 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 현재 데이터 세트의 포즈 최적화 파라미터를 획득하고, 적어도 후보 데이터 세트의 포즈 최적화 파라미터를 업데이트하여 스캐닝 과정에서 누적된 카메라 포즈 파라미터의 오차 제거에 유리하고, 포즈 최적화 파라미터를 계산하는 데이터의 양을 줄여 계산 부하를 줄이는데 유리할 수 있다.

도 9를 참조하면, 도 9는 본 발명의 3차원 재구성 기반의 인터랙션 방법의 일 실시예의 흐름 모식도이며 하기와 같은 단계를 포함할 수 있다.

단계 S91에서, 재구성할 대상의 3차원 모델을 획득한다.

3차원 모델은 상기 임의의 3차원 재구성 방법 실시예 중의 단계를 통해 획득될 수 있으므로, 전술한 3차원 재구성 방법 실시예를 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

단계 S92에서, 기설정된 시각적 관성 방식을 이용하여 촬상 소자가 위치하는 장면의 3차원 지도를 구축하여, 3차원 지도에서 촬상 소자의 현재 포즈 정보를 획득한다.

기설정된 시각적 관성 방식은 위치 측정 및 동시 지도화(Simultaneous Localization and Mapping, SLAM)를 포함할 수 있고, SLAM을 통해 촬상 소자(예를 들어, 핸드폰, 태블릿 PC 등)가 있는 장면의 3차원 지도를 구축하여, 3차원 지도에서 촬상 소자의 현재 포즈 정보를 획득할 수 있다.

일 실시 장면에서, 3차원 모델과의 동적 인터랙션을 구현하기 위해, 또한 3차원 모델에 대해 골격 바인딩을 수행할 수 있으며, 골격 바인딩은 골격 관절에서 정해진 규칙에 따라 움직일 수 있도록 3차원 모델에 대한 골격 시스템을 설정하는 것을 의미하는 바, 예를 들어, 3차원 모델은 소, 양 등 사족동물이며, 3차원 모델은 골격 바인딩된 후, 이의 골격 관절은 사족동물의 정해진 규칙에 따라 움직일 수 있다.

단계 S93에서, 포즈 정보를 기반으로, 촬상 소자에 의해 현재 촬영된 장면 이미지에 3차원 모델을 표시한다.

여기서, 포즈 정보는 촬상 소자의 위치 및 방향을 포함할 수 있다. 예를 들어, 촬상 소자의 포즈 정보가 지면을 향하고 있음을 나타낼 때, 촬상 소자에 의해 현재 촬영된 장면 이미지에 3차원 모델의 상부면을 표시하거나; 촬상 소자의 포즈 정보가 지면과 예각을 이루는 협각을 나타낼 때, 촬상 소자에 의해 현재 촬영된 장면 이미지에 3차원 모델의 측면을 표시할 수 있다. 일 실시 장면에서, 3차원 모델에 대해 골격 바인딩을 수행한 후, 사용자에 의해 입력된 구동 명령을 수신할 수 있어, 3차원 모델이 사용자에 의해 입력된 구동 명령에 따라 움직일 수 있도록 하며, 예를 들어, 3차원 모델이 양이면, 사용자는 양이 머리를 숙이고, 걷도록 구동할 수 있으며, 여기서는 이에 대해 한정하지 않는다. 3차원 모델이 사람이거나 다른 객체일 때, 이에 따라 유추할 수 있으며, 여기서 더 이상 일일이 예시하지 않는다.

상기 방안에 따르면, 3차원 지도에서 촬상 소자의 현재 포즈 정보를 기반으로, 재구성할 대상의 3차원 모델을 현재 촬영한 장면 이미지에 표시하여, 가상 물체와 실제 장면의 기하학적 일관성 융합을 구현할 수 있으며, 3차원 모델이 상기 제1 측면의 3차원 재구성 방법에 의해 획득된 것이므로 3차원 재구성의 효과를 향상시킬 수 있으며, 나아가, 가상과 현실 기하학적 일관성 융합 효과를 향상시켜, 사용자 체험을 향상시키는데 유리할 수 있다.

도 10을 참조하면, 도 10은 본 발명의 3차원 재구성 기반의 측정 방법의 일 실시예의 흐름 모식도이며, 하기와 같은 단계를 포함할 수 있다.

단계 S1010에서, 재구성할 대상의 3차원 모델을 획득한다.

3차원 모델은 상기 임의의 3차원 재구성 방법 실시예 중의 단계를 통해 획득될 수 있고, 전술한 3차원 재구성 방법 실시예를 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

단계 S1020에서, 사용자가 3차원 모델에 설정한 복수의 측정 포인트를 수신한다.

사용자는 마우스 클릭, 키보드 입력, 디스플레이 터치 방식으로 3차원 모델에 복수의 측정 포인트를 설정할 수 있다. 측정 포인트의 수는 두 개, 세 개, 네 개 등이 될 수 있으며, 여기서 한정하지 않는다. 도 2를 참조하면, 재구성할 대상이 석고 초상화인 것으로 예를 들면, 사용자는 3차원 모델(29)의 두 눈의 중심에 각각 측정 포인트를 설정하거나, 3차원 모델(29)의 산근 및 인중에 각각 측정 포인트를 설정할 수 있거나, 3차원 모델(29)의 두 눈의 중심 및 인중에 각각 측정 포인트를 설정할 수도 있으며, 여기서 더 이상 일일이 예시하지 않는다.

단계 S1030에서, 복수의 측정 포인트 간의 거리를 획득하여 재구성할 대상에서 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득한다.

도 2를 참조하면, 여전히 재구성할 대상이 석고 초상화인 것으로 예를 들면, 3차원 모델(29)의 두 눈의 중심 사이의 거리를 획득하여 석고 초상화에 대응되는 두 눈의 중심 사이의 거리를 획득하거나, 3차원 모델(29)의 산근 및 인중 사이의 거리를 획득하여 석고 초상화에 대응되는 산근 및 인중 사이의 거리를 획득하거나, 3차원 모델(29)의 두 눈의 중심, 인중 둘 사이의 거리를 획득하여 석고 초상화에 대응되는 두 눈, 인중 사이의 거리를 획득함으로써, 실제 장면에서 물체 측정의 편의성 향상에 유리할 수 있다.

상기 방안에 따르면, 사용자가 3차원 모델에 설정한 복수의 측정 포인트를 수신함으로써, 복수의 측정 포인트 간의 거리를 획득하고, 나아가, 재구성할 대상에서 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득함으로써, 실제 장면에서 물체에 대한 측정 요구를 충족시킬 수 있으며, 3차원 모델이 상기 제1 측면의 3차원 재구성 방법을 이용하여 획득된 것이므로, 3차원 재구성의 효과를 향상시키고, 나아가 측정 정확성을 향상시킬 수 있다.

도 11을 참조하면, 도 11은 본 발명의 3차원 재구성 장치(1100)의 일 실시예의 프레임워크 모식도이다. 3차원 재구성 장치(1100)는 이미지 획득 부분(1110), 제1 결정 부분(1120), 데이터 구획 부분(1130), 제2 결정 부분(1140), 파라미터 조정 부분(1150) 및 모델 재구성 부분(1160)을 포함하고, 이미지 획득 부분(1110)은 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하도록 구성되고; 제1 결정 부분(1120)은 각 프레임의 처리할 이미지 및 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 카메라 포즈 파라미터를 결정하도록 구성되며; 데이터 구획 부분(1130)은 기설정된 구획 전략에 따라, 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하도록 구성되되, 여기서 이미지 데이터는 대상 픽셀 포인트를 적어도 포함하며; 제2 결정 부분(1140)은 각 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 데이터 세트의 포즈 최적화 파라미터를 결정하도록 구성되며; 파라미터 조정 부분(1150)은 각각의 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속하는 처리할 이미지의 카메라 포즈 파라미터를 조정하도록 구성되며; 모델 재구성 부분(1160)은 기설정된 3차원 재구성 방식 및 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여 처리할 이미지의 이미지 데이터를 재구성 처리하여, 재구성할 대상의 3차원 모델을 획득하도록 구성된다.

일부 실시예에서, 제2 결정 부분(1140)은 순차적으로 각각의 데이터 세트를 현재 데이터 세트로 사용하고, 적어도 하나의 현재 데이터 세트 이전에 위치한 데이터 세트를 선택하여 후보 데이터 세트로 사용하도록 구성되는 데이터 세트 선택 서브 부분을 포함하고, 제2 결정 부분(1140)은 현재 데이터 세트의 이미지 데이터 및 후보 데이터 세트의 이미지 데이터를 이용하여, 현재 데이터 세트 및 후보 데이터 세트 간의 공간 변환 파라미터를 결정하도록 구성되는 공간 변환 파라미터 서브 부분을 더 포함하며, 제2 결정 부분(1140)은 적어도 후보 데이터 세트의 포즈 최적화 파라미터 및 현재 데이터 세트와 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 현재 데이터 세트의 포즈 최적화 파라미터를 획득하고, 적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터를 업데이트하도록 구성되는 포즈 최적화 파라미터 서브 부분을 더 포함한다.

일부 실시예에서, 포즈 최적화 파라미터 서브 부분은 각각 현재 데이터 세트 및 이전에 시간 시퀀스가 위치한 데이터 세트에 관련된 각 공간 변환 파라미터에 대응되는 두개의 데이터 세트를 하나의 데이터 세트 쌍으로 사용하도록 구성되는 데이터 세트 쌍 부분을 포함하고, 포즈 최적화 파라미터 서브 부분은 각 데이터 세트 쌍의 공간 변환 파라미터 및 각각의 포즈 최적화 파라미터를 이용하여, 포즈 최적화 파라미터에 관한 목적 함수를 구축하도록 구성되는 목적 함수 구축 부분을 더 포함하며, 포즈 최적화 파라미터 서브 부분은 기설정된 계산 방식을 이용하여 목적 함수를 계산하여 현재 데이터 세트 및 이전에 시간 시퀀스가 위치한 데이터 세트 각각에 대응되는 데이터 세트 쌍에 포함된 데이터 세트의 포즈 최적화 파라미터를 획득하도록 구성되는 목적 함수 계산 부분을 더 포함한다.

일부 실시예에서, 공간 변환 파라미터 서브 부분은 후보 데이터 세트 및 현재 데이터 세트에서 기설정된 매칭 조건을 충족하는 한 그룹의 매칭할 이미지 데이터를 검색하도록 구성되는 이미지 데이터 검색 부분을 포함하고, 공간 변환 파라미터 서브 부분은 각 그룹의 매칭할 이미지 데이터로부터 추출된 기설정된 이미지 특징을 기반으로, 각 그룹의 매칭할 이미지 데이터 간의 매칭 픽셀 포인트 쌍을 획득하도록 구성되는 매칭 픽셀 포인트 선택 부분을 더 포함하며, 공간 변환 파라미터 서브 부분은 매칭 픽셀 포인트 쌍에서 현재 데이터 세트에 속한 픽셀 포인트를 3차원 공간에 매핑하여 제1 3차원 매칭 포인트를 획득하고, 매칭 픽셀 포인트 쌍에서 후보 데이터 세트에 속한 픽셀 포인트를 3차원 공간에 매핑하여 제2 3차원 매칭 포인트를 획득하도록 구성되는 3차원 공간 매핑 부분을 더 포함하고, 공간 변환 파라미터 서브 부분은 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트를 정렬 처리하여 공간 변환 파라미터를 획득하도록 구성되는 3차원 매칭 포인트 정렬 부분을 더 포함한다.

일부 실시예에서, 3차원 매칭 포인트 정렬 부분은 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트 간의 제1 포즈 변환 파라미터를 획득하도록 구성되는 제1 포즈 변환 파라미터 서브 부분을 포함하고, 3차원 매칭 포인트 정렬 부분은 제1 포즈 변환 파라미터 및 기설정된 포즈 변환 파라미터를 이용하여 제1 3차원 매칭 포인트를 포즈 최적화하여 각각 제1 최적화 매칭 포인트 및 제2 최적화 매칭 포인트를 획득하도록 구성되는 3차원 매칭 포인트 최적화 서브 부분을 더 포함하며, 3차원 매칭 포인트 정렬 부분은 제2 3차원 매칭 포인트와 제1 최적화 매칭 포인트, 제2 최적화 매칭 포인트 간의 일치도를 각각 계산하고, 일치도가 높은 최적화 매칭 포인트에 사용된 포즈 변환 파라미터를 제2 포즈 변환 파라미터로 사용하도록 구성되는 제2 포즈 변환 파라미터 서브 부분을 더 포함하며, 3차원 매칭 포인트 정렬 부분은 제2 포즈 변환 파라미터를 초기값으로 사용하고, 기설정된 정렬 방식을 이용하여 제1 3차원 매칭 포인트 및 제2 3차원 매칭 포인트를 정렬 처리하여 현재 데이터 세트와 후보 데이터 세트 간의 공간 변환 파라미터를 획득하도록 구성되는 공간 변환 파라미터 서브 부분을 더 포함한다.

일부 실시예에서, 공간 변환 파라미터 서브 부분은 현재 데이터 세트와 각 후보 데이터 세트 간의 공간 변환 파라미터로부터, 기설정된 파라미터 선별 조건에 부합되는 공간 변환 파라미터를 선택하도록 구성되는 변환 파라미터 선별 부분을 더 포함하되, 여기서, 기설정된 파라미터 선별 조건은, 공간 변환 파라미터에 관련된 후보 데이터 세트가 현재 데이터 세트에 인접하는 조건; 및 공간 변환 파라미터를 이용하여 제1 3차원 매칭 포인트를 포즈 최적화하여 획득된 최적화 매칭 포인트와 제2 3차원 매칭 포인트 간의 일치도가 하나의 기설정된 일치도 임계값보다 큰 조건 중 어느 하나를 포함한다.

일부 실시예에서, 데이터 세트 선택 서브 부분은 현재 데이터 세트 및 시간 시퀀스가 이전 데이터 세트에 위치한 이미지 데이터의 기설정된 이미지 특징을 이용하여 낱말 주머니 모델을 구축하도록 구성되는 낱말 주머니 모델 구축 부분을 포함하고, 데이터 세트 선택 서브 부분은 현재 데이터 세트에서 기설정된 시간 시퀀스에 위치하는 처리할 이미지에 속하는 이미지 데이터를 선택하여 매칭할 이미지 데이터로 사용하도록 구성되는 매칭할 이미지 데이터 부분을 더 포함하며, 데이터 세트 선택 서브 부분은 낱말 주머니 모델의 기설정된 범위에서, 매칭할 이미지 데이터의 기설정된 이미지 특징 간의 유사성 평점이 하나의 기설정된 유사성 임계값보다 큰 기설정된 이미지 특징을 조회하도록 구성되는 이미지 특징 조회 부분을 더 포함하고, 데이터 세트 선택 서브 부분은 조회된 기설정된 이미지 특징이 속한 이미지 데이터가 있는 데이터 세트 및 현재 데이터 세트에 인접한 데이터 세트를 후보 데이터 세트로 사용하도록 구성되는 후보 데이터 세트 부분을 더 포함하되, 여기서 기설정된 범위는 현재 데이터 세트에 인접하지 않고, 현재 데이터 세트에 포함되지 않는 데이터 세트에 속하는 이미지 데이터의 기설정된 이미지 특징을 포함한다.

일부 실시예에서, 데이터 세트 선택 서브 부분은 현재 데이터 세트에 인접한 데이터 세트에서 각 이미지 데이터와 매칭할 이미지 데이터 간의 유사성 평점 중의 최대 평점값을 획득하도록 구성되는 최대 유사성 평점값 획득 부분을 더 포함하고, 데이터 세트 선택 서브 부분은 최대 평점값의 기설정된 배수 및 하나의 기설정된 평점값 중 어느 하나를 기설정된 유사성 임계값으로 사용하도록 구성되는 기설정된 유사성 임계값 결정 부분을 더 포함한다.

일부 실시예에서, 데이터 구획 부분(1130)은 순차적으로 각 프레임의 처리할 이미지를 현재 처리할 이미지로 사용하도록 구성되는 현재 처리할 이미지 결정 서브 부분을 포함하고, 데이터 구획 부분(1130)은 현재 처리할 이미지의 이미지 데이터를 구획할 때, 기존의 데이터 세트 중의 마지막 데이터 세트가 기설정된 오버플로 조건을 만족하면 마지막 데이터 세트에서 최신 멀티 프레임의 처리할 이미지의 이미지 데이터를 획득하고, 새로 생성된 데이터 세트에 저장하여 새로운 마지막 데이터 세트로 사용하고, 현재 처리할 이미지의 이미지 데이터를 새로운 마지막 데이터 세트로 구획하도록 구성되는 데이터 처리 서브 부분을 더 포함한다.

일부 실시예에서, 기설정된 오버플로 조건은, 마지막 데이터 세트에 포함된 이미지 데이터에 대응되는 처리할 이미지의 프레임 수가 기설정된 프레임 수의 임계값보다 크거나 같은 조건; 마지막 데이터 세트 중 어느 하나의 이미지 데이터가 속한 처리할 이미지의 카메라 위치와 현재 처리할 이미지의 카메라 위치 간의 거리가 기설정된 거리 임계값보다 큰 조건; 및 마지막 데이터 세트 중 어느 하나의 이미지 데이터가 속한 처리할 이미지의 카메라 대면 각도와 현재 처리할 이미지의 카메라 대면 각도 간의 차이가 기설정된 각도 임계값보다 큰 조건 중 어느 하나를 포함하되; 여기서, 카메라 위치 및 카메라 대면 각도는 처리할 이미지의 카메라 포즈 파라미터를 이용하여 계산된다.

일부 실시예에서, 각 프레임의 처리할 이미지는 컬러 데이터와 깊이 데이터를 포함하고, 제1 결정 부분(1120)은 컬러 데이터에 정렬된 깊이 데이터에 포함된 각각의 픽셀 포인트의 법선 벡터와 처리할 이미지의 중력 방향 간의 협각을 획득하도록 구성되는 협각 획득 서브 부분을 포함하며, 제1 결정 부분(1120)은 3차원 공간에서 각각의 픽셀 포인트를 중력 방향에 투영하여 3차원 공간에서 각각의 픽셀 포인트의 높이 값을 획득하도록 구성되는 높이 획득 서브 부분을 더 포함하고, 제1 결정 부분(1120)은 협각이 기설정된 각도 조건을 충족하는 픽셀점의 높이 값을 분석하여 재구성할 대상의 평면 높이를 획득하도록 구성되는 높이 분석 서브 부분을 더 포함하며, 제1 결정 부분(1120)은 평면 높이를 이용하여 컬러 데이터에서 재구성할 물체에 속하는 대상 픽셀 포인트를 선별하도록 구성되는 픽셀 선별 서브 부분을 더 포함한다.

일부 실시예에서, 높이 분석 서브 부분은 협각이 기설정된 각도 조건을 충족하는 픽셀 포인트의 높이 값을 하나의 높이 세트로 사용하도록 구성되는 높이 세트 획득 부분을 포함하고, 높이 분석 서브 부분은 높이 세트에서의 높이 값에 대해 클러스터 분석을 수행하여 재구성할 대상의 평면 높이를 획득하도록 구성되는 높이 클러스터 분석 부분을 포함한다.

일부 실시예에서, 3차원 재구성 장치(1100)는 순차적으로 각각의 데이터 세트 중의 이미지 데이터를 3차원 공간으로 매핑하여 각각의 데이터 세트에 대응되는 3차원 포인트 클라우드를 획득하도록 구성되는 3차원 매핑 부분을 포함하고, 3차원 재구성 장치(1100)는 데이터 세트의 포즈 최적화 파라미터를 사용하여 대응되는 3차원 포인트 클라우드를 조정하도록 구성되는 포인트 클라우드 조정 부분을 더 포함한다.

도 12를 참조하면, 도 12는 본 발명의 3차원 재구성 기반의 인터랙션 장치(1200)의 일 실시예의 프레임워크 모식도이다. 3차원 재구성 기반의 인터랙션 장치(1200)는 모델 획득 부분(1210), 매핑 포지셔닝 부분(1220) 및 디스플레이 인터랙션 부분(1230)을 포함하고, 모델 획득 부분(1210)은 재구성할 대상의 3차원 모델을 획득하도록 구성되되, 여기서 3차원 모델은 상기 임의의 3차원 재구성 장치 실시예 중의 3차원 재구성 장치를 이용하여 획득된 것이며; 매핑 포지셔닝 부분(1220)은 기설정된 시각적 관성 방식을 이용하여 촬상 소자가 위치하는 장면의 3차원 지도를 구축하여, 3차원 지도에서 촬상 소자의 현재 포즈 정보를 획득하도록 구성되고; 디스플레이 인터랙션 부분(1230)은 포즈 정보를 기반으로, 촬상 소자에 의해 현재 촬영된 장면 이미지에 3차원 모델을 표시하도록 구성된다.

도 13을 참조하면， 도 13은 본 발명의 3차원 재구성 기반의 측정 장치(1300)의 일 실시예의 프레임워크 모식도이다. 3차원 재구성 기반의 측정 장치(1300)는 모델 획득 부분(1310), 디스플레이 인터랙션 부분(1320) 및 거리 획득 부분(1330)을 포함하고, 모델 획득 부분(1310)은 재구성할 대상의 3차원 모델을 획득하도록 구성되되, 여기서 3차원 모델은 상기 임의의 3차원 재구성 장치 실시예 중의 3차원 재구성 장치를 이용하여 획득된 것이며; 디스플레이 인터랙션 부분(1320)은 사용자가 3차원 모델에 설정한 복수의 측정 포인트를 수신하도록 구성되고; 거리 획득 부분(1330)은 복수의 측정 포인트 간의 거리를 획득하여, 재구성할 대상에서 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득하도록 구성된다.

도 14를 참조하면, 도 14는 본 발명의 전자 기기(1400)의 일 실시예의 프레임워크 모식도이다. 전자 기기(1400)는 서로 커플링되는 메모리(1410) 및 프로세서(1420)를 포함하고, 프로세서(1420)는 메모리(1410)에 저장된 프로그램 명령을 실행하여 상기 임의의 3차원 재구성 방법 실시예의 단계 또는 상기 임의의 3차원 재구성 기반의 인터랙션 방법 실시예 중의 단계 또는 상기 임의의 3차원 재구성 기반의 측정 방법 실시예 중의 단계를 수행한다. 일 실시 장면에서, 전자 기기는 휴대폰, 태블릿 PC와 같은 이동 단말기를 포함할 수 있거나, 전자 기기는 촬상 소자가 연결되어 있는 데이터 처리 기기(예를 들어, 마이크로 컴퓨터 등)일 수도 있으며, 여기서는 이에 대해 한정하지 않는다.

프로세서(1420)는 또한 중앙 처리 장치(Central Processing Unit, CPU)로 지칭될 수 있다. 프로세서(1420)는 신호 처리 기능을 갖는 집적 회로 칩일 수 있다. 프로세서(1420)는 또한 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 다른 프로그래머블 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트일 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있거나 상기 프로세서는 임의의 통상적인 프로세서 등일 수도 있다. 또한, 프로세서(1420)는 집적 회로 칩에 의해 공동으로 구현될 수 있다.

상기 방안에 따르면, 3차원 재구성의 효과를 향상시키고, 3차원 재구성의 계산 부하를 줄일 수 있다.

도 15를 참조하면, 도 15는 본 발명의 컴퓨터 판독 가능 저장 매체(1500)의 일 실시예의 프레임워크 모식도이다. 컴퓨터 판독 가능 저장 매체(1500)에는 프로세서에 의해 실행 가능한 프로그램 명령(1501)이 저장되고, 프로그램 명령(1501)은 상기 임의의 3차원 재구성 방법 실시예 중의 단계 또는 상기 임의의 3차원 재구성 기반의 인터랙션 방법 실시예 중의 단계 또는 상기 임의의 3차원 재구성 기반의 측정 방법 실시예 중의 단계를 수행한다.

본 발명에서 제공되는 다수의 실시예에서, 개시된 방법 및 장치는 다른 방식으로 구현될 수 있음을 이해해야 할 것이다. 예를 들면, 이상에서 설명한 장치 실시형태는 다만 예시적인 것으로, 예를 들어 모듈 또는 유닛의 구획은 논리적 기능 구획일 뿐, 실제 구현 시 다른 구획 방식이 있을 수 있으며, 예를 들면 유닛 또는 컴포넌트는 결합되거나 다른 하나의 시스템에 통합될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 사이의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형태일 수 있다.

분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛일 수 있거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 다수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시예의 해결방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서 각 기능 유닛은 하나의 처리 유닛에 통합되거나 또는 각 유닛이 별도로 물리적으로 존재할 수도 있고, 둘 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형태로 구현되거나 하드웨어와 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 별도의 제품으로 판매되거나 사용될 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반해보면, 본 발명의 기술적 해결방안은 본질적으로 또는 선행기술에 기여하는 부분 또는 상기 기술적 해결방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 약간의 명령을 포함하여 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음) 또는 프로세서(processor)가 본 발명의 각 실시형태에 따른 방법의 전체 또는 일부 단계를 수행하도록 한다. 전술한 저장 매체는 USB 메모리, 외장 하드, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

본 발명의 실시예에서, 촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하고; 각 프레임의 처리할 이미지 및 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 처리할 이미지가 재구성할 대상에 속하는 픽셀 포인트 및 카메라 포즈 파라미터를 결정하며; 순차적으로 각 프레임의 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하고; 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 데이터 세트의 포즈 최적화 파라미터를 결정하며; 데이터 세트의 포즈 최적화 파라미터를 이용하여 데이터 세트 내에 포함된 이미지 데이터가 속한 처리할 이미지의 카메라 포즈 파라미터를 조정하고; 처리할 이미지의 이미지 데이터를 재구성 처리하여, 재구성할 대상의 3차원 모델을 획득한다. 상기 방안에 따르면, 3차원 재구성의 효과를 향상시키고, 3차원 재구성의 계산 부하를 줄일 수 있다.

Claims

3차원 재구성 방법으로서,
촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하는 단계;
각 프레임의 상기 처리할 이미지와 상기 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 상기 처리할 이미지가 상기 재구성할 대상에 속하는 대상 픽셀 포인트 및 카메라 포즈 파라미터를 결정하는 단계;
기설정된 구획 전략에 따라, 순차적으로 각 프레임의 상기 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하는 단계 - 상기 이미지 데이터는 상기 대상 픽셀 포인트를 적어도 포함함 - ;
각각의 상기 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 상기 데이터 세트의 포즈 최적화 파라미터를 결정하는 단계;
각각의 상기 데이터 세트의 포즈 최적화 파라미터를 이용하여 상기 데이터 세트 내에 포함된 이미지 데이터가 속하는 상기 처리할 이미지의 카메라 포즈 파라미터를 조정하는 단계; 및
기설정된 3차원 재구성 방식 및 상기 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여, 상기 처리할 이미지의 이미지 데이터를 재구성 처리하여 상기 재구성할 대상의 3차원 모델을 획득하는 단계를 포함하는 3차원 재구성 방법.
제1항에 있어서,
각각의 상기 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 상기 데이터 세트의 포즈 최적화 파라미터를 결정하는 단계는,
순차적으로 각각의 상기 데이터 세트를 현재 데이터 세트로 사용하고, 적어도 하나의 시간 시퀀스가 상기 현재 데이터 세트 이전에 위치하는 데이터 세트를 후보 데이터 세트로서 선택하는 단계;
상기 현재 데이터 세트의 이미지 데이터 및 상기 후보 데이터 세트의 이미지 데이터를 이용하여, 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 결정하는 단계; 및
적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터 및 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 상기 현재 데이터 세트의 포즈 최적화 파라미터를 획득하고, 적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터를 업데이트하는 단계를 포함하는 3차원 재구성 방법.
제2항에 있어서,
적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터 및 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 상기 현재 데이터 세트의 포즈 최적화 파라미터를 획득하고, 적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터를 업데이트하는 단계는,
각각 상기 현재 데이터 세트와 시간 시퀀스가 그 이전에 위치하는 상기 후보 데이터 세트에 관련된 각 공간 변환 파라미터에 대응되는 두 개의 데이터 세트를 하나의 데이터 세트 쌍으로 사용하는 단계;
각각의 상기 데이터 세트 쌍의 공간 변환 파라미터 및 각 포즈 최적화 파라미터를 이용하여, 상기 포즈 최적화 파라미터에 관한 목적 함수를 구축하는 단계; 및
기설정된 계산 방식으로 상기 목적 함수를 계산하여, 상기 현재 데이터 세트 및 시간 시퀀스가 그 이전에 위치하는 상기 후보 데이터 세트에 각각 대응되는 데이터 세트 쌍에 포함된 데이터 세트의 포즈 최적화 파라미터를 획득하는 단계를 포함하는 3차원 재구성 방법.
제2항에 있어서,
상기 현재 데이터 세트의 이미지 데이터 및 상기 후보 데이터 세트의 이미지 데이터를 이용하여, 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 결정하는 단계는,
상기 후보 데이터 세트 및 상기 현재 데이터 세트에서 기설정된 매칭 조건을 충족하는 한 그룹의 매칭할 이미지 데이터를 검색하는 단계;
각 그룹의 상기 매칭할 이미지 데이터로부터 추출된 기설정된 이미지 특징을 기반으로, 각 그룹의 상기 매칭할 이미지 데이터 사이의 매칭 픽셀 포인트 쌍을 획득하는 단계;
상기 매칭 픽셀 포인트 쌍에서 상기 현재 데이터 세트에 속하는 픽셀 포인트를 3차원 공간에 매핑하여, 제1 3차원 매칭 포인트를 획득하고, 상기 매칭 픽셀 포인트 쌍에서 상기 후보 데이터 세트에 속하는 픽셀 포인트를 상기 3차원 공간에 매핑하여, 제2 3차원 매칭 포인트를 획득하는 단계; 및
상기 제1 3차원 매칭 포인트 및 상기 제2 3차원 매칭 포인트를 정렬 처리하여, 상기 공간 변환 파라미터를 획득하는 단계를 포함하는 3차원 재구성 방법.
제4항에 있어서,
상기 제1 3차원 매칭 포인트 및 상기 제2 3차원 매칭 포인트를 정렬 처리하여, 상기 공간 변환 파라미터를 획득하는 단계는,
상기 제1 3차원 매칭 포인트와 상기 제2 3차원 매칭 포인트 간의 제1 포즈 변환 파라미터를 획득하는 단계;
상기 제1 포즈 변환 파라미터 및 기설정된 포즈 변환 파라미터를 이용하여, 상기 제1 3차원 매칭 포인트에 대해 포즈 최적화를 수행하여, 각각 제1 최적화 매칭 포인트와 제2 최적화 매칭 포인트를 획득하는 단계;
상기 제2 3차원 매칭 포인트와 상기 제1 최적화 매칭 포인트, 상기 제2 최적화 매칭 포인트 간의 일치도를 각각 계산하고, 상기 일치도가 높은 최적화 매칭 포인트에 사용된 포즈 변환 파라미터를 선택하여, 제2 포즈 변환 파라미터로 사용하는 단계; 및
상기 제2 포즈 변환 파라미터를 초기값으로 사용하고, 기설정된 정렬 방식을 이용하여 상기 제1 3차원 매칭 포인트 및 상기 제2 3차원 매칭 포인트를 정렬 처리하여, 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 획득하는 단계를 포함하는 3차원 재구성 방법.
제4항에 있어서,
상기 현재 데이터 세트의 이미지 데이터 및 상기 후보 데이터 세트의 이미지 데이터를 이용하여, 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 결정하는 단계 이후, 적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터 및 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 상기 현재 데이터 세트의 포즈 최적화 파라미터를 획득하는 단계 이전에, 상기 3 차원 재구성 방법은,
상기 현재 데이터 세트와 각각의 상기 후보 데이터 세트 간의 공간 변환 파라미터로부터, 기설정된 파라미터 선별 조건에 부합되는 공간 변환 파라미터를 선택하는 단계를 더 포함하고,
상기 기설정된 파라미터 선별 조건은, 상기 공간 변환 파라미터에 관련된 상기 후보 데이터 세트가 상기 현재 데이터 세트에 인접하는 조건; 및 상기 공간 변환 파라미터를 이용하여 상기 제1 3차원 매칭 포인트에 대해 포즈 최적화를 수행하여 획득된 최적화 매칭 포인트와 상기 제2 3차원 매칭 포인트 간의 일치도가 하나의 기설정된 일치도 임계값보다 큰 조건 중 어느 하나를 포함하는 3차원 재구성 방법.
제2항에 있어서,
상기 적어도 하나의 시간 시퀀스가 상기 현재 데이터 세트 이전에 위치하는 데이터 세트를 후보 데이터 세트로서 선택하는 단계는,
상기 현재 데이터 세트 및 시간 시퀀스가 그 이전 데이터 세트에 위치한 이미지 데이터의 기설정된 이미지 특징을 이용하여, 낱말 주머니 모델을 구축하는 단계;
상기 현재 데이터 세트에서 기설정된 시간 시퀀스에 위치하는 처리할 이미지에 속하는 이미지 데이터를 선택하여, 매칭할 이미지 데이터로 사용하는 단계;
상기 낱말 주머니 모델의 기설정된 범위에서, 상기 매칭할 이미지 데이터의 기설정된 이미지 특징 간의 유사성 평점이 하나의 기설정된 유사성 임계값보다 큰 기설정된 이미지 특징을 조회하는 단계; 및
조회된 기설정된 이미지 특징이 속한 이미지 데이터를 포함하는 데이터 세트 및 상기 현재 데이터 세트에 인접한 데이터 세트를, 상기 후보 데이터 세트로 사용하는 단계를 포함하고,
상기 기설정된 범위는, 상기 현재 데이터 세트에 인접하지 않고 상기 현재 데이터 세트에 포함되지 않는 데이터 세트에 속하는 이미지 데이터의 기설정된 이미지 특징을 포함하는 3차원 재구성 방법.
제7항에 있어서,
상기 낱말 주머니 모델의 기설정된 범위에서, 상기 매칭할 이미지 데이터의 기설정된 이미지 특징 간의 유사성 평점이 하나의 기설정된 유사성 임계값보다 큰 기설정된 이미지 특징을 조회하는 단계 이전에, 상기 3 차원 재구성 방법은,
상기 현재 데이터 세트에 인접한 데이터 세트에서 각각의 상기 이미지 데이터와 상기 매칭할 이미지 데이터 간의 유사성 평점 중 최대 평점값을 획득하는 단계; 및
상기 최대 평점값의 기설정된 배수와 하나의 기설정된 평점값 중 어느 하나를 상기 기설정된 유사성 임계값으로 사용하는 단계를 더 포함하는 3차원 재구성 방법.
제1항에 있어서,
상기 기설정된 구획 전략에 따라, 순차적으로 각 프레임의 상기 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하는 단계는,
순차적으로 각 프레임의 상기 처리할 이미지를 현재 처리할 이미지로 사용하는 단계; 및
현재 처리할 이미지의 이미지 데이터를 구획할 때, 기존의 상기 데이터 세트 중의 마지막 데이터 세트가 기설정된 오버플로 조건을 충족하면, 상기 마지막 데이터 세트의 최신 멀티 프레임의 상기 처리할 이미지의 이미지 데이터를 획득하고, 새로 생성된 상기 데이터 세트를 새로운 상기 마지막 데이터 세트로서 저장하며, 상기 현재 처리할 이미지의 이미지 데이터를 새로운 상기 마지막 데이터 세트로 구획하는 단계를 포함하는 3차원 재구성 방법.
제9항에 있어서,
상기 기설정된 오버플로 조건은,
상기 마지막 데이터 세트에 포함된 상기 이미지 데이터에 대응되는 상기 처리할 이미지의 프레임 수가 기설정된 프레임 수의 임계값보다 크거나 같은 조건; 상기 마지막 데이터 세트 중 어느 하나의 상기 이미지 데이터가 속한 처리할 이미지의 카메라 위치와 상기 현재 처리할 이미지의 카메라 위치 간의 거리가 기설정된 거리 임계값보다 큰 조건; 및 상기 마지막 데이터 세트 중 어느 하나의 상기 이미지 데이터가 속한 처리할 이미지의 카메라 대면 각도와 상기 현재 처리할 이미지의 카메라 대면 각도 간의 차이가 기설정된 각도 임계값보다 큰 조건 중 어느 하나를 포함하고,
상기 카메라 위치 및 상기 카메라 대면 각도는 상기 처리할 이미지의 카메라 포즈 파라미터를 이용하여 계산된 것인 3차원 재구성 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
각 프레임의 상기 처리할 이미지는 컬러 데이터와 깊이 데이터를 포함하고, 각 프레임의 상기 처리할 이미지와 상기 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 상기 처리할 이미지가 상기 재구성할 대상에 속하는 대상 픽셀 포인트를 결정하는 단계는,
상기 컬러 데이터와 정렬된 깊이 데이터에 포함된 각각의 픽셀 포인트의 법선 벡터와 상기 처리할 이미지의 중력 방향 간의 협각을 획득하는 단계;
3차원 공간에서 상기 각각의 픽셀 포인트를 상기 중력 방향으로 투영하여, 상기 3차원 공간에서의 상기 각각의 픽셀 포인트의 높이 값을 획득하는 단계;
상기 협각이 기설정된 각도 조건을 충족하는 픽셀 포인트의 높이 값을 분석하여, 상기 재구성할 대상의 평면 높이를 획득하는 단계; 및
상기 평면 높이를 이용하여, 상기 컬러 데이터에서 상기 재구성할 물체에 속하는 대상 픽셀 포인트를 선별하는 단계를 포함하는 3차원 재구성 방법.
제11항에 있어서,
상기 협각이 기설정된 각도 조건을 충족하는 픽셀 포인트의 높이 값을 분석하여 상기 재구성할 대상의 평면 높이를 획득하는 단계는,
상기 협각이 기설정된 각도 조건을 충족하는 상기 픽셀 포인트의 높이 값을 하나의 높이 세트로 사용하는 단계; 및
상기 높이 세트에서의 높이 값에 대해 클러스터 분석을 수행하여, 상기 재구성할 대상의 평면 높이를 획득하는 단계를 포함하는 3차원 재구성 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 각각의 상기 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여, 각각의 상기 데이터 세트의 포즈 최적화 파라미터를 결정하는 단계 이후, 상기 3 차원 재구성 방법은,
순차적으로 각각의 상기 데이터 세트 중의 이미지 데이터를 3차원 공간으로 매핑하여, 각각의 상기 데이터 세트에 대응되는 3차원 포인트 클라우드를 획득하는 단계; 및
각각의 상기 데이터 세트의 상기 포즈 최적화 파라미터를 사용하여, 대응되는 상기 3차원 포인트 클라우드를 조정하는 단계를 더 포함하는 3차원 재구성 방법.
3차원 재구성 기반의 인터랙션 방법으로서,
재구성할 대상의 3차원 모델을 획득하는 단계 - 상기 3차원 모델은 제1항 내지 제13항 중 어느 한 항에 따른 3차원 재구성 방법을 이용하여 획득됨 - ;
기설정된 시각적 관성 항법 방식을 이용하여, 촬상 소자가 위치하는 장면의 3차원 지도를 구축하여, 현재 상기 3차원 지도에서 상기 촬상 소자의 포즈 정보를 획득하는 단계; 및
상기 포즈 정보를 기반으로, 상기 촬상 소자에 의해 현재 촬영된 장면 이미지에서 상기 3차원 모델을 표시하는 단계를 포함하는 3차원 재구성 기반의 인터랙션 방법.
3차원 재구성 기반의 측정 방법으로서,
재구성할 대상의 3차원 모델을 획득하는 단계 - 상기 3차원 모델은 제1항 내지 제13항 중 어느 한 항에 따른 3차원 재구성 방법을 이용하여 획득됨 - ;
사용자가 상기 3차원 모델에서 설정한 복수의 측정 포인트를 수신하는 단계; 및
상기 복수의 측정 포인트 간의 거리를 획득하여, 상기 재구성할 대상에서 상기 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득하는 단계를 포함하는 3차원 재구성 기반의 측정 방법.
3차원 재구성 장치로서,
촬상 소자로 재구성할 대상을 스캐닝하여 획득한 멀티 프레임의 처리할 이미지를 획득하도록 구성된 이미지 획득 부분;
각 프레임의 상기 처리할 이미지와 상기 촬상 소자의 보정 파라미터를 이용하여, 각 프레임의 상기 처리할 이미지가 상기 재구성할 대상에 속하는 대상 픽셀 포인트 및 카메라 포즈 파라미터를 결정하도록 구성된 제1 결정 부분;
기설정된 구획 전략에 따라, 순차적으로 각 프레임의 상기 처리할 이미지의 이미지 데이터를 대응되는 데이터 세트로 구획하도록 구성된 데이터 구획 부분 - 상기 이미지 데이터는 상기 대상 픽셀 포인트를 적어도 포함함 - ;
각각의 상기 데이터 세트의 이미지 데이터, 시간 시퀀스가 그 이전에 위치하는 데이터 세트의 이미지 데이터 및 포즈 최적화 파라미터를 순차적으로 이용하여 각각의 상기 데이터 세트의 포즈 최적화 파라미터를 결정하도록 구성된 제2 결정 부분;
각각의 상기 데이터 세트의 포즈 최적화 파라미터를 이용하여 상기 데이터 세트 내에 포함된 이미지 데이터가 속하는 처리할 이미지의 카메라 포즈 파라미터를 조정하도록 구성된 파라미터 조정 부분; 및
기설정된 3차원 재구성 방식 및 상기 처리할 이미지의 조정된 카메라 포즈 파라미터를 이용하여, 상기 처리할 이미지의 이미지 데이터를 재구성 처리하여 상기 재구성할 대상의 3차원 모델을 획득하도록 구성된 모델 재구성 부분을 포함하는 3차원 재구성 장치.
제16항에 있어서,
상기 제2 결정 부분은,
순차적으로 각각의 상기 데이터 세트를 현재 데이터 세트로 사용하고, 적어도 하나의 시간 시퀀스가 상기 현재 데이터 세트 이전에 위치하는 데이터 세트를 후보 데이터 세트로서 선택하도록 구성된 데이터 세트 선택 서브 부분;
상기 현재 데이터 세트의 이미지 데이터 및 상기 후보 데이터 세트의 이미지 데이터를 이용하여, 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 결정하도록 구성된 공간 변환 파라미터 서브 부분; 및
적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터 및 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 상기 현재 데이터 세트의 포즈 최적화 파라미터를 획득하고, 적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터를 업데이트하도록 구성된 포즈 최적화 파라미터 서브 부분을 포함하는 3차원 재구성 장치.
제17항에 있어서,
상기 포즈 최적화 파라미터 서브 부분은,
각각 상기 현재 데이터 세트와 시간 시퀀스가 그 이전에 위치하는 상기 후보 데이터 세트에 관련된 각 공간 변환 파라미터에 대응되는 두 개의 데이터 세트를 하나의 데이터 세트 쌍으로 사용하도록 구성된 데이터 세트 쌍 부분;
각각의 상기 데이터 세트 쌍의 공간 변환 파라미터 및 각 포즈 최적화 파라미터를 이용하여, 상기 포즈 최적화 파라미터에 관한 목적 함수를 구축하도록 구성된 목적 함수 구축 부분; 및
기설정된 계산 방식으로 상기 목적 함수를 계산하여, 상기 현재 데이터 세트 및 시간 시퀀스가 그 이전에 위치하는 상기 후보 데이터 세트에 각각 대응되는 데이터 세트 쌍에 포함된 데이터 세트의 포즈 최적화 파라미터를 획득하도록 구성된 목적 함수 계산 부분을 포함하는 3차원 재구성 장치.
제17항에 있어서,
상기 공간 변환 파라미터 서브 부분은,
상기 후보 데이터 세트 및 상기 현재 데이터 세트에서 기설정된 매칭 조건을 충족하는 한 그룹의 매칭할 이미지 데이터를 검색하도록 구성된 이미지 데이터 검색 부분;
각 그룹의 상기 매칭할 이미지 데이터로부터 추출된 기설정된 이미지 특징을 기반으로, 각 그룹의 상기 매칭할 이미지 데이터 사이의 매칭 픽셀 포인트 쌍을 획득하도록 구성된 매칭 픽셀 포인트 선택 부분;
상기 매칭 픽셀 포인트 쌍에서 상기 현재 데이터 세트에 속하는 픽셀 포인트를 3차원 공간에 매핑하여, 제1 3차원 매칭 포인트를 획득하고, 상기 매칭 픽셀 포인트 쌍에서 상기 후보 데이터 세트에 속하는 픽셀 포인트를 상기 3차원 공간에 매핑하여, 제2 3차원 매칭 포인트를 획득하도록 구성된 3차원 공간 매핑 부분; 및
상기 제1 3차원 매칭 포인트 및 상기 제2 3차원 매칭 포인트를 정렬 처리하여, 상기 공간 변환 파라미터를 획득하도록 구성된 3차원 매칭 포인트 정렬 부분을 포함하는 3차원 재구성 장치.
제19항에 있어서,
3차원 매칭 포인트 정렬 부분은,
상기 제1 3차원 매칭 포인트와 상기 제2 3차원 매칭 포인트 간의 제1 포즈 변환 파라미터를 획득하도록 구성된 제1 포즈 변환 파라미터 서브 부분;
상기 제1 포즈 변환 파라미터 및 기설정된 포즈 변환 파라미터를 이용하여, 상기 제1 3차원 매칭 포인트에 대해 포즈 최적화를 수행하여, 각각 제1 최적화 매칭 포인트와 제2 최적화 매칭 포인트를 획득하도록 구성된 3차원 매칭 포인트 최적화 서브 부분;
상기 제2 3차원 매칭 포인트와 상기 제1 최적화 매칭 포인트, 상기 제2 최적화 매칭 포인트 간의 일치도를 각각 계산하고, 상기 일치도가 높은 최적화 매칭 포인트에 사용된 포즈 변환 파라미터를 선택하여, 제2 포즈 변환 파라미터로 사용하도록 구성된 제2 포즈 변환 파라미터 서브 부분; 및
상기 제2 포즈 변환 파라미터를 초기값으로 사용하고, 기설정된 정렬 방식을 이용하여 상기 제1 3차원 매칭 포인트 및 상기 제2 3차원 매칭 포인트를 정렬 처리하여, 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 획득하도록 구성된 공간 변환 파라미터 서브 부분을 포함하는 3차원 재구성 장치.
제19항에 있어서,
상기 공간 변환 파라미터 서브 부분은,
상기 현재 데이터 세트의 이미지 데이터 및 상기 후보 데이터 세트의 이미지 데이터를 이용하여, 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 결정한 후, 적어도 상기 후보 데이터 세트의 포즈 최적화 파라미터 및 상기 현재 데이터 세트와 상기 후보 데이터 세트 간의 공간 변환 파라미터를 이용하여, 상기 현재 데이터 세트의 포즈 최적화 파라미터를 획득하기 전에, 상기 현재 데이터 세트와 각각의 상기 후보 데이터 세트 간의 공간 변환 파라미터로부터, 기설정된 파라미터 선별 조건에 부합되는 공간 변환 파라미터를 선택하도록 구성된 변환 파라미터 선별 유닛을 더 포함하고,
상기 기설정된 파라미터 선별 조건은, 상기 공간 변환 파라미터에 관련된 상기 후보 데이터 세트가 상기 현재 데이터 세트에 인접하는 조건; 및 상기 공간 변환 파라미터를 이용하여 상기 제1 3차원 매칭 포인트에 대해 포즈 최적화를 수행하여 획득된 최적화 매칭 포인트와 상기 제2 3차원 매칭 포인트 간의 일치도가 하나의 기설정된 일치도 임계값보다 큰 조건 중 어느 하나를 포함하는 3차원 재구성 장치.
제16항에 있어서,
상기 데이터 세트 선택 서브 부분은,
상기 현재 데이터 세트 및 시간 시퀀스가 그 이전 데이터 세트에 위치한 이미지 데이터의 기설정된 이미지 특징을 이용하여, 낱말 주머니 모델을 구축하도록 구성된 낱말 주머니 모델 구축 유닛;
상기 현재 데이터 세트에서 기설정된 시간 시퀀스에 위치하는 처리할 이미지에 속하는 이미지 데이터를 선택하여, 매칭할 이미지 데이터로 사용하도록 구성된 매칭할 이미지 데이터 유닛;
상기 낱말 주머니 모델의 기설정된 범위에서, 상기 매칭할 이미지 데이터의 기설정된 이미지 특징 간의 유사성 평점이 하나의 기설정된 유사성 임계값보다 큰 기설정된 이미지 특징을 조회하도록 구성된 이미지 특징 조회 유닛; 및
조회된 기설정된 이미지 특징이 속한 이미지 데이터를 포함하는 데이터 세트 및 상기 현재 데이터 세트에 인접한 데이터 세트를, 상기 후보 데이터 세트로 사용하도록 구성된 후보 데이터 세트 유닛을 포함하고,
상기 기설정된 범위는, 상기 현재 데이터 세트에 인접하지 않고 상기 현재 데이터 세트에 포함되지 않는 데이터 세트에 속하는 이미지 데이터의 기설정된 이미지 특징을 포함하는 3차원 재구성 장치.
제22항에 있어서,
상기 데이터 세트 선택 서브 부분은,
상기 낱말 주머니 모델의 기설정된 범위에서, 상기 매칭할 이미지 데이터의 기설정된 이미지 특징 간의 유사성 평점이 하나의 기설정된 유사성 임계값보다 큰 기설정된 이미지 특징을 조회하기 전에, 상기 현재 데이터 세트에 인접한 데이터 세트에서 각각의 상기 이미지 데이터와 상기 매칭할 이미지 데이터 간의 유사성 평점 중 최대 평점값을 획득하도록 구성된 최대 유사성 평점값 획득 유닛; 및
상기 최대 평점값의 기설정된 배수와 하나의 기설정된 평점값 중 하나를 상기 기설정된 유사성 임계값으로 사용하도록 구성된 기설정된 유사성 임계값 결정 유닛을 더 포함하는 3차원 재구성 장치.
제16항에 있어서,
상기 데이터 구획 부분은,
순차적으로 각 프레임의 상기 처리할 이미지를 현재 처리할 이미지로 사용하도록 구성된 현재 처리할 이미지 결정 서브 부분; 및
현재 처리할 이미지의 이미지 데이터를 구획할 때, 기존의 상기 데이터 세트 중의 마지막 데이터 세트가 기설정된 오버플로 조건을 충족하면, 상기 마지막 데이터 세트의 최신 멀티 프레임의 상기 처리할 이미지의 이미지 데이터를 획득하고, 새로 생성된 상기 데이터 세트를 새로운 상기 마지막 데이터 세트로서 저장하며, 상기 현재 처리할 이미지의 이미지 데이터를 새로운 상기 마지막 데이터 세트로 구획하도록 구성된 데이터 처리 서브 부분을 포함하는 3차원 재구성 장치.
제24항에 있어서,
상기 기설정된 오버플로 조건은,
상기 마지막 데이터 세트에 포함된 상기 이미지 데이터에 대응되는 상기 처리할 이미지의 프레임 수가 기설정된 프레임 수의 임계값보다 크거나 같은 조건; 상기 마지막 데이터 세트 중 어느 하나의 상기 이미지 데이터가 속한 처리할 이미지의 카메라 위치와 상기 현재 처리할 이미지의 카메라 위치 간의 거리가 기설정된 거리 임계값보다 큰 조건; 및 상기 마지막 데이터 세트 중 어느 하나의 상기 이미지 데이터가 속한 처리할 이미지의 카메라 대면 각도와 상기 현재 처리할 이미지의 카메라 대면 각도 간의 차이가 기설정된 각도 임계값보다 큰 조건 중 어느 하나를 포함하고,
상기 카메라 위치 및 상기 카메라 대면 각도는 상기 처리할 이미지의 카메라 포즈 파라미터를 이용하여 계산된 것인 3차원 재구성 장치.
제16항 내지 제26항 중 어느 한 항에 있어서,
각 프레임의 상기 처리할 이미지는 컬러 데이터와 깊이 데이터를 포함하고; 제1 결정 부분은,
상기 컬러 데이터와 정렬된 깊이 데이터에 포함된 각각의 픽셀 포인트의 법선 벡터와 상기 처리할 이미지의 중력 방향 간의 협각을 획득하도록 구성된 협각 획득 서브 부분;
3차원 공간에서 상기 각각의 픽셀 포인트를 상기 중력 방향으로 투영하여, 상기 3차원 공간에서의 상기 각각의 픽셀 포인트의 높이 값을 획득하도록 구성된 높이 획득 서브 부분;
상기 협각이 기설정된 각도 조건을 충족하는 픽셀 포인트의 높이 값을 분석하여, 상기 재구성할 대상의 평면 높이를 획득하도록 구성된 높이 분석 서브 부분; 및
상기 평면 높이를 이용하여, 상기 컬러 데이터에서 상기 재구성할 물체에 속하는 대상 픽셀 포인트를 선별하도록 구성된 픽셀 선별 서브 부분을 포함하는 3차원 재구성 장치.
제26항에 있어서,
상기 높이 분석 서브 부분은,
상기 협각이 기설정된 각도 조건을 충족하는 상기 픽셀 포인트의 높이 값을 하나의 높이 세트로 사용하도록 구성된 높이 세트 획득 유닛; 및
상기 높이 세트에서의 높이 값에 대해 클러스터 분석을 수행하여, 상기 재구성할 대상의 평면 높이를 획득하도록 구성된 높이 클러스터 분석 유닛을 포함하는 3차원 재구성 장치.
제16항 내지 제27항 중 어느 한 항에 있어서,
상기 3차원 재구성 장치(1100)는,
순차적으로 각각의 상기 데이터 세트 중의 이미지 데이터를 3차원 공간으로 매핑하여, 각각의 상기 데이터 세트에 대응되는 3차원 포인트 클라우드를 획득하도록 구성된 3차원 매핑 부분; 및
각각의 상기 데이터 세트의 상기 포즈 최적화 파라미터를 사용하여, 대응되는 상기 3차원 포인트 클라우드를 조정하도록 구성된 포인트 클라우드 조정 부분을 더 포함하는 3차원 재구성 장치.
3차원 재구성 기반의 인터랙션 장치로서,
재구성할 대상의 3차원 모델을 획득하도록 구성된 모델 획득 부분 - 상기 3차원 모델은 제16항에 따른 3차원 재구성 장치를 이용하여 획득됨 - ;
기설정된 시각적 관성 항법 방식을 이용하여, 촬상 소자가 위치하는 장면의 3차원 지도를 구축하여, 현재 상기 3차원 지도에서 상기 촬상 소자의 포즈 정보를 획득하도록 구성된 매핑 포지셔닝 부분; 및
상기 포즈 정보를 기반으로, 상기 촬상 소자에 의해 현재 촬영된 장면 이미지에서 상기 3차원 모델을 표시하도록 구성된 디스플레이 인터랙션 부분을 포함하는 것을 특징으로 하는 3차원 재구성 기반의 인터랙션 장치.
3차원 재구성 기반의 측정 장치로서,
재구성할 대상의 3차원 모델을 획득하도록 구성된 모델 획득 부분 - 상기 3차원 모델은 제16항에 따른 3차원 재구성 장치를 이용하여 획득됨 - ;
사용자가 상기 3차원 모델에서 설정한 복수의 측정 포인트를 수신하도록 구성된 디스플레이 인터랙션 부분; 및
상기 복수의 측정 포인트 간의 거리를 획득하여, 상기 재구성할 대상에서 상기 복수의 측정 포인트에 대응되는 위치 간의 거리를 획득하도록 구성된 거리 획득 부분을 포함하는 것을 특징으로 하는 3차원 재구성 기반의 측정 장치.
전자 기기로서,
서로 커플링되는 메모리와 프로세서를 포함하되,
상기 프로세서는 상기 메모리에 저장된 프로그램 명령을 실행하여 제1항 내지 제13항 중 어느 한 항에 따른 3차원 재구성 방법 또는 제14항에 따른 3차원 재구성 기반의 인터랙션 방법 또는 제15항에 따른 3차원 재구성 기반의 측정 방법을 구현하는 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능 저장 매체로서,
컴퓨터 프로그램 명령을 저장하고, 상기 프로그램 명령이 프로세서에 의해 실행될 경우 제1항 내지 제13항 중 어느 한 항에 따른 3차원 재구성 방법 또는 제14항에 따른 3차원 재구성 기반의 인터랙션 방법 또는 제15항에 따른 3차원 재구성 기반의 측정 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되고 상기 전자 기기 중의 프로세서에 의해 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 3차원 재구성 방법 또는 제14항에 따른 3차원 재구성 기반의 인터랙션 방법 또는 제15항에 따른 3차원 재구성 기반의 측정 방법을 구현하는 컴퓨터 프로그램.
컴퓨터 프로그램 제품으로서,
컴퓨터에서 실행될 경우, 컴퓨터가 제1항 내지 제13항 중 어느 한 항에 따른 3차원 재구성 방법, 또는 제14항에 따른 3차원 재구성 기반의 인터랙션 방법, 또는 제15항에 따른 3차원 재구성 기반의 측정 방법을 구현하도록 하는 컴퓨터 프로그램 제품.