KR20210087524A

KR20210087524A - 포인트 클라우드 융합 방법, 장치, 전자 기기 및 컴퓨터 저장 매체

Info

Publication number: KR20210087524A
Application number: KR1020217017360A
Authority: KR
Inventors: 리양 저우; 시아오준 시앙; 용 치; 한칭 지앙; 구오펭 장
Original assignee: 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-07-04
Filing date: 2019-08-22
Publication date: 2021-07-12
Also published as: TW202103153A; TWI722638B; JP2022509329A; KR102443551B1; US20210241435A1; WO2021000390A1; SG11202106693PA; CN112184603A; CN112184603B

Abstract

본 발명의 실시 예는 포인트 클라우드 융합 방법, 장치, 전자 장치 및 컴퓨터 저장 매체를 개시하였고, 상기 방법은, 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계 - 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함함 - ; 및 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계를 포함한다. 이러한 방식으로, 본 발명의 실시예에서, 다중 요소를 종합적으로 고려하여 픽셀 포인트의 깊이 신뢰도를 결정할 수 있으므로, 깊이 신뢰도의 신뢰성을 향상시킬 수 있어, 포인트 클라우드 융합 처리의 신뢰도를 향상시킬 수 있다.

Description

포인트 클라우드 융합 방법, 장치, 전자 기기 및 컴퓨터 저장 매체

관련 출원의 상호 참조

본 출원은 2019년 7월 4일에 중국 특허청에 제출한 출원 번호가 CN201910601035.3이고, 출원 명칭이 "포인트 클라우드 융합 방법, 장치, 전자 기기 및 컴퓨터 저장 매체"인 중국 특허 출원의 우선권을 주장하며, 그 전부 내용을 인용하여 본 출원에 결합하였다.

본 발명은 컴퓨터 비전 기술에 관한 것으로, 특히 포인트 클라우드 융합 방법, 장치, 전가 기기 및 컴퓨터 저장 매체에 관한 것이며, 3 차원 모델링, 3 차원 장면 및 증강 현실 등 장면에서 적용될 수 있다.

레이저 스캐너 또는 깊이 카메라를 이용하여, 대량의 포인트 클라우드 데이터를 채택함으로써, 물체 또는 장면의 3 차원 모델의 복원을 구현할 수 있고, 포인트 클라우드 데이터의 3 차원 모델 복원 방법에 기반하여, 모바일 플랫폼의 증강 현실 및 게임 등에 응용 프로그램에 사용할 수 있으며, 예를 들어, 3 차원 물체의 온라인 디스플레이 및 장면 상호 작용, 그림자 투사, 대화형 충돌 등 기능을 구현할 수 있고, 겜퓨터 비전 분야의 3 차원 물체 인식 등 기능을 구현할 수도 있다.

본 발명의 실시예는 포인트 클라우드 융합의 기술 방안을 제공할 것으로 기대된다.

본 발명의 실시예에 제공되는 포인트 클라우드 융합 방법, 장치, 전자 기기 및 컴퓨터 저장 매체에 기반하여, 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계 - 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함함 - ; 및 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행한다. 이러한 방식으로, 본 발명의 실시예에서, 다중 요소를 종합적으로 고려하여 픽셀 포인트의 깊이 신뢰도를 결정할 수 있고, 따라서, 깊이 신뢰도의 신뢰성을 향상시킬 수 있으며, 또한, 포인트 클라우드 융합 처리의 신뢰도를 향상시킬 수 있다.

본 발명의 실시예는 포인트 클라우드 융합 방법을 제공하며, 상기 포인트 클라우드 융합 방법은,

장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계 - 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함함 - ; 및

상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계를 포함한다.

선택적으로, 상기 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계는,

상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득하는 단계; 및

장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 유효한 깊이를 갖는 각 픽셀 포인트의 깊이 신뢰도를 결정하는 단계를 포함하며;

상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계는,

상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계를 포함한다.

알다시피, 본 발명의 실시예에서, 포인트 클라우드 융합 처리 과정은 유효한 깊이를 갖는 픽셀 포인트를 기반하여 구현되었으므로, 포인트 클라우드 융합 처리의 신뢰성을 높일 수 있다.

선택적으로, 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득하는 단계는,

적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하는 단계; 및

상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 보류하는 단계를 포함한다.

알다시피, 본 발명의 실시예에서, 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 보류하여, 후기에는 유효한 깊이를 갖는 픽셀 포인트에 따라 포인트 클라우드 융합을 수행할 수 있으므로, 깊이가 유효하지 않은 포인트 클라우드를 제거하고, 포인트 클라우드 융합 정확도를 향상시킬 수 있으며, 포인트 클라우드 융합의 처리 속도를 향상 시켜, 포인트 클라우드 융합의 실시간으로 디스플레이하는데 유리하다.

선택적으로, 현재 프레임 깊이맵을 획득하기 전에 획득된 적어도 하나의 프레임 깊이맵은 상기 적어도 하나의 기준 프레임 깊이맵을 포함한다.

알다시피, 본 발명의 실시예에서, 현재 프레임 깊이맵을 획득하기 전에 획득된 깊이맵이 기준 프레임인 것을 기반하여, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 판단할 수 있고, 따라서, 현재 프레임 깊이맵을 획득하기 전에 획득된 깊이맵을 기초하여, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 정확하게 판단할 수 있다.

선택적으로, 적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하는 단계는,

상기 적어도 하나의 기준 프레임 깊이맵을 사용하여, 상기 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하는 단계; 및

상기 깊이 일관성 검사를 통과한 픽셀 포인트의 깊이는 유효한 것으로 결정되고, 상기 깊이 일관성 검사를 통과하지 못한 픽셀 포인트의 깊이는 유효하지 않은 것으로 결정되는 단계를 더 포함한다.

알다시피, 본 발명의 실시예에서, 깊이 일관성 검사를 통해, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 판단할 수 있고, 따라서, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 정확하게 판단할 수 있다.

선택적으로, 상기 적어도 하나의 기준 프레임 깊이맵을 사용하여, 상기 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하는 단계는,

복수 개의 기준 프레임 깊이맵을 획득하는 단계;

상기 현재 프레임 깊이맵의 제1 픽셀 포인트와 각 상기 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하는 단계 - 상기 제1 픽셀 포인트는 상기 현재 프레임 깊이맵의 임의의 하나의 픽셀 포인트임 - ; 및

상기 제1 픽셀 포인트 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 크거나 같은 경우, 상기 제1 픽셀 프인트는 상기 깊이 일관성 검사를 통과한 것으로 결정하며; 상기 제1 픽셀 포인트와의 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 작은 경우, 상기 제1 픽셀 포인트가 상기 깊이 일관성 검사를 통과하지 못한 것으로 결정하는 단계를 포함한다.

알다시피, 본 발명의 실시예에서, 제1 픽셀 포인트와의 사이에서 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수에 따라, 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과하는지 여부를 결정하고, 제1 픽셀 포인트와의 사이에서 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 많은 경우, 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과한 것으로 간주되고; 그렇지 않으면 , 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과하지 못한 것으로 간주되고, 이러한 방식으로, 깊이 일관성 검사의 견고성 및 신뢰성을 향상시킬 수 있다.

선택적으로, 상기 현재 프레임 깊이맵의 제1 픽셀 포인트와 각 상기 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하는 단계는,

상기 제1 픽셀 포인트를 각 상기 기준 프레임 깊이맵에 투영하여, 각 상기 기준 프레임 깊이맵에서 투영 포인트의 투영 위치 및 투영 깊이를 획득하는 단계;

각 상기 기준 프레임 깊이맵에서 상기 투영 위치의 측정된 깊이 값을 획득하는 단계;

각 기준 프레임 깊이맵에서 상기 투영 포인트의 투영 깊이와 상기 투영 위치의 측정된 깊이 값 사이의 차이값을 획득하는 단계; 및

상기 차이값이 제1 설정 깊이 임계값보다 작거나 같은 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하며; 상기 차이값이 제1 설정 깊이 임계값보다 큰 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않은 것으로 결정하는 단계를 포함한다.

카메라 촬영 시야각이 상이하므로, 동일한 물체의 특징 위치가 현재 프레임 깊이맵에서 가려질 수 있으나, 기준 프레임 깊이맵에서 가려지지 않은 경우, 상기 위치가 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 및 기준 프레임 깊이맵에서 대응 위치의 픽셀 포인트의 깊이의 차이가 크면, 상기 위치의 픽셀 포인트의 깊이 신뢰도가 낮으며, 상기 픽셀 포인트를 사용하여 포인트 클라우드 융합하면 융합 정확도가 떨어질 수 있다. 블로킹으로 인한 융합 정확도 저하 문제를 줄이기 위해, 본 발명에서, 각 기준 프레임 깊이맵에서 투영 포인트의 투영 깊이와 투영 위치의 측정된 깊이 값 사이의 차이값을 먼저 판단할 수 있고, 다음 상기 차이가 작은 경우, 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하고; 그렇지 않으면, 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이는 깊이 일관성 조건을 만족하지 않은 것으로 결정하며; 이러한 방식으로, 현재 프레임 깊이맵에서 특징 위치가 가려져서 픽셀 포인트의 깊이 신뢰성에 미치는 영향이 줄이고, 상기 픽셀 포인트를 사용하여 포인트 클라우드 융합을 수행할 때, 포인트 클라우드 융합 정확도는 상대적으로 높은 수준으로 유지할 수 있다.

선택적으로, 상기 장면 정보에는 장면 구조 및 장면 텍스처 중 적어도 하나의 영향 인자를 포함하고, 상기 카메라 정보에는 적어도 카메라 구성을 포함한다.

알다시피, 본 발명의 실시예에서, 장면 구조, 장면 텍스처 및 카메라 구성 중 적어도 두 개의 인자를 종합적으로 고려하여, 픽셀 포인트의 깊이 신뢰도를 결정할 수 있고, 따라서, 깊이 신뢰도의 신뢰성을 향상시킬 수 있으며, 또한, 포인트 클라우드 융합 처리의 신뢰도를 향상시킬 수 있다.

선택적으로, 상기 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계는,

현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하는 단계; 및

상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하는 단계를 포함한다.

알다시피, 본 발명의 실시예에서, 장면 구조, 장면 텍스처 및 카메라 구성 중 적어도 두 개의 인자의 가중치를 종합적으로 고려하여, 픽셀 포인트의 깊이 신뢰도를 결정할 수 있고, 따라서, 깊이 신뢰도의 신뢰성을 향상시킬 수 있으며, 또한, 포인트 클라우드 융합 처리의 신뢰도를 향상시킬 수 있다.

선택적으로, 상기 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 획득하는 단계는,

상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하는 단계; 및

상기 현재 프레임 깊이맵에서의 픽셀 포인트의 속성 정보에 따라, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하는 단계를 포함하며; 상기 속성 정보는 위치 및 법선 벡터 중 적어도 하나를 포함한다.

알다시피, 픽셀 포인트의 속성 정보를 획득할 수 있으며, 따라서, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 더 쉽게 획득할 수 있고, 또한, 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하는데 유리하다.

선택적으로, 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하는 단계는,

상기 적어도 두 개의 영향 인자에 대응하는 가중치를 곱셈함으로써, 조인트 가중치를 획득하며; 상기 조인트 가중치에 따라, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하는 단계를 포함한다.

알다시피, 적어도 두 개의 영향 인자에 대응하는 가중치의 곱셈을 통해, 이전 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 쉽게 획득할 수 있다.

선택적으로, 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계는,

표면 요소를 사용하여 상기 현재 프레임 깊이맵에서의 각 픽셀 포인트를 나타내는 단계 - 각 표면 요소는 적어도 대응 픽셀 포인트의 깊이 신뢰도를 포함함 - ; 및

현재 프레임의 표면 요소 집합에 따라, 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하여, 현재 프레임 업데이트 후의 기존 표면 요소 집합을 획득하는 단계 - 상기 현재 프레임 업데이트 후의 기존 표면 요소 집합은 현재 프레임 깊이맵의 포인트 클라우드 융합 처리 결과를 나타내고, 상기 현재 프레임의 표면 요소 집합은 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대응하는 표면 요소의 집합을 포함하며, 상기 집합 업데이트는 표면 요소 추가, 표면 요소 업데이트 및 표면 요소 삭제 중 적어도 하나의 동작을 포함함 - 를 포함한다.

알다시피, 본 발명의 실시예에서, 표면 요소를 기반하는 표시를 사용하여, 포인트 클라우드 융합 처리를 구현할수 있고; 또한 표면 요소는 포인트 속성 정보를 나타낼 수 있으며, 따라서, 포인트 속성 정보에 따라, 포인트 클라우드 융합 처리를 효율적으로 구현할 수 있다.

선택적으로, 상기 각 표면 요소는 대응 픽셀 포인트의 위치, 법선 벡터, 내부 포인트 가중치 및 외부 포인트 가중치를 더 포함하며; 여기서, 상기 내부 포인트 가중치는 대응 픽셀 포인트가 내부 포인트일 확률을 나타내기 위한 것이고, 상기 외부 포인트 가중치는 대응 픽셀 포인트가 외부 포인트일 확률을 나타내기 위한 것이며, 상기 내부 포인트 가중치와 상기 외부 포인트 가중치의 차이값은 대응 픽셀 포인트의 깊이 신뢰도를 나타내기 위한 것이다.

알다시피, 표면 요소 기반 표시를 사용하여, 포인트의 다양한 속성 정보를 아주 편리하게 추가할 수 있으며, 또한, 포인트의 다양한 속성 정보의 기초에서 종합적으로 고려하여, 포인트 클라우드 융합 처리를 보다 정확하게 구현할 수 있다.

선택적으로, 상기 현재 프레임의 표면 요소 집합에 따라, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하는 단계는,

상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 현재 프레임의 표면 요소 집합에 커버되지 않는 제1 표면 요소가 있을 경우, 상기 제1 표면 요소를 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 추가하는 단계를 포함한다.

제1 표면 요소는 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함되지 않는 표면 요소이므로, 이전 프레임 업데이트 후의 기존 표면 요소 집합을 추가할 필요가 있는 표면 요소이며, 또한, 상기 표면 요소 추가 동작을 통해, 실제 요구에 부합되는 포인트 클라우드 융합 처리 결과를 획득할 수 있다.

상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에서 대응 표면 요소의 투영 깊이보다 깊으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제1 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 제2 표면 요소를 추가하는 단계를 포함한다.

알다시피, 상기 제2 표면 요소와 이전 프레임 업데이트 후의 기존 표면 요소 집합의 관계에 따라, 제2 표면 요소는 이전 프레임 업데이트 후의 기존 표면 요소 집합의 표면 요소를 추가할 필요가 있는 것을 결정할 수 있으며, 또한, 상기 표면 요소 추가 동작을 통해, 실제 요구에 부합되는 포인트 클라우드 융합 처리 결과를 획득할 수 있다.

상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이보다 낮으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제2 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하는 단계를 포함한다.

알다시피, 제2 표면 요소의 깊이가 이전 프레임 업데이트 후의 기조 표면 요소 집합 중 대응 표면 요소의 투영 깊이보다 낮은 경우, 제2 표면 요소가 외부 포인트일 가능성이 크다는 것을 설명하며, 이때, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치 값를 추가함으로써, 표면 요소 업데이트는 실제 요구에 더 부합되게 할 수 있다.

상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 위치, 법선 벡터를 업데이트하며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 내부 포인트 가중치 값을 추가하는 단계를 포함한다.

알다시피, 제2 표면 요소의 깊이와 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작고, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 현재 프레임의 표면 요소 집합에서 제2 표면 요소의 측정 깊이가 유효한 깊이인 것을 설명하고, 이때, 대응 표면 요소의 위치, 법선 벡터 및 내부 포인트 가중치에 대해 업데이트하여, 표면 요소 업데이트는 실제 요구에 더 부합될 수 있다.

상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 큰 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하는 단계를 포함한다.

미세 구조물에서의 깊이 차이는 작지만 상이한 시야각의 일반적인 벡터의 변화가 크므로, 단순히 융합 깊이 차이를 평균화하며, 본 발명은 외부 포인트 가중치를 업데이트하고, 미세 깊이 차이를 보류하기 때문에, 본 발명의 실시예의 포인트 클라우드 융합 방안은 미세 구조의 처리에 더 효과적일 수 있다.

상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소가 있는 경우, 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소를 삭제하고; 여기서, 상기 기설정된 삭제 조건을 만족하는 표면 요소는 대응 픽셀 포인트의 깊이 신뢰도가 설정 신뢰도 임계값의 표면 요소보다 작은 단계를 포함한다.

알다시피, 깊이 신뢰도가 낮은 표면 요소를 삭제함으로써, 보류된 표면 요소는 모두 높은 깊이 신뢰도를 가지며, 따라서, 포인트 클라우드 융합의 신뢰성 및 정확도를 향상시키는데 유리하다.

본 발명의 실시예는 포인트 클라우드 융합 장치를 더 제공하며, 상기 장치는 결정 모듈 및 융합 모듈을 포함하며, 여기서,

결정 모듈은 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하도록 구성되고 - 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함함 - ;

융합 모듈은 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하도록 구성된다.

선택적으로, 상기 결정 모듈은 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득하고; 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 유효한 깊이를 갖는 각 픽셀 포인트의 깊이 신뢰도를 결정하도록 구성되고;

상기 융합 모듈은 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하도록 구성된다.

선택적으로, 상기 결정 모듈은 적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하고; 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 보류하도록 구성된다.

알다시피, 본 발명의 실시예에서, 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 보류하여, 후기에는 유효한 깊이를 갖는 픽셀 포인트에 따라 포인트 클라우드 융합을 수행할 수 있으므로, 깊이가 유효하지 않은 포인트 클라우드를 제거하여, 포인트 클라우드 융합 정확도를 향상시킬 수 있고, 포인트 클라우드 융합의 처리 속도를 향상 시키며, 포인트 클라우드 융합의 실시간으로 디스플레이하는데 유리하다.

알다시피, 본 발명의 실시예에서, 현재 프레임 깊이맵을 획득하기 전에 획득된 깊이맵을 기반하여, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 판단할 수 있고, 따라서, 현재 프레임 깊이맵을 획득하기 전에 획득된 깊이맵을 기초하여, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 정확하게 판단할 수 있다.

선택적으로, 상기 결정 모듈은 상기 적어도 하나의 기준 프레임 깊이맵을 사용하여, 상기 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하고; 상기 깊이 일관성 검사를 통과한 픽셀 포인트의 깊이는 유효한 것으로 결정되고, 상기 깊이 일관성 검사를 통과하지 못한 픽셀 포인트의 깊이는 유효하지 않은 것으로 결정되도록 구성된다.

선택적으로, 상기 결정 모듈은 복수 개의 기준 프레임 깊이맵을 획득하도록 구성되고; 상기 현재 프레임 깊이맵의 제1 픽셀 포인트와 각 상기 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하며; 상기 제1 픽셀 포인트 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 크거나 같은 경우, 상기 제1 픽셀 프인트가 상기 깊이 일관성 검사를 통과한 것으로 결정하는 단계를 포함하며; 상기 제1 픽셀 포인트와의 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 작은 경우, 상기 제1 픽셀 포인트는 상기 깊이 일관성 검사를 통과하지 못한 것으로 결정되며; 상기 제1 픽셀 알다시피, 본 발명의 실시예에서, 제1 픽셀 포인트와의 사이에서 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수에 따라, 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과하는지 여부를 결정하고, 제1 픽셀 포인트와의 사이에서 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 많은 경우, 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과한 것으로 간주되고; 그렇지 않으면 , 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과하지 못한 것으로 간주되고, 이러한 방식으로, 깊이 일관성 검사의 견고성 및 신뢰성을 향상시킬 수 있다. 포인트는 상기 현재 프레임 깊이맵의 임의의 하나의 픽셀 포인트이다.

선택적으로, 상기 결정 모듈은 상기 제1 픽셀 포인트를 각 상기 기준 프레임 깊이맵에 투영하여, 각 상기 기준 프레임 깊이맵에서 투영 포인트의 투영 위치 및 투영 깊이를 획득하도록 구성되고; 각 상기 기준 프레임 깊이맵에서 상기 투영 위치의 측정된 깊이 값을 획득하며; 각 기준 프레임 깊이맵에서 상기 투영 포인트의 투영 깊이와 상기 투영 위치의 측정된 깊이 값 사이의 차이값을 획득하고; 상기 차이값이 제1 설정 깊이 임계값보다 작거나 같은 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하며; 상기 차이값이 제1 설정 깊이 임계값보다 큰 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않는 것으로 결정한다.

카메라 촬영 시야각이 상이하므로, 동일한 물체의 특징 위치가 현재 프레임 깊이맵에서 가려질 수 있으나, 기준 프레임 깊이맵에서 가려지지 않은 경우, 상기 위치가 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 및 기준 프레임 깊이맵에서 대응 위치의 픽셀 포인트의 깊이의 차이가 크면, 상기 위치의 픽셀 포인트의 깊이 신뢰도가 낮으며, 상기 픽셀 포인트를 사용하여 포인트 클라우드 융합하면 융합 정확도가 떨어질 수 있다. 블로킹으로 인한 융합 정확도 저하 문제를 줄이기 위해, 본 발명에서, 각 기준 프레임 깊이맵에서 투영 포인트의 투영 깊이와 투영 위치의 측정된 깊이 값 사이의 차이값을 먼저 판단할 수 있고, 상기 차이가 작은 경우, 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하고; 그렇지 않으면, 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이는 깊이 일관성 조건을 만족하지 않은 것으로 결정하며; 이러한 방식으로, 현재 프레임 깊이맵에서 특징 위치가 가려져서 픽셀 포인트의 깊이 신뢰성에 미치는 영향이 줄이고, 상기 픽셀 포인트를 사용하여 포인트 클라우드 융합을 수행할 때, 포인트 클라우드 융합 정확도는 상대적으로 높은 수준으로 유지할 수 있다.

알다시피, 본 발명의 실시예에서, 고려 장면 구조, 장면 텍스처 및 카메라 구성 중 적어도 두 개의 인자를 통해, 픽셀 포인트의 깊이 신뢰도를 결정할 수 있고, 따라서, 깊이 신뢰도의 신뢰성을 향상시킬 수 있으며, 또한, 포인트 클라우드 융합 처리의 신뢰도를 향상시킬 수 있다.

선택적으로, 상기 결정 모듈은 현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하도록 구성되고; 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득한다.

선택적으로, 상기 결정 모듈은 상기 현재 프레임 깊이맵에서의 픽셀 포인트의 속성 정보에 따라, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하도록 구성되고; 상기 속성 정보는 위치 및 법선 벡터 중 적어도 하나를 포함한다.

선택적으로, 상기 결정 모듈은 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 곱셈함으로써, 조인트 가중치를 획득하도록 구성되고; 상기 조인트 가중치에 따라, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득한다.

알다시피, 적어도 두 개의 영향 인자에 대응하는 가중치의 곱셈을 통해, 이전 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 쉽게 획득할 수 있어 쉽게 구현할 수 있다.

선택적으로, 상기 융합 모듈은 표면 요소를 사용하여 상기 현재 프레임 깊이맵에서의 각 픽셀 포인트를 나타내고 - 각 표면 요소는 적어도 대응 픽셀 포인트의 깊이 신뢰도를 포함함 - ;

상기 융합 모듈은 현재 프레임의 표면 요소 집합에 따라, 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하여, 현재 프레임 업데이트 후의 기존 표면 요소 집합을 획득하도록 구성 - 상기 현재 프레임 업데이트 후의 기존 표면 요소 집합은 현재 프레임 깊이맵의 포인트 클라우드 융합 처리 결과를 나타내고; 상기 현재 프레임의 표면 요소 집합은 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대응하는 표면 요소의 집합을 포함하며; 상기 집합 업데이트는 표면 요소 추가, 표면 요소 업데이트 및 표면 요소 삭제 중 적어도 하나의 동작을 포함함 - 된다.

알다시피, 본 발명의 실시예에서, 표면 요소를 기반하는 표시를 사용하여, 포인트 클라우드 포전 처리를 구현할수 있고; 또한 표면 요소는 포인트 속성 정보를 나타낼 수 있으며, 따라서, 포인트 속성 정보에 따라, 포인트 클라우드 융합 처리를 효율적으로 구현할 수 있다.

알다시피, 표면 요소를 기반하는 표시를 사용하여, 포인트의 다양한 속성 정보를 아주 편리하게 추가할 수 있으며, 또한, 포인트의 다양한 속성 정보의 기초에서 종합적으로 고려하여, 포인트 클라우드 융합 처리를 보다 정확하게 구현할 수 있다.

선택적으로, 상기 융합 모듈은 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 현재 프레임의 표면 요소 집합에 커버되지 않는 제1 표면 요소가 있을 경우, 상기 제1 표면 요소를 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 추가하도록 구성된다.

선택적으로, 상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에서 대응 표면 요소의 투영 깊이보다 깊으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제1 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 제2 표면 요소를 추가도록 구성된다.

선택적으로, 상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이보다 낮으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제2 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하도록 구성된다.

선택적으로, 상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 위치, 법선 벡터를 업데이트하며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 내부 포인트 가중치 값을 추가하도록 구성된다.

알다시피, 제2 표면 요소의 깊이와 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작고, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 현재 프레임의 표면 요소 집합에서 제2 표면 요소의 측정 깊이가 유효한 깊이인 것을 설명하고, 이때, 대응 표면 요소의 위치, 법선 벡터 및 내부 포인트 가중치에 대해 업데이트하여, 표면 요소 업데이트는 실제 요구에 더 부합되게 할 수 있다.

선택적으로, 상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 큰 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하도록 구성된다.

알다시피, 미세 구조물에서의 깊이 차이는 작지만 상이한 시야각의 일반적인 벡터의 변화가 크므로, 단순히 융합 깊이 차이를 평균화하며, 본 발명은 외부 포인트 가중치를 업데이트하고, 미세 깊이 차이를 보류하기 때문에, 본 발명의 실시예의 포인트 클라우드 융합 방안은 미세 구조의 처리에 더 효과적일 수 있다.

선택적으로, 상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소가 있는 경우, 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소를 삭제하도록 구성되고; 여기서, 상기 기설정된 삭제 조건을 만족하는 표면 요소는 대응 픽셀 포인트의 깊이 신뢰도가 설정 신뢰도 임계값의 표면 요소보다 작다.

본 발명의 실시예는 프로세서 및 프로세상에서 실행될 수 있는 컴퓨터 프로그램의 메모리를 저장하도록 구성된 메모리를 포함하는 전자 기기를 제공하고, 여기서, 상기 프로세서는 상기 컴퓨터 프로그램을 실행하도록 구성된 경우, 상기 임의의 포인트 클라우드 융합 방법은 실행한다.

본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 저장 매체를 더 제공하고, 상기 컴퓨트 프로그램이 프로세서에 의해 실행될 때 상기 임의의 포인트 클라우드 융합 방법을 구현한다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨트 프로그램이 프로세서에 의해 실행될 때 상기 임의의 포인트 클라우드 융합 방법을 구현한다.

도 1은 본 발명의 실시예에 따른 포인트 클라우드 융합 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따라 획득한 깊이맵의 하나의 모식도이다.
도 3은 도 2에 기반하여 본 발명의 실시예의 방안에 따라 획득한 깊이 일관성 검사를 통과한 현재 프레임 깊이맵이다.
도 4는 도 2 및 도 3에 기반하여 본 발명의 실시예의 기술 방안으로 생성된 깊이 신뢰도 이미지이다.
도 5는 도 3 및 도 4에 기반하여 본 발명의 실시예에 기반하여 생성된 융합후의 포인트 클라우드 데이터의 모식도이다.
도 6은 본 발명의 실시예에 따른 포인트 클라우드 융합 장치의 구성 구조 모식도이다.
도 7은 본 발명의 실시예에 따른 전자 기기의 구조 모식도이다.

이하 도면 및 실시예를 결합하여 본 발명에 대해 추가로 상세하게 설명한다. 반드시 알아야 할 것은, 여기서 제공된 구체적인 실시예는 단지 본 발명을 해석하기 위한 것일 뿐, 본 발명을 한정하지 않는다. 또한, 아래에 제공된 실시예는 본 발명의 일부 실시예이지만, 본 발명을 제공하기 위한 것이 전부 실시예가 아니며, 충돌이 없는 경우, 본 발명의 실시예에서 설명된 기술 방안은 임의의 조합 형태일 수 있다.

설명해야 할 것은, 본 발명의 실시예에서, 용어 “포함” 또는 이의 임의의 다른 변형은 비배타적인 포함을 포함하도록 의도됨으로써, 일련의 요소를 포함하는 방법, 장치로 하여금 설명된 요소를 포함하도록 할 뿐만 아니라, 명시적으로 열거되지 않은 다른 요소를 포함하도록 할 수도 있으며, 또는 실시 방법 또는 장치에 고유한 요소를 포함하도록 한다. 더 많은 한정이 없는 경우, 어구 “하나의……을 포함하다”에 의해 정의된 요소는, 상기 요소를 포함하는 방법 또는 장치에 다른 관련된 요소가 존재한다는 것을 배제하지 않는다(예를 들어 방법에서의 단계 또는 장치에서의 유닛은 일부 회로, 일부 프로세서, 일부 프로그램 또는 소프트웨어 등 일수 있다).

예를 들어, 본 발명의 실시예에서 제공된 포인트 클라우드 융합 방법은 일련의 단계를 포함하지만, 본 발명의 실시예에 제공된 포인트 클라우드 융합 방법은 언급된 단계에 한정하지 않으며, 마친가지로, 본 발명의 실시예에서 제공된 포인트 클라우드 융합 장치는 일련의 모듈을 포함하지만, 본 발명의 실시예에 제공된 장치는 언급된 모듈에 한정되지 않고, 관련 정보를 획득하거나, 또는 정보에 기반하여 처리를 수행할 때 설정 필요한 모듈을 포함할 수 있다.

본 발명 실시예들은 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작될 수 있는 단말 기기, 컴퓨터 시스템 및 서버와 같은 전자 기기에 응용될 수 있다. 단말 기기, 컴퓨터 시스템 및 서버와 같은 전자 기기와 함께 사용되기에 적합한 잘 알려진 단말 기기, 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 메인 프레임 컴퓨터 시스템 및 상기 임의의 시스템을 포함한 분산 클라우드 컴퓨팅 기술 환경을 포함하나 이에 한정되지 않는다.

단말 기기, 컴퓨터 시스템, 서버 등 전자 기기는 컴퓨터 시스템에 의해 수행되는 컴퓨터 시스템의 수행 가능 명령어(예를 들어, 프로그램 모듈)의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 동작을 실행하거나 특정 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 타겟 프로그램, 어셈블리, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템/서버는 동작이 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 실행되는 분산 클라우드 컴퓨팅 환경에서 구현될 수 있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치 할 수 있다.

다음은 관련 포인트 클라우드 융합 방안에 있는 문제에 대해 예시적으로 설명한다. 레이저 스캐너에 의해 채택된 포인트 클라우드 데이터에 대해, 간단한 포인트 클라우드 융합 방법은 옥트리를 사용하여 포인트 클라우드 융합을 단순화하고, 이 방법에 따르면 동일한 복셀에 속하는 포인트에 대해 가중 평균을 수행하며, 동일한 복셀이 물체의 다른 영역을 커버하는 경우, 특히 미세한 구조에서, 단순한 가중 평균은 미세 구조를 구별할 수 없다. 일부 조밀한 동시 로켈리제이션 및 맵핑(Simultaneous Localization and Mapping, SLAM)의 적용에서, 다른 시야각의 이미지는 일반적으로 큰 면적의 중첩이 존재하고, 기존의 프인트 클라우드 융합 방법은 단순히 중첩 영역의 깊이 값에 대해 융합을 수행하므로, 이러한 방식으로 신뢰도가 낮아지는 영역은 또한 잘못 융합되고 또는 깊이 신뢰도에 따라 융합을 수행하고, 깊이 신뢰도는 포인트 클라우드의 로컬 구조 또는 장면 텍스처에 따라 계산되지만, 이 방법으로 계산한 깊이 신뢰도는 신뢰할 수 없으며, 예를 들어 약한 텍스처 영역에 대해, 장면 텍스처의 깊이 신뢰도 계산 방법에 기반하면, 정확한 깊이 신뢰도를 획득할 수 없다.

또한, 모바일 플랫폽에서, 포인트 클라우드 융합의 과정은 일반적으로 실시간으로 온라인에 디스플레이되어야하므로, 이는 포인트 클라우드 융합의 계산 호율성에 큰 도전이 된다.

상기 기술 문제에 대하여, 본 발명의 실시예는 포인트 클라우드 융합 방법을 제공하고, 실행 주체는 포인트 클라우드 융합 장치일 수 있으며, 예를 들어, 이미지 깊이 추정 방법은 단말 기기, 서버 또는 기타 전자 기기에 의해 실행될 수 있으며, 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 휴대폰, 무선 전화기, 휴대용 정보 단말 (Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 기기, 웨어러블 기기 동일 수 있다. 일부 가능한 구현 방식에서, 상기 이미지 깊이 추정 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방법에 의해 구현될 수 있다. 본 발명에 제공되는 포인트 클라우드 융합 방법은 3 차원 모델링, 증강 현실, 이미지 처리, 사진, 게임, 애니메이션, 영화, 전자 상거래, 교육, 부동산 및 가정 장식 등 분야에 적용될 수 있다. 본 발명의 실시예에서, 포인트 클라우드 데이터의 획득 방식에 대해 한정하지 않는다. 본 발명의 실시예의 기술 방안을 사용하여, 카메라르 이요하여 연속적인 영상 프레임을 획득할 수 있고, 연속적인 영상 프레임의 카메라 포즈 및 깊이맵을 알고있는 경우, 멀티뷰 깊이를 대해 융합을 수행하여, 높은 정밀도의 포인트 클라우드 데이터를 획득할 수 있다.

도 1은 본 발명의 실시예의 포인트 클라우드 융합 방법의 흐름도이고, 도 1에 도시된 바와 같이, 상기 프로세스는 다음의 단계를 포함한다.

단계 101에 있어서, 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하며, 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함한다.

본 발명의 실시예에서, 현재 프레임 깊이맵을 획득하기 위한 방식에 대해 한정하지 않으며 예를 들어, 현재 프레임 깊이맵은 인간-컴퓨터 상호 방식을 통해 사용자에 의해 입력될 수 있고 도 2는 본 발명의 실시예에 따라 획득한 깊이맵의 하나의 모식도이다.

단계 102에 있어서, 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행한다.

단계 101 내지 단계 102는 전자 기기에서의 프로세서를 사용하여 구현될 수 있고, 상기 프로세서는 주문형 직접 회로 (Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서 (Digital Signal Processor, DSP), 디지털 신호 처리 임지 디스플레이 기기 (Digital Signal Processing Device, DSPD), 프로그램 가능 논리 소자 (Programmable Logic Device, PLD), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA), 중앙 처리 장치 (Central Processing Unit, CPU), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서중 적어도 하나일 수 있다.

알다시피, 본 발명의 실시예에서, 다중 요소를 종합적으로 고려하여 픽셀 포인트의 깊이 신뢰도를 결정할 수 있고, 따라서, 깊이 신뢰도의 신뢰성을 향상시킬 수 있며, 또한, 포인트 클라우드 융합 처리의 신뢰성을 향상시킬 수 있고 여기서, 포인트 클라우드 융합 처리는 복수 개의 포인트 클라우두 데에터를 하나의 통?d된 전여 좌표계에서 데이터 융합을 수행하며 데이터를 융합하는 과정에서, 전체 포인트 클라우드를 합리적인 량에 유지하기 위해, 중복되는 부분에 대해 필터링해야 한다. 본 발명의 실시예에서, 포인트 클라우드 융합 처리를 위한 구현 방식에 대해 한정하지 않으며, 하나의 예에서, 옥트리 구조에 기반하여 포인트 클라우드 데이터에 대해 처리를 수햄하므로, 포인트 클라우드 융합을 구현할 수 있다.

단계 101의 구현 방식에 대해, 예시적으로, 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득할 수 있고 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 각 유효한 깊이를 갖는 픽셀 포인트의 깊이 신뢰도를 결정하며

이에 대응하여, 단계 102의 구현 방식과 관련하여, 예시적으로, 포인트 클라우드 융합 처리는 깊이 신뢰도에 따라 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트 클라우드 융합 처리를 수행한다.

구체적으로, 현재 프레임 깊이맵에서 픽셀 포인트의 깊이가 유효한지 여부를 미지 판단할 수 있고, 예를 들어 인공 또는 프레임 비교하는 방식을 통해, 다음 장면 정보/카메라 정보 중 적어도 두 개의 영향 인자에 따라, 유효한 깊이를 갖는 픽셀 포인트의 깊이 신뢰도를 결정하여, 유효한 깊이를 갖는 픽셀 포인트에 대해 프인트 클라우드 융합을 수행한다. 알다시피, 본 발명의 실시예에서, 포인트 클라우드 융합 처리 과정은 유효한 깊이를 갖는 픽셀 포인트를 기반하여 구현되었으므로, 포인트 클라우드 융합 처리의 신뢰성을 높일 수 있다.

선택적으로, 적어도 하나의 기준 프레임 깊이맵을 획득한 후, 적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하고, 현재 프레임 깊이맵에서 깊이가 유효하지 않는 픽셀 포인트를 페기하며, 유효한 깊이를 갖는 픽셀 포인트를 보류하며, 후기에는 유효한 깊이를 갖는 픽셀 포인트에 따라 포인트 클라우드 융합을 수행할 수 있으므로, 깊이가 유효하지 않은 포인트 클라우드를 제거하여, 포인트 클라우드 융합의 정밀성 및 정확도를 높이고, 포인트 클라우드 융합의 처리 속도를 향상시킬 수 있는 동시에, 포인트 클라우드 융합의 실시간으로 디스플레이하는데 유리하다.

선택적으로, 상기 적어도 하나의 기준 프레임 깊이맵은 현재 프레임 깊이맵을 획득하기 전에 획득된 적어도 하나의 프레임 깊이맵을 포함할 수 있으며 하나의 구체적인 예에서, 상기 적어도 기준 프레임 깊이맵은 상기 현재 프레임 깊이맵과 인접한 N 개의 이전 프레임 깊이맵을 포함하며, 여기서, N은 1보다 크거나 같은 정수이고 선택적으로, 1≤N≤7이다.

다시 말해서, 현재 프레임 깊이맵에 대해, 인접한 N 개의 이전 프레임 깊이맵을 기준 프레임 깊이맵을 사용할 수 있다.

알다시피, 본 발명의 실시예에서, 현재 프레임 깊이맵을 획득하기 전에 획득된 깊이맵을 기반하여, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 판단할 수 있고, 따라서, 현재 프레임 깊이맵을 획득하기 전에 획득된 깊이맵을 기준으로 하여, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 정확하게 판단할 수 있다.

적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하기 위한 구현 방식에 따라, 예시적으로, 적어도 하나의 기준 프레임 깊이맵을 이용하여, 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하고 깊이 일관성 검사를 통과한 픽셀 프인트의 깊이 유효한 것으로 결정되고, 상기 깊이 일관성 검사를 통과하지 못한 픽셀 포인트의 깊이는 유효하지 않은 것으로 결정된다.

여기서, 깊이 일관성 검사는 현재 프레임 깊이맵의 픽셀 포인트 및 기준 프레임 깊이맵에 대응 픽셀 포인트의 깊이의 차이가 기설정된 범위 내에 있는 것을 검사하고, 차기가 기설정된 범위내에 있을 경우, 상기 픽셀 포인트의 깊이가 유효한 것으로 결정되고, 그렇지 않으면 상기 픽셀 포인트의 깊이가 유효하지 않은 것으로 결정된다.

여기서, 현재 프레임 깊이맵에서 깊이가 유효하지 않는 픽셀 포인트를 페기한 후, 깊이 일관성 검사를 받은 현재 프레임 깊이맵을 획득할 수 있고, 도 3은 도 2에 기반하여 본 발명의 실시예의 방안에 따라 획득한 깊이 일관성 검사를 통과한 현재 프레임 깊이맵이다.

일부 실시예에서, 하나의 기준 프레임 깊이맵이 획득되고, 현재 프레임 깊이맵의 픽셀 포인트 및 기준 프레임 깊이맵의 대응 픽셀 포인트가 현재 프레임 깊이맵의 픽셀 포인트가 깊이 일관성 조건을 만족하는지 여부가 결정할 수 있으며, 현재 프레임 깊이맵의 픽셀 포인트 및 상기 기준 프레임 깊이맵 대응 픽셀 포인트사이가 깊이 일관성 조건을 만족하는 경우, 상기 픽셀 포인트의 깊이가 유효한 것으로 결정되고, 그렇지 않으면 상기 픽셀 포인트의 깊이가 유효하지 않은 것으로 결정된다.

일부 실시예에서, 복수 개의 기준 프레임 깊이맵을 획득하고, 현재 프레임 깊이맵의 제1 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 포인트사이가 깊이 일관성 조건을 만족하는지 여부를 판단하여, 제1 픽셀 포인트는 상기 현재 프레임 깊이맵의 임의의 하나의 픽셀 포인트이고

제1 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 대응 픽셀 포인트의 개수가 설정값보다 크거나 같은 경우, 제1 픽셀 프인트는 깊이 일관성 검사를 통과한 것으로 결정하며 제1 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 대응 픽셀 포인트의 개수가 설정값보다 작은 경우, 제1 픽셀 포인트는 깊이 일관성 검사를 통과하지 못한 것으로 결정한다.

여기서, 깊이 일관성 조건은, 현재 프레임 깊이맵의 픽셀 포인트 및 기준 프레임 깊이맵 대응 픽셀 포인트의 깊이의 차이가 기설정된 범위보다 작을 수 있다.

본 발명의 실시예에서, 현재 프레임 깊이맵의 제1 픽셀 포인트 및 각 기준 프레임 깊이맵의 및 각 기준 프레임 깊이 맴의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하여, 제1 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 상기 대응픽셀 포인트의 개수을 결정할 수 있고 예를 들어, 현재 프레임 깊이맵의 제1 픽셀 포인트 및 M 개의 기준 프레임 깊이맵의 대응 픽셀 포인트사이가 깊이 일관성 조건을 만족한다면, 제1 픽셀 포인트사이와 깊이 일관성 조건을 만족하는 대응 픽셀 포인트의 개수는 M이다.

설정값은 실제 필요에 따라 결정할 수 있고, 예를 들어 설정값은 기준 프레임 깊이맵의 전체 개수의 50%, 60% 또는 70%일 수 있다.

알다시피, 본 발명의 실시예에서, 제1 픽셀 포인트와의 사이에서 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수에 따라, 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과하는지 여부를 결정하고, 제1 픽셀 포인트와의 사이에서 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 많은 경우, 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과한 것으로 간주되고 그렇지 않으면, 제1 픽셀 포인트와의 사이는 깊이 일관성 검사를 통과하지 못한 것으로 간주되고, 이러한 방식으로, 깊이 일관성 검사의 견고성 및 신뢰성을 향상시킬 수 있다.

현재 프레임 깊이맵의 제1 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하기 위한 구현 방식에 대해, 제1 예에서, 제1 픽셀 포인트를 각 기준 프레임 깊이맵에 투영하여, 각 기준 프레임 깊이맵에서 투영 포인트의 투영 위치 및 투영 깊이를 획득하고 각 기준 프레임 깊이맵에서 투영 위치의 측정된 깊이 값을 획득할 수 있으며 깊이 센서는 오류가 있고, 데이터 전송은 노이즈 간섭 가능이 있으므로, 여기서 각 기준 프레임에 대응하는 투영 깊이 및 투영 위치의 측정된 깊이 값엔 약간의 차이가 있다. 여기서, 투영 깊이는 서로 다른 깊이맵사이를 통해 픽셀 포인트 투영하여 획득한 깊이 값을 의미하고, 측정 깊이는 투영 위치에서 측정 기기를 사용하여 측정한 실제 깊이 값을 의미한다.

픽셀 포인트가 깊이 일관성 조건을 만족하는 것으로 판단될 때, 하나의 제1 설정 깊이 임계값을 설정하고 각 기준 프레임 깊이맵에서 투영 포인트의 투영 깊이 및 투영 위치의 측정된 깊이 값 사이의 차이값을 회득하며 상기 차이값이 제1 설정 깊이 임계값보다 작거나 같은 경우, 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하고 상기 차이값이 제1 설정 깊이 임계값보다 크거나 같은 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않는 것으로 결정한다.

일부 다른 실시예에서, 현재 프레임 깊이맵의 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 픽셀 포인트사이가 깊이 일관성 조건을 만족하는지 여부를 판단하는 구현 방식에 대해, 기준 프레임 깊이맵의 픽셀 포인트를 현재 프레임 깊이맵에 투영하여, 현재 프레임 깊이맵의 투영 위치 및 투영 깊이을 획득하고 현재 프레임 깊이맵에서 투영 위치의 측정된 깊이 값을 획득하며 현재 프레임 깊이맵에서 투영 포인트의 투영 깊이 및 투영 위치의 측정된 깊이 값 사이의 차이값을 획득할 수 있고 상기 현재 프레임 깊이맵에서 투영 포인트의 투영 깊이 및 투영 위치의 측정된 깊이 값 사이의 차이값이 제2 설정 깊이 임계값보다 작은 경우, 현재 프레임 깊이맵의 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 픽셀 포인트사이가 깊이 일관성 조건을 만족하는 것으로 결정할 수 있고 그렇지 않으면, 현재 프레임 깊이맵의 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않은 것으로 결정한다.

일부 다른 실시예에서, 현재 프레임 깊이맵의 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 픽셀 포인트사이가 깊이 일관성 조건을 만족하는지 여부를 판단하는 구현 방식에 대해, 기준 프레임 깊이맵의 픽셀 포인트 및 현재 프레임 깊이맵 대응 픽셀 포인트를 모두 3 차원 공간에 투영할 수 있고, 그다음, 3 차원 공간에서 기준 프레임 깊이맵의 픽셀 포인트 및 현재 프레임 깊이맵 대응 픽셀 포인트의 깊이 차이를 비교하여, 상기 깊이 차이가 제3 설정 깊이 임계값보다 작은 경우, 현재 프레임 깊이맵의 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 픽셀 포인트사이가 깊이 일관성 조건을 만족하는 것으로 결정할 수 있고 그렇지 않으면, 현재 프레임 깊이맵의 픽셀 포인트 및 각 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않은 것으로 결정한다.

여기서, 제1 설정 깊이 임계값, 제2 설정 깊이 임계값 및 제3 설정 깊이 임계값은 실제 적용 요구에 따라 미리 결정되고, 제1 설정 깊이 임계값, 제2 설정 깊이 임계값 및 제3 설정 깊이 임계값 중 두 개 값 사이는 동일하거나, 상이할 수 있으며 하나의 구체적인 예에서, 제1 설정 깊이 임계값, 제2 설정 깊이 임계값 또는 제3 설정 깊이 임계값의 값 범위는 0.025m 내지 0.3m일 수 있고,제1 설정 깊이 임계값, 제2 설정 깊이 임계값 또는 제3 설정 깊이 임계값은

로 기록할 수 있고, 여기서,

은 깊이 센서의 유효 범위이며, 예를 들어,

이다.

카메라 촬영 시야각이 상이하므로, 동일한 물체의 특징 위치가 현재 프레임 깊이맵에서 가려질 수 있으나, 기준 프레임 깊이맵에서 가려지지 않은 경우, 상기 위치가 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 및 기준 프레임 깊이맵에서 대응 위치의 픽셀 포인트의 깊이의 차이가 크면, 상기 위치의 픽셀 포인트의 깊이 신뢰도가 낮으며, 상기 픽셀 포인트를 사용하여 포인트 클라우드 융합을 수행하면 융합 정확도가 저하될 수 있다. 블로킹으로 인한 융합 정확도 저하 문제를 줄이기 위해, 본 발명에서, 각 기준 프레임 깊이맵에서 투영 포인트의 투영 깊이와 투영 위치의 측정된 깊이 값 사이의 차이값을 먼저 판단할 수 있고, 상기 차이가 작은 경우, 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하고 그렇지 않으면, 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이는 깊이 일관성 조건을 만족하지 않은 것으로 결정하며 이러한 방식으로, 현재 프레임 깊이맵에서 특징 위치가 가려져서 픽셀 포인트의 깊이 신뢰성에 미치는 영향이 줄이고, 상기 픽셀 포인트를 사용하여 포인트 클라우드 융합을 수행할 때, 포인트 클라우드 융합 정확도는 상대적으로 높은 수준으로 유지할 수 있다.

아래는 현재 프레임 깊이맵 D에서의 픽셀 포인트 P를 예로 들어, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하는 구현 방식은 예시적으로 설명된다.

현재 프레임 깊이맵D에서의 픽셀 포인트p에 대해, 깊이 D(p)를 사용하여 3D 공간에 다시 투영하여 3D 포인트 P를 획득하고, 다시 투영 계산 공식은 다음과 같다.

P=T^-1*(D(p)* π^-1 (p)) (1)

여기서, π는 투영 행렬을 나타내고, 투영 행렬은 카메라 좌표계에서 픽셀 좌표계의 변황 행렬이고, 투시 투영 방식를 채택하고 투영 행렬은 미지 보정될 수 있거나, 계산을 통해 획득할 수 있으며 π^-1은 투영 행렬의 역행렬을 나타내고, T는 현재 프레임 깊이맵 D에 대응하는 세계 좌표계의 카메라 좌표계의 강체 변환을 나타내고, T^-1은 T의 역변환이다.

그다음, 카메라의 내부 외부 파라미터를 사용하여 픽셀 포인트를 기준 프레임 D’에 투영하여, 투영 위치 p’및 투영 깊이 d_p’를 획득한다.

p’=π(T’*P) (2)

여기서, T’는 기준 프레임 D’의 강성 변환(기준 프레임 D’에 대응하는 세계 좌표계에서 카메라 좌표계로 강성 변환)을 나타내고 투영 깊이 dp’는 투영후로 계산하여 획득한 투영 포인트의 제3 차원 좌표를 나타낸다.

여기서, 투영 깊이 d_p' 및 포인트 p'의 깊이 값 D'(p')의 차이가 제2 설정 깊이 임계값을 초과하는지에 따라 픽셀 포인트 p의 깊이 값이 깊이 일관성 조건을 만족하는지 여부를 판단할 수 있고 D’ (p’)는 기준 프레임에서 투영 위치 자체의 관찰된 깊이이며 투영 깊이 d_p’및 포인트 p’의 깊이 값 D’(p’)의 차이는 너무 크지 않고 투영 깊이 d_p’및 포인트 p’의 깊이 값 D’(p’)의 차이가 너무 크면, 블로킹 또는 다른 오류가 발생할 수 있으며, 이때, 상기 픽셀 포인트 깊이를 신뢰할 수 없을 수 있다.

블로킹으로 인한 픽셀 포인트 깊이의 불일치 문제를 줄이기 위해, 현재 프레임 포인트 p 및 60%의 기준 프레임 깊이맵의 대응 픽셀 포인트사이가 깊이 일관성 조건을 만족하는 것으로 설정할 수 있는 경우, 픽셀 포인트 p의 깊이 유효를 판단하고, 구체적으로 다음의 공식으로 나타낸다.

여기서,

는 픽셀 포인트 p가 k 번째 기준 프레임에 투영될 때 획득한 투영 위치를 나타내고,

는 픽셀 포인트 p가 k 번째 기준 프레임에 투영 될 때 획득한 투영 깊이를 나타내며

는 k 번째 기준 프레임에 대응하는 단어 좌표계의 카메라 좌표계로의 엄격한 변환을 나타내고,

는

의 역변환을 나타내며 N은 기준 프레임 깊이맵의 총수를 나타내고,

는 픽셀 포인트 P와 k 번째 기준 프레임의 대응 포인트가 깊이 일관성 조건을 만족하는지 여부를 판단하는데 사용되며

가 1인 경우, 픽셀 포인트 p와 k 번째 기준 프레임의 대응 포인트가 깊이 일관성 조건을 만족함을 나타내고

가 0인 경우, 픽셀 포인트 p와 k 번째 기준 프레임의 대응 포인트가 깊이 일관성 조건을 만족하지 않음을 나태내고

는 설정된 기준 프레임 수를 나타내며, 설명이 필요한 것은, 공식 (3)에서의

값은 본 발명의 실시예에서의

값의 예이거나, 또는 0.6N과 같지 않을 수 있으며 픽셀 포인트 p의 깊이가 유효한지 여부를 결정하는 데 사용되고,

이 1과 같은 경우, 픽셀 포인트 p의 깊이가 유효 함을 나타내고,

가 0인 경우, 픽셀 포인트 p의 깊이가 유효하지 않음을 나타낸다.

현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득한 후, 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 유효한 깊이를 갖는 각 픽셀 포인트의 깊이 신뢰도를 결정할 수 있다.

본 발명의 실시예에서, 장면 정보는 장면 구조 및 장면 텍스처 중 적어도 하나의 영향 인자를 포함하고, 카메라 정보는 적어도 카메라 구성을 포함하며 장면 구조 및 장면 텍스처는 각각 장면의 구조 특징 및 텍스처 특징을 나타내고, 예를 들어, 장면 구조는 장면의 표면 위쪽 방향 또는 다른 구조 정보를 나타낼 수 있고, 장면 텍스처는 포토메트릭 일관성 또는 다른 텍스처 특징일 수 있으며 포토메트릭 일관성은 다음의 원칙에 제공되는 텍스처 특징에 기반하고 같은 포인트에서의 다른 각도의 포토메트릭은 일반적으로 일치하며, 따라서, 포토메트릭 일관성을 사용하여 장면 텍스처를 평가하며 카메라 구성은 카메라 거리 장면의 원근 또는 기타 카메라 구성일 수 있다.

일부 실시예에서, 장면 구조, 카메라 구성 및 장면 텍스처중 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정할 수 있다.

종래 기술에서, 깊이 신뢰도를 계산할 때, 카메라 구성만 고려하거나, 장면 텍스처만 고려하므로, 깊이맵의 깊이 신뢰도의 신뢰도가 상대적으로 낮고 깊이맵의 정확도는 장면 및 카메라의 정보와 관련되고, 특히 장면 구조, 카메라 구성, 장면 텍스처와 같은 세가지 측면 인자와 관련이 크기 때문에, 본 발명의 실시예에서, 장면 구조, 카메라 구성 및 장면 텍스처중 적어도 두가지 안자를 고려하며, 여기서 픽셀 포인트의 깊이 신뢰도를 획득하고, 픽셀 포인트의 깊이 신뢰도의 신뢰도를 향상시킬 수 있다.

장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 구현 방식에 대해, 하나의 예에서, 장면 정보 또는 카메라 정보 중 임의의 하나에서 선택된 적어도 두 개의 영향 인자, 또는 장면 정보 및 카메라 정보에서 동시에 선택된 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정할 수 있다.

여기서, 현재 프레임 깊이맵에서 유효한 깊이를 결정하는 구현 방식은 전술한 실시예를 설명하고, 여기서 더이상 설명하지 않는다.

이해할 수 있는 것은, 깊이 신뢰도는 깊이맵의 정확도를 평가할 수 있고, 깊이맵의 정확도 및 장면 구조, 카메라 구성, 장면 텍스처의 세가지 측면 인자와 관련되고 이를 기반으로, 하나의 구현 방식에서, 현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득할 수 있으며 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득한다.

현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하는 구현 방식에 대해, 예시적으로, 상기 현재 프레임 깊이맵에서의 픽셀 포인트의 속성 정보에 따라, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득할 수 있으며 상기 속성 정보는 위치 및 법선 벡터 중 적어도 하나를 포함한다.

선택적으로, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자 대응하는 가중치를 획득하기 위해, 카메라 및 픽셀 포인트사이의 위치 관계, 카메라의 파라미터 등 기타 파라미터를 더 고려할 수 있다.

융합 적어도 두 개의 영향 인자에 대응하는 가중치에 대해, 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도의 구현 방식을 획득하고, 예시적으로, 적어도 두 개의 영향 인자에 대응하는 가중치의 곱셈을 통해, 조인트 가중치를 획득할 수 있고 상기 조인트 가중치에 따라, 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득한다.

선택적으로, 조인트 가중치를 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도로 사용할 수 있고 조인트 가중치를 사용하여 이전 프레임 대응 포인트의 깊이 신뢰도를 조정하여, 현재 프레임에서 픽셀 포인트의 깊이 신뢰도를 획득할 수 있다.

볼 수 있다시피, 적어도 두 개의 영향 인자에 대응하는 가중치의 곱셈을 통해, 이전 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 쉽게 획득할 수 있어 쉽게 구현할 수 있다.

본 발명의 구체적인 예에서, 깊이 신뢰도는 장면 구조, 카메라 구성 및 포토메트릭 일관성의 조인트 가중치를 나타낼 수 있고, 즉 기하학적 구조에 기반한 가중치 항목, 카메라 구성에 기반한 가중치 항목, 포토메트릭 일관성에 기반한 가중치 항목을 포함한다.

아래에 기하학적 구조에 기반한 가중치 항목, 카메라 구성에 기반한 가중치 항목 및 포토메트릭 일관성에 기반한 가중치 항목에 대해 각각 설명한다.

1) 기하학적 구조에 기반한 가중치 항목(기하학적 가중치 항목)에 있어서,

깊이 정확도는 장면 표면 위치 방향과 관련되고, 카메라의 이미징 평면과 평행한 영역 깊이 정확도는 경사 영역보다 높으며, 기하학적 가중치 항목은 다음과 같이 정의된다.

여기서,

은 현재 프레임 깊이맵의 픽셀 포인트에 대응하는 3 차원 공간 포인트 P의 기하학적 가중치 항목을 나타내고, n_p는 픽셀 포인트 p의 단위 법선 벡터를 나타내며, v_p는 상기 포인트 p에서 카메라의 광학 중심까지의 단위 벡터를 나타내고,

은 n_p와 v_p 사이의 허용 가능한 최대 각도 (75-90도)를 나타내며, np와 vp 사이의 각도가

를 초과할 때, 기하학적 가중치 항목이 0이고, 포인트를 신뢰할 수 없음을 나타내며,

은 n_p와 v_p 사이의 점 곱셈 연산을 나타내고,

은 n_p와 v_p 사이의 각도를 나타낸다.

2) 카메라 구성에 기반한 가중치 항목에 있어서(카메라 가중치 항목),

깊이 정확도는 표면 거리 카메라까지의 거리와 관련되고, 일반적인 경우에서, 거리가 멀수록, 깊이 값은 더 정확하지 않고, 본 발명의 실시예에서, 카메라 가중치 항목은 다음과 같이 정의된다.

여기서,

는 현재 프레임 깊이맵에서 픽셀 포인트에 대응하는 3 차원 공간 포인트 P의 카메라 가중치 항목을 나타내고,

는 설정된 페널티 계수이고,

은 픽셀 포인트 p가 투사 방향을 따라 거리만큼 이동할 때 생성되는 픽셀 오프셋이며 픽셀 오프셋은 투영 포인트와 원래 픽셀 포인트 사이의 거리를 나타내며, 투영 포인트는 3 차원 공간 포인트 P가 약간 변경된 후 현재 프레임에 투영 된 후 얻은 픽셀 포인트이다.

실제 적용에서, 포인트 p가 투영 방향을 따라 이동하는 거리는 다음과 같이 구성될 수 있다.

, 여기서,

.

은 카메라 가중치 항목에 대한 영향 수준

을 결정하는데 사용되며, 값의 범위는 0과 1 사이이며, 예를 들어 0.5이다.

3) 포토메트릭 일관성에 기반한 가중치 항목에 있어서,

여기서, 포토메트릭 일관성 기반 가중치 항목은 정규 상관 계수(Normalized Cross Correlation, NCC) 또는 다른 매개 변수를 사용하여 계산되며 NCC를 사용하여 광도 일치성 가중치 항목을 계산하여 조명 변화에 대한 특정 간섭 방지 기능을 정의한다. NCC를 사용하여 측광 일관성 가중치 항목을 계산하는 과정을 예시적으로 설명한다.

포토메트릭 일관성 기반 가중치 항목의 공식은 다음과 같다.

(8)

여기서,

은 현재 프레임 깊이맵의 픽셀 포인트에 대응하는 3 차원 공간 포인트 P의 포토 메트릭 일관성 가중치 항목을 나타내고, thr는 설정된 임계값을 나타내며, 하나의 예에서, thr은 0.65와 같고, NCC의 창구 크기는 5*5이다. 기준 프레임이 여러 개있는 경우, 각 기준 프레임과 현재 프레임에서 계산 된 NCC 값은 가중 평균 또는 중앙값과 같은 처리를 받으며, 최종 기준 프레임

을 획득한다.

일부 다른 실시예에서, NCC의 값은 측광 일관성 측정에 평가되고, NCC가 높을수록 일관성이 높아지고, 여기서 인터 셉션 처리가 필요하지 않고, 즉

를 직접

로 취할 수 있다.

기하학적 구조 기반 가중치 항목, 카메라 구성 기반 가중치 항목 및 측광 일관성 기반 가중치 항목을 계산 한 후, 조인트 가중치

은 다음 공식에 따라 얻는다.

본 발명의 실시예에서, 상기 조인트 가중치는 픽셀 포인트 p의 깊이 신뢰 값으로 직접 사용할 수 있고, 계산에 의해 획득 된 깊이 신뢰도 점수에 따라, 깊이 신뢰도가 생성하며, 도 4는 도 2 및 도 3에 기반하여 본 발명의 실시예의 기술 방안으로 생성된 깊이 신뢰도 이미지이다. 물론, 다른 실시예에서, 이전 프레임에서 대응 포인트의 깊이 신뢰도는 상기 조인트 가중치를 사용하여 조정하고, 현재 프레임에서 픽셀 포인트의 깊이 신뢰도를 획득할 수 있다.

설명해야 할 것은, 본 발명의 전술한 실시예에서, 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 모든 픽셀 포인트의 깊이 신뢰도를 결정할 수 있고 정면 정보 및 카메라 정보의 적어도 하나 중 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트의 깊이 신뢰도를 결정할 수도 있으므로, 포인트 클라우드 융합 처리의 정확도를 향상시킨다.

일부 실시예에서, 표면 요소는 현재 프레임 깊이맵에서 각각의 픽셀 포인트 또는 유효한 깊이를 갖는 각 픽셀 포인트를 나타낼 수 있고 각 표면 요소는 적어도 대응 픽셀 포인트의 깊이 신뢰도를 포함하며 현재 프레임 깊이맵의 표면 요소 집합에 대해 조정을 수행하여, 현재 프레임 깊이맵의 포인트 클라우드 융합 처리를 구현한다.

선택적으로, 각 표면 요소는 대응 픽셀 포인트의 위치, 법선 벡터, 내부 포인트 가중치 및 외부 포인트 가중치를 더 포함하고 물론, 표면 요소에는 대응 픽셀 포인트의 색상 등을 더 포함할 수 있으며 여기서, 내부 포인트 가중치는 대응 픽셀 포인트가 내부 포인트일 확률을 나타내도록 구성되고, 외부 포인트 가중치는 대응 픽셀 포인트가 외부 포인트일 확률을 나타내도록 구성되며, 픽셀 포인트의 깊이 신뢰도 점수는 내부 포인트 가중치와 외부 포인트 가중치 간의 차이로 정의된다. 예를 들어, 초기에, 내부 포인트 가중치는

이고, 외부 포인트 가중치는 0이다. 본 발명의 실시예에서, 내부 포인트는 현재 프레임의 깊이맵의 표면 요소 집할내부에 인접한 픽셀 포인트를 나타내고, 외부 포인트는 현재 프레임의 깊이맵의 표면 요소 집합 외부의 인접 픽셀 포인트를 나타낸다.

알다시피, 표면 요소는 포인트의 위치, 법선 벡터, 내부/외부 포인트 가중치를 포함하므로, 깊이 신뢰도 등 정보, 표면 요소를 기반하는 표시를 사용하여, 포인트의 다양한 속성 정보를 아주 편리하게 추가할 수 있으며, 또한, 포인트의 다양한 속성 정보의 기초에서 종합적으로 고려하여, 포인트 클라우드 융합 처리를 보다 정확하게 구현할 수 있다.

표면 요소는 장면의 3 차원 구조를 표현하는 중요한 모드 중 하나이고, 표면 요소는 3 차원 포인트 P의 좌표, 픽셀 포인트 p의 법선 벡터 n_p, 내부 포인트 가중치

및 외부 포인트 가중치

를 포함하며, 여기서, 대응하는 픽셀 포인트 p의 위치는 3 차원 포인트 P의 좌표로 나타내고, 이 표현 방식은 보기와 비교의 용이성을 위해 동일한 기준 좌표 아래에 있는 포인트의 위치를 통합하여 후속 처리를 용이하게 할 수 있으며 픽셀 포인트의 좌표를 사용하면, 각 표면 요소 좌표계는 다를 수 있으며, 처리시 빈번한 변환이 필요하다.

본 발명의 실시예에서, 포인트 클라우드 융합의 목적은 고품질의 표면 요소 집합을 유지하는 것이며, 그 융합 과정은 표면 요소의 융합 과정이다.

본 발명의 실시예에서, 현재 프레임 깊이맵에서 각 픽셀 포인트 또는 유효한 깊이를 갖는 픽셀 포인트의 깊이 신뢰도를 결정한 후, 깊이 신뢰도에 기반하여 표면 요소 융합을 실행할 수 있으며 다시 말해서, 현재 프레임의 표면 요소 집합에 따라, 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하여, 현재 프레임 업데이트 후의 기존 표면 요소 집합을 획득할 수 있고, 현재 프레임 업데이트 후의 기존 표면 요소 집합은 현재 프레임 깊이맵의 포인트 클라우드 융합 처리 결과를 나타내며 현재 프레임의 표면 요소 집합은 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대응하는 표면 요소의 집합을 포함한다. 특히, 초기 프레임에 대해, 초기 프레임의 표면 요소 집합을 획득한 후에는, 깊이 신뢰도에 기반한 표면 요소 융합이 실행하지 않고, 대신 제2 프레임부터, 깊이 신뢰도를 기반한 표면 요소 융합을 실행한다.

여기서, 집합 업데이트는 표면 요소 추가, 표면 요소 업데이트 및 표면 요소 삭제 중 적어도 하나의 동작을 포함한다. 본 발명의 실시예에서, 현재 프레임의 표면 요소 집합에 따라 기존 표면 요소 집합에 대해 업데이트하는 과정은 현재 프레임의 표면 요소 집합 및 기존 표면 요소 집합을 융합하는 과정으로 볼 수 있다.

알다시피, 본 발명의 실시예에서, 표면 요소를 기반하는 표시를 사용하여, 포인트 클라우드 포전 처리를 구현할수 있고 또한 표면 요소는 포인트 속성 정보를 나타낼 수 있으며, 따라서, 포인트 속성 정보에 따라, 포인트 클라우드 융합 처리를 효율적으로 구현할 수 있다.

여기서, 본 발명의 실시예의 방안에 따라 포인트 클라우드 융합 처리를 수행한 후에, 융합된 포인트 클라우드 데이터의 모식도를 획득하고, 도 5는 도 3 및 도 4에 기초한 본 발명의 실시예의 기술 방안에 기반하여 생성되는 융합 포인트 클라우드 데이터의 모식도이다.

아래에 표면 요소 추가, 표면 요소 업데이트 및 표면 요소 삭제는 각각 다음과 같이 예시적으로 설명된다.

1) 표면 요소 추가에 있어서

초기화 과정에서, 제1 프레임의 깊이맵이 새 표면 요소로 설정된 기존 표면 요소에 전체적으로 추가되고, 표면 요소의 내부 포인트 가중치와 외부 포인트 가중치가 동시에 업데이트되며, 예를 들어, 초기화 과정에서, 내부 포인트 가중치는

이고, 외부 포인트 가중치는 0이다.

이전 프레임을 업데이트한 후 기존 표면 요소 세트로 덮이지 않은 제1 표면 요소가 현재 프레임의 표면 요소 세트에 있는 경우, 제1 표면 요소는 이전 프레임을 업데이트 한 후 기존 표면 요소 세트에 추가할 수 있고, 제1 표면 요소는 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함되지 않는 표면 요소이므로, 이전 프레임 업데이트 후의 기존 표면 요소 집합을 추가할 필요가 있는 표면 요소이며, 또한, 상기 표면 요소 추가 동작을 통해, 실제 요구에 부합되는 포인트 클라우드 융합 처리 결과를 획득할 수 있다.

실제 구현에서, 이전 프레임을 업데이트 한 후 기존 표면 요소 세트의 표면 요소가 현재 프레임의 표면 요소 세트에 투영할 수 있고, 투영하는 동안, 이전 프레임을 업데이트 한 후 현재 프레임의 제1 표면 요소가 기존 표면 요소 집합의 표면 요소를 포함하는 상황이 존재하는 경우, 제1 표면 요소에 대한 업데이트 또는 삭제 동작이 수행되고 이전 프레임을 업데이트 한 후 현재 프레임의 제1 표면 요소가 기존 표면 요소 집합의 표면 요소를 포함하지 않는 상황이 존재하는 경우, 제1 표면 요소의 추가 동작을 수행할 수 있고, 즉 커버되지 않은 표면 요소를 기존 표면 요소 집합에 추가한다.

2) 표면 요소 업데이트에 있어서

이전 프레임을 업데이트 한 후 기존 표면 요소 세트의 표면 요소를 현재 프레임에 투영하면 투영 포인트의 투영 깊이는 d_pold로 기록되고 현재 프레임에 설정된 표면 요소의 표면 요소의 측정 된 깊이는

로 기록되며, 여기서, 투영 깊이 d_pold는 공식 (2)를 사용하여 회득할 수 있고 여기서, 표면 요소의 업데이트는 다음과 같은 다양한 상황에서 설명될 수 있다.

(a) 일부 실시예에서, 현재 프레임의 표면 요소 집합에 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 제2 표면 요소의 깊이가 이전 프레임 업데이트 후의 기존 표면 요소 집합에서 대응 표면 요소의 투영 깊이보다 깊으며, 제2 표면 요소의 깊이와 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제1 설정 깊이 임계값보다 크거나 같은 경우, 현재 프레임에서 이전 프레임을 업데이트한 후 설정 한 기존 표면 요소와 다른 표면이 관찰되기 때문에 블로킹이 발생한 것으로 간주되며, 이 상황은 실제 상황인 경우, 이때, 제2 표면 요소는 이전 프레임을 업데이트한 후 기존 표면 요소 세트에 추가할 수 있으며, 예를 들어, 제2 표면 요소는 이전 프레임을 내부 포인트로 업데이트한 후 기존 표면 요소 세트에 추가할 수 있다.

여기서, 제1 설정 깊이 입계값의 범위는 0.025m 내지 0.3m일 수 있다.

하나의 구체적인 예에서, 측정 된 깊이 d_p가 투영 깊이 d_pold보다 훨씬 큰 경우, 예를 들어, 측정 된 깊이 d_p를 투영 깊이 d_pold로 나눈 비율이 제 1 설정 비율보다 큰 경우, 예를 들어, 제 1 설정 비율의 값 범위는 4 ~ 10 일 수 있다. 측정 된 깊이 d_p가 투영 깊이 d_pold보다 훨씬 큰 경우, 블로킹이 발생한 것으로 간주될 수 있고, 이 경우 시각적 충돌이 존재하지 않으며, 이때, 측정 된 깊이 d_p에 대응하는 제 2 표면 요소는 이전 프레임을 내부 포인트로 업데이트 한 후 기존 표면 요소 세트에 추가될 수 있다.

(b)현재 프레임의 표면 요소 집합에 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이보다 낮으며, 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제2 설정 깊이 임계값보다 크거나 같은 경우, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가한다.

여기서, 제2 설정 깊이 입계값의 범위는 0.025m 내지 0.3m일 수 있다.

구체적으로, 측정 깊이 d_p가 투영 깊이 d_pold보다 훨씬 작은 경우, 실제로 존재하지 않는 상황(시각적 충돌)이며, 예를 들어, 측정 된 깊이 d_p를 투영 깊이 d_pold로 나눈 비율이 제 2 설정 비율보다 작은 경우, 예를 들어, 제2 설정 비율의 값 범위는 0. 001 ~ 0. 01일 수 있다. 이 경우, 대응 픽셀 포인트의 깊이 신뢰도에 따라, 상기 기존 표면 요소 집에서 대응 표면 요소의 외부 포인트 가중치를 추가하여, 업데이트 후 포인트의 깊이 신뢰도가 감소된다. 예를 들어, 이전 프레임을 업데이트 한 후 기존 표면 요소 세트에서 대응 표면 요소의 외부 포인트 가중치 값은 다음 공식에 따라 추가될 수 있다.

여기서, 여기서

은 이전 프레임을 업데이트 한 후 기존 표면 요소 집합에서 업데이트 전 대응 표면 요소의 외부 포인트 가중치 값을 나타내고,

은 이전 프레임을 업데이트 한 후 기존 표면 요소 세트에서 업데이트 후 대응 표면 요소의 외부 포인트 가중치 값을 나타낸다.

(c) 현재 프레임의 표면 요소 집합에 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 위치, 법선 벡터를 업데이트하며, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 내부 포인트 가중치 값을 추가한다.

여기서, 제3 설정 깊이 임계값은 현재 프레임의 표면 요소 집합에 있는 대응 표면 요소의 깊이와 제3 설정 비율의 곱셈이고 제3 설정 비율의 값 범위는 0. 008 내지 0. 012일 수 있으며 설정 각도 값은 예각 값일 수 있으며, 예를 들어 설정된 각도 값의 범위는 30° 내지 60° 일 수 있다. 예를 들어, 제3 설정 깊이 임계값의 값 범위는 0. 025m 내지 0. 3m이다.

하나의 구체적인 예에서,

및

이면, 대응 픽셀 포인트의 측정 된 깊이가 유효한 깊이임을 나타내며, 이 경우 기존 표면에서 대응 표면 요소의 깊이, 법선 및 내부 포인트 가중치 이전 프레임 업데이트 후 설정된 요소가 업데이트되고 여기서,

은 이전 프레임을 업데이트 한 후 기존 표면 요소 집합에서 대응 표면 요소의 법선 벡터를 나타내며

은 이전 프레임을 업데이트 한 후 기존 표면 요소 세트에서 대응 표면 요소의 투영 깊이를 나타내고

은 이전 프레임 업데이트 후 기존 표면 요소 세트의 표면 요소 법선과 현재 프레임의 표면 요소 세트 사이의 사이 각을 나타내며, 45 °는 설정된 각도 값이고, 0.01은 제3 설정 비율이며, 현재 프레임의 제 2 표면 요소의 깊이와의 곱은 0.01

는 상기 제 3 설정된 깊이 임계 값을 나타낸다.

예를 들어, 이전 프레임을 업데이트한 후 기존 표면 요소 세트에서 대응 표면 요소의 위치, 법선 및 내부 포인트 가중치를 업데이트하는 공식은 다음과 같다.

여기서, X_p는 표면 요소의 깊이와 법선을 포함하고,

은 업데이트 전 표면 요소의 깊이와 법선을 나타내고

은 업데이트 전 표면 요소의 내부 포인트 가중치를 나타내며 표면 요소의 깊이와 법선은 모두 공식 (11)에 따라 업데이트 된다. 또한, 표면 요소의 위치가 업데이트되면, 업데이트 깊이 외에도, 표면 요소의 대응 픽셀 포인트의 위치도 업데이트될 수 있으며, 예를 들어 픽셀 포인트에 대응하는 3 차원 포인트 좌표가 업데이트 된다.

알다시피, 경우(c)에서, 내부 포인트 가충치에 대해 가중을 수행할 수 있고, 내부 포인트 가중치가 가중되면, 과거 기준 프레임의 가중치 정보가 사용되며, 따라서, 포인트 클라우드 융합 처리는 더 나은 견고성과 정확성을 갖는다.

(d) 현재 프레임의 표면 요소 집합에 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 제2 표면 요소의 깊이와 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 큰 경우, 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가한다.

하나의 구체적인 예에서,

및

인 경우, 표면 요소의 깊이가 깊이 일관성을 만족하지만 법선 일관성을 만족하지 않음을 나타내고 이때, 대응 표면 요소의 외부 포인트 가중치가 공식 (10)에 따라 업데이트될 수 있다.

이해할 수 있는 것은, 본 발명의 실시예에서, 표면 요소 융합시의 법선 일관성을 고려하여, 법선을 만족하지 못하는 포인트에 대해, 외부 포인트로하는 가중치를 추가하고, 미세 구조물에서의 깊이 차이는 작지만 상이한 시야각의 일반적인 벡터의 변화가 크므로, 단순히 융합 깊이 차이를 평균화하며, 그러나 본 방법에서는 외부 포인트 가중치를 업데이트하고, 미세 깊이 차이를 보류하기 때문에, 본 발명의 실시예의 포인트 클라우드 융합 방안은 미세 구조의 처리에 더 효과적일 수 있다.

(e) 일부 실시예에서, 측정된 깊이

및 투영 깊이

가 상기 (a) 내지 (d) 중 어느 하나를 만족하지 않는 경우, 기존 표면 요소 세트의 대응하는 픽셀 포인트 모두 이전 프레임과 현재 프레임의 표면 요소 세트는 외부 포인트이며, 이때, 표면 요소는 업데이트되지 않는다.

3) 표면 요소 삭제에 있어서,

현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소가 있는 경우, 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소를 삭제하고 여기서, 상기 기설정된 삭제 조건을 만족하는 표면 요소는, 깊이 신뢰도가 설정 신뢰도 임계값보다 작은 표면 요소, 즉 내부 포인트 가중치 및 외부 포인트 가중치의 차이가 설정 설정된 신뢰도 임계값보다 작은 표면 요소이다.

여기서, 설정된 신뢰도는 임계값은 c_thr로 기록되고, 설정된 신뢰도 점수 임계 값 c_thr은 실제 필요에 따라 사전 구성되며, 예를 들어, c_thr의 값 범위는 0.5와 0 사이이고 이해할 수 있는 것은, 설정된 신뢰도 임계 값이 높을수록, 더 많은 표면 요소가 삭제되고, 그렇지 않으면 삭제된 표면 요소가 더 적으며 설정된 신뢰도 임계값이 너무 작으면, 품질이 낮은 일부 표면 요소가 보류될 수 있다. 표면 요소가 삭제 된 후, 일부 보이드가 생성 될 수 있으며 더 높은 깊이 신뢰도 점수를 갖는 후속 표면 요소로 보이드가 채워질 수 있다.

기존 방법에서는, 3 차원 점의 융합을 기반으로, 법선의 정보를 고려하지 않으며, 가중치 항목의 처리는 모두 승사독점(Winner Take All, WTA)의 방식을 사용하고 본 발명의 실시예에서, 포인트 클라우드 융합 및 포인트 클라우드 중복 제거는 표면 요소 기반 표시를 사용하고, 다중 요소 융합을 사용하여 깊이 신뢰도를 결정하며, 깊이 신뢰도의 신뢰성이 향상되어, 보류된 포인트 클라우드가 더 안정적이며 또한, 본 발명의 실시예에서는 포인트 클라우드의 시각적 충돌 관계를 판단하기 위해 일반 정보를 추가하고, 역사적 프레임의 신뢰성 정도와 관련하여 견고성과 정확성이 더 우수하다.

알다시피, 본 발명의 실시예에 상기 실시예에서, 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도가 먼저 결정되고, 결정된 깊이 신뢰도에 기초하여 포인트 클라우드 융합 처리가 수행된다.

설명해야 할 것은, 본 발명의 다른 실시예에서, 현재 프레임 깊이맵의 픽셀 포인트들에서 유효한 깊이를 갖는 픽셀 포인트를 결정한 다음, 유효한 깊이를 갖는 픽셀 포인트에 기반하여, 포인트 클라우드 융합 처리를 수행할 수 있다.

구체적인 예에서, 적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출할 수 있고 그다음, 현재 프레임 깊이맵에서 깊이 유효하지 않은 픽셀 포인트는 폐기되고, 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 따라, 포인트 클라우드 융합 처리를 수행한다.

여기서, 현재 프레임 깊이맵에서 픽셀 포인트의 깊이가 유효한지 여부를 검출하기 위한 구현 모드는 전술한 내용에서 설명하고, 여기서 더이상 설명하지 않는다. 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 따라, 포인트 클라우드 융합처리를 수행하는 구현 모드에 대해, 픽셀 포인트의 깊이 신뢰도는 고려되지 않으며, 중첩 영역의 깊이 값은 직접 융합될 수 있다.

본 발명의 실시예의 방안을 사용하여, 포인트 클라우드의 실시간 고정확도 융합이 구현될 수 있고 입력된 각 이전 프레임 깊이맵에 대해, 단계 101 내지 단계 102를 모두 사용하여 현재 프레임 업데이트 후의 기존 표면 요소 집합을 획득하여, 중복 포인트 클라우드 삭제 및 표면 요소 세트 확장 또는 업데이트 동작을 구현할 수 있다. 본 발명의 실시예의 기술 방안은 온라인 실시간 앵커 배치 및 고정밀 모델링에 사용되어 증강 현실 애플리케이션의 3 차원 렌더링 및 대화 형 게임과 컴퓨터 비전의 3 차원 객체 인식이 효과적으로 지원할 수 있다.

본 발명의 실시예의 적용 장면은 다음 장면들을 포함하지만 이제 한정되지 않는다.

1) 사용자가 특정 장면을 촬영하기 위해 깊이 카메라가 있는 모바일 기기를 사용하는 경우, 본 발명의 실시예에서 포인트 클라우드 융합 방법은 장면의 포인트 클라우드를 실시간으로 재구성하고, 중복 된 포인트 클라우드를 융합을 수행하는데 사용하여, 사용자 단말의 실시간 3 차원 복원 효과를 제공할 수 있다.

2) 사용자는 깊이 카메라가 있는 모바일 기기를 사용하고, 본 발명의 실시예에서 포인트 클라우드 융합 방법은 장면의 포인트 클라우드를 실시간으로 재구성하고, 중복 된 포인트 클라우드를 융합을 수행하는데 사용하여, 앵커 배치 기능을 제공한다.

3) 본 발명의 실시예에서 포인트 클라우드 융합 방법에 의해 복원 된 포인트 클라우드를 이용하여, 물체 또는 장면의 표면 구조를 복원 할 수 있으며, 다음 재구성 된 모델을 실제 환경에 배치하여 이동 단말기의 증강 현실 효과를 얻을 수 있다.

4) 본 발명의 실시예에서 포인트 클라우드 융합 방식으로 복원된 포인트 클라우드를 이용하여, 물체의 표면 구조를 복원하고, 텍스처 매핑을 수행하여 물체의 3D 사진 앨범 효과를 얻을 수 있다.

전술한 실시예에서 제공한 포인트 클라우드 융합 방법에 기반하여, 본 발명의 실시예는 포인트 클라우드 융합 장치를 제공한다.

도 6은 본 발명의 실시예에 따른 포인트 클라우드 융합 장치의 구성 구조 모식도이고, 도 6에 도시된 바와 같이, 상기 장치는 전자 기기에 위치하고, 상기 장치는 결정 모듈(601) 및 융합 모듈(602)을 포함하며, 여기서,

결정 모듈(601)은 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하도록 구성되고 - 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함함 -

융합 모듈(602)은 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하도록 구성된다.

일 실시형태에서, 상기 결정 모듈(601)은 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득하도록 구성되고 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 유효한 깊이를 갖는 각 픽셀 포인트의 깊이 신뢰도를 결정하고

일 실시형태에서, 상기 결정 모듈(601)은 적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하고하도록 구성되고 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 보류한다.

일 실시형태에서, 현재 프레임 깊이맵을 획득하기 전에 획득된 적어도 하나의 프레임 깊이맵은 상기 적어도 하나의 기준 프레임 깊이맵을 포함한다.

일 실시형태에서, 상기 결정 모듈(601)은 상기 적어도 하나의 기준 프레임 깊이맵을 사용하여, 상기 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하도록 구성하고 상기 깊이 일관성 검사를 통과한 픽셀 포인트의 깊이는 유효한 것으로 결정되고, 상기 깊이 일관성 검사를 통과하지 못한 픽셀 포인트의 깊이는 유효하지 않은 것으로 결정한다.

일 실시형태에서, 상기 결정 모듈(601)은 복수 개의 기준 프레임 깊이맵을 획득하도록 구성되고 상기 현재 프레임 깊이맵의 제1 픽셀 포인트와 각 상기 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하며 상기 제1 픽셀 포인트 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 크거나 같은 경우, 상기 제1 픽셀 프인트는 상기 깊이 일관성 검사를 통과한 것으로 결정되고 상기 제1 픽셀 포인트와의 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 작은 경우, 상기 제1 픽셀 포인트는 상기 깊이 일관성 검사를 통과하지 못한 것으로 결정되며 상기 제1 픽셀 포인트는 상기 현재 프레임 깊이맵의 임의의 하나의 픽셀 포인트이다.

일 실시형태에서, 상기 결정 모듈(601)은 상기 제1 픽셀 포인트를 각 상기 기준 프레임 깊이맵에 투영하여, 각 상기 기준 프레임 깊이맵에서 투영 포인트의 투영 위치 및 투영 깊이를 획득하도록 구성되고 각 상기 기준 프레임 깊이맵에서 상기 투영 위치의 측정된 깊이 값을 획득하는 단계 각 기준 프레임 깊이맵에서 상기 투영 포인트의 투영 깊이와 상기 투영 위치의 측정된 깊이 값 사이의 차이값을 획득하는 단계 상기 차이값이 제1 설정 깊이 임계값보다 작거나 같은 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하며 상기 차이값이 제1 설정 깊이 임계값보다 큰 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않은 것으로 결정하는 단계를 포함한다.

일 실시형태에서, 상기 장면 정보에는 장면 구조 및 장면 텍스처 중 적어도 하나의 영향 인자를 포함하고, 상기 카메라 정보에는 적어도 카메라 구성을 포함한다.

일 실시형태에서, 상기 결정 모듈(601)은 현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하도록 구성되고 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득한다.

일 실시형태에서, 상기 결정 모듈(601)은 상기 현재 프레임 깊이맵에서의 픽셀 포인트의 속성 정보에 따라, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하도록 구성되고 상기 속성 정보는 위치 및 법선 벡터 중 적어도 하나를 포함한다.

일 실시형태에서, 상기 결정 모듈(601)은 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 곱셈함으로써, 조인트 가중치를 획득하도록 구성되고 상기 조인트 가중치에 따라, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득한다.

일 실시형태에서, 상기 융합 모듈(602)은 표면 요소를 사용하여 상기 현재 프레임 깊이맵에서의 각 픽셀 포인트를 나타내도록 구성되고 각 표면 요소는 적어도 대응 픽셀 포인트의 깊이 신뢰도를 포함하며

상기 융합 모듈(602)은 현재 프레임의 표면 요소 집합에 따라, 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하여, 현재 프레임 업데이트 후의 기존 표면 요소 집합을 획득하고, 상기 현재 프레임 업데이트 후의 기존 표면 요소 집합은 현재 프레임 깊이맵의 포인트 클라우드 융합 처리 결과를 나타내도록 구성되고 상기 현재 프레임의 표면 요소 집합은 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대응하는 표면 요소의 집합을 포함하며

상기 집합 업데이트는 표면 요소 추가, 표면 요소 업데이트 및 표면 요소 삭제 중 적어도 하나의 동작을 포함하는 단계를 포함한다.

일 실시형태에서, 상기 각 표면 요소는 대응 픽셀 포인트의 위치, 법선 벡터, 내부 포인트 가중치 및 외부 포인트 가중치를 더 포함하며 여기서, 상기 내부 포인트 가중치는 대응 픽셀 포인트가 내부 포인트일 확률을 나타내기 위한 것이고, 상기 외부 포인트 가중치는 대응 픽셀 포인트가 외부 포인트일 확률을 나타내기 위한 것이며, 상기 내부 포인트 가중치와 상기 외부 포인트 가중치의 차이값은 대응 픽셀 포인트의 깊이 신뢰도를 나타내기 위한 것이다.

일 실시형태에서, 상기 융합 모듈(602)은 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 현재 프레임의 표면 요소 집합에 커버되지 않는 제1 표면 요소가 있을 경우, 상기 제1 표면 요소를 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 추가하도록 구성된다.

일 실시형태에서, 상기 융합 모듈(602)은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에서 대응 표면 요소의 투영 깊이보다 깊으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제1 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 제2 표면 요소를 추가도록 구성된다.

일 실시형태에서, 상기 융합 모듈(602)은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이보다 낮으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제2 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하도록 구성된다.

일 실시형태에서, 상기 융합 모듈(602)은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 위치, 법선 벡터를 업데이트하며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 내부 포인트 가중치 값을 추가하도록 구성된다.

일 실시형태에서, 상기 융합 모듈(602)은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 큰 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하도록 구성된다.

일 실시형태에서, 상기 융합 모듈(602)은 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소가 있는 경우, 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소를 삭제하도록 구성되고 여기서, 상기 기설정된 삭제 조건을 만족하는 표면 요소는 대응 픽셀 포인트의 깊이 신뢰도가 설정 신뢰도 임계값의 표면 요소보다 작다.

또한, 본 실시예에서 각 기능 유닛은 하나의 프로세스 유닛에 통합될 수 있거나, 각 유닛이 단독적인 물리적 존재일 수 있으며, 2개 또는 2개 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형태를 사용하여 구현될 수 있으며, 소프트웨어 기능 모듈의 형태를 사용하여 구현될 수도 있다.

상기 통합된 유닛은 독립된 제품으로서 판매되거나 사용되는 것이 아니라 소프트웨어 기능 모듈의 형태로 구현될 경우, 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 이러한 이해에 근거하여, 본 실시예의 기술적 해결수단은 본질적으로 또는 종래 기술에 기여하는 부분이나 상기 기술적 해결수단의 전부 또는 부분은 소프트웨어 제품의 형식으로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등) 또는 processor(프로세서)로 하여금 본 실시예에서 설명한 방법의 전부 또는 부분 단계를 수행하게 하는 몇 개의 명령어를 포함한다. 전술한 저장 매체는 USB 메모리, 외장 하드, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 여러가지 매체를 포함한다.

구체적으로, 본 실시예의 포인트 클라우드 융합 방법에 대응하는 컴퓨터 프로그램 명령은 광 디스크, 하드 디스크 및 USB 플래시 드라이브와 같은 저장 매체에 저장될 수 있고, 저장 매체 내의 포인트 클라우드 융합 방법에 대응하는 컴퓨터 프로그램 명령이 하나의 전자 장치에 의해 판독되거나 구현 될 때, 전술한 실시예들의 임의의 하나의 포인트 클라우드 융합 방법이 구현된다.

전술한 실시예와 동일한 기술적 개념에 기초하여, 본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨트 프로그램이 프로세서에 의해 실행될 때 상기 임의의 포인트 클라우드 융합 방법을 구현한다.

전술한 실시예와 동일한 기술적 개념에 기초하여, 도 7을 참조하면, 본 발명의 실시예에 제공된 전자 기기(70)는 서로 연결된 메모리(71) 및 프로세서(72)를 포함할 수 있으며 여기서,

상기 메모리(71)는 컴퓨터 프로그램 및 데이터를 저장하도록 구성되고

상기 프로세서(72)는 전술 한 실시 예에 따른 포인트 클라우드 융합 방법 중 어느 하나를 구현하기 위해 메모리에 저장된 컴퓨터 프로그램을 실행하도록 구성된다.

실제 적용에서, 상기 메모리(71)는 ROM과 같은 휘발성 메모리(volatile memory)일 수 있고 또는 ROM, 플래시 메모리(flash memory), 하드 디스크 드라이브(Hard Disk Drive, HDD)또는 솔리드 디스크 드라이브(Solid-State Drive, SSD)와 같은 비휘발성 메모리(non-volatile memory)일 수 있으며 또는 상기 종류의 메모리의 조합이고, 프레세서(72)에 대한 명령 및 데이터를 제공한다.

상기 프로세서 (72)는 ASIC, DSP, DSPD, PLD, FPGA, CPU, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 중 적어도 하나 일 수있다 이해할 수 있는 것은, 상이한 장치에 대해, 전술 한 프로세서의 기능을 구현하도록 구성된 전자 장치는 또한 다른 장치일 수 있으며, 본개시의 실시예는 이를 특별히 제한하지 않는다는 것을 이해할 수 있다.

상기 실시형태의 설명을 통해, 당업자는 상기 실시예의 방법이 소프트웨어에 필요한 범용 하드웨어 플랫폼을 추가하는 방식으로 구현될 수 있으며, 물론 하드웨어를 통해서도 구현될 수 있으나, 많은 경우 전자는 더 바람직한 구현 방식이다. 이러한 이해에 기반하여, 본 발명의 기술방안은 본질적으로 또는 종래 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체(예컨대 ROM/RAM, 자기 디스크, 광 디스크)에 저장되고, 하나의 단말(휴대폰, 컴퓨터, 서버, 에어컨, 또는 네트워크 기기 등)가 본 발명의 각 실시예에 따른 방법을 실행하도록 하는 여러 명령어를 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하고, 본 출원의 상이한 실시예들은 논리에서 벗어나지 않고 상호 결합될 수 있으며, 상이한 실시예의 설명은 중점을 가지며, 중점을 가지고 설명된 부분은 다른 실시예의 설명을 참조할 수 있다. 본 개시는 전술한 상세한 설명에 제한되지 않고, 전술한 특정 실시예는 예시일뿐 제한하지 않으며, 본 개시의 동기하에, 당업자는 본 개시의 목적 및 청구 범위의 보호범위를 벗어나지 않고 다양한 형태를 만들 수 있으며, 이들은 모두 본 개시의 보호범위에 속한다.

Claims

포인트 클라우드 융합 방법으로서,
장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계 - 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함함 - ; 및
상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제1항에 있어서,
상기 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계는,
상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득하는 단계; 및
장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 유효한 깊이를 갖는 각 픽셀 포인트의 깊이 신뢰도를 결정하는 단계를 포함하며;
상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계는,
상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제2항에 있어서,
현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득하는 단계는,
적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하는 단계; 및
상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 보류하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제3항에 있어서,
현재 프레임 깊이맵을 획득하기 전에 획득된 적어도 하나의 프레임 깊이맵은 상기 적어도 하나의 기준 프레임 깊이맵을 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제3항에 있어서,
상기 적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하는 단계는,
상기 적어도 하나의 기준 프레임 깊이맵을 사용하여, 상기 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하는 단계; 및
상기 깊이 일관성 검사를 통과한 픽셀 포인트의 깊이는 유효한 것으로 결정되고, 상기 깊이 일관성 검사를 통과하지 못한 픽셀 포인트의 깊이는 유효하지 않은 것으로 결정되는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제5항에 있어서,
상기 적어도 하나의 기준 프레임 깊이맵을 사용하여, 상기 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하는 단계는,
복수 개의 기준 프레임 깊이맵을 획득하는 단계;
상기 현재 프레임 깊이맵의 제1 픽셀 포인트와 각 상기 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하는 단계 - 상기 제1 픽셀 포인트는 상기 현재 프레임 깊이맵의 임의의 하나의 픽셀 포인트임 - ; 및
상기 제1 픽셀 포인트 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 크거나 같은 경우, 상기 제1 픽셀 프인트가 상기 깊이 일관성 검사를 통과한 것으로 결정하고; 상기 제1 픽셀 포인트와의 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 작은 경우, 상기 제1 픽셀 포인트가 상기 깊이 일관성 검사를 통과하지 못한 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제6항에 있어서,
상기 현재 프레임 깊이맵의 제1 픽셀 포인트와 각 상기 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하는 단계는,
상기 제1 픽셀 포인트를 각 상기 기준 프레임 깊이맵에 투영하여, 각 상기 기준 프레임 깊이맵에서 투영 포인트의 투영 위치 및 투영 깊이를 획득하는 단계;
각 상기 기준 프레임 깊이맵에서 상기 투영 위치의 측정된 깊이 값을 획득하는 단계;
각 기준 프레임 깊이맵에서 상기 투영 포인트의 투영 깊이와 상기 투영 위치의 측정된 깊이 값 사이의 차이값을 획득하는 단계;
상기 차이값이 제1 설정 깊이 임계값보다 작거나 같은 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하며; 상기 차이값이 제1 설정 깊이 임계값보다 큰 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않은 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 장면 정보에는 장면 구조 및 장면 텍스처 중 적어도 하나의 영향 인자를 포함하고, 상기 카메라 정보에는 적어도 카메라 구성을 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제8항에 있어서,
상기 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하는 단계는,
현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하는 단계; 및
상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제9항에 있어서,
상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하는 단계는,
상기 현재 프레임 깊이맵에서의 픽셀 포인트의 속성 정보에 따라, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하는 단계를 포함하며; 상기 속성 정보는 위치 및 법선 벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제9항에 있어서,
상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하는 단계는,
상기 적어도 두 개의 영향 인자에 대응하는 가중치를 곱셈함으로써, 조인트 가중치를 획득하며; 상기 조인트 가중치에 따라, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하는 단계는,
표면 요소를 사용하여 상기 현재 프레임 깊이맵에서의 각 픽셀 포인트를 나타내는 단계 - 각 표면 요소는 적어도 대응 픽셀 포인트의 깊이 신뢰도를 포함함 - ; 및
현재 프레임의 표면 요소 집합에 따라, 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하여, 현재 프레임 업데이트 후의 기존 표면 요소 집합을 획득하는 단계 - 상기 현재 프레임 업데이트 후의 기존 표면 요소 집합은 현재 프레임 깊이맵의 포인트 클라우드 융합 처리 결과를 나타내고, 상기 현재 프레임의 표면 요소 집합은 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대응하는 표면 요소의 집합을 포함하며, 상기 집합 업데이트는 표면 요소 추가, 표면 요소 업데이트 및 표면 요소 삭제 중 적어도 하나의 동작을 포함하는 단계를 포함함 - 를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제12항에 있어서,
상기 각 표면 요소는 대응 픽셀 포인트의 위치, 법선 벡터, 내부 포인트 가중치 및 외부 포인트 가중치를 더 포함하며; 상기 내부 포인트 가중치는 대응 픽셀 포인트가 내부 포인트일 확률을 나타내기 위한 것이고, 상기 외부 포인트 가중치는 대응 픽셀 포인트가 외부 포인트일 확률을 나타내기 위한 것이며, 상기 내부 포인트 가중치와 상기 외부 포인트 가중치의 차이값은 대응 픽셀 포인트의 깊이 신뢰도를 나타내기 위한 것임을 특징으로 하는 포인트 클라우드 융합 방법.
제12항에 있어서,
상기 현재 프레임의 표면 요소 집합에 따라, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하는 단계는,
상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 현재 프레임의 표면 요소 집합에 커버되지 않는 제1 표면 요소가 있을 경우, 상기 제1 표면 요소를 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 추가하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제12항에 있어서,
상기 현재 프레임의 표면 요소 집합에 따라, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하는 단계는,
상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에서 대응 표면 요소의 투영 깊이보다 깊으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제1 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 제2 표면 요소를 추가하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제13항에 있어서,
상기 현재 프레임의 표면 요소 집합에 따라, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하는 단계는,
상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이보다 낮으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제2 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제13항에 있어서,
상기 현재 프레임의 표면 요소 집합에 따라, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하는 단계는,
상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 위치, 법선 벡터를 업데이트하며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 내부 포인트 가중치 값을 추가하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제13항에 있어서,
상기 현재 프레임의 표면 요소 집합에 따라, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하는 단계는,
상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 큰 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 방법.
제12항에 있어서,
상기 현재 프레임의 표면 요소 집합에 따라, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하는 단계는,
상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소가 있는 경우, 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소를 삭제하는 단계를 포함하고; 상기 기설정된 삭제 조건을 만족하는 표면 요소는 대응 픽셀 포인트의 깊이 신뢰도가 설정 신뢰도 임계값의 표면 요소보다 작은 것을 특징으로 하는 포인트 클라우드 융합 방법.
포인트 클라우드 융합 장치로서,
상기 장치는 결정 모듈 및 융합 모듈을 포함하며,
상기 결정 모듈은, 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 현재 프레임 깊이맵에서의 픽셀 포인트의 깊이 신뢰도를 결정하도록 구성되고 - 상기 장면 정보 및 카메라 정보는 적어도 하나의 영향 인자를 각각 포함함 - ; 및
상기 융합 모듈은, 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서의 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제20항에 있어서,
상기 결정 모듈은 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 획득하고; 장면 정보 및 카메라 정보 중 적어도 하나에서 적어도 두 개의 영향 인자에 따라, 상기 유효한 깊이를 갖는 각 픽셀 포인트의 깊이 신뢰도를 결정하도록 구성되며;
상기 융합 모듈은 상기 깊이 신뢰도에 따라, 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대해 포인트 클라우드 융합 처리를 수행하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제21항에 있어서,
상기 결정 모듈은 적어도 하나의 기준 프레임 깊이맵에 따라, 현재 프레임 깊이맵의 픽셀 포인트의 깊이가 유효한지 여부를 검출하고; 상기 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트를 보류하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제22항에 있어서,
현재 프레임 깊이맵을 획득하기 전에 획득된 적어도 하나의 프레임 깊이맵은 상기 적어도 하나의 기준 프레임 깊이맵을 포함하는 것을 특징으로 하는 포인트 클라우드 융합 장치.
제22항에 있어서,
상기 결정 모듈은 상기 적어도 하나의 기준 프레임 깊이맵을 사용하여, 상기 현재 프레임 깊이맵의 픽셀 포인트에 대해 깊이 일관성 검사를 수행하고; 상기 깊이 일관성 검사를 통과한 픽셀 포인트의 깊이는 유효한 것으로 결정되고, 상기 깊이 일관성 검사를 통과하지 못한 픽셀 포인트의 깊이는 유효하지 않은 것으로 결정하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제24항에 있어서,
상기 결정 모듈은 복수 개의 기준 프레임 깊이맵을 획득하고; 상기 현재 프레임 깊이맵의 제1 픽셀 포인트와 각 상기 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는지 여부를 판단하며; 상기 제1 픽셀 포인트 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 크거나 같은 경우, 상기 제1 픽셀 프인트는 상기 깊이 일관성 검사를 통과한 것으로 결정되고; 상기 제1 픽셀 포인트와의 사이에서 상기 깊이 일관성 조건을 만족하는 상기 대응 픽셀 포인트의 개수가 설정값보다 작은 경우, 상기 제1 픽셀 포인트는 상기 깊이 일관성 검사를 통과하지 못한 것으로 결정되도록 구성되며; 상기 제1 픽셀 포인트는 상기 현재 프레임 깊이맵의 임의의 하나의 픽셀 포인트인 것을 특징으로 하는 포인트 클라우드 융합 장치.
제25항에 있어서,
상기 결정 모듈은 상기 제1 픽셀 포인트를 각 상기 기준 프레임 깊이맵에 투영하여, 각 상기 기준 프레임 깊이맵에서 투영 포인트의 투영 위치 및 투영 깊이를 획득하고; 각 상기 기준 프레임 깊이맵에서 상기 투영 위치의 측정된 깊이 값을 획득하며; 각 기준 프레임 깊이맵에서 상기 투영 포인트의 투영 깊이와 상기 투영 위치의 측정된 깊이 값 사이의 차이값을 획득하고; 상기 차이값이 제1 설정 깊이 임계값보다 작거나 같은 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하는 것으로 결정하며; 상기 차이값이 제1 설정 깊이 임계값보다 큰 경우, 상기 제1 픽셀 포인트와 대응하는 기준 프레임 깊이맵의 대응 픽셀 포인트 사이에서 깊이 일관성 조건을 만족하지 않는 것으로 결정하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제20항 내지 제26항 중 어느 한 항에 있어서,
상기 장면 정보에는 장면 구조 및 장면 텍스처 중 적어도 하나의 영향 인자를 포함하고, 상기 카메라 정보에는 적어도 카메라 구성을 포함하는 것을 특징으로 하는 포인트 클라우드 융합 장치.
제27항에 있어서,
상기 결정 모듈은 현재 프레임 깊이맵에서의 픽셀 포인트에 대해, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하고; 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 융합하여, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제28항에 있어서,
상기 결정 모듈은 상기 현재 프레임 깊이맵에서의 픽셀 포인트의 속성 정보에 따라, 장면 구조, 카메라 구성 및 장면 텍스처 중 적어도 두 개의 영향 인자에 대응하는 가중치를 각각 획득하도록 구성되고; 상기 속성 정보는 위치 및 법선 벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 포인트 클라우드 융합 장치.
제28항에 있어서,
상기 결정 모듈은 상기 적어도 두 개의 영향 인자에 대응하는 가중치를 곱셈함으로써, 조인트 가중치를 획득하고; 상기 조인트 가중치에 따라, 상기 현재 프레임 깊이맵에서 픽셀 포인트의 깊이 신뢰도를 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제20항 내지 제26항 중 어느 한 항에 있어서,
상기 융합 모듈은 표면 요소를 사용하여 상기 현재 프레임 깊이맵에서의 각 픽셀 포인트를 나타내고 - 각 표면 요소는 적어도 대응 픽셀 포인트의 깊이 신뢰도를 포함함 - ;
상기 융합 모듈은 현재 프레임의 표면 요소 집합에 따라, 이전 프레임 업데이트 후의 기존 표면 요소 집합에 대해 집합 업데이트를 수행하여, 현재 프레임 업데이트 후의 기존 표면 요소 집합을 획득하도록 구성 - 상기 현재 프레임 업데이트 후의 기존 표면 요소 집합은 현재 프레임 깊이맵의 포인트 클라우드 융합 처리 결과를 나타내고; 상기 현재 프레임의 표면 요소 집합은 현재 프레임 깊이맵에서 유효한 깊이를 갖는 픽셀 포인트에 대응하는 표면 요소의 집합을 포함하며; 상기 집합 업데이트는 표면 요소 추가, 표면 요소 업데이트 및 표면 요소 삭제 중 적어도 하나의 동작을 포함함 - 된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제31항에 있어서,
상기 각 표면 요소는 대응 픽셀 포인트의 위치, 법선 벡터, 내부 포인트 가중치 및 외부 포인트 가중치를 더 포함하며; 상기 내부 포인트 가중치는 대응 픽셀 포인트가 내부 포인트일 확률을 나타내기 위한 것이고, 상기 외부 포인트 가중치는 대응 픽셀 포인트가 외부 포인트일 확률을 나타내기 위한 것이며, 상기 내부 포인트 가중치와 상기 외부 포인트 가중치의 차이값은 대응 픽셀 포인트의 깊이 신뢰도를 나타내기 위한 것임을 특징으로 하는 포인트 클라우드 융합 장치.
제31항에 있어서,
상기 융합 모듈은 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 현재 프레임의 표면 요소 집합에 커버되지 않는 제1 표면 요소가 있을 경우, 상기 제1 표면 요소를 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 추가하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제31항에 있어서,
상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에서 대응 표면 요소의 투영 깊이보다 깊으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제1 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 상기 제2 표면 요소를 추가도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제32항에 있어서,
상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이가 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이보다 낮으며, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제2 설정 깊이 임계값보다 크거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제32항에 있어서,
상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 작거나 같은 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 위치, 법선 벡터를 업데이트하며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 내부 포인트 가중치 값을 추가하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제32항에 있어서,
상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합에 포함된 제2 표면 요소가 있고, 상기 제2 표면 요소의 깊이와 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 투영 깊이의 차이값이 제3 설정 깊이 임계값보다 작으며, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 법선 벡터와 상기 제2 표면 요소의 법선 벡터의 각도가 설정 각도값보다 큰 경우, 상기 이전 프레임 업데이트 후의 기존 표면 요소 집합 중 대응 표면 요소의 외부 포인트 가중치를 추가하도록 구성된 것을 특징으로 하는 포인트 클라우드 융합 장치.
제31항에 있어서,
상기 융합 모듈은 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소가 있는 경우, 상기 현재 프레임의 표면 요소 집합 중 기설정된 삭제 조건을 만족하는 표면 요소를 삭제하도록 구성되고; 상기 기설정된 삭제 조건을 만족하는 표면 요소는 대응 픽셀 포인트의 깊이 신뢰도가 설정 신뢰도 임계값의 표면 요소보다 작은 것을 특징으로 하는 포인트 클라우드 융합 장치.
전자 기기로서,
프로세서 및 프로세에서 실행될 수 있는 컴퓨터 프로그램을 저장할 수 있는 메모리를 포함하며,
상기 프로세서는 상기 컴퓨터 프로그램을 실행할 때, 제1항 내지 제19항 중 어느 한 항에 따른 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
컴퓨터 프로그램이 저정된 컴퓨터 저장 매체로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제19항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 저장 매체.
컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제19항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.