KR102428740B1

KR102428740B1 - 포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리

Info

Publication number: KR102428740B1
Application number: KR1020217026540A
Authority: KR
Inventors: 쥔저 장; 신이 천; 중앙 차이; 하이위 자오; 솨이 이
Original assignee: 센스타임 인터내셔널 피티이. 리미티드.
Priority date: 2021-03-30
Filing date: 2021-06-08
Publication date: 2022-08-02
Also published as: AU2021204525B1; US20220314113A1; CN113557528B; CN113557528A

Abstract

본 개시내용의 실시예들은 포인트 클라우드 완성 네트워크를 생성하기 위한 방법, 장치 및 시스템을 제공한다. 방법은: 잠재적 공간 벡터를 사전 훈련된 제1 포인트 클라우드 완성 네트워크에 입력함으로써 제1 포인트 클라우드 데이터를 취득하는 단계; 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터를 취득하는 단계; 실제 포인트 클라우드 데이터에서의 실제 포인트에 대해, 제1 포인트 클라우드 데이터로부터의 실제 포인트에 인접하는 미리 설정된 수의 포인트를 실제 포인트의 이웃 포인트들로서 선택하는 단계; 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 제2 포인트 클라우드 데이터를 생성하는 단계; 및 제2 포인트 클라우드 데이터와 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 제2 포인트 클라우드 완성 네트워크를 취득하는 단계를 포함한다.

Description

포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리

[관련 출원의 상호참조]

본 출원은, 2021년 3월 30일자로 출원되었으며 발명의 명칭이 "GENERATING POINT CLOUD COMPLETION NETWORK AND PROCESSING POINT CLOUD DATA"인 싱가포르 특허 출원 제10202103264X호에 대해 우선권을 주장하며, 그 개시내용은 모든 목적을 위해 그 전체가 본 명세서에 참고로 포함된다.

본 개시내용은 컴퓨터 비전 기술의 분야에 관한 것으로, 특히 포인트 클라우드 완성 네트워크를 생성하기 위한 방법들, 장치들 및 시스템들 및 포인트 클라우드 데이터를 처리하기 위한 방법들, 장치들 및 시스템들에 관한 것이다.

포인트 클라우드 완성(point cloud completion)은 일부를 손실한 포인트 클라우드 데이터(즉, 불완전한 클라우드 데이터 또는 결함 클라우드 데이터)를 복구하고, 불완전한 클라우드 데이터에 기초하여 완전한 포인트 클라우드 데이터를 추정하기 위해 사용된다. 포인트 클라우드 완성은 자율 주행 및 로봇 내비게이션과 같은 많은 분야에서 적용되어 왔다. 따라서, 포인트 클라우드 완성 네트워크의 정확도를 개선하기 위해 포인트 클라우드 완성 네트워크의 생성 방법을 개선하는 것이 기대된다.

본 개시내용은 포인트 클라우드 완성 네트워크를 생성하고 포인트 클라우드 데이터를 처리하기 위한 방법, 장치 및 시스템을 제공한다.

본 개시내용의 실시예들의 제1 양태에 따르면, 포인트 클라우드 완성 네트워크를 생성하는 방법이 제공되는데, 방법은: 사전 훈련된 제1 포인트 클라우드 완성 네트워크에 잠재적 공간 벡터를 입력함으로써 제1 포인트 클라우드 데이터를 취득하는 단계; 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터를 취득하는 단계; 실제 포인트 클라우드 데이터에서의 실제 포인트에 대해, 제1 포인트 클라우드 데이터로부터의 실제 포인트에 인접한 미리 설정된 수의 포인트들을 실제 포인트의 이웃 포인트들로서 선택하는 단계; 복수의 실제 포인트의 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 제2 포인트 클라우드 데이터를 생성하는 단계; 및 제2 포인트 클라우드 데이터와 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 제2 포인트 클라우드 완성 네트워크를 취득하는 단계를 포함한다.

일부 실시예들에서, 방법은: 제3 포인트 클라우드 데이터를 취득하는 단계; 제2 포인트 클라우드 완성 네트워크에 의해 제3 포인트 클라우드 데이터를 완성함으로써 제4 포인트 클라우드 데이터를 취득하는 단계를 추가로 포함한다.

일부 실시예들에서, 방법은: 물리적 공간으로부터 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계; 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행함으로써 제3 포인트 클라우드 데이터를 취득하는 단계를 추가로 포함한다.

일부 실시예들에서, 방법은: 제4 포인트 클라우드 데이터의 복수의 프레임을 연관시키는 단계를 추가로 포함한다.

일부 실시예들에서, 제1 포인트 클라우드 데이터로부터의 실제 포인트에 인접한 미리 설정된 수의 포인트들을 실제 포인트의 이웃 포인트들로서 선택하는 단계는: 제1 포인트 클라우드 데이터로부터의 실제 포인트에 가장 가까운 미리 설정된 수의 포인트들을 실제 포인트의 이웃 포인트들로서 선택하는 단계를 포함한다.

일부 실시예들에서, 복수의 실제 포인트의 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 제2 포인트 클라우드 데이터를 생성하는 단계는: 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트의 각자의 이웃 포인트들의 합집합을 취함으로써 제2 포인트 클라우드 데이터를 취득하는 단계를 포함한다.

일부 실시예들에서, 방법은 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 제1 포인트 클라우드 완성 네트워크를 사전 훈련하는 단계를 추가로 포함한다.

일부 실시예들에서, 방법은: 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 취득하는 단계; 복수의 포인트 클라우드 블록 각각에 대해, 포인트 클라우드 블록의 포인트 분포 특징을 결정하는 단계; 복수의 포인트 클라우드 블록의 각자의 포인트 분포 특징에 기초하여 손실 함수를 확립하는 단계; 손실 함수에 기초하여 훈련된 제2 포인트 클라우드 완성 네트워크에 대해 최적화를 수행하는 단계를 추가로 포함한다.

일부 실시예들에서, 잠재적 공간 벡터는 다음의 방법에 기초하여 취득된다: 잠재적 공간으로부터 복수의 초기 잠재적 공간 벡터를 샘플링하는 단계; 초기 잠재적 공간 벡터들 각각에 대해, 초기 잠재적 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성된 포인트 클라우드 데이터를 취득하는 단계; 초기 잠재적 공간 벡터에 대응하는 포인트 클라우드 데이터 및 실제 포인트 클라우드 데이터에 기초하여 초기 잠재적 공간 벡터의 타겟 함수를 결정하는 단계; 초기 잠재적 공간 벡터들의 각자의 타겟 함수들에 기초하여 초기 잠재적 공간 벡터들로부터 잠재적 공간 벡터를 결정하는 단계.

본 개시내용의 실시예들의 제2 양태에 따르면, 포인트 클라우드 데이터를 처리하는 방법이 제공되고, 방법은: 게임 영역에서 게임 참가자에 대응하는 제1 처리될 포인트 클라우드 데이터 및 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 취득하는 단계; 포인트 클라우드 완성 네트워크가 제1 처리될 포인트 클라우드 데이터를 완성한 후에 제1 처리된 포인트 클라우드 데이터를 그리고 포인트 클라우드 완성 네트워크가 제2 처리될 포인트 클라우드 데이터를 완성한 후에 제2 처리된 포인트 클라우드 데이터를 취득하는 단계; 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터를 연관시키는 단계를 포함하고; 포인트 클라우드 완성 네트워크는, 사전 훈련 프로세스 후에, 제2 포인트 클라우드 데이터 및 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터에 기초하여 조정함으로써 취득되고, 제2 포인트 클라우드 데이터는 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 생성되고, 제1 포인트 클라우드 데이터는 잠재적 공간 벡터에 기초하여 사전 훈련된 포인트 클라우드 완성 네트워크에 의해 생성된다.

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 코인들을 포함하고, 방법은: 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터의 연관에 기초하여, 다음 동작들: 게임 참가자에 의해 게임 영역에 배치된 게임 코인들을 결정하는 동작; 게임 객체에 대해 게임 참가자에 의해 수행되는 액션을 결정하는 동작 중 적어도 임의의 하나를 수행하는 단계를 추가로 포함한다.

일부 실시예들에서, 게임 영역에서 게임 참가자에 대응하는 제1 처리될 포인트 클라우드 데이터 및 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 취득하는 단계는: 게임 영역 주위에 설정된 포인트 클라우드 수집 디바이스들에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계; 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행함으로써 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 취득하는 단계를 포함한다.

일부 실시예들에서, 포인트 클라우드 완성 네트워크는 복수의 카테고리의 게임 참가자들에 대응하는 제1 처리될 포인트 클라우드 데이터 및/또는 복수의 카테고리의 게임 객체들에 대응하는 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성되거나; 또는 포인트 클라우드 완성 네트워크는 제3 포인트 클라우드 완성 네트워크 및 제4 포인트 클라우드 완성 네트워크를 포함하고, 제3 포인트 클라우드 완성 네트워크는 게임 참가자의 제1 카테고리에 대응하는 제1 처리될 포인트 클라우드 데이터를 완성하도록 구성되고, 제4 포인트 클라우드 완성 네트워크는 게임 객체의 제2 카테고리에 대응하는 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성된다.

본 개시내용의 실시예들의 제3 양태에 따르면, 포인트 클라우드 완성 네트워크를 생성하기 위한 장치가 제공되는데, 장치는: 제1 포인트 클라우드 데이터를 취득하기 위해 잠재적 공간 벡터를 사전 훈련된 제1 포인트 클라우드 완성 네트워크에 입력하도록 구성된 입력 모듈; 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터를 취득하도록 구성된 제1 취득 모듈; 실제 포인트 클라우드 데이터에서의 실제 포인트에 대해, 제1 포인트 클라우드 데이터로부터의 실제 포인트에 인접하는 미리 설정된 수의 포인트들을 실제 포인트의 이웃 포인트들로서 선택하도록 구성된 선택 모듈; 복수의 실제 포인트의 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 제2 포인트 클라우드 데이터를 생성하도록 구성된 생성 모듈; 제2 포인트 클라우드 완성 네트워크를 취득하기 위해 제2 포인트 클라우드 데이터와 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하도록 구성된 조정 모듈을 포함한다.

일부 실시예들에서, 장치는: 제3 포인트 클라우드 데이터를 취득하도록 구성된 제3 포인트 클라우드 취득 디바이스; 및 제2 포인트 클라우드 완성 네트워크에 의해 제3 포인트 클라우드 데이터를 완성하여 제4 포인트 클라우드 데이터를 취득하도록 구성된 완성 디바이스를 추가로 포함한다.

일부 실시예들에서, 장치는: 물리적 공간으로부터 포인트 클라우드 수집 디바이스에 의해 수집되는 원시 포인트 클라우드 데이터를 취득하도록 구성된 원시 포인트 클라우드 취득 디바이스; 및 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 제3 포인트 클라우드 데이터를 취득하도록 구성된 포인트 클라우드 세그먼트화 디바이스를 추가로 포함한다.

일부 실시예들에서, 장치는: 제4 포인트 클라우드 데이터의 복수의 프레임을 연관시키도록 구성된 연관 디바이스를 추가로 포함한다.

일부 실시예들에서, 선택 모듈은, 제1 포인트 클라우드 데이터로부터의 실제 포인트에 가장 가까운 미리 설정된 수의 포인트들을 실제 포인트의 이웃 포인트들로서 선택하도록 구성된다.

일부 실시예들에서, 생성 모듈은 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트의 제1 포인트 클라우드 데이터에서의 이웃 포인트들의 합집합을 취하여 제2 포인트 클라우드 데이터를 취득하도록 구성된다.

일부 실시예들에서, 장치는: 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 제1 포인트 클라우드 완성 네트워크를 사전 훈련하도록 구성된 사전 훈련 모듈을 추가로 포함한다.

일부 실시예들에서, 장치는 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 취득하도록 구성된 포인트 클라우드 블록 취득 모듈; 복수의 포인트 클라우드 블록 각각에 대해, 포인트 클라우드 블록의 포인트 분포 특징을 결정하도록 구성된 특징 결정 모듈; 복수의 포인트 클라우드 블록의 각자의 포인트 분포 특징에 기초하여 손실 함수를 확립하도록 구성된 손실 함수 확립 모듈; 손실 함수에 기초하여 훈련된 제2 포인트 클라우드 완성 네트워크에 대해 최적화를 수행하도록 구성된 최적화 모듈을 추가로 포함한다.

일부 실시예들에서, 장치는: 잠재적 공간으로부터 복수의 초기 잠재적 공간 벡터를 샘플링하도록 구성된 샘플링 모듈; 제각기 초기 잠재적 공간 벡터들 각각에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성된 포인트 클라우드 데이터를 취득하도록 구성된 제4 취득 모듈; 초기 잠재적 공간 벡터들 각각에 대해, 초기 잠재적 공간 벡터에 대응하는 포인트 클라우드 데이터 및 실제 포인트 클라우드 데이터에 기초하여 초기 잠재적 공간 벡터의 타겟 함수를 결정하도록 구성된 타겟 함수 결정 모듈; 및 각각의 초기 잠재적 공간 벡터의 타겟 함수에 기초하여 초기 잠재적 공간 벡터들로부터 잠재적 공간 벡터를 결정하도록 구성된 잠재적 공간 벡터 결정 모듈을 추가로 포함한다.

본 개시내용의 실시예들의 제4 양태에 따르면, 포인트 클라우드 데이터를 처리하기 위한 장치가 제공되고, 장치는: 게임 영역에서 제1 처리될 포인트 클라우드 데이터 및 제2 처리될 포인트 클라우드 데이터를 취득하도록 구성된 제2 취득 모듈 - 제1 처리될 포인트 클라우드 데이터는 게임 참가자에 대응하고 제2 처리될 포인트 클라우드 데이터는 게임 객체에 대응함 -; 포인트 클라우드 완성 네트워크가 제1 처리될 포인트 클라우드 데이터를 완성한 후에 제1 처리된 포인트 클라우드 데이터를 그리고 포인트 클라우드 완성 네트워크가 제2 처리될 포인트 클라우드 데이터를 완성한 후에 취득된 제2 처리된 포인트 클라우드 데이터를 취득하도록 구성된 제3 취득 모듈; 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터를 연관시키도록 구성된 연관 모듈을 포함하고; 포인트 클라우드 완성 네트워크는, 사전 훈련 프로세스 후에, 제2 포인트 클라우드 데이터 및 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터에 기초하여 조정함으로써 취득되고, 제2 포인트 클라우드 데이터는 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 생성되고, 제1 포인트 클라우드 데이터는 잠재적 공간 벡터에 기초하여 사전 훈련된 포인트 클라우드 완성 네트워크에 의해 생성된다.

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 코인들을 포함하고, 장치는: 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터의 연관에 기초하여, 게임 참가자에 의해 게임 영역에 배치된 게임 코인들을 결정하도록 구성된 게임 코인 결정 모듈을 추가로 포함한다.

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 코인들을 포함하고, 장치는: 게임 객체에 대해 게임 참가자에 의해 수행되는 액션을 결정하도록 구성된 액션 결정 모듈을 추가로 포함한다.

일부 실시예들에서, 제2 취득 모듈은: 게임 영역 주위에 설정된 포인트 클라우드 수집 디바이스들에 의해 수집되는 원시 포인트 클라우드 데이터를 취득하도록 구성된 원시 포인트 클라우드 데이터 취득 유닛; 및 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 취득하도록 구성된 포인트 클라우드 세그먼트화 유닛을 포함한다.

본 개시내용의 실시예들의 제5 양태에 따르면, 포인트 클라우드 데이터를 처리하기 위한 시스템이 제공되는데, 시스템은: 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 게임 영역에서 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 수집하기 위해, 게임 영역 주위에 설정된 포인트 클라우드 수집 디바이스; 및 포인트 클라우드 수집 디바이스에 통신가능하게 접속되어, 포인트 클라우드 완성 네트워크가 제1 처리될 포인트 클라우드 데이터를 완성한 후에 제1 처리된 포인트 클라우드 데이터 및 포인트 클라우드 완성 네트워크가 제2 처리될 포인트 클라우드 데이터를 완성한 후에 취득된 제2 처리된 포인트 클라우드 데이터를 취득하고, 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터를 연관시키기 위한 처리 유닛을 포함하고; 포인트 클라우드 완성 네트워크는, 사전 훈련 프로세스 후에, 제2 포인트 클라우드 데이터 및 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터에 기초하여 조정함으로써 취득되고, 제2 포인트 클라우드 데이터는 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 생성되고, 제1 포인트 클라우드 데이터는 잠재적 공간 벡터에 기초하여 사전 훈련된 포인트 클라우드 완성 네트워크에 의해 생성된다.

본 개시내용의 실시예들의 제6 양태에 따르면, 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장 매체가 제공되고, 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 위의 실시예들 중 어느 하나에 따른 방법이 구현된다.

본 개시내용의 실시예들의 제7 양태에 따르면, 메모리, 프로세서 및 메모리에 저장되고 프로세서 상에서 실행가능한 컴퓨터 프로그램을 포함하는 컴퓨터 디바이스가 제공되고, 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 위의 실시예들 중 어느 하나에 따른 방법이 구현된다.

본 개시내용의 실시예들의 제8 양태에 따르면, 전자 디바이스에서 실행될 때, 전자 디바이스 내의 프로세서로 하여금 위의 실시예들 중 어느 하나에 따른 방법을 수행하게 야기하는 컴퓨터 판독가능 코드들을 포함하는 컴퓨터 프로그램이 제공된다.

본 개시내용의 실시예에서, 제1 포인트 클라우드 완성 네트워크가 훈련된 후에, 잠재적 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 취득되는 제1 포인트 클라우드 데이터에서, 실제 포인트 클라우드 데이터에서의 실제 포인트에 인접한 이웃 포인트들이 선택되어 제2 포인트 클라우드 데이터를 생성한다. 제2 포인트 클라우드 데이터를 생성하는 프로세스가 제1 포인트 클라우드 데이터에서의 각각의 포인트와 실제 포인트 클라우드 데이터에서의 실제 포인트 사이의 절대 거리가 가까운지 대신에 제1 포인트 클라우드 데이터에서의 각각의 포인트와 실제 포인트 클라우드 데이터에서의 실제 포인트 사이의 상대 거리가 가까운지에 기초하기 때문에, 제2 포인트 클라우드 데이터를 생성하는 정확도가 개선될 수 있고, 제2 포인트 클라우드 데이터에 기초하여 조정되는 제2 포인트 클라우드 완성 네트워크에 의해 수행되는 포인트 클라우드 완성의 정확도가 개선될 수 있다.

위의 일반적인 설명 및 다음의 상세한 설명은 본 개시내용을 제한하기보다는, 단지 예시적이고 설명적이라는 것을 이해하여야 한다.

본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 본 개시내용과 일치하는 예들을 예시하고, 설명과 함께, 본 개시내용의 기술적 해결책을 설명하는 역할을 한다.
도 1은 일부 실시예들에 따른 불완전한 포인트 클라우드 데이터를 예시하는 개략도이다.
도 2는 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 완성 네트워크를 생성하는 방법을 예시하는 흐름도이다.
도 3은 본 개시내용의 일부 실시예에 따른 열화를 예시하는 개략도이다.
도 4는 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 완성 네트워크에 대한 훈련 및 최적화 프로세스를 예시하는 개략도이다.
도 5는 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터에서의 포인트들의 분포 특징을 예시하는 개략도이다.
도 6은 포인트 클라우드 완성 네트워크에 의해 출력된 다양한 후보 완전한 포인트 클라우드 데이터를 예시하는 개략도이다.
도 7은 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터 처리 방법을 예시하는 흐름도이다.
도 8은 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 완성 네트워크를 생성하기 위한 장치를 예시하는 블록도이다.
도 9는 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터를 처리하기 위한 장치를 예시하는 블록도이다.
도 10은 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터를 처리하기 위한 시스템을 예시하는 개략도이다.
도 11은 본 개시내용의 일부 실시예들에 따른 컴퓨터 디바이스를 예시하는 개략적인 구조도이다.

예시들이 도면들에 표현되어, 본 명세서에서 예들이 상세히 설명될 것이다. 이하의 설명들이 도면들을 수반할 때, 상이한 도면들에서의 동일한 번호들은 달리 지시되지 않는 한 동일하거나 유사한 요소들을 지칭한다. 다음의 예들에서 설명된 실시예들은 본 개시내용과 일치하는 모든 실시예들을 나타내지는 않는다. 오히려, 이들은 첨부된 청구항들에서 상세히 설명된 바와 같은 본 개시내용의 일부 양태들과 일치하는 장치들 및 방법들의 예들에 불과하다.

본 개시내용에서 사용되는 용어는 단지 특정 실시예들을 설명하기 위한 것이며, 본 개시내용을 제한하도록 의도되지 않는다. 본 개시내용 및 첨부된 청구항들에서 사용되는 단수 형태들('a', 'said' 및 'the')은 또한 맥락이 다른 의미들을 분명히 표시하지 않는 한 대부분의 형태들을 포함하도록 의도된다. 본 명세서에서 사용되는 바와 같은 용어 '및/또는'은 하나 이상의 연관되고 열거된 항목들의 임의의 또는 모든 가능한 조합들을 지칭하고 포함한다는 점이 또한 이해되어야 한다. 또한, 본 명세서에서 용어 "적어도 하나"는 복수 중 임의의 하나 이상의 적어도 2개의 임의의 조합을 의미한다.

용어들 제1, 제2, 제3 등이 다양한 정보를 설명하기 위해 본 개시내용에서 이용될 수 있지만, 이들 정보는 이들 용어들로만 제한되지 않아야 한다는 것을 이해해야 한다. 이러한 용어들은 동일한 타입의 정보를 서로 구별하기 위해서만 사용된다. 예를 들어, 본 개시내용의 범위를 벗어나지 않고, 제1 정보는 제2 정보라고도 지칭될 수 있고, 유사하게, 제2 정보는 제1 정보라고도 지칭될 수 있다. 맥락에 의존하여, 본 명세서에서 사용되는 바와 같은 단어 '만일'은 '....할 때' 또는 '....할 시에' 또는 '결정에 응답하여'로서 해석될 수 있다.

본 기술분야의 통상의 기술자들이 본 개시내용의 실시예들에서의 기술적 해결책들을 더 잘 이해하게 하고, 본 개시내용의 실시예들의 설명된 목적들, 특징들 및 이점들을 더 분명하게 하기 위해, 본 개시내용의 실시예들에서의 기술적 해결책들이 첨부 도면들을 참조하여 아래에 상세히 더 설명될 것이다.

실제 응용에서, 포인트 클라우드 데이터는 항상 어떤 처리로 수집되고 수행될 필요가 있다. 예를 들어, 자율 주행 분야에서, LiDAR는 자율 차량들에 설치될 수 있고, LiDAR는 차량 주위의 포인트 클라우드 데이터를 수집하고 포인트 클라우드 데이터를 분석하여 차량 주위의 장애물들의 이동 속도를 결정하여, 차량들에 대한 경로 계획을 효과적으로 수행하기 위해 사용될 수 있다. 또 다른 예로서, 로봇 내비게이션의 분야에서, 로봇의 주변 환경의 포인트 클라우드 데이터가 수집될 수 있고, 로봇은 포인트 클라우드 데이터로부터 식별된 다양한 객체들에 기초하여 위치 설정될 수 있다. 또 다른 예로서, 일부 게임 시나리오에서, 게임 영역에서의 포인트 클라우드 데이터가 수집될 수 있고, 포인트 클라우드 데이터로부터 식별된 다양한 타겟(예를 들어, 게임 참가자들 및 게임 객체들)이 연관될 수 있다.

그러나, 실제 시나리오들에서, 폐색 및 다른 이유들로 인해, 수집된 3D 포인트 클라우드는 항상 완전한 포인트 클라우드 데이터가 아니라, 불완전한 포인트 클라우드 데이터이다. 예를 들어, 3D 객체의 경우, 포인트 클라우드 수집 디바이스로부터 멀리 떨어진 표면은 포인트 클라우드 수집 디바이스와 마주보는 표면에 의해 폐색될 수 있어서, 포인트 클라우드 수집 디바이스로부터 멀리 떨어진 포인트 클라우드가 수집될 수 없는 결과를 낳는다. 이것이 평평한 객체이더라도, 시나리오에서 항상 다중의 중첩하는 객체가 있기 때문에, 하나의 객체의 표면은 다른 객체의 표면에 의해 폐색될 수 있어서, 수집된 포인트 클라우드 데이터의 불완전을 초래한다. 또한, 불완전한 포인트 클라우드의 생성에 대한 많은 다른 이유들이 있으며, 불완전한 포인트 클라우드의 수집된 형태들도 다양하다. 도 1은 일부 실시예들에 따라 물리적 공간에서 수집된 불완전한 클라우드 및 대응하는 완전한 포인트 클라우드를 예시하는 개략도이다.

본 개시내용에서의 불완전한 클라우드 데이터는 객체의 완전한 형상을 표현할 수 없는 포인트 클라우드 데이터를 지칭한다는 점에 유의해야 한다. 예를 들어, 객체가 하나 이상의 표면을 포함할 때, 표면들의 일부 또는 하나의 표면의 부분 영역이 폐색될 수 있고, 수집된 포인트 클라우드 데이터는 폐색된 표면 또는 영역의 포인트들을 포함하지 않아서, 수집된 포인트 클라우드 데이터는 폐색된 표면 또는 영역의 대응하는 형상을 표현할 수 없도록 한다. 표면들은 상이한 방향들을 향하거나, 서로 간에 갑작스런 방향 변화가 있다. 대응하여, 완전한 포인트 클라우드 데이터는 객체의 완전한 형상을 표현할 수 있는 포인트 클라우드 데이터를 지칭한다. 예를 들어, 객체가 하나 이상의 표면을 포함하는 경우, 포인트 클라우드 데이터는 각각의 표면 상의 포인트들을 포함하여, 포인트 클라우드 데이터가 각각의 표면의 형상을 완전히 표현할 수 있도록 한다.

불완전한 포인트 클라우드에 기초한 동작들은 예상된 결과들을 달성하기 어렵다. 따라서, 불완전한 포인트 클라우드 데이터에 대해 포인트 클라우드 완성을 수행하여 불완전한 포인트 클라우드 데이터에 대응하는 완전한 포인트 클라우드 데이터를 취득하는 것이 필요하다. 관련 기술에서, 포인트 클라우드 완성 네트워크는 샘플 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 훈련되어, 포인트 클라우드 수집 네트워크가 완전한 포인트 클라우드 데이터에 기초하여 공간 기하구조의 더 양호한 이전 정보를 학습할 수 있도록 한다. 훈련된 포인트 클라우드 완성 네트워크는 잠재적 공간 벡터에 기초하여 완전한 포인트 클라우드 데이터를 출력하고, 출력된 완전한 포인트 클라우드 데이터에 대한 열화 프로세스로부터 취득된 포인트 클라우드 데이터 및 물리적 공간으로부터 수집된 실제 포인트 클라우드 데이터에 기초하여 훈련된 포인트 클라우드 완성 네트워크에 대해 최적화를 수행하여, 무감독 방식으로 포인트 클라우드 완성 네트워크를 취득하게 된다.

열화 프로세스는 훈련된 포인트 클라우드 완성 네트워크에 의해 출력된 완전한 포인트 클라우드 데이터를 실제 포인트 클라우드 데이터에 대응하는 불완전한 포인트 클라우드 데이터로 변환하는 것, 즉, 실제 포인트 클라우드 데이터에 대응하는 출력된 완전한 포인트 클라우드 데이터에서의 포인트들의 결정을 지칭한다. 포인트 클라우드 데이터가 무질서하고 구조화되지 않기 때문에, 관련 기술의 변환 방법은 물리적 공간을 다중의 복셀(voxel)로 분할하고, 각각의 복셀의 크기는 미리 설정된다. 특정 복셀이 실제 포인트 클라우드 데이터에서의 포인트들을 포함하면, 복셀에서의 완전한 포인트 클라우드 데이터의 모든 포인트들은 실제 포인트 클라우드 데이터에 대응하는 불완전한 포인트 클라우드 데이터에서의 포인트들로서 결정된다. 그러나, 이 변환 방법은 복셀의 크기에 더 민감하다. 복셀 크기가 너무 클 때, 변환된 불완전한 클라우드 데이터 및 실제 포인트 클라우드 데이터에서의 포인트들은 상당히 상이한데, 즉, 변환 정확도가 낮다. 현재 복셀의 크기를 정확하게 결정하는 더 나은 방법은 없다.

따라서, 본 개시내용은 포인트 클라우드 완성 네트워크를 생성하는 방법을 제공한다. 도 2에 도시된 바와 같이, 이 방법은 하기 단계들을 포함한다:

단계 201에서, 잠재적 공간 벡터가 제1 포인트 클라우드 데이터를 취득하기 위해 사전 훈련된 제1 포인트 클라우드 완성 네트워크에 입력된다.

단계 202에서, 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터가 취득된다.

단계 203에서, 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 각각에 대해, 실제 포인트에 인접한 미리 설정된 수의 포인트들이 실제 포인트의 이웃 포인트들로서 제1 포인트 클라우드 데이터로부터 선택된다.

단계 204에서, 제1 포인트 클라우드 데이터에서의 복수의 실제 포인트의 각자의 이웃 포인트들에 기초하여 제2 포인트 클라우드 데이터가 생성된다.

단계 205에서, 제1 포인트 클라우드 완성 네트워크는 제2 포인트 클라우드 데이터와 실제 포인트 클라우드 데이터 사이의 차이에 따라 조정되어 제2 포인트 클라우드 완성 네트워크를 취득하게 된다.

본 개시내용의 실시예에서, 제1 포인트 클라우드 완성 네트워크가 훈련된 후에, 잠재적 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 취득된 제1 포인트 클라우드 데이터에서, 실제 포인트 클라우드 데이터에서의 실제 포인트에 인접한 이웃 포인트들이 제2 포인트 클라우드 데이터를 생성하기 위해 선택된다. 실제 포인트 클라우드 데이터는 실제 객체에 대해 3차원 스캐닝을 수행하는 포인트 클라우드 수집 디바이스에 의해 취득된 포인트 클라우드 데이터일 수 있다. 포인트 클라우드 수집 디바이스의 포인트 샘플링 정확도 및 적어도 하나의 폐색 인자의 영향으로 인해, 실제 포인트 클라우드 데이터는 보통은 불완전한 포인트 클라우드 데이터이다. 제2 포인트 클라우드 데이터를 생성하는 프로세스는, 제1 포인트 클라우드 데이터에서의 각각의 포인트와 실제 포인트 클라우드 데이터에서의 실제 포인트 사이의 절대 거리가 가까운 것 대신에, 제1 포인트 클라우드 데이터에서의 각각의 포인트와 실제 포인트 클라우드 데이터에서의 실제 포인트 사이의 상대 거리가 가까운지에 기초하기 때문에, 복셀들을 사용하여 2개의 포인트 클라우드 데이터에서의 대응하는 포인트들을 결정할 때 복셀 크기를 정확하게 설정해야 하는 어려움이 회피될 수 있다. 따라서, 제2 포인트 클라우드 데이터를 생성하는 정확도가 개선될 수 있고 제2 포인트 클라우드 데이터에 기초하여 조정된 제2 포인트 클라우드 완성 네트워크에 의해 수행되는 포인트 클라우드 완성의 정확도가 더 개선될 수 있다.

단계 201에서, 제2 포인트 클라우드 완성 네트워크는, 예를 들어, tree-GAN 또는 r-GAN과 같은 임의 타입의 적대적 생성 네트워크(generative adversarial network, GAN)들에서의 생성기일 수 있다. 제1 포인트 클라우드 완성 네트워크는 완전한 포인트 클라우드 데이터 및 불완전한 클라우드 데이터로 구성된 포인트 클라우드 쌍을 훈련 데이터로서 수집하지 않고, 완전한 포인트 클라우드 데이터만을 훈련 데이터로서 사용함으로써 훈련될 수 있다. 실제 시나리오들에서 완전한 포인트 클라우드 데이터를 수집하는 것은 어렵기 때문에, 본 개시내용에서 훈련 데이터로서 사용되는 완전한 포인트 클라우드 데이터는 인위적으로 생성될 수 있는데, 예를 들어, 완전한 포인트 클라우드 데이터는 ShapeNet와 같은 샘플 데이터 세트로부터의 것일 수 있다. 훈련을 통해, 제1 포인트 클라우드 완성 네트워크는 완전한 포인트 클라우드 데이터에 기초하여 공간적 기하구조의 더 나은 이전 정보를 학습할 수 있다.

최적의 초기 잠재적 공간 벡터는 잠재적 공간 벡터(타겟 잠재적 공간 벡터로 지칭됨)로서 복수의 초기 잠재적 공간 벡터로부터 선택될 수 있다. 복수의 초기 잠재적 공간 벡터는 잠재적 공간으로부터의 샘플링에 의해 취득될 수 있고, 샘플링 방법은 랜덤 샘플링일 수 있다. 일부 실시예들에서, 잠재적 공간은 96차원 공간일 수 있고, 96차원 벡터, 즉, 초기 잠재적 공간 벡터는 각각의 샘플링에 대해 랜덤하게 생성될 수 있다. 각각의 초기 잠재적 공간 벡터에 대해, 초기 잠재적 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성된 포인트 클라우드 데이터가 취득될 수 있고, 초기 잠재적 공간 벡터의 타겟 함수는 초기 잠재적 공간 벡터에 대응하는 포인트 클라우드 데이터 및 실제 포인트 클라우드 데이터에 기초하여 결정될 수 있다. 그 후, 각각의 초기 잠재적 공간 벡터의 타겟 함수에 기초하여, 초기 잠재적 공간 벡터들 각각으로부터 타겟 잠재적 공간 벡터가 결정된다. 위의 방법을 통해, 최적의 타겟 잠재적 공간 벡터는 포인트 클라우드 완성 네트워크에 대한 최적화 프로세스에서 사용하기 위해 복수의 초기 잠재적 공간 벡터로부터 선택될 수 있고, 이는 포인트 클라우드 완성 네트워크의 최적화 속도를 증가시키고 최적화 효율을 향상시킬 수 있다.

초기 잠재적 공간 벡터에 대응하는 포인트 클라우드 데이터와 실제 포인트 클라우드 데이터 사이의 거리가 타겟 함수로서 사용될 수 있다. 일부 실시예들에서, 초기 잠재적 공간 벡터들에 대응하는 불완전한 포인트 클라우드와 실제 포인트 클라우드 데이터 사이의 챔퍼 거리(chamfer distance) 및 피처 거리(feature distance)가 결정될 수 있고, 챔퍼 거리와 피처 거리의 합이 타겟 함수로서 결정된다. 챔퍼 거리 및 피처 거리는 다음과 같다:

;

여기서,

및

은 제각기 챔퍼 거리 및 피처 거리를 나타내고,

은 초기 잠재적 공간 벡터에 대응하는 포인트 클라우드 데이터를 열화시킴으로써 취득된 포인트 클라우드 데이터를 나타내고,

는 실제 포인트 클라우드 데이터를 나타내고,

및

은 제각기

에서의 포인트들 및

에서의 포인트들을 나타내고,

및

은 제각기 놈(norm) 1 및 놈 2를 나타내고,

및

는 제각기

및

의 피처 벡터를 나타낸다. 위의 것은 타겟 함수의 예일 뿐이다. 전술한 타겟 함수에 더하여, 실제 요건들에 따라 다른 타입들의 타겟 함수가 또한 사용될 수 있으며, 이는 여기서 반복되지 않을 것이다.

각각의 초기 잠재적 공간 벡터에 대응하는 타겟 함수를 취득한 후에, 가장 작은 타겟 함수를 갖는 초기 잠재적 공간 벡터가 타겟 잠재적 공간 벡터로서 결정될 수 있다. 그 후, 타겟 잠재적 공간 벡터에 대응하는 타겟 함수가 취득되고, 타겟 잠재적 공간 벡터에 대응하는 타겟 함수에 기초하여 포인트 클라우드 완성 네트워크의 네트워크 파라미터들에 대해 최적화가 수행된다. 최적화 방법은 경사 하강 방법(gradient descent method)을 포함하지만, 이것에만 제한되지는 않는다. 최적화 프로세스에서, 타겟 잠재적 공간 벡터 및 제1 포인트 클라우드 완성 네트워크의 네트워크 파라미터들에 대해 동시에 최적화가 수행되어 타겟 잠재적 공간 벡터에 대응하는 타겟 함수를 최소화할 수 있고, 그에 의해 제2 포인트 클라우드 완성 네트워크를 취득한다.

단계 202에서, 실제 포인트 클라우드 데이터는 물리적 공간에 설정된 포인트 클라우드 수집 디바이스(예를 들어, LiDAR, 깊이 카메라 등)에 의해 수집될 수 있다. 실제 객체는 임의 타입의 객체, 예를 들어, 사람, 동물, 식물, 테이블, 의자, 차량, 가구 등일 수 있다. 일부 실시예들에서, 다중의 포인트 클라우드 수집 디바이스가 있을 수 있고, 실제 포인트 클라우드 데이터는 다중의 포인트 클라우드 수집 디바이스에 의해 수집된 포인트 클라우드 데이터를 융합함으로써 취득될 수 있다. 다른 실시예들에서, 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터는 다중의 실제 객체의 포인트 클라우드 데이터를 포함할 수 있다. 따라서, 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화가 수행되어 실제 포인트 클라우드 데이터를 취득할 수 있다.

단계 203에서, 실제 포인트 클라우드 데이터에서의 실제 포인트에 대응하는 제1 포인트 클라우드 데이터에서의 포인트가 취득될 수 있다. 도 3에 도시된 바와 같이, 실제 포인트 클라우드 데이터 xin에서의 실제 포인트 P1에 대해, 제1 포인트 클라우드 데이터 xc에서의 P1의 이웃 포인트들이 취득될 수 있고, 이웃 포인트들은 영역 S1에 도시된 포인트들인, xc에서의 P1에 가장 가까운 k개의 포인트를 포함할 수 있다. 동일한 방식으로, 실제 포인트 클라우드 데이터 xin에서의 실제 포인트 P2의 제1 포인트 클라우드 데이터 xc에서의 각자의 이웃 포인트들이 취득될 수 있으며, 이는 영역 S2에 도시된 포인트들이다. 동일한 방식으로, 실제 포인트 클라우드 데이터 xin에서의 다른 실제 포인트들의 제1 포인트 클라우드 데이터 xc에서의 이웃 포인트들이 취득될 수 있고, 실제 포인트들은 실제 포인트 클라우드 데이터 xin에서의 모든 포인트들 중 일부를 포함할 수 있다. 선택적으로, 실제 포인트들은 실제 포인트 클라우드 데이터 xin에서의 1/k 포인트들을 포함하여, 열화 프로세스 후의 제1 포인트 클라우드 데이터에서의 포인트들의 수가 실제 포인트 클라우드 데이터에서의 포인트들의 수를 초과하지 않도록 하고, 여기서 k는 1 이상의 정수일 수 있다. k가 1보다 클 때, 매번 다중의 이웃 포인트가 있기 때문에, 생성된 제2 포인트 클라우드 데이터의 강건성이 개선될 수 있다.

단계 204에서, 제1 포인트 클라우드 데이터에서의 각각의 실제 포인트의 이웃 포인트들이 부분적으로 중첩될 수 있기 때문에, 실제 포인트 클라우드 데이터에서의 다중의 실제 포인트의 각자의 이웃 포인트들의 합집합이 취해져서, 제2 포인트 클라우드 데이터를 취득할 수 있다.

단계 205에서, 포인트 클라우드 완성 네트워크의 네트워크 파라미터들 및 타겟 잠재적 공간 벡터에 대해 동시에 최적화가 수행되어, 타겟 잠재적 공간 벡터에 대응하는 타겟 함수를 최소화할 수 있도록 한다. 포인트 클라우드 완성 네트워크의 훈련 및 최적화 프로세스는 포인트 클라우드 완성 네트워크로서 적대적 생성 네트워크(generative adversarial network, GAN)를 사용하여 도 4에 도시된다. GAN은 생성기 G 및 판별기 D를 포함한다. 도면에 도시된 2개의 D는 동일한 판별기일 수 있다. 피처 거리는 훈련된 GAN에서 판별기 D의 중간 계층에 의해 출력된 특징들에 기초하여 계산될 수 있다. 사전 훈련 스테이지에서, 다중의 초기 잠재적 공간 벡터는 잠재적 공간 Rd로부터 랜덤하게 수집되고 생성기 G에 입력되어 각각의 초기 잠재적 공간 벡터에 대응하는 완전한 포인트 클라우드 데이터, 즉 제1 포인트 클라우드 데이터 xc를 취득하고, xc는 불완전한 포인트 클라우드 데이터 xp, 즉 제2 포인트 클라우드 데이터로 열화된다. 각각의 제2 포인트 클라우드 데이터 xp에 대해, 물리적 공간에서 샘플링된 실제 포인트 클라우드 데이터 xin 및 제2 포인트 클라우드 데이터 xp에 기초하여, 타겟 함수가 획득되어, 최적의 타겟 잠재적 공간 벡터 z가 획득되도록 한다. 경사 하강 방법을 사용하여 생성기의 파라미터

및 타겟 잠재적 공간 벡터 z에 대한 최적화를 수행하여, 타겟 잠재적 공간 벡터에 대응하는 타겟 함수를 최소화함으로써, 제2 포인트 클라우드 완성 네트워크를 취득할 수 있다. 위의 방법에 의해 취득된 제2 포인트 클라우드 완성 네트워크는 훈련 프로세스 동안 훈련 데이터로서 불완전한 클라우드 데이터를 사용할 필요가 없고, 양호한 일반화 성능으로 다양한 형태의 불완전한 포인트 클라우드들의 완성에 적용될 수 있다.

일부 실시예들에서, 포인트 클라우드 데이터에서의 포인트들의 분포는 균일하지 않은데, 즉, 포인트 클라우드 데이터에서의 포인트들의 분포는 일부 영역들에서 조밀하고, 다른 영역들에서 산재되어 있다. 도 5는 균일하게 분포된 포인트 클라우드 데이터 a와 균일하지 않게 분포된 포인트 클라우드 데이터 b의 비교 도면이다. 포인트 클라우드 데이터 b에서, 수집된 포인트들 대부분은 점선 박스에 분포되는 한편, 다른 영역들에서의 포인트들의 분포는 더 산재되어 있다는 것을 알 수 있다. 포인트 클라우드 완성 네트워크가 핸들링할 수 있는 포인트들의 수가 비교적 고정되어 있기 때문에, 포인트 클라우드 데이터의 불균일성은 일부 영역들에서의 포인트들의 수가 포인트 클라우드 완성 네트워크가 포인트 클라우드 완성을 위한 충분한 정보를 취득하기에 충분하지 않을 수 있음을 의미하며, 이는 포인트 클라우드 완성 결과의 부정확성을 야기한다. 따라서, 위의 문제를 해결하기 위해, 포인트 클라우드 완성 네트워크의 훈련 및 최적화 프로세스에서, 최적화는 포인트 클라우드 완성 네트워크의 네트워크 파라미터들에 대해 수행될 수 있으므로, 포인트 클라우드 완성을 수행하는 포인트 클라우드 완성 네트워크에 의해 취득된 포인트 클라우드 데이터에서의 포인트들의 분포가 더 균일해지도록 한다.

포인트 클라우드 완성 네트워크의 훈련 및 최적화 스테이지에서, 잠재적 벡터에 기초하여 포인트 클라우드 완성 네트워크에 의해 출력된 포인트 클라우드 데이터 C가 취득될 수 있고, 포인트 클라우드 데이터 C에서의 포인트들의 분포 특징이 취득될 수 있다. 포인트 클라우드 데이터 C에서의 포인트들의 분포 특징에 기초하여 손실 함수가 확립되고, 손실 함수에 기초하여 포인트 클라우드 완성 네트워크에 대해 최적화가 수행된다.

포인트 클라우드 데이터 C로부터 N개의 시드 위치가 랜덤하게 샘플링될 수 있다. 예를 들어, 샘플링 방법은 FPS(farthest point sampling)일 수 있어서, 각각의 시드 위치 사이의 거리가 가장 멀도록 한다. 포인트 클라우드 블록에서의 포인트들의 분포 특징은 포인트 클라우드 블록에서의 각각의 포인트와 포인트 클라우드 블록에서의 특정 위치(예를 들어, 시드 위치) 사이의 평균 거리에 기초하여 결정될 수 있다. 손실 함수는 다음과 같이 쓰여질 수 있다:

여기서,

는 손실 함수이고,

는 분산을 나타내고,

는 j번째 포인트 클라우드 블록에서의 포인트들의 평균 거리이고, n은 포인트 클라우드 블록들의 총 수이고, k는 포인트 클라우드 블록에서의 포인트들의 총 수이고,

는 j번째 포인트 클라우드 블록에서의 i번째 포인트와 시드 위치 사이의 거리이다. 포인트 클라우드 완성 네트워크의 네트워크 파라미터들은 포인트 클라우드 완성 네트워크에 의해 출력된 포인트 클라우드 데이터 C에서의 각각의 포인트 클라우드 블록에 대응하는 평균 거리의 분산을 최소화하도록 조정될 수 있다. 이러한 방식으로, 각각의 포인트 클라우드 블록에서의 상이한 포인트들과 시드 포인트 사이의 거리가 더 가까울 수 있고, 그에 의해 포인트 클라우드 완성 네트워크에 의해 출력되는 포인트 클라우드 데이터의 균일성을 개선한다.

위의 손실 함수에 기초한 네트워크 최적화 프로세스는 제2 포인트 클라우드 데이터 및 실제 포인트 클라우드 데이터에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하는 프로세스와 동기하여 수행될 수 있거나, 또는 임의의 순서로 수행될 수 있으며, 이는 본 개시내용에서 제한되지 않는다.

제2 포인트 클라우드 완성 네트워크를 취득한 후에 제3 포인트 클라우드 데이터가 취득될 수 있고, 제3 포인트 클라우드 데이터는 제2 포인트 클라우드 완성 네트워크를 사용하여 완성되어, 제4 포인트 클라우드 데이터를 취득할 수 있게 된다. 각각의 입력된 제3 포인트 클라우드 데이터에 대해, 제2 포인트 클라우드 완성 네트워크는 하나 이상의 후보 완전한 포인트 클라우드 데이터를 출력할 수 있다. 도 6은 일부 실시예들의 제3 포인트 클라우드 데이터 및 대응하는 후보 완전한 포인트 클라우드 데이터의 개략도이다. 제3 포인트 클라우드 데이터에 기초하여, 제2 포인트 클라우드 완성 네트워크는 선택을 위해 총 4개의 후보 완전한 포인트 클라우드 데이터를 출력하였다. 또한, 각각의 후보 완전한 포인트 클라우드 데이터에 대한 선택 지시가 취득될 수 있고, 선택 지시에 응답하여, 후보 완전한 포인트 클라우드 데이터 중 하나가 제4 포인트 클라우드 데이터로서 선택된다.

본 개시내용은 (깊이 카메라 또는 LiDAR과 같은) 3D 센서가 장착된 임의의 장면에서 사용될 수 있고, 전체 장면의 불완전한 클라우드 데이터는 3D 센서에 의해 스캐닝될 수 있다. 장면에서의 각각의 객체의 불완전한 클라우드 데이터는 제2 포인트 클라우드 완성 네트워크를 통해 완전한 포인트 클라우드 데이터를 생성하고, 그 후 전체 장면의 3D 재구성이 수행될 수 있다. 재구성된 장면은 장면에서의 인체와 다른 객체들 사이의 거리 및 사람들 사이의 거리를 검출하는 것과 같은 정확한 공간적 정보를 제공할 수 있다. 공간적 정보는 사람들을 객체들과 연관시키고, 사람들을 사람들과 연관시켜, 연관의 정확도를 개선하기 위해 사용될 수 있다.

일부 실시예들에서, 제4 포인트 클라우드 데이터의 다중 프레임이 취득될 수 있고, 제4 포인트 클라우드 데이터의 다중 프레임이 연관될 수 있다. 제4 포인트 클라우드 데이터의 다중 프레임은 동일한 카테고리의 객체들의 제4 포인트 클라우드 데이터일 수 있다. 예를 들어, 게임 장면에서, 제4 포인트 클라우드 데이터의 각각의 프레임은 게임 참가자에 대응하는 포인트 클라우드 데이터일 수 있다. 다중의 게임 참가자에 대응하는 포인트 클라우드 데이터를 연관시킴으로써, 동일한 게임 영역에서 동일한 게임에 참가하는 각각의 게임 참가자가 결정될 수 있다. 제4 포인트 클라우드 데이터의 다중 프레임은 또한 상이한 카테고리들의 객체들의 제4 포인트 클라우드 데이터일 수 있다. 게임 장면을 여전히 예로 들면, 제4 포인트 클라우드 데이터의 다중 프레임은 게임 참가자들에 대응하는 포인트 클라우드 데이터 및 게임 객체들에 대응하는 포인트 클라우드 데이터를 포함할 수 있다. 게임 참가자에 대응하는 포인트 클라우드 데이터를 게임 객체에 대응하는 포인트 클라우드 데이터와 연관시킴으로써, 게임 참가자와 게임 객체 간의 관계, 예를 들어, 게임 코인, 게임 카드, 게임 참가자에 속하는 현금; 게임 참가자가 위치하는 게임 영역; 및 게임 참가자가 앉아 있는 좌석 등이 결정될 수 있다.

게임 장면에서의 게임 참가자들 및 게임 객체들의 위치 및 상태는 실시간으로 변할 수 있다. 게임 참가자들 간의 관계, 게임 참가자들과 게임 객체들 간의 관계도 실시간으로 변할 수 있으며, 이러한 실시간 변경 정보는 게임 상태의 분석 및 게임 진행의 모니터링에 매우 중요하다. 포인트 클라우드 수집 디바이스에 의해 수집된 게임 참가자들 및/또는 게임 객체들의 불완전한 클라우드 데이터가 완성되고, 이는 포인트 클라우드 데이터 사이의 연관의 정확도를 개선하고 연관에 기초한 게임 상태 분석 및 게임 진행 모니터링의 결과의 신뢰성을 추가로 개선하는데 유익하다.

일부 실시예들에서, 제4 포인트 클라우드 데이터가 취득된 후에, 제4 포인트 클라우드 데이터에 포함된 객체가 식별되어, 객체의 카테고리를 결정할 수 있도록 한다. 연관 프로세스는 또한 식별 결과에 기초하여 제4 포인트 클라우드 데이터의 다중 프레임에 대해 수행될 수 있다. 게다가, 연관 프로세스 및/또는 객체 식별의 정확도를 개선시키기 위해, 연관 프로세스 및/또는 객체 식별이 수행되기 전에 제4 포인트 클라우드 데이터가 균질화될 수 있다.

일부 실시예들에서, 도 7에 도시된 바와 같이, 포인트 클라우드 데이터를 처리하는 방법이 또한 제공된다. 방법은 다음을 포함한다:

단계 701에서, 게임 영역에서의 제1 처리될 포인트 클라우드 데이터 및 제2 처리될 포인트 클라우드 데이터가 취득되고, 여기서 제1 처리될 포인트 클라우드 데이터는 게임 참가자에 대응하고 제2 처리될 포인트 클라우드 데이터는 게임 객체에 대응한다;

단계 702에서, 포인트 클라우드 완성 네트워크가 제1 처리될 포인트 클라우드 데이터를 완성한 후의 제1 처리된 포인트 클라우드 데이터 및 포인트 클라우드 완성 네트워크가 제2 처리될 포인트 클라우드 데이터를 완성한 후의 제2 처리된 포인트 클라우드 데이터가 취득된다.

단계 703에서, 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터가 연관된다.

포인트 클라우드 완성 네트워크는, 사전 훈련 프로세스 후에, 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터에 기초하여 조정함으로써 취득되고, 제2 포인트 클라우드 데이터는 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 생성되고, 제1 포인트 클라우드 데이터는 잠재적 공간 벡터에 기초하여 사전 훈련된 포인트 클라우드 완성 네트워크에 의해 생성된다.

게임 참가자들은 게임 심판, 게임 플레이어, 및 게임 청중 중 적어도 하나를 포함할 수 있지만, 이들로만 제한되지는 않는다.

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 칩들을 포함하고; 방법은: 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터의 연관에 기초하여 게임 참가자에 의해 게임 영역에 배치된 게임 칩들을 결정하는 단계를 추가로 포함한다. 각각의 게임 참가자는 게임을 플레이하기 위한 특정 수의 게임 코인들을 가질 수 있다. 게임 참가자를 게임 코인들과 연관시킴으로써, 게임 참가자가 게임에 넣은 칩들의 수가 결정될 수 있고, 게임 참가자들이 게임의 상이한 스테이지들에 가지고 넣은 칩들의 수, 및 게임 프로세스에서의 동작들이 미리 설정된 게임 규칙들을 준수하는지가 결정될 수 있다.

일부 실시예들에서, 방법은: 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터의 연관에 기초하여 게임 참가자에 의해 게임 객체에 대해 수행된 액션을 결정하는 단계를 추가로 포함한다. 액션은 앉기, 칩 배치, 카드 분배 등을 포함할 수 있다.

일부 실시예들에서, 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 게임 영역에서 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 취득하는 단계는: 게임 영역 주위에 설정된 포인트 클라우드 수집 디바이스들에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계; 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 취득하는 단계를 포함한다.

일부 실시예들에서, 포인트 클라우드 완성 네트워크는 복수의 카테고리의 게임 참가자들에 대응하는 제1 처리될 포인트 클라우드 데이터 및/또는 복수의 카테고리의 게임 객체들에 대응하는 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성된다. 이 경우, 완전한 포인트 클라우드 데이터의 복수의 카테고리는 포인트 클라우드 완성 네트워크를 훈련하기 위해 사용될 수 있고, 실제 객체들의 포인트 클라우드 데이터의 복수의 카테고리는 네트워크 최적화 스테이지에서 훈련된 포인트 클라우드 완성 네트워크에 대한 최적화를 수행하기 위해 사용될 수 있다.

대안적으로, 포인트 클라우드 완성 네트워크는 제3 포인트 클라우드 완성 네트워크 및 제4 포인트 클라우드 완성 네트워크를 포함하고, 제3 포인트 클라우드 완성 네트워크는 제1 게임 참가자 카테고리에 대응하는 제1 처리될 포인트 클라우드 데이터를 완성하도록 구성되고, 제4 포인트 클라우드 완성 네트워크는 제2 게임 객체 카테고리에 대응하는 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성된다. 이 경우, 완전한 포인트 클라우드 데이터의 상이한 카테고리들이 상이한 포인트 클라우드 완성 네트워크들을 훈련하기 위해 사용될 수 있고, 실제 객체의 대응하는 카테고리의 포인트 클라우드 데이터에 기초하여 각각의 훈련된 포인트 클라우드 완성 네트워크에 대해 최적화가 수행된다.

본 개시내용의 실시예들에서 사용되는 포인트 클라우드 완성 네트워크는 포인트 클라우드 완성 네트워크를 생성하는 전술한 방법에 기초하여 취득될 수 있다. 상세 사항들에 대해서는, 포인트 클라우드 완성 네트워크를 생성하는 방법의 전술한 실시예를 참조하고, 이는 여기서 반복되지 않을 것이다.

본 기술분야의 통상의 기술자는, 특정 구현의 설명된 방법에서, 각각의 단계의 드래프팅 순서가 엄격하게 실행된 순서가 구현 프로세스에 대한 임의의 제한을 형성한다는 것을 암시하지 않고, 각각의 단계의 특정 실행 순서는 그것의 기능 및 가능하게는 고유 로직에 의해 결정되어야 한다는 것을 이해할 수 있다.

도 8에 도시된 바와 같이, 본 개시내용은 또한 포인트 클라우드 완성 네트워크를 생성하기 위한 장치를 제공하며, 장치는 다음을 포함한다:

제1 포인트 클라우드 데이터를 취득하기 위해 잠재적 공간 벡터를 사전 훈련된 제1 포인트 클라우드 완성 네트워크에 입력하도록 구성된 입력 모듈(801);

물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터를 취득하도록 구성된 제1 취득 모듈(802);

실제 포인트 클라우드 데이터에서의 복수의 실제 포인트들 각각에 대해, 제1 포인트 클라우드 데이터로부터의 실제 포인트에 인접하는 미리 설정된 수의 포인트들을 실제 포인트의 이웃 포인트들로서 선택하도록 구성된 선택 모듈(803);

복수의 실제 포인트의 각자의 이웃 포인트들에 기초하여 제2 포인트 클라우드 데이터를 생성하도록 구성된 생성 모듈(804);

제2 포인트 클라우드 데이터와 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 취득하도록 구성된 조정 모듈(805).

일부 실시예들에서, 연관 디바이스는: 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 획득하도록 구성된 획득 유닛; 복수의 포인트 클라우드 블록 각각에 대해, 포인트 클라우드 블록에서의 포인트 분포 특징을 결정하고; 포인트 클라우드 블록에서의 포인트 분포 특징에 기초하여 제4 포인트 클라우드 데이터에서 각각의 포인트 클라우드 블록에서의 포인트들의 위치를 조정하도록 구성된 조정 유닛; 및 제4 포인트 클라우드 데이터의 조정된 복수의 프레임을 연관시키도록 구성된 연관 유닛을 포함한다.

도 9에 도시된 바와 같이, 본 개시내용은 또한 포인트 클라우드 데이터를 처리하기 위한 장치를 제공하며, 장치는:

게임 영역에서 제1 처리될 포인트 클라우드 데이터 및 제2 처리될 포인트 클라우드 데이터를 취득하도록 구성된 제2 취득 모듈(901) - 제1 처리될 포인트 클라우드 데이터는 게임 참가자에 대응하고 제2 처리될 포인트 클라우드 데이터는 게임 객체에 대응함 -;

포인트 클라우드 완성 네트워크가 제1 처리될 포인트 클라우드 데이터를 완성한 후의 제1 처리된 포인트 클라우드 데이터 및 포인트 클라우드 완성 네트워크가 제2 처리될 포인트 클라우드 데이터를 완성한 후에 취득된 제2 처리된 포인트 클라우드 데이터를 취득하도록 구성된 제3 취득 모듈(902);

제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터를 연관시키도록 구성된 연관 모듈(903)을 포함하고;

포인트 클라우드 완성 네트워크는, 사전 훈련 프로세스 후에, 제2 포인트 클라우드 데이터 및 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터에 기초하여 조정함으로써 취득되고, 제2 포인트 클라우드 데이터는 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 생성되고, 제1 포인트 클라우드 데이터는 잠재적 공간 벡터에 기초하여 사전 훈련된 포인트 클라우드 완성 네트워크에 의해 생성된다.

일부 실시예들에서, 본 개시내용의 실시예들에서 제공된 장치들에 포함된 기능들 또는 모듈들은 위의 방법 실시예들에서 설명된 방법들을 실행하기 위해 사용될 수 있다. 구체적인 구현에 대해서는, 위의 방법 실시예들의 설명을 참조한다. 간략함을 위해, 여기서 더 이상 설명되지 않는다.

도 10에 도시된 바와 같이, 본 개시내용은 또한 포인트 클라우드 데이터를 처리하기 위한 시스템을 제공한다. 시스템은 게임 영역(1003) 주위에 설정되는 포인트 클라우드 수집 디바이스(1001); 및 포인트 클라우드 수집 디바이스(1001)에 통신가능하게 접속된 처리 유닛(1002)을 포함한다.

포인트 클라우드 수집 디바이스(1001)는 게임 참가자(1004)의 제1 처리될 포인트 클라우드 데이터 및 게임 영역(1003)에서 게임 객체(1005)에 대응하는 제2 처리될 포인트 클라우드 데이터를 수집할 수 있고, 처리 유닛(1002)은 포인트 클라우드 완성 네트워크가 제1 처리될 포인트 클라우드 데이터를 완성한 후의 제1 처리된 포인트 클라우드 데이터 및 포인트 클라우드 완성 네트워크가 제2 처리될 포인트 클라우드 데이터를 완성한 후에 취득된 제2 처리된 포인트 클라우드 데이터를 취득하고, 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터를 연관시킬 수 있다.

포인트 클라우드 수집 디바이스(1001)는 게임 영역에서 타겟 객체의 처리될 포인트 클라우드 데이터를 수집할 수 있고; 타겟 객체는 게임 참가자 및 게임 객체 중 적어도 하나를 포함한다. 처리 유닛(1002)은 포인트 클라우드 완성 네트워크가 처리될 포인트 클라우드 데이터를 완성한 후에 처리된 포인트 클라우드 데이터를 취득하고, 처리된 포인트 클라우드 데이터를 식별할 수 있다.

본 개시내용의 실시예들에서 사용되는 포인트 클라우드 완성 네트워크는 포인트 클라우드 완성 네트워크를 생성하는 방법에 의해 생성된 제2 포인트 클라우드 완성 네트워크일 수 있다. 상세 사항들에 대해서는, 포인트 클라우드 완성 네트워크를 생성하는 방법의 전술한 실시예를 참조하고, 이는 여기서 반복되지 않을 것이다.

일부 실시예들에서, 포인트 클라우드 수집 디바이스(1001)는 LiDAR 또는 깊이 카메라일 수 있다. 하나 이상의 포인트 클라우드 수집 디바이스(1001)가 게임 영역 주위에 설정될 수 있다. 상이한 포인트 클라우드 수집 디바이스들(1001)은 게임 영역에서 상이한 서브-영역들의 포인트 클라우드 데이터를 수집할 수 있고, 상이한 포인트 클라우드 수집 디바이스들(1001)에 의해 수집된 서브-영역들은 중첩될 수 있다.

게임 영역에서의 게임 참가자의 수는 하나 이상일 수 있고, 각각의 게임 참가자는 게임 코인, 현금, 좌석, 체스 및 카드, 로고 소품 및 게임 테이블 등을 포함하지만 이에 한정되지는 않는 하나 이상의 게임 객체에 대응할 수 있다. 처리된 포인트 클라우드 데이터를 식별함으로써, 상이한 포인트 클라우드 데이터에 포함된 객체들의 카테고리들이 결정될 수 있고, 각각의 카테고리의 객체들이 위치하는 공간적 정보가 또한 결정될 수 있다. 제1 처리된 포인트 클라우드 데이터를 제2 처리된 포인트 클라우드 데이터와 연관시킴으로써, 다양한 게임 객체들과 게임 참가자들 사이의 관계가 취득될 수 있고, 게임 참가자들에 의해 수행되는 액션들이 또한 결정될 수 있고, 게임 프로세스에서의 동작들이 미리 설정된 게임 규칙들을 준수하는지가 결정될 수 있다.

본 명세서의 실시예들은 또한 적어도 메모리, 프로세서, 및 메모리에 저장되고 프로세서 상에서 실행가능한 컴퓨터 프로그램을 포함하는 컴퓨터 디바이스를 제공하며, 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 위의 실시예들 중 임의의 것에 따른 방법이 구현될 수 있다.

도 11은 본 설명의 실시예에 의해 제공되는 컴퓨팅 디바이스의 보다 구체적인 하드웨어 구조도를 도시하고, 이러한 디바이스는 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 통신 인터페이스(1104), 및 버스(1105)를 포함할 수 있다. 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 및 통신 인터페이스(1104)는 버스(1105)를 통해 디바이스 내부에서 서로 사이의 통신 접속을 구현한다.

프로세서(1101)는 본 설명의 실시예들에 의해 제공되는 기술적 해결책들을 구현하기 위해 관련 프로그램들을 실행하기 위해, 공통 중앙 처리 유닛(CPU), 마이크로프로세서, 주문형 집적 회로(ASIC), 또는 하나 이상의 집적 회로 등을 사용하여 구현될 수 있다. 프로세서(1101)는 또한 그래픽 카드를 포함할 수 있고, 그래픽 카드는 Nvidia titan X 그래픽 카드 또는 1080Ti 그래픽 카드일 수 있다.

메모리(1102)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 정적 저장 디바이스, 동적 저장 디바이스 등의 형태로 구현될 수 있다. 메모리(1102)는 운영 체제 및 다른 애플리케이션 프로그램들을 저장할 수 있다. 본 명세서의 실시예들에서 제공되는 기술적 해결책들이 소프트웨어 또는 펌웨어를 통해 구현될 때, 관련 프로그램 코드들은 메모리(1102)에 저장되고 프로세서(1101)에 의해 호출되고 실행된다.

입력/출력 인터페이스(1103)는 정보 입력 및 출력을 실현하기 위해 입력/출력 모듈을 접속하기 위해 사용된다. 입력/출력/모듈은 디바이스에서 컴포넌트(도면에 도시되지 않음)로서 구성될 수 있거나, 또는 그것은 대응하는 기능들을 제공하기 위하여 디바이스에 접속될 수 있다. 입력 디바이스는 키보드, 마우스, 터치 스크린, 마이크로폰, 다양한 센서들 등을 포함할 수 있고, 출력 디바이스는 디스플레이, 스피커, 진동기, 표시등 등을 포함할 수 있다.

통신 인터페이스(1104)는 디바이스와 다른 디바이스들 사이의 통신 상호작용을 구현하기 위해 통신 모듈(도면에 도시되지 않음)을 접속하기 위해 사용된다. 통신 모듈은 (USB, 네트워크 케이블 등과 같은) 유선 수단을 통해, 또는 (모바일 네트워크, WIFI, 블루투스 등과 같은) 무선 수단을 통해 통신을 실현할 수 있다.

버스(1105)는 디바이스의 다양한 컴포넌트들(예를 들어, 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 및 통신 인터페이스(1104)) 사이에서 정보를 송신하는 경로를 포함한다.

위의 디바이스가 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 통신 인터페이스(1104), 및 버스(1105)만을 도시하지만, 특정 구현 프로세스에서, 디바이스가 또한 정상 동작을 위한 다른 필요한 컴포넌트들을 포함할 수 있다는 것에 유의해야 한다. 또한, 본 기술분야의 통상의 기술자라면, 위에서 언급한 디바이스는 또한 본 명세서의 실시예들의 해결책을 구현하는데 필요한 컴포넌트들만을 포함할 수 있고, 반드시 도면에 도시된 모든 컴포넌트를 포함하는 것은 아니라는 것을 이해할 수 있을 것이다.

본 개시내용의 실시예들은 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체를 추가로 제공하고, 여기서 프로그램은 프로세서에 의해 실행되어 전술한 바와 같은 실시예들 중 임의의 것에 따른 방법의 단계들을 수행하게 된다.

본 개시내용의 실시예들은 또한, 전자 디바이스에서 실행될 때 전자 디바이스에서의 프로세서로 하여금 위에서 설명된 실시예들 중 임의의 것에 따른 방법의 단계들을 수행하게 야기하는 컴퓨터 판독가능 코드들을 포함하는 컴퓨터 프로그램을 제공한다.

컴퓨터 판독가능 매체는 영구적 및 비영구적, 이동식 및 비이동식 매체를 포함하고, 정보 저장소는 임의의 방법 또는 기술에 의해 실현될 수 있다. 정보는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터일 수 있다. 컴퓨터 저장 매체의 예들은 상변화 메모리(PRAM), 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 다른 타입들의 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적 소거가능 프로그래머블 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 저장소, 자기 카세트들, 자기 테이프 저장소 또는 다른 자기 저장 디바이스들을 포함하지만, 이에 제한되지는 않으며, 임의의 다른 비송신 매체는 컴퓨팅 디바이스들에 의해 액세스될 수 있는 정보를 저장하기 위해 사용될 수 있다. 이 논문에서의 정의에 따르면, 컴퓨터 판독가능 매체는 변조된 데이터 신호들 및 반송파들과 같은 일시적 매체를 포함하지 않는다.

위의 구현 방식들의 설명으로부터, 본 기술 분야의 통상의 기술자들은 본 명세서의 실시예들이 소프트웨어에 필요한 범용 하드웨어 플랫폼을 더한 것에 의해 구현될 수 있다는 것을 명확히 이해할 수 있다는 것을 알 수 있다. 이러한 이해에 기초하여, 본질적으로 본 설명의 실시예들의 기술적 해결책들 또는 종래 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장될 수 있다. 예를 들어, ROM/RAM, 자기 디스크, 광 디스크 등은 컴퓨터 디바이스(개인용 컴퓨터, 서버, 또는 네트워크 디바이스 등일 수 있음)가 본 설명의 각각의 실시예 또는 실시예의 일부 부분에서 설명되는 방법을 실행하도록 인에이블하기 위한 여러 명령어들을 포함한다.

위의 실시예들에서 설명된 시스템들, 장치들, 모듈들, 또는 유닛들은 컴퓨터 칩들 또는 엔티티들에 의해 구현되거나, 또는 특정 기능들을 갖는 제품들에 의해 구현될 수 있다. 전형적인 구현 장치는 컴퓨터이고, 컴퓨터의 특정 형태는 개인용 컴퓨터, 랩톱 컴퓨터, 셀룰러 폰, 카메라 폰, 스마트 폰, 개인 휴대 정보 단말기, 미디어 플레이어, 내비게이션 디바이스, 이메일 송수신기 디바이스, 게임 콘솔, 태블릿 컴퓨터, 웨어러블 디바이스, 또는 이러한 디바이스들 중 임의의 것의 조합일 수 있다.

본 설명에서의 다양한 실시예들은 점진적인 방식으로 설명되고, 서로에 대해 서로 유사한 부분들이 서로 참조될 수 있으며, 각각의 실시예의 설명은 다른 실시예들과 상이하다. 특히, 장치 실시예들에 대해, 장치들이 기본적으로 방법 실시예들과 유사하므로, 설명은 단순화되고, 방법 실시예의 설명의 일부에 대한 참조가 이뤄질 수 있다. 전술된 장치 실시예들은 단지 개략적인데, 여기서 별개의 컴포넌트들로서 설명된 모듈들이 물리적으로 분리되거나 분리되지 않을 수 있고, 모듈들의 기능들은 본 설명의 실시예들이 구현될 때 하나 이상의 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 메모리 모듈들의 일부 또는 전부는 실시예들에서의 해결책들의 목적들을 구현하기 위해 실제 요건들에 따라 선택될 수 있다. 본 기술분야의 통상의 기술자들은 창의적인 작업 없이도 이해하고 구현할 수 있다.

Claims

포인트 클라우드 완성 네트워크를 생성하는 방법으로서:
사전 훈련된 제1 포인트 클라우드 완성 네트워크에 잠재적 공간 벡터를 입력함으로써 제1 포인트 클라우드 데이터를 취득하는 단계;
물리적 공간에서의 실제 객체에 대해 수집되는 실제 포인트 클라우드 데이터를 취득하는 단계;
상기 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 각각에 대해, 상기 제1 포인트 클라우드 데이터로부터의 상기 실제 포인트에 인접한 미리 설정된 수의 포인트를 상기 실제 포인트의 이웃 포인트들로서 선택하는 단계;
상기 복수의 실제 포인트의 각자의 이웃 포인트들에 기초하여 제2 포인트 클라우드 데이터를 생성하는 단계; 및
상기 제2 포인트 클라우드 데이터와 상기 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 조정함으로써 제2 포인트 클라우드 완성 네트워크를 취득하는 단계를 포함하는 방법.
제1항에 있어서,
제3 포인트 클라우드 데이터를 취득하는 단계; 및
상기 제2 포인트 클라우드 완성 네트워크에 의해 상기 제3 포인트 클라우드 데이터를 완성함으로써 제4 포인트 클라우드 데이터를 취득하는 단계를 추가로 포함하는 방법.
제2항에 있어서,
상기 물리적 공간으로부터 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계; 및
상기 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행함으로써 상기 제3 포인트 클라우드 데이터를 취득하는 단계를 추가로 포함하는 방법.
제2항 또는 제3항에 있어서,
상기 제4 포인트 클라우드 데이터의 복수의 프레임을 연관시키는 단계를 추가로 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 포인트 클라우드 데이터로부터의 상기 실제 포인트에 인접한 미리 설정된 수의 포인트를 상기 실제 포인트의 이웃 포인트들로서 선택하는 단계는:
상기 제1 포인트 클라우드 데이터로부터의 상기 실제 포인트에 가장 가까운 상기 미리 설정된 수의 포인트를 상기 실제 포인트의 이웃 포인트들로서 선택하는 단계를 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 복수의 실제 포인트의 각자의 이웃 포인트들에 기초하여 상기 제2 포인트 클라우드 데이터를 생성하는 단계는:
상기 실제 포인트 클라우드 데이터에서 상기 복수의 실제 포인트의 각자의 이웃 포인트들의 합집합을 취함으로써 상기 제2 포인트 클라우드 데이터를 취득하는 단계를 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 사전 훈련하는 단계를 추가로 포함하는 방법.
제7항에 있어서,
상기 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 취득하는 단계;
상기 복수의 포인트 클라우드 블록 각각에 대해, 상기 포인트 클라우드 블록의 포인트 분포 특징을 결정하는 단계;
상기 복수의 포인트 클라우드 블록의 각자의 포인트 분포 특징에 기초하여 손실 함수를 확립하는 단계; 및
상기 손실 함수에 기초하여 상기 훈련된 제2 포인트 클라우드 완성 네트워크에 대해 최적화를 수행하는 단계를 추가로 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 잠재적 공간 벡터는 다음의 방법:
잠재적 공간으로부터 복수의 초기 잠재적 공간 벡터를 샘플링하는 단계;
상기 초기 잠재적 공간 벡터들 각각에 대해,
상기 초기 잠재적 공간 벡터에 기초하여 상기 제1 포인트 클라우드 완성 네트워크에 의해 생성된 포인트 클라우드 데이터를 취득하고; 및
상기 초기 잠재적 공간 벡터에 대응하는 포인트 클라우드 데이터 및 상기 실제 포인트 클라우드 데이터에 기초하여 상기 초기 잠재적 공간 벡터의 타겟 함수를 결정하는 단계; 및
상기 초기 잠재적 공간 벡터들의 각자의 타겟 함수들에 기초하여 상기 초기 잠재적 공간 벡터들로부터 상기 잠재적 공간 벡터를 결정하는 단계에 기초하여 취득되는 방법.
포인트 클라우드 데이터를 처리하는 방법으로서:
게임 영역에서 제1 처리될 포인트 클라우드 데이터 및 제2 처리될 포인트 클라우드 데이터를 취득하는 단계 - 상기 제1 처리될 포인트 클라우드 데이터는 게임 참가자에 대응하고 상기 제2 처리될 포인트 클라우드 데이터는 게임 객체에 대응함 -;
포인트 클라우드 완성 네트워크가 상기 제1 처리될 포인트 클라우드 데이터를 완성한 후에 제1 처리된 포인트 클라우드 데이터를 그리고 상기 포인트 클라우드 완성 네트워크가 상기 제2 처리될 포인트 클라우드 데이터를 완성한 후에 제2 처리된 포인트 클라우드 데이터를 취득하는 단계; 및
상기 제1 처리된 포인트 클라우드 데이터와 상기 제2 처리된 포인트 클라우드 데이터를 연관시키는 단계를 포함하고;
상기 포인트 클라우드 완성 네트워크는, 사전 훈련 프로세스 후에, 제2 포인트 클라우드 데이터 및 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터에 기초하여 조정함으로써 취득되고, 상기 제2 포인트 클라우드 데이터는 상기 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 생성되고, 상기 제1 포인트 클라우드 데이터는 잠재적 공간 벡터에 기초하여 상기 사전 훈련된 포인트 클라우드 완성 네트워크에 의해 생성되는 방법.
제10항에 있어서,
상기 게임 객체는 상기 게임 영역에 배치된 게임 코인들을 포함하고, 상기 방법은:
상기 제1 처리된 포인트 클라우드 데이터와 상기 제2 처리된 포인트 클라우드 데이터의 연관에 기초하여, 다음 동작들:
상기 게임 참가자에 의해 상기 게임 영역에 배치된 상기 게임 코인들을 결정하는 동작; 및
상기 게임 객체에 대해 상기 게임 참가자에 의해 수행되는 액션을 결정하는 동작 중 적어도 임의의 하나를 수행하는 단계를 추가로 포함하는 방법.
제10항 또는 제11항에 있어서,
상기 게임 영역에서 상기 게임 참가자에 대응하는 상기 제1 처리될 포인트 클라우드 데이터 및 상기 게임 객체에 대응하는 상기 제2 처리될 포인트 클라우드 데이터를 취득하는 단계는:
상기 게임 영역 주위에 설정된 포인트 클라우드 수집 디바이스들에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계; 및
상기 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행함으로써 상기 게임 참가자의 상기 제1 처리될 포인트 클라우드 데이터 및 상기 게임 객체에 대응하는 상기 제2 처리될 포인트 클라우드 데이터를 취득하는 단계를 포함하는 방법.
제10항 또는 제11항에 있어서,
상기 포인트 클라우드 완성 네트워크는 복수의 카테고리의 게임 참가자들에 대응하는 상기 제1 처리될 포인트 클라우드 데이터 및/또는 복수의 카테고리의 게임 객체들에 대응하는 상기 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성되거나; 또는
상기 포인트 클라우드 완성 네트워크는 제3 포인트 클라우드 완성 네트워크 및 제4 포인트 클라우드 완성 네트워크를 포함하고, 상기 제3 포인트 클라우드 완성 네트워크는 게임 참가자의 제1 카테고리에 대응하는 상기 제1 처리될 포인트 클라우드 데이터를 완성하도록 구성되고, 상기 제4 포인트 클라우드 완성 네트워크는 게임 객체의 제2 카테고리에 대응하는 상기 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성되는 방법.
포인트 클라우드 데이터를 처리하기 위한 시스템으로서:
게임 영역 주위에 설정되어, 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 상기 게임 영역에서의 게임 객체에 대응하는 제2 처리될 포인트 클라우드 데이터를 수집하기 위한 포인트 클라우드 수집 디바이스; 및
상기 포인트 클라우드 수집 디바이스에 통신가능하게 접속되어, 포인트 클라우드 완성 네트워크가 상기 제1 처리될 포인트 클라우드 데이터를 완성한 후의 제1 처리된 포인트 클라우드 데이터를 그리고 상기 포인트 클라우드 완성 네트워크가 상기 제2 처리될 포인트 클라우드 데이터를 완성한 후에 취득된 제2 처리된 포인트 클라우드 데이터를 취득하고, 상기 제1 처리된 포인트 클라우드 데이터와 상기 제2 처리된 포인트 클라우드 데이터를 연관시키기 위한 처리 유닛을 포함하고;
상기 포인트 클라우드 완성 네트워크는, 사전 훈련 프로세스 후에, 제2 포인트 클라우드 데이터 및 물리적 공간에서의 실제 객체에 대해 수집된 실제 포인트 클라우드 데이터에 기초하여 조정함으로써 취득되고, 상기 제2 포인트 클라우드 데이터는 상기 실제 포인트 클라우드 데이터에서의 복수의 실제 포인트 중 제1 포인트 클라우드 데이터에서의 이웃 포인트들에 기초하여 생성되고, 상기 제1 포인트 클라우드 데이터는 잠재적 공간 벡터에 기초하여 상기 사전 훈련된 포인트 클라우드 완성 네트워크에 의해 생성되는 시스템.
컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제3항, 제10항 및 제11항 중 어느 한 항에 따른 방법이 구현되는 컴퓨터 판독가능 저장 매체.
메모리, 프로세서, 및 상기 메모리에 저장되고 상기 프로세서 상에서 실행가능한 컴퓨터 프로그램을 포함하는 컴퓨터 디바이스로서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제3항, 제10항 및 제11항 중 어느 한 항에 따른 방법이 구현되는 컴퓨터 디바이스.
삭제
삭제
삭제